AI 기반 사용자 컨텍스트 그라운딩을 이용한 워크플로우 자동 생성 및 추론 신뢰도 연동형 휴먼 인더루프 배치 방법 및 시스템

【발명의 명칭】

AI 기반 사용자 컨텍스트 그라운딩을 이용한 워크플로우 자동 생성 및 추론 신뢰도 연동형 휴먼인더루프 배치 방법 및 시스템{METHOD AND SYSTEM FOR AI-BASED WORKFLOW GENERATION USING USER CONTEXT GROUNDING AND INFERENCE-CONFIDENCE-COUPLED HUMAN-IN-THE-LOOP PLACEMENT}

【기술분야】

본 개시는 인공지능(AI) 기반 워크플로우 자동화 기술에 관한 것으로서, 보다 상세하게는 대규모 언어모델(Large Language Model, LLM)을 이용하여 사용자의 자연어 요청을 실행 가능한 워크플로우로 변환하되, 사용자와 연관된 컨텍스트 정보를 지능적으로 참조하여 워크플로우를 보강하고, 컨텍스트로부터 추론된 요소의 신뢰도를 위험도 산출 및 휴먼인더루프(Human-in-the-Loop, HITL) 검토 지점 배치에 연동시키는 방법 및 시스템에 관한 것이다.

【발명의 배경이 되는 기술】

최근 LLM의 발전에 따라 사용자의 자연어 지시를 해석하여 일련의 작업(task)을 자동 수행하는 에이전트형 워크플로우 자동화 기술이 활발히 연구되고 있다. 종래 기술은 사용자의 자연어 요청을 노드(node)와 엣지(edge)로 구성된 워크플로우 그래프로 변환하고, 이를 순차 또는 분기 실행하는 절차를 포함하였다.

다만, 종래 기술에는 다음과 같은 한계가 있다.

첫째, 자연어 요청은 본질적으로 불완전하여 작업 대상, 수신자 및 파라미터 등이 특정되지 않는 경우가 많고, 이를 보완하기 위해 사용자에게 반복 질의하거나 임의 기본값을 적용함으로써 사용성과 정확도가 저하될 수 있다.

둘째, 워크플로우 실행의 신뢰성을 위해 사람이 중간에 검토 및 승인하는 HITL이 도입되고 있으나, 모든 단계를 검토하면 생산성이 저하되고, 고정된 임계값으로만 검토지점을 정하면 정작 위험한 추론 부분을 놓치게 될 수 있다.

셋째, 사용자별 직무, 이력 및 선호가 반영되지 않아 동일 요청에도 부적합한 워크플로우가 생성될 수 있다.