사용자가 이사를 계획한다고 해보자. 목표는 “세 달 안에 출퇴근과 예산을 만족하는 집으로 무리 없이 옮기는 것”이다. 대화는 전세대출, 통근 시간, 가구 배송, 인터넷 설치로 갈라진다. 어느 순간 에이전트는 공유기 사양을 훌륭하게 비교한다. 답은 정확하다. 그런데 계약 마감일은 지나간다.

이 실패는 무지와 다르다. 각 부품은 맞지만 조립된 결과가 틀렸다.

이 글이 제안하는 가설은 간단하다.

장기 작업에서 에이전트는 하위 문제를 푸는 동안에도 사용자의 최상위 성공조건을 유지하고, 하위 문제가 끝나면 그 결과를 다시 전체 계획에 합류시켜야 한다.

이 능력을 임시로 Intent Persistence, 평가 대상을 Objective Lock이라고 부르자. 이름은 중요하지 않다. 중요한 것은 사용자가 계속 프로젝트 매니저가 되어 “우리가 왜 이 얘기를 하고 있었지?”라고 복구해야 하는지다.

기억과 목표 유지는 같은 문제가 아니다

장기 대화 연구는 이미 존재한다. LongMemEval은 500개 질문을 사용해 정보 추출, 여러 세션에 걸친 추론, 시간 추론, 지식 갱신, 답변 보류를 평가한다. 논문은 지속 대화에서 상용 챗봇과 장문맥 모델의 기억 정확도가 약 30% 낮아지는 결과를 보고했다. ToolSandbox는 상태가 이어지는 대화와 도구 실행에서 중간·최종 이정표를 평가한다.

이 연구들과 Objective Lock 가설은 겹치지만 완전히 같지는 않다.

  • 기억 문제: “사용자가 첫 세션에서 예산을 얼마라고 했는가?”
  • 상태 문제: “예약 전에 주소를 확인했는가?”
  • 목표 유지 문제: “공유기 비교가 이사 완료라는 최종 목표에서 지금도 중요한 병목인가?”

기억이 틀리면 목표도 흔들린다. 그러나 모든 사실을 기억해도 사소한 하위 문제를 끝없이 최적화할 수 있다. 반대로 세부 하나를 잊어도 최상위 성공조건을 다시 확인해 복구할 수 있다. 따라서 기억 정확도와 목적 적합성을 분리해 측정할 가치가 있다는 것이 이 글의 주장이다.

표류는 어떻게 생기는가

검증 전 작업모델은 다음과 같다.

최근 질문의 구체성이 국소 최적화를 통해 최상위 목적의 대체를 만든다.

대화 모델은 방금 들어온 문장에 답하도록 강하게 훈련된다. “배터리는 몇 mAh가 좋아?”라는 질문은 “여행 전체가 안전하고 일정 안에 끝나는가?”보다 답하기 쉽다. 새 단서가 전체 모델을 갱신하는 증거가 아니라 독립된 새 업무로 처리되면 대화는 그럴듯한 샛길의 연속이 된다.

여기서 lock은 고집이 아니다. 잠가야 하는 것은 문장 자체가 아니라 현재 합의된 성공조건과 그것을 바꿀 규칙이다.

  1. 최상위 목적과 관측 가능한 완료조건을 기록한다.
  2. 하위 문제마다 “이 결과가 어느 결정에 쓰이는가?”를 연결한다.
  3. 새 증거가 오면 기존 계획을 방어하지 말고 목적·제약·우선순위를 갱신한다.
  4. 하위 문제를 닫은 뒤 최상위 질문으로 복귀한다.
  5. 사용자가 목적을 바꾸면 이전 잠금을 해제한다.

제안 평가: 정답이 아니라 복귀 능력을 재기

10~30턴짜리 대화를 만든다. 첫 턴에는 여러 분야를 거쳐야 하는 최종 목표를 두고, 중간에는 유용하지만 일부는 매력적인 샛길인 질문과 새 증거를 넣는다. 평가자는 모델이 매 턴 무엇을 말했는지뿐 아니라 최종 상태가 성공조건을 만족했는지 본다.

제안 항목측정 대상가능한 산식·판정실패 예시
목표 복원 횟수사용자가 방향을 되돌려야 한 횟수명시적 “원래 목표는…” 교정 수사용자가 같은 목적을 세 번 다시 설명함
하위 문제 연결률새 사실이 최상위 모델에 합류했는지관련 사실 중 후속 결정에 반영된 비율비용 정보를 답했지만 총예산을 갱신하지 않음
복귀 지연하위 문제 종료 뒤 전체 목표로 돌아오는 속도완료된 하위 작업과 최상위 재평가 사이 턴 수비교를 끝낸 뒤 무관한 세부를 계속 확장함
전역 적합성국소 답이 최종 성공에 기여했는지블라인드 평가자가 각 행동을 필수·유용·무관·방해로 분류정확하지만 마감과 무관한 조사에 시간을 소모함
목적 변경 적응정당한 새 목표를 받아들이는지사용자의 명시적 변경 뒤 이전 목표를 고집한 횟수“일정을 취소하자” 이후에도 예약을 계속함
최종 완료율실제 성공조건 충족 여부사전 정의된 상태 검사좋은 설명은 많지만 계약·제출·복구가 끝나지 않음

Objective Drift Distance처럼 원래 목표와 현재 행동의 의미적 거리를 한 숫자로 만들 수도 있다. 그러나 임베딩 거리 하나로 평가하면 표현이 다른 같은 목표를 오판할 수 있다. 우선은 상태 기반 완료조건과 블라인드 인간 판정을 함께 쓰는 편이 안전하다.

평가 데이터에는 최소 세 종류의 함정이 필요하다.

  • 관련 단서: 전체 계획을 실제로 바꿔야 하는 새 정보
  • 무해한 샛길: 답할 수 있지만 최종 결정에는 중요하지 않은 질문
  • 정당한 목적 변경: 사용자가 성공조건 자체를 명시적으로 바꾸는 장면

세 번째가 빠지면 벤치마크는 목적 지속성을 측정하는 대신 완고함을 보상한다.

가장 강한 반론: 표류가 아니라 업데이트일 수 있다

대화가 길어지면 사용자의 목적도 변한다. 처음에는 “가장 싼 항공편”이 목표였지만 가족의 건강 문제가 생기면 “환승이 가장 적은 항공편”이 더 중요해질 수 있다. 이때 옛 목표를 붙드는 모델은 충실한 것이 아니라 둔감하다.

또 apparent drift는 모델보다 사용자 명세의 문제일 수 있다. 상충하는 조건, 암묵적 우선순위, 뒤늦은 정보가 있으면 에이전트가 어느 목적함수를 유지해야 하는지 알 수 없다. 안전·법률·권한 제약이 사용자의 희망보다 행동 범위를 좁히는 경우도 있다. 이것을 모두 “목표 대체”로 벌점화하면 위험한 순응을 장려한다.

따라서 좋은 Objective Lock은 세 문장을 동시에 만족해야 한다.

목적은 지속한다. 증거에는 업데이트한다. 제약은 목적을 몰래 바꾸지 않고 실행 범위를 명시적으로 제한한다.

무엇이 이 가설을 바꿀까?

다음 결과가 반복되면 별도 평가축의 필요성은 약해진다.

  • 장기기억 정확도와 상태 기반 도구평가만으로 사용자 교정 횟수와 최종 완료율을 거의 모두 예측한다.
  • 목표 요약·하위 문제 연결 장치를 추가해도 완료율은 오르지 않고 지연이나 완고함만 커진다.
  • 블라인드 평가자가 “목표 표류” 사례를 일관되게 구분하지 못한다.
  • 정당한 목적 변경이 많은 현실 과제에서 Objective Lock 점수가 높은 모델이 오히려 성과가 낮다.

반대로 기억 점수가 비슷한 모델 사이에서도 사용자 복구 횟수, 무관 작업 비율, 최종 완료율이 안정적으로 갈리고 새 평가가 그 차이를 예측한다면 독립 능력으로 다룰 근거가 생긴다.

에이전트가 유능하다는 말은 모든 질문에 긴 답을 준다는 뜻이 아니다. 필요한 곳까지 갔다가, 손에 든 답을 원래 목적에 꽂고, 실제 완료 상태를 확인하는 능력까지 포함한다.

출처와 한계