본문으로 건너뛰기
Hoegun You
뒤로

kenny: 내 일을 대신하는 에이전트

설계 도면에 집중한 엔지니어 옆 책상에서, 같은 주황 셔츠를 입은 작은 로봇이 동료들의 질문에 체크 표시로 답하고 있다. 둘 사이를 점선이 잇는다

1편에서, 내가 다른 일을 하는 사이 팀원의 질문에 정리된 답이 Slack에 달리는 장면을 썼다. 이 글은 그 답을 쓰는 에이전트에 관한 이야기다.

이름은 Ken에서 딴 kenny다. 사람들이 나를 기다리던 첫 대응을 맡기려고 만들었다.

내 일에 AI 에이전트를 들이면서 배운 것을 정리하는 시리즈의 6편이다.

여기서 “내 일”이란

내 일 중 하나는 운영 중인 서비스에서 문제가 생겼을 때의 첫 대응이다. 누군가 Slack으로 알리면 그게 무엇인지 알아낸다. 재현해 보고, 코드를 확인한다. 수정이 필요하면 이슈를 만들고 고친다. 그 사이사이 진행 상황과 임시 대책을 공유한다.

병목은 내가 대응할 수 있는 시간이었다. 내가 다른 일에 몰두해 있으면 요청을 못 보거나 대응하지 못했고, 물어본 사람은 내가 볼 때까지 일이 막혔다.

그래서 설정을 한 줄도 쓰기 전에, 이 일 중 어디까지를 에이전트가 맡고 어디부터는 맡지 않을지부터 적었다.

  • 맡긴다: 질문 받기, 문서와 코드에서 답 찾기, 지금의 데이터 확인하기, 버그로 보이는 문제 재현하기, 원인과 수정 방향 정리하기, 물어본 사람에게 진행 상황 알리기.
  • 남긴다: 정책과 예외 결정, 무엇이든 약속하기, 운영 환경 바꾸기, 그리고 수정. 수정은 정리된 내용을 보고 내가 한다.

이 목록이 거의 그대로 에이전트의 규칙이 됐다. kenny는 오픈소스 에이전트 런타임 Hermes Agent 위에서 Slack으로 일한다.

창구 하나, 전문 에이전트 둘

창구 하나와 전문 에이전트 둘: 대부분은 kenny가 답하고, 버그 의심은 조사 담당이, 기능 아이디어는 아이디어 검토 담당이 맡고, 결과는 같은 스레드로 돌아온다

팀원은 kenny하고만 대화한다. 그 뒤에는 kenny하고만 대화하는 전문 에이전트 둘이 있다.

  • 조사 담당. 버그로 보이는 문제를 개발 환경에서 재현하고 원인을 찾아, 원인과 수정 방향을 정리한다. 원인을 확인하려고 그 환경의 코드를 잠깐 고칠 수는 있지만 반드시 되돌린다. 실제 수정은 정리된 내용을 보고 사람이 한다.
  • 아이디어 검토 담당. “이렇게 바꾸면 어때요?”라는 질문이 오면 지금 있는 기능과 비교해 1차 범위와 수용 기준을 글로 쓴다. 읽을 수만 있고 무엇도 실행하지 못한다. 아이디어를 받아들일지는 사람이 정하고, kenny는 검토로 넘기기 전에 물어본 사람에게 먼저 묻는다.

조사 담당에게 보내는 일은 버그 의심, 여러 저장소를 가로지르는 조사, 사람이 무언가를 확인해야 하는 조사 세 종류다. 기능 아이디어는 앞에서 설명한 별도의 검토 경로를 따른다. 나머지는 kenny가 직접 답한다. 결과는 같은 Slack 스레드로 돌아오고, 세 에이전트 가운데 이슈 트래커에 이슈를 만드는 건 kenny뿐이다. 스레드에서 말하는 목소리도 하나, 이슈를 쓰는 에이전트도 하나다.

넘기는 규칙은 첫 실전에서 나왔다. kenny가 버그 하나를 너무 오래 붙잡고, 조사 담당이 할 일을 창구에서 하고 있었다. 그래서 지금 규칙은 이렇다. 문제가 어디쯤인지만 짚고 빨리 넘기고, 물어본 사람에게는 “접수했고, 1차 판단은 이렇다”고 먼저 알린다.

해 보니 창구가 일의 대부분을 감당했다. 11월 초 어느 일주일 동안 조사 담당은 한 건도 받지 않았다. kenny가 모든 질문에 직접 답했기 때문이다.

모르는 것을 모른다고 말하는 답 형식

모든 답은 같은 모양: 쉬운 말로 된 결론, 화면에서 보이는 것과 확인 방법, 근거 상태(코드로 확인했는지, 문서로만 봤는지, 추정인지), 기술 근거가 필요하면 말해 달라는 안내

가장 중요한 규칙은 kenny가 무엇을 아느냐가 아니라, 모르는 것을 어떻게 말하느냐에 관한 것이다. 모든 답에는 근거 상태를 붙인다. 코드로 확인했는지, 문서로만 봤는지, 추정인지. kenny의 규칙에서 가장 나쁜 실패는 확인하지 않은 것을 확인한 것처럼 말하는 것이다.

나머지 형식은 피드백에서 나왔다. 첫 주가 가기 전에 답이 너무 기술적이라는 말이 나왔다. 그래서 기본 형식을 바꿨다. 쉬운 말로 된 결론이 먼저, 그다음 화면에서 무엇이 보이고 어떻게 확인하는지, 그다음 근거 상태, 마지막으로 기술 근거가 필요하면 말해 달라는 안내. 파일 경로나 테이블은 누가 물을 때만 나오고, 소스 코드는 어떤 경우에도 나오지 않는다.

작은 규칙 두 개도 큰일을 한다.

  • 코드가 이긴다. 정책 질문의 답을 가르는 조건은 문서만 보지 않고 코드로 확인한다. 아직 초안인 문서가 있기 때문이다.
  • 불렀을 때만 답한다. 채널에서는 @kenny로 불렀을 때만 답하고, 사람들끼리 나누는 대화에는 끼어들지 않는다.

“이 SQL을 돌려 보세요”에서 “숫자는 이렇습니다”로

처음 며칠 동안 kenny는 예전에 떠 둔 데이터 사본만 읽을 수 있었다. “이 주문 지금 상태가 뭐예요?”, “이번 주 자동 거절이 몇 건이에요?”라고 물으면, 그 사본을 기준으로 답하거나 누가 돌려 볼 조회문을 제안하는 게 최선이었다.

그 뒤 개인정보를 가린 읽기 전용 운영 데이터 창구를 연결했다. 이제는 지금의 값으로 답한다. 이 접근에는 규칙이 엄격하다. 개인정보 항목은 조회하지 않고, Slack이나 이슈로는 건수와 식별자만 옮기고, 질문 하나에 쓸 수 있는 조회 횟수가 정해져 있고, 조회가 실패하면 추측하지 않고 값을 확인하지 못했다고 말한다.

일부러 좁게

kenny는 더 많은 일을 할 수 있다. 일부러 안 시킨다.

  • 정책도 약속도 없다. 예외, 보상, “반영하겠습니다”는 사람이 한다. 결정이 필요한 질문이면 kenny는 스레드에서 나를 부른다.
  • 운영 환경을 바꾸지 않는다. 배포도, 데이터 수정도, 설정 변경도 못 한다. 읽기만 한다.
  • 개인정보를 드러내지 않는다. 주문 번호와 회원 ID까지만 쓴다. 이름, 연락처, 결제 정보는 Slack에도 이슈에도 쓰지 않는다.
  • 소스 코드를 Slack에 올리지 않는다. 판단하려고 코드를 읽을 수는 있지만 올리지는 않는다. 이 장치는 첫 글에서 다뤘다.
  • 대화로는 규칙이 바뀌지 않는다. 묻는 사람이 나여도 마찬가지다.

그래서 kenny의 답은 판단의 재료다. 결정과 고객에게 하는 말은 사람이 한다.

무엇이 바뀌었나

  • 사흘 만에 만들었다. 10월 17일부터 19일까지 사흘에 만들었다. kenny, 조사 담당, 아이디어 검토 담당 순서다. 20일에는 여섯 명에게 사용을 허용했고, 조사와 검토 11건이 끝나 있었다.
  • 첫 답이 빠르다. 10월 31일부터 11월 14일까지 나를 포함한 다섯 명이 물은 질문 약 95건에 답했다. 첫 답까지의 중간값은 93초였고, 95건 중 94건이 10분 안에 첫 답을 받았다. 자세히 측정해 본 답 하나는 30초쯤, 조회 다섯 번이 걸렸다.
  • 이슈가 정리된 채로 온다. 첫 한 달 동안 Slack 요청에서 이슈 24건을 만들었고, 각각 조사한 결과가 정리돼 있다. 고치는 사람은 원인과 수정 방향에서 시작한다.

표본이 작고, 질문 중 상당수는 내가 한 것이다. 이 숫자는 속도를 보여 줄 뿐, 답의 품질이나 아낀 시간을 보여 주지는 않는다. 하지만 내가 풀려던 문제가 바로 속도였다. 이제 질문은 나를 기다리지 않는다.

이런 에이전트를 만들려는 사람에게

  • 봇이 아니라 일에 이름을 붙인다. 내 일 중 어디까지를 맡기고 어디부터는 안 맡길지 적는다. 그 목록이 규칙의 대부분이 된다.
  • 창구는 하나로. 뒤에 전문 에이전트를 두면 에이전트마다 권한을 작게 유지할 수 있다.
  • 빨리 넘긴다. 깊은 일을 하는 창구는 새로운 병목이 된다.
  • 의심을 형식에 넣는다. 모든 답에 붙은 근거 상태가, 언제 한 번 더 확인해야 하는지 알려 준다.
  • 영리함보다 좁음. 빼 둔 기능 하나하나가 막을 필요 없는 실패다.
  • 피드백으로 기본값을 바꾼다. 어렵다는 지적 하나가 그 뒤의 모든 답을 바꿨다.

시리즈 목차

  1. 직접 하던 사람에서 맡기는 사람으로
  2. 판정은 코드가, 설명은 LLM이
  3. 내가 절대 어기지 않는 규칙
  4. 맥락이 실력이다
  5. 에이전트는 잊는다, 그래서 적는다
  6. kenny: 내 일을 대신하는 에이전트 (이 글)
  7. Hermes: 확인할 일을 챙겨 주는 리마인더
  8. 2주 만에 시작하는 법

여러분이 일의 한 부분을 맡길 에이전트를 만든다면, 이름을 무엇으로 짓고 무엇을 금지하겠는가?



이전 글
에이전트는 잊는다, 그래서 적는다