
내가 가장 자주 흘리는 일은 버그가 아니다. “다음 주에 확인하기”다.
수정을 배포하면 진짜 시험은 다음 주 숫자다. 파트너에게 질문을 보내면, 금요일까지 답이 없을 때 다시 연락해야 한다. 코딩 에이전트는 오늘 일을 해낼 수 있지만, 내 작업 방식에서는 세션이 오래 남는 후속 확인을 만들어 두지 않았다. 그리고 나는 다음 세션이 이번 세션의 맥락을 갖고 있다고 가정하지 않게 됐다.
내 달력 메모도 답이 아니었다. 메모에는 “수정 확인”이라는 제목만 있었고, 바로 실행할 확인 요청문은 없었다. 일주일 뒤의 나는 나머지를 처음부터 다시 떠올려야 했다. 정확히 무엇을 봐야 하는지, 왜 중요했는지, 정상이면 어떤 결과가 나와야 하는지. 그때쯤이면 맥락은 사라졌고, 확인은 건너뛰거나 대충 하게 됐다.
내 일에 AI 에이전트를 들이면서 배운 것을 정리하는 시리즈의 7편이다. 내가 돌리는 에이전트 중 가장 작은 것과, 그걸 쓸모 있게 만든 설계 선택에 관한 글이다.
후속 확인에 실제로 필요한 것
일을 끝낸 순간에는 알지만 다음 주에는 모를 것이 네 가지 있다.
- 무엇을 확인할지. 쿼리, 로그, 페이지.
- 왜 확인하는지. 그 변경이 무엇을 하려던 것이었는지.
- 정상이면 어떤 모습인지. “됐다”를 뜻하는 숫자나 결과.
- 실행할 요청문. 에이전트에게 다시 설명하지 않아도 확인을 할 수 있게 하는 정확한 문장.
내 달력 메모에 늘 없던 건 네 번째이고, 시간을 가장 많이 아껴 주는 것도 네 번째다. 그래서 질문이 바뀌었다. 이 네 가지를 다 담은 후속 확인을 어디에 두고, 누가 나에게 알려 줄까?
돌아서 온 길
하나가 자리 잡기까지 세 가지 방식을 거쳤다.
첫 번째는 개인 비서의 단순한 리마인더였다. Hermes는 내 개인 비서다. 오픈소스 Hermes Agent 런타임 위의 프로필 하나이고, Slack DM으로 대화한다. 그날이 되면 알려 줬지만 회사 데이터를 하나도 볼 수 없어서, 확인은 결국 내가 처음부터 다 해야 했다. 그래서 그만뒀다.
두 번째는 팀 에이전트의 예약 작업이었다. 팀의 질문에 답하는 에이전트 kenny는 읽기 전용 창구로 운영 데이터를 볼 수 있다. 그래서 코딩 에이전트가 kenny에 일회성 예약 작업을 등록하게 했다. 그날이 되면 kenny가 직접 확인하고 결과를 올리는 방식이다. 잘 돌았다. 시험 실행에서 데이터를 한 번 조회하고 보고까지 했다.
대신 무거웠다. 후속 확인 하나마다 에이전트 호스트에 접속하고, 작업을 등록하고, 복사본으로 시험 실행을 하고, 모든 예약 작업을 고정해 두는 무결성 점검의 기준값을 다시 뜨고, 커밋하고, 동기화해야 했다. 두 번은 내 코딩 에이전트 세션 두 개가 동시에 이 일을 했다. 한 번은 같은 작업을 40초 간격으로 등록했고, 한 번은 새 기준값을 같은 시각에 커밋해서 순서를 다시 맞춰야 했다. 게다가 후속 확인을 Slack에서 끝내거나 미룰 수도 없었다. 그러려면 호스트에서 또 한 바퀴를 돌아야 했다.
세 번째는 일부러 다시 비서로 돌아간 것이다. 뻔한 해결책은 kenny가 Slack 대화로 직접 예약 작업을 만들게 하는 것이었다. 그렇게 하지 않기로 했다. kenny는 운영 데이터를 만지고, 대화로 자기 설정을 바꾸지 못하게 일부러 막혀 있다. 그런 에이전트에게 대화만으로 계속 도는 작업을 만들 힘을 주는 건 내가 원하지 않는 종류의 권한 확대다. 그래서 스스로 확인까지 하던 방식을 포기하고 피해 범위가 작은 쪽을 골랐다. 비서는 알리기만 하고, 확인은 내가 한다.
지금은 이렇게 돈다
일을 마칠 때 코딩 에이전트가 Slack으로 Hermes에게 메시지 하나를 보낸다. 항목은 늘 같다. 제목, 처음 알릴 날짜와 시각, 방식(한 번, 또는 답할 때까지), 그리고 중요한 부분인 무엇을 왜 확인할지, 정상이면 어떤 모습인지, 코딩 에이전트에 그대로 다시 붙여 넣을 수 있는 요청문.
Hermes는 이걸 리마인더로 만든다. 기본값은 정한 날부터 하루 두 번, 4일 동안 최대 일곱 번이고, 내가 답하면 그보다 일찍 멈춘다. 알림이 오면 요청문을 로컬 에이전트에 붙여 넣는다. Hermes에게는 없는 권한이 로컬 에이전트에는 있다. 결과는 내가 판단한다. 그리고 스레드에 한 단어로 답한다.
- 완료: 끝났다. 리마인더를 지운다.
- 다시와 시각: 나중에 다시 알려 달라. 원래 방식 그대로.
- 취소: 그 일에 대한 알림을 모두 멈춘다.
이게 인터페이스의 전부다. 등록하고, 끝내고, 미루는 일이 모두 Slack 안에서 끝난다. 팀 에이전트는 아무것도 바뀌지 않고, 커밋할 것도 없다.
등록 메시지는 그 자체로 기록이기도 하다. 몇 주 뒤에도 그 메시지에 내가 왜 확인하려 했는지가 남아 있다. 5편에서 말하는 것의 절반이 이것이다.
옮기던 날, 시험이 잡아낸 버그
새 규칙은 11월 8일에 썼고, 같은 날 전부 옮겼다. 남아 있던 후속 확인 네 개와 매일 오는 리마인더 하나를 팀 에이전트에서 빼서 Hermes 리마인더로 다시 만들었다.
그날 리마인더에 답하는 경로를 시험하다가 “다시”의 버그를 찾았다. “다시”라고 답하면 리마인더가 새로 만들어지긴 했는데 방식이 바뀌었다. “답할 때까지” 리마인더가 일회성으로 돌아와서, 한 번 울리고 조용해질 참이었다. 지금 Hermes에는 원래 방식을 유지하라는 규칙이 명시돼 있다. 나는 이 교훈을 자꾸 다시 배운다. 만드는 경로는 모두가 시험한다. 리마인더가 조용히 죽는 곳은 답하는 경로다.
속도는 처음부터 문제가 아니었다. 코딩 에이전트를 Slack으로 Hermes에 처음 연결했을 때, 글을 올리고 스레드에 답이 달리기까지 4.4초였다. 후속 확인 등록은 코딩 에이전트가 대신 써 주는 메시지 하나다.
나머지 절반: 이력이 아니라 역할을 가진 조언자
Hermes에게는 일이 하나 더 있다. 결정할 일이 있을 때 조언을 구한다. 추천 하나, 이유, 틀렸을 때의 대가. 결정은 내가 한다.
경험 많은 창업자처럼 판단해 주기를 원했다. 솔깃한 방법은 그 이력을 지시문에 적는 것이다. “너는 회사를 세 번 운영했다.” 그렇게 하지 않았다. 가짜 이력을 받은 모델은 가짜 일화를 만들어 낸다. “제 두 번째 회사에서는…” 같은 말이 증거처럼 읽힌다. 그 조언으로 실제 결정을 내리는 사람이 나라면, 지어낸 증거야말로 가장 위험한 결과물이다.
그래서 지시문에는 과거가 아니라 관점을 적었다. 무엇을 먼저 보는지, 무엇을 무겁게 여기는지, 무엇을 의심하는지. Hermes는 지어낸 이야기가 아니라 패턴과 판단으로 말하고, AI라는 사실도 숨기지 않는다. 조언은 조금 덜 그럴듯해 보인다. 대신 내가 따져 볼 수 있다.
지금 쓰는 방식
11월 15일과 16일에 등록한 후속 확인 두 가지다. 둘 다 일을 마칠 때 코딩 에이전트가 썼다.
- 이 시리즈를 시작하고 일주일 뒤, 첫 글이 채널마다 어땠는지 확인하라는 리마인더. 숫자를 모아 기록하는 요청문이 함께 들어 있다.
- 시리즈가 나가는 동안 하루 한 번 오는 리마인더. 그날 글이 올라갔는지 확인하고 다른 채널에 올릴 준비를 하라는 내용이다. 글이 안 올라와 있으면 무엇을 할지도 요청문에 적혀 있다.
둘 다 내가 기억할 것은 Slack 메시지를 읽는 일 하나뿐이었다.
무엇을 치렀나
- 자동 확인이 없다. 두 번째 방식에서는 에이전트가 직접 데이터를 봤다. 지금은 알림이 오면 내가 로컬 에이전트로 한다. 일부러 다시 가져온 일이다.
- 내가 답해야 돌아간다. 4일 동안 일곱 번이면 끈질기지만 무한하지는 않다.
- 리마인더는 등록할 때 쓴 요청문만큼만 좋다. 요청문이 흐릿하면 확인도 흐릿해진다. 그래서 항목이 정해져 있다. 정상이면 어떤 모습인지를, 아직 알고 있을 때 적게 만든다.
여기서 얻은 것
- 확인할 방법은 맥락이 있을 때 적는다. 다음 주의 나는 모른다.
- 리마인더에 제목이 아니라 요청문을 담는다. 붙여 넣을 요청문이 있으니 맥락을 다시 구성하지 않고 확인을 시작할 수 있다.
- 리마인더를 회사 시스템에서 떼어 둔다. 회사 시스템에 접근하지 않고 리마인더와 확인 지시만 보관하는 비서는 자기 지시문이 잘못돼도 큰 피해를 내지 못한다. 다만 그 메시지 자체도 내가 올리는 다른 글과 같은 규칙을 따른다.
- 끝내는 데 한 단어면 되게 한다. 끝내거나 미루는 게 번거로우면 리마인더가 쌓이고, 결국 무시하게 된다.
- 답하는 경로까지 시험한다. 만드는 경로만이 아니라.
- 조언자에게는 이력이 아니라 역할을 준다. 따져 볼 수 있는 조언을 원한다면.
시리즈 목차
- 직접 하던 사람에서 맡기는 사람으로
- 판정은 코드가, 설명은 LLM이
- 내가 절대 어기지 않는 규칙
- 맥락이 실력이다
- 에이전트는 잊는다, 그래서 적는다
- kenny: 내 일을 대신하는 에이전트
- Hermes: 확인할 일을 챙겨 주는 리마인더 (이 글)
- 2주 만에 시작하는 법
여러분이 가장 자주 잊는 후속 확인은 무엇인가? 5분 안에 끝내려면 리마인더에 무엇이 적혀 있어야 할까?