반복 업무를 시스템으로 바꾸기 전에 묻는 세 가지 질문

반복된다고 모두 자동화 대상은 아니다

지난 3월 캠퍼스 운영 주간 회의에서, 출결 데이터를 매주 손으로 정리해 담임 선생님들에게 보내던 운영 매니저가 물었습니다. “이거 자동으로 안 되나요?” 데이터 분석가로 일하면서 가장 자주 받는 질문입니다. 캠퍼스별 주간 학습 리포트를 만드는 일, 수업 출결 데이터를 정리해 보내는 일, 플레이핏 회원의 출석 추이를 코치에게 공유하는 일. 같은 작업이 반복될수록 시스템으로 바꾸고 싶은 마음이 커지는 것은 자연스럽습니다.

그런데 서둘러 만든 시스템이 오히려 일을 늘리는 경우를 최근 1년 동안 세 번 겪었습니다. 예외 처리가 쌓여 스크립트가 누더기가 된 것이 한 번, 아무도 열어 보지 않는 리포트가 매주 나간 것이 한 번, 잘못된 숫자가 몇 주 동안 조용히 발송된 것이 한 번입니다. 마지막 사례는 아래에서 자세히 적겠습니다. 자동화를 시작하기 전에 세 가지 질문을 먼저 적는 습관은 이 세 번에서 나왔습니다.

첫 번째 질문: 정말 같은 형태로 반복되는가

겉보기에 같은 일도 들여다보면 매번 조금씩 다릅니다. 캠퍼스 주간 리포트를 자동화하려고 최근 석 달치를 나란히 놓고 비교한 적이 있습니다. 형식은 같았지만 내용은 달랐습니다. 시험 기간에는 과제 현황 대신 모의고사 결과가 들어갔고, 새로 열린 반은 비교할 지난 데이터가 없었으며, 어떤 주에는 담당 선생님이 코멘트를 직접 고쳐 보냈습니다.

자동화 전에 먼저 세는 것은 예외의 비율입니다. 최근 반복된 열 번 가운데 입력과 출력이 완전히 같았던 경우가 몇 번인지 세어 보면, 그 일이 규칙인지 판단인지 드러납니다. 위의 석 달치 리포트는 열세 주 가운데 다섯 주가 예외였습니다. 예외가 열에 두셋을 넘으면 전체를 자동화하는 대신 데이터 취합처럼 확실히 같은 부분만 떼어 시스템으로 만들고, 나머지는 사람의 손에 남겨 둡니다. 그 리포트도 지금은 취합과 표 생성까지만 시스템이 하고, 코멘트는 여전히 선생님이 씁니다.

두 번째 질문: 사람의 판단은 어디에 남는가

두 번째 질문은 시스템의 경계에 관한 것입니다. 예를 들어 학습자의 출석과 과제 제출이 함께 떨어지는 패턴은 데이터로 잡아낼 수 있습니다. 주간 데이터 기준으로 10건 가운데 8, 9건은 실제 이탈로 이어지는 신호와 일치합니다. 하지만 그 신호를 받고 학부모에게 어떤 연락을 할지는 전혀 다른 문제입니다. 가정에 일이 있었는지, 아이가 슬럼프인지, 반 배정이 맞지 않는지는 숫자만으로 알 수 없고, 잘못 나간 자동 알림 한 통이 쌓아 온 신뢰를 깎기도 합니다.

이 경계를 그은 것은 제 설계 원칙이 아니라 회의에서 나온 한마디였습니다. 이탈 신호 알림을 처음 논의하던 자리에서 한 담임 선생님이 말했습니다. “학부모님께 바로 보내지 말고 저한테 먼저 주세요. 그 주에 그 집에 무슨 일이 있었는지는 제가 아니까요.” 이 요구를 그대로 옮겨, 시스템은 감지까지와 판단부터로 나눠 설계합니다. 이상 신호를 모아 담당 선생님과 코치에게 보여 주는 데까지가 시스템의 일이고, 연락할지 말지와 어떤 말로 전할지는 사람의 일로 남깁니다. 자동화의 목적은 판단을 없애는 것이 아니라, 판단이 필요한 순간에 사람이 더 좋은 정보를 들고 있게 만드는 것입니다. 이 경계에도 숫자를 하나 붙여 두었습니다. 신호의 적중률이 10건 중 7건 아래로 내려가면 알림을 멈추고 기준부터 다시 봅니다.

세 번째 질문: 잘 돌아가는지 어떻게 알 것인가

세 번째는 제가 가장 비싸게 배운 질문입니다. 작년 가을, 제가 만든 캠퍼스 주간 리포트가 소스 시트의 컬럼명이 바뀐 뒤 3주 동안 과제 제출 현황을 빈 값인 채로 발송했습니다. 발송은 매주 성공했고 오류 로그는 한 줄도 없었습니다. 그 사실을 알려 준 것은 제가 정해 둔 점검 지표가 아니라 한 캠퍼스 담임 선생님의 메시지였습니다. “리포트에 과제 칸이 계속 비어 있는데, 저희 반만 그런가요?”

시스템은 만든 날이 아니라 잊힌 뒤부터가 진짜입니다. 자동 리포트는 소스 데이터의 형식이 바뀌어도 겉보기에는 멀쩡하게 발송됩니다. 오류가 소리를 내지 않으니, 확인할 지표를 미리 정해 두지 않으면 잘못된 숫자를 몇 주씩 흘려보내게 됩니다.

그 3주 이후로, 도입 전에 두 가지를 반드시 적습니다.

1. 기준선. 그러니까 자동화 전에 이 일에 들던 시간과 오류율입니다. 주간 리포트의 경우 사람이 만들 때 매주 4시간이 들었습니다. 이 숫자가 있어야 시스템이 실제로 무엇을 줄였는지 말할 수 있습니다.
2. 점검 지표와 그것을 보는 사람. 발송 성공률, 수신자가 실제로 열어 보는 비율, 데이터가 비어 있는 채로 나간 횟수를 정하고, 매주 확인할 담당을 함께 정합니다. 열람률이 절반 아래로 떨어지면 발송을 멈추고 리포트의 내용부터 다시 설계합니다.

기준선과 지표를 재면서 불편한 숫자도 하나 나왔습니다. 자동화 뒤 작성 시간은 매주 4시간에서 40분으로 줄었지만, 열람률을 처음 재 보니 수신자의 절반가량이 리포트를 열지 않고 있었습니다. 시간을 줄이는 것과 쓰이는 것을 만드는 일은 다른 문제였습니다. 지켜보는 사람이 없는 시스템은 없는 것과 같습니다.

결론: 시스템은 시간을 벌어 판단에 쓰게 한다

세 가지 질문은 결국 하나의 기준으로 모입니다. 이 시스템이 사람의 시간을 어디에 다시 쓰게 하는가입니다. 좋은 자동화는 일을 없애는 것이 아니라, 규칙으로 처리할 수 있는 부분을 기계에 넘기고 사람은 관찰과 판단처럼 사람만 할 수 있는 일에 시간을 쓰게 합니다.

이렇게 만든 시스템은 하나씩 쌓일수록 다음 시스템을 만들기 쉽게 합니다. 정리된 데이터가 다음 질문의 재료가 되고, 절약된 시간이 다음 개선의 여유가 됩니다. 자동화를 서두르지 않는 이유가 여기에 있습니다. 세 가지 질문에 답할 수 있을 만큼 일을 이해했을 때 시스템은 일을 줄이고, 답하지 못한 채 만들면 지난 1년의 세 번처럼 일을 늘립니다.