AI가 메일을 작성하고, 견적 정보를 옮기고, 고객 문의를 분류하는 데 성공했다고 해서 업무 자동화가 완성된 것은 아닙니다. 실제 운영에서는 더 중요한 질문이 남습니다.
30초 요약
안전한 자동화는 잘 멈추고, 기록하고, 이어받습니다.
실제 흐름고객 문의→AI 초안→사람 승인→발송→실패 시 복구·담당자 처리
| 용어 | 쉬운 뜻 |
|---|---|
| 승인 경계 | 자동화가 멈추고 사람의 확인을 기다리는 지점 |
| 재시도 | 잠깐 생긴 오류일 때 같은 작업을 제한적으로 다시 하는 것 |
| 보상 작업 | 이미 실행한 일을 취소하거나 정정해 영향을 줄이는 후속 조치 |
| 수기 대기열 | 자동으로 해결하지 못한 일을 담당자가 이어서 처리하는 목록 |
- 어떤 작업까지 AI가 진행하고, 어디서 사람이 승인해야 하는가?
- 승인한 사람과 근거를 나중에 확인할 수 있는가?
- 외부 시스템이 느리거나 잘못된 데이터가 들어오면 어떻게 멈추는가?
- 이미 실행된 작업을 취소할 수 없다면 무엇으로 피해를 줄이는가?
- 자동 복구에 실패한 업무를 누가, 언제, 어떤 정보로 이어받는가?
이 글은 AI 자동화의 사람 승인 지점, 승인 로그, 실패 감지, 재시도, 보상 작업, 수기 대기열을 한 흐름으로 설계하려는 중소기업 의사결정자를 위한 실무 안내서입니다. 특정 클라우드 제품을 도입하라는 글이 아니라, 어떤 도구를 쓰더라도 확인해야 할 운영 원칙을 다룹니다.
먼저 결론
안전한 AI 자동화의 핵심은 “사람이 모든 결과를 다시 읽는 것”도, “AI가 끝까지 알아서 처리하는 것”도 아닙니다. 영향이 큰 행동 직전에 승인 경계를 두고, 모든 승인과 실행을 추적 가능하게 기록하며, 실패를재시도 → 대체 경로 또는 보상 → 수기 처리로 넘길 수 있게 설계하는 것입니다. 되돌릴 수 없는 행동은 모든 핵심 검증과 승인이 끝난 뒤에만 실행해야 합니다.

왜 정확도보다 승인과 복구 설계를 먼저 봐야 할까
AI 모델의 출력은 업무 흐름의 한 단계일 뿐입니다. 실제 사고는 모델의 문장 하나보다 다음과 같은 결합에서 커질 수 있습니다.
- 잘못 작성한 내용을 외부 고객에게 바로 전송한다.
- 중복 실행이 결제, 주문, 발주를 두 번 만든다.
- 권한이 넓은 계정으로 여러 시스템의 데이터를 동시에 변경한다.
- API 호출은 실패했는데 내부 화면에는 완료로 표시된다.
- 자동 취소도 실패했지만 담당자에게 알림이 가지 않는다.
[사실] NIST의 AI Risk Management Framework(AI RMF)는 AI 위험 관리를 Govern, Map, Measure, Manage의 네 기능으로 구성하고, 책임과 역할을 정하며 위험을 지속적으로 관리하는 관점을 제시합니다. NIST AI RMF Playbook은 이를 실행하기 위한 제안 모음이며, 특정 조직에 동일한 통제를 강제하는 규정은 아닙니다.[1][2]
[Morrow 해석] 중소기업의 첫 자동화에서 중요한 것은 거대한 거버넌스 문서를 만드는 일이 아닙니다. 최소한 다음 네 가지가 실제 화면과 운영 절차에 존재해야 합니다.
- 멈추는 지점: 자동 실행을 허용하지 않는 승인 경계
- 남는 기록: 입력, AI 제안, 승인자, 실행 결과를 연결하는 로그
- 실패 경로: 오류 종류별 재시도·중단·보상 규칙
- 사람에게 넘기는 길: 자동 복구가 끝나면 담당자가 이어받는 수기 대기열
이 네 가지가 없으면 “잘될 때의 데모”는 만들 수 있어도 “문제가 생겼을 때 운영 가능한 업무”는 만들기 어렵습니다.
1. 승인 경계는 ‘AI가 생각한 뒤’가 아니라 ‘영향이 발생하기 전’에 둔다
사람 승인은 단순한 검수 버튼이 아닙니다. 승인 뒤에 실행되는 행동의 책임과 영향을 통제하는 경계입니다. 따라서 승인 지점은 모델의 자신감만으로 정하지 말고, 행동이 실패했을 때의 영향, 되돌릴 수 있는 정도, 규칙의 명확성으로 정해야 합니다.
승인 경계를 정하는 세 가지 질문
질문 1. 이 행동은 외부에 영향을 주는가?
고객에게 메일을 보내거나, 협력사에 발주를 전달하거나, 공개 채널에 글을 올리는 순간 회사 밖에 영향이 생깁니다. 초안 작성은 내부 작업이지만 전송과 게시에는 별도의 승인 경계가 필요합니다.
질문 2. 금전·계약·권리·보안에 영향을 주는가?
결제, 환불, 가격 확정, 계약 조건 변경, 계정 권한 부여, 중요 데이터 삭제처럼 영향이 큰 행동은 일반적인 콘텐츠 분류보다 더 엄격하게 다뤄야 합니다. AI가 자료를 모으고 추천안을 만들 수는 있어도, 실행 주체와 최종 책임자를 분리해 두는 편이 안전합니다.
질문 3. 실행 후 실제로 되돌릴 수 있는가?
“취소 API가 있다”는 말과 “원상복구가 된다”는 말은 다릅니다. 외부 수신자가 이미 메일을 읽었거나, 거래 상태가 바뀌었거나, 다른 시스템이 후속 작업을 시작했다면 단순 롤백으로 처음 상태에 돌아갈 수 없습니다.
[사실] Microsoft Azure Architecture Center의 보상 트랜잭션 패턴은 분산된 여러 단계의 작업에서 완료된 단계를 단순히 원래 상태로 되돌릴 수 없는 경우가 있으며, 업무별 규칙에 따른 보상 작업이 필요하다고 설명합니다. 또한 되돌릴 수 없는 단계와 ‘돌아갈 수 없는 지점’을 명확히 정하고, 그런 단계는 핵심 검증을 마친 뒤에 실행하도록 권고합니다.[3]
실무용 승인 경계 표
아래 표는 법적 분류나 보편 표준이 아니라, 각 회사가 자체 업무를 분류할 때 쓸 수 있는 Morrow의 실무 프레임입니다.
| 행동 유형 | 예시 | 권장 자동화 범위 | 사람 승인 위치 |
|---|---|---|---|
| 내부 보조·가역 | 문서 요약, 태그 제안, 초안 생성 | 자동 생성 가능 | 표본 검토 또는 다음 단계 담당자 검토 |
| 외부 전달 | 고객 메일, 게시물, 협력사 알림 | 초안·수신자 후보 생성까지 | 전송·게시 직전 |
| 데이터 변경 | CRM 상태, 재고·주문 정보, 중요 문서 수정 | 검증된 규칙 안에서 제한 | 중요 필드 변경 전 또는 예외 발생 시 |
| 금전·계약 | 결제, 환불, 가격 확정, 계약 변경 | 자료 수집·추천안 작성까지 | 실행 권한을 가진 사람의 명시적 승인 |
| 권한·삭제 | 계정 권한 부여, 대량 삭제, 보안 설정 변경 | 자동 실행을 매우 제한 | 별도 권한을 가진 책임자 승인; 필요 시 이중 확인 |
| 애매하거나 신규 | 처음 보는 요청, 규칙 충돌, 신뢰할 근거 부족 | 자동 중단 | 수기 대기열에서 판단 |
[Morrow 해석] 승인 대상을 “AI가 만든 모든 문장”으로 잡으면 승인자가 곧 병목이 됩니다. 반대로 “신뢰도 점수가 높으면 모두 실행”으로 잡으면 행동의 실제 영향을 놓칠 수 있습니다. 승인 경계는 출력의 품질 점수보다 업무 영향을 우선해 정해야 합니다.

2. 승인 화면에는 판단에 필요한 맥락이 함께 보여야 한다
승인 버튼만 있다고 사람이 실질적으로 통제하는 것은 아닙니다. 승인자는 짧은 시간 안에 무엇이 바뀌고, 어떤 근거를 썼으며, 승인하면 어떤 행동이 실행되는지 알아야 합니다.
최소 승인 화면 구성
- 원본 요청: 고객 문의, 입력 문서 또는 업무 요청의 핵심
- AI 제안: 생성된 답변, 분류, 변경 예정 값
- 근거: 참조한 문서·레코드·규칙의 출처와 버전
- 변경 전후 비교: 어떤 필드가 어떻게 달라지는지
- 실행 대상: 수신자, 시스템, 레코드, 금액 등 영향 범위
- 주의 표시: 규칙 충돌, 누락 필드, 처음 보는 유형, 실패 이력
- 가능한 선택: 승인, 수정 후 승인, 반려, 보류, 담당자 이관
- 복구 정보: 취소 가능 여부와 실패 시 예정된 보상·수기 절차
[예시·가상] 영업 문의 답변 자동화라면 승인 화면에 “고객 원문”, “AI 답변 초안”, “참조한 가격표 버전”, “받는 사람 주소”, “메일 전송 후 회수 불가”를 함께 표시할 수 있습니다. 이는 특정 기업의 운영 사례나 성과 수치가 아니라 설계를 설명하기 위한 예시입니다.
승인자가 원문을 찾기 위해 다른 시스템을 여러 번 오가야 하거나, 승인 뒤 어떤 API가 실행되는지 모른다면 승인은 형식적 절차가 되기 쉽습니다.

3. 승인 로그는 감사용 문서가 아니라 복구용 데이터다
장애가 생겼을 때 가장 먼저 필요한 것은 “무슨 일이 일어났는가”입니다. 승인 로그는 사후 책임을 묻기 위한 기록에만 머물러서는 안 됩니다. 원래 작업과 승인, 외부 실행, 복구 작업을 하나의 흐름으로 연결해야 합니다.
승인·실행 로그에 남길 최소 항목
| 항목 | 남기는 이유 |
|---|---|
| 작업 ID와 상관관계 ID | 여러 시스템의 기록을 같은 업무로 연결하기 위해 |
| 요청 시각·실행 시각·완료 시각 | 지연, 타임아웃, 순서 문제를 확인하기 위해 |
| 요청자·승인자·실행 주체 | 사람과 서비스 계정의 역할을 구분하기 위해 |
| 입력의 참조값 또는 안전한 스냅샷 | 어떤 정보를 바탕으로 판단했는지 재현하기 위해 |
| 모델·프롬프트·업무 규칙의 버전 | 변경 전후 결과 차이를 조사하기 위해 |
| AI 제안과 사람이 수정한 내용 | 승인 과정에서 무엇이 달라졌는지 보기 위해 |
| 승인 결과와 사유 | 승인·반려·보류의 근거를 남기기 위해 |
| 실행 대상과 변경 전후 값 | 실제 영향 범위를 파악하고 복구하기 위해 |
| 외부 시스템 응답과 오류 코드 | 성공처럼 보인 실패, 중복, 권한 오류를 진단하기 위해 |
| 재시도 횟수와 다음 처리 상태 | 무한 재시도와 유실을 막기 위해 |
| 보상 작업 및 수기 처리 결과 | 원래 실행부터 복구 완료까지 추적하기 위해 |
[사실] NIST SP 800-92는 조직의 로그 관리 계획과 절차 수립을 다루는 지침입니다.[4] NIST SP 800-61 Rev. 3은 사이버보안 사고 대응을 위험 관리 전반에 통합해 탐지·대응·복구를 준비하는 방향을 제시합니다.[5] 두 문서는 AI 자동화 전용 제품 설계서가 아니므로, 위 필드 목록 자체를 NIST의 의무 요구사항으로 해석해서는 안 됩니다.
[Morrow 해석] 위 로그 항목은 NIST의 일반적인 로그·사고 대응 관점을 AI 업무 흐름에 적용한 실무 제안입니다. 특히 작업 ID를 승인 기록, 외부 호출, 보상 작업, 수기 티켓에 공통으로 넣어야 담당자가 여러 화면을 추측으로 맞추지 않아도 됩니다.
로그에도 최소 수집 원칙이 필요하다
복구에 필요한 기록을 남긴다는 이유로 원문 전체와 민감한 값을 무기한 복제해서는 안 됩니다. 어떤 항목을 저장할지, 누가 볼 수 있는지, 언제 삭제할지는 조직의 데이터 분류와 관련 법무·보안 검토에 맞춰 정해야 합니다. 비밀키, 인증 토큰, 불필요한 민감정보는 로그에서 제외하거나 마스킹해야 합니다.
이 글은 개인정보보호법 준수 판단이나 법률 자문을 대신하지 않습니다. 개인정보가 포함되는 자동화라면 실제 처리 목적, 보유 기간, 위탁·제3자 제공 여부, 접근 권한 등을 별도로 확인해야 합니다.

4. 실패 모드를 먼저 적어야 복구가 설계된다
“오류가 나면 담당자에게 알림”만으로는 충분하지 않습니다. 오류의 종류에 따라 재시도해도 되는지, 즉시 멈춰야 하는지, 이전 행동을 보상해야 하는지가 달라집니다.
중소기업 AI 자동화에서 확인할 실패 모드
| 실패 모드 | 관찰 신호 | 바로 재시도해도 되는가 | 기본 대응 방향 |
|---|---|---|---|
| 일시적 네트워크·서비스 오류 | 타임아웃, 일시적 서버 오류 | 조건부 가능 | 제한된 재시도와 대기 간격 적용 |
| 인증·권한 오류 | 접근 거부, 만료된 자격 증명 | 보통 부적절 | 중단 후 권한·자격 증명 점검 |
| 입력 형식 오류 | 필수값 누락, 스키마 불일치 | 같은 입력으로는 부적절 | 입력 수정 또는 수기 이관 |
| 업무 규칙 위반 | 가격 범위 초과, 상태 전이 불가 | 부적절 | 실행 중단, 승인자 판단 |
| AI 출력 품질 문제 | 근거 없음, 형식 위반, 상충 내용 | 무조건 재생성은 위험 | 근거 재확인, 제한적 재생성 또는 수기 검토 |
| 부분 성공 | 내부 저장 성공·외부 전송 실패 등 | 단계별 판단 필요 | 현재 상태 확인 후 재시도 또는 보상 |
| 중복 실행 | 같은 요청 ID, 이미 처리된 외부 결과 | 위험 | 중복 방지 키 확인, 이미 처리됐으면 종료 |
| 응답 불명 | 타임아웃이지만 외부 처리는 됐을 가능성 | 즉시 재시도 위험 | 외부 상태를 먼저 조회 |
| 장기 정지 | 진행 상태가 일정 시간 바뀌지 않음 | 원인에 따라 다름 | 타임아웃 처리, 알림, 수기 이관 |
| 보상 실패 | 취소·정정 작업도 오류 | 제한적 | 보상 진행 상태 기록 후 수기 복구 |
[사실] AWS Step Functions 공식 문서는 워크플로 오류에 대해 오류 유형별 Retry와 Catch를 구성할 수 있고, 타임아웃·권한·런타임 오류 등 오류 종류에 따라 처리 가능성이 다름을 보여 줍니다. 재시도에는 간격, 최대 시도, 백오프, 지터 같은 설정이 존재합니다.[6]
[Morrow 해석] 이는 AWS를 써야 한다는 뜻이 아닙니다. 제품과 무관하게 “모든 오류를 같은 횟수로 다시 실행”하지 말고, 오류 분류 → 재시도 가능 여부 → 재시도 소진 후 경로를 명시해야 한다는 구현 참고입니다. 구체적인 재시도 횟수와 대기 시간은 외부 서비스 제한, 업무 마감 시간, 중복 실행 피해를 바탕으로 회사가 정해야 하며 보편적인 정답 수치를 꾸며낼 수 없습니다.

5. 재시도는 복구 기능이지만, 중복 피해를 만들 수도 있다
재시도는 네트워크의 일시적 문제를 흡수하는 유용한 방법입니다. 그러나 결제, 메일 전송, 주문 생성처럼 외부 효과가 있는 작업을 확인 없이 다시 실행하면 중복이 생길 수 있습니다.
재시도 전에 확인할 세 가지
-
같은 작업을 여러 번 실행해도 결과가 한 번 실행한 것과 같은가?
가능하다면 업무별 고유 키를 두고 이미 처리된 요청인지 확인합니다. 이를 흔히 멱등성(idempotency) 설계라고 부릅니다. -
실패인지 응답만 잃어버린 것인지 구분할 수 있는가?
타임아웃 뒤 즉시 다시 주문을 만들지 말고, 원래 작업 ID로 외부 상태를 조회할 수 있어야 합니다. -
언제 재시도를 포기할 것인가?
상한 없는 재시도는 장애를 오래 숨기고 외부 시스템에 부하를 줄 수 있습니다. 종료 조건을 정하고, 그 뒤에는 복구 경로나 수기 대기열로 넘깁니다.
[예시·가상] CRM에 상담 기록을 만드는 작업이 타임아웃됐다고 가정해 보겠습니다. 자동화는 같은 작업 ID로 레코드가 이미 생성됐는지 조회합니다. 존재하면 성공으로 정리하고, 존재하지 않으며 오류가 일시적일 때만 제한적으로 재시도합니다. 상태를 확인할 수 없으면 새 레코드를 만들지 않고 수기 대기열에 보냅니다.

6. 롤백과 보상은 같은 말이 아니다
롤백
아직 하나의 트랜잭션 안에 있는 변경을 취소해 이전 상태로 되돌리는 방식입니다. 단일 데이터베이스 작업처럼 경계가 명확할 때 가능할 수 있습니다.
보상 작업
이미 완료된 외부 행동의 효과를 줄이거나 반대 업무를 새로 수행하는 방식입니다. 예를 들면 잘못 생성된 예약을 취소하고, 잘못 바뀐 상태를 정정하며, 담당자에게 후속 안내를 요청하는 것입니다. 보상은 원래 상태를 완벽히 복원한다고 보장하지 않습니다.
[사실] Microsoft의 보상 트랜잭션 패턴은 보상 로직이 업무별로 달라 일반화하기 어렵고, 보상 자체도 실패할 수 있으므로 진행 상태를 기록하고 재개 가능하게 설계해야 한다고 설명합니다. 또한 보상 작업이 원래 작업의 정확한 역순일 필요가 없으며, 수기 개입만이 가능한 경우 상세한 실패 정보와 함께 경보해야 한다고 밝힙니다.[3]
업무 단계별 복구 계약을 적는다
자동화 흐름의 각 단계마다 다음 표를 채워 보면 “되돌리기”라는 모호한 약속을 실제 절차로 바꿀 수 있습니다.
| 단계 | 성공 판정 | 재실행 안전성 | 취소 가능 여부 | 보상 행동 | 보상 책임자 | 확인 방법 |
|---|---|---|---|---|---|---|
| 내부 초안 저장 | 저장 ID 확인 | 중복 방지 시 안전 | 가능할 수 있음 | 초안 폐기 | 업무 담당자 | 상태 조회 |
| CRM 상태 변경 | 대상·버전·응답 확인 | 조건부 | 이전 값에 따라 다름 | 검증 후 정정 변경 | CRM 담당자 | 변경 이력 확인 |
| 고객 메일 발송 | 공급자 메시지 ID 확인 | 대체로 재실행 위험 | 실질적 회수 어려움 | 정정 또는 사과 안내 검토 | 고객 대응 책임자 | 발송·수신 기록 확인 |
| 외부 주문 생성 | 외부 주문 ID 확인 | 고유 키 지원 여부에 따름 | 계약·상태에 따라 다름 | 취소 요청 또는 수기 협의 | 구매 책임자 | 외부 시스템 상태 확인 |
[예시·가상] 위 표의 업무들은 설계 방법을 보여 주기 위한 가상 예시입니다. 실제 취소 가능 여부와 책임자는 사용하는 시스템, 계약, 회사 규정에 따라 확인해야 합니다.
되돌릴 수 없는 단계 앞에서는 무엇을 해야 할까
- 입력과 업무 규칙을 먼저 검증한다.
- 승인자가 결과와 영향 범위를 확인한다.
- 실행 대상을 다시 확인한다.
- 중복 방지 키와 현재 상태를 확인한다.
- 실패 시 가능한 보상과 연락 책임자를 표시한다.
- 위 조건 중 하나라도 확인할 수 없으면 실행하지 않고 수기 대기열로 보낸다.

7. 수기 대기열은 자동화의 실패가 아니라 안전장치다
수기 대기열(manual work queue)은 자동화가 처리하지 못한 업무를 사람이 이어받는 장소입니다. 메신저 알림만 보내는 것과는 다릅니다. 알림은 지나갈 수 있지만, 대기열은 소유자·상태·기한·처리 결과를 관리해야 합니다.
수기 대기열에 반드시 보여 줄 정보
- 작업 ID와 업무 유형
- 현재 단계와 이미 성공한 단계
- 실패 시각, 오류 분류, 원문 오류 메시지
- 지금까지의 재시도 이력
- 외부 시스템의 확인된 현재 상태와 확인 불가 항목
- 사람이 선택할 수 있는 조치
- 예정된 또는 이미 실행된 보상 작업
- 고객·금전·업무 마감에 대한 영향 표시
- 담당자와 이관 시각
- 처리 완료 조건과 최종 기록
대기열 상태의 예
신규 → 담당자 지정 → 조사 중 → 승인 대기 → 복구 실행 중 → 확인 완료 → 종료
이 상태 이름은 보편 표준이 아니라 예시입니다. 중요한 것은 “알림을 보냈다”를 완료로 보지 않는 것입니다. 업무 영향이 해소되고 외부 상태를 확인하며 기록이 남아야 종료할 수 있습니다.
[사실] AWS SQS의 dead-letter queue(DLQ)는 성공적으로 처리되지 못한 메시지를 별도 큐로 격리해 원인을 분석할 수 있게 하는 기능입니다.[7]
[Morrow 해석] DLQ는 수기 대기열 전체와 같지 않습니다. DLQ가 기술적 실패 메시지를 보관한다면, 수기 대기열은 그 메시지를 사람이 이해할 수 있는 업무 단위로 바꾸고 담당자·기한·조치·완료 확인을 붙인 운영 장치입니다. 어떤 큐 제품을 쓰든 실패 항목을 쌓아 두기만 해서는 복구가 완료되지 않습니다.

8. 승인과 복구를 하나의 운영 흐름으로 연결하는 방법
중소기업이 처음부터 복잡한 플랫폼을 만들 필요는 없습니다. 다만 다음 순서는 빠뜨리지 않는 편이 좋습니다.
단계 1. 업무를 ‘판단’과 ‘행동’으로 나눈다
예를 들어 고객 문의 자동화는 문의 읽기 → 분류 → 답변 초안 → 수신자 확인 → 승인 → 전송 → 전송 결과 확인으로 나눌 수 있습니다. AI의 판단 단계와 외부 행동 단계를 분리해야 승인 경계를 넣을 수 있습니다.
단계 2. 각 행동의 영향과 가역성을 표시한다
외부 전달, 금전, 계약, 권한, 삭제, 대량 변경 여부를 표시합니다. “취소 버튼이 있는가”가 아니라 “이미 생긴 외부 효과까지 실제로 복구되는가”를 확인합니다.
단계 3. 정상 경로보다 실패 표를 먼저 쓴다
각 단계에 대해 타임아웃, 권한 오류, 입력 오류, 중복, 부분 성공, 상태 불명, 보상 실패를 적습니다. 그다음에 재시도, 중단, 승인, 보상, 수기 이관을 연결합니다.
단계 4. 승인 화면과 로그를 함께 설계한다
승인자가 본 정보와 실제 실행된 정보가 달라지지 않도록 승인 시점의 버전 또는 스냅샷을 연결합니다. 승인 후 데이터가 바뀌었다면 다시 검증하거나 재승인을 요구하는 조건도 정합니다.
단계 5. 수기 대기열의 소유자를 정한다
“운영팀이 본다”가 아니라 업무 유형별 주 담당자와 부재 시 대체 담당자를 정합니다. 기술 오류를 고치는 사람과 고객·계약 판단을 내리는 사람이 다를 수 있으므로 이관 기준을 적습니다.
단계 6. 복구 훈련을 한다
정상 요청만 시연하지 말고 다음 상황을 의도적으로 시험합니다.
- 외부 시스템이 응답하지 않는다.
- 승인 뒤 원본 데이터가 변경된다.
- 같은 작업이 다시 들어온다.
- 내부 저장만 성공하고 외부 행동은 실패한다.
- 외부 행동은 성공했지만 응답을 받지 못한다.
- 보상 작업도 실패한다.
- 담당자가 자리를 비운다.
[사실] NIST AI RMF Playbook은 모니터링, 책임 배정, 위험 대응과 같은 활동을 조직 상황에 맞춰 선택하도록 돕는 자발적 지침입니다.[2] NIST SP 800-61 Rev. 3은 사고 대응 준비를 탐지 이후의 임시 활동이 아니라 조직의 사이버보안 위험 관리에 통합하는 관점을 제시합니다.[5]
[Morrow 해석] 따라서 AI 자동화 파일럿의 완료 기준은 정상 처리율 하나로 정하기보다, 승인 경계가 실제로 멈추는지, 로그로 경로를 재구성할 수 있는지, 수기 담당자가 업무를 이어받을 수 있는지도 포함해야 합니다.

9. 운영 중 무엇을 봐야 할까
수치 목표는 업무량과 위험 수준을 측정한 뒤 정해야 합니다. 근거 없이 “몇 퍼센트면 안전하다”는 기준을 만들 수는 없습니다. 대신 다음 항목을 꾸준히 관찰할 수 있어야 합니다.
승인 흐름
- 승인 대기 항목 수와 대기 시간
- 승인, 수정 후 승인, 반려, 보류의 분포
- 특정 승인자에게 몰리는 업무
- 승인 뒤 입력이나 대상이 바뀐 건
자동화 품질과 실패
- 단계별 성공·실패·타임아웃 건
- 오류 유형별 발생 추이
- 재시도로 해결된 건과 재시도 소진 건
- 중복 차단 건과 상태 불명 건
- 같은 유형이 반복해서 수기로 넘어가는지
복구
- 보상 시작·성공·실패·대기 건
- 수기 대기열의 미지정·장기 대기 항목
- 실패 발견부터 영향 확인, 복구 완료까지의 시간
- 고객 또는 외부 시스템에 남은 영향
변경 관리
- 모델, 프롬프트, 규칙, 연동 시스템 버전별 결과 차이
- 변경 뒤 새로 생긴 실패 유형
- 승인 경계를 우회한 실행이 있었는지
- 권한과 담당자 변경이 반영됐는지
지표는 사람을 평가하기 위한 숫자보다 어느 단계의 설계를 고쳐야 하는지 찾는 신호로 사용하는 편이 유용합니다.
10. 도입 전 체크리스트
승인 경계
- [ ] 판단 단계와 외부 행동 단계를 분리했다.
- [ ] 외부 전달, 금전, 계약, 권한, 삭제, 대량 변경을 표시했다.
- [ ] 되돌릴 수 없는 행동 앞에 사람 승인을 두었다.
- [ ] 승인자는 원본, AI 제안, 근거, 변경 전후, 실행 대상을 함께 볼 수 있다.
- [ ] 승인 후 입력이나 규칙이 바뀌면 재검증 또는 재승인한다.
- [ ] 승인자 부재와 긴급 상황의 대체 절차가 있다.
승인 로그
- [ ] 작업 ID로 요청부터 승인·실행·복구를 연결할 수 있다.
- [ ] 요청자, 승인자, 실행 주체를 구분해 기록한다.
- [ ] 모델·프롬프트·업무 규칙 버전을 확인할 수 있다.
- [ ] 사람의 수정 내용과 승인 사유가 남는다.
- [ ] 실행 대상, 변경 전후 값, 외부 응답이 남는다.
- [ ] 복구에 불필요한 비밀값과 민감정보는 로그에서 제외하거나 보호한다.
실패 처리
- [ ] 오류를 일시적 오류, 입력 오류, 권한 오류, 업무 규칙 위반 등으로 구분한다.
- [ ] 오류 유형별 재시도 가능 여부와 종료 조건이 있다.
- [ ] 상태 불명일 때 외부 상태를 먼저 조회한다.
- [ ] 중복 방지 키 또는 이에 준하는 통제가 있다.
- [ ] 장기 정지를 찾는 타임아웃 또는 감시 조건이 있다.
- [ ] 자동 복구에 실패하면 알림과 수기 이관이 함께 일어난다.
보상·롤백
- [ ] 각 단계가 실제 롤백 가능한지, 보상만 가능한지 구분했다.
- [ ] 보상에 필요한 원래 상태와 실행 결과를 보관한다.
- [ ] 보상 자체가 실패했을 때의 재개·수기 절차가 있다.
- [ ] 되돌릴 수 없는 단계는 모든 핵심 검증 뒤에 배치했다.
- [ ] 복구 완료를 외부 시스템에서 확인하는 방법이 있다.
수기 대기열과 운영
- [ ] 실패 업무가 업무 단위로 대기열에 들어온다.
- [ ] 담당자, 상태, 우선순위, 처리 결과를 관리한다.
- [ ] 담당자 부재 시 대체 책임자가 정해져 있다.
- [ ] 대기 항목을 정기적으로 검토하고 반복 원인을 개선한다.
- [ ] 정상 경로뿐 아니라 부분 성공, 중복, 상태 불명, 보상 실패를 시험했다.
- [ ] 실제 외부 실행과 발행은 사람의 최종 승인 없이는 진행되지 않는다.
자주 묻는 질문(FAQ)
Q1. 모든 AI 결과를 사람이 승인해야 하나요?
아닙니다. 내부 초안이나 가역적인 보조 작업까지 모두 같은 방식으로 승인하면 병목이 생깁니다. 외부 전달, 금전·계약, 권한, 삭제, 대량 변경, 되돌리기 어려운 행동처럼 영향이 큰 경계를 우선 승인 대상으로 두고, 낮은 영향의 작업은 표본 검토와 모니터링을 조합할 수 있습니다. 단, 적용 범위는 회사의 업무와 책임 구조에 맞춰 정해야 합니다.
Q2. 모델의 신뢰도 점수가 높으면 자동 승인해도 되나요?
신뢰도 점수만으로 결정하는 것은 부족합니다. 점수가 높아도 잘못된 수신자에게 메일을 보내거나, 오래된 가격표를 근거로 실행할 수 있습니다. 모델 출력의 불확실성뿐 아니라 행동의 영향, 데이터 최신성, 규칙 검증, 실행 대상, 복구 가능성을 함께 봐야 합니다.
Q3. 승인 로그에는 대화와 문서를 전부 저장해야 하나요?
그럴 필요도, 항상 그래야 할 이유도 없습니다. 복구와 추적에 필요한 항목을 정하고, 민감정보·비밀값·불필요한 원문 복제를 줄여야 합니다. 저장 범위, 접근 권한, 보유 기간은 회사의 데이터 분류와 관련 법무·보안 검토에 맞춰 정하세요.
Q4. 오류가 나면 몇 번 재시도하는 것이 적절한가요?
모든 업무에 통하는 고정 숫자는 없습니다. 외부 서비스의 제한, 오류 유형, 마감 시간, 중복 실행 피해, 상태 조회 가능 여부를 바탕으로 정해야 합니다. 입력 오류나 권한 오류처럼 같은 요청을 반복해도 해결되지 않는 오류는 자동 재시도보다 중단과 수기 이관이 적절할 수 있습니다.
Q5. 롤백 기능이 있으면 사람 승인을 줄여도 되나요?
반드시 그렇지는 않습니다. 외부 메일, 계약, 결제, 공개 게시처럼 이미 상대방이나 다른 시스템에 영향을 준 행동은 기술적 취소만으로 처음 상태가 되지 않을 수 있습니다. 실제 복구 가능성과 남는 영향을 확인한 뒤 승인 경계를 정해야 합니다.
Q6. 데드레터 큐만 만들면 수기 복구 체계가 되나요?
아닙니다. 데드레터 큐는 처리 실패 항목을 격리하는 기술적 장치입니다. 업무 담당자가 이해할 수 있는 맥락, 소유자, 우선순위, 가능한 조치, 처리 상태, 완료 확인까지 붙어야 수기 대기열로 기능합니다.
Q7. 작은 회사도 별도 사고 대응 절차가 필요한가요?
규모가 작다고 장애와 외부 영향이 사라지지는 않습니다. 다만 대기업 수준의 복잡한 조직을 그대로 만들 필요는 없습니다. 업무별 주 담당자와 대체 담당자, 중단 조건, 연락 경로, 복구 확인 방법을 한 장으로 정리하는 것부터 시작할 수 있습니다.
Q8. 생성형 AI만 특별히 실패하나요?
아닙니다. 네트워크, 권한, 외부 API, 잘못된 입력, 부분 성공과 중복은 일반 소프트웨어 자동화에서도 발생합니다. 생성형 AI는 여기에 근거 부족, 형식 불일치, 애매한 판단 같은 실패 가능성을 더합니다. 따라서 모델 평가와 일반적인 워크플로 복구 설계를 함께 봐야 합니다.
마무리: 자동화의 수준은 ‘혼자 처리한 양’보다 ‘안전하게 멈추고 이어가는 능력’에서 드러난다
중소기업 AI 자동화는 사람을 흐름에서 완전히 없애는 프로젝트가 아닙니다. 사람이 판단해야 할 경계를 명확히 하고, 반복적인 준비와 확인을 시스템에 맡기며, 문제가 생기면 업무를 잃지 않고 사람이 이어받게 만드는 프로젝트에 가깝습니다.
시작할 때는 다음 네 문장을 실제로 답할 수 있는지 확인해 보세요.
- 이 자동화는 어떤 행동 직전에 멈추는가?
- 누가 무엇을 보고 승인했는지 확인할 수 있는가?
- 실패하면 재시도, 보상, 수기 처리 중 어디로 가는가?
- 복구가 끝났다는 사실을 어떤 시스템에서 확인하는가?
이 질문에 답할 수 없다면 자동화 범위를 넓히기보다 승인 경계와 복구 경로부터 보완하는 편이 낫습니다.

CTA: 먼저 한 업무의 승인·복구 지도를 그려 보세요
Morrow의 무료 업무 자동화 자가진단으로 현재 업무를 자동 처리 가능 / 사람 승인 필요 / 수기 처리 유지로 나누고, 실패 시 복구 경로가 비어 있는 지점을 확인해 보세요. 진단 결과 자동화 적합성이 확인되면, 실제 시스템과 책임 구조에 맞는 좁은 범위의 파일럿 상담으로 이어갈 수 있습니다.
출처와 근거 보기
출처와 근거 메모
아래 자료는 2026년 7월 19일(KST)에 접근했습니다. NIST 자료는 위험 관리·로그·사고 대응에 관한 공식 지침이고, Microsoft·AWS·OpenAI 자료는 각 회사의 공식 구현 가이드입니다. 후자는 유용한 기술 패턴이지만 중립적인 산업 표준이나 모든 환경에 대한 보편적 요구사항으로 인용하지 않았습니다.
-
NIST, “AI Risk Management Framework”
URL: https://www.nist.gov/itl/ai-risk-management-framework
접근일: 2026-07-19
사용 범위: AI 위험 관리의 Govern·Map·Measure·Manage 구조와 자발적 프레임워크라는 성격. -
NIST AI Resource Center, “NIST AI RMF Playbook” 및 기능별 Playbook
URL: https://airc.nist.gov/airmf-resources/playbook/
URL: https://airc.nist.gov/airmf-resources/playbook/govern/
URL: https://airc.nist.gov/airmf-resources/playbook/map/
URL: https://airc.nist.gov/airmf-resources/playbook/measure/
URL: https://airc.nist.gov/airmf-resources/playbook/manage/
접근일: 2026-07-19
사용 범위: 책임 배정, 모니터링, 위험 대응을 조직 맥락에 맞게 적용한다는 거버넌스 배경. 본문의 구체적 UI·로그 필드 목록은 Morrow 해석임. -
Microsoft Learn, “Compensating Transaction pattern”
URL: https://learn.microsoft.com/en-us/azure/architecture/patterns/compensating-transaction
접근일: 2026-07-19
사용 범위: 단순 롤백의 한계, 업무별 보상 작업, 보상 진행 기록, 멱등성, 수기 개입, 되돌릴 수 없는 단계와 핵심 검증의 순서. -
NIST, “SP 800-92 Rev. 1 (Initial Public Draft), Cybersecurity Log Management Planning Guide” 및 SP 800-92 프로젝트 페이지
URL: https://csrc.nist.gov/pubs/sp/800/92/r1/ipd
URL: https://csrc.nist.gov/pubs/sp/800/92/final
접근일: 2026-07-19
사용 범위: 조직적 로그 관리 계획과 절차의 필요성에 대한 배경. AI 승인 로그 전용 규격으로 사용하지 않음. Rev. 1은 초안이므로 최종 표준처럼 취급하지 않음. -
NIST, “SP 800-61 Rev. 3, Incident Response Recommendations and Considerations for Cybersecurity Risk Management: A CSF 2.0 Community Profile”
URL: https://csrc.nist.gov/pubs/sp/800/61/r3/final
접근일: 2026-07-19
사용 범위: 사고 대응 준비와 탐지·대응·복구를 사이버보안 위험 관리에 통합하는 관점. AI 업무 오류 전용 지침으로 확대 해석하지 않음. -
Amazon Web Services, “Handling errors in Step Functions workflows”
URL: https://docs.aws.amazon.com/step-functions/latest/dg/concepts-error-handling.html
접근일: 2026-07-19
사용 범위: 오류 유형, Retry·Catch, 제한된 재시도, 백오프·지터·타임아웃의 공식 구현 예. AWS 제품 동작을 설명하는 자료이며 보편 표준이 아님. -
Amazon Web Services, “Using dead-letter queues in Amazon SQS”
URL: https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-dead-letter-queues.html
접근일: 2026-07-19
사용 범위: 처리되지 못한 메시지를 별도로 격리하고 분석하는 DLQ의 역할. 수기 업무 대기열과 동일하다고 해석하지 않음. -
OpenAI, “A practical guide to building agents”
URL: https://openai.com/business/guides-and-resources/a-practical-guide-to-building-ai-agents/
접근일: 2026-07-19
사용 범위: 에이전트 도구 위험에 따른 가드레일과 사람 개입을 검토하기 위한 보조 자료. OpenAI의 벤더 가이드이며 본문의 핵심 거버넌스 근거나 중립 표준으로 사용하지 않음.
적용 시 주의사항
- 본문의 표와 가상 예시는 특정 고객사의 실제 운영 성과나 통계가 아니다.
- 재시도 횟수, 승인 시간, 오류율 등 보편적 기준 수치를 제시하지 않았다. 실제 기준은 파일럿 측정과 업무 위험에 따라 정해야 한다.
- Microsoft와 AWS 자료는 구현 패턴의 공식 출처이지 모든 시스템에 적용되는 규정이 아니다.
- 개인정보·전자금융·의료·노무·계약 등 규제 또는 법적 판단이 필요한 업무는 국내 적용 법령과 전문 검토를 별도로 거쳐야 한다.
- 자가진단 결과는 자동화 적합성을 점검하는 참고 자료이며, 실제 도입 범위는 데이터·보안·규제 조건을 함께 검토해 정해야 한다.