Slack AI Engineering Agent

신뢰도 높은 Sentry 노이즈를 Slack에서 검증된 Draft PR로 전환해 사람의 리뷰로 연결하는 운영 중인 agent 워크플로입니다.

역할: Feature Engineer / Product Engineer · 2026
문제: 반복 운영 작업을 줄일 만큼의 권한은 주되, agent가 애플리케이션 코드를 임의로 바꾸거나 병합할 수 없게 만드는 것이 핵심 문제였습니다.
전략: 신뢰도 높은 알림만 typed action으로 바꾸고 안정적인 fingerprint로 중복을 제거했습니다. 격리된 브랜치에서 결정론적 patch를 적용한 뒤 허용된 diff와 대상 테스트를 검증하고, 병합 대신 Draft PR을 생성했습니다.
성과: Slack에서 실제 운영되며 사람의 리뷰를 위한 여러 건의 Draft PR을 생성했습니다.

운영 중인 사내 워크플로 · 비공개 소스

문제 정의

왜 이 문제를 해결해야 했는가

브라우저 지갑 확장 프로그램에서 반복되는 Sentry 노이즈는 매번 같은 분류, 필터 수정, 회귀 테스트, PR 준비 작업을 요구했습니다.

팀이 함께 만든 더 큰 agent 코드베이스 안에서 RFC, 구독 action, 저장 모델부터 안전한 patch, 검증, GitHub 전달, Slack feedback까지 Sentry 자동화 서브시스템을 맡았습니다.

해결 전략

신뢰도 높은 알림만 typed action으로 바꾸고 안정적인 fingerprint로 중복을 제거했습니다. 격리된 브랜치에서 결정론적 patch를 적용한 뒤 허용된 diff와 대상 테스트를 검증하고, 병합 대신 Draft PR을 생성했습니다.

시스템 모델

Slack으로 전달된 Sentry 알림을 분류하고 중복 제거한 뒤 안전한 patch, 대상 검증, Draft PR 생성, 사람 리뷰로 연결합니다.

일반 background subscription은 읽기 전용으로 유지하고 명시적으로 선택한 action만 코드 변경 executor로 전달했습니다.
확장 프로그램 소유 stack frame을 필수 조건으로 두고 positive·false-positive 회귀 테스트를 함께 생성해 애플리케이션 오류가 계속 노출되게 했습니다.
대상 저장소, 변경 파일, 실행 빈도, 브랜치 범위를 제한하고 secret masking과 격리 worktree 정리를 적용했습니다.
자동 병합 대신 Draft PR만 만들고 성공, 중복, 실패 상태를 Slack으로 돌려보내 사람의 리뷰로 연결했습니다.

성과

유용한 AI 개발 자동화는 자율성을 최대로 높이는 것이 아니라 권한을 좁히고, 검증을 결정론적으로 만들고, 실패를 드러내며, 사람에게 명확히 넘기는 데서 나옵니다.

기능 테스트를 기본 CI gate에 포함하고 alert-to-draft 전환율, 리뷰 승인율, false positive, rollback 결과를 명시적인 운영 지표로 추적하겠습니다.

아키텍처 수준의 설명만 제공합니다. 비공개 소스와 내부 payload는 의도적으로 공개하지 않습니다.

함께 일하기