🧑🏻💻 Ep.22 | AI 도구의 생산성을 측정한다는 것
분기 회고 자리에서 누군가 그랬습니다. "AI 도입하고 개발 속도 두 배 빨라졌어요." 다들 고개를 끄덕였죠. 그런데 한 분이 조용히 물었습니다. "그거 어떻게 측정한 거예요?"
정적이 흘렀습니다. 저도 그 자리에 있었는데, 솔직히 아무도 숫자로 답하지 못했어요. 다들 그냥 "빨라진 느낌"을 말하고 있었던 겁니다.
"빨라진 느낌"과 "실제로 빨라진 것"은 다릅니다. 측정하지 않으면 둘을 구분할 방법이 없습니다.
1. 빨라진 느낌의 함정
AI로 코드를 짜면 체감 속도가 분명히 빠릅니다. 타이핑이 줄고 막히는 시간이 주니까요. 그런데 체감은 종종 우리를 속입니다.
코드를 짜는 시간은 줄었는데 리뷰하는 시간이 늘었을 수 있고, 빨리 머지했는데 3개월 뒤 버그로 돌아올 수 있고, "많이 짠 것"을 "많이 한 것"으로 착각할 수도 있습니다.
☑️ 생산성은 "얼마나 빨리 짰는가"가 아니라 "얼마나 좋은 결과를 얼마나 적은 비용으로 냈는가"입니다.
코드 줄 수, PR 개수는 매력적인 숫자예요. 그리고 매력적인 만큼 사람을 잘 속입니다.
2. 잘못 세면 잘못 달려간다
측정의 진짜 위험은 따로 있습니다. 잘못된 지표를 세우면, 팀이 그 지표를 향해 달려간다는 겁니다.
"PR 개수"를 보면 PR을 잘게 쪼개 숫자를 늘리고, "코드 줄 수"를 보면 쓸데없이 긴 코드가 늘고, "닫은 티켓 수"를 보면 쉬운 티켓만 골라 닫습니다. 사람은 측정되는 것을 최적화하거든요. 그래서 무엇을 재느냐가 팀이 무엇을 하느냐를 바꿉니다.
기술 부채와 같은 이치입니다. AI로 빨라진 속도를 잘못된 지표로 밀어붙이면, 부채가 더 빨리 쌓입니다.
3. 남는 사용법과 안 남는 사용법
완벽한 지표는 없습니다. 그래도 속도만 보는 것보다 흐름 전체를 보는 게 낫습니다.
✅ 함께 보면 좋은 것들
✔️ 리드 타임: 코드 작성만이 아니라, 시작부터 배포까지 걸린 시간
✔️ 재작업 비율: 머지한 코드가 얼마나 자주 다시 고쳐지는가
✔️ 장애·롤백 빈도: 빨라진 만큼 안정성이 깨지지 않았는가
✔️ 리뷰 부담: 리뷰어가 감당할 수 있는 양인가
속도 지표 하나만 보면 함정에 빠집니다. 속도와 안정성을 같이 봐야 균형이 보여요.
4. 숫자로 안 잡히는 것
가장 중요한 효과 중 일부는 숫자에 안 잡힙니다.
지루한 작업이 줄어 번아웃이 덜한 것, 막히는 시간이 줄어 흐름이 안 끊기는 것, 새 기술을 빠르게 시도해 학습이 빨라진 것. 반대로 부정적인 것도 숫자 밖에 있죠. "감각을 기를 기회가 줄어드는" 문제 같은 것이요.
☑️ 측정은 의사결정을 돕는 도구지, 진실 그 자체가 아닙니다. 숫자에 안 잡히는 효과를 무시하면 숫자만 좋고 팀은 망가집니다.
그래서 설문, 회고, 1:1 같은 정성적 신호를 함께 봐야 그림이 완성됩니다.
5. 비용도 같이 본다
AI 도구는 공짜가 아닙니다. 생산성을 말하려면 든 비용도 같이 놓아야 해요. 구독·사용 비용(토큰, 라이선스), 도입과 학습에 든 시간, 잘못 만든 자동화를 유지보수하는 비용까지요.
☑️ "빨라졌다"가 의미 있으려면, 그 속도가 든 비용보다 큰 가치를 만들어야 합니다. 효과와 비용을 함께 봐야 진짜 ROI가 보입니다.
대부분은 남는 장사입니다. 하지만 "당연히 남겠지"라고 넘기는 것과 실제로 확인하는 것은 다르죠.
6. 팀마다 답이 다르다
시스템 설계에서와 같은 원리가 여기서도 적용됩니다. 일반적으로 좋은 지표와 지금 우리 팀에 맞는 지표는 다릅니다.
안정성이 생명인 팀은 장애·롤백을 더 무겁게 보고, 빠른 실험이 핵심인 팀은 리드 타임을 더 보고, 신입이 많은 팀은 학습·성장 신호를 더 봅니다.
☑️ 남의 팀 지표를 그대로 가져오면, 우리 팀이 엉뚱한 곳으로 달려갑니다. 무엇을 잴지 정하는 것부터가 우리 팀의 판단입니다.
측정은 베끼는 게 아니라 설계하는 일입니다.
7. 측정은 사람을 줄 세우려는 게 아니다
마지막으로 가장 중요한 태도입니다. 측정의 목적은 개인을 평가하고 줄 세우는 게 아닙니다.
"누가 코드를 많이 짰나"를 재기 시작하면 팀이 망가집니다. 재야 할 건 사람이 아니라 일하는 방식이에요. 목적은 "우리 방식이 나아지고 있는가"를 확인하는 것이고요.
AI가 만든 변화를 제대로 보려면 측정이 필요합니다. 다만 무엇을 재고 그 숫자를 어떻게 읽을지 정하는 건 사람의 판단입니다. 숫자는 질문을 던지게 해줄 뿐, 답을 주지는 않으니까요.
좋은 측정은 팀을 다그치지 않습니다. 팀이 스스로를 더 잘 보게 해줍니다.
🌱 일하는 방식을 함께 들여다보는 곳, 루퍼스
"빨라졌다"를 넘어 "정말 나아지고 있는가"를 묻는 일. 결국 중요한 건 숫자가 아니라 그 숫자를 읽는 관점입니다. AI 시대의 일하는 방식을 함께 고민하고 싶다면 루퍼스에서 시작해보세요 🙌
AI 시대에도 결국 중요한 건 생각하는 힘과 성장하는 환경이라고 믿습니다.
루퍼스에는 성장에 진심인 800+명의 크루가 함께하고 있습니다. 현업에서 부딪히는 고민과 경험을 나누며 함께 성장하는 크루들의 이야기. 전액 기부 강의 그리고 다양한 오프라인 네트워킹까지! 루퍼스는 개발자를 위한 지속 가능한 성장을 만들어 갑니다.
📢 LOOPERS의 소식이 궁금하다면?
Share article