SaaS 인수하려다가 AI 직원 5명을 채용하고 있습니다
업무 효율화하려다 무한 재귀에...
안녕하세요! 진양입니다.
이번 주는 일단 늦게 올려서 정말 죄송합니다. 일이 너무 많았어요ㅠㅠ
도저히 어제 글을 쓸 수 있는 상황이 아니었거든요.
그럼 왜 바쁜지 한 번 들어보시죠!
AI 직원 5명 세팅 중
최근에 신경 써야하는 일의 범위가 너무 넓어졌어요. 5월에 무인매장도 정리해야하고 (이건 나중에 별개의 에피소드로 자세히 설명 예정..)
SaaS 롤업 실사도 마무리해야하고, 커머스 롤업한 것도 계속 정산하고 관리해야하고..
너무 넓은 범위의, 너무 많은 업무가 동시다발적으로 날라오니까..이러다가 정신 분열증 오겠어!!
그래서 이참에 머릿속에 있는 것들을 한 곳에 다 덤프해서, 이걸 기반으로 linear랑 노션 MCP 연결해둔 AI PM한테 좀 다 먹여서 업무들을 관리할 수 있게 좀 다 세팅을 했어요.
근데 하다 보니 또 욕심이 좀 생겨서 hermes agent 세팅해서 슬랙에서 이것저것 추가해서 가지고 놀다가.. 오 좀 괜찮아서 aws에 ec2 하나 띄워서 인격이랑 메모리, 스킬 다르게 세팅한 직원들 5명 정도 세팅하고 있어요.
이쯤 되니까 배보다 배꼽이 더 커진 것 같긴 한데.. 일단 개인용 비서, 마게터, 영업, 인프라 개발자, PM 이렇게 5명 세팅 중입니다.
근데 멀티에이전트, 진짜 효율은 있는거 맞나요.
근데 이걸 본격적으로 하기 전에, 애초에 멀티에이전트 환경이 실제 업무 효율을 증대시키는지 확인하려고 이것저것 논문을 좀 뒤져봤어요.
사실 제가 개발을 멈춘 2023년쯤에는 “멀티에이전트가 짱이다!”라고 한참 외치던 논문들이 많이 나올 때였거든요. 그때 한참 스탠포드랑 구글에서 낸 페이퍼 (아마 다들 한 번은 보셧을듯) Generative Agents: Interactive Simulacra of Human Behavior 나오면서 막 다들 열광할떄였거든요.
그때만 해도 엄청 인간답고, 유기적이고, 상상하지 못한 결과물들이 막 나오는 걸 보면서.. 오 LLM이 토론해서 결과를 도출하면 단일 LLM보다 더 정확해진다!는 페이퍼들도 좀 나왔었고. 뭐 그때 주장 중에서 독창성을 필요로 하는 과제들은 멀티 에이전트 환경이 짱이다! 이런 말들도 나왔던 것 같고요, 당시에는.
제가 딱 그때 이후로 커머스 롤업하느라 캐치업을 아예 안 하고 있었는데, 최근에 SaaS 인수하려다 보니 AX로 최적화해야 하는 업무가 많아져서 이걸 다시 보게 됐어요.
근데 요즘은 또 생각보다 그렇게 효과 없고, 오히려 기본 모델 능력을 향상시키는게 토큰 소모 대비 훨씬 낫다는 말들도 나오는거 같더라고요??!
그래서 제 질문은, 결국 멀티 에이전트 환경 구축하면 토큰 15배 넘게 쓰게 될껀데… 진짜 결과물도 15배 만큼 올라가나?? 이게 핵심 질문이긴했어요.
그래서 어디서 멀티 에이전트 시스템이 정당화 되는지?
그러면 멀티에이전트 시스템이 효율을 나타내는 영역이 어디인지, 하나하나 직접 가지고 놀면서 알기는 시간이 없으니까 각종 연구자료들을 뒤져봤습니다.
그래서 보니 일단 기본적으로 LLM이 한 번에 다 못보는 양. 예를들어 봐야하는 자료가 1M 토큰을 훨씬 뛰어넘는 경우에는 충분히 정당성을 부여할 수 있을 것 같은데.
마침 지금 제가 인수하는 SaaS에서 적용하기 괜찮겠더라고요.
기본적으로 슬랙 워크스페이스에 3년치 과거 대화 기록들이 있고
노션 워크스페이스에 있는 모든 레거시 문서와 wiki자료들도 엄청 방대하고
깃허브 안에 모든 코드베이스들을 보면
아 이건 뭔가 멀티 에이전트 시스템으로 최적화 시킬 수 있을 것 같은 느낌적인 느낌… 그래서 열심히 ‘single agent vs multi agent’ 같은걸로 연구 자료들 뒤져보면서 클로드랑 대화하면서 시사점들을 도출하고 있는 중..
또또 보다 보니.. 같은 문제나 상황에 대해서 다른 관점이 존재해야하는 문제에서 좀 괜찮을 것 같다는 생각도 들더라고요. 특히 제가 인수하면서 맨날 이야기하는 ‘상방’을 먼저 보냐, ‘하방’을 먼저 보냐. 이런 리스크 관리 부분도요!
예를들어, 하방 리스크 회피 전문 CEO agent를 하나 만들어서, 단기적인 손실 방어하는 의견을 내는 것에 특화된 ceo agent랑. 상방 매출 레버 전문 ceo agent를 만들어서 장기적인 시장 점유율이나 매출 레버에 더 집중하는 ceo agent랑.
이 둘을 열심히 토론시켜서, 제가 최종 의사결정만 하게 되게 만들면 참 좋겠다는 생각도 들더라고요. 특히 saas 실사하면서 데이터를 하두 많이 보다보니.. 이 데이터를 해석하는 능력이 나보다 ai가 더 잘 할 것 같은데.. 라는 생각도 들고..ㅎㅎ
암튼 그래서 이것저것 연구자료들을 보면서 세팅할 수 있는 것들을 다양하게 상상하면서 테스트 하다 보니.. 끝도 없이 파게 되는 느낌이네요, 요즘은.
결국 다시 개발자 모드…?
여튼 SaaS를 운영해야 하다 보니. 아니 SaaS를 한 3-4개를 운영할 수 있는 환경을 구축하려다보니. 다시 옛날 개발자 페르소나를 좀 살려야 했고, 지금 살리고 있는 중입니다.
그나마 다행인건.. 이번에 인수하게 되는 SaaS의 테크 인프라가, 그래도 제가 어느 정도 익숙한 구조라 그나마 다행입니다.. ㅋㅋㅋ 이것마저 안 익숙했으면 머리 터졌을듯..ㅠㅠ
여튼 상황이 이렇다보니, 한 동안은 업무 최적화나 효율화 측면에서 AX 관련된 일지나 포스팅도 좀 더 자주 나올 수도 있을 것 같아요. 근데 배보다 배꼽이 더 커지면 안되니까.. 결국 아주 구체적인 상황에 AX 적용기 정도..?
AI enabled rollup? AI를 기반으로 한 SaaS 롤업? 을 위해서 필수 조건이 되는 느낌이라.. 연구도 계속 해야할꺼같고. 그래서 성공 사례들을 관심 있게 지켜보면서, 요즘 나오는 연구 자료들도 좀 디테일하게 봐야할 것 같은.. ㅠㅠ (공부 어려웡..)
근데 확실히 간만에 연구자료가 활발하게 나오는 영역의 기술을 만지다보니 좀 재미있는 점은.. 이쪽은 아직 검증되지 않은 기술들이 참 많아서, 마치 연금술의 시대처럼 누구나 자기만의 정답을 찾아갈 수 있다는 점이 좀 재미있는 듯.
가령, 아직 그 누구도 멀티에이전트 시스템을 어떻게 구축해야 정말 효율적인 결과물을 만들 수 있는지 정답을 모르는 상태이다 보니.. 어떤 도메인에서, 어떤 환경에서 잘 구축하면 정말 ‘금’을 찾을 수 있다는 것?
간만에 검증되지 않은 기술을 가지고 놀다보니.. 이게 좀 재미있어요.
물론, 너무 매몰되면 저도 모르게 ‘지루한 사업 업무’들이 뒷전이 될까봐 좀 조심해야 할 것 같긴합니다. ㅋㅋㅋ
마무리
AI 직원 뽑다가 좀 바빴긴했는데.
근데 결국 또 어떻게 보면 이게 본업이긴 해서.. Ai 시대에 SaaS 3-4개씩 굴리겠다는건 결국 ‘한 명이 여러 회사를 운영할 수 있는 환경을 구축’하는게 좀 중요해서..
그 환경을 위해서 지금 이 삽질은 “R&D”라고 포장 할 수 있지 않을까…ㅠㅠ
실사도 거의다 마무리 되어서 ㅎㅎ 이제 진짜 시작이네요!! 그 전에 일단 이 AI 직원 5명부터 잘 안 잘리게 한번 잘 키워보겠습니다 ㅋㅋㅋ
기대하시는 결과물이나
AX화하고 싶으신 일의 루프가 있으신가요?