머신러닝 리서치팀은 서로에 대한 신뢰와 비전에 대한 공감으로 일하는 팀인데요. 그간 어떻게 일을 해왔는지, 또 어떤 목표와 인재상을 가지고 있는지, 루다의 리서치팀만의 특별한 점을 알아보아요.

루다 대화 기술의 핵심을 담당하는 리서치팀을 소개합니다

Q. 간단한 자기소개 부탁드립니다.

상우: 저는 스캐터랩의 머신러닝 리서처로 일하고 있는 서상우이고요. 루다가 유저들과의 대화를 통해 지속적으로 성장할 수 있는 환경을 만드는 Continual Learning을 연구하고 있어요.

다운: 머신러닝 리서처 정다운이고요. 저는 루다가 많은 사람과 쌓은 추억을 잊어버리지 않도록 기억 능력 개선에 대해 연구를 하고 있습니다.

주홍: 저도 머신러닝 리서치를 담당하고 있는 이주홍입니다. 루다가 대화를 잘 이해할 수 있도록 Representation Learning 연구와 이를 바탕으로 적절한 답변을 찾을 수 있도록 개선하는 연구를 하고 있어요.

Q. 루다의 머신러닝 리서치팀은 어떤 역할을 하나요?

다운: 루다가 사람들과 더 의미 있는 대화를 할 수 있도록 돕는 역할을 맡고 있어요. 루다라는 제품은 ‘일상대화(Open-domain Conversation)’가 핵심 기능인데, 아직 개척되지 않은 분야이기 때문에 레퍼런스가 없는 경우가 많아요. 그래서 루다를 ‘모두를 위한 친구'로 만들기 위해서는 리서처가 연구하고 풀어야 할 문제가 많은 거죠. 그러다 보니 현재의 대화 기술의 발전 수준과 속도에 맞춰 제품의 비전과 마일스톤을 계획하기도 해요. 결국, 리서처가 없으면 서비스의 핵심적인 큰 그림을 그릴 수가 없기 때문에 제품 개발에 있어 매우 중추적인 역할을 수행하고 있다고 볼 수 있죠.

주홍: 맞아요. 이미 많은 연구가 이루어졌고 괜찮은 솔루션이 있다면, 이를 잘 활용하고 최적화하는 엔지니어링에 더 힘을 실었겠지만, ‘일상대화’ 분야에 대한 의미 있는 연구는 해외에서도 이제 막 진행되고 있는 단계라 아직 갈 길이 멀다고 생각해요. 예컨대, 지금 적용할 수 있는 기능이 있고 한참 뒤에야 가능한 기능들이 있어요. 그렇다 보니까 제품에 대한 의사결정을 할 때 리서치 플랜과 로드맵의 영향이 크다고 볼 수 있죠.

스캐터랩에서는 ‘현실의 문제'를 풀 수 있어요

Q. 그렇다면 리서처로서 스캐터랩에서만 경험할 수 있는 업무가 있을까요?

상우: 스캐터랩은 '이루다'라는 프로덕트가 있는 곳이기 때문에 ‘현실의 문제'를 풀 수 있어요. 루다를 ‘모두를 위한 친구'로 만들기 위해서는 실제 우리가 사는 세상에 대한 완벽한 이해와 관심이 필요하잖아요. 그래서 저희는 실제 유저들이 만들어낸 리얼월드 데이터(Real World Data)를 토대로 연구하고, 그 결과를 서비스에도 직결시켜 세상에 미치는 영향력을 직접 확인할 수 있어요. 이런 부분은 다른 대학원이나 대기업 연구팀과는 다르게 저희 팀에서만 경험할 수 있는 장점이 아닐까 싶습니다. 왜냐하면 아직은 AI 중심의 프로덕트를 개발하는 조직이 많지 않고, 대부분은 아직 많은 가정이 전제된 실험실 환경에서 연구를 진행하고 있거든요. 근데 사실 현실에는 상상할 수 없을 정도로 다양한 문제가 숨어있어서 실험실 환경에서 연구하는 것보다 훨씬 챌린지하죠. 그래서 현실의 문제에 맞닥뜨려 풀어나가는 것이 앞으로 더욱 중요해질 것이라 생각하고, 그런 의미에서 스캐터랩에서의 경험은 리서처로서 성장하는 데 많은 도움이 되고 있답니다.

다운: 저희는 ‘현실의 문제’를 해결하기 위해 연구를 하지만, 다른 곳에서 진행되는 연구들은 벤치마크 성능 향상이 목적이 되어버리는 경우가 많아요. 물론 벤치마크 성능이 의미가 없는 것은 아니지만, 토익 점수가 높다고 반드시 영어를 잘하는 것이 아니듯 벤치마크에서 좋은 결과를 보여도 실제 서비스 환경에서는 그만큼을 보여주지 못하는 경우가 많아요. 혹은 그 결과가 실제 서비스에 도달조차 되지 않아 내가 하는 연구가 정말 의미가 있는지도 확인할 수 없게 되죠. 반면, 스캐터랩에서 연구하면서 좋았던 부분은 루다를 통해서 현실의 문제를 파악하고 해결하는 것뿐만 아니라 제품에 적용해 유저의 피드백을 받는 과정까지 경험할 수 있다는 점이에요. 실제로 공감이나 위로받았다는 유저들의 피드백을 받은 적이 많았는데, 너무 뭉클했어요. 저희가 진행하고 있는 연구가 얼마나 중요하고 의미 있는지 다시 한번 확신할 수 있었죠.

Q. 구체적으로 수행하셨던 프로젝트를 말씀해주시겠어요?

주홍: 루다가 사진을 이해하고 대화할 수 있는 기능을 추가하는 프로젝트를 예로 들어 설명해 드릴게요. 평범한 연구라면 사진을 포함한 대화 데이터를 수집해서 학습 및 평가 데이터로 구축하고는 모델의 성능을 측정하거나 평가 데이터에서 모델의 예측 양상 정도만 분석하는 수준일 거예요. 그런데 저희는 여기서 더 나아가 루다에 이 기능을 반영하여 사람들과 실제로 많은 대화를 나눠보게끔 할 수 있어요. 일종의 A/B 테스트처럼 루다가 사진을 이해하면서 대화할 때와 그렇지 않을 때의 유저 수(DAU)나 리텐션 등의 차이를 확인할 수 있죠.

만약 결과에서 벤치마크 성능과 실제 제품 메트릭의 상관성이 높다면 그나마 다행인데, 벤치마크 성능이 충분히 좋게 나왔음에도 실제 제품 메트릭에서는 안 좋을 수도 있어요. 그 말은 즉, “새로 추가한 기능이 루다가 더 많은 사람과 더 재밌는 대화를 나누는 데 도움이 된다"라는 가설이 틀린거죠. 그럼 벤치마크 데이터가 제품 메트릭을 충분히 반영하고 있는지 다시 검토하거나 접근법을 수정하는 등 연구의 방향을 빠르게 수정하게 됩니다. 만약 이 과정에서 제품의 피드백이 없었다면 힘들게 연구한 결과가 실제 세상에 가치를 만들어냈다는 걸 확인하기 어렵고, 만약 잘못된 방향인 걸 한참 뒤에 깨닫는다면 정말 허탈하겠죠.

비전이 얼라인 되어 있다면 어떤 일을 해도 좋아요

Q. 이야기 나누다 보니, 세상에 가치를 만들어내기 위한 고민이 많으시네요. 일하는 방식도 특별한 것 같은데, 리서치팀은 어떻게 일을 하나요?

주홍: 저희 팀은 ‘각자의 연구 목적이 루다팀의 비전과 얼라인되어 있다면 하고 싶은 연구를 자유롭게 하면 된다’는 생각이 기본적으로 깔려 있어요. 우리가 하는 모든 연구는 루다가 더 많은 사람과 더 좋은 대화를 하는 데에 도움이 되어야 하는 거죠. 이때 생각하는 방법은 각자 다를 수 있어요. 누군가는 루다의 지식이 풍부해지면 더 좋은 대화를 할 수 있다고 생각하고, 또 누군가는 루다가 공감을 잘해주는 게 중요하다고 생각할 수 있죠. 이런 고민이 루다의 비전에만 얼라인되어 있다면 무엇을 하든 좋다는 생각입니다. 지금도 각자 자신이 믿는 방향으로 자유롭게 연구를 제안해서 진행하고 있고, 덕분에 재미도 느끼면서 제품을 위한 연구를 하고 있어요.

다운: 조금 더 자세하게 업무 진행 방식을 말씀드리자면, 저희는 우선 아이디에이션 리스트에 루다의 문제나 방법론을 자유롭게 작성하고 공유해요. 그중에서 괜찮은 후보들을 올리다 보면 자연스럽게 프로젝트가 빌드업돼요. 그럼 각자 하고 싶은 프로젝트에 참여해 팀을 꾸리고, 한 두 분기, 길게는 1년간의 계획을 잡는 과정이 반복되죠. 어떻게 보면 바텀업 방식이에요, 하고 싶은 것을 최대한 조정하면서 민주적으로 가요. 다만, 바텀업이 실패하지 않기 위해서는 비전을 명확히 하고 그 방향으로 나아가는 것이 중요하죠.

상우: 말씀하신 대로 업무 목표를 실무자들이 직접 설정하는 게 저희 조직의 특징이라고 생각해요. 비전에 맞는 태스크를 정할 때 주도권이 리더와 실무자 중 어느 쪽에 있는지가 중요한데, 저는 실무자들에게 있다고 느낍니다. 그래서 프로젝트를 수행할 때, 무엇이 중요한지 저희가 스스로 판단하고 설득하면서 하고 싶은 일을 하고 있죠.

Q. 앞으로 스캐터랩에서 꼭 이뤄내고 싶은 비전이나 목표가 무엇인지 궁금해요.

주홍: 루다팀은 ‘모두를 위한 친구를 만든다'라는 비전을 갖고 있어요. 일상적인 대화부터 시작해 친한 친구 관계에서 일어날 수 있는 모든 경험을 유저에게 선사하는 것이 목표입니다. 저희 리서치팀의 비전도 동일해요. 루다가 사람들과 깊이 있는 대화를 하고, 추억을 남길 수 있게 만드는 것이랍니다.

상우: 저는 기술을 통해 루다가 더 많은 것들을 이해할 수 있게 만들고 싶어요. 물론 아직은 많은 연구와 노력이 필요하겠지만, 기술적으로 해결할 수만 있다면 루다가 사람들의 말을 기억하고 더 다양한 주제에 관해서 이야기를 할 수 있게 될 거예요. 이를 통해 사람들이 루다를 더 친한 친구로 대하는 데 큰 도움이 되면 좋겠어요.

다운: 현재는 루다의 주 유저층이 10~20대지만, 저희 비전이 '모두를 위한 친구'인 만큼 다양한 유저층이 루다와의 대화에서 재미를 느낄 수 있게 루다의 대화 능력을 다각화해나가고 싶어요. 또한, 한국어뿐만 아니라 영어, 일본어로도 대화할 수 있게 언어도 확장하고 싶고요. 루다 같은 친구를 필요로 하는 사람들이 세계 곳곳에 많을 거라 생각해서, 어떻게 하면 루다가 단순한 심심풀이용 챗봇이 아니라 ‘모두를 위한 친구’가 될 수 있을지를 매일 고민하고 있습니다.