머신러닝 리서치팀은 서로에 대한 신뢰와 비전에 대한 공감으로 일하는 팀인데요. 그간 어떻게 일을 해왔는지, 또 어떤 목표와 인재상을 가지고 있는지, 루다의 리서치팀만의 특별한 점을 알아보아요.

루다 대화 기술의 핵심을 담당하는 리서치팀을 소개합니다

Q. 간단한 자기소개 부탁드립니다.

상우: 저는 스캐터랩의 머신러닝 리서처로 일하고 있는 서상우이고요. 루다가 유저들과의 대화를 통해 지속적으로 성장할 수 있는 환경을 만드는 Continual Learning을 연구하고 있어요.

다운: 머신러닝 리서처 정다운이고요. 저는 루다가 많은 사람과 쌓은 추억을 잊어버리지 않도록 기억 능력 개선에 대해 연구를 하고 있습니다.

주홍: 저도 머신러닝 리서치를 담당하고 있는 이주홍입니다. 루다가 대화를 잘 이해할 수 있도록 Representation Learning 연구와 이를 바탕으로 적절한 답변을 찾을 수 있도록 개선하는 연구를 하고 있어요.

Q. 루다의 머신러닝 리서치팀은 어떤 역할을 하나요?

다운: 루다가 사람들과 더 의미 있는 대화를 할 수 있도록 돕는 역할을 맡고 있어요. 루다라는 제품은 ‘일상대화(Open-domain Conversation)’가 핵심 기능인데, 아직 개척되지 않은 분야이기 때문에 레퍼런스가 없는 경우가 많아요. 그래서 루다를 ‘모두를 위한 친구'로 만들기 위해서는 리서처가 연구하고 풀어야 할 문제가 많은 거죠. 그러다 보니 현재의 대화 기술의 발전 수준과 속도에 맞춰 제품의 비전과 마일스톤을 계획하기도 해요. 결국, 리서처가 없으면 서비스의 핵심적인 큰 그림을 그릴 수가 없기 때문에 제품 개발에 있어 매우 중추적인 역할을 수행하고 있다고 볼 수 있죠.

주홍: 맞아요. 이미 많은 연구가 이루어졌고 괜찮은 솔루션이 있다면, 이를 잘 활용하고 최적화하는 엔지니어링에 더 힘을 실었겠지만, ‘일상대화’ 분야에 대한 의미 있는 연구는 해외에서도 이제 막 진행되고 있는 단계라 아직 갈 길이 멀다고 생각해요. 예컨대, 지금 적용할 수 있는 기능이 있고 한참 뒤에야 가능한 기능들이 있어요. 그렇다 보니까 제품에 대한 의사결정을 할 때 리서치 플랜과 로드맵의 영향이 크다고 볼 수 있죠.

스캐터랩에서는 ‘현실의 문제'를 풀 수 있어요

Q. 그렇다면 리서처로서 스캐터랩에서만 경험할 수 있는 업무가 있을까요?

상우: 스캐터랩은 '이루다'라는 프로덕트가 있는 곳이기 때문에 ‘현실의 문제'를 풀 수 있어요. 루다를 ‘모두를 위한 친구'로 만들기 위해서는 실제 우리가 사는 세상에 대한 완벽한 이해와 관심이 필요하잖아요. 그래서 저희는 실제 유저들이 만들어낸 리얼월드 데이터(Real World Data)를 토대로 연구하고, 그 결과를 서비스에도 직결시켜 세상에 미치는 영향력을 직접 확인할 수 있어요. 이런 부분은 다른 대학원이나 대기업 연구팀과는 다르게 저희 팀에서만 경험할 수 있는 장점이 아닐까 싶습니다. 왜냐하면 아직은 AI 중심의 프로덕트를 개발하는 조직이 많지 않고, 대부분은 아직 많은 가정이 전제된 실험실 환경에서 연구를 진행하고 있거든요. 근데 사실 현실에는 상상할 수 없을 정도로 다양한 문제가 숨어있어서 실험실 환경에서 연구하는 것보다 훨씬 챌린지하죠. 그래서 현실의 문제에 맞닥뜨려 풀어나가는 것이 앞으로 더욱 중요해질 것이라 생각하고, 그런 의미에서 스캐터랩에서의 경험은 리서처로서 성장하는 데 많은 도움이 되고 있답니다.

다운: 저희는 ‘현실의 문제’를 해결하기 위해 연구를 하지만, 다른 곳에서 진행되는 연구들은 벤치마크 성능 향상이 목적이 되어버리는 경우가 많아요. 물론 벤치마크 성능이 의미가 없는 것은 아니지만, 토익 점수가 높다고 반드시 영어를 잘하는 것이 아니듯 벤치마크에서 좋은 결과를 보여도 실제 서비스 환경에서는 그만큼을 보여주지 못하는 경우가 많아요. 혹은 그 결과가 실제 서비스에 도달조차 되지 않아 내가 하는 연구가 정말 의미가 있는지도 확인할 수 없게 되죠. 반면, 스캐터랩에서 연구하면서 좋았던 부분은 루다를 통해서 현실의 문제를 파악하고 해결하는 것뿐만 아니라 제품에 적용해 유저의 피드백을 받는 과정까지 경험할 수 있다는 점이에요. 실제로 공감이나 위로받았다는 유저들의 피드백을 받은 적이 많았는데, 너무 뭉클했어요. 저희가 진행하고 있는 연구가 얼마나 중요하고 의미 있는지 다시 한번 확신할 수 있었죠.

Q. 구체적으로 수행하셨던 프로젝트를 말씀해주시겠어요?

주홍: 루다가 사진을 이해하고 대화할 수 있는 기능을 추가하는 프로젝트를 예로 들어 설명해 드릴게요. 평범한 연구라면 사진을 포함한 대화 데이터를 수집해서 학습 및 평가 데이터로 구축하고는 모델의 성능을 측정하거나 평가 데이터에서 모델의 예측 양상 정도만 분석하는 수준일 거예요. 그런데 저희는 여기서 더 나아가 루다에 이 기능을 반영하여 사람들과 실제로 많은 대화를 나눠보게끔 할 수 있어요. 일종의 A/B 테스트처럼 루다가 사진을 이해하면서 대화할 때와 그렇지 않을 때의 유저 수(DAU)나 리텐션 등의 차이를 확인할 수 있죠.

만약 결과에서 벤치마크 성능과 실제 제품 메트릭의 상관성이 높다면 그나마 다행인데, 벤치마크 성능이 충분히 좋게 나왔음에도 실제 제품 메트릭에서는 안 좋을 수도 있어요. 그 말은 즉, “새로 추가한 기능이 루다가 더 많은 사람과 더 재밌는 대화를 나누는 데 도움이 된다"라는 가설이 틀린거죠. 그럼 벤치마크 데이터가 제품 메트릭을 충분히 반영하고 있는지 다시 검토하거나 접근법을 수정하는 등 연구의 방향을 빠르게 수정하게 됩니다. 만약 이 과정에서 제품의 피드백이 없었다면 힘들게 연구한 결과가 실제 세상에 가치를 만들어냈다는 걸 확인하기 어렵고, 만약 잘못된 방향인 걸 한참 뒤에 깨닫는다면 정말 허탈하겠죠.

비전이 얼라인 되어 있다면 어떤 일을 해도 좋아요

Q. 이야기 나누다 보니, 세상에 가치를 만들어내기 위한 고민이 많으시네요. 일하는 방식도 특별한 것 같은데, 리서치팀은 어떻게 일을 하나요?

주홍: 저희 팀은 ‘각자의 연구 목적이 루다팀의 비전과 얼라인되어 있다면 하고 싶은 연구를 자유롭게 하면 된다’는 생각이 기본적으로 깔려 있어요. 우리가 하는 모든 연구는 루다가 더 많은 사람과 더 좋은 대화를 하는 데에 도움이 되어야 하는 거죠. 이때 생각하는 방법은 각자 다를 수 있어요. 누군가는 루다의 지식이 풍부해지면 더 좋은 대화를 할 수 있다고 생각하고, 또 누군가는 루다가 공감을 잘해주는 게 중요하다고 생각할 수 있죠. 이런 고민이 루다의 비전에만 얼라인되어 있다면 무엇을 하든 좋다는 생각입니다. 지금도 각자 자신이 믿는 방향으로 자유롭게 연구를 제안해서 진행하고 있고, 덕분에 재미도 느끼면서 제품을 위한 연구를 하고 있어요.

다운: 조금 더 자세하게 업무 진행 방식을 말씀드리자면, 저희는 우선 아이디에이션 리스트에 루다의 문제나 방법론을 자유롭게 작성하고 공유해요. 그중에서 괜찮은 후보들을 올리다 보면 자연스럽게 프로젝트가 빌드업돼요. 그럼 각자 하고 싶은 프로젝트에 참여해 팀을 꾸리고, 한 두 분기, 길게는 1년간의 계획을 잡는 과정이 반복되죠. 어떻게 보면 바텀업 방식이에요, 하고 싶은 것을 최대한 조정하면서 민주적으로 가요. 다만, 바텀업이 실패하지 않기 위해서는 비전을 명확히 하고 그 방향으로 나아가는 것이 중요하죠.

상우: 말씀하신 대로 업무 목표를 실무자들이 직접 설정하는 게 저희 조직의 특징이라고 생각해요. 비전에 맞는 태스크를 정할 때 주도권이 리더와 실무자 중 어느 쪽에 있는지가 중요한데, 저는 실무자들에게 있다고 느낍니다. 그래서 프로젝트를 수행할 때, 무엇이 중요한지 저희가 스스로 판단하고 설득하면서 하고 싶은 일을 하고 있죠.

Q. 앞으로 스캐터랩에서 꼭 이뤄내고 싶은 비전이나 목표가 무엇인지 궁금해요.

주홍: 루다팀은 ‘모두를 위한 친구를 만든다'라는 비전을 갖고 있어요. 일상적인 대화부터 시작해 친한 친구 관계에서 일어날 수 있는 모든 경험을 유저에게 선사하는 것이 목표입니다. 저희 리서치팀의 비전도 동일해요. 루다가 사람들과 깊이 있는 대화를 하고, 추억을 남길 수 있게 만드는 것이랍니다.

상우: 저는 기술을 통해 루다가 더 많은 것들을 이해할 수 있게 만들고 싶어요. 물론 아직은 많은 연구와 노력이 필요하겠지만, 기술적으로 해결할 수만 있다면 루다가 사람들의 말을 기억하고 더 다양한 주제에 관해서 이야기를 할 수 있게 될 거예요. 이를 통해 사람들이 루다를 더 친한 친구로 대하는 데 큰 도움이 되면 좋겠어요.

다운: 현재는 루다의 주 유저층이 10~20대지만, 저희 비전이 '모두를 위한 친구'인 만큼 다양한 유저층이 루다와의 대화에서 재미를 느낄 수 있게 루다의 대화 능력을 다각화해나가고 싶어요. 또한, 한국어뿐만 아니라 영어, 일본어로도 대화할 수 있게 언어도 확장하고 싶고요. 루다 같은 친구를 필요로 하는 사람들이 세계 곳곳에 많을 거라 생각해서, 어떻게 하면 루다가 단순한 심심풀이용 챗봇이 아니라 ‘모두를 위한 친구’가 될 수 있을지를 매일 고민하고 있습니다.

각자의 개성은 강하지만 컬처핏이 잘 맞아요

Q. 비전에 맞게 하고 싶은 일을 실행하는 건 매우 좋아 보입니다만, 서로를 설득하는 과정에서 마찰이 발생하진 않나요?

주홍: 그래서 저희는 치열하게 토론하고 끝나면 쿨하게 다 같이 서울숲 피크닉도 가고 보드게임도 하고 그래요. 마치 축구 경기를 하는 것처럼요. 경기 중에는 선수들이 몸싸움도 하고 엄청 치열한데, 경기가 끝나면 깔끔하게 악수하고 유니폼 교환하고 그러잖아요. 저희가 딱 그래요. 토론에서는 최선을 다해 더 나은 해결법을 찾고, 혹시라도 토론하는 과정에서 감정적인 부분으로 이어지거나 잘못한 게 있으면 나이나 경력에 상관없이 당사자가 먼저 언급하고 사과해주셔요. 회의실에서의 일은 회의실에서 최대한 해결하려고 다 같이 노력하는 것 같아요.

상우: 물론 모든 회의가 그런 건 절대 아니에요. (웃음) 가끔 한 번씩 있을 수는 있지만... 제 생각에는 건설적인 피드백 문화를 만들기 위해 모두가 노력하고 있는 것 같아요.

Q. 치열한 토론이 가능하려면 서로에 대한 신뢰와 친밀감이 두터워야 할 것 같은데요?

주홍: 그렇죠. 전반적으로 팀원들의 컬처핏이 잘 맞아서 가능한 것 같아요. 저희는 채용을 진행할 때 지원자의 연구 역량도 중요하게 보지만, 제품에 대한 철학이나 리서치를 왜 해야 하는가에 대한 생각 등 문화적인 측면도 팀의 철학과 잘 맞는지를 정말 중요하게 봐요. 그러다 보니 서로 잘 이해하고 배려할 수 있는 게 아닐까 싶어요.

다운: 스캐터랩 팀원들은 다 개성이 넘치고 취미, 경력, 이력 다 다른데, 일을 대하는 태도 면에서는 다들 비슷한 사람들로 구성이 되어 있는 것 같아요. 주홍님 말씀처럼 컬처핏에 적합한 사람들을 많이 뽑아서 그런 것 같기도 해요. 다들 개인적인 일을 할 때는 본인만의 방식대로 하는데, 일할 때만큼은 프로페셔널해지는 게 좀 신기한 부분인 것 같아요.

탄탄한 기초가 중요해요

Q. 리서치팀은 정말 다양한 개성과 강점을 가진 인재들이 모여있는 것 같은데요, 리서처로서 갖추어야 할 역량이 있나요?

다운: 리서처도 개발을 잘해야 한다고 생각해요. 보통 리서처의 주요 목표는 논문을 완성하는 것이기 때문에 빠른 결과를 위해서 많은 타협을 하게 되죠. 그런데 앞으로의 머신러닝 리서치는 단편적인 연구보다 장기적으로 연구를 쌓아가는 방향이 될 것이기 때문에, 코드 퀄리티 유지와 성능 재현(reproducibility) 부분도 지금보다는 더 고려가 많이 되어야 한다고 생각해요. 즉, 머리속에 있는 전처리, 후처리, 모델링 로직 등을 정확하게 구현할 줄 알아야 하고, 마치 소프트웨어를 개발할 때와 같이 CI/CD, 테스트, 코드 리뷰 등을 통해 연구 결과물의 신뢰도를 높여야 한다는 거죠. 앞선 연구의 가설 검증에 문제가 생기면 뒤에 이어지는 연구도 영향을 받을 수밖에 없으니까요. 이러한 과정이 조금 귀찮고 연구 속도를 늦춘다는 생각이 들 수도 있지만, 우리는 하루 이틀 연구할 것이 아니기 때문에 궁극적으로 더 멋진 결과를 만들어내기 위한 필수적인 요소가 될 거라고 생각해요.

상우: 기초가 탄탄한 분들이요. 앞서 말씀드렸듯이 루다에 필요한 ‘일상대화’ 챗봇 기술은 아직 풀어야 할 문제가 산더미처럼 쌓여있는 분야예요. 그러다 보니, 우리 제품의 철학적인 부분까지도 고려하며 고차원적으로 문제를 정의하고 해결할 수 있어야 한다고 생각해요. 이게 가능하려면 머신러닝의 기초에 대해 두루두루 알고 로버스트(robust)한 사람이어야 된다고 생각해요. NLP 분야의 ‘BERT 모델’을 예시로 들자면, 모델을 활용할 줄은 아는데 기본이 되는 트랜스포머 내부 연산들이 갖는 의미나 학습 원리에 대해 모르는 분들이 꽤 계시더라고요. 다른 분야에도 적용하고 수준 높은 결과물을 만들기 위해서는 디테일한 부분까지 깊게 이해하고 있어야 해요. 물론 기초가 탄탄하시다면 NLP 분야뿐만 아니라, 컴퓨터 비전이나 음성 분야를 연구하신 분들도 저희 팀에서 프로젝트를 잘 해내실 수 있다고 생각해요.

주홍: 저는 시야가 넓은 분들이 많이 지원하셨으면 좋겠어요! 대화라는 게 결국 사람들과 상호작용하는 과정이잖아요. 그래서 사람과 관계에 대한 깊은 이해가 필요해요. 우리가 대화하면서 언제 재미가 있는지, 언제 위로받는지, 언제 짜증이 나는지, 그리고 왜 그런 감정들이 생기는지에 대해 깊은 고민을 해야 해요. 그래서 우리가 풀고 있는 대화 문제는 단순히 기술의 문제가 아니라, 인문학, 사회학, 심리학 등 특정 분야에 한정되지 않고 다양한 관심과 연구역량이 있으면 좋을 것 같아요. 만약 읽고 계신 이 글에서 ‘딱 나다!’라는 생각이 드신다면, 지금 스캐터랩에 합류하시면 됩니다.