핀다의 생명줄, 데이터 파이프라인을 구축하고 플랫폼을 만드는 DP팀

데이터브릭스의 연례 행사 ‘Data + AI World Tour’에서 한 참가자가 핀다의 데이터플랫폼 구축 사례 발표 장면을 사진으로 촬영하는 모습.

지난 4월, 글로벌 데이터 레이크하우스(Lakehouse) 기업 데이터브릭스가 서울 삼성동 인터컨티넨탈호텔에서 첫 오프라인 행사 ‘데이터+AI 월드 투어’를 열었습니다. 행사장에는 현직 데이터 엔지니어들을 비롯해 데이터 전문가를 꿈꾸는 취준생들로 발 디딜 틈이 없었는데요.
 
 이날 핀다도 데이터 플랫폼을 잘 구축한 모범사례로 인정 받아 핀다 DP팀에서 연사로 나섰습니다. 이번 행사에는 G마켓, 이마트24, 한화, 무신사 등 국내 유수의 데이터 리더들도 연사로 참여했습니다. 핀다가 이들과 어깨를 나란히 할 수 있었던 것은 DP팀의 헌신 덕분이었죠.

핀다가 우수한 데이터 역량을 갖춘 회사로 발돋움하게 만든 DP팀은 어떤 크루들이 함께하고 있을까요? 오늘은 핀다의 생명줄인 데이터가 물처럼 원활하게 흐르는 것을 돕는 ‘파이프라인'을 만들고, 적재적소에 활용할 수 있는 ‘플랫폼'을 만드는 데이터 플랫폼팀(이하 DP팀)을 만나보았습니다.

핀다 DP팀. 사진 왼쪽부터 상봉님, 유진님, 호원님, 현주님, 원기님. 방대한 빅데이터와 핀다 크루들을 이어주는 ‘데이터 플랫폼 설계자'들이다.

원기 안녕하세요, 핀다에 합류한 지 이제 막 1년이 된 DP팀 데이터 엔지니어 홍원기입니다. 5명으로 구성된 DP팀에서 전반적인 업무를 총괄하고 있고, 소프트웨어 엔지니어로 커리어를 시작한 18년차 직장인입니다.

호원 안녕하세요, DP팀 데이터 엔지니어 유호원이라고 합니다. 주로 데이터 파이프라인 관련 업무를 맡고 있고, 최근에는 실시간 처리 업무를 전담하고 있습니다. B2C 애플리케이션을 개발해 2번의 창업을 거쳐 돌고돌아 다시 개발자의 길을 걷고 있어요. 1년 2개월 전에 핀다에 합류했습니다.

현주 안녕하세요, 핀다 7개월차 데이터 엔지니어 송현주라고 합니다. 데이터 관리와 기획 업무를 메인으로 맡고 있어요. 처음에는 커머스 MD로 커리어를 시작해서 3년 간 일하다가 개발자로 전향했고, 현재 데이터 엔지니어로 3년차를 맞이했습니다.

유진 안녕하세요, 4년차 데이터 엔지니어이자 핀다에 합류한 지 1년 반이 넘은 최유진이라고 합니다. 컴퓨터공학과를 졸업하고 백엔드 개발자의 길을 갈 뻔했지만 학교 다닐 때 데이터베이스에 매력을 느껴 데이터엔지니어로 커리어를 바꾼 경험이 있어요.

상봉 안녕하세요, 현주님과 같이 핀다에 입사한 5년차 데이터 엔지니어 이상봉이라고 합니다. 백엔드 엔지니어로 시작해 2년 정도 일을 하다 우연한 계기로 데이터 엔지니어 업무를 맡게 됐어요. 그 이후로는 일이 적성에 맞아 계속 데이터 엔지니어의 길을 걷고 있습니다.

유진 핀다에 지원할 당시에는 핀다가 지금처럼 데이터 인프라가 갖춰진 상황이 아니었지만 그래서 다양한 경험을 많이 쌓을 수 있겠다 생각했어요. 주니어 연차에서는 이미 인프라를 갖춘 회사에서 일하기보다는 다양한 경험을 쌓는 게 더 중요하다고 봤죠.

현주 데이터를 중시하는 금융이나 헬스케어 업계에서 일하고 싶었는데, 데이터 기반의 도메인을 지닌 핀다에서 일을 하면 개인 역량을 확실하게 키울 수 있겠다고 생각해서 핀다호에 합류했습니다.

호원 핀다는 새로운 기술을 시도하는 데 막힘이 없는 회사더라고요. 데이터 엔지니어링과 관련된 의사결정 과정에서도 딱히 제약받는 느낌이 없었죠. 데이터 엔지니어로서 힘을 기를 수 있겠다는 생각이 들어 핀다에 합류했습니다.

원기 핀다에 오기 전까지는 저의 전체 커리어에 비해 데이터 엔지니어로서의 경력이 짧은 편이었어요. 제가 합류할 때만 하더라도 핀다 DP팀은 이제 막 생겨난 팀이라 전폭적으로 지원을 받으면서 경력을 쌓을 수 있겠다는 생각이 들었습니다.

상봉 항상 일을 할 때 불편한 부분을 어떻게 개선해나갈지 리서치하고 적용해보려고 노력하는 데 시간을 많이 할애하는 편인데요. 핀다에서는 데이터 엔지니어로서 풀어야 할 많은 과제가 놓여있었고, 이를 잘 개선하고 문제를 해결하면서 성장할 수 있겠다고 판단했어요.

원기 핀다 플랫폼 내·외부에서 발생하는 방대한 빅데이터들을 분석하고 결합하기 위한 인프라를 관리해요. 이를 설계하는 역할까지 수행합니다. 최근에는 웬만한 기업들이 데이터에 기반한 의사결정과 계획 수립을 당연하게 여기고 있다 보니 갈수록 중요도가 높아지고 있는 일이에요. 어마어마한 양의 데이터를 적재적소에 안정적으로 제공할 뿐만 아니라, 특히 DS팀을 비롯한 데이터 분석 담당자들이 원천 데이터로부터 가치있는 데이터를 재생산할 수 있도록 도와줍니다.

호원 흔히들 저희 업무를 물에 빗대어 설명을 하는데요. 실시간으로 생성되는 수많은 데이터들은 물처럼 여기저기로 흐르고 있어 이를 올바르게 잡아주는 파이프라인이 필요해요. 데이터 파이프라인을 만들어 데이터가 물처럼 원활하게 흐르는 것을 돕고, 필요한 곳에 쓰일 수 있도록 도와주는 것도 저희의 역할이죠.

원기 식당을 예를 들어볼게요. DS팀은 싱싱한 재료(데이터)들을 갖고 최고의 주방 환경(인프라)에서 맛있는 음식(데이터 분석 자료)을 만들어내는 요리사라고 볼 수 있어요. 저희 DP팀은 이 요리사(DS팀)들이 맛있는 음식을 만드는 데에만 집중할 수 있도록, 세상에 널려 있는 온갖 재료들을 모아 적재적소에 식기와 함께 세팅하고 효율적인 주방 동선을 설계하는 일종의 ‘주방 관리자'라고 보시면 됩니다.

유진 핀다는 제휴를 맺고 있는 66개 금융사 300여개 상품과, 200만 핀다 사용자들의 방대한 금융데이터를 다루기 때문에 데이터가 중요할 수밖에 없어요. 대출 상품을 비교하고 추천해주는 중개 플랫폼인 만큼 데이터가 없으면 메인 서비스 자체를 할 수 없는 플랫폼이죠. 민감한 개인정보도 존재하는 만큼 보안 리스크에 신경쓰면서 데이터를 조심히 관리하고 지키는 게 중요해요.

호원 덧붙이자면 핀다는 정확도와 신뢰도를 특히 중시해요. 정확한 데이터가 잘 쌓여야 이를 제대로 분석하고 좋은 인사이트가 나갈 수 있는 만큼, 이를 지원하는 저희의 책임감도 막중합니다.

원기 핀다 앱 사용자의 행동을 분석하기 위해 로그를 수집하고 어떤 경로로 움직이는지 추적하는 플랫폼을 자체적으로 구축하고 있어요. 현재는 믹스패널, 앱스플라이어 등 외부 툴을 사용해 이러한 과정을 지원하고 있지만 개인정보 문제처럼 엄연히 한계가 있거든요. 데이터 활용에 제약이 있으면 다양한 부가가치를 만들어내기도 어렵고요. 그래서 자체적으로 데이터 플랫폼을 구축하면 이러한 문제들이 자연스럽게 해결될 거예요. 물론 많은 비용이 들어가고 시간도 걸리겠지만요. 아마 개발 인프라 관련 비용은 저희 팀에서 가장 많이 쓸 것 같네요.(웃음) 하지만 자체 플랫폼의 장점이 워낙 많다 보니 결코 포기할 수 없죠. 갈수록 비용 절감하기의 달인이 되어야 할 것 같습니다. 비용과의 전쟁은 저희의 숙명이라고 받아들여야죠.

현주 저는 과거 커머스 MD로 일했던 경험을 현재 업무에 적용해 문제를 해결하고 있어요. 데이터는 한번 잘못 쌓이면 이후 데이터 활용에도 악영향을 미치기 때문에 시작 단계부터 어떻게 데이터를 쌓을지 제대로 된 기획이 필요한데요. 커머스 MD로 일했던 당시에는 엔지니어분들이 데이터를 만들어 줄 때까지 기다려야 했고, 만든 데이터를 그대로 받아 써야 해서 답답했었거든요. 시작부터 첫 단추를 잘못 꿰었는지도 모른 채로 일을 하다 보니 갈수록 꼬일 수밖에 없었죠. 지금은 입장이 바뀌어서 제가 데이터 엔지니어가 된 만큼 역지사지의 심정으로 제 업무에 적용하고 있습니다.

상봉 평소 핀다 크루들이 최대한 많은 데이터를 자유롭게 활용해 업무에 영감을 얻었으면 좋겠다는 생각을 갖고 있습니다. 항상 신뢰성 있는 데이터를 제공해야겠다는 생각을 바탕으로 이와 관련된 인프라, 신규 서비스 개발 등에 더 집중하려고 노력하고 있어요.

원기 데이터 엔지니어링 업계에서는 최신 기술이 쏟아져나오고 있어요. 이를 끊임없이 파악해보면서 적재적소에 접목하는 게 중요한 만큼, 기술 동향을 파악하기 위해 매주 월요일 팀 스터디를 진행하고 있습니다. 평일에 시간이 부족한 부분은 주말에도 틈틈이 공부를 이어나가며 보완하는 중이에요.

유진 DP팀은 매주 3번(월수금) 30분씩 스크럼을 진행해 각자의 업무를 공유해요. 팀원 전부가 *우주인인데 출근일까지 다 맞췄죠. 자율 출퇴근과 개별 재택근무제를 도입한 핀다에서 이런 팀은 드물어요. 2주마다 한 번씩 스프린트 회고를 통해 서로 무슨 일을 하는지 지속적으로 공유하고요. 팀원들이 일주일에 한 명씩 긴급대기 담당자를 지정해서 새벽에 돌아가는 업무 상황을 모니터링하는 것도 DP팀에서만 볼 수 있는 모습이죠.

*핀다는 재택과 출근을 자유롭게 디자인할 수 있는 커스텀 워크제도를 운영 중이다. 우주인은 주 2회 재택, 지구인은 주 3회 재택근무를 할 수 있다.

현주 개방형 통합 데이터 플랫폼(*데이터 레이크하우스) 솔루션인 데이터브릭스가 막 도입될 때쯤 핀다에 합류했었는데, 현재는 데이터브릭스가 자리를 잡아가고 있는데요. 데이터브릭스를 관리하고 활용하는 입장에서 단순화, 효율화가 잘 이뤄진 것 같아 보람을 느낍니다.

*데이터 레이크하우스는 '데이터 레이크(data lake)'와 '데이터 웨어하우스(data warehouse)'의 기능을 조합한 것으로, 쉽게 말해 데이터를 모아두는 창고(warehouse)에 호수(lake)와 같은 연결성을 제공한다는 의미다. 이를 통해 모든 데이터에 대한 비즈니스 인텔리전스와 머신러닝을 지원하는 개방형 통합 데이터 플랫폼을 말한다.

유진 DP팀이 생기기 전만 해도 핀다에는 S3와 에어플로(airflow)만 있었을 정도로 데이터 파이프라인이 열악했는데, 현재는 파이프라인 환경이 깔끔하게 개선되고 정리된 상태라 뿌듯해요. 불과 1년 사이에 생긴 변화니까요.

원기 관리하는 인프라가 전체적으로 단단해졌다는 느낌이 들고 비용 절감을 할 때마다 뿌듯해요. 많은 비용이 들어가는 일인 만큼 새로운 것을 만들고 추가하기보다는 불필요한 것을 덜어내고 집중하자는 게 데이터 엔지니어로서 제 철학이기도 하고요.

상봉 처음 입사했을 때 40분 정도 걸리던 코드를 5분 정도로 줄였던 게 기억이 나요. 이처럼 기존 인프라나 코드를 효율적으로 개선해서 동료들의 능률을 올려줄 때 가장 큰 보람을 느끼죠.

상봉 데이터브릭스 컨퍼런스에서 발표했던 *CDC(Change Data Capture) 파이프라인 구성을 성공적으로 해냈던 것이 가장 기억에 남아요. 데이터 엔지니어 업계에서 뜨거운 감자라 할 수 있는 델타 레이크를 직접 사용하여 문제를 해결한 의미있는 경험이었으니까요.

*CDC는 소스 데이터에 변경이 발생하면 캡쳐하여 이를 타겟 데이터에 반영하는 기술로, 비즈니스의 중단 없이 데이터 이관을 수행할 수 있는 솔루션을 뜻한다.

호원 실시간 처리 기술의 핵심이라고 할 수 있는 카프카(Kafka)를 공부해서 실제 애플리케이션을 만들어 운영까지 연결했던 일이요. 핀다에서 제 이름을 직접 내걸고 했던 첫 프로젝트라 기억에 남아요.

유진 작년 2분기에 일종의 데이터 나무위키라고 부를 수 있는 ‘데이터 허브’를 도입했던 일이 가장 기억에 남고 뿌듯했어요. 미국에 있는 데이터 담당자들과 커뮤니케이션했던 일도 재미있는 경험이 됐고요.

현주 데이터브릭스와 같은 외부 클라우드 제품을 도입할 때 여기저기 쌓여있던 방대한 데이터를 일일이 수기로 정리하고 최신화했던 작업이 기억에 남아요. 몸은 고됐지만 덕분에 핀다 데이터에 대한 이해도를 높일 수 있었고, 전체적인 프로세스가 머릿속에 들어왔으니까요.

원기 핀다에 합류하자마자 CX팀과의 파일럿 프로젝트를 시작했었는데요. 기존에는 복잡한 방식으로 업무를 처리하는 모습을 보고 수습 기간이었지만 보다 효율적으로 처리할 수 있게 도와주는 고객 상담용 툴을 만들어드렸어요. CX팀에서도 굉장히 만족해하시면서 고맙다고 해주셔서 뿌듯했던 기억이 나요.

상봉 저희 팀의 역할이 핀다 크루 모두가 데이터를 잘 볼 수 있도록 데이터 수집 파이프라인과 데이터 분석 환경을 구성하는 일이잖아요. 저희가 관리하고 구축한 플랫폼을 사용하는 동료들이 어떻게 하면 편하고 효율적으로 일할 수 있을지를 항상 고민하고, 동료의 불편함을 모조리 없애겠다는 의지가 강한 분이면 언제나 대환영입니다.

원기 저희 팀에서 문제가 생기면 여러 팀에 큰 파급효과를 미치는 팀인 만큼 꼼꼼한 성향이 필요해요. 방대한 데이터를 빠르게 처리해야 하기 때문에 효율적으로 생각하는 사고방식과 문제해결력이 있으면 더욱 좋고요.

유진 퇴근 후에도 꾸준히 모니터링해야 하는 일인 만큼 일에 대한 책임감, 주인의식은 반드시 있어야 해요. 새벽에도 이슈가 발생하면 확인해야 하니까요.

호원 끊임없이 관련 기술이 쏟아져나오는 만큼 트렌드, 타사 동향에 민감하고, 이를 팀에 원활하게 공유해주시는 분이 오시면 좋겠습니다.

현주 꼼꼼하면서도 상상력이 좋은 분이요. 저희는 현재 시점보다 최소 6개월 후에 크루들이 활발히 사용해야 할 플랫폼, 툴을 미리 구축하기 때문에 이후 벌어질 상황에 대한 시뮬레이션을 잘 돌려서 대응할 수 있는 역량을 갖춰야 해요.

원기 팀원들의 성장을 돕는 일이죠. 저희 팀원들이 업계에서 알아주고 인정받는 사람들로 성장하도록 돕고 싶습니다. 이를 위해 다른 팀과 적극적으로 협업하면서 부가 가치를 창출하는 데 주력할 것이고, 지금보다 더 전면에 나설 예정입니다.

호원 넓어진 업무 영역에 비해 깊이가 뒷받침되지 못했던 것 같아요. 핀다에 있는 동안 협업 이해도를 높여 깊이를 갖춘 사람이 되고 싶습니다. 내실을 갖추는 데 집중하려고 해요.

현주 핀다 크루들이 데이터를 활용할 때 담당자들에게 의존하지 않아도 될 정도로 자동화 프로세스를 잘 구축하고 싶어요. 데이터 접근이 쉽고 효율적이게 이뤄지는 회사라는 인식이 널리 퍼지도록 말이죠. 현재까진 아이데이션 단계였지만, 구체적으로 실현해보고 싶어요. 데이터 접근성을 높이는 데 주력할 계획입니다.

유진 저희 팀과 다른 팀 모두 원활하게 사용할 수 있는 툴을 만들고 싶습니다. 예를 들어 마케팅팀에서 특정 조건을 가진 유저의 id를 요청했을 때, 해당 데이터를 csv로 전달하고 이를 웹과 앱에서 모두 구현하는 식이죠.

상봉 핀다 크루분들이 마트에서 원하는 물건을 사듯이 각자 원하는 데이터를 부담없이 쉽고 효율적으로 확인해서, 이를 활용했을 때 좋은 의사결정을 내릴 수 있는 환경을 만들고 싶어요.

방대한 빅데이터를 적재적소에 배치하고 누구나 쉽게 활용할 수 있는 플랫폼을 만드는 핀다 DP팀을 만나 이야기를 나눠봤습니다.

시시각각 변하는 데이터 엔지니어링 업계의 트렌드를 파악하고 활용하기 위해 평일과 주말을 가리지 않고 팀 전체가 공부하는 모습에서 끊임없이 도전하고 성장을 추구하는 팀이라고 느꼈습니다. 핀다의 핵심가치 ‘GROWTH MINDSET’을 제대로 보여주고 있었는데요.

*핀다의 핵심가치가 궁금하다면? 👉핀다답게 일하는 방법, <핵심가치 2.0> 콘텐츠 보기

데이터의 길을 잡아주고 손쉬운 사용 툴을 만들기 위해 힘쓰는 DP팀이 있어 오늘도 핀다 크루들은 누구나 손쉽게 데이터를 활용하고 있답니다.

오늘 인터뷰는 이렇게 마칠게요. 핀다호를 이끄는 크루들과의 만남은 앞으로도 쭉~ 계속됩니다!

핀다와 함께 끝없는 성장을 이루고 싶은 분이라면,

지금 핀다호에 탑승하세요!🚀✨

Interviewee 홍원기 최유진 유호원 송현주 이상봉

Interview·Edit 정진우

Photo 차수연