BRAND

[카카오뱅크 이야기] #6. 데이터 기반의 혁신을 실현하는 빅데이터팀


4차 산업혁명을 이야기 할 때 빠짐없이 등장하는 ‘빅데이터’, 하지만 여전히 낯선 분야인데요. 그래서 오늘은 카카오뱅크 빅데이터팀의 이야기를 통해 빅데이터와 가까워지는 시간을 준비했습니다. 과연 카카오뱅크의 빅데이터팀은 어떤 업무를 하는지, 지금부터 함께 알아보아요!



Q. 안녕하세요. 빅데이터팀 소개 부탁드립니다.

먼저 많은 분들이 ‘빅데이터’ 하면 많은 양의 데이터를 떠올리실 텐데요. 초기에는 빅데이터라는 용어가 ‘전통적인 방법으로는 처리할 수 없을 정도로 많은 양의 데이터’란 의미로 사용된 것이 사실이니 딱히 틀린 이야기는 아니죠. 하지만 현 시점에서의 ‘빅데이터’는 인공지능의 기반이 되고, 데이터 기반의 혁신(Data Driven Innovation)을 이끄는 데이터라는 의미를 강하게 내포하고 있다고 생각합니다. 즉, 카카오뱅크 빅데이터팀은 데이터 기반의 혁신(Data Driven Innovation)과 인공지능을 정착시키기 위해 만들어진 팀이라 볼 수 있습니다.




Q. 주로 어떤 업무를 맡고 계신가요?

빅데이터팀의 업무는 크게 4가지로 나눌 수 있어요.


1) 데이터 플랫폼 엔지니어링

2) 데이터 엔지니어링

3) 데이터 사이언스

4) 소프트웨어 엔지니어링


어떤 업무인지 감이 잘 오지 않으실 것 같아요. 음, 요리와 비교해볼까요? 맛있는 요리가 만들어지는 과정을 생각해 봅시다. 요리하기에 적합한 조리시설에서 좋은 재료, 검증된 레시피로 요리를 합니다. 그리고 완성된 요리를 잘 세팅하여 접시에 담아내겠죠. 빅데이터팀 업무도 마찬가지입니다.



데이터 플랫폼 엔지니어링 = 조리시설 

첫 번째, 데이터 플랫폼 엔지니어링 업무는 적합한 조리시설을 갖추고 관리하는 것과 같아요. 방대한 데이터를 실시간으로 통합하고 분석하기 위해서는 그에 적합한 ‘빅데이터 플랫폼’을 구축하고 운영하는 것이 필요합니다. 카카오뱅크의 빅데이터 플랫폼은 하둡 에코 시스템을 기반으로 구축되어 있어 실시간으로 데이터를 수집하고 대용량의 데이터를 빠르게 처리할 수 있어요. 데이터 분석가들은 이 빅데이터 플랫폼을 통해 데이터를 분석할 수 있지요. 그렇게 여러 사람들이 함께 데이터를 분석할 수 있도록 유연하고 협업 가능한 분석 환경을 제공하는 업무랍니다.


* 하둡 Hadoop이란?

빅데이터를 분할하여 저장하고 처리하기 위한 소프트웨어입니다. 데이터의 복제본을 저장하기 때문에 데이터의 유실이나 장애 발생 시에도 복구가 가능하며, 비용과 시간을 단축하여 효과적으로 데이터를 분석할 수 있습니다.



데이터 엔지니어링 = 요리 재료

두 번째, 데이터 엔지니어링 업무는 요리의 좋은 재료를 확보하는 것입니다. 요리에서 가장 중요한 것이 재료잖아요! 아무리 훌륭한 데이터 플랫폼과 알고리즘이 있어도 질 좋은 데이터가 없다면 무용지물이죠. 데이터 분석의 결과를 좌우하는 것은 바로 여기에 있다고 해도 과언이 아닙니다. 그래서 데이터 엔지니어링 업무는 사내 외 이곳 저곳으로부터 다양한 데이터를 수집하고 분석이 용이한 형태로 가공하여 높은 품질의 데이터를 유지하도록 합니다.




데이터 사이언스 = 레시피

세 번째 데이터 사이언스 업무는 요리를 맛있게 만들기 위한 레시피를 연구하는 것입니다. 여기서 ‘사이언스’라는 말이 들어가는 것은 다른 업무들과 다르게 과학적인 방법으로 업무를 수행하기 때문입니다. 과학적인 방법이라는 것은 주어진 연구 주제를 관찰하여 가설을 설정하고, 그 가설에 대한 원인을 추정하며 실험을 통해 원인이 검증될 때까지 필요한 과정을 반복하는 것을 말해요. 이와 같은 프로세스로 업무를 진행한다고 보시면 됩니다.


FDS(이상거래탐지)로 예를 들어 보겠습니다. 어떤 금융 범죄 유형에 대해 연구 주제를 선정하고, 해당 범죄와 관련된 데이터를 수집해 관찰합니다. 이후 관찰된 사실에 기반해 해당 사실을 잘 나타낼 수 있는 모형을 만들고, 실험을 통해 해당 모형이 해당 범죄를 잘 나타내는지 검증합니다. 이때 검증이 실패하면 필요한 과정을 반복하고, 검증이 완료되면 해당 모형을 이용해 관련 유형의 범죄를 사전에 예측하거나 실시간으로 탐지할 수 있게 되는 것이죠. 그렇기 때문에 데이터 사이언스는 은행 업무 곳곳에서 필요한 경우가 많습니다.



소프트웨어 엔지니어링 = 완성된 요리 제공

마지막 소트프웨어 엔지니어링 업무는 잘 만들어진 요리를 제공하는 것과 같습니다. 이 업무에서는 데이터 엔지니어링을 통해 제공되는 실시간 데이터와 데이터 사이언스를 통해 제공되는 머신러닝 모형을 이용해 실제 은행 비즈니스에 필요한 데이터 기반의 서비스를 만듭니다. 앞서 말한 FDS(이상거래 탐지 시스템) 그리고 CRM(고객 관계 관리) 시스템을 좋은 예로 들 수 있어요.


카카오뱅크의 CRM 시스템 중 ‘캠페인 관리 시스템’이라는 것이 있습니다. 빅데이터팀의 ‘소프트웨어 엔지니어링’ 담당자들과 CRM 담당자들이 함께 개발한 시스템인데요. 현재 카카오뱅크 내에서 타겟 마케팅 기반의 캠페인을 주관하고 있습니다. 이 시스템을 통해 카카오뱅크의 수백만 고객을 대상으로 데이터 기반의 타겟팅 전략을 이행하고 있으며, 해당 캠페인의 효과를 검증할 수 있게 되었습니다. 이 외에도 빅데이터를 활용하는 여러 애플리케이션과 서비스를 개발해 고객과 임직원들에게 제공하고 있지요.




Q. 금융권은 외부 클라우드 서비스를 사용할 수 없다고 알고 있는데요. 카카오뱅크는 관련 시스템을 내부에서 직접 만드신건가요?

사실 빅데이터 분석 환경 구축에 있어 가장 효율적인 방법은 퍼블릭 클라우드를 이용하는 것입니다. 왜냐하면 회사가 성장 할수록 데이터는 점점 많아져 그 양도 예측이 어려워지는데, 퍼블릭 클라우드를 이용하면 손쉽게 플랫폼을 확장할 수 있는 장점이 있거든요. 그래서 카카오뱅크는 오픈 준비 기간 동안 퍼블릭 클라우드를 도입하기 위해 부단한 노력을 기울였어요. 


하지만 우리가 원하는 형태로 클라우드를 도입해서 이용하는 것이 어렵다는 결론을 내렸고, 대안으로 빅데이터 플랫폼을 자체적으로 구축하게 되었습니다. 막막하기도 했지만 오히려 카카오뱅크만의 경쟁력을 만드는 계기가 되었어요. 오래 전부터 빅데이터를 활용해왔던 카카오의 풍부한 경험이 큰 뒷받침이 되어 비용 절감은 물론, 내부 필요에 적합한 자체 빅데이터 플랫폼을 구축할 수 있었답니다.



Q. 자체 구축한 카카오뱅크 시스템은 어떤 것이 있나요? 

빅데이터팀에서 자체적으로 구축해 내재화한 시스템은 꽤 많고 다양합니다. 그 중 대표적으로는 앞서 설명한 데이터 분석을 위한 ‘빅데이터 플랫폼’이 있고요. 하루 수천 기가바이트 단위의 비즈니스 로그를 수집하는 ‘통합 로그 관리 시스템’, 은행 시스템 곳곳에 연동하여 이상거래를 탐지하고 차단하는 전자금융 ‘FDS’, 구글 애널리틱스처럼 모바일앱의 로그를 분석해 시각화하고 리포트를 제공하는 ‘채널 애널리틱스’, 빅데이터 기반의 마케팅/CRM 캠페인을 진행하는 ‘캠페인 관리 시스템’, 그리고 마지막으로 상품/CRM/고객센터 부서에 대시보드 환경을 제공하는 ‘모두의 대시보드’까지 전부 자체적으로 개발했답니다.



Q. 은행과 빅데이터는 어떤 관계일까요?  

전통적으로 은행은 업의 특성상 ‘데이터 기반의 의사결정’을 매우 중요시하고 있습니다. 그래서 데이터를 통합하고 구조화하여 의사결정에 활용하는 것에 많은 투자를 해왔지요. 하지만 빅데이터와 인공지능 시대를 맞이하면서 고객의 눈높이를 맞추기 위해 더 정확한 예측과 더 민첩한 의사결정이 필요한 시대가 되었습니다. 제한된 데이터를 전통적인 방식에 기반해 분석한 결과에 기댈 수는 없게 된 것이죠.


은행과 빅데이터의 관계를 보다 쉽게 이해하기 위해서는 은행의 어떤 업무에서 인공지능이 활용될 수 있는지 생각해보면 됩니다. 그곳이 바로 빅데이터가 필요한 곳이니까요. 대표적인 곳은 금융거래의 보안과 관련된 영역입니다. 계정을 탈취해 고객의 자산을 가로채려는 행위, 은행을 이용해 자금을 세탁하려는 행위 등 은행과 관련된 여러 범죄를 방지하는데 빅데이터와 인공지능을 활용할 수 있습니다.


또한 대출을 위한 신용평가에 있어서도 빅데이터와 인공지능을 활용할 수 있습니다. 기존의 제한된 CB 데이터만으로는 한계가 있기 때문이죠. 대출 고객과 관련된 다양한 데이터를 활용해 신용평가 기준을 더 세분화하고 정확도를 최적화 시킴으로써 기존에 신용점수가 낮아 1금융 대출을 받지 못했던 고객에게도 1금융 대출의 기회를 제공해 줄 수 있답니다.


그런 이유로 카카오뱅크 빅데이터팀의 중요한 미션 중 하나는 ‘빅데이터를 기반으로 더 정확하고, 더 민첩한 데이터 분석이 가능한 환경을 제공’하는 것입니다. 대량의 데이터를 실시간으로 수용하는 데이터 플랫폼을 구축하고 사내 외의 방대한 데이터를 한 곳으로 통합하고 정리해 모든 부서가 자체적으로 분석할 수 있도록 지원하는 것이죠. 그 외 고객의 현재 니즈를 파악해 맞춤형 상품을 추천하고, 고객의 소비패턴에 맞게 자산 관리에 도움을 주는 서비스 등을 지원하는 것도 빅데이터팀의 역할이라고 볼 수 있습니다. 



Q. 빅데이터팀의 2019년 계획은?

2019년에는 고객 데이터 기반의 다양한 애플리케이션과 인공지능의 적용을 가속화하기 위해 새로운 통합 데이터 플랫폼 개발을 계획하고 있어요. 

또한 자체적인 데이터 사이언스 업무를 통해 고객을 더 깊이 이해하고, 고객의 불편한 부분을 개선하기 위한 연구들도 더 많이 할 예정이랍니다. 나아가 새로 개정되는 금융권 클라우드 서비스 이용 가이드에 맞춰 클라우드의 사용도 검토해 볼 계획입니다.




이미 우리는 다양한 업종에서 빅데이터를 활용하고 있고, 모바일 기반의 은행인 카카오뱅크에서는 더할나위 없이 중요한 빅데이터! 고객의 정보 구축, 상품 및 서비스 개발, 보안까지 데이터의 영향이 닿지 않는 곳이 없을 정도니까요. 2019년에도 빅데이터팀의 활약을 기대하며, 빅데이터팀의 이야기는 여기서 마칩니다. 다음 카카오뱅크 이야기도 많이 기대해주세요!


인기글