최근 몇 년간 인터넷 데이터양은 믿기 어려울 만큼 폭발적인 증가세를 보이고 있다. 빅데이터는 기하급수적으로 생산성과 성장을 강화해 궁극적으로 공공 및 민간기업 등 거의 모든 영역의 중심에 있다.
소매업, 정보, 금융, 보험 등 다양한 산업분야에서 단지 판매가 더 늘어날뿐 아니라 생산성을 증가시킨다. 빅데이터는 속임수를 감지하고 실수를 줄여 비용을 절감하고 기업의 강한 조직을 만드는데 기여를 한다. 또한 빅데이터는 급성장하는 사물인터넷과 인공지능의 눈부신 발전을 약속하고 있다. 문제는 모든 것을 어떻게 잘 운영하느냐다.
데이터스트림즈의 혁신적인 제품인 “테라스트림(TeraStream)”은 데이터스트림즈가 지난 2001년에 출시해 발 빠르게 수입제품과 경쟁하게 된 혁신적인 제품이다. 데이터스트림즈에 따르면 이 회사는 10대 글로벌 제조회사의 클라이언트 목록에서 상위 3위, 40개의 글로벌 보험회사 중 5위에 랭크 됐고, 현재 한국금융계 90%를 장악하고 있다.
다음은 데이터스트림즈 이영상 대표와의 일문 일답
혁신적인 제품으로 알려진 데이터 통합 프로그램 ‘테라스트림’은 어떤 면에서 성공적 제품이 되었는가
“대형 데이터 처리기술과 속도, 데이터 용량을 초석으로 삼았다. 당 시 오라클을 관련 데이터베이스로 사용했는데, 이는 복잡한 연산시스템을 수행하지 않은 탓에 사용자에 따른 속도차가 심했고, 데이터용량이 적다는 문제점이 있었다.
우리제품은 매우 큰 데이터 용량으로 데이터처리 시간을 짧게 하는 초고속엔진이었다. 데이터통합을 통해 이 기술을 사용한다. 이 기술을 처음 소개했던 당시 상당히 혁신적이라는 평가가 관련 업계에서 나왔다.
우리의 경쟁자였던 데이터스테이지(DataStage)는 속도가 매우 느렸다. 우리기술은 구글보다 4~5배정도 빨랐고 첫 번째 버전은 데이터스테이지보다 20배가량 속도가 더 빨랐다. 때문에 특정시장 특히, 금융시장에서 독보적이었다. 속도가 기본적으로 중요한 이유다.“
데이터스트림즈는 데이터통합지식과 함께 새로운 데이터분석 분야로 진출중이다. 데이터품질을 중간단계로 언급한 적이 있는데.. 데이터 품질을 성공시키기 위해 어떤 특별한 스펙과 어떤 종류의 테크니컬 스킬이 요구되는가
“산업적 측면에서 데이터품질은 표준화를 의미한다. 왜냐하면 우리는 알파고(AlphaGo)처럼 지적이지 않는 컴퓨터를 사용하고 있기 때문이다. 비슷한 것 같지만 정보가 다른 것을 컴퓨터가 구별할 수 있도록 데이터를 표준화해야 한다.
인간은 전후 맥락을 알고 작업들을 수행하지만 컴퓨터는 이런 능력이 부족하다. 우리는 데이터를 갖고 데이터를 통합하고 일련의 작업들을 수행하고, 이는 핵심 수단으로 필요하다. 이 수단은 유일해야 한다. 사용자의 이름, 예를 들자면, 동일한 이름이 사용될 경우 데이터는 무의미하게 된다.
데이터 품질을 보장하기 위해 메타스트림(MetaStream)과 같은 데이터품질 솔루션이 필요하다.
그래서 모든 것은 메타데이터, 데이터의 정의, 데이터의 표준화로 시작된다.
그리고 데이터사운드를 유지하기 위해서는 표준형인 데이터와 비교돼야 할 필요가 있다. 메타데이터관리 저장소는 콘텐츠 자체를 저장하지 않는다.
특정이름이 아닌 ‘성’ ‘이름’을 우리의 메타데이터 관리 솔루션에 저장한다.
조항, 문맥과 뜻이 데이터용어 사전을 갖는다. 모든 정의는 메타데이터 관리 솔루션에 저장된다. 또 하나는 주소다. 이동할 때, 수집된 데이터는 오래된 데이터가 되고 업데이트되지 않는 한 데이터를 사용할 수 없게 된다.
메타스트림 소프트웨어는 이 데이터를 표준화할 수 있다. 그리고 상대적으로 데이터 사이에 데이터의 상태가 저하할 수 있으므로 검색결과를 제한하는 많은 비교가 있기 때문에 많은 컴퓨팅 파워가 소요된다. 따라서 표준화된 형태로 데이터를 유지하는 것은 매우 중요하다. 메타스트림이 이 작업을 수행할 수 있다.“
고객들의 반응은 어떤가. 미국시장을 비롯 해외시장 진출의 물꼬도 튼 것으로 아는데.
“우리는 테라스트림으로 시작해서, 현재 11~12개의 생산라인을 보유하고 있어 데이터 가버넌스와 데이터기반 구축을 조화롭게 할 수 있다. 테라스트림은 글로벌 고객을 위한 검증된 솔루션이다. 최근 일본과 데이터스트림을 포함, 테라스트림을 넘어 우리의 영역을 확장하는 것을 의미하는 꽤 큰 계약을 체결했다.”
빅데이터 플랫폼의 개발 현황을 설명해 달라.
“이미 데이터 통합 플랫폼을 가지고 있기 때문에 빅데이터에 대한 우리의 영역을 확장하는 건은 자연스럽고 쉬웠다. 유저들이 작동하는 법을 몰라도 사용할 수 있는 동일한 플랫폼인 하둡과 같은 빅데이터 부품을 추가했다. 하둡은 테라스트림의 한 부분으로 작동하므로 사용자 편의성이 매우 높다.”
데이터통합은 쉬운 것이 아니다. 다른 응용프로그램은.
“어렵지 않았다. 하둡은 정보를 구성하는 것을 의미하는 분산 파일 시스템이다. 즉 10개의 노드가 있는 경우는 본질적으로 10사람의 근로자가 존재한다고 생각하면 된다.
그러나 10사람의 근로자가 조화롭게 조율하여 작동하기 어렵다 10 개의 노드가 함께 조화롭게 작동하도록 하는 전략의 알고리즘이 필요하다. 알고리즘을 설정하면, 자바 프로그램을 확인해야하는데 그것은 매우 어려운 과정이다, 하둡 프로그램을 개발하기 위해 첨단 기술 엔지니어가 필요하다.
일부 기업들에게는 어려운 과정의 일이지만, 우리는 우리 자체 개발기술과 통합하기가 비교적 쉬웠다.“
데이터 조달은 단지 기업만을 위한것이 아니다. 다른 어떤 응용 프로그램이 있나
“빅데이터와 특수한 우리의 기술은 국가안보를 포함해 여러 가지 다른 목적으로 사용할 수 있다. 기존의 방법에서 공격자가 컴퓨터 또는 중요한 기관에 소프트웨어를 오염시킬 때, 데이터는 시스템의 로그 기록으로 수집되지만 해당 로그데이터 또는 트래픽데이터를 나중에 분석할 때 저장된다.
그러나 이렇게 되면 시기적으로 너무 늦다. 우리는 트래픽 데이터를 선택하고 실시간으로 비교할 수 있고 위협으로부터 즉시 응답할 수 있다.
이는 국가보안을 보호하는데 사용하지만, 좋은 인프라 유지에도 잘 적용할 수 있다. 철도, 교량 또는 건설 등의 공공시설은 모두 이 기술의 혜택을 받을 수 있다. 사용자는 예를 들어, 실시간으로 데이터를 수집해 사물인터넷(IoT)센서에 사용할 수 있으며 관할 당국은 잠재적인 상황을 평가하기 위해 실시간 데이터를 모니터링하고 응답할 수 있다.
예를 들면, 건강을 위해 착용할 수 있는 웨어러블 디바이스는, 노인환자가 위험한 상황에 처했을 때 위험한 상황을 모니터링 할 수 있고 의료 전문가가 즉시 응답할 수 있다.“
데이터스트림즈는 한국에서는 독보적이라는 평가다. 미국시장 진출을 추진중이라는데 어려운점은
“여러 가지 방법으로 미국시장에 새롭게 진출할 생각이다. 좌절한 적도 있지만 희망도 있다고 생각한다. 미국시장에서 중요한 것은, 우리제품이 경쟁사 제품과 비교해 매우 뛰어 난 성능을 갖고 있는 앞선 제품이라는 걸 그들이 이해 한 것이다.
속도와 성능의 강점은 한국에서 처음으로 데이터스트림즈가 시동을 걸었지만,
그러나 최근엔 속도뿐아니라 제품의 다양성과 제품의 ‘컨셉‘에 대해 중요하다고 생각한다, 많은 경쟁사들과 경쟁을 하고 있어 데이터의 좋은 토대를 구축하는 기술이 필요하다. 우리는 기술의 여러 유형을 갖고있기 때문에 이들이 필요로하는 데이터 관리와 더 좋은 데이터 거버넌스를 획득할 수 있다. 또한 미국 시장에선 파워풀 테크놀로지로 알려진 상태, 미국시장 진출은 아주 희망적이다. 우리제품이 데이터의 무결함과 신뢰성이 보장되기 때문에 우수한, 고객들은 더 나은 분석을 통해 데이터 거버넌스가 필요하기 때문에 다른 제품보다 선호한다.“
AI, 사실상 모든 산업의 기초가 되며, 보안 산업의 성공과 실패를 결정할 것이다. 데이터스트림즈의 역할은 무엇인가
“테러리스트가 네트워크를 통해 공격할 수 있고 공격의 패턴이 다양해 잡기가 어려울 수 있다. 공격을 인식하는 지능형 시스템이 필요하다. 그러나 규칙을 삽입할 때 공격자는 규칙이 고정돼 있기 때문에 이를 피할 수 있다. 추가 규칙과 패턴에 공격하는 것을 표시할 수 있는 기계학습(learning machine)같은 것이 필요하다. 학습시스템은 사용자가 특정 정보를 제공하지 않더라도 공격의 유형을 이해할 필요가 있다.”
데이터스트림즈는 데이터통합 및 데이터품질 시장을 장악했고 이제는 데이터분석 시장 진출을 추진하는가
“그렇다. 데이터통합과 품질은 모든 플랫폼에 고품질의 데이터를 주기 때문에 아주 자연스러운 일이다. 데이터스트림즈는 데이터웨어하우스에 상당한 경험을 가지고 있다. 우리가 큰 데이터로 그 영역을 확장할 수 있도록 데이터웨어하우스는 분석을 위해 데이터를 사용한다. 데이터분석의 사업영역이 넓다고 본다.”
인공지능(AI)은 예측능력을 가지고 있는데, 차세대 무엇을 기대하고 있나
“예측만 하는 것이 아니라 예측은 단지 데이터웨어하우스 기술에서 발생한다. 예측은 단지 과거의 데이터가 필요하므로-히스토리 데이터- 다음에 어떻게 되는 지 알 수 있다. 그러나 인공지능은 조금 다르다. 예측뿐만 아니라 동적 예측과 데이터 분석의 영역에서 매우 중요한 데이터 상황이 이해된다.”
핀테크 산업을 얘기해 보자. 핀테크는 한국금융산업의 세계화를 지원하고 있다. 핀테크기술이 해외에 진출할 경우, 성공 여부는 빅데이터에 따라 달라진다. 데이터스트림즈의 사업영역은
“사업의 첫 단계에서 빅데이터에 대해 크게 걱정들을 하지 않는다. IT서비스 은행과 홈쇼핑 같은 사업에 더 관심을 가진다. 고객의 신뢰성과 신용을 계산하는 시스템이 필요하므로 가장 중요한 것은 전자상거래의 신용이다. 신용정보는 매우 중요하고 빅데이터를 통해 데이터를 얻을 수 있다. 이 정보는 비즈니스에 매우 중요하다. 그래서 핀테크에서 엑셀의 거대한 데이터분석 시스템이 필요하다. 데이터 거버넌스에 필요한 빅데이터를 사용하기 위해서 데이터와 인프라를 처리할 수 있는 기술이 필요하다. 우리는 이 분야를 사업목적으로 하고 있다.”
PMO 의장으로서 활동이 활발한 것으로 알고 있다.
“한국의 소프트웨어사업을 좀 더 지식기반위에 올려놓으려면 이 분야의 전문가가 필요하다고 생각한다. 이를 위해 PMOO(Project Management Office Association)가 필요하다. 예를 들자면, ‘RFP’에 대해 제안을 할 경우에 아주 전문적이어야 한다.
그러나 요즈음은 ‘RFP’는 애매모호하다. 이것이 시장에서 약간의 불공정한 이유가 된다. 이런 문제들을 해결하기 위해 16개의 회사들이 자금을 대고 PMO를 결성했다. 그러나 PMO를 보호하기 위한 법률적 보호가 없었기 때문에 애로가 많다. 쉽지 않은 일이지만 소프트웨어 산업을 위해 시급한 일이다.“
