피보탈이 하둡 기반 HAWQ 고급 SQL 분석 기술과 MADlib 기계 학습(머신 러닝) 기술을 아파치 소프트웨어 재단(이하 ASF)에 제공한다고 밝혔다.

피보탈이 ASF에 아파치 하둡을 지원하는 분석 데이터베이스를 제공하게 됨에 따라 기업들은 요구조건이 까다롭고, 비즈니스 크리티컬하며, 효율성을 중요시하는 환경에서 검증된 병렬 데이터 처리 기술을 적극적으로 활용할 수 있다. 피보탈 HAWQ를 기반으로 하는 아파치 HAWQ가 ANSI SQL 컴플라이언스, 스케일 아웃 대량병렬처리(MPP) 아키텍처, 고성능, 최신 쿼리 최적화, 멀티 태넌트 인지(multi-tenant awareness), 지연현상이 적은 인터랙티브 애드혹 분석 쿼리 능력, 비즈니스 인텔리전스 및 시각화 도구와의 검증된 통합 등 다양한 혜택을 제공하기 때문이다.

2013년 출시된 피보탈 HAWQ는 피보탈 Greenplum 데이터 웨어하우징 시스템과 PostgreSQL 개발을 통해 10년 이상 축적돼 온 피보탈의 전문성에 기반한 기업용 분석 엔진이다. HAWQ는 고급 SQL 분석 도구인 하둡을 위한 핵심 엔터프라이즈 애플리케이션을 정의하는데 공헌해왔다. 피보탈은 HAWQ를 ASF에 지원함으로써 첨단 데이터 과학, 비즈니스 인텔리전스 및 데이터 웨어하우징의 토대로서 하둡의 위치를 공고히 하고자 한다.

아파치 HAWQ는 강력한 알고리즘들을 병렬로 실행하고 피보탈의 하둡 배포판(Pivotal HD), 호튼웍스(Hortonworks) 데이터 플랫폼(HDP), 향후 출시 예정인 ODPi(ODPi.org) 코어에 기반한 어떤 하둡 클러스터에서도 구성할 수 있다.

HAWQ 뿐만 아니라 피보탈은 ASF에서의 인큐베이션을 위한 기계 학습 라이브러리(machine-learning library)인 MADlib도 지원한다. 아파치 MADlib는 HAWQ와 매끄럽게 통합되는 대규모 병렬 기계학습 알고리즘 콜렉션이다.

MADlib는 피보탈이 캘리포니아대학교 버클리캠퍼스, 스탠퍼드 대학교, 플로리다 대학교 연구진 및 피보탈 고객들과의 협력을 통해 개발했으며, 금융, 자동차, 미디어, 통신 및 교통 등 다양한 산업군에서 널리 사용되고 있다. MADlib는 피보탈 빅데이터 스위트(Pivotal Big Data Suite)의 일부로 제공되는 HAWQ, 피보탈 Greenplum 및 PostgreSQL을 지원한다.

피보탈은 향후 ASF를 통해 HAWQ와 MADlib의 개발을 이어나갈 예정이며, 보다 진보된 하둡 기반의 빅데이터 분석 기술 개발을 위해 호튼웍스 및 알티스케일(Altiscale)과도 지속적으로 협력할 계획이다.

게빈 셰리 피보탈 데이터 담당 부사장 겸 CTO는 “피보탈이 ASF의 인큐베이션 프로젝트를 지원함에 따라 HAWQ와 MADlib 기술이 하둡 개발자 및 사용자들에게 전례없이 뛰어난 SQL 처리 능력과 노하우를 제공할 수 있을 것”이라며, “피보탈은 데이터 처리 시스템 분야 최고 전문가들과 오픈 소스 환경에서 협력함으로써 고객들에게 더 나은 서비스를 제공하고 있다”고 말했다.