데이터를 다루는 게 확실히 예전 같지 않다. 현대 컴퓨팅의 선사시대로 거슬러 올라가 보자(대략 2012년 정도를 말하는 것이다). 당시 비즈니스를 체계화하려면 지저분한 스프레드시트와 온갖 복잡한 공식을 관리해야 했다. 그리고 이를 처리하기 위해 ‘공식(formulae)’과 같은 단어를 사용하는 그런 사람이 돼야 했다. 

요즘에는 보통 사람이라면 누구나 코드 없이 정보를 다룰 수 있는 도구가 많아졌다. 이를테면 에어테이블(Airtable)부터 마이크로소프트 리스트(Microsoft Lists), 다른 여러 종류의 고급 데이터 관리 앱까지 최소한의 노력으로 정보를 정리하고 체계화할 수 있도록 해주는 프로그램이 아주 많다. 

당연히 구글도 이 분야에 뛰어들었다. 지난 2020년 9월 구글은 흔히 해왔던 ‘실험(Experiments)’의 일환으로 작업 추적 도구인 테이블(Tables)을 출시했다. 그리고 현재 이 테이블을 본격적인 구글 클라우드 생산성 제품으로 전환하고 있는 중이다. 

다만 최종 버전은 가까운 시일 내에 제공되긴 어려울 전망이다. 하지만 완전히 무료인 베타 버전을 테스트해 구글이 내놓은 요리를 맛볼 순 있다(구글은 내년 중에 출시를 계획하고 있다고 밝혔다).

경쟁 제품과 비교해 테이블의 가장 큰 장점은 단순하다는 것 그리고 구글 생태계와 원활하게 통합된다는 것이다. 여기서는 테이블의 기능과 이것이 어떻게 비즈니스 효율성을 향상시킬 수 있는지 살펴본다. 

기본 사항
구글 테이블을 시작하는 가장 쉬운 방법은 웹 사이트를 열고, 사이트의 왼쪽 사이드바 메뉴에서 ‘템플릿(Templates)’ 탭을 클릭하는 것이다. 그러면 시작 지점으로 사용할 수 있도록 미리 만들어진 테이블 목록이 표시된다. 이를 사용자의 니즈에 맞게 수정할 수 있다.

템플릿은 ‘관리 및 IT(Admin & IT)’, ‘고객 서비스(Customer Service)’, ‘프로젝트 관리(Project Management)’, ‘팀 관리(Team Management)’ 등의 카테고리로 분류돼 있다. 

여기에 프로젝트 추적기, 팀 디렉토리, 회의 참석 관리 시스템과 같이 널리 쓰이는 기능부터 입사 지원자 추적기, 신입 온보딩 조직 센터, 제품 로드맵, 사용자 조사 데이터베이스 등 구체적인 기능까지 찾을 수 있다(심지어는 영업 관련 업무를 위한 기본적인 CRM 설정도 포함돼 있다). 

비교적 간단하고 그러면서도 널리 사용되는 ‘프로젝트 추적기’를 예로 들어 보겠다. 버튼을 클릭해 템플릿을 워크스페이스로 가져오면 다음과 같은 화면이 나타난다. 

볼 게 많아 보이는가? 하지만 여기서 유념해야 할 것은 (에어테이블이나 이와 유사한 대부분의 다른 도구와 마찬가지로) 사용자가 실제로 보고 있는 게 결국 스프레드시트에 불과하다는 점이다. 구체적으로 말하자면 추가 서식과 고급 요소가 추가된 더 현대적인 스프레드시트다. 하지만 이를 제외하면 대부분은 열과 행 그리고 셀로 구성된 스프레드시트일 뿐이다.

테이블의 화면 오른쪽 상단에 있는 열(Columns) 버튼을 클릭하면 정확히 어떻게 작동하는지 알 수 있다. 여기에서 기존 열을 편집, 삭제하거나 새 열을 추가할 수 있다. 또 테이블의 모든 열에서 다양한 정보 형식 중 하나를 선택할 수 있다. 

‘퍼슨(Person)’ 옵션이 아주 중요하다. 이는 팀 기반 구글 워크스페이스 계정을 사용한다면 특정 동료에게, 개인 구글 계정을 이용한다면 연락처의 특정 지인에게 관련된 행을 할당할 수 있는 기능이다. 어느 쪽이든 기존 설정에 자동으로 연결되고, 누군가를 선택하고 할당할 때 (테이블에) 전체 이름과 프로필 사진이 즉시 표시된다.

다른 구글 생산성 도구처럼 테이블 내에서 협업이 가능하다. 화면 오른쪽 상단의 공유(Share) 버튼을 클릭해 구글 계정을 가진 다른 사람을 초대할 수 있다. 그런 다음 테이블을 볼 수만 있는지 아니면 코멘트 추가나 편집을 할 수 있도록 할지 결정할 수 있다. 다른 사람과 동시에 테이블에서 작업할 때는 상대방의 작업 내용이 실시간 표시된다. 

구글 생태계 통합에 관해 말하자면 구글 문서와 스프레드시트 문서 등을 포함해 구글 드라이브 스토리지에 있는 파일과 연결할 수 있는 열 유형을 실제 업로드 없이 클릭 몇 번으로 추가할 수 있다. 그러면 테이블을 보고 있는 다른 사람이 브라우저를 종료하지 않고 바로 그 자리에서 해당 파일을 열 수 있다. 

테이블을 전통적인 스프레드시트로 사용하는 방법도 간단하다. 화면 왼쪽 상단에 테이블 제목 옆에 있는 점 3개 메뉴를 클릭해서 전체를 구글 스프레드시트로 내보내는 옵션을 찾는다.

그다지 인상적이지 않은가? 걱정할 필요 없다. 테이블 자체에는 필요한 거의 모든 것을 처리할 수 있는 꽤 유용한 보기 옵션이 있다. 

구글 테이블의 보기 옵션(view)
모든 테이블의 맨 위에는 현재 보기 유형을 보여주는 버튼이 있다. 방금 전에 언급했던 작업 추적 예시에서 사용했던 보기는 ‘그리드(Grid)’였다. 하지만 테이블에서 기본적으로 제공하는 보기를 고수할 필요는 없다. 표시되는 버튼이 무엇이든 이를 클릭, 사용할 수 있는 테이블 레이아웃 옵션을 바꿔 선택할 수 있다.

• 그리드 레이아웃(Grid Layout): 지금까지 살펴본 표준 스프레드시트 및 보기다. 가장 기본적인 테이블 보기이며, 아마 가장 자주 사용하게 될 것이다.

• 칸반 레이아웃(Kanban Layout): 데이터를 트렐로(Trello)와 유사한 일련의 카드와 보드로 정리한다. 다양한 범주의 항목을 효과적으로 시각화해주는 보기다. 한 열에서 다른 열로 정보를 끌어다 놓을 수 있으며, 열을 상태 표시기, 타이밍 알림 또는 다양한 작업과 프로젝트에 각기 다른 유형의 범주로 사용하든 상관없이 쉽게 추적할 수 있다. 

• 달력 레이아웃(Calendar Layout): 한 달 달력에서 날짜와 관련된 모든 데이터를 유용하게 표시할 수 있다. 언제 무슨 일이 있는지 정확히 확인할 수 있다.

• 대기열 레이아웃(Queue Layout): 모든 열을 요약 목록으로 바꾼다. 더 광범위한 개요를 보고 개별 항목을 클릭해 자세한 정보를 확인할 수 있다. 

• 지도 레이아웃(Map Layout): 테이블 웹 사이트의 오른쪽에 있는 실제 구글 지도 내에서 특정 ‘위치(Location)’ 필드가 포함된 항목을 볼 수 있다. 

이러한 옵션은 사용자가 정보를 구성하고 조작하는 데 있어 다양한 선택지를 제공한다. 이제 테이블에서 가장 인상적인, 시간을 절약해주는 기능을 소개할 차례다. 사용하는 데이터나 테이블 보기의 종류와 관계없이 사용할 수 있다. 

테이블 자동화 방정식
테이블의 가장 큰 장점은 구글 생태계와의 통합과 단순성이라고 말했다. 그리고 그다음으로 큰 장점이 바로 자동화다. 

테이블은 상상할 수 있는 모든 유형의 데이터를 관리할 수 있는 프레임워크를 제공할 뿐만 아니라 정보 관리 체계를 한 단계 높일 수 있는 자동화 시스템을 지원한다. 단 이와 유사한 다른 많은 시스템과 달리 사용 방법이 아주 간단하고, 배우는 데 시간이 거의 필요하지 않다. 

생성한 테이블의 오른쪽 상단에 있는 봇(Bots) 버튼을 클릭하면 된다. 그런 다음 표시되는 패널에서 새 봇(New Bot) 버튼을 클릭한다. 봇의 이름을 지정하고 트리거 선택(Select Trigger) 버튼을 눌러서 자동화를 실행할 시기를 정한다. 현재 5가지 선택지가 있다.

1. 열 값 변경(Column value changes): 선택한 특정 열 내에서 데이터가 업데이트될 때마다 자동화 기능이 실행된다.

2. 시간 기반(Time-based): 매주 월요일 오전 9시 등 특정 시간에 반복적으로 지속적인 작업을 할 때 자동화를 실행할 수 있는 옵션이다.

3. 행 추가(Row added): 첫 번째와 비슷한 트리거다. 그렇지만 특정 데이터가 변경될 때 실행되는 게 아니라 새 행이 테이블에 추가될 때마다 실행된다.

4. 행 제거(Row removed): 명칭에서 무슨 일을 하는지 알 수 있을 것이다.

5. 코멘트 추가(Comment added): 누군가 선택한 열에 코멘트를 남길 때 선택한 작업이 트리거된다.

트리거를 선택하면 테이블의 특정 행으로 자동화를 제한할 수 있는 필터 추가(Add Filter) 버튼이 표시된다. 이 버튼을 클릭하지 않고 행을 선택하면 기본적으로 테이블의 모든 행에 자동화가 적용된다. 

한 단계 더 나아가 특정 열의 데이터가 특정 방식으로 바뀔 때 자동화가 실행되도록 만들 수도 있다. 그리고서 트리거 조건이 충족될 때 실행될 작업을 선택하면 된다. 

이를테면 테이블에서 사전에 지정한 주소나 테이블의 주소로 사용자 지정 이메일을 보내게 만들 수 있다. 특정 방식으로 행을 업데이트하거나, 행을 삭제 또는 추가하도록 할 수 있다. 데이터를 다른 앱에 데이터를 보낼 수도 있다. 

그렇다. 아주 쉽게 이런 일을 할 수 있다.

결론
현재 구글 테이블은 무료로 사용할 수 있다. 사용량 및 기능 제한을 없앤 유료 서비스가 있긴 하지만 지금은 웹사이트 내의 버튼을 클릭하기만 하면 별도의 수수료 없이 유료 서비스로 업그레이드할 수 있다. 테이블 실험 초기에는 사용자당 10달러의 비용을 받았다. 이는 베타 서비스가 끝날 때 해당 도구가 어떤 방향으로 나아갈지 알려준다. 

물론 구글이 장기적으로 테이블에 투자할지에 관한 의문을 제기할 수 있다. 그동안 구글이 중요하지 않은 서비스(특히 기존 서비스와 어떤 방식으로든 중복되는 서비스)를 포기했던 역사를 감안한다면 타당한 우려다. 

하지만 현재까지 테이블은 생산성을 향상시킬 수 있는 잠재력이 무궁무진한 유망 서비스로 판단된다. 따라서 이미 구글 생태계를 사용하고 있고 효과적으로 작업을 추적 및 자동화하길 원한다면 테이블은 시험해볼 가치가 있는 도구다. 

* JR Raphael은 컴퓨터월드 객원 편집자다. 기술의 인간적 측면에 큰 관심을 가지고 있다. ciokr@idg.co.kr

수준 높은 애널리틱스와 AI 이니셔티브를 추진함으로써 대량의 데이터를 분석해 우수한 고객 통찰을 도출하고 가치 있는 질문들을 해결할 수 있기를 수많은 기업들이 바라고 있다. 이러나 이러한 결과를 실현하려면 기업은 우선 구조적 및 비구조적이고, 다양한 형식인 이질적 데이터 출처와 씨름하면서 통찰을 도출해야 한다. 그리고 이는 간단한 일이 아니다. 

지난 20년 동안 여러 기술이 이 문제를 해결할 수 있다고 약속했고 실패했다. 대표적인 것이 2000년대 중반의 하둡(Hadoop)이다. 

하둡 이전의 유일한 선택지는 거대한 리소스를 가진 온-프레미스 데이터베이스였다. 이는 데이터를 신중하게 모델링하고, 스토리지를 관리하고, 가치를 평가하고, 이들을 연결하는 방법을 파악하는 일을 요구했다. 

이와 달리 하둡은 데이터 레이크, 오픈 데이터 표준, 모듈식 첨단 소프트웨어 스택, 그리고 고객을 위해 가치를 견인하는 경쟁적인 데이터 관리 벤더로 이루어진 오픈 데이터 생태계를 주창했다. 

하둡 운동과 아파치 유형의 프로젝트는 오픈 데이터 생태계라는 발상을 진전시켰지만 아래의 3가지 이유 때문에 궁극적으로 실패했다. 

• 하드웨어를 구입하고 확장하고 관리하는 비용이 지나치게 비쌈
• 애플리케이션과 데이터 레이크 간의 공통 데이터 포맷의 결여로 인한 데이터 관리 및 이용의 난해함 
• 데이터 관리에 이용할 수 있는 툴 및 스킬의 부족 

하둡의 성과는 실망스러웠지만 그럼에도 불구하고 오픈 데이터는 다시 부상하고 있다. 그리고 이번에는 새로운 오픈 데이터 생태계 기술이 하둡의 단점을 해소하며 기업 내의 모든 데이터 범위를 아우르고 있다. 

그렇다면 왜 지금 이런 일이 일어나는가? 4가지 핵심적인 기술 동향이 오픈 데이터 생태계의 부활을 이끌고 있기 때문이다. 

1. 클라우드 스토리지의 성장 
클라우드 데이터 스토리지, 다시 말해 아마존 S3, 애저 데이터 레이크 스토리지(ADLS), 구글 클라우드 스토리지(GCS)의 급속한 성장은 구조적 및 비구조적 데이터 레이크를 대량으로 수용할 수 있음을 의미한다. 

1세대 시스템은 온프레미스 연산 및 스토리지 시스템을 구축하는 데 큰 자본을 요구했다. 유지 관리가 값비쌌고 확장하는 데에는 훨씬 더 많은 비용이 들었다. 

그러나 클라우드 스토리지는 데이터 스토리지 문제로부터 값비싼 온프레미스 하드웨어를 제거했다. 대신 리소스 기준 과금이 도입되면서 기업들은 사용한 스토리지에 대해서만 비용을 지불하면 된다. 그리고 가격이 하락하면서 클라우드 스토리지 서비스는 데이터의 기본 정착지가 되었다. 범용적인 기록 시스템(System of Record, SoR)이 되는 것이다.

오늘날의 기업에게 클라우드의 예측 가능한 성능 및 유연성은 가속 쿼리 이행 등의 데이터 역량을 현실화하고, 복제를 회피하고, 데이터 레이크의 감독 및 관리를 개선하는 데 있어서 핵심적이다. 

2. 대세화된 오픈소스 데이터 포맷 
프로그래밍 언어 및 구현물 전반을 아우르는 데이터 호환성을 위해 오픈 데이터 포맷을 채택하는 기업이 많아지고 있다. 

오픈 스토리지 데이터 포맷, 예를 들어 아파치 파케이(Apache Parquet: 컬럼 지향 데이터 스토리지), 아파치 애로우(Apache Arrow: 애널리틱스, 인공지능, 머신러닝을 위한 메모리 포맷), 아파치 아이스버그(Apache Iceberg: 표 포맷/트랜잭션 레이어) 등은 현재 및 미래의 모든 툴에서 데이터를 이용할 수 있음을 의미하고, 비호환성으로 인한 벤더 속박을 해소한다. 

기업들은 즉시 이용할 수 있는 오픈 포맷으로 데이터를 대량으로 저장할 수 있고, 이와 연관된 비즈니스 애널리틱스와 AI 워크로드를 직접 실행할 수 있다. 데이터 변환을 요하는 길고도 값비싼 소프트웨어 구현이 필요하지 않다. 

이는 오늘날의 기업에게 특히 매력적이다. 왜냐하면 API ‘플러그 앤 플레이’ 데이터 분석 및 AI 툴, 예를 들어 H20, 데이터로봇(DataRobot) 등은 구현하고 결과를 보는 것이 빠르고 쉽기 때문이다. 

3. 클라우드 네이티브 벤더 지원의 성장 
2000년대 중반 하둡은 데이터 스키마, 소비, 및 관리에 구애받지 않고 데이터를 레이크에 무차별적으로 투척할 수 있게 해주었다. 

기업들은 아키텍처 설계, 액세스, 애널리틱스, 지속가능성을 고려하지 않은 채 더 많은 데이터를 수집하는 데에만 열중했다. 이들은 데이터 레이크 안에 무엇이 있는지 알지 못했고, 이들을 관리하거나 가치를 추출하는 법도 알지 못했다. 이런 문제를 해결할 툴이 나오지 않은 상황에서 데이터 레이크는 데이터 늪으로 변했다. 

그러나 오늘날 특정한 데이터 관리 문제를 처리하는 데 도움을 주는 벤더와 툴이 수없이 생겨났다. 데이터 관리 분야는 급속히 성장 중이고, 데이터 스트리밍, 변환, 가시성, 품질, 거버넌스, 최종 이용자의 소비에 걸쳐 솔루션이 속속 가세하고 있다. 

드레미오(Dremio), 트리노(Trino) 같은 회사는 클라우드 데이터 레이크에서 SQL 쿼리를 직접 운영한다. 세그먼트(Segment), 마틸리온(Matillion) 등의 회사가 가진 기술은 데이터를 흡수해 오픈 포맷으로 작성한다. 그리고 에어플로우(Airflow), 퍼펙트(Perfect), 대그스터(Dagster) 등의 플랫폼은 데이터 오케스트레이션을 취급한다. 이들 벤더들이 경쟁하면서 오픈 데이터 생태계에서의 운영은 갈수록 쉬워지고 있다. 

기업들이 어떤 기술로 자신의 데이터 인프라를 운영할 것인지를 결정함에 있어 기성 벤더와 전문 스타트업은 각각 장점과 단점을 가지고 있다. 올바른 진로를 선택하는 데에는 아래와 같은 차이를 고려하는 것이 좋다. 

• 통상적으로 기성 벤더는 한층 우수한 온-프레미스 호환성을 제공한다. 그러나 최고 수준의 전문 스타트업 툴이 가진 기능성이 부족하다. 
• 통상적으로 최고 수준의 전문 스타트업 솔루션은 한 분야에서 차원 높은 기능성을 가지고 있지만 보안, 거버넌스 등 기업 요구사항을 충족하는 면에서 성숙도가 떨어진다. 

4. 애플리케이션이 적정 고도에서 이용자와 만나고 있다
데이터 애널리스트, 과학자 및 현업 이용자는 수작업 스키마 변경, 리소스 프로비저닝, 여타 데이터베이스 관리의 하부에서 이루어지는 데이터 작용에 별로 관심이 없다. 그러나 이러한 작업은 1세대 오픈 데이터 생태계에서 필수적이었다. 

오늘날에는 수직적으로 통합된 툴에 추상화가 매립되어 있고, 이는 최종 이용자가 자신이 원하는 통찰 수준에서 작업을 할 수 있도록 도움을 준다.  

애플리케이션이 계속 진화하고, 기업들의 데이터 역량이 다각화되면서, 한층 정교해진 이용자들은 수준 높은 유연성과 깊이를 추구할 것이다. 

오픈 데이터 생태계는 기나긴 여정
이들 4가지 동향이 오픈 데이터 생태계의 부활을 견인하는 가운데, 이들은 스노우플레이크(Snowflake) 등 소유권적 클라우드 데이터 웨어하우스의 성장을 촉진하기도 했다. 

모든 워크로드를 아우르는 단일 데이터 웨어하우스라는 스노우플레이크의 접근법이 유일한 미래의 길이라고 주장하는 사람들이 있다. 그러나 시간이 지나면서 애플리케이션 개발이 단일 아키텍처로부터 API 기반의 마이크로서비스 아키텍처로 변화하고 있는 것처럼 데이터 애널리틱스 워크로드는 소유권적 데이터 웨어하우스로부터 오픈 데이터 아키텍처로 점진적으로 이동할 것으로 예상된다. 

요약 : 오픈 데이터가 어느 때보다 기업들에게 한층 접근 가능해짐에 따라 그야말로 흥미로운 시기에 접어들고 있다. 클라우드 데이터 레이크, 데이터 관리, 오픈 데이터 포맷 등 하둡의 단점에 대처하는 기술을 바탕으로 기업들이 마침내 조직 내에서 데이터를 완벽히 포착하고 이용할 수 있는 환경이 조성되면서 빅 데이터의 비전이 다시 활기를 찾고 있다.

*캐스버 왕은 사파이어 벤처의 부사장이다. ciokr@idg.co.kr

[출처] 칼럼 | 하둡의 실패 넘어선다··· 오픈 데이터 분야를 견인하는 4가지 기술 동향 – CIO Korea