現代ではデジタル化の急速な進展とともに、顧客接点や顧客のニーズが多様化しています。その中で顧客とより良い関係を維持するために、企業の顧客データ活用への関心も高まっています。
本記事では、企業が顧客データ活用を行ううえで必要となる、顧客データ統合の仕組みと関連するシステムについて紹介します。
顧客データの統合が必要な理由
マーケティングDXの推進には、顧客のデータ統合が不可欠と言えます。
企業内に存在する顧客データは、データのサイロ化によってバラバラになっているケースが多々あります。1人の顧客のデータが部署やシステムごとに複数存在し、異なる管理体制で別人として扱われると、顧客との誤ったコミュニケーションや業務効率の低下を招いてしまいます。
顧客データの統合と適切な管理は、より深い顧客理解に繋がり、的確なターゲティングやパーソナライズされた顧客体験の提供を可能にします。
顧客データ統合の重要性やメリットについて、詳しくは下記の記事をご覧ください。
関連：顧客データ統合の失敗ケースと最適な進め方。マーケティングDXにおける重要性
データ統合に必要な仕組みデータレイク・ETL・DWH・データマート
顧客データの統合で、さまざまなシステムやツールでバラバラに管理されているデータを統合管理する基盤を構築します。
一連のデータ統合作業を実行するためには、データ統合基盤内に各工程で必要な機能を持つシステムであるデータレイク・ETL・DWH・データマートを組み込む必要があります。これらのシステムにはクラウドサービスを用いることが多く、特にAWS（Amazon Web Service）、Azure（Microsoft Azure）、GCP（Google Cloud Platform）の各種サービスがよく採用されています。
ここでは各システムと、それぞれに対応する機能を持つ代表的なクラウドサービスを紹介します。
データレイク
データレイク（Data Lake）とはデータの保管庫（ストレージ）のことです。社内システムやツール、webサイト、アプリなどの異なる取得元（データソース）から収集した大量のデータを一時的に保管する場所として使われます。
未加工の状態であるRAWデータや、非構造化データと呼ばれる画像・動画ファイルなどのデータベースに格納できないデータなど、さまざまなデータを保管します。
また、後から行うデータの加工や分析に利用しやすくするため、データレイクではデータを取得元と同じ形式でコピーとして保管します。加工前のデータを保管しておくことで、変換や統合後のデータに問題がある際の差分確認などを効率よく行えます。
代表的なクラウドサービス
- Amazon S3（AWS）
- Azure Blob Storage（Azure）
- Cloud Storage（GCP）
ETL
ETLとはExtract（抽出）・Transform（変換）・Load（読み込み）のことで、データの抽出・変換・読み込みを行うプロセスのことです。
ETLを行うためのシステムは、ETLツールとしてさまざまなデータソースからデータを収集・連携し、他のシステムに格納するためのハブとして使われます。
データ統合では、ETLのTransform（変換）の過程でデータクレンジングなどの処理を行っています。
代表的なクラウドサービス
- AWS Glue（AWS）
- Azure Data Factory（Azure）
- Cloud Data Fusion、Dataflow（GCP）
DWH
DWH（Data Warehouse：データウェアハウス）とは、時系列やテーマごとに分類・整理・構造化されたデータを保管する箱（データベース）のことです。
通常のデータベースは多くの場合、パフォーマンス低下の回避やコスト削減のために長期間のデータ保管をしないよう設計されています。しかしDWHは、さまざまな角度からのデータ分析・活用のため、長期間かつ大量のデータを保管・蓄積し続けることを前提に構成されています。
代表的なクラウドサービス
- Amazon Redshift（AWS）
- Azure Synapse Analytics（Azure）
- BigQuery（GCP）
データマート
データマート（Data Mart）は、特定の目的に合わせて集計したデータを保管するデータベースのテーブル、あるいはそのテーブル群のことで、DWH内のデータから切り出されたテーブルでもあります。
データレイクとは異なり、データマートには部門ごとや月・週単位など、分析などをしやすい単位で集計されたデータを保管します。DWHよりもさらに目的別に整理されたデータを持つデータマートを作成することで、より効率的なデータへのアクセスと分析が可能になります。
代表的なクラウドサービス
- Amazon Redshift（AWS）
- Azure Synapse Analytics（Azure）
- BigQuery（GCP）
データ統合の仕組みと基本的な流れ
データ統合基盤では、データ統合そのもの以外にも必要な工程が存在します。ここではデータ統合基盤に関わる工程の全体の流れを紹介します。
1. データ収集
データソースの決定
データ統合の前に、データの提供元となるデータソースを整理し、どのデータソースで何のデータを扱うかを決めておく必要があります。データソースはCRM・MAをはじめとするマーケティングツールやPOSシステム、社内システム、webサイト、アプリなど多岐に渡ります。
データ統合システム構築プロジェクトのアンチパターンとして、自社にどのようなデータが存在するのかを把握しきれていないままシステム構築を進めようとしてしまうケースがよく見受けられます。データソースの整理は、種類の整理のみでなく、各データソースがどのようなデータをどのような形で保持しているかの整理が必要です。
データのボリュームが足りない、データの統合に利用できるKey情報がないといった課題を持ったままシステムを作ってしまうと、期待通りの効果が得られない場合もあります。
弊社EVERRISEではデータ統合基盤構築の前段階として「データ統合アセスメントサービス」を提供しています。スムーズにデータを統合し、活用できる状態まで構築できるよう、データの整理や品質評価、プロジェクト計画の作成までサポートが可能です。
データ統合アセスメントサービスについて、詳しくは下記の資料をご覧ください。
無料資料：データ統合アセスメントサービスご紹介資料のダウンロードはこちら
データ収集・一時保管
データソースからデータを収集し、必要に応じてデータレイクに一時保管する処理を行います。データレイクに一時保管せず、そのまま次の工程へデータを渡す場合もあります。顧客データや収集すべきデータについて、詳しくは下記の資料をご覧ください。
関連：顧客データ収集の方法と有効なツール。収集すべき2種類の顧客データ
2. データ統合
データの抽出・変換
収集したデータを抽出しデータを利用しやすい形に変換する処理を行います。
データレイク内のデータは重複していたり、データの形式が統一されていないことがあるため、データの抽出・変換の工程でデータクレンジングや名寄せを行い、データを正しい状態に変換します。
関連：データクレンジングと名寄せとは？顧客データを正確に管理する方法
データの格納・蓄積
必要な形に変換したデータを、DWHに格納する処理を行います。DWHにはこれまでの工程で集約されたすべてのデータが格納されるため、データ量が膨大になります。
3. データ連携
データは統合して終わりではなく、データ統合基盤から各種ツールへ受け渡し、活用することが重要です。データ連携の処理によって、分析のためのBIツールや顧客コミュニケーションを実行するツールでのデータ活用の準備が整います。
データの抽出・変換
データ統合後にもさらに各種ツールに適した形にするために、データの抽出と変換を改めて実行する場合があります。
データの一時保管
DWHから目的に応じて整形したフォーマットのデータを、データマートとして管理する場合があります。他システム・ツールへのデータの受け渡しにデータマートのデータを使うことで、DWH内から直接探すよりもスピーディにデータを利用できます。
顧客データ統合に有効なCDP
CDP（Customer Data Platform：カスタマー データ プラットフォーム）は、顧客データの収集・統合・連携に特化したデータ統合基盤です。AWS、Azure、GCPなどのそれぞれのサービスを組み合わせたデータ統合基盤をCDPと呼ぶこともあります。CDPについて、さらに詳しくは下記の記事をご覧ください。
関連：CDPとは？カスタマーデータプラットフォームの機能やメリット、活用例を解説
データ統合の一連の流れにおいてCDPの領域は上図の赤枠の部分です。CDPはデータレイク、ETL、DWH、データマートなどの機能を備えています。
CDPが提供する専用タグにより、アクセス解析ツールなどを使わずにwebサイト・アプリの行動データをトラッキングすることも可能です。
CDPのメリット
CDPは顧客データ管理で重要な名寄せの処理や、集めた顧客データのセグメント作成機能が最初から備わっているシステムのため、データ統合基盤を1から構築する手間なく顧客データ統合を進めることができます。
また、CDPの中でも管理画面上でさまざまな設定が可能なものは、統合したデータから顧客ごとのプロファイルや、セグメントの作成を画面上で行うことができます。
通常、DWHやデータマートからデータを取り出して使うには、エンジニアがSQLによってデータを集計する必要があります。CDPであれば、マーケターなどのデータ利用者にSQLの知識がない場合でもすぐにデータを活用でき、管理画面などの開発コストがかかりません。
関連：CDP導入のメリット！失敗しないツールの選び方と導入時の注意点
EVERRISEが提供するCDP「INTEGRAL-CORE」
弊社EVERRISEでは、顧客データをノーコードで管理できるCDP「INTEGRAL-CORE」を提供しており、これまでTVerさまやキーコーヒーさま、hoyuさまなどを含め複数社の導入実績がございます。
- CDP「INTEGRAL-CORE」の特長
- 顧客に関するあらゆるデータを収集・統合
- ノーコードでデータ集計やセグメント作成
- 外部連携機能でBIツール・MA・CRMなどへデータを渡し、マーケティング施策へ活用可能
- 自社開発システムならではの総合支援体制
- 専用環境での提供も可能な国産CDP
また、CDPの提供だけでなく、デジタルマーケティング領域における300件以上の開発実績で培ったノウハウから、データ活用基盤構築のためのコンサルティングや自社の基幹システムを含めた各種システムと連携を行うための開発も可能です。
CDP「INTEGRAL-CORE」の機能や特長、ユースケース、実際の画面については、以下の無料資料で詳しく紹介しています。データ統合にお困りの際はぜひお気軽にご相談ください！
