データ基盤は一度構築すれば完結するものではありません。企業の成長フェーズや利用状況の変化に伴い、設計・運用・コスト面で新たな課題が発生することは少なくありません。さらに、市場環境の変化や規制強化といった外的要因により、基盤を継続的に見直すことは不可欠です。
本記事では、既存のデータ基盤に起こる問題やデータ基盤の再設計の進め方、多くの企業が直面する課題とその解決策などについて紹介します。
データ基盤構築後に発生する課題
データ基盤は企業のフェーズや利用状況の変化により、さまざまな課題が生じます。
多くの企業が実際に直面する代表的な課題を整理します。
設計面
当初は妥当だと思われた設計でも、データ量の増加やデータ利用の高度化、利用範囲・部門の拡大などから、パフォーマンス観点での課題が発生するケースがあります。
データ収集・クレンジング、統合・利用目的別のデータの作成など、それぞれの段階でデータ量が増加することで、処理時間が増大することが原因です。
特に、データ処理のフローとして都度の処理が中心である場合には直接的に影響を受けやすく、一連の処理を行う場所やタイミング、方法を抜本的に見直す必要が出てくる可能性があります。
運用面
データ基盤を運用する中で新たなデータや処理がされ、複雑化することで管理コストが増大することは少なくありません。重複した処理が多数存在したり、機能の利用状況を考慮せず必要機能の棚卸しが行われない場合、軽微な変更に対しても改修範囲が大きくなり運用コストが増大します。
データ活用が着実に進んでいる良い状態ではありますが、システムの運用面も考慮した管理フローの構築が必要となります。
活用面
構築した基盤が、利用部門にとって使いやすい状態となっていないケースも散見されます。特にデータ基盤を構築する際、構築を担当する部門と利用部門が異なる場合に発生しやすいです。例えば、マーケティング部門が利用したい形でのデータが存在せず、データ基盤にはアクセスするものの、各個人がエクセルやスプレッドシートで再集計して利用しているケースです。
利用部門の具体的な活用シーンが設計や運用に十分反映されていないことが原因です。実際の利用場面を踏まえ、現場が求める形でデータを提供できる仕組みの構築が必要です。
コスト面
設計面とも関連しますが、データ基盤の維持にかかるコストが想定以上に膨らむこともよくあります。単純にデータ量や利用者が増加すれば、コストは増加します。一方で、利用されていない不要な処理の削除や、より効率的な処理を前提とした見直し、利用方法に適した課金形態のDWH・CDPへの変更など、適切なコストでの運用に向けた改善は可能です。
また、DWH・CDPの周辺で利用しているその他システム・ツールの機能の重複によりコストが増大しているケースも少なくありません。コスト面の課題に対しては、広くデータを利活用するシステム・ツールも含めて見直しをする必要があります。
データ基盤の再設計が求められる背景
企業がデータ基盤の見直しを迫られる背景として、外部環境の変化も要因として挙げられます。
要因の1つに、市場環境の変化のスピードの加速があります。消費者の行動や競合他社の動向がめまぐるしく変化し、数日単位の遅れがそのまま機会損失に繋がる可能性があります。競合に比べて意思決定が遅れることが、市場での競争力を損なう要因となります。
また、規制やガバナンス要請の強化も要因の1つです。個人情報保護法の改正や各国のデータ規制、取引先や親会社からの監査要請など、対応すべき要求は年々厳格化しています。データの取得・利用経路が不透明で説明責任を果たせない場合、法的リスクだけでなく、ビジネス上の信用を失う可能性もあります。
さらに、AIの普及もデータ基盤の再設計を迫る要因になっています。AIはすでに自然言語処理や画像認識、需要予測など多様な領域で活用され始めており、今後は自動化や高度な意思決定支援へと広がることが想定されます。企業がAI活用を成果に繋げるには「AI Ready」な状態を構築することが不可欠です。
こうした要因により、企業は市場変化にスピーディーに対応できる柔軟性と、規制に耐えうる信頼性の高いデータ基盤を備えることが不可欠です。加えて、AI活用の広がりもこうした動きを後押ししており、将来の競争力を支えるためにも、データ基盤の再設計が求められています。
データ基盤の再設計・再構築の進め方
データ基盤の再設計は、現状を正しく把握して、適切な課題を設定し、各課題の優先度や依存関係をもとに進めていく必要があります。
ここでは、データ基盤を再設計する際の5つのステップと、それぞれで意識すべきポイントを整理します。
- 現状把握と課題の整理
- 再設計方針と要件の整理
- ガバナンスの設計
- データ基盤の構築
- 実行・効果検証と段階的展開
1.現状把握と課題の整理
まず行うべきなのが、データ基盤の全体像を把握し、解決すべき課題を特定することです。 一部の領域から着手する場合でも、その領域がほかのシステムや業務との依存関係を把握していなければ、誤ったアプローチを選択する可能性があります。
また、課題整理の過程では技術的な問題だけでなく、当初描いていたデータ活用戦略やユースケース自体と現在の利用状況のギャップを整理する必要があります。状況次第では、改めてデータ活用戦略やユースケースの見直しを行う必要があります。
具体的な作業内容の例として、下記のようなものが挙げられます。
- 関連システムの構成・役割・連携フローの棚卸し
- データの精度・鮮度・拡張性・参照性・運用体制に関する課題の抽出
- ツールや処理の重複、利用率の低い機能の洗い出し
- コスト構造の整理
- データ活用戦略・ユースケースと現行設計の整合性確認
- 現場の潜在的な課題や運用上の課題の抽出
システムコストの観点、システム運用や利活用における人的コストの観点、パフォーマンスの観点など、課題の重要度を整理します。
2.再設計方針と要件の整理
現状把握によって課題が明らかになったら、その解決に向けて再設計の方針を定めます。同時に、その方針を実行可能なものとするために必要な機能を定義し、既存の仕組みにおける重複や非効率を精査・整理していきます。
具体的な作業内容の例として、下記のようなものが挙げられます。
- 再設計対象の範囲と優先度の決定
- 改善対象における実行可能なスコープの設定
- 利用頻度の低いツールや処理を特定し、廃止・統合の方針を決定
- 残すべきデータや機能の要件を定義
- 将来的な拡張性や統合計画も見据えたロードマップの作成
3.ガバナンスの再設計
再設計・戦略見直しに伴い、ツールやデータ管理の方法が変わる場合はもちろん、既存ルールが形骸化して実態と乖離していることがあり、いずれの場合も、ガバナンスの見直しと再設計が必要です。
具体的な作業内容の例として、下記のようなものが挙げられます。
- 共通で使用する指標の定義
- データの入力・更新・削除に関する責任範囲の明確化
- アクセス権限・利用ポリシーの設定
- データ品質を保つための運用ルールの策定
ガバナンスは、データを安全に管理するだけでなく、活用を広げるための仕組みとして設計することが重要です。例えば「指標は全社で共通化すべきものと部署ごとに柔軟に扱えるものを切り分ける」といった工夫が挙げられます。また、現場に過度な負担を与えないよう、シンプルで運用可能な仕組みに設計することも欠かせません。
こうしたバランスを意識することで、安全性を確保しながら現場で使いやすいデータ基盤を実現できます。
4.データ基盤の再構築
定めた方針や要件、ガバナンスに沿って、実装・移行を進めます。既存環境を活かしつつ必要箇所を改善し、段階的に最適化することで、リスクを抑えながら現場への浸透を図ります。
具体的な作業内容の例として、下記のようなものが挙げられます。
- 既存ツール・システムの拡張、または新規ツール・システムの追加導入
- 不要な機能や重複処理の削除・統合
- データフローの見直しと効率的な処理経路の再設計
5.実行・効果検証と段階的展開
構築したデータ基盤を実際に業務で利用し、想定していた成果が出ているかを検証する段階です。
具体的な作業内容の例として、下記のようなものが挙げられます。
- 想定課題の解消状況を定量評価
- 利用部門からのフィードバック収集
- 不足・不具合への優先度付けと追加改修の実施
- 成果の可視化による横展開の推進
データ基盤の再構築では、得られた成果を数値や事例として可視化することが欠かせません。成功事例を具体的な数値や現場の声とともに示すことで、他部署や経営層の納得感を得やすくなり、スムーズな展開に繋がります。
データ基盤の再設計・再構築に成功した事例
地上波放送を中心に、動画配信や映画、イベント事業など幅広く展開している日本テレビ放送網株式会社の事例を紹介します。
日本テレビでは、全社のデータを横断的に活用するため「FACTlyプロジェクト」を推進しています。視聴データや広告データ、収支情報など100種類以上のデータを扱うなかで、基盤のメンテナンスコストの増大や、複数チーム間での品質のばらつき、ナレッジの分散といった課題が生じていました。
そこでEVERRISEは、まずデータ基盤の運用保守やインフラ改善といった領域から支援を開始しました。段階的に参画範囲を広げ、BIダッシュボードの構築や収支データの可視化、生成AIを活用した社内システム開発などを支援しました。
このような開発により、基盤のスリム化によるコスト最適化を実現するとともに、品質の安定化やナレッジの集約を実現し、プロジェクト全体を横断的に支える体制が整うことで、より効率的かつ柔軟にデータ活用を進められるようになりました。
関連：日本テレビ放送網のDXの中核を担うデータ基盤｜データ活用支援事例
データ基盤の再構築時に直面する3つの課題
データ基盤の再設計は、単なるシステム刷新にとどまらず、組織全体の業務や意思決定の形成に影響を与える取り組みです。そのため、多くの企業が主に3つの課題に直面します。
1つ目が、コストの課題です。データ基盤の再設計には初期投資やランニングコストが発生し、費用を投じても成果がすぐに見えにくいことから、経営層の承認に難航する可能性があります。
2つ目が、リソースの課題です。再設計には現場の知見が不可欠ですが、担当者は既存業務を抱えており十分な時間を割けないケースが多いです。また、新しいデータ基盤やツールに対応できるスキルが社内に不足している場合、設計や運用が一部の限られた人材に依存し、それがボトルネックとなるリスクもあります。
3つ目が、マネジメントの課題です。データ基盤の再設計は複数部署が関わる横断的なプロジェクトであり、調整が不十分だと計画の遅延や中止に繋がる恐れがあります。また、利用に関するルール設計が適切に整備されないと、構築したデータ基盤が形骸化し十分に機能しなくなる恐れもあります。
EVERRISEによる支援
データ基盤の再設計は、技術的な対応だけでなく、戦略設計から運用定着まで幅広い知見と経験を必要とする取り組みです。自社だけで解決を図った結果、大きな負荷を伴うケースも少なくありません。
弊社EVERRISEでは、既存基盤の課題整理からアーキテクチャ設計、開発、運用・定着までを一気通貫でご支援する「データ基盤戦略」サービスを提供しています。
350社以上のDX・データ活用プロジェクトを支援する中で、課題の本質を見抜き、投資対効果が見える形で基盤再設計を実行してきました。10年以上にわたり大規模データ処理や高可用性システムを構築してきた実績を強みとし、既存ツールやシステムを考慮した最適なアーキテクチャ設計と、無理なく持続的に活用できる仕組みづくりを実現、データ基盤再設計を「成果につながる投資」へと導きます。
