MEDIA
DXの推進の鍵はデータ活用。データ活用の先にDXがある。では、それを担当するのはだれか？
2021.11.1
DXDX！世の中はDX！
社会のさまざまな事象がデータ化されるようになり、GPSでの位置情報や移動情報、顧客の商品購入情報や履歴、オンラインでの銀行取引などといった情報が世の中にあふれています。この10年で、世界中で生み出されるデータ量は飛躍的に増えており、2025年までにはさらに増加することが予測されています。
現代社会では、これらは顧客のターゲット層の細分化や行動分析など、価値を生むデータとして認識されています。
そして近年、多くの業種や分野でDX（デジタルトランスフォーメーション：Digital Transformation）が推進されようとしています。DXというのは、これまでアナログだったものを単にデジタル化・電子化するのではなく、トランスフォーメーションの言葉通り、変換・変形していくという意味です。
つまりDXとは、データとデジタル技術を活用して新しい製品やサービスやビジネスモデルでビジネスを変革することと言えるでしょう。今後はDXの波に乗れないと競争力が衰え、企業の発展が停滞してしまう、ということも考えられます。
参考：
経済産業省が出しているガイドラインの中では、DXを以下のように定義しています。企業がビジネス環境の激しい変化に対応し、『データとデジタル技術を活用』して、顧客や社会のニーズを基に、製品やサービス、ビジネスモデルを『変革』するとともに、業務そのものや、組織、プロセス、企業文化・風土を『変革』し、『競争上の優位性を確立』すること
デジタルトランスフォーメーションを推進するためのガイドライン（DX推進ガイドライン）Ver. 1.0
求められるデータ活用人材
企業としてはDXを推進していきたいところですが、そのためにはまず必要なことがあります。先に述べた、今の社会で大量に生み出されているデータの活用です。
前回の記事（リンクをつける）でも、データ活用人材について国がその役割を定義していることをお伝えしました。しかし、データを活用できる人材がそれほど多く育っていないのが現状です。
この20～30年、多くの日本企業がシステムを自前で開発せずに、SIer（システムインテグレーター：システムの開発・運用を担当）と呼ばれる外部のシステム会社に依存してきました。開発だけでなく、運用や保守までお任せしている企業も少なくないでしょう。今から社内でデータ活用人材を育てたくても、候補となる人材が見つからないという問題が浮上してきます。
この記事を読む皆さんの中には、以前から「データベーススペシャリスト」という国家資格があることをご存知の方も多いと思います。この資格を持つ人の役割は、データベースの企画・要件定義・開発・運用保守といった、いわゆる「データを活用する環境を整えてくれる」意味でのスペシャリストといえます。
2021年４月に内閣官房 情報通信技術（IT）総合戦略室から発表された「データ戦略（人材）」の中でも、データベーススペシャリストは「サービスを提供する側」として位置づけられています。
参考：内閣官房 情報通信技術（IT）総合戦略室 データ戦略（人材）
これから望まれるのは「データ活用する環境を整える」だけでなく「データを正しく判断し、課題への対策を考えることができる人材」といえるのではないでしょうか。これはまさに私たちデータ・エージェンシーが考えているデータエンジニア像です。
増えているデータエンジニアの募集
今、多くの企業がデータを活用し、新しいサービスを生み出したいと考え、そのためにデータエンジニアを必要としています。ただし、各社が求めているデータエンジニア像がバラバラなのはご存知でしょうか？求人情報にもその違いが表れているのです。
インターネットの求人サイトを通じて募集している、他社のデータエンジニア募集内容について少し見てみましょう。
| 業種 | 募集要項にある仕事内容 |
|---|---|
| EC | ・サプライチェーン、マーケティング、商品企画等の各領域における業務ヒアリングやデータ分析のTOBE明確化、方針決定や要件定義 ・全社的なデータ基盤構築に向けたアーキテクト設計や技術検証 ・社内の各システムを疎結合するデータレイクやETL、API等のサーバーサイド開発 ・ECデータトラッキング/ユーザーレポート画面のフロントエンド開発 ・A/Bテスト等を駆使したデータ分析の実施、或いはそれを社内展開する分析基盤の開発 ・機械学習技術を用いたデータの可視化や業務自動化 ・自社ECにおけるデータマーケティング機能（DMP/検索/レコメンド/接客等）の開発や運用 |
| EC | ■データ基盤の構築・運用 ・データソースをデータチームが所有するBigQueryへ繋げる ・ビジネスチームが利用するCRM等のツールを連携 ・GCPプロジェクトのセキュリティ対策、運用 ・データ設計や自動化などの仕組み作り ・BIツールの構築・運用 ・MLバッチの実行環境の整備 ■データ計測の仕組みの構築・運用 ・マーケティングの効果測定するための計測環境を整える ・各サービス上で必要となるデータ計測の仕組みを提案・実装する ■社内でのデータ利活用の推進 ・BigQueryに集約したデータを活用し、関連業務のヒアリング ・業務データ連携やスプレッドシートの更新自動化 |
| IT | ・視聴質データを加工し利用しやすい形で格納するための基盤開発/ETL改善 ・顧客ニーズに応じた商品のシステムへの実装、商品化に向けたデータ基盤の整備 ・顧客向けwebサービスに利用するデータマートの設計/開発 ・各種メタデータ（テレビ番組・CMなどの付加データ）の加工/整備 ・社内向けデータ抽出基盤（Redash）のデータ要件定義/運用/開発/テスト ・データの品質を担保するためのテストの企画/設計/開発/運用 |
| コンサルティング | プロダクト、ビジネスのデータ分析をするためのデータを集約する、分析基盤のデータエンジニアとして、下記の業務に取り組む。 ・データアナリストとともに社内ステークホルダとの要件定義 ・要件を元にした抽出ロジック、アルゴリズムの開発 ・セキュリティ要件を満たした基盤の設計と運用 ・ETLツール、ジョブスケジューラの運用 ・データ抽出バッチの管理 ・データウェアハウスの設計、構築、運用 ・BIツールの管理、運用 ・データサイジング、コスト管理 |
| メディア | リアルタイムに蓄積される1日450GB以上、約1億レコードの読者の動きや記事情報といったデータを取り扱うデータ分析環境の開発・運用を担当する。 ・データ収集・分析基盤の運用や整備 ・ビッグデータを扱う新技術選定、評価や構築 |
| 医薬 | ・分析要件に必要なテーブル、ログの定義設計 ・AWS Glue Job(Spark) を利用したETL処理の設計開発 ・Airflowを利用したデータパイプラインの開発運用 ・効率的なデータ活用を推進するための中間テーブル設計 ・Amazon SageMakerを利用したデータ分析 |
| 金融 | ・行内外のデータ収集、オンプレミスとAWS双方でのETLを使用したデータ移出入、自動化プロセスの構築 ・各種プロジェクトにおけるモデル実装のようなデータサイエンス領域のバックエンド開発 ・データカタログの整備、データ保全のためのデータマネジメント/モニタリング ・AWSにおけるデータ分析環境整備（EC2や各種マネージドサービスを利用） ・外部サービスとの連携するためのバックエンドAPIの開発/運用/保守 ・クラウドやオープンソースの最新データ処理、分析技術の導入 |
| 広告 | ・基幹DB（Oracle）や配信サーバのログをGCPへデータ転送の基盤改修と運用（Treasure Dataへの転送） ・BQ上でのDWH（データウェアハウス）やDM（データマート）の基盤構築、改修、運用 ・BIツール開発、管理、運用 ・データ保持に関するガバナンスとそのセキュリティ保持対応 ・分析環境の刷新 |
| 小売 | ■プロダクト開発にデータエンジニアとして参画 ・ブランドオフィシャルのデータ分析基盤の開発(ブランド向け分析アプリケーションの開発・運用) ■全社共通データ基盤の設計・構築/データガバナンスの整備 ・約50TBのアクセスログ・化粧品、ECや店舗などのサービスデータのETL実装 ・分散しているデータ基盤を統合した全社共通データレイク＆データウェアハウスのシステムアーキテクチャ設計と開発 ・Google Cloud Platformのデータ関連サービス（BigQuery etc.）のコスト・IAM運用 |
| 人材 | ・データ全体像をモデル化するとともに、データセットを抽出、データ交換のための手法を策定する ・複数のデータソースやシステムからデータを入手し、ビッグデータ・プラットフォームとして構築する ・データの全体像を理解、分析、およびマッピングする ・業務における当社の情報セキュリティ基準を維持する ・データサイエンティストとデータフィールドをマッピング、仮説立て、データ収集整理、検証、サイエンティストの解析モデル構築に貢献する ・インフラチームによる構築に向けて、必要なテクノロジースタックを決定する ・各機能とモデリングテーブルを構築するための定形プロセスを作る |
| 製造 | ・事業内容と事業課題に基づいた、データパイプラインの設計と実装及び運用 ・事業部門やデータ分析チームのメンバーと連携したプロジェクトマネジメント ・Google Cloud Platform／Treasure Data／AWS／Salesforce／可視化ツールなどの連携実装と運用 |
| 製造 | ・ データウェアハウス、データマートの開発と運用、改善 ・ メタデータ管理システムの開発 ・ ETL 処理の運用 ・ ETL 処理基盤の開発, 運用 ・ BIシステムの管理、サポート ・ 社内のデータ利用業務を支援するツール作成 ・ SQLによるデータ抽出や分析の経験 ・ データに関わる業務理解と、データドリブンな業務改善の支援 |
| 不動産 | ETL基盤及び物件データ配信APIの開発およびインフラ設計・運用を担当する。 ・物件データETL基盤の構築開発 ・物件データ配信APIの構築開発 ・サーバー構築の自動化 ・アプリケーションのパフォーマンス監視や改善 ・機微情報の暗号化やセキュア情報の保護 ・インフラ運用（障害対応、ログ解析等） |
…と、データエンジニアに対して各社が期待することはさまざまで、各社が求めていることはそれぞれ大きく違うことがわかります。まだ新しい職種のため、企業によってデータエンジニアの定義や権限が異なり、実際の現場ではもっと大きな違いが出てくるように思います。
データ・エージェンシーが定義するデータエンジニア
最後に、弊社データ・エージェンシーが考えるデータエンジニアについてお伝えしたいと思います。データ・エージェンシーはイー・エージェンシーと提携して、「オンライン広告データ領域」を軸としてデータビジネスを推進しています。
昨今注目されているビッグデータですが、「集めてはみたけどどう活用すればいいかわからない」「そもそもデータの集め方がわからない」など多種多様な悩みに対して、最適なソリューションを提供しています。
商品の売上データや顧客データ、アンケートデータなどを対象として、データエンジニアは、社内のマーケターやアナリストと連携して蓄積されているデータを加工・統合し、分析やレポート、施策展開に必要なデータを抽出したり管理します。
例えば、ECサイトを運営している企業から「販売データとアクセスデータの関係性を確認したい」といった要望があった場合に、蓄積されたデータの中から対象データを抽出し、BIツールでの利用目的に合わせたデータ粒度のVIEWを作成するといった作業を行っています。
データマネジメントを細分化すると、データガバナンスを中心にアーキテクチャ、モデリング、セキュリティ、データ統合など広範な概念がありますが、これら全てをいきなり整えてしまうというわけではなく、現在の状況を確認しつつ、お客様の要望に合わせたデータ基盤の構築や可視化を行っています。
データの利活用、データ人材不足でお困りの際は、お気軽にお問い合わせください。
https://www.dataagency.co.jp/#contact