クライアント企業から、
・マーケティング活動のKPIを設定したい
・施策の効果を測定したい
というご相談をよく頂きます。
マーケティング目標を設定し、設定した施策の現状を把握することは、マーケティング課題の解決に向けた最初の1歩です。
私たちは、クライアント企業が保有している顧客データや購買データ、施策の結果データなどをお預かりし、課題可視化のためのデータを分析するところから始めます。
その際、データアナリストが分析前に必ず行う、「前処理」という工程をご存じでしょうか？
「前処理」は、データ分析にかかる時間の大半をこの工程に割いているといっていい程、とても重要な工程です。
今回のコラムでは、データ分析においてフォーカスされることが少ない「前処理」について、
・そもそも、データの「前処理」って何をするの？
・「前処理」ってどうしてこんなに工数がかかるの？
について、お話ししたいと思います。
1. 「前処理」とは
「前処理」とは一体何でしょうか？
データをもとに意思決定を行う、データをもとに仮説を検証し、施策に反映する、施策の効果を検証し、さらに新たな施策を打つというPCDAサイクルを健全に回すためには、良質なデータが利用可能であることが前提です。
しかし、社内外に存在している各種データは、分析にそのまま使えることはまずありません。
データ取得の目的が異なっていたり、システムやデータ取得フローに不備がありデータが正しく取得できていなかったり、複数チャネルにまたがったデータでは同一顧客を同定できていなかったり、といったことがよくあります。
こういったデータはそのままの形ではただの石ころのようなもの。
原石から美しいダイヤモンドを得るために研磨をするように、未整理のデータからインサイトを得てビジネスの改善に生かすには、分析の目的に合わせたデータ加工が必要です。
こういった加工処理が「前処理」と呼ばれています。
以前のコラムで、「データ活用の3つのフェーズ」についてご紹介しました。
前処理は、フェーズ1 "データを集計する"段階 であり、データ活用の最初のステップになります。
2. 「前処理」で行う3つのこと
前処理は、データ分析業務にかかる時間の（体感ですが）8割～9割程を占めています。
なぜそんなに時間がかかるのでしょうか？
前処理で具体的に何をしているのかを解説します。
前処理で行うことは、大きく分けて以下の3つになります。
1．データクレンジング
データの欠損や重複、不整合、異常値、表記ゆれなどを見つけてそれぞれ対処する作業です。
データの種類によって処理の仕方が異なり、一括処理で変換できない修正が必要な場合は、1件1件を目で見て内容を確認することもあります。
2．データ統合
自社の複数のチャネルから取得されたデータやオープンデータなどの外部データを、共通の属性などをキーにして一つのデータに統合します。
3．データ変換
分析手法に応じてデータを適切な形式に変換します。
前処理を行う際は、お客様に、データがどのようなシステムで生成されたデータか、どのような業務フローなのかなどの知見をお借りする場面もあります。
お客様のご協力を頂きつつ、専門知識やツールを駆使して、複数人で確認を繰り返しながら分析に適した形に整形や集計などを繰り返します。
データの前処理は分析精度を上げる必須工程
今回は分析プロジェクトにおけるデータの前処理についてお話ししました。
前処理はデータ分析の精度を高め、ビジネスを成功に導くために必須の工程です。
データアナリストが普段どのように業務に取り組んでいるか、その一端でもご理解頂けたら幸いです。
フュージョン株式会社では、「顧客データの健康診断」と称した顧客分析サービス「CRM ANALYZER」や、機械学習を利用して顧客の行動予測モデルを構築する「CRM Forcaster」をはじめ、データ分析からの施策提案・実施・効果測定をワンストップでご提供しています。
マーケティングでのデータ活用に課題を感じたら、まずはご相談ください。
