大量のデータを活用する方法として、データを分割して活用する方法や、pandasを使って活用する方法などを記事にして紹介しましたが、今回は最も親しみのあるExcelを使ってどこまでできるかを紹介したいと思います。
今回は、100万レコードあるCSVファイルを対象にして、Excelで活用してみましょう。
CSVファイルをExcelに取り込み
ExcelのPower Queryでデータを読み込む
- Excelで「データ」「データの取得」「ファイルから」「CSVから」読み込みするファイルを選択
- Power Query エディタが開くので、内容を確認しながら不要列の削除や並び替えが出来ます。
取り込みする情報を絞り込む
- 列のヘッダーを使って、「フィルター」や「並び替え」などが可能
- 「文字列が含まれる」「数値が⚪︎⚪︎以上」などの条件指定も可能
- 列ごとに条件を組み合わせて必要な情報を抽出することが可能
取り込みする時のコツ
- 必要の無い列は最初に削除する（メモリ負担の軽減）
- 必要なデータのみに絞り込む（メモリふたんの軽減）
- データの型を正しく設定することで処理速度アップ
抽出した情報をExcelに戻す
- Power Query で整形したら「閉じて読み込む」でシートに反映
- 通常のExcel機能を使って、ピポットテーブルやグラフに活用
その他
Power Query は取り込み条件などの処理ロジックも保存できるので、同一ファイルを同一条件で処理する場合には効率的に作業することが可能である
Excelは普段使い慣れたツールなので、データを読み込みさえ出来れば、誰でも簡単に活用することが出来るので、是非この方法を覚えておいて頂きたい
ただ、Excel では100万レコード以上のデータが扱えないので、CSVファイルの分割などと組み合わせて活用すると効率的に作業が可能になると思います。
