技術者が大量データに対してクエリを使う方法メモ

IoTやDXの時代には、大量のデータが発生する。それを扱い欲しい分析結果を手に入れる方法の一つが「問い合わせ言語のクエリー　Query 」。

構造型問い合わせ言語のSQLを使う方法は、現在いろいろあります。無料で使えるもの、有料だけど性能が良いもの、プログラムをテキストファイルで作るもの、GUI（マウスでドラッグ＆ドロップなど）が使え直感的に作りやすくメンテしやすいものなどいろいろあります。

技術者がデータ解析する場面では、求める結果を出すために使いやすくさほどのスキル不要で自由に編集できることが必要。
そのためには、本体DBに影響しないようにデータを抽出し、得られたデータを分析する方法が向いています。

基幹システムは、元データを入力し管理するために要求される厳密な定義とプログラム作成プロセスやエラー処理などが必要な専門家領域ですが、蓄積されたデータを利用するユーザーに求められるスキルはそれとは異なるのです。
日本では、両者を混同しシステムとそのデータ取り扱いを難しいものとして避けてきたことは問題ですね。

そこで少しまとめてみました。元データはエクセルやCSVなどの一覧表を想定しています。