ものつくりの中でも、鋳造は人類が手に入れた技術の中では最古の部類に。
溶かした金属を型に流し込むことで、同じものを大量に製造できる。
しかし、その歴史は不良との戦いの歴史でもある。

現代は、大量に製造するので製造履歴や不良も大量のデータの中から必要な情報を抜き出して、調べることが必要だ。
その意味では、データを処理するテクニックも鋳造技術者にとっては必須の基礎技術だ。

多くの場合、データは 表形式で提供される。多数の項目(横方向 columns)と何万もの行(rows)の膨大なデータから、求めるデータを掘り起こすことが必要だ。

CPU以前は、作業員が筆記した紙の記録を一枚一枚調べて件数を書き出した。日本語の「正」が5画なのを利用して「正」を多数書き出して、正の数を数えそれに5倍するのは50年前の品質管理技術者の仕事であった。

現代は、技術者にはパソコンやサーバーやネット環境を使うことができる。

調べる対象のデータが膨大なのは昔も今も同じだ。求める情報を掘り起こす考え方も同じだ。

1.求める項目を絞り込む(列:columnの選択 = Select)
2.求める内容がある行を絞り込む(行:rowsの抽出 =Filter、条件はWhereで記述)
3.抽出されたデータ群に必要なデータ加工を行う

  件数を数える、 個数と単重(マスターに記載)から重量を求める(複数の表を結合必要)、  不良金額を求める、 不良率を調べる、 時系列の変化を調べる(グラフ化)、などなどがある。

定型化された日常業務はシステム担当がシステムを提供してくれるが、技術者が行うのは原因がまだ分からない不良の探求なので、調べ方も自分で作る必要がある。

データから、求める原因を探し出すときに必要な上記のスキルは、情報システムでは クエリー(Query)と呼ばれる分野のスキルだ。
データベースから求める情報を引き出すときには、SQLを使うことになる。
構造化照会言語 (SQL:Structured Query Language)は、あらゆるタイプのアプリケーションで頻繁に使用される一般的な照会言語

クエリ関数(QUERY関数)の種類

基本的なクエリ関数(QUERY関数)の種類には以下のものがある。

select 選択した列を指定した順序で抽出
where 抽出したい情報がある行を抽出
group by 指定した列の値を集計(合計、平均値、最大値、最小値など)
order by 指定した列を基準に並べ替え

データベースソフトでは、これらの関数を駆使して求める情報の抽出を行うことができる。
通常使うエクセル(Microsoft Office tool:Excel)では、これら機能は表の中でGUI利用して作るため、システム的には使えない。

DBソフトを使ってエクセルのデータを調べる

そのため、エクセルのデータ(.csv や .xlsx)を利用するためにはエクセルの外からデータベースソフトを利用してエクセルを扱うことが便利だ。
エクセルはそのままで、DBソフトがエクセルを読み込んで、データ解析を行うプログラムを自分で作り、自分が使う
問題解決に取り組む技術者にとって、システム屋に頼んでプログラムを作ってもらうのは、それだけで何か月もかかる時間ロス。やってられないのだ。
自分で作成したプログラムは、エクセルの内容を更新しても、そのまま使えるので大変便利なのだ。しかもスキル向上でどんどん進化できる。

GUIを使えるデータベースソフトでは Microsoft社のAccess(アクセス)が便利だが、標準では添付されておらず高価だ。
通常のデータベースソフトは、ほとんどがテキストでCodeを書く必要があり、システム屋の領分になる。

この中で、PythonのModuleでpolarsは、多様なソースに接続でき高速で使いやすいことが評価され利用が急拡大している。

パワークエリ

Microsoftは、SQLニーズ対応で、エクセルで利用できるクエリを パワークエリという名前(を提供していた。
パワークエリ―は、エクセルのブックに エクセルやDBやPDFなど多様な外部データを読み込んでクエリーを作成して、抽出し加工した表をエクセルブックの中にシートとして作成する。
元のデータはそのままで更新するとクエリー結果にも反映することができるので解析プログラムとしても機能する。
使用言語はM言語といい、エクセル関数とは異なる体系で、クエリーで作成した部分と 結果を利用してエクセル関数を追加した(合計行など)部分は分離されている。
扱えるデータは、通常のエクセルの扱えるデータ数制限(104万行の壁)がない。
エクセル2016以降、及び Office365で標準添付されていて誰でも利用できる。
Microsoftが推奨するセルフ・ビジネスインテリジェンス(Self BI)の代表選手。エクセルが使える人ならだれでも簡単に使えるツール。

解りやすいパワークエリの解説サイト

 パワークエリの便利なところ(価値創造機構)
 Power Queryとは?データ取得・結合・集計など基本的な使い方を詳しく解説!