鋳造の現場や品質管理は、大量のデータを扱うので、ITが必要に。CPUなら数万行のデータも瞬時に調べて結果を出せる。
報告資料作成には excelやwordやpower-pointを利用。
報告内容を作るための元データは、多くがexcel。
多くの企業では、技術屋は分析用データはexcelに保存、多数のsheetが発生。
sheet枚数増えると、目的の資料を集めるにはそれぞれのsheetのデータを集めることに。分析の手間が大変になりますね。
excelは、filterで対象行抽出や、pibotや、列の表示非表示で列選択し合計などを行や列を追加して行う。
操作するたびにexcelの表示の仕方が変化します。元の形に戻すのが手間になる。
excelに入れる場合でも、項目名の並びが同じデータなら、ひとつのsheetにまとめると便利に使える。Excelをリンクしたデータベースソフト(DB)や分析用のソフト(pythonのpolarsやpandas)から見ると、Excelはそのままでいろいろに調べることができます。項目が同じならば、内容更新しても同じ分析ができるのは便利。
エクセルよく使う機能: 利用する列や行の抽出、合計・平均・分散などの統計値、相関関係、グラフ化。
エクセル不得意:別ファイルやシートのデータとキー項目でリンクし不足項目を追加して分析したいことは多い
この目的には、DB利用(SQL)や、同様機能があるpolarsが必要。
polarsで生産実績と品種マスターをidをKey項目をとしてリンク(join)し集計した例。
df1を生産実績、df2をマスタとして、下記だけで実行できる。
df3 = df1.join(df2, on=”id”)\
.with_columns((pl.col(“n”) * pl.col(“weight”)).alias(“weight-T”))
df3.group_by(“id”,”name”).sum().sort(“id”)
Excelデータ分析に使えるお勧めソフト
1.MicrosoftのAccess: システム製作には向かないが、技術者のデータ解析には便利なツール
(1)エクセルにリンクでき、GUIでSQLができ、リンク先のエクセル更新してもそのまま使える。
(2)結果を表示するブラウザになる
(3)リンクしたテーブルや作成したSQLのリスト一覧が使いやすい
(4)統合的に使える。
Microsoft-site > 最新バージョンの Microsoft Access はいつでも、Microsoft 365 サブスクリプションで利用できます。Microsoft Access 2019 は、1 回限りの購入版として入手できる Access の最新バージョンです。
※ Accessの需要が少ないためか、Microsoftのサブスクリプションで使えるソフトリストにはAccessが記載されていませんが、上記のようにAccessが利用できるようです。
2.Duckdb (pythonでも利用できる フリーソフト)
csv経由か、polarsやpandasのread_excel経由で利用できる。SQLの構文は基本的にはAccessなどとほとんど共通。
3.DataFrameアプリの polarsやpandasでもexcelを読み込みDB同様のことを10倍以上の高速で実行できる。
使用例:項目数が多く、かつ大量のデータが入っているexcelをpolarsで読み込み、必要項目を選択し、必要行(例:調査対象品目)をfilterにかけ、エクセルファイルに出すことができます。一度プログラムを作れば、元のエクセルはそのままで目的のデータを別のエクセルに取り出せます。
polarsでは、filter検索に「その言葉を含む」かどうかのcontainsが使え、プログラム作成は容易。
項目名”XYZ”のデータに”ABC”が含まれる行の抽出(Filtering)
polars.DataFrame.filter(pl.col(‘XYZ’).str.contains(“ABC”))
4.ネットには、無料で使い方を教えてくれる大勢のボランティアがいる。調べる勇気さえあれば、無限の知識の宝庫。