エクセルに、データの分析(選択・グループ化と集計・複数データの結合)に使える本格的なSQLクエリーをGUIで使える方法が標準機能で提供されていた!

エクセルは、日本の企業でデータを扱う最も代表的なツール。
便利ですが、エクセル関数利用や行選択ではデータ行や列の表示・非表示も変更必要で形が変わる。
複数データファイルの連携はほとんど困難(Vlookup関数は使いにくい)。

Excel2016以降では、パワークエリ―が標準添付に。これでエクセルファイルなどの元ファイルはそのままで、内容のデータを取り込み、連携してSQL同様のクエリーと分析が簡単にできるようになりました。

パワークエリはプログラムとしても機能し、元ファイルのデータを変更すると、パワークエリの結果も更新できます。
従来は、BisualBasicやMacroやAccessやC言語やPythonなど利用し難しいプログラムを作らないとできなかった分析が、エクセル内のマウス操作だけでプログラムができる
※クエリはひとつごとにプロパティで名前(プログラム名)ができ、クエリで造られたテーブル名も同じになる。解りやすい名前を付けるのがポイント。プロパティの名前を後で変更すると、それを利用して作った次のクエリに反映せず、結合でKeyエラーになる。シートの名前はクエリに影響しない。

何百万行にもなると時間がかかるようですが、数万行程度なら秒程度で動作。
大量データの分析プログラムが素人でも簡単に作れます。
しかも、作ったプログラムのステップ毎にエクセルシートができ実行結果が確認でき、デバッグ済状態。プログラムもcodeで表示できる。

イメージは、
1.新しいエクセルファイルを作成し、
2.そこへ、調べたり利用したいファイル(複数)やシートを取り込み
3.内容を編集(パワークエリ―でエディット)して必要な列や行を選択したシートを作成でき、Key項目一致で2つのファイルを結合し、必要な項目を結び付けて、計算式などを使って新しく項目を追加したり、ピボット分析もできる。
4.リンク先の元ファイルを更新や追加した場合は、パワークエリ―で作成したシートを更新すると元ファイルの更新が反映される。
5.文字列の編集や列の分割がアイコン操作のGUIでできる。更にシートに出せばエクセルの文字列編集機能も使える。
  文字列操作のM関数群もある
6.日付の取り扱いが簡単 パワークエリでは年・月・日の抽出や文字列化もでき、データ作成後にエクセルの日付書式設定やエクセルの時間計算が使える。PythonやC++やC#では、日付の取り扱いが面倒だ。

 主な機能は、 不要行の削除、列(項目)の選択・結合、行の選択、データの結合(縦方向、横方向)、項目計算して新しい列として追加、文字列の取り扱い、元データ更新を反映できる。
ポイントは、本格的なシステムのプログラム同様のことがGUIで作成でき、作った結果のデータを確認(=デバッグと同じ)しながら次に進める。

お勧め解説を4つと、使い方動画1つをご紹介します。
パワークエリが、エクセル専門から一歩進んで、ITリテラシー充実へ進むきっかけになってほしい。

 

パワークエリの意味と使い方が最も解りやすく解説されてるサイトはこれ

雑・Excel入門試論 – 脱VLOOKUPの思考 15 – Power Query – エクセルのデータを読み込む

https://qiita.com/spumoni/items/fc38a4ae595b64af87f5

から以下を引用紹介します。

Power Queryを使う意味

 我々がエクセルで行う作業では、多くの場合、CSVファイルやエクセル・ファイル、テキスト・ファイルが渡されて、それを整形や加工する作業が大きな比重を占めています。
 Power Queryのコネクタを利用することで、CSVやエクセルファイルだけでなく、Web上のデータや、特別なアドインやODBCの設定無しで多くのデータソースからデータの抽出が可能です。
 また、以下のような、データの変換作業にも強力な力を発揮してくれます。

  • データクレンジング : データのフィルタリングや不要な行の削除、データの加工、変換、分割など、データをきれいにするためのあらゆる機能があります。
  • データ統合 : 複数のデータセットを結合するためにVLOOKUPやXLOOKUPを使っていると思いますが、Power Queryでは関数や引数を書くことなく、データの結合やグループ化を視覚的に行うことができます。
  • データエンリッチメント : 新しい列を追加したり、データセットに対して計算を行うことができます。また、テーブルを動的に作成することもできます。

Power Queryを使用した変換作業では、殆どの作業が数式やコードを書く必要なく、メニューのコマンドで操作が可能です。その操作結果は、1つ1つステップとして記録され、どのような手順で操作を行ったか追跡することができます
作業の手順が検証可能であることは、データの信頼性を高めるためには大変重要です。

古典的なエクセルの操作で、エクセルシート上で複数ステップで変換を行ったり、データによって違う関数を使用したりすると、その手順の追跡、検証が難しくなります。また、最終的に値で貼り付けを行うと、シート上では追跡、検証が不可能になってしまいます。

 その操作した内容は M言語 で記録されているので、ユーザーはそのコードを学習することで、より便利な機能を手にすることができます。
Power Queryは、ノーコード、ローコード、プロコード、いずれの要望にも答えることができます。

 

企業であまり使われていないPower Query(パワークエリ)の威力

Power Queryを活用した基本事項点検のススメ

103_企業であまり使われていないPower Query(パワークエリ)の威力

解りやすい解説で、日本企業ではほとんど使われていないエクセルに標準添付のパワークエリが、エクセルデータの前処理に便利で、システム屋に依存せずにデータ処理(列選択・並び替えや行の選択、複数表の結合(Vlookup機能)など)がGUIで簡単にできることを解説。

様々なデータソースに接続して、欲しい情報だけを列や行を指定して抽出できる。
機能を試すために、私がやってみたところ、下記があまりにも簡単にできて驚いた。
 ・エクセルブックから
 ・データベースから
 ・PDFから
 ・Webの表形式データから (例:気象庁の気象データの必要列を指定して取り込み!が簡単にできた)

 

Power Query(パワークエリ)とは?Excelの限界を超える画期的なデータ処理を実現!

ビックデータのデータ処理や分析がますます身近になっている現代、初心者でも手軽に使えるツール「Power Query(パワークエリ)」をご存知でしょうか?

定期的に同じような手順でデータ編集や加工をしている方に、おすすめのツールです。

このブログでは、Power Queryとは何か、どのように活用できるのか、そしてExcel(エクセル)との違いについて解説します。さらに、使い方のコツや便利なテクニックもご紹介しますので、ぜひ最後までご覧ください。

 

Power Query(パワークエリ)とは |使い方を初心者向けに基礎から解説【練習問題付き

https://youseful.jp/microsoft/excel/powerquery-1/

 最近、Excelでは、会社が現在利用している2016年版以降と365で標準添付のパワークエリ―が結構使えるという話を聞いて、調べてみたら下記のようなことができると。試してみたら、結構使える!
 ExcelブックやCSVのデータを取り込んで、テーブルとしてデータを形成できます。またExcelブックの複数のシートを1つのシートにまとめることも可能です。
以下、引用紹介します。

複数のExcelブックを1つのシートに統合できる

 例えば、「1月売上.xls」「2月売上.xls」「3月売上.xls」のように、月別に分かれてしまっているブックがあるとします。Power Queryを使えば、各ブックを開き、シートをコピーしなくても、簡単に1つのシートに統合できます。
※リンク先のエクセルの列の選択・追加(計算結果項目)ができ、それを記憶しているので、異なるファイルやシートから、同じ項目名だけを抽出して連結できるのは強み。元のデータファイルに影響せず、整形や計算ができるのは、Accessのリンクと同様。パワークエリ―で作成した表は、更新をクリックすると、リンク先の更新や(フォルダーのエクセル全部集計の場合は)追加されたエクセルも追加反映してしてくれる。

WEB上のデータを取り込める

 Webに公開されている「都道府県別の高齢化率」をExcelでまとめるとしましょう。これまでは、WebのデータをExcelに貼り付けて見た目が崩れてしまう、またはデータが大きすぎてExcelが固まる、ということもあったかもしれません。Power Queryを使えば、表も崩れず一瞬でExcelに取り込めます。

PDFのデータを取り込める

 Web上のデータと同様に、PDFデータをExcelに取り込むことも簡単です。ただし、この機能はMicrosoft 365ユーザーのみ使用可能です。

複数の異なるテーブルを結合できる

 見出しが異なる複数のテーブルを使用する際、Vlookup関数のように必要データを取得して結合できます。例えば、ExcelブックとCSVデータの両方に「商品番号」があったとすれば、そのデータを基準に2つの異なるデーブルを1つにまとめられます。
※「SQLの結合」が、二つのシートで行える、3つ以上の場合は順次結合必要。項目名はシート名・項目名となる。エクセルができなかったSQLクエリーが使える。

GUIが多いので、どこを使えばよいのか分かりにくいので、使えるようになるには動画で見るのが どこにその機能があるのかが解りやすいので、お勧めです。
動画での使い方紹介例では、多数でていますが、例えば下記が解りやすい。

 

  https://www.youtube.com/watch?v=Wgo5rrrfrew

※エクセル(Excel)標準搭載のパワークエリーを利用する方法

 2016年版以降のエクセルでは、パワークエリ―が利用できる。新しく作ったエクセルファイルでパワークエリ・エディタを起動し、いろいろなデータをリンクしたクエリ結果をシート作成して貼り付け、表として確認できる。元ファイルに影響せず、データを加工できるのが強み。

 

実際にパワークエリ―で仕事をする場合は?
次に紹介する株式会社ビッグツリーテクノロジー&コンサルティングのサイトでは、実際に仕事に適用する場合のやり方が具体的にわかります。
CMが入らず、実際の流れが画面付きで解説されています。

Excel Power Queryを用いたデータ集計の自動化