UiPathでネット上にある情報を収集して(データスクレイピング)活用してみよう!

UiPath

ネットの情報をデータとして活用したい場合、UiPathを使うことで自動的に取り込むことができます。

その流れをまとめてみました。

ネットのデータを活用したい

ネットで検索すると、たくさんの情報が出てきます。

気になることがあれば、まずネットで検索するということも多いのではないでしょうか。

また、ネットを使った手続き、サービスも数多くあります。

  • Amazonで本を買う
  • サーバー管理画面からエラーを確認する
  • クラウドにデータを保存する
  • ネットで新幹線のチケットを購入
  • ネットで学ぶ(教材)
  • ネットで住所変更
  • ネットで申し込み
  • ネットで送金
  • クラウド会計

さらに、ネットにあるデータを活用するというのも、身近になっています。

そのネットにある情報。CSVファイルでダウンロードして、活用することができるものもありますが、まだまだできないデータも多く。

ネットにあるデータをそのままコピペして、貼り付けても、グチャッと残念な感じになったり、(やり方が悪い?)データ数が多いと、手間も時間もかかります。

UiPathには、データスクレイピングという機能があり、これを使うことでネット上にあるデータを自動認識で取得することができます。

UiPathでe-taxのメールボックスデータをスクレイピング

今回の例は、確定申告書等作成コーナー内にあるメールボックスのデータをCSVファイルで取得するというもの。

Uipathを使うことで、最終的にExcelにデータを書き出すことができます。

スクリーンショット 2019 04 19 12 52 51

自動化の流れ

まずは、UiPathにお願いする処理の流れを確認。

「確定申告書等作成コーナー」に利用者識別番号とパスワードを入力してログイン。

スクリーンショット 2019 04 19 13 59 14

メインメニューから「メッセージボックス一覧」を確認。

スクリーンショット 2019 04 19 13 45 38

 

補足
「認証画面へ→確認画面へ」とすると、「****」が解除され、すべてのデータを確認できますが、今回はかんたんにするため、マイナンバーカードの読み取り、ログイン後の「認証画面へ」での処理については省略しています。

画面に表示されたデータをスクレイピングし、

スクリーンショット 2019 04 19 13 50 13

CSVファイルにデータ保存をする流れです。

スクリーンショット 2019 04 19 12 52 51

UiPathによるデータスクレイピング

では、UiPathによるデータスクレイピングを見ていきます。

メッセージボックスにログイン

まずはブラウザーから「確定申告書等作成コーナー」にアクセスし、ログインします。

UiPathでメニューからレコーディング→ウェブをクリックし、

スクリーンショット 2019 04 19 14 21 08

続いて、ブラウザを開くをクリックします。

スクリーンショット 2019 04 19 14 21 23

ログイン画面を指定しましょう。

スクリーンショット 2019 04 19 14 12 00

そこまでで、一旦保存すると、UiPathではこんな画面になるはずです。

スクリーンショット 2019 04 19 14 20 45

利用者識別番号とパスワードを入力

ログイン画面では、利用者識別番号とパスワードを入力しますが、ここは先ほどのWebレコーディングで進めましょう。

スクリーンショット 2019 04 19 14 32 42

通常のワクでなく、下の黒いワクの中に1つずつ入力していきます。

スクリーンショット 2019 04 19 14 30 10

1つずつレコーディングをしていき、

スクリーンショット 2019 04 19 14 35 58

レコーディングを終了し、保存します。

スクリーンショット 2019 04 19 14 55 37

データスクレイピング

メッセージボックスへのログインできたら、データが表示されているはずです。

これをデータスクレイピングで抽出します。これが今回のヤマです。

UiPathのデータスクレイピングをクリックし、

スクリーンショット 2019 04 19 12 54 18

「要素を選択してちょ」と言われるので、「次へ」をクリックし、
スクリーンショット 2019 04 19 14 42 52

データの適当な場所をクリックしましょう。(表の中のデータならどこでも大丈夫です)

スクリーンショット 2019 04 19 13 50 13

クリック後、「君の欲しいデータはこれかね?」と聞かれますので、よければ終了を。

スクリーンショット 2019 04 19 12 16 25
補足
結果件数の最大値は、100となっていれば、100件。全件取得したい場合には、「0」に変更します

その後、「次のページにも欲しいデータある?」と、

スクリーンショット 2019 04 19 12 16 36

あれば、「はい」。なければ「いいえ」です。

「はい」の場合には、次のページに進むためのボタン(メッセージボックスでは「過去分」)をクリック。

クリック後、UiPathのプログラミング画面に切り替わります。このとき、画面の右側プロパティに「ExtractDataTable」という変数ができているはずです。(自動で)

CSVファイルに書き出し

データスクレイピングしたデータを今回は、CSVファイルに書き出します。

データスクレイピングのすぐ下に、アクティビティ「CSVに書き込む」(左側で検索できます。)をドラッグし、
スクリーンショット 2019 04 19 15 07 20

下のワクには、先ほどの変数「ExtractDataTable」を。

上のワクの右側の□をポチッとクリックし、保存先を指定、名前をつけます。

スクリーンショット 2019 04 19 12 19 53

ここでは「data.csv」としました。

変数の入力は、最初に「e」を入力すると、候補として「ExtractDataTable」が出てきます。

これで動かしてみると、下記のようなデータを取得できます。

スクリーンショット 2019 04 19 12 52 51

という感じで、ネット上にあるデータは、利用を前提としていないものも多いのですが、データスクレイピングをすることで、利用することができます。

興味があれば、一度やってみていただければ。


【編集後記】
昨日は1日事務処理を中心に。とある試験を受けてみようかと思い、以前に本を買っていたのですが、そのままになっていて、「そろそろ…」と日曜日から少しずつ始めました。ブログネタになればそのうち。

【昨日の1日1新】

※「1日1新」→詳細はコチラ

とある手続き完了通知


相続税申告・ひとりしごとをサポートします 植村豪税理士事務所

相続や贈与のことでお悩みの方、「決算書の数字が読めない」、「資金繰りを改善したい」、「クラウド会計を使ってみたい」というひとり社長やフリーランスの方のサポートに力を入れています。