「クローリング」と「スクレイピング」 = Crawling & Scraping : 「AI不動産投資」を例に「プログラミング」を学ぶ!

日常行なわれている仕事が、次々とAI化されています。 　「経験に基づく仕事」や「型にはまった単純作業」ほど、AIで代替しやすく、高精度で効率良く仕事をこなしてくれます。 「不動産投資」も、まさにこの単純作業です。 　不動産を購入するまでのプロセスは、1物件情報仕入れ→2価格予測→3買い付け→4交渉……という、4ステップを踏む必要がありますが、投資家は、この1〜4をひたすら繰り返しているだけです。 　特に、この1と2は極めてシンプルで単純作業なため、「AI」のほうが「人間」よりもはるかに適しています。 　本書では、「AI」を活用した「不動産投資」を例に、Web技術である「クローリング」と「スクレイピング」プログラミングをやさしく解説します。 ［クローリング］…ロボット型検索エンジンにおいて、Webページ上の情報を複製・保存すること。 ［スクレイピング］…WebサイトのHTMLから情報を収集し、解析・加工などの処理を行なうこと。 ■AIによる不動産投資の自動化 ・AIに代替される不動産投資プロセス ・不動産投資の仕組み ・AIを用いた価格査定 ■スクレイピング技術 ・「スクレイピング技術」でできること ■「Python」+「Selenium」を用いたChromeスクレイピング ・環境構築 ・ブラウザのテスト ・不動産サイトの「スクレイピング」 ■IPアドレスによる自動BAN ・「Proxyサーバ」の仕組み ・Proxyによる自動BAN回避 ・「Proxyサーバ」の構築と利用 ■形態素解析を用いた不動産ビッグデータの名寄せ ・不動産データの名寄せ ・文字列処理 ■不動産情報における「GISデータ」の扱い ・「GISデータ」とは ・MySQLで「GISデータ」を扱う ■「lightGBM」を使った不動産価格予測 ・なぜ「AI」で「価格予測」をするのか ・「不動産価格予測AI」の仕組み ・「不動産価格予測AI」の実装 ■「RESAS-API」を使った「地域人口データ」の扱い ・「将来価値予測」と「機械学習の限界」 ・「RESAS」（リーサス）とは ・RESAS API/「RESAS API」の登録 ・PythonからRESAS-APIを利用 ・Anti-CAPTCHA