ジオマーリン

仕様を公開してアドバイスを受けながら geomerlin.com を構築していくスタイル。このシステムではデータサイエンスと人工知能技術により地政学リスクを算出しています。

geomerlin.comのシステム全体図を公開

 ちょっとエンジニア向けのページになります。

仕様を公開する意図は

①アドバイスを受けたいこと

②ユーザーを巻き込んだ開発にすること

です

f:id:geomerlin-com:20170410221117p:plain

 

よくありそうな図ですね。

クローリング→自然言語処理→DB保存→ユーザーのリクエストに対してリスポンス

 

次に細かく書きます。

①クローラ

  • 普通にurllibを使用。pyextracontent(python2)をpython3から呼び出し
  • 加えてbingNewsAPIから国ごとの情報を取得
  • RSSのデータベース(sqlite3)を元にクロール先のurlを決定

自然言語処理

③サーバーサイド(AWS

④クライアントサイド

  • 可視化(特に地球儀・エフェクト)をD3で処理。
  • リクエストはAjax
  • いくつかUIをbootstrap
  • タップイベントとかはjquery
  • スマホアプリはMonaca+Inappbrowserプラグイン