このスライドでは 社会で活躍する 強化学習を活用した事例を紹介します
3. スライド学習① ( 3 / 14 )
社会で活躍する強化学習を活用した事例
強化学習を活用した事例
Googleデータセンターの冷却エネルギーを40%削減
Googleのデータセンターでは、たくさんのサーバ等の設備が常に稼働しているため、大量の熱が発生し、それを冷却するために多くの電力が必要でした。
そこで、冷却にかかる電力を削減するため、DeepMind社（ディープマインド社）の強化学習の技術を活用したAIを導入した結果、冷却設備の電力を40％削減することができました。
このAIは、サーバの稼働状況やその日の気候に応じて、冷却設備の設定を自動で調整します。
これにより、冷却効率が上がり、データセンター全体の電力消費を大幅に減らすことができたのです。
データセンターを冷却するために どうしてそんなに多くの電力が必要なんですか？
データセンターのサーバは 動いている間にたくさんの熱が発生するため 常に冷やしておかないと性能が落ちたり壊れてしまいます
そのため 大規模な冷却設備が必要となり データセンターの電力の大部分はこの冷却設備が占めているほどなんですよ
データセンターの電力の大部分が冷却にかかっているんですか！
冷却がデータセンターにとって とても重要な役割を果たしているってことなんですね
以下は Googleデータセンターの冷却所を映した画像です
たくさんのカラフルなパイプの中には サーバの熱を冷却するための水が通っています
Googleデータセンターの冷却所
引用元：Google Data Center 360° Tour
https://www.youtube.com/watch?v=zDAYZU4A3w0
そういえば DeepMind社って聞いたことがある気がするな…
DeepMind社は 囲碁の世界チャンピオンに勝利した「AlphaGo（アルファ碁）」を制作した会社です
AlphaGoで用いた強化学習の技術を応用して 冷却用AIは作られているんですよ
そうなんですね！ボードゲームAIで用いた技術が社会で活用されているなんて驚きました
コ
ラ
ム
データセンターとは？
データセンターとは、インターネットやクラウドサービスを提供するために、たくさんのサーバ（コンピュータ）を集めた施設です。
例えばGoogleのデータセンターにあるサーバでは、Google検索や、Gmailなど、Googleのさまざまなサービスを動かすために使われています。
地震の揺れを強化学習技術で抑える
NTTファシリティーズは、地震被害を軽減するため、超高層ビルの揺れを抑える、強化学習を活用したAI技術を開発しました。
この技術は、ビルの揺れを吸収し、振動を軽減する「ダンパー」と呼ばれる設備をAIがリアルタイムで制御し、地震の揺れに応じて最適な調整を行います。
東日本大震災をきっかけに、従来の固定するだけの制御では対応が難しい、強く長時間続く揺れへの対策が求められました。
このAI技術により、ビル内の安全性が向上し、より安心して生活できる環境を提供します。
以下の動画では、シミュレーション環境で地震によるビルの揺れを再現しています。
「ダンパーなし」の方は揺れが大きく、特に最上階の方が大きく振られている様子が、かごの中のカラーボールの動きからも見てとれます。
一方、AI制御付きの「ダンパーあり」では、「ダンパーなし」と同じ強さの揺れでも、効果的に抑えている様子が分かります。
以下の「ダンパーなし」の動画は 揺れを抑える「ダンパー」が全く付いていない状態です
ダンパーなし（1:10～1:30まで）
引用元：INFORIUM PR「ダンパーなし(2018年2月19日)」
以下の「ダンパーあり」の動画は 揺れを抑えるための「AI制御付きのダンパー」が付いている状態です
ダンパーあり（1:10～1:30まで）
引用元：INFORIUM PR「ダンパーあり(2018年2月19日)」
この「ダンパー」っていうのが 人間でいうバランスを取るような役割をしてくれているってことだよな
ダンパーなしとありを比べると 揺れの大きさが全然違って驚いたな
これも強化学習技術を使っているんですよね
どのような報酬の与え方をしているんでしょうか？
ここでは 揺れを小さくすることができればプラスの報酬を与える という仕組みで報酬設計が行われています
これにより AIは試行錯誤を重ねながら どのような行動をとれば 揺れを最小限に抑えられるかを自ら学習していくわけです
信号を制御して渋滞を削減
道路の渋滞を減らすため、強化学習を活用してリアルタイムで信号の切り替えタイミングを調整する技術が期待されています。
例えば、ある交差点で赤信号によって車が詰まり始めると、AIが青信号に切り替えて車を通し、渋滞を緩和します。
現在、多くの信号はあらかじめ設定された時間通りに赤や青に切り替わったり、歩行者ボタンの操作によって制御される方式が主流です。
しかし、AIが信号の切り替えを試行錯誤し、渋滞が減少した際に報酬を得るという仕組みを通じて学習することで、車の流れをスムーズにするための最適な信号切り替えタイミングをリアルタイムで調整し、渋滞を効果的に減らすことが可能になります。
AIが交通量をリアルタイムで確認して 上手く信号の切り替えをしてくれれば もっと快適でスムーズな運転環境が実現するってことだよな
この技術が進化していけば 渋滞のストレスが減りそうだな
ここまで「ブロック崩し」や「三目並べ」のようなゲームを通して 強化学習の仕組みを学んできました
ですが この技術はゲームだけにとどまらず 実際には 自動運転や電力の削減など 現実社会でも応用されています
強化学習の可能性は これからもさらに広がっていくでしょう
