今年1月に発売されたアーティストスクエアプッシャーのニュー・アルバム『Be Up A Hello』の1曲『Terminal Slam』のミュージック・ビデオが話題になっている。舞台は、東京・渋谷。スクランブル交差点で女性がAR／MRグラスをかけると、渋谷の街中にあるサイネージ、屋外広告、トラック広告など、あらゆる広告が音に反応して動き出す。街中に存在する広告を全て消去、もしくはスクエアプッシャー由来の広告に入れ替えるということを行ったDiminished Reality,Mixed RealityのMVは、どのようにして生まれたのか。ディレクションを手がけたライゾマティクス 真鍋大度さんに聞いた。
渋谷スクランブル交差点から街中、駅と見慣れた光景が次々と展開されるスクエアプッシャーのMV『Terminal Slam』。
街中の風景を自由に書き換える
ここのMVをディレクションすることになったのは、昨年東京で開催された音楽レーベルWARPの30周年記念イベントでのこと。スクエアプッシャーとは以前からコラボレーションやライブのサポートなどで親交があったのですが、そのときに「もうすぐアルバムを出すからMVについてブレストしたい」と話がありました。ブレストでは、僕が最近手がけている機械学習のプロジェクトなどテクノロジーや未来の広告について話しました。
なぜ広告の話になったかといえば、音楽フェスティバルを始めいろいろなことが広告的になりすぎているということが発端でした。そこから発展して、近い将来には街中でメガネやイヤフォンをつけると広告的な情報が流れてきたり、Webで起きているターゲティング広告が現実的な生活の中に入り込んでくるかもしれない。逆に「広告なんて見たくない」と思ったら消してしまえばいい、そんなことができるかもしれないね、と。ただこの時点では、僕はMVのディレクションについては正式にオファーを受けていませんでした。
その後、正式に依頼を受けてから、具体的な世界観をテキストにまとめました。舞台は2030年くらいの、未来の渋谷。AR／MRグラスをかけることによって、街中の風景を自由に書き換えることが出来るようになるだろうというストーリーで、これが僕にとっての企画書と言えるものかもしれません。それを制作チーム、レーベルとスクエアプッシャーに送りましたが、実はどの曲にするか決定していませんでした。
方向性が決まった後、僕がこのMVで表現したい内容や使いたい技術について、彼に説明しました。これもプレゼンという感じではなく、実際に動くスケッチやテスト映像を見てもらう感じで途中経過報告の様な感じでした。今回使ったのは主に機械学習の技術で、Image Inpaint（画像修復技術）の発展形でDiminished Reality（減損現実）という概念です。まず撮影した画像の中にある広告や建物などの位置を認識させ、その画像の中のピクセル1つひとつに対してラベル付けを行い、意味に応じて画像領域を分けていきます。
そこにImage Inpaintを使うことによって、街の中に存在する広告や人物を消すことができる。今回は渋谷を中心に街中を撮影していることもあり、肖像権などの観点からしっかりとエフェクトをかけなくてはいけない部分もあったので、自動で処理をしたのちに1フレームごと細かくチェックしています …
