共感覚メディア研究

先端メディアによる五感を通じた感動の拡張

藝大のアート思考が工学的知見と教育学的知見に結びつき、音楽と映像と情報技術の新たな融合を生み出しました。映像と同期する人工知能と音楽コンサートやゲームへの高度な映像技術の応用は、これまでの日常の感覚を凌駕する「共感覚の世界」を提供する試みであると同時に、五感に働きかける芸術体験として享受者の(身体)感覚を拡張させ、新たな芸術的な「感動」を実現する試みとして結実しました。共感覚メディア研究が、革新的な感動の広がりを芸術分野に切り拓きました。

研究プロデューサー
桐山 孝司(東京藝術大学 大学院映像研究科 教授)

動画

  • 動画

    ニューイヤーコンサート2022 オペラ「椿姫」AI字幕付き公演

    共感覚メディア研究|2021

    AIを使って舞台に字幕を自動的に映し出す世界初のオペラ公演を開催しました。
    詳細ページ
  • 動画

    音楽とアニメーションの調べ in L.A(東京藝大×USC)

    共感覚メディア研究|2019

    ロサンゼルスのAratani Theatreにて、総勢27名の藝大関係者と南カリフォルニア大学(USC)の協働で、ヴィヴァルディ「四季」ライブアニメーションコンサートを実施。ヤマハ株式会社と共同開発した「AI映像同期上映システム」を初披露し900名の観客に大盛況でした。
    詳細ページ
  • 動画

    MONSTRA Animation Festival “The Four Seasons” Concert in Lisbon

    共感覚メディア研究|2019

    リスボンでのMONSTRAアニメーションフェスティバルにて「四季」ライブアニメーションコンサートを披露しました。
    詳細ページ
  • 動画

    ヴィヴァルディ「四季」ライブアニメーションコンサートの初演

    共感覚メディア研究|2017

    AI映像同期上映システムを活用したヴィヴァルディ「四季」のライブアニメーションコンサートを北九州市立響ホールにて初演しました。
    詳細ページ
全てを見る
閉じる

Webサイト

  • Webサイト

    東京藝大デジタルツイン

    共感覚メディア研究|2021

    東京藝大の教育・研究の場として、上野、取手、北千住、横浜に次ぐ第5のキャンパスとして立ち上げたデジタルツインの制作に協力。ICTを活用した新しい表現やコミュニケーションを追求し、次世代を担う芸術の若い才能たちに、活躍と鍛錬の場を与えていきます。
    詳細ページ
全てを見る
閉じる

マテリアル

  • マテリアル

    遊んで学べるARアプリ「この音なあに」

    共感覚メディア研究|2017

    東京藝術大学COI拠点制作によるイベント「音と光の動物園」のコンテンツの一つとして制作。発達障がいがある小学生を主な対象に、ペーパークラフトづくりやデジタルアート、音楽と映像のコンサートを親子で体験できるワークショップです。
    カメラをかざすと、ARで動物たちが現れる、見て・聞いて動物たちを楽むアプリで、子供のオノマトペ(擬音語・擬態語)学習にも活用いただけます。
    詳細ページ
全てを見る
閉じる

イベント

  • イベント

    ニューイヤーコンサート2022 オペラ「椿姫」AI字幕付き公演

    共感覚メディア研究|2021

    AIを使って舞台に字幕を自動的に映し出す世界初のオペラ公演のレポート記事
    詳細ページ
  • イベント

    アヌシー国際アニメーション映画祭

    共感覚メディア研究|2019

    世界最大規模、最高の権威をもつアニメーション映画祭にて「AI映像同期上映システム」を活用したライブアニメーションコンサートを実施。また日本の次世代を担う若手クリエイター26人のなかに、同グループの薄羽涼彌特任助手が選出されました。
    詳細ページ
  • イベント

    東京藝術大学ゲーム学科(仮)「第0年次」展

    共感覚メディア研究|2018

    ゲームを「総合芸術表現の場」として再定義し、ゲームの概念や可能性を広げることを目指すCOI拠点との共催で、約6ヶ月をかけてコンテンツ制作した作品を展示しました。
    詳細ページ
  • イベント

    「東京藝術大学ゲーム学科(仮)」展

    共感覚メディア研究|2017

    インタラクティブなゲームを新たな芸術表現の場として捉えた「アニメーション to ゲーム」の手法を展示。南カリフォルニア大学、株式会社スクゥエア・エニックスからも多くの協力を得、ゲームと芸術について考える講義や議論の場を提供しました。
    詳細ページ
  • イベント

    2017年度成果報告会

    共感覚メディア研究|2016

    視界が上下左右に広がる球形スクリーンの特長を活かした高精細CGアニメーション(新作)を上映。3Dプリンティッド・アニメーション、サイエンスコンテンツ、演奏支援アプリやARを使った動物探しアプリを紹介しました。
    詳細ページ
  • イベント

    2016年度成果報告会

    共感覚メディア研究|2015

    球形シアターを活用した没入感検証のためのアニメーションや短編CGアニメーションを上映。ピアノ連弾と映像のコラボレーション企画やインタラクティブアニメーション、フォトグラメトリーやサイエンスコンテンツを展示発表しました。
    詳細ページ
全てを見る
閉じる

論文

  • 論文

    8Kと表現 〜Art ART of 8K展〜

    共感覚メディア研究|2020

    執筆:岡本美津子、桐山孝司、上平晃代(映像情報メディア学会誌)
    詳細ページ
  • 論文

    映像と音楽の同期システムを用いたヴィヴァルディ「四季」ライブアニメーションコンサート

    共感覚メディア研究|2020

    執筆:桐山孝司、薄羽涼彌、上平晃代、桒原寿行、越田乃梨子、前澤陽、田邑元一(映像情報メディア学会誌)
    詳細ページ
  • 論文

    インタラクティブな展示における設計と挙動の分析

    共感覚メディア研究|2019

    執筆:桐山孝司、佐藤雅彦(科学基礎論研究)
    詳細ページ
  • 論文

    発達障がい支援ワークショップにおける映像メディア の利用

    共感覚メディア研究|2018

    執筆:桐山孝司, 越田乃梨子, 桒原寿行, 上平晃代, 薄羽涼彌(映像情報メディア学会誌)
    詳細ページ
全てを見る
閉じる

知的財産権

  • 知的財産権

    特願 2020-183107「ゲーム装置及びプログラム」

    共感覚メディア研究|2020

  • 知的財産権

    特願 2019-686「映像制御システム、及び映像制御方法」

    共感覚メディア研究|2018

全てを見る
閉じる

その他

  • その他

    横浜市営地下鉄⾞内で緑内障啓発動画を放映

    共感覚メディア研究|2021

    緑内障の初期症状を紹介するため、世界緑内障週間にあわせ、横浜市立大学先端医科学研究センターコミュニケーション・デザイン・センターと東京藝術大学大学院映像研究科が連携して制作した動画が、横浜市営地下鉄の車内ビジョンで放映されました。
    詳細ページ
  • その他

    横浜市立大学、アステラス製薬とともにHealth Mock Lab.を設立

    共感覚メディア研究|2019

    大学院映像研究科ゲームコースを中心として、横浜市立大学、アステラス製薬とともに、ゲーミフィケーションを用いた新たなデジタルヘルスケアソリューション創出へ向けてHealth Mock Lab. を発足させることになりました。
    詳細ページ
全てを見る
閉じる