共感覚メディア研究

代表メンバー

桐山 孝司(東京藝術大学 大学院映像研究科 教授)
桒原 寿行(東京藝術大学 特任講師)
情報通信研究機構、ヤマハ


インタビュー動画(桐山 孝司先生)

グループ概要と成果

生演奏の速度の変化に追従してアニメーションを再生する「AI映像同期上映システム」を、ヤマハとともに世界で初めて開発した。この技術を使ったヴィヴァルディ「四季」ライブアニメーションコンサートを、映像の聖地ロサンゼルスやアヌシーアニメーションフェスティバルなど国内外で行った。人間の演奏者とAIが共演する近未来コンサートを、映像の面から追求している。

画像認識やセンサー連動など、自然な形で映像とインタラクティブに関わる技術を開発している。公共機関での展示(インスタレーション)や、医療機関でのアニメーションの利用を通して社会実装に結びつけている。横浜市立大学、アステラス製薬とともにゲーミフィケーションフォーラムを開催し、HealthMock Labの活動を紹介。

参照リンク「この音なあに」
https://www.kono-otonaani.com/

ダイダラの砂箱(音と光の動物園にて)
サムネイル_四季ライブアニメーションコンサート in Los Angeles 2019
OtOmi CEIDAICOIMEDIA

コロナ対応

ヤマハの協力のもとに高音質、低遅延の通信環境を整え、自宅で練習している音楽学部の学生への遠隔レッスンをサポート。同時に人間とAIの共演の開発に向けて、オンライン上での存在感や間合いを研究。

紹介動画


20190113 Vivaldi’s “The Four Seasons” Live Animation Concert in Los Angeles

20190321 MONSTRA Animation Festival "The Four Seasons" Concert in Lisbon

20171119 四季初演(北九州市立響ホール)「秋」のみ

東京藝術大学COI「感動」を創造する芸術と科学技術による共感覚イノベーション拠点

About
- COIについて
- 本拠点の目的
- 実施体制
- 研究テーマ
Information
- お知らせ
成果発表
- 成果発表一覧
ニュースレター
- hYoUrE
LAB.place
- 施設概要
コンタクト
- お問い合わせ
- リンク
- アクセス

Copyright © Tokyo university of the Arts All rights reserved.