TOP > IT・テクノロジー > AV Watch > バーチャルキャラ...

バーチャルキャラの楽器演奏配信で、“指の動き”再現可能に。ドワンゴら開発 - AV Watch

53コメント 登録日時:2018-09-14 17:33 | AV Watchキャッシュ

ドワンゴとバーチャルキャストは、演奏した電子楽器から出力されたMIDI信号を判別し、バーチャルキャラクターの手先の動きに反映、キャラクターのライブ配信などに使えるる「運指再現技術」を独自開発。ニコニコ生放送での運用に成功した。...

Twitterのコメント(53)

同時に11音を鳴らすとか、離れた音を鳴らすとかしたらどーなんだろ?
これは普通にすごい。テトでやってほしい
サーカスギャロップを!
見ましたか?!
指の動き再現できるなら指文字いけるやん!!て思ったら…
"演奏した電子楽器から出力されたMIDI信号を判別し、バーチャルキャラクターの手先の動きに反映" なるほど~
この技術欲しい…
「動き」の技術というとコレ、かのパヤオ氏が激怒したアレの技術入ってるの?
これ複数の運指が考えられる場合はどうやって決めるんだろう?
そこまで再現しようと思ったらMIDIデータだけじゃ無理だよな
ほえーバーチャルドラマーとかもそのうち出てくるんやろか
これ、どこまで再現可能なんだろ?グリッサンドとかクラスタとかやらせてみたい。: -
こんなん頭お菓子なるで
今知ったんだけどこれ演奏中に別の人がたかーい鍵盤ちょっと押したらトムになれる?
あーなるほど!楽譜側から指の動きを引っ張ってくるのか!
そのうちVRオーケストラとかもできるようになるのか。
前にさらっと聞いたやつこれか
ここまで来たか、いいぞいいそ
確か既にMMDであった気がするんだが....
はじまったな
俺がノイズミュージック系vtuberとしてデビューしたらノイズマシンのツマミを回す動きも読み取ってくれる・・・?
"再現可能に。ドワンゴら開発。こんな話題聞いたら、アイドルと言うお約束が全然違って来てるみたいな。永遠に年をとらないし、次から次へと、新しいキャラが生み出されるみたいなさ。
鍵盤とMIDI前提なのと、「1秒」って致命的に遅い気がする /
MIDIって現役の期間がものすごく長いですね。ハードやテクノロジーが変わってもずっと使える、普遍性がある、よく考えられた規格だったということか。
指自体をトレースするんじゃなくて楽器の音声信号を指の動きに逆変換する発想はなかった。
MIDIさえあれば指ちゃんと動作組めるとか最高すぎるだろ *
>演奏した電子楽器から出力されたMIDI信号を判別し、バーチャルキャラクターの手先の動きに反映、キャラクターのライブ配信などに使えるる「運指再現技術」を独自開発。ニコニコ生放送での運用に成功した。

"再現可能に。
え、これすごくない?
でもラグ1秒は結構でかいね 0.05秒くらいまで詰めてほしい
記事の3行目「使えるる」になってます。(9/16現在)
音から反映でタイムラグ1秒程度!?やばいすごいやばい(語彙力)
すご!すご! NowBrowsing: Watch:
すごい時代が来てしまった
MIDIもUnityにとって貴重な入力信号だってはっきりわかんだね |
MIDI情報読み取って運指再現するって、とんでもなくすごくないか…ラフマニノフとか弾けるのかな… /
これで俺もアイドルになれるな! /
「演奏した電子楽器から出力されたMIDI信号を判別し、バーチャルキャラクターの手先の動きに反映、キャラクターのライブ配信などに使えるる「運指再現技術」を独自開発」→
これ、どこまでできるんだろうか。初音ミクの時のように、人類には再現不可能な超絶技巧とかできるようになるんだろうか
うわくそ!!!作ろうとしてたやつ出遅れた!!!うわあああ!!!!!! 本当に苦しい!!!!ええ!!!?涙が出そうなんだけど!!!!!まじかよ!!!!!もう!!!!
バーチャルキャラクタに命を吹き込む技術に新たな進化が… @avwatch
おおー!ギターとかもできるのかしら?
"電子楽器から出力されたMIDI信号を判別し、バーチャルキャラクターの手先の動きに反映、キャラクターのライブ配信などに使えるる「運指再現技術」を独自開発。"
これすばらしいですね!原理的にギターとかは難しいだろうけど簡単に導入できるようになれば VR でライブとか「弾いてみた」系が盛り上がりそう〜 "演奏した電子楽器から出力されたMIDI信号を判別しバーチャルキャラクターの手先の動きに反映する技術を独自開発"
これ見てないけど運指再現ってことは指こえも再現したんか。どういう仕組なんやろ。決まった曲を楽譜通りに弾く場合のみか即興にも対応してるのか。気になる…
これだとギターやらは再現するの難しそうなんだよな。
"バーチャル空間での楽器演奏などにおいて、今まで不可能だったキャラクターの手先の動きを実際の人物の動きのように再現・反映できる。"
/
電子楽器から出力されたMIDI信号を判別し、バーチャルキャラクターの手先の動きに反映する「運指再現技術」を独自開発。ニコ生での運用に成功。バーチャルアイドル・ときのそらのニコ生デビュー1周年記念番組にて。 / "バーチャルキャラ…"
@_kanade_kanon みゅみゅ教授(@ miyumiyuna5)がツイートされてました!!!
こういうの大好き。でも指の推定を間違ったら「えくす手」みたいなことになりそう。
あーmidiから再現か。なるほど/
これは試してみたい→「"再現可能に。ドワンゴら開発」
鍵盤とドラムはいい感じに再現出来そう!
尚、ギタリストのワイには関係ない模様(諸行無常)
ときのそらさん一周年記念生放送のピアノ、MIDI信号ベースで当て込んでいたようです。なるほどー!
"現実の環境で叩かれた鍵盤から出たMIDIデータを認識し、その音の対象となるバーチャルキャラクターの指の動きを、1秒程度のタイムラグで、ほぼリアルタイムに反映させる"
手先の動きまで反映できるのはすごい!

Sベン
以上

記事本文: バーチャルキャラの楽器演奏配信で、“指の動き”再現可能に。ドワンゴら開発 - AV Watch

関連記事