JP3786345B2 - Kansei sharing system - Google Patents

Description

【００３３】
「時性」は、重心座標を１次微分することによって、つまり（１／３０）秒前の重心座標と現時点の重心座標の差分を（１／３０）秒で割り算することによって、求められる。「力性」は、重心座標を２次微分することによって、つまり前回の１次微分値と今回の１次微分値との差分を（１／３０）秒で割り算することによって求められる。「空間性」は、シルエット画像の面積をこのシルエット画像に外接する矩形の面積で割り算することによって求められる。
【００３４】
ステップＳ１３ａでは、測定された「時性」，「力性」および「空間性」の３つのパラメータに基づいて、ダンサーＡの感性ベクトルを推定する。すなわち、“Natural”，“Happy”，“Dynamic”，“Flowing”，“Sharp”，“Lonely”および“Solemn”の７種類の感性に対応する７つの重回帰式の右辺に、ステップＳ１１ａで求めたダンサーＡの３つのパラメータを代入する。これによって、ダンサーＡについて推定された７次元感性ベクトルの各要素が、７つの重回帰式の左辺に現れる。上述のように、この感性ベクトルの各要素は、ダンサーＡのダンス映像から推定された７種類の感性の得点を示す。推定された感性ベクトル値は、メモリ１４のデータ記憶領域１６ａ（図２参照）に格納される。
【００３５】
ステップＳ１５ａではゲーム終了フラグＦの状態を判別する。ゲーム終了フラグＦは、後述するステップＳ２５（図１０参照）でリセットされ、ステップＳ６１（図１１）でセットされる。ゲーム終了フラグＦがリセット状態であれば、次の（１／３０）秒後のダンサーＡの撮影画像信号を取り込むべくステップＳ３ａに戻る。一方、ゲーム終了フラグＦがセット状態であれば、ステップＳ１７ａに進む。ステップＳ１７ａでは、イベント管理者によってダンス大会（イベント）終了のシステム指示が与えられたかどうかをチェックする。ダンス大会終了のシステム指示が与えられていなければ、次のゲーム開始に備えるべくステップＳ１ａに戻る。一方、ダンス大会終了のシステム指示が与えられると、このルーチンを終了する。
【００３６】
図９は、カメラ８２から取り込んだダンサーＢの撮影画像信号を処理するルーチンであるが、図８および図９を比較すれば分かるように、このルーチンは図８に示すルーチンと同様であるため、詳しい説明は省略する。
【００３７】
異なる点は、ステップＳ１ｂにおいてダンサーＢ用のデータ記憶領域１６ｂがクリアされる点、およびステップＳ１３ｂにおいてダンサーＢのダンス映像から推定された感性ベクトル値がデータ記憶領域１６ｂに格納される点である。なお、図８および図９に示すルーチンは、互いに同期をとられることなく独立して実行されるが、データ記憶領域１６ａおよび１６ｂには、常に最新の推定感性ベクトルが残される。
【００３８】
つぎに、図１０〜図１４を参照して、映像コンテンツおよび音楽コンテンツを制御するための処理について説明する。まず、ステップＳ２１で、データ記憶領域１６ｃのクリアを含むイベント開始用の初期化を行い、次にステップＳ２３で導入用の背景画像（イベント開催タイトル）と導入用の音楽とを配信するとともに、モニタ２８およびスピーカ２６から出力する。つぎにステップＳ２５においてデータ記憶領域１６ａ，データ記憶領域１６ｂ，カウンタ１８ａおよびカウンタ１８ｂのクリアおよびゲーム終了フラグＦのクリアを含むダンスゲーム開始用の初期化処理を行う。
【００３９】
ステップＳ２７では今回のダンスゲームのマルチメディア表現に使用する音楽コンテンツおよび映像コンテンツの決定を行う。ここで決定される音楽コンテンツおよび映像コンテンツは、上述の通り７つの感性に対応して、通常状態（協調度が一定レベルに達していない状態）および協調状態（協調度が一定レベルに達している状態）さらに、ダンス大会導入用の計１５種類を１セットとする音楽コンテンツおよび映像コンテンツである。これらの音楽コンテンツおよび映像コンテンツは音楽コンテンツ提供者および映像コンテンツ提供者からそれぞれ提供されたコンテンツであり、データベース２４に蓄積されているものから選択される。選択の方法は、ランダムに選択する方法もあるが、後述するようにコンテンツに対する評価が高いものから順に選択するようにしてもよい。なお、ステップＳ２７では前回と同様の音楽コンテンツおよび映像コンテンツを複数回にわたって選択するようにしてもよい。こうすることによって、同じ音楽コンテンツと映像コンテンツとが異なるダンサーによってマルチメディア表現される。したがって、音楽コンテンツおよび映像コンテンツの評価のダンサーによる偏りを回避することができる。
【００４０】
使用する音楽コンテンツおよび映像コンテンツが決定すると、ステップＳ２９でゲーム開始のタイトル文字（映像）および音声の配信を行い、ステップＳ３１では、今回のダンス大会に参加するダンサーの名前，音楽コンテンツの制作者名および映像コンテンツの制作者名を発表する文字（映像）および音声の配信を行う。さらに、ステップＳ３３ではゲーム導入用の背景映像コンテンツおよび音楽コンテンツの配信を行う。
【００４１】
ステップＳ３５では起動から（１／３０）秒が経過したかどうか判断し、ＹＥＳであれば、参加する全てのダンサー（ダンサーＡおよびダンサーＢ）が存在するかどうかをステップＳ３７で判断する。この判断は、ダンサーＡおよびダンサーＢの両方の感性ベクトル値がデータ記憶領域１６ａおよびデータ記憶領域１６ｂに存在するか、ならびにダンサーＡおよびダンサーＢの人物画像が存在するかどうかによって行う。
【００４２】
最初の（１／３０）秒が経過した直後のステップＳ３７では、ダンサーＡおよびダンサーＢのいずれの感性ベクトル値も存在しないおそれがある。また、一方のダンサーが登場し、このダンサーの感性ベクトルが得られたとしても、他方のダンサーが登場せず、このダンサーの感性ベクトルが得られていないおそれもある。このような場合、ステップＳ３７からステップＳ３９に進み、存在するダンサーの人物画像のみをすでに出力されている導入用背景画像にオーバレイする。オーバレイ処理が完了すると、ステップＳ３５に戻る。
【００４３】
したがって、ダンサーＡおよびダンサーＢのいずれも登場していなければ、導入用背景画像だけが配信される。この状態でダンサーＡが先に登場したときは、ダンサーＡの人物映像が導入用背景画像の向かって右半分にオーバレイされる。ただし、いずれの場合でも、配信された導入用音楽が流れ続ける。
【００４４】
オーバレイ処理は、次のようにして実行される。中央装置１０は、グラフィックボード２２を備えており、ＣＧ（Computer Graphics）処理によって作成された背景画像などのＣＧ画像信号と、カメラ７２およびカメラ８２から取り込んだ撮影画像（図８のステップＳ５ａおよび図９のステップＳ５ｂにて（１／３０）秒毎に取り込んだ撮影画像信号）とがグラフィックボード２２に供給される。グラフィックボード２２は、導入用背景画像の上にダンサーＡの人物画像をオーバレイしたり、人物画像をシルエット化したり、さらには人物画像のシルエット部分を別の模様で表すなどの特殊効果を与えたりすることができる。中央装置１０は、このようなグラフィックボード２２に対して合成用の画像ソースおよび合成方法を指定し、かつグラフィックボード２２上の対応出力を選択すれば、指定された要領で作成された合成画像信号が（１／３０）秒のフレームレートでグラフィックボード２２から出力され通信回路３０を介して配信される。ステップＳ３９の処理は、具体的には、グラフィックボード２２に対して合成用画像ソースおよび合成方法を指定し、グラフィックボード２２上の対応出力を選択する処理である。
【００４５】
ダンサーＡおよびダンサーＢが登場するとステップＳ３７でＹＥＳと判断されてステップＳ４１に進み、データ記憶領域１６ａおよびデータ記憶領域１６ｂに格納されている最新の感性ベクトルに基づいてダンサーＡおよびダンサーＢの主要感性を決定するとともに、決定された主要感性の出現回数をカウントする。主要感性は、感性ベクトルを形成する７つの要素のうち、最大値を示す要素に対応する感性である。主要感性の出現回数は、ダンサーＡおよびダンサーＢについて個別に用意された７つのカウンタ１８ａ−１〜１８ａ−７および１８ｂ−1〜１８ｂ−７によってカウントされる。つまり、カウンタ１８ａ−１〜１８ａ−７がダンサーＡによって表現される７つの感性にそれぞれ割り当てられ、カウンタ１８ｂ−１〜１８ｂ−７がダンサーＢによって表現される７つの感性にそれぞれ割り当てられ、そして決定された主要感性に対応するカウンタがインクリメントされる。
【００４６】
ダンサーＡの最新の感性ベクトルＭ_AおよびダンサーＢの最新の感性ベクトルＭ_Bを数２によって定義したとき、仮に数３が成立すると、ダンサーＡの主要感性は番号２に対応する感性すなわち“Happy”と決定され、ダンサーＢの主要感性は番号６に対応する感性すなわち“Lonely”と決定される。なお、最大値が複数存在した場合は、小さい番号に対応する感性が主要感性とされる。
【００４７】
【数２】

【００４８】
【数３】

【００４９】
続くステップＳ４３では、最新の感性ベクトルの純度をダンサーＡおよびダンサーＢの各々について求める。純度は、主要感性を示す要素の値（主要感性の得点）の絶対値を感性ベクトルの長さで割り算することによって求められ、算出された数値は“０．０”〜“１．０”間で変化する。ダンサーＡの純度をＰ_Aと定義し、ダンサーＢの純度をＰ_Bと定義すれば、Ｐ_AおよびＰ_Bは数４に従って算出される。算出された純度は、データ記憶領域１６ｃに蓄積される。
【００５０】
【数４】

【００５１】
ステップＳ４５では、最新の感性ベクトルに基づいて、ダンサーＡおよびダンサーＢの間の感性協調度を次のようにして算出する。まず、ダンサーＡの最新の感性ベクトルＭ_AおよびダンサーＢの最新の感性ベクトルＭ_Bを正規化して正規化感性ベクトルＭ_NAおよびＭ_NBを求める。正規化感性ベクトルとは、推定した感性ベクトルの全要素に関する平均値が０．０となり、分散値が１．０になるように修正した感性ベクトルのことである。数２によって定義される感性ベクトルＭ_AおよびＭ_Bに対して、正規化感性ベクトルＭ_NAおよびＭ_NBは数５によって定義される。
【００５２】
【数５】

【００５３】
Ｍ_A−およびσ_MAは、ダンサーＡの感性ベクトルＭ_Aの全要素（７つの感性の得点）に関する平均値と分散値である。またＩは７次元の単位ベクトル、すなわちＩ＝（1,1,1,1,1,1,1）である。ダンサーＢの正規化感性ベクトルＭ_NBも同様に求められる。
【００５４】
次に正規化感性ベクトルＭ_NAおよびＭ_NBを用いて、ダンサーＡおよびダンサーＢの間の感性協調度Ｈを数６にて求める。
【００５５】
【数６】

【００５６】
ここで、Ｍ_NAkおよびＭ_NBkはそれぞれ正規化感性ベクトルＭ_NAおよびＭ_NBの第ｋ番目の要素を示し、したがって第１項は、ダンサーＡおよびダンサーＢの正規化感性ベクトルＭ_NAおよびＭ_NBの類似の度合いを評価する量である。またＷ₁はこの評価量に対する重みである。この評価量は、正規化感性ベクトルＭ_NAおよびＭ_NBの差分ベクトルの長さの２乗でもあり、２つの正規化ベクトルが近ければ近いほど、その値は０に近づく。
【００５７】
また第２項は、感性ベクトルＭ_Aを形成する全要素の平均値と感性ベクトルＭ_Bを形成する全要素の平均値との近さを評価する量である。ただし、全要素の平均値が持つ意味は分散が大きいほど薄くなると考え、平均値をそれぞれの標準偏差（分散値の平方根）で除している。またＷ₂はこの評価量に対する重みである。この評価量も、感性ベクトルＭ_Aの平均値と感性ベクトルＭ_Bの平均値とがこの意味で近ければ近いほど０に近づく。
【００５８】
第３項は、感性ベクトルＭ_Aを形成する全要素の分散値と感性ベクトルＭ_Bを形成する全要素の分散値との近さを評価する量であり、Ｗ₃はこの評価量に対する重みである。この評価量も、感性ベクトルＭ_Aの分散値と感性ベクトルＭ_Bの分散値とが近ければ近いほど０に近づく。
【００５９】
こうして求められた感性協調度も、データ記憶領域１６ｃに蓄積される。なお、ダンサーＡおよびダンサーＢの間の感性協調度を評価するにあたり、第２項および第３項の評価量も使用しているのは、第１項に示す正規化感性ベクトルの近さだけではなく、正規化前の感性ベクトルの全要素に関する平均値や分散値の差異も有効であると考えられるためである。
【００６０】
ステップＳ４７では、２小節期間が経過したかどうかを判断する。この期間は、たとえば１２０ビート／秒のリズムで計れば４秒に相当する。ここでＮＯであればステップＳ３５に戻り、上述のステップＳ３５〜Ｓ４５の処理を繰り返す。これによって、カウンタ１８ａ−１〜１８ａ−７および１８ｂ−1〜１８ｂ−７が更新され、ダンサーＡおよびダンサーＢの純度および感性協調度がデータ記憶領域１６ｃに蓄積されていく。
【００６１】
４秒が経過するとステップＳ４９に進み、最近４秒間にカウントされた各主要感性の出現回数に基づいてダンサーＡおよびダンサーＢの最大優勢感性を決定する。つまり、カウンタ１８ａ−１〜１８ａ−７のうち最大値を示すカウンタに対応する感性をダンサーＡの最大優勢感性として決定し、カウンタ１８ｂ−１〜１８ｂ−７のうち最大値を示すカウンタに対応する感性をダンサーＢの最大優勢感性として決定する。ステップＳ５１では、カウンタ１８ａ−１〜１８ａ−７および１８ｂ−1〜１８ｂ−７をリセットする。また、４秒という時間を計測するためのカウンタも、このステップでクリアする。
【００６２】
ステップＳ５３では最新の４秒間に算出された純度を数７に従って時間方向に平滑化し、ステップＳ５５では最新の４秒間に算出された協調度を数８に従って時間方向に平滑化する。なお、数７および数８による平滑化処理は、移動平均を求める処理である。
【００６３】
【数７】

【００６４】
【数８】

【００６５】
ステップＳ５７では、スピーカ２６およびモニタ２８から出力するとともに視聴者に配信する映像コンテンツおよび音楽コンテンツ（マルチメディア表現）を図１３および図１４に示すサブルーチンに従って変化させる。
【００６６】
ステップＳ５９では、１ゲームに相当する時間が経由したか、あるいはダンサーＡおよびダンサーＢによる感性表現がゴールに達したかどうかを判断する。そして、いずれの条件も満たされていなければステップＳ３５に戻り、次の４秒間について上述と同じ処理を繰り返す。一方、いずれかの条件が満たされると、ステップ６１でゲーム終了フラグＦをセットしてからステップＳ６３に進み、ゲーム終了画面と音声を配信する。
【００６７】
ゲームが終了すると、ステップＳ６５でダンス，音楽コンテンツ，映像コンテンツならびに音楽コンテンツおよび映像コンテンツの総合についての評価を受け付けるための評価受付用画面および音楽を配信する。そして、ステップＳ６７で一定時間が経過したかどうかを判断し、一定期間が経過しない間はステップＳ６９で視聴者達のＰＣ９０から送信される評価を受け付ける。このとき視聴者は、全ダンサーのダンスの評価を全ダンサーに順位を付けて評価する。また、音楽コンテンツ，映像コンテンツならびに音楽コンテンツおよび映像コンテンツの総合評価をたとえば５段階の値をつけて評価する。一定期間が経過すると、ステップＳ７１で評価受付締め切りの画面および音楽を配信して評価の受け付けを終了する。評価の受付が終了すると、ステップＳ７３では受け付けた各評価データの集計を行い集計結果をデータベース２４に蓄積する。このときの音楽コンテンツ，映像コンテンツおよび総合コンテンツの集計結果は、たとえば５段階で評価された評価値の平均値である。そして、ステップＳ７５では集計結果を表示するための画面と音楽とを視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信する。このとき、視聴者のＰＣ９０をはじめとする参加者全員のＰＣのモニタおよび中央装置１０のモニタ２８には図７に示すような画面が表示される。図７に示すように、ダンサー評価表示部９２にはダンサーの優劣が順位で示され、サウンド評価表示部９４，ビジュアル評価表示部９６およびサウンドアンドビジュアル評価表示部９８にはそれぞれ、音楽コンテンツの評価，映像コンテンツの評価ならびに音楽コンテンツおよび映像コンテンツの総合評価が５段階のゲージで表示される。
【００６８】
本発明感性共有システム１によれば、参加ダンサーはこのような評価を受けることによって、より好ましいダンス動作を会得するための参考とすることができ、音楽コンテンツ提供者および映像コンテンツの提供者はより好ましいコンテンツを提供するための参考とすることができる。また、データベース２４に蓄積される音楽コンテンツおよび映像コンテンツへの評価は、データベース２４に蓄積される音楽コンテンツおよび映像コンテンツの洗練にも利用される。つまり、データベースに蓄積される膨大な音楽コンテンツおよび映像コンテンツのうち、視聴者による評価が一定値に満たないものは削除することにより、より好ましい音楽コンテンツおよび映像コンテンツが残り、より洗練されたデータベース２４が出来上がる。データベース２４の洗練の方法としては、たとえば評価値が所定の値以上である音楽コンテンツおよび映像コンテンツを残す方法、音楽については評価値が上位１０００個の音楽コンテンツを残し、映像については、評価値の上位２００個の映像コンテンツを残す方法などが考えられる。
【００６９】
今回のダンスに対する評価が終了すると、ステップＳ７７でイベント管理者からダンス大会終了のシステム指示が出されているかどうかを判断する。ここでダンス大会終了のシステム指示が出されていなければ、次のゲームのための動作に入るべくステップＳ２５に戻る。一方、システム終了指示が出されていれば、処理を終了する。
【００７０】
続いて、図１３および図１４に示すサブルーチンと図４〜図６に示す表示例を参照して、具体的なマルチメディア表現とゲーム性について説明する。このサブルーチンへの到達時点で、たとえばダンサーＡの最大優勢感性が“Happy”であり、ダンサーＢについての最大優勢感性が“Lonely”であり、ダンサーＡの純度の方がダンサーＢの純度より高く、さらに両者の協調度がある閾値よりも悪かったとする。このときは、ステップＳ９１における感性一致の条件およびステップＳ９３における協調度の条件のいずれも満たされず、ステップＳ９５に進む。なお、よく協調している状態を一般には協調度が高いというが、数６による協調度Ｈは、よく調和していればいるほど数値Ｈは０に近づく量であるため、ここでは混乱を避けるべく、よく協調していればいるほど協調度が良いといい、その逆の状態を協調度が悪いという表現を用いる。
【００７１】
ステップＳ９５では、ダンサーＡおよびダンサーＢの最大優勢感性に対応する背景画像コンテンツをデータベース２４から読み出す。今の場合、ダンサーＡの背景画像としては、ダンサーＡの最大優勢感性“Happy”を連想させるような画像（たとえば図４において画面右側に示す６角形の模様がピンク色に輝きながらリズミカルに順番に大きくなるような画像）が選ばれる。またダンサーＢの背景画像としては、ダンサーＢの最大優勢感性“Lonely”を連想させるような画像（たとえば図４において画面左側に示すダークブルーの雨だれ模様がゆっくりと降下するような画像）が選ばれる。もちろん、このような背景画像に限らず、“Happy”側には華やかな花模様をさらに追加したり、“Lonely”側には風にそよぐ白黒の草花を追加してさらに寂しさを表現するようにしてもよい。背景画像は映像コンテンツの提供者から募集した映像から選ばれるため、これらの背景画像による感性の表現は映像コンテンツの提供者の感性がいかんなく発揮されたものとなる。
【００７２】
ステップＳ９７〜Ｓ１０１では、ダンサーＡの純度に応じた態様で、ダンサーＡの人物映像を背景画像にオーバレイする。具体的には、ダンサーＡの純度が閾値以上であれば、ステップＳ９７からステップＳ１０１に進み、ダンサーＡの人物画像をシルエット化したり、人物画像の輪郭内に特定の模様を表示した特殊効果画像を画面左側の背景画像にオーバレイする。また、ダンサーＡの純度が閾値よりも低ければ、ステップＳ９７からステップＳ９９に進み、ダンサーＡの実写画像を画面左側の背景画像にオーバレイする。ダンサーＢについても、ステップＳ１０３〜Ｓ１０７で同様の処理を実行する。図４の表示例では、ダンサーＡおよびダンサーＢの純度がいずれも閾値よりも低く、それゆえ両者とも実写画像が背景画像にオーバレイされている。
【００７３】
以上のステップＳ９５〜Ｓ１０７の処理によって背景画像および人物画像がグラフィックボード２２に設定されると、ステップＳ１０９でグラフィックボード２２上の今回対応出力を選択する。これによって、図４に示すような分割画像が作成され視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。なお、図１３および図１４に示すサブルーチンは４秒毎にしか実行されないので、ダンサーＡおよびダンサーＢの背景画像コンテンツや人物画像輪郭内の模様も４秒毎にしか切り換えられない。しかし、グラフィックボード２２の使用によって、オーバレイ表示された各ダンサーの実写人物画像やその輪郭画像および背景画像は（１／３０）秒のフレームレートで変化する。
【００７４】
ステップＳ１１１では、ダンサーＡの純度およびダンサーＢの純度を互いに比較し、比較結果に応じてステップＳ１１３またはステップＳ１１５の処理を行う。つまり、ダンサーＡの純度の方が大きければ、ステップＳ１１５でダンサーＡの最大優勢感性に対応する音楽コンテンツをデータベース２４から読み出す。一方、ダンサーＢの最大優勢感性の方が大きければ、ステップＳ１１３でダンサーＢの最大優勢感性に対応する音楽コンテンツをデータベース２４から読み出す。なお、各々の純度が等しければ、ダンサーＡの最大優勢感性が優先される。
【００７５】
ステップＳ１１７ではサウンドボード２０の今回用の対応出力を選択し、これによって設定された音楽コンテンツがスピーカ２０から出力されるとともに視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。今の場合は、ダンサーＡの純度の方が高いので、ダンサーＡの最大優勢感性“Happy”を連想させるような明るいにぎやかな音楽が選ばれる。ステップＳ１１７の処理を終えると、上階層のルーチンに戻る。
【００７６】
上記のような状況下では、ダンサーＢは、早い段階でダンサーＡの感性に合わせるように表現内容を変更し、ダンサーＡおよびダンサーＢのペアとして感性（お互いの最大優勢感性）を一致させると同時にその協調度を上げていく。また、ダンス大会の趣旨によっては、ダンサーＢはあくまでも自分が表現している感性にこだわり、一定時間内にその純度を上げて、音楽を自分のダンスに合ったものに変えるべくダンサーＡと競争してもよい。
【００７７】
上記のような状態の後、何回目かにこのサブルーチンに移行したときに、ダンサーＡおよびダンサーＢの最大優勢感性が“Happy”として一致し、かつ両者間の協調度がある閾値に達していると、ステップＳ９１およびＳ９３のいずれにおいてもＹＥＳと判断され、図１４のステップＳ１１９を経てステップＳ１２１に進む。ステップＳ１２１では、まずダンサーＡおよびダンサーＢが一致して表現している最大優勢感性に対応する背景画像コンテンツをデータベース２４から読み出し、これを画面一杯に広がる一つの背景画像としてグラフィックボード２２に設定する。今の場合は、図５に示すように“Happy”を示す背景画像が画面一杯に広げられる。
【００７８】
続くステップＳ１２３〜Ｓ１３３では、上述のステップＳ９７〜Ｓ１０７と同様の処理を行い、ダンサーＡおよびダンサーＢの人物画像を純度に応じた態様で背景画像にオーバレイする。図５に示す表示例では、ダンサーＡについては、純度が閾値以上となり、人物画像のシルエット部分を別の模様で表すなどの特殊効果を与えた特殊効果画像が背景画像にオーバレイされる。一方、ダンサーＢについては、純度は閾値よりも低く、実写画像が背景画像にオーバレイされる。
【００７９】
ステップＳ１３５では、グラフィックボード２２上の今回対応出力を選択し、これによって図５に示す画像が実際にモニタ２８に表示されるとともに視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。上述のように、背景画像や人物画像輪郭内の模様が示す感性は４秒毎にしか更新されないが、オーバレイされた各ダンサーの人物画像やその輪郭画像および背景画像は（１／３０）秒のフレームレートで変化する。
【００８０】
ステップＳ１３７では、ダンサーＡおよびダンサーＢが一致して表現している最大優勢感性に合致した音楽コンテンツをデータベース２４から読み出し、サウンドボード２０に設定する。続くステップＳ１３９ではサウンドボード２０上の今回対応出力を選択し、これによって一致感性に応じた音楽がスピーカ２０から出力されるとともに視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。今の場合は、一致感性“Happy”を連想させるような明るいにぎやかな音楽が選ばれ、さらにたとえばオーケストラによるメロディが追加される。つまり、図４に示す分割画像の段階の音楽よりもさらに盛り上がった感じの音楽が出力される。ステップＳ１３９の処理を終えると、上階層のルーチンに復帰する。
【００８１】
上記のような状況の後、ダンサーＡおよびダンサーＢの感性が一致しかつ両者の協調度が閾値より良かったかまたは閾値と等しい状態が３２秒間以上継続すると、ステップＳ１１９からステップＳ１４１に進む。このステップに進むのは、このゲームの終了段階である。ステップＳ１４１ではダンサーＡおよびダンサーＢの高い空間共有性を表す模様（図６における同心円状に重なった模様）を背景画像に追加し、続くステップＳ１４３では“ゴール！”という文字を画面一杯にオーバレイする。そして、ステップＳ１４５でグラフィックボード２２上の対応出力を選択するとともに参加者全員のＰＣに向けて配信する。これによって、図６に示すように、ダンサーＡおよびダンサーＢを取り巻く渦巻き模様が“Happy”に対応した背景画像に追加され、かつ“ゴール！”という文字が画面一杯に表示される。ダンサーおよび観客は、この画面表示によって、ゲーム終了段階を知り、かつ満足感を得る。
【００８２】
ステップＳ１４７では、ダンサーＡおよびダンサーＢが一致して表現している最大優勢感性に合致したオーケストラによる追加メロディーコンテンツ，派手な効果音コンテンツ，“ゴール！”という音声コンテンツなどをデータベース２４から読み出し、サウンドボード２０に設定する。ステップＳ１４９では、サウンドボード２０上の対応出力を選択し、これによって図５に示す表示段階の音楽よりもさらに盛り上がった音楽が配信されるとともにスピーカ２６から出力される。
【００８３】
続いて、図１５に示すルーチンを参照して、データベース２４に蓄積された音楽コンテンツおよび映像コンテンツの選別方法について説明する。ところで、音楽コンテンツおよび映像コンテンツの評価は、ダンサーのダンスの上手下手によって影響を受けると考えられる。そのため、異なるダンサーで複数回の評価を得た後に、音楽コンテンツおよび映像コンテンツをデータベース２４に残すかどうかの選別を行う。したがって、１５種類１セットの音楽コンテンツおよび映像コンテンツには複数の評価結果データが付随することになる。
【００８４】
まず、ステップＳ１５１ではデータベース２４に１５種類からなるコンテンツのセットがあるかどうかを判断する。コンテンツありと判断すると、ステップＳ１５３においてコンテンツに付随している評価結果データを取得する。そして、ステップＳ１５５で当該コンテンツは３回以上の評価を得ているかどうか、つまり評価結果データが３つ以上存在するかどうかを判断する。評価回数が３回よりも少ないときにはステップＳ１５１に戻って次のコンテンツが存在するかどうかを判断する。一方、評価回数が３回以上であるときにはステップＳ１５７でたとえば３回の評価結果の平均値を算出し、算出された平均値が所定の閾値以上であるかどうかを判断する。そして、評価結果の平均値が所定の閾値よりも小さいときにはステップＳ１５９において当該コンテンツをデータベース２４から削除する。なお、ここでの削除は１５種類を１セットとするセット単位で行われる。つまり、ステップＳ１５９では１５個のコンテンツが同時に削除される。一方、評価結果の平均値が所定の閾値以上であるときには、ステップＳ１５９での削除処理をスキップしてステップＳ１５１に戻る。このようにして、データベース２４には視聴者の評価が所定のレベルに達している音楽コンテンツおよび映像コンテンツのみが残される。
【００８５】
以上説明したように、実施例１の感性共有システム１では、まず音楽コンテンツ提供者および映像コンテンツ提供者から音楽コンテンツおよび映像コンテンツの提供を受けて中央装置１０のデータベース２４に蓄積する。そして、各々のダンサーが行う身体表現から感性を推測し、その感性および感性の協調度に応じた音楽コンテンツおよび映像コンテンツをデータベース２４から読み出してマルチメディア表現による感性表現を行う。視聴者はマルチメディア表現に対する表現を評価し、その評価結果はデータベース２４に蓄積される。データベース２４に蓄積された音楽コンテンツおよび映像コンテンツは視聴者による評価が高いものだけが残され、それ以外は削除される。
【００８６】
したがって、多様なマルチメディア表現によってダンサーの感性を表現できる。また、マルチメディア表現にはダンサー以外にダンサーと同じ空間に居合わせないコンテンツの提供者や視聴者の感性までが含まれることになり、より大規模な集団の感性表現の共有が実現される。さらに、視聴者の評価に基づいてデータベースが洗練されることによりダンサーの身体動作による感性表現を支援する環境および効果（マルチメディア表現）が自動的に改善される。
［実施例２］
実施例１の感性共有システム１では、ダンスの終了後に視聴者による評価を行っているが、実施例２の感性共有システム１ではダンスの途中にも評価を行いその評価結果をリアルタイムで視聴者のＰＣ９０をはじめとする参加者全員のＰＣに表示する。
【００８７】
実施例２においてもカメラから出力された撮影画像信号に基づいて各ダンサーの感性ベクトルを推定するルーチンが存在するが、実施例１の図８および図９と同じであるため説明を省略する。
【００８８】
図１６〜図２１を参照して、推定されたダンサーの感性ベクトルに基づいてマルチメディア表現（出力する音楽コンテンツおよび映像コンテンツ）の変化を制御するルーチンについて説明する。図１６および図１７ならびに実施例１の図１０および図１１を比較すると分かるように、各ダンサーの感性ベクトルから、感性ベクトル純度の移動平均の算出（図１７のステップＳ１９３）および感性協調度の移動平均の算出（図１７のステップＳ１９５）を行うまでの処理は実施例１と同じである。実施例１と異なる点は、ステップＳ１９９〜ステップＳ２１１、つまりダンスのゲーム中において３２秒ごとに視聴者からのマルチメディア表現に対する評価を受け付ける点、および受け付けた評価の集計結果をマルチメディア表現の制御処理（ステップＳ１９７）内で視聴者のＰＣ９０をはじめとする参加者全員のＰＣに向けて配信する点である。また、ダンスゲームの終了後（図１８のステップＳ２１３でＹＥＳ）にマルチメディア表現に対する評価を受け付け、受け付けた評価の集計結果を視聴者のＰＣ９０をはじめとする参加者全員のＰＣに向けて配信する点は実施例１と同じである。なお、ダンスゲーム中に集計された評価結果はデータベース２４には蓄積されず、ダンス終了後の評価結果のみがデータベース２４に蓄積される。したがって、データベース２４に蓄積された音楽コンテンツおよび映像コンテンツの選別には、ダンス終了後の評価結果のみが使用される。
【００８９】
まず、ステップＳ１９７で一度目のマルチメディア表現の制御処理を終えた後、ステップＳ１９９で３２秒が経過したか、つまりダンス開始から３２秒が経過したかどうかを判断する。３２秒が経過していないときにはステップＳ１７５に戻るが、３２秒が経過しているときにはステップＳ２０１以下で評価の受付処理を行う。まず、ステップＳ２０１で評価受付用の画面を映像コンテンツの一部に入れて配信する。つぎに、ステップＳ２０３で一定時間が経過しているかどうかを判断する。一定時間が経過していない間はステップＳ２０５で評価の受付を行う。このとき視聴者は、全てのダンサーのダンスの評価を各ダンサーに順位をつけて評価し、音楽コンテンツ，映像コンテンツならびに音楽コンテンツおよび映像コンテンツの総合評価についてはたとえば５段階の値をつけて評価する。そして一定時間が経過するとステップＳ２０７では評価受付締切用の画面を映像コンテンツの一部に入れて配信する。ステップＳ２０９では、受け付けた評価データの集計を行い、ステップＳ２１１では、集計結果データをデータ記憶領域１６ｃに格納する。よって、データ記憶領域１６ｃに格納された集計結果データは評価の集計を行うごとに更新される。こうして得られた集計結果はマルチメディア表現の制御処理（ステップＳ１９７）内でオーバレイされた人物画像および背景画像とともに視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。なお、ここでの集計結果はデータベース２４には蓄積されない。
【００９０】
つぎに、図１９〜図２１を参照して図１７のステップＳ１９７におけるマルチメディア表現の制御処理について説明する。図１３および図１４ならびに図１９〜図２１を比較すると分かるように、実施例２のマルチメディア表現の制御処理は、図１９のステップＳ２６９および図２１のステップＳ２９７において評価の集計結果データ画像を人物画像および背景画像にオーバレイする点を除いて実施例１のマルチメディア表現の制御処理と同じである。
【００９１】
つまり、ダンサーの感性が一致しない場合（ステップＳ２５１においてＮＯ）もしくは感性が一致するが感性の協調度が閾値より小さい場合（ステップＳ２５１においてＹＥＳかつステップＳ２５３においてＮＯ）は、ステップＳ２５５で各ダンサーの最大優勢感性に対応する背景画像がデータベース２４から読み出され、読み出された背景画像にステップＳ２５７〜ステップＳ２６７において各ダンサーの人物画像（実写画像もしくは特殊効果画像）がオーバレイされる。そして、このオーバレイされた画像にステップＳ２６９ではさらに、評価の集計結果データ画像がオーバレイされ、このような画像が視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。なお、集計結果データ画像は、データ記憶領域１６ｃに格納された集計結果データに基づいて作成される。１度目のマルチメディア表現の制御処理の時点では、データ記憶領域１６ｃに集計結果データが格納されていないので、視聴者のＰＣ９０をはじめとする参加者全員のＰＣには図４に示すように集計結果データはブランクの状態となる。２度目以降の集計結果データの表示では、図７に示すようにダンサー評価表示部９２にダンサーの優劣が順位で示され、サウンド評価表示部９４，ビジュアル評価表示部９６およびサウンドアンドビジュアル評価表示部９８にそれぞれ、音楽コンテンツの評価，映像コンテンツの評価ならびに音楽コンテンツおよび映像コンテンツの総合評価が５段階のゲージで表示される。
【００９２】
また、ダンサーの感性が一致し、かつ感性協調度が閾値以上でありさらに感性の一致の継続が３２秒より短い場合（ステップＳ２５１においてＹＥＳでかつステップＳ２５３においてＹＥＳかつステップＳ２８１においてＮＯ）にも同様の処理を行う。つまり、ステップＳ２８３で一致する感性に対応する背景画像がデータベース２４から読み出され、読み出された背景画像にステップＳ２８５〜ステップＳ２９５において各ダンサーの人物画像（実写画像もしくは特殊効果画像）がオーバレイされる。そして、ステップＳ２９７ではさらに評価の集計結果データ画像がオーバレイされる。こうした画像が視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。
【００９３】
なお、データベース２４に蓄積された音楽コンテンツおよび映像コンテンツの選別処理は実施例１で示した処理を同じであるため、説明を省略する。
【００９４】
以上説明したように実施例２の感性共有システム１では、ダンスの途中においても視聴者によるマルチメディア表現に対する評価がリアルタイムで表示される。したがって、ダンサーはダンスの途中で表示される評価を参考にしてよりよいダンスを目指すことができ、視聴者はより大きな臨場感を得ることができる。
【００９５】
なお、この発明の実施例は実施例１および実施例２の実施形態に限るものではなく、種々に変更して実施してもよい。たとえば、視聴者の評価があるレベル以上になっている間は、第２の映像コンテンツとして、画面に華やかさや派手さを与えるような模様（たとえば光り輝く半透明な模様）を画面全体にオーバレイするようにしてもよい。また、この第２の映像コンテンツも、イベント管理者の指揮のもと予め募集するようにしてもよい。
【００９６】
さらに、データベース２４に蓄積された音楽コンテンツおよび映像コンテンツの洗練方法としては評価値が上位の幾つかを残すこととしたが、評価値はあるコンテンツとダンサーとの組み合わせにおいてのみ高得点となる場合もあるので、単純に評価値の合計点で選別するのではなく、統計的分析を行って交互作用が有意となる高得点な組み合わせを残すようにしてもよい。
【００９７】
また、ある時期にのみ高得点が得られるコンテンツやダンスも存在し得る。そこで、統計的分析の結果、年代との交互作用が有意となる高得点な組み合わせを残すようにしてもよい。このようにすれば時代の流れを示す貴重なデータベースを得ることができる。
【００９８】
さらに、ダンス大会で採用する音楽コンテンツおよび映像コンテンツの決定方法としては、過去に規定回数以上データベース２４から捨てられた（削除）経験のある提供者のコンテンツは採用しない方法もある。逆に、一定回数以上データベースに蓄積された実績を持つコンテンツの提供者のコンテンツを優先的に使用する方法もある。
【００９９】
また、実施例１および実施例２においては、応募されたコンテンツを音楽コンテンツおよび映像コンテンツとし、被験者（ダンサー）の表現をダンスによる身体表現としたが、コンテンツの内容および被験者の表現はこれに限るものではなく、コンテンツを詞および曲とし、被験者の表現を歌とすることもできる。
【図面の簡単な説明】
【図１】この発明の感性共有システムの一実施例の全体構成を示す図解図である。
【図２】中央装置の構成例を示すブロック図である。
【図３】図１の実施例の動作の一部を示す図解図である。
【図４】ダンサーの感性協調度が悪いときに表示される画像を示す図解図である。
【図５】ダンサーの感性協調度が良いときに表示される画像を示す図解図である。
【図６】ゴールに達したときに表示される画像を示す図解図である。
【図７】評価を公表するときに表示される画像を示す図解図である。
【図８】ダンサーＡの感性を推定するときの動作を示す図解図である。
【図９】ダンサーＢの感性を推定するときの動作を示す図解図である。
【図１０】マルチメディア表現を変化させるときの動作の一部を示すフロー図である。
【図１１】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１２】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１３】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１４】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１５】データベースを洗練させるときの動作を示すフロー図である。
【図１６】マルチメディア表現を変化させるときの動作の一部を示すフロー図である。
【図１７】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１８】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１９】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図２０】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図２１】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。[0001]
[Industrial application fields]
This invention changes the multimedia expression using the solicited music and video and the body image according to the sensitivity determined based on the human body expression, and evaluates the multimedia expression. Related to a sensibility sharing system
[0002]
[Prior art]
An example of a system that expresses sensibility by changing multimedia expression using music and video according to human sensibility classified based on physical quantity of human body expression is October 5, 2000 Japanese Patent Application No. 2000-306079 [A36B 24/00] filed in Japan. In this prior art, multimedia expression representing sensitivity is performed by music content and video content prepared in advance by the system.
[0003]
[Problems to be solved by the invention]
In the conventional technology, multimedia expression is possible only by contents added / changed by the system administrator, and there is a limit to the diversity of environments and effects (contents constituting multimedia) that support the emotional expression of the subject. There was a problem of getting tired over time. Also, the viewer's sensitivity could not be reflected in the multimedia expression.
[0004]
  Therefore, the main purpose of the present invention is to express human sensibility with diverse multimedia expressions that have been widely applied.I can,It is to provide a sensitivity sharing system.
[0005]
[Means for Solving the Problems]
  This inventionKansei sharing system according toIs a database that registers multiple submitted content,pluralFrom the subject's expressionpluralSubject's sensitivityRespectivelySensitivity detection means to detect,Fits multiple sensibilities detected by the sensibility detection means among multiple contents registered in the databaseContent andpluralSubject's expression andincludingOutput means for outputting composite content, A cooperation degree detection means for detecting a degree of cooperation indicating a degree to which a plurality of sensibilities detected by the sensitivity detection means approximate each other, and a cooperation level detected by the cooperation degree detection means for an output mode of the content forming the composite content Change means to change based onWith.
[0006]
[Action]
  A plurality of contents are registered in the database. The sensibility detecting means detects the sensibilities of the plurality of subjects from the expressions of the plurality of subjects, and the output means is content that matches the sensibilities detected by the sensibility detecting means among the plurality of contents registered in the database. Output composite content including multiple subjects' expressions. The degree of cooperation indicating the degree to which a plurality of sensibilities detected by the sensibility detection means approximate each other is detected by the detection means. The output mode of the content forming the composite content is changed by the changing unit based on the cooperation level detected by the cooperation level detecting unit.
[0007]
The expression of the subject is preferably the body expression of the subject.
[0008]
In one aspect of the present invention, the accepting unit accepts the composite content evaluation result, and the selecting unit selects the content registered in the database based on the composite content evaluation result. Note that it is desirable that the accepting unit accepts an evaluation result for each content included in the composite content.
[0011]
In another preferred embodiment, the content includes video and music, and the output mode changing means outputs a video with high spatial sharing and music corresponding to the sensitivity of the cooperative state when the degree of cooperation exceeds a predetermined threshold. Output.
[0012]
The output unit outputs the composite content including the same content a plurality of times, and the selection unit performs the selection based on the evaluation results of the composite content including the same content a plurality of times. It should be noted that the subject who expresses according to the same content is not necessarily the same person.
[0013]
【The invention's effect】
  According to the present invention, multimedia expression (expression by composite contents) suitable for the sensibility of the subject is performed by widely recruited contents. Therefore, it is possible to express the sensibility of the subject with a variety of multimedia expressions.
[0014]
The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
[0015]
【Example】
[Example 1]
FIG. 1 illustrates the present invention.Kansei sharing system 1The entire configuration is shown, and with reference to FIG.Central device 10 that controls the overall operation of 1Are connected to a communication network 100 such as the Internet. The communication network 100 includesCentral device10, a personal computer (hereinafter simply referred to as “PC”) 40 of the event manager, a PC 50 of the music content provider, a PC 60 of the video content provider, a PC 70 of the dancer (subject) A and a PC 80 of the dancer B, and Each viewer's PC 90 is connected. A camera 72 and a camera 82 are connected to the PC 70 and the PC 80, respectively. Note that a plurality of music content provider PCs 50, video content provider PCs 60, and viewer PCs 90 may be connected. Also, the number of PCs of dancers is not limited to two, PC70 and PC80.
[0016]
Central deviceSpecifically, reference numeral 10 is configured as shown in FIG. As shown in FIG. 2, the memory 14, the sound board 20, the graphic board 22, the database 24, the speaker 26, the monitor 28, and the communication line 30 are connected to the bus 32, and these are controlled by the CPU 12 also connected to the bus 32. TheThe communication circuit 30 is connected to an external network.
[0017]
Event manager is Kansei Sharing System1To hold a “Kansei Express Virtual Dance Competition” on the Internet. Prior to holding the dance competition, the event manager will publish the recruitment guidelines on the dance competition website and recruit dancers, music content and video content. Dancers are people who dance at dance competitions. The music content and the video content are content that is reproduced based on the sensibility expressed by the dancer. Details will be described later.
[0018]
In this dance competition, dancers A and B recruited in advance express their sensibilities by performing physical movements (dances) in front of the camera 72 and the camera 82. Dance images taken by the camera 72 and the camera 82 are taken into the PC 60 and the PC 80, for example, at a frame rate of (1/30) second, and via the communication network 100 in real time.Central device10 is sent as digital data. At this time, if the allowable transmission speed of the network is low, transmission / reception is performed as digital data that has been band-compressed using an encoding / decoding transfer board such as MPEG2 or MPEG4 that can be incorporated in the PC on the transmission side and reception side as required. To do. The dancer records a dance video in advance and plays this video.Central device10 may be transmitted.
[0019]
The multiple dance images sent are in real time every (1/30) seconds, for example.Central device10 is taken in.Central device10, “temporality”, “power” and “spatialness” are required as parameters representing the sensibility of the dancer from each captured dance image. In addition, a dancer's portrait image is also extracted from the dance video. Here, “temporality” means a parameter related to the movement and rhythm of the dancer's body, “power” is a parameter related to the acceleration of the body movement, and “spatiality” is a spatial characteristic of the body. This is a parameter related to spread. Referring to FIG. 3, “time” is obtained by the first derivative of the center of gravity (Xc, Yc) of the dancer's silhouette image, and “power” is the second derivative of the center of gravity (Xc, Yc). Sought by. The “spatiality” is obtained from the ratio of the dancer's silhouette image to the rectangle (width Xs, height Ys rectangle) circumscribing the silhouette image.
[0020]
When three parameters are obtained in this way,Central device10 performs statistical analysis on the three parameters at that time, and estimates the sensitivity of the dancer. As a means for statistical analysis, neural network or multiple regression analysis can be applied. Estimated sensibilities are “Natural”, “Happy”, “Dynamic”, “Flowing”, “Sharp”, “Lonely”, and “Solemn”. The sensitivity category having the highest analysis result is selected as the sensitivity (main sensitivity) of the dancer. The values of seven sensitivity categories obtained by neural network or multiple regression analysis are called “sensitivity vectors”.
[0021]
Central device10 estimates the sensitivity of each dancer and determines the purity and cooperation of each dancer's sensitivity. Sensitivity purity is the ratio of the primary sensitivity value to the other six sensitivity values, and is a value between “0.0” and “1.0”. In other words, the higher the purity, the better the sensitivity of the dancer fits the sensitivity category. The degree of cooperation represents how close the sensitivity of each dancer is, and is determined based on the sensitivity vector of each dancer.Central device10 represents the sensitivity, purity, and cooperation determined every (1/30) seconds, for example, by measuring the time corresponding to 2 bars (120 beats / minute rhythm).4By smoothing in the time direction over a period of seconds), the sensitivity and the degree of cooperation during this period are specified.
[0022]
Then, music content and video content (background content) suitable for the specified sensitivity and cooperation are selected from the database 24, and each participant, that is, event manager, viewer, music content provider, video content provider, dancer A, is selected. And transmitted to the PC of Dancer B as digital data. The video to be distributed at this time is obtained by overlaying the person images of all the participating dancers on the background video read from the database 24 as shown in FIG. Note that both the background image and the dancer's portrait image are moving images having a frame rate of (1/30) seconds.
[0023]
Here, in the database 24, music content and video content recruited from music content providers and video content providers are stored. The music content provider responds to the above seven sensibilities with seven types of normal states (in which the degree of cooperation has not reached a certain level) and seven types of cooperative states (in which the degree of cooperation has reached a certain level). In addition, a total of 15 types of music contents are applied for introduction of the dance competition, and these are accumulated in the database 24. The music content can be, for example, 16 seconds, and reproduction for 16 seconds or more is repeated. Similarly, the video content provider applies for 15 types of video content for the normal state, the cooperative state, and the dance tournament introduction. In this way, the database 24 of the sensibility sharing system 10 stores a plurality of sets of 15 kinds of music content and video content. Similarly, the video content is set to 16 seconds, and playback for 16 seconds or longer is repeated. As an application method for music content and video content, a method of transferring a file using the FTP protocol is conceivable.
[0024]
Kansei sharing system1Are all participating dancers or dance competitionsofFor example, depending on the purpose, the dance is ended when the cooperative state of the two people who cooperate best is continued for a predetermined time or when a predetermined time elapses from the start of the dance.
[0025]
Kansei sharing system when the dance is over1Asks the viewer to evaluate the dance according to the instruction from the event manager's PC 40. At this time, the viewer performs evaluation of music content, evaluation of video content, comprehensive evaluation of music content and video content, and ranks and evaluates dancers. Note that the evaluation of the music content and the evaluation of the video content performed by the viewer are evaluations for each set in which the 15 types of content described above are set as one set. When each evaluation by the viewer is transferred via the communication network 100Central device10 totals the evaluation for each item, and outputs the totaled results to the event manager's PC 40, the viewer's PC 90, the dancer A's PC 70, and the dancer B's PC 80. The counting result is displayed until the next dance starts.
[0026]
By referring to the counting results, the dancer can be a reference for acquiring a more preferable dance action, and the content provider can be a reference for providing a more preferable content. Further, the music content and the video content stored in the database 24 are selected in units of the above-mentioned 15 types of content as a set according to the total result, and only the more preferable music content set and video content set are stored in the database 24. Left behind.
[0027]
The number of dancers is preferably about 5 at a time because it is necessary to display human images on the PC. However, in this embodiment, two dancers are described.
[0028]
NextThe overall operation of the sensibility sharing system 1 of the present invention will be described. 8 to 14 show processing performed by the central apparatus 10.The routines shown in FIGS. 8 and 9 are routines for estimating the sensitivity vector of dancers (dancers A and B) based on the captured image signals output from the cameras (camera 72 and camera 82). Note that the routines of FIGS. 8 and 9 are individually executed without synchronization. The routine shown in FIGS. 10 to 14 is a routine for controlling music content and video content (multimedia expression) to be output based on the estimated dancer's sensitivity vector.
[0029]
First, referring to FIG. 8, in step S1a, an initialization process for starting a dance game is performed, and in step S3a, it is determined whether (1/30) seconds have elapsed since the system was started. If (1/30) seconds have elapsed, a captured image signal from the camera 72 is received in step S5a, and it is determined in step S7a whether a human image of dancer A is included in the captured image signal in addition to the background image. to decide. For example, chroma key technology can be applied to this determination.
[0030]
If only the background image is included in the photographed image signal, the process returns from step S7a to step S3a to prepare for the capture of the next photographed image signal. On the other hand, if any subject image other than the background image is included in the captured image signal, the subject image is regarded as a person image of the dancer A and the process proceeds to step S9a.
[0031]
In step S9a, a person image is extracted from the captured image signal, and a silhouette image shown in FIG. 3 is created from the extracted person image. In the subsequent step S11a, the center-of-gravity coordinates (Xc, Yc) and the area Hs of the silhouette image are obtained from the created silhouette image, and an operation according to Equation 1 is performed on the obtained center-of-gravity coordinates (Xc, Yc) and area Hs. As a result, the three parameters of “time”, “power” and “spatial” are measured for the dancer A.
[0032]
[Expression 1]

[0033]
“Time” is obtained by first-order differentiation of the center-of-gravity coordinates, that is, by dividing the difference between the center-of-gravity coordinates before (1/30) seconds and the current center-of-gravity coordinates by (1/30) seconds. “Power” is obtained by second-order differentiation of the barycentric coordinates, that is, by dividing the difference between the previous primary differential value and the current primary differential value by (1/30) seconds. “Spatialness” is obtained by dividing the area of a silhouette image by the area of a rectangle circumscribing the silhouette image.
[0034]
In step S13a, the sensitivity vector of the dancer A is estimated based on the measured three parameters of “time”, “power”, and “spatial”. That is, in step S11a, the right side of seven multiple regression equations corresponding to the seven types of sensitivity of “Natural”, “Happy”, “Dynamic”, “Flowing”, “Sharp”, “Lonely”, and “Solemn” is obtained in step S11a. Substitute the three parameters of dancer A. As a result, each element of the 7-dimensional sensitivity vector estimated for the dancer A appears on the left side of the seven multiple regression equations. As described above, each element of the sensitivity vector indicates seven types of sensitivity scores estimated from the dance video of the dancer A. The estimated sensitivity vector value is stored in the data storage area 16a of the memory 14 (see FIG. 2).
[0035]
In step S15a, the state of the game end flag F is determined. The game end flag F is reset in step S25 (see FIG. 10) described later, and is set in step S61 (FIG. 11). If the game end flag F is in the reset state, the process returns to step S3a in order to capture the captured image signal of the dancer A after the next (1/30) second. On the other hand, if the game end flag F is in the set state, the process proceeds to step S17a. In step S17a, it is checked whether or not the event manager gives a system instruction to end the dance tournament (event). If the system instruction for the end of the dance competition is not given, the process returns to step S1a to prepare for the start of the next game. On the other hand, when a system instruction for the end of the dance competition is given, this routine is terminated.
[0036]
FIG. 9 processes the captured image signal of dancer B captured from the camera 82LeAlthough this routine is similar to the routine shown in FIG. 8, as will be understood by comparing FIG. 8 and FIG. 9, detailed description thereof is omitted.
[0037]
The difference is that the data storage area 16b for the dancer B is cleared in step S1b, and the sensitivity vector value estimated from the dance video of the dancer B is stored in the data storage area 16b in step S13b. Although the routines shown in FIGS. 8 and 9 are executed independently without being synchronized with each other, the latest estimated sensitivity vector is always left in the data storage areas 16a and 16b.
[0038]
Next, processing for controlling video content and music content will be described with reference to FIGS. First, in step S21, initialization for event start including clearing of the data storage area 16c is performed. Next, in step S23, a background image for introduction (event holding title) and music for introduction are distributed, and the monitor 28 and the speaker 26. Next, in step S25, initialization processing for starting a dance game including clearing the data storage area 16a, the data storage area 16b, the counter 18a and the counter 18b, and clearing the game end flag F is performed.
[0039]
In step S27, music content and video content used for multimedia expression of the current dance game are determined. The music content and the video content determined here correspond to the seven sensibilities as described above, and the normal state (the degree of cooperation does not reach a certain level) and the cooperative state (the degree of cooperation reaches a certain level). (Status) Furthermore, music content and video content with a total of 15 types for introducing a dance competition as one set. These music content and video content are content provided from a music content provider and a video content provider, respectively, and are selected from those stored in the database 24. There is also a method of selecting at random, but it will be described later.likeYou may make it select in an order from the thing with high evaluation with respect to a content. In step S27, the same music content and video content as the previous time may be selected a plurality of times. By doing so, the same music content and video content are expressed in multimedia by different dancers. Therefore, it is possible to avoid bias by dancers in the evaluation of music content and video content.
[0040]
When the music content and video content to be used are determined, the title character (video) and audio for starting the game are distributed in step S29. In step S31, the name of the dancer participating in this dance competition, the name of the creator of the music content It also distributes text (video) and audio that announces the name of the creator of the video content. Furthermore, in step S33, background video content and music content for game introduction are distributed.
[0041]
In step S35, it is determined whether (1/30) seconds have elapsed since the start. If YES, it is determined in step S37 whether all the dancers (dancers A and B) who participate are present. This determination is made based on whether the sensitivity vector values of both the dancer A and the dancer B exist in the data storage area 16a and the data storage area 16b, and whether person images of the dancer A and the dancer B exist.
[0042]
In step S37 immediately after the first (1/30) second has passed, there is a possibility that neither of the sensitivity vector values of the dancer A and the dancer B exists. Further, even if one dancer appears and the sensitivity vector of this dancer is obtained, the other dancer does not appear and the sensitivity vector of this dancer may not be obtained. In such a case, the process proceeds from step S37 to step S39, and only the existing dancer's person image is overlaid on the already-introduced background image. When the overlay process is completed, the process returns to step S35.
[0043]
Therefore, if neither dancer A nor dancer B appears, only the introduction background image is distributed. When dancer A first appears in this state, dancer A's person video is overlaid on the right half of the introduction background image. However, in any case, the distributed music for introduction continues to flow.
[0044]
The overlay process is executed as follows.Central device10 includes a graphic board 22, a CG image signal such as a background image created by CG (Computer Graphics) processing, and a captured image captured from the camera 72 and the camera 82 (steps S 5 a in FIG. 8 and FIG. 9). In step S5b, the captured image signal (captured every (1/30) second) is supplied to the graphic board 22. The graphic board 22 provides a special effect such as overlaying the person image of the dancer A on the background image for introduction, making the person image a silhouette, and further expressing the silhouette portion of the person image with a different pattern. be able to.Central device10 designates the image source and composition method for composition for such a graphic board 22 and selects the corresponding output on the graphic board 22, the composite image signal created in the designated manner is ( It is output from the graphic board 22 at a frame rate of 1/30) second and distributed via the communication circuit 30. Specifically, the process of step S39 is a process of designating a synthesis image source and a synthesis method for the graphic board 22 and selecting a corresponding output on the graphic board 22.
[0045]
When dancer A and dancer B appear, YES is determined in step S37, and the process proceeds to step S41. Based on the latest sensitivity vectors stored in the data storage area 16a and the data storage area 16b, the main sensitivity of dancer A and dancer B And the number of appearances of the determined main sensibility is counted. The main sensibility is the sensibility corresponding to the element showing the maximum value among the seven elements forming the sensibility vector. The number of appearances of the main sensibility is counted by seven counters 18a-1 to 18a-7 and 18b-1 to 18b-7 separately prepared for the dancer A and the dancer B. That is, the counters 18a-1 to 18a-7 are respectively assigned to the seven sensibilities represented by the dancer A, and the counters 18b-1 to 18b-7 are respectively assigned to the seven sensibilities represented by the dancer B and are determined. The counter corresponding to the main sentiment is incremented.
[0046]
Dancer A's latest sensitivity vector M_AAnd dancer B's latest sensitivity vector M_BIs defined by equation (2), if equation (3) is established, the primary sensitivity of dancer A is determined as the sensitivity corresponding to number 2, that is, “Happy”, and the primary sensitivity of dancer B is determined as the sensitivity corresponding to number 6, ie, “Lonely” Is determined. When there are a plurality of maximum values, the sensitivity corresponding to the smaller number is the main sensitivity.
[0047]
[Expression 2]

[0048]
[Equation 3]

[0049]
In subsequent step S43, the purity of the latest sensitivity vector is obtained for each of dancer A and dancer B. The purity is obtained by dividing the absolute value of the element value indicating the main sensitivity (the score of the main sensitivity) by the length of the sensitivity vector, and the calculated numerical value is between “0.0” and “1.0”. It changes with. The purity of dancer A is P_AAnd the purity of dancer B is P_BP_AAnd P_BIs calculated according to Equation 4. The calculated purity is accumulated in the data storage area 16c.
[0050]
[Expression 4]

[0051]
In step S45, based on the latest sensibility vector, the sensibility cooperation between dancer A and dancer B is calculated as follows. First, dancer A's latest sensitivity vector M_AAnd dancer B's latest sensitivity vector M_BNormalized sensitivity vector M_NAAnd M_NBAsk for. The normalized sensitivity vector is a sensitivity vector that has been corrected so that the average value for all elements of the estimated sensitivity vector is 0.0 and the variance value is 1.0. Kansei vector M defined by Equation 2_AAnd M_B, Normalized sensitivity vector M_NAAnd M_NBIs defined by equation (5).
[0052]
[Equation 5]

[0053]
M_A− And σ_MAIs the sensitivity vector M of dancer A_AThe average value and the variance value for all elements (score of 7 sensibilities). I is a 7-dimensional unit vector, that is, I = (1,1,1,1,1,1,1). Dancer B's normalized sensitivity vector M_NBIs also required.
[0054]
Next, normalized sensitivity vector M_NAAnd M_NBIs used to obtain the sensibility coordination degree H between the dancer A and the dancer B using Equation (6).
[0055]
[Formula 6]

[0056]
Where M_NAkAnd M_NBkAre normalized sensitivity vectors M_NAAnd M_NB, So the first term is the normalized sensitivity vector M of dancer A and dancer B_NAAnd M_NBThis is an amount for evaluating the degree of similarity. W₁Is a weight for this evaluation quantity. This evaluation quantity is the normalized sensitivity vector M_NAAnd M_NBThis is also the square of the length of the difference vector, and the closer the two normalized vectors are, the closer the value is to zero.
[0057]
The second term is the sensitivity vector M_AThe average value of all the elements that form and the sensitivity vector M_BIs an amount that evaluates the closeness to the average value of all the elements forming. However, the meaning of the average value of all elements is considered to be thinner as the variance is larger, and the average value is divided by the respective standard deviations (square roots of the variance values). W₂Is a weight for this evaluation quantity. This evaluation quantity is also expressed by the sensitivity vector M_AMean value and sensitivity vector M_BThe closer it is to the average value of, the closer it is to 0.
[0058]
The third term is the sensitivity vector M_AOf variance and sensitivity vector M of all elements forming_BIs an amount for evaluating the closeness to the variance value of all elements forming_ThreeIs a weight for this evaluation quantity. This evaluation quantity is also expressed by the sensitivity vector M_AVariance value and sensitivity vector M_BThe closer to the variance value, the closer to 0.
[0059]
The degree of emotional cooperation obtained in this way is also accumulated in the data storage area 16c. When evaluating the degree of emotional cooperation between dancer A and dancer B, the evaluation quantities of the second and third terms are also used only by the proximity of the normalized sensitivity vector shown in the first term. This is because the difference between the average value and the variance value regarding all elements of the sensitivity vector before normalization is considered to be effective.
[0060]
In step S47, it is determined whether or not two bar periods have elapsed. For example, this period corresponds to 4 seconds when measured at a rhythm of 120 beats / second. If “NO” here, the process returns to the step S35 to repeat the processes of the above-described steps S35 to S45. As a result, the counters 18a-1 to 18a-7 and 18b-1 to 18b-7 are updated, and the purity and sensitivity cooperation degree of the dancers A and B are accumulated in the data storage area 16c.
[0061]
When 4 seconds have elapsed, the process proceeds to step S49, and the maximum dominant sensibility of dancers A and B is determined based on the number of appearances of the main sensibilities counted in the last 4 seconds. That is, the sensitivity corresponding to the counter indicating the maximum value among the counters 18a-1 to 18a-7 is determined as the maximum dominant sensitivity of the dancer A and corresponds to the counter indicating the maximum value among the counters 18b-1 to 18b-7. Sensitivity is determined as the maximum dominant sensitivity of Dancer B. In step S51, the counters 18a-1 to 18a-7 and 18b-1 to 18b-7 are reset. Also, the counter for measuring the time of 4 seconds is cleared at this step.
[0062]
In step S53, the purity calculated in the latest 4 seconds is smoothed in the time direction according to Equation 7, and in step S55, the degree of cooperation calculated in the latest 4 seconds is smoothed in the time direction according to Equation 8. In addition, the smoothing process by Formula 7 and Formula 8 is a process which calculates | requires a moving average.
[0063]
[Expression 7]

[0064]
[Equation 8]

[0065]
In step S57, the video content and music content (multimedia expression) output from the speaker 26 and the monitor 28 and distributed to the viewer are changed according to the subroutines shown in FIGS.
[0066]
In step S59, it is determined whether a time corresponding to one game has passed, or whether the emotional expression by dancer A and dancer B has reached the goal. If neither condition is satisfied, the process returns to step S35, and the same process as described above is repeated for the next 4 seconds. On the other hand, if any one of the conditions is satisfied, the game end flag F is set in step 61, and then the process proceeds to step S63 to distribute the game end screen and sound.
[0067]
When the game ends, in step S65, an evaluation reception screen and music for receiving an evaluation of dance, music content, video content, and the overall content of the music content and video content are distributed. Then, in step S67, it is determined whether or not a certain period of time has elapsed, and an evaluation transmitted from the viewer's PC 90 is accepted in step S69 while the certain period has not elapsed. At this time, the viewer ranks and evaluates the dance evaluations of all dancers. Further, the overall evaluation of the music content, the video content, and the music content and the video content is evaluated by assigning, for example, five levels. When a certain period of time has elapsed, in step S71, an evaluation acceptance deadline screen and music are distributed, and the acceptance of the evaluation is terminated. When the acceptance of the evaluation is finished, in step S73, the received evaluation data is totaled and the total result is stored in the database 24. Music content at this time,Video contentAnd comprehensive contentIs an average value of evaluation values evaluated in five stages, for example. In step S75, the screen and music for displaying the counting result are distributed to the PCs of all the participants including the viewer's PC 90. At this time, the PC monitors of all the participants including the viewer's PC 90 andCentral deviceA screen as shown in FIG. 7 is displayed on the ten monitors 28. As shown in FIG. 7, the dancer evaluation display unit 92 indicates the superiority or inferiority of the dancers, and the sound evaluation display unit 94, the visual evaluation display unit 96, and the sound and visual evaluation display unit 98 each evaluate the music content. , Video content evaluation and overall evaluation of music content and video content are displayed in a five-stage gauge.
[0068]
According to the sensitivity sharing system 1 of the present invention, the participating dancers receive such an evaluation,It can be used as a reference for acquiring a more preferable dance operation, and a music content provider and a video content provider can be used as a reference for providing more preferable content. The evaluation of the music content and video content stored in the database 24 is also used to refine the music content and video content stored in the database 24. In other words, among the enormous music content and video content stored in the database, by deleting those whose evaluation by the viewer does not reach a certain value, more preferable music content and video content remain, and the more sophisticated database 24 Is completed. As a method of refining the database 24, for example, a method of leaving music content and video content whose evaluation value is equal to or higher than a predetermined value, a music content having the top 1000 evaluation values is left for music, and an evaluation value is set for video. A method of leaving the top 200 video contents can be considered.
[0069]
When the evaluation for the current dance is completed, it is determined in step S77 whether an event manager has issued a system instruction to end the dance competition. If the system instruction for the end of the dance tournament has not been issued, the process returns to step S25 to start the operation for the next game. On the other hand, if a system termination instruction has been issued, the process is terminated.
[0070]
Next, specific multimedia expressions and game characteristics will be described with reference to the subroutines shown in FIGS. 13 and 14 and the display examples shown in FIGS. At the time of reaching this subroutine, for example, dancer A has a maximum dominance sensitivity of “Happy”, dancer B has a dominance sensitivity of “Lonely”, and the purity of dancer A is higher than that of dancer B. Further assume that the degree of cooperation between the two is worse than a certain threshold. At this time, neither the sensitivity matching condition in step S91 nor the cooperation degree condition in step S93 is satisfied, and the process proceeds to step S95. In general, a well-coordinated state is said to have a high degree of cooperation. However, since the degree of cooperation H according to Equation 6 is such that the more well-coordinated, the numerical value H is closer to 0, so avoid confusion. Therefore, it is said that the better the cooperation is, the better the cooperation is, and the opposite state is the expression that the cooperation is bad.
[0071]
In step S95, the background image content corresponding to the maximum sensibility of dancers A and B is read from the database 24. In this case, as a background image of dancer A, an image reminiscent of dancer A's maximum sensibility “Happy” (for example, the hexagonal pattern shown on the right side of the screen in FIG. A large image) is selected. As the background image of dancer B, an image reminiscent of dancer B's maximum dominance sensation “Lonely” is selected (for example, an image in which the dark blue raindrop pattern shown on the left side of the screen in FIG. 4 descends slowly). . Of course, not only background images like this, but also add a gorgeous floral pattern on the “Happy” side, or add black and white flowers that sway in the wind on the “Lonely” side to express more loneliness. It may be. Since the background image is selected from videos recruited from video content providers, the expression of sensibility by these background images is the one that the sensibility of the video content provider is fully exhibited.
[0072]
In steps S97 to S101, the person video of the dancer A is overlaid on the background image in a manner corresponding to the purity of the dancer A. Specifically, if the purity of the dancer A is equal to or greater than the threshold value, the process proceeds from step S97 to step S101, and a special effect image in which a dancer A person image is silhouetted or a specific pattern is displayed in the outline of the person image is displayed. Overlay the background image on the left side of the screen. If the purity of the dancer A is lower than the threshold value, the process proceeds from step S97 to step S99, and the live-action image of the dancer A is overlaid on the background image on the left side of the screen. For the dancer B, the same processing is executed in steps S103 to S107. In the display example of FIG. 4, the purity of both dancer A and dancer B is lower than the threshold value, and therefore the actual image is overlaid on the background image in both cases.
[0073]
When the background image and the person image are set on the graphic board 22 by the processes in steps S95 to S107, the current corresponding output on the graphic board 22 is selected in step S109. As a result, a divided image as shown in FIG. 4 is created and distributed to the PCs of all the participants including the viewer's PC 90. Since the subroutines shown in FIGS. 13 and 14 are executed only every 4 seconds, the background image contents of dancers A and B and the patterns in the outline of the person image can be switched only every 4 seconds. However, by using the graphic board 22, the live-action person image displayed on the overlay, its outline image, and the background image change at a frame rate of (1/30) seconds.
[0074]
In step S111, the purity of dancer A and the purity of dancer B are compared with each other, and the process of step S113 or step S115 is performed according to the comparison result. That is, if the purity of the dancer A is greater, the music content corresponding to the maximum sensibility of the dancer A is read from the database 24 in step S115. On the other hand, if the maximum predominance sensitivity of dancer B is larger, the music content corresponding to the maximum predominance sensitivity of dancer B is read from database 24 in step S113. If each purity is equal, priority is given to the dominance sensitivity of dancer A.
[0075]
In step S117, the corresponding output for the current time on the sound board 20 is selected, and the music content set thereby is output from the speaker 20 and distributed to the PCs of all the participants including the viewer's PC 90. In this case, since the purity of dancer A is higher, bright and lively music reminiscent of dancer A's greatest sensibility “Happy” is selected. When the process of step S117 is completed, the process returns to the upper hierarchy routine.
[0076]
Under the circumstances described above, dancer B changes the expression content to match the sensitivity of dancer A at an early stage, and at the same time matches the sensibility (mutual dominance sensitivity of each other) as a pair of dancer A and dancer B. Increase the degree of cooperation. Also, depending on the purpose of the dance competition, Dancer B will be particular about the sensibility she is expressing, and will compete with Dancer A to increase its purity within a certain period of time and change the music to suit her dance. May be.
[0077]
When this subroutine is entered several times after the above state, the maximum predominance sensitivity of dancers A and B agrees as “Happy”, and the degree of cooperation between the two reaches a certain threshold. Then, YES is determined in both steps S91 and S93, and the process proceeds to step S121 via step S119 in FIG. In step S121, first, the background image content corresponding to the maximum sensibility expressed by the dancer A and the dancer B is read from the database 24, and this is set on the graphic board 22 as one background image that fills the screen. . In this case, as shown in FIG. 5, the background image indicating “Happy” is expanded to fill the screen.
[0078]
In subsequent steps S123 to S133, processing similar to that in steps S97 to S107 described above is performed, and the person images of dancer A and dancer B are overlaid on the background image in a manner corresponding to the purity. In the display example shown in FIG. 5, for the dancer A, the purity is equal to or higher than the threshold value, and a special effect image having a special effect such as representing the silhouette portion of the person image with another pattern is overlaid on the background image. On the other hand, for the dancer B, the purity is lower than the threshold value, and the photographed image is overlaid on the background image.
[0079]
In step S135, the current corresponding output on the graphic board 22 is selected, whereby the image shown in FIG. 5 is actually displayed on the monitor 28 and distributed to the PCs of all the participants including the viewer's PC 90. . As described above, the sensitivity shown by the pattern in the background image or the outline of the person image is updated only every 4 seconds, but the overlaid person image, the outline image, and the background image of (1/30) second are displayed. Varies with frame rate.
[0080]
In step S137, the music content that matches the maximum predominance sensitivity expressed by the dancer A and the dancer B is read from the database 24 and set in the sound board 20. In the subsequent step S139, the current corresponding output on the sound board 20 is selected, and thereby music corresponding to the matching feeling is output from the speaker 20 and distributed to all the participants' PCs including the viewer's PC 90. In this case, a bright and lively music reminiscent of the matching feeling “Happy” is selected, and for example, an orchestra melody is added. In other words, music that is more exciting than the music in the divided image stage shown in FIG. 4 is output. When the process of step S139 is completed, the process returns to the upper-level routine.
[0081]
After the situation as described above, when the sensibility of dancer A and dancer B matches and the degree of cooperation between the two is better than or equal to the threshold, the process proceeds from step S119 to step S141. It is the end stage of this game that proceeds to this step. In step S141, a pattern representing the high spatial sharing of dancers A and B (the pattern concentrically overlapping in FIG. 6) is added to the background image, and in the subsequent step S143, the characters “goal!” Are overlaid on the entire screen. . In step S145, the corresponding output on the graphic board 22 is selected and distributed to the PCs of all participants. As a result, as shown in FIG. 6, a spiral pattern surrounding dancer A and dancer B is added to the background image corresponding to “Happy”, and the letters “Goal!” Are displayed on the entire screen. Dancers and spectators know the game end stage and get satisfaction from this screen display.
[0082]
In step S147, the additional melody content, the flashy sound effect content, the audio content “Goal!”, Etc. by the orchestra that matches the maximum dominance sensitivity expressed by dancer A and dancer B are read from database 24, and the sound is read. Set to board 20. In step S149, the corresponding output on the sound board 20 is selected, and thereby music that is more exciting than the music at the display stage shown in FIG.
[0083]
Next, a method for selecting music content and video content stored in the database 24 will be described with reference to the routine shown in FIG. By the way, it is considered that the evaluation of music content and video content is influenced by the dancers' skill. Therefore, after obtaining a plurality of evaluations by different dancers, it is selected whether or not the music content and the video content are left in the database 24. Therefore, a plurality of evaluation result data are attached to 15 types of music content and video content.
[0084]
First, in step S151, it is determined whether or not there is a set of 15 types of contents in the database 24. If it is determined that there is content, evaluation result data attached to the content is acquired in step S153. In step S155, it is determined whether or not the content has been evaluated three times or more, that is, whether or not there are three or more evaluation result data. When the number of evaluations is less than 3, the process returns to step S151 to determine whether the next content exists. On the other hand, when the number of evaluations is three or more, for example, an average value of three evaluation results is calculated in step S157, and it is determined whether or not the calculated average value is equal to or greater than a predetermined threshold value. Then, when the average value of the evaluation results is smaller than the predetermined threshold value, the content is deleted from the database 24 in step S159. The deletion here is performed in units of 15 sets of 15 types. That is, in step S159, 15 contents are deleted simultaneously. On the other hand, when the average value of the evaluation results is equal to or greater than the predetermined threshold, the deletion process in step S159 is skipped and the process returns to step S151. In this way, only music content and video content whose viewer evaluation has reached a predetermined level are left in the database 24.
[0085]
As described above, the sensitivity sharing system of the first embodiment1In the first place, we received music content and video content from music content providers and video content providers.Central device 10Accumulate in database 24. Then, the sensibility is inferred from the body expression performed by each dancer, and the music content and the video content corresponding to the sensibility and the degree of cooperation of the sensibility are read from the database 24 and the sensibility expression by the multimedia expression is performed. The viewer evaluates the expression for the multimedia expression, and the evaluation result is stored in the database 24. Only the music content and video content stored in the database 24 are highly evaluated by the viewer, and the rest are deleted.
[0086]
Therefore, the dancer's sensibility can be expressed by various multimedia expressions. In addition, the multimedia expression includes the sensitivity of content providers and viewers who are not in the same space as the dancer, in addition to the dancer, so that a larger group of emotional expressions can be shared. Furthermore, the environment and effects (multimedia expression) that support the emotional expression by the body movement of the dancer are automatically improved by refining the database based on the viewer's evaluation.
[Example 2]
Kansei sharing system of embodiment 11Then, the evaluation by the viewer is performed after the end of the dance.1Then, evaluation is performed during the dance, and the evaluation result is displayed in real time on the PCs of all the participants including the viewer's PC90.
[0087]
Even in the second embodiment, there is a routine for estimating the sensitivity vector of each dancer based on the photographed image signal output from the camera. However, the routine is the same as that in FIGS.
[0088]
With reference to FIGS. 16-21, the routine which controls the change of multimedia expression (the music content and video content to output) based on the estimated dancer's sensitivity vector is demonstrated. As can be seen by comparing FIG. 16 and FIG. 17 and FIG. 10 and FIG. 11 of the first embodiment, the moving average of the sensitivity vector purity is calculated from the sensitivity vector of each dancer (step S193 in FIG. 17) and the sensitivity cooperation degree is shifted. The processing until the calculation of the average (step S195 in FIG. 17) is the same as that in the first embodiment. The difference from the first embodiment is that Steps S199 to S211, that is, the point where a viewer evaluates the multimedia expression every 32 seconds during the dance game, and the tabulated result of the received evaluation is the control of the multimedia expression. In the process (step S197), distribution is made to the PCs of all the participants including the viewer's PC90. Also, after the dance game is over (YES in step S213 in FIG. 18), an evaluation for the multimedia expression is accepted, and the total result of the received evaluations is distributed to the PCs of all the participants including the viewer's PC90. The point is the same as in the first embodiment. Note that the evaluation results collected during the dance game are not stored in the database 24, but only the evaluation results after the end of the dance are stored in the database 24. Therefore, only the evaluation result after the end of the dance is used to select the music content and the video content stored in the database 24.
[0089]
First, after finishing the first multimedia expression control process in step S197, it is determined in step S199 whether 32 seconds have elapsed, that is, whether 32 seconds have elapsed since the start of dance. When 32 seconds have not elapsed, the process returns to step S175, but when 32 seconds have elapsed, evaluation acceptance processing is performed in step S201 and thereafter. First, in step S201, an evaluation acceptance screen is distributed in a part of video content. Next, in step S203, it is determined whether or not a certain time has elapsed. While the predetermined time has not elapsed, an evaluation is accepted in step S205. At this time, the viewer ranks and evaluates the dance evaluations of all dancers and evaluates the overall evaluation of music content, video content, and music content and video content, for example, with five levels. . When a predetermined time has elapsed, in step S207, an evaluation acceptance deadline screen is inserted into a part of the video content and distributed. In step S209, the received evaluation data is tabulated, and in step S211, the tabulation result data is stored in the data storage area 16c. Therefore, the aggregation result data stored in the data storage area 16c is updated every time the evaluation is aggregated. The total results thus obtained are distributed to the PCs of all the participants including the viewer's PC 90 together with the person image and background image overlaid in the multimedia expression control process (step S197). Note that the totaling results here are not accumulated in the database 24.
[0090]
Next, the multimedia expression control process in step S197 of FIG. 17 will be described with reference to FIGS. As can be seen from a comparison of FIGS. 13 and 14 and FIGS. 19 to 21, the multimedia expression control process of the second embodiment is performed by converting the evaluation summary result data image into the person in step S 269 in FIG. 19 and step S 297 in FIG. Except for the overlay on the image and the background image, this is the same as the multimedia expression control process of the first embodiment.
[0091]
In other words, if the sensibilities of the dancers do not match (NO in step S251), or if the sensibility matches but the cooperation level of the sensibility is smaller than the threshold (YES in step S251 and NO in step S253), the maximum of each dancer in step S255. A background image corresponding to the predominance sensibility is read from the database 24, and a person image (actual image or special effect image) of each dancer is overlaid on the read background image in steps S257 to S267. In step S 269, the evaluation result data image is further overlaid on the overlaid image, and such an image is distributed to the PCs of all the participants including the viewer's PC 90. The aggregation result data image is created based on the aggregation result data stored in the data storage area 16c. Since the total result data is not stored in the data storage area 16c at the time of the first multimedia expression control process, all the participants' PCs including the viewer's PC 90 are not shown in FIG.4As shown in FIG. 4, the total result data is in a blank state. In the second and subsequent tabulation result data display, as shown in FIG. 7, the dancer evaluation display unit 92 indicates the superiority or inferiority of the dancers, and the sound evaluation display unit 94, visual evaluation display unit 96, and sound and visual evaluation display unit. In 98, the evaluation of the music content, the evaluation of the video content, and the overall evaluation of the music content and the video content are displayed in a five-stage gauge.
[0092]
The same applies when the dancers' sensibility matches and the sensibility cooperation level is equal to or greater than the threshold and the sensibility matching is shorter than 32 seconds (YES in step S251, YES in step S253, and NO in step S281). Perform the process. That is, a background image corresponding to the sensibility that matches in step S283 is read out from the database 24, and a person image (actual image or special effect image) of each dancer is overlaid on the read background image in steps S285 to S295. The In step S297, the evaluation result data image is further overlaid. Such images are distributed to the PCs of all the participants including the viewer's PC90.
[0093]
Note that the selection process of the music content and the video content stored in the database 24 is the same as the process shown in the first embodiment, and thus the description thereof is omitted.
[0094]
As described above, the sensitivity sharing system of the second embodiment1In the middle of the dance, the evaluation of the multimedia expression by the viewer is displayed in real time. Therefore, the dancer can aim for a better dance with reference to the evaluation displayed during the dance, and the viewer can obtain a greater sense of realism.
[0095]
In addition, the Example of this invention is not restricted to embodiment of Example 1 and Example 2, You may implement in various changes. For example, while the viewer's evaluation is above a certain level, as the second video content, a pattern that gives the screen gorgeousness or flashiness (for example, a shining translucent pattern) is overlaid on the entire screen. It may be. This second video content may also be recruited in advance under the direction of the event manager.
[0096]
Further, as a method for refining music content and video content stored in the database 24, the evaluation value is left in the top, but there are cases where the evaluation value is a high score only for a combination of a certain content and a dancer. Therefore, instead of simply selecting by the total score of the evaluation values, statistical analysis may be performed to leave a high-scoring combination in which the interaction is significant.
[0097]
There may also be content and dance that can be scored high only at certain times. Therefore, as a result of statistical analysis, a high-score combination in which the interaction with the age becomes significant may be left. In this way, a valuable database showing the flow of the times can be obtained.
[0098]
Further, as a method of determining music content and video content to be adopted in a dance competition, there is a method in which content of a provider who has been discarded (deleted) from the database 24 a predetermined number of times in the past is not adopted. Conversely, there is also a method of preferentially using content of a content provider who has a record of being accumulated in the database more than a certain number of times.
[0099]
In the first and second embodiments, the applied content is music content and video content, and the expression of the subject (dancer) is body expression by dance. However, the content of the content and the expression of the subject are limited to this. Instead of things, the content can be lyrics and songs, and the subject's expression can be songs.
[Brief description of the drawings]
FIG. 1 of the present inventionKansei sharing systemIt is an illustration figure which shows the whole structure of one Example.
[Figure 2]Central deviceIt is a block diagram which shows the example of a structure.
FIG. 3 is an illustrative view showing a part of the operation of the embodiment of FIG. 1;
FIG. 4 is an illustrative view showing an image displayed when a dancer's sensibility cooperation level is bad.
FIG. 5 is an illustrative view showing an image displayed when a dancer's Kansei cooperation level is good.
FIG. 6 is an illustrative view showing an image displayed when a goal is reached.
FIG. 7 is an illustrative view showing an image displayed when an evaluation is published.
FIG. 8 When estimating the sensitivity of dancer AMovementIt is an illustration figure which shows work.
FIG. 9 When estimating the sensitivity of dancer BMovementIt is an illustration figure which shows work.
FIG. 10 When changing the multimedia expressionMovementIt is a flowchart which shows a part of work.
FIG. 11 When changing the multimedia expressionMovementIt is a flowchart which shows the other part of work.
FIG. 12 When changing the multimedia expressionMovementIt is a flowchart which shows the other part of work.
FIG. 13: When changing the multimedia expressionMovementIt is a flowchart which shows the other part of work.
FIG. 14 When changing multimedia expressionMovementIt is a flowchart which shows the other part of work.
FIG. 15: When refining a databaseMovementIt is a flowchart which shows work.
FIG. 16 When changing multimedia expressionMovementIt is a flowchart which shows a part of work.
FIG. 17: When changing the multimedia expressionMovementIt is a flowchart which shows the other part of work.
FIG. 18: When changing the multimedia expressionMovementIt is a flowchart which shows the other part of work.
FIG. 19: When changing the multimedia expressionMovementIt is a flowchart which shows the other part of work.
FIG. 20: When changing the multimedia expressionMovementIt is a flowchart which shows the other part of work.
FIG. 21: When changing the multimedia expressionMovementIt is a flowchart which shows the other part of work.

Claims (7)

A database for registering multiple submitted content,
Sensitive detection means for detecting each of the sensibility of the plurality of subjects from representations of a plurality of subjects,
Output means for outputting a composite content including a plurality of sensibilities detected by the sensibility detection means among a plurality of contents registered in the database and expressions of the plurality of subjects ;
A degree-of-cooperation detecting means for detecting a degree of cooperation indicating a degree to which a plurality of sensibilities detected by the sensibility detecting means approximate each other; and
Comprises change means for changing, based an output mode of the content that forms the composite content in cooperative degree detected by the cooperative degree detecting means, sensitive sharing system.   The sensitivity sharing system according to claim 1, wherein the expression of the subject is a body expression. The sensitivity sharing system according to claim 1, further comprising: a reception unit that receives the evaluation result of the composite content; and a selection unit that selects the content registered in the database based on the evaluation result. The sensitivity sharing system according to claim 3 , wherein the evaluation result is an evaluation for each of the contents included in the composite content. The output means outputs the composite content including the same content multiple times,
The sensibility sharing system according to claim 3 or 4 , wherein the selection means performs selection based on the evaluation results obtained a plurality of times for the composite content including the same content. The content includes video and music,
Before SL change means outputs the music corresponding to the sensitivity of the coordination state space shared highly video when the cooperative degree exceeds a threshold value, sensibility sharing system according to any one of claims 1 to 5 . The sensitivity sharing system according to claim 6 , wherein subjects who express in accordance with the same content do not necessarily match.

Images