JP6830829B2 - プログラム、表示装置、表示方法、放送システム及び放送方法 - Google Patents

Description

本発明は、プログラム、表示装置、表示方法、放送システム及び放送方法に関する。

鍵盤楽器などを練習する場合、どこをどのように押さえるかが楽譜を見ただけではわかりづらく、練習がうまく出来なかったり、上達しなかったりすることがある。これは、演奏する対象の鍵盤と、演奏を指示している楽譜に物理的な隔たりがあるからである。この隔たりがあるために、演奏者（練習者）は、楽譜と鍵盤を交互に見なければならず、演奏練習は、非常にわずらわしいものとなる。このような場合に、演奏者が楽譜と鍵盤を交互に見なくても良いように、楽曲データに基づいて、鍵盤を光らせるなどの演奏ガイドを表示する電子楽器が提案されている。

しかし、鍵盤上に演奏ガイドを表示した場合、どの操作子（鍵）を操作するのかは、鍵盤から目を離さずに確認することが出来るが、その操作子をどの指で操作するべきなのかは、鍵盤上に表示される演奏ガイドからは、判別することが出来ない。

そこで、演奏者に演奏支援情報を効率的に提示する発明が開示されている。この発明は、複数の鍵盤等の演奏操作子と、複数の演奏操作子を含む視界を撮影し、視界画像情報を生成する撮影手段と、演奏者の運指画像と複数の演奏操作子を含む視界画像情報とを合成して表示するものである。

特開２００２−３６６１４２号公報 特開２０００−３５２９７３号公報 特許第３９６８９７５号公報

上述した発明は、鍵盤等の操作子をどの指で操作すれば良いか、また、実際に演奏の練習をしながら、指の運び方の情報（運指情報）が表示されるので、ユーザは表示画面と、表示画面の向こう側に見える実際の楽器及びユーザの手を見ながら演奏練習を行うことができる。

しかしながら、上述した発明は、演奏視聴において重要な要素である演奏者の演奏時の感情の起伏や、視線方向等の要素を反映することはできず、指の動かし方だけを示したものにすぎなかった。

同様なことは、上述した楽器の演奏のみならず、演者が何らかの目的を持って行うパフォーマンス、例えば、演劇や、ダンス、演奏の指揮のみならず、書道や、手話、絵画などの指や腕の運びなどにもいえ、パフォーマンスの画像を見ただけでは、パフォーマンス時の感情の起伏等がわからず、ユーザに提供する情報が不足していた。

そこで、本発明は、パフォーマンス視聴において重要な要素である演者のパフォーマンス時の感情の起伏や、視線方向等の要素を反映することができるプログラム、表示装置、表示方法、放送システム及び放送方法を提供することにある。

本発明の一態様は、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、光学的透過又は撮影されたユーザの視界画像に重畳して表示部に表示する表示処理をコンピュータに実行させるプログラムである。

本発明の一態様は、視界画像が光学的透過又は撮影されて表示される表示部と、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、前記視界画像に重畳して前記表示部に表示する表示制御部とを有する表示装置である。

本発明の一態様は、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、光学的透過又は撮影されたユーザの視界画像に重畳して表示部に表示する表示方法である。

本発明の一態様は、視界画像が光学的透過又は撮影されて表示される表示部と、放送されるコンテンツから、前記コンテンツと同期を取るための同期情報を受信する受信部と、視界画像が光学的透過又は撮影されて表示される表示部と、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、前記同期情報に基づいて、前記コンテンツの所定の開始タイミングと同期させて、前記視界画像に重畳して前記表示部に表示する表示制御部とを有する表示装置と、前記コンテンツと、前記同期情報とを放送する放送部とを有する放送システムである。

本発明の一態様は、所定のコンテンツと、前記コンテンツと同期を取るための同期情報とを放送し、前記コンテンツと同期を取るための同期情報を受信し、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、前記同期情報に基づいて、前記コンテンツの所定の開始タイミングと同期させて、前記視界画像に重畳して表示する放送方法である。

本発明は、演者のパフォーマンス時の感情の起伏や、視線方向等の要素を、エフェクト画像として、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と共に表示することにより、パフォーマンス視聴において重要な要素である演者の感情の高まり等を表現することができる。

図１は本発明の実施の形態の概要を説明するためのブロック図である。 図２は表示部１に表示される画像の一例を示した図である。 図３は本発明の第１の実施の形態による演奏情報表示装置のブロック図である。 図４は、本発明の第１の実施の形態における演奏情報表示装置３であるＨＭＤの一例を示した図である。 図５は表示制御部５のブロック図である。 図６は身体変化画像（エフェクト画像）の表示の一例を示した図である。 図７は身体変化画像（エフェクト画像）の表示の一例を示した図である。 図８は身体変化画像（エフェクト画像）の表示の一例を示した図である。 図９は身体変化画像（エフェクト画像）の表示の一例を示した図である。 図１０は身体変化画像（エフェクト画像）がキャラクタである例を示した図である。 図１１は視線方向を明示する画像の一例を示した図である。 図１２は第１の実施の形態の動作フローチャートである。 図１３はスマートフォンを利用したヘッドマウントディスプレイ（ＨＭＤ）の一例を示した図である。 図１４は音楽データ及び画像基本データを取得する方法の一例を説明するための図である。 図１５はユーザがＨＭＤを装着した状態で、ピアノを斜め方向から見た時に表示部に表示される画像の一例を示した図である。 図１６はユーザがＨＭＤを装着した状態で、表示部に表示される、演奏者の後方から見た時に、視界画像Ａに仮想画像Ｂが重畳された画像Ｃの一例を示した図である。 図１７は実際のピアノの上部に、ピアノの操作子（鍵盤）の操作子画像を表示し、この仮想の操作子画像の上に、演奏画像を表示している例を示す図である。 図１８は第４の実施の形態のブロック図である。 図１９はパフォーマンスが書道の場合の表示部１に表示される画像の一例を示した図である。 図２０はプロセッサ等で構成したパフォーマンス表示装置１００のブロック図である。

本発明の実施の形態を説明する。

図１は、本発明の実施の形態の概要を説明するためのブロック図である。

本発明の実施の形態は、視界画像が光学的透過又は撮影されて表示される表示部１と、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、視界画像に重畳して表示部１に表示する表示制御部２とを有する表示装置である。

ここで、パフォーマンスとは、演者が何らかの目的を持って行う動作をいう。例えば、楽器の演奏、演奏の指揮、演劇、ダンスのみならず、書道や、手話、絵画、折り紙などの指や腕の運びなども含まれる。

表示部１は、例えば、ヘッドマウントディスプレイ（頭部装着ディスプレイ: Head Mounted Display、HMD）のディスプレイ部である。ヘッドマウントディスプレイには、視界画像が光学的透過されて表示される光学透過型ヘッドマウントディスプレイや、視界画像が撮影されて表示されるビデオ透過型ヘッドマウントディスプレイ等があるが、いずれのものでも良い。尚、視界画像は、ユーザが見ているピアノ等の楽器の画像のみならず、外部の景色等も含む概念である。

表示制御部２は、例えば、ヘッドマウントディスプレイに内蔵された処理部である。表示制御部２は、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を視界映像に重畳して、表示部１に表示する。

仮想画像（例えば、３Ｄグラフィック）には二つあり、ひとつは、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像である。関節動作画像の例としては、楽器の演奏者の運指の形状を示す運指画像や、書道や、手話、絵画などの指や腕の運指画像が代表的なものである。例えば、関節動作画像が演奏者の運指の形状を示す運指画像である場合、この運指画像は、ＭＩＤＩ等の楽曲データに基づいて、その演奏者が楽器を演奏する際の操作子（例えば、ピアノの鍵盤）に対する指運び（運指）を模式的に表したものである。

もうひとつは、本発明の特徴をなすものであり、演者のパフォーマンス時の感情等を画像化した身体変化画像（エフェクト画像）である。この身体変化画像（エフェクト画像）は、演者のパフォーマンス時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波等の少なくとも一つから得られる身体変化に関する身体変化情報を、パフォーマンスの一連の動作に対して時系列に数値化し、数値に基づいて変化するエフェクト画像である。これらの仮想画像が視界画像に重畳して表示部１に表示される。

図２は、表示部１に表示される画像の一例を示した図である。図２では、パフォーマンスの一例として、ピアノの演奏を例にし、関節動作画像がそのピアノの演奏者の運指の形状を示す運指画像である場合の画像の一例を示している。具体的には、ピアノを含む視界画像に、運指画像と身体変化画像とが重畳されて表示されている。運指画像はピアノの鍵盤（操作子）を操作するべき指が、その鍵盤に重ね合わせて表示されている。更に、その指で演奏された鍵盤上からは、その演奏時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波等の少なくとも一つから得られる身体データをパラメータとする関数から得られた身体変化画像（エフェクト画像）が表示されている。図２では、ある演奏の一瞬を示した画像であるため、身体変化画像（エフェクト画像）の変化を表現することはできないが、演奏時間の経過によって、身体変化画像（エフェクト画像）は変化する。例えば、演奏者の心拍数が上昇すると、出現する粒子の数が多くなったり、その色が変化したりする。

このように、本発明は、演者のパフォーマンス時の感情の起伏や、視線方向等の要素を、エフェクト画像として、関節動作画像と共に表示することにより、パフォーマンス視聴において重要な要素である演者の感情の高まり等を表現することができる。

次に、本発明の第１の実施の形態を説明する。

第１の実施の形態では、パフォーマンスの一例として、ピアノの演奏を例にし、関節動作画像がそのピアノの演奏者の運指の形状を示す運指画像である演奏情報表示装置について説明する。

図３は、本発明の第１の実施の形態による演奏情報表示装置のブロック図である。

演奏情報表示装置３は、表示部４と、表示制御部５と、空間認識センサ６（可視光カメラまたは赤外線カメラ等を含む）とを備える。演奏情報表示装置３の代表的な例としては、頭部に装着し、実世界（視界画像）を見ることができると共に、コンピュータグラフィックス等を視聴できるヘッドマウントディスプレイ（ＨＭＤ）がある。

図４は、本発明の第１の実施の形態における演奏情報表示装置３であるＨＭＤの一例を示した図である。ユーザは、ＨＭＤを装着して、そこに映し出される楽器及び演奏画像を視聴しながら、演奏練習や、曲の鑑賞等を行う。

次に、表示制御部５の具体的な構成について説明する。図５は表示制御部５のブロック図である。

表示制御部５は、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ及び身体データ（基本となる身体変化画像も含む））とを含む演奏データが格納された格納部１０と、ＭＩＤＩ(Musical Instrument Digital Interface)データと画像基本データ（運指データ及び身体データ）とが入力されるシーケンサ部１１と、音源であってシーケンサ部１１に入力されたＭＩＤＩデータに基づいて音声信号を出力する音声処理部１２と、シーケンサ部１１に入力された演奏画像データに基づいてコンピュータグラフィクスにより描画を行って出力画像データとして出力する画像処理部１３と、から構成されている。

格納部１０に格納されるＭＩＤＩデータは、楽曲の演奏音のデータであって、ＭＩＤＩ規格に基づいて表わされている。ＭＩＤＩ規格は、電子楽器を外部から制御して演奏させるためのデータの規格であり、楽曲を構成する各音についてのデータを時系列にしたがって、電子楽器等に入力するように定められている。ＭＩＤＩデータでは、楽曲の先頭から順次出現する音に対し、パートや手の区別に概ね対応するチャネルごとに、その音の音程や大きさ、長さ、その音の開始時点から次の音の開始時点までの間隔などの情報を与えている。

本実施の形態では、そのＭＩＤＩデータに、演奏画像（運指データ及び身体変化画像（エフェクト画像））に必要な画像基本データ（運指データ及び身体データ）の一部を含めている。例えば、ＭＩＤＩのオプション部分に、画像基本データ（運指データ及び身体データ）を格納している。

運指データは、演奏者に電子楽器等を実際に演奏してもらい、ＭＩＤＩデータ（ノートナンバー（鍵盤位置）、デュレーション（音の長さ）、ベロシティ（打鍵強さ）等）を取得する。また、同時に、指の運指データの取得のため（関節動作画像を生成するに必要なデータ）、赤外線センサにより、演奏者の運指（手や指の動きを、３次元的に捉えることが可能で、上下左右、前後への移動の情報）も撮影する（モーションキャプチャする）。尚、このようなモーションキャプチャができる製品としては、Leap Motionがある。このように取得したデータを元に、ピアノ等の楽器に対する指の３次元の座標データを取得し、そのデータを、ＭＩＤＩデータのテンポ情報に合わせて、時系列に配置する。

一方、身体変化画像（エフェクト画像）に必要な身体データは、上述した演奏の際、演奏者に、心拍計や体温計、視線方向検知器などの計測器を装着し、その計測器から身体変化情報（視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波の少なくとも一つから得られる身体データ）を取得する。取得した身体データは、ＭＩＤＩデータのテンポ情報に合わせて、時系列に配置する。

このように、取得されたＭＩＤＩ(Musical Instrument Digital Interface)データと演奏画像（運指データ及び身体変化画像（エフェクト画像））とを含む演奏データは、格納部１０に格納される。

シーケンサ部１１は、格納されているＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ及び身体データ）とを含む演奏データを入力し、時系列に沿って、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ及び身体データ）とを分離する。そして、音声出力に必要なＭＩＤＩデータ（ノートナンバー（鍵盤位置）、デュレーション（音の長さ）、ベロシティ（打鍵強さ）等）を、音声処理部１２に出力する。また、ＭＩＤＩ(Musical Instrument Digital Interface)データのうちのタイミング情報（再生トリガ）や、画像基本データ（運指データ及び身体データ）を、画像処理部１３に出力する。

音声処理部１２は、ＭＩＤＩ(Musical Instrument Digital Interface)データに基づいて音声信号を生成し、外部の出力装置、例えば、電子ピアノ、ＭＩＤＩキーボード等に出力する。

画像処理部１３は、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ及び身体データ）に基づいて、運指画像と、身体変化画像（エフェクト画像）とを生成する。

まず、運指画像の生成について説明する。

運指データとＭＩＤＩデータとを解析することにより、鍵盤上のある鍵をどのタイミングで打鍵すればよいかが分かる。しかしながら、実際の指の動きや形状は、打鍵対象が黒鍵であるか白鍵であるか、また、直前直後にどの指がどの鍵を弾くかなどに応じて変化する。本実施の形態では、指の運指データとして、モーションキャプチャにより取得した演奏者の指の３次元の座標データを、時系列的に取得している。

一方、画像処理部１３は、空間認識センサ６の信号により、演奏情報表示装置３の表示部４に映し出される視界画像がどのような画像であるか、具体的には、ユーザが見ているのは、ピアノのどの部分（例えば、ピアノのどの鍵盤であるのか）を見ているかを解析する。

例えば、画像処理部１３の空間認識の方法として、既知のピアノの足および鍵盤から構成されるピアノモデルを記憶しておく。この既知のピアノモデルは、複数角度から撮影した画像より構成されるものとする。次に、空間認識センサ６の位置を撮影基準位置とし、水平面を把握し、その面積や、連続性から床面を認識する。そして、空間認識センサ６により、床と連続する対象物を認識し、その形状および距離を推定する。認識された対象物が、記憶されているピアノモデルと一致するか推定する。認識した対象物が既知のピアノモデルと合致する場合に、撮影基準位置とこの対象物との位置関係から実際のピアノとの角度、距離を推定する。そして、対象物と既知のピアノモデルとの鍵盤の位置関係は既知であるとし、得られたピアノとの角度、距離を元に鍵盤の位置を推定する。

このように、ユーザが、現在、見ているピアノの鍵盤位置を認識することができるので、その鍵盤位置に対応する演奏者の指の３次元の座標データを特定して運指画像を生成し、その運指画像を、ユーザが、現在見ているピアノの鍵盤位置に重畳する。尚、指や手、腕の皮膚や爪などの形状を表わすデータは、画像処理部１３の内部のメモリに予め蓄積しておき、これらのデータと演奏者の指の３次元の座標データとに基づいて、運指画像を描画するようにする。

次に、画像処理部１３による身体変化画像（エフェクト画像）の生成について説明する。

身体変化画像（エフェクト画像）は、身体データに基づいて生成する。身体データは、上述した通り、演奏の際、演奏者に、心拍計や体温計、視線方向検知器などの計測器を装着し、その計測器から得られたデータが正規化され、そのデータがＭＩＤＩデータのテンポ情報に合わせて時系列に配置されている。そこで、ＭＩＤＩデータと身体データとをパラメータとする関数から、身体変化画像（エフェクト画像）を生成する。具体的な一例を説明すると、ＭＩＤＩデータのベロシティ（打鍵強さ）の値をＰ、演奏者の心拍数のデータをＶとすると、エフェクトＥ（感情値）は、以下の式で表現することができる。
Ｅ＝Ｐ×Ｖ
次に、得られたエフェクトＥを０から１００の間で正規化する。そして、あらかじめ設定した身体変化画像（エフェクト画像）に反映させる。例えば、図６に示すように、コンピュータグラフィックスのパーティクル・システムの一つである粒子の発生量に反映させ、エフェクトＥが小さいほど、粒子の発生量を少なくする（エフェクトＥが０の場合には粒子は発生しない）。一方、エフェクトＥが大きいほど、粒子の発生量を多くする（エフェクトＥが１００の場合には粒子の発生量は最大となる）。

また、これに限らず、エフェクトに揺らぎの要素を加えても良い。例えば、エフェクトＥ（感情値）に、粒子の発生速度や消える速度、粒子の発生角度を変化させる揺らぎのパラメータｆを加え、
Ｅ＝Ｐ×Ｖ×ｆ
とし、パラメータｆをランダムに変化させるようにしても良い。このようにすれば、図７のように粒子の消える速度や、図８のように粒子の発生速度、図９のように粒子が発生させる角度を変化させることができる。更に、ＭＩＤＩデータの他の情報、例えば、デュレーション等の値を利用して、粒子にうねりを与えるようにしても良い。

また、表示する画像は、粒子だけでなく、音符や他のキャラクタであっても良い。図１０は、身体変化画像（エフェクト画像）がキャラクタである例を示した図である。図１０の例では、左側の図はエフェクトＥ（感情値）が小さい場合のキャラクタの様子を示したものであり、右側の図はエフェクトＥ（感情値）が大きい場合のキャラクタの様子を示したものである。エフェクトＥ（感情値）が小さい場合にはキャラクタは暗いイメージとなり、エフェクトＥ（感情値）が大きい場合にはキャラクタは明るいイメージとなる。このように、エフェクトＥ（感情値）に応じてキャラクタの動作を変化させるようにしても良い。更に、キャラクタの動作の変化に加え、キャラクタから上述したエフェクトＥ（感情値）に応じた粒子を発生させるようにしても良い。

画像処理部１３は、このようにして生成された身体変化画像（エフェクト画像）を、運指画像に、特に、そのタイミングで、楽器の操作子（例えば、ピアノの鍵盤）を押さえている指の画像上に重畳して表示する。

更に、画像処理部１３は、身体データが視線方向を含む場合、その視線方向を明示する画像を身体変化画像に追加しても良い。図１１は、視線方向を明示する画像の一例を示した図である。図１１の例では、ユーザがピアノの正面を見ており、実際のピアノの鍵盤上に、運指画像と身体変化画像（エフェクト画像）とが重畳されて表示されている例である。

続いて、第１の実施の形態の動作を説明する。

図１２は第１の実施の形態の動作フローチャートである。

まず、表示制御部５のシーケンサ部１１は、格納部１０に格納されている演奏データを読み込む（Ｓｔｅｐ １００）。

シーケンサ部１１は、演奏データのＭＩＤＩ(Musical Instrument Digital Interface)データからタイミング情報を抽出する（Ｓｔｅｐ １０１）。

次に、画像処理部１３は、空間認識センサ６の結果により、演奏情報表示装置３の表示部４に映し出される対象物と演奏情報表示装置３との位置関係を推定する（Ｓｔｅｐ １０２）。そして、推定された位置関係に基づいて、運指画像を生成する（Ｓｔｅｐ １０３）。

また、画像処理部１３は、ＭＩＤＩデータと身体データとをパラメータとする関数から、身体変化画像（エフェクト画像）の効果であるエフェクトを算出する（Ｓｔｅｐ １０４）。そして、算出されたエフェクトから、身体変化画像（エフェクト画像）を生成する（Ｓｔｅｐ １０５）。

最後に、音声出力のタイミングに合わせて、生成した運指画像及び身体変化画像（エフェクト画像）を、視界画像中の対象物である楽器の操作子上に重畳して表示する（Ｓｔｅｐ １０６）。

第１の実施の形態は、演奏者の演奏時の感情の起伏や、視線方向等の要素を、エフェクト画像として、運指画像と共に表示することにより、演奏視聴において重要な要素である演奏者の感情の高まり等を表現することができる。

尚、上述した第１の実施の形態では、図４に示すヘッドマウントディスプレイ（ＨＭＤ）を例にして説明した。しかし、これに限らず、例えば、スマートフォンを装着できるゴーグルに、スマートフォンを装着してヘッドマウントディスプレイ（ＨＭＤ）と同様な機能を実現しても良い。

図１３はスマートフォンを利用したヘッドマウントディスプレイ（ＨＭＤ）の一例を示した図である。図１３では、スマートフォン５０を収納、装着できるゴーグル５１を示している。スマートフォン５０は、カメラや加速度センサ等が装備されているため、カメラから視界画像を撮影することができ、また、各種センサのセンシング情報により、空間認識を行うことができる。よって、スマートフォンを利用したヘッドマウントディスプレイ（ＨＭＤ）でも、上述した演奏情報表示装置３と同様な機能を実現できる。

また、ＭＩＤＩ(Musical Instrument Digital Interface)データ等の音楽データ、及び画像基本データ（運指データ及び身体データ（基本となる身体変化画像も含む））であるが、ユーザが店舗に直接出向いてそれらデータを購入しても良いが、例えば、図１４のように、音楽データ及び画像基本データを配信するコンテンツ配信サーバ６０を用意し、ユーザが演奏情報表示装置３により、キーコードを用いてアクセスし、音楽データ及び画像基本データをダウンロードして取得するようにしても良い。この場合、演奏情報表示装置３が通信機能を有するヘッドマウントディスプレイ（ＨＭＤ）やスマートフォン場合に有効である。

第２の実施の形態を説明する。

第２の実施の形態は、上述した第１の実施の形態に、演奏視聴モードを追加した形態である。

上述したように、ユーザは通常、ピアノ等の楽器を見ているのであるが、その視線角度はまちまちである。例えば、ピアノ等の楽器全体を見ている場合や、ピアノ等の楽器を横から見ている場合などである。更には、ピアノ等の楽器自体を見ていない場合もある。

一方、上述したように、画像処理部１３は、空間認識センサ６により、演奏情報表示装置３の表示部４に映し出される視界画像がどのような画像であるか、認識することができ、ピアノ等の楽器を横から見ている場合や、ピアノ等の楽器自体を見ていない場合も認識可能である。

そこで、第２の実施の形態では、画像処理部１３は、ユーザの視線角度に応じて演奏画像を変化させる例を説明する。

具体的には、運指画像を単なる指及び腕等の画像のみならず、演奏者全体の画像も表示するようにする。そのため、画像処理部１３は、楽器を含む所定の基準部位と、演奏情報表示装置３との位置関係を検出し、その演奏情報表示装置３の表示部４に表示される方向から見た演奏者も含む運指画像を表示するようにする。

図１５は、ユーザがＨＭＤを装着した状態で、ピアノを斜め方向から見た時に表示部に表示される画像の一例を示した図である。図１５では、斜め方向から見た運指及び演奏者の画像と、身体変化画像（エフェクト画像）とが重畳されて表示されている。

尚、ユーザがＨＭＤを装着した状態で、ピアノの鍵盤を見えない位置から鑑賞する場合もあり得る。その場合は、その位置から自然に見える状態のものを表示すれば良い。例えば、図１６に示すように、ＨＭＤを装着した状態で見える視界画像（実映像）が視界画像Ａ（複数人がＨＭＤを装着して視聴している）である場合、その位置から見える運指画像、演奏者の後ろ姿や、身体変化画像（エフェクト画像）の一部等である仮想画像Ｂを生成し、視界画像Ａと仮想画像Ｂとを重畳して、画像Ｃを表示部に表示する。尚、図１６に示す仮想画像Ｂでは、運指画像、演奏者の後ろ姿や、身体変化画像（エフェクト画像）の一部に加えて、演奏者のビデオ画像、演奏している曲の楽譜及び身体変化情報の変化を時系列的に表示したグラフも表示している。

第２の実施の形態は、ユーザの視聴位置、視聴方向によって、運指及び演奏者の画像と身体変化画像（エフェクト画像）の表示を変化させているので、ユーザにとって不自然な画像とはならない効果がある。

第３の実施の形態を説明する。

第３の実施の形態は、上述した第１、第２の実施の形態に、練習モードを追加した形態である。

本発明の演奏画像を見ながら、楽器の演奏練習をする場合、自分の指と運指画像とが重なって表示される。これは、練習する際に、自分の指を運指画像と重なるように運べば良いので、都合が良い。しかし、自分の指が運指画像と重なると、自分の指が見づらく、不都合になる場合もあると思われる。

そこで、第３の実施の形態では、ピアノ等の楽器の操作子（例えば、ピアノの鍵盤）と、演奏画像（運指及び身体変化画像（エフェクト画像））とが重ならないように表示する例を説明する。

画像処理部１３は、ピアノ等の楽器とＨＭＤ等の演奏情報表示装置３との位置関係を推定し、ピアノ等の楽器の操作子の位置を確定する。その上で、ピアノ等の楽器の操作子に重ならないように、演奏画像（運指及び身体変化画像（エフェクト画像））を表示する。この時、予めピアノ等の楽器の操作子（例えば、ピアノの鍵盤）の操作子画像を用意しておき、この仮想の操作子画像の上に、演奏画像（運指及び身体変化画像（エフェクト画像））を表示するようにしても良い。

図１７は、実際のピアノの上部に、ピアノの操作子（鍵盤）の操作子画像を表示し、この仮想の操作子画像の上に、演奏画像を表示している例である。

第３の実施の形態は、実際のピアノ等の楽器の操作子（例えば、ピアノの鍵盤）と、演奏画像（運指及び身体変化画像（エフェクト画像））とが重ならないように表示するモードを備えているので、練習の際、演奏画像により、自分の指が見づらくなるという、不都合を解消することができる。

第４の実施の形態を説明する。

第４の実施の形態は、放送番組連携の例を説明する。尚、第４の実施の形態では、演奏情報表示装置３に格納される演奏データに関するコンテンツ、例えば、実際に楽器を演奏するコンサートの番組コンテンツを放送し、この番組と連動して演奏情報表示装置３では、演奏データを再生する場合を説明する。

図１８は第４の実施の形態のブロック図である。

第４の実施の形態は、放送局２０と、テレビ受信機２１と、演奏情報表示装置３とを有している。尚、上述した実施の形態と同様な構成のものについては、同じ符号を付してある。

放送局２０は、所定のキイ音声の出力と同時に、イベントメッセージ等でキートリガを送信する。

テレビ受信機２１は、キイ音声とイベントメッセージとを受信する。そして、受信したキイ音声を出力する。テレビ受信機２１から出力される音声は、演奏情報表示装置３の音源取得部３０により取得される。一方、テレビ受信機２１は、ハイブリッドキャストアプリケーションにより、受信したイベントメッセージの電文を抽出し、当該電文を同一ネットワーク内に存在する演奏情報表示装置３に送信され、演奏情報表示装置３のキートリガ取得部３１により取得される。

演奏情報表示装置３は、音源取得部３０により取得したキイ音源と、キートリガ取得部３１により取得したキートリガとから、その時間差を誤差調整量として記録する。尚、その時間差が、テレビ受信機２１の個体差によるデコード等の遅延時間である。

演奏情報表示装置３は、取得したキートリガを基準に、誤差調整量を加算し、演奏情報表示装置３の格納部１１に格納されている演奏データの再生を開始する。

第４の実施の形態では、テレビ受信機２１の個体差によるデコード等の遅延時間を考慮することで、放送番組と連動した演奏データの再生を行うことができる。

第５の実施の形態を説明する。

上述した実施の形態では、楽器等の演奏を例にして実施の形態を説明したが、本発明はこれに限定されない。第５の実施の形態では、パフォーマンスが書道の例にし、関節動作画像が書道における筆、指及び腕の画像である場合を説明する。

第５の実施の形態の構成は基本的には上述した実施の形態と同様な構成であるが、表示制御部５の格納部１０に格納されるデータが音のデータが不要のため、画像基本データ（運指データ及び身体データ）のみである点、ＭＩＤＩ(Musical Instrument Digital Interface)データを分離するシーケンサ部１１が不要な点にある。

一方、画像基本データには、書き順に沿った時系列的な運指データ(筆、指及び腕の画像データ)と、その時系列的に沿った身体データ及びその時系列的に沿った筆跡の生成画像が含まれる。

尚、運指データは、演者に実際に字を書いてもらい、赤外線センサにより、演者の筆運びの運指（手や指、筆の動き、筆跡を、３次元的に捉えることが可能で、上下左右、前後への移動の情報）をモーションキャプチャし、取得したデータを元に、筆運びの３次元の座標データを取得し、そのデータを時系列に配置する。

また、身体変化画像（エフェクト画像）に必要な身体データは、上述した書道のパフォーマンスの際、演者に、心拍計や体温計、視線方向検知器などの計測器を装着し、その計測器から身体変化情報（視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波の少なくとも一つから得られる身体データ）を取得する。取得した身体データは、運指データの時系列にあわせて配置する。

一方、画像処理部１３の空間認識であるが、書道に用いられる半紙は事実上の標準規格（ディファクトスタンダード）であるため、半紙を既知モデルとすれば、容易に空間認識が可能である。従って、ユーザが、現在、見ている半紙の位置を認識することができるので、その半紙位置に対応する演者の筆運びの運指の３次元の座標データを特定して運指画像を生成し、その運指画像及びその時間の身体変化画像（エフェクト画像）を、ユーザが、現在見ている半紙位置に重畳する。

図１９は、パフォーマンスが書道の場合の表示部１に表示される画像の一例を示した図である。図１９では、半紙を含む視界画像に、運指画像と身体変化画像とが重畳されて表示されている。運指画像として、筆、筆を操る指や手、及び筆跡が、半紙に重ね合わせて表示されている。更に、演者に操られる筆上からは、その演奏時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波等の少なくとも一つから得られる身体データをパラメータとする関数から得られた身体変化画像（エフェクト画像）が表示されている。

第５の実施の形態は、演者が行うパフォーマンスの関節動作画像と、その演者のパフォーマンス時の感情の起伏や、視線方向等の要素を、エフェクト画像とを表示することにより、パフォーマンス時の演者の感情の起伏を表現することができる。

尚、上述した実施の形態において、ピアノや半紙等が実際にない場合であっても、仮想的なピアノや半紙の画像を生成し、自分の好きな位置に、仮想的なピアノや半紙の画像、運指画像及び身体変化画像（エフェクト画像）を表示させるようにしても良い。

上述した実施の形態では、各部をハードウェアで構成したが、上述した動作の処理をプロセッサ（例えば、ＣＰＵ）に行わせるプログラムによっても構成できる。

図２０は、プロセッサ等で構成したパフォーマンス表示装置１００のブロック図である。

パフォーマンス表示装置１００は、上述したディスプレイ等の表示部４と、空間認識センサ６（可視光カメラまたは赤外線カメラ等を含む）とを備える。更に、パフォーマンス表示装置１００は、プロセッサ１１０と、メモリ１１１と、メモリ１１２とを備える。

メモリ１１１は主メモリであり、メモリ１１１には上述した表示制御部５に対応する処理を行うプログラムが格納されている。メモリ１１２はハードディスクやフラシュメモリ等などであり、メモリ１１２には、関節動作データ、身体変化データ及び身体変化画像データが格納される。そして、プロセッサ１１０がメモリ１０１に格納されているプログラムを実行し、関節動作データ、身体変化データ及び身体変化画像データを処理することで、上述した実施の形態と同様な機能が実現される。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

本出願は、２０１５年８月１７日に出願された日本出願特願２０１５−１６０５９５号、及び２０１５年９月１１日に出願された日本出願特願２０１５−１７９０４６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 表示部
２ 表示制御部
３ 演奏情報表示装置
４ 表示部
５ 表示制御部
６ 空間認識センサ
１０ 格納部
１１ シーケンサ部
１２ 音声処理部
１３ 画像処理部
２０ 放送局
２１ テレビ受信機
３０ 音源取得部
３１ キートリガ取得部
５０ スマートフォン
５１ ゴーグル
６０ コンテンツサーバ
１００ パフォーマンス表示装置
１１０ プロセッサ
１１１ メモリ
１１２ メモリ

Claims (23)

1. 演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンスに関するデータが時系列的にデータ化されたパフォーマンスデータと、前記演者のパフォーマンス時の身体変化のデータであり、前記パフォーマンスデータに対応して時系列的にデータ化された身体変化データとを、パラメータとする関数に基づいて変化する身体変化画像とを少なくとも含む仮想画像を、光学的透過又は撮影されたユーザの視界画像に重畳して表示部に表示する表示処理を
   コンピュータに実行させるプログラム。
2. 前記表示処理は、
   前記関節動作画像の関節動作データと、前記パフォーマンスデータと、前記身体変化の身体変化データと、前記身体変化画像の身体変化画像データとが格納された記録媒体から、所定のパフォーマンス時の関節動作画像データ、前記パフォーマンスデータ及び身体変化データを読み出す処理と、
   前記読み出した関節動作画像データに基づいて、前記所定のパフォーマンス時の関節動作画像を生成する処理と、
   前記読み出した前記パフォーマンスデータ及び身体変化データをパラメータとする関数に基づいて、前記所定のパフォーマンス時の身体変化画像を生成する処理と、
   前記所定のパフォーマンス時の関節動作画像及び身体変化画像を、ユーザの視界画像に重畳して表示部に表示する処理と
   を有する請求項１に記載のプログラム。
3. 前記身体変化データは、前記演者のパフォーマンス時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波の少なくとも一つから得られる身体データを、パフォーマンスの動作に対応して時系列に数値化したものである
   請求項１又は請求項２に記載のプログラム。
4. 前記パラメータに、揺らぎの要素を加える
   請求項１から請求項３のいずれかに記載のプログラム。
5. 前記表示処理は、
   光学的透過又は撮影されたユーザの視界画像における所定の物体と表示部との位置関係を検出し、前記位置関係に基づき、前記視界画像における前記仮想画像の位置及び形状を制御する表示制御処理
   を有する請求項１から請求項４のいずれかに記載のプログラム。
6. 前記演者のパフォーマンスが、楽器の演奏者の運指であり、
   前記関節動作画像が、前記運指の運指画像であり、
   前記パフォーマンスデータが、楽器の演奏データである
   請求項１から請求項５のいずれかに記載のプログラム。
7. 前記表示処理は、
   光学的透過又は撮影されたユーザの視界画像における、楽器の形状及び位置と前記楽器の演奏操作子の形状及び位置とに基づいて、前記ユーザの視界画像における運指画像の重畳位置を決定する処理
   を有する請求項６に記載のプログラム。
8. 前記楽器はピアノであり、前記楽器の演奏操作子は鍵盤である
   請求項６又は請求項７に記載のプログラム。
9. 前記表示部は、人の頭部に装着する表示装置に設けられる
   請求項１から請求項８のいずれかに記載のプログラム。
10. 放送されるコンテンツから、前記コンテンツと同期を取るための同期情報を受信する受信処理と、
    前記コンテンツの所定の開始タイミングと同期して、前記仮想画像を、前記視界画像に重畳して前記表示部に表示する処理と
    を更に有する請求項１から請求項９のいずれかに記載のプログラム。
11. 視界画像が光学的透過又は撮影されて表示される表示部と、
    演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンスに関するデータが時系列的にデータ化されたパフォーマンスデータと、前記演者のパフォーマンス時の身体変化のデータであり、前記パフォーマンスデータに対応して時系列的にデータ化された身体変化データとを、パラメータとする関数に基づいて変化する身体変化画像とを少なくとも含む仮想画像を、前記視界画像に重畳して前記表示部に表示する表示制御部と
    を有する表示装置。
12. 前記表示制御部は、
    前記関節動作画像の関節動作データと、前記パフォーマンスデータと、前記身体変化の身体変化データと、前記身体変化画像の身体変化画像データとが格納された記録媒体と、
    前記記録媒体から、所定のパフォーマンス時の関節動作画像データ、前記パフォーマンスデータ及び身体変化データを読み出し、前記読み出した関節動作画像データに基づいて、前記所定のパフォーマンス時の関節動作画像を生成し、前記読み出した前記パフォーマンスデータ及び身体変化データをパラメータとする関数に基づいて、前記所定のパフォーマンス時の身体変化画像を生成し、前記所定のパフォーマンス時の関節動作画像及び身体変化画像を、ユーザの視界画像に重畳して表示部に表示する制御部と
    を有する請求項１１に記載の表示装置。
13. 前記身体変化データは、前記演者のパフォーマンス時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波の少なくとも一つから得られる身体データを、パフォーマンスの動作に対応して時系列に数値化したものである
    請求項１１又は請求項１２に記載の表示装置。
14. 前記パラメータに、揺らぎの要素を加える
    請求項１１から請求項１３のいずれかに記載の表示装置。
15. 前記表示制御部は、
    光学的透過又は撮影されたユーザの視界画像における所定の物体と表示部との位置関係を検出し、前記位置関係に基づき、前記視界画像における前記仮想画像の位置及び形状を制御する請求項１１から請求項１４のいずれかに記載の表示装置。
16. 前記演者のパフォーマンスが、楽器の演奏者の運指であり、
    前記関節動作画像が、前記運指の運指画像であり、
    前記パフォーマンスデータが、楽器の演奏データである
    請求項１１から請求項１５のいずれかに記載の表示装置。
17. 前記表示制御部は、
    光学的透過又は撮影されたユーザの視界画像における、楽器の形状及び位置と前記楽器の演奏操作子の形状及び位置とに基づいて、前記ユーザの視界画像における運指画像の重畳位置を決定する
    請求項１６に記載の表示装置。
18. 前記楽器はピアノであり、前記楽器の演奏操作子は鍵盤である
    請求項１６又は請求項１７に記載の表示装置。
19. 前記表示装置は、人の頭部に装着されるヘッドマウントディスプレイである
    請求項１１から請求項１８のいずれかに記載の表示装置。
20. 前記表示制御部は、
    放送されるコンテンツから、前記コンテンツと同期を取るための同期情報を受信する同期情報受信部を有し、
    前記コンテンツの所定の開始タイミングと同期して、前記仮想画像を、前記視界画像に重畳して前記表示部に表示する
    請求項１１から請求項１９のいずれかに記載の表示装置。
21. 情報処理装置が、
    演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンスに関するデータが時系列的にデータ化されたパフォーマンスデータと、前記演者のパフォーマンス時の身体変化のデータであり、前記パフォーマンスデータに対応して時系列的にデータ化された身体変化データとをパラメータとする関数に基づいて変化する身体変化画像とを少なくとも含む仮想画像を、光学的透過又は撮影されたユーザの視界画像に重畳して表示部に表示する
    表示方法。
22. 前記情報処理装置が、
    前記関節動作画像の関節動作データと、前記パフォーマンスデータと、前記身体変化の身体変化データと、前記身体変化画像の身体変化画像データとが格納された記録媒体から、所定のパフォーマンス時の関節動作画像データ、前記パフォーマンスデータ及び身体変化データを読み出し、
    前記読み出した関節動作画像データに基づいて、前記所定のパフォーマンス時の関節動作画像を生成し、
    前記読み出した前記パフォーマンスデータ及び身体変化データをパラメータとする関数に基づいて、前記所定のパフォーマンス時の身体変化画像を生成し、
    前記所定のパフォーマンス時の関節動作画像及び身体変化画像を、ユーザの視界画像に重畳して表示部に表示する
    を有する請求項２１に記載の表示方法。
23. 前記身体変化データは、前記演者のパフォーマンス時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波の少なくとも一つから得られる身体データを、パフォーマンスの動作に対応して時系列に数値化したものである
    請求項２１又は請求項２２に記載の表示方法。

Images