JP5473842B2 - 映像再生方法及び装置、並びに映像表示方法及び装置、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、立体映像を表示する映像再生方法及び装置、並びに映像表示方法及び装置に関し、特に、高速再生中に視聴者の感じる立体感を適正に調整する方法と装置に関する。本発明はまた、映像再生方法及び装置における映像の再生、並びに映像表示方法及び装置における映像の表示を実行するために用いられるプログラム及び該プログラムを記録した記録媒体に関する。

左右の眼にそれぞれ専用の映像を見せて立体視させる方式の立体映像（３Ｄコンテンツ）の普及が始まった。この３Ｄコンテンツは、制作時にディスプレイのサイズ、ディスプレイと視聴者の距離、視聴者の瞳間隔や立体視感覚、など視聴環境・視聴条件が所定の基準に合った状態で最良の立体視ができるように調整して制作されるのが一般的である。

この３Ｄコンテンツを立体視するとき、表示する３Ｄ表示装置のサイズや視聴位置などユーザの視聴環境、視聴者の個人的な適応性・嗜好など個々の条件は様々であり、コンテンツ制作時に設定された立体感が必ずしも再生時に最適になるとは限らず、遠近感が想定以上に強調されて不快感や疲労感を感じることがある。

さらに、映像コンテンツの再生では、早送りや早戻しなど通常の再生速度より高速に再生することが一般的に行われるが、３Ｄコンテンツを立体視した状態で高速再生すると、立体表示された物体が奥行方向により高速で移動するため、視聴し続けることによって視覚に大きな負担がかかることが懸念される。
また、視ている物体までの距離感が急速に変化すると、立体視の追従に困難を感じて立体視の感覚を失い易いという問題もある。

従来この問題に対して、通常再生では立体表示するが、高速再生では立体表示しない方法があった（特許文献１参照）。また、３Ｄコンテンツのデータ中に奥行き方向の位置変化速度量を示す付帯情報を設けておき、再生機器がこの情報を利用して視聴者の疲労感が過度にならないように制御する方法があった（特許文献２参照）。

しかし、高速再生するとき立体表示しない方法では、通常再生における立体表示に比べて映像の品位が落ち、視聴した印象が悪くなる。また、奥行き方向の位置変化速度を示す付帯情報を利用する方法は、既に提供されているコンテンツには採用されていないため、一般的に適用できるものではない。

特開２００５−１１０１２１号公報 特開２００９−１３５６８６号公報

本発明は、３Ｄコンテンツ再生において、早送りなど高速再生した時に、プレーヤーの再生状態に応じて奥行感を与える視差を調節することを可能にすること、及び視聴者の立体映像に対する立体視の追従を容易にし、立体映像の視聴に伴う視覚の疲労を抑制することを目的とする。

前記の課題を解決するため、本発明の映像再生方法及び装置、並びに映像表示方法及び装置では、
該立体映像コンテンツから視差又は距離を検出し、
前記立体映像コンテンツを高速再生するとき、前記検出した視差又は距離に対して、視差又は距離の変化量を縮小した映像信号を出力し、
該縮小において、通常再生時と比べ、高速再生時の視差又は距離の変化量を再生速度に応じて縮小し、
前記縮小に当たり、通常再生と高速再生の切替わりに対応して、通常再生から高速再生へ切替わるときは視差又は距離の変化量の縮小率を漸減させ、又は、高速再生から通常再生へ切替わるときは視差又は距離の変化量の縮小率を漸増させる
ことを特徴とする。

本発明によれば、立体映像を高速再生して視聴した時にも視聴者が容易に立体視を継続することができる。また、立体映像の視聴に伴う視覚の疲労を抑制することができる。また、高速再生するときも立体表示できるので、より良い品位の映像を視聴者に提供できる。

（ａ）及び（ｂ）は、本発明の映像表示における立体視の原理の説明図である。 立体視の距離と視差の関係を示すグラフである。 立体映像の再生速度と距離の具体例を示すタイムチャートである。 立体映像の再生速度と視差の具体例を示すタイムチャートである。 立体映像の再生速度と視差の調整の方法を示す図である。 立体映像の再生速度と視差の調整の方法を示す図である。 本発明における立体映像の視差の調整システムの構成例を示すブロック図である。 本発明における立体映像の視差の調整システムの他の構成例を示すブロック図である。 図８の視差調整手段の構成例を示すブロック図である。 本発明における立体映像の視差の調整システムの他の構成例を示すブロック図である。 本発明における立体映像の視差の調整システムの他の構成例を示すブロック図である。 立体映像の再生速度と視差の調整の方法を示す図である。 図１２の距離調整手段の構成例を示すブロック図である。

実施の形態１．
図１(ａ）及び（ｂ）において、左右の眼にそれぞれ専用の映像を見せて立体視させる方式の原理を説明する。図１（ａ）及び（ｂ）はともに、図の下端に位置する視聴者から図の上端に位置する奥行方向を見ている平面図を示し、図の中央に設置された画面Ｓに表示される映像を立体映像として認識する。

グラフの横軸ｘは視聴者から見た水平方向であり、視聴者の両眼の中央位置を原点とし、視聴者の両眼間隔をｅとする。グラフの縦軸ｚは視聴者から見た奥行方向の距離であり、視聴者の左右の目ＥＬ、ＥＲの位置を原点とする。図１（ａ）及び（ｂ）では、便宜上視聴者の頭及び目がｚ＝０の線より下にも描いてあるが、目ＥＬ、ＥＲは、ｚ＝０の線上の丸印の位置にあるものとする。

ｚ軸方向の距離ｄｓの位置に幅ｗの画面を置き、ここに左右の各眼に対して、専用の映像が見えるようにそれぞれの映像を表示する。左右の眼にそれぞれ専用の映像を見せて立体視させる方式には、例えば偏光グラスや色フィルタグラス等の既存方式が利用できる。視聴者から見た垂直方向がｙ軸となり両眼の高さを原点とするが、図１（ａ）及び（ｂ）には示していない。

図１（ａ）は、対象物（画像の要素）「△」が画面中央、距離ｄａに見える状態である。ここでｄａ＝ｄｓ／２とすると、各眼用の対象物「△」は、左眼ＥＬには画面Ｓ上のｘ＝＋ｅ／２の位置に、右眼ＥＲには画面Ｓ上のｘ＝−ｅ／２の位置に、それぞれ表示して見せることになる。
左眼ＥＬ用映像のｘ軸上の表示位置に対する右眼ＥＲ用映像のｘ軸上の表示位置のずれを視差Ｐと定義すると、Ｐ（△）＝ｘ（ＥＲ）−ｘ（ＥＬ）＝−ｅである。

図１（ｂ）は、対象物「○」が画面中央、距離ｄｂに見える状態である。ここでｄｂ＝２×ｄｓとすると、各眼用の対象物「○」は、左眼ＥＬには画面Ｓ上のｘ＝−ｅ／４の位置に、右眼ＥＲには画面Ｓ上のｘ＝＋ｅ／４の位置に、それぞれ表示して見せることになる。
このとき、視差Ｐは、Ｐ（○）＝ｘ（ＥＲ）−ｘ（ＥＬ）＝＋ｅ／２である。

なお、容易に分かるように、対象物が画面Ｓと同じ距離にある（見える）ときの視差Ｐは０となる。また、対象物の見える位置が無限遠にあるとき、左右眼が平行視することになるので視差Ｐは両眼間隔ｅとなる。こうした視聴者から対象物の見える位置までの距離ｚと視差Ｐの関係を定式化すると、その関係は、

と表すことができる。

図２に、式（１）をグラフ化して、立体視の距離と視差の関係を示す。視差と距離の関係が双曲線で示されることが分かる。対象物の見える位置が、奥行方向、即ちｚ軸方向に移動しているとき、その対象物を追う視差Ｐの値は、このグラフの曲線に沿って時間的に変化する。

図３を用いてその具体例を説明する。グラフの横軸ｔは時刻を示す。グラフの縦軸ｚは図１(ａ）及び（ｂ）の場合と同じく視聴者から見た奥行方向の距離を示し、パラメータも同様とする。

図中の実線ＮＰは、時刻０に距離ｄｂにあった対象物（の見える位置）が、次第に視聴者側に近寄って時刻ｔ２に距離ｄａまで近付いた後、引き返して時刻ｔ３に距離ｄｂ付近に戻り、時刻ｔ４に再び画面Ｓ上に当たる距離ｄｓまで移動するときの、時刻と距離、すなわちｚ軸上の位置の変化を表している。奥行方向の移動速度も、図中の実線の傾きから分かるように変化している。

通常速度で再生したときに対象物がこのように表示される立体映像コンテンツを、早送りによって高速再生した場合を考える。たとえば２倍速で再生したときの時刻と距離の関係は、図中に破線２ＦＰで表したようになる。通常速度での再生では再生時間としてｔ４かかったものが、２倍速再生では再生時間は半分のｔ４／２となり、その場合の距離ｚの変化を図中にプロットしている。また、４倍速で再生したときの時刻と距離の変化は、図中に点線４ＦＰで表したようになる。４倍速再生では再生時間は４分の１のｔ４／４となり、その場合の距離ｚの変化も図中にプロットしてある。

また、奥行方向の移動速度は、それぞれ図中の実線ＮＰ、破線２ＦＰ、点線４ＦＰの傾きから求められるものになり、最も速い部分は、最初のｄｂからｄｓへ移動する区間（通常再生の場合の時刻０からｔ１までの区間）と、ｄｓからｄｓ＋ｄａへ戻る区間（通常再生の場合の時刻ｔａからｔｂまでの区間）の２区間となる。

また、時刻０直後の部分についての実線ＮＰ、破線２ＦＰ、点線４ＦＰの傾きが接線１ａ、接線１ｂ、接線１ｃで示されている。
接線１ｂと接線１ｃの傾きは、それぞれ接線１ａの傾きの２倍と４倍である。この関係を一般化すると、Ｎ倍速（Ｎは１より大きい正数）の高速再生時に、奥行方向の移動速度はＮ倍になると言える。

図４に、立体映像の再生速度と視差の具体例を説明する図を示す。この図は、図３に示した奥行方向の距離ｚの時刻ｔに対する変化を、式（１）を用いて、視差Ｐの時刻ｔに対する変化に置換えたグラフである。奥行方向の移動速度が同じであっても、対象物の見える位置が視聴者に近いほど視差の変化は早くなる。換言すれば、視差の時間的変化率が大きくなる。
図４で、実線ＮＰは通常再生の場合を示し、破線２ＦＰは２倍速再生の場合を示し、点線４ＦＰは４倍速再生の場合を示す。

通常再生時に視差の時間的変化率が大きくなる部分は、接線の傾きが最大となるところである。図中に接線２ａを当てた、最初に距離ｄａまで近付く時刻ｔ２の直前の区間である。このとき、視差Ｐを示す式（１）の関数を、距離ｚの時間に対する関係を考慮して時間で微分することにより、微分係数から接線の傾きが求まる。

図３の例で、上記のようにｄａ＝ｄｓ／２とし、また、ｔ２＝（５／２）・ｔ１である場合には、時刻ｔ１からｔ２の区間では、距離ｚは次式のように表される。

式（１）と式（２）から、視差Ｐの時間的変化は、次式となる。

時刻ｔ２における微分係数は、式（３）において、ｔ＝ｔ２を代入すれば求まり、

となる。つまり、時刻ｔ２の直前部分では、視差Ｐは０．３×ｔ２の時間に−ｅだけ変化している。また、その後に距離ｄａから遠ざかり始めた時も逆向きに同じく、視差Ｐは０．３×ｔ２の時間に＋ｅだけ変化している。

ちなみに、時刻０からｔ１の区間では、距離ｚは次式のように表される。

式（１）と式（５）から、視差Ｐの時間的変化は、次式となる。

時刻ｔ１における微分係数は、式（６）において、ｔ＝ｔ１、ｔ１＝０．４×ｔ２を代入すれば求まり、

となる。つまり、時刻ｔ１の直前部分では、視差Ｐは０．４×ｔ２の時間に−ｅだけ変化している。式（３）と式（６）を比較し、式（３）で求めた時刻ｔ１からｔ２の区間の方が接線の傾きが大きいことが分かる。

２倍速と４倍速（一般化するとＮ倍速）の高速再生時も、図中で接線２ｂ、接線２ｃを当てたこの部分において、視差の時間的変化率が最大になる。接線２ｂと接線２ｃの傾きは、それぞれ接線２ａの傾きの２倍と４倍（一般化するとＮ倍）になり、視差の時間的変化率がそれぞれ通常再生時の２倍と４倍（一般化するとＮ倍）に増加する。

視聴者が立体視を維持するには、視差の変化に追随する必要があるので、視差の時間的変化率が大きいほど立体感の変化が大きく感じられ、立体映像品位の観点でダイナミックな映像として評価されるが、同時に、視覚に対する負担になり疲労の元にもなる。したがって、この視差の時間的変化率を適切に調節することは、立体映像の品位確保の観点と、視聴者の視覚の疲労の軽減の観点から重要である。

立体映像コンテンツは、制作時に表示画面のサイズ、画面と視聴者の距離、視聴者の瞳間隔や立体視の効果など視聴環境・視聴条件が所定の基準に合った状態で最良の立体視ができるように調整して制作されるのが一般的である。視差の時間的変化率にも上記の両観点から相当の配慮が払われると考えて良い。しかし、通常再生するとき特に問題ないものであっても、Ｎ倍速の高速再生時に、視差の時間的変化率がＮ倍になると、視聴者の視覚の疲労の点で問題になる恐れがあるので、高速再生時の視差の時間的変化率を調整することが必要になる。

図５に、立体映像の再生速度と視差の調整に関して本発明を適用した具体例を説明する。このグラフの軸とパラメータは、図４に説明したものと同じである。図５で実線ＮＰは、図４に示したものと同じである。

早送りによって高速再生したとき、再生速度に応じて視差の変化量を縮小する。たとえば２倍速で再生したとき、図中に破線２ＦＰで表したようにする。即ち、時刻０に視差＋ｅ／２であった対象物が次第に視聴者側に近寄って行くが、このとき図４と異なり視差の変化量を半分に縮小した。この結果、図４に示す破線２ＦＰでは、時刻ｔ２／２において視差が−ｅであったが、図５に示す破線２ＦＰでは同じ時刻ｔ２／２において視差が−ｅ／４となる。時刻０から時刻ｔ２／２までの間の変化量は、図４で＋３ｅ／２であったのに対して、図５では＋３ｅ／４と半減している。

同様に４倍速で再生したとき、図中に点線４ＦＰで表したようにする。時刻０に視差＋ｅ／２であった対象物が次第に視聴者側に近寄って行くが、このとき図４と異なり視差の変化量を４分の１に縮小した。この結果、図４に示す点線４ＦＰでは時刻ｔ２／４において視差が−ｅであったが、図５に示す点線４ＦＰでは同じ時刻ｔ２／４において視差が＋ｅ／８となる。時刻０から時刻ｔ２／４までの間の変化量は、図４で＋３ｅ／２であったのに対して、図５では＋３ｅ／８と４分の１に減少している。

視差の時間的変化率をみるため、図４中の接線２ａ、接線２ｂ、接線２ｃに相当する部分の傾きを見ると、図５中にそれぞれ接線２ａ、接線２ｂ’、接線２ｃ’と示したようになり、３本の接線は同じ傾きであり、すなわち、視差の時間的変化率も同じになる。これは視差の時間的変化率の定義からも明らかである。

このことは次のように一般化できる。Ｎ倍速の高速再生時に、そのままでは視差の時間的変化率もＮ倍になるので、本発明では、視差の変化量を１／Ｎとした（変化量の縮小率を１／Ｎとした）。これにより、高速再生時の視差の時間的変化率を通常再生時と同等にできる。

図６に、立体映像の再生速度と視差の調整に関して本発明を適用した他の具体例を説明する。このグラフの軸とパラメータも、図４、図５に説明したものと同じである。
図５との違いは、視差の変化量を縮小するとき、図５では高速再生を開始した時点の視差を基点にして視差の変化量を縮小したのに対して、図６では常に視差０となる画面Ｓを基点にして視差の変化量を縮小することである。ここで「基点」は、通常再生時と高速再生時とで視差が同じとなる点（視差の値、或いはそれに対応する、対象物の見える奥行き方向位置）を意味する。通常再生時に視差０となる画面Ｓの位置を基点にして視差の変化量を縮小する場合には、「視差の変化量の縮小」と、「視差の縮小」と等価であり、視差の変化量の縮小率と視差の縮小率とが等しい。

たとえば２倍速で再生する場合、図５では、時刻０に視差＋ｅ／２で高速再生を開始していたのに対し、図６に破線２ＦＰで表したように時刻０に視差を半減して＋ｅ／４として高速再生を開始し、時刻ｔ２／２に視差を−ｅ／２とする。以降も同様である。時刻０から時刻ｔ２／２までの間の視差の変化量は、図５と同じく＋３ｅ／４となる。

同様に４倍速で再生する場合、図６に点線４ＦＰで表したように、時刻０に視差を４分の１に縮小して＋ｅ／８として高速再生を開始し、時刻ｔ２／４に視差を−ｅ／４とする。以降も同様である。時刻０から時刻ｔ２／４までの間の視差の変化量は、図５と同じく＋３ｅ／８となる。

視差の時間的変化率をみるため、図４中の接線２ａ、接線２ｂ、接線２ｃに相当する部分の傾きを見ると、図６中にそれぞれ接線２ａ、接線２ｂ”、接線２ｃ”と示したようになる。図５の例と同様３本の接線は同じ傾きであり、すなわち、視差の時間的変化率も同じになる。

図５と図６に示した２つの具体例の特長を上げると、図５の方法では、通常再生から高速再生に移る瞬間に視差のジャンプ（瞬時的変化）がなく、視聴者の視差がスムーズに繋がることが挙げられる。図６の方法では、視聴者にとって最も自然な視距離である画面Ｓを中心に視差が設定されるので、視覚への負担が相対的に少ないことが挙げられる。

通常再生から高速再生に移る瞬間の視差の変化による視覚への負担を緩和する方法として、通常再生と高速再生の切替えに対応して、通常再生から高速再生へ切替えるときは視差の変化量の縮小率（縮小前の変化量の、縮小後の変化量に対する比）を漸減させ、高速再生から通常再生へ切替えるときは視差の変化量の縮小率を漸増させる方法も考えられる。この視差の変化量の縮小率を漸減・漸増させる手法を図６に示した方法に組み合わせ、視差の変化の基点を通常再生時の視差０の点に次第に近づけるようにすれば、視聴者の視差が一層スムーズに繋がるように調節可能である。

以上に説明した方法によって、高速再生時の視差の時間的変化率を通常再生時と同じ程度に抑制すれば、どんな立体映像コンテンツをどのように再生しても、立体映像の高速再生に伴う視覚の疲労を軽減することが可能になる。

次に、以上に説明した立体映像の高速再生時の視差の時間的変化率を調整する方法を、映像再生装置、及び、映像表示装置に実装する具体例を説明する。
図７に、本発明における立体映像の視差の調整システムの構成例を示す。立体表示されるビデオデータ１、グラフィックスデータ２の少なくとも一方を含む３Ｄコンテンツ３が光ディスクや放送、ネットワーク等の情報伝送媒体を介して立体映像再生装置３０に入力され、映像信号として復号された上で立体映像表示装置６０に伝送され、立体視可能な映像として表示される。

立体映像再生装置３０では、３Ｄコンテンツ３のビデオデータ１はビデオ・デコーダ１２によって復号され、グラフィックスデータ２はグラフィックス・デコーダ２２によって復号され、例えばそれぞれ高精細（ＨＤ）映像が復元される。
復元されたビデオ、及び、グラフィックスの映像は、それぞれの左右各眼用の映像信号ＶＬ、ＶＲ、及び、ＧＬ、ＧＲとしてグラフィックス・ビデオ・プロセッサ４１に入力される。

３Ｄコンテンツ３を立体映像再生装置３０に入力した視聴者は、リモコンや操作パネルから立体映像再生装置３０のユーザ操作入力手段３３を介して装置の動作を制御する再生コントローラ３１に、再生開始や停止、早送りや早戻し、スロー再生や一時停止などの操作指示を入力する。これを受けて再生コントローラ３１は、ビデオ・デコーダ１２、グラフィックス・デコーダ２２、グラフィックス・ビデオ・プロセッサ４１に対して必要な制御を行う。

早送りや早戻し等の高速再生の指示があったとき、再生コントローラ３１の中に設けた再生倍速判定手段３２がその指示を受けて再生速度の判定を行い、再生速度を表す再生倍速信号ＮＸを出力する。再生倍速信号ＮＸは、早送りや早戻し等の高速再生を行う際には、当該高速再生の倍速数を示す。なお、高速再生の指示がなく、通常再生を行う際は、再生倍速判定手段３２は、倍速数として１を示す再生倍速信号ＮＸを出力する。

本発明を適用する立体映像再生装置３０は、ビデオデータ１を解析して視差を検出し、視差を調整するための視差調整手段１５をビデオ・デコーダ１２の中に備えており、ビデオ・デコーダ１２で復号された映像信号（映像データ）に対して視差の時間的変化率を調整し、調整された信号を出力する。
再生倍速判定手段３２において判定された再生速度を示す再生倍速信号ＮＸが視差調整手段１５に伝達され、視差調整手段１５は再生倍速信号ＮＸに応じて、視差の時間的変化率を前述した本発明の方法によって適切に調整する。

また、グラフィックス・デコーダ２２にも同様の視差調整手段２５を備えており、再生倍速判定手段３２から伝達される再生倍速信号ＮＸに応じて、視差の時間的変化率を前述した本発明の方法により適切に調整する。

グラフィックス・ビデオ・プロセッサ４１は、このようにして視差の時間的変化率を適切に調整されたビデオ・デコーダ１２とグラフィックス・デコーダ２２の出力を受けて、立体映像として左右各眼用の映像として重畳・合成し、立体映像表示装置６０に送る映像信号ＩＬ、ＩＲを生成する。

図８に、本発明における立体映像の視差の調整システムの他の構成例を示す。図７に示した構成例と比べて視差調整手段を設置する場所が異なる。他の要素は共通するので以下に異なる点のみ説明する。図７では視差調整手段１５と視差調整手段２５を、それぞれビデオ・デコーダ１２とグラフィックス・デコーダ２２の中に設置したが、図８では、視差調整手段４５をグラフィックス・ビデオ・プロセッサ４２の中に設置する。視差調整手段の有無に差があるので、両図で符号を変えて、図７ではビデオ・デコーダ１２、グラフィックス・デコーダ２２、グラフィックス・ビデオ・プロセッサ４１と付番し、図８ではビデオ・デコーダ１１、グラフィックス・デコーダ２１、グラフィックス・ビデオ・プロセッサ４２と付番した。

グラフィックス・ビデオ・プロセッサ４２内では、ビデオ・デコーダ１１、及び、グラフィックス・デコーダ２１から入力されるそれぞれの左右各眼用の映像信号ＶＬ、ＶＲ、及び、ＧＬ、ＧＲを重畳して合成して、立体映像の左右各眼要の映像信号ＩＬ、ＩＲを生成する。視差調整手段４５は、映像信号ＩＬ、ＩＲを解析して視差を検出し、再生倍速判定手段３２から受ける再生倍速信号ＮＸに応じて、視差の時間的変化率を前述した本発明の方法により適切に調整する。

次に、視差調整手段１５、視差調整手段２５、視差調整手段４５において適用される視差検出方式を説明する。視差の検出にあたり、３Ｄコンテンツ中に視差や奥行方向の表示位置に関連する情報を持たない場合と持っている場合を考える。

視差調整手段１５、２５及び４５は同様に構成され、同様の処理を行う。以下では、視差調整手段１５について説明する。この視差調整手段１５は、図９に示すように、視差検出手段７１と、視差変化量縮小手段７２とを有する。
視差検出手段７１は、ビデオ・デコーダ１５内における復号の結果得られる映像コンテンツの映像信号ＶＬａ、ＶＲａを受け、該映像信号から視差を検出する。
視差変化量縮小手段７２は、再生倍速信号ＮＸを受け、前記立体映像コンテンツを高速再生するとき、視差検出手段７１で検出した視差に基づき、映像信号ＶＬａ、ＶＬｂに対して、視差の変化量を縮小した映像信号ＶＬｂ、ＶＲｂを出力する。視差変化量縮小手段７２の出力ＶＬｂ、ＶＲｂは、ビデオ・デコーダ１５の出力ＶＬ、ＶＲとなる。

まず３Ｄコンテンツ中に視差や奥行方向の表示位置に関連する情報を持たない場合を考える。例えば、３Ｄコンテンツ３のビデオデータ１が、立体映像用符号化方式であるＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）で符号化されている場合を考える。ＭＶＣ符号化では、左右両眼用の映像は、片眼の映像を独立して符号化しながらそれを基準に他眼の映像を予測し、他眼の映像について動きベクトル等の予測データと、予測誤差を符号化する。予測では画素や画素ブロック単位で移動した量を検出するが、これを視差データや距離データとしてそのまま使える形で保持することはない。

ビデオ・デコーダ１２におけるＭＶＣ復号処理では、両眼映像を左右２枚の画像として復号し、通常のＭＶＣ復号器はそれで機能が完了する。本発明では、ビデオ・デコーダ１２内に設けられた視差調整手段１５の視差検出手段７１が、復号の結果生成された映像信号ＶＬａ、ＶＲｂを受けて、図９には示していないがビデオ・デコーダ１２におけるＭＶＣ復号プロセスの中で検出した動きベクトル等の予測量を解析し、映像の各部分の動きから、すなわち、左右眼の映像の間で、同じ画素（画像の要素）でありながら異なる位置に表示されるときの位置の差分から、視差を検出する。ここで、画素単位で検出するのではノイズなどの誤差の影響を受けやすいので、所定サイズ以上の領域を占める画素の集まりを単位にして扱い、視差を決めるとよい。

また、別の立体映像の符号化方式として、サイド・バイ・サイド方式がある。これは１枚の画面を左右の領域に分割し、左右それぞれの領域に水平方向に半分に短縮した左右２枚の両眼映像を入れて伝送する方式である。この方式の場合にはＭＶＣ符号化におけるような動きベクトル等の予測量は使えないので、左右２枚の両眼映像を比較し、その差分乃至類似度から視差を検出する。そのとき、映像を構成するオブジェクトに分割し、オブジェクト毎の差分乃至類似度を検出することで、各オブジェクトの距離又は視差を算出し、映像全面に亘って視差を求める。

この映像解析による視差検出は、上記のＭＶＣ符号化を適用した立体映像からの視差検出に併用することも可能である。両者の併用により、検出した視差の精度を向上することができる。
以上のようにして検出した視差に対して、視差調整手段１５の視差変化量縮小手段７２は、再生倍速信号ＮＸによってその再生倍速数を知り、映像信号ＶＬａ、ＶＲａに対し、Ｎ倍速のときに視差の変化量を１／Ｎに縮小した映像信号ＶＬｂ、ＶＲｂを出力する。

なお、視差変化量縮小手段７２としては、再生倍速信号ＮＸの切り替わりに応じて視差の変化量を瞬時に切り替えるのではなく、視差の変化量の縮小率を漸減、漸増させるものを用いても良く、さらに視差の変化量の縮小率の漸減、漸増とともに、視差の変化の基点を通常再生時における視差０の点に次第に近づけるようにしても良い。この場合、視差変化量縮小手段７２は、再生倍速信号ＮＸを受けて、通常再生から高速再生への切り替わりの際に、視差の変化量の縮小率を漸減させることで、或いは視差の変化量の縮小率の漸減とともに、視差の変化の基点を通常再生時における視差０の点に向けて次第に近づけることで、視差の変化による視覚への負担を緩和し、高速再生から通常再生への切り替わりの際に、視差の変化量の縮小率を漸増させることで、或いは視差の変化量の縮小率の漸増とともに、視差の変化の基点を通常再生時における視差０の点に向けて次第に近づけることで、視差の変化による視覚への負担を緩和する。
なお、通常再生と高速再生との切り替わりの時点で、視差の変化の基点が、通常再生時における視差０の点に一致している場合には、切り替わりに後に視差の変化の基点を通常再生時における視差０の点に向けて次第に近づける処理をする必要がない。

上記の漸減、漸増は、例えば所定の時間、例えば、０．５秒乃至５秒程度の時間をかけて行うのが望ましく、また漸減、漸増は一定の速度でなくても良く、例えば、最初と最後を比較的ゆっくりと変化させ、途中では、比較的急激に変化させるようにしても良い。

次に、３Ｄコンテンツ中に視差や奥行方向の表示位置に関連する情報を持つ場合を考える。例えば、３Ｄコンテンツ３のグラフィックスデータ２は、実写映像でなく、コンピュータ生成映像が使われることが多い。コンピュータ生成映像では、左右眼用に生成する映像の一方を独立して生成した後、他方はその生成した映像のデータを流用し、表示する距離に対応した視差だけシフトして表示する手法が適用される。

複雑なグラフィックスも、グラフィックスを構成するモジュールに分割してモジュール毎に視差を与えてシフトして表示することで簡単に表現可能である。生成した一方の眼の映像のグラフィックスデータの流用により、グラフィックスデータの総量を削減できる。

グラフィックス・デコーダ２２は、グラフィックスデータ２を復号して片眼用の映像のグラフィックスを再生すると共に、グラフィックスデータ２に含まれている他眼用の映像のグラフィックスのための視差を検出して所定の位置に表示するグラフィックスを再生する。ここで標準的に表示するグラフィックスの視差が検出される。この視差に対して視差調整手段２５は、高速再生時に再生倍速信号ＮＸによってその再生倍速数を知り、Ｎ倍速のときに視差の変化量を１／Ｎに縮小した映像信号ＧＬ、ＧＲが視差調整手段２５から出力される。

図８に示した視差調整手段４５をグラフィックス・ビデオ・プロセッサ４２に実装する具体例では、視差調整手段４５に入力する映像信号は、映像信号ＶＬ、ＶＲ、及び、ＧＬ、ＧＲから合成した映像信号ＩＬ、ＩＲである。視差調整手段４５における映像信号ＩＬ、ＩＲの解析は、上記２つの場合のうち、視差や奥行方向の表示位置に関連する情報を持たない場合に類似する。従って、視差調整手段４５については、視差調整手段１５についての説明のうち、視差や奥行方向の表示位置に関連する情報を持たない場合についての説明が当てはまる。

以上に、各視差調整手段に適用する視差検出方式を別々に示したが、本発明はこれに限定されない。例えば、ＭＶＣ符号化方式を拡張して視差情報を併設する（視差情報を付加した情報の）符号化が施された３Ｄコンテンツ３のビデオデータ１が入力される場合、グラフィックスデータ２の再生に適用したのと同様の、３Ｄコンテンツ中に視差や奥行方向の表示位置に関連する情報を持つ場合の手法が適用可能になる。

実施の形態２．
図１０に、本発明における立体映像の視差の調整システムの別の構成例を示す。図示の調整システムは、視差調整手段を、実施の形態１に説明した立体映像再生装置３０ではなく、立体映像表示装置６０に実装した具体例である。図示の例では、グラフィックス・ビデオ・プロセッサ６２内に視差調整手段６５が設けられている。

内部に視差調整手段を持たない立体映像再生装置３０から、立体映像信号ＩＬ、ＩＲが立体映像表示装置６０に入力される。立体映像信号ＩＬ、ＩＲを受けたグラフィックス・ビデオ・プロセッサ６２は、入力された映像信号ＩＬ、ＩＲと、立体映像表示装置６０の状態表示に使用されるＯＳＤ生成器６３からの映像信号を重畳し、３Ｄ表示器６９で表示する。

立体映像再生装置３０は、再生倍速判定手段３２で生成したコンテンツの再生速度を示す再生倍速信号ＮＸを送出し、立体映像表示装置６０がこれを再生倍速入力手段６４で受ける。グラフィックス・ビデオ・プロセッサ６２には視差調整手段６５を実装してあり、映像信号ＩＬ、ＩＲを解析して視差を検出し、実施の形態１で述べたのと同様の方法によって視差の時間的変化率を適切に調整する。
このように、視差調整手段６５は、図８の視差調整手段４５と同様の方式で構成できる。

ここで、立体映像表示装置６０が立体映像再生装置３０から再生倍速信号ＮＸを受信するために、両者を接続するデジタル映像インターフェース６６に再生倍速信号ＮＸを伝送するコマンドとデータフィールドを設ける。立体映像再生装置３０は、デジタル映像インターフェース６６に、以後に伝送する立体映像信号ＩＬ、ＩＲの再生速度を示す再生倍速信号ＮＸを送出する。
再生倍速信号ＮＸの送出は定期的であっても良いし、倍速数に変化が生じたときだけでも良い。立体映像表示装置６０は、再生倍速信号ＮＸを常時検知し、倍速数に対応した視差調整が為されるよう視差調整手段６５に伝達する。

また、図１１に示すように、立体映像表示装置６０に、視聴者が立体映像再生装置３０のリモコンから出力する操作指示を受信するユーザ操作入力手段６８を設け、早送りや早戻し等の高速再生の指示があったとき、ユーザ操作入力手段６８がその指示を受信して再生速度の判定を行い、再生倍速信号ＮＸに相当する信号を視差調整手段６５に伝達してもよい。

立体映像表示装置６０にこの視差調整機能を持つことにより、３Ｄコンテンツを再生する立体映像再生装置３０が本発明の調整機能を持たないものであっても、視聴者に視差調整された映像を提供できるようになる。実際の使用状況では、１台の表示装置に複数台の立体映像再生装置３０が繋がっている場合は多いので、ユーザの利便性は高くなる。

実施の形態３．
実施の形態１の図４から図６において、対象物の見える位置が奥行方向に移動する場合を示して、視差の時間変化率を所定値以下に抑える必要性とその方法について説明した。コンテンツによって、初めから距離情報が入っている場合も想定される。この場合、視差の検出、及び視差の変化量の縮小の代りに、距離の検出、及び距離の変化量の縮小を行うこととしても良い。視差Ｐと距離ｚの関係は、式（１）に示す関係式から相互に変換して導くことができるので、視差（又は距離）の検出、及びその変化量の縮小は、間接的に距離（又は視差）の検出、及びその変化量の縮小を行っていることになる。

図１２に、立体映像の再生速度と視差の調整に関する本発明の説明図を示す。この図は、図６に示した例に関して、縦軸を視差ではなく距離で表したものである。図１２の実線ＮＰは、図３の実線ＮＰで示す曲線と同じである。
高速再生時に、対象物を表示する位置（対象物の見える位置）までの距離を、視差０となる画面Ｓの位置を基点にして縮小している。奥行方向の移動速度は、グラフ各部分の接線の傾きになる。
すでに図３で説明したのと同じ時刻０から始まる部分では、再生速度がそれぞれ１倍、２倍、４倍の時の接線１ａ、接線１ｂ”、接線１ｃ”の傾きは、図から分かるように同一になる。これにより、高速再生時に視聴者の視覚に与える影響が、通常再生時と同じ程度に抑えられることが分かる。他の時刻の部分も同様である。

このように距離情報に基づいて、視差調整を行う場合には、視差調整手段１５、２５、４５の代りに、距離調整手段を用いる。その一例として、視差調整手段１５の代りに用いられる距離調整手段７５は、例えば図１３に示すように構成される。
図１３に示される距離調整手段７５は、距離検出手段８１と、距離変化量縮小手段８２とを備える。
距離検出手段８１は、ビデオ・デコーダ１２内に設けられたものである場合、ビデオ・デコーダ１２で処理されている映像の距離情報を検出する。
距離変化量縮小手段８２は、再生倍速信号ＮＸによってその再生倍速数を知り、復号によって得られた映像信号ＶＬａ、ＶＲａに対し、Ｎ倍速のときに距離の変化量を１／Ｎに縮小した映像信号ＶＬｂ、ＶＲｂを出力する。距離変化量縮小手段８２の出力ＶＬｂ、ＶＲｂは、距離調整手段７５の出力ＶＬ、ＶＲとなる。本実施の形態では、距離の変化量の縮小が通常再生時における距離０の点を基点として行われるので、距離の変化量が１／Ｎに縮小されると、距離も１／Ｎに縮小される。
視差調整手段２５、４５の代りに用いられる距離調整手段も距離調整手段１５と同様に構成される。

以上に、３Ｄコンテンツの再生において、早送りなど高速再生した時に奥行感を与える視差又は距離を調節することによって視聴者の立体映像に対する立体視の追従を容易にし、立体映像の視聴に伴う視覚の疲労を抑制する方法について説明した。視差又は距離の時間的変化率が大きいほど立体感の変化が大きく感じられ、立体映像品位の観点でダイナミックな映像として評価されるが、同時に、視覚に対する負担になり疲労の元にもなる。本発明では、この視差又は距離の時間的変化率を適切に調節して、立体映像の品位確保と、視聴者の視覚の疲労の軽減を両立する方式を提示した。

実施の形態２の映像表示装置を、上記の実施の形態３に関して説明したのと同様に変形し、図１０、図１１の視差調整手段６５の代りに距離調整手段を用いることもできる。

実施の形態１〜３では、高速再生のわかりやすい例としてＮ倍速再生時に視差の時間的変化率を１／Ｎとする具体例を示したが、本発明の趣旨は必ずしもこの数値条件に縛られるものではない。例えば視聴者にとって受容可能な範囲を決める制限値として、例えば２倍速まで視差又は距離をそのまま表示し、２倍速以上の高速再生時に視差又は距離の時間的変化率を２／Ｎとする、等の調整をするようにしても良い。言いかえれば、高速再生時の視差又は距離の時間的変化率が通常再生時の視差又は距離の時間的変化率にある倍数（例えば２）を掛けた値以下であるようにすれば良い。さらに、高速再生時の視差又は距離の変化量が通常再生時の視差又は距離の変化量に比べて同等以下であるようにすれば、変化量を変えない場合に比べ視差又は距離の時間的変化率をより小さくすることができ、視聴者の視覚の負担を軽減することができる。本発明の要点は、視差の変化を視聴者にとって受容可能な範囲に抑えることであり、その目的に適う範囲での展開は本発明の範囲に含まれている。

また、上記した、視聴者にとって受容可能な範囲を決める制限値も、実施の形態に示した固定値に限るものではなく、ユーザによる設定、コンテンツによる指定、再生機器や表示機器の判断による自動設定等、適応的に与えられるようにしても良い。

また、実施の形態では、視差又は距離を検出する方式としていくつかの例を説明したが、視差又は距離の検出方式はこれに限らない。今後考案される他の視差又は距離の検出方式も、本発明に示した形で視差又は距離の調整に利用可能であれば、本発明を適用することができる。

また、実施の形態では、立体映像再生装置と立体映像表示装置に本発明を実装する具体例を説明したが、本発明を適用できる製品形態はこれに限らない。立体映像再生装置と立体映像表示装置が一体化した装置にももちろん適用できる。

また、３Ｄコンテンツは映画や放送番組に限らない。本発明は、立体映像を扱うゲーム機器や、立体映像を表示させるパソコンやその周辺機器にも適用可能である。また、ハードウェア製品に限らず、３Ｄコンテンツプレーヤーやゲームなど立体映像の再生・表示機能を有するソフトウェア製品にも適用可能であり、本発明で説明した効果を得ることができる。

上記の実施の形態を参照して説明した装置、特に視差調整手段、特にその視差検出手段又は距離検出手段、及び視差変化量縮小手段又は距離変化量縮小手段における処理は、ソフトウエアで、即ちプログラムされたコンピュータで実行させることができる。従って、コンピュータを、上記の実施の形態で説明した方法における視差調整手段、特に視差検出手段又は距離検出手段、及び視差変化量縮小手段又は距離変化量縮小手段として機能させるためのプログラム、並びにこれらの手段の処理をコンピュータに実行させるためのプログラム、並びに該プログラムを記録したコンピュータで読み取り可能な記録媒体もそれぞれ本発明の一部を成す。

１ ビデオデータ、 ２ グラフィックスデータ、 ３ ３Ｄコンテンツ、 １１ ビデオ・デコーダ、 １２ ビデオ・デコーダ、 １５ 視差調整手段、 ２１ グラフィックス・デコーダ、 ２２ グラフィックス・デコーダ、 ２５ 視差調整手段、 ３０ 立体映像再生装置、 ３１ 再生コントローラ、 ３２ 再生倍速判定手段、 ３３ ユーザ操作入力手段、 ４１ グラフィックス・ビデオ・プロセッサ、 ４２ グラフィックス・ビデオ・プロセッサ、 ４５ 視差調整手段、 ６０ 立体映像表示装置、 ６２ グラフィックス・ビデオ・プロセッサ、 ６３ ＯＳＤ生成器、 ６４ 再生倍速入力手段、 ６５ 視差調整手段、 ６６ デジタル映像インターフェース、 ６８ ユーザ操作入力手段、 ６９ ３Ｄ表示器、 ７１ 視差検出手段、 ７２ 視差変化量縮小手段、 ８１ 距離検出手段、 ８２ 距離変化量縮小手段。

Claims (19)

1. 立体映像コンテンツを再生する立体映像再生方法であって、
   該立体映像コンテンツから視差又は距離を検出する検出ステップと、
   前記立体映像コンテンツを高速再生するとき、前記検出した視差又は距離に対して、視差又は距離の変化量を縮小した映像信号を出力する縮小ステップを備え、
   該縮小ステップにおいて、通常再生時と比べ、高速再生時の視差又は距離の変化量を再生速度に応じて縮小し、
   前記縮小ステップは、通常再生と高速再生の切替わりに対応して、通常再生から高速再生へ切替わるときは視差又は距離の変化量の縮小率を漸減させ、又は、高速再生から通常再生へ切替わるときは視差又は距離の変化量の縮小率を漸増させる
   ことを特徴とする映像再生方法。
2. 立体映像コンテンツを再生する立体映像再生方法であって、
   該立体映像コンテンツから視差を検出する検出ステップと、
   前記立体映像コンテンツを高速再生するとき、前記検出した視差に対して、高速再生を開始した時点の視差を基点にして視差の変化量を縮小した映像信号を出力する縮小ステップを備え、
   該縮小ステップにおいて、通常再生時と比べ、高速再生時の視差の変化量を再生速度に応じて縮小することを特徴とする映像再生方法。
3. 前記縮小ステップは、前記高速再生が所定の倍速数を超える高速再生であるときに、前記視差又は距離の変化量の縮小を行うことを特徴とする請求項１又は２に記載の映像再生方法。
4. 前記縮小ステップは、前記高速再生がＮ倍速（Ｎは１より大きい正数）再生である場合、前記視差又は距離の変化量を１／Ｎに縮小することを特徴とする請求項１から３のいずれか一項に記載の映像再生方法。
5. 立体映像コンテンツを再生する立体映像再生装置において、
   該立体映像コンテンツから視差又は距離を検出する検出手段と、
   前記立体映像コンテンツを高速再生するとき、前記検出した視差又は距離に対して、視差又は距離の変化量を縮小した映像信号を出力する縮小手段を備え、
   前記縮小手段による縮小において、通常再生時と比べ、高速再生時の視差又は距離の変化量を再生速度に応じて縮小し、
   前記縮小手段は、通常再生と高速再生の切替わりに対応して、通常再生から高速再生へ切替わるときは視差又は距離の変化量の縮小率を漸減させ、又は、高速再生から通常再生へ切替わるときは視差又は距離の変化量の縮小率を漸増させる
   ことを特徴とする映像再生装置。
6. 立体映像コンテンツを再生する立体映像再生装置において、
   該立体映像コンテンツから視差を検出する検出手段と、
   前記立体映像コンテンツを高速再生するとき、前記検出した視差に対して、高速再生を開始した時点の視差を基点にして視差の変化量を縮小した映像信号を出力する縮小手段を備え、
   前記縮小手段による縮小において、通常再生時と比べ、高速再生時の視差の変化量を再生速度に応じて縮小することを特徴とする映像再生装置。
7. 前記縮小手段は、前記高速再生が所定の倍速数を超える高速再生であるときに、前記視差又は距離の変化量の縮小を行うことを特徴とする請求項５又は６に記載の映像再生装置。
8. 前記縮小手段は、前記高速再生がＮ倍速（Ｎは１より大きい正数）再生である場合、前記視差又は距離の変化量を１／Ｎに縮小することを特徴とする請求項５から７のいずれか一項に記載の映像再生装置。
9. 立体映像コンテンツを表示する立体映像表示方法であって、
   該立体映像コンテンツから視差又は距離を検出する検出ステップと、
   前記立体映像コンテンツを高速再生するとき、前記検出した視差又は距離に対して、視差又は距離の変化量を縮小した映像信号を出力する縮小ステップを備え、
   該縮小ステップにおいて、通常再生時と比べ、高速再生時の視差又は距離の変化量を再生速度に応じて縮小し、
   前記縮小ステップは、通常再生と高速再生の切替わりに対応して、通常再生から高速再生へ切替わるときは視差又は距離の変化量の縮小率を漸減させ、又は、高速再生から通常再生へ切替わるときは視差又は距離の変化量の縮小率を漸増させるようにした
   ことを特徴とする映像表示方法。
10. 立体映像コンテンツを表示する立体映像表示方法であって、
    該立体映像コンテンツから視差を検出する検出ステップと、
    前記立体映像コンテンツを高速再生するとき、前記検出した視差に対して、高速再生を開始した時点の視差を基点にして視差の変化量を縮小した映像信号を出力する縮小ステップを備え、
    該縮小ステップにおいて、通常再生時と比べ、高速再生時の視差の変化量を再生速度に応じて縮小することを特徴とする映像表示方法。
11. 前記縮小ステップは、前記高速再生が所定の倍速数を超える高速再生であるときに、前記視差又は距離の変化量の縮小を行うことを特徴とする請求項９又は１０に記載の映像表示方法。
12. 前記縮小ステップは、前記高速再生がＮ倍速（Ｎは１より大きい正数）再生である場合、前記視差又は距離の変化量を１／Ｎに縮小することを特徴とする請求項９から１１のいずれか一項に記載の映像表示方法。
13. 立体映像コンテンツを表示する立体映像表示装置において、
    該立体映像コンテンツから視差又は距離を検出する検出手段と、
    前記立体映像コンテンツを高速再生するとき、前記検出した視差又は距離に対して、視差又は距離の変化量を縮小した映像信号を出力する縮小手段を備え、
    前記縮小手段による縮小において、通常再生時と比べ、高速再生時の視差又は距離の変化量を再生速度に応じて縮小し、
    前記縮小手段は、通常再生と高速再生の切替わりに対応して、通常再生から高速再生へ切替わるときは視差又は距離の変化量の縮小率を漸減させ、又は、高速再生から通常再生へ切替わるときは視差又は距離の変化量の縮小率を漸増させる
    ことを特徴とする映像表示装置。
14. 立体映像コンテンツを表示する立体映像表示装置において、
    該立体映像コンテンツから視差を検出する検出手段と、
    前記立体映像コンテンツを高速再生するとき、前記検出した視差に対して、高速再生を開始した時点の視差を基点にして視差の変化量を縮小した映像信号を出力する縮小手段を備え、
    前記縮小手段による縮小において、通常再生時と比べ、高速再生時の視差の変化量を再生速度に応じて縮小することを特徴とする映像表示装置。
15. 前記縮小手段は、前記高速再生が所定の倍速数を超える高速再生であるときに、前記視差又は距離の変化量の縮小を行うことを特徴とする請求項１３又は１４に記載の映像表示装置。
16. 前記縮小手段は、前記高速再生がＮ倍速（Ｎは１より大きい正数）再生である場合、前記視差又は距離の変化量を１／Ｎに縮小することを特徴とする請求項１３から１５のいずれか一項に記載の映像表示装置。
17. コンピュータに、請求項１から４、９から１２のいずれか一項に記載の方法の検出ステップ及び縮小ステップの処理を実行させるためのプログラム。
18. コンピュータを、請求項５から８、１３から１６のいずれか一項に記載の装置の検出手段及び縮小手段として機能させるためのプログラム。
19. 請求項１７又は１８のプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images