JP5680994B2 - 画像カット方法および画像カット装置 - Google Patents

Description

本発明は、画像カット方法および画像カット装置に関する。

ビデオ素材を視聴する際の視聴者の経験を豊かなものにするために、既知の技術を適用して、ビデオ素材内のいくつかの画像が３次元（３Ｄ）性質を有している印象を視聴者に与えることができる。これは、視聴者が一方の眼で第１の画像を見て、他方の眼で第２の画像を見るように、ビデオを、一連の立体画像を有するように配列することによって達成される。第１の画像および第２の画像が同じ物体のものであり、かつこれらの画像が、視聴者が視聴する視聴平面（例えば、テレビのディスプレイまたは映画スクリーン）に関して互いに対して水平方向に変位している場合、視聴者は、この映像情報において、当該物体に関する単一の画像が存在し、この画像が一定の奥行きを有している（すなわち、視聴平面の前後のいずれかに位置している）と錯覚する。２枚の画像は、同じ物体に関するものでありかつわずかに異なる角度から撮影されているものである２枚の画像を配列することによって、３Ｄ効果が高められる。人間の眼はわずかな距離だけ離間しているため、上記２枚の画像によって、視聴者が両眼で現実の物体を見るときに見える情報が模倣され、視聴者は、表示された物体を３Ｄ物体として知覚する。

米国特許出願公開第２００４／００５７６１２号明細書 欧州特許出願公開第２１０６１５０号明細書 欧州特許出願公開第１８６５７２８号明細書 米国特許出願公開第２００９／００４１３３６号明細書 韓国公開特許第２００７００６１０９４号明細書

上述のように、同じ物体に関して画像が水平方向に変位しているため、従来の２次元（２Ｄ）ビデオシーケンスとは異なり、視聴者が３Ｄ画像を視聴するには、視聴者の両眼がわずかに異なる方向を向いていなければならない。立体画像を視聴する際、視聴者の両眼が不自然な動きをとる場合がある。例えば、視聴者の両眼が不自然に開散したり、輻輳したり、または、（画像における垂直視差の結果）垂直方向に開散したりする場合がある。これによって、不快感が生まれる。それゆえ、３Ｄビデオシーケンスを分析して、第１の物体および第２の物体の相対的な位置を示す視差マップを生成することによって、視聴者の両眼が異なる方向にどの程度向かなければならないのかを算出することが実用的であり得る。

さらに、ビデオシーケンスにおいて２Ｄ画像の表示を３Ｄ画像と合成する際には、３Ｄ効果がなくならないように注意深い考慮が必要となる。これは、映像内の物体がキャプション（字幕）と「重なって」動くようなライブ映像の場合に特に重要である。

本発明の第１の実施形態によると、所定の画面に表示可能な第１の画像シーケンスと第２の画像シーケンスとの間でカットを行う画像カット方法が提供される。上記第１の画像シーケンスは、上記所定の画面とは異なる第１の画像平面上でユーザに立体的に知覚可能な第１の物体を含み、上記第２の画像シーケンスは、上記第１の画像平面とは異なる第２の画像平面上で知覚可能な第２の物体を含む。上記第１の物体は、第１の画面位置上の第１の画像と、第２の画面位置上の第２の画像とから成る。当該画像カット方法は、上記第１の画像の上記第１の画面位置と、上記第２の画像の上記第２の画面位置とを識別し、カット後の上記第２の画像シーケンスの第１のフレームにおいて、上記第１の画面位置に上記第２の物体の第１のコピーを挿入し、上記第２の画面位置に上記第２の物体の第２のコピーを挿入し、前記第１のフレームに続く所定数の連続フレームにおいて、上記第２の物体の第１のコピーと、上記第２の物体の第２のコピーとを、上記第１の画面位置および上記第２の画面位置よりも、上記第２の物体を視認するのに必要とされる上記所定の画面の位置に近い位置に挿入することで、前記第２の物体の前記画面位置を変更する。

上記所定数の連続フレーム間の上記画面位置の変更の程度は、上記所定数のフレームにわたって一定であってもよい。

上記所定数の連続フレーム間の上記画面位置の変更の程度は、上記所定数のフレームにわたって変化してもよい。

上記画面位置の上記変更の程度は、上記所定数の連続フレームのうち最後の所定数の連続フレーム中より、最初の所定数の連続フレーム中の方が小さくてもよい。

上記第２の画像平面は上記所定の画面であってもよい。

上記第１の画面位置および上記第２の画面位置は、視差マッピング処理によって生成される視差マップを用いて識別されてもよい。

上記画像シーケンスは、前記ユーザの一方の眼によって視認可能な第１の立体画像フレーム群と、上記ユーザの他方の眼によって視認可能な第２の立体画像フレーム群とを有してもよく、上記視差マップは、上記第１の立体画像フレーム群内の第１の画像フレームに第１のエッジ画素検出処理を施して、当該第１の画像フレーム内のエッジを識別し、上記検出されたエッジから上記第１の画像フレームの特徴画素を識別し、上記特徴画素を有する複数の画素のブロックを生成し、上記第１の画像フレームから生成された上記複数の画素のブロックを用いて、上記第２の立体画像フレーム群内の第２の画像フレーム内の、前記画素のブロックに相関する探索領域に対してブロックマッチングを行い、上記第２の画像フレームにおける対応する特徴画素から上記第１の画像フレームの上記特徴画素の相対的な変位を識別することで生成されてもよい。

上記画像カット方法はさらに、上記第１の物体の奥行きの所定の奥行きパラメータを、上記視差マップによって識別された上記第１または第２の画面位置と関係付けることによって、上記視差マップから、上記所定の画面と上記第１または第２の画像平面との間の距離に関する指標を提供する奥行きマップを生成するステップを含んでもよい。

上記画像カット方法はさらに、上記奥行きマップまたは上記視差マップによって示される、上記第１の物体の上記奥行きに基づいて、上記第１の物体をグラフィカルインジケータと関係付けるステップを含んでもよい。

上記画像カット方法はさらに、上記奥行きが所定の視差閾値以上の場合、上記第１の物体を上記グラフィカルインジケータと関係付けるステップを含んでもよい。

上記グラフィカルインジケータは、上記第１の物体に対する彩色を含んでもよい。

上記画像カット方法はさらに、上記第２の画像フレームに第２のエッジ画素検出処理を施して、上記第２の画像フレーム内のエッジを識別し、上記識別されたエッジと、上記生成された視差マップとから、上記第１の画像フレームにおいて予期されるエッジ画素を算出し、上記第１の画像において上記予期されるエッジ画素と、上記算出されたエッジ画素との位置が所定の閾値距離内にあるときに、上記視差マップの妥当性を認証してもよい。

上記第１のエッジ画素検出処理の前に、上記第１の画像フレームおよび上記第２の画像フレームの少なくとも一方の自動相関バージョンに分数調波加算処理を適用することで、上記少なくとも１つの画像フレームにおいて存在する反復パターンの基本周波数の大きさを算出し、上記少なくとも１つの画像フレームの上記基本周波数の上記大きさに基づいて、上記第１のエッジ画素検出処理と、上記相対的な変位の識別処理とを実行してもよい。

上記視差マップは、上記第１の画像フレーム及び上記第２の画像フレーム間の対応する特徴画素間の垂直変位を含んでもよく、上記第１のエッジ画像検出処理は、ゾーベルエッジ検出技術を用いてもよい。

上記第１のエッジ画素検出処理は、上記第１の画像フレームを複数の画素ブロックに分割し、かつ上記複数の画素ブロックの各画素ブロック内のエッジ数を算出するステップを含んでもよく、上記エッジ数が閾値を下回る場合、当該画素ブロックはエッジを有しないと見なされてもよい。

上記閾値は、上記画素ブロック内の垂直方向の画素数と等しくてもよい。

上記画素ブロックにおいて検出されたエッジ数が第２の閾値を上回る場合、当該画素ブロックにおける上記エッジ数は、上記第２の閾値と等しく扱われてもよい。

本発明の第２の実施形態によると、所定の画面に表示可能な第１の画像シーケンスと第２の画像シーケンスとの間でカットを行う画像カット装置が提供される。上記第１の画像シーケンスは、上記所定の画面とは異なる第１の画像平面上でユーザに立体的に知覚可能な物体を含み、上記第２の画像シーケンスは、上記第１の画像平面とは異なる第２の画像平面上で知覚可能な第２の物体を含む。上記第１の物体は、第１の画面位置上の第１の画像と、第２の画面位置上の第２の画像とから成る。当該画像カット装置は、上記第１の画像の上記第１の画面位置と、上記第２の画像の上記第２の画面位置とを識別する識別装置と、カット後の上記第２の画像シーケンスの第１のフレームにおいて、上記第１の画面位置に上記第２の物体の第１のコピーを挿入し、上記第２の画面位置に上記第２の物体の第２のコピーを挿入するとともに、上記第１のフレームに続く所定数の連続フレームにおいて、上記第２の物体の第１のコピーと、上記第２の物体の第２のコピーとを、上記第１の画面位置および上記第２の画面位置よりも、上記第２の物体を視認するのに必要とされる上記所定の画面の位置に近い位置に挿入することで、上記第２の物体の上記画面位置を変更する挿入装置とを具備する。

上記所定数の連続フレーム間の上記画面位置の変更の程度は、上記所定数のフレームにわたって一定であってもよい。

上記所定数の連続フレーム間の上記画面位置の変更の程度は、上記所定数のフレームにわたって変化してもよい。

上記画面位置の上記変更は、上記所定数の連続フレームのうち最後の所定数の連続フレーム中より、最初の所定数の連続フレーム中の方が小さくてもよい。

上記第２の画像平面は上記所定の画面であってもよい。

上記第１の画面位置および上記第２の画面位置は、視差マッピング処理によって生成される視差マップを用いて識別されてもよい。

上記画像シーケンスは、前記ユーザの一方の眼によって視認可能な第１立体画像フレーム群と、上記ユーザの他方の眼によって視認可能な第２の立体画像フレーム群とを有してもよく、当該画像カット装置は、上記視差マップを生成する視差マップ生成器を有していてもよい。この場合、上記視差マップ生成器は、上記第１の立体画像フレーム群内の第１の画像フレームに第１のエッジ画素検出処理を施して、当該第１の画像フレーム内のエッジを識別し、上記検出されたエッジから上記第１の画像フレームの特徴画素を識別し、上記特徴画素を有する複数の画素のブロックを生成し、上記第１の画像フレームから生成された上記複数の画素のブロックを用いて、上記第２の立体画像フレーム群内の第２の画像フレームの、上記画素のブロックに相関する探索領域に対してブロックマッチングを行い、上記第２の画像フレームにおける対応する特徴画素から上記第１の画像フレームの上記特徴画素の相対的な変位を識別することで視差マップを生成してもよい。

上記画像カット装置はさらに、上記第１の物体の奥行きの所定の奥行きパラメータを、上記視差マップによって識別された上記第１または第２の画面位置と関係付けることによって、上記視差マップから、上記所定の画面と上記第１または第２の画像平面との間の距離に関する指標を提供する奥行きマップを生成する奥行きマップ生成器を具備してもよい。

上記画像カット装置はさらに、上記奥行きマップまたは上記視差マップによって示される、上記第１の物体の上記奥行きに基づいて、上記第１の物体をグラフィカルインジケータと関係付ける関係付け装置を具備してもよい。

上記関係付け装置はさらに、上記奥行きが所定の視差閾値以上の場合、上記第１の物体を上記グラフィカルインジケータと関係付けるように動作可能であってもよい。

上記グラフィックインジケータは、上記第１の物体に対する彩色を含んでもよい。

上記視差マップ生成器はさらに、上記第２の画像フレームに第２のエッジ画素検出処理を施して、上記第２の画像フレーム内のエッジを識別し、上記識別されたエッジと、上記生成された視差マップとから、上記第１の画像フレームにおいて予期されるエッジ画素を算出し、上記第１の画像において上記予期されるエッジ画素と、上記算出されたエッジ画素との位置が所定の閾値距離内にあるときに、上記視差マップの妥当性を認証するように動作可能であってもよい。

上記第１のエッジ画素検出処理の前に、上記第１の画像フレームおよび上記第２の画像フレームの少なくとも一方の自動相関バージョンに分数調波加算処理が適用されることで、上記少なくとも１つの画像フレームにおいて存在する反復パターンの基本周波数の大きさが算出されてもよく、上記少なくとも１つの画像フレームの上記基本周波数の上記大きさに基づいて、上記第１のエッジ画素検出処理と、上記相対的な変位の識別処理とが実行されてもよい。

上記視差マップは、上記第１の画像フレーム及び上記第２の画像フレーム間の対応する特徴画素間の垂直変位を含んでもよく、上記エッジ検出処理は、ゾーベルエッジ検出技術を用いてもよい。

上記第１のエッジ画素検出処理は、上記第１の画像フレームを複数の画素ブロックに分割し、かつ上記複数の画素ブロックの各画素ブロック内のエッジ数を算出する処理を含んでもよく、上記エッジ数が閾値を下回る場合、当該画素ブロックはエッジを有しないと見なされてもよい。

上記閾値は、上記画素ブロック内の垂直方向の画素数と等しくてもよい。

上記画素ブロックにおいて検出されたエッジ数が第２の閾値を上回る場合、当該画素ブロックにおける上記エッジの数は、上記第２の閾値と等しく扱われてもよい。

本発明の種々の実施形態及び特徴が添付の特許請求の範囲においてさらに規定される。

本発明の上記および他の課題、特徴および利点が、添付の図面を参照して読まれるべき例示的な実施形態の以下の詳細な説明から明らかになるであろう。

３Ｄビデオシーケンスを示す概略図である。 図１に示される３Ｄビデオシーケンスを表示するシステムを示す概略図である。 図２のシステムにおいて表示される画像が視聴者にはどのように見えるかを示す概略図である。 図２のシステムにおいて表示される画像が視聴者にはどのように見えるかを示す概略図である。 図２および図３に示されるディスプレイを上から見た概略図である。 図２および図３に示されるディスプレイを上から見た概略図である。 本発明の一実施形態による、視聴者の不快感を低減する技術を示す概略図である。 図７に示される技術の一例を示す概略図である。 図７に示される技術を実施するシステムを示す概略図である。 ２Ｄ画像を３Ｄビデオシーケンスに挿入する一例を示す概略図である。 ２Ｄ画像の画面上での位置決めを示す概略図である。 ３Ｄビデオシーケンスの左シャッタフレームと右シャッタフレームとを比較して視差マップを従来の様式で生成する方法を示す概略図である。 視差マップを生成する速度および効率を上げる、改善された技術の一例を示す概略図である。 視差マッピング部を示す概略図である。 ３Ｄビデオシーケンスのワンシーンを示す概略図である。 図１５（Ｂ）に示される技術を実行するシステムを示す概略図である。 ３Ｄビデオシーケンスからの右シャッタフレームおよび左シャッタフレームの一例を示す概略図である。 視差マッピング中にエイリアシングを生じる可能性が高い、コンテンツを有するフレームの部分を識別する技術を示す概略図である。 図１８に示される技術を実行するシステムの概略図である。 本発明の実施形態による処理を示すフローチャートである。

ビデオシーケンスにおいて立体（すなわち、３Ｄ）画像を提供する数多くの技術が存在する。例えば、視聴者は、一方のレンズが、一方向に偏向された光のみを通す光学フィルタを備え、かつ他方のレンズが他の方向に偏向された光のみを通す光学フィルタを備えるメガネを装着することができる。そして、視聴者は、それぞれ異なる方向に偏向された光によって表示される第１の画像および第２の画像を表示することによって３Ｄ画像が生成されるビデオシーケンスを視聴する。これによって、視聴者の両眼のそれぞれによって、単一の画像のみが視聴されることが確実になる。映画の場合、２種類のビデオシーケンスを映画スクリーンに映写する２台の別個のプロジェクタを使用することでこれが達成される。この場合、上記異なる種類のビデオシーケンスはそれぞれ、異なる極性を有するフィルタを通過する。テレビおよびコンピュータモニタでは、偶数のライン画素が第１の方向に偏向された光を放つとともに奇数のライン画素が第２の方向に偏向された光を放つインターレース方式のディスプレイを提供することによって、上記技術が達成される。第１の画像が奇数のライン画素を用いて表示され、第２の画像が偶数のライン画素を用いて表示される。

他の例は、異なるディスプレイ角度で３Ｄ画像を有する２枚の異なる画像を映写するように配列されている一列の垂直レンチキュラーレンズを有するレンチキュラーレンズベースのディスプレイを含む。ディスプレイ角度を視聴者の両眼の離間距離にマッチさせることによって、視聴者は、それぞれの眼によって異なる画像を視聴する。

別の例では、シャッタレンズシステムが用いられる。視聴者には、「シャッタメガネ」が提供される。シャッタメガネは、標準的なメガネ構成を有するが、従来的に一対の光学レンズが配置される場所には、代わりに、非常に素早く開閉して光の透過を許可または制限することが可能な一対のシャッタが配置される。各シャッタは通常、好適な電圧が印加されることによって透明に変化することができる液晶ディスプレイレンズを用いて実施される。シャッタメガネは、ディスプレイと同期している。ディスプレイは、一連の「左シャッタフレーム」および「右シャッタフレーム」を表示する。１つのビデオフレーム中に、１つの左シャッタフレームと１つの右シャッタフレームとから成る１サイクルが含まれる。「左シャッタフレーム」が表示されているとき、シャッタメガネの右レンズのシャッタが閉まり、視聴者には左眼のみを通じて画面が見える。「右シャッタフレーム」が表示されているとき、シャッタメガネの左レンズのシャッタが閉まり、視聴者には右眼のみを通じて画面が見える。したがって、左シャッタフレームおよび右シャッタフレームから成るシーケンスを用いて、ユーザにそれぞれの眼を通じて異なる画像を視認させることができる。

以下では、主にシャッタレンズシステムに関して、方法およびシステムを説明する。しかし、本明細書において開示されるシステムおよび方法は、上記立体ビデオシステムのうちの任意のものを用いて実施することができることを理解されたい。具体的には、全ての立体ビデオシステムが、左眼のみに見える「左フレーム」と、右眼のみに見える右フレームとに関する概念を或る程度含んでいる。

図１は、多数の３Ｄビデオフレームを有する３Ｄビデオシーケンス１０１を示す概略図である。各３Ｄビデオフレーム１０３は、１つの左シャッタフレーム１０２と、１つの右シャッタフレーム１０４とを有する。図１から分かるように、左シャッタフレームと、右シャッタフレームとは交互に配列されている。

図２は、図１に示される３Ｄビデオシーケンスを表示するシステムを示す概略図である。

図２は、図１に示す３Ｄビデオシーケンスが記憶されている３Ｄビデオソース２０２に接続されているディスプレイ２０１、例えば、従来のテレビを示している。３Ｄビデオソース２０２に記憶されている３Ｄビデオシーケンスは、ディスプレイ２０１に入力され、３Ｄビデオシーケンスの各３Ｄビデオフレームが順次、ディスプレイ２０１に表示される。シャッタメガネ２０４を装着した視聴者２０３も示されている。シャッタメガネ２０４は、左シャッタ２０４ａと、右シャッタ２０４ｂとを備える。シャッタメガネ２０４は、接続部２０５を介して、３Ｄビデオソース２０２からの３Ｄビデオシーケンスの出力と同期している。接続部２０５は、いくつかの例では無線接続部であってもよいし、他の例では物理的な接続部であってもよい。シャッタメガネ２０４は、３Ｄビデオソース２０２からの３Ｄビデオシーケンスの出力と同期しており、ディスプレイ２０１が左シャッタフレームを表示しているときに、シャッタメガネ２０４の右シャッタ２０４ｂが閉まり、右シャッタ２０４ｂに光が実質的に入らないようになっている。この効果として、視聴者２０３には、左眼でディスプレイ２０１しか見えなくなる。したがって、３Ｄビデオシーケンスの左シャッタフレームに示されている第１の画像２０６が、左眼のみを通じて視聴者に見える。左シャッタフレームが表示された後、３Ｄビデオシーケンスの後続の右シャッタフレームが表示される。シャッタメガネ２０４と３Ｄビデオソース２０２との同期は、右シャッタフレームが表示されているときに、シャッタメガネ２０４の左シャッタ２０４ａが閉まることで、視聴者２０３には、右眼だけを通じてディスプレイ２０１が見えるように設定されている。右シャッタフレームが表示されているときには、左シャッタフレームに示されている第１の画像２０６に対応する第２の画像２０７が表示される。なお、この場合、この第２の画像２０７は、第１の画像２０６の位置に関して水平方向に変位している。理解されるように、これらのフレームは、画像２０６、２０７が交互に表示されていることを視聴者２０３が感じ取れない程度の速度で視聴者２０３に表示される。逆に、視聴者は、２枚の画像２０６、２０７を、いくらかの３次元「奥行き」を有する単一の画像として知覚する。これについて、図３を参照してさらに説明する。

図３は、図２に示されるシステムを示す概略図である。図３では、ディスプレイ２０１上の画像が視聴者２０３にはどのように見えるのかが示されている。視聴者２０３は、シャッタメガネ２０４の左シャッタの一連の開閉動作を介して左眼で第１の画像２０６を見る。他方、シャッタメガネ２０４の右シャッタの一連の開閉動作を介して右眼で第２の画像２０７を見る。人間の脳は、ディスプレイ２０１のいくらか前方（手前）に３Ｄ画像２０８があると知覚することで、ディスプレイからの情報を受け入れる。このようにディスプレイ２０１の前方に位置する３Ｄ画像は、いわゆる「負の」視差を有する画像である。

理解されるように、この技術は、視聴者に、３Ｄ画像が画面の後方（奥）に位置しているような印象を与えるのにも用いることができる。これを図４に示している。図４は、視聴者２０３が右眼で見ている第１の画像４０１と、左眼で見ている第２の画像４０２とを示す概略図である。図４から分かるように、視聴者２０３には、３Ｄ画像４０３が画面２０１の後方に位置しているように見える。

［１つの画像平面上で知覚される画像から、第２の異なる（２Ｄ等の）画像平面上で知覚される画像へのカットに起因する不快感の低減］
図２〜図４に示したように視聴者に表示されるビデオシーケンスでは、３Ｄ画像（すなわち、第１の画像を視聴者の右眼に見せ、水平にずれた第２の画像を左眼に見せることで生成される１枚の画像）の表示から、別の平面上の画像（例えば、視聴者が両眼で見る画面上に表示された２Ｄ画像、または異なる３Ｄ効果を有する画像）の表示への唐突な３Ｄビデオシーケンスのカットに起因して問題が生じることがある。この概念を図５および図６を参照して示す。図５は、図２および図３に示したディスプレイ２０１を上から見た概略図であり、視聴者が３Ｄ画像２０８を知覚するように、それぞれ視聴者の右眼５０１と左眼５０２とで視聴される第１の画像２０６および第２の画像２０７が示されている。

図６も、図５と同様にディスプレイ２０１の上面を示しているが、図６には、３Ｄビデオシーケンスの後続のフレームが示されている。つまり、本例では、３Ｄ画像２０８が、視聴者が両眼で見る２Ｄ画像６０１と置き換えられている。図６と図５とを比較して分かるように、ディスプレイ２０１の表示が、３Ｄ画像２０８から２Ｄ画像６０１へ突然切り換わると、視聴者は、２Ｄ画像６０１に焦点を合わせるために、両眼の方向を素早く変えなければならない。３Ｄビデオシーケンスにおいて、３Ｄ画像表示と２Ｄ画像表示との間（３Ｄ画像表示から２Ｄ画像表示へ、または、その逆も含む）の急なカットを多数含む場合、視聴者が素早く両眼の向く方向を変えることでかなりの不快感が生じ得る。

図７（Ａ）〜図７（Ｄ）は、本発明の一実施形態による、視聴者の不快感を低減する技術を示す概略図である。

図７（Ａ）は、画像平面（２０１）（例えば、ディスプレイ）上に表示されている３Ｄ画像２０８として視聴者が知覚する一連の３Ｄビデオシーケンスフレームによって提示される２枚の画像２０６、２０７を示す。換言すると、画像２０６が左シャッタフレームに表示され、画像２０７が右シャッタフレームに表示される。図７（Ｂ）は、３Ｄビデオ画像２０８から２Ｄ画像６０１へのカットがある３Ｄビデオシーケンスの次のビデオフレームを示す。しかし、図７（Ｂ）から分かるように、２Ｄ画像６０１の２つのコピー（第１のコピー６０１ａおよび第２のコピー６０１ｂ）が画面２０１上に提示される。２次元画像の第１のコピーおよび第２のコピーは、それぞれ、３Ｄ画像２０８を構成する第１の画像２０６および第２の画像２０７の位置に対応する位置に位置する。図７（Ｃ）は、共に収束する２Ｄ画像６０１ａの第１のコピーと、２Ｄ画像６０１ｂの第２のコピーとを示すビデオシーケンスの次のフレームを示す。図７（Ｄ）は、図７（Ｃ）に示される３Ｄビデオシーケンス後のものであり、ここでは、２Ｄ画像の第１のコピーおよび第２のコピーが単一の点で収束している単一の２Ｄ画像６０１を表示する画面２０１上の３Ｄビデオシーケンスのフレームが示されている。この単一の点は、２Ｄ画像が画像平面において視聴者に対して表示されるべき位置に対応する。

それゆえ、短い時間期間を通して、２Ｄ画像は、立体的に表示される（したがって、わずかに３Ｄ効果を有するであろう）。２Ｄ画像が徐々に、単一の点に向かって画面上で収束すると、３Ｄ効果が単一の点までの間に、単一の点に向かって、または単一の点において減り、画像は、ほぼ２Ｄになるか、または完全に２Ｄになる。実際には、ほぼ（または、実際には完全に）収束するときに、シャッタメガネをオフに切り換えて、両方のメガネレンズを透明にすることが可能である。この時点で、単一の２Ｄ画像が表示される。眼の移行が過度に大きくないため、完全な収束が得られる直前に２Ｄ画像だけを表示することが可能であろう。

理解されるように、この技術を採用することによって、視聴者が眼の方向を２枚の変位画像から単一の画像へ急にずらすことを余儀なくされる場合に比べて、視聴者の両眼は、２Ｄ画像が表示される最終的な点に、よりスムーズに案内される。この技術は、少数の、例えば、１２個のフレームにわたって適用することができる。これによって、ディスプレイ２０１上の単一の点における２Ｄ画像の２つのコピーの収束が、視聴者には知覚し難くなる。つまり、視聴者が３Ｄ空間において２Ｄ画像を知覚することは難しいため、実際には、ユーザが知覚可能なフレームの数は、１２より多い可能性が高い。さらに、２Ｄの単一の点への収束を制御して、視聴者に知覚不可能または知覚可能にすることができる。移行をユーザに知覚可能にすることによって、有用な編集効果が達成される。つまり、３Ｄ画像視聴から２Ｄ画像視聴へ移行する視聴者の両眼に対する影響を低減する任意の数のフレームにわたって移行を行うことが可能である。したがって、視聴者が知覚不可能な移行の場合、視聴者は、短い時間期間に、２Ｄ画像がディスプレイ上に立体的に表示されたことを知覚することはない（したがって、３Ｄ効果を有する２Ｄ画像を知覚することはない）が、それでも、視聴者の両眼は、ディスプレイ２０１上の２Ｄ画像の位置までスムーズに案内される。

図８は、本技術の一例を示す概略図である。図８も、図２および図３で示したディスプレイ２０１を示す。図８から分かるように、時点ｔ＝０において、視聴者は、画面２０１の手前に３Ｄ画像２０８を知覚する。時点ｔ＝１において、２Ｄ画像の２つのコピー８０１ａ、８０１ｂが、画面２０１上の、第１の画像２０６および第２の画像２０７によって占められていた位置に表示される。これは、２Ｄ物体が短期間で３Ｄ空間に出現するという効果を有する。時点ｔ＝２において、２Ｄ画像の２つのコピー８０１ａおよび８０１ｂがディスプレイ２０１上の単一の点に向かって収束していくように見える。これによって、２Ｄ物体の位置が画面のより近くに現れる。時点ｔ＝３において、単一の２Ｄ画像８０１が、２Ｄ画像の２つのコピーが収束する点に表示される。

画像が収束して２Ｄ画像になる速度は制御可能である。例えば、移行中の画像の収束は、一定とすることができる（すなわち、２Ｄ画像が収束する速度が一定）。代替的に、移行開始時の画像の収束は、移行終了時より速くすることができる（すなわち、移行開始時に２Ｄ画像が収束する速度が移行終了時に比べて速い）。逆に、移行終了時の画像の収束を移行開始時より速くしてもよい（すなわち、移行終了時に２Ｄ画像が収束する速度が移行開始時に比べて速い）。これは、有用な編集ツールが生成することができるため、特に、移行が知覚可能である場合に有利であり得る。しかし、知覚不可能な移行の場合でも、異なる移行速度とすることで、視聴者の両眼に対する悪影響をさらに低減することが可能である。例えば、視聴者の両眼が最も開散している場合（すなわち、移行開始時）、ゆっくり移行を始めることが有用であり得る。これによって、最も不自然な位置にある視聴者の両眼に対する影響が緩和される。しかし、視聴者の両眼が移行中にあまり開散しなくなる場合、視聴者の両眼に対する影響は小さくなるため、収束速度を上げることができる。

移行の知覚可能性に対する１つの影響としてフレームの数について説明したが、他の影響も存在する。例えば、３Ｄ平面から２Ｄ平面へ動くときの物体の、知覚される奥行きも、移行の知覚可能性に影響を与える場合がある。

図９は、図７および図８に示した技術を実施するシステムを示す概略図である。図９に示すシステムは、ライブビデオコンテンツまたは録画ビデオコンテンツを編集するのに用いられる当該技術分野に既知のもの等、ビデオ編集ソフトウェア群の一部として実装してもよい。

図９には編集部９１が示されており、当該編集部９１は、出力ビデオシーケンスを生成するようにビデオの複数の異なるフレームを共に編集する等の従来のビデオ編集機能を実行するとともに、ビデオシーケンスに様々な効果を施す。編集部９１は、ユーザがユーザコントローラ９５によって制御してもよい。テレビカメラから送られてくるライブフィード、または何らかの形態の記憶媒体から読み出されるビデオシーケンス等のビデオシーケンスソース９２が、編集部９１に送信される。図９に示す例では、ビデオシーケンスソース９２からのビデオシーケンスは、３Ｄビデオシーケンスとなっている。編集部９１はまた、ビデオコンテンツを第２のビデオソース９４から受信する。実施例によっては、これは、コンピュータが生成したコンテンツとしてもよく、特に、ビデオシーケンスに挿入されるロゴおよび／または追加情報等の、コンピュータが生成した２Ｄコンテンツとしてもよい。システムは視差マッピング部９３を有し、当該視差マッピング部９３には、ビデオシーケンスソース９２からの３Ｄビデオシーケンスも入力される。視差マッピング部９３は、３Ｄビデオシーケンスの左シャッタフレームと右シャッタフレームとを比較して、そこに表示されている画像間の視差を算出する。例えば、図２を参照すると分かるように、３Ｄビデオシーケンスの左シャッタフレームと右シャッタフレームとは、互いに対して水平方向に変位していることを除いて実質的に同じ画像を表示する。視差マッピング部９３は、上記水平変位（すなわち、視差）を検出し、その情報を編集部９１に渡す。視差は、左画像および右画像における対応する画素間の差異の画素数である。視差マップを用いることで、カメラパラメータを用いて任意の点の視差を現実空間の或る点にマッピングする奥行きを生成することができる。したがって、視差マッピング部９３から提供される視差マッピング情報を用いて、編集部９１は、合体して３Ｄ画像をなす、左シャッタフレーム内の画像の位置と、右シャッタフレーム内の画像の位置とを把握することができる。視差マッピング情報は、信号の形態で提供される立体メタデータとしてもよい。このマッピング情報は、画像を撮影するカメラによって生成してもよい。立体メタデータは、撮影された画像に関係付けて記憶してもよい。この視差マッピング情報は、上記技術を実行するために、編集部９１が、先に表示されている第１の画像の位置と第２の画像の位置とにそれぞれ対応する位置に、２Ｄ画像の２つのコピーを挿入することを可能にする。視差マップ生成器の機能は、以下でさらに詳細に説明する。

なお、３Ｄ→２Ｄ間のカットに言及して説明を行ったが、本発明はこれに限定されない。本発明の実施形態において、本ハンドオーバ技術は、３Ｄ〜３Ｄ間の移行にも同様に適用可能である。例えば、画面の前方に物体が視覚化される或る３Ｄ映像から、物体が画面の後方に視覚化される別の３Ｄ映像への画像カットの場合、不快感が残る可能性がある。それゆえ、上記技術は、或る画像平面での視覚化から、別の画像平面での視覚化へ物体が移動するあらゆる状況に有用である。

［２Ｄ画像物体挿入］
状況によっては、物体（すなわち、画像物体）の２Ｄ映像を３Ｄビデオシーケンスに挿入することが望ましい場合がある。例えば、モーターレースイベント等の生放送のスポーツイベントを表示する場合、視聴者に、当該モーターレースに関するさらなる情報を提供する目的で、コンピュータが生成したグラフィックを、レーシングカーが映っている３Ｄビデオ映像に挿入することが望ましい場合がある。係る情報は、キャプションもしくは字幕、または、実際には、図１１のような数字（参照符号１１０）としてもよい。図１０に、２Ｄ画像を３Ｄビデオシーケンスに挿入する一例の概略図を示す。

図１０から分かるように、第１の画像２０６は視聴者の左眼に入る一方、第２の画像２０７は視聴者の右眼に入ることで、３Ｄ画像２０８（本例ではレーシングカーである）が形成される。図１０は、コンピュータが生成したグラフィック（例えば、数字）等の２Ｄ画像の挿入を示す。この数字は、３Ｄ画像に対する補足であり、したがって、第１の画像および第２の画像に対して異なる、画面２０１上の位置に挿入されるが、第１の画像２０６および第２の画像２０７間に２Ｄ画像を配置することで、３Ｄ画像２０８の奥行き効果が無くなるおそれがある。これは、図１１を参照することによって、より明らかになる。図１１は、画面２０１上で第１の画像２０６と第２の画像２０７との間の或る位置に２Ｄ画像１１０を配置することを示す概略図である。視聴者は、両眼で２Ｄ画像１１０を見ることができる。但し、視聴者が画面の前方に３Ｄ画像２０８を知覚する位置の背後に２Ｄ画像１１０を位置決めしても、視聴者にとっては無意味である。

上記問題に達成するために、２Ｄ画像を画面上のより適切な位置に挿入する必要がある。具体的には、上記位置は、３Ｄ効果の影響を受けないものとする必要があるか、または、３Ｄ効果によって視聴者の最も近くに位置するように見える物体の前方（手前）の、画面上の位置に配置する必要がある。このための情報を算出するには、視差マップを用いる。

２Ｄ画像を挿入することができるエリアを識別する本技術は、図９に示したシステムによって以下のように実施される。すなわち、当該システムにおいて、視差マッピング部９３からの情報を用いて、３Ｄビデオシーケンスのフレームの、３Ｄ画像を作り出す第１の画像および第２の画像の相対的な位置を算出し、かつ、コンピュータが生成した、第２のビデオソース９４からの２Ｄコンテンツを、編集部９１を用いて挿入することによって、本技術が実施される。

さらに、ライブコンテンツの場合、前回、画面上または３Ｄ空間において「安全」位置であったものが、常に「安全」であるという保証はない。例えば、誰かがカメラの前を歩いたり、カメラに向かって走って来たりする可能性がある。このような場合、物体がグラフィックの前方を動くときに、当該グラフィックを自動的に除去するか、物体によって遮られているグラフィックの一部を除去することが望まれる。前者の場合、本発明の実施形態において算出される視差マップから、このための情報を取得することが可能である。しかし、後者の場合、画素毎に奥行き情報を有する密度の高い視差マップを生成することが必要となる。このようなマップは、当業者なら理解されるように、図１２を参照して説明したもの等、任意の既知の技術を用いて生成することができる。

［視差マップ生成］
図１２は、３Ｄビデオシーケンスの左シャッタフレーム１４１と右シャッタフレーム１４２とを比較することによって視差マップを生成する従来の技術を示す概略図である。右シャッタフレーム１４１および左シャッタフレーム１４２はまず、アライメントされ、画素対画素単位で、各フレームからの各点と、他のフレームからの対応の点とを比較し、フレーム間の画素の水平変位（すなわち、視差）を特定する。次いで、一方のフレームの画素が他方のフレームの画素から水平方向に変位している領域を、グラフィックを用いて示す２次元マップ１４３に、上記情報をグラフ化することができる。実施例によっては、２次元マップ上の一部のエリアの色を濃くすることで、当該エリアで視差レベルが高いことを示してもよい。

このような従来の技術を用いて、画素対画素単位で、右シャッタフレームの各ライン１４５と、左シャッタフレームの対応のライン１４６とを比較することで、当該ライン上の点間の視差を算出する。上記処理は画素対画素単位で行われるため、非常に詳細な視差マップ１４３が生成されるが、演算量が非常に多く、かなりの時間を要する。３Ｄビデオシーケンスのフレームを作り出す画像が高解像度画像である場合、視差マップをリアルタイムまたはほぼリアルタイムで生成することは実用的ではないことがある。

図１３は、ビデオシーケンスの視差マップを生成する速度および効率を上げる、改善された技術の一例を示す概略図である。

まず、左シャッタフレーム１５１がエッジ検出処理にかけられる。しかし、左シャッタフレーム１５１の代わりに、右シャッタフレームを用いてエッジ検出処理を行ってもよい。このエッジ検出処理は、ゾーベルエッジ検出処理等の従来のエッジ検出アルゴリズムを用いることによって行ってもよい。実際には、画像の垂直エッジのみを検出する場合にゾーベルエッジ検出技術を用いることが有用である。実施形態において、水平視差のみを算出するため、垂直エッジを検出する。それゆえ、垂直エッジのみを検出することによって、候補となる主要特徴の数が減り、演算費用が削減される。しかし、本発明はこれに限定されず、任意の方向におけるエッジの検出に、他のエッジ検出処理が想定される。エッジ検出後、左シャッタフレームの検出されたエッジ画素を示すエッジ検出画像１５３を生成する。図１３から分かるように、第１の画像１５３は、３Ｄビデオシーケンスの左シャッタフレームにおいて主要な物体１５７に相当しない余分なエッジ画素１５５、１５６を多数含んでいる。

したがって、２段階目のエッジ検出を行い、第１の画像１５３を複数のより小さい画素ブロック、例えば、８×８画素ブロックまたは１６×１６画素ブロック（または実際には、任意のサイズの画素ブロック）に分割し、当該ブロックに存在するエッジ画素数を分析する。各ブロックのエッジ画素数が閾値を下回る場合、当該ブロックは、エッジ画素を含んでいないと見なされる。実施形態において、ブロックの閾値は、ブロックの幅および高さと同じである。これは、ブロックと交差する垂直線は少なくとも、そのいくつかの画素を当該ブロック内に有するためである。しかし、本発明はこれに限定されず、例えば、５の任意の閾値が想定される。したがって、視差マップを生成するのに関係のない、背景のフレームの物体に起因して生じる余分なエッジ画素は、排除した方がよい。状況によっては、１つの画素ブロック内に多数のエッジ画素が存在する可能性がある。このため、エッジ画素の最大数（例えば、１２）を設定し、１つの画素ブロック内のエッジ画素数が当該最大値を超えた場合に、当該ブロックから所定数（例えば、８）のエッジ画素をランダムに取り出し、これらのエッジ画素を当該ブロックのエッジ画素と見なしてもよい。この方法によって、本技術の速度が上がるため、好都合である。

２段回目のエッジ画素検出後、１つまたは複数の主要特徴を選択する。主要特徴は、画素ブロックにおいて検出されたエッジから取り出される画素である。選択は、実施形態においては、エッジ画素に含まれていると想定されている画素ブロックに含まれるエッジ画素からのランダムな選択であるが、他の非ランダム選択も可能である。代替的に、画素ブロック内の各エッジ画素が、主要特徴であってもよい。各画素ブロックから主要特徴を選択した後、主要特徴が左側シャッタフレームに配置される第２のブロックが生成される。この新たなブロックは、例えば、１６画素×１６画素であり、主要特徴画素にその中心が置かれる。上記新たなブロックは、任意のサイズとすることができることが想定される。これは、右画像における主要特徴画素を、エッジ検出画素を有する画素ブロックから選択することを意味する。

右シャッタフレーム（左シャッタフレームはエッジ検出処理を施されている）において、探索エリアを算出する。この探索エリアは中心に主要画素を有しており、通常、幅２０１画素および高さ１１画素である。換言すると、右画像における探索エリアの開始点は、左画像における主要特徴の画素位置に位置する。なお、任意のサイズの探索エリアを用いてもよく、また、探索エリアのサイズは、左シャッタフレームと右シャッタフレームとの間において予期される最大水平視差および最大垂直視差によって決まる。幅２０１画素の探索エリアでは、−１００画素〜＋１００画素の範囲における水平視差が、高さ１１画素の探索エリアでは、−５画素〜＋５画素の範囲における垂直視差が生じ得る。予期される視差の範囲が既知の場合、探索エリアサイズをそれに応じて調整することが可能である。左シャッタフレームからの１６×１６ブロックは、１６×１６ブロックを、従来のブロックマッチング技術を用いて探索エリアにおける各画素位置と比較することによって、右シャッタフレーム内の探索エリアと「マッチング」される。上記比較は、基準ブロック（example block）を探索エリア内の全ての探索ブロックと相関することによって行われる。最も相関関係が高い探索ブロックがベストマッチとされる。垂直視差値および水平視差値は、左シャッタフレーム内の主要特徴画素位置と、右シャッタフレーム内のベストマッチ画素位置とを比較することによって計算される。１つの主要特徴画素に関して探索ブロックを算出した後、全ての主要特徴画素に関して処理を繰り返す。

本技術は、垂直方向に正確にアライメントされていない３Ｄカメラリグに対してロバストなものであるため、水平視差および垂直視差の両方を計算するのが有用である。さらに、垂直視差を算出することで、このようなエラーを補正することが可能である。

理解されるように、主要特徴を生成するのに視差マッピング処理においてエッジ画素を用いるだけで、付加的な処理を一切行わずに３Ｄビデオシーケンスの左シャッタフレーム１５１および右シャッタフレーム１５２に対して画素対画素単位で視差マップを生成する場合に比べて、視差マップがより一層迅速にかつ効率的に生成される。

本技術は、視差推定値のエラー数が確実に減るようにさらに改善することができる。視差結果の妥当性を認証するために、ブロックマッチングが行われると、右画像上のエッジ検出が行われる。左画像内のエッジの位置が算出されて視差が計算されると、右画像内のいずれの画素位置がエッジ画素であるべきかを識別することが可能である。次いで、右画像内のエッジ画素はどこに位置すべきか（視差が正確である場合）と、エッジ画素が右画像内の当該エッジ画素に位置しているかどうかとに関する比較が行われる。右画像内のベストマッチ画素が右画像のエッジ上にまたは当該エッジの近傍に位置する場合、視差結果の妥当性が認証される。ここで「近傍」という用語は、１個の画素内にあることを意味する。しかし、任意の数の画素が想定されてもよい。

図１４は、例えば、図９に示すような視差マッピング部を示す概略図であり、当該視差マッピング部は、図１３に示した方法を実施することができる。

図１４は、バッファ１６０２と、エッジ検出部１６０３と、視差マップ生成器１６０４とを有する視差マッピング部１６０１を示す。３Ｄビデオシーケンスの第１のフレームがバッファ１６０２に入力され、エッジ検出部１６０３に渡され、そして、エッジ検出部１６０３によって、図１５に示すエッジ検出処理が施される。次いで、エッジ検出情報が視差マップ生成器１６０４に渡され、ここで、視差が算出される。視差マップ生成器１６０４は、視差マップをメタデータとして出力する。

［奥行き量検出］
図３を参照すると理解されるように、３Ｄ画像は、ディスプレイの前方（手前）の位置にあるように見えるようにディスプレイ上に配置することができる。さらに、３Ｄ画像と画面との距離を長くする、つまり、３Ｄ画像と視聴者との距離を短くするためには、３Ｄ画像を作り出す２枚の画像間の水平変位（すなわち、視差）は、大きくする必要がある。したがって、３Ｄ画像が視聴者の非常に近くにあるような印象を与えるためには、３Ｄ画像を作り出す２枚の画像をかなり離間させる必要がある。理解されるように、３Ｄ画像を作り出す２枚の画像間の距離が過度に長いと、視聴者に不快感を与えるか、または、或る点を超えると、視聴者が同時に、互いに対して実質的に変位している２枚の画像に両眼を向けることが不可能になるため、３Ｄ画像として認識することが不可能になる。それゆえ、「奥行き量」は、３Ｄ画像を視聴する視聴者にとって過度に不快感を与えると見なされる前に３Ｄ画像が有する最大の負のまたは正の視差を確定するように設定される。３Ｄ画像が上記奥行き量を超えるか否かという情報は、３Ｄビデオシーケンスを編纂する編集者にとって有用なものである。図１５（Ａ）および図１５（Ｂ）は、上記情報を３Ｄビデオシーケンス編集者に利用可能なものとする技術を示す。

一例では、いずれの３次元画像が所定の奥行き量の近くかまたは当該所定の奥行き量を超える負の視差に位置するかを、視聴者、例えば、３Ｄビデオ映像を編集中のユーザに明確かつ好都合に示す技術が提供される。図１５（Ａ）は、負の視差が非常に大きい第１の画像１７２ａと、負の視差が中程度の第２の画像１７３ａと、負の視差がほとんどない第３の画像１７４ａとを含む３Ｄビデオシーケンスの或るシーン１７１ａを示す概略図である。

本技術によれば、所定の奥行き量の、または当該所定の奥行き量を超える３Ｄビデオシーケンスフレームに表示される３Ｄ画像が、特に当該３Ｄ画像が所定の奥行き量を超えていることを３Ｄビデオシーケンス編集者に示すように彩色される。図１５（Ｂ）は、３Ｄビデオシーケンスの第２のシーン１７１ｂを示す概略図であり、ここでは、種々の３Ｄ画像が、上記奥行き量に関連して相対的な視差を示すように彩色されている。とりわけ、第１の３Ｄ画像１７２ｂには、所定の奥行き量を超えていることを示すために黒色が割り当てられている。第２の画像１７３ｂは、所定の奥行き量を超えそうであることを示すために灰色になっており、第３の３Ｄ画像１７４ｂは、所定の奥行き量を超えていないことを示すために白色になっている。

理解されるように、異なる技術を用いて、３Ｄ物体があとどれくらいで所定の奥行き量を超えるかを示すことができる。例えば、３Ｄ物体が、所定の奥行き量によって許容される最大の正の視差の１０％以内にある場合、３Ｄ物体は薄い赤色にされる。３Ｄ物体が、所定の奥行き量であるかまたは当該所定の奥行き量を超える正の視差にある場合、３Ｄ物体は明るい赤色にされる。

図１６は、図１５（Ｂ）に示した技術を実行するシステムを示す概略図である。図１６から分かるように、システムは、図９に示したシステムと同じ構成要素を有するため、重複した説明は省略する。図９とは異なり、図１６に示すシステムは、上記構成要素に加えて、奥行きマッピング部１８１と、奥行きパラメータ部１８２とを有する。

上記のように、視差マッピング部９３は、３Ｄビデオシーケンスの左シャッタフレームの画像と、右シャッタフレームの画像との間の垂直変位を示す視差マップを提供する。視差マップから、正の視差または負の視差が存在するかどうかを判断することができる。これは、奥行きマップが作成されると、左画像の画素が、右画像の同じ画素の左または右に位置するか否かを判断することが可能になるためである。画素が右に位置する場合、負の視差が生じる。逆に、画素が左に位置する場合、正の視差が生じる。したがって、図１６のシステムが有する奥行きマッピング部１８１は、視差マッピング部９３から視差マップを取り出し、当該視差マップに、奥行きパラメータ部１８２によって提供されるこの奥行きパラメータを適用する。奥行きパラメータは、３Ｄビデオシーケンスからの物体の相対的な奥行きを示す別の情報源となる。奥行きパラメータは、複数の異なる手段によって提供することができる。例えば、３Ｄビデオシーケンスが従来のテレビカメラによって撮影された場合、特定のフレームの撮影中に用いられたテレビカメラのレンズの焦点距離に関係付けられたメタデータを用いて、対象となっている３Ｄ画像の相対的な位置を算出することができる。この情報は、メタデータとして奥行きパラメータ部１８２に記憶し、適宜、奥行きマッピング部１８２に供給することができる。別の例では、単純に、観察者が自ら３Ｄビデオシーケンスを視聴して各３Ｄ画像に奥行きを割り当てることによって奥行きパラメータを生成することができる。いずれにせよ、奥行きマッピング部１８１は、奥行きパラメータ部１８２が提供する奥行きパラメータと、視差マッピング部９３が提供する視差マップとを組み合わせることで、３Ｄビデオフレーム内の物体の相対的な奥行きを示す完全な奥行きマップを提供する。その後、この情報が編集部９１に渡されると、編集部９１は、３Ｄビデオシーケンスに存在する３Ｄ画像が所定の奥行き量にあるかまたは当該所定の奥行き量を超えるかを判断し、そうであれば、図１５（Ｂ）を参照して上述したように何らかの種類のグラフィカルインジケータを関連の３Ｄ物体に適用する。単に、視差マップから視差を読み取ることによって、所定の奥行き量を超えているか否かを判断することも可能であることを理解されたい。

［エイリアシング低減技術］
状況によっては、３Ｄビデオシーケンスの２つのフレームに視差マッピングを実行するとき、視差マッピング処理が左シャッタフレームと右シャッタフレームとの間のエイリアシングによって影響を受ける可能性がある。これを図１７に示している。

図１７は、テニスコートのシーンを映す３Ｄビデオシーケンスの右シャッタフレーム１９２および左シャッタフレーム１９１の一例を示す概略図である。テニスコートは、テニスネット１９３ａ、１９３ｂを含む。テニスネット１９３ａ、１９３ｂは、一定に反復するパターンとしてビデオフレーム１９１、１９２に示されるネット材料から成る。

理解されるように、右シャッタフレーム１９２と左シャッタフレーム１９１とが視差マッピング中に比較されると、ネットの反復パターンに起因して、視差処理の過程で、右シャッタフレーム１９２と左シャッタフレーム１９１との間の水平方向のずれにエイリアシングが生じる場合がある。

図１８（Ａ）〜図１８（Ｅ）は、視差マッピング中にエイリアシングを生じる可能性が高い、コンテンツを含むフレームの部分を識別する技術を示す概略図である。

まず、フレームのうちの一方が、既知の画像自動補正技術を用いて自己相関される。これには、エッジ検出領域の高調波加算（harmonic summation）、またはブロックマッチング確率のコムフィルタリングを用いることができる。

高調波加算の場合、関心領域のエッジ検出が行われる。エッジ検出領域内の走査線毎に、「高調波」構造を識別するように、当該走査線が１倍、２倍または３倍に圧縮された状態で、加算が行われる。この走査線の応答が閾値を上回る場合、これは、高調波として分類され、したがって、エイリアシングが起こる可能性が高い。そこで、この領域は、視差マッピング計算から除外される。

ブロックマッチング確率結果のコムフィルタリングの場合、左シャッタフレーム内の関心領域が、右シャッタフレームの探索エリアに対してブロックマッチングにかけられる。これによって、探索エリアの画素毎に１つの確率値を有する、ブロックマッチング確率行列が生成される。この行列の列は、高調波加算技術の走査線と同じ方法で処理される。反復構造は結果として、行列と交差する一定間隔の点に確率最大値を呈し、これらの確率最大値が検出される。確率行列は「雑音」を有しており、当該確率行列における「雑音」を単に合計することで結果的に誤検出応答を生じ得る。したがって、所与の空間周波数に関連する所与の間隔に離間する数値（teens：歯）を有するコムフィルタを確率行列に適用する。数値間の等間隔点における応答平均から数値での応答を平均化し、減算する。数値間の雑音を減算することによって、これによって、誤検出応答の可能性が低減される。上記処理は、空間周波数の範囲に対応する距離範囲に離間する数値を有するコムフィルタの範囲で繰り返される。周波数の範囲に対する応答範囲を仮定すると、任意の１つの応答が閾値を上回る場合、走査線は高調波として分類される。

上記結果として、図１８（Ａ）に示すような出力が生じる。図１８（Ａ）は、フレームの幅を交差して取ったグラフの概略図である。ピーク１９４は、反復パターンを示す、自己相関する映像のエリアを示す。

図１８（Ａ）に示すグラフは、半分に縮小され、図１８（Ｂ）に示すグラフになる。図１８（Ｂ）に示すグラフは、さらに半分に縮小され、図１８（Ｃ）に示すグラフになる。図１８（Ｃ）に示すグラフは、さらに半分に縮小され、図１８（Ｄ）に示すグラフになる。そして、図１８（Ａ）〜図１８（Ｄ）に示すグラフからのデータが合計されて、図１８（Ｅ）に示すグラフが生成される。

図１８（Ｅ）に示すグラフは、処理を受けたフレームの基本反復周波数（すなわち、高調波）に対応するピーク１９５を有する。ピークが所定の閾値レベルを上回る場合、これは、視差マッピング中に結果としてエイリアシングを生じ得ることをフレーム内の反復パターンが十分に表していることを示す。

ピーク１９５が閾値レベルを上回るという事実は、例えば、エイリアシングを生成するような、対象フレームの部分が視差マッピングの対象から除外されることを保証することによって、エイリアシングが起こらないということを保証するのに用いることができる。図１８（Ａ）〜図１８（Ｄ）に関して例示された技術を行うシステムを図１９に示す。

図１９は、図９のシステムと対応するシステムの概略図であるが、図１９のシステムは、ビデオシーケンスソース９２と視差マッピング部との間に分数調波加算部（sub-harmonic summation unit）２１０を有する。

分数調波加算部２１０は、ビデオシーケンスソース９２に記憶される３Ｄビデオシーケンスから左右のシャッタフレーム対の少なくとも一方上に分数調波加算処理を行う。

分数調波加算部２１０が、対象となっているフレームの基本反復周波数が図１８（Ｅ）に示したような閾値レベルを上回るピークを生成すると判定した場合、分数調波加算部２１０は、視差マッピング部９３に信号を送信し、エイリアシングが生じる可能性が高いフレームの部分に対して視差マッピングを確実に行わないようにする。

図２０は、上述した３Ｄ画像から２Ｄ画像への画像カットに起因する不快感を低減する技術を実施する方法の一連を示すフローチャートであり、ここでは、３Ｄ画像を非３Ｄ画像に置き変えることで、ビデオフレームシーケンスにおいて３Ｄ画像から非３Ｄ画像への画像カットが変更されている。３Ｄ画像は、視聴者が左眼で視聴可能なビデオフレームシーケンスの第１の画像と、視聴者が右眼で視聴可能なビデオフレームシーケンスの第２の画像とによって、ビデオシーケンスの画像平面において視聴者によって知覚可能であり、第１の画像および第２の画像が、画像平面において互いに関して変位している。ステップＳ１０１において、画像平面における第１の画像の第１の位置を識別する。ステップＳ１０２において、画像平面における第２の画像の第２の位置を識別する。３Ｄ画像から非３Ｄ画像へのカット後、ステップＳ１０３において、実質的に第１の位置に非３Ｄ画像の第１のコピーをビデオシーケンスの第１の後続のカットフレームに挿入する。ステップＳ１０４において、非３Ｄ画像の第２のコピーを、実質的にビデオシーケンスの第１の後続のカットフレームの第２の位置に挿入する。非３Ｄ画像の第１のコピーと、非３Ｄ画像の第２のコピーとを所定の数の後続のフレームの画像平面における位置に挿入する。ここで、位置は、画像平面内で所定の点上に、第１のコピーおよび第２のコピーがスムーズに収束する位置である。

本発明の実施形態において、上述した方法およびシステムの要素は、任意の好適な方法で実装することができることを理解されたい。したがって、従来の均等のデバイスの既存の構成要素への必要な適合を、プロセッサ実施可能指示を有するコンピュータプログラム製品の形態で実施してもよい。この場合、上記プロセッサ実施可能指示は、フロッピーディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリもしくはこれらの任意の組合せ等のデータキャリアまたは他の記憶媒体に記憶されるか、または、イーサネット、無線ネットワーク、インターネット等のネットワークもしくはこれらのネットワークの任意の組合せ等のネットワークまたは他のネットワーク上でデータ信号を介して送信されるか、または、ＡＳＩＣ（特定用途向け集積回路）もしくはＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）としてのハードウェアにおいて、または従来の均等のデバイスを適合する際に用いるのに好適な他の構成可能もしくは特別設計の回路において実現される。

添付の図面を参照して本発明の例示的な実施形態を説明してきたが、本発明は厳格な上記実施形態に限定されず、添付の特許請求の範囲に規定される発明の範囲および精神から逸脱しない範囲で、当業者は種々の変更および変形形態をなすことができることを理解されたい。

Claims (35)

1. 所定の画面上に表示可能な第１の画像シーケンスと第２の画像シーケンスとの間でフレームの切り替えを行う画像切り替え方法であって、前記第１の画像シーケンスは、前記所定の画面とは異なる第１の画像平面上でユーザに立体的に知覚可能な第１の物体を含み、前記第２の画像シーケンスは、前記第１の画像平面とは異なる第２の画像平面上で知覚可能な第２の物体を含み、前記第１の物体は、第１の画面位置上の第１の画像と、第２の画面位置上の第２の画像とから成り、当該画像切り替え方法は、
   前記第１の画像の前記第１の画面位置と、前記第２の画像の前記第２の画面位置とを識別し、
   切り替え後の前記第２の画像シーケンスの第１のフレームにおいて、前記第１の画面位置に前記第２の物体の第１のコピーを挿入し、前記第２の画面位置に前記第２の物体の第２のコピーを挿入し、
   前記第１のフレームに続く所定数の連続フレームにおいて、前記第２の物体の第１のコピーと、前記第２の物体の第２のコピーとを、前記第１の画面位置および前記第２の画面位置よりも、前記第２の物体を視認するのに必要とされる前記所定の画面上の所定位置に近い位置に挿入することで、前記第２の物体の前記画面位置を変更する
   画像切り替え方法。
2. 請求項１に記載の画像切り替え方法であって、
   前記所定数の連続フレーム間の前記画面位置の変更の程度は、当該所定数の連続フレームにわたって一定である
   画像切り替え方法。
3. 請求項１に記載の画像切り替え方法であって、
   前記所定数の連続フレーム間の前記画面位置の変更の程度は、当該所定数の連続フレームにわたって変化する
   画像切り替え方法。
4. 請求項３に記載の画像切り替え方法であって、
   前記画面位置の前記変更の程度は、前記所定数の連続フレームのうち最後の所定数の連続フレーム中より、最初の所定数の連続フレーム中の方が小さい
   画像切り替え方法。
5. 請求項１に記載の画像切り替え方法であって、
   前記第２の画像平面は前記所定の画面である
   画像切り替え方法。
6. 請求項１に記載の画像切り替え方法であって、
   前記第１の画面位置および前記第２の画面位置は、視差マッピング処理によって生成される視差マップを用いて識別される
   画像切り替え方法。
7. 請求項６に記載の画像切り替え方法であって、
   前記第１の画像シーケンスは、
   前記ユーザの一方の眼によって視認可能な第１の立体画像フレーム群と、
   前記ユーザの他方の眼によって視認可能な第２の立体画像フレーム群とを有し、
   前記視差マップは、
   前記第１の立体画像フレーム群内の第１の画像フレームに第１のエッジ画素検出処理を施して、当該第１の画像フレーム内のエッジを識別し、
   前記検出されたエッジから前記第１の画像フレームの特徴画素を識別し、
   前記特徴画素を有する複数の画素のブロックを生成し、
   前記第１の画像フレームから生成された前記複数の画素のブロックを用いて、前記第２の立体画像フレーム群内の第２の画像フレーム内の、前記画素のブロックに相関する探索領域に対してブロックマッチングを行い、
   前記第２の画像フレームにおける対応する特徴画素から前記第１の画像フレームの前記特徴画素の相対的な変位を識別する
   ことによって生成される
   画像切り替え方法。
8. 請求項７に記載の画像切り替え方法であって、さらに、
   前記第１の物体の奥行きの所定の奥行きパラメータを、前記視差マップによって識別された前記第１または第２の画面位置と関係付けることによって、前記視差マップから、前記所定の画面と前記第１または第２の画像平面との間の距離に関する指標を提供する奥行きマップを生成するステップを含む
   画像切り替え方法。
9. 請求項８に記載の画像切り替え方法であって、さらに、
   前記奥行きマップまたは前記視差マップによって示される、前記第１の物体の前記奥行きに基づいて、前記第１の物体を所定のグラフィカルインジケータと関係付けるステップを含む
   画像切り替え方法。
10. 請求項９に記載の画像切り替え方法であって、さらに、
    前記奥行きが所定の視差閾値以上の場合、前記第１の物体を前記グラフィカルインジケータと関係付けるステップを含む
    画像切り替え方法。
11. 請求項９に記載の画像切り替え方法であって、
    前記グラフィカルインジケータは、前記第１の物体に対する彩色を含む
    画像切り替え方法。
12. 請求項７に記載の画像切り替え方法であって、さらに、
    前記第２の画像フレームに第２のエッジ画素検出処理を施して、前記第２の画像フレーム内のエッジを識別し、
    前記識別されたエッジと、前記生成された視差マップとから、前記第１の画像フレームにおいて予期されるエッジ画素を算出し、
    前記第１の画像において前記予期されるエッジ画素と、前記算出されたエッジ画素との位置が所定の閾値距離内にあるときに、前記視差マップの妥当性を認証し、当該認証結果に応じて前記ブロックマッチングにおける前記探索領域を変更する
    画像切り替え方法。
13. 請求項７に記載の画像切り替え方法であって、
    前記第１のエッジ画素検出処理の前に、前記第１の画像フレームおよび前記第２の画像フレームの少なくとも一方の自動相関バージョンに分数調波加算処理を適用することで、前記少なくとも１つの画像フレームにおいて存在する反復パターンの基本周波数の大きさを算出し、
    前記少なくとも１つの画像フレームの前記基本周波数の前記大きさに基づいて、前記第１のエッジ画素検出処理と、前記相対的な変位の識別処理とを実行する
    画像切り替え方法。
14. 請求項７に記載の画像切り替え方法であって、
    前記視差マップは、前記第１の画像フレーム及び前記第２の画像フレーム間の対応する特徴画素間の垂直変位を含み、
    前記第１のエッジ画素検出処理は、ゾーベルエッジ検出技術を用いる
    画像切り替え方法。
15. 請求項７に記載の画像切り替え方法であって、
    前記第１のエッジ画素検出処理は、前記第１の画像フレームを複数の画素ブロックにセグメント化し、かつ前記複数の画素ブロックの各画素ブロック内のエッジ数を算出するステップを含み、
    前記エッジ数が閾値を下回る場合、当該画素ブロックはエッジを有しないと見なされる
    画像切り替え方法。
16. 請求項１５に記載の画像切り替え方法であって、
    前記閾値は、前記画素ブロック内の垂直方向の画素数と等しい
    画像切り替え方法。
17. 請求項１５に記載の画像切り替え方法であって、
    前記画素ブロックにおいて検出されたエッジ数が第２の閾値を上回る場合、当該画素ブロックにおける前記エッジ数は、前記第２の閾値と等しく扱われる
    画像切り替え方法。
18. 所定の画面に表示可能な第１の画像シーケンスと第２の画像シーケンスとの間でフレームの切り替えを行う画像切り替え装置であって、前記第１の画像シーケンスは、前記所定の画面とは異なる第１の画像平面上でユーザに立体的に知覚可能な第１の物体を含み、前記第２の画像シーケンスは、前記第１の画像平面とは異なる第２の画像平面上で知覚可能な第２の物体を含み、前記第１の物体は、第１の画面位置上の第１の画像と、第２の画面位置上の第２の画像とから成り、当該画像切り替え装置は、
    前記第１の画像の前記第１の画面位置と、前記第２の画像の前記第２の画面位置とを識別する識別装置と、
    切り替え後の前記第２の画像シーケンスの第１のフレームにおいて、前記第１の画面位置に前記第２の物体の第１のコピーを挿入し、前記第２の画面位置に前記第２の物体の第２のコピーを挿入するとともに、前記第１のフレームに続く所定数の連続フレームにおいて、前記第２の物体の第１のコピーと、前記第２の物体の第２のコピーとを、前記第１の画面位置および前記第２の画面位置よりも、前記第２の物体を視認するのに必要とされる前記所定の画面上の所定位置に近い位置に挿入することで、前記第２の物体の前記画面位置を変更する挿入装置とを具備する、
    画像切り替え装置。
19. 請求項１８に記載の画像切り替え装置であって、
    前記所定数の連続フレーム間の前記画面位置の変更の程度は、当該所定数の連続フレームにわたって一定である
    画像切り替え装置。
20. 請求項１８に記載の画像切り替え装置であって、
    前記所定数の連続フレーム間の前記画面位置の変更の程度は、当該所定数の連続フレームにわたって変化する
    画像切り替え装置。
21. 請求項２０に記載の画像切り替え装置であって、
    前記画面位置の前記変更の程度は、前記所定数の連続フレームのうち最後の所定数の連続フレーム中より、最初の所定数の連続フレーム中の方が小さい
    画像切り替え装置。
22. 請求項１８に記載の画像切り替え装置であって、
    前記第２の画像平面は前記所定の画面である
    画像切り替え装置。
23. 請求項１８に記載の画像切り替え装置であって、
    前記第１の画面位置および前記第２の画面位置は、視差マッピング処理によって生成される視差マップを用いて識別される
    画像切り替え装置。
24. 請求項２３に記載の画像切り替え装置であって、
    前記第１の画像シーケンスは、
    前記ユーザの一方の眼によって視認可能な第１の立体画像フレーム群と、
    前記ユーザの他方の眼によって視認可能な第２の立体画像フレーム群とを有し、
    当該画像切り替え装置は、
    前記第１の立体画像フレーム群内の第１の画像フレームに第１のエッジ画素検出処理を施して、当該第１の画像フレーム内のエッジを識別し、
    前記検出されたエッジから前記第１の画像フレームの特徴画素を識別し、
    前記特徴画素を有する複数の画素のブロックを生成し、
    前記第１の画像フレームから生成された前記複数の画素のブロックを用いて、前記第２の立体画像フレーム群内の第２の画像フレーム内の、前記画素のブロックに相関する探索領域に対してブロックマッチングを行い、
    前記第２の画像フレームにおける対応する特徴画素から前記第１の画像フレームの前記特徴画素の相対的な変位を識別する
    ことで前記視差マップを生成する視差マップ生成器を有する
    画像切り替え装置。
25. 請求項２４に記載の画像切り替え装置であって、さらに、
    前記第１の物体の奥行きの所定の奥行きパラメータを、前記視差マップによって識別された前記第１または第２の画面位置と関係付けることによって、前記視差マップから、前記所定の画面と前記第１または第２の画像平面との間の距離に関する指標を提供する奥行きマップを生成する奥行きマップ生成器を具備する
    画像切り替え装置。
26. 請求項２５に記載の画像切り替え装置であって、さらに、
    前記奥行きマップまたは前記視差マップによって示される、前記第１の物体の前記奥行きに基づいて、前記第１の物体を所定のグラフィカルインジケータと関係付ける関係付け装置を具備する
    画像切り替え装置。
27. 請求項２６に記載の画像切り替え装置であって、
    前記関係付け装置はさらに、前記奥行きが所定の視差閾値以上の場合、前記第１の物体を前記グラフィカルインジケータと関係付けるように動作可能である
    画像切り替え装置。
28. 請求項２６に記載の画像切り替え装置であって、
    前記グラフィカルインジケータは、前記第１の物体に対する彩色を含む
    画像切り替え装置。
29. 請求項２４に記載の画像切り替え装置であって、
    前記視差マップ生成器はさらに、
    前記第２の画像フレームに第２のエッジ画素検出処理を施して、前記第２の画像フレーム内のエッジを識別し、
    前記識別されたエッジと、前記生成された視差マップとから、前記第１の画像フレームにおいて予期されるエッジ画素を算出し、
    前記第１の画像において前記予期されるエッジ画素と、前記算出されたエッジ画素との位置が所定の閾値距離内にあるときに、前記視差マップの妥当性を認証し、当該認証結果に応じて前記ブロックマッチングにおける前記探索領域を変更するように動作可能である
    画像切り替え装置。
30. 請求項２４に記載の画像切り替え装置であって、
    前記第１のエッジ画素検出処理の前に、前記第１の画像フレームおよび前記第２の画像フレームの少なくとも一方の自動相関バージョンに分数調波加算処理が適用されることで、前記少なくとも１つの画像フレームにおいて存在する反復パターンの基本周波数の大きさが算出され、
    前記少なくとも１つの画像フレームの前記基本周波数の前記大きさに基づいて、前記第１のエッジ画素検出処理と、前記相対的な変位の識別処理とが実行される
    画像切り替え装置。
31. 請求項２４に記載の画像切り替え装置であって、
    前記視差マップは、前記第１の画像フレーム及び前記第２の画像フレーム間の対応する特徴画素間の垂直変位を含み、
    前記第１のエッジ画素検出処理は、ゾーベルエッジ検出技術を用いる
    画像切り替え装置。
32. 請求項２４に記載の画像切り替え装置であって、
    前記第１のエッジ画素検出処理は、前記第１の画像フレームを複数の画素ブロックにセグメント化し、かつ前記複数の画素ブロックの各画素ブロック内のエッジ数を算出する処理を含み、
    前記エッジ数が閾値を下回る場合、当該画素ブロックはエッジを有しないと見なされる
    画像切り替え装置。
33. 請求項３２に記載の画像切り替え装置であって、
    前記閾値は、前記画素ブロック内の垂直方向の画素数と等しい
    画像切り替え装置。
34. 請求項３２に記載の画像切り替え装置であって、
    前記画素ブロックにおいて検出されたエッジ数が第２の閾値を上回る場合、当該画素ブロックにおける前記エッジ数は、前記第２の閾値と等しく扱われる
    画像切り替え装置。
35. コンピュータに、請求項１に記載の画像切り替え方法の各ステップを実行させるプログラム。

Images