WO2012018001A1

WO2012018001A1 - 映像処理装置、表示装置及び映像処理方法

Info

Publication number: WO2012018001A1
Application number: PCT/JP2011/067647
Authority: WO
Inventors: 阿部　貴志
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2010-08-02
Filing date: 2011-08-02
Publication date: 2012-02-09
Anticipated expiration: 2013-02-02
Also published as: JP2012054912A

Abstract

　本発明は、右目用及び左目用映像フレームが有する視差を変更することが可能となる映像処理装置、表示装置及び映像処理方法を提供する。　本発明の表示装置が有する映像処理部３は、右目用映像フレーム及び左目用映像フレームから、右目用映像フレーム及び左目用映像フレーム間で偏位している映像対の各フレーム内の表示位置を抽出する抽出部３２と、抽出した各フレーム内の表示位置の略中央位置を算出する位置算出部３３と、映像対の一方を算出した略中央位置に配置した中央映像フレームを右目用映像フレーム及び左目用映像フレームから合成する合成部３４と、合成して得た中央映像フレームに基づき所定の視差を用いて右目用表示映像フレーム及び左目用表示映像フレームを生成する生成部３５とを含む。

Description

映像処理装置、表示装置及び映像処理方法

　本発明は、右目用及び左目用映像フレームが有する視差を変更することが可能となる映像処理装置、表示装置及び映像処理方法に関する。

　視差を有する左目用映像フレーム及び右目用映像フレームを交互に表示し、ユーザの左目及び右目夫々に左目用映像及び右目用映像を入射させて立体映像を視認させる表示装置がある。左目用映像フレーム及び右目用映像フレームは、例えば、被写体に対して所定の視差を有するよう配置された２台のカメラ夫々により当該被写体が撮影されて生成される。また、２次元映像フレームを映像処理することにより、所定の視差を有する左目用映像フレーム及び右目用映像フレームが生成されることもある（例えば、特許文献１参照）。

特開２００１－１６６０９号公報

　しかしながら、従来技術では、左目用映像フレーム及び右目用映像フレームが有する視差を変更することが不可能であるという問題があった。

　本願は、斯かる事情に鑑みてなされたものである。その目的は、右目用映像フレーム及び左目用映像フレーム間で偏位している映像対の一方を映像対の略中央位置に配置した中央映像フレームを合成する合成部を備えることにより、左目用映像フレーム及び右目用映像フレームの視差を変更することが可能となる映像処理装置、表示装置及び映像処理方法を提供することにある。

　本願に開示する映像処理装置は、右目用映像フレーム及び左目用映像フレームを処理する映像処理装置において、前記右目用映像フレーム及び前記左目用映像フレームから、前記右目用映像フレーム及び左目用映像フレーム間で偏位している映像対の各フレーム内の表示位置を抽出する抽出部と、該抽出部により抽出した各フレーム内の表示位置の略中央位置を算出する位置算出部と、前記映像対の一方を前記位置算出部により算出した略中央位置に配置した中央映像フレームを前記右目用映像フレーム及び左目用映像フレームから合成する合成部と、該合成部により合成して得た前記中央映像フレームに基づき所定の視差を用いて右目用表示映像フレーム及び左目用表示映像フレームを生成する生成部とを備える。

　本願にあっては、右目用映像フレーム及び左目用映像フレーム夫々に写っている左目用映像及び右目用映像のうち、視差を有する左目用映像及び右目用映像の一部からなる映像対が各フレーム内の表示位置と共に抽出される。抽出された各フレーム内の表示位置の略中央位置が算出される。抽出された映像対の一方を、算出した略中央位置に配置した中央映像フレームが、視差を有しない２次元映像フレームとして右目用映像フレーム及び左目用映像フレームから合成される。中央映像フレームに基づき所定の視差を有する右目用表示映像フレーム及び左目用表示映像フレームが生成される。

　本願に開示する映像処理装置は、前記抽出部は、前記映像対の各フレーム内の表示位置に対応した背景映像を前記左目用映像フレーム及び右目用映像フレームから更に抽出し、前記合成部は、前記映像対の各フレーム内の表示位置に前記抽出部により抽出した背景映像を配置した中央映像フレームを合成する。

　本願にあっては、中央映像フレームの全領域のうち、右目用映像フレーム及び左目用映像フレームから抽出された視差を有する映像対の一方が配置された領域以外の領域には、右目用映像フレーム及び左目用映像フレームから抽出された背景映像が配置される。

　本願に開示する映像処理装置は、前記抽出部により抽出した各フレーム内の表示位置に基づいて前記右目用映像フレーム及び左目用映像フレームが有する視差を算出する視差算出部と、該視差算出部により算出した視差を変更する変更部とを更に備え、前記生成部は、前記変更部により変更した視差を用いる。

　本願にあっては、右目用映像フレーム及び左目用映像フレーム間で偏位している映像の偏位量に基づいて視差が算出される。算出された視差は、増加又は減少されて変更される。変更された視差を有する右目用表示映像フレーム及び左目用表示映像フレーム夫々が中央映像フレームから生成される。

　本願に開示する映像処理装置は、前記中央映像フレームに基づいて前記右目用映像フレーム又は左目用映像フレームが有する視差を算出する視差算出部と、該視差算出部により算出した視差を変更する変更部とを更に備え、前記生成部は、前記変更部により変更した視差を用いる。

　本願にあっては、視差を有しない中央映像フレームと、右目用映像フレーム及び左目用映像フレーム夫々とが比較されて、右目用映像フレーム及び左目用映像フレームが有する視差が算出される。算出された視差は、増加又は減少されて変更される。変更された視差を有する右目用表示映像フレーム及び左目用表示映像フレーム夫々が中央映像フレームから生成される。

　本願に開示する映像処理装置は、視差の変更指示を受付ける受付部を更に備え、前記変更部は、前記受付部により受付けた変更指示に応じて前記視差を変更する。

　本願にあっては、映像処理装置がユーザから視差の増大又は減少させる変更指示を受付る。受付けた変更指示に従って右目用映像フレーム及び左目用映像フレームが有する視差が変更され、変更後の視差を有する右目用表示映像フレーム及び左目用表示映像フレームが生成される。

　本願に開示する表示装置は、右目用映像フレーム及び左目用映像フレームを処理して表示する表示装置において、前記右目用映像フレーム及び前記左目用映像フレームから、前記右目用映像フレーム及び左目用映像フレーム間で偏位している映像対の各フレーム内の表示位置を抽出する抽出部と、該抽出部により抽出した各フレーム内の表示位置の略中央位置を算出する位置算出部と、前記映像対の一方を前記位置算出部により算出した略中央位置に配置した中央映像フレームを前記右目用映像フレーム及び左目用映像フレームから合成する合成部と、該合成部により合成して得た前記中央映像フレームに基づき所定の視差を用いて右目用表示映像フレーム及び左目用表示映像フレームを生成する生成部と、該生成部により生成した前記右目用表示映像フレーム及び左目用表示映像フレームを表示する表示部とを備える。

　本願にあっては、右目用映像フレーム及び左目用映像フレーム夫々に写っている左目用映像及び右目用映像のうち、視差を有する左目用映像及び右目用映像の一部からなる映像対が各フレーム内の表示位置と共に抽出される。抽出された各フレーム内の表示位置の略中央位置が算出される。抽出された映像対の一方を、算出した略中央位置に配置した中央映像フレームが、視差を有しない２次元映像フレームとして右目用映像フレーム及び左目用映像フレームから合成される。中央映像フレームに基づき所定の視差を有する右目用表示映像フレーム及び左目用表示映像フレームが生成される。生成された右目用表示映像フレーム及び左目用表示映像フレームが表示されて、変更された視差に基づく立体映像をユーザが視認する。

　本願に開示する映像処理方法は、右目用映像フレーム及び左目用映像フレームを処理する映像処理方法において、前記右目用映像フレーム及び前記左目用映像フレームから、前記右目用映像フレーム及び左目用映像フレーム間で偏位している映像対の各フレーム内の表示位置を抽出し、抽出した各フレーム内の表示位置の略中央位置を算出し、前記映像対の一方を前記略中央位置に配置した中央映像フレームを前記右目用映像フレーム及び左目用映像フレームから合成し、前記中央映像フレームに基づき所定の視差を用いて右目用表示映像フレーム及び左目用表示映像フレームを生成する。

　当該装置及び方法の一観点によれば、右目用映像フレーム及び左目用映像フレーム間で偏位している映像対の一方を映像対の略中央位置に配置した中央映像フレームを合成する合成部を備えることにより、左目用映像フレーム及び右目用映像フレームの視差を変更することが可能となる。

表示装置の内部ハードウェアの例を示すブロック図である。右目用映像フレーム及び左目用映像フレームが有する視差を変更する手順を示すフローチャートである。右目用映像フレーム及び左目用映像フレーム間で偏位している映像対を抽出する方法を説明するための説明図である。中央映像フレームを生成する方法を説明するための説明図である。データレイアウト例を示す模式図である。実施の形態２に係る表示装置の内部ハードウェアの例を示すブロック図である。実施の形態３に係る表示装置の内部ハードウェアの例を示すブロック図である。実施の形態４に係る表示装置の内部ハードウェアの例を示すブロック図である。右目用映像フレーム及び左目用映像フレームから右目用表示映像フレーム及び左目用表示映像フレームを直接生成する方法を説明するための説明図である。右目用映像フレーム及び左目用映像フレームから、中央映像フレームを介して、右目用表示映像フレーム及び左目用表示映像フレームを生成する方法を説明するための説明図である。

　実施の形態１
　以下、実施の形態を図面を参照して具体的に説明する。本願に係る表示装置は、右目用映像フレーム及び左目用映像フレームを受け付けて、右目用表示映像フレーム及び左目用表示映像フレームを交互に表示する。表示装置のユーザは、表示装置に交互に表示された右目用表示映像フレーム及び左目用表示映像フレームに同期して開閉する液晶シャッター等を有する眼鏡装置を装着する。そして、ユーザは、眼鏡装置を介して左右の眼夫々に入射する左目用映像及び右目用映像により立体映像を視認する。このような表示装置として、例えば、３次元映像信号を含むテレビジョン放送波を受信して表示する受像機がある。また、例えば、ＤＶＤ（ Digital Versatile Disk ）又はＢＤ（ Blu-ray Disk、登録商標）等の記録媒体に記録された３次元映像信号を再生して表示する表示装置がある。

　更に、本願に係る表示装置は、例えば、ゲームアプリケーションに従って３次元映像データを生成し、右目用表示映像フレーム及び左目用表示映像フレームを表示するゲーム機器でもよい。本願に係る映像処理装置は、表示装置に設けられており、右目用映像フレーム及び左目用映像フレームから右目用表示映像フレーム及び左目用表示映像フレームを生成する映像処理部である。また、映像処理装置は、右目用映像フレーム及び左目用映像フレームを受け付けて、視差を変更した左目用表示映像フレーム及び右目用表示映像フレームを生成し、外部の表示装置又は記録装置へ出力するものでもよい。本実施の形態は、映像処理部を有しており、右目用映像フレーム及び左目用映像フレームを含む映像信号を受け付け、右目用表示映像フレーム及び左目用表示映像フレームを表示する表示装置を例に挙げて説明する。

　図１は、表示装置の内部ハードウェアの例を示すブロック図である。表示装置は、映像信号が入力される映像信号入力端子１と、視差の変更指示を受付ける変更受付部２と、入力された映像信号を処理する映像処理部３と、映像処理部３により処理した映像信号を表示する表示部４とを有する。映像信号入力端子１には、右目用映像フレーム及び左目用映像フレームを含む映像信号が入力される。映像処理部３は、変更受付部２により受付けた視差の変更指示に応じて、映像信号に含まれる右目用映像フレーム及び左目用映像フレームの視差を変更して右目用表示映像フレーム及び左目用表示映像フレームを生成し、表示部４に与える。

　表示部４は、例えば液晶ディスプレイ等であり、与えられた右目用表示映像フレーム及び左目用表示映像フレームを交互に表示することで、右目用映像及び左目用映像を交互に表示する。表示部４に表示された右目用映像及び左目用映像は、表示装置のユーザが装着する図示しない眼鏡装置を介して、ユーザの対応する目に入射され、ユーザは、立体映像を視認する。変更受付部２は、例えば、可変抵抗又はポテンショスタット等に接続されたスライダ又はダイヤルであり、ユーザが操作することにより、視差の増加又は減少を示す変更指示を受付ける。

　映像処理部３は、入力された映像信号を蓄積する蓄積部３０と、映像信号から右目用映像フレーム及び左目用映像フレーム夫々を抽出するためのフレームメモリ３１Ｒ、３１Ｌと、右目用映像フレーム及び左目用映像フレーム間で偏位した映像対を抽出する抽出部３２とを有する。また、表示装置は、抽出した映像対夫々のフレーム内の表示位置の略中央となる中央位置を算出する位置算出部３３と、右目用映像フレーム及び左目用映像フレームを合成して後述の中央映像フレームを得る合成部３４と、変更受付部２から与えられた変更指示に応じて視差を設定する視差設定部３６とを有する。更に、表示装置は、設定された視差に基づいて中央映像フレーム、右目用映像フレーム及び左目用映像フレームから右目用表示映像フレーム及び左目用表示映像フレーム夫々を生成する生成部３５とを有する。

　蓄積部３０は、メモリであり、映像信号入力端子１から順次入力される映像信号を蓄積し、右目用映像フレーム及び左目用映像フレーム夫々に分離してフレームメモリ３１Ｒ、３１Ｌに順次与える。フレームメモリ３１Ｒ、３１Ｌは、１フレーム分のフレームを記憶するメモリであり、１フレーム分の右目用映像フレームと、当該右目用映像フレームに対応する１フレーム分の左目用映像フレームとを抽出部３２に与える。抽出部３２は、フレームメモリ３１Ｒ、３１Ｌ夫々から与えられた１フレーム分の右目用映像フレーム及び左目用映像フレームを比較することにより右目用映像フレーム及び左目用映像フレーム間で偏位した映像を各フレームから映像対として各フレーム内の表示位置と共に抽出し、位置算出部３３及び合成部３４に与える。

　位置算出部３３は、抽出部３２から与えられた映像対の各フレーム内の表示位置の中央位置を算出して合成部３４に与える。合成部３４は、フレームメモリ３１Ｒ、３１Ｌにより与えられた右目用映像フレーム及び左目用映像フレームから背景映像を抽出して合成し、更に抽出部３２から与えられた映像対の一方を位置算出部３３から与えられた中央位置に配置して中央映像フレームを得る。そして、合成部３４は、中央映像フレームを右目用映像フレーム及び左目用映像フレームと共に生成部３５に与える。生成部３５は、合成部３４により与えられた中央映像フレーム、右目用映像フレーム及び左目用映像フレームから右目用表示映像フレーム及び左目用表示映像フレームを、視差設定部３６により設定された視差を用いて生成し、表示部４に与える。

　図２は、右目用映像フレーム及び左目用映像フレームが有する視差を変更する手順を示すフローチャートである。図３は、右目用映像フレーム及び左目用映像フレーム間で偏位している映像対を抽出する方法を説明するための説明図である。図４は、中央映像フレームを生成する方法を説明するための説明図である。抽出部３２は、右目用映像フレーム及び左目用映像フレーム間で偏位している映像対を抽出する（ステップＳ１１）。映像対の抽出は、始めに抽出部３２により右目用映像フレームに写っている各映像のフレーム内の表示位置及び左目用映像フレームに写っている各映像のフレーム内の表示位置の偏位量を算出する。

　そして、抽出部３２は、設定してある閾値を超える偏位量が算出された映像を、右目用映像フレーム及び左目用映像フレーム夫々から映像対として抽出するとよい。抽出部３２による映像対の抽出には、従来技術である動き検出装置を用いてもよい。従来技術の動き検出装置は、動画に含まれる複数の映像フレームを時系列順に比較し、フレーム間で偏位している被写体の映像を検出することで被写体の動きを検出する。この動き検出装置を用いて右目用映像フレーム及び左目用映像フレームを比較してフレーム間で偏位している映像を検出して、映像対を抽出するとよい。

　例えば、図３に示す例では、同一被写体の映像ＭＲ、ＭＬ夫々が右目用映像フレームＦＲのフレーム内の表示位置ＰＲと、左目用映像フレームＦＬのフレーム内の表示位置ＰＬに写っている。表示位置ＰＲ、ＰＬ間の距離が偏位量ΔＸとして算出され、偏位量ΔＸが閾値を超える場合、映像ＭＲ、ＭＬが映像対として抽出される。位置算出部３３は、抽出部３２により抽出された映像対の各フレーム内の表示位置の略中央となる中央位置を算出する（ステップＳ１２）。合成部３４は、フレームメモリ３１Ｒ、３１Ｌから与えられた右目用映像フレーム及び左目用映像フレーム夫々から抽出部３２により抽出された映像対を除く映像を背景映像として抽出し（ステップＳ１３）、背景映像を合成する（ステップＳ１４）。

　合成部３４は、合成した背景映像に対して抽出部３２により抽出した映像対の一方を位置算出部３３により算出した中央位置に配置して中央映像フレームを取得する（ステップＳ１５）。図４に示す例では、図３に示した右目用映像フレームＦＲ及び左目用映像フレームから抽出された映像対としての映像ＭＲ、ＭＬのうち、一方の映像が映像ＭＣとして表示位置ＰＲ、ＰＬの中央位置ＰＣに配置されている。図４に示す破線で囲まれた中央映像フレームの部分領域ＡＲ、ＡＬ夫々は、映像ＭＲ、ＭＬ夫々が右目用映像フレームＦＲ及び左目用映像フレームＦＬに表示されていた領域と対応する。

　尚、部分領域ＡＲには、前記の背景映像の合成により、当該部分領域ＡＲに対応する背景映像が左目用映像フレームＦＬから抽出されて配置される。また、部分領域ＡＬには、同様に前記の背景画像の合成により、当該部分領域ＡＬに対応する背景映像が右目用映像フレームＦＲから抽出されて配置される。生成部３５は、合成部３４から与えられた中央映像フレーム、右目用映像フレーム及び左目用映像フレームから視差設定部３６により設定された視差を用いて右目用表示映像フレーム及び左目用表示映像フレームを生成して（ステップＳ１６）、右目用映像フレーム及び左目用映像フレームが有する視差の変更を完了する。

　右目用映像フレーム及び左目用映像フレームの生成には、始めに視差設定部３６により設定された視差に基づいて、中央映像フレームに写っている被写体の映像を右目用表示フレーム及び左目用表示フレーム夫々に表示する位置を算出する。そして、算出した位置夫々に被写体の映像を配置した右目用表示フレーム及び左目用表示フレームを右目用映像フレーム及び左目用映像フレームを合成して生成する。これにより、右目用表示映像フレーム及び左目用表示映像フレーム夫々に配置された被写体の映像を除く領域には、右目用映像フレーム及び左目用映像フレームから抽出した背景映像が配置される。

　図５は、データレイアウト例を示す模式図である。図５は、映像処理部３に与えられる映像信号と、合成部３４が出力する中央映像フレームと、生成部３５が出力する右目用表示映像フレーム及び左目用表示映像フレームを含む表示映像フレームとを上段から下段へ並べて示している。図５に示す例では、左目用映像フレームＬ１、Ｌ２、Ｌ３、…及び右目用映像フレームＲ１、Ｒ２、Ｒ３、…が時系列に沿って交互に配置された映像信号が映像信号入力端子１に入力されている。合成部３４は、左目用映像フレームＬ１、Ｌ２、Ｌ３、…夫々と、右目用映像フレームＲ１、Ｒ２、Ｒ３、…夫々とから合成されて得られた中央映像フレームＣ１、Ｃ２、Ｃ３、…を順次出力している。

　生成部３５は、中央映像フレームＣ１、Ｃ２、Ｃ３、…夫々から生成された左目用表示映像フレームＬ１´、Ｌ２´、Ｌ３´…夫々及び右目用表示映像フレームＲ１´、Ｒ２´、Ｒ３´、…夫々の組を順次出力している。表示部４は、生成部３５から順次出力される左目用表示映像フレームＬ１´、Ｌ２´、Ｌ３´…夫々及び右目用表示映像フレームＲ１´、Ｒ２´、Ｒ３´、…夫々の組を表示する。

　本実施の形態１では、右目用映像フレーム及び左目用映像フレームを比較することにより、フレーム間で偏位している映像対を抽出する場合を示したが、これに限るものではない。例えば、右目用映像フレーム及び左目用映像フレームを所定の画素数を有する複数のブロックに分割し、各ブロックに表示される部分映像をフレーム間で比較してもよい。この場合、フレーム間で偏位しているブロック対を映像対として抽出する。また、ブロックの代わりに右目用映像フレーム及び左目用映像フレームに含まれる各画素をフレーム間で比較して、フレーム間で偏位している画素対を映像対として抽出してもよい。

　フレーム間で偏位している映像対を各フレーム内の表示位置と共に抽出する場合を示したが、これに限るものではなく映像対の各フレーム内の表示位置と、映像対の一方とを抽出してもよい。この場合、抽出された映像対の一方が中央映像フレームに配置される。右目用表示映像フレーム及び左目用表示映像フレームは、右目用映像フレーム、左目用映像フレーム及び中点映像フレームから生成する場合を示したが、これに限るものではない。例えば、２次元映像から所定の視差を有する右目用表示映像フレーム及び左目用表示映像フレームを生成する従来技術を用いて、２次元映像である中央映像フレームから生成してもよい。この場合、右目用表示映像フレーム及び左目用表示映像フレーム夫々に配置された被写体の映像を除く領域には、例えば中央映像フレームから抽出した背景映像に基づいて補間処理により生成した映像を配置するとよい。

　右目用映像フレーム及び左目用映像フレームが有する視差を変更する処理は、映像処理部３が有する各ハードウェアにより実現される場合を示したが、これに限るものではない。例えば、映像処理部３の代わりにメモリ、光ディスク及び磁気ディスク等の記憶媒体から読み出したプログラムをコンピュータが実行し、コンピュータがプログラムに従って映像処理部３の各ハードウェアの機能を実現するようにしてもよい。また、この場合、フレームメモリの代わりにコンピュータが有するＲＡＭ（ Random-Access Memory ）を用いてもよい。

　本実施の形態１は、設定された視差を用いて中央映像フレームから右目用表示映像フレーム及び左目用表示映像フレームを生成することにより、入力された右目用映像フレーム及び左目用映像フレームが有する視差を変更することが可能となる。

　実施の形態２
　本実施の形態は、実施の形態１が予め設定してある視差を変更するのに対して、入力された右目用映像フレーム及び左目用映像フレームが有する視差を算出して変更するようにしてある。図６は、実施の形態２に係る表示装置の内部ハードウェアの例を示すブロック図である。表示装置は、映像処理部５を有する。映像処理部５を除く表示装置の内部ハードウェア各部は、実施の形態１と同一であるので同一符号を用いて詳細な説明を省略する。映像処理部５は、映像信号入力端子１に入力された映像信号に含まれる右目用映像フレーム及び左目用映像フレームを合成して中央映像フレームを取得する。

　映像処理部５は、変更受付部２により受け付けたユーザの視差の変更指示に応じて変更した視差を用いて、中央映像フレームから右目用表示映像フレーム及び左目用表示映像フレームを生成し、表示部４に与える。映像処理部５は、右目用映像フレーム及び左目用映像フレームが有する視差を算出する視差算出部５７と、視差算出部５７が算出した視差を変更受付部２により受け付けた変更指示に応じて変更する変更部５８とを有する。映像処理部５の他の内部ハードウェア各部は、実施の形態１の映像処理部３と同様であるので、符号の違いを記載するに留める。映像処理部５は、蓄積部５０と、フレームメモリ５１Ｒ、５１Ｌと、抽出部５２と、位置算出部５３と、合成部５４と、生成部５５とを有する。

　視差算出部５７は、抽出部５２により抽出した映像対の偏位量に基づいて右目用映像フレーム及び左目用映像フレームが有する視差を算出し、変更部５８に与える。変更部５８は、変更受付部２により受け付けた変更指示に応じて、視差算出部５７から与えられた視差を変更し、生成部５５に与える。これにより、映像信号入力端子１に入力された映像信号に含まれる右目用映像フレーム及び左目用映像フレームが有する視差に対して、増大又は減少を指示する変更指示をユーザから受け付けて変更することが可能となる。

　本実施の形態２は以上の如きであり、その他は実施の形態１と同様であるので対応する部分には同一の符号及び処理名を付してその詳細な説明を省略する。

　実施の形態３
　本実施の形態は、実施の形態２が抽出された映像対の偏位量に基づいて右目用映像フレーム及び左目用映像フレームが有する視差を算出するのに対して、中央映像フレームを右目用映像フレームと比較することにより算出する。図７は、実施の形態３に係る表示装置の内部ハードウェアの例を示すブロック図である。表示装置は、映像処理部６を有する。映像処理部６を除く表示装置の内部ハードウェア各部は、実施の形態１と同一であるので同一符号を用いて詳細な説明を省略する。映像処理部６は、映像信号入力端子１に入力された映像信号に含まれる右目用映像フレーム及び左目用映像フレームを合成して中央映像フレームを取得する。

　映像処理部６は、変更受付部２によりユーザから受け付けた変更指示に応じて変更した視差を用いて、中央映像フレームから右目用表示映像フレーム及び左目用表示映像フレームを生成し、表示部４に与える。映像処理部６は、右目用映像フレーム及び左目用映像フレームが有する視差を算出する視差算出部６７と、視差算出部６７が算出した視差を変更受付部２により受け付けた変更指示に応じて変更する変更部６８とを有する。映像処理部６の他の内部ハードウェア各部は、実施の形態１の映像処理部３と同様であるので、符号の違いを記載するに留める。映像処理部６は、蓄積部６０と、フレームメモリ６１Ｒ、６１Ｌと、抽出部６２と、位置算出部６３と、合成部６４と、生成部６５とを有する。

　視差算出部６７は、合成部６４から与えられる中央映像フレームと、フレームメモリ６１Ｒから与えられる右目用映像フレームとの間で被写体の映像の偏位量を検出し、検出した偏位量に基づいて右目用映像フレーム及び左目用映像フレームが有する視差を算出する。例えば、中央映像フレーム及び右目用映像フレーム間の被写体の映像の偏位量を２倍した値を、右目用映像フレーム及び左目用映像フレームが有する視差として算出するとよい。本実施の形態３では、中央映像フレーム及び右目用映像フレーム間の被写体の映像の偏位量を検出する場合を示したが、これに限るものではなく中央映像フレーム及び左目用映像フレーム間の被写体の映像の偏位量を検出して視差を算出してもよい。

　本実施の形態３は以上の如きであり、その他は実施の形態１と同様であるので対応する部分には同一の符号及び処理名を付してその詳細な説明を省略する。

　実施の形態４
　本実施の形態は、動き検出を含むフレーム周波数変換（以下、ＦＲＣ（frame rate control）と呼ぶ）を応用することにより、右目用表示映像フレーム及び左目用表示映像フレームを生成する形態に関する。

　図８は、実施の形態４に係る表示装置の内部ハードウェアの例を示すブロック図である。表示装置は、映像処理部７を有する。映像処理部７を除く表示装置の内部ハードウェア各部は、実施の形態１と同一であるので同一符号を用いて詳細な説明を省略する。映像処理部７は、映像信号入力端子１に入力された映像信号に含まれる右目用映像フレーム及び左目用映像フレームをＦＲＣにより合成して中央映像フレームを取得する。映像処理部７は、取得した中央映像フレームを利用して、ＦＲＣにより右目用表示映像フレーム及び左目用表示映像フレームを生成する。

　抽出部７２は、右目用映像フレーム及び左目用映像フレーム間で偏位している映像対を、動き検出により抽出する。抽出部７２は、右目用映像フレーム及び左目用映像フレームを比較してフレーム間で偏位している映像を検出し、映像対を抽出する。
　尚、一般的な動き検出は、映像部分が上下左右いずれの方向に動く場合でもその映像を検出する。そのため、検出対象ではない他の映像部分が上下方向に動く場合、意図しない映像が誤検出される可能性がある。しかし、抽出部３２は、上下方向の動きが全く又はほとんどなく、左右方向に動く映像部分の映像を検出対象とするので、通常の動き検出よりも誤検出の可能性を低く抑えて、映像対を抽出することができる。

　位置算出部７３は、抽出部７２により抽出された映像対の各フレーム内の表示位置の略中央となる中央位置を算出する。位置算出部７３は、例えば以下のように中央位置を算出する。図３における映像ＭＲ、ＭＬは、必ず水平方向にのみ偏位していることから、位置算出部７３は映像ＭＲ、ＭＬを含む水平方向の検出ラインを作り、映像ＭＲ、ＭＬのエッジを検出する。位置算出部７３は、映像ＭＲ、ＭＬ夫々の左右端のエッジ位置から中央位置を算出する。

　合成部７４は、フレームメモリ７１Ｒ、７１Ｌから与えられた右目用映像フレーム及び左目用映像フレーム夫々から抽出部７２により抽出された映像対を除く映像を背景映像として抽出し、背景映像を合成する。映像対の位置によっては、右目用映像フレーム及び左目用映像フレーム夫々から映像対が除かれたいずれの映像にも、中央映像フレーム、右目用表示映像フレーム及び左目用表示映像フレームのための背景映像がない場合がある。そのため、単純に各映像フレームのための背景映像を合成できない場合もあるが、合成部７４は背景映像として確定している映像から背景映像がない部分を推定し、背景映像を合成する。あるいは、欠落した背景映像部分の周囲領域が無模様の映像、単純な形状パターンが繰り返された映像等である場合、周囲領域の映像により欠落部分を補完することにより、合成部７４は背景映像を合成してもよい。

　ＦＲＣは、近接した時刻の２つの映像の間で変化した映像部分を抽出し、抽出した２つの映像部分の中間の映像を内挿又は補間することにより、近接した時刻における２つの映像の中間の映像を生成する技術である。
　合成部７４は、右目用映像フレーム及び左目用映像フレームを近接した時刻の２つの画像に置き換えることにより、映像対の中間の映像をＦＲＣの内挿又は補間により推定し、生成する。かかる場合、合成部７４が生成する映像ＭＣは、表示位置、形態等も映像ＭＲ、ＭＬの中間の映像である。
　合成部７４は、合成した背景映像に対して生成した映像ＭＣを位置算出部７３により算出した中央位置に配置して中央映像フレームを取得する。

　生成部７５は、合成部７４から与えられた中央映像フレーム、右目用映像フレーム及び左目用映像フレームから、視差設定部７６により設定された視差を用いて、ＦＲＣにより右目用表示映像フレーム及び左目用表示映像フレームを生成する。
　視差設定部７６により設定される視差は、映像処理部７が受け付けた右目用映像フレーム及び左目用映像フレームに対応する視差より大きい場合もあれば、小さい場合もある。視差設定部７６により設定される視差が、右目用映像フレーム及び左目用映像フレームに対応する視差より小さい場合、生成部７５は、ＦＲＣの内挿により右目用表示映像フレーム及び左目用表示映像フレームを生成する。視差設定部７６により設定される視差が、右目用映像フレーム及び左目用映像フレームに対応する視差より大きい場合、生成部７５は、ＦＲＣの外挿により右目用表示映像フレーム及び左目用表示映像フレームを生成する。
　ここでの外挿とは、ＦＲＣが扱う２つの映像に対応する時刻よりも近接した過去の時刻又は未来の時刻に対応する映像を推定し、生成することである。

　ＦＲＣにより内挿又は外挿された映像の表示位置及び形態に関する精度は、内挿又は外挿の元となる２つの映像の位置的又は形態的差異の程度により異なる。すなわち、ＦＲＣにより新たに生成される映像の表示位置又は形態に関する精度は、元となる２つの映像の位置的又は形態的差異が小さいほど高く、元となる２つの映像の位置的又は形態的差異が大きいほど低い。ここでのＦＲＣにより新たに生成される映像の精度は、更に色彩、輝度、濃淡、大きさ、明度、被写体を照らす光源の位置及び方向、視点の位置及び方向に関する精度を含む。以下、偏位量には、２つの映像間の表示位置、形態等の差異量が含まれるものとする。

　ＦＲＣにより、右目用映像フレーム及び左用目映像フレームから直接新たな右目用表示映像フレーム及び左目用表示映像フレームを生成することもできる。
　図９は、右目用映像フレーム及び左目用映像フレームから右目用表示映像フレーム及び左目用表示映像フレームを直接生成する方法を説明するための説明図である。図９の上段は、左目用映像フレーム及び右目用映像フレームを示す。図９の下段は、左目用表示映像フレームを示す。
　左目用映像フレーム及び右目用映像フレーム、左目用映像フレーム及び右目用映像フレームにおける各被写体の間の偏位量、並びに設定された視差に基づいて、ＦＲＣの内挿又は外挿により、左目用表示映像フレームが新たに生成される。同様に、右目用表示映像フレームの新たな生成も可能である。

　一方、本実施の形態に係る表示装置は、中央映像フレームを一旦生成し、中央映像フレームと右目用映像フレーム及び左目用映像フレームとから、新たな右目用表示映像フレーム及び左目用表示映像フレームを生成する。
　図１０は、右目用映像フレーム及び左目用映像フレームから、中央映像フレームを介して、右目用表示映像フレーム及び左目用表示映像フレームを生成する方法を説明するための説明図である。図１０の上段は、左目用映像フレーム及び右目用映像フレームを示す。図１０の中段は、左目用映像フレーム及び中央映像フレームを示す。図１０の下段は、左目用表示映像フレームを示す。
　合成部７４は、右目用映像フレーム及び左目用映像フレームからＦＲＣの内挿により、中央映像フレームを生成する。そのため、中央映像フレームにおける被写体の表示位置、形態等は、右目用映像フレーム及び左目用映像フレームにおける被写体のそれらの略中間である。
　次に、生成部７５は、左目用映像フレーム及び中央映像フレーム、左目用映像フレーム及び中央映像フレームにおける各被写体の間の偏位量、並びに設定された視差に基づいて、ＦＲＣの内挿又は外挿により、左目用表示映像フレームを新たに生成する。同様に、生成部７５は、右目用映像フレーム及び中央映像フレーム、右目用映像フレーム及び中央映像フレームにおける各被写体の間の偏位量、並びに設定された視差に基づいて、ＦＲＣの内挿又は外挿により、右目用表示映像フレームを新たに生成する。

　左目用表示映像フレームを生成する元となる２つの映像フレームにおける偏位量は、図９の場合と図１０の場合とで異なり、図１０における偏位量は図９における偏位量の概ね半分である。すなわち、右目用映像フレーム又は左目用映像フレームと中央映像フレームとの間の偏位量は、右目用映像フレームと左目用映像フレームとの間の偏移量の概ね半分である。ＦＲＣにより内装又は外挿される映像の精度は、元となる映像又は映像フレームに係る偏位量が小さいほど高いので、表示装置は中央映像フレームを介して右目用表示映像フレーム及び左目用表示映像フレームを生成することにより、生成する映像の精度を高めることができる。

　生成部７５は、視差設定部７６により設定された視差並びに、中央映像フレームに写っている被写体の映像及び、右目用映像フレーム又は左目用映像フレームに写っている被写体の映像に基づいて、右目用表示映像フレーム及び左目用表示映像フレーム夫々に表示する各被写体をＦＲＣにより生成する。生成部７５は、視差設定部７６により設定された視差、並びに中央映像フレームに写っている被写体の位置及び、右目用映像フレーム又は左目用映像フレームに写っている被写体の位置に基づいて、右目用表示映像フレーム及び左目用表示映像フレーム夫々に表示する各被写体の位置を算出する。そして、生成部７５は、合成部７４が合成した背景映像に対して、算出した位置夫々に、各被写体の映像を配置した右目用表示映像フレーム及び左目用表示映像フレームを合成して生成する。
　これにより、右目用表示映像フレーム及び左目用表示映像フレーム夫々に配置された被写体の映像を除く領域には、右目用映像フレーム及び左目用映像フレームから抽出した背景映像が配置される。
　尚、生成部７５は、合成部７４が合成した中央映像フレームの背景映像を抽出し、抽出した背景映像を右目用表示映像フレーム及び左目用表示映像フレームの背景映像に設定してもよい。

　本実施の形態４は以上の如きであり、その他は実施の形態１と同様であるので対応する部分には同一の符号及び処理名を付してその詳細な説明を省略する。

　１　映像信号入力端子
　２　変更受付部
　３、５、６、７　映像処理部
　３０、５０、６０、７０　蓄積部
　３１Ｒ、３１Ｌ、５１Ｒ、５１Ｌ、６１Ｒ、６１Ｌ、７１Ｒ、７１Ｌ　フレームメモリ
　３２、５２、６２、７２　抽出部
　３３、５３、６３、７３　位置算出部
　３４、５４、６４、７４　合成部
　３５、５５、６５、７５　生成部
　３６、７６　視差設定部
　５７、６７　視差算出部
　５８、６８　変更部
　４　表示部

Claims

　右目用映像フレーム及び左目用映像フレームを処理する映像処理装置において、
　前記右目用映像フレーム及び前記左目用映像フレームから、前記右目用映像フレーム及び左目用映像フレーム間で偏位している映像対の各フレーム内の表示位置を抽出する抽出部と、
　該抽出部により抽出した各フレーム内の表示位置の略中央位置を算出する位置算出部と、
　前記映像対の一方を前記位置算出部により算出した略中央位置に配置した中央映像フレームを前記右目用映像フレーム及び左目用映像フレームから合成する合成部と、
　該合成部により合成して得た前記中央映像フレームに基づき所定の視差を用いて右目用表示映像フレーム及び左目用表示映像フレームを生成する生成部と
　を備える映像処理装置。
　前記抽出部は、
　前記映像対の各フレーム内の表示位置に対応した背景映像を前記左目用映像フレーム及び右目用映像フレームから更に抽出し、
　前記合成部は、
　前記映像対の各フレーム内の表示位置に前記抽出部により抽出した背景映像を配置した中央映像フレームを合成する
　請求項１に記載の映像処理装置。
　前記抽出部により抽出した各フレーム内の表示位置に基づいて前記右目用映像フレーム及び左目用映像フレームが有する視差を算出する視差算出部と、
　該視差算出部により算出した視差を変更する変更部と
　を更に備え、
　前記生成部は、前記変更部により変更した視差を用いる
　請求項１又は請求項２に記載の映像処理装置。
　前記中央映像フレームに基づいて前記右目用映像フレーム又は左目用映像フレームが有する視差を算出する視差算出部と、
　該視差算出部により算出した視差を変更する変更部と
　を更に備え、
　前記生成部は、前記変更部により変更した視差を用いる
　請求項１又は請求項２に記載の映像処理装置。
　視差の変更指示を受付ける受付部を更に備え、
　前記変更部は、前記受付部により受付けた変更指示に応じて前記視差を変更する
　請求項３又は請求項４に記載の映像処理装置。
　右目用映像フレーム及び左目用映像フレームを処理して表示する表示装置において、
　前記右目用映像フレーム及び前記左目用映像フレームから、前記右目用映像フレーム及び左目用映像フレーム間で偏位している映像対の各フレーム内の表示位置を抽出する抽出部と、
　該抽出部により抽出した各フレーム内の表示位置の略中央位置を算出する位置算出部と、
　前記映像対の一方を前記位置算出部により算出した略中央位置に配置した中央映像フレームを前記右目用映像フレーム及び左目用映像フレームから合成する合成部と、
　該合成部により合成して得た前記中央映像フレームに基づき所定の視差を用いて右目用表示映像フレーム及び左目用表示映像フレームを生成する生成部と、
　該生成部により生成した前記右目用表示映像フレーム及び左目用表示映像フレームを表示する表示部と
　を備える表示装置。
　右目用映像フレーム及び左目用映像フレームを処理する映像処理方法において、
　前記右目用映像フレーム及び前記左目用映像フレームから、前記右目用映像フレーム及び左目用映像フレーム間で偏位している映像対の各フレーム内の表示位置を抽出し、
　抽出した各フレーム内の表示位置の略中央位置を算出し、
　前記映像対の一方を前記略中央位置に配置した中央映像フレームを前記右目用映像フレーム及び左目用映像フレームから合成し、
　前記中央映像フレームに基づき所定の視差を用いて右目用表示映像フレーム及び左目用表示映像フレームを生成する
　映像処理方法。