JP4977245B2

JP4977245B2 - 映像処理装置及び映像処理方法

Info

Publication number: JP4977245B2
Application number: JP2010222807A
Authority: JP
Inventors: 広昭古牧
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-09-30
Filing date: 2010-09-30
Publication date: 2012-07-18
Anticipated expiration: 2030-09-30
Also published as: JP2012080270A; US20120081517A1

Description

本発明の実施形態は、映像処理装置及び映像処理方法に関する。

これまでに、３Ｄ映像（3-dimensional image）を表示するための様々な技術が開示され、実用化されているが、３Ｄ映像の明るさ及び解像度などが、２Ｄ映像（2-dimensional image）の明るさ及び解像度と比べて劣っていたことから、これまでは３Ｄ映像を表示可能なテレビ（以下、３Ｄテレビ）はそれほど普及していない。

しかし、近年では、ＢＤ（Blu-ray）（登録商標）のような大容量光ディスクの登場、及びフルＨＤテレビの普及により、フレームシーケンシャル方式などによる高画質な３Ｄ映像の再生が可能になり、今後は３Ｄテレビが飛躍的に普及することが考えられる。

ところが、未だ３Ｄ映像コンテンツが少ない。このような背景の下、２Ｄ映像コンテンツを３Ｄ映像コンテンツに変換し、変換された３Ｄ映像コンテンツに基づき擬似３Ｄ映像を生成する技術(２Ｄ／３Ｄ変換技術)が提案されている。

特開２００１−２９２４６０号公報

２Ｄ／３Ｄ変換機能を備えた３Ｄテレビは、デジタルビデオレコーダ（ＤＶＲ）等の外部機器（映像送出元）からの２Ｄ映像を受け取り、２Ｄ映像を３Ｄ映像へ変換して出力することができる。

しかしながら、外部機器が、３Ｄテレビの能力等に応じて、２Ｄ映像のオリジナル映像フォーマットを所定映像フォーマットに変換して出力することがあり、この場合、３Ｄテレビにより変換される３Ｄ映像の画質が低下することがある。これは、外部機器のオリジナル映像フォーマットから所定映像フォーマットへの変換処理の精度が低いと、変換後の２Ｄ映像内のオブジェクトの輪郭が粗い状態となる等の理由により、２Ｄ／３Ｄ変換機能における２Ｄ映像の映像解析精度が低くなってしまうためである。

本発明の目的は、２Ｄ／３Ｄ変換により変換される３Ｄ映像の画質低下防止に優れた映像処理装置及び映像処理方法を提供することにある。

実施形態の映像処理装置は、制限手段と、入力手段と、変換手段とを備える。前記制限手段は、２Ｄ映像を３Ｄ映像へ変換するための３Ｄ変換の指示に対応して入力映像フォーマットを制限する。前記入力手段は、前記制限された入力映像フォーマットに対応した２Ｄ映像を入力する。前記変換手段は、前記入力された２Ｄ映像を３Ｄ映像へ変換する。

第１及び第２の実施形態で共通の２Ｄ／３Ｄ変換装置（映像処理装置）の構成の一例、及び２Ｄ／３Ｄ変換装置と外部機器との接続の一例を示す図である。第１の実施形態の入力映像フォーマットの受動的制限手法の一例を示すフローチャートである。第２の実施形態の入力映像フォーマットの能動的制限手法の一例を示すフローチャートである。

以下、第１及び第２の実施形態について図面を参照して説明する。

図１は、第１及び第２の実施形態で共通の２Ｄ／３Ｄ変換装置（映像処理装置）の構成の一例、及び２Ｄ／３Ｄ変換装置と外部機器との接続の一例を示す図である。図１に示すように、例えば、ＨＤＭＩ（High Definition Multimedia Interface）（登録商標）ケーブルを介して、２Ｄ／３Ｄ変換装置と外部機器とが接続される。

例えば、２Ｄ／３Ｄ変換装置１００は、２Ｄ映像を３Ｄ映像へ変換する２Ｄ／３Ｄ機能を備え、３Ｄ映像を表示可能なデジタルテレビ（ＤＴＶ）である。２Ｄ／３Ｄ変換装置１００は、ＨＤＭＩコネクター１０１、信号処理モジュール（ＨＤＭＩ−ＲＸ）１０２、制御モジュール１０３、切換制御モジュール１１０、ＥＤＩＤ（Extended Display Identification Data）−ＲＯＭ１１１、ＥＤＩＤ−ＲＯＭ１１２、操作入力モジュール１２０、映像処理モジュール１３０、２Ｄ／３Ｄ変換処理モジュール１３１、音声処理モジュール１４０、表示部１５０、及びスピーカ１６０を備えている。

また、外部機器２００は、例えば、２Ｄ映像を出力するデジタルビデオレコーダ（ＤＶＲ）である。或いは、外部機器２００は、ＤＶＤプレイヤー、ＢＤ（Blu-ray（登録商標））プレイヤー、又はセットトップボックスである。外部機器２００は、ＨＤＭＩコネクター２０１、信号処理モジュール（ＨＤＭＩ−ＴＸ）２０２、制御モジュール２０３、映像処理モジュール２３０、音声処理モジュール２４０を備えている。

以下、２Ｄ／３Ｄ変換装置１００（ＨＤＭＩ−ＲＸ側）をシンク機器１００、外部機器２００（ＨＤＭＩ−ＴＸ側）をソース機器２００と称する。

ＨＤＭＩケーブルが挿入されると、ソース機器２００とシンク機器１００の間で、以下の手順でリンクが確立される。

（１）ＨＤＭＩケーブルの挿入に対応して、ＨＰＤ（Hot Plug Detect）信号がローレベル（Ｌ）からハイレベル（Ｈ）へ変化し、ソース機器２００の信号処理モジュール２０２は、シンク機器１００の接続を検出する。

（２）ソース機器２００の信号処理モジュール２０２は、ＤＤＣ（Display Data Channel）（Ｉ２Ｃ）経由で、例えばシンク機器１００のＥＤＩＤ−ＲＯＭ１１１又はＥＤＩＤ−ＲＯＭ１１２から第１のＥＤＩＤ又は第２のＥＤＩＤを読み出し、シンク機器１００が許容する映像フォーマット等の情報を取得し、シンク機器１００を認証する。なお、第１又は第２のＥＤＩＤには、製造業者、型番、固有情報などが含まれる。

また、ＨＤＭＩケーブルが抜去されると、ソース機器２００とシンク機器１００の間で、以下の手順でリンクが切断される。

（３）ＨＤＭＩケーブルの抜去に対応して、ＨＰＤ信号がハイレベル（Ｈ）からローレベル（Ｌ）へ変化し、ソース機器２００の信号処理モジュール２０２は、シンク機器１００の取り外しを検出する。

次に、シンク機器１００による２Ｄ／３Ｄ変換と、シンク機器１００への入力映像フォーマットとの関係について説明する。

シンク機器１００により２Ｄ／３Ｄ変換される映像ソースのオリジナルフォーマットには、以下のものが考えられる。

（映像フォーマット４８０ｉ）
映像フォーマット４８０ｉの代表例として、国内／北米のアナログ放送の映像フォーマットがある。また、映像フォーマット４８０ｉとして、ＤＶＤの出力映像フォーマット及び家庭用ＳＤビデオカメラの映像フォーマットがある。なお、放送方式の違いにより６０ｉと５０ｉが存在する。

（映像フォーマット４８０ｐ）
映像フォーマット４８０ｐの代表例として、国内／北米のＣＳ放送の映像フォーマットがある。また、映像フォーマット４８０ｐとして、ＤＶＤの出力映像フォーマット及びＢＤの出力映像フォーマットがある。

（映像フォーマット７２０ｐ）
映像フォーマット７２０ｐの代表例として、北米のＨＤＴＶの映像フォーマットがある。また、映像フォーマット７２０ｐとして、ＢＤの出力映像フォーマット及び家庭用ＨＤビデオカメラの映像フォーマット（ＡＶＣＨＤ、その他)がある。放送方式の違いにより６０ｐと５０ｐが存在し、さらに、フィルム対応のため２４ｐが存在する。

（映像フォーマット１０８０ｉ）
映像フォーマット１０８０ｉの代表例として、国内のデジタルハイビジョン放送の映像フォーマットがある。また、映像フォーマット１０８０ｉとして、ＢＤの出力映像フォーマット(１０８０ｉ収録)及び家庭用ＨＤビデオカメラの映像フォーマット（ＡＶＣＨＤ、その他）がある。放送方式の違いにより６０ｉと５０ｉが存在する。

（映像フォーマット１０８０／２４ｐ）
映像フォーマット１０８０／２４ｐの代表例として、ＢＤの出力映像フォーマットがある。また、映像フォーマット１０８０／２４ｐとして、家庭用ＨＤビデオカメラの映像フォーマット（ＡＶＣＨＤ（登録商標））がある。

（映像フォーマット１０８０／６０ｐ）
映像フォーマット１０８０／６０ｐとして、一部の家庭用ＨＤビデオカメラの映像フォーマット（ＡＶＣＨＤ非互換）がある。ＢＤ／ＡＶＣＨＤの規定映像フォーマットは１０８０／６０ｐ解像度を許容していない。

ＤＶＲ等のソース機器２００は、映像フォーマット４８０ｉ、４８０ｐ、７２０ｐ、１０８０ｉを映像フォーマット１０８０／６０ｐに変換（アップスケーリング）する変換機能を備えている。例えば、映像処理モジュール２３０が、映像フォーマット４８０ｉ、４８０ｐ、７２０ｐ、１０８０ｉを映像フォーマット１０８０／６０ｐに変換（アップスケーリング）する。

映像フォーマット４８０ｉ及び４８０ｐから映像フォーマット１０８０／６０ｐへの変換処理（アップスケーリング）においては、画素数が変換（増加）される。このため変換後の映像は、補完情報を含むことになる。

映像フォーマット７２０ｐから映像フォーマット１０８０／６０ｐへの変換処理においても、画素数が変換（増加）される。このため、変換後の画像は補完情報を含むことになる。

映像フォーマット１０８０ｉから映像フォーマット１０８０／６０ｐへの変換処理においては、ｉ／ｐ変換処理が実行される。例えば、映像処理モジュール２３０が、ｉ／ｐ変換処理を実行する。つまり、ソース機器２００の映像処理モジュール２３０の画像処理性能（ｉ／ｐ変換処理性能）によって、変換処理後の映像フォーマット１０８０／６０ｐの品質は大きく左右される。例えば、ｉ／ｐ変換処理において、静止画領域に対してはＴｏｐ／Ｂｏｔｔｏｍフィールドの合成処理が実行され、動画領域に対してはＤｏｕｂｌｉｎｇ等による自フィールド内での画素補完処理が実行される。

ソース機器２００によって、画像処理（ｉ／ｐ変換処理）で実行される動き検出の範囲、精度、並びに画素補完生成等の方式が異なる。ソース機器２００は、ｉ／ｐ変換処理の実行により、画素補完情報等を含む映像フォーマット１０８０／６０ｐを生成する。このため、ソース機器２００の画像処理性能（ｉ／ｐ変換処理性能）によって、変換後処理後の映像フォーマット１０８０／６０ｐの品質も異なる。例えば、画像処理性能（ｉ／ｐ変換処理性能）の低いソース機器２００が出力する映像フォーマット１０８０／６０ｐの映像品質は低い可能性が高い。

また、映像フォーマット１０８０ｐの映像ソースは、映画等のフィルム素材のものが多い。つまり、映像フォーマット１０８０ｐの映像ソースは、映像フォーマット１０８０／２４ｐであることが多い。ソース機器２００は、映像フォーマット１０８０ｉを映像フォーマット１０８０／２４ｐへ変換する場合、ｉ／ｐ変換処理を適用しない。このｉ／ｐ変換処理を適用しない理由は、オーサリング処理による画質劣化を避けるためである。更に、２−３プルダウン処理により、画素情報を損なうことなく、フィルム素材の映像フォーマット１０８０／２４ｐを映像フォーマット１０８０ｉに変換することができる。

上記の理由より、シンク機器１００が、ソース機器２００からの映像を２Ｄ／３Ｄ変換する場合、シンク機器１００は、ソース機器２００から映像フォーマット１０８０ｐの映像ではなく、ソース機器２００から映像フォーマット１０８０ｉの映像を受け取りたい。これは、上記したように、ソース機器２００から出力される映像フォーマット１０８０ｐの映像の品質が低い場合があるからである。ソース機器２００から出力される映像フォーマット１０８０ｐの映像は、ソース機器２００のｉ／ｐ変換処理により生成された品質不明な映像であるかもしれない。例えば、ソース機器２００のｉ／ｐ変換処理能力が低い場合、ソース機器２００のｉ／ｐ変換処理により生成された映像フォーマット１０８０ｐの映像は、低品質である可能性が高い。一方、ソース機器２００から出力される映像フォーマット１０８０ｉの映像は、オリジナル映像の品質に相当する可能性が高い。

そこで、シンク機器１００は、ソース機器２００からの２Ｄ映像を３Ｄ映像へ変換する場合には、ソース機器２００からの入力映像フォーマットを制限し、制限された入力映像フォーマットに対応した２Ｄ映像を入力し、入力された２Ｄ映像を３Ｄ映像へ変換する。例えば、シンク機器１００は、ソース機器２００からの入力映像フォーマットの上限を映像フォーマット１０８０ｉに制限する。つまり、シンク機器１００は、映像フォーマット４８０ｉ、４８０ｐ、７２０ｐ、１０８０ｉの映像を受け入れ、映像フォーマット１０８０ｐの映像を受け入れないように、入力映像フォーマットを制限する。これにより、シンク機器１００は、ソース機器２００における画素補完を最小限にして、オリジナル映像（情報）により近い映像を使用することができる。

ここで、２Ｄ映像を３Ｄ映像へ変換する２Ｄ／３Ｄ変換について補足説明する。シンク機器１００の２Ｄ／３Ｄ変換処理モジュール１３１は、２Ｄ映像を３Ｄ映像へ変換する２Ｄ／３Ｄ変換処理を実行する。

例えば、２Ｄ／３Ｄ変換処理では、入力２Ｄ映像を解析し、入力２Ｄ映像中の人物等の各オブジェクトを検出し、各オブジェクトの前後関係（奥行）を検出し、必要に応じてオブジェクトを変形し、３Ｄ映像を生成する。この際、入力２Ｄ映像の品質が低いと、上記した入力２Ｄ映像の解析精度が低くなり、結果的に３Ｄ映像の品質が低くなってしまう。例えば、上記したｉ／ｐ変換処理の実行により入力２Ｄ映像がノイズ成分等を含むと、人物等のオブジェクトの検出精度が低くなったり、各オブジェクトの前後関係の検出精度が低くなったりして、結果的に３Ｄ映像の品質が低くなってしまう。そこで、ソース機器２００側での画像処理（ｉ／ｐ変換処理）により入力２Ｄ映像の品質が低下してしまうのを防止したい。これにより、シンク機器１００側での２Ｄ／３Ｄ変換処理後の３Ｄ映像の品質低下を防止することができる。

そのために、シンク機器１００は、ソース機器２００からの２Ｄ映像を３Ｄ映像へ変換する場合には、ソース機器２００からの入力映像フォーマットを制限する。次に、第１の実施形態の入力映像フォーマットの受動的制限手法、及び第２の実施形態の入力映像フォーマットの能動的制限手法について説明する。

（第１の実施形態）
第１の実施形態では、ＥＤＩＤ−ＲＯＭ１１１及びＥＤＩＤ−ＲＯＭ１１２の切り換えによる受動的制限手法について説明する。図２は、第１の実施形態の入力映像フォーマットの受動的制限手法の一例を示すフローチャートである。

ＥＤＩＤ−ＲＯＭ１１１は、第１の許容映像フォーマットリストを記憶する。第１の許容映像フォーマットリストは、例えば、映像フォーマット４８０ｉ、４８０ｐ、７２０ｐ、１０８０ｉの入力を許容する情報を含む。つまり、第１の許容映像フォーマットリストは、最大解像度１０８０ｉの入力を許容する情報を含む。

ＥＤＩＤ−ＲＯＭ１１２は、第２の許容映像フォーマットリストを記憶する。第２の許容映像フォーマットリストは、例えば、映像フォーマット４８０ｉ、４８０ｐ、７２０ｐ、１０８０ｉ、１０８０ｐの入力を許容する情報を含む。つまり、第２の許容映像フォーマットリストは、最大解像度１０８０ｐの入力を許容する情報を含む。

言い換えると、第１の許容映像フォーマットリストは、映像フォーマット１０８０ｉの入力を許容し映像フォーマット１０８０ｐの入力を許容しない情報を含み、第２の許容映像フォーマットリストは、映像フォーマット１０８０ｉ及び１０８０ｐの両者の入力を許容する情報を含む。

例えば、シンク機器１００の切換制御モジュール１１０は、初期設定時に、ＥＤＩＤ−ＲＯＭ１１２を選択し、ソース機器２００によりＥＤＩＤ−ＲＯＭ１１２を読み取り可能に設定し、ソース機器２００によりＥＤＩＤ−ＲＯＭ１１１を読み取り不能に設定する。つまり、切換制御モジュール１１０は、初期設定時に、最大解像度１０８０ｐを選択する。

例えば、ソース機器２００とシンク機器１００とがＨＤＭＩケーブルを介して接続されると、ソース機器２００は、シンク機器１００の認証を実行し、ソース機器２００は、シンク機器１００のＥＤＩＤ−ＲＯＭ１１２のデータを読み取り、シンク機器１００が許容する映像フォーマット等の情報を取得する。これにより、例えば、ソース機器２００は、シンク機器１００が最大解像度１０８０ｐをサポートしていることを検出する。

操作入力モジュール１２０が、２Ｄ／３Ｄ変換の指示を受け付けると（ＳＴ１０１、ＹＥＳ）、操作入力モジュール１２０は、切換制御モジュール１１０及び映像処理モジュール１３０に２Ｄ／３Ｄ変換の指示を通知する。操作入力モジュール１２０は、シンク機器１００に設けられたコントロールパネルであってもよいし、シンク機器１００の動作を制御するリモートコントローラからの信号を受光する受光部であってもよい。

切換制御モジュール１１０は、２Ｄ／３Ｄ変換の指示に対応して、ＥＤＩＤ−ＲＯＭ１１１を選択し、ソース機器２００によりＥＤＩＤ−ＲＯＭ１１１を読み取り可能に設定し、ソース機器２００によりＥＤＩＤ−ＲＯＭ１１２を読み取り不能に設定する。つまり、切換制御モジュール１１０は、２Ｄ／３Ｄ変換の指示に対応して、最大解像度１０８０ｉを選択する（ＳＴ１０２）。

信号処理モジュール１０２は、ＥＤＩＤ−ＲＯＭ１１１が読み取り可能に設定されたことをソース機器に認識させるため、ＨＤＭＩケーブルの挿抜を模擬する（ＳＴ１０３）。例えば、信号処理モジュール１０２は、ＨＰＤ信号をローレベルに制御しＨＤＭＩケーブルの抜去状態を作り出す。さらに、信号処理モジュール１０２は、所定時間経過後に、ＨＰＤ信号をハイレベルに制御しＨＤＭＩケーブルの挿入状態を作り出す。

これに対応して、ソース機器２００は、シンク機器１００の認証を実行する（ＳＴ１０４）。この認証実行の際に、ソース機器２００は、シンク機器１００のＥＤＩＤ−ＲＯＭ１１１のデータを読み取り、シンク機器１００が許容する映像フォーマット等の情報を取得する。これにより、ソース機器２００は、シンク機器１００が最大解像度１０８０ｉを許容していることを検出する。

ソース機器２００が、シンク機器１００に対して映像及び音声を送信する場合に、ＨＤＭＩコネクター２０１を介して、例えば、映像フォーマット１０８０ｉの映像及び所定音声フォーマットの音声を出力し、シンク機器１００は、ＨＤＭＩコネクター１０１を介して、映像フォーマット１０８０ｉの映像及び所定音声フォーマットの音声を入力する。シンク機器１００の信号処理モジュール１０２は、映像フォーマット１０８０ｉの映像を映像処理モジュール１３０へ入力し、所定音声フォーマットの音声を音声処理モジュール１４０へ入力する。

映像処理モジュール１３０の２Ｄ／３Ｄ変換モジュール１３１は、操作入力モジュール１２０からの２Ｄ／３Ｄ変換の指示に対応して、映像フォーマット１０８０ｉの映像（２Ｄ映像）を３Ｄ映像へ変換し、３Ｄ映像を出力し、表示部１５０が、３Ｄ映像を表示する。また、音声処理モジュール１４０は、所定音声フォーマットの音声に対して所定音声処理を適用し、所定音声処理後の音声を出力し、スピーカ１６０が、所定音声処理後の音声を出力する。

一方、操作入力モジュール１２０が、２Ｄ／３Ｄ変換の指示を受け付けなければ（ＳＴ１０１、ＮＯ）、操作入力モジュール１２０は、切換制御モジュール１１０及び映像処理モジュール１３０に２Ｄ／３Ｄ変換の指示を通知しない。

切換制御モジュール１１０は、２Ｄ／３Ｄ変換の無指示（所定時間以上の無指示）に対応して、ＥＤＩＤ−ＲＯＭ１１２を選択し、ソース機器２００によりＥＤＩＤ−ＲＯＭ１１２を読み取り可能に設定し、ソース機器２００によりＥＤＩＤ−ＲＯＭ１１１を読み取り不能に設定する。つまり、切換制御モジュール１１０は、２Ｄ／３Ｄ変換の無指示（所定時間以上の無指示）に対応して、最大解像度１０８０ｐを選択する（ＳＴ１０５）。

なお、２Ｄ／３Ｄ変換指示を受け付けない場合には、ＳＴ１０５、ＳＴ１０３、ＳＴ１０４の処理を実行せず、制限処理を終了するようにしてもよい。

信号処理モジュール１０２は、ＥＤＩＤ−ＲＯＭ１１２が読み取り可能に設定されたことをソース機器に認識させるため、ＨＤＭＩケーブルの挿抜を模擬する（ＳＴ１０３）。例えば、信号処理モジュール１０２は、ＨＰＤ信号をローレベルに制御しＨＤＭＩケーブルの抜去状態を作り出す。さらに、信号処理モジュール１０２は、所定時間経過後に、ＨＰＤ信号をハイレベルに制御しＨＤＭＩケーブルの挿入状態を作り出す。

これに対応して、ソース機器２００は、シンク機器１００の認証を実行する（ＳＴ１０４）。この認証実行の際に、ソース機器２００は、シンク機器１００のＥＤＩＤ−ＲＯＭ１１２のデータを読み取り、シンク機器１００が許容する映像フォーマット等の情報を取得する。これにより、ソース機器２００は、シンク機器１００の最大解像度１０８０ｐを許容していることを検出する。

ソース機器２００が、シンク機器１００に対して映像及び音声を送信する場合に、例えば、オリジナル映像フォーマットを映像フォーマット１０８０ｐへ変換し、ＨＤＭＩコネクター２０１を介して、映像フォーマット１０８０ｐの映像及び所定音声フォーマットの音声を出力し、シンク機器１００は、ＨＤＭＩコネクター１０１を介して、映像フォーマット１０８０ｐの映像及び所定音声フォーマットの音声を入力する。シンク機器１００の信号処理モジュール１０２は、映像フォーマット１０８０ｐの映像を映像処理モジュール１３０へ入力し、所定音声フォーマットの音声を音声処理モジュール１４０へ入力する。

映像処理モジュール１３０は、映像フォーマット１０８０ｐの映像（２Ｄ映像）に対して所定画像処理を適用し、所定画像処理後の映像を出力し、表示部１５０が、所定画像処理後の映像を表示する。また、音声処理モジュール１４０は、所定音声フォーマットの音声に対して所定音声処理を適用し、所定音声処理後の音声を出力し、スピーカ１６０が、所定音声処理後の音声を出力する。

なお、本実施形態では、シンク機器１００が、二種類のＥＤＩＤ−ＲＯＭを選択的に使用し、ソース機器２００に対して、最大解像度１０８０ｉ又は１０８０ｐを提示する手法について説明した。この手法以外にも、例えば、シンク機器１００が、Ｉ２Ｃ−ＳｌａｖｅＩＦを持つコントローラーを備え、任意のＥＤＩＤ（例えば、映像フォーマット１０８０ｐをサポートしていない旨の情報）を送信し、ソース機器２００から、映像フォーマット１０８０ｉの映像を受信するようにしてもよい。

（第２の実施形態）
第２の実施形態では、ＨＤＭＩ規格に規定されるＣＥＣ（Consumer Electronics Control）による能動的制限手法について説明する。図３は、第２の実施形態の入力映像フォーマットの能動的制限手法の一例を示すフローチャートである。

なお、第２の実施形態で説明する能動的制限と、上記第１の実施形態で説明した受動的制限とを併用するようにしてもよい。また、第２の実施形態で説明する能動的制限と、上記第１の実施形態で説明した受動的制限とを併用しない場合、つまり、第２の実施形態で説明する能動的制限を単独で実行する場合は、ＥＤＩＤ−ＲＯＭ１１１は不要となり、ＥＤＩＤ−ＲＯＭ１１１とＥＤＩＤ−ＲＯＭ１１２との切り換え動作も不要となり、ＥＤＩＤ−ＲＯＭ１１２が単独で使用される。

例えば、シンク機器１００の切換制御モジュール１１０は、初期設定時に、ＥＤＩＤ−ＲＯＭ１１２を読み取り可能に設定する。ソース機器２００とシンク機器１００とがＨＤＭＩケーブルを介して接続されると、ソース機器２００は、シンク機器１００を認証し、ソース機器２００は、シンク機器１００のＥＤＩＤ−ＲＯＭ１１２から、シンク機器１００が許容する映像フォーマット等の情報を取得する。これにより、ソース機器２００は、シンク機器１００が最大解像度１０８０ｐを許容していることを検出する。

その後、操作入力モジュール１２０が、２Ｄ／３Ｄ変換の指示を受け付けると（ＳＴ２０１、ＹＥＳ）、操作入力モジュール１２０は、制御モジュール１０３及び映像処理モジュール１３０に２Ｄ／３Ｄ変換の指示を通知する。

制御モジュール１０３は、２Ｄ／３Ｄ変換の指示に対応して、入力映像フォーマット制限情報の送信を制御する（ＳＴ２０２）。例えば、制御モジュール１０３は、２Ｄ／３Ｄ変換の指示に対応して、入力映像フォーマット制限情報を含むＣＥＣの送信を制御し、ＨＤＭＩコネクター１０１を介して、ソース機器２００に対して、入力映像フォーマット制限情報を含むＣＥＣが送信される。

例えば、入力映像フォーマット制限情報は、映像フォーマット無変換のオリジナル映像を要求する情報である。又は、入力映像フォーマット制限情報は、アップコンバートを禁止する情報である。又は、入力映像フォーマット制限情報は、ｉ／ｐ変換を禁止する情報である。

ソース機器１００は、ＨＤＭＩコネクター２０１を介して、入力映像フォーマット制限情報を受信し、シンク機器１００に対して映像及び音声を送信する場合に、ＨＤＭＩコネクター２０１を介して、映像フォーマットの変換処理を適用しないオリジナル映像（例えば映像フォーマット１０８０ｉの映像）、及び所定音声フォーマットの音声を出力する。シンク機器１００は、ＨＤＭＩコネクター１０１を介して、映像フォーマット１０８０ｉの映像及び所定音声フォーマットの音声を入力する。シンク機器１００の信号処理モジュール１０２は、映像フォーマット１０８０ｉの映像を映像処理モジュール１３０へ入力し、所定音声フォーマットの音声を音声処理モジュール１４０へ入力する。

一方、操作入力モジュール１２０が、２Ｄ／３Ｄ変換の指示を受け付けなければ（ＳＴ２０１、ＮＯ）、操作入力モジュール１２０は、切換制御モジュール１１０及び映像処理モジュール１３０に２Ｄ／３Ｄ変換の指示を通知しない。制御モジュール１０３は、２Ｄ／３Ｄ変換の無指示（所定時間以上の無指示）に対応して、入力映像フォーマット制限情報を送信しない。

ソース機器２００が、シンク機器１００に対して映像及び音声を送信する場合、ソース機器１００は、事前に、シンク機器１００のＥＤＩＤ−ＲＯＭ１１２から取得したシンク機器１００が許容する映像フォーマット等の情報に基づき、シンク機器１００に対して所定映像フォーマットの映像を送信する。例えば、ソース機器２００は、オリジナル映像の映像フォーマットを映像フォーマット１０８０ｐへ変換し、ＨＤＭＩコネクター２０１を介して、映像フォーマット１０８０ｐの映像及び所定音声フォーマットの音声を出力する。シンク機器１００は、ＨＤＭＩコネクター１０１を介して、映像フォーマット１０８０ｐの映像及び所定音声フォーマットの音声を入力する。シンク機器１００の信号処理モジュール１０２は、映像フォーマット１０８０ｐの映像を映像処理モジュール１３０へ入力し、所定音声フォーマットの音声を音声処理モジュール１４０へ入力する。

以下、第１の実施形態の入力映像フォーマットの制限処理（受動的制限処理）、及び第２の実施形態の入力映像フォーマットの制限処理（能動的制限処理）についてまとめる。

シンク機器１００は、上記した入力映像フォーマットの制限処理を実行することができる。これにより、シンク機器１００は、ソース機器２００側のｉ／ｐ変換を禁止することができ、ｉ／ｐ変換処理されていない（画素補完されていない）映像を受け取ることができる。つまり、シンク機器１００は、オリジナルの品質の映像を受け取ることができ、オリジナルの品質の映像を２Ｄ／３Ｄ変換することができる。よって、シンク機器１００は、ソース機器２００の画像処理性能に左右されることのない、安定した２Ｄ／３Ｄ変換処理を実行することができる。

なお、シンク機器１００の２Ｄ／３Ｄ変換処理モジュール１３１は、ソース機器２００からの映像フォーマット１０８０ｉの映像をそのまま２Ｄ／３Ｄ変換処理してもよいし、シンク機器１００の映像処理モジュール１３０が、ソース機器２００からの映像フォーマット１０８０ｉの映像を映像フォーマット１０８０ｐの映像へ変換してから、２Ｄ／３Ｄ変換処理モジュール１３１が、映像フォーマット１０８０ｐの映像を２Ｄ／３Ｄ変換処理してもよい。

なお、第１及び第２の実施形態では、シンク機器１００が、２Ｄ／３Ｄ変換処理の実行に対応して、ソース機器２００からの映像フォーマットを制限するケースについて説明したが、例えば、シンク機器１００が、高画質化処理の実行に対応して、ソース機器２００の映像フォーマットを制限するようにしてもよい。ソース機器２００で生成された品質不明な補完情報を含む映像を高画質化処理するよりも、オリジナル画質の映像を高画質化処理したほうが、高い高画質化処理効果を得ることができるためである。

例えば、高画質化処理として、超解像処理が挙げられる。超解像処理は、第１解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号を復元する処理である。ここで、「本来の画素値」とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）のカメラで撮像したときに得られる画像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする画像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い画像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、画像の相関性を利用する。

さらに、詳しく説明すると、まず、オリジナルの入力映像から、アップコンバート処理によって、仮のフルＨＤ高解像度映像を作る。つまり、隣り合う画素の情報をもとに間の画素を補間し、仮のフルＨＤ高解像度映像を作る。

次に、撮像モデル関数に基づき、仮のフルＨＤ高解像度映像から、オリジナル映像と同じ解像度にダウンコンバートした映像を作る。撮像モデル関数とは、一般的なカメラが撮像素子の情報を映像信号に変換するのと同じ処理を計算で再現するものである。

ダウンコンバートした映像はオリジナルの入力映像と同じものになるはずであるが、アップコンバート処理における計算誤差などのため、ダウンコンバートした映像とオリジナルの入力映像との間には相違部分が発生する。この相違部分を検出し、また、周辺の画素の情報などを参考に計算誤差が出ないように補正して、オリジナルの入力映像に近い超解像処理された出力映像が生成される。

つまり、超解像処理とは、ダウンコンバートした映像とオリジナルの入力映像とを比較し、オリジナルの入力映像が本来持っているはずの信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像処理の精度は向上する。従って、比較と復元の処理を１回だけ行う処理も超解像処理であるし、比較と復元の処理を複数回繰り返す処理も超解像処理である。時間に余裕がある場合、例えば録画した映像を後で視聴する場合には、比較と復元の処理を複数回繰り返す超解像処理を利用することができる。

なお、超解像処理は、例えば、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報、及び特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いて実現することも可能である。

なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［１］
２Ｄ映像を３Ｄ映像へ変換するための３Ｄ変換の指示に対応して入力映像フォーマットを制限する制限手段と、
前記制限された入力映像フォーマットに対応した２Ｄ映像を入力する入力手段と、
前記入力された２Ｄ映像を３Ｄ映像へ変換する変換手段と、
を備えた映像処理装置。
［２］
前記制限手段は、前記３Ｄ変換の指示に対応して所定映像フォーマットの入力を制限するための第１の許容映像フォーマットリストを設定する［１］記載の映像処理装置。
［３］
前記制限手段は、初期設定において前記所定映像フォーマットの入力を許容する第２の許容映像フォーマットリストを設定し、前記３Ｄ変換の指示に対応して前記第２の許容映像フォーマットリストに替えて前記第１の許容映像フォーマットリストを設定する［２］記載の映像処理装置。
［４］
前記制限手段は、映像フォーマット１０８０ｐの入力を許容しない前記第１の許容映像フォーマットリスト、又は前記映像フォーマット１０８０ｐの入力を許容する前記第２の許容映像フォーマットリストを設定する［３］の映像処理装置。
［５］
前記制限手段は、映像フォーマット１０８０ｉの入力を許容し映像フォーマット１０８０ｐの入力を許容しない前記第１の許容映像フォーマットリスト、又は前記映像フォーマット１０８０ｉ及び前記映像フォーマット１０８０ｐの入力を許容する前記第２の許容映像フォーマットリストを設定する［３］の映像処理装置。
［６］
前記制限手段は、前記第１又は第２の許容映像フォーマットリストを外部装置により読み取り可能に設定する［３］乃至［５］の何れか１つに記載の映像処理装置。
［７］
前記制限手段は、前記３Ｄ変換の指示に対応して外部装置に対してオリジナル映像を要求する［１］記載の映像処理装置。
［８］
前記制限手段は、前記３Ｄ変換の指示に対応して外部装置に対して映像フォーマット無変換のオリジナル映像を要求する［１］記載の映像処理装置。
［９］
前記変換手段によって変換された３Ｄ映像を表示する表示手段を更に備えた［１］記載の映像処理装置。
［１０］
２Ｄ映像を３Ｄ映像へ変換するための３Ｄ変換を指示に対応して入力映像フォーマットを制限し、
前記制限された入力映像フォーマットに対応した２Ｄ映像を入力し、
前記入力された２Ｄ映像を３Ｄ映像へ変換する映像処理方法。

１００…２Ｄ／３Ｄ変換装置（シンク機器）、１０１…ＨＤＭＩコネクター、１０２…信号処理モジュール（ＨＤＭＩ−ＲＸ）、１０３…制御モジュール、１１０…切換制御モジュール１１０、１１１、１１２…ＥＤＩＤ−ＲＯＭ、１２０…操作入力モジュール、１３０…映像処理モジュール、１３１…２Ｄ／３Ｄ変換処理モジュール、１４０…音声処理モジュール、２００…外部機器（ソース機器）、２０１…ＨＤＭＩコネクター、２０２…信号処理モジュール（ＨＤＭＩ−ＴＸ）、２０３…制御モジュール

Claims

２Ｄ映像を３Ｄ映像へ変換するための３Ｄ変換の指示に対応して外部装置に対してオリジナル映像を要求する制限手段と、
前記要求した前記オリジナル映像に対応した２Ｄ映像を入力する入力手段と、
前記入力された２Ｄ映像を３Ｄ映像へ変換する変換手段と、
を備える映像処理装置。
前記制限手段は、前記３Ｄ変換の指示に対応して外部装置に対して映像フォーマット無変換のオリジナル映像を要求する請求項１記載の映像処理装置。
２Ｄ映像を３Ｄ映像へ変換するための３Ｄ変換の指示に対応して入力映像フォーマットを制限する制限手段と、
前記制限された入力映像フォーマットに対応した２Ｄ映像を入力する入力手段と、
前記入力された２Ｄ映像を３Ｄ映像へ変換する変換手段と、
を備え、
前記制限手段は、初期設定において映像フォーマット１０８０ｐの入力を許容する第１の許容映像フォーマットリストを設定し、前記３Ｄ変換の指示に対応して前記第１の許容映像フォーマットリストに替えて映像フォーマット１０８０ｐの入力を許容しない第２の許容映像フォーマットリストを設定する映像処理装置。
２Ｄ映像を３Ｄ映像へ変換するための３Ｄ変換の指示に対応して入力映像フォーマットを制限する制限手段と、
前記制限された入力映像フォーマットに対応した２Ｄ映像を入力する入力手段と、
前記入力された２Ｄ映像を３Ｄ映像へ変換する変換手段と、
を備え、
前記制限手段は、初期設定において映像フォーマット１０８０ｉ及び映像フォーマット１０８０ｐの入力を許容する第１の許容映像フォーマットリストを設定し、前記３Ｄ変換の指示に対応して前記映像フォーマット１０８０ｉの入力を許容し前記映像フォーマット１０８０ｐの入力を許容しない第２の許容映像フォーマットリストを設定する映像処理装置。
前記制限手段は、前記第１又は第２の許容映像フォーマットリストを外部装置により読み取り可能に設定する請求項３又は４に記載の映像処理装置。
前記変換手段によって変換された３Ｄ映像を表示する表示手段を更に備えた請求項１乃至４の何れか１項に記載の映像処理装置。
２Ｄ映像を３Ｄ映像へ変換するための３Ｄ変換を指示に対応して外部装置に対してオリジナル映像を要求し、
前記要求した前記オリジナル映像に対応した２Ｄ映像を入力し、
前記入力された２Ｄ映像を３Ｄ映像へ変換する映像処理方法。
初期設定において映像フォーマット１０８０ｐの入力を許容する第１の許容映像フォーマットリストを設定して入力映像フォーマットを制限し、２Ｄ映像を３Ｄ映像へ変換するための３Ｄ変換の指示に対応して前記第１の許容映像フォーマットリストに替えて映像フォーマット１０８０ｐの入力を許容しない第２の許容映像フォーマットリストを設定して入力映像フォーマットを制限し、
前記制限された入力映像フォーマットに対応した２Ｄ映像を入力し、
前記入力された２Ｄ映像を３Ｄ映像へ変換する映像処理方法。
初期設定において映像フォーマット１０８０ｉ及び映像フォーマット１０８０ｐの入力を許容する第１の許容映像フォーマットリストを設定して入力映像フォーマットを制限し、２Ｄ映像を３Ｄ映像へ変換するための３Ｄ変換の指示に対応して前記第１の許容映像フォーマットリストに替えて前記映像フォーマット１０８０ｉの入力を許容し前記映像フォーマット１０８０ｐの入力を許容しない第２の許容映像フォーマットリストを設定して入力映像フォーマットを制限し、
前記制限された入力映像フォーマットに対応した２Ｄ映像を入力し、
前記入力された２Ｄ映像を３Ｄ映像へ変換する映像処理方法。