JP5371727B2

JP5371727B2 - 立体映像処理装置及び立体映像処理装置の制御方法

Info

Publication number: JP5371727B2
Application number: JP2009285776A
Authority: JP
Inventors: 伸行花本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-16
Filing date: 2009-12-16
Publication date: 2013-12-18
Anticipated expiration: 2029-12-16
Also published as: JP2011130133A

Description

本発明は、左眼用の映像と右眼用の映像を表示装置に表示することで、映像を立体的に視認させることが可能な立体映像処理装置及び立体映像処理装置の制御方法に関する。

それぞれに視差を与えた左眼用映像と右眼用映像を交互に表示することで、ユーザに映像を立体視させることが可能である。こうした立体視技術においては、左眼用映像と右眼用映像を水平方向に移動させた状態で表示することで、立体映像を全体的に手前に飛び出させたり、奥行き方向に引き込ませたりすることができる。例えば、立体映像を全体的に奥行き方向に引き込ませる場合には、左右の眼用映像の視差量を小さくすればよい。従って、元々の左右の画像（図８（ａ））の視差量を縮小するために、左眼用画像及び右眼用画像全体を各々ずらし、視差量を変化させた左右の眼用画像を生成することになる。しかし、単純に左眼用画像及び右眼用画像を各々ずらした画像を生成すると、元々画像が存在しない領域が生じることになるので、図８（ｂ）のように、左眼用画像及び右眼用画像それぞれの映像が存在しない領域に黒帯画像を挿入することが一般的に行われている。

こうした処理は、映像を表示する装置側で実行されるだけでなく、映像制作の過程において、意図的に行われる場合がある。すなわち、生成された立体映像そのものに黒帯画像が挿入されているものが存在する。

一方、立体映像に対し視差量を持った文字列を挿入する技術として、立体映像内の物体（以後、オブジェクトと表現する）の視差量を検出し、検出した視差量をこのオブジェクトの位置に挿入する文字列の視差量として、左眼用画像及び右眼用画像に視差量を持った文字列を挿入する技術が提案されている。（例えば、特許文献１参照）

特開２００６−３２５１６５号公報

上述したように、立体映像は、左眼用画像と右目用画像の組が複数設けられることで成立している。そして、映像全体の視差を一律に変化させるような映像、つまり、黒帯画像の領域が徐々に変化するような映像の場合には、その変化期間にあたる左眼用画像と右目用画像には黒帯画像が視差の変化に伴って挿入されることになる。つまり、挿入される黒帯画像の面積が変化する。

ここで、上述した黒帯画像が予め挿入された立体映像に対して、字幕やＵＩなどのグラフィック画像を重畳させて合成する場合を考える。映像全体が手前側（視聴者側）または奥側に全体的に移動するように見せかけるために映像全体の視差を一律に変化させるような映像に、字幕などのグラフィック画像を重畳させるにあたり、重畳させた画像の視差量が固定だとする。立体映像は全体的に手前や奥側に移動するように表示されているが、グラフィック画像自体は一定の奥行き位置に表示されるため、立体映像とグラフィック画像の奥行き方向の相対的な位置関係が変化するようにユーザには視認される。例えば、立体映像が全体的に奥に引き込まれるような映像の場合、グラフィック画像が一定の位置に表示されていると、ユーザはグラフィック画像が手前に飛び出してくる（ユーザに近づいてくる）ように視認してしまう。これでは、映像制作時に意図した効果が得られない。

特許文献１に記載の技術は、映像内のオブジェクト（例えば、ボール）の近傍に、そのオブジェクトの視差量と合致した視差量の文字列を表示するものであるので、オブジェクトの視差量が変化することで、文字列の視差量も変化することが予想される。

しかし、字幕やメニュー画面などのグラフィック画像は、特定のオブジェクトに関係するものではないので、オブジェクトに依存した処理を行う特許文献１の技術は適用できない。また、オブジェクト自体が認識できないような映像の場合には視差量を検出することもできない。

そこで、本発明は、帯画像が予め挿入された立体映像に対して、字幕やＵＩなどのグラフィック画像を重畳させる場合に、立体映像の映像全体の視差の変化に追従させた、立体視可能なグラフィック画像を合成することを可能とする立体映像処理装置及び立体映像処理装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明の立体映像処理装置は、視差を有する左眼用フレーム画像と右眼用フレーム画像とを時分割で表示することで映像を立体的に表示することが可能な立体映像処理装置であって、立体映像を構成する左眼用フレーム画像及び右眼用フレーム画像にそれぞれ合成するための左眼用グラフィック画像及び右眼用グラフィック画像を生成する生成手段と、左眼用フレーム画像及び右眼用フレーム画像の有効画像領域内の水平方向の端部に設けられた帯画像の水平方向の画素数を検出する解析手段と、前記解析手段で解析した帯画像の画素数を用いて、当該帯画像を有する左眼用フレーム画像及び右眼用フレーム画像にそれぞれ合成する左眼用グラフィック画像及び右眼用グラフィック画像の視差量が前記左眼用フレーム画像及び前記右眼用フレーム画像の視差量の変化に追従するように、前記左眼用グラフィック画像及び前記右眼用グラフィック画像の視差量を調整するための変更値を生成する調整手段と、前記調整手段で生成された変更値を用いて前記左眼用グラフィック画像及び前記右眼用グラフィック画像を水平方向に移動させ、前記左眼用フレーム画像及び前記右眼用フレーム画像のそれぞれに合成する合成手段と、を有する。

以上説明したように、本発明によれば、黒帯画像が予め挿入された立体映像に対して、字幕やＵＩなどのグラフィック画像を重畳させる場合に、立体映像の映像全体の視差の変化に追従させた、立体視可能なグラフィック画像を合成することを可能とする立体映像処理装置及び立体映像処理装置の制御方法を提供することができる。

立体映像処理装置のブロック図である。１９２０×１０８０画素のフルハイビジョン立体映像を例にした映像信号の構成を示すイメージ図である。映像解析部１０５及びグラフィック挿入部１０６の詳細図である。水平黒帯検出処理のフローチャートである。視差量調整部処理のフローチャートである。黒帯画像と字幕画像との関係を示すイメージ図である。字幕画像合成後の映像の遷移状態を示すイメージ図である。背景技術を説明するためのイメージ図である。

以下、本発明を実施するための形態について詳細に説明する。本発明の各実施例においては、立体映像処理装置として映像表示部１０８を備えたテレビを想定することとするが、本発明の立体映像処理装置は、放送波を受信可能な装置や、映像表示部１０８を備えた装置に限ったものではない。

なお、本発明の前提として、立体映像処理装置に入力される立体映像データは、予め左眼用映像と右眼用映像とが用意されているものとなる。左眼用映像を構成する複数の左眼用画像データと右目用映像を構成する複数の右目用画像データによって、立体映像データが構成されている。従って、上述した黒帯画像も立体映像の制作者によって予め左眼用画像データ及び右目用画像データに挿入された状態で構成されている。

そして、立体映像処理装置では、立体映像を処理して忠実に再生することになるが、ユーザの指示などに従い、字幕やＯＳＤ（オンスクリーンディスプレイ）などのグラフィック画像を立体的に（立体視可能なように）立体映像に合成して表示する。例えば、ブルーレイディスクなどに記録された映画やデジタル放送番組などでは、ユーザの好みにあわせて、字幕表示のＯＮ／ＯＦＦなどが可能である。つまり、字幕画像は予め映像に焼き込まれているのではなく、字幕表示用の字幕データが映像データとは別に用意されている。そして、記録映像の再生装置やテレビなどの制御により、字幕表示用の字幕データから字幕画像を生成して、映像に合成している。本発明の立体映像処理装置では、立体映像とは別に用意された字幕データや、装置に備えられたグラフィックデータから生成した画像を立体映像に合成して表示するにあたり、これらの画像も映像と同様、立体視可能なように表示する処理を実行する。

後述する各実施例では、字幕の表示を例として説明を行う。立体映像に対応付けられた字幕データは、社団法人電波産業会（ＡＲＩＢ）が定めたデジタル字幕データ形式に準ずる（ＳＴＤ−Ｂ２４）。字幕データには、字幕本文のテキストデータの他、字幕を表示するタイミングや位置などを規定した字幕管理データが含まれており、立体映像処理装置は字幕データを解析して、映像に合成する字幕画像を生成する。

なお、本発明では、この字幕管理データに字幕画像の視差量を示す字幕視差量データが含まれているものとする。字幕画像の視差量とは、あるシーンに対応して表示することが定められた字幕画像（字幕文）を立体視可能に表示する場合に、左眼用画像と右眼用画像のそれぞれに合成する字幕画像のずれ量を示すものである。本実施例では、字幕視差量データＭは字幕文それぞれに対応して定められている。字幕視差量データＭがゼロの場合は、表示画面上に字幕が表示されているように視認される。即ち、視差をつけないで字幕画像を合成する場合である。字幕視差量データが＋Ｍの場合には、左眼用画像には視差量データがゼロの場合に字幕文が表示される位置から、左方向に＋Ｍ移動した位置に字幕画像を合成する。また、右目用画像には右方向に＋Ｍ移動した位置に字幕画像を合成する。これにより、左右の画像間では、字幕画像に２Ｍの視差量が付与される。これにより、字幕画像は表示画面よりも奥側に表示されているように視認できる。反対に、字幕視差量データが−Ｍの場合には、左眼用画像には右方向に＋Ｍ移動した位置に字幕画像を合成し、右目用画像には左方向に＋Ｍ移動した位置に字幕画像を合成する。これにより、字幕画像は表示画面よりも手前側に表示されているように視認できる。

このように、映像に合成して表示される字幕文（字幕画像）には視差量データが付与されているものとする。そして、この字幕文が表示されている期間は、基本的には付与された視差量データに従って視差がつけられた左眼用の字幕画像と右眼用の字幕画像とがそれぞれ左眼用画像と右眼用画像に合成されて表示される。

以下、本発明の第１の実施例について説明する。第１の実施例として、シャッター式メガネを用いた時分割方式の立体映像処理装置において、デジタル放送波を受信、デコードし、字幕を多重して映像出力する場合について説明する。

最初に、図１のブロック図を用いて立体映像表示部１００について説明する。チューナ部１０２は、アンテナ部１０１にて受信したデジタル放送波を、所望のチャンネルについて映像・音声情報を含む時分割多重化されたスクランブルＴＳデータに復調し、デスクランブラ部１０３に出力する。

デスクランブラ部１０３は、復調されたスクランブルＴＳデータを復号し、復号したデスクランブルＴＳデータをデコーダ部１０４に出力する。デコーダ部１０４は、デスクランブラ部１０３より入力されたデスクランブルＴＳデータを、映像データと音声データとに分離する。そして、各々のデータを後段の映像解析部１０５、グラフィック挿入部１０６、グラフィック生成部１１４、音声出力制御部１０９へ伝送する信号にデコード処理する。デコーダ部１０４は、デコード処理した映像をＹＵＶフォーマットのベース映像信号として、映像解析部１０５及びグラフィック挿入部１０６に出力する。さらに、デコーダ部１０４ではベース映像信号と共に、左眼用映像及び右眼用映像を識別するための信号として、映像識別信号を生成し、映像解析部１０５、グラフィック挿入部１０６、グラフィック生成部１１４に出力する。この映像識別信号は左眼映像伝送期間が０、右眼映像伝送期間が１を示す。また、デコーダ部１０４はデコードした音声信号を音声出力制御部１０９に出力する。

また、デコーダ部１０４は、装置の字幕の表示設定が有効になっている場合、デスクランブルＴＳデータに多重されている字幕データをデコードする。デコードされた字幕データは字幕情報としてグラフィック生成部１１４に送信される。グラフィック生成部１１４では、字幕情報から字幕画像を生成し、透過度情報α値を含むαＹＵＶフォーマットのグラフィック信号として、グラフィック挿入部１０６に出力する。この処理は、一般的な二次元映像の字幕画像の生成処理と同じである。ただし、立体映像に対して、立体視可能な字幕画像を生成するにあたっては、グラフィック生成部１１４は、字幕視差量データＭの値から左眼用画像に合成する左眼用字幕画像と右眼用画像に合成する右眼用字幕画像をそれぞれ視差を設けた状態で生成する。なお、字幕表示を無効にしている場合は、デコーダ部１０４は字幕データをデコードしない。

字幕表示の有効／無効の設定は、リモコン部１２１の操作ボタンに字幕表示の切り替えキーを設け、ユーザ操作によって設定することができる。

図２は１９２０×１０８０のフルハイビジョン立体映像を例にした映像信号の構成を示すイメージ図である。デコーダ部１０４と映像解析部１０５及びグラフィック挿入部１０６間の映像伝送仕様に関しては、図２で示すように水平フロントポーチ幅及び水平バックポーチ幅、垂直フロントポーチ幅及び垂直バックポーチ幅が予め規定されている。そして黒帯画像領域を含めた有効画像領域内のアドレスを規定する。

映像解析部１０５では、デコーダ部１０４からのベース映像信号中の輝度信号（Ｙ）をもとに、ベース映像における有効画像領域内の水平方向の端部に設けられた黒帯画像の水平方向の幅の値（画素数）を検出する。そして、映像解析部１０５は、検出した黒帯画像の幅の値に基づいて、検出したベース映像信号（フレーム画像）と同期して表示される字幕文に対応付けられた字幕視差量データを変更するための変更値Ｍｃを生成し、グラフィック挿入部１０６に出力する。

グラフィック挿入部１０６では、デコーダ部１０４からのベース映像信号に対し、グラフィック生成部１１４から送信された字幕画像を合成する処理を実行する。この処理にあたり、字幕画像の合成位置、即ち、字幕画像の視差量は、映像解析部１０５が決定した変更値Ｍｃを用いて、最終的に決定される。つまり、グラフィック生成部１１４で、字幕視差量データＭに基づいて生成された左眼用字幕画像と右眼用字幕画像は、最終的には変更値Ｍｃにより視差量が調整されることになる。字幕画像を挿入した立体映像信号は、映像出力制御部１０７に出力される。

なお、映像解析部１０５およびグラフィック挿入部１０６の内部動作については、後でより詳しく説明する。

映像出力制御部１０７では、グラフィック挿入部１０６より入力される立体映像信号を映像表示部１０８に適した駆動信号に変換し、映像表示部１０８を制御する。これにより、映像表示部１０８に時分割で左眼用映像と右眼用映像が交互に表示されることで、ユーザには立体映像が視認可能となる。

音声出力制御部１０９は、デコーダ部１０４から入力される音声信号を、スピーカ部１１０に適した駆動信号に変換し、スピーカ部１１０から音声を出力する。

リモコン部１２１は、ユーザによるリモコン部１２１を用いたキー操作の情報を赤外線信号に変換し、出力する。リモコン受信部１１３は、その赤外線信号を受信し、リモコンキー操作の情報を制御部Ａ１１１に伝える。

制御部Ａ１１１は、立体映像表示部１００のシステム制御を行い、リモコン受信部１１３を介して伝えられるユーザ要求に合わせ、所望の機能制御を行う。また、映像表示部１０８で出画される時分割立体映像とシャッター部１５２のシャッター開閉動作の同期を取るため、シャッター方式メガネ部１５０に対するシャッター制御信号を生成する。制御信号送信部１１２は、制御部Ａ１１１で生成されたシャッター制御信号を赤外線信号に変調し出力する。

続いて、シャッター方式メガネ部１５０について説明する。制御信号受信部１５３は、制御信号送信部１１２からの赤外線信号を受信し、電気信号に復調したシャッター制御信号を制御部Ｂ１５１に伝送する。制御部Ｂ１５１は、制御信号受信部１５３より得られるシャッター制御信号を元に、シャッター部１５２のシャッター開閉制御を行う。シャッター部１５２は、制御部Ｂ１５１からのシャッター開閉制御を受けて、左眼及び右眼のシャッター開閉動作を行う。

次に、図３のブロック図を用いて、映像解析部１０５及びグラフィック挿入部１０６の内部処理について詳しく説明する。

映像解析部１０５内部は水平黒帯検出部３０１と視差量調整部３０２によって構成される。水平黒帯検出部３０１では、デコーダ部１０４からのベース映像の輝度信号（Ｙ）をもとに、有効映像領域の左端及び右端に黒帯があるか識別し、黒帯が有る場合はその黒帯幅の画素数をカウントすることで検出する。検出結果は黒帯幅情報として、視差量調整部３０２に出力される。

水平黒帯検出部３０１における、水平黒帯検出処理の詳細動作について、図４のフローチャートを用いて説明する。以下のステップは、水平黒帯検出部３０１が実行するものである。

ステップＳ４０１では、黒帯検出を行う有効映像領域内水平ラインの１つのＹ（ｖ）を選択し、ステップＳ４０２に進む。なお、ｖは有効映像領域内の選択ライン番号を指す。ステップＳ４０２では、左端黒帯画素数：Ｘｆ及び右端黒帯画素数：Ｘｅの初期値として各々０を設定し、ステップＳ４０３に進む。ステップＳ４０３では、ステップＳ４０４での処理対象画素として、有効映像領域内の左端画素にあたるＸ軸アドレス：Ｘ（０）を選択し、ステップＳ４０４に進む。

ステップＳ４０４では、処理対象画素の輝度値が予め定めるしきい値Ｈ未満の場合はステップＳ４０５に進み、しきい値Ｈ未満ではない場合はステップＳ４０８に進む。例えば、処理対象画素の階調数が８ビット（２５６階調）であり、しきい値Ｈを８とした場合、対象画素の輝度値が７以下の時はしきい値未満であり、８以上の時はしきい値以上であると判断することになる。

ステップＳ４０５では、ステップＳ４０４での処理の結果、処理対象画素が黒帯に相当する画素であると判断したので、Ｘｆの値を＋１とカウントし、ステップＳ４０６に進む。

ステップＳ４０６では、ステップＳ４０４でしきい値Ｈと比較した画素が、水平ラインＹ（ｖ）有効映像領域の右端の画素か識別する。図２でいえば、Ｘ軸アドレス：Ｘ（１９１９）であるか識別することになる。右端の画素でない場合はステップＳ４０７に進み、右端の画素の場合はステップＳ４２３に進む。ステップＳ４０７では、次にステップＳ４０４の処理を行う対象画素として１つ右隣の画素を選択、つまりはＸ軸アドレスを＋１し、ステップＳ４０４に戻る。

ステップＳ４０８では、ステップＳ４０６と同様に、水平ラインＹ（ｖ）の有効映像領域の右端の画素か識別する。右端の画素でない場合はステップＳ４０９に進み、右端の画素の場合はステップＳ４２３に進む。ステップＳ４０９では、次のステップ４１０で処理を行う対象画素として１つ右隣の画素を選択、つまりはＸ軸アドレスを＋１し、ステップＳ４１０に進む。

ステップＳ４１０では、対象画素の輝度値が予め定めるしきい値Ｈ以上の場合はステップＳ４１１に進み、しきい値以上ではない場合はステップＳ４１３に進む。ステップＳ４１１では、ステップＳ４１０でしきい値Ｈと比較した画素が、水平ラインＹ（ｖ）有効映像領域の右端の画素か識別する。右端の画素でない場合はステップＳ４１２に進み、右端の画素の場合はステップＳ４２３に進む。ステップＳ４１２では、次に処理を行う対象画素として１つ右隣の画素を選択、つまりはＸ軸アドレスを＋１し、ステップＳ４１０に戻る。

ステップＳ４１３では、対象画素が黒帯に相当する画素であると判断したので、Ｘｅの値を＋１とカウントし、ステップＳ４１４に進む。ステップＳ４１４では、ステップＳ４１１と同様に、ステップＳ４１０でしきい値Ｈと比較した画素が、水平ラインＹ（ｖ）有効映像領域の右端の画素か識別する。右端の画素でない場合はステップＳ４１５に進み、右端の画素の場合はステップＳ４２３に進む。ステップＳ４１５では、次に処理を行う画素として１つ右隣の画素を選択、つまりはＸ軸アドレスを＋１し、ステップＳ４１６に進む。

ステップＳ４１６では、選択した画素の輝度値が予め定めるしきい値Ｈ未満の場合はステップＳ４２０に進み、しきい値未満ではない場合はステップＳ４１７に進む。ステップＳ４１７では、黒帯ではない画素と判断したため、Ｘｅの値を０に値をリセットし、ステップＳ４１８に進む。Ｓ４１８では、ステップＳ４１６で閾値Ｈと比較した画素が、水平ラインＹ（ｖ）有効映像領域の右端の画素か識別する。右端の画素でない場合はステップＳ４１９に進み、右端の画素の場合はステップＳ４２３に進む。ステップＳ４１９では、次に処理を行う画素として１つ右隣の画素を選択、つまりはＸ軸アドレスを＋１し、ステップＳ４１６に戻る。

ステップＳ４２０では、対象画素が黒帯に相当する画素であると判断したので、Ｘｅの値を＋１とカウントし、ステップＳ４２１に進む。ステップＳ４２１では、ステップＳ４１８と同様に、ステップＳ４１６でしきい値Ｈと比較した画素が、水平ラインＹ（ｖ）有効映像領域の右端の画素か識別する。右端の画素でない場合はステップＳ４２２に進み、右端の画素の場合はステップＳ４２３に進む。ステップＳ４２２では、次に処理を行う画素として１つ右隣の画素を選択、つまりはＸ軸アドレスを＋１し、ステップＳ４１６に戻る。

ステップＳ４２３では、有効映像領域内の水平ラインＹ（ｖ）全画素に対し、しきい値Ｈとの比較処理を修了したことから、水平ラインＹ（ｖ）におけるＸｆ値及びＸｅ値を確定し、水平ラインＹ（ｖ）に対する黒帯検出処理を修了する。Ｘｆ値もしくはＸｅ値が０でない場合、黒帯検出対象となった立体映像には黒帯が存在することを示し、Ｘｆ値が映像左端の黒帯画素数を示し、Ｘｅ値が映像右端の黒帯画素数を示すことになる。

なお、黒帯検出精度を高めるため、複数の水平ラインに対し上記黒帯検出処理を行い、各々の検出結果を比較し、Ｘｆ値の最小値Ｘｆ（ｍｉｎ）及びＸｅ値の最小値Ｘｅ（ｍｉｎ）を、最終的な黒帯検出結果とする。これを黒帯幅情報として視差量調整部３０２に出力する。

水平黒帯検出部３０１での黒帯検出処理については、上記の検出方法に限定されるものではなく、所望の黒帯幅情報が得られる上記以外の検出方法を用いても構わない。

続いて、図５を用いて、視差量調整部３０２が実施する視差量調整処理について説明を行う。

まず、ステップＳ５０１では、視差量調整部３０２は、水平黒帯検出部３０１からの黒帯幅情報をもとに、字幕視差量データを調整する値である変更値ＭｃをＭｃ＝〔Ｘｆ（ｍｉｎ）−Ｘｅ（ｍｉｎ）〕／２の式に当てはめて算出する。算出した変更値Ｍｃはグラフィック挿入部１０６に出力される。

続いて、ステップＳ５０２では、グラフィック挿入部１０６では、グラフィック生成部１１４が生成した字幕画像と、視差量調整部３０２からの変更値Ｍｃをもとに、ベース映像に対し字幕画像を合成する。グラフィック挿入部１０６には左眼用画像と右眼用画像とを識別するための識別信号が入力されている。グラフィック挿入部１０６では、グラフィック生成部１１４が生成した左眼用字幕画像と右眼用字幕画像を左眼用画像と右眼用画像にそれぞれ合成する際には変更値Ｍｃを用いて合成画像を変更する。合成画像の変更とは、左右の字幕画像の合成位置を水平方向に移動させる処理である。

なお、グラフィック挿入部１０６内には、映像解析部１０５及びグラフィック挿入部１０６での処理遅延に対応するための、ベース映像信号及び字幕画像のラインバッファないしフレームバッファを有し、ベース映像信号に同期したグラフィック挿入処理を実現する。

この処理により、図６で示す例のように、左眼映像の左端にｎの幅の黒帯がある場合、このｎの幅の黒帯を検出し、上記の計算式により、変更値Ｍｃは（ｎ−０）／２＝ｎ／２として求められる。左眼用画像への字幕画像の合成位置はもとの合成位置（字幕視差量データで指定された位置）に対してｎ／２の幅で水平方向に移動することになる。当該処理は、立体映像を構成している左眼用画像及び右眼用画像の全てに対して行うので、字幕画像の合成位置の移動処理も全ての画像毎に行うことになる。もちろん、黒帯画像が検出されない場合には、字幕画像の合成位置の移動処理は不要である。

図７は、本実施例の処理によって生成された合成後の映像の遷移を示すものである。この例では、ある字幕文を表示している最中に、その字幕文の字幕画像を合成している立体映像において黒帯画像の領域が変化する様子を示している。図７では、字幕文のイメージとして「ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲ」との字幕画像が、左眼用画像及び右眼用画像にそれぞれ合成されている状態である。時間変化に伴い、左眼用画像及び右眼用画像は左右端部に黒帯画像が挿入されている画像に変化している。画像の変化に伴い、左右の字幕画像は、黒帯画像の幅ｎから求めた変更値Ｍｃ＝ｎ／２を用いて、字幕データに含まれていた字幕視差量データＭによって定められた合成位置からｎ／２ずらして立体映像を構成する左右の画像に合成している。

これにより、黒帯画像が予め挿入された立体映像に対して、字幕やＵＩなどのグラフィック画像を重畳させる場合に、立体映像の映像全体の視差の変化（立体感の変化）に追従させた、立体視可能なグラフィック画像を合成することが可能となる。なお、この合成処理は左眼用フレーム画像１枚と右眼用フレーム画像１枚からなる１組単位で行われる。

ステップＳ５０３では、視差量調整部３０２は、当該１組のフレーム画像の視差量の変更値ＭｃをＭｃ’として視差量調整部３０２内のメモリ（不図示）に保持する。Ｍｃ’を第１の変更値とする。

続いて、ステップＳ５０４では、視差量調整部３０２は、ステップＳ５０２までの処理で合成の対象とした１組のフレーム画像の次の１組のフレーム画像の変更値Ｍｃを新たに算出する。この算出処理は、図４のフローチャートを用いて説明した黒帯画像の検出処理とステップＳ５０１で実施した処理と同様であるので説明を省略する。Ｍｃを第２の変更値とする。

ステップＳ５０５では、視差量調整部３０２は、メモリに保持した第１の変更値Ｍｃ’とステップＳ５０４で算出した第２の変更値Ｍｃとの差の絶対値を求め、所定の閾値Ｚと比較する。この閾値Ｚは、処理対象の左右のフレーム画像の組と一つ前の左右フレーム画像の組との間の黒帯画像の急激な変化を判断するために設けられたものであり、正の値を有する。即ち、Ｍｃ’とＭｃとの差の絶対値が閾値Ｚを超える場合には、処理対象の左右のフレーム画像の組と一つ前の左右フレーム画像の組との間で字幕画像の急激な変化が生じる可能性があると判断することができる。

もし、Ｍｃ’とＭｃとの差の絶対値が閾値Ｚ以下であれば、左右のフレーム画像の組が次の組に変化しても、黒帯画像の変化は大きくないと判断できる。そこで、ステップＳ５０６へ処理を移行し、視差量調整部３０２はステップＳ５０４で算出した変更値Ｍｃをグラフィック挿入部１０６に出力する。グラフィック挿入部１０６は変更値Ｍｃを用いて当該組のフレーム画像に対応する字幕視差量データＭを調整し、字幕画像の合成処理を実行する。

一方、ステップＳ５０５にて、Ｍｃ’からＭｃとの差の絶対値が閾値Ｚより大きいと判断された場合には、ステップＳ５０７へ処理を移行する。

ステップＳ５０７では、視差量調整部３０２は、ＭｃからＭｃ’を減じた値が正の値をとなるか否かを判定する。ＭｃからＭｃ’を減じた値が正の値となる場合には、ステップＳ５０８へ処理を移行し、ＭｃからＭｃ’を減じた値が負の値となる場合には、ステップＳ５０９へ処理を移行する。この処理は、左右のフレーム画像の組が次の左右のフレーム画像の組に変わったことで、黒帯画像の幅の値が増加したのか減少したのかを判定する目的で行われる。黒帯画像の幅の値がフレームの組が変わったことで増加したのであれば、映像全体の立体感は視聴者側に飛び出す方向に変化したものと考えることができる。反対に、黒帯画像の幅の値が減少したのであれば、映像全体の立体感は視聴者から遠ざかる方向に変化したものと考えることができる。

従って、映像全体が視聴者側に急激に飛び出したり、遠ざかる方向に移動したりするように視認され、それに伴って求めた変更値Ｍｃで字幕の視差量を調整すると、字幕画像の立体感も急激に変化するため、字幕画像の視認性を低下させる可能性がある。そこで、ステップＳ５０８やステップＳ５０９では、映像全体の立体感の急激な変化に追従して、視差量調整後の字幕画像の変化が大きくなりすぎることが無いように、字幕画像の合成位置の移動を調整するための処理を行う。

ステップＳ５０８は、前の左右フレーム画像の組と次の左右フレーム画像の組との間での黒帯画像の幅の変化が映像が視聴者側に飛び出す方向に大きい場合の処理となる。視差量調整部３０２は、黒帯画像の幅から求めた変更値Ｍｃではなく、一つ前の左右のフレーム画像の組の変更値Ｍｃ’に閾値Ｚを加えた値を変更値Ｍｃとする。そして、この値をグラフィック挿入部１０６に出力し、字幕画像の合成を行う。

同様に、ステップＳ５０８は、前の左右フレーム画像の組と次の左右フレーム画像の組との間での黒帯画像の幅の変化が映像が視聴者から遠ざかる方向に大きい場合の処理となる。つまり、Ｍｃ’からＭｃを減じた値はマイナスの値となる。視差量調整部３０２は、黒帯画像の幅から求めた変更値Ｍｃではなく、一つ前の左右のフレーム画像の組の変更値Ｍｃ’に閾値Ｚを減じた値を変更値Ｍｃとする。そして、この値をグラフィック挿入部１０６に出力し、字幕画像の合成を行う。

以上、ステップＳ５０６、ステップＳ５０８、ステップＳ５０９の処理が終了すると、ステップＳ５０３に処理を戻し、当該左右のフレーム画像の組に適用した変更値Ｍｃでメモリに記憶された１つ前の組の変更値Ｍｃを更新する。

上述した特許文献１のように、左眼用映像と右眼用映像に含まれるオブジェクトを検出して視差量を求めるなどの複雑な構成を用いることなく、かつ、制作者の意図を尊重した字幕の合成を行うことができる。

なお、上述した実施例では、立体映像を構成する画像に対して合成するグラフィック画像は、制作者が作成する字幕データを元にした字幕画像とした。しかし、立体映像処理装置が独自にＯＳＤ用のグラフィック画像を生成して立体映像に合成することも可能である。例えば、画像の一部にメニュー画面などを合成するような場合である。この場合、制御部Ａ１１１がグラフィック生成部１１４に対して、メニュー画面などの立体映像処理装置独自のグラフィック画像の合成指示を行う。グラフィック生成部１１４では、予め定められて保持していたグラフィック画像の視差量データを用いて、立体映像に合成するメニュー画面画像を生成する。つまり、左眼用グラフィック画像と右眼用グラフィック画像を生成する。なお、この視差量データは、任意の視差量で良いが、必ずしも立体視可能な視差量（つまり、ゼロ以外の値）でなくてもよい。視差量がゼロの場合は立体映像に合成するメニュー画面は表示部の表示面上に表示されることになる。そして、映像解析部１０５によって算出された変更値Ｍｃを用いて、グラフィック挿入部１０６がメニュー画面画像の合成位置を移動させて表示することになる。このように構成することで、立体映像処理装置独自のグラフィック画像であっても、黒帯画像の挿入に伴う映像全体の視差の変化に追従させた合成が可能となる。

また、上述した実施例では、有効画像領域内の水平方向の端部に設けられた帯画像を黒帯画像として説明したが、必ずしもこの帯画像は黒色である必要は無い。映像への注目度を増すために、単色の黒を用いて帯画像を付加するのが一般的ではあるが、濃いグレーなどの画像など、どのような画像であっても構わない。

Claims

視差を有する左眼用フレーム画像と右眼用フレーム画像とを時分割で表示することで映像を立体的に表示することが可能な立体映像処理装置であって、
立体映像を構成する左眼用フレーム画像及び右眼用フレーム画像にそれぞれ合成するための左眼用グラフィック画像及び右眼用グラフィック画像を生成する生成手段と、
左眼用フレーム画像及び右眼用フレーム画像の有効画像領域内の水平方向の端部に設けられた帯画像の水平方向の画素数を検出する解析手段と、
前記解析手段で解析した帯画像の画素数を用いて、当該帯画像を有する左眼用フレーム画像及び右眼用フレーム画像にそれぞれ合成する左眼用グラフィック画像及び右眼用グラフィック画像の視差量が前記左眼用フレーム画像及び前記右眼用フレーム画像の視差量の変化に追従するように、前記左眼用グラフィック画像及び前記右眼用グラフィック画像の視差量を調整するための変更値を生成する調整手段と、
前記調整手段で生成された変更値を用いて前記左眼用グラフィック画像及び前記右眼用グラフィック画像を水平方向に移動させ、前記左眼用フレーム画像及び前記右眼用フレーム画像のそれぞれに合成する合成手段と、
を有することを特徴とする立体映像処理装置。
前記調整手段は、前記左眼用フレーム画像及び前記右眼用フレーム画像の一つの組に合成する前記左眼用グラフィック画像及び前記右眼用グラフィック画像の視差量の第１の変更値と、前記一つの組の次の組に合成する左眼用グラフィック画像及び前記右眼用グラフィック画像の視差量の第２の変更値との差の絶対値が所定の閾値よりも大きい場合には、前記第２の変更値に替えて前記第１の変更値と前記閾値とを用いた変更値を生成することを特徴とする請求項１に記載の立体映像処理装置。
視差を有する左眼用フレーム画像と右眼用フレーム画像とを時分割で表示することで映像を立体的に表示することが可能な立体映像処理装置の制御方法であって、
立体映像を構成する左眼用フレーム画像及び右眼用フレーム画像にそれぞれ合成するための左眼用グラフィック画像及び右眼用グラフィック画像を生成する生成工程と、
左眼用フレーム画像及び右眼用フレーム画像の有効画像領域内の水平方向の端部に設けられた帯画像の水平方向の画素数を検出する解析工程と、
前記解析工程で解析した帯画像の画素数を用いて、当該帯画像を有する左眼用フレーム画像及び右眼用フレーム画像にそれぞれ合成する左眼用グラフィック画像及び右眼用グラフィック画像の視差量が前記左眼用フレーム画像及び前記右眼用フレーム画像の視差量の変化に追従するように、前記左眼用グラフィック画像及び前記右眼用グラフィック画像の視差量を調整するための変更値を生成する調整工程と、
前記調整工程で生成された変更値を用いて前記左眼用グラフィック画像及び前記右眼用グラフィック画像を水平方向に移動させ、前記左眼用フレーム画像及び前記右眼用フレーム画像のそれぞれに合成する合成工程と、
を有することを特徴とする立体映像処理装置の制御方法。
前記調整工程では、前記左眼用フレーム画像及び前記右眼用フレーム画像の一つの組に合成する前記左眼用グラフィック画像及び前記右眼用グラフィック画像の視差量の第１の変更値と、前記一つの組の次の組に合成する左眼用グラフィック画像及び前記右眼用グラフィック画像の視差量の第２の変更値との差の絶対値が所定の閾値よりも大きい場合には、前記第２の変更値に替えて前記第１の変更値と前記閾値とを用いた変更値を生成することを特徴とする請求項３に記載の立体映像処理装置の制御方法。