JP5911325B2 - 立体画像処理装置及び立体画像表示装置 - Google Patents

Description

本発明は、立体画像を構成する一対の画像データを入力とし、該画像データで表される画像の視差を調整した画像を生成する立体画像処理装置に関する。本発明はまた、立体画像処理装置を備えた立体画像表示装置に関する。

近年、ユーザーが擬似的に立体感を得るための画像表示技術として、両眼視差を利用した立体画像表示技術が多く提案されている。これは、３次元空間を左眼で見た画像と右眼で見たのと同様の画像をそれぞれユーザーの左右眼に見せることによって、映像を立体と感じさせる技術である。

また、ユーザーの左右眼に異なる画像を見せるための技術として、左眼用画像と右眼用画像を時間的に交互に切り換えてディスプレイに表示すると同時に、画像が切り換わるタイミングに同期して左右それぞれの視界を閉じる眼鏡を用いて左右の視界を時間的に分離する方式や、ディスプレイの前面にディスプレイに表示された画像の表示角を制限するバリアやレンズを用いることで左右眼それぞれに分離して左眼用画像と右眼用画像を見せる方式など、様々な方式が提案されている。

このような立体画像表示装置において視差が大きいと、飛び出し量或いは引き込み量が大きくなり、ユーザーに驚きを与えることができる。しかし視差がある程度以上に大きくなって融合限界を超えると、右眼と左眼の画像が融合せず、２重像が見えてしまい立体視が得られなくなる。このことから、ユーザーの眼に負担を与えるという問題がある。

これらの問題に対して、特許文献１に示されるディジタル放送受信機においては、外部から入力した、視差量を調整するための指示信号に基づいて、映像の表示位置を画面上で左右に移動させ、視差量を調整することとしている。

また、特許文献２に記載された立体映像表示装置においては、チャンネル等の切り換えで２Ｄ映像から３Ｄ映像に切り換わったときや、切り換え前後で３Ｄ映像の視差量の差があるとき、一旦２Ｄ表示にして一定時間後に３Ｄ映像になるように制御し、これにより自然な切り換えを得ようとしている。

また、特許文献３に記載された立体映像生成装置においては、最大視差量の時間変化幅が大きいとき、視差量調整を行い、ユーザーの視覚疲労を軽減させることとしている。

特開２０００−７８６１５号公報（第３−４頁、第３図） 特開平１１−１６４３２８号公報（第３−４頁、第２図） 特開２０１１−１２４９４１号公報（第１１頁、第５図）

特許文献１に開示された方法では、外部から入力された指示信号に基づいて、視差量を任意に調整できるが、入力された一対の立体画像の視差に応じて自動的に調整を行うものではなく、視差量の調整にはユーザーがその都度リモコンで指示を与えるなどの操作を行う必要があり、不便であった。

特許文献２では、チャンネル等の切り換わったときに、一旦２Ｄ表示なってしまい、３Ｄ表示でなくなるという問題点がある。また、３Ｄ画像入力時シーンチェンジが頻繁に起きたとき、その度に一旦２Ｄ表示になり、ユーザーは立体表示を十分に楽しむことができない。

特許文献３では最大視差量の時間変化幅を監視し、時間当たりの変化幅が大きい場合、視差量調整がなされる。しかしながら、静止画の場合、時間当たりの変化はないため、視差量が過大な３Ｄ静止画には対応できない。また、視差量が徐々に大きくなり、過大な視差量になった場合は、視差量の時間当たりの変化幅が小さいため、視差量調整が成されず、対応できない。また、システムの負荷軽減のために、シーンチェンジの時のみ、時間当たりの変化幅の監視をすることも記載されているが、上述の場合と同じく、シーンチェンジ後、立体画像の視差量が増加して過大となった場合に、対応ができない。

この発明は、上述のような課題を解決するためになされたもので、入力された一対の画像間の視差を検出し、ユーザーにとって好適な視差量範囲に、違和感なく自然に調整でき、シーンチェンジが起きたときでも、３Ｄ画像のまま自然な違和感のない切り換えができることを目的とする。

本発明の立体画像処理装置は、
動画像の各フレームの画像であって、互いに対をなす左眼用入力画像データ及び右眼用入力画像データを入力とし、前記左眼用入力画像データで表される左眼用画像と、前記右眼用入力画像データで表される右眼用画像の間の視差量の最大値を検出する視差検出部と、
前記左眼用画像及び前記左眼用画像におけるシーンチェンジを検出するシーンチェンジ検出部と、
前記検出された視差量の最大値が、設定された限界値を超えるときに、表示される画像における視差量が前記限界値以下となるようにするための調整量を生成する視差調整部と、
前記左眼用入力画像データ及び前記右眼用入力画像データ、又は左眼用入力画像データ及び前記右眼用入力画像データを１又は２以上のフレーム期間遅延させることで得られる画像データから、前記調整量に応じて視差量が調整された左眼用表示画像データ及び右眼用表示画像データを生成する画像生成部と、
前記左眼用表示画像データ及び前記右眼用表示画像データから所定のフォーマットの表示用画像信号を出力する表示出力部とを備え、
前記視差調整部は、
前記シーンチェンジ検出部でシーンチェンジが検出されており、前記視差検出部で検出された視差量の最大値が前記限界値を超えている場合には、表示される画像における視差量が直ちに前記限界値以下となるように、前記調整量の値を定め、
前記シーンチェンジ検出部でシーンチェンジが検出されておらず、前記視差検出部で検出された視差量の最大値が前記限界値を超えている場合には、表示される画像における視差量が徐々に前記限界値以下となるように、前記調整量の値を定める
ことを特徴とする。

本発明によれば、入力された画像の一対の画像の視差を検出し、ユーザーにとって好適な視差量範囲に、違和感なく自然に調整でき、シーンチェンジが起きたときでも、３Ｄ画像のまま自然な違和感のない切り換えができる。

本発明の実施の形態１に係る立体画像処理装置を示すブロック図である。 （ａ）及び（ｂ）は、左眼用入力画像と右眼用入力画像の視差とユーザーが感じる奥行き感の関係を示す図である。 視差調整部の構成例を示すブロック図である。 調整量差分に対する調整量変更分を示す表である。 調整量差分に対する調整量変更分の具体例を示す表である。 調整量差分に対する調整量変更分の具体例を示すグラフである。 視差調整部の他の構成例を示すブロック図である。 視差調整部のさらに他の構成例を示すブロック図である。 視差調整部のさらに他の構成例を示すブロック図である。 視差調整部のさらに他の構成例を示すブロック図である。 （ａ）及び（ｂ）は、視差調整による画像の移動を示す図である。 （ａ）及び（ｂ）は、ディスプレイ面上に示される画素とユーザーが感じる物体の位置を説明する図である。 （ａ）及び（ｂ）は、視差調整後の画像のスケーリングによる画像の拡大を示す図である。 （ａ）〜（ｄ）は、視差調整によって生じる、画面の左右の端部を画像で埋めるための手法の異なる例を示す図である。 本発明の実施の形態２に係る立体画像処理装置を示すブロック図である。

実施の形態１．
図１は、本発明の実施の形態１に係る立体画像処理装置の構成を示す図である。図１において、立体画像処理装置１００は、視差検出部１と、シーンチェンジ検出部２と、視差調整部３と、画像生成部４と、表示出力部５を備え、表示部２００に接続されて立体画像表示装置を構成する。

立体画像処理装置１００には、動画を構成する相連続するフレーム（フレーム列）の画像データが順次入力される。入力されるフレーム列のうちの最新のフレームを現フレームのデータ、或いは時刻ｎのフレームのデータといい、単にフレームｎのデータということもある。

はじめに、構成要素の概要を説明する。
視差検出部１は、立体画像の左眼用入力画像データＤａ１及び右眼用入力画像データＤｂ１からそれぞれ１枚の画面（フレーム）ごとに左眼用入力画像データＤａ１で表される左眼用画像と、右眼用入力画像データ視差量Ｄｂ１で表される右眼用画像との視差の飛び出し側最大値Ｔｍａｘ（ｎ）と引き込み側最大値Ｈｍａｘ（ｎ）を出力する。

シーンチェンジ検出部２は左眼用入力画像データＤａ１及び右眼用入力画像データＤｂ１からシーンチェンジを検出し、検出結果に応じてシーンチェンジ検出信号ＳＣの値を定める。

視差調整部３は、入力画像データＤａ１、Ｄｂ１で表される画像の視差に基づいて、表示される画像の視差がユーザーにとって好適な視差量範囲に直ちに、或いは徐々に収まるようにするために設定すべき視差オフセット量となる調整量（視差量調整量）Ｆ（ｎ）を決定するものであって、飛び出し側最大値Ｔｍａｘ（ｎ）及び引き込み側最大値Ｈｍａｘ（ｎ）とユーザーによって決定される飛び出し側限界値ＳＴ及び引き込み側限界値ＳＨと、シーンチェンジ検出信号ＳＣから、調整量Ｆ（ｎ）を決定し、出力する。

画像生成部４は、左眼用入力画像データＤａ１及び右眼用入力画像データＤｂ１を受けて、
調整量Ｆ（ｎ）に基づいて左眼用表示画像データＤａ３及び右眼用表示画像データＤｂ３を生成する。
表示出力部５は、左眼用表示画像データＤａ３と右眼用表示画像データＤｂ３に基づいて表示部２００の入力フォーマットに対応した画像信号を出力する。
表示部２００は、表示出力部から出力される画像信号に基づいて立体画像を表示する。

次に、視差検出部１において求める飛び出し側最大値Ｔｍａｘ及び引き込み側最大値Ｈｍａｘについて説明する。
図２（ａ）及び（ｂ）は、左眼用画像と右眼用画像の視差とユーザーが感じる奥行き感の関係を示すものであり、左眼用画像はユーザーの左眼のみに、右眼用画像はユーザーの右眼のみに見えるように制御されているものとする。

図２（ａ）では、ある物体に対応する左眼用画像部分のディスプレイ面上の表示位置をＰ１Ｌ、右眼用画像部分のディスプレイ面上の表示位置をＰ１Ｒで示す。同様に、図２（ｂ）では、ある物体に対応する左眼用画像部分のディスプレイ面上の表示位置をＰ２Ｌ、右眼用画像部分のディスプレイ面上の表示位置をＰ２Ｒで示す。位置Ｐ１Ｌの画像部分と位置Ｐ１Ｒの画像部分が一つの対象物としてユーザーに見えたときは該対象物が空間位置Ｆ１に存在するように知覚され、位置Ｐ２Ｌの画像部分と位置Ｐ２Ｒの画像部分が一つの対象物として見えたときは該対象物が空間位置Ｆ２に存在するように知覚される。

ここで、ある物体に対応する左眼用画像部分の水平座標をＸ（ＰＬ）、右眼用画像部分の水平座標をＸ（ＰＲ）とした場合、視差ｄは下記の式（１）で求められる。ここで、入力される画像のフォーマットによって１フレームにおける１ライン上の画素数は決められるので、水平座標はゼロ座標をフレームの左端とした画素数単位で表すものとして説明する。以下では、視差ｄのみならず、上記の調整量Ｆ（ｎ）、並びに後記の調整量目標値Ｍ（ｎ）、調整量差分Ｓ及び調整量変更分Ｋも画素数で表されるものとする。

ｄ＝Ｘ（ＰＬ）−Ｘ（ＰＲ） …（１）
式（１）を図２（ａ）のＰ１Ｌ及びＰ１Ｒに当てはめた場合に求まる
ｄ１＝Ｘ（Ｐ１Ｌ）−Ｘ（Ｐ１Ｒ）
は正の値となり、図２（ｂ）のＰ２Ｌ及びＰ２Ｒに当てはめた場合に求まる
ｄ２＝Ｘ（Ｐ２Ｌ）−Ｘ（Ｐ２Ｒ）
は負の値となる。

図２（ａ）のように、視差が正の値で求まる場合は、物体はディスプレイ面とユーザーの間に存在するように見えるので、視差ｄが正の値の時の視差量を飛び出し側視差量という。また図２（ｂ）のように、視差が負の値で求まる場合は、物体はディスプレイ面より奥に存在するように見えるので、視差ｄが負の値の時の視差量を引き込み側視差量という。ここで、１枚の画面（以下、１フレームという）の入力画像において、正の最大値をもつ視差を飛び出し側最大値Ｔｍａｘといい、符号Ｔｍａｘで表し、負の最大値をもつ視差を引き込み側最大値といい、符号Ｈｍａｘで表す。

視差検出部１は、上述の１フレームごとの飛び出し側最大値Ｔｍａｘ及び引き込み側最大値Ｈｍａｘを求めるものであって、左眼用入力画像と右眼用入力画像とを比較し、左眼用入力画像と右眼用入力画像とで同じ物体を表示している画素を検出し、それらの画素の水平座標の差分を計算することでそれぞれの物体を表示している画素間の視差ｄを算出する。１フレームごとにこの視差ｄが正の場合の最大値、即ち飛び出し側最大値Ｔｍａｘ（ｎ）と、視差ｄが負の場合の絶対値の最大値、即ち引き込み側最大値Ｈｍａｘ（ｎ）を算出する。
ここでＴｍａｘ（ｎ）はフレームｎの飛び出し側最大値で、Ｈｍａｘ（ｎ）はフレームｎの引き込み側最大値である。

視差ｄを求める際、画素ごとではなく、画面をある区間に区切ってその区間ごとで、視差ｄを求め、１画面での飛び出し側最大値Ｔｍａｘ（ｎ）と引き込み側最大値Ｈｍａｘ（ｎ）を求めても良い。同じ物体を表示している画素の検出方法としては、例えばブロックマッチングなどの手法を用いることができる。

シーンチェンジ検出部２では左眼用入力画像データＤａ１及び右眼用入力画像データＤｂ１をもとにシーンチェンジを判定し、シーンチェンジが起こったときに、シーンチェンジ検出信号ＳＣを有意レベル、例えば“１”とし、視差調整部３に出力する。シーンチェンジが起きていないときは、ＳＣ＝０を出力する。シーンチェンジが起きた場合は、シーンチェンジの起きた映像フレームの終わりと次のフレームの映像の始まりの間のブランキング期間にシーンチェンジ検出信号ＳＣを“１”に切替え、次の映像フレームの終わりにシーンチェンジ検出信号ＳＣを“０”に戻す動作が望ましい。

シーンチェンジ検出部２での、シーンチェンジ検出方法は、１フレームの画像（映像有効期間の画像信号で表される画像）を横方向Ｐ個、縦方向Ｑ個のブロックＢｐｑ（ｐ＝１〜Ｐ、ｑ＝１〜Ｑ）に分割し、分割されたそれぞれのブロックＢｐｑの平均輝度Ｙｐｑ（ｎ）の算出を行い、１フレーム前の各ブロックの平均輝度Ｙｐｑ（ｎ−１）と比較し、平均輝度Ｙｐｑ（ｎ）−Ｙｐｑ（ｎ−１）の差が所定値Ｙｐｑｔｈ以上であるブロックの個数Ｖが、閾値Ｖｔｈ以上、例えば１フレームの映像有効期間内の総ブロックの半分以上である場合にシーンチェンジと判断し、シーンチェンジ検出信号ＳＣ＝１を出力する。

また、さらに単純なシーンチェンジ検出方法として、左眼用入力画像データＤａ１及び右眼用入力画像データＤｂ１のどちらか全面平均輝度Ｙｗ（ｎ）と１フレーム前の全面平均輝度Ｙｗ（ｎ−１）を比較して、その差が所定値Ｙｗｔｈ以上であれば、シーンチェンジと判断し、シーンチェンジ検出信号ＳＣ＝１を出力する。即ち、大きな平均輝度変化が有れば、シーンチェンジとして良い。シーンチェンジ検出方法はさまざまな手法が考案されており、既知の方法で行って良い。
なお、左眼用入力画像データＤａ１及び右眼用入力画像データＤｂ１のどちらか一方のみで全面平均輝度の変化が所定値よりも大きいか否かの判断を行なうのではなく、双方について全面平均輝度の変化が所定値よりも大きいか否かの判断を行ない、少なくとも一方で所定値以上の変化があれば、シーンチェンジと判断してもよく、双方で所定値以上の変化があった場合にのみシーンチェンジと判断しても良い。

上記では平均輝度からシーンチェンジを求めたが、視差量が大きく変わったことで、シーンチェンジが起きたと判定することとしても良い。この場合、例えば、視差検出部１により、フレームｎでの飛び出し側最大値Ｔｍａｘ（ｎ）と引き込み側最大値Ｈｍａｘ（ｎ）と１フレーム前の飛び出し側最大値Ｔｍａｘ（ｎ−１）と引き込み側最大値Ｈｍａｘ（ｎ−１）をそれぞれ比較して、少なくとも一方においてそれぞれの閾値Ｔｔｈ，Ｈｔｈ以上の変化があればシーンチェンジが有ったと判断して、シーンチェンジ検出信号ＳＣ＝１とする。即ち、

Ｔｍａｘ（ｎ）−Ｔｍａｘ（ｎ−１）≧Ｔｔｈ及び／又は
Ｈｍａｘ（ｎ）−Ｈｍａｘ（ｎ−１）≧Ｈｔｈのとき
ＳＣ＝１ …（２Ａ）
それ以外のとき、
ＳＣ＝０ …（２Ｂ）

上記のように、前述の視差検出部１とシーンチェンジ検出部２を兼用した構成の場合、シーンチェンジ検出部２を省略しても良い。このようにすることで回路が簡略化できる効果がある。

次に、視差調整部３について説明する。
視差調整部３は、例えばユーザーによって決定され、装置の外部から入力される飛び出し側限界値ＳＴと引き込み側限界値ＳＨと、視差検出部１から出力された飛び出し側最大値Ｔｍａｘ（ｎ）と引き込み側最大値Ｈｍａｘ（ｎ）とシーンチェンジ検出部２から出力されたシーンチェンジ検出信号ＳＣから、調整量Ｆ（ｎ）を決定し出力する。ここで、Ｆ（ｎ）はフレームｎの視差調整量を表す。

一般的に、飛び出し側視差量や引き込み側視差量が大きいと目が疲れたり、立体視になりにくかったりする場合がある。この飛び出し側最大値と引き込み側最大値は、画面のサイズ、画素数、ユーザーの視距離等によって最適値が異なる。

一般的に、視差角１度以内が快適であるとされている。視差角１度は視距離と画面サイズによって画素数が変わるが、例えば、ハイビジョンテレビ（画面サイズ比１６：９）で１９２０×１０８０画素の解像度の場合、画面高さの３倍の距離において視聴した時、画面サイズに関わりなく、視差角１度は５７画素である。

一方、引き込み側に関しては、表示画面上での引き込み量の最大値（無限遠）のときに、視差量が両眼間距離の５ｃｍを超えないようにすることが適切であるとされている。両眼間距離は子供の場合５ｃｍ程度であるため、家庭用の装置では、５ｃｍを超えないようにすることが望ましい。例えば、５０インチの１９２０×１０８０画素の解像度の場合、５ｃｍ相当の画素数は８７画素となる。この５ｃｍ相当の画素数は視距離に関わらず、画面サイズによって決まる。

飛び出し側限界値ＳＴと引き込み側限界値ＳＨは、表示部２００の画面サイズ、画素数、ユーザーの視距離や、表示部２００からのテスト画像の視聴結果、或いは過去の視聴経験などから決めるものであり、これらの限界値ＳＴ、ＳＨをユーザーが数値入力することとしても良く、複数の候補からユーザーが選択するように構成しても良い。

調整量Ｆ（ｎ）を求める第１の手法について説明する。第１の手法を用いる場合には、視差調整部３を図３の機能ブロック図で示すように構成する。
図示の視差調整部３は、調整量目標値生成部３０１と、調整量差分生成部３０２と、調整量変更分生成部３０３と、調整量生成部３０４と、メモリ３０５と、切替部３０６及び３０７とを有する。

切替部３０６及び３０７は、シーンチェンジ検出信号ＳＣにより制御されるものであり、シーンチェンジ検出信号ＳＣの値が有意のとき（ＳＣ＝１のとき）は、切替接点ＣがＡ側に接続され、シーンチェンジ検出信号ＳＣの値が有意でないとき（ＳＣ＝０のとき）は、Ｂ側に接続される。

まず、調整量目標値生成部３０１において、以下の４通りの場合に分けて、調整量目標値Ｍ（ｎ）を決定する。ここで、Ｍ（ｎ）はフレームｎの調整量目標値を表す。

まず、下記の式（３）で示すように、飛び出し側最大値Ｔｍａｘ（ｎ）が飛び出し側限界値ＳＴより大きく、引き込み側最大値Ｈｍａｘ（ｎ）が引き込み側限界値ＳＨ以下である場合は、飛び出し側最大値Ｔｍａｘから飛び出し側限界値ＳＴを引いた値に負の符号をつけた値を、調整量目標値Ｍ（ｎ）とする。
これは、飛び出し側視差量が大きいときに、画像で表される物体が引き込まれるように（視差が負の方向に変化するように）動作させるためである。

次に、下記の式（４）で示すように、飛び出し側最大値Ｔｍａｘ（ｎ）が飛び出し側限界値ＳＴより大きく、引き込み側最大値Ｈｍａｘ（ｎ）が引き込み側限界値ＳＨより大きい場合は、飛び出し側最大値Ｔｍａｘ（ｎ）から飛び出し側限界値ＳＴを引いた値に負の符号をつけたものと、引き込み側最大値Ｈｍａｘ（ｎ）から引き込み側限界値ＳＨを引いた値との和を、調整量目標値Ｍ（ｎ）とする。
これは、飛び出し側限界値ＳＴ、引き込み側限界値ＳＨからの差が大きい方の視差量を減らすように動作させるためである。

次に、下記の式（５）で示すように、飛び出し側最大値Ｔｍａｘ（ｎ）が飛び出し側限界値ＳＴ以下で、引き込み側最大値Ｈｍａｘ（ｎ）が引き込み側限界値ＳＨより大きい場合は、引き込み側最大値Ｈｍａｘ（ｎ）から引き込み側限界値ＳＨを引いた値を、調整量目標値Ｍ（ｎ）とする。
これは、飛び出し側最大値Ｔｍａｘが小さく（限界値ＳＴ以下であり）、引き込み側最大値Ｈｍａｘが大きいときに、視差量を引き込み側から飛び出し側に変化させるためである。

最後に、下記の式（６）で示すように、飛び出し側最大値Ｔｍａｘ（ｎ）が飛び出し側限界値ＳＴ以下で、引き込み側最大値Ｈｍａｘ（ｎ）が引き込み側限界値ＳＨ以下の場合は、Ｍ（ｎ）＝０とする。即ち、飛び出し側最大値も引き込み側最大値も、飛び出し側限界値ＳＴから引き込み側限界値ＳＨまでの範囲（限界範囲、即ちユーザにとって好適な視差量範囲）にある場合は、目標値に達していると判断し、Ｍ（ｎ）＝０とする。

なお、上記の例では、飛び出し側最大値Ｔｍａｘ（ｎ）及び引き込み側最大値Ｈｍａｘ（ｎ）がそれぞれの限界値ＳＴ、ＳＨよりも大きい場合は、式（４）に示すように、調整量目標値Ｍ（ｎ）を定めたが、一般的に、引き込み側最大値が両眼間距離を超えないようにすることが望ましいと言われている。このため、飛び出し側最大値の調整より引き込み側最大値の調整を優先し、式（４）の代わりに下記の式（４Ｂ）のように変更して良い。

以下、シーンチェンジが起きていない場合と起きている場合について、順に説明する。
まず、シーンチェンジが起きていない場合を説明する。
シーンチェンジが起きていない場合は、シーンチェンジ検出信号ＳＣ＝０である。このときは、スイッチ３０６及び３０７はその切替接点ＣがともにＢ側に接続されている。

シーンチェンジが起きていない場合に、視差量が急激に時間変化をすると、違和感を生じ、眼に負担がかかる。そこで、急激な時間変化を防ぐため、視差量の変化を遅くするための処理を行う。

まず、調整量差分生成部３０２で現フレーム（フレームｎ）の調整量目標値Ｍ（ｎ）と１フレーム前の調整量Ｆ（ｎ−１）の差を調整量差分Ｓとして算出する。この処理は、下記の式（７）で表される。
Ｓ＝Ｍ（ｎ）−Ｆ（ｎ−１） …（７）

次に、調整量変更分生成部３０３で、調整量差分Ｓを調整量変更分Ｋに変換する。この変換は、例えば、調整量差分Ｓと調整量変更分Ｋの関係を示す変換テーブルを用いて行われる。
調整量変更分Ｋは、後述のように、相前後するフレーム間での調整量の変化幅（Ｆ（ｎ）−Ｆ（ｎ−１））、即ち、１フレームの調整で変化する幅である。

調整量変更分生成部３０３を構成する変換テーブルの例を図４に示す。
図４の中のａ１〜ａｋ、−ｂ１〜−ｂｌは、それぞれＳの値を表し、ｅ１〜ｅｉ、−ｆ１〜−ｆｊは、それぞれＫの値を表す。ｅ１〜ｅｉ、−ｆ１〜−ｆｊは、連続値であっても、不連続の値であっても良い。
図示の例では、１個又は２個以上のＳの値に対して、１個のＫの値が定められており、例えば、Ｓの値が＋ａ１から＋ａ２までの範囲であるとき、値が＋ｅ１のＫが出力されることを示す。また、Ｓの値が＋ａｋ以上では、Ｋの値は＋ｅｉであり、Ｓの値が−ｂｌ以下では、Ｋの値は−ｆｊである。これによりＫの値は＋ｅｉから−ｂｌまでの範囲内に抑えられる。

図５に図４の変換テーブルの具体的な例を示す。図６は、図５に示されるＳとＫの関係を示すグラフである。
例えば、Ｓ＝＋７であれば、Ｋ＝＋２に制限され、Ｓ＝−７であれば、Ｋ＝−４に制限される。
図示の変換特性は、Ｓの値の変化に対するＫの変化を抑制するとともに、引き込み方向（マイナス方向）に比べ、飛び出し方向（プラス方向）では、抑制の度合いをより強くすることで、飛び出し方向への変化をより遅くし、引き込み方向の変化をより速くするようにしている。
一般的に、飛び出し方向は、ゆっくりであれば融合を保持しやすく、引き込みは上記の限界値以下であれば、変化が速くても融合の保持が可能であると言われている。そのため、飛び出し方向はゆっくりにし、引き込み方向は速く制御すると効果がある。

このようにして、シーンチェンジが起きていないときは、図４又は図５の変換テーブルに基づいて、調整量変更分Ｋが所定の範囲内となるようにして決定する。

調整量生成部３０４は、下記の式（８）で示されるように、１フレーム前の調整量Ｆ（ｎ−１）と、調整量変更分生成部３０３で生成される調整量変更分Ｋとを加算することで調整量Ｆ（ｎ）を求める。

ＳＣ＝０のとき
Ｆ（ｎ）＝Ｆ（ｎ−１）＋Ｋ …（８）
以上のようにして求められた調整量Ｆ（ｎ）は、視差調整部３の出力となる。

このようにして、調整量Ｆ（ｎ）は、シーンチェンジが起きていないときは、調整量変更分Ｋがある範囲内となるように制限されて決定される。このように制御することで、急激な視差量変化が抑えられ、ゆっくりと視差量が調整される。

次に、シーンチェンジが起きた場合を説明する。シーンチェンジが起きた場合は、その直後の１フレームにわたり、シーンチェンジ検出信号ＳＣ＝１となる。このときは、スイッチ３０６及び３０７は、切替接点ＣがともにＡ側に接続され、前述の調整量差分生成部３０２、調整量変更分生成部３０３、及び調整量生成部３０４による処理は行わず、代わりに下記の式（９）で示すように、調整量目標値Ｍ（ｎ）を直ちにそのまま調整量Ｆ（ｎ）として出力する。これにより、視差量が直ちに飛び出し側限界値ＳＴ以下又は引き込み側限界値ＳＨ以下に抑えられる。

即ち、
ＳＣ＝１のとき
Ｆ（ｎ）＝Ｍ（ｎ） …（９）

このようにして、シーンチェンジが起きたときは、調整量Ｆ（ｎ）を調整量目標値Ｍ（ｎ）に直ちに一致するように切り換えるための処理をする。シーンチェンジ時は、表示される画像の内容が切り替わるので、視差量が急に変わっても違和感はない。逆に、視差量をゆっくりと変えると不自然に見えてしまう。そこで、シーンチェンジが起きたとき、画面の切り換わりに合わせて、視差をもリセットし、調整量Ｆ（ｎ）を直ちに調整量目標値Ｍ（ｎ）に等しい値に切り換える方が望ましい。

次に、視差調整部３の調整量Ｆ（ｎ）を求める第２の手法について述べる。第２の手法を用いる場合には、視差調整部３を図７の機能ブロック図で示すように構成する。
図示の視差調整部３は、飛び出し側最大値平均化部３１１と、引き込み側最大値平均化部３１２と、時間幅決定部３１３及び３１４と、調整量目標値生成部３０１ｂと、調整量差分生成部３０２と、調整量変更分生成部３０３と、調整量生成部３０４と、メモリ３０５と、切替部３０６及び３０７とを有する。
図３と同じ符号は同様の部材を示す。

時間幅決定部３１３は、飛び出し側最大値平均化部３１１で時間平均を求める際の時間幅（フレーム数）Ｌｔを定める。時間幅決定部３１４は、引き込み側最大値平均化部３１２で時間平均を求める際の時間幅（フレーム数）Ｌｈを定める。
時間幅決定部３１３及び３１４は、通常、それぞれ、外部から入力される通常時間幅Ｌｔｄ、Ｌｈｄをそのまま時間幅Ｌｔ、Ｌｈとして出力する。Ｌｔｄ、Ｌｈｄは各々２以上の整数であり、互いに同じ値であっても良く、異なっていても良い。シーンチェンジが起きたときは直後の１フレーム期間だけ、時間幅Ｌｔ、Ｌｈを「１」とし、その後、時間幅Ｌｔ、Ｌｈを１フレーム期間ごとに１ずつ増加させて、通常時間幅Ｌｔｄ、Ｌｈｄに達したら、それ以降は、その値を維持する。

飛び出し側最大値平均化部３１１は、飛び出し側最大値Ｔｍａｘを、過去Ｌｔフレームにわたって平均化して、平均飛び出し側最大値ＡＴｍａｘを出力する。この平均化は、下記の式（１０）で表される。

同様に、引き込み側最大値平均化部３１２は、引き込み側最大値Ｈｍａｘを、過去Ｌｈフレームにわたって平均化して、平均引き込み側最大値ＡＨｍａｘを出力する。この平均化は、下記の式（１１）で表される。

時間幅Ｌｔ、Ｌｈが大きいほど、調整量Ｆ（ｎ）がゆっくりと変化し、従って表示される画像の視差量がゆっくりと変化する。一方、時間幅Ｌｔ、Ｌｈが小さいほど、調整量Ｆ（ｎ）の変化が速く、従って、表示される画像の視差量の変化が速くなる。

シーンチェンジが起きておらず、前回のシーンチェンジの検出から十分な時間が経過した後（即ち、前回のシーンチェンジからそれぞれＬｔｄ、Ｌｈｄフレーム期間が経過した後）は、Ｌｔ＝Ｌｔｄ、Ｌｈ＝Ｌｈｄであり、飛び出し側最大値平均化部３１１では、飛び出し側最大値Ｔｍａｘ（ｎ）の過去Ｌｔｄフレームにわたる平均が求められ、引き込み側最大値平均化部３１２では、引き込み側最大値Ｈｍａｘ（ｎ）の過去Ｌｈｄフレームにわたる平均ＨＴｍａｘが求められる。

このように、飛び出し側最大値Ｔｍａｘと引き込み側最大値Ｈｍａｘの時間平均を取ることで、急激な視差の変化や誤検出を緩和することができる。

シーンチェンジが起きたときは、時間幅Ｌｔ、Ｌｈを「１」にする。その結果、飛び出し側最大値平均化部３１１及び引き込み側最大値平均化部３１２の出力はその入力と同じ値になる。即ち、複数フレームにわたる時間平均は行われず、最大値Ｔｍａｘ（ｎ）、Ｈｍａｘ（ｎ）がそれぞれそのまま平均飛び出し側最大値ＡＴｍａｘ、平均引き込み側最大値ＡＨｍａｘとして飛び出し側最大値平均化部３１１及び引き込み側最大値平均化部３１２から出力される。
これにより、調整量Ｆ（ｎ）を、表示される画像における視差量が直ちに限界範囲内（ユーザーにとって好適な範囲内）の値になるようにするために値に設定することができる。

シーンチェンジ後は、１フレームごとに、時間幅Ｌｔ、Ｌｈを１ずつ増加させる。
その結果、シーンチェンジ前の視差（飛び出し側最大値、引き込み側最大値）の影響を受けることなく、次第に、通常の状態（調整のための視差量の急激な変化を抑制する状態）に戻すことができる。

次に、調整量目標値生成部３０１ｂにおいて、平均飛び出し側最大値ＡＴｍａｘと平均引き込み側最大値ＡＨｍａｘと飛び出し側限界値ＳＴ及び引き込み側限界値ＳＨに基づき、以下の４通りに場合分けをし、調整量目標値Ｍ（ｎ）を決定する。ここで、Ｍ（ｎ）はフレームｎの調整量目標値である。

なお、式（１３）で、飛び出し側最大値の調整より引き込み側最大値の調整を優先し、式（１３）を以下の式（１３Ｂ）のように変更して良い。

調整量差分生成部３０２、調整量変更分生成部３０３、調整量生成部３０４及びメモリ３０５の動作は第１の手法と同様である。即ち、シーンチェンジが起きていない場合、上記のようにして求めた調整量目標値Ｍ（ｎ）に基づき、調整量差分生成部３０２は、前述の第１の手法と同じように、現フレームの調整量目標値Ｍ（ｎ）と１フレーム前の調整量Ｆ（ｎ−１）の差を調整量差分Ｓとして算出する。この処理は、上記の式（７）で表される。

調整量変更分生成部３０３は、第１の手法と同様にして、調整量差分Ｓを調整量変更分Ｋに変換する。

調整量生成部３０４は、上記の式（８）で示されるように、１フレーム前の調整量Ｆ（ｎ−１）と、調整量変更分生成部３０３で生成される調整量変更分Ｋとを加算することで調整量Ｆ（ｎ）を求める。
以上のようにして求められた調整量Ｆ（ｎ）は、視差調整部３の出力となる。

このようにして、調整量Ｆ（ｎ）は、シーンチェンジが起きていないときは、調整量変更分Ｋがある範囲内となるように制限される。このように制御することで、急激な視差量変化が抑えられ、視差量がゆっくりと調整される。

シーンチェンジが起きた場合は、その直後の１フレームにわたり、シーンチェンジ検出信号ＳＣ＝１となる。このときは、切替部３０６及び３０７は、その切替接点ＣがそれぞれＡ側に接続され、調整量差分生成部３０２、調整量変更分生成部３０３、及び調整量生成部３０４による処理は行われず、代わりに上記の式（９）で示すように、調整量目標値Ｍ（ｎ）を直ちにそのまま調整量Ｆ（ｎ）として出力する。

このように、シーンチェンジが起きたときは、飛び出し側最大値Ｔｍａｘ（ｎ）と引き込み側最大値Ｈｍａｘ（ｎ）の複数フレームにわたる平均化を行わず、飛び出し側最大値Ｔｍａｘ（ｎ）及び引き込み側最大値Ｈｍａｘ（ｎ）をそのまま平均飛び出し側最大値ＡＴ及び平均引き込み側最大値ＡＨとして出力し、調整量Ｆ（ｎ）を、直ちに調整量目標値Ｍ（ｎ）に等しい値に変える処理をする。

このように、シーンチェンジが起きたとき、複数フレームにわたる時間平均処理や視差変更分に対する制限を中断し、調整量Ｆ（ｎ）が調整量目標値Ｍ（ｎ）の値に直ちに一致するようにすることで、違和感をともなうことなく、視差量を直ちに限界範囲内の値にすることができる。

なお、シーンチェンジが起きていないとき、飛び出し側最大値ＡＴｍａｘ（ｎ）及び引き込み側最大値ＨＴｍａｘ（ｎ）を時間幅Ｌｔｄ、Ｌｈｄにわたり時間平均しているため、これにより急激な視差の時間変化を避けることができるとみなし、式（７）、式（８）の処理をせず、調整量目標値Ｍ（ｎ）をそのまま調整量Ｆ（ｎ）として出力することとしても良い。また、シーンチェンジが起きたときは、上記の式（１０）、式（１１）による平均化における時間幅Ｌｔ、Ｌｈを一旦「１」にし、その後次第に増加させているので、調整量目標値Ｍ（ｎ）を直ちにそのまま調整量Ｆ（ｎ）として出力することとしても良い。この場合、図７の構成における調整量差分生成部３０２、調整量変更分生成部３０３、調整量生成部３０４、メモリ３０５、及び切替部３０６、３０７を省き、図８の構成を用いれば良い。

この場合の処理は、下記の式（１６）で表される。即ち、
ＳＣ＝０、ＳＣ＝１のどちらの場合も、
Ｆ（ｎ）＝Ｍ（ｎ） …（１６）

さらに、視差調整部３の調整量Ｆ（ｎ）を求める第３の手法について述べる。第３の手法を用いる場合には、視差調整部３を図９の機能ブロック図で示すように構成する。
図示の視差調整部３は、調整量目標値生成部３０１と、調整量目標値平均化部３２１と、時間幅決定部３２３と、調整量差分生成部３０２ｂと、調整量変更分生成部３０３と、調整量生成部３０４と、メモリ３０５と、切替部３２６及び３０７とを有する。
図３と同じ符号は同様の部材を示す。

切替部３２６は、切替部３０７と同様に、シーンチェンジ検出信号ＳＣにより制御されるものであり、シーンチェンジ検出信号ＳＣの値が有意のとき（ＳＣ＝１のとき）は、切替接点ＣがＡ側に接続され、シーンチェンジ検出信号ＳＣの値が有意でないとき（ＳＣ＝０のとき）は、切替接点ＣがＢ側に接続される。

時間幅決定部３２３は、調整量目標値平均化部３２１で時間平均を求める際の時間幅（フレーム数）Ｌｍを定める。時間幅決定部３２３は、通常、それぞれ、外部から入力される通常時間幅Ｌｍｄをそのまま時間幅Ｌｍとして出力する。Ｌｍｄは２以上の整数である。
シーンチェンジが起きたときは直後の１フレーム期間だけ、Ｌｍを「１」とし、その後、Ｌｍを１フレーム期間ごとに１ずつ増加させて、通常時間幅Ｌｍｄに達したら、それ以降は、その値を維持する。

まず、調整量目標値生成部３０１において、第１の手法と同様に４通りに場合分けをし、調整量目標値Ｍ（ｎ）を決定する。

調整量目標値平均化部３２１は、調整量目標値Ｍ（ｎ）を、過去Ｌｍフレームにわたって平均化して、平均調整量目標値ＡＭを出力する。この平均化は、下記の式（１７）で表される。

時間幅Ｌｍが大きいほど、調整量Ｆ（ｎ）がゆっくりと変化し、従って表示される画像の視差量がゆっくりと変化する。一方、時間幅Ｌｍが小さいほど、調整量Ｆ（ｎ）の変化が速く、従って、表示される画像の視差量の変化が速くなる。

シーンチェンジが起きておらず、前回のシーンチェンジの検出から十分な時間が経過した後（即ち、前回のシーンチェンジからＬｍｄフレーム期間が経過した後）は、Ｌｍ＝Ｌｍｄであり、調整量目標値平均化部３２１では、調整量目標値Ｍ（ｎ）の過去Ｌｍｄフレームにわたる平均（平均調整量目標値）ＡＭが求められる。
このように、調整量目標値Ｍ（ｎ）の時間平均を取ることで、急激な視差の変化や誤検出を緩和することができる。

シーンチェンジが起きたときは、時間幅Ｌｍを「１」にする。その結果、調整量目標値平均化部３２１の出力はその入力と同じ値になる。即ち、複数フレームにわたる平均化は行われず、調整量目標値Ｍ（ｎ）がそのまま、平均調整量目標値ＡＭとして調整量目標値平均化部３２１から出力される。
これにより、調整量Ｆ（ｎ）を、表示される画像における視差量が直ちに限界範囲内の値になるようにするために値に設定することができる。

シーンチェンジ後は、１フレームごとに、時間幅Ｌｍを１ずつ増加させる。
その結果、シーンチェンジ前の視差（飛び出し側最大値、引き込み側最大値）の影響を受けることなく、次第に、通常の状態（調整のための視差量の急激な変化を抑制する状態）に戻すことができる。

調整量差分生成部３０２ｂ、調整量変更分生成部３０３、調整量生成部３０４及びメモリ３０５の動作は第１の手法と同様である。即ち、シーンチェンジが起きていない場合、上記のようにして式（１７）で求めた平均調整量目標値ＡＭに基づき、調整量差分生成部３０２ｂは、前述の第１の手法と同様に（但し、調整量目標値Ｍ（ｎ）の代わりに、平均調整量目標値ＡＭを用い）、平均調整量目標値ＡＭと１フレーム前の調整量Ｆ（ｎ−１）の差を調整量差分Ｓとして算出する。この処理は、下記の式（１８）で表される。
Ｓ＝ＡＭ−Ｆ（ｎ−１） …（１８）

調整量変更分生成部３０３は、第１の手法と同様にして、調整量差分Ｓを調整量変更分Ｋに変換する。

調整量生成部３０４は、上記の式（８）で示されるように、１フレーム前の調整量Ｆ（ｎ−１）と、調整量変更分生成部３０３で生成される調整量変更分Ｋとを加算することで調整量Ｆ（ｎ）を求める。
以上のようにして求められた調整量Ｆ（ｎ）は、視差調整部３の出力となる。

このようにして、調整量Ｆ（ｎ）は、シーンチェンジが起きていないときは、調整量変更分Ｋがある範囲内となるように制限される。このように制御することで、急激な視差量変化が抑えられ、ゆっくりと視差量が調整される。

シーンチェンジが起きた場合は、１フレームにわたり、シーンチェンジ検出信号ＳＣ＝１である。このときは、切替部３２６及び３０７は、その切替接点ＣがそれぞれＡ側に接続されており、調整量差分生成部３０２ｂ、調整量変更分生成部３０３、及び調整量生成部３０４による処理は行われず、代わりに下記の式（１９）で示すように、平均調整量目標値ＡＭをそのまま直ちに調整量Ｆ（ｎ）として出力する。

即ち、
ＳＣ＝１のとき
Ｆ（ｎ）＝ＡＭ …（１９）

このように、シーンチェンジが起きたときは、調整量目標値Ｍ（ｎ）の複数フレームにわたる平均化を行わず、調整量目標値Ｍ（ｎ）をそのまま平均調整量目標値ＡＭとして出力し、調整量Ｆ（ｎ）を、直ちに平均調整量目標値ＡＭに等しい値、従って、調整量目標値Ｍ（ｎ）に等しい値に変える処理をする。

このように、シーンチェンジが起きたとき、複数フレームにわたる時間平均処理や視差変更分に対する制限中断し、調整量Ｆ（ｎ）が調整量目標値Ｍ（ｎ）の値に直ちに一致するようにすることで、違和感をともなうことなく、視差量を直ちに限界範囲内の値にすることができる。

なお、シーンチェンジが起きていないとき、調整量目標値Ｍ（ｎ）を時間幅Ｌｍｄにわたり時間平均しているため、これにより急激な視差の時間変化を避けることができるとみなし、式（１８）、式（８）の処理をせず、平均調整量目標値ＡＭをそのまま調整量Ｆ（ｎ）として出力することとしても良い。また、シーンチェンジが起きたときは、上記の式（１７）による平均化における時間幅Ｌｍを一旦「１」にし、その後次第に増加させているので、平均調整量目標値ＡＭを直ちに、そのまま調整量Ｆ（ｎ）として出力することとしても良い。この場合、図９の構成における調整量差分生成部３０２ｂ、調整量変更分生成部３０３、調整量生成部３０４、メモリ３０５、及び切替部３０６、３０７を省き、図１０の構成を用いれば良い。

この場合の処理は、下記の式（２０）で表される。
ＳＣ＝０、ＳＣ＝１どちらの場合も、
Ｆ（ｎ）＝ＡＭ …（２０）

次に、画像生成部４の動作を説明する。画像生成部４は、視差調整部３から出力された調整量Ｆ（ｎ）に基づいて、左眼用入力画像Ｄａ１及び右眼用入力画像Ｄｂ１から新たな左眼用画像及び右眼用画像を生成し、左眼用表示画像Ｄａ３及び右眼用表示画像Ｄｂ３として出力する。
ここで、画像生成部４は、調整量Ｆ（ｎ）に基づいて、左眼用画像と右眼用画像をそれぞれ対にして画像を生成する。

図１１（ａ）に示す左眼用入力画像Ｄａ１及び右眼用入力画像Ｄｂ１が入力されたとする。図中のクロスハッチングを施した丸で示す画像部分Ｂ１Ｌ、Ｂ１Ｒは立体視される同じ物体に対応するものである。この左眼用入力画像の物体に対応する画像部分Ｂ１Ｌと右眼用入力画像の物体に対応する画像部分Ｂ１Ｒには元々視差ｄ１がある。

図１１（ｂ）は、左眼用入力画像全体を水平方向へ左に平行移動し、右眼用入力画像全体を右に平行移動した状態、即ち、それぞれ符号ＧＬ２、ＧＲ２で示す水平方向範囲にある画像を、それぞれ符号ＧＬ３、ＧＲ３で示す水平方向範囲にある画像となるよう水平移動させた後の状態を示す。
図１１（ｂ）を見ると、物体Ｂ１に対応する左眼用画像部分Ｂ１Ｌｓと右眼用画像部分Ｂ１Ｒｓの視差はｄ１ｓとなり元の視差ｄ１よりも小さくなっている。つまり、ユーザーからは飛び出している物体が引き込まれる方向へ、即ち奥の方へ移動した様に見える。

ディスプレイ面上に示される画素とユーザーが知覚する物体の位置の関係が図１２（ａ）及び（ｂ）に示されている。図１２（ａ）は図２（ａ）と同じである。図１２（ａ）のＰ１Ｌは図１１（ａ）の左眼用画像の物体に対応する画像部分Ｂ１Ｌ中の画素、Ｐ１Ｒは図１１（ａ）の右眼用画像の物体に対応する画像部分Ｂ１Ｒ中の画素を表すものとする。左眼用画像の画素Ｐ１Ｌと左眼用画像の画素Ｐ１Ｒには視差ｄ１があり、ユーザーには空間中の点Ｆ１に物体があるように知覚される。

図１２（ｂ）は図１１（ｂ）で行った様にディスプレイ面上に表示された左眼用画像を全体に左に、右眼用画像を右に移動させたものである。即ち、図１２（ｂ）では、左眼用画像の物体に対応する画像部分Ｂ１Ｌ中の画素Ｐ１Ｌは符号Ｐ１Ｌｓで示す位置に、右眼用画像の物体に対応する画像部分Ｂ１Ｒ中の画素Ｐ１Ｒは符号Ｐ１Ｒｓで示す位置に移動する。図１２（ｂ）に示すように、左眼用画像の画素Ｐ１Ｌｓと右眼用画像の画素Ｐ１Ｒｓの視差はｄ１ｓ（＜ｄ１）となり、左眼用画像の画素Ｐ１Ｌｓと右眼用画像の画素Ｐ１Ｒｓとで、ユーザーには空間中の点Ｆ１ｓに物体があるように知覚される。即ち、飛び出している物体がｄＦだけ奥の方へ引き込んだように知覚される。

このように、左眼用入力画像と右眼用入力画像を水平移動させることで視差を変えることができる。この移動量ｄＦを視差オフセット量という。
視差オフセット量を負の方向に大きくするときは、左眼画像全体を左に水平移動させ、右眼画像全体を右に水平移動させることとする。
一方、視差オフセット量を正の方向に大きくするときは、左眼画像全体を右に水平移動させ、右眼画像全体を左に水平移動させる。
視差オフセット量を負の方向に大きくすると、画面全体が引き込まれる方向になり、視差オフセット量を正の方向に大きくすると、画面全体が飛び出す方向になる。
つまり、視差オフセット量を調整することで、視認される物体の奥行き方向位置を変更することができる。

画像生成部４では、視差調整部３から出力された調整量Ｆ（ｎ）を受けて、この調整量Ｆ（ｎ）を視差オフセット量として画面を水平方向に移動させ視差調整を行う。具体的には、Ｆ（ｎ）が正の数である場合、左眼画像をＦ（ｎ）／２画素右に水平方向に移動させ、
右眼画像をＦ（ｎ）／２画素左に水平方向に移動させる。
一方、調整量Ｆ（ｎ）が負の数である場合、左眼画像をＦ（ｎ）／２画素左に水平方向に移動させ、右眼画像をＦ（ｎ）／２画素右に水平方向に移動させる。
このように左眼画像と右眼画像を逆方向に移動させることで、左眼画像と右眼画像の視差が合計でＦ（ｎ）画素だけ変化する。

上述の通り、左眼用画像全体と右眼用画像全体を水平方向の逆向きに移動させる結果、移動後の画面上には、図１１（ｂ）に示すように、画面上には、左眼画像及び右眼画像がともに存在する部分（共通部分）ＧＬｃ、ＧＲｃと、左眼画像が存在しない欠落部分ＧＬｍと、右眼画像が存在しない欠落部分ＧＲｍとが生じる。なお、上記の移動の結果、左眼画像の一部（左端）ＧＬａが画面からはみ出し、右眼画像の一部（右端）ＧＲａが画面からはみ出す。

画面上の欠落部分ＧＬｍ、ＧＲｍは何らかの画像で埋める必要がある。この場合、左眼画像の欠落部分ＧＬｍと同じ位置に表示される右眼画像部分（対応部分）ＧＲｂの画像内容は、欠落部分ＧＬｍを埋めるために用いた左眼画像に対応するものであるのが望ましい。同様に、右眼画像の欠落部分ＧＲｍと同じ位置に表示される左眼画像部分（対応部分）ＧＬｂの画像内容は、欠落部分ＧＲｍを埋めるために用いた右眼画像に対応するものであるのが望ましい。
従って、欠落部分ＧＬｍ、ＧＲｍを埋める処理においては、同時に対応する部分ＧＲｂ、ＧＬｂをも対応する画像で置き換える処理をも併せて行うことになる。

欠落部分ＧＬｍ、ＧＲｍ、及び対応する部分ＧＲｂ、ＧＬｂを埋めるには、左右画像の共通部分ＧＬｃ、ＧＲｃを左右に引き延ばす処理（スケーリング）を行なうか、別途用意した所定の模様、又は無地の画像を表示する処理を行うことができる。
スケーリングには、共通部分ＧＬｃ、ＧＲｃを水平方向にのみ引き延ばす方法、又は水平方向のみならず垂直方向にも引き延ばす方法を用いることができ、引き延ばす率は画面全体で一様にしても良く画面の位置によって異なる率で引き延ばしても良い。

以下、スケーリングについて図１３（ａ）及び（ｂ）を参照して説明する。
図１３（ａ）は、図１１（ｂ）と同様に、視差調整後の画像を示す。
スケーリングにおいては、図１３（ａ）、（ｂ）に示すように、中央部に位置する共通部分ＧＬｃ、ＣＲｃの画像を左右に引き延ばして左右の部分を作り出す。
欠落部分ＧＬｍ、ＧＲｍ及び対応部分ＧＬｂ、ＧＲｂの各々の幅は、視差オフセット量、即ち調整量Ｆ（ｎ）の１／２と同じであるため、欠落部分及び対応部分を作り出す際に、調整量Ｆ（ｎ）に基づいて引き延ばし率を決定し、上記の水平移動後の画像を引き延ばし率に応じて引き延ばし、引き延ばした後に画面外に位置することになった部分を除去して（即ち、画面内に位置する部分のみを取り出して）、左眼用表示画像Ｄａ３及び右眼用表示画像Ｄｂ３を生成する。
なお、引き延ばしを先に行った後に、水平移動を行っても良い。

図１４（ａ）及び図１４（ｂ）に示す例では、共通部分を水平方向に引き延ばして、元画像と同じ水平サイズを有するようにしている。
このうち、図１４（ａ）に示す例では、引き延ばし率を一定としている。即ち、図１４（ａ）の例では、元画像の水平サイズを共通部分の水平サイズで割ることで求められる引き延ばし率を画面の全体にわたり適用している。共通部分の水平サイズは、調整量Ｆ（ｎ）に基づいて求められる。即ち、元画像の水平方向の画素数がＸｏ、画素数で表される調整量がＦ（ｎ）であれば、引き延ばし率Ｒｈｏは、
Ｒｈｏ＝Ｘｏ／（Ｘｏ−Ｆ（ｎ））
で与えられる。

図１４（ａ）に示すように、画面全体にわたり一定の引き延ばし率で引き延ばせば、画像が少しだけ横長になるだけで、あまり違和感がない。

図１４（ｂ）に示す例では、引き延ばし率Ｒｈが画面の中央部では「１」であり、左右端部に近づくほどより大きな値としている。引き延ばし率Ｒｈの変化は直線的でも曲線的であっても良く、連続的（線形的）であっても不連続的（非線形的）であっても良い。さらにまた、引き延ばし率Ｒｈが「１」となる中央部分の幅はゼロであっても良い。言い換えると、中央部分から左右端部に向けて引き延ばし率Ｒｈが次第に増加する構成であっても良い。
この方法では、ユーザーが注視することの多い画面の中央部では、画像各部の縦横比を変えず、或いは縦横比の変化を小さくする抑えることで、違和感をなくし、或いは最小にすることができる。一方、左右端に近づくほど、引き延ばし率Ｒｈが大きくなるが、左右端部付近の画像は中央部ほど注視されないことが多く、引き延ばしたことが気付かれにくく、気付かれたとしても問題となりにくい。

図１４（ｃ）に示す例では、画像を水平方向に引き延ばすとともに、垂直方向にも引き延ばす。
引き延ばす率は、図１４（ｃ）に示す例のように、水平方向と垂直方向とで同じであっても良いが、異なっていても良い。例えば、垂直方向の引き延ばし率Ｒｖを水平方向の引き延ばし率Ｒｈよりも小さくしても良い。
図１４（ｃ）に示す例では、水平方向の引き延ばし率Ｒｈを、図１４（ａ）の例と同じ値（Ｒｈｏ）に定めるとともに、垂直方向にも、水平方向と同じ引き延ばし率Ｒｖｏ（＝Ｒｈｏ）で引き延ばしている。
このようにすることで、画面全体に亘り画像各部の縦横比を元画像と同じに保つことができる。
なお、元画像の上端部、下端部が画面からはみ出すので、切り取られてしまうが、画像各部の縦横比が保たれ、その点で好ましい。

図１４（ｄ）の方法では、左右の欠落部分及び対応部分に所定の模様又は無地の壁紙を表示する。無地の画像の場合には、黒、グレー等を表示する。
また、中央部分の画像とは異なる文字情報、例えば、ロゴや広告宣伝のための文字を表すものであっても良い。
この方法は、画像の引き延ばしを行なう必要がないので処理が簡単であり、また、共通部分の画像の縦横比を元画像のままに保つことができるので、その点で好ましい。

上記の欠落部分及び対応部分を埋める方法としては、図１４（ａ）〜（ｄ）を参照して説明した上記の方法に限らず、他の方法を用いても良い。

このようにして、画像生成部４は、視差調整部３から出力された調整量Ｆ（ｎ）に応じて、それぞれ左眼用の画像及び右眼用の画像を水平方向に移動させるとともに、移動の結果生じた欠落部分を何らかの画像で埋めることで、左眼用表示画像Ｄａ３及び右眼用表示画像Ｄｂ３を生成する。このことにより、調整量Ｆ（ｎ）が変わっても、左右画像のどちらかの端部の画像が欠けたり、異なる画像となることがなく、違和感のない良好な立体画像が得ることができる。

また、画像生成部４において調整量Ｆ（ｎ）に基づいて引き延ばし率を決定するのではなく、視差量調整量の最大値を予測して、予め定められた引き延ばし率で引き延ばすこととしても良い。この場合、視差調整のための水平移動の前に引き延ばしを行っても良い。

また、引き延ばしを行わず、そのまま表示し、視差調整で水平移動した結果生じた欠落部分ＧＬｍ、ＧＲｍを黒画面のままにしてもよい。この場合、欠落部分ＧＬｍ、ＧＲｍに対応する画像部分ＧＲｂ、ＧＬｂはそのまま表示する。

次に、表示出力部５の動作を説明する。立体表示を可能にする表示の方式としては、空間的に異なる座標に左眼用画像と右眼用画像を表示する方式や、時間的に異なるフレームに左眼用画像と右眼用画像を表示する方式などがある。表示出力部５は画像生成部４から左眼用表示画像Ｄａ３と右眼用表示画像Ｄｂ３を受けて、表示部２００に供給するのに適したフォーマットの画像信号Ｄａ４、Ｄｂ４を出力する。

なお、表示出力部５として、ある決まったフォーマットに変換して画像信号を出力するものとしても構わない。例えば、立体画像処理装置１００を備える記録再生装置、例えばブルーレイ再生録画装置を、表示部を備えるＴＶ受像機に接続する場合においても、本発明の効果が得られる。

このように、左眼用入力画像と右眼用入力画像から視差を検出し、検出した視差に基づいて調整の速さを制御しながら左眼用入力画像と右眼用入力画像を変更することによって、ユーザーにとって好適な視差量範囲に、違和感なく自然に調整でき、シーンチェンジが起きたときでも、３Ｄ画像のまま自然な違和感のない切り換えができる。

実施の形態２．
図１５は、本発明の実施の形態２に係る立体画像処理装置の構成を示す図である。図１５において、視差検出部１、シーンチェンジ検出部２、視差調整部３、画像生成部４、表示出力部５は、実施の形態１と同じ構成である。実施の形態２の立体画像処理装置１００内は、画像遅延部６が追加されている点で異なる。

画像遅延部６は、視差検出部１による視差の検出とシーンチェンジ検出部２によるシーンチェンジの検出のための時間を補償し、入力画像データＤａ１、Ｄｂ１を１又は複数フレーム遅延させた後に画像生成部４に入力するためのものである。

画像遅延部６は例えばフレームメモリで構成されている。その場合、一対の（互いに対をなす）左眼用入力画像データＤａ１及び右眼用入力画像データＤｂ１が該フレームメモリに、書き込まれ、１又は複数フレーム期間後に、該フレームメモリから読み出されて一対の左眼用画像データＤａ２及び右眼用画像データＤｂ２として出力される。これにより、１又は複数フレーム期間の遅延が行われる。このように遅延させるのは、視差検出やシーンチェンジ検出に要する時間に合わせて画像データを遅延させ、データを同期させるためである。

視差検出部１は、入力画像データＤａ１及びＤｂ１を受けて、これらのデータで表される画像の１画面の飛び出し側最大値Ｔｍａｘと引き込み側最大値Ｈｍａｘを検出する。
検出には、１画面（１フレーム）の情報が必要なため、検出結果は１フレーム期間以上遅れて出力される。
また、シーンチェンジ検出部２で、１画面分の平均輝度を求めて検出する場合、検出結果は１フレーム以上遅れて出力される。
そのため、画像遅延部６が設けられていない構成（図１の構成）の場合には、
画像生成部４への左眼用画像データ及び右眼用画像データの入力のタイミングに比べ、
視差調整部３からの調整量Ｆ（ｎ）の供給が１フレーム以上遅くなり、視差量調整が１フレーム以上遅れてしまうことになる。
特に、シーンチェンジ検出部２から出力されるシーンチェンジ検出信号ＳＣが１フレーム遅れるので、シーンチェンジの検出結果を視差量調整量に反映させるのがその分遅れてしまう。

連続したシーンであると、前のフレームの画像と現フレームの画像は相関があるため、前のフレームの画像と現フレームの画像では視差量は大きくは変わらず、前フレームの視差に基づいて生成された調整量で現フレーム（調整対象フレーム）の調整を行ってもあまり問題がないが、シーンチェンジが起きた場合、シーンチェンジ直後の画像は前フレームの画像と全く異なるため、現フレーム（調整対象フレーム）とは内容が異なる前フレームの視差に基づいて定められた調整量によって視差調整がされてしまうという問題がある。

実施の形態２では、この問題を解消するために、入力画像データＤａ１、Ｄｂ１について画像遅延部６を設け、視差検出、シーンチェンジ検出及びこれらに基づく調整量Ｆ（ｎ）の画像生成部４への供給と、対応する画像の画像生成部４へ供給を同期させることとしている。即ち、入力画像データＤａ１、Ｄｂ１に基づいて、視差検出、シーンチェンジ検出が行われ、これらの検出結果に基づいて調整量が定められて、画像生成部４に供給されるのと同期するように、当該入力画像データＤａ１、Ｄｂ１を画像遅延部６で遅延させることで得られた画像データＤａ２、Ｄｂ２が画像生成部４に供給されるようにしている。

なお、画像遅延部６としては、図示のように、別個のものを用意することなく、画像表示装置システム全体で、例えば、スケーリングや他の画像処理のためフレーム遅延が発生する回路ブロックと兼用して良い。その場合は、上記回路ブロックに入力される画像データを入力画像データＤａ１、Ｄｂ１として視差検出部１及びシーンチェンジ検出部２に入力し、上記回路ブロックから出力される１又は複数フレーム期間遅延した画像データを画像データＤａ２、Ｄｂ２として画像生成部４に供給することとすれば良い。
例えば、予め定められた引き延ばし率で引き延ばしを行う場合には、引き延ばしのための別個のスケーリング部を画像生成部４の前段に設け、該スケーリング部における処理のための時間を、同期のために必要な遅延時間の一部又は全部として利用しても良い。

画像生成部４は、視差調整部３から出力された調整量Ｆ（ｎ）に基づいて、画像遅延部６で遅延された左眼用画像Ｄａ２と右眼用画像Ｄｂ２から左眼用表示画像Ｄａ３と右眼用表示画像Ｄｂ３を生成して出力する。ここで、画像生成部４は、調整量Ｆ（ｎ）に基づいて、左眼用画像と右眼用画像をそれぞれ対にして画像を生成する。

このように、画像遅延部６を用いることで、視差検出やシーンチェンジ検出に伴う遅延による視差調整のタイミングのずれを解消でき、視差調整が最適なタイミングのフレームの画像に成される。

また、左眼用入力画像Ｄａ１と右眼用入力画像Ｄｂ１から視差を検出し、検出した視差に基づいて、画像遅延部６で遅延されて同期している左眼用画像Ｄａ２と右眼用画像Ｄｂ２の視差量を、調整の速さを制御しながら調整することによって、ユーザーにとって好適な視差量範囲に、違和感なく自然に調整でき、シーンチェンジが起きたときでも、最適なタイミングで視差調整し、自然な違和感のない良好な立体画像を得ることができる。

以上、飛び出し側で視差量が限界値を超えた場合、及び引き込み側で視差量が限界値を超えた場合のいずれの場合にも、視差量の調整を行う当たり調整の速さに制限を加えることとしているが、飛び出し側で視差量が限界値を超えた場合、及び引き込み側で視差量が限界値を超えた場合の一方の場合にのみ、視差量の調整の速さに制限を加えることとして良い。例えば、飛び出し側で視差量が限界値を超えた場合にのみ、視差量の調整の速さに制限を加え、引き込み側で視差量が限界値を超えた場合には、視差量の調整の速さに制限を加えず、直ちに視差量が限界値以内になるように調整を行っても良い。
さらにまた、飛び出し側及び引き込み側の一方でのみ、視差量が限界値を超える場合に、視差量の調整を行う構成にも本発明を適用することができる。

１ 視差検出部、 ２ シーンチェンジ検出部、 ３ 視差調整部、 ４ 画像生成部、 ５ 表示出力部、 ６ 画像遅延部、 １００ 立体画像処理装置、 ２００ 表示部。

Claims (15)

1. 動画像の各フレームの画像であって、互いに対をなす左眼用入力画像データ及び右眼用入力画像データを入力とし、前記左眼用入力画像データで表される左眼用画像と、前記右眼用入力画像データで表される右眼用画像の間の視差量の最大値を検出する視差検出部と、
   前記左眼用画像及び前記左眼用画像におけるシーンチェンジを検出するシーンチェンジ検出部と、
   前記検出された視差量の最大値が、設定された限界値を超えるときに、表示される画像における視差量が前記限界値以下となるようにするための調整量を生成する視差調整部と、
   前記左眼用入力画像データ及び前記右眼用入力画像データ、又は左眼用入力画像データ及び前記右眼用入力画像データを１又は２以上のフレーム期間遅延させることで得られる画像データから、前記調整量に応じて視差量が調整された左眼用表示画像データ及び右眼用表示画像データを生成する画像生成部と、
   前記左眼用表示画像データ及び前記右眼用表示画像データから所定のフォーマットの表示用画像信号を出力する表示出力部とを備え、
   前記視差調整部は、
   前記シーンチェンジ検出部でシーンチェンジが検出されており、前記視差検出部で検出された視差量の最大値が前記限界値を超えている場合には、表示される画像における視差量が直ちに前記限界値以下となるように、前記調整量の値を定め、
   前記シーンチェンジ検出部でシーンチェンジが検出されておらず、前記視差検出部で検出された視差量の最大値が前記限界値を超えている場合には、表示される画像における視差量が徐々に前記限界値以下となるように、前記調整量の値を定める
   ことを特徴とする立体画像処理装置。
2. あるフレームのデータについて、
   前記視差検出部により、前記最大値が前記限界値を超えていることが検出され、
   前記シーンチェンジ検出部により、シーンチェンジが検出されたときは、
   前記視差調整部は、次に前記画像生成部で生成されるフレームの視差量が、前記限界値以下となるように、前記調整量の値を定め、
   あるフレームのデータについて、
   前記視差検出部により、前記最大値が前記限界値を超えていることが検出され、
   前記シーンチェンジ検出部により、シーンチェンジが検出されていないときは、
   前記視差調整部は、それ以降前記画像生成部で相前後して生成されるフレーム間での前記調整量の変化が所定値を超えないように前記調整量の値を定め、これにより前記間の視差量が１又は複数のフレーム後に前記限界値以下となるようにする
   ことを特徴とする請求項１に記載の立体画像処理装置。
3. 前記所定値は、前記最大値と前記限界値の差に応じて変わる値であることを特徴とする請求項２に記載の立体画像処理装置。
4. 前記視差調整部は、
   前記シーンチェンジ検出部によりシーンチェンジが検出されていないときは、
   前記最大値から前記限界値を引くことで得られる調整量目標値から、１フレーム前の調整量を引くことで得られる調整量差分に基づいて、調整量変更分を生成し、
   該調整量変更分を前記１フレーム前の調整量に加算することで、現フレームの調整量を生成し、
   前記調整量変更分は、前記調整量差分の絶対値が所定値以上の領域において、前記調整量差分よりも小さな絶対値を有するように生成される
   ことを特徴とする請求項１から３のいずれか１項に記載の立体画像処理装置。
5. 前記調整量差分の絶対値と、該調整量差分に基づいて生成される前記調整量変更分の絶対値の関係は、
   前記調整量差分が正の値であるときと、
   前記調整量差分が負の値であるときとで、
   互いに異なるものであることを特徴とする請求項４に記載の立体画像処理装置。
6. 前記視差調整部は、
   前記シーンチェンジ検出部によりシーンチェンジが検出されたときは、
   前記最大値から前記限界値を引くことで得られる調整量目標値を、前記調整量として出力する
   ことを特徴とする請求項１から３のいずれか１項に記載の立体画像処理装置。
7. 前記シーンチェンジ検出部でシーンチェンジが検出されていないときは、
   前記視差調整部は、
   前記最大値を複数フレームにわたって平均することで、前記最大値の平均値を求め、
   該最大値の平均値に基づいて、前記調整量を定めることを特徴とする請求項１から３のいずれか１項に記載の立体画像処理装置。
8. 前記シーンチェンジ検出部でシーンチェンジが検出されたときは、
   前記視差調整部は、
   前記最大値の平均値の代わりに、前記最大値に基づいて前記調整量を定める
   ことを特徴とする請求項７に記載の立体画像処理装置。
9. 前記シーンチェンジ検出部でシーンチェンジが検出されていないとき、
   前記視差調整部は、調整量目標値を複数フレームにわたって平均化することで、平均調整量目標値を定め、
   該平均調整量目標値に基づいて前記調整量を定める
   ことを特徴とする請求項１から３のいずれか１項に記載の立体画像処理装置。
10. 前記シーンチェンジ検出部でシーンチェンジ検出されたときは、
    前記視差調整部は、前記平均調整量目標値の代わりに、前記調整量目標値に基づいて前記調整量を定める
    ことを特徴とする請求項９に記載の立体画像処理装置。
11. 前記視差量の最大値として、飛び出し側の最大値と引き込み側の最大値が求められ、
    前記限界値として飛び出し側の限界値と引き込み側の限界値が設定され、
    前記飛び出し側の最大値が前記飛び出し側の限界値を超えたとき、及び／又は
    前記引き込み側の最大値が前記引き込み側の限界値を超えたときに、
    前記視差調整部は、表示される画像の視差量を調整するための調整量を生成する
    ことを特徴とする請求項１から１０のいずれか１項に記載の立体画像処理装置。
12. 前記視差調整部は、
    検出された前記引き込み側の最大値が前記引き込み側の限界値を超えたことに対する前記視差量の調整を、
    検出された前記飛び出し側の最大値が前記飛び出し側の限界値を超えたことに対する前記視差量の調整よりも優先して
    行うことを特徴とする請求項１１に記載の立体画像処理装置。
13. 前記シーンチェンジ検出部は、
    前記視差検出部で検出された視差量の変化に基づいて前記シーンチェンジの検出を行う
    ことを特徴とする請求項１から１２のいずれか１項に記載の立体画像処理装置。
14. 前記視差検出部による視差の検出と前記シーンチェンジ検出部によるシーンチェンジの検出のための時間を補償するように、
    前記左眼用入力画像データ及び右眼用入力画像データを１又は複数フレーム遅延させた後に前記画像生成部に入力する画像遅延部をさらに有することを特徴とする請求項１から１３のいずれか１項に記載の立体画像処理装置。
15. 請求項１から１４のいずれか１項に記載の立体画像処理装置と、
    該立体画像処理装置の前記表示出力部から出力される前記表示用画像信号に基づいて立体画像を表示する表示部と
    を備えた立体画像表示装置。

Images