JPWO2013128765A1 - 画像処理装置、画像処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】ユーザの目に疲労感を与えないように、複数の３Ｄ画像を合成する際に、矛盾のある画像の生成を防ぐことが可能な画像処理装置を提供する。【解決手段】複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出部と、各前記３Ｄ画像に対して前記視差検出部が検出した視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析部と、各前記３Ｄ画像に対して前記視差解析部が生成した視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像が重ならないように視差を変換する視差制御部と、を備える、画像処理装置が提供される。【選択図】図１

Description

本開示は、画像処理装置、画像処理方法およびコンピュータプログラムに関する。

画像を立体的に見せることが出来る３Ｄ画像の表示に関する技術が広く開発されている。また、複数の３Ｄ画像の合成表示に関する技術も提案されている（特許文献１参照）。特許文献１に記載された技術は、３Ｄの主画像に３Ｄの副画像を合成してその合成画像を表示する場合、３Ｄの主画像の画面に垂直な方向である奥行き方向における３Ｄ主画像の位置が、奥行き方向における副画像の位置から離れすぎたり、近づきすぎたりすることがあると、ユーザの目に疲労感を与えてしまうので、その疲労感を軽減するための技術である。

特開２０１１−１６６７６１号公報

特許文献１に記載された技術は、３Ｄの主画像と３Ｄの副画像とのそれぞれの統計情報を用いて、主画像および副画像の奥行き方向の位置間隔が所定範囲内になるように補正するものである。

しかし、３Ｄの主画像または３Ｄの副画像の画像全体を奥行き方向にシフトさせて補正すると、各画像の視差のダイナミックレンジは変えられないので、場合によっては、ある３Ｄ画像に他の３Ｄ画像がめり込んで表示されてしまう等の矛盾のある画像が生成されてしまうという問題があった。

そこで、本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、ユーザの目に疲労感を与えないように、複数の３Ｄ画像を合成する際に、矛盾のある画像の生成を防ぐことが可能な、新規かつ改良された画像処理装置、画像処理方法およびコンピュータプログラムを提供することにある。

本開示によれば、複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出部と、各前記３Ｄ画像に対して前記視差検出部が検出した視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析部と、各前記３Ｄ画像に対して前記視差解析部が生成した視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像が重ならないように視差を変換する視差制御部と、を備える、画像処理装置が提供される。

かかる構成によれば、視差検出部は、供給されてくる複数の３Ｄ画像のそれぞれに対して視差を検出し、視差解析部は、各３Ｄ画像に対して視差検出部が検出した視差を用いて、各３Ｄ画像に対して視差の統計情報を生成する。そして視差制御部は、各３Ｄ画像に対して視差解析部が生成した視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各３Ｄ画像が重ならないように視差を変換する。その結果、かかる画像処理装置は、ユーザの目に疲労感を与えないように、複数の３Ｄ画像を合成する際に、矛盾のある画像の生成を防ぐことが可能となる。

また本開示によれば、複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出することと、各前記３Ｄ画像に対して前記検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成することと、各前記３Ｄ画像に対して前記生成された視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像が重ならないように視差を変換することと、を備える、画像処理方法が提供される。

また本開示によれば、コンピュータに、複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出することと、各前記３Ｄ画像に対して前記検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成することと、各前記３Ｄ画像に対して前記生成された視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像が重ならないように視差を変換することと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本開示によれば、ユーザの目に疲労感を与えないように、複数の３Ｄ画像を合成する際に、矛盾のある画像の生成を防ぐことが可能な、新規かつ改良された画像処理装置、画像処理方法およびコンピュータプログラムを提供することができる。

本開示の第１の実施形態にかかる画像処理装置の機能構成を示す説明図である。 視差解析部１２０ａ、１２０ｂが生成する視差統計情報の例を示す説明図である。 本開示の第１の実施形態にかかる画像処理装置１００の動作を示す流れ図である。 本開示の第１の実施形態にかかる画像処理装置１００の動作を示す流れ図である。 視差制御部１３０が、３Ｄ画像の視差統計情報を、それぞれの表示サイズに応じた統計情報に変換する場合の例を示す説明図である。 視差解析部１２０ａ、１２０ｂが求めた統計情報の例を示す説明図である。 視差解析部１２０ａ、１２０ｂが求めた統計情報の例を示す説明図である。 各３Ｄ画像について求めた視差レンジが、他の３Ｄ画像の視差レンジと重ならないように補正量を計算する例を示す説明図である。 各３Ｄ画像に対して補正量を計算する例を示す説明図である。 各３Ｄ画像に対して補正量を計算する例を示す説明図である。 オリジナルの３Ｄ画像とｄｉｓｐ＿ｍｉｎ，ｄｉｓｐ＿ｍａｘとの関係例を示す説明図である。 ２Ｄ／３Ｄ変換を行なって、３Ｄ画像の視差レンジをｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値の範囲内に収める場合の例を示す説明図である。 本開示の第２の実施形態にかかる画像処理装置の機能構成を示す説明図である。 本開示の第２の実施形態にかかる画像処理装置１００の動作を示す流れ図である。 ３Ｄ画像におけるオブジェクトの位置関係の例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．第１の実施形態＞
［画像処理装置の構成例］
［画像処理装置の動作］
＜２．第２の実施形態＞
［画像処理装置の構成例］
［画像処理装置の動作］
＜３．まとめ＞

＜１．第１の実施形態＞
［画像処理装置の構成例］
まず、本開示の第１の実施形態にかかる画像処理装置の機能構成例を説明する。図１は、本開示の第１の実施形態にかかる画像処理装置の機能構成を示す説明図である。以下、図１を用いて本開示の第１の実施形態にかかる画像処理装置の機能構成について説明する。

画像処理装置１００は、例えば、ＢＤ（Ｂｌｕ−Ｒａｙ（商標）Ｄｉｓｃ）などの記録媒体から読み出されたり、ネットワークなどを介して外部の装置から受信されたりした主画像データ、副画像データ等を受信する。なお、本明細書で使用されるとき、「主画像データ」という用語は一画面のための所定のサイズの３Ｄの主画像の画像データを指し、「副画像データ」という用語は一画面のための所定サイズの３Ｄの副画像の画像データを指す。主画像は、例えば３Ｄ画像のメインとなる画像であり、副画像はそのメインとなる画像に付随して表示される字幕、エフェクト等からなる画像である。また、主画像の中に一部に表示されるものを副画像としても良い。画像処理装置１００は、３Ｄの主画像と、３Ｄの副画像とを合成して、合成画像データを生成する。

図１に示したように、画像処理装置１００は、視差検出部１１０ａ、１１０ｂと、視差解析部１２０ａ、１２０ｂと、視差制御部１３０と、画像変換部１４０ａ、１４０ｂと、画像重畳部１５０と、ディスプレイ１６０と、を含んで構成される。

視差検出部１１０ａは、外部から入力された主画像データを構成する、左目用の主画像の画像データと右目用の主画像の画像データとを用いて、３Ｄの主画像の視差を画素ごとに検出する。視差の検出は、例えば、特開２０１１−０５５０２２号で開示されている技術を用いても良い。視差検出部１１０ａは、３Ｄの主画像の視差を画素毎に検出すると、検出した視差についてのデータを視差解析部１２０ａに供給する。なお、視差は、単一の画素からではなく、複数の画素を含むブロックから検出されてもよい。

同様に、視差検出部１１０ｂは、外部から入力された副画像データを構成する、左目用の主画像の画像データと右目用の副画像の画像データとを用いて、３Ｄの副画像の視差を画素ごとに検出する。視差検出部１１０ｂは、３Ｄの副画像の視差を画素毎に検出すると、検出した視差についてのデータを視差解析部１２０ｂに供給する。

視差解析部１２０ａは、視差検出部１１０ａが検出した３Ｄの主画像の視差の情報を解析して、３Ｄの主画像の視差統計情報を生成する。視差解析部１２０ａは、視差の統計情報として、例えば、特開２０１１−０５５０２２号で開示されている技術を用いて視差分布を生成してもよく、または、主画像の各画素の視差を表す視差マップを生成してもよい。視差マップの生成には、例えば、特開２００６−１１４０２３号公報に記載されている技術を用いても良い。視差解析部１２０ａは、３Ｄの主画像の視差統計情報を生成すると、生成した視差統計情報を視差制御部１３０に供給する。

同様に、視差解析部１２０ｂは、視差検出部１１０ｂが検出した３Ｄの副画像の視差の情報を解析して、視差の統計情報を生成する。視差解析部１２０ｂは、３Ｄの副画像の視差統計情報を生成すると、生成した視差統計情報を視差制御部１３０に供給する。

図２は、視差解析部１２０ａ、１２０ｂが生成する視差統計情報の例を示す説明図である。視差解析部１２０ａ、１２０ｂは、３Ｄの主画像および副画像の視差の情報を解析して、図２に示したような視差統計情報を生成する。図２では、ディスプレイ面より奥側に再頻度の視差が存在している例が示されている。

視差制御部１３０は、外部から入力される３Ｄの主画像の画像サイズ、表示サイズ、および表示位置を受信する。また、視差制御部１３０は、外部から入力される３Ｄの副画像の画像サイズ、表示サイズ、および表示位置を受信する。表示位置の情報としては、３Ｄ画像として超えてはいけない手前側および奥側の視差の基準値の情報が、視差制御部１３０に供給される。

人は、画面の奥側の視差が目幅よりも広くついた３Ｄ画像を見ることはできない。従って、少なくとも３Ｄ画像における画面の奥側の視差は目幅を超えないようにしなければならない。また、人が３Ｄとして融像できるためには、画面の手前側の視差量も考慮する必要がある。この値は個人差があり一様に決める事はできないが、３Ｄコンソーシアムが策定した、３Ｄ映像の安全ガイドライン（３ＤＣ安全ガイドライン）では、３Ｄ映像を表示するテレビでは、視差角を１度以内に収めると目に易しい映像であるとされている（http://www.3dc.gr.jp/jp/scmt_wg_rep/guide_index.html）。つまり、３Ｄ画像の視差は、あるレンジの中に収める必要がある。そのレンジについての情報が視差制御部１３０に供給される。ここでは、超えてはいけない画面手前側の視差の基準値をｄｉｓｐ＿ｍｉｎ、画面奥側の視差の基準値をｄｉｓｐ＿ｍａｘとする。

そして視差制御部１３０は、視差解析部１２０ａから供給される３Ｄの主画像の統計情報、および視差解析部１２０ｂから供給される３Ｄの副画像の統計情報を用いて、めり込みなどの矛盾が起きないように、主画像・副画像それぞれの視差（奥行き）を調整するための補正方法および補正量を求める。視差制御部１３０による、主画像・副画像それぞれの視差（奥行き）を調整するための補正方法および補正量の求め方については、後に詳述する。視差制御部１３０は、３Ｄの主画像・副画像それぞれの視差（奥行き）を調整するための補正方法および補正量を求めると、その補正方法および補正量の情報を画像変換部１４０ａ、１４０ｂに供給する。３Ｄの主画像・副画像の補正方法については後に詳述する。

画像変換部１４０ａは、視差制御部１３０が求めた、３Ｄの主画像の視差（奥行き）を調整するための補正方法および補正量に基づいて、３Ｄの主画像を加工する。画像変換部１４０ａは、３Ｄの主画像を加工すると、加工後の３Ｄの主画像を画像重畳部１５０へ供給する。

同様に、画像変換部１４０ｂは、視差制御部１３０が求めた、３Ｄの副画像の視差（奥行き）を調整するための補正方法および補正量に基づいて、３Ｄの副画像を加工する。画像変換部１４０ｂは、３Ｄの副画像を加工すると、加工後の３Ｄの副画像を画像重畳部１５０へ供給する。

画像重畳部１５０は、画像変換部１４０ａによって加工された３Ｄの主画像と、画像変換部１４０ｂによって加工された３Ｄの副画像とを重畳する。画像重畳部１５０は、３Ｄの主画像と副画像とを重畳すると、重畳して得られる表示画像データをディスプレイ１６０に供給する。

ディスプレイ１６０は、３Ｄ画像を表示することが可能な３Ｄディスプレイで形成される。ディスプレイ１６０は、画像重畳部１５０から供給される表示画像データを用いて、左目用の画面と右目用の画面を時分割で表示する。このとき、ユーザは、例えば、左目用の画面と右目用の画面の切り替えに同期したシャッタ付き眼鏡を装着してディスプレイ１６０に表示される画像を見る。ユーザは、左目用の画面を左目だけで見て、右目用の画面を右目だけで見る。これにより、ユーザは、３Ｄの主画像と副画像とが重畳された３Ｄ画像を見ることができる。

なお、ディスプレイ１６０は、ユーザに裸眼で３Ｄ画像として認識できるような３Ｄディスプレイで形成されていても良い。そのような３Ｄディスプレイとしては、例えばパララックスバリア方式（視差バリア方式）、レンティキュラ方式を用いたもの等がある。

以上、図１を用いて本開示の第１の実施形態にかかる画像処理装置の機能構成について説明した。次に、本開示の第１の実施形態にかかる画像処理装置の動作について説明する。

［画像処理装置の動作］
図３は、本開示の第１の実施形態にかかる画像処理装置１００の動作を示す流れ図である。以下、図３を用いて本開示の第１の実施形態にかかる画像処理装置１００の動作について説明する。

本開示の第１の実施形態にかかる画像処理装置１００は、複数の３Ｄ画像データ（例えば、３Ｄの主画像データおよび副画像データ）を受信すると、それぞれの３Ｄ画像の視差を計算する（ステップＳ１０１）。３Ｄ画像の視差の計算は、視差検出部１１０ａ、１１０ｂが実行する。視差の検出は、上述したように、例えば、特開２０１１−０５５０２２号で開示されている技術を用いても良い。なお、視差の情報が、３Ｄ画像データと共に送られてくる情報等によって既知である場合には、このステップＳ１０１の視差計算処理はスキップしても良い。

上記ステップＳ１０１で、複数の３Ｄ画像データについてそれぞれの３Ｄ画像の視差を計算すると、続いて画像処理装置１００は、それぞれの３Ｄ画像の視差の情報を解析して、３Ｄ画像の視差統計情報を生成する（ステップＳ１０２）。３Ｄ画像の視差統計情報の生成は、視差解析部１２０ａ、１２０ｂが実行する。視差解析部１２０ａ、１２０ｂは、視差の統計情報として、例えば、特開２０１１−０５５０２２号で開示されている技術を用いて視差分布を生成してもよく、または、主画像の各画素の視差を表す視差マップを生成してもよい。視差マップの生成には、例えば、特開２００６−１１４０２３号公報に記載されている技術を用いても良い。

上記ステップＳ１０２で、複数の３Ｄ画像データについて、３Ｄ画像の視差の情報を解析して、３Ｄ画像の視差統計情報を生成すると、続いて画像処理装置１００は、３Ｄ画像の視差統計情報と、画像サイズ、表示サイズ、および表示位置の情報とを用いて、３Ｄ画像の補正方法と補正量とを計算する（ステップＳ１０３）。それぞれの３Ｄ画像の補正方法と補正量との計算は、視差制御部１３０が実行する。

上記ステップＳ１０３で、それぞれの３Ｄ画像の補正方法と補正量とを計算すると、続いて画像処理装置１００は、上記ステップＳ１０３で計算した３Ｄ画像の補正方法と補正量とに基づいて３Ｄ画像を変換する（ステップＳ１０４）。３Ｄ画像の変換は、画像変換部１４０ａ、１４０ｂが実行する。

上記ステップＳ１０４で、それぞれの３Ｄ画像に対して、上記ステップＳ１０３で計算した３Ｄ画像の補正方法と補正量とに基づいて変換を実行すると、続いて画像処理装置１００は、複数の３Ｄ画像を合成し、１つの３Ｄ画像として表示するための表示画像データを生成する（ステップＳ１０５）。

本開示の第１の実施形態にかかる画像処理装置１００は、図３に示したような動作を行うことによって、ユーザの目に疲労感を与えないように複数の３Ｄ画像を合成する際に、矛盾のある画像の生成を防ぐことが可能となる。

続いて、上記ステップＳ１０３における、３Ｄ画像の補正方法および補正量の計算方法について、詳細に説明する。

図４は、本開示の第１の実施形態にかかる画像処理装置１００の動作を示す流れ図である。図４に示した流れ図は、図３のステップＳ１０３に示した、３Ｄ画像の補正方法および補正量の計算について詳細に示したものである。以下の説明では、図４に示した動作は視差制御部１３０が行うとして説明する。以下、図４を用いて本開示の第１の実施形態にかかる画像処理装置１００の動作について説明する。

３Ｄ画像の補正方法および補正量を計算するには、まず視差制御部１３０は、まずは、複数の３Ｄ画像の視差統計情報を、それぞれの表示サイズに応じた統計情報に変換する（ステップＳ１１１）。例えば、画像サイズの２倍のサイズを表示サイズとするならば、視差統計情報（視差量）も２倍にする。

図５は、視差制御部１３０が、３Ｄ画像の視差統計情報を、それぞれの表示サイズに応じた統計情報に変換する場合の例を示す説明図である。例えば、視差解析部１２０ａ（または視差解析部１２０ｂ）によって、視差統計情報が図５の左側のグラフのように求められた場合に、オリジナルの画像サイズの２倍のサイズが表示サイズであるときは、視差制御部１３０は、図５の右側に示したように、視差統計情報における視差量を２倍に変換する。視差制御部１３０は、この統計情報の変換を全ての３Ｄ画像に対して実行する。

上記ステップＳ１１１で、視差制御部１３０が複数の３Ｄ画像の視差統計情報をそれぞれの表示サイズに応じた統計情報に変換すると、次に視差制御部１３０は、変換後の複数の３Ｄ画像それぞれの視差のレンジを求める（ステップＳ１１２）。視差のレンジとは、最も手前側の視差と最も奥側の視差のレンジを表し、奥行のダイナミックレンジに相当する。視差解析部１２０ａ、１２０ｂが求めた統計情報が視差分布であれば、視差分布の横軸の有効幅が視差のレンジとなる。視差解析部１２０ａ、１２０ｂが求めた視差統計情報が視差マップならば、マップの中の最も手前側の視差と最も奥側の視差が視差のレンジとなる。

なお視差制御部１３０は、視差のレンジを求める際に、ノイズによる影響や視差検出の精度や誤検出を考慮して、視差のレンジを決めてもよい。例えば、視差解析部１２０ａ、１２０ｂが求めた統計情報が視差分布ならば、視差制御部１３０は、ある度数以下の視差、もしくは全体の度数に占める割合がある一定値以下の視差は、ノイズ等の影響と考えて視差のレンジに含めない閾値処理を行ってもよく、また、視差制御部１３０は、主要な視差分布に対して孤立している視差分布は視差のレンジに含めない除外処理を行なってもよい。

図６は、視差解析部１２０ａ、１２０ｂが求めた統計情報の例を示す説明図である。図６では、視差解析部１２０ａ、１２０ｂが求めた統計情報で、主要な視差分布に対して孤立している視差分布が存在している様子が例示されている。視差制御部１３０は、主要な視差分布に対して、孤立している視差分布は視差のレンジに含めない除外処理を行なってもよい。

また視差制御部１３０は、視差のレンジを求める際に、最も度数が多い視差を優遇して、その視差を中心に一定の広がりを持たせて視差のレンジを決める最頻度中心処理を行なってもよい。最も度数が多い視差には、その画像における主要被写体などが含まれる可能性が高いと考えられるからである。

図７は、視差解析部１２０ａ、１２０ｂが求めた統計情報の例を示す説明図である。図７では、視差解析部１２０ａ、１２０ｂが求めた統計情報における最も度数が多い視差を中心に一定の広がりを持たせて視差のレンジを決める様子が例示されている。

なお、視差解析部１２０ａ、１２０ｂが求めた統計情報が視差マップである場合にも同様に、閾値処理や除外処理、最頻度中心処理によって視差レンジを求めても良い。

上記ステップＳ１１２で、視差制御部１３０が、変換後の複数の３Ｄ画像それぞれの視差のレンジを求めると、続いて視差制御部１３０は、各３Ｄ画像について求めた視差レンジが、他の３Ｄ画像の視差レンジと重ならないように補正量を計算する（ステップＳ１１３）。

図８は、各３Ｄ画像について求めた視差レンジが、他の３Ｄ画像の視差レンジと重ならないように補正量を計算する例を示す説明図である。例えば、図８に示したように、主画像の３Ｄ画像の手前に副画像の３Ｄ画像を合成して３Ｄ表示する場合に、主画像データの視差レンジが−１０〜３０、副画像データのレンジが−２０から０であるならば、−１０〜０の視差レンジが重なっていることになる。

従って、視差制御部１３０は、主画像の３Ｄ画像を奥側に１０だけ、または副画像の３Ｄ画像を手前側に−１０だけ補正する。または、視差制御部１３０は、主画像と副画像の合計の補正量が１０となるように、主画像を奥側へ、副画像を手前側へ、それぞれ補正してもよい。なお、副画像の３Ｄ画像は動かさずに、主画像の３Ｄ画像の視差を移動させるようにしても良い。

なお、この補正量とは、左右の画像を、ディスプレイ面に対して垂直方向にシフトする視差の値を表す。視差制御部１３０は、３Ｄ画像全体をディスプレイ面に対して垂直方向にシフトする事で視差を変化させる。

しかし、人は、画面の奥側の視差が目幅よりも広くついた３Ｄ画像を見ることはできない。従って、少なくとも３Ｄ画像における画面の奥側の視差は目幅を超えないようにしなければならない。また、人が３Ｄとして融像できるためには、画面の手前側の視差量も考慮する必要がある。従って、各３Ｄ画像について求めた視差レンジが、他の３Ｄ画像の視差レンジと重ならないように補正量を計算するといっても、合成後の画像が３Ｄ画像として視認出来なくなってしまっては意味が無い。従って、合成後の画像が３Ｄ画像として視認出来るように補正量を決定することが望ましい。

上記ステップＳ１１３で、視差制御部１３０が、各３Ｄ画像について求めた視差レンジが、他の３Ｄ画像の視差レンジと重ならないように補正量を計算すると、続いて視差制御部１３０は、３Ｄ画像として超えてはいけない画面手前側の視差の基準値ｄｉｓｐ＿ｍｉｎ、および画面奥側の視差の基準値ｄｉｓｐ＿ｍａｘを取得する（ステップＳ１１４）。

このｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値は、ディスプレイ１６０のサイズや、ユーザの３Ｄ画像の視聴環境に応じて適宜設定される値である。また、ｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値はユーザが適宜設定できるようにしてもよい。

上記ステップＳ１１４で、視差制御部１３０がｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値を取得すると、続いて視差制御部１３０は、取得したｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値の範囲内に、上記ステップＳ１１３で決定した補正量によって補正される３Ｄ画像の視差レンジが収まっているかどうかを判断する（ステップＳ１１５）。

上記ステップＳ１１５の判断の結果、ｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値の範囲内に、上記ステップＳ１１３で決定した補正量によって補正される３Ｄ画像の視差レンジを収めることが出来れば、視差制御部１３０は、ｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値の範囲内に収めるような補正量を計算する。

図９および図１０は、各３Ｄ画像について求めた視差レンジが、他の３Ｄ画像の視差レンジと重ならないように、かつｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの範囲を超えないように補正量を計算する例を示す説明図である。

例えば、図９に示したように、主画像の３Ｄ画像の手前に副画像の３Ｄ画像を合成して３Ｄ表示する場合に、主画像データの視差レンジが−１０〜３０、副画像データの視差レンジが−２０〜０、ｄｉｓｐ＿ｍｉｎ＝−２０、ｄｉｓｐ＿ｍａｘ＝５０とすると、副画像を手前側にシフトさせると、ｄｉｓｐ＿ｍｉｎを超えて手前側に画像が表示されてしまう。従ってこのような場合は、視差制御部１３０は、主画像を１０だけ奥へシフトするように制御する。

また例えば、図１０に示したように、主画像の３Ｄ画像の手前に副画像の３Ｄ画像を合成して３Ｄ表示する場合に、主画像データの視差レンジが−１０〜３０、副画像データの視差レンジが−２０〜０、ｄｉｓｐ＿ｍｉｎ＝−３０、ｄｉｓｐ＿ｍａｘ＝３０とすると、主画像を画面の奥側にシフトさせると、ｄｉｓｐ＿ｍａｘを超えて奥側に画像が表示されてしまう。従ってこのような場合は、視差制御部１３０は、副画像だけを１０だけ手前へシフトするように制御する。

また視差制御部１３０は、ｄｉｓｐ＿ｍｉｎとｄｉｓｐ＿ｍａｘの値を変える事で、副画像または主画像のいずれか一方の視差を固定して、もう一方の画像の視差を変えるように制御してもよい。

一方、上記ステップＳ１１５の判断の結果、複数の３Ｄ画像の視差が重ならないように、かつ、ｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値の範囲内に、上記ステップＳ１１３で決定した補正量によって補正される３Ｄ画像の視差レンジを収めることが出来ない場合は、画像全体をディスプレイ１６０のディスプレイ面の垂直方向にシフトさせて視差を変更させる補正方法では対応できない。従ってそのような場合は、視差制御部１３０は、補正方法を２Ｄ／３Ｄ変換に決定する（ステップＳ１１７）。２Ｄ／３Ｄ変換は、２Ｄ画像から擬似的に３Ｄ画像を生成するものであり、本実施例では、視差制御部１３０は、３Ｄ画像のどちらか一方の視点の画像から、疑似的に３Ｄ画像を生成する。

２Ｄ／３Ｄ変換は、視差（奥行）のダイナミックレンジを自由に変えることができるので、ｄｉｓｐ＿ｍｉｎ，ｄｉｓｐ＿ｍａｘの値の範囲内に視差レンジを収めることができる。図１１は、オリジナルの３Ｄ画像とｄｉｓｐ＿ｍｉｎ，ｄｉｓｐ＿ｍａｘとの関係例を示す説明図である。図１１には、オリジナルの３Ｄ画像の視差レンジをｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値の範囲内に収めることができない状態が例示されている。このような場合には、視差制御部１３０は２Ｄ／３Ｄ変換を行なって、３Ｄ画像の視差レンジをｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値の範囲内に収めるようにする。

図１２は、オリジナルの３Ｄ画像に対して２Ｄ／３Ｄ変換を行なって、３Ｄ画像の視差レンジをｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値の範囲内に収める場合の例を示す説明図である。図１２には、視差レンジをｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値の範囲内に収めるように左目用の画像を３Ｄ画像に変換する状態が例示されている。このように、２Ｄ／３Ｄ変換は、視差（奥行）のダイナミックレンジを自由に変えることができるので、オリジナルの３Ｄ画像では視差レンジをｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの値の範囲内に収めることができない場合でも、ｄｉｓｐ＿ｍｉｎ，ｄｉｓｐ＿ｍａｘの値の範囲内に視差レンジを収めることができる。

なお、２Ｄ／３Ｄ変換は主画像または副画像のどちらか一方の画像に対して処理してもよいし、両方とも変換してもよい。また、２Ｄ／３Ｄ変換の際には、視差統計情報の分布状態を維持しつつ、２Ｄ画像から３Ｄ画像へ変換してもよい。

以上、図４を用いて本開示の第１の実施形態にかかる画像処理装置１００の動作について説明した。このように３Ｄ画像の視差を補正することで、ユーザの目に疲労感を与えないように複数の３Ｄ画像を合成する際に、矛盾のある画像の生成を防ぐことが可能となる。

なお、本実施形態では、視差制御部１３０がｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘを取得して、このｄｉｓｐ＿ｍｉｎ、ｄｉｓｐ＿ｍａｘの範囲内に収まるよう３Ｄ画像の視差を補正していたが、本開示はかかる例に限定されるものではない。例えば、３Ｄ視聴に適した視聴距離はディスプレイ１６０の画面サイズに依存するものと言われており、例えば、３Ｄ視聴に適した視聴距離は、画面の縦辺の長さの３倍であるとされている。従って、視差制御部１３０は、３Ｄ画像の視差を補正する際に、ディスプレイ１６０の画面サイズ、とりわけ、縦辺の長さの情報や、目幅（特に両眼の瞳孔間の間隔）、視差角を考慮してもよい。

以上説明したように本開示の第１の実施形態にかかる画像処理装置１００は、複数の３Ｄ画像を合成して１つの３Ｄ画像を生成する際に、それぞれの３Ｄ画像の視差の統計情報を求め、その統計情報に基づいて各３Ｄ画像の視差のレンジを求め、各３Ｄ画像の視差のレンジが重ならないように補正方法および補正方法を決定する。補正方法および補正量を決定するに際しては、３Ｄ画像として超えてはいけない画面手前側の視差の基準値ｄｉｓｐ＿ｍｉｎ、および画面奥側の視差の基準値ｄｉｓｐ＿ｍａｘの範囲内に収まるように補正方法および補正量を決定する。

このように各３Ｄ画像に対して補正方法および補正量を決定し、各３Ｄ画像を合成することで、ユーザの目に疲労感を与えないような３Ｄ画像を生成することが出来ると共に、ある３Ｄ画像に別の３Ｄ画像が重なって表示されるめり込み等の矛盾のある画像の生成を防ぐことが可能となる。

＜２．第２の実施形態＞
上述した本開示の第１の実施形態では、画像全体の視差をシフトさせることで、めり込み等の矛盾のある画像の生成を防いでいた。本開示の第２の実施形態では、各画像に対し、画面に含まれている被写体等のオブジェクトの領域を検出し、オブジェクト単位で視差の解析および制御を行うことでめり込み等の矛盾のある画像の生成を防ぐ場合について説明する。

図１３は、本開示の第２の実施形態にかかる画像処理装置の機能構成を示す説明図である。以下、図１３を用いて本開示の第２の実施形態にかかる画像処理装置の機能構成について説明する。

画像処理装置２００は、本開示の第１の実施形態にかかる画像処理装置１００と同様に、例えば、ＢＤ（Ｂｌｕ−Ｒａｙ（商標）Ｄｉｓｃ）などの記録媒体から読み出されたり、ネットワークなどを介して外部の装置から受信されたりした主画像データ、副画像データ等を受信する。画像処理装置２００は、３Ｄの主画像と、３Ｄの副画像とを合成して、合成画像データを生成する。

図１３に示したように、画像処理装置２００は、視差検出部２１０ａ、２１０ｂと、オブジェクト領域検出部２１５ａ、２１５ｂと、視差解析部２２０ａ、２２０ｂと、視差制御部２３０と、画像変換部２４０ａ、２４０ｂと、画像重畳部２５０と、ディスプレイ２６０と、を含んで構成される。

視差検出部２１０ａは、視差検出部１１０ａと同様に、外部から入力された主画像データを構成する、左目用の主画像の画像データと右目用の主画像の画像データとを用いて、３Ｄの主画像の視差を画素ごとに検出する。視差検出部２１０ｂは、視差検出部１１０ｂと同様に、外部から入力された副画像データを構成する、左目用の主画像の画像データと右目用の副画像の画像データとを用いて、３Ｄの副画像の視差を画素ごとに検出する。

オブジェクト領域検出部２１５ａは、外部から入力された主画像データに対して、被写体などのオブジェクトの領域を検出する。オブジェクト領域検出部２１５ａは、オブジェクトの領域を、例えば特開２０１１−３４１７８号公報などに記載されている、グラフカットを利用したセグメンテーション技術を利用して検出する。オブジェクト領域検出部２１５ａは、検出した主画像のオブジェクトの領域の情報を視差解析部２２０ａへ送る。

同様に、オブジェクト領域検出部２１５ｂは、外部から入力された副画像データに対して、被写体などのオブジェクトの領域を検出する。オブジェクト領域検出部２１５ｂは、検出した副画像のオブジェクトの領域の情報を視差解析部２２０ｂへ送る。

視差解析部２２０ａは、視差検出部２１０ａが検出した３Ｄの主画像の視差の情報を、オブジェクト領域検出部２１５ａが検出した主画像のオブジェクト単位で解析して、３Ｄの主画像の視差統計情報を主画像のオブジェクト単位で生成する。視差解析部２２０ａは、視差の統計情報として、視差解析部１２０ａと同様に、例えば、特開２０１１−０５５０２２号で開示されている技術を用いて視差分布を生成してもよく、または、主画像の各画素の視差を表す視差マップを生成してもよい。視差マップの生成には、例えば、特開２００６−１１４０２３号公報に記載されている技術を用いても良い。視差解析部２２０ａは、３Ｄの主画像の視差統計情報を主画像のオブジェクト単位で生成すると、生成した視差統計情報を視差制御部２３０に供給する。

同様に、視差解析部２２０ｂは、視差検出部２１０ｂが検出した３Ｄの副画像の視差の情報を、オブジェクト領域検出部２１５ｂが検出した副画像のオブジェクト単位で解析して、視差の統計情報を生成する。視差解析部２２０ｂは、３Ｄの副画像の視差統計情報をオブジェクト単位で生成すると、生成した視差統計情報を視差制御部２３０に供給する。

視差制御部２３０は、視差制御部１３０と同様に、外部から入力される３Ｄの主画像の画像サイズ、表示サイズ、および表示位置を受信する。また、視差制御部２３０は、視差制御部１３０と同様に、外部から入力される３Ｄの副画像の画像サイズ、表示サイズ、および表示位置を受信する。表示位置の情報としては、３Ｄ画像として超えてはいけない手前側および奥側の視差の基準値の情報が、視差制御部２３０に供給される。

そして視差制御部２３０は、視差解析部２２０ａから供給される３Ｄの主画像のオブジェクト単位の視差統計情報、および視差解析部２２０ｂから供給される３Ｄの副画像のオブジェクト単位の視差統計情報を用いて、めり込みなどの矛盾が起きないように、主画像・副画像それぞれの視差（奥行き）を調整するための補正方法および補正量を、それぞれの画像のオブジェクト単位で求める。

視差制御部２３０による、主画像・副画像それぞれの視差（奥行き）を調整するための補正方法および補正量の求め方については、基本的には視差制御部１３０による処理と同様であるが、視差制御部２３０は、補正方法および補正量を画像単位、かつオブジェクト単位で求めるところが異なる。視差制御部２３０は、３Ｄの主画像・副画像のオブジェクト単位でのそれぞれの視差（奥行き）を調整するための補正方法および補正量を求めると、その補正方法および補正量の情報を画像変換部２４０ａ、２４０ｂに供給する。

画像変換部２４０ａは、画像変換部１４０ａと同様に、視差制御部２３０が求めた、３Ｄの主画像のオブジェクト単位での視差（奥行き）を調整するための補正方法および補正量に基づいて、３Ｄの主画像を加工する。画像変換部２４０ａは、３Ｄの主画像を加工すると、加工後の３Ｄの主画像を画像重畳部２５０へ供給する。

画像変換部２４０ｂは、画像変換部２４０ａと同様に、視差制御部２３０が求めた、３Ｄの副画像のオブジェクト単位での視差（奥行き）を調整するための補正方法および補正量に基づいて、３Ｄの副画像を加工する。画像変換部２４０ｂは、３Ｄの副画像を加工すると、加工後の３Ｄの副画像を画像重畳部２５０へ供給する。

画像重畳部２５０は、画像重畳部１５０と同様に、画像変換部２４０ａによって加工された３Ｄの主画像と、画像変換部２４０ｂによって加工された３Ｄの副画像とを重畳する。画像重畳部２５０は、３Ｄの主画像と副画像とを重畳すると、重畳して得られる表示画像データをディスプレイ２６０に供給する。

ディスプレイ２６０は、３Ｄ画像を表示することが可能な３Ｄディスプレイで形成される。ディスプレイ２６０は、ディスプレイ１６０と同様に、画像重畳部２５０から供給される表示画像データを用いて、左目用の画面と右目用の画面を時分割で表示する。このとき、ユーザは、例えば、左目用の画面と右目用の画面の切り替えに同期したシャッタ付き眼鏡を装着してディスプレイ２６０に表示される画像を見る。ユーザは、左目用の画面を左目だけで見て、右目用の画面を右目だけで見る。これにより、ユーザは、３Ｄの主画像と副画像とが重畳された３Ｄ画像を見ることができる。

なお、ディスプレイ２６０は、ユーザに裸眼で３Ｄ画像として認識できるような３Ｄディスプレイで形成されていても良い。そのような３Ｄディスプレイとしては、例えばパララックスバリア方式（視差バリア方式）、レンティキュラ方式を用いたもの等がある。

以上、図１３を用いて本開示の第２の実施形態にかかる画像処理装置の機能構成について説明した。次に、本開示の第２の実施形態にかかる画像処理装置の動作について説明する。

［画像処理装置の動作］
図１４は、本開示の第２の実施形態にかかる画像処理装置２００の動作を示す流れ図である。以下、図１４を用いて本開示の第２の実施形態にかかる画像処理装置２００の動作について説明する。

本開示の第２の実施形態にかかる画像処理装置２００は、複数の３Ｄ画像データ（例えば、３Ｄの主画像データおよび副画像データ）を受信すると、それぞれの３Ｄ画像に含まれるオブジェクトの領域を計算する（ステップＳ２０１）。オブジェクトの領域の計算は、オブジェクト領域検出部２１５ａ、２１５ｂが実行する。

また画像処理装置２００は、ステップＳ２０１でのオブジェクトの領域の計算の後に、またその前に、また並行して、それぞれの３Ｄ画像の視差を計算する（ステップＳ２０２）。３Ｄ画像の視差の計算は、視差検出部２１０ａ、２１０ｂが実行する。

上記ステップＳ２０１で、複数の３Ｄ画像データについてそれぞれオブジェクトの領域を求め、上記ステップＳ２０２で、複数の３Ｄ画像データについてそれぞれの３Ｄ画像の視差を計算すると、続いて画像処理装置２００は、それぞれの３Ｄ画像の視差の情報をオブジェクト単位で解析して、３Ｄ画像の視差統計情報をオブジェクト単位で生成する（ステップＳ２０３）。３Ｄ画像の視差統計情報の生成は、視差解析部２２０ａ、２２０ｂが実行する。

上記ステップＳ２０３で、複数の３Ｄ画像データについて、３Ｄ画像の視差の情報をオブジェクト単位で解析して、３Ｄ画像の視差統計情報をオブジェクト単位で生成すると、続いて画像処理装置２００は、３Ｄ画像の視差統計情報と、画像サイズ、表示サイズ、および表示位置の情報とを用いて、３Ｄ画像の補正方法と補正量とをオブジェクト単位で計算する（ステップＳ２０４）。それぞれの３Ｄ画像のオブジェクト単位の、補正方法と補正量との計算は、視差制御部２３０が実行する。

本実施形態では、オブジェクト単位で補正方法と補正量を求めるので、第１の実施形態と異なる処理について詳述する。画像平面上で重ならないオブジェクトは、各３Ｄ画像において、視差のレンジをどのように変えても、めり込みなどの矛盾が起こらない。従って本実施形態では、視差制御部２３０は、画像平面上において重なり合う領域を有しているオブジェクト群に対して、めり込みなどの矛盾がないように補正方法および補正量を求める。

また、例えば、３つのオブジェクトＡ、Ｂ、Ｃがある場合に、オブジェクトＡとオブジェクトＢとは重なり合う領域はないが、オブジェクトＣはオブジェクトＡ、Ｂとも重なり合う領域があるときは、視差制御部２３０は、重なる数が多いオブジェクトであるオブジェクトＣから補正方法および補正量を求めてもよく、その後で、オブジェクトＡ、Ｂの補正方法および補正量を求めるようにしてもよい。

また視差制御部２３０は、オブジェクト単位で補正方法と補正量とを求める際には、各オブジェクトの奥行き方向の位置関係を考慮に入れて求めても良い。例えば、ある３Ｄ画像に２つのオブジェクトＡ、Ｂが映っている場合に、オブジェクトＡはオブジェクトＢより後ろに位置することができないような場面があるならば、視差制御部２３０は、オブジェクトＡはオブジェクトＢよりも後ろに、またはオブジェクトＢはオブジェクトＡより前に位置することがないように、補正方法と補正量とを求めてもよい。

図１５は、３Ｄ画像におけるオブジェクトの位置関係の例を示す説明図である。図１５の左側は、ディスプレイ２６０に表示される画面イメージを示し、図１５の右側は３Ｄ画像におけるオブジェクトの位置関係をディスプレイ２６０の上側から俯瞰して見たイメージを示している。

図１５には、オブジェクトとして家と花が存在している。そして、家は花より前に位置することが出来ないような位置関係であるとする。この場合、視差制御部２３０は、花は家よりも後ろに、または家は花より前に位置することがないように、補正方法と補正量とを求める。

なお、位置関係の情報は、画像データと共に視差制御部２３０に供給してもよく、視差制御部２３０が、画像データをシーン解析することによって得るようにしてもよい。

上記ステップＳ２０４で、それぞれの３Ｄ画像の補正方法と補正量とをオブジェクト単位で計算すると、続いて画像処理装置２００は、上記ステップＳ２０４で計算した３Ｄ画像のオブジェクト単位の補正方法と補正量とに基づいて３Ｄ画像を変換する（ステップＳ２０５）。３Ｄ画像の変換は、画像変換部２４０ａ、２４０ｂが実行する。

補正方法が、ディスプレイ２６０のディスプレイ面に対して垂直方向のシフトならば、各オブジェクトのシフト補正量に応じて、画像中の当該オブジェクトの領域をシフトする。また補正方法が２Ｄ／３Ｄ変換ならば、画像中の当該オブジェクトの領域を２Ｄ／３Ｄ変換する。もちろん、２つの補正方法が同時に行われるようにしても良い。

また、いずれの補正方法もオブジェクトの境界に存在しない領域（オクルージョン領域）が発生するので、他の視点の画像情報から補完したり、同一視点の時間方向の画像情報から補完したり、現画像の空間方向の情報（近隣の画像情報）から補完したり（インペインティング）してもよい。

上記ステップＳ２０５で、それぞれの３Ｄ画像に対して、上記ステップＳ２０４で計算した３Ｄ画像のオブジェクト単位の補正方法と補正量とに基づいて変換を実行すると、続いて画像処理装置２００は、複数の３Ｄ画像を合成し、１つの３Ｄ画像として表示するための表示画像データを生成する（ステップＳ２０６）。

本開示の第２の実施形態にかかる画像処理装置２００は、図１４に示したような動作を行うことによって、ユーザの目に疲労感を与えないように複数の３Ｄ画像を合成する際に、矛盾のある画像の生成を防ぐことが可能となる。そして、本開示の第２の実施形態にかかる画像処理装置２００は、オブジェクト単位での補正方法および補正量を算出するので、より柔軟に画像の視差レンジを変更することができる。

＜３．まとめ＞
以上説明したように本開示の各実施形態によれば、ユーザの目に疲労感を与えないように複数の３Ｄ画像を合成する際に、矛盾のある画像の生成を防ぐことが可能となる。本開示の第１の実施形態では、各３Ｄ画像に対して、画面単位で補正方法および補正量を決定し、また本開示の第２の実施形態では、各３Ｄ画像に対して、画面単位かつオブジェクト単位で補正方法および補正量を決定する。その際に、３Ｄ画像として超えてはいけない画面手前側の視差の基準値および画面奥側の視差の基準値の範囲内に収まるように補正方法および補正量を決定することで、合成時にめり込みが無い、自然な３Ｄ画像を生成することができる。

なお、上記各実施形態では、３Ｄの主画像と３Ｄの副画像の２つの３Ｄ画像を合成する際の処理について例示したが、本開示はかかる例に限定されない。３つ以上の３Ｄ画像を、ユーザの目に疲労感を与えないように合成する場合にも同様に適用できることは言うまでもない。

また上記各実施形態では、画像処理装置１００、２００にディスプレイ１６０、２６０が含まれている場合について説明したが、本開示はかかる例に限定されない。画像処理装置は３Ｄ画像の合成までを実行し、３Ｄ画像の表示は別装置が実行してもよい。また、画像処理装置１００、２００が実行した処理は、３Ｄ画像を表示する３Ｄディスプレイとネットワークで接続されたサーバ群が実行し、３Ｄ画像を合成して得られる画像データを、３Ｄディスプレイがネットワークを通じて該サーバ群から受信するようにしても良い。

また上記各実施形態で示した処理は、ハードウェアによって行われるようにしても良く、ソフトウェアによって行われるようにしても良い。上記各実施形態で示した処理をソフトウェアによって実行する場合には、画像処理装置１００、２００に内蔵されたＣＰＵ等の制御装置が、ＲＯＭ、ＨＤＤ、ＳＳＤその他の記録媒体に格納されたコンピュータプログラムを順次読みだして実行するようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出部と、
各前記３Ｄ画像に対して前記視差検出部が検出した視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析部と、
各前記３Ｄ画像に対して前記視差解析部が生成した視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像が重ならないように視差を変換する視差制御部と、
を備える、画像処理装置。
（２）
前記視差制御部によって視差を変換しても視差のレンジが所定の範囲内に収まらない場合に、前記複数の３Ｄ画像の少なくともいずれか１つの３Ｄ画像について２Ｄ／３Ｄ変換処理を行う画像変換部をさらに備える、前記（１）に記載の画像処理装置。
（３）
供給される各前記３Ｄ画像に対して画像中のオブジェクトの領域を検出するオブジェクト領域検出部をさらに備え、
前記視差解析部は、前記オブジェクト領域検出部が各前記３Ｄ画像に対して検出したオブジェクト単位で視差の統計情報を生成し、前記視差制御部は、前記視差解析部がオブジェクト単位で生成した視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像に含まれるオブジェクトが重ならないように視差を変換する、前記（１）に記載の画像処理装置。
（４）
前記視差制御部によって視差を変換しても視差のレンジが所定の範囲内に収まらない場合に、前記オブジェクト領域検出部が検出した前記オブジェクトの少なくとも１つについて２Ｄ／３Ｄ変換処理を行う画像変換部をさらに備える、前記（３）に記載の画像処理装置。
（５）
前記視差制御部は、３Ｄ画像の表示に際し手前側と奥行側との限界の視差の範囲内において視差を変換する、前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記視差制御部は、３Ｄ画像を表示しようとする画面のサイズを考慮して視差を変換する、前記（１）から（５）に記載の画像処理装置。
（７）
前記視差制御部は、３Ｄ画像を表示しようとする画面の縦辺の長さを考慮して視差を変換する、前記（６）に記載の画像処理装置。
（８）
複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出することと、
各前記３Ｄ画像に対して前記検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成することと、
各前記３Ｄ画像に対して前記生成された視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像が重ならないように視差を変換することと、
を備える、画像処理方法。
（９）
コンピュータに、
複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出することと、
各前記３Ｄ画像に対して前記検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成することと、
各前記３Ｄ画像に対して前記生成された視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像が重ならないように視差を変換することと、
を実行させる、コンピュータプログラム。

１００ ：画像処理装置
１１０ａ ：視差検出部
１１０ｂ ：視差検出部
１２０ａ ：視差解析部
１２０ｂ ：視差解析部
１３０ ：視差制御部
１４０ａ ：画像変換部
１４０ｂ ：画像変換部
１５０ ：画像重畳部
１６０ ：ディスプレイ
２００ ：画像処理装置
２１０ａ ：視差検出部
２１０ｂ ：視差検出部
２１５ａ ：オブジェクト領域検出部
２１５ｂ ：オブジェクト領域検出部
２２０ａ ：視差解析部
２２０ｂ ：視差解析部
２３０ ：視差制御部
２４０ａ ：画像変換部
２４０ｂ ：画像変換部
２５０ ：画像重畳部
２６０ ：ディスプレイ

Claims (9)

1. 複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出部と、
   各前記３Ｄ画像に対して前記視差検出部が検出した視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析部と、
   各前記３Ｄ画像に対して前記視差解析部が生成した視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像が重ならないように視差を変換する視差制御部と、
   を備える、画像処理装置。
2. 前記視差制御部によって視差を変換しても視差のレンジが所定の範囲内に収まらない場合に、前記複数の３Ｄ画像の少なくともいずれか１つの３Ｄ画像について２Ｄ／３Ｄ変換処理を行う画像変換部をさらに備える、請求項１に記載の画像処理装置。
3. 供給される各前記３Ｄ画像に対して画像中のオブジェクトの領域を検出するオブジェクト領域検出部をさらに備え、
   前記視差解析部は、前記オブジェクト領域検出部が各前記３Ｄ画像に対して検出したオブジェクト単位で視差の統計情報を生成し、前記視差制御部は、前記視差解析部がオブジェクト単位で生成した視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像に含まれるオブジェクトが重ならないように視差を変換する、請求項１に記載の画像処理装置。
4. 前記視差制御部によって視差を変換しても視差のレンジが所定の範囲内に収まらない場合に、前記オブジェクト領域検出部が検出した前記オブジェクトの少なくとも１つについて２Ｄ／３Ｄ変換処理を行う画像変換部をさらに備える、請求項３に記載の画像処理装置。
5. 前記視差制御部は、３Ｄ画像の表示に際し手前側と奥行側との限界の視差の範囲内において視差を変換する、請求項１に記載の画像処理装置。
6. 前記視差制御部は、３Ｄ画像を表示しようとする画面のサイズを考慮して視差を変換する、請求項１に記載の画像処理装置。
7. 前記視差制御部は、３Ｄ画像を表示しようとする画面の縦辺の長さを考慮して視差を変換する、請求項６に記載の画像処理装置。
8. 複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出することと、
   各前記３Ｄ画像に対して前記検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成することと、
   各前記３Ｄ画像に対して前記生成された視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像が重ならないように視差を変換することと、
   を備える、画像処理方法。
9. コンピュータに、
   複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出することと、
   各前記３Ｄ画像に対して前記検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成することと、
   各前記３Ｄ画像に対して前記生成された視差の統計情報を用いて、視差のレンジが所定の範囲内に収まるように各前記３Ｄ画像が重ならないように視差を変換することと、
   を実行させる、コンピュータプログラム。
   

Images