JP5638974B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

＜関連出願の相互参照＞
この出願は、２０１０年２月５日に出願された米国仮特許出願第６１／３０１，６８２号の利益を主張する非仮出願であり、その内容の全体が参照により本明細書に組み込まれる。

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、複数の３Ｄ画像を合成して表示する場合に、ユーザの目の疲労を軽減することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

一般的に、映画等のコンテンツは２Ｄ画像の形をとっているが、最近では、３Ｄ画像が注目を集めている。

３Ｄコンテンツを再生する１つのタイプの再生装置は、３Ｄの映画等の主画像と、副画像として主画像と合成された異なる３Ｄ画像とを表示する装置である。このような再生装置では、例えば、３Ｄの主画像を親画面に表示し，３Ｄの副画像を子画面に表示するピクチャインピクチャ表示、３Ｄの主画像に３Ｄの副画像としてのＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像を合成して表示するＯＳＤ表示、３Ｄの主画像に３Ｄの副画像としての字幕画像を合成する字幕表示などが行われる。

また、３Ｄの主画像に対してテロップが合成されて表示される場合もある(例えば、特許文献１参照）。

特開平１０-３２７４３０号公報

上述したように再生装置が３Ｄの主画像に３Ｄの副画像を合成してその合成画像を表示する場合、３Ｄの主画像の画面に垂直な方向である奥行き方向における３Ｄ主画像の位置が、奥行き方向における副画像の位置から離れすぎたり、近づきすぎたりすることがある。従って、ユーザの目が疲労してしまうことがある。

従って、本発明は複数の３Ｄ画像を合成して表示する場合に、ユーザの目の疲労を軽減する画像処理装置、画像処理方法、およびプログラムを提供する。

本発明の１つの実施の形態では、画像処理装置は、３Ｄの主画像の画像データである主画像データに基づいて生成される前記主画像の所定の単位ごとの視差のヒストグラムである主画像ヒストグラムと、３Ｄの副画像の画像データである副画像データに基づいて生成される前記副画像の所定の単位ごとの視差のヒストグラムである副画像ヒストグラムとに基づいて、前記主画像ヒストグラムの全体の面積に対する、前記主画像ヒストグラムの前記副画像ヒストグラムと重なる領域の面積の割合が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算する視差制御手段と、前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換し、変換後の前記主画像データと前記副画像データを出力する画像変換手段と、前記画像変換手段から出力される前記主画像データに、前記画像変換手段から出力される前記副画像データを重畳する重畳手段とを含む。

本発明の他の実施の形態では、画像処理方法およびプログラムが提供される。その画像処理方法およびプログラムは、上記の画像処理装置に対応する。

本発明の実施の形態においては、３Ｄの主画像の画像データである主画像データに基づいて生成される前記主画像の所定の単位ごとの視差のヒストグラムである主画像ヒストグラムと、３Ｄの副画像の画像データである副画像データに基づいて生成される前記副画像の所定の単位ごとの視差のヒストグラムである副画像ヒストグラムとに基づいて、前記主画像ヒストグラムの全体の面積に対する、前記主画像ヒストグラムの前記副画像ヒストグラムと重なる領域の面積の割合が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量が計算される。前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方が変換されて、変換後の前記主画像データと前記副画像データを出力され、その主画像データに前記副画像データが重畳される。

本発明のさらに他の１つの実施の形態では、再生装置は、３Ｄの主画像の画像データである主画像データと、３Ｄの副画像の画像データである副画像データとを読み出す読出手段と、前記主画像データに基づいて生成される前記主画像の所定の単位ごとの視差のヒストグラムである主画像ヒストグラムと、前記副画像データに基づいて生成される前記副画像の所定の単位ごとの視差のヒストグラムである副画像ヒストグラムとに基づいて、前記主画像ヒストグラムの全体の面積に対する、前記主画像ヒストグラムの前記副画像ヒストグラムと重なる領域の面積の割合が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算する視差制御手段と、前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換し、変換後の前記主画像データと前記副画像データを出力する画像変換手段と、前記画像変換手段から出力される前記主画像データに、前記画像変換手段から出力される前記副画像データを重畳する重畳手段とを含む。

本発明の実施の形態では、３Ｄの主画像の画像データである主画像データと、３Ｄの副画像の画像データである副画像データとが読み出される。前記主画像データに基づいて生成される前記主画像の所定の単位ごとの視差のヒストグラムである主画像ヒストグラムと、前記副画像データに基づいて生成される前記副画像の所定の単位ごとの視差のヒストグラムである副画像ヒストグラムとに基づいて、前記主画像ヒストグラムの全体の面積に対する、前記主画像ヒストグラムの前記副画像ヒストグラムと重なる領域の面積の割合が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量が計算される。前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方が変換されて、変換後の前記主画像データと前記副画像データが出力される。その主画像データに前記副画像データが重畳される。

本発明の実施の形態の画像処理装置および再生装置は、独立した装置であっても良いし、１つのシステムの内部ブロックであっても良い。

本発明の実施の形態によれば、複数の３Ｄ画像を合成して表示する場合に、ユーザの目の疲労を軽減することができる。

本発明の一実施の形態の画像処理装置の構成例のブロック図である。 主画像の視差マップと視差ヒストグラムの例を示す。 主画像の視差マップと視差ヒストグラムの例を示す。 主画像の視差マップと視差ヒストグラムの例を示す。 副画像の視差マップとその視差のヒストグラムの例を示す。 副画像の視差マップとその視差のヒストグラムの例を示す。 副画像の視差マップとその視差のヒストグラムの例を示す。 表示サイズの主画像の視差マップの例を示す。 表示サイズの主画像の視差マップの例を示す。 画像サイズの副画像と表示サイズの副画像の視差のヒストグラムの例を示す。 画像サイズの副画像と表示サイズの副画像の視差のヒストグラムの例を示す。 視差の補正を行わない場合の表示画像データの視差のヒストグラムの例を示す図である。 視差の補正を行った場合の表示画像データの視差のヒストグラムの例を示す図である。 視差の補正を行った場合の表示画像データの視差のヒストグラムの他の例を示す図である。 図１に示されている画像処理装置によって行われる重畳処理のフローチャートである。 一実施の形態のコンピュータの構成例を示す。 本発明の一実施の形態の再生装置の構成例のブロック図である。

＜実施の形態＞
［画像処理装置の構成例］
図１は、本発明による画像処理装置の一構成例のブロック図である。

図１に示されている画像処理装置１０は、視差検出部１１、視差解析部１２、画像変換部１３、視差検出部１４、視差解析部１５、画像変換部１６、視差制御部１７、画像重畳部１８、およびディスプレイ１９を含む。

画像処理装置１０は、例えば、ＢＤ（Ｂｌｕ−Ｒａｙ（商標）Ｄｉｓｃ）などの記録媒体から読み出されたり、ネットワークなどを介して外部の装置から受信された主画像データ、副画像データ等を受信する。本明細書で使用されるとき、「主画像データ」という用語は一画面のための所定のサイズの３Ｄの主画像の画像データを指し、「副画像データ」という用語は一画面のための所定サイズの３Ｄの副画像の画像データを指す。画像処理装置１０は，３Ｄの主画像を親画面に表示し、３Ｄの副画像を子画面に表示するピクチャインピクチャ表示を行うための画像データ（以下、「表示画像データ」という）を生成する。

具体的には、視差検出部１１（主画像統計情報生成手段）は、外部から入力された主画像データを構成する左目用の主画像の画像データと右目用の主画像の画像データを用いて、３Ｄの主画像の視差を画素ごとに検出する。その後、視差検出部１１は、主画像の各画素の視差を表す視差マップを生成する。視差マップの生成方法の詳細については、例えば、特開２００６−１１４０２３号公報に記載されている。なお、視差は、単一の画素からではなくて、複数の画素を含むブロックから検出されてもよい。視差検出部１１は、視差マップを視差解析部１２に供給する。

視差解析部１２（主画像統計情報生成手段）は、視差検出部１１から供給される視差マップを用いて、主画像の視差の統計情報としてのヒストグラムを計算する。その後、視差解析部１２は、そのヒストグラムを視差制御部１７に供給する。

画像変換部１３は、視差制御部１７から供給される、視差の補正量に対応する主画像の表示位置のシフト量を含む変換パラメータ、および主画像の表示位置を用いて、外部から入力された主画像データに対応する主画像の視差を補正量だけ補正するように、その主画像データを変換する。具体的には、画像変換部１３は、主画像データに対応する左目用の主画像の画面の水平方向（左右方向）の位置をシフト量だけ水平方向の一方向にずらす。さらに、画像変換部１３は、右目用の主画像の画面の水平方向の位置をシフト量だけ他の方向にずらす。このようにして、主画像の視差を補正する。

また、画像変換部１３は、視差制御部１７から供給される変換パラメータに含まれる主画像の表示サイズを用いて、視差が補正された主画像データの画像サイズを表示サイズに変換する。その後、画像変換部１３は、その結果得られる主画像データと表示位置を画像重畳部１８に供給する。

視差検出部１４（副画像統計情報生成手段）は、視差検出部１１と同様に、外部から入力された副画像データを構成する左目用の副画像の画像データと右目用の副画像の画像データを用いて、３Ｄの副画像の視差を画素ごとに検出する。その後、視差検出部１４は、副画像の視差マップを生成する。視差検出部１４は、副画像の視差マップを視差解析部１５に供給する。

視差解析部１５（副画像統計情報生成手段）は、視差解析部１２と同様に、視差検出部１４から供給される視差マップを用いて、副画像の視差の統計情報としてのヒストグラムを計算する。その後、視差解析部１５は、そのヒストグラムを視差制御部１７に供給する。

画像変換部１６は、画像変換部１３と同様に、視差制御部１７から供給される、視差の制御量に対応する副画像の表示位置のシフト量を含む変換パラメータ、および副画像の表示位置を用いて、外部から入力された副画像データに対応する副画像の視差を補正量だけ補正するように、その副画像データを変換する。

また、画像変換部１６は、視差制御部１７から供給される変換パラメータに含まれる副画像の表示サイズを用いて、視差が補正された副画像データの画像サイズを表示サイズに変換する。その後、画像変換部１６は、その結果得られる副画像データと表示位置を画像重畳部１８に供給する。

視差制御部１７は、外部から入力される主画像データとともに主画像の入力された画像サイズ、表示サイズ、および表示位置を受信する。また、視差制御部１７は、外部から入力された副画像データとともに副画像の入力された画像サイズ、表示サイズ、および表示位置を受信する。なお、主画像の表示サイズは親画面のサイズに対応し、副画像の表示サイズはピクチャインピクチャ表示のために使用される子画面のサイズに対応する。

視差制御部１７は、主画像の画像サイズと表示サイズを用いて、視差解析部１２から供給される主画像の視差のヒストグラムを、表示サイズの主画像の視差のヒストグラムに変換する。また、視差制御部１７は、副画像の画像サイズと表示サイズを用いて、視差解析部１５から供給される副画像の視差のヒストグラムを、表示サイズの副画像の視差のヒストグラムに変換する。その後、視差制御部１７は、変換後の主画像の視差のヒストグラムと、変換後の副画像の視差のヒストグラムとを用いて、主画像の位置と副画像の位置の奥行方向の間隔が所定の範囲内になるように主画像の視差と副画像の視差を補正するために使用される補正量を計算する。具体的には、視差制御部１７は、変換後の主画像の視差のヒストグラムと変換後の副画像の視差のヒストグラムの間隔が所定の範囲内になるように主画像の視差と副画像の視差を補正するために使用される補正量を計算する。

なお、視差制御部１７は、各画面のための補正量を画面のための主画像の視差のヒストグラムと副画像の視差のヒストグラムを用いて計算してもよい。あるいは、視差制御部１７は、複数枚の画面のセットの各々のための補正量を、複数枚の画面のための主画像の視差の平均ヒストグラムと複数枚の画面のための副画像の視差の平均ヒストグラムを用いて、計算してもよい。

視差制御部１７は、主画像の視差の補正量に対応する主画像の表示位置のシフト量を計算する。その後、視差制御部１７は、そのシフト量、主画像の表示サイズ、および主画像の表示位置を含む変換パラメータを画像変換部１３に供給する。また、視差制御部１７は、主画像の視差の補正量に対応する主画像の表示位置のシフト量を計算する。その後、視差制御部１７は、そのシフト量、副画像の表示サイズ、および副画像の表示位置を含む変換パラメータを画像変換部１６に供給する。

画像重畳部１８は、画像変換部１３と画像変換部１６から受信される表示位置を用いて、画像変換部１３から受信される主画像データに画像変換部１６から受信される副画像データを重畳する。その後、画像重畳部１８は、その結果得られる画像データを表示画像データとしてディスプレイ１９に出力する。

ディスプレイ１９は３Ｄディスプレイから形成される。ディスプレイ１９は、画像重畳部１８から供給される表示画像データを用いて、左目用の画面と右目用の画面を時分割で表示する。このとき、ユーザは、例えば、左目用の画面と右目用の画面の切り替えに同期したシャッタ付き眼鏡を装着する。ユーザは、左目用の画面を左目だけで見て、右目用の画面を右目だけで見る。これにより、ユーザは、親画面に３Ｄの主画像が表示され、子画面に３Ｄの副画像が表示されたピクチャインピクチャ表示を見ることができる。

[主画像の視差マップと視差のヒストグラムの例]
図２Ａ乃至図２Ｃは、入力された主画像データに対応する主画像の視差マップと視差ヒストグラムの例を示す。

図２Ａの左側には、入力された主画像データに対応する左目用の主画像が示されており、図２Ａの右側には、右目用の主画像が示されている。

図２Ａに示された左目用の主画像の画像データと右目用の主画像の画像データに基づいて、図２Ｂに示す視差マップが生成される。なお、図２Ｂに示す視差マップにおいて、色の濃度が濃いほど視差が小さい。即ち、点の色の濃度が濃いほど、その点は奥行き方向においてユーザから遠い。また、図２Ｂに示す視差マップは、左目用の主画像の画像データに基づいて検出された視差の視差マップである。しかし、右目用の主画像の画像データに基づいて検出された視差の視差マップが生成されるようにしてもよい。あるいは、左目用および右目用の主画像の画像データに基づいて２種類の視差マップが生成されるようにしてもよい。この生成方法は、後述する図３Ｂおよび図４Ｂにも適用される。

また、図２Ｃに示すように、図２Ｂに示す視差マップに基づいて１画面分の主画像の視差のヒストグラムが生成される。図２Ｃに示すヒストグラムにおいて、横軸は、奥行方向における点を表し、縦軸は、その点に対応する視差の度数を表している。なお、この表現は、後述する図３Ｃ、図５Ａおよび図５Ｂならびに図６乃至図８にも適用される。図２Ｃに示す例では、視差の平均値に対応する奥行き方向の点が、ディスプレイ面よりやや手前側に位置している。

[副画像の視差マップと視差のヒストグラムの例]
図３Ａ乃至図３Ｃは、入力された副画像データに対応する副画像の視差マップと視差のヒストグラムの例を示す。

図３Ａの左側には、入力された副画像データに対応する左目用の副画像が示されており、図３Ａの左側には右目用の副画像が示されている。図３Ａに示された左目用の副画像の画像データと左目用の副画像の画像データに基づいて、図３Ｂに示す視差マップが生成される。

また、図３Ｃに示すように、図３Ｂに示す視差マップに基づいて１画面分の副画像の視差のヒストグラムが生成される。図３Ｃに示す例では、視差の平均値に対応する奥行方向における点が、図２Ｃに示すそれよりもディスプレイ面からさらに遠くに位置している。

[副画像の視差のヒストグラムの変換の説明]
図４Ａおよび図４Ｂならびに図５Ａおよび図５Ｂは、副画像の視差のヒストグラムの変換について説明する。

ここでは、図４Ａに示すように、主画像データの画像サイズと同一サイズの左目用の親画面３１に図２Ａの左側に示した左目用の主画像を表示して、副画像データの画像サイズとは異なるサイズの左目用の子画面３２に図３Ａの左側に示した左目用の副画像を表示する。さらに、右目用の親画面３１に図２Ａの右側に示した右目用の主画像を表示して、右目用の子画面３２に図３Ａの右側に示した右目用の副画像を表示する。

この場合、親画面３１のサイズが主画像データの画像サイズと同一であるので、図４Ｂに示すように、表示サイズの主画像の視差マップは、図２Ｂに示した視差マップと同一となる。従って、表示サイズの主画像の視差のヒストグラムは、図２Ｃに示したものとなる。

対照的に、子画面３２のサイズは、副画像データの画像サイズと同一ではない。従って、図５Ａに示す副画像の視差のヒストグラムが、図５Ｂに示す子画面３２のサイズ、即ち表示サイズの副画像の視差のヒストグラムに変換される。具体的には、図５Ａに示すヒストグラムが、副画像の水平方向の画像サイズに対する水平方向の表示サイズの割合で拡大または縮小される。このようにして、図５Ｂに示すように、表示サイズの副画像の視差のヒストグラムが生成される。

例えば、副画像の水平方向の画像サイズに対する水平方向の表示サイズの割合が１／２である場合、表示サイズの副画像の視差のヒストグラムは、図５Ｂに示すヒストグラムを水平方向に１／２だけ縮小することにより得られる。

なお、図４Ａおよび図４Ｂならびに図５Ａおよび図５Ｂの説明では、親画面３１のサイズが主画像の画像サイズと同一である。従って、主画像の視差のヒストグラムは変換されない。しかし、親画面３１のサイズが主画像の画像サイズとは異なる場合、副画像の視差のヒストグラムと同様に、主画像の視差のヒストグラムも変換される。

[補正量の説明]
図６乃至図８は、補正量を説明する図である。

図６は、左目用の親画面３１に図２Ａの左側に示した左目用の主画像を表示して左目用の子画面３２に図３Ａの左側に示した左目用の副画像を表示し、右目用の親画面３１に図２Ａの右側に示した右目用の主画像を表示して右目用の子画面３２に図３Ａの右側に示した右目用の副画像を表示する場合に得られる表示画像データの視差のヒストグラムを示している。

図６に示す表示画像データの視差のヒストグラムは、図２Ｂに示した表示サイズの主画像の視差のヒストグラムを、図５Ｂに示した表示サイズの副画像の視差のヒストグラムと合成することによって得られる。

表示画像データの視差のヒストグラムが図６に示すものである場合、主画像の視差のヒストグラムと副画像の視差のヒストグラムの間隔が狭い。即ち、親画面３１に表示される主画像の位置と子画面３２に表示される副画像の位置の奥行き方向の間隔が小さい。その結果、ユーザの目が疲労する。また、図示は省略するが、親画面３１に表示される主画像の位置と子画面３２に表示される副画像の位置の奥行き方向の間隔が大きい場合にも、ユーザの目が疲労する。

そこで、視差制御部１７は、表示サイズの主画像の視差のヒストグラムと表示サイズの副画像の視差のヒストグラムの間隔が所定の範囲内になるように主画像と副画像それぞれの視差の補正量を計算する。

具体的には、視差制御部１７は、図７に示すように、表示サイズの主画像の視差の平均値Ａｍと表示サイズの副画像の視差の平均値Ａｓの間隔が所定の範囲内になるように、主画像および副画像の各々のために視差の補正量を計算する。なお、この説明では、平均値Ａｍと平均値Ａｓの間隔が所定の範囲内になるように主画像と副画像の各々のために視差の補正量が計算される。しかし、主画像と副画像の各々の視差の補正量は、主画像の視差の最大値と副画像の視差の最小値が所定の範囲内となるように計算されてもよい。

あるいは、視差制御部１７は、図８に示すように、主画像の視差のヒストグラムの全体の面積に対する、表示サイズの副画像の視差のヒストグラムが表示サイズの主画像の視差のヒストグラムと重なる領域の面積(図８の斜線領域を参照)の割合が、所定の範囲内(例えば、１０％以上９０％以下)となるように、主画像と副画像の各々の視差の補正量を計算するようにしてもよい。あるいは、視差制御部１７は、表示サイズの主画像の視差のヒストグラムにおいて、全体の面積の所定のパーセント(例えば、３％）である、奥行方向において手前側の端に対応する視差から所定の視差までの領域の終端に対応する視差と、表示サイズの副画像の視差のヒストグラムにおいて、全体の面積の所定のパーセント(例えば、３％)である、所定の視差から奥行方向において奥の端に対応する視差までの領域の前側の端の視差との差が所定の範囲内となるように、主画像と副画像の各々の視差の補正量を計算するようにしてもよい。また、上述した視差の補正量の計算方法は組み合わされてもよい。さらに、主画像内の主要なオブジェクトの視差と副画像内の主要なオブジェクトの視差を用いて、主画像と副画像の各々の視差の補正量を計算することもできる。

また、図７および図８に示す例では、表示サイズの副画像の視差のヒストグラムだけが移動されている。しかし、表示サイズの主画像の視差のヒストグラムだけが移動されるようにしてもよい。あるいは、表示サイズの副画像の視差のヒストグラムと表示サイズの主画像の視差のヒストグラムの両方が移動されてもよい。

但し、視差が補正された主画像の奥行き方向の表示位置と、視差が補正された副画像の奥行き方向の表示位置が、ユーザが快適に３Ｄ画像を見ることができる範囲内になるように、主画像と副画像の各々の視差の補正量が計算されることが好ましい。

また、主画像と副画像の各々の視差の補正量は、副画像の奥行き方向の表示位置が主画像の奥行き方向の表示位置より手前側(ユーザ側)になるように計算されると、ユーザは、違和感なくピクチャインピクチャ表示を見ることができる。

[画像処理装置により行われる処理の説明]
図９は、図１に示す画像処理装置１０により行われる代表的な重畳処理のフローチャートである。この重畳処理は、例えば、主画像データおよび副画像データが画像処理装置１０に入力されたとき、開始される。

ステップＳ１１において、視差検出部１１は、外部から入力された主画像データを構成する左目用の主画像の画像データと右目用の主画像の画像データを用いて、３Ｄの主画像の視差を画素ごとに検出する。このようにして、視差検出部１１は視差マップを生成する。その後、視差検出部１１は、視差マップを視差解析部１２に供給する。なお、視差検出部１１は、３Ｄの主画像の全領域の視差を検出する代わりに、３Ｄの主画像のうちの副画像が重畳される領域だけの視差を検出してもよい。あるいは、視差検出部１１は、３Ｄの主画像のうちの副画像が重畳される領域の視差とその領域の周囲の領域の視差を検出するようにしてもよい。この場合、３Ｄの主画像の全領域の視差を検出する場合に比べて、視差検出の計算量を削減することができる。

ステップＳ１２において、視差検出部１４は、外部から入力された副画像データを構成する左目用の副画像の画像データと右目用の副画像の画像データを用いて、３Ｄの副画像の視差を画素ごとに検出する。このようにして、視差検出部１４は、視差マップを生成する。視差検出部１４は、視差マップを視差解析部１５に供給する。

ステップＳ１３において、視差解析部１２は、視差検出部１１から供給される視差マップを用いて、主画像の視差のヒストグラムを生成する。その後、視差解析部１２は、そのヒストグラムを視差制御部１７に供給する。なお、視差検出部１１において主画像の領域のうちの副画像が重畳される領域だけの視差、または主画像の領域のうちの副画像が重畳される領域とその領域の周囲の領域の視差が検出される場合には、視差解析部１２は、主画像の、視差が検出された部分的領域の視差のヒストグラムを生成し、そのヒストグラムを視差制御部１７に供給する。

ステップＳ１４において、視差解析部１５は、視差検出部１４から供給される視差マップを用いて、副画像の視差のヒストグラムを生成し、その生成したヒストグラムを視差制御部１７に供給する。

ステップＳ１５において、視差制御部１７は、外部から入力された主画像データとともに主画像の画像サイズと表示サイズを用いて、視差解析部１２から供給される主画像の視差のヒストグラムを、表示サイズの主画像の視差のヒストグラムに変換する。

ステップＳ１６において、視差制御部１７は、外部から入力された副画像データとともに副画像の画像サイズと表示サイズを用いて、視差解析部１５から供給される副画像の視差のヒストグラムを、表示サイズの副画像の視差のヒストグラムに変換する。

ステップＳ１７において、視差制御部１７は、表示サイズの主画像の視差のヒストグラムと表示サイズの副画像の視差のヒストグラムとを用いて、表示サイズの副画像の視差のヒストグラムと表示サイズの主画像の視差のヒストグラムの間隔が所定の範囲内になるように、主画像の視差と副画像の視差を補正するために使用される補正量を計算する。

ステップＳ１８において、視差制御部１７は、ステップＳ１７で計算された主画像の視差の補正量に基づいて主画像の表示位置のシフト量を計算する。その後、視差制御部１７は、そのシフト量、主画像の表示サイズ、および主画像の表示位置を含む変換パラメータを画像変換部１３に供給する。

ステップＳ１９において、視差制御部１７は、ステップＳ１７で計算された副画像の視差の補正量を用いて副画像の表示位置のシフト量を計算する。その後、視差制御部１７は、そのシフト量、副画像の表示サイズ、および副画像の表示位置を含む変換パラメータを画像変換部１６に供給する。

ステップＳ２０において、画像変換部１３は、視差制御部１７から供給される変換パラメータに含まれる視差の制御量に対応する主画像の表示位置のシフト量および主画像の表示位置を用いて、外部から入力された主画像データに対応する主画像の視差を補正量だけ補正するように、その主画像データを変換する。

ステップＳ２１において、画像変換部１３は、視差制御部１７から供給される変換パラメータに含まれる主画像の表示サイズを用いて、ステップＳ２０で変換された主画像データの画像サイズを表示サイズに変換する。その後、画像変換部１３は、その結果得られる主画像データと表示位置を画像重畳部１８に供給する。

ステップＳ２２において、画像変換部１６は、視差制御部１７から供給される変換パラメータに含まれる視差の補正量に対応する副画像の表示位置のシフト量、および副画像の表示位置を用いて、外部から入力された副画像データに対応する副画像の視差を補正量だけ補正するように、その副画像データを変換する。

ステップＳ２３において、画像変換部１６は、視差制御部１７から供給される変換パラメータに含まれる副画像の表示サイズを用いて、ステップＳ２２で変換された副画像データの画像サイズを表示サイズに変換する。その後、画像変換部１６は、その結果得られる副画像データと表示位置を画像重畳部１８に供給する。

ステップＳ２４において、画像重畳部１８は、画像変換部１３と画像変換部１６から受信された表示位置を用いて、画像変換部１３から受信された主画像データに画像変換部１６から受信された副画像データを重畳する。その後、画像重畳部１８は、その結果得られる画像データを表示画像データとしてディスプレイ１９に出力する。そして処理は終了する。

以上のように、画像処理装置１０は、主画像の視差のヒストグラムと副画像の視差のヒストグラムの間隔が所定の範囲内になるように、主画像の視差および副画像の視差の少なくとも一方を補正するために使用される補正量を計算する。その後、画像処理装置１０は、主画像の視差および副画像の視差の少なくとも一方を補正するように、主画像データおよび副画像データの少なくとも一方を変換する。従って、主画像の奥行き方向の位置と副画像の奥行き方向の位置が離れすぎたり近づきすぎたりしない。従って、ユーザの目の疲労を軽減することができる。

なお、以上の説明は、視差マップを計算する画像処理装置１０に関してなされているが、視差マップは、主画像データおよび副画像データとともに外部から入力されるようにしてもよい。

また、副画像データを構成する左目用の副画像の画像データと右目用の副画像の画像データは、２Ｄ副画像データの表示位置を所定のオフセット量だけ両水平方向にずらすことにより得られる画像データであってもよいし、異なる視点から得られる２つの副画像の画像データであってもよい。

[実施の形態に従うコンピュータの説明]
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。上述の一連の処理をソフトウェアによって行う場合には、そのソフトウェアのプログラムが、汎用のコンピュータ等にインストールされる。

図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体である記憶部２０８およびＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア２１１に格納(記録)しておくことができる。このリムーバブルメディア２１１は、いわゆるパッケージソフトウェアの形で提供することができる。リムーバブルメディア２１１としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ＿Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、リムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールすることができる。また、プログラムは、通信網や放送網を介して、コンピュータにダウンロードし、コンピュータに内蔵された記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送することができる。あるいは、プログラムは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを用いて、ダウンロードサイトからコンピュータに有線通信で転送することができる。

コンピュータは、中央処理装置（ＣＰＵ）２０１を内蔵している。ＣＰＵ２０１には、バス２０４を介して、入出力インターフェース２０５が接続されている。

ＣＰＵ２０１は、入出力インターフェース２０５を介して、入力部２０６を操作するユーザから指令を受け取ると、ＲＯＭ２０２に格納されているプログラムを実行する。あるいは、ＣＰＵ２０１は、記憶部２０８に格納されたプログラムを、ランダムアクセスメモリ（ＲＡＭ)２０３にロードして実行する。

これにより、ＣＰＵ２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図に示されている構成により行われる処理を行う。その後、ＣＰＵ２０１は、その処理結果を、必要に応じて、例えば、入出力インターフェース２０５を介して出力部２０７を用いて出力し、あるいは、その結果を通信部２０９を用いて送信する。さらには、ＣＰＵ２０１は、その結果を記憶部２０８に記録する。

なお、入力部２０６は、キーボード、マウス、およびマイクを含む。また、出力部２０７は、液晶ディスプレイ（ＬＣＤ）およびスピーカを含む。

本明細書において、コンピュータが行う処理は、必ずしもフローチャートに記載された時系列に従って行われるとは限らない。すなわち、コンピュータがプログラムに従って行う処理は、他の処理と並列的に実行される処理あるいは独立して実行される処理(例えば、並列処理あるいはオブジェクトを用いる処理)も含む。

また、プログラムは、１のコンピュータ(１のプロセッサ)により実行されても良いし、複数のコンピュータによって分散処理されても良い。あるいは、プログラムは、遠方のコンピュータに転送されて、その遠方のコンピュータにより実行されても良い。

なお、本発明は、主画像を親画面に表示し、副画像を子画面に表示するピクチャインピクチャ表示を行う画像処理装置に限定されない。本発明は、複数の３Ｄ画像を合成して、その合成した３Ｄ画像を表示するどのような画像処理装置にも適用できる。例えば、本発明は、３Ｄの主画像に３Ｄの副画像を合成することによってＯＳＤ画像を生成してそのＯＳＤ画像を表示する画像処理装置、３Ｄの主画像に字幕画像としての３Ｄの副画像を合成してその合成した画像を表示する画像処理装置、１枚の主画像に複数枚の副画像を合成することによってピクチャインピクチャ表示、ＯＳＤ表示、あるいは字幕表示を行う画像処理装置にも適用できる。

また、本発明は、記録媒体から主画像データおよび副画像データを読み出す機能を有する再生装置にも適用することができる。この場合、例えば、図１１に示すように、再生装置３００は、画像処理装置１０に配置されるコンポーネントと、記録媒体３０１に格納された主画像データおよび副画像データを読み出す読み出し部３０２とを含む。

さらに、上述した説明は、主画像に対して１つの副画像が重畳される場合に関して行われたが、複数の副画像が重畳されるようにしてもよい。この場合、上述した重畳処理が繰り返し行われる。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０ 画像処理装置、 １１ 視差検出部、 １２ 視差解析部、 １３ 画像変換部、
１４ 視差検出部、 １５ 視差解析部、 １６ 画像変換部、 １７ 視差制御部、 １８ 画像重畳部

Claims (7)

1. ３Ｄの主画像の画像データである主画像データに基づいて生成される前記主画像の所定の単位ごとの視差のヒストグラムである主画像ヒストグラムと、３Ｄの副画像の画像データである副画像データに基づいて生成される前記副画像の所定の単位ごとの視差のヒストグラムである副画像ヒストグラムとに基づいて、前記主画像ヒストグラムの全体の面積に対する、前記主画像ヒストグラムの前記副画像ヒストグラムと重なる領域の面積の割合が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算する視差制御手段と、
   前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換し、変換後の前記主画像データと前記副画像データを出力する画像変換手段と、
   前記画像変換手段から出力される前記主画像データに、前記画像変換手段から出力される前記副画像データを重畳する重畳手段と
   を含む画像処理装置。
2. 前記主画像データに基づいて前記主画像の所定の単位ごとの視差を検出し、その視差のヒストグラムを前記主画像ヒストグラムとして生成する主画像ヒストグラム生成手段
   をさらに備える
   請求項１に記載の画像処理装置。
3. 前記副画像データに基づいて前記副画像の所定の単位ごとの視差を検出し、その視差のヒストグラムを前記副画像ヒストグラムとして生成する副画像ヒストグラム生成手段
   をさらに備える
   請求項１に記載の画像処理装置。
4. 前記主画像データの画像サイズと前記主画像データの表示サイズが異なる場合、前記視差制御手段はまた、前記主画像データの画像サイズと前記主画像データの表示サイズとに基づいて、前記主画像ヒストグラムを前記主画像データの表示サイズのための主画像ヒストグラムに変換し、
   前記副画像データの画像サイズと前記副画像データの表示サイズが異なる場合、前記視差制御手段はまた、前記副画像データの画像サイズと前記副画像データの表示サイズとに基づいて、前記副画像ヒストグラムを前記副画像データの表示サイズのための副画像ヒストグラムに変換し、
   前記視差制御手段は、変換後の前記主画像ヒストグラムと前記副画像ヒストグラムに基づいて、前記補正量を計算する
   請求項１に記載の画像処理装置。
5. ３Ｄの主画像の画像データである主画像データに基づいて生成される前記主画像の所定の単位ごとの視差のヒストグラムである主画像ヒストグラムと、３Ｄの副画像の画像データである副画像データに基づいて生成される前記副画像の所定の単位ごとの視差のヒストグラムである副画像ヒストグラムとに基づいて、前記主画像ヒストグラムの全体の面積に対する、前記主画像ヒストグラムの前記副画像ヒストグラムと重なる領域の面積の割合が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算するステップと、
   前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換し、変換後の前記主画像データと前記副画像データを出力するステップと、
   変換後の前記主画像データに、変換後の前記副画像データを重畳するステップと
   を含む、画像処理装置に用いられる画像処理方法。
6. コンピュータに、
   ３Ｄの主画像の画像データである主画像データに基づいて生成される前記主画像の所定の単位ごとの視差のヒストグラムである主画像ヒストグラムと、３Ｄの副画像の画像データである副画像データに基づいて生成される前記副画像の所定の単位ごとの視差のヒストグラムである副画像ヒストグラムとに基づいて、前記主画像ヒストグラムの全体の面積に対する、前記主画像ヒストグラムの前記副画像ヒストグラムと重なる領域の面積の割合が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算するステップと、
   前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換し、変換後の前記主画像データと前記副画像データを出力するステップと、
   変換後の前記主画像データに、変換後の前記副画像データを重畳するステップと
   を含む処理を実行させるためのプログラムコードを含むプログラム。
7. ３Ｄの主画像の画像データである主画像データと、３Ｄの副画像の画像データである副画像データとを読み出す読出手段と、
   前記主画像データに基づいて生成される前記主画像の所定の単位ごとの視差のヒストグラムである主画像ヒストグラムと、前記副画像データに基づいて生成される前記副画像の所定の単位ごとの視差のヒストグラムである副画像ヒストグラムとに基づいて、前記主画像ヒストグラムの全体の面積に対する、前記主画像ヒストグラムの前記副画像ヒストグラムと重なる領域の面積の割合が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算する視差制御手段と、
   前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換し、変換後の前記主画像データと前記副画像データを出力する画像変換手段と、
   前記画像変換手段から出力される前記主画像データに、前記画像変換手段から出力される前記副画像データを重畳する重畳手段と
   を含む再生装置。

Images