JP5238767B2

JP5238767B2 - 視差画像生成方法及び装置

Info

Publication number: JP5238767B2
Application number: JP2010167471A
Authority: JP
Inventors: 直三島; 雄志三田; 雅裕馬場
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-07-26
Filing date: 2010-07-26
Publication date: 2013-07-17
Anticipated expiration: 2030-07-26
Also published as: JP2012029168A; US20120019625A1

Description

本発明の実施形態は、視差画像の生成に関する。

近年、２次元の入力画像（静止画像、動画像に含まれる各フレームなど）に基づいて少なくとも１つの視差画像を生成する手法が注目されている。係る手法によれば、立体視用に作成されていない静止画像コンテンツ及び動画像コンテンツの立体視が可能となる。

画素値から視差画像を生成する手法として、複数の基本奥行きモデルを合成し、さらにR信号で奥行きを加算し、B信号で奥行きを減算する技術がある。しかしながら、赤・青の凹凸関係が固定であるため、奥行きの矛盾の生じる場合があった。

特許第４２１４９７６号公報

本発明の実施形態が解決しようとする課題は、様々な映像パターンに対して適切な奥行きを推定することにある。

一態様に係る視差画像生成方法は、入力画像に含まれる対象画素の対象画素値と代表画素値との間の距離を算出し、距離の大きさに応じて、対象画素の奥行きを算出することを含む。この視差画像生成方法は、奥行きに基づいて入力画像とは異なる視点に対応する少なくとも１つの視差画像を生成することを含む。

他の態様に係る視差画像生成方法は、入力画像に含まれる対象画素の対象画素値と複数の代表画素値との間の複数の距離を算出し、複数の距離の大きさに応じて、対象画素の奥行きを算出することを含む。この視差画像生成方法は、奥行きに基づいて入力画像とは異なる視点に対応する少なくとも１つの視差画像を生成することを含む。

第１の実施形態に係る視差画像生成装置を例示するブロック図。図１の視差画像生成装置の動作を例示するフローチャート。視差ベクトルの説明図。視差画像の説明図。第２の実施形態に係る視差画像生成装置を例示するブロック図。第３の実施形態に係る視差画像生成装置を例示するブロック図。

以下、図面を参照して、各実施形態について説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。

（第１の実施形態）
第１の実施形態に係る視差画像生成装置は、入力画像に基づいて入力画像とは異なる視点に対応する少なくとも１つの視差画像を生成する。これによって、例えば入力画像が
二次元画像の場合には互いに視差のある視差画像の表示によって立体視が可能となる。また、入力画像が所定の視差数の立体画像の場合には当該視差数よりも多い視差数の視差画像を生成すること（例えば、２視差から９視差の視差画像を生成すること）が可能となる。以下の実施形態においては、入力画像が２次元画像であり、入力画像に基づいて入力画像とは異なる視点に対応する少なくとも１つの視差画像を生成する例について述べる。

例えば、立体眼鏡による立体視には、左目用画像と右目用画像の２つが必要である。この視差画像生成装置は、左目用画像及び右目用画像の両方を入力画像から生成してもよいし、入力画像を左目用画像及び右目用画像の一方として利用し、他方を入力画像から生成してもよい。更に、裸眼による立体視に関して、この視差画像生成装置は、当該裸眼による立体視の方式に応じた数の視差画像を生成する。また、この視差画像生成装置が生成する視差画像によって再現される立体視空間における奥行きｚの範囲を０≦ｚ≦Ｚとする。ｚ＝０はこの立体視空間において最も手前側を示し、ｚ＝Ｚはこの立体視空間において最も奥側を示す。
本実施形態に係る視差画像生成装置は、図１に示されるように、代表画素値算出部１０１、奥行き算出部１０２、視差ベクトル算出部１０３及び視差画像生成部１０４を有する。

代表画素値算出部１０１は、入力画像の少なくとも一部の領域の画素値に基づいて代表画素値を算出する。
本実施形態において、画素値とは、ＲＧＢ信号値の一部または全部、ＲＧＢ信号を変換したＹＵＶ信号のうちのＵＶ信号（色差信号）値またはＹ信号（輝度信号）値、均等色空間ＬＵＶ、Ｌａｂの信号値などを指す。但し、ここに列挙した色空間とは異なる色空間によって定義される信号値もまた、本実施形態における画素値として適用可能である。以降の説明では、簡単化のために、画素値はＵＶ信号値を意味することとする。即ち、座標（ｘ，ｙ）における画素値は、（Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ））で表される。

代表画素値とは、後述するように本実施形態に係る奥行き算出の基準となる画素値である。具体的には、代表画素値は、この視差画像生成装置が生成する視差画像によって再現される立体視空間において少なくとも奥側に（例えば最も奥側に）配置される背景代表画素値を意味することがある。また、代表画素値は、この視差画像生成装置が生成する視差画像によって再現される立体視空間において少なくとも手前側に（例えば最も手前側に）配置される前景代表画素値を意味することもある。以下、背景代表画素値の具体的な算出手法を説明する。

代表画素値算出部１０１は、背景代表画素値の算出領域を設定する。例えば、画面の上部は背景領域になりやすいということが経験的に知られているので、代表画素値算出部１０１は入力画像の画面上部１／３などの領域を背景代表画素値の算出領域に設定可能である。或いは、代表画素値算出部１０１は、入力画像の画面全体を背景代表画素値の算出領域に設定してもよい。更に、代表画素値算出部１０１は、特許文献１のように基本奥行きモデルを用意しておいて、当該基本奥行きモデルにおいて奥側を示す領域を背景代表画素値の算出領域に設定してもよい。代表画素値算出部１０１は、背景代表画素値の算出領域内の画素値の統計量を、背景代表画素値として算出する。

例えば、代表画素値算出部１０１は、背景代表画素値の算出領域内の画素値のヒストグラムｈ（Ｕ，Ｖ）を次の数式（１）に従って作成する。

数式（１）は、背景代表画素値の算出領域内の全ての座標について、画素値（Ｕ，Ｖ）の出現回数をカウントすることを意味する。尚、ノイズを除去するために、代表画素値算出部１０１は数式（１）に従って作成したヒストグラムｈ（Ｕ，Ｖ）を平滑化してもよい。代表画素値算出部１０１は、次の数式（２）に従って、ヒストグラムｈ（Ｕ，Ｖ）から算出領域内の画素値の最頻値を探索する。

数式（２）は、ヒストグラムｈ（Ｕ，Ｖ）を最大とする画素値（Ｕ_ｍａｘ，Ｖ_ｍａｘ）を探索することを示す。代表画素値算出部１０１は、この最頻値（Ｕ_ｍａｘ，Ｖ_ｍａｘ）を背景代表画素値として算出できる。

また、代表画素値算出部１０１は、２次元ヒストグラムｈ（Ｕ，Ｖ）に代えて２つの１次元ヒストグラムｈ_Ｕ（Ｕ）及びｈ_Ｖ（Ｖ）を次の数式（３）に従って作成してもよい。

尚、ノイズを除去するために、代表画素値算出部１０１は数式（３）に従って作成したヒストグラムｈ_Ｕ（Ｕ）及びｈ_Ｖ（Ｖ）を平滑化してもよい。代表画素値算出部１０１は、次の数式（４）に従って、ヒストグラムｈ_Ｕ（Ｕ）及びｈ_Ｖ（Ｖ）から算出領域内の画素値の最頻値を探索する。

代表画素値算出部１０１は、これら２つの１次元ヒストグラムｈ_Ｕ（Ｕ）及びｈ_Ｖ（Ｖ）から探索された最頻値の組み合わせ（Ｕ_ｍａｘ，Ｖ_ｍａｘ）を背景代表画素値として算出してもよい。

また、代表画素値算出部１０１は、数式（１）及び数式（３）に示されるヒストグラムの作成に関して、前景領域の画素値を考慮してもよい。例えば、画面の下部は前景領域になりやすいということが経験的に知られているので、入力画像の画面下部１／３などを前景領域として設定できる。或いは、代表画素値算出部１０１は、特許文献１のように基本奥行きモデルを用意しておいて、当該基本奥行きモデルにおいて手前側を示す領域を前景領域として設定できる。前景領域内の画素値は背景代表画素値として適切でない可能性が高いので、代表画素値算出部１０１は数式（１）のヒストグラムｈ（Ｕ，Ｖ）の作成に関して、次の数式（５）に従って、前景領域を考慮した調整を実施してよい。係る調整により、背景代表画素値の算出領域に前景領域と同様の画素値が混在している場合にも適切な背景代表画素値を算出できる。

数式（５）は、前景領域内の全ての座標について、ヒストグラムｈ（Ｕ，Ｖ）から画素値（Ｕ，Ｖ）の出現回数をキャンセルすることを示す。或いは、代表画素値算出部１０１は数式（３）のヒストグラムｈ_Ｕ（Ｕ）及びｈ_Ｖ（Ｖ）の作成に関して、数式（５）と同様の調整を実施してもよい。

更に、代表画素値算出部１０１は、前述の算出領域内の最頻値（Ｕ_ｍａｘ，Ｖ_ｍａｘ）に代えて平均値または中央値を背景代表画素値として算出できる。例えば、代表画素値算出部１０１は、次の数式（６）に従って平均値を算出できる。

数式（６）において、Ｎは算出領域内の総画素数を示す。また、代表画素値算出部１０１は、次の数式（７）に従って中央値を算出できる。

また、入力画像が動画像に含まれる複数のフレームのいずれかであれば、入力画像を含む複数の（過去または未来の）フレームを対象に複数の算出領域を設定して、入力画像に適用される背景代表画素値を算出してもよい。また、シーン検出手法を組み合わせて、同一シーン内で共通の背景代表画素値を利用することも可能である。

尚、前景代表画素値の算出は、前述の背景代表画素値の各算出手法の説明を適宜読み替えることにより実現できる。具体的には、前述の説明において、「背景代表画素値」を「前景代表画素値」として、「前景領域」を「背景領域」として夫々読み替えればよい。但し、前景代表画素値の算出領域及び背景領域は、以下のように設定する。例えば、画面の下部は前景領域になりやすいということが経験的に知られているので、代表画素値算出部１０１は入力画像の画面下部１／３などの領域を前景代表画素値の算出領域に設定可能である。或いは、代表画素値算出部１０１は、入力画像の画面全体を前景代表画素値の算出領域に設定してもよい。更に、代表画素値算出部１０１は、特許文献１のように基本奥行きモデルを用意しておいて、当該基本奥行きモデルにおいて手前側を示す領域を前景代表画素値の算出領域に設定してもよい。また、画面の上部は背景領域になりやすいということが経験的に知られているので、入力画像の画面上部１／３などを背景領域として設定できる。或いは、代表画素値算出部１０１は、特許文献１のように基本奥行きモデルを用意しておいて、当該基本奥行きモデルにおいて奥側を示す領域を背景領域として設定できる。

更に、予め用意された特定色を示す画素値を背景代表画素値及び前景代表画素値として利用することにより、背景代表画素値及び前景代表画素値の算出を省略可能である。例えば、人間の肌色を示す画素値（例えば、人間の肌色の平均値）を予め用意しておいて前景代表画素値として利用できる。この前景代表画素値は、例えば人物の登場するシーンに有用である。また、例えば、黒色を示す画素値を予め用意しておいて背景代表画素値として利用できる。この背景代表画素値は、例えば宇宙シーンなどに有用である。その他、様々なシーン、ジャンルなどに応じて、典型的な背景色及び前景色を背景代表画素値及び前景代表画素値のために予め用意できる。

奥行き算出部１０２は、入力画像に含まれる対象画素値と代表画素値との間の距離を算出し、距離を対応する奥行きに変換する。
例えば、奥行き算出部１０２は、対象画素値と代表画素値との間の距離を、両者の差のＬ２ノルム（ユークリッド距離）によって評価できる。具体的には、奥行き算出部１０２は、次の数式（８）に従って距離を算出する。

ここで、Ｄ（ｘ，ｙ）は距離を表し、（Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ））は対象画素値を表し、（Ｕ_ｄ，Ｖ_ｄ）は代表画素値を表す。

或いは、奥行き算出部１０２は、対象画素値と代表画素値との間の距離を、両者の差のＬ１ノルム（マンハッタン距離）によって評価できる。具体的には、奥行き算出部１０２は、次の数式（９）に従って距離を算出する。

更に、奥行き算出部１０２は、次の数式（１０）に従って距離を算出してもよい。

奥行き算出部１０２は、以上のように算出した距離Ｄ（ｘ，ｙ）を、対応する奥行きｚ（ｘ，ｙ）に変換する。例えば、代表画素値が背景代表画素値を意味しているならば、奥行き算出部１０２は次の数式（１１）に従って距離Ｄ（ｘ，ｙ）を対応する奥行きｚ（ｘ，ｙ）に変換する。

ここで、σは距離の正規化係数であって、例えばＵ，Ｖの標準偏差である。数式（１１）によれば、距離Ｄ（ｘ，ｙ）は、その値が大きいほど図１の視差画像生成装置が生成する視差画像によって再現される立体視空間においてより手前側を示す奥行きｚ（ｘ，ｙ）に変換される。即ち、背景代表画素値からの距離が比較的大きい対象画素値には、立体視空間において比較的手前側を示す奥行きが割り当てられる。

一方、例えば、代表画素値が前景代表画素値を意味しているならば、奥行き算出部１０２は次の数式（１２）に従って距離Ｄ（ｘ，ｙ）を対応する奥行きｚ（ｘ，ｙ）に変換する。

数式（１２）によれば、距離Ｄ（ｘ，ｙ）は、その値が大きいほど図１の視差画像生成装置が生成する視差画像によって再現される立体視空間においてより奥側を示す奥行きｚ（ｘ，ｙ）に変換される。即ち、前景代表画素値からの距離が比較的大きい対象画素値には、立体視空間において比較的奥側を示す奥行きが割り当てられる。

視差ベクトル算出部１０３は、奥行き算出部１０２によって算出された各対象画素値についての奥行きを視差ベクトルに変換する。以下、図３を用いて奥行きから視差ベクトルへの変換を説明する。以降の説明において、視差ベクトルをｄ［cm］で表し、観者の眼間距離をｂ［cm］で表し、観者の両眼から画面（視差画像が表示される画面）までの距離をｚ_ｓ［cm］で表し、画面から前景Ｆまでの実空間での最大飛び出し距離をｚ_０［cm］で表し、前景Ｆから背景Ｂまでの実空間での奥行きサイズをＬ_ｚ［cm］で表す。これらのうち、眼間距離ｂ、距離ｚ_ｓ、最大飛び出し距離ｚ_０及び奥行きサイズＬ_ｚは、任意に設定可能である。例えば、観者の実際の眼間距離を示す値、観者の年齢、性別などに応じた所定値などを眼間距離ｂに設定してもよい。また、実際の視聴環境に応じた値を距離ｚ_ｓに設定してもよい。更に、視差画像によって再現したい立体視空間の位置及びサイズに応じた値を最大飛び出し距離をｚ_０及び奥行きサイズをＬ_ｚに設定してもよい。

対象画素値の実空間での奥行きは、前景Ｆを基準としてγｚ［cm］で表すことができる。ここで、ｚは奥行き算出部１０２によって算出された対象画素値の奥行きを表し、γ［cm］は次の数式（１３）によって導出される変換係数である。

数式（１３）におけるｚ_ｍａｘは、次の数式（１４）によって導出される。

対象画素値の実空間での奥行きは、画面を基準としてｚ'＝（γｚ−ｚ_０）［cm］で表すことができる。図３に示されるように、三角形の相似性から次の数式（１５）が成立する。

以上のように、視差ベクトル算出部１０３は、視差ベクトルｄ［cm］を算出する。また、視差ベクトル算出部１０３は、視差ベクトルｄ［cm］を次の数式（１６）に従って、画素単位で換算してもよい。

数式（１６）において、ｄ_{ｐｉｘｅｌ}［pixel］は画素単位で換算された視差ベクトルを表し、画像解像度は入力画像の１ライン上の総画素数を表し、画面サイズは視差画像を表示する画面の上記１ラインに対応するサイズ［cm］を表す。

視差画像生成部１０４は、視差ベクトル算出部１０３によって算出された各対象画素値についての視差ベクトルに基づいて少なくとも１つの視差画像を生成する。例えば、図４に示されるように、入力画像が左目及び右目の中間の視点に対応するとすれば、視差画像生成部１０４は、次の数式（１７）に従って左目用の視差ベクトルｄ_Ｌ及び右目用の視差ベクトルｄ_Ｒを算出できる。

視差画像生成部１０４は、各対象画素値について算出した左目用の視差ベクトルｄ_Ｌに従って、各対象画素値ｐ（ｘ，ｙ）をシフト（移動）させることにより左目用の視差画像を生成する。また、視差画像生成部１０４は、各対象画素値について算出した右目用の視差ベクトルｄ_Ｒに従って、各対象画素値ｐ（ｘ，ｙ）をシフトさせることにより右目用の視差画像を生成する。尚、左目用または右目用の視差画像において画素が欠落することがある。この場合には、欠落した画素を周囲の画素から補間生成すればよい。その他、視差画像生成部１０４は、視差ベクトルｄを所望の立体視の方式に応じて適切に変換することにより、所望の２視差画像または多視差画像を生成できる。

以下、図２を用いて図１の視差画像生成装置の動作の一例を説明する。
代表画素値算出部１０１は、画面上部１／３を背景代表画素値の算出領域に設定する（ステップＳ２０１）。入力画像が動画像に含まれる複数のフレームのいずれかである場合には、算出領域はこの動画像内で共通であってもよいし、フレーム単位、シーン単位などで変更されてもよい。

代表画素値算出部１０１は、ステップＳ２０１において設定された算出領域内の画素値のヒストグラムを作成する（ステップＳ２０２）。代表画素値算出部１０１は、ステップＳ２０２において作成したヒストグラムから最頻値を探索し、背景代表画素値に設定する（ステップＳ２０３）。代表画素値算出部１０１は、ステップＳ２０３において設定した背景代表画素値を奥行き算出部１０２に入力する。

奥行き算出部１０２は、入力画像に含まれる各対象画素値について、ステップＳ２０３において設定された背景代表画素値との間の距離を算出する（ステップＳ２０４）。奥行き算出部１０２は、各対象画素値について、ステップＳ２０４において算出した背景代表画素値との間の距離を奥行きに変換する（ステップＳ２０５）。ステップＳ２０４及びステップＳ２０５によって、入力画像に含まれる各対象画素値に奥行きが割り当てられる。

視差ベクトル算出部１０３は、各対象画素値について、ステップＳ２０４及びステップＳ２０５によって割り当てられた奥行きを視差ベクトルに変換する（ステップＳ２０６）。ステップＳ２０６によって、入力画像に含まれる各対象画素値に視差ベクトルが割り当てられる。

視差画像生成部１０４は、各対象画素値について、ステップＳ２０６において割り当てられた視差ベクトルを所望の視差画像を生成するために適宜変換する。そして、視差画像生成部１０４は、各対象画素値を変換後の視差ベクトルに従ってシフトさせて所望の視差画像を生成する（ステップＳ２０７）。

以上説明したように、第１の実施形態に係る視差画像生成装置は、奥行きの基準となる代表画素値からの距離に応じて対象画素値に割り当てられる奥行きを算出する。従って、第１の実施形態に係る視差画像生成装置によれば、動き情報などを利用する手法に比べて簡易なアルゴリズムによって奥行きを算出できる。また、本実施形態に係る視差画像生成装置によれば、対象画素値が示す絶対的な色（例えば青色、赤色など）には左右されず、対象画素値と代表画素値との間の色の対比を基礎とする妥当な奥行きを算出できる。

第１の実施形態に係る視差画像生成装置によれば、視差画像を生成する過程で、入力画像に含まれる各対象画素値に割り当てられる奥行きが算出される。簡易なアルゴリズムによって奥行きの算出を実現すれば、入力画像から高速に（即ち、低遅延で）視差画像を生成することが可能となる。

（第２の実施形態）
第２の実施形態に係る視差画像生成装置は、図５に示されるように、代表画素値算出部３０１、奥行き算出部１０２、視差ベクトル算出部１０３、視差画像生成部１０４及び代表画素値保存部３０５を有する。図５において図１と同一部分には同一符号を付して示しており、以下の説明では図５と図１との間で異なる部分を中心に述べる。尚、本実施形態において、入力画像は、動画像に含まれる複数のフレームのうちのいずれかであることとする。

第１の実施形態では、代表画素値からの距離に応じて各対象画素値の奥行きが決定される。故に、代表画素値が急激に時間変動すると、各対象画素値の奥行きもまた急激に時間変動する。各対象画素値の奥行きが急激に時間変動することは、観者の目に負担を掛けるだけでなく立体視の品質に悪影響を与える。そこで、本実施形態は、代表画素値の急激な時間変動を緩和する。

代表画素値算出部３０１は、入力画像の少なくとも一部の領域の画素値に基づいて入力画像に適用される代表画素値の暫定値を算出する。尚、この暫定値は、前述の代表画素値算出部１０１が算出する代表画素値と同様である。代表画素値算出部３０１は、入力画像とは別のフレーム（典型的には、入力画像よりも１つ前のフレーム）に適用される別の代表画素値を代表画素値保存部３０５から読み出し、この別の代表画素値と上記暫定値とを重み付け加算して入力画像に適用される代表画素値を算出する。

例えば、代表画素値算出部３０１は、次の数式（１８）に従って、代表画素値の時間平滑化（temporal blending）を行う。

数式（１８）において、左辺は入力画像に適用される代表画素値を表し、αは時定数（０≦α≦１）を表し、（Ｕ_ｄ，Ｖ_ｄ）_ｔは上記暫定値を表し、ｔはフレーム番号を表し、（Ｕ_ｄ，Ｖ_ｄ）_ｔ−１'は入力画像よりも１つ前の（（ｔ−１）番目の）フレームに適用される代表画素値を表す。時定数αが小さいほどフレーム間での代表画素値の時間変動が緩和され、時定数αが大きいほど入力画像の特徴が反映されやすくなる（暫定値に近い値となる）。尚、上記暫定値と、複数の別のフレームに適用される複数の別の代表画素値との重み付け加算によって入力画像に適用される代表画素値が算出されてもよい。

代表画素値保存部３０５には、入力画像とは別のフレームに適用される別の代表画素値が保存される。典型的には、代表画素値保存部３０５には、入力画像よりも１つ前のフレームに適用される代表画素値が保存される。

以上説明したように、第２の実施形態に係る視差画像生成装置は、入力画像の少なくとも一部の領域の画素に基づく代表画素値の暫定値と、入力画像とは別のフレームに適用される別の代表画素値との重み付け加算によって入力画像に適用される代表画素値を算出する。従って、本実施形態に係る視差画像生成装置によれば、代表画素値の急激な時間変動を緩和できる。

（第３の実施形態）
第３の実施形態に係る視差画像生成装置は、図６に示されるように、代表画素値群算出部４０１、奥行き算出部４０２、視差ベクトル算出部１０３及び視差画像生成部１０４を有する。図６において図１と同一部分には同一符号を付して示しており、以下の説明では図６と図１との間で異なる部分を中心に述べる。

代表画素値群算出部４０１は、複数（Ｍ個）の代表画素値（以下、代表画素値群と総称することもある）を算出する。代表画素値群４０１は、入力画像の少なくとも一部の領域の画素値に基づいて代表画素値群を算出する。典型的には、代表画素値群算出部４０１は、数式（１）乃至数式（５）及びこれらの周辺において説明した通りに算出領域内の画素値の最頻値を代表画素値群の１つとして算出する。更に、代表画素値群算出部４０１は、度数の降順に残りの（Ｍ−１）個の画素値をヒストグラムから探索し、代表画素値群（Ｕ_ｄ，Ｖ_ｄ）_１，・・・，（Ｕ_ｄ，Ｖ_ｄ）_Ｍを算出する。即ち、ヒストグラムにおいて第２番目，・・・，第Ｍ番目のピークを示す画素値群（Ｕ_ｄ，Ｖ_ｄ）_２，・・・，（Ｕ_ｄ，Ｖ_ｄ）_Ｍもまた代表画素値群の一部として奥行き算出において考慮される。

奥行き算出部４０２は、対象画素値と複数の代表画素値との間の複数の距離を算出し、複数の距離を対応する奥行きに変換する。典型的には、奥行き算出部４０２は、数式（８）乃至数式（１０）及びこれらの周辺において説明した通りに、対象画素値と複数の代表画素値と間の複数の距離Ｄ（ｘ，ｙ）_１，・・・，Ｄ（ｘ，ｙ）_Ｍを算出する。更に、奥行き算出部４０２は、次の数式（１９）に従って、複数の距離Ｄ（ｘ，ｙ）_１，・・・，Ｄ（ｘ，ｙ）_Ｍの最小値を探索する。

そして、奥行き算出部４０２は、数式（１１）または数式（１２）に探索したＤ（ｘ，ｙ）を適用して奥行きに変換する。複数の距離の最小値を奥行きに変換する例を説明したが、複数の距離の平均値、中央値、最頻値などを奥行きに変換することも想定できる。最小値を奥行きに変換することは、代表画素値群のうち最も対象画素値に類似する１つを選択したうえで第１の実施形態に係る奥行きの算出を行うことを意味する。

尚、第１の実施形態において説明したように、予め用意された特定色を示す画素値を背景代表画素値及び前景代表画素値として利用することにより、背景代表画素値及び前景代表画素値の算出を省略可能である。即ち、本実施形態において代表画素値群の一部または全部を予め用意することにより、代表画素値群の一部または全部の算出を省略可能である。

以上説明したように、第３の実施形態に係る視差画像生成装置は、対象画素値と複数の代表画素値との間の複数の距離を対応する奥行きに変換する。従って、本実施形態に係る視差画像生成装置によれば、背景または前景に複数の大きく異なる色が混在している場合にも、複数の代表画素値と対象画素値との色の対比を基礎とする妥当な奥行きを算出できる。

例えば、上記各実施形態の処理を実現するプログラムを、コンピュータで読み取り可能な記憶媒体に格納して提供することも可能である。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。

また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１・・・代表画素値算出部
１０２・・・奥行き算出部
１０３・・・視差ベクトル算出部
１０４・・・視差画像生成部
３０１・・・代表画素値算出部
３０５・・・代表画素値保存部
４０１・・・代表画素値群算出部
４０２・・・奥行き算出部

Claims

入力画像に含まれる対象画素の色信号の階調値を表す対象画素値と任意の色信号の階調値を表す代表画素値との間の画素値の差分を表す距離を算出し、前記距離の大きさに応じて、前記対象画素の奥行きを算出することと、
前記奥行きに基づいて前記入力画像とは異なる視点に対応する少なくとも１つの視差画像を生成することと
を具備し、
前記代表画素値は、前記少なくとも１つの視差画像によって再現される立体視空間において少なくとも奥側に配置される背景代表画素値及び前記少なくとも１つの視差画像によって再現される立体視空間において少なくとも手前側に配置される前景代表画素値のいずれか一方であり、
前記距離は、前記代表画素値が前記背景代表画素値である場合には、当該距離が大きいほど前記立体視空間においてより手前側を示す奥行きに変換され、
前記距離は、前記代表画素値が前記前景代表画素値である場合には、当該距離が大きいほど前記立体視空間においてより奥側を示す奥行きに変換される、
視差画像生成方法。
前記入力画像の少なくとも一部の領域の画素値に基づいて前記代表画素値を算出することを更に具備し、
前記代表画素値は、前記入力画像の少なくとも一部の領域の画素値のヒストグラムから探索される前記領域内の画素値の最頻値である、請求項１の視差画像生成方法。
前記入力画像の少なくとも一部の領域の画素値に基づいて前記代表画素値を算出することを更に具備し、
前記代表画素値は、前記入力画像の少なくとも一部の領域の画素値の平均値及び中央値のいずれか一方である、請求項１の視差画像生成方法。
前記距離は、前記対象画素値と前記代表画素値との間の画素値の差分のユークリッド距離及びマンハッタン距離のいずれか一方である、請求項１の視差画像生成方法。
前記入力画像は、動画像に含まれる複数のフレームのうちのいずれかであり、
前記入力画像の少なくとも一部の領域の画素値に基づいて前記代表画素値の暫定値を算出することと、
前記入力画像とは別のフレームに適用される別の代表画素値と前記暫定値とを重み付け加算して前記代表画素値を算出することと
を更に具備する、
請求項１の視差画像生成方法。
入力画像に含まれる対象画素の色信号の階調値を表す対象画素値と任意の複数の色信号の階調値を表す複数の代表画素値との間の複数の画素値の差分を表す複数の距離を算出し、前記複数の距離の大きさに応じて、前記対象画素の奥行きを算出することと、
前記奥行きに基づいて前記入力画像とは異なる視点に対応する少なくとも１つの視差画像を生成することと
を具備し、
前記複数の代表画素値は、前記少なくとも１つの視差画像によって再現される立体視空間において少なくとも奥側に配置される複数の背景代表画素値及び前記少なくとも１つの視差画像によって再現される立体視空間において少なくとも手前側に配置される複数の前景代表画素値のいずれか一方であり、
前記複数の距離は、前記複数の代表画素値が前記複数の背景代表画素値である場合には、当該複数の距離の統計値が大きいほど前記立体視空間においてより手前側を示す奥行きに変換され、
前記複数の距離は、前記複数の代表画素値が前記複数の前景代表画素値である場合には、当該複数の距離の統計値が大きいほど前記立体視空間においてより奥側を示す奥行きに変換される、
視差画像生成方法。
入力画像に含まれる対象画素の色信号の階調値を表す対象画素値と任意の色信号の階調値を表す代表画素値との間の画素値の差分を表す距離を算出し、前記距離の大きさに応じて、前記対象画素の奥行きを算出する算出部と、
前記奥行きに基づいて前記入力画像とは異なる視点に対応する少なくとも１つの視差画像を生成する生成部と
を具備し、
前記代表画素値は、前記少なくとも１つの視差画像によって再現される立体視空間において少なくとも奥側に配置される背景代表画素値及び前記少なくとも１つの視差画像によって再現される立体視空間において少なくとも手前側に配置される前景代表画素値のいずれか一方であり、
前記距離は、前記代表画素値が前記背景代表画素値である場合には、当該距離が大きいほど前記立体視空間においてより手前側を示す奥行きに変換され、
前記距離は、前記代表画素値が前記前景代表画素値である場合には、当該距離が大きいほど前記立体視空間においてより奥側を示す奥行きに変換される、
視差画像生成装置。