JP5887966B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、２Ｄ画像を立体視のための３Ｄ画像に変換する処理を実行する画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、３Ｄ映画、３Ｄ放送などの３Ｄ映像コンテンツが普及してきている。観察者に立体視させるためには、視差を持つ右眼画像と左眼画像が必要である。３Ｄ映像を表示する際、右眼画像と左眼画像を時分割に表示し、シャッタメガネや偏光メガネなどの映像分離用メガネにより右眼画像と左眼画像を分離する。これにより観察者は右眼画像を右眼のみで、左眼画像を左眼のみで観察でき立体視できる。なお右眼画像と左眼画像を時分割ではなく空間分割すればメガネは必要なくなるが解像度が低下する。メガネ方式にしてもメガネレス方式にしても右眼画像と左眼画像が必要な点では共通する。

３Ｄ映像を製作するには大きく２つの方法があり、２台のカメラを用いて右眼画像と左眼画像を同時に撮影する方法と、１台のカメラで撮影された２Ｄ画像を後に編集して視差画像を生成する方法がある。本発明は後者の方法に関するものであり、２Ｄ３Ｄ変換技術に関するものである。

図１は、２Ｄ３Ｄ変換の基本処理プロセスを説明するための図である。まず２Ｄ入力画像からデプスマップ（奥行き情報ともいう）を生成する（ステップＳ１０）。そして２Ｄ入力画像とデプスマップを用いて３Ｄ画像を生成する（ステップＳ３０）。図１では２Ｄ入力画像を３Ｄ出力画像の右眼画像とし、２Ｄ入力画像をデプスマップを用いて画素シフトした画像を３Ｄ出力画像の左眼画像としている。以下、所定の視差を持つ右眼画像と左眼画像の組みを３Ｄ画像または視差画像という。

従来から、２Ｄ画像で表現されたシーン構造を推定してデプスマップを生成する様々な手法が提案されている。本出願人は画面内の所定領域における画素値の統計量を算定してシーン構造を推定し、それに応じて複数の基本奥行きモデルの合成比率を決定し、その合成比率に応じてデプスマップを生成する手法を提案している。この手法を用いれば、２Ｄ画像から比較的違和感が小さい３Ｄ画像を簡易かつ高速に生成できる。

特開２０１１−４８５８６号公報

３Ｄ映画などの映像製作の分野では高品質な３Ｄ画像が求められる。上述の手法で生成できる３Ｄ画像の品質には限界がある。高品質な３Ｄ画像を製作するには膨大な人的作業が必要となる。例えば、画面内の多数のオブジェクトの各々の膨らみやオブジェクト間の位置関係の設定や調整、グラデーションの付加など細かな作業が必要となる。このような作業を全てのフレームに対して実施する手間と費用は膨大なものである。

本発明はこうした状況に鑑みてなされたものであり、その目的は、２Ｄ画像から３Ｄ画像を生成する際に、製作者の手間を軽減しつつ高品質な３Ｄ画像を生成できる技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置（１００）は、入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成するデプスマップ生成部（１０）と、前記デプスマップ生成部（１０）により生成されたデプスマップを加工するデプスマップ加工部（２０）と、前記入力画像、及び前記デプスマップ加工部（２０）により加工されたデプスマップをもとに、別視点の画像を生成する画像生成部（３０）と、を備える。前記デプスマップ加工部（２０）は、外部設定される複数のマスクパターンにより指定される画面内の複数の領域ごとに、前記デプスマップのゲインを個別に調整し、ゲイン調整する際の中心レベルを、デプスマップの指定領域内のデプス値の平均値に設定する。

本発明の別の態様は、画像処理方法である。この方法は、入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成するステップと、生成されたデプスマップを加工するステップと、前記入力画像、及び加工されたデプスマップをもとに、別視点の画像を生成するステップと、を有する。前記デプスマップを加工するステップは、外部設定される複数のマスクパターンにより指定される画面内の複数の領域ごとに、前記デプスマップのゲインを個別に調整し、ゲイン調整する際の中心レベルを、デプスマップの指定領域内のデプス値の平均値に設定する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、２Ｄ画像から３Ｄ画像を生成する際に、製作者の手間を軽減しつつ高品質な３Ｄ画像を生成できる。

２Ｄ３Ｄ変換の基本処理プロセスを説明するための図である。 本発明の実施の形態に係る画像編集システムの構成を示す図である。 本発明の実施の形態に係るデプスマップ生成部の構成例を示す図である。 本発明の実施の形態に係る画像編集システムの全体処理プロセスを説明するための図である。 入力デプスマップのゲイン調整プロセスを説明するための図である。 レイヤデプスマップの合成処理プロセスを説明するための図である。 マスクを使用しない入力デプスマップのゲイン調整プロセスを説明するための図である。 ３Ｄ画像生成部による３Ｄ画像生成プロセスを説明するための図である。 任意レベルを中心にゲイン調整する例を示す図である。 デプス値の平均値を中心にゲイン調整する例を示す図である。 デプス値の平均値を中心に上下で異なる値のゲインを掛ける例を示す図である。 外部設定された値を中心にゲイン調整する例を示す図である。 入力デプスマップのオフセット調整プロセスを説明するための図である。 マスクを使用しない入力デプスマップのオフセット調整プロセスを説明するための図である。 図１５（ａ）−（ｃ）は、デプスマップ全体のダイナミックレンジ調整を説明するための図である。 入力デプスマップのグラデーション付加プロセスを説明するための図である。 マスクを使用しない入力デプスマップのグラデーション付加プロセスを説明するための図である。 レイヤ毎のデプスの状態を表示するグラフの一例を示す図である。 レイヤのデプスの状態をヒストグラムで表示する例を示す図である。

図２は、本発明の実施の形態に係る画像編集システム５００の構成を示す図である。実施の形態に係る画像編集システム５００は、画像処理装置１００及びコンソール端末装置２００を備える。

コンソール端末装置２００は画像製作者（以下、ユーザという）が画像を製作、編集するために使用する端末装置である。コンソール端末装置２００は操作部６０および表示部７０を備える。操作部６０はキーボード、マウス等の入力デバイスであり、表示部７０はディスプレイ等の出力デバイスである。なお入出力が一体となったデバイスであるタッチパネルディスプレイが用いられてもよい。またコンソール端末装置２００はプリンタ、スキャナ等の印刷物を媒体として用いるユーザインタフェースを含んでよい。操作部６０はユーザ操作を受け付け、そのユーザ操作に起因した信号を生成し、画像処理装置１００に出力する。表示部７０は画像処理装置１００により生成された画像を表示する。

画像処理装置１００はデプスマップ生成部１０、デプスマップ加工部２０、３Ｄ画像生成部３０、操作受付部４０、表示制御部５０を含む。これらの構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。例えばデプスマップ生成部１０、デプスマップ加工部２０、３Ｄ画像生成部３０について、その機能を全てソフトウェアで実現してもよいし、デプスマップ生成部１０および３Ｄ画像生成部３０の機能を専用のロジック回路で構成しデプスマップ加工部２０をソフトウェアで実現してもよい。

デプスマップ生成部１０は、入力される２Ｄ画像とデプスモデルをもとに当該２Ｄ画像のデプスマップを生成する。デプスマップは、デプス値（奥行き値ともいう）を輝度値で表したグレースケール画像である。デプスマップ生成部１０はシーン構造を推定して、そのシーン構造に適合的なデプスモデルを使用してデプスマップを生成する。本実施の形態ではデプスマップ生成部１０は複数の基本デプスモデルを合成してデプスマップ生成に使用する。その際、当該２Ｄ画像のシーン構造に応じて複数の基本デプスモデルの合成比率を変化させる。

図３は、本発明の実施の形態に係るデプスマップ生成部１０の構成例を示す図である。デプスマップ生成部１０は、画面上部高域成分評価部１１、画面下部高域成分評価部１２、合成比率決定部１３、第１基本デプスモデル用フレームメモリ１４、第２基本デプスモデル用フレームメモリ１５、第３基本デプスモデル用フレームメモリ１６、合成部１７、加算部１８を含む。

画面上部高域成分評価部１１は、処理すべき２Ｄ画像の画面上部において高域成分を有する画素の割合を算出する。その割合を画面上部の高域成分評価値とする。なお画面全体に対する画面上部の割合は略２０％に設定するとよい。画面下部高域成分評価部１２は当該２Ｄ画像の画面下部において高域成分を有する画素の割合を算出する。その割合を画面下部の高域成分評価値とする。なお画面全体に対する画面下部の割合は略２０％に設定するとよい。

第１基本デプスモデル用フレームメモリ１４は第１基本デプスモデルを保持し、第２基本デプスモデル用フレームメモリ１５は第２基本デプスモデルを保持し、第３基本デプスモデル用フレームメモリ１６は第３デプスモデルを保持する。第１基本デプスモデルは画面上部及び画面下部をそれぞれ凹状の球面とするモデルである。第２基本デプスモデルは画面上部を縦方向に軸線を有する円筒面、画面下部を凹状の球面とするモデルである。第３基本デプスモデルは画面上部を平面、画面下部を横方向に軸線を有する円筒面とするモデルである。

合成比率決定部１３は、画面上部高域成分評価部１１および画面下部高域成分評価部１２によりそれぞれ算出された、画面上部および画面下部の高域成分評価値をもとに第１基本デプスモデル、第２基本デプスモデル、第３基本デプスモデルの合成比率ｋ１，ｋ２，ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を決定する。合成部１７はこれらの合成比率ｋ１，ｋ２，ｋ３と、第１基本デプスモデル、第２基本デプスモデル、第３基本デプスモデルをそれぞれ乗算し、それぞれの乗算結果を加算する。この演算結果が合成基本デプスモデルとなる。

例えば合成比率決定部１３は、画面上部の高域成分評価値が小さい場合は画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深くした第２基本デプスモデルの比率を増加させる。また画面下部の高域成分評価値が小さい場合は画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、第３基本デプスモデルの比率を増加させる。第３基本デプスモデルでは、画面上部は遠景として平面近似し、画面下部は下に行くほど奥行きを小さくしている。

加算部１８は、合成部１７により生成された合成基本デプスモデルに上記２Ｄ画像の赤成分（Ｒ）信号を重畳してデプスマップを生成する。Ｒ信号を使用する理由は、Ｒ信号の大きさが順光に近い環境で、かつテクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。また赤色および暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識され、立体感が強調されるためである。

図２に戻る。デプスマップ加工部２０は、デプスマップ生成部１０により生成されたデプスマップを加工する。本実施の形態ではデプスマップ加工部２０は、外部設定される複数のマスクパターン（以下、単にマスクという）により指定される画面内の複数の領域ごとに、デプスマップ生成部１０により生成されたデプスマップを個別または独立に加工する。例えばゲイン調整、オフセット調整、グラデーション処理などの加工を行う。デプスマップ加工部２０による処理の詳細は後述する。

３Ｄ画像生成部３０は、上述の２Ｄ画像およびデプスマップ加工部２０により加工されたデプスマップをもとに別視点の２Ｄ画像を生成する。３Ｄ画像生成部３０は、オリジナル視点の２Ｄ画像と別視点の２Ｄ画像を右眼画像と左眼画像として出力する。

以下、オリジナル視点の２Ｄ画像とデプスマップを用いて当該２Ｄ画像と視差を持つ別視点の２Ｄ画像を生成する具体例を説明する。この具体例ではオリジナル視点の２Ｄ画像を画面表示させた場合の視点を基準にして、左に視点移動した別視点の２Ｄ画像を生成する。その場合、観察者に対してテクスチャを近景として表示させるときは画面に向かって左側へオリジナル視点の２Ｄ画像のテクスチャを所定量移動させ、テクスチャを観察者に遠景として表示させるときは画面に向かって右側へテクスチャを所定量移動させる。

デプスマップの各画素の輝度値をＹｄ、飛び出し感を表す輻輳値をｍ、立体感を表す奥行き値をｎとする。３Ｄ画像生成部３０は輝度値Ｙｄの小さい値から順に、その輝度値Ｙｄに対応するオリジナル視点の２Ｄ画像のテクスチャを画素ごとに（Ｙｄ−ｍ）／ｎ画素分左にシフトする。（Ｙｄ−ｍ）／ｎの値が負の場合、（ｍ−Ｙｄ）／ｎ画素分右にシフトする。なお観察者には、デプスマップの輝度値Ｙｄの小さいテクスチャは画面奥側に見え、輝度値Ｙｄの大きいテクスチャは画面手前に見える。輝度値Ｙｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０に設定される。

なお、デプスマップ生成部１０によるデプスマップ生成、および３Ｄ画像生成部３０による３Ｄ画像生成のより詳細な説明は、本出願人が先に出願した特開２００５−１５１５３４号公報、特開２００９−４４７２２号公報に開示されている。

操作受付部４０は、コンソール端末装置２００の操作部６０から入力される信号を受け付ける。表示制御部５０はコンソール端末装置２００の表示部７０を制御する。なお本明細書ではデプスマップ加工部２０の処理に注目するため、図２では操作受付部４０および表示制御部５０のそれぞれと、デプスマップ加工部２０との間のみを線で結んでいるが、操作受付部４０および表示制御部５０がデプスマップ加工部２０の処理への使用に限定されるものではない。

図４は、本発明の実施の形態に係る画像編集システム５００の全体処理プロセスを説明するための図である。一般的に２Ｄ画像には複数のオブジェクトが含まれる。図４の２Ｄ入力画像は３つのオブジェクトを含む。具体的には人物、木、背景のオブジェクトを含む。まずデプスマップ生成部１０は、２Ｄ入力画像からデプスマップを生成する（ステップＳ１０）。デプスマップは白に近いほど輝度が高く観察者との距離が近いことを示し、黒に近いほど輝度が低く観察者との距離が遠いことを示す。３Ｄ画像を生成する場合、デプスマップの白に近い領域ほど飛び出し量が大きくなり、黒に近い領域ほど引っ込み量が大きくなる。

本実施の形態では画像内の複数のオブジェクトに対して個別に奥行き感を調整するために、デプスマップ内の個々のオブジェクト領域に対して独立にエフェクト調整する。具体的には、画像中の個々のオブジェクト領域を表す複数のマスクを用いて、デプスマップ内に、個々のオブジェクト領域を特定する。そして特定されたオブジェクト領域ごとに個別にエフェクト調整し、エフェクト調整された複数のデプスマップを得る。そして、この複数のデプスマップを合成して一つのデプスマップを生成する。このデプスマップは、オリジナル視点の２Ｄ画像から別視点の２Ｄ画像を生成する際に使用される。

デプスマップ生成部１０は２Ｄ入力画像のデプスマップを自動的に生成する（Ｓ１０）。生成されたデプスマップは、デプスマップ加工部２０に入力される。デプスマップ加工部２０には、２Ｄ入力画像内の複数のオブジェクト領域をそれぞれ表す複数のマスクも入力される。これらのマスクはユーザによりトレースされたオブジェクト領域の輪郭をもとに生成される。例えば、表示制御部５０は表示部７０に２Ｄ入力画像を表示させ、ユーザはその２Ｄ入力画像内においてオブジェクト領域とすべき領域の輪郭を、操作部６０を使用してトレースする。操作受付部４０は操作部６０からの信号により、個々のオブジェクト領域の輪郭情報を生成し、マスクとしてデプスマップ加工部２０に出力する。なおユーザが印刷物上に描いた輪郭をスキャナにより読み取ることによりマスクを画像処理装置１００に読み込ませてもよい。

図４では各マスクの有効領域を白で無効領域を黒で描いている。人物のマスクは人物の領域のみを有効とし、他の領域を無効とするパターンである。木のマスクは木の領域のみを有効とし、他の領域を無効とするパターンである。背景のマスクは背景のみを有効とし、他の領域を無効とするパターンである。

１画面あたりのマスクの数に制約はなく、ユーザが任意に設定できる。またオブジェクト領域はユーザが１つのオブジェクト領域にすべきと決定した領域に設定できる。例えば、図４に示すように１人の人物に１つのオブジェクト領域を設定しもよいし、人物の部位ごと、さらに各部位の部分ごとにオブジェクト領域を設定してもよい。特に高品質な３Ｄ画像を生成する際には、１人の人物に対しても多数のオブジェクト領域を設定し、部位ごと、さらに各部位の部分ごとに厚みや奥行き方向の位置を調整することもある。

デプスマップ加工部２０は、デプスマップ生成部１０から入力されるデプスマップ（以下、入力デプスマップという）を、ユーザインタフェースを介して入力される複数のマスクを用いて加工する（Ｓ２０）。デプスマップ加工部２０は各マスクで特定される領域ごとに、個別にデプスマップを加工する。以下、この領域別のデプスマップの加工をデプスマップのレイヤ処理と呼ぶ。またレイヤ処理されたデプスマップをレイヤデプスマップと呼ぶ。本明細書ではレイヤを、マスクの有効領域に対する処理の単位を示す概念として使用している。

図４では、一例としてデプスマップ加工部２０は入力デプスマップから、人物のマスク（レイヤ１のマスク）を用いて人物の領域を特定してレイヤ処理している（Ｓ２１ａ）。同様に入力デプスマップから、木のマスク（レイヤ２のマスク）を用いて木の領域を特定してレイヤ処理している（Ｓ２１ｂ）。同様に入力デプスマップから、背景のマスク（レイヤ３のマスク）を用いて背景の領域を特定してレイヤ処理している（Ｓ２１ｃ）。

デプスマップ加工部２０は、レイヤ１〜３のレイヤデプスマップの各オブジェクト領域のデプスマップを合成する（Ｓ２２）。この合成されたデプスマップを合成デプスマップと呼ぶ。３Ｄ画像生成部３０は、この合成デプスマップを用いて２Ｄ入力画像の画素をシフトし、２Ｄ入力画像に対して視差を持つ画像を生成する（Ｓ３０）。３Ｄ画像生成部３０は２Ｄ入力画像を３Ｄ出力画像の右眼画像（Ｒ）とし、生成した画像を左眼画像（Ｌ）として出力する。

（ゲイン調整）
まず、デプスマップ加工部２０によるレイヤ処理としてゲイン調整する例を説明する。ゲイン調整はオブジェクトの奥行き方向の厚みを調整する処理である。ゲインを上げるとオブジェクトが厚くなり、ゲインを下げるとオブジェクトが薄くなる。

図５は、入力デプスマップのゲイン調整プロセスを説明するための図である。デプスマップ加工部２０は、加工前のデプスマップである入力デプスマップに対して、人物のマスクの有効領域だけにゲインを乗算して、入力デプスマップ内の人物の部分のみデプス値の振幅を大きくする（Ｓ２１ａ）。図５において加工後のデプスマップであるレイヤデプスマップは人物の部分の振幅が大きくなっている（符号ａ参照）。

図６は、レイヤデプスマップの合成処理プロセスを説明するための図である。デプスマップ加工部２０は、レイヤ１のレイヤデプスマップ（人物のデプスマップ）のうち、レイヤ１のマスク（人物のマスク）の有効領域のみを切り出す。同様にレイヤ２のレイヤデプスマップ（木のデプスマップ）のうち、レイヤ２のマスク（木のマスク）の有効領域のみを切り出す。同様にレイヤ３のレイヤデプスマップ（背景のデプスマップ）のうち、レイヤ３のマスク（背景のマスク）の有効領域のみを切り出す。デプスマップ加工部２０は、切り出した３つのデプスマップを組み合わせて合成デプスマップを生成する。

図７は、マスクを使用しない入力デプスマップのゲイン調整プロセスを説明するための図である。レイヤデプスマップの合成の際、各レイヤデプスマップのマスクの有効領域のみを用いて合成するのであれば、各レイヤデプスマップのマスクの無効領域は合成デプスマップに反映されないことになる。よって、デプスマップ加工部２０は入力デプスマップ全体にゲインを乗算して、入力デプスマップ全体のデプス値の振幅を大きくする（Ｓ２１ａ）。図７においてレイヤデプスマップは全体の振幅が大きくなっている（符号ｂ参照）。

図８は、３Ｄ画像生成部３０による３Ｄ画像生成プロセスを説明するための図である。３Ｄ画像生成部３０は合成デプスマップをもとに２Ｄ入力画像の画素をシフトし、２Ｄ入力画像に対して視差を持つ画像を生成する（Ｓ３０）。図８では２Ｄ入力画像内の人物部分の画素を左にシフトする例を示している。３Ｄ画像生成部３０は合成デプスマップの人物部分のデプス値にオフセット値を加算してデプス値を大きくする。なおオフセット調整の詳細は後述する。人物部分のデプス値が大きくなると、３Ｄ画像の人物部分の飛び出し量が大きくなる。

人物部分の周囲の背景部分を画素シフトせずに人物部分のみを画素シフトすると、画素が存在しない欠落画素部分が発生する（補正前の画素シフト画像の符号ｃ参照）。３Ｄ画像生成部３０は、この欠落画素部分をその周辺画素から生成した画素で補間して欠落画素部分を補正する。画素補間には様々な方法があるが、例えば人物部分の境界の画素で補間する（補正後の画素シフト画像の符号ｄ参照）。

デプスマップ内のデプス値にゲインを掛けて、デプス値の振幅を伸張または圧縮する目的は、生成する３Ｄ画像における奥行き感の振幅を調整することにある。従って、デプス値にゲインを掛ける際の中心レベルは適切に設定される必要がある。

図９は、任意レベルを中心にゲイン調整する例を示す図である。図９ではデプスマップのオブジェクト領域内におけるデプス値の平均値より低い値に任意レベルを設定している。上述したようにデプスマップのオブジェクト領域は、マスクの有効領域により指定される。当該任意レベルを中心にゲイン調整すると、デプス値の平均値が変動してデプスマップに意図しないオフセットが発生する。このオフセットにより、生成する３Ｄ画像の奥行き感の振幅だけでなく奥行きの重心も変化する。この重心の変化はユーザにとって意図しない調整である。図９ではゲイン調整後に、デプス値の平均値が高くなり奥行きの重心が手前にずれてしまう。

図１０は、デプス値の平均値を中心にゲイン調整する例を示す図である。デプスマップ加工部２０は、ゲイン調整する際の中心レベルを、デプスマップのオブジェクト領域内におけるデプス値の平均値に設定する。なおゲイン調整する際に使用するゲイン値は外部から設定される。ユーザは操作部６０を使用して所望のゲイン値を入力し、操作受付部４０は操作部６０から入力されるゲイン値を受け付けてデプスマップ加工部２０に設定する。

図１０に示すようにデプス値の平均値を中心レベルとしてゲイン調整すると、調整前後でデプス値の平均値が変動しないためデプスマップに意図しないオフセットが発生することがない。従って、生成する３Ｄ画像の奥行き感の振幅だけが変化し奥行きの重心は変化しないため、ユーザにとって意図した調整となる。

デプス値の平均値は、以下の手順で求めることができる。まずデプスマップのオブジェクト領域内におけるデプス値の総和を算出する。次にオブジェクト領域内の面積、即ち画素数をカウントする。最後にオブジェクト領域内におけるデプス値の総和を、オブジェクト領域内の画素数で除算する。これにより、オブジェクト領域内におけるデプス値の平均値が算出される。

デプスマップ内のデプス値にゲインを掛けて、デプス値の振幅を伸張または圧縮する場合において、飛び出し側と引っ込み側で独立してゲイン調整したい場合がある。

図１１は、デプス値の平均値を中心に上下で異なる値のゲインを掛ける例を示す図である。デプスマップ加工部２０は、中心レベルの上下で独立にゲイン調整する。より具体的には、デプスマップのオブジェクト領域内におけるデプス値の平均値を中心レベルとして、当該平均値よりも大きいデプス値に乗算する第１ゲイン値と、当該平均値よりも小さいデプス値に乗算する第２ゲイン値を独立に設定する。図１１では第１ゲイン値を第２ゲイン値より大きく設定している（符号ｅ、ｆ参照）。

デプスマップ加工部２０は対象画素のデプス値が当該平均値よりも大きい場合、当該デプス値に第１ゲイン値を乗算し、対象画素のデプス値が当該平均値よりも小さい場合、当該デプス値に第２ゲイン値を乗算する。これにより、飛び出し側と奥行き側で、独立してゲイン調整できる。図１１では飛び出し側の厚みが大きくなる。

図１０、図１１では演算により求めたデプス値の平均値を中心レベルとして、ゲイン調整する例を示した。この点、ゲイン調整する際の中心レベルを外部から与えてもよい。

図１２は、外部設定された値を中心にゲイン調整する例を示す図である。デプスマップ加工部２０はゲイン調整する際の中心レベルを、外部から入力される指定基準レベルに設定する。ユーザは操作部６０を使用して指定基準レベルを入力し、操作受付部４０は操作部６０から入力される指定基準レベルを受け付けてデプスマップ加工部２０に出力する。これにより、ユーザはゲイン調整する際の中心レベルを任意に指定できる。

なお図１０〜図１２に示した方法を、デプスマップのオブジェクト領域ごとに選択可能である。即ちゲイン調整する際の中心レベルの設定方法、中心レベルの上下でゲイン値を変える方法を、デプスマップのオブジェクト領域ごとに選択可能である。また図１０〜図１２ではデプスマップのオブジェクト領域にそれらの方法を適用する例を説明したが、合成デプスマップにそれらの方法を適用してもよい。

（オフセット調整）
次に、デプスマップ加工部２０によるレイヤ処理としてオフセット調整する例を説明する。オフセット調整はオブジェクトの奥行き方向の位置を調整する処理である。正のオフセット値を加算するとオブジェクトが飛び出し方向に移動し、負のオフセット値を加算すると引っ込み方向に移動する。

図１３は、入力デプスマップのオフセット調整プロセスを説明するための図である。デプスマップ加工部２０は、加工前のデプスマップである入力デプスマップに対して、木のマスクの有効領域だけにオフセットを加算して、入力デプスマップ内の木の部分のみデプス値のレベルを高くする（Ｓ２１ｂ）。図１３において加工後のデプスマップであるレイヤデプスマップは木の部分のレベルが高くなっている（符号ｇ参照）。

図１４は、マスクを使用しない入力デプスマップのオフセット調整プロセスを説明するための図である。レイヤデプスマップの合成の際、各レイヤデプスマップのマスクの有効領域のみを用いて合成するのであれば、各レイヤデプスマップのマスクの無効領域は合成デプスマップに反映されないことになる。よって、デプスマップ加工部２０は入力デプスマップ全体にオフセットを加算して、入力デプスマップ全体のデプス値のレベルを高くする（Ｓ２１ｂ）。図１４においてレイヤデプスマップは全体のレベルが高くなっている（符号ｈ参照）。

オフセット調整する際に使用するオフセット値は外部から設定される。ユーザは操作部６０を使用して所望のオフセット値を入力し、操作受付部４０は操作部６０から入力されるオフセット値を受け付けてデプスマップ加工部２０に設定する。以上の説明ではデプスマップのオブジェクト領域にオフセット値を加算する例を示したが、合成デプスマップにオフセット値を加算してもよい。

デプスマップのオフセット領域ではなく合成デプスマップをゲイン調整すると、意図どおりのゲイン調整ができない場合がある。以下、デプスマップのデプス値のダイナミックレンジを拡大または縮小し、画面全体の奥行き感を強めたり弱めたりする場合を想定する。以下の説明では、奥行き感を強める場合について説明するが、逆に奥行き感を弱める場合についても同様である。

画面全体の奥行き感を強めるための方法として、合成デプスマップに対して均一にゲインを掛ける方法が考えられる。しかしながら、この方法ではデプス値のダイナミックレンジが拡大されると同時に、個々のオブジェクトの凹凸感の振幅も拡大される。後者の拡大も調整の意図に適っていればよいが、そうでない場合もある。

以下、デプス値のダイナミックレンジは拡大するが、個々のオブジェクトの凹凸感の振幅は変化しない調整方法について説明する。デプスマップ加工部２０は、デプスマップ全体のデプス値の平均値と、デプスマップ内の各オブジェクト領域内におけるデプス値の平均値との各差分に、デプスマップ全体のダイナミックレンジを調整するための共通の係数を掛ける。各演算結果は各オブジェクト領域内におけるデプス値のオフセット値となる。デプスマップ加工部２０は、各オブジェクト領域内におけるデプス値に、対応する各オフセット値を加算する。

以下、具体例を挙げて説明する。合成デプスマップのデプス値が−Ｘ〜＋Ｘに分布しているとし、このデプス値の分布−Ｘ〜＋Ｘをデプス値のダイナミックレンジとする。以下デプス値のダイナミックレンジを拡大する例を考える。例えばデプス値のダイナミックレンジを１．５倍にして、デプス値の分布を−Ｘ〜＋Ｘから−１．５Ｘ〜＋１．５Ｘに変更する。個々のオブジェクトの凹凸感の振幅を変化させずに、デプス値のダイナミックレンジを拡大させるために以下の処理を実行する。

まずデプスマップ加工部２０はデプスマップ全体におけるデプス値の最小値、最大値、平均値をそれぞれ算出する。当該最小値と当該最大値の差が、デプス値のダイナミックレンジである。次にデプスマップ加工部２０はデプスマップの各オブジェクト領域内におけるデプス値の平均値を算出する。次にデプスマップ加工部２０は各オブジェクト領域内におけるデプス値の平均値から、デプスマップ全体におけるデプス値の平均値を減算する。この減算結果をレイヤデプスの平均差分と呼ぶ。

以下、デプス値のダイナミックレンジをa倍に拡大したい場合を考える。デプスマップ加工部２０は、各レイヤデプスの平均差分をa倍する。次にa倍した各レイヤデプスの平均差分から、各レイヤデプスの平均差分を減算する。この減算結果を、各レイヤデプスの平均差分のオフセット値と呼ぶ。最後にデプスマップ加工部２０は、各レイヤデプスの平均差分のオフセット値を、デプスマップの各オブジェクト領域内におけるデプス値に加算する。

これにより、各レイヤデプスマップではデプス値のオフセット値だけが変化し、デプス値の振幅値は変化しない。従って個々のオブジェクトの凹凸感の振幅を変化させずに、デプス値のダイナミックレンジを拡大できる。

図１５（ａ）−（ｃ）は、デプスマップ全体のダイナミックレンジ調整を説明するための図である。ここまで２Ｄ入力画像内のレイヤ数が３の例を説明してきたが、図１５（ａ）−（ｃ）ではレイヤ数が５（レイヤ０〜レイヤ４）の例を示している。観察者から見てレイヤ０のオブジェクトが最も引っ込んで見え、レイヤ４のオブジェクトが最も飛び出して見える。

図１５（ａ）は、ダイナミックレンジ調整前の各レイヤのデプスの一例を示す。各レイヤにおいて矢印（符号ｌ参照）は、各レイヤのオブジェクト領域におけるデプス値の最小値（符号ｊ参照）と、最大値（符号ｋ参照）により規定される。即ち矢印（符号ｌ参照）は各レイヤのダイナミックレンジを示している。各矢印を結ぶ線は、各レイヤのオブジェクト領域におけるデプス値の平均値（符号ｉ参照）を結んだ線である。

図１５（ｂ）は、図１５（ａ）の各レイヤのデプスに、均一に２倍のゲイン調整を適用した後の各レイヤのデプスを示す。デプスマップ全体のダイナミックレンジが２倍に拡大されると同時に、各レイヤのオブジェクト領域のダイナミックレンジ、即ち各レイヤの凹凸感の振幅も２倍に拡大されている。

図１５（ｃ）は、図１５（ａ）の各レイヤのデプスに、上述したオフセット調整を適用した後の各レイヤのデプスを示す。デプスマップ全体のダイナミックレンジは２倍に拡大されるが、各レイヤのオブジェクト領域のダイナミックレンジ、即ち各レイヤの凹凸感の振幅は変化しない。例えばオブジェクトとして複数の人物が画面に存在する場合において、各人物の厚みは変化させずに各人物間の距離を調整することにより、奥行き感を強めることができる。

（グラデーション付加）
次に、デプスマップ加工部２０によるレイヤ処理としてグラデーションを付加する例を説明する。グラデーションの付加は、個々のオブジェクトの奥行きに傾斜を付ける処理である。

図１６は、入力デプスマップのグラデーション付加プロセスを説明するための図である。デプスマップ加工部２０は、加工前のデプスマップである入力デプスマップに対して、背景のマスクの有効領域だけ（図１６では地面だけ）に、グラデーションを付加して背景の部分のみデプス値に傾斜を付けている（Ｓ２１ｃ）。図１６において加工後のデプスマップであるレイヤデプスマップは地面の奥行きに傾斜がついている（符号ｍ参照）。

以下より具体的に説明する。図示しないグラデーションパターン保持部はあらかじめ生成された少なくとも一つのグラデーションパターンを保持している。グラデーションパターン保持部は、図１６に示すように平面のグラデーションパターンだけでなく、球面、円筒など様々な形状のグラデーションパターンを保持してもよい。また同じ形状のグラデーションパターンであっても、傾斜角度および／または傾斜方向が異なる複数のグラデーションパターンを保持してもよい。

ユーザは操作部６０を使用して、当該グラデーションパターン保持部に保持される複数のグラデーションパターンを表示部７０に表示させ、その中から１つを選択できる。操作受付部４０は操作部６０からの入力を受け付けて、その入力に対応するグラデーションパターンを取得してデプスマップ加工部２０に出力する。

デプスマップ加工部２０には、デプスマップ生成部１０から入力デプスマップ、外部からマスク、グラデーションパターン保持部からグラデーションパラメータがそれぞれ入力される。デプスマップ加工部２０は入力デプスマップ内のマスクの有効領域に、グラデーションパターンを加算する。

図１７は、マスクを使用しない入力デプスマップのグラデーション付加プロセスを説明するための図である。レイヤデプスマップの合成の際、各レイヤデプスマップのマスクの有効領域のみを用いて合成するのであれば、各レイヤデプスマップのマスクの無効領域は合成デプスマップに反映されないことになる。よって、デプスマップ加工部２０は入力デプスマップ全体にグラデーションを付加して、入力デプスマップ全体のデプス値に傾斜をつける（Ｓ２１ｃ）。図１７においてレイヤデプスマップは全体に傾斜がついている（符号ｎ参照）。

上記の説明では、デプスマップに付加すべきグラデーションパターンを、あらかじめ生成された典型的なグラデーションパターンから選択する例を説明した。以下、デプスマップに付加すべきグラデーションパターンを、制御パラメータにより指定する例を説明する。デプスマップ加工部２０は、外部設定される、それぞれ独立に調整可能なグラデーションの傾斜パラメータ及び方向パラメータをもとに、デプスマップのオブジェクト領域にグラデーションを付加する。さらに外部設定されるオフセットパラメータをもとに、デプスマップの指定領域をオフセット調整しつつグラデーションを付加することもできる。

ユーザは操作部６０を使用して、当該グラデーションの傾斜パラメータ、方向パラメータ、オフセットパラメータを入力できる。操作受付部４０は操作部６０からの入力を受け付けてデプスマップ加工部２０に出力する。

デプスマップにグラデーションを付加する処理は、デプスマップの各画素に対してグラデーションの角度と傾斜に応じた、グラデーションデプス値を加算することで実現できる。この処理を行うための制御パラメータとして、Slope、Angleを使用する。Slopeは１画素あたりのデプス値の変化値で規定される。以下、説明を単純化するためデプス値が比例関数的に変化する傾斜モデルを考える。なおデプス値が指数関数的に変化する等、傾斜モデルには他にも様々な種類がある。
Slope：グラデーションの傾斜 [デプス値/画素]
Angle：グラデーションの画像に対する角度 [degree]

グラデーションは、画面の中心を基準に付加するとし、画面の中心の座標を(x,y)=(0,0)とする。これを基準とした、画像上の任意の画素の座標を(x,y)=(x_base,y_base)とする。X軸方向、Y軸方向それぞれのグラデーションの傾斜値をslope_x、slope_yとすると、slope_x、slope_yは下記式（１）、式（２）で表される。
slope_x=slope*cosθ=slope*cos(2π*(Angle/360)) …式（１）
slope_y=slope*sinθ=slope*sin(2π*(Angle/360)) …式（２）

ある座標における、X軸方向、Y軸方向それぞれのグラデーションデプス値をgrad_depth_x、grad_depth_yとすると、grad_depth_x、grad_depth_yは下記式（３）、式（４）で表される。
grad_depth_x=Slope_x*x_base …式（３）
grad_depth_y=Slope_y*y_base …式（４）

デプスマップにグラデーションを付加するために、各画素のデプス値に加算するグラデーションデプス値をgrad_depthとすると、grad_depthは下記式（５）で表される。
grad_depth=grad_depth_x+grad_depth_y …式（５）

上記式（５）により求めたグラデーションデプス値を、デプスマップの各画素に加算することにより、デプスマップにグラデーションを付加することができる。グラデーションの傾斜は上記Slopeの値を、グラデーションの画像に対する角度は上記Angleの値を変化させることにより自在に設定できる。

以上、式（１）〜式（５）を用いてデプスマップにグラデーションを付加する方法について説明した。この方法ではグラデーションデプス値は画面の中心を基準に付加されるため、画面中心ではデプスマップのデプス値は変化しない。以下、デプスマップにグラデーションを付加すると同時にオフセットも加算し、任意ポジションにおいて任意レベルのグラデーションを付加する方法について説明する。

加算するオフセット値を制御するパラメータとしてOffsetを使用する。
Offset：グラデーションのオフセット

デプスマップにグラデーションを付加する際に各画素に加算する、オフセット値も含むグラデーションデプス値をgrad_offset_depthとすると、grad_offset_depthは下記式（６）で表される。
grad_offset_depth=grad_depth_x+grad_depth_y+Offset …式（６）

これにより、画面の任意ポジションにおいて任意レベルのグラデーションを付加することができる。以上の説明では、デプスマップのオブジェクト領域にグラデーションを付加する例を場合を示したが、合成デプスマップにグラデーションを付加してもよい。

（ユーザインタフェース）
３Ｄ画像を生成する作業を行う際には、生成する３Ｄ画像のオブジェクトの前後関係が正しくなるように、生成する３Ｄ画像に正しい視差を与える必要がある。そのためには、視差生成の基準となる視差情報を保持するデプスマップを正しく加工する必要がある。ユーザは、ディスプレイにデプスマップを表示させて画像のどの部分がどの程度の視差量を持つかを確認しながら作業している。

この場合、デプスマップ上で隣り合う部分または近接する部分の視差量の差を確認することは比較的容易である。これに対し離れた部分について視差量の差を確認することは困難なことが多い。視差量を数値で表示してこれを読み取ることも考えられるが、画像のデータ量は非常に多いため画像上で視差量を確認する場合に比べて、確認作業の効率が低下する懸念がある。

また合成デプスマップだけを観測したのでは、デプスマップのどのエリアがどのレイヤに相当するのかを判別することはできない。各レイヤのマスクを同時に観測する必要がある。レイヤのマスクは複数あるため、複数のレイヤのマスクと合成デプスマップを同時に観測する必要がある。ただしこの観測によっても離れた部分についての視差量の差を明確に確認することは困難である。このように事実上、合成デプスマップのどのエリアがどのレイヤに相当するのかを明確に把握することは困難な状況にある。

本発明者は、全てのレイヤのデプス値を把握したり他のレイヤとの差異を把握したりするのに適したユーザインタフェースを開発した。このユーザインタフェースは、合成デプスマップを表示するユーザインタフェースに代えて、または加えて使用することができる。

表示制御部５０は、デプスマップ加工部２０によりそれぞれ加工された、デプスマップ内における複数のオブジェクト領域内のデプスの状態を表すデータを表示部７０にグラフで表示させる。その際、デプスマップ内のオブジェクト間の位置関係が直感的に認識可能な態様で当該データを表示させる。

具体的には表示制御部５０は、デプスマップ内の各オブジェクト領域内のデプス値の平均値、最小値、最大値をレイヤ毎のグラフで一覧表示させる。また表示制御部５０は各オブジェクト領域内のデプス値をヒストグラムで表示させてもよい。

図１８は、レイヤ毎のデプスの状態を表示するグラフの一例を示す図である。図１８のグラフの縦軸はレイヤの番号を表し、横軸はデプス値のスケールを表す。この例では２Ｄ入力画像内のレイヤ数が１６（レイヤ０〜レイヤ１５）である。図１８では観察者から見てレイヤ０のオブジェクトが最も引っ込んで見え、レイヤ１２のオブジェクトが最も飛び出して見える。

各レイヤにおいて矢印（符号ｒ参照）の両端は、各レイヤのオブジェクト領域におけるデプス値の最小値（符号ｐ参照）と、最大値（符号ｑ参照）を示している。即ち矢印（符号ｒ参照）は各レイヤのオブジェクト領域におけるデプス値の振幅およびダイナミックレンジを示している。各矢印を結ぶ線は、各レイヤのオブジェクト領域におけるデプス値の平均値（符号ｏ参照）を結んだ線である。

ユーザは、表示部７０に表示される全レイヤのデプスの状態を示すグラフを観察して、レイヤ毎に個別にデプスマップを編集または加工する。なおユーザはキーボードからゲイン値、オフセット値などを数値で入力してもよいし、表示されるグラフを直接操作してもよい。表示制御部５０はデプスマップ加工部２０により加工されるデプスマップの状態が変化すると、その変化を表示部７０に反映させる。

表示制御部５０は各レイヤの識別記号（図１８では数字）の近傍に、そのレイヤのオブジェクトのサムネイル画像を表示させてもよい。これにより、各レイヤのデプスの状態を示すデータとオブジェクトの画像を直感的に関連づけできる。また表示制御部５０は表示部７０に、全レイヤのデプスの状態を示すグラフ、合成デプスマップ、２Ｄ入力画像、３Ｄ入力画像の４種類の画像を表示させてもよい。

図１９は、レイヤのデプスの状態をヒストグラムで表示する例を示す図である。このヒストグラムは図１８の矢印一つを置き換えたものである。図１８の矢印表示ではユーザは、各レイヤのオブジェクト領域内におけるデプス値の分布までは認識できないが、ヒストグラム表示ではその分布も認識できる。また図１８の矢印表示と同様にヒストグラム表示でも、レイヤのオブジェクト領域におけるデプス値の最小値（符号ｔ参照）、最大値（符号ｕ参照）、平均値（符号ｓ参照）を表示できる。また、図１９に示すようなヒストグラムを、レイヤ毎に並べて表示させてもよい。

以下、各レイヤのオブジェクト領域内におけるデプス値の平均値、最大値、及び最小値の算出方法について説明する。まずオブジェクト領域内におけるデプス値の平均値の算出方法について説明する。まずデプスマップ加工部２０はオブジェクト領域内の全画素数をカウントする。次にオブジェクト領域内における全画素分のデプス値の総和を算出する。最後に算出した総和をカウントした全画素数で除算する。

次にオブジェクト領域内におけるデプス値の最小値の算出方法について説明する。まずデプスマップ加工部２０は、当該デプス値の最小値を格納するためのワークエリアに、初期値としてワークエリアに格納可能な最大値を書き込む。次にオブジェクト領域内の全画素分のデプス値を順に参照する。参照した画素のデプス値と、その時点におけるワークエリア内の値を比較する。前者の値が後者の値より小さければ、前者の値をワークエリアに上書きする。前者の値が後者の値以上であれば、この上書きをスキップする。この処理をオブジェクト領域内の全画素分について繰り返す。全画素分について終了した時点でワークエリア内に格納されている値を、オブジェクト領域内におけるデプス値の最小値に決定する。

最後にオブジェクト領域内におけるデプス値の最大値の算出方法について説明する。まずデプスマップ加工部２０は、当該デプス値の最大値を格納するためのワークエリアに、初期値としてワークエリアに格納可能な最小値を書き込む。次にオブジェクト領域内の全画素分のデプス値を順に参照する。参照した画素のデプス値と、その時点におけるワークエリア内の値を比較する。前者の値が後者の値より大きければ、前者の値をワークエリアに上書きする。前者の値が後者の値以下であれば、この上書きをスキップする。この処理をオブジェクト領域内の全画素分について繰り返す。全画素分について終了した時点でワークエリア内に格納されている値を、オブジェクト領域内におけるデプス値の最大値に決定する。

以上説明したように本実施の形態によれば、２Ｄ画像から３Ｄ画像を生成する際に、ユーザの手間を軽減しつつ高品質な３Ｄ画像を生成できる。即ちデプスマップ生成部１０によりシーン構造を推定して複数の基本デプスモデルの合成比率を変化させることにより、自動処理によりシーン構造を反映させたデプスマップを生成できる。さらに、ユーザの指示を反映させたデプスマップ加工部２０により、当該デプスマップ内のオブジェクト毎に個別にデプスマップを加工する。これにより高品質な３Ｄ画像を生成できるとともに、同様の品質の３Ｄ画像を２Ｄ画像からユーザが一から生成する場合と比較し、大幅に作業量を削減できる。

図１に示す２Ｄ３Ｄ変換で使用されるデプスマップは、画面全体に対するデプス値を保持する。このデプスマップに対してゲイン調整またはオフセット調整することにより、画面全体の奥行き感を自在に調整できる。またこのデプスマップに対してグラデーションを付加することにより、画面全体の奥行き度合いの傾斜を自在に調整できる。

しかしながら、一般に画像中には複数のオブジェクトが存在する。本明細書の例では人物、木、背景が存在する。仮に人物部分の奥行き感を調整するために、デプスマップをゲイン調整して人物部分の奥行き感を強調したとすると、これに伴い人物以外の木や背景の奥行き感も同時に変化してしまう。従って人物部分の奥行き感だけを独立して調整することは困難である。また仮に、木の部分の奥行き感を調整するために、デプスマップをオフセット調整して木の部分の奥行き感を強調したとすると、これに伴い木以外の人物や背景の奥行き感も同時に変化してしまう。従って木の部分の奥行き感だけを独立して調整することは困難である。また仮に、背景部分の奥行きに傾斜をつけるために、デプスマップにグラデーションを付加すると、これに伴い背景以外の人物や木の部分の奥行きにも同時に傾斜がついてしまう。従って背景部分の奥行きだけに傾斜をつけることは困難である。

これに対して実施の形態に係る画像編集システム５００によれば、画像中の個々のオブジェクトの凹凸度合い及びその傾斜を自由に独立に可変できる。従ってユーザは、実施の形態に係る２Ｄ３Ｄ変換で使用されるデプスマップをもとに生成される３Ｄ画像の遠近感を、画像中の個々のオブジェクト毎に自由に独立して制御できる。よって高品質な３Ｄ画像を生成できる。

またデプスマップ内における複数のオブジェクト領域内のデプスの状態を表すデータをグラフで表示することにより、複数のレイヤ間の奥行きの関係が容易に把握でき、デプスのレイヤ処理の作業効率を大幅に改善できる。即ち視差生成の基準となる視差情報を保持するデプスマップを加工する際の基準が把握しやすくなるため、生成する画像に適切な視差を与えることができ、生成する３Ｄ画像のオブジェクトの前後関係を適切に調整できる。また本来困難な、デプスマップとレイヤの同時観測による、デプスマップのオブジェクト領域の把握等を行うことなく、レイヤ毎のデプス値を把握できる。またレイヤ毎のデプス値の目安が、エンボスやグラデーションによる局所的な濃淡に惑わされることなく、明確に識別できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

５００ 画像編集システム、 １００ 画像処理装置、 １０ デプスマップ生成部、 １１ 画面上部高域成分評価部、 １２ 画面下部高域成分評価部、 １３ 合成比率決定部、 １４ 第１基本デプスモデル用フレームメモリ、 １５ 第２基本デプスモデル用フレームメモリ、 １６ 第３基本デプスモデル用フレームメモリ、 １７ 合成部、 １８ 加算部、 ２０ デプスマップ加工部、 ３０ ３Ｄ画像生成部、 ４０ 操作受付部、 ５０ 表示制御部、 ２００ コンソール端末装置、 ６０ 操作部、 ７０ 表示部。

Claims (6)

1. 入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成するデプスマップ生成部と、
   前記デプスマップ生成部により生成されたデプスマップを加工するデプスマップ加工部と、
   前記入力画像、及び前記デプスマップ加工部により加工されたデプスマップをもとに、別視点の画像を生成する画像生成部と、を備え、
   前記デプスマップ加工部は、
   外部設定される複数のマスクパターンにより指定される画面内の複数の領域ごとに、前記デプスマップのゲインを個別に調整し、ゲイン調整する際の中心レベルを、デプスマップの指定領域内のデプス値の平均値に設定することを特徴とする画像処理装置。
2. 前記デプスマップ加工部は、前記中心レベルの上下で独立にゲイン調整することを特徴とする請求項１に記載の画像処理装置。
3. 前記デプスマップ加工部は、
   前記デプスマップのゲインを、画面全体で一括に調整することもできることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記デプスマップ生成部は、複数の基本デプスモデルを合成してデプスマップ生成に使用するデプスモデルを生成し、
   前記デプスマップ生成部は、入力画像のシーン構造に応じて複数の基本デプスモデルの合成比率を変化させることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成するステップと、
   生成されたデプスマップを加工するステップと、
   前記入力画像、及び加工されたデプスマップをもとに、別視点の画像を生成するステップと、を有し、
   前記デプスマップを加工するステップは、
   外部設定される複数のマスクパターンにより指定される画面内の複数の領域ごとに、前記デプスマップのゲインを個別に調整し、ゲイン調整する際の中心レベルを、デプスマップの指定領域内のデプス値の平均値に設定することを特徴とする画像処理方法。
6. 入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成する処理と、
   生成されたデプスマップを加工する処理と、
   前記入力画像、及び加工されたデプスマップをもとに、別視点の画像を生成する処理と、をコンピュータに実行させ、
   前記デプスマップを加工する処理は、
   外部設定される複数のマスクパターンにより指定される画面内の複数の領域ごとに、前記デプスマップのゲインを個別に調整し、ゲイン調整する際の中心レベルを、デプスマップの指定領域内のデプス値の平均値に設定することを特徴とする画像処理プログラム。