JP5962393B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、２Ｄ画像を立体視のための３Ｄ画像に変換する処理を実行する画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、３Ｄ映画、３Ｄ放送などの３Ｄ映像コンテンツが普及してきている。観察者に立体視させるためには、視差を持つ右眼画像と左眼画像が必要である。３Ｄ映像を表示する際、右眼画像と左眼画像を時分割、またはお互いに変更状態を変えて表示し、シャッタメガネや偏光メガネなどの映像分離用メガネにより右眼画像と左眼画像を分離する。これにより観察者は右眼画像を右眼のみで、左眼画像を左眼のみで観察でき立体視できる。なお右眼画像と左眼画像を時分割ではなく空間分割すればメガネは必要なくなるが解像度が低下する。メガネ方式にしてもメガネレス方式にしても右眼画像と左眼画像が必要な点では共通する。

３Ｄ映像を製作するには大きく２つの方法があり、２台のカメラを用いて右眼画像と左眼画像を同時に撮影する方法と、１台のカメラで撮影された２Ｄ画像を後に編集して視差画像を生成する方法がある。本発明は後者の方法に関するものであり、２Ｄ３Ｄ変換技術に関するものである。

図１は、２Ｄ３Ｄ変換の基本処理プロセスを説明するための図である。まず２Ｄ入力画像からデプスマップ（奥行き情報ともいう）を生成する（ステップＳ１０）。そして２Ｄ入力画像とデプスマップを用いて３Ｄ画像を生成する（ステップＳ３０）。図１では２Ｄ入力画像を３Ｄ出力画像の右眼画像とし、２Ｄ入力画像をデプスマップを用いて画素シフトした画像を３Ｄ出力画像の左眼画像としている。以下、所定の視差を持つ右眼画像と左眼画像の組みを３Ｄ画像または視差画像という。

３Ｄ画像を生成する際にはデプスマップを用いて２Ｄ画像を画素シフトして、当該２Ｄ画像に対して視差を持つ別視点の２Ｄ画像を生成する。この画素シフトにより、生成される別視点の２Ｄ画像内に欠落画素が発生する。一般的に、この欠落画素は周辺画素から補間される。

特開２００９−４４７２２号公報

画面内においてオブジェクト境界でのデプスの段差が大きい場合、その境界部分の画素シフト量も大きくなる。したがって欠落画素の数、即ち欠落領域の面積も大きくなる。上述したようにその欠落画素には周辺画素が補間されるが、その欠落領域の面積が大きくなると、補間される画素が補間位置にマッチしない箇所が発生しやすくなる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、２Ｄ画像から３Ｄ画像を生成する際に、オブジェクト境界部分の画像品質を向上させる技術を提供することにある。

上記の課題を解決するために、外部設定されるマスクパターンを補正するマスク補正部（８０）と、入力画像のデプスマップを、前記マスク補正部により補正された複数のマスクパターンにより指定される複数の領域ごとに加工するデプスマップ加工部（２０）と、 前記入力画像、及び前記デプスマップ加工部により加工されたデプスマップをもとに、別視点の画像を生成する画像生成部（３０）と、前記入力画像のテクスチャを解析するテクスチャ解析部（９０）とを備え、前記マスク補正部は、前記テクスチャ解析部の解析結果に基づいて前記マスクパターンのオブジェクト境界のマスクぼかし処理の補正度合いを変えることを特徴とする画像処理装置を提供する。

また、上記の課題を解決するために、外部設定されるマスクパターンを補正するステップと、入力画像のデプスマップを、補正された複数のマスクパターンにより指定される複数の領域ごとに加工するステップと、前記入力画像、及び加工されたデプスマップをもとに、別視点の画像を生成するステップと、前記入力画像のテクスチャを解析するステップとを備え、前記マスクパターンを補正するステップは、前記入力画像のテクスチャ解析結果に基づいて前記マスクパターンのオブジェクト境界のマスクぼかし処理の補正度合いを変えることを特徴とする画像処理方法を提供する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、２Ｄ画像から３Ｄ画像を生成する際に、オブジェクト境界部分の画像品質を向上させることができる。

２Ｄ３Ｄ変換の基本処理プロセスを説明するための図である。 本発明の基本となる実施例に係る画像編集システムの構成を示す図である。 本発明の実施例に係るデプスマップ生成部の構成例を示す図である。 本発明の基本となる実施例に係る画像編集システムの全体処理プロセスを説明するための図である。 入力デプスマップのゲイン調整プロセスを説明するための図である。 入力デプスマップのオフセット調整プロセスを説明するための図である。 レイヤデプスマップの合成処理プロセスを説明するための図である。 マスクを使用しない入力デプスマップのゲイン調整プロセスを説明するための図である。 マスクを使用しない入力デプスマップのオフセット調整プロセスを説明するための図である。 画素シフトと画素補間を説明するための図である。 オブジェクト境界のデプスの段差が大きい場合における、画素シフトと画素補間を説明するための図である。 オブジェクト境界のデプスの段差が大きい場合でも不自然さが発生しない、画素シフトと画素補間を説明するための図である。 本発明の実施例１に係る画像編集システムの構成を示す図である。 本発明の実施例１に係る画像編集システムの全体処理プロセスを説明するための図である。 レイヤデプスマップのアルファブレンドを説明するための図である。 マスク補正部の構成例を示す図である。 図１６のマスク補正部によるマスクぼかし処理を説明するための図である。 第１ローパスフィルタによりマスク信号に形成される傾斜と、二値化部に設定される第１閾値の関係を説明するための図である。 第１ローパスフィルタにより付加される傾斜と、第２ローパスフィルタにより付加される傾斜を比較するための図である。 本発明の実施例２に係る画像編集システムの構成を示す図である。 図２０のテクスチャ解析部とマスク補正部によるマスクぼかし処理を説明するためのフローチャートである。 タップ数の少ないフィルタによるマスク補正を説明するための図である。 タップ数の多いフィルタによるマスク補正を説明するための図である。 背景テクスチャ量とフィルタのタップ数の関係を説明するための図である。 背景テクスチャ量の再正規化を説明するための図である。 変換テーブルを用いた場合の背景テクスチャ量とフィルタタップ数の関係を説明するための図である。

（実施例１）
図２は、本発明の基本となる実施例に係る画像編集システム５００の構成を示す図である。本実施例に係る画像編集システム５００は、画像処理装置１００及びコンソール端末装置２００を備える。

コンソール端末装置２００は画像製作者（以下、ユーザという）が画像を製作、編集するために使用する端末装置である。コンソール端末装置２００は操作部６０および表示部７０を備える。操作部６０はキーボード、マウス等の入力デバイスであり、表示部７０はディスプレイ等の出力デバイスである。なお入出力が一体となったデバイスであるタッチパネルディスプレイが用いられてもよい。またコンソール端末装置２００はプリンタ、スキャナ等の印刷物を媒体として用いるユーザインタフェースを含んでもよい。操作部６０はユーザ操作を受け付け、そのユーザ操作に起因した信号を生成し、画像処理装置１００に出力する。表示部７０は画像処理装置１００により生成された画像を表示する。

画像処理装置１００はデプスマップ生成部１０、デプスマップ加工部２０、３Ｄ画像生成部３０、操作受付部４０、表示制御部５０を含む。これらの構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。例えばデプスマップ生成部１０、デプスマップ加工部２０、３Ｄ画像生成部３０について、その機能を全てソフトウエアで実現してもよいし、デプスマップ生成部１０および３Ｄ画像生成部３０の機能を専用のロジック回路で構成し、デプスマップ加工部２０の機能をソフトウエアで実現してもよい。

デプスマップ生成部１０は、入力される２Ｄ画像とデプスモデルをもとに当該２Ｄ画像のデプスマップを生成する。デプスマップは、デプス値（奥行き値ともいう）を輝度値で表したグレースケール画像である。デプスマップ生成部１０はシーン構造を推定して、そのシーン構造に適合的なデプスモデルを使用してデプスマップを生成する。本実施例ではデプスマップ生成部１０は複数の基本デプスモデルを合成してデプスマップ生成に使用する。その際、当該２Ｄ画像のシーン構造に応じて複数の基本デプスモデルの合成比率を変化させる。

図３は、本発明の実施例に係るデプスマップ生成部１０の構成例を示す図である。デプスマップ生成部１０は、画面上部高域成分評価部１１、画面下部高域成分評価部１２、合成比率決定部１３、第１基本デプスモデル用フレームメモリ１４、第２基本デプスモデル用フレームメモリ１５、第３基本デプスモデル用フレームメモリ１６、合成部１７、加算部１８を含む。

画面上部高域成分評価部１１は、処理すべき２Ｄ画像の画面上部において高域成分を有する画素の割合を算出する。その割合を画面上部の高域成分評価値とする。なお画面全体に対する画面上部の割合は略２０％に設定するとよい。画面下部高域成分評価部１２は当該２Ｄ画像の画面下部において高域成分を有する画素の割合を算出する。その割合を画面下部の高域成分評価値とする。なお画面全体に対する画面下部の割合は略２０％に設定するとよい。

第１基本デプスモデル用フレームメモリ１４は第１基本デプスモデルを保持し、第２基本デプスモデル用フレームメモリ１５は第２基本デプスモデルを保持し、第３基本デプスモデル用フレームメモリ１６は第３デプスモデルを保持する。第１基本デプスモデルは画面上部及び画面下部をそれぞれ凹状の球面とするモデルである。第２基本デプスモデルは画面上部を縦方向に軸線を有する円筒面、画面下部を凹状の球面とするモデルである。第３基本デプスモデルは画面上部を平面、画面下部を横方向に軸線を有する円筒面とするモデルである。

合成比率決定部１３は、画面上部高域成分評価部１１および画面下部高域成分評価部１２によりそれぞれ算出された、画面上部および画面下部の高域成分評価値をもとに第１基本デプスモデル、第２基本デプスモデル、第３基本デプスモデルの合成比率ｋ１，ｋ２，ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を決定する。合成部１７はこれらの合成比率ｋ１，ｋ２，ｋ３と、第１基本デプスモデル、第２基本デプスモデル、第３基本デプスモデルをそれぞれ乗算し、それぞれの乗算結果を加算する。この演算結果が合成基本デプスモデルとなる。

例えば合成比率決定部１３は、画面上部の高域成分評価値が小さい場合は画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深くした第２基本デプスモデルの比率を増加させる。また画面下部の高域成分評価値が小さい場合は画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、第３基本デプスモデルの比率を増加させる。第３基本デプスモデルでは、画面上部は遠景として平面近似し、画面下部は下に行くほど奥行きを小さくしている。

加算部１８は、合成部１７により生成された合成基本デプスモデルに上記２Ｄ画像の赤成分（Ｒ）信号を重畳してデプスマップを生成する。Ｒ信号を使用する理由は、Ｒ信号の大きさが順光に近い環境で、かつテクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。また赤色および暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識され、立体感が強調されるためである。

図２に戻る。デプスマップ加工部２０は、デプスマップ生成部１０により生成されたデプスマップを加工する。本実施例ではデプスマップ加工部２０は、外部設定される複数のマスクパターン（以下、単にマスクという）により指定される画面内の複数の領域ごとに、デプスマップ生成部１０により生成されたデプスマップを個別または独立に加工する。例えばゲイン調整、オフセット調整、グラデーション処理などの加工を行う。デプスマップ加工部２０による処理の詳細は後述する。

３Ｄ画像生成部３０は、上述の２Ｄ画像およびデプスマップ加工部２０により加工されたデプスマップをもとに別視点の２Ｄ画像を生成する。３Ｄ画像生成部３０は、オリジナル視点の２Ｄ画像と別視点の２Ｄ画像を右眼画像と左眼画像として出力する。

以下、オリジナル視点の２Ｄ画像とデプスマップを用いて当該２Ｄ画像と視差を持つ別視点の２Ｄ画像を生成する具体例を説明する。この具体例ではオリジナル視点の２Ｄ画像を画面表示させた場合の視点を基準にして、左に視点移動した別視点の２Ｄ画像を生成する。その場合、観察者に対してテクスチャを近景として表示させるときは画面に向かって右側へオリジナル視点の２Ｄ画像のテクスチャを所定量移動させ、テクスチャを観察者に遠景として表示させるときは画面に向かって左側へテクスチャを所定量移動させる。

デプスマップの各画素の輝度値をＹｄ、飛び出し感を表す輻輳値をｍ、立体感を表す奥行き値をｎとする。３Ｄ画像生成部３０は輝度値Ｙｄの小さい値から順に、その輝度値Ｙｄに対応するオリジナル視点の２Ｄ画像のテクスチャを画素ごとに（Ｙｄ−ｍ）／ｎ画素分左にシフトする。（Ｙｄ−ｍ）／ｎの値が負の場合、（ｍ−Ｙｄ）／ｎ画素分右にシフトする。なお観察者には、デプスマップの輝度値Ｙｄの小さいテクスチャは画面奥側に見え、輝度値Ｙｄの大きいテクスチャは画面手前に見える。輝度値Ｙｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０に設定される。

なお、デプスマップ生成部１０によるデプスマップ生成、および３Ｄ画像生成部３０による３Ｄ画像生成のより詳細な説明は、本出願人が先に出願した特開２００５−１５１５３４号公報、特開２００９−４４７２２号公報に開示されている。

操作受付部４０は、コンソール端末装置２００の操作部６０から入力される信号を受け付ける。操作受付部４０は、入力される信号をその内容に応じてデプスマップ加工部２０または３Ｄ画像生成部３０に出力する。表示制御部５０はコンソール端末装置２００の表示部７０を制御する。具体的には表示制御部５０は、２Ｄ入力画像、デプスマップ生成部１０により生成されたデプスマップ、デプスマップ加工部２０により加工されたデプスマップ、３Ｄ画像生成部３０により生成された３Ｄ画像を表示できる。

図４は、本発明の基本となる実施例に係る画像編集システム５００の全体処理プロセスを説明するための図である。一般的に２Ｄ画像には複数のオブジェクトが含まれる。図４の２Ｄ入力画像は３つのオブジェクトを含む。具体的には人物、木、背景のオブジェクトを含む。まずデプスマップ生成部１０は、２Ｄ入力画像からデプスマップを生成する（ステップＳ１０）。デプスマップは白に近いほど輝度が高く観察者との距離が近いことを示し、黒に近いほど輝度が低く観察者との距離が遠いことを示す。３Ｄ画像を生成する場合、デプスマップの白に近い領域ほど飛び出し量が大きくなり、黒に近い領域ほど引っ込み量が大きくなる。

本実施例では画像内の複数のオブジェクトに対して個別に奥行き感を調整するために、デプスマップ内の個々のオブジェクト領域に対して独立にエフェクト調整する。具体的には、画像中の個々のオブジェクト領域を表す複数のマスクを用いて、デプスマップ内に、個々のオブジェクト領域を特定する。そして特定されたオブジェクト領域ごとに個別にエフェクト調整し、エフェクト調整された複数のデプスマップを得る。そして、この複数のデプスマップを合成して一つのデプスマップを生成する。このデプスマップは、オリジナル視点の２Ｄ画像から別視点の２Ｄ画像を生成する際に使用される。

デプスマップ生成部１０は２Ｄ入力画像のデプスマップを自動的に生成する（Ｓ１０）。生成されたデプスマップは、デプスマップ加工部２０に入力される。デプスマップ加工部２０には、２Ｄ入力画像内の複数のオブジェクト領域をそれぞれ表す複数のマスクも入力される。これらのマスクはユーザによりトレースされたオブジェクト領域の輪郭をもとに生成される。例えば、表示制御部５０は表示部７０に２Ｄ入力画像を表示させ、ユーザはその２Ｄ入力画像内においてオブジェクト領域とすべき領域の輪郭を、操作部６０を使用してトレースする。操作受付部４０は操作部６０からの信号により、個々のオブジェクト領域の輪郭情報を生成し、マスクとしてデプスマップ加工部２０に出力する。なおユーザが印刷物上に描いた輪郭をスキャナにより読み取ることによりマスクを画像処理装置１００に読み込ませてもよい。

図４では各マスクの有効領域を白で無効領域を黒で描いている。人物のマスクは人物の領域のみを有効とし、他の領域を無効とするパターンである。木のマスクは木の領域のみを有効とし、他の領域を無効とするパターンである。背景のマスクは背景のみを有効とし、他の領域を無効とするパターンである。

１画面あたりのマスクの数に制約はなく、ユーザが任意に設定できる。またオブジェクト領域はユーザが１つのオブジェクト領域にすべきと決定した領域に設定できる。例えば、図４に示すように１人の人物に１つのオブジェクト領域を設定してもよいし、人物の部位ごと、さらに各部位の部分ごとにオブジェクト領域を設定してもよい。特に高品質な３Ｄ画像を生成する際には、１人の人物に対しても多数のオブジェクト領域を設定し、部位ごと、さらに各部位の部分ごとに厚みや奥行き方向の位置を調整することもある。

デプスマップ加工部２０は、デプスマップ生成部１０から入力されるデプスマップ（以下、入力デプスマップという）を、ユーザインタフェースを介して入力される複数のマスクを用いて加工する（Ｓ２０）。デプスマップ加工部２０は各マスクで特定される領域ごとに、個別にデプスマップを加工する。以下、この領域別のデプスマップの加工をデプスマップのレイヤ処理と呼ぶ。またレイヤ処理されたデプスマップをレイヤデプスマップと呼ぶ。本明細書ではレイヤを、マスクの有効領域に対する処理の単位を示す概念として使用している。

図４では、一例としてデプスマップ加工部２０は入力デプスマップから、人物のマスク（レイヤ１のマスク）を用いて人物の領域を特定してレイヤ処理している（Ｓ２１ａ）。同様に入力デプスマップから、木のマスク（レイヤ２のマスク）を用いて木の領域を特定してレイヤ処理している（Ｓ２１ｂ）。同様に入力デプスマップから、背景のマスク（レイヤ３のマスク）を用いて背景の領域を特定してレイヤ処理している（Ｓ２１ｃ）。

デプスマップ加工部２０は、レイヤ１〜３のレイヤデプスマップの各オブジェクト領域のデプスマップを合成する（Ｓ２２）。この合成されたデプスマップを合成デプスマップと呼ぶ。３Ｄ画像生成部３０は、この合成デプスマップを用いて２Ｄ入力画像の画素をシフトし、２Ｄ入力画像に対して視差を持つ画像を生成する（Ｓ３０）。３Ｄ画像生成部３０は２Ｄ入力画像を３Ｄ出力画像の右眼画像（Ｒ）とし、生成した画像を左眼画像（Ｌ）として出力する。

まず、デプスマップ加工部２０によるレイヤ処理としてゲイン調整する例を説明する。ゲイン調整はオブジェクトの奥行き方向の厚みを調整する処理である。ゲインを上げるとオブジェクトが厚くなり、ゲインを下げるとオブジェクトが薄くなる。

図５は、入力デプスマップのゲイン調整プロセスを説明するための図である。デプスマップ加工部２０は、加工前のデプスマップである入力デプスマップに対して、人物のマスクの有効領域だけにゲインを乗算して、入力デプスマップ内の人物の部分のみデプス値の振幅を大きくする（Ｓ２１ａ）。図５において加工後のデプスマップであるレイヤデプスマップは人物の部分の振幅が大きくなっている（符号ａ参照）。

次に、デプスマップ加工部２０によるレイヤ処理としてオフセット調整する例を説明する。オフセット調整はオブジェクトの奥行き方向の位置を調整する処理である。正のオフセット値を加算するとオブジェクトが飛び出し方向に移動し、負のオフセット値を加算すると引っ込み方向に移動する。

図６は、入力デプスマップのオフセット調整プロセスを説明するための図である。デプスマップ加工部２０は、加工前のデプスマップである入力デプスマップに対して、木のマスクの有効領域だけにオフセットを加算して、入力デプスマップ内の木の部分のみデプス値のレベルを高くする（Ｓ２１ｂ）。図６において加工後のデプスマップであるレイヤデプスマップは木の部分のレベルが高くなっている（符号ｂ参照）。

図７は、レイヤデプスマップの合成処理プロセスを説明するための図である。デプスマップ加工部２０は、レイヤ１のレイヤデプスマップ（人物のデプスマップ）のうち、レイヤ１のマスク（人物のマスク）の有効領域のみを切り出す。同様にレイヤ２のレイヤデプスマップ（木のデプスマップ）のうち、レイヤ２のマスク（木のマスク）の有効領域のみを切り出す。同様にレイヤ３のレイヤデプスマップ（背景のデプスマップ）のうち、レイヤ３のマスク（背景のマスク）の有効領域のみを切り出す。デプスマップ加工部２０は、切り出した３つのデプスマップを組み合わせて合成デプスマップを生成する。

図８は、マスクを使用しない入力デプスマップのゲイン調整プロセスを説明するための図である。レイヤデプスマップの合成の際、各レイヤデプスマップのマスクの有効領域のみを用いて合成するのであれば、各レイヤデプスマップのマスクの無効領域は合成デプスマップに反映されないことになる。よって、デプスマップ加工部２０は入力デプスマップ全体にゲインを乗算して、入力デプスマップ全体のデプス値の振幅を大きくする（Ｓ２１ａ）。図８においてレイヤデプスマップは全体の振幅が大きくなっている（符号ｃ参照）。

図９は、マスクを使用しない入力デプスマップのオフセット調整プロセスを説明するための図である。レイヤデプスマップの合成の際、各レイヤデプスマップのマスクの有効領域のみを用いて合成するのであれば、各レイヤデプスマップのマスクの無効領域は合成デプスマップに反映されないことになる。よって、デプスマップ加工部２０は入力デプスマップ全体にオフセットを加算して、入力デプスマップ全体のデプス値のレベルを高くする（Ｓ２１ｂ）。図９においてレイヤデプスマップは全体のレベルが高くなっている（符号ｄ参照）。

図１０は、画素シフトと画素補間を説明するための図である。３Ｄ画像生成部３０は合成デプスマップをもとに２Ｄ入力画像の画素をシフトし、２Ｄ入力画像に対して視差を持つ画像を生成する（Ｓ３０）。図１０では２Ｄ入力画像内の人物領域の画素を左にシフトする例を示している。図１０のデプスマップは人物領域のデプス値にオフセット値が加算されて人物領域のデプス値が大きくなっている。人物領域のデプス値が大きくなると、３Ｄ画像の人物領域の飛び出し量が大きくなる。

人物領域の周囲の背景領域を画素シフトせずに人物領域のみを画素シフトすると、画素が存在しない欠落画素領域が発生する（補正前の画素シフト画像の符号ｅ参照）。３Ｄ画像生成部３０は、この欠落画素領域をその周辺画素から生成した画素で補間して欠落画素領域を補正する。画素補間には様々な方法があるが、例えば人物領域の境界の画素で補間する（補正後の画素シフト画像の符号ｆ参照）。

図１１は、オブジェクト境界のデプスの段差が大きい場合における、画素シフトと画素補間を説明するための図である。オブジェクト境界でのデプスの段差が大きい場合、画素シフト量も大きくなるため、欠落画素領域の面積も大きくなる。この欠落画素領域を周辺画素から生成した画素で補間する場合、その補間する領域の面積も大きくなるため、オブジェクト境界での画像の不自然、不整合、不適合が目立つようになる。

図１１では図１０と比較して人物領域の画素シフト量が大きくなっている。図１１の補正前の画素シフト画像の欠落画素領域の面積は、図１０のその面積より大きくなっている（符号ｇ参照）。図１１の補正後の画素シフト画像でも図１０の補正後の画素シフト画像と同様に、欠落画素領域に人物領域の境界の画素を補間している。その欠落画素領域は本来は背景とすべき領域であり、その領域が大きくなると人物の形状が崩れてしまう（符号ｈ参照）。

また画像内のオブジェクトには、その境界が鮮明なものばかりではなく不鮮明なものも存在する。オブジェクト境界の不鮮明は、例えば撮影時のピンぼけ、手ぶれ、モーションブラーなどにより発生する。オブジェクト境界が不鮮明であいまいな場合、オブジェクト境界に合わせた適切なマスクを作成するのが困難である。不正確な輪郭で作成されたマスクを用いて、デプスマップの加工、画素シフト、画素補間を行った場合、生成される３Ｄ画像のオブジェクトの輪郭が不自然になりやすくなる。

図１２は、オブジェクト境界のデプスの段差が大きい場合でも不自然さが発生しない、画素シフトと画素補間を説明するための図である。オブジェクト境界における欠落画素領域の面積が大きい場合でも、人物と背景がなだらかに切り替わるように補間することで、オブジェクト境界の不自然を目立ちにくくできる。

図１２の補正前の画素シフト画像の欠落画素領域の面積も、図１１と同様に図１０のその面積より大きくなっている（符号ｉ参照）。図１２の補正後の画素シフト画像では図１１の補正後の画素シフト画像と異なり、人物と背景の境界における不自然が目立ちにくくなっている（符号ｊ参照）。

図１３は、本発明の実施例１に係る画像編集システム５００の構成を示す図である。実施例１に係る画像編集システム５００では、図２の基本となる実施例に係る画像編集システム５００の画像処理装置１００にマスク補正部８０が追加される。以下、図１３の実施例１に係る画像編集システム５００と、図２の基本となる実施例に係る画像編集システム５００との相違点を説明する。

マスク補正部８０は、操作受付部４０を介してコンソール端末装置２００から設定されるマスクを補正してデプスマップ加工部２０に出力する。具体的にはマスク補正部８０はマスクのオブジェクト境界に、ぼかし処理を施す。デプスマップ加工部２０は、マスク補正部８０により補正されたマスクをもとに生成される、複数のオブジェクト領域の各デプスマップをアルファブレンドする。即ちデプスマップ加工部２０は、複数のレイヤデプスマップを、各マスクで規定された係数（α値）にしたがい合成する。

図１４は、本発明の実施例１に係る画像編集システム５００の全体処理プロセスを説明するための図である。図１４の処理プロセスは図４の処理プロセスに、マスクぼかし処理が追加された構成である。以下、相違点について説明する。なお以下の説明では、マスクの有効領域（図では白で描いている）内の画素値を１、無効領域（図面では黒で描いている）内の画素値を０とする。

実施例１では操作受付部４０から出力されるレイヤ１のマスク（人物のマスク）、レイヤ２のマスク（木のマスク）及びレイヤ３のマスク（背景のマスク）は、デプスマップ加工部２０に入力される前にマスク補正部８０に入力される。マスク補正部８０は各マスクのオブジェクト境界部分にぼかし処理を施す（Ｓ１５ａ〜Ｓ１５ｃ）。具体的にはマスク補正部８０は、マスク信号のエッジ（即ち、０と１の境界）及びその近傍領域（以下、両者を総称してエッジ領域という）の値を、０と１の間の値（０と１を除く）に補正する（符号ｋ参照）。

デプスマップ加工部２０は、補正されたマスクのレベルに応じて、レイヤデプスマップを合成する（Ｓ２２）。これによりマスクのエッジ領域では、なだらかにデプス値が変化する合成デプスマップを生成できる。３Ｄ画像生成部３０は、この合成デプスマップを用いて画素シフト、画素補間を行う。これによりオブジェクト境界がなだらかに変化し、オブジェクト境界の不自然が目立たなくなる。

図１５は、レイヤデプスマップのアルファブレンドを説明するための図である。デプスマップ加工部２０は、マスク補正部８０により補正された各マスク信号の値をもとに、各レイヤデプスマップ内のデプス値のブレンド比率を決定する。各レイヤデプスマップは指定された順番に重ね合わされる。重ね合わせの順番はユーザが操作部６０から入力し、操作受付部４０を介してデプスマップ加工部２０に設定される。本明細書の例では背景のレイヤデプスマップ、木のレイヤデプスマップ、人物のデプスマップの順番で重ね合わされる。

図１５においてレイヤｎ（ｎは自然数）のマスク信号のエッジ領域は、０％から５０％への垂直な立ち上がりと、５０％から１００％へのなだらかな傾斜から構成される。各パーセンテージの数値は合成比率を示している。このレイヤｎのマスク信号を用いて、レイヤｎのデプス信号（以下、レイヤｎデプスという）と、レイヤΣ（ｎ−１）の合成デプス信号（以下、レイヤΣ（ｎ−１）デプスという）をブレンドする。レイヤΣ（ｎ−１）デプスは、レイヤ１からレイヤ（ｎ−１）までの各デプス信号をブレンドした合成デプス信号である。即ち、レイヤｎデプスがブレンドされる時点までに生成された合成デプス信号である。

レイヤｎのマスク信号の合成比率が０％の期間（符号ｌ参照）では、レイヤｎデプスが０％、レイヤΣ（ｎ−１）デプスが１００％でブレンドされる。即ち、レイヤΣ（ｎ−１）デプスはレイヤｎデプスにより全く上書きされず、レイヤΣ（ｎ−１）デプスがそのまま出力される（符号ｏ参照）。レイヤｎのマスク信号の合成比率が５０％の時点（符号ｐ参照）では、レイヤｎデプスが５０％、レイヤΣ（ｎ−１）デプスが５０％の比率でブレンドされる。

レイヤｎのマスク信号の合成比率が５０％〜１００％の期間（符号ｍ参照）では、合成比率が変化しながらレイヤｎデプスとレイヤΣ（ｎ−１）デプスがブレンドされる。例えばレイヤｎのマスク信号の合成比率が７５％の時点（符号ｑ参照）では、レイヤｎデプスが７５％、レイヤΣ（ｎ−１）デプスが２５％の比率でブレンドされる。レイヤｎのマスク信号の合成比率が１００％に到達した時点（符号ｒ参照）から、レイヤｎデプスが１００％、レイヤΣ（ｎ−１）デプスが０％の比率でブレンドされる。レイヤｎのマスク信号の合成比率が１００％の期間（符号ｎ参照）では、レイヤΣ（ｎ−１）デプスはレイヤｎデプスにより完全上書きされ、結果としてレイヤｎデプスがそのまま出力される（符号ｓ参照）。これによりレイヤΣｎデプスが生成される。レイヤΣｎデプスは、レイヤ１からレイヤｎまでの各デプス信号をブレンドした合成デプス信号である。

なおレイヤデプスのブレンドの際に、レイヤΣ（ｎ−１）デプスのマスク信号は使用されない。レイヤΣｎデプスのマスク信号のみにより、レイヤΣｎデプスとレイヤΣ（ｎ−１）デプスとの合成比率が決定される。したがってレイヤデプスの重なりが多い領域では、下のレイヤデプスのデプス値はレイヤデプスが重ねられるにつれ薄まっていく。

以下、マスク信号のエッジをぼかす処理について具体的に説明する。このぼかし処理は以下の３つの基本ステップからなる。まずオリジナルのマスク信号のエッジを、対象となるオブジェクトの輪郭に対して適切な位置になるように移動させる。これによりマスクのオブジェクト領域の面積が拡大または縮小する。次に当該マスクのエッジに傾斜をつける。最後に傾斜をつけたマスクのエッジ領域を制限する。

以下、上述のぼかし処理をローパスフィルタを用いて行う方法を説明する。まず黒い部分のレベルが０、白い部分のレベルが１であるマスクにローパスフィルタをかける。これにより、平坦部分のレベルは変化させずに、エッジ領域に０と１の中間のレベルの傾斜が付加されたマスクを生成できる。

さらにマスクのエッジ領域のうち、マスクの有効領域に対して外側にのみ傾斜を付け、内側は加工前のレベルを保持したい場合がある。またその逆に、マスクのエッジ領域のうち、マスクの有効領域に対して内側にのみ傾斜を付け、外側は加工前のレベルを保持したい場合もある。これらの場合を考慮して、マスクの有効領域を拡大または縮小して、マスク信号のエッジの位置を任意に移動させる処理を、ぼかしマスク生成用のローパスフィルタの前段に挿入する。

さらに、ぼかし処理によりマスクのエッジが意図した量より大きく拡大することを防ぐために、ぼかされたエッジ領域を制限する処理を、ぼかしマスク生成用のローパスフィルタの後段に挿入する。以下、このローパスフィルタを用いたぼかし処理について、より具体的に説明する。

図１６は、マスク補正部８０の構成例を示す図である。マスク補正部８０は第１ローパスフィルタ８１、二値化部８２、第２ローパスフィルタ８３、クリッピング部８４を含む。これらの構成もハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できる。

１段目の第１ローパスフィルタ８１は、オリジナルのマスク信号にローパスフィルタをかける。二値化部８２は第１ローパスフィルタ８１から出力される、エッジに傾斜がついたマスク信号を第１閾値を用いて二値化する。第１ローパスフィルタ８１および二値化部８２の作用により、オリジナルのマスク信号のエッジの位置が移動される。

２段目の第２ローパスフィルタ８３は、二値化部８２から出力されるエッジの位置が移動されたマスク信号にローパスフィルタをかける。これによりマスク信号のエッジに傾斜がつけられる。クリッピング部８４は第２ローパスフィルタ８３から出力される、エッジに傾斜がついたマスク信号を第２閾値を用いて、第２閾値以下の信号を０にクリッピングする。

図１７は、図１６のマスク補正部８０によるマスクぼかし処理を説明するための図である。図１７の左に処理フローを、中央にマスクの信号波形を、右にマスクの画像を示す。図１７の説明ではマスクの各画素値が８ビットで規定され、マスクの画像において黒が０(0b00000000)、白が２５５(0b11111111)であるとする。通常、オリジナルのマスク信号は０または２５５のみを持つ二値信号である。

オリジナルのマスク信号は、第１ローパスフィルタ８１に入力される。第１ローパスフィルタ８１はマスク信号のエッジの位置をかえる前処理として、オリジナルのマスク信号にローパスフィルタをかける（Ｓ８１）。具体的には第１ローパスフィルタ８１はオリジナルのマスク信号を、エッジ領域が傾斜を持つマスク信号に加工する。傾斜部分の値は０と２５５の間の値（０と２５５を除く）に加工される。

次に二値化部８２はマスク信号のエッジの位置をかえる前処理として、加工されたマスク信号の値と第１閾値を比較してマスク信号を二値化する（Ｓ８２）。具体的にはマスク信号の値が第１閾値よりも大きい場合はマスク信号の値を２５５に設定し、小さい場合は０に設定する。これにより再び、マスク信号は０または２５５のみを持つ二値信号となる。

第１閾値が０と２５５の中間値である１２７より小さく設定される場合、二値化されたマスク信号のエッジは、オリジナルのマスク信号のエッジよりも外側に移動される。この場合、マスクの画像内において白の面積が拡大する。一方、第１閾値が中間値である１２７より大きく設定される場合、二値化されたマスク信号のエッジは、オリジナルのマスク信号のエッジよりも内側に移動される。この場合、マスクの画像内において白の面積が縮小する。なお第１閾値が中間値である１２７に設定される場合、二値化されたマスク信号のエッジは、オリジナルのマスク信号におけるエッジの位置と同じになる。

図１７ではマスク信号のエッジの位置を外側に移動させる例を示している。第１ローパスフィルタ８１のタップ数や係数などのフィルタ特性および二値化部８２の第１閾値を可変することにより、マスク信号のエッジの位置を任意に調整できる。

図１８は、第１ローパスフィルタ８１によりマスク信号に形成される傾斜と、二値化部８２に設定される第１閾値の関係を説明するための図である。同じエッジの位置のマスク信号を生成する場合において、傾斜が緩くて長い場合は第１閾値が高くなり、傾斜が短く急な場合は第１閾値が低くなる関係にある。ユーザが操作部６０から第１ローパスフィルタ８１のフィルタ特性および二値化部８２の第１閾値を入力することにより、操作受付部４０を介して第１ローパスフィルタ８１および二値化部８２に設定される。ユーザは操作部６０から、第１ローパスフィルタ８１のフィルタ特性および二値化部８２の第１閾値の少なくとも一方を調整することにより、マスク信号のエッジの位置を任意に調整できる。なお第１閾値を低く設定したほうが傾斜を短くできるため、第１ローパスフィルタ８１のタップ数を減らすことができ、第１ローパスフィルタ８１を簡素化できる。

図１７に戻る。エッジの位置が移動されたマスク信号は第２ローパスフィルタ８３に入力される。第２ローパスフィルタ８３は、エッジの位置が移動されたマスク信号にローパスフィルタをかける（Ｓ８３）。これにより、再びエッジ領域に傾斜が付加されたぼかしマスクが生成される。

次にクリッピング部８４は、第２ローパスフィルタ８３により生成されたエッジ領域に傾斜を持つマスク信号の値と第２閾値を比較して、当該マスク信号の値が第２閾値以下のときマスク信号の値を０に設定する（Ｓ８４）。即ちエッジ領域において白側の傾斜は残し、黒側の傾斜は急峻に落とす。これにより第２閾値より大きい領域では白からグレーに変化する傾斜がつき、第２閾値以下の領域では黒のマスクを生成できる。このクリッピング処理により、マスク内のぼかしをかけた領域を制限し、マスクのエッジ領域が意図した大きさより、大きくなることを抑制できる。

図１７では、ぼかし処理を水平方向にかける例を示しているが、二次元ローパスフィルタを用いることにより、ぼかし処理を水平方向と垂直方向の両方にかけることもできる。その際、水平方向と垂直方向で係数が異なるフィルタを用いてもよい。その場合、水平方向と垂直方向とで個別にマスク信号のエッジの位置、傾斜の度合い、ぼかし幅を調整できる。

また水平方向と垂直方向で係数が異なり、かつ斜め方向は縦横の係数の中間値を持つ楕円状の二次元ローパスフィルタを用いてもよい。楕円状の二次元ローパスフィルタを用いれば、水平方向と垂直方向とで個別にマスク信号のエッジの位置および傾斜の度合い、ぼかし幅を調整でき、その調整を斜め方向に作用させることもできる。例えば、正方形のオリジナルマスクを、縦横が任意の長さで、かつ角が丸くなった長方形に加工することができる。また正方形のオリジナルマスクを、縦横の傾斜の度合いが個別かつ任意で、角においては縦横の傾斜の度合いと連続性を持ちつつなだらかに変化する傾斜を持つ全方位に任意のなだらかな傾斜がついた長方形に加工することもできる。

図１９は、第１ローパスフィルタ８１により付加される傾斜と、第２ローパスフィルタ８３により付加される傾斜を比較するための図である。第１ローパスフィルタ８１により付加される傾斜（符号ｔ参照）は、二値化境界位置を調整するために使用される仮の傾斜であり、二値化後には消える。したがって傾斜は一定の角度で線形に変化する傾斜でよい。第２ローパスフィルタ８３により付加される傾斜（符号ｔ参照）は、残る傾斜であるため、ユーザがその傾斜の形状も調整するとよい。例えば傾斜の上部では上が凸の、下部では下が凸の形状に調整してもよい。この形状に調整すると、クリッピングされる幅を大きくできる。

このように、第１ローパスフィルタ８１、第２ローパスフィルタ８３のタップ数や係数などのフィルタ特性、二値化部８２の第１閾値、クリッピング部８４の第２閾値を調整することにより、マスク信号のエッジの位置、マスクの有効領域の面積、ぼかし幅をそれぞれ自由に調整できる。また全てのレイヤのマスク信号に同一のぼかし処理をかける必要はなく、各レイヤのマスク信号ごとに個別にぼかし処理をかけてもよい。

以上のぼかし処理により、マスク信号のエッジを任意の位置に移動させ、マスクの有効領域の面積を変化させることができる。またエッジ領域に任意の傾きの傾斜をつけることができる。さらにマスクのぼかし領域を任意に制限することができる。

ぼかしマスクは、後段のデプスマップの合成で使用される。デプスマップ加工部２０は、ぼかしマスクのレベルに応じて、複数のレイヤデプスマップをアルファブレンドする。その際、ぼかしマスクのレベルに応じて、各レイヤデプスマップの合成比率が決定される。

以上説明したように実施例１によれば、レイヤデプスマップを合成する際、ぼかしマスクを使用することにより、合成デプスマップのオブジェクト境界部分に連続性を持たせることができる。即ちオブジェクト境界部分に大きな段差がある場合、その段差をなだらかにすることができる。したがって、この合成デプスマップをもとに生成される別視点の画像のオブジェクト境界部分を自然な境界に仕上げることができる。

また境界があいまいなオブジェクトに対して、不正確な輪郭で作成されたマスクを用いた場合でも、その輪郭の位置を調整することにより、生成される３Ｄ画像のオブジェクトの輪郭が不自然な輪郭となることを回避できる。

（実施例２）
次に実施例２について説明する。実施例１では、デプスマップを加工する際の基準となるマスクに対して以下の処理を施した。マスクの有効エリアの面積を可変する。マスクのエッジ部分に傾斜をつける（具体的には、０または１ではなく ０．５などの中間値を作る）。マスクにつけた傾斜（中間値）の値に応じて、デプスマップをαブレンド合成する。合成されたデプスマップにローパスフィルタをかけて、急峻な変化を抑圧する。

実施例１では、これらの処理により、合成デプスマップのオブジェクトの境界部分に連続性を持たせ、この合成デプスマップを基に生成された画像（３Ｄ画像）のオブジェクトの境界部分の不自然を目立たなくすることを示した。

マスクぼかし処理は、デジタルフィルタによる積和演算処理を伴うが、一般に積和演算処理は1画素あたりの演算量がフィルタのタップ数に応じて増加するうえ、特に二次元フィルタを用いた処理を行う場合は、演算量はフィルタの水平と垂直のタップ数の積に依存するため、膨大な演算量となる。このため、マスクぼかし処理には多くの時間がかかる。実施例１に係る方法では、マスクぼかし処理を対象のマスクに対して一律に適用するため、本来マスクぼかし処理の必要がない部分にまでマスクぼかし処理が行われ、その補正の副作用により画像が不自然に変化してしまう場合がある。また、本来必要の無い演算処理を行い、余計な時間がかかってしまうことがある。実施例２では、マスクぼかし処理の特殊性を考慮したうえで、マスクの補正処理度合いを局所的に変える手段を講じる。

マスクぼかしの目的は、生成された画像（３Ｄ画像）のオブジェクトの境界部分の破綻を目立たなくすることである。また、オブジェクトの境界部分の破綻とは、画素シフトによる抜け画素部分を、周辺画素で補完する際に、オブジェクト近傍の背景部分のテクスチャ画像に歪みが生じることで発生する。よって、オブジェクトの境界部分の破綻は、オブジェクト近傍の背景部分のテクスチャが存在するかどうかに依存する。言い換えれば、オブジェクト近傍の背景部分にテクスチャが存在せず、特徴の無い平坦な画像であった場合には、オブジェクトの境界部分の破綻は発生しないため、マスクぼかしは不要である。

実施例２では、マスクぼかしの処理適応の最適化の指標として、オブジェクト近傍の背景部分のテクスチャ量を用いることを特徴とする。すなわち、入力画像に対して解析処理を行うことで、画像中の各々の部分におけるテクスチャ量を算出し、これをもって、マスクぼかし処理の強度を画素毎に適応的に制御することで、マスクぼかし処理適応の最適化を図る。たとえば、背景テクスチャが多く存在する箇所においては、マスクぼかし処理が強めにかかるようにし、逆に、背景テクスチャ量が少ないか、または存在しない箇所においては、テクスチャ量に応じてマスクぼかしの強度を抑圧し、必要以上に強いマスクぼかし処理が適用されないように制御する。

以下、図２０と図２１を用いて、実施例２について説明する。図中で実施例１と同じ、または同様の機能を持つ部分には同じ記号を付し、説明を省略する。図２０に示す様に、実施例２に係る画像編集システム５００は、図１３に示す実施例１に係る画像編集システム５００に対し、テクスチャ解析部９０が追加され、また、マスク補正部８０の動作が一部異なる。

図２１のステップＳ５１で、テクスチャ解析部９０は入力画像の背景テクスチャを検出する。具体的には、入力画像の隣接画素間の輝度値を微分し、絶対値を取る。これにより隣接画素間での輝度値の変化量を求めることができる。結果が大きい箇所は、画像の輝度変化が大きい部分、すなわち、よりコントラストの高いテクスチャが存在する場所であると判断できる。

以下で、具体的な処理の一例を説明する。入力画像の水平方向の位置をx、垂直方向の位置をyとし、画像内の位置(x, y)における輝度値をf(x, y)であらわすこととする。水平一画素間の差分を取る処理を画素の微分と定義すると、その画素ポジションにおける入力画像の輝度の微分値D(x, y) は、以下の式で表される。
D(x, y)= f(x+1, y)−f(x, y)
D(x, y)は、隣接画素 f(x＋1, y)、f(x, y) 間の輝度の差が大きくなるほど、絶対値が大きな値をとる。このため、上記の微分処理は、入力画像の画素値の変化、すなわち画像のテクスチャ量を抽出していることに相当する。なお、上記ではx方向、すなわち入力画像の水平方向に微分を行う場合について示したが、垂直方向の微分、または水平、垂直の微分結果を合算してもよい。

また微分式は上記に限らず、2画素間の差分など、隣接画素間での輝度値の変化量を求める式とすることができる、他のいかなる計算方法を用いても良いことはもちろんである。上記の微分結果D(x, y)の絶対値を入力画像の背景テクスチャ量Ｆ(x, y)とし、マスク補正部８０に入力する。
Ｆ(x, y)＝｜D(x, y)｜
なお、ここでは輝度に着目して説明したが、色相、明度、彩度など画像に関する他の尺度を用いてもよいし、これらを組み合わせて、入力画像の背景テクスチャ量を算出してもよい。

ステップＳ５２で、マスク補正部８０はテクスチャ解析部９０から受け取った信号に基づき、マスクぼかし処理の強度を設定する。マスクぼかし処理の強度を制御することは、マスクぼかしフィルタのタップ数を制御することと等価である。

図２２、図２３を用いて、フィルタのタップ数の多さと、フィルタ処理したマスク形状との関係を説明する。図２２（ａ）はタップ数の少ないローパスフィルタの一例を示す。図２２（ｂ）で、Ｍ１は加工前のマスクを、Ｍ２は（ａ）のフィルタでフィルタ処理したマスクを示す。図２３（ａ）はタップ数の多いローパスフィルタの一例を示す。図２２（ｂ）で、Ｍ１は加工前のマスクを、Ｍ２は（ａ）のフィルタでフィルタ処理したマスクを示す。

図２２（ｂ）のＭ２と図２３（ｂ）のＭ２を比較するとわかるように、処理するフィルタのタップ数が多いほどマスクエッジの傾斜が緩やかになり、広がりが大きくなる。これをマスク補正部８０の１段目のＬＰＦに当てはめると、マスクの有効エリアの面積を拡大するフィルタのタップ数を多くするほど、マスクぼかしの効果はマスクエッジからより遠い範囲にまで及ぶようになる。また、マスク補正部８０の２段目のＬＰＦに当てはめると、マスクのエッジ部分に傾斜をつけるフィルタのタップ数を多くするほど、マスクのエッジのぼけ量、すなわちエッジの傾斜は緩やかになり、背景と前景のデプスのαブレンド合成を行う範囲が広くなり、マスクぼかの強度が高まることになる。

次に、ステップＳ５２のマスクぼかし処理の強度設定についての一例を具体的に説明する。入力画像が８ｂｉｔデータである場合には、入力画像の背景テクスチャ量Ｆ(x, y)の最大値は２５５を超えることは無いため、入力画像の背景テクスチャ量は、０〜２５５のレンジで正規化されている。
０〜２５５のレンジで正規化された入力画像の背景テクスチャ量を用いて、以下の式によりフィルタのタップ数Ｔを算出する。
Ｔ＝Ｔｍａｘ × Ｆ(x, y)/ ２５５
Ｔｍａｘは、フィルタの最大タップ数である。フィルタの最大タップ数に、入力画像の背景テクスチャ量を基にして算出される係数を掛けることで、フィルタのタップ数を設定し、マスクぼかし処理の強度を変更する。
フィルタのタップ数は整数である必要があるが、上記の計算結果のタップ数が整数でなくなった場合の扱い（四捨五入、切捨て、切り上げなど）については任意で選択できる。また、ここでは、入力画像の背景テクスチャ量が０〜２５５のレンジの場合について説明したが、これ以外のレンジの背景テクスチャ量を用いることも可能である。
ステップＳ５３からＳ５６については、実施例１で説明した、図１７におけるステップＳ８１からＳ８４と同様である。

以上のように実施例２では実施例１による効果に加え、背景のテクスチャの解析結果により、マスクの補正処理度合いを局所的に変えるため、本来補正の必要ない部分にマスク処理をすることが無くなり、演算量が削減されるという効果がある。また、マスク補正の必要が無い部分にまで補正処理が行われ、その補正の副作用により画像が不自然に変化してしまうことを避けることができるという効果がある。

以上の説明では、入力画像のビット数に対応するレンジで正規化した背景テクスチャ量Ｆ(x, y)に対し、線形演算にてフィルタのタップ数Ｔを算出したが、背景テクスチャ量Ｆ(x, y)からフィルタのタップ数Ｔを導出する方法はこれに限らず様々な応用が可能である。以下、背景テクスチャ量Ｆ(x, y)からフィルタのタップ数Ｔを導出する変形例について説明する。

（変形例１）
変形例１では、入力画像の背景テクスチャ量Ｆ(x, y)に閾値を設け、閾値より小さい場合フィルタをかけない、、またはフィルタのタップ数を最小とする。入力画像の背景テクスチャ量Ｆ(x, y)が著しく小さい場合は、画像のテクスチャ量ではなくノイズ成分を検出している可能性がある。フレームごとにランダムに変化するノイズ成分に基づいてマスクぼかしの強度を制御した場合、フレーム単位でマスクぼかしの効果が意図せずに変化してしまい、不都合が生じる。また、入力画像の背景テクスチャ量Ｆ(x, y)が著しく小さい場合は、本来テクスチャが存在しない平坦部分に重畳されているノイズ成分を検出している可能性が高い。すなわちこの部分は、本来マスクぼかし処理の必要がない部分である可能性が高い。従って、背景テクスチャ量Ｆ(x, y)がある一定の閾値以下となった場合はフィルタをかけないこととしてもよく、むしろこの方が良好な処理結果を得られる可能性が高いといえる。

図２４に、変形例１における背景テクスチャ量Ｆ(x, y)とフィルタのタップ数Ｔの関係を図示する。図２４（ａ）は、背景テクスチャ量Ｆ(x, y)の増加に対し、フィルタのタップ数が増加する条件で、背景テクスチャ量が閾値Ｆ１より小さい場合にフィルタのタップ数をゼロ、即ちフィルタをかけないとした状態を示す。図２２（ａ）では閾値Ｆ１前後でフィルタのタップ数Ｔが不連続になる。この場合、ぼかしによる画像変化が不連続となることが想定される。そこで、図２２（ｂ）に示すように、オフセットをかけて、閾値の前後におけるフィルタのタップ数が連続な値をとるように制御することにより、フィルタをかけない部分とかける部分の画像変化を緩やかにしても良い。

以上のように変形例１では本来マスクぼかしの必要の無い、入力画像の背景テクスチャ量Ｆ(x, y)が著しく小さい部分にマスクぼかしを行わないことで、より有効なマスクぼかし処理を実現できる。

（変形例２）
変形例２では、入力画像の背景テクスチャ量を再正規化する。入力画像が８ｂｉｔデータである場合は、背景テクスチャ量が０〜２５５のレンジで正規化されるが、この背景テクスチャ量のレンジを任意のダイナミックレンジで再正規化する。以下、具体例を示す。

次式により、背景テクスチャ量の再正規化を行う。
Ｆ’(x, y) ＝０ （Ｆ(x, y)＜Ｆ２）
Ｆ’(x, y) ＝（Ｆ(x, y)−Ｆ２）／（Ｆ３−Ｆ２）×２５５ （Ｆ２≦Ｆ(x, y)＜Ｆ３）
Ｆ’(x, y) ＝２５５ （Ｆ３≦Ｆ(x, y)）
ここで、Ｆ２は入力画像の背景テクスチャ量の最小値閾値、Ｆ３は入力画像の背景テクスチャ量の最大値閾値であり、それぞれ０〜２５５間で任意に設定可能である（但し、Ｆ２＜Ｆ３）。Ｆ’(x, y)は正規化後の背景テクスチャ量である。上記計算式を用いた処理を行うことにより、背景テクスチャ量は、閾値Ｆ２とＦ３の間でリニアに増加し、閾値Ｆ２とＦ３の範囲外では一定の値をとる物理量に変換することができる。図２５に、背景テクスチャ量Ｆ(x, y)と、再正規化後の背景テクスチャ量Ｆ’(x, y)の関係を図示する。

変形例２では、背景テクスチャ量を再正規化し、再正規化したテクスチャ量に基づいてフィルタのタップ数を決めることにより、入力画像の背景テクスチャ量Ｆ(x, y)のうち、任意のテクスチャ量の範囲に対して、フィルタのタップ数の制御ゲインを有効に配分することが可能となる。また、入力画像の最小閾値Ｆ２を、ノイズ成分に影響されない値に設定することで、変形例１と同様に本来マスクぼかしの必要の無い、入力画像の背景テクスチャ量Ｆ(x, y)が著しく小さい部分にマスクぼかしを行わないことで、より有効なマスクぼかし処理を実現できる。

ここでのダイナミックレンジの再正規化方法は一例であり、他の方法で行うことはもちろん可能である。また、ここでは０〜２５５のレンジの場合について説明したが、もちろんこのレンジ以外で再正規化することも可能である。さらに閾値として最大閾値と最小閾値を用いたが、どちらか一方でも構わない。

（変形例３）
変形例３では背景テクスチャ量に対して任意の変換テーブルを使用することでタップ数を設定する。変換テーブルを使用することで背景テクスチャ量に応じたタップ数を任意に設定することができ、所望の特性を実現することができる。このため、例えばタップ数が必要以上に多く、所望のマスクぼかしを得られなかった場所でも、タップ数を任意に少なくすることでマスクぼかしを弱くすることができる。反対に、タップ数が必要な数より少なく所望のマスクぼかしを得られなかった場所に、タップ数を任意に多くしてぼかしを強くするということもできる。

図２６に変換テーブルを使用した一例を示す。変換テーブルを使用した場合の背景テクスチャ量Ｆ(x, y)とフィルタタップ数Ｔの関係を実線で示す。一点斜線で示した直線は比較のために図示した特性であり、背景テクスチャ量Ｆ(x, y)に対してフィルタタップ数Ｔを線形演算によって求めた場合の特性である。

同様の変換を、演算式により実現するためには、複雑な演算が必要となるが、変換テーブルを用いることで、ユーザが望む任意の変換特性を複雑な計算式を用いることなく実現することができる。ここでは、背景テクスチャ量Ｆ(x, y)が０〜２５５のレンジの場合について説明したが、これ以外のレンジとなった場合も任意で変換テーブルを設定可能である。

（変形例４）
変形例４では、背景テクスチャ量Ｆ(x, y)に任意のローパスフィルタをかけて、テクスチャ量を分散させることで、ぼかしのかかり方を均一化する。これにより均一なぼかしをかけたマスクを生成でき、自然な３Ｄ画像が生成できる。ローパスフィルタの一例を以下に示す。
輝度の微分値D(x, y)に対してローパスフィルタをかけるとD’(x, y)は、
D’(x, y)= (D(x, y) + D(x−1, y)×0.5 + D(x＋1, y)×0.5) / 2
となる。
上記はローパスフィルタの一例であり、タップ数含めて、他の形式のローパスフィルタでももちろんよい。またここでは水平にローパスフィルタをかけることを示したが、垂直にかけたり、二次元ローパスフィルタを用いて水平と垂直の両方にかけたりしても良いことはもちろんである。

ローパスフィルタを使用することで、マスクぼかしが不自然にかかることを防ぐことができる。例えば背景テクスチャが縞模様状であった場合、縞模様の間隔によっては、縞と縞のエッジ部分にはマスクぼかしが強くかかるが、縞の中心付近ではあまりぼかしがかからない場合がある。そのためマスクぼかしのかかり方が場所ごとに極端になり、その結果、生成された３Ｄ画像も不自然になってしまう。背景テクスチャ量Ｆ(x, y)に任意のローパスフィルタをかけることで、縞模様のエリア全体に一様に、そのエリアのテクスチャ量の総量に応じたマスクぼかしをかけることができる。

５００ 画像編集システム、 １００ 画像処理装置、 １０ デプスマップ生成部、
１１ 画面上部高域成分評価部、 １２ 画面下部高域成分評価部、 １３ 合成比率
決定部、 １４ 第１基本デプスモデル用フレームメモリ、 １５ 第２基本デプスモデ
ル用フレームメモリ、 １６ 第３基本デプスモデル用フレームメモリ、 １７ 合成部
、 １８ 加算部、 ２０ デプスマップ加工部、 ３０ ３Ｄ画像生成部、 ３１ 画
素シフト部、 ３２ 監視領域設定部、 ３３ 画素補間部、 ４０ 操作受付部、 ５
０ 表示制御部、 ２００ コンソール端末装置、 ６０ 操作部、 ７０ 表示部、
８０ マスク補正部、 ８１ 第１ローパスフィルタ、 ８２ 二値化部、 ８３ 第２
ローパスフィルタ、 ８４ クリッピング部、９０ テクスチャ解析部。

Claims (10)

1. 外部設定されるマスクパターンを補正するマスク補正部と、
   入力画像のデプスマップを、前記マスク補正部により補正された複数のマスクパターンにより指定される複数の領域ごとに加工するデプスマップ加工部と、
   前記入力画像、及び前記デプスマップ加工部により加工されたデプスマップをもとに、別視点の画像を生成する画像生成部と、
   前記入力画像のテクスチャを解析するテクスチャ解析部と
   を備え、
   前記マスク補正部は、前記テクスチャ解析部の解析結果に基づいて前記マスクパターンのオブジェクト境界のマスクぼかし処理の補正度合いを変えることを特徴とする画像処理装置。
   
2. 前記マスク補正部は、
   前記外部設定されるマスクパターンに対し、フィルタ処理を行うことで前記マスクパターンを補正し、
   前記テクスチャ解析部の解析結果に基づいて前記フィルタ処理を行うフィルタのタップ数を設定することを特徴とする請求項１記載の画像処理装置。
3. 前記マスク補正部は、
   前記テクスチャ解析部の解析結果の値に対し、所定の演算処理を行うことにより前記フィルタのタップ数を算出することを特徴とする請求項２記載の画像処理装置。
4. 前記マスク補正部は、
   前記テクスチャ解析部の解析結果の値に対し所定の閾値を設定し、前記テクスチャ解析部の解析結果の値が前記所定の閾値より小さい場合には前記フィルタのタップ数を所定の固定値とすることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記マスク補正部は、
   前記テクスチャ解析部の解析結果の値を任意の範囲内で再正規化し、
   前記テクスチャ解析部の解析結果の値が前記任意の範囲より小さい場合、所定の最小値に置き換え、
   前記テクスチャ解析部の解析結果の値が前記任意の範囲より大きい場合、所定の最大値に置き換えることを特徴とする請求項２または３に記載の画像処理装置。
6. 前記マスク補正部は、
   前記テクスチャ解析部の解析結果の値に対し、所定の変換テーブルにより前記フィルタのタップ数を導出することを特徴とする請求項２記載の画像処理装置。
7. 前記マスク補正部は、
   前記テクスチャ解析部の解析結果の値に対し、フィルタ処理をした結果を前記テクスチャ解析部の解析結果の値に置き換えることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記テクスチャ解析部は、
   前記入力画像の輝度、色相、明度、彩度の少なくともひとつの値を微分した結果を解析結果とすることを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 外部設定されるマスクパターンを補正するステップと、
   入力画像のデプスマップを、補正された複数のマスクパターンにより指定される複数の領域ごとに加工するステップと、
   前記入力画像、及び加工されたデプスマップをもとに、別視点の画像を生成するステップと、
   前記入力画像のテクスチャを解析するステップと
   を備え、
   前記マスクパターンを補正するステップは、前記入力画像のテクスチャ解析結果に基づいて前記マスクパターンのオブジェクト境界のマスクぼかし処理の補正度合いを変えることを特徴とする画像処理方法。
   
10. 外部設定されるマスクパターンを補正する処理と、
    入力画像のデプスマップを、補正された複数のマスクパターンにより指定される複数の領域ごとに加工する処理と、
    前記入力画像、及び加工されたデプスマップをもとに、別視点の画像を生成する処理と、
    前記入力画像のテクスチャを解析する処理とをコンピュータに実行させ、
    前記マスクパターンを補正する処理は、前記入力画像のテクスチャ解析結果に基づいて前記マスクパターンのオブジェクト境界のマスクぼかし処理の補正度合いを変えることを特徴とする画像処理プログラム。