JP5887515B2 - 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置 - Google Patents

Description

本発明は、奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置に関し、特に、２次元画像から奥行きマップを生成するための奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置に関する。

２次元画像（２Ｄ画像）中の奥行き情報（以下、奥行きマップと記載）を生成し、生成した奥行きマップを用いて、２Ｄ画像に対応する立体対（左眼画像および右眼画像）を合成することで、２Ｄ画像を３次元画像（３Ｄ画像）に変換する方法が知られている。

例えば、特許文献１には、視差情報を含む２Ｄ画像に基づき３Ｄ画像を作成する方法が開示されている。具体的には、特許文献２では、２Ｄ画像が入力され、入力された２Ｄ画像から人物の顔の画像を抽出して顔画像を取得し、取得した顔画像に視差情報を付与することで３Ｄ画像を作成する。そして、作成した３Ｄ画像をもバイススクリーン等に表示するために出力する。

また、例えば特許文献２には、基本構造モデルおよび非３Ｄ画像から奥行きマップを生成する方法が開示されている。具体的には、特許文献２に開示される方法では、シーンの奥行き構造の推定のために、まず、そのシーンの非３Ｄ画像（２Ｄ画像）における所定領域の高周波成分または画素値の輝度信号のアクティビティの統計量を算出する。次に、算出された統計値および各領域におけるその構成比に基づいて、その非３Ｄ画像に対して３種類の基本奥行きマップモデルを生成する。最後に、非３Ｄ画像のＲ信号（ＲＧＢ色空間におけるＲ成分）を、生成した基本奥行きモデルに重畳することで、その非３Ｄ画像に対する奥行きマップを生成する。このように、特許文献１では、非３Ｄ画像から奥行き情報を推定する。

また、例えば特許文献３には、サンプル画像に基づいて生成した奥行きマップを用いて２Ｄ画像から３Ｄ画像へ変換する方法が開示されている。特許文献３に開示される方法では、まず、背景画像として奥行き情報を含むサンプル画像が記憶されているデータベースを用いて、入力された２Ｄ画像の背景画像をマッチングさせる。次に、マッチングした背景画像に基づいて、前景画像を抽出する。また、グラフベースのセグメンテーションを用いた色分割方法または比較技術を用いて２Ｄ画像の前景画像を検出する。このように、前景画像および背景画像を抽出することにより、前景画像と背景画像と相対的な奥行きマップを生成する。このように、特許文献３では、サンプル画像に基づき奥行き情報を生成する。

また、動き情報を用いて運動視差を得るために奥行きマップを生成する方法として、Ｓｈａｐｅ Ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）法が知られている。ＳＦＭ法では、移動体の視差による３次元空間（３Ｄ空間）における対象物について、ビデオフレームおよびモデル全体にわたって対象物の動きを推定する。なお、ＳＦＭ法では、カメラに近い対象物が、カメラから遠い対象物よりも大きな視差を有するとして対象物の動きを推定する。

特開２００２−１９４２８５号公報 米国特許第７２６２７６７号明細書 米国特許出願公開第２０１０００１４７８１号明細書

しかしながら、上記従来の方法で奥行きマップを生成する場合、次に説明するように、３Ｄポップアウト効果が不十分であり、視聴者に違和感を与えてしまうという課題がある。

まず、特許文献１に開示される方法では、顔を抽出し、抽出した顔に対して奥行き値を付与するだけであり、人物の体全体を３Ｄポップアップしたことにならないので、３Ｄポップアップ効果は不十分である。つまり、視聴者に違和感を与えてしまう。特に、大きなスクリーンでの表示には違和感が大きく３Ｄポップアップ効果は不十分である。

次に、特許文献２に開示される方法では、不自然で不快な（違和感のある）３Ｄ画像が生成され、特に境界の周辺においてアーチファクトが発生するという課題がある。これは、Ｒ信号追加処理および基本シーン構造のモデルに起因するものである。

次に、特許文献３に開示される方法では、人物などの対象物は、前景画像で識別されるが、時系列上の画像（映像）では、必ずしも対象物は前景画像に識別されるわけではないので、フレーム間でのフリッカーが発生してしまうという課題がある。また、このフリッカーの発生を回避するためには、奥行きマップの時系列上での平滑化方法が必要だが、特許文献３では、その技術の開示も示唆もない。

最後に、他の既知方法であるＳＦＭ法では、静止画像または相対的に動きがない部分では３Ｄの対象物を作成することができないという課題がある。

このように、上記従来の方法で生成した奥行きマップを用いて、２Ｄ画像を３Ｄ画像に変換する場合、３Ｄポップアウト効果が不十分であり、視聴者に違和感を与えてしまうという課題がある。

本発明は、上述の事情を鑑みてなされたものであり、視聴者に違和感を与えない３Ｄポップアウトを表示するための奥行きマップを生成する奥行き情報生成装置および奥行き情報生成方法を提供することを目的とする。

上記目的を達成するために、本発明の一形態に係る奥行き情報生成装置は、２次元画像から、人物の顔を検出し、検出した顔に基づいて、当該２次元画像の領域内の前記人物を示す人物領域を抽出する領域抽出部と、抽出された前記人物領域に、当該人物領域以外の領域の奥行き値とは異なる奥行き値を付与することで、前記人物領域と当該人物領域以外の領域とを分離するための奥行きマップを生成する生成部とを備える。

本構成によれば、顔検出のみを用いて人物領域を得ることができる。それにより、視聴者に違和感を与えない３Ｄポップアウトを表示するための奥行きマップを生成することができる奥行き情報生成装置を実現することができる。

また、前記領域抽出部は、前記２次元画像における人物の顔を検出する検出部と、検出された前記人物の顔の位置に基づいて、前記人物の顔の領域を含む人物モデルの領域である仮人物領域を設定する仮領域設定部と、前記仮人物領域の特徴と当該仮人物領域に隣接する画素の特徴とに基づき、前記人物領域を決定する人物領域決定部とを備えるとしてもよい。

また、前記人物領域決定部は、前記仮人物領域内の特徴と当該仮人物領域に隣接する画素の特徴を抽出する抽出特徴抽出部と、前記特徴抽出部により抽出された前記仮人物領域の特徴と当該仮人物領域に隣接する画素の特徴とに基づいて、前記仮人物領域の範囲を調整する領域調整部と、前記領域調整部により調整された仮人物領域範囲を前記人物領域と決定する領域決定部とを備えるとしてもよい。

また、前記特徴抽出部は、前記仮人物領域の特徴として、前記仮人物領域内のカラーヒストグラムを算出するヒストグラム算出部と、当該仮人物領域に隣接する画素を選択する画素選択部と、当該仮人物領域に隣接する画素の特徴として、前記画素選択部により選択された画素の色情報を算出する色情報算出部とを備えるとしてもよい。

また、前記領域調整部は、前記色情報算出部より算出された画素の色情報と前記ヒストグラム算出部により算出されたカラーヒストグラムとを比較する比較部と、当該画素の色が前記ヒストグラム算出部により算出されたカラーヒストグラムに含まれる色である場合、当該画素が前記人物領域に含まれるとして、前記仮人物領域の範囲を拡大するよう前記仮人物領域を更新し、当該画素の色が、前記カラーヒストグラムに含まれる色でない場合には、当該画素は前記人物領域に含まれないとして、前記仮人物領域を更新しない領域範囲更新部とを備えるとしてもよい。

また、前記生成部は、前記検出部により検出された人物の顔における、前記２次元画像に対するサイズおよび位置に基づいて、前記領域抽出部により抽出された人物領域の第１奥行き値を算出し、算出した第１奥行き値を当該人物領域に付与する付与部と、前記仮領域設定部により設定された仮人物領域に与えられていた第２奥行き値を第１奥行き値に合成することにより、当該人物領域と当該人物領域以外の領域とを分離する奥行きマップを生成取得する合成部とを備えるとしてもよい。

また、さらに、前記２次元画像の情報を用いて、前記生成部により生成された奥行きマップにおける前記人物領域のエッジの平滑化を行う平滑化処理部を備えるとしてもよい。

また、前記平滑化処理部は、前記２次元画像のピクセル強度に基づき算出された重み付け関数に基づいて、前記２次元画像と、前記生成部により生成された奥行きマップとを用いて、前記奥行きマップを空間的にフィルタリングすることにより、前記奥行きマップにおける前記人物領域のエッジを平滑化するとしてもよい。

また、前記平滑化処理部は、前記２次元画像のうち対象フレームおよび先行フレームの画像データのピクセル強度とピクセル強度の差分とに基づき算出された重み付け関数に基づいて、前記２次元画像のうち対象フレームおよび先行フレームと、前記生成部により生成された奥行きマップとを用いて、前記奥行きマップを空間的かつ時間的にフィルタリングすることにより、前記奥行きマップにおける前記人物領域のエッジを平滑化するとしてもよい。

また、上記目的を達成するために、本発明の一形態に係るステレオ画像変換装置は、上記態様の奥行き情報生成装置と、前記奥行き情報生成装置により生成された奥行きマップを用いて、前記２次元画像を、前記２次元画像に対応するステレオ画像に変換するレンダリング部とを備える。

また、上記目的を達成するために、本発明の一形態に係る奥行き情報生成装置は、２次元画像から、注目対象物のうち統計的に検出可能な領域である対象領域を検出し、検出した対象領域に基づいて、当該２次元画像の領域内の注目対象物領域を抽出する領域抽出部と、抽出された前記注目対象物領域に、当該注目対象物領域以外の領域の奥行き値とは異なる奥行き値を付与することで、人物領域と当該人物領域以外の領域とを分離するための奥行きマップを生成する生成部とを備える。

また、前記領域抽出部は、前記２次元画像における対象領域を検出する検出部と、前記検出された対象領域の位置に基づいて、検出された前記対象領域の領域を含む注目対象物モデルの領域である仮注目対象物領域を設定する仮領域設定部と、前記仮注目対象物領域の特徴と当該仮注目対象物領域に隣接する画素の特徴とに基づき、前記仮注目対象物領域範囲を更新することで、注目対象物領域を決定する注目対象物領域決定部とを備えるとしてもよい。

また、前記注目対象物は、猫、犬、鳥および食べ物を含むコンピュータで検出可能な物であるとしてもよい。

また、さらに、前記２次元画像の情報を用いて、前記生成部により生成された奥行きマップにおける前記注目対象物領域のエッジの平滑化を行う平滑化処理部を備えるとしてもよい。

また、さらに、ユーザにより指定データを受信する受信部を備え、前記指定データは、ユーザにより指定された注目対象領域を示しており、前記領域抽出部は、前記指定データに基づいて、指定された注目対象物領域から前記対象領域を検出するとしてもよい。

また、前記検出部は、前記指定データに基づいて、前記２次元画像における対象領域を検出して対象領域の位置を識別するとしてもよい。

また、前記生成部は、前記検出部により検出された対象領域における、前記２次元画像に対するサイズおよび位置と、入力される前記指定データとに基づいて、前記領域抽出部により抽出された注目対象物領域の第１奥行き値を算出し、算出した第１奥行き値を当該注目対象物領域に付与する付与部と、前記仮領域設定部により設定された仮注目対象物領域に与えられていた第２奥行き値を第１奥行き値に合成することにより、当該注目対象物領域と当該注目対象物領域以外の領域とを分離する奥行きマップを生成する合成部とを備えるとしてもよい。

また、上記目的を達成するために、本発明の一形態に係る奥行き情報生成方法は、２次元画像から、人物の顔を検出し、検出した顔に基づいて、当該２次元画像の領域内の人物を示す人物領域を抽出する領域抽出ステップと、抽出された前記人物領域に、当該人物領域以外の領域の奥行き値とは異なる奥行き値を付与することで、人物領域と当該人物領域以外の領域とを分離するための奥行きマップを生成する生成ステップとを含む。

本発明によれば、視聴者に違和感を与えない３Ｄポップアウトを表示するための奥行きマップを生成することができる奥行き情報生成装置、奥行き情報生成方法、ステレオ画像変換装置を実現することができる。また、本発明によれば、効率よく、低メモリかつリアルタイム動作が可能であり、高精度に物体境界を自動的に分別可能であるため、様々なシーンにおいて自然で快適な３Ｄポップアウト効果が得られる。

また、本発明の別の効果は、顔検出のみを用いて人物領域を得ることである。したがって、本発明は、特許文献３において開示された方法よりもメモリが少なくて済む。さらに、本発明はタイムラグが少なく、リアルタイムの用途に用いることができる。

したがって、本発明は先行技術である特許文献１および他の既知の方法を超える効果を有する。また、本発明は、顔検出のみを用いて人物領域を得ることである。したがって、本発明は、特許文献３において開示された方法よりもメモリが少なくて済む。さらに、本発明はタイムラグが少なく、リアルタイムの用途に用いることができる。

図１は、本発明の実施の形態に係る奥行き情報生成装置の機能ブロック図である。 図２は、本発明の実施の形態に係る奥行き情報生成装置の処理概要を説明するためのフローチャートである。 図３は、本発明の実施の形態に係る領域抽出部の詳細構成を示す図である。 図４は、本発明の実施の形態に係る人物領域決定部の詳細構成を示す図である。 図５は、本発明の実施の形態に係る領域抽出部の処理を説明するためのフローチャートである。 図６Ａは、本発明の実施の形態に係る領域抽出部により２次元画像から仮人物領域が抽出されるまでの処理の様子を説明するための図である。 図６Ｂは、本発明の実施の形態に係る領域抽出部により２次元画像から仮人物領域が抽出されるまでの処理の様子を説明するための図である。 図６Ｃは、本発明の実施の形態に係る領域抽出部により２次元画像から仮人物領域が抽出されるまでの処理の様子を説明するための図である。 図７は、本発明の実施の形態に係る人物領域決定部の処理を説明するためのフローチャートである。 図８は、本発明の実施の形態に係る人物領域決定部により人物領域が決定されたときの処理の様子を説明するための図である。 図９Ａは、顔検出できなかった２次元画像の人物領域が決定される処理の様子を説明するための図である。 図９Ｂは、顔検出できなかった２次元画像の人物領域が決定される処理の様子を説明するための図である。 図９Ｃは、顔検出できなかった２次元画像の人物領域が決定される処理の様子を説明するための図である。 図９Ｄは、顔検出できなかった２次元画像の人物領域が決定される処理の様子を説明するための図である。 図９Ｅは、顔検出できなかった２次元画像の人物領域が決定される処理の様子を説明するための図である。 図９Ｆは、顔検出できなかった２次元画像の人物領域が決定される処理の様子を説明するための図である。 図１０は、本発明の実施の形態に係る奥行きマップ生成部の詳細構成を示す図である。 図１１は、本発明の実施の形態に係る奥行きマップ生成部の処理を説明するためのフローチャートである。 図１２Ａは、本発明の実施の形態に係る奥行きマップ生成部により生成された仮の奥行きマップの例を示す図である。 図１２Ｂは、本発明の実施の形態に係る奥行きマップ生成部により生成された仮の奥行きマップの例を示す図である。 図１３は、本発明の実施の形態に係る奥行き情報生成装置に映像が入力される場合の平滑化処理部の処理を説明するための図である。 図１４は、本発明の実施の形態に係る奥行き情報生成装置に２次元画像が入力される場合の平滑化処理部の処理を説明するための図である。 図１５は、本発明の実施の形態に係るフィルタリングの動作を示す図である。 図１６は、本発明の実施の形態に係る平滑化処理部の処理後の奥行きマップの様子を示す図である。 図１７は、本発明の実施の形態に係る３次元映像生成装置の機能ブロック図である。 図１８は、本発明の実施の形態に係る３次元映像生成装置の機能ブロック図の別の例である。 図１９は、本発明の実施の形態の変形例２に係る奥行き情報生成装置の処理概要を説明するためのフローチャートである。 図２０は、本発明の実施の形態の変形例２に係る奥行き情報生成装置の処理概要を説明するためのフローチャートである。 図２１は、本発明の実施の形態の変形例２に係る奥行き情報生成装置の処理概要を説明するためのフローチャートである。 図２２は、２次元画像の人物領域および背景について、色情報に基づいて異なる層に分割されるよう抽出する処理の例を示す図である。 図２３は、本発明の実施の形態の変形例４に係る３Ｄ画像表示制御装置の機能ブロック図を示す図である。 図２４は、人物領域の時間的なマッチングを行わない場合にフリッカーが生じること示す図である。 図２５は、本発明の奥行き情報生成方法の処理の流れを示す図である。

以下に、本発明の実施の形態について、図面を参照しながら説明する。なお、各図は、模式図であり、必ずしも厳密に図示したものではない。

また、以下で説明する実施の形態では、本発明の好ましい一具体例が示されている。実施の形態で示される数値、形状、構成要素、構成要素の配置および接続形態などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲によって限定される。よって、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素は、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成する要素として説明される。

図１は、本発明の実施の形態に係る奥行き情報生成装置の機能ブロック図である。

図１に示す奥行き情報生成装置１は、本発明の奥行き情報生成装置に相当し、入力された２次元画像から、奥行きマップを生成する。ここで、奥行きマップとは、２Ｄ画像上の、検出対象の対象物（検出対象物）と背景とを分離するための奥行き情報が２Ｄ画像にマッピングされた奥行き情報である。また、２次元画像は、２次元画像単体でもよいし、映像を構成する連続する２次元画像であってもよい。

奥行き情報生成装置１は、領域抽出部１０と、奥行きマップ生成部１１と、平滑化処理部１２とを備える。また、奥行き情報生成装置１は、その外部に設置されたメモリ１３を用いる。

領域抽出部１０は、入力された２次元画像（２Ｄ）画像から、人物の顔を検出し、検出した顔に基づいて、２次元画像の領域内の人物を示す人物領域を抽出する。

具体的には、領域抽出部１０では、既知の検出アルゴリズムを用いて注目対象物のうち統計的に検出可能な領域である対象領域を検出することによって、２次元画像の領域内の注目対象物領域を抽出する。ここで、注目対象物は、典型的には人物であるがそれに限らない。猫、犬、鳥および食べ物などコンピュータで検出可能な物であればよい。以下、本実施の形態では、注目対象物が人物であり、対象領域が顔である場合について説明する。すなわち、本実施の形態では、領域抽出部１０は、顔検出アルゴリズムを用いて、２次元画像内に存在する人物の顔領域を検出する。領域抽出部１０は、検出した顔領域のサイズに基づき、その顔領域を含む人物の領域を抽出する。

奥行きマップ生成部１１は、抽出された人物領域に、人物領域以外の領域の奥行き値とは異なる奥行き値を付与することで、人物領域と当該人物領域以外の領域とを分離するための奥行きマップを生成する。

具体的には、奥行きマップ生成部１１では、まず、領域抽出部１０で抽出された人物領域に対する奥行き値を付与することで、その人物領域に対する仮の奥行きマップを生成する。そして、検出された顔に基づく人物領域（仮人物領域）として最初に設定された仮人物領域に対する奥行き値を、仮の奥行きマップに合成することで、その人物領域に対する奥行きマップを生成する。これによって、人物領域の奥行きマップに人物領域以外の領域（背景）とは異なる値が付与されることになり、人物領域と、背景とが分離される。なお、人物領域の奥行き値は、背景よりカメラに近く設定される。例えば、奥行きマップは、８ビットのグレースケール画像により生成されるとすると、奥行きを表す値（奥行き値の範囲）は、０〜２５５であり、２５５は最もカメラに近い場合に付与され、０はカメラ（または背景）から遠い場合に付与される。

平滑化処理部１２は、少なくとも２次元画像の情報を用いて、奥行きマップ生成部１１により生成された奥行きマップにおける人物領域のエッジの平滑化を行う。

具体的には、平滑化処理部１２は、奥行き情報生成装置１に２次元画像が入力される場合には、２次元画像のピクセル強度に基づき算出された重み付け関数に基づいて、２次元画像と、奥行きマップ生成部１１により生成された奥行きマップとを用いて、その奥行きマップを空間的にフィルタリングする。このようにして、平滑化処理部１２は、奥行きマップ生成部１１により生成された奥行きマップにおける人物領域のエッジを平滑化する。

また、平滑化処理部１２は、奥行き情報生成装置１に映像が入力される場合には、算出された重み付け関数に基づいて、２次元画像のうち対象フレームおよび先行フレームと、奥行きマップ生成部１１により生成された奥行きマップとを用いて、その奥行きマップを空間的かつ時間的にフィルタリングする。ここで、重み付け関数は、複数の２次元画像のうち対象フレームおよび先行フレームの画像データのピクセル強度とピクセル強度の差分とに基づき算出される。このようにして、平滑化処理部１２は、その奥行きマップにおける人物領域のエッジを平滑化する。

言い換えると、平滑化処理部１２は、対象フレームおよび先行フレームの２次元画像を用いて３次元画像グリッドを作成し、この処理においては、対象フレームと先行フレームとの２次元画像から抽出された隣接層情報（人物領域以外の領域）および対象物層情報（人物領域）に基づいて、奥行きマップ生成部１１により生成された奥行きマップデータの各画素を平滑化する。

以上のように、平滑化処理部１２は、人物領域と人物領域以外の領域（背景）に対して生成された奥行きマップに対して、平滑化処理を行う。なぜなら、奥行きマップ生成部１１により生成された奥行きマップは、１００％の精度が保証されておらず、ほぼすべての場合において人物の境界に何らかの不備が生じるからである。例えば、奥行きマップ生成部１１により生成された奥行きマップから３次元画像を平滑化せずに生成した場合、人物に網目があるように見えたり、不均一に見えたりする。これは、奥行きマップ生成部１１により生成された奥行きマップが精度の高い奥行きマップではないということを意味する。

メモリ１３は、顔の特徴パターンおよび時間的な画像情報など、奥行き情報生成装置１が使用するデータが格納されている。メモリ１３は、例えば、フラッシュベースのメモリカード、ハードドライブで構成されている。

以上のように、奥行き情報生成装置１は構成される。この奥行き情報生成装置１は、２次元画像から、人物領域の奥行き情報を抽出して、人物領域と人物領域以外の奥行きマップを生成する。

次に、以上のように構成される奥行き情報生成装置１が奥行きマップを生成するまでの処理の概要について説明する。

図２は、本発明の実施の形態に係る奥行き情報生成装置１の処理概要を説明するためのフローチャートである。

まず、奥行き情報生成装置１に画像または映像が入力される（Ｓ１）。

次に、Ｓ２において、奥行き情報生成装置１が奥行きマップを生成する。具体的には、奥行き情報生成装置１は、２次元画像から、人物の顔を検出し、検出した顔に基づいて、その２次元画像の領域内の人物を示す人物領域を抽出する（Ｓ２１）。続いて、奥行き情報生成装置１は、抽出された人物領域に、人物領域以外の領域の奥行き値とは異なる奥行き値を付与することで、人物領域と人物領域以外の領域とを分離するための奥行きマップを生成する（Ｓ２２）。さらに、２次元画像の情報を用いて、生成された奥行きマップにおける人物領域のエッジの平滑化を行う（Ｓ２３）。このようにして、奥行き情報生成装置１は、奥行きマップを生成する。

最後に、奥行き情報生成装置１は、生成した奥行きマップを出力する（Ｓ２３）。

次に、奥行き情報生成装置１の各構成要素の詳細とその処理の流れについて説明する。

まず、領域抽出部１０の詳細構成について説明する。

図３は、本発明の実施の形態に係る領域抽出部１０の詳細構成を示す図である。図４は、本発明の実施の形態に係る人物領域決定部１０３の詳細構成を示す図である。

図３に示すように、領域抽出部１０は、顔検出部１０１と、仮領域設定部１０２と、人物領域決定部１０３とを備える。

ここで、メモリ１３１およびメモリ１３２は、メモリ１３の一部である。メモリ１３１は、顔検出部１０１および仮領域設定部１０２が用いるデータが格納されており、例えば顔特徴パターンデータや人物モデルの領域データ（プレマスクともいう）などのデータが格納されている。メモリ１３２は、人物領域決定部１０３が用いるデータが格納されており、例えばプレマスクのカラーヒストグラムデータが格納されている。

顔検出部１０１は、２次元画像における人物の顔を検出する。具体的には、顔検出部１０１は、顔検出アルゴリズムにより、メモリ１３１に格納されている顔特徴パターンを含む顔画像データに基づいて、２次元画像における顔を検出する。

仮領域設定部１０２は、顔検出部１０１に検出された人物の顔の位置に基づいて、その人物の顔の領域を含む人物モデルの領域である仮人物領域を設定する。具体的には、仮領域設定部１０２は、顔検出部１０１に検出された顔の２次元画像に対するサイズおよび位置に基づき、メモリ１３１に格納されているプレマスクを選択して、検出された顔を含めるようにそのプレマスクを適用する。つまり、プレマスクのサイズは、顔のサイズに応じて適応的に変更された上で決定される。このようにして、仮領域設定部１０２は、仮人物領域を設定する。

人物領域決定部１０３は、図３に示すように、特徴抽出部１０４と、領域調整部１０５と、領域決定部１０６とを備える。人物領域決定部１０３は、仮人物領域の特徴と当該仮人物領域に隣接する画素の特徴とに基づき、人物領域を決定する。

特徴抽出部１０４は、仮人物領域内の特徴とその仮人物領域に隣接する画素の特徴を抽出する。

より具体的には、特徴抽出部１０４は、図４に示すように、ヒストグラム算出部１０４１と、画素選択部１０４２と、色情報算出部１０４３とを備える。ヒストグラム算出部１０４１は、仮人物領域の特徴として、仮人物領域内のカラーヒストグラムを算出する。ヒストグラム算出部１０４１は、算出した仮人物領域内のカラーヒストグラムをメモリ１３２に格納する。画素選択部１０４２は、当該仮人物領域に隣接する画素を選択する。色情報算出部１０４３は、その仮人物領域に隣接する画素の特徴として、画素選択部１０４２により選択された画素の色情報（色相および輝度）を算出する。

領域調整部１０５は、特徴抽出部１０４により抽出された仮人物領域の特徴とその仮人物領域に隣接する画素の特徴とに基づいて、仮人物領域の範囲を調整する。そして、領域調整部１０５は、調整された仮人物領域の範囲を人物領域として決定し、出力する。

より具体的には、領域調整部１０５は、図４に示すように、比較部１０５１と、領域範囲更新部１０５２とを備える。

比較部１０５１は、色情報算出部１０４３より算出された画素の色情報とヒストグラム算出部１０４１により算出されたカラーヒストグラムとを比較する。領域範囲更新部１０５２は、当該画素の色がヒストグラム算出部１０４１により算出されたカラーヒストグラムに含まれる色である場合、当該画素が人物領域に含まれるとして、仮人物領域の範囲を、当該画素を含むように仮人物領域を更新する。一方、領域範囲更新部１０５２は、当該画素の色が、ヒストグラム算出部１０４１により算出されたカラーヒストグラムに含まれる色でない場合には、当該画素は人物領域に含まれないとして、仮人物領域を更新しない。

領域決定部１０６は、領域範囲更新部１０５２による仮人物領域の更新が終了した場合には、領域調整部１０５により調整された仮人物領域範囲を人物領域と決定する。

以上のように、領域抽出部１０は構成される。

続いて、領域抽出部１０の処理について説明する。

図５は、本発明の実施の形態に係る領域抽出部１０の処理を説明するためのフローチャートである。図６Ａ〜図６Ｃは、領域抽出部１０により２次元画像から仮人物領域が抽出されるまでの処理の様子を説明するための図である。

まず、奥行き情報生成装置１に、画像または映像が入力される（Ｓ１）。例えば、奥行き情報生成装置１には、映像を構成する２次元画像として図６Ａに示すフレーム３１０が入力される。

次に、顔検出部１０１は、２次元画像における人物の顔を検出し（Ｓ２１０）、顔検出部１０１は、２次元画像における人物の顔の検出が成功したか否かを確認する（Ｓ２１１）。ここで、例えば、顔検出部１０１は、顔検出が成功した場合には、図６Ｂに示すように、フレーム３１０の人物の顔３１５を検出する。

仮領域設定部１０２は、顔検出部１０１の顔検出が成功した場合（Ｓ２１１のＹｅｓ）には、顔検出部１０１により検出された人物の顔の位置に基づいて、その人物の顔の領域を含む人物モデルの領域である仮人物領域を設定する（Ｓ２１２）。ここで、例えば、仮領域設定部１０２は、図６Ｃに示すように、顔検出部１０１により検出された人物の顔の位置に基づいて、仮人物領域３２０を設定する。なお、仮人物領域３２０は、人物には、頭、首、体、および脚が含まれるという想定のもとで、顔の大きさに基づいて作成されている。また、上述したように、仮人物領域３２０のサイズは、検出した顔の大きさに基づいて変更（拡大または縮小）される。

次に、Ｓ２１３では、人物領域決定部１０３は、仮人物領域の特徴と当該仮人物領域に隣接する画素の特徴とに基づき、人物領域を決定する。

具体的には、まず、特徴抽出部１０４は、仮人物領域内の特徴とその仮人物領域に隣接する画素の特徴を抽出する（Ｓ２１４）。ここで、特徴抽出部１０４は、仮領域設定部１０２により設定された最初の仮人物領域（プレマスク）に対して抽出した特徴をメモリ１３２に保存する。なお、メモリ１３２に保存されるデータ（プレマスクの特徴データ）は、プレマスクのカラーヒストグラムである。詳細は後述するためここでの説明は省略する。

続いて、領域調整部１０５は、特徴抽出部１０４により抽出された仮人物領域の特徴とその仮人物領域に隣接する画素の特徴とに基づいて、仮人物領域の範囲を調整する（Ｓ２１５）。領域決定部１０６は、仮人物領域の範囲の調整（仮人物領域の更新）が終了した場合には、その調整後（更新後）の仮人物領域範囲を人物領域と決定する。ここで、特徴抽出部１０４は、領域決定部１０６により決定した人物領域に対して抽出した特徴をメモリ１３３に保存する。なお、メモリ１３３に保存されるデータは、決定された人物領域のカラーヒストグラムである。詳細は後述するためここでの説明は省略する。

そして、領域調整部１０５は、決定された人物領域を出力する（Ｓ２１６）。

なお、奥行き情報生成装置１は、Ｓ１において画像（２次元画像）が入力され、Ｓ２１１において、顔検出部１０１での顔検出が失敗した場合（Ｓ２１１のＮｏ）、Ｓ２１７およびＳ２１８の処理を行わず、処理を終了する。

一方、奥行き情報生成装置１は、Ｓ１において映像が入力され、Ｓ２１１において、顔検出部１０１での顔検出が失敗した場合（Ｓ２１１のＮｏ）には、Ｓ２１７の処理を行う。すなわち、Ｓ２１７においては、奥行き情報生成装置１は、先行フレーム（２次元画像）で検出された顔位置に基づき、人物の特徴を抽出する。ここで、先行フレームとは、Ｓ１で入力される映像を構成する時間的に連続した２次元画像（フレーム）において、Ｓ２１１の顔検出処理の対象となった対象フレームの時間的に１つ前のフレームを意味する。

より具体的には、Ｓ２１７において、仮領域設定部１０２は、顔検出部１０１が先行フレームで顔検出を行った人物の顔の位置に基づいて、その人物の顔の領域を含む人物モデルの領域である仮人物領域を設定する。次いで、特徴抽出部１０４は、その仮人物領域内の特徴を抽出する。

次に、Ｓ２１８において、領域調整部１０５は、メモリ１３３に保存されている先行フレームの人物領域の特徴（カラーヒストグラム）と、Ｓ２１８で抽出された仮人物領域内の特徴と比較する。領域調整部１０５は、Ｓ２１８で抽出された仮人物領域内の特徴が先行フレームの特徴と類似する場合には、Ｓ２１５に進む。すなわち、奥行き情報生成装置１は、Ｓ２１５に進み、Ｓ２１４とＳ２１５の処理を繰り返して、人物領域を決定する。一方、領域調整部１０５は、Ｓ２１８で抽出された仮人物領域内の特徴が先行フレームの特徴と類似していないと判断する場合には、Ｓ２１６に進む。

このように、映像（動画）の場合、常に顔検出できるとは限らないので、Ｓ２１７およびＳ２１８の処理のように、人物領域の追跡（人物領域の時間的なマッチング）を行うことでその後生成される３Ｄ映像にフリッカーが生じないように手当する。

以上のように領域抽出部１０は処理を行う。

ここで、領域抽出部１０における人物領域決定部１０３の処理（Ｓ２１３）の詳細について説明する。

図７は、本発明の実施の形態に係る人物領域決定部１０３の処理を説明するためのフローチャートである。図８は、人物領域決定部１０３により人物領域が決定されたときの処理の様子を説明するための図である。

Ｓ２１４において、まず、ヒストグラム算出部１０４１は、仮人物領域の特徴として、仮人物領域内のカラーヒストグラムを算出する。

具体的には、仮領域設定部１０２により仮人物領域が設定され（Ｓ２１３１）、ヒストグラム算出部１０４１は、設定された仮人物領域の特徴として、仮人物領域の顔等の肌領域に対して色相輝度（Ｈ−Ｌ）ヒストグラムおよびグレースケールヒストグラムを算出する。また、ヒストグラム算出部１０４１は、設定された仮人物領域の特徴として、仮人物領域の服等の肌領域以外の領域に対して、３つの色成分のヒストグラムを算出する。ヒストグラム算出部１０４１は、算出した仮人物領域内のカラーヒストグラムをメモリ１３２ａに格納する。なお、メモリ１３２ａは、メモリ１３２の一部領域である。

ここでは、色相輝度カラーヒストグラムは仮人物領域における影色および色の階調を表すために用いられる。グレースケールヒストグラムは、髪および影などの色が検出されない領域を表すために用いられる。より具体的には、Ｓ２１４１において、ヒストグラム算出部１０４１は、仮人物領域内の各画素に対してＨ値（色相値）およびＬ値（輝度値）を算出する。そして、図７に示すように、ＨＳＬカラーモデルに基づいて、上記肌領域に対して色相輝度（Ｈ−Ｌ）のヒストグラム５５０を算出する（Ｓ２１３２）。なお、仮人物領域内において、髪および影の部分を示す肌領域の画素の色情報が抽出することができない場合（つまり、グレースケール、白黒）の場合には、ヒストグラム５５０に代わりに、グレースケールのヒストグラム５４０を算出する（Ｓ２１３２）。また、肌領域以外の領域に対して、３つの色成分のヒストグラム５６０を算出する（Ｓ２１３３）。

なお、仮人物領域内の各画素についてＨおよびＬカラーチャネルに従って表わされるＨ−Ｌカラーヒストグラムを算出することが、２次元画像における人物領域を抽出する方法の鍵である。例えば、画素選択部１０４２により選択された画素のＨ値およびＬ値によってその画素が赤色であると検出された場合、その画素は弱光（暗い）領域にあることがわかる。つまり、その画素は、ヒストグラム５４０によって暗赤色領域の範囲内にあると判定できる。一方、画素選択部１０４２により選択された画素の色情報が抽出することができない場合（つまり、グレースケール、白黒）でも、グレースケールのヒストグラム５４０によって画素が仮人物領域内にあるか否かを判定できる。

次に、Ｓ２１４２において、画素選択部１０４２は、当該仮人物領域に隣接する画素を選択する（Ｓ２１３４）。色情報算出部１０４３は、当該仮人物領域に隣接する画素の特徴として、画素選択部１０４２により選択された画素の色情報（色相および輝度）を算出する（Ｓ２１３５）。

次に、Ｓ２１４３において、比較部１０５１は、色情報算出部１０４３より算出された画素の色情報とヒストグラム算出部１０４１により算出されたカラーヒストグラムとを比較する（Ｓ２１３６）。領域範囲更新部１０５２は、比較部１０５１の結果に基づき、仮人物領域を更新する（Ｓ２１３７）。具体的には、Ｓ２１３６において、領域範囲更新部１０５２は、画素選択部１０４２により選択された画素の色がヒストグラム算出部１０４１により算出されたカラーヒストグラムに含まれる色である場合、当該画素が人物領域に含まれるとして、仮人物領域の範囲を、当該画素を含むように（ここでは拡大するように）、仮人物領域を更新する。一方、領域範囲更新部１０５２は、画素選択部１０４２により選択された画素の色が、ヒストグラム算出部１０４１により算出されたカラーヒストグラムに含まれる色でない場合には、当該画素は人物領域に含まれないとして、仮人物領域を更新しない。

次に、領域範囲更新部１０５２により更新された仮人物領域に対して、ヒストグラム算出部１０４１は、設定された仮人物領域の特徴として、更新された仮人物領域の色相輝度（Ｈ−Ｌ）のヒストグラム５５０、グレースケールのヒストグラム５４０、３つの色成分のヒストグラム５６０を算出する。なお、ヒストグラム算出部１０４１は、更新された仮人物領域内のカラーヒストグラムをメモリ１３２ｂに格納する。なお、メモリ１３３ａは、メモリ１３２の一部領域である。

このように、人物領域決定部１０３は、仮人物領域に隣接する一画素ごとに仮人物領域に含まれるか否かを判定し、仮人物領域を更新（拡大または縮小）する。このような更新を繰り返すことにより、人物領域決定部１０３は、図８に示すような人物領域３４０を決定することができる。

つまり、Ｓ２１４２において、画素選択部１０４２により選択された画素のＨ値およびＬ値が算出され、ヒストグラム算出部１０４１により算出されたヒストグラム５４０〜ヒストグラム５６０とマッチング（比較）される。その画素のＨ−Ｌ値またはグレースケール値が算出されたヒストグラム５４０〜ヒストグラム５６０の範囲内の値である場合、その画素が仮人物領域に含められる。一方、その画素がヒストグラム５４０〜ヒストグラム５６０の範囲内の値ではない場合、その画素は、仮人物領域でないとして除外される。これは、仮人物領域と類似の色情報（色相、輝度、またはグレースケール）を有する画素が、同じグループにされるということである。

ところで、一般的には、あるＨ（色相）の領域において、区別がつけられない（異なる対象物の色の区別がつけられない）という不明瞭性があり、誤ったマッチングを行う可能性がある。しかしながら、この課題は、本実施の形態のように、画素選択部１０４２により選択された画素の色相値を抽出（区別）すると、解決できる。すなわち、本実施の形態のように、色相値を用いてマッチングを行い、色相値を抽出できない場合には、その画素をグレースケール色とみなして、マッチングを行うことにより解決できる。したがって、図８に示すように、ほぼ正確な人物領域３４０の形状が得られる。

ここで、奥行き情報生成装置１に、映像が入力されている場合について説明する。上述したように、映像（動画）が入力される場合、常に顔検出できるとは限らない。以下では、Ｓ２１７およびＳ２１８の処理の詳細として、人物領域決定部１０３が行う処理について説明する。図９Ａ〜図９Ｆは、顔検出できなかった２次元画像の人物領域が決定される処理の様子を説明するための図である。

奥行き情報生成装置１に、映像が入力される場合、例えば図９Ａに示す先行フレーム４１０において顔が検出されても図９Ｂに示す対象フレーム４２０において顔が検出されないことがある。この場合、先行フレームと対象フレームの奥行きの一貫性を考慮せずにそのまま奥行きマップを生成し、３Ｄ映像を生成すると、先行フレーム４１０と対象フレーム４２０とに対応する映像において、不自然な３Ｄポップアウト効果が生じる可能性がある。

この課題は、Ｓ２１７とＳ２１８の処理で説明したように、先行フレームと対象フレームの間の人物領域の時間的なマッチングを用いることによって解決される。

具体的には、まず、先行フレーム４４０に対してＳ２１４１の処理が行われている。すなわち、ヒストグラム算出部１０４１は、図９Ｃに示すように、顔検出された先行フレーム９１０に対して、決定された人物領域４３０の色情報（３つの色成分（ＲＧＢ）のヒストグラム５６０またはヒストグラム５４０、ヒストグラム５５０）を算出している。そして、ヒストグラム算出部１０４１は、先行フレーム９１０に対して算出された人物領域の色情報（ヒストグラム）がメモリ１３２ｂに格納している。

次に、対象フレーム４２０において顔検出されない場合（Ｓ２１１のＮｏ）、Ｓ２１７において、まず、仮領域設定部１０２は、図９Ｄに示すように、顔検出部１０１が先行フレーム９１０で顔検出を行った人物の顔の位置に基づいて、先行フレーム４１０で決定された人物領域４３０を、対象フレーム４２０の仮人物領域４５０を設定する。次いで、特徴抽出部１０４は、その仮人物領域４５０内の特徴（色情報のヒストグラム）を抽出する。

より具体的には、ヒストグラム算出部１０４１は、対象フレーム４２０の仮人物領域４５０の色情報（カラーヒストグラム）を算出する。

次に、領域調整部１０５は、メモリ１３３に保存されている先行フレーム４１０の人物領域４３０の特徴（カラーヒストグラム）と、対象フレーム４２０の仮人物領域４５０の色情報（カラーヒストグラム）とを比較する（Ｓ２１８）。すなわち、領域調整部１０５は、この２つのヒストグラム間のヒストグラム類似度が算出されて、顔検出された先行フレーム４１０の人物領域４３０のヒストグラムが、対象フレーム４２０の仮人物領域４５０に設定してもよいかを判定する。

奥行き情報生成装置１は、ヒストグラム類似度の信頼値が所定のしきい値を超える場合（Ｓ２１８のＹｅｓ）、先行フレーム４１０の人物領域４３０と対象フレーム４２０の仮人物領域４５０とが類似していると判断する。人物領域決定部１０３は、先行フレーム４１０で抽出されたカラーヒストグラムを用いて、対象フレーム４２０に対して人物領域を決定する。すなわち、人物領域決定部１０３は、Ｓ２１４とＳ２１５の処理を繰り返して行い、図９Ｅに示すような対象フレーム４２０の仮人物領域４６０を調整する。

なお、奥行き情報生成装置１は、ヒストグラム類似度の信頼値が所定のしきい値以下の場合は、仮領域設定１０２により設定された仮人物領域４５０とそれに関連付けられた色情報（カラーヒストグラム）が削除される。

このように、奥行き情報生成装置１は、顔検出できない対象フレーム４２０に対して、顔検出できた先行フレーム４１０で決定された人物領域４３０を時間的なマッチング領域として用いることで、図９Ｆに示すような対象フレーム４２０の人物領域４７０を決定することができる。

次に、奥行きマップ生成部１１の詳細構成について説明する。

図１０は、本発明の実施の形態に係る奥行きマップ生成部の詳細構成を示す図である。

図１０に示すように、奥行きマップ生成部１１は、付与部１１１と、合成部１１２とを備える。ここで、メモリ１３４は、メモリ１３１の一部である。メモリ１３４は、奥行きマップ生成部１１が用いるデータが格納されており、例えば、人物モデルの領域（プレマスク）に対する奥行き値（奥行きマップ）などのデータが格納されている。

付与部１１１は、顔検出部１０１により検出された人物の顔における、２次元画像に対するサイズおよび位置に基づいて、領域抽出部１０により抽出された人物領域の第１奥行き値を算出し、算出した第１奥行き値を当該人物領域に付与する。このようにして、付与部１１１は、領域抽出部１０により抽出された人物領域に対して、仮の奥行きマップを生成する。

合成部１１２は、仮領域設定部１０２により設定された仮人物領域に与えられていた第２奥行き値と第１奥行き値に合成することにより、当該人物領域と当該人物領域以外の領域とを分離する奥行きマップを生成取得する。このようにして、合成部１１２は、プレマスク）に対する奥行き値を、仮の奥行きマップに合成することで、その人物領域に対する奥行きマップを生成する。

以上のように、奥行きマップ生成部１１は構成される。

続いて、奥行きマップ生成部１１の処理について説明する。

図１１は、本発明の実施の形態に係る奥行きマップ生成部１１の処理を説明するためのフローチャートである。図１２Ａおよび図１２Ｂは、本発明の実施の形態に係る奥行きマップ生成部１１により生成された仮の奥行きマップの例を示す図である。

まず、奥行きマップ生成部１１に、領域決定部１０６により決定された人物領域が入力される（Ｓ２２０）。例えば、奥行きマップ生成部１１には、図８に示すような人物領域３４０を含むフレームが入力される。

次に、付与部１１１は、顔検出部１０１により検出された人物の顔における、２次元画像に対するサイズおよび位置に基づいて、領域抽出部１０により抽出された人物領域の第１奥行き値を算出し、算出した第１奥行き値を当該人物領域に付与する（Ｓ２２１）。

つまり、付与部１１１は、領域抽出部１０により抽出された人物領域に対して、仮の奥行きマップを生成する。

ここで、この仮の奥行きマップは、グローバルな奥行き値の概算である基本奥行きモデルの概念に基づいて生成される。生成された仮の奥行きマップは、領域抽出部１０により抽出された人物領域とこの人物領域に付与された第１奥行き値から構成されており、メモリ１３４に格納される。ここで、図１２Ａおよび図１２Ｂは、仮の奥行きマップの例であり、図１２Ａに示す仮の奥行きマップの下部３３５にはカメラの前に近い奥行き値が付与され、図１２Ａに示す仮の奥行きマップの上部３３０には、カメラから遠い奥行き値が付与されている。

また、Ｓ２２１において、人物領域に対する奥行き値は人物領域に含まれる顔のサイズに基づいて与えられる。例えば、与えられる奥行き値が大きいほどカメラの近くになり、小さいほどカメラから遠いことを示す。また、人物領域と背景（人物領域以外の領域）との間では異なる奥行き値が付与される。例えば、図１２Ｂに示す人物領域３５０には、ポップアップ効果を得るためにカメラの前に近い奥行き値が与えられ、背景の下部３４５にはカメラから遠い奥行き値が与えられる。

次に、合成部１１２は、仮領域設定部１０２により最初設定された仮人物領域（プレマスク）に与えられていた第２奥行き値と第１奥行き値に合成することにより、当該人物領域と当該人物領域以外の領域とを分離する奥行きマップを生成取得する（Ｓ２２２）。

つまり、合成部１１２は、メモリ１３４に予め保存されていたプレマスクの奥行き値（第２奥行き値）を、付与部１１１により生成された仮の奥行きマップに合成する。

このようにして、奥行きマップ生成部１１は、人物領域を背景から分離するために用いられる奥行きマップを生成する。

図１３は、本発明の実施の形態に係る奥行き情報生成装置１に映像が入力される場合の平滑化処理部１２の処理を説明するための図である。図１４は、本発明の実施の形態に係る奥行き情報生成装置１に２次元画像が入力される場合の平滑化処理部１２の処理を説明するための図である。図１５は、本発明の実施の形態に係るフィルタリングの動作を示す図である。図１６は、本発明の実施の形態に係る平滑化処理部１２の処理後の奥行きマップの様子を示す図である。

なお、図１３は、奥行き情報生成装置１に映像が入力されるため、空間的かつ時間的な平滑化処理を示すフローチャートであり、図１４は、奥行き情報生成装置１に２次元画像が入力されるため、空間的の平滑化処理を示すフローチャートである。図１４は図１３の一部であるとも言えるので、以下では、図１３の処理について説明し、図１４の説明は省略する。

まず、領域抽出部１０により、人物領域を抽出しても、例えば図８の境界形状３２５のように完全な人物領域の形状を抽出することができない場合が多い。そのため、人物領域出ない領域をフィルタリングで除去する際、特に２次元画像から抽出された画像平面の対象物層に基づく人物領域の境界形状の周辺においては、平滑化処理が重要な役割を果たす。

具体的には、平滑化処理部１２では、図１３のＳ２３１３において、対象フレームｔおよび先行フレームｔ−１の２次元画像に基づいて、例えば図１５に示す３次元画像グリッド６００が生成される。ここで、ｘ−ｙ平面は、２次元画像の空間座標であり、ｙ軸は、対象フレームおよび先行フレームの２次元画像から抽出された画像層である。

また、Ｓ２３２において、対象フレーム６２５の奥行きマップおよびメモリ１３６に格納されている先行フレーム６１５を、対象フレーム６２０と先行フレーム６１０との２次元画像データの重み付け関数に基づいて３次元画像グリッド６００に適用する。ここで、重み付け値および対象フレームの奥行き値の適用方法は、以下のように表される。

式１において、ｒ_ｔは、対象フレームの奥行きマップを３次元画像グリッドに適用する方法において用いられる重み付け比であり、η_ｄは、［０、１］の範囲にｒ_ｔの値を調整するための正規化関数である。Ｄ_ｔおよびＤ_ｔｅｍｐはそれぞれ、対象フレームおよび格納された先行フレームの奥行きマップである。ＧＤ（ｄ）は、奥行き値の範囲ｄにおいて、奥行きデータに含まれる３次元画像グリッドである。ＧＷ（ｄ）は、奥行き値の範囲ｄに奥行きデータの重み付け値に含まれる３次元画像グリッドである。

メモリ１３５に格納された先行フレームの奥行きデータを適用する方法は、以下のように表される。

式２において、ｒ_ｔ−１は、メモリ１３５に格納された先行フレームの奥行きマップを３次元画像グリッドに適用する方法を用いる重み付け比である。η_Ｉは、［０、１］の範囲にｒ_ｔ−１の値を調整するための正規化関数である。Ｉ_ｔおよびＩ_ｔ−１はそれぞれ、対象フレームおよび先行フレームの２次元画像データである。

また、Ｓ２３５における奥行きマップの先行フレームは、以下のように表される。

式３において、ｗ_ｔおよびｗ_ｔ−１は、対象フレームＤ_ｔおよび格納フレームＤ_ｔｅｍｐのそれぞれの奥行きマップを格納する方法において用いられる重み付け比である。

また、Ｓ２３３において、算出された３次元フィルタグリッドを用いる対象フレームを空間的かつ時間的にフィルタリングし、対象フレームの２次元画像の画素が含まれる各画像ノード間のトリリニア補間を決定する。このようにして、各画素の新たな奥行き値を算出して最終的な奥行きマップ（平滑化された奥行きマップ）を得る。

ここで、図１５には、平滑化処理の一例として、奥行きマップに対するエッジ適応平滑化処理の様子が示されている。具体的には、３次元画像グリッド６００を用いて、画素ｐにおいて奥行きマップを平滑化する方法を示している。

まず、２次元画像である対象フレーム６２０および先行フレーム６１０は、小さなブロックサイズに分割され、それぞれの小さなブロックサイズが、３次元画像グリッド６００を形成する。例えば、ノード６５０は２次元画像における小ブロックの左下隅の画素を参照し、ノード６５５は２次元画像における小ブロックの右下隅の画素を参照する。また、ノード６４０は２次元画像における小ブロックの左上隅における画素対象物層を参照し、ノード６４５は２次元画像における小ブロックの右上隅における画素対象物層を参照する。このようにして、各画素の奥行きマップを、同じ参照点にも適用する。ここで、画素６６５は、この小ブロックの一部であり、適用された画素である。

この方法において、同じブロックに属する任意の画素の対象物層の値が他の画素と異なる値である場合、奥行き値は、異なる画像グリッドに含まれる。平滑化後の奥行きマップの新たな画素値が、該当する同じブロック内の全画素間でトリリニア補間を用いて算出されることにより、画素グリッドにおけるその画素の位置の密度から画素値が得られる。例えば、位置６６０における画素の新たな値（ｘ＋ｂｌｏｃｋ＿ｗｉｄｔｈ／２，ｙ＋ｂｌｏｃｋ＿ｈｅｉｇｈｔ／２）は、画像グリッド内の該当位置による密度を決定することによって算出される。この構成によって、対象物層の情報に従って各画素を互いに分離することができる。

したがって、異なる対象物層に属する、奥行きマップ８２５において発生したエラーは、奥行きデータ密度が低い異なる画像グリッドに含まれるようになるため、エラーが低減する。つまり、図１６に示すように、平滑化後に得られた奥行きマップは、図８の境界形状３２５のように不完全な人物領域の形状が平滑化されて自然なものになっている。なお、エッジ適応平滑化処理により、平滑化された奥行きマップは、例えば図１６に示すように精度の高い人物領域奥行きマップ３５５、グローバルな背景奥行き情報３６０、および、背景奥行き情報３７０を含んでいる。

なお、図１４に示すように、２次元画像から奥行きマップを生成する場合には、エッジ適応平滑化処理行う際に単一の２次元画像６２０のみを用いて３次元画像グリッド６００を形成する。そして対象フレーム６２５の奥行きマップを用いて画像グリッドに適用すればよい。

このようにして、平滑化処理部１２は、少なくとも２次元画像の情報を用いて、奥行きマップ生成部１１により生成された奥行きマップにおける人物領域のエッジの平滑化を行う。

以上のように、本実施の形態の奥行き情報生成装置１によれば、視聴者に違和感を与えない３Ｄポップアウトを表示するための奥行きマップを生成することができる。

なお、本実施の形態の奥行き情報生成装置１は、人物像の奥行きが背景から分離される奥行きマップを生成する、生成される奥行きマップは、２次元画像から３次元画像に変換するために用いられる。

また、上記では、奥行き情報生成装置１は、人物領域抽出部１０、奥行きマップ生成部１１および平滑化処理部１２を備えるとしたが、それに限られない。奥行き情報生成装置１の最小構成として、最小構成部１Ａを備えていればよい。すなわち、奥行き情報生成装置１は、人物領域抽出部１０、奥行きマップ生成部１１を備えていればよい。この最小構成部１Ａを少なくとも備えることにより、視聴者に違和感を与えない３Ｄポップアウトを表示するための奥行きマップを生成することができる。

以下、奥行き情報生成装置１を備え、２次元画像から３次元画像に変換する装置について説明する。

図１７は、本発明の実施の形態に係る３次元映像生成装置の機能ブロック図である。図１７に示す３次元映像生成装置２は、本発明のステレオ画像変換装置に対応し、奥行き情報生成装置１と、レンダリング部１４とを備える。

レンダリング部１４は、奥行き情報生成装置１により生成された奥行きマップを用いて、２次元画像を、ステレオ画像に変換する。

ここでステレオ画像とは、２次元画像に対応する左眼画像および右眼画像で構成される立体対であり、または、２次元画像に対応し、かつ、視点の異なる複数の画像で構成されるマルチビュー画像である。

以上のように構成される３次元映像生成装置２は、効率よく、低メモリかつリアルタイム動作が可能であり、高精度に物体境界を自動的に分別可能であるため、様々なシーンにおいて自然で快適な３Ｄポップアウト効果が得られるという効果を奏する。

なお、以上のように構成される３次元映像生成装置２では、奥行き情報生成装置１に直接、２次元画像または映像が入力されるとしているがそれに限らない。例えば、図１８に示すように、受信部１５を介して２次元画像または映像が入力されるとしてもよい。ここで、図１８は、本発明の実施の形態に係る３次元映像生成装置の機能ブロック図の別の例である。

図１８に示す３次元映像生成装置３は、図１７に示す３次元映像生成装置２と比べて、さらに受信部１５を備えている点が異なっている。他は、図１７と同様の構成であるので、詳細な説明は省略する。なお、図１８において、図１および図１６と同様の要素には同一の符号を付している。

受信部１５は、ユーザにより指定された指定データを受信する。また、受信部１５は、２次元画像または映像が入力されて、奥行き情報生成装置１に出力する。ここで、指定データは、ユーザにより指定された注目対象領域を示しており、注目対象物とは人物領域である。

以上、本実施の形態によれば、視聴者に違和感を与えない３Ｄポップアウトを表示するための奥行きマップを生成することができる奥行き情報生成装置、奥行き情報生成方法、ステレオ画像変換装置を実現することができる。

例えば、本実施の形態に係る奥行き情報生成装置、奥行き情報生成方法を有するステレオ画像変換装置では、精度の高い人物領域を自動的に生成して、２Ｄ画像から３Ｄ画像または３Ｄ映像に変換する際にほぼリアルタイムで３Ｄポップアップ効果をもたらすことができる。また、ユーザは、必ずしも手動で対象物（人物）を指定する必要はない。これは、任意の２次元画像から精度の高い前景領域と人物領域とを抽出することができることにより、３Ｄ効果に対する人の知覚を向上させる奥行きマップが生成できるからである。

このように、本実施の形態に係る奥行き情報生成装置、奥行き情報生成方法を有するステレオ画像変換装置では、効率よく、低メモリかつリアルタイム動作が可能であり、高精度に物体境界を自動的に分別可能であるため、様々なシーンにおいて自然で快適な３Ｄポップアウト効果が得られる。

（変形例１）
上記実施の形態では、領域抽出部１０が人物領域を抽出するとして説明したがそれに限られない。統計的に検出可能であれば人物に限られない。例えば猫、犬、鳥および食べ物を含むコンピュータで検出可能な物を人物領域の代わりに注目対象物として抽出すればよい。

その場合、具体的には、次の構成にすればよい。すなわち、領域抽出部１０は、対象領域検出部と、仮領域設定部と、領域決定部とを備え、２次元画像から、注目対象物のうち統計的に検出可能な領域である対象領域を検出し、検出した対象領域に基づいて、当該２次元画像の領域内の注目対象物領域を抽出するとすればよい。

ここで、対象領域検出部は、２次元画像における対象領域を検出し、仮領域設定部は、検出された対象領域の位置に基づいて、検出された対象領域の領域を含む注目対象物モデルの領域である仮注目対象物領域を設定する。領域決定部は、仮注目対象物領域の特徴と当該仮注目対象物領域に隣接する画素の特徴とに基づき、仮注目対象物領域範囲を更新することで、注目対象物領域を決定する。注目対象物は、猫、犬、鳥および食べ物を含むコンピュータで検出可能な物である。

また、この場合、平滑化処理部１２は、上記２次元画像の情報を用いて、奥行きマップ生成部により生成された奥行きマップにおける上記注目対象物領域のエッジの平滑化を行う。

なお、上記実施の形態と同様に３次元映像生成装置２および３次元映像生成装置３は、本変形例の領域抽出部１０を備える奥行き情報生成装置を備えるとしてもよい。その場合、受信部１５は、ユーザにより指定された指定データを受信する。ここで、指定データは、ユーザにより指定された注目対象領域を示している。領域抽出部１０は、その指定データに基づいて、指定された注目対象物領域から前記対象領域を検出する。つまり、対象領域検出部は、その指定データに基づいて、２次元画像における対象領域を検出して対象領域の位置を識別する。

また、例えば、奥行きマップ生成部１１では、付与部１１１は、対象領域検出部により検出された対象領域における、２次元画像に対するサイズおよび位置と、入力されるユーザによる指定データとに基づいて、領域抽出部１０により抽出された注目対象物領域の第１奥行き値を算出し、算出した第１奥行き値を当該注目対象物領域に付与する。合成部１１２は、仮領域設定部により設定された仮注目対象物領域に与えられていた第２奥行き値と第１奥行き値に合成することにより、当該注目対象物領域と当該注目対象物領域以外の領域とを分離する奥行きマップを生成する。

（変形例２）
上記実施の形態では、領域抽出部１０が、入力された２次元画像または入力された映像を構成する２次元画像から、人物の顔を検出し、検出した顔に基づいて、２次元画像の領域内の人物を示す人物領域を抽出するとして説明したがそれに限られない。

図１９〜図２１に示すように、領域抽出部１０が顔などの対象領域を検出する速度である検出速度を最適するために、入力された２次元画像または入力された映像を構成する２次元画像をダウンサンプリングするとしてもよい。

ここで、図１９〜図２１は、本発明の実施の形態の変形例２に係る奥行き情報生成装置の処理概要を説明するためのフローチャートである。なお、図２と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図１９は、領域抽出部１０に２次元画像が入力され、ダウンサンプリング後に顔領域を検出する場合の処理概要について示している。図２０は、領域抽出部１０に２次元画像が入力され、ダウンサンプリング後に犬、猫等の顔以外の対象領域を検出する場合の処理概要について示している。図２１は、領域抽出部１０に映像（映像を構成する２次元画像）が入力され、ダウンサンプリング後に顔検出する場合の処理概要について示している。

図１９は、図２に対して、ダウンサンプリング処理（Ｓ６００）が追加されている点が異なる。すなわち、Ｓ６００では、適切な顔のサイズのみを検出して検出速度を最適化するために、入力された２次元画像をダウンサンプリングする。ここで、例えば、入力された２次元画像の１６分の１のサイズにするなどのダウンサンプリング処理を行う。

続いて、Ｓ２１では、ダウンサンプリングされた２次元画像に対して、人物の顔検出アルゴリズムにより、メモリ１３に保存されている顔特徴パターンデータ１３１に基づいて顔検出される。

また、図２０は、図２に対して、ダウンサンプリング処理（Ｓ６００）が追加されている点と、検出対象が顔ではなく犬等の顔以外の対象領域である点が異なる。例えば、Ｓ６００では、適切な対象領域のサイズのみを検出して検出速度を最適化するために、入力された２次元画像をダウンサンプリングする。ここで、例えば、入力された２次元画像の１６分の１のサイズにするなどのダウンサンプリング処理を行う。

続いて、Ｓ２１ａでは、ダウンサンプリングされた２次元画像に対して、対象領域を検出するための検出アルゴリズムにより、Ｓ６０１でユーザにより入力された指定データに基づいて、対象領域が検出される。

また、図２１は、図２に対して、領域抽出部１０に映像（映像を構成する２次元画像）が入力され、ダウンサンプリング処理（Ｓ６００）が追加されている点が異なる。例えば、Ｓ６００では、適切な対象領域のサイズのみを検出して検出速度を最適化するために、入力された２次元画像をダウンサンプリングする。ここで、例えば、入力された２次元画像の１６分の１のサイズにするなどのダウンサンプリング処理を行う。

続いて、Ｓ２１ａでは、ダウンサンプリングされた２次元画像に対して、対象領域を検出するための検出アルゴリズムにより、Ｓ６０１でユーザにより入力された指定データに基づいて、対象領域が検出される。なお、領域抽出部１０に映像が入力される場合、常に顔検出できるとは限らないので、Ｓ６０３およびＳ６０４の処理で、人物領域の追跡（人物領域の時間的なマッチング）を行うことでその後生成される３Ｄ映像にフリッカーが生じないように手当する。Ｓ６０３およびＳ６０４の処理はＳ２１７およびＳ２１８等で説明したとおりであるので、説明を省略する。

以上、図２１に示すように、一定の場所の中での動作の一区切りの映像であるシーンの基本の奥行き構造を推定し、映像を構成する２次元画像から対象物を抽出して奥行き値を付与することによって奥行きマップを生成し、出力する。

（変形例３）
上記実施の形態では、まず、領域抽出部１０において、カラーヒストグラム等の色情報を用いて、２次元画像の人物領域と人物領域以外の領域（背景）と識別する。そして、識別した人物領域と背景とに異なる奥行き値を付与することで奥行きマップを生成することについて説明したが、それに限らない。さらに、背景または人物領域の３Ｄポップアップ効果（奥行き感）を向上するように、背景と人物領域とそれぞれに付与する奥行き値を、領域の特徴に応じて変化させてもよい。

図２２は、２次元画像の人物領域および背景について、色情報に基づいて異なる層に分割されるよう抽出する処理の例を示す図である。

人物領域などの注目対象物領域を２次元画像から抽出する方法を用いて、背景を示す平面から分離された注目対象物の奥行きを向上させるために追加の奥行き値を生成する。

例えば、図２２には、入力される２次元画像８１０において、色情報に基づいて人物領域および背景を異なる層に分割する場合の処理例を示している。

すなわち、まず、２次元画像８１０を、色情報に基づき４つの異なる画像平面に分割することによって、背景平面８２０（暗赤色を含む）と、髪平面８３０（黒色を含む）と、コーチ面８４０（黄色を含む）と、肌平面８５０（肌色）とを含む色平面層を取得する。

次に、取得した各平面層を互いに分離するために、取得した色平面層に対応する色モデル平面群８６０に対して異なる奥行き値を付与する。

本発明では、人物領域における３Ｄ効果を向上させるために人物領域の抽出を行って奥行きマップを生成する。そのため、本変形例では、肌色（赤の色モデル平面８７０／黄色の色モデル平面８７５）を他の色の領域より前にユーザが感じるように奥行き値を指定する。また、緑色の色モデル平面８８０、白黒色の色モデル平面８８５および青色の色モデル平面８９０を肌色の領域よりも後ろにユーザが感じるように奥行き値を指定する。このようにして、背景または人物領域の３Ｄポップアップ効果（奥行き感）を向上させることができる。ここで例えば、緑色の色モデル平面８８０、白黒色の色モデル平面８８５および青色の色モデル平面８９０など背景として指定する色モデル平面には＋１．５レベル、０および−１レベルの奥行き値が指定される。なお、このレベル値は入力パラメータに従って調整可能である。

（変形例４）
上記実施の形態では、本実施の形態に係る奥行き情報生成装置、奥行き情報生成方法を有するステレオ画像変換装置の例として、３次元映像生成装置２および３次元映像生成装置３について説明したがそれに限らない。

さらなる応用例として、上述した３次元映像生成装置２および３次元映像生成装置３を含む３Ｄ画像表示制御装置であっても本発明の範囲に含まれる。以下、それについて説明する。

図２３は、本発明の実施の形態の変形例４に係る３Ｄ画像表示制御装置の機能ブロック図を示す図である。

図２３に示す３Ｄ画像表示制御装置は、ディスクドライブ１０１１、チューナ１０１２、ネットワーク通信インターフェース１０１３、メモリ装置インターフェース１０１４、データ通信インターフェース１０１５、バッファメモリ（フレームメモリ）１０１６、ＨＤドライブ１０１７、フラッシュメモリ１０１９、およびＬＳＩ１０１８を備える。

ディスクドライブ１０１１は、光ピックアップを備え、光学ディスク１００４から３次元画像（３Ｄ画像）ストリームまたは２次元画像（２Ｄ画像）ストリームを読み込む。ディスクドライブ１０１１は、ＬＳＩ１０１８に接続されており、光学ディスク１０１４から２Ｄ画像ストリームまたは３Ｄ画像ストリームをＬＳＩ１０１８に送信する。ディスクドライブ１０１１は、ＬＳＩ１０１８からの制御に従って光学ディスク１００４からの２Ｄ画像ストリームまたは３Ｄ画像ストリームを読み込み、ＬＳＩ１０１８に送信する。

チューナ１０１２は、アンテナ１００５によって受信した２Ｄまたは３Ｄ画像ストリームを含む放送波を取得する。チューナ１０１２は、取得した放送波から、ＬＳＩ１０１８によって特定された周波数の２Ｄ画像ストリームまたは３Ｄ画像ストリームを抽出する。チューナ１０１２は、ＬＳＩ１０１８に接続され、抽出された２Ｄ画像ストリームまたは３Ｄ画像ストリームをＬＳＩ１０１８に送信する。

ネットワーク通信インターフェース１０１３は、ネットワークを介してサーバ１００３に接続してもよい。ネットワーク通信インターフェース１０１３は、サーバ１００３から送信された２Ｄまたは３Ｄ画像ストリームを取得する。

メモリ装置インターフェース１０１４は、メモリカード１００６が挿入されるように構成されており、挿入されたメモリカード１００６から３Ｄ画像ストリームまたは２Ｄ画像ストリームを読み取ることができる。メモリ装置インターフェース１０１４は、メモリカード１００６から読み込まれた２Ｄ画像ストリームまたは３Ｄ画像ストリームをＬＳＩ１０１８に送信する。

ＨＤドライブ１０１７は、ハードディスクなどの記録媒体を備えており、この記録媒体から読み込んだデータをＬＳＩ１０１８に送信する。ＨＤドライブ１０１７はＬＳＩ１０１８から受信したデータを記録媒体に記録する。

データ通信インターフェース１０１５は、ＬＳＩ１０１８から送信されたデータを外部の３Ｄ画像表示装置１００２に送信するインターフェースである。データ通信インターフェース１０１５は、データ信号および制御信号を３Ｄ画像表示装置１００２に送受信することができる。したがって、ＬＳＩ１０１８は、データ通信インターフェース１０１５を介して３Ｄ画像表示装置１００２を制御することができる。データ通信インターフェース１０１５は、たとえば、ＨＤＭＩコネクタ等により実現することができる。データ通信インターフェース１０１５は、データ信号を３Ｄ画像表示装置１００２に送信することができれば、どのような構成であってもよい。

ＬＳＩ１０１８は、３Ｄ画像表示制御装置の各セクションを制御するシステムコントローラである。ＬＳＩ１０１８は、マイクロコンピュータでも配線回路であってもよい。

ＣＰＵ１０８１、ストリームコントローラ１０８２、デコーダ１０８３、ＡＶ入出力回路１０８４、システムバス１０８５、およびメモリコントローラ１０８６が、ＬＳＩ１０１８に実装されている。

ＣＰＵ１０８１は、ＬＳＩ１０１８全体を制御する。ＬＳＩ１０１８の各セクションは、ＬＳＩ１０１８の制御など種々の制御を行う。ＣＰＵ１０８１は、外部との通信も制御する。

ＣＰＵ１０８１は、２Ｄ画像ストリームまたは３Ｄ画像ストリームをサーバ１００３から取得する際には、ディスクドライブ１０１１、チューナ１０１２、ネットワーク通信インターフェース１０１３、またはメモリ装置インターフェース１０１４に制御信号を送信する。そのため、ディスクドライブ１０１１、チューナ１０１２、ネットワーク通信インターフェース１０１３、およびメモリ装置インターフェース１０１４は、２Ｄ画像ストリームまたは３Ｄ画像ストリームを記録媒体、または放送局などから取得することができる。画像入力ストリームが２Ｄ画像である場合、ＩＲセンサを介してのユーザの制御に従って、ＣＰＵが３Ｄ画像プロセッサを制御して入力画像ストリームを３Ｄ画像に変換する。

ストリームコントローラ１０８２は、サーバ１００３、光学ディスク１００４、アンテナ１００５、メモリカード１００６、およびアクティブシャッターメガネ１００７でのデータの送受信を制御する。

デコーダ１０８３がメモリコントローラ１０８６からデータを取得する時、デコーダ１０８３が取得されたデータを復号する。デコーダ１０８３に入力されるデータは、ＣＰＵ１０８１の制御に基づいている。具体的には、ＣＰＵ１０８１がメモリコントローラ１０８６を制御して、メモリコントローラ１０８６が、バッファメモリ１０１６に記録された３Ｄ画像ストリームを読み込む。ＣＰＵ１０８１は、メモリコントローラ１０８６を制御して、メモリコントローラ１０８６が、バッファメモリ１０１６に記録された３Ｄ画像ストリームをデコーダ１０８３に送信する。したがって、２Ｄまたは３Ｄ画像ストリームはメモリコントローラ１０８６からデコーダ１０８３に入力される。

デコーダ１０８３は、２Ｄまたは３Ｄ画像ストリームに含まれる復号情報に基づいて、圧縮された２Ｄまたは３Ｄ画像ストリームを復号する。デコーダ１０８３は、復号情報をメモリコントローラ１０８６に送信する。メモリコントローラ１０８６は、取得した情報をバッファメモリ１０１６に記録する。

ＡＶ入出力回路１０８４は、バッファメモリ１０１６から情報を読み込み、２Ｄまたは３Ｄ画像表示装置１００２に表示される表示画像を生成する。ＡＶ入出力回路１０８４は、生成された表示画像を、データ通信インターフェース１０１５を介して２Ｄ画像ストリームまたは３Ｄ画像表示装置１００２に送信する。

３Ｄ画像プロセッサ１０１０は、上記の３次元映像生成装置２または３次元映像生成装置３に対応し、これらの機能が組み込まれ、入力された２Ｄ画像を３Ｄ画像に変換するために用いられる。具体的には３Ｄ画像プロセッサは、奥行き情報生成装置１およびレンダリング部１４の機能を備える。レンダリング部１４の機能は、上述したように、２Ｄ画像および奥行マップから３Ｄ画像を生成するために用いられる。

なお、３Ｄ画像プロセッサ１０１０、奥行き生成部モジュール１１１０、および内部のモジュールは、通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途集積回路）、ＬＳＩ（大規模集積回路）、ＤＳＰ（デジタルシグナルプロセッサ）の形で実現される。これらの各モジュールは、複数チップで構成されてもよいし、１チップで構成されてもよい。ここで用いた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩとも呼ばれることもある。さらに、集積化を達成する方法は、ＬＳＩのみではなく、専用回路または汎用プロセッサで実現してもよい。これには、プログラム命令により制御することができる、ＤＳＰ（デジタルシグナルプロセッサ）など、特化したマイクロプロセッサが含まれる。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）や、ＬＳＩの接続または構成を再構成可能なプロセッサを同じ用途に利用してもよい。将来的には、製造および処理技術が向上し、全く新しい技術がＬＳＩに取って代わるかもしれない。集積化はその技術によって行うことができる。

以上、本発明によれば、視聴者に違和感を与えない３Ｄポップアウトを表示するための奥行きマップを生成することができる奥行き情報生成装置、奥行き情報生成方法、ステレオ画像変換装置を実現することができる。

また、本発明によれば、映像を用いて奥行きマップを生成する場合、常に顔検出できるとは限らないので、人物領域の追跡（人物領域の時間的なマッチング）を行うことでその後生成される３Ｄ映像にフリッカーが生じないように手当する。

例えば、図２４は、人物領域の時間的なマッチングを行わない場合にフリッカーが生じることを示す図である。ここで、横軸には連続する２次元画像（フレーム）を示し、縦軸は、１または−１の値で顔検出が成功したかどうかを示している。図２４に示すように、人物領域の時間的なマッチングを行わない場合に、Ａ期間とＢ期間において、顔検出ができたフレーム（縦軸で１を示すフレーム）と検出できなかったフレーム（縦軸で−１を示すフレーム）の切り替わりが多いのがわかる。

それに対して、本発明のように人物領域の時間的なマッチングを行うことでその後生成される３Ｄ映像にフリッカーが生じないように手当すると、Ａ期間とＢ期間とにおいて、人物の特徴が類似している限りにおいては、顔検出できなかったフレームがなくなるので、３Ｄ映像においても、フリッカーを抑制することができる。

このように、本発明の奥行き情報生成装置、奥行き情報生成方法、ステレオ画像変換装置によれば、効率よく、低メモリかつリアルタイム動作が可能であり、高精度に物体境界を自動的に分別可能であるため、様々なシーンにおいて自然で快適な３Ｄポップアウト効果が得られる。

本発明の別の効果は、顔検出のみを用いて人物領域を得ることである。したがって、本発明は、特許文献３において開示された方法よりもメモリが少なくて済む。さらに、本発明はタイムラグが少なく、リアルタイムの用途に用いることができる。

なお、図２５は、本発明の奥行き情報生成方法をまとめたものであり、各要素については、上述したため、説明は省略する。図２５に示すように、任意の未知の２次元画像のコンテンツから、奥行きマップを自動的かつ適応的に生成することができる。

以上、本発明の奥行き情報生成装置、奥行き情報生成方法、ステレオ画像変換装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、次元画像（２Ｄ画像）中の奥行き情報（以下、奥行きマップと記載）を生成し、生成した奥行きマップを用いて、３次元画像やマルチビュー画像などのステレオ画像を生成する奥行き情報生成装置、奥行き情報生成方法、ステレオ画像変換装置に利用できる。

１ 奥行き情報生成装置
１Ａ 最小構成部
２、３ ３次元映像生成装置
１０ 領域抽出部
１１ 奥行きマップ生成部
１２ 平滑化処理部
１３、１３１、１３２、１３２ａ、１３２ｂ、１３３、１３４、１３５、１３６ メモリ
１４ レンダリング部
１５ 受信部
１０３ 人物領域決定部
１０４ 特徴抽出部
１０５ 領域調整部
１０６ 領域決定部
３２０、４５０、４６０ 仮人物領域
３２５ 境界形状
３３０ 上部
３３５、３４５ 下部
３４０、３５０、４３０、４７０ 人物領域
３５５ 人物領域奥行きマップ
３６０、３７０ 背景奥行き情報
４１０、４４０、６１０、６１５、９１０ 先行フレーム
４２０、６２５ 対象フレーム
５４０、５５０、５６０ ヒストグラム
６００ ３次元画像グリッド
６２０、８１０ ２次元画像
６４０、６４５、６５０、６５５ ノード
６６５ 画素
８２０ 背景平面
８３０ 髪平面
８４０ コーチ面
８５０ 肌平面
８６０ 色モデル平面群
８７０、８７５、８８０、８８５、８９０ 色モデル平面
１０１１ ディスクドライブ
１０１２ チューナ
１０１３ ネットワーク通信インターフェース
１０１４ メモリ装置インターフェース
１０１５ データ通信インターフェース
１０１６ バッファメモリ
１０１７ ＨＤドライブ
１０１８ ＬＳＩ
１０１９ フラッシュメモリ
１０８１ ＣＰＵ
１０８２ ストリームコントローラ
１０８３ デコーダ
１０８４ ＡＶ入出力回路
１０８５ システムバス
１０８６ メモリコントローラ

Claims (16)

1. ２次元画像から、人物の顔を検出し、予め保持している複数の人物プレマスクのうち、検出した前記顔の領域に適合する人物プレマスクを用いて、当該２次元画像の領域内の前記人物の領域を示す人物領域を抽出する領域抽出部と、
   抽出された前記人物領域に、当該人物領域以外の領域の奥行き値とは異なる奥行き値を付与することで、前記人物領域と当該人物領域以外の領域とを分離するための奥行きマップを生成する生成部とを備え、
   前記人物プレマスクは、顔の領域である顔領域と前記顔領域以外の領域である身体領域とからなる、
   奥行き情報生成装置。
2. 前記領域抽出部は、
   前記２次元画像における人物の顔を検出する検出部と、
   検出された前記人物の領域に適合する顔領域を有する前記人物プレマスクを仮人物領域として設定する仮領域設定部と、
   前記仮人物領域の特徴と当該仮人物領域に隣接する画素の特徴とに基づき、前記人物領域を決定する人物領域決定部とを備える、
   請求項１に記載の奥行き情報生成装置。
3. 前記人物領域決定部は、
   前記仮人物領域内の特徴と当該仮人物領域に隣接する画素の特徴を抽出する特徴抽出部と、
   前記特徴抽出部により抽出された前記仮人物領域の特徴と当該仮人物領域に隣接する画素の特徴とに基づいて、前記仮人物領域の範囲を調整する領域調整部と、
   前記領域調整部により調整された仮人物領域範囲を前記人物領域と決定する領域決定部とを備える、
   請求項２に記載の奥行き情報生成装置。
4. 前記特徴抽出部は、
   前記仮人物領域の特徴として、前記仮人物領域内のカラーヒストグラムを算出するヒストグラム算出部と、
   当該仮人物領域に隣接する画素を選択する画素選択部と、
   当該仮人物領域に隣接する画素の特徴として、前記画素選択部により選択された画素の色情報を算出する色情報算出部とを備える、
   請求項３に記載の奥行き情報生成装置。
5. 前記領域調整部は、
   前記色情報算出部により算出された画素の色情報と前記ヒストグラム算出部により算出されたカラーヒストグラムとを比較する比較部と、
   当該画素の色が前記ヒストグラム算出部により算出されたカラーヒストグラムに含まれる色である場合、当該画素が前記人物領域に含まれるとして、前記仮人物領域の範囲を拡大するよう前記仮人物領域を更新し、
   当該画素の色が、前記カラーヒストグラムに含まれる色でない場合には、当該画素は前記人物領域に含まれないとして、前記仮人物領域を更新しない領域範囲更新部とを備える、
   請求項３または４に記載の奥行き情報生成装置。
6. 前記生成部は、
   前記検出部により検出された顔の領域における、前記２次元画像に対するサイズおよび位置に基づいて、前記領域抽出部により抽出された人物領域の第１奥行き値を算出し、算出した第１奥行き値を当該人物領域に付与する付与部と、
   前記仮領域設定部により設定された仮人物領域に与えられていた第２奥行き値を第１奥行き値に合成することにより、当該人物領域と当該人物領域以外の領域とを分離する奥行きマップを生成取得する合成部とを備える、
   請求項２〜５のいずれか１項に記載の奥行き情報生成装置。
7. さらに、前記２次元画像の情報を用いて、前記生成部により生成された奥行きマップにおける前記人物領域のエッジの平滑化を行う平滑化処理部を備える、
   請求項１〜６のいずれか１項に記載の奥行き情報生成装置。
8. 前記平滑化処理部は、
   前記２次元画像のピクセル強度に基づき算出された重み付け関数に基づいて、前記２次元画像と、前記生成部により生成された奥行きマップとを用いて、前記奥行きマップを空間的にフィルタリングすることにより、前記奥行きマップにおける前記人物領域のエッジを平滑化する、
   請求項７に記載の奥行き情報生成装置。
9. 前記平滑化処理部は、
   前記２次元画像のうち対象フレームおよび先行フレームの画像データのピクセル強度とピクセル強度の差分とに基づき算出された重み付け関数に基づいて、前記２次元画像のうち対象フレームおよび先行フレームと、前記生成部により生成された奥行きマップとを用いて、前記奥行きマップを空間的かつ時間的にフィルタリングすることにより、前記奥行きマップにおける前記人物領域のエッジを平滑化する、
   請求項７に記載の奥行き情報生成装置。
10. 請求項１〜９のいずれか１項に記載の奥行き情報生成装置と、
    前記奥行き情報生成装置により生成された奥行きマップを用いて、前記２次元画像を、前記２次元画像に対応するステレオ画像に変換するレンダリング部とを備える、
    ステレオ画像変換装置。
11. ２次元画像から、注目対象物のうち統計的に検出可能な領域である対象領域を検出し、予め保持している複数のプレマスクのうち、検出した前記対象領域に適合するプレマスクを用いて、当該２次元画像の領域内の注目対象物領域を抽出する領域抽出部と、
    抽出された前記注目対象物領域に、当該注目対象物領域以外の領域の奥行き値とは異なる奥行き値を付与することで、当該注目対象物領域と当該注目対象物領域以外の領域とを分離するための奥行きマップを生成する生成部とを備え、
    前記プレマスクは、対象物の領域と当該対象物の領域以外の領域とからなり、
    前記領域抽出部は、
    前記２次元画像における対象領域を検出する検出部と、
    前記検出された対象領域に適合する対象物の領域を有する前記プレマスクを、仮注目対象物領域として設定する仮領域設定部と、
    前記仮注目対象物領域の特徴と当該仮注目対象物領域に隣接する画素の特徴とに基づき、前記仮注目対象物領域範囲を更新することで、注目対象物領域を決定する注目対象物領域決定部とを備え、
    前記生成部は、
    前記検出部により検出された対象領域における、前記２次元画像に対するサイズおよび位置と、入力される前記指定データとに基づいて、前記領域抽出部により抽出された注目対象物領域の第１奥行き値を算出し、算出した第１奥行き値を当該注目対象物領域に付与する付与部と、
    前記仮領域設定部により設定された仮注目対象物領域に与えられていた第２奥行き値を第１奥行き値に合成することにより、当該注目対象物領域と当該注目対象物領域以外の領域とを分離する奥行きマップを生成する合成部とを備える、
    奥行き情報生成装置。
12. 前記注目対象物は、猫、犬、鳥および食べ物を含むコンピュータで検出可能な物である、
    請求項１１に記載の奥行き情報生成装置。
13. さらに、前記２次元画像の情報を用いて、前記生成部により生成された奥行きマップにおける前記注目対象物領域のエッジの平滑化を行う平滑化処理部を備える、
    請求項１１または１２に記載の奥行き情報生成装置。
14. さらに、ユーザにより指定データを受信する受信部を備え、
    前記指定データは、ユーザにより指定された注目対象領域を示しており、
    前記領域抽出部は、前記指定データに基づいて、指定された注目対象物領域から前記対象領域を検出する、
    請求項１１〜１３のいずれか１項に記載の奥行き情報生成装置。
15. 前記検出部は、前記指定データに基づいて、前記２次元画像における対象領域を検出して対象領域の位置を識別する、
    請求項１４に記載の奥行き情報生成装置。
16. ２次元画像から、人物の顔を検出し、予め保持している複数の人物プレマスクのうち、検出した前記顔の領域に適合する人物プレマスクを用いて、当該２次元画像の領域内の人物の領域を示す人物領域を抽出する領域抽出ステップと、
    抽出された前記人物領域に、当該人物領域以外の領域の奥行き値とは異なる奥行き値を付与することで、人物領域と当該人物領域以外の領域とを分離するための奥行きマップを生成する生成ステップとを含み、
    前記人物プレマスクは、顔の領域である顔領域と前記顔領域以外の領域である身体領域とからなる、
    奥行き情報生成方法。

Images