JP5132754B2 - 画像処理装置、方法およびそのプログラム - Google Patents

Description

本発明の実施の形態は、画像処理装置、方法およびプログラムに関する。

従来、２次元画像を３次元表示するために、２次元画像に対して奥行きの情報を付加する技術が存在する。この従来技術の一つでは、たとえば２次元画像の上部および下部の高周波成分の分布から、あらかじめ用意しておいた奥行きのモデルとの合成比率を算出し、この算出結果から画像全体の大まかな奥行きを求める。また、大まかな奥行きに２次元画像中のＲ信号を重畳することで、奥行きを補正することも考えられている。

特表２００８−５３５１１６号公報

以下の実施の形態では、２次元画像からより正確な奥行きを生成することが可能な画像処理装置、方法およびプログラムを開示する。

実施の形態による画像処理装置は、画像に含まれる物体を検出する検出部と、検出された前記物体の性質に応じて前記物体の奥行きの情報のベースとするデプスモデルを選択する選択部と、検出された前記物体の領域を前記画像から区分するセグメント部と、前記画像の奥行きを表現するデプスマップを生成するデプスマップ生成部とを備え、前記デプスマップ生成部は、前記画像中の検出された前記物体の位置に対応する前記デプスマップ上の位置に、前記デプスモデルを配し、配された前記デプスモデルの領域と前記物体の領域とを比較し、互いに重なり合わない位置に対して、補正後の奥行値を与える。

実施の形態１による画像処理装置の概略構成図。 実施の形態１によるデプスマップ生成部の一例を示す図。 実施の形態１による画像処理方法の概略流れを示す図。 入力画像に対するデプスマップを生成する際の流れを示す概略図。 図４（ｆ）の拡大図。 変形例１によるデプスマップ生成部の一例を示す図。 変形例１による画像処理方法の概略流れを示す図。 入力画像に対するデプスマップを生成する際の流れを示す概略図。 実施の形態２による画像処理装置の概略構成図。 実施の形態２による画像処理方法の概略流れを示す図。 入力画像に対するデプスマップを生成する際の流れを示す図。 実施の形態３による画像処理装置の概略構成図。 実施の形態３による画像処理方法の概略流れを示す図。 入力画像に対するデプスモデルを生成する際の流れを示す図。

以下、例示する実施の形態にかかる画像処理装置、方法およびそのプログラムについて、図面を参照して詳細に説明する。

＜実施の形態１＞
まず、実施の形態１にかかる画像処理装置、方法およびそのプログラムについて、図面を参照して詳細に説明する。以降の説明では、以下の事項（１）〜（４）を前提とする。ただし、本開示は、これらの事項に限定されるものではない。

（１）画像の左上隅を原点とし、横方向（水平方向）をｘ軸、縦方向（垂直方向）をｙ軸とする。ただし、画像に対して設定される座標系は、これに限られるものではない。また、画像中の座標（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）と表す。ここで画素値Ｐは、画素の明るさまたは色成分を表すものであればよい。このような画素値Ｐには、たとえば輝度、明度、特定の色チャンネルなどが該当する。

（２）デプスマップは、画像の奥行きを表現するデータである。このデプスマップは、マップの左上隅を原点とし、横方向（水平方向）をＸ軸、縦方向（垂直方向）をＹ軸とする。ただし、デプスマップに対して設定される座標系は、これに限られるものではない。また、デプスマップ中の座標（Ｘ，Ｙ）での画素値をＺ（Ｘ，Ｙ）と表す。この画素値Ｚは、画素ごとの奥行きを示す情報（奥行き情報）である。たとえば画素値Ｚが大きいほど、その画素の奥行き（デプス）が大きい。

（３）画像中の座標とデプスマップ中の座標とは、１対１に対応する。本開示では、特に記述しない限り、画像のサイズとデプスマップのサイズとは等しい。また、画像の座標（ｘ，ｙ）とデプスマップの座標（Ｘ，Ｙ）とは、互いに対応している。すなわち、ｘ＝Ｘ、ｙ＝Ｙが成立する。

（４）本開示において特に記述しない場合、画像の画素値Ｐを「画素値」と記述し、その値域を［０，２５５］（０以上２５５以下）とする。さらに、デプスマップの画素値Ｚを「奥行値」と記述し、その値域を［０，２５５］（０以上２５５以下）とする。

つぎに、本実施の形態１による画像処理装置１を、図面を用いて詳細に説明する。図１は、本実施の形態１による画像処理装置１の概略構成を示す。図１に示すように、画像処理装置１は、ベースデプス入力部１１と、検出部１２と、選択部１３と、セグメント部１４と、デプスマップ生成部１５とを備える。また、画像処理装置１は、ベースデプス記憶部１６と、デプスモデル記憶部１７とを備えてもよい。

画像処理装置１には、２次元画像（以下、入力画像という）が入力される。入力画像の入力元には、あらゆる機器または媒体を適用することができる。たとえばハードディスクドライブ（ＨＤＤ）やＤＶＤ−ＲＯＭやフラッシュメモリなどの記録媒体から画像データを入力できるとよい。また、ネットワークを介して接続された録画機やデジタルカメラやデジタルビデオカメラなどの外部装置から画像データを入力できるとよい。さらに、画像処理装置１には、無線または有線でテレビジョン放送を受信する受信機から画像データが入力されてもよい。

さらに、入力画像１００の形式は２Ｄ画像でなくてもかまわない。例えば、サイドバイサイド形式やラインバイライン形式等といったステレオ画像でもよいし、多視点形式の画像を入力としてもよい。この場合、どれか１つの視点の画像を処理対象の画像としてあつかう。

ベースデプス入力部１１は、入力画像と同サイズのマップ全体の画素に奥行値Ｚが設定されたベースデプスを入力する。ベースデプスとは、たとえば奥行きを持つ３次元の空間構造をデータ化したものである。ベースデプスに含まれる奥行き情報は、たとえば画素ごとに数値（奥行値Ｚ）で表されている。このようなベースデプスは、入力画像に対するデプスマップを作成する際に奥行きの下地データとして用いることができる。ベースデプスは、たとえばベースデプス記憶部１６に記憶されていてもよい。また、ベースデプス記憶部１６は、たとえば１つ以上のパターンのベースデプスをテンプレートとしてあらかじめ記憶しているとよい。ベースデプス入力部１１は、たとえば入力画像を解析することで、この入力画像に対して適したベースデプスのテンプレートを特定し、これをベースデプス記憶部１６から取得する。

ベースデプスの特定は、たとえば入力画像から特定または推定された空間的構造に基づいて行うことができる。この特定方法では、たとえば入力画像における地面または床面の領域や空または天井の領域などから入力画像の空間的構造を特定または推定する。つぎに、この空間的構造に適したベースデプスをベースデプス記憶部１６から特定する。ただし、この特定方法に限らず、種々の方法を用いてベースデプスを取得することが可能である。

ただし、これに限定されず、全体的に一様な奥行値Ｚのベースデプスを用いてもよい。この場合、設定する奥行値Ｚは、最も奥を示す奥行値Ｚや、後述する補正デプスマップ（図４（ｇ）参照）内の画素の奥行値Ｚの最大値よりも大きいことを条件としてランダムに生成した奥行値Ｚなど、種々変形することができる。

検出部１２は、入力画像内に存在する物体を検出する。なお、物体の検出では、物体の位置および領域（形状や大きさ等）のほかに、物体の種類などを検出してもよい。この物体の検出には、一般に知られている方法などを用いてよい。既存の検出方法には、たとえば物体検出用の識別器を用いて入力画像から物体を識別する方法などがある。ただし、これに限定されず、種々の検出方法を適用可能である。また、検出部１２は、物体を複数の領域に区分した区分物体領域を検出してもよい。これには、たとえば物体をオブジェクト単位に区分するなどの方法が考えられる。

選択部１３は、複数のデプスモデルの集合であるデプスモデル群から、検出部１２で検出された物体（以下、検出物体という）に対応するデプスモデルを１つ選択する。なお、デプスモデルとは、物体の奥行き情報をあらかじめモデル化したものである。デプスモデルでは、たとえば人や動物や乗り物や建物や草木などの物体の一方向から見た立体的な形状が奥行きの情報で表されている。また、デプスモデル群には、たとえば様々な種類の物体についてのデプスモデルだけでなく、個々の物体についての様々な形状のデプスモデルが含まれているとよい。このデプスモデル群は、たとえばデプスモデル記憶部１７に記憶されている。

セグメント部１４は、検出物体の領域（以下、物体領域という）を入力画像から区分する。例えば、セグメント部１４は、物体領域にフラグを立てることにより、物体領域を入力画像から区分してよい。デプスマップ生成部１５は、ベースデプスとデプスモデルと物体領域とから、入力画像の奥行きの情報を示すデプスモデルを生成する。ここで、デプスマップ生成部１５の一例を、図２に示す。

図２に示すように、デプスマップ生成部１５は、デプスモデル補正部１５１と、デプスマップ合成部１５２とを含む。デプスモデル補正部１５１は、選択部１３で選択されたデプスモデルを、セグメント部１４で作成された物体領域に基づいて補正する。補正の詳細については、後述において触れる。また、以下では、補正後のデプスモデルを補正デプスモデルという。デプスマップ合成部１５２は、デプスモデル補正部１５１で生成された補正デプスモデルと、ベースデプス入力部１１が入力したベースデプスとを合成することで、入力画像に付与する１つのデプスマップを生成する。

つぎに、画像処理装置１が実行する画像処理方法の流れを、以下に図面を用いて詳細に説明する。図３は、本実施の形態１による画像処理方法の概略流れを示すフローチャートである。図４は、入力画像に対するデプスマップを生成する際の流れを示す概略図である。図５は、図４（ｆ）の拡大図である。なお、以下の説明では、図３のフローチャートに沿って説明し、適宜、図４および図５を参照する。また、以下の説明では、例として入力画像に１人の人物が含まれている場合を例に挙げる。ただし、人物に限らず、人や動物や乗り物や建物や草木など、デプスモデルの生成と画像からの物体領域の区分とが可能な全ての物体が対象となり得る。また、２次元画像内に複数の物体が存在する場合や、複数種類の物体が存在する場合に対しても、本実施の形態１と適用可能である。

図３に示すように、画像処理方法では、外部から画像処理装置１に２次元画像が入力される（ステップＳ１０１）。図４（ａ）に、入力画像の一例を示す。図４（ａ）に示すように、入力画像１００には、一人の人物が物体１０１として写されているとする。この入力画像１００は、たとえば検出部１２とセグメント部１４とに入力される。

また、ベースデプス入力部１１は、入力画像１００が入力されると、この入力画像１００に付与するベースデプスを入力する（ステップＳ１０２）。入力されるベースデプスは、たとえば入力画像１００の空領域や地面領域から推定される空間構造に最も近しい奥行き構造のベースデプスを、ベースデプス記憶部１６に記憶された複数のテンプレートから選択されてもよい。ここで、入力されたベースデプス１４０の一例を、図４（ｈ）に示す。なお、図４では、ハッチングが濃い程、奥行きが浅いことを示している。

また、検出部１２は、入力画像１００を解析することで、これに写されている物体の１００の性質を表す物体情報を検出する。（ステップＳ１０３）。物体情報は、例えば、物体１０１の位置（たとえば基準とする座標）、領域（形状や大きさ等）および種類など（以下、物体情報という）を含む。入力画像１００に複数の物体が含まれている場合は、それぞれの物体について物体情報を検出する。物体の検出には、一般的な方法を用いてよい。たとえば物体１０１が人物である場合、顔検出や人物検出などの方法を用いることができる。ここでは、図４（ｂ）に示すように、顔検出により、入力画像１００の顔の中心座標（ＸＦ，ＹＦ）と顔の幅ＷＦとを物体情報として得た場合を例示する。物体１０１に対して検出された中心座標（ＸＦ，ＹＦ）は、物体１０１の基準座標として扱われる。なお、入力画像１００中に物体が複数ある場合、検出された物体ごとに物体情報を生成し、これらをまとめて物体情報群として不図示のメモリ等に保持しておくとよい。

物体１０１の物体情報は、選択部１３に入力される。選択部１３は、物体情報における形状や種類などから、物体１０１に適したデプスモデルをデプスモデル記憶部１７内のデプスモデル群から選択する（ステップＳ１０４）。図４（ｃ）に、物体１０１の物体情報から選択されたデプスモデル１２０の一例を示す。図４（ｃ）に示すように、選択されたデプスモデル１２０に対しては、物体１０１の中心座標（ＸＦ，ＹＦ）に相当する位置に、基準座標（ＸＦ，ＹＦ）が設定される。ここで、選択されるデプスモデルの大きさは、物体領域の大きさに近い必要はない。すなわち、選択されるデプスモデルは、物体領域に近い形状であればよい。選択したデプスモデルと物体領域との大きさが異なる場合、物体情報中の大きさに基づいて、デプスモデルを拡大または縮小すればよい。図４（ｃ）に示す例では、デプスモデルの顔幅が、物体情報中の幅ＷＦと一致するように、デプスモデルが拡大または縮小される。なお、入力画像１００中に物体が複数ある場合、選択部１３は、個々の物体に対してデプスモデルを選択し、選択したデプスモデルそれぞれに位置および大きさを設定する。この場合、選択部１３は、複数のデプスモデルを選択し、これらをまとめてデプスモデル群として不図示のメモリ等に保持しておくとよい。

また、物体情報は、上述のように、セグメント部１４にも入力される。セグメント部１４は、物体情報に基づいて、入力画像１００から物体１０１の領域（物体領域）を区分する（ステップＳ１０５）。物体領域の区分には、一般的なセグメント技術を用いることができる。図４（ｄ）に、区分した物体領域１１０の一例を示す。図４（ｄ）に示すように、セグメント技術を用いることで、たとえば人物の物体１０１であれば、その手足や帽子なども含めた物体領域１１０を区分することができる。区分した物体領域１１０には、物体１０１の中心座標（ＸＦ，ＹＦ）に相当する位置に、基準座標（ＸＦ，ＹＦ）が設定される。なお、物体領域１１０は、すくなくとも物体１０１の輪郭部分の情報を含んでいればよい。また、入力画像１００中に複数の物体がある場合、検出された物体ごとに物体情報を生成し、これらをまとめて物体情報群として不図示のメモリ等に保持しておくとよい。さらに、セグメント部１４は、物体１０１に対して予め手入力されたセグメント領域を物体領域１１０として使用してもよい。

選択されたデプスモデル１２０および区分された物体領域１１０は、デプスマップ生成部１５に入力される。デプスマップ生成部１５では、まず、デプスモデル補正部１５１が、入力されたデプスモデル１２０と物体領域１１０とを重畳する（ステップＳ１０６）。図４（ｅ）に示すように、デプスモデル１２０と物体領域１１０とは、たとえばデプスモデル１２０に設定された基準座標（ＸＦ，ＹＦ）と物体領域１１０に設定された基準座標（ＸＦ，ＹＦ）とが一致するように重畳される。

つづいて、デプスモデル補正部１５１は、図４（ｆ）に示すように、デプスモデル１２０の画素のうち物体領域１１０外に位置する画素をデプスモデル１２０から消去し（ステップＳ１０７）、また、物体領域１１０内であるがデプスモデル１２０には無い画素をデプスモデル１２０に追加する（ステップＳ１０８）ことで、デプスモデル１２０を補正する。ここで、デプスモデル１２０の補正を、図４（ｆ）の拡大図である図５を参照しつつ説明する。この補正では、図５に示すように、デプスモデル１２０のみの領域１２１内の画素を消去し（ステップＳ１０７）、物体領域１１０のみの領域１１１に画素を追加する（ステップＳ１０８）。追加する画素の奥行値Ｚは、たとえば以下のような値に設定することができる。ただし、以下に例示するものに限定されず、補正後のデプスモデルを視覚的に表示した際に違和感の無いもしくは少ない奥行きを追加の画素に与えることが可能な奥行値であれば如何様にも変形できる。なお、以下において近傍とは、ある位置に対してたとえば周囲数〜数十画素以内の領域を指す。
（１）追加する画素の位置（補正位置）から最も近い位置にあるデプスモデル１２０中の画素の奥行値Ｚ
（２）デプスモデル１２０中の画素であって、追加する画素の位置（補正位置）から最も近い位置の近傍ｎ（ｎは自然数）個の画素の奥行値Ｚの平均値
（３）デプスモデル１２０中の画素であって、追加する画素の位置から最も近い位置の近傍ｎ個の画素の奥行値Ｚの最大値
（４）デプスモデル１２０の画素の画素値Ｚのうちの最大値

以上のようなデプスモデルの補正を行うことで、図４（ｇ）に示すような補正デプスモデル１３０が生成される。この補正デプスモデル１３０は、デプスマップ合成部１５２に入力される。デプスマップ合成部１５２には、上述したように、ベースデプス入力部１１からベースデプス１４０（図４（ｈ）参照）も入力される（Ｓ１０２）。

デプスマップ合成部１５２は、ベースデプス１４０の座標系と補正デプスモデル１３０の基準座標（ＸＦ，ＹＦ）とに基づいて、ベースデプス１４０と補正デプスモデル１３０とを合成することで、図４（ｉ）に示すように、入力画像１００に対するデプスマップ１５０を生成する（ステップＳ１０９）。なお、ベースデプス１４０と補正デプスモデル１３０との合成では、ベースデプス１４０中の画素が補正デプスマップ１３０の画素に置き換えられる。ただし、これに限定されず、たとえばベースデプス１４０と補正デプスモデル１３０とで対応する画素において、より手前にある画素、すなわち奥行値Ｚが小さい画素の画素値Ｚを用いるようにしてもよい。

以上のようにして生成されたデプスマップ１５０は、デプスマップ生成部１５から表示装置などの所定の外部装置へ出力される（ステップＳ１１０）。これにより、１つの入力画像１００に対してデプスマップ１５０を生成する画像処理方法が終了する。

以上のように、本実施の形態１によれば、２次元画像内の人物などの物体の形状が予め用意しておいたデプスモデルと異なる場合でも、物体に対してより的確なデプスモデルを生成することが可能となる。この結果、２次元画像からより正確な奥行きの構造（デプスマップ）を生成することが可能となる。

また、本実施の形態１で生成された奥行きに基づいて、入力画像１００の各画素のシフト量を求め、入力画像１００をシフトさせることにより、入力画像１００とは別の視点から観測した画像を生成することができる。そこで、２視点またはそれ以上の数の視点から観測した多視点画像を入力画像１００から生成し、それらを立体映像表示用の表示装置に表示することにより立体視が可能となる。入力画像１００とは別の視点から観測した画像は、たとえば別の視点に基づいたレンダリングにより生成することができる。

（デプスマップ生成部の変形例１）
なお、実施の形態１では、物体１０１に対して選択したデプスモデル１２０を物体領域１１０に基づいて補正することで、物体に対してより的確な補正デプスモデル１３０を生成した。ただし、これに限定されず、たとえば入力画像１００中の物体１０１に対してデプスモデル１２０を付与した後に、物体１０１の奥行きを物体領域１１０に基づいて補正することでも、同様の効果を得ることができる。この場合、図１におけるデプスマップ生成部１５は、たとえば図６に示すように構成される。

図６に示すように、本変形例１によるデプスマップ生成部１５は、デプスモデル合成部１５３と、デプスマップ補正部１５４とを含む。デプスモデル合成部１５３には、選択部１３から出力されたデプスモデル１２０と、ベースデプス入力部１１から出力されたベースデプス１４０とが入力される。デプスモデル合成部１５３は、ベースデプス１４０とデプスモデル１２０とを合成することで、プレデプスマップを生成する。デプスマップ補正部１５４には、物体領域１１０とプレデプスマップとが入力される。デプスマップ補正部１５４は、物体領域１１０に基づいてプレデプスマップ中のデプスモデル１２０を補正する。これにより、実質的にベースデプス１４０に補正デプスモデル１３０が合成されたデプスマップ１５０が生成される。

つぎに、本変形例１による画像処理方法の流れを、以下に図面を用いて詳細に説明する。図７は、本変形例１による画像処理方法の概略流れを示すフローチャートである。図８は、入力画像に対するデプスマップを生成する際の流れを示す概略図である。なお、以下の説明において、実施の形態１と同様の構成については、適宜それを参酌する。

図７に示すように、本変形例１による画像処理方法では、図３のステップＳ１０１〜Ｓ１０５に示した工程と同様の工程を経ることで、ベースデプス１４０とデプスモデル１２０と物体領域１１０とを取得する（図８（ａ）〜図８（ｄ）および図８（ｅ）参照）。ベースデプス１４０とデプスモデル１２０と物体領域１１０とは、上述のように、デプスマップ生成部１５に入力される。

つぎに、本変形例１では、デプスマップ生成部１５のデプスモデル合成部１５３が、ベースデプス１４０の座標系とデプスモデル１２０の基準座標（ＸＦ，ＹＦ）とに基づいて、ベースデプス１４０とデプスモデル１２０とを合成する（ステップＳ１１１）。これにより、図８（ｆ）に示すように、ベースデプス１４０にデプスモデル１２０が重畳されたプレデプスマップ１４１が生成される。なお、ベースデプス１４０と補正デプスモデル１３０との合成方法は、上述のベースデプス１４０と補正デプスモデル１３０との合成と同様である。

プレデプスマップ１４１は、物体領域１１０とともに、デプスマップ補正部１５４に入力される。デプスマップ補正部１５４は、図８（ｇ）に示すように、プレデプスマップ１４１の座標系と物体領域１１０の基準座標（ＸＦ，ＹＦ）とに基づいて、プレデプスマップ１４１に物体領域１１０を重畳する（ステップＳ１１２）。

つづいて、デプスマップ補正部１５４は、図８（ｈ）に示すように、プレデプスマップ１４１中の物体領域１１０外の画素の奥行値Ｚを、ベースデプス１４０中の対応する画素の奥行値Ｚに置き換え（ステップＳ１１３）、また、プレデプスマップ１４１中の物体領域１１０内であるがデプスモデル１２０には無い画素の奥行値Ｚを補正する（ステップＳ１１４）。これにより、プレデプスマップ１４１中のデプスモデル１２０が補正デプスモデル１３０に補正され、図８（ｉ）に示すように、ベースデプス１４０と補正デプスモデル１３０とが合成されたデプスマップ１５０が生成される。なお、補正する画素の奥行値Ｚは、図３のステップＳ１０８で追加する画素の奥行値Ｚと同様に設定することができる。また、以上のようにして生成されたデプスマップ１５０は、図３のステップＳ１１０と同様、デプスマップ生成部１５から表示装置などの所定の外部装置へ出力される。これにより、１つの入力画像１００に対してデプスマップ１５０を生成する画像処理方法が終了する。

以上のように、たとえば入力画像１００中の物体１０１に対してデプスモデル１２０を付与した後に、デプスモデル１２０を物体領域１１０に基づいて補正することでも、実施の形態１と同様の効果を得ることができる。なお、その他の構成、動作および効果は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。

＜実施の形態２＞
つぎに、実施の形態２にかかる画像処理装置、方法およびそのプログラムについて、図面を参照して詳細に説明する。以下の説明において、実施の形態１またはその変形例と同様の構成には、同一の符号を付し、その重複する説明を省略する。

図９は、本実施の形態２による画像処理装置２の概略構成を示す。図９と図１とを比較すると明らかなように、画像処理装置２（図９）は、画像処理装置１（図１）と同様の構成を備える。ただし、画像処理装置２では、画像処理装置１におけるベースデプス入力部１１がベースデプス生成部２１に置き換えられるとともに、ベースデプス記憶部１６が省略されている。

ベースデプス生成部２１には、入力画像が入力される。ベースデプス生成部２１は、入力画像からベースデプスを生成する。ベースデプスの生成には、既知の技術を用いてもよい。ただし、ベースデプスの生成に用いる技術は、画像の構図や画像中の物体の動きなどを解析して、画像全体に対するベースデプスを生成する技術が好ましい。そこで、ベースデプス生成部２１は、たとえば入力画像における地面または床面の領域（以下では地面領域とする）や空または天井の領域（以下では空領域とする）などから入力画像の空間的構造を特定または推定し、この推定された空間的構造に基づいてベースデプスを生成する。なお、地面領域や空領域の検出は、一般に知られている方法などを用いればよい。既知の検出方法には、たとえばそれぞれの領域について識別器を用いる方法などがある。また、その他にも、入力画像中の立体物と空と地面との３種類のうち２種類の領域についての検出を行い、残った領域を残りの種類の領域とする方法などが考えられる。この場合、領域を４種類以上に分類するのであれば、１種類を残して他の種類の領域を検出することとなる。なお、ベースデプス生成部２１が生成したベースデプスは、実施の形態１またはその変形例と同様、デプスマップ生成部１５に入力され、デプスマップの生成に使用される。

つぎに、本実施の形態２による画像処理方法の流れを、以下に図面を用いて詳細に説明する。図１０は、本実施の形態２による画像処理方法の概略流れを示すフローチャートである。図１１は、入力画像に対するデプスマップを生成する際の流れを示す概略図である。なお、以下の説明において、実施の形態１またはその変形例と同様の構成については、適宜それを参酌する。

図１０に示すように、本実施の形態２による画像処理方法では、外部から画像処理装置２に、図１１（ａ）に示すような入力画像２００が入力されると（ステップＳ１０１）、ベースデプス生成部２１は、入力画像２００を解析し、その結果に基づいて図１１（ｈ）に示すようなベースデプス２４０を生成する（ステップＳ２０２）。その後、本実施の形態２では、図３において、ステップＳ１０３〜Ｓ１１０と同様の工程を経ることで、生成したデプスマップ２５０を表示装置などの所定の外部装置へ出力する（図１１（ｂ）〜図１１（ｇ）および図１１（ｉ）参照）。これにより、１つの入力画像２００に対してデプスマップ２５０を生成する画像処理方法が終了する。

以上のように構成および動作することで、本実施の形態２では、入力画像２００の空間的構造に応じたベースデプス２４０を生成するため、入力画像２００中の実際の奥行き構造により近い奥行きの構造を使用することが可能となる。この結果、２次元画像からより正確な奥行きの構造（デプスマップ）を生成することが可能となる。なお、その他の構成、動作および効果は、実施の形態１またはその変形例と同様であるため、ここでは詳細な説明を省略する。

＜実施の形態３＞
つぎに、実施の形態３にかかる画像処理装置、方法およびそのプログラムについて、図面を参照して詳細に説明する。以下の説明において、実施の形態１またはその変形例と同様の構成には、同一の符号を付し、その重複する説明を省略する。

図１２は、本実施の形態３による画像処理装置３の概略構成を示す。図１２と図１とを比較すると明らかなように、画像処理装置３（図１２）は、画像処理装置１（図１）と同様の構成を備える。ただし、画像処理装置３では、画像処理装置１における選択部１３がデプスモデル生成部３３に置き換えられるとともに、デプスモデル記憶部１７が省略されている。

デプスモデル生成部３３は、検出部１２において検出された物体１０１の位置および領域（形状や大きさ等）から、この物体１０１に対して付与するデプスモデルを生成する。生成するデプスモデルは、半球（断面が楕円のものを含む）や半円柱や半円錐や直方体や多角錐など、種々変形できる。デプスモデルの形状は、関数によって容易に求められるものであるとよい。デプスモデル生成部３３は、たとえば、物体１０１の形状に基づいて、デプスモデルを生成する際に使用する関数を選択し、また、物体の１０１の大きさに基づいて関数によって求まる形状のサイズを調節する。これによって生成されたデプスモデルは、実施の形態１、２およびその変形例と同様、デプスマップ生成部１５に入力され、デプスマップの生成に使用される。

つぎに、本実施の形態３による画像処理方法の流れを、以下に図面を用いて詳細に説明する。図１３は、本実施の形態３による画像処理方法の概略流れを示すフローチャートである。図１４は、入力画像中の物体に対するデプスモデルを生成する際の流れを示す概略図である。なお、以下の説明において、実施の形態１、２またはその変形例と同様の構成については、適宜それを参酌する。

図１３に示すように、本実施の形態３による画像処理方法では、図３のステップＳ１０１〜Ｓ１０３に示した工程と同様の工程を経ることで、ベースデプス１４０と物体領域１１０とを取得する（図１４（ａ）および図１４（ｃ）参照）。ただし、本実施の形態３では、ステップＳ１０３で検出される物体１０１の位置は、物体１０１の重心座標や中心座標を基準座標（ＸＦ，ＹＦ）であるとよい。また、物体１０１の幅ＷＦは、物体１０１の主要部の幅であるとよい。

つづいて、本実施の形態３では、検出部１２によって検出された物体１０１の形状からデプスモデルの生成に使用する関数を選択し（ステップＳ３０１）、つづいて、選択した関数に物体１０１の大きさに応じた値を設定してモデル算出を行うことで、図１４（ｂ）に示すようなデプスモデル３２０を生成する（ステップＳ３０２）。その後、図３のステップＳ１０５〜Ｓ１０９に示した工程と同様の工程を経ることで、デプスモデル３２０を補正して補正デプスモデル１３０を生成し（図１４（ｄ）〜図１４（ｆ）参照）、これとベースデプス１４０とを合成することで、デプスマップ１５０を生成する。また、生成したデプスマップ１５０を、図３のステップＳ１１０と同様、表示装置などの所定の外部装置へ出力する。これにより、１つの入力画像１００に対してデプスマップ１５０を生成する画像処理方法が終了する。

以上のように構成および動作することで、本実施の形態３では、予め様々な物体に対応したデプスモデルを用意する必要が省かれるため、画像処理装置３に設ける記憶領域を低減できる。なお、その他の構成、動作および効果は、実施の形態１、２またはその変形例と同様であるため、ここでは詳細な説明を省略する。

なお、上述した実施の形態における画像処理装置および方法は、ソフトウエアで実現されても、ハードウエアで実現されてもよい。ソフトウエアで実現する場合、たとえば所定のプログラムをＣＰＵなどの情報処理装置が読み出して実行することで、画像処理装置および方法が実現される。所定のプログラムは、たとえばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭやフラッシュメモリなどの記録媒体に記録されていてもよいし、ネットワークに接続された記録装置に記録されていてもよい。情報処理装置は、この所定のプログラムを読み出すか、ダウンロードして実行する。

また、上記実施の形態およびその変形例は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。例えば各実施の形態に対して適宜例示した変形例は、他の実施の形態に対して適用することも可能であることは言うまでもない。

１、２、３ 画像処理装置、 １１ ベースデプス入力部、 １２ 検出部、 １３ 選択部、 １４ セグメント部、 １５ デプスマップ生成部、 １６ ベースデプス記憶部、 １７ デプスモデル記憶部、 ２１ ベースデプス生成部、 ３３ デプスモデル生成部 １００，２００ 入力画像、 １０１ 物体、 １１０ 物体領域、 １２０，３２０ デプスモデル、 １１１，１２１ 領域、 １３０ 補正デプスモデル、 １４０，２４０ ベースデプス、 １４１ プレデプスマップ、 １５０，２５０ デプスマップ、 １５１ デプスモデル補正部、 １５２ デプスマップ合成部、 １５３ デプスモデル合成部、 １５４ デプスマップ補正部

Claims (14)

1. 画像に含まれる物体を検出する検出部と、
   検出された前記物体の性質に応じて前記物体の奥行きの情報のベースとするデプスモデルを選択する選択部と、
   検出された前記物体の領域を前記画像から区分するセグメント部と、
   前記画像の奥行きを表現するデプスマップを生成するデプスマップ生成部とを備え、
   前記デプスマップ生成部は、
   前記画像中の検出された前記物体の位置に対応する前記デプスマップ上の位置に、前記デプスモデルを配し、配された前記デプスモデルの領域と前記物体の領域とを比較し、互いに重なり合わない位置に対して、補正後の奥行値を与える、画像処理装置。
2. 前記物体の領域において、前記デプスモデルの領域に含まれない領域がある場合、
   前記デプスマップ生成部は、前記デプスマップ上の当該領域に対応する非重なり位置に対して、前記非重なり位置の近傍の前記デプスモデル中の位置の奥行きの情報を用いて、前記奥行値を与える、請求項１に記載の画像処理装置。
3. 前記奥行値は、
   前記非重なり位置から最も近い前記デプスモデル中の画素の奥行値とする、請求項２記載の画像処理装置。
4. 前記奥行値は、
   前記非重なり位置から最も近い前記デプスモデル中の画素の奥行値と、当該画素の周囲の複数の画素の奥行値とを平均した値である、請求項２記載の画像処理装置。
5. 前記奥行値は、
   前記非重なり位置から最も近い前記デプスモデル中の画素の奥行値と、当該画素の周囲の複数の画素の奥行値のうち、最奥の値である、請求項２記載の画像処理装置。
6. 前記奥行値は、
   前記デプスモデル中の画素の奥行値のうち、最奥の値である、請求項２記載の画像処理装置。
7. 前記デプスモデルの領域において、前記物体の領域に含まれない領域がある場合、
   前記デプスマップ生成部は、前記デプスマップ上の当該領域に対応する非重なり位置の奥行値を削除する、請求項１に記載の画像処理装置。
8. 前記デプスモデルの領域において、前記物体の領域に含まれない領域がある場合、
   前記デプスマップ生成部は、前記デプスマップ上の当該領域に対応する非重なり位置に対して、前記非重なり位置の近傍で、かつ前記物体の領域外の位置の奥行きの情報を用いて、前記奥行値を与える、請求項１に記載の画像処理装置。
9. 前記検出部は、前記画像から少なくとも人物の形状を前記物体として検出し、
   前記選択部は、予め登録された人物のデプスモデル群から前記検出部で検出された前記人物の形状に応じて前記デプスモデルを選択し、
   前記セグメント部は、前記画像から前記人物の領域を前記物体の領域として区分する、
   請求項１に記載の画像処理装置。
10. 前記デプスマップ生成部は、前記物体の領域内であって前記デプスモデル外の領域に奥行きの情報を追加する場合、追加する当該奥行きの情報を前記デプスモデルにおける最も奥を示す情報とする、請求項１に記載の画像処理装置。
11. 前記画像の奥行きの情報のベースとして該画像に付与するベースデプスを生成するベースデプス生成部をさらに備え、
    前記ベースデプス生成部は、前記デプスモデルよりも奥に位置するように前記ベースデプスを生成する、請求項１に記載の画像処理装置。
12. 前記画像の奥行きの情報のベースとして該画像に付与するベースデプスを生成するベースデプス生成部をさらに備え、
    前記ベースデプス生成部は、奥行きが最も奥となる前記ベースデプスを生成する、請求項１に記載の画像処理装置。
13. 画像に含まれる物体を検出し、
    検出された前記物体の性質に応じて前記物体の奥行きの情報のベースとするデプスモデルを選択し、
    検出された前記物体の領域を前記画像から区分し、
    前記画像の奥行きを表現するデプスマップを生成し、
    前記デプスマップを生成する際は、
    前記画像中の検出された前記物体の位置に対応する前記デプスマップ上の位置に、前記デプスモデルを配し、配された前記デプスモデルの領域と前記物体の領域とを比較し、互いに重なり合わない位置に対して、補正後の奥行値を与える、画像処理方法。
14. コンピュータを、
    画像に含まれる物体を検出する手段と、
    検出された前記物体の性質に応じて前記物体の奥行きの情報のベースとするデプスモデルを選択する手段と、
    検出された前記物体の領域を前記画像から区分する手段と、
    前記画像の奥行きを表現するデプスマップを生成する手段として機能させ、
    前記デプスマップを生成する手段は、
    前記画像中の検出された前記物体の位置に対応する前記デプスマップ上の位置に、前記デプスモデルを配し、配された前記デプスモデルの領域と前記物体の領域とを比較し、互いに重なり合わない位置に対して、補正後の奥行値を与える、画像処理プログラム。

Images