JP7012457B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、入力画像内の前景領域を特定するための技術に関するものである。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、該撮影により得られた複数視点画像を用いて任意の仮想視点コンテンツを生成する技術が注目されている。このようにして複数視点画像から任意の仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴閲覧することが出来るため、通常の画像と比較してユーザに高臨場感を与えることができる。

一方、複数視点画像に基づく任意の仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、該画像処理部にてレンダリングなどの処理を施し、最後にユーザ端末に伝送をおこなうことで実現できる。仮想視点の映像を生成する技術についてはさまざまな手法が開発されている。例えば、複数のカメラ映像から選手などの前景を分離し、３次元座標を算出し、平面に再投影して仮想視点映像を生成する技術がある。

ここで、前景を分離する手法については、例えば、背景差分法と呼ばれるものが一般的に知られている。まず過去の一定時間の画像の情報に基づいて背景情報を生成し、現在の画像との差分を検出して前景として分離する手法である。前景の分離についてはその他にも、特徴量や機械学習を用いる手法などが知られている。また特許文献１では、空間周波数に基づく注目点の推定と、色情報に基づく前景形状の推定処理を組み合わせて、前景分離の性能を改善する方法が開示されている。

特開２０１４－２３２４７７号公報

しかし、一つの特徴量を用いた前景形状推定は性能に限界があった。例えば色情報に基づく手法では、前景と背景の色が近い場合に性能が低下する場合があった。

本発明はこのような問題に鑑みてなされたものであり、入力画像内における前景領域の特定の精度を改善するための技術を提供する。

本発明の一様態は、入力画像と背景画像との間の色情報に基づく差分を用いて、該入力画像における第１領域を特定する第１の特定手段と、
前記入力画像と前記背景画像との間の輝度情報に基づく差分を用いて、該入力画像における第２領域を特定する第２の特定手段と、
前記第２の特定手段により特定された前記第２領域に対して、前記第１の特定手段により特定された前記第１領域の面積と前記第２の特定手段により特定された前記第２領域の面積との比率に基づいて、収縮処理を行う処理手段と、
前記第１の特定手段により特定された前記第１領域と、前記処理手段により収縮処理が行われた前記第２領域と、の少なくとも一方に含まれる領域を、前記入力画像における所定の被写体に対応する前景領域として決定する決定手段と
を有することを特徴とする。

本発明の構成によれば、入力画像内における前景領域の特定の精度を改善することができる。

システムの構成例を示す図である。 画像処理装置１０３の機能構成例を示すブロック図である。 画像処理装置１０３が行う処理のフローチャートである。 画像処理装置１０３が行う処理のフローチャートである。 前景領域の一例を示す図である。 画像処理装置１０３の機能構成例を示すブロック図である。 前景分離部６０６が行う処理のフローチャートである。 コンピュータ装置のハードウェア構成例を示すブロック図である。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態に係るシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、伝送路を介してリング状に接続されている複数のカメラ１０２と、該複数のカメラ１０２のうち少なくとも一部のカメラ１０２による撮像画像に基づいて仮想視点画像を生成する画像処理装置１０３と、を有する。

複数のカメラ１０２は競技場１０１の周囲に設置されており、それぞれのカメラ１０２は互いに異なる方向から競技場１０１の動画像を撮像している。複数のカメラ１０２のうち１つは画像処理装置１０３に接続されており、それぞれのカメラ１０２による撮像画像（動画像を構成する各フレームの画像）は、伝送路や他のカメラ１０２等を介して画像処理装置１０３に転送される。これにより画像処理装置１０３には、複数のカメラ１０２による撮像画像がフレーム単位で入力されることになる。

画像処理装置１０３は、それぞれのカメラ１０２による撮像画像のうち、ユーザにより指定された仮想的な視点から見た競技場１０１の画像（仮想視点画像）を生成するために必要な撮像画像群に基づいて、該仮想視点画像を生成する。なお、競技場１０１では例えばサッカーなどの競技が行われており、競技場１０１の中に被写体としての人物１０４がいるものとする。ただし、撮影対象は競技場１０１における競技に限らず、例えばステージにおける演技などであってもよい。また、視点はユーザにより指定されるものに限らず、自動的に決定されるものであってもよい。

なお、競技場１０１の周囲に配置された複数のカメラ１０２による撮像画像を画像処理装置１０３が取得することができるのであれば、システムの構成は図１に示した構成に限らない。例えば、各カメラ１０２と画像処理装置１０３とが直接接続されていてもよい。また例えば、各カメラ１０２に撮像画像を記憶するための取り外し可能な記憶装置が備えられており、当該記憶装置をカメラ１０２から取り外して画像処理装置１０３に接続することで撮像画像を画像処理装置１０３に取得させてもよい。

次に、画像処理装置１０３の機能構成例について、図２のブロック図を用いて説明する。本実施形態では、画像処理装置１０３における画像処理は、画像処理装置１０３に内蔵されたＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field programmable gate array）などのハードウェアにより処理される。然るに本実施形態では、図２に示した各機能部（各モジュール）は、ハードウェアとしてＡＳＩＣやＦＰＧＡの内部に実装されている。

データ受信部２０１は、それぞれのカメラ１０２が撮像した撮像画像を取得し、該取得した撮像画像を記録部２０２に格納する。撮像画像には、該撮像画像を撮像したカメラ１０２に固有の識別情報が添付されているものとする。記録部２０２は、例えばハードディスクや、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、またはそれらの組み合わせなどで構成される。そしてデータ受信部２０１は、記録部２０２に格納されている撮像画像群のうち、ユーザ指定などにより入力された仮想視点位置に応じてこれから生成する仮想視点画像の生成処理のために必要となる撮像画像群を記録部２０２から読み出す。そしてデータ受信部２０１は、記録部２０２から読み出した撮像画像群を、背景生成部２０３、前景分離部２０５、前景分離部２０６、生成部２０９に対して出力する。

背景バッファ２０４には、カメラ１０２ごとに、該カメラ１０２に固有の識別情報と、該カメラ１０２が過去に撮像した撮像画像から生成した背景画像（以下では登録背景画像と称する）と、が関連づけて格納されている。本実施形態において背景画像とは、撮像画像から人物などの所定の被写体の画像（前景画像）が取り除かれた画像である。例えば、競技場１０１におけるサッカーの試合がカメラ１０２により撮影される場合に、選手やボールなどの画像が前景画像となり、選手やボールなどを含まない競技場１０１の地面の画像が背景画像となる。

背景生成部２０３は、データ受信部２０１から入力された撮像画像に添付されている識別情報と同じ識別情報と関連づけて背景バッファ２０４に格納されている登録背景画像を該背景バッファ２０４から読み出す。そして背景生成部２０３は、同じ識別情報に対応する撮像画像と登録背景画像とに基づいて、該撮像画像における背景を表す背景画像を生成し、該識別情報と関連づけて背景バッファ２０４に格納されている登録背景画像を該生成した背景画像を用いて更新する。撮像画像と登録背景画像とに基づいて該撮像画像の背景を表す背景画像を生成するための方法には様々な方法を適用することができる。例えば背景生成部２０３は、撮像画像と登録背景画像との差分画像（撮像画像と登録背景画像とで同位置の画素位置における画素値の差分をとった画像）を用いて、該撮像画像における背景を表す背景画像を生成しても良い。また、混合ガウスモデルによる背景画像生成方法を用いても良い。混合ガウスモデルについては一般的によく知られている手法であるので詳細な説明は省く。そして背景生成部２０３は、生成した背景画像を、前景分離部２０５及び前景分離部２０６に対して出力する。

前景分離部２０５は、データ受信部２０１から入力した撮像画像と、該撮像画像における背景を表す背景画像として背景生成部２０３が生成した背景画像と、の画素ごとの第１の特徴量の差分に基づいて、該撮像画像における前景領域を推定する。本実施形態において前景領域とは、撮影画像内における人物などの所定の被写体が位置する領域である。なお、前景領域は人物に対応する領域に限らず、例えば移動物体に対応する領域や、あらかじめ指定された被写体に対応する領域としてもよい。前景分離部２０５が行う処理について、同処理のフローチャートを示す図３（Ａ）を用いて説明する。前景分離部２０５は第１の特徴量として色情報を用いる。本実施形態において或る画素についての第１の特徴量は、当該画素の画素値に応じて決まる。

ステップＳ３０１では、前景分離部２０５は、撮像画像（入力画像）と背景画像との色情報に基づく差分画像を生成する。ステップＳ３０１で生成される差分画像は、差分画像中の画素位置（ｘ、ｙ）における画素値が、撮像画像中の画素位置（ｘ、ｙ）における色情報と、背景画像中の画素位置（ｘ、ｙ）における色情報と、の差分を表す画像である。例えば、撮像画像中の画素位置（ｘ、ｙ）におけるＲ，Ｇ，Ｂのそれぞれの画素値をＰＲ，ＰＧ，ＰＢとし、背景画像中の画素位置（ｘ、ｙ）におけるＲ，Ｇ，Ｂのそれぞれの画素値をＰＲ’，ＰＧ’，ＰＢ’とする。このとき、差分画像中の画素位置（ｘ、ｙ）における画素値Δは、Δ＝｜ＰＲ－ＰＲ’｜＋｜ＰＧ－ＰＧ’｜＋｜ＰＢ－ＰＢ’｜を計算することで決定される。もちろん、撮像画像と背景画像との色情報についての差分画像の求め方は、このような方法に限るものではない。例えば、色情報はＲＧＢであっても良いし、ＹＵＶ色空間やその他の色空間における各色成分であっても良く、特定の色成分に限らない。

ステップＳ３０２では、前景分離部２０５は、差分画像に対して画素値の平滑化処理を行う。平滑化処理を行うことで、画素の欠落やノイズを除去する。平滑化については最も簡単なものとして単純平均処理があるが、性能を向上するために、例えばガウシアンフィルタやバイラテラルフィルタなどが知られており、どのようなフィルタを用いてもよい。

ステップＳ３０３では、前景分離部２０５は、ステップＳ３０２で平滑化処理を行った差分画像における各画素について、該画素の画素値が閾値よりも大きいか否かを判断する。そしてこの判断の結果、前景分離部２０５は、差分画像において画素値が閾値よりも大きい画素については、ステップＳ３０４において該画素に対し、「前景領域を構成する画素（前景画素）」を表すビット値「１」を割り当てる。一方、前景分離部２０５は、差分画像において画素値が閾値以下の画素については、ステップＳ３０５において該画素に対し、「背景領域を構成する画素（背景画素）」を表すビット値「０」を割り当てる。このような処理により、差分画像の各画素に対応するビット値を画素値とする二値画像を生成することができる。二値画像中の画素位置（ｘ、ｙ）における画素値が「１」である場合、撮像画像中の画素位置（ｘ、ｙ）における画素が前景画素と推定された画素であることを示す。一方、二値画像中の画素位置（ｘ、ｙ）における画素値が「０」である場合、撮像画像中の画素位置（ｘ、ｙ）における画素が背景画素と推定された画素であることを示す。このように前景分離部２０５は、撮像画像と背景画像との色情報の差分に基づく二値画像を、撮像画像上における前景領域の推定結果を表す情報として生成する。

なお、ステップＳ３０３からＳ３０５において生成されるこの二値画像では、実際には前景に対応する領域の内部に細かな画素の欠落が発生したり、実際には背景に対応する領域に細かなノイズが発生したりする。そのため次のステップＳ３０６では、前景分離部２０５は、この二値画像に対して上記のような平滑化処理を行うことで、画素の欠落やノイズを除去する。なお、平滑化処理は、二値画像全体に対して行っても良いし、画素値が「１」である画素の領域及びその近傍に対して行っても良い。

そして前景分離部２０５は、図３（Ａ）のフローチャートに従った処理を行うことで生成した二値画像（第１の二値画像）を、後段の前景領域調整部２０７に対して送出する。なお、前景分離部２０５は、データ受信部２０１から撮像画像が入力されるたびに図３（Ａ）のフローチャートに従った処理を行う。

前景分離部２０６は、データ受信部２０１から入力した撮像画像と、該撮像画像における背景領域を表す背景画像として背景生成部２０３が生成した背景画像と、の画素ごとの第２の特徴量の差分に基づいて、該撮像画像における前景領域を推定する。前景分離部２０６が行う処理について、同処理のフローチャートを示す図３（Ｂ）を用いて説明する。前景分離部２０６は第２の特徴量としてテクスチャ情報を用いる。すなわち、本実施形態において或る画素についての第２の特徴量は、当該画素の画素値と当該画素の周囲の画素の画素値とに応じて決まる。

ステップＳ３０７では、前景分離部２０６は、撮像画像（入力画像）と背景画像とのテクスチャ情報に基づく差分画像を生成する。ステップＳ３０７で生成される差分画像中の画素位置（ｘ、ｙ）における画素値は、例えば次のようにして求める。撮像画像中の画素位置（ｘ、ｙ）を中心とする画像領域（例えば３×３画素の画像領域）と、背景画像中の画素位置（ｘ、ｙ）を中心とする画像領域（例えば３×３画素の画像領域）と、の間で同じ画素位置の画素同士で輝度値の差分（絶対値）を求め、求めた差分の合計値Ｓを、差分画像中の画素位置（ｘ、ｙ）における画素値とする。画素の輝度値は、Ｌａｂ色空間におけるＬの成分値である。画素の画素値がＲＧＢの色空間におけるものであれば、Ｒ成分の画素値、Ｇ成分の画素値、Ｂ成分の画素値から周知の方法でもってＬの成分値を求めることができる。なお、画素の輝度値はＬ成分に限らず、ＹＵＶやＹＣｂＣｒ等のＹ成分の値であっても良い。

なお、テクスチャ情報に基づく特徴量としては、そのほかにも例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量やＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量などを用いてもよい。

ステップＳ３０８では、前景分離部２０６は上記のステップＳ３０２と同様にして、差分画像に対して画素値の平滑化処理を行う。ステップＳ３０９では、前景分離部２０６は、ステップＳ３０８で平滑化処理を行った差分画像における各画素について、該画素の画素値が閾値よりも大きいか否かを判断する。そしてこの判断の結果、前景分離部２０６は、差分画像において画素値が閾値よりも大きい画素については、ステップＳ３１０において該画素に対し、「前景領域を構成する画素（前景画素）」を表すビット値「１」を割り当てる。一方、前景分離部２０６は、差分画像において画素値が閾値以下の画素については、ステップＳ３１１において該画素に対し、「背景領域を構成する画素（背景画素）」を表すビット値「０」を割り当てる。このような処理により、上記のステップＳ３０４，Ｓ３０５と同様に、差分画像の各画素に対応するビット値を画素値とする二値画像を生成することができる。このように前景分離部２０６は、撮像画像と背景画像とのテクスチャ情報の差分に基づく二値画像を、撮像画像上における前景領域の推定結果を表す情報として生成する。

ステップＳ３１２では、前景分離部２０６は、上記のステップＳ３０６と同様にして、この二値画像に対して上記のような平滑化処理を行うことで、画素の欠落やノイズを除去する。

そして前景分離部２０６は、図３（Ｂ）のフローチャートに従った処理を行うことで生成した二値画像（第２の二値画像）を、後段の前景領域調整部２０７に対して送出する。なお、前景分離部２０６は、データ受信部２０１から撮像画像が入力されるたびに図３（Ｂ）のフローチャートに従った処理を行う。

図３（Ａ）のフローチャートに従って生成された二値画像の一例を図５（Ａ）に示す。図５（Ａ）に示す如く、二値画像上では前景（人物１０４）が人の形として検出されているが、ここでは例として、検出された前景の領域の一部に大きな欠落があるものとする。色情報の差分に基づいて前景領域の推定を行う際、特に前景と背景の色が近い場合にこのような欠落が発生することがある。

図３（Ｂ）のフローチャートに従って生成された二値画像の一例を図５（Ｂ）に示す。図５（Ｂ）に示す如く、二値画像上では検出された前景（人物１０４）の領域の境界部が滑らかでなく、また前景の領域の内部に小さな欠落が見られる。テクスチャ情報の差分に基づいて前景領域の推定を行う際には、このように前景と背景との境界が粗くなりやすい傾向がある。

前景領域調整部２０７では、前景分離部２０６によって生成された第２の二値画像における前景領域を調整する。第２の二値画像における前景領域の調整処理の一例について、図４（Ａ）のフローチャートを用いて説明する。

ステップＳ４０１で前景領域調整部２０７は、第１の二値画像及び第２の二値画像のそれぞれに対してラベリング処理を行うことで、第１の二値画像及び第２の二値画像のそれぞれにおける前景領域（画素値が「１」の画素の領域）に対してラベルを付与する。ラベリング処理では、同じ画素値「１」を有し且つ繋がった画素のかたまりを一つの前景領域（同一の被写体に対応する領域）として検出し、前景領域ごとにラベル（番号）を付加する。

以下では説明を簡単にするために、第１の二値画像における着目前景領域と、第２の二値画像における前景領域群のうち着目前景領域に最も近い前景領域と、には同じラベル番号が付加されているものとする。しかし、第１の二値画像における着目前景領域と、第２の二値画像における前景領域群のうち着目前景領域に最も近い前景領域と、の対応関係が導出可能であれば、それぞれの二値画像において近接する前景領域に同じラベル番号を付加することに限らない。

そしてステップＳ４０３における処理を、第１の二値画像（第２の二値画像）におけるそれぞれのラベル番号について行う（ラベル数に応じた回数繰り返す）ことで、それぞれのラベル番号に対応する前景領域についてステップＳ４０３の処理を行う。

ステップＳ４０３では、前景領域調整部２０７は、未選択のラベル番号を１つ選択ラベル番号として選択し、第２の二値画像において該選択ラベル番号が付加された前景領域に対して収縮処理を行うことで、該前景領域を調整する。収縮処理にはモルフォロジー演算と呼ばれる処理を用いる。モルフォロジー演算については一般的によく知られているので説明は省く。またこのときの収縮量は、第１の二値画像と第２の二値画像とを重ねたときに、第２の二値画像における前景領域が第１の二値画像における前景領域のほぼ内側になるように、予め一定の値として決められている。図５（Ｂ）の前景領域に対する収縮処理の結果の例を図５（Ｃ）に示す。

第２の二値画像における前景領域の調整処理の他の例について、図４（Ｂ）のフローチャートを用いて説明する。ステップＳ４０５では前景領域調整部２０７は、上記のステップＳ４０１と同様にして、第１の二値画像及び第２の二値画像のそれぞれに対するラベリング処理を行う。

ステップＳ４０７～Ｓ４１１における処理を、第１の二値画像（第２の二値画像）におけるそれぞれのラベル番号について行う（ラベル数に応じた回数繰り返す）ことで、それぞれのラベル番号に対応する前景領域についてステップＳ４０７～Ｓ４１１の処理を行う。

ステップＳ４０７では、前景領域調整部２０７は、未選択のラベル番号を１つ選択ラベル番号として選択し、第１の二値画像における前景領域群のうち、選択ラベル番号に対応する前景領域の面積Ｓ１（例えば、該前景領域に含まれている画素の数）を特定する。

ステップＳ４０８では、前景領域調整部２０７は、第２の二値画像における前景領域群のうち、選択ラベル番号に対応する前景領域の面積Ｓ２（例えば、該前景領域に含まれている画素の数）を特定する。

ステップＳ４０９では、前景領域調整部２０７は、面積Ｓ１に対する面積Ｓ２の比率（Ｓ２／Ｓ１）を求める。そしてステップＳ４１０では、前景領域調整部２０７は、Ｓ２／Ｓ１＜θという条件を満たすか否かを判断する。ここでθは、予め決められた閾値である。この判断の結果、Ｓ２／Ｓ１＜θであれば、処理はステップＳ４０７に戻る。一方、Ｓ２／Ｓ１≧θであれば、処理はステップＳ４１１に進む。

ステップＳ４１１では、前景領域調整部２０７は、上記のステップＳ４０３と同様にして、第２の二値画像において選択ラベル番号が付加された前景領域に対して収縮処理を行うことで、該前景領域を調整する。なお、調整量（収縮量）は予め定められていてもよいし、例えばＳ１の値とＳ２の値とに基づいて決定されてもよい。

以上の処理によって、第２の二値画像における前景領域の面積が、第１の二値画像における前景領域の面積に対して一定比率以下となっている。そのため結果的に、第１の二値画像と第２の二値画像とを重ねたときに、第２の二値画像における前景領域の境界が第１の二値画像における前景領域のほぼ内側となることが期待できる。

さらに、前景領域調整部２０７における前景領域の調整方法の他の例としては、前景領域の境界部の長さを比較する方法がある。ステップＳ４０７では、第１の二値画像における前景領域の境界部の長さをＳ１１として求め、ステップＳ４０８では、第２の二値画像における前景領域の境界部の長さをＳ１２として求める。そしてステップＳ４０９以降では、Ｓ１，Ｓ２の代わりにそれぞれＳ１１，Ｓ１２を用いて処理を行う。

前景領域決定部２０８は、第１の二値画像における前景領域（第１領域）と、前景領域調整部２０７による調整済み（収縮済み）の第２の二値画像における前景領域(第２領域)と、に基づいて、撮像画像における前景領域を決定する。前景領域決定部２０８による前景領域の決定処理について、図３（Ｃ）のフローチャートに従って説明する。

ステップＳ３１３では、前景領域決定部２０８は、第１の二値画像と第２の二値画像とで同位置の画素ごとに画素値のＯＲ演算を行う。このようなＯＲ演算を行うことで得られる二値画像（第３の二値画像）中の画素位置（ｘ、ｙ）における画素値が「１」である場合、撮像画像中の画素位置（ｘ、ｙ）における画素が前景画素と推定された画素であることを示す。一方、第３の二値画像中の画素位置（ｘ、ｙ）における画素値が「０」である場合、撮像画像中の画素位置（ｘ、ｙ）における画素が背景画素と推定された画素であることを示す。すなわち、第３の二値画像において画素値が「１」の領域とは、第１の二値画像における前景領域と第２の二値画像における前景領域との和である。言い換えると、前景領域決定部２０８により決定される前景領域は、前景分離部２０５により特定される前景領域と前景分離部２０６により特定される前景領域との少なくとも何れかに含まれる画素により構成される。なお、第１の二値画像及び第２の二値画像の全体領域についてＯＲ演算を行うことに限らず、例えば、同じラベル番号の前景領域ごとにＯＲ演算を行うようにしても良い。

図５（Ａ）の前景領域と図５（Ｃ）の前景領域とを用いて前景領域決定部２０８により得られる前景領域を図５（Ｄ）に示す。図５（Ｄ）に示す如く、図５（Ａ）の前景領域と比べると、前景領域の欠落が埋まり、前景形状の品質が改善されている。また図５（Ｂ）の前景領域と比べると、図５（Ｂ）の前景領域の境界部が図５（Ａ）の前景領域の内側となるよう調整したために、前景領域の境界部の粗い部分が少なくなっており、前景形状の品質が改善されている。

生成部２０９は、データ受信部２０１から入力された撮像画像と、背景バッファ２０４に格納されている背景画像と、前景領域決定部２０８によって生成された第３の二値画像と、を用いて仮想視点画像を生成する。仮想視点画像の生成方法としては、例えばＶｉｓｕａｌＨｕｌｌなどの方法が知られている。例えば生成部２０９は、ユーザにより指定された視点に対応する仮想視点画像の生成に要する背景画像を背景バッファ２０４から読み出し、該読み出した背景画像を２次元平面上に投影することで、該２次元平面上に仮想視点における背景を生成する。また生成部２０９は、データ受信部２０１から入力された撮像画像について前景領域決定部２０８が生成した第３の二値画像中の画素値が「１」の画素群に対応する該撮像画像上の画素群の領域を前景領域として特定する。そして生成部２０９は、データ受信部２０１から入力されたそれぞれの撮像画像から、該撮像画像について特定した前景領域を抽出し、該抽出した前景領域に基づいて前景（例えば人物１０４）の３次元モデルを生成する。そして生成部２０９は、該生成した３次元モデルを、ユーザにより指定された視点に応じて上記の２次元平面上に投影することで、該２次元平面上に仮想視点画像を生成する。ＶｉｓｕａｌＨｕｌｌについてはよく知られた手法なので詳細な説明は省く。

そして生成部２０９は、生成した仮想視点画像を出力するのであるが、出力先については特定の出力先に限らない。例えば、画像処理装置１０３に接続されている表示装置に表示しても良いし、記憶装置に記録するようにしても良い。また、ネットワークを介して外部の端末に対して送信しても良い。

このように、本実施形態によれば、特性の異なる複数の前景分離手法による前景分離を行って、その結果に対して調整を行った後合成するという手順で、前景形状の品質を改善することができる。すなわち、入力画像内における前景領域の特定の精度を改善できる。その結果、生成される仮想視点画像の画質を向上させることができる。

［第２の実施形態］
第１の実施形態では、第２の特徴量として画像のテクスチャ情報を用いたが、本実施形態では画像の輝度情報を用いる。すなわち、本実施形態において或る画素についての第２の特徴量は、当該画素の画素値に応じて決まる。以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。

画像処理装置１０３の機能構成例について、図６のブロック図を用いて説明する。図６において図２に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。本実施形態でも第１の実施形態と同様、画像処理装置１０３における画像処理は、画像処理装置１０３に内蔵されたＡＳＩＣやＦＰＧＡなどのハードウェアにより処理される。然るに本実施形態では、図６に示した各機能部（各モジュール）は、ハードウェアとしてＡＳＩＣやＦＰＧＡの内部に実装されている。

前景分離部６０６は、データ受信部２０１から入力した撮像画像と、該撮像画像における背景領域を表す背景画像として背景生成部２０３が生成した背景画像と、の輝度情報の差分に基づいて、該撮像画像における前景領域を推定する。前景分離部６０６が行う処理について、同処理のフローチャートを示す図７を用いて説明する。図７において図３（Ｂ）と同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ７０７では、前景分離部６０６は、撮像画像（入力画像）と背景画像との輝度情報に基づく差分画像を生成する。ステップＳ７０７で生成される差分画像は、差分画像中の画素位置（ｘ、ｙ）における画素値が、撮像画像中の画素位置（ｘ、ｙ）における輝度値と、背景画像中の画素位置（ｘ、ｙ）における輝度値と、の差分を表す画像である。

ステップＳ７０９では、前景分離部６０６は、ステップＳ３０８で平滑化処理を行った差分画像における各画素について、該画素の画素値が閾値よりも大きいか否かを判断する。そしてこの判断の結果、前景分離部６０６は、差分画像において画素値が閾値よりも大きい画素については、ステップＳ７１０において該画素に対し、「前景領域を構成する画素（前景画素）」を表すビット値「１」を割り当てる。一方、前景分離部６０６は、差分画像において画素値が閾値以下の画素については、ステップＳ７１１において該画素に対し、「背景領域を構成する画素（背景画素）」を表すビット値「０」を割り当てる。このような処理により、差分画像の各画素に対応するビット値を画素値とする二値画像を生成することができる。

本実施形態によれば、第２の二値画像における前景領域の面積が、第１の二値画像における前景領域の面積に対して一定比率以下となっている。そのため結果的に、第１の二値画像と第２の二値画像とを重ねたときに、第２の二値画像における前景領域の境界がほぼ内側となることが期待できる。

＜変形例＞
上記の各実施形態では、第１の二値画像における前景領域のサイズに鑑みて第２の二値画像における前景領域の収縮を行ったが、状況に応じて、第２の二値画像における前景領域のサイズに鑑みて第１の二値画像における前景領域の収縮又は拡張を行うようにしても良い。

また、第１及び第２の実施形態では、仮想視点画像を生成するべく前景分離を行っているが、第１及び第２の実施形態で説明した前景分離は、他の用途における画像処理において実行しても良い。

また、上記の各実施形態では、前景分離処理と仮想視点画像の生成処理とを同一の画像処理装置１０３が実行する場合について説明したが、これに限らない。例えば、システム内には複数のカメラ１０２に対応する複数の画像処理装置１０３が存在し、各画像処理装置は対応するカメラ１０２の撮像画像に対する前景分離処理を行ってもよい。そして、複数の画像処理装置１０３のそれぞれが、自装置による前景分離処理の結果を、仮想視点画像の生成処理を行う生成装置に出力してもよい。

また、本変形例を含む上記の実施形態の一部若しくは全部を適宜組み合わせても構わないし、本変形例を含む上記の実施形態の一部若しくは全部を選択的に使用しても構わない。

［その他の実施形態］
第１及び第２の実施形態では、図２及び図６に示した各機能部は何れもハードウェアで構成されているものとして説明した。しかし、記録部２０２、背景バッファ２０４、データ受信部２０１以外の機能部はソフトウェア（コンピュータプログラム）で実装しても良い。そのような場合、記録部２０２及び背景バッファ２０４として機能するメモリを有し、データ受信部２０１として機能するインターフェース（Ｉ／Ｆ）を有し、上記ソフトウェアを実行可能なコンピュータ装置を画像処理装置１０３に適用することができる。

画像処理装置１０３に適用可能なコンピュータ装置のハードウェア構成例について、図８のブロック図を用いて説明する。なお、図８に示したハードウェア構成は、画像処理装置１０３に適用可能なコンピュータ装置のハードウェア構成の一例に過ぎない。

ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ８０１は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置１０３が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ８０２は、ＲＯＭ８０３や外部記憶装置８０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ８０７を介して外部から受信したデータ（例えば撮像画像群）、を格納するためのエリアを有する。更にＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ８０２は、各種のエリアを適宜提供することができる。ＲＯＭ８０３には、書換不要のコンピュータプログラムやデータが格納されている。

操作部８０４は、キーボードやマウスなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ８０１に対して入力することができる。例えばユーザは操作部８０４を操作することで、仮想視点の位置を指定することができる。

表示装置８０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ８０１による処理結果を画像や文字などでもって表示することができる。例えば、表示装置８０５には、仮想視点の位置を指定するためのＧＵＩ（グラフィカルユーザインターフェース）や、生成部２０９が生成した仮想視点画像を表示することができる。なお、操作部８０４と表示装置８０５とを一体化させてタッチパネル画面を構成しても良い。

外部記憶装置８０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置８０６には、ＯＳ（オペレーティングシステム）や、図２及び図６において記録部２０２、背景バッファ２０４、データ受信部２０１を除く各機能部の機能をＣＰＵ８０１に実現させるためのコンピュータプログラムやデータが保存されている。外部記憶装置８０６に保存されているデータには、上記の説明において既知の情報として取り扱ったもの、例えば、上記の閾値や、ＲＧＢをＬａｂやＹＵＶに変換するためのルックアップテーブル、等のデータが含まれている。外部記憶装置８０６に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。なお、上記の記録部２０２や背景バッファ２０４は、ＲＡＭ８０２や外部記憶装置８０６を用いて実装することができる。

Ｉ／Ｆ８０７は、上記のデータ受信部２０１として機能するものであり、それぞれのカメラ１０２による撮像画像を受信するためのインターフェースとして機能するものである。また、それぞれのカメラ１０２に対する制御信号は、Ｉ／Ｆ８０７を介してコンピュータ装置からそれぞれのカメラ１０２に対して送信される。上記のＣＰＵ８０１、ＲＡＭ８０２、ＲＯＭ８０３、操作部８０４、表示装置８０５、外部記憶装置８０６、Ｉ／Ｆ８０７は何れもバス８０８に接続されている。

なお本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１：データ受信部 ２０２：記録部 ２０３：背景生成部 ２０４：背景バッファ ２０５：前景分離部 ２０６：前景分離部 ２０７：前景領域調整部 ２０８：前景領域決定部 ２０９：生成部

Claims (9)

1. 入力画像と背景画像との間の色情報に基づく差分を用いて、該入力画像における第１領域を特定する第１の特定手段と、
   前記入力画像と前記背景画像との間の輝度情報に基づく差分を用いて、該入力画像における第２領域を特定する第２の特定手段と、
   前記第２の特定手段により特定された前記第２領域に対して、前記第１の特定手段により特定された前記第１領域の面積と前記第２の特定手段により特定された前記第２領域の面積との比率に基づいて、収縮処理を行う処理手段と、
   前記第１の特定手段により特定された前記第１領域と、前記処理手段により収縮処理が行われた前記第２領域と、の少なくとも一方に含まれる領域を、前記入力画像における所定の被写体に対応する前景領域として決定する決定手段と
   を有することを特徴とする画像処理装置。
2. 前記第１領域の面積、前記第２領域の面積はそれぞれ、前記第１領域を構成する画素数、前記第２領域を構成する画素数、により規定されることを特徴とする請求項１に記載の画像処理装置。
3. 入力画像と背景画像との間の色情報に基づく差分を用いて、該入力画像における第１領域を特定する第１の特定手段と、
   前記入力画像と前記背景画像との間の輝度情報に基づく差分を用いて、該入力画像における第２領域を特定する第２の特定手段と、
   前記第２の特定手段により特定された前記第２領域に対して、前記第１の特定手段により特定された前記第１領域の境界部の長さと前記第２の特定手段により特定された前記第２領域の境界部の長さとの比率に基づいて、収縮処理を行う処理手段と、
   前記第１の特定手段により特定された前記第１領域と、前記処理手段により収縮処理が行われた前記第２領域と、の少なくとも一方に含まれる領域を、前記入力画像における所定の被写体に対応する前景領域として決定する決定手段と
   を有することを特徴とする画像処理装置。
4. 入力画像と背景画像との間の第１の特徴量に基づく差分を用いて、該入力画像における第１領域を特定する第１の特定手段と、
   前記入力画像と前記背景画像との間の第２の特徴量に基づく差分を用いて、該入力画像における第２領域を特定する第２の特定手段と、
   前記第１の特定手段により特定された前記第１領域と、前記第２の特定手段により特定された前記第２領域を収縮させた収縮済みの第２領域との少なくとも何れかに含まれる領域を、前記入力画像における所定の被写体に対応する前景領域として決定する決定手段と
   を有し、
   前記収縮済みの第２領域は、前記第２の特定手段により特定された前記第２領域を、前記第１の特定手段により特定された前記第１領域の面積と前記第２の特定手段により特定された前記第２領域の面積との比率に基づいて収縮させた領域であることを特徴とする画像処理装置。
5. 入力画像と背景画像との間の第１の特徴量に基づく差分を用いて、該入力画像における第１領域を特定する第１の特定手段と、
   前記入力画像と前記背景画像との間の第２の特徴量に基づく差分を用いて、該入力画像における第２領域を特定する第２の特定手段と、
   前記第１の特定手段により特定された前記第１領域と、前記第２の特定手段により特定された前記第２領域を収縮させた収縮済みの第２領域との少なくとも何れかに含まれる領域を、前記入力画像における所定の被写体に対応する前景領域として決定する決定手段と
   を有し、
   前記収縮済みの第２領域は、前記第２の特定手段により特定された前記第２領域を、前記第１の特定手段により特定された前記第１領域の境界部の長さと前記第２の特定手段により特定された前記第２領域の境界部の長さとの比率に基づいて収縮させた領域であることを特徴とする画像処理装置。
6. 更に、撮像装置による撮像に基づく撮像画像を前記入力画像として取得する取得手段を有することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 更に、前記決定手段により決定された前景領域に基づいて、仮想視点画像を生成する生成手段を有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の第１の特定手段が、入力画像と背景画像との間の色情報に基づく差分を用いて、該入力画像における第１領域を特定する第１の特定工程と、
   前記画像処理装置の第２の特定手段が、前記入力画像と前記背景画像との間の輝度情報に基づく差分を用いて、該入力画像における第２領域を特定する第２の特定工程と、
   前記画像処理装置の処理手段が、前記第２の特定工程で特定された前記第２領域に対して、前記第１の特定工程で特定された前記第１領域の面積と前記第２の特定工程で特定された前記第２領域の面積との比率、又は前記第１の特定工程により特定された前記第１領域の境界部の長さと前記第２の特定工程により特定された前記第２領域の境界部の長さとの比率に基づいて、収縮処理を行う処理工程と、
   前記画像処理装置の決定手段が、前記第１の特定工程で特定された前記第１領域と、前記処理工程で収縮処理が行われた前記第２領域と、の少なくとも一方に含まれる領域を、前記入力画像における所定の被写体に対応する前景領域として決定する決定工程と
   を有することを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images