JP7207957B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像画像から前景領域を決定する技術に関するものである。

撮像画像から人物などの前景領域を決定する処理が行われている。特許文献１では、色差や輝度等の色の特徴量に基づいて被写体領域を検出する手法が開示されている。特許文献１では、画像における無彩色度合いを示す評価値を求め、色差や輝度などの各特徴量に基づいて作成されたマスクを使用するかしないかを、評価値に応じて決定し、使用対象のマスクを用いて被写体領域を検出することが記載されている。

特開２０１４－２３０５７号公報

しかしながら、特許文献１の技術は、画像における無彩色度合いを示す評価値に基づいて、マスクを使用するかしないかを決定する技術であり、無彩色度合いに応じて前景であるかを判定するための条件を適応的に変化させる技術ではない。このため、前景領域を適切に決定できない場合がある。

本発明は、撮像画像から前景領域を適切に決定することを目的とする。

本発明の一態様に係る画像処理装置は、撮像装置によって撮像された撮像画像を取得する第一取得手段と、前記撮像画像に対応する背景画像を取得する第二取得手段と、前記第一取得手段で取得された撮像画像と前記第二取得手段で取得された背景画像との色相の差又は色度の差を特定する第一特定手段と、前記第一取得手段で取得された撮像画像の彩度および前記第二取得手段で取得された背景画像の彩度の少なくとも一方を特定する第二特定手段と、前記第二特定手段で特定された彩度に応じて設定される閾値と、前記第一特定手段で特定された色相の差又は色度の差とに基づいて、前景領域を決定する決定手段と、を有することを特徴とする。

本発明によれば、撮像画像から前景領域を適切に決定することができる。

システムの概略を示す図である。 画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置の機能構成を示すブロック図である。 画像処理を説明するフローチャートである。 処理結果の例を示す図である。 画像処理装置の機能構成を示すブロック図である。 画像処理を説明するフローチャートである。

以下、添付の図面を参照して、実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜＜実施形態１＞＞
本実施形態では、仮想視点画像の生成に用いられる前景領域を決定する形態を説明する。まず、実施形態の理解を容易にするために、仮想視点画像の概要を簡単に説明する。複数の視点で撮像された複数視点の画像を用いて、任意の仮想視点における仮想視点画像を生成する技術がある。例えば、仮想視点画像を用いると、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴閲覧することができるので、通常の画像と比較してユーザに高臨場感を与えることができる。

このような複数視点画像に基づく仮想視点画像の生成は、複数のカメラが撮像した画像をサーバなどの画像処理部に集約し、画像処理部にてレンダリングなどの処理を施すことで行われる。また、生成された仮想視点画像は、ユーザ端末に伝送され、ユーザ端末において閲覧される。

仮想視点画像を生成する際には、主な被写体（オブジェクト）である前景を背景部分から切り離してモデル化した上でレンダリングする処理が行われる。前景をモデル化する際には、複数のカメラから見たときの前景のシルエットに相当する前景マスクの情報と前景のテクスチャの情報（例えば前景の各画素のＲ、Ｇ、Ｂの色情報）とが必要となる。

前景を背景部分から切り離す処理は、前景背景分離処理と呼ばれる。前景背景分離処理は、前景領域を推定して決定する処理であり、一般的に背景差分法によって行われる。背景差分法とは、背景画像と、前景を含む入力画像との差分を求め、差分値が所定の閾値以上と判定された画素の集まりである領域を前景領域とする、というものである。

前景領域の推定処理において、輝度、色、またはテクスチャなどの画像の特徴量を用いて差分を求めることが一般的である。ここで色の特徴量の差分を用いる形態において、彩度が低い場合には、色相の精度が低下する。これにより、前景領域の推定において誤判定が増加してしまうことがある。以下で説明する実施形態では、色の特徴量の差分を用いて前景領域を推定する場合に、彩度に応じて閾値を変化させることで、前景領域の推定の精度を高め、適切な前景領域を決定する処理の一例を説明する。

＜システム構成＞
図１は、本実施形態のシステム１００の概略構成を説明する図である。競技場１０１の周囲に複数のカメラ１０２が並べて配置されており、複数の視点から競技場が撮像されるように構成されている。競技場１０１では、例えばサッカーなどの競技が行われており、競技場１０１の中に前景のオブジェクトとなる人物１０３が存在しているものとする。オブジェクトとは、例えば選手、監督、または審判等の特定の人物である。オブジェクトは、ボール、またはゴール等のように画像パターンが予め定められている物体であってもよい。

各カメラ１０２は、データ伝送のための入出力ハードウェアを備えている。カメラ１０２同士は、例えばネットワークケーブルを使ってリング型のネットワーク接続がされており、ネットワークを介して隣のカメラへ画像データを順次伝送するように構成されている。つまり、カメラは、受信した画像データと、自身のカメラで撮像して得られた画像データとを併せて隣のカメラに伝送するように構成されている。カメラ１０２のうちの一つは画像処理装置２００に接続されており、各カメラ１０２の画像データは、画像処理装置２００まで伝送される。画像処理装置２００では、受信した各画像データを用いて、仮想視点画像を生成する処理が行われる。

＜画像処理装置の構成および処理＞
図２は、画像処理装置２００のハードウェア構成の一例を示す図である。画像処理装置２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、および入出力Ｉ／Ｆ２０５を備える。画像処理装置２００の各部は、システムバス２０６によって相互に接続されている。また、画像処理装置２００は、入出力Ｉ／Ｆ２０５を介して、カメラ１０２および表示操作部２１０に接続されている。

ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３に格納されたプログラムを実行し、システムバス２０６を介して画像処理装置２００の各部を統括的に制御する。これにより、後述する様々な処理が実現される。ＨＤＤ２０４は、画像処理装置２００で取り扱う種々のデータを記憶する大容量記憶装置であり、例えばＳＳＤなどでもよい。ＣＰＵ２０１は、システムバス２０６を介してＨＤＤ２０４へのデータの書き込み、および、ＨＤＤ２０４に記憶されたデータの読出しを行うことができる。

入出力Ｉ／Ｆ２０５は、例えばＵＳＢまたはＩＥＥＥ１３９４等のシリアルバスＩ／Ｆであり、外部装置と画像処理装置２００との間の各種データ・命令等の入力または出力が、入出力Ｉ／Ｆ２０５を介して行われる。表示操作部２１０は、例えばタッチパネル機能を有する液晶ディスプレイなどで構成され、ユーザに対する必要な情報の表示、またはＵＩ画面を介してユーザからの指示を取得する。なお、画像処理装置２００の構成要素は上記以外にも存在し得るが説明を省略する。

図３は、画像処理装置２００の機能構成を示すブロック図である。画像処理装置２００は、画像受信部３０１、記録部３０２、背景生成部３０３、第一輝度情報取得部３０４、第一色相情報取得部３０５、第一彩度情報取得部３０６を備える。また、画像処理装置２００は、第二輝度情報取得部３０７、第二色相情報取得部３０８、第二彩度情報取得部３０９、輝度前景領域推定部３１０、閾値決定部３１１、色相前景領域推定部３１２、前景領域決定部３１３、および仮想視点画像生成部３１４を備える。図３の記録部３０２は、例えばＨＤＤ２０４またはＲＡＭ２０２で実現される。図３のその他の各部は、ＣＰＵ２０１がＲＯＭ２０３等に記憶されたプログラムをＲＡＭ２０２に読み出して実行することで、ＣＰＵ２０１が図３に示す各部として機能する。即ち、画像処理装置２００は、ソフトウェアのモジュールとして図３に示す各モジュールを実現することができる。あるいは、画像処理装置２００は、不図示のＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）やＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などのハードウェアを内蔵してもよい。そして、図３に示す各部は、ＡＳＩＣおよびＦＰＧＡなどのハードウェアにより処理されてもよく、図３に示した各部は、ハードウェアとしてＡＳＩＣやＦＰＧＡの内部に実装されていてもよい。また、図３の一部がソフトウェアで実現され、残りがハードウェアで実現されてもよい。

図４は、画像処理装置２００で行われるフローチャートの一例を示す図である。図４のフローチャートで示される一連の処理は、ＣＰＵ２０１がＲＯＭ２０３またはＨＤＤ２０４に記憶されているプログラムコードをＲＡＭ２０２に展開し実行することにより行われる。あるいは、図４におけるステップの一部または全部の機能をＡＳＩＣ、ＦＰＧＡ、または電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。以下、図２、図３、および図４を参照して、画像処理装置２００の構成および処理の概要を説明する。

Ｓ４０１において画像処理装置２００は、前処理を行う。前処理とは、本実施形態で行う前景領域の決定処理に先立って行われる処理である。例えば、画像受信部３０１は、ネットワークを介して各カメラ１０２の画像データを受信する。以下、画像受信部３０１が受信した画像データによって表される画像のことを入力画像という。入力画像は、時間的に連続して入力される画像であり、動画像および静止画像を含むものである。本実施形態では、入力画像は、動画像のフレーム画像であるものとして説明する。Ｓ４０１において画像受信部３０１は、受信した入力画像に対して、例えばレンズ歪を含んだ画像の歪みの補正や、色及びガンマの調整などの前処理を行う。画像受信部３０１は、前処理した画像データを記録部３０２に保存する。

Ｓ４０２において画像処理装置２００は、背景画像の生成処理を行う。例えば、画像処理装置２００は、表示操作部２１０を通じて仮想視点画像を生成する時刻の情報を取得する。画像受信部３０１は、仮想視点画像を生成する時刻の各カメラのフレーム画像を記録部３０２から順次読み出し、背景生成部３０３、第一輝度情報取得部３０４、第一色相情報取得部３０５、および第一彩度情報取得部３０６へそれぞれ出力する。

背景生成部３０３の説明をする。背景生成部３０３は、各カメラで撮像された複数のフレーム画像（過去に受信したフレーム画像を含む）に基づいて各カメラの背景画像を推定し、その結果をＨＤＤ２０４などのメモリに保存する処理を行う。複数のフレーム画像に基づいた背景生成処理については、例えば混合ガウスモデルによる背景生成方法を用いることができる。混合ガウスモデルについては一般的によく知られている手法であるので詳細な説明は省く。

Ｓ４０２において背景生成部３０３は、画像受信部３０１からフレーム画像を受信すると、対応するカメラについてメモリに保存された背景画像を読み出し、受信したフレーム画像を用いて背景画像を更新し、メモリに保存する。これにより、フレーム画像に対応する背景画像が生成される。背景生成部３０３は、第二輝度情報取得部３０７、第二色相情報取得部３０８、および第二彩度情報取得部３０９に、画像受信部３０１から受信したフレーム画像に対応するカメラの背景画像データを出力する。また、背景生成部３０３は、背景画像データを仮想視点画像生成部３１４に出力する。

Ｓ４０３において第一輝度情報取得部３０４および第二輝度情報取得部３０７において輝度情報の取得処理が行われる。本実施形態では、フレーム画像は、各画素がＲＧＢの画素値で構成されている画像であり、ＲＧＢの画素値から輝度情報を算出することで輝度情報の取得処理が行われる。なお、既に色変換処理が行われている画像を画像処理装置２００で受信するような場合には、算出処理を行わず、受信した画像の輝度情報を取得すればよい。後述する彩度および色相についても同様である。

まず、第一輝度情報取得部３０４の処理を説明する。第一輝度情報取得部３０４は、画像受信部３０１から出力されたフレーム画像の各画素の輝度情報を決定する。本実施形態では、ＲＧＢ画像であるフレーム画像に対して、ＨＳＶ色空間を用いた処理が行われる。第一輝度情報取得部３０４は、輝度情報であるＶ成分を式（１）により決定する。
Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ） 式（１）

ここで、ｍａｘは引数の中の最大値を選択する関数である。第二輝度情報取得部３０７は、背景生成部３０３から出力された背景画像の各画素の輝度情報であるＶ成分を、第一輝度情報取得部３０４と同様に、式（１）により決定する。第一輝度情報取得部３０４および第二輝度情報取得部３０７において取得された輝度情報は、輝度前景領域推定部３１０に出力される。

Ｓ４０４において第一彩度情報取得部３０６および第二彩度情報取得部３０９において彩度情報の取得処理が行われる。まず、第一彩度情報取得部３０６の処理を説明する。第一彩度情報取得部３０６は、画像受信部３０１から出力されたフレーム画像の各画素の彩度情報を取得する。第一彩度情報取得部３０６は、各画素の色情報として、彩度情報であるＳ成分を式（２）により算出する。
Ｓ＝ｍａｘ（Ｒ，Ｇ，Ｂ）－ｍｉｎ（Ｒ，Ｇ，Ｂ） 式（２）

ここで、ｍｉｎは引数の中の最小値を選択する関数である。第二彩度情報取得部３０９は、背景生成部３０３から出力された背景画像の各画素の彩度情報であるＳ成分を、第一彩度情報取得部３０６と同様に、式（２）により算出する。第一彩度情報取得部３０６および第二彩度情報取得部３０９において取得された彩度情報は、閾値決定部３１１に出力される。

Ｓ４０５において第一色相情報取得部３０５および第二色相情報取得部３０８において色相情報の取得処理が行われる。まず、第一色相情報取得部３０５の処理を説明する。第一色相情報取得部３０５は、画像受信部３０１から出力されたフレーム画像の各画素の色相情報を取得する。第一色相情報取得部３０５は、各画素の色情報として、色相情報であるＨ成分を式（３）～式（５）により算出する。なおＳは、式（２）で算出した値を用いる。
ｍｉｎ（Ｒ，Ｇ，Ｂ）＝Ｂ のとき、
Ｈ＝（Ｇ－Ｒ）／Ｓ×６０＋６０ 式（３）
ｍｉｎ（Ｒ，Ｇ，Ｂ）＝Ｒ のとき、
Ｈ＝（Ｂ－Ｇ）／Ｓ×６０＋１８０ 式（４）
ｍｉｎ（Ｒ，Ｇ，Ｂ）＝Ｇ のとき、
Ｈ＝（Ｒ－Ｂ）／Ｓ×６０＋３００ 式（５）

なお、ｍａｘ（Ｒ，Ｇ，Ｂ）＝ｍｉｎ（Ｒ，Ｇ，Ｂ） のときは、Ｈの値は無効とする。第二色相情報取得部３０８は、背景生成部３０３から出力された背景画像の各画素の色相情報であるＨ成分を、第一色相情報取得部３０５と同様に、式（３）～式（５）により算出する。なおＳは式（２）で算出した値を用いる。またｍａｘ（Ｒ，Ｇ，Ｂ）＝ｍｉｎ（Ｒ，Ｇ，Ｂ）のときは、Ｈの値は無効とする。第一色相情報取得部３０５および第二色相情報取得部３０８において取得された色相情報は、色相前景領域推定部３１２に出力される。

Ｓ４０６において輝度前景領域推定部３１０は、Ｓ４０３で取得されたフレーム画像の輝度情報と背景画像の輝度情報とを用いてフレーム画像の前景領域を推定する。例えば、輝度前景領域推定部３１０は、フレーム画像のＶ成分および背景画像のＶ成分の差を検査し、その値が予め定められた閾値より大きければ、その画素を前景と推定する。本実施形態において輝度前景領域推定部３１０が用いる閾値は、全画素で共通の閾値である。なお、本実施形態においては、ＨＳＶ色空間におけるＶ成分を輝度情報として用いる例を示したが、これに限らない。輝度情報については他の色空間による処理を行ってもよい。例えばＹＵＶ色空間による処理を行ってもよい。一般的に、ＹＵＶ色空間において、輝度Ｙを式（６）で算出する方法が知られている。
Ｙ=０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ 式（６）

輝度情報の算出については、この他にも様々な計算方法が知られており、どの計算方法を用いても良い。

図５は、前景領域の一例を示す図である。図５において黒い部分が前景を示している。図５（ａ）は、輝度前景領域推定部３１０における処理結果の例を示す図である。図５（ａ）では、人物形状の一部に欠損が生じている。フレーム画像と背景画像との輝度の差が小さい部分があると、図５（ａ）に示すような欠損部が生じる現象が発生する。輝度前景領域推定部３１０で推定された前景領域を示す画像は、前景領域決定部３１３に出力される。

Ｓ４０７において閾値決定部３１１は、第一彩度情報取得部３０６および第二彩度情報取得部３０９から出力された彩度情報に基づいて色相の差を検査するための閾値を決定し、決定した閾値を色相前景領域推定部３１２に出力する。本実施形態では、閾値決定部３１１は、彩度に対応する閾値を決定するためのテーブルを保持する。閾値決定部３１１は、テーブルを参照することで閾値を決定する。例えば、閾値決定部３１１は、まずフレーム画像および背景画像のＳ成分のうち小さい方の値に基づいて、テーブル参照により閾値を決定する。このテーブルは、Ｓ成分の値が小さいほど、閾値が大きくなるように予め設定されている。彩度（Ｓ成分）が小さいほど色相（Ｈ成分）の精度が低下する。このため、彩度（Ｓ成分）が小さいほど前景と判定する閾値を大きくすることで、低い彩度において色相の精度が低下した場合に、前景領域と推定させ難くし、誤判定の発生を抑制することが可能となる。逆に、彩度（Ｓ成分）が大きいほど色相（Ｈ成分）の精度が上昇する。このため、彩度（Ｓ成分）が大きいほど前景と判定する閾値を小さくすることで、高い彩度においては、色相による差分によって前景と判定され易くすることができる。

Ｓ４０８において色相前景領域推定部３１２は、第一色相情報取得部３０５および第二色相情報取得部３０８から出力された色相情報と、閾値決定部３１１から出力された閾値とを用いて、前景領域を推定する処理を行う。色相前景領域推定部３１２は、フレーム画像のＨ成分と背景画像のＨ成分との差分値を算出し、差分値と閾値とを比較する。色相前景領域推定部３１２は、差分値が閾値より大きければその画素を前景と推定する。このとき、色相前景領域推定部３１２は、フレーム画像のＳ成分と背景画像のＳ成分との差を算出し、差が第二の閾値より大きい場合に、その画素を前景と推定してもよい。つまり、色相の差分値が所定の閾値より大きく、かつ、彩度の差が第二の閾値より大きい場合に、その画素を前景と判定してもよい。あるいは、色相の差分値が所定の閾値より大きい場合であっても、フレーム画像のＳ成分の値と背景画像のＳ成分の値とが両方とも第三の閾値よりも小さければ、前景であると推定しない処理を行ってもよい。

以上の処理を、全画素を処理対象の画素とした処理をすると、色相情報に基づいて推定された前景領域を表す画像が完成する。この処理は、前述したように画素ごとに個別に実行される。このため、本来前景である領域の内部に細かな画素の欠落が発生したり、本来背景である領域に細かなノイズが発生したりする。そのため、例えば前景領域を示す画像に対して平滑化処理を行うことで、欠落やノイズを除去する処理を行ってもよい。色相前景領域推定部３１２で推定された前景領域を示す画像は、前景領域決定部３１３に出力される。

図５（ｂ）は、色相前景領域推定部３１２における処理結果の例を示す図である。色相情報に基づく前景領域の推定処理の結果においては、前景領域の内部に細かなノイズが出る、または前景境界の精度が下がるなどの傾向が生じることが多い。

Ｓ４０９において、前景領域決定部３１３は、輝度前景領域推定部３１０および色相前景領域推定部３１２から出力された前景領域を示す画像を、画素毎の論理和（ＯＲ）演算を行うことによって合成することで、前景領域を決定する。なお、前景領域決定部３１３は、両画像のＯＲ演算に限らず、他の論理演算や、さらにその他の各種処理を行ってもよい。

図５（ｃ）は、輝度前景領域推定部３１０における処理結果（図５（ａ））と、色相前景領域推定部３１２における処理結果（図５（ｂ））と、に対する演算結果の例を示す図である。輝度を用いた推定によって生じている人物形状の欠損部が色相を用いた推定によって補完されることで、前景領域が改善されていることがわかる。前景領域決定部３１３で決定された前景領域を示す画像データは、仮想視点画像生成部３１４に出力される。

Ｓ４１０において仮想視点画像生成部３１４は、ユーザ指定などにより入力された仮想視点位置に応じて仮想視点画像を生成する。仮想視点画像の生成方法としては、例えばＶｉｓｕａｌＨｕｌｌなどの方法が知られている。仮想視点画像生成部３１４は、背景生成部３０３から出力された背景画像データを用いて２次元上へ再投影することで、まず仮想視点における背景を生成する。また、仮想視点画像生成部３１４は、前景領域決定部３１３から出力された各カメラの前景領域を示す画像データに基づいて、各前景の３次元形状を復元する。仮想視点画像生成部３１４は、前景に対応する画像を３次元モデルに対応付けた後、２次元上へ再投影することで、仮想視点画像を生成する。ＶｉｓｕａｌＨｕｌｌについてはよく知られた手法なので詳細な説明は省く。

以上説明したように、本実施形態においては、ＨＳＶ色空間において、色情報に基づいた前景推定処理と輝度情報に基づいた前景推定処理とが行われる。即ち、２段階での前景推定処理が行われる。そして、それぞれの前景推定処理の結果に所定の演算を行うことで、前景領域が決定される。本実施形態では、色情報に基づく前景推定処理において、画像全体に閾値を設けるのではなく、画素ごとに閾値を設けている。そして、画素ごとに設けた閾値を、画素ごとの彩度に応じて変化させる処理を行っている。このような処理によれば、画素ごとに彩度に応じて適応的に閾値が変化するので、例えば、低い彩度において色相の精度が低下した場合でも誤判定の発生を抑制することができる。

なお、輝度情報に基づいた前景推定処理においては、画素ごとに閾値を変化させずに、各画素で共通の閾値を用いる例を示しているが、輝度情報に基づいた前景推定処理においても画素ごとに閾値を設けてもよい。

また、図４のフローチャートでは、彩度情報の取得処理および色相情報の取得処理の前に輝度情報の取得処理を行う例を示したが、この順に限られるものではない。また、輝度による前景領域推定処理の後に色相による前景領域推定処理を行う例を示したが、逆の順序で処理が行われてもよい。

＜＜実施形態２＞＞
実施形態１においては、色情報に基づく前景推定処理として、ＨＳＶ色空間における前景領域を推定する処理を説明した。本実施形態では、色情報に基づく前景推定処理として、Ｌａｂ色空間における前景領域を推定する例を説明する。

本実施形態における画像処理システムの構成は、実施形態１と同様であるので説明を省略する。

図６は、本実施形態の画像処理装置２００の機能構成を示すブロック図である。本実施形態における画像処理装置２００は、画像受信部６０１、記録部６０２、背景生成部６０３、第一輝度情報取得部６０４、第一色度情報取得部６０５を備える。また、第二輝度情報取得部６０７、第二色度情報取得部６０８、輝度前景領域推定部６１０、閾値決定部６１１、色度前景領域推定部６１２、前景領域決定部６１３、および仮想視点画像生成部６１４を備える。

図６の記録部６０２は、例えばＨＤＤ２０４またはＲＡＭ２０２で実現される。図６のその他の各部は、ＣＰＵ２０１がＲＯＭ２０３等に記憶されたプログラムをＲＡＭ２０２に読み出して実行することで、ＣＰＵ２０１が図３に示す各部として機能する形態でもよい。あるいは、画像処理装置６００は、不図示のＡＳＩＣやＦＰＧＡなどのハードウェアを内蔵してもよい。そして、図６に示す各部は、ＡＳＩＣおよびＦＰＧＡなどのハードウェアにより処理されてもよく、図６に示した各部は、ハードウェアとしてＡＳＩＣやＦＰＧＡの内部に実装されていてもよい。また、図６の一部がソフトウェアで実現され、残りがハードウェアで実現されてもよい。

図７は、画像処理装置２００で行われるフローチャートの一例を示す図である。Ｓ７０１において画像処理装置２００は、前処理を行う。前処理は、実施形態１で説明した処理と同様であるので、説明は省略する。

Ｓ７０２において画像処理装置２００は、背景画像の生成処理を行う。背景画像の生成処理は、実施形態１で説明した処理と同様であるので、説明は省略する。なお、画像受信部６０１は、フレーム画像を第一輝度情報取得部６０４、第一色度情報取得部６０５、および背景生成部６０３に出力する。また、背景生成部６０３で生成された背景画像データは、第二輝度情報取得部６０７、第二色度情報取得部６０８、および仮想視点画像生成部６１４に出力される。

Ｓ７０３において第一輝度情報取得部６０４および第二輝度情報取得部６０７において輝度情報の取得処理が行われる。本実施形態では、フレーム画像は、各画素がＲＧＢの画素値で構成されている画像であり、ＲＧＢの画素値から輝度情報を算出することで輝度情報の取得処理が行われる。なお、既に色変換処理が行われている画像を画像処理装置２００で受信するような場合には、算出処理を行わず、受信した画像の輝度情報を取得すればよい。後述する色度についても同様である。

まず、第一輝度情報取得部６０４の処理を説明する。第一輝度情報取得部６０４は、画像受信部６０１から出力されたフレーム画像の各画素の輝度情報を決定する。本実施形態では、ＲＧＢ画像であるフレーム画像に対して、Ｌａｂ色空間を用いた処理が行われる。なお、Ｌ成分、ａ成分、ｂ成分の算出式については一般的に知られているため詳細な説明は省略することとする。第一輝度情報取得部６０４は、フレーム画像から輝度情報であるＬ成分を算出する。同様に、第二輝度情報取得部６０７は、背景画像から輝度情報であるＬ成分を算出する。

Ｓ７０４において第一色度情報取得部６０５および第二色度情報取得部６０８において色度情報の取得処理が行われる。第一色度情報取得部６０５は、画像受信部６０１から出力されたフレーム画像の各画素の彩度情報および色相情報に対応する色度を示すａ成分およびｂ成分を算出する。同様に、第二色度情報取得部６０８は、背景生成部６０３から出力された背景画像の各画素のａ成分およびｂ成分を算出する。

Ｓ７０５において輝度前景領域推定部６１０は、Ｓ７０３で取得されたフレーム画像の輝度情報と背景画像の輝度情報とを用いてフレーム画像の前景領域を推定する。例えば、輝度前景領域推定部６１０は、フレーム画像および背景画像のＬ成分の差を検査し、その値が予め定められた閾値より大きければ、その画素を前景と推定する。

Ｓ７０６において閾値決定部６１１は、第一色度情報取得部６０５および第二色度情報取得部６０８から出力された色度情報に基づいて、色度の差を検査するための閾値を決定し、決定した閾値を色度前景領域推定部６１２に出力する。閾値決定部６１１は、まずフレーム画像および背景画像の彩度Ｓを式（７）により算出する。
Ｓ＝ｓｑｒｔ（ａ＾２＋ｂ＾２） 式（７）

ここで、ｓｑｒｔは平方根を求める関数であり、＾は累乗を表す記号である。閾値決定部６１１は、フレーム画像および背景画像のうちＳ成分が小さい方の値に基づいて、テーブル参照により閾値を決定する。このテーブルは、Ｓ成分の値が小さいほど、閾値が大きくなるように予め設定されている。つまり、彩度（Ｓ成分）が小さいほど色度の精度が低下するのに応じて、前景と判定する閾値を大きくすることで、低い彩度において色度の精度が低下した場合に、誤判定の発生を抑制することが可能となる。閾値決定部６１１は、画素ごとに閾値を決定し、決定した閾値を色度前景領域推定部６１２に出力する。

Ｓ７０７において色度前景領域推定部６１２は、第一色度情報取得部６０５および第二色度情報取得部６０８から出力された色度情報と、閾値決定部６１１から出力された閾値とを用いて、前景領域を推定する処理を行う。色度前景領域推定部６１２は、フレーム画像の色度と背景画像の色度との差分値を算出し、差分値と閾値とを比較する。色度前景領域推定部６１２は、差分値が閾値より大きければその画素を前景と推定する。以上の処理を全画素について処理すると、色度情報に基づいて推定された前景領域を表す画像が完成する。色度前景領域推定部６１２で推定された前景領域を示す画像は、前景領域決定部６１３に出力される。

Ｓ７０８において前景領域決定部６１３は、輝度前景領域推定部６１０および色度前景領域推定部６１２から出力された前景領域を示す画像を、画素毎のＯＲ演算を行うことによって合成することで、前景領域を決定する。このように、実施形態１と同じように、輝度に基づいて前景が推定された人物形状の欠損部などを色度に基づいて前景が推定された結果を用いて補完することで、前景形状が改善される。前景領域決定部６１３で決定された前景領域を示す画像データは、仮想視点画像生成部に出力される。

Ｓ７０９において仮想視点画像生成部６１４は、仮想視点画像を生成する。仮想視点画像の生成処理は、実施形態１で説明した処理と同様であるので、説明は省略する。

以上説明したように、本実施形態では、Ｌａｂ色空間において、色情報に基づいた前景推定処理と、輝度情報に基づいた前景推定処理とが行われる。そして、それぞれの前景推定処理の結果に所定の演算を行うことで前景領域が決定される。本実施形態においても、実施形態１と同様に、色情報に基づく前景推定処理において、画像全体に閾値を一つ設けるのではなく、画素ごとに閾値を設けている。そして、画素ごとに設けた閾値を、画素ごとの彩度に応じて変化させる処理を行っている。このような処理によれば、画素ごとに彩度に応じて適応的に閾値が変化するので、例えば、低い彩度において色度の精度が低下した場合でも誤判定の発生を抑制することができる。

なお、色の特徴量の差分として、例えばＬａｂ色空間における色差ΔＥを用いる方法が行われることがある。しかしながら、色差ΔＥは、輝度と色とを含めた評価値となる。このため、彩度によって色情報の精度が変化することに対して適応的な制御をすることはできない。本実施形態では、Ｌａｂ色空間における色度の差を比較する閾値を彩度に応じて変化させることで誤判定を防止することができる。

＜＜その他の実施形態＞＞
上述した実施形態では、色情報に基づいた前景推定処理と輝度情報に基づいた前景推定処理とをそれぞれ行い、その結果に基づいて前景判定処理の結果を決定する形態を例に挙げて説明したが、この例に限られない。前景判定処理として、色情報に基づいた前景推定処理と輝度情報に基づいた前景推定処理とが一括して行われる形態でもよい。

また、上述した実施形態では、彩度に応じて画素ごとに閾値を変える形態を例に挙げて説明したが、この例に限られない。画素ごとの閾値を変えずに、閾値との比較対象である色相または色度を、彩度に応じて重みづけをして補正し、補正後の値と閾値とを画素ごとに比較してもよい。なお、この補正後の値は、前景推定処理のために一時的に用いられる値である。このような処理でも、上述した実施形態と同様の効果を得ることができる。

また、上述した実施形態では、フレーム画像および背景画像のうちのＳ成分が小さい値に対応する閾値をテーブル参照により決定する形態を例に挙げて説明したが、これに限らない。例えば、フレーム画像の彩度Ｓｆと背景画像の彩度Ｓｂとの差が所定の範囲内であれば、彩度Ｓｆから彩度Ｓｂの間の任意の値、例えば彩度Ｓｆと彩度Ｓｂとの平均値などに対応する閾値が決定されてもよい。即ち、フレーム画像および背景画像のＳ成分から多少ずれた値に対応する閾値を用いても同等の効果を得ることができる。

また、上述した実施形態では、説明の便宜上、輝度情報取得部、色相情報取得部、彩度情報取得部、および色度情報取得部が、フレーム画像用と背景画像用とでそれぞれ構成されている例を説明したが、これに限られない。各情報の取得部が、フレーム画像用と背景画像用とで共通の取得部として構成されていてもよい。

また、上述した実施形態では、画像の各画素の色の属性の値として輝度、彩度、色相、明度などの情報を用いる形態を説明したが、これに限られない。画像の各画素の色の属性を示す値を用いる形態であれば、いずれの形態でもよい。また、第一の属性の値の差分値を、画素ごとの第二の属性の値に応じて変化する閾値と比較して第一の前景領域を推定し、第三の属性の差分値を、全画素に共通の閾値と比較して第二の前景領域を推定してもよい。そして、第一の前景領域と第二の前景領域とに基づいて前景領域を決定してもよい。

また、上述した実施形態では、仮想視点画像を生成するために前景領域を決定する処理を例に挙げて説明したが、これに限られない。例えば、監視カメラなどのような単一のカメラで得られた撮像画像から前景領域を決定する処理に適用してもよい。

以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、前述した実施形態では、一つの画像処理装置２００が、複数のカメラの画像データを取得して各カメラにおける背景画像の生成および前景領域の決定を行う形態を説明した。しかしながら、この形態に限られない。例えば、各カメラのハードウェア、または、各カメラに付随する画像処理装置が、仮想視点画像生成部の機能を除く機能を有する形態でもよい。そして、各カメラ側において、背景画像および前景領域を示す画像を生成し、生成したそれぞれのデータが、仮想視点画像を生成する装置に送信される形態でもよい。

また、実施形態１では、色相を用いて前景領域を推定する処理を説明し、実施形態２では、色差を用いて前景領域を推定する処理を説明した。これらを合わせた実施形態を採用してもよい。即ち、色相を用いて前景領域を推定する処理と、色差を用いて前景領域を推定する処理との両方の処理を行ってもよい。そして、それぞれで推定された前景領域に所定の演算を行い、色情報を用いて推定された前景領域が決定されてもよい。つまり、色相を用いて前景領域を推定する処理と、色差を用いて前景領域を推定する処理とのうちの少なくとも一方の処理を行う形態を採用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０３ 背景生成部
３１０ 輝度前景領域推定部
３１１ 閾値決定部
３１２ 色相前景領域推定部

Claims (15)

1. 撮像装置によって撮像された撮像画像を取得する第一取得手段と、
   前記撮像画像に対応する背景画像を取得する第二取得手段と、
   前記第一取得手段で取得された撮像画像と前記第二取得手段で取得された背景画像との色相の差又は色度の差を特定する第一特定手段と、
   前記第一取得手段で取得された撮像画像の彩度および前記第二取得手段で取得された背景画像の彩度の少なくとも一方を特定する第二特定手段と、
   前記第二特定手段で特定された彩度に応じて設定される閾値と、前記第一特定手段で特定された色相の差又は色度の差とに基づいて、前景領域を決定する決定手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、対象の画素について、前記第一特定手段で特定された色相の差又は色度の差が、前記閾値より大きい場合、前記対象の画素を前景領域の画素であると決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第二特定手段で特定された彩度に応じて、前記閾値を設定する設定手段をさらに有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記設定手段は、前記第二特定手段で特定された彩度が第一の値の場合の閾値を、彩度が前記第一の値よりも大きい第二の値の場合の閾値よりも大きくなるように、前記閾値を設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記第一特定手段は、前記色相の差を特定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第一特定手段は、前記色度の差を特定し、
   前記第二特定手段は、前記第一取得手段で取得された撮像画像の色度から前記彩度を特定する、又は、前記第二取得手段で取得された背景画像の色度から前記彩度を特定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記第二特定手段は、前記第一取得手段で取得された撮像画像の彩度と前記第二取得手段で取得された背景画像の彩度とを特定し、
   前記決定手段は、前記第二特定手段で特定された撮像画像の彩度と背景画像の彩度との差が、第二の閾値よりも小さい場合、前記第一特定手段で特定された色相の差又は色度の差に関わらず、前記対象の画素を前景領域の画素であると決定しないことを特徴とする請求項２に記載の画像処理装置。
8. 前記第二特定手段は、前記第一取得手段で取得された撮像画像の彩度と前記第二取得手段で取得された背景画像の彩度とを特定し、
   前記決定手段は、前記第二特定手段で特定された撮像画像の彩度および背景画像の彩度が、いずれも第三の閾値よりも小さい場合、前記第一特定手段で特定された色相の差又は色度の差に関わらず、前記対象の画素を前景領域の画素であると決定しないことを特徴とする請求項２に記載の画像処理装置。
9. 前記第一取得手段で取得された撮像画像と前記第二取得手段で取得された背景画像の輝度の差を特定する第三特定手段と、
   前記第三特定手段で特定された輝度の差と、第四の閾値とを用いて前景領域を決定する第二決定手段と、
   前記決定手段で決定された前景領域と、前記第二決定手段で決定された前景領域とに基づいて前景領域を特定する第四特定手段と、
   をさらに有することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記第二決定手段は、対象の画素について、前記第三特定手段で特定された輝度の差が、前記第四の閾値より大きい場合、前記対象の画素を前景領域の画素であると決定することを特徴とする請求項９に記載の画像処理装置。
11. 前記第四の閾値は、各画素において共通の値であることを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記第四特定手段は、前記決定手段で決定された前景領域と、前記第二決定手段で決定された前景領域との論理和を求めることで、前景領域を特定することを特徴とする請求項９から１１のいずれか１項に記載の画像処理装置。
13. 前記第四特定手段で特定された前景領域と、前記第二取得手段で取得された背景画像とを用いて仮想視点画像を生成する生成手段をさらに有することを特徴とする請求項９から１２のいずれか１項に記載の画像処理装置。
14. 撮像装置によって撮像された撮像画像を取得する第一取得ステップと、
    前記撮像画像に対応する背景画像を取得する第二取得ステップと、
    前記第一取得ステップで取得された撮像画像と前記第二取得ステップで取得された背景画像との色相の差又は色度の差を特定する第一特定ステップと、
    前記第一取得ステップで取得された撮像画像の彩度および前記第二取得ステップで取得された背景画像の彩度の少なくとも一方を特定する第二特定ステップと、
    前記第二特定ステップで特定された彩度に応じて設定される閾値と、前記第一特定ステップで特定された色相の差又は色度の差とに基づいて、前景領域を決定する決定ステップと、
    を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１から１３のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images