JP7412947B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、撮像画像から、オブジェクトの形状を示す前景画像を生成する技術に関する。

従来、撮像画像からオブジェクト（被写体）に対応する前景領域を抽出する手法として、背景差分法が存在する。背景差分法では、前景となるオブジェクトが写っている撮像画像の各画素値と、当該オブジェクトが写っていない背景のみの画像（背景画像）の各画素値との差分に基づいて、オブジェクトに対応する前景領域を抽出する。ここで、オブジェクトと背景との境界付近において、撮像画像における画素値と背景画像における画素値との違いが小さくなる場合がある。この場合、本来は背景となるべき部分が、オブジェクトに対応する前景領域として誤って抽出されてしまうことが起こる。つまり、従来の背景差分法には、オブジェクトの輪郭に沿って正確に前景領域を抽出することができないことがあった。この点、特許文献１には、撮像画像から前景領域を抽出した後、オブジェクトのエッジ情報に基づいて、抽出した前景領域の整形を行う技術が開示されている。

特開平１０－２３４５２号公報

しかしながら、上記特許文献１の手法では、エッジ情報自体に誤りが含まれていると、オブジェクトの形状を適切に整形ができないという問題があった。

そこで、本開示に係る技術は、前景となるオブジェクトと背景との境界が曖昧でエッジ情報を正確に抽出することが困難な場合においても、精度のよい前景画像を得ることを目的とする。

本開示に係わる画像処理装置は、撮像画像からオブジェクトの形状を示す前景画像を生成する画像処理装置であって、前記撮像画像及び前記オブジェクトの存在しない背景画像を取得する取得手段と、前記撮像画像から前記オブジェクトの形状に対応する前景領域を抽出して、当該前景領域を表す前景画像を生成する抽出手段と、前記前景画像が表す前記前景領域のうち前記オブジェクトの輪郭領域を検出する検出手段と、前記前景画像における前記輪郭領域を構成する画素に対応する前記撮像画像内の画素の色が、前記背景画像によって示される背景の色と類似する場合、前記前景画像における前記輪郭領域を構成する画素の画素値を、背景領域を表す画素値に変更する補正手段と、を有することを特徴とする。

本開示の技術によれば、前景となるオブジェクトと背景との境界が曖昧でエッジ情報を正確に抽出することが困難な場合においても、精度のよい前景画像を得ることができる。

前景画像を生成する処理の概要を説明する図 仮想視点映像を生成する画像処理システムの構成の一例を示す図 カメラアダプタの内部構成を示す機能ブロック図 実施形態１に係る、画像処理部の詳細を示す機能ブロック図 実施形態１に係る、前景画像生成処理の流れを示すフローチャート 注目画素が輪郭領域の画素であるか否かを判定する処理の説明図 実施形態１の効果を説明する図 実施形態２に係る、画像処理部の詳細を示す機能ブロック図 実施形態２に係る、前景画像生成処理の流れを示すフローチャート 実施形態２の効果を説明する図

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［実施形態１］
本実施形態では、オブジェクトに対応する前景領域を撮像画像から抽出した後、当該オブジェクトの輪郭領域（背景との境界部分）を検出する。そして、検出した輪郭領域における色を、背景の色との違いに基づき補正することにより、オブジェクトの形状を示す前景画像を生成する。なお、本実施形態において前景画像は、前景領域を“1”、それ以外の背景領域を“0”で表す二値画像とするが、さらに前景領域の確からしさを表す値を加えた多値画像としてもよい。

また、本実施形態では、撮像画像から生成したオブジェクトの前景画像を、仮想視点映像の生成に利用するケースを例に説明を行うものとする。すなわち、オブジェクトの前景画像からその３次元形状データを生成し、仮想視点情報に基づいて当該オブジェクト含んだ仮想視点映像を生成する、というユースケースを想定する。

（本実施形態の概要）
本実施形態における、前景画像を生成する処理の概要について、図１を参照して説明する。まず、前景領域の抽出対象となる画像（以下、「対象画像」と表記）１０が撮像装置であるカメラ１１によって撮像される。この対象画像１０には、前景としての人物オブジェクト１２と背景としてのフィールド１３とが写っている。さらに、対象画像１０と同一の撮像視点から、人物オブジェクト１２がいない状態で背景となるフィールド１３を写した画像（以下、「背景画像」と表記）１４を撮像する。次に、対象画像１０と背景画像１４とを対応する画素同士で比較し、画素値の違いが大きい画素を人物オブジェクト１２の構成画素と見做すことで、対象画像１０から前景領域だけを抽出する。これにより、人物オブジェクト１２のシルエットを表した前景画像を取得する。なお、オブジェクトの形状を示す前景画像は、シルエット画像やマスク画像とも呼ばれるものであるが、本明細書では“前景画像”を用いることとする。図１における画像１５は、理想的な前景画像を示している。しかしながら実際には、レンズの収差や画像解像度などの影響により、前景領域の輪郭が不明確になることがある。これは、対象画像１０上のオブジェクトと背景との境界付近において、背景の色に近いものからオブジェクトの色に近いものまで、色々な画素値の画素が混ざるためである。オブジェクトと背景との境界付近の画素がこのような状態にあると、オブジェクトの画素と背景の画素とに正しく峻別することができないため、オブジェクトの輪郭に沿わない精度の低い前景領域となってしまう。図１における画像１５’は、オブジェクトの輪郭に沿っていない精度の低い（誤りを含んだ）前景画像を示している。そこで、本実施形態では、撮像画像から生成した前景画像において誤りを含んでいる可能性の高い輪郭部分１６を検出する。そして、検出した輪郭部分１６を構成する画素の画素値を、撮像画像における対応する画素の色が背景の色と類似する場合に、背景を示す画素値に変更する補正処理を行う。こうして、輪郭部分における誤りを修正した前景画像が、最終的な前景画像として出力されることになる。以上が、本実施形態で行われる、前景画像生成処理の概要である。以下、本実施形態の具体的な構成について述べる。

（システム構成）
図２は、仮想視点映像を生成する画像処理システムの構成の一例を示す図である。画像処理システム１００は、撮影モジュール１１０ａ～１１０ｚ、データベース（ＤＢ）２５０、サーバ２７０、制御装置３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。すなわち、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインは撮影モジュール１１０ａ～１１０ｚを含み、データ保存ドメインはＤＢ２５０とサーバ２７０を含み、映像生成ドメインは制御装置３００及びエンドユーザ端末１９０を含む。

制御装置３００は、画像処理システム１００を構成するそれぞれのブロックに対してネットワークを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用ローカルエリアネットワーク等を組合せて構成されてもよい。また、これらに限定されず、他の種類のネットワークであってもよい。

最初に、撮影モジュール１１０ａ～１１０ｚの２６セット分の撮像画像を撮影モジュール１１０ｚからサーバ２７０へ送信する動作を説明する。撮影モジュール１１０ａ～１１０ｚは、それぞれ１台ずつのカメラ１１２ａ～１１２ｚを有する。以下では、撮影モジュール１１０ａ～１１０ｚまでの２６セットのシステムを区別せず、単に「撮影モジュール１１０」と記載する場合がある。各撮影モジュール１１０内の装置についても同様に、「カメラ１１２」、「カメラアダプタ１２０」と記載する場合がある。なお、撮影モジュール１１０の台数を２６セットとしているが、あくまでも一例でありこれに限定されない。

撮影モジュール１１０ａ～１１０ｚはデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果がある。なお、接続形態は任意であり、例えば撮影モジュール１１０ａ～１１０ｚがスイッチングハブ１８０にそれぞれ接続されて、スイッチングハブ１８０を経由して撮影モジュール１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。

本実施形態では、各撮影モジュール１１０はカメラ１１２とカメラアダプタ１２０とで構成されているがこれに限定されない。例えば、マイク、雲台、外部センサを有していてもよい。また、本実施形態では、カメラ１１２とカメラアダプタ１２０とが分離された構成となっているが、同一筺体で一体化されていてもよい。撮影モジュール１１０ａ内のカメラ１１２ａにて得られた撮像画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、撮影モジュール１１０ｂのカメラアダプタ１２０ｂに伝送される。同様に撮影モジュール１１０ｂは、カメラ１１２ｂにて得られた撮像画像を、撮影モジュール１１０ａから取得した撮像画像と合わせて撮影モジュール１１０ｃに伝送する。このような動作を続けることにより、２６セット分の撮像画像が、撮影モジュール１１０ｚからスイッチングハブ１８０に伝わり、その後、サーバ２７０へ伝送される。

なお、本実施形態では、個々のカメラアダプタ１２０内で前景画像の生成までを行うものとして説明する。ただし、このような態様に限定されるものではなく、２６セット分の撮像画像を受け取ったサーバ２７０にて、個々の撮像画像に対応する前景画像の生成を行うような構成であってもよい。

（カメラアダプタの構成）
次に、カメラアダプタ１２０の詳細について説明する。図３は、カメラアダプタ１２０の内部構成を示す機能ブロック図である。カメラアダプタ１２０は、ネットワークアダプタ１２１、伝送部１２２、画像処理部１２３及びカメラ制御部１２４から構成される。

ネットワークアダプタ１２１は、他のカメラアダプタ１２０やサーバ２７０、制御装置３００とデータ通信を行う。また、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、サーバ２７０との間で送受信したデータのタイムスタンプの保存や、サーバ２７０との時刻同期も行う。なお、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ１２１としてＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）を利用するが、これに限定されない。

伝送部１２２は、ネットワークアダプタ１２１を介してスイッチングハブ１８０等に対するデータの伝送を制御する。伝送部１２２は、送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有している。また、受信したデータ及び画像処理部１２３で処理されたデータのルーティング先を決定する機能や、決定したルーティング先へデータを送信する機能を有している。また、画像データを、他のカメラアダプタ１２０またはサーバ２７０へ転送するためのメッセージを作成する機能も有している。メッセージには画像データのメタ情報が含まれる。このメタ情報には、画像撮影のサンプリング時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２の識別子などが含まれる。なお、送信する画像データは圧縮されていてもよい。また、他のカメラアダプタ１２０からメッセージを受け取り、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データに復元する。

画像処理部１２３は、カメラ制御部１２４の制御によりカメラ１１２が撮影した画像データに基づき、オブジェクトの形状を示す前景画像を生成する処理を行う。また、動的キャリブレーションなどの処理も行う。前景画像の生成を複数のカメラアダプタ１２０それぞれが行うことで、画像処理システム１００における負荷を分散させることができる。動的キャリブレーションは、撮影中に行うキャリブレーションで、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理（電子防振処理）などが含まれる。

カメラ制御部１２４は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、時刻設定などを行う。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態情報（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。

（前景画像生成処理の詳細）
続いて、本実施形態に係る、カメラアダプタ１２０での前景画像生成処理について、図４に示す機能ブロック図及び図５に示すフローチャートを参照して、詳しく説明する。図４に示すとおり、カメラアダプタ１２０内の画像処理部１２３は、前景画像の生成に関わる５つの機能部を有する。具体的には、画像取得部４０１、前景領域抽出部４０２、輪郭領域検出部４０３、類似度判定部４０４、画素値補正部４０５を有する。また、図５のフローチャートに示す一連の処理は、カメラアダプタ１２０内の不図示のＣＰＵが、所定のプログラムを不図示のワークメモリ（ＲＡＭ）に展開して実行することで実現される。但し、以下に示す処理の全てが１個のＣＰＵによって実行される必要はなく、処理の一部または全部がＣＰＵ以外の１つ又は複数の処理回路によって行われるように構成してもよい。カメラアダプタ１２０に入力される撮像画像は、複数フレームからなる動画像である。例えば、６０ｆｐｓのフレームレートで撮像された動画像データが１０秒分入力された場合は、全６００フレームの連番画像がストリームとして入力され、フレーム単位で以下に示す処理が順に行われることになる。ただし、入力される撮像画像は動画像に限定される訳ではなく、静止画像であってもよい。なお、以下の説明において記号「Ｓ」はステップを表す。

Ｓ５０１では、画像取得部６０１が、前景領域の抽出対象となるフレーム（以下、「対象画像」と表記）と背景画像のデータを取得する。ここで、背景画像データは、例えば撮像シーンがサッカーの試合であれば選手やボールなどのオブジェクトが存在しない状態のスタジアムにて試合開始直前などに対象画像と同一条件で撮像し、不図示のＨＤＤ等に保持しておいたものを読み込めばよい。この場合において同一条件とは、カメラ１１２の位置、姿勢、焦点距離、光学中心などの物理的条件のほか、天候や時間帯など環境条件も含む。なお、予め撮像した背景画像のデータをＨＤＤ等から読み込んで取得するのではなく、入力された動画像を構成する複数フレームに対して中間値フィルタや平均値フィルタを用いたフィルタ処理を行って作成してもよい。或いは、複数フレームに対してクラスタリング処理を行って作成してもよい。本ステップで取得した対象画像と背景画像のデータは、前景領域抽出部４０２と類似度判定部４０４に出力される。

Ｓ５０２では、前景領域抽出部４０２が、Ｓ５０１で取得した対象画像と背景画像を用いて、対象画像から前景領域を抽出する。具体的には、対象画像と背景画像における対応する画素同士の画素値を比較し、異なる画素値を持つ画素位置を特定する。そして、画素値が同一である座標の画素の画素値を“0”、画素値が同一でない座標の画素の画素値を“1”とすることで、対象画像における前景領域を示す２値画像が得られる。なお、画素値は厳密に同一である必要はなく、所定の閾値（例えば最大画素値の凡そ５％）の範囲内であれば同一と見做してもよい。こうして得られた２値画像は、暫定的な前景画像（以下、「暫定前景画像」と呼ぶ。）として、輪郭領域検出部４０３、類似度判定部４０４及び画素値補正部４０５に出力される。なお、本実施形態では、背景差分法を用いて前景領域の抽出を行うことを前提に説明を行っているが、例えばフレーム間差分法を用いても構わない。

Ｓ５０３では、輪郭領域検出部４０３が、Ｓ５０２で得られた暫定前景画像におけるオブジェクトの輪郭領域を検出するためのマップ（以下、「輪郭マップ」と呼ぶ。）を初期化する。具体的には、輪郭マップの全画素の画素値を“0”に設定する。この輪郭マップは、暫定前景画像と画素数や画像サイズが共通の２値画像である。暫定前景画像における、オブジェクトと背景との境界付近を示す輪郭領域を構成する画素（或いは、その可能性が高い画素）に対応する画素には“1”、それ以外の画素には“0”の値が付与される。本ステップでの初期化により、輪郭マップ内の全画素について、輪郭領域ではないことを示す値“0”が初期値として設定されることになる。初期化処理後はＳ５０４に進む。

Ｓ５０４では、輪郭領域検出部４０３が、Ｓ５０２で得られた暫定前景画像の構成画素のうち注目する画素（以下、「注目画素」と表記）について、オブジェクトと背景との境界付近を示す輪郭領域の画素であるかを判定する。この際の注目画素は、例えば前景画像の左上の画素から順次選択される。ここで、図６を参照して、注目画素が輪郭領域の画素であるか否かの判定処理の詳細を説明する。

まず、注目画素の座標（ｕ₀，ｖ₀）を中心とした所定サイズ（ここでは５×５）のブロック６００を設定する。所定サイズは、対象画像のサイズ（４ＫやフルＨＤなど）やオブジェクトの大きさ（対象画像に占める割合）に応じて事前に定めておけばよい。次に、暫定前景画像における注目画素６０１の画素値とブロック６００に含まれる各画素の画素値とに基づき、注目画素６０１が輪郭領域の画素であるかを判定する。具体的には、暫定前景画像における注目画素６０１の画素値が“1（＝オブジェクト）”であり、かつ、ブロック６００内に画素値が“0（＝背景）の画素が１つ以上存在する場合、注目画素６０１は輪郭領域の画素であると判定する。いま、ブロック６００が、それぞれ６０２～６０４の状態であったとする。ブロック６０２～６０４における各格子はそれぞれ１画素を表しており、画素値が“0”ある画素を黒、画素値が“1”である画素を白で示している。図６の例では、ブロック６０４の場合に、注目画素６０１は輪郭領域の画素であると判定されることになる。注目画素６０１が背景であるブロック６０２や、ブロック６００内に背景の画素がないブロック６０３のように、上記条件を満たさない場合は、注目画素６０１は輪郭領域の画素ではないと判定される。なお、輪郭領域の画素であるか否かの判定手法は、上述の方法に限られない。例えば、暫定前景画像に対してモルフォロジ処理を施した収縮画像を生成し、暫定前景画像における注目画素の画素値と収縮画像における当該注目画素に対応する画素の画素値とが同一でない場合に輪郭領域の画素であると判定してもよい。

Ｓ５０５では、輪郭領域検出部４０３が、Ｓ５０４での判定結果に従って、注目画素についての輪郭マップにおける画素値を更新する。すなわち、注目画素が輪郭領域の画素であると判定された場合は、注目画素の座標（ｕ₀，ｖ₀）と同一座標に対応する、輪郭マップＥ（ｕ₀，ｖ₀）における画素の画素値を“1”に変更する。また、注目画素が輪郭領域の画素ではないと判定された場合は、注目画素の座標（ｕ₀，ｖ₀）と同一座標に対応する、輪郭マップＥ（ｕ₀，ｖ₀）の画素の画素値を“0”のまま維持する。

Ｓ５０６では、暫定前景画像内の全画素が注目画素として処理されたかどうかが判定される。未処理の画素があればＳ５０４に戻り、次の注目画素が選択されて処理が続行される。一方、全画素の処理が完了していれば、輪郭領域検出部４０３から更新を終えた輪郭マップが画素値補正部４０５に出力され、次の処理（Ｓ５０７）に進む。

Ｓ５０７では、類似度判定部４０４が、対象画像を構成する各画素の色が背景の色に類似しているか否かを判定するためのマップ（以下、「類否マップ」と呼ぶ。）を初期化する。具体的には、類否マップの全画素の画素値を“0”に設定する。この類否マップは、対象画像と画素数や画像サイズが共通の２値画像である。対象画像内の画素のうち背景の色と類似する色を持つと判定された画素に対応する画素には“1”、それ以外の画素には“0”の値が付与される。本ステップでの初期化により、類否マップの全画素について、背景の色に類似していないことを示す値“0”が初期値として設定されることになる。初期化処理後はＳ５０８に進む。

Ｓ５０８では、類似度判定部４０４が、対象画像における注目画素の色と背景画像によって示される背景の色との類似度を、色味に関する所定の評価値を用いて判定する。ここでいう「色」には、いわゆる色の三属性（色相、明度、彩度）の情報が含まれる。また、注目画素の意味や選択方法は、Ｓ５０４のときと同じであるので説明を省く。以下、本ステップにおける類似度判定について詳しく説明する。

まず、注目画素の座標（ｕ₀，ｖ₀）を中心としたブロックを設定する。ブロックのサイズはＳ５０４のときと同じでもよいし異なっていてもよい。次に、背景の色と類似する色を持つ画素であるか否かを判定する指標となる、注目画素についての２つの評価値Ｃ_F、Ｃ_Bを求める。この２つの評価値Ｃ_F、Ｃ_Bには例えば平均二乗誤差（ＭＳＥ）を用い、それぞれ以下の式（１）及び式（２）で表される。

上記式（１）及び式（２）において、Ｉ（ｘ，ｙ）は対象画像における座標（ｘ，ｙ）の画素値、Ｉ_F（ｘ，ｙ）は暫定前景画像における座標（ｘ，ｙ）の画素値を表す。また、ｋはＲＧＢ３チャンネルを識別するための添え字を表し、Ｂはブロックを表す。また、ｎ_Fは、ブロック内に含まれる、暫定前景画像においてオブジェクトに対応する前景領域の画素（画素値＝１）の総数、ｎ_Bはオブジェクトに対応しない背景領域の画素（画素値＝０）の総数を表す。ここで、評価値Ｃ_Fは、注目画素の画素値とブロック内に含まれる前景領域の画素値との違いを表し、両者が類似しているほど値は小さくなる。また、評価値Ｃ_Bは、注目画素の画素値とブロック内に含まれる背景領域の画素値との違いを表し、両者が類似しているほど値は小さくなる。なお、本実施形態では色の違いをＭＳＥ（Mean Squared Error）により評価しているが、評価指標はこれに限定されるものではなく、ＭＡＥ（Mean Absolute Error）やＲＭＳＥ（Root Mean Square Error）などを用いてもよい。次に、求めた２つの評価値Ｃ_F、Ｃ_Bに基づいて、注目画素の色が背景の色と類似しているかを判定する。具体的には、注目画素について得られた評価値Ｃ_Fが評価値Ｃ_B以上であれば背景の色と類似していると判定する。逆に、注目画素について得られた評価値Ｃ_Fが評価値Ｃ_B未満であれば背景の色と類似していないと判定する。なお、本実施形態では、注目画素の画素値が、注目画素を中心としたブロック内に含まれる前景領域の画素値に比べて背景領域の画素値に類似している場合、注目画素の色が背景の色に類似していると判定した。しかしながら、類否の判定方法はこれに限られない。例えば、撮像画像内の注目画素における画素値と、当該注目画素と同一座標の背景画像における画素値との差が小さい場合（所定の閾値以下の場合）に、注目画素の色が背景の色と類似していると判定してもよい。この際は、上述した輪郭領域の画素における色の混ざりを考慮し、所定の閾値として相対的に大きな値を設定する。

Ｓ５０９では、類似度判定部４０４が、Ｓ５０８での判定結果に従って、注目画素についての類否マップにおける画素値を更新する。すなわち、注目画素の色が背景の色と類似すると判定された場合は、注目画素の座標（ｘ，ｙ）と同一座標に対応する、類否マップＭ（ｘ，ｙ）における画素の画素値を“1”に変更する。また、注目画素の色が背景の色と類似していないと判定された場合は、注目画素の座標（ｘ，ｙ）と同一座標に対応する、類否マップ（ｘ，ｙ）の画素の画素値を“0”のまま維持する。

Ｓ５１０では、対象画像内の全画素が注目画素として処理されたかどうかが判定される。未処理の画素があればＳ５０８に戻り、次の注目画素が選択されて処理が続行される。一方、全画素の処理が完了していれば、類似度判定部４０４から更新を終えた類否マップが画素値補正部４０５に出力され、次の処理（Ｓ５１１）に進む。

Ｓ５１１では、画素値補正部４０５が、暫定前景画像における注目画素（ｕ₁，ｖ₁）の画素値を、輪郭マップと類否マップとに基づき補正する。注目画素の意味や選択方法は、Ｓ５０４やＳ５０８のときと同じであるので説明を省く。具体的には、以下の３つの条件を満たす場合、注目画素は前景領域を構成する画素ではない（背景領域を構成する画素である）と判定し、暫定前景画像における注目画素の画素値を“0”に変更する。一方、以下の３つの条件を満たさない場合、注目画素は前景領域を構成する画素であると判定し、注目画素の画素値の変更は行わない。
第１条件：Ｉ_F（ｕ₁，ｖ₁）＝1（暫定前景画像における画素値が“1”）であること。
第２条件：Ｅ（ｕ₁，ｖ₁）＝1（輪郭マップにおける画素値が“1”）であること。
第３条件：Ｍ（ｕ₁，ｖ₁）＝1（類否マップにおける画素値が“1”）であること。

上述の通り、暫定前景画像における輪郭領域の各画素は、背景の色とオブジェクトの色とが混ざった画素値を持ち、誤りを含んでいる可能性が高い。そこで、上述の第１条件と第２条件とを用いて、前景領域と輪郭領域のいずれにも属するかどうかを判定する。そして、いずれにも属すると判定された場合において、さらに第３条件も満たす場合は、当該注目画素は背景に属する画素であると判定して、注目画素の画素値を“0”に変更する。以上のような補正処理により、暫定前景画像における誤り部分が修正される。

Ｓ５１２では、暫定前景画像内の全画素が注目画素として処理されたかどうかが判定される。未処理の画素があればＳ５１１に戻り、次の注目画素が選択されて処理が続行される。一方、全画素の処理が完了していれば、画素値補正部４０５は、補正処理後の暫定前景画像を最終的な前景画像として出力する。

以上が、本実施形態に係る、前景画像生成処理の内容である。ここで、図７を参照して、本実施形態の効果について説明する。前述の図１の場合と同様、カメラ１１によって撮像された対象画像１０には、前景としての人物オブジェクト１２と背景としてのフィールド１３とが写っている。そして、対象画像１０と同一の撮像視点からフィールド１３のみを撮像した背景画像を用いて人物オブジェクト１２のシルエットを表した前景画像が生成される。図７には、３種類の前景画像７０１～７０３が示されている。まず、前景画像７０１の場合、人物オブジェクト１２とフィールド１３との境界付近において、本来は背景領域となるべき画素を誤って前景領域の構成画素と判定してしまっており、人物オブジェクト１２のシルエットが実際の輪郭よりも膨張して表現されている。また、前景画像７０２の場合、人物オブジェクト１２のシルエットに相当する部分は正確に抽出できている一方で、対象画像１０に含まれるノイズ部分を前景領域として誤って抽出してしまっている。従来手法によるこれら前景画像に対し、本実施形態の手法によって得られる前景画像７０３の場合、ノイズ部分を前景領域として誤抽出することなく人物オブジェクトのシルエットのみを正確に抽出できている。

＜変形例＞
上述のＳ５０８では、対象画像における注目画素の色と背景の色との類似度を判定する際にＲＧＢ値の情報を用いていた。ＲＧＢ値に代えて、例えば、ＲＧＢ色空間をＨＳＶやＬａｂなどの異なる色空間に変換し、変換後の色空間におけるＨＳＶ値やＬａｂ値の情報を用いてもよい。

以上のとおり本実施形態によれば、前景となるオブジェクトと背景との境界が曖昧であっても、前景となるオブジェクトの輪郭に沿って高精度に前景領域を抽出することができる。

［実施形態２］
次に、背景色との類似度を色成分の出現頻度に基づいて判定する態様を、実施形態２として説明する。なお、画像処理システムの構成といった実施形態１と共通の内容については説明を省略することとし、以下では差異点である画像処理部１２３の構成と処理内容を中心に説明を行うこととする。

（本実施形態の概要）
実施形態１では、オブジェクトの輪郭領域において背景の色に近い色を持つ画素は背景領域の画素と見做されるところ、オブジェクトの色にも同程度に近い色を持つ画素の場合は前景領域の画素と見做されることもある。つまり、所定の評価値に基づくＲＧＢ値全体の類似度合いに基づく判定の場合には、誤りを持つ画素を検出できないことがあり、最終的に得られる前景画像の精度がその分だけ低下してしまう。そこで、本実施形態では、背景画像の各画素において出現頻度が最も高い色成分を求め、対象画像内の注目画素において、当該求めた色成分の値が最も大きいかどうかを基準に、注目画素の色が背景の色に近いかどうかを判定する。ここで、色成分とは、ＲＧＢ色空間の場合であればＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各チャンネルに対応する色成分を意味する。本実施形態では、対象画像はＲＧＢ色空間で色が表現されているものとする。例えば、芝生の上に人が立っているシーンを撮像した場合、得られた撮像画像における人と芝生の境界付近の画素は、芝生の色と人の色とが混ざった色の画素値を持つ。また、芝生の色を表す画素値は、一般的にＧ成分が最大値を取るような画素値となる。従って、輪郭領域の画素において、Ｇ成分が最大となる画素については背景を構成する画素と見做すことができる。具体的な処理内容としては、まず、前景領域の抽出処理と併せて、背景画像における各画素の色解析処理を行う。この色解析処理により、ＲＧＢのうち出現頻度の最も高い色成分を特定する。そして、対象画像における前景領域かつ輪郭領域の画素において最大値を持つ色成分が、背景画像において出現頻度の最も高い色成分と同一である場合、当該画素は前景領域の画素ではないと判定して、その色を背景の色に変更する。これにより、精度の高い前景画像が得られるようにする。

（前景画像生成処理の詳細）
本実施形態に係る、カメラアダプタ１２０での前景画像生成処理について、図８に示す機能ブロック図及び図９に示すフローチャートを参照して、詳しく説明する。図８に示すとおり、本実施形態に係る画像処理部１２３’は、前景画像の生成に関わる６つの機能部を有する。具体的には、画像取得部４０１、前景領域抽出部４０２、輪郭領域検出部４０３、類似度判定部４０４’、画素値補正部４０５及び背景色解析部８０１を有する。

Ｓ９０１～Ｓ９０６は、実施形態１の図５のフローチャートにおけるＳ５０１～Ｓ５０６にそれぞれ対応し、異なるところはないので説明を省く。

Ｓ９０７では、背景色解析部８０１が、Ｓ９０１で取得した背景画像を解析し、背景画像を構成する各画素において出現頻度が最も高い色成分を導出する。より詳細には、背景画像において、画素値としてのＲＧＢ値の中でＲ成分の値が最大となる画素の総数Ｐ_R、Ｇ成分の値が最大となる画素の総数Ｐ_G、Ｂ成分の値が最大となる画素の総数Ｐ_Bを求める。そして、求めたＰ_R、Ｐ_G、Ｐ_Bのうち、その数が最も大きい色成分を、出現頻度が最も高い色成分とする。なお、ここでは背景画像の全画素を用いているが、前景となるオブジェクトの周辺領域など背景画像内の一部領域の中で出現頻度が最も高い色成分を特定してもよい。導出された出現頻度が最も高い色成分の情報は、類似度判定部４０４’に出力される。

Ｓ９０８では、類似度判定部４０４’が、類否マップを初期化する。この類否マップについては、実施形態１で説明したとおりである。初期化処理後はＳ９０９に進む。

Ｓ９０９では、類似度判定部４０４’が、対象画像における注目画素のＲＧＢ値をチェックし、値が最大の色成分を特定する。そして、次のＳ９１０では、類似度判定部４０４’が、対象画像における注目画素の色と背景の色との類似度を、色成分比に基づいて判定する。具体的には、Ｓ９０７にて特定された“背景画像内で出現頻度が最も高い色成分”と、Ｓ９０９にて特定された“注目画素においてその値が最大の色成分”とが同一である場合は、注目画素の色と背景の色とが類似していると判定する。一方、両者が同一でない場合は、注目画素の色と背景の色とは類似していないと判定する。なお、注目画素の意味や選択方法は、実施形態１の図５のフローチャートにおけるＳ５０４やＳ５０８のときと同じである。

Ｓ９１１では、類似度判定部４０４’が、Ｓ９１０での判定結果に従って、注目画素についての類否マップにおける画素値を更新する。すなわち、注目画素の色が背景の色と類似すると判定された場合は、注目画素の座標（ｘ，ｙ）と同一座標に対応する、類否マップＭ（ｘ，ｙ）における画素の画素値を“1”に変更する。また、注目画素の色が背景の色と類似していないと判定された場合は、注目画素の座標（ｘ，ｙ）と同一座標に対応する、類否マップ（ｘ，ｙ）の画素の画素値を“0”のまま維持する。

Ｓ９１２では、対象画像内の全画素が注目画素として処理されたかどうかが判定される。未処理の画素があればＳ９０９に戻り、次の注目画素が選択されて処理が続行される。一方、全画素の処理が完了していれば、類似度判定部４０４’から更新を終えた類否マップが画素値補正部４０５に出力され、次の処理（Ｓ９１３）に進む。

Ｓ９１３及びＳ９１４は、実施形態１の図５のフローチャートにおけるＳ５１１及びＳ５１２にそれぞれ対応し、異なるところはないので説明を省く。

以上が、本実施形態に係る、前景画像生成処理の内容である。ここで、図１０を参照して、本実施形態の効果について説明する。実施形態１の図７の場合と同様、カメラ１１によって撮像された対象画像１０には、前景としての人物オブジェクト１２と背景としてのフィールド１３とが写っている。そして、対象画像１０と同一の撮像視点からフィールド１３のみを撮像した背景画像を用いて人物オブジェクト１２のシルエットを表した前景画像１００１及び１００２が生成される。図１０において、４×４のブロック１４は、対象画像１０の一部を拡大したものであり、ブロック１４の各格子は１画素を表している。また、ブロック１４内の画素群１８は人物オブジェクト１２の色よりも背景の色に類似している画素群を示し、画素群１９は人物オブジェクト１２の色との類似度合いと背景の色との類似度合いが同等である画素群を示す。前景画像１００１は前述の実施形態１の手法を適用して得られた前景画像であり、前景画像１００２は前述の本実施形態の手法を適用して得られた前景画像である。実施形態１の手法で得られる前景画像１００１では、画素群１０１１に示すように、人物オブジェクト１２の色よりも背景の色に類似している画素群１８を、正しく背景として認識することができている。その一方で、オブジェクトの色との類似度合いと背景の色との類似度合いとが同等の画素群１９は、前景領域を構成する画素として処理されており、誤りを含んでいる。これに対し、本実施形態の手法で得られる前景画像１００２では、オブジェクトの輪郭に沿って正確に前景領域が抽出されている。

＜変形例＞
なお、上述のＳ９０２では、実施形態１におけるＳ５０２と同様、事前に撮像した背景画像と対象画像とを比較することで暫定前景画像を得ることとしていた。これに代えて、実施形態１を適用して得られた補正後の出力前景画像を、本実施形態における暫定前景画像として扱い、各処理を行うように構成してもよい。この場合、実施形態１と実施形態２をそれぞれ単独で実行した場合に比べて、より高精度な前景画像を得ることができる。

上述のＳ９０１における、背景画像内で出現頻度の最も高い色成分を決定する方法は、上記の例に限定されない。例えば、ＲＧＢ色空間をＨＳＶやＬａｂなどの異なる色空間に変換し、変換後の色空間における画素値を用いて、色相を複数のグループに分割した後、頻度の高い色相グループを出現頻度の高い色として決定しても良い。

以上のとおり本実施形態によれば、オブジェクトの輪郭に含まれる画素において背景と前景との色の違いが同等程度の場合であっても、オブジェクトの輪郭に沿って前景のオブジェクトを高精度に抽出することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (15)

1. 撮像画像からオブジェクトの形状を示す前景画像を生成する画像処理装置であって、
   前記撮像画像及び前記オブジェクトの存在しない背景画像を取得する取得手段と、
   前記撮像画像から前記オブジェクトの形状に対応する前景領域を抽出して、当該前景領域を表す前景画像を生成する抽出手段と、
   前記前景画像が表す前記前景領域のうち前記オブジェクトの輪郭領域を検出する検出手段と、
   前記前景画像における前記輪郭領域を構成する画素に対応する前記撮像画像内の画素の色が、前記背景画像によって示される背景の色と類似する場合、前記前景画像における前記輪郭領域を構成する画素の画素値を、背景領域を表す画素値に変更する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記前景画像における前記輪郭領域を構成する画素に対応する前記撮像画像内の注目画素の色が、前記撮像画像におけるオブジェクトの色よりも前記背景画像によって示される背景の色に近い場合、当該注目画素の色は当該背景の色に類似していると判定する判定手段を有し、
   前記補正手段は、前記判定手段にて前記背景の色に類似すると判定された前記注目画素に対応する前記前景画像における前記輪郭領域を構成する画素の画素値を、前記背景領域を表す画素値に変更する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記注目画素の色について、前記撮像画像におけるオブジェクトの色よりも前記背景画像によって示される背景の色に近い色であるかどうかを、色味に関する所定の評価値を用いて判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の評価値は、ＭＳＥ、ＭＡＥ、ＲＭＳＥのうちいずれかであることを特徴とする請求項３に記載の画像処理装置。
5. 前記判定手段は、前記前景画像と前記背景画像との間で対応する画素同士の画素値を比較し、その差分が所定の閾値以下の場合に、前記注目画素の色は前記背景画像によって示される背景の色に類似していると判定する、ことを特徴とする請求項２に記載の画像処理装置。
6. 前記判定手段は、前記撮像画像の色空間における画素値、又は当該色空間を異なる色空間に変換した変換後の色空間における画素値を用いて、前記判定を行うことを特徴とする請求項３乃至５のいずれか一項に記載の画像処理装置。
7. 前記撮像画像および前記背景画像は、複数の色成分で表現される共通の色空間を有し、
   前記判定手段は、前記注目画素の色について、前記撮像画像におけるオブジェクトの色よりも前記背景画像によって示される背景の色に近い色であるかどうかを、前記撮像画像を構成する画素における画素値の色成分比に基づいて判定することを特徴とする請求項２に記載の画像処理装置。
8. 前記背景画像の色空間における出現頻度が最も高い色成分を導出する導出手段をさらに有し、
   前記判定手段は、前記導出手段にて導出された前記背景画像内で出現頻度が最も高い色成分と、前記撮像画像内の前記注目画素においてその値が最大の色成分とが同一でない場合、前記注目画素の色は前記背景画像によって示される背景の色に類似しないと判定する、
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記判定手段は、前記共通の色空間に従った画素値、又は当該色空間を異なる色空間に変換した変換後の色空間に従った画素値を用いて、前記判定を行うことを特徴とする請求項７に記載の画像処理装置。
10. 前記検出手段は、前記抽出手段にて生成された前記前景画像における注目画素が前記撮像画像におけるオブジェクトと前記背景画像によって示される背景との境界付近を構成する画素であると見做し得る所定の条件を満たす場合に、当該注目画素を、前記輪郭領域を構成する画素と決定して、前記輪郭領域を検出する、ことを特徴とする請求項２乃至９のいずれか一項に記載の画像処理装置。
11. 前記所定の条件は、前記前景画像における注目画素が、前記前景領域を構成する画素であり、かつ、当該注目画素を含む所定のブロック内に前記背景領域を構成する画素が１つ以上存在する場合である、ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記所定の条件は、前記前景画像における注目画素の画素値と、前記前景画像に対してモルフォロジ処理を行って得られた収縮画像における対応する画素の画素値とが同一でない場合である、ことを特徴とする請求項１０に記載の画像処理装置。
13. 撮像画像からオブジェクトの形状を示す前景画像を生成する画像処理装置であって、
    前記撮像画像を取得する取得手段と、
    前記撮像画像から前記オブジェクトの形状に対応する前景領域を抽出して前景画像を生成する抽出手段と、
    前記前景画像から前記オブジェクトの輪郭領域を検出する検出手段と、
    前記前景画像における前記輪郭領域を構成する画素を、当該画素に対応する前記撮像画像内の画素の色が背景の色と類似するかどうかに基づき補正する補正手段と、
    を有し、
    前記補正手段によって得られた補正後の前景画像を、前記検出手段および前記補正手段における処理の対象となる前景画像とする、
    ことを特徴とする画像処理装置。
14. 撮像画像からオブジェクトの形状を示す前景画像を生成する画像処理方法であって、
    前記撮像画像及び前記オブジェクトの存在しない背景画像を取得する取得ステップと、
    前記撮像画像から前記オブジェクトの形状に対応する前景領域を抽出して、当該前景領域とそれ以外の背景領域とを表す前景画像を生成する抽出ステップと、
    前記前景画像が表す前記前景領域のうち前記オブジェクトの輪郭領域を検出する検出ステップと、
    前記前景画像における前記輪郭領域を構成する画素に対応する前記撮像画像内の画素の色が、前記背景画像によって示される背景の色に類似する場合、前記前景画像における前記輪郭領域を構成する画素を、前記背景領域を表す画素に変更する補正ステップと、
    を含むことを特徴とする画像処理方法。
15. コンピュータを請求項１乃至１３のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。

Images