JP6873644B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像画像から前景の被写体による領域を抽出する技術に関する。

従来、被写体（前景の被写体と背景の被写体とを含む）を撮像することで取得した撮像画像から前景の被写体による領域を抽出する手法として、背景差分法が存在する。背景差分法では、前景の被写体と背景の被写体とが写っている撮像画像の画素値と、背景の被写体のみが写っている背景画像の画素値との画素毎の差分に基づいて、前景の被写体による領域を抽出した前景画像を作成する。このとき、特定の条件の元で予め撮像した背景のみが写っている画像を背景画像として用いた場合、時間の経過に伴う日照の変化などにより背景が変化すると、前景の被写体による領域を抽出する精度が低下してしまうという問題があった。

上記の問題を解決するために、特許文献１は、撮像時刻が異なる複数の画像に基づいて作成した背景画像を用いることで、背景の変化によらず前景の被写体による領域を抽出する技術を開示する。

また、特許文献２は、同一時刻において異なる視点から撮像した複数の画像に基づいて作成した背景画像を用いて、時間の経過に伴う被写体の変化によらず前景の被写体による領域を抽出する技術を開示する。

特開２０１２−１０４０５３号公報 特開２０１４−２３０１８０号公報

しかしながら、特許文献１では、前景の被写体が動かないで停止している場合、この前景の被写体による領域を背景の被写体による領域と誤って判定するため、背景画像を精度良く作成できない。このため、前景の被写体による領域の抽出精度が低下するという課題がある。

また、特許文献２では、単一の視点からでは見えない背景の被写体の情報を、他の視点における情報により補うことで背景画像を作成するが、シーン内に存在する前景の被写体が密集し前景の被写体が重なる領域などにおいて、背景画像を精度良く作成できない。このため、前景の被写体による領域の抽出精度が低下するという課題がある。

そこで本発明は、上記の課題を鑑みて、時間の経過に伴う被写体の変化（移動など）の有無や前景の被写体の疎密などの被写体の状態によらず、前景の被写体による領域を高精度に抽出することを目的とする。

本発明は、前景の被写体と背景の被写体とを含む対象画像データを取得する対象画像データ取得手段と、複数の異なる視点における、前記背景の被写体を含む背景画像データを取得する背景画像データ取得手段と、前記背景画像データ取得手段が取得した複数の背景画像データを、着目視点から見た場合の画像へとそれぞれ変換することで、複数の変換背景画像データを作成する変換背景画像データ作成手段と、前記変換背景画像データ作成手段が作成した複数の変換背景画像データにおける着目画素間の一致の度合いを示す一致度を算出する算出手段と、前記算出手段が算出した一致度に基づき、前記着目視点との距離に応じて決定された基準視点に対応する前記変換背景画像データにおける補正対象画素を検出する検出手段と、前記検出手段が検出した前記補正対象画素の画素値を、前記複数の変換背景画像データにおける前記補正対象画素の画素値の統計値に基づいて補正することにより、前記基準視点に対応する前記変換背景画像データを補正する補正手段と、前記対象画像データ取得手段が取得した対象画像データと前記補正手段が補正した変換背景画像データとに基づき、前記前景の被写体による領域が抽出された画像である前景画像データを作成する前景画像データ作成手段とを有することを特徴とする画像処理装置である。

本発明によれば、時間の経過に伴う被写体の変化（移動など）の有無や前景の被写体の疎密などの被写体の状態によらず、前景の被写体による領域を高精度に抽出することができる。

実施例１乃至３における画像処理装置のハードウェア構成を示すブロック図 実施例１における画像処理装置の機能構成を示すブロック図 実施例１における前景領域を抽出する処理の流れを示すフローチャート 実施例１における前景領域を抽出する処理の概要を説明する図 実施例１における画像変換を説明する図 実施例１の効果を説明する図 実施例２における画像処理装置の機能構成を示すブロック図 実施例２における前景領域を抽出する処理の流れを示すフローチャート 実施例２における連続性の算出手法を説明する図 実施例２の効果を説明する図 実施例３における画像処理装置の機能構成を示すブロック図 実施例３における前景領域を抽出する処理の流れを示すフローチャート 実施例３の効果を説明する図

以下、本発明の実施形態について、図面を参照して説明する。ただし、以下の実施形態は本発明を限定するものではなく、また、以下の実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素については、同じ符号を付して説明する。

［実施例１］
実施例１では、多視点画像、具体的には複数の異なる視点における前景の被写体の画像を一部含む背景の被写体の画像（以下、不完全な背景画像）に基づき、着目視点における前景の被写体の画像を含まない背景の被写体の画像（以下、完全な背景画像）を作成する。そして、完全な背景画像を用いて、処理対象の画像から前景の被写体による領域を抽出する。

＜前景領域を抽出する処理の概要について＞
以下、本実施例における前景領域を抽出する処理の概要について、図４を用いて説明する。本実施例では、まず、複数の異なる視点における背景画像データ４０１を取得する。背景画像データとは、背景の被写体の画像、所謂背景画像である。ここで取得する背景画像データは、前景の被写体の画像（以下、前景画像）を全く含まない完全な背景画像である必要はないが、前景領域を抽出する対象の画像を撮像した時刻に近い時刻に撮像した画像であることが望ましい。取得する複数の背景画像データ４０１の中には、前景領域を抽出する対象の画像を撮像した視点４０２と同一の視点における画像が含まれているものとする。以下、前景領域を抽出する対象の画像を対象画像（データ）と呼び、対象画像（データ）を撮像した視点を着目視点と呼ぶ。

次に、取得した背景画像データ４０１を、視点毎に、地上面を基準として着目視点４０２から見た場合の画像へと変換することで、着目視点における背景画像データ４０３を作成する。ここで作成される背景画像データ４０３の数は、背景画像データ４０１の数と同一である。以下、背景画像データ４０１を変換することで得られる背景画像データ４０３を、変換背景画像データ４０３と呼ぶ。

ここで、前景の被写体とは、撮像画像に含まれる被写体の中で撮像装置に対して近い位置に存在する被写体を意味する。例えば、対象画像データがスポーツなどの競技シーンを撮像したデータである場合、選手や審判などの人物や、ゴールやボールなどの器具が前景の被写体であり、前景の被写体には、時系列に沿って連続で撮像した複数の画像において概ね動き続けるものが含まれる。一方で、背景の被写体とは、撮像画像に含まれる被写体の中で撮像装置に対して遠い位置に存在するため前景の被写体の背後となる被写体を意味する。例えば、対象画像データがスポーツなどの競技シーンを撮像したデータである場合、芝や土で構成されるグラウンド、体育館の床などが背景の被写体であり、背景の被写体は、時系列に沿って連続で撮像した複数の画像において概ね止まっているものが多い。

このような前景の被写体は地上面からの高さを持つ一方で、背景の被写体は地上面からの高さを持たない。そのため、複数の変換背景画像データ４０３を用いて、地上面からの高さを持つ被写体つまり前景の被写体の画像（前景画像）を検出し、該検出した前景画像を不完全な背景画像から除去することで、着目視点４０２における完全な背景画像を作成する。具体的には、着目視点４０２における画像を含む複数の変換背景画像データ４０３について、着目画素間の一致の度合いを画素毎に算出し、一致の度合いが低い画素を前景の被写体の画像領域の画素として検出する。上述の通り、変換背景画像データ４０３は、背景画像データ４０１を、地上面を基準面として着目視点４０２から見た場合の画像に変換することで得られる画像である。そのため、地上面に存在し高さを持たない被写体４０４に対応する、背景画像データ４０１における領域４０５〜４０７の画素の座標はそれぞれ、全ての変換背景画像データ４０３において共通して同じ位置に存在する領域４０８の画素の座標へと変換される。一方、高さを持つ被写体４０９に対応する、背景画像データ４０１における領域４１０〜４１２の画素の座標はそれぞれ、視点によって位置が異なる領域４１３〜４１５の画素の座標へと変換される。従って、複数の変換背景画像データ４０３において、着目画素間の一致の度合いが高い画素を、高さを持たない背景の被写体の画像領域の画素とみなし、一致の度合いが低い画素を、高さを持つ前景の被写体の画像領域の画素とみなす。これにより、完全な背景画像を作成する。最後に、作成した着目視点４０２における完全な背景画像と対象画像データとを比較することで前景領域を抽出する。

以上が、本実施例で行われる処理の概要である。なお、用いる対象画像データは上記の例に限られず、監視カメラで撮像したデータなど様々な画像データを用いることができる。また、ここでは、背景画像データ４０１の中に着目視点における画像が含まれる場合について説明したが、背景画像データの中に着目視点における画像が含まれない場合にも本実施例を適用可能であり、具体的な処理方法は後述する。

＜画像処理装置のハードウェア構成について＞
以下、本実施例の画像処理装置のハードウェア構成について述べる。図１は、本実施例の画像処理装置のハードウェア構成の一例を示すブロック図である。本実施例の画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、及び出力インターフェース１０６を備え、これらの構成要素は、システムバス１０７によって相互に接続されている。また、画像処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８に接続されており、出力インターフェース１０６を介して外部記憶装置１０８と表示装置１０９とに接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して画像処理装置１００の各構成要素を統括的に制御する。これにより、後述する様々な処理が実行される。

二次記憶装置１０４は、画像処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施例ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みと二次記憶装置１０４に記憶されたデータの読出しとを行うことができる。なお、二次記憶装置１０４としてＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。

入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースであり、外部装置から画像処理装置１００へのデータや命令等の入力は、入力インターフェース１０５を介して行われる。画像処理装置１００は、入力インターフェース１０５を介して、外部記憶装置１０８（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。なお、入力インターフェース１０５にはマウスやキーボードなどユーザーが入力するための入力デバイス（不図示）も接続可能である。出力インターフェース１０６は、入力インターフェース１０５と同様のＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースの他に、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子も含む。画像処理装置１００から外部装置へのデータの出力は、出力インターフェース１０６を介して行われる。画像処理装置１００は、出力インターフェース１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に処理した画像などを出力することで、画像の表示を行う。なお、画像処理装置１００の構成要素は上述のもの以外にも存在するが、本発明の主眼ではないため、説明を省略する。

＜前景領域を抽出する処理について＞
以下、本実施例における画像処理装置１００が実行する前景領域を抽出する処理について、図２及び図３を用いて説明する。図２は、画像処理装置１００の機能構成を示すブロック図であり、図３は、前景領域を抽出する処理の流れを示すフローチャートである。画像処理装置１００のＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして用いてＲＯＭ１０３に格納されたプログラムを実行することで、図２に示す各構成要素として機能し、図３に示す一連の処理を実行する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全部が、ＣＰＵ１０１以外の１つ又は複数の処理回路によって行われるように画像処理装置１００を構成しても良い。

以下、各構成要素により行われる処理の流れを説明する。ステップＳ３０１において、対象画像データ取得部２０１は、入力インターフェース１０５を介して外部記憶装置１０８から、又は、二次記憶装置１０４から、対象画像データを取得する。上述の通り、対象画像データとは、前景領域を抽出する対象となる画像である。また、対象画像データ取得部２０１は、対象画像データを撮像したカメラの視点を着目視点と定める。なお、ここでは、対象画像データが１枚の画像である場合について説明しているが、対象画像データが複数枚の画像である場合についても、本実施例を適用することが可能である。さらに、対象画像データ取得部２０１は、対象画像データを撮像したカメラのパラメータ（以下、カメラパラメータ）を、対象画像データとともに取得する。ここでカメラパラメータとは、３次元空間中の点をカメラで撮像される画像上に射影する計算を可能とするパラメータであって、カメラの位置、姿勢を表す外部パラメータと、焦点距離、光学中心を表す内部パラメータとを含む。メモリ上に予め記憶されている計測値や設計値を、カメラパラメータとして用いて良い。対象画像データ取得部２０１は、対象画像データを前景抽出部２０７に、カメラパラメータを画像変換部２０３に出力する。

ステップＳ３０２において、背景画像データ取得部２０２は、入力インターフェース１０５を介して外部記憶装置１０８から、又は、二次記憶装置１０４から、複数の異なる視点における複数の背景画像データを取得する。ここで背景画像データとは、対象画像データを撮像した際の環境と略同一の環境（天候や時間帯など）における背景の被写体の画像である。なお、上述の通り、本ステップで取得する背景画像データは、前景画像を全く含まない背景画像（完全な背景画像）である必要はない。

本実施例では、シーンを同一の視点から時系列に沿って連続で撮像することで取得した複数の異なる時刻に対応する複数の画像に対して、中間値フィルタを用いたフィルタ処理を行うことで、各視点における背景画像データを作成する。ただし、背景画像データを作成する手法はこの手法に限られない。例えば、平均値フィルタなど他のフィルタを用いて背景画像データを作成しても良いし、複数の画像に対するクラスタリング処理を行うことで、背景画像データを作成しても良い。また、視点毎に、前景の被写体が存在しない状態で事前に撮像することで取得した背景画像データを用いても良い。

また、背景画像データ取得部２０２は、各背景画像データに対応するカメラパラメータを、背景画像データとともに取得する。さらに、背景画像データ取得部２０２は、複数の背景画像データのそれぞれを区別するため、各背景画像データを、カメラの視点を区別する番号（以下、カメラの視点番号）と対応付けて記憶する。背景画像データ取得部２０２は、背景画像データとカメラパラメータとを画像変換部２０３に出力し、背景画像データのみを補正部２０６に出力する。

ステップＳ３０３において、画像変換部２０３は、対象画像データ取得部２０１と背景画像データ取得部２０２とから取得したカメラパラメータを用いて、背景画像データ取得部２０２から取得した背景画像データを、着目視点から見た場合の画像へと変換する。具体的には、背景画像データ毎に、地上面を基準として射影変換することで、着目視点から見た場合の画像を得る。なお、本ステップでの画像変換により得られる背景画像（データ）を変換背景画像（データ）と呼ぶ。このように、画像変換部２０３は、変換背景画像データ作成手段として機能する。ここで、本ステップにおける画像変換の手法を、図５を用いて説明する。

図５に示すように、３次元空間中のある点５０１がカメラ５０２の画像に投影されている場合、点５０１とカメラ５０２とを結ぶ直線と、画像面５０３とが交差してできる点５０４が、３次元空間中の点５０１の画像面５０３への投影像となる。同様に、カメラ５０２と異なる位置に存在するカメラ（別視点のカメラ）５０５では、点５０１とカメラ５０５とを結ぶ直線と、画像面５０６とが交差してできる点５０７が、点５０１の画像面５０６への投影像となる。ここで、点５０１を含む、画像面５０３と画像面５０６とに投影されている全ての３次元空間中の点が、地上面である同一平面上に存在する場合について検討する。この場合、カメラ５０２とカメラ５０５とのカメラパラメータによって算出される３×３のホモグラフィ行列Ｈ₀₁を用いて、式（１）により、画像面５０３上の任意の画素の座標（ｕ₀、ｖ₀）は、画像面５０６上の座標（ｕ₁、ｖ₁）へと変換される。

ステップＳ３０３では、背景画像データ取得部２０２から取得した背景画像データに対応する視点のカメラを上述のカメラ５０２とし、対象画像データ取得部２０１で定めた着目視点のカメラをカメラ５０５とする射影変換を、背景画像データ毎に実行する。このため、本ステップで取得する変換背景画像データの数は、背景画像データ取得部２０２が取得した背景画像データの数と同一である。また、変換背景画像データはそれぞれ、背景画像データ取得部２０２が取得した各背景画像データの視点番号と対応付けて記憶される。画像変換部２０３は、変換背景画像データを一致度算出部２０４と補正部２０６とに出力する。

ステップＳ３０４において、画像変換部２０３は、背景画像データ取得部２０２から取得した背景画像データの中から、対象画像データを撮像したカメラ位置（着目視点）と最も近い視点に対応する画像を、基準の背景画像（以下、基準背景画像）として定める。具体的には、着目視点の座標（Ｘo，Ｙo，Ｚo）と、背景画像データ取得部２０２から取得した背景画像データに対応する視点の座標（Ｘｉ，Ｙｉ，Ｚｉ）との距離を視点毎に算出する。ここで、ｉは視点番号を表しており、１≦ｉ＜視点数＋１となる。そして、算出した距離が最小となる視点（基準視点）を検出し、基準視点に対応する背景画像（データ）を基準背景画像（データ）とする。画像変換部２０３は、基準背景画像に対応する視点番号を、一致度算出部２０４と補正部２０６とに出力する。本実施例では、基準背景画像に対応する視点番号を、基準視点番号と呼ぶ。

ステップＳ３０５において、一致度算出部２０４は、複数の変換背景画像データにおいて画素が一致するかを判定する対象となる、変換背景画像データにおける着目画素を決定する。本実施例では、まず、変換背景画像データの左上の画素が着目画素として選択され、その後、未処理の画素が着目画素として順次選択される。なお、変換背景画像データの全画素について、複数の変換背景画像データにおいて画素が一致するかの判定が実行されれば、どのような順番で着目画素を決定しても良い。

ステップＳ３０６において、一致度算出部２０４は、画像変換部２０３から取得した複数の変換背景画像データを用いて、基準視点番号に対応する変換背景画像データと他の変換背景画像データとの間の、着目画素における一致度を算出する。以下、この一致度の算出手法を具体的に説明する。

まず、一致度算出部２０４は、決定した着目画素の座標（ｕ₂、ｖ₂）における、変換背景画像データの画素値Ｂ_j（ｕ₂、ｖ₂）を取得する。ここでｊは複数の変換背景画像データのそれぞれを区別する添え字を表し、一致度算出部２０４は、変換背景画像データの数分の画素値を取得する。次に、一致度算出部２０４は、取得した全画素値の中間値を算出する。この中間値は、一致度を算出する際の基準値Ｍとして用いられる。なお、基準値はこれに限られず、平均値など、複数の画素値の統計的な性質を反映する任意の値を基準値として用いて良い。

次に、一致度算出部２０４は、着目画素における一致度を、基準視点番号に対応する変換背景画像データにおける着目画素の画素値Ｂ₀（ｕ₂、ｖ₂）と算出した基準値Ｍ（ｕ₂、ｖ₂）とを用いて、式（２）により算出する。

ここで、ｋはＲＧＢ３チャンネルを識別するための添え字を表す。式（２）により算出する一致度Ｄは、複数の変換背景画像データにおける画素値のばらつきが少ないほど小さくなる。なお、用いる一致度はこれに限られず、画素間の違いを示す任意の値を用いて良い。例えば、基準視点番号に対応する変換背景画像データにおける着目画素の画素値Ｂ₀（ｕ₂、ｖ₂）と、他の変換背景画像データにおける着目画素の画素値それぞれとの差分の総和を一致度として用いても良い。

ステップＳ３０７において、一致度算出部２０４は、変換背景画像データの全画素についてステップＳ３０５〜ステップＳ３０６の処理を行ったかを判定する。ステップＳ３０７の判定の結果が真の場合、一致度算出部２０４は、算出した全画素の一致度を補正判定部２０５に、算出した基準値を補正部２０６に出力し、ステップＳ３０８に進む。一方、ステップＳ３０７の判定の結果が偽の場合、ステップＳ３０５に戻る。

ステップＳ３０８において、補正判定部２０５は、フラグマップを初期化つまりフラグマップの全画素の画素値を０とする。本ステップで初期化するフラグマップは、ステップＳ３１１で基準視点番号に対応する変換背景画像データの画素を補正する際、補正処理の対象となる画素を判定するために用いられる。このフラグマップでは、補正処理の対象の画素に対応する画素値に１が代入され、補正処理の対象ではない画素に対応する画素値に０が代入される。本ステップでの初期化により、基準視点番号に対応する変換背景画像データの全画素について、補正処理の対象ではないとされることとなる。

ステップＳ３０９において、補正判定部２０５は、一致度算出部２０４から取得した一致度に基づいてフラグマップを更新する。具体的には、補正判定部２０５は、基準視点番号に対応する変換背景画像データにおいて前景の被写体の画像領域の画素である可能性が高いとみなされた画素に対応する、フラグマップの画素値を１に変更する。本実施例では、算出した一致度Ｄが事前に定めた閾値以上であれば、基準視点番号に対応する変換背景画像データの画素と他の変換背景画像データの画素との一致の度合いが低いため、着目画素が前景の被写体の画像領域の画素である可能性が高いと判定する。一方、一致度Ｄが閾値未満であれば、基準視点番号に対応する変換背景画像データの画素と他の変換背景画像データの画素との一致の度合いが高いため、着目画素が背景の被写体の画像領域の画素である可能性が高いとする。なお、本ステップで用いる閾値は、画素値の最大値などに基づいて決定し、最大値の２０％より小さい値、例えば、最大値の１％〜５％の範囲内の任意の値を用いて閾値を決定する。すなわち、任意の値をａとすると、式（２）では一致度として差分二乗和を用いることから、閾値はa×a×3となる。なお、仮に一致度として差分の総和を用いる場合、閾値はa×3となる。また、前景の被写体の画像領域の画素であるかの判定は、画素毎に行う。補正判定部２０５は、更新が完了したフラグマップを補正部２０６に出力する。

ステップＳ３１０において、補正部２０６は、基準視点番号に対応する変換背景画像データにおける着目画素を決定する。本実施例では、まず、基準視点番号に対応する変換背景画像データの左上の画素が着目画素として選択され、その後、未処理の画素が着目画素として順次選択される。なお、基準視点番号に対応する変換背景画像データの全画素についてフラグマップに基づく画素値の更新（ステップＳ３１１）が実行されれば、どのような順番で着目画素を決定しても良い。

ステップＳ３１１において、補正部２０６は、補正判定部２０５から取得したフラグマップに基づき、基準視点番号に対応する変換背景画像における着目画素の画素を補正する。本実施例では、基準視点番号に対応する変換背景画像における着目画素に対応するフラグマップの画素値が１である場合、該着目画素の画素値を、一致度算出部２０４で算出した基準値で置き換える。一方、基準視点番号に対応する変換背景画像における着目画素に対応するフラグマップの画素値が０である場合、該着目画素の画素値は変更しない。なお、画素値を補正する手法はこれに限られず、基準視点と隣接する視点に対応する背景画像の画素値で置き換えるなど他の手法を用いても良い。

ステップＳ３１２において、補正部２０６は、基準視点番号に対応する変換背景画像データの全画素についてステップＳ３１０〜ステップＳ３１１の処理を行ったかを判定する。ステップＳ３１２の判定の結果が真の場合、補正部２０６は、補正が完了した基準視点番号に対応する変換背景画像データを、前景抽出部２０７に出力して、ステップＳ３１３に進む一方、該判定の結果が偽の場合、ステップＳ３１０に戻る。

ステップＳ３１３において、前景抽出部２０７は、補正部２０６から取得した補正が完了した基準視点番号に対応する変換背景画像データ（完全な背景画像Ｉ_bとする）を用いて、対象画像データ（Ｉとする）から前景の被写体による領域を抽出する。具体的には、式（３）に示すように、完全な背景画像Ｉ_bと対象画像データＩとの間で画素毎に差分二乗和を算出し、差分二乗和が閾値以上である画素を前景の被写体の画像領域の画素とみなすことで、前景の被写体による領域を抽出した画像Ｉ_fを作成する。画像Ｉ_fは２値画像であり、前景の被写体の画像領域の画素に対応する画素値に１が代入され、背景の被写体の画像領域の画素に対応する画素値に０が代入される。

ここで、Ｔｈは閾値を表し、ｋはＲＧＢ３チャンネルを識別するための添え字を表す。なお、ここで用いる閾値は、画素値の最大値などに基づいて決定し、画素値の最大値の２０％より小さい値、例えば、最大値の１％〜５％の範囲内の任意の値を用いて閾値を求めて良い。この閾値の求め方は、式（２）の場合と同様である。このように、前景抽出部２０７は、前景画像データ作成手段として機能する。前景抽出部２０７は、作成した画像Ｉ_fを二次記憶装置１０４や外部記憶装置１０８や表示装置１０９に出力して、一連の処理は完了する。以上が、本実施例における画像処理装置１００が実行する、前景領域を抽出する処理である。

＜本実施例の効果について＞
以下、本実施例の効果について図６を用いて説明する。図６において、画像データ６０１は、従来手法に従って時系列に沿って連続で撮像した複数の画像に基づき作成した、視点６０２における背景画像データである。背景画像データ６０１には、前景の被写体６０３（ゴールキーパー）や前景の被写体（ゴール）６０４などの前景の被写体が写っている。この理由は、背景画像データを作成するための連続画像を撮像する際に、前景の被写体６０３、６０４が、同一位置に存在し動かなかった結果、背景画像データを作成する際に前景の被写体６０３、６０４が背景の被写体と誤ってみなされたためである。背景画像データ６０１を用いて、対象画像データ６０５から前景領域を抽出した場合、前景画像データ６０６が取得される。前景画像データ６０６では、被写体６０３、６０４以外の、概ね動いている前景の被写体による領域を抽出できている。しかし、停止している前景の被写体６０３、６０４による領域を、抽出できていない。

また、画像データ６０７は、従来手法に従って対象画像データ６０５を撮像した時刻と同一時刻に複数の異なる視点から撮像した複数の画像に基づき作成した、視点６０２における背景画像データである。背景画像データ６０７には、前景の被写体６０３（ゴールキーパー）や前景の被写体（ゴール）６０４などの前景の被写体は写っていないものの、背景の被写体の一部が欠けて写っている。この理由は、背景画像データを作成するために撮像したシーン内で前景の被写体が密集しており、前景の被写体の一部が複数の視点から見えなかったためである。背景画像データ６０７を用いて、対象画像データ６０５から前景領域を抽出した場合、前景画像データ６０８が取得される。前景画像データ６０８では、地上面からの高さを持つ前景の被写体による領域を概ね抽出できている。しかし、前景の被写体が密集しているために、複数の視点から見えない前景の被写体による領域６０９を、抽出できていない。

これに対し、本実施例では、複数の異なる視点における不完全な背景画像（例えば、背景画像データ６０１など）を用いて、完全な背景画像である背景画像データ６１０を作成する。背景画像データ６１０を用いて、対象画像データ６０５から前景領域を抽出した場合、前景画像データ６１１が取得される。前景画像データ６１１では、停止している前景の被写体６０３、６０４による領域や、複数の視点から見えない前景の被写体による領域を、高精度に抽出できている。このように、本実施例によれば、時間の経過に伴う被写体の変化（移動など）の有無や前景の被写体の疎密などの被写体の状態によらず、前景の被写体による領域を高精度に抽出することができる。

［実施例２］
実施例１では、複数の不完全な背景画像に基づき完全な背景画像を作成する際、視点によって異なる変換背景画像の、着目画素における一致の度合いを示す一致度を用いる。一方、本実施例では、複数の不完全な背景画像に基づき完全な背景画像を作成する際、一致度に加えて、視点によって異なる変換背景画像の、着目画素における画素値の変化の滑らかさ度合い、所謂連続性を用いる。なお、実施例１と同様の構成及び同様の処理については、実施例１と同様の符号を付して説明を省略する。

＜前景領域を抽出する処理の概要について＞
以下、本実施例における前景領域を抽出する処理の概要について説明する。本実施例では、複数の異なる視点における背景画像データを着目視点から見た場合の画像にそれぞれ変換することで得られる変換背景画像データを用いて、視点間の画素値の連続性を算出する。画素値の連続性とは、着目視点における変換背景画像データと該着目視点に隣接する視点における変換背景画像データとの間における、画素値の変化の滑らかさ度合いである。

具体的には、基準視点番号に対応する変換背景画像データにおける着目画素の画素値と、基準視点に隣接する視点における変換背景画像データにおける着目画素の画素値とを比較し、画素値間の差分の総和を連続性として算出する。続いて、実施例１で説明した一致度と、本実施例で算出した連続性とを用いて、一致の度合いが低く、且つ、画素値の変化が滑らかでない画素を、前景の被写体の画像領域の画素である可能性が高いとみなし補正対象の画素として検出する。そして、検出した補正対象の画素の画素値を更新して変換背景画像データを補正することで、完全な背景画像を作成する。最後に、作成した完全な背景画像と対象画像データとを比較して、前景領域を抽出する。

実施例１では、全視点における背景画像データに基づき算出した画素値の一致度のみを用いて、着目画素が前景の被写体の画像領域の画素であるかを判定した。そのため、視点によって色の見え方が変化することにより画素値が異なる背景の被写体の画像領域の画素も、前景の被写体の画像領域の画素である可能性が高いとみなされ、補正対象の画素として検出される。その結果、補正する必要のない画素も補正されてしまうため、補正後の変換背景画像データに誤差が発生し、前景の被写体の画像を含まない完全な背景画像を精度良く作成することができない。視点によって見え方が変化する背景の被写体として、スポーツなどの競技シーンを撮像した画像に存在する、方向性をもって刈られている芝が挙げられる。方向性をもって刈られている芝は、見る方向により芝の色の見え方が異なり、その結果、同一位置の芝であっても視点によって画素値が変化する。このような芝を背景の被写体とするシーンに実施例１を適用した場合、複数の変換背景画像データにおける画素間の一致の度合いは低くなるため、背景の被写体である芝の画像領域の画素が前景の被写体の画像領域の画素であると誤判定される。かかる誤判定を防ぐために、本実施例では、一致度に加えて連続性を用いて、着目画素が前景の被写体の画像領域の画素であるかを判定する。一般的に、視点によって色の見え方が変化する被写体に関しては、離れた視点間で色の見え方に顕著な違いが現れる場合はあるが、近接する視点間での色の見え方の変化は緩やかである。そのため、本実施例では、色の見え方の違いにより画素値が変化した背景の被写体の画像領域の画素と、地上面からの高さを持つために画素値が変化した前景の被写体の画像領域の画素とを区別する。その結果、変換背景画像を精度良く補正して完全な背景画像を作成することができるため、対象画像データから前景の被写体による領域を高精度に抽出することが可能となる。なお、視点によって色の見え方が変化する被写体は上記の芝生の例に限られず、体育館の床など様々なものが存在する。

＜前景領域を抽出する処理について＞
以下、本実施例における画像処理装置１００が実行する前景領域を抽出する処理について、図７及び図８を用いて説明する。図７は、本実施例における画像処理装置１００の機能構成を示すブロック図であり、図８は、本実施例における前景領域を抽出する処理の流れを示すフローチャートである。画像処理装置１００のＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして用いてＲＯＭ１０３に格納されたプログラムを実行することで、図７に示す各構成要素として機能し、図８に示す一連の処理を実行する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全部が、ＣＰＵ１０１以外の１つ又は複数の処理回路によって行われるように画像処理装置１００を構成しても良い。

ステップＳ８０１において、連続性算出部７０１は、連続性を算出する対象となる、変換背景画像データにおける着目画素を決定する。本実施例では、まず、変換背景画像の左上の画素が着目画素として選択され、その後、未処理の画素が着目画素として順次選択される。なお、変換背景画像データの全画素について連続性の算出が実行されれば、どのような順番で着目画素を決定しても良い。

ステップＳ８０２において、連続性算出部７０１は、画像変換部２０３から取得した変換背景画像データを用いて、基準視点とその周辺の視点とに対応する変換背景画像における、着目画素の画素値の連続性を算出する。ここで、本ステップにおける連続性の算出手法を、図９を用いて説明する。

まず、画像変換部２０３が定めた基準視点番号に対応するカメラ９０１と隣接する、カメラ９０２、９０３を検出し、これらのカメラに対応する視点番号を取得する。以下、取得した視点番号を隣接視点番号と呼ぶ。ここで、基準視点番号に対応するカメラ９０１と隣接するカメラは、カメラの３次元空間中の座標から算出した、カメラ９０１までの距離に基づいて決定される。本実施例では、カメラ９０１の左側に存在するカメラの中でカメラ９０１までの距離が最も短いカメラ９０２と、カメラ９０１の右側に存在するカメラの中でカメラ９０１までの距離が最も短いカメラ９０３とが、カメラ９０１に隣接するカメラとして検出される。

次に、基準視点番号に対応する変換背景画像９０４と隣接視点番号に対応する変換背景画像９０５、９０６とから、着目画素の座標（ｕ₂、ｖ₂）の画素９０７、９０８、９０９の画素値を取得し、該取得した画素値を用いて、式（４）により連続性を算出する。

ここで、Ｂ₉₀₁（ｕ₂、ｖ₂）、Ｂ₉₀₂（ｕ₂、ｖ₂）、Ｂ₉₀₃（ｕ₂、ｖ₂）はそれぞれ、カメラ９０１、９０２、９０３に対応する変換背景画像９０４、９０５、９０６における着目画素９０７、９０８、９０９の画素値を表す。またｋは、ＲＧＢ３チャンネルを識別するための添え字を表す。式（４）により算出するＣの値は、視点間の画素値の変化が滑らかであるほど小さくなる。なお、用いる連続性は、式（４）により算出されるＣに限られず、離散値からの二階微分など、視点間の画素値の連続性を示す任意の値を用いて良い。また、本実施例では、基準視点番号に対応するカメラ９０１と隣接するカメラ９０２、９０３を用いる場合について説明しているが、用いるカメラはこれらに限られず、被写体の見え方によっては他のカメラを用いても良い。例えば、基準視点番号に対応するカメラ９０１の左側で、カメラ９０２の代わりに、カメラ９０２の次にカメラ９０１までの距離が近いカメラを用いても良い。カメラ９０１の右側で用いるカメラについても同様である。

ステップＳ８０３において、連続性算出部７０１は、変換背景画像データの全画素についてステップＳ８０１〜ステップＳ８０２の処理を行ったかを判定する。ステップＳ８０３の判定の結果が真の場合、連続性算出部７０１は、算出した全画素の連続性を補正判定部７０２に出力し、ステップＳ３０８に進む一方、該判定の結果が偽の場合、ステップＳ８０１に戻る。

ステップＳ８０４において、補正判定部７０２は、一致度算出部２０４から取得した一致度と連続性算出部７０１から取得した連続性とに基づいて、フラグマップを更新する。具体的には、補正判定部７０２は、基準視点番号に対応する変換背景画像データにおいて、前景の被写体の画像領域の画素である可能性が高いとみなされた画素に対応する、フラグマップの画素値を１に変更する。本実施例では、算出した一致度Ｄが事前に定めた閾値以上、かつ、算出した連続性Ｃが事前に定めた閾値以上であれば、基準視点番号に対応する変換背景画像と他の変換背景画像との着目画素における一致の度合い及び変化の滑らかさ度合いが低いとする。つまり、着目画素が前景の被写体の画像領域の画素である可能性が高いと判定する。一方、これらの条件を満たさない場合、着目画素が背景の被写体の画像領域の画素である可能性が高いと判定する。なお、本ステップで用いる閾値は、画素値の最大値などに基づいて決定し、最大値の２０％より小さい値、例えば、最大値の１％〜５％の範囲内の任意の値を用いて閾値を求めて良い。この閾値の求め方は実施例１と同様である。また、前景の被写体の画像領域の画素であるかの判定は、画素毎に行う。補正判定部７０２は、更新が完了したフラグマップを補正部２０６に出力する。以上が、本実施例における画像処理装置１００が実行する、前景領域を抽出する処理である。

＜本実施例の効果について＞
以下、本実施例の効果について図１０を用いて説明する。画像データ１００２は、背景画像データを、視点毎に、地上面を基準として視点１００１から見た場合の画像へ変換することで取得する変換背景画像データである。ここで視点１００１は、着目視点、且つ、基準視点であるものとする。また、被写体１００３は、視点によって色の見え方が変化する背景の被写体（例えば、芝生）であり、被写体１００５は、前景の被写体である。

図１０に示すシーンに実施例１を適用し、多視点の不完全な背景画像に基づき完全な背景画像を作成した場合、背景画像データ１００４が取得される。背景画像データ１００４では、前景の被写体１００５の画像を除去できているものの、背景の被写体１００３が正しく写っていない。この理由は、完全な背景画像を作成する際に、着目画素が前景の被写体の画像領域の画素であるかを一致度のみに基づき判定するので、背景の被写体１００３の画像領域の画素が、前景の被写体の画像領域の画素と判定されてしまうためである。この結果、背景の被写体１００３の画像領域の画素が補正された背景画像データ１００４が作成される。背景画像データ１００４を用いて、対象画像データから前景領域を抽出しようとしても、前景領域を精度良く抽出することはできない。

これに対し、本実施例では、多視点の不完全な背景画像に基づき完全な背景画像を作成する際に、着目画素が前景の被写体の画像領域の画素であるかを、一致度と連続性とに基づき判定する。この結果、背景の被写体１００３の画像領域の画素を、前景の被写体の画像領域の画素と判定せず、背景の被写体１００３の画像領域の画素が補正されていない背景画像データ１００６が作成される。背景画像データ１００６では、前景の被写体１００５の画像を除去しつつ、背景の被写体１００３が正しく写っている。背景画像データ１００６を用いて対象画像データから前景領域を抽出することで、前景領域を高精度に抽出できるようになる。このように、本実施例によれば、背景の被写体が、視点によって色の見え方が変化する被写体である場合であっても、前景の被写体による領域を高精度に抽出することができる。

［実施例３］
実施例１及び実施例２では、複数の異なる視点における不完全な背景画像に基づき完全な背景画像を作成し、該作成した完全な背景画像と対象画像データとを比較することで前景の被写体による領域を抽出する。一方、本実施例では、複数の異なる視点における、不完全な前景画像を用いて、影による領域を含まないように前景領域を抽出する。ここで不完全な前景画像とは、前景の被写体による領域と該前景の被写体に付随する影による領域とが前景領域として抽出された画像を意味する。

本実施例では、視点毎の不完全な前景画像を、地上面を基準として着目視点から見た場合の画像へと変換することで、複数の変換前景画像データを取得し、該取得した複数の変換前景画像データにおいて画素間の一致度を算出する。実施例１で説明したように前景の被写体は地上面からの高さを持つが、前景の被写体に付随する影は地上面からの高さを持たない。そこで本実施例では、複数の変換前景画像データにおいて画素間の一致の度合いが高い画素を検出し、該検出した画素は高さを持たない影による領域の画素である可能性が高いとして補正する。その結果、影による領域が抽出されることなく高さを持つ前景の被写体による領域のみが前景領域として抽出された前景画像を作成できる。以下、影による領域が抽出されることなく高さを持つ前景の被写体による領域のみが前景領域として抽出された画像を、完全な前景画像と呼ぶ。なお、上述の実施例と同様の構成及び同様の処理については、上述の実施例と同様の符号を付して説明を省略する。

＜前景領域を抽出する処理について＞
以下、本実施例における画像処理装置１００が実行する前景領域を抽出する処理について、図１１及び図１２を用いて説明する。図１１は、本実施例における画像処理装置１００の機能構成を示すブロック図であり、図１２は、本実施例における前景領域を抽出する処理の流れを示すフローチャートである。画像処理装置１００のＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして用いてＲＯＭ１０３に格納されたプログラムを実行することで、図１１に示す各構成要素として機能し、図１２に示す一連の処理を実行する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全部が、ＣＰＵ１０１以外の１つ又は複数の処理回路によって行われるように画像処理装置１００を構成しても良い。

ステップＳ１２０１において、カメラパラメータ取得部１１０１は、入力インターフェース１０５を介して外部記憶装置１０８から、又は、二次記憶装置１０４から、対象画像データを撮像したカメラのカメラパラメータを取得する。また、カメラパラメータ取得部１１０１は、対象画像データを撮像したカメラの視点を着目視点と定める。本ステップで取得するカメラパラメータとは、実施例１で説明したカメラパラメータと同様である。カメラパラメータ取得部１１０１は、カメラパラメータを画像変換部１１０３に出力する。

ステップＳ１２０２において、前景画像データ取得部１１０２は、入力インターフェース１０５を介して外部記憶装置１０８から、又は、二次記憶装置１０４から、複数の異なる視点における複数の前景画像データを取得する。本ステップで取得する前景画像データは、前景の被写体による領域を抽出した画像であり、該抽出した領域には、影による領域が含まれるものとする。本実施例では、この前景画像データは、事前に撮像した撮像画像と背景画像とに基づき作成される。以下、前景画像データの作成手法を具体的に説明する。ここで用いる撮像画像は、対象画像データにおける前景の被写体及び背景の被写体を、対象画像データを撮像した際の環境と略同一の環境で撮像した画像である。また、背景画像は、対象画像データにおける背景の被写体を、対象画像データを撮像した際の環境と略同一の環境で撮像した画像である。本実施例では、視点毎に、撮像画像の画素値と背景画像の画素値とを画素毎に比較し、これらの画素値が同一の座標の画素の画素値を０、そうでない画素の画素値を１とすることで、視点毎の２値画像を作成する。この２値画像が前景画像データである。なお、前景画像データを作成する手法はこれに限られず、また、作成する前景画像データも２値画像に限られず多値画像であっても良い。また、前景画像データ取得部１１０２は、各前景画像データに対応するカメラパラメータを、前景画像データとともに取得する。さらに、前景画像データ取得部１１０２は、複数の前景画像データのそれぞれを区別するため、各前景画像データを、カメラの視点番号と対応付けて記憶する。前景画像データ取得部１１０２は、前景画像データとカメラパラメータとを画像変換部１１０３に出力する。

ステップＳ１２０３において、画像変換部１１０３は、カメラパラメータ取得部１１０１と前景画像データ取得部１１０２とから得たカメラパラメータを用いて、前景画像データ取得部１１０２から得た前景画像データを着目視点から見た場合の画像へと変換する。本ステップの変換は、実施例１のステップＳ３０３と同様の変換であり、視点毎に、前景画像データを、地上面を基準として射影変換することで、着目視点から見た場合の画像を得る。なお、本ステップでの画像変換により得られる前景画像（データ）を変換前景画像（データ）と呼ぶ。このように、画像変換部１１０３は、変換前景画像データ作成手段として機能する。画像変換部１１０３は、変換前景画像データを一致度算出部１１０４に出力する。

ステップＳ１２０４において、画像変換部１１０３は、前景画像データ取得部１１０２から取得した前景画像データの中から、対象画像データを撮像したカメラ位置（着目視点）と最も近い視点に対応する画像を基準の前景画像（以下、基準前景画像）として定める。具体的には、着目視点の座標と前景画像データに対応する視点の座標との距離を、視点毎に算出する。そして、算出した距離が最小となる視点（基準視点）に対応する前景画像（データ）を基準前景画像（データ）とする。画像変換部１１０３は、基準前景画像に対応する視点番号を、補正部１１０５に出力する。本実施例では、基準前景画像に対応する視点番号を、基準視点番号と呼ぶ。

ステップＳ１２０５では、一致度算出部１１０４は、複数の変換前景画像データにおいて画素が一致するかを判定する対象となる、変換前景画像データにおける着目画素を決定する。本実施例では、まず、変換前景画像データの左上の画素が着目画素として選択され、その後、未処理の画素が着目画素として順次選択される。なお、変換前景画像データの全画素について、複数の変換前景画像データにおいて画素が一致するかの判定が実行されれば、どのような順番で着目画素を決定しても良い。

ステップＳ１２０６において、一致度算出部１１０４は、画像変換部１１０３から取得した複数の変換前景画像データを用いて、基準視点番号に対応する変換前景画像データと他の変換前景画像データとの間の、着目画素における一致度を算出する。以下、この一致度の算出手法を具体的に説明する。

まず、一致度算出部１１０４は、決定した着目画素の座標（ｕ₂、ｖ₂）における、変換前景画像データの画素値Ｆ_l（ｕ₂、ｖ₂）を取得する。ここでｌは複数の変換前景画像データのそれぞれを区別する添え字を表し、一致度算出部１１０４は、変換前景画像データの数分の画素値を取得する。次に、一致度算出部１１０４は、取得した全画素値の平均値を算出する。本実施例では、この平均値を一致度として用いる。また、一致度はこれに限られず、複数の画素値の統計的な性質を反映する値を一致度として用いて良い。

ステップＳ１２０７において、一致度算出部１１０４は、変換前景画像データの全画素についてステップ１２０５〜ステップＳ１２０６の処理を行ったかを判定する。ステップＳ１２０７の判定の結果が真の場合、一致度算出部１１０４は、算出した全画素の一致度を補正部１１０５に出力し、ステップＳ１２０８に進む。一方、ステップＳ１２０７の判定の結果が偽の場合、ステップＳ１２０５に戻る。

ステップＳ１２０８において、補正部１１０５は、基準視点番号に対応する変換前景画像データにおける着目画素を決定する。本実施例では、まず、基準視点番号に対応する変換前景画像データの左上の画素が着目画素として選択され、未処理の画素が着目画素として順次選択される。なお、基準視点番号に対応する変換前景画像データの全画素について一致度に基づく画素値の更新（ステップＳ１２０９）が実行されれば、どのような順番で着目画素を決定しても良い。

ステップＳ１２０９において、補正部１１０５は、一致度算出部１１０４から取得した一致度に基づき、基準視点番号に対応する変換前景画像における影による領域の画素である可能性が高い画素を検出する。そして、補正部１１０５は、検出した画素の画素値を０に変更することで不完全な前景画像から影による領域を取り除く。本実施例では、算出した一致度が事前に定めた閾値以上であれば、全視点における着目画素間の一致の度合いが高いため、着目画素が高さを持たない影による領域の画素である可能性が高いと判定する。そして、基準視点番号に対応する変換前景画像データにおける着目画素の画素値を０に変更する。一方、算出した一致度が閾値未満であれば、全視点における着目画素間の一致の度合いが低く、着目画素が高さを持つ前景の被写体による領域の画素である可能性が高いと判定する。この場合、基準視点番号に対応する変換前景画像における着目画素の画素値を変更しない。なお、本実施例では、閾値として０．８を用いたが、閾値の値はこれに限らない。

ステップＳ１２１０において、補正部１１０５は、基準視点番号に対応する変換前景画像データの全画素についてステップＳ１２０８〜ステップＳ１２０９の処理を行ったかを判定する。ステップＳ１２１０の判定の結果が真の場合、補正部１１０５は、補正が完了した基準視点番号に対応する変換前景画像データを、二次記憶装置１０４や外部記憶装置１０８や表示装置１０９に出力して、一連の処理は完了する。一方、ステップＳ１２１０の判定の結果が偽の場合、ステップＳ１２０８に戻る。以上が、本実施例における画像処理装置１００が実行する、前景領域を抽出する処理である。

＜本実施例の効果について＞
以下、本実施例の効果について図１３を用いて説明する。被写体１３０１は、被写体自身の影１３０２が地上面１３０３に存在する前景の被写体である。画像データ１３０４は、複数の異なる視点における、被写体１３０１とこれに付随する影１３０２とによる領域を前景領域として抽出した前景画像である。本実施例では、画像データ１３０４を着目視点１３０５から見た場合の画像に変換することで得られる複数の変換前景画像データにおける着目画素間の一致の度合いに基づき、地上面からの高さを持たない影による領域の画素を検出する。そして、検出した画素を補正することで、前景画像１３０６を作成する。前景画像１３０６では、高さを持つ前景の被写体１３０１に付随する影１３０２による領域が取り除かれており、前景の被写体１３０１による領域のみを抽出できている。このように、本実施例によれば、高さを持つ前景の被写体に付随する影が存在する場合であっても、影による領域を抽出することなく、この前景の被写体による領域のみを高精度に抽出することができる。

なお、本実施例では、不完全な前景画像として、事前に撮像した撮像画像と背景画像とに基づいて作成した前景画像を用いるが、実施例１や実施例２により作成した前景画像を用いてもよい。その場合、実施例１や実施例２と、実施例３とをそれぞれ単独で実行した場合に比べて、前景の被写体による領域を高精度に抽出することができる。

［その他の実施例］
本発明の実施形態は、上述の実施例に限られるものではなく、様々な実施形態をとることが可能である。例えば、上述の実施例では、不完全な背景画像である背景画像データのサイズと対象画像データのサイズとが、同一である場合について説明しているが、これらのサイズは同一でなくても良い。その場合、地上面を上から見た視点を基準視点として、背景画像を基準視点から見た場合の画像へと変換する。そして、該変換した画像を用いて背景画像を補正し、該補正した背景画像を着目視点から見た場合の画像へと変換することで、対象画像データに対応する背景画像データを作成する。

また、上述の実施例では、一致度の算出や前景の抽出において、ＲＧＢ空間における画素値を用いているが、用いる情報はこれに限られない。例えば、ＨＳＶやＬａｂなどの異なる色空間の画素値を用いて、一致度の算出や前景の抽出を行うようにしても良い。

さらに、上述の実施例では、画像を射影変換する際、地上面の一平面のみを基準としているが、地上面に平行な複数の平面を基準として用いても良い。例えば、地上面からの高さが０から１センチメートルまでを等間隔に刻むことで複数の平面を設定し、該設定した平面のそれぞれを基準とする射影変換により得られた変換画像を全て用いて一致度の算出を行うようにしても良い。このようにすることで、カメラパラメータの誤差に対するロバスト性が向上する。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１・・・対象画像データ取得部
２０２・・・背景画像データ取得部
２０３・・・画像変換部
２０４・・・一致度算出部
２０６・・・補正部
２０７・・・前景抽出部

Claims (15)

1. 前景の被写体と背景の被写体とを含む対象画像データを取得する対象画像データ取得手段と、
   複数の異なる視点における、前記背景の被写体を含む背景画像データを取得する背景画像データ取得手段と、
   前記背景画像データ取得手段が取得した複数の背景画像データを、着目視点から見た場合の画像へとそれぞれ変換することで、複数の変換背景画像データを作成する変換背景画像データ作成手段と、
   前記変換背景画像データ作成手段が作成した複数の変換背景画像データにおける着目画素間の一致の度合いを示す一致度を算出する算出手段と、
   前記算出手段が算出した一致度に基づき、前記着目視点との距離に応じて決定された基準視点に対応する前記変換背景画像データにおける補正対象画素を検出する検出手段と、
   前記検出手段が検出した前記補正対象画素の画素値を、前記複数の変換背景画像データにおける前記補正対象画素の画素値の統計値に基づいて補正することにより、前記基準視点に対応する前記変換背景画像データを補正する補正手段と、
   前記対象画像データ取得手段が取得した対象画像データと前記補正手段が補正した変換背景画像データとに基づき、前記前景の被写体による領域が抽出された画像である前景画像データを作成する前景画像データ作成手段と
   を有することを特徴とする画像処理装置。
2. 前記統計値は、前記複数の変換背景画像データにおける前記補正対象画素の画素値の中間値又は平均値であることを特徴とする請求項１に記載の画像処理装置。
3. 前景の被写体と背景の被写体とを含む対象画像データを取得する対象画像データ取得手段と、
   複数の異なる視点における、前記背景の被写体を含む背景画像データを取得する背景画像データ取得手段と、
   前記背景画像データ取得手段が取得した複数の背景画像データを、着目視点から見た場合の画像へとそれぞれ変換することで、複数の変換背景画像データを作成する変換背景画像データ作成手段と、
   前記変換背景画像データ作成手段が作成した複数の変換背景画像データにおける着目画素間の一致の度合いを示す一致度を算出する算出手段と、
   前記算出手段が算出した一致度に基づき、前記着目視点との距離に応じて決定された基準視点に対応する前記変換背景画像データにおける補正対象画素を検出する検出手段と、
   前記検出手段が検出した前記補正対象画素の画素値を、前記基準視点と隣接する視点に対応する前記変換背景画像データの前記補正対象画素に対応する画素の画素値に基づいて補正することにより、前記基準視点に対応する前記変換背景画像データを補正する補正手段と、
   前記対象画像データ取得手段が取得した対象画像データと前記補正手段が補正した変換背景画像データとに基づき、前記前景の被写体による領域が抽出された画像である前景画像データを作成する前景画像データ作成手段と
   を有することを特徴とする画像処理装置。
4. 前記変換背景画像データ作成手段は、前記背景画像データ取得手段が取得した複数の背景画像データを、地上面を基準として前記着目視点から見た場合の画像へとそれぞれ射影変換することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記変換背景画像データ作成手段は、前記背景画像データ取得手段が取得した複数の背景画像データを、前記地上面に加え前記地上面に平行な複数の平面を基準として前記着目視点から見た場合の画像へとそれぞれ射影変換することを特徴とする請求項４に記載の画像処理装置。
6. 前記検出手段は、前記算出手段が算出した一致度が閾値以上である画素を補正対象画素として検出することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記複数の変換背景画像データにおける着目画素間の画素値の変化の滑らかさの度合い示す連続性を算出する連続性算出手段と、
   前記検出手段は、前記一致度と前記連続性とに基づき、前記補正対象画素を検出することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記連続性算出手段は、前記着目視点に最も近い視点における変換背景画像データと、該視点に隣接する視点における変換背景画像データとに基づき、前記連続性を算出することを特徴とする請求項７に記載の画像処理装置。
9. 前記検出手段は、前記算出手段が算出した一致度が閾値以上であり、且つ、前記連続性算出手段が算出した連続性が閾値以上である画素を前記補正対象画素として検出することを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記背景画像データは、前記前景の被写体の画像を含むことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記背景画像データは、前記複数の異なる視点の各々において、時系列に沿って連続で撮像した複数の異なる時刻に対応する複数の画像に基づき作成した画像、又は、前記複数の異なる視点の各々において、前記前景の被写体が存在せず前記背景の被写体のみが存在する状態で撮像した画像であることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記背景の被写体は、静止物体であることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記前景の被写体は、動体であることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
14. 前景の被写体と背景の被写体とを含む対象画像データを取得する第１取得ステップと、
    複数の異なる視点における、前記背景の被写体を含む背景画像データを取得する第２取得ステップと、
    前記第２取得ステップで取得した複数の背景画像データを、着目視点から見た場合の画像へとそれぞれ変換することで、複数の変換背景画像データを作成する第１作成ステップと、
    前記第１作成ステップで作成した複数の変換背景画像データにおける着目画素間の一致の度合いを示す一致度を算出する算出ステップと、
    前記算出ステップで算出した一致度に基づき、前記着目視点との距離に応じて決定された基準視点に対応する前記変換背景画像データにおける補正対象画素を検出する検出ステップと、
    前記検出ステップで検出した前記補正対象画素の画素値を、前記複数の変換背景画像データにおける前記補正対象画素の画素値の統計値に基づいて補正することにより、前記基準視点に対応する前記変換背景画像データを補正する補正ステップと、
    前記第１取得ステップで取得した対象画像データと前記補正ステップで補正した変換背景画像データとに基づき、前記前景の被写体による領域が抽出された画像である前景画像データを作成する第２作成ステップと
    を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１３の何れか１項に記載の画像処理装置として機能させるための、プログラム。

Images