JP7144678B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、画像から被写体を抽出する画像処理装置、画像処理方法、および画像処理プログラムに関する。

カメラによって撮像した人物などの被写体を、リアルタイムに他の風景やCG等と合成して表示するためには、カメラによって撮像された画像から被写体のみを高速に抽出する必要がある。

カメラによって撮像した画像から被写体を高速に抽出する手法の１つに、背景差分法がある。非特許文献１には、カラー画像およびモノクロ画像において、各画素が被写体か、あるいは背景かの判定に用いる閾値を、対象画素の近傍に位置する参照画素の判定状態に基づいて、動的に制御する技術が記載されている。

吉田 俊之、「参照画素の状態に基づく背景差分法」、電子情報通信学会論文誌 A Vol.J88-A No.11 pp.1226-1234

非特許文献１では、被写体または背景の判定に用いる閾値を動的に制御するが、被写体と背景の色が同一または類似する場合は誤判定が発生しやすく、被写体の抽出精度が低下してしまうという問題がある。

本発明は、前記課題に鑑みてなされたものであり、本発明の目的は、被写体と背景の色が同一または類似する場合であっても、被写体の抽出精度の低下を防止し、安定して被写体を抽出することにある。

上記目的を達成するため、本発明は、画像処理装置であって、被写体が含まれていない背景のみの第１の不可視光画像と、前記被写体と背景とを含む第２の不可視光画像とを入力する入力部と、第２の不可視光画像の各画素について、当該画素の画素値と、第１の不可視光画像の対応する画素の画素値との差分を算出し、前記差分が所定の閾値以上か否かに応じて当該画素が被写体領域または背景領域であるかを判定し、第２の不可視光画像から前記被写体領域を抽出する被写体領域抽出部と、を備え、第１の不可視光画像および第２の不可視光画像は、前記背景には不可視光が照射され、前記被写体には前記不可視光が照射されないように不可視光照射装置が配置された環境で撮影された画像である。

本発明は、画像処理装置が行う画像処理方法であって、被写体が含まれていない背景のみの第１の不可視光画像と、前記被写体と背景とを含む第２の不可視光画像とを入力する入力ステップと、第２の不可視光画像の各画素について、当該画素の画素値と、第１の不可視光画像の対応する画素の画素値との差分を算出する算出ステップと、前記差分が所定の閾値以上か否かに応じて各画素が被写体領域または背景領域であるかを判定し、第２の不可視光画像から前記被写体領域を抽出する被写体領域抽出ステップと、を行い、第１の不可視光画像および第２の不可視光画像は、前記背景には不可視光が照射され、前記被写体には前記不可視光が照射されないように不可視光照射装置が配置された環境で撮影された画像である。

本発明は、上記画像装置として、コンピュータを機能させることを特徴とする画像処理プログラムである。

本発明によれば、被写体と背景の色が同一または類似する場合であっても、被写体の抽出精度の低下を防止し、安定して被写体を抽出することができる。

本発明の実施形態に係る画像処理システムの全体構成を示す図である。 画像処理装置の機能を示す機能ブロック図である。 被写体抽出処理を示すフローチャートである。 可視光画像の一例を示す図である。 赤外線画像の一例を示す図である。 抽出画像の一例を示す図である。

以下、本発明の実施の形態について、図面を参照して説明する。

本実施形態では、不可視光として赤外線を用いる。このため、本実施形態では、不可視光を感知して、不可視光画像を撮影する不可視光撮像装置として赤外線カメラを使用し、不可視光を照射する不可視光照射装置として赤外線ライトを使用する。しかしながら、本発明は赤外線に限定されるものではない。赤外線以外の不可視光（例えば、紫外線など）を用いる場合は、当該不可視光に対応する不可視光カメラおよび不可視光ライトを使用するものとする。

図１は、本発明の実施の形態に係る画像処理システムの機器構成図の一例である。図示する画像処理システムは、画像処理装置１と、可視光カメラ２と、赤外線カメラ３と、赤外線ライト４とを備える。

可視光カメラ２は、人の目で見える光（可視光）を感知して、可視光画像（例えば、カラー画像、モノクロ画像など）を撮影するカメラである。赤外線カメラ３は、人の目で見えない光（不可視光）の１つである赤外線を感知して、赤外線画像を撮影するカメラである。

可視光カメラ２と、赤外線カメラ３とは、図１に示すように、光軸が平行となるように、かつ可能な限り近づけて設置する。可視光カメラ２および赤外線カメラ３から出力される可視光画像および赤外線画像は、画像処理装置１に入力される。

赤外線ライト４（不可視光照射装置）は、背景５に赤外線を照射する。赤外線ライト４は、背景５には不可視光が照射され、被写体６には不可視光が照射されないように配置（調整）される。図示する例では、赤外線ライト４は、背景５の手前の両端に２つ配置されているが、赤外線ライト４の数および位置は、これに限定されるものではない。

赤外線ライト４を用いることにより、可視光照明の色や明暗に関わらず、赤外線カメラ３によって撮影された赤外線画像は、赤外線が照射される背景領域では全体的に画素値が高く、赤外線が直接照射されない被写体領域では画素値は全体的に低くなる。これにより、赤外線画像における背景と被写体の判別が容易になり、被写体の誤抽出を低減することができる。

また、赤外線画像は、可視光における照明の変化（明暗変化および色変化）、および、被写体および背景の色による影響を受けない。このため、被写体と背景とで、可視光における色が同一または類似している場合であっても、被写体領域の抽出精度を向上させることができる。

なお、本実施形態では、被写体に赤外線が当たることを防ぐ必要があるため、太陽光の入らない室内などの環境で、赤外線ライト４以外には赤外線を発する照明機材（白熱電球等）を使用しないことが望ましい。

図２は、本実施形態の画像処理装置１の構成を示すブロック図である。

図示する画像処理装置１は、入力部１１と、背景画像取得部１２と、歪み補正部１３と、記憶部１４と、被写体領域抽出部１５と、輪郭補正部１６と、画像合成部１７とを備える。

入力部１１は、赤外線カメラ３が撮影した赤外線画像と、可視光カメラ２が撮影した可視光画像を入力する。入力部１１に入力される赤外線画像には、被写体が含まれていない背景のみの背景赤外線画像（第１の不可視光画像）と、被写体と背景とを含む赤外線画像（第２の不可視光画像）が含まれる。また、入力部１１に入力される可視光画像には、被写体と背景とを含む可視光画像（第２の可視光画像）が含まれる。また、入力部１１に入力される可視光画像には、被写体が含まれていない背景のみの背景可視光画像（第１の可視光画像）が含まれていてもよい。

背景画像取得部１２は、入力部１１に入力される赤外線画像の中から、背景赤外線画像を取得し、歪み補正処理を行った後に記憶部１４に記憶する。歪み補正部１３は、赤外線画像および可視光画像の同じ座標の画素が、実空間上の同じ対象を写すように、赤外線画像および可視光画像の少なくとも１つを補正する。

被写体領域抽出部１５は、赤外線画像の各画素について、当該画素の画素値と、背景赤外線画像の対応する画素の画素値との差分を算出し、差分が所定の閾値以上か否かに応じて当該画素が被写体領域または背景領域であるかを判定し、赤外線画像から被写体領域を抽出する。

輪郭補正部１６は、抽出した被写体領域と背景領域との境界部分の各画素を、赤外線画像と同じタイミングで撮影された可視光画像を用いて、被写体領域または背景領域に再分類して被写体領域の輪郭を補正する。画像合成部１７は、輪郭補正部１６により補正した被写体領域を、可視光画像から抽出して抽出画像を生成する。

赤外線画像および可視光画像は、図１に示すように、背景には不可視光が照射され、被写体には前記不可視光が照射されないように赤外線ライト４が配置された環境で撮影された画像である。

次に、本実施形態の画像処理装置１の処理について説明する。

図３は、画像処理装置１の処理を示すフローチャートである。なお、赤外線画像および可視光画像が動画として連続的に画像処理装置１に入力される場合は、フレーム毎に図３に示すＳ１３～Ｓ１７の処理が、繰り返し連続して実施されるものとする。なお、赤外線ライト４は、図３の処理が行われている間、常にONの状態で背景に赤外線を照射している。

まず、背景画像取得部１２は、入力部１１に入力された赤外線画像の中から、被写体（前景）が含まれていない背景のみの赤外線画像を、背景赤外線画像として取得する（Ｓ１１）。そして、背景画像取得部１２は、取得した背景赤外線画像を、Ｓ１２の歪み補正処理の後に記憶部１４に記憶する。

背景赤外線画像は、例えば、操作者（ユーザ）が指示したタイミングで取得される。操作者は、最初にカメラの前に被写体がない状態で、背景画像の取得指示を、図示しない操作インタフェース部を介して画像処理装置１に入力する。これにより、背景画像取得部１２は、入力された赤外線画像の中から背景赤外線画像を取得し、歪み補正後に記憶部１４に保持する。その後、抽出したい被写体が背景の前に入った状態で、赤外線画像が動画として入力される場合は、以降のＳ１３～Ｓ１７の処理が、フレーム毎に行われる。赤外線画像が静止画として入力される場合は、１つの赤外線画像に対してＳ１３～Ｓ１７の処理を行う。

歪み補正部１３は、可視光カメラ２と赤外線カメラ３との間の視差を補正する（Ｓ１２）。本実施形態では、図１に示すように、可視光カメラ２と赤外線カメラ３とは光軸が平行になるように近接して配置されている。そのため、可視光カメラ２が撮影する可視光画像と、赤外線カメラ３が撮影する赤外線画像とは、同じ対象を撮影しても位置のずれが生じる。

そのため、歪み補正部１３は、可視光画像と赤外線画像の同じ座標の画素が、実空間の同じ対象を写すように、可視光画像および赤外線画像の少なくとも１つを補正（変形）する。なお、全ての画素において実空間の同じ対象を写すように変換できない場合は、歪みが可能な限り小さくなるように変換する。図３に示す例では、赤外線画像のみを補正する。

本実施形態では、歪み補正部１３は、予め取得しておいた射影変換を用いて、赤外線画像を補正する。具体的には、想定される被写体位置に、キャリブレーションパターンを設置する。そして、可視光カメラ２および赤外線カメラ３が、キャリブレーションパターンをそれぞれ撮影し、画像処理装置１に入力する。このキャリブレーションパターンを撮影する可視光画像および赤外線画像は、それぞれ１枚の静止画でよい。そして、歪み補正部１３は、赤外線カメラ３で撮影した赤外線画像のキャリブレーションパターンが、可視光カメラ２で撮像した可視光画像のキャリブレーションパターンに重なるような射影変換式を算出する。歪み補正部１３は、この射影変換式を用いて背景赤外線画像を補正（射影変換）する。補正後の背景赤外線画像は、背景画像取得部１２により記憶部１４に記憶される。

次に、入力部１１は、赤外線カメラ３から出力される赤外線画像、および、可視光カメラ２から出力される可視光画像を入力する（Ｓ１３）。赤外線画像および可視光画像は、同じタイミングで、同じ対象（被写体および背景）がそれぞれ撮影された画像である。

そして、歪み補正部１３は、入力された赤外線画像を、Ｓ１２と同様に射影変換を用いて補正する（Ｓ１４）。図３に示す例では、可視光画像の補正は行わない。

被写体領域抽出部１５は、記憶部１４に記憶された補正済みの背景赤外線画像を用いて、Ｓ１４の補正済みの赤外線画像から被写体領域を抽出する（Ｓ１５）。ここでは、被写体領域抽出部１５は、赤外線画像と背景赤外線画像との背景差分を実施する。具体的には、被写体領域抽出部１５は、赤外線画像の各画素について、当該画素の画素値と、背景赤外線画像の対応する画素（同じ位置の画素）の画素値との差分を算出し、差分が所定の閾値以上か否かに応じて当該画素が被写体領域または背景領域であるかを判定し、赤外線画像から被写体領域を抽出する。

すなわち、被写体領域抽出部１５は、差分が所定の閾値以上の場合は、当該画素が被写体領域である（被写体領域に属する）と判定し、差分が閾値未満の場合は、当該画素が背景領域である（背景領域に属する）と判定する。被写体領域抽出部１５は、このような判定処理を赤外線画像および背景赤外線画像の全ての画素に対して実施することで被写体領域を取得する。

なお、本実施形態における差分は、単なる引き算ではなく、例えば重み付き２乗誤差などである。赤外線画像の画素値を（Fi）、背景赤外線画像の画素値を（Bi）、重き係数を（Wi）とすると、重み付き２乗誤差（差分）は、Wi ×（Fi-Bi）×（Fi-Bi）である。

本実施形態では、図１に示すように、背景には赤外線ライト４により赤外線が照射され、被写体には赤外線は直接的には照射されない。すなわち、赤外線ライト４による赤外線を背景のみに照射することで、観察者（被写体となる人、被写体の抽出結果を見る観客等）が見る光景に影響を与えることなく、背景と被写体とを明確に分離するための手がかりとなる情報（赤外線によるマーキング、特に明暗）を被写体および背景に付与することができる。

図４は、可視光画像の一例を示す図である。図示する例では、黒い背景の前に、黒い洋服を着た人物の上半身が写っている。背景、洋服および髪は、黒色であるため、色を用いて被写体領域を抽出することは難しい。

図５は、図４と同じ対象を、赤外線カメラ３で撮影した赤外線画像の一例である。赤外線画像は、赤外線（光）の強さ（輝度）に応じた、グレースケールまたは２値で表現される。図示する赤外線画像では、赤外線が照射されている背景領域は、輝度が高いため淡色（ここでは白色）となり、赤外線が照射されていない被写体領域（人物）は輝度が低いため、濃色（ここでは黒色）となっている。このように、赤外線画像において、背景領域の画素値と被写体領域と画素値との差は大きい。なお、背景赤外線画像の場合、赤外線が照射された背景領域のみの画像であるため、画像全体の輝度が高く、画像全体が淡色で表示される。

本実施形態では、赤外線画像を用いることで、可視光画像では背景と被写体を判定することが難しい場合であっても、安定して被写体領域を抽出することができる。

被写体領域抽出部１５は、抽出した被写体領域を輪郭補正部１６に出力する。輪郭補正部１６に出力される被写体領域は、赤外線画像（または、可視光画像）における、被写体領域を特定するための情報であって、例えば、被写体領域の画素の位置を示す情報（座標の集合など）、被写体領域の画素と背景領域とを２値化した２値化画像などである。

輪郭補正部１６は、Ｓ１５で抽出した被写体領域と、Ｓ１３で入力した可視光画像とを用いて、被写体領域を補正する（Ｓ１６）。この可視光画像は、Ｓ１３で入力された赤外線画像と同じタイミングで同じ対象（被写体と背景）を撮影した画像である。本実施形態では、被写体領域と背景領域との境界部分の各画素を、可視光画像を用いて被写体領域または背景領域に再分類して、被写体領域の輪郭を補正する。すなわち、抽出した被写体領域の境界部分に対してセグメンテーションによる境界精緻化を実施して、被写体領域の精度が高くなるように補正する。

セグメンテーションでは、輪郭補正部１６は、可視光画像における被写体領域と背景領域の両方を含むあらかじめ設定された幅の境界領域を被写体領域の輪郭とし、その輪郭内の各画素（注目画素）の画素値と、当該注目画素の周辺画素の画素値とを比較することで、注目画素を被写体領域または背景領域に再分類する。具体的には、輪郭補正部１６は、注目画素と周辺画素の画素値の差分と、注目画素と周辺画素の座標の差分（距離）とを用いて評価値を算出する。そして、輪郭補正部１６は、評価値が最も小さい周辺画素が被写体領域の場合は注目画素を被写体領域に、また、評価値が最も小さい周辺画素が背景領域の場合は注目画素を背景領域に再分類する。

輪郭補正部１６は、このように周辺画素との画素値（色）の連続性を考慮することで、Ｓ１５の背景差分で誤抽出が起きやすい輪郭部分の抽出精度を改善することができる。輪郭補正部１６は、再分類の結果で被写体領域の輪郭を補正し、補正後の被写体領域を画像合成部１７に出力する。

画像合成部１７は、補正後の被写体領域と、Ｓ１３で入力した可視光画像とを入力し、可視光画像から被写体領域のみを抽出した抽出画像を生成する（Ｓ１７）。抽出画像は、可視光画像から被写体のみを切り出した画像である。

図６に、抽出画像の例を示す。画像合成部１７は、被写体領域については、可視光画像の画素値を抽出画像に反映し、被写体領域以外の背景領域には、所定の色の画素値を抽出画像に設定する。図６に示す抽出画像では、背景領域の画素には、白の画素値が設定されている。

上記説明した図３のフローチャートは一例であって、以下のように変形してもよい。

＜変形例１＞
図３の被写体領域抽出処理（Ｓ１５）において、被写体領域抽出部１５は、赤外線ライト４が発する赤外線の強度に応じて、赤外線画像と背景赤外線画像との背景差分で用いる所定の閾値を変更（調整）してもよい。具体的には、被写体領域抽出部１５は、赤外線強度が大きい場合には、閾値も大きくする。すなわち、赤外線の強度に比例して、閾値を大きくする。例えば、赤外線ライト４を調整して赤外線の強度を大きくし、赤外線画像の背景領域の画素値が２倍の明るさになった場合、被写体領域での画素値の変化も相対的に２倍となる。その結果として、赤外線画像と背景赤外線画像との画素値の差分値も２倍となると考えられるため、閾値を２倍とすることで、被写体領域の抽出に適切な閾値を維持することが可能となる。

＜変形例２＞
図３の被写体領域抽出処理（Ｓ１５）では、赤外線画像および背景赤外線画像を用いて被写体領域を抽出したが、さらに可視光画像および背景可視光画像を用いて被写体領域を抽出することとしてもよい。この場合、図３のＳ１１で、背景画像取得部１２は、背景赤外線画像だけでなく、入力部１１に入力された可視光画像の中から背景のみの可視光画像を背景可視光画像として取得し、記憶部１４に記憶しておく。

被写体領域抽出部１５は、可視光画像のｎ次元の画素値と、赤外線画像の１次元の画素値（グレースケール）とを結合したｎ＋１次元の画素値を用いる。ここでは、被写体領域抽出部１５は、背景画像として、背景可視光画像の画素値（RGBの３次元）と、背景赤外線画像の対応する画素の画素値（グレースケールの１次元）とを結合した４次元の画素値をもつ背景拡張画像を生成する。また、被写体領域抽出部１５は、被写体を抽出する入力画像として、同様に、可視光画像の画素値（３次元）と、赤外線画像の対応する画素の画素値（１次元）とを結合した４次元の画素値をもつ拡張画像を生成する。RGBは、赤 (Red)、緑 (Green)、青 (Blue) の三原色である。

そして、被写体領域抽出部１５は、生成した拡張画像と背景拡張画像との背景差分を実施する。すなわち、拡張画像の各画素について、当該画素の画素値と、背景拡張画像の対応する画素の画素値との差分を算出し、前記差分が所定の閾値以上か否かに応じて当該画素が被写体領域または背景領域であるかを判定し、拡張画像から被写体領域を抽出する。具体的には、差分が所定の閾値以上の場合に、当該画素が被写体領域であると判定し、差分が閾値未満の場合に、当該画素が背景領域であると判定する。このような判定処理を全ての画素に対して実施することで、被写体領域を取得する。

このとき、背景差分で使用する差分の評価関数（閾値）としては、拡張画像の画素値を（Fr, Fg, Fb, Fi），背景拡張画像の画素値を（Br, Bg, Bb, Bi）とすると、例えば、以下に示す重み付き２乗誤差としてもよい。Wr, Wg, Wb, Wiは、重み係数である。

Wr ×（Fr-Br）×（Fr-Br）＋Wg ×（Fg-Bg）×（Fg-Bg）＋Wb ×（Fb-Bb）×（Fb-Bb）＋Wi ×（Fi-Bi）×（Fi-Bi）
このように拡張画像および背景拡張画像を使用することの利点は、赤外線画像の被写体の画素値が背景赤外線画像の対応する画素の画素値と同じになる場合にも、被写体を抽出できる点にある。例えば、FiとBiの値が同じ場合、赤外線画像および背景赤外線画像のみで背景差分を行うと被写体を抽出することはできないが、拡張画像および背景拡張画像を使用した場合は（Fr, Fg, Fb）と（Br, Bg, Bb）との間に閾値以上の差分があれば、被写体の分離が可能となり、結果として被写体の抽出が可能となる。なお、背景差分法の代わりに、領域分割やクラス分類を適用してもよい。

＜変形例３＞
図３のＳ１６の輪郭補正処理（セグメンテーション）において、輪郭補正部１６は、「赤外線画像の画素値」、「赤外線画像の画素値と背景赤外線画像の対応する画素値との差分値」、または、「赤外線画像の画素値および前記差分値の両方を用いて算出される評価値」に応じて、使用する周辺画素の数、および、周辺画素の選択範囲のパターンを調整してもよい。周辺画素のパターンは、例えば、注目画素から比較的狭い範囲の画素を高密度で選択するのか、あるは、注目画素から比較的広い範囲の画素を低密度で選択するのかなどの、周辺画素の選択パターンである。

例えば、赤外線画像の画素値が大きい画素（輝度が高い画素）の場合は、背景領域である確度が高いといえる。また、差分値が大きい画素の場合は、被写体領域である確度が高いといえる。このように被写体領域または背景領域の判定の確度が高い画素については、周辺画素の数を少なくすることで、セグメンテーションに要する計算量を削減することができる。

＜変形例４＞
図３のＳ１６の輪郭補正処理（セグメンテーション）において、輪郭補正部１６は、前述の所定の幅の境界領域を、赤外線画像および背景赤外線画像を用いて調整してもよい。例えば、輪郭補正部１６は、所定の幅の境界領域の各画素について、赤外線画像の画素値と背景赤外線画像の対応する画素値との差分が、所定の第１閾値よりも小さい場合は背景画素に分類し、第１閾値以上で第２閾値以下の場合は境界画素に分類し、第２閾値より大きい場合は被写体画素に分類する（第１閾値＜第２閾値）。なお、第１閾値および第２閾値と、図３の被写体領域抽出閾値（Ｓ１５）で使用した所定の閾値との関係は、第１閾値＜所定の閾値＜第２閾値である。

被写体画素および背景画素に分類された各画素は、被写体領域または背景領域である確度が高い画素である。したがって、これらの画素については、セグメンテーションを行うことなく、被写体領域または背景領域として確定する。一方、境界画素に分類された各画素は、被写体領域または背景領域である確度の低い画素である。そのため、輪郭補正部１６は、所定の幅の境界領域から、境界画素に分類された各画素対してのみセグメンテーションを実施して、被写体領域の境界補正を行うこととしてもよい。これにより、セグメンテーションに要する計算量を削減することができる。

また、輪郭補正部１６は、所定の幅の境界領域を設けることなく、赤外線画像の全ての画素について、前記差分が、第１閾値よりも小さい場合は背景画素に分類し、第１閾値以上で第２閾値以下の場合は境界画素に分類し、第２閾値より大きい場合は被写体画素に分類し、境界画素の各画素が属する領域を境界領域として設定し、当該境界領域の各画素に対してセグメンテーションを実施して被写体領域の境界補正を行うこととしてもよい。これにより、セグメンテーションによる境界補正が所定の幅よりも広い範囲にわたる場合でも、所定の幅の制限を受けることなくセグメンテーションを行うことができ、境界補正の実施漏れを防止することができる。

＜変形例５＞
図３のフローチャートでは、画像処理装置１は、Ｓ１５の被写体領域を抽出後に、Ｓ１６で抽出した被写体領域の輪郭を補正した。しかしながら、画像処理装置１は、Ｓ１６の輪郭補正を行うことなく、Ｓ１５で抽出した被写体領域を用いてＳ１７の抽出画像を生成してもよい。

＜変形例６＞
図３のフローチャートでは、画像処理装置１は、Ｓ１７で抽出画像を生成することとした。しかしながら、画像処理装置１は、Ｓ１６の輪郭補正後の被写体領域の領域情報、または、輪郭補正を行っていないＳ１５の被写体領域の領域情報を、出力することとしてもよい。

なお、上記複数の変形例を組み合わせてもよい。

以上説明した本実施形態の画像処理装置１は、赤外線画像の各画素について、当該画素の画素値と、背景赤外線画像の対応する画素の画素値との差分を算出し、前記差分が所定の閾値以上か否かに応じて当該画素が被写体領域または背景領域であるかを判定し、赤外線画像から被写体領域を抽出する。また、赤外線画像および背景赤外線画像は、背景には不可視光が照射され、被写体には不可視光が照射されないように赤外線ライト４が配置された環境で撮影された画像である。

これにより本実施形態では、被写体と背景の色が同一または類似する場合であっても、被写体の抽出精度の低下を防止し、安定して被写体を抽出することができる。すなわち、本実施形態では、赤外線画像を用いることで、可視光画像では背景と被写体を判定することが難しい場合であっても、安定して被写体領域を抽出することができる。

なお、上記説明した画像処理装置１には、例えば、CPU（Central Processing Unit、プロセッサ）と、メモリと、ストレージ（HDD：Hard Disk Drive、SSD：Solid State Drive
）と、通信装置と、入力装置と、出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた画像処理装置１用のプログラムを実行することにより、画像処理装置１の各機能が実現される。また、画像処理装置１用のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

また、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

例えば、上記実施形態では、可視光カメラ２と赤外線カメラ３を用いて、これらの光軸が平行になるよう配置した。しかしながら、ハーフミラー、ダイクロイックプリズムなどに代表される分光装置を用いて、可視光カメラ２と赤外線カメラ３を同一光軸上に配置してもよい。または、撮像素子を多板構成（「RGB１板＋IR１板」、「RGB３板＋IR１板」など）構成とすることで、１台のカメラを用いて可視光画像および赤外線画像を同時に撮影してもよい。IRは、赤外線である。

また、CCD、CMOS等の撮像素子上のフィルタ特性を制御することで、可視光と不可視光を同一撮像素子で撮像できるように構成してもよい。すなわち、可視光カメラ２と赤外線カメラ３の代わりに、CCD/CMOSの１板（撮像素子）の上にR,G,B,IRの４種のフィルタが配列されている１台のカメラを用いて、可視光画像および赤外線画像を同時に撮影してもよい。なお、１台のカメラを用いて可視光画像および赤外線画像を同時に撮影する場合、歪み補正部１３の処理は不要である。

また、赤外線ライト４の代替手段として、屋外の風景等、太陽光の当たる背景の場合には、太陽を利用しても良い。

１ ：画像処理装置
１１：入力部
１２：背景画像取得部
１３：歪み補正部
１４：記憶部
１５：被写体領域抽出部
１６：輪郭補正部
１７：画像合成部
２ ：可視光カメラ
３ ：赤外線カメラ
４ ：赤外線ライト
５ ：背景
６ ：被写体

Claims (6)

1. 画像処理装置であって、
   被写体が含まれていない背景のみの第１の不可視光画像と、前記被写体と背景とを含む第２の不可視光画像とを入力する入力部と、
   前記第２の不可視光画像の各画素について、当該画素の画素値と、前記第１の不可視光画像の対応する画素の画素値との差分を算出し、前記差分が所定の閾値以上か否かに応じて当該画素が被写体領域または背景領域であるかを判定し、前記第２の不可視光画像から前記被写体領域を抽出する被写体領域抽出部と、を備え、
   前記第１の不可視光画像および前記第２の不可視光画像は、前記背景には手前から不可視光が照射され、前記被写体には前記不可視光が照射されないように不可視光照射装置が配置された環境で撮影された画像であり、
   前記入力部は、前記第２の不可視光画像と同じタイミングで撮影された、前記被写体と前記背景とを含む第２の可視光画像を入力し、
   前記被写体領域と前記背景領域との境界部分の各画素を、前記第２の可視光画像を用いて前記被写体領域または前記背景領域に再分類して、前記被写体領域の輪郭を補正する輪郭補正部を、さらに備え、
   前記輪郭補正部は、前記第２の不可視光画像の各画素の画素値、前記差分、または、前記画素値および前記差分を用いて算出される評価値に応じて、前記再分類で使用する周辺画素の数または周辺画素の選択パターンを調整すること
   を特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記入力部は、前記被写体が含まれていない前記背景のみの第１の可視光画像と、前記第２の不可視光画像と同じタイミングで撮影された、前記被写体と前記背景とを含む第２の可視光画像とを入力し、
   前記被写体領域抽出部は、
   前記第１の可視光画像のｎ次元の画素値と、前記第１の不可視光画像の１次元の画素値とを統合したｎ＋１次元の画素値を有する第１の拡張画像を生成するとともに、前記第２の可視光画像のｎ次元の画素値と、前記第２の不可視光画像の１次元の画素値とを統合したｎ＋１次元の画素値を有する第２の拡張画像を生成し、
   前記第２の拡張画像の各画素について、当該画素の画素値と、前記第１の拡張画像の対応する位置の画素の画素値との差分を算出し、前記差分が所定の閾値以上か否かに応じて当該画素が前記被写体領域または前記背景領域であるかを判定し、前記第２の拡張画像から前記被写体領域を抽出すること
   を特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記輪郭補正部は、前記第２の不可視光画像の各画素の前記差分が第１閾値（第１閾値＜前記所定の閾値）より小さい場合は前記背景領域とし、前記差分が前記第１閾値以上で第２閾値（前記第１閾値＜前記所定の閾値＜第２閾値）以下の場合は境界画素とし、前記差分が前記第２閾値より大きい場合は前記被写体領域とし、前記境界画素についてのみ、前記第２の可視光画像を用いて前記被写体領域または前記背景領域に再分類して、前記被写体領域の輪郭を補正すること
   を特徴とする画像処理装置。
4. 請求項１から３のいずれか１項に記載の画像処理装置と、
   前記背景には不可視光が照射され、前記被写体には前記不可視光が照射されないように配置された前記不可視光照射装置と、を備えること、
   を特徴とする画像処理システム。
5. 画像処理装置が行う画像処理方法であって、
   被写体が含まれていない背景のみの第１の不可視光画像と、前記被写体と背景とを含む第２の不可視光画像とを入力する入力ステップと、
   前記第２の不可視光画像の各画素について、当該画素の画素値と、前記第１の不可視光画像の対応する画素の画素値との差分を算出する算出ステップと、
   前記差分が所定の閾値以上か否かに応じて各画素が被写体領域または背景領域であるかを判定し、前記第２の不可視光画像から前記被写体領域を抽出する被写体領域抽出ステップと、を行い、
   前記第１の不可視光画像および前記第２の不可視光画像は、前記背景には手前から不可視光が照射され、前記被写体には前記不可視光が照射されないように不可視光照射装置が配置された環境で撮影された画像であり、
   前記入力ステップは、前記第２の不可視光画像と同じタイミングで撮影された、前記被写体と前記背景とを含む第２の可視光画像を入力し、
   前記被写体領域と前記背景領域との境界部分の各画素を、前記第２の可視光画像を用いて前記被写体領域または前記背景領域に再分類して、前記被写体領域の輪郭を補正する輪郭補正ステップを、さらに行い、
   前記輪郭補正ステップは、前記第２の不可視光画像の各画素の画素値、前記差分、または、前記画素値および前記差分を用いて算出される評価値に応じて、前記再分類で使用する周辺画素の数または周辺画素の選択パターンを調整すること
   を特徴とする画像処理方法。
6. 請求項１から３のいずれか１項に記載の画像処理装置として、コンピュータを機能させること、を特徴とする画像処理プログラム。

Images