JP6312924B2 - 撮像装置及び方法、操作装置及び方法、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、撮像画像から被写体領域を抽出する撮像装置及び方法に関するものである。本発明は特に、異なる照明条件による撮像で得られた２枚以上の撮像画像間の差分を用いて、被写体領域を抽出する技術に関する。本発明はまた、上記の撮像装置で得られたデータを用いて機器に対する操作を行う操作装置及び方法に関する。本発明はまた、上記撮像装置又は方法、或いは上記の操作装置又は方法における処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体に関する。

人の状態或いは動作をモニタリングする目的でカメラに近接する人又はその一部（手など）を被写体として撮像する場合には、周囲の背景を取り除き、被写体が写った領域のみを抽出した上で該領域を詳細に分析するのが有効である。カメラに近接する被写体領域を抽出するために、特許文献１は、被写体を照らす照明を短い周期で点滅し、点灯時の撮像画像と消灯時の撮像画像とを取得し、それらの差分を用いる表示撮像装置を開示している。

この手法においては、背景が変化した場合或いは被写体が移動した場合に、差分画像上に偽信号の領域が生じるという問題がある。特許文献１には、このような問題に対応するため、被写体や背景の動きを補償した補間画像を生成し、被写体の移動により生じる偽信号の領域を排除した差分画像を生成することも開示されている。また、特許文献２には、被写体の移動量を検出し、検出した移動量を被写体領域の特定に利用する画像処理装置が開示されている。

特許第４９１５３６７号公報 特許第４８４２３７４号公報

Ｍａｒｋｏ Ｈｅｉｋｋｉｌａ， ｅｔ ａｌ．， "Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ"， ３０ Ｊｕｎｅ ２００８

非特許文献１については後に言及する。

しかしながら、差分画像を用いて被写体領域を抽出する技術には、走行中の自動車内部、屋外等のように、環境光或いは背景がめまぐるしく変化する空間においては、偽信号の影響を受け、被写体を正しく抽出できない問題がある。特許文献１では、被写体の動き或いは背景の変化を補償する場合、補間画像を生成するために使用する複数の画像において同一の被写体及び背景物が写っている必要がある。しかし、走行中の自動車内部、或いは屋外では環境光の変化或いは背景の変化の速度が速いため、複数の画像において同一の被写体或いは同一の背景が写っている保証がなく、この場合、偽信号の影響を抑えることができない。

一方、被写体の移動量を検出して被写体領域を特定する場合、差分を取ることで算出される輝度変化は環境光の影響を受けやすく、自動車の内部或いは屋外では偽信号か否かの判定を正確に行うことが困難である。また、背景の変化によっても同様の偽信号が生じるため、偽信号が生じた領域を誤って被写体の領域と判定してしまう可能性がある。

本発明は上記課題を解決するものであり、環境光或いは背景の変化があっても、被写体を高精度で抽出することを可能にすることを目的とする。

本発明に係る撮像装置は、
照明条件を制御する照明条件制御信号及び撮像条件を制御する撮像条件制御信号を生成する撮像照射制御部と、
前記照明条件制御信号に基づいて複数の互いに異なる照明条件で被写体を照明する照射部と、
前記撮像条件制御信号で制御される撮像条件で前記被写体の撮像を行って撮像画像を生成する撮像部と、
前記撮像部により、前記異なる照明条件での撮像で得られた複数の撮像画像を使用して前記複数の撮像画像間での各画素についての輝度変化を算出する輝度変化算出部と、
前記撮像部により、異なる時刻における撮像で得られた複数の撮像画像を使用して当該複数の撮像画像間での各画素についてのテクスチャ変化を算出するテクスチャ変化算出部と、
前記輝度変化と前記テクスチャ変化とに基づいて被写体領域を抽出する被写体抽出部とを有し、
前記テクスチャ変化算出部は、前記テクスチャ変化として、
前記異なる時刻に互いに等しい照明条件で行われた撮像で得られた複数の撮像画像を用いて第１のテクスチャ変化を算出するとともに、
前記輝度変化の算出に使用した複数の撮像画像を用いて第２のテクスチャ変化を算出するものである。

本発明によれば、環境光或いは背景の変化があっても、被写体を高精度で抽出することができる。

本発明の実施の形態１の撮像装置の構成を示すブロック図である。 図１の照射部の構成を示すブロック図である。 図１の輝度変化算出部の構成を示すブロック図である。 図１のテクスチャ変化算出部の構成を示すブロック図である。 ＣＳＬＢＰ特徴の算出に用いられる画素の配置を示す図である。 （ａ）〜（ｈ）は、異なる照明条件で撮像された画像に対しＣＳＬＢＰ特徴を算出した結果、及び該画像の輝度ヒストグラムを示した図である。 図４のテクスチャ特徴抽出部の構成を示すブロック図である。 特徴抽出領域のセルへの分割方法を示す図である。 図１の被写体抽出部の構成を示すブロック図である。 照明条件の変化、背景の変化及び被写体の移動と、輝度変化及びテクスチャ変化の関係を示す図である。 （ａ）〜（ｅ）は、実施の形態１の撮像装置による被写体領域の抽出の一例を示す図である。 （ａ）〜（ｅ）は、実施の形態１の撮像装置による被写体領域の抽出の一例を示す図である。 実施の形態１の撮像装置における処理の手順の一例を示すフローチャートである。 図１３の被写体抽出ステップの手順の一例を示すフローチャートである。 図１３の被写体抽出ステップの手順の他の例を示すフローチャートである。 実施の形態１の撮像装置の変形例におけるテクスチャ変化算出部の構成を示すブロック図である。 実施の形態１の撮像装置の変形例における処理の手順を示すフローチャートである。 実施の形態１の撮像装置の変形例における処理の手順を示すフローチャートである。 実施の形態１の変形例において、テクスチャ特徴の算出の対象となる画素の配置を示した図である。 実施の形態１の撮像装置における処理の手順の他の例を示すフローチャートである。 本発明の実施の形態２の撮像装置の構成を示すブロック図である。 図２１の目標値算出部の構成を示すブロック図である。 実施の形態２の撮像装置における処理の手順を示すフローチャートである。 実施の形態２の撮像装置における処理の手順を示すフローチャートである。 本発明の実施の形態３の撮像装置の構成を示すブロック図である。 図２５の輝度変化算出部の構成を示すブロック図である。 図２５のテクスチャ変化算出部の構成を示すブロック図である。 実施の形態３に係る撮像装置における処理の手順を示すフローチャートである。 実施の形態３に係る撮像装置における処理の手順を示すフローチャートである。 本発明の実施の形態４に係る操作装置の構成を示すブロック図である。 図３０のテクスチャ変化算出部の構成を示すブロック図である。 図３０の被写体認識部の構成を示すブロック図である。 図３０の被写体認識部で認識されるジェスチャーの種類と操作決定部で生成される操作内容の対応関係の例を示す図である。 実施の形態４に係る操作装置における処理の手順を示すフローチャートである。 実施の形態１の撮像装置をソフトウェアで実現する場合に用いられるコンピュータを、照射部及び撮像部とともに示すブロック図である。

実施の形態１．
図１は、この発明の実施の形態１に係る撮像装置の構成を示すブロック図である。図示の撮像装置は、撮像照射制御部１１と、照射部１２と、撮像部１３と、輝度変化算出部２１と、テクスチャ変化算出部２２と、被写体抽出部２３と、画像メモリ１４とを備える。

本実施の形態の撮像装置は、例えば人を被写体とする。具体的には、人の全身或いは上半身、顔、手など身体の一部（パーツ）を被写体とし、背景から被写体のみを抽出するために用いられる。

撮像照射制御部１１は、照明条件を制御する制御信号(照明条件制御信号）Ｃ１１ａを照射部１２へ出力するともに、撮像条件を制御する制御信号(撮像条件制御信号）Ｃ１１ｂを生成し、撮像部１３へ出力する。

制御信号Ｃ１１ａによって制御される照明条件には、照明光の照射分布、照明光の発光強度、照明光の発光タイミング、及び照明光の発光期間のうちの１つ以上が含まれる。

制御信号Ｃ１１ｂによって制御される撮像条件には、露光タイミング、露光時間、フレームレート、絞り、及びゲインのうちの１つ以上が含まれる。

撮像部１３はフレーム毎に撮像を行う。照射部１２による照明条件の切り換えは、撮像部１３による撮像に同期して行われる。

本実施の形態では、撮像照射制御部１１から供給される制御信号Ｃ１１ａが、１フレーム毎に交互に異なる照明条件Ａ及びＢを指定し、照射部１２は、制御信号Ｃ１１ａに基づいて、照明条件Ａでの照明と照明条件Ｂでの照明を１フレーム毎に交互に行う。ある条件で照明することを、当該照明条件を生成するとも言う。

照射部１２は、図２に示すように、複数のＬＥＤ１２１と、発光制御部１２２とを有する。
ＬＥＤ１２１としては、近赤外線ＬＥＤ、或いは白色ＬＥＤが用いられる。
被写体が人の上半身である場合、光源としては、人の眼の感度の小さい近赤外線ＬＥＤを使用するのが望ましい。

照射部１２による照明の発光強度を変えるには、複数のＬＥＤ１２１のうちの発光させるＬＥＤの数を変えても良く、各ＬＥＤの発光の強度を変えても良く、上記２つの方法を併用しても良い。

各ＬＥＤの発光の強度を変えるには、例えば、当該ＬＥＤへ入力する駆動電流量を変えても良く、ＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御におけるデューティ比を変えても良い。

照射部１２による照明光の照射分布を変えるには、発光させるＬＥＤを変えても良く、或いは各ＬＥＤの発光強度を、当該ＬＥＤの位置（複数のＬＥＤ１２１の群内における位置）に応じて変えて良い。

以下では、照明条件の切り換えが、ＰＷＭ制御におけるデューティ比を制御することで発光強度を切り換えによって行われるものとして説明する。
照明条件Ａにおける発光強度をΦＡで表し、照明条件Ｂにおける発光強度をΦＢで表す。発光強度ΦＡ及び発光強度ΦＢはそれぞれ固定された値であり、
ΦＡ＞ΦＢ
の関係があるものとする。

撮像部１３は、照射部１２が生成する２つの照明条件下で、撮像照射制御部１１から供給される制御信号Ｃ１１ｂに基づいて被写体を撮像し、撮像した画像Ｇを画像メモリ１４に蓄積させる。

撮像部１３としては、例えば、ＣＭＯＳセンサー、ＣＣＤセンサー等の撮像素子が用いられる。
撮像部１３は、制御信号Ｃ１１ｂに基づいて、例えば、１秒に３０フレーム撮像し、出力する画像Ｇは、例えばグレースケール画像（白黒画像）、ＲＧＢ画像である。
以下では、撮像部１３は、例えば、１秒に３０フレームのレートで、画像を出力する。出力される画像（出力画像）は、例えば、８ビット階調のグレースケール画像である。
出力画像の解像度は例えば、ＶＧＡ規格に沿うものであり、画像幅Ｗが６４０画素、高さＨが４８０画素である。

照射部１２と撮像部１３とは、照射部１２から照射された光（照明光）が被写体に反射し、その反射光が撮像部１３に入射するように設置されている。

撮像部１３は、照射部１２が交互に生成する照明条件Ａと照明条件Ｂとで交互に撮像を行い、照明条件Ａでの撮像で得られた画像（照明条件Ａの画像）Ｇａと、照明条件Ｂでの撮像で得られた画像（照明条件Ｂの画像）Ｇｂを交互に出力する。その結果、照明条件Ａの画像Ｇａと照明条件Ｂの画像Ｇｂが１秒に１５フレームずつ出力される。
撮像部１３から出力された画像Ｇ（Ｇａ、Ｇｂ）は画像メモリ１４に順次蓄積される。
照明条件Ａでの撮像における撮像条件と、照明条件Ｂでの撮像における撮像条件は、それぞれ固定されているものとする。

輝度変化算出部２１は、画像メモリ１４から、撮像部１３が、２つの異なる照明条件で相前後して撮像することで得た２枚の画像Ｇａ、Ｇｂを読み出し、画素毎の輝度Ｉを比較し、画像間での輝度変化ｄＩを算出して出力する。出力された輝度変化ｄＩは被写体抽出部２３に供給される。

輝度変化算出部２１は、図３に示すように、輝度特徴量算出部２１１と、輝度特徴量メモリ２１２と、照明条件判定部２１３と、差分算出部２１５と、輝度変化メモリ２１６とを有する。

輝度特徴量算出部２１１は、画像メモリ１４から読み出された各フレームの画像の輝度特徴量Ｉｍを算出する。輝度特徴量Ｉｍは、例えば輝度平均値、輝度中央値、或いは輝度最頻値である。輝度特徴量算出部２１１で算出した輝度特徴量Ｉｍは輝度特徴量メモリ２１２に記憶され、１フレーム期間後に、前フレームの画像についての輝度特徴量Ｉｍとして照明条件判定部２１３によって読み出される。

照明条件判定部２１３は、輝度特徴量算出部２１１で算出された、最新の画像（最新のフレームの画像）についての輝度特徴量Ｉｍと、輝度特徴量メモリ２１２から読み出される、１フレーム前の画像についての輝度特徴量Ｉｍとを読み出す。これらの画像は、撮像時刻の隣り合う２枚の画像、即ち相前後する２つのフレームの画像である。照明条件判定部２１３は２つのフレームの画像についての輝度特徴量Ｉｍを比較し、比較の結果に基づいて、どちらが照明条件Ａの画像Ｇａであり、どちらが照明条件Ｂの画像Ｇｂであるかの判定を行う。この判定の結果ＣＮａは、差分算出部２１５に供給される。

例えば、輝度特徴量Ｉｍが大きい方の画像が照明条件Ａの画像Ｇａであり、輝度特徴量Ｉｍが小さい方の画像が照明条件Ｂの画像Ｇｂであると判断する。

差分算出部２１５は、照明条件Ａの画像Ｇａと、照明条件Ｂの画像Ｇｂとの間で、画素毎の輝度Ｉの差分を求め、該差分を輝度変化ｄＩとして出力する。即ち、差分算出部２１５は、例えば、画像上の各画素の輝度値Ｉ（ｘ，ｙ）について、２枚の画像間の輝度差分ｄＩ（ｘ，ｙ）を算出する。
ここで、ｘ，ｙは画像上の座標を示しており、
ｘ∈｛０，１，…，Ｗ−１｝，ｙ∈｛０，１，…，Ｈ−１｝
である。

輝度差分ｄＩ（ｘ，ｙ）は、照明条件Ａの画像Ｇａの各画素の輝度値から、照明条件Ｂの画像Ｇｂの、同じ位置の画素の輝度値を差し引くことで算出される。画像メモリ１４から読み出された２枚の画像の中で、どちらが照明条件Ａの画像Ｇａであるかは、照明条件判定部２１３から出力される判定結果ＣＮａに基づいて判断する。
差し引いた結果が負の値となる場合には、輝度差分ｄＩ（ｘ，ｙ）を０とする。

このようにして算出された輝度差分ｄＩ（ｘ，ｙ）を輝度変化と言う。
輝度差分ｄＩ（ｘ，ｙ）は、輝度変化として、輝度変化メモリ２１６に蓄積される。蓄積された輝度差分ｄＩ（ｘ,ｙ）は後に被写体抽出部２３に供給される。
各画素についての輝度差分ｄＩ（ｘ，ｙ）の集合、即ち各画素の輝度差分ｄＩ（ｘ，ｙ）を、当該画素と同じ位置に配列したものを、輝度差分画像（輝度変化画像）を形成する。

撮像部１３から取得される画像には、撮像素子における暗電流によるノイズ或いは電荷の読み出しノイズが含まれている。輝度変化算出部２１は、例えば、撮像部１３から供給される画像に対し、図示しない平滑化フィルタで平滑化フィルタリングを施してノイズを取り除いた上で、差分算出部２１５で差分を求めることとしても良い。代わりに、輝度変化算出部２１は、差分算出部２１５で算出した輝度差分画像に対し、図示しない平滑化フィルタにより平滑化フィルタリングを施してノイズを取り除いた結果を輝度変化として出力しても良い。平滑化フィルタとしては、例えば、ガウシアンフィルタ、メディアンフィルタ等を用いることができる。

上記の平滑化フィルタリングを、輝度差分を算出する前に行うことで、カメラ等に起因するノイズを除去することできる。輝度差分を算出した後で上記の平滑化フィルタリングを行うと、差分の小さい領域（つまりノイズ）を除去できる。輝度差分を算出する前と、算出した後の双方で上記の平滑化フィルタリングを行っても良い。

輝度差分画像に対し、閾値処理を施すことで、被写体領域を抽出することができる。但し、輝度差分画像のみに基づいて被写体領域の抽出を行うと、背景の変化或いは被写体の移動が起こった部分が被写体領域と誤判定されてしまう。この被写体領域と誤判定される部分を偽信号の領域と言う。
本発明では、以下に説明するように、テクスチャ変化を併せて利用することで、偽信号の領域と被写体の領域とを判別し、被写体領域のみの抽出を可能にしている。

テクスチャ変化算出部２２は、画像メモリ１４に蓄積されている複数の画像を順次読出し、各画像を構成する画素の各々についてテクスチャ特徴Ｆを求め、２つの異なる時刻における撮像で得られた２枚の画像間のテクスチャ変化ｄＦを算出し、算出したテクスチャ変化ｄＦを被写体抽出部２３に供給する。

上記の「２つの異なる時刻」は具体的には、相前後するフレーム期間である。従って、２つの異なる時刻における撮像は、本実施の形態では、２つの異なる照明条件での画像Ｇａ、Ｇｂとなる。しかしながら、テクスチャ変化ｄＦの算出においては、照明条件が異なることは重要ではなく、時刻が異なることが重要であるので、そのことを強調するため、「２つの異なる時刻」と言う場合がある。

テクスチャ変化算出部２２は、図４に示されるように、ＣＳＬＢＰ特徴算出部２２１と、ＣＳＬＢＰ特徴メモリ２２２と、テクスチャ特徴算出部２２３と、特徴変化処理部２２５と、テクスチャ特徴メモリ２２４と、テクスチャ変化メモリ２２６とを含む。

ＣＳＬＢＰ特徴算出部２２１は、画像メモリ１４から各時刻（フレーム期間）での撮像で得られた画像を読み出して、読み出した画像の各画素についてＣＳＬＢＰ特徴Ｂを算出し、算出したＣＳＬＢＰ特徴Ｂを、ＣＳＬＢＰ特徴メモリ２２２に蓄積させる。

テクスチャ特徴算出部２２３は、ＣＳＬＢＰ特徴メモリ２２２に蓄積されている各画像の各画素についてのＣＳＬＢＰ特徴Ｂを読み出して、当該画像の各画素についてのテクスチャ特徴Ｆを算出し、テクスチャ特徴メモリ２２４に蓄積させる。

特徴変化処理部２２５はテクスチャ特徴メモリ２２４から２枚の画像の同じ画素（同じ位置の画素）についてのテクスチャ特徴Ｆを読み出し、画像間でのテクスチャ特徴Ｆの変化（テクスチャ変化）ｄＦを算出し、算出されたテクスチャ変化ｄＦをテクスチャ変化メモリ２２６に蓄積させる。蓄積されたテクスチャ変化ｄＦは、後に被写体抽出部２３に供給される。

テクスチャ特徴算出部２２３によって算出されるテクスチャ特徴Ｆは、被写体或いは背景の見え方に関する特徴であり、照明条件に対する依存度の低い、表面の模様或いは凹凸、反射率の違いを表す特徴である。

テクスチャ特徴Ｆは、例えば、画像上の各画素（注目画素）に対し、注目画素を中心とする領域（特徴抽出領域）内の特定の位置の画素の輝度値の相関関係を数値化した特徴ベクトルで表される。
テクスチャ特徴Ｆを表すものとして使用できる特徴ベクトルは、照明変化に頑健な（照明の変化の影響を受けにくい）特徴ベクトルが好ましく、例えば、特徴抽出領域内の輝度勾配のヒストグラムで構成されるＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔ）特徴ベクトル、或いは特徴抽出領域内の輝度勾配をバイナリーコード化したＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）のヒストグラムで構成された特徴ベクトルである。

以下では、各画素について当該画素を中心とする正方形の特徴抽出領域内の画素について、ＬＢＰを拡張したＣＳＬＢＰ（Ｃｅｎｔｅｒ Ｓｙｍｍｅｔｒｉｃ ＬＢＰ）特徴のヒストグラムを求め、テクスチャ特徴Ｆとして使用する。ＣＳＬＢＰのヒストグラムは非特許文献１に倣って算出する。

各画素についてのＣＳＬＢＰ特徴Ｂの算出には、その画素を中心とする３×３画素の輝度値が必要である。
また、各画素のテクスチャ特徴の算出には、その画素を中心とする特徴抽出領域内のすべての画素についてのＣＳＬＢＰ特徴Ｂが必要である。
従って、画像の周縁部に位置する画素についてはテクスチャ特徴を算出することができない。

以下では、特徴抽出領域の縦方向及び横方向のサイズＬがともに４０画素であるものとする。そして、画像のサイズが、上記のように、横方向６４０画素、縦方向４８０画素であり、横方向の端から２０画素までの部分及び縦方向の端から２０画素までの部分を除くことで形成された横方向６００画素、縦方向４４０画素の範囲内のすべての画素の各々についてテクスチャ特徴Ｆが算出される。テクスチャ特徴Ｆが算出される領域の横方向の画素数（６００）をＭで、縦方向の画素数（４４０）をＮで表す。
以下では、上記の横方向６００画素、縦方向４４０画素の範囲内のすべての画素を単に画像のすべての画素と言うこともある。

以下、各画素についてのテクスチャ特徴Ｆの算出方法の一例を説明する。
まず、ＣＳＬＢＰ特徴算出部２２１によるＣＳＬＢＰ特徴Ｂの算出について図５を参照して説明する。
ＣＳＬＢＰ特徴Ｂは、画像周縁に隣接する画素（画像周縁から数えて１番目の画素）を除き、画像上の全ての画素に対して算出される。

図５は、各画素Ｐｃ（ｘ，ｙ）についてのＣＳＬＢＰ特徴Ｂの算出に使用される、当該画素を中心とする３×３画素の領域内の画素に番号を付けたものである。
画素Ｐｃ（ｘ，ｙ）についてのＣＳＬＢＰ特徴Ｂ（ｘ，ｙ）は、当該画素を中心とする３×３個の画素の輝度値を用いて式（１）により算出される。

式（１）で，ｎ０〜ｎ７は、それぞれ図５に示される画素ｎ０〜ｎ７の輝度値を表す。
また、ｓ（ａ）は閾値関数であり、ａ＞Ｔ１のときｓ（ａ）＝１、それ以外の場合はｓ（ａ）＝０となる。
また、ｓ（ａ）が０又は１であるので、ＣＳＬＢＰ特徴Ｂ（ｘ，ｙ）は整数であり、ＣＳＬＢＰ特徴Ｂ（ｘ,ｙ）の取り得る値の範囲は、
０≦Ｂ（ｘ，ｙ）＜１６ ∀ｘ，ｙ
である。
非特許文献１によれば、閾値Ｔ１は、例えば、輝度値の取り得る値の１％程度が望ましく、輝度値が０〜２５５の値を取る場合は、Ｔ１＝３と設定する。

図６（ａ）〜（ｈ）は、異なる照明条件で撮像された画像に対してＣＳＬＢＰ特徴を算出した結果、及び該画像の輝度ヒストグラムの例を示す。図６（ａ）及び（ｂ）は照明条件Ａで撮像された画像Ｇａの例及び輝度ヒストグラムを示し、図６（ｃ）及び（ｄ）は図６（ａ）の画像から算出されたＣＳＬＢＰ特徴及びＣＳＬＢＰ特徴のヒストグラムを示し、図６（ｅ）及び（ｆ）は照明条件Ｂで撮像された画像Ｇｂの例及び輝度ヒストグラムを示し、図６（ｇ）及び（ｈ）は図６（ｅ）の画像から算出されたＣＳＬＢＰ特徴及びＣＳＬＢＰ特徴のヒストグラムを示す。図６（ｃ）、（ｄ）、（ｇ）及び（ｈ）に示されるように、ＣＳＬＢＰ特徴は、照明条件を変化させても変化が小さく、照明条件の変化に対して頑健である。そのため、２つの画像に対してＣＳＬＢＰ特徴を算出した場合、撮像照射制御部１１が決定する照明条件に関係なく、同じ背景、被写体である限りは、ＣＳＬＢＰ特徴は極めて近い値となる。

一方で、２枚の画像間で背景が変化した場合或いは被写体が移動した場合には、上記の背景が変化した領域又は被写体が移動した領域に含まれる画素

Ｐｃ（ｘｃ，ｙｃ），
ｘｃ∈｛０，１，…，Ｗ−１｝，ｙｃ∈｛０，１，…，Ｈ−１｝，

におけるＣＳＬＢＰ特徴の値は変化する。
ＣＳＬＢＰ特徴を用いて後述のように算出されるテクスチャ特徴も同様の性質を有する。

画像上の各画素についてテクスチャ特徴Ｆを算出することで、画像上の局所領域におけるテクスチャの特徴を把握することができる。そして、局所領域毎にテクスチャの特徴を比較することで、テクスチャの特徴が変化した領域を特定することができる。

従って、輝度変化算出部２１で照明条件による輝度変化を抽出するためには、照明条件の異なる２枚の画像を使用する必要があるのに対し、テクスチャ変化算出部２２でテクスチャ変化ｄＦを抽出するには、照明条件の異なる２枚の画像を使用する必要はなく、撮像時刻の異なる２枚の画像であれば良く、撮像時刻の異なる２枚の画像は同じ照明条件の画像であっても良い。

但し以下では、テクスチャ変化算出部２２は、輝度変化算出部２１が使用する画像と同一の画像を用いてテクスチャ変化ｄＦを算出するものとして説明する。すなわち、照明条件Ａと照明条件Ｂの２枚の画像Ｇａ、Ｇｂを用いてテクスチャ変化ｄＦを算出するものとして説明する。

テクスチャ特徴算出部２２３は、各画素を中心とする特徴抽出領域に含まれる画素の各々についてのＣＳＬＢＰ特徴の複数のヒストグラムを生成し、生成した複数のヒストグラムを合成することで得られる数値列を、特徴ベクトルとして生成する。

テクスチャ特徴算出部２２３は、例えば、図７に示すように、領域分割部２２１１と、第１乃至第１６のＣＳＬＢＰ特徴読出し部２２１２−１〜２２１２−１６と、第１乃至第１６のヒストグラム生成部２２１３−１〜２２１３−１６と、連結部２２１４と、正規化部２２１５と、クリップ部２２１６とを有する。

領域分割部２２１１は、各画素を中心とする特徴抽出領域ＡＦを、図８に示すように、縦方向及び横方向に４つに分割して、１６個のセルＣＡを生成する。本例では、特徴抽出領域ＡＦが上記のように４０画素×４０画素であるので、各セルＣＡのサイズは１０画素×１０画素となる。

１６個のセルＣＡはそれぞれ第１乃至第１６のＣＳＬＢＰ特徴読出し部２２１２−１〜２２１２−１６に割り当てられる。
各ＣＳＬＢＰ特徴読出し部２２１２−ｉ（ｉ＝１〜１６）には、当該ＣＳＬＢＰ特徴読出し部２２１２−ｉに割り当てられたセル内に位置する１０×１０個の画素の各々についてのＣＳＬＢＰ特徴を、ＣＳＬＢＰ特徴メモリ２２２から読み出す。

各ＣＳＬＢＰ特徴読出し部２２１２−ｉで読み出された１０×１０個の画素の各々についてのＣＳＬＢＰ特徴は、対応するヒストグラム生成部２２１３−ｉに供給される。

ヒストグラム生成部２２１３−ｉでは、対応するＣＳＬＢＰ特徴読出し部２２１２−ｉで読み出されたＣＳＬＢＰ特徴をその値毎の出現頻度を求めることでヒストグラムを生成する。ＣＳＬＢＰ特徴は０から１５までの値を有し得るので、１６ビンのヒストグラムが生成される。

連結部２２１４では、第１乃至第１６のヒストグラム生成部２２１３−１〜２２１３−１６で生成されたヒストグラムを連結して、１６×１６＝２５６ビンのヒストグラムを生成し、これを２５６次元の特徴ベクトルとして出力する。

正規化部２２１５は、連結部２２１４から出力された２５６次元の特徴ベクトルを、ベクトル長が１となるように正規化する。
特徴ベクトルを構成する２５６個の要素の各々をｖ_ｉ（ｉ＝０〜２５５）とするとき、ベクトル長Ｖ_Ｌは、下記の式（２）で与えられる。

正規化後の各要素の値ｖ_ｎｉは、下記の式（３）で与えられる。

クリップ部２２１６は、正規化後のベクトルの各要素に対して閾値処理（クリッピング）を施し、Ｔ２より大きな値を持つ要素は、その値をＴ２とする。非特許文献１によると、Ｔ２は、例えばＴ２＝０．２である。

なお、上記の例では、１６個のＣＳＬＢＰ読出し部が設けられているが、１６個より少ないＣＳＬＢＰ読出し部を設け、各ＣＳＬＢＰ読出し部に２以上のセル内の全画素についてのＣＳＬＢＰ特徴の読出しを順次行わせても良い。例えば一つのＣＳＬＢＰ読出し部に１６個のセル内の全画素についてのＣＳＬＢＰ特徴を順次読み出させても良い。同様に１６個のヒストグラム生成部を設ける代わりに、１６個より少ないヒストグラム生成部を設け、各ヒストグラム生成部に２以上のセルについてのヒストグラムを生成させても良い。例えば一つのヒストグラム生成部に１６個のセルについてのヒストグラムを順次生成させても良い。

テクスチャ特徴算出部２２３は、上記のクリッピング後の特徴ベクトルを、特徴抽出領域の中心に位置する画素についてのテクスチャ特徴Ｆとして出力する。

テクスチャ特徴算出部２２３は、各画像の各画素について上記の処理を行って、算出したテクスチャ特徴Ｆを、テクスチャ特徴メモリ２２４に蓄積させる。

特徴変化処理部２２５はテクスチャ特徴メモリ２２４から２枚の画像（即ち、時刻ｔ１ａの撮像で得られた画像Ｇａ、及び時刻ｔ１ｂの撮像で得られた画像Ｇｂ）についてのテクスチャ特徴Ｆを読み出し、画像間でのテクスチャ特徴Ｆの変化（テクスチャ変化）ｄＦを算出する。算出されたテクスチャ変化ｄＦは、テクスチャ変化メモリ２２６に蓄積される。蓄積されたテクスチャ変化ｄＦは後に被写体抽出部２３に供給される。

上記のように、テクスチャ特徴Ｆは、画像の周縁部以外の各画素について算出され、テクスチャ特徴Ｆの変化としては、同じ位置の画素についてのテクスチャ特徴の２枚の画像間での変化が算出される。

テクスチャ特徴Ｆの変化は、例えば、２枚の画像に対して、各画素における２５６次元の特徴ベクトルを比較することで求められる。特徴ベクトルの変化は、例えば、２つの特徴ベクトル間の距離で定義する。ベクトル間距離としては、例えば、ユークリッド距離或いはマンハッタン距離を使用する。

以下では、マンハッタン距離を用いて、特徴ベクトルの変化を算出する場合について説明する。時刻ｔ１ａにおける特徴ベクトルＦ（ｔ１ａ）と時刻ｔ１ｂにおける特徴ベクトルＦ（ｔ１ｂ）との間のマンハッタン距離ｄＦ（ｔ１ａ，ｔ１ｂ）は、２つの特徴ベクトルの対応する要素間の差の絶対値の総和を算出することで求められる。即ち、マンハッタン距離ｄＦ（ｔ１ａ，ｔ１ｂ）は、下記の式（４）で与えられる。

式（４）で、
ｆ_ａj（ｊ＝１からＪまで）は、特徴ベクトルＦ（ｔ１ａ）の要素、
ｆ_ｂj（ｊ＝１からＪまで）は、特徴ベクトルＦ（ｔ１ｂ）の要素、
ｊの値が同じである要素ｆ_ａｊと、要素ｆ_ｂｊとは互いに対応する。
Ｊは各特徴ベクトルＦ（ｔ１ａ）又はＦ（ｔ１ｂ）の要素ｆ_ａｊ又は要素ｆ_ｂｊの総数であり、本例ではＪ＝２５６である。

特徴変化処理部２２５は、各画素について上記のようにして、特徴ベクトル間距離を求め、テクスチャ変化ｄＦとして、テクスチャ変化メモリ２２６に蓄積させる。蓄積されたテクスチャ変化ｄＦは後に被写体抽出部２３に供給される。

テクスチャ特徴Ｆは照明変化によって変化が生じにくいため、背景が変化した場合或いは被写体が移動した場合にはテクスチャ変化ｄＦが大きくなる。そのため、照明条件Ａの画像と照明条件Ｂの画像の間で算出されたテクスチャ変化ｄＦは、背景が変化したことによるテクスチャ特徴の変化、又は被写体が移動したことによるテクスチャ特徴の変化と判断することができる。

被写体抽出部２３は、画像メモリ１４から読み出される画像Ｇと、輝度変化算出部２１から供給される輝度変化ｄＩと、テクスチャ変化算出部２２から供給されるテクスチャ変化ｄＦとに基づいて、被写体領域を抽出する。

被写体抽出部２３は、図９に示すように輝度変化比較部２３１と、テクスチャ変化比較部２３２と、領域判定部２３３と、ゲート部２３４とを有する。
輝度変化比較部２３１は、各画素についての輝度変化ｄＩが閾値ＴＩよりも大きいか否かを判定する。
テクスチャ変化比較部２３２は、各画素についてのテクスチャ変化ｄＦが閾値ＴＦよりも大きいか否かを判定する。

領域判定部２３３は、各画素についての、輝度変化比較部２３１における判定結果とテクスチャ変化比較部２３２における判定結果とに基づいて当該画素が、被写体領域に属する（該領域内に位置する）ものであるか、背景領域に属するか、被写体の移動又は背景の変化による偽信号の領域に属するかの判定を行う。
即ち、輝度変化比較部２３１における判定結果が、閾値ＴＩ以下であることを示す場合には、当該画素が背景領域に属すると判定する。

輝度変化比較部２３１における判定結果が閾値ＴＩよりも大きいことを示し、テクスチャ変化比較部２３２における判定結果が閾値ＴＦ以下であることを示す場合には、当該画素が、被写体領域に属すると判定する。
輝度変化比較部２３１における判定結果が閾値ＴＩよりも大きいことを示し、テクスチャ変化比較部２３２における判定結果が閾値ＴＦよりも大きいことを示す場合には、当該画素が偽信号の領域に属すると判定する。

ゲート部２３４は、画像Ｇを構成する画素のうち、領域判定部２３３により、被写体領域に属すると判定された画素の輝度値を、被写体領域内の画素の輝度値として出力する。

ゲート部２３４から出力された画素、即ち、被写体領域に属すると判定された画素の集合により被写体領域が構成される。
このような処理により、ゲート部２３４は、画像メモリ１４から読み出された画像Ｇのうち、被写体領域に一致する部分を、被写体領域Ｈの抽出の結果として出力する。被写体領域Ｈの抽出の結果は、被写体領域Ｈの画像を表すものである。

以上の処理によって被写体領域の抽出を行うのが適切である理由を説明する。
まず、照明条件の変化、背景の変化、及び被写体の移動と、これらによる画像上の輝度変化及びテクスチャ変化との関係を説明する。図１０に示すように、照明条件を変化させると、被写体領域における輝度変化が生じる。

一方、背景の変化又は被写体の移動があると、変化又は移動があった領域（例えば移動によりエッジの位置が変わった部分）において輝度変化が生じる。そのため、仮に輝度変化があった部分をすべて被写体領域であると判定することとすれば、背景の変化又は被写体の移動があった領域も、被写体領域として誤検出されてしまう。そこで本発明では、テクスチャ変化に基づく判定をも行って被写体領域と、背景の変化又は被写体が移動により輝度が変化した領域との判別を行う。

即ち、図６（ｃ）、（ｄ）、（ｇ）及び（ｈ）を参照して説明したように、被写体領域では、照明条件の変化に伴うテクスチャ変化は生じない（図１０）。一方、背景が変化し、又は被写体が移動すると、変化又は移動した部分にテクスチャの変化が生じる（図１０）。この違いに基づいて、被写体領域と、背景の変化又は被写体の移動により輝度が変化した領域との区別を行うことができる。

以上より、輝度変化が生じた領域の中で、テクスチャ変化が生じていない領域は照明変化により輝度変化が生じた領域であり、従って被写体を構成する部分と判定することができる。一方、輝度変化とともに、テクスチャ変化が生じている領域は、背景の変化又は被写体の移動により輝度変化が生じた領域、すなわち偽信号の領域であると判定することができる。

上記の判定方法を用いて、被写体抽出部２３は、輝度変化ｄＩ及びテクスチャ変化ｄＦに基づいて被写体領域を抽出する。
例えば、輝度変化ｄＩの大きさに対して閾値ＴＩを設け、輝度変化比較部２３１において、輝度変化ｄＩが閾値ＴＩより大きいと判断された画素を、「輝度変化が生じた画素」が生じた画素と判断する。同様に、例えば、テクスチャ変化ｄＦの大きさに対して閾値ＴＦを設け、テクスチャ変化比較部２３２において、テクスチャ変化ｄＦが閾値ＴＦより大きいと判断された画素を、「テクスチャ変化が生じた画素」と判断する。

そして、領域判定部２３３において、輝度変化比較部２３１で、輝度変化が生じていると判定され、テクスチャ変化比較部２３２でテクスチャ変化が生じていないと判定された画素を、被写体領域に属する画素であると判定する。
この場合、領域判定部２３３における判定は、以下の基準に従って行われる。
（ａ） 輝度変化が生じておりかつテクスチャ変化が生じている画素は偽信号の領域に属する画素である。
（ｂ） 輝度変化が生じておりかつテクスチャ変化が生じていない画素は被写体領域に属する画素である。
（ｃ） （ａ）及び（ｂ）以外の画素、即ち輝度変化が生じていない画素は背景領域に属する画素である。
但し、被写体領域の抽出が目的であるので、上記（ｂ）に基づく判定のみを行って、上記（ａ）及び（ｃ）に基づく判定は省略することができる。

ゲート部２３４は、画像メモリ１４から輝度算出に使用された画像の何れか一方を読み出し、読み出した画像のうち、領域判定部２３３により、被写体領域に属すると判定された画素の輝度値を、被写体領域Ｈの抽出結果として出力する。

以上の例では、各画素についての輝度変化比較部２３１における判定結果及びテクスチャ変化比較部２３２における判定結果を、領域判定部２３３で組合せることで、当該画素が被写体領域に属するか否かの判定を行っている。即ち、輝度変化比較部２３１、テクスチャ変化比較部２３２及び領域判定部２３３における判定を画素毎に行っている。
代わりに、輝度変化比較部２３１、テクスチャ変化比較部２３２及び領域判定部２３３における判定を画像毎（フレーム毎）に行っても良い。即ち、輝度変化比較部２３１において画像の全体についての輝度変化が生じた画素の集合を、輝度変化領域として抽出し、テクスチャ変化比較部２３２において画像の全体についてのテクスチャ変化が生じた画素の集合を、テクスチャ変化領域として抽出し、領域判定部２３３において、輝度変化領域に属し、テクスチャ変化領域に属さない画素から成る領域を被写体領域Ｈと判定しても良い。

この場合、領域判定部２３３における判定は、以下の基準に従って行われる。
（ａ） 輝度変化が生じておりかつテクスチャ変化が生じている領域は、偽信号の領域である。
（ｂ） 輝度変化が生じておりかつテクスチャ変化が生じていない領域は被写体領域である。
（ｃ） （ａ）及び（ｂ）以外の領域、即ち輝度変化が生じていない領域は背景領域である。
但し、被写体領域の抽出が目的であるので、上記（ｂ）に基づく判定のみを行って、上記（ａ）及び（ｃ）に基づく判定は省略することができる。

ゲート部２３４は、画像メモリ１４から輝度算出に使用された画像の何れか一方を読み出し、読み出した画像のうち、領域判定部２３３により、被写体領域Ｈと判定された領域に属する画素の輝度値を、被写体領域Ｈの画像の輝度値として出力する。

なお、輝度変化比較部２３１で用いる閾値ＴＩ及びテクスチャ変化比較部２３２で用いる閾値ＴＦは固定された値でなくても良く、例えば公知の技術より適応的に修正しても良い。例えば、輝度変化ｄＩ或いはテクスチャ変化ｄＦの集合に対して、Ｐ−タイル法、モード法、判別分析法等を使用して閾値を設定することとしても良い。

前述した通り、撮像部１３から取得される画像には、撮像素子における暗電流によるノイズ或いは電荷の読み出しノイズが多く含まれており、輝度変化算出部２１から供給される輝度変化及びテクスチャ変化算出部２２から供給されるテクスチャ変化はノイズを含んでいる場合がある。

そのため、被写体抽出部２３は、例えば、輝度変化ｄＩに対し、図示しない平滑化フィルタを用いて平滑化フィルタリングを施した上で輝度変化比較部２３１における閾値処理を行っても良い。また、輝度変化比較部２３１で画像毎の処理を行っている場合には、輝度変化比較部２３１における閾値処理を行った後に平滑化フィルタリングを施しても良い。

同様に、例えば、テクスチャ変化ｄＦに対し、図示しない平滑化フィルタを用いて平滑化フィルタリングを施した上でテクスチャ変化比較部２３２における閾値処理を行っても良い。また、テクスチャ変化比較部２３２で画像毎の処理を行っている場合には、テクスチャ変化比較部２３２における閾値処理を行った後に平滑化フィルタリングを施してもよい。

加えて、領域判定部２３３で画像毎の処理を行っている場合には、領域判定部２３３における判定の結果に対して平滑化フィルタリングを施しても良い。
平滑化フィルタとして、例えば、ガウシアンフィルタ或いはメディアンフィルタを用いることができる。

次に、被写体抽出部２３による被写体領域の抽出の動作の例を、図１１（ａ）〜（ｅ）及び図１２（ａ）〜（ｅ）を参照して説明する。ここでは、被写体が人の手である場合を想定する。

まず、被写体は移動せず、背景要素の消滅によって背景が変化した場合の被写体領域の抽出の動作を、図１１（ａ）〜（ｅ）を参照して説明する。図１１（ａ）〜（ｅ）は、時刻ｔ１ａと時刻ｔ１ｂの間に背景を構成する要素Ｂ１が消滅したことにより背景が変化した場合の撮像画像、輝度変化量、テクスチャ変化量、及び抽出された被写体領域を示す図である。

図１１（ａ）及び（ｂ）は、それぞれ時刻ｔ１ａ及びｔ１ｂにおける撮像画像を示すとともに、線ＢＬに沿う部分の輝度をグラフ（横軸は画像座標系のｘ軸方向、縦軸が輝度）で示す図である。図１１（ｃ）は、時刻ｔ１ａと時刻ｔ１ｂの間に輝度が変化した領域を白で示すとともに、線ＢＬに沿う部分の輝度変化量をグラフ（横軸は画像座標系のｘ軸方向、縦軸が輝度変化量）で示す図である。図１１（ｄ）は、時刻ｔ１ａと時刻ｔ１ｂの間にテクスチャが変化した領域を白で示すとともに、線ＢＬに沿う部分のテクスチャ変化量をグラフ（横軸は画像座標系のｘ軸方向、縦軸がテクスチャ変化量）で示す図である。図１１（ｅ）は、抽出された被写体領域を白で示している。

図１１（ａ）に示される時刻ｔ１ａの画像は照明条件Ａで撮像された画像Ｇａ、図１１（ｂ）に示される時刻ｔ１ｂの画像は照明条件Ｂで撮像された画像Ｇｂである。
被写体Ｈは、時刻ｔ１ａから時刻ｔ１ｂにかけて静止している。背景のうち、背景要素Ｂ１は時刻ｔ１ａには存在するが、時刻ｔ１ｂには存在しない。例えば、背景要素Ｂ１は、太陽であり、時刻ｔ１ａには見える状態にあるが、時刻ｔ１ｂではビル陰に隠れてしまった場合に相当する。

背景要素Ｂ１は、非常に明るいため、照射部１２が発光する光の影響を受けない。背景のうち、背景要素Ｂ１以外の部分（背景部分）Ｂ２は、照射部１２及び撮像部１３から十分に距離が離れているため、照射部１２が発光する光の影響を受けない。

図１１（ａ）及び（ｂ）の撮像画像と、図１１（ｃ）の輝度変化、図１１（ｄ）のテクスチャ変化を参照しながら、被写体Ｈ、背景要素Ｂ１、及び背景要素Ｂ１以外の部分Ｂ２の輝度変化及びテクスチャ変化について説明する。

照明条件Ａは照明条件Ｂよりも照射部１２が発光する光の強度が大きいため、時刻ｔ１ａにおける被写体Ｈの輝度は時刻ｔ１ｂにおける被写体の輝度よりも大きい。そのため、被写体Ｈは、図１１（ｃ）に示されるように輝度変化が生じた領域として抽出される。一方で、被写体Ｈでは、照明条件の変化によるテクスチャ特徴の変化は生じない。従って、被写体Ｈは、テクスチャ変化が生じた領域としては抽出されない（図１１（ｄ））。

背景要素Ｂ１は、背景部分Ｂ２とは明るさ及びテクスチャ特徴が異なり、背景要素Ｂ１は、時刻ｔ１ａから時刻ｔ１ｂにかけて背景要素Ｂ１が消失した領域が、輝度変化が生じた領域として抽出される（図１１（ｃ））とともに、テクスチャ変化が生じた領域として抽出される（図１１（ｄ））。

背景部分Ｂ２（厳密には、時刻ｔ１ｂの背景のうち、時刻ｔ１ａに背景要素Ｂ１が存在した領域以外の領域）は、時刻ｔ１ａから時刻ｔ１ｂにかけて輝度もテクスチャも変化せず、従って、輝度変化領域としても、テクスチャ変化領域としても抽出されない（図１１（ｃ）及び図１１（ｄ））。

輝度変化が生じており、かつテクスチャ変化が生じていない領域を被写体領域と判定し、輝度変化が生じており、かつテクスチャ変化が生じている領域を偽信号の領域として判定すると、被写体領域を、背景要素Ｂ１が消失した領域から区別することができ、図１１（ｅ）に示すように、被写体領域Ｈのみを抽出することができる。

次に、被写体が移動した場合の被写体領域の抽出の動作、図１２（ａ）〜（ｅ）を参照して説明する。図１２（ａ）〜（ｅ）は、時刻ｔ１ａと時刻ｔ１ｂの間に被写体Ｈが移動し、これとともに背景を構成する要素Ｂ１が移動したことによって背景が変化した場合の撮像画像、輝度変化量、テクスチャ変化量、及び抽出された被写体領域を示す図である。

図１２（ａ）及び（ｂ）は、それぞれ時刻ｔ１ａ及びｔ１ｂにおける撮像画像を示すとともに、線ＢＬに沿う部分の輝度をグラフ（横軸は画像座標系のｘ軸方向、縦軸が輝度値の大きさ）で示す図である。図１２（ｃ）は、時刻ｔ１ａと時刻ｔ１ｂの間に輝度が変化した領域を白で示すとともに、線ＢＬに沿う部分の輝度変化量をグラフ（横軸は画像座標系のｘ軸方向、縦軸が輝度変化量）で示す図である。図１２（ｄ）は、時刻ｔ１ａと時刻ｔ１ｂの間にテクスチャが変化した領域を白で示すとともに、線ＢＬに沿う部分のテクスチャ変化量をグラフ（横軸は画像座標系のｘ軸方向、縦軸がテクスチャ変化量）で示す図である。図１２（ｅ）は、抽出された被写体領域を白で示している。

図１２（ａ）に示される時刻ｔ１ａの画像は照明条件Ａで撮像された画像Ｇａ、図１２（ｂ）に示される時刻ｔ１ｂの画像は照明条件Ｂで撮像された画像Ｇｂである。
被写体Ｈは、時刻ｔ１ａから時刻ｔ１ｂにかけて右方向に移動している。
背景のうち、背景要素Ｂ１は、被写体Ｈと同様に、時刻がｔ１ａから時刻ｔ１ｂにかけて右方向に移動している。
背景要素Ｂ１は、非常に明るいため、照射部１２が発光する光の影響を受けない。背景のうち、背景要素Ｂ１以外の部分Ｂ２は、照射部１２及び撮像部１３から十分に距離が離れているため、照射部１２による照明光の影響を受けない。

図１２（ａ）及び（ｂ）の撮像画像と、図１２（ｃ）の輝度変化、図１２（ｄ）のテクスチャ変化を参照しながら、被写体Ｈ、背景要素Ｂ１、及び背景要素Ｂ１以外の部分Ｂ２の輝度変化及びテクスチャ変化について説明する。

照明条件Ａは照明条件Ｂよりも照射部１２が照射する光の強度が大きいため、時刻ｔ１ａにおける被写体Ｈの輝度は時刻ｔ１ｂにおける被写体の輝度よりも大きい。そのため、図１２（ｃ）に示される輝度変化結果においては輝度変化が生じた領域として抽出される。また、被写体Ｈは移動しているため、被写体領域の左右の境界部分（移動によって、被写体から背景に変わった部分、及び背景から被写体に変わった部分）が、輝度変化が生じた領域として抽出される（図１２（ｃ））。即ち被写体領域の左側の境界部分（背景から被写体に変わった部分）では、照明条件Ｂの被写体の明るさと、背景部分Ｂ２との明るさの違いのため、輝度変化が検出され、被写体領域の右側の境界部分（被写体から背景に変わった部分）では、照明条件Ａの被写体の明るさと、背景部分Ｂ２との明るさの違いのため、輝度変化が検出される。

また、被写体Ｈが移動しているため、被写体Ｈの左右の境界部分（背景から被写体に変わった部分、及び被写体から背景部分に変わった部分）が、背景部分Ｂ２と被写体Ｈとのテクスチャ特徴の違いにより、テクスチャ変化領域として抽出される（図１２（ｄ）。

背景要素Ｂ１は、背景部分Ｂ２とは明るさ及びテクスチャ特徴が異なり、背景要素Ｂ１が時刻ｔ１ａから時刻ｔ１ｂにかけて移動しているため、背景要素Ｂ１の左右の境界部分が、輝度変化領域として抽出される（図１２（ｃ）とともに、テクスチャ変化領域として抽出される（図１２（ｄ））。

背景部分Ｂ２（厳密には、時刻ｔ１ａにおいて、時刻ｔ１ｂにおいても背景要素Ｂ１の一部とならない部分）は、時刻ｔ１ａから時刻ｔ１ｂにかけて輝度もテクスチャも変化せず、従って、輝度変化領域としても、テクスチャ変化領域としても抽出されない（図１２（ｃ）、図１２（ｄ））。

輝度変化が生じており、かつテクスチャ変化が生じていない領域を被写体領域と判定し、輝度変化が生じており、かつテクスチャ変化が生じている領域を偽信号の領域と判定すると、被写体の領域を、被写体Ｈの境界部分（輝度が変化した部分）及び背景要素Ｂ１の境界部分（輝度が変化した部分）から区別することができ、図１２（ｅ）に示すように、被写体領域Ｈのみを抽出することができる。

以上のように、本発明では、輝度変化とテクスチャ変化とに基づいて、被写体領域を、背景領域のみならず、偽信号の領域から区別することができ、被写体領域を高精度で抽出することができる。

また、被写体或いは背景要素（背景を構成する物体など）の表面に模様或いは凹凸、反射率の違いがあって、輝度が不均一な場合、被写体或いは背景要素の移動により、領域境界付近だけでなく、被写体領域或いは背景の領域内部においてもテクスチャ特徴が変化する。しかしながら、本実施の形態では、テクスチャ特徴を算出する際に、各画素に対して特徴抽出領域を設けた上で、テクスチャ特徴を算出する。各画素とそれに隣接する画素に基づいて判定を行うのではなく、より広い範囲の画素に基づいて判定を行うので、被写体或いは背景要素の移動が、被写体領域或いは背景領域内におけるテクスチャ特徴の変化に与える影響は小さい。一方で、領域境界におけるテクスチャ特徴の変化は、被写体と背景要素のテクスチャが類似でない限り、領域内部における変化と比較して大きくなる。そのため、テクスチャ変化に対して閾値処理を設けることで、領域内部におけるテクスチャ変化を区別して、領域境界におけるテクスチャ変化のみを抽出することができる。

次に、実施の形態１の撮像装置における処理の手順を、図１３を参照して説明する。
図１３に示される処理は、１フレーム期間毎に、即ち１フレーム期間に１度行われる。
まず、各フレーム期間での撮像に先立ち、ステップＳＴ１で、撮像照射制御部１１が制御信号Ｃ１１ａ及びＣ１１ｂを生成し、照射部１２及び撮像部１３へ出力する。
撮像照射制御部１１は、照射部１２に対し、照明条件Ａでの照射と、照明条件Ｂでの照射とをフレームごとに交互に行わせるように制御を行う。例えば、奇数番目のフレームでは、照明条件Ａで照射を行うように、偶数番目のフレームでは照明条件Ｂでの照射を行うように制御を行う。このような照明条件の制御は、２フレーム期間を１サイクルとし、各サイクルの１番目のフレームでは照明条件Ａで照明を行わせ、２番目のフレームでは、照明条件Ｂで照明を行わえる制御と見ることができる。

次にステップＳＴ２で、照射部１２が撮像照射制御部１１からの制御信号Ｃ１１ａに基づいて照射を行う。この照射によって、制御信号Ｃ１１ａに対応する照明条件が生成される。

次にステップＳＴ３で、ステップＳＴ２で生成された照明条件下で行われた撮像を行って、撮像画像を取得し、画像メモリ１４に記憶させる。

次にステップＳＴ４で、輝度変化算出部２１の輝度特徴量算出部２１１が、画像メモリ１４から、最新の画像を読出し、読み出された画像の輝度特徴量Ｉｍを求める。算出された輝度特徴量Ｉｍは、輝度特徴量メモリ２１２に記憶される。

ステップＳＴ４の処理と並行してステップＳＴ５で、テクスチャ変化算出部２２のＣＳＬＢＰ特徴算出部２２１が、画像メモリ１４から、最新の画像を読出し、読み出された画像の各画素のＣＳＬＢＰ特徴Ｂを算出する。そして、算出されたＣＳＬＢＰ特徴Ｂを、ＣＳＬＢＰ特徴メモリ２２２に記憶させる。

次に、ステップＳＴ６で、テクスチャ変化算出部２２のテクスチャ特徴算出部２２３が、ＣＳＬＢＰ特徴メモリ２２２から、最新の画像の各画素についてのＣＳＬＢＰ特徴を読出し、読み出したＣＳＬＢＰ特徴Ｂに基づいて、同じ画像内の各画素についてのテクスチャ特徴Ｆを算出する。そして算出されたテクスチャ特徴Ｆを、テクスチャ特徴メモリ２２４に記憶させる。

次にステップＳＴ７で、輝度変化算出部２１の照明条件判定部２１３が、最新の画像の輝度特徴量Ｉｍと１フレーム前の画像の輝度特徴量Ｉｍとを輝度特徴量メモリ２１２から読み出して比較し、いずれの画像の輝度特徴量Ｉｍがより高いかを判断し、判断の結果に基づきいずれが照明条件Ａの画像Ｇａであり、いずれが照明条件Ｂの画像Ｇｂであるかを判定する。この判定の結果ＣＮａは、差分算出部２１５に供給される。
ステップＳＴ７の次に、ステップＳＴ８及びＳＴ９に進む。

ステップＳＴ８では、輝度変化算出部２１の差分算出部２１５が、画像メモリ１４から、最新画像（現フレームの画像）と、１フレーム前の画像とを読出し、各画素の輝度差分を算出する。算出された輝度差分は、輝度変化ｄＩとして輝度変化メモリ２１６に蓄積され、後に被写体抽出部２３に供給される。
差分の算出に当たっては、ステップＳＴ７での判定結果に基づき、照明条件Ａの画像（ステップＳＴ７で輝度特徴量Ｉｍがより高いと判定された画像）Ｇａの各画素の輝度値から、照明条件Ｂの画像（ステップＳＴ７で輝度特徴量Ｉｍがより低いと判定された画像）Ｇｂの、同じ位置の画素の輝度値を差し引く。差し引いた結果が負となる場合には、輝度変化を０とする。
算出された各画素の輝度変化ｄＩは輝度変化メモリ２１６に蓄積される。

ステップＳＴ９では、テクスチャ変化算出部２２の特徴変化処理部２２５が、最新の画像と１フレーム前の画像との間の各画素のテクスチャ変化ｄＦを算出する。算出された各画素のテクスチャ変化ｄＦはテクスチャ変化メモリ２２６に蓄積される。

ステップＳＴ８及びＳＴ９の次にステップＳＴ１０に進む。
ステップＳＴ１０では、被写体抽出部２３が、輝度変化ｄＩ及びテクスチャ変化ｄＦに基づいて被写体領域を抽出する。
被写体領域の抽出においては、各画素が被写体領域に属するか否かの判定を画素毎に行っても良く、画像毎に行っても良い。以下では、最初に画素毎に行う場合の手順を、図１４を参照して説明し、その後で画像毎に行う場合の手順を、図１５を参照して説明する。

図１４に示される手順では、まずステップＳＴ１１で、画像上の処理対象とすべき画素の一つを選択する。ここで、画像上の処理対象とすべき画素、即ち画像の周縁部以外の画素を意味する。以下でも同様である。また、周縁部以外に位置するすべての画素を、単に「画像のすべての画素」と言うこともある。
選択は例えば画像の左上から右下へと言う順序で行われる。

次にステップＳＴ１２で、選択された画素（注目画素）についての輝度変化ｄＩを輝度変化メモリ２１６から読出し、次にステップＳＴ１３で、読み出した輝度変化ｄＩが閾値ＴＩよりも大きいか否か（即ち「輝度変化有り」か「輝度変化無し」か）の判定を行う。

閾値ＴＩよりも大きくなければ（「輝度変化無し」であれば）、注目画素は、背景領域に属すると判定する（ＳＴ１４）。
閾値ＴＩよりも大きければ、ステップＳＴ１５に進む。ステップＳＴ１５では、注目画素についてのテクスチャ変化ｄＦをテクスチャ変化メモリ２２６から読出す。

次にステップＳＴ１６では、読み出したテクスチャ変化ｄＦが閾値ＴＦよりも大きいか否か（「テクスチャ変化有り」か「テクスチャ変化無し」か）の判定を行う。
閾値ＴＦよりも大きくないと判断したとき（「テクスチャ変化無し」と判断したとき）は、注目画素は、被写体領域に属すると判断する（ＳＴ１７）。

閾値ＴＦよりも大きいと判断したとき（「テクスチャ変化有り」と判断したとき）は、注目画素は、被写体が移動した部分、或いは背景が変化した部分、即ち偽信号の領域であると判断する（ＳＴ１８）。ここで被写体が移動した部分とは、１フレーム前には被写体の一部であった部分が最新のフレームでは背景の一部となった部分、或いは１フレーム前には背景の一部であった部分が最新のフレームでは被写体の一部となった部分である。これらの部分は、本発明では、被写体の一部とはみなさない。

次にステップＳＴ１９では、画像上の処理対象とすべき画素のすべてが選択されたか否か、即ちすべての画素についてステップＳＴ１２からＳＴ１８までの処理が行われたか否かの判定を行う。まだ選択されていない画素があればステップＳＴ１１に戻る。
すべての画素が選択されていれば、ステップＳＴ２０に進む。
ステップＳＴ２０では、ステップＳＴ１７で被写体領域に属すると判断された画素の集合を、被写体領域Ｈの抽出結果として出力する。

なお、被写体領域の抽出が目的であるので、ステップＳＴ１４及びＳＴ１８の処理を省略しても良い。この場合、ステップＳＴ１３でＮＯの場合、及びステップＳＴ１６でＹＥＳの場合には直ちにステップＳＴ１９に進むことになる。

図１５に示される手順では、まず、ステップＳＴ２１で、画像中の画素を順次選択し、選択した画素の輝度変化ｄＩを輝度変化メモリ２１６から読出し、読み出した輝度変化ｄＩが閾値ＴＩよりも大きいか否か（即ち「輝度変化有り」か「輝度変化無し」か）の判定を行う。そして、「輝度変化有り」と判定された画素の集合を、輝度変化領域として抽出する。

次のステップＳＴ２２では、画像中の画素を順次選択し、選択した画素のテクスチャ変化ｄＦをテクスチャ変化メモリ２２６から読出し、読み出したテクスチャ変化ｄＦが閾値ＴＦよりも大きいか否か（「テクスチャ変化有り」か「テクスチャ変化無し」か）の判定を行う。そして、「テクスチャ変化有り」と判定された画素の集合を、テクスチャ変化領域として抽出する。

次のステップＳＴ２３では、「輝度変化領域」に属し、「テクスチャ変化領域」に属さない画素の集合を「被写体領域」として抽出する。

次のステップＳＴ２０では、ステップＳＴ２３で抽出された被写体領域に属すると判断された画素の集合を、被写体領域Ｈの抽出結果として出力する。

上記の例では、画像のすべての画素についてテクスチャ特徴Ｆを算出し、テクスチャ特徴メモリ２２４に記憶させた後、２つの画像の同じ画素についてのテクスチャ特徴Ｆを読み出して、テクスチャ変化ｄＦを算出している。このようにする代わりに、各画像の各画素についてのテクスチャ特徴Ｆが算出されたら、同じ画素についての１フレーム前の画像における同じ位置の画素についてそれ以前に算出されたテクスチャ特徴Ｆ（例えばテクスチャ特徴メモリ２２４に記憶させておく）と、算出されたばかりのテクスチャ特徴Ｆとから、当該画素についてのテクスチャ変化ｄＦを算出することとしても良い。このようにすることで、撮像からテクスチャ変化ｄＦの算出までの時間を短くすることができる。

このような手順で処理をする場合には、図４に示されるテクスチャ変化算出部２２の代わりに、図１６に示されるテクスチャ変化算出部２２ａを用いる。図１６に示されるテクスチャ変化算出部２２ａは、ＣＳＬＢＰ特徴算出部２２１と、ＣＳＬＢＰ特徴メモリ２２２と、テクスチャ特徴算出部２２３ａと、テクスチャ特徴メモリ２２４と、特徴変化処理部２２５ａと、テクスチャ変化メモリ２２６とを含む。

図１６のうち、ＣＳＬＢＰ特徴算出部２２１、ＣＳＬＢＰ特徴メモリ２２２、テクスチャ特徴メモリ２２４、及びテクスチャ変化メモリ２２６は、図４に示すのと同様のものである。

テクスチャ特徴算出部２２３ａは、画像メモリ１４から読み出した各画像の、各画素についてのテクスチャ特徴Ｆを順に算出し、テクスチャ特徴メモリ２２４に蓄積させるとともに、特徴変化処理部２２５ａに供給する。

特徴変化処理部２２５ａは、最新の画像において、選択されている画素（注目画素）についてテクスチャ特徴算出部２２３ａで算出されたテクスチャ特徴Ｆを受けるとともに、テクスチャ特徴メモリ２２４に記憶されている、１つ前のフレームの画像における、同じ位置の画素についてのテクスチャ特徴Ｆを受けて、両者間の変化を算出し、算出結果をテクスチャ変化ｄＦとして、テクスチャ変化メモリ２２６に記憶させる。蓄積されたテクスチャ変化ｄＦは後に被写体抽出部２３に供給される。

この場合の処理の手順を図１７及び図１８に示す。
図１７及び図１８で、図１３と同じ符号は、同一又は同様の処理を示す。
即ち、図１７で、ステップＳＴ１〜ＳＴ４、ＳＴ５、及びＳＴ７の処理は図１３と同じである。

ステップＳＴ７の次に、ステップＳＴ１１ａに進む。
ステップＳＴ１１ａでは、画像上の処理対象とすべき画素の一つを選択する。
ステップＳＴ１１ａの次にステップＳＴ８ａ及びステップＳＴ６ａに進む。

ステップＳＴ８ａでは、選択された画素（注目画素）について、輝度変化算出部２１の差分算出部２１５が、画像メモリ１４へ記憶されている最新の画像と、１フレーム前の画像の注目画素と同じ位置の画素の輝度値を読み出し、輝度差分を算出し、算出した輝度差分を輝度変化ｄＩとして輝度変化メモリ２１６に記憶させる。記憶された輝度変化ｄＩは後に被写体抽出部２３に供給される。

ステップＳＴ６ａでは、テクスチャ特徴算出部２２３ａが、選択された画素（注目画素）についてテクスチャ特徴Ｆを算出し、算出したテクスチャ特徴Ｆをテクスチャ特徴メモリ２２４に記憶させるとともに、特徴変化処理部２２５ａに供給する。

ステップＳＴ９ａでは、特徴変化処理部２２５ａが、テクスチャ特徴算出部２２３ａから供給された、注目画素についてのテクスチャ特徴Ｆ（ステップＳＴ６ａで算出されたもの）と、テクスチャ特徴メモリ２２４に記憶されている、１つ前のフレームの画像の、同じ位置の画素についてのテクスチャ特徴Ｆから、注目画素についてのテクスチャ変化ｄＦを算出し、算出したテクスチャ変化ｄＦをテクスチャ変化メモリ２２６に記憶させる。記憶されたテクスチャ変化ｄＦは後に被写体抽出部２３に供給される。
なお、図１３のステップＳＴ６、ＳＴ８、ＳＴ９は、画像を構成するすべての画素についての処理であるのに対し、図１７のステップＳＴ６ａ、ＳＴ８ａ、ＳＴ９ａは、選択された画素についての処理である点で異なる。

ステップＳＴ８ａ及びＳＴ９ａの次にステップＳＴ１３に進む。
ステップＳＴ１３では、ステップＳＴ８ａで算出された輝度変化ｄＩが閾値ＴＩよりも大きいか否か（即ち「輝度変化有り」か「輝度変化無し」か）の判定を行う。
閾値ＴＩよりも大きくなければ（「輝度変化無し」であれば）、注目画素は、背景領域に属すると判定する（ＳＴ１４）。

閾値ＴＩよりも大きければ、ステップＳＴ１６に進む。
ステップＳＴ１６では、ステップＳＴ９ａで算出されたテクスチャ変化ｄＦが閾値ＴＦよりも大きいか否か（「テクスチャ変化有り」か「テクスチャ変化無し」か）の判定を行う。

閾値ＴＦよりも大きくないと判断したとき（「テクスチャ変化無し」と判断したとき）は、注目画素は、被写体領域に属すると判断する（ＳＴ１７）。
閾値ＴＦよりも大きいと判断したとき（「テクスチャ変化有り」と判断したとき）は、注目画素は偽信号の領域に属すると判断する（ＳＴ１８）。

次にステップＳＴ１９では、画像上の処理対象とすべき画素のすべてが選択されたか否か、即ちすべての画素についてステップＳＴ６ａ、ＳＴ８ａ、ＳＴ９ａ、ＳＴ１３、ＳＴ１４、ＳＴ１６〜ＳＴ１８の処理が行われたか否かの判定を行う。まだ選択されていない画素があればステップＳＴ１１ａに戻る。
すべての画素が選択されていれば、ステップＳＴ２０に進む。
ステップＳＴ２０では、ステップＳＴ１７で被写体領域に属すると判断された画素の集合を、被写体領域Ｈの抽出結果として出力する。

なお、図１３について述べたのと同様に、ステップＳＴ１４及びＳＴ１８の処理を省略しても良い。この場合、ステップＳＴ１３でＮＯの場合、及びステップＳＴ１６でＹＥＳの場合には直ちにステップＳＴ１９に進むことになる。

なおまた、図１７及び図１８の手順では、ステップＳＴ１３の前にステップＳＴ６ａ及びＳＴ９ａの処理を行っているが、このようにする代わりに、ステップＳＴ１３でＹＥＳとの判断がされたら、そのあとでステップＳＴ６ａ及びステップＳＴ９ａの処理をし、そのあとで、ステップＳＴ１６に進むこととしても良い。

上記説明のように、本実施の形態に係る撮像装置では、撮像照射制御部１１が照明条件を制御する制御信号Ｃ１１ａ及び撮像条件を制御する制御信号Ｃ１１ｂを出力し、照射部１２が制御信号Ｃ１１ａに基づいて２つの異なる照明条件を生成し、
撮像部１３が２つの異なる照明条件下で被写体を撮像し、輝度変化算出部２１が異なる照明条件下で撮像された２数の画像間の輝度変化ｄＩを算出し、テクスチャ変化算出部２２が異なる時刻に撮像された２枚の画像間のテクスチャ変化ｄＦを算出し、被写体抽出部２３は輝度変化ｄＩとテクスチャ変化ｄＦとから、照明変化により被写体に生じた輝度変化と、背景の変化又は被写体の移動により生じた輝度変化とを判別している。
従って、被写体領域の抽出を高精度に行うことができる。

本実施の形態に係る撮像装置では、背景変化又は被写体移動がある領域は輝度変化及びテクスチャ変化が生じ、一方で、背景変化及び被写体移動がない条件下では、照明変化による輝度変化のみ生じる特徴に着目し、輝度変化が大きくテクスチャ変化が小さい領域を被写体領域とすることで、背景変化及び被写体移動による影響を排除し、被写体領域を精度よく抽出することができる。

また、第１の発光強度で光を発光する第１の照明条件と、第１の発光強度より小さい第２の発光強度で光を発光する第２照明条件との２種類の照明条件を使用することとしており、そのため簡単な構成及び処理により、輝度変化及びテクスチャ変化を利用した被写体領域の抽出が可能である。

さらに、輝度変化算出部２１が輝度変化の算出のために使用する画像の照明条件と、テクスチャ変化算出部２２がテクスチャ変化の算出のために使用する画像の照明条件とを一致させることで、輝度変化が生じた原因を、照明変化によるものと背景変化及び被写体移動によるものとに判別することができ、より精度良く被写体領域を抽出することができる。

本実施の形態に係る撮像装置では、抽出したい被写体へ適切に照明光が照射されるような照射分布を照明条件の１つとすることができ、そのようにすることで、被写体の位置及びサイズに応じて輝度変化及びテクスチャ変化の算出に好適な画像を取得することができる。
また、抽出したい被写体の反射率に応じて適切な光量の照明光が照射されるような光の強度を照明条件の１つとすることができ、そのようにすることで、輝度変化及びテクスチャ変化の算出に好適な画像を取得することができる。
さらには、上記２つの条件の双方を照明条件とすることができ、そのようにすることで、被写体の位置、サイズ及び反射率に応じて、輝度変化及びテクスチャ変化の算出に好適な画像を取得することができる。

なお、本実施の形態では、発光する光の強度に条件づけられた２つの照明条件（照明条件Ａ及び照明条件Ｂ）を用いて被写体領域を抽出したが、被写体への照明光の照射分布を考慮した照明条件を２つ用意しても良い。例えば、撮像画像における被写体位置がある程度決まっている場合は、被写体位置に適切に照明光が配光されるように照明条件を設定する。また、局所的な環境光の変化に応じて照射分布を設定しても良い。照射分布は、例えば、ＬＥＤの照射角度を変えて調整しても良いし、複数個のＬＥＤのうちの発光させるＬＥＤを選択することで照射分布を調整してもよい。

なお、上記の実施の形態では、２枚の画像間で輝度変化及びテクスチャ変化の算出を行っている。しかしながら、本発明はこれに限定されず、３枚以上の画像間で輝度変化及びテクスチャ変化の算出を行うようにしても良い。要するに複数の画像間で輝度変化及びテクスチャ変化の算出を行うこととすれば良い。３枚以上の画像間で輝度変化を行う場合には、それぞれの画像としては、互いに異なる照明条件での撮像で得られたものを用い、３枚以上の画像間でテクスチャ変化を行う場合には、それぞれの画像としては、互いに異なる時刻における撮像で得られたものを用いる。互いに異なる時刻における撮像で得られた画像は、互いに異なる照明条件での撮像で得られた画像であっても良い。従って、輝度変化の算出に用いられた画像と同じものであっても良い。
但し、輝度変化及びテクスチャ変化の算出に用いる画像の数を増やすと、メモリ量或いは処理量は増加する。即ちハードウェアリソースが増え、処理時間が長くなる。従って、これらの点を勘案して、輝度変化及びテクスチャ変化の算出に用いる画像の数を決定する必要がある。

なお、本実施の形態では、差分画像を生成する際に、照明条件Ａの画像Ｇａの輝度値から照明条件Ｂの画像Ｇｂの輝度値を減算しているが、これに限るものではない。例えば、輝度差分の絶対値を使用しても良い。

また、本実施の形態では、輝度変化算出に用いた画像と同じ画像を用いてテクスチャ変化を算出したが、これに限るものではない。異なる時刻に撮像された２枚の画像であれば、照明条件に関係なく、テクスチャ変化を算出することで背景変化或いは被写体移動を捉えることができる。
但し、輝度変化算出に用いた画像と十分に近いタイミングで撮像された画像を用いる必要がある。

また、本実施の形態では、画像上のすべての画素に対してテクスチャ変化ｄＦを算出したが、算出された輝度変化ｄＩに基づき、輝度変化が生じた領域（輝度変化ｄＩが閾値ＴＩよりも大きい領域）内の画素についてのみテクスチャ変化ｄＦを算出しても良い。この場合、テクスチャ変化ｄＦの処理量が削減される。

上記の実施の形態では、テクスチャ特徴の算出の際に、注目画素を中心とする正方形の特徴抽出領域を使用したが、特徴抽出領域の形状はこれに限定されない。即ち、特徴抽出領域形状は、円形であっても良く、四角形以外の多角形であっても良い。但し、いずれの場合も注目画素を中心とするものであるのが望ましい。また、特徴抽出領域のサイズも上記の例に限定されない。

上記の実施の形態では、画像の周縁部に位置する画素以外のすべての画素の各々についてテクスチャ特徴の算出及びテクスチャ変化の算出を行った。
しかし、本発明はこれに限定されない。例えば、画像の周縁部以外の部分において、予め定められた間隔毎の位置にある画素についてのみ、テクスチャ特徴の算出及びテクスチャ変化の算出を行っても良い。例えば画像上に図１９に示すように格子模様を描き、その格子点に位置する画素についてのみテクスチャ特徴の算出及びテクスチャ変化の算出を行っても良い。

図１９に示す例では、格子が正方格子であって、格子点間の縦方向の間隔及び横方向の間隔が符号Ｄで示されている。
図１９に示すように、格子点に位置する画素についてのみテクスチャ特徴の算出及びテクスチャ変化の算出を行うと、格子点以外に位置する画素については、最も近い格子点位置にある画素について算出されたテクスチャ特徴及びテクスチャ変化を、当該格子点以外に位置する画素についてのテクスチャ特徴及びテクスチャ変化として用いることとしても良い。

なお、上記の実施の形態で説明した、すべての画素についてテクスチャ特徴の算出及びテクスチャ変化の算出を行う例は、図１９でＤが１画素である場合に相当する。

なおまた、テクスチャ特徴及びテクスチャ変化の算出の対象とする画素は、画像上の格子点に位置するものに限定されない。

さらに、テクスチャ特徴及びテクスチャ変化の算出の対象とする画素相互の間隔、従ってそのような画素の密度は、画像全体で均一でなくても良い。例えば、画像上で被写体が存在する位置が予め分かっていれば、その領域付近においては、テクスチャ特徴及びテクスチャ変化の算出の対象とする画素の密度が高く、それ以外の領域ではテクスチャ特徴及びテクスチャ変化の算出の対象とする画素の密度が低くなるようにしても良い。

上記の実施の形態では、テクスチャ特徴算出の際に、特徴抽出領域を４×４個のセルに分割した。しかし、セルの個数はこれに限定されない。例えば、セルの数を多くし、各セルをより小さくして、特徴抽出領域内のセルの数を増やすことで、より詳細なテクスチャ特徴を得ることができるが、特徴ベクトルの次元が増えるため処理負荷が増加する。これらの点と、本発明が適用される装置の特性を勘案して、セルの数及びサイズを決定すれば良い。

上記の実施の形態では、画像メモリ１４から読み出した画像の照明条件を、画像の輝度特徴量（例えば輝度平均値）から判定しているが、本発明はこれに限定されない。
例えば、照射部１２へ与える制御信号Ｃ１１ａと同様に、照明条件（例えば発光強度）を示す信号を撮像部１３へ与え、撮像部１３が上記の信号に基づいて照明条件を判断し、撮像画像を画像メモリ１４へ記憶させる際に照明条件を示す情報（付加情報）を付加し、輝度変化算出部２１が、画像メモリ１４から画像を読み出す際に、上記の付加情報に基づいて、画像の照明条件を判定することとしても良い。

上記の実施の形態では、画像メモリ１４から輝度算出に使用された画像の何れか一方を読み出し、読み出した画像のうちの、被写体抽出部２３で抽出した被写体領域に一致する部分を抽出結果（被写体画像）とした。しかしながら、本発明はこれに限定されない。

例えば、輝度変化算出部２１で算出された輝度変化から成る画像（すべての画素の輝度変化を、それぞれの画素と同様に配列した画像）、即ち、輝度差分画像のうちの、被写体抽出部２３で抽出した被写体領域に一致する部分を抽出結果（被写体画像）としても良い。輝度差分画像は、環境光の影響が取り除かれているので、輝度差分画像から抽出した画像を被写体画像とすればその点で有利である。

さらにまた、上記の実施の形態では、輝度変化算出部２１が、画像メモリ１４から最新の画像と１フレーム前の画像を読出し、２枚の画像間で、各画素の輝度変化を算出している。その結果、照明条件Ａの画像Ｇａとそれに続く照明条件Ｂの画像Ｇｂとの間で輝度変化を算出するとともに、上記照明条件Ｂの画像Ｇｂとそれに続く照明条件Ａの画像Ｇａとの間でも輝度変化を算出することになる。テクスチャ変化についても同様である。

上記のようにする代わりに、照明条件Ａの画像Ｇａと、その直後のフレームの照明条件Ｂの画像Ｇｂとの間で輝度変化を算出し、照明条件Ａの画像Ｇａとその直前のフレームの照明条件Ｂの画像Ｇｂとの間では輝度変化を算出しないように輝度変化算出部２１を構成しても良い。言い換えれば最新の画像が照明条件Ｂの画像Ｇｂで、その直前の画像が照明条件Ａの画像Ｇａである場合に限り、輝度変化の算出を行うようにしても良い。テクスチャ変化算出部２２も同様に、最新の画像が照明条件Ｂの画像Ｇｂで、その直前の画像が照明条件Ａの画像Ｇａである場合に限り、テクスチャ変化の算出を行うように構成しても良い。

その場合図１３に示す手順の代わりに、図２０に示す手順を用いる。図２０では、図１３のステップＳＴ７の代わりに、ステップＳＴ７ａが行われる。ステップＳＴ７ａでは、最新の画像が照明条件Ｂの画像Ｇｂか否かの判定をし、判定結果がＮＯであれば、そのフレームでの処理を終了することとし、判定結果がＹＥＳであれば、ステップＳＴ８及びＳＴ９以降の処理を行う。

なお、逆に、最新の画像が照明条件Ａの画像Ｇａで、その直前の画像が照明条件Ｂの画像Ｇｂである場合に限り、輝度変化及びテクスチャ変化の算出を行うようにしても良い。

実施の形態２．
図２１は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。図２１に示される撮像装置は、図１に示される撮像装置と概して同じであるが、目標値算出部２４が追加され、撮像照射制御部１１の代りに、撮像照射制御部１１ｂを備える点で異なる。図１と同一の符号は同一又は相当部分を示すので説明を省略する。

図１に示す撮像装置では、照明条件及び撮像条件が固定されているが、本実施の形態に係る撮像装置では、目標値算出部２４が、テクスチャ変化、被写体領域の抽出の結果及び撮像画像の輝度特徴量に基づいて照明条件及び撮像条件の少なくともいずれか一方を調整することにより、環境光或いは背景の変化に対して被写体領域の抽出の精度を向上させる。

照明条件或いは撮像条件の調整は、照明条件或いは撮像条件に係る目標値を調整し、照明条件或いは撮像条件に係る実際の値が、目標値に一致するように制御することで行われる。

撮像照射制御部１１ｂは、目標値算出部２４から照明条件及び撮像条件に係る目標値信号Ｑを供給され、目標値信号Ｑに基づいて、制御信号Ｃ１１ａを生成して、照射部１２へ出力すると共に、制御信号Ｃ１１ｂを生成して、撮像部１３へ出力する。

目標値算出部２４は、画像メモリ１４から２つの照明条件で撮像された画像を読み出すとともに、テクスチャ変化算出部２２からテクスチャ変化ｄＦを供給され、さらに、被写体抽出部２３から被写体領域の抽出の結果を供給され、これらの入力に基づいて、照明条件及び撮像条件の少なくとも一方の目標値を算出し、算出した目標値を表す目標値信号Ｑを撮像照射制御部１１ｂへ出力する。

目標値算出部２４が撮像照射制御部１１ｂへ出力する目標値信号Ｑは、撮像照射制御部１１ｂにおいて制御信号Ｃ１１ａ及びＣ１１ｂの生成に使用される。目標値信号Ｑは、例えば、照明光の照射分布の形状、照明光の発光強度、照明光の発光期間、撮像部の露光時間、絞り、及びゲインの少なくとも何れか一つの目標値を表すものである。但し、目標値信号Ｑは、照明光の照射分布の形状、照明光の発光強度、照明光の発光期間、撮像部の露光時間、絞り、ゲインを直接表す数値（絶対値）の目標値を表すものに限らず、相対値の目標値を表すものでも良く、さらに絶対値又は相対値をコード化したものでも良い。以下では、目標値信号Ｑは照明光の発光強度の目標値を表すものであるとして説明する。

目標値算出部２４は、撮像部１３が、輝度変化算出部２１における輝度変化ｄＩの算出及びテクスチャ変化算出部２２におけるテクスチャ変化ｄＦの算出に好適な画像を取得できるように上記の目標値を算出する。

目標値算出部２４が算出した目標値は内部の目標値メモリ２４４（後述する）に蓄積される。
目標値算出部２４は、撮像照射制御部１１ｂが照明条件又は撮像条件の制御を行う際に、目標値メモリ２４４に蓄積された目標値を読み出し、読み出した目標値を表す目標値信号Ｑを撮像照射制御部１１ｂに供給する。

目標値算出部２４は、図２２に示すように、被写体内変化領域抽出部２４１と、面積判定部２４２と、目標値調整部２４３と、目標値メモリ２４４とを有する。

被写体内変化領域抽出部２４１は、被写体抽出部２３から出力される被写体領域Ｈの内部に位置し、テクスチャ変化ｄＦが比較的大きい領域ＲＬＨを抽出する。
ここで、テクスチャ変化が比較的大きいか否かは、テクスチャ変化算出部２２から出力されるテクスチャ変化ｄＦに基づいて判定される。
例えば、上記のテクスチャ変化ｄＦが閾値ＴＦａより大きい領域を、テクスチャ変化領域ＲＬＨと判定し、それ以外の領域は無変化領域ＲＬＬと判定する。

被写体抽出部２３においてテクスチャ変化ｄＦが閾値ＴＦより大きいと判定された領域（テクスチャ変化領域）との区別のため、被写体内変化領域抽出部２４１においてテクスチャ変化ｄＦが閾値ＴＦａより大きいと判定された領域を、被写体内変化領域と言う。

なお、閾値ＴＦａは、例えば、ＴＦａ＜ＴＦを満たすように定められる。このように閾値ＴＦａを設定することで、被写体抽出部２３において閾値ＴＦを使用して抽出された被写体領域(輝度変化ｄＩが閾値ＴＩ以上であり、テクスチャ変化ｄＦが閾値ＴＦ以下であると判定された領域)において、テクスチャ変化ｄＦが、別の閾値ＴＦａよりも大きい領域（被写体内変化領域）ＲＬＨを抽出することができる。

面積判定部２４２は、被写体内変化領域抽出部２４１で抽出された被写体内変化領域ＲＬＨの面積、例えば該領域ＲＬＨに含まれる画素の数）が閾値ＴＡａ以上か否かの判定を行い、判定結果を出力する。

被写体領域内におけるテクスチャ変化ｄＦは、照明条件が変化した画像間でのテクスチャ変化を表しており、被写体内変化領域ＲＬＨは、照明条件の変化によりテクスチャ特徴が変化した領域と判断できる。

テクスチャ特徴は一般には照明条件の変化による変化は小さいが、それにも拘わらず、照明条件の変化によりテクスチャ特徴がある程度以上変化した場合、即ち、被写体内変化領域ＲＬＨの面積が閾値ＴＡａ以上である場合には、照明条件或いは撮像条件の調整（変更）が必要と判断する。

目標値調整部２４３は、面積判定部２４２で、被写体内変化領域ＲＬＨの面積が閾値ＴＡａ以上であると判定されると、その判定結果に応じて、新たな目標値を算出する。

新たな目標値は、２つの照明条件Ａ及びＢにおいて、発光強度の差が小さくなるように定められる。例えば、時刻ｔ１ａに照明条件Ａ（発光強度ΦＡ（ｔ１ａ））で撮像された画像と、時刻ｔ１ｂに照明条件Ｂ（発光強度ΦＢ（ｔ１ｂ））で撮像された画像とを使用して、テクスチャ変化ｄＦが算出されたのであれば、照明条件Ａでの次の撮像の時刻ｔ２ａにおける発光強度の目標値ΦＡ（ｔ２ａ）、及び照明条件Ｂでの次の撮像時刻ｔ２ｂにおける発光強度の目標値ΦＢ（ｔ２ｂ）を、それぞれ式（５）及び式（６）のように調整する。このように目標値を調整することで、２つの照明条件Ａ、Ｂにおける発光強度の目標値の差を小さくする。

ΦＡ（ｔ２ａ）＝ΦＡ（ｔ１ａ）−ΔΦａ …（５）
ΦＢ（ｔ２ｂ）＝ΦＢ（ｔ１ｂ）＋ΔΦａ …（６）
式（５）及び式（６）でΔΦａは、調整量を表す。

発光強度の目標値を調整し、調整後の目標値を照射部１２に与えることで、照射部１２では、発光強度の実際の値が目標値に一致するように制御が行われる。

上記の調整に加えて、輝度変化ｄＩを算出するために使用した画像Ｇａ、Ｇｂの中で、発光強度がより小さい条件Ｂで撮像された画像Ｇｂのうちの、被写体内変化領域ＲＬＨと一致する領域の輝度特徴量Ｉｈが閾値ＴＬａ以下の場合、上記の照明条件Ｂ（発光強度がより小さい照明条件Ｂ）における発光強度が大きくなるように目標値を調整する。即ち、上記の照明条件Ｂにおける発光強度の目標値ΦＢを大きくする。

ここで言う、輝度特徴量Ｉｈとは、例えば、輝度値の最大値、平均値又は中央値である。以下では、輝度値の平均値を輝度特徴量Ｉｈとして使用するものとして説明する。

例えば、時刻ｔ１ａに照明条件Ａ（発光強度ΦＡ（ｔ１ａ））で撮像された画像Ｇａと、時刻ｔ１ｂに照明条件Ｂ（発光強度ΦＢ（ｔ１ｂ））で撮像された画像Ｇｂとを使用して輝度変化ｄＩを算出したのであれば、照明条件Ｂでの次の撮像の時刻ｔ２ｂにおける発光強度の目標値ΦＢ（ｔ２ｂ）を式（７）のように調整し、より大きくする。
ΦＢ（ｔ２ｂ）＝ΦＢ（ｔ１ｂ）＋ΔΦｂ …（７）

式（６）の処理と、式（７）の処理が同時に行われる場合、調整後の発光強度の目標値ΦＢ（ｔ２ｂ）は、下記の式（８）の如くとなる。
ΦＢ（ｔ２ｂ）＝ΦＢ（ｔ１ｂ）＋ΔΦａ＋ΔΦｂ …（８）

また、輝度変化ｄＩを算出するために使用した画像Ｇａ、Ｇｂの中で、発光強度がより大きい条件（Ａ）で撮像された画像Ｇａのうちの、被写体内変化領域ＲＬＨと一致する領域の輝度特徴量Ｉｈが閾値ＴＬｂより大きい場合、上記の照明条件Ａ（発光強度がより大きい条件Ａ）における発光強度が小さくなるように目標値ΦＡを調整する。即ち、上記の照明条件Ａにおける発光強度の目標値ΦＡを小さくする。

例えば、時刻ｔ１ａに照明条件Ａ（発光強度ΦＡ（ｔ１ａ））で撮像された画像Ｇａと、時刻ｔ１ｂに照明条件Ｂ（発光強度ΦＢ（ｔ１ｂ））で撮像された画像Ｇｂとを使用して輝度変化ｄＩを算出したのであれば、照明条件Ａでの次の撮像の時刻ｔ２ａにおける発光強度の目標値ΦＡ（ｔ２ａ）を式（９）のように調整し、より小さくする。
ΦＡ（ｔ２ａ）＝ΦＡ（ｔ１ａ）−ΔΦｃ …（９）

式（５）の処理と、式（９）の処理が同時に行われる場合、調整後の発光強度の目標値ΦＡ（ｔ２ａ）は下記の式（１０）の如くとなる。
ΦＡ（ｔ２ａ）＝ΦＡ（ｔ１ａ）−ΔΦａ−ΔΦｃ …（１０）

一方、被写体内変化領域ＲＬＨが存在しない場合は、照明条件Ａでの次の撮像の時刻ｔ２ａにおける発光強度の目標値ΦＡ（ｔ２ａ）及び照明条件Ｂでの次の撮像の時刻ｔ２ｂにおける発光強度の目標値ΦＢ（ｔ２ｂ）を、それぞれ式（１１）及び式（１２）のように調整する。このように調整することで、２つの照明条件Ａ、Ｂにおける発光強度の差を大きくし、これにより被写体において、より大きな輝度変化ｄＩが生じるようにする。
ΦＡ（ｔ２ａ）＝ΦＡ（ｔ１ａ）＋ΔΦｄ …（１１）
ΦＢ（ｔ２ｂ）＝ΦＢ（ｔ１ｂ）−ΔΦｄ …（１２）

上記のように発光強度を変化させることで、被写体領域において十分に大きな輝度変化ｄＩを生じさせることができる。

式（５）から式（１２）に示した更新規則に応じて目標値を調整する際、調整量ΔΦａ〜ΔΦｄは発光強度ΦＡ及びΦＢと比較して十分に小さいものとする。調整量ΔΦａ〜ΔΦｄが大きすぎる場合、発光強度ΦＡ及びΦＢが発振してしまい、望ましくない。また、発光強度ΦＡ及びΦＢを安定させる上では、更新までの時間遅れが重要であり、これらを考慮して調整量ΔΦａ〜ΔΦｄの大きさを設定する。

目標値調整部２４３は、以上のように更新した目標値を目標値メモリ２４４に書き込むとともに、目標値を表す目標値信号Ｑを撮像照射制御部１１ｂへ供給する。

以下、実施の形態２の撮像装置における処理の手順を図２３及び図２４のフローチャートを用いて説明する。図２３及び図２４に示される処理の手順は、図１３に示される方法と概して同じであるが、ステップＳＴ１の代りにステップＳＴ１ｂを含み、ステップＳＴ３１〜ＳＴ３４が付加されている点で異なる。図２３及び図２４において、図１３と同じ符号は、同一又は相当するステップを示す。

ステップＳＴ１ｂで、撮像照射制御部１１ｂは、目標値算出部２４から照明条件及び撮像条件の目標値を表す目標値信号Ｑを供給され、目標値信号Ｑに応じて制御信号Ｃ１１ａ及び制御信号Ｃ１１ｂを出力する。
照明条件は、図１３のステップＳＴ１と同様、２フレーム期間を１サイクルとして変化するように制御される。

ステップＳＴ３１で、被写体内変化領域抽出部２４１が、ステップＳＴ１０で検出された被写体領域Ｈと、ステップＳＴ９で算出されたテクスチャ変化ｄＦとから被写体内変化領域ＲＬＨを抽出する。

次にステップＳＴ３２で、面積判定部２４２が、ステップＳＴ３１で抽出された被写体内変化領域ＲＬＨの面積が閾値ＴＡａ以上か否かを判定する。
被写体内変化領域ＲＬＨの面積が閾値ＴＡａ未満であれば、そのフレームの処理を終了する。
被写体内変化領域ＲＬＨの面積が閾値ＴＡａ以上であれば、ステップＳＴ３３に進む。

ステップＳＴ３３で、目標値調整部２４３が、目標値メモリ２４４に記憶されている目標値を読み出し、ステップＳＴ３１で抽出された被写体内変化領域ＲＬＨと、ステップＳＴ９において算出されたテクスチャ変化ｄＦと、画像メモリ１４に記憶されている画像データ（最新の画像データ）から、新たな目標値を算出し、算出した新たな目標値を目標値メモリ２４４に書き込む（例えば古い目標値に対して上書きする）とともに、新たな目標値を表す目標値信号Ｑを撮像照射制御部１１ｂへ供給する。
新たな目標値の算出は、式（５）〜式（１２）を参照して説明したように行うことができる。

次に、ステップＳＴ３４で、撮像照射制御部１１ｂは、目標値算出部２４から供給される目標値信号Ｑに基づいて、制御信号Ｃ１１ａ、Ｃ１１ｂの生成（その内容の更新）を行う。

制御信号Ｃ１１ａ、Ｃ１１ｂによって、２フレーム期間から成る各サイクルにおける各順位のフレーム（第１フレーム、第２フレーム）における照明条件が更新される。更新の後、各フレームの撮像を行う場合には、当該順位のフレームについての更新後の照明条件で撮像が行われる。

上記の実施の形態では、目標値算出部２４が、照明条件の目標値として、照明光の発光強度の目標値を算出することとしているが、代わりに、照明光の照射分布の目標値を算出しても良く、照明光の発光強度の目標値と、照明光の照射分布の目標値の双方を算出することとしても良い。

上記の実施の形態では、輝度変化ｄＩを算出するために使用した画像Ｇａ、Ｇｂのうちの被写体内変化領域ＲＬＨと一致する領域の輝度特徴量に基づいて、照明条件の調整（新たな目標値の決定）を行っている。しかしながら、本発明はこれに限定されない。例えば、輝度変化ｄＩを算出するために使用した画像Ｇａ、Ｇｂの被写体領域の全体の輝度特徴量に基づいて、照明条件の調整（新たな目標値の決定）を行うこととしても良い。

以上のように、本実施の形態に係る撮像装置では、被写体領域として抽出された領域内において、輝度特徴量Ｉｈ及びテクスチャ変化ｄＦの少なくとも何れか一方に基づいて、照明条件及び撮像条件の少なくとも何れか一方の目標値を算出し、算出した目標値を表す目標値信号Ｑに基づいて撮像照射制御部１１ｂが制御信号Ｃ１１ａ、Ｃ１１ｂを出力することとしており、これにより、環境光の変化に対し、被写体領域の抽出に好適な画像を取得することができ、被写体領域の抽出の精度を向上させることができる。

特に、照明条件の目標値として、照明光の照射分布及び照明光の発光強度の少なくとも何れか一方の目標値を算出することとすれば、局所的な環境光の変化に対し、被写体領域の抽出に好適な画像を取得することができ、被写体領域の抽出の精度を向上させることができる。

また、本実施の形態に係る撮像装置では、抽出された被写体領域において、異なる照明条件の画像を用いて算出されたテクスチャ変化ｄＦが閾値ＴＦａよりも大きい領域（被写体内変化領域ＲＬＨ）の面積が閾値（ＴＡａ）以上であるときに、異なる照明条件の画像間でのテクスチャ変化ｄＦが小さくなるように照明条件及び撮像条件の少なくとも何れか一方の目標値を算出する。また、抽出された被写体領域において、異なる照明条件の画像を用いて算出されたテクスチャ変化ｄＦが閾値ＴＦａよりも大きい領域（被写体内変化領域ＲＬＨ）が存在しないときに、異なる照明条件の画像間でのテクスチャ変化ｄＦが大きくなるように照明条件及び撮像条件の少なくとも何れか一方の目標値を算出する。これにより、環境光の変化に対し、被写体領域の抽出に好適な画像を取得することができ、被写体領域の抽出の精度を向上させることができる。

さらに、本実施の形態に係る撮像装置では、抽出された被写体領域において、異なる照明条件の画像を用いて算出されたテクスチャ変化ｄＦが閾値ＴＦａよりも大きい領域（被写体内変化領域ＲＬＨ）の面積が閾値（ＴＡａ）以上であり、且つ輝度変化ｄＩの算出に使用された画像のうち発光強度がより小さい照明条件の画像のうちの、上記の被写体領域の輝度特徴量、例えば、被写体内変化領域ＲＬＨ内の輝度特徴量Ｉｈが閾値以下であるときに、上記の照明条件（発光強度がより小さい照明条件）の発光強度を大きくするように照明条件の目標値を算出する（即ち、発光強度の目標値を大きくする）。また、抽出された被写体領域において、異なる照明条件の画像を用いて算出されたテクスチャ変化ｄＦが閾値ＴＦａよりも大きい領域（被写体内変化領域ＲＬＨ）の面積が閾値（ＴＡａ）以上であり、且つ輝度変化ｄＩの算出に使用された画像のうち発光強度がより大きい照明条件の画像のうちの、上記の被写体領域の輝度特徴量、例えば、被写体内変化領域ＲＬＨ内の輝度特徴量Ｉｈが閾値より大きいときに、上記の照明条件（発光強度がより大きい照明条件）の発光強度を小さくするように照明条件に係る目標値を算出する（即ち、発光強度の目標値を小さくする）。これにより、環境光の変化に対し、被写体領域の抽出に好適な画像を取得することができ、被写体領域の抽出の精度を向上させることができる。

実施の形態３．
図２５は、本発明の実施の形態３に係る撮像装置の構成を示すブロック図である。図２５に示される撮像装置は、図２１に示される撮像装置と概して同じであるが、図２１の撮像照射制御部１１ｂ、輝度変化算出部２１、テクスチャ変化算出部２２、被写体抽出部２３、及び目標値算出部２４の代わりに、撮像照射制御部１１ｃ、輝度変化算出部２１ｃ、テクスチャ変化算出部２２ｃ、被写体抽出部２３ｃ、及び目標値算出部２４ｃを備える点で異なる。図２１と同一の符号は同一又は相当部分を示すので説明を省略する。

実施の形態２では、テクスチャ変化算出部２２が、異なる時刻における異なる照明条件下で撮像された２枚の画像から、単一のテクスチャ変化ｄＦを算出する。これに対し、実施の形態３では、テクスチャ変化算出部２２ｃが、異なる時刻における同じ照明条件下で撮像された２枚の画像から、第１のテクスチャ変化ｄＦ１を算出するとともに、異なる時刻における異なる照明条件下で撮像された２枚の画像から、第２のテクスチャ変化ｄＦ２を算出する。

上記のように２つのテクスチャ変化ｄＦ１、ｄＦ２を算出することを可能にするため、図２５の撮像照射制御部１１ｃは、照明条件の変更を、３フレーム期間を周期（１サイクル）として行い、各周期において、照明条件Ａを１フレーム期間生成した後、照明条件Ｂを２フレーム続けて生成する。即ち、各サイクルの第１フレームでは、第１の照明条件Ａで撮像を行い、第２フレーム及び第３フレームでは、第２の照明条件Ｂで撮像を行う。このようにする結果、第１フレームと第２フレームとは照明条件が異なり、第２フレームと第３フレームとは照明条件が同じとなる。

そして、第１フレームの画像Ｇａと第２フレームの画像Ｇｂ１から、輝度変化ｄＩ及び第２のテクスチャ変化ｄＦ２を算出し、第２フレームの画像Ｇｂ１と第３フレームの画像Ｇｂ２から第１のテクスチャ変化ｄＦ１を算出する。
そして、上記のように算出された輝度変化ｄＩ及び第１のテクスチャ変化ｄＦ１から被写体領域を抽出する。さらに、このようにして抽出された被写体領域と、第２のテクスチャ変化ｄＦ２とから、被写体内変化領域ＲＬＨを抽出する。

輝度変化算出部２１ｃは、図２６に示すように、輝度特徴量算出部２１１と、輝度特徴量メモリ２１２と、照明条件判定部２１３ｃと、差分算出部２１５と、輝度変化メモリ２１６とを有する。

輝度特徴量算出部２１１は、画像メモリ１４から読み出された各フレームの画像の輝度特徴量Ｉｍを算出し、算出した輝度特徴量Ｉｍを輝度特徴量メモリ２１２に記憶させる。

照明条件判定部２１３ｃは、輝度特徴量算出部２１１で算出された最新の画像（最新のフレームの画像）の輝度特徴量Ｉｍと、輝度特徴量メモリ２１２に記憶されている、１フレーム前の画像の輝度特徴量Ｉｍ及び２フレーム前の画像の輝度特徴量Ｉｍとを比較する。これらの画像は、互いに連続する３つのフレームの画像である。照明条件判定部２１３ｃは、これらの３つのフレームの画像の輝度特徴量Ｉｍを比較し、比較の結果に基づいて、どの画像が照明条件Ａの画像Ｇａであり、どの画像が照明条件Ｂの画像Ｇｂ１、Ｇｂ２であるかの判定を行う。さらに、各画像が、照明条件の変化の各サイクル中の何番目の画像であるかの判定を行う。この判定の結果ＣＮｂは、差分算出部２１５及びテクスチャ変化算出部２２ｃに供給される。

差分算出部２１５は、照明条件判定部２１３ｃから上記の判定結果ＣＮｂを受けることで、最新の画像が、照明条件変化の各サイクル中の何番目の画像であるかを認識する。そして、照明条件の変化の各サイクル中の１番目の画像（照明条件Ａの画像）Ｇａの各画素の輝度値から、照明条件の変化の各サイクル中の２番目の画像（照明条件Ｂの画像）Ｇｂ１の、同じ位置の画素の輝度値を差し引くことで、輝度差分を求め、輝度変化ｄＩとして出力する。
実施の形態１で述べたのと同様に、差し引いた結果が負の値となる場合には、輝度差分は０であるとする。

テクスチャ変化算出部２２ｃは、第１のテクスチャ変化ｄＦ１を被写体抽出部２３ｃに出力し、第２のテクスチャ変化ｄＦ２を目標値算出部２４ｃに出力する。

テクスチャ変化算出部２２ｃは、図２７に示すように、ＣＳＬＢＰ特徴算出部２２１と、ＣＳＬＢＰ特徴メモリ２２２と、テクスチャ特徴算出部２２３と、テクスチャ特徴メモリ２２４と、特徴変化処理部２２５ｃと、テクスチャ変化メモリ２２６とを有する。

図２７のうち、ＣＳＬＢＰ特徴算出部２２１、ＣＳＬＢＰ特徴メモリ２２２、及びテクスチャ特徴算出部２２３は、図４に示されるものと同じである。

特徴変化処理部２２５ｃは、輝度変化算出部２１ｃ内の照明条件判定部２１３ｃから上記の判定結果ＣＮｂを受けることで、最新の画像が、照明条件変化の各サイクル中の何番目の画像であるかを認識する。そして、各サイクル中の１番目の画像Ｇａと２番目の画像Ｇｂ１とのテクスチャ変化を、第２のテクスチャ変化ｄＦ２として算出する。また、各サイクル中の２番目の画像Ｇｂ１の３番目の画像Ｇｂ２とのテクスチャ変化を、第１のテクスチャ変化ｄＦ１として算出する。

算出された第１のテクスチャ変化ｄＦ１及び第２のテクスチャ変化ｄＦ２は、テクスチャ変化メモリ２２６に蓄積される。蓄積された第１のテクスチャ変化ｄＦ１は、後に被写体抽出部２３ｃに供給される。蓄積された第２のテクスチャ変化ｄＦ２は、後に目標値算出部２４ｃに供給される。

被写体抽出部２３ｃは、実施の形態１で説明した被写体抽出部２３と同様のものである。但し、テクスチャ変化として第１のテクスチャ変化ｄＦ１を用いる。
即ち、被写体抽出部２３ｃは、輝度変化算出部２１ｃで算出された輝度変化ｄＩと、テクスチャ変化算出部２２ｃで算出された第１のテクスチャ変化ｄＦ１とに基づいて、被写体領域を抽出し、抽出結果Ｈを目標値算出部２４ｃへ出力する。

被写体抽出部２３ｃが輝度変化ｄＩ及びテクスチャ変化ｄＦ１に基づいて被写体領域を抽出する処理は、実施の形態１において、被写体抽出部２３が輝度変化ｄＩ及びテクスチャ変化ｄＦに基づいて被写体領域を抽出する処理と同じである。

目標値算出部２４ｃは、画像メモリ１４から２つの照明条件で撮像された画像を読み出し、テクスチャ変化算出部２２ｃから第２のテクスチャ変化ｄＦ２が供給され、被写体抽出部２３ｃから被写体領域Ｈの抽出結果を供給され、これらの入力に基づいて、照明条件及び撮像条件の少なくとも何れか一つに係る目標値を算出し、算出した目標値を表す目標値信号Ｑを撮像照射制御部１１ｃへ出力する。

目標値算出部２４ｃは、実施の形態２の目標値算出部２４と同様のものであり、目標値算出部２４ｃが撮像照射制御部１１ｃへ供給する目標値信号Ｑは、実施の形態２で説明したのと同様のものである。但し、テクスチャ変化として第２のテクスチャ変化ｄＦ２が供給される。

以下目標値の調整方法について詳しく説明する。
目標値算出部２４ｃの被写体内変化領域抽出部２４１は、被写体抽出部２３ｃから出力される被写体領域Ｈの内部に位置し、テクスチャ変化が比較的大きい領域ＲＬＨを抽出する。

ここで、テクスチャ変化が比較的大きいか否かは、テクスチャ変化算出部２２ｃから出力されるテクスチャ変化ｄＦ２に基づいて判定される。
例えば、上記のテクスチャ変化ｄＦ２が閾値ＴＦａより大きい領域を被写体内変化領域ＲＬＨと判定し、それ以外の領域は無変化領域ＲＬＬと判定する。
なお、閾値ＴＦａについて、実施の形態２では、ＴＦａ＜ＴＦが好ましいと述べたが、実施の形態３ではそのような制約はない。

この処理を行うことで、被写体抽出部２３ｃにおいて第１のテクスチャ変化ｄＦ１が閾値ＴＦ以下であると判定された被写体領域内において、第２のテクスチャ変化ｄＦ２が、閾値ＴＦａ（閾値ＴＦとは異なる）よりも大きい領域（被写体内変化領域）ＲＬＨを抽出することができる。

面積判定部２４２は、被写体内変化領域抽出部２４１で抽出された被写体内変化領域ＲＬＨの面積、例えば該領域ＲＬＨに含まれる画素の数が閾値ＴＡａ以上か否かの判定を行い、判定結果を出力する。

目標値調整部２４３は、面積判定部２４２で、被写体内変化領域ＲＬＨの面積が閾値ＴＡａ以上であると判定されると、その判定結果に応じて、新たな目標値を算出する。

新たな目標値は、２つの照明条件Ａ及びＢにおいて、発光強度の差が小さくなるように定められる。例えば、時刻ｔ１ａに照明条件Ａ（発光強度ΦＡ（ｔ１ａ））で撮像された画像と、時刻ｔ１ｂに照明条件Ｂ（発光強度ΦＢ（ｔ１ｂ））で撮像された画像とを使用して、第２のテクスチャ変化ｄＦ２が算出されたのであれば、照明条件Ａでの次の撮像の時刻ｔ２ａにおける発光強度の目標値ΦＡ（ｔ２ａ）、及び照明条件Ｂでの次の撮像の時刻ｔ２ｂにおける発光強度の目標値ΦＢ（ｔ２ｂ）を、それぞれ式（１３）及び式（１４）のように調整する。このように目標値を調整することで、２つの照明条件Ａ、Ｂにおける発光強度の差を小さくする。

ΦＡ（ｔ２ａ）＝ΦＡ（ｔ１ａ）−ΔΦａ …（１３）
ΦＢ（ｔ２ｂ）＝ΦＢ（ｔ１ｂ）＋ΔΦａ …（１４）
式（１３）及び式（１４）でΔΦａは、調整量を表す。

発光強度の目標値を調整し、調整後の目標値を照射部１２に与えることで、照射部１２では、発光強度の実際の値が目標値に一致するように制御が行われる。

上記の調整に加えて、輝度変化ｄＩを算出するために使用した画像Ｇａ、Ｇｂ１の中で、発光強度がより小さい条件Ｂで撮像された画像Ｇｂ１のうちの、被写体内変化領域ＲＬＨと一致する領域の輝度特徴量Ｉｈが閾値ＴＬａ以下の場合、上記の照明条件Ｂ（発光強度がより小さい照明条件Ｂ）における発光強度が大きくなるように目標値を調整する。即ち、上記の照明条件Ｂにおける発光強度の目標値ΦＢを大きくする。
ここで言う輝度特徴量Ｉｈとは、例えば、輝度値の最大値、平均値及び中央値である。以下では、輝度値の平均値を輝度特徴量Ｉｈとして使用するものとして説明する。

例えば、時刻ｔ１ａに照明条件Ａ（発光強度ΦＡ（ｔ１ａ））で撮像された画像Ｇａと、時刻ｔ１ｂに照明条件Ｂ（発光強度ΦＢ（ｔ１ｂ））で撮像された画像Ｇｂ１とを使用して輝度変化ｄＩを算出したのであれば、照明条件Ｂでの次の撮像の時刻ｔ２ｂにおける発光強度の目標値ΦＢ（ｔ２ｂ）を式（１５）のように調整し、より大きくする。
ΦＢ（ｔ２ｂ）＝ΦＢ（ｔ１ｂ）＋ΔΦｂ …（１５）

式（１４）の処理と、式（１５）の処理が同時に行われる場合、調整後の発光強度の目標値ΦＢ（ｔ２ｂ）は、下記の式（１６）の如くとなる。
ΦＢ（ｔ２ｂ）＝ΦＢ（ｔ１ｂ）＋ΔΦａ＋ΔΦｂ …（１６）

また、輝度変化ｄＩを算出するために使用した画像Ｇａ、Ｇｂ１の中で、発光強度がより大きい条件（Ａ）で撮像された画像Ｇａのうちの、被写体内変化領域ＲＬＨと一致する領域の輝度特徴量Ｉｈが閾値ＴＬｂより大きい場合、上記の照明条件Ａ（発光強度がより大きい条件Ａ）における発光強度が小さくなるように目標値ΦＡを調整する。即ち、上記の照明条件Ａにおける発光強度の目標値ΦＡを小さくする。

例えば、時刻ｔ１ａに照明条件Ａ（発光強度ΦＡ（ｔ１ａ））で撮像された画像Ｇａと、時刻ｔ１ｂに照明条件Ｂ（発光強度ΦＢ（ｔ１ｂ））で撮像された画像Ｇｂ１とを使用して輝度変化ｄＩを算出したのであれば、照明条件Ａでの次の撮像の時刻ｔ２ａにおける発光強度の目標値ΦＡ（ｔ２ａ）を式（１７）のように調整し、より小さくする。
ΦＡ（ｔ２ａ）＝ΦＡ（ｔ１ａ）−ΔΦｃ …（１７）

式（１３）の処理と、式（１７）の処理が同時に行われる場合、調整後の発光強度の目標値ΦＡ（ｔ２ａ）は下記の式（１８）の如くとなる。
ΦＡ（ｔ２ａ）＝ΦＡ（ｔ１ａ）−ΔΦａ−ΔΦｃ …（１８）

一方、被写体内変化領域ＲＬＨが存在しない場合は、照明条件Ａでの次の撮像の時刻ｔ２ａにおける発光強度の目標値ΦＡ（ｔ２ａ）及び照明条件Ｂでの次の撮像の時刻ｔ２ｂにおける発光強度の目標値ΦＢ（ｔ２ｂ）を、それぞれ式（１９）及び式（２０）のように調整する。このように調整することで、２つの照明条件Ａ、Ｂにおける発光強度の差を大きくし、これにより被写体において、より大きな輝度変化ｄＩが生じるようにする。
ΦＡ（ｔ２ａ）＝ΦＡ（ｔ１ａ）＋ΔΦｄ …（１９）
ΦＢ（ｔ２ｂ）＝ΦＢ（ｔ１ｂ）−ΔΦｄ …（２０）

上記のように発光強度を変化させることで、被写体領域において十分に大きな輝度変化ｄＩを生じさせることができる。

式（１３）から式（２０）に示した更新規則に応じて目標値を調整する際、調整量ΔΦａ〜ΔΦｄは発光強度ΦＡ及びΦＢと比較して十分に小さいものとする。調整量ΔΦａ〜ΔΦｄが大きすぎる場合、発光強度ΦＡ及びΦＢが発振してしまい、望ましくない。また、発光強度ΦＡ及びΦＢを安定させる上では、更新までの時間遅れが重要であり、これらを考慮して調整量ΔΦａ〜ΔΦｄの大きさを設定する。

目標値調整部２４３は、以上のように更新した目標値を目標値メモリ２４４に書き込むとともに、目標値を表す目標値信号Ｑを撮像照射制御部１１ｃへ供給する。

以下、実施の形態３の撮像装置における処理の手順を図２８及び図２９のフローチャートを用いて説明する。図２８及び図２９に示される手順は、図２３及び図２４に示される手順と概して同じであるが、ステップＳＴ１ｂ、ＳＴ７、ＳＴ８、ＳＴ９、ＳＴ１０、ＳＴ３１の代わりにステップＳＴ１ｃ、ＳＴ７ｃ、ＳＴ８ｃ、ＳＴ９ｃ、ＳＴ１０ｄ、ＳＴ３１ｄを含む点で異なる。図２８及び図２９において、図２３及び図２４と同じ符号は、同一又は相当するステップを示す。

ステップＳＴ１ｃで、撮像照射制御部１１ｃは、目標値算出部２４ｃから照明条件及び撮像条件の目標値を表す目標値信号Ｑを供給され、目標値信号Ｑに応じて制御信号Ｃ１１ａ及び制御信号Ｃ１１ｂを出力する。
ステップＳＴ１ｃは、図２３のステップＳＴ１ｂと同様であるが、図２８のステップＳＴ１ｃでは、照明条件が３フレーム期間を１サイクルとして変化する点で異なる。

ステップＳＴ７ｃでは、最新の画像と１フレーム前の画像の組合せについて、画像の照明条件の判定を行う。この判定においては、最新の画像と、１フレーム前の画像の組合せが、３フレーム周期のうちの第１フレームの画像と第２フレームの画像の組合せ（ＡＢ）であるか、第２フレームの画像と第３フレームの画像の組合せ（ＢＢ）であるか、第３フレームの画像と（次の３フレーム周期の）第１フレームの画像の組合せ（ＢＡ）であるかを判定する。この判定は、実施の形態１で説明したのと相前後して供給されるフレームの画像の明るさの変化を記憶し、比較することで行われる。
なお、撮像照射制御部１１ｃから制御信号Ｃ１１ａ、Ｃ１１ｂを得て、該制御信号に基づいてこの判定を行っても良い。

ステップＳＴ７ｃで、第１フレームと第２フレーム画像の組合せ（ＡＢ）であると判定したときは、ステップＳＴ８ｃ及びステップＳＴ９ｃに進む。
ステップＳＴ８ｃ及びステップＳＴ９ｃの処理は、実施の形態１におけるステップＳＴ８及びＳＴ９の処理と同様である。

即ち、ステップＳＴ８ｃでは、輝度変化算出部２１ｃの差分算出部２１５が、最新のフレームの画像（第２フレーム画像）と１フレーム前の画像（第１フレーム画像）の各画素の輝度変化ｄＩを算出する。そして、算出した各画素の輝度変化ｄＩを輝度変化メモリ２１６に記憶させる。

ステップＳＴ９ｃでは、テクスチャ変化算出部２２ｃが、最新のフレームの画像（第２フレーム画像）と１フレーム前の画像（第１フレーム画像）の各画素のテクスチャ変化を算出し、算出したテクスチャ変化を第２のテクスチャ変化ｄＦ２として出力するとともに、テクスチャ変化メモリ２２６に記憶させる。

ステップＳＴ８ｃ及びＳＴ９ｃの処理の後、このフレーム期間における処理を終了する。
ステップＳＴ８ｃで輝度変化メモリ２１６に記憶された輝度変化ｄＩ、及びステップＳＴ９ｃでテクスチャ変化メモリ２２６に記憶された第２のテクスチャ変化ｄＦ２は次のフレーム期間に利用される。

ステップＳＴ７ｃで、第２フレーム画像と第３フレーム画像の組合せ（ＢＢ）であると判定した場合には、ステップＳＴ９ｄに進む。

ステップＳＴ９ｄでは、テクスチャ変化算出部２２ｃが、最新のフレームの画像（第３フレーム画像）と１フレーム前の画像（第２フレーム画像）の各画素のテクスチャ変化を算出し、第１のテクスチャ変化ｄＦ１として出力するとともに、テクスチャ変化メモリ２２６に記憶させる。

ステップＳＴ９ｄの次のステップＳＴ１０ｄでは、被写体領域を抽出する。この処理は、図１３のステップＳＴ１０と同じである。但し、図１３のステップＳＴ１０ではテクスチャ変化ｄＦを用いるが、図２９のステップＳＴ１０ｄでは、ステップＳＴ９ｄで算出された第１のテクスチャ変化ｄＦ１を用いる。また、輝度変化ｄＩとしては１フレーム期間前にステップＳＴ８ｃで算出されたものを用いる。

ステップＳＴ１０ｄの次に、ステップＳＴ３１ｄに進む。
ステップＳＴ３１ｄの処理は、図２４のステップＳＴ３１の処理と同様であるが、被写体内変化領域ＲＬＨの検出のため、ステップＳＴ９ｃで算出された第２のテクスチャ変化ｄＦ２を用いる。
即ち、ステップＳＴ３１ｄで、被写体内変化領域抽出部２４１が、ステップＳＴ１０ｄで検出された被写体領域Ｈと、ステップＳＴ９ｃで算出された第２のテクスチャ変化ｄＦ２とから被写体内変化領域ＲＬＨを抽出する。

ステップＳＴ３１ｄの次に、ステップＳＴ３２、ＳＴ３３及びＳＴ３４の処理を行う。これらの処理は図２４のステップＳＴ３２、ＳＴ３３及びＳＴ３４と同様である。
即ち、ステップＳＴ３２で、面積判定部２４２が、ステップＳＴ３１ｄで抽出された被写体内変化領域ＲＬＨの面積が閾値ＴＡａ以上か否かを判定する。
被写体内変化領域ＲＬＨの面積が閾値ＴＡａ未満であれば、そのフレームの処理を終了する。
被写体内変化領域ＲＬＨの面積が閾値ＴＡａ以上であれば、ステップＳＴ３３に進む。

ステップＳＴ３３で、目標値調整部２４３が、目標値メモリ２４４に記憶されている目標値を読み出し、ステップＳＴ３１ｄで抽出された被写体内変化領域ＲＬＨと、（前のフレーム期間における）ステップＳＴ９ｃにおいて算出された第２のテクスチャ変化ｄＦ２と、画像メモリ１４に蓄積されている画像データ（最新のフレームの画像データ）から、新たな目標値を算出し、算出した新たな目標値を目標値メモリ２４４に書き込む（例えば古い目標値に対して上書きする）とともに、新たな目標値を表す目標値信号Ｑを撮像照射制御部１１ｃへ供給する。
新たな目標値の算出は、式（１３）〜式（２０）を参照して説明したように行うことができる。

次に、ステップＳＴ３４で、撮像照射制御部１１ｃは、目標値算出部２４ｃから供給される目標値信号Ｑに基づいて、制御信号Ｃ１１ａ、Ｃ１１ｂの生成（その内容を更新）を行う。

制御信号Ｃ１１ａ、Ｃ１１ｂによって、３フレーム期間から成る各サイクルにおける各順位のフレーム（第１フレーム、第２フレーム、第３フレーム）における照明条件が更新される。更新の後、各順位のフレームの撮像を行う場合には、当該順位のフレームについての更新後の照明条件で撮像が行われる。

実施の形態３では、実施の形態２でテクスチャ変化ｄＦを用いて行う目標値の更新の処理を、第２のテクスチャ変化ｄＦ２を用いて行う。
第２のテクスチャ変化ｄＦ２は異なる時間に、異なる照明条件での撮像で得られた画像間のテクスチャ変化であるので、実施の形態２における「テクスチャ変化」と同じである。従って、実施の形態３でも実施の形態２と同様の効果を得ることができる。

実施の形態２及び３では、目標値算出部２４又は２４ｃが調整する目標値が、照明光の発光強度の目標値である。しかしながら、本発明はこれに限定されず、上記の目標値は、照明光の照射分布の形状、照明光の発光期間、撮像部１３の露光時間、絞り、及びゲインの少なくともいずれか１つ以上の目標値であれば良い。例えば、画像上で局所的に被写体内変化領域ＲＬＨ、又は無変化領域ＲＬＬが位置する場合は、照射分布を調整することで、局所的な発光強度を調整することとしても良い。また、被写体内変化領域ＲＬＨにおける輝度特徴量Ｉｈが閾値ＴＬａ’以下である場合、或いは閾値ＴＬｂ’より大きい場合は、例えば、露光時間を調整することで輝度特徴量Ｉｈを調整することとしても良い。この場合に用いる閾値ＴＬａ’、ＴＬｂ’は、上記の発光強度の調整の判断に用いた閾値ＴＬａ、ＴＬｂと同じであっても良く、異なっていても良い。

また、実施の形態２及び３では、２枚の画像間で輝度変化及びテクスチャ変化の算出を行っているが、３枚以上の画像間で輝度変化及びテクスチャ変化の算出を行うようにしても良い。要するに複数の画像間で輝度変化及びテクスチャ変化の算出を行うこととすれば良い。３枚以上の画像間で輝度変化を行う場合には、それぞれの画像としては、互いに異なる照明条件での撮像で得られたものを用い、３枚以上の画像間でテクスチャ変化を行う場合には、それぞれの画像としては、互いに異なる時刻における撮像で得られたものを用いる。互いに異なる時刻における撮像で得られた画像は、互いに異なる照明条件での撮像で得られた画像であっても良い。従って、輝度変化の算出に用いられた画像と同じものであっても良い。

３枚以上の画像を用いて算出された輝度変化及びテクスチャ変化から、照明条件又は撮像条件の目標値を調整する場合、上記の説明中の、「発光強度がより小さい照明条件の画像」を用いた処理として、「発光強度が最も小さい照明条件の画像」を用いた処理を行い、「発光強度がより大きい照明条件の画像」を用いた処理として、「発光強度が最も大きい照明条件の画像」を用いた処理を行い、「より小さい発光強度」に対する処理（目標値の調整）として、「最も小さい発光強度」に対する処理を行い、「より大きい発光強度」に対する処理（目標値の調整）として、「最も大きい発光強度」に対する処理を行うこととしても良い。

なおまた、実施の形態２及び３では、被写体内変化領域ＲＨＬの面積に対する閾値ＴＡａの大きさは固定された値であったが、適用的に変化させても良い。例えば、抽出された被写体領域Ｈの面積に応じて閾値ＴＡａの大きさを修正するとしても良い。この場合、抽出された被写体領域の面積が大きければ閾値ＴＡａの値を大きく、被写体領域Ｈの面積が小さければ閾値ＴＡａの値を小さく修正する。

なおまた、実施の形態２及び３では、調整量ΔΦａ〜ΔΦｄの大きさは固定された値であったが、適用的に変化させても良い。例えば、被写体領域における被写体内変化領域ＲＬＨ及び無変化領域ＲＬＬの面積の割合に応じて調整量ΔΦａ〜ΔΦｄの大きさを修正することとしても良い。

また、式（５）〜式（２０）のように、すべての照明条件に対して同じ大きさの調整量ΔΦａ〜ΔΦｄを用いる必要はなく、異なる大きさの調整量ΔΦａ〜ΔΦｄを使用して良い。

さらにまた、上記の例では、テクスチャ変化算出部２２ｃは、画像メモリ１４から読み出された３枚の画像の各々が、照明条件変化の各サイクル中の何番目の画像であるかを、輝度変化算出部２１ｃから通知されるが、テクスチャ変化算出部２２ｃが、独自に判定を行うこととしても良い。この場合、輝度変化算出部２１ｃと同様に画像の輝度特徴量Ｉｍから判定しても良い。

実施の形態４．
図３０は、本発明の実施の形態４に係る操作装置の構成を示すブロック図である。図３０に示す操作装置は、図２１に示される撮像装置と同様の撮像装置と、被写体認識部２５と操作決定部２６とを組合せたものである。但し、図２１のテクスチャ変化算出部２２の代りにテクスチャ変化算出部２２ｄを備える。図２１と同一の符号は同一又は相当部分を示すので説明は省略する。
また、本実施の形態では、被写体が人の手である場合を想定する。

テクスチャ変化算出部２２ｄは、画像メモリ１４に蓄積されている複数の画像を順次読出し、各画像を構成する画素の各々についてテクスチャ特徴Ｆを求め、２つの異なる時刻における撮像で得られた２枚の画像間のテクスチャ変化ｄＦを算出し、算出したテクスチャ変化ｄＦを被写体抽出部２３、目標値算出部２４、及び被写体認識部２５へ供給するとともに、テクスチャ特徴Ｆを被写体認識部２５へ供給する。

テクスチャ変化算出部２２ｄは、図３１に示すように、ＣＳＬＢＰ特徴算出部２２１と、ＣＳＬＢＰ特徴メモリ２２２と、テクスチャ特徴算出部２２３と、テクスチャ特徴メモリ２２４ｄと、特徴変化処理部２２５と、テクスチャ変化メモリ２２６とを備える。

図３１のうち、ＣＳＬＢＰ特徴算出部２２１、ＣＳＬＢＰ特徴メモリ２２２、テクスチャ特徴算出部２２３及び特徴変化処理部２２５は、図４に示されるものと同じである。

テクスチャ特徴メモリ２２４ｄは、図４のテクスチャ特徴メモリ２２４と同様の機能を有するが、特徴変化処理部２２５以外から、特に被写体認識部２５からも読み出し可能である点で、図４のテクスチャ特徴メモリ２２４とは異なる。

被写体認識部２５は、被写体抽出部２３から供給される被写体領域Ｈの抽出結果Ｈと、テクスチャ変化算出部２２ｄから供給されるテクスチャ変化ｄＦ及びテクスチャ特徴Ｆと、画像メモリ１４から読み出された画像Ｇを入力として、これらに基づいて被写体の形状及び動きの少なくとも何れか一方を認識し、認識結果を操作決定部２６へ出力する。

被写体認識部２５は、例えば、人によるジェスチャーを認識する。ジェスチャーには、例えば、手の形状（グー、チョキ、パー等）による形状ジェスチャーと、手の動き（手の横振り、縦振り、捻り動作）による動きジェスチャーが含まれる。

被写体認識部２５は、図３２に示すように、形状認識部２５１と、動き認識部２５２と、基準データメモリ２５３とを有する。

形状ジェスチャーについては、予め定められた形状の特徴量を表す基準データＳｓを基準データメモリ２５３に予め登録しておき、形状認識部２５１が、撮像部１３で撮像された被写体の形状を、基準データＳｓと照合することで、形状ジェスチャーを認識する。

基準データＳｓは、手の形状が特定のジェスチャーを意図したものであると認定されるために満たすべき条件を表すものであり、条件を満たすか否かの判定には例えば手の形状の特徴量に対する閾値処理（手の形状の特徴量が閾値に対して予め定められた関係を有するか否かの判定）が含まれる。
例えば、特定のジェスチャーを意図する手の形状を表すデータを取り込み、それとの違いが予め定められた閾値以下であるかによって判定を行う場合、上記の取り込んだデータと、上記の閾値を表すデータとで基準データＳｓが構成される。

基準データＳｓを学習によって修正していくことも可能である。学習の方法として、例えば、Ａｄａｂｏｏｓｔという手法や、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅという手法が知られている。

手の形状の特徴量としては、手と背景の境界線（手のエッジ）の特徴量を利用し得るほか、手の領域（被写体領域）におけるテクスチャ特徴を利用することができる。

手と背景の境界線としては、被写体抽出部２３において抽出された被写体領域Ｈの輪郭を表すデータを利用し得る。この場合には、形状認識部２５１は被写体抽出部２３からの被写体領域Ｈの抽出結果を示すデータに基づいて手の形状を特定する。

テクスチャ特徴Ｆを用いて手と背景の境界線を抽出することも可能である。
例えば、手と背景の境界線を解析することで手の形状、例えば手を握っている状態（グー）か手を開いている状態（パー）かを判定することができる。手と背景の境界線の抽出に当たっては、手と背景の模様や凹凸、反射率の違いに対応するテクスチャ特徴の違いを利用することができる。この場合には、形状認識部２５１はテクスチャ特徴メモリ２２４ｄに蓄積されているテクスチャ特徴Ｆに基づいて手の形状を特定する。

手領域の内部においても、指の形状などによって、表面の凹凸の違いが現れることがある。例えば、手を握っており（グーの状態）掌が指で隠れている場合と、手を開いており（パーの状態）掌が現れている場合とでは、表面の凹凸の違いが生じる。このような違いを、テクスチャ特徴に基づいて判別することができる。従って、テクスチャ特徴を用いることで、特定の手の形状(グーか、パーか等)を表す特徴を抽出できる。この場合には、形状認識部２５１は、形状認識部２５１はテクスチャ特徴メモリ２２４ｄに蓄積されているテクスチャ特徴Ｆのうち、被写体抽出部２３で抽出した被写体領域Ｈ内の画素についてのテクスチャ特徴Ｆに基づいて手の形状を特定する。

動きジェスチャーについては、予め定められた動きの特徴量を表す基準データＳｍを基準データメモリ２５３に予め登録しておき、動き認識部２５２が、撮像部１３で撮像された被写体の動きを、基準データＳｍと照合することで、動きジェスチャーを認識する。

基準データＳｍは、手の動きが特定のジェスチャーを意図したものであると認定されるために満たすべき条件を表すものであり、条件を満たすか否かの判定には例えば手の動きの特徴量に対する閾値処理（手の動きの特徴量が閾値に対して予め定められた関係を有するか否かの判定）が含まれる。
例えば、特定のジェスチャーを意図する手の動きを表すデータを取り込み、それとの違いが予め定められた閾値以下であるかによって判定を行う場合、上記の取り込んだデータと、上記の閾値を表すデータとで基準データＳｍが構成される。

手の形状によるジェスチャーについて述べたのと同様に、手の動きによるジェスチャーについても、基準データＳｍを学習によって修正していくことも可能である。

動きの特徴量としては、例えば、被写体中心の位置の変化、速度、及び加速度に加え、テクスチャ変化ｄＦを用い得る。
手の横振り、縦振り等については、被写体の中心位置をトラッキングすることで位置の変化、速度、加速度等を観測でき、これらを特徴量として使用することができる。中心位置の特定には、手の形状、特に背景との境界線を特定する必要がある。

手の形状の特定には、被写体抽出部２３からの被写体領域Ｈの抽出結果を示すデータを利用することができる。この場合には、動き認識部２５２はテクスチャ特徴メモリ２２４ｄに蓄積されているテクスチャ特徴Ｆに基づいて手の形状を特定する。
手の形状の特定には、形状認識部２５１について述べたように、テクスチャ特徴メモリ２２４ｄに蓄積されているテクスチャ特徴Ｆを利用することができる。この場合には、動き認識部２５２はテクスチャ特徴メモリ２２４ｄに蓄積されているテクスチャ特徴Ｆに基づいて手の形状を特定する。

手と背景との境界線の変化が少ない手の捻り動作等は、テクスチャ変化算出部２２ｄから出力されるテクスチャ変化ｄＦ、或いはテクスチャ特徴Ｆの時系列を特徴量として利用することができる。この場合には、動き認識部２５２はテクスチャ変化メモリ２２６に蓄積されているテクスチャ変化ｄＦのうち、被写体抽出部２３で抽出した被写体領域Ｈ内の画素についてのテクスチャ変化ｄＦ、或いは特徴Ｆテクスチャ特徴メモリ２２４ｄに蓄積されているテクスチャ特徴Ｆのうち、被写体抽出部２３で抽出した被写体領域Ｈ内の画素についてのテクスチャ特徴Ｆに基づいて手の動きを特定する。

輝度変化算出部２１で算出された輝度変化ｄＩを動きの特徴量の算出に用いることも可能である。例えば、被写体領域Ｈにおける輝度変化ｄＩの平均値の時系列を動きの特徴量とすることで、カメラ方向に対する手の前後の動きを特定することが出来る。例えば、時間経過に伴って被写体領域Ｈにおける輝度変化ｄＩの平均値が大きくなっている場合は、カメラに手が近付く動作と特定できる。一方で、被写体領域Ｈにおける輝度変化ｄＩの平均値が小さくなっている場合は、カメラから手が遠ざかる動作と特定できる。

目標値算出部２４によって算出された目標値を用いて照明条件を調整することで、テクスチャ特徴Ｆの算出に好適な画像を取得しているため、環境光に対し安定してテクスチャ特徴Ｆを算出でき、テクスチャ特徴Ｆを形状或いは動き特徴量の算出に利用しているので、ジェスチャーの認識を高い精度で行うことができる。

操作決定部２６は、被写体認識部２５の形状認識部２５１から出力される認識結果Ｒｓ及び動き認識部２５２から出力される認識結果Ｒｍに基づいて、機器を操作するためのコマンドを生成し、出力する。例えば、被写体認識部２５が認識するジェスチャーの種類に応じて、予め機器操作コマンドを設定しておき、認識結果に応じてコマンドを生成し、出力する。

図３３は、被操作機器が車載機器である場合を想定し、ジェスチャーの種類と、車載機器操作の操作コマンドの対応関係の例を示す。例えば、グーのジェスチャーを認識したときは、表示画面を地図案内画面に切り替えるようにコマンドを生成し、出力する。チョキのジェスチャーを認識したときは、表示画面をオーディオ画面に切り替えるようにコマンドを生成し、出力する。パーのジェスチャーを認識したときには、表示画面をエアコン調節画面に切り替えるようにコマンドを生成し、出力する。

実施の形態４の操作装置の被写体抽出部２３における被写体抽出の処理は、図２３及び図２４などで示したのと同じである。
実施の形態４の操作装置は、図２３のステップＳＴ６のテクスチャ特徴Ｆの算出の結果、及び図２４のステップＳＴ１０の被写体抽出の結果を利用して、ジェスチャーの判定及び判定結果に基づく機器操作の処理を行う。
以下に、ジェスチャーの判定及び判定結果に基づく機器操作の処理を、図３４を参照して説明する。

ステップＳＴ４１では、被写体認識部２５は、被写体抽出部２３から供給される被写体領域の抽出の結果と、テクスチャ変化算出部２２ｄから供給されるテクスチャ変化ｄＦ及びテクスチャ特徴Ｆと、画像メモリ１４から読み出された画像Ｇとを入力として、被写体の形状及び動きの少なくとも何れか一方の特徴量を算出し、予め基準データメモリ２５３に登録してある基準データ（被写体の標準的な形状又は標準的な動きの特徴量を表す）と照合し、被写体の形状及び動きの少なくとも何れか一方を認識結果として操作決定部２６へ出力する。

ステップＳＴ４２では、被写体認識部２５から出力される認識結果に基づいて、機器を操作するためのコマンドを生成し、出力する。

上記説明のように、本実施の形態に係る操作装置では、環境光の変化に対して安定した被写体領域の抽出の結果を用いることで、環境光に対して安定した被写体認識結果を得ることができる。

また、被写体領域の抽出に使用したテクスチャ特徴に基づいて、被写体の形状の認識を行うことで、環境光に対して安定した被写体認識結果を得ることができる。

さらに、被写体領域の抽出に使用したテクスチャ特徴に基づいて、被写体の動きの認識を行うことで、環境光に対して安定した被写体認識結果を得ることができる。

さらにまた、環境光の変化に対して安定した被写体認識結果を用いることで、環境光が変化する中でも、被写体の形状及び動きの少なくとも何れか一方を使用した機器操作を行うことができる。

なお、本実施の形態では、操作決定部による機器操作の例として、被操作機器が車載機器である場合について説明したが、本発明はこれに限るものではない。例えば、テレビ、或いはサイネージ等の映像機器、或いはメガネ型、ブレスレッド型、指輪型、衣服型等のウエアラブル機器を操作する場合にも本発明を適用することができる。

なおまた、本実施の形態では、被写体のジェスチャーを認識し、認識結果に基づいて操作を行う場合について説明したが、本発明はこれに限定されない。即ちジェスチャー以外の人の動作或いは状態を認識し、認識結果に基づいて操作を行う場合にも本発明を適用することができる。例えば、顔の向き、眼又は口の開閉、或いはこれらを伴う脇見状態、居眠り状態、人が会話している状態の認識、眠気を催している状態、疲労している状態、或いは集中度が低下した状態の認識、及び認識結果に基づく操作を行う場合にも本発明を適用することができる。認識結果に基づく操作としては機器の動作を切り換える処理、自動車にブレーキを掛ける操作、警報音の発生などがある。

以上、実施の形態２の撮像装置を備える操作装置について説明したが、実施の形態２の撮像装置の代わりに、実施の形態１の撮像装置又は実施の形態３の撮像装置を備える操作装置も同様に構成できる。

以上本発明を撮像装置及び操作装置として説明したが、上記の撮像装置を用いて実施される撮像方法、及び上記の操作装置を用いて実施される操作方法もまた本発明の一部を成す。

上記の撮像装置又は操作装置で行われる処理の一部、或いは上記の撮像方法又は操作方法で行われる処理の一部はプロセッサを備えたコンピュータに実行させることができる。従って、コンピュータに上記の撮像装置又は操作装置で行われる処理、上記の撮像方法又は操作方法で行われる処理を実行させるためのプログラム、及び該プログラムを記録した、コンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

図３５は、上記のコンピュータの一例を、照射部１２及び撮像部１３とともに示す。照射部１２及び撮像部１３は例えば図１の照射部１２及び撮像部１３と同様の機能を持つものである。
図３５のコンピュータは、プロセッサ５１と、プログラムメモリ５２と、データメモリ５３と、データ入力インターフェース５４と、制御出力インターフェース５５と、データ出力インターフェース５６とを備え、これらはデータバス５７で接続されている。

プロセッサ５１は、プログラムメモリ５２に記憶されたプログラムに従って動作し、図１の撮像照射制御部１１、輝度変化算出部２１、テクスチャ変化算出部２２、及び被写体抽出部２３と同様の処理を行う。

制御出力インターフェース５５は、照射部１２及び撮像部１３に接続されており、プロセッサ５１からの制御信号Ｃ１１ａを照射部１２に与え、制御信号Ｃ１１ｂを撮像部１３に与える。

データ入力インターフェース５４は、撮像部１３に接続されており、撮像部１３から出力された撮像画像が入力される。
プロセッサ５１は、データ入力インターフェース５４を介して入力された撮像画像に対して、例えば実施の形態１の輝度変化算出部２１、テクスチャ変化算出部２２、及び被写体抽出部２３と同様の処理を行って、被写体抽出の結果をデータ出力インターフェース５６から出力する。

データメモリ５３は、図１の画像メモリ１４と同様の役割を持つ。
データメモリ５３がさらに、図１の輝度変化算出部２１内の輝度特徴量メモリ２１２及び輝度変化メモリ２１６（図３）、及びテクスチャ変化算出部２２内のテクスチャ特徴メモリ２２４及びテクスチャ変化メモリ２２６（図４）の役割を持つものであっても良い。

プロセッサ５１による処理の手順は、実施の形態１に関し、図１３及び図１４を参照して説明したのと同様である。

なお、図３５に示されるコンピュータを複数台設け、それぞれに、撮像装置の各部の処理を行わせることとしても良い。撮像方法の処理をコンピュータに実行させる場合も同様である。

以上、コンピュータで実施の形態１の撮像装置の処理を実行させる場合について説明したが、実施の形態２又は３の撮像装置の処理、又は該撮像装置で実施される撮像方法の処理、或いは、実施の形態３の操作装置の処理、又は該操作装置で実施される操作方法をコンピュータで実行させる場合も同様である。

１１、１１ｂ、１１ｃ 撮像照射制御部、 １２ 照射部、 １３ 撮像部、 １４ 画像メモリ、 ２１、２１ｃ 輝度変化算出部、 ２２、２２ｃ、２２ｄ テクスチャ変化算出部、 ２３、２３ｃ 被写体抽出部、 ２４、２４ｃ 目標値算出部、 ２５ 被写体認識部、 ２６ 操作決定部、 ５１ プロセッサ、 ５２ プログラムメモリ、 ５３ データメモリ、 ５４ データ入力インターフェース、 ５５ 制御出力インターフェース、 ５６ データ出力インターフェース、 １２１ ＬＥＤ、 １２２ 発光制御部、 ２１１ 輝度特徴量算出部、 ２１２ 輝度特徴量メモリ、 ２１３、２１３ｃ 照明条件判定部、 ２１５ 差分算出部、 ２１６ 輝度変化メモリ、 ２２１ ＣＳＬＢＰ特徴算出部、 ２２２ ＣＳＬＢＰ特徴メモリ、 ２２３、２２３ａ テクスチャ特徴算出部、 ２２４、２２４ｄ テクスチャ特徴メモリ、 ２２５、２２５ａ、２２５ｃ 特徴変化処理部、 ２２６ テクスチャ変化メモリ、 ２３１ 輝度変化比較部、 ２３２ テクスチャ変化比較部、 ２３３ 領域判定部、 ２３４ ゲート部、 ２４１ 被写体内変化領域抽出部、 ２４２ 面積判定部、 ２４３ 目標値調整部、 ２４４ 目標値メモリ、 ２５１ 形状認識部、 ２５２ 動き認識部、 ２５３ 基準データメモリ、 ２２１１ 領域分割部、 ２２１２−１〜２２１２−１６ ＣＳＬＢＰ特徴読出し部、 ２２１３−１〜２２１３−１６ ヒストグラム生成部、 ２２１４ 連結部、 ２２１５ 正規化部、 ２２１６ クリップ部、 Ｈ 被写体、 Ｂ１ 背景要素、 Ｂ２ 背景部分。

Claims (18)

1. 照明条件を制御する照明条件制御信号及び撮像条件を制御する撮像条件制御信号を生成する撮像照射制御部と、
   前記照明条件制御信号に基づいて複数の互いに異なる照明条件で被写体を照明する照射部と、
   前記撮像条件制御信号で制御される撮像条件で前記被写体の撮像を行って撮像画像を生成する撮像部と、
   前記撮像部により、前記異なる照明条件での撮像で得られた複数の撮像画像を使用して前記複数の撮像画像間での各画素についての輝度変化を算出する輝度変化算出部と、
   前記撮像部により、異なる時刻における撮像で得られた複数の撮像画像を使用して当該複数の撮像画像間での各画素についてのテクスチャ変化を算出するテクスチャ変化算出部と、
   前記輝度変化と前記テクスチャ変化とに基づいて被写体領域を抽出する被写体抽出部とを有し、
   前記テクスチャ変化算出部は、前記テクスチャ変化として、
   前記異なる時刻に互いに等しい照明条件で行われた撮像で得られた複数の撮像画像を用いて第１のテクスチャ変化を算出するとともに、
   前記輝度変化の算出に使用した複数の撮像画像を用いて第２のテクスチャ変化を算出する
   撮像装置。
2. 前記テクスチャ変化算出部は、異なる時刻に互いに異なる照明条件での撮像で得られた複数の撮像画像を用いて前記第２のテクスチャ変化を算出する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記テクスチャ変化算出部は、前記複数の撮像画像の各々についてテクスチャ特徴を算出し、前記複数の撮像画像間での、前記テクスチャ特徴の変化を、前記テクスチャ変化として算出する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記被写体抽出部は、前記輝度変化の算出及び前記テクスチャ変化の算出の少なくともいずれか一方に使用された撮像画像、又は各画素についての前記輝度変化で構成される輝度差分画像のうちの、前記輝度変化が第１の閾値よりも大きく、かつ前記テクスチャ変化が第２の閾値以下である領域を前記被写体領域として抽出する
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記複数の照明条件は、照明光の照射分布及び照明光の発光強度の少なくともいずれか一方が互いに異なる
   ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記複数の照明条件は、第１の発光強度で照明光を照射する第１の照明条件と、前記第１の発光強度より小さい第２の発光強度で照明光を照射する第２の照明条件とを含む
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記抽出された被写体領域における前記撮像画像の輝度特徴量及び前記テクスチャ変化の少なくとも何れか一方に基づいて、前記撮像条件の目標値を決定する目標値算出部をさらに有し、
   前記撮像照射制御部は前記撮像条件の目標値に基づいて前記撮像条件制御信号を生成する
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記抽出された被写体領域における前記撮像画像の輝度特徴量及び前記テクスチャ変化の少なくとも何れか一方に基づいて、前記照明条件の目標値を決定する目標値算出部をさらに有し、
   前記撮像照射制御部は前記照明条件の目標値に基づいて前記照明条件制御信号を生成する
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
9. 前記照明条件の目標値は前記照射部による照明光の照射分布及び照明光の発光強度の少なくとも一方の目標値である
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記被写体抽出部は、前記輝度変化と前記第１のテクスチャ変化とに基づいて前記被写体領域の抽出を行い、
    前記目標値算出部は、
    前記抽出された被写体領域のうち、前記第２のテクスチャ変化が第３の閾値よりも大きい部分の面積が第４の閾値以上である場合は、前記複数の照明条件における発光強度の差を小さくするように前記照明条件の目標値を調整し、
    前記抽出された被写体領域の全体において前記第２のテクスチャ変化が前記第３の閾値以下である場合は、前記複数の照明条件における発光強度の差を大きくするように前記照明条件の目標値を調整する
    ことを特徴とする請求項８又は９に記載の撮像装置。
11. 前記目標値算出部は、
    前記輝度変化の算出に使用した前記複数の撮像画像の中で、発光強度の最も小さい照明条件での撮像で得られた撮像画像のうちの、前記抽出された被写体領域の輝度特徴量が第５の閾値以下である場合は発光強度の最も小さい照明条件で用いられる発光強度の目標値を大きくし、
    前記輝度変化の算出に使用した前記複数の撮像画像の中で、発光強度の最も大きい照明条件での撮像で得られた撮像画像のうちの、前記抽出された被写体領域の輝度特徴量が第６の閾値よりも大きい場合は発光強度の最も大きい照明条件で用いられる発光強度の目標値を小さくする
    ことを特徴とする請求項８から１０のいずれか１項に記載の撮像装置。
12. 請求項１から１１のいずれか１項に記載の撮像装置と、
    前記被写体抽出部による、前記被写体領域の抽出の結果から前記被写体の形状の特徴量及び動きの特徴量の少なくとも何れか一方を算出し、予め定められた形状又は動きの特徴量を表す基準データと照合することで前記被写体の形状又は動きを認識する被写体認識部とを有する
    ことを特徴とする操作装置。
13. 前記被写体認識部は、前記動きの特徴量を、前記輝度変化及び前記テクスチャ変化の少なくとも何れか一方に基づき算出する
    ことを特徴とする請求項１２に記載の操作装置。
14. 請求項３に記載の撮像装置と、
    前記被写体抽出部による、前記被写体領域の抽出の結果から前記被写体の形状の特徴量及び動きの特徴量の少なくとも何れか一方を算出し、予め定められた形状又は動きの特徴量を表す基準データと照合することで前記被写体の形状又は動きを認識する被写体認識部とを有し、
    前記被写体認識部は、前記テクスチャ変化算出部で算出された前記テクスチャ特徴に基づいて前記形状の特徴量を算出する
    ことを特徴とする操作装置。
15. 前記被写体の形状又は動きの認識の結果から操作内容を決定し、決定した操作内容を示すコマンドを生成して出力する操作決定部をさらに有する
    ことを特徴とする請求項１２から１４のいずれか１項に記載の操作装置。
16. 照明条件を制御する照明条件制御信号及び撮像条件を制御する撮像条件制御信号を生成する撮像照射制御ステップと、
    前記照明条件制御信号に基づいて複数の互いに異なる照明条件で被写体を照明する照射ステップと、
    前記撮像条件制御信号で制御される撮像条件で前記被写体の撮像を行って撮像画像を生成する撮像ステップと、
    前記撮像ステップにより、前記異なる照明条件での撮像で得られた複数の撮像画像を使用して前記複数の撮像画像間での各画素についての輝度変化を算出する輝度変化算出ステップと、
    前記撮像ステップにより、異なる時刻における撮像で得られた複数の撮像画像を使用して当該複数の撮像画像間での各画素についてのテクスチャ変化を算出するテクスチャ変化算出ステップと、
    前記輝度変化と前記テクスチャ変化とに基づいて被写体領域を抽出する被写体抽出ステップとを有し、
    前記テクスチャ変化算出ステップは、前記テクスチャ変化として、
    前記異なる時刻に互いに等しい照明条件で行われた撮像で得られた複数の撮像画像を用いて第１のテクスチャ変化を算出するとともに、
    前記輝度変化の算出に使用した複数の撮像画像を用いて第２のテクスチャ変化を算出する撮像方法。
17. 請求項１６の各ステップの処理をコンピュータに実行させるためのプログラム。
18. 請求項１７に記載のプログラムを記録した、コンピュータで読取り可能な記録媒体。

Images