WO2007020760A1

WO2007020760A1 - 画像処理方法、画像処理システムおよび画像処理プログラム

Info

Publication number: WO2007020760A1
Application number: PCT/JP2006/313885
Authority: WO
Inventors: Satoshi Sato; Kunio Nobori; Katsuhiro Kanamori
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-08-19
Filing date: 2006-07-12
Publication date: 2007-02-22
Also published as: CN101326545B; US20090028424A1; JPWO2007020760A1; US7609892B2; JP4154447B2; CN101383908A; CN101326545A; US7961940B2; JP4113570B2; US20100027879A1; CN101383908B; JP2008135073A

Abstract

　蛍光灯など輝度が時間的に変化する光源下において、光源状況が異なる複数の画像が撮像可能となる撮像条件で、複数の画像を撮像する（Ｓ１１）。撮像した複数の画像から輝度の時間変化を検出し（Ｓ１２）、この輝度の時間変化を用いて影領域を推定し（Ｓ１３）、線形化画像の合成や光学特性に基づく領域分割などの画像処理を行う（Ｓ１４）。

Description

明細書

画像処理方法、画像処理システムおよび画像処理プログラム

技術分野

[0001] 本発明は、例えば家庭内などの一般生活空間を想定した場合における、画像撮像および画像処理に関するものである。

背景技術

[0002] 今日、家庭内などの一般生活環境において、物理支援ロボットの実用化が望まれている。このようなロボットを実用化するためには、対象物の位置や姿勢の検出、対象物の認識、対象物の動き検出、環境の認識等の処理が必要である。

[0003] このような処理を行うために、従来から、カメラを用いる方法が広く用いられて、る。

これは、カメラで撮像された画像に対し、例えばパターンマッチングやオプティカルフロー検出、特徴点抽出といった画像処理を適用することによって、実現される。

[0004] 家庭内のような一般生活環境では、光源変動による鏡面反射'影の影響によって、これらの画像処理の精度や検出率が劣化することが知られている。そこで、例えば画像の線形化など、 2色性反射モデルや Lambertianモデルと!/、つた反射モデルを利用した、光源変動の影響にロバストな画像処理が研究されている（例えば、非特許文献 1, 2)。

[0005] 非特許文献 1では、屋外環境にぉ、て、観測される物体の色は、時間変動が生じない全天空光成分と、雲によって太陽直射光が遮られ、明るさが急激に変化する太陽直射光成分とから成るものと考える。そして、移動物体を検出するために背景差分法を行う際、時間変化が大きい太陽直射光成分の混合率を推定することにより、影や光源の輝度変化の影響を受けな、移動物体の検出を実現して、る。

[0006] 非特許文献 2では、光源位置が変化した複数枚の画像を利用し、鏡面反射や影を含まな、拡散反射のみの合成画像である線形化画像を作成する。このような線形ィ匕画像を利用することによって、鏡面反射の影響を受けない画像処理が実現される。非特許文献 1 :奥村晃弘，岩井儀雄，谷内田正彦 "屋外における移動物体の検出 —照明変動と影への対策一"，画像の認識'理解シンポジウム (MIRU2000), vol.II, p p.307-312, 2000

非特許文献 2 :石井育規，福井孝太郎，向川康博，尺長健"光学現象の分類に基づく画像の線形化"，情報処理学会論文誌， vol.44, no. SIG5 (CVIM6), pp.11-21, 200 3

発明の開示

発明が解決しょうとする課題

[0007] このような光学モデルを利用した画像処理手法の多くは、光源の位置や輝度が異なった複数枚の画像を必要とする。例えば、非特許文献 1では、全天空光成分と太陽直射光成分を推定するために、太陽直射光成分の輝度のみが異なった 2枚以上の画像が必要である。また、非特許文献 2では、光源位置が異なった 4枚以上の画像が必要である。

[0008] このような光源の輝度や位置が異なった複数枚の画像を、本願明細書では「光源変動画像」と呼ぶ。通常、このような光源変動画像を撮像するためには、光源の位置や輝度を変更し、その変更に同期させて画像を撮像する必要があった。ところがこの方法では、光源とカメラとの間で同期を取る必要があり、システムが大規模になり、撮像コストが増大するといつた問題があった。

[0009] 図 36は光源変動画像を撮像するための従来の撮像システムの例である。まず、被写体 201と撮像装置 202を固定し、被写体 201の周りにレール 203を張り巡らす。光源 204はレール 203上の様々な位置に固定することができる。撮像装置 202は光源 204の位置変化または輝度変化に同期して撮像を行うことによって、光源変動画像を撮像することができる。しカゝしこのシステムでは、被写体 201を覆うレール 203を配置する必要があるため、システムが非常に大が力りなものになってしまう。特に被写体 201が大きい物である場合、システムの設置は極めて困難になる。また、撮像装置 2 02は光源 204の位置変化や輝度変化に同期して撮像を行う必要があるため、制御が複雑になり、撮像に要する時間も大きくなつてしまう。

[0010] 最近では、大仏や建物などをデジタルアーカイブとして記録するために、または、ォフィス内や家庭内の環境をコンピュータグラフィック (CG)として表示するために、光源の位置や輝度が変化した複数枚の画像を撮像する必要があることがある。このように被写体が非常に大きい場合、図 36の方法では撮像が非常に困難になる。

[0011] また、光源の位置情報が未知でも構わな、画像処理 (例えば、画像の線形化）を行う場合、図 37のように、撮像者または撮像ロボット 205が、光源 204を稼動部である手に持ち、光源 204を移動させながら撮像装置 202によって撮像を行うことも可能である。ところが、カメラの位置を固定した状態で光源を動かす、という複雑な操作が必要であり、やはり、撮像に要する時間が大きくなるという問題があった。

[0012] 前記の問題に鑑み、本発明は、画像処理において、いわゆる光源変動画像を、簡易な設備において、取得可能にすることを課題とする。

課題を解決するための手段

[0013] 本発明は、輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行い、撮像された複数の画像を用いて、画像処理を行うものである。

[0014] 本発明によると、輝度が時間的に変化する光源を利用して、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件を設定して、複数の画像を撮像する。これによつて、いわゆる光源変動画像が、大規模なシステムや複雑な操作を必要とすることなぐ容易に取得できる。

[0015] また、本発明は、輝度が時間的に変化する光源下において、撮像装置によって、同一の被写体について、複数回、撮像を行い、撮像された複数の画像における複数の対応点にっ、てそれぞれ輝度値の時間変化を検出し、各対応点の輝度値の時間変化を用いて、複数の画像の光源状況が互いに異なっている力否かを判断し、光源状況が異なって!/ヽる画像を光源変動画像として保持する一方、それ以外の画像を破棄するものである。

[0016] 本発明によると、輝度が時間的に変化する光源を利用して、撮像装置によって、複数の画像を撮像する。そして、複数の画像における各対応点の輝度値の時間変化を用いて、光源状況が異なっている画像のみを、光源変動画像として保持する。これによって、いわゆる光源変動画像が、大規模なシステムや複雑な操作を必要とすることなぐ容易に取得できる。

発明の効果 [0017] 本発明によると、例えば家庭内のような一般生活環境において、非常に簡単な装置で、光源の位置や輝度が異なったヽゎゆる光源変動画像を容易に撮像することができる。このような画像を利用することによって、一般生活環境においても、影や光源の輝度変化の影響を受けない画像処理を行うことができる。

図面の簡単な説明

[0018] [図 1]図 1は、本発明の第 1の実施形態に係る画像処理方法を実現するための構成を示す図である。

[図 2]図 2は、本発明の第 1の実施形態に係る画像処理方法の処理を示すフローチヤートである。

[図 3]図 3は、輝度変化が生じる光源の影響について説明するための概念図である。

[図 4]図 4は、図 3の状況において観測される輝度値を示す図である。

[図 5]図 5は、図 3の状況において、撮像タイミングをランダムに設定した場合を示す図である。

[図 6]図 6は、光源が複数存在する場合の影の振る舞いについて説明するための図である。

[図 7]図 7は、光学現象である拡散反射、鏡面反射および影の関係を示す概念図である。

[図 8]図 8は、光源と撮像装置、被写体の法線方向の関係を示す概念図である。

[図 9]図 9は、光学特性に基づく領域分割の基準を示すグラフである。

[図 10]図 10は、蛍光灯の発光パターンを説明するための図である。

[図 11]図 11は、蛍光灯の発光パターンを説明するための図である。

[図 12]図 12は、本発明の第 1の実施形態において求められた画像処理結果の一例を示す図である。

[図 13]図 13は、図 12の結果を利用して得られた、光学特性に基づく領域分割の例である。

[図 14]図 14は、本発明の第 1の実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。

[図 15]図 15は、本発明の第 1の実施形態において求められた画像処理結果の一例を示す図である。

[図 16]図 16は、本発明の第 2の実施形態に係る画像処理方法の処理を示すフローチャートである。

[図 17]図 17は、光源色ベクトルの推定方法を説明するための概念図である。

[図 18]図 18は、本発明の第 2の実施形態における光源色ベクトルの推定処理の流れを示すフローチャートである。

[図 19]図 19は、本発明の第 3の実施形態に係る画像処理方法を実現するための構成を示す図である。

[図 20]図 20は、本発明の第 3の実施形態に係る画像処理方法の処理を示すフローチャートである。

圆 21]図 21は、光源の輝度変化に同期した撮像タイミングで撮像を行う場合を示す概念図である。

[図 22]図 22は、図 21の状況において、観測された輝度値を示す図である。

[図 23]図 23は、光源の輝度変化に対して十分に長い露光時間で撮像を行う場合を示す概念図である。

[図 24]図 24は、図 23の状況において、観測された輝度値を示す図である。

[図 25]図 25は、光源の輝度変化の幅が大きい場合の、被写体における輝度変化の例を示す図である。

[図 26]図 26は、光源の輝度変化の幅が小さい場合の、被写体における輝度変化の例を示す図である。

[図 27]図 27は、撮像間隔を光源の明滅間隔よりも長く設定した例を示す概念図である。

[図 28]図 28は、本発明の第 3の実施形態において求められた画像処理結果の一例を示す図である。

[図 29]図 29は、本発明の第 3の実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。

[図 30]図 30は、光源力ゝらの距離と輝度変化幅との関係とそれに基づいた領域分割を説明するための概念図である。 [図 31]図 31は、光源力ゝらの距離と輝度変化幅との関係とそれに基づいた領域分割を説明するための概念図である。

[図 32]図 32は、本発明の第 4の実施形態に係る画像処理方法の処理を示すフローチャートである。

[図 33]図 33は、輝度が時間的に変化する光源を用いて、撮像をランダムに行った場合を示す概念図である。

[図 34]図 34は、本発明の第 5の実施形態に係る画像処理方法を実現するための構成を示す図である。

[図 35]図 35は、本発明の第 5の実施形態に係る画像処理方法の処理を示すフローチャートである。

[図 36]図 36は、従来の、光源の輝度や位置が変化した画像を撮像するための撮像システムの構成を示す図である。

[図 37]図 37は、従来の、光源の輝度や位置が変化した画像を撮像するための撮像方法を示す図である。

符号の説明

[0019] 11, 11a, l ib 光源

20 撮像装置

30 画像処理装置

40 撮像制御装置

50 光源制御装置

OB 被写体

発明を実施するための最良の形態

[0020] 本発明の第 1態様では、輝度が時間的に変化する光源下において、撮像装置によつて、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体にっ、て複数回撮像を行う撮像ステップと、前記撮像ステップにお、て撮像された複数の画像を用いて画像処理を行う画像処理ステップとを備え、前記画像処理ステップは、前記複数の画像から輝度の時間変化を検出するステップと、検出した輝度の時間変化を用いて、前記複数の画像中における影領域を推定するステップと、推定された前記影領域の情報と、前記複数の画像とを用いて、線形化画像の生成、光学特性に基づく領域分割、前記被写体の形状情報推定、前記被写体の光学情報推定、および光源情報推定のうち少なくともいずれか 1つを行うステップとを備えた画像処理方法を提供する。

[0021] 本発明の第 2態様では、輝度が時間的に変化する光源下において、撮像装置によつて、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体にっ、て複数回撮像を行う撮像ステップと、前記撮像ステップにお、て撮像された複数の画像を用いて、画像処理を行う画像処理ステップとを備え、前記画像処理ステップは、前記光源の色ベクトルを推定するものである画像処理方法を提供する。

[0022] 本発明の第 3態様では、前記光源は、輝度が周期的に変化するものであり、前記撮像条件として、前記光源の輝度変化周期に対して十分に短い露光時間を設定する前記第 1または第 2態様の画像処理方法を提供する。

[0023] 本発明の第 4態様では、前記光源は、蛍光灯、 LEDまたはディスプレイである前記第 1または第 2態様の画像処理方法を提供する。

[0024] 本発明の第 5態様では、前記撮像条件は、露光時間、撮像タイミングおよび撮像周期のうちの少なくともいずれ力 1つである前記第 1または第 2態様の画像処理方法を提供する。

[0025] 本発明の第 6態様では、前記光源の光源情報を取得するステップと、取得された光源情報を基にして前記撮像条件を決定するステップとを備えた前記第 1または第 2態様の画像処理方法を提供する。

[0026] 本発明の第 7態様では、前記光源情報は、前記光源の輝度変化周期、輝度変化幅および位置情報のうちの少なくともいずれか 1つである前記第 6態様の画像処理方法を提供する。

[0027] 本発明の第 8態様では、輝度が時間的に変化する光源下において、撮像装置によつて、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、前記撮像ステップにおいて撮像された複数の画像を用いて、画像処理を行う画像処理ステップとを備え、前記画像処理ステツプは、前記複数の画像における複数の対応点にっ、てそれぞれ輝度の変化幅を求めるステップと、前記各対応点について求めた輝度変化幅を用いて、前記光源との距離に基づいた領域分割を行うステップとを備えた画像処理方法を提供する。

[0028] 本発明の第 9態様では、輝度が時間的に変化する光源下において、撮像装置によつて、同一の被写体について複数回撮像を行う撮像ステップと、前記撮像ステップにおいて撮像された複数の画像における複数の対応点について、それぞれ、輝度値の時間変化を検出する輝度変化検出ステップと、前記各対応点の輝度値の時間変化を用いて、前記複数の画像の光源状況が互いに異なっている力否かを判断し、前記複数の画像のうち、光源状況が異なってヽる画像を光源変動画像として保持する一方、それ以外の画像を破棄する画像判断ステップとを備えた画像処理方法を提供する。

[0029] 本発明の第 10態様では、前記光源の輝度を、光源制御装置によって、時間的に変化するように制御する光源制御ステップを備えた前記第 9態様の画像処理方法を提供する。

[0030] 本発明の第 11態様では、輝度が時間的に変化する光源下において、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体にっ、て複数回撮像を行う撮像装置と、前記撮像装置によって撮像された複数の画像を用いて画像処理を行う画像処理装置とを備えた画像処理システムを提供する。

[0031] 本発明の第 12態様では、コンピュータに画像処理を実行させるプログラムとして、輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体にっヽて複数回撮像を行う撮像ステップと、前記撮像ステップにおいて撮像された複数の画像を用いて、画像処理を行う画像処理ステップとをコンピュータに実行させるものであり、前記画像処理ステツプは、前記複数の画像から輝度の時間変化を検出するステップと、検出した輝度の時間変化を用いて、前記複数の画像中における影領域を推定するステップと、推定された前記影領域の情報と、前記複数の画像とを用いて、線形化画像の生成、光学特性に基づく領域分割、前記被写体の形状情報推定、前記被写体の光学情報推定、および光源情報推定のうち少なくともいずれ力 1つを行うステップとを備えたものを提供する。 [0032] 本発明の第 13態様では、コンピュータに画像処理を実行させるプログラムとして、輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体にっヽて複数回撮像を行う撮像ステップと、前記撮像ステップにおいて撮像された複数の画像を用いて、画像処理を行う画像処理ステップとをコンピュータに実行させるものであり、前記画像処理ステツプは、前記光源の色ベクトルを推定するものであるものを提供する。

[0033] 以下、本発明の実施の形態について、図面を参照しながら説明する。

[0034] (第 1の実施形態）

図 1は本発明の第 1の実施形態に係る画像処理方法を実現するための構成を示す図である。図 1において、被写体 OBは、輝度が時間的に変化する複数の光源 11によって照明されており、カメラなどの撮像装置 20によって、複数回、連続して撮像される。このとき、光源状況が異なる複数の画像が撮像可能となるように、露光時間、撮像タイミング、撮像周期などの撮像条件が設定される。撮像された複数の画像は画像処理装置 30に送られ、画像処理装置 30によって、影領域推定などの画像処理が実行される。撮像装置 20および画像処理装置 30によって、本発明に係る画像処理システムが構成されて、る。

[0035] 図 2は本実施形態に係る画像処理方法の処理を示すフローチャートである。図 1〖こ示した撮像装置 20は、位置が固定した、輝度が時間的に変化する複数の光源 11に照射された被写体 OBを、光源 11の輝度変化周期よりも短い露光時間を撮像条件として、複数回撮像する (ステップ S 11)。このようにして撮像された複数の画像は、光源状況が時系列的に異なっている。画像処理装置 30はまず、撮像された複数の画像から輝度の時間変化を検出し (ステップ S12)、検出した輝度時間変化を用いて、画像中の影領域を推定する (ステップ S13)。さらに、推定した影領域の情報を用いて、画像の線形化を実施し、鏡面反射や影を含まない拡散反射成分のみの線形ィ匕画像を合成する。または、光学特性に基づく領域分割を行う（ステップ S 14)。ステツプ S 11が撮像ステップに対応し、ステップ S12〜S 14が画像処理ステップに対応している。これらの処理を、順に詳しく説明する。

[0036] まず、ステップ S11において、位置が固定した、輝度が時間的に変化する複数の光源 11に照射された被写体 OBを、撮像装置 20によって、光源 11の輝度変化周期よりも短い露光時間を撮像条件として、複数回撮像する。

[0037] 本実施形態において用いられる光源 11として、例えば蛍光灯が挙げられる。蛍光灯は、家庭内の光源として広く用いられている。蛍光灯の発光の原理は次のとおりである。ランプ両端に電圧を印加すると、電極から放出された電子が加速されて水銀と衝突する。衝突によって励起された水銀は紫外線を発生し、その紫外線が蛍光体で可視光に変換される。このような原理から、交流駆動の蛍光灯ではその交流周波数に応じて発光と減光とが繰り返され、この結果、輝度に時間変化が生じる。

[0038] 交流周波数は、東日本で 50Hz、西日本で 60Hzであるため、蛍光灯の明滅周波数はそれぞれ 100Hz、 120Hzとなり、人間の目では通常は観測されない。

[0039] しかし、露光時間を蛍光灯の明滅周期よりも短くし、撮像タイミング (撮像周期)を明滅周波数とずらすように設定すると、たとえ対象物が静止し、かつ、カメラ位置が固定であっても、輝度が時間的に変化する画像が撮像される。このような輝度変化はフリッカーとして知られており、従来力も画像処理においては、大きな問題と考えられていた (例えば、特開平 2— 135986号を参照)。これに対して本実施形態では、画像処理の障害と考えられているフリッカーを逆に利用することによって、従来、取得が非常に困難であった、照明の輝度や位置などの光源状況が異なるいわゆる光源変動画像を、容易に撮像できるようにしている。

[0040] 図 3はフリッカーの発生を説明するためのグラフであり、蛍光灯照明下での被写体のある一点の輝度変ィ匕 A1を示している。縦軸は輝度、横軸は時間である。また、 A2 は撮像タイミング（時間 tal〜tal l)、 A3は露光時間である。このとき、図 4のように、観測される輝度値 A4は時間によって変化する。すなわち、実際に撮像される輝度値 A4は、各撮像時刻 tal〜tal lでの露光時間 A3における輝度変化 A1の積分値として求められる。

[0041] そこで、露光時間を光源の輝度変化周期に対して十分短い時間に設定して撮像を行うことによって、輝度が時間的に変化する画像を撮影することができる。通常の蛍光灯は、交流周波数の 2倍の周期で輝度変動が生じる。すなわち、蛍光灯の明滅周波数は、東日本で 100Hz、西日本で 120Hzであるから、露光時間を、 lZlOOsecまたは lZl20secに対して十分に短い時間、例えば 2msecに設定すればよい。また、露光時間はカメラの最速シャッタースピード、例えば lmsecに設定しても力まわな、。

[0042] また図 5に示すように、撮像タイミング A5は、光源の輝度変ィ匕 A1の位相と一致しないように、例えば、ランダムに設定するのが好ましい（時間 tbl〜tbl l)。これは例えば、乱数発生を利用したプログラムなどにより設定すればよい。この結果、輝度値 A6 が得られる。

[0043] なおここでは、光源 11として蛍光灯を例にとって説明した力もちろん、光源 11は蛍光灯に限られるものではない。例えば、 LEDやディスプレイを光源 11として利用してもかまわない。

[0044] LED照明は、その明るさや高寿命性から、近年、急速に広がってきている。家庭内でも、現在広く用いられている蛍光灯に置き換わる可能性を秘めており、最近では「L EDベースダウンライト」などの商品も販売されている。さらに、 LED光源を人間の目ではわ力もな、ほどの速度で点滅させてデータを送信する、 V、わゆる可視光通信の研究も始まっている (例えば、「春山真一郎， "可視光通信"，電子情報通信学会論文誌 A, vol. J86-A, No. 12, pp. 1284—1291, 2003」を参照）。このため、撮像装置 20の露光時間を LEDの点滅周期よりも短くすることによって、輝度が時間的に変化する、いわゆる光源変動画像を撮像することができる。すなわち、本実施形態の画像処理方法は、将来、現在主流の蛍光灯照明が LED照明に置き換わった場合においても、同様に実現できる。

[0045] また、最近では、デジタルビデオカメラなどにおいて、通常は画像出力用として用いられる液晶モニターをライトパネルとして利用する、「0Luxカラーナイトビュー」と呼ばれる技術が搭載されている。このようなビデオカメラを利用する場合にも、上述の処理は大変有効である。

[0046] また、ノソコンに接続された液晶ディスプレイやブラウン管ディスプレイは、垂直同期周波数 60Hz程度で画面の書き換えが行なわれている。言い換えると、垂直同期周波数に対応する周期で画面の輝度が変化している。このため、これらのディスプレィを光源 11として利用した場合でも、同様にして、光源状況が異なる複数の画像を撮像することができる。 [0047] また、プラズマディスプレイは、輝度が異なる複数のサブフィールド画像の組合せによって階調を表示しているため（例えば、「徳永勉，中村英人，鈴木雅博，三枝信彦， "AC型 PDPの新駆動法の開発"， PIONEER R&D, vol. 11, No. 1, pp. 17— 23, 2003」を参照）、本来、各画素は ON— OFFの 2値変動を行っている。しかし、各画素は非常に小さいため、プラズマディスプレイは、画素が集まった光源として扱える。このため、静止画を表示している場合であっても、露光タイミングを変化させることによって、輝度が時間的に変化する。したがって、プラズマディスプレイを光源 11として利用した場合でも、同様にして、光源状況が異なる複数の画像を撮像することができる。

[0048] 図 2に戻り、ステップ S12において、ステップ S11で撮像装置 20によって撮像された、光源状況が異なる複数の画像から、各対応点における輝度の時間変化を検出する。ここで、撮像装置 20の位置が固定されている場合、画像処理装置 30は、撮像された複数の画像において、画素ごとに輝度変化を検出すればよい。

[0049] なお、本実施形態では、撮像装置 20の位置が固定されて、る必要はな、。例えば、カメラが移動する場合、画像上の特徴点を追跡し、複数の画像間での対応点を特定し、この対応点での輝度変化を検出すればよい。このような特徴点抽出や特徴点追跡の手法としては、例えば、 Harrisオペレータや KLT (Kanade- Lucas- Tomasi) Fe ature Tracker (「jianbo Sni and Carlo l omasi. Good f eatures to frack. IEEbし onfer ence on Computer Vision and Pattern Recognition, pp.593- 600, 1994」を参照)などが知られている。

[0050] また、ステップ S 12において、画像処理装置 30が検出する対象は、必ずしも、画像上の輝度変化でなくても力まわない。例えば、画像上の各対応点の RGB値といった色ベクトル情報の変化を検出するようにしても力まわな、。

[0051] そしてステップ S 13にお、て、ステップ S 12で検出した輝度の時間変化情報を用ヽて、画像内の影領域の推定を行う。

[0052] ここで、光源が単一の点光源であり、かつ外光が存在しない場合、影領域の輝度値は 0となる。このような場合、輝度値を閾値として領域分割することにより、影領域を推定することができる。しかし、光源が複数存在する場合、ある光源からは光が届かず影になるが、別の光源力もは光が届くため輝度値が 0にならないという領域が、数多く存在する。このような影領域に関しては、上述したような単に閾値を利用する手法では、推定が非常に困難である。

[0053] 図 6は光源が複数存在する場合における影領域を示す図である。図 6において、被写体 OBに対して、 2個の光源 Al la、光源 Bl lbが光を照射している。撮像装置 20 は被写体 OBをその上方力撮像している。まず、影領域 Aでは、光源 Al iaからの光が届かないために影が生じている。仮に、光源 Al iaのみが被写体 OBを照らしている場合には、影領域 Aの輝度値は 0となるが、実際には光源 Bl lbからの光が届いている。また、影領域 Bでは、仮に、光源 Bl lbのみが被写体 OBを照らしている場合、輝度値は 0になる力実際には光源 Al iaからの光が届いている。このように、 2個の光源 Al la、光源 Bl lbが点灯している場合、影領域 A、 Bともに輝度値は 0にならない。すなわち、影領域の推定が困難になる。

[0054] ここで、光源 Al la、光源 B l ibは LED光源であり、互いに異なる周波数で点滅しているものと仮定する。光源 Al la、光源 Bl lbの点滅の角周波数をそれぞれ ω 、

A

ω 、 I

Bとすると、その輝度 I

A Bはそれぞれ次の式で表される。

[数 1]

I_A = E_A cosfi)_At) (式 l )

ここで、 E 、Eは光源 Al ia、光源 Bl lbにおける輝度の振幅の大きさ、 tは時間、 Θ

A B

は光源 Al la、光源 Bl lbの点滅の位相差を示している。ここで、撮影環境内では

B

光源 Al la、光源 Bl lb以外に光源は存在しないと仮定すると、撮影画像上の画素 p での輝度値 Iは次のように時間的に変化する。

P

[数 2]

I_P = E cos^ )+ E_pB cos(6 + Θ_Β ) (式 2 ) ここで、 E 、E はそれぞれ、画素 pにおける光源 Al ia、光源 Bl lbの寄与度を表

A B

現した定数であり、画素 pの法線方向、各光源からの光の入射角、各光源から被写体 OBまでの距離、 E 、 Eおよび反射率などに依存する。 [0055] さらに、ステップ S12において検出した各画素における輝度の時系列データに対して FFT(Fast Fourier Transform)を行うと、（式 2)から、光源 Al iaと光源 Bl lbの輝度変化に対応した周波数成分が求まる。図 6において、領域 C, D, Eのように 2個の光源 Al la、光源 Bl lbの両方力光が届いている領域では、この 2つの周波数成分がいずれも検出される。一方、光源 Al iaによって影が生じている影領域 Aでは、（式 2)において、

E =0

PA

となるため、一方の周波数成分しか検出されない。同様に、光源 Bl lbによって影が生じている影領域 Bでは、（式 2)において、

E =0

PB

となるため、やはり一方の周波数成分しか検出されない。すなわち、画像の各点ごとに周波数解析を行い、検出されるスペクトルの個数をカウントし、その個数が少ない領域を、画像上の影領域として推定することができる。

[0056] もちろん、本実施形態の影領域推定の手法は、輝度が連続的に変化する光源にしか適用できないものではない。例えば、 ONと OFFを繰り返すような不連続的な輝度変化が生じる光源であっても、適用することができる。

[0057] 図 6において、光源 Al la、光源 Bl lbが ONと OFFを繰り返すものと仮定する。この場合、光源 Al la、光源 Bl lbが両方とも点灯していた後、光源 Al iaのみが消灯されたとする。このとき、光源 Al iaによって影が生じている影領域 Aでは、光源 Al l aからの光は元々届ヽてヽな、ため、光源 Al laが消灯されても輝度値は変化しなヽ。一方、影領域 Bおよび領域 C, D, Eは光源 Al iaの消灯に伴い、入射光が減るため、輝度値が下がる。また、光源 Bl lbのみが消灯された場合は、光源 Bによって影が生じている影領域 Bの輝度値は変化しないが、影領域 Aおよび領域 C, D, Eでは輝度値が下がる。さら〖こ、光源 Al iaが点灯された場合も、影領域 Aの輝度値は変化しないが、影領域 Bおよび領域 C, D, Eは輝度値が上がる。したがって、画像の輝度変化から、影領域を推定することができる。

[0058] なお、ここでは、光源が 2個の場合について説明した力もちろん、光源の個数は 3 個以上であってもかまわない。また、上述のように、各光源の周波数を利用するため、光源が 2つ以上同時に点灯している状態で撮像を行うようにしても力まわない。このとき、同じタイミングで明滅を繰り返す光源の、輝度変化の周波数が同じであってもかまわない。これは、家庭内において特に重要である。家庭内では、同じ型式の照明が複数個取り付けられる場合が多々ある。複数本の蛍光灯が発光する照明である場合、後述するように、これらの光源は、輝度変化の位相が異なる光源が交互に明滅を繰り返す照明と考えることができる。このため、同じ周波数で明滅を繰り返す光源に対しても同様の処理が行えるということは、現在主流である蛍光灯照明において、本実施形態を設置コストなしで適用できるということであり、非常に利用価値が高い。

[0059] そしてステップ S14において、画像処理装置 30は、ステップ S 13で求められた影領域の推定結果を用いて、例えば画像の線形ィ匕を行う。ここで、画像の線形化について説明する。

[0060] 被写体の位置や姿勢の認識、および動きの検出を行うために、カメラを用いる方法が広く用いられている。これは、カメラで撮像された画像に対し、例えばパターンマツチングゃオプティカルフロー検出、特徴点抽出と！/ヽつた画像処理方法を適用することによって実現される。このような画像処理技術は、ノイズのない画像に対しては有効であるが、家庭のような一般環境で撮像された画像に対しては十分な信頼性'精度が得られないといった問題があった (例えば、「阪野貴彦、池内克史， "移動カメラによる時空間画像を用いた車両力のスぺキユラ除去"，情報処理学会研究報告 C VIM, 2003 -CVIM- 141, pp. 17— 23, 2003」を参照）。これは、通常の画像処理が拡散反射のみの物体を仮定しているのに対して、実際には、鏡面反射や影の影響により画像データの色情報やエッジ情報力 Sカメラ位置や光源位置によって大きく変化してしまうことが、主な原因である。

[0061] このため、画像処理を行う前処理として、鏡面反射や影領域を補正することが行われる。画像の線形化とは、光源の位置を変更しながら撮像した複数枚の画像を利用して、鏡面反射や影の存在しない、拡散反射成分のみの線形化画像を合成する画像処理手法である (例えば非特許文献 2を参照)。さらに、光学特性に基づいた領域分割を行う。この手法について詳述する。

[0062] 図 7は光学現象である拡散反射、鏡面反射および影の関係を示す図である。ここで、いわゆる 2色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。また、 Lambertianモデルによれば、拡散反射成分の輝度値 I

dは次の式で表現される。

[数 3]

I_d = n - s (式 3 ) ここで、 nは物体表面の法線方向ベクトル Nと拡散反射率 (albedo)との積であり、 sは光源方向単位ベクトル Lと光源照度との積を表す (図 8)。

[0063] また図 7に示すように、影は、物体の法線が光源方向を向いていないために生じる a ttached shadowと、他の物体により光が遮蔽されることによって生じる cast shadowとの 2種類に分けられる。環境光や相互反射の影響がない場合、両者とも輝度は 0になる。しかし、（式 3)では、 attached shadowは負の値となり、 cast shadowは正の値となる。

[0064] ここで、 Shashuaは、平行光源、完全拡散反射面を仮定することによって、光源方向の異なる 3枚の画像の線形結合によって任意の光源方向の画像が表現できることを不した (「Shashua A., Geometry and Photometry in 3D Visual Recognition , P.D. th esis, Dept. Brain and Cognitive Science, MIT, 1992」）。すなわち、光源方向が異なる 3枚の画像をベクトル表現したものを I , I , Iとすると、任意の方向の画像 Iは次式

1 2 3 k のように線形結合によって表現できる。

画

I K _{+ C} I₃ (式 4 ) ここで、

[数 4A] ck = k ^ci^c \

を画像 Iに対する線形化係数組と呼ぶ。このように、線形和で作成された画像を線形 k

化画像と呼ぶ。この線形化画像は、 Lambertianモデルを満たす、拡散反射成分のみの合成画像である。しかし、実画像は影や光源反射を含むため、（式 4)を満たさない。そこで、非特許文献 2では、光源方向の異なる複数枚の画像を撮像し、 RANSAC (「M. A. Fischler and R. C. Bolles, "Random Sample Consensus: A Paradigm for Mo del Fitting with Applications to Image Analysis and Automated Cartography", Comm unications of the ACM, Volume 24, Issue 6, pp. 381- 395」を参照）を利用することで、（式 4)を満たす拡散反射成分のみの 3枚の画像を作成する。こうして作成した拡散反射成分のみの画像を、基底画像と呼ぶ。基底画像を Shashuaの方法に適用することによって、撮像画像の光源状況に対応する線形ィ匕画像を作成することができる。つまり、線形化画像は次式で示される。

[数 5] l_k = c^I, + c_kl₂ + c_kI₃ (式 5 ) ただし、 I 4ま入力画像 kにおける線形ィ匕画像、 I B, I B, I Bはそれぞれ上述の方法で k 1 2 3

作成した 3枚の基底画像である。このように生成された線形化画像は、鏡面反射が生じていない、理想状態での画像である。このため、この線形化画像を用いて画像処理を行うことによって、鏡面反射や影の影響を受けない画像処理を実現することができる。

また、ステップ S 14において、上述のようにして求まった線形ィ匕画像を用いて、光学特性に基づく領域分割を行っても力まわない。ここで、入力画像 kにおける画素の輝度値を i 、これに対応する線形化画像の輝度値を i しとすると、拡散反射、鏡面 k(p) k(p)

反射、 cast shadow, attached shadowは次の関係式に従って、図 9のように分類することができる。 T, Tsは閾値である。

[数 6]

(式 6 )

ここで、（式 6)は単一光源を仮定しているため、 cast shadow領域と attached shadow 領域を、閾値 Tsを利用して、影として分類している。しかし、一般生活空間のような光源が複数存在する環境では、このような閾値を利用した影領域の分類は非常に難しい。一方、本実施形態の画像処理方法では、上述の手法により、影領域の推定がすでに行われているため、拡散反射、鏡面反射、 cast shadow, attached shadowは次の関係式に従って分類できる。

[数 7]

ここで、

[数 7A] (_P) e Shdw は、影領域推定ステップ S I 3によって、 k枚目の画像の画素 pが影領域と推定されたことを示している。このように、本実施形態では、従来の画像の線形化では困難であつた一般生活環境においても、光学特性に基づく画像処理が可能となる。

[0066] また、上述したように、従来では、光源状況が異なる複数の画像 (光源変動画像)を得るためには、図 36のような非常に大が力りな撮像システムを利用したり、または図 3 7のような複雑な操作を行ったりする必要があった。これに対して本実施形態では、輝度変化がある光源を利用して、きわめて簡易な構成によって、光源変動画像を取得することができる。ここでは、 3本の蛍光灯力もなる照明を利用する場合を例にとつて、この点を説明する。

[0067] いま、図 10 (a)に模式的に示した 3本の蛍光灯 41 , 42, 43からなる照明によって、被写体を照らすものとする。複数本の蛍光灯を内蔵する照明の場合、蛍光灯のちらつきを抑えるために、発光タイミングの位相を蛍光灯ごとにずらしているものが多い。図 10 (b)は図 10 (a)の照明における各蛍光灯 41〜43の輝度変化を模式的に示すグラフである。図 10 (b)において、 B l , B2, B3はそれぞれ図 10 (a)における蛍光灯 41 , 42, 43の輝度変ィ匕を示している。

[0068] 図 10 (b)から、外側の 2本の蛍光灯 41 , 43は同一位相で明滅を繰り返しているのに対して、中央の蛍光灯 42は位相反転して明滅を繰り返していることが分かる。このことから、図 10 (a)の照明は、擬似的に、図 l l (a)、（b)に示すような、発光位置が異なり、かつ、交互に明滅を繰り返す 2種類の光源と考えることができる。このため、上述した手法によって、光源状況が異なる複数の画像を簡単に撮像することができる。したがって、複数本の蛍光灯を内蔵する照明の場合、画像の線形ィ匕を低コストで実現することができる。

[0069] 図 12は本実施形態において求められた画像処理結果の一例を示す図である。同図中、（a)は図 6の構成において被写体 OBを撮影した入力画像、（b)は影領域内の画素 A, Bおよび拡散反射領域内の画素 Pにおける輝度時間変化を示すグラフである。この輝度時間変化に対して FFT (Fast Fourier Transform)などの周波数解析を行うと、画素 A, Bの輝度時間変化はそれぞれ単一の周波数し力含まないが、画素 P の輝度時間変化は複数の周波数が重なり合つていることが分かる。このことから、画素 A, Bは影領域である力画素 Pは影領域ではないと推定される。この処理を全ての画素に対して行うと、図 12 (c)のような影領域が推定される。そして、この推定結果と（式 7)の関係式を利用することによって、図 12 (d)に示すような線形化画像を合成することができる。また、図 12の結果を利用して、図 13に示すような光学特性に基づく領域分割を行うことができる。

[0070] さらに、本実施形態に係る画像処理方法は、画像処理装置 30にお、て、被写体 O Bの形状推定を行う場合にも効果的である。これを、 Photometric Stereoを利用する手法を例にとって説明する。

[0071] Photometric Stereoは、異なる光源方向力ゝら撮像された 3枚以上の光源変動画像を用いて、被写体の法線方向と反射率を推定する手法である。例えば、「H. Hayakawa, Photometric Stereo under a light source witn arbitrary motion , Journal of the Opt ical Society of America A, vol.11, pp.3079- 89, 1994」では、画像上で 6点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報は未知であっても、以下のパラメータを推定する手法が説明されている。

•被写体の形状情報と光学情報:画像上の各点の法線方向と反射率 •光源情報:光源方向と照度

[0072] この手法は、一般的に拡散反射成分のみの被写体にし力利用できず、影や鏡面反射成分が存在する被写体では正確な推定値が求まらな、ことが知られて、る。このため、上述したような画像の線形化処理を前処理として行い、影や鏡面反射成分を含まない拡散反射成分のみの画像である線形化画像を合成した後、 Photometric St ereoを行うことによって、正確な推定値が求まるものと考えられる。ここでは、画像の線形化処理と Photometric Stereoとを融合した処理を行い、上のパラメータを推定する手法を説明する。

[0073] 図 14は本実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。図 14において、図 2のフローチャートと共通のステップについては、同一の符号を付してその詳細な説明を省略する。ステップ S 12〜S 15が画像処理ステップに対応している。

[0074] まず、上述した手法によって、光源変動画像を取得し、線形化画像を合成する (ステップ311〜314)。そして、合成した線形化画像を用いて、被写体と光源の情報を取得する (ステップ S 15)。この処理を詳述する。

[0075] 光源変動画像から合成した線形化画像を、次式のように輝度行列 Iで表現する。

[数 8]

¹ id) · · · I 0)

(式 8 )

Z Hp) · · · I f(p) ただし、 i¹ は m枚目の入力画像に対する線形ィ匕画像の画素 nの輝度値を示して ' m (n)

る。また、画像のサイズは p画素、撮像した画像枚数は f枚である。ここで、画像の線形化処理を考える。（式 5)、（式 8)より、以下の関係が求まる。

[数 9] I = B C (式 9 )

ところで、（式 3)より、（式 8)は以下のように表現される。

[数 10]

I = R N M T = S L (式 1 0 )

ここで、 R, N, M, T, S, Lはそれぞれ表面反射行列、表面法線行列、光源方向行列、光源輝度行列、表面行列、光源行列を示している。また、 r、 nは表面反射率、表面法線を、 t、 mは光源輝度、光源方向単位ベクトルをそれぞれ示している。

[0076] (式 9)、（式 10)より、以下の関係が成り立つ。

[数 11]

S = B . A (式 1 1 )

[数 12]

L = A ¹ C (式 1 2 ) ここで、 Aは 3x3行列である。つまり、行列 Aを推定することにより、 Photometric Stere oと同様の処理が行なえる。以下、この行列 Aを推定することを考える。

[0077] 行列 Sの各要素は（式 10)より、画面上の各点における表面反射率と表面法線の積を表している。つまり、行列 Sの各要素の自乗は画面上の各点における表面反射率の自乗を示している。

[0078] ここで、画素 k (k= l, ·ρ' )の反射率が等しいものとすると、その反射率を相対的に 1と考えることができ、次の関係が成り立つ。

[数 13]

(A^rb_k )²

〜_P ' (式 1 3 ) ここで、

[数 14]

AA^r (式 1 4 ) とすると、

[数 15] b_k ^rDb_k = 1 (式 1 5 ) となり、（式 13)は (式 15)の行列 Dを推定すればよいことになる。

[0079] ここで、（式 14)より行列 Dが対称行列であることに着目すると、（式 15)を一意に解くために必要な拘束式の数、すなわち反射率が等しいとわ力つている点の数 P'は最低 6点でよいことが分かる。また、（式 14)は特異値分解を行うことによって、簡単に解くことができる。

[0080] 以上のことから、反射率が等し、6点以上の画素が既知な被写体にぉ、て、輝度変化が多値である光源、例えば蛍光灯を利用して複数枚の画像を撮像し、その複数の画像を利用して画像の線形ィ匕処理を行うことによって、（式 10)の分解を行い、結果として以下の情報を得ることができる。

•光学特性に基づく領域分割（拡散反射、鏡面反射、 Attached Shadow, Cast Shad ow)

•被写体の形状情報と光学情報:画像上の各点の法線方向と反射率

•光源情報:光源方向と照度

[0081] 図 15は本実施形態において求められる画像処理結果の一例を示す図である。同図中、（a) , (b) , (c)は図 12と共通であり、ここでは詳細な説明を省略する。そして、図 15 (c)に示すような影領域の推定結果と上述の手法を利用することによって、図 1 5 (d)に示すように被写体 OBの形状を推定することができる。もちろん、被写体の反射率や光源方向と照度等も推定できるが、図示は省略する。

[0082] 以上のように本実施形態によると、一般生活環境においても、輝度が時間的に変化する光源下におヽて、光源状況が異なる複数の画像を容易に得ることができる。そして、この画像を用いて、影領域を推定し、線形化画像の生成や光学特性に基づく領域分割、被写体の形状推定、光源情報の取得などを行うことができる。

[0083] (第 2の実施形態）

図 16は本発明の第 2の実施形態に係る画像処理方法の処理を示すフローチャートである。図 16において、図 2に示す第 1の実施形態の画像処理方法と共通のステツプについては、同一の符号を付しており、ここではその詳細な説明は省略する。ステップ S12, S21が画像処理ステップに対応している。また、本実施形態における構成は図 1に示す第 1の実施形態の構成と同様であり、説明は省略する。

[0084] 本実施形態では、影領域推定ステップ S 13を行わず、またステップ S 14に代えて、光源色ベクトルの推定を行う（ステップ S21)。ここでは、 2色性反射モデルを利用して、光源色ベクトルの推定を行う例を説明する。

[0085] 近年のコンピュータビジョン研究では、形状と、つた幾何的な特徴のみではなぐ光の物理法則を考慮した画像処理の研究が進んでいる。その中で、画像を撮像した際の光源色ベクトルの推定が重要である。これは、例えば、デジタルアーカイブなどにおいて、様々な光源環境での物体の見えの変化を表示する際などに有効である。

[0086] ここでは、撮像装置 20として RGBカラーカメラを利用し、蛍光灯の明滅から、光源色ベクトルを推定する方法を詳述する。

[0087] 2色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。そのため、画像上の画素 pの色ベクトル Sは、拡散反射成分

P

色ベクトル S^dと鏡面反射成分色ベクトル S^sとの和として (式 16)で表される。

P P

[数 16]

S_p = S_p ^d + S; (式 1 6 ) ところで、鏡面反射は入射光の物体表面での反射であると考えられるため、鏡面反射成分色ベクトル S^sは光源色ベクトル SLと同一またはこれが減衰したものとみなせ

P

る。また、拡散反射成分色ベクトル s^dは内部反射により生じた色ベクトルであるため

P

、物体固有の色ベクトル SP^dに依存するものである。そのため、（式 16)は次のように

P

書き換免られる。

[数 17]

S_p = m_s {Θ, (p)SL + m_d {0)SP_p ^d (式 1 7 ) ここで、 m ( 0 , φ )、 m ( θ )はそれぞれ鏡面反射成分、拡散反射成分の重み、また

S d

、 θ、 φは図 8に示したとおり、それぞれ、被写体の法線方向ベクトル Nと光源方向単位ベクトル Lとの角度、被写体の法線方向ベクトル Nと撮像方向単位ベクトル Vとの角度を示している。

[0088] ここで、図 10に示したような複数本の蛍光灯を内蔵する照明を利用することを考える。上述のように、このような光源を利用すると、光源状況が異なる画像を簡単に撮像することができる。 [0089] さらに、蛍光灯の場合、その光源色ベクトルはすべて同一であると考えられる。このため、この照明で照らされた画素 pの時刻 tにおける色ベクトル S (t)は、以下の式で

P

示される。

[数 18]

S_p (t) = S_p ^l (t) + S_p ² (t) + Sl(t)

= (m„ (θ, , φ, ΞΙ +

= (m_sl (θ_λ ,φ,ί) + m_sl{e₂ ,φ,ί) + m_s2 (θ₃ ,φ, t))SL + (m,,, (6Ί ,f ) + m_dl {θ₂ ,ή + (6>₃ , t))SP_p ^d (式 1 8 ) ここで、 S¹ (t)、 S² (t)、 S³ (t)はそれぞれの光源 (蛍光灯 41, 42, 43)による画素 p

P P P

の時刻 tにおける色ベクトル、 m ( Θ， φ， t)、 m ( θ， φ， t)は i番目の光源における si di

、それぞれ鏡面反射成分と拡散反射成分の混合率を示す重みを示している。観測値が時刻 tの関数になっている理由は、上述のように、光源の明滅のために、光源の輝度が時刻 tによって変化するためである。ただし、この時間変動では、その色べタトルのスカラのみが変化する。

[0090] ここで、 m ( θ , φ , t)、 m ( θ , φ , t)はスカラ量であることに着目すると、（式 18) si di

で表現された色ベクトル S (t)は、光源色ベクトル SLと物体固有色ベクトル SP^dとが

P P

張る平面上に必ず存在することがわかる。

[0091] 一方、画像上の別の点 p'で観測される色ベクトル S (t)も同様に、光源色ベクトル

P

SLと物体固有色ベクトル SP^d の張る平面上に必ず存在する。

P

[0092] 図 17はこの関係を示した図である。図 17では、撮像装置 20として RGBカラーカメラを利用しているため、色ベクトルとして各点の RGB値を利用している。図 17において、 Gl, G2はそれぞれ、点 p、点 p'における輝度が時間的に変化したときの RGB空間上での色ベクトル集合を示す平面である。ここで、この両平面 Gl, G2が交わる直線 VIを考えると、これが両平面 Gl, G2に共通の光源色ベクトル SLに該当する。

[0093] このように、明滅を繰り返している光源を利用して、光源色ベクトルを推定することができる。以下、その具体的な処理の例を示す。

[0094] 図 18は光源色ベクトルを推定する処理の流れの一例を示すフローチャートである。

図 18において、ステップ S12Aが図 16のステップ S12に対応し、ステップ S211〜S 216力図 16のステップ S21に対応して!/ヽる。

[0095] まず、撮像装置 20が、光源状況が異なる複数の画像 (光源変動画像)を撮像する（ステップ Sl l)。撮像された複数の画像は画像処理装置 30に与えられる。画像処理装置 30は、まず、画素ごとに RGB値の変動を検出することによって、輝度の時間変化を検出する (ステップ S12A)。次に、画像上のある画素を選択し (ステップ S211)、その画素に対応するすべての撮像時刻での RGB値を RGB空間にプロットする（ステップ S212)。こうしてプロットされたサンプリング点集合に対して主成分分析を行い、第 1および第 2主成分を抽出する (ステップ S213)。（式 18)から、こうして求められた二つの主成分が張る平面は、ノイズが存在しない場合は、光源色ベクトル SLと物体固有色ベクトル SP^dとが張る平面と等しいことが分かる。ここで、例えば 2個以上の画

P

素の主成分分析処理がまだ終了していないときは (ステップ S214で No)、画像上の別の画素を選択し (ステップ S215)、選択した画素について主成分分析を行う。一方、 2個以上の画素について主成分分析が終了しているときは (ステップ S214で Yes) 、それぞれの画素についての 2つの主成分が張る空間の交線を求め、これを光源色ベクトル (光源の RGB値）として推定する（ステップ S 216)。

[0096] なおここでは、撮像装置 20として RGBカラーカメラを利用した場合を説明した力もちろん、撮像装置 20はこれに限られるものではなぐ例えば、さらに次元数の高い分光輝度計などを用いても力まわな、。

[0097] 以上のように本実施形態によると、蛍光灯のような位置が固定した、輝度が時間的に変化する複数の光源であり、かつ光源色ベクトルが等しい光源を利用し、例えばその輝度変化周期に対して十分に短い露光時間で複数の画像を撮像し、輝度変化を検出することによって、複雑な設備を要することなぐ光源色ベクトルを容易に推定することがでさる。

[0098] (第 3の実施形態）

図 19は本発明の第 3の実施形態に係る画像処理方法を実現するための構成を示す図である。図 19において、図 1と共通の構成要素については、図 1と同一の符号を付しており、ここでは詳細な説明を省略する。図 1の構成と異なるのは、画像処理装置 30によって決定された撮像条件に従って、撮像装置 20の撮像条件を制御する撮像制御装置 40が設けられて、る点である。

[0099] 図 20は本実施形態に係る画像処理方法の処理を示すフローチャートである。本実施形態では、実際に撮像を行う (ステップ S35)前に、光源情報を検出し、この光源情報を利用して、最適な撮像条件を設定する (ステップ S31〜S34)。ステップ 35が撮像ステップに対応し、ステップ S36〜S38が画像処理ステップに対応している。ここでは、画像処理として、移動物体の検出を行う例について説明する。

[0100] まず、撮像装置 20は、光源 11の輝度変化周期よりも短い露光時間で、複数枚の画像を撮像する (ステップ S31)。画像処理装置 30は、撮像された画像から、撮像環境内の光源情報を検出する (ステップ S32)。具体的には例えば、輝度が時間的に変化している光源 11の輝度変化周期を検出する。ここでは、光源 11として蛍光灯を利用する場合を例にとって説明する。

[0101] 通常の蛍光灯は、交流周波数の 2倍の周期で輝度変動が生じる。このため、観測される輝度は、図 4の輝度値 A4のように時間によって変化する。そこで、得られた輝度値に対してサイン関数などをフィッティング処理することによって、光源の輝度変化周波数を求めることができる。このようなフィッティング処理は、 Levenberg- Marquardt法などの最適化法を利用することで実現できる。

[0102] もちろん、カメラで光源自体を撮像し、その輝度変化カゝら光源情報を検出してもかまわない。また、別途、通信手段を用いて、光源情報を画像処理装置 30に通知するようにしても力まわない。このような処理は、上述の可視光通信を利用すると効果的である。すなわち、 LED光源を利用する場合、光源は周期的に輝度を時間変調することによって光源情報を通信すればよい。

[0103] そして、ステップ S33において、光源状況が異なる複数の画像が撮像可能となるように、撮像装置 20の撮像条件、例えば、露光時間や撮像タイミング、撮像周期を設定する。

[0104] ここで、露光時間や撮像タイミングと、観測される輝度値との関係にっ、て、図面を用いて説明する。第 1の実施形態で説明したように、蛍光灯照明下において、光源の輝度変化に対して十分短い露光時間で撮像を繰り返す (図 3)と、その輝度値は図 4 のように時間的に変化する。 [0105] 一方、図 21のように、光源の輝度変化 C1に同期した撮像タイミング C2で (露光時間 C3)撮像を行った場合、図 22に示すような輝度値 C4が観測される。図 21および図 22から、光源の輝度変化 C1に同期した撮像タイミング C2で撮像を行った場合、観測される輝度値 C4は時間的に変化しないことが分力る。

[0106] また、図 23のように、光源の輝度変化 C1に対して十分に長い露光時間 C5で (撮像タイミング C6)撮像を行った場合、図 24に示すような輝度値 C7が観測される。図 23 および図 24から、光源の輝度変化 C1に対して露光時間 C5が十分に長い場合、輝度変化 C1に対して積分効果力 Sスムージング処理として働き、観測される輝度値 C7 がほとんど変化しないことが分かる。

[0107] 以上のことから分かるように、輝度が時間的に変化する力否かは、露光時間や撮像タイミングの設定によって、決まる。

[0108] そこで、ステップ S33では、ステップ S32で検出された光源の輝度変化周期と異なる撮像周期と、光源の輝度変化周期に対して十分に短い露光時間とを設定する。すなわち、撮像周期 Tsは光源の輝度変化周期 T1に対して、次の関係式を満たすように設定する。

[数 19]

77

Ts≠— (式 1 9 )

a ただし、 aは任意の正の整数である。これは、例えば、次のように設定すればよい。

[数 20] τι

Ts = b— (式 2 0 ) ただし、 a≠c ' b

a a, bは任意の正の整数、 cは全ての正の整数である。

[0109] また、ステップ S33では、露光時間や撮像タイミング等の撮像条件を決定するために、光源の輝度や、被写体と光源との距離、光源と撮像装置との距離などを利用しても力まわない。この点について、輝度変化の幅を考慮することを説明する。

[0110] 輝度が時間的に変化する画像を撮像する場合、その輝度変化の幅が最適になるように、撮像条件を選択することが重要である。 [0111] 図 25および図 26は蛍光灯照明下での被写体のある一点における輝度変化の例を示すグラフである。ここで、図 25は光源の輝度変化 D1の幅が十分に大きい場合、図 26は光源の輝度変化 D5の幅が十分に小さい場合である。両図において、縦軸の輝度値 El, E2、および横軸の時間 tdl〜tdl l (撮像タイミング D2)はそれぞれ同じ輝度値、同じ時刻を示している。 D3は露光時間、黒丸 D4, D6は観測された輝度値である。

[0112] 図 25と図 26とを対比すると分力るように、いずれも同じ撮像タイミング D2で撮像しているにも関わらず、光源の輝度変化 Dl, D5の幅が異なるため、観測される輝度値 D4, D6は大きく異なる。図 25の場合、輝度変化 D1の幅が十分に広いため、輝度値が十分に変化した複数の画像が撮像できる。一方、図 26の場合では、輝度変化 D5 の幅が小さいため、複数の画像における輝度の違いはさほど大きくない。この場合、撮像間隔を倍にし、例えば、時間 tdl, td3, td5, td7, td9、 tdl lのみで撮像するだけでも十分であると、える。

[0113] 通常、光源力離れれば離れるほど光量は低下するため、被写体の輝度変化幅は光源と被写体との距離に依存する。このため、被写体が光源カゝら十分に近い場合は光量が十分であると判断し、撮像間隔を短くし、また、被写体が光源力十分遠い場合は光量が少ないと判断し、撮像間隔を長くするようにしても力まわない。

[0114] もちろん、このように設定する撮像条件は撮像間隔に限られるものではない。例えば、露光時間であっても同様に設定できる。光量が少ない場合、画像は暗電流などのノイズに埋もれてしまい、 SN比が劣化する。しかし、露光時間を伸ばすことができれば、 SN比が改善することが知られている。このため、被写体が光源から十分に近い場合は光量が十分であると判断し、露光時間を短くし、また、被写体が光源から十分遠、場合は光量が少な、と判断し、露光時間を長くすればょ、。

[0115] また図 27に示すように、撮像間隔 (撮像タイミング D8)を光源の明滅間隔よりも長く設定してもカゝまわない。ここでは、上述のとおり、撮像周期 Tsを光源の輝度変化周期 T1の整数分の 1にならな、ように設定して、るため、光源の明滅に対して位相が変化した状態で、撮像を行うことができる。これにより、観測される輝度値 D9は大きく変化し、光源状況が異なる複数の画像を撮像することができる。 [0116] そして、撮像制御装置 40は、ステップ S33で決定された撮像条件に従って、撮像装置 20の撮像条件を設定する (ステップ S34)。撮像装置 20は、設定された撮像条件に従って、時系列的に複数回の撮像を行う（ステップ S35)。上述のように、露光時間や撮像タイミングは光源の輝度変化周期に基づヽて設定されてヽるため、撮像された複数の画像は、光源状況が異なる画像となる。

[0117] また、ステップ S31での撮像と異なり、ステップ S35での撮像では最適な撮像条件が設定されている。第 1の実施形態で述べたように、通常、光源状況が異なる複数の画像を撮像するためには、撮像装置 20の露光時間を光源の輝度変化に比べて十分に短く設定すればよい。しかし、露光時間を短くし過ぎると、画像の暗電流などの影響が大きくなり、撮像画像の SN比が劣化してしまう。画像処理を行うための画像は高 SN比であることが望ましいため、本実施形態のように撮像条件を最適にすることは、効果が大きい。

[0118] ステップ S36において、画像処理装置 30はステップ S35で撮像された複数の画像から、上述のとおり、輝度の時間変化を検出する。そして、画像処理として、背景差分法を用いた移動物体の検出を行う。すなわち、輝度の時間変化から、後述する混合率を推定して背景画像を合成し (ステップ S37)、この背景画像とステップ S35で撮像した画像とを比較することによって、移動物体を検出する (ステップ S38)。

[0119] ここで、背景画像の合成について説明する。非特許文献 1では、撮像画像の輝度を、時間変動が生じない光源の成分と、明るさが急激に変化する光源の成分とに分離し、その混合率を推定することによって、処理時の光源状況に応じた背景画像を作成する。これにより、影や光源の輝度変化の影響を受けることなぐ移動物体の検出を行うことができる。具体的には、屋外環境において、観測される物体の色を、時間変動が生じない全天空光成分 L1と、雲によって太陽直射光が遮られ、明るさが急激に変化する太陽直射光成分 L2とからなるものと考え、（式 21)のようにその混合率を推定することによって、正確な背景画像の合成を行う。

[数 21] R = R^ + kR₂

< G = Gj + kG₂ (式 2 1 )

B = B_i + kB₂ ここで、 R、 G、 Bは撮像された画像の R、 G、 B成分画像、 R , ェは成分 L1における R、 G、 B成分画像、 R、 G、 Bは成分 L2における R、 G、 B成分画像を示してい

2 2 2

る。また、 kは、それぞれの成分画像の混合率を示している。

[0120] この手法では、時間変動が生じない光源を全天空光成分 Ll、明るさが急激に変化する光源を太陽直射光成分 L2としている力これは屋外環境に限られるものではない。例えば、家庭内では照明として蛍光灯が用いられるが、この蛍光灯照明を、明るさが変化する光源成分 L2として考えることができる。この場合、（式 21)の成分 L2における成分画像 R、 G、 Bを求めるためには、この蛍光灯の輝度が変化した複数枚

2 2 2

の画像を撮像しなければならない。通常、このようなパラメータ推定をするためには、正確さや信頼性を高めるため、複数のデータを利用し、最小自乗法ゃ最尤推定法などを利用することが行われる。このときに利用されるデータは、サンプリングが偏らずに、変化幅が十分に広くかつ偏りのないものであることが望ましい。

[0121] 本実施形態では、蛍光灯のような輝度が時間的に変化する光源を利用することによって、輝度が時間的に変化し、しかも十分な輝度変化が生じた光源変動画像を撮像することが可能である。さらに、輝度変化が十分に生じている光源変動画像を利用することによって、変化幅が十分に広くかつ偏りのないサンプリング点が得られるため、正確かつ信頼性高く背景画像を作成することができる。したがって、移動物体の検出処理の精度や信頼度も向上させることができる。

[0122] 図 28は本実施形態において求められた画像処理結果の一例を示す図である。同図中、（a)は図 6の構成において被写体 OBを撮影した入力画像 (ステップ S31)、 (b )は検出された光源情報 (ステップ S32)の模式図であり、 (a)の入力画像における画素 m、 nの輝度時間変化である。この輝度時間変化に対して FFT (Fast Fourier Tran sform)などの周波数解析を行うことによって、光源の明滅周波数を求める。こうして求まった光源の明滅周波数力も最適な撮像条件を決定し (ステップ S33)、撮像装置 2 0に設定した (ステップ S 34)後、再度、被写体 OBを撮像する (ステップ S35)。この結果、図 28 (c)のような入力画像が得られる。

[0123] ここで、図 28 (d)に示すように、最新の撮影画像には移動物体 OB1が映っているものとする。一方、混合率を推定することによって、図 28 (e)のような現在の光源環境に合った背景画像を合成する (ステップ S36, S37)。そして、図 28 (d)の画像と図 28 (e)の合成背景画像とを差分処理することによって、図 28 (f)に示すように移動物体 OB1を検出することができる。

[0124] 以上のように本実施形態によると、一般生活環境においても、輝度が時間的に変化する複数の光源を利用し、その輝度変化周期に対して最適な撮像条件で撮像した画像を用いて、混合率を推定し、背景差分法を行うことによって、影や光源の輝度変化の影響を受けない移動物体の検出を行うことができる。

[0125] また、ステップ S32において検出する光源情報は、光源の輝度変化周期に限られるものではなぐ例えば、輝度変化幅や光源の位置情報であっても力まわない。

[0126] 図 29は本実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。ここでは画像処理として、線形化処理のための画像の領域分割を行うものとする。図 29において、図 20のフローチャートと共通のステップについては、同一の符号を付してその詳細な説明は省略する。図 20との違いは、ステップ S36において輝度の時間変化を検出した後、領域分割を行うステップ S39を実行する点である。ステツプ S36, S39が画像処理ステップに対応している。

[0127] 画像の線形化処理は、光源が平行光源であることを仮定している。平行光源とは、無限遠に置かれた点光源のことである。例えば、太陽光などが平行光源として考えられる。一方、家庭内の蛍光灯などは、広い方向に光を放射するため、近接点光源の集合として考えられる。このような近接点光源環境にぉ、て画像の線形ィ匕処理を行うために、画像を分割する方法が知られている（例えば、「佐藤智，高田和豊，登一生 , "近接照明下における画像の線形ィ匕の検討",情報処理学会研究報告 2004— CVI M- 145, pp. 151 - 156, 2004」を参照）。

[0128] この手法では、画像を処理領域に分割し、処理領域ごとに画像の線形化を行う。そして、領域間で線形化係数組に強い相関があることを利用し、線形化が難しい処理領域においても処理を行う。さらに、領域分割方法を変更しながら基底画像を合成することによって、近接照明下においても画像の線形ィ匕を行うことが可能である。

[0129] この場合、画像の分割をどのように行うかが問題となるが、「岡部孝弘，佐藤洋一， "近接光源下における物体の見えの近似のための画像分割とその効果"，電子情報通信学会技術報告， PRMU2004— 148, pp.85-90, 2004」によれば、このような画像分割において、その領域の大きさは、光源に近い領域ほど小さくすればよいことが示されている。すなわち、光源と画面上の各点との距離を求めることで、よりよい領域分割を行うことが可能である。本実施形態では、ステップ S39において、このような最適な領域分割を行うことができる。

[0130] 通常、被写体に照射される光量は、光源力も遠ざかるほど減少することが知られている。図 30および図 31を用いて、光源との距離が異なる被写体の 2点の輝度変化について説明する。いま図 30 (a)のように、撮像装置 20、光源 11および被写体 OBが設置されており、光源 11の輝度は時間的に変化しているものとする。図 30 (b)はこのときに撮像された画像を示す。図 30 (b)において、光源 11は右手前カゝら照射している。そのため、被写体右側の画素 Cは左側の画素 Dに比べ、光源 11との距離が近い。図 31 (a)は画素 Cと画素 Dの輝度変化 Lc, Ldを示す。図 31 (a)から、画素 Cと画素 Dとでは輝度変化幅が大きく異なることが分かる。すなわち、輝度変化は光源と被写体との距離に依存しており、その距離が近ければ変化幅は大きぐその距離が遠ければ変化幅は小さい。

[0131] したがって、ステップ S32において光源の輝度変化周期を検出する際に、輝度変化幅を画素ごとに検出する。そして、変化幅が大きい領域は領域分割を密に、一方、変化幅が小さい領域は領域分割を粗く行うことによって、より良い領域分割を行うこと力 Sできる。図 31 (b)は図 30 (b)の画像に対して領域分割を行った結果を示す図である。このような領域分割を行うことによって、画像の線形ィ匕処理をより正確に行うことができる。

[0132] なお、ステップ S32において検出する光源情報は、光源の輝度変化に関するものに限られるものではない。例えば、時間的に変化している光源の色ベクトルを検出するようにしてもカゝまわない。例えば RGBカラーカメラでは、画像信号は、プリズムや力ラーフィルタなどを通して RGB信号などに分解された後、光電変換素子によって電気信号として検出される。このため、検出される輝度値は、プリズムやカラーフィルタの特性とカメラへの入射光の色ベクトルとの積となる。すなわち、入射光の色ベクトルが時間的に変化した場合、被写体の輝度値も時間的に変化するため、この結果、光源の輝度値が時間的に変化した画像を撮像することができる。

[0133] (第 4の実施形態）

図 32は本発明の第 4の実施形態に係る画像処理方法の処理を示すフローチャートである。図 32において、図 2に示す第 1の実施形態の画像処理方法と共通のステツプについては、同一の符号を付しており、ここではその詳細な説明は省略する。また、本実施形態に係る構成は図 1に示す第 1の実施形態の構成と同様であり、説明は省略する。

[0134] 本実施形態では、画像処理装置 30は、ステップ S41において、ステップ S 11で撮像した複数の画像の光源状況が互ヽに異なって、るか否かを、ステップ S 12で検出した各対応点の輝度値の時間変化を用いて判断する。そして、複数の画像のうち、光源状況が異なっている画像を光源変動画像として保持し (ステップ S42)、それ以外の画像を破棄する (ステップ S43)。そして、保持された光源変動画像を用いて、画像処理を行う（図示せず)。ステップ S 11が撮像ステップに対応し、ステップ S12が輝度変化検出ステップに対応し、ステップ S41〜S43が画像判断ステップに対応している。

[0135] 図 33は輝度が時間的に変化する光源を用いた場合における輝度値の変化を示す図である。図 33において、 E1は被写体のある一点の輝度変化、 E2, E3はそれぞれ撮像装置 20の撮像タイミングおよび露光時間である。また、 E4は観測される輝度値である。図 33から分力るように、撮像をランダムに行うことによって、輝度が異なる画像を撮像することは可能である。ところが、時間 te' 6、 te' 7のように、光源の明滅に対して同位相で撮像を行ってしまヽ、輝度値 E4がほぼ同じとなる画像が撮像されることもあり得る。

[0136] そこで、ステップ S41では、撮像された複数の画像から、このような光源の明滅に対して同位相で撮像された画像を検出し、排除する。これは、ステップ S12によって検出された、画像上の 1点または複数点の輝度変化を観測することによって実行できる。ここでは、画像内から m点の画素を選択し、その輝度値を利用して画像変化を検出する方法を説明する。

[0137] k枚目の画像の m点の輝度値を、次のようにベクトルとして考える。

[数 22]

¹ = V k(pl) h{pl) ""■ (式 2 2 ) ここで、 i は、 k枚目の画像の画素 pにおける輝度値を示して、る。ここで、ステップ k(p)

S 12によって検出される k枚目の画像を、以下の評価関数 Ev (i' )に従って評価する

k

[数 23]

Ev(i ) = min(i - i )² (式 2 3 )

I k

[0138] もし、評価関数 Ev (i' )の値が十分に大きい場合 (ステップ S41で Yes)、輝度変化

k

が生じていると判断し、 k枚目の画像を光源変動画像として保持する。一方、もし評価関数 Ev (i，）の値が十分に大きくない場合 (ステップ S41で No)、輝度変化が生じて

k

V、な、と判断し、 k枚目の画像を廃棄する。

[0139] すでに述べたように、撮像条件の設定によって、輝度が時間的に変化する画像を撮像することは可能であるが、図 33の時間 te' 6、 te' 7のように、光源の明滅に対して同位相で撮像を行ってしまヽ、光源状況が同じ画像を撮像してしまうことはあり得る。これに対して本実施形態では、すでに撮像した画像と光源状況が同じ画像を廃棄することがでさる。

[0140] このようにして求めた光源変動画像に対して、上述の各実施形態で説明したような、画像の線形化や光源色ベクトル推定、背景差分法などの処理を行えばよい。

[0141] 以上のように本実施形態によると、輝度が時間的に変化する光源を利用し、撮像した画像における光源状況の異同を検出することによって、撮像間隔や撮像タイミングを考慮しなくても、光源変動画像を取得することができる。このため、一般生活環境にぉ、ても、影や光源の輝度変化の影響を受けな、画像処理を行うことができる。

[0142] (第 5の実施形態）図 34は本発明の第 5の実施形態に係る画像処理方法を実現するための構成を示す図である。図 34において、図 1と共通の構成要素については、図 1と同一の符号を付しており、ここでは詳細な説明を省略する。図 1の構成と異なるのは、輝度が時間的に変化する複数の光源 11を制御する光源制御装置 50が設けられている点である

[0143] 図 35は本実施形態に係る画像処理方法の処理を示すフローチャートである。図 35 において、第 4の実施形態における図 32のフローチャートと共通のステップについては、同一の符号を付してその詳細な説明は省略する。

[0144] 本実施形態では、第 4の実施形態の各ステップに加えて、さらに光源 11の輝度の時間変動を制御するステップ S51を有する。ステップ S51では、光源 11を制御することによって、光源 11の輝度や位置が変化した環境を生成する。

[0145] 従来では、例えば図 36のような撮像システムにおいて、撮像装置 202が光源 204 の輝度変化に同期して撮像を行うことによって、光源の位置や輝度が変化した光源変動画像を撮像していた。これに対して本実施形態では、輝度が時間的に変化する光源 11を利用し、撮像装置 20は光源 11の変化とは同期を取らず、ランダムに撮像を行う。

[0146] すでに述べたように、撮像条件の設定によって、輝度が時間的に変化する画像を撮像することは可能であるが、図 33の時間 te' 6、 te' 7のように、光源の明滅に対して同位相で撮像を行ってしまヽ、光源状況が同じ画像を撮像してしまうことはあり得る。これに対して本実施形態では、すでに撮像した画像と光源状況が同じ画像を廃棄することがでさる。

[0147] このようにして求めた光源変動画像に対して、上述の各実施形態で説明したような、画像の線形化や光源色ベクトル推定、背景差分法などの処理を行えばよい。

[0148] 以上のように本実施形態によると、輝度が時間的に変化する光源を利用し、光源の時間変動を制御するとともに、撮像した画像における光源状況の異同を検出することによって、撮像間隔や撮像タイミングを考慮しなくても、光源変動画像を取得すること力 Sできる。このため、一般生活環境においても、影や光源の輝度変化の影響を受けな、画像処理を行うことができる。 [0149] なお、上述の各実施形態に係る画像処理は、コンピュータにプログラムを実行させることによって、実行することが可能である。

産業上の利用可能性

[0150] 本発明では、同期処理など複雑な制御が不要で、かつ、大規模な設備も必要とせずに、いわゆる光源変動画像を容易に取得することができる。このため、デジタルァ一力イブなどのための情報取得や、家庭内など環境が複雑な一般生活環境においてのモデルィ匕などに特に有効である。また、大きな被写体の光源変動画像を撮像する場合にも有効である。

[0151] さらに、本発明では、一般生活環境において問題となる、複数光源による影や光源の輝度変化の影響を受けずに、画像処理を行うことができる。このため、一般生活環境にぉ、て、ロボットや自動車などの画像処理装置や認証装置等として有用である。

Claims

請求の範囲

[1] 輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、

前記撮像ステップにお、て撮像された複数の画像を用いて、画像処理を行う画像処理ステップとを備え、

前記画像処理ステップは、

前記複数の画像から、輝度の時間変化を検出するステップと、

検出した輝度の時間変化を用いて、前記複数の画像中における影領域を推定するステップと、

推定された前記影領域の情報と、前記複数の画像とを用いて、線形化画像の生成、光学特性に基づく領域分割、前記被写体の形状情報推定、前記被写体の光学情報推定、および光源情報推定のうち少なくともいずれ力 1つを行うステップとを備えたことを特徴とする画像処理方法。

[2] 輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、

前記画像処理ステップは、前記光源の色ベクトルを推定するものであることを特徴とする画像処理方法。

[3] 請求項 1または 2において、

前記光源は、輝度が周期的に変化するものであり、

前記撮像条件として、前記光源の輝度変化周期に対して十分に短い露光時間を、設定する

ことを特徴とする画像処理方法。

[4] 請求項 1または 2において、

前記光源は、蛍光灯、 LEDまたはディスプレイであることを特徴とする画像処理方法。

[5] 請求項 1または 2において、

前記撮像条件は、露光時間、撮像タイミングおよび撮像周期のうちの少なくともいずれか 1つである

ことを特徴とする画像処理方法。

[6] 請求項 1または 2において、

前記光源の光源情報を取得するステップと、

取得された光源情報を基にして、前記撮像条件を決定するステップとを備えたことを特徴とする画像処理方法。

[7] 請求項 6において、

前記光源情報は、前記光源の輝度変化周期、輝度変化幅および位置情報のうちの少なくともいずれ力 1つである

ことを特徴とする画像処理方法。

[8] 輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、

前記画像処理ステップは、

前記複数の画像における複数の対応点について、それぞれ、輝度の変化幅を求めるステップと、

前記各対応点にっ、て求めた輝度変化幅を用いて、前記光源との距離に基づヽた領域分割を行うステップとを備えたものである

ことを特徴とする画像処理方法。

[9] 輝度が時間的に変化する光源下において、撮像装置によって、同一の被写体について、複数回、撮像を行う撮像ステップと、

前記撮像ステップにお、て撮像された複数の画像における複数の対応点にっ、て、それぞれ、輝度値の時間変化を検出する輝度変化検出ステップと、前記各対応点の輝度値の時間変化を用いて、前記複数の画像の光源状況が互、に異なっている力否かを判断し、前記複数の画像のうち、光源状況が異なっている画像を光源変動画像として保持する一方、それ以外の画像を破棄する画像判断ステップとを備えた

ことを特徴とする画像処理方法。

[10] 請求項 9において、

前記光源の輝度を、光源制御装置によって、時間的に変化するように制御する光源制御ステップを備えた

ことを特徴とする画像処理方法。

[11] 輝度が時間的に変化する光源下において、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像装置と、前記撮像装置によって撮像された複数の画像を用いて、画像処理を行う画像処理装置とを備えた

ことを特徴とする画像処理システム。

[12] コンピュータに画像処理を実行させるプログラムであって、

輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、

前記撮像ステップにお、て撮像された複数の画像を用いて、画像処理を行う画像処理ステップとをコンピュータに実行させるものであり、

前記画像処理ステップは、

推定された前記影領域の情報と、前記複数の画像とを用いて、線形化画像の生成、光学特性に基づく領域分割、前記被写体の形状情報推定、前記被写体の光学情報推定、および光源情報推定のうち少なくともいずれ力 1つを行うステップとを備えたことを特徴とする画像処理プログラム。コンピュータに画像処理を実行させるプログラムであって、

前記画像処理ステップは、前記光源の色ベクトルを推定するものである

ことを特徴とする画像処理プログラム。