JP4154447B2 - 画像処理方法、画像処理システムおよび画像処理プログラム - Google Patents

Description

本発明は、例えば家庭内などの一般生活空間を想定した場合における、画像撮像および画像処理に関するものである。

今日、家庭内などの一般生活環境において、物理支援ロボットの実用化が望まれている。このようなロボットを実用化するためには、対象物の位置や姿勢の検出、対象物の認識、対象物の動き検出、環境の認識等の処理が必要である。

このような処理を行うために、従来から、カメラを用いる方法が広く用いられている。これは、カメラで撮像された画像に対し、例えばパターンマッチングやオプティカルフロー検出、特徴点抽出といった画像処理を適用することによって、実現される。

家庭内のような一般生活環境では、光源変動による鏡面反射・影の影響によって、これらの画像処理の精度や検出率が劣化することが知られている。そこで、例えば画像の線形化など、２色性反射モデルやLambertianモデルといった反射モデルを利用した、光源変動の影響にロバストな画像処理が研究されている（例えば、非特許文献１，２）。

非特許文献１では、屋外環境において、観測される物体の色は、時間変動が生じない全天空光成分と、雲によって太陽直射光が遮られ、明るさが急激に変化する太陽直射光成分とから成るものと考える。そして、移動物体を検出するために背景差分法を行う際、時間変化が大きい太陽直射光成分の混合率を推定することにより、影や光源の輝度変化の影響を受けない移動物体の検出を実現している。

非特許文献２では、光源位置が変化した複数枚の画像を利用し、鏡面反射や影を含まない拡散反射のみの合成画像である線形化画像を作成する。このような線形化画像を利用することによって、鏡面反射の影響を受けない画像処理が実現される。
奥村晃弘，岩井儀雄，谷内田正彦 "屋外における移動物体の検出 --照明変動と影への対策--", 画像の認識・理解シンポジウム(MIRU2000), vol.II, pp.307-312, 2000 石井育規，福井孝太郎，向川康博，尺長健"光学現象の分類に基づく画像の線形化"，情報処理学会論文誌, vol.44, no. SIG5 (CVIM6), pp.11-21, 2003

このような光学モデルを利用した画像処理手法の多くは、光源の位置や輝度が異なった複数枚の画像を必要とする。例えば、非特許文献１では、全天空光成分と太陽直射光成分を推定するために、太陽直射光成分の輝度のみが異なった２枚以上の画像が必要である。また、非特許文献２では、光源位置が異なった４枚以上の画像が必要である。

このような光源の輝度や位置が異なった複数枚の画像を、本願明細書では「光源変動画像」と呼ぶ。通常、このような光源変動画像を撮像するためには、光源の位置や輝度を変更し、その変更に同期させて画像を撮像する必要があった。ところがこの方法では、光源とカメラとの間で同期を取る必要があり、システムが大規模になり、撮像コストが増大するといった問題があった。

図３６は光源変動画像を撮像するための従来の撮像システムの例である。まず、被写体２０１と撮像装置２０２を固定し、被写体２０１の周りにレール２０３を張り巡らす。光源２０４はレール２０３上の様々な位置に固定することができる。撮像装置２０２は光源２０４の位置変化または輝度変化に同期して撮像を行うことによって、光源変動画像を撮像することができる。しかしこのシステムでは、被写体２０１を覆うレール２０３を配置する必要があるため、システムが非常に大がかりなものになってしまう。特に被写体２０１が大きい物である場合、システムの設置は極めて困難になる。また、撮像装置２０２は光源２０４の位置変化や輝度変化に同期して撮像を行う必要があるため、制御が複雑になり、撮像に要する時間も大きくなってしまう。

最近では、大仏や建物などをデジタルアーカイブとして記録するために、または、オフィス内や家庭内の環境をコンピュータグラフィック（ＣＧ）として表示するために、光源の位置や輝度が変化した複数枚の画像を撮像する必要があることがある。このように被写体が非常に大きい場合、図３６の方法では撮像が非常に困難になる。

また、光源の位置情報が未知でも構わない画像処理（例えば、画像の線形化）を行う場合、図３７のように、撮像者または撮像ロボット２０５が、光源２０４を稼動部である手に持ち、光源２０４を移動させながら撮像装置２０２によって撮像を行うことも可能である。ところが、カメラの位置を固定した状態で光源を動かす、という複雑な操作が必要であり、やはり、撮像に要する時間が大きくなるという問題があった。

前記の問題に鑑み、本発明は、画像処理において、いわゆる光源変動画像を、簡易な設備において、取得可能にすることを課題とする。

本発明は、位置固定で発光レベルが時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行い、撮像された複数の画像を用いて、画像処理を行うものである。

本発明によると、位置固定で発光レベルが時間的に変化する光源を利用して、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件を設定して、複数の画像を撮像する。これによって、いわゆる光源変動画像が、大規模なシステムや複雑な操作を必要とすることなく、容易に取得できる。

本発明によると、例えば家庭内のような一般生活環境において、非常に簡単な装置で、光源の位置や輝度が異なったいわゆる光源変動画像を容易に撮像することができる。このような画像を利用することによって、一般生活環境においても、影や光源の輝度変化の影響を受けない画像処理を行うことができる。

本発明の第１態様では、位置固定で発光レベルが時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、前記撮像ステップにおいて撮像された複数の画像を用いて、画像処理を行う画像処理ステップとを備え、前記画像処理ステップは、前記複数の画像における複数の対応点についてそれぞれ輝度の変化幅を求めるステップと、前記各対応点について求めた輝度変化幅を用いて、前記光源との距離に基づいた領域分割を行うステップとを備えた画像処理方法を提供する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理方法を実現するための構成を示す図である。図１において、被写体ＯＢは、輝度が時間的に変化する複数の光源１１によって照明されており、カメラなどの撮像装置２０によって、複数回、連続して撮像される。このとき、光源状況が異なる複数の画像が撮像可能となるように、露光時間、撮像タイミング、撮像周期などの撮像条件が設定される。撮像された複数の画像は画像処理装置３０に送られ、画像処理装置３０によって、影領域推定などの画像処理が実行される。撮像装置２０および画像処理装置３０によって、本発明に係る画像処理システムが構成されている。

図２は本実施形態に係る画像処理方法の処理を示すフローチャートである。図１に示した撮像装置２０は、位置が固定した、輝度が時間的に変化する複数の光源１１に照射された被写体ＯＢを、光源１１の輝度変化周期よりも短い露光時間を撮像条件として、複数回撮像する（ステップＳ１１）。このようにして撮像された複数の画像は、光源状況が時系列的に異なっている。画像処理装置３０はまず、撮像された複数の画像から輝度の時間変化を検出し（ステップＳ１２）、検出した輝度時間変化を用いて、画像中の影領域を推定する（ステップＳ１３）。さらに、推定した影領域の情報を用いて、画像の線形化を実施し、鏡面反射や影を含まない拡散反射成分のみの線形化画像を合成する。または、光学特性に基づく領域分割を行う（ステップＳ１４）。ステップＳ１１が撮像ステップに対応し、ステップＳ１２〜Ｓ１４が画像処理ステップに対応している。これらの処理を、順に詳しく説明する。

まず、ステップＳ１１において、位置が固定した、輝度が時間的に変化する複数の光源１１に照射された被写体ＯＢを、撮像装置２０によって、光源１１の輝度変化周期よりも短い露光時間を撮像条件として、複数回撮像する。

本実施形態において用いられる光源１１として、例えば蛍光灯が挙げられる。蛍光灯は、家庭内の光源として広く用いられている。蛍光灯の発光の原理は次のとおりである。ランプ両端に電圧を印加すると、電極から放出された電子が加速されて水銀と衝突する。衝突によって励起された水銀は紫外線を発生し、その紫外線が蛍光体で可視光に変換される。このような原理から、交流駆動の蛍光灯ではその交流周波数に応じて発光と減光とが繰り返され、この結果、輝度に時間変化が生じる。

交流周波数は、東日本で５０Hz、西日本で６０Hzであるため、蛍光灯の明滅周波数はそれぞれ１００Hz、１２０Hzとなり、人間の目では通常は観測されない。

しかし、露光時間を蛍光灯の明滅周期よりも短くし、撮像タイミング（撮像周期）を明滅周波数とずらすように設定すると、たとえ対象物が静止し、かつ、カメラ位置が固定であっても、輝度が時間的に変化する画像が撮像される。このような輝度変化はフリッカーとして知られており、従来から画像処理においては、大きな問題と考えられていた（例えば、特開平２−１３５９８６号を参照）。これに対して本実施形態では、画像処理の障害と考えられているフリッカーを逆に利用することによって、従来、取得が非常に困難であった、照明の輝度や位置などの光源状況が異なるいわゆる光源変動画像を、容易に撮像できるようにしている。

図３はフリッカーの発生を説明するためのグラフであり、蛍光灯照明下での被写体のある一点の輝度変化Ａ１を示している。縦軸は輝度、横軸は時間である。また、Ａ２は撮像タイミング（時間ｔａ１〜ｔａ１１）、Ａ３は露光時間である。このとき、図４のように、観測される輝度値Ａ４は時間によって変化する。すなわち、実際に撮像される輝度値Ａ４は、各撮像時刻ｔａ１〜ｔａ１１での露光時間Ａ３における輝度変化Ａ１の積分値として求められる。

そこで、露光時間を光源の輝度変化周期に対して十分短い時間に設定して撮像を行うことによって、輝度が時間的に変化する画像を撮影することができる。通常の蛍光灯は、交流周波数の２倍の周期で輝度変動が生じる。すなわち、蛍光灯の明滅周波数は、東日本で１００Hz、西日本で１２０Hzであるから、露光時間を、１／１００secまたは１／１２０secに対して十分に短い時間、例えば２msecに設定すればよい。また、露光時間はカメラの最速シャッタースピード、例えば１msecに設定してもかまわない。

また図５に示すように、撮像タイミングＡ５は、光源の輝度変化Ａ１の位相と一致しないように、例えば、ランダムに設定するのが好ましい（時間ｔｂ１〜ｔｂ１１）。これは例えば、乱数発生を利用したプログラムなどにより設定すればよい。この結果、輝度値Ａ６が得られる。

なおここでは、光源１１として蛍光灯を例にとって説明したが、もちろん、光源１１は蛍光灯に限られるものではない。例えば、ＬＥＤやディスプレイを光源１１として利用してもかまわない。

ＬＥＤ照明は、その明るさや高寿命性から、近年、急速に広がってきている。家庭内でも、現在広く用いられている蛍光灯に置き換わる可能性を秘めており、最近では「ＬＥＤベースダウンライト」などの商品も販売されている。さらに、ＬＥＤ光源を人間の目ではわからないほどの速度で点滅させてデータを送信する、いわゆる可視光通信の研究も始まっている（例えば、「春山真一郎，“可視光通信”，電子情報通信学会論文誌Ａ，ｖｏｌ．Ｊ８６−Ａ，Ｎｏ．１２，ｐｐ．１２８４−１２９１，２００３」を参照）。このため、撮像装置２０の露光時間をＬＥＤの点滅周期よりも短くすることによって、輝度が時間的に変化する、いわゆる光源変動画像を撮像することができる。すなわち、本実施形態の画像処理方法は、将来、現在主流の蛍光灯照明がＬＥＤ照明に置き換わった場合においても、同様に実現できる。

また、最近では、デジタルビデオカメラなどにおいて、通常は画像出力用として用いられる液晶モニターをライトパネルとして利用する、「０Ｌｕｘカラーナイトビュー」と呼ばれる技術が搭載されている。このようなビデオカメラを利用する場合にも、上述の処理は大変有効である。

また、パソコンに接続された液晶ディスプレイやブラウン管ディスプレイは、垂直同期周波数６０Hz程度で画面の書き換えが行なわれている。言い換えると、垂直同期周波数に対応する周期で画面の輝度が変化している。このため、これらのディスプレイを光源１１として利用した場合でも、同様にして、光源状況が異なる複数の画像を撮像することができる。

また、プラズマディスプレイは、輝度が異なる複数のサブフィールド画像の組合せによって階調を表示しているため（例えば、「徳永勉, 中村英人, 鈴木雅博, 三枝信彦，“ＡＣ型ＰＤＰの新駆動法の開発”，ＰＩＯＮＥＥＲ Ｒ＆Ｄ，ｖｏｌ．１１，Ｎｏ．１，ｐｐ．１７−２３，２００３」を参照）、本来、各画素はＯＮ−ＯＦＦの２値変動を行っている。しかし、各画素は非常に小さいため、プラズマディスプレイは、画素が集まった光源として扱える。このため、静止画を表示している場合であっても、露光タイミングを変化させることによって、輝度が時間的に変化する。したがって、プラズマディスプレイを光源１１として利用した場合でも、同様にして、光源状況が異なる複数の画像を撮像することができる。

図２に戻り、ステップＳ１２において、ステップＳ１１で撮像装置２０によって撮像された、光源状況が異なる複数の画像から、各対応点における輝度の時間変化を検出する。ここで、撮像装置２０の位置が固定されている場合、画像処理装置３０は、撮像された複数の画像において、画素ごとに輝度変化を検出すればよい。

なお、本実施形態では、撮像装置２０の位置が固定されている必要はない。例えば、カメラが移動する場合、画像上の特徴点を追跡し、複数の画像間での対応点を特定し、この対応点での輝度変化を検出すればよい。このような特徴点抽出や特徴点追跡の手法としては、例えば、HarrisオペレータやＫＬＴ（Kanade-Lucas-Tomasi） Feature Tracker（「Jianbo Shi and Carlo Tomasi. Good Features to Track. IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600, 1994」を参照）などが知られている。

また、ステップＳ１２において、画像処理装置３０が検出する対象は、必ずしも、画像上の輝度変化でなくてもかまわない。例えば、画像上の各対応点のＲＧＢ値といった色ベクトル情報の変化を検出するようにしてもかまわない。

そしてステップＳ１３において、ステップＳ１２で検出した輝度の時間変化情報を用いて、画像内の影領域の推定を行う。

ここで、光源が単一の点光源であり、かつ外光が存在しない場合、影領域の輝度値は０となる。このような場合、輝度値を閾値として領域分割することにより、影領域を推定することができる。しかし、光源が複数存在する場合、ある光源からは光が届かず影になるが、別の光源からは光が届くため輝度値が０にならないという領域が、数多く存在する。このような影領域に関しては、上述したような単に閾値を利用する手法では、推定が非常に困難である。

図６は光源が複数存在する場合における影領域を示す図である。図６において、被写体ＯＢに対して、２個の光源Ａ１１ａ、光源Ｂ１１ｂが光を照射している。撮像装置２０は被写体ＯＢをその上方から撮像している。まず、影領域Ａでは、光源Ａ１１ａからの光が届かないために影が生じている。仮に、光源Ａ１１ａのみが被写体ＯＢを照らしている場合には、影領域Ａの輝度値は０となるが、実際には光源Ｂ１１ｂからの光が届いている。また、影領域Ｂでは、仮に、光源Ｂ１１ｂのみが被写体ＯＢを照らしている場合、輝度値は０になるが、実際には光源Ａ１１ａからの光が届いている。このように、２個の光源Ａ１１ａ、光源Ｂ１１ｂが点灯している場合、影領域Ａ、Ｂともに輝度値は０にならない。すなわち、影領域の推定が困難になる。

ここで、光源Ａ１１ａ、光源Ｂ１１ｂはＬＥＤ光源であり、互いに異なる周波数で点滅しているものと仮定する。光源Ａ１１ａ、光源Ｂ１１ｂの点滅の角周波数をそれぞれω_Ａ、ω_Ｂとすると、その輝度Ｉ_Ａ、Ｉ_Ｂはそれぞれ次の式で表される。

ここで、Ｅ_Ａ、Ｅ_Ｂは光源Ａ１１ａ、光源Ｂ１１ｂにおける輝度の振幅の大きさ、ｔは時間、θ_Ｂは光源Ａ１１ａ、光源Ｂ１１ｂの点滅の位相差を示している。ここで、撮影環境内では光源Ａ１１ａ、光源Ｂ１１ｂ以外に光源は存在しないと仮定すると、撮影画像上の画素ｐでの輝度値Ｉ_ｐは次のように時間的に変化する。

ここで、Ｅ_ｐＡ、Ｅ_ｐＢはそれぞれ、画素ｐにおける光源Ａ１１ａ、光源Ｂ１１ｂの寄与度を表現した定数であり、画素ｐの法線方向、各光源からの光の入射角、各光源から被写体ＯＢまでの距離、Ｅ_Ａ、Ｅ_Ｂおよび反射率などに依存する。

さらに、ステップＳ１２において検出した各画素における輝度の時系列データに対してＦＦＴ（Fast Fourier Transform）を行うと、（式２）から、光源Ａ１１ａと光源Ｂ１１ｂの輝度変化に対応した周波数成分が求まる。図６において、領域Ｃ，Ｄ，Ｅのように２個の光源Ａ１１ａ、光源Ｂ１１ｂの両方から光が届いている領域では、この２つの周波数成分がいずれも検出される。一方、光源Ａ１１ａによって影が生じている影領域Ａでは、（式２）において、
Ｅ_ｐＡ＝０
となるため、一方の周波数成分しか検出されない。同様に、光源Ｂ１１ｂによって影が生じている影領域Ｂでは、（式２）において、
Ｅ_ｐＢ＝０
となるため、やはり一方の周波数成分しか検出されない。すなわち、画像の各点ごとに周波数解析を行い、検出されるスペクトルの個数をカウントし、その個数が少ない領域を、画像上の影領域として推定することができる。

もちろん、本実施形態の影領域推定の手法は、輝度が連続的に変化する光源にしか適用できないものではない。例えば、ＯＮとＯＦＦを繰り返すような不連続的な輝度変化が生じる光源であっても、適用することができる。

図６において、光源Ａ１１ａ、光源Ｂ１１ｂがＯＮとＯＦＦを繰り返すものと仮定する。この場合、光源Ａ１１ａ、光源Ｂ１１ｂが両方とも点灯していた後、光源Ａ１１ａのみが消灯されたとする。このとき、光源Ａ１１ａによって影が生じている影領域Ａでは、光源Ａ１１ａからの光は元々届いていないため、光源Ａ１１ａが消灯されても輝度値は変化しない。一方、影領域Ｂおよび領域Ｃ，Ｄ，Ｅは光源Ａ１１ａの消灯に伴い、入射光が減るため、輝度値が下がる。また、光源Ｂ１１ｂのみが消灯された場合は、光源Ｂによって影が生じている影領域Ｂの輝度値は変化しないが、影領域Ａおよび領域Ｃ，Ｄ，Ｅでは輝度値が下がる。さらに、光源Ａ１１ａが点灯された場合も、影領域Ａの輝度値は変化しないが、影領域Ｂおよび領域Ｃ，Ｄ，Ｅは輝度値が上がる。したがって、画像の輝度変化から、影領域を推定することができる。

なお、ここでは、光源が２個の場合について説明したが、もちろん、光源の個数は３個以上であってもかまわない。また、上述のように、各光源の周波数を利用するため、光源が２つ以上同時に点灯している状態で撮像を行うようにしてもかまわない。このとき、同じタイミングで明滅を繰り返す光源の、輝度変化の周波数が同じであってもかまわない。これは、家庭内において特に重要である。家庭内では、同じ型式の照明が複数個取り付けられる場合が多々ある。複数本の蛍光灯が発光する照明である場合、後述するように、これらの光源は、輝度変化の位相が異なる光源が交互に明滅を繰り返す照明と考えることができる。このため、同じ周波数で明滅を繰り返す光源に対しても同様の処理が行えるということは、現在主流である蛍光灯照明において、本実施形態を設置コストなしで適用できるということであり、非常に利用価値が高い。

そしてステップＳ１４において、画像処理装置３０は、ステップＳ１３で求められた影領域の推定結果を用いて、例えば画像の線形化を行う。ここで、画像の線形化について説明する。

被写体の位置や姿勢の認識、および動きの検出を行うために、カメラを用いる方法が広く用いられている。これは、カメラで撮像された画像に対し、例えばパターンマッチングやオプティカルフロー検出、特徴点抽出といった画像処理方法を適用することによって実現される。このような画像処理技術は、ノイズのない画像に対しては有効であるが、家庭のような一般環境で撮像された画像に対しては十分な信頼性・精度が得られないといった問題があった（例えば、「阪野貴彦、池内克史，“移動カメラによる時空間画像を用いた車両からのスペキュラ除去”，情報処理学会 研究報告 ＣＶＩＭ，２００３−ＣＶＩＭ−１４１，ｐｐ．１７−２３，２００３」を参照）。これは、通常の画像処理が拡散反射のみの物体を仮定しているのに対して、実際には、鏡面反射や影の影響により画像データの色情報やエッジ情報がカメラ位置や光源位置によって大きく変化してしまうことが、主な原因である。

このため、画像処理を行う前処理として、鏡面反射や影領域を補正することが行われる。画像の線形化とは、光源の位置を変更しながら撮像した複数枚の画像を利用して、鏡面反射や影の存在しない、拡散反射成分のみの線形化画像を合成する画像処理手法である（例えば非特許文献２を参照）。さらに、光学特性に基づいた領域分割を行う。この手法について詳述する。

図７は光学現象である拡散反射、鏡面反射および影の関係を示す図である。ここで、いわゆる２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。また、Lambertianモデルによれば、拡散反射成分の輝度値Ｉ_ｄは次の式で表現される。

ここで、ｎは物体表面の法線方向ベクトルＮと拡散反射率（albedo）との積であり、ｓは光源方向単位ベクトルＬと光源照度との積を表す（図８）。

また図７に示すように、影は、物体の法線が光源方向を向いていないために生じるattached shadowと、他の物体により光が遮蔽されることによって生じるcast shadowとの２種類に分けられる。環境光や相互反射の影響がない場合、両者とも輝度は０になる。しかし、（式３）では、attached shadowは負の値となり、cast shadowは正の値となる。

ここで、Shashuaは、平行光源、完全拡散反射面を仮定することによって、光源方向の異なる３枚の画像の線形結合によって任意の光源方向の画像が表現できることを示した（「Shashua A., “Geometry and Photometry in 3D Visual Recognition”, P.D. thesis, Dept. Brain and Cognitive Science, MIT, 1992」）。すなわち、光源方向が異なる３枚の画像をベクトル表現したものをＩ_１，Ｉ_２，Ｉ_３とすると、任意の方向の画像Ｉ_ｋは次式のように線形結合によって表現できる。

ここで、

を画像Ｉ_ｋに対する線形化係数組と呼ぶ。このように、線形和で作成された画像を線形化画像と呼ぶ。この線形化画像は、Lambertianモデルを満たす、拡散反射成分のみの合成画像である。しかし、実画像は影や光源反射を含むため、（式４）を満たさない。そこで、非特許文献２では、光源方向の異なる複数枚の画像を撮像し、ＲＡＮＳＡＣ（「M. A. Fischler and R. C. Bolles, “Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography”, Communications of the ACM, Volume 24, Issue 6, pp. 381-395」を参照）を利用することで、（式４）を満たす拡散反射成分のみの３枚の画像を作成する。こうして作成した拡散反射成分のみの画像を、基底画像と呼ぶ。基底画像をShashuaの方法に適用することによって、撮像画像の光源状況に対応する線形化画像を作成することができる。つまり、線形化画像は次式で示される。

ただし、Ｉ_ｋ ^Lは入力画像ｋにおける線形化画像、Ｉ_１ ^B，Ｉ_２ ^B，Ｉ_３ ^Bはそれぞれ上述の方法で作成した３枚の基底画像である。このように生成された線形化画像は、鏡面反射が生じていない、理想状態での画像である。このため、この線形化画像を用いて画像処理を行うことによって、鏡面反射や影の影響を受けない画像処理を実現することができる。

また、ステップＳ１４において、上述のようにして求まった線形化画像を用いて、光学特性に基づく領域分割を行ってもかまわない。ここで、入力画像ｋにおける画素ｐの輝度値をｉ_ｋ（ｐ）、これに対応する線形化画像の輝度値をｉ_ｋ（ｐ） ^Ｌとすると、拡散反射、鏡面反射、cast shadow、attached shadowは次の関係式に従って、図９のように分類することができる。Ｔ，Ｔｓは閾値である。

ここで、（式６）は単一光源を仮定しているため、cast shadow領域とattached shadow領域を、閾値Ｔｓを利用して、影として分類している。しかし、一般生活空間のような光源が複数存在する環境では、このような閾値を利用した影領域の分類は非常に難しい。一方、本実施形態の画像処理方法では、上述の手法により、影領域の推定がすでに行われているため、拡散反射、鏡面反射、cast shadow、attached shadowは次の関係式に従って分類できる。

ここで、

は、影領域推定ステップＳ１３によって、ｋ枚目の画像の画素ｐが影領域と推定されたことを示している。このように、本実施形態では、従来の画像の線形化では困難であった一般生活環境においても、光学特性に基づく画像処理が可能となる。

また、上述したように、従来では、光源状況が異なる複数の画像（光源変動画像）を得るためには、図３６のような非常に大がかりな撮像システムを利用したり、または図３７のような複雑な操作を行ったりする必要があった。これに対して本実施形態では、輝度変化がある光源を利用して、きわめて簡易な構成によって、光源変動画像を取得することができる。ここでは、３本の蛍光灯からなる照明を利用する場合を例にとって、この点を説明する。

いま、図１０（ａ）に模式的に示した３本の蛍光灯４１，４２，４３からなる照明によって、被写体を照らすものとする。複数本の蛍光灯を内蔵する照明の場合、蛍光灯のちらつきを抑えるために、発光タイミングの位相を蛍光灯ごとにずらしているものが多い。図１０（ｂ）は図１０（ａ）の照明における各蛍光灯４１〜４３の輝度変化を模式的に示すグラフである。図１０（ｂ）において、Ｂ１，Ｂ２，Ｂ３はそれぞれ図１０（ａ）における蛍光灯４１，４２，４３の輝度変化を示している。

図１０（ｂ）から、外側の２本の蛍光灯４１，４３は同一位相で明滅を繰り返しているのに対して、中央の蛍光灯４２は位相反転して明滅を繰り返していることが分かる。このことから、図１０（ａ）の照明は、擬似的に、図１１（ａ）、（ｂ）に示すような、発光位置が異なり、かつ、交互に明滅を繰り返す２種類の光源と考えることができる。このため、上述した手法によって、光源状況が異なる複数の画像を簡単に撮像することができる。したがって、複数本の蛍光灯を内蔵する照明の場合、画像の線形化を低コストで実現することができる。

図１２は本実施形態において求められた画像処理結果の一例を示す図である。同図中、（ａ）は図６の構成において被写体ＯＢを撮影した入力画像、（ｂ）は影領域内の画素Ａ，Ｂおよび拡散反射領域内の画素Ｐにおける輝度時間変化を示すグラフである。この輝度時間変化に対してＦＦＴ（Fast Fourier Transform）などの周波数解析を行うと、画素Ａ，Ｂの輝度時間変化はそれぞれ単一の周波数しか含まないが、画素Ｐの輝度時間変化は複数の周波数が重なり合っていることが分かる。このことから、画素Ａ，Ｂは影領域であるが、画素Ｐは影領域ではないと推定される。この処理を全ての画素に対して行うと、図１２（ｃ）のような影領域が推定される。そして、この推定結果と（式７）の関係式を利用することによって、図１２（ｄ）に示すような線形化画像を合成することができる。また、図１２の結果を利用して、図１３に示すような光学特性に基づく領域分割を行うことができる。

さらに、本実施形態に係る画像処理方法は、画像処理装置３０において、被写体ＯＢの形状推定を行う場合にも効果的である。これを、Photometric Stereoを利用する手法を例にとって説明する。

Photometric Stereoは、異なる光源方向から撮像された３枚以上の光源変動画像を用いて、被写体の法線方向と反射率を推定する手法である。例えば、「H. Hayakawa, ”Photometric Stereo under a light source with arbitrary motion”, Journal of the Optical Society of America A, vol.11, pp.3079-89, 1994」では、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報は未知であっても、以下のパラメータを推定する手法が説明されている。
・被写体の形状情報と光学情報：画像上の各点の法線方向と反射率
・光源情報：光源方向と照度

この手法は、一般的に拡散反射成分のみの被写体にしか利用できず、影や鏡面反射成分が存在する被写体では正確な推定値が求まらないことが知られている。このため、上述したような画像の線形化処理を前処理として行い、影や鏡面反射成分を含まない拡散反射成分のみの画像である線形化画像を合成した後、Photometric Stereoを行うことによって、正確な推定値が求まるものと考えられる。ここでは、画像の線形化処理とPhotometric Stereoとを融合した処理を行い、上のパラメータを推定する手法を説明する。

図１４は本実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。図１４において、図２のフローチャートと共通のステップについては、同一の符号を付してその詳細な説明を省略する。ステップＳ１２〜Ｓ１５が画像処理ステップに対応している。

まず、上述した手法によって、光源変動画像を取得し、線形化画像を合成する（ステップＳ１１〜Ｓ１４）。そして、合成した線形化画像を用いて、被写体と光源の情報を取得する（ステップＳ１５）。この処理を詳述する。

光源変動画像から合成した線形化画像を、次式のように輝度行列Ｉで表現する。

ただし、ｉ^ｌ _ｍ（ｎ）はｍ枚目の入力画像に対する線形化画像の画素ｎの輝度値を示している。また、画像のサイズはｐ画素、撮像した画像枚数はｆ枚である。ここで、画像の線形化処理を考える。（式５）、（式８）より、以下の関係が求まる。

ところで、（式３）より、（式８）は以下のように表現される。

ここで、Ｒ，Ｎ，Ｍ，Ｔ，Ｓ，Ｌはそれぞれ表面反射行列、表面法線行列、光源方向行列、光源輝度行列、表面行列、光源行列を示している。また、r、nは表面反射率、表面法線を、ｔ、mは光源輝度、光源方向単位ベクトルをそれぞれ示している。

（式９）、（式１０）より、以下の関係が成り立つ。

ここで、Ａは３ｘ３行列である。つまり、行列Ａを推定することにより、Photometric Stereoと同様の処理が行なえる。以下、この行列Ａを推定することを考える。

行列Ｓの各要素は（式１０）より、画面上の各点における表面反射率と表面法線の積を表している。つまり、行列Ｓの各要素の自乗は画面上の各点における表面反射率の自乗を示している。

ここで、画素ｋ（ｋ＝１，…ｐ’）の反射率が等しいものとすると、その反射率を相対的に１と考えることができ、次の関係が成り立つ。

ここで、

とすると、

となり、（式１３）は（式１５）の行列Ｄを推定すればよいことになる。

ここで、（式１４）より行列Ｄが対称行列であることに着目すると、（式１５）を一意に解くために必要な拘束式の数、すなわち反射率が等しいとわかっている点の数ｐ’は最低６点でよいことが分かる。また、（式１４）は特異値分解を行うことによって、簡単に解くことができる。

以上のことから、反射率が等しい６点以上の画素が既知な被写体において、輝度変化が多値である光源、例えば蛍光灯を利用して複数枚の画像を撮像し、その複数の画像を利用して画像の線形化処理を行うことによって、（式１０）の分解を行い、結果として以下の情報を得ることができる。
・光学特性に基づく領域分割（拡散反射、鏡面反射、Attached Shadow、Cast Shadow）
・被写体の形状情報と光学情報：画像上の各点の法線方向と反射率
・光源情報：光源方向と照度

図１５は本実施形態において求められる画像処理結果の一例を示す図である。同図中、（ａ），（ｂ），（ｃ）は図１２と共通であり、ここでは詳細な説明を省略する。そして、図１５（ｃ）に示すような影領域の推定結果と上述の手法を利用することによって、図１５（ｄ）に示すように被写体ＯＢの形状を推定することができる。もちろん、被写体の反射率や光源方向と照度等も推定できるが、図示は省略する。

以上のように本実施形態によると、一般生活環境においても、輝度が時間的に変化する光源下において、光源状況が異なる複数の画像を容易に得ることができる。そして、この画像を用いて、影領域を推定し、線形化画像の生成や光学特性に基づく領域分割、被写体の形状推定、光源情報の取得などを行うことができる。

（第２の実施形態）
図１６は本発明の第２の実施形態に係る画像処理方法の処理を示すフローチャートである。図１６において、図２に示す第１の実施形態の画像処理方法と共通のステップについては、同一の符号を付しており、ここではその詳細な説明は省略する。ステップＳ１２，Ｓ２１が画像処理ステップに対応している。また、本実施形態における構成は図１に示す第１の実施形態の構成と同様であり、説明は省略する。

本実施形態では、影領域推定ステップＳ１３を行わず、またステップＳ１４に代えて、光源色ベクトルの推定を行う（ステップＳ２１）。ここでは、２色性反射モデルを利用して、光源色ベクトルの推定を行う例を説明する。

近年のコンピュータビジョン研究では、形状といった幾何的な特徴のみではなく、光の物理法則を考慮した画像処理の研究が進んでいる。その中で、画像を撮像した際の光源色ベクトルの推定が重要である。これは、例えば、デジタルアーカイブなどにおいて、様々な光源環境での物体の見えの変化を表示する際などに有効である。

ここでは、撮像装置２０としてＲＧＢカラーカメラを利用し、蛍光灯の明滅から、光源色ベクトルを推定する方法を詳述する。

２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。そのため、画像上の画素ｐの色ベクトルＳ_ｐは、拡散反射成分色ベクトルＳ^ｄ _ｐと鏡面反射成分色ベクトルＳ^ｓ _ｐとの和として（式１６）で表される。

ところで、鏡面反射は入射光の物体表面での反射であると考えられるため、鏡面反射成分色ベクトルＳ^ｓ _ｐは光源色ベクトルＳＬと同一またはこれが減衰したものとみなせる。また、拡散反射成分色ベクトルＳ^ｄ _ｐは内部反射により生じた色ベクトルであるため、物体固有の色ベクトルＳＰ^ｄ _ｐに依存するものである。そのため、（式１６）は次のように書き換えられる。

ここで、ｍ_ｓ（θ，ψ）、ｍ_ｄ（θ）はそれぞれ鏡面反射成分、拡散反射成分の重み、また、θ、ψは図８に示したとおり、それぞれ、被写体の法線方向ベクトルＮと光源方向単位ベクトルＬとの角度、被写体の法線方向ベクトルＮと撮像方向単位ベクトルＶとの角度を示している。

ここで、図１０に示したような複数本の蛍光灯を内蔵する照明を利用することを考える。上述のように、このような光源を利用すると、光源状況が異なる画像を簡単に撮像することができる。

さらに、蛍光灯の場合、その光源色ベクトルはすべて同一であると考えられる。このため、この照明で照らされた画素ｐの時刻ｔにおける色ベクトルＳ_ｐ（ｔ）は、以下の式で示される。

ここで、Ｓ^１ _ｐ（ｔ）、Ｓ^２ _ｐ（ｔ）、Ｓ^３ _ｐ（ｔ）はそれぞれの光源（蛍光灯４１，４２，４３）による画素ｐの時刻ｔにおける色ベクトル、ｍ_ｓｉ（θ，ψ，ｔ）、ｍ_ｄｉ（θ，ψ，ｔ）はｉ番目の光源における、それぞれ鏡面反射成分と拡散反射成分の混合率を示す重みを示している。観測値が時刻ｔの関数になっている理由は、上述のように、光源の明滅のために、光源の輝度が時刻ｔによって変化するためである。ただし、この時間変動では、その色ベクトルのスカラのみが変化する。

ここで、ｍ_ｓｉ（θ，ψ，ｔ）、ｍ_ｄｉ（θ，ψ，ｔ）はスカラ量であることに着目すると、（式１８）で表現された色ベクトルＳ_ｐ（ｔ）は、光源色ベクトルＳＬと物体固有色ベクトルＳＰ^ｄ _ｐとが張る平面上に必ず存在することがわかる。

一方、画像上の別の点ｐ’で観測される色ベクトルＳ_ｐ’（ｔ）も同様に、光源色ベクトルＳＬと物体固有色ベクトルＳＰ^ｄ _ｐ’の張る平面上に必ず存在する。

図１７はこの関係を示した図である。図１７では、撮像装置２０としてＲＧＢカラーカメラを利用しているため、色ベクトルとして各点のＲＧＢ値を利用している。図１７において、Ｇ１，Ｇ２はそれぞれ、点ｐ、点ｐ’における輝度が時間的に変化したときのＲＧＢ空間上での色ベクトル集合を示す平面である。ここで、この両平面Ｇ１，Ｇ２が交わる直線Ｖ１を考えると、これが両平面Ｇ１，Ｇ２に共通の光源色ベクトルＳＬに該当する。

このように、明滅を繰り返している光源を利用して、光源色ベクトルを推定することができる。以下、その具体的な処理の例を示す。

図１８は光源色ベクトルを推定する処理の流れの一例を示すフローチャートである。図１８において、ステップＳ１２Ａが図１６のステップＳ１２に対応し、ステップＳ２１１〜Ｓ２１６が図１６のステップＳ２１に対応している。

まず、撮像装置２０が、光源状況が異なる複数の画像（光源変動画像）を撮像する（ステップＳ１１）。撮像された複数の画像は画像処理装置３０に与えられる。画像処理装置３０は、まず、画素ごとにＲＧＢ値の変動を検出することによって、輝度の時間変化を検出する（ステップＳ１２Ａ）。次に、画像上のある画素を選択し（ステップＳ２１１）、その画素に対応するすべての撮像時刻でのＲＧＢ値をＲＧＢ空間にプロットする（ステップＳ２１２）。こうしてプロットされたサンプリング点集合に対して主成分分析を行い、第１および第２主成分を抽出する（ステップＳ２１３）。（式１８）から、こうして求められた二つの主成分が張る平面は、ノイズが存在しない場合は、光源色ベクトルＳＬと物体固有色ベクトルＳＰ^ｄ _ｐとが張る平面と等しいことが分かる。ここで、例えば２個以上の画素の主成分分析処理がまだ終了していないときは（ステップＳ２１４でＮｏ）、画像上の別の画素を選択し（ステップＳ２１５）、選択した画素について主成分分析を行う。一方、２個以上の画素について主成分分析が終了しているときは（ステップＳ２１４でＹｅｓ）、それぞれの画素についての２つの主成分が張る空間の交線を求め、これを光源色ベクトル（光源のＲＧＢ値）として推定する（ステップＳ２１６）。

なおここでは、撮像装置２０としてＲＧＢカラーカメラを利用した場合を説明したが、もちろん、撮像装置２０はこれに限られるものではなく、例えば、さらに次元数の高い分光輝度計などを用いてもかまわない。

以上のように本実施形態によると、蛍光灯のような位置が固定した、輝度が時間的に変化する複数の光源であり、かつ光源色ベクトルが等しい光源を利用し、例えばその輝度変化周期に対して十分に短い露光時間で複数の画像を撮像し、輝度変化を検出することによって、複雑な設備を要することなく、光源色ベクトルを容易に推定することができる。

（第３の実施形態）
図１９は本発明の第３の実施形態に係る画像処理方法を実現するための構成を示す図である。図１９において、図１と共通の構成要素については、図１と同一の符号を付しており、ここでは詳細な説明を省略する。図１の構成と異なるのは、画像処理装置３０によって決定された撮像条件に従って、撮像装置２０の撮像条件を制御する撮像制御装置４０が設けられている点である。

図２０は本実施形態に係る画像処理方法の処理を示すフローチャートである。本実施形態では、実際に撮像を行う（ステップＳ３５）前に、光源情報を検出し、この光源情報を利用して、最適な撮像条件を設定する（ステップＳ３１〜Ｓ３４）。ステップ３５が撮像ステップに対応し、ステップＳ３６〜Ｓ３８が画像処理ステップに対応している。ここでは、画像処理として、移動物体の検出を行う例について説明する。

まず、撮像装置２０は、光源１１の輝度変化周期よりも短い露光時間で、複数枚の画像を撮像する（ステップＳ３１）。画像処理装置３０は、撮像された画像から、撮像環境内の光源情報を検出する（ステップＳ３２）。具体的には例えば、輝度が時間的に変化している光源１１の輝度変化周期を検出する。ここでは、光源１１として蛍光灯を利用する場合を例にとって説明する。

通常の蛍光灯は、交流周波数の２倍の周期で輝度変動が生じる。このため、観測される輝度は、図４の輝度値Ａ４のように時間によって変化する。そこで、得られた輝度値に対してサイン関数などをフィッティング処理することによって、光源の輝度変化周波数を求めることができる。このようなフィッティング処理は、Levenberg-Marquardt法などの最適化法を利用することで実現できる。

もちろん、カメラで光源自体を撮像し、その輝度変化から光源情報を検出してもかまわない。また、別途、通信手段を用いて、光源情報を画像処理装置３０に通知するようにしてもかまわない。このような処理は、上述の可視光通信を利用すると効果的である。すなわち、ＬＥＤ光源を利用する場合、光源は周期的に輝度を時間変調することによって光源情報を通信すればよい。

そして、ステップＳ３３において、光源状況が異なる複数の画像が撮像可能となるように、撮像装置２０の撮像条件、例えば、露光時間や撮像タイミング、撮像周期を設定する。

ここで、露光時間や撮像タイミングと、観測される輝度値との関係について、図面を用いて説明する。第１の実施形態で説明したように、蛍光灯照明下において、光源の輝度変化に対して十分短い露光時間で撮像を繰り返す（図３）と、その輝度値は図４のように時間的に変化する。

一方、図２１のように、光源の輝度変化Ｃ１に同期した撮像タイミングＣ２で（露光時間Ｃ３）撮像を行った場合、図２２に示すような輝度値Ｃ４が観測される。図２１および図２２から、光源の輝度変化Ｃ１に同期した撮像タイミングＣ２で撮像を行った場合、観測される輝度値Ｃ４は時間的に変化しないことが分かる。

また、図２３のように、光源の輝度変化Ｃ１に対して十分に長い露光時間Ｃ５で（撮像タイミングＣ６）撮像を行った場合、図２４に示すような輝度値Ｃ７が観測される。図２３および図２４から、光源の輝度変化Ｃ１に対して露光時間Ｃ５が十分に長い場合、輝度変化Ｃ１に対して積分効果がスムージング処理として働き、観測される輝度値Ｃ７がほとんど変化しないことが分かる。

以上のことから分かるように、輝度が時間的に変化するか否かは、露光時間や撮像タイミングの設定によって、決まる。

そこで、ステップＳ３３では、ステップＳ３２で検出された光源の輝度変化周期と異なる撮像周期と、光源の輝度変化周期に対して十分に短い露光時間とを設定する。すなわち、撮像周期Ｔｓは光源の輝度変化周期Ｔｌに対して、次の関係式を満たすように設定する。

ただし、ａは任意の正の整数である。これは、例えば、次のように設定すればよい。

ａ，ｂは任意の正の整数、ｃは全ての正の整数である。

また、ステップＳ３３では、露光時間や撮像タイミング等の撮像条件を決定するために、光源の輝度や、被写体と光源との距離、光源と撮像装置との距離などを利用してもかまわない。この点について、輝度変化の幅を考慮することを説明する。

輝度が時間的に変化する画像を撮像する場合、その輝度変化の幅が最適になるように、撮像条件を選択することが重要である。

図２５および図２６は蛍光灯照明下での被写体のある一点における輝度変化の例を示すグラフである。ここで、図２５は光源の輝度変化Ｄ１の幅が十分に大きい場合、図２６は光源の輝度変化Ｄ５の幅が十分に小さい場合である。両図において、縦軸の輝度値Ｅ１，Ｅ２、および横軸の時間ｔｄ１〜ｔｄ１１（撮像タイミングＤ２）はそれぞれ同じ輝度値、同じ時刻を示している。Ｄ３は露光時間、黒丸Ｄ４，Ｄ６は観測された輝度値である。

図２５と図２６とを対比すると分かるように、いずれも同じ撮像タイミングＤ２で撮像しているにも関わらず、光源の輝度変化Ｄ１，Ｄ５の幅が異なるため、観測される輝度値Ｄ４，Ｄ６は大きく異なる。図２５の場合、輝度変化Ｄ１の幅が十分に広いため、輝度値が十分に変化した複数の画像が撮像できる。一方、図２６の場合では、輝度変化Ｄ５の幅が小さいため、複数の画像における輝度の違いはさほど大きくない。この場合、撮像間隔を倍にし、例えば、時間ｔｄ１，ｔｄ３，ｔｄ５，ｔｄ７，ｔｄ９、ｔｄ１１のみで撮像するだけでも十分であるといえる。

通常、光源から離れれば離れるほど光量は低下するため、被写体の輝度変化幅は光源と被写体との距離に依存する。このため、被写体が光源から十分に近い場合は光量が十分であると判断し、撮像間隔を短くし、また、被写体が光源から十分遠い場合は光量が少ないと判断し、撮像間隔を長くするようにしてもかまわない。

もちろん、このように設定する撮像条件は撮像間隔に限られるものではない。例えば、露光時間であっても同様に設定できる。光量が少ない場合、画像は暗電流などのノイズに埋もれてしまい、ＳＮ比が劣化する。しかし、露光時間を伸ばすことができれば、ＳＮ比が改善することが知られている。このため、被写体が光源から十分に近い場合は光量が十分であると判断し、露光時間を短くし、また、被写体が光源から十分遠い場合は光量が少ないと判断し、露光時間を長くすればよい。

また図２７に示すように、撮像間隔（撮像タイミングＤ８）を光源の明滅間隔よりも長く設定してもかまわない。ここでは、上述のとおり、撮像周期Ｔｓを光源の輝度変化周期Ｔｌの整数分の１にならないように設定しているため、光源の明滅に対して位相が変化した状態で、撮像を行うことができる。これにより、観測される輝度値Ｄ９は大きく変化し、光源状況が異なる複数の画像を撮像することができる。

そして、撮像制御装置４０は、ステップＳ３３で決定された撮像条件に従って、撮像装置２０の撮像条件を設定する（ステップＳ３４）。撮像装置２０は、設定された撮像条件に従って、時系列的に複数回の撮像を行う（ステップＳ３５）。上述のように、露光時間や撮像タイミングは光源の輝度変化周期に基づいて設定されているため、撮像された複数の画像は、光源状況が異なる画像となる。

また、ステップＳ３１での撮像と異なり、ステップＳ３５での撮像では最適な撮像条件が設定されている。第１の実施形態で述べたように、通常、光源状況が異なる複数の画像を撮像するためには、撮像装置２０の露光時間を光源の輝度変化に比べて十分に短く設定すればよい。しかし、露光時間を短くし過ぎると、画像の暗電流などの影響が大きくなり、撮像画像のＳＮ比が劣化してしまう。画像処理を行うための画像は高ＳＮ比であることが望ましいため、本実施形態のように撮像条件を最適にすることは、効果が大きい。

ステップＳ３６において、画像処理装置３０はステップＳ３５で撮像された複数の画像から、上述のとおり、輝度の時間変化を検出する。そして、画像処理として、背景差分法を用いた移動物体の検出を行う。すなわち、輝度の時間変化から、後述する混合率を推定して背景画像を合成し（ステップＳ３７）、この背景画像とステップＳ３５で撮像した画像とを比較することによって、移動物体を検出する（ステップＳ３８）。

ここで、背景画像の合成について説明する。非特許文献１では、撮像画像の輝度を、時間変動が生じない光源の成分と、明るさが急激に変化する光源の成分とに分離し、その混合率を推定することによって、処理時の光源状況に応じた背景画像を作成する。これにより、影や光源の輝度変化の影響を受けることなく、移動物体の検出を行うことができる。具体的には、屋外環境において、観測される物体の色を、時間変動が生じない全天空光成分Ｌ１と、雲によって太陽直射光が遮られ、明るさが急激に変化する太陽直射光成分Ｌ２とからなるものと考え、（式２１）のようにその混合率を推定することによって、正確な背景画像の合成を行う。

ここで、Ｒ、Ｇ、Ｂは撮像された画像のＲ、Ｇ、Ｂ成分画像、Ｒ_１、Ｇ_１、Ｂ_１は成分Ｌ１におけるＲ、Ｇ、Ｂ成分画像、Ｒ_２、Ｇ_２、Ｂ_２は成分Ｌ２におけるＲ、Ｇ、Ｂ成分画像を示している。また、ｋは、それぞれの成分画像の混合率を示している。

この手法では、時間変動が生じない光源を全天空光成分Ｌ１、明るさが急激に変化する光源を太陽直射光成分Ｌ２としているが、これは屋外環境に限られるものではない。例えば、家庭内では照明として蛍光灯が用いられるが、この蛍光灯照明を、明るさが変化する光源成分Ｌ２として考えることができる。この場合、（式２１）の成分Ｌ２における成分画像Ｒ_２、Ｇ_２、Ｂ_２を求めるためには、この蛍光灯の輝度が変化した複数枚の画像を撮像しなければならない。通常、このようなパラメータ推定をするためには、正確さや信頼性を高めるため、複数のデータを利用し、最小自乗法や最尤推定法などを利用することが行われる。このときに利用されるデータは、サンプリングが偏らずに、変化幅が十分に広くかつ偏りのないものであることが望ましい。

本実施形態では、蛍光灯のような輝度が時間的に変化する光源を利用することによって、輝度が時間的に変化し、しかも十分な輝度変化が生じた光源変動画像を撮像することが可能である。さらに、輝度変化が十分に生じている光源変動画像を利用することによって、変化幅が十分に広くかつ偏りのないサンプリング点が得られるため、正確かつ信頼性高く背景画像を作成することができる。したがって、移動物体の検出処理の精度や信頼度も向上させることができる。

図２８は本実施形態において求められた画像処理結果の一例を示す図である。同図中、（ａ）は図６の構成において被写体ＯＢを撮影した入力画像（ステップＳ３１）、（ｂ）は検出された光源情報（ステップＳ３２）の模式図であり、（ａ）の入力画像における画素ｍ、ｎの輝度時間変化である。この輝度時間変化に対してＦＦＴ（Fast Fourier Transform）などの周波数解析を行うことによって、光源の明滅周波数を求める。こうして求まった光源の明滅周波数から最適な撮像条件を決定し（ステップＳ３３）、撮像装置２０に設定した（ステップＳ３４）後、再度、被写体ＯＢを撮像する（ステップＳ３５）。この結果、図２８（ｃ）のような入力画像が得られる。

ここで、図２８（ｄ）に示すように、最新の撮影画像には移動物体ＯＢ１が映っているものとする。一方、混合率を推定することによって、図２８（ｅ）のような現在の光源環境に合った背景画像を合成する（ステップＳ３６，Ｓ３７）。そして、図２８（ｄ）の画像と図２８（ｅ）の合成背景画像とを差分処理することによって、図２８（ｆ）に示すように移動物体ＯＢ１を検出することができる。

以上のように本実施形態によると、一般生活環境においても、輝度が時間的に変化する複数の光源を利用し、その輝度変化周期に対して最適な撮像条件で撮像した画像を用いて、混合率を推定し、背景差分法を行うことによって、影や光源の輝度変化の影響を受けない移動物体の検出を行うことができる。

また、ステップＳ３２において検出する光源情報は、光源の輝度変化周期に限られるものではなく、例えば、輝度変化幅や光源の位置情報であってもかまわない。

図２９は本実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。ここでは画像処理として、線形化処理のための画像の領域分割を行うものとする。図２９において、図２０のフローチャートと共通のステップについては、同一の符号を付してその詳細な説明は省略する。図２０との違いは、ステップＳ３６において輝度の時間変化を検出した後、領域分割を行うステップＳ３９を実行する点である。ステップＳ３６，Ｓ３９が画像処理ステップに対応している。

画像の線形化処理は、光源が平行光源であることを仮定している。平行光源とは、無限遠に置かれた点光源のことである。例えば、太陽光などが平行光源として考えられる。一方、家庭内の蛍光灯などは、広い方向に光を放射するため、近接点光源の集合として考えられる。このような近接点光源環境において画像の線形化処理を行うために、画像を分割する方法が知られている（例えば、「佐藤智，高田和豊，登一生，“近接照明下における画像の線形化の検討”,情報処理学会研究報告２００４−ＣＶＩＭ−１４５, ｐｐ．１５１−１５６, ２００４」を参照）。

この手法では、画像を処理領域に分割し、処理領域ごとに画像の線形化を行う。そして、領域間で線形化係数組に強い相関があることを利用し、線形化が難しい処理領域においても処理を行う。さらに、領域分割方法を変更しながら基底画像を合成することによって、近接照明下においても画像の線形化を行うことが可能である。

この場合、画像の分割をどのように行うかが問題となるが、「岡部孝弘，佐藤洋一， “近接光源下における物体の見えの近似のための画像分割とその効果”，電子情報通信学会技術報告，ＰＲＭＵ２００４―１４８, pp.85-90, 2004」によれば、このような画像分割において、その領域の大きさは、光源に近い領域ほど小さくすればよいことが示されている。すなわち、光源と画面上の各点との距離を求めることで、よりよい領域分割を行うことが可能である。本実施形態では、ステップＳ３９において、このような最適な領域分割を行うことができる。

通常、被写体に照射される光量は、光源から遠ざかるほど減少することが知られている。図３０および図３１を用いて、光源との距離が異なる被写体の２点の輝度変化について説明する。いま図３０（ａ）のように、撮像装置２０、光源１１および被写体ＯＢが設置されており、光源１１の輝度は時間的に変化しているものとする。図３０（ｂ）はこのときに撮像された画像を示す。図３０（ｂ）において、光源１１は右手前から照射している。そのため、被写体右側の画素Ｃは左側の画素Ｄに比べ、光源１１との距離が近い。図３１（ａ）は画素Ｃと画素Ｄの輝度変化Ｌｃ，Ｌｄを示す。図３１（ａ）から、画素Ｃと画素Ｄとでは輝度変化幅が大きく異なることが分かる。すなわち、輝度変化は光源と被写体との距離に依存しており、その距離が近ければ変化幅は大きく、その距離が遠ければ変化幅は小さい。

したがって、ステップＳ３２において光源の輝度変化周期を検出する際に、輝度変化幅を画素ごとに検出する。そして、変化幅が大きい領域は領域分割を密に、一方、変化幅が小さい領域は領域分割を粗く行うことによって、より良い領域分割を行うことができる。図３１（ｂ）は図３０（ｂ）の画像に対して領域分割を行った結果を示す図である。このような領域分割を行うことによって、画像の線形化処理をより正確に行うことができる。

なお、ステップＳ３２において検出する光源情報は、光源の輝度変化に関するものに限られるものではない。例えば、時間的に変化している光源の色ベクトルを検出するようにしてもかまわない。例えばＲＧＢカラーカメラでは、画像信号は、プリズムやカラーフィルタなどを通してＲＧＢ信号などに分解された後、光電変換素子によって電気信号として検出される。このため、検出される輝度値は、プリズムやカラーフィルタの特性とカメラへの入射光の色ベクトルとの積となる。すなわち、入射光の色ベクトルが時間的に変化した場合、被写体の輝度値も時間的に変化するため、この結果、光源の輝度値が時間的に変化した画像を撮像することができる。

（第４の実施形態）
図３２は本発明の第４の実施形態に係る画像処理方法の処理を示すフローチャートである。図３２において、図２に示す第１の実施形態の画像処理方法と共通のステップについては、同一の符号を付しており、ここではその詳細な説明は省略する。また、本実施形態に係る構成は図１に示す第１の実施形態の構成と同様であり、説明は省略する。

本実施形態では、画像処理装置３０は、ステップＳ４１において、ステップＳ１１で撮像した複数の画像の光源状況が互いに異なっているか否かを、ステップＳ１２で検出した各対応点の輝度値の時間変化を用いて判断する。そして、複数の画像のうち、光源状況が異なっている画像を光源変動画像として保持し（ステップＳ４２）、それ以外の画像を破棄する（ステップＳ４３）。そして、保持された光源変動画像を用いて、画像処理を行う（図示せず）。ステップＳ１１が撮像ステップに対応し、ステップＳ１２が輝度変化検出ステップに対応し、ステップＳ４１〜Ｓ４３が画像判断ステップに対応している。

図３３は輝度が時間的に変化する光源を用いた場合における輝度値の変化を示す図である。図３３において、Ｅ１は被写体のある一点の輝度変化、Ｅ２，Ｅ３はそれぞれ撮像装置２０の撮像タイミングおよび露光時間である。また、Ｅ４は観測される輝度値である。図３３から分かるように、撮像をランダムに行うことによって、輝度が異なる画像を撮像することは可能である。ところが、時間ｔｅ’6、ｔｅ’7のように、光源の明滅に対して同位相で撮像を行ってしまい、輝度値Ｅ４がほぼ同じとなる画像が撮像されることもあり得る。

そこで、ステップＳ４１では、撮像された複数の画像から、このような光源の明滅に対して同位相で撮像された画像を検出し、排除する。これは、ステップＳ１２によって検出された、画像上の１点または複数点の輝度変化を観測することによって実行できる。ここでは、画像内からｍ点の画素を選択し、その輝度値を利用して画像変化を検出する方法を説明する。

ｋ枚目の画像のｍ点の輝度値を、次のようにベクトルとして考える。

ここで、ｉ_ｋ（ｐ）は、ｋ枚目の画像の画素ｐにおける輝度値を示している。ここで、ステップＳ１２によって検出されるｋ枚目の画像を、以下の評価関数Ｅｖ（ｉ’_ｋ）に従って評価する。

もし、評価関数Ｅｖ（ｉ’_ｋ）の値が十分に大きい場合（ステップＳ４１でＹｅｓ）、輝度変化が生じていると判断し、ｋ枚目の画像を光源変動画像として保持する。一方、もし評価関数Ｅｖ（ｉ’_ｋ）の値が十分に大きくない場合（ステップＳ４１でＮｏ）、輝度変化が生じていないと判断し、ｋ枚目の画像を廃棄する。

すでに述べたように、撮像条件の設定によって、輝度が時間的に変化する画像を撮像することは可能であるが、図３３の時間ｔｅ’6、ｔｅ’7のように、光源の明滅に対して同位相で撮像を行ってしまい、光源状況が同じ画像を撮像してしまうことはあり得る。これに対して本実施形態では、すでに撮像した画像と光源状況が同じ画像を廃棄することができる。

このようにして求めた光源変動画像に対して、上述の各実施形態で説明したような、画像の線形化や光源色ベクトル推定、背景差分法などの処理を行えばよい。

以上のように本実施形態によると、輝度が時間的に変化する光源を利用し、撮像した画像における光源状況の異同を検出することによって、撮像間隔や撮像タイミングを考慮しなくても、光源変動画像を取得することができる。このため、一般生活環境においても、影や光源の輝度変化の影響を受けない画像処理を行うことができる。

（第５の実施形態）
図３４は本発明の第５の実施形態に係る画像処理方法を実現するための構成を示す図である。図３４において、図１と共通の構成要素については、図１と同一の符号を付しており、ここでは詳細な説明を省略する。図１の構成と異なるのは、輝度が時間的に変化する複数の光源１１を制御する光源制御装置５０が設けられている点である。

図３５は本実施形態に係る画像処理方法の処理を示すフローチャートである。図３５において、第４の実施形態における図３２のフローチャートと共通のステップについては、同一の符号を付してその詳細な説明は省略する。

本実施形態では、第４の実施形態の各ステップに加えて、さらに光源１１の輝度の時間変動を制御するステップＳ５１を有する。ステップＳ５１では、光源１１を制御することによって、光源１１の輝度や位置が変化した環境を生成する。

従来では、例えば図３６のような撮像システムにおいて、撮像装置２０２が光源２０４の輝度変化に同期して撮像を行うことによって、光源の位置や輝度が変化した光源変動画像を撮像していた。これに対して本実施形態では、輝度が時間的に変化する光源１１を利用し、撮像装置２０は光源１１の変化とは同期を取らず、ランダムに撮像を行う。

すでに述べたように、撮像条件の設定によって、輝度が時間的に変化する画像を撮像することは可能であるが、図３３の時間ｔｅ’6、ｔｅ’7のように、光源の明滅に対して同位相で撮像を行ってしまい、光源状況が同じ画像を撮像してしまうことはあり得る。これに対して本実施形態では、すでに撮像した画像と光源状況が同じ画像を廃棄することができる。

このようにして求めた光源変動画像に対して、上述の各実施形態で説明したような、画像の線形化や光源色ベクトル推定、背景差分法などの処理を行えばよい。

以上のように本実施形態によると、輝度が時間的に変化する光源を利用し、光源の時間変動を制御するとともに、撮像した画像における光源状況の異同を検出することによって、撮像間隔や撮像タイミングを考慮しなくても、光源変動画像を取得することができる。このため、一般生活環境においても、影や光源の輝度変化の影響を受けない画像処理を行うことができる。

なお、上述の各実施形態に係る画像処理は、コンピュータにプログラムを実行させることによって、実行することが可能である。

本発明では、同期処理など複雑な制御が不要で、かつ、大規模な設備も必要とせずに、いわゆる光源変動画像を容易に取得することができる。このため、デジタルアーカイブなどのための情報取得や、家庭内など環境が複雑な一般生活環境においてのモデル化などに特に有効である。また、大きな被写体の光源変動画像を撮像する場合にも有効である。

さらに、本発明では、一般生活環境において問題となる、複数光源による影や光源の輝度変化の影響を受けずに、画像処理を行うことができる。このため、一般生活環境において、ロボットや自動車などの画像処理装置や認証装置等として有用である。

本発明の第１の実施形態に係る画像処理方法を実現するための構成を示す図である。 本発明の第１の実施形態に係る画像処理方法の処理を示すフローチャートである。 輝度変化が生じる光源の影響について説明するための概念図である。 図３の状況において観測される輝度値を示す図である。 図３の状況において、撮像タイミングをランダムに設定した場合を示す図である。 光源が複数存在する場合の影の振る舞いについて説明するための図である。 光学現象である拡散反射、鏡面反射および影の関係を示す概念図である。 光源と撮像装置、被写体の法線方向の関係を示す概念図である。 光学特性に基づく領域分割の基準を示すグラフである。 蛍光灯の発光パターンを説明するための図である。 蛍光灯の発光パターンを説明するための図である。 本発明の第１の実施形態において求められた画像処理結果の一例を示す図である。 図１２の結果を利用して得られた、光学特性に基づく領域分割の例である。 本発明の第１の実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。 本発明の第１の実施形態において求められた画像処理結果の一例を示す図である。 本発明の第２の実施形態に係る画像処理方法の処理を示すフローチャートである。 光源色ベクトルの推定方法を説明するための概念図である。 本発明の第２の実施形態における光源色ベクトルの推定処理の流れを示すフローチャートである。 本発明の第３の実施形態に係る画像処理方法を実現するための構成を示す図である。 本発明の第３の実施形態に係る画像処理方法の処理を示すフローチャートである。 光源の輝度変化に同期した撮像タイミングで撮像を行う場合を示す概念図である。 図２１の状況において、観測された輝度値を示す図である。 光源の輝度変化に対して十分に長い露光時間で撮像を行う場合を示す概念図である。 図２３の状況において、観測された輝度値を示す図である。 光源の輝度変化の幅が大きい場合の、被写体における輝度変化の例を示す図である。 光源の輝度変化の幅が小さい場合の、被写体における輝度変化の例を示す図である。 撮像間隔を光源の明滅間隔よりも長く設定した例を示す概念図である。 本発明の第３の実施形態において求められた画像処理結果の一例を示す図である。 本発明の第３の実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。 光源からの距離と輝度変化幅との関係とそれに基づいた領域分割を説明するための概念図である。 光源からの距離と輝度変化幅との関係とそれに基づいた領域分割を説明するための概念図である。 本発明の第４の実施形態に係る画像処理方法の処理を示すフローチャートである。 輝度が時間的に変化する光源を用いて、撮像をランダムに行った場合を示す概念図である。 本発明の第５の実施形態に係る画像処理方法を実現するための構成を示す図である。 本発明の第５の実施形態に係る画像処理方法の処理を示すフローチャートである。 従来の、光源の輝度や位置が変化した画像を撮像するための撮像システムの構成を示す図である。 従来の、光源の輝度や位置が変化した画像を撮像するための撮像方法を示す図である。

符号の説明

１１，１１ａ，１１ｂ 光源
２０ 撮像装置
３０ 画像処理装置
４０ 撮像制御装置
５０ 光源制御装置
ＯＢ 被写体

Claims (3)

1. 位置固定で発光レベルが時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、
   前記撮像ステップにおいて撮像された複数の画像を用いて、画像処理を行う画像処理ステップとを備え、
   前記画像処理ステップは、
   前記複数の画像における複数の対応点について、それぞれ、輝度の変化幅を求めるステップと、
   前記各対応点について求めた輝度変化幅を用いて、前記光源との距離に基づいた領域分割を行うステップとを備えたものである
   ことを特徴とする画像処理方法。
2. 位置固定で発光レベルが時間的に変化する光源下において、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像装置と、
   前記撮像装置によって撮像された複数の画像を用いて、画像処理を行う画像処理装置とを備え、
   前記画像処理装置は、
   前記複数の画像における複数の対応点について、それぞれ、輝度の変化幅を求め、
   前記各対応点について求めた輝度変化幅を用いて、前記光源との距離に基づいた領域分割を行うものである
   ことを特徴とする画像処理システム。
3. コンピュータに画像処理を実行させるプログラムであって、
   位置固定で発光レベルが時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、
   前記撮像ステップにおいて撮像された複数の画像を用いて、画像処理を行う画像処理ステップとをコンピュータに実行させるものであり、
   前記画像処理ステップは、
   前記複数の画像における複数の対応点について、それぞれ、輝度の変化幅を求めるステップと、
   前記各対応点について求めた輝度変化幅を用いて、前記光源との距離に基づいた領域分割を行うステップとを備えたものである
   ことを特徴とする画像処理プログラム。

Images