JP5010013B2

JP5010013B2 - オプティカルフロー推定装置及びオプティカルフロー推定方法

Info

Publication number: JP5010013B2
Application number: JP2010122382A
Authority: JP
Inventors: 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-05-28
Filing date: 2010-05-28
Publication date: 2012-08-29
Anticipated expiration: 2030-05-28
Also published as: JP2011248704A

Description

本発明は、撮影された観測画像から反射表面を有する観測対象のオプティカルフローを推定する技術に関する。

実環境センシングにおいて、カメラ撮影により得られた動画像から対象の動きを動画解析する手法は、基本的な動き検出手段である（非特許文献１参照）。カメラにより撮影された画像を用いる利点は、対象にセンサを装着できない場合、非接触状態で観測する場合、広域範囲を同時に見渡すことを要する場合にある。

そのような動画解析手法の一つに、オプティカルフロー法を挙げることができる。オプティカルフロー法とは、時間的に連続する複数の画像を利用して、画像の速度場を求めてベクトル集合で表現する方法であり、撮影された画像内に写された対象の動き（オプティカルフロー）を検出することができる。

ディジタル画像処理編集委員会、「ディジタル画像処理」、第2版、日本、財団法人画像情報教育振興委員会（ＣＧ−ＡＲＴＳ協会）、2006年3月1日、p.49-57、64-68、279-282 武川直樹、「動画像解析における光学モデル」、電子情報通信学会、Vol.J77-D-II、No.4、1994年、p.711-718 「共役勾配法」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年5月21日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E5%85%B1%E5%BD%B9%E5%8B%BE%E9%85%8D%E6%B3%95> 「最急降下法」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年5月21日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E6%9C%80%E6%80%A5%E9%99%8D%E4%B8%8B%E6%B3%95>

しかしながら、環境外乱の影響により、安定した動き推定や解析が阻害されることが多い。その要因の一つに、雨や霧等の発生によって周囲の湿度が高くなり、対象の表面や背景が乾いた状態から濡れた状態に変化することが挙げられる。

従来のオプティカルフロー法は、撮影される観測対象の表面が乾いた状態であることを前提としているため、濡れた面を有する観測対象の動きを検出できないという問題があった。

なお、非特許文献２には拡散反射モデルに基づく動き検出法が開示されているが、その拡散反射モデルは画像間の輝度変動にのみ利用され、画像の輝度に対する直接的な光学モデルとしては利用されていない。また、動きを検出する際に使用されるモデルパラメータが増加した場合には、計算の収束性が低下するものである。また、ミリ波レーダ等の特殊で高価な装置を用いて表面状態を検出可能ではあるが、一般的で安価なカメラ画像を用いることが切望されている。

本発明は、上記を鑑みてなされたものであり、反射表面を有する観測対象のオプティカルフローを推定することを課題とする。

請求項１に記載のオプティカルフロー推定装置は、反射表面を有する観測対象を写した観測画像を入力する入力手段と、入力された前記観測画像を記憶する記憶手段と、前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された前記光学モデルをオプティカルフロー法の拘束条件に適用し、適用された前記拘束条件からオプティカルフローを推定する目的関数を導出して、前記目的関数を最小化問題として解くことにより、前記観測対象のオプティカルフローを推定する推定手段と、を有し、前記推定手段は、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ）（但し、Ｋ _ｄ，Ｋ _ｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）で定義し、定義された前記光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ _ｘＩ（ｘ，ｙ，ｔ）＝Ｉ _ｘ＝∂ _ｘ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］、∂ _ｙＩ（ｘ，ｙ，ｔ）＝Ｉ _ｙ＝∂ _ｙ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］、∂ _ｔＩ（ｘ，ｙ，ｔ）＝Ｉ _ｔ＝∂ _ｔ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］）をそれぞれ導出し、前記オプティカルフロー法の拘束条件（Ｉ _ｘｕ＋Ｉ _ｙｖ＋Ｉ _ｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ _{（ｉ，ｊ）∈Ω} ［Ｉ _ｘｕ＋Ｉ _ｙｖ＋Ｉ _ｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、前記観測画像における任意の画素の位置，前記観測画像の一定画像領域）を導出し、前記各１次微分と前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを前記目的関数に代入して最小化問題として解くことにより、前記観測対象の表面状態と前記観測対象のオプティカルフロー（ｕ，ｖ）とを推定することを特徴とする。

本発明によれば、観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された光学モデルをオプティカルフロー法の拘束条件に適用し、適用された拘束条件からオプティカルフローを推定する目的関数を導出して、目的関数を最小化問題として解くことにより、観測対象のオプティカルフローを推定するため、反射表面を有する観測対象のオプティカルフローを推定することができる。

本発明によれば、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋ_ｄｃｏｓθ＋Ｋ_ｓ（ｃｏｓθ）^ｎ）（但し、Ｋ_ｄ，Ｋ_ｓ，θ，ｎは、それぞれ、任意の位置における、拡散反射係数，鏡面反射係数，観測対象の表面の法線ベクトルと反射光とのなす角，ｎは１以上の自然数）で定義し、定義された光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂_ｘＩ（ｘ，ｙ，ｔ）＝Ｉ_ｘ＝∂_ｘ［Ｋ_ｄｃｏｓθ＋Ｋ_ｓ（ｃｏｓθ）^ｎ］、∂_ｙＩ（ｘ，ｙ，ｔ）＝Ｉ_ｙ＝∂_ｙ［Ｋ_ｄｃｏｓθ＋Ｋ_ｓ（ｃｏｓθ）^ｎ］、∂_ｔＩ（ｘ，ｙ，ｔ）＝Ｉ_ｔ＝∂_ｔ［Ｋ_ｄｃｏｓθ＋Ｋ_ｓ（ｃｏｓθ）^ｎ］）をそれぞれ導出し、オプティカルフロー法の拘束条件（Ｉ_ｘｕ＋Ｉ_ｙｖ＋Ｉ_ｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ_{（ｉ，ｊ）∈Ω}［Ｉ_ｘｕ＋Ｉ_ｙｖ＋Ｉ_ｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、観測画像における任意の画素の位置，観測画像の一定画像領域）を導出し、各１次微分と観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを目的関数に代入して最小化問題として解くことにより、観測対象の表面状態と観測対象のオプティカルフロー（ｕ，ｖ）とを推定するため、観測対象の表面特性とオプティカルフローとを同時に推定することができる。

請求項２に記載のオプティカルフロー推定装置は、請求項１に記載のオプティカルフロー推定装置において、前記推定手段は、前記拡散反射係数及び前記鏡面反射係数に係る拘束条件と、前記オプティカルフローの滑らかさに係る拘束条件とを前記目的関数に適用することを特徴とする。

本発明によれば、拡散反射係数及び鏡面反射係数に係る拘束条件と、オプティカルフローの滑らかさに係る拘束条件とを目的関数に適用するため、目的関数計算の収束性を高めることができる。

請求項３に記載のオプティカルフロー推定装置は、請求項１又は２に記載のオプティカルフロー推定装置において、前記推定手段は、前記観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、前記拡散反射係数に対するよりも前記鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、前記鏡面反射係数に対するよりも前記拡散反射係数に対して高い重み付けを行うことを特徴とする。

本発明によれば、観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、拡散反射係数に対するよりも鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、鏡面反射係数に対するよりも拡散反射係数に対して高い重み付けを行うため、目的関数計算の収束性を更に高めることができる。

請求項４に記載のオプティカルフロー推定方法は、コンピュータにより、反射表面を有する観測対象を写した観測画像を入力する第１のステップと、入力された前記観測画像を記憶手段に記憶する第２のステップと、前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された前記光学モデルをオプティカルフロー法の拘束条件に適用し、適用された前記拘束条件からオプティカルフローを推定する目的関数を導出して、前記目的関数を最小化問題として解くことにより、前記観測対象のオプティカルフローを推定する第３のステップと、を有し、前記第３のステップは、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ）（但し、Ｋ _ｄ，Ｋ _ｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）で定義し、定義された前記光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ _ｘＩ（ｘ，ｙ，ｔ）＝Ｉ _ｘ＝∂ _ｘ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］、∂ _ｙＩ（ｘ，ｙ，ｔ）＝Ｉ _ｙ＝∂ _ｙ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］、∂ _ｔＩ（ｘ，ｙ，ｔ）＝Ｉ _ｔ＝∂ _ｔ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］）をそれぞれ導出し、前記オプティカルフロー法の拘束条件（Ｉ _ｘｕ＋Ｉ _ｙｖ＋Ｉ _ｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ _{（ｉ，ｊ）∈Ω} ［Ｉ _ｘｕ＋Ｉ _ｙｖ＋Ｉ _ｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、前記観測画像における任意の画素の位置，前記観測画像の一定画像領域）を導出し、前記各１次微分と前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを前記目的関数に代入して最小化問題として解くことにより、前記観測対象の表面状態と前記観測対象のオプティカルフロー（ｕ，ｖ）とを推定することを特徴とする。

請求項５に記載のオプティカルフロー推定方法は、請求項４に記載のオプティカルフロー推定方法において、前記第３のステップは、前記拡散反射係数及び前記鏡面反射係数に係る拘束条件と、前記オプティカルフローの滑らかさに係る拘束条件とを前記目的関数に適用することを特徴とする。

請求項６に記載のオプティカルフロー推定方法は、請求項４又は５に記載のオプティカルフロー推定方法において、前記第３のステップは、前記観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、前記拡散反射係数に対するよりも前記鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、前記鏡面反射係数に対するよりも前記拡散反射係数に対して高い重み付けを行うことを特徴とする。

本発明によれば、反射表面を有する観測対象のオプティカルフローを推定することができる。

オプティカルフロー推定装置の機能ブロック構成を示す図である。拡散反射及び鏡面反射に関する光学モデルの一例を示す図である。観測画像内において大きさの異なる画像領域の平均輝度値を示す図である。本手法と従来法とに基づくオプティカルフロー推定結果を示す図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。

図１は、本実施の形態に係るオプティカルフロー推定装置の機能ブロック構成を示す図である。このオプティカルフロー推定装置１は、画像入力部１１と、データ蓄積部１２と、オプティカルフロー推定部１３と、推定結果表示部１４とで構成されている。

画像入力部１１は、カメラ（不図示）により撮影され、濡れた表面を有する観測対象を写した１枚以上の観測画像の入力を受け付けて、オプティカルフロー推定装置１の内部に入力する機能を有している。

データ蓄積部１２は、画像入力部１１で受付・入力された観測画像を読み出し可能に記憶する機能を有している。

オプティカルフロー推定部１３は、観測画像をデータ蓄積部１２から取得し、その観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された光学モデルをオプティカルフロー法の拘束条件に適用し、適用された拘束条件からオプティカルフローを推定する目的関数を導出して、導出した目的関数を最小化問題として解くことにより、観測対象の表面状態やオプティカルフローを推定する機能を有している。

推定結果表示部１４は、オプティカルフロー推定部１３によって推定された観測対象の表面状態やオプティカルフローを画面に表示する機能を有している。

なお、本実施の形態では、観測対象の表面が濡れた状態であることを一例に説明するが、カメラ撮影された観測画像内の観測対象が反射表面を有していればよい。

次に、オプティカルフロー推定部１３について詳細に説明する。本実施の形態では、図２に示すように、拡散反射Ｄ及び鏡面反射Ｓに関する光学モデルを利用している。太陽光等の光源３１からの入射光Ｌ_ｉと観測対象３２の表面の位置Ｐでの法線ベクトルＮとのなす角（入射角）をθとし、その位置Ｐにおける拡散反射Ｄの拡散反射係数（拡散反射率）をＫ_ｄ、鏡面反射Ｓの鏡面反射係数（鏡面反射率）をＫ_ｓとすると、オプティカルフロー推定装置１に接続されたカメラ３３で撮影される観測画像の画素の輝度値Ｉ（ｘ，ｙ）を、位置Ｐにおいて、式（１）で定義することができる。但し、ｎは１以上の自然数であり、後述するように鏡面反射強度に相当している。

なお、カメラ３３で撮影される観測対象３２は位置Ｐの集合であり、拡散反射係数Ｋ_ｄ、鏡面反射係数Ｋ_ｓ、入射角θは、各位置Ｐで異なっている。ゆえに、観測画像の画素の位置（ｘ，ｙ）との関係で言えば、式（１）の右辺の各変数は、Ｋ_ｄ＝Ｋ_ｄ（ｘ，ｙ）、Ｋ_ｓ＝Ｋ_ｓ（ｘ，ｙ）、θ＝θ（ｘ，ｙ）で表現され、位置に応じて異なる値を有している。また、反射の法則より、入射角θに代えて、入射角θの角度と同じ角度を有する、法線ベクトルＮと反射光Ｌｒとのなす角（反射角）を利用してもよい。

式（１）において、拡散反射係数Ｋ_ｄが大きい場合には、観測対象３２の表面は全体的に一様に広がるような状態となり、光強度は光源３１よりも小さくなる。一方、鏡面反射係数Ｋ_ｓが大きい場合には、観測対象３２の表面はスポットライトのような点に近い状態となり、光源３１の光強度に近づく。特に、ｎの値が大きくなるほど鏡面反射の程度が強くなることを示している。

次に、定義された式（１）に時間成分を含めて、画素の位置（ｘ，ｙ）に関する輝度の１次微分（∂_ｘＩ＝Ｉ_ｘ，∂_ｙＩ＝Ｉ_ｙ）と、時間ｔに関する輝度の１次微分（∂_ｔＩ＝Ｉ_ｔ）とをそれぞれ導出する（以下、式（２）〜式（４）参照）。

なお、式（２）〜式（４）の各変数に対して離散化を施し、離散近似して計算することも可能である。例えば、観測画像上の任意の画素の位置を（ｉ，ｊ）とし、時間をｍとすると、拡散反射係数Ｋ_ｄのｘ方向の空間１次微分は、有限差分法を用いて式（５）のように離散近似することができる。ｙ方向又はｔ方向の空間１次微分や、鏡面反射係数Ｋ_ｓ、入射角θ（又は反射角θ）についても同様である。

一方、オプティカルフロー法における基本的な拘束条件は、画像の画素の位置（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ）に時間成分を含めたＩ（ｘ，ｙ，ｔ）において、その位置（ｘ，ｙ）に関する輝度の１次微分を∂_ｘＩ＝Ｉ_ｘ，∂_ｙＩ＝Ｉ_ｙとし、時間ｔに関する１次微分を∂_ｔＩ＝Ｉ_ｔとし、推定するオプティカルフローを（ｕ，ｖ）とすると、以下の式（６）で与えられる。

但し、ｑは時系列画像間の輝度変動量であり、ｑ＝０の場合には、画像間で観測対象の輝度変動はなく一定であることを条件として計算される。また、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，ｙ方向成分である。

そして、式（６）から、オプティカルフローを推定するための目的関数を導出する（式（７）参照）。

但し、（ｉ,ｊ）,Ω，ｕ_ｘ，ｕ_ｙ，ｖ_ｘ，ｖ_ｙは、それぞれ、観測画像における任意の画素の位置，観測画像の一定画像領域，ｕのｘ方向に関する空間１次微分，ｕのｙ方向に関する空間１次微分，ｖのｘ方向に関する空間１次微分，ｖのｙ方向に関する空間１次微分である。

なお、（Ｋ_ｄ＋Ｋ_ｓ−１）^２は、拡散反射係数Ｋ_ｄ及び鏡面反射係数Ｋ_ｓに関する拘束条件である。反射特性は、拡散反射係数Ｋ_ｄ及び鏡面反射係数Ｋ_ｓの２つの係数のバランスに基づいていることから、Ｋ_ｄ＋Ｋ_ｓ≒１であることを考慮したものである。また、（ｕ_ｘ＋ｕ_ｙ＋ｖ_ｘ＋ｖ_ｙ）^２は、オプティカルフローの滑らかさに関する拘束条件である。このような２つの拘束条件を与えることにより、式（７）の計算の収束性を高めることができる。これら２つの拘束条件を使用しないことも可能である。

そして、式（２）〜式（４）の各１次微分と、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを式（７）の目的関数に代入して最小化問題として解くことにより、拡散反射係数Ｋ_ｄ、鏡面反射係数Ｋ_ｓ、入射角θ（又は反射角θ）、鏡面反射強度ｎ、オプティカルフローのｘ方向成分ｕ、オプティカルフローのｙ方向成分ｖの各値をそれぞれ推定する。Ｋ_ｄ、Ｋ_ｓ、θ、ｎの各推定値から、観測対象の表面状態が得られ、ｕ、ｖの各推定値から、観測対象のオプティカルフローが得られる。

なお、最小化計算をする際の必要条件として、式（８）を与えるものとする。

ここで、このような最小化計算は公知の計算方法を用いて解くことができる。例えば、最小二乗法を用いることができる。最小二乗法については様々な数値解法が知られているが、共役勾配法や最急降下法等を適用することができる（非特許文献３，４参照）。代表的な最急降下法では、例えば、拡散反射係数Ｋ_ｄを以下の式（９）を用いて最小化計算をすることが可能である。但し、ｐは反復回数であり、ｈは収束調整係数である。他の変数についても同様である。

例えば、反復回数ｐを２０、収束調整係数ｈを０．０１、６つのパラメータの初期値を０（ゼロ）に設定しておき、各計算式をそれぞれ反復計算することにより、拡散反射係数Ｋ_ｄ、鏡面反射係数Ｋ_ｓ、入射角θ（又は反射角θ）、鏡面反射強度ｎ、オプティカルフローのｘ方向成分ｕ、オプティカルフローのｙ方向成分ｖをそれぞれ計算する。

なお、実環境上でカメラ撮影された観測画像には環境外乱やノイズが含まれているため、ロバスト統計学に基づいた非線形最小二乗法を用いることも可能であり、効果的である。

以上より、観測対象の表面状態及びオプティカルフローを推定することができるが、式（７）の計算の収束性を更に高めるために、拡散反射係数Ｋ_ｄ及び鏡面反射係数Ｋ_ｓに対して観測画像の輝度の大きさに応じた重み付けを行う。これは、鏡面反射は拡散反射よりも狭い領域で輝度が高く、拡散反射は鏡面反射よりも広い領域で一様又は緩やかに変化する輝度をもたらす性質を利用するものである。

具体的には、観測画像から２×２画素の画像領域と１０×１０画素の画像領域とを選択し、各画像領域の平均輝度値を計算する。そして、２×２画素の画像領域の平均輝度値の方が高い場合には、鏡面反射領域の候補となるように、鏡面反射係数Ｋ_ｓに対して高い重み付けを行い、１０×１０画素の画像領域の平均輝度値の方が高い場合には、拡散反射領域の候補となるように、拡散反射係数Ｋ_ｄに対して高い重み付けを行う。

なお、重み付けについては、０〜２５５の範囲の平均輝度値を用いるようにしてもよい。画像の輝度値Ｉ（ｘ，ｙ，ｔ）に対してｗ＝Ｉ（ｘ，ｙ，ｔ）／２５５を計算し、大きさの異なる２つの画像領域毎に、拡散反射係数Ｋ_ｄ及び鏡面反射係数Ｋ_ｓに対して、Ｋ_ｄ×ｗ、Ｋ_ｓ×ｗとする重み付けを行う。

次に、オプティカルフロー推定装置１の処理フローについて説明する。最初に、画像入力部１１により、カメラによって撮影され、濡れた表面を有する観測対象を写した１枚以上の観測画像が入力される（Ｓ１）。

次いで、データ蓄積部１２により、Ｓ１で入力された観測画像が読み出し可能に記憶される（Ｓ２）。

次いで、オプティカルフロー推定部１３により、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）が式（１）の光学モデルで定義され、定義された光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）及び時間ｔに関する式（２）〜式（４）に示された輝度の１次微分がそれぞれ導出され、式（６）のオプティカルフロー法の拘束条件から式（７）の目的関数を導出し、式（２）〜式（４）の各１次微分と観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とが上記目的関数に代入されて最小化問題として解かれることにより、６つのパラメータ（Ｋ_ｄ、Ｋ_ｓ、θ、ｎ、ｕ、ｖ）の値がそれぞれ推定され、観測対象の表面状態（Ｋ_ｄ、Ｋ_ｓ、θ、ｎ）とオプティカルフロー（ｕ，ｖ）とが推定される（Ｓ３）。

最後に、推定結果表示部１４により、Ｓ３の推定結果が画面に表示される（Ｓ４）。

図３は、観測画像内において大きさの異なる画像領域の平均輝度値を示す図である。観測画像３４から２×２画素の画像領域における平均輝度値を求めた結果、画像領域５０ａでは高い輝度を示し、同じ大きさの画像領域５０ｂでは低い輝度を示した。また、１０×１０画素の画像領域７０では、やや高い輝度を示した。このことから、２×２画素の画像領域５０ａが鏡面反射領域であり、２×２画素の画像領域５０ｂと１０×１０画素の画像領域７０とが拡散反射領域であると推定できた。

図４は、本手法と従来法とに基づくオプティカルフロー推定結果を示す図である。図４（ａ）に示すような濡れた面のある画像３４を人工的に生成し、２つの時刻間で画像３４を画面の右方向に等速直線運動で平行移動させた場合、本手法によれば、推定されたオプティカルフローを表現している矢印は右方向に揃う状態で表示された（同図（ｂ）参照）。一方、従来法によれば、表示された矢印は右方向を示しているが、乱れた状態で表示された（同図（ｃ）参照）。これにより、本手法の有効性が示されたと言える。

最後に、拡散反射Ｄ及び鏡面反射Ｓに関する光学モデルは、オプティカルフロー推定部１３が用いる光学モデルの一例であり、観測対象の表面状態やオプティカルフローを推定可能であれば他の光学モデルを用いることも可能である。

また、本実施の形態で説明したオプティカルフロー推定装置１は、マルチメディア分野、符号化分野、通信分野、非破壊検査分野、実環境におけるモニタリングや画像センシング，映像製作等に関する産業分野に適用することが可能である。

また、本実施の形態で説明したオプティカルフロー推定装置１は、コンピュータで構成される。すなわち、データ蓄積部１２は、メモリ等の記憶手段で実現される。また、画像入力部１１と、オプティカルフロー推定部１３と、推定結果表示部１４とは、ＣＰＵ等の演算手段で実現され、プログラムで実行される。

また、本実施の形態で説明したオプティカルフロー推定装置１をプログラムとして光記憶装置や磁気記憶装置等の記録媒体に読出可能に記録し、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作をオプティカルフロー推定装置１として機能させることができるのは勿論である。

本実施の形態によれば、観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された光学モデルをオプティカルフロー法の拘束条件に適用し、適用された拘束条件からオプティカルフローを推定する目的関数を導出して、目的関数を最小化問題として解くことにより、観測対象のオプティカルフローを推定するので、反射表面を有する観測対象のオプティカルフローを推定することができる。

本実施の形態によれば、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋ_ｄｃｏｓθ＋Ｋ_ｓ（ｃｏｓθ）^ｎ）（但し、Ｋ_ｄ，Ｋ_ｓ，θ，ｎは、それぞれ、任意の位置における、拡散反射係数，鏡面反射係数，観測対象の表面の法線ベクトルと反射光とのなす角，ｎは１以上の自然数）で定義し、定義された光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂_ｘＩ（ｘ，ｙ，ｔ）＝Ｉ_ｘ＝∂_ｘ［Ｋ_ｄｃｏｓθ＋Ｋ_ｓ（ｃｏｓθ）^ｎ］、∂_ｙＩ（ｘ，ｙ，ｔ）＝Ｉ_ｙ＝∂_ｙ［Ｋ_ｄｃｏｓθ＋Ｋ_ｓ（ｃｏｓθ）^ｎ］、∂_ｔＩ（ｘ，ｙ，ｔ）＝Ｉ_ｔ＝∂_ｔ［Ｋ_ｄｃｏｓθ＋Ｋ_ｓ（ｃｏｓθ）^ｎ］）をそれぞれ導出し、オプティカルフロー法の拘束条件（Ｉ_ｘｕ＋Ｉ_ｙｖ＋Ｉ_ｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ_{（ｉ，ｊ）∈Ω}［Ｉ_ｘｕ＋Ｉ_ｙｖ＋Ｉ_ｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、観測画像における任意の画素の位置，観測画像の一定画像領域）を導出し、各１次微分と観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを目的関数に代入して最小化問題として解くことにより、観測対象の表面状態と観測対象のオプティカルフロー（ｕ，ｖ）とを推定するので、観測対象の表面特性とオプティカルフローとを同時に推定することができる。

本実施の形態によれば、拡散反射係数及び鏡面反射係数に係る拘束条件と、オプティカルフローの滑らかさに係る拘束条件とを目的関数に適用するので、目的関数計算の収束性を高めることができる。

本実施の形態によれば、観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、拡散反射係数に対するよりも鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、鏡面反射係数に対するよりも拡散反射係数に対して高い重み付けを行うので、目的関数計算の収束性を更に高めることができる。

１…オプティカルフロー推定装置
１１…画像入力部（入力手段）
１２…データ蓄積部（記憶手段）
１３…オプティカルフロー推定部（推定手段）
１４…推定結果表示部
３１…光源
３２…観測対象
３３…カメラ
３４…観測画像，画像
５０ａ，５０ｂ…２×２画素の画像領域
７０…１０×１０画素の画像領域
Ｓ…ステップ

Claims

反射表面を有する観測対象を写した観測画像を入力する入力手段と、
入力された前記観測画像を記憶する記憶手段と、
前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された前記光学モデルをオプティカルフロー法の拘束条件に適用し、適用された前記拘束条件からオプティカルフローを推定する目的関数を導出して、前記目的関数を最小化問題として解くことにより、前記観測対象のオプティカルフローを推定する推定手段と、を有し、
前記推定手段は、
前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ）（但し、Ｋ _ｄ，Ｋ _ｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）で定義し、定義された前記光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ _ｘＩ（ｘ，ｙ，ｔ）＝Ｉ _ｘ＝∂ _ｘ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］、∂ _ｙＩ（ｘ，ｙ，ｔ）＝Ｉ _ｙ＝∂ _ｙ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］、∂ _ｔＩ（ｘ，ｙ，ｔ）＝Ｉ _ｔ＝∂ _ｔ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］）をそれぞれ導出し、前記オプティカルフロー法の拘束条件（Ｉ _ｘｕ＋Ｉ _ｙｖ＋Ｉ _ｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ _{（ｉ，ｊ）∈Ω} ［Ｉ _ｘｕ＋Ｉ _ｙｖ＋Ｉ _ｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、前記観測画像における任意の画素の位置，前記観測画像の一定画像領域）を導出し、前記各１次微分と前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを前記目的関数に代入して最小化問題として解くことにより、前記観測対象の表面状態と前記観測対象のオプティカルフロー（ｕ，ｖ）とを推定することを特徴とするオプティカルフロー推定装置。
前記推定手段は、
前記拡散反射係数及び前記鏡面反射係数に係る拘束条件と、前記オプティカルフローの滑らかさに係る拘束条件とを前記目的関数に適用することを特徴とする請求項１に記載のオプティカルフロー推定装置。
前記推定手段は、
前記観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、前記拡散反射係数に対するよりも前記鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、前記鏡面反射係数に対するよりも前記拡散反射係数に対して高い重み付けを行うことを特徴とする請求項１又は２に記載のオプティカルフロー推定装置。
コンピュータにより、
反射表面を有する観測対象を写した観測画像を入力する第１のステップと、
入力された前記観測画像を記憶手段に記憶する第２のステップと、
前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された前記光学モデルをオプティカルフロー法の拘束条件に適用し、適用された前記拘束条件からオプティカルフローを推定する目的関数を導出して、前記目的関数を最小化問題として解くことにより、前記観測対象のオプティカルフローを推定する第３のステップと、を有し、
前記第３のステップは、
前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ）（但し、Ｋ _ｄ，Ｋ _ｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）で定義し、定義された前記光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ _ｘＩ（ｘ，ｙ，ｔ）＝Ｉ _ｘ＝∂ _ｘ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］、∂ _ｙＩ（ｘ，ｙ，ｔ）＝Ｉ _ｙ＝∂ _ｙ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］、∂ _ｔＩ（ｘ，ｙ，ｔ）＝Ｉ _ｔ＝∂ _ｔ［Ｋ _ｄｃｏｓθ＋Ｋ _ｓ（ｃｏｓθ） ^ｎ］）をそれぞれ導出し、前記オプティカルフロー法の拘束条件（Ｉ _ｘｕ＋Ｉ _ｙｖ＋Ｉ _ｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ _{（ｉ，ｊ）∈Ω} ［Ｉ _ｘｕ＋Ｉ _ｙｖ＋Ｉ _ｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、前記観測画像における任意の画素の位置，前記観測画像の一定画像領域）を導出し、前記各１次微分と前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを前記目的関数に代入して最小化問題として解くことにより、前記観測対象の表面状態と前記観測対象のオプティカルフロー（ｕ，ｖ）とを推定することを特徴とするオプティカルフロー推定方法。
前記第３のステップは、
前記拡散反射係数及び前記鏡面反射係数に係る拘束条件と、前記オプティカルフローの滑らかさに係る拘束条件とを前記目的関数に適用することを特徴とする請求項４に記載のオプティカルフロー推定方法。
前記第３のステップは、
前記観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、前記拡散反射係数に対するよりも前記鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、前記鏡面反射係数に対するよりも前記拡散反射係数に対して高い重み付けを行うことを特徴とする請求項４又は５に記載のオプティカルフロー推定方法。