JP5089448B2 - 反射特性評価装置、反射特性評価方法および反射特性評価プログラム - Google Patents

Description

この発明は、カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する反射特性評価装置、反射特性評価方法および反射特性評価プログラムに関する。

従来より、カメラで撮影された画像における表面部分の反射特性を評価する技術が種々の用途に利用されている。例えば、車両走行における路面の湿潤状態の把握は、車両が安全に走行するために非常に有用である。この路面の湿潤状態の把握は、車載カメラで路面を撮影して湿潤状態を判定し、路面が湿潤状態である場合に、ドライバーに対して警告したり、車両制御装置などに通知してブレーキをかけさせたりすることにより、車両が安全に走行することができる。そして、車載カメラで路面を撮影して湿潤状態を判定する様々な技術が開示されている。

例えば、特許文献１（特許第３４３８３６８号公報）では、路面画像の輝度変動の絶対値差を積分することによって湿潤状態を判定し、輝度差が大きい場合に湿潤状態であると判断する。具体的には、この特許文献１では、図１３−１に示すように、車両の進行に合わせて路面の一点をトラッキングし（図１３−１の（１）参照）、トラッキングされた一点の輝度変化を集積して、当該輝度の変動の大小により湿潤状態であるか否かを判定する（図１３−１の（２）参照）。つまり、特許文献１では、画像の一点に対して、輝度の変動がある場合に湿潤状態とし（図１３−１および図１３−２参照）、輝度の変動がない場合に乾燥状態としている（図１３−３および図１３−４参照）。なお、図１３−１〜図１３−４は、従来技術に係る湿潤状態判定処理を説明するための図である。

また、例えば、特許文献２（特開平１１−２１１６５９号公報）では、偏光成分の異なる２つの画像を比較して湿潤状態を判定する。具体的には、この特許文献２では、垂直偏光画像と水平偏光画像との２つの画像を比較して、鏡面反射であるか拡散反射であるかを判定し、鏡面反射である場合に湿潤状態としている。

特許第３４３８３６８号公報 特開平１１−２１１６５９号公報

しかしながら、上記した従来の技術は、周囲の輝度の変動が少ない場合に、湿潤状態を検出することができないという課題があった。また、上記した従来の技術は、複数の偏光状態を取得可能な装置が必要であるために、コストがかかるという課題があった。

具体的には、特許文献１では、路面の一点の輝度変化のみに基づいて湿潤状態を判定するために、輝度の変動が少ない大草原などにおいては、周囲の輝度の変動が少ないので、湿潤状態を検出することができない。また、周囲の輝度の変動が少ない場合においても対応できるように、湿潤状態を検出するパラメタを小さくすることが考えられるが、輝度の変動が多いシーンにおいては、乾燥状態であるにもかかわらず湿潤状態として検出してしまう。

また、特許文献２では、垂直偏光画像と水平偏光画像との２つの画像が必要であるために、撮像装置を複数利用するためにコストがかかってしまう。なお、１つの撮像装置を用いて２つの画像を撮影する場合には、撮影する向きを変えつつ撮影することになるので、そのためのコストがかかってしまう。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、コストをかけることなく、安定して精度の高い表面の反射特性を判定することが可能である反射特性評価装置、反射特性評価方法および反射特性評価プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本願の開示する反射特性評価装置は、カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する反射特性評価装置であって、前記入力画像内の上部の部分を示す周囲部分の画像特性を分析する第一の分析手段と、前記入力画像内の下部の部分を示す表面部分の同一位置をトラッキングして、前記表面部分の輝度変動を取得するトラッキング手段と、前記第一の分析手段によって得られた周囲部分の画像特性と、前記トラッキング手段によって取得された表面部分の輝度変動とに基づいて、前記表面部分の反射特性を評価して出力する第二の分析手段と、を備えたことを要件とする。

本願の開示する反射特性評価装置によれば、コストをかけることなく、安定して精度の高い表面の反射特性を判定することが可能であるという効果を奏する。

以下に添付図面を参照して、この発明に係る反射特性評価装置の実施例を詳細に説明する。なお、以下では、本発明に係る反射特性評価装置の概要および特徴、反射特性評価装置の構成および処理の流れを順に説明し、最後に本実施例による効果を説明する。

［概要および特徴］
まず最初に、図１−１および図１−２を用いて、実施例１に係る反射特性評価装置の概要および特徴を説明する。図１−１および図１−２は、実施例１に係る反射特性評価装置の概要および特徴を示す図である。

この反射特性評価装置は、所定の装置に搭載するカメラによって撮影された画像を入力画像として、当該入力画像における路面や地面あるいは床などの表面部分の反射特性を評価して出力する。そして、この反射特性の評価は、モニタに出力したり、音声によってユーザに知らせたり、所定の装置の動作を制御したりする。

このような構成において、反射特性評価装置は、カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力することを概要とするものであり、特に、コストをかけることなく、安定して精度の高い表面の反射特性を判定することが可能である点を主たる特徴とする。なお、以下では、車載カメラによって撮影された画像における路面の反射特性を評価する場合を説明する。

この主たる特徴について具体的に説明すると、反射特性評価装置は、入力画像の水平面を抽出し、抽出された水平面よりも下部の部分を示す表面部分の同一位置をトラッキングして、当該表面部分の輝度変動を取得する（図１−１の（１）参照）。なお、本実施例では、画像内から抽出した水平面を基準として画像内から上部と下部とを抽出する例で説明しているが、水平面を抽出せずに画像から上部と下部とを抽出してもよい。例えば、予めＹ座標（カメラの上下方向の中央）が、概ね水平面すなわち水平線の位置になるようにカメラを設置しておき、撮影された画面中央を基準に画面を上下に分離して、中央よりも上を上部とし、中央よりも下を下部として抽出しても良い。また、例えば、画面の上方１／３の領域を上部とし、画面の下方１／３の領域を下部として抽出しても良い。

具体的に説明すると、反射特性評価装置は、車載カメラによって撮影された画像が入力されると、当該入力画像の路面部分と路面上部部分との境界を示す水平面を抽出する。そして、反射特性評価装置は、車両の進行に合わせて、抽出された水平面よりも下部の部分を示す表面部分（路面部分）の同一位置を追従していくトラッキングを実施して、当該表面部分の輝度変動を取得する。

なお、図１−１における表面部分の輝度変動は、図１−２に示すように、車両から遠い位置にある水溜りに山が映り込んでいる場合に輝度が低く、車両から近い位置にある水溜りに空が映り込んでいる場合に輝度が高くなる。つまり、図１−１に示すような山と空が表面部分の水溜りに映り込む場合には、当該表面部分の輝度変動が乾燥している路面と比較して大きくなることがわかる。

そして、反射特性評価装置は、抽出された水平面よりも上部の部分を示す周囲部分の画像特性を分析する（図１−１の（２）参照）。上記した例で具体的に説明すると、反射特性評価装置は、抽出された水平面よりも上部の部分を示す周囲部分（上空部分）の空間的な輝度変動を取得して、当該周囲部分の画像特性を分析する。そして、反射特性評価装置は、取得された輝度変動の分散などから、周囲部分の輝度変化が大きい場合に閾値を大きく決定し、周囲部分の輝度変化が小さい場合に閾値を小さく決定する。

続いて、反射特性評価装置は、得られた周囲部分の画像特性と、取得された表面部分の輝度変動とに基づいて、当該表面部分の反射特性を評価して出力する（図１−１の（３）参照）。上記した例で具体的に説明すると、反射特性評価装置は、得られた周囲部分の画像特性と、取得された表面部分の輝度変動とに基づいて、当該表面部分の輝度変動が決定された閾値以上であるか、または、閾値未満であるかを判定する。

そして、反射特性評価装置は、表面部分の輝度変動が閾値以上である場合に水溜りによる輝度変動（鏡面反射）であるとして、当該表面部分が湿潤状態にあると判断して出力する。また、反射特性評価装置は、表面部分の輝度変動が閾値未満である場合に通常の路面による輝度変動（拡散反射）であるとして、当該表面部分が乾燥状態にあると判断して出力する。

なお、表面部分が水溜りによる湿潤状態である場合には、光沢のある面であるために光源の映り込みが発生し、鏡面反射により明るく光って輝度変動が大きくなり、表面部分が通常の路面による乾燥状態である場合には、粗い面であるために光源の映り込みが発生することなく、拡散反射により輝度変動が小さくなる。

つまり、反射特性評価装置は、表面の状態による輝度変動の違いを利用するとともに、周囲の輝度変動によって表面の状態が鏡面反射であるかまたは拡散反射であるかを判定するための閾値を決定する。言い換えると、反射特性評価装置は、表面部分が水溜りであり、周囲部分が大草原のような輝度変動の分散が小さい場合は表面部分の水溜りの映り込みによる輝度変動も小さくなるが、このような場合においても周囲部分の輝度変動から決定される閾値を小さくすることにより、表面部分が鏡面反射であるか拡散反射であるかを高精度で判定する。

このようなことから、実施例１に係る反射特性評価装置は、カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する場合に、表面部分の輝度変動と周囲部分の輝度変動とに基づいて反射特性を評価することができる結果、コストをかけることなく、安定して精度の高い表面の反射特性を判定することが可能である。

つまり、反射特性評価装置は、カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する場合に、周囲部分の輝度変動の分散によって表面部分が鏡面反射であるか拡散反射であるかを判定するための閾値を決定し、表面部分の輝度変動が決定された閾値以上であれば鏡面反射とし、決定された閾値未満であれば拡散反射として出力するので、従来技術のように、路面の輝度変動のみに基づいて鏡面反射であるか拡散反射であるかを出力するのと比較して、安定して精度の高い表面の反射特性を判定することが可能である。

また、反射特性評価装置は、一般的なカメラにより撮影された画像から表面部分の反射特性を評価して出力するので、従来技術のように、複数のカメラを利用する、または、複雑な撮影処理が必要であるのと比較して、コストをかけることなく、安定して精度の高い表面の反射特性を判定することが可能である。

［実施例１に係る反射特性評価装置の構成］
次に、図２を用いて、実施例１に係る反射特性評価装置の構成を説明する。図２は、実施例１に係る反射特性評価装置の構成を示す図である。

図２に示すように、反射特性評価装置１０は、記憶部２０と、制御部３０とを有し、接続されるカメラ１によって撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する。

記憶部２０は、制御部３０による各種処理に必要なデータや、制御部３０による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、画像記憶部２１を有する。

画像記憶部２１は、カメラ１によって撮影された入力画像を記憶する。例えば、画像記憶部２１は、カメラ１によって画像が撮影され、後述する画像受付部３１によって受け付けられた入力画像を記憶する。

制御部３０は、制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、画像受付部３１と、水平面抽出部３２と、画像上部輝度分散算出部３３と、トラッキング部３４と、輝度取得部３５と、反射特性評価部３６と、確度判定部３７とを有し、これらによって種々の処理を実行する。

画像受付部３１は、カメラ１によって撮影された画像を受け付ける。具体的に例を挙げて説明すると、画像受付部３１は、カメラ１によって撮影された画像を受け付けて、受け付けた入力画像を画像記憶部２１に格納する。

水平面抽出部３２は、入力画像の水平面（水平線の位置）を抽出する。上記した例で具体的に例を挙げると、水平面抽出部３２は、画像記憶部２１に記憶される入力画像において、表面部分（例えば、路面部分など）と、周囲部分（例えば、路面よりも上部の部分など）との境界となる水平面を抽出する。この水平面の抽出は、例えば、参考文献１などの技術を用いて実施される。

参考文献１：（Yinghua He、Hong Wang、and Bo Zhang、「Color‐Based Road Detection in Urban Traffic Scenes」、IEEE Transactions on Intelligent Transportation Systems、 Vol．5、 No．4、 December 2004）

画像上部輝度分散算出部３３は、水平面抽出部３２によって抽出された水平面よりも上部の部分を示す周囲部分の空間的な輝度変動を取得して、当該周囲部分の画像特性を分析する。上記した例で具体的に例を挙げると、画像上部輝度分散算出部３３は、水平面抽出部３２によって抽出された水平面よりも上部の部分を示す周囲部分（上空部分）の空間的な輝度変動（分散）を取得して、当該周囲部分の画像特性を分析する。

この空間的な輝度変動は、図３に示すように、予めカメラキャリブレーション（参考文献２）で得られる、水平面のライン「Ｚ＝０」より画像の縦「Ｈ」の１／１０上方、画像の横「Ｗ」の半分×Ｈ／５の長方形領域を路面上部として設定しておく。また、空間的な輝度変動は、水平面抽出部３２による処理結果の最も上の座標を基準にして、画像の縦「Ｈ」の１／１０上方、画像の横「Ｗ」の半分×Ｈ／５の長方形領域としてもよい。また、この空間の輝度変動の分散だけでなく、輝度変動の平均値からある一定値大きい画素、または、小さい画素の数など、空間における画素のばらつきを評価できるものであれば何の指標を利用してもよい。なお、図３は、周囲部分の輝度変動の分散取得における空間を説明するための図である。

参考文献２：（Berthold K．P． Horn、「Robot Vision」、MIT Press（March 1986） ［ISBN‐10：0‐262‐08159‐8、ISBN‐13：978‐0‐262‐08159‐7］）

トラッキング部３４は、水平面抽出部３２によって抽出された水平面よりも下部の部分を示す表面部分の同一位置をトラッキングする。上記した例で具体的に例を挙げると、トラッキング部３４は、水平面抽出部３２によって抽出された水平面よりも下部の部分を示す表面部分の同一位置を追従していくトラッキングを実施して、当該表面部分の輝度変動を取得する。

このトラッキングについて詳細に説明すると、トラッキング部３４は、図４に示すように、水平線「Ｚ＝０」を基準として、当該水平線からＨ／２０下からＨ／４０の範囲をサンプリング点の生成ラインとし、８つのサンプリング点を生成する。そして、トラッキング部３４は、生成された８つのサンプリング点に関して車両などの移動に伴う視野の変化に対応して、全てのサンプリング点の画像内での動きを、終了ラインを画像下部Ｈ／１０としてトラッキングする（参考文献３）。

参考文献３：（手島知昭、斎藤英雄、小沢慎治、山本恵一、伊原徹:「俯瞰画像のマッチングに基づいた車両水平位置推定手法」、MIRU2006 画像の認識・理解シンポジウム（仙台）、IS3-58、（Jul．2006））

その後、トラッキング部３４は、終了ラインを超えたサンプリング点を、以降のトラッキング対象から除外して、画像の位置に対応するサンプリング点を新規に生成する。また、トラッキング部３４によって生成されるサンプリング点は、上記した８点に限定されるものではなく何個であってもよいし、サンプリングされる範囲であるサンプリングエリアは、上記した範囲、形状に限定されるものではなく、上記した範囲より広くしたり狭くしたりしてもよい。なお、図４は、トラッキング部３４によるサンプリング点の生成およびサンプリング終了ラインを説明するための図である。

輝度取得部３５は、トラッキング部３４によってトラッキングされた表面部分の同一位置の輝度変動を取得する。上記した例で具体的に例を挙げると、輝度取得部３５は、トラッキング部３４によってトラッキングされた各トラッキングポイントに対して、輝度レベルの時系列の変動データを取得する。この輝度変動においては、トラッキングされた期間に応じて集積されるデータ量が異なる。

例えば、輝度取得部３５は、図５−１に示すように、周囲を山に囲まれた表面（路面）において水溜りがある場合には、図５−２に示すような輝度変動を取得する。また、輝度変動の時間変化は、横軸を時間としてもよいが、車両などが停止した際は画像において変化がなく、変化のない時間を処理に利用することのないように、画面のｙ座標値を基準としてもよい。なお、図５−２は、周囲を山に囲まれた表面において水溜りがある場合に輝度取得部３５によって取得される輝度変動を示す図である。

また、輝度取得部３５は、図５−３に示すように、周囲が大草原である表面（路面）において水溜りがある場合には、図５−４に示すような輝度変動を取得する。また、輝度取得部３５は、図５−５に示すように、表面（路面）が乾燥している場合には、図５−６に示すような輝度変動を取得する。なお、図５−４は、周囲が大草原である表面において水溜りがある場合に輝度取得部３５によって取得される輝度変動を示す図であり、図５−６は、表面が乾燥している場合に輝度取得部３５によって取得される輝度変動を示す図である。

反射特性評価部３６は、画像上部輝度分散算出部３３によって取得された周囲部分の輝度変動に応じた周囲部分の画像特性により閾値を決定し、輝度取得部３５によって取得された表面部分の輝度変動が、決定された閾値以上であるか閾値未満であるかにより、当該表面部分の反射特性を評価して出力する。

上記した例で具体的に例を挙げると、反射特性評価部３６は、画像上部輝度分散算出部３３によって取得された周囲部分の画像特性に基づいて、輝度変動の分散の平方根に比例させるなどして、当該周囲部分の輝度変動の分散が大きい場合に閾値を大きくして、当該周囲部分の輝度変動の分散が小さい場合に閾値を小さく決定する。

そして、反射特性評価部３６は、輝度取得部３５によって取得された表面部分の輝度変動の最大振幅が、決定された閾値と比較して閾値以上である場合に鏡面反射（湿潤状態）であると判定して出力し、閾値未満である場合に拡散反射（乾燥状態）であると判定して出力する。

確度判定部３７は、画像上部輝度分散算出部３３によって取得された周囲の空間的な輝度変動に応じて、当該輝度変動が大きい場合に推定確度を高く判定して出力し、当該輝度変動が小さい場合に推定確度を小さく判定して出力する。

上記した例で具体的に例を挙げると、確度判定部３７は、画像上部輝度分散算出部３３によって取得された周囲の空間的な輝度変動の分散が、予め設定された閾値と比較して大きい場合に確実度合いを示す推定確度を高く判定して出力し、予め設定された閾値と比較して小さい場合に確実度合いを示す推定確度を低く判定して出力する。

つまり、確度判定部３７による確度判定は、表面（路面）が湿潤状態であって、当該表面に映り込む周囲において輝度変動が大きい場合（例えば、上記した山間部など）に、表面の輝度変動も大きくなるために鏡面反射である確度が高くなる（図６参照）。また、確度判定部３７による確度判定は、同様に、当該表面に映り込む周囲において輝度変動が小さい場合（例えば、上記した大草原など）に、表面の輝度変動も小さくなるために鏡面反射である確度が低くなる（図６参照）。なお、図６は、画像上部の輝度変化と閾値と確度との関係の一例を示す図である。

また、反射特性評価部３６と確度判定部３７とによって出力された反射特性評価結果と当該反射特性評価結果の確度とは、反射特性評価装置１０に接続される車両制御部やモニタなどに出力したりする。なお、確度判定部３７は、上記したように、反射特性評価結果の信頼性をさらに向上させるためのものであるため、本実施例において必須に処理される必要はなく、反射特性評価結果の出力のみでもよい。

［実施例１に係る反射特性評価装置による処理］
次に、図７を用いて、実施例１に係る反射特性評価装置１０による反射特性評価処理を説明する。図７は、実施例１に係る反射特性評価装置１０による反射特性評価処理を説明するためのフローチャートである。なお、以下では、上記してきた詳細な処理内容は省略して反射特性評価装置１０による処理の流れを説明する。

図７に示すように、反射特性評価装置１０は、カメラ１によって撮影された入力画像において、表面部分と周囲部分との境界となる水平面を抽出すると（ステップＳ１０１肯定）、周囲部分の輝度変動の分散を算出して、抽出された水平面からＨ／２０下からＨ／４０のサンプリング範囲において、サンプリング点が８点存在するか否かを判定する（ステップＳ１０２）。

そして、反射特性評価装置１０は、サンプリング範囲にサンプリング点が全８点存在しない場合に（ステップＳ１０２否定）、サンプリング範囲に新規に８つのサンプリング点を生成する（ステップＳ１０３）。続いて、反射特性評価装置１０は、生成されたサンプリング点を追従していくトラッキングを実施して（ステップＳ１０４）、表面部分の輝度変動を取得する（ステップＳ１０５）。

その後、反射特性評価装置１０は、取得された表面部分の輝度と、周囲部分の画像特性とに基づいて反射特性評価を実施して（ステップＳ１０６）、サンプリングの終了ラインを超えたサンプリング点を以降のトラッキング／反射特性評価処理から除外する（ステップＳ１０７）。

［実施例１に係る反射特性評価処理］
次に、図８を用いて、実施例１に係る反射特性評価処理の詳細を説明する。図８は、実施例１に係る反射特性評価処理の詳細を説明するためのフローチャートである。なお、以下の処理は、図７に示したステップＳ１０６における処理に該当する。

図８に示すように、反射特性評価装置１０は、取得された画像上部における輝度変動の分散値を算出する（ステップＳ２０１およびステップＳ２０２）。そして、反射特性評価装置１０は、取得された画面上部における輝度変動の分散値に基づいて、当該画面上部における輝度変動が大きい場合に閾値を大きく決定し、当該画面上部における輝度変動が小さい場合に閾値を小さく決定する（ステップＳ２０３）。

続いて、反射特性評価装置１０は、取得された表面部分の輝度変動の最大振幅が、決定された閾値と比較して閾値以上である場合に鏡面反射（湿潤状態）であると判定して、閾値未満である場合に拡散反射（乾燥状態）であると判定する（ステップＳ２０４）。その後、反射特性評価装置１０は、取得された画面上部における輝度変動の分散が、予め設定された閾値と比較して大きい場合に推定確度を高く判定して、予め設定された閾値と比較して小さい場合に推定確度を低く判定して出力する（ステップＳ２０５）。

［実施例１による効果］
このようにして、実施例１によれば、反射特性評価装置１０は、カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する場合に、入力画像の上部の部分を示す周囲部分の画像特性を分析し、入力画像の下部の部分を示す表面部分の同一位置をトラッキングして、表面部分の輝度変動を取得し、分析された周囲部分の画像特性と、取得された表面部分の輝度変動とに基づいて、表面部分の反射特性を評価するので、コストをかけることなく、安定して精度の高い表面の反射特性を判定することが可能である。

つまり、反射特性評価装置１０は、カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する場合に、表面部分の輝度変動だけでなく、当該表面部分の輝度変動と、表面部分の輝度変動に影響を与え得る周囲部分の輝度変動とに基づいて、表面部分の反射特性を評価して出力するので、コストをかけることなく、安定して精度の高い表面の反射特性を判定することが可能である。

ところで、上記実施例１では、反射特性の評価対象となる表面部分の輝度変動と、入力画像において所定の上部位置における周囲部分の輝度変動とに基づいて、表面部分の反射特性を評価する場合を説明したが、本発明はこれに限定されるものではなく、反射特性の評価対象となる表面部分の輝度変動と、当該表面部分に対応する反射物（上部位置）における輝度変動とに基づいて、表面部分の反射特性を評価することもできる。

そこで、以下の実施例２では、図９〜図１１を用いて、実施例２に係る反射特性評価装置１０による処理について説明する。図９−１〜図９−３は、実施例２に係る反射特性評価装置１０の概要および特徴を示す図である。なお、実施例２に係る反射特性評価装置１０の各構成や一部の機能については、実施例１と同様であるためその説明を省略し、特に、実施例１とは異なる表面部分の評価対象に対する反射物を利用した反射特性評価処理を説明する。

［実施例２の概要および特徴］
反射特性評価装置１０は、入力画像の水平面を抽出し、抽出された水平面よりも下部の部分を示す表面部分の同一位置をトラッキングして、当該表面部分の輝度変動を取得する（図９−１の（１）参照）。

具体的に説明すると、反射特性評価装置１０は、車載カメラによって撮影された画像が入力されると、当該入力画像の路面部分と路面上部部分との境界を示す水平面を抽出する。そして、反射特性評価装置１０は、車両の進行に合わせて、抽出された水平面よりも下部の部分を示す表面部分（路面部分）の同一位置を追従していくトラッキングを実施して、当該表面部分の輝度変動（図９−２参照）を取得する。

そして、反射特性評価装置１０は、抽出された水平面よりも上部の部分を示す周囲部分であって、トラッキング対象となる表面部分の位置に対応する当該周囲部分の位置を推定し、当該推定された周囲部分の位置の輝度変動を取得して、当該周囲部分の画像特性を分析する（図９−１の（２）参照）。

上記した例で具体的に説明すると、反射特性評価装置１０は、抽出された水平面に対して、トラッキング処理の対象となる表面部分の位置と線対称に位置する周囲部分の反射物の位置を推定し、推定された対象物の位置における輝度変動（図９−３参照）を取得して、当該周囲部分の対象物の位置の画像特性を分析する。

続いて、反射特性評価装置１０は、取得された周囲部分の位置の輝度変動と、取得された表面部分の輝度変動との相関に基づいて、表面部分の反射特性を評価して出力する（図９−１の（３）参照）。

上記した例で具体的に説明すると、反射特性評価装置１０は、取得された周囲部分の反射物の位置における輝度変動と、取得されたトラッキング処理の対象となる表面部分の位置における輝度変動との相関関係に基づいて、予め決定された閾値と比較する。そして、反射特性評価装置１０は、２つの輝度変動の相関関係に基づいて、閾値以上である場合に鏡面反射であるとして、表面部分が湿潤状態にあると判断して出力する。また、反射特性評価装置１０は、閾値未満である場合に拡散反射であるとして、表面部分が乾燥状態にあると判断して出力する。

このようなことから、実施例２に係る反射特性評価装置１０は、カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する場合に、表面部分の評価対象となる位置の輝度変動と、当該表面部分の評価対象となる位置と水平面において線対称となる反射物の位置の輝度変動とに基づいて反射特性を評価することができる結果、安定してより精度の高い表面の反射特性を判定することが可能である。

つまり、反射特性評価装置１０は、カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する場合に、表面部分の評価対象となる位置の輝度変動と、当該表面部分の評価対象となる位置に直接映り込む位置の輝度変動との相関関係に基づいて、予め決定された閾値以上であれば鏡面反射とし、閾値未満でれば拡散反射として出力するので、安定してより精度の高い表面の反射特性を判定することが可能である。

［実施例２に係る反射特性評価装置による処理］
次に、図１０を用いて、実施例２に係る反射特性評価装置１０による反射特性評価処理を説明する。図１０は、実施例２に係る反射特性評価装置１０による反射特性評価処理を説明するためのフローチャートである。

図１０に示すように、反射特性評価装置１０は、カメラ１によって撮影された入力画像において、表面部分と周囲部分との境界となる水平面を抽出すると（ステップＳ３０１肯定）、抽出された水平面からＨ／２０下からＨ／４０のサンプリング範囲において、サンプリング点が８点存在するか否かを判定する（ステップＳ３０２）。

そして、反射特性評価装置１０は、サンプリング範囲にサンプリング点が全８点存在しない場合に（ステップＳ３０２否定）、サンプリング範囲に新規に８つのサンプリング点を生成する（ステップＳ３０３）。続いて、反射特性評価装置１０は、生成されたサンプリング点を追従していくトラッキングを実施して（ステップＳ３０４）、表面部分の輝度変動を取得する（ステップＳ３０５）。

その後、反射特性評価装置１０は、抽出された水平面に対して、トラッキング処理の対象となる表面部分の位置と線対称に位置する周囲部分の対象物の位置を推定して、推定された対象物の位置における輝度変動を取得する（ステップＳ３０６）。

そして、反射特性評価装置１０は、取得された周囲部分の対象物の位置における輝度変動と、取得されたトラッキング処理の対象となる表面部分の位置における輝度変動との相関関係に基づいて反射特性を評価して（ステップＳ３０７）、サンプリングの終了ラインを超えたサンプリング点を以降のトラッキング／反射特性評価処理から除外する（ステップＳ３０８）。

［実施例２に係る反射特性評価処理］
次に、図１１を用いて、実施例２に係る反射特性評価処理の詳細を説明する。図１１は、実施例２に係る反射特性評価処理の詳細を説明するためのフローチャートである。なお、以下の処理は、図１０に示したステップＳ３０７における処理に該当する。

図１１に示すように、反射特性評価装置１０は、トラッキング処理におけるサンプリング点の輝度変動と、当該サンプリング点に対して水平面に線対称に位置する反射物の輝度変動との相関を算出する（ステップＳ４０１）。そして、反射特性評価装置１０は、算出された相関と予め決定された閾値とを比較して、閾値以上である場合に鏡面反射であるとして、表面部分が湿潤状態にあると判断し、閾値未満である場合に拡散反射であるとして、表面部分が乾燥状態にあると判断する（ステップＳ４０２）。

続いて、反射特性評価装置１０は、取得された反射物の輝度変動において輝度分散値を算出して（ステップＳ４０３）、当該分散値が予め設定された閾値と比較して大きい場合に推定確度を高く判定して、予め設定された閾値と比較して小さい場合に推定確度を低く判定して出力する（ステップＳ４０４）。なお、確度は、実施例１と同様に、反射特性評価結果の信頼性をさらに向上させるためのものであるため、本実施例において必須に処理される必要はなく、反射特性評価結果の出力のみでもよい。

［実施例２による効果］
このようにして、実施例２によれば、反射特性評価装置１０は、反射特性評価対象となる点に映り込む反射物の位置を推定して、当該反射物の位置における輝度変動と、反射特性評価対象となる位置の輝度変動とに基づいて、反射特性評価対象となる位置の反射特性を評価して出力するので、安定してより精度の高い表面の反射特性を判定することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも
種々の異なる形態にて実施されてよいものである。そこで、（１）反射物の位置、（２）輝度変動の相関‐１、（３）輝度変動の相関‐２、（４）輝度変動の相関‐３、（５）反射特性評価装置の構成、（６）プログラムにおいて異なる実施例を説明する。

（１）反射物の位置
上記実施例２では、抽出された水平面に対して、トラッキング処理の対象となる表面部分の位置と線対称に位置する周囲の反射物の位置を推定する場合を説明したが、本発明はこれに限定されるものではなく、トラッキング対象となる表面部分の位置に対応する周囲部分の位置を三次元形状により推定することもできる。例えば、反射特性評価装置１０は、参考文献４における三次元形状によって表面部分のトラッキング対象である位置に対する反射物の位置を推定する。

参考文献４：（A．Akbarzadeh、J．‐M．Frahm、P．Mordohai、B．Clipp、C．Engels、D．Gallup、P．Merrell、M．Phelps、S．Sinha、B．Talton、L．Wang、Q．Yang、H．Stewenius、R．Yang、G．Welch、H．Towles、D．Nister and M．Pollefeys、「Towards Urban 3D Reconstruction From Video」）

（２）輝度変動の相関‐１
また、上記実施例２では、周囲の反射物の位置における輝度変動と、トラッキング処理の対象となる表面部分の位置における輝度変動との相関に基づいて、表面部分の位置の反射特性を評価する場合を説明したが、本発明はこれに限定されるものではなく、周囲の位置の輝度変動と、表面部分の輝度変動との相互相関に基づいて、表面部分の位置の反射特性を評価することもできる。例えば、反射特性評価装置１０は、図９−２に示した表面の一点の輝度変動と、図９−３に示した周囲の一点の輝度変動との相関を内積演算によって取得し、相関が大きい場合に鏡面反射成分が大きくなるので湿潤状態であると判断し、相関が小さい場合に鏡面反射成分が小さくなるので乾燥状態であると判断する。

（３）輝度変動の相関‐２
また、上記実施例２では、周囲部分の反射物の位置における輝度変動と、トラッキング処理の対象となる表面部分の位置における輝度変動との相関に基づいて、表面部分の位置の反射特性を評価する場合を説明したが、本発明はこれに限定されるものではなく、周囲の位置の輝度変動と、表面部分の輝度変動とのノイズを除いてから、当該ノイズを除いた周囲の位置の輝度変動と表面部分の輝度変動との相関に基づいて、表面部分の位置の反射特性を評価することもできる。例えば、反射特性評価装置１０は、図９−２に示した表面の一点の輝度変動と、図９−３に示した周囲の一点の輝度変動とを、低周波透過フィルタ処理を予め行なってから、当該２つの輝度変動の相関に基づいて、表面部分の位置の反射特性を評価する。

（４）輝度変動の相関‐３
また、上記実施例２では、周囲の反射物の位置における輝度変動と、トラッキング処理の対象となる表面部分の位置における輝度変動との相関に基づいて、表面部分の位置の反射特性を評価する場合を説明したが、本発明はこれに限定されるものではなく、周囲の輝度変動と、表面部分の輝度変動との振幅の大きさに基づいて、表面部分の位置の反射特性を評価することもできる。例えば、反射特性評価装置１０は、図９−２に示した表面の一点の輝度変動と、図９−３に示した周囲の一点の輝度変動との振幅を比較することにより表面部分の位置の反射特性を評価する。

（５）反射特性評価装置の構成
また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報（例えば、図２に示したような「水平面抽出部３２」などの一つの処理に限定されない処理手順など）については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、トラッキング部３４と輝度取得部３５とを、トラッキング処理を実施して輝度変動を取得する輝度変動取得部として統合するなど、その全部または一部を、各種の負担や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（６）プログラム
ところで、上記の実施例では、ハードウェアロジックによって各種の処理を実現する場合を説明したが、本発明はこれに限定されるものではなく、あらかじめ用意されたプログラムをコンピュータで実行することによって実現するようにしてもよい。そこで、以下では、図１２を用いて、上記の実施例に示した反射特性評価装置１０と同様の機能を有する反射特性評価プログラムを実行するコンピュータの一例を説明する。図１２は、反射特性評価プログラムを実行するコンピュータを示す図である。

図１２に示すように、反射特性評価装置としてのコンピュータ１１０は、ＨＤＤ１３０、ＣＰＵ１４０、ＲＯＭ１５０およびＲＡＭ１６０をバス１８０などで接続して構成される。

ＲＯＭ１５０には、上記の実施例１に示した反射特性評価装置１０と同様の機能を発揮する反射特性評価プログラム、つまり、図１２に示すように水平面抽出プログラム１５０ａと、画像上部輝度分散算出プログラム１５０ｂと、トラッキングプログラム１５０ｃと、輝度取得プログラム１５０ｄと、反射特性評価プログラム１５０ｅとが、あらかじめ記憶されている。なお、これらのプログラム１５０ａ〜プログラム１５０ｅについては、図２に示した反射特性評価装置１０の各構成要素と同様、適宜統合または、分散してもよい。

そして、ＣＰＵ１４０がこれらのプログラム１５０ａ〜プログラム１５０ｅをＲＯＭ１５０から読み出して実行することで、図１２に示すように、プログラム１５０ａ〜プログラム１５０ｅは、水平面抽出プロセス１４０ａと、画像上部輝度分散算出プロセス１４０ｂと、トラッキングプロセス１４０ｃと、輝度取得プロセス１４０ｄと、反射特性評価プロセス１４０ｅとして機能するようになる。なお、プロセス１４０ａ〜プロセス１４０ｅは、図２に示した、水平面抽出部３２と、画像上部輝度分散算出部３３と、トラッキング部３４と、輝度取得部３５と、反射特性評価部３６とに対応する。

そして、ＣＰＵ１４０はＲＡＭ１６０に記録された画像データ１６０ａに基づいて反射特性評価プログラムを実行する。

なお、上記した各プログラム１５０ａ〜プログラム１５０ｅについては、必ずしも最初からＲＯＭ１５０に記憶させておく必要はなく、例えば、コンピュータ１１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、またはコンピュータ１１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１１０がこれから各プログラムを読み出して実行するようにしてもよい。

以上の実施例１〜３を含む実施形態に関し、更に以下の付記を開示する。

（付記１）カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する反射特性評価装置であって、
前記入力画像内の上部の部分を示す周囲部分の画像特性を分析する第一の分析手段と、
前記入力画像内の下部の部分を示す表面部分の同一位置をトラッキングして、前記表面部分の輝度変動を取得するトラッキング手段と、
前記第一の分析手段によって得られた周囲部分の画像特性と、前記トラッキング手段によって取得された表面部分の輝度変動とに基づいて、前記表面部分の反射特性を評価して出力する第二の分析手段と、
を備えたことを特徴とする反射特性評価装置。

（付記２）前記入力画像の水平面を抽出する水平面抽出手段をさらに備え、
前記第一の分析手段は、前記水平面抽出手段によって抽出された水平面よりも上部の部分を前記周囲部分として、当該周囲部分の画像特性を分析し、
前記トラッキング手段は、前記水平面抽出手段によって抽出された水平面よりも下部の部分を前記表面部分として、当該表面部分の輝度変動を取得することを特徴とする付記１に記載の反射特性評価装置。

（付記３）前記第一の分析手段は、前記周囲部分の空間的な輝度変動を取得して、当該周囲部分の画像特性を分析し、
前記第一の分析手段によって取得された周囲部分の空間的な輝度変動に応じて、当該輝度変動が大きい場合に推定確度を高く判定して出力し、当該輝度変動が小さい場合に推定確度を小さく判定して出力する確度判定手段をさらに備えたことを特徴とする付記１に記載の反射特性評価装置。

（付記４）前記第一の分析手段は、前記周囲部分の空間的な輝度変動を取得して、当該周囲部分の画像特性を分析し、
前記第二の分析手段は、前記第一の分析手段によって取得された周囲部分の輝度変動に応じた周囲部分の画像特性により閾値を決定し、前記トラッキング手段によって取得された表面部分の輝度変動が、決定された閾値以上であるか閾値未満であるかにより、前記表面部分の反射特性を評価して出力することを特徴とする付記１に記載の反射特性評価装置。

（付記５）前記第一の分析手段は、前記トラッキング手段においてトラッキング対象となる表面部分の位置に対応する前記周囲部分の位置を推定し、当該推定された周囲部分の位置の輝度変動を取得して、当該周囲部分の位置の画像特性を分析し、
前記第二の分析手段は、前記第一の分析手段によって取得された周囲部分の位置の輝度変動と、前記トラッキング手段によって取得された表面部分の輝度変動との相関に基づいて、前記表面部分の反射特性を評価して出力することを特徴とする付記１に記載の反射特性評価装置。

（付記６）前記第一の分析手段は、前記トラッキング手段においてトラッキング対象となる表面部分の位置に対応する前記周囲部分の位置を三次元形状により推定し、当該推定された周囲部分の位置の輝度変動を取得して、当該周囲部分の位置の画像特性を分析することを特徴とする付記５に記載の反射特性評価装置。

（付記７）前記第二の分析手段は、前記第一の分析手段によって取得された周囲部分の位置の輝度変動と、前記トラッキング手段によって取得された表面部分の輝度変動との相互相関に基づいて、前記表面部分の反射特性を評価して出力することを特徴とする付記５または付記６に記載の反射特性評価装置。

（付記８）前記第二の分析手段は、前記第一の分析手段によって取得された周囲部分の位置の輝度変動と、前記トラッキング手段によって取得された表面部分の輝度変動とのノイズを除いてから、当該ノイズを除いた周囲部分の位置の輝度変動と表面部分の輝度変動との相関に基づいて、前記表面部分の反射特性を評価して出力することを特徴とする付記５または付記６に記載の反射特性評価装置。

（付記９）前記第二の分析手段は、前記第一の分析手段によって取得された周囲部分の位置の輝度変動と、前記トラッキング手段によって取得された表面部分の輝度変動との振幅の大きさに基づいて、前記表面部分の反射特性を評価して出力することを特徴とする付記５または付記６に記載の反射特性評価装置。

（付記１０）カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する反射特性評価装置に適した反射特性評価方法であって、
前記入力画像内の上部の部分を示す周囲部分の画像特性を分析する第一の分析工程と、
前記入力画像内の下部の部分を示す表面部分の同一位置をトラッキングして、前記表面部分の輝度変動を取得するトラッキング工程と、
前記第一の分析工程によって得られた周囲部分の画像特性と、前記トラッキング工程によって取得された表面部分の輝度変動とに基づいて、前記表面部分の反射特性を評価して出力する第二の分析工程と、
を含んだことを特徴とする反射特性評価方法。

（付記１１）カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力することをコンピュータに実行させる反射特性評価プログラムであって、
前記入力画像内の上部の部分を示す周囲部分の画像特性を分析する第一の分析手順と、
前記入力画像内の下部の部分を示す表面部分の同一位置をトラッキングして、前記表面部分の輝度変動を取得するトラッキング手順と、
前記第一の分析手順によって得られた周囲部分の画像特性と、前記トラッキング手順によって取得された表面部分の輝度変動とに基づいて、前記表面部分の反射特性を評価して出力する第二の分析手順と、
をコンピュータに実行させることを特徴とする反射特性評価プログラム。

実施例１に係る反射特性評価装置の概要および特徴を示す図である。 実施例１に係る反射特性評価装置の概要および特徴を示す図である。 実施例１に係る反射特性評価装置の構成を示す図である。 周囲部分の輝度変動の分散取得における空間を説明するための図である。 トラッキング部によるサンプリング点の生成およびサンプリング終了ラインを説明するための図である。 周囲を山に囲まれた表面において水溜りがある場合に輝度取得部によって取得される輝度変動を示す図である。 周囲を山に囲まれた表面において水溜りがある場合に輝度取得部によって取得される輝度変動を示す図である。 周囲が大草原である表面において水溜りがある場合に輝度取得部によって取得される輝度変動を示す図である。 周囲が大草原である表面において水溜りがある場合に輝度取得部によって取得される輝度変動を示す図である。 表面が乾燥している場合に輝度取得部によって取得される輝度変動を示す図である。 表面が乾燥している場合に輝度取得部によって取得される輝度変動を示す図である。 画像上部の輝度変化と閾値と確度との関係の一例を示す図である。 実施例１に係る反射特性評価装置による反射特性評価処理を説明するためのフローチャートである。 実施例１に係る反射特性評価処理の詳細を説明するためのフローチャートである。 実施例２に係る反射特性評価装置の概要および特徴を示す図である。 実施例２に係る反射特性評価装置の概要および特徴を示す図である。 実施例２に係る反射特性評価装置の概要および特徴を示す図である。 実施例２に係る反射特性評価装置による反射特性評価処理を説明するためのフローチャートである。 実施例２に係る反射特性評価処理の詳細を説明するためのフローチャートである。 反射特性評価プログラムを実行するコンピュータを示す図である。 従来技術に係る湿潤状態判定処理を説明するための図である。 従来技術に係る湿潤状態判定処理を説明するための図である。 従来技術に係る湿潤状態判定処理を説明するための図である。 従来技術に係る湿潤状態判定処理を説明するための図である。

符号の説明

１ カメラ
１０ 反射特性評価装置
２０ 記憶部
２１ 画像記憶部
３０ 制御部
３１ 画像受付部
３２ 水平面抽出部
３３ 画像上部輝度分散算出部
３４ トラッキング部
３５ 輝度取得部
３６ 反射特性評価部
３７ 確度判定部

Claims (4)

1. カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する反射特性評価装置であって、
   前記入力画像内の下部の部分を示す表面部分の同一位置をトラッキングして、前記表面部分の輝度変動を取得するトラッキング手段と、
   前記入力画像内の上部の部分を示す周囲部分の画像特性を分析する際、前記トラッキング手段においてトラッキング対象となる表面部分の位置に対応する前記周囲部分の位置を推定し、当該推定された周囲部分の位置の輝度変動を取得して、当該周囲部分の位置の画像特性を分析する第一の分析手段と、
   前記第一の分析手段によって取得された周囲部分の位置の輝度変動と、前記トラッキング手段によって取得された表面部分の輝度変動との相関に基づいて、前記表面部分の反射特性を評価して出力する第二の分析手段と、
   を備えたことを特徴とする反射特性評価装置。
2. 前記入力画像の水平面を抽出する水平面抽出手段をさらに備え、
   前記第一の分析手段は、前記水平面抽出手段によって抽出された水平面よりも上部の部分を前記周囲部分として、当該周囲部分の画像特性を分析し、
   前記トラッキング手段は、前記水平面抽出手段によって抽出された水平面よりも下部の部分を前記表面部分として、当該表面部分の輝度変動を取得することを特徴とする請求項１に記載の反射特性評価装置。
3. カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力する反射特性評価装置に適した反射特性評価方法であって、
   前記入力画像内の下部の部分を示す表面部分の同一位置をトラッキングして、前記表面部分の輝度変動を取得するトラッキング工程と、
   前記入力画像内の上部の部分を示す周囲部分の画像特性を分析する際、前記トラッキング工程においてトラッキング対象となる表面部分の位置に対応する前記周囲部分の位置を推定し、当該推定された周囲部分の位置の輝度変動を取得して、当該周囲部分の位置の画像特性を分析する第一の分析工程と、
   前記第一の分析工程によって取得された周囲部分の位置の輝度変動と、前記トラッキング工程によって取得された表面部分の輝度変動との相関に基づいて、前記表面部分の反射特性を評価して出力する第二の分析工程と、
   を含んだことを特徴とする反射特性評価方法。
4. カメラで撮影された画像が入力され、当該入力画像における表面部分の反射特性を出力することをコンピュータに実行させる反射特性評価プログラムであって、
   前記入力画像内の下部の部分を示す表面部分の同一位置をトラッキングして、前記表面部分の輝度変動を取得するトラッキング手順と、
   前記入力画像内の上部の部分を示す周囲部分の画像特性を分析する際、前記トラッキング手順においてトラッキング対象となる表面部分の位置に対応する前記周囲部分の位置を推定し、当該推定された周囲部分の位置の輝度変動を取得して、当該周囲部分の位置の画像特性を分析する第一の分析手順と、
   前記第一の分析手順によって取得された周囲部分の位置の輝度変動と、前記トラッキング手順によって取得された表面部分の輝度変動との相関に基づいて、前記表面部分の反射特性を評価して出力する第二の分析手順と、
   をコンピュータに実行させることを特徴とする反射特性評価プログラム。

Images