JPH11211659A - 路面状態判別方法およびその装置 - Google Patents
路面状態判別方法およびその装置Info
- Publication number
- JPH11211659A JPH11211659A JP10011378A JP1137898A JPH11211659A JP H11211659 A JPH11211659 A JP H11211659A JP 10011378 A JP10011378 A JP 10011378A JP 1137898 A JP1137898 A JP 1137898A JP H11211659 A JPH11211659 A JP H11211659A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- image
- polarization
- road
- temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 路面状態判別のための特徴量として影響の大
きな路面の輝度情報を用いると共に、非線形処理が可能
なニューラルネットワークによって路面状態を判別する
ようにした路面状態判別方法と装置を提供する。 【解決手段】 判別対象路面を俯瞰撮影するＴＶカメラ
１１と、偏光素子１２と、偏光素子の偏光面を可変制御
する偏光面制御部１３と、垂直及び水平偏光画像から偏
光成分比画像を、また、水平偏光画像から判別対象の路
面部を切り出した歪み補正画像を生成する画像処理部１
４と、水平偏光画像と偏光成分比画像および歪み補正画
像から路面状態に関する特徴量を算出する路面状態特徴
量算出部１５と、気温または路温を計測する温度センサ
部１６と、路面の輝度情報と他の特徴量及び気温又は路
温とを基にニューラルネットワークによって路面状態の
判別を行なう路面状態判別部１７と、判別結果を表示す
る表示部１８とから構成した。
きな路面の輝度情報を用いると共に、非線形処理が可能
なニューラルネットワークによって路面状態を判別する
ようにした路面状態判別方法と装置を提供する。 【解決手段】 判別対象路面を俯瞰撮影するＴＶカメラ
１１と、偏光素子１２と、偏光素子の偏光面を可変制御
する偏光面制御部１３と、垂直及び水平偏光画像から偏
光成分比画像を、また、水平偏光画像から判別対象の路
面部を切り出した歪み補正画像を生成する画像処理部１
４と、水平偏光画像と偏光成分比画像および歪み補正画
像から路面状態に関する特徴量を算出する路面状態特徴
量算出部１５と、気温または路温を計測する温度センサ
部１６と、路面の輝度情報と他の特徴量及び気温又は路
温とを基にニューラルネットワークによって路面状態の
判別を行なう路面状態判別部１７と、判別結果を表示す
る表示部１８とから構成した。
Description
【０００１】
【発明の属する技術分野】本発明は、路面状態の判別方
法とその装置に係り、特に、路面状態判別のための特徴
量として路面の輝度情報を用いる共に、路面状態の判別
処理にニューラルネットワークを採用した路面状態判別
方法とその装置に関する。
法とその装置に係り、特に、路面状態判別のための特徴
量として路面の輝度情報を用いる共に、路面状態の判別
処理にニューラルネットワークを採用した路面状態判別
方法とその装置に関する。
【０００２】
【従来の技術】従来、路面状態の判別手法として、路面
における光の正反射と乱反射の比を用いる方法や、路面
反射光の偏光成分の比を用いる方法などが提案され実用
化されている。しかしながら、これらの判別方法はいず
れも局所的な情報しか得ることができず、路面のような
面的な広がりを持った対象領域の情報を効率良く得るに
は不向きであった。
における光の正反射と乱反射の比を用いる方法や、路面
反射光の偏光成分の比を用いる方法などが提案され実用
化されている。しかしながら、これらの判別方法はいず
れも局所的な情報しか得ることができず、路面のような
面的な広がりを持った対象領域の情報を効率良く得るに
は不向きであった。
【０００３】そこで、本発明者は、先に、俯瞰撮影した
判別対象路面の垂直偏光画像と水平偏光画像から路面状
態の特徴量を抽出し、この特徴量と温度とを基に多変量
判別分析法によって路面状態を判別する方法とその装置
を特願平８−２７２１８８号によって提案した。
判別対象路面の垂直偏光画像と水平偏光画像から路面状
態の特徴量を抽出し、この特徴量と温度とを基に多変量
判別分析法によって路面状態を判別する方法とその装置
を特願平８−２７２１８８号によって提案した。
【０００４】
【発明が解決しようとする課題】この多変量判別分析法
を用いた路面判別方法は、路面状態の判別に極めて有効
な方法であったが、入出力関係があくまで線形なものに
対してのみ有効であり、入出力関係が非線形なものに対
しては適用することができなかった。このため、路面状
態を判別する基となる路面状態の特徴量としては、入出
力関係が線形な関係にある情報のみしか採用することが
できず、日照条件などに応じて非線形に変化する路面の
輝度情報（輝度平均値やその標準偏差）については用い
ることができなかった。
を用いた路面判別方法は、路面状態の判別に極めて有効
な方法であったが、入出力関係があくまで線形なものに
対してのみ有効であり、入出力関係が非線形なものに対
しては適用することができなかった。このため、路面状
態を判別する基となる路面状態の特徴量としては、入出
力関係が線形な関係にある情報のみしか採用することが
できず、日照条件などに応じて非線形に変化する路面の
輝度情報（輝度平均値やその標準偏差）については用い
ることができなかった。
【０００５】しかし、路面状態の推移においては、路面
上に堆積する降雪などは極めて重要な情報であり、例え
ば雪は白く路面は黒っぽいことからこれを表す路面の輝
度情報（輝度平均値、輝度標準偏差）は路面状態の判別
情報として影響の大きな情報である。
上に堆積する降雪などは極めて重要な情報であり、例え
ば雪は白く路面は黒っぽいことからこれを表す路面の輝
度情報（輝度平均値、輝度標準偏差）は路面状態の判別
情報として影響の大きな情報である。
【０００６】本発明は、先願発明の上記のような欠点を
解消するためになされたもので、精度向上に影響の大き
な情報である路面の輝度情報を路面状態判別のための特
徴量として用いるとともに、非線形処理が可能なニュー
ラルネットワークによって路面状態を判別するようにし
た路面状態の判別方法とその装置を提供することを目的
とする。
解消するためになされたもので、精度向上に影響の大き
な情報である路面の輝度情報を路面状態判別のための特
徴量として用いるとともに、非線形処理が可能なニュー
ラルネットワークによって路面状態を判別するようにし
た路面状態の判別方法とその装置を提供することを目的
とする。
【０００７】
【課題を解決するための手段】上記目的を達成するた
め、請求項１に係る路面状態判別方法は、俯瞰撮影した
判別対象路面の画像から路面状態に関する特徴量を算出
し、該路面状態に関する特徴量とその時の気温または路
温とを基に路面状態を判別するようにした路面状態判別
方法において、前記路面状態に関する特徴量として路面
の輝度情報を加えると共に、前記路面状態の判別にニュ
ーラルネットワークを用いたことを特徴とするものであ
る。
め、請求項１に係る路面状態判別方法は、俯瞰撮影した
判別対象路面の画像から路面状態に関する特徴量を算出
し、該路面状態に関する特徴量とその時の気温または路
温とを基に路面状態を判別するようにした路面状態判別
方法において、前記路面状態に関する特徴量として路面
の輝度情報を加えると共に、前記路面状態の判別にニュ
ーラルネットワークを用いたことを特徴とするものであ
る。
【０００８】また、請求項２に係る路面状態判別方法
は、俯瞰撮影した判別対象路面の垂直偏光画像と水平偏
光画像を得て、該垂直偏光画像と水平偏光画像から偏光
成分比画像を生成するとともに、水平偏光画像から判別
対象とする路面部を切り出した歪み補正画像を生成し、
該偏光成分比画像と歪み補正画像から路面状態に関する
特徴量を算出し、該路面状態に関する特徴量とその時の
気温または路温とを基に路面状態を判別するようにした
路面状態判別方法において、前記路面状態に関する特徴
量として路面の輝度情報を加える共に、前記路面状態の
判別にニューラルネットワークを用いたことを特徴とす
るものである。
は、俯瞰撮影した判別対象路面の垂直偏光画像と水平偏
光画像を得て、該垂直偏光画像と水平偏光画像から偏光
成分比画像を生成するとともに、水平偏光画像から判別
対象とする路面部を切り出した歪み補正画像を生成し、
該偏光成分比画像と歪み補正画像から路面状態に関する
特徴量を算出し、該路面状態に関する特徴量とその時の
気温または路温とを基に路面状態を判別するようにした
路面状態判別方法において、前記路面状態に関する特徴
量として路面の輝度情報を加える共に、前記路面状態の
判別にニューラルネットワークを用いたことを特徴とす
るものである。
【０００９】上記請求項１および２に係る路面状態判別
方法の場合、路面状態の判別において判別精度向上に影
響の大きな情報である路面の輝度情報を判別情報として
用い、非線形処理が可能なニューラルネットワークで路
面状態の判別を行なっているので、路面の輝度からその
時の路面状態をより正確かつ確実に判別できるようにな
る。
方法の場合、路面状態の判別において判別精度向上に影
響の大きな情報である路面の輝度情報を判別情報として
用い、非線形処理が可能なニューラルネットワークで路
面状態の判別を行なっているので、路面の輝度からその
時の路面状態をより正確かつ確実に判別できるようにな
る。
【００１０】また、請求項３に係る路面状態判別装置
は、路面法線に対して５３°近傍の角度から判別対象路
面を俯瞰撮影する撮影手段と、該撮影手段の前面に配置
された偏光素子と、該偏光素子の偏光面を垂直方向と水
平方向に可変制御する偏光面制御部と、偏光面の切り換
えに同期して垂直偏光画像と水平偏光画像を取り込み、
垂直偏光画像と水平偏光画像から偏光成分比画像を生成
する共に、水平偏光画像から判別対象とする路面部を切
り出した歪み補正画像を生成する画像処理部と、前記水
平偏光画像から路面の輝度情報を算出すると共に、偏光
成分比画像と歪み補正画像から路面状態に関する複数の
特徴量を算出する路面状態特徴量算出部と、気温または
路温を計測する温度センサ部と、前記路面状態特徴量算
出部から出力される路面の輝度情報およびその他の特徴
量と前記温度センサ部から出力される気温または路温を
基に路面状態の判別を行なうニューラルネットワーク
と、該ニューラルネットワークから出力される路面状態
の判別結果を所定の形式で表示する表示部とからなるこ
とを特徴とするものである。
は、路面法線に対して５３°近傍の角度から判別対象路
面を俯瞰撮影する撮影手段と、該撮影手段の前面に配置
された偏光素子と、該偏光素子の偏光面を垂直方向と水
平方向に可変制御する偏光面制御部と、偏光面の切り換
えに同期して垂直偏光画像と水平偏光画像を取り込み、
垂直偏光画像と水平偏光画像から偏光成分比画像を生成
する共に、水平偏光画像から判別対象とする路面部を切
り出した歪み補正画像を生成する画像処理部と、前記水
平偏光画像から路面の輝度情報を算出すると共に、偏光
成分比画像と歪み補正画像から路面状態に関する複数の
特徴量を算出する路面状態特徴量算出部と、気温または
路温を計測する温度センサ部と、前記路面状態特徴量算
出部から出力される路面の輝度情報およびその他の特徴
量と前記温度センサ部から出力される気温または路温を
基に路面状態の判別を行なうニューラルネットワーク
と、該ニューラルネットワークから出力される路面状態
の判別結果を所定の形式で表示する表示部とからなるこ
とを特徴とするものである。
【００１１】このような構成とした場合、路面状態の判
別において判別精度向上に影響の大きな情報である路面
の輝度情報を判別情報として用いると共に、路面状態の
判別に非線形処理が可能なニューラルネットワークを用
いて装置を構成しているので、路面の輝度からその時の
路面状態をより正確に判別することができる路面状態判
別装置を提供することができる。
別において判別精度向上に影響の大きな情報である路面
の輝度情報を判別情報として用いると共に、路面状態の
判別に非線形処理が可能なニューラルネットワークを用
いて装置を構成しているので、路面の輝度からその時の
路面状態をより正確に判別することができる路面状態判
別装置を提供することができる。
【００１２】
【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。図１は、本発明の一実施形態に係る
路面状態判別装置のブロック図である。この図１の路面
状態判別装置は、撮影手段としてのＴＶカメラ１１と、
偏光素子１２と、偏光面制御部１３と、画像処理部１４
と、路面状態特徴量算出部１５と、温度センサ部１６
と、路面状態判別用のニューラルネットワーク１７と、
表示部１８とから構成されている。
基づいて説明する。図１は、本発明の一実施形態に係る
路面状態判別装置のブロック図である。この図１の路面
状態判別装置は、撮影手段としてのＴＶカメラ１１と、
偏光素子１２と、偏光面制御部１３と、画像処理部１４
と、路面状態特徴量算出部１５と、温度センサ部１６
と、路面状態判別用のニューラルネットワーク１７と、
表示部１８とから構成されている。
【００１３】ＴＶカメラ１１は、垂直偏光成分と水平偏
光成分の比をできるだけ大きくして路面の濡れと乾燥を
精度良く判別するために、路面法線Ｎに対して水のブリ
ュースター角である５３°近傍の角度で路面を俯瞰撮影
するように配置される。そして、偏光面制御部１３は、
このＴＶカメラ１１の前面に配置した偏光素子１２の偏
光面を一定時間間隔で垂直・水平に切り換えると同時
に、現在の偏光面が垂直あるいは水平であるかのステー
タス信号を画像処理部１４に送る。
光成分の比をできるだけ大きくして路面の濡れと乾燥を
精度良く判別するために、路面法線Ｎに対して水のブリ
ュースター角である５３°近傍の角度で路面を俯瞰撮影
するように配置される。そして、偏光面制御部１３は、
このＴＶカメラ１１の前面に配置した偏光素子１２の偏
光面を一定時間間隔で垂直・水平に切り換えると同時
に、現在の偏光面が垂直あるいは水平であるかのステー
タス信号を画像処理部１４に送る。
【００１４】画像処理部１４は、垂直偏光画像と水平偏
光画像とから偏光成分比画像を生成するとともに、水平
偏光画像から判別対象とする路面部を切り出した歪み補
正画像を生成する。図２に、この画像処理部１４の具体
的な構成例を示す。図２の画像処理部１４は、ＡＤ変換
器２１、垂直偏光画像メモリ２２、水平偏光画像メモリ
２３、偏光成分比算出部２４、路面部切出部２５、偏光
成分比画像メモリ２６、歪み補正画像メモリ２７から構
成されており、ＴＶカメラ１１で撮影した垂直偏光画像
と水平偏光画像を偏光面制御部１３からのステータス信
号に同期してＡＤ変換器２１でサンプリングし、垂直偏
光画像については垂直偏光画像メモリ２２に、また、水
平偏光画像については水平偏光画像メモリ２３にそれぞ
れ記憶する。
光画像とから偏光成分比画像を生成するとともに、水平
偏光画像から判別対象とする路面部を切り出した歪み補
正画像を生成する。図２に、この画像処理部１４の具体
的な構成例を示す。図２の画像処理部１４は、ＡＤ変換
器２１、垂直偏光画像メモリ２２、水平偏光画像メモリ
２３、偏光成分比算出部２４、路面部切出部２５、偏光
成分比画像メモリ２６、歪み補正画像メモリ２７から構
成されており、ＴＶカメラ１１で撮影した垂直偏光画像
と水平偏光画像を偏光面制御部１３からのステータス信
号に同期してＡＤ変換器２１でサンプリングし、垂直偏
光画像については垂直偏光画像メモリ２２に、また、水
平偏光画像については水平偏光画像メモリ２３にそれぞ
れ記憶する。
【００１５】偏光成分比算出部２４は、前記垂直偏光画
像メモリ２２と水平偏光画像メモリ２３に記憶された垂
直偏光画像と水平偏光画像から各画素位置の垂直偏光成
分と水平偏光成分との輝度比率を算出することにより偏
光成分比画像を生成し、偏光成分比画像メモリ２６に記
憶する。路面部切出部２５は、水平偏光画像メモリ２３
に記憶されている水平偏光画像から判別対象とする路面
部分を歪み補正処理して切り出し、歪み補正画像メモリ
２７に格納する。この歪み補正画像は、路面テクスチャ
（状態）の特徴量の抽出に用いられるものである。通
常、路面テクスチャは通過車両のタイヤ痕などのために
車両進行方向に沿った方向性を有する。そこで、テクス
チャの特徴量を得やすくするために、切り出された画像
の上下方向が車両の進行方向と一致するように、歪み補
正して切り出す。なお、歪み補正には、本出願人が特開
平３−６６７４号で提案した画素の並び変えの方法等を
用いる。
像メモリ２２と水平偏光画像メモリ２３に記憶された垂
直偏光画像と水平偏光画像から各画素位置の垂直偏光成
分と水平偏光成分との輝度比率を算出することにより偏
光成分比画像を生成し、偏光成分比画像メモリ２６に記
憶する。路面部切出部２５は、水平偏光画像メモリ２３
に記憶されている水平偏光画像から判別対象とする路面
部分を歪み補正処理して切り出し、歪み補正画像メモリ
２７に格納する。この歪み補正画像は、路面テクスチャ
（状態）の特徴量の抽出に用いられるものである。通
常、路面テクスチャは通過車両のタイヤ痕などのために
車両進行方向に沿った方向性を有する。そこで、テクス
チャの特徴量を得やすくするために、切り出された画像
の上下方向が車両の進行方向と一致するように、歪み補
正して切り出す。なお、歪み補正には、本出願人が特開
平３−６６７４号で提案した画素の並び変えの方法等を
用いる。
【００１６】路面状態特徴量算出部１５は、画像処理部
１４から送られてくる水平偏光画像、偏光成分比画像お
よび歪み補正画像を用いて、その時の路面状態を表す複
数の特徴量、例えば、路面水分（偏光成分比画像の輝度
平均値とその標準偏差）、路面テクスチャ（テクスチャ
の粒状性、２次モーメントの０°と９０°の比、コント
ラストの０°と９０°の比）、路面の輝度情報（水平偏
光画像の輝度平均値とその標準偏差）を演算により算出
する。なお、これらの算出方法については後述する。
１４から送られてくる水平偏光画像、偏光成分比画像お
よび歪み補正画像を用いて、その時の路面状態を表す複
数の特徴量、例えば、路面水分（偏光成分比画像の輝度
平均値とその標準偏差）、路面テクスチャ（テクスチャ
の粒状性、２次モーメントの０°と９０°の比、コント
ラストの０°と９０°の比）、路面の輝度情報（水平偏
光画像の輝度平均値とその標準偏差）を演算により算出
する。なお、これらの算出方法については後述する。
【００１７】温度センサ部１６（図１）は、その時の気
温Ｔを計測し、電気信号に変換して路面状態判別部を構
成するニューラルネットワーク１７に送る。
温Ｔを計測し、電気信号に変換して路面状態判別部を構
成するニューラルネットワーク１７に送る。
【００１８】ニューラルネットワーク１７は、前記路面
状態特徴量算出部１５から送られてくる路面状態の特徴
量と温度センサ部１６で計測された気温Ｔとを入力信号
として、ニューラルネットワークを用いて路面状態（例
えば、乾燥、湿潤、シャーベット、ザクレ、圧雪など）
の判別を行なうもので、図３に示すような回路構造にな
る。
状態特徴量算出部１５から送られてくる路面状態の特徴
量と温度センサ部１６で計測された気温Ｔとを入力信号
として、ニューラルネットワークを用いて路面状態（例
えば、乾燥、湿潤、シャーベット、ザクレ、圧雪など）
の判別を行なうもので、図３に示すような回路構造にな
る。
【００１９】この図３のニューラルネットワーク１７
は、入力層１７ａ、中間層１７ｂ、出力層１７ｃの三層
構造からなり、入力情報として前記路面状態特徴量算出
部１５から与えられる路面水分（偏光成分比画像の輝度
平均値ｘ1 とその標準偏差ｘ2）、路面テクスチャ（テ
クスチャの粒状性を表すところの歪み補正画像における
輝度標準偏差ｘ3 、２次モーメントの０°と９０°の比
ｘ4 、コントラストの０°と９０°の比ｘ5 ）、路面の
輝度情報（水平偏光画像の輝度平均値ｘ6 とその標準偏
差ｘ7 ）、および温度センサ部１６から与えられる気温
Ｔを用い、この８つの入力情報に基づいてその時の路面
状態が乾燥、湿潤、シャーベット、ザクレ、圧雪のいず
れであるかを判別して出力するものである。なお、ニュ
ーラルネットワークの各ニューロンの結合係数は、予め
多くの教師信号を用いて学習（例えば、バックプロパゲ
ーション法）させることにより、最良の結果を与える値
に設定されている。
は、入力層１７ａ、中間層１７ｂ、出力層１７ｃの三層
構造からなり、入力情報として前記路面状態特徴量算出
部１５から与えられる路面水分（偏光成分比画像の輝度
平均値ｘ1 とその標準偏差ｘ2）、路面テクスチャ（テ
クスチャの粒状性を表すところの歪み補正画像における
輝度標準偏差ｘ3 、２次モーメントの０°と９０°の比
ｘ4 、コントラストの０°と９０°の比ｘ5 ）、路面の
輝度情報（水平偏光画像の輝度平均値ｘ6 とその標準偏
差ｘ7 ）、および温度センサ部１６から与えられる気温
Ｔを用い、この８つの入力情報に基づいてその時の路面
状態が乾燥、湿潤、シャーベット、ザクレ、圧雪のいず
れであるかを判別して出力するものである。なお、ニュ
ーラルネットワークの各ニューロンの結合係数は、予め
多くの教師信号を用いて学習（例えば、バックプロパゲ
ーション法）させることにより、最良の結果を与える値
に設定されている。
【００２０】次に、前記路面状態特徴量算出部１５にお
ける路面水分（偏光成分比画像の輝度平均値ｘ1 とその
標準偏差ｘ2 ）、路面テクスチャ（歪み補正画像におけ
る輝度標準偏差ｘ3 、２次モーメントの０°と９０°の
比ｘ4 、コントラストの０°と９０°の比ｘ5 ）、路面
の輝度情報（水平偏光画像の輝度平均値ｘ6 とその標準
偏差ｘ7 ）の算出方法について以下に詳述する。
ける路面水分（偏光成分比画像の輝度平均値ｘ1 とその
標準偏差ｘ2 ）、路面テクスチャ（歪み補正画像におけ
る輝度標準偏差ｘ3 、２次モーメントの０°と９０°の
比ｘ4 、コントラストの０°と９０°の比ｘ5 ）、路面
の輝度情報（水平偏光画像の輝度平均値ｘ6 とその標準
偏差ｘ7 ）の算出方法について以下に詳述する。
【００２１】〔路面水分の算出〕偏光成分比画像は、水
分量が画像の輝度値に変換されて表現された画像であ
る。このため、この画像の路面部分の輝度平均値および
標準偏差を求めることにより、路面水分量および路面水
分分布に関する特徴量を得ることができる。すなわち、
路面水分量を表すところの偏光成分比画像における輝度
平均値をｘ1 、路面水分分布を表すところの偏光成分比
画像における輝度標準偏差をｘ2 、偏光成分比画像をｇ
1 （ｉ，ｊ）、画像の大きさをＭ×Ｎとすると、路面水
分量ｘ1 ，路面水分分布ｘ2 は下記の（１）式および
（２）式で得られる。
分量が画像の輝度値に変換されて表現された画像であ
る。このため、この画像の路面部分の輝度平均値および
標準偏差を求めることにより、路面水分量および路面水
分分布に関する特徴量を得ることができる。すなわち、
路面水分量を表すところの偏光成分比画像における輝度
平均値をｘ1 、路面水分分布を表すところの偏光成分比
画像における輝度標準偏差をｘ2 、偏光成分比画像をｇ
1 （ｉ，ｊ）、画像の大きさをＭ×Ｎとすると、路面水
分量ｘ1 ，路面水分分布ｘ2 は下記の（１）式および
（２）式で得られる。
【００２２】
【数１】
【００２３】〔路面テクスチャの算出〕次に、歪み補正
により路面部分を切り出した歪み補正画像から、路面テ
クスチャの粒状性および方向性を表す特徴量を求める。
なお、粒状性は、表面の粗さを意味し、ザクレやシャー
ベットのように表面が荒れた状態のとき高い値を示す。
テクスチャの粒状性については、歪み補正画像における
輝度標準偏差により算出する。すなわち、テクスチャの
粒状性を表すところの歪み補正画像における輝度標準偏
差をｘ3 、歪み補正画像をｇ2 （ｉ，ｊ）、画像の大き
さをＭ×Ｎとすると、歪み補正画像の輝度標準偏差ｘ3
は下記の（３）式で得られる。
により路面部分を切り出した歪み補正画像から、路面テ
クスチャの粒状性および方向性を表す特徴量を求める。
なお、粒状性は、表面の粗さを意味し、ザクレやシャー
ベットのように表面が荒れた状態のとき高い値を示す。
テクスチャの粒状性については、歪み補正画像における
輝度標準偏差により算出する。すなわち、テクスチャの
粒状性を表すところの歪み補正画像における輝度標準偏
差をｘ3 、歪み補正画像をｇ2 （ｉ，ｊ）、画像の大き
さをＭ×Ｎとすると、歪み補正画像の輝度標準偏差ｘ3
は下記の（３）式で得られる。
【００２４】
【数２】
【００２５】また、路面テクスチャの方向性について
は、同時生起行列特徴量であるSECONDMOMENT （２次モ
ーメント）およびCONTRAST（コントラスト）の０°、９
０°方向の比を算出することにより得られる。そこで、
この同時生起行列特徴量の算出方法について説明する。
は、同時生起行列特徴量であるSECONDMOMENT （２次モ
ーメント）およびCONTRAST（コントラスト）の０°、９
０°方向の比を算出することにより得られる。そこで、
この同時生起行列特徴量の算出方法について説明する。
【００２６】同時生起行列は、図４に示すように、画像
内の輝度ｉの点から一定の変位δ＝（ｒ，θ）だけ離れ
た点の輝度がｊである確率Ｐδ（ｉ，ｊ）（ただし、
ｉ，ｊ＝０，１，２，…，２５５）をすべての（ｉ，
ｊ）について求めたものである。このようにして求めた
同時生起行列より、下記の（４）式および（５）式で表
されるテクスチャの特徴量を、０°および９０°方向の
２方向について算出する。
内の輝度ｉの点から一定の変位δ＝（ｒ，θ）だけ離れ
た点の輝度がｊである確率Ｐδ（ｉ，ｊ）（ただし、
ｉ，ｊ＝０，１，２，…，２５５）をすべての（ｉ，
ｊ）について求めたものである。このようにして求めた
同時生起行列より、下記の（４）式および（５）式で表
されるテクスチャの特徴量を、０°および９０°方向の
２方向について算出する。
【００２７】
【数３】
【００２８】上記（４）式は、SECOND MOMENT （２次モ
ーメント）と呼ばれるものであり、行列の値がどの程度
密集して分布しているかを表しており、これによりテク
スチャの一様性が評価できる。また、（５）式は、CONT
RAST（コントラスト）と呼ばれるものであり、行列の値
がその主対角線からどの程度離れて分布しているかを表
しており、これによりテクスチャのコントラストが評価
できる。
ーメント）と呼ばれるものであり、行列の値がどの程度
密集して分布しているかを表しており、これによりテク
スチャの一様性が評価できる。また、（５）式は、CONT
RAST（コントラスト）と呼ばれるものであり、行列の値
がその主対角線からどの程度離れて分布しているかを表
しており、これによりテクスチャのコントラストが評価
できる。
【００２９】前記のようにして得られた特徴量の０°お
よび９０°方向の比により、路面テクスチャの方向性を
表す特徴量、すなわち、二次モーメントの０°および９
０°方向の比ｘ4 と、コントラストの０°および９０°
方向の比ｘ5 を下記の（６）式および（７）式より算出
する。
よび９０°方向の比により、路面テクスチャの方向性を
表す特徴量、すなわち、二次モーメントの０°および９
０°方向の比ｘ4 と、コントラストの０°および９０°
方向の比ｘ5 を下記の（６）式および（７）式より算出
する。
【００３０】
【数４】
【００３１】〔路面の輝度情報の算出〕水平偏光画像
は、路面湿潤時の輝度が抑えられたところの路面輝度情
報が表現された画像である。そこで、この画像の輝度平
均値と標準偏差を求めることにより、路面の明るさとそ
の一様性に関する路面状態の特徴量を得ることができ、
路面に堆積した雪を評価することにおいて特に有効であ
る。そして、水平偏光画像の輝度平均値ｘ6 とその標準
偏差ｘ7 は、画像処理部１４から送られてくる水平偏光
画像に基づいて、下記の（８）式および（９）式から算
出される。なお、水平偏光画像をＯ1 （ｉ，ｊ）、画像
の大きさをＭ×Ｎとする。
は、路面湿潤時の輝度が抑えられたところの路面輝度情
報が表現された画像である。そこで、この画像の輝度平
均値と標準偏差を求めることにより、路面の明るさとそ
の一様性に関する路面状態の特徴量を得ることができ、
路面に堆積した雪を評価することにおいて特に有効であ
る。そして、水平偏光画像の輝度平均値ｘ6 とその標準
偏差ｘ7 は、画像処理部１４から送られてくる水平偏光
画像に基づいて、下記の（８）式および（９）式から算
出される。なお、水平偏光画像をＯ1 （ｉ，ｊ）、画像
の大きさをＭ×Ｎとする。
【００３２】
【数５】
【００３３】以上のようにして算出された水平偏光画像
の輝度平均値ｘ6 およびその標準偏差ｘ7 と、その他の
５つの特徴量ｘ1 〜ｘ5 、および温度センサ部１６から
の気温Ｔをニューラルネットワーク１７の入力層１７ａ
の各ニューロンに与える。ニューラルネットワーク１７
は、この入力情報に基づいてその時の路面状態（乾燥、
湿潤、シャーベット、ザクレ、圧雪など）を表す最適解
を見つけ、出力層１７ｃから判別結果として出力する。
そして、その得られた判別結果を表示部１８のモニタや
プリンタなどに所定の表示形式で表示する。
の輝度平均値ｘ6 およびその標準偏差ｘ7 と、その他の
５つの特徴量ｘ1 〜ｘ5 、および温度センサ部１６から
の気温Ｔをニューラルネットワーク１７の入力層１７ａ
の各ニューロンに与える。ニューラルネットワーク１７
は、この入力情報に基づいてその時の路面状態（乾燥、
湿潤、シャーベット、ザクレ、圧雪など）を表す最適解
を見つけ、出力層１７ｃから判別結果として出力する。
そして、その得られた判別結果を表示部１８のモニタや
プリンタなどに所定の表示形式で表示する。
【００３４】このようにして、路面状態の判別情報とし
て判別精度向上に影響の大きな情報である路面の輝度情
報（輝度平均値ｘ6 とその標準偏差ｘ7 ）を用いてニュ
ーラルネットワーク１７において路面状態を判別するの
で、極めて正確かつ確実にその時の路面状態を判別する
ことが可能となる。
て判別精度向上に影響の大きな情報である路面の輝度情
報（輝度平均値ｘ6 とその標準偏差ｘ7 ）を用いてニュ
ーラルネットワーク１７において路面状態を判別するの
で、極めて正確かつ確実にその時の路面状態を判別する
ことが可能となる。
【００３５】なお、多変量判別分析法とニューラルネッ
トワークを用いた場合の各検証結果および路面状態の定
義について図５(a),(b),(c) に示す。図５(a),(b),(c)
から明らかなように、単に全体の正解率が向上するだけ
でなく、路面の輝度情報を採用したことより、路面の明
るい状態の圧雪、ザクレと暗い状態のシャーベット、湿
潤、乾燥とを正確に判別することができる。
トワークを用いた場合の各検証結果および路面状態の定
義について図５(a),(b),(c) に示す。図５(a),(b),(c)
から明らかなように、単に全体の正解率が向上するだけ
でなく、路面の輝度情報を採用したことより、路面の明
るい状態の圧雪、ザクレと暗い状態のシャーベット、湿
潤、乾燥とを正確に判別することができる。
【００３６】なお、上記の実施の形態にあっては、歪み
補正画像と路面の輝度情報を水平偏光画像から求める方
法を説明したが、図６に示すようにＴＶカメラ１１の前
面に水平偏光と垂直偏光および無偏光の窓を有する偏光
素子１２′を取付け、かつ、この偏光素子１２′をモー
タ等の偏光面制御部１３′によって回転し、前記３つの
状態に切り換えるようにすると共に、原画像を記録する
原画像メモリ２８を接続することにより、原画像から直
接に歪み補正画像を生成し、輝度情報を算出しても上記
と同様の結果を得ることができる。
補正画像と路面の輝度情報を水平偏光画像から求める方
法を説明したが、図６に示すようにＴＶカメラ１１の前
面に水平偏光と垂直偏光および無偏光の窓を有する偏光
素子１２′を取付け、かつ、この偏光素子１２′をモー
タ等の偏光面制御部１３′によって回転し、前記３つの
状態に切り換えるようにすると共に、原画像を記録する
原画像メモリ２８を接続することにより、原画像から直
接に歪み補正画像を生成し、輝度情報を算出しても上記
と同様の結果を得ることができる。
【００３７】また、上記の実施の形態にあっては、温度
センサ部１６で気温Ｔを計測したが、路温（路面温度）
を計測し、これを用いても同様の結果を得ることができ
る。
センサ部１６で気温Ｔを計測したが、路温（路面温度）
を計測し、これを用いても同様の結果を得ることができ
る。
【００３８】さらに、上記の実施の形態にあっては、画
像処理部１４において、水平偏光画像メモリ２３に記憶
されている水平偏光画像から判別対象とする路面部分を
切り出して歪み補正画像メモリ２７に格納する際に、歪
み補正処理を施した上で歪み補正画像メモリ２７に格納
するようにしたが、ＴＶカメラが路面と並行に設置され
て、歪みの少ない画像が得られる場合には、この歪み補
正処理は不要であり、水平偏光画像メモリ２３から切り
出した画像をそのまま歪み補正画像メモリ２７に格納す
ればよい。
像処理部１４において、水平偏光画像メモリ２３に記憶
されている水平偏光画像から判別対象とする路面部分を
切り出して歪み補正画像メモリ２７に格納する際に、歪
み補正処理を施した上で歪み補正画像メモリ２７に格納
するようにしたが、ＴＶカメラが路面と並行に設置され
て、歪みの少ない画像が得られる場合には、この歪み補
正処理は不要であり、水平偏光画像メモリ２３から切り
出した画像をそのまま歪み補正画像メモリ２７に格納す
ればよい。
【００３９】
【発明の効果】以上説明したように、本発明の路面状態
判別方法と路面状態判別装置によれば、日照条件などの
環境変動に応じて非線形に変化する路面の輝度情報（輝
度平均値やその標準偏差）も判別情報として用い、非線
形処理が可能なニューラルネットワークによって路面状
態を判別しているので、路面の輝度を利用してその時の
路面状態をより正確かつ確実に判別することができ、判
別精度を格段に向上することができる。
判別方法と路面状態判別装置によれば、日照条件などの
環境変動に応じて非線形に変化する路面の輝度情報（輝
度平均値やその標準偏差）も判別情報として用い、非線
形処理が可能なニューラルネットワークによって路面状
態を判別しているので、路面の輝度を利用してその時の
路面状態をより正確かつ確実に判別することができ、判
別精度を格段に向上することができる。
【００４０】また、判別対象路面を水のブリュースター
角たる５３°近傍から撮影するようにしているので、垂
直偏光成分と水平偏光成分の比をより大きくすることが
でき、判別精度を向上することができる。特に、本発明
においては、スリップ事故に影響の大きな圧雪、ザクレ
の状態を湿潤、乾燥と正確に判別できる点において、安
全上顕著な効果を有する。
角たる５３°近傍から撮影するようにしているので、垂
直偏光成分と水平偏光成分の比をより大きくすることが
でき、判別精度を向上することができる。特に、本発明
においては、スリップ事故に影響の大きな圧雪、ザクレ
の状態を湿潤、乾燥と正確に判別できる点において、安
全上顕著な効果を有する。
【図１】本発明の一実施形態に係る路面状態判別装置の
ブロック図である。
ブロック図である。
【図２】画像処理部の具体的な構成例を示すブロック図
である。
である。
【図３】路面状態判別部を構成するニューラルネットワ
ークの具体的な構成例を示す図である。
ークの具体的な構成例を示す図である。
【図４】同時生起行列の説明図である。
【図５】（a）は多変量判別分析法による路面状態判別
結果を示す表、（ｂ）はニューラルネットワークによる
路面状態判別結果を示す表、（ｃ）は路面状態の分類と
定義を示す表。
結果を示す表、（ｂ）はニューラルネットワークによる
路面状態判別結果を示す表、（ｃ）は路面状態の分類と
定義を示す表。
【図６】他の実施の形態を示すブロック図である。
１１ ＴＶカメラ（撮影手段） １２ 偏光素子 １３ 偏光面制御部 １４ 画像処理部 １５ 路面状態特徴量算出部 １６ 温度センサ部 １７ ニューラルネットワーク（路面状態判別部） １８ 表示部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀場 勇夫 愛知県刈谷市東境町新林50−２
Claims (3)
- 【請求項１】 俯瞰撮影した判別対象路面の画像から路
面状態に関する特徴量を算出し、該路面状態に関する特
徴量とその時の気温または路温とを基に路面状態を判別
するようにした路面状態判別方法において、 前記路面状態に関する特徴量として路面の輝度情報を加
えると共に、前記路面状態の判別にニューラルネットワ
ークを用いたことを特徴とする路面状態判別方法。 - 【請求項２】 俯瞰撮影した判別対象路面の垂直偏光画
像と水平偏光画像を得て、該垂直偏光画像と水平偏光画
像から偏光成分比画像を生成すると共に、水平偏光画像
から判別対象とする路面部を切り出した歪み補正画像を
生成し、該偏光成分比画像と歪み補正画像から路面状態
に関する特徴量を算出し、該路面状態に関する特徴量と
その時の気温または路温とを基に路面状態を判別するよ
うにした路面状態判別方法において、 前記路面状態に関する特徴量として路面の輝度情報を加
えると共に、前記路面状態の判別にニューラルネットワ
ークを用いたことを特徴とする路面状態判別方法。 - 【請求項３】 路面法線に対して５３°近傍の角度から
判別対象路面を俯瞰撮影する撮影手段と、 該撮影手段の前面に配置された偏光素子と、 該偏光素子の偏光面を垂直方向と水平方向に可変制御す
る偏光面制御部と、 偏光面の切り換えに同期して垂直偏光画像と水平偏光画
像を取り込み、垂直偏光画像と水平偏光画像から偏光成
分比画像を生成すると共に、水平偏光画像から判別対象
とする路面部を切り出した歪み補正画像を生成する画像
処理部と、 前記水平偏光画像から路面の輝度情報を算出すると共
に、偏光成分比画像と歪み補正画像から路面状態に関す
る複数の特徴量を算出する路面状態特徴量算出部と、 気温または路温を計測する温度センサ部と、 前記路面状態特徴量算出部から出力される路面の輝度情
報およびその他の特徴量と前記温度センサ部から出力さ
れる気温または路温を基に路面状態の判別を行なうニュ
ーラルネットワークと、 該ニューラルネットワークから出力される路面状態の判
別結果を所定の形式で表示する表示部とからなることを
特徴とする路面状態判別装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10011378A JPH11211659A (ja) | 1998-01-23 | 1998-01-23 | 路面状態判別方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10011378A JPH11211659A (ja) | 1998-01-23 | 1998-01-23 | 路面状態判別方法およびその装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11211659A true JPH11211659A (ja) | 1999-08-06 |
Family
ID=11776361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10011378A Pending JPH11211659A (ja) | 1998-01-23 | 1998-01-23 | 路面状態判別方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11211659A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7248958B2 (en) | 2002-11-08 | 2007-07-24 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Road surface state estimating apparatus, road surface friction state estimating apparatus, road surface state physical quantity calculating apparatus, and road surface state announcing apparatus |
| JP2009162579A (ja) * | 2007-12-28 | 2009-07-23 | Jfe Electrical & Control Systems Inc | 紙の裁断面の品質評価装置及びそれを用いた品質評価方法 |
| KR101407551B1 (ko) * | 2013-12-12 | 2014-06-13 | 한국건설기술연구원 | 일체형 편광필터 모듈을 이용한 ｃｃｔｖ 영상-기반 노면정보 검지 시스템 및 그 방법 |
| WO2015045501A1 (ja) * | 2013-09-27 | 2015-04-02 | 日立オートモティブシステムズ株式会社 | 外界認識装置 |
| JP2017503715A (ja) * | 2013-11-15 | 2017-02-02 | コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト | 車載カメラ・システムを用いた路面状態を割り出すための方法および装置 |
| JP2017125809A (ja) * | 2016-01-15 | 2017-07-20 | 株式会社リコー | 情報処理装置、情報処理システムおよびプログラム |
| JP2018128265A (ja) * | 2017-02-06 | 2018-08-16 | 株式会社リコー | サーバ装置、判別プログラム及び判別システム |
| JP2021532449A (ja) * | 2019-06-25 | 2021-11-25 | 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. | 車線属性検出 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02161337A (ja) * | 1988-12-14 | 1990-06-21 | Nagoya Denki Kogyo Kk | 路面状態検知装置 |
| JPH036674A (ja) * | 1989-06-02 | 1991-01-14 | Nagoya Denki Kogyo Kk | 画像歪み補正装置 |
| JPH0660300A (ja) * | 1992-08-04 | 1994-03-04 | Takata Kk | 神経回路網による衝突予防予測システム |
| JPH0991586A (ja) * | 1995-09-26 | 1997-04-04 | Babcock Hitachi Kk | 道路状態監視方法と装置 |
-
1998
- 1998-01-23 JP JP10011378A patent/JPH11211659A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02161337A (ja) * | 1988-12-14 | 1990-06-21 | Nagoya Denki Kogyo Kk | 路面状態検知装置 |
| JPH036674A (ja) * | 1989-06-02 | 1991-01-14 | Nagoya Denki Kogyo Kk | 画像歪み補正装置 |
| JPH0660300A (ja) * | 1992-08-04 | 1994-03-04 | Takata Kk | 神経回路網による衝突予防予測システム |
| JPH0991586A (ja) * | 1995-09-26 | 1997-04-04 | Babcock Hitachi Kk | 道路状態監視方法と装置 |
Non-Patent Citations (2)
| Title |
|---|
| 山田宗男、堀場勇夫、杉江昇、上田浩次: "運転環境計測における路面状態の判別", 電子情報通信学会技術研究報告, vol. 第９７巻、第４０号, JPN4006024504, 15 May 1997 (1997-05-15), JP, pages 73 - 80, ISSN: 0000804700 * |
| 山田宗男、堀場勇夫、杉江昇、上田浩次: "運転環境計測における路面状態の判別", 電子情報通信学会技術研究報告, vol. 第９７巻、第４０号, JPNX007025322, 15 May 1997 (1997-05-15), JP, pages 73 - 80, ISSN: 0000852455 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7248958B2 (en) | 2002-11-08 | 2007-07-24 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Road surface state estimating apparatus, road surface friction state estimating apparatus, road surface state physical quantity calculating apparatus, and road surface state announcing apparatus |
| JP2009162579A (ja) * | 2007-12-28 | 2009-07-23 | Jfe Electrical & Control Systems Inc | 紙の裁断面の品質評価装置及びそれを用いた品質評価方法 |
| WO2015045501A1 (ja) * | 2013-09-27 | 2015-04-02 | 日立オートモティブシステムズ株式会社 | 外界認識装置 |
| JPWO2015045501A1 (ja) * | 2013-09-27 | 2017-03-09 | 日立オートモティブシステムズ株式会社 | 外界認識装置 |
| JP2017503715A (ja) * | 2013-11-15 | 2017-02-02 | コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト | 車載カメラ・システムを用いた路面状態を割り出すための方法および装置 |
| US10289920B2 (en) | 2013-11-15 | 2019-05-14 | Continental Teves Ag & Co. Ohg | Method and device for determining a roadway state by means of a vehicle camera system |
| KR101407551B1 (ko) * | 2013-12-12 | 2014-06-13 | 한국건설기술연구원 | 일체형 편광필터 모듈을 이용한 ｃｃｔｖ 영상-기반 노면정보 검지 시스템 및 그 방법 |
| JP2017125809A (ja) * | 2016-01-15 | 2017-07-20 | 株式会社リコー | 情報処理装置、情報処理システムおよびプログラム |
| JP2018128265A (ja) * | 2017-02-06 | 2018-08-16 | 株式会社リコー | サーバ装置、判別プログラム及び判別システム |
| JP2021532449A (ja) * | 2019-06-25 | 2021-11-25 | 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. | 車線属性検出 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3307335B2 (ja) | 車両領域検出装置及び車両領域検定方法 | |
| US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| US20010002936A1 (en) | Image recognition system | |
| JP7013651B2 (ja) | サーバ装置、判別プログラム及び判別システム | |
| EP2511875A1 (en) | Apparatus and method for refining a value of a similarity measure | |
| WO2009101660A1 (ja) | 車両周辺監視装置、車両、車両周辺監視プログラム | |
| JPH11211659A (ja) | 路面状態判別方法およびその装置 | |
| EP2098059B1 (en) | Process, apparatus and computer program for enhancing detail visibility in an input image | |
| Asmare et al. | Image enhancement by fusion in contourlet transform | |
| JP2011174794A (ja) | 路面状態検出装置及び方法 | |
| JP2002216113A (ja) | 物体認識装置 | |
| CN110033492A (zh) | 摄像机标定方法及终端 | |
| JP3439045B2 (ja) | 路面状態判別方法およびその装置 | |
| JP7156527B2 (ja) | 路面検査装置、路面検査方法、およびプログラム | |
| JP3655496B2 (ja) | 車両検知装置および車両検知方法ならびに車両検知プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP5253194B2 (ja) | 物体検出装置 | |
| JP2000088653A (ja) | 路面状態判別方法およびその装置 | |
| CN112966782A (zh) | 一种多视角特征融合的路面积水检测识别方法 | |
| JP2004317309A (ja) | 視程算定システム及びそのプログラム | |
| KR100860357B1 (ko) | 가변 정보 표지판의 감시 장치 및 방법 | |
| JP2726830B2 (ja) | 路面凍結検出装置 | |
| JP2011107952A (ja) | 車両周辺監視装置 | |
| JP2004109006A (ja) | 物体検出装置 | |
| JP7109528B2 (ja) | 車載画像情報処理装置、車載画像情報送信装置および画像情報処理方法 | |
| JP4337256B2 (ja) | 気象検出装置、気象検出システム及び気象検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070522 |