JPH10332576A - 路面湿潤状況の検出方法および装置 - Google Patents
路面湿潤状況の検出方法および装置Info
- Publication number
- JPH10332576A JPH10332576A JP14803597A JP14803597A JPH10332576A JP H10332576 A JPH10332576 A JP H10332576A JP 14803597 A JP14803597 A JP 14803597A JP 14803597 A JP14803597 A JP 14803597A JP H10332576 A JPH10332576 A JP H10332576A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- road surface
- polarization
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
雨滴や雪片などの浮遊物質に悪影響を受けることのない
路面湿潤状況の検出方法と装置を提供する。 【解決手段】 路面と移動物体とを分ける境界値Hより
も小さいときは輝度差値に比例する背景更新量に変換す
るとともに、境界値Hよりも大きいときは一定値βから
なるオフセット値を背景更新量として出力する背景更新
テーブルを用い、TVカメラ1、AD変換器5によって
垂直偏光画像と水平偏光画像のそれぞれを所定時間間隔
で連続的にサンプリングして取り出し、これら垂直偏光
画像群と水平偏光画像群のそれぞれについて、サンプリ
ング画像メモリ10、背景画像メモリ11、差分演算処
理部12、加算演算処理部13、背景更新量変換部14
によって背景更新画像を求め、垂直・水平偏光画像メモ
リ15、16、偏光比算出部17、路面湿潤判定部18
において偏光比から路面の湿潤状況を判定する。
Description
る降雨,降雪などのさまざまな気象変化に対して路面の
湿潤状況を安定に検出することのできる路面湿潤状況の
検出方法とその装置に関する。
方法として、路面に溜まった水から反射してくる反射光
に含まれる垂直偏光成分と水平偏光成分のエネルギー強
度の違いを利用した方法が知られている。この方法は、
1台のTVカメラをそのレンズ光軸が計測対象とする路
面に対して水のブリュースタ角θ(θ=約53°)また
はその付近となるように俯瞰配置するとともに、TVカ
メラの前面に直線偏光子を回動自在に配置し、この直線
偏光子の偏光方向を垂直方向と水平方向に交互に切り換
えることによって垂直偏光画像と水平偏光画像の2枚の
画像を撮影する。そして、この垂直偏光画像と水平偏光
画像の偏光比を次式(1)によって求めることにより、
外界の輝度変化(例えば、昼間、薄暮時、夜間照明時な
ど)に対しても湿潤状況を安定的に検出できるようにし
たものである。 Dr (x,y) =Dv (x,y)/Dh (x,y) (1) ここで、(x,y) は画像上の座標位置、Dv は垂直偏光画
像、Dh は水平偏光画像、Dr は偏光比画像である。
Dv と水平偏光画像Dh は同一時刻に撮影した画像であ
ることが理想的であるが、垂直偏光画像と水平偏光画像
の2つの画像を同時に撮影するには、TVカメラを2台
設置しなければならず、しかも、この2台のTVカメラ
で同一個所を同一位置から同時に撮影するには特殊な機
構や取付け構造が必要になるとともに、微妙な画角調整
が必要であり、設置条件や気象条件の厳しい屋外におい
て安定に使用することは難しい。そのため、通常は、前
述したように1台のTVカメラを用いてその前面に直線
偏光子を配置し、この直線偏光子を90°回転させるこ
とによって時間的にわずかに前後した垂直偏光画像Dv
と水平偏光画像Dh を撮影し、(1)式の偏光比を計算
するようにしている。
における路面状況の変化には前述した昼間,薄暮時,夜
間照明時などの外界の輝度変化の他に、降雨,降雪など
による気象変化も存在し、TVカメラの設置された計測
空間に雨滴や雪片などの浮遊物質が存在することがあ
る。これらの浮遊物質は、計測対象である路面とは性質
が異なることから、湿潤状況検出の阻害要因となる。図
10はこの雨滴,雪片などの浮遊物質による湿潤状況検
出への影響を模式的に示したもので、(a)は時刻t1
に取り込まれた垂直偏光画像Dv 、(b)は時刻t2 に
取り込まれた水平偏光画像Dh 、(c)は両者の比であ
る偏光比画像Dr である。図中、○,□,△印は雨滴,
雪片などの浮遊物質であり、(a)と(b)ではそれぞ
れ浮遊物質の位置が異なり、これらは時間の経過ととも
に移動していることを示している。
v と水平偏光画像Dh を用いた場合、(c)に示すよう
に両画像中に存在する浮遊物質が偏光比画像Dr 上に抽
出され、路面の湿潤状況検出の阻害要因となる。したが
って、より正確な路面湿潤状況の検出を実現するには、
上記した雨滴や雪片などの浮遊物質を画面上から除去し
た垂直偏光画像Dv と水平偏光画像Dh を用いる必要が
ある。
似方法として、湿潤状態によってその輝度変化が大きく
変化する水平偏光画像のみを利用し、この水平偏光画像
と予め用意しておいた比較基準画像との偏光比を取るこ
とによって路面の湿潤状況を検出するようにした方法も
知られているが、この方法の場合においても、上記の場
合と同様に、水平偏光画像中に存在する雨滴や雪片など
の浮遊物質が湿潤状況検出の阻害要因となっていた。
になされたもので、TVカメラなどの1台の撮影手段を
用いて垂直偏光画像と水平偏光画像を撮影し、この垂直
偏光画像と水平偏光画像の偏光比から路面の湿潤状況を
検出するようにした路面湿潤状況の検出方法と装置にお
いて、降雨,降雪などの気象変化に伴って発生する雨滴
や雪片などの浮遊物質を垂直偏光画像および水平偏光画
像中から効果的に除去し、より安定に路面の湿潤状況を
検出することのできる路面湿潤状況の検出方法と装置を
提供することを目的とする。
め、本発明は次のような手段を採用した。すなわち、請
求項1記載の路面湿潤状況の検出方法は、計測対象とす
る路面に向けて水のブリュースタ角またはその付近とな
るように俯瞰配置した撮影手段の前面に直線偏光子を設
置することによって、撮影手段から垂直偏光画像と水平
偏光画像を取り出し、該垂直偏光画像と水平偏光画像の
偏光比から路面の湿潤状況を検出するようにした路面湿
潤状況の検出方法において、前記撮影手段から出力され
る垂直偏光画像と水平偏光画像のそれぞれを所定時間間
隔で連続的にサンプリングし、該サンプリングされた垂
直偏光画像群と水平偏光画像群のそれぞれについて、最
初に取り出した偏光画像を初期背景画像としてこの初期
背景画像と次のサンプリングで得られた偏光画像との対
応する画素同士で差分演算を行なって輝度差を求め、該
得られた輝度差値が路面と移動物体とを分ける境界値よ
りも小さいときは輝度差値に比例する背景更新量に変換
するとともに、該輝度差値が境界値よりも大きいときは
一定のオフセット値からなる背景更新量に変換して初期
背景画像の対応する画素に加算して背景更新し、この更
新された背景画像を新たな背景画像として前記背景更新
処理をサンプリングされた所定の画像枚数分だけ繰り返
すことによって垂直偏光画像と水平偏光画像のそれぞれ
について雨滴や雪片などの浮遊物質の除去された最終的
な背景更新画像を求め、該最終的に得られた雨滴や雪片
などの浮遊物質の除去された垂直偏光画像および水平偏
光画像とから偏光比を算出するようにしたことを特徴と
するものである。
方法は、計測対象とする路面に向けて水のブリュースタ
角またはその付近となるように俯瞰配置した撮影手段の
前面に直線偏光子を設置することによって、撮影手段か
ら水平偏光画像を取り出し、該水平偏光画像と予め用意
した比較基準画像との偏光比から路面の湿潤状況を検出
するようにした路面湿潤状況の検出方法において、前記
撮影手段から出力される水平偏光画像を所定時間間隔で
連続的にサンプリングし、該サンプリングされた水平偏
光画像群について、最初に取り出した水平偏光画像を初
期背景画像としてこの初期背景画像と次にサンプリング
された水平偏光画像との対応する画素同士で差分演算を
行なって輝度差を求め、該得られた輝度差値が路面と移
動物体とを分ける境界値よりも小さいときは輝度差値に
比例する背景更新量に変換するとともに、該輝度差値が
境界値よりも大きいときは一定のオフセット値からなる
背景更新量に変換して初期背景画像の対応する画素に加
算して背景更新し、この更新された背景画像を新たな背
景画像として前記背景更新処理をサンプリングされた所
定の画像枚数分だけ繰り返すことによって水平偏光画像
について雨滴や雪片などの浮遊物質の除去された最終的
な背景更新画像を求め、該最終的に得られた雨滴や雪片
などの浮遊物質の除去された水平偏光画像と前記比較基
準画像とから偏光比を算出するようにしたことを特徴と
するものである。
方法は、前記請求項1または2記載の方法において、前
記輝度差値から背景更新量への変換をテーブルまたは演
算によって行なうことを特徴とするものである。
置は、計測対象とする路面に向けて水のブリュースタ角
またはその付近となるように俯瞰配置された撮影手段
と、前記撮影手段の前面に配置され、その偏光面を垂直
方向と水平方向に切り替える直線偏光子と、前記撮影手
段から出力される垂直偏光画像と水平偏光画像を所定の
時間間隔でサンプリングすることによってそれぞれ連続
する複数枚の垂直偏光画像と連続する複数枚の水平偏光
画像を得るデジタル画像変換手段と、デジタル変換され
た最初の垂直偏光画像またはデジタル変換された最初の
水平偏光画像を初期背景画像として格納する背景画像メ
モリと、前記最初の垂直偏光画像または水平偏光画像に
続いて入力してくる垂直偏光画像または水平偏光画像を
順次格納するサンプリング画像メモリと、前記背景画像
メモリに格納された背景画像と前記サンプリング画像メ
モリに格納されたサンプリング画像との対応する画素同
士の差分演算を行って各画素の輝度差を求める差分演算
処理部と、該差分演算処理部で得られた輝度差値が路面
と移動物体とを分ける境界値よりも小さいときは輝度差
値に比例する背景更新量に変換するとともに、該輝度差
値が境界値よりも大きいときは一定のオフセット値から
なる背景更新量に変換して出力する背景更新量変換部
と、該背景更新量変換部から出力される背景更新量を前
記背景画像メモリに格納されている背景画像の対応する
画素に加算する加算演算処理部と、複数枚の垂直偏光画
像による背景更新処理によって前記背景画像メモリに最
終的に得られる垂直偏光背景画像を路面湿潤検出用の垂
直偏光画像として読み出して格納する垂直偏光画像メモ
リと、複数枚の水平偏光画像による背景更新処理によっ
て前記背景画像メモリに最終的に得られる水平偏光背景
画像を路面湿潤検出用の水平偏光画像として読み出して
格納する水平偏光画像メモリと、前記垂直偏光画像メモ
リと水平偏光画像メモリに格納された垂直偏光画像と水
平偏光画像との偏光比を算出する偏光比算出部と、該偏
光比算出部から出力される偏光比から路面の湿潤状況を
判定する路面湿潤判定部とを備えたことを特徴とするも
のである。
置は、計測対象とする路面に向けて水のブリュースタ角
またはその付近となるように俯瞰配置された撮影手段
と、前記撮影手段の前面に配置され、その偏光面を水平
方向に設定された直線偏光子と、前記撮影手段から出力
される水平偏光画像を所定の時間間隔でサンプリングす
ることによって連続する複数枚の水平偏光画像を得るデ
ジタル画像変換手段と、デジタル変換された最初の水平
偏光画像を初期背景画像として格納する背景画像メモリ
と、前記最初の水平偏光画像に続いて入力してくる水平
偏光画像を順次格納するサンプリング画像メモリと、前
記背景画像メモリに格納された背景画像と前記サンプリ
ング画像メモリに格納されたサンプリング画像との対応
する画素同士の差分演算を行って各画素の輝度差を求め
る差分演算処理部と、該差分演算処理部で得られた輝度
差値が路面と移動物体とを分ける境界値よりも小さいと
きは輝度差値に比例する背景更新量に変換するととも
に、該輝度差値が境界値よりも大きいときは一定のオフ
セット値からなる背景更新量に変換して出力する背景更
新量変換部と、該背景更新量変換部から出力される背景
更新量を前記背景画像メモリに格納されている背景画像
の対応する画素に加算する加算演算処理部と、複数枚の
水平偏光画像による背景更新処理によって前記背景画像
メモリに最終的に得られる水平偏光背景画像を路面湿潤
検出用の水平偏光画像として読み出して格納する水平偏
光画像メモリと、路面湿潤状況を判定するための比較基
準画像を格納した比較基準画像メモリと、前記水平偏光
画像メモリに格納された水平偏光画像と比較基準画像メ
モリに格納された比較基準画像との偏光比を算出する偏
光比算出部と、該偏光比算出部から出力される偏光比か
ら路面の湿潤状況を判定する路面湿潤判定部とを備えた
ことを特徴とするものである。
置は、前記請求項4または5記載の装置において、前記
背景更新量変換部が輝度差値から背景更新量への変換を
テーブルまたは演算によって行なうものであることを特
徴とするものである。
置において採用した路面湿潤状況の検出原理について、
以下に説明する。前述した路面の湿潤状況検出の阻害要
因となる雨滴や雪片と計測対象となる路面の画像の性質
についてそれぞれ検討してみると、次のような特徴を有
する。 (1)路面計測の障害となる雨滴や雪片は、時間の経過
とともにその位置が変化する移動物体である。 (2)計測対象となる路面は、その位置が不変な静止物
体である。 このように障害物となる雨滴や雪片と計測対象となる路
面との間には“移動物体”と“静止物体”という相反す
る違いがある。
界の輝度変化に追従してダイナミックに更新することで
画像中から移動物体の抽出を行なう背景差分法が知られ
ている。この背景差分法の処理アルゴリズムを次式に示
す。 IF |f(x,y,t) −g(x,y,t-T) |≦H THEN g(x,y,t) =αf(x,y,t) +(1−α)g(x,y,t-T) (2) ELSE g(x,y,t) =g(x,y,t-T) (3) s(x,y,t) =|f(x,y,t) −g(x,y,t) | (4)
g(x,y,t) は更新された背景画像、g(x,y,t-T) は1サ
ンプリング前の背景画像、s(x,y,t) は差分画像、x,
yは画像上の座標位置、tは時刻、Tはサンプリング周
期、Hは移動物体の存在による輝度変化か否かを判定す
る境界値、αはサンプリング画像の背景画像への帰還量
を与える定数(0<α<1)、(1−α)は過去の背景
画像の減衰量である。上式(2)〜(4)で与えられる
アルゴリズムを実行することによって、外界の輝度変化
に追従して背景画像を更新しながら画像中の移動物体の
抽出が可能となる。しかし、この方式を自然画像に対し
て適用した場合、以下のような問題がある。
在するような状況を初期状態として取り込んだ場合、初
期背景画像中に存在した移動物体の領域に着目すると、
次のサンプリング時にはその物体は移動しているため、
同じ領域には存在しない。したがって、その物体が存在
した領域においては、式(2)の条件を満足しないため
に背景が更新されず、背景画像上に移動物体が残り続け
ることになる。したがって、この方式の場合、初期の背
景画像には移動物体が存在しない画像を予め取り込んで
おかない限り、安定した背景が作り出せないことにな
る。
る路面湿潤状況の検出に適用した場合を考える。図2に
示すように、定期的に垂直偏光画像Dv と水平偏光画像
Dhが切り換えられる画像に対して背景更新処理を適用
する場合、道路状況は時々刻々と変わるので、予め取り
込んでおいた路面のみの画像を初期背景画像として用い
ることはできない。そのため、初期背景画像としては偏
光方向が切り替えられた時点のサンプリング画像を代用
することが適当と考えられるが、前述したように、気象
条件により雨滴や雪片などの浮遊物質が初期背景画像と
して取り込まれると、その物体が存在する領域は更新さ
れないことから、安定した湿潤状況の検出が困難とな
る。
ため、前記式(2)(3)を以下のように書き換える。
なお、これ以降においては、説明を分かりやすくするた
めに、座標位置を示すx,yは式中から省略するものと
する。 h(t) =f(t) −g(t-T) (5) IF |h(t) |≦H THEN g(t) =g(t-T) +αh(t) (6) ELSE g(t) =g(t-T) (7)
を満足していない場合であり、式(6)の右辺のαh
(t) が0であることと等価である。したがって、式
(2)(3)は式(6)におけるαh(t) の応答により
すべて表現することができる。また、αは0<α<1の
範囲の定数であり、サンプリング画像f(t) と更新され
た背景画像g(t) のダイナミックレンジはシステムによ
って予め定まっている(例えば8ビット)ことから、α
h(t) の応答は図3に示すように、h(t) に対するテー
ブルとして表現することができ、最終的に式(2)〜
(4)は式(5)および式(8)(9)のように置き換
えることができる。 g(t) =g(t-T) +Table 1{h(t) } (8) s(t) =|f(t) −g(t) | (9)
{h(t) }を図3に示す。この図3から明らかなよう
に、初期背景画像中に移動物体が存在する場合には、h
(t) はHよりも大きいか、または−Hよりも小さいた
め、式(8)の右辺の背景更新テーブルTable 1{h
(t) }は0となり、新たな背景画像g(t) は更新される
ことなく、元の初期背景画像のままとなる。すなわち、
背景画像中から移動物体を除去することができない。
りも大きい範囲および−Hよりも小さい範囲においても
背景を更新することができるようにするため、図4に示
すように、Hよりも大きい範囲および−Hよりも小さい
範囲にオフセットβを加えた背景更新テーブルTable 2
{h(t) }を採用し,この背景更新テーブルTable 2
{h(t) }を用いて次式(10)(11)に従って背景
画像の更新処理を行なうようにしたものである。 h(t) =f(t) −g(t-T) (10) g(t) =g(t-T) +Table 2{h(t) } (11) ここで、f(t) はサンプリング画像、g(t-T) は1つ前
の背景画像、g(t) は更新された背景画像、h(t) は差
分画像である。これにより、初期背景画像中に雨滴や雪
片などの浮遊物質が存在する場合には、上記オフセット
βまたは−βが背景画像に徐々に加算されていき、最終
的に雨滴や雪片などの浮遊物質が背景画像中から取り除
かれる。
となる浮遊物質が存在していても背景更新テーブルにオ
フセットβを持たせることにより、時間の経過とともに
背景画像上の浮遊物質が本来の背景である路面に移り変
わることができる。したがって、本発明によるときは、
従来問題となっていた初期状態における移動物体の存在
に関しても背景の更新が可能となる。
2{h(t) }は、図4に示す通り、境界値H、オフセッ
トβ、傾きαの3つのパラメータで規定され、(I)領
域は天候などの微弱な輝度変化である静止物体領域、
(II)領域は浮遊物質などの通過による大きな輝度変化
である移動物体領域をそれぞれ示している。この背景更
新テーブルTable 2{h(t) }を規定する境界値H、オ
フセットβ、傾きαは次のようにして設定される。
であり、路面と浮遊物質との境界を示すものである。こ
れは降雨,降雪状況にあるh(t) の時間特性から決定で
き、例えば、入力ダイナミックレンジ255(8ビッ
ト)に対してH=10などが設定される。
混入した浮遊物質を路面輝度へ更新していく効果を持
つ。撮影された初期背景画像が路面のみの画面である場
合、浮遊物質などの高輝度成分の存在は図4中のオフセ
ットβの領域((II)の領域)に該当する。したがっ
て、このような場合、背景更新の必要がないことからオ
フセットβは0であることが理想である。しかし、上述
したように、初期背景画像上に浮遊物質が存在する場合
においては、β=0では背景の更新が行なわれないこと
から、背景の更新を行なわせるためにオフセットβはあ
る適当な値を与える必要がある。また、このオフセット
βを大きくすれば背景更新量が増し、通過する浮遊物質
の輝度が背景画像に反映され易くなることから、オフセ
ットβはできるだけ小さい値が適当と考えられる。しか
し、この値が小さ過ぎると、浮遊物質から路面への更新
に多くの時間を必要とする。
は、初期状態において浮遊物質から路面への更新時に許
容される最大時間により次式により決定できる。 β=(D−H)/(t0 ・m) (12) ここで、Dは最大ダイナミックレンジ、t0 は初期背景
に存在する浮遊物質から路面への更新許容時間〔se
c〕、mは単位時間当たりの処理回数を示す。例えば、
画像処理装置の処理能力が1画像について1/15〔s
ec〕であるとした場合、m=15、また、天候状態は
1分程度の持続性を持つとした場合、t0=60とな
り、ダイナミックレンジD=255(8ビット)、境界
値H=10を用いると、この時のオフセットβは0.2
72となる。
追従して背景を更新する効果を持つ。この領域における
輝度変化は天候によるもの、雑音成分によるものなどが
あり、αを1にするとサンプリング画像の輝度が背景画
像にそのまま置き換えられることから、輝度変化に対す
る最速の応答が得られる。しかし、雑音成分もそのまま
背景画像に置き換えられるため、SN比の向上は期待で
きない。また、αを小さくすれば、更新に対して複数の
サンプリング画像の成分が加算されることから、SN比
の向上は図れるが更新に対して多くの時間を必要とす
る。
もに、路面の輝度変化に素早く追従する最適な傾きα
は、前述オフセットβの場合と同様に、路面への更新の
許容時間に依存することになる。ここで、原画像が一定
輝度値Fで変化がなく、初期背景画像の輝度値がGであ
ると仮定すると、n回目における背景画像は次式で表現
できる。 g(t+nT)=F−(1−α)t*m ・{F−G} (13)
数関数的に漸近し、最終的に原画像に置き換えられる。
また、安定した背景画像とは、原画像との輝度差F−g
(t+nT)が1以下になった場合と仮定すると、傾きαは次
式(14)で決定することができる。
ための背景更新の許容時間〔sec〕を示す。例えば、
天候の変化に代表される雲の出現による輝度変化は1秒
程度であると予測し、tα=1などに設定される。ま
た、入力画像と初期背景画像との輝度差であるF−G
は、式(2)(6)で示したように、指数平滑化の行な
われる範囲を示すことから、その値は前述した境界値H
の値(H=10)を設定すればよい。したがって、式
(14)のパラメータの値を、F−G=H=10、tα
=1、m=15とすると、このときの傾きαは0.14
2となる。この結果、図4の背景更新テーブルTable 2
{h(t) }の境界値H=10、オフセットβ=0.27
2、傾きα=0.142となる。
るときは、雨滴や雪片などの浮遊物質が取り除かれた垂
直偏光画像Dv と水平偏光画像Dh を得ることができ、
この垂直偏光画像Dv と水平偏光画像Dh を用いて式
(1)の偏光比画像Dr を求めることにより、雨滴や雪
片などの浮遊物質に影響を受けることなく、正確な路面
湿潤状況の検出を行なうことができる。
施の形態を説明する。図1に、本発明に係る路面湿潤状
況検出装置の第1の実施形態を示す。図において、1は
TVカメラであって、このTVカメラ1は計測対象とす
る路面2に対してそのレンズ光軸が水のブリュースタ角
θ(θ=約53°)となるように俯瞰配置されていると
ともに、その前面には直線偏光子3が配置され、図示を
略したモータなどによってその偏光面を垂直方向と水平
方向に自在に回転できるようになっている。4はサンプ
リング時の折り返し歪みや高域ノイズを除去するための
ローパスフィルタ(LPF)、5はAD変換器、6,
7,8は切り替えスイッチ、10はサンプリング画像メ
モリ、11は背景画像メモリ、12は差分演算処理部、
13は加算演算処理部、14は図4に示した背景更新テ
ーブルTable 2{h(t) }を内蔵し、このテーブルを用
いて輝度差値h(t) を背景更新量に変換する背景更新量
変換部、15は得られた垂直偏光画像Dv を格納する垂
直偏光画像メモリ、16は得られた水平偏光画像Dh を
格納する水平偏光画像メモリ、17は垂直偏光画像Dv
と水平偏光画像Dh の偏光比Dr =Dv /Dh を算出す
る偏光比算出部、18は偏光比Dr から路面2の湿潤状
況を判定する路面湿潤判定部、19はマイクロコンピュ
ータなどで構成された装置全体の動作を制御する制御部
である。
の作成 処理が開始されると、制御部19は直線偏光子3を回転
して垂直偏光方向に設定する。これによって、レンズを
通してTVカメラ1に取り込まれる路面2からの反射光
Lは、垂直偏光成分のみとなる。なお、この初期状態に
おいては、制御部19は切り替えスイッチ6を背景画像
メモリ11側に切り替えている。
御の下に、ローパスフィルタ4を通じてTVカメラ1か
ら送られてくる1フレーム(画面)分の垂直偏光画像信
号をデジタル変換し、背景画像メモリ11に格納する。
この最初に格納された撮影画像が垂直偏光画像の初期背
景画像となる。このようにして、背景画像メモリ11に
垂直偏光画像の初期背景画像を取り込んだ後、制御部1
9は切り替えスイッチ6をサンプリング画像メモリ10
側に切り替える。
後、次の1フレーム分の垂直偏光画像信号をAD変換器
5でデジタル変換し、サンプリング画像メモリ10に格
納する。
10にサンプリング画像が取り込まれると、制御部19
は切り替えスイッチ7を差分演算処理部12側に切り替
え、差分演算処理部12において、背景画像メモリ11
に格納されている初期背景画像とサンプリング画像メモ
リ10に格納されているサンプリング画像の対応する座
標位置の画素同士の輝度の差分演算、すなわち、式(1
0)のh(t) =f(t)−g(t-T) の差分演算を行なう。
そして、この1画面分の差分演算処理が終わると、制御
部19は切り替えスイッチ7を加算演算処理部13側に
切り替える。
12から各画素の輝度差値h(t) が送られてくると、内
蔵している図4の背景更新テーブルTable 2{h(t) }
から輝度差値h(t) に対応した背景更新量を求めて出力
する。前述したように、輝度差値h(t) がHと−Hの間
の小さい範囲にある場合には、出力される背景更新量は
h(t) に比例してαh(t) となり、一方、Hよりも大き
いか,または−Hよりも小さな範囲にある場合には、背
景更新量はオフセットβの一定値となる。
算処理部13に送られ、切り替えスイッチ7を通じて背
景画像メモリ11から送られてくる初期背景画像との間
で、式(11)のg(t) =g(t-T) +Table 2{h(t)
}の加算演算を行なった後、その演算結果を背景画像
メモリ11に書き戻す。この処理によって、背景画像メ
モリ11に格納されていた垂直偏光画像の初期背景画像
は、式(11)のg(t)=g(t-T) +Table 2{h(t)
}で与えられる背景更新された新たな背景画像に置き
換えられる。
が経過すると、再びTVカメラ1から送られてくる垂直
偏光画像をサンプリングし、切り替えスイッチ6を通じ
てサンプリング画像メモリ10に格納する。そして、こ
のサンプリング画像メモリ10に格納されたサンプリン
グ画像と、前記背景画像メモリ11に新たに格納された
更新背景画像との間で前記と同様の背景更新処理を実行
し、得られた新たな背景画像を背景画像メモリ11に新
たな背景画像として格納する。制御部19は、この背景
更新処理を、図2に示した連続する複数枚のフレームに
ついて実行する。
更新処理が終了すると、背景画像メモリ11には、背景
中から雨滴や雪片などの浮遊物質が除去された垂直偏光
画像が得られる。上記背景画像の更新処理が終了する
と、制御部19は切り替えスイッチ7を切り替えスイッ
チ8側に切り替えるとともに、切り替えスイッチ8を垂
直偏光画像メモリ15側に切り替え、前記背景画像メモ
リ11に格納されている背景画像を垂直偏光画像メモリ
15に転送し、垂直偏光画像Dv として格納する。
5には、背景中から雨滴や雪片などの浮遊物質が除去さ
れた垂直偏光画像Dv が得られる。
偏光画像Dh の作成 上記垂直偏光画画像Dv の生成が終了すると、次いで、
制御部19はTVカメラ1の前面の直線偏光子3を90
°回転し、それまで垂直状態に配置されていた直線偏光
子3を水平状態とする。これによって、レンズを通して
TVカメラ1に取り込まれる路面2からの反射光Lは水
平偏光成分のみとなる。そして、この水平偏光成分につ
いて、前述した垂直偏光成分の場合とまったく同様な背
景更新処理を行なうことにより、水平偏光画像メモリ1
6には、背景中から雨滴や雪片などの浮遊物質が除去さ
れた水平偏光画像Dh が得られる。
の検出 上記のようにして、背景中から雨滴や雪片などの浮遊物
質が除去された垂直偏光画像Dv と水平偏光画像Dh が
得られると、偏光比算出部17は、これら垂直偏光画像
Dv と水平偏光画像Dh を読み出し、対応する位置の画
素毎にその偏光比Dr =Dv /Dh を算出し、路面湿潤
判定部18に送る。
から送られてくる偏光比Dr の加算平均値などを求め、
その値の大小から路面の湿潤状況を判定し、その判定結
果を出力する。すなわち、路面が乾燥している場合に
は、垂直偏光画像Dv と水平偏光画像Dh はほぼ等しく
なるため、偏光比Dr は1前後の値となる。また、路面
が完全に濡れている場合には、垂直偏光画像Dv は水平
偏光画像Dh よりもかなり大きくなるため、偏光比Dr
はかなり大きな値となり、また、路面が僅かだけ濡れて
いるような場合には、偏光比Dr はこれらの中間値とな
る。したがって、この偏光比Dr =Dv /Dh の値から
路面の湿潤状況を検出することができる。路面湿潤判定
部18は、この判定結果を所望の形式で出力する。
e 2{h(t) }において、境界値H=10、オフセット
β=0.272、傾きα=0.142とした場合の路面
湿潤状況の実測結果を以下に示す。 (A)オフセットβの効果 降雪状態にある画像に対して、図4の背景更新テーブル
Table 2{h(t) }と図3の背景更新テーブルTable 1
{h(t) }を用いてそれぞれ背景更新処理を行なった結
果、図3のテーブルを用いる方法の場合には、初期背景
画像中に存在する雪片成分は路面との輝度差が大きいた
めに更新が進行せず、915回の処理後も雪片が背景画
像中に残っていた。これに対し、オフセットβを含む図
4のテーブルを用いる場合には、時間の経過とともに徐
々に更新が行なわれ、最終的に背景画像から雪片が除外
された。
して路面の湿潤状況の定量的な評価を行なった結果を図
5に示す。横軸は平均輝度値、縦軸は標準偏差であり、
○印は従来方法、△印は本発明による結果をプロットし
たものである。○で示す従来方法では雪片による影響を
受け、その分布範囲が大きく広がってるのに対し、△印
で示す本発明では分布範囲が安定していることが確認で
きる。また、標準偏差を比較しても、従来方法は本発明
に比べ大きくなっており、雪片の存在により検出画像の
輝度差、つまり画像上の凹凸が激しいことが確認でき
る。図6に、この場合における評価対象領域中の任意の
道路縦断方向の1ライン上の画素に対する偏光比画像D
r の輝度比を示す。(a)は従来方法の場合、(b)は
本発明の場合である。この図6からも本発明の方が輝度
変化が小さく、背景画像中の雪片が除去されていること
が分かる。
対する定量的な評価、すなわち本発明による偏光比画像
Dr が時間方向に対してどれだけ定常性を保っているか
を検証した。まず、従来方法による時間的に連続したn
枚の偏光比画像Dr と、本発明によって背景更新処理を
施したn枚の偏光比画像Dr を作成する。そして、この
時間的に連続なn枚の偏光比画像Dr から時間方向の定
常性を次式により算出する(但し、この例ではn=3
2)。
番目の偏光比画像、Aveは各座標の時間方向における
平均輝度値、Varはその平均輝度値に対する時間方向
の輝度変化を分散として算出したもので、Var(x,
y)は時間方向の輝度変動状況を示す画像となる。この
輝度変動状況を示す画像中の任意の道路縦断方向の1ラ
イン上の画素に対する分散を図7(a)(b)に示す。
(a)は従来方法、(b)は本発明である。従来方法に
よる場合、雪片の影響により時間的な変動が極めて大き
いのに対し、本発明の場合、背景更新処理により雪片を
除去しているため、輝度の変動が小さく、時間方向に対
して変動の少ない均一な偏光比画像が得られることが確
認できた。
回路によって装置を構成した場合を例示したが、コンピ
ュータを用いたプログラム処理によってソフトウェア的
にも実現できるものである。また、背景更新量変換部1
4における輝度差値から背景更新量への変換をテーブル
によって行なったが、このテーブルに代えて、演算によ
って行なうようにしてもよいものである。また、フレー
ム画像を用いて処理したが、精度が若干低下すること除
けば、フィールド画像を用いて処理しても同様に実現す
ることができる。さらに、1個の偏光素子3を回転する
ことによって垂直偏光画像と水平偏光画像を得るように
したが、垂直偏光画像用の偏光素子と水平偏光画像用の
偏光素子の2つの偏光素子を用い、これら2つの偏光素
子を差し替えることによって垂直偏光画像と水平偏光画
像を得るようにしてもよいものである。
置の第2の実施形態を示す。この第2の実施形態は、水
平偏光画像と予め格納しておいた比較基準画像とを用い
て路面の湿潤状況を検出するように構成したもので、上
述した図1の路面湿潤状況検出装置において、切り替え
スイッチ8と垂直画像偏光メモリ15を削除するととも
に、比較基準画像メモリ20を新たに付設したものであ
る。この比較基準画像メモリ20には、路面湿潤状況検
出のための比較基準となる、例えば路面の濡れていない
時に撮影された周囲の照度に応じた路面の比較基準画像
Ds (垂直偏光画像または水平偏光画像)が複数格納さ
れている。なお、図8中、図1と同一部分には同一の符
号を付して示した。
2の実施形態の場合、直線偏光素子3は水平偏光方向に
固定的に設定すされる。これによって、レンズを通して
TVカメラ1に取り込まれる路面2からの反射光Lは、
水平偏光成分のみとなる。そして、この第2の実施形態
の場合には、図9に示すように水平偏光画像Dh のみを
用い、前述した第1の実施形態における水平偏光画像D
h の作成方法とまったく同様の処理方法によって、背景
中から雨滴や雪片などの浮遊物質の除去された水平偏光
画像Dh を求め、水平偏光画像メモリ16に格納する。
などの浮遊物質が除去された水平偏光画像Dh が得られ
ると、偏光比算出部17は、水平偏光画像メモリ16か
ら水平偏光画像Dh を読み出すとともに、比較基準画像
メモリ20から図示しない照度センサによって検出した
その時の照度に応じた路面の比較基準画像Ds を読み出
し、水平偏光画像Dh と比較基準画像Ds の対応する位
置の画素毎にその偏光比Dr =Dv /Ds を算出し、路
面湿潤判定部18に送る。路面湿潤判定部18は、偏光
比算出部17から送られてくる偏光比Dr の加算平均値
などを算出し、その値の大小から路面の湿潤状況を判定
し、その判定結果を出力する。
形態の場合と同様に、コンピュータを用いたプログラム
処理によってソフトウェア的にも実現できる。また、輝
度差値から背景更新量への変換をテーブルに代えて演算
によって行なうようにしてもよい。また、フレーム画像
に替えて、フィールド画像を用いて処理を実行できるこ
とも同様である。
は、輝度差値が路面と移動物体とを分ける境界値よりも
小さいときは輝度差値に比例する背景更新量に変換する
とともに、該輝度差値が境界値よりも大きいときは一定
のオフセット値からなる背景更新量に変換して背景画像
を更新するようにしたので、初期状態において降雨や降
雪などの気象変化に伴なう雨滴や雪片などの浮遊物質が
画面上に存在していても、処理時間の経過とともにこれ
らの成分を徐々に取り除いていくことができ、最終的に
雨滴や雪片などの浮遊物質の存在しない路面だけの画像
に変換することができる。このため、従来のものに比べ
て、より安定でより確実な路面の湿潤状況の検出を行な
うことができる。
施形態を示すブロック図である。
像の時間関係を示す図である。
る。
値と標準偏差の分布比較図である。
縦断方向の1ライン上の画素に対する輝度変化の比較図
である。
横断方向の1ライン上の画素に対する時間方向の輝度変
動状況図である。
施形態を示すブロック図である。
示す図である。
出への影響を示す模式説明図である。
Claims (6)
- 【請求項1】 計測対象とする路面に向けて水のブリュ
ースタ角またはその付近となるように俯瞰配置した撮影
手段の前面に直線偏光子を設置することによって、撮影
手段から垂直偏光画像と水平偏光画像を取り出し、該垂
直偏光画像と水平偏光画像の偏光比から路面の湿潤状況
を検出するようにした路面湿潤状況の検出方法におい
て、 前記撮影手段から出力される垂直偏光画像と水平偏光画
像のそれぞれを所定時間間隔で連続的にサンプリング
し、 該サンプリングされた垂直偏光画像群と水平偏光画像群
のそれぞれについて、最初に取り出した偏光画像を初期
背景画像としてこの初期背景画像と次のサンプリングで
得られた偏光画像との対応する画素同士で差分演算を行
なって輝度差を求め、 該得られた輝度差値が路面と移動物体とを分ける境界値
よりも小さいときは輝度差値に比例する背景更新量に変
換するとともに、該輝度差値が境界値よりも大きいとき
は一定のオフセット値からなる背景更新量に変換して初
期背景画像の対応する画素に加算して背景更新し、 この更新された背景画像を新たな背景画像として前記背
景更新処理をサンプリングされた所定の画像枚数分だけ
繰り返すことによって垂直偏光画像と水平偏光画像のそ
れぞれについて雨滴や雪片などの浮遊物質の除去された
最終的背景更新画像を求め、 該最終的に得られた雨滴や雪片などの浮遊物質の除去さ
れた垂直偏光画像および水平偏光画像とから路面湿潤状
況を検出するようにしたことを特徴とする路面湿潤状況
の検出方法。 - 【請求項2】 計測対象とする路面に向けて水のブリュ
ースタ角またはその付近となるように俯瞰配置した撮影
手段の前面に直線偏光子を設置することによって、撮影
手段から水平偏光画像を取り出し、該水平偏光画像と予
め用意した比較基準画像との偏光比から路面の湿潤状況
を検出するようにした路面湿潤状況の検出方法におい
て、 前記撮影手段から出力される水平偏光画像を所定時間間
隔で連続的にサンプリングし、 該サンプリングされた水平偏光画像群について、最初に
取り出した水平偏光画像を初期背景画像としてこの初期
背景画像と次にサンプリングされた水平偏光画像との対
応する画素同士で差分演算を行なって輝度差を求め、 該得られた輝度差値が路面と移動物体とを分ける境界値
よりも小さいときは輝度差値に比例する背景更新量に変
換するとともに、該輝度差値が境界値よりも大きいとき
は一定のオフセット値からなる背景更新量に変換して初
期背景画像の対応する画素に加算して背景更新し、 この更新された背景画像を新たな背景画像として前記背
景更新処理をサンプリングされた所定の画像枚数分だけ
繰り返すことによって水平偏光画像について雨滴や雪片
などの浮遊物質の除去された最終的な背景更新画像を求
め、 該最終的に得られた雨滴や雪片などの浮遊物質の除去さ
れた水平偏光画像と前記比較基準画像とから路面湿潤状
況を検出するようにしたことを特徴とする路面湿潤状況
の検出方法。 - 【請求項3】 前記輝度差値から背景更新量への変換を
テーブルまたは演算によって行なうことを特徴とする請
求項1または2記載の路面湿潤状況の検出方法。 - 【請求項4】 計測対象とする路面に向けて水のブリュ
ースタ角またはその付近となるように俯瞰配置された撮
影手段と、 前記撮影手段の前面に配置され、その偏光面を垂直方向
と水平方向に切り替える直線偏光子と、 前記撮影手段から出力される垂直偏光画像と水平偏光画
像を所定の時間間隔でサンプリングすることによってそ
れぞれ連続する複数枚の垂直偏光画像と連続する複数枚
の水平偏光画像を得るデジタル画像変換手段と、 デジタル変換された最初の垂直偏光画像またはデジタル
変換された最初の水平偏光画像を初期背景画像として格
納する背景画像メモリと、 前記最初の垂直偏光画像または水平偏光画像に続いて入
力してくる垂直偏光画像または水平偏光画像を順次格納
するサンプリング画像メモリと、 前記背景画像メモリに格納された背景画像と前記サンプ
リング画像メモリに格納されたサンプリング画像との対
応する画素同士の差分演算を行って各画素の輝度差を求
める差分演算処理部と、 該差分演算処理部で得られた輝度差値が路面と移動物体
とを分ける境界値よりも小さいときは輝度差値に比例す
る背景更新量に変換するとともに、該輝度差値が境界値
よりも大きいときは一定のオフセット値からなる背景更
新量に変換して出力する背景更新量変換部と、 該背景更新量変換部から出力される背景更新量を前記背
景画像メモリに格納されている背景画像の対応する画素
に加算する加算演算処理部と、 複数枚の垂直偏光画像による背景更新処理によって前記
背景画像メモリに最終的に得られる垂直偏光背景画像を
路面湿潤検出用の垂直偏光画像として読み出して格納す
る垂直偏光画像メモリと、 複数枚の水平偏光画像による背景更新処理によって前記
背景画像メモリに最終的に得られる水平偏光背景画像を
路面湿潤検出用の水平偏光画像として読み出して格納す
る水平偏光画像メモリと、 前記垂直偏光画像メモリと水平偏光画像メモリに格納さ
れた垂直偏光画像と水平偏光画像との偏光比を算出する
偏光比算出部と、 該偏光比算出部から出力される偏光比から路面の湿潤状
況を判定する路面湿潤判定部とを備えたことを特徴とす
る路面湿潤状況検出装置。 - 【請求項5】 計測対象とする路面に向けて水のブリュ
ースタ角またはその付近となるように俯瞰配置された撮
影手段と、 前記撮影手段の前面に配置され、その偏光面を水平方向
に設定された直線偏光子と、 前記撮影手段から出力される水平偏光画像を所定の時間
間隔でサンプリングすることによって連続する複数枚の
水平偏光画像を得るデジタル画像変換手段と、 デジタル変換された最初の水平偏光画像を初期背景画像
として格納する背景画像メモリと、 前記最初の水平偏光画像に続いて入力してくる水平偏光
画像を順次格納するサンプリング画像メモリと、 前記背景画像メモリに格納された背景画像と前記サンプ
リング画像メモリに格納されたサンプリング画像との対
応する画素同士の差分演算を行って各画素の輝度差を求
める差分演算処理部と、 該差分演算処理部で得られた輝度差値が路面と移動物体
とを分ける境界値よりも小さいときは輝度差値に比例す
る背景更新量に変換するとともに、該輝度差値が境界値
よりも大きいときは一定のオフセット値からなる背景更
新量に変換して出力する背景更新量変換部と、 該背景更新量変換部から出力される背景更新量を前記背
景画像メモリに格納されている背景画像の対応する画素
に加算する加算演算処理部と、 複数枚の水平偏光画像による背景更新処理によって前記
背景画像メモリに最終的に得られる水平偏光背景画像を
路面湿潤検出用の水平偏光画像として読み出して格納す
る水平偏光画像メモリと、 路面湿潤状況を判定するための比較基準画像を格納した
比較基準画像メモリと、 前記水平偏光画像メモリに格納された水平偏光画像と比
較基準画像メモリに格納された比較基準画像との偏光比
を算出する偏光比算出部と、 該偏光比算出部から出力される偏光比から路面の湿潤状
況を判定する路面湿潤判定部とを備えたことを特徴とす
る路面湿潤状況検出装置。 - 【請求項6】 前記背景更新量変換部が輝度差値から背
景更新量への変換をテーブルまたは演算によって行なう
ものであることを特徴とする請求項4または5記載の路
面湿潤状況検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14803597A JPH10332576A (ja) | 1997-06-05 | 1997-06-05 | 路面湿潤状況の検出方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14803597A JPH10332576A (ja) | 1997-06-05 | 1997-06-05 | 路面湿潤状況の検出方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10332576A true JPH10332576A (ja) | 1998-12-18 |
Family
ID=15443669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14803597A Pending JPH10332576A (ja) | 1997-06-05 | 1997-06-05 | 路面湿潤状況の検出方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10332576A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003240869A (ja) * | 2002-02-20 | 2003-08-27 | Natl Inst For Land & Infrastructure Management Mlit | 路面状況判定方法 |
JP2009025198A (ja) * | 2007-07-20 | 2009-02-05 | Denso It Laboratory Inc | 路面状態検出装置および路面状態検出方法 |
JP2010025915A (ja) * | 2008-06-18 | 2010-02-04 | Ricoh Co Ltd | 撮像装置及び路面状態判別方法 |
US8466960B2 (en) | 2009-02-16 | 2013-06-18 | Ricoh Company, Ltd. | Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus |
US9269006B2 (en) | 2012-01-19 | 2016-02-23 | Ricoh Company, Ltd. | Imaging apparatus, vehicle system, and image-processing method for image magnification and expansion |
US11354880B2 (en) | 2017-10-27 | 2022-06-07 | 3M Innovative Properties Company | Optical sensor systems |
-
1997
- 1997-06-05 JP JP14803597A patent/JPH10332576A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003240869A (ja) * | 2002-02-20 | 2003-08-27 | Natl Inst For Land & Infrastructure Management Mlit | 路面状況判定方法 |
JP2009025198A (ja) * | 2007-07-20 | 2009-02-05 | Denso It Laboratory Inc | 路面状態検出装置および路面状態検出方法 |
JP2010025915A (ja) * | 2008-06-18 | 2010-02-04 | Ricoh Co Ltd | 撮像装置及び路面状態判別方法 |
US8466960B2 (en) | 2009-02-16 | 2013-06-18 | Ricoh Company, Ltd. | Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus |
US9269006B2 (en) | 2012-01-19 | 2016-02-23 | Ricoh Company, Ltd. | Imaging apparatus, vehicle system, and image-processing method for image magnification and expansion |
US11354880B2 (en) | 2017-10-27 | 2022-06-07 | 3M Innovative Properties Company | Optical sensor systems |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4878644B2 (ja) | 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム | |
KR100192857B1 (ko) | 카메라 장치에 사용하는 조리개 개구 자동 제어방법 | |
JPH10512694A (ja) | 連続画像内での物体の移動を検知する方法及び装置 | |
JPH10332576A (ja) | 路面湿潤状況の検出方法および装置 | |
JP2003331283A (ja) | 画像ノイズ検出方法及びそれを用いた画像処理装置 | |
KR101072945B1 (ko) | 깊이 값 측정을 이용한 플래시 영상 색상 보정 장치 및 그 방법 | |
JP2006058122A (ja) | 路面状態判別方法およびその装置 | |
JPH02161337A (ja) | 路面状態検知装置 | |
JP2707426B2 (ja) | 路面状態検出装置 | |
JP2672863B2 (ja) | 車両検知方法 | |
JPH0686149A (ja) | 動きベクトル検出装置及びビデオカメラ | |
JPH05189694A (ja) | 車両検出装置 | |
JPH05204014A (ja) | 撮影装置の手ぶれ防止装置 | |
JP2004185537A (ja) | 走行車両検知システム | |
JP6654018B2 (ja) | 画像判定装置及びこれを用いた処理装置 | |
JP2726830B2 (ja) | 路面凍結検出装置 | |
JP2004247880A (ja) | シェーディング補正方法およびその装置 | |
JP2808814B2 (ja) | 欠陥画素の位置検出装置 | |
JP2001273499A (ja) | 移動体検出方法およびその装置 | |
JPS6340862A (ja) | 車両速度計測装置 | |
JPH03260877A (ja) | 2値化処理方法 | |
JPH04172779A (ja) | オートフォーカス装置 | |
JP2828345B2 (ja) | 侵入者監視システム | |
JP3219210B2 (ja) | 撮像装置 | |
JP3449489B2 (ja) | 追尾装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040527 |
|
A621 | Written request for application examination |
Effective date: 20040527 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060123 |
|
A131 | Notification of reasons for refusal |
Effective date: 20060221 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A521 | Written amendment |
Effective date: 20060419 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
A02 | Decision of refusal |
Effective date: 20060523 Free format text: JAPANESE INTERMEDIATE CODE: A02 |