JPH1142972A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH1142972A JPH1142972A JP9202835A JP20283597A JPH1142972A JP H1142972 A JPH1142972 A JP H1142972A JP 9202835 A JP9202835 A JP 9202835A JP 20283597 A JP20283597 A JP 20283597A JP H1142972 A JPH1142972 A JP H1142972A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image processing
- photographing
- tunnel
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Navigation (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【課題】走行環境の急激な変化にも対応して道路状況が
撮影でき、且つ、的確に前方車両及び割り込み車両の認
識が行える画像処理装置を提供する。 【解決手段】自車に設置され、自車の前方車両及び道路
状況を撮影する撮影手段と、撮影された画像を基に前方
車両及び道路状況を認識する画像処理手段を備えた画像
処理装置において、自車の位置を検出する位置検出手段
と、自車が所定位置に到達したことを検出する到達検出
手段と、自車が所定位置に到達したことが検出された時
に、撮影手段により前方車両及び道路状況を撮影する撮
影条件を変更する撮影条件変更手段及び／又は撮影され
た画像を基に前方車両及び道路状況を認識する画像処理
手段による画像処理条件を変更する画像処理条件変更手
段を備える。
撮影でき、且つ、的確に前方車両及び割り込み車両の認
識が行える画像処理装置を提供する。 【解決手段】自車に設置され、自車の前方車両及び道路
状況を撮影する撮影手段と、撮影された画像を基に前方
車両及び道路状況を認識する画像処理手段を備えた画像
処理装置において、自車の位置を検出する位置検出手段
と、自車が所定位置に到達したことを検出する到達検出
手段と、自車が所定位置に到達したことが検出された時
に、撮影手段により前方車両及び道路状況を撮影する撮
影条件を変更する撮影条件変更手段及び／又は撮影され
た画像を基に前方車両及び道路状況を認識する画像処理
手段による画像処理条件を変更する画像処理条件変更手
段を備える。
Description
【０００１】
【発明の属する技術分野】本発明は、追突防止等の運転
支援を行うための画像処理装置に係り、特に、車両の走
行環境に適した画像処理が行える画像処理装置に関す
る。
支援を行うための画像処理装置に係り、特に、車両の走
行環境に適した画像処理が行える画像処理装置に関す
る。
【０００２】
【従来の技術】図１０は従来の画像処理装置の構成を示
すブロック図である。また、図１１は従来の画像処理装
置のアイリス値調整方法を説明するための図である。ま
た、図１２は従来の画像処理装置のカメラ（撮影）画像
を示す図である。また、図１３は従来の画像処理装置の
制御部の行う処理を示す図である。以下、図に従って説
明する。
すブロック図である。また、図１１は従来の画像処理装
置のアイリス値調整方法を説明するための図である。ま
た、図１２は従来の画像処理装置のカメラ（撮影）画像
を示す図である。また、図１３は従来の画像処理装置の
制御部の行う処理を示す図である。以下、図に従って説
明する。
【０００３】２は車両に設置され、車両及び道路状況を
撮影するカメラである。３はカメラ２により撮影した前
方車両５１及び道路状況を基に前方車両５１との車間距
離、割り込み車両５２の有無を判断するマイクロコンピ
ュータ（マイコン）等で構成された画像処理部である。
４はカメラ２で撮影された映像または画像処理結果を表
示する液晶等で構成される表示部である。３１はカメラ
２への光量を制御するアイリス制御部で、カメラ２から
の映像信号の大小に基いて光量が最適になるようにカメ
ラ２のレンズの開口度を調整する。
撮影するカメラである。３はカメラ２により撮影した前
方車両５１及び道路状況を基に前方車両５１との車間距
離、割り込み車両５２の有無を判断するマイクロコンピ
ュータ（マイコン）等で構成された画像処理部である。
４はカメラ２で撮影された映像または画像処理結果を表
示する液晶等で構成される表示部である。３１はカメラ
２への光量を制御するアイリス制御部で、カメラ２から
の映像信号の大小に基いて光量が最適になるようにカメ
ラ２のレンズの開口度を調整する。
【０００４】先ず、カメラ２への光量を調整するアイリ
ス制御について説明する。カメラ２は車両に設置されて
いるために、例えば、季節、時刻、天候の他、車両の走
行ととも日陰部、トンネル等の走行環境によって、カメ
ラ２に入射する光量は時々刻々変化する。従って、画像
処理に最適な画像、つまり明るさ、解像度、コントラス
ト（濃淡）等のよい画像を得るためには、走行環境に応
じてカメラ２への入射光量を調節しなければならない。
ス制御について説明する。カメラ２は車両に設置されて
いるために、例えば、季節、時刻、天候の他、車両の走
行ととも日陰部、トンネル等の走行環境によって、カメ
ラ２に入射する光量は時々刻々変化する。従って、画像
処理に最適な画像、つまり明るさ、解像度、コントラス
ト（濃淡）等のよい画像を得るためには、走行環境に応
じてカメラ２への入射光量を調節しなければならない。
【０００５】カメラ２で撮影された映像信号は画像処理
部３に送られて画像処理されると共に、アイリス制御部
３１にも送られ映像信号の大小（明るさに対応する）が
検出される。そして、映像信号が基準値より小さいとカ
メラ２への入射光量が少なく良好な画像が得られないと
判断され、アイリス制御部３１はカメラ２に対して入射
光量を増加するように指示する（レンズの絞りを開
く）。逆に、映像信号が大き過ぎるとカメラ２への入射
光量が多過ぎて同様に良好な画像が得られないと判断さ
れ、アイリス制御部３１はカメラ２に対して入射光量を
減少するように指示する（レンズの絞りを絞る）。この
ようにして、車両の走行環境（晴れ、曇り等）が変化し
ても常に良好な画像が得られるように入射光量の制御が
行われる（図１１参照、以下、この制御をオートアイリ
ス制御と称し、また、このような状態でのアイリス値を
オートアイリス値と称する）。
部３に送られて画像処理されると共に、アイリス制御部
３１にも送られ映像信号の大小（明るさに対応する）が
検出される。そして、映像信号が基準値より小さいとカ
メラ２への入射光量が少なく良好な画像が得られないと
判断され、アイリス制御部３１はカメラ２に対して入射
光量を増加するように指示する（レンズの絞りを開
く）。逆に、映像信号が大き過ぎるとカメラ２への入射
光量が多過ぎて同様に良好な画像が得られないと判断さ
れ、アイリス制御部３１はカメラ２に対して入射光量を
減少するように指示する（レンズの絞りを絞る）。この
ようにして、車両の走行環境（晴れ、曇り等）が変化し
ても常に良好な画像が得られるように入射光量の制御が
行われる（図１１参照、以下、この制御をオートアイリ
ス制御と称し、また、このような状態でのアイリス値を
オートアイリス値と称する）。
【０００６】次に、画像処理方法について説明する。カ
メラ２で撮影された映像信号は画像処理部３を経由して
表示部４に送られ、前方車両５１及び割り込み車両５２
と道路状況が表示される（図１２参照）。また、画像処
理部３では撮影された画像から、両側が白線５３で区切
られた自車走行車線（前方車両検出領域）については、
主として車間距離が維持できないことによる追突防止を
目的として車間距離を計測する。その白線５３の外側の
隣接車線（割り込み車両検出領域）については、自車走
行車線への車線変更（割り込み）の恐れのある車両を検
出する。画像処理では画像中の横成分を抽出して車両を
認識し、また対象車両までの距離を算出する。
メラ２で撮影された映像信号は画像処理部３を経由して
表示部４に送られ、前方車両５１及び割り込み車両５２
と道路状況が表示される（図１２参照）。また、画像処
理部３では撮影された画像から、両側が白線５３で区切
られた自車走行車線（前方車両検出領域）については、
主として車間距離が維持できないことによる追突防止を
目的として車間距離を計測する。その白線５３の外側の
隣接車線（割り込み車両検出領域）については、自車走
行車線への車線変更（割り込み）の恐れのある車両を検
出する。画像処理では画像中の横成分を抽出して車両を
認識し、また対象車両までの距離を算出する。
【０００７】前方車両５１と割り込み車両５２の両方を
画像処理により検出するためには、図１３のごとく、先
ず自車走行車線（前方車両検出領域）において前方車両
５１の認識処理を、次に隣接車線（割り込み車両検出領
域）において割り込み車両５２の認識処理を行う。この
前方車両検出処理、割り込み車両検出処理を１周期とし
て繰り返す。このようにして、画像処理装置はカメラ２
により撮影した画像を基に、運転者は前方車両５１及び
割り込み車両５２に対して早期に対応が採れるように支
援する。
画像処理により検出するためには、図１３のごとく、先
ず自車走行車線（前方車両検出領域）において前方車両
５１の認識処理を、次に隣接車線（割り込み車両検出領
域）において割り込み車両５２の認識処理を行う。この
前方車両検出処理、割り込み車両検出処理を１周期とし
て繰り返す。このようにして、画像処理装置はカメラ２
により撮影した画像を基に、運転者は前方車両５１及び
割り込み車両５２に対して早期に対応が採れるように支
援する。
【０００８】
【発明が解決しようとする課題】従来のカメラによる撮
影及び画像処理装置では、トンネルの入口または出口付
近の急激な明るさの変化にカメラのアイリス値調整が応
答できず不適切な光量になり、画像のコントラストや解
像度が低下する。その結果、画像処理により対象車両の
認識が困難になる。
影及び画像処理装置では、トンネルの入口または出口付
近の急激な明るさの変化にカメラのアイリス値調整が応
答できず不適切な光量になり、画像のコントラストや解
像度が低下する。その結果、画像処理により対象車両の
認識が困難になる。
【０００９】また、従来のような画像処理方法では、自
車走行車線に合流する合流車線の有無に係わらず、一定
の手順で画像処理を行い前方車両及び割り込み車両を認
識するので、例えば、合流点付近では合流する車線から
の車両、つまり割り込み車両の率が増えるにも係わらず
同様の画像処理を行うので、割り込み車両の認識が遅れ
るという問題がある。
車走行車線に合流する合流車線の有無に係わらず、一定
の手順で画像処理を行い前方車両及び割り込み車両を認
識するので、例えば、合流点付近では合流する車線から
の車両、つまり割り込み車両の率が増えるにも係わらず
同様の画像処理を行うので、割り込み車両の認識が遅れ
るという問題がある。
【００１０】本発明は、走行環境の急激な変化にも対応
して道路状況が撮影でき、且つ、適切なタイミングで前
方車両及び割り込み車両の認識が行える画像処理装置を
提供することを目的とする。
して道路状況が撮影でき、且つ、適切なタイミングで前
方車両及び割り込み車両の認識が行える画像処理装置を
提供することを目的とする。
【００１１】
【課題を解決するための手段】上記目的を達成するため
に本発明は、自車に設置され、前記自車の前方車両及び
道路状況を撮影する撮影手段と、前記撮影手段により撮
影された画像を基に前記前方車両及び道路状況を認識す
る画像処理手段を備えた画像処理装置において、前記自
車の位置を検出する位置検出手段と、前記自車が所定位
置に到達したことを検出する到達検出手段と、前記到達
検出手段により自車が前記所定位置に到達したことが検
出された時に、前記撮影手段により前記前方車両及び道
路状況を撮影する撮影条件を変更する撮影条件変更手段
を備えたことを特徴とするものである。
に本発明は、自車に設置され、前記自車の前方車両及び
道路状況を撮影する撮影手段と、前記撮影手段により撮
影された画像を基に前記前方車両及び道路状況を認識す
る画像処理手段を備えた画像処理装置において、前記自
車の位置を検出する位置検出手段と、前記自車が所定位
置に到達したことを検出する到達検出手段と、前記到達
検出手段により自車が前記所定位置に到達したことが検
出された時に、前記撮影手段により前記前方車両及び道
路状況を撮影する撮影条件を変更する撮影条件変更手段
を備えたことを特徴とするものである。
【００１２】また、前記到達検出手段は、前記自車がト
ンネル入口の所定距離手前に到達したことを検出するも
のであって、前記撮影条件変更手段は、前記撮影手段へ
の光量を制御するアイリス値を予め設定されたトンネル
内アイリス値に変更するものであることを特徴とするも
のである。また、前記到達検出手段は、前記自車がトン
ネル出口の所定距離手前に到達したことを検出するもの
であって、前記撮影条件変更手段は、前記撮影手段への
光量を制御するアイリス値を予め設定されたトンネル外
アイリス値に変更するものであることを特徴とするもの
である。
ンネル入口の所定距離手前に到達したことを検出するも
のであって、前記撮影条件変更手段は、前記撮影手段へ
の光量を制御するアイリス値を予め設定されたトンネル
内アイリス値に変更するものであることを特徴とするも
のである。また、前記到達検出手段は、前記自車がトン
ネル出口の所定距離手前に到達したことを検出するもの
であって、前記撮影条件変更手段は、前記撮影手段への
光量を制御するアイリス値を予め設定されたトンネル外
アイリス値に変更するものであることを特徴とするもの
である。
【００１３】また、前記到達検出手段は、前記自車がト
ンネル入口またはトンネル出口に到達したことを検出す
るものであって、前記撮影条件変更手段は、前記撮影手
段への光量を制御するアイリス値を周囲の明るさに対応
して可変するオートアイリス制御手段に基づくアイリス
値に変更するものであることを特徴とするものである。
ンネル入口またはトンネル出口に到達したことを検出す
るものであって、前記撮影条件変更手段は、前記撮影手
段への光量を制御するアイリス値を周囲の明るさに対応
して可変するオートアイリス制御手段に基づくアイリス
値に変更するものであることを特徴とするものである。
【００１４】また、前記撮影条件変更手段は、前記撮影
手段への光量を制御するアイリス値を、前記自車と前記
トンネル入口またはトンネル出口までの距離に応じて徐
々に変更するものであることを特徴とするものである。
また、自車に設置され、前記自車の前方車両及び道路状
況を撮影する撮影手段と、前記撮影手段により撮影され
た画像を基に前記前方車両及び道路状況を認識する画像
処理手段を備えた画像処理装置において、前記自車の位
置を検出する位置検出手段と、前記自車が所定位置に到
達したことを検出する到達検出手段と、前記到達検出手
段により自車が前記所定位置に到達したことが検出され
た時に、前記撮影手段により撮影された画像を基に前記
前方車両及び道路状況を認識する画像処理手段による画
像処理条件を変更する画像処理条件変更手段を備えたこ
とを特徴とするものである。
手段への光量を制御するアイリス値を、前記自車と前記
トンネル入口またはトンネル出口までの距離に応じて徐
々に変更するものであることを特徴とするものである。
また、自車に設置され、前記自車の前方車両及び道路状
況を撮影する撮影手段と、前記撮影手段により撮影され
た画像を基に前記前方車両及び道路状況を認識する画像
処理手段を備えた画像処理装置において、前記自車の位
置を検出する位置検出手段と、前記自車が所定位置に到
達したことを検出する到達検出手段と、前記到達検出手
段により自車が前記所定位置に到達したことが検出され
た時に、前記撮影手段により撮影された画像を基に前記
前方車両及び道路状況を認識する画像処理手段による画
像処理条件を変更する画像処理条件変更手段を備えたこ
とを特徴とするものである。
【００１５】また、前記到達検出手段は、前記自車が自
車走行車線に隣接する隣接車線との合流を開始する合流
開始点の所定距離手前に到達したことを検出するもので
あって、前記画像処理条件変更手段は、前記隣接車線の
画像処理領域が広くなるように変更するものであること
を特徴とするものである。また、前記到達検出手段は、
前記自車が自車走行車線に隣接する隣接車線との合流を
開始する合流開始点の所定距離手前に到達したことを検
出するものであって、前記画像処理条件変更手段は、前
記隣接車線の画像処理時間が長くなるように変更するも
のであることを特徴とするものである。
車走行車線に隣接する隣接車線との合流を開始する合流
開始点の所定距離手前に到達したことを検出するもので
あって、前記画像処理条件変更手段は、前記隣接車線の
画像処理領域が広くなるように変更するものであること
を特徴とするものである。また、前記到達検出手段は、
前記自車が自車走行車線に隣接する隣接車線との合流を
開始する合流開始点の所定距離手前に到達したことを検
出するものであって、前記画像処理条件変更手段は、前
記隣接車線の画像処理時間が長くなるように変更するも
のであることを特徴とするものである。
【００１６】また、前記到達検出手段は、前記自車が自
車走行車線に隣接する隣接車線との合流が終了する合流
終了点に到達したことを検出するものであって、前記画
像処理条件変更手段による画像処理条件の変更を禁止す
る変更禁止手段を備えたことを特徴とするものである。
また、前記画像処理条件は、前記隣接車線の画像処理時
間または画像処理範囲を、前記自車と前記合流開始点ま
での距離に応じて徐々に変更するものであることを特徴
とするものである。
車走行車線に隣接する隣接車線との合流が終了する合流
終了点に到達したことを検出するものであって、前記画
像処理条件変更手段による画像処理条件の変更を禁止す
る変更禁止手段を備えたことを特徴とするものである。
また、前記画像処理条件は、前記隣接車線の画像処理時
間または画像処理範囲を、前記自車と前記合流開始点ま
での距離に応じて徐々に変更するものであることを特徴
とするものである。
【００１７】
【実施例】図１は本発明の第１の実施例の画像処理装置
の構成を示すブロック図である。以下、図に従って説明
する。１１はＧＰＳシステムや、車速センサ、方位セン
サ等により自車の位置を検出する自立航行システム等か
らなる位置検出部である。１２は地図情報（経路デー
タ、トンネル位置等）が記録されたＣＤ−ＲＯＭの読取
装置（ＣＤ−ＲＯＭドライブ）等からなる地図データベ
ースである。２は車両に設置され、前方車両及び道路状
況を撮影するカメラである。３はカメラ２により撮影し
た前方車両５１及び道路状況を基に前方車両５１との車
間距離、割り込み車両５２の有無を判断するマイクロコ
ンピュータ（マイコン）等で構成された画像処理部であ
る。また、画像処理部３は位置検出部１１及び対応する
地図データベース１２の地図情報に基いて自車の位置を
特定する処理、トンネルとの位置関係（距離等）を算出
する処理等も行う。４はカメラ２で撮影された映像また
は画像処理結果を表示する液晶等で構成される表示部で
ある。３１はカメラ２への光量を制御するアイリス制御
部で、カメラ２の映像信号の大小及び走行環境に基いて
光量が最適になるようにカメラ２のレンズの開口度を調
整する。
の構成を示すブロック図である。以下、図に従って説明
する。１１はＧＰＳシステムや、車速センサ、方位セン
サ等により自車の位置を検出する自立航行システム等か
らなる位置検出部である。１２は地図情報（経路デー
タ、トンネル位置等）が記録されたＣＤ−ＲＯＭの読取
装置（ＣＤ−ＲＯＭドライブ）等からなる地図データベ
ースである。２は車両に設置され、前方車両及び道路状
況を撮影するカメラである。３はカメラ２により撮影し
た前方車両５１及び道路状況を基に前方車両５１との車
間距離、割り込み車両５２の有無を判断するマイクロコ
ンピュータ（マイコン）等で構成された画像処理部であ
る。また、画像処理部３は位置検出部１１及び対応する
地図データベース１２の地図情報に基いて自車の位置を
特定する処理、トンネルとの位置関係（距離等）を算出
する処理等も行う。４はカメラ２で撮影された映像また
は画像処理結果を表示する液晶等で構成される表示部で
ある。３１はカメラ２への光量を制御するアイリス制御
部で、カメラ２の映像信号の大小及び走行環境に基いて
光量が最適になるようにカメラ２のレンズの開口度を調
整する。
【００１８】図２は車両とトンネルの位置関係を示す図
である。また、図３は本発明の第１の実施例の画像処理
装置の制御部の行う処理フローチャートである。また、
図４は本発明の第１の実施例の他のアイリス値調整を説
明するための図である。以下、カメラへの光量を調整す
るアイリス制御について図に従って説明する。尚、本処
理はナビゲーション装置により目的地までの経路（ルー
ト）設定が行われた時点から開始する。
である。また、図３は本発明の第１の実施例の画像処理
装置の制御部の行う処理フローチャートである。また、
図４は本発明の第１の実施例の他のアイリス値調整を説
明するための図である。以下、カメラへの光量を調整す
るアイリス制御について図に従って説明する。尚、本処
理はナビゲーション装置により目的地までの経路（ルー
ト）設定が行われた時点から開始する。
【００１９】ステップＳ１１では、自車とトンネルとの
相対位置を検出してステップＳ１２に移る。つまり、位
置検出部１１によりＧＰＳまたは車速センサとジャイロ
センサ等により自車の現在位置を緯度、経度で特定す
る。また、現在位置に対応する地図情報を地図データベ
ース１２から読み出す。そして、現在地（自車位置）か
ら走行経路上にあるトンネル入口までの距離Ｄｉを算出
する。
相対位置を検出してステップＳ１２に移る。つまり、位
置検出部１１によりＧＰＳまたは車速センサとジャイロ
センサ等により自車の現在位置を緯度、経度で特定す
る。また、現在位置に対応する地図情報を地図データベ
ース１２から読み出す。そして、現在地（自車位置）か
ら走行経路上にあるトンネル入口までの距離Ｄｉを算出
する。
【００２０】ステップＳ１２では、トンネル入口までの
距離Ｄｉが予め設定された距離Ｄｉ１より小さいか否か
を判断して距離Ｄｉの方が小さければステップＳ１３に
移り（図２のＢ区間に対応）、小さくなければステップ
Ｓ１５に移る（図２のＡ区間に対応）。つまり、自車が
トンネル入口の所定距離以内に接近したか否かを判断す
る。
距離Ｄｉが予め設定された距離Ｄｉ１より小さいか否か
を判断して距離Ｄｉの方が小さければステップＳ１３に
移り（図２のＢ区間に対応）、小さくなければステップ
Ｓ１５に移る（図２のＡ区間に対応）。つまり、自車が
トンネル入口の所定距離以内に接近したか否かを判断す
る。
【００２１】ステップＳ１３では、カメラ２のアイリス
値をトンネル内アイリス値Ａｉに設定してステップＳ１
４に移る。つまり、自車が間もなくトンネルに入る（Ｂ
区間にある）ので急激に暗くなると予想される。そこ
で、事前にカメラ２の光量調整を行うためにアイリス値
をトンネル内アイリス値Ａｉに変更する。このトンネル
内アイリス値Ａｉは予め平均的なトンネルにおけるアイ
リス値を実測して、この値を基に決められている。
値をトンネル内アイリス値Ａｉに設定してステップＳ１
４に移る。つまり、自車が間もなくトンネルに入る（Ｂ
区間にある）ので急激に暗くなると予想される。そこ
で、事前にカメラ２の光量調整を行うためにアイリス値
をトンネル内アイリス値Ａｉに変更する。このトンネル
内アイリス値Ａｉは予め平均的なトンネルにおけるアイ
リス値を実測して、この値を基に決められている。
【００２２】ステップＳ１４では、自車がトンネルに入
ったか否かを判断してトンネルに入っておれば（図２の
Ｃ区間に対応）ステップＳ１５に移り、トンネルに入っ
ていなければ（図２のＢ区間に対応）待機する。ステッ
プＳ１５ではオートアイリスに設定してステップＳ１６
に移る。つまり、周囲の明るさが急激に変化しない状況
にあるので明るさに対応してカメラ２のアイリス値を調
整（オートアイリス）にする。尚、トンネル内の照度変
化が大きくなければ、ステップＳ１４の処理を省略して
Ｃ区間を設けずＢ区間と同様にトンネル内アイリス値Ａ
ｉとしてオートアイリスにする必要もない。
ったか否かを判断してトンネルに入っておれば（図２の
Ｃ区間に対応）ステップＳ１５に移り、トンネルに入っ
ていなければ（図２のＢ区間に対応）待機する。ステッ
プＳ１５ではオートアイリスに設定してステップＳ１６
に移る。つまり、周囲の明るさが急激に変化しない状況
にあるので明るさに対応してカメラ２のアイリス値を調
整（オートアイリス）にする。尚、トンネル内の照度変
化が大きくなければ、ステップＳ１４の処理を省略して
Ｃ区間を設けずＢ区間と同様にトンネル内アイリス値Ａ
ｉとしてオートアイリスにする必要もない。
【００２３】ステップＳ１６では、トンネル出口までの
距離Ｄｏが予め設定された距離Ｄｏ１より小さいか否か
を判断して距離Ｄｏの方が小さければ（図２のＤ区間に
対応）ステップＳ１７に移り、小さくなければ（図２の
Ｃ区間に対応）待機する。つまり、自車がトンネル出口
の所定距離以内に接近したか否かを判断する。ステップ
Ｓ１７では、カメラ２のアイリス値をトンネル外アイリ
ス値Ａｏに設定してステップＳ１８に移る。つまり、自
車が間もなくトンネルを出るので急激に明るくなると予
想される。そこで、事前にカメラ２の光量調整を行うた
めにアイリス値をトンネル外アイリス値Ａｏに変更す
る。このトンネル外アイリス値Ａｏは予め自車が当該ト
ンネルに入る前の平均的なアイリス値を記憶しておき、
この値を基に決められている。
距離Ｄｏが予め設定された距離Ｄｏ１より小さいか否か
を判断して距離Ｄｏの方が小さければ（図２のＤ区間に
対応）ステップＳ１７に移り、小さくなければ（図２の
Ｃ区間に対応）待機する。つまり、自車がトンネル出口
の所定距離以内に接近したか否かを判断する。ステップ
Ｓ１７では、カメラ２のアイリス値をトンネル外アイリ
ス値Ａｏに設定してステップＳ１８に移る。つまり、自
車が間もなくトンネルを出るので急激に明るくなると予
想される。そこで、事前にカメラ２の光量調整を行うた
めにアイリス値をトンネル外アイリス値Ａｏに変更す
る。このトンネル外アイリス値Ａｏは予め自車が当該ト
ンネルに入る前の平均的なアイリス値を記憶しておき、
この値を基に決められている。
【００２４】ステップＳ１８では、自車がトンネルを出
たか否かを判断してトンネルを出ておれば（図２のＥ区
間、次のトンネルからみるとＡ区間に対応）ステップＳ
１９に移り、トンネルを出ていなければ（図２のＤ区間
に対応）待機する。ステップＳ１９ではオートアイリス
に設定してステップＳ１１に戻る。つまり、周囲の明る
さの変化が急激に変化しない状況にあるので明るさに対
応してカメラ２のアイリス値を調整（オートアイリス）
し、このような処理を繰り返す。
たか否かを判断してトンネルを出ておれば（図２のＥ区
間、次のトンネルからみるとＡ区間に対応）ステップＳ
１９に移り、トンネルを出ていなければ（図２のＤ区間
に対応）待機する。ステップＳ１９ではオートアイリス
に設定してステップＳ１１に戻る。つまり、周囲の明る
さの変化が急激に変化しない状況にあるので明るさに対
応してカメラ２のアイリス値を調整（オートアイリス）
し、このような処理を繰り返す。
【００２５】以上のように本実施例では、急激な明るさ
の変化を予測して予めアイリス値の調整を行うので良好
な画像が得られ、画像処理による前方車両５１及び割り
込み車両５２の認識の信頼性が向上する。また、本例で
はアイリス値Ａｉの調整をトンネル入口の所定距離Ｄｉ
１手前で一度に行う代わりに、図４のようにトンネルの
入口からの距離（Ｄｉ１、Ｄｉ２等）に応じて複数の区
間に分割して徐々にトンネル内アイリス値に近づけるよ
うに、アイリス値Ａｉ１、Ａｉ２を調整するようにして
もよい。さらに、図４の点線のごとくトンネルの入口か
らの距離に対応して連続してアイリス値を調整してもよ
い。出口についても同様にトンネル出口からの距離（Ｄ
ｏ１、Ｄｏ２等）に応じてアイリス値Ａｏの調整を多段
階（Ａｏ１、Ａｏ２）に、または点線のごとく連続して
行うこともできる。
の変化を予測して予めアイリス値の調整を行うので良好
な画像が得られ、画像処理による前方車両５１及び割り
込み車両５２の認識の信頼性が向上する。また、本例で
はアイリス値Ａｉの調整をトンネル入口の所定距離Ｄｉ
１手前で一度に行う代わりに、図４のようにトンネルの
入口からの距離（Ｄｉ１、Ｄｉ２等）に応じて複数の区
間に分割して徐々にトンネル内アイリス値に近づけるよ
うに、アイリス値Ａｉ１、Ａｉ２を調整するようにして
もよい。さらに、図４の点線のごとくトンネルの入口か
らの距離に対応して連続してアイリス値を調整してもよ
い。出口についても同様にトンネル出口からの距離（Ｄ
ｏ１、Ｄｏ２等）に応じてアイリス値Ａｏの調整を多段
階（Ａｏ１、Ａｏ２）に、または点線のごとく連続して
行うこともできる。
【００２６】図５は車両と合流点の位置関係を示す図で
ある。また、図６は本発明の第２の実施例の画像処理装
置のカメラ画像を示す図である。また、図７は本発明の
第２の実施例の画像処理装置の制御部の行う処理フロー
チャートである。また、図８は本発明の第２の実施例の
画像処理装置の制御部の行う処理を示す図で、（ａ）は
合流点付近以外での処理、（ｂ）は合流点付近での処理
である。また、図９は本発明の第２の実施例の画像処理
装置の制御部の行う他の処理を示す図で、（ａ）は合流
点付近以外での処理、（ｂ）は合流点付近での処理であ
る。以下、画像処理方法について図に従って説明する。
尚、本処理はナビゲーション装置により目的地までの経
路（ルート）設定が行われた時点から開始する。
ある。また、図６は本発明の第２の実施例の画像処理装
置のカメラ画像を示す図である。また、図７は本発明の
第２の実施例の画像処理装置の制御部の行う処理フロー
チャートである。また、図８は本発明の第２の実施例の
画像処理装置の制御部の行う処理を示す図で、（ａ）は
合流点付近以外での処理、（ｂ）は合流点付近での処理
である。また、図９は本発明の第２の実施例の画像処理
装置の制御部の行う他の処理を示す図で、（ａ）は合流
点付近以外での処理、（ｂ）は合流点付近での処理であ
る。以下、画像処理方法について図に従って説明する。
尚、本処理はナビゲーション装置により目的地までの経
路（ルート）設定が行われた時点から開始する。
【００２７】ステップＳ２１では、自車と合流開始点位
置を検出してステップＳ２２に移る。つまり、位置検出
部１１によりＧＰＳまたは車速センサとジャイロセンサ
等により自車の現在位置を緯度、経度で特定する。ま
た、現在位置に対応する地図情報を地図データベース１
２から読み出す。そして、現在地（自車位置）から走行
経路上にある合流開始点までの距離Ｄ１を算出する。
置を検出してステップＳ２２に移る。つまり、位置検出
部１１によりＧＰＳまたは車速センサとジャイロセンサ
等により自車の現在位置を緯度、経度で特定する。ま
た、現在位置に対応する地図情報を地図データベース１
２から読み出す。そして、現在地（自車位置）から走行
経路上にある合流開始点までの距離Ｄ１を算出する。
【００２８】ステップＳ２２では、合流開始点までの距
離Ｄ１が予め設定された距離Ｄａ１より小さいか否かを
判断して距離Ｄ１の方が小さければステップＳ２３に移
り（図５のＢ区間に対応）、小さくなければステップＳ
２４に移る（図５のＡ区間に対応）。つまり、自車が合
流開始点の所定距離以内に接近したか否かを判断する。
離Ｄ１が予め設定された距離Ｄａ１より小さいか否かを
判断して距離Ｄ１の方が小さければステップＳ２３に移
り（図５のＢ区間に対応）、小さくなければステップＳ
２４に移る（図５のＡ区間に対応）。つまり、自車が合
流開始点の所定距離以内に接近したか否かを判断する。
【００２９】ステップＳ２３では、割り込み車両優先の
画像処理を実施してステップＳ２１に戻る。つまり、自
車が合流開始点の所定距離以内に接近しているので、隣
接車線からの合流車両（割り込み車両５２）が多くな
る。そのため、割り込み車両に重点をおいた処理を行う
必要がある。図８（ｂ）のような合流点付近での処理に
従って前方車両５１の他、割り込み車両５２の処理に重
点をおく必要がある。例えば、処理頻度を前方車両認
識、割り込み車両認識、割り込み車両認識を１周期とし
て画像処理を行う。
画像処理を実施してステップＳ２１に戻る。つまり、自
車が合流開始点の所定距離以内に接近しているので、隣
接車線からの合流車両（割り込み車両５２）が多くな
る。そのため、割り込み車両に重点をおいた処理を行う
必要がある。図８（ｂ）のような合流点付近での処理に
従って前方車両５１の他、割り込み車両５２の処理に重
点をおく必要がある。例えば、処理頻度を前方車両認
識、割り込み車両認識、割り込み車両認識を１周期とし
て画像処理を行う。
【００３０】ステップＳ２４では、合流終了点に到達し
たか否かを判断して合流終了点に到達しておればステッ
プＳ２５に移り（図５のＣ区間に対応）、到達していな
ければ待機する（図５のＢ区間に対応）。ステップＳ２
５では、前方車両優先の画像処理を実施してステップＳ
２１に戻る。つまり、自車が合流終了点を通過したの
で、合流車両（割り込み車両５２）が少なくなる。その
ため、割り込み車両５２に重点をおいた処理よりも追突
防止のために図８（ａ）のような合流点付近以外での処
理に従って前方車両５１に重点をおいた処理を行う必要
がある。例えば、処理頻度を前方車両認識、割り込み車
両認識を１周期として画像処理を行う。
たか否かを判断して合流終了点に到達しておればステッ
プＳ２５に移り（図５のＣ区間に対応）、到達していな
ければ待機する（図５のＢ区間に対応）。ステップＳ２
５では、前方車両優先の画像処理を実施してステップＳ
２１に戻る。つまり、自車が合流終了点を通過したの
で、合流車両（割り込み車両５２）が少なくなる。その
ため、割り込み車両５２に重点をおいた処理よりも追突
防止のために図８（ａ）のような合流点付近以外での処
理に従って前方車両５１に重点をおいた処理を行う必要
がある。例えば、処理頻度を前方車両認識、割り込み車
両認識を１周期として画像処理を行う。
【００３１】以上のように本実施例では、割り込み車両
５２の多少を予測して画像処理による車両の認識対象を
変えるので、前方車両５１及び割り込み車両５２の動向
に対して早期に対応が採れ事故防止に効果がある。ま
た、本例では割り込み車両重点画像処理として処理頻度
を変えているが、図６のごとく割り込み車両検出領域を
Ａ、Ｂに区別して、合流点付近（Ｂ区間）では、合流す
る車両を早くから認識できるように割り込み車両検出領
域を領域Ａ及び領域Ｂの広い領域について行う。一方、
合流点付近以外（Ａ区間、Ｃ区間）では、割り込み車両
検出領域を領域Ａの狭い領域に限定して行うようにして
もよい。つまり、割り込み対象車両の検出（認識）範囲
を割り込みの可能性の大小により変更するものである。
さらに、合流開始点からの距離に対応して連続して処理
領域を変更してもよい。
５２の多少を予測して画像処理による車両の認識対象を
変えるので、前方車両５１及び割り込み車両５２の動向
に対して早期に対応が採れ事故防止に効果がある。ま
た、本例では割り込み車両重点画像処理として処理頻度
を変えているが、図６のごとく割り込み車両検出領域を
Ａ、Ｂに区別して、合流点付近（Ｂ区間）では、合流す
る車両を早くから認識できるように割り込み車両検出領
域を領域Ａ及び領域Ｂの広い領域について行う。一方、
合流点付近以外（Ａ区間、Ｃ区間）では、割り込み車両
検出領域を領域Ａの狭い領域に限定して行うようにして
もよい。つまり、割り込み対象車両の検出（認識）範囲
を割り込みの可能性の大小により変更するものである。
さらに、合流開始点からの距離に対応して連続して処理
領域を変更してもよい。
【００３２】
【発明の効果】以上説明したように、本発明では、走行
環境の急激な変化にも常に良好が画像を撮影でき、且
つ、適切なタイミングで前方車両及び割り込み車両の認
識が行える画像処理装置が提供できる。
環境の急激な変化にも常に良好が画像を撮影でき、且
つ、適切なタイミングで前方車両及び割り込み車両の認
識が行える画像処理装置が提供できる。
【図１】本発明の第１の実施例の画像処理装置の構成を
示すブロック図である。
示すブロック図である。
【図２】車両とトンネルの位置関係を示す図である。
【図３】本発明の第１の実施例の画像処理装置の制御部
の行う処理フローチャートである。
の行う処理フローチャートである。
【図４】本発明の第１の実施例の画像処理装置の他のア
イリス値調整を説明するための図である。
イリス値調整を説明するための図である。
【図５】車両と合流点の位置関係を示す図である。
【図６】本発明の第２の実施例の画像処理装置のカメラ
画像を示す図である。
画像を示す図である。
【図７】本発明の第２の実施例の画像処理装置の制御部
の行う処理フローチャートである。
の行う処理フローチャートである。
【図８】本発明の第２の実施例の画像処理装置の制御部
の行う処理手順を示す図である。
の行う処理手順を示す図である。
【図９】本発明の第２の実施例の画像処理装置の制御部
の行う他の処理手順を示す図である。
の行う他の処理手順を示す図である。
【図１０】従来の画像処理装置の構成を示すブロック図
である。
である。
【図１１】従来の画像処理装置のアイリス値調整方法を
説明するための図である。
説明するための図である。
【図１２】従来の画像処理装置のカメラ画像を示す図で
ある。
ある。
【図１３】従来の画像処理装置の制御部の行う処理手順
を示す図である。
を示す図である。
１１・・・位置検出部、 ３・・・・画像
処理部、１２・・・地図データベース、 ３１・
・・アイリス制御部、２・・・・カメラ、
４・・・・表示部、５１・・・前方車両、
５２・・・割り込み車両。
処理部、１２・・・地図データベース、 ３１・
・・アイリス制御部、２・・・・カメラ、
４・・・・表示部、５１・・・前方車両、
５２・・・割り込み車両。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０
Claims (10)
- 【請求項１】 自車に設置され、前記自車の前方車両及
び道路状況を撮影する撮影手段と、前記撮影手段により
撮影された画像を基に前記前方車両及び道路状況を認識
する画像処理手段を備えた画像処理装置において、 前記自車の位置を検出する位置検出手段と、 前記自車が所定位置に到達したことを検出する到達検出
手段と、 前記到達検出手段により自車が前記所定位置に到達した
ことが検出された時に、前記撮影手段により前記前方車
両及び道路状況を撮影する撮影条件を変更する撮影条件
変更手段を備えたことを特徴とする画像処理装置。 - 【請求項２】 前記到達検出手段は、前記自車がトンネ
ル入口の所定距離手前に到達したことを検出するもので
あって、 前記撮影条件変更手段は、前記撮影手段への光量を制御
するアイリス値を予め設定されたトンネル内アイリス値
に変更するものであることを特徴とする請求項１記載の
画像処理装置。 - 【請求項３】 前記到達検出手段は、前記自車がトンネ
ル出口の所定距離手前に到達したことを検出するもので
あって、 前記撮影条件変更手段は、前記撮影手段への光量を制御
するアイリス値を予め設定されたトンネル外アイリス値
に変更するものであることを特徴とする請求項１記載の
画像処理装置。 - 【請求項４】 前記到達検出手段は、前記自車がトンネ
ル入口またはトンネル出口に到達したことを検出するも
のであって、 前記撮影条件変更手段は、前記撮影手段への光量を制御
するアイリス値を周囲の明るさに対応して可変するオー
トアイリス制御手段に基づくアイリス値に変更するもの
であることを特徴とする請求項１記載の画像処理装置。 - 【請求項５】 前記撮影条件変更手段は、前記撮影手段
への光量を制御するアイリス値を、前記自車と前記トン
ネル入口またはトンネル出口までの距離に応じて徐々に
変更するものであることを特徴とする請求項２または請
求項３記載の画像処理装置。 - 【請求項６】 自車に設置され、前記自車の前方車両及
び道路状況を撮影する撮影手段と、前記撮影手段により
撮影された画像を基に前記前方車両及び道路状況を認識
する画像処理手段を備えた画像処理装置において、 前記自車の位置を検出する位置検出手段と、 前記自車が所定位置に到達したことを検出する到達検出
手段と、 前記到達検出手段により自車が前記所定位置に到達した
ことが検出された時に、前記撮影手段により撮影された
画像を基に前記前方車両及び道路状況を認識する画像処
理手段による画像処理条件を変更する画像処理条件変更
手段を備えたことを特徴とする画像処理装置。 - 【請求項７】 前記到達検出手段は、前記自車が自車走
行車線に隣接する隣接車線との合流を開始する合流開始
点の所定距離手前に到達したことを検出するものであっ
て、 前記画像処理条件変更手段は、前記隣接車線の画像処理
領域が広くなるように変更するものであることを特徴と
する請求項６記載の画像処理装置。 - 【請求項８】 前記到達検出手段は、前記自車が自車走
行車線に隣接する隣接車線との合流を開始する合流開始
点の所定距離手前に到達したことを検出するものであっ
て、 前記画像処理条件変更手段は、前記隣接車線の画像処理
時間が長くなるように変更するものであることを特徴と
する請求項６記載の画像処理装置。 - 【請求項９】 前記到達検出手段は、前記自車が自車走
行車線に隣接する隣接車線との合流が終了する合流終了
点に到達したことを検出するものであって、 前記画像処理条件変更手段による画像処理条件の変更を
禁止する変更禁止手段を備えたことを特徴とする請求項
６記載の画像処理装置。 - 【請求項１０】 前記画像処理条件は、前記隣接車線の
画像処理時間または画像処理範囲を、前記自車と前記合
流開始点までの距離に応じて徐々に変更するものである
ことを特徴とする請求項７又は請求項８記載の画像処理
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20283597A JP4063920B2 (ja) | 1997-07-29 | 1997-07-29 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20283597A JP4063920B2 (ja) | 1997-07-29 | 1997-07-29 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1142972A true JPH1142972A (ja) | 1999-02-16 |
| JP4063920B2 JP4063920B2 (ja) | 2008-03-19 |
Family
ID=16463986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20283597A Expired - Fee Related JP4063920B2 (ja) | 1997-07-29 | 1997-07-29 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4063920B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007081695A (ja) * | 2005-09-13 | 2007-03-29 | Xanavi Informatics Corp | 移動体撮像装置 |
| JP2007331545A (ja) * | 2006-06-14 | 2007-12-27 | Toyota Motor Corp | 車両用運転支援装置 |
| JP2009010860A (ja) * | 2007-06-29 | 2009-01-15 | Sanyo Electric Co Ltd | ナビゲーション装置 |
| JP2010018050A (ja) * | 2008-07-08 | 2010-01-28 | Denso Corp | 車両用撮影システム |
| JP2010239479A (ja) * | 2009-03-31 | 2010-10-21 | Aisin Aw Co Ltd | 撮像部制御装置、撮像部制御方法および撮像部制御プログラム |
| JP2012073927A (ja) * | 2010-09-29 | 2012-04-12 | Fuji Heavy Ind Ltd | 運転支援装置 |
| JP2012124963A (ja) * | 2012-03-15 | 2012-06-28 | Konica Minolta Holdings Inc | 車載用撮像装置および車載用撮像装置の撮像方法 |
| KR20140075504A (ko) * | 2012-12-11 | 2014-06-19 | 현대자동차주식회사 | 차선 인식 시스템 및 방법 |
| JP2018037061A (ja) * | 2016-09-01 | 2018-03-08 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 自律走行車両のためのビジョンセンサの制御方法及び装置 |
-
1997
- 1997-07-29 JP JP20283597A patent/JP4063920B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007081695A (ja) * | 2005-09-13 | 2007-03-29 | Xanavi Informatics Corp | 移動体撮像装置 |
| JP2007331545A (ja) * | 2006-06-14 | 2007-12-27 | Toyota Motor Corp | 車両用運転支援装置 |
| JP4687573B2 (ja) * | 2006-06-14 | 2011-05-25 | トヨタ自動車株式会社 | 車両用運転支援装置 |
| JP2009010860A (ja) * | 2007-06-29 | 2009-01-15 | Sanyo Electric Co Ltd | ナビゲーション装置 |
| JP2010018050A (ja) * | 2008-07-08 | 2010-01-28 | Denso Corp | 車両用撮影システム |
| JP2010239479A (ja) * | 2009-03-31 | 2010-10-21 | Aisin Aw Co Ltd | 撮像部制御装置、撮像部制御方法および撮像部制御プログラム |
| JP2012073927A (ja) * | 2010-09-29 | 2012-04-12 | Fuji Heavy Ind Ltd | 運転支援装置 |
| JP2012124963A (ja) * | 2012-03-15 | 2012-06-28 | Konica Minolta Holdings Inc | 車載用撮像装置および車載用撮像装置の撮像方法 |
| KR20140075504A (ko) * | 2012-12-11 | 2014-06-19 | 현대자동차주식회사 | 차선 인식 시스템 및 방법 |
| JP2018037061A (ja) * | 2016-09-01 | 2018-03-08 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 自律走行車両のためのビジョンセンサの制御方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4063920B2 (ja) | 2008-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1962254B1 (en) | In-vehicle apparatus for recognizing running environment of vehicle | |
| US5530771A (en) | Image tracking device and image tracking method | |
| US7557858B2 (en) | Imaging processing device and a method of processing an image | |
| JP2004326730A (ja) | 高速道路自律走行システム及びその制御方法 | |
| JPH0796806A (ja) | 車両の周囲を監視する方法と装置、及びそれを用いた車両の運転支援システム | |
| KR101725130B1 (ko) | 차량 충돌 방지를 위한 지능형 신호등 제어 장치 및 방법 | |
| JPH06107096A (ja) | 車両用前方監視方法 | |
| JP4541609B2 (ja) | 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置 | |
| JP2006222844A (ja) | 車載画像情報出力装置及び車載画像情報出力装置の制御方法 | |
| JP4063920B2 (ja) | 画像処理装置 | |
| JP2008217693A (ja) | 顔向き警告装置、顔向き警告装置の警告方法 | |
| JPH0632175A (ja) | 車両用後方撮像装置 | |
| JP2874083B2 (ja) | 自動車の走行制御装置 | |
| JPH0552562A (ja) | 先行車追尾用車間距離検出装置 | |
| JPS61135842A (ja) | 車両用物体認識装置 | |
| KR102552490B1 (ko) | 차량용 영상 처리 장치 및 방법 | |
| JP3019684B2 (ja) | 自動車の走行制御装置 | |
| JP3719029B2 (ja) | 割り込み車両検出装置 | |
| JP2000326758A (ja) | 予防安全装置 | |
| JPH113500A (ja) | 車両用の案内画像表示装置 | |
| JP2001071790A (ja) | 車両の表示装置 | |
| JP2006036048A (ja) | 車両ライト制御装置 | |
| KR102632655B1 (ko) | 주정차 단속영상에서 대상차량의 주행여부를 판단하는영상분석방법, 그 영상분석을 수행하는 제어기 및 주정차단속시스템 | |
| JP2647731B2 (ja) | 車両用追従走行制御装置 | |
| JPH07105481A (ja) | 車両用画像認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040726 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071226 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150111 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |