JP3965078B2 - ステレオ式車外監視装置およびその制御方法 - Google Patents
ステレオ式車外監視装置およびその制御方法 Download PDFInfo
- Publication number
- JP3965078B2 JP3965078B2 JP2002151945A JP2002151945A JP3965078B2 JP 3965078 B2 JP3965078 B2 JP 3965078B2 JP 2002151945 A JP2002151945 A JP 2002151945A JP 2002151945 A JP2002151945 A JP 2002151945A JP 3965078 B2 JP3965078 B2 JP 3965078B2
- Authority
- JP
- Japan
- Prior art keywords
- stereo
- vehicle
- monitoring
- stereo cameras
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、自動車等の車両周囲をステレオカメラにより監視するステレオ式車外監視装置およびその制御方法に関する。
【０００２】
【従来の技術】
従来、ステレオカメラによる画像認識により、車両前方の障害物等の監視対象となる対象物や道路の形状などを監視したり、対象物までの距離を検出するステレオ式車外監視装置が知られている。この監視装置は、車両前方の監視のみならず、車両上に複数車載することにより、側方監視用や後方監視用としても応用することが可能である。しかも、このようなステレオカメラによる監視装置は、パッシブセンサであるため、互いに干渉し合う光や電波によるレーダ等を用いたものと異なり、複数同時に使用することができる。また、監視すべき対象物が、金属であるか否か、または、光の反射率が高いか否か等の物質に依存しないため、車両の側方監視や後方監視には適した特性を有する。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記した従来装置では、他の方式のセンサや画像認識処理手段に比べ、処理情報や計算量が圧倒的に多く、大規模な電子回路やメモリ、高性能のコンピュータ等を使用する必要がある。このため、装置自体が複雑化するばかりでなく、高価なものとなる。その結果、監視体制の強化（監視領域の拡張）を図るために、単に、複数の監視装置を独立して車両上に車載することは、全体のステレオ画像処理および認識処理が複雑となり、コストも高くなる。
【０００４】
本発明は、上記の事情に鑑みてなされたものであり、その目的は、監視体制の強化を図りつつ、装置コストの上昇を抑制し得る新規なステレオ式車外監視装置およびその制御方法を提供することである。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、ステレオ式車外監視装置において、それぞれが車両の異なる部位に取り付けられ、それぞれが異なる監視方向を監視する複数のステレオカメラと、車両の走行状態を検出し、センサ信号を出力するセンサと、前記複数のステレオカメラに共通接続された処理ユニットとを有し、前記処理ユニットは、前記センサからのセンサ信号に応じて、それぞれの前記監視方向の注力量を決定し、当該注力量に応じて時分割の重みを変更し、該時分割によって前記ステレオカメラのいずれかを選択する選択部と、前記選択部によって選択された前記ステレオカメラより出力された一対の画像情報に基づいて、ステレオマッチングによって距離情報を生成する生成部と、前記生成部によって生成された距離情報に基づいて、監視対象となる対象物を認識する認識部とを有することを特徴とする。
【０００６】
請求項２に記載記載の発明は、請求項１に記載されたステレオ式車外監視装置において、前記センサ信号は、ステアリングの舵角を示す信号、車速を示す信号、ギヤポジションを示す信号、または、方向指示器の状態を示す信号の少なくとも一つを含むことを特徴とする。
【０００９】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態に係るステレオ式車外監視装置が車載された車両を概略的に示す上面図である。この車両Ｇには、車両Ｇのほぼ全周囲をカバーすべく、複数台のステレオカメラ１〜８が設置されている。第１のステレオカメラ１は、車両Ｇのルーフ前部中央（例えば、ルームミラー近傍）に設置され、車両前方を所定の撮像範囲θ１で監視する。第２のステレオカメラ２は、車両Ｇのルーフ後部中央に設置され、車両後方を所定の撮像範囲θ２で監視する。第３のステレオカメラ３は、車両Ｇの右前側方に設置され、例えば、交差点での右折時といった状況に対応すべく、車両右前側方を所定の撮像範囲θ３で監視する。第４のステレオカメラ４は、車両Ｇの右後側方に設置され、例えば、右車線変更時といった状況に対応すべく、車両右後側方を所定の撮像範囲θ４で監視する。第５のステレオカメラ５は、車両Ｇの左前側方に設置され、例えば、交差点での左折時といった状況に対応すべく、車両左前側方を所定の撮像範囲θ５で監視する。第６のステレオカメラ６は、車両Ｇの左後側方に設置され、例えば、左車線変更時といった状況に対応すべく、車両左後側方を所定の撮像範囲θ６で監視する。第７のステレオカメラ７は、車両Ｇの右前バンパの側方に設置され、例えば、右側路地からの飛び出し車両に対応すべく、車両右前バンパの側方を所定の撮像範囲θ７で監視する。第８のステレオカメラ８は、車両Ｇの左前バンパの側方に設置され、左側路地からの飛び出し車両に対応すべく、車両左前バンパの側方を所定の撮像範囲θ８で監視する。
【００１０】
換言すると、ステレオカメラ１〜８は、それぞれが車両Ｇの異なる部位に取り付けられ、それぞれが異なる監視方向を撮像することにより、車両Ｇの全周囲を監視している。また、それぞれのステレオカメラ１〜８は、いずれも各監視領域における監視対象となる対象物を撮像して、一対の撮像画像（ステレオ画像）を出力する。この一対の撮像画像に基づいて、後述する処理ユニット１０は、走行車や歩行者といった対象物を認識する。
【００１１】
図２は、本実施形態に係るステレオ式車外監視装置のブロック構成図である。ステレオカメラ１〜８は、車両Ｇに設置した１台の処理ユニット１０に共通接続されている。この処理ユニット１０は、同期信号生成部１１と、画像信号選択部１２と、距離情報生成部１３と、認識部１４とを有する。同期信号生成部１１とステレオカメラ１〜８とは、同期信号線と映像信号線とでそれぞれ接続されている。同期信号生成部１１は、ステレオカメラ１〜８のそれぞれの映像信号（映像１フレーム）を一定の時間間隔で出力させるような同期信号を生成する。この同期信号による制御の下で、ステレオカメラ１〜８は、互いに同期して一対の撮像画像の映像信号をそれぞれ出力する。ステレオカメラ１〜８より出力された映像信号は、画像信号選択部１２に入力される。
【００１２】
画像信号選択部１２は、ステレオカメラ１〜８からのいずれか一つの映像信号を、例えば、アナログマルチプレクサ等により時分割で切換え処理することにより選択する。画像信号選択部１２により選択されたステレオカメラ１〜８のいずれか一つの映像信号は、距離情報生成部１３に出力される。距離情報生成部１３は、ステレオカメラ１〜８のいずれか一つの映像信号に基づいて、ステレオマッチングによって距離情報（視差）を生成する。認識部１４は、距離情報生成部１３によって生成された距離情報に基づいて、それぞれのステレオカメラ１〜８の画像処理および認識処理を行うことにより、各監視領域における監視対象となる対象物を認識する。このとき、認識部１４には、予め、画像信号選択部１２により時分割で切換え処理されたステレオカメラ１〜８のいずれか一つの映像信号の時系列的な選択情報が入力されている。これにより、距離情報生成部１３および認識部１４は、時分割処理によりステレオカメラ１〜８からの画像情報を処理する。
【００１３】
図３は、上述した画像信号選択部１２によるステレオカメラ１〜８からの映像信号の選択を時分割により切換え処理するタイミングチャートである。このタイミングチャートでは、例えば、１／３０秒毎に等間隔で同期信号生成部１１より同期信号が出力される。これにより、ステレオカメラ１〜８からは、映像１フレームの映像信号が１／３０秒毎の等間隔で出力され、画像信号選択部１２に入力される。画像信号選択部１２では、ステレオカメラ１〜８からの映像信号が、第１のステレオカメラ（前方監視）１から第８のステレオカメラ（左前バンパ側方監視）８まで１／３０秒毎の一定の時間間隔で順次時系列的に選択される。そして、これを１処理サイクルとして、１処理サイクル中におけるステレオカメラ１〜８からの映像信号の選択が繰返し実行される。
【００１４】
すなわち、上述した第１の実施形態では、全監視領域から出力されるステレオカメラ１〜８の映像信号を時分割で切換えることにより、順次時系列的に選択する。この選択された映像信号に基づいて、距離情報がステレオマッチングによって生成される。この生成された距離情報と画像信号選択部１２により時分割で切換え処理された時系列的な選択情報とに基づいて、各監視領域における監視対象となる対象物が認識される。これにより、車両Ｇの全周囲における各監視領域に設置したステレオカメラ１〜８の画像認識処理が、１つの処理ユニット１０により一括して集中的に行われる。この結果、複数のステレオ画像処理および認識処理が簡素にかつ速やかに行うことができ、装置コストの低減を図れる。それとともに、車両周囲の監視等に多様な機能性を持たせることができ、効果的な監視が行える。
【００１５】
（第２の実施形態）
図４は、第２の実施形態に係るステレオ式車外監視装置のブロック構成図である。この第２の実施形態では、上述した第１の実施形態の構成に加えて、車両Ｇの走行状態を検出する検出部２０が設けられている。この検出部２０は、車速を検出する第１のセンサ２１と、左右のステアリング舵角を検出する第２のセンサ２２と、ギヤポジション（前進位置・後進位置）を検出する第３のセンサ２３とを有する。これらの各センサ２１，２２，２３より出力されるセンサ信号、つまり、車速を示す信号、ステアリングの舵角を示す信号、または、ギヤポジションを示す信号は、処理ユニット１０の画像信号選択部１２に入力される。画像信号選択部１２では、入力された各センサ２１，２２，２３からのセンサ信号に応じて、ステレオカメラ１〜８による各監視方向の注力量が決定される。この決定された注力量に応じて、１処理サイクル中における時分割切換え処理により選択されるステレオカメラ１〜８からの映像信号の選択時間割当が行われる。
【００１６】
次に、車両走行状態に応じた、画像信号選択部１２よるステレオカメラ１〜８の選択を具体的に説明する。ギヤポジションが前進位置で、かつ、高速（低速判定値Ｖ１≦車速Ｖ）で走行している状態において、例えば、右車線変更を行うために、ステアリングが右側に操舵された場合（右操舵判定値Ａ１≦舵角Ａ）、車両Ｇの右前側方を監視する第３のステレオカメラ３が主体的に選択される。
【００１７】
図５は、第３のステレオカメラ３が選択された際、１処理サイクル中のステレオカメラ１〜８より出力される映像信号の選択時間割当による注力量を示すタイミングチャートである。この場合、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、例えば、ステレオカメラ１，３，４が割合３、その他のステレオカメラ２，５〜８が割合１の比率で設定される。画像信号選択部１２では、上述した各センサ２１，２２，２３のセンサ信号に応じて、ステレオカメラ１〜８による各監視方向の注力量が決定される。この決定された注力量に応じて、１処理サイクル中における時分割切換え処理が行われる。図３に示す時分割切換えタイミングと比較して、ステレオカメラ１〜８より出力される映像信号の選択に伴う時分割の重みが変わっており、前方、右前側方、右後側方に監視の重点がおかれていることが分かる。
【００１８】
同様に、高速前進時において（低速判定値Ｖ１≦車速Ｖ）、ステアリングがあまり操舵されていない場合（左操舵判定値Ａ２≦舵角＜右操舵判定値Ａ１）、車両Ｇの前方を監視する第１のステレオカメラ１が主体的に選択される。これにより、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、例えば、ステレオカメラ１，３，４，５，６が割合３、その他のステレオカメラ２，７〜８が割合１の比率で設定され、監視方向の注力量が決定される。
【００１９】
同様に、高速前進時において、例えば、左車線変更を行うために、ステアリングが左側に操舵された場合（舵角Ａ＜左操舵判定値Ａ２）、車両Ｇの左前側方を監視する第５のステレオカメラ５が主体的に選択される。この第５のステレオカメラ５が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，５，６が割合３、その他のステレオカメラ２，３〜４，７〜８が割合１の比率で設定され、監視方向の注力量が決定される。
【００２０】
一方、低速前進走行時において（車速Ｖ＜低速判定値Ｖ１）、例えば、右折を行うために、ステアリングが右側に操舵された場合（右操舵判定値Ａ１≦舵角Ａ）、車両Ｇの右前バンパ側方を監視する第７のステレオカメラ７が主体的に選択される。この第７のステレオカメラ７が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，３，４，７が割合３、その他のステレオカメラ２，５〜６，８が割合１の比率で設定され、監視方向の注力量が決定される。
【００２１】
同様に、低速前進走行時において、ステアリングがあまり操舵されていない場合（左操舵判定値Ａ２≦舵角＜右操舵判定値Ａ１）、車両Ｇの前方を監視する第１のステレオカメラ１が主体的に選択される。この第１のステレオカメラ１が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，３，４，７，８が割合３、その他のステレオカメラ２，５〜６が割合１の比率で設定され、監視方向の注力量が決定される。
【００２２】
同様に、低速前進走行時において、例えば、左折を行うために、ステアリングが左側に操舵された場合（舵角Ａ＜左操舵判定値Ａ２）、車両Ｇの左前バンパ側方を監視する第８のステレオカメラ８が主体的に選択される。この第８のステレオカメラ８が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，５，６，８が割合３、その他のステレオカメラ２〜４，７が割合１の比率で設定され、監視方向の注力量が決定される。
【００２３】
一方、ギヤポジションが後進位置にある後進走行時において、例えば、ハンドル右切り後退時のように、ステアリングが右側に操舵された場合（右操舵判定値Ａ３≦舵角Ａ）、車両Ｇの右後側方を監視する第４のステレオカメラ４が主体的に選択される。この第４のステレオカメラ４が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ２，４が割合３、その他のステレオカメラ１，３，５〜８が割合１の比率で設定され、監視方向の注力量が決定される。
【００２４】
同様に、後進走行時において、例えば、直進後退時のように、ステアリングがあまり操舵されていない場合（左操舵判定値Ａ４≦舵角Ａ＜右操舵判定値Ａ３）、車両Ｇの後方を監視する第２のステレオカメラ２が主体的に選択される。この第２のステレオカメラ２が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ２，４，６が割合３、その他のステレオカメラ１，３，５，７〜８が割合１の比率で設定され、監視方向の注力量が決定される。
【００２５】
同様に、後前進走行時において、例えば、ハンドル左切り後退時にように、ステアリングが左に操舵された場合（舵角Ａ＜左操舵判定値Ａ４）、車両Ｇの左後側方を監視する第６のステレオカメラ６が主体的に選択される。この第６のステレオカメラ６が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ２，６が割合３、その他のステレオカメラ１，３〜５，７〜８が割合１の比率で設定され、監視方向の注力量が決定される。
【００２６】
（第３の実施形態）
図６は、第３の実施形態に係るステレオ式車外監視装置のブロック構成図である。この第３の実施形態では、上述した第２の実施形態の構成に加えて、車両Ｇの走行状態を検出する検出部２０に第４のセンサ２４が付加されている。この第４のセンサ２４は、方向指示器の動作状態、つまり、走行時における車両Ｇの「右折時」または「左折時」のドライバーの意志により操作される方向指示器のＯＮ・ＯＦＦを検出する。第４のセンサ２４より出力されたセンサ信号は、処理ユニット１０の画像信号選択部１２に入力される。
【００２７】
すなわち、右折時、右方向指示器がＯＮになると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，３，４が割合５、その他のステレオカメラ２，５〜８が割合１の比率で設定される。一方、左折時、左方向指示器がＯＮになると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，５，６が割合５、その他のステレオカメラ２〜４，７〜８が割合１の比率で設定される。これにより、画像信号選択部１２では、上述した各センサ２１，２２，２３と同様に、方向指示器のセンサ信号に応じて、ステレオカメラ１〜８による各監視方向の注力量が決定される。この決定された注力量に応じて、１処理サイクル中における時分割切換え処理が行われる。
【００２８】
（第４の実施形態）
図７は、第４の実施形態に係るステレオ式車外監視装置のブロック構成図ある。この第４の実施形態では、上述した第１の実施形態の構成に加えて、処理ユニット１０における画像信号選択部１２と距離情報生成部１３との間に画像補正部１５が設けられている。この画像補正部１５は、画像信号選択部１２より時分割されて出力されるステレオカメラ１〜８の映像信号（一対の画像情報）を、アフィン変換補正等による幾何学的変換処理により補正する。処理ユニット１０には、画像補正データメモリ１６と画像補正データ選択部１７とが設けられている。画像補正データメモリ１６には、各ステレオカメラ１〜８のそれぞれの画像補正データが蓄積されている。画像補正データ選択部１７は、画像補正データメモリ１６に蓄積された各ステレオカメラ１〜８の画像補正データを画像信号選択部１２からの選択情報により抽出し、画像補正部１５に出力する。
【００２９】
すなわち、それぞれのステレオカメラ１〜８における映像信号の一つが画像信号選択部１２により時分割選択されると、その選択された映像信号の選択情報が画像補正データ選択部１７に伝達される。画像補正データ選択部１７は、画像信号選択部１２からの選択情報に基づいて、画像補正データメモリ１６から画像補正データを選択的に抽出する。これにより、画像補正データ選択部１７は、画像信号選択部１２と同様に、画像補正データメモリ１６に蓄積された画像補正データを時分割切換えにより選択的に抽出する。画像補正データ選択部１７により選択された画像補正データは、画像補正部１５に入力される。画像補正部１５では、画像信号選択部１２により時分割で選択されたステレオカメラ１〜８の映像信号が、画像補正データに基づいて、アフィン変換補正により幾何学的変換処理される。このアフィン変換補正されたステレオカメラ１〜８の映像信号が距離情報生成部１３に入力される。これにより、距離情報生成部１３では、アフィン変換補正された映像信号に基づいて、ステレオマッチングによって距離情報が生成される。この結果、監視対象となる対象物の画像処理および認識処理の精度が一段と高められる。
【００３０】
なお、上述した各実施形態において、認識部１４で認識された車両周囲における各監視領域の画像認識情報は、例えば、車内に設置したアラーム機構あるいはディスプレイ等の表示機構を介してドライバ等に伝達される。
【００３１】
【発明の効果】
以上説明したように、本発明では、車両周囲の各監視領域にそれぞれ設置される複数のステレオカメラを処理ユニットに共通接続している。このため、それぞれのステレオカメラの画像処理および認識処理が、最小限の認識ユニットにより一括して集中的に行うことができる。この結果、複数のステレオ画像処理および認識処理が簡素にかつ速やかに行え、コストの低減化が図れる。しかも、車両周囲の監視等に多様な機能性を持たせることができるとともに、効果的な監視が行える。
【図面の簡単な説明】
【図１】第１の実施形態におけるステレオ式車外監視装置が車載された車両を概略的に示す上面図
【図２】第１の実施形態に係るステレオ式車外監視装置のブロック構成図
【図３】画像信号選択部における時分割切換え処理を示すタイミングチャート
【図４】第２の実施形態に係るステレオ式車外監視装置のブロック構成図
【図５】１処理サイクル中のステレオカメラより出力される映像信号の選択時間割当による注力量を示すタイミングチャート
【図６】第３の実施形態に係るステレオ式車外監視装置のブロック構成図
【図７】第４の実施形態に係るステレオ式車外監視装置のブロック構成図
【符号の説明】
Ｇ 車両
１ 第１のステレオカメラ（前方監視）
２ 第２のステレオカメラ（後方監視）
３ 第３のステレオカメラ（右前側方監視）
４ 第４のステレオカメラ（右後側方監視）
５ 第５のステレオカメラ（左前側方監視）
６ 第６のステレオカメラ（左後側方監視）
７ 第７のステレオカメラ（右前バンパ側方監視）
８ 第８のステレオカメラ（左前バンパ側方監視）
１０ 処理ユニット
１１ 同期信号生成部
１２ 画像信号選択部
１３ 距離情報生成部
１４ 認識部
１５ 画像補正部
１６ 画像補正データメモリ
１７ 画像補正データ選択部
２０ 車両走行状態検出部
２１ 第１のセンサ（車速検出）
２２ 第２のセンサ（ステアリング舵角検出）
２３ 第３のセンサ（ギヤポジション検出）
２４ 第４のセンサ（方向指示器の状態検出）
【発明の属する技術分野】
本発明は、例えば、自動車等の車両周囲をステレオカメラにより監視するステレオ式車外監視装置およびその制御方法に関する。
【０００２】
【従来の技術】
従来、ステレオカメラによる画像認識により、車両前方の障害物等の監視対象となる対象物や道路の形状などを監視したり、対象物までの距離を検出するステレオ式車外監視装置が知られている。この監視装置は、車両前方の監視のみならず、車両上に複数車載することにより、側方監視用や後方監視用としても応用することが可能である。しかも、このようなステレオカメラによる監視装置は、パッシブセンサであるため、互いに干渉し合う光や電波によるレーダ等を用いたものと異なり、複数同時に使用することができる。また、監視すべき対象物が、金属であるか否か、または、光の反射率が高いか否か等の物質に依存しないため、車両の側方監視や後方監視には適した特性を有する。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記した従来装置では、他の方式のセンサや画像認識処理手段に比べ、処理情報や計算量が圧倒的に多く、大規模な電子回路やメモリ、高性能のコンピュータ等を使用する必要がある。このため、装置自体が複雑化するばかりでなく、高価なものとなる。その結果、監視体制の強化（監視領域の拡張）を図るために、単に、複数の監視装置を独立して車両上に車載することは、全体のステレオ画像処理および認識処理が複雑となり、コストも高くなる。
【０００４】
本発明は、上記の事情に鑑みてなされたものであり、その目的は、監視体制の強化を図りつつ、装置コストの上昇を抑制し得る新規なステレオ式車外監視装置およびその制御方法を提供することである。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、ステレオ式車外監視装置において、それぞれが車両の異なる部位に取り付けられ、それぞれが異なる監視方向を監視する複数のステレオカメラと、車両の走行状態を検出し、センサ信号を出力するセンサと、前記複数のステレオカメラに共通接続された処理ユニットとを有し、前記処理ユニットは、前記センサからのセンサ信号に応じて、それぞれの前記監視方向の注力量を決定し、当該注力量に応じて時分割の重みを変更し、該時分割によって前記ステレオカメラのいずれかを選択する選択部と、前記選択部によって選択された前記ステレオカメラより出力された一対の画像情報に基づいて、ステレオマッチングによって距離情報を生成する生成部と、前記生成部によって生成された距離情報に基づいて、監視対象となる対象物を認識する認識部とを有することを特徴とする。
【０００６】
請求項２に記載記載の発明は、請求項１に記載されたステレオ式車外監視装置において、前記センサ信号は、ステアリングの舵角を示す信号、車速を示す信号、ギヤポジションを示す信号、または、方向指示器の状態を示す信号の少なくとも一つを含むことを特徴とする。
【０００９】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態に係るステレオ式車外監視装置が車載された車両を概略的に示す上面図である。この車両Ｇには、車両Ｇのほぼ全周囲をカバーすべく、複数台のステレオカメラ１〜８が設置されている。第１のステレオカメラ１は、車両Ｇのルーフ前部中央（例えば、ルームミラー近傍）に設置され、車両前方を所定の撮像範囲θ１で監視する。第２のステレオカメラ２は、車両Ｇのルーフ後部中央に設置され、車両後方を所定の撮像範囲θ２で監視する。第３のステレオカメラ３は、車両Ｇの右前側方に設置され、例えば、交差点での右折時といった状況に対応すべく、車両右前側方を所定の撮像範囲θ３で監視する。第４のステレオカメラ４は、車両Ｇの右後側方に設置され、例えば、右車線変更時といった状況に対応すべく、車両右後側方を所定の撮像範囲θ４で監視する。第５のステレオカメラ５は、車両Ｇの左前側方に設置され、例えば、交差点での左折時といった状況に対応すべく、車両左前側方を所定の撮像範囲θ５で監視する。第６のステレオカメラ６は、車両Ｇの左後側方に設置され、例えば、左車線変更時といった状況に対応すべく、車両左後側方を所定の撮像範囲θ６で監視する。第７のステレオカメラ７は、車両Ｇの右前バンパの側方に設置され、例えば、右側路地からの飛び出し車両に対応すべく、車両右前バンパの側方を所定の撮像範囲θ７で監視する。第８のステレオカメラ８は、車両Ｇの左前バンパの側方に設置され、左側路地からの飛び出し車両に対応すべく、車両左前バンパの側方を所定の撮像範囲θ８で監視する。
【００１０】
換言すると、ステレオカメラ１〜８は、それぞれが車両Ｇの異なる部位に取り付けられ、それぞれが異なる監視方向を撮像することにより、車両Ｇの全周囲を監視している。また、それぞれのステレオカメラ１〜８は、いずれも各監視領域における監視対象となる対象物を撮像して、一対の撮像画像（ステレオ画像）を出力する。この一対の撮像画像に基づいて、後述する処理ユニット１０は、走行車や歩行者といった対象物を認識する。
【００１１】
図２は、本実施形態に係るステレオ式車外監視装置のブロック構成図である。ステレオカメラ１〜８は、車両Ｇに設置した１台の処理ユニット１０に共通接続されている。この処理ユニット１０は、同期信号生成部１１と、画像信号選択部１２と、距離情報生成部１３と、認識部１４とを有する。同期信号生成部１１とステレオカメラ１〜８とは、同期信号線と映像信号線とでそれぞれ接続されている。同期信号生成部１１は、ステレオカメラ１〜８のそれぞれの映像信号（映像１フレーム）を一定の時間間隔で出力させるような同期信号を生成する。この同期信号による制御の下で、ステレオカメラ１〜８は、互いに同期して一対の撮像画像の映像信号をそれぞれ出力する。ステレオカメラ１〜８より出力された映像信号は、画像信号選択部１２に入力される。
【００１２】
画像信号選択部１２は、ステレオカメラ１〜８からのいずれか一つの映像信号を、例えば、アナログマルチプレクサ等により時分割で切換え処理することにより選択する。画像信号選択部１２により選択されたステレオカメラ１〜８のいずれか一つの映像信号は、距離情報生成部１３に出力される。距離情報生成部１３は、ステレオカメラ１〜８のいずれか一つの映像信号に基づいて、ステレオマッチングによって距離情報（視差）を生成する。認識部１４は、距離情報生成部１３によって生成された距離情報に基づいて、それぞれのステレオカメラ１〜８の画像処理および認識処理を行うことにより、各監視領域における監視対象となる対象物を認識する。このとき、認識部１４には、予め、画像信号選択部１２により時分割で切換え処理されたステレオカメラ１〜８のいずれか一つの映像信号の時系列的な選択情報が入力されている。これにより、距離情報生成部１３および認識部１４は、時分割処理によりステレオカメラ１〜８からの画像情報を処理する。
【００１３】
図３は、上述した画像信号選択部１２によるステレオカメラ１〜８からの映像信号の選択を時分割により切換え処理するタイミングチャートである。このタイミングチャートでは、例えば、１／３０秒毎に等間隔で同期信号生成部１１より同期信号が出力される。これにより、ステレオカメラ１〜８からは、映像１フレームの映像信号が１／３０秒毎の等間隔で出力され、画像信号選択部１２に入力される。画像信号選択部１２では、ステレオカメラ１〜８からの映像信号が、第１のステレオカメラ（前方監視）１から第８のステレオカメラ（左前バンパ側方監視）８まで１／３０秒毎の一定の時間間隔で順次時系列的に選択される。そして、これを１処理サイクルとして、１処理サイクル中におけるステレオカメラ１〜８からの映像信号の選択が繰返し実行される。
【００１４】
すなわち、上述した第１の実施形態では、全監視領域から出力されるステレオカメラ１〜８の映像信号を時分割で切換えることにより、順次時系列的に選択する。この選択された映像信号に基づいて、距離情報がステレオマッチングによって生成される。この生成された距離情報と画像信号選択部１２により時分割で切換え処理された時系列的な選択情報とに基づいて、各監視領域における監視対象となる対象物が認識される。これにより、車両Ｇの全周囲における各監視領域に設置したステレオカメラ１〜８の画像認識処理が、１つの処理ユニット１０により一括して集中的に行われる。この結果、複数のステレオ画像処理および認識処理が簡素にかつ速やかに行うことができ、装置コストの低減を図れる。それとともに、車両周囲の監視等に多様な機能性を持たせることができ、効果的な監視が行える。
【００１５】
（第２の実施形態）
図４は、第２の実施形態に係るステレオ式車外監視装置のブロック構成図である。この第２の実施形態では、上述した第１の実施形態の構成に加えて、車両Ｇの走行状態を検出する検出部２０が設けられている。この検出部２０は、車速を検出する第１のセンサ２１と、左右のステアリング舵角を検出する第２のセンサ２２と、ギヤポジション（前進位置・後進位置）を検出する第３のセンサ２３とを有する。これらの各センサ２１，２２，２３より出力されるセンサ信号、つまり、車速を示す信号、ステアリングの舵角を示す信号、または、ギヤポジションを示す信号は、処理ユニット１０の画像信号選択部１２に入力される。画像信号選択部１２では、入力された各センサ２１，２２，２３からのセンサ信号に応じて、ステレオカメラ１〜８による各監視方向の注力量が決定される。この決定された注力量に応じて、１処理サイクル中における時分割切換え処理により選択されるステレオカメラ１〜８からの映像信号の選択時間割当が行われる。
【００１６】
次に、車両走行状態に応じた、画像信号選択部１２よるステレオカメラ１〜８の選択を具体的に説明する。ギヤポジションが前進位置で、かつ、高速（低速判定値Ｖ１≦車速Ｖ）で走行している状態において、例えば、右車線変更を行うために、ステアリングが右側に操舵された場合（右操舵判定値Ａ１≦舵角Ａ）、車両Ｇの右前側方を監視する第３のステレオカメラ３が主体的に選択される。
【００１７】
図５は、第３のステレオカメラ３が選択された際、１処理サイクル中のステレオカメラ１〜８より出力される映像信号の選択時間割当による注力量を示すタイミングチャートである。この場合、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、例えば、ステレオカメラ１，３，４が割合３、その他のステレオカメラ２，５〜８が割合１の比率で設定される。画像信号選択部１２では、上述した各センサ２１，２２，２３のセンサ信号に応じて、ステレオカメラ１〜８による各監視方向の注力量が決定される。この決定された注力量に応じて、１処理サイクル中における時分割切換え処理が行われる。図３に示す時分割切換えタイミングと比較して、ステレオカメラ１〜８より出力される映像信号の選択に伴う時分割の重みが変わっており、前方、右前側方、右後側方に監視の重点がおかれていることが分かる。
【００１８】
同様に、高速前進時において（低速判定値Ｖ１≦車速Ｖ）、ステアリングがあまり操舵されていない場合（左操舵判定値Ａ２≦舵角＜右操舵判定値Ａ１）、車両Ｇの前方を監視する第１のステレオカメラ１が主体的に選択される。これにより、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、例えば、ステレオカメラ１，３，４，５，６が割合３、その他のステレオカメラ２，７〜８が割合１の比率で設定され、監視方向の注力量が決定される。
【００１９】
同様に、高速前進時において、例えば、左車線変更を行うために、ステアリングが左側に操舵された場合（舵角Ａ＜左操舵判定値Ａ２）、車両Ｇの左前側方を監視する第５のステレオカメラ５が主体的に選択される。この第５のステレオカメラ５が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，５，６が割合３、その他のステレオカメラ２，３〜４，７〜８が割合１の比率で設定され、監視方向の注力量が決定される。
【００２０】
一方、低速前進走行時において（車速Ｖ＜低速判定値Ｖ１）、例えば、右折を行うために、ステアリングが右側に操舵された場合（右操舵判定値Ａ１≦舵角Ａ）、車両Ｇの右前バンパ側方を監視する第７のステレオカメラ７が主体的に選択される。この第７のステレオカメラ７が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，３，４，７が割合３、その他のステレオカメラ２，５〜６，８が割合１の比率で設定され、監視方向の注力量が決定される。
【００２１】
同様に、低速前進走行時において、ステアリングがあまり操舵されていない場合（左操舵判定値Ａ２≦舵角＜右操舵判定値Ａ１）、車両Ｇの前方を監視する第１のステレオカメラ１が主体的に選択される。この第１のステレオカメラ１が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，３，４，７，８が割合３、その他のステレオカメラ２，５〜６が割合１の比率で設定され、監視方向の注力量が決定される。
【００２２】
同様に、低速前進走行時において、例えば、左折を行うために、ステアリングが左側に操舵された場合（舵角Ａ＜左操舵判定値Ａ２）、車両Ｇの左前バンパ側方を監視する第８のステレオカメラ８が主体的に選択される。この第８のステレオカメラ８が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，５，６，８が割合３、その他のステレオカメラ２〜４，７が割合１の比率で設定され、監視方向の注力量が決定される。
【００２３】
一方、ギヤポジションが後進位置にある後進走行時において、例えば、ハンドル右切り後退時のように、ステアリングが右側に操舵された場合（右操舵判定値Ａ３≦舵角Ａ）、車両Ｇの右後側方を監視する第４のステレオカメラ４が主体的に選択される。この第４のステレオカメラ４が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ２，４が割合３、その他のステレオカメラ１，３，５〜８が割合１の比率で設定され、監視方向の注力量が決定される。
【００２４】
同様に、後進走行時において、例えば、直進後退時のように、ステアリングがあまり操舵されていない場合（左操舵判定値Ａ４≦舵角Ａ＜右操舵判定値Ａ３）、車両Ｇの後方を監視する第２のステレオカメラ２が主体的に選択される。この第２のステレオカメラ２が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ２，４，６が割合３、その他のステレオカメラ１，３，５，７〜８が割合１の比率で設定され、監視方向の注力量が決定される。
【００２５】
同様に、後前進走行時において、例えば、ハンドル左切り後退時にように、ステアリングが左に操舵された場合（舵角Ａ＜左操舵判定値Ａ４）、車両Ｇの左後側方を監視する第６のステレオカメラ６が主体的に選択される。この第６のステレオカメラ６が選択されると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ２，６が割合３、その他のステレオカメラ１，３〜５，７〜８が割合１の比率で設定され、監視方向の注力量が決定される。
【００２６】
（第３の実施形態）
図６は、第３の実施形態に係るステレオ式車外監視装置のブロック構成図である。この第３の実施形態では、上述した第２の実施形態の構成に加えて、車両Ｇの走行状態を検出する検出部２０に第４のセンサ２４が付加されている。この第４のセンサ２４は、方向指示器の動作状態、つまり、走行時における車両Ｇの「右折時」または「左折時」のドライバーの意志により操作される方向指示器のＯＮ・ＯＦＦを検出する。第４のセンサ２４より出力されたセンサ信号は、処理ユニット１０の画像信号選択部１２に入力される。
【００２７】
すなわち、右折時、右方向指示器がＯＮになると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，３，４が割合５、その他のステレオカメラ２，５〜８が割合１の比率で設定される。一方、左折時、左方向指示器がＯＮになると、ステレオカメラ１〜８の１処理サイクル中の選択時間割当は、ステレオカメラ１，５，６が割合５、その他のステレオカメラ２〜４，７〜８が割合１の比率で設定される。これにより、画像信号選択部１２では、上述した各センサ２１，２２，２３と同様に、方向指示器のセンサ信号に応じて、ステレオカメラ１〜８による各監視方向の注力量が決定される。この決定された注力量に応じて、１処理サイクル中における時分割切換え処理が行われる。
【００２８】
（第４の実施形態）
図７は、第４の実施形態に係るステレオ式車外監視装置のブロック構成図ある。この第４の実施形態では、上述した第１の実施形態の構成に加えて、処理ユニット１０における画像信号選択部１２と距離情報生成部１３との間に画像補正部１５が設けられている。この画像補正部１５は、画像信号選択部１２より時分割されて出力されるステレオカメラ１〜８の映像信号（一対の画像情報）を、アフィン変換補正等による幾何学的変換処理により補正する。処理ユニット１０には、画像補正データメモリ１６と画像補正データ選択部１７とが設けられている。画像補正データメモリ１６には、各ステレオカメラ１〜８のそれぞれの画像補正データが蓄積されている。画像補正データ選択部１７は、画像補正データメモリ１６に蓄積された各ステレオカメラ１〜８の画像補正データを画像信号選択部１２からの選択情報により抽出し、画像補正部１５に出力する。
【００２９】
すなわち、それぞれのステレオカメラ１〜８における映像信号の一つが画像信号選択部１２により時分割選択されると、その選択された映像信号の選択情報が画像補正データ選択部１７に伝達される。画像補正データ選択部１７は、画像信号選択部１２からの選択情報に基づいて、画像補正データメモリ１６から画像補正データを選択的に抽出する。これにより、画像補正データ選択部１７は、画像信号選択部１２と同様に、画像補正データメモリ１６に蓄積された画像補正データを時分割切換えにより選択的に抽出する。画像補正データ選択部１７により選択された画像補正データは、画像補正部１５に入力される。画像補正部１５では、画像信号選択部１２により時分割で選択されたステレオカメラ１〜８の映像信号が、画像補正データに基づいて、アフィン変換補正により幾何学的変換処理される。このアフィン変換補正されたステレオカメラ１〜８の映像信号が距離情報生成部１３に入力される。これにより、距離情報生成部１３では、アフィン変換補正された映像信号に基づいて、ステレオマッチングによって距離情報が生成される。この結果、監視対象となる対象物の画像処理および認識処理の精度が一段と高められる。
【００３０】
なお、上述した各実施形態において、認識部１４で認識された車両周囲における各監視領域の画像認識情報は、例えば、車内に設置したアラーム機構あるいはディスプレイ等の表示機構を介してドライバ等に伝達される。
【００３１】
【発明の効果】
以上説明したように、本発明では、車両周囲の各監視領域にそれぞれ設置される複数のステレオカメラを処理ユニットに共通接続している。このため、それぞれのステレオカメラの画像処理および認識処理が、最小限の認識ユニットにより一括して集中的に行うことができる。この結果、複数のステレオ画像処理および認識処理が簡素にかつ速やかに行え、コストの低減化が図れる。しかも、車両周囲の監視等に多様な機能性を持たせることができるとともに、効果的な監視が行える。
【図面の簡単な説明】
【図１】第１の実施形態におけるステレオ式車外監視装置が車載された車両を概略的に示す上面図
【図２】第１の実施形態に係るステレオ式車外監視装置のブロック構成図
【図３】画像信号選択部における時分割切換え処理を示すタイミングチャート
【図４】第２の実施形態に係るステレオ式車外監視装置のブロック構成図
【図５】１処理サイクル中のステレオカメラより出力される映像信号の選択時間割当による注力量を示すタイミングチャート
【図６】第３の実施形態に係るステレオ式車外監視装置のブロック構成図
【図７】第４の実施形態に係るステレオ式車外監視装置のブロック構成図
【符号の説明】
Ｇ 車両
１ 第１のステレオカメラ（前方監視）
２ 第２のステレオカメラ（後方監視）
３ 第３のステレオカメラ（右前側方監視）
４ 第４のステレオカメラ（右後側方監視）
５ 第５のステレオカメラ（左前側方監視）
６ 第６のステレオカメラ（左後側方監視）
７ 第７のステレオカメラ（右前バンパ側方監視）
８ 第８のステレオカメラ（左前バンパ側方監視）
１０ 処理ユニット
１１ 同期信号生成部
１２ 画像信号選択部
１３ 距離情報生成部
１４ 認識部
１５ 画像補正部
１６ 画像補正データメモリ
１７ 画像補正データ選択部
２０ 車両走行状態検出部
２１ 第１のセンサ（車速検出）
２２ 第２のセンサ（ステアリング舵角検出）
２３ 第３のセンサ（ギヤポジション検出）
２４ 第４のセンサ（方向指示器の状態検出）
Claims (2)
- ステレオ式車外監視装置において、
それぞれが車両の異なる部位に取り付けられ、それぞれが異なる監視方向を監視する複数のステレオカメラと、
車両の走行状態を検出し、センサ信号を出力するセンサと、
前記複数のステレオカメラに共通接続された処理ユニットとを有し、
前記処理ユニットは、
前記センサからのセンサ信号に応じて、それぞれの前記監視方向の注力量を決定し、当該注力量に応じて時分割の重みを変更し、該時分割によって前記ステレオカメラのいずれかを選択する選択部と、
前記選択部によって選択された前記ステレオカメラより出力された一対の画像情報に基づいて、ステレオマッチングによって距離情報を生成する生成部と、
前記生成部によって生成された距離情報に基づいて、監視対象となる対象物を認識する認識部とを有することを特徴とするステレオ式車外監視装置。 - 前記センサ信号は、ステアリングの舵角を示す信号、車速を示す信号、ギヤポジションを示す信号、または、方向指示器の状態を示す信号の少なくとも一つを含むことを特徴とする請求項１に記載されたステレオ式車外監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151945A JP3965078B2 (ja) | 2002-05-27 | 2002-05-27 | ステレオ式車外監視装置およびその制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151945A JP3965078B2 (ja) | 2002-05-27 | 2002-05-27 | ステレオ式車外監視装置およびその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003348575A JP2003348575A (ja) | 2003-12-05 |
| JP3965078B2 true JP3965078B2 (ja) | 2007-08-22 |
Family
ID=29769390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002151945A Expired - Fee Related JP3965078B2 (ja) | 2002-05-27 | 2002-05-27 | ステレオ式車外監視装置およびその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3965078B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10171796B2 (en) | 2015-01-09 | 2019-01-01 | Ricoh Company, Ltd. | Moving body system |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4661070B2 (ja) * | 2004-03-29 | 2011-03-30 | 富士通株式会社 | 運転支援装置、運転支援制御プログラム |
| JP4809019B2 (ja) * | 2005-08-31 | 2011-11-02 | クラリオン株式会社 | 車両用障害物検出装置 |
| JP2007098979A (ja) * | 2005-09-30 | 2007-04-19 | Clarion Co Ltd | 駐車支援装置 |
| JP5812598B2 (ja) * | 2010-12-06 | 2015-11-17 | 富士通テン株式会社 | 物体検出装置 |
| JP2013093013A (ja) * | 2011-10-06 | 2013-05-16 | Ricoh Co Ltd | 画像処理装置、車両 |
| JP2020205498A (ja) * | 2019-06-14 | 2020-12-24 | マツダ株式会社 | 外部環境認識装置 |
-
2002
- 2002-05-27 JP JP2002151945A patent/JP3965078B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10171796B2 (en) | 2015-01-09 | 2019-01-01 | Ricoh Company, Ltd. | Moving body system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003348575A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI814804B (zh) | 距離測量處理設備，距離測量模組，距離測量處理方法及程式 | |
| JP4883977B2 (ja) | 車両用画像表示装置 | |
| JP4863791B2 (ja) | 車両周辺画像生成装置および画像切替方法 | |
| CN101605678B (zh) | 停车辅助装置以及停车辅助方法 | |
| US10179608B2 (en) | Parking assist device | |
| JP6828501B2 (ja) | 駐車支援装置 | |
| WO2010122639A1 (ja) | 走行支援装置 | |
| JP2000177512A (ja) | 車両の駐車支援装置 | |
| JP2011002884A (ja) | 車両用画像表示装置及び俯瞰画像の表示方法 | |
| WO2018198512A1 (ja) | 駐車支援装置 | |
| JP4622544B2 (ja) | 車両の運転支援装置 | |
| US11753002B2 (en) | Vehicular control system | |
| EP3495187B1 (en) | Attention attracting device for vehicle | |
| JP4848644B2 (ja) | 障害物認識システム | |
| JP3965078B2 (ja) | ステレオ式車外監視装置およびその制御方法 | |
| JP2007251880A (ja) | 車両用画像表示装置および画像合成方法 | |
| EP4371822A1 (en) | Auxiliary driving system and vehicle | |
| CN216184804U (zh) | 一种辅助驾驶系统及车辆 | |
| CN107640111B (zh) | 基于百核微处理器控制的汽车视觉图像处理系统及方法 | |
| JP7520724B2 (ja) | 撮像装置、撮像システムおよび故障検出方法 | |
| JP2004051063A (ja) | 車両周辺視認装置 | |
| WO2020230635A1 (ja) | 撮像装置および撮像方法 | |
| WO2021182190A1 (ja) | 撮像装置、撮像システム及び撮像方法 | |
| JP3138135B2 (ja) | 曲折警報装置 | |
| JP6961882B2 (ja) | 駐車支援装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3965078 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |