JP3625460B2 - 車載用走行車線認識装置 - Google Patents
車載用走行車線認識装置 Download PDFInfo
- Publication number
- JP3625460B2 JP3625460B2 JP2002283589A JP2002283589A JP3625460B2 JP 3625460 B2 JP3625460 B2 JP 3625460B2 JP 2002283589 A JP2002283589 A JP 2002283589A JP 2002283589 A JP2002283589 A JP 2002283589A JP 3625460 B2 JP3625460 B2 JP 3625460B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- input
- vehicle
- lane recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、レーンマーキング等を検出し、走行車線の認識を行う車載用走行車線認識装置に関するものである。
【０００２】
【従来の技術】
従来から車両前方に存在するレーンマーキング等を検出し、走行車線の認識を行う車載用走行車線認識装置に関する特許は数多く出願されている。
従来の車載用走行車線認識装置は、撮像手段としてのＣＣＤカメラと、認識手段としての認識処理部とにより構成されている。ＣＣＤカメラは、例えば車両内部の運転席近傍の天井などに取り付けられており、車両前方の風景を撮像する。
なお、この場合、例えば車両が道路上を走行しているのであれば、車両から所定距離だけ前方の道路もその撮像した風景内に含まれるように撮像範囲が設定されている。
【０００３】
一方、認識処理部は、アナログ・デジタル変換器（ＡＤＣ）、前処理ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｅｄ ＩＣ）、画像メモリ、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信ＩＣなどを備えている。
アナログ・デジタル変換器は、ＣＣＤカメラから出力されるアナログの画像信号をデジタルの画像データに変換する。前処理ＡＳＩＣは、アナログ・デジタル変換器から画像データに対して所定の前処理を実行しており、例えばエッジを強調するフィルタ処理などが挙げられる。画像メモリは、前処理ＡＳＩＣから出力される画像データを記憶する。
ＣＰＵは、画像メモリに記憶されている画像データに基づいて、画像データ中のレーンマーキングを認識する処理などを実行し、ＲＯＭはＣＰＵの実行するプログラムなどを記憶している。
また、ＲＡＭは、ＣＰＵの作業領域として機能しており、通信ＩＣは、ＣＰＵから転送された例えばレーンマーキングの認識結果にかかるデータなどを外部へ出力する（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平１１−２１３１５５号公報（第１１頁、第１図）
【０００５】
【発明が解決しようとする課題】
従来の車載用走行車線認識装置は以上のように、アナログ・デジタル変換器、前処理ＡＳＩＣ、画像メモリおよびＲＡＭ等が別々のチップとして実現されており、システム全体としては回路規模も大きく、また高価なものとなってしまうという問題点があった。
【０００６】
この発明は上記のような問題点を解決するためになされたもので、小型で、かつ安価な車載用走行車線認識装置を得ることを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る車載用走行車線認識装置は、道路上を走行する車両に搭載され、車両の前方を撮像して画像データを出力する撮像手段と、あらかじめ画像データを記録した外部記録媒体からの入力と撮像手段からの入力とを選択し、選択した画像データを出力する画像入出力インターフェースと、画像入出力インターフェースから出力される画像データの中から、所定領域のみの画像データを選択する画像データ選択手段と、画像データ選択手段にて選択された画像データを記憶する画像データ記憶手段と、画像データ記憶手段に記憶された画像データの中から道路上のレーンマーキングを検出し、レーンマーキングに沿った走行車線を認識する走行車線認識手段とを備え、画像入出力インターフェースは、外部記録媒体から画像データが入力されたと判定した場合、外部記録媒体を入力源として選択して、画像データ選択手段に外部記録媒体からの画像データを出力し、外部記録媒体から画像データが入力されていないと判定した場合、撮像手段を入力源として選択して、画像データ選択手段および外部記録媒体に撮像手段からの画像データを出力するものである。
【０００８】
【発明の実施の形態】
実施の形態１．
以下、図面を参照しながら、この発明の実施の形態１について詳細に説明する。図１はこの発明の実施の形態１に関連した車載用走行車線認識装置のブロック構成図である。
車載用走行車線認識装置は、道路を走行する車両に搭載されており、図１において、撮像手段１は車両前方の画像を撮像し、画像データ選択手段２は、撮像手段１から出力される画像データのうち、走行車線認識に必要なだけの特定領域の画像データを選択する。
画像データ記憶手段３は、画像データ選択手段２によって選択された画像データを記憶する。走行車線認識手段４は、画像データ記憶手段３に記憶された画像データを用いて道路上に存在するレーンマーキングを検出し、レーンマーキングに沿った走行車線を認識する。
【０００９】
なお、画像データ選択手段２、画像データ記憶手段３、及び走行車線認識手段４は一点鎖線で示される単一のチップ５内に実現される。
なお、図１では、撮像手段１だけチップ５の外部に存在するが、チップ５内に実現できるのであれば他の構成要素と同様に、チップ５内に実現してもよい。
【００１０】
次に、個々の機能ブロックについて詳しく説明する。
まず、撮像手段１について説明する。撮像手段１は、道路を走行する車両の前方の画像を撮像しており、一般的な撮像素子としてはＣＣＤ撮像素子、ＣＭＯＳ撮像素子の２つがよく知られている。例えば、本実施の形態における撮像手段としてはＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ：アナログ／デジタル変換器）内蔵のＣＭＯＳ撮像素子を仮定する。
なお、撮像素子として、ＣＣＤ撮像素子、ＣＣＤ撮像素子駆動用ＩＣ、及びＡＤＣでこの撮像手段１を構成してもよい。
【００１１】
次に、画像データ選択手段２について説明する。図２は図１内に示す画像データ選択手段２の構成図である。
動作を説明すると、まず撮像手段１を駆動するための基本クロックが撮像手段１に入力され、撮像手段１の各種設定が終了すると、撮像手段１によって撮像された画像データの中から画素データが１画素出力される度に１サイクル変化するドットクロックＤＣＫが出力されるとともに、基本クロック入力毎に水平同期信号ＨＤおよび垂直同期信号ＶＤが出力される。
水平方向の画素数をカウントするＨカウンタ１１は、ドットクロックＤＣＫの入力毎にカウンタ値をカウントアップし、水平同期信号ＨＤが入力されるとカウンタ値を一旦クリアする。
【００１２】
Ｈカウンタ１１から出力されたカウンタ値は、予めＨ開始アドレス保持部１２に設定してある水平方向開始アドレスと比較器１４ａで比較され、カウンタ値が水平開始アドレスより大きくなると、比較器１４ａの出力は「Ｌ」から「Ｈ」になる。
さらに、Ｈカウンタ１１から出力されたカウンタ値は、Ｈ終了アドレス保持部１３に設定されている水平方向終了アドレスと比較器１４ｂで比較され、カウンタ値が水平方向終了アドレスより小さい間は「Ｈ」が出力され、カウンタ値が水平方向終了アドレスより大きくなると出力は「Ｈ」から「Ｌ」になる。
【００１３】
論理積回路１５ａは、比較器１４ａの出力と比較器１４ｂの出力との論理積をとり、論理積回路１５ａの出力は、水平方向の選択信号となる。したがって、水平方向は、撮像手段１で撮像された画像データの水平方向開始アドレスから水平方向終了アドレスまでの画素データが選択される。
【００１４】
また、垂直方向も水平方向と同様で、まず垂直方向の画素数をカウントするＶカウンタ１６は、水平同期信号ＨＤが入力されることによってカウンタ値をカウントアップし、垂直同期信号ＶＤが入力されるとカウンタ値を一旦クリアする。
Ｖカウンタ１６から出力されるカウンタ値は、予めＶ開始アドレス保持部１７に設定してある垂直方向開始アドレスと比較器１４ｃで比較され、カウンタ値が垂直開始アドレスより大きくなると比較器１４ｃの出力は「Ｌ」から「Ｈ」にして出力される。
さらに、Ｖカウンタ１６から出力されるカウンタ値は、Ｖ終了アドレス保持部１８に設定されている垂直方向終了アドレスと比較器１４ｄで比較され、カウンタ値が垂直方向終了アドレスより小さい間は「Ｈ」が出力され、カウンタ値が垂直方向終了アドレスより大きくなると「Ｈ」から「Ｌ」にして出力される。
【００１５】
論理積回路１５ｂは、比較器１４ｃと比較器１４ｄとの論理積をとり、論理積回路１５ｂの出力は、垂直方向の選択信号となる。したがって、垂直方向は、撮像手段１で撮像された画像データの垂直方向開始アドレスから垂直方向終了アドレスまでの画素データが選択される。
【００１６】
最後に、論理積回路１５ｃは、水平方向の選択信号である論理積回路１５ａの出力と、垂直方向の選択信号である論理積回路１５ｂの出力との論理積をとり、１つの矩形選択領域に対する画像データの選択信号を生成する。
この生成された選択信号を用いて画像データを選択し、後段の画像データ記憶手段３に選択した画像を記憶させる。
【００１７】
なお、図２は、１つの矩形領域を選択する際の構成であるが、選択する領域が複数ある場合は同様の構成を複数用意することにより実現可能である。
また、図２は、カウンタや比較器等のハードウェアで構成したが、ＣＰＵ、ＲＡＭ、タイマを最小構成とするマイクロコンピュータ（以下、マイコンと記載）で構成される場合には、マイコンに内蔵されているタイマ等を用い、内蔵されたタイマの出力波形で画像選択を実現してもよい。
後述するように、画像データ選択手段２、画像データ記憶手段３及び走行車線認識手段４をマイコンで実現させる場合には、タイマを用いて実現した方が全体の回路規模も小さくなり、コストも削減することができる。
また、マイコン内のソフトウェアにて画像を選択させることにより走行車線の認識状態に応じて画像データの選択範囲を動的に変化させることも可能となる。
【００１８】
また、必要であれば水平／垂直ともに開始アドレス、終了アドレスを指定することによって画像全体も選択することができる。
【００１９】
次に、走行車線認識を行う場合、画像データ選択手段２では、どのような画像データが選択されるのかを図３を用いて説明する。図３は図１に示す装置により選択された画像データを示す説明図である。
走行車線を認識する場合、一般的な方法として、まず道路上に描かれたレーンマーキング２１を検出するための探索領域を設定する。図３（ａ）において、走行車線を認識する際に設定される複数の探索領域２２ａ〜２２ｆの例を示している。
なお、１つの探索領域としては水平方向ｍ画素、垂直方向ｎ画素のｍ×ｎ画素の矩形領域が設定されているが（ｍ、ｎは任意の整数）、ｎを１とし、探索ラインとしてもよい。
【００２０】
探索領域の配置に関しては、図３（ａ）の画像において、水平線よりも下方の画像である道路上から探索領域を配置する。
例えば、図３（ａ）の道路を上面視した図３（ｂ）のように、探索領域は、車両の進行方向に対して垂直に、かつ進行方向にほぼ等間隔に配置されると後述するように都合がよい。レーンマーキングを検出するための探索領域は他にもいろいろ考えられるが、ここでは説明を省略する。
画像データ選択手段２にて選択されたそれぞれの探索領域の画像データは、画像データ記憶手段３に記憶される。
走行車線認識手段４は、画像データ記憶手段３に記憶された画像データを用いて、レーンマーキングを検出し、レーンマーキングに沿った走行車線を認識する。
【００２１】
次に、走行車線認識手段４における走行車線認識について説明する。前述のように、まず、選択された探索領域においてレーンマーキングが存在する位置を検出する。レーンマーキングの検出方法としては、テンプレートマッチング等の一般的なフィルタリング処理を行えばよい。
テンプレートマッチングは、検出対象と同様な輝度分布を持つテンプレートを用意し、そのテンプレートとの相互相関が一番高い点を検出対象としている。
例えば図３（ａ）の探索領域を探索ラインとし、その輝度信号のパルスは、輝度の大きいレーンマーキングの位置を示している。また、レーンマーキング用の１次元のテンプレートを用意しており、例えば左から少しずつテンプレートをシフトさせて輝度信号との差分をとっていくことにより、差分の一番大きい点が検出できる。すなわち、その点をテンプレートと相互相関が一番高い、すなわち、レーンマーキングの位置であると判定することができる。
【００２２】
各探索領域内で検出されたレーンマーキングの位置を用いて、多項式等で表される走行車線（道路形状）のパラメータを同定したパラメータの同定結果が走行車線の認識結果となる。
前述したように、各探索領域を上面視において進行方向にほぼ等間隔となるように各探索領域を選択するようにすると、レーンマーキングの検出位置も等間隔に得られるので、多項式等で表現される走行車線のパラメータの同定がしやすくなる。
【００２３】
次に、一点鎖線で示されるブロック５について説明する。図１の画像データ選択手段２、画像データ記憶手段３及び走行車線認識手段４で構成されるブロック５は、単一のチップ内に実現されている。ここで言う「チップ」とは画像処理に特化した画像処理専用チップでもよいが、ＣＰＵ、ＲＡＭ、タイマを最小構成とするマイコンでも実現可能である。
近年、マイコンに内蔵されているＲＡＭの容量は増大する傾向にあるが、例えば一般にＶＧＡ（ＰＣ用の映像規格）と呼ばれている６４０×４８０画素の画像データをすべて格納し、かつプログラムを動作させるだけのＲＡＭを内蔵したマイコンは極めて高価である。
【００２４】
したがって、上述したように、少なくとも画像データ選択手段２、画像データ記憶手段３、及び走行車線認識手段４を単一のチップ内に実現し、画像データ選択手段２によって走行車線認識に必要な特定領域の画像データのみを選択し、画像データ選択手段２を通して、画像記憶手段３（内蔵ＲＡＭ）に転送させるので、内蔵ＲＡＭ容量の少ない安価なチップを選択することができ、回路規模が小さく、かつ低コストの車載用走行車線認識装置の実現が可能となる。
また、図１において、走行車線認識に必要な画像データがすべて内蔵ＲＡＭ内に格納できれば、外部に余計なＲＡＭも設ける必要がなくなる。
【００２５】
また、従来までの車載用画像処理システムの構成としては、画像データをそのまま記憶手段に記憶するのではなく、簡単なフィルタリング等の、いわゆる「前処理」と呼ばれるプリミティブな処理をＡＳＩＣ等の専用ＩＣを用いて行わせていた。しかし、図１の構成の場合、画像データはすべてマイコンの内蔵ＲＡＭ内に存在するため、アクセスの速さを生かして、この「前処理」をすべてソフトウェアで実現することが可能となる。
したがって、余分な外部ＲＡＭやＡＳＩＣ等の専用ＩＣを排除でき、大幅なサイズダウンとコストダウンを図ることができる。
【００２６】
上記装置（図１参照）では、画像データの転送速度について言及しなかったが、撮像手段１からの転送速度を変換させることが望ましい。
【００２７】
図４は、この発明の実施の形態１に関連した他の車載用走行車線認識装置のブロック構成図である。なお、図４において、前述（図１参照）と同一のものは同一符号を付して詳述を省略する。
図４において、車載用走行車線認識装置は、撮像手段１で撮像された画像における画素データの転送速度を変換する画素データ転送速度変換手段３１を備えている。
図４においても、一点鎖線で示されるブロック５は、１チップで実現されている。この場合、撮像手段１だけ一点鎖線で示されるチップ５の外部に存在するが、チップ５内に実現できるのであれば他の構成要素と同様、チップ５内に実現してもよい。また、このチップ５は画像処理用の専用ＩＣでもよいが、ここではＣＰＵ、ＲＡＭ及びタイマを最小構成とするマイコンを想定している。
【００２８】
次に、画素データ転送速度変換手段３１の動作について説明する。画素データの出力レート（出力速度）がマイコン固有の転送レート（転送速度）よりも遅い場合には、撮像手段１からの画像データをそのままマイコン内のＲＡＭに取り込むことが可能である。また、画素データの出力レートがマイコン固有の転送レートよりも速い場合、後述する図５のような構成で転送レートを落とすことによって、マイコンで画像データをリアルタイムに取りこむことができる。
【００２９】
すなわち、任意の整数をＭとしたとき、１画素分の画素データが、撮像手段１から出力されるたびに１サイクル変化するドットクロックを用いて、画素データをＭ個ラッチ（保持）することにより、マイコンの内蔵ＲＡＭに転送する転送レートを１つの画素データの転送レートの１／Ｍで転送させることができる。
【００３０】
図５は、Ｍ＝２の場合について、画素データ転送速度変換手段３１の具体的な構成を示したものである。図５を参照しながら、画素データ速度変換手段３１の動作について説明する。
まず、画素データが１画素出力されるたびに１サイクル変化するドットクロックＤＣＫを用いて、撮像手段１から順次出力される画素データは、ＤＦＦ（Ｄフリップフロップ）３６、３７の入力ポートＤ［７．．０］から入力し、ＤＦＦ３６、３７に記憶される。
【００３１】
ＤＦＦ３７の出力ポートＱ［７．．０］に出力されている画素データは常に、ＤＦＦ３６の出力ポートＱ［７．．０］に出力されている画素データに対して、時間的に１画素前の画素データとなっている。
一方、ドットクロックＤＣＫをＴＦＦ（Ｔフリップフロップ）３８等で実現される２分周回路で周波数を半分に落とす。この周波数が半分になった転送クロックと元のドットクロックＤＣＫとの関係は図６に示すような関係となる。
ドットクロックＤＣＫが２回入力され、画素データが２画素入力されると、２画素分の画素データがマイコン内に転送される。
このように、ＤＦＦ３６、３７から時間的に連続する８ビットの画素データが２つ用意され、この２つの画素データは転送クロックによって、１６ビットある転送ポートからマイコンの内蔵ＲＡＭに転送される。
【００３２】
以上のような構成とすることにより、マイコンの内蔵ＲＡＭに転送する転送レートが、撮像手段１から画素データが出力される出力レートより遅くても、所定数の画素データをラッチして、画素データが所定数になった時点で纏めて転送することにより、リアルタイムで画像データを取り込むことが可能となる。
このように、簡単な構成で画像データの転送速度を変換する画素データ転送速度変換手段３１を実現することにより、マイコンの選定範囲を広げ、転送レートの遅い、安価なマイコンを選定することが可能となり、前述（図１）の装置において内蔵ＲＡＭ容量の制限を緩和したと同様、装置全体のコストダウンが実現できる。
【００３３】
なお、上記構成例では、撮像手段１から出力される画像データを取り込んだが、外部（あらかじめ画像データが記録された外部記録媒体）からの画像データを取り込んでもよい。
【００３４】
図７は、この発明の実施の形態１による車載用走行車線認識装置のブロック構成図である。なお、図７において、前述（図１、４参照）と同一のものは同一符号を付して詳述を省略する。
図７において、車載用走行車線認識装置は、撮像手段１から出力される画像データ全体を外部に出力するとともに、外部から画像データが入力された場合には、撮像手段１から出力される画像データの代わりに、外部から入力された画像データを、画像データ選択手段２を通して画像データ記憶手段３に転送することのできる画像入出力インターフェース４１を備えている。
【００３５】
図８は、この発明の実施の形態１による画像入出力インターフェース４１の構成図である。なお、図８において、前述（図１、４、７参照）と同一のものは同一符号を付して詳述を省略する。
なお、本実施の形態においても、一点鎖線で示されるブロック５を１チップで実現してもよい。この場合、撮像手段１だけ一点鎖線で示されるチップ５の外部に存在するが、チップ５内に実現できるのであれば他の構成要素と同様、チップ５内に実現してもよい。
【００３６】
図８において、外部画像入力判定部４６は、外部から画像データの入力があるか否かの判定を行い、外部からの画像データの入力があると判定された場合は、判定信号ＥＸＴＩＮを「Ｈ」にして出力する。外部からの画像データの入力がないと判定された場合は、判定信号ＥＸＴＩＮを「Ｌ」にして出力する。
【００３７】
判定信号ＥＸＴＩＮは、スリーステートバッファ４７ａ、４７ｂのゲート信号として用いられ、外部から画像データの入力がない場合は、判定信号ＥＸＴＩＮは「Ｌ」なので、スリーステートバッファ４７ａの出力には撮像手段１の出力画像がそのまま出力され、スリーステートバッファ４７ｂの出力はハイインピーダンスとなる。
したがってこの場合は、撮像手段１から出力される画像データが画像データ選択手段２を通して、画像データ記憶手段３に転送され、外部画像出力ラインにも撮像手段１からの画像データが出力される。
【００３８】
一方、外部から画像データの入力がある場合は、判定信号ＥＸＴＩＮは「Ｈ」となる。このとき、前述とは逆に、スリーステートバッファ４７ａの出力がハイインピーダンスとなり、スリーステートバッファ４７ｂから出力された外部入力画像が、画像データ選択手段２を通して、画像データ記憶手段３に転送される。また、外部画像出力ラインにも外部入力画像が出力される。
【００３９】
以上のような構成とすることにより、装置内にはある限定した領域の画像データのみを記憶していても、全体の画像データを外部に出力されるので、同時に画像全体を確認することが可能となる。
また、外部から画像データの入力があった場合は、この外部からの画像データを装置内の画像データ記憶手段３に転送することにより、走行試験等で撮影した画像データを外部から入力させて、机上で走行車線認識のロジック検討をすることが可能となる。
【００４０】
また、上記のような機能を実現するために装置側に追加される回路としては、実質上スリーステートバッファ４７ａ、４７ｂのみで、装置全体の回路規模を大幅に増大させること無く、画像全体を確認したり、机上でロジック検討を行うための機能が追加することができる。
【００４１】
実施の形態２．
なお、上記実施の形態１では、基本クロックの供給について言及しなかったが、１つの振動子から供給される基本クロックに基づいて各手段を駆動させてもよい。
図９は、この発明の実施の形態２による車載用走行車線認識装置のブロック構成図である。なお、図９において、前述（図１、４、７、８参照）と同一のものは同一符号を付して詳述を省略する。
図９において、車載用走行車線認識装置は、撮像手段１及びブロック５に基本クロックを供給する振動子５１を備えており、撮像手段１は、撮像素子１ａと、撮像素子１ａを駆動するための専用駆動信号発生手段１ｂとにより構成される。
【００４２】
次に、動作について説明する。
振動子５１によって撮像手段１に供給された基本クロックは、撮像手段１内の専用駆動信号発生手段１ｂに入力される。
専用駆動信号発生手段１ｂは、撮像素子１ａを駆動するための水平同期信号ＨＤ、垂直同期信号ＶＤ等の様々な駆動信号を生成する。
生成された駆動信号は、撮像素子１ａに入力されて撮像素子１ａを駆動させる。撮像素子１ａは画像データを出力し、出力された画像データは画像データ選択手段２を通して画像データ記憶手段３に記憶される。
走行車線認識手段４は、画像データ記憶手段３に記憶された画像データを用いて走行車線の認識が行われる。なお、走行車線認識手段４の動作は、これまでの実施の形態と同様であるので説明を省略する。
【００４３】
ところで本実施の形態では、撮像手段１を駆動するための基本クロックが、画像データ選択手段２、画像データ記憶手段３、及び走行車線認識手段４を駆動させるためのクロックと共通となっている。
従来の車載用画像処理装置の場合、撮像手段１を駆動するための基本クロックは、映像信号規格の関係上、それ以外の部分を駆動するためのクロックとは別々に用意されていたが、本実施の形態のように撮像手段１とそれ以外の部分（ブロックＡ）を動作させるための基本クロックを共通とすることにより、振動子５１を１つにすることができ、またタイミング設計も容易となる。
【００４４】
また、撮像手段１とそれ以外の部分を共通の基本クロックで動作させる場合、図１０に示すような構成も可能となる。
図１０は、この発明の実施の形態２による他の車載用走行車線認識装置のブロック構成図である。なお、図１０において、前述（図１、４、７、９参照）と同一のものは同一符号を付して詳述を省略する。
【００４５】
図１０ではブロック５がＣＰＵ、ＲＡＭ、タイマを最小構成とするマイコンで実現されており、このマイコンは、振動子５１によって供給される基本クロックで動作している。
図９においては、撮像素子１ａを駆動するための駆動信号は、専用駆動信号発生手段１ｂで生成される。図１０においては、マイコンの内蔵タイマ５２を用いて生成されているので、図９では撮像素子１ａを駆動するために必要であった専用駆動信号発生手段１ｂが、図１０の構成では必要なくなっている。したがって、図１０の構成は図９の構成よりもさらに小さい回路規模で実現することができる。
【００４６】
以上のように、撮像手段１とそれ以外の部分を共通のクロックで駆動させることにより、振動子５１が１つで済むので、低コストの車載用走行車線認識装置の実現が可能となる。また、共通のクロックで駆動させているため、各手段とのタイミング設計も容易となる。
また、図１０のように撮像素子１ａを駆動するための駆動信号をマイコン内のタイマ５２を用いれば、さらに回路規模を小さくすることができる。
なお、本実施の形態では、撮像手段１とそれ以外の部分を全く同一のクロックで動作させたが、撮像手段１を駆動するための基本クロックは、それ以外の部分を動作させているクロックのＮ倍であったり、あるいは１／Ｎ倍であってもよい(Ｎは任意の整数を示す)。
【００４７】
また、本実施の形態においても、一点鎖線で示されるブロック５は、１チップで実現されている。この場合、撮像手段１だけ一点鎖線で示されるチップ５の外部に存在するが、チップ５内に実現できるのであれば他の構成要素と同様、チップ５内に実現してもよい。
【００４８】
さらに、画像全体の輝度情報に基づいて露光制御を行う場合は問題ないが、車載用画像処理装置の場合、不要な画像領域の輝度情報を露光制御に反映させない方が賢明であるため、画像の一部分の輝度情報を用いて露光制御を行う方が理想的である。この場合、画像のどの部分を測光するかという測光信号が撮像手段１のタイミングに同期した形で必要となるが、図１０で示したような構成であれば、基本クロックが同一である為、この測光信号もマイコン内のタイマを用いて、タイマの出力波形で構成することができる。
【００４９】
【発明の効果】
以上のように、この発明によれば、道路上を走行する車両に搭載され、車両の前方を撮像し、撮像された画像を画素データとして出力する撮像手段と、撮像手段によって撮像された画像の中から、所定領域のみの画像データを選択する画像データ選択手段と、画像データを記憶する画像データ記憶手段と、画像データ記憶手段に記憶された画像データの中から道路上のレーンマーキングを検出し、レーンマーキングに沿った走行車線を認識する走行車線認識手段と、を備えた車載用走行車線認識装置において、撮像手段の後段に設けられて、画素データの転送速度を変換設定して画素データを転送する画素データ転送速度変換手段をさらに備え、画素データ転送速度変換手段は、画素データの数をＭ、画素データのビット数をＮとしたとき（Ｍ、Ｎは任意の整数）、Ｎビットの画素データがＭ個保持された時点で、Ｍ個のＮビットの画素データを１つのＭ×Ｎビットデータに形成して、Ｍ×Ｎビットデータを１回の転送回数で画像データ選択手段に転送し、少なくとも画像データ選択手段、画像データ記憶手段、及び走行車線認識手段は、単一のチップ内で実現されるので、外部に画像データ記憶手段を不要とし、回路規模が小さく、かつ低コストの車載用走行車線認識装置が得られる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１に関連した車載用走行車線認識装置のブロック構成図である。
【図２】図１に示す画像データ選択手段の構成図である。
【図３】図１に示す装置により選択された画像データを示す説明図である。
【図４】この発明の実施の形態１に関連した他の車載用走行車線認識装置を示すブロック構成図である。
【図５】図４に示す装置による画素データ転送速度変換手段を示す構成図である。
【図６】図４に示す装置によるドットクロックＤＣＫと２分周された転送クロックとの関係を示す説明図である。
【図７】この発明の実施の形態１による車載用走行車線認識装置を示すブロック構成図である。
【図８】この発明の実施の形態１による画像入出力インターフェースを示す構成図である。
【図９】この発明の実施の形態２による車載用走行車線認識装置を示すブロック構成図である。
【図１０】この発明の実施の形態２による他の車載用走行車線認識装置を示すブロック構成図である。
【符号の説明】
１ 撮像手段、１ａ 撮像素子、１ｂ 専用駆動信号発生手段、２ 画像データ選択手段、３ 画像データ記憶手段、４ 走行車線認識手段、５ チップ、１１ Ｈカウンタ、１２ Ｈ開始アドレス保持部、１３ Ｈ終了アドレス保持部、１４ａ、１４ｂ、１４ｃ、１４ｄ 比較器、１５ａ、１５ｂ、１５ｃ 論理積回路、２１ レーンマーキング、２２ａ、２２ｂ、２２ｃ、２２ｄ、２２ｅ、２２ｆ レーンマーキングの探索領域、３１ 画素データ転送速度変換手段、３６、３７ ８ビット分のＤＦＦ（Ｄ−Ｆｌｉｐ Ｆｌｏｐ）、３８ ２分周回路、４１ 画像入出力インターフェース、４６ 外部画像入力判定部、４７ａ、４７ｂ スリーステートバッファ、５１ 振動子、５２ タイマ。
【発明の属する技術分野】
この発明は、レーンマーキング等を検出し、走行車線の認識を行う車載用走行車線認識装置に関するものである。
【０００２】
【従来の技術】
従来から車両前方に存在するレーンマーキング等を検出し、走行車線の認識を行う車載用走行車線認識装置に関する特許は数多く出願されている。
従来の車載用走行車線認識装置は、撮像手段としてのＣＣＤカメラと、認識手段としての認識処理部とにより構成されている。ＣＣＤカメラは、例えば車両内部の運転席近傍の天井などに取り付けられており、車両前方の風景を撮像する。
なお、この場合、例えば車両が道路上を走行しているのであれば、車両から所定距離だけ前方の道路もその撮像した風景内に含まれるように撮像範囲が設定されている。
【０００３】
一方、認識処理部は、アナログ・デジタル変換器（ＡＤＣ）、前処理ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｅｄ ＩＣ）、画像メモリ、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信ＩＣなどを備えている。
アナログ・デジタル変換器は、ＣＣＤカメラから出力されるアナログの画像信号をデジタルの画像データに変換する。前処理ＡＳＩＣは、アナログ・デジタル変換器から画像データに対して所定の前処理を実行しており、例えばエッジを強調するフィルタ処理などが挙げられる。画像メモリは、前処理ＡＳＩＣから出力される画像データを記憶する。
ＣＰＵは、画像メモリに記憶されている画像データに基づいて、画像データ中のレーンマーキングを認識する処理などを実行し、ＲＯＭはＣＰＵの実行するプログラムなどを記憶している。
また、ＲＡＭは、ＣＰＵの作業領域として機能しており、通信ＩＣは、ＣＰＵから転送された例えばレーンマーキングの認識結果にかかるデータなどを外部へ出力する（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平１１−２１３１５５号公報（第１１頁、第１図）
【０００５】
【発明が解決しようとする課題】
従来の車載用走行車線認識装置は以上のように、アナログ・デジタル変換器、前処理ＡＳＩＣ、画像メモリおよびＲＡＭ等が別々のチップとして実現されており、システム全体としては回路規模も大きく、また高価なものとなってしまうという問題点があった。
【０００６】
この発明は上記のような問題点を解決するためになされたもので、小型で、かつ安価な車載用走行車線認識装置を得ることを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る車載用走行車線認識装置は、道路上を走行する車両に搭載され、車両の前方を撮像して画像データを出力する撮像手段と、あらかじめ画像データを記録した外部記録媒体からの入力と撮像手段からの入力とを選択し、選択した画像データを出力する画像入出力インターフェースと、画像入出力インターフェースから出力される画像データの中から、所定領域のみの画像データを選択する画像データ選択手段と、画像データ選択手段にて選択された画像データを記憶する画像データ記憶手段と、画像データ記憶手段に記憶された画像データの中から道路上のレーンマーキングを検出し、レーンマーキングに沿った走行車線を認識する走行車線認識手段とを備え、画像入出力インターフェースは、外部記録媒体から画像データが入力されたと判定した場合、外部記録媒体を入力源として選択して、画像データ選択手段に外部記録媒体からの画像データを出力し、外部記録媒体から画像データが入力されていないと判定した場合、撮像手段を入力源として選択して、画像データ選択手段および外部記録媒体に撮像手段からの画像データを出力するものである。
【０００８】
【発明の実施の形態】
実施の形態１．
以下、図面を参照しながら、この発明の実施の形態１について詳細に説明する。図１はこの発明の実施の形態１に関連した車載用走行車線認識装置のブロック構成図である。
車載用走行車線認識装置は、道路を走行する車両に搭載されており、図１において、撮像手段１は車両前方の画像を撮像し、画像データ選択手段２は、撮像手段１から出力される画像データのうち、走行車線認識に必要なだけの特定領域の画像データを選択する。
画像データ記憶手段３は、画像データ選択手段２によって選択された画像データを記憶する。走行車線認識手段４は、画像データ記憶手段３に記憶された画像データを用いて道路上に存在するレーンマーキングを検出し、レーンマーキングに沿った走行車線を認識する。
【０００９】
なお、画像データ選択手段２、画像データ記憶手段３、及び走行車線認識手段４は一点鎖線で示される単一のチップ５内に実現される。
なお、図１では、撮像手段１だけチップ５の外部に存在するが、チップ５内に実現できるのであれば他の構成要素と同様に、チップ５内に実現してもよい。
【００１０】
次に、個々の機能ブロックについて詳しく説明する。
まず、撮像手段１について説明する。撮像手段１は、道路を走行する車両の前方の画像を撮像しており、一般的な撮像素子としてはＣＣＤ撮像素子、ＣＭＯＳ撮像素子の２つがよく知られている。例えば、本実施の形態における撮像手段としてはＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ：アナログ／デジタル変換器）内蔵のＣＭＯＳ撮像素子を仮定する。
なお、撮像素子として、ＣＣＤ撮像素子、ＣＣＤ撮像素子駆動用ＩＣ、及びＡＤＣでこの撮像手段１を構成してもよい。
【００１１】
次に、画像データ選択手段２について説明する。図２は図１内に示す画像データ選択手段２の構成図である。
動作を説明すると、まず撮像手段１を駆動するための基本クロックが撮像手段１に入力され、撮像手段１の各種設定が終了すると、撮像手段１によって撮像された画像データの中から画素データが１画素出力される度に１サイクル変化するドットクロックＤＣＫが出力されるとともに、基本クロック入力毎に水平同期信号ＨＤおよび垂直同期信号ＶＤが出力される。
水平方向の画素数をカウントするＨカウンタ１１は、ドットクロックＤＣＫの入力毎にカウンタ値をカウントアップし、水平同期信号ＨＤが入力されるとカウンタ値を一旦クリアする。
【００１２】
Ｈカウンタ１１から出力されたカウンタ値は、予めＨ開始アドレス保持部１２に設定してある水平方向開始アドレスと比較器１４ａで比較され、カウンタ値が水平開始アドレスより大きくなると、比較器１４ａの出力は「Ｌ」から「Ｈ」になる。
さらに、Ｈカウンタ１１から出力されたカウンタ値は、Ｈ終了アドレス保持部１３に設定されている水平方向終了アドレスと比較器１４ｂで比較され、カウンタ値が水平方向終了アドレスより小さい間は「Ｈ」が出力され、カウンタ値が水平方向終了アドレスより大きくなると出力は「Ｈ」から「Ｌ」になる。
【００１３】
論理積回路１５ａは、比較器１４ａの出力と比較器１４ｂの出力との論理積をとり、論理積回路１５ａの出力は、水平方向の選択信号となる。したがって、水平方向は、撮像手段１で撮像された画像データの水平方向開始アドレスから水平方向終了アドレスまでの画素データが選択される。
【００１４】
また、垂直方向も水平方向と同様で、まず垂直方向の画素数をカウントするＶカウンタ１６は、水平同期信号ＨＤが入力されることによってカウンタ値をカウントアップし、垂直同期信号ＶＤが入力されるとカウンタ値を一旦クリアする。
Ｖカウンタ１６から出力されるカウンタ値は、予めＶ開始アドレス保持部１７に設定してある垂直方向開始アドレスと比較器１４ｃで比較され、カウンタ値が垂直開始アドレスより大きくなると比較器１４ｃの出力は「Ｌ」から「Ｈ」にして出力される。
さらに、Ｖカウンタ１６から出力されるカウンタ値は、Ｖ終了アドレス保持部１８に設定されている垂直方向終了アドレスと比較器１４ｄで比較され、カウンタ値が垂直方向終了アドレスより小さい間は「Ｈ」が出力され、カウンタ値が垂直方向終了アドレスより大きくなると「Ｈ」から「Ｌ」にして出力される。
【００１５】
論理積回路１５ｂは、比較器１４ｃと比較器１４ｄとの論理積をとり、論理積回路１５ｂの出力は、垂直方向の選択信号となる。したがって、垂直方向は、撮像手段１で撮像された画像データの垂直方向開始アドレスから垂直方向終了アドレスまでの画素データが選択される。
【００１６】
最後に、論理積回路１５ｃは、水平方向の選択信号である論理積回路１５ａの出力と、垂直方向の選択信号である論理積回路１５ｂの出力との論理積をとり、１つの矩形選択領域に対する画像データの選択信号を生成する。
この生成された選択信号を用いて画像データを選択し、後段の画像データ記憶手段３に選択した画像を記憶させる。
【００１７】
なお、図２は、１つの矩形領域を選択する際の構成であるが、選択する領域が複数ある場合は同様の構成を複数用意することにより実現可能である。
また、図２は、カウンタや比較器等のハードウェアで構成したが、ＣＰＵ、ＲＡＭ、タイマを最小構成とするマイクロコンピュータ（以下、マイコンと記載）で構成される場合には、マイコンに内蔵されているタイマ等を用い、内蔵されたタイマの出力波形で画像選択を実現してもよい。
後述するように、画像データ選択手段２、画像データ記憶手段３及び走行車線認識手段４をマイコンで実現させる場合には、タイマを用いて実現した方が全体の回路規模も小さくなり、コストも削減することができる。
また、マイコン内のソフトウェアにて画像を選択させることにより走行車線の認識状態に応じて画像データの選択範囲を動的に変化させることも可能となる。
【００１８】
また、必要であれば水平／垂直ともに開始アドレス、終了アドレスを指定することによって画像全体も選択することができる。
【００１９】
次に、走行車線認識を行う場合、画像データ選択手段２では、どのような画像データが選択されるのかを図３を用いて説明する。図３は図１に示す装置により選択された画像データを示す説明図である。
走行車線を認識する場合、一般的な方法として、まず道路上に描かれたレーンマーキング２１を検出するための探索領域を設定する。図３（ａ）において、走行車線を認識する際に設定される複数の探索領域２２ａ〜２２ｆの例を示している。
なお、１つの探索領域としては水平方向ｍ画素、垂直方向ｎ画素のｍ×ｎ画素の矩形領域が設定されているが（ｍ、ｎは任意の整数）、ｎを１とし、探索ラインとしてもよい。
【００２０】
探索領域の配置に関しては、図３（ａ）の画像において、水平線よりも下方の画像である道路上から探索領域を配置する。
例えば、図３（ａ）の道路を上面視した図３（ｂ）のように、探索領域は、車両の進行方向に対して垂直に、かつ進行方向にほぼ等間隔に配置されると後述するように都合がよい。レーンマーキングを検出するための探索領域は他にもいろいろ考えられるが、ここでは説明を省略する。
画像データ選択手段２にて選択されたそれぞれの探索領域の画像データは、画像データ記憶手段３に記憶される。
走行車線認識手段４は、画像データ記憶手段３に記憶された画像データを用いて、レーンマーキングを検出し、レーンマーキングに沿った走行車線を認識する。
【００２１】
次に、走行車線認識手段４における走行車線認識について説明する。前述のように、まず、選択された探索領域においてレーンマーキングが存在する位置を検出する。レーンマーキングの検出方法としては、テンプレートマッチング等の一般的なフィルタリング処理を行えばよい。
テンプレートマッチングは、検出対象と同様な輝度分布を持つテンプレートを用意し、そのテンプレートとの相互相関が一番高い点を検出対象としている。
例えば図３（ａ）の探索領域を探索ラインとし、その輝度信号のパルスは、輝度の大きいレーンマーキングの位置を示している。また、レーンマーキング用の１次元のテンプレートを用意しており、例えば左から少しずつテンプレートをシフトさせて輝度信号との差分をとっていくことにより、差分の一番大きい点が検出できる。すなわち、その点をテンプレートと相互相関が一番高い、すなわち、レーンマーキングの位置であると判定することができる。
【００２２】
各探索領域内で検出されたレーンマーキングの位置を用いて、多項式等で表される走行車線（道路形状）のパラメータを同定したパラメータの同定結果が走行車線の認識結果となる。
前述したように、各探索領域を上面視において進行方向にほぼ等間隔となるように各探索領域を選択するようにすると、レーンマーキングの検出位置も等間隔に得られるので、多項式等で表現される走行車線のパラメータの同定がしやすくなる。
【００２３】
次に、一点鎖線で示されるブロック５について説明する。図１の画像データ選択手段２、画像データ記憶手段３及び走行車線認識手段４で構成されるブロック５は、単一のチップ内に実現されている。ここで言う「チップ」とは画像処理に特化した画像処理専用チップでもよいが、ＣＰＵ、ＲＡＭ、タイマを最小構成とするマイコンでも実現可能である。
近年、マイコンに内蔵されているＲＡＭの容量は増大する傾向にあるが、例えば一般にＶＧＡ（ＰＣ用の映像規格）と呼ばれている６４０×４８０画素の画像データをすべて格納し、かつプログラムを動作させるだけのＲＡＭを内蔵したマイコンは極めて高価である。
【００２４】
したがって、上述したように、少なくとも画像データ選択手段２、画像データ記憶手段３、及び走行車線認識手段４を単一のチップ内に実現し、画像データ選択手段２によって走行車線認識に必要な特定領域の画像データのみを選択し、画像データ選択手段２を通して、画像記憶手段３（内蔵ＲＡＭ）に転送させるので、内蔵ＲＡＭ容量の少ない安価なチップを選択することができ、回路規模が小さく、かつ低コストの車載用走行車線認識装置の実現が可能となる。
また、図１において、走行車線認識に必要な画像データがすべて内蔵ＲＡＭ内に格納できれば、外部に余計なＲＡＭも設ける必要がなくなる。
【００２５】
また、従来までの車載用画像処理システムの構成としては、画像データをそのまま記憶手段に記憶するのではなく、簡単なフィルタリング等の、いわゆる「前処理」と呼ばれるプリミティブな処理をＡＳＩＣ等の専用ＩＣを用いて行わせていた。しかし、図１の構成の場合、画像データはすべてマイコンの内蔵ＲＡＭ内に存在するため、アクセスの速さを生かして、この「前処理」をすべてソフトウェアで実現することが可能となる。
したがって、余分な外部ＲＡＭやＡＳＩＣ等の専用ＩＣを排除でき、大幅なサイズダウンとコストダウンを図ることができる。
【００２６】
上記装置（図１参照）では、画像データの転送速度について言及しなかったが、撮像手段１からの転送速度を変換させることが望ましい。
【００２７】
図４は、この発明の実施の形態１に関連した他の車載用走行車線認識装置のブロック構成図である。なお、図４において、前述（図１参照）と同一のものは同一符号を付して詳述を省略する。
図４において、車載用走行車線認識装置は、撮像手段１で撮像された画像における画素データの転送速度を変換する画素データ転送速度変換手段３１を備えている。
図４においても、一点鎖線で示されるブロック５は、１チップで実現されている。この場合、撮像手段１だけ一点鎖線で示されるチップ５の外部に存在するが、チップ５内に実現できるのであれば他の構成要素と同様、チップ５内に実現してもよい。また、このチップ５は画像処理用の専用ＩＣでもよいが、ここではＣＰＵ、ＲＡＭ及びタイマを最小構成とするマイコンを想定している。
【００２８】
次に、画素データ転送速度変換手段３１の動作について説明する。画素データの出力レート（出力速度）がマイコン固有の転送レート（転送速度）よりも遅い場合には、撮像手段１からの画像データをそのままマイコン内のＲＡＭに取り込むことが可能である。また、画素データの出力レートがマイコン固有の転送レートよりも速い場合、後述する図５のような構成で転送レートを落とすことによって、マイコンで画像データをリアルタイムに取りこむことができる。
【００２９】
すなわち、任意の整数をＭとしたとき、１画素分の画素データが、撮像手段１から出力されるたびに１サイクル変化するドットクロックを用いて、画素データをＭ個ラッチ（保持）することにより、マイコンの内蔵ＲＡＭに転送する転送レートを１つの画素データの転送レートの１／Ｍで転送させることができる。
【００３０】
図５は、Ｍ＝２の場合について、画素データ転送速度変換手段３１の具体的な構成を示したものである。図５を参照しながら、画素データ速度変換手段３１の動作について説明する。
まず、画素データが１画素出力されるたびに１サイクル変化するドットクロックＤＣＫを用いて、撮像手段１から順次出力される画素データは、ＤＦＦ（Ｄフリップフロップ）３６、３７の入力ポートＤ［７．．０］から入力し、ＤＦＦ３６、３７に記憶される。
【００３１】
ＤＦＦ３７の出力ポートＱ［７．．０］に出力されている画素データは常に、ＤＦＦ３６の出力ポートＱ［７．．０］に出力されている画素データに対して、時間的に１画素前の画素データとなっている。
一方、ドットクロックＤＣＫをＴＦＦ（Ｔフリップフロップ）３８等で実現される２分周回路で周波数を半分に落とす。この周波数が半分になった転送クロックと元のドットクロックＤＣＫとの関係は図６に示すような関係となる。
ドットクロックＤＣＫが２回入力され、画素データが２画素入力されると、２画素分の画素データがマイコン内に転送される。
このように、ＤＦＦ３６、３７から時間的に連続する８ビットの画素データが２つ用意され、この２つの画素データは転送クロックによって、１６ビットある転送ポートからマイコンの内蔵ＲＡＭに転送される。
【００３２】
以上のような構成とすることにより、マイコンの内蔵ＲＡＭに転送する転送レートが、撮像手段１から画素データが出力される出力レートより遅くても、所定数の画素データをラッチして、画素データが所定数になった時点で纏めて転送することにより、リアルタイムで画像データを取り込むことが可能となる。
このように、簡単な構成で画像データの転送速度を変換する画素データ転送速度変換手段３１を実現することにより、マイコンの選定範囲を広げ、転送レートの遅い、安価なマイコンを選定することが可能となり、前述（図１）の装置において内蔵ＲＡＭ容量の制限を緩和したと同様、装置全体のコストダウンが実現できる。
【００３３】
なお、上記構成例では、撮像手段１から出力される画像データを取り込んだが、外部（あらかじめ画像データが記録された外部記録媒体）からの画像データを取り込んでもよい。
【００３４】
図７は、この発明の実施の形態１による車載用走行車線認識装置のブロック構成図である。なお、図７において、前述（図１、４参照）と同一のものは同一符号を付して詳述を省略する。
図７において、車載用走行車線認識装置は、撮像手段１から出力される画像データ全体を外部に出力するとともに、外部から画像データが入力された場合には、撮像手段１から出力される画像データの代わりに、外部から入力された画像データを、画像データ選択手段２を通して画像データ記憶手段３に転送することのできる画像入出力インターフェース４１を備えている。
【００３５】
図８は、この発明の実施の形態１による画像入出力インターフェース４１の構成図である。なお、図８において、前述（図１、４、７参照）と同一のものは同一符号を付して詳述を省略する。
なお、本実施の形態においても、一点鎖線で示されるブロック５を１チップで実現してもよい。この場合、撮像手段１だけ一点鎖線で示されるチップ５の外部に存在するが、チップ５内に実現できるのであれば他の構成要素と同様、チップ５内に実現してもよい。
【００３６】
図８において、外部画像入力判定部４６は、外部から画像データの入力があるか否かの判定を行い、外部からの画像データの入力があると判定された場合は、判定信号ＥＸＴＩＮを「Ｈ」にして出力する。外部からの画像データの入力がないと判定された場合は、判定信号ＥＸＴＩＮを「Ｌ」にして出力する。
【００３７】
判定信号ＥＸＴＩＮは、スリーステートバッファ４７ａ、４７ｂのゲート信号として用いられ、外部から画像データの入力がない場合は、判定信号ＥＸＴＩＮは「Ｌ」なので、スリーステートバッファ４７ａの出力には撮像手段１の出力画像がそのまま出力され、スリーステートバッファ４７ｂの出力はハイインピーダンスとなる。
したがってこの場合は、撮像手段１から出力される画像データが画像データ選択手段２を通して、画像データ記憶手段３に転送され、外部画像出力ラインにも撮像手段１からの画像データが出力される。
【００３８】
一方、外部から画像データの入力がある場合は、判定信号ＥＸＴＩＮは「Ｈ」となる。このとき、前述とは逆に、スリーステートバッファ４７ａの出力がハイインピーダンスとなり、スリーステートバッファ４７ｂから出力された外部入力画像が、画像データ選択手段２を通して、画像データ記憶手段３に転送される。また、外部画像出力ラインにも外部入力画像が出力される。
【００３９】
以上のような構成とすることにより、装置内にはある限定した領域の画像データのみを記憶していても、全体の画像データを外部に出力されるので、同時に画像全体を確認することが可能となる。
また、外部から画像データの入力があった場合は、この外部からの画像データを装置内の画像データ記憶手段３に転送することにより、走行試験等で撮影した画像データを外部から入力させて、机上で走行車線認識のロジック検討をすることが可能となる。
【００４０】
また、上記のような機能を実現するために装置側に追加される回路としては、実質上スリーステートバッファ４７ａ、４７ｂのみで、装置全体の回路規模を大幅に増大させること無く、画像全体を確認したり、机上でロジック検討を行うための機能が追加することができる。
【００４１】
実施の形態２．
なお、上記実施の形態１では、基本クロックの供給について言及しなかったが、１つの振動子から供給される基本クロックに基づいて各手段を駆動させてもよい。
図９は、この発明の実施の形態２による車載用走行車線認識装置のブロック構成図である。なお、図９において、前述（図１、４、７、８参照）と同一のものは同一符号を付して詳述を省略する。
図９において、車載用走行車線認識装置は、撮像手段１及びブロック５に基本クロックを供給する振動子５１を備えており、撮像手段１は、撮像素子１ａと、撮像素子１ａを駆動するための専用駆動信号発生手段１ｂとにより構成される。
【００４２】
次に、動作について説明する。
振動子５１によって撮像手段１に供給された基本クロックは、撮像手段１内の専用駆動信号発生手段１ｂに入力される。
専用駆動信号発生手段１ｂは、撮像素子１ａを駆動するための水平同期信号ＨＤ、垂直同期信号ＶＤ等の様々な駆動信号を生成する。
生成された駆動信号は、撮像素子１ａに入力されて撮像素子１ａを駆動させる。撮像素子１ａは画像データを出力し、出力された画像データは画像データ選択手段２を通して画像データ記憶手段３に記憶される。
走行車線認識手段４は、画像データ記憶手段３に記憶された画像データを用いて走行車線の認識が行われる。なお、走行車線認識手段４の動作は、これまでの実施の形態と同様であるので説明を省略する。
【００４３】
ところで本実施の形態では、撮像手段１を駆動するための基本クロックが、画像データ選択手段２、画像データ記憶手段３、及び走行車線認識手段４を駆動させるためのクロックと共通となっている。
従来の車載用画像処理装置の場合、撮像手段１を駆動するための基本クロックは、映像信号規格の関係上、それ以外の部分を駆動するためのクロックとは別々に用意されていたが、本実施の形態のように撮像手段１とそれ以外の部分（ブロックＡ）を動作させるための基本クロックを共通とすることにより、振動子５１を１つにすることができ、またタイミング設計も容易となる。
【００４４】
また、撮像手段１とそれ以外の部分を共通の基本クロックで動作させる場合、図１０に示すような構成も可能となる。
図１０は、この発明の実施の形態２による他の車載用走行車線認識装置のブロック構成図である。なお、図１０において、前述（図１、４、７、９参照）と同一のものは同一符号を付して詳述を省略する。
【００４５】
図１０ではブロック５がＣＰＵ、ＲＡＭ、タイマを最小構成とするマイコンで実現されており、このマイコンは、振動子５１によって供給される基本クロックで動作している。
図９においては、撮像素子１ａを駆動するための駆動信号は、専用駆動信号発生手段１ｂで生成される。図１０においては、マイコンの内蔵タイマ５２を用いて生成されているので、図９では撮像素子１ａを駆動するために必要であった専用駆動信号発生手段１ｂが、図１０の構成では必要なくなっている。したがって、図１０の構成は図９の構成よりもさらに小さい回路規模で実現することができる。
【００４６】
以上のように、撮像手段１とそれ以外の部分を共通のクロックで駆動させることにより、振動子５１が１つで済むので、低コストの車載用走行車線認識装置の実現が可能となる。また、共通のクロックで駆動させているため、各手段とのタイミング設計も容易となる。
また、図１０のように撮像素子１ａを駆動するための駆動信号をマイコン内のタイマ５２を用いれば、さらに回路規模を小さくすることができる。
なお、本実施の形態では、撮像手段１とそれ以外の部分を全く同一のクロックで動作させたが、撮像手段１を駆動するための基本クロックは、それ以外の部分を動作させているクロックのＮ倍であったり、あるいは１／Ｎ倍であってもよい(Ｎは任意の整数を示す)。
【００４７】
また、本実施の形態においても、一点鎖線で示されるブロック５は、１チップで実現されている。この場合、撮像手段１だけ一点鎖線で示されるチップ５の外部に存在するが、チップ５内に実現できるのであれば他の構成要素と同様、チップ５内に実現してもよい。
【００４８】
さらに、画像全体の輝度情報に基づいて露光制御を行う場合は問題ないが、車載用画像処理装置の場合、不要な画像領域の輝度情報を露光制御に反映させない方が賢明であるため、画像の一部分の輝度情報を用いて露光制御を行う方が理想的である。この場合、画像のどの部分を測光するかという測光信号が撮像手段１のタイミングに同期した形で必要となるが、図１０で示したような構成であれば、基本クロックが同一である為、この測光信号もマイコン内のタイマを用いて、タイマの出力波形で構成することができる。
【００４９】
【発明の効果】
以上のように、この発明によれば、道路上を走行する車両に搭載され、車両の前方を撮像し、撮像された画像を画素データとして出力する撮像手段と、撮像手段によって撮像された画像の中から、所定領域のみの画像データを選択する画像データ選択手段と、画像データを記憶する画像データ記憶手段と、画像データ記憶手段に記憶された画像データの中から道路上のレーンマーキングを検出し、レーンマーキングに沿った走行車線を認識する走行車線認識手段と、を備えた車載用走行車線認識装置において、撮像手段の後段に設けられて、画素データの転送速度を変換設定して画素データを転送する画素データ転送速度変換手段をさらに備え、画素データ転送速度変換手段は、画素データの数をＭ、画素データのビット数をＮとしたとき（Ｍ、Ｎは任意の整数）、Ｎビットの画素データがＭ個保持された時点で、Ｍ個のＮビットの画素データを１つのＭ×Ｎビットデータに形成して、Ｍ×Ｎビットデータを１回の転送回数で画像データ選択手段に転送し、少なくとも画像データ選択手段、画像データ記憶手段、及び走行車線認識手段は、単一のチップ内で実現されるので、外部に画像データ記憶手段を不要とし、回路規模が小さく、かつ低コストの車載用走行車線認識装置が得られる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１に関連した車載用走行車線認識装置のブロック構成図である。
【図２】図１に示す画像データ選択手段の構成図である。
【図３】図１に示す装置により選択された画像データを示す説明図である。
【図４】この発明の実施の形態１に関連した他の車載用走行車線認識装置を示すブロック構成図である。
【図５】図４に示す装置による画素データ転送速度変換手段を示す構成図である。
【図６】図４に示す装置によるドットクロックＤＣＫと２分周された転送クロックとの関係を示す説明図である。
【図７】この発明の実施の形態１による車載用走行車線認識装置を示すブロック構成図である。
【図８】この発明の実施の形態１による画像入出力インターフェースを示す構成図である。
【図９】この発明の実施の形態２による車載用走行車線認識装置を示すブロック構成図である。
【図１０】この発明の実施の形態２による他の車載用走行車線認識装置を示すブロック構成図である。
【符号の説明】
１ 撮像手段、１ａ 撮像素子、１ｂ 専用駆動信号発生手段、２ 画像データ選択手段、３ 画像データ記憶手段、４ 走行車線認識手段、５ チップ、１１ Ｈカウンタ、１２ Ｈ開始アドレス保持部、１３ Ｈ終了アドレス保持部、１４ａ、１４ｂ、１４ｃ、１４ｄ 比較器、１５ａ、１５ｂ、１５ｃ 論理積回路、２１ レーンマーキング、２２ａ、２２ｂ、２２ｃ、２２ｄ、２２ｅ、２２ｆ レーンマーキングの探索領域、３１ 画素データ転送速度変換手段、３６、３７ ８ビット分のＤＦＦ（Ｄ−Ｆｌｉｐ Ｆｌｏｐ）、３８ ２分周回路、４１ 画像入出力インターフェース、４６ 外部画像入力判定部、４７ａ、４７ｂ スリーステートバッファ、５１ 振動子、５２ タイマ。
Claims (5)
- 道路上を走行する車両に搭載され、前記車両の前方を撮像して画像データを出力する撮像手段と、
あらかじめ画像データを記録した外部記録媒体からの入力と前記撮像手段からの入力とを選択し、選択した画像データを出力する画像入出力インターフェースと、
前記画像入出力インターフェースから出力される画像データの中から、所定領域のみの画像データを選択する画像データ選択手段と、
前記画像データ選択手段にて選択された画像データを記憶する画像データ記憶手段と、
前記画像データ記憶手段に記憶された画像データの中から前記道路上のレーンマーキングを検出し、前記レーンマーキングに沿った走行車線を認識する走行車線認識手段とを備え、
前記画像入出力インターフェースは、前記外部記録媒体から画像データが入力されたと判定した場合、前記外部記録媒体を入力源として選択して、前記画像データ選択手段に前記外部記録媒体からの画像データを出力し、前記外部記録媒体から画像データが入力されていないと判定した場合、前記撮像手段を入力源として選択して、前記画像データ選択手段および前記外部記録媒体に前記撮像手段からの画像データを出力することを特徴とする車載用走行車線認識装置。 - 前記画像データ選択手段、前記画像データ記憶手段及び前記走行車線認識手段は、前記所定領域の画像データを選択するためのソフトウェア及びタイマを有するマイクロコンピュータにより構成され、
前記画像データ選択手段は、前記タイマの出力波形のハイレベルおよびローレベルに応じて画像データを選択すると共に、前記画像データの選択対象を動的に変更することを特徴とする請求項１に記載の車載用走行車線認識装置。 - 前記画像データ選択手段、前記画像データ記憶手段及び前記走行車線認識手段を制御するための基本クロックを出力する振動子を備え、
前記撮像手段を制御するための制御信号は、前記基本クロックに基づいて生成されることを特徴とする請求項１または請求項２に記載の車載用走行車線認識装置。 - 前記画像データ選択手段、前記画像データ記憶手段及び前記走行車線認識手段は、タイマを有するマイクロコンピュータにて構成され、
前記撮像手段を制御するための制御信号は、前記タイマからの出力波形で構成されることを特徴とする請求項１から請求項３までのいずれか１項に記載の車載用走行車線認識装置。 - 前記画像データ選択手段は、前記撮像手段で撮像された画像上で、水平線より下方の画像に対応した実際の道路上から複数の所定領域を選択し、前記複数の所定領域は、前記車両の進行方向に対して直交し、前記所定領域間が前記車両の進行方向にほぼ等間隔となるように選択されることを特徴とする請求項１から請求項４までのいずれか１項に記載の車載用走行車線認識装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002283589A JP3625460B2 (ja) | 2002-09-27 | 2002-09-27 | 車載用走行車線認識装置 |
| US10/379,531 US20040062418A1 (en) | 2002-09-27 | 2003-03-06 | Vehicle-onboard driving lane recognizing apparatus |
| US11/683,247 US20070147663A1 (en) | 2002-09-27 | 2007-03-07 | Vehicle-onboard driving lane recognizing apparatus |
| US11/683,237 US20070147662A1 (en) | 2002-09-27 | 2007-03-07 | Vehicle-onboard driving lane recognizing apparatus |
| US12/055,132 US7724921B2 (en) | 2002-09-27 | 2008-03-25 | Vehicle-onboard driving lane recognizing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002283589A JP3625460B2 (ja) | 2002-09-27 | 2002-09-27 | 車載用走行車線認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004120585A JP2004120585A (ja) | 2004-04-15 |
| JP3625460B2 true JP3625460B2 (ja) | 2005-03-02 |
Family
ID=32025272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002283589A Expired - Fee Related JP3625460B2 (ja) | 2002-09-27 | 2002-09-27 | 車載用走行車線認識装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (4) | US20040062418A1 (ja) |
| JP (1) | JP3625460B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3625460B2 (ja) * | 2002-09-27 | 2005-03-02 | 三菱電機株式会社 | 車載用走行車線認識装置 |
| US20060141924A1 (en) * | 2004-12-28 | 2006-06-29 | Stefan Mende | Stand-alone digital radio mondiale receiver device |
| DE102005044979A1 (de) * | 2005-09-20 | 2007-03-22 | Adc Automotive Distance Control Systems Gmbh | Verfahren zur Erkennung von Fahrspurmarkierungen |
| EP2120009B1 (en) | 2007-02-16 | 2016-09-07 | Mitsubishi Electric Corporation | Measuring device and measuring method |
| WO2009045096A1 (en) * | 2007-10-02 | 2009-04-09 | Tele Atlas B.V. | Method of capturing linear features along a reference-line across a surface for use in a map database |
| JP5321799B2 (ja) * | 2008-10-01 | 2013-10-23 | ルネサスエレクトロニクス株式会社 | マイクロコンピュータを含んだシステム |
| JP6572411B2 (ja) * | 2014-11-11 | 2019-09-11 | 株式会社明電舎 | レール検出装置 |
| KR102628654B1 (ko) | 2016-11-07 | 2024-01-24 | 삼성전자주식회사 | 차선을 표시하는 방법 및 장치 |
| JP7293100B2 (ja) * | 2019-12-17 | 2023-06-19 | 日立Astemo株式会社 | カメラシステム |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4577282A (en) * | 1982-02-22 | 1986-03-18 | Texas Instruments Incorporated | Microcomputer system for digital signal processing |
| JP2881741B2 (ja) * | 1988-09-30 | 1999-04-12 | アイシン精機株式会社 | 画像処理装置 |
| JP3333224B2 (ja) * | 1991-12-16 | 2002-10-15 | マツダ株式会社 | 移動車の走行路検出装置 |
| JPH09223218A (ja) * | 1996-02-15 | 1997-08-26 | Toyota Motor Corp | 走路検出方法及び装置 |
| EP1012786A1 (en) * | 1997-02-21 | 2000-06-28 | The Board of Regents of the University and Community College System of Nevada on Behalf of the University Nevada-Reno | Method and system for computerized high-rate image processing |
| JP3373773B2 (ja) | 1998-01-27 | 2003-02-04 | 株式会社デンソー | レーンマーク認識装置、車両走行制御装置および記録媒体 |
| JP3945919B2 (ja) | 1998-09-22 | 2007-07-18 | 株式会社デンソー | 走行路検出装置、車両走行制御装置および記録媒体 |
| US6704434B1 (en) * | 1999-01-27 | 2004-03-09 | Suzuki Motor Corporation | Vehicle driving information storage apparatus and vehicle driving information storage method |
| JP3639464B2 (ja) * | 1999-07-05 | 2005-04-20 | 株式会社ルネサステクノロジ | 情報処理システム |
| JP3575346B2 (ja) * | 1999-09-03 | 2004-10-13 | 日本電気株式会社 | 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体 |
| JP3780848B2 (ja) * | 2000-12-27 | 2006-05-31 | 日産自動車株式会社 | 車両の走行路認識装置 |
| JP2003051017A (ja) * | 2001-08-06 | 2003-02-21 | Nissan Motor Co Ltd | 白線検出装置 |
| JP3932379B2 (ja) * | 2001-10-02 | 2007-06-20 | 株式会社日立製作所 | 画像処理装置と撮像素子 |
| JP3625460B2 (ja) * | 2002-09-27 | 2005-03-02 | 三菱電機株式会社 | 車載用走行車線認識装置 |
-
2002
- 2002-09-27 JP JP2002283589A patent/JP3625460B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-06 US US10/379,531 patent/US20040062418A1/en not_active Abandoned
-
2007
- 2007-03-07 US US11/683,237 patent/US20070147662A1/en not_active Abandoned
- 2007-03-07 US US11/683,247 patent/US20070147663A1/en not_active Abandoned
-
2008
- 2008-03-25 US US12/055,132 patent/US7724921B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7724921B2 (en) | 2010-05-25 |
| US20070147663A1 (en) | 2007-06-28 |
| JP2004120585A (ja) | 2004-04-15 |
| US20080175437A1 (en) | 2008-07-24 |
| US20070147662A1 (en) | 2007-06-28 |
| US20100098296A9 (en) | 2010-04-22 |
| US20040062418A1 (en) | 2004-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7724921B2 (en) | Vehicle-onboard driving lane recognizing apparatus | |
| US8072497B2 (en) | Imaging apparatus and recording medium | |
| US11758284B2 (en) | Image processors and image processing methods | |
| JP3709879B2 (ja) | ステレオ画像処理装置 | |
| CN102082901B (zh) | 图像摄像装置 | |
| CN108540689B (zh) | 图像信号处理器、应用处理器及移动装置 | |
| JP2008010958A (ja) | 撮像装置及び撮像方法 | |
| JP3653945B2 (ja) | 色抽出装置及び色抽出方法 | |
| JP2008270937A (ja) | 画像処理コントローラ、電子機器及び画像処理方法 | |
| JP2005303673A (ja) | 画像撮影処理システム及び制御プログラム | |
| JP2008026088A (ja) | ステレオマッチング装置 | |
| CN105631888B (zh) | 图像数据背景去除处理系统及方法 | |
| JP4525382B2 (ja) | 表示装置及び撮像装置 | |
| KR101479789B1 (ko) | 마이크로컴퓨터, 그것을 포함한 시스템 및 데이터 전송 장치 | |
| JP4487545B2 (ja) | 固体撮像装置、撮像装置および固体撮像装置の駆動方法 | |
| JP4672390B2 (ja) | 画像重畳装置 | |
| JPS61198872A (ja) | 画情報入力装置 | |
| JP2926890B2 (ja) | 画像処理装置 | |
| JP2000059800A (ja) | 画像信号処理回路 | |
| JP2008310415A (ja) | 画像処理装置 | |
| JP3100304B2 (ja) | ドットパターン発生装置およびドットパターン発生方法 | |
| TWI446330B (zh) | 源極驅動晶片與信號同步方法 | |
| JPWO2020188684A1 (ja) | カメラ装置 | |
| JP2006191674A (ja) | 電子スチルカメラ及び撮像方法 | |
| JP2008142131A (ja) | 電子式着順およびタイム判定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040728 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041014 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041129 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3625460 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |