JP3850271B2 - 車両周辺画像処理装置及び記録媒体 - Google Patents
車両周辺画像処理装置及び記録媒体 Download PDFInfo
- Publication number
- JP3850271B2 JP3850271B2 JP2001342081A JP2001342081A JP3850271B2 JP 3850271 B2 JP3850271 B2 JP 3850271B2 JP 2001342081 A JP2001342081 A JP 2001342081A JP 2001342081 A JP2001342081 A JP 2001342081A JP 3850271 B2 JP3850271 B2 JP 3850271B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- bird
- vehicle
- eye view
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物（例えば駐車枠）の画像の相対位置関係が分かりに難いという問題がある。
【０００３】
また、これとは別に、特開平１０−２１１８４９号公報には、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【０００４】
【発明が解決しようとする課題】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【０００５】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。
これに対して、既に本願発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて（合成画像を作成し）、従来より広い範囲を表示する技術が開発されている。
【０００６】
この新しい技術では、例えば画像処理による動きベクトルから、カーブ中の自車両の動きを検出し、鳥瞰図画像に用いることが可能であるが、路面の画像模様が少ない場合には誤差が発生する可能性があり、また、動きベクトルを算出するための計算量が多くなるという課題があった。
【０００７】
この対策として、画像処理を用いずに、ヨーレイト信号や車速信号等の車両信号を用いることが考えられるが、車種によっては極低速の車速信号が得られない車両があり、必ずしも十分ではない。
また、これとは別に、上述した画像処理を、例えばシフトがバックギヤのタイミングで開始する場合には、その開始時点からのカメラ画像しか得られないので、モニタに表示する画像のデータが少ないという問題もあった。
【０００８】
本発明は、前記課題を解決するためになされたものであり、車両信号を用いたり画像処理の技術を用いることにより、好適に車両の周囲の画像を処理することができる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段及び発明の効果】
（１）請求項１の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【００１０】
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【００１１】
そして、車両の移動状態に対応して、（例えば前回得られた鳥瞰図画像や前回の合成鳥瞰図画像の様な）第１鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、（第１鳥瞰図画像より）新しい第２鳥瞰図画像の画像データとを合成して合成鳥瞰図画像の画像データを作成する。
【００１２】
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ（撮影された部分の違い）が発生する。そこで、第２鳥瞰図画像に、そのずれの部分（即ち過去に視野内であったが現在視野から消えている部分）の移動後鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示するのである。
【００１３】
特に本発明では、車両が所定の速度以下の低速である場合には、車速信号以外の他の車両信号（即ち、ハンドル角を示す信号、ヨーレートを示す信号、及び車両の周囲物体との距離を示す信号のうち少なくとも１種の車両信号）に基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成するので、常に正確な合成鳥瞰図画像を作成することができる。
【００１４】
つまり、上述した様に、車種によっては極低速の車速信号が得られない車両（又は低速では車速信号の精度が低下する車両）があるので、本発明では、車両が低速の場合には車速信号を用いずに、上述したその他の車両信号により、車両の移動量を求めて、移動後鳥瞰図画像を作成するのである。これにより、低速の場合でも正確な合成鳥瞰図画像を作成してモニタ等に表示することができる。
【００１６】
（２）請求項２の発明では、車両が回転状態であると判定された場合には、ハンドル角及びヨーレイトに基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成する。
車両が回転状態である場合には、ハンドル角やヨーレイトが分かれば、車両がどれほど回転移動したかが分かる。よって、車両の回転移動量に基づいて、鳥瞰図画像を回転移動させることにより、移動後鳥瞰図画像を作成することができる。
（３）請求項３の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
そして、車両の移動状態に対応して、（例えば前回得られた鳥瞰図画像や前回の合成鳥瞰図画像の様な）第１鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、（第１鳥瞰図画像より）新しい第２鳥瞰図画像の画像データとを合成して合成鳥瞰図画像の画像データを作成する。
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ（撮影された部分の違い）が発生する。そこで、第２鳥瞰図画像に、そのずれの部分（即ち過去に視野内であったが現在視野から消えている部分）の移動後鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示するのである。
特に本発明では、車両が所定の速度以下の低速である場合には、車速信号以外の他の車両信号（即ち、ハンドル角を示す信号、ヨーレートを示す信号、及び車両の周囲物体との距離を示す信号のうち少なくとも１種の車両信号）に基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成するので、常に正確な合成鳥瞰図画像を作成することができる。
つまり、上述した様に、車種によっては極低速の車速信号が得られない車両（又は低速では車速信号の精度が低下する車両）があるので、本発明では、車両が低速の場合には車速信号を用いずに、上述したその他の車両信号により、車両の移動量を求めて、移動後鳥瞰図画像を作成するのである。これにより、低速の場合でも正確な合成鳥瞰図画像を作成してモニタ等に表示することができる。
更に、本発明では、車両が直線状態か回転状態かを判定して、車両の移動状態を推定する。つまり、車両が直進状態又は回転状態では、車両の移動状態を推定する手法が多少異なるので、ここでは、車両の移動状態を直進か回転かで区別している。
そして、車両が直進状態であると判定された場合には、異なる時間における当該車両と周囲の物体との距離のデータから、車両の移動状態を推定して、移動後鳥瞰図画像を作成する。
つまり、車両が直進状態である場合には、例えば超音波センサにより検出した周囲の固定物（例えば他の車両や壁）との距離の変化が車両の移動距離である。従って、この移動距離に基づいて、移動後鳥瞰図画像を作成することができる。
【００２０】
（４）請求項４の発明は、車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。そして、撮影手段により撮影された画像に基づいて作成された第１鳥瞰図画像を記憶し、第１鳥瞰図画像を車両の移動状態に応じて移動させて移動後鳥瞰図画像を作成し、第１鳥瞰図画像より後に撮影されて作成された第２鳥瞰図画像と、移動後鳥瞰図画像とを合成して、合成鳥瞰図画像を作成する。
【００２１】
特に本発明では、異なる撮影時間に対応する鳥瞰図画像間の画像データに基づいて、車両の移動状態を推定することが困難な場合には、車両と周囲の物体との距離を検出する距離検出手段による信号に基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成する。
【００２２】
つまり、例えば後方に他の車両等があり路面の画像を撮影できない場合（従って路面の画像から移動状態が分からない場合）には、例えば超音波センサにより検出した固定物との距離の変化が車両の移動距離であると考えられるので、この移動距離に基づいて、移動後鳥瞰図画像を作成することができる。よって、正確な合成鳥瞰図画像をモニタ等に表示することができる。
【００２３】
（５）請求項５の発明は、車両と周囲の物体との距離を、超音波センサにより検出することを例示したものである。
【００３０】
（６）請求項６の発明は、上述した車両周辺画像処理装置による処理を実行させる手段を記憶している記録媒体である。
【００３１】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００３２】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例（実施例）を説明する。
（実施例）
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
【００３３】
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ（例えばＣＣＤカメラ）１と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、車速を検出する車速センサ５と、ハンドル角を検出するハンドル角センサ６と、ヨーレイトを検出するヨーレイトセンサ７と、車両に周囲の障害物を検出する超音波センサ８と、画像処理を行う画像処理ユニット９を備えている。
【００３４】
前記画像処理ユニット９は、図２に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、カメラ１で撮影した画像データの座標変換を行って鳥瞰図画像を作成する座標変換部（鳥瞰図変換回路）１１と、作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＡと、画像メモリＡの鳥瞰図画像を移動（例えば回転移動）して合成する等の画像処理などの演算を行うＣＰＵ１３と、モニタ３に表示する鳥瞰図画像のデータを記憶する画像メモリＢとを備えている。
【００３５】
前記画像処理ユニット９には、ハンドル角信号を入力する車速信号入力回路１５と、車速信号を入力する車速信号入力回路１７と、ヨーレイト信号を入力するヨーレイト信号入力回路１９と、超音波センサ８からの超音波信号を入力する超音波信号入力回路２１が接続され、各信号はＣＰＵ１３に入力される。
【００３６】
ここで、画像メモリＢに記憶する鳥瞰図画像の画像データとは、後述する様に、２回目の処理以降は、合成鳥瞰図画像の画像データである。つまり、前回（例えば時刻Ｔに）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第１鳥瞰図画像）を移動させた鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば時刻Ｔ＋１に）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第２鳥瞰図画像）とを合成した鳥瞰図画像（合成鳥瞰図画像）の画像データである。
【００３７】
尚、画像処理ユニット３は、カメラ１と一体の構造となっていてもよく、画像処理ユニット９内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。い。
ｂ）次に、本実施例における画像処理の手順等を、図３〜図６に基づいて説明する。
【００３８】
ここでは、車両を後退（バック）させて駐車枠内に入れる場合を例に挙げる。
▲１▼最初に、カメラ１から入力された画像を、鳥瞰図変換回路１１で上空から見た鳥瞰図画像に変換し、画像メモリＡに保存する手順を説明する。
まず、カメラ１から出力される原画像（出力画像）を、図３（ａ）に示すが、この原画像は、車両の後部の上部に配置されたカメラ１により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両（従ってカメラ１）と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【００３９】
よって、後に▲２▼にて詳述する様に、原画像の画像データを座標変換して、図３（ｂ）に示す様な歪みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像データを画像メモリＡに記憶する。
▲２▼次に、前記カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。
【００４０】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。
具体的には、図４に示す様に、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影するときの透視変換を実行する。
【００４１】
詳しくは、カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ座標面）における画像をモニタしているとする。
従って、ここでは、下記式（１）に示す様にして、スクリーン平面Ｔ上の２次元座標（α、β）を、地上面上の座標（鳥瞰図座標）に変換（逆の透視変換）できる。
【００４２】
【数１】
【００４３】
つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ３の画面に対応した画像データに変換してモニタ表示することができる。
▲３▼次に、自車両がカーブ中の場合の画像処理の手順について説明する。
【００４４】
ここでは、ハンドル角とヨーレイトを用いて画像処理を行う。
ハンドル角θｈ［°］と回転半径ＸＣ［ｍ］は逆比例の関係にあり、変換係数Ｋ［ｍ・°］を用いれば、下記式（２）より算出できる。尚、直進でハンドル角θｈ［°］が０°のとき、ＸＣ［ｍ］は無限大となる。
ＸＣ［ｍ］＝Ｋ［ｍ・°］／ｔａｎ（θｈ）［°］ ・・・・（２）
図５に示す様に、ヨーレイトセンサ７から得られるヨーレイトが回転角θ［°］であり、後進時の自車両の回転中心は、後輪車軸上（カメラ１からの距離ＹＣ［ｍ］）にあるとすると、車両は、カーブ中の回転中心位置が（ＸＣ、ＹＣ）にて、回転角θ［°］移動したことになる。
【００４５】
そして、この回転中心位置及び回転角を用い、画像メモリＢの画像（前回の合成鳥瞰図画像）を移動させる。尚、まだ合成が実施されていない初回のみは、画像メモリＢには画像メモリＡと同様な鳥瞰図画像の画像データが記憶されている。
【００４６】
つまり、画像メモリＢに記憶された前回の合成鳥瞰図画像の画像データを、ＣＰＵ１３の内部メモリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回転角θを用いて、鳥瞰図画像を回転移動する。
この回転移動を行うための変換式を、下記式（３）に示すが、この変換式を用いたＣＰＵ１３の内部処理により、回転角θにて移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存する。
ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（３）
ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ
但し、（ＸＡ、ＹＡ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
そして、全ての座標についてこれらの演算を行うことにより、画像メモリＢに記憶された鳥瞰図画像（時刻Ｔにおける合成鳥瞰図画像）から、移動後の鳥瞰図画像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００４７】
それとともに、新たにカメラ１により撮影した画像に基づいて作成した鳥瞰図画像、即ち、現在の鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、新たに画像メモリＡよりＣＰＵ１３に転送する。
よって、ＣＰＵ１３では、第２鳥瞰図画像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画像との画像のずれが生じない位置）に書き込み、それによって、移動後鳥瞰図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の画像データを作成する。
【００４８】
そして、この合成鳥瞰図画像を画像メモリＢに記憶して、その合成鳥瞰図画像をモニタ３に表示するのである。
尚、合成鳥瞰図画像を作成する際には、自車両の位置やカメラ１の視野角の画像なども加入して画像メモリＢに記憶し、その合成鳥瞰図画像をモニタ３の画面に表示してもよいが、自車両の位置やカメラ１の視野角の画像などは画像メモリＢに記憶せずに、モニタ３に画像メモリＢに記憶した合成鳥瞰図画像を描画する際に、自車両の位置やカメラ１の視野角の画像など加えて描画してもよい。
【００４９】
▲４▼次に、自車両が直進中の場合の処理の手順について説明する。
ハンドル角が０°で走行中の場合には、車両は前進又は後進中であり、車両の移動は直線移動となる。
車両の速度が例えば５ｋｍ／ｈ以下の極低速の場合には、車種（従って車速センサ５）によっては、車速信号が入力しないか入力しても不正確なことがある。
【００５０】
従って、ここでは、低速である場合には車速信号を用いずに、画像処理による動きベクトルにより車両の移動量を求める。
例えば時刻Ｔの鳥瞰図画像から時刻Ｔ＋１の鳥瞰図画像に変化した場合、両鳥瞰図画像のマッチングをとって画像の動きベクトルの大きさＶを求める。
【００５１】
ここで、前記マッチングの手法を説明するが、画像処理における従来の各種の手法を採用できる。
例えば画像Ａ、Ｂの所定の（マッチング用の）領域を、図６に示す様に、複数の細かい領域（ピクセル）に分割し、各画像Ａ、Ｂのピクセルの一致する程度が最も高いものを検出し、一致するピクセルの位置関係から、画像Ａと画像Ｂの位置関係（即ち画像Ａがどれだけ移動したか）を求めることができる。
【００５２】
具体的には、図６に示す様に、各ピクセルにおける例えば図形の明るさ（色彩でもよい）の程度を数字で示す場合を考えると、ここでは、画像Ａの下３列のピクセルの明るさと、画像Ｂの上３列のピクセルの明るさとが一致する。従って、この場合には、画像Ａは、１列のピクセルの幅だけ図の上下方向に移動して、画像Ｂと一致すると見なすことができる。この場合は、車両が図の下方に移動したことにより、画像Ｂの図形が上方に移動したように見える。
【００５３】
従って、下記式（４）に示す様に、動きベクトルの大きさＶ分だけ、鳥瞰図画像を平行移動させる
ＸＡ＝ＸＢ ・・・（４）
ＹＡ＝ＹＢ−Ｖ
但し、（ＸＡ、ＹＡ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
そして、以後は、前記▲３▼の回転移動と同様に、全ての座標についてこれらの演算を行うことにより、画像メモリＢに記憶された鳥瞰図画像から、移動後の鳥瞰図画像を作成し、それとともに、新たにカメラ１により撮影した画像に基づいて作成した鳥瞰図画像を、新たに画像メモリＡよりＣＰＵ１３に転送し、これらを合成して合成鳥瞰図画像の画像データを作成する。
【００５４】
そして、この合成鳥瞰図画像を画像メモリＢに記憶して、その合成鳥瞰図画像をモニタ３に表示するのである。
▲５▼次に、後ろに障害物がある場合の処理の手順について説明する。
後ろに障害物がある場合には、画像処理の動きベクトルで自車両の移動量を算出することができない。つまり、動きベクトルは、路面の画像に対してその動きを求めているので、後ろに他の車両が駐車しているために路面が見えない場合などには、正しい動きベクトルを求めることができない。
【００５５】
この場合には、超音波センサ８の信号を用い、その検出距離の変位から移動量を算出することができる。
例えば超音波センサ８の信号が前回Ｃ１（ｍ）、今回Ｃ２（ｍ）となった場合には、下記式（５）により、その移動量を求めることができる（但し、直進の場合）。
ＸＡ＝ＸＢ ・・・（５）
ＹＡ＝ＹＢ−（Ｃ１−Ｃ２）
但し、（ＸＡ、ＹＡ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
これにより、移動前と移動後の座標の対応関係が分かるので、この対応関係に基づいて前回の合成鳥瞰図画像を移動させて移動後鳥瞰図画像を求めることができる。
【００５６】
▲６▼次に、画像処理を開始するタイミングついて説明する。
上述したカメラ１による画像の撮影から合成鳥瞰図画像の作成までの処理は、例えば駐車時の様に、車両が所定の低速（例えば１０ｋｍ／ｈ）以下になった場合に開始する。
【００５７】
これにより、例えばバックギヤに入れるために車両が停止したときには、その直前の前進時の履歴の合成鳥瞰図画像ができているので、現時点にてカメラ１で撮影しただけの場合と比べて、車両周囲の多くの画像を表示することができる。ｃ）次に、前記画像処理ユニット９等にて行われる処理を、図７のフローチャートに基づいて説明する。
【００５８】
図７に示す様に、まず、ステップ１００にて、車速センサ７からの車速信号を読み込む。
続くステップ１１０では、車速が所定の低速（例えば１０ｋｍ／ｈ）以下か否かを判定する。ここで肯定判断されるとステップ１２０に進み、一方否定判断されると前記ステップ１００に戻る。
【００５９】
ステップ１２０では、カメラ１で撮影した画像のデータを入力する。
続くステップ１３０では、ハンドル角センサ６からハンドル角信号を入力する。
続くステップ１４０では、ヨーレイトセンサ７からヨーレイト信号を入力する。
【００６０】
続くステップ１５０では、超音波センサ８から超音波信号を入力する。
続くステップ１６０では、カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、鳥瞰図画像を作成する。
続くステップ１７０では、前記鳥瞰図画像を画像メモリＡに記憶する。
【００６１】
続くステップ１８０では、今回の処理が初回の処理か否かを判定する。ここで肯定判断されるとステップ１９０に進み、一方否定判断されるとステップ２００に進む。
ステップ１９０では、初回の処理であるので、画像メモリＡに記憶した画像データを、画像メモリＢにも記憶し、前記ステップ１００に戻る。尚、画像メモリＢに記憶された鳥瞰図画像は、そのままモニタ３に表示される（図８（ａ）参照）。
一方、ステップ２００では、初回の処理ではないので、車両が直進状態か否かを、ハンドル角が０°か否かによって判定する。ここで直進状態であると判定されるとステップ２３０に進み、一方回転状態であると判定されるとステップ２１０に進む。
【００６２】
ステップ２１０では、車両が回転状態であるので、前記▲３▼にて説明した手順に従って画像の処理を行う。具体的には、ハンドル角、ヨーレイトにより、車両の回転中心及び回転角を求める。
続くステップ２２０では、前記ステップ２１０で求めた回転中心、回転角を用い、前記式（４）に基づいて、鳥瞰図画像を回転する。つまり、画像メモリＢに記憶されている鳥瞰図画像（前回の合成鳥瞰図画像が記憶されている場合にはその合成鳥瞰図画像）を回転させて、移動後鳥瞰図画像を作成する。
【００６３】
続くステップ２８０では、新たに撮影されて画像メモリＡに記憶された（時刻Ｔ＋１における）第２鳥瞰図画像を、画像メモリＡから読み、その第２鳥瞰図画像と移動後鳥瞰図画像とを合成して合成鳥瞰図画像を作成する。
具体的には、新たな（第２鳥瞰図画像に対応する）カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分、即ち、移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と重なる部分は除いたもの）を書き込むようにして、合成鳥瞰図画像を作成する。
【００６４】
続くステップ２９０では、合成鳥瞰図画像を、画像メモリＢに記憶する。
続くステップ３００では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＢに記憶した合成鳥瞰図画像をモニタ３に表示し（図８（ｂ）参照）、一旦本処理を終了する。
【００６５】
一方、前記ステップ２００にて肯定判断されて進むステップ２３０では、車両が直進状態であるので、超音波センサ８からの信号に基づいて、障害物との距離が１．５ｍ以下であるかを判定する。ここで否定判断されるとステップ２４０に進み、一方肯定判断されるとステップ２５０に進む。
【００６６】
ステップ２４０では、車両後方には近くに障害物が無いので、画像メモリＡと画像メモリＢとの画像データから動きベクトルを求める処理を行う。
続くステップ２６０では、動きベクトルの大きさから、画像（前回の合成鳥瞰図画像）の移動量を求める。
【００６７】
続くステップ２７０では、画像（前回の合成鳥瞰図画像）を、前記移動量の分だけ平行移動させて移動後鳥瞰図画像を作成し、前記ステップ２８０〜３００の処理に進んで、モニタ３に新たな合成鳥瞰図画像を表示し（図８（ｃ）参照）、一旦本処理を終了する。
【００６８】
一方、前記ステップ２３０にて肯定判断されて進むステップ２５０では、障害物との距離が１．５ｍ以下と近いので、即ち、車両後方の路面の鳥瞰図画像から移動量を求めることができないので、超音波センサ８による障害物の検出距離の変位量からの車両の移動量を求める。
【００６９】
続くステップ２６０では、車両の移動量は画像（前回の合成鳥瞰図画像）の移動量と方向が反対として、画像の移動量を決定し、前記ステップ２７０〜３００の処理に進んで、モニタ３に新たな合成鳥瞰図画像を表示し、一旦本処理を終了する。
【００７０】
以後同様な処理を、新たにカメラ１で撮影された画像が取り込まれる毎に実施する。つまり、順次、合成鳥瞰図画像を作成して記憶するとともに、その合成鳥瞰図画像を車両の移動に応じて移動させて移動後鳥瞰図画像を作成し、その移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成して新たな合成鳥瞰図画像としてモニタ３に表示する処理を繰り返してゆく。これにより、モニタ３には、図８に示す様な連続した画像が表示される。
【００７１】
ｄ）この様に、本実施例では、車両が所定の速度以下の低速である場合（例えば１０ｋｍ／ｈ）には、車速信号以外の他の車両信号(ハンドル角及びヨーレイト)や、異なる撮影時間に対応する鳥瞰図画像間の画像データに基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成するので、車速信号が得られない車種や低速では車速信号が不正確になる車種の場合でも、常に精度の高い合成鳥瞰図画像を作成して、モニタ３に表示することができる。
【００７２】
また、本実施例では、例えば後方に他の車両等があり路面の画像を撮影できない場合（従って路面の画像から移動状態が分からない場合）には、超音波センサ８により検出した障害物との距離の変化を車両の移動距離とみなして、この移動距離に基づいて、移動後鳥瞰図画像を作成することができる。よって、その様な場合でも、正確な合成鳥瞰図画像をモニタ３に表示することができる。
【００７３】
更に、本実施例では、合成鳥瞰図画像等を作成する画像処理の開始のタイミングを、停車の可能性のある様な低速になった場合（例えば１０ｋｍ／ｈ）としているので、例えばバックで駐車を開始する様な場合には、それ以前の時点における車両の周囲の画像をも表示することができ、駐車の操作の際に非常に便利である。
【００７４】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
（１）例えば前記実施例では、車両周辺画像処理装置について述べたが、この装置による処理を実行させる手段を記憶している記録媒体も、本発明の範囲である。
【００７５】
（２）例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
【図面の簡単な説明】
【図１】 実施例の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】 実施例の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】 実施例の車両周辺画像処理装置により用いられる画像を示し、（ａ）はカメラにより撮影された画像の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
【図４】 実施例の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図５】 実施例の車両周辺画像処理装置による車両の回転時の移動量を求めるための手法を示す説明図である。
【図６】 実施例の車両周辺画像処理装置による車両の直進時の移動量を求めるための手法を示す説明図である。
【図７】 実施例の車両周辺画像処理装置の処理を示すフローチャートである。
【図８】 実施例の車両周辺画像処理装置により表示されるモニタ画像を示
【符号の説明】
１…カメラ
３…車載モニタ（モニタ）
５…車速センサ
６…ハンドル角センサ
７…ヨーレイトセンサ
８…超音波センサ
９…画像処理ユニット
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物（例えば駐車枠）の画像の相対位置関係が分かりに難いという問題がある。
【０００３】
また、これとは別に、特開平１０−２１１８４９号公報には、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【０００４】
【発明が解決しようとする課題】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【０００５】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。
これに対して、既に本願発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて（合成画像を作成し）、従来より広い範囲を表示する技術が開発されている。
【０００６】
この新しい技術では、例えば画像処理による動きベクトルから、カーブ中の自車両の動きを検出し、鳥瞰図画像に用いることが可能であるが、路面の画像模様が少ない場合には誤差が発生する可能性があり、また、動きベクトルを算出するための計算量が多くなるという課題があった。
【０００７】
この対策として、画像処理を用いずに、ヨーレイト信号や車速信号等の車両信号を用いることが考えられるが、車種によっては極低速の車速信号が得られない車両があり、必ずしも十分ではない。
また、これとは別に、上述した画像処理を、例えばシフトがバックギヤのタイミングで開始する場合には、その開始時点からのカメラ画像しか得られないので、モニタに表示する画像のデータが少ないという問題もあった。
【０００８】
本発明は、前記課題を解決するためになされたものであり、車両信号を用いたり画像処理の技術を用いることにより、好適に車両の周囲の画像を処理することができる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段及び発明の効果】
（１）請求項１の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【００１０】
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【００１１】
そして、車両の移動状態に対応して、（例えば前回得られた鳥瞰図画像や前回の合成鳥瞰図画像の様な）第１鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、（第１鳥瞰図画像より）新しい第２鳥瞰図画像の画像データとを合成して合成鳥瞰図画像の画像データを作成する。
【００１２】
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ（撮影された部分の違い）が発生する。そこで、第２鳥瞰図画像に、そのずれの部分（即ち過去に視野内であったが現在視野から消えている部分）の移動後鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示するのである。
【００１３】
特に本発明では、車両が所定の速度以下の低速である場合には、車速信号以外の他の車両信号（即ち、ハンドル角を示す信号、ヨーレートを示す信号、及び車両の周囲物体との距離を示す信号のうち少なくとも１種の車両信号）に基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成するので、常に正確な合成鳥瞰図画像を作成することができる。
【００１４】
つまり、上述した様に、車種によっては極低速の車速信号が得られない車両（又は低速では車速信号の精度が低下する車両）があるので、本発明では、車両が低速の場合には車速信号を用いずに、上述したその他の車両信号により、車両の移動量を求めて、移動後鳥瞰図画像を作成するのである。これにより、低速の場合でも正確な合成鳥瞰図画像を作成してモニタ等に表示することができる。
【００１６】
（２）請求項２の発明では、車両が回転状態であると判定された場合には、ハンドル角及びヨーレイトに基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成する。
車両が回転状態である場合には、ハンドル角やヨーレイトが分かれば、車両がどれほど回転移動したかが分かる。よって、車両の回転移動量に基づいて、鳥瞰図画像を回転移動させることにより、移動後鳥瞰図画像を作成することができる。
（３）請求項３の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
そして、車両の移動状態に対応して、（例えば前回得られた鳥瞰図画像や前回の合成鳥瞰図画像の様な）第１鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、（第１鳥瞰図画像より）新しい第２鳥瞰図画像の画像データとを合成して合成鳥瞰図画像の画像データを作成する。
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ（撮影された部分の違い）が発生する。そこで、第２鳥瞰図画像に、そのずれの部分（即ち過去に視野内であったが現在視野から消えている部分）の移動後鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示するのである。
特に本発明では、車両が所定の速度以下の低速である場合には、車速信号以外の他の車両信号（即ち、ハンドル角を示す信号、ヨーレートを示す信号、及び車両の周囲物体との距離を示す信号のうち少なくとも１種の車両信号）に基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成するので、常に正確な合成鳥瞰図画像を作成することができる。
つまり、上述した様に、車種によっては極低速の車速信号が得られない車両（又は低速では車速信号の精度が低下する車両）があるので、本発明では、車両が低速の場合には車速信号を用いずに、上述したその他の車両信号により、車両の移動量を求めて、移動後鳥瞰図画像を作成するのである。これにより、低速の場合でも正確な合成鳥瞰図画像を作成してモニタ等に表示することができる。
更に、本発明では、車両が直線状態か回転状態かを判定して、車両の移動状態を推定する。つまり、車両が直進状態又は回転状態では、車両の移動状態を推定する手法が多少異なるので、ここでは、車両の移動状態を直進か回転かで区別している。
そして、車両が直進状態であると判定された場合には、異なる時間における当該車両と周囲の物体との距離のデータから、車両の移動状態を推定して、移動後鳥瞰図画像を作成する。
つまり、車両が直進状態である場合には、例えば超音波センサにより検出した周囲の固定物（例えば他の車両や壁）との距離の変化が車両の移動距離である。従って、この移動距離に基づいて、移動後鳥瞰図画像を作成することができる。
【００２０】
（４）請求項４の発明は、車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。そして、撮影手段により撮影された画像に基づいて作成された第１鳥瞰図画像を記憶し、第１鳥瞰図画像を車両の移動状態に応じて移動させて移動後鳥瞰図画像を作成し、第１鳥瞰図画像より後に撮影されて作成された第２鳥瞰図画像と、移動後鳥瞰図画像とを合成して、合成鳥瞰図画像を作成する。
【００２１】
特に本発明では、異なる撮影時間に対応する鳥瞰図画像間の画像データに基づいて、車両の移動状態を推定することが困難な場合には、車両と周囲の物体との距離を検出する距離検出手段による信号に基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成する。
【００２２】
つまり、例えば後方に他の車両等があり路面の画像を撮影できない場合（従って路面の画像から移動状態が分からない場合）には、例えば超音波センサにより検出した固定物との距離の変化が車両の移動距離であると考えられるので、この移動距離に基づいて、移動後鳥瞰図画像を作成することができる。よって、正確な合成鳥瞰図画像をモニタ等に表示することができる。
【００２３】
（５）請求項５の発明は、車両と周囲の物体との距離を、超音波センサにより検出することを例示したものである。
【００３０】
（６）請求項６の発明は、上述した車両周辺画像処理装置による処理を実行させる手段を記憶している記録媒体である。
【００３１】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００３２】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例（実施例）を説明する。
（実施例）
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
【００３３】
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ（例えばＣＣＤカメラ）１と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、車速を検出する車速センサ５と、ハンドル角を検出するハンドル角センサ６と、ヨーレイトを検出するヨーレイトセンサ７と、車両に周囲の障害物を検出する超音波センサ８と、画像処理を行う画像処理ユニット９を備えている。
【００３４】
前記画像処理ユニット９は、図２に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、カメラ１で撮影した画像データの座標変換を行って鳥瞰図画像を作成する座標変換部（鳥瞰図変換回路）１１と、作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＡと、画像メモリＡの鳥瞰図画像を移動（例えば回転移動）して合成する等の画像処理などの演算を行うＣＰＵ１３と、モニタ３に表示する鳥瞰図画像のデータを記憶する画像メモリＢとを備えている。
【００３５】
前記画像処理ユニット９には、ハンドル角信号を入力する車速信号入力回路１５と、車速信号を入力する車速信号入力回路１７と、ヨーレイト信号を入力するヨーレイト信号入力回路１９と、超音波センサ８からの超音波信号を入力する超音波信号入力回路２１が接続され、各信号はＣＰＵ１３に入力される。
【００３６】
ここで、画像メモリＢに記憶する鳥瞰図画像の画像データとは、後述する様に、２回目の処理以降は、合成鳥瞰図画像の画像データである。つまり、前回（例えば時刻Ｔに）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第１鳥瞰図画像）を移動させた鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば時刻Ｔ＋１に）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第２鳥瞰図画像）とを合成した鳥瞰図画像（合成鳥瞰図画像）の画像データである。
【００３７】
尚、画像処理ユニット３は、カメラ１と一体の構造となっていてもよく、画像処理ユニット９内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。い。
ｂ）次に、本実施例における画像処理の手順等を、図３〜図６に基づいて説明する。
【００３８】
ここでは、車両を後退（バック）させて駐車枠内に入れる場合を例に挙げる。
▲１▼最初に、カメラ１から入力された画像を、鳥瞰図変換回路１１で上空から見た鳥瞰図画像に変換し、画像メモリＡに保存する手順を説明する。
まず、カメラ１から出力される原画像（出力画像）を、図３（ａ）に示すが、この原画像は、車両の後部の上部に配置されたカメラ１により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両（従ってカメラ１）と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【００３９】
よって、後に▲２▼にて詳述する様に、原画像の画像データを座標変換して、図３（ｂ）に示す様な歪みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像データを画像メモリＡに記憶する。
▲２▼次に、前記カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。
【００４０】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。
具体的には、図４に示す様に、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影するときの透視変換を実行する。
【００４１】
詳しくは、カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ座標面）における画像をモニタしているとする。
従って、ここでは、下記式（１）に示す様にして、スクリーン平面Ｔ上の２次元座標（α、β）を、地上面上の座標（鳥瞰図座標）に変換（逆の透視変換）できる。
【００４２】
【数１】
つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ３の画面に対応した画像データに変換してモニタ表示することができる。
▲３▼次に、自車両がカーブ中の場合の画像処理の手順について説明する。
【００４４】
ここでは、ハンドル角とヨーレイトを用いて画像処理を行う。
ハンドル角θｈ［°］と回転半径ＸＣ［ｍ］は逆比例の関係にあり、変換係数Ｋ［ｍ・°］を用いれば、下記式（２）より算出できる。尚、直進でハンドル角θｈ［°］が０°のとき、ＸＣ［ｍ］は無限大となる。
ＸＣ［ｍ］＝Ｋ［ｍ・°］／ｔａｎ（θｈ）［°］ ・・・・（２）
図５に示す様に、ヨーレイトセンサ７から得られるヨーレイトが回転角θ［°］であり、後進時の自車両の回転中心は、後輪車軸上（カメラ１からの距離ＹＣ［ｍ］）にあるとすると、車両は、カーブ中の回転中心位置が（ＸＣ、ＹＣ）にて、回転角θ［°］移動したことになる。
【００４５】
そして、この回転中心位置及び回転角を用い、画像メモリＢの画像（前回の合成鳥瞰図画像）を移動させる。尚、まだ合成が実施されていない初回のみは、画像メモリＢには画像メモリＡと同様な鳥瞰図画像の画像データが記憶されている。
【００４６】
つまり、画像メモリＢに記憶された前回の合成鳥瞰図画像の画像データを、ＣＰＵ１３の内部メモリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回転角θを用いて、鳥瞰図画像を回転移動する。
この回転移動を行うための変換式を、下記式（３）に示すが、この変換式を用いたＣＰＵ１３の内部処理により、回転角θにて移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存する。
ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（３）
ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ
但し、（ＸＡ、ＹＡ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
そして、全ての座標についてこれらの演算を行うことにより、画像メモリＢに記憶された鳥瞰図画像（時刻Ｔにおける合成鳥瞰図画像）から、移動後の鳥瞰図画像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００４７】
それとともに、新たにカメラ１により撮影した画像に基づいて作成した鳥瞰図画像、即ち、現在の鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、新たに画像メモリＡよりＣＰＵ１３に転送する。
よって、ＣＰＵ１３では、第２鳥瞰図画像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画像との画像のずれが生じない位置）に書き込み、それによって、移動後鳥瞰図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の画像データを作成する。
【００４８】
そして、この合成鳥瞰図画像を画像メモリＢに記憶して、その合成鳥瞰図画像をモニタ３に表示するのである。
尚、合成鳥瞰図画像を作成する際には、自車両の位置やカメラ１の視野角の画像なども加入して画像メモリＢに記憶し、その合成鳥瞰図画像をモニタ３の画面に表示してもよいが、自車両の位置やカメラ１の視野角の画像などは画像メモリＢに記憶せずに、モニタ３に画像メモリＢに記憶した合成鳥瞰図画像を描画する際に、自車両の位置やカメラ１の視野角の画像など加えて描画してもよい。
【００４９】
▲４▼次に、自車両が直進中の場合の処理の手順について説明する。
ハンドル角が０°で走行中の場合には、車両は前進又は後進中であり、車両の移動は直線移動となる。
車両の速度が例えば５ｋｍ／ｈ以下の極低速の場合には、車種（従って車速センサ５）によっては、車速信号が入力しないか入力しても不正確なことがある。
【００５０】
従って、ここでは、低速である場合には車速信号を用いずに、画像処理による動きベクトルにより車両の移動量を求める。
例えば時刻Ｔの鳥瞰図画像から時刻Ｔ＋１の鳥瞰図画像に変化した場合、両鳥瞰図画像のマッチングをとって画像の動きベクトルの大きさＶを求める。
【００５１】
ここで、前記マッチングの手法を説明するが、画像処理における従来の各種の手法を採用できる。
例えば画像Ａ、Ｂの所定の（マッチング用の）領域を、図６に示す様に、複数の細かい領域（ピクセル）に分割し、各画像Ａ、Ｂのピクセルの一致する程度が最も高いものを検出し、一致するピクセルの位置関係から、画像Ａと画像Ｂの位置関係（即ち画像Ａがどれだけ移動したか）を求めることができる。
【００５２】
具体的には、図６に示す様に、各ピクセルにおける例えば図形の明るさ（色彩でもよい）の程度を数字で示す場合を考えると、ここでは、画像Ａの下３列のピクセルの明るさと、画像Ｂの上３列のピクセルの明るさとが一致する。従って、この場合には、画像Ａは、１列のピクセルの幅だけ図の上下方向に移動して、画像Ｂと一致すると見なすことができる。この場合は、車両が図の下方に移動したことにより、画像Ｂの図形が上方に移動したように見える。
【００５３】
従って、下記式（４）に示す様に、動きベクトルの大きさＶ分だけ、鳥瞰図画像を平行移動させる
ＸＡ＝ＸＢ ・・・（４）
ＹＡ＝ＹＢ−Ｖ
但し、（ＸＡ、ＹＡ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
そして、以後は、前記▲３▼の回転移動と同様に、全ての座標についてこれらの演算を行うことにより、画像メモリＢに記憶された鳥瞰図画像から、移動後の鳥瞰図画像を作成し、それとともに、新たにカメラ１により撮影した画像に基づいて作成した鳥瞰図画像を、新たに画像メモリＡよりＣＰＵ１３に転送し、これらを合成して合成鳥瞰図画像の画像データを作成する。
【００５４】
そして、この合成鳥瞰図画像を画像メモリＢに記憶して、その合成鳥瞰図画像をモニタ３に表示するのである。
▲５▼次に、後ろに障害物がある場合の処理の手順について説明する。
後ろに障害物がある場合には、画像処理の動きベクトルで自車両の移動量を算出することができない。つまり、動きベクトルは、路面の画像に対してその動きを求めているので、後ろに他の車両が駐車しているために路面が見えない場合などには、正しい動きベクトルを求めることができない。
【００５５】
この場合には、超音波センサ８の信号を用い、その検出距離の変位から移動量を算出することができる。
例えば超音波センサ８の信号が前回Ｃ１（ｍ）、今回Ｃ２（ｍ）となった場合には、下記式（５）により、その移動量を求めることができる（但し、直進の場合）。
ＸＡ＝ＸＢ ・・・（５）
ＹＡ＝ＹＢ−（Ｃ１−Ｃ２）
但し、（ＸＡ、ＹＡ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
これにより、移動前と移動後の座標の対応関係が分かるので、この対応関係に基づいて前回の合成鳥瞰図画像を移動させて移動後鳥瞰図画像を求めることができる。
【００５６】
▲６▼次に、画像処理を開始するタイミングついて説明する。
上述したカメラ１による画像の撮影から合成鳥瞰図画像の作成までの処理は、例えば駐車時の様に、車両が所定の低速（例えば１０ｋｍ／ｈ）以下になった場合に開始する。
【００５７】
これにより、例えばバックギヤに入れるために車両が停止したときには、その直前の前進時の履歴の合成鳥瞰図画像ができているので、現時点にてカメラ１で撮影しただけの場合と比べて、車両周囲の多くの画像を表示することができる。ｃ）次に、前記画像処理ユニット９等にて行われる処理を、図７のフローチャートに基づいて説明する。
【００５８】
図７に示す様に、まず、ステップ１００にて、車速センサ７からの車速信号を読み込む。
続くステップ１１０では、車速が所定の低速（例えば１０ｋｍ／ｈ）以下か否かを判定する。ここで肯定判断されるとステップ１２０に進み、一方否定判断されると前記ステップ１００に戻る。
【００５９】
ステップ１２０では、カメラ１で撮影した画像のデータを入力する。
続くステップ１３０では、ハンドル角センサ６からハンドル角信号を入力する。
続くステップ１４０では、ヨーレイトセンサ７からヨーレイト信号を入力する。
【００６０】
続くステップ１５０では、超音波センサ８から超音波信号を入力する。
続くステップ１６０では、カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、鳥瞰図画像を作成する。
続くステップ１７０では、前記鳥瞰図画像を画像メモリＡに記憶する。
【００６１】
続くステップ１８０では、今回の処理が初回の処理か否かを判定する。ここで肯定判断されるとステップ１９０に進み、一方否定判断されるとステップ２００に進む。
ステップ１９０では、初回の処理であるので、画像メモリＡに記憶した画像データを、画像メモリＢにも記憶し、前記ステップ１００に戻る。尚、画像メモリＢに記憶された鳥瞰図画像は、そのままモニタ３に表示される（図８（ａ）参照）。
一方、ステップ２００では、初回の処理ではないので、車両が直進状態か否かを、ハンドル角が０°か否かによって判定する。ここで直進状態であると判定されるとステップ２３０に進み、一方回転状態であると判定されるとステップ２１０に進む。
【００６２】
ステップ２１０では、車両が回転状態であるので、前記▲３▼にて説明した手順に従って画像の処理を行う。具体的には、ハンドル角、ヨーレイトにより、車両の回転中心及び回転角を求める。
続くステップ２２０では、前記ステップ２１０で求めた回転中心、回転角を用い、前記式（４）に基づいて、鳥瞰図画像を回転する。つまり、画像メモリＢに記憶されている鳥瞰図画像（前回の合成鳥瞰図画像が記憶されている場合にはその合成鳥瞰図画像）を回転させて、移動後鳥瞰図画像を作成する。
【００６３】
続くステップ２８０では、新たに撮影されて画像メモリＡに記憶された（時刻Ｔ＋１における）第２鳥瞰図画像を、画像メモリＡから読み、その第２鳥瞰図画像と移動後鳥瞰図画像とを合成して合成鳥瞰図画像を作成する。
具体的には、新たな（第２鳥瞰図画像に対応する）カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分、即ち、移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と重なる部分は除いたもの）を書き込むようにして、合成鳥瞰図画像を作成する。
【００６４】
続くステップ２９０では、合成鳥瞰図画像を、画像メモリＢに記憶する。
続くステップ３００では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＢに記憶した合成鳥瞰図画像をモニタ３に表示し（図８（ｂ）参照）、一旦本処理を終了する。
【００６５】
一方、前記ステップ２００にて肯定判断されて進むステップ２３０では、車両が直進状態であるので、超音波センサ８からの信号に基づいて、障害物との距離が１．５ｍ以下であるかを判定する。ここで否定判断されるとステップ２４０に進み、一方肯定判断されるとステップ２５０に進む。
【００６６】
ステップ２４０では、車両後方には近くに障害物が無いので、画像メモリＡと画像メモリＢとの画像データから動きベクトルを求める処理を行う。
続くステップ２６０では、動きベクトルの大きさから、画像（前回の合成鳥瞰図画像）の移動量を求める。
【００６７】
続くステップ２７０では、画像（前回の合成鳥瞰図画像）を、前記移動量の分だけ平行移動させて移動後鳥瞰図画像を作成し、前記ステップ２８０〜３００の処理に進んで、モニタ３に新たな合成鳥瞰図画像を表示し（図８（ｃ）参照）、一旦本処理を終了する。
【００６８】
一方、前記ステップ２３０にて肯定判断されて進むステップ２５０では、障害物との距離が１．５ｍ以下と近いので、即ち、車両後方の路面の鳥瞰図画像から移動量を求めることができないので、超音波センサ８による障害物の検出距離の変位量からの車両の移動量を求める。
【００６９】
続くステップ２６０では、車両の移動量は画像（前回の合成鳥瞰図画像）の移動量と方向が反対として、画像の移動量を決定し、前記ステップ２７０〜３００の処理に進んで、モニタ３に新たな合成鳥瞰図画像を表示し、一旦本処理を終了する。
【００７０】
以後同様な処理を、新たにカメラ１で撮影された画像が取り込まれる毎に実施する。つまり、順次、合成鳥瞰図画像を作成して記憶するとともに、その合成鳥瞰図画像を車両の移動に応じて移動させて移動後鳥瞰図画像を作成し、その移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成して新たな合成鳥瞰図画像としてモニタ３に表示する処理を繰り返してゆく。これにより、モニタ３には、図８に示す様な連続した画像が表示される。
【００７１】
ｄ）この様に、本実施例では、車両が所定の速度以下の低速である場合（例えば１０ｋｍ／ｈ）には、車速信号以外の他の車両信号(ハンドル角及びヨーレイト)や、異なる撮影時間に対応する鳥瞰図画像間の画像データに基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成するので、車速信号が得られない車種や低速では車速信号が不正確になる車種の場合でも、常に精度の高い合成鳥瞰図画像を作成して、モニタ３に表示することができる。
【００７２】
また、本実施例では、例えば後方に他の車両等があり路面の画像を撮影できない場合（従って路面の画像から移動状態が分からない場合）には、超音波センサ８により検出した障害物との距離の変化を車両の移動距離とみなして、この移動距離に基づいて、移動後鳥瞰図画像を作成することができる。よって、その様な場合でも、正確な合成鳥瞰図画像をモニタ３に表示することができる。
【００７３】
更に、本実施例では、合成鳥瞰図画像等を作成する画像処理の開始のタイミングを、停車の可能性のある様な低速になった場合（例えば１０ｋｍ／ｈ）としているので、例えばバックで駐車を開始する様な場合には、それ以前の時点における車両の周囲の画像をも表示することができ、駐車の操作の際に非常に便利である。
【００７４】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
（１）例えば前記実施例では、車両周辺画像処理装置について述べたが、この装置による処理を実行させる手段を記憶している記録媒体も、本発明の範囲である。
【００７５】
（２）例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
【図面の簡単な説明】
【図１】 実施例の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】 実施例の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】 実施例の車両周辺画像処理装置により用いられる画像を示し、（ａ）はカメラにより撮影された画像の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
【図４】 実施例の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図５】 実施例の車両周辺画像処理装置による車両の回転時の移動量を求めるための手法を示す説明図である。
【図６】 実施例の車両周辺画像処理装置による車両の直進時の移動量を求めるための手法を示す説明図である。
【図７】 実施例の車両周辺画像処理装置の処理を示すフローチャートである。
【図８】 実施例の車両周辺画像処理装置により表示されるモニタ画像を示
【符号の説明】
１…カメラ
３…車載モニタ（モニタ）
５…車速センサ
６…ハンドル角センサ
７…ヨーレイトセンサ
８…超音波センサ
９…画像処理ユニット
Claims (6)
- 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影された画像に基づいて作成された第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
前記第１鳥瞰図画像を、前記車両の移動状態に応じて移動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画像作成手段と、
前記第１鳥瞰図画像より後に撮影されて作成された第２鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
を備えるとともに、
前記車両が所定の速度以下の低速である場合には、車速信号以外の、ハンドル角を示す信号、ヨーレートを示す信号、及び車両の周囲物体との距離を示す信号のうち少なくとも１種の車両信号に基づいて、前記車両の移動状態を推定して、前記移動後鳥瞰図画像を作成することを特徴とする車両周辺画像処理装置。 - 前記車両が回転状態であると判定された場合には、ハンドル角及びヨーレイトに基づいて、前記車両の移動状態を推定して、前記移動後鳥瞰図画像を作成することを特徴とする前記請求項１に記載の車両周辺画像処理装置。
- 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影された画像に基づいて作成された第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
前記第１鳥瞰図画像を、前記車両の移動状態に応じて移動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画像作成手段と、
前記第１鳥瞰図画像より後に撮影されて作成された第２鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
を備えるとともに、
前記車両が所定の速度以下の低速である場合には、車速信号以外の、ハンドル角を示す信号、ヨーレートを示す信号、及び車両の周囲物体との距離を示す信号のうち少なくとも１種の車両信号に基づいて、前記車両の移動状態を推定して、前記移動後鳥瞰図画像を作成し、
更に、前記車両が直線状態か回転状態かを判定することにより、前記車両が直進状態であると判定された場合には、異なる時間における当該車両と周囲の物体との距離のデータから、前記車両の移動状態を推定して、前記移動後鳥瞰図画像を作成することを特徴とする車両周辺画像処理装置。 - 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影された画像に基づいて作成された第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
前記第１鳥瞰図画像を、前記車両の移動状態に応じて移動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画像作成手段と、
前記第１鳥瞰図画像より後に撮影されて作成された第２鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
を備えるとともに、
異なる撮影時間に対応する鳥瞰図画像間の画像データに基づいて、前記車両の移動状態を推定することが困難な場合には、前記車両と周囲の物体との距離を検出する距離検出手段による信号に基づいて、前記車両の移動状態を推定して、前記移動後鳥瞰図画像を作成することを特徴とする車両周辺画像処理装置。 - 前記車両と周囲の物体との距離を、超音波センサにより検出することを特徴とする前記請求項３又は４に記載の車両周辺画像処理装置。
- 前記請求項１〜５のいずれかに記載の車両周辺画像処理装置による処理を実行させる手段を記憶していることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001342081A JP3850271B2 (ja) | 2001-11-07 | 2001-11-07 | 車両周辺画像処理装置及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001342081A JP3850271B2 (ja) | 2001-11-07 | 2001-11-07 | 車両周辺画像処理装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003143597A JP2003143597A (ja) | 2003-05-16 |
| JP3850271B2 true JP3850271B2 (ja) | 2006-11-29 |
Family
ID=19156001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001342081A Expired - Fee Related JP3850271B2 (ja) | 2001-11-07 | 2001-11-07 | 車両周辺画像処理装置及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3850271B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4449701B2 (ja) * | 2004-10-28 | 2010-04-14 | 株式会社デンソー | 駐車支援システム |
| JP4724522B2 (ja) * | 2004-10-28 | 2011-07-13 | 株式会社デンソー | 車両周囲視界支援システム |
| JP2006268076A (ja) * | 2005-03-22 | 2006-10-05 | Sanyo Electric Co Ltd | 運転支援システム |
| US7545956B2 (en) | 2005-08-12 | 2009-06-09 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| JP4682809B2 (ja) * | 2005-11-04 | 2011-05-11 | 株式会社デンソー | 駐車支援システム |
-
2001
- 2001-11-07 JP JP2001342081A patent/JP3850271B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003143597A (ja) | 2003-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4156214B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP3778849B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP4863791B2 (ja) | 車両周辺画像生成装置および画像切替方法 | |
| JP3475507B2 (ja) | 車両用周囲モニタ装置 | |
| US6539288B2 (en) | Vehicle rendering device for generating image for drive assistance | |
| US8553081B2 (en) | Apparatus and method for displaying an image of vehicle surroundings | |
| TWI468647B (zh) | 障礙物偵測系統及其障礙物偵測方法 | |
| JP2004297808A (ja) | 移動体周辺監視装置 | |
| JP2006268076A (ja) | 運転支援システム | |
| JP4759878B2 (ja) | 車両用駐車支援装置 | |
| JP2002354467A (ja) | 車両周囲情報表示装置 | |
| JP4154980B2 (ja) | 移動体周辺監視装置 | |
| JP3796417B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP4071463B2 (ja) | 車両周辺画像処理装置 | |
| JP3521859B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP3395393B2 (ja) | 車両周囲表示装置 | |
| JP3850271B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP3900415B2 (ja) | 車両周辺画像処理装置，プログラム及び記録媒体 | |
| JP2006252577A (ja) | 地図データ生成装置 | |
| JP3813085B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP2002293196A (ja) | 車載カメラの画像表示方法及びその装置 | |
| JP4493885B2 (ja) | 運転支援システム | |
| TWM591940U (zh) | 全景停車輔助系統及其裝置 | |
| JP7380443B2 (ja) | 部分画像生成装置及び部分画像生成用コンピュータプログラム | |
| JP5132796B2 (ja) | 車両周辺画像生成装置および画像切替方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060829 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3850271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |