JP4256702B2 - 画像表示方法、画像表示装置及び画像処理装置 - Google Patents
画像表示方法、画像表示装置及び画像処理装置 Download PDFInfo
- Publication number
- JP4256702B2 JP4256702B2 JP2003077684A JP2003077684A JP4256702B2 JP 4256702 B2 JP4256702 B2 JP 4256702B2 JP 2003077684 A JP2003077684 A JP 2003077684A JP 2003077684 A JP2003077684 A JP 2003077684A JP 4256702 B2 JP4256702 B2 JP 4256702B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- depression
- elevation
- overhead
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラの撮影画像に基づいて死角の少ない合成画像を生成する画像表示方法及び画像表示装置と、この画像表示装置に用いられる画像処理装置に関する。
【０００２】
【従来の技術】
カメラの撮影画像又はこれに基づく画像をモニタに表示する画像表示装置として、車両のトランクやナンバープレート（ライセンスプレート）付近に設置されたカメラにより撮影した車両後方の画像を車室内のモニタに表示する駐車アシストシステムが知られている。このような装置では、カメラは俯角を持つように斜め下方に向けて設置されることが通常であり、車両に対して地面を含む下方の領域を主な視野とし、車両の後進時に運転者が後方の障害物を確認することができるようになっている。ところが、このように車両後方を斜め下向きに撮影してモニタ表示する装置では、車両と障害物との距離感や車両と障害物との位置関係の把握が容易ではなく、改善が望まれていた。
【０００３】
一方、特許文献１に記載されているように、複数のカメラによる撮影を行い撮影画像の視点を車両の真上から見下ろすように変換してモニタに表示する俯瞰画像表示システムも存在する。この装置によれば、障害物の形状や障害物との距離感、位置関係が判り易いため、咄嗟の場合における運転者の直感的な認識に大変有利である。
【０００４】
ところで、実際の俯瞰画像表示システムでは、構造上の問題等から上記特許文献１に記載されているように車両の最上部にカメラを取り付けるということはほとんどなく、バックアイカメラと称される後方監視用カメラの撮影映像を用いて俯瞰画像（撮影領域を上方から見下ろしたときの画像）を得ることが少なくない。具体的には、図８に示すように、車両１のトランクリッド等にカメラ（このように実在するカメラを実カメラともいう。）２を設置して撮影領域Ｓ1を撮影し、この撮影領域Ｓ1の上方で上空２〜３ｍにあると想定した仮想カメラ（実在しないカメラ）３であたかも撮影したかのような俯瞰画像をその実カメラ２の撮影画像に基づいて生成することにより、障害物の形状や大きさ、距離感や位置関係等が運転者に直感的に伝達される。
【０００５】
【特許文献１】
特開昭５８−１１０３３４号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、仮想カメラ３で撮影したかのような俯瞰画像は上述のように実カメラ２の撮影画像に基づくもので、撮影領域Ｓ1に含まれない情報については俯瞰画像に現れないので、仮想カメラ３が実在する場合の撮影領域Ｓ2に対して斜線で示す部分が死角となる。
【０００７】
すなわち、多くの場合、障害物は地上にあり、地面から上方に伸延する形で存在するので、障害物は車両１が後進するに従って徐々に撮影領域Ｓ1に入り、このとき運転者がそれを認識して衝突を回避することは可能である。ところが、壁からの突出物や樹木の枝等のように直接地面上にない空間障害物が存在する場合には、その障害物が上記斜線で示す空間的な死角にあるまま車両１と衝突してしまうおそれや、撮影領域Ｓ1に入ったとしてもそれが突然であって運転者が回避する間なく車両１と衝突してしまうおそれがあり、モニタ表示による安全性をより一層高めるためには死角を減少させる必要がある。
【０００８】
この死角は、図９に示すように（あるいは特許文献１にあるように）車両４の最も高い位置に実カメラ５を設置すればほぼ解消するが（実カメラ５の撮影領域Ｓ3に含まれず、かつ、その上方に想定する仮想カメラ６の撮影領域Ｓ4に含まれる領域が死角となるが、当該領域のほとんどは車両４の上方となるため実質的に問題とならない。）、既述のように車両最上部にカメラを設置するには構造上の困難（物理的な困難）が伴うほか、カメラの高さと同一の高さに障害物が存在したときにそれが撮影されずカメラと障害物との衝突を回避することができない可能性も残存する。
【０００９】
本発明は、上記の事情に鑑みて為されたもので、カメラの設置の容易性を確保しつつも、死角を減少させ又は解消することにより空間的な障害物をも表示することができる画像表示方法及び画像表示装置と、この画像表示装置に用いられる画像処理装置を提供することを課題としている。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、俯角を持つように設置された俯角カメラにより所定の領域を撮影する俯角カメラ撮影ステップと、仰角を持つように設置された仰角カメラにより前記俯角カメラの撮影領域の上方を撮影する仰角カメラ撮影ステップと、前記俯角カメラによる撮影画像に基づいて、前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成する俯瞰画像生成ステップと、前記仰角カメラによる撮影画像に基づいて、前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する逆俯瞰画像生成ステップと、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する合成画像生成ステップと、前記合成画像を表示手段に表示する表示ステップとを含み、前記合成画像生成ステップにおいて、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成する画像表示方法を特徴とする。
【００１１】
請求項２に係る発明は、請求項１に記載の画像表示方法において、前記仰角カメラは、前記俯角カメラよりも下方に設置され、前記俯角カメラによる撮影領域と前記仰角カメラによる撮影領域とが、平面視において少なくとも一部重なり合うように各々の撮影領域が設定されており、前記重なり合う部分の領域を基準として、前記俯瞰画像及び前記逆俯瞰画像を互いに重ね合わせることを特徴とする。
【００１２】
請求項３に係る発明は、俯角を持つように設置されて所定の領域を撮影する俯角カメラと、仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラと、前記俯角カメラによる撮影画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記仰角カメラによる撮影画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成し、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像処理手段と、前記合成画像を表示する表示手段とを有し、前記画像処理手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成する画像表示装置を特徴とする。
【００１３】
請求項４に係る発明は、請求項３に記載の画像表示装置において、前記仰角カメラは、前記俯角カメラよりも下方に設置され、前記俯角カメラによる撮影領域と前記仰角カメラによる撮影領域とが、平面視において少なくとも一部重なり合うように、各々の撮影領域が設定されており、前記画像処理手段は、前記重なり合う部分の領域を基準として、前記俯瞰画像及び前記逆俯瞰画像を互いに重ね合わせることを特徴とする。
【００１４】
請求項５に係る発明は、俯角を持つように設置されて所定の領域を撮影する俯角カメラの撮影画像をデコードする第一のデコード手段と、該第一のデコード手段によりデコードされた画像を記憶する第一の記憶手段と、仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像をデコードする第二のデコード手段と、該第二のデコード手段によりデコードされた画像を記憶する第二の記憶手段と、前記第一の記憶手段に記憶された画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記第二の記憶手段に記憶された画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する画像変換手段と、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像合成手段と、前記合成画像をエンコードするエンコード手段とを有し、前記画像合成手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成する画像処理装置を特徴とする。
【００１５】
請求項６に係る発明は、請求項５に記載の画像処理装置において、前記仰角カメラは、前記俯角カメラよりも下方に設置され、前記俯角カメラによる撮影領域と前記仰角カメラによる撮影領域とが、平面視において少なくとも一部重なり合うように、各々の撮影領域が設定されており、前記画像合成手段は、前記重なり合う部分の領域を基準として、前記俯瞰画像及び前記逆俯瞰画像を互いに重ね合わせることを特徴とする。
【００１６】
本発明によれば、俯角カメラの撮影画像に基づいて、俯角カメラの撮影領域を上方から見たときの俯瞰画像が生成され、俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像に基づいて、仰角カメラの撮影領域を下方から見たときの逆俯瞰画像が生成され、俯瞰画像及び逆俯瞰画像が合成されて生成された合成画像が表示手段に表示されるので、俯瞰カメラでは死角となるその撮影領域の上方空間における情報を仰角カメラにより捉えて合成画像に反映させ、表示手段に表示させることができる。よって、死角が減少又は解消して空間的な障害物をも表示可能となる。
【００１７】
また、俯角カメラ及び仰角カメラは車両最上部等の取り付けにくい位置に設置する必要がないので、カメラの設置容易性も確保することができる。
【００１８】
【発明の実施の形態】
本発明の実施の形態を図面に基づいて説明する。
【００１９】
図１は、本実施の形態に係る画像表示装置（２系統２カメラ画像処理システム：２つのカメラと２つの入力系統を有する画像処理システム）の概略構成を示す。この画像表示装置７は、俯角カメラ８と、仰角カメラ９と、表示手段としてのモニタ１０と、画像処理装置としての信号処理装置１１とを備えている。
【００２０】
俯角カメラ８は、図２に示すように、車両１２の後部に俯角θ1を持つように設置され、車両１２の後方の地面Ｇを含む撮影領域Ｓ5を撮影する。仰角カメラ９は、図３に示すように、車両１２の後部で俯角カメラ８の近傍（ここでは下方）に仰角θ2を持つように設置され、車両１２の後方空間で上空２〜３ｍにおける仮想平面Ｖを含む撮影領域Ｓ6を撮影する。撮影領域Ｓ6は撮影領域Ｓ5の上方に位置し、撮影領域Ｓ6及び撮影領域Ｓ5は平面視したときに少なくとも一部が重なり合うようになっている。
【００２１】
モニタ１０は液晶であってもＣＲＴであってもよく、車両１２の車室内のインストルメントパネル等に設けられている。モニタ１０は後述のようにカメラ８，９の撮影に基づいて車両１２の後方の画像を写し出すが、カメラ８，９等に対する専用品である必要はなく、ナビゲーション装置等のモニタを兼用してもよい。
【００２２】
信号処理装置１１は、俯角カメラ８に接続された入力系統１３と、仰角カメラ９に接続された入力系統１４とを備え、入力系統１３は第一のデコード手段としてのデコーダ部１５及び第一の記憶手段としての画像メモリ１６からなり、入力系統１４は第二のデコード手段としてのデコーダ部１７及び第二の記憶手段としての画像メモリ１８からなる。
【００２３】
また、信号処理部１１は、画像変換手段としての画像処理部１９及び画像処理メモリ２０と、エンコード手段としてのエンコーダ部２１と、これらを統合制御する制御部２２と、制御部２２が参照するデータＲＯＭ２３，２４，２５とを備える。
【００２４】
カメラ８，９により撮影が行われ（ステップ１（図４においてＳ．１と記載。以下同様））、各カメラの撮影画像の画像信号がデコーダ部１５，１７に入力されると、制御部２２はその画像信号から同期信号を分離する。制御部２２はさらにデコーダ部１５，１７に入力された画像信号をＲＧＢ信号にデコードするとともにＡ／Ｄ変換し（ステップ２）、これにより得られるデジタルＲＧＢの画像情報を画像メモリ１６，１８に記憶させてジッター（データ遅れ）を吸収する（ステップ３）。
【００２５】
つぎに、制御部２２は、データＲＯＭ２３を参照しながら画像処理部１９により画像メモリ１６に記憶された画像を画像処理し、撮影領域Ｓ5の画像情報に基づいて撮影領域Ｓ5を真上から見下ろしたような俯瞰画像を生成する（ステップ４）。また、制御部２２は、データＲＯＭ２４を参照しながら画像処理部１９により画像メモリ１８に記憶された画像を画像処理し、撮影領域Ｓ6の画像情報に基づいて撮影領域Ｓ6を真下から見上げたような逆俯瞰画像を生成する（ステップ５）。そして、その俯瞰画像及び逆俯瞰画像をデータＲＯＭ２５を参照しながら画像処理部１９により合成し、生成された合成画像を画像処理メモリ２０に記憶させる（ステップ６）。
【００２６】
続いて、制御部２２は、画像処理メモリ２０に記憶された合成画像の画像信号を画像処理部１９からエンコーダ部２１に出力させてＤ／Ａ変換するとともにエンコードし（ステップ７）、エンコーダ部２１からモニタ１０にアナログ信号が出力されて合成画像がモニタ１０に表示される（ステップ８）。
【００２７】
例えば図２及び図３に示したように、車両１２の後方に障害物２６が存在し、この障害物２６が地面Ｇに立設された丸棒状の鉛直材２７と、鉛直材２７から車両１２の側に突出して空間障害物となっている丸棒状の水平材２８とからなる場合を想定すると、俯角カメラ８の撮影領域Ｓ5には地面Ｇ及び鉛直材２７の下端部２７ａが入り、図５に模式的に示すように撮影領域Ｓ5を真上から見下ろすように視点変換した俯瞰画像２９には下端部２７ａの像２７ａ’が含まれる。一方、仰角カメラ９の撮影領域Ｓ6には、車両１２の後方空間において地面Ｇに平行な仮想平面Ｖ及び水平材２８の先端部２８ａが入り、撮影領域Ｓ6を真下から見上げるように視点変換した逆俯瞰画像３０には先端部２８ａの像２８ａ’が含まれる。
【００２８】
図６に示すように、ここでは制御部２２は俯瞰画像２９を透明度５０％で半透明化した画像３１と、逆俯瞰画像３０を左右反転させて透明度５０％で半透明化した画像３２とを重ね合わせ、合成画像３３を生成する。これにより、図７に示すように車両１２の後方上空に想定したカメラ３４であたかも撮影したかのような合成画像３３がモニタ１０に表示され、車両１２の運転者は空間障害物である水平材２８をモニタ１０で確認することができる。
【００２９】
この実施の形態に係る画像表示装置７では、俯角カメラ８の撮影画像に基づいて、俯角カメラ８の撮影領域Ｓ5を上方から見たときの俯瞰画像２９（及び画像３１。以下これらのいずれも「俯瞰画像」という。）が生成され、俯角カメラ８の撮影領域Ｓ5の上方を撮影する仰角カメラ９の撮影画像に基づいて、仰角カメラ９の撮影領域Ｓ6を下方から見たときの逆俯瞰画像３０（画像３２。以下これらのいずれも「逆俯瞰画像」という。）が生成され、俯瞰画像及び逆俯瞰画像が合成されて生成された合成画像３３がモニタ１０に表示されるので、俯瞰カメラ８では死角となるその撮影領域Ｓ5の上方空間における情報（例えば水平材２８）を仰角カメラ９により捉えてモニタ表示させることができる。
【００３０】
すなわち、これまでは俯角カメラの設置位置よりも高い位置にある障害物は原理的にモニタ表示することができなかったが、本実施の形態では俯角カメラ８の設置位置よりも上方にある障害物が仰角カメラ９の撮影画像から作成される逆俯瞰画像（仰角図、蛙瞰図）により判明するので、これと俯角カメラ８による俯瞰画像（俯瞰図）とを重ね合わせて１枚のモニタ表示画像（合成画像）を生成することにより、本来必要となる空間情報をより多く持った視点変換画像をモニタ表示することができる。換言すれば、カメラが車両に設置される場合、これまではカメラが車両最上部になければ少なくともカメラ設置位置から車両最上部までの間が死角になる一方、その間にある空間障害物は車両との衝突の可能性があるので運転者は必ず目視でそれを回避しなければならなかったが、本実施の形態では仰角カメラがカメラの設置高さ以上の範囲をも捉えるので、たとえカメラが車両最上部になくても車高までの空間情報を運転者がモニタ上で確認することが可能で安全性、信頼性のより一層の向上が図られる。
【００３１】
また、このようにカメラを車両最上部等の取り付けにくい位置に設置する必要がないので、本実施の形態ではカメラの設置容易性も確保される。
【００３２】
なお、本発明は上述した形態に限られるものではなく、例えば３個以上のカメラを用いて合成画像を生成しても、又は画像処理時にデータＲＯＭを参照する代わりにＣＰＵによる演算を行うようにしてもよい。あるいは、俯瞰画像２９や逆俯瞰画像３０を半透明化する際の透明度を５０％とせず、例えば俯瞰画像を主（低透明度）として逆俯瞰画像を従（高透明度）とするような重み付けの変化を適宜与えてもかまわない。
【００３３】
【発明の効果】
本発明は、以上説明したように構成したので、カメラの設置の容易性を確保しつつも、死角を減少させ又は解消することにより空間的な障害物をも表示することができるという効果を奏する。
【図面の簡単な説明】
【図１】発明の実施の形態に係る画像表示装置の概略構成を示すブロック図である。
【図２】俯角カメラの設置位置及び撮影領域を示す説明図である。
【図３】仰角カメラの設置位置及び撮影領域を示す説明図である。
【図４】画像表示装置における撮影からモニタ表示までの処理を示す流れ図である。
【図５】俯瞰画像及び逆俯瞰画像を模式的に示す説明図である。
【図６】俯瞰画像及び逆俯瞰画像の合成を示す説明図である。
【図７】仮想カメラと俯瞰画像及び逆俯瞰画像とを示す説明図である。
【図８】従来の車載カメラの設置例を示す説明図である。
【図９】従来の車載カメラの他の設置例を示す説明図である。
【符号の説明】
７ 画像表示装置
８ 俯角カメラ
９ 仰角カメラ
１０ モニタ（表示手段）
１１ 信号処理装置（画像処理手段、画像処理装置）
１２ 車両
【発明の属する技術分野】
本発明は、複数のカメラの撮影画像に基づいて死角の少ない合成画像を生成する画像表示方法及び画像表示装置と、この画像表示装置に用いられる画像処理装置に関する。
【０００２】
【従来の技術】
カメラの撮影画像又はこれに基づく画像をモニタに表示する画像表示装置として、車両のトランクやナンバープレート（ライセンスプレート）付近に設置されたカメラにより撮影した車両後方の画像を車室内のモニタに表示する駐車アシストシステムが知られている。このような装置では、カメラは俯角を持つように斜め下方に向けて設置されることが通常であり、車両に対して地面を含む下方の領域を主な視野とし、車両の後進時に運転者が後方の障害物を確認することができるようになっている。ところが、このように車両後方を斜め下向きに撮影してモニタ表示する装置では、車両と障害物との距離感や車両と障害物との位置関係の把握が容易ではなく、改善が望まれていた。
【０００３】
一方、特許文献１に記載されているように、複数のカメラによる撮影を行い撮影画像の視点を車両の真上から見下ろすように変換してモニタに表示する俯瞰画像表示システムも存在する。この装置によれば、障害物の形状や障害物との距離感、位置関係が判り易いため、咄嗟の場合における運転者の直感的な認識に大変有利である。
【０００４】
ところで、実際の俯瞰画像表示システムでは、構造上の問題等から上記特許文献１に記載されているように車両の最上部にカメラを取り付けるということはほとんどなく、バックアイカメラと称される後方監視用カメラの撮影映像を用いて俯瞰画像（撮影領域を上方から見下ろしたときの画像）を得ることが少なくない。具体的には、図８に示すように、車両１のトランクリッド等にカメラ（このように実在するカメラを実カメラともいう。）２を設置して撮影領域Ｓ1を撮影し、この撮影領域Ｓ1の上方で上空２〜３ｍにあると想定した仮想カメラ（実在しないカメラ）３であたかも撮影したかのような俯瞰画像をその実カメラ２の撮影画像に基づいて生成することにより、障害物の形状や大きさ、距離感や位置関係等が運転者に直感的に伝達される。
【０００５】
【特許文献１】
特開昭５８−１１０３３４号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、仮想カメラ３で撮影したかのような俯瞰画像は上述のように実カメラ２の撮影画像に基づくもので、撮影領域Ｓ1に含まれない情報については俯瞰画像に現れないので、仮想カメラ３が実在する場合の撮影領域Ｓ2に対して斜線で示す部分が死角となる。
【０００７】
すなわち、多くの場合、障害物は地上にあり、地面から上方に伸延する形で存在するので、障害物は車両１が後進するに従って徐々に撮影領域Ｓ1に入り、このとき運転者がそれを認識して衝突を回避することは可能である。ところが、壁からの突出物や樹木の枝等のように直接地面上にない空間障害物が存在する場合には、その障害物が上記斜線で示す空間的な死角にあるまま車両１と衝突してしまうおそれや、撮影領域Ｓ1に入ったとしてもそれが突然であって運転者が回避する間なく車両１と衝突してしまうおそれがあり、モニタ表示による安全性をより一層高めるためには死角を減少させる必要がある。
【０００８】
この死角は、図９に示すように（あるいは特許文献１にあるように）車両４の最も高い位置に実カメラ５を設置すればほぼ解消するが（実カメラ５の撮影領域Ｓ3に含まれず、かつ、その上方に想定する仮想カメラ６の撮影領域Ｓ4に含まれる領域が死角となるが、当該領域のほとんどは車両４の上方となるため実質的に問題とならない。）、既述のように車両最上部にカメラを設置するには構造上の困難（物理的な困難）が伴うほか、カメラの高さと同一の高さに障害物が存在したときにそれが撮影されずカメラと障害物との衝突を回避することができない可能性も残存する。
【０００９】
本発明は、上記の事情に鑑みて為されたもので、カメラの設置の容易性を確保しつつも、死角を減少させ又は解消することにより空間的な障害物をも表示することができる画像表示方法及び画像表示装置と、この画像表示装置に用いられる画像処理装置を提供することを課題としている。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、俯角を持つように設置された俯角カメラにより所定の領域を撮影する俯角カメラ撮影ステップと、仰角を持つように設置された仰角カメラにより前記俯角カメラの撮影領域の上方を撮影する仰角カメラ撮影ステップと、前記俯角カメラによる撮影画像に基づいて、前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成する俯瞰画像生成ステップと、前記仰角カメラによる撮影画像に基づいて、前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する逆俯瞰画像生成ステップと、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する合成画像生成ステップと、前記合成画像を表示手段に表示する表示ステップとを含み、前記合成画像生成ステップにおいて、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成する画像表示方法を特徴とする。
【００１１】
請求項２に係る発明は、請求項１に記載の画像表示方法において、前記仰角カメラは、前記俯角カメラよりも下方に設置され、前記俯角カメラによる撮影領域と前記仰角カメラによる撮影領域とが、平面視において少なくとも一部重なり合うように各々の撮影領域が設定されており、前記重なり合う部分の領域を基準として、前記俯瞰画像及び前記逆俯瞰画像を互いに重ね合わせることを特徴とする。
【００１２】
請求項３に係る発明は、俯角を持つように設置されて所定の領域を撮影する俯角カメラと、仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラと、前記俯角カメラによる撮影画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記仰角カメラによる撮影画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成し、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像処理手段と、前記合成画像を表示する表示手段とを有し、前記画像処理手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成する画像表示装置を特徴とする。
【００１３】
請求項４に係る発明は、請求項３に記載の画像表示装置において、前記仰角カメラは、前記俯角カメラよりも下方に設置され、前記俯角カメラによる撮影領域と前記仰角カメラによる撮影領域とが、平面視において少なくとも一部重なり合うように、各々の撮影領域が設定されており、前記画像処理手段は、前記重なり合う部分の領域を基準として、前記俯瞰画像及び前記逆俯瞰画像を互いに重ね合わせることを特徴とする。
【００１４】
請求項５に係る発明は、俯角を持つように設置されて所定の領域を撮影する俯角カメラの撮影画像をデコードする第一のデコード手段と、該第一のデコード手段によりデコードされた画像を記憶する第一の記憶手段と、仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像をデコードする第二のデコード手段と、該第二のデコード手段によりデコードされた画像を記憶する第二の記憶手段と、前記第一の記憶手段に記憶された画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記第二の記憶手段に記憶された画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する画像変換手段と、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像合成手段と、前記合成画像をエンコードするエンコード手段とを有し、前記画像合成手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成する画像処理装置を特徴とする。
【００１５】
請求項６に係る発明は、請求項５に記載の画像処理装置において、前記仰角カメラは、前記俯角カメラよりも下方に設置され、前記俯角カメラによる撮影領域と前記仰角カメラによる撮影領域とが、平面視において少なくとも一部重なり合うように、各々の撮影領域が設定されており、前記画像合成手段は、前記重なり合う部分の領域を基準として、前記俯瞰画像及び前記逆俯瞰画像を互いに重ね合わせることを特徴とする。
【００１６】
本発明によれば、俯角カメラの撮影画像に基づいて、俯角カメラの撮影領域を上方から見たときの俯瞰画像が生成され、俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像に基づいて、仰角カメラの撮影領域を下方から見たときの逆俯瞰画像が生成され、俯瞰画像及び逆俯瞰画像が合成されて生成された合成画像が表示手段に表示されるので、俯瞰カメラでは死角となるその撮影領域の上方空間における情報を仰角カメラにより捉えて合成画像に反映させ、表示手段に表示させることができる。よって、死角が減少又は解消して空間的な障害物をも表示可能となる。
【００１７】
また、俯角カメラ及び仰角カメラは車両最上部等の取り付けにくい位置に設置する必要がないので、カメラの設置容易性も確保することができる。
【００１８】
【発明の実施の形態】
本発明の実施の形態を図面に基づいて説明する。
【００１９】
図１は、本実施の形態に係る画像表示装置（２系統２カメラ画像処理システム：２つのカメラと２つの入力系統を有する画像処理システム）の概略構成を示す。この画像表示装置７は、俯角カメラ８と、仰角カメラ９と、表示手段としてのモニタ１０と、画像処理装置としての信号処理装置１１とを備えている。
【００２０】
俯角カメラ８は、図２に示すように、車両１２の後部に俯角θ1を持つように設置され、車両１２の後方の地面Ｇを含む撮影領域Ｓ5を撮影する。仰角カメラ９は、図３に示すように、車両１２の後部で俯角カメラ８の近傍（ここでは下方）に仰角θ2を持つように設置され、車両１２の後方空間で上空２〜３ｍにおける仮想平面Ｖを含む撮影領域Ｓ6を撮影する。撮影領域Ｓ6は撮影領域Ｓ5の上方に位置し、撮影領域Ｓ6及び撮影領域Ｓ5は平面視したときに少なくとも一部が重なり合うようになっている。
【００２１】
モニタ１０は液晶であってもＣＲＴであってもよく、車両１２の車室内のインストルメントパネル等に設けられている。モニタ１０は後述のようにカメラ８，９の撮影に基づいて車両１２の後方の画像を写し出すが、カメラ８，９等に対する専用品である必要はなく、ナビゲーション装置等のモニタを兼用してもよい。
【００２２】
信号処理装置１１は、俯角カメラ８に接続された入力系統１３と、仰角カメラ９に接続された入力系統１４とを備え、入力系統１３は第一のデコード手段としてのデコーダ部１５及び第一の記憶手段としての画像メモリ１６からなり、入力系統１４は第二のデコード手段としてのデコーダ部１７及び第二の記憶手段としての画像メモリ１８からなる。
【００２３】
また、信号処理部１１は、画像変換手段としての画像処理部１９及び画像処理メモリ２０と、エンコード手段としてのエンコーダ部２１と、これらを統合制御する制御部２２と、制御部２２が参照するデータＲＯＭ２３，２４，２５とを備える。
【００２４】
カメラ８，９により撮影が行われ（ステップ１（図４においてＳ．１と記載。以下同様））、各カメラの撮影画像の画像信号がデコーダ部１５，１７に入力されると、制御部２２はその画像信号から同期信号を分離する。制御部２２はさらにデコーダ部１５，１７に入力された画像信号をＲＧＢ信号にデコードするとともにＡ／Ｄ変換し（ステップ２）、これにより得られるデジタルＲＧＢの画像情報を画像メモリ１６，１８に記憶させてジッター（データ遅れ）を吸収する（ステップ３）。
【００２５】
つぎに、制御部２２は、データＲＯＭ２３を参照しながら画像処理部１９により画像メモリ１６に記憶された画像を画像処理し、撮影領域Ｓ5の画像情報に基づいて撮影領域Ｓ5を真上から見下ろしたような俯瞰画像を生成する（ステップ４）。また、制御部２２は、データＲＯＭ２４を参照しながら画像処理部１９により画像メモリ１８に記憶された画像を画像処理し、撮影領域Ｓ6の画像情報に基づいて撮影領域Ｓ6を真下から見上げたような逆俯瞰画像を生成する（ステップ５）。そして、その俯瞰画像及び逆俯瞰画像をデータＲＯＭ２５を参照しながら画像処理部１９により合成し、生成された合成画像を画像処理メモリ２０に記憶させる（ステップ６）。
【００２６】
続いて、制御部２２は、画像処理メモリ２０に記憶された合成画像の画像信号を画像処理部１９からエンコーダ部２１に出力させてＤ／Ａ変換するとともにエンコードし（ステップ７）、エンコーダ部２１からモニタ１０にアナログ信号が出力されて合成画像がモニタ１０に表示される（ステップ８）。
【００２７】
例えば図２及び図３に示したように、車両１２の後方に障害物２６が存在し、この障害物２６が地面Ｇに立設された丸棒状の鉛直材２７と、鉛直材２７から車両１２の側に突出して空間障害物となっている丸棒状の水平材２８とからなる場合を想定すると、俯角カメラ８の撮影領域Ｓ5には地面Ｇ及び鉛直材２７の下端部２７ａが入り、図５に模式的に示すように撮影領域Ｓ5を真上から見下ろすように視点変換した俯瞰画像２９には下端部２７ａの像２７ａ’が含まれる。一方、仰角カメラ９の撮影領域Ｓ6には、車両１２の後方空間において地面Ｇに平行な仮想平面Ｖ及び水平材２８の先端部２８ａが入り、撮影領域Ｓ6を真下から見上げるように視点変換した逆俯瞰画像３０には先端部２８ａの像２８ａ’が含まれる。
【００２８】
図６に示すように、ここでは制御部２２は俯瞰画像２９を透明度５０％で半透明化した画像３１と、逆俯瞰画像３０を左右反転させて透明度５０％で半透明化した画像３２とを重ね合わせ、合成画像３３を生成する。これにより、図７に示すように車両１２の後方上空に想定したカメラ３４であたかも撮影したかのような合成画像３３がモニタ１０に表示され、車両１２の運転者は空間障害物である水平材２８をモニタ１０で確認することができる。
【００２９】
この実施の形態に係る画像表示装置７では、俯角カメラ８の撮影画像に基づいて、俯角カメラ８の撮影領域Ｓ5を上方から見たときの俯瞰画像２９（及び画像３１。以下これらのいずれも「俯瞰画像」という。）が生成され、俯角カメラ８の撮影領域Ｓ5の上方を撮影する仰角カメラ９の撮影画像に基づいて、仰角カメラ９の撮影領域Ｓ6を下方から見たときの逆俯瞰画像３０（画像３２。以下これらのいずれも「逆俯瞰画像」という。）が生成され、俯瞰画像及び逆俯瞰画像が合成されて生成された合成画像３３がモニタ１０に表示されるので、俯瞰カメラ８では死角となるその撮影領域Ｓ5の上方空間における情報（例えば水平材２８）を仰角カメラ９により捉えてモニタ表示させることができる。
【００３０】
すなわち、これまでは俯角カメラの設置位置よりも高い位置にある障害物は原理的にモニタ表示することができなかったが、本実施の形態では俯角カメラ８の設置位置よりも上方にある障害物が仰角カメラ９の撮影画像から作成される逆俯瞰画像（仰角図、蛙瞰図）により判明するので、これと俯角カメラ８による俯瞰画像（俯瞰図）とを重ね合わせて１枚のモニタ表示画像（合成画像）を生成することにより、本来必要となる空間情報をより多く持った視点変換画像をモニタ表示することができる。換言すれば、カメラが車両に設置される場合、これまではカメラが車両最上部になければ少なくともカメラ設置位置から車両最上部までの間が死角になる一方、その間にある空間障害物は車両との衝突の可能性があるので運転者は必ず目視でそれを回避しなければならなかったが、本実施の形態では仰角カメラがカメラの設置高さ以上の範囲をも捉えるので、たとえカメラが車両最上部になくても車高までの空間情報を運転者がモニタ上で確認することが可能で安全性、信頼性のより一層の向上が図られる。
【００３１】
また、このようにカメラを車両最上部等の取り付けにくい位置に設置する必要がないので、本実施の形態ではカメラの設置容易性も確保される。
【００３２】
なお、本発明は上述した形態に限られるものではなく、例えば３個以上のカメラを用いて合成画像を生成しても、又は画像処理時にデータＲＯＭを参照する代わりにＣＰＵによる演算を行うようにしてもよい。あるいは、俯瞰画像２９や逆俯瞰画像３０を半透明化する際の透明度を５０％とせず、例えば俯瞰画像を主（低透明度）として逆俯瞰画像を従（高透明度）とするような重み付けの変化を適宜与えてもかまわない。
【００３３】
【発明の効果】
本発明は、以上説明したように構成したので、カメラの設置の容易性を確保しつつも、死角を減少させ又は解消することにより空間的な障害物をも表示することができるという効果を奏する。
【図面の簡単な説明】
【図１】発明の実施の形態に係る画像表示装置の概略構成を示すブロック図である。
【図２】俯角カメラの設置位置及び撮影領域を示す説明図である。
【図３】仰角カメラの設置位置及び撮影領域を示す説明図である。
【図４】画像表示装置における撮影からモニタ表示までの処理を示す流れ図である。
【図５】俯瞰画像及び逆俯瞰画像を模式的に示す説明図である。
【図６】俯瞰画像及び逆俯瞰画像の合成を示す説明図である。
【図７】仮想カメラと俯瞰画像及び逆俯瞰画像とを示す説明図である。
【図８】従来の車載カメラの設置例を示す説明図である。
【図９】従来の車載カメラの他の設置例を示す説明図である。
【符号の説明】
７ 画像表示装置
８ 俯角カメラ
９ 仰角カメラ
１０ モニタ（表示手段）
１１ 信号処理装置（画像処理手段、画像処理装置）
１２ 車両
Claims (6)
- 俯角を持つように設置された俯角カメラにより所定の領域を撮影する俯角カメラ撮影ステップと、
仰角を持つように設置された仰角カメラにより前記俯角カメラの撮影領域の上方を撮影する仰角カメラ撮影ステップと、
前記俯角カメラによる撮影画像に基づいて、前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成する俯瞰画像生成ステップと、
前記仰角カメラによる撮影画像に基づいて、前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する逆俯瞰画像生成ステップと、
前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する合成画像生成ステップと、
前記合成画像を表示手段に表示する表示ステップとを含み、
前記合成画像生成ステップにおいて、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して互いに重ね合わせることにより、前記合成画像を生成することを特徴とする画像表示方法。 - 前記仰角カメラは、前記俯角カメラよりも下方に設置され、前記俯角カメラによる撮影領域と前記仰角カメラによる撮影領域とが、平面視において少なくとも一部重なり合うように各々の撮影領域が設定されており、
前記重なり合う部分の領域を基準として、前記俯瞰画像及び前記逆俯瞰画像を互いに重ね合わせることを特徴とする請求項１に記載の画像表示方法。 - （補正前請求項３＋４）
俯角を持つように設置されて所定の領域を撮影する俯角カメラと、
仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラと、
前記俯角カメラによる撮影画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記仰角カメラによる撮影画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成し、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像処理手段と、
前記合成画像を表示する表示手段とを有し、
前記画像処理手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して互いに重ね合わせることにより、前記合成画像を生成することを特徴とする画像表示装置。 - 前記仰角カメラは、前記俯角カメラよりも下方に設置され、前記俯角カメラによる撮影領域と前記仰角カメラによる撮影領域とが、平面視において少なくとも一部重なり合うように、各々の撮影領域が設定されており、
前記画像処理手段は、前記重なり合う部分の領域を基準として、前記俯瞰画像及び前記逆俯瞰画像を互いに重ね合わせることを特徴とする請求項３に記載の画像表示装置。 - （補正前請求項５＋６）
俯角を持つように設置されて所定の領域を撮影する俯角カメラの撮影画像をデコードする第一のデコード手段と、
該第一のデコード手段によりデコードされた画像を記憶する第一の記憶手段と、
仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像をデコードする第二のデコード手段と、
該第二のデコード手段によりデコードされた画像を記憶する第二の記憶手段と、
前記第一の記憶手段に記憶された画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記第二の記憶手段に記憶された画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する画像変換手段と 、
前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像合成手段と、
前記合成画像をエンコードするエンコード手段とを有し、
前記画像合成手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して互いに重ね合わせることにより、前記合成画像を生成することを特徴とする画像処理装置。 - 前記仰角カメラは、前記俯角カメラよりも下方に設置され、前記俯角カメラによる撮影領域と前記仰角カメラによる撮影領域とが、平面視において少なくとも一部重なり合うように、各々の撮影領域が設定されており、
前記画像合成手段は、前記重なり合う部分の領域を基準として、前記俯瞰画像及び前記逆俯瞰画像を互いに重ね合わせることを特徴とする請求項５に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003077684A JP4256702B2 (ja) | 2003-03-20 | 2003-03-20 | 画像表示方法、画像表示装置及び画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003077684A JP4256702B2 (ja) | 2003-03-20 | 2003-03-20 | 画像表示方法、画像表示装置及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004289386A JP2004289386A (ja) | 2004-10-14 |
| JP4256702B2 true JP4256702B2 (ja) | 2009-04-22 |
Family
ID=33292374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003077684A Expired - Fee Related JP4256702B2 (ja) | 2003-03-20 | 2003-03-20 | 画像表示方法、画像表示装置及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4256702B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4696691B2 (ja) * | 2005-05-27 | 2011-06-08 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
| JP4539472B2 (ja) * | 2005-07-14 | 2010-09-08 | マツダ株式会社 | 車両用走行支援装置 |
| JP4810919B2 (ja) * | 2005-08-01 | 2011-11-09 | 日産自動車株式会社 | 車両周辺監視装置 |
| JP5003395B2 (ja) * | 2007-10-05 | 2012-08-15 | 日産自動車株式会社 | 車両周辺画像処理装置及び車両周辺状況提示方法 |
| JP5152592B2 (ja) * | 2009-02-18 | 2013-02-27 | アイシン精機株式会社 | 物体下端位置検出装置及び物体下端位置検出プログラム |
| US8319772B2 (en) * | 2010-07-23 | 2012-11-27 | Microsoft Corporation | 3D layering of map metadata |
| US9273979B2 (en) | 2011-05-23 | 2016-03-01 | Microsoft Technology Licensing, Llc | Adjustable destination icon in a map navigation tool |
| EP2763406A4 (en) | 2011-09-30 | 2015-06-17 | Panasonic Ip Man Co Ltd | APPARATUS FOR PRODUCING IMAGES FROM THE BIRDS 'PERSPECTIVE, METHOD FOR PRODUCING IMAGES FROM THE BIRDS' PERSPECTIVE AND PROGRAM FOR GENERATING PICTURES FROM THE BIRDS 'PERSPECTIVE |
| JP6415382B2 (ja) * | 2015-04-30 | 2018-10-31 | 三菱電機株式会社 | 移動体用画像生成装置及びナビゲーション装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000007373A1 (fr) * | 1998-07-31 | 2000-02-10 | Matsushita Electric Industrial Co., Ltd. | Procede et appareil d'affichage d'images |
| JP2000135949A (ja) * | 1998-10-30 | 2000-05-16 | Sony Corp | 状況確認装置及びこの状況確認装置を搭載する移動体 |
| JP4861574B2 (ja) * | 2001-03-28 | 2012-01-25 | パナソニック株式会社 | 運転支援装置 |
| JP2002359839A (ja) * | 2001-03-29 | 2002-12-13 | Matsushita Electric Ind Co Ltd | リアビューカメラの画像表示方法及びその装置 |
| JP4059309B2 (ja) * | 2001-05-07 | 2008-03-12 | 松下電器産業株式会社 | 車載カメラの画像表示制御方法及びその装置 |
-
2003
- 2003-03-20 JP JP2003077684A patent/JP4256702B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004289386A (ja) | 2004-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8885045B2 (en) | Device and method for monitoring vehicle surroundings | |
| US11303806B2 (en) | Three dimensional rendering for surround view using predetermined viewpoint lookup tables | |
| US7058207B2 (en) | Picture synthesizing apparatus | |
| US9050931B2 (en) | Vehicle periphery monitoring system | |
| JP3652678B2 (ja) | 車両周囲監視装置およびその調整方法 | |
| JP5099451B2 (ja) | 車両周辺確認装置 | |
| JP4765649B2 (ja) | 車両用映像処理装置、車両周囲監視システム並びに映像処理方法 | |
| JP3916958B2 (ja) | 車両後方モニタシステムおよびモニタ装置 | |
| US8115810B2 (en) | Vehicle-periphery viewing apparatus | |
| KR20040000303A (ko) | 차량 탑재 카메라의 촬상 화상 표시 방법 및 그 장치 | |
| CN107852483B (zh) | 向驾驶员提示辅助图像的装置及其方法 | |
| JP6425991B2 (ja) | 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法 | |
| JP2005311868A (ja) | 車両周辺視認装置 | |
| JP4248570B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
| JP6524922B2 (ja) | 運転支援装置、運転支援方法 | |
| JP2009081664A (ja) | 車両用周辺監視装置および映像表示方法 | |
| JP2010166196A (ja) | 車両周辺監視装置 | |
| KR20170067549A (ko) | 차량 주변 영상 정보 제공 시스템 및 방법 | |
| JP2009206747A (ja) | 車両用周囲状況監視装置及び映像表示方法 | |
| WO2017022497A1 (ja) | 運転者に支援画像を提示する装置及びその方法 | |
| JP6958163B2 (ja) | 表示制御装置 | |
| JP2009253571A (ja) | 車両用モニタ映像生成装置 | |
| JP4256702B2 (ja) | 画像表示方法、画像表示装置及び画像処理装置 | |
| KR20100005971A (ko) | 차량 전방위 감시 시스템 | |
| JP2006254318A (ja) | 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090130 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |