JP4658408B2 - 車両用監視装置 - Google Patents

車両用監視装置 Download PDF

Info

Publication number
JP4658408B2
JP4658408B2 JP2001260907A JP2001260907A JP4658408B2 JP 4658408 B2 JP4658408 B2 JP 4658408B2 JP 2001260907 A JP2001260907 A JP 2001260907A JP 2001260907 A JP2001260907 A JP 2001260907A JP 4658408 B2 JP4658408 B2 JP 4658408B2
Authority
JP
Japan
Prior art keywords
vehicle
imaging
imaging mechanism
map
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001260907A
Other languages
English (en)
Other versions
JP2003078907A (ja
Inventor
貴茂 市川
道昌 井東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2001260907A priority Critical patent/JP4658408B2/ja
Publication of JP2003078907A publication Critical patent/JP2003078907A/ja
Application granted granted Critical
Publication of JP4658408B2 publication Critical patent/JP4658408B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車外の所定領域を撮像し、その写像を車両室内に表示する車両用監視装置に関するものである。
【0002】
【従来の技術】
通常、車両の走行開始時等には、車両周辺の安全確認を行う必要がある。すなわち、車両の周辺に障害物等が存在するおそれがあるため、運転者は車両周辺の状況に注意を払う必要がある。しかし、運転席に着座した状態では、車両の前方、後方、助手席側の側方における車両に近い箇所は目視しにくい。このため、運転者は車両搭乗前に車両の前後や助手席側の側方などに回りこんで安全を確認する必要があり、その確認作業が煩雑であった。
【0003】
そこで従来では、CCDカメラ等の撮像装置によって前記目視し難い箇所を撮像し、その撮像装置によって得られた写像を室内に設けられたモニタに映し出す車両用監視装置が提案されている(例えば、特開平11−78693号公報参照)。こうした車両用監視装置を用いれば、運転者は、運転席に着座した状態で安全確認を行うことができ、確認作業を容易に行うことができるようになる。
【0004】
また、こうした車両用監視装置においては、撮像装置によって撮像可能な領域を広く確保することが望ましい。そこで従来では、例えば図11(a)に示すように、略円錐形状の反射鏡52と、その反射鏡52に映し出された反射像を撮像するCCDカメラ53とを備えた撮像機構51を撮像装置として用いたものが提案されている。この撮像機構51によれば、同図に矢印で示すように、反射鏡52の鏡面には同反射鏡52の周辺が広範囲の領域にわたって反射像として映し出され、CCDカメラ53はその広範囲の領域を撮像することとなる。このため、図11(b)に示すように撮像機構51を車両54の前方位置に配設した場合には、同車両54の前方周辺の所定領域AがCCDカメラ53の撮像領域となる。よって、1台のCCDカメラ53によって広範囲の領域を撮像可能となる。
【0005】
【発明が解決しようとする課題】
ところが、こうした撮像機構51を用いた場合、図11(c)に示すように、CCDカメラ53によって撮像された写像は、反射鏡52の鏡面に従って湾曲した状態となっており、本来の撮像対象の像とはかなり異なっている。このため、この写像を室内に設けられた表示部に表示しても、搭乗者(運転者)は車両周辺の状況を認識しにくいという問題があった。
【0006】
本発明はこうした実情に鑑みてなされたものであり、その目的は、広範囲の領域を確実に撮像することができるとともに、車両搭乗者による車両周辺の状況の認識を確実に行うことができる車両用監視装置を提供することにある。
【0007】
【課題を解決するための手段】
上記の課題を解決するために、請求項1に記載の発明では、車両の周辺を撮像する撮像機構と、その撮像機構によって得られた写像を処理する処理手段と、その処理写像を表示する表示手段とを備えた車両用監視装置において、前記撮像機構は、凸状曲面を有する反射鏡と、その反射鏡に映し出された反射像を撮像する撮像手段とを有し、前記処理手段は、前記写像の湾曲箇所の曲率を低くする補正処理を行い、前記撮像機構は車両の複数箇所に設けられ、前記処理手段は、車両の走行状態に応じて、それら撮像機構によって撮像された各写像のうちの少なくとも1つを前記表示手段に表示させるべき写像として選択する写像選択処理を行うことを要旨とする。
【0009】
請求項に記載の発明では、請求項1に記載の車両用監視装置において、前記表示手段は少なくとも3つの表示画面を有し、前記処理手段は、前記写像の全領域から少なくとも3つの領域を選択し、それら選択された領域の各写像を前記各表示画面に表示させる部分表示処理を行うことを要旨とする。
請求項3に記載の発明では、車両の周辺を撮像する撮像機構と、その撮像機構によって得られた写像を処理する処理手段と、その処理写像を表示する表示手段とを備えた車両用監視装置において、前記撮像機構は、凸状曲面を有する反射鏡と、その反射鏡に映し出された反射像を撮像する撮像手段とを有し、前記処理手段は、前記写像の湾曲箇所の曲率を低くする補正処理を行い、前記表示手段は少なくとも3つの表示画面を有し、前記処理手段は、前記写像の全領域から少なくとも3つの領域を選択し、それら選択された領域の各写像を前記各表示画面に表示させる部分表示処理を行い、前記処理手段は、前記選択された領域の写像の天地方向が実際の天地方向と異なる場合には、該写像を、実際の天地方向と同じ天地方向となるように回転して前記表示画面に表示させる回転表示処理を行うことを要旨とする。
【0010】
請求項4に記載の発明では、請求項に記載の車両用監視装置において、前記処理手段は、前記選択された領域の写像の天地方向が実際の天地方向と異なる場合には、該写像を、実際の天地方向と同じ天地方向となるように回転して前記表示画面に表示させる回転表示処理を行うことを要旨とする。
【0011】
以下、本発明の「作用」について説明する。
請求項1に記載の発明によると、反射鏡は凸状曲面を有しているため、反射鏡には、周辺の広範囲の領域が映し出される。そして、撮像手段は、その反射鏡に映し出された反射像を撮像するようになっているため、反射鏡周辺の広範囲の領域を撮像可能となる。しかも、撮像手段によって得られた写像の湾曲箇所の曲率を低くする補正処理が処理手段によって行われる。このため、表示手段には、本来の撮像対象の像に近い像が表示される。よって、車両搭乗者は、車両周辺の状況を確実に認識可能となる。
【0012】
特に、車両の複数箇所に撮像機構が設けられているため、車両周辺の複数箇所の状況を認識可能となる。そして、それら撮像機構によって撮像された各写像のうちの少なくとも1つが車両の走行状態に応じて選択され、その選択された写像が表示手段に表示される。すなわち、車両の走行状態に応じて必要な写像のみが表示手段に表示される。よって、車両搭乗者は、車両の走行状態に応じて必要な領域の状況を確実に認識可能となる。
【0013】
請求項に記載の発明によると、表示手段の各表示画面には、撮像手段によって撮像された写像の全領域から選択された少なくとも3つの領域の写像がそれぞれ表示される。つまり、1つの表示画面には小領域の写像が表示される。このため、各表示画面に表示される写像を、車両の走行状態に応じて個々に補正・加工(例えば拡大・縮小や回転など)することができ、車両の走行状態に応じたより最適な表示を行うことができる。
請求項3に記載の発明によると、反射鏡は凸状曲面を有しているため、反射鏡には、周辺の広範囲の領域が映し出される。そして、撮像手段は、その反射鏡に映し出された反射像を撮像するようになっているため、反射鏡周辺の広範囲の領域を撮像可能となる。しかも、撮像手段によって得られた写像の湾曲箇所の曲率を低くする補正処理が処理手段によって行われる。このため、表示手段には、本来の撮像対象の像に近い像が表示される。よって、車両搭乗者は、車両周辺の状況を確実に認識可能となる。
そして、表示手段の各表示画面には、撮像手段によって撮像された写像の全領域から選択された少なくとも3つの領域の写像がそれぞれ表示される。つまり、1つの表示画面には小領域の写像が表示される。このため、各表示画面に表示される写像を、車両の走行状態に応じて個々に補正・加工(例えば拡大・縮小や回転など)することができ、車両の走行状態に応じたより最適な表示を行うことができる。
また、反射鏡は凸状曲面を有しているため、撮像手段によって撮像された写像は、場所によっては写像の天地方向が実際の天地方向とは異なる方向を向いた状態となる。よって、回転表示処理を行うことにより、表示画面に表示された写像を認識しやすくすることができる。
【0014】
請求項4に記載の発明によると、反射鏡は凸状曲面を有しているため、撮像手段によって撮像された写像は、場所によっては写像の天地方向が実際の天地方向とは異なる方向を向いた状態となる。よって、回転表示処理を行うことにより、表示画面に表示された写像を認識しやすくすることができる。
【0015】
【発明の実施の形態】
以下、本発明を具体化した一実施形態を図1〜図10に基づき詳細に説明する。
【0016】
図1に示すように、車両1の前部には、第1撮像装置11が配設されている。この第1撮像装置11は、車両ボディの一部である前方側のバンパー2の略中央に配設されている。
【0017】
図3にも併せ示すように、第1撮像装置11は、第1撮像機構12、カバー部13及びアクチュエータとしての第1モータ14を備えている。
図2に示すように、第1撮像機構12は、反射鏡15と撮像手段としてのCCDカメラ16とを備えている。なお、ここでは撮像手段としてCCDカメラ16を用いている。しかし、撮像手段としては、例えば赤外線カメラなど撮像可能なものであれば、CCDカメラ16に限らず適用可能である。
【0018】
図2及び図3に示すように、反射鏡15は凸状の連続曲面を有し(本実施形態では略円錐形状)、表面が鏡面となっている。また、CCDカメラ16は、反射鏡15の鏡面を向いた状態、すなわち反射鏡15の頂部15aと向かい合った状態で配設されている。このため、CCDカメラ16は、反射鏡15の鏡面に映し出された反射像を撮像可能となっている。図2(a)に矢印で模式的に示すように、反射鏡15の鏡面には、反射鏡15周辺の像が広範囲の領域にわたって映し出される。このため、CCDカメラ16によって該鏡面を撮像した場合、同CCDカメラ16はその広範囲の領域を撮像することとなる。
【0019】
図3に示すように、車両1におけるバンパー2の内側には格納空間3が設けられ、第1撮像機構12はこの格納空間3内に配設されている。格納空間3はバンパー2に設けられた連通部2aを介して外部と連通しており、同連通部2aには前記カバー部13が回動可能に取着されている。図1及び図3に示すように、カバー部13はバンパー2の一部によって構成され、支軸13aを介してバンパー2に取着されている。よって、カバー部13は、この支軸13aを支点として回動可能となっている。また、格納空間3内には第1モータ14が配設され、同モータ14の回転軸がリンク機構17を介して撮像機構12に接続されている。この第1モータ14は、バンパー2の内壁面から離間した箇所に配設され、同バンパー2と非接触状態となっている。
【0020】
そして、第1モータ14の駆動により、第1撮像機構12は、図1(c)及び図3(a)に示すように格納空間3内に格納された位置と、図1(b)及び図3(b)に示すように連通部2aを挿通してバンパー2から突出した位置とに移動するようになっている。
【0021】
図3(a)に示すように、格納状態において第1撮像機構12は、CCDカメラ16が上方を向き、且つバンパー2の内壁面から離間するようになっている。これに対し、図3(b)に示すように、突出状態において第1撮像機構12は、CCDカメラ16が車両1の進行方向を向き、且つ反射鏡15がバンパー2よりも外方へ露出するようになっている。そして、第1モータ14は、第1撮像機構12の非作動時に同撮像機構12を格納空間3内に格納し、第1撮像機構12の作動時に同撮像機構12をバンパー2から突出させるようになっている。
【0022】
したがって、図2(b)に示すように、第1撮像機構12の作動時には、車両1の直前箇所とその左右方向とを含む所定領域A内の像が反射鏡15に映し出され、その像がCCDカメラ16によって撮像される。すなわち、車両1の前方の所定領域AがCCDカメラ16の撮像領域となる。
【0023】
また、図3(a)に示すように、第1撮像機構12の格納状態においては、カバー部13がバンパー2の連通部2aに合致し、同カバー部13によって格納空間3が閉塞された状態となる。これに対し、第1撮像機構12の作動時には、同撮像機構12の先端がカバー部13を押し開いて反射鏡15をバンパー2よりも外方に露出させるようになっている。そして、この状態においてカバー部13は、第1撮像機構12の上部を覆った状態となる。すなわち、カバー部13のみを積極的に駆動するアクチュエータなどは設けられておらず、カバー部13は第1撮像機構12に従動するようになっている。なお、カバー部13は、第1撮像機構12を格納する際には、自重またはバネ力等により格納空間3を閉塞する方向へ回動する。
【0024】
ところで、図2(b)及び図4に示すように、車両1の後方側のバンパー4の略中央には、第1撮像装置11と同等の構成をなす第2撮像装置18が配設されている。この第2撮像装置18は、前記撮像機構12と同じ構成をなす第2撮像機構19と、同バンパー4の一部によって構成されたカバー部4aとを備えている。また、第2撮像機構19は、図6に示す第2モータ20の駆動により、後方バンパー4内に格納された状態と、同バンパー4から突出した状態とに移動するようになっている。そして、図4に示すように、第2撮像機構19は、バンパー4から突出した状態においてカバー部4aによって上部が覆われた状態となる。すなわち、この第2撮像装置18は、前記第1撮像装置11におけるカバー部13を後方バンパー4の一部によって構成されたカバー部4aに変更したものであり、カバー部4a以外は第1撮像装置11と同じ構成をなしている。
【0025】
したがって、図2(b)に示すように、第2撮像機構19の作動時には、車両1の後方近辺とその左右方向とを含む所定領域B内の像が反射鏡15に映し出され、その像がCCDカメラ16によって撮像される。すなわち、車両1の後方の所定領域BがCCDカメラ16の撮像領域となる。
【0026】
また、図2(b)及び図5に示すように、車両1の助手席側のドアミラー(本実施形態においては右ハンドル車両における左方のドアミラー)5には、第1撮像機構12と同じ構成をなす第3撮像機構21が配設されている。図5に示すように、ドアミラー5は、ハウジング6と鏡部7とを備えている。ハウジング6の下端部6aには開口部6bが設けられ、この開口部6bには透明樹脂材等からなる可視カバー8が取着されている。このため、可視カバー8を通してハウジング6内が可視状態となっている。そして、ハウジング6内において開口部6bが設けられた箇所に、第3撮像機構21が配設されている。
【0027】
この第3撮像機構21は、反射鏡15の頂部15aがハウジング6の基端部6c側を向くように配設されている。また、反射鏡15は、可視カバー8を介して可視状態となるとともに、上部がハウジング6によって覆われた状態となるように配設されている。換言すれば、反射鏡15は、上部がハウジング6によって覆われ、他の部分が外部から可視状態となっている。すなわち、ハウジング6が第3撮像機構21の上部を覆うカバー部として機能する。一方、CCDカメラ16は、ハウジング6内において、反射鏡15の鏡面を向いた状態、すなわちハウジング6の先端側を向いた状態で配設されている。このため、CCDカメラ16は、反射鏡15の鏡面に映し出された反射像を撮像可能となっている。また、CCDカメラ16は、反射鏡15よりもハウジング6の基端部6c側に配設されている。換言すれば、反射鏡15は、CCDカメラ16よりもドアミラー5の先端側に配設されている。
【0028】
したがって、図2(b)に示すように、第3撮像機構21の作動時には、車両1の助手席側の側方周辺における所定領域C内の像が反射鏡15に映し出され、その像がCCDカメラ16によって撮像される。すなわち、該所定領域CがCCDカメラ16の撮像領域となる。
【0029】
このように構成された第1撮像装置11、第2撮像装置18及び第3撮像機構21は、車両の周辺を監視する車両用監視装置に用いられる。そこで、本実施形態における車両用監視装置を図6に従って説明する。
【0030】
図6に示すように、車両用監視装置31は、前記第1及び第2撮像装置11,18と、第3撮像機構21と、処理手段としての処理部32と、表示手段としての表示部33と、操作部34とを備えている。
【0031】
表示部33は、例えばインナーミラーに設けられた液晶モニタ、ヘッドアップディスプレイ、ナビゲーションシステムの画面等によって構成され、処理部32に電気的に接続されている。なお、本実施形態において表示部33は、図7に示すように、インナーミラー22に内蔵された液晶モニタによって構成されている。詳しくは、インナーミラー22は、保持筐体23、ハーフミラー24及び表示部33を備えている。表示部33はそれぞれ同形同大の3つの表示画面33a〜33cを備え、各表示画面33a〜33cはそれぞれ所定間隔をあけて横に並んだ状態となっている。こうしたインナーミラー22は、表示部33の作動時に、前記各第1〜第3撮像機構12,19,21によって得られた像を各表示画面33a〜33cに表示する。また、インナーミラー22は、表示部33の非作動(非表示)時には通常のインナーミラーとして機能する。
【0032】
操作部34は、例えばインナーミラー22やインストルメントパネルなど、運転席の近辺に設けられた操作スイッチ等からなり、処理部32に電気的に接続されている。この操作部34は、各撮像機構12,19,21を自動的に作動させる自動作動モードと、各撮像機構12,19,21を手動で作動させる手動作動モードとに選択的に切り換え可能となっている。なお、手動作動モードでは、さらに前方モード、側方モード、後方モードに切り換え可能となっている。
【0033】
処理部32は、具体的には図示しないCPU、ROM、RAMからなるCPUユニットであり、前記各撮像機構12,19,21によって撮像された各写像のデータが入力されるようになっている。また、処理部32には、ウインカスイッチ35、シフトポジションセンサ36及びナビゲーションシステム37が電気的に接続されている。さらに、処理部32には、車速及びステアリングの舵角が入力されるようになっている。
【0034】
そして、まず処理部32は、ウインカスイッチ35、シフトポジションセンサ36及びナビゲーションシステム37からの出力信号と、車速及びステアリングの舵角とに基づき、各撮像機構12,19,21のうちのいずれか1つを作動させる作動制御処理を行う。そこで、この処理部32によって行われる作動制御処理を、図8に示すフローチャートに従って説明する。
【0035】
まず、ステップS1において処理部32は、本システムを初期状態に設定するシステム初期化処理を行う。
次に、ステップS2において処理部32は、シフトポジションセンサ36からの出力信号に基づき、シフトポジションがリバースポジション(Rレンジ)に位置しているか否かを判断する。そして、シフトポジションがRレンジに位置していれば、処理部32は、ステップS3の処理へ移行し、第2撮像機構19を作動させる処理を行う。また、シフトポジションがRレンジに位置していなければ、処理部32は、ステップS4の処理へ移行する。
【0036】
ステップS4において処理部32は、操作部34の操作状態に基づき、自動作動モードであるか否かを判断する。そして、処理部32は、自動作動モードであればステップS5の処理へ移行する。
【0037】
ステップS5において処理部32は、車速が予め設定された所定速度(例えば20km/h)以下であるか否かを判断する。そして、処理部32は、車速が所定速度以下であればステップS6の処理へ移行し、車速が所定速度を超えていればここでの処理を一旦終了する。
【0038】
ステップS6において処理部32は、ナビゲーションシステム37からの出力信号に基づき、車両1が交差点近辺に位置しているか否かを判断する。詳しくは、処理部32は、車両1が交差点に近づいているか否かを判断する。そして、処理部32は、車両1が交差点近辺に位置しているときにはステップS7の処理へ移行し、車両1が交差点近辺に位置していないときにはここでの処理を一旦終了する。すなわち、処理部32は、車両1が交差点に近づいているときにのみステップS7の処理へ移行する。
【0039】
ステップS7において処理部32は、ウインカスイッチ35が左折すべく操作されているか否かを判断する。そして、処理部32は、ウインカスイッチ35が左折すべく操作されているときにはステップS8の処理へ移行する。
【0040】
ステップS8において処理部32は、舵角に基づき、車両1が左折中か否かを判断する。そして、処理部32は、車両1が左折中であればステップS9の処理へ移行し、同ステップS9において第3撮像機構21を作動させる処理を行い、ここでの処理を一旦終了する。
【0041】
また、処理部32は、ステップS7においてウインカスイッチ35が左折すべく操作されていないとき、またはステップS8において左折中でないときには、ステップS10の処理へ移行する。そして、処理部32は、ステップS10において第1撮像機構12を作動させる処理を行い、ここでの処理を一旦終了する。
【0042】
ところで、前記ステップS4において自動作動モードでないとき、すなわち手動作動モードであるときには、処理部32はステップS11の処理へ移行する。
このステップS11において処理部32は、前方作動モードであるか否かを判断する。そして、処理部32は、前方作動モードであれば前記ステップS10の処理へ移行し、第1撮像機構12を作動させる。また、処理部32は、前方作動モードでなければステップS12の処理へ移行する。
【0043】
ステップS12において処理部32は、側方作動モードであるか否かを判断する。そして、処理部32は、側方作動モードであれば前記ステップS9の処理へ移行し、第3撮像機構21を作動させる。また、処理部32は、側方作動モードでない場合、すなわち後方作動モードである場合には前記ステップS3の処理へ移行し、第2撮像機構19を作動させる。
【0044】
したがって、処理部32は、シフトポジションがRレンジに位置しているときには、自動作動モード、手動作動モードにかかわらず、無条件で第2撮像機構19を作動させる。また、自動作動モードにおいて、車両1の車速が所定速度以下であり、且つ車両1が交差点近辺に位置している状態で左折動作が行われたときには、処理部32は第3撮像機構21を作動させる。さらに、自動作動モードにおいて、車両1の車速が所定速度以下であり、且つ車両1が交差点近辺に位置している状態で左折動作が行われないときには、処理部32は第1撮像機構12を作動させる。例えば、図9(a)に示すように、車両1が交差点に低速で進入しようとする場合などには第1撮像機構12が作動する。
【0045】
そして、処理部32は、第1撮像機構12の作動時には、前記第1モータ14を駆動して第1撮像機構12を前方バンパー2から突出させ、同第1撮像機構12による撮像を開始させる。また、処理部32は、第2撮像機構19の作動時には、前記第2モータ20を駆動して第2撮像機構19を後方バンパー4から突出させ、同第2撮像機構19による撮像を開始させる。
【0046】
ところで、図9(b)に示すように、CCDカメラ16によって撮像された写像は、反射鏡15の鏡面に従って湾曲した状態となっており、本来の撮像対象の像とはかなり異なっている。そこで、処理部32では、CCDカメラ16によって撮像された写像を、本来の撮像対象の像に近づけるための補正処理を行うようになっている。なお、ここでは第1撮像機構12の作動時における補正処理について説明する。
【0047】
詳しくは、まず処理部32は、図9(b)に示した写像のデータが入力されると、その写像の湾曲部の曲率を低くする第1補正処理を行う。これにより、処理写像は、図10(a)に示すように、湾曲部の曲率が低くなった像となる。また、同図に示すように、CCDカメラ16は反射鏡15の反射像を撮像するため、写像は本来の撮像対象の像を左右反転したものとなる。よって、図10(b)に示すように、処理部32は、第1補正された処理写像を左右反転させる第2補正処理を行う。これにより、第2補正された処理写像は、本来の撮像対象の像に近づいた像となる。
【0048】
続いて処理部32は、第2補正された処理写像の全領域Aから少なくとも3つの領域(ここでは領域A1〜A3)を選び出し、その選び出した領域A1〜A3を前記表示部33に表示させる部分表示処理を行う。詳しくは、図10(b)に破線で示すように、処理部32は、処理写像の全領域Aから、第1撮像機構12の左方向の領域A1と、車両1の直前の領域A2と、第1撮像機構12の右方向の領域A3とを選択する。ここで、領域A1及び領域A3の写像の天地方向は実際の天地方向と異なる方向を向いている。このため、図10(c)に示すように、処理部32は、領域A1及び領域A3の写像を、実際の天地方向と同じ天地方向となるように回転する回転処理を行う。そして、処理部32は、それら各領域A1〜A3の写像を、前記表示部33の各表示画面33a〜33cにそれぞれ表示させる。すなわち、表示部33には、各領域A1〜A3の写像がそれぞれ区画された状態で個別に表示される。なお、前記各領域A1〜A3は全領域Aのうちの一部分であればどの部分であってもよく、例えば各領域A1〜A3同士が互いに重なっていてもよい。
【0049】
よって、図9及び図10に示すように、車両1の直前位置において運転席から視認しにくい箇所に障害物等が存在していても、運転者はその旨を容易に認識可能となる。また、第1撮像機構12の左右方向の像が表示部33に表示されるため、交差点の左右方向を視認可能な位置まで車両1を進入しなくても、運転者は同左右方向の状況を認識可能となる。
【0050】
なお、第2撮像機構19の作動時には、処理部32は、車両1の後方近辺とその左右方向とを含む所定領域B内の像を表示部33に部分表示する。すなわち、車両1の後退時には、該領域B内の像が表示部33に部分表示される。このため、運転者は、車両1の後方において視認しにくい箇所の状況を容易に認識可能となる。また、第3撮像機構21の作動時には、処理部32は、車両1の助手席側における側方周辺の所定領域C内の像を表示部33に部分表示する。すなわち、車両1の左折時には、該領域C内の像が表示部33に部分表示される。このため、運転者は、巻き込み確認等を容易に行うことが可能となる。
【0051】
したがって、本実施形態によれば以下のような効果を得ることができる。
(1) 反射鏡15は凸状曲面を有しているため、反射鏡15には、その周辺の広範囲の領域が映し出される。そして、CCDカメラ16は、その反射鏡15に映し出された反射像を撮像するようになっているため、反射鏡15周辺の広範囲の領域を撮像可能となる。しかも、処理部32は、CCDカメラ16によって撮像された写像の湾曲箇所の曲率を低くする補正処理を行うようになっている。このため、表示部33には、本来の撮像対象の像に近い像が表示される。よって、車両搭乗者は、車両1の周辺の状況を確実に認識することができる。
【0052】
(2)車両1の前方位置に第1撮像機構12、後方位置に第2撮像機構19、助手席側の側方位置に第3撮像機構21がそれぞれ設けられている。すなわち、車両1の複数箇所に撮像機構12,19,21が設けられている。このため、車両1の搭乗者は、車両1周辺の複数箇所の状況を認識することができる。そして、表示部33には、それら撮像機構12,19,21によって撮像された各写像のうち、車両1の走行状態に応じて必要な写像のみが表示される。よって、車両搭乗者は、必要な領域の写像を選び出すことなく、同必要な領域の写像を確実に認識することができる。
【0053】
(3)表示部33の各表示画面33a〜33cには、撮像機構12(19,21)によって撮像された写像の全領域A(B,C)から選択された3つの領域A1〜A3の写像がそれぞれ表示される。つまり、1つの表示画面33a〜33cには小領域の写像が表示される。このため、各表示画面33a〜33cに表示される写像を、車両1の走行状態に応じて個々に回転表示処理することができる。
【0054】
(4)実際の天地方向と異なる天地方向で撮像された写像も、表示部33には実際の天地方向と同じ方向で表示される。このため、車両搭乗者は、該写像をより確実に認識することができる。
【0055】
(5)処理部32は、撮像機構12,19,21のうちの1つのみを、車両の走行状態に応じて必要な撮像機構として作動させるようになっている。すなわち、撮像機構12,19,21は、2つ以上が同時に作動しないようになっている。このため、撮像機構12,19,21を2つ以上が同時に作動させた場合に比べて、電力消費量を小さくすることができる。
【0056】
(6)第1及び第2撮像機構12,19は、作動時にのみバンパー2,4から突出し、非作動時には車両1内に格納されるようになっている。よって、車両1の美観を損なうこともない。また、第1及び第2撮像機構12,19は、常にバンパー2,4から突出した状態となるように配設されている場合に比べて、外力を受けにくく、該外力に起因する撮像機構12,19の故障等を防止することができる。しかも、該撮像機構12,19が汚れにくくなり、車両周辺の写像を確実に撮像することができる。
【0057】
(7)第1及び第2撮像機構12,19の突出時には、同撮像機構12,19の上部がカバー部13,4aによって覆われた状態となる。このため、反射鏡15に対する入射光の方向が規制され、反射鏡15の上方からは光が入射しなくなる。よって、直射日光などの強い光が反射鏡15に入射してしまうことが防止され、該光によって反射像が霞んでしまうといった不都合を防止することができる。したがって、明瞭な写像をCCDカメラ16によって撮像することができ、表示部33に明瞭な像を確実に表示させることができる。
【0058】
(8)第1及び第2撮像機構12,19の格納時には、カバー部13,4aが同撮像機構12,19に連動し、同カバー部13,4aによって撮像機構12,19の格納箇所(第1撮像機構12においては格納空間3)が閉塞される。このため、撮像機構12,19の格納箇所に異物等が入り込みにくくなり、該異物等によって撮像機構12,19の出没動作に支障が生じてしまうのを防止することができる。しかも、カバー部13,4aは車両ボディの一部であるバンパー2,4によって構成されているため、撮像機構12,19の格納状態においては同撮像機構12,19の格納箇所が確実に隠れた状態となる。よって、車両1の美観が損われてしまうことも確実に防止することができる。また、車両1の空力特性の低下も防止される。
【0059】
(9)車両1の前方位置に配設された第1撮像機構12は、車速が所定速度以下にあり、且つ車両1が交差点に近づいたときに自動的に作動するようになっている。つまり、車速が所定速度を超えた状態、または交差点近辺に車両1が位置していない状態においては、第1撮像機構12は車両1内に格納された状態となる。また、車両1の後方位置に配設された第2撮像機構19は、シフトポジションがリバースポジションに位置しているときに自動的に作動する。つまり、シフトポジションがリバースポジションに位置していないときにおいては、第2撮像機構19は車両1内に格納された状態となる。一般に、見通しの悪い交差点に車両1が進入するときなどに前方周辺の撮像が必要となり、こうした場合は通常車速が低い状態にある。また、車両1の後退時に後方周辺の撮像が必要となる。このため、必要なときにのみ必要な撮像機構12,19を作動させることができるようになり、不必要なときには撮像機構12,19を車両内に格納しておくことができる。よって、撮像機構12,19は外力を受けにくくなり、該外力に起因する撮像機構12,19の故障等を防止することができる。
【0060】
(10)第1及び第2撮像機構12,19は、車両1内に格納された状態では、CCDカメラ16が上方を向き、且つバンパー2,4の内壁面から離間するようになっている。このため、バンパー2,4に外力が加わっても、その外力が撮像機構12,19には及びにくい。よって、該外力に起因する第1及び第2撮像機構12,19の故障等をより確実に防止することができる。
【0061】
(11)第1及び第2撮像装置11,18は、バンパー2,4に配設されている。一般にバンパーは車両の最前方及び最後方に設けられている。このため、バンパー2,4に撮像装置11,18を設けることにより、第1及び第2撮像機構12,19は、少ない移動量で車両1から突出する。よって、各撮像装置11,18を単純な構成とすることができる。
【0062】
(12)モータ14,20は撮像機構12,19全体を移動させるようになっている。このため、反射鏡15とCCDカメラ16との相対位置にズレが生じることがない。よって、CCDカメラ16によって撮像される写像の領域にバラツキが生じることがない。
【0063】
なお、本発明の実施形態は以下のように変更してもよい。
・ 前記実施形態において処理部32は、自動作動モードにおいて、車両1の車速が所定速度以下であり、且つ車両1が交差点近辺に位置している状態で左折動作が行われたときにのみ第3撮像機構21を作動させるようになっている。しかし、処理部32は、第3撮像機構21を常に作動させるようになっていてもよい。そして、処理部32は、第3撮像機構21によって障害物等の異物が撮像され、且つ舵角に基づいて車両1が左方向に向かっていると判断したときには、同第3撮像機構21によって撮像された写像を表示部33に優先的に表示させるようになっていてもよい。このようにすれば、運転者の無意識な操作によって車両1が異物の方向に向かっていたとしても、運転者は進行方向に異物が存在する旨を確実に認識することができる。このため、車両1が異物に接触してしまうことを未然に防ぐことが可能となる。
【0064】
・ 前記実施形態において撮像機構12,19,21は、選択的に作動するようになっている。しかし、これら撮像機構12,19,21は、全て同時に作動するようになっていてもよい。そして、処理部32は、それら撮像機構12,19,21によって撮像された写像を選択的に表示部33に表示させる処理を行うようになっていてもよい。
【0065】
・ 前記実施形態において第1及び第2撮像機構12,19は、車両1に出没可能に配設されている。しかし、これら撮像機構12,19は、車両1に出没可能となっていなくてもよい。すなわち、各撮像機構12,19は、常に車両1から突出した状態で配設されていてもよい。このようにすれば、第1及び第2撮像装置11,18を構成するモータ14,20を省略することができ、同撮像装置11,18の構成を簡略化することができる。
【0066】
・ 前記処理部32は、写像の全領域から部分的に選択した領域の各写像を個別に拡大・縮小したり、該写像の湾曲箇所の曲率をさらに低く補正するなどの補正・加工処理を行うようになっていてもよい。このようにすれば、車両1の走行状態に応じたより最適な表示を行うことができる。
【0067】
・ 前記実施形態では、車両1の前方位置、後方位置及び助手席側の側方位置に、それぞれ第1〜第3撮像機構12,19,21が配設されている。しかし、これらの位置に限らず、車両1のどの位置に撮像機構12,19,21を配設してもよい。また、車両1に配設される撮像機構の数は、3つに限らず、2つ以下や4つ以上であってもよい。
【0068】
・ 前記実施形態において表示部33は、3つの表示画面33a〜33cを備えている。しかし、表示部33は、2つ以下または4つ以上の表示画面を備えていてもよい。
【0069】
・ 前記実施形態において処理部32は、部分表示処理において写像から3つの領域を選択するようになっている。しかし、この選択数は、3つに限らず、2つ以下や4つ以上であってもよい。また、処理部32は、こうした部分表示処理を行わないようになっていてもよい。
【0070】
・ 前記実施形態において表示部33の各表示画面33a〜33cには、1つの撮像機構12(19,21)の写像のみが表示されるようになっている。しかし、これら表示画面33a〜33cの各々に、各撮像機構12,19,21の写像が表示されるようになっていてもよい。つまり、各表示画面33a〜33cの1画面ずつに、車両1の前方周辺、後方周辺、側方周辺の写像がそれぞれ表示されるようになっていてもよい。
【0071】
・ 前記実施形態において処理部32は、実際の天地方向と異なる天地方向で撮像された写像を、実際の天地方向と同じ方向で表示部33に表示する回転表示処理を行うようになっている。しかし、処理部32は、こうした回転表示処理を行わないようになっていてもよい。
【0072】
・ 前記実施形態において第1撮像機構12は、車速が所定速度以下であり、且つ車両1が交差点に近づいたときに自動的に作動するようになっている。しかし、第1撮像機構12は、車速が所定速度以下であり、且つ車両1が信号のない交差点に近づいたときにのみ第1撮像機構12を自動的に作動するようになっていてもよい。また、第1撮像機構12は、交差点の有無にかかわらず、車速が所定速度以下であるときに自動的に作動するようになっていてもよい。
【0073】
・ 前記実施形態において反射鏡15は、略円錐形状をなしている。しかし、反射鏡15の形状は略円錐形状に限らず、例えば凸状の球面など、凸状の連続曲面を有する形状であればよい。
【0074】
・ 前記実施形態において第1撮像機構12の上部はカバー部13によって覆われ、第2撮像機構19の上部はカバー部4aによって覆われるようになっている。しかし、撮像機構12,19の上部は、必ずしもカバー部13,4aによって覆われるようになっていなくてもよい。
【0075】
次に、特許請求の範囲に記載された技術的思想のほかに、前述した実施形態によって把握される技術的思想を以下に列挙する。
(1) 車両の周辺を撮像する撮像機構と、その撮像機構によって得られた写像を処理する処理手段と、その処理写像を表示する表示手段とを備えた車両用監視装置において、前記撮像機構は、凸状曲面を有する反射鏡とその反射鏡に映し出された反射像を撮像する撮像手段とを有するとともに、車両の複数箇所に設けられ、前記処理手段は、車両の走行状態に応じて、それら撮像機構によって撮像された各写像のうちの少なくとも1つを前記表示手段に表示させるべき写像として選択する写像選択処理を行うこと。
【0076】
【発明の効果】
以上詳述したように、請求項1,3に記載の発明によれば、広範囲の領域を確実に撮像することができるとともに、車両搭乗者による車両周辺の状況の確実な認識が可能となる。
【0077】
請求項に記載の発明によれば、車両搭乗者は、車両の走行状態に応じて必要な領域の状況を確実に認識することができる。
請求項2〜4に記載の発明によれば、車両搭乗者による車両周辺の状況のより確実な認識が可能となる。
【図面の簡単な説明】
【図1】(a)は本発明の一実施形態の車両用撮像装置を備えた車両の斜視図、(b),(c)は同撮像装置の配設部位を拡大して示す斜視図。
【図2】(a)は同実施形態に用いられる撮像機構を示す斜視図、(b)は同撮像機構の撮像領域を示す車両の平面図。
【図3】図1(b)のA−A線断面図。
【図4】同実施形態の車両を後方から見た斜視図。
【図5】同実施形態の車両のドアミラーを示す斜視図。
【図6】同実施形態の車両用監視装置の概略構成を示すブロック図。
【図7】同実施形態の車両のインナーミラーを示す正面図。
【図8】同実施形態の車両用監視装置の処理手段によって行われる処理を示すフローチャート。
【図9】(a)は同実施形態の車両の走行位置を示す平面図、(b)は同実施形態の撮像手段によって得られた写像を示す概略図。
【図10】(a)〜(c)は、同実施形態の車両用監視装置の処理手段によって処理された写像を示す概略図。
【図11】(a)は従来の車両用撮像機構を示す斜視図、(b)は同撮像機構の撮像領域を示す車両の平面図、(c)は同撮像機構によって得られた写像を示す概略図。
【符号の説明】
1…車両、2,4…バンパー、3…格納空間、5…ドアミラー、11…第1撮像装置、12…第1撮像機構、13,4a…カバー部、14,20…アクチュエータとしてのモータ、15…反射鏡、16…撮像手段としてのCCDカメラ、18…第2撮像装置、19…第2撮像機構、21…第3撮像機構、31…車両用監視装置、32…処理手段としての処理部、33…表示手段としての表示部。

Claims (4)

  1. 車両の周辺を撮像する撮像機構と、その撮像機構によって得られた写像を処理する処理手段と、その処理写像を表示する表示手段とを備えた車両用監視装置において、
    前記撮像機構は、凸状曲面を有する反射鏡と、その反射鏡に映し出された反射像を撮像する撮像手段とを有し、
    前記処理手段は、前記写像の湾曲箇所の曲率を低くする補正処理を行い、
    前記撮像機構は車両の複数箇所に設けられ、前記処理手段は、車両の走行状態に応じて、それら撮像機構によって撮像された各写像のうちの少なくとも1つを前記表示手段に表示させるべき写像として選択する写像選択処理を行うことを特徴とする車両用監視装置。
  2. 前記表示手段は少なくとも3つの表示画面を有し、前記処理手段は、前記写像の全領域から少なくとも3つの領域を選択し、それら選択された領域の各写像を前記各表示画面に表示させる部分表示処理を行うことを特徴とする請求項1に記載の車両用監視装置。
  3. 車両の周辺を撮像する撮像機構と、その撮像機構によって得られた写像を処理する処理手段と、その処理写像を表示する表示手段とを備えた車両用監視装置において、
    前記撮像機構は、凸状曲面を有する反射鏡と、その反射鏡に映し出された反射像を撮像する撮像手段とを有し、
    前記処理手段は、前記写像の湾曲箇所の曲率を低くする補正処理を行い、
    前記表示手段は少なくとも3つの表示画面を有し、前記処理手段は、前記写像の全領域から少なくとも3つの領域を選択し、それら選択された領域の各写像を前記各表示画面に表示させる部分表示処理を行い、
    前記処理手段は、前記選択された領域の写像の天地方向が実際の天地方向と異なる場合には、該写像を、実際の天地方向と同じ天地方向となるように回転して前記表示画面に表示させる回転表示処理を行うことを特徴とする車両用監視装置。
  4. 前記処理手段は、前記選択された領域の写像の天地方向が実際の天地方向と異なる場合には、該写像を、実際の天地方向と同じ天地方向となるように回転して前記表示画面に表示させる回転表示処理を行うことを特徴とする請求項に記載の車両用監視装置。
JP2001260907A 2001-08-30 2001-08-30 車両用監視装置 Expired - Fee Related JP4658408B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001260907A JP4658408B2 (ja) 2001-08-30 2001-08-30 車両用監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001260907A JP4658408B2 (ja) 2001-08-30 2001-08-30 車両用監視装置

Publications (2)

Publication Number Publication Date
JP2003078907A JP2003078907A (ja) 2003-03-14
JP4658408B2 true JP4658408B2 (ja) 2011-03-23

Family

ID=19088028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001260907A Expired - Fee Related JP4658408B2 (ja) 2001-08-30 2001-08-30 車両用監視装置

Country Status (1)

Country Link
JP (1) JP4658408B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005145151A (ja) * 2003-11-12 2005-06-09 Nissan Motor Co Ltd 車両周辺確認補助装置および車両周辺映像表示方法
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP2008238974A (ja) * 2007-03-27 2008-10-09 Pioneer Electronic Corp 視認装置、視認方法、視認プログラム、および記録媒体
JP5087051B2 (ja) * 2009-07-02 2012-11-28 富士通テン株式会社 画像生成装置及び画像表示システム
JP5966341B2 (ja) * 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
JP2013130455A (ja) * 2011-12-21 2013-07-04 Denso Corp 車両用障害物検出装置
JP5466743B2 (ja) * 2012-09-06 2014-04-09 富士通テン株式会社 画像生成装置及び画像表示システム
JP5937148B2 (ja) * 2014-07-09 2016-06-22 有限会社ハートフルクリエーション 安全確認のために伸長及び/または傾倒可能な車載カメラユニット
KR102520108B1 (ko) * 2016-06-07 2023-04-11 삼성디스플레이 주식회사 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치
CN115570953A (zh) 2016-08-23 2023-01-06 株式会社阿尔发 车门及车辆
JP7106859B2 (ja) * 2017-12-27 2022-07-27 トヨタ自動車株式会社 画像表示装置
JP7285611B2 (ja) * 2019-01-25 2023-06-02 美里工業株式会社 車両用ミラー

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06227318A (ja) * 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
JPH09202180A (ja) * 1996-01-29 1997-08-05 Niles Parts Co Ltd 車載カメラ装置
JPH1178692A (ja) * 1997-09-03 1999-03-23 Nissan Motor Co Ltd 車両用映像提示装置
JP2000118298A (ja) * 1998-10-14 2000-04-25 Daihatsu Motor Co Ltd 車両用モニタ装置
JP2001014455A (ja) * 1999-07-01 2001-01-19 Nissha Printing Co Ltd 画像処理方法およびこれに用いる画像処理装置、記録媒体
JP2001045470A (ja) * 1999-07-27 2001-02-16 Ichikoh Ind Ltd 車両用確認装置
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2001086375A (ja) * 1999-09-09 2001-03-30 Matsushita Electric Ind Co Ltd 回転台付カメラ
JP2002036954A (ja) * 2000-05-18 2002-02-06 Suekage Sangyo Kk 車両周辺監視装置および車両周辺監視システム
JP2002218451A (ja) * 2000-10-11 2002-08-02 Sharp Corp 移動体の周囲監視装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06227318A (ja) * 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
JPH09202180A (ja) * 1996-01-29 1997-08-05 Niles Parts Co Ltd 車載カメラ装置
JPH1178692A (ja) * 1997-09-03 1999-03-23 Nissan Motor Co Ltd 車両用映像提示装置
JP2000118298A (ja) * 1998-10-14 2000-04-25 Daihatsu Motor Co Ltd 車両用モニタ装置
JP2001014455A (ja) * 1999-07-01 2001-01-19 Nissha Printing Co Ltd 画像処理方法およびこれに用いる画像処理装置、記録媒体
JP2001045470A (ja) * 1999-07-27 2001-02-16 Ichikoh Ind Ltd 車両用確認装置
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2001086375A (ja) * 1999-09-09 2001-03-30 Matsushita Electric Ind Co Ltd 回転台付カメラ
JP2002036954A (ja) * 2000-05-18 2002-02-06 Suekage Sangyo Kk 車両周辺監視装置および車両周辺監視システム
JP2002218451A (ja) * 2000-10-11 2002-08-02 Sharp Corp 移動体の周囲監視装置

Also Published As

Publication number Publication date
JP2003078907A (ja) 2003-03-14

Similar Documents

Publication Publication Date Title
US10343607B2 (en) Viewing device for vehicle
US10974651B2 (en) Vehicle
JP6148887B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP2003054316A (ja) 車両用撮像装置、車両用監視装置及びドアミラー
JP6568603B2 (ja) 車両用画像表示システム及びその画像表示システムを搭載した車両
JP4593070B2 (ja) 車両の画像処理装置
CN104163133B (zh) 使用后视镜位置的后视摄像机系统
JP4658408B2 (ja) 車両用監視装置
CN108621944B (zh) 车辆用视觉辨认装置
US20120257058A1 (en) Image processing device, image processing system, and image processing method
EP1106435A1 (en) Vehicle image acquisition and display assembly
JP6886106B2 (ja) 電子ミラーシステム、自動車用ドア及び自動車
JP2000227999A (ja) 運転支援装置
WO2018061680A1 (ja) 車両用視認装置
CN113165667A (zh) 调节摄像机的视角的车辆用全景监控系统及其方法
JP2000168475A (ja) 駐車支援装置
WO2006027563A1 (en) View enhancing system for a vehicle
JP2010247645A (ja) 車載カメラ
JP2011189775A (ja) 車両の後側方確認装置
JP6815697B2 (ja) 後方視認用カメラ構造
JP2000272418A (ja) 車両用周辺確認装置
JP4207298B2 (ja) 運転支援画像合成装置
KR20190091629A (ko) 자동차의 a-필러측 사각지대 관찰장치
JPH11245729A (ja) 車両用後方確認装置
JP6365600B2 (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4658408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees