JP4552305B2 - 画像表示装置および表示方法 - Google Patents

画像表示装置および表示方法 Download PDF

Info

Publication number
JP4552305B2
JP4552305B2 JP2000302713A JP2000302713A JP4552305B2 JP 4552305 B2 JP4552305 B2 JP 4552305B2 JP 2000302713 A JP2000302713 A JP 2000302713A JP 2000302713 A JP2000302713 A JP 2000302713A JP 4552305 B2 JP4552305 B2 JP 4552305B2
Authority
JP
Japan
Prior art keywords
road
environment
driving environment
image display
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000302713A
Other languages
English (en)
Other versions
JP2002109696A (ja
Inventor
留美 皆川
浩 斎藤
泰秀 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2000302713A priority Critical patent/JP4552305B2/ja
Publication of JP2002109696A publication Critical patent/JP2002109696A/ja
Application granted granted Critical
Publication of JP4552305B2 publication Critical patent/JP4552305B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両用画像表示装置および方法に関し、特に、運転手が画像表示装置のON/OFF操作をした時の走行環境を記憶し、現在の走行環境と記憶された走行環境より、画像表示装置のON/OFFの操作を判断する画像表示装置および方法に関する。
【0002】
【従来の技術】
自動的に車両の周囲画像を表示させる例として、特開平10−274534号公報に開示されたように、運転手が周囲画像を表示する操作を行った地点を記憶しておき、再度その記憶した地点を走行した場合に周囲画像を表示させるものがある。
【0003】
【発明が解決しようとする課題】
ところで、画像表示装置は、一度も走行したことのないような不慣れな道路で、遮蔽物があるような走行環境の時、作動することが最も効果的である。
【0004】
しかしながら、従来の画像表示装置においては、単に運転手が表示操作をさせた場合に、その地点を記憶し、その地点を走行した場合にのみ画像表示装置を作動させるため、一度も走行したことのない走行環境では自動的には周囲画像の表示は行われなかった。そのため、運転手にとって不慣れな場所で、はじめて走行した場合などには、周囲画像表示装置を効果的に作動させることができなかった。
【0005】
また、運転手が単に興味本位で操作した場合、再度その地点を走行した時には、所定の条件を満たすと必要のない周辺画像が表示されるという問題があった。
【0006】
本発明は、このような従来技術の問題点に鑑みてなされたものであり、運転手が画像表示装置のON/OFFの操作をした時の走行環境を記憶することにより、現在の走行環境と記憶された走行環境より画像表示装置のON/OFFを判断し、より効果的に周囲画像を表示する画像表示装置および方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
(1)上記目的を達成するために、請求項1記載の発明によれば、車両の走行環境を検出する走行環境検出手段と、前記車両の周囲画像を撮像する周囲画像撮像手段と、前記周囲画像撮像手段によって撮像された周囲画像を表示する表示手段と、前記表示手段を作動させる操作手段と、前記操作手段により前記表示手段のON/OFF操作をしたときのON/OFFの操作頻度を含む作動情報と、前記ON/OFFの操作をしたときの走行環境とを記憶する記憶手段と、前記記憶手段によって記憶されたON/OFFの作動情報および前記走行環境と、前記走行環境検出手段によって検出された現在の走行環境とに基づいて、前記表示手段のON/OFFを判断する判断手段と、前記判断手段の判断にしたがって、前記表示手段を制御する表示制御手段と、を有し、前記走行環境検出手段は、交差点における、前記車両が走行する道路と当該道路に接続する道路との接続角度、及び、前記交差点における前記操作頻度を検出し、前記記憶手段は、前記接続角度に応じて前記操作頻度を記憶し、前記判断手段は、前記走行環境検出手段により検出された前記接続角度と、前記記憶手段に記憶された、前記検出された接続角度に対応する操作頻度とに基づき、前記表示手段のON/OFFを判断する画像表示装置が提供される。
【0008】
この請求項1記載の画像表示装置では、表示手段のON/OFF操作をしたときのON/OFFの作動情報と、前記ON/OFFの操作をしたときの走行環境とが、前記記憶手段に記憶されている。また、前記走行環境検出手段により、現在の走行環境が検出されている。
【0009】
そして、記憶されているON/OFFの作動情報および走行環境と、検出された現在の走行環境とに基づいて、前記判断手段により画像表示装置のON/OFFが判断される。
【0010】
すなわち、記憶された走行環境が現在の走行環境と、たとえば、類似(車速が一定値以下であり、現在の道路幅員が同一で、接続する道路がともに上位であり、進入する交差点にともに遮蔽物が存在するような場合)しており、記憶されたON/OFFの作動情報のほとんどがONであるような時には、現在走行中の道路が初めて走行する道路であっても、前記判断手段は前記表示手段に周囲画像を表示させると判断する。そして、前記表示制御手段は、前記周囲画像撮像手段により撮像された周囲画像を前記表示手段に表示させる。
【0011】
これにより、現在走行中の道路がはじめてであっても、従前に走行した走行環境と類似した道路において周囲画像を頻繁に表示させていたような場合には、運転手が自ら画像表示装置の操作を行わなくとも、自動的に周囲画像が表示される。
【0012】
また、ON/OFFの作動情報において、ONの情報がきわめて少ない場合、または、ONの情報に比べOFFの情報が多い場合などには、周囲画像を表示させないよう設定することにより、運転手が単に興味本位で周囲画像を表示した地点等での表示を回避することができる。
【0013】
(2)上記発明では特に限定されていないが、請求項2記載の発明のように、前記表示手段は、前記周囲画像以外の情報を選択して表示できることが好ましい。
【0014】
本発明によれば、周囲画像以外の情報を選択して表示手段に表示できる。これにより、周囲画像以外の情報も同一画面で表示されることとなり、装置の簡素化、操作の簡便化を図ることができる。
【0015】
なお、選択して表示する場合には、表示手段に周囲情報以外の情報を、画面を分割して表示する場合、重ねて表示する場合も含まれ、別途選択的に表示する場合に限る趣旨ではない。
【0016】
(3)請求項1および2記載の発明では、検出される走行環境については特に限定されないが、請求項3記載の発明のように、前記走行環境検出手段は、車速・ブレーキ量・アクセル開度の車両の走行状況と、車両が走行する道路の道路種別および幅員、道路交差点の接続角度、接続する道路の道路種別、信号機の有無、交差点付近の遮断物の存在状況の道路状況を含む走行環境を検出することが好ましい。
【0017】
本発明によれば、車速、ブレーキ量、アクセル開度の車両の走行状況と、車両が走行する道路の道路種別および幅員、道路交差点の接続角度、接続する道路の道路種別、信号機の有無、交差点付近の遮断物の存在状況の道路状況を含む走行環境が検出される。
【0018】
前記判断手段による判断は、車速、ブレーキ量、アクセル開度の車両の走行環境によって行うこともできるし、また、車両が走行する道路の道路種別および幅員、道路交差点の接続角度、接続する道路の道路種別、信号機の有無、交差点付近の遮断物の存在状況の道路状況によって行うこともできる。
【0019】
しかしながら、本発明においては、上記走行状況および道路状況をも含む走行環境に基づいて画像表示装置のON/OFFの操作を判断することにより、より正確に周囲画像を表示する場合の判断をすることができる。
【0020】
(4)請求項1および2記載の発明では、検出される走行環境については特に限定されないが、請求項4記載の発明によれば、前記走行環境検出手段は、前記車両の走行状況および道路状況に加えて、各種センサを用いて周囲状況をも含む走行環境を検出することが好ましい。
【0021】
本発明によれば、車両の走行状況および道路状況に加えて、センサを用いて現在の周囲状況をも含む走行環境を検出するため、より正確に周囲画像を表示する場合の判断をすることができる。
【0022】
すなわち、請求項1および2の発明では地図情報等から交差点付近の遮蔽物の存在状況を判断しているが、これでは工事等で一時的に遮蔽物が設置されたような場合には、遮蔽物が存在するとは判断できない。そのため、請求項4記載の発明ではセンサを用いて現在の遮蔽物の存在状況を判断することによりより正確に周囲画像を表示する場合の判断をすることができる。
【0023】
(5)請求項1〜4記載の発明では特に限定されていないが、請求項5記載の発明によれば、前記記憶手段に記憶されている走行環境と前記走行環境検出手段によって検出されている現在の走行環境とが類似しており、かつ、前記記憶手段に記憶されている作動情報がONを指示すると判断される場合には、前記表示装置に周囲画像を表示するよう判断する前記判断手段を有している。
【0024】
本発明によれば、現在走行中の走行環境と記憶されている走行環境が類似であり、かつ、記憶されている走行環境において周囲画像が頻繁に表示されているような場合には、自動的に周囲画像が表示される。
【0025】
これにより、現在走行中の道路がはじめてであっても、従前に走行した走行環境の類似した道路において周囲画像を表示させる操作を頻繁に行っていたような場合には、運転手自ら表示装置の操作を行わなくても、自動的に周囲画像が表示される。
【0026】
(6)請求項1〜4記載の発明では特に限定されていないが、請求項6記載の発明よれば、前記判断手段は、検出された現在の走行環境の一部を除き、前記走行環境検出手段によって検出された現在の走行環境と前記記憶手段に記憶された走行環境とが類似し、前記検出された現在の走行環境の一部の道路の優先度前記検出された現在の走行環境の一部に対応し前記記憶手段に記憶された当該走行環境の一部の道路の優先度より下位であり、かつ、前記記憶手段に記憶された作動情報がONを指示すると判断された場合には、前記表示装置に周囲画像を表示するよう判断する。
【0027】
本発明によれば、走行環境のうち一部は類似とみなすことができないが、他の走行環境が類似している場合であって、現在走行中の当該一部の走行環境の道路の優先度が記憶されている当該一部の走行環境の道路の優先度より下位である場合には、記憶されているON/OFFの作動情報に基づいて、周囲画像表示のための判断を行う。
【0028】
これは、現在の走行環境の一部が記憶されている走行環境より下位である場合には、より周囲画像を表示する必要性が高いと考えられるためである。たとえば、現在走行中の道路種別がその他の一般道路であって国道に進入する場合と、記憶されている道路種別が県道であって国道に進入する場合のことである。
【0029】
このような場合は、全体として走行環境が類似していないと考えられる場合でも判断を行い、走行経験のない走行環境ではあるが、より周囲画像の表示が必要と考えられる場合には自動的に周囲画像の表示を行う。
【0030】
(7)上記目的を達成するために、請求項7記載の発明によれば、車両の現在の走行環境を検出する検出工程と、周囲画像表示のON/OFFの操作頻度を含む情報と周囲画像表示をON/OFFしたときの走行環境を記憶する記憶工程と、前記検出した現在の走行環境と前記周囲画像表示のON/OFFの情報および前記周囲画像表示をON/OFFしたときの走行環境とに基づいて、前記周囲画像表示のON/OFFを判断する判断工程と、判断工程の判断結果に基づいて前記周囲画像表示のON/OFFを行う工程を含み、検出工程は、交差点における、車両が走行する道路と道路に接続する道路との接続角度、及び、交差点における操作頻度を検出し、記憶工程は、接続角度に応じて操作頻度を記憶し、判断工程は、検出工程により検出された接続角度と、記憶工程記憶された、検出された接続角度に対応する操作頻度とに基づき、周囲画像表示のON/OFFを判断する画像の表示方法が提供される。
【0031】
この請求項7記載の画像表示方法では、表示のON/OFF操作をしたときのON/OFFの作動情報と、前記ON/OFFの操作をしたときの走行環境とが記憶されている。また、現在の走行環境が検出されている。
【0032】
そして、記憶したON/OFFの作動情報および走行環境と、検出された現在の走行環境とに基づいて、前記周囲画像表示のON/OFFが判断される。
【0033】
すなわち、記憶している走行環境が現在の走行環境と、たとえば、類似(車速が一定値以下であり、現在の道路幅員が同一で、接続する道路がともに上位であり、進入する交差点にともに遮蔽物が存在するような場合)し、記憶しているON/OFFの作動情報のほとんどがONであるような時には、現在走行中の道路が初めて走行する道路であっても、前記周囲画像を表示させると判断する。
【0034】
これにより、現在走行中の道路が初めて走行する道路であっても、従前に走行した走行環境と類似した道路において周囲画像を頻繁に表示させていたような場合には、運転手が自ら周囲画像表示の操作を行わなくとも、自動的に周囲画像が表示される。
【0035】
また、請求項1の発明と同様、運転手が単に興味本位で周囲画像を表示した地点等での表示を回避することができる。
【0036】
(8)上記発明では特に限定されていないが、請求項8記載の発明のように、前記周囲画像以外の情報を選択して表示することが好ましい。
【0037】
本発明によれば、周囲画像以外の情報を選択して表示できる。これにより、周囲画像以外の情報も表示されることとなり、操作の簡便化を図ることができる。
【0038】
なお、選択して表示する場合には、周囲情報以外の情報を、分割して表示する場合、重ねて表示する場合も含まれ、別途選択的に表示する場合に限る趣旨ではない。
【0039】
(9)請求項7および8記載の発明では、検出される走行環境については特に限定されないが、請求項9記載の発明のように、車速・ブレーキ量・アクセル開度の車両の走行状況と、車両が走行する道路の道路種別および幅員、道路交差点の接続角度、接続する道路の道路種別、信号機の有無、交差点付近の遮断物の存在状況の道路状況を含む走行環境を検出することが好ましい。
【0040】
本発明によれば、車速、ブレーキ量、アクセル開度の車両の走行状況と、車両が走行する道路の道路種別および幅員、道路交差点の接続角度、接続する道路の道路種別、信号機の有無、交差点付近の遮断物の存在状況の道路状況を含む走行環境が検出される。
【0041】
前記判断は、車速、ブレーキ量、アクセル開度の車両の走行環境によって行うこともできるし、また、車両が走行する道路の道路種別および幅員、道路交差点の接続角度、接続する道路の道路種別、信号機の有無、交差点付近の遮断物の存在状況の道路状況によって行うこともできる。
【0042】
しかしながら、本発明においては、上記走行状況および道路状況をも含む走行環境に基づいて周囲画像表示のON/OFFを判断することにより、より正確に周囲画像を表示する場合の判断をすることができる。
【0043】
(10)請求項7および8記載の発明では、検出される走行環境については特に限定されないが、請求項10記載の発明によれば、前記車両の走行状況および道路状況に加えて、各種センサを用いて周囲状況をも含む走行環境を検出することが好ましい。
【0044】
本発明によれば、車両の走行状況および道路状況に加えて、センサを用いて現在の周囲状況をも含む走行環境を検出するため、より正確に周囲画像を表示する場合の判断をすることができる。
【0045】
すなわち、請求項7および8の発明では地図情報等から交差点付近の遮蔽物の存在状況を判断しているが、これでは工事等で一時的に遮蔽物が設置されたような場合には、遮蔽物が存在するとは判断できない。そのため、請求項10記載の発明ではセンサを用いて現在の遮蔽物の存在状況を判断することによりより、正確に周囲画像を表示する場合の判断をすることができる。
【0046】
(11)請求項7〜10記載の発明では特に限定されないが、請求項11記載の発明では、前記周囲画像表示のON/OFFを判断する場合、前記記憶している走行環境と前記検出された現在の走行環境とが類似し、かつ、前記記憶している周囲画像表示のON/OFFの情報がONを指示すると判断された場合には、前記周囲画像の表示を行う。
【0047】
本発明によれば、現在走行中の走行環境と記憶されている走行環境が類似であり、かつ、記憶されている走行環境において周囲画像が頻繁に表示されているような場合には、自動的に周囲画像が表示される。
【0048】
これにより、現在走行中の道路が初めて走行する道路であっても、従前に走行したことのある走行環境の類似した道路において、周囲画像を表示させる操作を頻繁に行っていたような場合には、運転手自ら周囲画像表示の操作を行わなくても、自動的に周囲画像が表示される。
【0049】
(12)請求項7〜10記載の発明では特に限定されないが、請求項12記載の発明では、前記周囲画像表示のON/OFFを判断する場合、検出された現在の走行環境の一部を除き、前記記憶している走行環境と前記検出された現在の走行環境とが類似し、前記検出された現在の走行環境の一部の道路の優先度が前記記憶されている当該走行環境の一部の道路の優先度より下位であり、かつ、前記記憶している周囲画像表示のON/OFFの情報がONを指示すると判断された場合には、前記周囲画像の表示を行う。
【0050】
本発明によれば、走行環境のうち一部は類似とみなすことができないが、他の走行環境が類似している場合であって、現在走行中の当該一部の走行環境の道路の優先度が記憶されている当該一部の走行環境の道路の優先度より下位である場合には、記憶されているON/OFFの作動情報に基づいて、周囲画像表示のための判断を行う。
【0051】
これは、現在の走行環境の一部が記憶されている走行環境より下位である場合には、より周囲画像を表示する必要性が高いと考えられるためである。たとえば、現在走行中の道路種別がその他の一般道路であって国道に進入する場合と、記憶されている道路種別が県道であって国道に進入する場合のことである。
【0052】
このような場合は、全体として走行環境が類似していないと考えられる場合でも判断を行い、走行経験のない走行環境ではあるが、より周囲画像の表示が必要と考えられる場合には自動的に表示を行う。
【0053】
【発明の効果】
(1)請求項1および7記載の発明によれば、過去に走行経験のない道路でも、周囲画像を表示することができる。また、作動情報において、ONの情報が少ない場合、またはONの情報に比べOFFの情報が多い場合などには、周囲画像を表示させないよう設定することにより、運転手が単に興味本位で周囲画像を表示した地点等での表示を回避することができる。
【0054】
(2)請求項2および8記載の発明によれば、周囲画像以外の情報も同一画面で表示されることとなり、装置の簡素化、操作の簡便化を図ることができる。
【0055】
(3)請求項3および9記載の発明によれば、単に道路状況または単に走行状況が類似した場合でなく、道路状況および走行状況が類似した場合に限って、周囲画像を表示させることができる。これにより、周囲画像を表示する場合を限定することができ、より正確に周囲画像を表示する場合の判断をすることができる。
【0056】
(4)請求項4および10記載の発明によれば、車両の走行状況と車両が走行する道路状況に加えて、周囲状況をも含む走行環境を検出するため、たとえば、レーダを用いて遮断物の有無を判断して周囲状況を類推することにより、より正確に周囲画像を表示する場合の判断をすることができる。
【0057】
(5)請求項5および11記載の発明によれば、現在走行中の走行環境と記憶されている走行環境が類似であり、かつ、記憶されている走行環境において周囲画像が頻繁に表示されているような場合には、自動的に周囲画像が表示される。
【0058】
これにより、現在走行中の道路が初めて走行する道路であっても、従前に走行したことのある走行環境の類似した道路において、周囲画像を表示させる操作を頻繁に行っていたような場合には、運転手自ら周囲画像表示装置の操作を行わなくても、自動的に周囲画像が表示される。
【0059】
(6)請求項6および12記載の発明によれば、走行環境のうち一部は類似とみなすことができないが、他の走行環境が類似している場合であって、現在走行中の当該一部の走行環境が記憶されている当該一部の走行環境より下位である場合には、記憶されているON/OFFの作動情報に基づいて、周囲画像表示のための判断を行う。
【0060】
これにより、全体として走行環境が類似していないと考えられる場合でも、必要に応じて判断を行い、走行経験のない走行環境ではあるが、周囲画像の表示が必要と考えられる場合には自動的に表示を行うことができる。
【0061】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
図1は本発明の画像表示装置を示すブロック図であり、本発明の画像表示装置は、同図に示すように、車両の走行環境を検出する走行環境検出手段1と、周囲画像を撮像する周囲画像撮像手段2と、周囲画像を表示する表示手段3と、表示手段3を作動させる操作手段4と、表示手段3を操作したときの作動情報と操作をしたときの走行環境とを記憶する記憶手段5と、表示手段3のON/OFFを判断する判断手段6と、表示手段3を制御する表示制御手段7とから構成されている。
【0062】
走行環境検出手段1は、走行状況、道路状況および周囲状況を含む走行環境を検出する。記憶手段5は、操作手段4が操作される毎に、そのON/OFFの作動情報を記憶するとともに、操作時点での走行環境を記憶する。
【0063】
判断手段6は、記憶手段5に記憶されたON/OFFの作動情報、操作時点での走行環境および現在の走行環境に基づいて表示手段のON/OFFを判断する。
【0064】
周囲画像撮像手段2は、車両の周囲画像を撮像する。表示制御手段7は、判断手段6および操作手段4からの指示に基づいて、表示手段3表示する画像を制御する。
【0065】
以上が、本発明の画像表示装置の基本的構成であるが、以下の実施形態では、本発明をさらに具体化した例を挙げて説明する。
【0066】
第1実施形態
図2は本実施形態(ブラインドモニタ)の使用例を説明するための図、図3は本実施形態の画像表示装置を示す機能構成図、図4は本実施形態に係るディスプレイの表示例を示す図、図5は本実施形態に係るブラインドモニタの視野を説明するための図、図6は本実施形態に係る接続角度を説明するための図、図7は本実施形態に係る接続角度に対応する操作頻度を示すグラフであって、(1)は個別記憶、(2)は合算記憶をそれぞれ示す。また、図8は本実施形態に係る車速に対応する操作頻度を示すグラフであって、(1)は個別記憶、(2)は合算記憶)をそれぞれ示す。
【0067】
本実施形態は、本発明の画像表示装置を、車両の前部に設けたカメラにて車両の左右側方の視界を撮像するブラインドモニタに適用した例である。ブラインドモニタは、たとえば、図2に示すように、車両の左右に視界の遮断物が存在し、左右の視界が遮られる際の側方確認に用いられる。
【0068】
図3は、ブラインドモニタの機能的な概略構成を示すブロック図であり、周囲画像撮像手段2としてのカメラ21は、車両の前部に取り付けられて該車両の左右側方の視界の撮像する。画像表示手段3としての表示装置22は、左右側方の周囲画像の表示に供せられ、ナビゲーションシステム23によるナビゲーション情報(車両周囲の道路と車両位置等を示す地図情報等)の表示にも用いられる。表示装置22の表示の切換を行うのが映像切換部24(表示制御手段7に相当する。)であり、運転手がブラインドモニタ選択スイッチ27(操作手段4に相当する。)を入れた場合および後述する判断部25によって周囲画像が必要であると判断された場合に、カメラ21を作動させ、表示装置22に図4に示すような周囲画像を表示させる。
【0069】
なお、ブラインドモニタ選択スイッチ27は、ブラインドモニタが起動していないときに押すとONに、起動しているときに押すとOFFになるような構成となっている。
【0070】
また、記憶部26(記憶手段5に相当する。)は、ブラインドモニタ選択スイッチ27のON/OFFの操作毎に、ブラインドモニタ選択のON/OFFの情報とともに、各センサ(走行環境検出手段1)から入力された走行状況(車速、ブレーキ量、アクセル開度等)とナビゲーションシステム23から入力された道路状況(走行中の道路の道路種別および道路幅、交差点の接続角度、接続する道路の道路種別および道路幅等)を記憶する。
【0071】
たとえば、記憶部26には、1道路種別と幅員に応じた道路の優先度、2交差点の手前でブラインドモニタを操作した場合の、交差点の接続角度に対するON/OFFの操作の頻度、3交差点の手前でブラインドモニタを操作した場合の、車速Vに応じたON/OFFの操作の頻度、が記憶される。
【0072】
ここでまず、1の道路種別と幅員に応じた道路の優先度について説明する。
【0073】
表1は、道路種別と幅員の組み合わせに対する道路の優先度を、P1〜P16で示している。記憶を開始していないとき、P1からP16は優先度の最高値Pmaxで初期化されている。その後は、交差点手前で運転手がON/OFFの操作をするたびに、表1の優先度の値を変化させる。
【0074】
例えば、現在走行中の道路種別と幅員で決定する優先度をPiとすると、交差点手前でONの操作をした場合はPiを減じ、OFFの操作をした場合はPiを増加させる。
【0075】
このように優先度Piを増減させるのは、ブラインドモニタ装置をONにするのは、優先度の高い道路に進入するような場合であって、現在走行している道路が優先度の低い道路であることを意味しているからである。これにより、優先度の値が大きいほど優先度が高く、優先度の値が低いほど優先度は低くなる。
【0076】
この優先度を用いて、判断部25では、車両が走行する道路の優先度が、接続する道路の優先度より低いときにブラインドモニタを起動する。
【0077】
【表1】
Figure 0004552305
【0078】
次に、2の交差点の手前でブラインドモニタを操作した場合の、交差点の接続角度に対するON/OFFの操作の頻度について説明する。
【0079】
図5は、ブラインドモニタ装置に取り付けられているカメラの視野を示したものである。車両の進行方向と直角外側になる方向を0°、車両の進行方向を90°、進行方向と逆方向を−90°としたとき、左右カメラはそれぞれθmin≦θ≦θmaxの周囲画像を取ることができるとする。
【0080】
現在走行中の道路に接続する道路の接続角度η(図6参照)が、このθの範囲にあると判断された場合に、交差点の手前でブラインドモニタのON/OFFの操作が起こると、ブラインドモニタのON/OFFの操作頻度が接続角度ηに応じて計測される。
【0081】
操作頻度は、たとえば、図7に示すように一定角度刻み(たとえば、10度)の階級で、ブラインドモニタスイッチ27のON/OFFの操作頻度を別々に記憶させる方法(図7(1)参照)でも、あるいはブラインドモニタスイッチ27のONの操作を+(プラス)、OFFの操作を−(マイナス)として、その和を記憶させる方法(図7(2)参照)のいずれの方法を採ることもできる。
【0082】
次に、3の交差点の手前でブラインドモニタを操作した場合の、車速Vに応じたON/OFFの操作の頻度について説明する。
【0083】
車速Vに応じてブラインドモニタの操作頻度を記憶するが、たとえば、図8に示すように、一定速度刻み(たとえば、5km/h)に階級で、ブラインドモニタスイッチ27のON/OFF操作頻度を別々に記憶させる方法(図8(1))でも、あるいはブラインドモニタスイッチ27のONの操作を+(プラス)、OFFの操作を−(マイナス)として、その和を記憶させる方法(図8(2))のいずれの方法を採ることもできる。
【0084】
また、上記記憶した情報を運転手と車種別に管理するようにしてもよい。
【0085】
たとえば、画像表示装置が個人の履歴情報を記憶する情報読取り可能なIDカードが差し込めるような構成となっており、各運転手がIDカードを所持している場合、IDカードに車種別毎のON/OFFの操作時の履歴を書き込むことにより実現することができる。
【0086】
判断部25(判断手段6に相当する。)は、センサから入力された現在の走行状況と、ナビゲーションシステムから入力された現在の道路状況から、記憶部26の情報を基に判断を行い、周囲画像の表示が必要か否かの判断を映像切換部24に送る。
【0087】
次に判断部25の処理手順を説明する。
図9は本実施形態の判断に係るフローチャートである。本実施形態の目的とする、自動的にブラインドモニタの表示が行われるのは、ブラインドモニタの操作が行われていない場合(S1でNOの場合)であるので、この処理ついて説明する(S1、6〜13)。
【0088】
ブラインドモニタを自動的にONにするか否かの判断は、まずステップS6において、所定の距離内に交差点があることを確認する。所定の距離とは、一定値(たとえば、30m)としてもよいし、記憶部26で運転手がONの操作したときの車速と交差点までの距離を履歴として保存し、その情報を用いて値を設定してもよい。
【0089】
次にステップS7において、記憶部26に記憶されている道路の優先度表から、現在走行中の道路の道路種別と幅員とに基づいて優先度Piを求め、この優先度Piの値が、初期化時優先度の値Pmaxと比較して十分低いかどうかを調べる。そして、十分低い場合には、交差点でブラインドモニタを起動させる可能性があるとして、ステップS8に進む。
【0090】
次に、ステップS8において、記憶部26に記憶されている道路の優先度の表から現在走行中の道路に接続する道路の優先度Pjを求め、現在走行中の道路の優先度Piと比較する。そして、Pi<Pjの場合は現在走行中の道路は非優先道路であるとみなして、ステップS9に進み、それ以外の場合は優先道路を走行中と考えて、S14に進む。
【0091】
次に、ステップS9において、接続角度ηが所定の範囲であり、かつ、ONの操作が当該接続角度ηで頻繁に発生しているかどうかを調べる。そして、接続角度ηが、カメラの視野で捕らえられることができる範囲(θmin≦η≦θmax)であり、かつ、ONの操作が当該接続角度ηで頻繁に発生している場合は、ステップS10に進み、そうでない場合はS14に進む。
【0092】
ここで、ONの操作とOFFの操作を別々に記憶してる場合は、ONの操作が頻繁に発生していてOFFの操作があまりない範囲であるか(図7(1)のL)、または、ONとOFFの操作の和をに記憶してあれば、頻度がある程度発生している範囲か(図7(2)のL')を判断する。
【0093】
次に、ステップS10において、記憶部26で記憶された操作時の車速データを基に、所定の車速を定め、その車速以下かどうかの判断を行う。
【0094】
ここで、所定の車速とは、ONの操作とOFFの操作が別々に記憶されているのであれば、ONの操作が比較的頻繁に起こっていてOFFの操作が少ない階級の最大車速(図8(1)のM)、ONとOFFの操作の和を記憶している場合は比較的頻度が多い階級の最大車速(図8(2)のM')とする。車速条件を満たしていれば、ステップS11に進み、そうでない場合はS14に進む。
【0095】
次に、ステップS11においては、アクセル開度が十分に小さいか否かを判断する。そして、アクセル開度が十分小さければS12に進み、そうでない場合はS14に進む。ここで、アクセル開度が十分小さいとは、一定値で定めてもよいし、記憶された走行環境より設定してもよい。
【0096】
次に、ステップS12においては、ブレーキ量が所定値以下か否かを判断する。そして、ブレーキ量が所定値以下の場合にはS13に進み、そうでない場合はS14に進む。
【0097】
ステップS13においては、ステップS6〜S12のブラインドモニタを表示すべき条件を全て満たしている。そのため、すでにブラインドモニタが表示されていれば、終了し、そうでなければ、ブラインドモニタ表示信号を映像切換部に送信する(ステップS3)。
【0098】
ステップS6〜S12のいずれかの条件を満たさない場合は、ブラインドモニタの表示を行わない場合である(ステップS14)。この場合、ブラインドモニタが表示されていれば、地図表示信号を映像切換部に送り(ステップS15)、そうでない場合は終了する。
【0099】
最後に、ブラインドモニタの操作があった場合について説明する(S1でYES)。
ステップ2にてブラインドモニタONの操作があった場合は、ブラインドモニタ表示信号を送り終了する(ステップS3)。ステップ2にてブラインドモニタOFFの操作があった場合は、地図表示信号を映像切換部24に送り(ステップS4)、当該交差点を通過したか否かを確認する(ステップS5)。通過していない場合は再度ステップS2に戻り、交差点を通過した場合は終了する。
【0100】
第2実施形態
次に、本発明の第2実施形態の画像表示装置について説明する。図10は本実施形態の画像表示装置を示す機能構成図、図11は本実施形態に係るセンサの装着例を示す図、図12は本実施形態における計測例を示す図、図13は本実施形態の判断に係るフローチャートである。
【0101】
本実施形態では、第1実施形態と同じ構成に加えて、記憶部96と判断部95にレーダからの信号の入力がある。
【0102】
レーダは、図11に示すように車両の前部、カメラ91のやや後方の左右取り付けられている。左右のレーダは、遮蔽物までの距離を検出し、車両の左側の距離をl、右側の距離をrとしてそれぞれの値を返す(図12参照)。記憶部96では、rとlのうち短い方を遮断物までの距離(周囲状況)として記憶する。
【0103】
判断部95における処理手順を図13に示すが、処理の内容は上述した第1実施形態の処理手順に、遮断物までの距離の条件が追加される(ステップS16参照)。遮蔽物までの距離が所定の距離よりも小さいときはステップS13に進み、大きいときはステップS14に進む。ここで、遮蔽物までの距離の所定値とは、たとえば、記憶部に保存されている遮断物までの距離の平均とする。
【0104】
道路状況より、交差点近傍の建築物等の存在状況が判明する場合には、上記周囲状況と同様に扱うことができる。すなわち、道路状況より交差点から所定の範囲内に建築物等が存在しないことが判明すれば、ステップS14に進み、そうでない場合はステップS13に進む。
【0105】
第3実施形態
次に、本発明の第3実施形態に係る画像表示装置について説明する。
【0106】
走行状況と道路状況から複数のパラメータが得られる場合、個々のパラメータの条件でなく、複数のパラメータの複合条件によって、運転手の傾向を導くことができる場合がある。この場合、データマイニングによる分析も可能であるが、処理時間がかかるため、ニューラルネットワークを用いる。
【0107】
概略構成は第2実施形態と同様で、第2実施形態の処理(図13)におけるS6〜S12とS16の条件分岐をニューラルネットワークで行う。
【0108】
記憶部96は、走行中に、交差点手前でブラインドモニタのON/OFFの操作が起こるたびに走行状況(車速、アクセル開度、ブレーキ量等)と道路状況(現在走行中の道路の道路種別と幅員、現在走行中の道路に接続する道路の道路種別と幅員、接続する道路の接続角度、交差点での建築物の存在状況等)、周囲状況(遮蔽物までの距離)と、ブラインドモニタ操作(ON/OFF)の情報を一組にして保存する。
【0109】
そして、判断部95は、イグニッションキーが入った時に、記憶部96のデータを教師データとしてニューラルネットワークの更新を行う。記憶部96に、走行状況と道路状況のパラメータの値が全く同じでONの操作とOFFの操作の両方の履歴がある場合は、両方を教師データとして採用するとニューラルネットワークの学習が収束しない。
【0110】
よって、走行状況と道路状況が等しいデータ群は操作別(ON/OFF別)に計上し、計上した数が多い方を採用することにする。
【0111】
たとえば、ONの回数がmでOFFの回数がnとしたとき、m≫nの場合はON操作が出力となるように、m≪nの場合はOFF操作が出力となるようにする。ニューラルネットワークの学習はバックアッププロパゲーションによって行う。バックアッププロパゲーションの学習アルゴリズムは既知の技術である。
【0112】
第3実施形態では、ブラインドモニタが必要と判断されるべき接続角θが、たとえば、−10°≦θ≦50°のように定められているとき、接続角が51度の交差点ではその他の走行状況や道路状況が考慮されず、一律にブラインドモニタの表示を行わない(図14参照)。ニューラルネットワークを用いることで、このような閾値付近の判断を適切に行うことができる。
【0113】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図1】本発明の画像表示装置を示すブロック図である。
【図2】本発明の第1実施形態を説明するための図である。
【図3】本発明の第1実施形態の画像表示装置を示す機能構成図である。
【図4】本発明の第1実施形態に係るディスプレイの表示例を示す図である。
【図5】本発明の第1実施形態に係るブラインドモニタの視野を説明するための図である。
【図6】本発明の第1実施形態に係る接続角度を説明するための図である。
【図7】(1)は本発明の第1実施形態に係る接続角度に対応する操作頻度(個別記憶)を示すグラフ、(2)は接続角度に対応する操作頻度(合算記憶)を示すグラフである。
【図8】(1)は本発明の第1実施形態に係る車速に対応する操作頻度(個別記憶)を示すグラフ、(2)は車速に対応する操作頻度(合算記憶)を示すグラフである。
【図9】本発明の第1実施形態の判断に係るフローチャートである。
【図10】本発明の第2実施形態の画像表示装置を示す機能構成図である。
【図11】本発明の第2実施形態に係るセンサの装着例を示す図である。
【図12】本発明の第2実施形態における計測例を示す図である。
【図13】本発明の第2実施形態の判断に係るフローチャートである。
【図14】本発明の第3実施形態における判断例を示す図である。
【符号の説明】
L …ON操作が頻出する接続角度範囲(個別記録)
L'…ON操作が頻出する接続角度範囲(合算記録)
M …OFF操作の少ない最大車速(個別記録)
M'…OFF操作の少ない最大車速(合算記録)
P…優先度
Pi…現在走行中の道路の優先度
Pj…接続する道路の優先度
Pmax…優先度の最大値
V…車速
r…レーダによる右側遮蔽物までの計測距離
l…レーダによる左側遮蔽物までの計測距離
m…ONの回数
n…OFFの回数
η…接続角度
θ…ブラインドモニタの視野角度
θmax…ブラインドモニタの視野角度(最大)
θmin…ブラインドモニタの視野角度(最小)
1…走行検出手段
2…周囲画像撮像手段
3…表示手段
4…操作手段
5…記憶手段
6…判断手段
7…表示制御手段(映像切換部)
21,91…カメラ
22,92…ディスプレイ
23,93…ナビゲーションシステム
24,94…映像切換部
25,95…判断部
26,96…記憶部
27,97…ブラインドモニタ選択スイッチ

Claims (12)

  1. 車両の走行環境を検出する走行環境検出手段と、
    前記車両の周囲画像を撮像する周囲画像撮像手段と、
    前記周囲画像撮像手段によって撮像された周囲画像を表示する表示手段と、
    前記表示手段を作動させる操作手段と、
    前記操作手段により前記表示手段のON/OFF操作をしたときのON/OFFの操作頻度を含む作動情報と、前記ON/OFFの操作をしたときの走行環境とを記憶する記憶手段と、
    前記記憶手段によって記憶されたON/OFFの作動情報および前記走行環境と、前記走行環境検出手段によって検出された現在の走行環境とに基づいて、前記表示手段のON/OFFを判断する判断手段と、
    前記判断手段の判断にしたがって、前記表示手段を制御する表示制御手段と、を有し、
    前記走行環境検出手段は、
    交差点における、前記車両が走行する道路と前記道路に接続する道路との接続角度、及び、前記交差点における前記操作頻度を検出し、
    前記記憶手段は、前記接続角度に応じて前記操作頻度を記憶し、
    前記判断手段は、前記走行環境検出手段により検出された前記接続角度と、前記記憶手段に記憶され、前記検出された接続角度に対応する操作頻度とに基づき、前記表示手段のON/OFFを判断する画像表示装置。
  2. 前記周囲画像以外の情報を前記表示手段に選択して表示させる前記表示制御手段を有する請求項1記載の画像表示装置。
  3. 前記走行環境検出手段は、車速、ブレーキ量およびアクセル開度の車両の走行状況と、車両が走行する道路の道路種別および幅員、道路交差点の接続角度、接続する道路の道路種別、信号機の有無、交差点付近の遮断物の存在状況の道路状況を含む走行環境を検出する請求項1または2記載の画像表示装置。
  4. 前記走行環境検出手段は、前記車両の走行状況および道路状況に加えて、センサを用いて周囲状況をも含む走行環境を検出する請求項記載の画像表示装置。
  5. 前記判断手段は、前記記憶手段に記憶された走行環境と前記走行環境検出手段によって検出された現在の走行環境とが類似し、かつ、前記記憶手段に記憶された作動情報がONを指示すると判断された場合には、前記表示装置に周囲画像を表示するよう判断する請求項1〜4記載の画像表示装置。
  6. 前記判断手段は、検出された現在の走行環境の一部を除き、前記走行環境検出手段によって検出された現在の走行環境と前記記憶手段に記憶された走行環境とが類似し、前記検出された現在の走行環境の一部の道路の優先度前記検出された現在の走行環境の一部に対応し前記記憶手段に記憶された当該走行環境の一部の道路の優先度より下位であり、かつ、前記記憶手段に記憶された作動情報がONを指示すると判断された場合には、前記表示装置に周囲画像を表示するよう判断する請求項1〜4記載の画像表示装置。
  7. 車両の現在の走行環境を検出する検出工程と、
    周囲画像表示のON/OFFの操作頻度を含む情報と周囲画像表示をON/OFFしたときの走行環境を記憶する記憶工程と、
    前記検出した現在の走行環境と前記周囲画像表示のON/OFFの操作頻度を含む情報および前記周囲画像表示をON/OFFしたときの走行環境とに基づいて、前記周囲画像表示のON/OFFを判断する判断工程と、
    前記判断工程の判断結果に基づいて前記周囲画像表示のON/OFFを行う工程とを含み、
    前記検出工程は、交差点における、前記車両が走行する道路と前記道路に接続する道路との接続角度、及び、前記交差点における前記操作頻度を検出し、
    前記記憶工程は、前記接続角度に応じて前記操作頻度を記憶し、
    前記判断工程は、前記検出工程により検出された接続角度と、前記記憶工程により記憶され、前記検出された接続角度に対応する操作頻度とに基づき、前記周囲画像表示のON/OFFを判断する画像の表示方法。
  8. 前記周囲画像以外の情報を選択して表示する工程を含む請求項7記載の画像の表示方法。
  9. 前記検出工程は、少なくとも車速、ブレーキ量、アクセル開度の車両の走行状況と、車両が走行する道路の道路種別、幅員、道路交差点の接続角度、接続する道路の道路種別、信号機の有無、交差点付近の遮断物の存在状況の道路状況を含む走行環境を検出する請求項7記載の画像の表示方法。
  10. 前記検出工程は、前記車両の走行状況および道路状況に加えて、センサを用いて周囲状況をも含む走行環境を検出する請求項記載の画像の表示方法。
  11. 前記判断工程は、前記記憶している走行環境と前記検出された現在の走行環境とが類似し、かつ、前記記憶している周囲画像表示のON/OFFの情報がONを指示すると判断された場合には、前記周囲画像の表示を行う請求項7〜10記載の画像の表示方法。
  12. 前記判断工程は、検出された現在の走行環境の一部を除き、前記記憶している走行環境と前記検出された現在の走行環境とが類似し、前記検出された現在の走行環境の一部の道路の優先度前記検出された現在の走行環境の一部に対応し前記記憶されている当該走行環境の道路の優先度より下位であり、かつ、前記記憶している周囲画像表示のON/OFFの情報がONを指示すると判断された場合には、前記周囲画像の表示を行う請求項7〜10記載の画像の表示方法。
JP2000302713A 2000-10-02 2000-10-02 画像表示装置および表示方法 Expired - Fee Related JP4552305B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000302713A JP4552305B2 (ja) 2000-10-02 2000-10-02 画像表示装置および表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000302713A JP4552305B2 (ja) 2000-10-02 2000-10-02 画像表示装置および表示方法

Publications (2)

Publication Number Publication Date
JP2002109696A JP2002109696A (ja) 2002-04-12
JP4552305B2 true JP4552305B2 (ja) 2010-09-29

Family

ID=18784022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000302713A Expired - Fee Related JP4552305B2 (ja) 2000-10-02 2000-10-02 画像表示装置および表示方法

Country Status (1)

Country Link
JP (1) JP4552305B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4432801B2 (ja) 2005-03-02 2010-03-17 株式会社デンソー 運転支援装置
JP4847779B2 (ja) * 2006-04-13 2011-12-28 株式会社日立製作所 車載情報処理方法、車載情報処理プログラム、車載情報処理装置および車載情報処理システム
JP4930432B2 (ja) * 2008-03-31 2012-05-16 三菱自動車工業株式会社 車両用周辺監視装置
JP5634046B2 (ja) * 2009-09-25 2014-12-03 クラリオン株式会社 センサコントローラ、ナビゲーション装置、センサ制御方法
JP5134608B2 (ja) * 2009-09-30 2013-01-30 株式会社デンソーアイティーラボラトリ 車両周辺表示装置、車両周辺表示方法およびプログラム
DE102011116771A1 (de) * 2011-10-22 2013-04-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildinformationen auf einer Anzeigeeinheit eines Fahrzeugs sowie Fahrerassistenzeinrichtung zum Durchführen eines derartigen Verfahrens
GB2528098B (en) 2014-07-09 2018-11-21 Jaguar Land Rover Ltd Vehicle camera system
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935196A (ja) * 1995-07-17 1997-02-07 Mitsubishi Electric Corp 車両用周辺監視装置及び車両用周辺監視方法
JPH10264722A (ja) * 1997-03-27 1998-10-06 Mitsubishi Motors Corp 車両用周辺視認装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935196A (ja) * 1995-07-17 1997-02-07 Mitsubishi Electric Corp 車両用周辺監視装置及び車両用周辺監視方法
JPH10264722A (ja) * 1997-03-27 1998-10-06 Mitsubishi Motors Corp 車両用周辺視認装置

Also Published As

Publication number Publication date
JP2002109696A (ja) 2002-04-12

Similar Documents

Publication Publication Date Title
CN109307866B (zh) 用于确定车辆是否能够进入道路的方法和系统
US10001777B2 (en) Information presenting apparatus and information presenting method
US9589194B2 (en) Driving assistance device and image processing program
US5424952A (en) Vehicle-surroundings monitoring apparatus
JP4855158B2 (ja) 運転支援装置
US20180322349A1 (en) Parking Space Detection Method and Device
JP4654723B2 (ja) 映像表示装置及び映像表示方法
EP1035455A1 (en) Rear monitoring system
US10136105B2 (en) Vehicle driver information method
CN107021094A (zh) 用于辅助导航车辆通过交通的系统和方法
US20110109745A1 (en) Vehicle traveling environment detection device
US10713509B1 (en) Parking assist system with parking spot occupancy readout
JP4541609B2 (ja) 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置
JP4552305B2 (ja) 画像表示装置および表示方法
CN110497919A (zh) 自动车辆从自主模式转换到手动模式的物体位置历史回放
EP3211618A1 (en) Adjacent lane verification for an automated vehicle
CN112498343A (zh) 车辆转向控制系统及方法
EP4083957A1 (en) Navigation system with traffic state detection mechanism and method of operation thereof
US20220111841A1 (en) Vehicle controller and method for controlling vehicle
JP4882153B2 (ja) 車輌用情報出力装置
JP5134608B2 (ja) 車両周辺表示装置、車両周辺表示方法およびプログラム
JP2011105142A (ja) カメラ撮影画像表示装置
US20210350151A1 (en) Method for determining a type of parking space
JP4585191B2 (ja) ノーズビューシステム
JP4088288B2 (ja) 車両用周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100216

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100622

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100705

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees