JP4774603B2 - 車両用表示装置 - Google Patents
車両用表示装置 Download PDFInfo
- Publication number
- JP4774603B2 JP4774603B2 JP2001027030A JP2001027030A JP4774603B2 JP 4774603 B2 JP4774603 B2 JP 4774603B2 JP 2001027030 A JP2001027030 A JP 2001027030A JP 2001027030 A JP2001027030 A JP 2001027030A JP 4774603 B2 JP4774603 B2 JP 4774603B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- vehicle
- image
- ratio
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 46
- 230000001105 regulatory effect Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 230000001276 controlling effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 19
- 238000013459 approach Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両に搭載されて、車両の左右側面方向を撮像して撮像した映像を運転者に提示する車両用表示装置に関する。
【０００２】
【従来の技術】
従来より、車両の前部又は後部に取り付けられたカメラ装置により撮像された車両の左右側方の画像を並べて車内の表示モニタに表示する車両用表示装置が例えば特開平１０−２５８６８２号公報で開示されている。
【０００３】
この車両用表示装置では、ユーザに操作される手動操作スイッチや、地図データに基づいて車両の現在位置などを検出するナビゲーション装置と接続されている。そして、車両用表示装置では、表示する左右側方の画像を組み合わせて表示するに際して、手動操作スイッチからの操作入力信号や、ナビゲーション装置からの道路状況情報に基づいて左側方の画像と右側方の画像の表示領域の比率を決定していた。これにより、従来の車両用表示装置では、運転者が所望する側方の画像の比率を大きくして表示すると共に、予め登録された交差路で予め設定された比率で画像表示することで、運転者が注意すべき側方の画像を大きく表示していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来の車両用表示装置では、図３７に示すように、自車両１０１が通行する第１道路１０２と他車両１０３が通行する可能性のある第２道路１０４からなるＴ字交差路において、第１道路１０２から自車両１０１が左折し、第２道路１０４には他車両１０３が存在しない場合（図３７（ａ））や、自車両１０１の右側方から左側方に向かって他車両１０３が第２道路１０４を進行する場合（図３７（ｂ））には、予め設定した右側方画像１１１の比率を左側方画像１１２の比率よりも大きくする。これにより、従来の車両用表示装置では、運転者に右側方の物体確認を容易とする。
【０００５】
しかし、図３８に示すように、第１道路１０２から自車両１０１が左折し、自車両１０１の左側方から右側方に向かって自転車１０５が第２道路１０４を進行する場合であっても、右側方画像１１１よりも左側方画像１１２を小さく表示してしまい、左側方画像１１２に自転車１０５を表示し、運転者にとって自転車１０５の存在確認をしにくくしてしまうという問題点があった。
【０００６】
そこで、本発明は、上述した従来の実情に鑑みて提案されたものであり、他車両や自転車などの移動体の有無により正確に道路状況を表示することができる車両用表示装置を提供するものである。
【０００７】
【課題を解決するための手段】
請求項１に係る発明は、車両左右側面方向の各画像を撮像する撮像手段と、上記撮像手段で撮像された車両左右側面方向の各撮像画像を用いて、表示用画像を作成する画像作成手段と、上記画像作成手段で作成された表示用画像を表示する表示手段と、車両左右方向の移動体の有無を検出して移動体有無情報を作成する移動体検出手段と、車両進行方向における交差路の状況に関する道路状況情報を取得する状況取得手段と、上記状況取得手段で取得した道路状況情報と、上記移動体検出手段により作成された移動体有無情報とに基づいて各撮像画像の比率を決定する比率決定手段と、上記比率決定手段で決定した各撮像画像の比率に従って上記表示用画像を作成するように上記画像作成手段を制御する制御手段とを備え、上記状況取得手段は、交差路の車線数、規制された進行方向に基づいて道路状況を判定し、上記比率決定手段は、交差路の車線数が単線でない場合には各撮像画像の比率を同比率とし、交差路の車線数が単線である場合には規制された進行方向に基づいて各撮像画像の比率を決定する。
【０００８】
このような車両用表示装置は、道路状況情報及び移動体有無情報に基づいて各撮像手段で撮像された各撮像画像の比率を決定し、決定した各撮像画像の比率に従って表示用画像を画像作成手段で作成し、比率が異なる複数の撮像画像が合成された表示画像を表示手段で表示する。このような車両用表示装置は、交差路の車線数、及び規制された進行方向に従って道路状況を判定することで、交差路の車線数及び規制された進行方向に従った画像の比率を決定して各撮像画像の大きさを異にする。
【０００９】
請求項２に係る発明において、上記移動体検出手段は、上記撮像手段で撮像された各撮像画像を解析して画像内に含まれる移動体の有無を検出する。
【００１０】
このような車両用表示装置は、複数の撮像画像の比率を決定するに際して、表示する対象となる撮像画像を解析して移動体の有無を検出して移動体有無情報を作成する。
【００１３】
請求項３に係る発明において、上記比率決定手段は、移動体が画像内に含まれることを示す移動体有無情報に基づいて、移動体が含まれない撮像画像の比率よりも、移動体が含まれる撮像画像の比率を大きくし、前記交差路の車線数、規制された進行方向に基づいて各撮像画像の比率を決定することを停止する。
【００１４】
このような車両用表示装置は、移動体が含まれる撮像画像の比率を大きくすることで、移動体が含まれる撮像画像を、移動体が含まれない撮像画像よりも大きくした表示用画像を作成して表示する。
【００１５】
請求項４に係る発明では、上記制御手段は、上記比率決定手段で決定された各撮像画像の比率が同じであるときに、上記移動体検出手段により移動体が存在する移動体有無情報が作成されたときには、この作成された移動体有無情報に基づいて移動体が検出された撮像画像の枠表示部分を変更するように上記画像作成手段を制御する処理を更に行う。
【００１６】
このような車両用表示装置は、移動体が検出されたときに、移動体が含まれる撮像画像の枠部分を、移動体が含まれない撮像画像の枠部分とは異なる表示形態にした表示用画像を作成する。
【００１７】
請求項５に係る発明では、上記移動体が存在することを示す移動体有無情報が検出されたときであっても、上記交差路が単線でない場合には、各撮像画像の比率を同比率し、上記交差路が単線であり、上記進行方向が規制されていることを判断した場合には、少なくとも規制されている進行方向と逆方向に移動体が存在することを示す移動体有無情報が検出されたときに、各撮像画像の比率を同比率とする。
【００１８】
このような車両用表示装置は、移動体が検出されたときであっても、道路状況を優先して、各撮像画像の比率を決定して表示する。
【００１９】
【発明の効果】
請求項１に記載の発明によれば、道路状況情報及び移動体有無情報に基づいて各撮像画像の比率を決定し、決定した各撮像画像の比率に従って表示用画像を作成し、比率が異なる複数の撮像画像が合成された表示画像を表示するので、移動体の存在を判定したときには移動物体が検出された方向を大きく表示すると共に、移動体が検出されないときには現在の道路状況から判断して左右側方の比率を設定しているので、他車両や自転車などの移動体の有無により正確に道路状況を表示することができ、更には車両運転者が注意すべき方向の画像の比率を大きくして表示することができる。請求項１に記載の発明によれば、交差路の車線数及び規制された進行方向に従った画像の比率を決定して各撮像画像の大きさを異にすることができ、車両運転者が注意すべき方向の画像の比率を大きくして表示することができる。
【００２０】
請求項２に記載の発明によれば、時間的に差をもって撮像された各撮像画像の比較で移動体の検出を行うため、移動体を検出するための専用のセンサ等を設ける必要が無く、構成を簡素化でき、安価に車両運転者に提供できる。
【００２２】
請求項３に記載の発明によれば、移動体が含まれる撮像画像の比率を大きくすることで、移動体が含まれる撮像画像を、移動体が含まれない撮像画像よりも大きくした表示用画像を作成して表示することができるので、移動体の有無を明確に車両運転者に提示することができる。
【００２３】
請求項４に記載発明によれば、移動体が検出されたときに、移動体が含まれる撮像画像の枠部分を、移動体が含まれない撮像画像の枠部分とは異なる表示形態にした表示用画像を作成するので、何れかの画像の比率を小さくしなくても、移動体の有無を明確に車両運転者に提示することができる。
【００２４】
請求項５に記載の発明によれば、移動体が検出されたときであっても、道路状況を加味して各撮像画像の比率を決定することで、移動体の有無に加え、更に別の移動体の来る可能性も考慮した画像を車両運転者に提示することができる。
【００２５】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００２６】
［本発明の第１実施形態］
「第１実施形態に係る車両用表示システムの構成」
本発明の第１実施形態に係る車両用表示システムは例えば図１に示すように構成される。
【００２７】
この車両用表示システムは、車両の前部又は後部に外部に露呈して設けられた複数のカメラヘッド１Ａ、１Ｂ（以下総称するときには単に「カメラヘッド１」と呼ぶ。）と、カメラヘッド１からの撮像信号を入力するカメラドライバ２Ａ、２Ｂ（以下、総称するときには単に「カメラドライバ２」と呼ぶ。）と、ナビゲーション装置３と、カメラドライバ２からの撮像信号を側方表示画像に変換する表示制御装置４と、車両運転者に視認可能な位置に設けられた車内ディスプレイ５とを備える。
【００２８】
カメラヘッド１は、例えばＣＣＤ（Charge Coupled Device）イメージャを備え、車両の前部又は後部に設けられることで車両の左右側方の映像を撮像して、撮像信号をカメラドライバ２に出力する。
【００２９】
カメラドライバ２は、カメラヘッド１を所定の周波数で駆動することで、所定時間毎に所定フレーム数の側方画像を得る。このカメラドライバ２は、カメラヘッド１Ａ、１Ｂに対応してカメラドライバ２Ａ、２Ｂからなり、カメラドライバ２Ａにより自車両の左側方の画像である左側方画像、カメラドライバ２Ｂにより自車両の右側方の画像である右側方画像を得る。カメラドライバ２は、時間的に連続したフレーム毎の左側方画像及び右側方画像を表示制御装置４に出力する。
【００３０】
ナビゲーション装置３は、図示しないナビゲーション用衛星システムと無線通信する機能を有し、記録媒体などに記憶している地図データとのマッチングを行うことで、現在の車両位置や、車両位置における道路情報を得て、表示制御装置４に出力する。また、このナビゲーション装置３は、内部の地図データを用いて、ナビゲーション画像を表示して、映像セレクタ部１６を介して車内ディスプレイ５にナビゲーション画面を表示させる。
【００３１】
表示制御装置４は、ナビゲーション装置３からの道路情報、後述の移動体検出結果などに基づいて、左側方画像と右側方画像との表示画像の比率を決定して、決定した比率に従って左側方画像と右側方画像とを合成した側方表示画像を作成して、車内ディスプレイ５に出力する。
【００３２】
車内ディスプレイ５は、例えばＬＣＤ（Liquid Crystal Display）パネルからなり、表示制御装置４からの側方表示画像や、ナビゲーション装置３による地図データなどの各種情報を表示して、車両運転者などに各種情報を提示する。
【００３３】
「表示制御装置４の構成」
つぎに、表示制御装置４の構成について説明する。表示制御装置４は、図１から分かるように、カメラドライバ２と接続された表示領域設定部１１、移動物体判定部１２、ナビゲーション装置３と接続された状態判定部１３、車速判定部１４、画像合成部１５、車内ディスプレイ５に側方表示画像を出力する映像セレクタ部１６を備える。
【００３４】
車速判定部１４は、例えば外部の車速センサと接続され、この車速センサからのセンサ信号に従って現在の車両の速度を判定して車両速度情報を生成し、移動物体判定部１２、状態判定部１３及び映像セレクタ部１６に出力する。
【００３５】
移動物体判定部１２は、カメラドライバ２から左側方画像及び右側方画像が入力されると共に、車速判定部１４から車両速度情報が入力される。移動物体判定部１２は、図２に示すように、Ａ地点に自車両１０１が存在しているときには図３（ａ）に示すような移動物体１０２を含む右側方画像を撮像し、走行してＡ’地点に自車両１０１が存在するときには図３（ｂ）に示すような移動物体１０２を含む右側方画像を撮像したとする。そして、移動物体判定部１２は、移動物体を検出するに際して、図３（ａ）の右側方画像の撮像時刻と図３（ｂ）の右側方画像の撮像時刻との時間差と、車両速度情報から求めた自車両１０１の移動距離（Ａ−Ａ’）を考慮した範囲の画像を得る。そして、図３（ｃ）に示すように時間差を持たせて撮像した双方の画像を比較して移動物体１０２の大きさに差があると判定したときには移動物体１０２が存在すると判定し、移動物体１０２の大きさに差がないと判定したときには移動物体１０２が存在しないと判定する。移動物体判定部１２は、この判定結果を示す移動物体有無情報を生成して、表示領域設定部１１に出力する。
【００３６】
状態判定部１３は、ナビゲーション装置３からの道路情報、及び車速判定部１４からの車両速度情報に基づいて、自車両が進入する交差路の車線数、交差路の通行方向、自車両の進行方向を判定して、状態判定情報を生成して表示領域設定部１１に出力する。
【００３７】
表示領域設定部１１は、状態判定情報及び移動物体有無情報に基づいて、カメラドライバ２からの右側方画像と、左側方画像との表示領域の比率を設定する。表示領域設定部１１は、右側方画像の表示領域の比率、左側方画像の表示領域の比率を示す比率設定情報を生成して画像合成部１５に出力する。なお、表示領域設定部１１により比率設定情報を作成する処理については後述する。
【００３８】
画像合成部１５は、表示領域設定部１１から比率設定情報、及びカメラドライバ２で得た左側方画像及び右側方画像が入力され、比率設定情報に従って左側方画像と右側方画像とを合成した側方表示画像を作成して映像セレクタ部１６に出力する。
【００３９】
映像セレクタ部１６は、例えば外部に設けられ、車両運転者などにより操作されるスイッチやダイヤルの操作内容を示す操作入力信号が入力される。映像セレクタ部１６は操作入力信号に応じて、画像合成部１５からの側方表示画像や、車速判定部１４からの車両速度情報の内容を示す表示データを車内ディスプレイ５に切り替え出力する。これにより、映像セレクタ部１６は、車内ディスプレイ５に各種情報や画像を表示させる。
【００４０】
このような車両用表示システムでは、ナビゲーション装置３からの道路情報に応じて交差路に自車両１０１が進入する手前に、移動物体判定部１２による移動体有無情報に基づいて右側方画像と左側方画像の比率を決定し、この比率に従って右側方画像及び左側方画像を画像合成部１５で合成して得た側方表示画像を映像セレクタ部１６で切り替え表示する。これにより、車両用表示システムでは、通常のナビゲーション画像やオーディオ画像から、交差路での側方表示画像に自動的に切り替える。なお、この通常の画像から、側方表示画像への自動的な切り替えの具体例は後述する。
【００４１】
「車両用表示システムの動作」
図４に、表示制御装置４により側方表示画像を作成して車内ディスプレイ５に表示するときの処理手順を示し、図５〜図１２に、第１道路１０２を走行する自車両１０１の進行方向と第２道路１０４を走行する他車両１０３の走行方向、及び道路の状況に応じた表示形態を示す。
【００４２】
図４によれば、先ず、車両運転者により操作パネルなどを操作することで側方の画像を表示することを指示する起動スイッチが操作された操作入力信号が映像セレクタ部１６に入力されることにより、左側方画像及び右側方画像を合成して表示する側方表示画像を作成する処理を開始し、ステップＳ１から処理を開始する。
【００４３】
ステップＳ１において、車速判定部１４により自車両の車速を認識して車両速度情報の生成をし、自車両が停止しているか否かの判定をする。車速判定部１４により自車両が停止してると判定したときにはステップＳ２に処理を進め、自車両が停止していないと判定したときにはステップＳ９に処理を進める。
【００４４】
ステップＳ２において、カメラヘッド１Ａ、１Ｂで撮像され、カメラドライバ２Ａ、２Ｂで得た左側方画像ＰＬ（ｔ）、右側方画像ＰＲ（ｔ）を移動物体判定部１２により入力して内部のメモリに記憶してステップＳ３に処理を進める。
【００４５】
ステップＳ３において、ステップＳ２で記憶した左側方画像ＰＬ（ｔ）及び右側方画像ＰＲ（ｔ）を撮像した時刻ｔからの所定期間後の第ｎフレームの左側方画像ＰＬ（ｔ＋ｎ）、左側方画像ＰＬ（ｔ＋ｎ）を移動物体判定部１２により入力した内部のメモリに記憶してステップＳ４に処理を進める。
【００４６】
ステップＳ４において、ステップＳ２及びステップＳ３で得た右側方画像ＰＲ（ｔ）と右側方画像ＰＲ（ｔ＋ｎ）とを比較すると共に、左側方画像ＰＬ（ｔ）と左側方画像ＰＬ（ｔ＋ｎ）とを比較して差分があるか否かの判定を移動物体判定部１２によりする。このとき、移動物体判定部１２は、双方の画像の輝度を比較することで差分を認識する。いずれかの画像に差分があると判定したときにはステップＳ５に処理を進め、差分がないと判定したときにはステップＳ９に処理を進める。
【００４７】
ステップＳ５において、ステップＳ４での比較で、左側方画像ＰＬ、右側方画像ＰＲのうち、何れかの画像に差分があったのかを移動物体判定部１２により判定する。
【００４８】
左側方画像ＰＬに差分があったと判定したときには、移動物体判定部１２により左側方画像ＰＬに移動物体が存在することを示す移動物体有無情報を表示領域設定部１１に出力してステップＳ６に処理を進める。右側方画像ＰＲに差分があったと判定したときには、移動物体判定部１２により右側方画像ＰＲに移動物体が存在することを示す移動物体有無情報を表示領域設定部１１に出力してステップＳ８に処理を進める。左側方画像ＰＬ及び右側方画像ＰＲの双方の画像に差分があったと判定したときには、移動物体判定部１２により左側方画像ＰＬ及び右側方画像ＰＲに移動物体が存在することを示す移動物体有無情報を表示領域設定部１１に出力してステップＳ７に処理を進める。
【００４９】
ステップＳ６において、他車両や自転車などの移動物体が左側方から接近して来るものと判断し、左側方の注意を運転者に促すために、表示領域設定部１１により左側方画像ＰＬの比率を上げて拡大する比率設定情報を作成して画像合成部１５に出力する。これに応じ、比率設定情報で指定された比率により画像合成部１５で左側方画像ＰＬを拡大して左側方画像ＰＬと右側方画像ＰＲとを合成して映像セレクタ部１６を介して車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００５０】
この例としては、図６に示すように左側方から右側方への一方通行道路において他車両１０３が左側方から右側方に走行する場合に自車両１０１が右折する場合（ｃ）又は直進する場合（ｄ）、図７に示すように左側方から右側方への一方通行道路において自転車１０５が左側方から右側方に進行する場合に自車両１０１が左折する場合（ａ）及び直進する場合（ｂ）、図１０に示すように双方向通行道路において他車両１０３Ｂが左側方から右側方に走行する場合に自車両１０１が左折する場合（ａ）、直進する場合（ｂ）、右折する場合（ｃ）がある。この場合には左側方画像ＰＬの比率を大きくして左側方画像画面１１２を大きく表示する。
【００５１】
ステップＳ７において、他車両や自転車などの移動物体が左側方及び右側方から接近して来るものと判断し、左側方及び右側方の注意を運転者に促すために、表示領域設定部１１により左側方画像ＰＬと右側方画像ＰＲの比率を同じとする比率設定情報を作成して画像合成部１５に出力する。これに応じ、比率設定情報で指定された比率により画像合成部１５で左側方画像ＰＬ及び右側方画像ＰＲとを同じ大きさとし左側方画像ＰＬと右側方画像ＰＲとを合成して映像セレクタ部１６を介して車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００５２】
このとき、画像合成部１５は、左側方及び右側方からの移動物体がない場合の表示と区別するために、画像枠の色などを変更する画像処理を左側方画像ＰＬ及び／又は右側方画像ＰＲに施した側方表示画像を作成する。
【００５３】
この例としては、図８に示すように何れかの一方通行道路において、他車両１０３が右側方から左側方に走行すると共に自転車１０５が左側方から右側方に走行する場合に自車両１０１が左折する場合（ａ）又は直進する場合（ｂ）や、他車両１０３が左側方から右側方に走行すると共に自転車１０５が右側方から左側方に走行する場合に右折する場合（ｃ）又は直進する場合（ｄ）がある。更に、この例としては、図１２（ａ）〜図１２（ｃ）に示すように双方向通行道路において他車両１０３Ａ及び他車両１０３Ｂが双方向に走行している場合に、自車両１０１が左折する場合（ａ）、直進する場合（ｂ）、右折する場合（ｃ）がある。この場合には左側方画像ＰＬ及び右側方画像ＰＲの比率を同じにして表示する。
【００５４】
ステップＳ８において、他車両や自転車などの移動物体が右側方から接近して来るものと判断し、右側方の注意を運転者に促すために、表示領域設定部１１により右側方画像ＰＲの比率を上げて表示領域を拡大する比率設定情報を作成して画像合成部１５に出力する。これに応じ、比率設定情報で指定された比率により画像合成部１５で右側方画像ＰＲを拡大して左側方画像ＰＬと右側方画像ＰＲとを合成して映像セレクタ部１６を介して車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００５５】
この例としては、図６に示すように一方通行道路において他車両１０３が右側方から左側方に走行する場合に自車両１０１が左折する場合（ａ）又は直進する場合（ｂ）がある。また、他の例としては、図７に示すように、左側方から右側方への一方通行道路において右側方から左側方に自転車１０５が走行する場合に、自車両１０１が右折する場合（ｃ）又は直進する場合（ｄ）がある。更に他の例としては、図１１に示すように、双方向通行道路において右側方から左側方に他車両１０３Ａが走行する場合に、自車両１０１が左折する場合（ａ）、直進する場合（ｂ）、右折する場合（ｃ）がある。これらの場合には右側方画像ＰＲについての比率を大きくして右側方画像画面１１１を大きく表示する。
【００５６】
ステップＳ４で移動物体が左右側方に存在しないと判断した後のステップＳ９において、図示しない車両運転操作判定部によりウインカー操作方向、ハンドル操舵角を検出し、自車両１０１の進行方向が左折か否かを判定する。自車両１０１が左折すると判定したときにはステップＳ１０に処理を進め、自車両１０１の進行方向が左折でないと判定したときにはステップＳ１１に処理を進める。
【００５７】
ステップＳ１０において、第２道路１０４に移動物体はなく、自車両１０１が左折するときの右側方の注意を運転者に促すために、ステップＳ８と同様の処理をし、右側方画像ＰＲを拡大して車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００５８】
移動物体がなく、自車両１０１が左折する例としては、図５（ａ）に示す右側方から左側方への一方通行道路において自車両１０１が左折する場合や、図９（ａ）に示す双方向通行道路において自車両１０１が左折する場合があり、この場合には右側方画像ＰＲの比率を大きくして右側方画像画面１１１を大きく表示する。
【００５９】
ステップＳ１１において、ナビゲーション装置３からの道路情報に応じて、状態判定部１３により自車両１０１が進入しようとする交差路が単線であるか否かを判定する。状態判定部１３により交差路が単線ではないと判定したときにはステップＳ１２に処理を進め、交差路が単線であると判定したときにはステップＳ１３に処理を進める。
【００６０】
ステップＳ１２において、第２道路１０４に移動物体がなく、自車両１０１が複数車線のある交差路を前進又は右折するため、左右側方の注意を促すために、ステップＳ７と同様の処理をし、左側方画像ＰＬ及び右側方画像ＰＲを同じ大きさにして車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００６１】
移動物体がなく、自車両１０１が複数車線のある交差路を前進又は右折する例としては、図９（ｂ）に示す双方通行道路において自車両１０１が直進する場合、図９（ｃ）に示す右折する場合があり、これら場合には左側方画像ＰＬ及び右側方画像ＰＲの比率を同じにして、右側方画像画面１１１及び左側方画像画面１１２の大きさを同じにする。
【００６２】
ステップＳ１１で交差路が単線と判定されたステップＳ１３において、状態判定部１３により自車両１０１の進入する交差路において規制された進行方向を判定する。第２道路１０４で左側方から右側方への進行が規制されていると状態判定部１３により判定したときにはステップＳ１４に処理を進め、第２道路１０４で右側方から右側方への進行が規制されていると状態判定部１３により判定したときにはステップＳ１５に処理を進める。
【００６３】
ステップＳ１４において、第２道路１０４に移動物体がなく自車両１０１が交差路を直進又は右折するときの、左側方の運転者の注意を促すために、ステップＳ６と同様の処理をすることで、左側方画像ＰＬを拡大して車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００６４】
この例としては、図５（ｃ）及び図５（ｄ）に示す左側方から右側方への一方通行道路において、自車両１０１が右折する場合（ｃ）や、直進する場合（ｄ）があり、これら場合には左側方画像ＰＬの比率を大きくして左側方画像画面１１２を大きく表示する。
【００６５】
ステップＳ１５において、第２道路１０４に移動物体がなく自車両１０１が交差路を直進するときの、右側方の運転者の注意を促すために、ステップＳ８と同様の処理をすることで、右側方画像ＰＲを拡大して車内ディスプレイ５に表示してステップＳ１６に処理を進める。この例としては、図５（ｂ）に示す右側方から左側方への一方通行道路において自車両１０１が直進する場合があり、この場合には右側方画像ＰＲの比率を大きくして右側方画像画面１１１を大きく表示する。
【００６６】
ステップＳ１６において、車速判定部１４からの車両速度情報を入力して、自車両１０１の速度が所定値以上であるか否かの判定を映像セレクタ部１６により行う。自車両１０１が所定値以上の速度で走行していると判定したときにはステップＳ１７に処理を進め、自車両１０１が所定値以上の速度で走行していないと判定したときにはステップＳ１に処理を戻す。上記所定値は例えば時速１５キロ程度を設定しておく。
【００６７】
ステップＳ１７において、自車両１０１が所定値以上と判定したことに応じて、自車両１０１が交差路を通過したものとして、車内ディスプレイ５の画面表示を左右確認画面から元の画面（例えばナビゲーション画面、オーディオ画面）に戻す処理をして、処理を終了する。
【００６８】
このような処理をする表示制御装置４を備えた車両用表示システムでは、自車両１０１の進入する交差路で他車両１０３や自転車１０５などの移動物体の存在を判定したときには移動物体が検出された方向を大きく表示すると共に、移動物体が検出されないときには現在の道路状況から判断して左右側方の比率を設定しているので、車両運転者が注意すべき方向の画像の比率を大きくして表示することができる。
【００６９】
なお、本実施例では、カメラヘッドを左右に取り付けたケースを説明したが、車両の進行方向に対して左右両方に観測視野を持つ、Ｖ字状の鏡を用いて１つのカメラで撮像しても同様の効果が得られる。
【００７０】
［本発明の第２実施形態］
図１３に、第２実施形態に係る動作を説明するための処理手順、図１４〜図１７に、第１道路１０２を走行する自車両１０１の進行方向と第２道路１０４を走行する他車両１０３の走行方向、及び道路の状況に応じた表示形態を示す。第２実施形態に係る車両用表示システムの構成は、上述の第１実施形態の車両用表示システムと同様なので説明を省略する。また、図１３の説明では、上述の図５と同じ処理内容については同じステップ番号を付することでその詳細な説明を省略する。
【００７１】
第２実施形態に係る車両用表示システムでは、交差路での車線数、交差路での規制された進行方向、自車両１０１の進行方向、移動物体の有無により左右確認画面の表示形態を決定するが、移動物体が検出された場合であっても、道路状況により運転者が注意すべき方向が移動物体の方向と異なるときには移動物体が存在する方向の表示領域を大きくしない点で第１実施形態に係る車両用表示システムと異なる。
【００７２】
図１３によれば、起動スイッチが操作された操作入力信号が映像セレクタ部１６に入力されることにより、側方表示画像を作成する処理を開始しステップＳ１〜ステップＳ４までの処理をすることで移動物体が存在するか否かを移動物体判定部１２により判定する。移動物体が存在すると判定したときにはステップＳ２１に処理を進め、移動物体が存在しないと判定したときにはステップＳ９に処理を進める。
【００７３】
ステップＳ２１において、ステップＳ１１での処理と同様に、状態判定部１３により自車両１０１が進入しようとする交差路が単線であるか否かを判定する。状態判定部１３により交差路が単線ではないと判定したときにはステップＳ２５に処理を進め、交差路が単線であると判定したときにはステップＳ２２に処理を進める。
【００７４】
ステップＳ２５において、ステップＳ４で移動物体が検出され、自車両１０１が複数車線のある交差路を前進又は右折、或いは左折するときの左右側方の注意を促すために、表示領域設定部１１により右側方及び左側方の比率を同じにして、表示をする。
【００７５】
この例としては、図１６に示すように他車両１０３Ｂが左側方から右側方に走行する場合に自車両１０１が左折する場合（ａ）、直進する場合（ｂ）及び右折する場合（ｃ）、図１７に示すように他車両１０３Ａが右側方から左側方に走行する場合に自車両１０１が左折する場合（ａ）、直進する場合（ｂ）及び右折する場合（ｃ）、図１２と同様に、他車両１０３Ａ、１０３Ｂが左側方から右側方及び右側方から左側方に走行する場合に自車両１０１が左折する場合（ａ）、直進する場合（ｂ）及び右折する場合（ｃ）がある。この場合には左側方画像ＰＬ及び右側方画像ＰＲの比率を同じにして、右側方画像画面１１１及び左側方画像画面１１２の大きさを同じにする。
【００７６】
ステップＳ２２では、上述のステップＳ１３と同様に、状態判定部１３により交差路において規制された進行方向を判定し、左側方から右側方への進行が規制されていると判定したときにはステップＳ２４に処理を進め、右側方から左側方への進行が規制されていると判定したときにはステップＳ２３に処理を進める。
【００７７】
ステップＳ２３では、ステップＳ４での比較結果に基づいて、左側方画像ＰＬ（ｔ）と左側方画像ＰＬ（ｔ＋ｎ）とに差分がなく、右側方画像ＰＲ（ｔ）と右側方画像ＰＲ（ｔ＋ｎ）との間のみに差分があったか否かを移動物体判定部１２により判定する。右側方画像ＰＲについてのみ差分があったときにはステップＳ２７に処理を進め、左側方画像ＰＬについてのみ、又は右側方画像ＰＲ及び左側方画像ＰＬの双方に差分があったときにはステップＳ２６に処理を進める。
【００７８】
ステップＳ２６において、移動物体が左側方、或いは左右側方の双方に検出され、自車両１０１が右から左へ通行可能な単線の交差路を直進或いは左折するときに、車両運手者の注意を促すために、右側方画像ＰＲと左側方画像ＰＬの比率を同じにして、車内ディスプレイ５に表示して、ステップＳ１６に処理を進める。
【００７９】
この例としては、図１４に示すように他車両１０３が右側方から左側方に走行する場合に左折する場合（ａ）及び直進する場合（ｂ）、図１５に示すように他車両１０３が右側方から左側方に走行すると共に自転車１０５が左側方から右側方に走行する場合に自車両１０１が左折する場合（ａ）又は直進する場合（ｂ）がある。この場合には左側方画像ＰＬ及び右側方画像ＰＲの比率を同じにして、右側方画像画面１１１及び左側方画像画面１１２の大きさを同じにする。
【００８０】
ステップＳ２７において、移動物体が右側方のみに検出され、自車両１０１が右から左へ通行可能な単線の交差路を直進或いは左折するときに、自車両１０１の右側方の車両運手者の注意を促すために、右側方画像ＰＲの比率を大きくすることで右側方画像画面１１１を大きくして車内ディスプレイ５に表示して、ステップＳ１６に処理を進める。
【００８１】
この例としては、図６に示すように他車両１０３が右側方から左側方に走行する場合に、自車両１０１が左折（ａ）又は直進（ｂ）する場合がある。この場合には右側方画像ＰＲの比率を左側方画像ＰＬよりも大きくして、右側方画像画面１１１の大きさを左側方画像画面１１２よりも大きくする。
【００８２】
ステップＳ２４において、ステップＳ４での比較結果に基づいて、右側方画像ＰＲ（ｔ）と右側方画像ＰＲ（ｔ＋ｎ）とに差分がなく、左側方画像ＰＬ（ｔ）と左側方画像ＰＬ（ｔ＋ｎ）との間のみに差分があったか否かを移動物体判定部１２により判定する。左側方画像ＰＬについてのみ差分があったときにはステップＳ２９に処理を進め、右側方画像ＰＲについてのみ、又は右側方画像ＰＲ及び左側方画像ＰＬの双方に差分があったときにはステップＳ２８に処理を進める。
【００８３】
ステップＳ２８において、移動物体が右側方、或いは左右側方の双方に検出され、自車両１０１が左から右へ通行可能な単線の交差路を直進或いは右折するときに、車両運手者の注意を促すために、右側方画像ＰＲと左側方画像ＰＬの比率を同じにして、車内ディスプレイ５に表示して、ステップＳ１６に処理を進める。
【００８４】
この例としては、図１４（ｃ）及び図１４（ｄ）、図１５（ｃ）及び図１５（ｄ）があり、この場合には左側方画像ＰＬ及び右側方画像ＰＲの比率を同じにして、右側方画像画面１１１及び左側方画像画面１１２の大きさを同じにする。
【００８５】
ステップＳ２９において、移動物体が左側方のみに検出され、自車両１０１が左から右へ通行可能な単線の交差路を直進或いは右折するときに、自車両１０１の左側方の車両運手者の注意を促すために、左側方画像ＰＬの比率を大きくすることで左側方画像画面１１２を大きくして車内ディスプレイ５に表示して、ステップＳ１６に処理を進める。
【００８６】
この例としては、図６（ｃ）及び図６（ｄ）があり、この場合には左側方画像ＰＬの比率を右側方画像ＰＲよりも大きくして、左側方画像画面１１２の大きさを右側方画像画面１１１よりも大きくする。
【００８７】
このような処理を行う表示制御装置４を備えた車両用表示システムでは、ステップＳ４で移動物体を検出した場合であっても、ステップＳ２１で交差路が単線でない場合には、左右の両側方から移動物体が走行してくる可能性があるとして、ステップＳ２５で右側方画像画面１１１と左側方画像画面１１２の比率を同じとする。また、この車両用表示システムでは、ステップＳ２１で交差路が単線と判定されたときにステップＳ２２で予め規制された進行方向が存在する場合であっても、規制された進行方向以外に移動物体が検出されたときには、規制された進行方向に拘わらず左右の両側方についての右側方画像画面１１１及び左側方画像画面１１２を同じ大きさで表示する。
【００８８】
したがって、この車両用表示システムによれば、車両１０１の進入する交差路で他車両１０３や自転車１０５などの移動物体が検出された時であっても、ナビゲーション装置３からの道路情報に基づいた車線数、予め規制された通行方向に従って移動物体の走行する可能性のある側方を認識して、移動物体が走行する可能性がある側方と、移動物体が検出された側方とを同じ大きさで表示することができる。したがって、この車両用表示システムによれば、移動体が検出された側方と、移動物体が走行してくる可能性とが逆方向であるときに双方の側方を同じ大きさで表示することができる。
【００８９】
なお、上述した第１実施例及び第２実施例では、自車両１０１が停止している状態で移動物体を検出する一例について説明したが、自車両１０１が走行しているときでも移動物体を検出しても良い。
【００９０】
すなわち時刻ｔに撮像した画像Ｐ’（ｔ）と、時刻ｔ＋ｎに撮像した画像Ｐ’（ｔ＋ｎ）と、車速センサ、操舵角センサの検出結果に基づいて、時刻ｔ＋ｎとなる間に自車両１０１が移動した軌跡を算出する。例えば操舵角が０度で、ｎが０．５秒、車速が５Ｋｍ／ｈとすると、約７０ｃｍ進んだことを算出する。
【００９１】
次いで、算出された軌跡に基づいて、画像Ｐ’（ｔ＋ｎ）の中から画像Ｐ’（ｔ）が撮像されている領域の画像を抽出して比較を行う。これにより、表示制御装置４では、画像Ｐ’（ｔ＋ｎ）に対して７０ｃｍ手前側の映像が画像Ｐ’（ｔ）と同じ領域に該当することを認識し、この該当する領域についてのみステップＳ５での比較を行うことで移動物体を検出することができる。
【００９２】
また、上述した第１実施例及び第２実施例では、移動物体を検出するのに撮像した画像を比較し検出する例について説明したが、超音波センサやレーザレーダ等を用いて移動体の検出を行っても良い。
【００９３】
「通常の画像から側方表示画像への自動的切り替えの具体例」
図１８〜図３６に、ナビゲーション画面やオーディオ画面などの通常画面から交差路での側方表示画面に切り替えるときの表示形態を示す。
【００９４】
＜第１表示形態＞
通常画面から側方表示画面に切り替えるに際して、ＧＰＳ信号、車両速度情報や地図データを用いて自車両１０１の現在位置をナビゲーション装置３により計測し、表示制御装置４は、予めＣＤ−ＲＯＭなどの記録媒体に格納された道路の接続情報、緯度経度情報、道路種別などの道路情報に基づいて、現在位置の前方の道路接続状態を状態判定部１３により先読みし、自車両１０１が交差路などの所定の地点を起点として所定距離以内に接近したとき、側方表示画面を自動起動する。
【００９５】
このような処理をする表示制御装置４は、側方画面表示が必要な交差路と自車両との距離が所定距離以上離れているときには、図１８（ａ）に示すように、現在車両が通行している第１道路表示１２１、第２道路表示１２２、自車両表示１２３を含むナビゲーション画面を表示している。また、この例では、車内ディスプレイ５は、表示パネル５ａの近傍にＬＥＤ（Light Emitting Diode）表示部５ｂが設けられている。この状態では表示パネル５ａによりナビゲーション画面を表示し、ＬＥＤ表示部５ｂは消灯している状態になっている。
【００９６】
その後、自車両が走行して自車両と交差路との距離が所定距離以内となると、図１８（ｂ）に示すように、ＬＥＤ表示部５ｂを点滅させる。これにより、車両用表示システムでは、運転者に、所定速度以上に減速することで側方表示画面に自動的に切り替えることを提示する。
【００９７】
更に自車両が走行して、自車両が交差路に近づいて、所定速度以下の速度となることを車速判定部１４により判定すると、移動物体判定部１２、表示領域設定部１１及び画像合成部１５により、側方表示画像を作成して映像セレクタ部１６により切り替え出力することで、図１８（ｃ）に示すように、右側方画像画面１１１及び左側方画像画面１１２を表示パネル５ａに表示すると共にＬＥＤ表示部５ｂを消灯する。
【００９８】
＜第２表示形態＞
表示制御装置４は、交差路と自車両との距離が所定距離以上離れているときには、図１９（ａ）に示すように第１道路表示１２１、第２道路表示１２２、自車両表示１２３を含むナビゲーション画面を表示している。
【００９９】
その後、自車両が走行して自車両と交差路との距離が所定距離以内となると、図１９（ｂ）に示すように、地図画面の枠部分１２４を点滅表示するように画像合成部１５により画像処理をする。これにより、車両用表示システムでは、運転者に、所定速度以上に減速することで側方表示画面に自動的に切り替えることを提示する。
【０１００】
更に自車両が走行して、自車両が交差路に近づいて、所定速度以下の速度となると、側方表示画像を作成して、図１９（ｃ）に示すように、右側方画像画面１１１及び左側方画像画面１１２を表示する。
【０１０１】
＜第３表示形態＞
また、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２０に示すように、自車両表示１２３の色を変更しても良く、さらには自車両表示１２３の形状を変更しても良い。
【０１０２】
＜第４表示形態＞
更に、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２１に示すように、自車両表示１２３を点滅表示しても良い。
【０１０３】
＜第５表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２２に示すように、側方表示画面を表示する交差路表示１２５を点滅表示しても良い。これにより、運転者に側方表示画面を表示するときの位置をわかりやすく提示する。
【０１０４】
＜第６表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２３に示すように、背景表示１２６の色を変更しても良い。
【０１０５】
＜第７表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２４に示すように、全体の表示スケールを大きくするように変更しても良い。これにより、運転者に側方表示画面を表示する交差路が近づいていることを明確に提示する。
【０１０６】
＜第８表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２５に示すように、視点位置を変更しても良い。この例では、図１９（ａ）に示すように透視投影表示としているのを、２次元の平面表示にする。これにより、運転者に側方表示画面を表示する交差路までの距離を明確に表示する。
【０１０７】
＜第９表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２６に示すように、交差路に関する情報を運転者に提示するアイコン表示１２７をしても良い。ここで、アイコン表示１２７は、道路情報に基づいて、例えば見通しの悪い交差路や、単数車線の交差路、複数車線の交差路に応じて変更可能である。
【０１０８】
＜第１０表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２７に示すように、交差路が近づいたことを提示する文字表示１２８をしても良い。更に、文字表示１２８は、道路情報に基づいて、例えば見通しの悪い交差路や、単数車線の交差路、複数車線の交差路に応じて変更可能である。
【０１０９】
＜第１１表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２８に示すように、ナビゲーション画面と、道路情報に基づいて交差路の状況を平面表示する交差路表示１２９とを分割表示しても良い。交差路表示は、道路情報に基づいて、例えば見通しの悪い交差路や、単数車線の交差路、複数車線の交差路に応じて変更可能である。
【０１１０】
＜第１２表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、先ず図２９（ａ）に示すように、表示パネルの左側にナビゲーション画面を表示しておき、側方表示画面を表示するべき交差路に近づいたら、図２９（ｂ）に示すようにナビゲーション画面を右側に移動させると共に、ナビゲーション画面が表示されていた領域に「交差点に注意！」という文字表示１３１をしても良い。これにより、運転者に自車両が交差点に近づいていることを更に明確に提示することができる。
【０１１１】
＜第１３表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、先ず図３０（ａ）に示すように、表示パネルの左側にナビゲーション画面を表示しておき、側方表示画面を表示するべき交差路に近づいたら、図３０（ｂ）に示すようにナビゲーション画面を縮小して表示すると共に、「交差点に注意！」という文字表示１３１をしても良い。これにより、運転者に自車両が交差点に近づいていることを更に明確に提示することができる。
【０１１２】
＜第１４表示形態＞
上述の第１表示形態〜第１３表示形態では、通常画面がナビゲーション画面である一例について説明したが、通常画面でナビゲーション画面以外の、例えばエアコン状態表示である場合についても上述と同様に、側方表示画面を表示する地点が近づいていることを表示可能である。
【０１１３】
自車両が走行して自車両と交差路との距離が所定距離以内となったときに、図３１に示すように、エアコン状態表示１４０の枠表示１４１を点滅表示させる。
【０１１４】
＜第１５表示形態＞
また、第１４表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図３２に示すように、エアコ状態表示１４０の背景部分１４０ａの色を変更しても良い。
【０１１５】
＜第１６表示形態＞
更に、第１４表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図３３に示すように、上述の図２６に示した表示形態と同様に、アイコン表示１４２をしても良い。
【０１１６】
＜第１７表示形態＞
更に、第１４表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図３４に示すように、上述の図２７に示した表示形態と同様に、交差路が近づいたことを提示する文字表示１４３をしても良い。
【０１１７】
＜第１８表示形態＞
更に他の表示形態としては、図３５（ａ）に示すように、自車両の経路を誘導するための経路誘導表示１５１をしているときにおいて、自車両が走行して自車両と交差路との距離が所定距離以内となると、図３５（ｂ）に示すように、経路誘導表示１５１を点滅させる。
【０１１８】
更に自車両が走行して、自車両が交差路に近づいて、所定速度以下の速度となることを判定すると、側方表示画像を作成し、図３５（ｃ）に示すように、右側方画像画面１１１及び左側方画像画面１１２を表示すると共に、経路誘導表示１５１に代えて、交差路で自車両が経路に従って走行する方向を示す経路案内表示１５２を表示する。
【０１１９】
これにより、車両用表示システムでは、運転者の操作により表示させた経路誘導表示を右側方画像画面１１１及び左側方画像画面１１２を表示することで遮断させるようなことがない。
【０１２０】
＜第１９表示形態＞
更に他の表示形態としては、図３６（ａ）に示すように、運転者が地図内で検索して検索物表示１６１をアイコンで表示させているときにおいて、自車両が走行して自車両と交差路との距離が所定距離以内となると、図３６（ｂ）に示すように、検索物表示１６１を点滅させる。本例では、検索物をコンビニエンスストアとし、画面内に「Ｃ」で表示している場合である。
【０１２１】
更に自車両が走行して、自車両が交差路に近づいて、所定速度以下の速度となることを判定すると、側方表示画像を作成し、図３６（ｃ）に示すように、右側方画像画面１１１及び左側方画像画面１１２を表示すると共に、自車両が存在する地点を略中心として検索物を表示している画面を部分表示して検索物表示１６１をする。
【０１２２】
これにより、車両用表示システムでは、運転者の操作により表示させた検索物表示１６１を右側方画像画面１１１及び左側方画像画面１１２を表示することで遮断させるようなことがない。
【０１２３】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明を適用した車両用表示システムの構成を示すブロック図である。
【図２】移動物体判定部により移動物体を検出するに際して、自車両と他車両との関係を説明するための図である。
【図３】（ａ）、（ｂ）は移動物体判定部により移動物体を検出するに際して、時間差を設けて撮像した画像であり、（ｃ）は時間差を設けて撮像した画像を用いて移動物体の有無を検出する処理の内容を説明するための図である。
【図４】第１実施形態に係る車両用表示システムの表示制御装置により表示用画面を表示して、元の画面に復帰するまでの処理手順を示すフローチャートである。
【図５】一方通行道路における表示例であり、（ａ）は右側方から他車両が通行する可能性のある場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行する可能性のある場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行する可能性のある場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行する可能性のある場合に自車両が直進するときの画面表示例を示す。
【図６】一方通行道路における表示例であり、（ａ）は右側方から他車両が通行する場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行する場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行する場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行する場合に自車両が直進するときの画面表示例を示す。
【図７】一方通行道路における表示例であり、（ａ）は右側方から他車両が通行する可能性があり左側方から自転車が走行する場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行する可能性があり左側方から自転車が走行する場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行する可能性があり右側方から自転車が走行する場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行する可能性があり右側方から自転車が走行する場合に自車両が直進するときの画面表示例を示す。
【図８】一方通行道路における表示例であり、（ａ）は右側方から他車両が通行すると共に左側方から自転車が走行する場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行すると共に左側方から自転車が走行する場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行すると共に右側方から自転車が走行する場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行すると共に右側方から自転車が走行する場合に自車両が直進するときの画面表示例を示す。
【図９】双方向道路において、左側方及び右側方から他車両が走行する可能性があり、（ａ）自車両が左折する場合の表示例、（ｂ）自車両が直進する場合の表示例、（ｃ）自車両が右折する場合の表示例を示す。
【図１０】双方向道路において、左側方から他車両が走行してくるときの、（ａ）自車両が左折する場合の表示例、（ｂ）自車両が直進する場合の表示例、（ｃ）自車両が右折する場合の表示例を示す。
【図１１】双方向道路において、右側方から他車両が走行してくるときの、（ａ）自車両が左折する場合の表示例、（ｂ）自車両が直進する場合の表示例、（ｃ）自車両が右折する場合の表示例を示す。
【図１２】双方向道路において、左側方及び右側方から他車両が走行してくるときの、（ａ）自車両が左折する場合の表示例、（ｂ）自車両が直進する場合の表示例、（ｃ）自車両が右折する場合の表示例を示す。
【図１３】第２実施形態に係る車両用表示システムの表示制御装置により表示用画面を表示して、元の画面に復帰するまでの処理手順を示すフローチャートである。
【図１４】一方通行道路における他の表示例であり、（ａ）は右側方から他車両が通行する可能性があり左側方から自転車が走行する場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行する可能性があり左側方から自転車が走行する場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行する可能性があり右側方から自転車が走行する場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行する可能性があり右側方から自転車が走行する場合に自車両が直進するときの画面表示例を示す。
【図１５】一方通行道路における表示例であり、（ａ）は右側方から他車両が通行すると共に左側方から自転車が走行する場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行すると共に左側方から自転車が走行する場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行すると共に右側方から自転車が走行する場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行すると共に右側方から自転車が走行する場合に自車両が直進するときの画面表示例を示す。
【図１６】双方向道路において、左側方から他車両が走行してくるときの、（ａ）自車両が左折する場合の第２実施形態の表示例、（ｂ）自車両が直進する場合の第２実施形態の表示例、（ｃ）自車両が右折する場合の他の表示例を示す。
【図１７】双方向道路において、右側方から他車両が走行してくるときの、（ａ）自車両が左折する場合の第２実施形態の表示例、（ｂ）自車両が直進する場合の第２実施形態の表示例、（ｃ）自車両が右折する場合の第２実施形態の表示例を示す。
【図１８】ナビゲーション画面から側方表示画面に自動的に切り替えるときの処理について説明するための図であり、（ａ）自車両と交差路とが所定距離以上離れている場合、（ｂ）自車両と交差路とが所定距離以内である場合、（ｃ）自車両が所定速度以下で走行した場合を示す。
【図１９】ナビゲーション画面から側方表示画面に自動的に切り替えるときの他の処理について説明するための図であり、（ａ）自車両と交差路とが所定距離以上離れている場合、（ｂ）自車両と交差路とが所定距離以内である場合、（ｃ）自車両が所定速度以下で走行した場合を示す。
【図２０】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの画面表示例を示す図である。
【図２１】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの他の画面表示例を示す図である。
【図２２】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２３】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２４】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２５】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２６】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２７】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２８】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２９】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図３０】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図３１】エアコン状態画面を表示しているときに、自車両と交差路とが所定距離以内となったときの画面表示例を示す図である。
【図３２】エアコン状態画面を表示しているときに、自車両と交差路とが所定距離以内となったときの他の画面表示例を示す図である。
【図３３】エアコン状態画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図３４】エアコン状態画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図３５】経路誘導表示をしているときに、側方表示画面に自動的に切り替えるときの処理について説明するための図であり、（ａ）自車両と交差路とが所定距離以上離れている場合、（ｂ）自車両と交差路とが所定距離以内である場合、（ｃ）自車両が所定速度以下で走行した場合を示す。
【図３６】検索物表示をしているときに、側方表示画面に自動的に切り替えるときの処理について説明するための図であり、（ａ）自車両と交差路とが所定距離以上離れている場合、（ｂ）自車両と交差路とが所定距離以内である場合、（ｃ）自車両が所定速度以下で走行した場合を示す。
【図３７】（ａ）は従来の右側方に移動物体がない場合に自車両が左折するときの画面表示例を示し、（ｂ）は従来の右側方に移動物体がある場合に自車両が左折するときの画面表示例を示す。
【図３８】（ａ）は従来の右側方に移動物体がない場合であって左側方から移動物体がある場合に自車両が左折するときの画面表示例を示し、（ｂ）は従来の右側方に移動物体がある場合であって左側方から移動物体がある場合に自車両が左折するときの画面表示例を示す。
【符号の説明】
１ カメラヘッド
２ カメラドライバ
３ ナビゲーション装置
４ 表示制御装置
５ 車内ディスプレイ
１１ 表示領域設定部
１２ 移動物体判定部
１３ 状態判定部
１４ 車速判定部
１５ 画像合成部
１６ 映像セレクタ部
１０１ 自車両
１０２ 第１道路
１０３ 他車両
１０４ 第２道路
１０５ 自転車
１１１ 右側方画像画面
１１２ 左側方画像画面
【発明の属する技術分野】
本発明は、車両に搭載されて、車両の左右側面方向を撮像して撮像した映像を運転者に提示する車両用表示装置に関する。
【０００２】
【従来の技術】
従来より、車両の前部又は後部に取り付けられたカメラ装置により撮像された車両の左右側方の画像を並べて車内の表示モニタに表示する車両用表示装置が例えば特開平１０−２５８６８２号公報で開示されている。
【０００３】
この車両用表示装置では、ユーザに操作される手動操作スイッチや、地図データに基づいて車両の現在位置などを検出するナビゲーション装置と接続されている。そして、車両用表示装置では、表示する左右側方の画像を組み合わせて表示するに際して、手動操作スイッチからの操作入力信号や、ナビゲーション装置からの道路状況情報に基づいて左側方の画像と右側方の画像の表示領域の比率を決定していた。これにより、従来の車両用表示装置では、運転者が所望する側方の画像の比率を大きくして表示すると共に、予め登録された交差路で予め設定された比率で画像表示することで、運転者が注意すべき側方の画像を大きく表示していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来の車両用表示装置では、図３７に示すように、自車両１０１が通行する第１道路１０２と他車両１０３が通行する可能性のある第２道路１０４からなるＴ字交差路において、第１道路１０２から自車両１０１が左折し、第２道路１０４には他車両１０３が存在しない場合（図３７（ａ））や、自車両１０１の右側方から左側方に向かって他車両１０３が第２道路１０４を進行する場合（図３７（ｂ））には、予め設定した右側方画像１１１の比率を左側方画像１１２の比率よりも大きくする。これにより、従来の車両用表示装置では、運転者に右側方の物体確認を容易とする。
【０００５】
しかし、図３８に示すように、第１道路１０２から自車両１０１が左折し、自車両１０１の左側方から右側方に向かって自転車１０５が第２道路１０４を進行する場合であっても、右側方画像１１１よりも左側方画像１１２を小さく表示してしまい、左側方画像１１２に自転車１０５を表示し、運転者にとって自転車１０５の存在確認をしにくくしてしまうという問題点があった。
【０００６】
そこで、本発明は、上述した従来の実情に鑑みて提案されたものであり、他車両や自転車などの移動体の有無により正確に道路状況を表示することができる車両用表示装置を提供するものである。
【０００７】
【課題を解決するための手段】
請求項１に係る発明は、車両左右側面方向の各画像を撮像する撮像手段と、上記撮像手段で撮像された車両左右側面方向の各撮像画像を用いて、表示用画像を作成する画像作成手段と、上記画像作成手段で作成された表示用画像を表示する表示手段と、車両左右方向の移動体の有無を検出して移動体有無情報を作成する移動体検出手段と、車両進行方向における交差路の状況に関する道路状況情報を取得する状況取得手段と、上記状況取得手段で取得した道路状況情報と、上記移動体検出手段により作成された移動体有無情報とに基づいて各撮像画像の比率を決定する比率決定手段と、上記比率決定手段で決定した各撮像画像の比率に従って上記表示用画像を作成するように上記画像作成手段を制御する制御手段とを備え、上記状況取得手段は、交差路の車線数、規制された進行方向に基づいて道路状況を判定し、上記比率決定手段は、交差路の車線数が単線でない場合には各撮像画像の比率を同比率とし、交差路の車線数が単線である場合には規制された進行方向に基づいて各撮像画像の比率を決定する。
【０００８】
このような車両用表示装置は、道路状況情報及び移動体有無情報に基づいて各撮像手段で撮像された各撮像画像の比率を決定し、決定した各撮像画像の比率に従って表示用画像を画像作成手段で作成し、比率が異なる複数の撮像画像が合成された表示画像を表示手段で表示する。このような車両用表示装置は、交差路の車線数、及び規制された進行方向に従って道路状況を判定することで、交差路の車線数及び規制された進行方向に従った画像の比率を決定して各撮像画像の大きさを異にする。
【０００９】
請求項２に係る発明において、上記移動体検出手段は、上記撮像手段で撮像された各撮像画像を解析して画像内に含まれる移動体の有無を検出する。
【００１０】
このような車両用表示装置は、複数の撮像画像の比率を決定するに際して、表示する対象となる撮像画像を解析して移動体の有無を検出して移動体有無情報を作成する。
【００１３】
請求項３に係る発明において、上記比率決定手段は、移動体が画像内に含まれることを示す移動体有無情報に基づいて、移動体が含まれない撮像画像の比率よりも、移動体が含まれる撮像画像の比率を大きくし、前記交差路の車線数、規制された進行方向に基づいて各撮像画像の比率を決定することを停止する。
【００１４】
このような車両用表示装置は、移動体が含まれる撮像画像の比率を大きくすることで、移動体が含まれる撮像画像を、移動体が含まれない撮像画像よりも大きくした表示用画像を作成して表示する。
【００１５】
請求項４に係る発明では、上記制御手段は、上記比率決定手段で決定された各撮像画像の比率が同じであるときに、上記移動体検出手段により移動体が存在する移動体有無情報が作成されたときには、この作成された移動体有無情報に基づいて移動体が検出された撮像画像の枠表示部分を変更するように上記画像作成手段を制御する処理を更に行う。
【００１６】
このような車両用表示装置は、移動体が検出されたときに、移動体が含まれる撮像画像の枠部分を、移動体が含まれない撮像画像の枠部分とは異なる表示形態にした表示用画像を作成する。
【００１７】
請求項５に係る発明では、上記移動体が存在することを示す移動体有無情報が検出されたときであっても、上記交差路が単線でない場合には、各撮像画像の比率を同比率し、上記交差路が単線であり、上記進行方向が規制されていることを判断した場合には、少なくとも規制されている進行方向と逆方向に移動体が存在することを示す移動体有無情報が検出されたときに、各撮像画像の比率を同比率とする。
【００１８】
このような車両用表示装置は、移動体が検出されたときであっても、道路状況を優先して、各撮像画像の比率を決定して表示する。
【００１９】
【発明の効果】
請求項１に記載の発明によれば、道路状況情報及び移動体有無情報に基づいて各撮像画像の比率を決定し、決定した各撮像画像の比率に従って表示用画像を作成し、比率が異なる複数の撮像画像が合成された表示画像を表示するので、移動体の存在を判定したときには移動物体が検出された方向を大きく表示すると共に、移動体が検出されないときには現在の道路状況から判断して左右側方の比率を設定しているので、他車両や自転車などの移動体の有無により正確に道路状況を表示することができ、更には車両運転者が注意すべき方向の画像の比率を大きくして表示することができる。請求項１に記載の発明によれば、交差路の車線数及び規制された進行方向に従った画像の比率を決定して各撮像画像の大きさを異にすることができ、車両運転者が注意すべき方向の画像の比率を大きくして表示することができる。
【００２０】
請求項２に記載の発明によれば、時間的に差をもって撮像された各撮像画像の比較で移動体の検出を行うため、移動体を検出するための専用のセンサ等を設ける必要が無く、構成を簡素化でき、安価に車両運転者に提供できる。
【００２２】
請求項３に記載の発明によれば、移動体が含まれる撮像画像の比率を大きくすることで、移動体が含まれる撮像画像を、移動体が含まれない撮像画像よりも大きくした表示用画像を作成して表示することができるので、移動体の有無を明確に車両運転者に提示することができる。
【００２３】
請求項４に記載発明によれば、移動体が検出されたときに、移動体が含まれる撮像画像の枠部分を、移動体が含まれない撮像画像の枠部分とは異なる表示形態にした表示用画像を作成するので、何れかの画像の比率を小さくしなくても、移動体の有無を明確に車両運転者に提示することができる。
【００２４】
請求項５に記載の発明によれば、移動体が検出されたときであっても、道路状況を加味して各撮像画像の比率を決定することで、移動体の有無に加え、更に別の移動体の来る可能性も考慮した画像を車両運転者に提示することができる。
【００２５】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００２６】
［本発明の第１実施形態］
「第１実施形態に係る車両用表示システムの構成」
本発明の第１実施形態に係る車両用表示システムは例えば図１に示すように構成される。
【００２７】
この車両用表示システムは、車両の前部又は後部に外部に露呈して設けられた複数のカメラヘッド１Ａ、１Ｂ（以下総称するときには単に「カメラヘッド１」と呼ぶ。）と、カメラヘッド１からの撮像信号を入力するカメラドライバ２Ａ、２Ｂ（以下、総称するときには単に「カメラドライバ２」と呼ぶ。）と、ナビゲーション装置３と、カメラドライバ２からの撮像信号を側方表示画像に変換する表示制御装置４と、車両運転者に視認可能な位置に設けられた車内ディスプレイ５とを備える。
【００２８】
カメラヘッド１は、例えばＣＣＤ（Charge Coupled Device）イメージャを備え、車両の前部又は後部に設けられることで車両の左右側方の映像を撮像して、撮像信号をカメラドライバ２に出力する。
【００２９】
カメラドライバ２は、カメラヘッド１を所定の周波数で駆動することで、所定時間毎に所定フレーム数の側方画像を得る。このカメラドライバ２は、カメラヘッド１Ａ、１Ｂに対応してカメラドライバ２Ａ、２Ｂからなり、カメラドライバ２Ａにより自車両の左側方の画像である左側方画像、カメラドライバ２Ｂにより自車両の右側方の画像である右側方画像を得る。カメラドライバ２は、時間的に連続したフレーム毎の左側方画像及び右側方画像を表示制御装置４に出力する。
【００３０】
ナビゲーション装置３は、図示しないナビゲーション用衛星システムと無線通信する機能を有し、記録媒体などに記憶している地図データとのマッチングを行うことで、現在の車両位置や、車両位置における道路情報を得て、表示制御装置４に出力する。また、このナビゲーション装置３は、内部の地図データを用いて、ナビゲーション画像を表示して、映像セレクタ部１６を介して車内ディスプレイ５にナビゲーション画面を表示させる。
【００３１】
表示制御装置４は、ナビゲーション装置３からの道路情報、後述の移動体検出結果などに基づいて、左側方画像と右側方画像との表示画像の比率を決定して、決定した比率に従って左側方画像と右側方画像とを合成した側方表示画像を作成して、車内ディスプレイ５に出力する。
【００３２】
車内ディスプレイ５は、例えばＬＣＤ（Liquid Crystal Display）パネルからなり、表示制御装置４からの側方表示画像や、ナビゲーション装置３による地図データなどの各種情報を表示して、車両運転者などに各種情報を提示する。
【００３３】
「表示制御装置４の構成」
つぎに、表示制御装置４の構成について説明する。表示制御装置４は、図１から分かるように、カメラドライバ２と接続された表示領域設定部１１、移動物体判定部１２、ナビゲーション装置３と接続された状態判定部１３、車速判定部１４、画像合成部１５、車内ディスプレイ５に側方表示画像を出力する映像セレクタ部１６を備える。
【００３４】
車速判定部１４は、例えば外部の車速センサと接続され、この車速センサからのセンサ信号に従って現在の車両の速度を判定して車両速度情報を生成し、移動物体判定部１２、状態判定部１３及び映像セレクタ部１６に出力する。
【００３５】
移動物体判定部１２は、カメラドライバ２から左側方画像及び右側方画像が入力されると共に、車速判定部１４から車両速度情報が入力される。移動物体判定部１２は、図２に示すように、Ａ地点に自車両１０１が存在しているときには図３（ａ）に示すような移動物体１０２を含む右側方画像を撮像し、走行してＡ’地点に自車両１０１が存在するときには図３（ｂ）に示すような移動物体１０２を含む右側方画像を撮像したとする。そして、移動物体判定部１２は、移動物体を検出するに際して、図３（ａ）の右側方画像の撮像時刻と図３（ｂ）の右側方画像の撮像時刻との時間差と、車両速度情報から求めた自車両１０１の移動距離（Ａ−Ａ’）を考慮した範囲の画像を得る。そして、図３（ｃ）に示すように時間差を持たせて撮像した双方の画像を比較して移動物体１０２の大きさに差があると判定したときには移動物体１０２が存在すると判定し、移動物体１０２の大きさに差がないと判定したときには移動物体１０２が存在しないと判定する。移動物体判定部１２は、この判定結果を示す移動物体有無情報を生成して、表示領域設定部１１に出力する。
【００３６】
状態判定部１３は、ナビゲーション装置３からの道路情報、及び車速判定部１４からの車両速度情報に基づいて、自車両が進入する交差路の車線数、交差路の通行方向、自車両の進行方向を判定して、状態判定情報を生成して表示領域設定部１１に出力する。
【００３７】
表示領域設定部１１は、状態判定情報及び移動物体有無情報に基づいて、カメラドライバ２からの右側方画像と、左側方画像との表示領域の比率を設定する。表示領域設定部１１は、右側方画像の表示領域の比率、左側方画像の表示領域の比率を示す比率設定情報を生成して画像合成部１５に出力する。なお、表示領域設定部１１により比率設定情報を作成する処理については後述する。
【００３８】
画像合成部１５は、表示領域設定部１１から比率設定情報、及びカメラドライバ２で得た左側方画像及び右側方画像が入力され、比率設定情報に従って左側方画像と右側方画像とを合成した側方表示画像を作成して映像セレクタ部１６に出力する。
【００３９】
映像セレクタ部１６は、例えば外部に設けられ、車両運転者などにより操作されるスイッチやダイヤルの操作内容を示す操作入力信号が入力される。映像セレクタ部１６は操作入力信号に応じて、画像合成部１５からの側方表示画像や、車速判定部１４からの車両速度情報の内容を示す表示データを車内ディスプレイ５に切り替え出力する。これにより、映像セレクタ部１６は、車内ディスプレイ５に各種情報や画像を表示させる。
【００４０】
このような車両用表示システムでは、ナビゲーション装置３からの道路情報に応じて交差路に自車両１０１が進入する手前に、移動物体判定部１２による移動体有無情報に基づいて右側方画像と左側方画像の比率を決定し、この比率に従って右側方画像及び左側方画像を画像合成部１５で合成して得た側方表示画像を映像セレクタ部１６で切り替え表示する。これにより、車両用表示システムでは、通常のナビゲーション画像やオーディオ画像から、交差路での側方表示画像に自動的に切り替える。なお、この通常の画像から、側方表示画像への自動的な切り替えの具体例は後述する。
【００４１】
「車両用表示システムの動作」
図４に、表示制御装置４により側方表示画像を作成して車内ディスプレイ５に表示するときの処理手順を示し、図５〜図１２に、第１道路１０２を走行する自車両１０１の進行方向と第２道路１０４を走行する他車両１０３の走行方向、及び道路の状況に応じた表示形態を示す。
【００４２】
図４によれば、先ず、車両運転者により操作パネルなどを操作することで側方の画像を表示することを指示する起動スイッチが操作された操作入力信号が映像セレクタ部１６に入力されることにより、左側方画像及び右側方画像を合成して表示する側方表示画像を作成する処理を開始し、ステップＳ１から処理を開始する。
【００４３】
ステップＳ１において、車速判定部１４により自車両の車速を認識して車両速度情報の生成をし、自車両が停止しているか否かの判定をする。車速判定部１４により自車両が停止してると判定したときにはステップＳ２に処理を進め、自車両が停止していないと判定したときにはステップＳ９に処理を進める。
【００４４】
ステップＳ２において、カメラヘッド１Ａ、１Ｂで撮像され、カメラドライバ２Ａ、２Ｂで得た左側方画像ＰＬ（ｔ）、右側方画像ＰＲ（ｔ）を移動物体判定部１２により入力して内部のメモリに記憶してステップＳ３に処理を進める。
【００４５】
ステップＳ３において、ステップＳ２で記憶した左側方画像ＰＬ（ｔ）及び右側方画像ＰＲ（ｔ）を撮像した時刻ｔからの所定期間後の第ｎフレームの左側方画像ＰＬ（ｔ＋ｎ）、左側方画像ＰＬ（ｔ＋ｎ）を移動物体判定部１２により入力した内部のメモリに記憶してステップＳ４に処理を進める。
【００４６】
ステップＳ４において、ステップＳ２及びステップＳ３で得た右側方画像ＰＲ（ｔ）と右側方画像ＰＲ（ｔ＋ｎ）とを比較すると共に、左側方画像ＰＬ（ｔ）と左側方画像ＰＬ（ｔ＋ｎ）とを比較して差分があるか否かの判定を移動物体判定部１２によりする。このとき、移動物体判定部１２は、双方の画像の輝度を比較することで差分を認識する。いずれかの画像に差分があると判定したときにはステップＳ５に処理を進め、差分がないと判定したときにはステップＳ９に処理を進める。
【００４７】
ステップＳ５において、ステップＳ４での比較で、左側方画像ＰＬ、右側方画像ＰＲのうち、何れかの画像に差分があったのかを移動物体判定部１２により判定する。
【００４８】
左側方画像ＰＬに差分があったと判定したときには、移動物体判定部１２により左側方画像ＰＬに移動物体が存在することを示す移動物体有無情報を表示領域設定部１１に出力してステップＳ６に処理を進める。右側方画像ＰＲに差分があったと判定したときには、移動物体判定部１２により右側方画像ＰＲに移動物体が存在することを示す移動物体有無情報を表示領域設定部１１に出力してステップＳ８に処理を進める。左側方画像ＰＬ及び右側方画像ＰＲの双方の画像に差分があったと判定したときには、移動物体判定部１２により左側方画像ＰＬ及び右側方画像ＰＲに移動物体が存在することを示す移動物体有無情報を表示領域設定部１１に出力してステップＳ７に処理を進める。
【００４９】
ステップＳ６において、他車両や自転車などの移動物体が左側方から接近して来るものと判断し、左側方の注意を運転者に促すために、表示領域設定部１１により左側方画像ＰＬの比率を上げて拡大する比率設定情報を作成して画像合成部１５に出力する。これに応じ、比率設定情報で指定された比率により画像合成部１５で左側方画像ＰＬを拡大して左側方画像ＰＬと右側方画像ＰＲとを合成して映像セレクタ部１６を介して車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００５０】
この例としては、図６に示すように左側方から右側方への一方通行道路において他車両１０３が左側方から右側方に走行する場合に自車両１０１が右折する場合（ｃ）又は直進する場合（ｄ）、図７に示すように左側方から右側方への一方通行道路において自転車１０５が左側方から右側方に進行する場合に自車両１０１が左折する場合（ａ）及び直進する場合（ｂ）、図１０に示すように双方向通行道路において他車両１０３Ｂが左側方から右側方に走行する場合に自車両１０１が左折する場合（ａ）、直進する場合（ｂ）、右折する場合（ｃ）がある。この場合には左側方画像ＰＬの比率を大きくして左側方画像画面１１２を大きく表示する。
【００５１】
ステップＳ７において、他車両や自転車などの移動物体が左側方及び右側方から接近して来るものと判断し、左側方及び右側方の注意を運転者に促すために、表示領域設定部１１により左側方画像ＰＬと右側方画像ＰＲの比率を同じとする比率設定情報を作成して画像合成部１５に出力する。これに応じ、比率設定情報で指定された比率により画像合成部１５で左側方画像ＰＬ及び右側方画像ＰＲとを同じ大きさとし左側方画像ＰＬと右側方画像ＰＲとを合成して映像セレクタ部１６を介して車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００５２】
このとき、画像合成部１５は、左側方及び右側方からの移動物体がない場合の表示と区別するために、画像枠の色などを変更する画像処理を左側方画像ＰＬ及び／又は右側方画像ＰＲに施した側方表示画像を作成する。
【００５３】
この例としては、図８に示すように何れかの一方通行道路において、他車両１０３が右側方から左側方に走行すると共に自転車１０５が左側方から右側方に走行する場合に自車両１０１が左折する場合（ａ）又は直進する場合（ｂ）や、他車両１０３が左側方から右側方に走行すると共に自転車１０５が右側方から左側方に走行する場合に右折する場合（ｃ）又は直進する場合（ｄ）がある。更に、この例としては、図１２（ａ）〜図１２（ｃ）に示すように双方向通行道路において他車両１０３Ａ及び他車両１０３Ｂが双方向に走行している場合に、自車両１０１が左折する場合（ａ）、直進する場合（ｂ）、右折する場合（ｃ）がある。この場合には左側方画像ＰＬ及び右側方画像ＰＲの比率を同じにして表示する。
【００５４】
ステップＳ８において、他車両や自転車などの移動物体が右側方から接近して来るものと判断し、右側方の注意を運転者に促すために、表示領域設定部１１により右側方画像ＰＲの比率を上げて表示領域を拡大する比率設定情報を作成して画像合成部１５に出力する。これに応じ、比率設定情報で指定された比率により画像合成部１５で右側方画像ＰＲを拡大して左側方画像ＰＬと右側方画像ＰＲとを合成して映像セレクタ部１６を介して車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００５５】
この例としては、図６に示すように一方通行道路において他車両１０３が右側方から左側方に走行する場合に自車両１０１が左折する場合（ａ）又は直進する場合（ｂ）がある。また、他の例としては、図７に示すように、左側方から右側方への一方通行道路において右側方から左側方に自転車１０５が走行する場合に、自車両１０１が右折する場合（ｃ）又は直進する場合（ｄ）がある。更に他の例としては、図１１に示すように、双方向通行道路において右側方から左側方に他車両１０３Ａが走行する場合に、自車両１０１が左折する場合（ａ）、直進する場合（ｂ）、右折する場合（ｃ）がある。これらの場合には右側方画像ＰＲについての比率を大きくして右側方画像画面１１１を大きく表示する。
【００５６】
ステップＳ４で移動物体が左右側方に存在しないと判断した後のステップＳ９において、図示しない車両運転操作判定部によりウインカー操作方向、ハンドル操舵角を検出し、自車両１０１の進行方向が左折か否かを判定する。自車両１０１が左折すると判定したときにはステップＳ１０に処理を進め、自車両１０１の進行方向が左折でないと判定したときにはステップＳ１１に処理を進める。
【００５７】
ステップＳ１０において、第２道路１０４に移動物体はなく、自車両１０１が左折するときの右側方の注意を運転者に促すために、ステップＳ８と同様の処理をし、右側方画像ＰＲを拡大して車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００５８】
移動物体がなく、自車両１０１が左折する例としては、図５（ａ）に示す右側方から左側方への一方通行道路において自車両１０１が左折する場合や、図９（ａ）に示す双方向通行道路において自車両１０１が左折する場合があり、この場合には右側方画像ＰＲの比率を大きくして右側方画像画面１１１を大きく表示する。
【００５９】
ステップＳ１１において、ナビゲーション装置３からの道路情報に応じて、状態判定部１３により自車両１０１が進入しようとする交差路が単線であるか否かを判定する。状態判定部１３により交差路が単線ではないと判定したときにはステップＳ１２に処理を進め、交差路が単線であると判定したときにはステップＳ１３に処理を進める。
【００６０】
ステップＳ１２において、第２道路１０４に移動物体がなく、自車両１０１が複数車線のある交差路を前進又は右折するため、左右側方の注意を促すために、ステップＳ７と同様の処理をし、左側方画像ＰＬ及び右側方画像ＰＲを同じ大きさにして車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００６１】
移動物体がなく、自車両１０１が複数車線のある交差路を前進又は右折する例としては、図９（ｂ）に示す双方通行道路において自車両１０１が直進する場合、図９（ｃ）に示す右折する場合があり、これら場合には左側方画像ＰＬ及び右側方画像ＰＲの比率を同じにして、右側方画像画面１１１及び左側方画像画面１１２の大きさを同じにする。
【００６２】
ステップＳ１１で交差路が単線と判定されたステップＳ１３において、状態判定部１３により自車両１０１の進入する交差路において規制された進行方向を判定する。第２道路１０４で左側方から右側方への進行が規制されていると状態判定部１３により判定したときにはステップＳ１４に処理を進め、第２道路１０４で右側方から右側方への進行が規制されていると状態判定部１３により判定したときにはステップＳ１５に処理を進める。
【００６３】
ステップＳ１４において、第２道路１０４に移動物体がなく自車両１０１が交差路を直進又は右折するときの、左側方の運転者の注意を促すために、ステップＳ６と同様の処理をすることで、左側方画像ＰＬを拡大して車内ディスプレイ５に表示してステップＳ１６に処理を進める。
【００６４】
この例としては、図５（ｃ）及び図５（ｄ）に示す左側方から右側方への一方通行道路において、自車両１０１が右折する場合（ｃ）や、直進する場合（ｄ）があり、これら場合には左側方画像ＰＬの比率を大きくして左側方画像画面１１２を大きく表示する。
【００６５】
ステップＳ１５において、第２道路１０４に移動物体がなく自車両１０１が交差路を直進するときの、右側方の運転者の注意を促すために、ステップＳ８と同様の処理をすることで、右側方画像ＰＲを拡大して車内ディスプレイ５に表示してステップＳ１６に処理を進める。この例としては、図５（ｂ）に示す右側方から左側方への一方通行道路において自車両１０１が直進する場合があり、この場合には右側方画像ＰＲの比率を大きくして右側方画像画面１１１を大きく表示する。
【００６６】
ステップＳ１６において、車速判定部１４からの車両速度情報を入力して、自車両１０１の速度が所定値以上であるか否かの判定を映像セレクタ部１６により行う。自車両１０１が所定値以上の速度で走行していると判定したときにはステップＳ１７に処理を進め、自車両１０１が所定値以上の速度で走行していないと判定したときにはステップＳ１に処理を戻す。上記所定値は例えば時速１５キロ程度を設定しておく。
【００６７】
ステップＳ１７において、自車両１０１が所定値以上と判定したことに応じて、自車両１０１が交差路を通過したものとして、車内ディスプレイ５の画面表示を左右確認画面から元の画面（例えばナビゲーション画面、オーディオ画面）に戻す処理をして、処理を終了する。
【００６８】
このような処理をする表示制御装置４を備えた車両用表示システムでは、自車両１０１の進入する交差路で他車両１０３や自転車１０５などの移動物体の存在を判定したときには移動物体が検出された方向を大きく表示すると共に、移動物体が検出されないときには現在の道路状況から判断して左右側方の比率を設定しているので、車両運転者が注意すべき方向の画像の比率を大きくして表示することができる。
【００６９】
なお、本実施例では、カメラヘッドを左右に取り付けたケースを説明したが、車両の進行方向に対して左右両方に観測視野を持つ、Ｖ字状の鏡を用いて１つのカメラで撮像しても同様の効果が得られる。
【００７０】
［本発明の第２実施形態］
図１３に、第２実施形態に係る動作を説明するための処理手順、図１４〜図１７に、第１道路１０２を走行する自車両１０１の進行方向と第２道路１０４を走行する他車両１０３の走行方向、及び道路の状況に応じた表示形態を示す。第２実施形態に係る車両用表示システムの構成は、上述の第１実施形態の車両用表示システムと同様なので説明を省略する。また、図１３の説明では、上述の図５と同じ処理内容については同じステップ番号を付することでその詳細な説明を省略する。
【００７１】
第２実施形態に係る車両用表示システムでは、交差路での車線数、交差路での規制された進行方向、自車両１０１の進行方向、移動物体の有無により左右確認画面の表示形態を決定するが、移動物体が検出された場合であっても、道路状況により運転者が注意すべき方向が移動物体の方向と異なるときには移動物体が存在する方向の表示領域を大きくしない点で第１実施形態に係る車両用表示システムと異なる。
【００７２】
図１３によれば、起動スイッチが操作された操作入力信号が映像セレクタ部１６に入力されることにより、側方表示画像を作成する処理を開始しステップＳ１〜ステップＳ４までの処理をすることで移動物体が存在するか否かを移動物体判定部１２により判定する。移動物体が存在すると判定したときにはステップＳ２１に処理を進め、移動物体が存在しないと判定したときにはステップＳ９に処理を進める。
【００７３】
ステップＳ２１において、ステップＳ１１での処理と同様に、状態判定部１３により自車両１０１が進入しようとする交差路が単線であるか否かを判定する。状態判定部１３により交差路が単線ではないと判定したときにはステップＳ２５に処理を進め、交差路が単線であると判定したときにはステップＳ２２に処理を進める。
【００７４】
ステップＳ２５において、ステップＳ４で移動物体が検出され、自車両１０１が複数車線のある交差路を前進又は右折、或いは左折するときの左右側方の注意を促すために、表示領域設定部１１により右側方及び左側方の比率を同じにして、表示をする。
【００７５】
この例としては、図１６に示すように他車両１０３Ｂが左側方から右側方に走行する場合に自車両１０１が左折する場合（ａ）、直進する場合（ｂ）及び右折する場合（ｃ）、図１７に示すように他車両１０３Ａが右側方から左側方に走行する場合に自車両１０１が左折する場合（ａ）、直進する場合（ｂ）及び右折する場合（ｃ）、図１２と同様に、他車両１０３Ａ、１０３Ｂが左側方から右側方及び右側方から左側方に走行する場合に自車両１０１が左折する場合（ａ）、直進する場合（ｂ）及び右折する場合（ｃ）がある。この場合には左側方画像ＰＬ及び右側方画像ＰＲの比率を同じにして、右側方画像画面１１１及び左側方画像画面１１２の大きさを同じにする。
【００７６】
ステップＳ２２では、上述のステップＳ１３と同様に、状態判定部１３により交差路において規制された進行方向を判定し、左側方から右側方への進行が規制されていると判定したときにはステップＳ２４に処理を進め、右側方から左側方への進行が規制されていると判定したときにはステップＳ２３に処理を進める。
【００７７】
ステップＳ２３では、ステップＳ４での比較結果に基づいて、左側方画像ＰＬ（ｔ）と左側方画像ＰＬ（ｔ＋ｎ）とに差分がなく、右側方画像ＰＲ（ｔ）と右側方画像ＰＲ（ｔ＋ｎ）との間のみに差分があったか否かを移動物体判定部１２により判定する。右側方画像ＰＲについてのみ差分があったときにはステップＳ２７に処理を進め、左側方画像ＰＬについてのみ、又は右側方画像ＰＲ及び左側方画像ＰＬの双方に差分があったときにはステップＳ２６に処理を進める。
【００７８】
ステップＳ２６において、移動物体が左側方、或いは左右側方の双方に検出され、自車両１０１が右から左へ通行可能な単線の交差路を直進或いは左折するときに、車両運手者の注意を促すために、右側方画像ＰＲと左側方画像ＰＬの比率を同じにして、車内ディスプレイ５に表示して、ステップＳ１６に処理を進める。
【００７９】
この例としては、図１４に示すように他車両１０３が右側方から左側方に走行する場合に左折する場合（ａ）及び直進する場合（ｂ）、図１５に示すように他車両１０３が右側方から左側方に走行すると共に自転車１０５が左側方から右側方に走行する場合に自車両１０１が左折する場合（ａ）又は直進する場合（ｂ）がある。この場合には左側方画像ＰＬ及び右側方画像ＰＲの比率を同じにして、右側方画像画面１１１及び左側方画像画面１１２の大きさを同じにする。
【００８０】
ステップＳ２７において、移動物体が右側方のみに検出され、自車両１０１が右から左へ通行可能な単線の交差路を直進或いは左折するときに、自車両１０１の右側方の車両運手者の注意を促すために、右側方画像ＰＲの比率を大きくすることで右側方画像画面１１１を大きくして車内ディスプレイ５に表示して、ステップＳ１６に処理を進める。
【００８１】
この例としては、図６に示すように他車両１０３が右側方から左側方に走行する場合に、自車両１０１が左折（ａ）又は直進（ｂ）する場合がある。この場合には右側方画像ＰＲの比率を左側方画像ＰＬよりも大きくして、右側方画像画面１１１の大きさを左側方画像画面１１２よりも大きくする。
【００８２】
ステップＳ２４において、ステップＳ４での比較結果に基づいて、右側方画像ＰＲ（ｔ）と右側方画像ＰＲ（ｔ＋ｎ）とに差分がなく、左側方画像ＰＬ（ｔ）と左側方画像ＰＬ（ｔ＋ｎ）との間のみに差分があったか否かを移動物体判定部１２により判定する。左側方画像ＰＬについてのみ差分があったときにはステップＳ２９に処理を進め、右側方画像ＰＲについてのみ、又は右側方画像ＰＲ及び左側方画像ＰＬの双方に差分があったときにはステップＳ２８に処理を進める。
【００８３】
ステップＳ２８において、移動物体が右側方、或いは左右側方の双方に検出され、自車両１０１が左から右へ通行可能な単線の交差路を直進或いは右折するときに、車両運手者の注意を促すために、右側方画像ＰＲと左側方画像ＰＬの比率を同じにして、車内ディスプレイ５に表示して、ステップＳ１６に処理を進める。
【００８４】
この例としては、図１４（ｃ）及び図１４（ｄ）、図１５（ｃ）及び図１５（ｄ）があり、この場合には左側方画像ＰＬ及び右側方画像ＰＲの比率を同じにして、右側方画像画面１１１及び左側方画像画面１１２の大きさを同じにする。
【００８５】
ステップＳ２９において、移動物体が左側方のみに検出され、自車両１０１が左から右へ通行可能な単線の交差路を直進或いは右折するときに、自車両１０１の左側方の車両運手者の注意を促すために、左側方画像ＰＬの比率を大きくすることで左側方画像画面１１２を大きくして車内ディスプレイ５に表示して、ステップＳ１６に処理を進める。
【００８６】
この例としては、図６（ｃ）及び図６（ｄ）があり、この場合には左側方画像ＰＬの比率を右側方画像ＰＲよりも大きくして、左側方画像画面１１２の大きさを右側方画像画面１１１よりも大きくする。
【００８７】
このような処理を行う表示制御装置４を備えた車両用表示システムでは、ステップＳ４で移動物体を検出した場合であっても、ステップＳ２１で交差路が単線でない場合には、左右の両側方から移動物体が走行してくる可能性があるとして、ステップＳ２５で右側方画像画面１１１と左側方画像画面１１２の比率を同じとする。また、この車両用表示システムでは、ステップＳ２１で交差路が単線と判定されたときにステップＳ２２で予め規制された進行方向が存在する場合であっても、規制された進行方向以外に移動物体が検出されたときには、規制された進行方向に拘わらず左右の両側方についての右側方画像画面１１１及び左側方画像画面１１２を同じ大きさで表示する。
【００８８】
したがって、この車両用表示システムによれば、車両１０１の進入する交差路で他車両１０３や自転車１０５などの移動物体が検出された時であっても、ナビゲーション装置３からの道路情報に基づいた車線数、予め規制された通行方向に従って移動物体の走行する可能性のある側方を認識して、移動物体が走行する可能性がある側方と、移動物体が検出された側方とを同じ大きさで表示することができる。したがって、この車両用表示システムによれば、移動体が検出された側方と、移動物体が走行してくる可能性とが逆方向であるときに双方の側方を同じ大きさで表示することができる。
【００８９】
なお、上述した第１実施例及び第２実施例では、自車両１０１が停止している状態で移動物体を検出する一例について説明したが、自車両１０１が走行しているときでも移動物体を検出しても良い。
【００９０】
すなわち時刻ｔに撮像した画像Ｐ’（ｔ）と、時刻ｔ＋ｎに撮像した画像Ｐ’（ｔ＋ｎ）と、車速センサ、操舵角センサの検出結果に基づいて、時刻ｔ＋ｎとなる間に自車両１０１が移動した軌跡を算出する。例えば操舵角が０度で、ｎが０．５秒、車速が５Ｋｍ／ｈとすると、約７０ｃｍ進んだことを算出する。
【００９１】
次いで、算出された軌跡に基づいて、画像Ｐ’（ｔ＋ｎ）の中から画像Ｐ’（ｔ）が撮像されている領域の画像を抽出して比較を行う。これにより、表示制御装置４では、画像Ｐ’（ｔ＋ｎ）に対して７０ｃｍ手前側の映像が画像Ｐ’（ｔ）と同じ領域に該当することを認識し、この該当する領域についてのみステップＳ５での比較を行うことで移動物体を検出することができる。
【００９２】
また、上述した第１実施例及び第２実施例では、移動物体を検出するのに撮像した画像を比較し検出する例について説明したが、超音波センサやレーザレーダ等を用いて移動体の検出を行っても良い。
【００９３】
「通常の画像から側方表示画像への自動的切り替えの具体例」
図１８〜図３６に、ナビゲーション画面やオーディオ画面などの通常画面から交差路での側方表示画面に切り替えるときの表示形態を示す。
【００９４】
＜第１表示形態＞
通常画面から側方表示画面に切り替えるに際して、ＧＰＳ信号、車両速度情報や地図データを用いて自車両１０１の現在位置をナビゲーション装置３により計測し、表示制御装置４は、予めＣＤ−ＲＯＭなどの記録媒体に格納された道路の接続情報、緯度経度情報、道路種別などの道路情報に基づいて、現在位置の前方の道路接続状態を状態判定部１３により先読みし、自車両１０１が交差路などの所定の地点を起点として所定距離以内に接近したとき、側方表示画面を自動起動する。
【００９５】
このような処理をする表示制御装置４は、側方画面表示が必要な交差路と自車両との距離が所定距離以上離れているときには、図１８（ａ）に示すように、現在車両が通行している第１道路表示１２１、第２道路表示１２２、自車両表示１２３を含むナビゲーション画面を表示している。また、この例では、車内ディスプレイ５は、表示パネル５ａの近傍にＬＥＤ（Light Emitting Diode）表示部５ｂが設けられている。この状態では表示パネル５ａによりナビゲーション画面を表示し、ＬＥＤ表示部５ｂは消灯している状態になっている。
【００９６】
その後、自車両が走行して自車両と交差路との距離が所定距離以内となると、図１８（ｂ）に示すように、ＬＥＤ表示部５ｂを点滅させる。これにより、車両用表示システムでは、運転者に、所定速度以上に減速することで側方表示画面に自動的に切り替えることを提示する。
【００９７】
更に自車両が走行して、自車両が交差路に近づいて、所定速度以下の速度となることを車速判定部１４により判定すると、移動物体判定部１２、表示領域設定部１１及び画像合成部１５により、側方表示画像を作成して映像セレクタ部１６により切り替え出力することで、図１８（ｃ）に示すように、右側方画像画面１１１及び左側方画像画面１１２を表示パネル５ａに表示すると共にＬＥＤ表示部５ｂを消灯する。
【００９８】
＜第２表示形態＞
表示制御装置４は、交差路と自車両との距離が所定距離以上離れているときには、図１９（ａ）に示すように第１道路表示１２１、第２道路表示１２２、自車両表示１２３を含むナビゲーション画面を表示している。
【００９９】
その後、自車両が走行して自車両と交差路との距離が所定距離以内となると、図１９（ｂ）に示すように、地図画面の枠部分１２４を点滅表示するように画像合成部１５により画像処理をする。これにより、車両用表示システムでは、運転者に、所定速度以上に減速することで側方表示画面に自動的に切り替えることを提示する。
【０１００】
更に自車両が走行して、自車両が交差路に近づいて、所定速度以下の速度となると、側方表示画像を作成して、図１９（ｃ）に示すように、右側方画像画面１１１及び左側方画像画面１１２を表示する。
【０１０１】
＜第３表示形態＞
また、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２０に示すように、自車両表示１２３の色を変更しても良く、さらには自車両表示１２３の形状を変更しても良い。
【０１０２】
＜第４表示形態＞
更に、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２１に示すように、自車両表示１２３を点滅表示しても良い。
【０１０３】
＜第５表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２２に示すように、側方表示画面を表示する交差路表示１２５を点滅表示しても良い。これにより、運転者に側方表示画面を表示するときの位置をわかりやすく提示する。
【０１０４】
＜第６表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２３に示すように、背景表示１２６の色を変更しても良い。
【０１０５】
＜第７表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２４に示すように、全体の表示スケールを大きくするように変更しても良い。これにより、運転者に側方表示画面を表示する交差路が近づいていることを明確に提示する。
【０１０６】
＜第８表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２５に示すように、視点位置を変更しても良い。この例では、図１９（ａ）に示すように透視投影表示としているのを、２次元の平面表示にする。これにより、運転者に側方表示画面を表示する交差路までの距離を明確に表示する。
【０１０７】
＜第９表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２６に示すように、交差路に関する情報を運転者に提示するアイコン表示１２７をしても良い。ここで、アイコン表示１２７は、道路情報に基づいて、例えば見通しの悪い交差路や、単数車線の交差路、複数車線の交差路に応じて変更可能である。
【０１０８】
＜第１０表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２７に示すように、交差路が近づいたことを提示する文字表示１２８をしても良い。更に、文字表示１２８は、道路情報に基づいて、例えば見通しの悪い交差路や、単数車線の交差路、複数車線の交差路に応じて変更可能である。
【０１０９】
＜第１１表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図２８に示すように、ナビゲーション画面と、道路情報に基づいて交差路の状況を平面表示する交差路表示１２９とを分割表示しても良い。交差路表示は、道路情報に基づいて、例えば見通しの悪い交差路や、単数車線の交差路、複数車線の交差路に応じて変更可能である。
【０１１０】
＜第１２表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、先ず図２９（ａ）に示すように、表示パネルの左側にナビゲーション画面を表示しておき、側方表示画面を表示するべき交差路に近づいたら、図２９（ｂ）に示すようにナビゲーション画面を右側に移動させると共に、ナビゲーション画面が表示されていた領域に「交差点に注意！」という文字表示１３１をしても良い。これにより、運転者に自車両が交差点に近づいていることを更に明確に提示することができる。
【０１１１】
＜第１３表示形態＞
更にまた、第２表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、先ず図３０（ａ）に示すように、表示パネルの左側にナビゲーション画面を表示しておき、側方表示画面を表示するべき交差路に近づいたら、図３０（ｂ）に示すようにナビゲーション画面を縮小して表示すると共に、「交差点に注意！」という文字表示１３１をしても良い。これにより、運転者に自車両が交差点に近づいていることを更に明確に提示することができる。
【０１１２】
＜第１４表示形態＞
上述の第１表示形態〜第１３表示形態では、通常画面がナビゲーション画面である一例について説明したが、通常画面でナビゲーション画面以外の、例えばエアコン状態表示である場合についても上述と同様に、側方表示画面を表示する地点が近づいていることを表示可能である。
【０１１３】
自車両が走行して自車両と交差路との距離が所定距離以内となったときに、図３１に示すように、エアコン状態表示１４０の枠表示１４１を点滅表示させる。
【０１１４】
＜第１５表示形態＞
また、第１４表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図３２に示すように、エアコ状態表示１４０の背景部分１４０ａの色を変更しても良い。
【０１１５】
＜第１６表示形態＞
更に、第１４表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図３３に示すように、上述の図２６に示した表示形態と同様に、アイコン表示１４２をしても良い。
【０１１６】
＜第１７表示形態＞
更に、第１４表示形態において、自車両が走行して自車両と交差路との距離が所定距離以内となったときの他の表示形態としては、図３４に示すように、上述の図２７に示した表示形態と同様に、交差路が近づいたことを提示する文字表示１４３をしても良い。
【０１１７】
＜第１８表示形態＞
更に他の表示形態としては、図３５（ａ）に示すように、自車両の経路を誘導するための経路誘導表示１５１をしているときにおいて、自車両が走行して自車両と交差路との距離が所定距離以内となると、図３５（ｂ）に示すように、経路誘導表示１５１を点滅させる。
【０１１８】
更に自車両が走行して、自車両が交差路に近づいて、所定速度以下の速度となることを判定すると、側方表示画像を作成し、図３５（ｃ）に示すように、右側方画像画面１１１及び左側方画像画面１１２を表示すると共に、経路誘導表示１５１に代えて、交差路で自車両が経路に従って走行する方向を示す経路案内表示１５２を表示する。
【０１１９】
これにより、車両用表示システムでは、運転者の操作により表示させた経路誘導表示を右側方画像画面１１１及び左側方画像画面１１２を表示することで遮断させるようなことがない。
【０１２０】
＜第１９表示形態＞
更に他の表示形態としては、図３６（ａ）に示すように、運転者が地図内で検索して検索物表示１６１をアイコンで表示させているときにおいて、自車両が走行して自車両と交差路との距離が所定距離以内となると、図３６（ｂ）に示すように、検索物表示１６１を点滅させる。本例では、検索物をコンビニエンスストアとし、画面内に「Ｃ」で表示している場合である。
【０１２１】
更に自車両が走行して、自車両が交差路に近づいて、所定速度以下の速度となることを判定すると、側方表示画像を作成し、図３６（ｃ）に示すように、右側方画像画面１１１及び左側方画像画面１１２を表示すると共に、自車両が存在する地点を略中心として検索物を表示している画面を部分表示して検索物表示１６１をする。
【０１２２】
これにより、車両用表示システムでは、運転者の操作により表示させた検索物表示１６１を右側方画像画面１１１及び左側方画像画面１１２を表示することで遮断させるようなことがない。
【０１２３】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明を適用した車両用表示システムの構成を示すブロック図である。
【図２】移動物体判定部により移動物体を検出するに際して、自車両と他車両との関係を説明するための図である。
【図３】（ａ）、（ｂ）は移動物体判定部により移動物体を検出するに際して、時間差を設けて撮像した画像であり、（ｃ）は時間差を設けて撮像した画像を用いて移動物体の有無を検出する処理の内容を説明するための図である。
【図４】第１実施形態に係る車両用表示システムの表示制御装置により表示用画面を表示して、元の画面に復帰するまでの処理手順を示すフローチャートである。
【図５】一方通行道路における表示例であり、（ａ）は右側方から他車両が通行する可能性のある場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行する可能性のある場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行する可能性のある場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行する可能性のある場合に自車両が直進するときの画面表示例を示す。
【図６】一方通行道路における表示例であり、（ａ）は右側方から他車両が通行する場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行する場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行する場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行する場合に自車両が直進するときの画面表示例を示す。
【図７】一方通行道路における表示例であり、（ａ）は右側方から他車両が通行する可能性があり左側方から自転車が走行する場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行する可能性があり左側方から自転車が走行する場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行する可能性があり右側方から自転車が走行する場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行する可能性があり右側方から自転車が走行する場合に自車両が直進するときの画面表示例を示す。
【図８】一方通行道路における表示例であり、（ａ）は右側方から他車両が通行すると共に左側方から自転車が走行する場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行すると共に左側方から自転車が走行する場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行すると共に右側方から自転車が走行する場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行すると共に右側方から自転車が走行する場合に自車両が直進するときの画面表示例を示す。
【図９】双方向道路において、左側方及び右側方から他車両が走行する可能性があり、（ａ）自車両が左折する場合の表示例、（ｂ）自車両が直進する場合の表示例、（ｃ）自車両が右折する場合の表示例を示す。
【図１０】双方向道路において、左側方から他車両が走行してくるときの、（ａ）自車両が左折する場合の表示例、（ｂ）自車両が直進する場合の表示例、（ｃ）自車両が右折する場合の表示例を示す。
【図１１】双方向道路において、右側方から他車両が走行してくるときの、（ａ）自車両が左折する場合の表示例、（ｂ）自車両が直進する場合の表示例、（ｃ）自車両が右折する場合の表示例を示す。
【図１２】双方向道路において、左側方及び右側方から他車両が走行してくるときの、（ａ）自車両が左折する場合の表示例、（ｂ）自車両が直進する場合の表示例、（ｃ）自車両が右折する場合の表示例を示す。
【図１３】第２実施形態に係る車両用表示システムの表示制御装置により表示用画面を表示して、元の画面に復帰するまでの処理手順を示すフローチャートである。
【図１４】一方通行道路における他の表示例であり、（ａ）は右側方から他車両が通行する可能性があり左側方から自転車が走行する場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行する可能性があり左側方から自転車が走行する場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行する可能性があり右側方から自転車が走行する場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行する可能性があり右側方から自転車が走行する場合に自車両が直進するときの画面表示例を示す。
【図１５】一方通行道路における表示例であり、（ａ）は右側方から他車両が通行すると共に左側方から自転車が走行する場合に自車両が左折するときの画面表示例を示し、（ｂ）は右側方から他車両が通行すると共に左側方から自転車が走行する場合に自車両が直進するときの画面表示例を示し、（ｃ）は左側方から他車両が通行すると共に右側方から自転車が走行する場合に自車両が右折するときの画面表示例を示し、（ｄ）は左側方から他車両が通行すると共に右側方から自転車が走行する場合に自車両が直進するときの画面表示例を示す。
【図１６】双方向道路において、左側方から他車両が走行してくるときの、（ａ）自車両が左折する場合の第２実施形態の表示例、（ｂ）自車両が直進する場合の第２実施形態の表示例、（ｃ）自車両が右折する場合の他の表示例を示す。
【図１７】双方向道路において、右側方から他車両が走行してくるときの、（ａ）自車両が左折する場合の第２実施形態の表示例、（ｂ）自車両が直進する場合の第２実施形態の表示例、（ｃ）自車両が右折する場合の第２実施形態の表示例を示す。
【図１８】ナビゲーション画面から側方表示画面に自動的に切り替えるときの処理について説明するための図であり、（ａ）自車両と交差路とが所定距離以上離れている場合、（ｂ）自車両と交差路とが所定距離以内である場合、（ｃ）自車両が所定速度以下で走行した場合を示す。
【図１９】ナビゲーション画面から側方表示画面に自動的に切り替えるときの他の処理について説明するための図であり、（ａ）自車両と交差路とが所定距離以上離れている場合、（ｂ）自車両と交差路とが所定距離以内である場合、（ｃ）自車両が所定速度以下で走行した場合を示す。
【図２０】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの画面表示例を示す図である。
【図２１】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの他の画面表示例を示す図である。
【図２２】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２３】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２４】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２５】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２６】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２７】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２８】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図２９】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図３０】ナビゲーション画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図３１】エアコン状態画面を表示しているときに、自車両と交差路とが所定距離以内となったときの画面表示例を示す図である。
【図３２】エアコン状態画面を表示しているときに、自車両と交差路とが所定距離以内となったときの他の画面表示例を示す図である。
【図３３】エアコン状態画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図３４】エアコン状態画面を表示しているときに、自車両と交差路とが所定距離以内となったときの更に他の画面表示例を示す図である。
【図３５】経路誘導表示をしているときに、側方表示画面に自動的に切り替えるときの処理について説明するための図であり、（ａ）自車両と交差路とが所定距離以上離れている場合、（ｂ）自車両と交差路とが所定距離以内である場合、（ｃ）自車両が所定速度以下で走行した場合を示す。
【図３６】検索物表示をしているときに、側方表示画面に自動的に切り替えるときの処理について説明するための図であり、（ａ）自車両と交差路とが所定距離以上離れている場合、（ｂ）自車両と交差路とが所定距離以内である場合、（ｃ）自車両が所定速度以下で走行した場合を示す。
【図３７】（ａ）は従来の右側方に移動物体がない場合に自車両が左折するときの画面表示例を示し、（ｂ）は従来の右側方に移動物体がある場合に自車両が左折するときの画面表示例を示す。
【図３８】（ａ）は従来の右側方に移動物体がない場合であって左側方から移動物体がある場合に自車両が左折するときの画面表示例を示し、（ｂ）は従来の右側方に移動物体がある場合であって左側方から移動物体がある場合に自車両が左折するときの画面表示例を示す。
【符号の説明】
１ カメラヘッド
２ カメラドライバ
３ ナビゲーション装置
４ 表示制御装置
５ 車内ディスプレイ
１１ 表示領域設定部
１２ 移動物体判定部
１３ 状態判定部
１４ 車速判定部
１５ 画像合成部
１６ 映像セレクタ部
１０１ 自車両
１０２ 第１道路
１０３ 他車両
１０４ 第２道路
１０５ 自転車
１１１ 右側方画像画面
１１２ 左側方画像画面
Claims (5)
- 車両左右側面方向の各画像を撮像する撮像手段と、
上記撮像手段で撮像された車両左右側面方向の各撮像画像を用いて、表示用画像を作成する画像作成手段と、
上記画像作成手段で作成された表示用画像を表示する表示手段と、
車両左右方向の移動体の有無を検出して移動体有無情報を作成する移動体検出手段と、
車両進行方向における交差路の状況に関する道路状況情報を取得する状況取得手段と、
上記状況取得手段で取得した道路状況情報と、上記移動体検出手段により作成された移動体有無情報とに基づいて各撮像画像の比率を決定する比率決定手段と、
上記比率決定手段で決定した各撮像画像の比率に従って上記表示用画像を作成するように上記画像作成手段を制御する制御手段とを備え、
上記状況取得手段は、交差路の車線数、規制された進行方向に基づいて道路状況を判定し、
上記比率決定手段は、交差路の車線数が単線でない場合には各撮像画像の比率を同比率とし、交差路の車線数が単線である場合には規制された進行方向に基づいて各撮像画像の比率を決定すること
を特徴とする車両用表示装置。 - 上記移動体検出手段は、上記撮像手段で撮像された各撮像画像を解析して画像内に含まれる移動体の有無を検出することを特徴とする請求項１に記載の車両用表示装置。
- 上記比率決定手段は、移動体が画像内に含まれることを示す移動体有無情報に基づいて、移動体が含まれない撮像画像の比率よりも、移動体が含まれる撮像画像の比率を大きくし、前記交差路の車線数、規制された進行方向に基づいて各撮像画像の比率を決定することを停止することを特徴とする請求項１又は２に記載の車両用表示装置。
- 上記制御手段は、上記比率決定手段で決定された各撮像画像の比率が同じであるときに、上記移動体検出手段により移動体が存在する移動体有無情報が作成されたときには、この作成された移動体有無情報に基づいて移動体が検出された撮像画像の枠表示部分を変更するように上記画像作成手段を制御する処理を更に行うことを特徴とする請求項１〜３の何れか一に記載の車両用表示装置。
- 上記比率決定手段は、
上記移動体が存在することを示す移動体有無情報が検出されたときであっても、上記交差路が単線でない場合には、各撮像画像の比率を同比率し、
上記交差路が単線であり、上記進行方向が規制されていることを判断した場合には、少なくとも規制されている進行方向と逆方向に移動体が存在することを示す移動体有無情報が検出されたときに、各撮像画像の比率を同比率とすることを特徴とする請求項１に記載の車両用表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001027030A JP4774603B2 (ja) | 2001-02-02 | 2001-02-02 | 車両用表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001027030A JP4774603B2 (ja) | 2001-02-02 | 2001-02-02 | 車両用表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002225628A JP2002225628A (ja) | 2002-08-14 |
| JP4774603B2 true JP4774603B2 (ja) | 2011-09-14 |
Family
ID=18891752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001027030A Expired - Fee Related JP4774603B2 (ja) | 2001-02-02 | 2001-02-02 | 車両用表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4774603B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4643995B2 (ja) * | 2005-01-21 | 2011-03-02 | パナソニック株式会社 | 表示制御装置 |
| JP4961868B2 (ja) * | 2006-07-10 | 2012-06-27 | 日産自動車株式会社 | 車両用監視装置 |
| JP4968132B2 (ja) * | 2008-03-27 | 2012-07-04 | 三菱自動車工業株式会社 | 車両用モニタリング装置 |
| JP5041165B2 (ja) * | 2008-06-23 | 2012-10-03 | アイシン・エィ・ダブリュ株式会社 | 案内制御装置、案内制御方法、及び案内制御プログラム |
| JP5255377B2 (ja) * | 2008-09-12 | 2013-08-07 | パナソニック株式会社 | 車両運転支援装置、車両運転支援方法および車両運転支援プログラム |
| KR101500190B1 (ko) * | 2013-11-12 | 2015-03-06 | 현대자동차주식회사 | 차량용 클러스터의 표시 제어 장치 및 그 방법 |
| JP6398675B2 (ja) * | 2014-12-09 | 2018-10-03 | 株式会社デンソー | 画像生成装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06227217A (ja) * | 1993-02-03 | 1994-08-16 | Nabco Ltd | タイヤ圧力検知装置 |
| JPH06227318A (ja) * | 1993-02-08 | 1994-08-16 | Hitachi Ltd | 車両の後方モニタ装置及び方法 |
| JPH06227317A (ja) * | 1993-02-08 | 1994-08-16 | Toyota Motor Corp | 車載用監視装置 |
| JP3448980B2 (ja) * | 1994-09-27 | 2003-09-22 | 株式会社日本自動車部品総合研究所 | 車両用視認補助装置 |
-
2001
- 2001-02-02 JP JP2001027030A patent/JP4774603B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002225628A (ja) | 2002-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3803021B2 (ja) | 運転支援装置 | |
| US9723243B2 (en) | User interface method for terminal for vehicle and apparatus thereof | |
| JP4134939B2 (ja) | 車両周辺表示制御装置 | |
| US7634110B2 (en) | Drive assist system and navigation system for vehicle | |
| US9802538B2 (en) | Method for providing driver information in a motor vehicle | |
| JP4855158B2 (ja) | 運転支援装置 | |
| WO2016152553A1 (ja) | 車輌用画像表示システム及び方法 | |
| JP5745827B2 (ja) | 車両表示装置 | |
| JP4238429B2 (ja) | 移動体の走行支援装置 | |
| EP1065642A2 (en) | Vehicle drive assist system | |
| JP2005223524A (ja) | 車両周辺監視装置 | |
| JP4929869B2 (ja) | 車載運転支援カメラ装置 | |
| WO2008056780A1 (en) | Driving assistance device, driving assistance method, and program | |
| JP2001114048A (ja) | 車載運転支援情報表示装置 | |
| JP2007223338A (ja) | 表示システム、移動体、表示方法、表示プログラムおよびその記録媒体 | |
| JP2009029203A (ja) | 運転支援装置 | |
| JP2008059082A (ja) | 交差点情報提供システム及び運転支援システム | |
| JP2002117496A (ja) | 車載後方確認支援装置と車載ナビゲーション装置 | |
| JP4774603B2 (ja) | 車両用表示装置 | |
| JP4479183B2 (ja) | 映像提示装置 | |
| JP4703896B2 (ja) | 走行支援装置 | |
| JP2009139240A (ja) | 車両用周囲監視装置、車両用周囲監視装置の表示制御方法及び車両用周囲監視装置に実行させる表示制御プログラム | |
| JP2005297810A (ja) | 車両用表示システム及びプログラム | |
| JP2008068827A (ja) | 後側方確認装置 | |
| JPH11249556A (ja) | 車両用表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110613 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140708 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |