JP6736268B2 - Image processing apparatus, image display system, and image processing method - Google Patents
Image processing apparatus, image display system, and image processing method Download PDFInfo
- Publication number
- JP6736268B2 JP6736268B2 JP2015129187A JP2015129187A JP6736268B2 JP 6736268 B2 JP6736268 B2 JP 6736268B2 JP 2015129187 A JP2015129187 A JP 2015129187A JP 2015129187 A JP2015129187 A JP 2015129187A JP 6736268 B2 JP6736268 B2 JP 6736268B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- safety index
- image processing
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、車線変更に係る情報を提供する技術に関する。 The present invention relates to a technique for providing information regarding lane change.
自動車などの車両を運転するドライバは、一般に、車線変更を行う場合には、目視あるいはサイドミラーを用いて隣接車線を走行する他車両などの状態を把握し、車線変更が可能か否かを判断する。しかしながら、運転に不慣れなドライバにとっては、このような判断を適切に行うことは難しく、車線変更を苦手とするドライバは多い。 When changing lanes, a driver driving a vehicle such as an automobile generally judges whether or not the lane can be changed by visually checking or using a side mirror to grasp the states of other vehicles traveling in the adjacent lane. To do. However, it is difficult for a driver who is unfamiliar with driving to make such a judgment appropriately, and many drivers are not good at changing lanes.
このため、従来より、車線変更が可能か否かの判断を支援する技術が提案されている。例えば、方向指示器の操作と他車両の速度変化との因果関係を判定し、その判定結果を信号表示装置が表示する信号色によってドライバに提示する技術が知られている（特許文献１参照。）。 Therefore, conventionally, a technique has been proposed that assists in determining whether a lane change is possible. For example, a technique is known in which a causal relationship between the operation of a direction indicator and a speed change of another vehicle is determined, and the determination result is presented to a driver by a signal color displayed by a signal display device (see Patent Document 1). ).
しかしながら、上述した技術では、単に信号色によって他車両に関する情報がドライバに提供されるのみである。このため、ドライバは、他車両の実際の位置などを把握することができず、安心して車線変更することはできない。 However, in the above-described technique, the information about the other vehicle is simply provided to the driver by the signal color. For this reason, the driver cannot grasp the actual position of the other vehicle and cannot change the lane with peace of mind.
本発明は、上記課題に鑑みてなされたものであり、ドライバが安心して車線変更することができる技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique that allows a driver to change lanes with peace of mind.
上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、自車両が走行する走行車線に隣接する隣接車線を前記自車両の後方において走行する後側方車両に関する第１車両情報を取得する第１取得手段と、前記第１車両情報に基づいて、前記後側方車両の運転主体における該後側方車両の前方への前記自車両の車線変更を容認する容認意志の有無を判定する判定手段と、前記自車両のサイドミラーに映る領域に対応する前記自車両の周辺領域を示す周辺画像であるサイドミラー画像を生成する画像生成手段と、前記判定手段の判定結果に応じた安全指標を生成する指標生成手段と、前記サイドミラー画像と前記安全指標とを表示装置に出力して、前記サイドミラー画像と前記安全指標とを併せて前記表示装置に表示させる出力手段と、を備え、前記安全指標は前記サイドミラー画像の周縁に沿って配置される矩形の枠状の画像であり、前記容認意志がある場合、前記容認意志がない場合、および前記容認意志の有無が判定できない場合とで異なる色で表示される。
In order to solve the above-mentioned problems, the invention of claim 1 is an image processing device for processing an image, and is a rear side vehicle that travels in an adjacent lane adjacent to a traveling lane in which the vehicle is traveling, behind the vehicle. First acquisition means for acquiring first vehicle information regarding the vehicle, and based on the first vehicle information, lane change of the own vehicle ahead of the rear side vehicle in the driver of the rear side vehicle is permitted. Determination means for determining whether or not there is a will to accept, image generation means for generating a side-mirror image that is a peripheral image showing a peripheral area of the own vehicle corresponding to an area reflected in a side mirror of the own vehicle, and the determination means An index generating unit that generates a safety index according to a determination result, outputs the side mirror image and the safety index to a display device, and displays the side mirror image and the safety index together on the display device. Output means, the safety index is a rectangular frame-shaped image arranged along the periphery of the side mirror image, if there is the willingness, if not the willingness, and the willingness to It is displayed in a different color from when the presence or absence cannot be determined .
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記自車両の方向指示器の操作状態を取得する状態取得手段、をさらに備え、前記指標生成手段は、前記方向指示器が操作されている場合は、前記方向指示器が操作されていない場合と比較して前記安全指標を強調して生成する。
The invention according to
また、請求項３の発明は、請求項１ないし２のいずれかに記載の画像処理装置において、前記隣接車線の存在を判断する車線判断手段、をさらに備え、前記出力手段は、前記隣接車線が存在しない場合は、前記安全指標を前記表示装置に表示させない。
The invention according to claim 3 is the image processing apparatus according to any one of
また、請求項４の発明は、請求項３に記載の画像処理装置において、前記車線判断手段は、前記走行車線の左側及び右側それぞれの前記隣接車線の存在を判断し、前記出力手段は、前記左側及び右側のうち前記隣接車線が存在する側の前記後側方車両に関する前記安全指標を前記表示装置に表示させ、前記隣接車線が存在しない側の前記後側方車両に関する前記安全指標を前記表示装置に表示させない。
According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect , the lane determining means determines the existence of the adjacent lanes on the left side and the right side of the traveling lane, respectively, and the output means sets the The display device displays the safety indicator for the rear side vehicle on the side where the adjacent lane exists between the left side and the right side, and the safety index for the rear side vehicle on the side where the adjacent lane does not exist is displayed. Do not display on the device.
また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像処理装置において、前記第１車両情報に基づいて、前記自車両と前記後側方車両との間の車間距離を導出する導出手段、をさらに備え、前記指標生成手段は、前記判定手段が前記容認意志の有無を判定できない場合は、前記車間距離に基づいて前記安全指標を生成する。
According to a fifth aspect of the present invention, in the image processing apparatus according to any of the first to fourth aspects, the inter-vehicle distance between the host vehicle and the rear side vehicle is determined based on the first vehicle information. Derivation means for deriving is further provided, and the index generation means generates the safety index based on the inter-vehicle distance when the determination means cannot determine the presence or absence of the will to accept.
また、請求項６の発明は、請求項１ないし４のいずれかに記載の画像処理装置において、前記隣接車線を前記自車両の前方において走行する前側方車両に関する第２車両情報を取得する第２取得手段と、前記第１及び前記第２車両情報に基づいて、前記前側方車両に対する前記後側方車両の相対速度を導出する導出手段と、をさらに備え、前記指標生成手段は、前記判定手段が前記容認意志があると判定した場合は、前記相対速度に基づいて前記安全指標を生成する。
The invention according to
また、請求項７の発明は、請求項１ないし４のいずれかに記載の画像処理装置において、前記隣接車線を前記自車両の前方において走行する前側方車両に関する第２車両情報を取得する第２取得手段と、前記第１及び前記第２車両情報に基づいて、前記自車両と前記前側方車両との間の第１車間距離、前記自車両と前記後側方車両との間の第２車間距離、及び、前記自車両に対する前記前側方車両の相対速度、を導出する導出手段と、をさらに備え、前記指標生成手段は、前記判定手段の判定結果、前記第１車間距離、前記第２車間距離、及び、前記相対速度に基づいて前記安全指標を生成する。
Further, the invention of
また、請求項８の発明は、画像表示システムであって、請求項１ないし７のいずれかに記載の画像処理装置と、前記サイドミラー画像と前記安全指標とを併せて表示する表示装置と、を備えている。
An invention according to claim 8 is an image display system, comprising: the image processing device according to any one of claims 1 to 7 ; and a display device that displays the side-mirror image and the safety index together. Equipped with.
また、請求項９の発明は、画像を処理する画像処理方法であって、（ａ）自車両が走行する走行車線に隣接する隣接車線を前記自車両の後方において走行する後側方車両に関する第１車両情報を取得する工程と、（ｂ）前記第１車両情報に基づいて、前記後側方車両の運転主体における該後側方車両の前方への前記自車両の車線変更を容認する容認意志の有無を判定する工程と、（ｃ）サイドミラーに映る領域に対応する前記自車両の周辺領域を示す周辺画像であるサイドミラー画像を生成する工程と、（ｄ）前記工程（ｂ）の判定結果に応じた安全指標を生成する工程と、（ｅ）前記サイドミラー画像と前記安全指標とを表示装置に出力して、前記サイドミラー画像と前記安全指標とを併せて前記表示装置に表示させる工程と、を備え、前記安全指標は前記サイドミラー画像の周縁に沿って配置される矩形の枠状の画像であり、前記容認意志がある場合、前記容認意志がない場合、および前記容認意志の有無が判定できない場合とで異なる色で表示される。
The invention according to
請求項１ないし９の発明によれば、サイドミラー画像と安全指標とが併せて表示装置に表示されるため、自車両のドライバは後側方車両の位置と後側方車両の運転主体の容認意志とを同時に把握することができ、安心して車線変更することができる。また、安全指標は、サイドミラー画像の周縁に沿って配置される矩形の枠状の画像であるため、サイドミラー画像に含まれる被写体像が安全指標の影響で見難くなることを防止できる。更に、自車両のドライバは安全指標の色を確認することで、後側方車両の運転主体の容認意志を把握できる。
According to the inventions of claims 1 to 9, since the side mirror image and the safety index are displayed together on the display device, the driver of the own vehicle recognizes the position of the rear side vehicle and the driving subject of the rear side vehicle. You can grasp your will at the same time, and you can change lanes with confidence. Further, since the safety index is a rectangular frame-shaped image arranged along the periphery of the side mirror image, it is possible to prevent the subject image included in the side mirror image from being difficult to see due to the influence of the safety index. Further, the driver of the own vehicle can recognize the willingness of the driving subject of the rear side vehicle by confirming the color of the safety index.
また、請求項１ないし９の発明によれば、サイドミラー画像は、サイドミラーに映る領域に対応する自車両の周辺領域を示すため、自車両のドライバは後側方車両の位置を見慣れた視点から把握できる。
Further, according to the inventions of claims 1 to 9 , the side mirror image shows the peripheral area of the own vehicle corresponding to the area reflected in the side mirror, so that the driver of the own vehicle has a familiar viewpoint of the position of the rear side vehicle. You can figure it out.
また、請求項１ないし９の発明によれば、安全指標がサイドミラー画像の周縁に沿って配置されるため、サイドミラー画像に含まれる被写体像が安全指標の影響で見難くなることを防止できる。
According to the invention of claims 1 to 9, since the safety index is disposed along the periphery of the side mirror image, it is possible to prevent the subject image included in the side mirror image becomes difficult to see the effect of the safety index ..
また、特に請求項２の発明によれば、方向指示器が操作されている場合は、安全指標が強調されるため、自車両のドライバが安全指標を十分に確認できる。一方で、方向指示器が操作されていない場合は、安全指標が目立たないため、自車両のドライバが安全指標を邪魔に感じることを防止できる。
According to the second aspect of the invention, the safety index is emphasized when the turn signal is operated, so that the driver of the vehicle can sufficiently confirm the safety index. On the other hand, when the direction indicator is not operated, the safety index is inconspicuous, so that the driver of the own vehicle can be prevented from feeling the safety index in the way.
また、特に請求項３の発明によれば、隣接車線が存在しない場合は安全指標が表示装置に表示されないため、自車両のドライバに不要な情報を与えることを防止できる。
According to the third aspect of the invention, since the safety index is not displayed on the display device when there is no adjacent lane, it is possible to prevent unnecessary information from being given to the driver of the own vehicle.
また、特に請求項４の発明によれば、隣接車線が存在する側の後側方車両に関する安全指標のみが表示装置に表示されるため、自車両のドライバに不要な情報を与えることを防止できる。
Further, in particular, according to the invention of claim 4 , since only the safety index regarding the rear side vehicle on the side where the adjacent lane exists is displayed on the display device, it is possible to prevent unnecessary information from being given to the driver of the own vehicle. ..
また、特に請求項５の発明によれば、容認意志の有無を判定できない場合でも、自車両
と後側方車両との間の車間距離に基づく安全指標が表示されるため、自車両のドライバは
安心して車線変更することができる。
Further, according to the invention of
また、特に請求項６の発明によれば、判定手段が容認意志があると判定した場合でも、前側方車両に対する後側方車両の相対速度に基づいて、前側方車両と後側方車両との間の車間距離を考慮した安全指標が表示されるため、安全指標の信頼性をさらに高くすることができる。
Further, in particular, according to the invention of
また、特に請求項７の発明によれば、容認意志の有無とともに、前側方車両及び後側方車両の双方の状態を総合的に考慮した安全指標が表示されるため、安全指標の信頼性を高くすることができる。
Further, according to the invention of
以下、図面を参照しつつ本発明の実施の形態について説明する。なお、以下の説明では、「車線変更」という用語は、一の車線から他の車線に移動する行為とともに、高速道路などの合流ポイントにおいて合流車線（加速車線）から本線車線に移動する行為も含むものとする。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the term “lane change” includes an act of moving from one lane to another lane and an act of moving from a merging lane (acceleration lane) to a main lane at a merging point such as an expressway. Let's assume.
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示すブロック図である。この画像表示システム１０は、車両（本実施の形態では、自動車）に搭載されるものであり、車線変更が可能か否かの判断を支援するサポート画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザとなる車両のドライバは、このようなサポート画像を確認することで車線変更を行うか否かの判断を容易に行うことができる。以下、この画像表示システム１０が搭載される車両を「自車両」という。
<1. First Embodiment>
<1-1. Composition>
FIG. 1 is a block diagram showing the configuration of the
図に示すように、画像表示システム１０は、複数のカメラ５、画像処理装置２、及び、２つのディスプレイ３１，３２を備えている。複数のカメラ５はそれぞれ、自車両の周辺を撮影して自車両の周辺を示す撮影画像を取得し、取得した撮影画像を画像処理装置２に入力する。画像処理装置２は、撮影画像を用いて各種の画像処理を実行し、ディスプレイ３１，３２に表示するための画像を生成する。また、２つのディスプレイ３１，３２はそれぞれ、画像処理装置２から出力された画像を表示する。
As shown in the figure, the
複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、自車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、自車両９において互いに異なる位置に配置され、自車両９の周辺の異なる方向を撮影する。
Each of the plurality of
図２は、４つのカメラ５がそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、自車両９の前端に設けられ、その光軸５Ｆａは自車両９の前後方向に沿って前方に向けられる。リアカメラ５Ｂは、自車両９の後端に設けられ、その光軸５Ｂａは自車両９の前後方向に沿って後方に向けられる。左サイドカメラ５Ｌは、左側の左サイドミラー９０Ｌに設けられ、その光軸５Ｌａは自車両９の左右方向に沿って左方に向けられる。また、右サイドカメラ５Ｒは、右側の右サイドミラー９０Ｒに設けられ、その光軸５Ｒａは自車両９の左右方向に沿って右方に向けられる。
FIG. 2 is a diagram showing the directions in which the four
これらのカメラ５のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５は１８０度以上の画角θを有している。このため、４つのカメラ５を利用することで、自車両９の全周囲を撮影することが可能である。
A wide-angle lens such as a fisheye lens is used as the lens of each of these
図１に戻り、２つのディスプレイ３１，３２は、各種の画像を表示する液晶などの表示パネルを備えた表示装置である。これらの２つのディスプレイ３１，３２は、自車両９の車室内に配置される。
Returning to FIG. 1, the two
図３は、ディスプレイ３１，３２が配置された自車両９の車室内の様子を示す図である。図に示すように、車室内には自車両９のドライバが確認するメーターパネル９７が配置される。このメーターパネル９７の左側に左ディスプレイ３１が配置され、メーターパネル９７の右側に右ディスプレイ３２が配置されている。これにより、ドライバは、運転席に着座した状態で視線を大きく動かすこと無く、２つのディスプレイ３１，３２の画面を視認できる。
FIG. 3 is a diagram showing a state of the vehicle interior of the
左ディスプレイ３１は左サイドミラー９０Ｌに映る領域に対応する自車両９の周辺領域を示す周辺画像を表示し、右ディスプレイ３２は右サイドミラー９０Ｒに映る領域に対応する自車両９の周辺領域を示す周辺画像を表示する。以下、サイドミラー９０Ｌ，９０Ｒに映る領域に対応する自車両９の周辺領域を示す周辺画像を「サイドミラー画像」という。自車両９のドライバは、左右のディスプレイ３１，３２が表示するサイドミラー画像を、左右のサイドミラー９０Ｌ，９０Ｒと同様の感覚で、自車両９の周辺領域の確認に利用できる。
The
図１に戻り、画像処理装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、画像生成部２２と、指標重畳部２３と、画像出力部２４とを備えている。
Returning to FIG. 1, the
画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２１は、取得した撮影画像を画像生成部２２に入力する。
The
画像生成部２２は、入力された撮影画像を処理して自車両９の周辺領域を示す周辺画像を生成する。画像生成部２２は、上述したサイドミラー画像などの周辺画像を生成する。
The
指標重畳部２３は、画像生成部２２で生成されたサイドミラー画像などの周辺画像に対してドライバに提供する情報を示す指標を重畳する。指標重畳部２３は、例えば、車線変更に係る情報を示す安全指標をサイドミラー画像に対して重畳する。これにより、指標重畳部２３は、サイドミラー画像と安全指標とを含むサポート画像を生成する。
The
画像出力部２４は、サポート画像をディスプレイ３１，３２に出力する。これにより、ディスプレイ３１，３２において、サポート画像が表示される。
The
また、画像処理装置２は、制御部２０と、記憶部２５と、情報取得部２６とをさらに備えている。制御部２０は、例えば、マイクロコンピュータであり、画像処理装置２の全体を統括的に制御する。
The
記憶部２５は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２５は、ファームウェアとしてのプログラムや、制御部２０の制御に用いる各種のデータを記憶する。
The
情報取得部２６は、自車両９に設けられる他の装置から各種の情報を取得する。情報取得部２６は、他の装置から信号を受信することで情報を取得し、取得した情報を制御部２０に入力する。図に示すように、情報取得部２６は、前方レーダ９１、後方レーダ９２、ナビゲーション装置９３、ＧＰＳ装置９４、車速センサ９５及び方向指示器９６などと車内ネットワークを介して接続され、それぞれの装置から情報を取得する。
The
２つのレーダ９１，９２はそれぞれ、自車両９の周辺に存在する他車両に関する車両情報を検出する。これらのレーダ９１，９２は、送信波を送信し、他車両で反射した反射波を受信して得られる信号に基づいて他車両の車両情報を検出する。
The two
レーダ９１，９２が検出する他車両の車両情報には、進行方向に沿った自車両９から他車両までの距離である縦距離、左右方向に沿った自車両９から他車両までの距離である横距離、及び、自車両９に対する他車両の相対速度などが含まれる。画像処理装置２の情報取得部２６は、このような他車両の車両情報を２つのレーダ９１，９２からそれぞれ取得する。
The vehicle information of the other vehicle detected by the
図４に示すように、２つのレーダ９１，９２のうち前方レーダ９１は、自車両９の前端に設けられる。このため、前方レーダ９１は、自車両９の前方を走行する他車両の車両情報を検出できる。前方レーダ９１の対象となる他車両には、自車両９が走行する走行車線Ｌａに隣接する隣接車線Ｌｂを自車両９の前方において走行する他車両（以下、「前側方車両」という。）８１が含まれる。
As shown in FIG. 4, the
一方、後方レーダ９２は、自車両９の後端に設けられる。このため、後方レーダ９２は、自車両９の後方を走行する他車両の車両情報を検出できる。後方レーダ９２の対象となる他車両には、自車両９が走行する走行車線Ｌａに隣接する隣接車線Ｌｂを自車両９の後方において走行する他車両（以下、「後側方車両」という。）８２が含まれる。
On the other hand, the
図１に戻り、ナビゲーション装置９３は、目的地までのルート等を示す地図画像を表示する装置である。ナビゲーション装置９３の表示部は、２つのディスプレイ３１，３２とは別に、車室内の左右中央のセンターコンソール９８に設けられる（図３参照。）。画像処理装置２の情報取得部２６は、自車両９の周辺の道路情報をナビゲーション装置９３から取得する。
Returning to FIG. 1, the
ＧＰＳ装置９４は、複数の衛星からの信号を受信して自車両９の位置を検出する。画像処理装置２の情報取得部２６は、自車両９の位置をＧＰＳ装置９４から取得する。なお、情報取得部２６は、自車両９の位置をナビゲーション装置９３から取得してもよい。
The
車速センサ９５は、自車両９の車軸の回転数などに基づいて、自車両９が走行する絶対速度である走行速度を検出する。画像処理装置２の情報取得部２６は、自車両９の走行速度を車速センサ９５から取得する。
The
方向指示器９６は、ドライバがレバー９６ａ（図３参照。）を操作して入力した方向を自車両９の周辺に示す装置である。画像処理装置２の情報取得部２６は、方向指示器９６の操作状態を方向指示器９６から取得する。すなわち、情報取得部２６は、方向指示器９６の操作の有無（オン／オフ）、及び、方向指示器９６が操作された方向を取得する。
The
また、制御部２０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２０の各種の機能は、記憶部２５に記憶されたプログラムに従ってＣＰＵが演算処理を行うことで実現される。図中に示す意志判定部２０ａ、安全指標生成部２０ｂ及び表示制御部２０ｃは、プログラムに従ってＣＰＵが演算処理を行うことで実現される機能の一部である。
The
意志判定部２０ａは、後側方車両８２の運転主体であるドライバの意志を判定する。意志判定部２０ａは、後側方車両８２の車両情報に基づいて、後側方車両８２のドライバにおける後側方車両８２の前方への自車両９の車線変更を容認する意志の有無を判定する。
The
安全指標生成部２０ｂは、車線変更を行った場合の安全性の目安となる安全指標を生成する。安全指標生成部２０ｂは、意志判定部２０ａの判定結果に応じた安全指標を生成する。
The safety
また、表示制御部２０ｃは、ディスプレイ３１，３２に表示する画像を制御する。表示制御部２０ｃは、画像生成部２２及び指標重畳部２３を制御してディスプレイ３１，３２に表示すべきサポート画像を生成させ、画像出力部２４を制御して適切なディスプレイ３１，３２にサポート画像を表示させる。
The
＜１−２．サポート画像＞
次に、ディスプレイ３１，３２に表示されるサポート画像についてより詳細に説明する。図５及び図６は、サポート画像６の一例を示す図である。サポート画像６は、自車両９のドライバが車線変更が可能か否かを判断する際にドライバを支援するための画像であり、サイドミラー画像６１と安全指標６２とを含んでいる。
<1-2. Support image>
Next, the support images displayed on the
前述のように、サイドミラー画像６１は、ドライバの視点からみてサイドミラー９０Ｌ，９０Ｒに映る領域に対応する自車両９の周辺領域を示す周辺画像である。サイドミラー画像６１には、右サイドミラー９０Ｒに映る領域を示す「右サイドミラー画像」と、左サイドミラー９０Ｒに映る領域を示す「左サイドミラー画像」とがある。右サイドミラー画像６１は右ディスプレイ３２に表示され、左サイドミラー画像６１は左ディスプレイ３１に表示される。図５及び図６の例に示すサイドミラー画像６１は、右サイドミラー画像である。
As described above, the
このようなサイドミラー画像６１は、画像生成部２２によって生成される。画像生成部２２は、右サイドカメラ５Ｒで得られた撮影画像に対して歪み補正を行った後、右サイドミラー９０Ｒに映る領域に対応する一部の領域を切り出すことで右サイドミラー画像６１を生成する。同様に、画像生成部２２は、左サイドカメラ５Ｌで得られた撮影画像に対して歪み補正を行った後、左サイドミラー９０Ｌに映る領域に対応する一部の領域を切り出すことで左サイドミラー画像６１を生成する。
Such a
右側の隣接車線に後側方車両８２が存在する場合は、図５及び図６に示すように、この右側の後側方車両８２の車両像８２ａが右サイドミラー画像６１に含まれる。同様に、左側の隣接車線に後側方車両８２が存在する場合は、この左側の後側方車両８２の車両像８２ａが左サイドミラー画像６１に含まれる。
When the
サイドミラー画像６１に含まれる後側方車両８２の車両像８２ａの位置は、自車両９に対する後側方車両８２の相対的な位置を表している。したがって、サイドミラー画像６１は、後側方車両８２の位置を示す車両画像であるともいえる。自車両９のドライバは、サイドミラー画像６１を確認することで、サイドミラー９０Ｌ，９０Ｒと同様の感覚で、見慣れた視点から後側方車両８２の位置を把握することができる。
The position of the
一方、安全指標６２は、特定の色を表現する矩形の枠状の画像である。図５及び図６に示すように、安全指標６２は、サイドミラー画像６１の周縁に沿って配置される。このように安全指標６２は、サイドミラー画像６１の周縁に沿って配置されるため、サイドミラー画像６１に含まれる車両像８２ａなどの被写体像が安全指標６２の影響で見難くなることを防止できる。サポート画像６は、このような枠状の安全指標６２をサイドミラー画像６１に重畳することで生成される。なお、サイドミラー画像６１の周縁の外側に安全指標６２を配置することでサポート画像６が生成されてもよい。
On the other hand, the
安全指標６２は、車線変更を行った場合の安全性を色で表しており、「青色」「赤色」及び「黄色」の３色の安全指標６２がある。例えば、図５は「青色」の安全指標６２を示しており、図６は「赤色」の安全指標６２を示している。
The
このような安全指標６２の色は、後側方車両８２のドライバにおける後側方車両８２の前方への自車両９の車線変更を容認する意志（以下、「容認意志」という。）に応じて変更される。右サイドミラー画像６１に重畳される安全指標６２は右側の後側方車両８２のドライバの容認意志に応じて変更され、左サイドミラー画像６１に重畳される安全指標６２は左側の後側方車両８２のドライバの容認意志に応じて変更される。
Such a color of the
後側方車両８２のドライバの容認意志がある場合は、安全指標６２の色は「青色」とされる。一方で、後側方車両８２のドライバの容認意志がない場合は、安全指標６２の色は「赤色」とされる。また、後側方車両８２のドライバの容認意志の有無が判定できない場合は、安全指標６２の色は「黄色」とされる。自車両９のドライバは、このような安全指標６２の色を確認することで、後側方車両８２のドライバの容認意志を把握できる。
When the driver of the
サポート画像６は、このようなサイドミラー画像６１と安全指標６２とを含んでいる。このため、このサポート画像６がディスプレイ３１，３２において表示されると、サイドミラー画像６１と安全指標６２とが併せて表示される。したがって、自車両９のドライバは、このようなサポート画像６を確認することで、後側方車両８２の位置と後側方車両８２のドライバの容認意志とを同時に把握でき、車線変更が可能か否かを容易に判断できる。自車両９のドライバは、サイドミラー画像６１に基づいて後側方車両８２の位置が自車両９から十分離れていることを把握でき、かつ、安全指標６２に基づいて後側方車両８２のドライバの容認意志があることを把握できる。その結果、自車両９のドライバは安心して車線変更を行うことができる。
The
右側の後側方車両８２の位置とそのドライバの容認意志とを表すサポート画像（以下、「右サポート画像」という。）６は、右ディスプレイ３２に表示される。また、左側の後側方車両８２の位置とそのドライバの容認意志とを表すサポート画像（以下、「左サポート画像」という。）６は、左ディスプレイ３１に表示される。自車両９のドライバは、右側の隣接車線に車線変更する場合は右サポート画像６を確認し、左側の隣接車線に車線変更する場合は左サポート画像６を確認する。
A support image (hereinafter, referred to as “right support image”) 6 indicating the position of the right
＜１−３．サポート画像生成処理＞
次に、画像処理装置２がこのようなサポート画像６を生成するサポート画像生成処理の流れについて説明する。図７は、サポート画像生成処理の流れを示す図である。このサポート画像生成処理は、表示制御部２０ｃの制御により、所定の周期（例えば、１／３０秒周期）で繰り返される。また、サポート画像生成処理は、表示制御部２０ｃの制御により、右サポート画像６及び左サポート画像６のそれぞれに関して個別に実行される。以下では、右サポート画像６を生成するサポート画像生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６を生成するサポート画像生成処理も同様である。
<1-3. Support image generation processing>
Next, a flow of a support image generation process in which the
まず、画像取得部２１が、右サイドカメラ５Ｒから撮影画像を取得する（ステップＳ１１）。この撮影画像には、自車両９の右側の領域に存在する物体の被写体像が含まれている。画像取得部２１は、取得した右サイドカメラ５Ｒの撮影画像を画像生成部２２に入力する。
First, the
次に、画像生成部２２が、入力された右サイドカメラ５Ｒの撮影画像を用いて右サイドミラー画像６１を生成する（ステップＳ１２）。画像生成部２２は、撮影画像に対して歪み補正を行い、さらに、右サイドミラー９０Ｒに映る領域に対応する一部の領域を切り出すことで、右サイドミラー画像６１を生成する。
Next, the
次に、情報取得部２６が、右側の後側方車両８２の車両情報を取得する（ステップＳ１３）。情報取得部２６は、後方レーダ９２からの信号を受信して、右側の後側方車両８２の縦距離、横距離及び相対速度などの車両情報を取得する。さらに、情報取得部２６は、車速センサ９５からの信号を受信して、自車両９の走行速度を取得する。情報取得部２６は、取得した車両情報、及び、自車両９の走行速度を制御部２０に入力する。なお、情報取得部２６が取得した車両情報が、自車両９と同一の走行車線を走行する他車両の車両情報であるか、後側方車両８２の車両情報であるかは横距離に基づいて区別できる。
Next, the
次に、意志判定部２０ａが、情報取得部２６が取得した右側の後側方車両８２の車両情報に基づいて、右側の後側方車両８２のドライバの容認意志の有無を判定する（ステップＳ１４）。意志判定部２０ａは、右側の後側方車両８２の車両情報に含まれる相対速度と、自車両９の走行速度とに基づいて、後側方車両８２の絶対速度を導出する。さらに、意志判定部２０ａは、周期的にサポート画像生成処理で導出される絶対速度を時間微分し、後側方車両８２の加速度を導出する。
Next, the
そして、意志判定部２０ａは、導出した加速度を考慮し、後側方車両８２が減速している場合は（加速度＜０）、右側の後側方車両８２のドライバの容認意志があると判定する。一方、意志判定部２０ａは、後側方車両８２が加速している場合は（加速度＞０）、右側の後側方車両８２のドライバの容認意志がないと判定する。また、意志判定部２０ａは、後側方車両８２が走行速度をおよそ維持している場合（加速度≒０）は、右側の後側方車両８２のドライバの容認意志の有無を判定できず、容認意志が不明と判定する。
Then, the
次に、安全指標生成部２０ｂが、安全指標生成処理を行って、右側の後側方車両８２に係る安全指標６２を生成する（ステップＳ１５）。図８は、安全指標生成処理の詳細な流れを示す図である。安全指標生成処理では、安全指標生成部２０ｂは、意志判定部２０ａの判定結果に応じた安全指標６２を生成する。
Next, the safety
具体的には、意志判定部２０ａが容認意志があると判定した場合は（ステップＳ１０１にてＹｅｓ）、安全指標生成部２０ｂは「青色」の安全指標６２を生成する（ステップＳ１０３）。一方、意志判定部２０ａが容認意志がないと判定した場合は（ステップＳ１０２にてＹｅｓ）、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する（ステップＳ１０４）。また、意志判定部２０ａが容認意志の有無を判定できない場合は（ステップＳ１０１及びＳ１０２の双方にてＮｏ）、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する（ステップＳ１０５）。
Specifically, when the
図７に戻り、次に、指標重畳部２３が、安全指標生成部２０ｂが生成した安全指標６２を、画像生成部２２が生成した右サイドミラー画像６１に重畳する（ステップＳ１６）。これにより、指標重畳部２３が、右サポート画像６を生成する。
Returning to FIG. 7, next, the
次に、画像出力部２４が、生成された右サポート画像６を右ディスプレイ３２に出力する（ステップＳ１７）。右サポート画像６は右サイドミラー画像６１と安全指標６２とを含むため、画像出力部２４は右サイドミラー画像６１と安全指標６２とを併せて右ディスプレイ３２に出力する。これにより、右サポート画像６が、右ディスプレイ３２に表示される。すなわち、右サイドミラー画像６１と、右側の後側方車両８２に係る安全指標６２とが併せて右ディスプレイ３２に表示される。
Next, the
前述のように、このサポート画像生成処理は、左サポート画像６に関しても並行して実行される。これにより、安全指標生成部２０ｂは、左側の後側方車両８２に係る安全指標６２を生成し、この安全指標６２を含む左サポート画像６が左ディスプレイ３１に表示される。すなわち、左サイドミラー画像６１と、左側の後側方車両８２に係る安全指標６２とが併せて左ディスプレイ３１に表示される。
As described above, this support image generation process is also executed on the
以上のように、本実施の形態の画像処理装置２においては、情報取得部２６が自車両９が走行する走行車線に隣接する隣接車線を自車両９の後方において走行する後側方車両８２に関する車両情報を取得する。意志判定部２０ａは、後側方車両８２の車両情報に基づいて、後側方車両８２のドライバにおける後側方車両８２の前方への自車両９の車線変更を容認する容認意志の有無を判定する。また、画像生成部２２が後側方車両８２の位置を示すサイドミラー画像６１を生成するとともに、安全指標生成部２０ｂが意志判定部２０ａの判定結果に応じた安全指標６２を生成する。そして、画像出力部２４は、サイドミラー画像６１と安全指標６２とを含むサポート画像６をディスプレイ３１，３２に出力して、サイドミラー画像６１と安全指標６２とを併せてディスプレイ３１，３２に表示させる。
As described above, in the
このようにサイドミラー画像６１と安全指標６２とが併せてディスプレイ３１，３２に表示されるため、自車両９のドライバは後側方車両８２の位置と後側方車両８２のドライバの容認意志とを同時に把握することができる。その結果、自車両９のドライバは、安心して車線変更することができる。
Since the
また、安全指標６２は、サイドミラー画像６１の周縁に沿って配置される。このため、サイドミラー画像６１に含まれる被写体像が安全指標６２の影響で見難くなることを防止できる。
Further, the
なお、上記実施の形態では、安全指標６２はサイドミラー画像６１の周囲を囲むように配置されていたが、安全指標はサイドミラー画像６１の周囲の一部のみに配置されるものであってもよい。例えば、安全指標は、サイドミラー画像６１の上下の辺のみに沿って配置されてもよく、サイドミラー画像６１の左右の辺のみに沿って配置されてもよい。
In the above embodiment, the
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、メーターパネル９７の左右にあるディスプレイ３１，３２にサポート画像６が表示されていた。これに対して、第２の実施の形態では、バックミラーと同様の機能を電子的に提供する電子バックミラーにおいてサポート画像６が表示される。
<2. Second Embodiment>
Next, a second embodiment will be described. Since the configuration and processing of the
図９は、第２の実施の形態の画像表示システム１０の構成を示すブロック図である。第２の実施の形態の画像表示システム１０は、左右のディスプレイ３１，３２に代えて電子バックミラー３３を備える点で第１の実施の形態と異なっている。第２の実施の形態の画像表示システム１０のその他の構成は、第１の実施の形態と同様である。
FIG. 9 is a block diagram showing the configuration of the
電子バックミラー３３は、横長の液晶などの表示パネルを備えた表示装置である。電子バックミラー３３は、一般的なバックミラーの位置に配置される。電子バックミラー３３は、自車両９の後方の周辺領域を示す周辺画像を表示することで、バックミラーと同様に機能する。
The electronic
図１０は、通常時において、電子バックミラー３３に表示される表示画像７の一例を示す図である。図１０に示すように、通常時において、電子バックミラー３３は、一般的なバックミラーに映る領域に対応する自車両９の後方の周辺領域を示す周辺画像（以下、「バックミラー画像」という。）７１のみを表示画像７として表示する。
FIG. 10 is a diagram showing an example of the
画像生成部２２は、リアカメラ５Ｂで得られた撮影画像に対して歪み補正を行った後、バックミラーに映る領域に対応する一部の領域を切り出すことで、このようなバックミラー画像７１を生成する。自車両９のドライバは、電子バックミラー３３が表示するバックミラー画像７１を、バックミラーと同様の感覚で自車両９の周辺領域の確認に利用できる。
The
また、自車両９の方向指示器９６が操作された場合は、電子バックミラー３３はサポート画像６を表示する。図１１は、方向指示器９６が操作された場合において、電子バックミラー３３に表示される表示画像７の一例を示す図である。図１１に示すように、方向指示器９６が操作された場合は、電子バックミラー３３は、バックミラー画像７１とサポート画像６とを合成した表示画像７を表示する。
Further, when the
サポート画像６は、第１の実施の形態で説明したサポート画像６と同一であり、サイドミラー画像６１と安全指標６２とを含んでいる。このため、サポート画像６を含む表示画像７が電子バックミラー３３において表示されることで、サイドミラー画像６１と安全指標６２とが併せて表示される。したがって、自車両９のドライバは、サポート画像６を確認することで、後側方車両８２の位置と後側方車両８２のドライバの容認意志とを同時に把握することができる。
The
方向指示器９６が右方向に操作された場合は、図１１の例のように、右サイドミラー画像６１と右側の後側方車両８２に係る安全指標６２とを含む右サポート画像６が、バックミラー画像７１の右側に配置されて電子バックミラー３３に表示される。一方、方向指示器９６が左方向に操作された場合は、左サイドミラー画像６１と左側の後側方車両８２に係る安全指標６２とを含む左サポート画像６が、バックミラー画像７１の左側に配置されて電子バックミラー３３に表示される。このため、自車両９のドライバは、電子バックミラー３３に表示されたサポート画像６が、左右いずれの後側方車両８２の情報を表しているかを直感的に把握できる。
When the
図１２は、第２の実施の形態のサポート画像生成処理の流れを示す図である。このサポート画像生成処理も、表示制御部２０ｃの制御により、右サポート画像６及び左サポート画像６のそれぞれに関して個別に実行される。以下では、右サポート画像６を生成するサポート画像生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６を生成するサポート画像生成処理も同様である。また、このサポート画像生成処理と並行して、バックミラー画像７１を生成する処理も所定の周期（例えば、１／３０秒周期）で繰り返されている。
FIG. 12 is a diagram showing a flow of the support image generation processing according to the second embodiment. This support image generation process is also executed individually for each of the
まず、表示制御部２０ｃが、方向指示器９６が右方向に操作されているか否かを判定する（ステップＳ２１）。表示制御部２０ｃは、情報取得部２６が取得する方向指示器９６の操作状態に基づいて、方向指示器９６が右方向に操作されているか否かを判定する。方向指示器９６が操作されていない場合（オフ）、または、方向指示器９６が左方向に操作されている場合は（ステップＳ２１にてＮｏ）、サポート画像生成処理が終了する。
First, the
一方、方向指示器９６が右方向に操作されている場合は（ステップＳ２１にてＹｅｓ）、右サポート画像６が生成される（ステップＳ２２〜Ｓ２７）。右サポート画像６を生成するステップＳ２２〜Ｓ２７の処理は、第１の実施の形態におけるステップＳ１１〜Ｓ１６の処理（図７参照。）と同様である。
On the other hand, when the
表示制御部２０ｃは、このようにして生成された右サポート画像６と、並行する他の処理で生成されたバックミラー画像７１とを合成して表示画像７を生成する（ステップＳ２８）。そして、画像出力部２４が、生成された表示画像７を電子バックミラー３３に出力する。これにより、右サポート画像６が電子バックミラー３３においてバックミラー画像７１の右側に表示される。
The
前述のように、このサポート画像生成処理は、左サポート画像６に関しても並行して実行される。左サポート画像６を生成するサポート画像生成処理では、ステップＳ２１において、表示制御部２０ｃが、方向指示器９６が左方向に操作されているか否かを判定する。したがって、方向指示器９６が右方向に操作されている場合は右サポート画像６が表示され、方向指示器９６が左方向に操作されている場合は左サポート画像６が表示される。
As described above, this support image generation process is also executed on the
なお、第１の実施の形態のように、左右のディスプレイ３１，３２に左右のサポート画像６をそれぞれ表示させる場合においても、方向指示器９６が右方向に操作されている場合は右サポート画像６のみが表示され、方向指示器９６が左方向に操作されている場合は左サポート画像６のみが表示されるようにしてもよい。
Even when the left and
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の構成や処理は第２の実施の形態とほぼ同様であるため、以下、第２の実施の形態との相違点を中心に説明する。第２の実施の形態では、サポート画像６は、サイドミラー画像６１を含んでいた。これに対して、第３の実施の形態では、サポート画像は、サイドミラー画像６１ではなく、自車両９と後側方車両８２とを位置関係を図式化した図式化画像を含んでいる。
<3. Third Embodiment>
Next, a third embodiment will be described. Since the configuration and processing of the
図１３は、第３の実施の形態の画像表示システム１０の構成を示すブロック図である。第３の実施の形態の画像表示システム１０は、プログラムに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能として、図式化画像生成部２０ｄを備えている。第３の実施の形態の画像表示システム１０のその他の構成は、第２の実施の形態と同様である。
FIG. 13 is a block diagram showing the configuration of the
図式化画像生成部２０ｄは、図式化画像を生成する。図式化画像生成部２０ｄは、後側方車両８２の車両情報に基づいて、自車両９に対する後側方車両８２の相対的な位置を導出し、その位置を表す図式化画像を生成する。本実施の形態では、この図式化画像に対して安全指標が重畳されてサポート画像が生成される。
The graphic
図１４は、第３の実施の形態のサポート画像６０の一例を示す図である。サポート画像６０は、図式化画像６５と安全指標６６とを含んでいる。
FIG. 14 is a diagram illustrating an example of the
図１４に示すように、図式化画像６５は、自車両９と後側方車両８２との相対的な位置関係を俯瞰視点から図式化して示すイラスト調の画像である。図式化画像６５は、後側方車両８２の位置を示す車両画像であるともいえる。自車両９のドライバは、このような図式化画像６５を確認することで、後側方車両８２の位置を客観的な視点から把握できる。
As shown in FIG. 14, the
図式化画像６５は、自車両９の位置を表すアイコンである車両図形９ｂと、後側方車両８２の位置を表すアイコンである車両図形８２ｂと、自車両９の周辺の道路の形状を示す道路図形とを含んでいる。このような車両図形９ｂ，８２ｂ及び道路図形に用いる図形データ等は、予め記憶部２５などに記憶されている。
The
図式化画像生成部２０ｄは、実際の自車両９と後側方車両８２との位置関係を、図式化画像６５に含まれる２つの車両図形９ｂ，８２ｂの位置関係に反映する。例えば、図１４の場合と比較して自車両９と後側方車両８２との間の後方車間距離が長くなった場合は、図式化画像生成部２０ｄは、図１５に示すように、その後方車間距離を反映した図式化画像６５を生成する。この際、図式化画像生成部２０ｄは、一定サイズの図式化画像６５に２つの車両図形９ｂ，８２ｂが含まれるように、車両図形９ｂ，８２ｂ及び道路図形のサイズを調整する。
The schematic
また、安全指標６６は、向きを示す矢印状の図形である。安全指標６６は、図式化画像６５に含まれる後側方車両８２の車両図形８２ｂの近傍に重畳される。そして、安全指標６６の色及び向きは、後側方車両８２のドライバの容認意志に応じて変更される。このような安全指標６６に用いる図形データ等は、予め記憶部２５などに記憶されている。
The
後側方車両８２のドライバの容認意志がある場合は、図１４に示すように、安全指標６６の色は「青色」とされ、かつ、安全指標６６は後側方車両８２（車両図形８２ｂ）の後方の向きを示す。一方で、後側方車両８２のドライバの容認意志がない場合は、図１６に示すように、安全指標６６の色は「赤色」とされ、かつ、安全指標６６は後側方車両８２（車両図形８２ｂ）の前方の向きを示す。また、後側方車両８２のドライバの容認意志の有無が判定できない場合は、図１７に示すように、安全指標６６の色は「黄色」とされ、かつ、安全指標６６は後側方車両８２（車両図形８２ｂ）の前方及び後方の双方の向きを示す。
When the driver of the
このような安全指標６６が後側方車両８２を示す車両図形８２ｂの近傍に重畳されるため、自車両９のドライバは、安全指標６６が後側方車両８２のドライバの容認意志を表していることを直感的に把握できる。そして、自車両９のドライバは、安全指標６６の色及び向きを確認することで、後側方車両８２のドライバの容認意志を直感的に把握できる。
Since such a
本実施の形態のサポート画像６０は、このような図式化画像６５と安全指標６６とを含んでいる。このため、このサポート画像６０が電子バックミラー３３において表示されると、図式化画像６５と安全指標６６とが併せて表示される。したがって、自車両９のドライバは、サポート画像６０を確認することで、後側方車両８２の位置と後側方車両８２のドライバの容認意志とを同時に把握することができる。その結果、自車両９のドライバは安心して車線変更を行うことができる。
The
このようなサポート画像６０には、右側の後側方車両８２の位置とそのドライバの容認意志とを表す右サポート画像６０と、左側の後側方車両８２の位置とそのドライバの容認意志とを表す左サポート画像６０とがある。図１４ないし図１７の例に示すサポート画像６０は、右サポート画像６０である。
In such a
右サポート画像６０は、図１８の例のように、バックミラー画像７１の右側に配置されて電子バックミラー３３において表示される。また、左サポート画像６０は、バックミラー画像７１の左側に配置されて電子バックミラー３３において表示される。本実施の形態においても、方向指示器９６が右方向に操作されている場合は右サポート画像６０が表示され、方向指示器９６が左方向に操作されている場合は左サポート画像６０が表示される。
The
図１９は、第３の実施の形態のサポート画像生成処理の流れを示す図である。このサポート画像生成処理も、表示制御部２０ｃの制御により、右サポート画像６０及び左サポート画像６０のそれぞれに関して個別に実行される。以下では、右サポート画像６０を生成するサポート画像生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６０を生成するサポート画像生成処理も同様である。
FIG. 19 is a diagram showing a flow of the support image generation processing according to the third embodiment. This support image generation processing is also executed individually for each of the
まず、表示制御部２０ｃが、方向指示器９６が右方向に操作されているか否かを判定する（ステップＳ３１）。方向指示器９６が操作されていない場合（オフ）、または、方向指示器９６が左方向に操作されている場合は（ステップＳ３１にてＮｏ）、サポート画像生成処理が終了する。
First, the
一方、方向指示器９６が右方向に操作されている場合は（ステップＳ３１にてＹｅｓ）、右サポート画像６０が生成される。まず、情報取得部２６が、右側の後側方車両８２の車両情報を取得するとともに、自車両９の走行速度を取得する（ステップＳ３２）。
On the other hand, when the
次に、図式化画像生成部２０ｄが、図式化画像６５を生成する（ステップＳ３３）。図式化画像生成部２０ｄは、実際の自車両９と後側方車両８２との位置関係を、情報取得部２６が取得した右側の後側方車両８２の車両情報に含まれる縦距離及び横位置などに基づいて導出する。そして、図式化画像生成部２０ｄは、記憶部２５に記憶された図形データを用いて、実際の自車両９と後側方車両８２との位置関係を反映した図式化画像６５を生成する。
Next, the schematic
次に、意志判定部２０ａが、情報取得部２６が取得した車両情報に基づいて、右側の後側方車両８２のドライバの容認意志の有無を判定する（ステップＳ３４）。この判定手法は、第１の実施の形態と同様である。
Next, the
次に、安全指標生成部２０ｂが、安全指標生成処理を行って安全指標６６を生成する（ステップＳ３５）。安全指標生成部２０ｂは、意志判定部２０ａの判定結果を参照して、意志判定部２０ａの判定結果に応じた安全指標６６を生成する。後側方車両８２のドライバの容認意志と、安全指標生成部２０ｂが生成する安全指標６６との関係は既述のとおりである。
Next, the safety
次に、指標重畳部２３が、安全指標生成部２０ｂが生成した安全指標６６を、図式化画像生成部２０ｄが生成した図式化画像６５に重畳する（ステップＳ３６）。指標重畳部２３は、安全指標６６が後側方車両８２の車両図形８２ｂの近傍に重畳する。これにより、指標重畳部２３が、右サポート画像６０を生成する。
Next, the
表示制御部２０ｃは、このようにして生成された右サポート画像６０と、並行する他の処理で生成されたバックミラー画像７１とを合成して表示画像７を生成する（ステップＳ３７）。そして、画像出力部２４が、生成された表示画像７を電子バックミラー３３に出力する。これにより、右サポート画像６０が電子バックミラー３３においてバックミラー画像７１の右側に表示される。
The
以上のように、本実施の形態の画像処理装置２においては、サポート画像６０に含まれる図式化画像６５は、自車両９と後側方車両８２とを位置関係を図式化して示す。このため、自車両９のドライバは、このような図式化画像６５を確認することで、後側方車両８２の位置を客観的な視点から把握できる。
As described above, in the
また、サポート画像６０に含まれる安全指標６６は、図式化画像６５に含まれる後側方車両８２を示す車両図形８２ｂの近傍に重畳される。そして、後側方車両８２のドライバの容認意志がある場合は安全指標６６は後側方車両８２の後方の向きを示し、後側方車両８２のドライバの容認意志がない場合は安全指標６６は後側方車両８２の前方の向きを示す。このような安全指標６６の向きにより、自車両９のドライバは後側方車両８２のドライバの容認意志を直感的に把握できる。
Further, the
なお、サポート画像６０は、矢印状の安全指標６６とともに、第１の実施の形態と同様の枠状の安全指標６２を含んでいてもよい。また、第１の実施の形態のように左右のディスプレイ３１，３２に左右のサポート画像をそれぞれ表示させる場合においても、本実施の形態と同様の図式化画像６５を含むサポート画像６０を表示させてもよい。
The
＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、サポート画像６に含まれる安全指標６２の態様は方向指示器９６の操作状態とは無関係であった。これに対して、第４の実施の形態では、方向指示器９６の操作状態に応じて、安全指標６２の態様が変更される。
<4. Fourth Embodiment>
Next, a fourth embodiment will be described. Since the configuration and processing of the
図２０は、第４の実施の形態のサポート画像６の態様の変化を示す図である。本実施の形態においても、サポート画像６は、サイドミラー画像６１と枠状の安全指標６２とを含んでいる。ただし、安全指標６２の太さは、方向指示器９６の操作状態に応じて変更される。
FIG. 20 is a diagram showing changes in the aspect of the
図２０の右側に示すように、方向指示器９６が操作されている場合は、安全指標６２の太さは相対的に太くなっている。一方、図２０の左側に示すように、方向指示器９６が操作されていない場合は、安全指標６２の太さは相対的に細くなっている。したがって、方向指示器９６が操作されている場合は、方向指示器９６が操作されていない場合と比較して、安全指標６２は強調される。
As shown on the right side of FIG. 20, when the
このように方向指示器９６が操作されている場合は、安全指標６２が強調されるため、自車両９のドライバは安全指標６２を十分に確認することができ、安心して車線変更を行うことができる。一方で、方向指示器９６が操作されていない場合は、安全指標６２が目立たないため、自車両９のドライバが安全指標６２を邪魔に感じることを防止できる。
When the
本実施の形態の安全指標生成部２０ｂは、安全指標生成処理（図７のステップＳ１５）においてこのような安全指標６２を生成する。図２１は、第４の実施の形態の安全指標生成処理の詳細な流れを示す図である。以下では、右サポート画像６のための安全指標６２を生成する安全指標生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６のための安全指標６２を生成する安全指標生成処理も同様である。
The safety
まず、第１の実施の形態（図８参照。）と同様に、安全指標生成部２０ｂは、意志判定部２０ａの判定結果を参照して、意志判定部２０ａの判定結果に応じた安全指標６２を生成する（ステップＳ１０１〜Ｓ１０５）。。
First, similarly to the first embodiment (see FIG. 8), the safety
次に、安全指標生成部２０ｂは、方向指示器９６が右方向に操作されているか否かを判定する（ステップＳ１０６）。安全指標生成部２０ｂは、情報取得部２６が取得する方向指示器９６の操作状態に基づいて、方向指示器９６が右方向に操作されているか否かを判定する。
Next, the safety
方向指示器９６が操作されていない場合（オフ）、または、方向指示器９６が左方向に操作されている場合は（ステップＳ１０６にてＮｏ）、安全指標生成部２０ｂは、安全指標６２の太さを細くする（ステップＳ１０８）。これにより、安全指標生成部２０ｂは、目立たない安全指標６２を生成する。
When the
一方、方向指示器９６が右方向に操作されている場合は（ステップＳ１０６にてＹｅｓ）、安全指標生成部２０ｂは、安全指標６２の太さを太くする（ステップＳ１０７）。これにより、安全指標生成部２０ｂは、安全指標６２を強調して生成する。
On the other hand, when the
このような安全指標生成処理は、左サポート画像６に関しても実行される。したがって、安全指標生成部２０ｂは、方向指示器９６が操作された場合は、その方向指示器９６が操作された方向の後側方車両８２に関する安全指標６２を強調して生成する。すなわち、方向指示器９６が右方向に操作されている場合は、右側の後側方車両８２に関する安全指標６２を強調して生成する。一方で、方向指示器９６が左方向に操作されている場合は、左側の後側方車両８２に関する安全指標６２を強調して生成する。
Such a safety index generation process is also executed for the
以上のように、本実施の形態の画像処理装置２においては、安全指標生成部２０ｂは、方向指示器９６が操作されている場合は、方向指示器９６が操作されていない場合と比較して安全指標６２を強調した生成する。したがって、方向指示器９６が操作されている場合は安全指標６２が強調されるため、自車両９のドライバが安全指標６２を十分に確認できる。また、方向指示器９６が操作されていない場合でも安全指標６２は表示されるため、自車両９のドライバは、方向指示器９６の操作前であっても後側方車両８２のドライバの容認意志を把握できる。自車両９のドライバが車線変更の意図がない場合（方向指示器９６が操作されていない場合）でも安全指標６２が目立たないため、自車両９のドライバが安全指標６２を邪魔に感じることを防止できる。
As described above, in the
なお、点滅する安全指標６２など他の態様の安全指標６２を生成することにより、安全指標６２を強調してもよい。また、方向指示器９６が操作されていない場合は、安全指標６２が表示されないようにしてもよい。
The
＜５．第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、左右双方の安全指標６２が常に表示されていた。これに対して、第５の実施の形態では、隣接車線の存在に応じて選択的に安全指標６２が表示される。
<5. Fifth Embodiment>
Next, a fifth embodiment will be described. Since the configuration and processing of the
図２２は、第５の実施の形態の画像表示システム１０の構成を示すブロック図である。第５の実施の形態の画像表示システム１０は、プログラムに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能として、車線判断部２０ｅを備えている。第５の実施の形態の画像表示システム１０のその他の構成は、第１の実施の形態と同様である。
FIG. 22 is a block diagram showing the configuration of the
車線判断部２０ｅは、自車両９が走行する走行車線に隣接する隣接車線の存在を判断する。車線判断部２０ｅは、情報取得部２６が取得する情報に基づいて、走行車線の左側及び右側それぞれの隣接車線が存在するか否かを判断する。
The
本実施の形態のディスプレイ３１，３２においては、この車線判断部２０ｅの判断結果に基づいて安全指標６２が表示される。左右のディスプレイ３１，３２のうち隣接車線が存在する側のディスプレイにおいては、安全指標６２を含むサポート画像６が表示される。一方で、隣接車線が存在しない側のディスプレイにおいては、安全指標６２が表示されずにサイドミラー画像６１のみが表示される。また、左右双方の隣接車線が存在しない場合は、左右双方のディスプレイ３１，３２において、安全指標６２が表示されずにサイドミラー画像６１のみが表示される。
On the
例えば、図２３に示すように、自車両９が片側二車線の道路の左側の走行車線Ｌ１を走行している場合を想定する。この場合は、自車両９が走行する走行車線Ｌ１の右側には隣接車線Ｌ２が存在し、左側には隣接車線が存在しない。このため、右ディスプレイ３２においては、安全指標６２を含むサポート画像６が表示される。一方で、左ディスプレイ３１においては、安全指標６２が表示されずに左サイドミラー画像６１のみが表示される。
For example, as shown in FIG. 23, it is assumed that the
また、図２４に示すように、自車両９が片側三車線の道路の中央の走行車線Ｌ４を走行している場合を想定する。この場合は、自車両９が走行する走行車線Ｌ４の左右双方に隣接車線Ｌ３，Ｌ５が存在している。このため、左右のディスプレイ３１，３２の双方において、安全指標６２を含むサポート画像６が表示される。
Further, as shown in FIG. 24, it is assumed that the
また、図２５に示すように、自車両９が片側一車線の道路を走行している場合を想定する。この場合は、自車両９が走行する走行車線Ｌ６の左右双方に隣接車線が存在しない。このため、左右のディスプレイ３１，３２の双方において、安全指標６２が表示されずにサイドミラー画像６１のみが表示される。
Further, as shown in FIG. 25, it is assumed that the
また、図２６に示すように、自車両９が高速道路などの合流ポイントの左側の合流車線Ｌ７を走行している場合を想定する。この場合は、自車両９が走行する合流車線Ｌ７の右側には隣接車線として本線車線Ｌ８が存在する。このため、右ディスプレイ３２においては、安全指標６２を含むサポート画像６が表示される。一方で、左ディスプレイ３１においては、安全指標６２が表示されず、左サイドミラー画像６１のみが表示される。
Further, as shown in FIG. 26, it is assumed that the
図２７は、第５の実施の形態のサポート画像生成処理の流れを示す図である。このサポート画像生成処理も、表示制御部２０ｃの制御により、右サポート画像６及び左サポート画像６のそれぞれに関して個別に実行される。以下では、右サポート画像６を生成するサポート画像生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６を生成するサポート画像生成処理も同様である。
FIG. 27 is a diagram showing a flow of the support image generation processing according to the fifth embodiment. This support image generation process is also executed individually for each of the
まず、画像取得部２１が、右サイドカメラ５Ｒから撮影画像を取得する（ステップＳ４１）。次に、画像生成部２２が、右サイドカメラ５Ｒの撮影画像を用いて右サイドミラー画像６１を生成する（ステップＳ４２）。
First, the
次に、車線判断部２０ｅは、自車両９が走行する走行車線の右側の隣接車線の存在を判断する（ステップＳ４３）。情報取得部２６がナビゲーション装置９３から取得する道路情報とＧＰＳ装置９４から取得する自車両９の位置とに基づいて、隣接車線が存在するか否かを判断する。なお、車線判断部２０ｅは、フロントカメラ５Ｆまたはリアカメラ５Ｒの撮影画像に対する白線の認識結果に基づいて隣接車線の存在を判断するなど、他の手法で隣接車線の存在を判断してもよい。
Next, the
右側の隣接車線が存在する場合は（ステップＳ４４にてＹｅｓ）、情報取得部２６が右側の後側方車両８２の車両情報を取得し（ステップＳ４５）、その車両情報に基づいて、意志判定部２０ａが右側の後側方車両８２のドライバの容認意志の有無を判定する（ステップＳ４６）。次に、安全指標生成部２０ｂは、安全指標生成処理を行って、意志判定部２０ａの判定結果に応じた安全指標６２を生成する（ステップＳ４７）。そして、指標重畳部２３が、安全指標生成部２０ｂが生成した安全指標６２を画像生成部２２が生成した右サイドミラー画像６１に重畳して、右サポート画像６を生成する（ステップＳ４８）。
When the adjacent lane on the right side exists (Yes in step S44), the
次に、画像出力部２４が、生成された右サポート画像６を右ディスプレイ３２に出力する（ステップＳ４９）。これにより、右側の後側方車両８２に関する安全指標６２を含む右サポート画像６が右ディスプレイ３２に表示される。
Next, the
一方、右側の隣接車線が存在しない場合は（ステップＳ４４にてＮｏ）、画像出力部２４が、画像生成部２２が生成した右サイドミラー画像６１をそのまま右ディスプレイ３２に出力する（ステップＳ５０）。これにより、安全指標６２が表示されずに右サイドミラー画像６１が右ディスプレイ３２に表示される。
On the other hand, when there is no adjacent right lane (No in step S44), the
前述のように、このサポート画像生成処理は、左サポート画像６に関しても並行して実行される。左サポート画像６を生成するサポート画像生成処理では、ステップＳ４３において、車線判断部２０ｅは、自車両９が走行する走行車線の左側の隣接車線の存在を判断する。したがって、左側及び右側のうち隣接車線が存在する側の後側方車両８２に関する安全指標６２のみがディスプレイ３１，３２に表示される。これとともに、隣接車線が存在しない側の後側方車両８２に関する安全指標６２はディスプレイ３１，３２に表示されない。
As described above, this support image generation process is also executed on the
以上のように、本実施の形態の画像処理装置２においては、車線判断部２０ｅは、自車両９が走行する走行車線に隣接する隣接車線の存在を判断する。そして、画像出力部２４は、隣接車線が存在しない場合は、安全指標６２をディスプレイ３１，３２に表示させない。このように隣接車線が存在しない場合は安全指標６２がディスプレイ３１，３２に表示されないため、自車両９のドライバに不要な情報を与えることを防止できる。
As described above, in the
また、車線判断部２０ｅは、自車両９が走行する走行車線の左側及び右側それぞれの隣接車線の存在を判断する。そして、画像出力部２４は、左側及び右側のうち隣接車線が存在する側の後側方車両８２に関する安全指標６２をディスプレイ３１，３２に表示させ、隣接車線が存在しない側の後側方車両８２に関する安全指標６２をディスプレイ３１，３２に表示させない。このため、自車両のドライバに不要な情報を与えることをさらに防止できる。
In addition, the
＜６．第６の実施の形態＞
次に、第６の実施の形態について説明する。第６の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、意志判定部２０ａが容認意志の有無を判定できない場合（容認意志が不明の場合）は、安全指標６２の色は一律に「黄色」とされていた。これに対して、第６の実施の形態では、意志判定部２０ａが容認意志の有無を判定できない場合は、他のパラメータを考慮して安全指標６２の色が決定される。
<6. Sixth Embodiment>
Next, a sixth embodiment will be described. Since the configuration and processing of the
図２８は、第６の実施の形態の画像表示システム１０の構成を示すブロック図である。第６の実施の形態の画像表示システム１０は、プログラムに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能として、パラメータ導出部２０ｆを備えている。第６の実施の形態の画像表示システム１０のその他の構成は、第１の実施の形態と同様である。
FIG. 28 is a block diagram showing the configuration of the
パラメータ導出部２０ｆは、安全指標６２の色の決定に用いるパラメータを導出する。本実施の形態においてパラメータ導出部２０ｆは、自車両９と後側方車両８２との間の後方車間距離Ｄ２（図４参照。）を導出する。
The
本実施の形態の安全指標生成部２０ｂは、安全指標生成処理（図７のステップＳ１５）において、この後方車間距離Ｄ２を考慮して安全指標６２を生成する。図２９は、第６の実施の形態の安全指標生成処理の詳細な流れを示す図である。以下では、右サポート画像６のための安全指標６２を生成する安全指標生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６のための安全指標６２を生成する安全指標生成処理も同様である。
In the safety index generation process (step S15 of FIG. 7), the safety
第１の実施の形態と同様に、意志判定部２０ａが容認意志があると判定した場合は（ステップＳ１０１にてＹｅｓ）、安全指標生成部２０ｂは「青色」の安全指標６２を生成する（ステップＳ１０３）。一方、意志判定部２０ａが容認意志がないと判定した場合は（ステップＳ１０２にてＹｅｓ）、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する（ステップＳ１０４）。
Similar to the first embodiment, when the
また、意志判定部２０ａが容認意志の有無が判定できない場合は（ステップＳ１０１及びＳ１０２の双方にてＮｏ）、パラメータ導出部２０ｆが後方車間距離Ｄ２を導出する（ステップＳ１１５）。パラメータ導出部２０ｆは、情報取得部２６が取得した右側の後側方車両８２の車両情報に基づいて、後方車間距離Ｄ２を導出する。パラメータ導出部２０ｆは、例えば、後側方車両８２の縦距離に基づいて後方車間距離Ｄ２を導出できる。
If the
次に、安全指標生成部２０ｂは、この後方車間距離Ｄ２に基づいて安全指標６２を生成する（ステップＳ１１６）。具体的には、安全指標生成部２０ｂは、後方車間距離Ｄ２が閾値となる所定距離より大きい場合は「青色」の安全指標６２を生成する。一方、後方車間距離Ｄ２が閾値となる所定距離より小さい場合は「黄色」の安全指標６２を生成する。
Next, the safety
後方車間距離Ｄ２が所定距離より大きい場合とは、自車両９に対して十分に離れた状態で後側方車両８２が走行している場合に相当する。このため、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。後方車間距離Ｄ２と比較する閾値となる所定距離は、例えば、後側方車両８２が停止可能な距離（安全車間距離）とすればよい。
The case where the rear inter-vehicle distance D2 is larger than the predetermined distance corresponds to the case where the
以上のように、本実施の形態の画像処理装置２においては、パラメータ導出部２０ｆが後方車間距離Ｄ２を導出し、安全指標生成部２０ｂは、意志判定部２０ａが容認意志の有無を判定できない場合は、後方車間距離Ｄ２に基づいて安全指標６２を生成する。このため、意志判定部２０ａが容認意志の有無を判定できない場合でも、「黄色」の安全指標６２が表示されることが少なくなるため、自車両９のドライバは安心して車線変更することができる。
As described above, in the
＜７．第７の実施の形態＞
次に、第７の実施の形態について説明する。第７の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、意志判定部２０ａが容認意志があると判定した場合は、安全指標６２の色は一律に「青色」とされていた。これに対して、第７の実施の形態では、意志判定部２０ａが容認意志があると判定した場合であっても、他のパラメータをさらに考慮して安全指標６２の色が決定される。
<7. Seventh embodiment>
Next, a seventh embodiment will be described. Since the configuration and processing of the
第７の実施の形態の画像表示システム１０の構成は、図２８に示すパラメータ導出部２０ｆを備える第６の実施の形態の構成と同様である。本実施の形態においてパラメータ導出部２０ｆは、前側方車両８１に対する後側方車両８２の相対速度（以下、「前後相対速度」という。）Ｖｆｒを導出する。この前後相対速度Ｖｆｒは、前側方車両８１と後側方車両８２との間の前後車間距離Ｄ３（図４参照。）の変化を表す。
The configuration of the
本実施の形態の安全指標生成部２０ｂは、安全指標生成処理（図７のステップＳ１５）において、この前後相対速度Ｖｆｒに基づき、前後車間距離Ｄ３の変化を考慮して安全指標６２を生成する。図３０は、第７の実施の形態の安全指標生成処理の詳細な流れを示す図である。以下では、右サポート画像６のための安全指標６２を生成する安全指標生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６のための安全指標６２を生成する安全指標生成処理も同様である。
In the safety index generation process (step S15 of FIG. 7), the safety
第１の実施の形態と同様に、意志判定部２０ａが容認意志がないと判定した場合は（ステップＳ１０２にてＹｅｓ）、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する（ステップＳ１０４）。また、意志判定部２０ａが容認意志の有無を判定できない場合は（ステップＳ１０１及びＳ１０２の双方にてＮｏ）、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する（ステップＳ１０５）。
Similar to the first embodiment, when the
また、意志判定部２０ａが容認意志があると判定した場合は（ステップＳ１０１にてＹｅｓ）、パラメータ導出部２０ｆが前後相対速度Ｖｆｒを導出する（ステップＳ１１３）。パラメータ導出部２０ｆは、情報取得部２６が取得した右側の前側方車両８１の車両情報、及び、右側の後側方車両８２の車両情報に基づいて、前後相対速度Ｖｆｒを導出する。パラメータ導出部２０ｆは、例えば、自車両９に対する前側方車両８１及び後側方車両８２の双方の相対速度に基づいて前後相対速度Ｖｆｒを導出できる。
When the
次に、安全指標生成部２０ｂは、この前後相対速度Ｖｆｒに基づいて、前後車間距離Ｄ３の変化を考慮した安全指標６２を生成する（ステップＳ１１４）。
Next, the safety
具体的には、前後相対速度Ｖｆｒが正の場合は（Ｖｆｒ＞０）、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する。前後相対速度Ｖｆｒが正の場合は、前側方車両８１が後側方車両８２よりも減速しており、前後車間距離Ｄ３が縮小する傾向にある。すなわち、自車両９の移動対象となる空間が縮小する傾向にある。このため、車線変更を安全に行うことが難しいため、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する。
Specifically, when the front-rear relative speed Vfr is positive (Vfr>0), the safety
また、前後相対速度Ｖｆｒが負の場合は（Ｖｆｒ＜０）、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。前後相対速度Ｖｆｒが負の場合は、前後車間距離Ｄ３が拡大する傾向にある。すなわち、自車両９の移動対象となる空間が拡大する傾向にある。このため、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。
When the front-rear relative speed Vfr is negative (Vfr<0), the safety
また、前後相対速度Ｖｆｒがほぼ無い場合は（Ｖｆｒ≒０）、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。前後相対速度Ｖｆｒがほぼ無い場合は、前側方車両８１と後側方車両８２とが同等に減速しており、前後車間距離Ｄ３が維持される状態にある。一方で、自車両９と前側方車両８１との間の前方車間距離Ｄ１（図４参照。）は縮小する傾向にあることから、車線変更を行うために注意を要する。このため、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。
Further, when the front-rear relative speed Vfr is almost absent (Vfr≈0), the safety
以上のように、本実施の形態の画像処理装置２においては、パラメータ導出部２０ｆが前後相対速度Ｖｆｒを導出し、安全指標生成部２０ｂは、意志判定部２０ａが容認意志があると判定した場合は、前後相対速度Ｖｆｒに基づいて安全指標６２を生成する。このため、意志判定部２０ａが容認意志があると判定した場合でも、前側方車両８１と後側方車両８２との間の前後車間距離Ｄ３を考慮した安全指標６２が表示されるため、安全指標６２の信頼性をさらに高くすることができる。
As described above, in the
なお、前後相対速度Ｖｆｒが正の場合（Ｖｆｒ＞０）、または、ほぼ無い場合（Ｖｆｒ≒０）であっても、自車両９と前側方車両８１との間の前方車間距離Ｄ１が十分に長い場合は、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂが「青色」の安全指標６２を生成してもよい。
Even when the front-rear relative speed Vfr is positive (Vfr>0) or almost zero (Vfr≈0), the front inter-vehicle distance D1 between the
＜８．第８の実施の形態＞
次に、第８の実施の形態について説明する。第８の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、意志判定部２０ａの判定結果のみに応じて安全指標６２の色が決定されていた。これに対して、第８の実施の形態では、意志判定部２０ａの判定結果とともに、各種のパラメータを考慮して安全指標６２の色が決定される。
<8. Eighth embodiment>
Next, an eighth embodiment will be described. Since the configuration and processing of the
第８の実施の形態の画像表示システム１０の構成は、図２８に示すパラメータ導出部２０ｆを備える第６の実施の形態の構成と同様である。本実施の形態においてパラメータ導出部２０ｆは、自車両９と前側方車両８１との間の前方車間距離Ｄ１、自車両９と後側方車両８２との間の後方車間距離Ｄ２、及び、自車両９に対する前側方車両８１の相対速度（以下、「前車相対速度」という。）Ｖｏｆを導出する。さらに、パラメータ導出部２０ｆは、自車両９が停止可能な距離（以下、「自車安全車間距離」という。）Ｄｏｓ、及び、後側方車両８２が停止可能な距離（以下、「後車安全車間距離」という。）Ｄｒｓを導出する。
The configuration of the
本実施の形態の安全指標生成部２０ｂは、安全指標生成処理（図７のステップＳ１５）において、意志判定部２０ａの判定結果とともに、これらのパラメータに基づいて安全指標６２を生成する。図３１は、第８の実施の形態の安全指標生成処理の詳細な流れを示す図である。以下では、右サポート画像６のための安全指標６２を生成する安全指標生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６のための安全指標６２を生成する安全指標生成処理も同様である。
In the safety index generation process (step S15 of FIG. 7), the safety
まず、パラメータ導出部２０ｆが、安全指標生成処理において考慮するパラメータを導出する（ステップＳ１２０）。パラメータ導出部２０ｆは、前方車間距離Ｄ１、後方車間距離Ｄ２、前車相対速度Ｖｏｆ、自車安全車間距離Ｄｏｓ、及び、後車安全車間距離Ｄｒｓのパラメータを導出する。
First, the
パラメータ導出部２０ｆは、情報取得部２６が取得した右側の前側方車両８１の車両情報、及び、右側の後側方車両８２の車両情報、及び、自車両９の絶対速度に基づいて、これらのパラメータを導出する。パラメータ導出部２０ｆは、前側方車両８１の車両情報に基づいて、前方車間距離Ｄ１及び前車相対速度Ｖｏｆを導出できる。また、パラメータ導出部２０ｆは、後側方車両８２の車両情報に基づいて、後方車間距離Ｄ２及び後車安全車間距離Ｄｒｓを導出できる。さらに、パラメータ導出部２０ｆは、自車両９の絶対速度に基づいて、自車安全車間距離Ｄｏｓを導出できる。
The
次に、安全指標生成部２０ｂは、意志判定部２０ａの判定結果に応じた生成処理を行って、安全指標６２を生成する。意志判定部２０ａが容認意志があると判定した場合は（ステップＳ１２１にてＹｅｓ）、安全指標生成部２０ｂは第１生成処理を行う（ステップＳ１２３）。意志判定部２０ａが容認意志がないと判定した場合は（ステップＳ１２２にてＹｅｓ）、安全指標生成部２０ｂは第２生成処理を行う（ステップＳ１２４）。また、意志判定部２０ａが容認意志の有無を判定できない場合は（ステップＳ１２１及びＳ１２２の双方にてＮｏ）、安全指標生成部２０ｂは第３生成処理を行う（ステップＳ１２５）。以下、第１ないし第３生成処理のそれぞれについて詳細に説明する。
Next, the safety
（８−１．第１生成処理）
まず、意志判定部２０ａが容認意志があると判定した場合の第１生成処理（ステップＳ１２３）について説明する。この場合は、車線変更に際して後側方車両８２の状態は問題ないため、前側方車両８１の状態のみが考慮される。安全指標生成部２０ｂは、まず、前車相対速度Ｖｏｆを考慮する。
(8-1. First generation processing)
First, the first generation process (step S123) in the case where the
（８−１−１．前車相対速度が正）
前車相対速度Ｖｏｆが正の場合は（Ｖｏｆ＞０）、前側方車両８１が自車両９から離れる傾向がある。このため、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。
(8-1-1. Front vehicle relative speed is positive)
When the front vehicle relative speed Vof is positive (Vof>0), the
（８−１−２．前車相対速度が負）
前車相対速度Ｖｏｆが負の場合は（Ｖｏｆ＜０）、前側方車両８１に対して自車両９が近づく傾向がある。
(8-1-2. Relative speed in front vehicle is negative)
If the front vehicle relative speed Vof is negative (Vof<0), the
この場合において、前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより大きい場合は（Ｄ１＞Ｄｏｓ）、前側方車両８１に対して十分に離れた状態で自車両９が走行している。このため、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。
In this case, when the front inter-vehicle distance D1 is larger than the own vehicle safety inter-vehicle distance Dos (D1>Dos), the
一方、前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより小さい場合は（Ｄ１＜Ｄｏｓ）、前側方車両８１に比較的近い位置で自車両９が走行している。このため、車線変更を行うために前側方車両８１に関して注意を要することから、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。
On the other hand, when the front inter-vehicle distance D1 is smaller than the own vehicle safety inter-vehicle distance Dos (D1<Dos), the
（８−２．第２生成処理）
次に、意志判定部２０ａが容認意志がないと判定した場合の第２生成処理（ステップＳ１２４）について説明する。この場合は、後側方車両８２が加速しているため、後側方車両８２の状態が十分に考慮されるとともに、前側方車両８１の状態も考慮される。安全指標生成部２０ｂは、まず、後方車間距離Ｄ２を考慮する。この際、安全指標生成部２０ｂは、後車安全車間距離Ｄｒｓにマージンαを加算した結果となる安全余裕距離（Ｄｒｓ＋α）を比較に用いる。
(8-2. Second generation process)
Next, the second generation process (step S124) when the
（８−２−１．後方車間距離が長い）
後方車間距離Ｄ２が安全余裕距離より長い場合は（Ｄ２＞Ｄｒｓ＋α）、自車両９に対して十分に離れた状態で後側方車両８２が走行している。したがって、車線変更に際して後側方車両８２の状態は問題ない。
(8-2-1. Long distance between vehicles behind)
When the rear inter-vehicle distance D2 is longer than the safety margin distance (D2>Drs+α), the
このため、安全指標生成部２０ｂは、上述した第１生成処理と同様に、前側方車両８１の状態を考慮して安全指標６２を生成する。すなわち、前車相対速度Ｖｏｆが正の場合は（Ｖｏｆ＞０）、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。
Therefore, the safety
また、前車相対速度Ｖｏｆが負の場合（Ｖｏｆ＜０）において、前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより大きい場合は（Ｄ１＞Ｄｏｓ）、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。さらに、前車相対速度Ｖｏｆが負の場合（Ｖｏｆ＜０）において、前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより小さい場合は（Ｄ１＜Ｄｏｓ）、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。
When the front vehicle relative speed Vof is negative (Vof<0) and the front inter-vehicle distance D1 is greater than the own-vehicle safety inter-vehicle distance Dos (D1>Dos), the safety
（８−２−２．後方車間距離が短い）
後方車間距離Ｄ２が安全余裕距離より短い場合は（Ｄ２＜Ｄｒｓ＋α）、自車両９に比較的近い位置で後側方車両８２が加速した状態で走行している。このため、車線変更を安全に行うことが難しいため、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する。
(8-2-2. Short distance between vehicles behind)
When the rear inter-vehicle distance D2 is shorter than the safety margin distance (D2<Drs+α), the
（８−３．第３生成処理）
次に、意志判定部２０ａが容認意志の有無を判定できない場合の第３生成処理（ステップＳ１２５）について説明する。この場合は、前側方車両８１及び後側方車両８２の双方の状態が考慮される。安全指標生成部２０ｂは、まず、前車相対速度Ｖｏｆを考慮する。
(8-3. Third generation processing)
Next, the third generation processing (step S125) in the case where the
（８−３−１．前車相対速度が正）
前車相対速度Ｖｏｆが正の場合は（Ｖｏｆ＞０）、前側方車両８１が自車両９から離れる傾向がある。したがって、車線変更に際して前側方車両８１の状態は問題ない。安全指標生成部２０ｂは、次に、後方車間距離Ｄ２を考慮する。
(8-3-1. Front vehicle relative speed is positive)
When the front vehicle relative speed Vof is positive (Vof>0), the
（８−３−１−ａ．後方車間距離が長い）
後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより長い場合は（Ｄ２＞Ｄｒｓ）、自車両９に対して十分に離れた状態で後側方車両８２が走行している。このため、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。
(8-3-1-a. Long distance between vehicles behind)
When the rear inter-vehicle distance D2 is longer than the rear-vehicle safety inter-vehicle distance Drs (D2>Drs), the
（８−３−１−ｂ．後方車間距離が短い）
後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより短い場合は（Ｄ２＜Ｄｒｓ）、自車両９に比較的近い位置で後側方車両８２が走行している。このため、車線変更を行うために後側方車両８２に関して注意を要することから、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。
(8-3-1-b. Short distance between vehicles behind)
When the rear inter-vehicle distance D2 is shorter than the rear-vehicle safety inter-vehicle distance Drs (D2<Drs), the
（８−３−２．前車相対速度が負）
前車相対速度Ｖｏｆが負の場合は（Ｖｏｆ＜０）、前側方車両８１に対して自車両９が近づく傾向がある。安全指標生成部２０ｂは、次に、前方車間距離Ｄ１を考慮する。
(8-3-2. Relative speed in front vehicle is negative)
If the front vehicle relative speed Vof is negative (Vof<0), the
（８−３−２−ａ．前方車間距離が長い）
前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより長い場合は（Ｄ１＞Ｄｏｓ）、前側方車両８１に対して十分に離れた状態で自車両９が走行している。
(8-3-2-a. Long distance between vehicles ahead)
When the front inter-vehicle distance D1 is longer than the own-vehicle safety inter-vehicle distance Dos (D1>Dos), the
この場合に、後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより長い場合は（Ｄ２＞Ｄｒｓ）、自車両９に対して十分に離れた状態で後側方車両８２が走行している。すなわち、前側方車両８１及び後側方車両８２の双方が自車両９に対して十分に離れた状態であることから、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。
In this case, when the rear inter-vehicle distance D2 is longer than the rear-vehicle safety inter-vehicle distance Drs (D2>Drs), the rear-
一方、後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより短い場合は（Ｄ２＜Ｄｒｓ）、自車両９に比較的近い位置で後側方車両８２が走行している。この場合は、車線変更を行うために後側方車両８２に関して注意を要することから、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。
On the other hand, when the rear inter-vehicle distance D2 is shorter than the rear-vehicle safety inter-vehicle distance Drs (D2<Drs), the
（８−３−２−ｂ．前方車間距離が短い）
前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより短い場合は（Ｄ１＜Ｄｏｓ）、前側方車両８１に比較的近い位置で自車両９が走行している。
(8-3-2b. Short distance between vehicles ahead)
When the front inter-vehicle distance D1 is shorter than the own-vehicle safety inter-vehicle distance Dos (D1<Dos), the
この場合に、後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより長い場合は（Ｄ２＞Ｄｒｓ）、自車両９に対して十分に離れた状態で後側方車両８２が走行している。このため、車線変更を行うために前側方車両８１に関して注意を要することから、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。
In this case, when the rear inter-vehicle distance D2 is longer than the rear-vehicle safety inter-vehicle distance Drs (D2>Drs), the rear-
一方、後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより短い場合は（Ｄ２＜Ｄｒｓ）、自車両９に比較的近い位置で後側方車両８２が走行している。すなわち、前側方車両８１及び後側方車両８２の双方が自車両９に対して近い状態であることから、車線変更を安全に行うことが難しいため、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する。
On the other hand, when the rear inter-vehicle distance D2 is shorter than the rear-vehicle safety inter-vehicle distance Drs (D2<Drs), the
以上のように、本実施の形態の画像処理装置２においては、パラメータ導出部２０ｆが前方車間距離Ｄ１、後方車間距離Ｄ２、及び、前車相対速度Ｖｏｆを導出する。そして、安全指標生成部２０ｂは、意志判定部２０ａの判定結果とともに、前方車間距離Ｄ１、後方車間距離Ｄ２、及び、前車相対速度Ｖｏｆに基づいて安全指標６２を生成する。このため、容認意志の有無とともに、前側方車両８１及び後側方車両８２の双方の状態を総合的に考慮した安全指標６２が表示されるため、安全指標６２の信頼性をさらに高くすることができる。
As described above, in the
＜９．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
<9. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments and various modifications can be made. Hereinafter, such a modified example will be described. All the forms including the above-described embodiment and the forms described below can be combined appropriately.
上記実施の形態では、画像処理装置２は、レーダ９１，９２から前側方車両８１及び後側方車両８２の車両情報を取得していたが、他の手法で前側方車両８１及び後側方車両８２の車両情報を取得してもよい。例えば、画像処理装置２は、フロントカメラ５Ｆ及びリアカメラ５Ｒの撮影画像から前側方車両８１及び後側方車両８２の車両像を抽出し、撮影画像における当該車両像の位置、及び、その位置の時間的変化に基づいて車両情報を取得してもよい。
In the above-described embodiment, the
また、上記実施の形態においては、意志判定部２０ａは、後側方車両８２の加速度に基づいて後側方車両８２のドライバの容認意志の有無を判定していたが、他の手法で容認意志の有無を判定してもよい。例えば、後側方車両８２に容認意志を明示する操作部を設けておき、当該操作部を後側方車両８２のドライバが操作した場合に後側方車両８２が送出する信号に基づいて、意志判定部２０ａが容認意志の有無を判定してもよい。
Further, in the above-described embodiment, the
また、上記実施の形態において後側方車両８２の運転主体は人間のドライバであるとして説明したが、自動運転機能を有する電子装置であってもよい。この場合において、意志判定部２０ａは、電子装置が送出する信号に基づいて容認意志の有無を判定すればよい。
Further, in the above-described embodiment, the driving subject of the
また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。 Further, the functions described as one block in the above-described embodiment do not necessarily have to be realized by a single physical element, but may be realized by distributed physical elements. Further, the functions described as a plurality of blocks in the above embodiments may be realized by a single physical element. Further, even if the device inside the vehicle and the device outside the vehicle share the processing related to any one function and information is exchanged between these devices by communication, even if the one function is realized as a whole. Good.
また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。 Further, in the above-described embodiment, all or some of the functions described as being realized by software by executing the program may be realized by an electrical hardware circuit, or by a hardware circuit. All or some of the functions may be realized by software. Further, the function described as one block in the above embodiment may be realized by the cooperation of software and hardware.
２０ａ 意志判定部
２０ｂ 安全指標生成部
２４ 画像出力部
２６ 情報取得部
３１ 左ディスプレイ
３２ 右ディスプレイ
６１ サイドミラー画像
６２ 安全指標
８１ 前側方車両
８２ 後側方車両
９ 自車両
20a
Claims (9)
自車両が走行する走行車線に隣接する隣接車線を前記自車両の後方において走行する後側方車両に関する第１車両情報を取得する第１取得手段と、
前記第１車両情報に基づいて、前記後側方車両の運転主体における該後側方車両の前方への前記自車両の車線変更を容認する容認意志の有無を判定する判定手段と、
前記自車両のサイドミラーに映る領域に対応する前記自車両の周辺領域を示す周辺画像であるサイドミラー画像を生成する画像生成手段と、
前記判定手段の判定結果に応じた安全指標を生成する指標生成手段と、
前記サイドミラー画像と前記安全指標とを表示装置に出力して、前記サイドミラー画像と前記安全指標とを併せて前記表示装置に表示させる出力手段と、
を備え、
前記安全指標は前記サイドミラー画像の周縁に沿って配置される矩形の枠状の画像であり、前記容認意志がある場合、前記容認意志がない場合、および前記容認意志の有無が判定できない場合とで異なる色で表示される
ことを特徴とする画像処理装置。 An image processing device for processing an image,
First acquisition means for acquiring first vehicle information regarding a rear side vehicle traveling behind the vehicle in an adjacent lane adjacent to the traveling lane in which the vehicle travels;
Determination means for determining, based on the first vehicle information, whether or not the driver of the rear side vehicle is willing to accept the lane change of the own vehicle ahead of the rear side vehicle;
Image generation means for generating a side mirror image that is a peripheral image showing a peripheral area of the own vehicle corresponding to an area reflected in the side mirror of the own vehicle,
Index generating means for generating a safety index according to the determination result of the determination means,
An output unit that outputs the side-mirror image and the safety index to a display device and causes the display device to display the side-mirror image and the safety index together.
Equipped with
The safety index is a rectangular frame-shaped image arranged along the periphery of the side mirror image , and if there is the willingness, if there is no willingness, and if the presence or absence of the willingness cannot be determined. An image processing device, wherein the image processing device is displayed in different colors .
前記自車両の方向指示器の操作状態を取得する状態取得手段、
をさらに備え、
前記指標生成手段は、前記方向指示器が操作されている場合は、前記方向指示器が操作されていない場合と比較して前記安全指標を強調して生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
Status acquisition means for acquiring the operation status of the turn indicator of the vehicle,
Further equipped with,
The image processing apparatus, wherein the index generating means emphasizes and generates the safety index when the direction indicator is operated as compared with when the direction indicator is not operated.
前記隣接車線の存在を判断する車線判断手段、
をさらに備え、
前記出力手段は、前記隣接車線が存在しない場合は、前記安全指標を前記表示装置に表示させないことを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 and 2,
Lane determining means for determining the presence of the adjacent lane,
Further equipped with,
The image processing apparatus, wherein the output unit does not display the safety index on the display device when the adjacent lane does not exist.
前記車線判断手段は、前記走行車線の左側及び右側それぞれの前記隣接車線の存在を判断し、
前記出力手段は、
前記左側及び右側のうち前記隣接車線が存在する側の前記後側方車両に関する前記安全指標を前記表示装置に表示させ、
前記隣接車線が存在しない側の前記後側方車両に関する前記安全指標を前記表示装置に表示させないことを特徴とする画像処理装置。 The image processing apparatus according to claim 3,
The lane determining means determines the presence of the adjacent lane on each of the left side and the right side of the traveling lane,
The output means is
Displaying the safety index on the rear side vehicle on the side where the adjacent lane exists among the left side and the right side on the display device,
An image processing apparatus, wherein the display device does not display the safety index regarding the rear side vehicle on the side where the adjacent lane does not exist.
前記第１車両情報に基づいて、前記自車両と前記後側方車両との間の車間距離を導出する導出手段、
をさらに備え、
前記指標生成手段は、前記判定手段が前記容認意志の有無を判定できない場合は、前記車間距離に基づいて前記安全指標を生成することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 4,
Derivation means for deriving an inter-vehicle distance between the own vehicle and the rear side vehicle based on the first vehicle information,
Further equipped with,
The image processing apparatus, wherein the index generation unit generates the safety index based on the inter-vehicle distance when the determination unit cannot determine the presence or absence of the will to accept.
前記隣接車線を前記自車両の前方において走行する前側方車両に関する第２車両情報を取得する第２取得手段と、
前記第１及び前記第２車両情報に基づいて、前記前側方車両に対する前記後側方車両の相対速度を導出する導出手段と、
をさらに備え、
前記指標生成手段は、前記判定手段が前記容認意志があると判定した場合は、前記相対速度に基づいて前記安全指標を生成することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 4,
Second acquisition means for acquiring second vehicle information regarding a front side vehicle traveling in the adjacent lane in front of the own vehicle;
Derivation means for deriving a relative speed of the rear side vehicle with respect to the front side vehicle, based on the first and second vehicle information,
Further equipped with,
The image processing apparatus, wherein the index generation unit generates the safety index based on the relative speed when the determination unit determines that the willingness to accept is present.
前記隣接車線を前記自車両の前方において走行する前側方車両に関する第２車両情報を取得する第２取得手段と、
前記第１及び前記第２車両情報に基づいて、前記自車両と前記前側方車両との間の第１車間距離、前記自車両と前記後側方車両との間の第２車間距離、及び、前記自車両に対する前記前側方車両の相対速度、を導出する導出手段と、
をさらに備え、
前記指標生成手段は、前記判定手段の判定結果、前記第１車間距離、前記第２車間距離、及び、前記相対速度に基づいて前記安全指標を生成することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 4,
Second acquisition means for acquiring second vehicle information regarding a front side vehicle traveling in the adjacent lane in front of the own vehicle;
A first inter-vehicle distance between the host vehicle and the front-side vehicle, a second inter-vehicle distance between the host vehicle and the rear-side vehicle, based on the first and second vehicle information; Derivation means for deriving the relative speed of the front side vehicle with respect to the own vehicle,
Further equipped with,
The image processing apparatus, wherein the index generation unit generates the safety index based on the determination result of the determination unit, the first inter-vehicle distance, the second inter-vehicle distance, and the relative speed.
請求項１ないし７のいずれかに記載の画像処理装置と、
前記サイドミラー画像と前記安全指標とを併せて表示する表示装置と、
を備えることを特徴とする画像表示システム。 An image display system,
An image processing apparatus according to any one of claims 1 to 7,
A display device that displays the side mirror image and the safety index together.
An image display system comprising:
（ａ）自車両が走行する走行車線に隣接する隣接車線を前記自車両の後方において走行する後側方車両に関する第１車両情報を取得する工程と、
（ｂ）前記第１車両情報に基づいて、前記後側方車両の運転主体における該後側方車両の前方への前記自車両の車線変更を容認する容認意志の有無を判定する工程と、
（ｃ）前記自車両のサイドミラーに映る領域に対応する前記自車両の周辺領域を示す周辺画像であるサイドミラー画像を生成する工程と、
（ｄ）前記工程（ｂ）の判定結果に応じた安全指標を生成する工程と、
（ｅ）前記サイドミラー画像と前記安全指標とを表示装置に出力して、前記サイドミラー画像と前記安全指標とを併せて前記表示装置に表示させる工程と、
を備え、
前記安全指標は前記サイドミラー画像の周縁に沿って配置される矩形の枠状の画像であり、前記容認意志がある場合、前記容認意志がない場合、および前記容認意志の有無が判定できない場合とで異なる色で表示されることを特徴とする画像処理方法。 An image processing method for processing an image,
(A) a step of acquiring first vehicle information regarding a rear side vehicle traveling in the adjacent lane adjacent to the traveling lane in which the host vehicle is traveling, behind the host vehicle;
(B) determining, based on the first vehicle information, whether or not the driver of the rear side vehicle is willing to accept the lane change of the own vehicle in front of the rear side vehicle;
(C) generating a side mirror image that is a peripheral image showing a peripheral area of the own vehicle corresponding to an area reflected in the side mirror of the own vehicle;
(D) a step of generating a safety index according to the determination result of the step (b),
(E) a step of outputting the side mirror image and the safety index to a display device and displaying the side mirror image and the safety index together on the display device;
Equipped with
The safety index is a rectangular frame-shaped image arranged along the periphery of the side mirror image , and if there is the willingness, if there is no willingness, and if the presence or absence of the willingness cannot be determined. An image processing method characterized by being displayed in different colors .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015129187A JP6736268B2 (en) | 2015-06-26 | 2015-06-26 | Image processing apparatus, image display system, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015129187A JP6736268B2 (en) | 2015-06-26 | 2015-06-26 | Image processing apparatus, image display system, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017016200A JP2017016200A (en) | 2017-01-19 |
| JP6736268B2 true JP6736268B2 (en) | 2020-08-05 |
Family
ID=57830917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015129187A Active JP6736268B2 (en) | 2015-06-26 | 2015-06-26 | Image processing apparatus, image display system, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6736268B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018151151A1 (en) * | 2017-02-20 | 2018-08-23 | 京セラ株式会社 | Image processing device, image-capture device, and mobile body |
| JP7080616B2 (en) * | 2017-10-10 | 2022-06-06 | マツダ株式会社 | Display device for vehicles |
| JP6733647B2 (en) | 2017-12-05 | 2020-08-05 | トヨタ自動車株式会社 | Image display |
| JP7159109B2 (en) * | 2019-05-16 | 2022-10-24 | 本田技研工業株式会社 | VEHICLE CONTROL DEVICE, VEHICLE CONTROL METHOD, AND PROGRAM |
| JPWO2020241485A1 (en) | 2019-05-31 | 2020-12-03 | ||
| JP7347227B2 (en) | 2020-01-17 | 2023-09-20 | トヨタ自動車株式会社 | Information processing device and information processing method |
| JP7488689B2 (en) | 2020-05-07 | 2024-05-22 | 株式会社Subaru | Vehicle driving support device |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4075026B2 (en) * | 1998-12-03 | 2008-04-16 | マツダ株式会社 | Vehicle obstacle warning device |
| US6559761B1 (en) * | 2001-10-05 | 2003-05-06 | Ford Global Technologies, Llc | Display system for vehicle environment awareness |
| JP4281589B2 (en) * | 2004-03-11 | 2009-06-17 | 日産自動車株式会社 | Lane change support device |
| JP4749958B2 (en) * | 2006-07-05 | 2011-08-17 | 本田技研工業株式会社 | Driving assistance device |
| JP4941760B2 (en) * | 2007-09-24 | 2012-05-30 | 株式会社デンソー | Vehicle periphery monitoring device |
| JP2010183170A (en) * | 2009-02-03 | 2010-08-19 | Denso Corp | Display apparatus for vehicle |
| KR20120056158A (en) * | 2010-11-24 | 2012-06-01 | 현대자동차주식회사 | Method for lane active change |
| JP2013080286A (en) * | 2011-09-30 | 2013-05-02 | Pioneer Electronic Corp | Moving body identification device and moving body information transmission device |
| JP2013168063A (en) * | 2012-02-16 | 2013-08-29 | Fujitsu Ten Ltd | Image processing device, image display system, and image processing method |
-
2015
- 2015-06-26 JP JP2015129187A patent/JP6736268B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017016200A (en) | 2017-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6736268B2 (en) | Image processing apparatus, image display system, and image processing method | |
| JP6254554B2 (en) | Information presentation system | |
| EP3650285B1 (en) | Parking assistance method and parking assistance device | |
| EP2990265B1 (en) | Vehicle control apparatus | |
| JP6327078B2 (en) | Driving assistance device | |
| EP2487906B1 (en) | Control device and vehicle surrounding monitoring device | |
| US9620009B2 (en) | Vehicle surroundings monitoring device | |
| WO2019038903A1 (en) | Surrounding vehicle display method and surrounding vehicle display apparatus | |
| WO2015163205A1 (en) | Vehicle display system | |
| JP2008015759A (en) | Driving support device | |
| JP7011559B2 (en) | Display devices, display control methods, and programs | |
| JP2013168063A (en) | Image processing device, image display system, and image processing method | |
| JP2019174459A (en) | Control device, display device, mobile body, control method, and program | |
| JP2004310522A (en) | Vehicular image processor | |
| WO2016013167A1 (en) | Vehicle display control device | |
| JP7155650B2 (en) | Perimeter monitoring device | |
| WO2021132306A1 (en) | Display control device, display device, display control method, and program | |
| JP6429069B2 (en) | Driving support information display system | |
| JP2022049711A (en) | Vehicular control device and method | |
| JP2016197312A (en) | Drive support display device | |
| CN115079411A (en) | Display device for vehicle | |
| JP2022041286A (en) | Display control device, display control method, and display control program | |
| US20210253025A1 (en) | Information processing device and information processing method | |
| KR102541416B1 (en) | Method and apparatus for displaying a HUD image based on realtime traffic information | |
| JP7378892B2 (en) | Stop line display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180531 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200715 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6736268 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |