JP6939737B2 - Information processing equipment and information processing methods and programs - Google Patents
Information processing equipment and information processing methods and programs Download PDFInfo
- Publication number
- JP6939737B2 JP6939737B2 JP2018147490A JP2018147490A JP6939737B2 JP 6939737 B2 JP6939737 B2 JP 6939737B2 JP 2018147490 A JP2018147490 A JP 2018147490A JP 2018147490 A JP2018147490 A JP 2018147490A JP 6939737 B2 JP6939737 B2 JP 6939737B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- unit
- display
- image
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
この技術は、情報処理装置と情報処理方法およびプログラムに関し、車両の周辺領域を容易に視認できるようにする。 This technology makes it easy to see the surrounding area of the vehicle with respect to the information processing device and the information processing method and program.
近年、撮像装置と表示装置により構成されたモニタリングシステムによって、車両のバックミラーに相当する機能を実現することが行われている。バックミラーを用いた視認方法では、運転者が頭部や眼の位置等（以下、単に「頭部位置」という）を移動させることで視認可能な範囲（以下「視認範囲」という）を移動させることが可能である。しかし、撮像装置で取り込んだ画像を単に表示装置に表示するモニタリングシステムでは、視認範囲が固定されてしまい、運転者が頭部位置を移動させも視認可能な範囲を移動させることができない。このため、特許文献１では、運転者の頭部位置の変化を検出して、周辺領域撮像画像から頭部位置の変化に応じて画像の切り出しを行い、切り出した画像を表示装置に表示することで、視認範囲を頭部位置の変化に応じて移動させることが開示されている。
In recent years, a monitoring system composed of an image pickup device and a display device has been used to realize a function equivalent to a rear-view mirror of a vehicle. In the visual recognition method using a rear-view mirror, the driver moves the visible range (hereinafter referred to as "visual range") by moving the position of the head and eyes (hereinafter, simply referred to as "head position"). It is possible. However, in a monitoring system that simply displays an image captured by an imaging device on a display device, the visible range is fixed, and even if the driver moves the head position, the visible range cannot be moved. Therefore, in
ところで、周辺領域撮像画像から頭部位置の変化に応じて画像の切り出しを行う場合、バックミラーと同等に頭部位置の変化に応じて視認範囲を変化させるためには、画像の切り出しを頭部位置の変化に応じて適切に行うことが必要となる。例えば、頭部位置の変化に対して画像の切り出し位置の移動が少ないと、所望の範囲を視認するためにバックミラーの場合と同様に頭部を移動しても、所望の範囲が表示されなくなってしまう。 By the way, when an image is cut out from a peripheral region captured image according to a change in the head position, in order to change the viewing range according to a change in the head position in the same manner as a rearview mirror, the cutout of the image is performed on the head. It is necessary to perform it appropriately according to the change in position. For example, if the movement of the cutout position of the image is small with respect to the change in the head position, the desired range will not be displayed even if the head is moved in the same manner as in the case of the rearview mirror in order to visually recognize the desired range. I will end up.
そこで、この技術では、車両の周辺領域を容易に視認できる情報処理装置と情報処理方法およびプログラムを提供することを目的とする。 Therefore, an object of this technique is to provide an information processing device, an information processing method, and a program that can easily visually recognize the peripheral area of the vehicle.
この技術の第１の側面は、
複数の周辺領域撮像部によって生成された視野領域の異なる複数の周辺領域画像に対して、切り出し処理および結合処理を実行して結合画像を生成する結合画像生成部と、
前記結合画像生成部によって生成された前記結合画像を表示部に表示するよう制御する表示制御部と、
車両の運転者による指示を判別した判別結果を受信する判別結果受信部と、
前記判別結果は、前記運転者の動作に関する判別基準値を用いて、前記運転者が行った動作によって示された前記指示の判別であって、
指示として判別する前記運転者の動作は、車両の運行態様に応じて設定される運転者の所定の動作であって、
前記結合画像生成部は、判別された前記指示に応じて、前記結合画像の切り出し位置または結合位置の少なくともいずれか一方を変更する
情報処理装置にある。
The first aspect of this technology is
A combined image generation unit that generates a combined image by executing cutout processing and combining processing on a plurality of peripheral region images having different visual field regions generated by the plurality of peripheral region imaging units.
A display control unit that controls the display of the combined image generated by the combined image generation unit on the display unit.
A discrimination result receiving unit that receives the discrimination result of discriminating the instruction by the driver of the vehicle, and
The discrimination result is the discrimination of the instruction indicated by the operation performed by the driver using the discrimination reference value regarding the operation of the driver.
The driver's action determined as an instruction is a predetermined driver's action set according to the operation mode of the vehicle.
The combined image generation unit is in an information processing device that changes at least one of a cutout position and a combined position of the combined image in response to the determined instruction.
この技術においては、車両の周辺領域を撮像し周辺領域画像を生成する複数の周辺領域撮像部と、前記複数の周辺領域撮像部によって生成された視野領域の異なる複数の周辺領域画像に対して、切り出し処理および結合処理を実行して結合画像を生成する結合画像生成部と、前記結合画像生成部によって生成された前記結合画像を表示する表示部と、前記車両の運転者による指示を判別する運転者指示判別部が設けられる。表示部は、ルームミラー位置、ダッシュボード上のセンターメーター、コンソールパネルの近傍位置のいずれかに設置される。結合画像生成部は、結合画像の結合位置の初期位置を、予め設定されている位置またはユーザが設定した位置に設定する。また、結合画像の結合位置の初期位置は、前回の運転終了時に設定されていた位置に設定してもよい。結合画像生成部は、運転者指示判別部によって判別される指示に応じて、結合画像の切り出し位置または結合位置の少なくともいずれか一方を変更する。例えば結合画像の前記結合位置にオブジェクトが存在している場合、結合位置がオブジェクトから遠ざかる方向に重ならないように結合位置を移動させる。また、結合画像の前記切り出し位置にオブジェクトが存在している場合、切り出し位置がオブジェクトと重ならないように切り出し位置を移動させる。さらに、結合画像生成部は、周辺領域画像の結合位置を基準とした所定範囲において、視野領域の異なる複数の周辺領域画像の混合比を変化させてもよく、結合画像の結合位置を表示してもよい。 In this technique, with respect to a plurality of peripheral region imaging units that image the peripheral region of the vehicle and generate peripheral region images, and a plurality of peripheral region images having different visual field regions generated by the plurality of peripheral region imaging units. An operation that discriminates between a combined image generation unit that executes a cutting process and a combining process to generate a combined image, a display unit that displays the combined image generated by the combined image generation unit, and an instruction by the driver of the vehicle. A person instruction discriminating unit is provided. The display unit is installed at any of the rearview mirror position, the center meter on the dashboard, and the position near the console panel. The combined image generation unit sets the initial position of the combined position of the combined image to a preset position or a position set by the user. Further, the initial position of the combined position of the combined images may be set to the position set at the end of the previous operation. The combined image generation unit changes at least one of the cutout position and the combined position of the combined image according to the instruction determined by the driver instruction determination unit. For example, when an object exists at the combined position of the combined image, the combined position is moved so that the combined positions do not overlap in the direction away from the object. Further, when the object exists at the cutout position of the combined image, the cutout position is moved so that the cutout position does not overlap with the object. Further, the combined image generation unit may change the mixing ratio of a plurality of peripheral region images having different visual field regions within a predetermined range based on the combined position of the peripheral region images, and displays the combined position of the combined images. May be good.
この技術の第２の側面は、
複数の周辺領域撮像部によって生成された視野領域の異なる複数の周辺領域画像に対して、切り出し処理および結合処理を実行して結合画像を結合画像生成部で生成することと、
前記結合画像生成部によって生成された前記結合画像を表示部に表示するよう表示制御部で制御することと、
前記車両の運転者による指示を判別した判別結果を判別結果受信部で受信することと、
前記判別結果は、前記運転者の動作に関する判別基準値を用いて、前記運転者が行った動作によって示された前記指示の判別であって、
指示として判別する前記運転者の動作は、車両の運行態様に応じて設定される運転者の所定の動作であって、
前記結合画像生成部は、判別された前記指示に応じて、前記結合画像の切り出し位置または結合位置の少なくともいずれか一方を変更すること
を含む情報処理方法にある。
The second aspect of this technology is
The combined image generation unit generates a combined image by executing cutout processing and combining processing on a plurality of peripheral region images having different visual field regions generated by the plurality of peripheral region imaging units.
Controlling the display control unit to display the combined image generated by the combined image generation unit on the display unit, and
The discrimination result receiving unit receives the discrimination result of discriminating the instruction by the driver of the vehicle, and
The discrimination result is the discrimination of the instruction indicated by the operation performed by the driver using the discrimination reference value regarding the operation of the driver.
The driver's action determined as an instruction is a predetermined driver's action set according to the operation mode of the vehicle.
The combined image generation unit is in an information processing method including changing at least one of a cutout position and a combined position of the combined image in response to the determined instruction.
この技術の第３の側面は、
結合画像の生成をコンピュータで実行させるプログラムであって、
複数の周辺領域撮像部によって生成された視野領域の異なる複数の周辺領域画像に対して、切り出し処理および結合処理を実行して結合画像を生成する手順と、
前記結合処理を実行して生成された前記結合画像を表示部に表示するよう制御する手順と、
前記車両の運転者による指示を判別した判別結果を受信する手順と、
前記判別結果は、前記運転者の動作に関する判別基準値を用いて、前記運転者が行った動作によって示された前記指示の判別であって、
指示として判別する前記運転者の動作は、車両の運行態様に応じて設定される運転者の所定の動作であって、
判別された前記指示に応じて、前記結合画像の切り出し位置または結合位置の少なくともいずれか一方を変更する手順とを
前記コンピュータで実行させるプログラムにある。
The third aspect of this technology is
A program that causes a computer to generate combined images.
A procedure for generating a combined image by executing cutout processing and combining processing on a plurality of peripheral region images having different visual field regions generated by the plurality of peripheral region imaging units.
A procedure for controlling the combined image generated by executing the combined process to be displayed on the display unit, and
The procedure for receiving the discrimination result of discriminating the instruction by the driver of the vehicle, and
The discrimination result is the discrimination of the instruction indicated by the operation performed by the driver using the discrimination reference value regarding the operation of the driver.
The driver's action determined as an instruction is a predetermined driver's action set according to the operation mode of the vehicle.
There is a program for causing the computer to execute a procedure of changing at least one of a cutout position and a combined position of the combined image according to the determined instruction.
この技術によれば、車両の周辺領域を撮像し周辺領域画像を生成する複数の周辺領域撮像部と、複数の周辺領域撮像部によって生成された視野領域の異なる複数の周辺領域画像に対して、切り出し処理および結合処理を実行して結合画像を生成する結合画像生成部と、結合画像生成部によって生成された結合画像を表示する表示部と、車両の運転者による指示を判別する運転者指示判別部が設けられて、結合画像生成部では、運転者指示判別部によって判別される指示に応じて、結合画像の切り出し位置または結合位置の少なくともいずれか一方が変更される。このため、車両の周辺領域を撮像して表示部に表示して周辺領域を確認できるようにした場合に、周辺領域の所望の範囲例えば後方とその周辺を、従来の光学式バックミラー（後写鏡）と同等の感覚で容易に確認ができるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。 According to this technique, for a plurality of peripheral region imaging units that image the peripheral region of a vehicle and generate peripheral region images, and for a plurality of peripheral region images having different visual field regions generated by the plurality of peripheral region imaging units. A combined image generation unit that executes cutting and combining processing to generate a combined image, a display unit that displays the combined image generated by the combined image generation unit, and a driver instruction discrimination that discriminates an instruction by the driver of the vehicle. A unit is provided, and in the combined image generation unit, at least one of the cutout position and the combined position of the combined image is changed according to the instruction determined by the driver instruction determination unit. For this reason, when the peripheral area of the vehicle is imaged and displayed on the display unit so that the peripheral area can be confirmed, a desired range of the peripheral area, for example, the rear view and the surrounding area can be captured by a conventional optical rearview mirror. You will be able to easily check it with the same feeling as a mirror). The effects described in the present specification are merely exemplary and not limited, and may have additional effects.
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．第１の実施の形態の構成
１−２．第１の実施の形態の動作
１−３．第１の実施の形態の他の構成と動作
２．第２の実施の形態
２−１．第２の実施の形態の構成
２−２．第２の実施の形態の動作
３．第３の実施の形態
３−１．第３の実施の形態の構成
３−２．第３の実施の形態の動作
４．第４の実施の形態
４−１．第４の実施の形態の構成
４−２．第４の実施の形態の動作
５．他の実施の形態
Hereinafter, modes for implementing the present technology will be described. The explanation will be given in the following order.
1. 1. First Embodiment 1-1. Configuration of the first embodiment 1-2. Operation of the first embodiment 1-3. Other configurations and operations of the
＜１．第１の実施の形態＞
［１−１．第１の実施の形態の構成］
図１は第１の実施の形態の構成を例示している。表示装置１０は、周辺領域撮像部１１、表示部５０、ミラー部５５を備えている。また、図２は、運転者と表示部とミラー部の位置関係を例示した図である。
<1. First Embodiment>
[1-1. Configuration of the first embodiment]
FIG. 1 illustrates the configuration of the first embodiment. The
周辺領域撮像部１１は、車両周辺の周辺領域を撮像して画像信号を表示部５０に出力する。図３は、周辺領域撮像部の撮像範囲を説明するための図である。例えば、バックミラー９１を用いた場合に運転者ＤＲが頭部位置（眼の位置）ＰＳ１で周辺領域における領域ＡＲｂ１の範囲を視認できるとする。なお、以下の説明では胴部位置や眼の位置を単に頭部位置として記載する。
The peripheral
運転者ＤＲが頭部位置を移動して位置ＰＳ２で周辺領域における領域ＡＲｂ２の範囲を視認できるとする。周辺領域撮像部１１は、例えば領域ＡＲｂ１と領域ＡＲｂ２を含む領域ＡＲｃの範囲を撮像して画像信号を生成する。このように、撮像範囲を設定すれば、周辺領域撮像部１１はバックミラー９１を用いた場合に視認可能な周辺領域を撮像した画像信号を生成できる。なお、周辺領域撮像部１１の撮像範囲は、領域ＡＲｂ１と領域ＡＲｂ２を含む領域ＡＲｃの範囲に限らず例えば領域ＡＲｃよりも広画角の範囲としてもよい。以下、周辺領域撮像部１１で撮像される領域を撮像対象周辺領域とする。
It is assumed that the driver DR moves the head position and can visually recognize the range of the region ARb2 in the peripheral region at the position PS2. The peripheral
表示部５０は、運転者ＤＲがミラー部５５を介して間接的に表示面を視認できるように配置されており、周辺領域撮像部１１で撮像された画像（以下「周辺領域撮像画像」という）を表示面に表示する。なお、表示部５０の表示画像において、運転者がミラー部５５を介して視認する周辺領域の範囲（以下「視認範囲」という）と対応する画像領域をモニタ画像領域とする。
The
ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作と同等の動作を行ったとき、ミラー部５５に写った画像を視認できるように例えばピラーの近傍位置に配置されている。
The
また、ミラー部５５に対して表示部５０は、ミラー部５５に映る表示部５０での周辺領域撮像画像が、従来のバックミラーに映る周辺領域と同等となるように表示サイズやミラー部５５との間隔が設定されている。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、ミラー部５５に対する運転者の視認位置の移動に応じて変更されるように配置されている。
Further, with respect to the
図４は、ミラー部と表示部および従来のバックミラーの関係を示している。ミラー部５５の鏡面サイズと位置は、運転者ＤＲがバックミラー９１を見たときのバックミラー９１の鏡面範囲（矢印ＷＡの範囲）と略一致するように設定する。また、ミラー部５５を介して視認される表示部５０の画像領域では、バックミラー９１の鏡面に映る周辺領域の撮像画像を表示する。このようにすれば、表示部５０とミラー部５５によって従来のバックミラー９１と同様な作用効果を得ることができる。本実施例では、従来のＡピラー近傍設置のサイド（バック）ミラー（後写鏡）を例にそれと同等の視認方向とした場合に配置すべきミラー部５５位置関係で説明をしているが、フェンダーミラーの視認方向と同様に、視認方向がダッシュボード中央に来るような配置でも良く、運転者のより少ない首振り動作を実現した配置として有効な負荷低減の効果も期待される。
FIG. 4 shows the relationship between the mirror unit, the display unit, and the conventional rear-view mirror. The mirror surface size and position of the
表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲが表示部５０で表示面を直接的に視認する場合に比べて、運転者ＤＲから表示部５０の表示面までの距離を長くする。
In the
図５は、運転者の眼の焦点切り替えと応答時間の関係を模式化して示している。図５の（Ａ）に示すように、無限遠の視認対象物ＯＢａと近距離の視認対象物ＯＢｂの２点間で眼の焦点の切り替えを行う場合、一方から他方の対象物に焦点を合わせるまでの応答時間は、近距離の視認対象物ＯＢｂまでの距離ＬＡに応じて変化する。図５の（Ｂ）は、近距離の視認対象物ＯＢｂまでの距離ＬＡと応答時間ＴＲの関係を示しており、近距離の視認対象物ＯＢｂまでの距離がある程度の距離よりも短くなると、視認対象物ＯＢｂまでの距離が短くなるに伴い応答時間ＴＲが長くなる傾向がある。なお、実線は高年齢者、破線は中年齢者、一点鎖線は若年齢者の場合である。このため、本技術では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲから表示部５０の表示面までの距離を長くすることで、高速な認知作業を行うことができるようにする。具体的には、運転者ＤＲからミラー部５５を介した表示部５０の表示面までの光学的視認距離が少なくとも１．１ｍ以上となるように表示部５０とミラー部５５を配置または光学設計する。このように表示部５０とミラー部５５を配置すれば、表示装置１０では、運転者が表示部５０で表示された周辺領域撮像画像に焦点を合わせるために必要とされる時間を、バックミラーを介して見た対象物に焦点を合わせるために必要とされる時間に近づけられる。
FIG. 5 schematically shows the relationship between the focus switching of the driver's eyes and the response time. As shown in FIG. 5A, when the focus of the eye is switched between two points, the visual object OBa at infinity and the visual object OBb at a short distance, one focuses on the other object. The response time to is changed according to the distance LA to the short-distance visual object OBb. FIG. 5B shows the relationship between the distance LA to the short-distance visual object OBb and the response time TR, and when the distance to the short-distance visual object OBb becomes shorter than a certain distance, the visual object is visually recognized. The response time TR tends to increase as the distance to the object OBb decreases. The solid line is for elderly people, the broken line is for middle-aged people, and the alternate long and short dash line is for young people. Therefore, in the present technology, the driver DR can indirectly visually recognize the peripheral region captured image through the
また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が直接見えないように配置する。また、運転者ＤＲから表示部５０の表示面や照明光が見えないように遮蔽物を設けた構成としてもよい。
Further, in the
［１−２．第１の実施の形態の動作］
図６は、第１の実施の形態の動作を説明するための図である。表示部５０は、周辺領域撮像部１１で撮像された撮像画像を表示する。ミラー部５５は、例えば平面ミラーで構成して、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０における表示領域ＧＲｃの一部の領域ＧＲｍを視認できるサイズとする。なお、領域ＧＲｍをモニタ画像領域とする。また、表示部５０は、周辺領域撮像部１１で撮像された領域ＡＲｃの画像を表示領域ＧＲｃに表示する。
[1-2. Operation of the first embodiment]
FIG. 6 is a diagram for explaining the operation of the first embodiment. The
表示部５０とミラー部５５は、車両の運転者ＤＲが視認範囲を変更するために頭部位置を例えば矢印Ｖａの方向に移動したとき、ミラー部５５を介して視認できるモニタ画像領域ＧＲｍが従来のバックミラーの場合と同様に矢印Ｖｂの方向に移動するように配置する。具体的には、頭部位置を移動した場合におけるモニタ画像領域ＧＲｍの移動方向が表示部５０における表示領域の長手方向となるように、表示部５０とミラー部５５を配置する。
The
ここで、ミラー部５５の方向を向いている運転者ＤＲの頭部位置が図に示す位置である場合、運転者ＤＲは、ミラー部５５を介してモニタ画像領域ＧＲｍの画像を視認することで、周辺領域における視認範囲ＡＲｍの状況を確認できる。
Here, when the head position of the driver DR facing the direction of the
次に視認範囲ＡＲｍよりも外側の領域を確認するため、運転者ＤＲが頭部位置を車両前方向である矢印Ｖａｆの方向に移動すると、運転者ＤＲがミラー部５５を介して視認できるモニタ画像領域ＧＲｍは矢印Ｖｂｆの方向に移動する。すなわち運転者ＤＲは、頭部位置を車両前方に移動して、ミラー部５５を介してモニタ画像領域の画像を視認することで、頭部位置の移動前よりも周辺領域における外側の領域の状況を確認できる。
Next, in order to confirm the area outside the viewing range ARM, when the driver DR moves the head position in the direction of the arrow Vaf, which is the front direction of the vehicle, the monitor image that the driver DR can visually recognize through the
また、運転者ＤＲが頭部位置を車両後方（矢印Ｖａｆに対して逆方向）に移動すると、運転者ＤＲがミラー部５５を介して視認できるモニタ画像領域ＧＲｍは矢印Ｖｂｆに対して逆方向に移動する。すなわち運転者ＤＲは、頭部位置を車両後方に移動して、ミラー部５５を介してモニタ画像領域の画像を視認することで、頭部位置の移動前よりも周辺領域における内側の領域の状況を確認できる。
Further, when the driver DR moves the head position to the rear of the vehicle (in the direction opposite to the arrow Vaf), the monitor image area GRm that the driver DR can see through the
したがって、ミラー部５５を介して表示部５０の画像を運転者に視認させることで、バックミラーを用いた場合と同様に周辺領域の所望の領域を確認できる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。例えばサイドウィンドウの曇りや雨滴等の付着によって、周辺領域の確認が困難となってしまうことを防止できる。
Therefore, by allowing the driver to visually recognize the image of the
［１−３．第１の実施の形態の他の構成と動作］
ところで、上述の第１の実施の形態のミラー部５５は、平面ミラーで構成されている場合について説明したが、ミラー部５５は平面ミラーに限らず湾曲部分を有した構成としてもよい。ミラー部５５を部分的に湾曲させることにより湾曲部でバックミラー（後写鏡）の凸面鏡に相当する効果が得られる。
[1-3. Other configurations and operations of the first embodiment]
By the way, although the case where the
図７は、ミラー部が湾曲部分を有している場合を例示している。ミラー部５５は、視認範囲の移動方向、すなわち運転者ＤＲの頭部位置の移動に応じたモニタ画像領域ＧＲｍの移動方向の形状を、例えば運転者ＤＲの方向に突出した湾曲形状とする。また、ミラー部５５は、視認範囲の移動方向の端部側よりも中央部分ＭＲｃの湾曲を少なくて、略平面状の形状とする。
FIG. 7 illustrates a case where the mirror portion has a curved portion. The
このように、端部側を湾曲させると、湾曲部分では視認範囲の移動方向について圧縮された画像となる。したがって、ミラー部５５の中央部分ＭＲｃがモニタ画像領域ＧＲｍに対応する領域とすると、周辺領域においてモニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍの外側や内側をミラー部５５の端部側部分の圧縮画像で確認できるようになる。したがって、平面ミラーを用いた場合よりも、運転者が確認できる周辺領域の領域を広く確保できるようになる。
When the end side is curved in this way, the curved portion produces a compressed image in the moving direction of the viewing range. Therefore, assuming that the central portion MRc of the
＜２．第２の実施の形態＞
［２−１．第２の実施の形態の構成］
図８は第２の実施の形態の構成を例示している。表示装置１０は、周辺領域撮像部１１、運転者撮像部１２、表示制御部２０、表示部５０、ミラー部５５を備えている。なお、図９は、運転者と表示部とミラー部および運転者撮像部の位置関係を例示した図である。
<2. Second Embodiment>
[2-1. Configuration of Second Embodiment]
FIG. 8 illustrates the configuration of the second embodiment. The
周辺領域撮像部１１は、車両の周辺領域を撮像して画像信号を表示制御部２０に出力する。なお、周辺領域撮像部１１で撮像される領域を撮像対象周辺領域とする。
The peripheral
運転者撮像部１２は、運転者ＤＲの頭部位置や頭部の向き（顔の向きに相当）、視線の向き等を判別できるように、例えば運転者ＤＲの前方またはミラー部５５が設置されている方向に設けられている。運転者撮像部１２は、運転者ＤＲを撮像して画像信号を表示制御部２０に出力する。
The
表示制御部２０は、周辺領域撮像部１１で撮像された周辺領域撮像画像を表示部５０に表示させる。また、表示制御部２０は、運転者の頭部位置や頭部の向き、視線の向き、および位置や向きの移動等に基づき、予め定めた表示変更意思伝達操作に応じて表示部５０に表示する画像の表示制御を行う。
The
表示部５０は、運転者がミラー部５５を介して間接的に表示部５０の表示面を視認できるように配置されている。また、表示部５０の表示面は、例えば運転者ＤＲが運転時にバックミラーで広範囲の領域を確認するように頭部位置を移動しても、ミラー部５５を介して表示部５０の表示画像を視認できるように表示面のサイズが設定されている。なお、表示部５０の表示画像において、運転者がミラー部５５を介して確認する周辺領域の視認範囲と対応する領域をモニタ画像領域とする。
The
ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作を行ったとき、ミラー部５５に写った画像を視認できるように例えばピラー近傍の位置に配置されている。また、ミラー部５５は、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域全体がミラー部５５に映り込むように、表示部５０との位置関係およびミラー部５５のサイズを設定する。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、表示制御部２０の表示制御によって、ミラー部５５に対する運転者の視認位置の移動に応じて変更される。ミラー部５５の鏡面サイズと位置は、図４に示すように、運転者ＤＲがバックミラー９１を見たときのバックミラー９１の鏡面範囲（矢印ＷＡの範囲）と略一致するように設定する。このように設定して、表示部５０とミラー部５５によって従来のバックミラー９１と同様な作用効果を得ることができるようにする。
The
表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲが表示部５０で表示面を直接的に視認する場合に比べて、運転者ＤＲから表示部５０の表示面までの距離を長くする。
In the
また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が見えないように配置する。また、運転者ＤＲから表示部５０の表示面や照明光が直接見えないように遮蔽物を設けた構成としてもよい。本実施例では、従来のＡピラー近傍設置のバックミラーと同等の視認方向とした場合に配置すべきミラー部５５位置関係で説明をしているが、フェンダーミラー相当の視認方向として視線がダッシュボード中央に来るような配置でも良い。
Further, in the
図１０は、表示制御部の構成を示す図である。表示制御部２０は、運転者動き判別部２１、制御処理部３５、表示調整部４１、輝度調整部４２を備えている。
FIG. 10 is a diagram showing a configuration of a display control unit. The
運転者動き判別部２１は、運転者撮像部１２から供給された画像信号に基づき、運転者の頭部位置を検出して、運転者の頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、例えば運転者撮像部１２から供給された画像信号に基づき、運転者の顔認識を行い、認識した顔の位置や顔の向き（頭部の向きに相当）、視線の向きを判別する。さらに、運転者動き判別部２１は、認識した顔を追跡して、頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、判別結果を制御処理部３５に出力する。
The driver
制御処理部３５は、運転者動き判別部２１の判別結果に基づき、表示部５０におけるモニタ画像領域とその他の領域（以下「非モニタ画像領域」という）で異なる表示制御を行う制御信号を生成して、表示調整部４１と輝度調整部４２に出力する。
The
表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整を行い、例えば、非モニタ画像領域に対して画像の圧縮等を行う。
Based on the control signal from the
輝度調整部４２は、制御処理部３５からの制御信号に基づき、表示部５０における非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。輝度調整部４２は、表示部５０が照明を必要とする表示素子例えば液晶表示素子を用いて構成されている場合、照明例えば液晶パネルのバックライトの部分的領域を制御して、非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。また、表示部５０が照明を必要とする表示素子または自発光素子例えば有機ＥＬ表示素子を用いて構成されている場合、非モニタ画像領域に対応する輝度信号の信号レベルを低下させる処理を行ってもよい。
Based on the control signal from the
［２−２．第２の実施の形態の動作］
図１１は、第２の実施の形態の動作を説明するための図である。表示制御部２０は、周辺領域撮像部１１で撮像された領域ＡＲｃの画像を表示部５０の表示領域ＧＲｃに表示する。ミラー部５５は、例えば平面ミラーで構成して、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域ＧＲｃを視認できるサイズとする。
[2-2. Operation of the second embodiment]
FIG. 11 is a diagram for explaining the operation of the second embodiment. The
また、表示制御部２０は、表示領域ＧＲの表示画像に対する輝度制御や圧縮処理等を行い、運転者がミラー部５５を介して視認する周辺領域の範囲である視認範囲の画像を識別可能として表示領域ＧＲｃの表示を行う。なお、視認範囲に対応する表示領域をモニタ画像領域ＧＲｍとする。
Further, the
さらに、表示制御部２０は、運転者撮像部１２で撮像された運転者ＤＲの動き例えば車両の前後方向の動き（矢印Ｖａ方向）に基づき、モニタ画像領域ＧＲｍを矢印Ｖｂの方向に移動する。または、表示制御部２０は、モニタ画像領域ＧＲｍの移動に代えてモニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍの移動、あるいはモニタ画像領域ＧＲｍの矢印Ｖｂの方向の拡張等を行う。
Further, the
画像の移動速度は、運転者がモニタ画像以外を瞬時見るなどする間に、急激な画像の表示内容の変更が発生すると状況把握の喪失を招くおそれが発生する。そこで、急激な画面の移動は避け、表示画像の平行移動が最速でも０．２ｓｅｃ／全移動量（総画角シフト量）以内とする。ここで、後述する頭部や視線の位置検出に伴う画面変更反応遅延時間を２００ｍｓｅｃ以内とすることで、従来のバックミラーを使用した場合に比べて操作感の低下を防止または軽減できると同時に、周辺状況把握遅延に伴う危険見落とし防止を満たすことができる。 As for the moving speed of the image, if the display content of the image is suddenly changed while the driver instantly looks at something other than the monitor image, the situation may be lost. Therefore, avoid sudden movement of the screen, and make the translation of the displayed image within 0.2 sec / total movement amount (total angle shift amount) at the fastest. Here, by setting the screen change reaction delay time associated with the detection of the position of the head or the line of sight, which will be described later, to 200 msec or less, it is possible to prevent or reduce the deterioration of the operability as compared with the case of using the conventional rearview mirror. It is possible to satisfy the prevention of oversight of danger due to the delay in grasping the surrounding situation.
運転者は、画面表示領域変更指示を出した後の僅かな間隔に、後方周辺情報と異なる窓越しの直接視界情報を得る操作をすることも想定される。その場合、運転者はミラー部５５越しの窓方向を見て、画面注視注意が一旦瞬間的に途切れた後に再度ミラー部５５を通して表示画面確認のステップに復帰するので、画面内容が全面的変更されていると、また状況把握の喪失を招くおそれがある。そこで、これら画面変更に伴う表示範囲が、変更の前後で少なくとも元の表示内容の１／４以上の範囲で、切り替え変更前の画面が変更後の画面に含まれる範囲の移動に控える。例えば運転者が画面変更移動中に他の視覚情報（例えばミラー部５５と窓越しに見る直接視界）に注意遷移して表示部５０に視線を復帰した場合に、記憶画面の連続性から一瞬起き得る表示部への状況把握の喪失を低減することができる。
It is also assumed that the driver performs an operation to obtain direct visibility information through a window different from the rear peripheral information at a short interval after issuing the screen display area change instruction. In that case, the driver looks at the window direction through the
図１２は、表示制御部の動作を示すフローチャートである。ステップＳＴ１で表示制御部２０は周辺領域確認動作が行われたか判別する。ここで、周辺領域確認動作とは、撮像装置と表示装置により構成されたモニタリングシステムを介して運転者が表示装置の画面を目視する動作の全般を指す。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向であるか判別する。表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向を向いた場合例えばミラー部５５の方向に振り向いた場合、周辺領域確認動作が行われたと判別してステップＳＴ２に進む。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でない場合、周辺領域確認動作が行われていないと判別してステップＳＴ１に戻る。
FIG. 12 is a flowchart showing the operation of the display control unit. In step ST1, the
ステップＳＴ２で表示制御部２０は、視認範囲の判別を行う。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部位置を検出して、検出した頭部位置からミラー部５５を介して視認される視認範囲を判別してステップＳＴ３に進む。
In step ST2, the
ステップＳＴ３で表示制御部２０は、画像表示制御処理を行う。表示制御部２０は、視認範囲の画像をモニタ画像領域の画像として表示部５０に表示する。また、表示制御部２０は、非モニタ画像領域に高輝度被写体が映っていた場合にその画像の放射高輝度の表示内容で運転者の視界妨害とならないように例えば部分的バックライトや輝度レベルを制御する。また、表示制御部２０は、表示部５０における所定の領域をモニタ画像領域とする場合、モニタ画像領域の画像で所望の視認範囲を確認できるように、非モニタ画像領域に対応する周辺領域の画像の圧縮等の処理を行う。表示制御部２０は画像表示制御処理を行いステップＳＴ４に進む。
In step ST3, the
ステップＳＴ４で表示制御部２０は視認範囲変更指示が行われたか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部位置を判別して、周辺領域における視認範囲を変更する指示動作が行われたか判別する。表示制御部２０は、運転者の頭部位置が所定の動きを生じた場合、視認範囲変更指示が行われたと判別してステップＳＴ５に進む。また、表示制御部２０は、運転者の頭部位置が所定の動きを生じていない場合、視認範囲変更指示が行われていないと判別してステップＳＴ６に進む。
In step ST4, the
ステップＳＴ５で表示制御部２０は視認範囲変更処理を行う。表示制御部２０は運転者が視認する視認範囲を、運転者の頭部位置の動きに伴い移動させる。表示制御部２０は、例えばバックライトや輝度レベルを制御して、表示を暗くする領域を運転者の頭部位置の動きに応じて移動させることで、明るく表示されるモニタ画像領域を変更する。また、表示制御部２０は、例えばモニタ画像領域の移動方向とは逆側に設けられている非モニタ画像領域の画像をさらに圧縮することで、モニタ画像領域に画像が表示される視認範囲を運転者の頭部位置の動きに応じて移動させる。また、モニタ画像領域の移動方向に設けられている非モニタ画像領域で表示する周辺領域範囲は範囲が少なくなることから、この非モニタ画像領域の圧縮を少なくする。表示制御部２０は視認範囲変更処理を行ってステップＳＴ６に進む。
In step ST5, the
ステップＳＴ６で表示制御部２０は周辺領域確認動作の終了であるか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向でなくなったことを判別する。表示制御部２０は、運転者の頭部の向きや視線方向が引き続きミラー部５５の方向である場合、周辺領域確認動作の終了でない判別してステップＳＴ４に戻る。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でなくなった場合、周辺領域確認動作の終了であると判別してステップＳＴ７に進む。
In step ST6, the
ステップＳＴ７で表示制御部２０は、表示を終了する。表示制御部２０は、運転者が運転に集中できるように表示部５０における周辺領域の画像表示を終了してステップＳＴ１に戻る。
In step ST7, the
図１３は、表示制御部の第１の表示制御動作を説明するための図である。第１の表示制御動作において、表示制御部は、周辺領域の撮像画像を表示する際に、視認範囲を除いた他の範囲の画像の一部または全体の輝度を低下させて運転者から見え難くする。このようにすることで、運転者は、ミラー部５５を介した画像の視認によって、バックミラーを用いた場合と同様に周辺領域の所望の視認範囲を確認できるようになる。また、特に夜間等で眩しさを引き起こす非モニタ画像領域の不要な明るさを控える等のメリットがある。
FIG. 13 is a diagram for explaining the first display control operation of the display control unit. In the first display control operation, when displaying the captured image of the peripheral region, the display control unit reduces the brightness of a part or the whole of the image in the other range excluding the visual range to make it difficult for the driver to see. do. By doing so, the driver can confirm the desired viewing range of the peripheral region by visually recognizing the image through the
図１３の（Ａ）は、表示部５０の表示、図１３の（Ｂ）は、表示部５０の表示位置と輝度の関係を示している。表示制御部２０は、視認範囲を除いた他の範囲に対応する画像領域である非モニタ画像領域ＧＲｂ１，ＧＲｂ２の輝度を、視認範囲に対応するモニタ画像領域ＧＲｍよりも暗くして非モニタ画像領域ＧＲｂ１，ＧＲｂ２の画像を見え難くする。例えば表示部５０が液晶表示素子を用いて構成されている場合にはバックライトの発光制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。また、表示部５０が有機ＥＬ表示素子を用いて構成されている場合には輝度信号の信号レベル制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。このように、表示部５０の表示画像は非モニタ画像領域ＧＲｂ１，ＧＲｂ２が暗い状態とされているので、運転者ＤＲはモニタ画像領域ＧＲｍの画像のみを視認できるようになる。したがって、運転者ＤＲは、ミラー部５５を介して表示部５０の表示画像を視認することで、周辺領域における視認範囲ＡＲｍの状況を確認できる。
FIG. 13A shows the display of the
また、表示制御部２０は、運転者ＤＲの頭部位置が例えば車両の前方向に移動したことを判別したとき、頭部位置の移動に応じてモニタ画像領域ＧＲｍを移動して、ミラー部５５を介して視認できる周辺領域の視認範囲を外側に移動する。具体的には、表示制御部２０は、頭部位置の車両前方向に移動に応じて非モニタ画像領域ＧＲｂ１の領域幅が狭く、非モニタ画像領域ＧＲｂ２の領域幅が広くなるように画像の輝度を制御する。このような表示制御を行うと、モニタ画像領域ＧＲｍの画像は、移動前に比べて周辺領域の外側の範囲の画像となる。表示制御部２０は、運転者ＤＲの頭部位置が例えば車両の後方向に移動したことを判別したとき、図示せずも頭部位置の移動に応じて、非モニタ画像領域ＧＲｂ１の領域幅が広く、非モニタ画像領域ＧＲｂ２の領域幅が狭くなるように画像の輝度を制御する。このような表示制御を行うと、モニタ画像領域ＧＲｍの画像は、移動前に比べて周辺領域の内側の範囲の画像となる。このため、運転者は頭部位置を移動することで、バックミラーを用いた場合と同様に周辺領域における所望の視認範囲を確認できる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。
Further, when the
図１４は、表示制御部の第２の表示制御動作を説明するための図である。第２の表示制御動作において、表示制御部は、周辺領域の撮像画像を表示する際に、モニタ画像領域ＧＲｍの移動に代えて、視認範囲を除いた他の範囲の画像をモニタ画像領域ＧＲｍの移動方向に圧縮する。表示制御部は、画像をこのように圧縮することで、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍを移動させて、周辺領域における所望の視認範囲を確認できるようにする。 FIG. 14 is a diagram for explaining a second display control operation of the display control unit. In the second display control operation, when displaying the captured image of the peripheral area, the display control unit replaces the movement of the monitor image area GRm with an image of another range excluding the viewing range of the monitor image area GRm. Compress in the direction of movement. By compressing the image in this way, the display control unit moves the viewing range ARM corresponding to the monitor image area GRm so that the desired viewing range in the peripheral region can be confirmed.
図１４の（Ａ）は、表示部５０の表示、図１４の（Ｂ）は、表示部５０の表示位置と圧縮率の関係、図１４の（Ｃ）は、表示部５０の表示位置と輝度の関係を示している。表示制御部２０は、視認範囲を除いた他の範囲に対応する画像領域である非モニタ画像領域ＧＲｂ１，ＧＲｂ２に対して、端部側になるに伴い画像がより縮小されるように表示制御を行う。このように非モニタ画像領域ＧＲｂ１，ＧＲｂ２を圧縮して、非モニタ画像領域ＧＲｂ１，ＧＲｂ２の圧縮率を調整することにより、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍを移動可能とする。
14 (A) is the display of the
表示制御部２０は、運転者ＤＲの頭部位置の動きに伴い、周辺領域における視認範囲を外側に移動する指示が行われたことを判別したとき、例えば運転者の前方向の首振りが行われたことを判別したとき、モニタ画像領域ＧＲｍに対応する視認範囲を外側に移動する。具体的には、表示制御部２０は、非モニタ画像領域ＧＲｂ２に対する周辺領域の範囲が広くなるように画像の圧縮率を制御する。また、外側方向に対応する非モニタ画像領域ＧＲｂ１の圧縮および輝度低下を少なくすることで、非モニタ画像領域ＧＲｂ１の画像により視認範囲の外側の範囲を確認できるようになる。すなわち、視認範囲を拡張することができる。なお、非モニタ画像領域ＧＲｂ１の輝度低下のみを少なくしても、視認範囲の外側の範囲を確認できるようになることから、視認範囲を拡張できる。
When the
図１５は、表示部の表示と圧縮率および周辺領域との関係を示している。なお、図１５の（Ａ）は表示部５０の表示、図１５の（Ｂ）は表示部５０の表示位置と圧縮率の関係、図１５の（Ｃ）は周辺領域撮像部１１の撮像範囲を示している。モニタ画像領域ＧＲｍでは、視認範囲ＡＲｍの撮像画像が表示されている。非モニタ画像領域ＧＲｂ１では、視認範囲ＡＲｍの外側の撮像画像が圧縮して表示されており、非モニタ画像領域ＧＲｂ２では、視認範囲ＡＲｍの内側の撮像画像が圧縮して表示されている。ここで、表示制御部２０は、視認範囲を外側に移動する指示が行われたことを判別したとき、非モニタ画像領域ＧＲｂ２に対する周辺領域の範囲が広くなるように画像の圧縮率を制御する。したがって、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍは周辺領域の外側に移動する。
FIG. 15 shows the relationship between the display of the display unit, the compression ratio, and the peripheral area. Note that FIG. 15A shows the display of the
また、表示制御部２０は、視認範囲を内側に移動する指示が行われたことを判別したとき、例えば運転者の後方向の首振りが行われたことを判別したとき、非モニタ画像領域ＧＲｂ２に対する周辺領域の範囲が広くなるように画像の圧縮率を制御する。したがって、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍは周辺領域の内側に移動する。
Further, when the
さらに、表示制御部２０は、上述のように、視認範囲の変更指示が行われる前は、非モニタ画像領域ＧＲｂ１，ＧＲｂ２の輝度を視認範囲に対応するモニタ画像領域ＧＲｍよりも暗くして、非モニタ画像領域ＧＲｂ１，ＧＲｂ２の画像を見え難くする。例えば表示部５０が液晶表示素子を用いて構成されている場合にはバックライトの発光制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。また、表示部５０が有機ＥＬ表示素子を用いて構成されている場合には輝度信号の信号レベル制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。このように、表示部５０の表示画像は非モニタ画像領域ＧＲｂ１，ＧＲｂ２が暗い状態とされているので、運転者ＤＲはモニタ画像領域ＧＲｍの画像のみを視認できるようになる。したがって、運転者ＤＲは、ミラー部５５を介して表示部５０の表示画像を視認することで、周辺領域における視認範囲ＡＲｍの状況を確認できる。その後、視認範囲の変更指示が行われた場合、表示制御部２０は、非モニタ画像領域に対して輝度レベルをモニタ画像領域ＧＲｍの輝度レベルに近づけるようにする。
Further, as described above, the
このような表示制御を行うと、運転者が視認範囲の変更指示を行ったとき、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍが運転者の指示に応じて移動されることから、周辺領域の所望の範囲を容易に確認できるようになる。さらに、非モニタ画像領域の輝度レベルはモニタ画像領域ＧＲｍの輝度レベルと同様となることから、モニタ画像領域との区分がなくなる。したがって、視認範囲を自動的に拡張することができる。さらに、運転者は変更指示を行うだけで視認範囲を変更できることから、従来のバックミラーを用いた場合のように、所望の周辺範囲がバックミラーに映るまで頭部位置を前方向等に移動させなくとも、所望の周辺範囲を容易に確認できるようになる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。
When such display control is performed, when the driver gives an instruction to change the viewing range, the viewing range ARM corresponding to the monitor image area GRm is moved according to the driver's instruction. You will be able to easily check the range of. Further, since the brightness level of the non-monitor image area is the same as the brightness level of the monitor image area GRm, there is no distinction from the monitor image area. Therefore, the viewing range can be automatically expanded. Furthermore, since the driver can change the viewing range simply by giving a change instruction, the head position is moved forward or the like until the desired peripheral range is reflected in the rear-view mirror, as in the case of using a conventional rear-view mirror. Even if it is not, the desired peripheral range can be easily confirmed. Further, since the
なお、運転者が視認範囲の変更指示を行ったとき、非モニタ画像領域の輝度レベルは低下した状態としてもよい。この場合、モニタ画像領域ＧＲｍの拡張は行われず、変更指示に基づき移動された視認範囲の画像が所定の輝度で表示される。また、非モニタ画像領域の圧縮特性や輝度特性は、図１４の特性に限られない。例えば圧縮率を急峻に変化させてもよく、輝度レベルを緩やかに変化させてもよい。また、圧縮特性や輝度特性を運転者が選択可能とすれば、運転者の好みに応じて周辺領域の画像を表示させることもできる。さらに、視認範囲の変更指示に応じて、視認範囲の拡大縮小や表示画像の拡大率等を変化させてもよい。例えば運転者ＤＲがミラー部５５に近づいたことや近づく動作を視認範囲の変更指示として、視認範囲の広い画像や拡大率の低い画像（これらの画像を例えば第１画像とする）を表示する。また運転者ＤＲがミラー部５５から離れたことや離れる動作を視認範囲の変更指示として、第１画像よりも視認範囲の狭い画像や拡大率の高い画像を表示する。
When the driver gives an instruction to change the viewing range, the brightness level of the non-monitoring image area may be lowered. In this case, the monitor image area GRm is not expanded, and the image in the viewing range moved based on the change instruction is displayed with a predetermined brightness. Further, the compression characteristics and the luminance characteristics of the non-monitor image region are not limited to the characteristics shown in FIG. For example, the compression ratio may be changed sharply, or the brightness level may be changed gently. Further, if the driver can select the compression characteristic and the brightness characteristic, the image of the peripheral region can be displayed according to the driver's preference. Further, the enlargement / reduction of the viewing range, the enlargement ratio of the displayed image, and the like may be changed according to the instruction for changing the viewing range. For example, an image having a wide viewing range or an image having a low magnification (these images are referred to as a first image) is displayed as an instruction to change the viewing range when the driver DR approaches or approaches the
＜３．第３の実施の形態＞
第３の実施の形態では、運転者が確認したい周辺領域が車両の運転状況に応じて変化する場合について説明する。例えば、トレーラや連節バスまたはキャンピング牽引カーのように、キャビンと牽引トレーラ部が分離可能とされており、運転状況に応じてキャビンの向きと牽引トレーラ部の向きが変化する場合について説明する。
<3. Third Embodiment>
In the third embodiment, a case where the peripheral area to be confirmed by the driver changes according to the driving condition of the vehicle will be described. For example, a case where the cabin and the tow trailer portion are separable and the orientation of the cabin and the orientation of the tow trailer portion change according to the driving situation will be described, such as a trailer, an articulated bus, or a camping tow car.
［３−１．第３の実施の形態の構成］
図１６は第３の実施の形態の構成を例示している。表示装置１０は、周辺領域撮像部１１ａ，１１ｂ、運転者撮像部１２、表示制御部２０、表示部５０、ミラー部５５を備えている。なお、運転者撮像部１２、運転状況検出センサ１３、表示部５０、ミラー部５５および運転者ＤＲは、図９に示す位置関係とする。
[3-1. Configuration of Third Embodiment]
FIG. 16 illustrates the configuration of the third embodiment. The
周辺領域撮像部１１ａ，１１ｂは、車両の周辺領域を撮像して画像信号を表示制御部２０に出力する。周辺領域撮像部１１ａはキャビン側に設けられており、周辺領域撮像部１１ｂは牽引トレーラ部側に設けられている。なお、周辺領域撮像部１１ａで撮像される領域を第１撮像対象周辺領域、周辺領域撮像部１１ｂで撮像される領域を第２撮像対象周辺領域とする。
The peripheral
運転者撮像部１２は、運転者ＤＲの頭部位置や頭部の向きや視線の向き等を判別できるように、例えば運転者ＤＲの前方またはミラー部５５が設置されている方向に設けられている。運転者撮像部１２は、運転者ＤＲを撮像して画像信号を表示制御部２０に出力する。
The
運転状況検出センサ１３は、運転状況に関する情報、例えばステアリング状態を示す情報、牽引トレーラ部の接続状態を示す情報、キャビンに対する牽引トレーラ部の曲がり角等の情報、ギヤ位置情報や車速情報、方向指示器設定情報、現在位置情報（例えば衛星測位システムの測位信号）等を運行情報として取得する。運転状況検出センサ１３は、取得した運行情報をセンサ情報として表示制御部２０へ出力する。
The driving
表示制御部２０は、周辺領域撮像部１１ａ，１１ｂで生成された画像信号に基づき、周辺領域撮像画像を表示部５０に表示する。また、表示制御部２０は、運転者の頭部位置や頭部の向き、視線の向き、および位置や向きの移動、運転状況検出センサ１３からのセンサ情報等に基づき、表示部５０に表示する周辺領域撮像画像の表示制御を行う。
The
表示部５０は、運転者がミラー部５５を介して間接的に表示部５０の表示面を視認できるように配置されている。また、表示部５０の表示面は、例えば運転者ＤＲが運転時にバックミラーで広範囲の領域を確認するように頭部位置を移動しても、ミラー部５５を介して表示部５０の表示画像を視認できるように、図４に示す通り、ミラー部５５の鏡面を結ぶ光線よりも大きいサイズとされている。なお、表示部５０の表示画像において、運転者がミラー部５５を介して確認する周辺領域の視認範囲と対応する画像領域をモニタ画像領域とする。
The
ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作を行ったとき、ミラー部５５に写った画像を視認できるように例えばピラーの位置に配置されている。また、ミラー部５５は、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域全体がミラー部５５に映り込むように、表示部５０との位置関係およびミラー部５５のサイズを設定する。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、表示制御部２０の表示制御によって、ミラー部５５に対する運転者の視認位置の移動に応じて変更される。なお、ミラー部５５のサイズは、従来のバックミラーと同様な作用効果が得られるように、第１の実施の形態や第２の実施の形態のように設定することが好ましい。
The
表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲが表示部５０で表示面を直接的に視認する場合に比べて、運転者ＤＲから表示部５０の表示面までの距離を長くする。
In the
また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が見えないように配置する。また、運転者ＤＲから表示部５０の表示面や表示光が見えないように遮蔽物を設けた構成としてもよい。
Further, in the
図１７は、周辺領域撮像部の配置を例示している。なお、図では、例えばトレーラの左側面に周辺領域撮像部を配置した場合を例示しており、右側面の周辺領域撮像部は省略している。 FIG. 17 illustrates the arrangement of the peripheral region imaging unit. In the figure, for example, a case where the peripheral region imaging unit is arranged on the left side surface of the trailer is illustrated, and the peripheral region imaging unit on the right side surface is omitted.
上述したように、周辺領域撮像部１１ａはキャビン側に設けられており、周辺領域撮像部１１ｂは牽引トレーラ部側に設けられている。なお、周辺領域撮像部１１ａで撮像される領域を第１撮像対象周辺領域、周辺領域撮像部１１ｂで撮像される領域を第２撮像対象周辺領域とする。
As described above, the peripheral
図１７の（Ａ）は、キャビンと牽引トレーラ部が直線状に位置している場合を示している。図１７の（Ｂ）は、キャビンに対して牽引トレーラ部が、周辺領域撮像部１１ａの設置側に寄っている状態を示しており、図１７の（Ｃ）は、キャビンに対して牽引トレーラ部が、周辺領域撮像部１１ａの設置側とは逆方向に寄っている状態を示している。周辺領域撮像部１１ａで取得される撮像画像は、牽引トレーラ部が図１７の（Ａ）から図１７の（Ｂ）に示す状態となると、牽引トレーラ部を示す画像部分が増加して周辺領域を確認できなくなってしまう。また、牽引トレーラ部が図１７の（Ａ）から図１７の（Ｃ）に示す状態となると、周辺領域撮像部１１ａの撮像範囲から牽引トレーラ部が離れて、牽引トレーラ部の近傍は運転者が確認できない死角となってしまう。一方、周辺領域撮像部１１ｂは牽引トレーラ部に設けられていることから、周辺領域撮像部１１ｂで取得される撮像画像は、キャビンと牽引トレーラ部との位置関係に係らず周辺領域を示した画像となる。
FIG. 17A shows a case where the cabin and the tow trailer portion are positioned in a straight line. FIG. 17B shows a state in which the tow trailer portion is closer to the installation side of the peripheral
そこで、表示制御部２０は、周辺領域撮像部１１ａで取得された撮像画像と周辺領域撮像部１１ｂで取得された撮像画像を、運転状況や運転者の意思に応じて用いることで、ミラー部５５を介して周辺領域の確認を行うことができるように表示制御を行う。
Therefore, the
図１８は、表示制御部の構成を示す図である。表示制御部２０は、運転者動き判別部２１、運転状況判別部２２、制御処理部３５、表示調整部４１、輝度調整部４２を備えている。
FIG. 18 is a diagram showing a configuration of a display control unit. The
運転者動き判別部２１は、運転者撮像部１２から供給された画像信号に基づき、運転者の頭部位置を検出して、運転者の頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、例えば運転者撮像部１２から供給された画像信号に基づき、運転者の顔認識を行い、認識した顔の位置や頭部の向きを判別する。さらに、運転者動き判別部２１は、認識した顔を追跡して、頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、判別結果を制御処理部３５に出力する。
The driver
運転状況判別部２２は、運転状況検出センサ１３から供給されたセンサ情報に基づき、運転状況を判別する。運転状況判別部２２は、例えばギヤ位置等に基づき車両が前進または後退のいずれであるか、車速、方向指示器設定情報とステアリング状態等に基づき、直進または右折または左折のいずれであるかを判別する。また、運転状況判別部２２は、例えば牽引トレーラ部の接続状態やキャビンに対する牽引トレーラ部の曲がり角等の情報に基づき、緩やかな右左折または鋭角な右左折であるか、現在位置情報等に基づき走行位置がランドアバウトの位置であるか等を判別する。運転状況判別部２２は、判別結果を制御処理部３５に出力する。
The operation
制御処理部３５は、運転者動き判別部２１と運転状況判別部２２の判別結果に基づき、表示部５０におけるモニタ画像領域と非モニタ画像領域で異なる表示制御を行う制御信号を生成して、表示調整部４１と輝度調整部４２に出力する。
The
表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整を行い、例えば、非モニタ画像領域に対して画像の圧縮等を行う。また、表示調整部４１は、制御処理部３５からの制御信号に基づき、複数の周辺領域撮像部で取得された周辺領域の画像の切り替えや合成，表示する周辺領域の表示幅の調整等を行うようにしてもよい。
Based on the control signal from the
輝度調整部４２は、制御処理部３５からの制御信号に基づき、表示部５０における非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。輝度調整部４２は、表示部５０が照明を必要とする表示素子例えば液晶表示素子を用いて構成されている場合、照明例えばバックライトを制御して、非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。また、表示部５０が照明を必要とする表示素子または自発光素子例えば有機ＥＬ表示素子を用いて構成されている場合、非モニタ画像領域に対応する輝度信号の信号レベルを低下させる処理を行ってもよい。
Based on the control signal from the
［３−２．第３の実施の形態の動作］
図１９は、第３の実施の形態における表示制御部の動作を示すフローチャートである。ステップＳＴ１１で表示制御部２０は周辺領域確認動作が行われたか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向であるか判別する。表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向である場合例えばミラー部５５の方向に振り向いた場合、周辺領域確認動作が行われたと判別してステップＳＴ１２に進む。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でない場合、周辺領域確認動作が行われていないと判別してステップＳＴ１１に戻る。
[3-2. Operation of the third embodiment]
FIG. 19 is a flowchart showing the operation of the display control unit according to the third embodiment. In step ST11, the
ステップＳＴ１２で表示制御部２０は、運転状況の判別を行う。表示制御部２０は、運転状況検出センサ１３から供給されたセンサ情報に基づき運転状況を判別する。表示制御部２０は、例えば車両が前進または後退のいずれであるか、直進または右折または左折のいずれであるか、緩やかな右左折または鋭角な右左折であるか、走行位置がランドアバウトの位置であるか等の判別を行いステップＳＴ１３に進む。
In step ST12, the
ステップＳＴ１３で表示制御部２０は、視認範囲の判別を行う。表示制御部２０は、運転状況の判別結果に基づきミラー部５５を介して視認される視認範囲を判別してステップＳＴ１４に進む。なお、視認範囲の判別では運転者の頭部位置も含めて視認範囲を判別してもよい。
In step ST13, the
図２０は、視認範囲のモードを例示している。モード１は例えば通常走行時のミラー視認必須範囲である。モード２は例えば通常走行時のミラー視認必須範囲よりも内側および外側の範囲を広く視認できる範囲である。モード３は例えば後退時等において運転者が車両の外側を死角なく視認できる範囲とされている。ここで、例えば周辺領域撮像部１１ａの撮像範囲は、通常走行時のミラー視認必須範囲として、周辺領域撮像部１１ｂの撮像範囲は、周辺領域撮像部１１ａの撮像範囲よりも広い範囲とする。また、図２０の（Ａ）に示すように、モード１は周辺領域撮像部１１ａの撮像範囲を視認範囲、モード２は周辺領域撮像部１１ｂの撮像範囲を視認範囲とする。さらに、図２０の（Ｂ）に示すように、モード３は周辺領域撮像部１１ａおよび周辺領域撮像部１１ｂの撮像範囲に含まれる範囲を視認範囲とする。なお、周辺領域撮像部１１ａの撮像範囲を切替可能として、運転状況や運転者の指示に応じて周辺領域撮像部１１ｂの撮像範囲を視認範囲としてもよい。例えば図２０の（Ｃ）に示すように、周辺領域撮像部１１ａの撮像範囲をモード１〜モード３の範囲に切替可能としてもよい。
FIG. 20 illustrates a mode of viewing range.
図２１は、運転状況判別結果と視認範囲のモードとの関係を例示している。表示制御部２０は、検出情報に基づき例えば直進の運転中であると判別した場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えばラウンドアバウトの地点である場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えば緩やかに右折または左折している場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えば鋭角に右折または左折している場合、丸印で示すようにモード２の範囲を視認範囲として、確認できる範囲を外側に広くする。表示制御部２０は、検出情報に基づき例えば直進後退している場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えば鋭角に後退している場合、図１７の（Ｃ）に示す死角を生じないように丸印で示すモード２の範囲すなわち周辺領域撮像部１１ｂの撮像範囲を視認範囲とする。
FIG. 21 illustrates the relationship between the driving situation determination result and the mode of the viewing range. When the
ステップＳＴ１４で表示制御部２０は、画像表示制御処理を行う。表示制御部２０は、視認範囲のモードに応じてモニタ画像領域の領域幅を設定して、視認範囲の画像をモニタ画像領域の画像として表示部５０に表示する。また、表示制御部２０は、非モニタ画像領域の画像が見えないように例えばバックライトや輝度レベルを制御する。また、表示制御部２０は、表示部５０の所定の領域をモニタ画像領域とする場合、モニタ画像領域で視認範囲の画像を表示できると共に、モニタ画像領域に対応する視認範囲を移動できるように、非モニタ画像領域に対応する周辺領域の画像の圧縮等の処理を行う。表示制御部２０は画像表示制御処理を行いステップＳＴ１５に進む。
In step ST14, the
ステップＳＴ１５で表示制御部２０は視認範囲変更指示が行われたか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部位置を判別して、周辺領域における視認範囲を変更する指示動作が行われたか判別する。表示制御部２０は、運転者の頭部位置が視認範囲の移動を伴う動きを生じた場合、視認範囲変更指示が行われたと判別してステップＳＴ１６に進む。また、表示制御部２０は、運転者の頭部位置が視認範囲の移動を伴う動きを生じていない場合、視認範囲変更指示が行われていないと判別してステップＳＴ１７に進む。
In step ST15, the
ステップＳＴ１６で表示制御部２０はモード変更処理を行う。表示制御部２０は、視認範囲変更指示が視認範囲を広げる指示である場合に視認範囲の広いモードに切り替えを行う。表示制御部２０は、例えば図２１の丸印で示すモードとされている場合は四角印で示すモードに切り替えて、四角印で示すモードとされている場合は星印で示すモードに切り替える。また、表示制御部２０は、視認範囲変更指示が視認範囲を狭める指示である場合に視認範囲の狭いモードに切り替えを行う。表示制御部２０は、例えば図２１の四角印で示すモードとされている場合は丸印で示すモードに切り替えて、星印で示すモードとされている場合は四角印で示すモードに切り替える。表示制御部２０は、視認範囲変更指示に基づきモードを切り替えてステップＳＴ１７に進む。
In step ST16, the
ステップＳＴ１７で表示制御部２０は周辺領域確認動作の終了であるか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向でなくなったことを判別する。表示制御部２０は、運転者の頭部の向きや視線方向が引き続きミラー部５５の方向である場合、周辺領域確認動作の終了でない判別してステップＳＴ１５に戻る。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でなくなった場合、周辺領域確認動作の終了であると判別してステップＳＴ１８に進む。
In step ST17, the
ステップＳＴ１８で表示制御部２０は、表示を終了する。表示制御部２０は、運転者が運転に集中できるように表示部５０における周辺領域の画像表示を終了してステップＳＴ１１に戻る。
In step ST18, the
このような表示制御を行うことで、運転状況に応じて視認範囲の設定や切り替えを自動的に行うことができるので、従来のバックミラーを用いた場合よりも容易に、周辺範囲における所望の視認範囲を確認できるようになる。例えば、運転状況検出センサ１３から供給されたセンサ情報に基づき、車両の進行方向が直進である場合は、モード１からモード２に切り替えられて、車両の外側方向に視認範囲が拡張される。また、運転状況検出センサ１３から供給されたセンサ情報に基づき、キャビンの向きと牽引トレーラ部の向きが相違する鋭角右左折や鋭角後退の場合に、モード２からモード３に切り替えられて、牽引トレーラ部の外側が視認範囲に含まれるように視認範囲が拡張される。したがって、所望の視認範囲を確認できるようになる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。
By performing such display control, the viewing range can be automatically set and switched according to the driving situation, so that the desired viewing in the peripheral range is easier than when a conventional rear-view mirror is used. You will be able to check the range. For example, when the traveling direction of the vehicle is straight based on the sensor information supplied from the driving
図２２は、周辺領域撮像部１１ａと周辺領域撮像部１１ｂで取得された周辺画像を用いて表示部５０で表示される表示画像を例示している。図２２の（Ａ）は、周辺領域撮像部１１ａの死角の位置に車がある場合を例示している。図２２の（Ｂ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａを表示した場合を例示しており、周辺領域撮像部１１ａで取り込まれた画像の表示画像のみでは、後方の車全体を確認できない。このため、表示制御部２０は、図２２の（Ｃ）に示すように、周辺領域撮像部１１ａで取得された周辺画像ＭＧａだけでなく、周辺領域撮像部１１ｂで取得された周辺画像ＭＧｂを表示することで後方にいる車全体を確認できる。なお、表示制御部２０は、運転状況や運転者の意思に応じて、図２２の（Ｂ）と図２２の（Ｃ）に示す表示の切り替えや、図２２の（Ｃ）において矢印で示すように周辺画像ＭＧａと周辺画像ＭＧｂの領域幅（または挿入幅）を可変できる構成とすれば、周辺領域を最も視認しやすい状態で表示することができる。
FIG. 22 illustrates a display image displayed on the
図２３は、周辺領域撮像部１１ａと周辺領域撮像部１１ｂで取得された周辺画像を用いて表示部５０で表示される他の表示画像を例示している。図２３の（Ａ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａを表示した場合を例示している。図２３の（Ｂ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａと周辺領域撮像部１１ｂで取得された周辺画像ＭＧｂを縦方向に並べて表示した場合を例示している。表示制御部２０は、運転状況や運転者の意思に応じて、図２３の（Ａ）に示す表示と図２３の（Ｂ）に示す表示との切り替えを行う。また、図２３の（Ｂ）において矢印で示すように周辺画像ＭＧａと周辺画像ＭＧｂの領域幅（または挿入幅）を可変できる構成としてもよい。ここで、複数撮像により取り込まれた画像表示を隣接する表示部で表示を行う際に、車体の進行方向に対して前方に配置された撮像画像程、表示画面の上方に配置し、進行方向に対して後方に設置された撮像画像程、表示画面の下方に配置する事で、ドライバは直感的に視認画面の車体前後関係は瞬時に判別できるメリットがある。すなわち、車両の外装部に共に車両進行方向に対して後方側を向けて取り付けられた少なくとも２つ以上の撮像装置と、車両の室内の例えばダッシュボード中央部に、隣接配置される少なくとも２つ以上の画面表示領域を設けた表示部を有する場合、画面表示領域に表示する撮像画像の表示内容では、車両進行方向前方側に設置された第１の撮像装置（例えば周辺領域撮像部１１ａ）の画像を第１の撮像装置よりも車両進行方向後方側に設置された撮像装置（例えば周辺領域撮像部１１ａ）の画像より上部に配置する（例えば図２３の（Ｂ））。このようにすれば、ドライバは直感的に視認画面の車体前後関係を瞬時に判別できるメリットがある。
FIG. 23 illustrates another display image displayed on the
また、画面を大きく上下配置が出来ないレイアウトであっても、進行方向前方設置撮像部画面の後方消失点が表示画面では上方に配置する。すなわち、車両の外装部に共に車両進行方向に対して後方側を向けて取り付けられた少なくとも２つ以上の撮像装置と、車両の室内に、隣接配置される少なくとも２つ以上の画面表示領域を設けた表示部を有する場合、画面表示領域に表示する撮像画像の表示内容では、車両進行方向前方側に設置された第１の撮像装置の画像に含まれる無限消失点を第１の撮像装置よりも車両進行方向後方側に設置された撮像装置の画像に含まれる無限消失点より上部に配置する。このようにすれば、同様の効果が得られる。この場合、差異を素早く判別するためには表示画面の少なくとも２割以上、上下方向にシフトが望ましい。 Further, even if the screen cannot be arranged vertically, the rear vanishing point of the image pickup unit screen installed in the front in the traveling direction is arranged above the display screen. That is, at least two or more imaging devices attached to the exterior of the vehicle with the rear side facing the vehicle traveling direction and at least two or more screen display areas arranged adjacent to each other are provided in the interior of the vehicle. In the display content of the captured image displayed in the screen display area, the infinite vanishing point included in the image of the first imaging device installed on the front side in the vehicle traveling direction is set as compared with that of the first imaging device. It is placed above the infinite vanishing point included in the image of the image pickup device installed on the rear side in the vehicle traveling direction. By doing so, the same effect can be obtained. In this case, in order to quickly determine the difference, it is desirable to shift at least 20% or more of the display screen in the vertical direction.
図２４は、周辺領域撮像部１１ａと周辺領域撮像部１１ｂで取得された周辺画像を用いて表示部５０で表示される他の表示画像を例示している。図２４の（Ａ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａを表示した場合を例示している。図２４の（Ｂ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａと周辺領域撮像部１１ｂで取得された周辺画像ＭＧｂを縦方向に並べて、周辺画像がいずれの周辺領域撮像部で取得された画像であるか識別可能とする表示、例えば、キャビンと牽引トレーラ部を模式化したアイコン表示ＨＴを設けた場合を例示している。さらに、アイコン表示ＨＴでは、隣接して表示されている周辺画像を取得した周辺領域撮像部を示す例えばカメラ形状のマークＨＣを設ける。このように車両前方配置の周辺領域撮像部１１ａにより取り込まれた表示画像を上方に、車両後方方配置の周辺領域撮像部１１ｂにより取り込まれた表示画像を下方に配置すれば、表示された周辺画像と周辺領域撮像部との対応関係を容易に把握することができるようになり、表示画像を参照して、適切な運転操作を行うことができるようになる。表示制御部２０は、運転状況や運転者の意思に応じて、図２４の（Ａ）に示す表示と図２４の（Ｂ）に示す表示との切り替えを行う。また、図２４の（Ｂ）において矢印で示すように周辺画像ＭＧａと周辺画像ＭＧｂの領域幅（または挿入幅）を可変できる構成としてもよい。
FIG. 24 illustrates another display image displayed on the
また、通常走行等の場合には、例えば周辺領域撮像部１１ａで取得された周辺画像のみが表示されるので、複数の周辺画像が複数並べて表示されて、前方外周領域の視界妨害となってしまうことを防止できる。
Further, in the case of normal driving or the like, for example, only the peripheral image acquired by the peripheral
また、周辺領域撮像部の切り替えや表示する周辺画像の制御は、車両の運行状態に応じて表示内容を可変しつつ、且つ運転者の意思に基づいて適宜切り替えることが可能とされている。したがって、運転者は注意深い画面観察をせずとも直感的に領域別の視認領域把握が自然とできる。トレーラ等の牽引車両の場合は、一画面での合成画面表示とせずに、境界を有する即時区分別画面認識が可能な表示となっていることが人間工学的に見て望ましく、表示制御部２０は、人間工学的に適した表示が行われる。
Further, the switching of the peripheral region imaging unit and the control of the peripheral image to be displayed can be appropriately switched based on the driver's intention while changing the display content according to the operating state of the vehicle. Therefore, the driver can intuitively grasp the visible area for each area without careful screen observation. In the case of a towing vehicle such as a trailer, it is desirable from an ergonomic point of view that the display is capable of immediate divisional screen recognition with boundaries instead of a composite screen display on a single screen, and the
また、トレーラ等の牽引車両で死角が重要となる状況は、小さい曲率での走行時、例えば２車線以上のランドアバウトでの外側車線への車線変更する際や後退時の後方障害物確認の時である。そこで、車両の運転状態と合わせて運転者の画面操作の意思表示を反映した画面遷移表示を行うことで、死角部の状況把握を改善できる。このような状況では、単一カメラの視界領域変更で行うのではなく、牽引トレーラ部側の周辺領域撮像部１１ｂカメラ切り替えを行った上での表示領域切替え可変操作が効果的である。
In addition, blind spots are important for towing vehicles such as trailers when driving with a small curvature, for example, when changing lanes to the outer lane at a landabout with two or more lanes, or when checking for obstacles behind when reversing. Is. Therefore, by performing a screen transition display that reflects the driver's intention to operate the screen together with the driving state of the vehicle, it is possible to improve the grasp of the situation of the blind spot. In such a situation, it is effective to switch the display area after switching the peripheral
また、表示拡張は、ミラー部５５を介した方法に限らずとも表示範囲拡張機能は有効である。
Further, the display expansion is not limited to the method via the
なお、第３の実施の形態では、モード切替を行う場合について説明したが、第２の実施の形態の処理動作を組み合わせて行ってもよい。 In the third embodiment, the case of mode switching has been described, but the processing operations of the second embodiment may be combined.
また、上述の実施の形態では、頭部姿勢や視点認識を行う場合について説明をしているが、システムの構成としてはさらに補助的なタッチボタン制御、音声指示認識や頭部以外のジェスチャー認識等で行ってもよい。特に、通常状態の復帰や後述する学習時の指示内容認識の誤検出指摘、さらには低速駐車操作時の複雑な運転者の姿勢変更が行わる場合にはボタン操作などの直接指示を行うインターフェースとの組み合わせで制御を行うことが効果的である。 Further, in the above-described embodiment, the case of performing head posture and viewpoint recognition is described, but the system configuration includes further auxiliary touch button control, voice instruction recognition, gesture recognition other than the head, and the like. You may go with. In particular, with an interface that gives direct instructions such as button operation when returning to the normal state, pointing out erroneous detection of instruction content recognition during learning, which will be described later, and when changing the posture of the driver in a complicated manner during low-speed parking operation. It is effective to control by the combination of.
＜４．第４の実施の形態＞
表示装置を用いた周辺領域の視認では、法規で定められた最低表示倍率に伴い、通常走行時にはある一定の画面倍率を確保する必要がある。つまり、運転時の定常的な頭部姿勢での表示画面があり、その定常位置から相違する位置に変化した際には、運転者が非定常とする意思表示のヒューマンマシンインターフェースを介して表示変更指示を受けて画面表示変更を行う必要がある。例えば、より低倍率に表示内容を変更する指示や、駐車時などの非定常走行の特殊視野に変更する指示等を受けて画面表示変更を行う必要がある。そこで、第４の実施の形態では、表示内容変更に関するヒューマンマシンインターフェースの仕組みについて説明する。
<4. Fourth Embodiment>
When visually recognizing the peripheral area using a display device, it is necessary to secure a certain screen magnification during normal driving in accordance with the minimum display magnification stipulated by law. In other words, there is a display screen with a steady head posture during driving, and when the position changes from the steady position to a different position, the display is changed via the human-machine interface of the intention display that the driver makes unsteady. It is necessary to change the screen display in response to the instruction. For example, it is necessary to change the screen display in response to an instruction to change the display content to a lower magnification, an instruction to change to a special field of view for unsteady driving such as when parking, and the like. Therefore, in the fourth embodiment, the mechanism of the human-machine interface for changing the display contents will be described.
図２５は、運転者が周辺領域の状況を把握する場合の動作を例示したフローチャートである。ステップＳＴ２１で運転者は振り向き動作を開始してステップＳＴ２２に進み、ステップＳＴ２２で運転者は、眼でミラー部を補足してステップＳＴ２３に進む。ステップＳＴ２３で運転者は、頭部を一旦停止乃至準停止してステップＳＴ２４に進む。なお、準停止とは、頭部の動きが少なく停止状態と見なせる状態である。 FIG. 25 is a flowchart illustrating an operation when the driver grasps the situation of the peripheral area. In step ST21, the driver starts the turning motion and proceeds to step ST22, and in step ST22, the driver supplements the mirror portion with his / her eyes and proceeds to step ST23. In step ST23, the driver temporarily stops or semi-stops the head and proceeds to step ST24. The quasi-stop is a state in which the movement of the head is small and can be regarded as a stopped state.
ステップＳＴ２４で運転者はミラー部を介して画像への合焦を行いステップＳＴ２５に進み、ステップＳＴ２５で運転者は視認範囲の画像を確認することで周辺領域の状況を把握してステップＳＴ２６に進む。 In step ST24, the driver focuses on the image through the mirror unit and proceeds to step ST25. In step ST25, the driver confirms the image in the visible range to grasp the situation of the surrounding area and proceeds to step ST26. ..
ステップＳＴ２６で運転者は、視認範囲の変更が必要か判断する。運転者は、ステップＳＴ２５でモニタ画像領域の画像を視認することで、周辺領域における所望の範囲の状況を把握できた場合に視認範囲の変更は不要としてステップＳＴ２７に進む。また、運転者は、周辺領域における所望の範囲の状況を把握できない場合に視認範囲の変更が必要としてステップＳＴ２８に進む。 In step ST26, the driver determines whether the viewing range needs to be changed. When the driver can grasp the situation of the desired range in the peripheral area by visually recognizing the image in the monitor image area in step ST25, the driver does not need to change the viewing range and proceeds to step ST27. Further, when the driver cannot grasp the situation of the desired range in the peripheral region, the driver needs to change the viewing range and proceeds to step ST28.
ステップＳＴ２７で運転者は前方視認状態に復帰する。運転者は所望の周辺領域の状況を把握できたことから、振り向きを終了して顔を前方に向けて前方を視認できる状態として処理を終了する。 In step ST27, the driver returns to the forward visual state. Since the driver has grasped the situation of the desired peripheral area, the driver finishes turning and turns his face forward so that he can see the front.
ステップＳＴ２６からステップＳＴ２８に進むと、運転者は視認範囲変更指示を行う。運転者は予め規定された動き、例えば胴部を繰り返し移動させる動きを行いステップＳＴ２９に進む。なお、表示装置では、運転者の視認範囲変更指示を検出して、モニタ画像領域に画像が表示される視認範囲を変更する処理を行う。視認範囲の変更では、運転者が視認できる周辺領域の範囲の移動または拡張を行う。 When the process proceeds from step ST26 to step ST28, the driver gives an instruction to change the viewing range. The driver makes a predetermined movement, for example, a movement of repeatedly moving the torso, and proceeds to step ST29. The display device detects the driver's visual range change instruction and performs a process of changing the visual range in which the image is displayed in the monitor image area. When changing the viewing range, the range of the peripheral area that the driver can see is moved or expanded.
ステップＳＴ２９で運転者は、視認範囲変更後の画像を確認することで周辺領域の状況を把握してステップＳＴ３０に進む。 In step ST29, the driver grasps the situation of the surrounding area by confirming the image after the change in the viewing range, and proceeds to step ST30.
ステップＳＴ３０で運転者は、変更指示前の状態に戻す必要がないか判別する。運転者は、変更指示前の視認範囲を確認したい場合、変更指示前の状態に戻す必要があるとしてステップＳＴ３１に進む。また、運転者は、変更指示前の状態に戻す必要がないと判別した場合にステップＳＴ３２に進む。 In step ST30, the driver determines whether it is necessary to return to the state before the change instruction. When the driver wants to confirm the visual range before the change instruction, he / she proceeds to step ST31 because he / she needs to return to the state before the change instruction. Further, the driver proceeds to step ST32 when he / she determines that it is not necessary to return to the state before the change instruction.
ステップＳＴ３１で運転者は視認範囲復元指示を行う。運転者は予め規定された動き、例えば頭部を戻す動きを行いステップＳＴ３２に進む。なお、表示装置では、運転者の視認範囲復元指示を検出して、モニタ画像領域に画像が表示される視認範囲を変更前の範囲に戻す処理を行う。 In step ST31, the driver gives an instruction to restore the visible range. The driver makes a predetermined movement, for example, a movement of returning the head, and proceeds to step ST32. The display device detects the driver's instruction to restore the visible range, and performs a process of returning the visible range in which the image is displayed in the monitor image area to the range before the change.
ステップＳＴ３２で運転者はミラー部を一定期間注視しないようにしてステップＳＴ３３に進む。 In step ST32, the driver proceeds to step ST33 without gazing at the mirror unit for a certain period of time.
ステップＳＴ３３で運転者は前方視認状態に復帰する。運転者は周辺領域の状況の把握を終了する。すなわち、振り向きを終了して顔を前方に向けて前方を視認できる状態とする。 In step ST33, the driver returns to the forward visual state. The driver finishes grasping the situation in the surrounding area. That is, it is in a state where the turning is finished and the face is turned forward so that the front can be visually recognized.
表示装置は、このような運転者の動作に対応させたヒューマンマシンインターフェースを用いて、運転者からの表示変更指示に基づき周辺領域における視認範囲を変更する。なお、このようなヒューマンマシンインターフェースを用いる表示装置は、第１乃至第３の実施の形態の構成の表示装置に限られない。例えば、運転者が表示部５０の表示を直接視認して周辺領域の状況を把握する場合等にも適用できる。
The display device uses a human-machine interface corresponding to such an operation of the driver, and changes the viewing range in the peripheral area based on the display change instruction from the driver. The display device using such a human-machine interface is not limited to the display device having the configuration of the first to third embodiments. For example, it can be applied to a case where the driver directly visually recognizes the display of the
図２５に示すフローチャートでは、説明の簡素化のために前方視認復帰までの一連の動作をして単純にそのまま復帰までを説明している。しかし、実際には前方視認復帰までにはより複雑な動作を伴い、直接視認と表示部視認を繰り返し確認してから前方視認に復帰する事象が多く発生するが、あらゆる事象を説明するのが目的ではないため上記以外の例の説明は省略する。 In the flowchart shown in FIG. 25, for the sake of simplification of the explanation, a series of operations up to the return to the front visual recognition are performed, and the process up to the return is simply described. However, in reality, more complicated operations are required to return to forward visual recognition, and there are many events in which direct visual recognition and display unit visual recognition are repeatedly confirmed before returning to forward visual recognition, but the purpose is to explain all events. Therefore, the description of examples other than the above will be omitted.
次に第４の実施の形態の構成と動作について、第１乃至第３の実施の形態と同様に、ミラー部を介して間接的に表示部の画像を運転者が視認する場合について説明する。 Next, the configuration and operation of the fourth embodiment will be described when the driver visually recognizes the image of the display unit indirectly through the mirror unit, as in the first to third embodiments.
［４−１．第４の実施の形態の構成］
図２６は、第４の実施の形態の構成を例示した図である。表示装置１０は、周辺領域撮像部１１、運転者撮像部１２、運転者識別情報取得部１５、表示制御部２０、表示部５０、ミラー部５５を備えている。また、運転者と表示部とミラー部および運転者撮像部は、上述の図９に示すように設けられている。
[4-1. Configuration of Fourth Embodiment]
FIG. 26 is a diagram illustrating the configuration of the fourth embodiment. The
周辺領域撮像部１１は、車両の周辺領域を撮像して画像信号を表示制御部２０に出力する。なお、周辺領域撮像部１１で撮像される領域を撮像対象周辺領域とする。
The peripheral
運転者撮像部１２は、運転者ＤＲの頭部位置や頭部の向きや視線の向き等を判別できるように、例えば運転者ＤＲの前方またはミラー部５５が設置されている方向に設けられている。運転者撮像部１２は、運転者ＤＲを撮像して画像信号を表示制御部２０に出力する。
The
運転者識別情報取得部１５は、運転者固有の識別情報である運転者識別情報を取得して表示制御部２０に出力する。運転者識別情報取得部１５は運転者撮像部１２より得られた運転者顔認識を用いてもよいし、運転者所有車用起動キーに付与した識別情報を用いてもよいし、運転者がボタン操作等で直接指示をするなど様々な方法を取り得る。
The driver identification
表示制御部２０は、周辺領域撮像部１１で撮像された周辺領域撮像画像を表示部５０に表示させる。また、表示制御部２０は、運転者の頭部位置や頭部の向き、視線の向き、および位置や向きの移動、運転者識別情報取得部１５から供給された情報等に基づき、ミラー部５５の方向への振り向きや確認領域の移動動作や各種指示動作を判別する。さらに、表示制御部２０は、判別結果に基づき、表示部５０に表示する周辺領域撮像画像の表示制御を行う。表示制御部２０は、運転者が例えばミラー部の方向に振り向いた場合に、周辺領域撮像画像を表示部５０に表示する。また、表示制御部２０は、例えば振り向きの検出後に運転者で予め指定した動きが行われたことを判別した場合に視認範囲の領域を拡張する。
The
表示部５０は、運転者がミラー部５５を介して間接的に表示部５０の表示面を視認できるように配置されている。また、表示部５０の表示面は、運転者ＤＲが運転時にバックミラーで広範囲の領域を確認するように頭部位置を移動しても、ミラー部５５を介して表示部５０の表示画像を視認できるように、ミラー部５５の鏡面よりも大きいサイズとされている。なお、表示部５０の表示画像において、運転者がミラー部５５を介して確認する周辺領域の視認範囲と対応する画像領域をモニタ画像領域とする。
The
ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作を行ったとき、ミラー部５５に写った画像を視認できるように配置されている。また、ミラー部５５は、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域全体がミラー部５５に映り込むように、表示部５０との位置関係およびミラー部５５のサイズを設定する。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、表示制御部２０の表示制御によって、ミラー部５５に対する運転者の視認位置の移動に応じて変更される。なお、ミラー部５５のサイズは、従来のバックミラーと同様な作用効果が得られるように、視認範囲が映り込む領域のサイズを従来のバックミラーと同等なサイズとすることが好ましい。
The
表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲが表示部５０で表示面を直接的に視認する場合に比べて、運転者ＤＲから表示部５０の表示面までの距離を長くする。
In the
また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が見えないように配置する。また、運転者ＤＲから表示部５０の表示面や照明光が見えないように遮蔽物を設けた構成としてもよい。
Further, in the
図２７は、表示制御部の構成を示す図である。表示制御部２０は、認識部２３、振り向き判定部２４、指示動作判定部２５、運転者認証部２６、制御処理部３５、表示調整部４１、輝度調整部４２を備えている。
FIG. 27 is a diagram showing a configuration of a display control unit. The
認識部２３は、運転者撮像部１２から供給された画像信号に基づき顔認識を行う。また、認識部２３は、認識した頭部の向きや認識した顔における視線方向を認識して、認識結果を振り向き判定部２４に出力する。
The
振り向き判定部２４は、振り向き判定処理部２４１、振り向き判定学習部２４２、判定基準値記憶部２４３を有している。
The turning
振り向き判定処理部２４１は、認識部２３からの認識結果と振り向き判定学習部２４２から供給された振り向き判定基準値を比較して、運転者がミラー部５５の方向を向いたか判定して、判定結果を指示動作判定部２５と制御処理部３５に出力する。
The turning
振り向き判定学習部２４２は、判定基準値記憶部２４３から振り向き判定基準値を読み出して振り向き判定処理部２４１に出力する。また、振り向き判定学習部２４２は、制御処理部３５からの運転者情報、高速先方走行に最適化した運転の判定パラメータ設定、低速、後退、パーキングに適した運転の判定パラメータ設定等に対応する振り向き判定基準値を、判定基準値記憶部２４３から読み出して振り向き判定処理部２４１に出力する。さらに、振り向き判定学習部２４２は、頭部の向きや視線方向の認識結果に基づいて振り向き判定基準値の更新を行うことで、振り向き判定処理部２４１で、運転者毎に精度よく振り向き判定を行えるようにする。また、車両の速度域で、類似の頭部動作でも目的とする動作が異なることが発生するため、振り向き判定処理部２４１で、速度域に依存した判定を運転者毎に行えるようにする。例えば、高速走行や高速合流作業は前方に主要な注意を払い、一瞬モニタを早い動作で見る中で視認範囲を拡張できるように、視線振り向き確定までの判定閾値時間を１秒未満とする。駐車などの場合において、大型トレーラなどの各動作は、一旦各状態に視線注意をして全体把握のできる時間で後方把握してから拡張等の操作が行われるので、駐車相当と判別される時速１５Ｋｍ／ｈ未満では少なくとも判定閾値時間を０．５秒以上とする。振り向き判定学習部２４２は、更新後の振り向き判定基準値を判定基準値記憶部２４３に出力して、判定基準値記憶部２４３に記憶されている振り向き判定基準値を更新する。なお、振り向き判定学習部２４２は、通知された運転者に対応する振り向き判定基準値が判定基準値記憶部２４３に記憶されていない場合、予め設定されている振り向き判定基準値を振り向き判定処理部２４１に出力する。また、振り向き判定学習部２４２は、その後に更新された振り向き判定基準値を、運転者情報と対応付けて判定基準値記憶部２４３に記憶させる。ここで、頭部の姿勢認識の判定推移を通知部例えば表示部５０の表示画面上のオバーレイディスプレー、ＬＥＤ表示または車両のスピーカ等により視覚的や聴覚的に運転者ＤＲにフィードバックする事で、指示動作確定をより正確に且つ最小限の動作で実現する事ができる。運転者ＤＲへのフィードバックはデジタル的０／１の真偽判定ではなく、運転者の動きの判別度合いを示すステータスを例えばアナログ的に通知部でフィードバックする事が望ましい。
The turning
判定基準値記憶部２４３は、振り向き判定に用いる振り向き判定基準値を記憶する。また、運転者の認証が行われる場合、判定基準値記憶部２４３は運転者毎に振り向き判定基準値を記憶する。判定基準値記憶部２４３に記憶されている振り向き判定基準値は、振り向き判定学習部２４２の学習結果に応じて更新される。
The determination reference
指示動作判定部２５は、指示動作判定処理部２５１、指示動作判定学習部２５２、判定基準値記憶部２５３を有している。
The instruction
指示動作判定処理部２５１は、認識部２３からの認識結果と振り向き判定部２４からの振り向き判定結果と指示動作判定学習部２５２から供給された判定基準値を用いて、運転者が所定の動作を行ったか判定して、制御処理部３５に出力する。指示動作判定処理部２５１は、例えば運転者における頭部の２回以上の加減速動作の組み合わせの検出結果に基づき、運転者の動きから運転者の指示の判定を行う。
The instruction operation
指示動作判定学習部２５２は、判定基準値記憶部２５３から指示動作判定基準値を読み出して指示動作判定処理部２５１に出力する。また、指示動作判定学習部２５２は、制御処理部３５から運転者が通知された場合、通知された運転者に対応する指示動作判定基準値を、判定基準値記憶部２５３から読み出して指示動作判定処理部２５１に出力する。さらに、指示動作判定学習部２５２は、頭部の向きや視線方向の認識結果に基づいて指示動作判定基準値の更新を行うことで、指示動作判定処理部２５１で精度よく指示動作の判定を行えるようにする。指示動作判定学習部２５２は、更新後の指示動作判定基準値を判定基準値記憶部２５３に出力して、判定基準値記憶部２５３に記憶されている指示動作判定基準値を更新する。なお、指示動作判定学習部２５２は、通知された運転者に対応する指示動作判定基準値が判定基準値記憶部２５３に記憶されていない場合、予め設定されている指示動作判定基準値を指示動作判定処理部２５１に出力する。また、指示動作判定学習部２５２は、その後に更新された指示動作判定基準値を、運転者情報と対応付けて判定基準値記憶部２５３に記憶させる。
The instruction operation
判定基準値記憶部２５３は、指示動作の判定に用いる指示動作判定基準値を記憶する。また、運転者の認証が行われる場合、判定基準値記憶部２５３は運転者毎に指示動作判定基準値を記憶する。判定基準値記憶部２５３に記憶されている指示動作判定基準値は、指示動作判定学習部２５２の学習結果に応じて更新される。
The determination reference
ここで、指示動作判定学習部２５２には、ジェスチャーによる操作が目的としない判定結果を生じて誤動作となる場合に、除外分類等の指定をジェスチャーの検出以外のフィードバック形態例えばボタン操作や音声操作等で行える機能を設けてもよい。
Here, when the instruction operation
運転者認証部２６は、運転者識別情報取得部１５で取得された運転者固有の識別情報に基づき、車両の現在の運転者を判別して、判別結果を制御処理部３５に出力する。
The
制御処理部３５は、運転者認証部２６からの判別結果に基づき車両の運転者を判別して、判別した運転者を振り向き判定学習部２４２や指示動作判定学習部２５２に通知する。また、制御処理部３５は、振り向き判定部２４と指示動作判定部２５からの判別結果に基づき、表示部５０におけるモニタ画像領域と非モニタ画像領域で異なる表示制御を行う制御信号を生成する。制御処理部３５は、生成した制御信号を表示調整部４１と輝度調整部４２に出力する。
The
表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整、周辺領域の画像の切り替えや合成等を行う。
Based on the control signal from the
輝度調整部４２は、制御処理部３５からの制御信号に基づき、表示部５０における非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。輝度調整部４２は、表示部５０が照明を必要とする表示素子例えば液晶表示素子を用いて構成されている場合、照明例えばバックライトを制御して、非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。また、表示部５０が照明を必要とする表示素子または自発光素子例えば有機ＥＬ表示素子を用いて構成されている場合、非モニタ画像領域に対応する輝度信号の信号レベルを低下させる処理を行ってもよい。
Based on the control signal from the
上記の構成とすることで、予め予期した運転者の動作検出手順として、表示部視認開始状態の検出を、より高速で素早く行う。 With the above configuration, as a driver's motion detection procedure predicted in advance, the display unit visual recognition start state is detected at higher speed and faster.
通常の運転者の人間工学的な動作ステップは以下の通りと予想される。動物全般的に視覚を通して外界把握をする場合、一番俊敏に方向を捉えて向きを変えるのは眼球運動であり、眼球運動の回転範囲のみでは捉えきれない範囲に視認したい対象物がある場合は、さらには首や体の姿勢を追って変化させることで不足の範囲を補う。 The ergonomic operating steps of a normal driver are expected to be as follows: When grasping the outside world through vision in general, it is the eye movement that grasps the direction most quickly and changes the direction, and if there is an object that you want to see in the range that can not be caught only by the rotation range of the eye movement Furthermore, the range of deficiency is supplemented by changing the posture of the neck and body.
その結果、前方視認と大幅に方向が異なるミラー部配置方向へ視線注意をする一連の手順で、運転者はミラー部の画像を視認できるおおよその方向をとらえ、眼球の回転移動と首の回転運動を開始する。運転者は、ミラー部を視線で捉えると首の振り向き回転中から眼球回転は首の回転を打ち消す視線方向を合わせ、ミラー部に視線を合わせた時点では、首の振り向き運動もほぼ停止固定する。この一連の動作特徴となる頭部回転状態を逐次時系列解析して動きの加速と減速状態からミラー部の視認開始の状態の変化を学習する。このように学習を行い、個別運転者の動作シーケンスの特徴解析を行うことで、該当運転者の頭部回転が完全に静止する前から運転者のミラー部注視開始の判定を可能とし、且つ引き続き指示操作解析を速やかに移行することで、遅延の少ない画面操作のＨＭＩ（ヒューマンマシンインターフェースが）を実現する。ここで、頭部の姿勢認識の判定推移を通知部例えば表示部５０の表示画面上のオバーレイディスプレー、ＬＥＤ表示や車両のスピーカ等により視覚的や聴覚的に運転者ＤＲにフィードバックする事で、指示動作確定をより正確に且つ最小限の動作で実現する事ができる。運転者ＤＲへのフィードバックはデジタル的０／１の真偽判定ではなく、運転者の動きの判別度合いを示すステータスを例えばアナログ的に通知部でフィードバックする事が望ましい。ただし、これらフィードバックの必要以上の表示は、視界の妨害ともなり得る事から、一旦運転者固有の特性を学習後に不要となれば、表示機能を止める事がよく、必ずしも常に表示を行う必要はない。
As a result, the driver grasps the approximate direction in which the image of the mirror portion can be visually recognized, and the rotational movement of the eyeball and the rotational movement of the neck are performed by a series of procedures in which the driver pays attention to the mirror portion arrangement direction, which is significantly different from the forward visual observation. To start. When the driver catches the mirror portion with the line of sight, the rotation of the eyeball adjusts the direction of the line of sight that cancels the rotation of the neck during the turning rotation of the neck, and when the line of sight is aligned with the mirror portion, the turning motion of the neck is almost stopped and fixed. The head rotation state, which is a series of motion features, is sequentially analyzed in time series, and the change in the state of starting visual recognition of the mirror portion is learned from the acceleration and deceleration states of the movement. By learning in this way and analyzing the characteristics of the movement sequence of the individual driver, it is possible to determine the start of gaze at the mirror portion of the driver even before the head rotation of the corresponding driver is completely stopped, and continue. By quickly shifting the instruction operation analysis, HMI (human-machine interface) for screen operation with less delay is realized. Here, the determination transition of the posture recognition of the head is visually and audibly fed back to the driver DR by the overlay display on the display screen of the notification unit, for example, the
また、運転が通常の高速前方運転では体の動きは少なく狭い範囲が視認対象範囲であり、低速駐車には頭部や体の動きを多く動かして周辺全体を把握する作業となる。このため、各指示検出の判定基準は高速と低速で異なるのが望ましいので、モード切替判定は車両に運転状態と相関判定をとり行うことで操作性を改善する。 In addition, in high-speed forward driving, where driving is normal, there is little movement of the body and a narrow range is the visible range, and in low-speed parking, the movement of the head and body is moved a lot to grasp the entire surroundings. Therefore, since it is desirable that the judgment criteria for each instruction detection differ between high speed and low speed, the mode switching judgment improves operability by performing a correlation judgment with the driving state of the vehicle.
［４−２．第４の実施の形態の動作］
図２８は、表示制御部の動作を示すフローチャートである。ステップＳＴ４１で表示制御部２０は、判定基準値の取り込みを行う。表示制御部２０は、振り向き動作や視認範囲変更指示および視認範囲復元指示の判定に用いる判定基準値を取得する。また、判定基準値は運転者毎に設けるようにして、現在の運転者に対応した判定基準値を取得するようにしてもよい。また、運転者の動作に応じて判定基準値を更新して、最新の判定基準値を取得するようにしてもよい。表示制御部２０は判定基準値を取り込んでステップＳＴ４２に進む。
[4-2. Operation of the fourth embodiment]
FIG. 28 is a flowchart showing the operation of the display control unit. In step ST41, the
ステップＳＴ４２で表示制御部２０は頭部の向きの観測を開始する。表示制御部２０は運転者撮像部１２から供給された画像信号を用いて顔認識を行い運転者の顔を判別する処理と、判別した頭部の向きを検出する処理を開始してステップＳＴ４３に進む。
In step ST42, the
ステップＳＴ４３で表示制御部２０は、定常時における顔の位置と向きを判別する。表示制御部２０は、顔の向き（頭部の向き）の観測結果に基づき、定常時における顔の位置と向きを判別する。表示制御部２０は、定常時における顔の位置や向きが前回の判定から変化している場合、変化量に応じた補正値を算出する。また、運転者に対応した情報がない場合は初期値からの違いを補正値とする。表示制御部２０は、補正値を算出してステップＳＴ４４に進む。
In step ST43, the
ステップＳＴ４４で表示制御部２０は振り向き判定基準値を設定する。表示制御部２０は、判定基準値と算出した補正値を用いて振り向き判定基準値を設定してステップＳＴ４５に進む。
In step ST44, the
ステップＳＴ４５で表示制御部２０は振り向き判定を開始する。表示制御部２０は、頭部の向きの観測結果と振り向き判定基準値を用いて、運転者の振り向き動作を判定する処理を開始してステップＳＴ４６に進む。
In step ST45, the
ステップＳＴ４６で表示制御部２０は顔の位置と向きを追跡する。表示制御部２０は、顔の位置と向きの観測結果に基づき、顔の位置と向きの追跡を行ってステップＳＴ４７に進む。
In step ST46, the
ステップＳＴ４７で表示制御部２０は顔の位置や向きに変化を生じたか判別する。表示制御部２０は、顔の位置や向きに変化がないと判別した場合にステップＳＴ４６に戻り、変化が生じたと判別した場合にステップＳＴ４８に進む。
In step ST47, the
ステップＳＴ４８で表示制御部２０はミラー部凝視状態であるか判別する。表示制御部２０は、顔の位置や向きと判定基準値を用いて、運転者がミラー部を凝視している状態であるか判別する。表示制御部２０は、凝視状態であると判別した場合にステップＳＴ４９に進み、凝視状態でないと判別した場合にステップＳＴ４６に戻る。なお、ここでの凝視状態は、生理的な操作として眼の焦点を合わせて状況把握に移行する瞬間が発生するポイントを指しており、必ずしも運転者がミラー部の画像をじっと眺めている状態とは限らない。
In step ST48, the
ステップＳＴ４９で表示制御部２０は高速検出モードに移行する。表示制御部２０は、運転者の視認範囲変更指示および視認範囲復元指示を精度よく検出するため、顔の位置や向きの観測を高速で行うことにより、運転者の細かな動きを検出できるようにする。表示制御部２０は、高速検出モードの場合、運転者の顔の位置や向きの観測を例えば１００ｍｓ以下の頻度で定期的に行うようにする。なお、振り向きの検出は通常検出モードで行い、運転者の顔の位置や向きの観測は高速検出モードよりも時間間隔を広くして定期的に行うようにする。表示制御部２０は高速検出モードに移行してステップＳＴ５０に進む。
In step ST49, the
ステップＳＴ５０で表示制御部２０は、指示の検出を開始する。表示制御部２０は、顔の位置や向きの観測結果と判定基準値を用いて、視認範囲変更指示および視認範囲復元指示の検出を開始してステップＳＴ５１に進む。
In step ST50, the
ステップＳＴ５１で表示制御部２０は指示が検出されたか判別する。表示制御部２０は指示検出によって、視認範囲変更指示または視認範囲復元指示を示す運転者の動きが検出された場合にステップＳＴ５２に進む。また、表示制御部２０は、指示が検出されていない場合にステップＳＴ５３に進む。
In step ST51, the
ステップＳＴ５２で表示制御部２０は指示に応じて表示制御を行う。表示制御部２０は、例えば視認範囲変更指示を検出した場合、モニタ画像領域に画像が表示される視認範囲を顔の位置や向きの変化に応じて変更する。また、表示制御部２０は、例えば視認範囲復元指示を検出した場合、モニタ画像領域に画像が表示される視認範囲を変更前の領域に戻す。表示制御部２０はこのような表示制御を行いステップＳＴ５０に戻る。
In step ST52, the
ステップＳＴ５３で表示制御部２０は、頭部の向きがミラー部方向と異なる方向であるか判別する。表示制御部２０は、頭部の向きの観測結果と判定基準値を用いて、頭部の向きが画像視認方向と異なる方向であるか判別する。表示制御部２０は、頭部の向きが画像視認方向と異なる方向であると判別した場合に高速検出モードを通常検出モードに切り替えてステップＳＴ４７に戻る。また、表示制御部２０は、頭部の向きがミラー部の方向と判別した場合にステップＳＴ５４に進む。
In step ST53, the
ステップＳＴ５４で表示制御部２０は、所定の判別期間内であるか判別する。表示制御部２０は、所定の判別期間内である場合にステップＳＴ５０に戻り、所定の判別期間が経過した場合、高速検出モードを通常検出モードに切り替えてステップＳＴ４７に戻る。
In step ST54, the
図２９は、振り向きと視認範囲変更指示の動作を例示した図である。また、図３０は、振り向き判定と視認範囲変更指示の判定動作を例示した図である。なお、図３０の（Ａ）は振り向き方向（角度）と時間の関係、図３０の（Ｂ）は振り向き速度と時間の関係を例示している。 FIG. 29 is a diagram illustrating the operation of turning around and instructing to change the viewing range. Further, FIG. 30 is a diagram illustrating the determination operation of the turning direction determination and the visual range change instruction. Note that FIG. 30A illustrates the relationship between the turning direction (angle) and time, and FIG. 30B illustrates the relationship between the turning speed and time.
図２９において、方向ＰＦ１は通常時において運転者の頭部が向いている正面方向を示しており、方向ＰＦ２は、ミラー部５５の画像を運転者が視認する際の頭部の向きを例示している。方向ＰＦ３は、ミラー部５５の方向を示している。
In FIG. 29, the direction PF1 indicates the front direction in which the driver's head is normally facing, and the direction PF2 illustrates the direction of the head when the driver visually recognizes the image of the
範囲ＦＳ１は通常時における運転者の頭部の向きの移動範囲を例示しており、範囲ＦＳａは運転者の眼球移動による探索範囲を例示している。範囲ＦＳ２は、頭部の向きを方向ＰＦ１から方向ＰＦ２に移動する際の頭部回転加速帯であり、頭部の向きを方向ＰＦ２から方向ＰＦ１に移動する際の頭部回転減速帯である。範囲ＦＳ３は、頭部の向きを方向ＰＦ１から方向ＰＦ２に移動する際の頭部回転減速帯であり、頭部の向きを方向ＰＦ２から方向ＰＦ１に移動する際の頭部回転加速帯である。角ＦＶａは、ミラー部５５の画像を運転者が視認する際の頭部の振り向き角を例示している。角ＦＶｂは、ミラー部５５の画像を運転者が視認する際の眼球移動で確保する振り向き角を例示している。範囲ＦＳｃは、ミラー部５５の画像を運転者が視認する際の眼球移動による探索範囲を例示している。
The range FS1 exemplifies the movement range in the direction of the driver's head in a normal time, and the range FSa exemplifies the search range by the movement of the driver's eyeball. The range FS2 is a head rotation acceleration zone when the direction of the head is moved from the direction PF1 to the direction PF2, and is a head rotation deceleration zone when the direction of the head is moved from the direction PF2 to the direction PF1. The range FS3 is a head rotation deceleration zone when the direction of the head is moved from the direction PF1 to the direction PF2, and is a head rotation acceleration zone when the direction of the head is moved from the direction PF2 to the direction PF1. The angle FVa exemplifies the turning angle of the head when the driver visually recognizes the image of the
図３０の（Ａ）において、範囲ＪＡは運転者が前方を向いていると見なせる振り向き角度の範囲である。範囲ＪＢは運転者が頭部を方向ＰＦ２に向けて回転させたときミラー部５５を凝視していると見なせる振り向き角度の範囲である。範囲ＪＣは眼球移動によりミラー部５５を凝視していると見なせる振り向き角度の範囲である。曲線ＱＣａは頭部の向きを示しており、曲線ＱＣｂは頭部の向きと眼球移動に基づいた視線方向を示している。また、図３０の（Ｂ）において、範囲ＪＥは、前方振り向き時の判定範囲である。
In FIG. 30A, the range JA is the range of the turning angle at which the driver can be regarded as facing forward. The range JB is a range of turning angles at which the driver can be regarded as staring at the
表示制御部２０は、振り向き速度（頭部の向きの変化に相当）が判定基準値で示された範囲ＪＥを超えたのち範囲ＪＥ内に戻り、振り向き方向（角度）が判定基準値で示された振り向き方向の範囲ＪＢ（ミラー部方向を基準として設定された範囲）内であることを検出する。この場合、表示制御部２０は、運転者がミラー部５５の方向を振り向いて凝視していると推定して振り向き動作が行われたと判別する。なお、眼球移動の検出を行い、頭部の向きと眼球移動に基づいて視線方向を推定すれば、推定した視線方向と範囲ＪＣを比較することで、さらに精度よく振り向き動作の判別を行うことができる。表示制御部２０は、振り向き動作が行われたと判別した場合、視認範囲変更指示を高い時間解像度で検出できるように高速検出モードに変更する。
The
なお、運転席側と助手席側の後方視認モニタリングシステムでは、表示部５０やミラー部５５の配置や方向が異なり、指示動作判定や振り向き角判定など全て異なることが予想されるために判定基準は個別に行うのが望ましい。
In the rear visual monitoring system on the driver's seat side and the passenger's seat side, the arrangement and direction of the
表示制御部２０は、振り向き方向（角度）が凝視状態であるか判定するための範囲ＪＢと振り向き方向（角度）を比較して、振り向き方向（角度）が範囲ＪＢを所定の方向に所定回数例えば２回超えたことを検出する。ここで、図３０の（Ａ）に示すように時点ｔｊで運転者における頭部の２回以上の加減速動作の組み合わせを検出した場合、すなわち振り向き方向（角度）が範囲ＪＢを２回超えたことを判別した場合、表示制御部２０は、運転者がミラー部に対して凝視状態で指示を行っていると推定して視認範囲変更指示が行われたと判別する。その後、表示制御部２０は、視認範囲変更指示に応じて視認範囲を変更する表示制御を行う。
The
なお、表示制御部２０は、頭部の向きが判定基準値で示された範囲ＪＡ内であることを検出する。この場合、表示制御部２０は、運転者がミラー部方向から正面方向に向きを変えたと判別して、振り向き動作判別前の状態に戻る。
The
また、視認範囲変更指示は、運転その状態に応じて操作指示動作量が異なってもよい。一般的に、駐車時などの低速運転動作では運転者はより頭部や体を大きく動かすことに慣れており、他方で高速走行時には主に頭部の移動量は少なく眼球移動が主な視線移動を占めるため、より少ない頭部移動で判定基準を設けるのが好ましい。さらに、図３０では２回以上の反復移動を例示しているが、運転者の頭部動作が実質的に復元を伴わない一連の一方向２段階の加速の動きであってもよい。 Further, the operation instruction operation amount may differ depending on the operation state of the visual range change instruction. In general, drivers are accustomed to moving their heads and bodies more significantly during low-speed driving operations such as when parking, while when driving at high speeds, the amount of movement of the head is small and eye movement is the main line-of-sight movement. Therefore, it is preferable to set the criterion with less head movement. Further, although FIG. 30 illustrates two or more repetitive movements, the driver's head movement may be a series of one-way, two-step acceleration movements that do not substantially involve restoration.
図３１は、操作指示動作量として頭部の回転動作の加速度を用いる場合を例示している。図３１の（Ａ）は、振り向き方向（角度）、図３１の（Ｂ）は振り向き速度、図３１の（Ｃ）は振り向き加速度を示している。 FIG. 31 illustrates a case where the acceleration of the rotational movement of the head is used as the operation instruction movement amount. FIG. 31 (A) shows the turning direction (angle), FIG. 31 (B) shows the turning speed, and FIG. 31 (C) shows the turning acceleration.
運転者が複数回の振り向きを行う場合、振り向きの反復動作と次の振り向きの反復動作では開始位置が必ずしも位置せず、例えば前回の振り向きの反復動作で元の位置に戻る前に次の振り向き動作が行われる。この場合、頭部の向きを示す曲線ＱＣａは、図３１の（Ａ）に示すように変化する。したがって、振り向き方向（角度）に基づいて視認範囲変更指示の判別を行うことができない。しかし、振り向きの反復動作を繰り返すと、振り向き加速度は、図３１の（Ｃ）に示すように、振り向きの動作毎に１サイクルの振動を生じた波形となる。したがって、表示制御部２０は、振り向き加速度を利用して、精度よく振り向きの繰り返しを検出できる。
When the driver makes multiple turns, the start position is not always positioned in the repeated turn and the next repeated turn, for example, the next turn before returning to the original position in the previous repeated turn. Is done. In this case, the curve QCa indicating the orientation of the head changes as shown in FIG. 31 (A). Therefore, it is not possible to determine the viewing range change instruction based on the turning direction (angle). However, when the repeated turning motion is repeated, the turning acceleration becomes a waveform in which one cycle of vibration is generated for each turning motion, as shown in FIG. 31 (C). Therefore, the
さらに、表示制御部２０は、運転者の振り向き速度や振り向き方向の動作特性履歴を学習させその運転者固有の特性に応じて、運転者毎に判定基準値を更新する。このように、判定基準値を更新することで、振り向き動作や視認範囲変更指示の判定精度を向上させると共に、より少ない指示動作での正確な指示検出をすることができるように、自己学習機能を備える。また、学習機能では、操作指示動作量を含めた動作特性を自己学習してドライバの特性に最適化する働きを行わせる。
Further, the
このような処理を行うことで、運転者が周辺領域の状況を把握する場合の動作に対応した表示制御を精度よく行うことができる。 By performing such processing, it is possible to accurately perform display control corresponding to the operation when the driver grasps the situation of the surrounding area.
また、振り向きの動作が安定した時間経過後に頭部の向きの移動検出を行う。このようにすれば、例えば頭部の向きに対して直交する方向の頭部移動が２回以上繰り返された場合や、首を軸として顔を向き回転させる顔振り動作が２回以上繰り返された場合に、視認範囲変更指示または視認範囲復元指示が行われたと判別される。したがって、指示の判定をさらに精度よく行うことができる。 In addition, the movement of the head direction is detected after a lapse of time when the turning motion is stable. In this way, for example, when the head movement in the direction orthogonal to the direction of the head is repeated two or more times, or the face swinging motion of turning the face around the neck is repeated two or more times. In this case, it is determined that the viewing range change instruction or the viewing range restoration instruction has been given. Therefore, the determination of the instruction can be performed more accurately.
本技術では、人が注意視線方向と異なる方向に振り向いた際の人間工学的手順に基づいて、眼球移動で対象物を素早く捉え、合わせて眼の焦点合わせを行い始めると同時に最後に目視注意が行われ始めるにしたがい、頭部移動を安定化する動きを考慮している。つまり、運転者は表示内容を目視して状況把握ができ始めるタイミングでは頭部位置の移動が安定化して停止に向かう。画面把握を通して運転者はさらに視界範囲の変更が必要かを判断するので、この安定化手順を踏んでから指示動作が行わることを反映している。 In this technology, based on the ergonomic procedure when a person turns in a direction different from the attention line-of-sight direction, the object is quickly grasped by moving the eyeball, and the eye is focused at the same time as the visual attention is finally given. As it begins to take place, we are considering movements that stabilize head movement. That is, at the timing when the driver can visually grasp the displayed contents and grasp the situation, the movement of the head position is stabilized and the driver heads for a stop. Since the driver determines whether it is necessary to further change the field of view through grasping the screen, it reflects that the instruction operation is performed after taking this stabilization procedure.
また、表示制御において、表示制御部２０は、運転者の頭部の向きがミラー部の方向に移動したことを検出したことに応じて表示制御を行う。例えば頭部の向きがミラー部の方向でない場合は、バックライトを消灯してまたは輝度信号の信号レベルを低下させて、画像が見えないように、または見難くする。また、例えば頭部の向きがミラー部の方向である場合は、バックライトの点灯および輝度制御や輝度信号の信号レベルを調整して視認範囲の画像を確認できるようにする。したがって、運転者が前方を向いている場合に、不必要に明るい周辺領域の画像が表示されることを防止できる。また、運転者がミラー部の方向を向いている場合にのみ、周辺領域の画像を表示できる。
Further, in the display control, the
また、表示制御部２０は、視認範囲の変更後、徐々に自動的に視認範囲を元の位置に戻すようにしてもよい。この場合、運転者は視認範囲を元の範囲に戻す操作を行う必要がない。さらに表示制御部２０は、運転者が状況の確認を瞬時に行うことができなくなってしまうことを防止するため、表示倍率の変化や表示形態の変化は急激に行われることがないように表示制御を行う。
Further, the
本明細書の説明では便宜上、頭部方向や視線を認識して指示検出を行う手順の実施例を記載している。しかし、実際には具体的な頭部方向や視線を正確に求めることが目的ではないため、運転者が表示部５０を視認する状態との相関が得られればよく、表示制御部２０の役割は必ずしも視線認識や頭部姿勢を正確に把握でき機能を備えることは必要ではない。そのため、表示制御部２０は図２７の構成に限らず、車両状態と運転者操作指示ジェスチャー応答表示であれば別の構成にしてもよい。
In the description of the present specification, for convenience, an embodiment of a procedure for recognizing the head direction and the line of sight and performing instruction detection is described. However, in reality, the purpose is not to accurately obtain a specific head direction or line of sight, so it is sufficient if a correlation with the state in which the driver visually recognizes the
＜５．他の実施の形態＞
また、他の実施の形態として、表示部５０に画像を表示する場合に、画像が圧縮して表示されると、表示画像から把握された距離感が周辺範囲に含まれる被写体までの距離と大きく相違してしまうおそれがある。そこで、画像の圧縮度合いに応じて表示部の画面上や周辺に警告表示を設けるようにしてもよい。
<5. Other embodiments>
Further, as another embodiment, when an image is displayed on the
図３２は、警告表示を行う場合の表示制御部の構成を例示している。表示制御部２０は、運転者動き判別部２１、制御処理部３５、表示調整部４１、輝度調整部４２、警告表示重畳部４３を備えている。
FIG. 32 illustrates the configuration of the display control unit when displaying a warning. The
運転者動き判別部２１は、運転者撮像部１２から供給された画像信号に基づき、運転者の頭部位置を検出して、運転者の頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、例えば運転者撮像部１２から供給された画像信号に基づき、運転者の顔認識を行い、認識した顔の位置や頭部の向きを判別する。さらに、運転者動き判別部２１は、認識した顔を追跡して、頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、判別結果を制御処理部３５に出力する。
The driver
制御処理部３５は、運転者動き判別部２１の判別結果に基づき、表示部５０におけるモニタ画像領域と非モニタ画像領域で異なる表示制御を行う制御信号を生成して、表示調整部４１と輝度調整部４２および警告表示重畳部４３に出力する。
The
表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整、周辺領域の画像の切り替えや合成等を行う。
Based on the control signal from the
輝度調整部４２は、制御処理部３５からの制御信号に基づき、表示部５０における非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。輝度調整部４２は、表示部５０が照明を必要とする表示素子例えば液晶表示素子を用いて構成されている場合、照明例えばバックライトを制御して、非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。また、表示部５０が照明を必要とする表示素子または自発光素子例えば有機ＥＬ表示素子を用いて構成されている場合、非モニタ画像領域に対応する輝度信号の信号レベルを低下させる処理を行ってもよい。
Based on the control signal from the
警告表示重畳部４３は、制御処理部３５からの制御信号に基づき、表示可変処理後の画像に、例えば画像の圧縮の度合いを示す情報を重畳させる。例えば、顔の左右の動きに合わせて視認範囲の画像を表示して、さらに２回以上の顔や頭の繰り返し動作で視認範囲の拡大を行い、逆方向の動作で拡大前の表示に復帰する。また、画像を変倍して表示する場合には変倍表示であることを警告するための動的警告表示を設ける。動的警告表示は警告内容を直感的に理解できるように、変倍動作に応じて枠サイズの調整を行い、枠をゼブラ点線枠で表示して、変倍に応じてゼブラ表示を流れるように表示する。ゼブラ表示の流れに付いては、人の生理的仕組みを考慮すると視線中心外の視野に入った動体反応として認知されその際に危険として接近物に敏感に検知することから接近方向の動きが含まれるのが望ましい。
Based on the control signal from the
このような表示制御を行うことで、画像が圧縮して表示される場合に、運転者の距離感覚等の喪失を防止することができる。例えば画像が圧縮されることで、近接している被写体が離れた位置の被写体として認識されてしまうことを防止できる。 By performing such display control, it is possible to prevent the driver from losing the sense of distance and the like when the image is compressed and displayed. For example, by compressing an image, it is possible to prevent a close subject from being recognized as a distant subject.
また、表示制御部２０は、ナビゲーションシステムと連動して表示制御を行い、高速道路の合流時やランドアバウトでの走行では通常の後方視界より広い視野角の画像を表示するようにしてもよい。
Further, the
また、運転者の動きの判別では、頭部の向きの移動すなわち首を軸とした頭部の回転に限らず、頭部の傾倒動作（首振り）や運転者の例えば上半身の前後左右方向の運動の少なくとも何れかを利用して表示制御を行うようにしてもよい。さらに、ミラー部方向への頭部の移動動作や姿勢変化を利用して、表示画像のズームイン動作やズームアウト動作を行うようにしてもよい。 In addition, the movement of the driver is not limited to the movement of the head, that is, the rotation of the head around the neck, but also the tilting motion of the head (swinging) and the driver's upper body, for example, in the front-back and left-right directions. The display may be controlled by using at least one of the exercises. Further, the zoom-in operation and the zoom-out operation of the displayed image may be performed by utilizing the movement motion of the head toward the mirror portion and the change in posture.
図３３乃至図３５は、運転者の他の動きに基づいた表示制御を例示している。図３３は、周辺領域撮像部の配置と表示部で表示される周辺画像を例示している。車両には図３３の（Ａ）に示すように車両の側面に周辺領域撮像部１１ｃ，１１ｄが設けられており、車両の背面に周辺領域撮像部１１ｅが設けられている。表示制御部２０は、図３３の（Ｂ）に示すように、周辺領域撮像部１１ｃ，１１ｄ，１１ｅで取得された３つの周辺領域の画像を表示部５０に表示する。
33 to 35 illustrate display control based on other movements of the driver. FIG. 33 illustrates the arrangement of the peripheral region imaging unit and the peripheral image displayed on the display unit. As shown in FIG. 33A, the vehicle is provided with peripheral
図３４は、頭部を前後方向に移動した場合の周辺領域画像の切り替えを説明するための図である。表示制御部は、頭部の移動が行われる前には、図３４の（Ａ）に示すように、周辺領域撮像部１１ｃ，１１ｄ，１１ｅで取得された３つの周辺領域の画像を表示部５０に表示する。また、表示制御部は、例えば頭部の前方向の移動を判別した場合、図３４の（Ｂ）に示すように、車両側面に設けられている周辺領域撮像部１１ｃ，１１ｄで取得された周辺領域の画像を表示する表示領域を進行方向に拡張した画像に切り替える。その後、表示制御部は、頭部が元の位置に移動した場合、切り替え前の画像に戻す表示制御を行う。
FIG. 34 is a diagram for explaining switching of peripheral region images when the head is moved in the front-rear direction. Before the head is moved, the display control unit displays images of the three peripheral regions acquired by the peripheral
図３５は、頭部を左方向に移動した場合の周辺領域画像の切り替えを説明するための図である。表示制御部は、頭部の移動が行われる前には、図３５の（Ａ）に示すように、周辺領域撮像部１１ｃ，１１ｄ，１１ｅで取得された３つの周辺領域の画像を表示部５０に表示する。また、表示制御部は、例えば頭部の左方向の移動を判別した場合、図３５の（Ｂ）に示すように、右側の周辺領域の画像を表示する表示領域を拡張した画像に切り替える。その後、表示制御部は、頭部が元の位置に移動した場合、切り替え前の画像に戻す表示制御を行う。
FIG. 35 is a diagram for explaining switching of peripheral region images when the head is moved to the left. Before the head is moved, the display control unit displays images of the three peripheral regions acquired by the peripheral
このように、頭部の向きの移動に限らず、頭部の傾倒動作等を利用して表示制御を行うことで、多様な態様で周辺領域の画像を表示することができる。 In this way, by performing display control using not only the movement of the direction of the head but also the tilting motion of the head, it is possible to display the image of the peripheral region in various modes.
さらに、上述の実施の形態では、運転者の動き判別結果に基づき表示制御を行うことで視認範囲を変更する場合について説明したが、運転者の動き判別結果に基づきミラー部の向きを変更することで、表示部の表示画像における所望の視認範囲の画像がミラー部に映るようにしてもよい。 Further, in the above-described embodiment, the case where the viewing range is changed by performing display control based on the driver's motion discrimination result has been described, but the direction of the mirror portion is changed based on the driver's motion discrimination result. Therefore, an image in a desired viewing range in the display image of the display unit may be reflected on the mirror unit.
また、ミラー部は半透過ミラーを用いた構成として、ミラー部の背面に表示デバイス例えば液晶表示素子や有機ＥＬ表示素子，発光ダイオードを用いた表示素子等を設けてもよい。この場合、ミラー部では、表示部で表示された周辺領域の画像と共に背面の表示デバイスで表示された画像を同時に視認できる。したがって、背面の表示デバイスで種々の情報を表示すれば、運転者は周辺領域を確認しながら情報を同時に読み取ることができる。背面の表示デバイスで表示する情報は、表示部に表示された周辺領域画像に関連した情報（例えば判定された運転者の指示や判別された視認範囲のモード等）であってもよく、運転状況等に関連した情報（ナビゲーション指示情報等）等であってもよい。 Further, the mirror unit may be configured by using a semi-transmissive mirror, and a display device such as a liquid crystal display element, an organic EL display element, or a display element using a light emitting diode may be provided on the back surface of the mirror unit. In this case, in the mirror unit, the image of the peripheral area displayed on the display unit and the image displayed on the rear display device can be visually recognized at the same time. Therefore, if various information is displayed on the display device on the back surface, the driver can read the information at the same time while checking the surrounding area. The information displayed on the rear display device may be information related to the peripheral area image displayed on the display unit (for example, a determined driver's instruction or a determined visual range mode, etc.), and the driving status. Etc. (navigation instruction information, etc.) and the like.
さらに、ミラー部は、半透過ミラーが半透過調光機能を有する構成、または半透過ミラーの背面にさらに透過光の光調光デバイスを配置した構成としてもよい。このような構成とすれば、ミラー部の背面に設けられた表示デバイスの表示画像の見え具合を半透過調光機能や光調光デバイスを利用して調整することが可能となる。したがって、周辺領域の確認を行いながら種々の情報を容易に読み取ることができるように情報を表示できる。 Further, the mirror portion may have a configuration in which the semitransmissive mirror has a semitransmissive dimming function, or a configuration in which a light dimming device for transmitted light is further arranged on the back surface of the semitransmissive mirror. With such a configuration, it is possible to adjust the appearance of the display image of the display device provided on the back surface of the mirror unit by using the semitransparent dimming function or the light dimming device. Therefore, the information can be displayed so that various information can be easily read while checking the peripheral area.
また、上述の実施の形態では、バックミラーに相当する機能を実現する場合について例示した。しかし、周辺領域の視認はバックミラーに限らずルームミラーで行われることから、ルームミラーに相当する機能を実現してもよい。次に、他の実施の形態として、ルームミラーに相当する機能を実現する場合について説明する。なお、この場合、表示部やミラー部等の配置は必ずしも従来のミラーに相当する配置にこだわらなくても良く、例えばダッシュボード上のセンターメーターやコンソールパネル等の近傍位置等に配置してもよい。 Further, in the above-described embodiment, a case where a function corresponding to a rear-view mirror is realized has been illustrated. However, since the peripheral area is visually recognized not only by the rear-view mirror but also by the rear-view mirror, a function corresponding to the rear-view mirror may be realized. Next, as another embodiment, a case where a function corresponding to a rearview mirror is realized will be described. In this case, the arrangement of the display unit, the mirror unit, etc. does not necessarily have to be the arrangement corresponding to the conventional mirror, and may be arranged at a position near the center meter, console panel, etc. on the dashboard, for example. ..
まず、１台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合について説明する。図３６は、１台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合の構成を例示している。例えば図３６の（Ａ）に示すように、車両の後部に１台の周辺領域撮像部を設けて車両の後方を撮像して、周辺領域撮像部１１で取得された周辺領域の画像を運転者ＤＲが確認できるようにする。なお、図３６の（Ａ）では、周辺領域の画像を表示する表示部は省略している。
First, a case where a function corresponding to a rear-view mirror is realized by using one peripheral region imaging unit will be described. FIG. 36 illustrates a configuration in which a function corresponding to a rearview mirror is realized by using one peripheral region imaging unit. For example, as shown in FIG. 36 (A), one peripheral region imaging unit is provided at the rear of the vehicle to image the rear of the vehicle, and the driver captures an image of the peripheral region acquired by the peripheral
また、周辺領域撮像部１１で取得された周辺画像を運転者ＤＲが目視する場合でも、ルームミラー６１に映る周辺領域と同等の距離感を維持できるようにする。例えば、周辺領域撮像部１１で撮像された領域（周辺領域撮像部１１で取得される周辺画像の水平方向の画角）ＡＲｕは、ルームミラー６１に映る周辺領域の水平方向の視野領域ＡＲｒｍと略等しくする。このようにすれば、１台の周辺領域撮像部を用いてルームミラーに相当する機能を実現できる。
Further, even when the driver DR visually observes the peripheral image acquired by the peripheral
ところで、図３６の（Ａ）に示すように後続車ＯＢｃや人物ＯＢｐが位置している場合、ルームミラー６１に映る周辺画像は図３６の（Ａ）の視野領域ＡＲｒｍの画像であることから例えば図３６の（Ｂ）に示す画像となる。また、周辺領域撮像部１１で撮像される周辺領域は図３６の（Ａ）の周辺領域ＡＲｕであることから例えば図３６の（Ｃ）に示す画像となる。すなわち、周辺領域撮像部１１で撮像される周辺領域の画像では、ルームミラー６１に映る周辺画像に対して車両近傍で死角となる領域が大きいため、図３６の（Ｃ）に示すように人物ＯＢｐを確認することができない。
By the way, when the following vehicle OBc or the person OBp is located as shown in FIG. 36 (A), the peripheral image reflected on the
そこで、図３７に示すように、複数台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する。例えば車両の左側に周辺領域撮像部１１ｇ、車両の右側に周辺領域撮像部１１ｈを設けてそれぞれの周辺領域撮像部で後方を撮像してルームミラーに相当する機能を実現する場合に、図３６の場合に比べて死角を少なくする。なお、領域ＡＲｒｍはルームミラー６１に映る周辺画像の水平方向の視野領域、領域ＡＲｕｇは左側の周辺領域撮像部１１ｇで取得された周辺画像の水平方向の視野領域、領域ＡＲｕｈは右側の周辺領域撮像部１１ｈで取得された周辺画像の水平方向の視野領域である。このようにすれば、周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合に、周辺領域撮像部１１ｇと周辺領域撮像部１１ｈで取得された周辺領域の画像を合成することで、車両近傍で死角となる領域が大きくなってしまうことを防ぐことができる。
Therefore, as shown in FIG. 37, a function corresponding to a rear-view mirror is realized by using a plurality of peripheral region imaging units. For example, in the case where the peripheral region imaging unit 11g is provided on the left side of the vehicle and the peripheral
また、周辺領域撮像部１１ｇと周辺領域撮像部１１ｈで取得された周辺領域の画像は視差を生じていることから、視差の違いを打ち消して周辺画像を合成表示することは困難である。そこで、周辺領域の画像の合成では、視差の違いが目立たないように画像の合成処理を人間工学的に容易に行えるようにする。
Further, since the images of the peripheral region acquired by the peripheral region imaging unit 11g and the peripheral
図３８は、ルームミラーよりも死角を少なくした場合の構成を例示している。車両の左側には周辺領域撮像部１１ｊ、車両の右側には周辺領域撮像部１１ｋが設けられている。周辺領域撮像部１１ｊは、取得される周辺画像の水平方向の視野領域（画角）が、ルームミラー６１に映る周辺画像の水平方向の視野領域ＡＲｒｍに含まれる領域ＡＲｕｊ１と、視野領域ＡＲｒｍより左外側の領域ＡＲｕｊ２を含むように設定されている。周辺領域撮像部１１ｋは、取得される周辺画像の水平方向の視野領域（画角）が、ルームミラー６１に映る周辺画像の水平方向の視野領域ＡＲｒｍに含まれる領域ＡＲｕｋ１と、視野領域ＡＲｒｍより右外側の領域ＡＲｕｋ２を含むように設定されている。また、車両の後方位置では、領域ＡＲｕｊ１と領域ＡＲｕｋ１の少なくとも一方に視野領域ＡＲｒｍが含まれるように設定されている。
FIG. 38 illustrates a configuration in which the blind spot is smaller than that of the rearview mirror. A peripheral region imaging unit 11j is provided on the left side of the vehicle, and a peripheral
上述の表示制御部２０の表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１ｊ，１１ｋで取得された周辺画像から画像を切り出して結合する。制御処理部３５は、係合後の画像において周辺領域が連続しているように画像の切り出しを制御する。さらに制御処理部３５は、運転者動き判別部２１の判別結果に基づき画像の切り出し位置や結合位置を運転者の指示に応じて移動する。
The
制御処理部３５は、例えば周辺領域撮像部１１ｊで取得された周辺画像における領域ＡＲｍｊの画像と、周辺領域撮像部１１ｋで取得された周辺画像における領域ＡＲｍｋの画像を結合することで、図３８の（Ｂ）に示すように、領域ＡＲｒｍを含む周辺領域を確認できるようになる。また、視差の違いを打ち消して合成表示する処理を行わなくとも、領域ＡＲｍｊの画像と領域ＡＲｍｋの画像を結合するだけで周辺領域の確認に用いる画像を生成できるので、周辺領域の確認用の画像を容易に生成できる。
The
また、画像の結合では、画像の結合位置を基準とした所定範囲において、所謂ブレンド処理を行い、周辺領域撮像部１１ｊで取得された周辺画像と周辺領域撮像部１１ｋで取得された周辺画像の混合比を連続的に変化させる。このような処理を行えば、結合部分を目立たなくできる。
Further, in the image combination, a so-called blending process is performed in a predetermined range based on the image combination position, and the peripheral image acquired by the peripheral region imaging unit 11j and the peripheral image acquired by the peripheral
また、制御処理部３５は、運転者動き判別部２１の判別結果に基づき画像の切り出し位置を可変させて、運転者ＤＲの位置が例えば左右に移動した場合、ルームミラー６１に映る周辺領域の移動と同様に画像の切り出しを行う領域を移動させる。このようにすれば、運転者が動きを生じてもバックミラーに相当する機能を実現できる。
Further, the
ところで、周辺領域撮像部１１ｊで取得された周辺画像と周辺領域撮像部１１ｋで取得された周辺画像の結合では、右視点の画像と左視点の画像が結合されることから、後方の車両や人物が結合位置にある場合、車両や人物等の画像が違和感のある画像となってしまうおそれがある。特に、車両や人物等が近接していると、視差が大きいため結合部分で画像の違和感が顕著となってしまう。そこで、制御処理部３５は、運転者動き判別部２１の判別結果に基づき、運転者からの指示に応じて結合位置を変更できるようにする。
By the way, in the combination of the peripheral image acquired by the peripheral region imaging unit 11j and the peripheral image acquired by the peripheral
図３９は、画像の結合位置の切り替えを説明するための図である。図３９の（Ａ）に示すように、周辺領域撮像部１１ｊで取得された周辺画像と周辺領域撮像部１１ｋで取得された周辺画像の結合位置が位置Ｐｂ１である場合、後続車ＯＢｃや人物ＯＢｐの画像領域に位置Ｐｂ１が含まれていないことから、表示された周辺画像によって、後続車ＯＢｃや人物ＯＢｐを容易に確認できる。しかし、結合位置が位置Ｐｂ１で固定されており、図３９の（Ｂ）に示すように、人物ＯＢｐの画像領域が位置Ｐｂ１となると、人物ＯＢｐの左視点の画像と右視点の画像が結合された画像となり、人物ＯＢｐを正しく判別することが困難になってしまうおそれがある。そこで、制御処理部３５は、運転者の指示に応じて結合位置を変更する。例えば結合位置を左方向に移動する運転者の指示を判別した場合、図３９の（Ｃ）に示すように、結合位置を左方向に移動する。このように結合位置の移動が行われると、人物ＯＢｐは周辺領域撮像部１１ｋで取得された周辺画像のみで表示されることから、人物ＯＢｐを容易に正しく判別できるようになる。
FIG. 39 is a diagram for explaining switching of the combined position of the images. As shown in FIG. 39 (A), when the combination position of the peripheral image acquired by the peripheral region imaging unit 11j and the peripheral image acquired by the peripheral
また、制御処理部３５は、結合位置を示す表示（例えばマーカー等の表示）を行うようにすれば、運転者は、結合位置と後続車や人物等の位置関係を容易に把握できることから、結合位置の移動が必要であるか否か、また結合位置をいずれの方向に移動することが好ましいか容易に判別できるようになる。なお、結合位置の初期位置は、予め設定されている位置またはユーザが設定した位置に自動的に設定してもよく、前回の運転終了時に設定されていた位置としてもよい。
Further, if the
また、運転者の指示は、例えば上述の運転者の動作に対応させたヒューマンマシンインターフェースを用いて、運転者の操作指示ジェスチャーから指示を検出する。このようにすれば、運転者は頭部や視線を移動させるだけで容易に結合位置を所望の方向に移動させることが可能となる。 Further, the driver's instruction detects the instruction from the driver's operation instruction gesture by using, for example, the human-machine interface corresponding to the above-mentioned driver's operation. In this way, the driver can easily move the coupling position in a desired direction simply by moving the head or the line of sight.
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、上述のような処理を行うシーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 The series of processes described in the specification can be executed by hardware, software, or a composite configuration of both. When executing the processing by software, the program that records the sequence of performing the above processing is installed in the memory in the computer embedded in the dedicated hardware and executed. Alternatively, the program can be installed and executed on a general-purpose computer capable of executing various processes.
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、信号処理半導体内蔵または個別のＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。 For example, the program can be pre-recorded on a hard disk as a recording medium, an SSD (Solid State Drive), a built-in signal processing semiconductor, or an individual ROM (Read Only Memory). Alternatively, the program is a flexible disc, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disc, semiconductor memory card. It can be temporarily or permanently stored (recorded) on a removable recording medium such as an optical disc. Such a removable recording medium can be provided as so-called package software.
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線、自己診断機能またはOBD（オン・ボード・ダイアグノースティックス）端子経由で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストール、アップデートすることができる。 In addition to installing the program on the computer from a removable recording medium, the program can be wirelessly or wired to the computer via a network such as LAN (Local Area Network) or the Internet from the download site, self-diagnosis function, or OBD (on-board diagnosis). You may transfer via the Nostics) terminal. The computer can receive the program transferred in this way and install and update it on a recording medium such as a built-in hard disk.
また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。 In addition, the present technology should not be construed as being limited to the embodiments of the above-mentioned technology. The embodiment of this technique discloses the present technology in the form of an example, and it is obvious that a person skilled in the art can modify or substitute the embodiment without departing from the gist of the present technique. That is, in order to judge the gist of the present technology, the scope of claims should be taken into consideration.
この技術の車両用表示装置では、車両の周辺領域を撮像し周辺領域画像を生成する複数の周辺領域撮像部と、複数の周辺領域撮像部によって生成された視野領域の異なる複数の周辺領域画像に対して、切り出し処理および結合処理を実行して結合画像を生成する結合画像生成部と、結合画像生成部によって生成された結合画像を表示する表示部と、車両の運転者による指示を判別する運転者指示判別部が設けられて、結合画像生成部では、運転者指示判別部によって判別される指示に応じて、結合画像の切り出し位置または結合位置の少なくともいずれか一方が変更される。このため、車両の周辺領域を撮像して表示部に表示することで周辺領域を確認できるようにした場合でも、車両の周辺領域を容易に視認できるようになり、自動車やトラック、バス等の車両に適している。
In the vehicle display device of this technology, a plurality of peripheral area imaging units that image the peripheral region of the vehicle and generate a peripheral region image, and a plurality of peripheral region images having different viewing regions generated by the plurality of peripheral region imaging units are used. On the other hand, the combined image generation unit that executes the cutting process and the combining process to generate the combined image, the display unit that displays the combined image generated by the combined image generation unit, and the operation that discriminates the instruction by the driver of the vehicle. A person instruction discriminating unit is provided, and in the combined image generation unit, at least one of the cutout position and the combined position of the combined image is changed according to the instruction determined by the driver instruction discriminating unit. Therefore, even when the peripheral area of the vehicle can be confirmed by imaging the peripheral area of the vehicle and displaying it on the display unit, the peripheral area of the vehicle can be easily visually recognized, and the vehicle such as an automobile, a truck, or a bus can be easily visually recognized. Suitable for.
１０・・・表示装置
１１，１１ａ，１１ｂ，１１・・・周辺領域撮像部
１２・・・運転者撮像部
１３・・・運転状況検出センサ
１５・・・運転者識別情報取得部
２０・・・表示制御部
２１・・・運転者動き判別部
２２・・・運転状況判別部
２３・・・認識部
２４・・・振り向き判定部
２５・・・指示動作判定部
２６・・・運転者認証部
３５・・・制御処理部
４１・・・表示調整部
４２・・・輝度調整部
４３・・・警告表示重畳部
５０・・・表示部
５５・・・ミラー部
６１・・・ルームミラー
９１・・・バックミラー
２４１・・・振り向き判定処理部
２４２・・・振り向き判定学習部
２４３・・・判定基準値記憶部
２５１・・・指示動作判定処理部
２５２・・・指示動作判定学習部
２５３・・・判定基準値記憶部
10 ...
Claims (19)
前記結合画像生成部によって生成された前記結合画像を表示部に表示するよう制御する表示制御部と、
車両の運転者による指示を判別した判別結果を受信する判別結果受信部と、
前記判別結果は、前記運転者の動作に関する判別基準値を用いて、前記運転者が行った動作によって示された前記指示の判別であって、
指示として判別する前記運転者の動作は、車両の運行態様に応じて設定される運転者の所定の動作であって、
前記結合画像生成部は、判別された前記指示に応じて、前記結合画像の切り出し位置または結合位置の少なくともいずれか一方を変更する
情報処理装置。 A combined image generation unit that generates a combined image by executing cutout processing and combining processing on a plurality of peripheral region images having different visual field regions generated by the plurality of peripheral region imaging units.
A display control unit that controls the display of the combined image generated by the combined image generation unit on the display unit.
A discrimination result receiving unit that receives the discrimination result of discriminating the instruction by the driver of the vehicle, and
The discrimination result is the discrimination of the instruction indicated by the operation performed by the driver using the discrimination reference value regarding the operation of the driver.
The driver's action determined as an instruction is a predetermined driver's action set according to the operation mode of the vehicle.
The combined image generation unit is an information processing device that changes at least one of a cutout position and a combined position of the combined image in response to the determined instruction.
請求項１に記載の情報処理装置。 The information according to claim 1, wherein the combined image generation unit moves the combined position so that the combined position does not overlap in a direction away from the object when an object exists at the combined position of the combined image. Processing equipment.
請求項１に記載の情報処理装置。 The information processing device according to claim 1, wherein the combined image generation unit moves the cutout position so that the cutout position does not overlap with the object when an object exists at the cutout position of the combined image.
請求項１から３のいずれかに記載の情報処理装置。 The information according to any one of claims 1 to 3, wherein the combined image generation unit changes the mixing ratio of a plurality of the peripheral region images having different visual field regions in a predetermined range based on the combined position of the peripheral region images. Processing equipment.
請求項１から４のいずれかに記載の情報処理装置。 The information processing device according to any one of claims 1 to 4, wherein the combined image generation unit sets an initial position of a combined position of the combined images to a preset position or a position set by a user.
請求項１から４のいずれかに記載の情報処理装置。 The information processing device according to any one of claims 1 to 4, wherein the combined image generation unit sets an initial position of a combined position of the combined images to a position set at the end of the previous operation.
請求項１から６のいずれかに記載の情報処理装置。 The information processing device according to any one of claims 1 to 6, wherein the display unit is installed at any of a rearview mirror position, a center meter on a dashboard, and a position near a console panel.
請求項１から７のいずれかに記載の情報処理装置。 The information processing device according to any one of claims 1 to 7, wherein the combined image generation unit displays a combined position of the combined images.
請求項１に記載の情報処理装置。 The information processing device according to claim 1, wherein the discrimination reference value is the discrimination reference value set for each driver.
前記判別結果は、前記運転者の動作と、前記判別基準値の閾値との比較に基づいて判別された指示である
請求項１に記載の情報処理装置。 The discrimination reference value has a threshold value of at least one of the instruction speed, the instruction direction, the instruction operation amount, the number of instructions, and the instruction time of the driver's predetermined operation with respect to the display unit.
The information processing device according to claim 1, wherein the discrimination result is an instruction determined based on a comparison between the driver's operation and the threshold value of the discrimination reference value.
請求項１０に記載の情報処理装置。 The information processing device according to claim 10, wherein the discrimination reference value learns the instruction characteristic of the driver and is set for each driver according to the instruction characteristic peculiar to the driver.
請求項１に記載の情報処理装置。 The information processing device according to claim 1, wherein the discrimination reference value is set according to the speed of the vehicle.
請求項１に記載の情報処理装置。 The information processing device according to claim 1, wherein the discrimination reference value is set according to the operation mode of the vehicle.
請求項１または１３に記載の情報処理装置。 The information processing device according to claim 1 or 13, wherein the operation mode of the vehicle is any one or more of high-speed running, low-speed running, forward, backward, parking, and merging.
請求項１に記載の情報処理装置。 The information processing device according to claim 1, wherein it is determined that the driver is visually recognizing the direction of the display unit, and based on the determination, the detection of the predetermined operation is started.
請求項１４に記載の情報処理装置。 The information processing device according to claim 14, wherein the determination of the instruction is performed by determining the driver's instruction after a predetermined time has elapsed after determining that the driver is visually recognizing the direction of the display unit.
請求項１に記載の情報処理装置。 The information processing device according to claim 1, wherein the predetermined operation includes at least one or more of the driver's gesture, the movement of the line of sight, and the movement of the head.
前記結合画像生成部によって生成された前記結合画像を表示部に表示するよう表示制御部で制御することと、
車両の運転者による指示を判別した判別結果を判別結果受信部で受信することと、
前記判別結果は、前記運転者の動作に関する判別基準値を用いて、前記運転者が行った動作によって示された前記指示の判別であって、
指示として判別する前記運転者の動作は、車両の運行態様に応じて設定される運転者の所定の動作であって、
前記結合画像生成部は、判別された前記指示に応じて、前記結合画像の切り出し位置または結合位置の少なくともいずれか一方を変更すること
を含む情報処理方法。 The combined image generation unit generates a combined image by executing cutout processing and combining processing on a plurality of peripheral region images having different visual field regions generated by the plurality of peripheral region imaging units.
Controlling the display control unit to display the combined image generated by the combined image generation unit on the display unit, and
The discrimination result receiving unit receives the discrimination result of discriminating the instruction by the driver of the vehicle, and
The discrimination result is the discrimination of the instruction indicated by the operation performed by the driver using the discrimination reference value regarding the operation of the driver.
The driver's action determined as an instruction is a predetermined driver's action set according to the operation mode of the vehicle.
The information processing method including changing at least one of a cutout position and a combined position of the combined image in response to the determined instruction.
複数の周辺領域撮像部によって生成された視野領域の異なる複数の周辺領域画像に対して、切り出し処理および結合処理を実行して結合画像を生成する手順と、
前記結合処理を実行して生成された前記結合画像を表示部に表示するよう制御する手順と、
車両の運転者による指示を判別した判別結果を受信する手順と、
前記判別結果は、前記運転者の動作に関する判別基準値を用いて、前記運転者が行った動作によって示された前記指示の判別であって、
指示として判別する前記運転者の動作は、車両の運行態様に応じて設定される運転者の所定の動作であって、
判別された前記指示に応じて、前記結合画像の切り出し位置または結合位置の少なくともいずれか一方を変更する手順とを
前記コンピュータで実行させるプログラム。 A program that causes a computer to generate combined images.
A procedure for generating a combined image by executing cutout processing and combining processing on a plurality of peripheral region images having different visual field regions generated by the plurality of peripheral region imaging units.
A procedure for controlling the combined image generated by executing the combined process to be displayed on the display unit, and
The procedure for receiving the discrimination result of discriminating the instruction by the driver of the vehicle, and
The discrimination result is the discrimination of the instruction indicated by the operation performed by the driver using the discrimination reference value regarding the operation of the driver.
The driver's action determined as an instruction is a predetermined driver's action set according to the operation mode of the vehicle.
A program that causes the computer to execute a procedure for changing at least one of a cutout position and a combined position of the combined image according to the determined instruction.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018147490A JP6939737B2 (en) | 2014-08-12 | 2018-08-06 | Information processing equipment and information processing methods and programs |
| JP2021137818A JP7230964B2 (en) | 2018-08-06 | 2021-08-26 | Information processing device, information processing method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014164179A JP6384188B2 (en) | 2014-08-12 | 2014-08-12 | Vehicle display device, display control method, and rear monitoring system |
| JP2018147490A JP6939737B2 (en) | 2014-08-12 | 2018-08-06 | Information processing equipment and information processing methods and programs |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014164179A Division JP6384188B2 (en) | 2014-08-12 | 2014-08-12 | Vehicle display device, display control method, and rear monitoring system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021137818A Division JP7230964B2 (en) | 2018-08-06 | 2021-08-26 | Information processing device, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018165155A JP2018165155A (en) | 2018-10-25 |
| JP6939737B2 true JP6939737B2 (en) | 2021-09-22 |
Family
ID=63922320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018147490A Active JP6939737B2 (en) | 2014-08-12 | 2018-08-06 | Information processing equipment and information processing methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6939737B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020129146A1 (en) * | 2018-12-18 | 2020-06-25 | 三菱電機株式会社 | Display control device and display control method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7466338B2 (en) * | 2004-02-26 | 2008-12-16 | Yiling Xie | Wide-angled image display system for automobiles |
| JP4639753B2 (en) * | 2004-10-25 | 2011-02-23 | 日産自動車株式会社 | Driving assistance device |
| JP4742733B2 (en) * | 2005-08-05 | 2011-08-10 | 日産自動車株式会社 | Image joint processing apparatus and image joint processing method |
| JP2008018760A (en) * | 2006-07-11 | 2008-01-31 | Honda Motor Co Ltd | Driving support device |
| EP2077667B1 (en) * | 2006-10-11 | 2012-07-25 | Panasonic Corporation | Video display apparatus and video display method |
| JP2010179850A (en) * | 2009-02-06 | 2010-08-19 | Toyota Motor Corp | Vehicular display device |
| JP5073703B2 (en) * | 2009-04-03 | 2012-11-14 | 株式会社デンソー | Vehicle display device |
| JP5500877B2 (en) * | 2009-06-15 | 2014-05-21 | アルパイン株式会社 | In-vehicle image display device and image trimming method |
-
2018
- 2018-08-06 JP JP2018147490A patent/JP6939737B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018165155A (en) | 2018-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6384188B2 (en) | Vehicle display device, display control method, and rear monitoring system | |
| JP6686886B2 (en) | Signal processing device, signal processing method, and monitoring system | |
| US20210316661A1 (en) | Image display device, image display method, and moving object | |
| WO2018147066A1 (en) | Display control apparatus for vehicles | |
| CN111461096A (en) | Display device for vehicle | |
| CN111216620B (en) | Vehicle lamp control method and device and vehicle | |
| JP6939737B2 (en) | Information processing equipment and information processing methods and programs | |
| JP4720979B2 (en) | Vehicle monitoring device | |
| JP7230964B2 (en) | Information processing device, information processing method, and program | |
| JP7130688B2 (en) | vehicle display | |
| JP2009120149A (en) | Vehicular lamp control system | |
| US20230278491A1 (en) | Indoor light control system and control method thereof | |
| JP6912757B2 (en) | Vehicle headlight controller | |
| JP2019043408A (en) | Headlight control device for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180904 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180904 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6939737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |