JP6921316B2 - Vehicle image processing equipment and image processing method - Google Patents
Vehicle image processing equipment and image processing method Download PDFInfo
- Publication number
- JP6921316B2 JP6921316B2 JP2020518871A JP2020518871A JP6921316B2 JP 6921316 B2 JP6921316 B2 JP 6921316B2 JP 2020518871 A JP2020518871 A JP 2020518871A JP 2020518871 A JP2020518871 A JP 2020518871A JP 6921316 B2 JP6921316 B2 JP 6921316B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mirror
- optical mirror
- electronic
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 137
- 238000003672 processing method Methods 0.000 title claims 3
- 230000003287 optical effect Effects 0.000 claims description 278
- 238000001514 detection method Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 7
- 230000004048 modification Effects 0.000 description 26
- 238000012986 modification Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Description
本発明は、車両の電子ミラーと光学ミラーとの併用システムにおける、光学ミラー用の画像の画像処理に関するものである。 The present invention relates to image processing of an image for an optical mirror in a combined system of an electronic mirror and an optical mirror of a vehicle.
一般的な車両には、例えばサイドミラー（ドアミラーまたはフェンダーミラー）、リアビューミラー（「ルームミラー」とも呼ばれる）など、車両の運転者が後方あるいは側方を視認するための光学ミラーが設けられている。近年、車両の光学ミラーの代替手段として、車両の後方あるいは側方を撮影した画像を車内の表示装置に表示する電子ミラーの開発が進んでいる。電子ミラーは死角の少ない広画角な画像を表示できるという長所があるが、表示された物体の遠近感を把握しにくいという短所もある。そのため、光学ミラーと電子ミラー双方の長所を生かすため、両者を併用したシステムが提案されている（例えば下記の特許文献１）。 Typical vehicles are equipped with optical mirrors, such as side mirrors (door mirrors or fender mirrors) and rear view mirrors (also called "room mirrors"), that allow the driver of the vehicle to see the rear or side. .. In recent years, as an alternative to the optical mirror of a vehicle, the development of an electronic mirror that displays an image of the rear or side of the vehicle on a display device inside the vehicle has been progressing. The electronic mirror has the advantage of being able to display a wide angle of view image with few blind spots, but it also has the disadvantage of making it difficult to grasp the perspective of the displayed object. Therefore, in order to take advantage of both the optical mirror and the electronic mirror, a system using both of them has been proposed (for example, Patent Document 1 below).
通常、車両の運転者から光学ミラーを通して見える範囲（以下「光学ミラーの視野」という）と、電子ミラー用のカメラが撮影した画像（以下「電子ミラー画像」という）の範囲とは互いに異なる。そのため、光学ミラーと電子ミラーとを併用した場合、光学ミラーに映る鏡像と電子ミラー画像との関係を瞬時に把握するのが難しいことがある。 Normally, the range that can be seen through the optical mirror from the driver of the vehicle (hereinafter referred to as "the field of view of the optical mirror") and the range of the image taken by the camera for the electronic mirror (hereinafter referred to as "electronic mirror image") are different from each other. Therefore, when the optical mirror and the electronic mirror are used in combination, it may be difficult to instantly grasp the relationship between the mirror image reflected on the optical mirror and the electronic mirror image.
引用文献１では、この問題を解決するために、電子ミラー画像に映った物体の大きさが、光学ミラーに映った当該物体の大きさと同等になるように、表示装置に電子ミラー画像を拡大して表示する技術が提案されている。しかし、電子ミラー画像を拡大表示すると、表示装置に表示される電子ミラー画像の範囲が狭くなるため、高画角な画像を表示できるという電子ミラーの長所が損なわれる。 In Cited Document 1, in order to solve this problem, the electronic mirror image is enlarged on the display device so that the size of the object reflected in the electronic mirror image is equal to the size of the object reflected in the optical mirror. A technique for displaying images has been proposed. However, when the electronic mirror image is enlarged and displayed, the range of the electronic mirror image displayed on the display device is narrowed, so that the advantage of the electronic mirror that an image having a high angle of view can be displayed is impaired.
本発明は以上のような課題を解決するためになされたものであり、光学ミラーと電子ミラーとを併用した車両用ミラーシステムにおいて、光学ミラーに映る鏡像と画面に表示された電子ミラー画像との関係を運転者が容易に把握できるようにすることを目的とする。 The present invention has been made to solve the above problems, and in a vehicle mirror system in which an optical mirror and an electronic mirror are used in combination, a mirror image reflected on the optical mirror and an electronic mirror image displayed on the screen are used. The purpose is to make it easier for the driver to understand the relationship.
本発明に係る車両用画像処理装置は、車両の電子ミラー用カメラが撮影した電子ミラー画像を取得する電子ミラー画像取得部と、車両の光学ミラーの向きの情報を取得する光学ミラー方向取得部と、光学ミラーの向きに基づいて、電子ミラー画像における、車両の運転者から光学ミラーを通して見える範囲である光学ミラーの視野に対応する領域を特定する光学ミラー視野特定部と、電子ミラー画像に、光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成する合成処理部と、光学ミラー視野画像が合成された電子ミラー画像を車両の表示装置に表示させる表示処理部と、を備え、表示処理部は、電子ミラー画像の一部分である表示領域を表示装置に表示させ、光学ミラーの向きに応じて、電子ミラー画像における表示領域の位置を設定するものである。
The vehicle image processing device according to the present invention includes an electronic mirror image acquisition unit that acquires an electronic mirror image taken by a vehicle electronic mirror camera, and an optical mirror direction acquisition unit that acquires information on the orientation of the vehicle's optical mirror. Based on the orientation of the optical mirror, the optical mirror field identification unit that specifies the area corresponding to the field of view of the optical mirror, which is the range that the driver of the vehicle can see through the optical mirror in the electronic mirror image, and the electronic mirror image It is provided with a composition processing unit that synthesizes an optical mirror field image, which is an image indicating an area corresponding to the field of the mirror, and a display processing unit that displays an electronic mirror image in which the optical mirror field image is combined on a vehicle display device. the display processing section displays on the display device a portion at which the display area of the digital mirror image, according to the direction of the optical mirror, a shall set the position of the display area in an electronic mirror image.
本発明に係る車両用画像処理装置によれば、車両の表示装置に表示される電子ミラー画像に、光学ミラーの視野に対応する領域を示す画像（光学ミラー視野画像）が合成されるため、光学ミラーに映る鏡像と表示装置の画面に表示された電子ミラー画像との関係を運転者に明確に示すことができる。 According to the vehicle image processing device according to the present invention, an image showing a region corresponding to the field of view of the optical mirror (optical mirror field image) is combined with the electronic mirror image displayed on the vehicle display device, so that optical The relationship between the mirror image reflected on the mirror and the electronic mirror image displayed on the screen of the display device can be clearly shown to the driver.
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。 Objectives, features, aspects, and advantages of the present invention will be made more apparent with the following detailed description and accompanying drawings.
＜実施の形態１＞
図１は、実施の形態１に係る車両用ミラーシステムの構成を示すブロック図である。この車両用ミラーシステムは、光学ミラーと電子ミラーとを併用したシステムである。図１のように、当該車両用ミラーシステムは、車両用画像処理装置１０（以下、単に「画像処理装置１０」という）と、それに接続された電子ミラー用カメラ２１、光学ミラー２２、光学ミラー調整装置２３および表示装置２４とを備えている。以下、当該車両用ミラーシステムを搭載した車両を「自車両」といい、自車両以外の車両を「他車両」という。<Embodiment 1>
FIG. 1 is a block diagram showing a configuration of a vehicle mirror system according to the first embodiment. This vehicle mirror system is a system in which an optical mirror and an electronic mirror are used in combination. As shown in FIG. 1, the vehicle mirror system includes a vehicle image processing device 10 (hereinafter, simply referred to as “
光学ミラー２２は、例えばサイドミラーやリアビューミラーなど、運転者が自車両の後方あるいは側方を視認するための物理的な鏡である。電子ミラー用カメラ２１は、電子ミラー用の画像（電子ミラー画像）を撮影する撮像装置である。電子ミラー用カメラ２１が撮影する範囲には、運転者から光学ミラー２２を通して見える範囲である光学ミラーの視野が含まれる。すなわち、電子ミラー用カメラ２１は、自車両の後方あるいは側方を、光学ミラーの視野よりも広い画角で撮影する。電子ミラー用カメラ２１が撮影した電子ミラー画像は、画像処理装置１０に入力される。
The
本実施の形態では、光学ミラー２２は車両の左側のサイドミラーであり、電子ミラー用カメラ２１は車両の左側後方を撮影するものとする。
In the present embodiment, the
光学ミラー調整装置２３は、光学ミラー２２の電動駆動装置（例えばリモートコントローラなど）である。運転者は、光学ミラー調整装置２３を操作することで、光学ミラー２２の向きを調整することができる。また、光学ミラー調整装置２３は、光学ミラー２２の現在の向きを記憶しており、画像処理装置１０は光学ミラー２２の向きの情報を光学ミラー調整装置２３から取得することができる。
The optical
表示装置２４は、画像処理装置１０が電子ミラー用カメラ２１から取得した電子ミラー画像を表示するためのものであり、例えば液晶表示装置などにより構成される。表示装置２４の設置場所は、運転者から視認しやすい位置が好ましく、例えば自車両のインストルメントパネルやセンターパネルなどが考えられる。
The
画像処理装置１０は、電子ミラー用カメラ２１から取得した電子ミラー画像を、表示装置２４に表示させる。図１のように、画像処理装置１０は、電子ミラー画像取得部１１、光学ミラー方向取得部１２、光学ミラー視野特定部１３、合成処理部１４および表示処理部１５を備えている。
The
電子ミラー画像取得部１１は、電子ミラー用カメラ２１が撮影した電子ミラー画像を取得する。光学ミラー方向取得部１２は、光学ミラー２２の向きの情報を、光学ミラー調整装置２３から取得する。
The electronic mirror
光学ミラー視野特定部１３は、電子ミラー用カメラ２１の撮影範囲を記憶しており、光学ミラー２２の向きに基づいて、電子ミラー画像における光学ミラー２２の視野に対応する領域を特定する。
The optical mirror field
合成処理部１４は、電子ミラー画像取得部１１が取得した電子ミラー画像に、光学ミラー視野特定部１３が特定した光学ミラー２２の視野に対応する領域を示す画像（以下「光学ミラー視野画像」という）を合成する。表示処理部１５は、光学ミラー視野画像が合成された電子ミラー画像を、表示装置２４に表示させる。
The
図２に、画像処理装置１０が表示装置２４に表示させる画面の例を示す。ここでは、表示装置２４が、自車両のインストルメントパネル３０内に、メータ３１，３２と共に配置されているものとする。また、図２の左端には、左側のサイドミラーである光学ミラー２２が示されている。
FIG. 2 shows an example of a screen displayed on the
表示装置２４には、光学ミラー２２の視野に対応する領域を示す光学ミラー視野画像４１が合成された電子ミラー画像４０が表示される。図２において、表示装置２４に表示された電子ミラー画像４０には、自車両Ｖ０のボディ側面と、他車両Ｖ１，Ｖ２とが映り込んでいる。
The
図２のように、表示装置２４に表示された電子ミラー画像４０における光学ミラー視野画像４１の内側の部分は、光学ミラー２２に映った鏡像２２１に対応するものとなる。よって、運転者は、光学ミラー視野画像４１の位置から、表示装置２４に表示された電子ミラー画像４０と光学ミラー２２に映った鏡像２２１との関係を容易に把握することができる。
As shown in FIG. 2, the inner portion of the optical
本実施の形態では、光学ミラー方向取得部１２は、光学ミラー２２の向きの情報を継続的に光学ミラー調整装置２３から取得し、光学ミラー視野特定部１３は、電子ミラー画像における光学ミラー２２の視野に対応する領域を継続的に特定するものとする。そして、合成処理部１４は、電子ミラー画像に光学ミラー視野画像を合成する位置を、光学ミラー２２の視野の動きに合わせて変化させる。
In the present embodiment, the optical mirror
例えば図２の状態から、運転者が光学ミラー調整装置２３を操作して、光学ミラー２２の向きを左へ変化させると、図３のように、表示装置２４の画面上で光学ミラー視野画像４１が左へ移動する。よって、光学ミラー視野画像４１は、電子ミラー画像４０における光学ミラー２２の視野に対応する領域をリアルタイムに示すことができる。
For example, when the driver operates the optical
なお、図２および図３に示した電子ミラー画像４０は一例に過ぎず、電子ミラー画像４０はどのような画像でもよい。例えば、電子ミラー画像４０を、サイドミラーの筐体の形状を有する半透過画像としてもよい。また、実施の形態１では、電子ミラー用カメラ２１の撮影範囲は、光学ミラーの視野よりも広いものとしたが、光学ミラーの視野を部分的に含んでいれば、光学ミラーの視野よりも狭くてもよい。
The
図４は、実施の形態１に係る画像処理装置１０の動作を示すフローチャートである。以下、同図を参照しつつ、画像処理装置１０の動作を説明する。
FIG. 4 is a flowchart showing the operation of the
画像処理装置１０が起動すると、まず、光学ミラー方向取得部１２が、光学ミラー２２の向きの情報を光学ミラー調整装置２３から取得する（ステップＳＴ１０１）。次に、電子ミラー画像取得部１１が、電子ミラー用カメラ２１が撮影した電子ミラー画像を取得する（ステップＳＴ１０２）。
When the
その後、光学ミラー視野特定部１３が、ステップＳＴ１０１で取得した光学ミラー２２の向きに基づいて、ステップＳＴ１０２で取得した電子ミラー画像における光学ミラー２２の視野に対応する領域を特定する（ステップＳＴ１０３）。また、合成処理部１４が、ステップＳＴ１０３で特定された光学ミラー２２の視野に対応する領域を示す光学ミラー視野画像を、電子ミラー画像に合成する（ステップＳＴ１０４）。そして、表示処理部１５が、光学ミラー視野画像が合成された電子ミラー画像を、表示装置２４に表示させる（ステップＳＴ１０５）。
After that, the optical mirror field of
以上のステップＳＴ１０１〜ＳＴ１０５の動作は繰り返し実行される。それにより、表示装置２４に表示される電子ミラー画像と、それに合成された光学ミラー視野画像４１とが、リアルタイムに更新される。
The above operations of steps ST101 to ST105 are repeatedly executed. As a result, the electronic mirror image displayed on the
なお、電子ミラー画像における光学ミラーの視野に対応する領域をより明確に示すために、表示処理部１５は、例えば図５のように、光学ミラー視野画像４１の内側と外側とで、電子ミラー画像４０の表示態様（例えば明るさや色合いなど）に差をつけてもよい。
In order to more clearly show the region corresponding to the field of view of the optical mirror in the electronic mirror image, the
光学ミラー２２の向きによっては、図６や図７のように、光学ミラー視野画像４１の一部が表示装置２４の画面からはみ出すこともある。例えば図８のように、光学ミラー視野画像４１の全部が表示装置２４の画面からはみ出す（光学ミラー視野画像４１が表示装置２４に表示されない）ことも考えられる。その場合には、光学ミラー視野画像４１の全部が表示装置２４の画面からはみ出していることを示す警告画像４２を、表示装置２４に表示させるとよい。
Depending on the orientation of the
また、近年では、インストルメントパネルの全体が表示装置で構成され、インストルメントパネル内のメータが画像として表示される車両もある。その場合、図９のように、電子ミラー画像４０からはみ出した位置に光学ミラー視野画像４１を表示させることもできる。
Further, in recent years, there are some vehicles in which the entire instrument panel is composed of a display device and the meter in the instrument panel is displayed as an image. In that case, as shown in FIG. 9, the optical
図９において、メータ３１，３２は、インストルメントパネル３０としての表示装置２４に表示された画像である。図９のように光学ミラー視野画像４１がメータ３１の画像に重畳表示されるとメータ３１の視認性が悪くなるため、図１０のようにメータ３１の画像の表示位置が、光学ミラー視野画像４１と重畳しないように自動的に移動するようにしてもよい。
In FIG. 9, the
［第１の変形例］
実施の形態１では、画像処理装置１０が図４に示したステップＳＴ１０１〜ＳＴ１０５を繰り返し実行する例を示した。それにより、光学ミラー視野画像は、電子ミラー画像における光学ミラー２２の視野に対応する領域をリアルタイムに示すことができる。[First modification]
In the first embodiment, an example is shown in which the
しかし、運転者が車両の運転中に光学ミラー２２の向きを変えることは希である。そのため、通常は、画像処理装置１０の光学ミラー方向取得部１２が光学ミラー２２の向きを取得する処理（ステップＳＴ１０１）は、起動時に１回のみ行えば足りる。よって、図１１のフローチャートのように、ステップＳＴ１０５の後はステップＳＴ１０２に戻るようにし、ステップＳＴ１０１が画像処理装置１０の起動時のみに実行され、その後はステップＳＴ１０２〜ＳＴ１０５が繰り返し実行されるようにしてもよい。
However, it is rare for the driver to turn the
［第２の変形例］
一般に、車両のサイドミラーの向きは、サイドミラーの端から１／４程度の範囲に車体が映り、サイドミラーの下から１／２もしくは２／３程度の範囲に路面が映るように調整されるのが標準的である。[Second variant]
Generally, the orientation of the side mirrors of the vehicle is adjusted so that the vehicle body is reflected in a range of about 1/4 from the edge of the side mirrors and the road surface is reflected in a range of about 1/2 or 2/3 from the bottom of the side mirrors. Is standard.
本変形例では、図１２に示すように、合成処理部１４が、光学ミラー２２の標準的な視野を示す光学ミラー標準視野画像４３を、光学ミラー視野画像４１とともに電子ミラー画像４０に合成させる。運転者は、光学ミラー視野画像４１が光学ミラー標準視野画像４３に一致するように、光学ミラー２２の向きを調整することで、容易に光学ミラー２２の向きを標準的な向きに設定できる。
In this modification, as shown in FIG. 12, the
［第３の変形例］
電子ミラー用カメラ２１として広画角（例えば２５度）なカメラを採用し、表示装置２４として横幅の広い画面を有する表示装置を採用することで、図１３のような広画角な電子ミラー画像４０を運転者に提示でき、電子ミラーの長所を十分に生かすことができる。[Third variant]
By adopting a camera with a wide angle of view (for example, 25 degrees) as the
通常、電子ミラー画像４０の画角と光学ミラー２２の視野との差が大きいと、表示装置２４に表示された電子ミラー画像４０と光学ミラー２２に映った鏡像との関係を把握しにくくなる。しかし、本変形例では、電子ミラー画像４０に光学ミラー視野画像４１が合成されているため、運転者は、光学ミラー視野画像４１の位置から、電子ミラー画像４０と光学ミラー２２に映った鏡像との関係を容易に把握することができる。
Normally, if the difference between the angle of view of the
［第４の変形例］
実施の形態１では、画像処理装置１０に、電子ミラー用カメラ２１、光学ミラー２２および表示装置２４が１つずつ接続される例を示したが、それらはそれぞれ複数個でもよい。例えば図１４は、画像処理装置１０に、光学ミラー２２として左サイドミラー２２Ｌと右サイドミラー２２Ｒとが光学ミラー調整装置２３を介して接続され、電子ミラー用カメラ２１として左側電子ミラー用カメラ２１Ｌと右側電子ミラー用カメラ２１Ｒとが接続され、表示装置２４として左側表示装置２４Ｌと右側表示装置２４Ｒとが接続された、車両用ミラーシステムの例である。[Fourth variant]
In the first embodiment, an example in which the
電子ミラー画像取得部１１は、左側電子ミラー用カメラ２１Ｌおよび右側電子ミラー用カメラ２１Ｒが撮影した電子ミラー画像を取得する。以下、左側電子ミラー用カメラ２１Ｌおよび右側電子ミラー用カメラ２１Ｒが撮影した電子ミラー画像を、それぞれ「左側電子ミラー画像」、「右側電子ミラー画像」という。
The electronic mirror
光学ミラー方向取得部１２は、左サイドミラー２２Ｌおよび右サイドミラー２２Ｒの向きの情報を、光学ミラー調整装置２３から取得する。
The optical mirror
光学ミラー視野特定部１３は、左サイドミラー２２Ｌおよび右サイドミラー２２Ｒの向きに基づいて、左側電子ミラー画像における左サイドミラー２２Ｌの視野に対応する領域と、右側電子ミラー画像における右サイドミラー２２Ｒの視野に対応する領域とを特定する。
Based on the orientation of the
合成処理部１４は、左側電子ミラー画像４０Ｌに、左サイドミラー２２Ｌの視野に対応する領域を示す画像（以下「左サイドミラー視野画像」という）を合成し、さらに、右側電子ミラー画像４０Ｒに、右サイドミラー２２Ｒの視野に対応する領域を示す画像（以下「右サイドミラー視野画像」という）を合成する。
The
表示処理部１５は、図１５のように、左サイドミラー視野画像４１Ｌが合成された左側電子ミラー画像４０Ｌを、左側表示装置２４Ｌに表示させ、さらに、右サイドミラー視野画像４１Ｒが合成された右側電子ミラー画像４０Ｒを、右側表示装置２４Ｒに表示させる。
As shown in FIG. 15, the
運転者は、左サイドミラー視野画像４１Ｌおよび右サイドミラー視野画像４１Ｒの位置から、左側電子ミラー画像４０Ｌと左サイドミラー２２Ｌに映った鏡像との関係と、右側電子ミラー画像４０Ｒと右サイドミラー２２Ｒに映った鏡像との関係とを、容易に把握することができる。
From the positions of the left side
［第５の変形例］
図１６は、図１５の構成に対し、光学ミラー２２としてさらにリアビューミラー２２Ｂを導入し、電子ミラー用カメラ２１としてさらに自車両の後方を撮影する後方電子ミラー用カメラ２１Ｂを導入したものである。ただし、表示装置２４は、横幅の広い画面を有するものが一台だけ接続されている。[Fifth variant]
FIG. 16 shows that the
電子ミラー画像取得部１１は、左側電子ミラー用カメラ２１Ｌ、右側電子ミラー用カメラ２１Ｒおよび後方電子ミラー用カメラ２１Ｂが撮影した電子ミラー画像を取得する。以下、後方電子ミラー用カメラ２１Ｂが撮影した電子ミラー画像を「後方電子ミラー画像」という。
The electronic mirror
光学ミラー方向取得部１２は、左サイドミラー２２Ｌ、右サイドミラー２２Ｒおよびリアビューミラー２２Ｂの向きの情報を、光学ミラー調整装置２３から取得する。
The optical mirror
本変形例において、合成処理部１４は、左側電子ミラー画像、右側電子ミラー画像および後方電子ミラー画像を合成して１つのパノラマ画像を生成する。また、光学ミラー視野特定部１３は、左サイドミラー２２Ｌ、右サイドミラー２２Ｒおよびリアビューミラー２２Ｂの向きに基づいて、パノラマ画像における左サイドミラー２２Ｌの視野に対応する領域と、右サイドミラー２２Ｒの視野に対応する領域と、リアビューミラー２２Ｂの視野に対応する領域とを特定する。
In this modification, the
さらに、合成処理部１４は、パノラマ画像である電子ミラー画像に、左サイドミラー２２Ｌの視野に対応する領域を示す画像（左サイドミラー視野画像）と、右サイドミラー２２Ｒの視野に対応する領域を示す画像（右サイドミラー視野画像）と、リアビューミラー２２Ｂの視野に対応する領域を示す画像（以下「リアビューミラー視野画像」という）を合成する。
Further, the
表示処理部１５は、図１７のように、左サイドミラー視野画像４１Ｌ、右サイドミラー視野画像４１Ｒおよびリアビューミラー視野画像４１Ｂが合成されたパノラマ画像である電子ミラー画像４０Ｐを、横幅の広い画面を持つ表示装置２４に表示させる。
As shown in FIG. 17, the
運転者は、光学ミラー視野画像４１に表示された左サイドミラー視野画像４１Ｌ、右サイドミラー視野画像４１Ｒおよびリアビューミラー視野画像４１Ｂの位置から、電子ミラー画像４０Ｐと、左サイドミラー２２Ｌ、右サイドミラー２２Ｒおよびリアビューミラー２２Ｂのそれぞれに映った鏡像との関係を容易に把握することができる。
The driver can see the
［第６の変形例］
図１８は、実施の形態１の第６の変更例に係る車両用ミラーシステムの構成を示すブロック図である。この車両用ミラーシステムは、図１の構成に対し、画像処理装置１０の構成要素としてアイポイント推定部１６を追加したものである。[Sixth variant]
FIG. 18 is a block diagram showing a configuration of a vehicle mirror system according to a sixth modification of the first embodiment. In this vehicle mirror system, the eye point estimation unit 16 is added as a component of the
アイポイント推定部１６は、光学ミラー２２に対する運転者の目の位置（アイポイント）を推定する。アイポイント推定部１６が、運転者の目の位置を推定する方法は任意でよく、例えば、運転席に設置したカメラで運転者の顔を撮影した画像を解析して推定する方法が考えられる。また、例えば運転席のシートの位置（座面の位置や高さ、背もたれの傾斜角度など）から、運転者の目の位置を推定する簡易的なものでもよい。
The eye point estimation unit 16 estimates the position (eye point) of the driver's eyes with respect to the
本変形例では、光学ミラー視野特定部１３が、電子ミラー画像における光学ミラー２２の視野に対応する領域を、アイポイント推定部１６が推定した運転者の目の位置に基づいて特定する。それによって、電子ミラー画像内のより正確な位置に、光学ミラー視野画像をできるようになる。
In this modification, the optical mirror field of
［第７の変形例］
光学ミラー２２の種類によっては、光学ミラー調整装置２３に対応していないものもある。例えば、リアビューミラーは、運転者が手で向きを調整するものが一般的である。[7th variant]
Some types of the
光学ミラー２２が光学ミラー調整装置２３に対応しないものである場合、図１９のように、光学ミラー２２の向きを検出するセンサである光学ミラー方向検出センサ２５を導入し、光学ミラー方向取得部１２が、光学ミラー方向検出センサ２５から光学ミラー２２の向きの情報を取得するように構成するとよい。
When the
［ハードウェア構成例］
図２０および図２１は、それぞれ画像処理装置１０のハードウェア構成の例を示す図である。図１に示した画像処理装置１０の構成要素の各機能は、例えば図２０に示す処理回路５０により実現される。すなわち、画像処理装置１０は、車両の電子ミラー用カメラが撮影した電子ミラー画像を取得し、車両の光学ミラーの向きの情報を取得し、光学ミラーの向きに基づいて、電子ミラー画像における、車両の運転者から光学ミラーを通して見える範囲である光学ミラーの視野に対応する領域を特定し、電子ミラー画像に、光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成し、光学ミラー視野画像が合成された電子ミラー画像を車両の表示装置に表示させる、ための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。[Hardware configuration example]
20 and 21 are diagrams showing an example of the hardware configuration of the
処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。画像処理装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
When the
図２１は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における画像処理装置１０のハードウェア構成の例を示している。この場合、画像処理装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画像処理装置１０は、プロセッサ５１により実行されるときに、車両の電子ミラー用カメラが撮影した電子ミラー画像を取得する処理と、車両の光学ミラーの向きの情報を取得する処理と、光学ミラーの向きに基づいて、電子ミラー画像における、車両の運転者から光学ミラーを通して見える範囲である光学ミラーの視野に対応する領域を特定する処理と、電子ミラー画像に、光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成する処理と、光学ミラー視野画像が合成された電子ミラー画像を車両の表示装置に表示させる処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、画像処理装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
FIG. 21 shows an example of the hardware configuration of the
ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
Here, the
以上、画像処理装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、画像処理装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
The configuration in which the functions of the components of the
以上のように、画像処理装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
As described above, the
＜実施の形態２＞
図２２は、実施の形態２に係る車両用ミラーシステムの構成を示すブロック図である。図２２の車両用ミラーシステムの構成は、図１の構成に対し、画像処理装置１０に操作入力装置２６を接続させると共に、画像処理装置１０の構成要素として電子ミラー調整部１７を追加したものである。<
FIG. 22 is a block diagram showing the configuration of the vehicle mirror system according to the second embodiment. The configuration of the vehicle mirror system of FIG. 22 is the configuration of FIG. 1 in which the
実施の形態２では、電子ミラー用カメラ２１として広画角（例えば２５度）なカメラを採用し、表示装置２４には電子ミラー用カメラ２１が撮影した電子ミラー画像の一部分の領域（以下「表示領域」という）が表示される。図２３に、電子ミラー用カメラ２１の撮影範囲αと、表示装置２４に表示される表示領域βとの関係の例を示す。また、図２４に、電子ミラー用カメラ２１が撮影する電子ミラー画像４０と、電子ミラー画像４０の表示領域４０ａと、光学ミラーの視野に対応する領域（光学ミラー視野画像４１の表示位置）との関係の例を示す。
In the second embodiment, a camera having a wide angle of view (for example, 25 degrees) is adopted as the
電子ミラー調整部１７は、電子ミラー用カメラ２１が撮影した電子ミラー画像４０から、表示装置２４に表示させる表示領域４０ａを切り出すトリミングを行う。操作入力装置２６は、電子ミラー調整部１７が電子ミラー画像４０からトリミングする範囲（すなわち図２４におけるβ１，β２の位置）を調整する操作を入力するためのユーザインタフェースである。
The electronic mirror adjusting unit 17 trims the
運転者は、操作入力装置２６を操作して電子ミラー画像４０内の表示領域４０ａの位置を調整することができる。これにより、実質的に、電子ミラー用カメラ２１の撮影方向の調整と同様の効果が得られる。例えば図２５のように、運転者が、電子ミラー画像４０内の表示領域４０ａを左方向へ移動させると、図２６のように、表示装置２４に表示された電子ミラー画像４０の表示領域４０ａ内の画像は、右方向へシフトする。
The driver can operate the
図２７は、実施の形態２に係る画像処理装置１０の動作を示すフローチャートである。以下、同図を参照しつつ、画像処理装置１０の動作を説明する。
FIG. 27 is a flowchart showing the operation of the
画像処理装置１０が起動すると、まず、光学ミラー方向取得部１２が、光学ミラー２２の向きの情報を、光学ミラー調整装置２３から取得する（ステップＳＴ２０１）。次に、電子ミラー画像取得部１１が、電子ミラー用カメラ２１が撮影した電子ミラー画像を取得する（ステップＳＴ２０２）。
When the
その後、光学ミラー視野特定部１３が、ステップＳＴ２０１で取得した光学ミラー２２の向きに基づいて、ステップＳＴ２０２で取得した電子ミラー画像における光学ミラー２２の視野に対応する領域を特定する（ステップＳＴ２０３）。また、合成処理部１４が、ステップＳＴ２０３で特定された光学ミラー２２の視野に対応する領域を示す光学ミラー視野画像を、電子ミラー画像に合成する（ステップＳＴ２０４）。
After that, the optical mirror field of
続いて、電子ミラー調整部１７が、電子ミラー画像が合成された電子ミラー画像から、表示領域を切り出すトリミングを行う（ステップＳＴ２０５）。そして、表示処理部１５が、トリミングされた電子ミラー画像の表示領域を、表示装置２４に表示させる（ステップＳＴ２０６）。
Subsequently, the electronic mirror adjusting unit 17 performs trimming to cut out a display area from the electronic mirror image in which the electronic mirror image is combined (step ST205). Then, the
以上のステップＳＴ２０１〜ＳＴ２０６の動作は繰り返し実行される。それにより、表示装置２４に表示される電子ミラー画像の表示領域と、それに合成された光学ミラー視野画像４１とがリアルタイムに更新される。なお、ステップＳＴ２０５でトリミングされる電子ミラー画像の表示領域の位置は、運転者が操作入力装置２６を用いて調整可能である。
The above operations of steps ST201 to ST206 are repeatedly executed. As a result, the display area of the electronic mirror image displayed on the
［第１の変形例］
実施の形態２では、運転者が操作入力装置２６を用いて電子ミラー画像４０内の表示領域４０ａの位置を動かす例を示したが、表示領域４０ａの位置を動かす手段はこれに限られない。[First modification]
In the second embodiment, an example in which the driver moves the position of the
例えば、表示処理部１５が、光学ミラー２２の向きに応じて、電子ミラー画像４０の表示領域４０ａの位置を設定してもよい。具体的には、運転者が光学ミラー調整装置２３を操作して光学ミラー２２の向きを変化させたときに、光学ミラー２２の視野の動きに追従して電子ミラー画像４０の表示領域４０ａが動くようにする。すなわち、図２８のように、電子ミラー画像４０内の表示領域４０ａの位置が、光学ミラー視野画像４１と共に移動する。この場合、電子ミラー画像４０内の表示領域４０ａの位置が変化することで、図２９のように、表示領域４０ａ内の画像はシフトするが、表示装置２４の画面における光学ミラー視野画像４１の位置は変化しない。
For example, the
図２８および図２９では、電子ミラー画像４０の表示領域４０ａに、光学ミラー２２の視野に対応する領域（光学ミラー視野画像４１）の全体が常に含まれるように、電子ミラー画像４０内の表示領域４０ａの位置が設定される例を示した。しかし、表示領域４０ａの位置は、光学ミラー２２の視野に対応する領域の少なくとも一部が表示領域４０ａに含まれるように設定されればよい。
In FIGS. 28 and 29, the
［第２の変形例］
図３０は、実施の形態２の第２の変更例に係る車両用ミラーシステムの構成を示すブロック図である。この車両用ミラーシステムは、図２２の構成に対し、画像処理装置１０の構成要素として光学ミラー方向制御部１８を追加したものである。[Second variant]
FIG. 30 is a block diagram showing a configuration of a vehicle mirror system according to a second modification of the second embodiment. In this vehicle mirror system, an optical mirror
光学ミラー方向制御部１８は、電子ミラー画像４０内の表示領域４０ａの位置に応じて、光学ミラー２２の向きを制御する。具体的には、運転者が操作入力装置２６を操作して表示領域４０ａを移動させたときに、光学ミラー方向制御部１８は、表示領域４０ａに追従して光学ミラー２２の視野に対応する領域（光学ミラー視野画像４１の表示位置）が動くように、光学ミラー２２の向きを設定する。
The optical mirror
この場合、電子ミラー画像４０における表示領域４０ａと光学ミラー２２の視野に対応する領域（光学ミラー視野画像４１の表示位置）との関係は、第１の変形例で示した図２８および図２９と同様になる。ただし、第１の変形例では電子ミラー画像４０の表示領域４０ａが光学ミラー視野画像４１に追従して移動したが、第２の変形例では、光学ミラー視野画像４１が電子ミラー画像４０の表示領域４０ａに追従して移動する。
In this case, the relationship between the
図２８および図２９では、電子ミラー画像４０の表示領域４０ａに、光学ミラー２２の視野に対応する領域（光学ミラー視野画像４１）の全体が常に含まれるように、光学ミラー２２の向きが設定されている。しかし、光学ミラー２２の向きは、光学ミラー２２の視野に対応する領域の少なくとも一部が、電子ミラー画像４０の表示領域４０ａに含まれるように設定されればよい。
In FIGS. 28 and 29, the orientation of the
＜実施の形態３＞
図３１は、実施の形態３に係る車両用ミラーシステムの構成を示すブロック図である。図３１の車両用ミラーシステムの構成は、図１の構成に対し、画像処理装置１０の構成要素として要注意物検出部１９を追加したものである。<
FIG. 31 is a block diagram showing the configuration of the vehicle mirror system according to the third embodiment. The configuration of the vehicle mirror system of FIG. 31 is obtained by adding a caution
要注意物検出部１９は、電子ミラー画像に映った物体、すなわち電子ミラー用カメラ２１の撮影範囲内に存在する物体のうちから、自車両の走行に影響する恐れのある物体を検出する。以下、自車両の走行に影響する恐れのある物体を「要注意物」という。
The sensitive
要注意物としては様々なものが考えられる。例えば、自車両の車線変更の妨げとなる恐れのある他車両や、右左折時に自車両が巻き込む恐れのある歩行者や自転車、後退時に自車両の後方に存在する障害物などが、要注意物となる。より具体的には、例えば、自車両からの距離が予め定められた閾値以下である物体、あるいは、自車両に接触するまでの時間が予め定められた閾値以下と予測される物体を、要注意物として定義してもよい。ここでは、自車両からの距離が５ｍ以下である物体を、要注意物として定義する。ただし、要注意物の定義はこれに限られない。 Various things can be considered as things to watch out for. For example, other vehicles that may interfere with the lane change of your vehicle, pedestrians and bicycles that your vehicle may get caught in when turning left or right, and obstacles behind your vehicle when reversing are important items to watch out for. It becomes. More specifically, for example, be careful of an object whose distance from the own vehicle is less than or equal to a predetermined threshold value, or an object whose time until contact with the own vehicle is predicted to be less than or equal to a predetermined threshold value. It may be defined as a thing. Here, an object whose distance from the own vehicle is 5 m or less is defined as an object requiring attention. However, the definition of items requiring attention is not limited to this.
要注意物検出部１９が要注意物を検出する方法は任意の方法でよく、例えば、電子ミラー用カメラ２１が撮影した電子ミラー画像を解析して要注意物を検出してもよいし、不図示の車載センサ（例えば、ミリ波レーダ、ソナー、赤外線センサなど）を用いて要注意物を検出してもよい。また、電子ミラー用カメラ２１の撮影範囲に他車両が存在する場合、自車両および他車両の方向指示器の状態を検出して、自車両および他車両の進行方向や走行車線を予測し、その予測結果を加味して、他車両が要注意物であるか否かを判断してもよい。
The method for detecting the object requiring attention may be any method, for example, the electronic mirror image taken by the camera for
実施の形態３では、要注意物検出部１９によって要注意物が検出されると、合成処理部１４が、光学ミラー視野画像だけでなく、要注意物の存在を示す注意喚起画像を、電子ミラー画像に合成する。
In the third embodiment, when the attention-requiring object is detected by the caution-requiring
例えば、図３２のように自車両の後側方を走行していた他車両Ｖ３が、自車両から５ｍ以内に接近すると、要注意物検出部１９が他車両Ｖ３を要注意物として検出する。その場合、合成処理部１４は、図３３のように、他車両Ｖ３の位置を示す注意喚起画像４４を電子ミラー画像４０に合成する。
For example, when the other vehicle V3 traveling behind the own vehicle as shown in FIG. 32 approaches within 5 m from the own vehicle, the caution-required
注意喚起画像４４は、図３３に示した物に限られず、どのような画像でもよい。光学ミラー視野画像４１を注意喚起画像４４として利用することもできる。例えば、要注意物検出部１９により要注意物が検出されたときに、図３４のように光学ミラー視野画像４１の表示態様を変化させれば、光学ミラー視野画像４１は注意喚起画像４４として機能する。具体的には、要注意物が検出されたときに、光学ミラー視野画像４１の色を変化させたり、点滅表示させたりすることが考えられる。
The
［変形例］
図３５は、実施の形態３の変更例に係る車両用ミラーシステムの構成を示すブロック図である。この車両用ミラーシステムは、図３１の構成に対し、画像処理装置１０の構成要素として光学ミラー方向制御部１８を追加したものである。[Modification example]
FIG. 35 is a block diagram showing a configuration of a vehicle mirror system according to a modified example of the third embodiment. In this vehicle mirror system, an optical mirror
光学ミラー方向制御部１８は、要注意物検出部１９が検出した要注意物の位置に応じて、光学ミラー２２の向きを制御する。具体的には、光学ミラー方向制御部１８は、要注意物の少なくとも一部が光学ミラー２２の視野に入るように、光学ミラー２２の向きを設定する。すなわち、光学ミラー方向制御部１８は、電子ミラー画像４０に映る要注意物の少なくとも一部が、光学ミラー視野画像４１の内側に入るように、光学ミラー２２の向きを設定する。
The optical mirror
例えば、図３３の状態から、要注意物である他車両Ｖ３が左へ移動すると、光学ミラー方向制御部１８はそれに追従するように光学ミラー２２の方向を調整する。その結果、図３６のように、表示装置２４の画面上で、光学ミラー視野画像４１が他車両Ｖ３の動きに追従して動く。運転者からは、表示装置２４と光学ミラー２２のどちらにも要注意物が見えるため、運転者に要注意物の存在をより確実に認知させることができる。
For example, when the other vehicle V3, which is a cautionary object, moves to the left from the state of FIG. 33, the optical mirror
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。 In the present invention, each embodiment can be freely combined, and each embodiment can be appropriately modified or omitted within the scope of the invention.
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。 Although the present invention has been described in detail, the above description is exemplary in all embodiments and the invention is not limited thereto. It is understood that innumerable variations not illustrated can be assumed without departing from the scope of the present invention.
１０ 画像処理装置、１１ 電子ミラー画像取得部、１２ 光学ミラー方向取得部、１３ 光学ミラー視野特定部、１４ 合成処理部、１５ 表示処理部、１６ アイポイント推定部、１７ 電子ミラー調整部、１８ 光学ミラー方向制御部、１９ 要注意物検出部、２１ 電子ミラー用カメラ、２１Ｌ 左側電子ミラー用カメラ、２１Ｒ 右側電子ミラー用カメラ、２１Ｂ 後方電子ミラー用カメラ、２２ 光学ミラー、２２Ｌ 左サイドミラー、２２Ｒ 右サイドミラー、２２Ｂ リアビューミラー、２２１ 鏡像、２３ 光学ミラー調整装置、２４ 表示装置、２４Ｌ 左側表示装置、２４Ｒ 右側表示装置、２５ 光学ミラー方向検出センサ、２６ 操作入力装置、３０ インストルメントパネル、３１，３２ メータ、４０，４０Ｐ 電子ミラー画像、４０ａ 表示領域、４０Ｌ 左側電子ミラー画像、４０Ｒ 右側電子ミラー画像、４０Ｂ 後方電子ミラー画像、４１ 光学ミラー視野画像、４１Ｌ 左サイドミラー視野画像、４１Ｒ 右サイドミラー視野画像、４１Ｂ リアビューミラー視野画像、４２ 警告画像、４３ 光学ミラー標準視野画像、４４ 注意喚起画像、５０ 処理回路、５１ プロセッサ、５２ メモリ。 10 Image processing device, 11 Electronic mirror image acquisition unit, 12 Optical mirror direction acquisition unit, 13 Optical mirror field identification unit, 14 Synthesis processing unit, 15 Display processing unit, 16 Eye point estimation unit, 17 Electronic mirror adjustment unit, 18 Optical Mirror direction control unit, 19 sensitive object detection unit, 21 electronic mirror camera, 21L left electronic mirror camera, 21R right electronic mirror camera, 21B rear electronic mirror camera, 22 optical mirror, 22L left side mirror, 22R right Side mirror, 22B rear view mirror, 221 mirror image, 23 optical mirror adjustment device, 24 display device, 24L left side display device, 24R right side display device, 25 optical mirror direction detection sensor, 26 operation input device, 30 instrument panel, 31, 32 Meter, 40, 40P electronic mirror image, 40a display area, 40L left side electronic mirror image, 40R right side electronic mirror image, 40B rear electronic mirror image, 41 optical mirror field image, 41L left side mirror field image, 41R right side mirror field image , 41B rear view mirror field image, 42 warning image, 43 optical mirror standard field image, 44 alert image, 50 processing circuit, 51 processor, 52 memory.
Claims (12)
前記車両の光学ミラーの向きの情報を取得する光学ミラー方向取得部と、
前記光学ミラーの向きに基づいて、前記電子ミラー画像における、前記車両の運転者から前記光学ミラーを通して見える範囲である前記光学ミラーの視野に対応する領域を特定する光学ミラー視野特定部と、
前記電子ミラー画像に、前記光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成する合成処理部と、
前記光学ミラー視野画像が合成された前記電子ミラー画像を前記車両の表示装置に表示させる表示処理部と、
を備え、
前記表示処理部は、前記電子ミラー画像の一部分である表示領域を前記表示装置に表示させ、前記光学ミラーの向きに応じて、前記電子ミラー画像における前記表示領域の位置を設定する、
車両用画像処理装置。 An electronic mirror image acquisition unit that acquires an electronic mirror image taken by a vehicle's electronic mirror camera,
An optical mirror direction acquisition unit that acquires information on the orientation of the optical mirror of the vehicle, and an optical mirror direction acquisition unit.
An optical mirror field identification unit that specifies a region corresponding to the field of view of the optical mirror, which is a range that can be seen through the optical mirror by the driver of the vehicle, in the electronic mirror image based on the orientation of the optical mirror.
A compositing processing unit that synthesizes an optical mirror field image, which is an image showing a region corresponding to the field of view of the optical mirror, with the electronic mirror image.
A display processing unit that displays the electronic mirror image in which the optical mirror field image is combined on the display device of the vehicle, and a display processing unit.
Equipped with a,
The display processing unit causes the display device to display a display area that is a part of the electronic mirror image, and sets the position of the display area in the electronic mirror image according to the orientation of the optical mirror.
Image processing device for vehicles.
請求項１に記載の車両用画像処理装置。 The display processing unit sets the position of the display area so that the display area of the electronic mirror image includes at least a part of the area corresponding to the field of view of the optical mirror.
The vehicle image processing device according to claim 1.
前記車両の光学ミラーの向きの情報を取得する光学ミラー方向取得部と、
前記光学ミラーの向きに基づいて、前記電子ミラー画像における、前記車両の運転者から前記光学ミラーを通して見える範囲である前記光学ミラーの視野に対応する領域を特定する光学ミラー視野特定部と、
前記電子ミラー画像に、前記光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成する合成処理部と、
前記光学ミラー視野画像が合成された前記電子ミラー画像を前記車両の表示装置に表示させる表示処理部と、
前記光学ミラーの向きを制御する光学ミラー方向制御部と、
を備え、
前記表示処理部は、前記電子ミラー画像の一部分である表示領域を前記表示装置に表示させ、
前記光学ミラー方向制御部は、前記電子ミラー画像における前記表示領域の位置に応じて、前記光学ミラーの向きを設定する、
車両用画像処理装置。 An electronic mirror image acquisition unit that acquires an electronic mirror image taken by a vehicle's electronic mirror camera,
An optical mirror direction acquisition unit that acquires information on the orientation of the optical mirror of the vehicle, and an optical mirror direction acquisition unit.
An optical mirror field identification unit that specifies a region corresponding to the field of view of the optical mirror, which is a range that can be seen through the optical mirror by the driver of the vehicle, in the electronic mirror image based on the orientation of the optical mirror.
A compositing processing unit that synthesizes an optical mirror field image, which is an image showing a region corresponding to the field of view of the optical mirror, with the electronic mirror image.
A display processing unit that displays the electronic mirror image in which the optical mirror field image is combined on the display device of the vehicle, and a display processing unit.
An optical mirror direction control unit that controls the orientation of the optical mirror,
Equipped with a,
The display processing unit causes the display device to display a display area that is a part of the electronic mirror image.
The optical mirror direction control unit sets the orientation of the optical mirror according to the position of the display area in the electronic mirror image.
Image processing device for vehicles.
請求項３に記載の車両用画像処理装置。 The optical mirror direction control unit sets the orientation of the optical mirror so that the display area of the electronic mirror image includes at least a part of the area corresponding to the field of view of the optical mirror.
The vehicle image processing device according to claim 3.
前記車両の光学ミラーの向きの情報を取得する光学ミラー方向取得部と、
前記光学ミラーの向きに基づいて、前記電子ミラー画像における、前記車両の運転者から前記光学ミラーを通して見える範囲である前記光学ミラーの視野に対応する領域を特定する光学ミラー視野特定部と、
前記電子ミラー画像に、前記光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成する合成処理部と、
前記光学ミラー視野画像が合成された前記電子ミラー画像を前記車両の表示装置に表示させる表示処理部と、
を備え、
前記車両は前記光学ミラーを複数備え、
前記合成処理部は、１つの前記電子ミラー画像に、複数の前記光学ミラー視野画像を合成する、
車両用画像処理装置。 An electronic mirror image acquisition unit that acquires an electronic mirror image taken by a vehicle's electronic mirror camera,
An optical mirror direction acquisition unit that acquires information on the orientation of the optical mirror of the vehicle, and an optical mirror direction acquisition unit.
An optical mirror field identification unit that specifies a region corresponding to the field of view of the optical mirror, which is a range that can be seen through the optical mirror by the driver of the vehicle, in the electronic mirror image based on the orientation of the optical mirror.
A compositing processing unit that synthesizes an optical mirror field image, which is an image showing a region corresponding to the field of view of the optical mirror, with the electronic mirror image.
A display processing unit that displays the electronic mirror image in which the optical mirror field image is combined on the display device of the vehicle, and a display processing unit.
Equipped with a,
The vehicle is provided with a plurality of the optical mirrors.
The synthesis processing unit synthesizes a plurality of the optical mirror field images with the one electronic mirror image.
Image processing device for vehicles.
請求項１から請求項５のいずれか一項に記載の車両用画像処理装置。 The synthesis processing unit further synthesizes an optical mirror standard field of view image showing a standard field of view of the optical mirror with the electronic mirror image.
The vehicle image processing apparatus according to any one of claims 1 to 5.
請求項１から請求項５のいずれか一項に記載の車両用画像処理装置。 The vehicle image processing apparatus according to any one of claims 1 to 5, wherein the display processing unit makes a difference in the display mode of the electronic mirror image between the inside and the outside of the optical mirror field image.
前記合成処理部は、前記電子ミラー画像に、前記要注意物の存在を示す注意喚起画像をさらに合成する、
請求項１から請求項５のいずれか一項に記載の車両用画像処理装置。 Further, a caution-required object detection unit for detecting a caution-required object that may affect the running of the vehicle from the objects reflected in the electronic mirror image is provided.
The compositing processing unit further synthesizes a caution image indicating the presence of the cautionary object with the electronic mirror image.
The vehicle image processing apparatus according to any one of claims 1 to 5.
前記光学ミラーの向きを制御する光学ミラー方向制御部と、
をさらに備え、
前記合成処理部は、前記電子ミラー画像に、前記要注意物の存在を示す注意喚起画像をさらに合成し、
前記光学ミラー方向制御部は、前記要注意物の少なくとも一部が前記光学ミラーの視野に入るように前記光学ミラーの向きを設定する、
請求項１、請求項２または請求項５のいずれか一項に記載の車両用画像処理装置。 From the objects reflected in the electronic mirror image, a caution-required object detection unit that detects a caution-required object that may affect the running of the vehicle, and a caution-required object detection unit .
An optical mirror direction control unit that controls the orientation of the optical mirror,
With more
The compositing processing unit further synthesizes a caution image indicating the presence of the cautionary object with the electronic mirror image .
The optical mirror direction control unit sets the orientation of the optical mirror so that at least a part of the object requiring attention is in the field of view of the optical mirror.
The vehicle image processing apparatus according to any one of claims 1, 2, and 5.
前記光学ミラー視野特定部は、前記アイポイント推定部が推定した前記運転者の目の位置に基づいて、前記光学ミラーの視野に対応する領域を特定する
請求項１から請求項５のいずれか一項に記載の車両用画像処理装置。 Further provided with an eye point estimation unit that estimates the position of the driver's eyes,
The optical mirror field of view specifying unit identifies a region corresponding to the field of view of the optical mirror based on the position of the driver's eyes estimated by the eye point estimating unit.
The vehicle image processing apparatus according to any one of claims 1 to 5.
前記画像処理装置の光学ミラー方向取得部が、前記車両の光学ミラーの向きの情報を取得し、
前記画像処理装置の光学ミラー視野特定部が、前記光学ミラーの向きに基づいて、前記電子ミラー画像における、前記車両の運転者から前記光学ミラーを通して見える範囲である前記光学ミラーの視野に対応する領域を特定し、
前記画像処理装置の合成処理部が、前記電子ミラー画像に、前記光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成し、
前記画像処理装置の表示処理部が、前記光学ミラー視野画像が合成された前記電子ミラー画像を前記車両の表示装置に表示させ、
前記表示処理部は、前記電子ミラー画像の一部分である表示領域を前記表示装置に表示させ、前記光学ミラーの向きに応じて、前記電子ミラー画像における前記表示領域の位置を設定する、
画像処理方法。 The electronic mirror image acquisition unit of the image processing device acquires the electronic mirror image taken by the camera for the electronic mirror of the vehicle.
The optical mirror direction acquisition unit of the image processing device acquires information on the orientation of the optical mirror of the vehicle.
A region corresponding to the field of view of the optical mirror in the electronic mirror image, which is a range visible through the optical mirror from the driver of the vehicle, based on the orientation of the optical mirror. Identify and
The composition processing unit of the image processing apparatus synthesizes the electronic mirror image with an optical mirror field image which is an image showing a region corresponding to the field of the optical mirror.
The display processing unit of the image processing device causes the display device of the vehicle to display the electronic mirror image in which the optical mirror field image is combined .
The display processing unit causes the display device to display a display area that is a part of the electronic mirror image, and sets the position of the display area in the electronic mirror image according to the orientation of the optical mirror.
Image processing method.
前記画像処理装置の光学ミラー方向取得部が、前記車両の光学ミラーの向きの情報を取得し、
前記画像処理装置の光学ミラー視野特定部が、前記光学ミラーの向きに基づいて、前記電子ミラー画像における、前記車両の運転者から前記光学ミラーを通して見える範囲である前記光学ミラーの視野に対応する領域を特定し、
前記画像処理装置の合成処理部が、前記電子ミラー画像に、前記光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成し、
前記画像処理装置の表示処理部が、前記光学ミラー視野画像が合成された前記電子ミラー画像を前記車両の表示装置に表示させ、
前記車両は前記光学ミラーを複数備え、
前記合成処理部は、１つの前記電子ミラー画像に、複数の前記光学ミラー視野画像を合成する、
画像処理方法。 The electronic mirror image acquisition unit of the image processing device acquires the electronic mirror image taken by the camera for the electronic mirror of the vehicle.
The optical mirror direction acquisition unit of the image processing device acquires information on the orientation of the optical mirror of the vehicle.
A region corresponding to the field of view of the optical mirror in the electronic mirror image, which is a range visible through the optical mirror from the driver of the vehicle, based on the orientation of the optical mirror. Identify and
The composition processing unit of the image processing apparatus synthesizes the electronic mirror image with an optical mirror field image which is an image showing a region corresponding to the field of the optical mirror.
The display processing unit of the image processing device causes the display device of the vehicle to display the electronic mirror image in which the optical mirror field image is combined .
The vehicle is equipped with a plurality of the optical mirrors.
The synthesis processing unit synthesizes a plurality of the optical mirror field images with the one electronic mirror image.
Image processing method.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2018/018899 WO2019220557A1 (en) | 2018-05-16 | 2018-05-16 | Image processor for vehicles, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019220557A1 JPWO2019220557A1 (en) | 2020-12-17 |
| JP6921316B2 true JP6921316B2 (en) | 2021-08-18 |
Family
ID=68540000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020518871A Active JP6921316B2 (en) | 2018-05-16 | 2018-05-16 | Vehicle image processing equipment and image processing method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6921316B2 (en) |
| WO (1) | WO2019220557A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021063398A (en) * | 2019-10-16 | 2021-04-22 | 株式会社東芝 | System and method |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3876761B2 (en) * | 2002-05-20 | 2007-02-07 | 日産自動車株式会社 | Vehicle periphery monitoring device |
| JP2006131213A (en) * | 2004-10-07 | 2006-05-25 | Yamaha Motor Co Ltd | Rear view recognition device for motorcycle |
| JP2008141578A (en) * | 2006-12-04 | 2008-06-19 | Auto Network Gijutsu Kenkyusho:Kk | Visual recognizing apparatus for vehicle surrounding |
| JP5088669B2 (en) * | 2007-03-23 | 2012-12-05 | 株式会社デンソー | Vehicle periphery monitoring device |
| JP5187369B2 (en) * | 2010-09-24 | 2013-04-24 | 株式会社デンソー | Reverse parking assist device for vehicle and program for reverse parking assist device |
| JP5708669B2 (en) * | 2013-01-18 | 2015-04-30 | 株式会社デンソー | Vehicle display device |
| JP6669019B2 (en) * | 2016-09-08 | 2020-03-18 | 株式会社Ｊｖｃケンウッド | VEHICLE DISPLAY CONTROL DEVICE, VEHICLE DISPLAY SYSTEM, VEHICLE DISPLAY CONTROL METHOD, AND PROGRAM |
-
2018
- 2018-05-16 JP JP2020518871A patent/JP6921316B2/en active Active
- 2018-05-16 WO PCT/JP2018/018899 patent/WO2019220557A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2019220557A1 (en) | 2020-12-17 |
| WO2019220557A1 (en) | 2019-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10116873B1 (en) | System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle | |
| JP6384322B2 (en) | Vehicle display device | |
| US10846833B2 (en) | System and method for visibility enhancement | |
| CN109314765B (en) | Display control device for vehicle, display system, display control method, and program | |
| JP2003191810A (en) | Vehicle surroundings monitoring system, and vehicle moving state detector | |
| CN109415018B (en) | Method and control unit for a digital rear view mirror | |
| JP6532616B2 (en) | Display control device, display system, and display control method | |
| JP2010033106A (en) | Driver support device, driver support method, and driver support processing program | |
| JP7163418B2 (en) | Driving support device | |
| US9598012B2 (en) | Surroundings monitoring system for a vehicle | |
| JP6890288B2 (en) | Image processing equipment, image display system and image processing method | |
| JP6921316B2 (en) | Vehicle image processing equipment and image processing method | |
| JPWO2018042976A1 (en) | IMAGE GENERATION DEVICE, IMAGE GENERATION METHOD, RECORDING MEDIUM, AND IMAGE DISPLAY SYSTEM | |
| JPWO2016042733A1 (en) | Electronic mirror device | |
| CN109849939B (en) | Apparatus and method for controlling display in vehicle | |
| US10343603B2 (en) | Image processing device and image processing method | |
| JPWO2019159344A1 (en) | Driving support device and video display method | |
| JP2005182305A (en) | Vehicle travel support device | |
| RU2706757C1 (en) | Control method and unit for rear view | |
| JP2006276964A (en) | Display device for vehicle | |
| CN113051997A (en) | Apparatus and non-transitory computer-readable medium for monitoring vehicle surroundings | |
| KR20190094135A (en) | A parking assisting system | |
| JP2020093574A (en) | Display control device, display control system, display control method, and display control program | |
| EP3466762A1 (en) | A monitoring system and method for displaying one or more image views to a user of a vehicle | |
| CN107972583B (en) | Imaging display device for vehicle and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200407 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210727 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6921316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |