JP7166725B2 - Display device, display method and display program - Google Patents

Display device, display method and display program Download PDF

Info

Publication number
JP7166725B2
JP7166725B2 JP2018217593A JP2018217593A JP7166725B2 JP 7166725 B2 JP7166725 B2 JP 7166725B2 JP 2018217593 A JP2018217593 A JP 2018217593A JP 2018217593 A JP2018217593 A JP 2018217593A JP 7166725 B2 JP7166725 B2 JP 7166725B2
Authority
JP
Japan
Prior art keywords
display
image
angle
clipped
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018217593A
Other languages
Japanese (ja)
Other versions
JP2020088511A (en
Inventor
信範 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2018217593A priority Critical patent/JP7166725B2/en
Publication of JP2020088511A publication Critical patent/JP2020088511A/en
Application granted granted Critical
Publication of JP7166725B2 publication Critical patent/JP7166725B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像カメラにより撮像された車両周辺の画像を表示する表示装置に関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a display device that displays an image around a vehicle captured by an imaging camera.

近年、車両には、種々の撮像カメラが搭載されている。例えば、運転支援のために自車周辺の障害物等を検出するために撮像カメラを搭載したり、走行中の事故等の事象を記録するために撮像カメラを搭載したり、ドアミラー等の光学式ミラーの代わりに撮像カメラを搭載している。 In recent years, vehicles are equipped with various imaging cameras. For example, an imaging camera is installed to detect obstacles around the vehicle for driving support, an imaging camera is installed to record events such as accidents while driving, and an optical system such as a door mirror is installed. It has an imaging camera instead of a mirror.

例えば、特許文献1に開示される車両周辺視認装置は、魚眼レンズ等の広い視野範囲を有するカメラで車両周辺を撮像し、その撮像された画像をドアミラーの鏡像の代わりに、あるいは鏡像と一緒に用いることで、ドアミラーの鏡像で見るときよりも死角の少ない画像を運転者に提供している。この際、車両後方を撮像した画像をそのまま表示すると、運転者がドアミラーで見たときの鏡像と上下の位置関係が逆になるので、この違和感を無くすために、ドアミラーの鏡像に対応するように、車両後方の画像の反転処理を行っている。また、特許文献2は、全方位カメラを使用した周辺画像表示装置に関し、ユーザー操作に応じて表示画像の切替えを可能にしている。 For example, the vehicle periphery visual recognition device disclosed in Patent Document 1 captures an image of the vehicle periphery with a camera having a wide field of view such as a fisheye lens, and uses the captured image instead of the mirror image of the door mirror or together with the mirror image. This provides the driver with an image with fewer blind spots than in the mirror image of the door mirror. At this time, if the image of the rear of the vehicle is displayed as it is, the vertical positional relationship will be reversed when the driver sees the mirror image through the door mirrors. , the image of the rear of the vehicle is reversed. Further, Patent Document 2 relates to a peripheral image display device using an omnidirectional camera, and enables switching of displayed images in accordance with user operations.

特開2006-50246号公報JP 2006-50246 A 特開2013-034142号公報JP 2013-034142 A

撮像カメラシステムの中には、車両の全方位(360度)を撮像する全方位カメラシステムが一般的になりつつある。例えば、魚眼レンズのような視野範囲(約180度)が広い撮像カメラを2つ用意し、一方の撮像カメラで自車前方を撮像し、他方の撮像カメラで自車後方を撮像したり、全方位を撮像可能なドライブレコーダなども実用化されている。 Among imaging camera systems, omnidirectional camera systems that capture images in all directions (360 degrees) of a vehicle are becoming common. For example, two imaging cameras with a wide field of view (approximately 180 degrees) such as fisheye lenses are prepared. Drive recorders capable of imaging are also in practical use.

このような全方位カメラシステムを用いた従来の表示装置の概要を図1に示す。図1(A)に示すように、撮像カメラ10は、例えば、車両Mのフロントガラス20の上部に取り付けられ、車両Mの前方、側方、後方の全方位(360度)を、略水平方向に撮像する。全方位を撮像した画像の中から表示アングルに応じた画像が切り出され、切り出された画像が車内に設置されたディスプレイ30に表示される。ユーザーは、ディスプレイ30のタッチパネルをフリック操作することで表示アングルを決定することができる。例えば、図1(B)のようにユーザーが左方向にフリック操作Lをすると、その方向および移動量に応じて表示アングルが切替えられ、図1(C)に示すように、ディスプレイ30に表示される撮像画像を、前方、右側方、後方、左側方、前方へと右回りに移動させることができる。このような表示機能により、ユーザーは、確認したい方向や表示アングルの微調整を簡単に行うことができる。 FIG. 1 shows an outline of a conventional display device using such an omnidirectional camera system. As shown in FIG. 1A, the imaging camera 10 is mounted, for example, on the upper portion of the windshield 20 of the vehicle M, and captures the front, sides, and rear of the vehicle M in all directions (360 degrees) in a substantially horizontal direction. image to An image corresponding to the display angle is clipped from the omnidirectional image, and the clipped image is displayed on the display 30 installed in the vehicle. The user can determine the display angle by flicking the touch panel of the display 30 . For example, when the user performs a leftward flick operation L as shown in FIG. 1(B), the display angle is switched according to the direction and amount of movement, and is displayed on the display 30 as shown in FIG. 1(C). The captured image can be moved forward, rightward, backward, leftward, and forward in a clockwise direction. Such a display function allows the user to easily fine-tune the direction and display angle that the user wants to check.

従来のカメラシステム(リアカメラ、サイドカメラ後方ビュー、ルームカメラ、ドライブレコーダのカメラ等)では、後方画像を表示する場合、基本的には後方画像の左右を反転した反転画像に加工処理して表示している。ディスプレイ上の後方画像の視認は、運転者がルームミラーやサイドミラーの鏡像を視認する場合と同じであり、両者の親和性/整合性を保つ為に後方画像を反転処理し、あたかもミラー越しに見ているような画像としている。 In conventional camera systems (rear camera, side camera rear view, room camera, drive recorder camera, etc.), when displaying a rear image, the rear image is basically horizontally reversed and displayed after processing. is doing. Viewing the rear image on the display is the same as when the driver views the mirror image of the room mirror or side mirror. The image is the one you see.

しかし、上記した全方位カメラシステムを用いた表示装置では、表示アングルに応じて画像をシームレスに切替えるようにするため、後方画像の左右反転の処理が行われずに、単純に撮影方向のままの画像を表示するに過ぎなかった。つまり、後方画像を表示すると、図2(A)に示すように、シームレスの切替えを優先させるが故に撮像画像がそのまま表示され、車室内での運転者の感覚では、左右を混同してしまい、非常に危険な場合がある。本来、車室内の運転者の感覚を考慮すれば、図2(B)に示すように、左右反転した後方画像を表示すべきである。このように従来の全方位カメラシステムを用いた表示装置は、車載機器としての運転者にとっての配慮に欠け、安全性において大きな課題があった。 However, in the display device using the above-described omnidirectional camera system, in order to seamlessly switch the image according to the display angle, the rear image is not horizontally reversed, and the image is simply displayed in the shooting direction. was only displayed. That is, when the rear image is displayed, as shown in FIG. 2A, the captured image is displayed as it is because the seamless switching is prioritized, and the driver in the vehicle feels confused about the left and right. It can be very dangerous. Considering the sense of the driver in the vehicle compartment, the rearward image should be displayed with the left and right reversed, as shown in FIG. 2(B). As described above, the display device using the conventional omnidirectional camera system lacks consideration for the driver as an in-vehicle device, and poses a serious problem in terms of safety.

本発明は、このような従来の課題を解決するものであり、表示アングルに応じた撮像画像を表示するとき、後方画像の左右を反転した画像を表示することができる表示装置、表示方法および表示プログラムを提供することを目的とする。 The present invention solves such conventional problems, and is a display device, a display method, and a display device capable of displaying a left-right reversed image of a rear image when displaying a captured image corresponding to a display angle. The purpose is to provide a program.

本発明に係る表示装置は、少なくとも車両の前方および後方を撮像する撮像手段と、表示手段と、撮像された画像を前記表示手段に表示させるときの表示アングルを決定する決定手段と、前記表示アングルに基づき前記撮像された画像の中から画像を切り出す切り出し手段と、前記切り出された画像をその左右が反転した反転画像に加工する加工手段と、前記表示アングルに応じて切り出された画像を前記表示手段に表示させ、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示させる表示制御手段とを有する。 A display device according to the present invention comprises imaging means for imaging at least the front and rear of a vehicle, display means, determination means for determining a display angle when the imaged image is displayed on the display means, and the display angle. clipping means for clipping an image from the imaged image based on the above; processing means for processing the clipped image into a horizontally reversed reversed image; and displaying the clipped image according to the display angle. and display control means for causing the display means to display an inverted rear image when the display angle indicates the rear of the vehicle.

ある実施態様では、前記表示制御手段は、表示アングルが車両前方を示すとき、反転していない切り出し画像を前記表示手段に表示させる。ある実施態様では、前記切り出し手段は、前記表示アングルに対応する第1の切り出し画像と、表示アングルと反対方向の第2の切り出し画像を切り出し、前記加工手段は、第1の切り出し画像および第2の切り出し画像の一方を反転画像に加工し、前記表示制御手段は、第1の切り出し画像および第2の切り出し画像を前記表示手段に同時に表示させる。ある実施態様では、前記表示制御手段は、前記表示アングルに基づき第1の切り出し画像または第2の切り出し画像を拡大させる。ある実施態様では、前記表示制御手段は、前記表示アングルに基づき第1の切り出し画像または第2の切り出し画像を縮小させる。ある実施態様では、前記表示制御手段は、前記表示手段の背景画面に第1または第2の切り出し画像を表示させ、前記背景画面に含まれる前景画面に第2または第1の切り出し画像を表示させる。ある実施態様では、前記表示制御手段は、前記背景画面に非反転の前方画像を表示させ、前記前景画面に反転の後方画像を表示させる。ある実施態様では、表示装置はさらに、前記表示アングルに基づき表示モードを決定する表示モード決定手段を含み、前記表示制御手段は、前記表示モード決定手段により決定された表示モードに基づき切り出し画像の表示サイズを制御する。ある実施態様では、前記表示モードは、フロントビューモードおよびリアビューモードを含み、前記表示制御手段は、フロントビューモードのとき車両前方の画像を拡大し、リアビューモードのとき車両後方の画像を拡大する。ある実施態様では、前記表示制御手段は、フロントビューモードのとき前記背景画面をメイン表示、前記前景画面をサブ表示にし、リアビューモードのとき前記背景画面をサブ表示、前記前景画面をメイン表示にする。ある実施態様では、前記表示制御手段は、フロントビューモードからリアビューモードに切替える際、車両後方の画像を段階的または連続的に拡大する。ある実施態様では、前記前景画面のサイズを段階的または連続的に拡大する。ある実施態様では、前記表示制御手段は、リアビューモードからフロントビューモードに切替える際、車両後方の画像を段階的または連続的に縮小する。ある実施態様では、前記前景画面のサイズを段階的または連続的に縮小する。ある実施態様では、表示装置はさらに、ユーザーの操作情報を入力する入力手段を含み、前記決定手段は、前記入力手段から入力された操作情報に基づき表示アングルを決定する。ある実施態様では、前記入力手段は、前記表示手段に搭載されたタッチパネルを含み、前記決定手段は、前記タッチパネル上で操作された方向および移動量に基づき表示アングルを決定する。ある実施態様では、前記前景画面は、ルームミラーを模した形状を有する。ある実施態様では、前記撮像手段は、車両の全方位を撮像する撮像カメラを含み、前記表示アングルは車両の全方位を示すことが可能であり、前記表示制御手段は、前記表示アングルに対応する画像を前記表示手段に表示させる。 In one aspect, the display control means causes the display means to display a non-inverted clipped image when the display angle indicates the front of the vehicle. In one embodiment, the cutting means cuts out a first cutout image corresponding to the display angle and a second cutout image in a direction opposite to the display angle, and the processing means cuts out the first cutout image and the second cutout image. One of the clipped images is processed into an inverted image, and the display control means simultaneously displays the first clipped image and the second clipped image on the display means. In one embodiment, the display control means enlarges the first clipped image or the second clipped image based on the display angle. In one embodiment, the display control means reduces the first clipped image or the second clipped image based on the display angle. In one embodiment, the display control means displays the first or second clipped image on a background screen of the display means, and displays the second or first clipped image on a foreground screen included in the background screen. . In one embodiment, the display control means displays a non-inverted front image on the background screen and displays an inverted rear image on the foreground screen. In one embodiment, the display device further includes display mode determination means for determining a display mode based on the display angle, and the display control means displays the clipped image based on the display mode determined by the display mode determination means. Control size. In one embodiment, the display modes include a front view mode and a rear view mode, and the display control means enlarges an image in front of the vehicle in the front view mode and enlarges an image behind the vehicle in the rear view mode. In one embodiment, the display control means sets the background screen as the main display and the foreground screen as the sub-display in the front view mode, and sets the background screen as the sub-display and the foreground screen as the main display in the rear view mode. . In one embodiment, the display control means enlarges the image behind the vehicle step by step or continuously when switching from the front view mode to the rear view mode. In one embodiment, the size of the foreground screen is increased stepwise or continuously. In one embodiment, the display control means reduces the image behind the vehicle step by step or continuously when switching from the rear view mode to the front view mode. In one embodiment, the size of the foreground screen is reduced stepwise or continuously. In one embodiment, the display device further includes input means for inputting user operation information, and the determination means determines the display angle based on the operation information input from the input means. In one embodiment, the input means includes a touch panel mounted on the display means, and the determination means determines the display angle based on the direction and amount of movement operated on the touch panel. In one embodiment, the foreground screen has a shape that imitates a rear-view mirror. In one embodiment, the imaging means includes an imaging camera that captures an omnidirectional image of the vehicle, the display angle can indicate the omnidirectional direction of the vehicle, and the display control means corresponds to the display angle. The image is displayed on the display means.

本発明に係る表示方法は、少なくとも車両の前方および後方を撮像する撮像手段と、撮像された画像を表示可能な表示手段とを含む表示装置のものであって、撮像された画像を前記表示手段に表示するときの表示アングルを決定するステップと、前記表示アングルに基づき前記撮像された画像の中から画像を切り出すステップと、前記切り出された画像をその左右が反転した反転画像に加工するステップと、前記表示アングルに応じて切り出された画像を前記表示手段に表示し、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示するステップとを有する。 A display method according to the present invention is for a display device including imaging means for imaging at least the front and rear of a vehicle and display means capable of displaying the imaged images, wherein the imaged images are displayed on the display means. a step of determining a display angle to be displayed on the screen, a step of cutting out an image from the captured image based on the display angle, and a step of processing the cut out image into a horizontally reversed inverted image; and displaying an image clipped according to the display angle on the display means, and displaying a reversed rearward image on the display means when the display angle indicates the rear of the vehicle.

本発明に係る表示プログラムは、少なくとも車両の前方および後方を撮像する撮像手段と、撮像された画像を表示可能な表示手段と、前記表示手段を制御する制御手段とを含む表示装置の前記制御手段が実行するものであって、撮像された画像を前記表示手段に表示するときの表示アングルを決定するステップと、前記表示アングルに基づき前記撮像された画像の中から画像を切り出すステップと、前記切り出された画像をその左右が反転した反転画像に加工するステップと、前記表示アングルに応じて切り出された画像を前記表示手段に表示し、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示するステップとを有する。 The display program according to the present invention is a control means of a display device including imaging means for imaging at least the front and rear of a vehicle, display means capable of displaying the imaged images, and control means for controlling the display means. is executed by determining a display angle for displaying the captured image on the display means; cutting out an image from the captured image based on the display angle; displaying the image cut out according to the display angle on the display means, and when the display angle indicates the rear side of the vehicle, the reversed rear side of the vehicle; and displaying an image on the display means.

本発明によれば、表示アングルが車両後方を示すときに、反転した後方画像を表示させるようにしたので、運転者は、自身の感覚に整合した画像を認識することができ、それ故、車両後方の画像を確認する際の安全性を向上させることができる。 According to the present invention, when the display angle indicates the rear of the vehicle, a reversed rearward image is displayed. It is possible to improve the safety when checking the rear image.

従来の全方位カメラシステムを用いた表示装置の概要を説明する図である。It is a figure explaining the outline|summary of the display apparatus using the conventional omnidirectional camera system. 従来の表示装置の課題を説明する図である。It is a figure explaining the subject of the conventional display apparatus. 本発明の実施例に係る全方位カメラシステムを用いた表示装置の一構成例を示すブロック図である。1 is a block diagram showing one configuration example of a display device using an omnidirectional camera system according to an embodiment of the present invention; FIG. 本発明の実施例に係る表示制御プログラムの機能的な構成を示す図である。It is a figure which shows the functional structure of the display control program which concerns on the Example of this invention. 本実施例の操作情報検出部の動作例を説明する図である。It is a figure explaining the operation example of the operation information detection part of a present Example. 表示アングルと表示モードとの関係を説明する図である。It is a figure explaining the relationship between a display angle and a display mode. 図7(A)は、フロントビューモードのときの背景画面と前景画面の表示サイズ例を示し、図7(B)は、リアビューモードのときの背景画面と前景画面の表示サイズ例を示す。FIG. 7A shows an example of the display sizes of the background screen and the foreground screen in the front view mode, and FIG. 7B shows an example of the display sizes of the background screen and the foreground screen in the rear view mode. 本発明の実施例による表示制御を行った場合の表示アングル、表示モード、背景画面および前景画面の関係を説明するためのテーブルである。4 is a table for explaining the relationship between display angles, display modes, background screens, and foreground screens when display control is performed according to the embodiment of the present invention; 本発明の実施例に係る表示装置の具体的な撮像画像の表示例を説明する図である。FIG. 5 is a diagram illustrating a specific display example of a captured image on the display device according to the embodiment of the present invention; 本発明の実施例に係る前景画面の表示サイズを段階的に拡大または縮小する例を示す図である。FIG. 5 is a diagram showing an example of stepwise enlargement or reduction of the display size of the foreground screen according to the embodiment of the present invention;

次に、本発明の実施の形態について説明する。ある実施の形態では、表示装置は、車両の360度の全方位を撮像可能な撮像カメラと、撮像された全方位の撮像画像の中から、ユーザー操作によって選択された表示アングルに対応する撮像画像を切り出し、これをディスプレイに表示する機能とを備えている。撮像カメラの数や取り付け位置は任意であるが、例えば、車両のフロントガラスの上部に撮像カメラを取り付けることで、車両の前方、側方、車室内を含む全方位を撮像することができる。また、1つの例として、全方位を撮像可能なドライブレコーダの撮像カメラを利用することができる。撮像画像を表示するディスプレイは、任意であり、例えば、専用のモニターであってもよいし、ナビゲーション装置等の車載装置に利用されるディスプレイと共用されるものであってもよいし、車両のインスツルメンツパネル内のディスプレイであっても良いし、車両周辺用のディスプレイであってもよい。 Next, an embodiment of the invention will be described. In one embodiment, the display device includes an imaging camera capable of imaging an omnidirectional 360-degree image of the vehicle, and an image corresponding to a display angle selected by a user operation from among the captured omnidirectional images. is cut out and displayed on the display. Although the number and mounting positions of the imaging cameras are arbitrary, for example, by mounting the imaging cameras on the upper part of the windshield of the vehicle, it is possible to capture images in all directions including the front, sides, and interior of the vehicle. Also, as one example, an imaging camera of a drive recorder capable of imaging in all directions can be used. Any display may be used to display the captured image. For example, a dedicated monitor may be used, a display may be used in common with an in-vehicle device such as a navigation device, or a vehicle instrument may be used. It may be a display in a panel, or a display for the surroundings of the vehicle.

図3は、本発明の実施例に係る表示装置の構成を示すブロック図である。本実施例の表示装置100は、車両の全方位を撮像可能な撮像部110と、ユーザーからの入力を受け取る入力部120と、撮像部110で撮像された画像を表示可能な表示部130と、種々のデータやソフトウエア等を記憶可能な記憶部140と、各部を制御する制御部150とを含んで構成される。表示装置100が他の電子機器の表示出力を兼ねる場合には、表示装置100は、他の電子機器と接続するためのインターフェースを備えることができる。 FIG. 3 is a block diagram showing the configuration of a display device according to an embodiment of the invention. The display device 100 of the present embodiment includes an imaging unit 110 capable of capturing an omnidirectional image of the vehicle, an input unit 120 receiving input from the user, a display unit 130 capable of displaying an image captured by the imaging unit 110, It includes a storage unit 140 capable of storing various data, software, etc., and a control unit 150 for controlling each unit. When the display device 100 also serves as a display output of another electronic device, the display device 100 can have an interface for connecting with the other electronic device.

撮像部110は、例えば、車両の全方位を撮像することができる1つまたは複数の撮像カメラを含む。車両の全方位とは、車両の前方、左右の側方、後方を含む。撮像部110の取付け位置は、車外、または車内のいずれでもよく、例えば、図1に示すように、車両Mのフロントガラス20の上部に取り付けることができ、その取り付けられた位置から、前方、側方、後方の全方位を撮像する。この場合、後方の撮像画像には、運転席、助手席および後部座席等の車室内の空間が含まれる。撮像部110によって撮像された画像は、制御部150に提供され、そこで必要な画像処理が施される。また、撮像された画像または加工された画像は、記憶部140に保持することができる。 The imaging unit 110 includes, for example, one or more imaging cameras capable of capturing images in all directions of the vehicle. The omnidirectional direction of the vehicle includes the front, left and right sides, and rear of the vehicle. The mounting position of the imaging unit 110 may be either outside the vehicle or inside the vehicle. For example, as shown in FIG. It captures images in all directions, both forward and backward. In this case, the captured image of the rear includes the space inside the vehicle such as the driver's seat, the passenger's seat, and the rear seats. An image captured by the imaging unit 110 is provided to the control unit 150, where necessary image processing is performed. In addition, captured images or processed images can be held in the storage unit 140 .

入力部120は、ユーザーからの入力を受け取り、これを制御部150に提供する。入力部120は、例えば、表示部130に搭載されたタッチパネル、リモコン、操作ボタン、音声入力などを含む。本実施例の1つの態様では、ユーザーは、表示部130のタッチパネルを操作して、表示部130に表示される撮像画像の表示アングルを指示する。勿論、ユーザーは、他の入力方法によって表示アングルの指示を行うことも可能である。 The input unit 120 receives input from the user and provides it to the control unit 150 . The input unit 120 includes, for example, a touch panel mounted on the display unit 130, a remote controller, operation buttons, voice input, and the like. In one aspect of this embodiment, the user operates the touch panel of the display unit 130 to specify the display angle of the captured image displayed on the display unit 130 . Of course, the user can also specify the display angle by other input methods.

表示部130は、車内の任意の位置に取り付けられ、撮像部110で撮像された画像を表示することができる。表示部130は、例えば、液晶や有機EL等のディスプレイパネルと、当該ディスプレイパネル上に積層されたタッチパネルとを含む。タッチパネルは、ユーザーの指等の接触やその移動を検出し、この検出結果を制御部150へ伝える。つまり、ユーザーは、タッチパネル上でフリック操作により入力を指示することができる。 The display unit 130 is attached to an arbitrary position inside the vehicle, and can display an image captured by the imaging unit 110 . The display unit 130 includes, for example, a display panel such as liquid crystal or organic EL, and a touch panel laminated on the display panel. The touch panel detects contact and movement of a user's finger or the like, and notifies the control unit 150 of the detection result. That is, the user can instruct input by flicking on the touch panel.

記憶部140は、撮像部110で撮像された画像を一時記憶したり、撮像画像から切り取られた画像や、左右反転等の加工された画像等を一時記憶することができる。また、記憶部140は、表示装置100の動作に必要なソフトウエアやデータ等を記憶することもできる。 The storage unit 140 can temporarily store an image captured by the imaging unit 110, an image cut from the captured image, an image processed such as left-right inversion, and the like. The storage unit 140 can also store software, data, and the like necessary for the operation of the display device 100 .

制御部150は、表示装置100の各部を制御し、例えば、ROM/RAM等を含むマイクロプロセッサまたはマイクロコンピュータを備え、そこに搭載された表示制御プログラムを実行することで表示装置100の各部を制御する。図4に、表示制御プログラムの機能的な構成を示す。本実施例に係る表示制御プログラム200は、操作情報検出部210、表示アングル決定部220、表示モード決定部230、画像切り出し部240、画像加工部250、および表示制御部260を含んで構成される。 The control unit 150 controls each unit of the display device 100, for example, includes a microprocessor or microcomputer including ROM/RAM, etc., and executes a display control program installed therein to control each unit of the display device 100. do. FIG. 4 shows the functional configuration of the display control program. The display control program 200 according to this embodiment includes an operation information detection unit 210, a display angle determination unit 220, a display mode determination unit 230, an image clipping unit 240, an image processing unit 250, and a display control unit 260. .

操作情報検出部210は、ユーザーが撮像画像の表示アングルを指示するために入力した操作情報を検出する。1つの態様では、操作情報検出部210は、ユーザーが表示部130のタッチパネル上をフリック操作したときの操作情報を検出する。例えば、図5(A)、(B)に示すように、操作情報検出部210は、ユーザーのフリック操作の水平方向の成分とその移動量を検出する。図5(A)の例では、ユーザーがほぼ水平方向に指を距離Lだけ移動させており、操作情報検出部210は、距離Lを水平方向の移動量として検出する。図5(B)の例では、ユーザーが幾分斜め方向に指を距離Lだけ移動させており、操作情報検出部210は、Lcosθを水平方向の移動量として検出する。 The operation information detection unit 210 detects operation information input by the user to instruct the display angle of the captured image. In one aspect, the operation information detection unit 210 detects operation information when the user performs a flick operation on the touch panel of the display unit 130 . For example, as shown in FIGS. 5A and 5B, the operation information detection unit 210 detects the horizontal component of the user's flick operation and the movement amount thereof. In the example of FIG. 5A, the user moves the finger substantially horizontally by a distance L, and the operation information detection unit 210 detects the distance L as the amount of movement in the horizontal direction. In the example of FIG. 5B, the user moves the finger in a somewhat oblique direction by a distance L, and the operation information detection unit 210 detects L cos θ as the amount of movement in the horizontal direction.

他の態様では、操作情報検出部210は、音声入力やリモコン操作などから操作情報を検出するようにしてもよい。例えば、「90度回転して表示」、「車両の右側方を表示」、「車両の後方を表示」等の音声入力があった場合には、操作情報検出部210は、入力された音声を解析し、当該解析結果から操作情報を検出する。 In another aspect, the operation information detection unit 210 may detect operation information from voice input, remote control operation, or the like. For example, when there is a voice input such as "rotate 90 degrees", "right side of vehicle", or "rear side of vehicle", operation information detection unit 210 outputs the input voice. Analyze and detect operation information from the analysis result.

表示アングル決定部220は、操作情報検出部210により検出された検出結果に基づき撮像画像の表示アングルを決定する。表示アングルは、全方位360度で撮像されたパノラマ画像の中から、表示部130に表示させる画像の角度または方位を表す。表示アングルは、例えば、図6に示すように、自車前方の方向を0度とし、そこから時計方向に360度で規定される。表示アングルのデフォルト値(初期値)は、例えば、0度に設定され、この場合、電源投入時または表示装置100が起動されたとき、360度のパノラマ画像の中から表示アングルが0度の画像が切り出され、これが表示部130に表示される。 The display angle determination section 220 determines the display angle of the captured image based on the detection result detected by the operation information detection section 210 . The display angle represents the angle or direction of an image to be displayed on the display unit 130 from among panoramic images captured in all directions of 360 degrees. For example, as shown in FIG. 6, the display angle is defined by 360 degrees clockwise from 0 degrees in the direction in front of the vehicle. The default value (initial value) of the display angle is set to 0 degrees, for example. is cut out and displayed on the display unit 130 .

表示アングル決定部220は、例えば、図5に示すようなフリック操作が検出された場合、予め用意されたアルゴリズム等に従い、その操作方向と移動量を表示アングルに変換する。例えば、フリック操作が図5(A)に示すように左側の移動であれば、表示アングルは、0度から時計方向に、フリックの移動量に対応する角度で決定される。また、操作情報検出部210が「90度回転して表示」のような音声を入力した場合には、表示アングル決定部220は、現在の表示アングルから時計方向に90度回転した角度を表示アングルに決定する。 For example, when a flick operation as shown in FIG. 5 is detected, the display angle determination unit 220 converts the operation direction and movement amount into a display angle according to an algorithm prepared in advance. For example, if the flick operation is a movement to the left as shown in FIG. 5A, the display angle is determined clockwise from 0 degrees at an angle corresponding to the movement amount of the flick. Further, when the operation information detection unit 210 inputs a voice such as "rotate and display by 90 degrees", the display angle determination unit 220 rotates the current display angle clockwise by 90 degrees. to decide.

表示モード決定部230は、表示アングル決定部220により決定された表示アングルに基づき表示部130の表示モードを決定する。本実施例では、表示モード決定部230は、表示アングルに基づきフロントビューモードまたはリアビューモードのいずれかに決定する。一例として、図6に示すように、表示アングルの0度が車両前方である場合、表示アングルが270度~90度の範囲であるときフロントビューモード、90度~270度であるときリアビューモードになる。 The display mode determination section 230 determines the display mode of the display section 130 based on the display angle determined by the display angle determination section 220 . In this embodiment, the display mode determination unit 230 determines either the front view mode or the rear view mode based on the display angle. As an example, as shown in FIG. 6, when the display angle of 0 degrees is in front of the vehicle, the front view mode is selected when the display angle is in the range of 270 degrees to 90 degrees, and the rear view mode is selected when the display angle is in the range of 90 degrees to 270 degrees. Become.

本実施例の1つの実施態様では、表示部130に撮像画像を表示する場合、2つの撮像画像がピクチャーインピクチャー(PinP)形式で同時に表示される。PinP形式の一例を図7(A)、(B)に示す。同図に示すように、ディスプレイ132の全体が背景画面134に割り当てられ、背景画面134の中に前景画面136が割り当てられる。背景画面134には、自車前方の撮像画像が表示され、前景画面136には、自車後方の撮像画像が表示される。本例では、前景画面136は、ルームミラーの形状を呈しており、前景画面136には、車室内の運転席や助手席を含む車内空間の後方画像が表示される。背景画面134と前景画面136とが重複する領域は、前景画面136の後方画像が表示され、前方画像は、後方画像によって遮蔽される。なお、後述するように前景画面136には、常に左右が反転された後方画像が表示されるが、背景画面134には、左右が反転されていない前方画面が表示される。 In one aspect of the present embodiment, when displaying captured images on the display unit 130, two captured images are displayed simultaneously in a picture-in-picture (PinP) format. An example of the PinP format is shown in FIGS. 7(A) and 7(B). As shown in the figure, the entire display 132 is assigned to the background screen 134 and the foreground screen 136 is assigned to the background screen 134 . The background screen 134 displays a captured image in front of the vehicle, and the foreground screen 136 displays a captured image behind the vehicle. In this example, the foreground screen 136 has the shape of a rearview mirror, and the foreground screen 136 displays a rearward image of the vehicle interior including the driver's seat and the front passenger's seat. In the area where the background screen 134 and the foreground screen 136 overlap, the rear image of the foreground screen 136 is displayed, and the front image is shielded by the rear image. As will be described later, the foreground screen 136 always displays the rearward image that is horizontally reversed, but the background screen 134 displays the forward screen that is not horizontally reversed.

フロントビューモードのとき、図7(A)に示すように、前方画像を表示する背景画面134が見易くなるようにするため、背景画面134は、比較的大きな表示面積を持つメイン表示になり、後方画像を表示する前景画面136は、比較的小さな表示面積を持つサブ表示になる。他方、リアビューモードのときは、この関係が反転し、図7(B)に示すように、後方画像を表示する前景画面136が見易くなるようにするため、前景画面136は、比較的大きな表示面積を持つメイン表示に切替わり、背景画面134は、比較的小さな表示面積を持つサブ表示に切替わる。 In the front view mode, as shown in FIG. 7A, the background screen 134 that displays the front image becomes the main display having a relatively large display area so that the background screen 134 that displays the front image is easy to see. The foreground screen 136 that displays the image becomes a sub-display with a relatively small display area. On the other hand, in the rear view mode, this relationship is reversed. As shown in FIG. 7B, the foreground screen 136 displaying the rear image is made easy to see, so that the foreground screen 136 has a relatively large display area. , and the background screen 134 is switched to a sub-display having a relatively small display area.

画像切り出し部240は、表示アングル決定部220により決定された表示アングルに基づき、撮像部110で撮像された全方位のパノラマ画像の中から表示すべき画像の切り出しを行う。本例では、画像切り出し部240は、背景画面134と前景画面136のそれぞれに前方画像および後方画像を表示させるため、それぞれに対応する1組の画像の切り出しを行う。ここで、第1の切り出し画像は、表示アングルに対応する画像であり、第2の切り出し画像は、第1の切り出し画像と反対方向の画像、つまり、表示アングルと180度異なる方向の画像である。例えば、表示アングルが30度であれば、第1の切り出し画像は、表示アングルが30度に対応し、第2の切り出し画像は、表示アングルが210度に対応する。切り出す画像の大きさは、表示部130の表示範囲との関係等から予め設定される。 The image clipping unit 240 clips an image to be displayed from the omnidirectional panorama image captured by the imaging unit 110 based on the display angle determined by the display angle determining unit 220 . In this example, the image clipping unit 240 clips a pair of images corresponding to the front image and the rear image to be displayed on the background screen 134 and the foreground screen 136, respectively. Here, the first clipped image is an image corresponding to the display angle, and the second clipped image is an image in the opposite direction to the first clipped image, that is, an image in a direction 180 degrees different from the display angle. . For example, if the display angle is 30 degrees, the first clipped image corresponds to a display angle of 30 degrees, and the second clipped image corresponds to a display angle of 210 degrees. The size of the clipped image is set in advance from the relationship with the display range of the display unit 130 and the like.

画像切り出し部240により切り出された第1および第2の切り出し画像は、画像加工部250へ提供される。画像加工部250は、第1および第2の切り出し画像について、トリミング加工、サイズ調整、左右が反転する反転処理等を行う。表示制御部260は、背景画面134および前景画面136に表示される第1および第2の切り出し画像の制御を行う。図8のテーブルに、表示制御部260による表示制御の内容を示す。 The first and second clipped images clipped by the image clipping section 240 are provided to the image processing section 250 . The image processing unit 250 performs trimming processing, size adjustment, reversal processing for horizontally reversing the first and second clipped images, and the like. The display control unit 260 controls the first and second clipped images displayed on the background screen 134 and the foreground screen 136 . The table in FIG. 8 shows details of display control by the display control unit 260 .

先ず、表示アングルが0~90度のとき、表示モードはフロントビューモードである。フロントビューモードでは、背景画面134がメイン表示となり、背景画面134には、表示アングルに応じて切り出された第1の切り出し画像が表示される。第1の切り出し画像は、左右が反転されていない前方画像である。他方、前景画面136はサブ表示となり、前景画面136には、表示アングルと180と異なる方向で切り出された第2の切り出し画像が表示される。第2の切り出し画像は、左右が反転された後方画像である。 First, when the display angle is 0 to 90 degrees, the display mode is the front view mode. In the front view mode, the background screen 134 is the main display, and the first clipped image clipped according to the display angle is displayed on the background screen 134 . The first cropped image is the front image that is not horizontally flipped. On the other hand, the foreground screen 136 becomes a sub display, and a second clipped image clipped in a direction different from the display angle 180 is displayed on the foreground screen 136 . The second cropped image is a left-right reversed rear image.

表示アングルが90~180度のとき、表示モードはリアビューモードである。リアビューモードでは、ルームミラーの形状を呈した前景画面136がメイン表示となり、前景画面136には、表示アングルに応じて切り出された第1の切り出し画像が表示される。このとき、第1の切り出し画像は、左右が反転された後方画像である。他方、背景画面134はサブ表示となり、背景画面134には、表示アングルと180と異なる方向で切り出された第2の切り出し画像が表示される。このとき、第2の切り出し画像は、左右が反転されていない前方画像である。 When the viewing angle is 90-180 degrees, the viewing mode is the rear view mode. In the rear view mode, the foreground screen 136 having the shape of a rearview mirror is the main display, and the foreground screen 136 displays the first clipped image that is clipped according to the display angle. At this time, the first clipped image is the rear image whose left and right are reversed. On the other hand, the background screen 134 becomes a sub-display, and the second clipped image clipped in a direction different from the display angle 180 is displayed on the background screen 134 . At this time, the second clipped image is the front image that is not left-right reversed.

表示アングルが180~270度のとき、表示モードはリアビューモードであり、90~180度のときと同様の表示制御が行われる。表示アングルが270~0度のとき、表示モードはフロントビューモードであり、0~90度のときの同様の表示制御が行われる。 When the display angle is 180 to 270 degrees, the display mode is the rear view mode, and the same display control as when it is 90 to 180 degrees is performed. When the display angle is 270 to 0 degrees, the display mode is the front view mode, and the same display control as when it is 0 to 90 degrees is performed.

次に、本実施例の表示装置100の具体的な表示動作を、図9に示す画面遷移図を参照して説明する。表示装置100が起動されると、表示アングル決定部220は、初期設定(例えば、0度)を表示アングルと決定し、表示モード決定部230は、フロントビューモードを決定する。その結果、ディスプレイ132の背景画面134がメイン表示となり、そこに自車の前方画像が表示される。ルームミラー形状の前景画面136には、自車後方の反転画像が表示される。 Next, a specific display operation of the display device 100 of this embodiment will be described with reference to the screen transition diagram shown in FIG. When the display device 100 is activated, the display angle determining section 220 determines the initial setting (for example, 0 degrees) as the display angle, and the display mode determining section 230 determines the front view mode. As a result, the background screen 134 of the display 132 becomes the main display, and the front image of the own vehicle is displayed there. A reversed image of the rear of the vehicle is displayed on the rearview mirror-shaped foreground screen 136 .

この状態から、例えば、ユーザーが左方向にフリック操作をすると、その方向および移動量が検出され、それに応じて、0度から時計方向に回転した表示アングルが決定され、そこで、第1および第2の切り出し画像が切り出され、背景画面134には、第1の切り出し画像の非反転の前方画像が表示され、前景画面136には、第2の切り出し画像の反転された後方画像が表示される。 From this state, for example, when the user flicks to the left, the direction and amount of movement are detected, and accordingly the display angle rotated clockwise from 0 degrees is determined. , the background screen 134 displays the non-inverted front image of the first cut-out image, and the foreground screen 136 displays the reversed rear image of the second cut-out image.

ユーザーがさらに左方向にフリック操作を継続すると、表示アングルがさらに時計方向に進み、背景画面134には表示アングルに応じた非反転の前方画像が表示され、前景画面136には、それと正反対の反転された後方画像が表示される。 When the user continues to flick leftward, the display angle advances further clockwise, and the background screen 134 displays a non-inverted forward image corresponding to the display angle, and the foreground screen 136 displays the opposite inverted image. A backward image is displayed.

ある実施態様では、表示アングルが一定角度に到達すると、それ以降、前景画面136のサイズを段階的に、あるいは連続的に拡大する。例えば、表示アングルが75度に到達すると、図10(A)~(D)に示すように、75度から90度まで間、前景画面136のサイズが段階的に拡大される。あるいは、前景画面136のサイズが連続的で拡大さえる。 In some implementations, after the viewing angle reaches a certain angle, the size of the foreground screen 136 is increased stepwise or continuously thereafter. For example, when the display angle reaches 75 degrees, as shown in FIGS. 10A to 10D, the size of the foreground screen 136 is increased step by step from 75 degrees to 90 degrees. Alternatively, the size of the foreground screen 136 is continuously enlarged.

左方向のフリック操作がさらに継続され、表示アングルが90度に到達すると、表示モードがフロントビューモードからリアビューモードに切替わる。このとき、前景画面136が図10(D)に示すように、サブ表示からメイン表示に完全に切替えられ、背景画面134がメイン表示からサブ表示に完全に切替えられる。 When the leftward flick operation is further continued and the display angle reaches 90 degrees, the display mode switches from the front view mode to the rear view mode. At this time, the foreground screen 136 is completely switched from the sub-display to the main display, and the background screen 134 is completely switched from the main display to the sub-display, as shown in FIG. 10(D).

左方向のフリック操作がさらに継続されると、メイン表示の前景画面136には、表示アングルに対応する反転された後方画像が表示され、サブ表示の背景画面134には、非反転の前方画像が表示される。表示アングルが90~270度の範囲では、前景画面136の表示サイズは一定である。 When the leftward flick operation is further continued, the foreground screen 136 of the main display displays the reversed rear image corresponding to the display angle, and the background screen 134 of the sub display displays the non-reversed front image. Is displayed. The display size of the foreground screen 136 is constant within the display angle range of 90 to 270 degrees.

左方向のフリック操作がさらに継続され、表示アングルが270度に到達すると、表示モードがリアビューモードからフロントビューモードに切替わる。前景画面136は、メイン表示からサブ表示に切替えられ、背景画面134は、サブ表示からメイン表示に切替えられる。1つの実施態様では、例えば、表示アングルが270度から285度の間は、図10(E)~(H)に示すように、前景画面136のサイズが段階的に、あるいは連続的に小さくされる。 When the leftward flick operation is further continued and the display angle reaches 270 degrees, the display mode is switched from the rear view mode to the front view mode. The foreground screen 136 is switched from the main display to the sub-display, and the background screen 134 is switched from the sub-display to the main display. In one embodiment, for example, between 270 degrees and 285 degrees of display angle, the size of the foreground screen 136 is reduced stepwise or continuously as shown in FIGS. 10(E)-(H). be.

左方向のフリック操作がさらに継続され、表示アングルが285~0度の範囲では、背景画面134に表示アングルに対応する非反転の前方画像が表示され、前景画面136には、それと180度異なる方向の反転された後方画像が表示される。上記の表示制御は、ユーザーがフリック操作を右方向に行い、表示アングルを反時計方向に回転させた場合にも同様に行われる。 The leftward flick operation is further continued, and when the display angle is in the range of 285 to 0 degrees, the non-inverted front image corresponding to the display angle is displayed on the background screen 134, and the foreground screen 136 is displayed in a direction 180 degrees different from that. is displayed. The display control described above is similarly performed when the user performs a flick operation to the right to rotate the display angle counterclockwise.

このように本実施例によれば、シームレスな表示アングルの移動を保ちつつ、リアモードに切替わったときに、左右反転された後方画像を表示させることができる。これにより、ユーザーの利便性を損なうことなく、ルームミラーで鏡像をみたときの映像との整合性を保ち、運転者に誤解や混乱を生じさせることなく、安全に寄与する表示機能を提供することができる。 As described above, according to the present embodiment, it is possible to display a horizontally reversed rear image when switching to the rear mode while maintaining seamless movement of the display angle. As a result, it is possible to provide a display function that contributes to safety without impairing the user's convenience, maintaining consistency with the image when looking at the mirror image in the rear-view mirror, and without causing misunderstanding or confusion for the driver. can be done.

上記実施例では、車両の全方位を撮像し、その中から任意の画像を表示する例を示したが、これに限らず、本発明は、少なくとも車両の前方と後方を撮像し、前方および後方の中から任意の画像を表示できるようにしてもよい。 In the above embodiment, an example is shown in which an image is captured in all directions of the vehicle and an arbitrary image is displayed from among the captured images. You may enable it to display arbitrary images from.

上記実施例では、270~90度の範囲をフロンビューモードに設定し、90~270度の範囲をリアビューモードに設定したが、これは一例であり、その範囲は任意に適宜設定することが可能である。例えば、自車の前方を撮像する前方カメラと、自車の後方を撮像する後方カメラを搭載する場合には、フロントビューモードは、前方カメラの視野範囲に応じた角度に設定され(例えば、300~60度)、リアビューモードは、後方カメラの視野範囲に応じた角度に設定される(例えば、190~260度)。 In the above embodiment, the range of 270 to 90 degrees is set to the front view mode, and the range of 90 to 270 degrees is set to the rear view mode, but this is an example and the range can be set arbitrarily and appropriately. is. For example, when a front camera for imaging the front of the vehicle and a rear camera for imaging the rear of the vehicle are installed, the front view mode is set to an angle according to the field of view of the front camera (for example, 300 ~60 degrees), and the rear view mode is set to an angle according to the viewing range of the rear camera (eg, 190-260 degrees).

また、上記実施例は、背景画面とその中に表示される前景画面とを含むPinP形式を例示したが、必ずしもPinP形式を用いず、1つの画面で非反転前方画像から反転後方画像への切替え表示を行うようにしてもよい。例えば、フロントビューモードにおいて、表示アングルに対応する非反転の前方画像を表示し、リアビューモードにおいて、表示アングルに対応する反転の後方画像を表示する。 In addition, the above embodiment illustrated the PinP format including the background screen and the foreground screen displayed therein, but the PinP format is not necessarily used, and switching from the non-inverted front image to the inverted rear image can be performed in one screen. You may make it display. For example, in front view mode, a non-inverted front image corresponding to the display angle is displayed, and in rear view mode, an inverted rear image corresponding to the display angle is displayed.

さらに上記実施例では、撮像カメラを車両のフロントガラスの上部に取り付け、車両の後方画像として車室内の画像を表示する例を示したが、これに限らず、撮像カメラは、ドアミラー、車両の前方、後方、側方のいずれかに取り付けられるものであってもよい。そして、後方画像は、必ずしも車室内の画像に限らず、自車両の後方の空間を撮像した画像であってもよい。上記実施例では、ディスプレイの画面全体を背景画面とし、ルームミラー形状を前景画面としたが、背景画面および前景画面の形状や大きさは任意に設定することが可能である。 Furthermore, in the above embodiment, an example in which the imaging camera is attached to the upper part of the windshield of the vehicle and an image of the interior of the vehicle is displayed as an image behind the vehicle is shown. , rearward, or laterally. The rearward image is not limited to the image of the interior of the vehicle, and may be an image of the space behind the vehicle. In the above embodiment, the entire screen of the display is used as the background screen and the shape of the rearview mirror is used as the foreground screen, but the shape and size of the background screen and the foreground screen can be set arbitrarily.

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to specific embodiments, and various modifications, Change is possible.

100:表示装置 110:撮像部
120:入力部 130:表示部
132:ディスプレイ 134:背景画面
136:前景画面 140:記憶部
150:制御部 200:表示制御プログラム
100: Display device 110: Imaging unit 120: Input unit 130: Display unit 132: Display 134: Background screen 136: Foreground screen 140: Storage unit 150: Control unit 200: Display control program

Claims (19)

少なくとも車両の前方および後方を撮像する撮像手段と、
表示手段と、
撮像された画像を前記表示手段に表示させるときの表示アングルを決定する決定手段と、
前記表示アングルに基づき前記撮像された画像の中から画像を切り出す切り出し手段と、
前記切り出された画像をその左右が反転した反転画像に加工する加工手段と、
前記表示アングルに応じて切り出された画像を前記表示手段に表示させ、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示させる表示制御手段とを有し、
前記切り出し手段は、前記表示アングルに対応する第1の切り出し画像と、表示アングルと反対方向の第2の切り出し画像を切り出し、
前記加工手段は、第1の切り出し画像および第2の切り出し画像の一方を反転画像に加工し、
前記表示制御手段は、第1の切り出し画像および第2の切り出し画像を前記表示手段に同時に表示させる、表示装置。
imaging means for imaging at least the front and rear of the vehicle;
display means;
determining means for determining a display angle for displaying the captured image on the display means;
clipping means for clipping an image from the captured image based on the display angle;
a processing means for processing the clipped image into a horizontally reversed image;
display control means for causing the display means to display an image clipped according to the display angle, and for causing the display means to display an inverted rearward image when the display angle indicates the rear of the vehicle ;
The clipping means clips a first clipped image corresponding to the display angle and a second clipped image in a direction opposite to the display angle,
The processing means processes one of the first cutout image and the second cutout image into an inverted image,
The display device, wherein the display control means causes the display means to simultaneously display the first clipped image and the second clipped image .
前記表示制御手段は、表示アングルが車両前方を示すとき、反転していない切り出し画像を前記表示手段に表示させる、請求項1に記載の表示装置。 2. The display device according to claim 1, wherein said display control means causes said display means to display a non-inverted clipped image when the display angle indicates the front of the vehicle. 前記表示制御手段は、前記表示アングルに基づき第1の切り出し画像または第2の切り出し画像を拡大させる、請求項に記載の表示装置。 2. The display device according to claim 1 , wherein said display control means enlarges the first clipped image or the second clipped image based on said display angle. 前記表示制御手段は、前記表示アングルに基づき第1の切り出し画像または第2の切り出し画像を縮小させる、請求項1または3に記載の表示装置。 4. The display device according to claim 1 , wherein said display control means reduces the first clipped image or the second clipped image based on said display angle. 前記表示制御手段は、前記表示手段の背景画面に第1または第2の切り出し画像を表示させ、前記背景画面に含まれる前景画面に第2または第1の切り出し画像を表示させる、請求項1ないし4いずれか1つに記載の表示装置。 3. The display control means displays the first or second clipped image on a background screen of the display means, and displays the second or first clipped image on a foreground screen included in the background screen. 4. The display device according to any one of 4. 前記表示制御手段は、前記背景画面に非反転の前方画像を表示させ、前記前景画面に反転の後方画像を表示させる、請求項に記載の表示装置。 6. The display device according to claim 5 , wherein said display control means displays a non-inverted front image on said background screen and displays an inverted rear image on said foreground screen. 表示装置はさらに、前記表示アングルに基づき表示モードを決定する表示モード決定手段を含み、
前記表示制御手段は、前記表示モード決定手段により決定された表示モードに基づき切り出し画像の表示サイズを制御する、請求項1ないしいずれか1つに記載の表示装置。
The display device further includes display mode determining means for determining a display mode based on the display angle;
7. The display device according to claim 1 , wherein said display control means controls the display size of the clipped image based on the display mode determined by said display mode determination means.
前記表示モードは、フロントビューモードおよびリアビューモードを含み、
前記表示制御手段は、フロントビューモードのとき車両前方の画像を拡大し、リアビューモードのとき車両後方の画像を拡大する、請求項に記載の表示装置。
the display modes include a front view mode and a rear view mode;
8. The display device according to claim 7 , wherein said display control means enlarges an image in front of the vehicle in front view mode, and enlarges an image behind the vehicle in rear view mode.
前記表示制御手段は、フロントビューモードのとき前記表示手段の背景画面をメイン表示、前記表示手段の前景画面をサブ表示にし、リアビューモードのとき前記背景画面をサブ表示、前記前景画面をメイン表示にする、請求項に記載の表示装置。 The display control means sets the background screen of the display means as the main display and the foreground screen of the display means as the sub-display in the front view mode, and sets the background screen as the sub-display and the foreground screen as the main display in the rear view mode. 9. The display device according to claim 8 , wherein 前記表示制御手段は、フロントビューモードからリアビューモードに切替える際、車両後方の画像を段階的または連続的に拡大する、請求項に記載の表示装置。
9. The display device according to claim 8 , wherein said display control means enlarges the image behind the vehicle step by step or continuously when switching from the front view mode to the rear view mode.
前記表示手段の前景画面のサイズを段階的または連続的に拡大する、請求項10に記載の表示装置。 11. A display device according to claim 10 , wherein the size of the foreground screen of said display means is increased stepwise or continuously. 前記表示制御手段は、リアビューモードからフロントビューモードに切替える際、車両後方の画像を段階的または連続的に縮小する、請求項8ないし11いずれか1つに記載の表示装置。 12. The display device according to any one of claims 8 to 11 , wherein said display control means reduces the image of the rear of the vehicle stepwise or continuously when switching from rear view mode to front view mode. 前記表示手段の前景画面のサイズを段階的または連続的に縮小する、請求項12に記載の表示装置。 13. A display device according to claim 12 , wherein the size of the foreground screen of said display means is reduced stepwise or continuously. 表示装置はさらに、ユーザーの操作情報を入力する入力手段を含み、
前記決定手段は、前記入力手段から入力された操作情報に基づき表示アングルを決定する、請求項1に記載の表示装置。
The display device further includes input means for inputting user operation information,
2. The display device according to claim 1, wherein said determining means determines the display angle based on operation information input from said input means.
前記入力手段は、前記表示手段に搭載されたタッチパネルを含み、
前記決定手段は、前記タッチパネル上で操作された方向および移動量に基づき表示アングルを決定する、請求項14に記載の表示装置。
The input means includes a touch panel mounted on the display means,
15. The display device according to claim 14 , wherein said determining means determines the display angle based on the direction and amount of movement operated on said touch panel.
前記前景画面は、ルームミラーを模した形状を有する、請求項に記載の表示装置。 6. The display device according to claim 5 , wherein said foreground screen has a shape that imitates a room mirror. 前記撮像手段は、車両の全方位を撮像する撮像カメラを含み、
前記表示アングルは車両の全方位を示すことが可能であり、
前記表示制御手段は、前記表示アングルに対応する画像を前記表示手段に表示させる、請求項1ないし16いずれか1つに記載の表示装置。
The imaging means includes an imaging camera that captures an omnidirectional image of the vehicle,
The display angle can indicate all directions of the vehicle,
17. The display device according to claim 1, wherein said display control means causes said display means to display an image corresponding to said display angle.
少なくとも車両の前方および後方を撮像する撮像手段と、撮像された画像を表示可能な表示手段とを含む表示装置の表示方法であって、
撮像された画像を前記表示手段に表示するときの表示アングルを決定するステップと、
前記表示アングルに基づき前記撮像された画像の中から画像を切り出すステップと、
前記切り出された画像をその左右が反転した反転画像に加工するステップと、
前記表示アングルに応じて切り出された画像を前記表示手段に表示し、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示するステップとを有し、
前記切り出すステップは、前記表示アングルに対応する第1の切り出し画像と、表示アングルと反対方向の第2の切り出し画像を切り出し、
前記加工するステップは、第1の切り出し画像および第2の切り出し画像の一方を反転画像に加工し、
前記表示するステップは、第1の切り出し画像および第2の切り出し画像を前記表示手段に同時に表示させる、表示方法。
A display method for a display device including imaging means for imaging at least the front and rear of a vehicle and display means capable of displaying the captured image,
determining a display angle for displaying the captured image on the display means;
cropping an image from the captured image based on the display angle;
a step of processing the clipped image into a horizontally reversed image;
displaying an image clipped according to the display angle on the display means, and displaying a reversed rearward image on the display means when the display angle indicates the rear of the vehicle ;
The clipping step includes clipping a first clipped image corresponding to the display angle and a second clipped image in a direction opposite to the display angle;
The processing step includes processing one of the first clipped image and the second clipped image into an inverted image,
The display method, wherein the step of displaying causes the display means to simultaneously display the first clipped image and the second clipped image .
少なくとも車両の前方および後方を撮像する撮像手段と、撮像された画像を表示可能な表示手段と、前記表示手段を制御する制御手段とを含む表示装置の前記制御手段が実行する表示プログラムであって、
撮像された画像を前記表示手段に表示するときの表示アングルを決定するステップと、
前記表示アングルに基づき前記撮像された画像の中から画像を切り出すステップと、
前記切り出された画像をその左右が反転した反転画像に加工するステップと、
前記表示アングルに応じて切り出された画像を前記表示手段に表示し、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示するステップとを有し、
前記切り出すステップは、前記表示アングルに対応する第1の切り出し画像と、表示アングルと反対方向の第2の切り出し画像を切り出し、
前記加工するステップは、第1の切り出し画像および第2の切り出し画像の一方を反転画像に加工し、
前記表示するステップは、第1の切り出し画像および第2の切り出し画像を前記表示手段に同時に表示させる、表示プログラム。
A display program executed by the control means of a display device including imaging means for imaging at least the front and rear of a vehicle, display means capable of displaying the imaged images, and control means for controlling the display means, ,
determining a display angle for displaying the captured image on the display means;
cropping an image from the captured image based on the display angle;
a step of processing the clipped image into a horizontally reversed image;
displaying an image clipped according to the display angle on the display means, and displaying a reversed rearward image on the display means when the display angle indicates the rear of the vehicle;
The clipping step includes clipping a first clipped image corresponding to the display angle and a second clipped image in a direction opposite to the display angle;
The processing step includes processing one of the first clipped image and the second clipped image into an inverted image,
The display program , wherein the step of displaying causes the display means to simultaneously display the first clipped image and the second clipped image .
JP2018217593A 2018-11-20 2018-11-20 Display device, display method and display program Active JP7166725B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018217593A JP7166725B2 (en) 2018-11-20 2018-11-20 Display device, display method and display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018217593A JP7166725B2 (en) 2018-11-20 2018-11-20 Display device, display method and display program

Publications (2)

Publication Number Publication Date
JP2020088511A JP2020088511A (en) 2020-06-04
JP7166725B2 true JP7166725B2 (en) 2022-11-08

Family

ID=70909038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018217593A Active JP7166725B2 (en) 2018-11-20 2018-11-20 Display device, display method and display program

Country Status (1)

Country Link
JP (1) JP7166725B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118300A (en) 1998-10-09 2000-04-25 Fujitsu Ten Ltd On-vehicle image pickup device
JP2010137697A (en) 2008-12-11 2010-06-24 Honda Motor Co Ltd Drive assisting device for vehicle
JP2013034142A (en) 2011-08-03 2013-02-14 Nippon Seiki Co Ltd Peripheral image display device
JP2013055416A (en) 2011-09-01 2013-03-21 Alpine Electronics Inc Exterior video provision system
WO2013175753A1 (en) 2012-05-22 2013-11-28 三菱電機株式会社 Image processing device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03250879A (en) * 1990-02-28 1991-11-08 Matsushita Electric Ind Co Ltd Video recording and reproducing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118300A (en) 1998-10-09 2000-04-25 Fujitsu Ten Ltd On-vehicle image pickup device
JP2010137697A (en) 2008-12-11 2010-06-24 Honda Motor Co Ltd Drive assisting device for vehicle
JP2013034142A (en) 2011-08-03 2013-02-14 Nippon Seiki Co Ltd Peripheral image display device
JP2013055416A (en) 2011-09-01 2013-03-21 Alpine Electronics Inc Exterior video provision system
WO2013175753A1 (en) 2012-05-22 2013-11-28 三菱電機株式会社 Image processing device

Also Published As

Publication number Publication date
JP2020088511A (en) 2020-06-04

Similar Documents

Publication Publication Date Title
JP5115136B2 (en) Vehicle rear monitoring device
JP4766841B2 (en) Camera device and vehicle periphery monitoring device mounted on vehicle
US8937558B2 (en) Image generating apparatus and image display system
US20120257058A1 (en) Image processing device, image processing system, and image processing method
JP2015193280A (en) Vehicle controlling device and vehicle controlling method
JP2018157403A (en) On-vehicle display device, control method for on-vehicle display device, and control program for on-vehicle display device
JPH05139209A (en) Visual information supply device
JP5093611B2 (en) Vehicle periphery confirmation device
US20120249796A1 (en) Image processing device, image processing system, and image processing method
JP5036891B2 (en) Camera device and vehicle periphery monitoring device mounted on vehicle
US10647260B2 (en) Vehicle surroundings display device
US11024011B2 (en) Image display apparatus and image display method
JP2009006974A (en) Side mirror device and side mirror system
JP2011189775A (en) Posterolateral checking apparatus for vehicle
JP2008162308A (en) Vehicular imaging device and vehicular image processing device
JP7166725B2 (en) Display device, display method and display program
JP2005145151A (en) Vehicle circumference check auxiliary system and vehicle circumference graphic display method
JP7279566B2 (en) Vehicle electronic mirror system
JP2015074316A (en) Display device for vehicle
JP2007145041A (en) Vehicle periphery visually confirming device
JP6332332B2 (en) Electronic mirror device
JP2018103866A (en) Visual recognition device for vehicle
JP2015043586A (en) Image processing system, electronic device and image processing method
JP2006020141A (en) Display controller
JP2013055385A (en) Vehicle periphery display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221025

R150 Certificate of patent or registration of utility model

Ref document number: 7166725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150