JP7166725B2 - Display device, display method and display program - Google Patents
Display device, display method and display program Download PDFInfo
- Publication number
- JP7166725B2 JP7166725B2 JP2018217593A JP2018217593A JP7166725B2 JP 7166725 B2 JP7166725 B2 JP 7166725B2 JP 2018217593 A JP2018217593 A JP 2018217593A JP 2018217593 A JP2018217593 A JP 2018217593A JP 7166725 B2 JP7166725 B2 JP 7166725B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- angle
- clipped
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、撮像カメラにより撮像された車両周辺の画像を表示する表示装置に関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a display device that displays an image around a vehicle captured by an imaging camera.
近年、車両には、種々の撮像カメラが搭載されている。例えば、運転支援のために自車周辺の障害物等を検出するために撮像カメラを搭載したり、走行中の事故等の事象を記録するために撮像カメラを搭載したり、ドアミラー等の光学式ミラーの代わりに撮像カメラを搭載している。 In recent years, vehicles are equipped with various imaging cameras. For example, an imaging camera is installed to detect obstacles around the vehicle for driving support, an imaging camera is installed to record events such as accidents while driving, and an optical system such as a door mirror is installed. It has an imaging camera instead of a mirror.
例えば、特許文献1に開示される車両周辺視認装置は、魚眼レンズ等の広い視野範囲を有するカメラで車両周辺を撮像し、その撮像された画像をドアミラーの鏡像の代わりに、あるいは鏡像と一緒に用いることで、ドアミラーの鏡像で見るときよりも死角の少ない画像を運転者に提供している。この際、車両後方を撮像した画像をそのまま表示すると、運転者がドアミラーで見たときの鏡像と上下の位置関係が逆になるので、この違和感を無くすために、ドアミラーの鏡像に対応するように、車両後方の画像の反転処理を行っている。また、特許文献2は、全方位カメラを使用した周辺画像表示装置に関し、ユーザー操作に応じて表示画像の切替えを可能にしている。 For example, the vehicle periphery visual recognition device disclosed in Patent Document 1 captures an image of the vehicle periphery with a camera having a wide field of view such as a fisheye lens, and uses the captured image instead of the mirror image of the door mirror or together with the mirror image. This provides the driver with an image with fewer blind spots than in the mirror image of the door mirror. At this time, if the image of the rear of the vehicle is displayed as it is, the vertical positional relationship will be reversed when the driver sees the mirror image through the door mirrors. , the image of the rear of the vehicle is reversed. Further, Patent Document 2 relates to a peripheral image display device using an omnidirectional camera, and enables switching of displayed images in accordance with user operations.
撮像カメラシステムの中には、車両の全方位(360度)を撮像する全方位カメラシステムが一般的になりつつある。例えば、魚眼レンズのような視野範囲(約180度)が広い撮像カメラを2つ用意し、一方の撮像カメラで自車前方を撮像し、他方の撮像カメラで自車後方を撮像したり、全方位を撮像可能なドライブレコーダなども実用化されている。 Among imaging camera systems, omnidirectional camera systems that capture images in all directions (360 degrees) of a vehicle are becoming common. For example, two imaging cameras with a wide field of view (approximately 180 degrees) such as fisheye lenses are prepared. Drive recorders capable of imaging are also in practical use.
このような全方位カメラシステムを用いた従来の表示装置の概要を図1に示す。図1(A)に示すように、撮像カメラ10は、例えば、車両Mのフロントガラス20の上部に取り付けられ、車両Mの前方、側方、後方の全方位(360度)を、略水平方向に撮像する。全方位を撮像した画像の中から表示アングルに応じた画像が切り出され、切り出された画像が車内に設置されたディスプレイ30に表示される。ユーザーは、ディスプレイ30のタッチパネルをフリック操作することで表示アングルを決定することができる。例えば、図1(B)のようにユーザーが左方向にフリック操作Lをすると、その方向および移動量に応じて表示アングルが切替えられ、図1(C)に示すように、ディスプレイ30に表示される撮像画像を、前方、右側方、後方、左側方、前方へと右回りに移動させることができる。このような表示機能により、ユーザーは、確認したい方向や表示アングルの微調整を簡単に行うことができる。
FIG. 1 shows an outline of a conventional display device using such an omnidirectional camera system. As shown in FIG. 1A, the
従来のカメラシステム(リアカメラ、サイドカメラ後方ビュー、ルームカメラ、ドライブレコーダのカメラ等)では、後方画像を表示する場合、基本的には後方画像の左右を反転した反転画像に加工処理して表示している。ディスプレイ上の後方画像の視認は、運転者がルームミラーやサイドミラーの鏡像を視認する場合と同じであり、両者の親和性/整合性を保つ為に後方画像を反転処理し、あたかもミラー越しに見ているような画像としている。 In conventional camera systems (rear camera, side camera rear view, room camera, drive recorder camera, etc.), when displaying a rear image, the rear image is basically horizontally reversed and displayed after processing. is doing. Viewing the rear image on the display is the same as when the driver views the mirror image of the room mirror or side mirror. The image is the one you see.
しかし、上記した全方位カメラシステムを用いた表示装置では、表示アングルに応じて画像をシームレスに切替えるようにするため、後方画像の左右反転の処理が行われずに、単純に撮影方向のままの画像を表示するに過ぎなかった。つまり、後方画像を表示すると、図2(A)に示すように、シームレスの切替えを優先させるが故に撮像画像がそのまま表示され、車室内での運転者の感覚では、左右を混同してしまい、非常に危険な場合がある。本来、車室内の運転者の感覚を考慮すれば、図2(B)に示すように、左右反転した後方画像を表示すべきである。このように従来の全方位カメラシステムを用いた表示装置は、車載機器としての運転者にとっての配慮に欠け、安全性において大きな課題があった。 However, in the display device using the above-described omnidirectional camera system, in order to seamlessly switch the image according to the display angle, the rear image is not horizontally reversed, and the image is simply displayed in the shooting direction. was only displayed. That is, when the rear image is displayed, as shown in FIG. 2A, the captured image is displayed as it is because the seamless switching is prioritized, and the driver in the vehicle feels confused about the left and right. It can be very dangerous. Considering the sense of the driver in the vehicle compartment, the rearward image should be displayed with the left and right reversed, as shown in FIG. 2(B). As described above, the display device using the conventional omnidirectional camera system lacks consideration for the driver as an in-vehicle device, and poses a serious problem in terms of safety.
本発明は、このような従来の課題を解決するものであり、表示アングルに応じた撮像画像を表示するとき、後方画像の左右を反転した画像を表示することができる表示装置、表示方法および表示プログラムを提供することを目的とする。 The present invention solves such conventional problems, and is a display device, a display method, and a display device capable of displaying a left-right reversed image of a rear image when displaying a captured image corresponding to a display angle. The purpose is to provide a program.
本発明に係る表示装置は、少なくとも車両の前方および後方を撮像する撮像手段と、表示手段と、撮像された画像を前記表示手段に表示させるときの表示アングルを決定する決定手段と、前記表示アングルに基づき前記撮像された画像の中から画像を切り出す切り出し手段と、前記切り出された画像をその左右が反転した反転画像に加工する加工手段と、前記表示アングルに応じて切り出された画像を前記表示手段に表示させ、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示させる表示制御手段とを有する。 A display device according to the present invention comprises imaging means for imaging at least the front and rear of a vehicle, display means, determination means for determining a display angle when the imaged image is displayed on the display means, and the display angle. clipping means for clipping an image from the imaged image based on the above; processing means for processing the clipped image into a horizontally reversed reversed image; and displaying the clipped image according to the display angle. and display control means for causing the display means to display an inverted rear image when the display angle indicates the rear of the vehicle.
ある実施態様では、前記表示制御手段は、表示アングルが車両前方を示すとき、反転していない切り出し画像を前記表示手段に表示させる。ある実施態様では、前記切り出し手段は、前記表示アングルに対応する第1の切り出し画像と、表示アングルと反対方向の第2の切り出し画像を切り出し、前記加工手段は、第1の切り出し画像および第2の切り出し画像の一方を反転画像に加工し、前記表示制御手段は、第1の切り出し画像および第2の切り出し画像を前記表示手段に同時に表示させる。ある実施態様では、前記表示制御手段は、前記表示アングルに基づき第1の切り出し画像または第2の切り出し画像を拡大させる。ある実施態様では、前記表示制御手段は、前記表示アングルに基づき第1の切り出し画像または第2の切り出し画像を縮小させる。ある実施態様では、前記表示制御手段は、前記表示手段の背景画面に第1または第2の切り出し画像を表示させ、前記背景画面に含まれる前景画面に第2または第1の切り出し画像を表示させる。ある実施態様では、前記表示制御手段は、前記背景画面に非反転の前方画像を表示させ、前記前景画面に反転の後方画像を表示させる。ある実施態様では、表示装置はさらに、前記表示アングルに基づき表示モードを決定する表示モード決定手段を含み、前記表示制御手段は、前記表示モード決定手段により決定された表示モードに基づき切り出し画像の表示サイズを制御する。ある実施態様では、前記表示モードは、フロントビューモードおよびリアビューモードを含み、前記表示制御手段は、フロントビューモードのとき車両前方の画像を拡大し、リアビューモードのとき車両後方の画像を拡大する。ある実施態様では、前記表示制御手段は、フロントビューモードのとき前記背景画面をメイン表示、前記前景画面をサブ表示にし、リアビューモードのとき前記背景画面をサブ表示、前記前景画面をメイン表示にする。ある実施態様では、前記表示制御手段は、フロントビューモードからリアビューモードに切替える際、車両後方の画像を段階的または連続的に拡大する。ある実施態様では、前記前景画面のサイズを段階的または連続的に拡大する。ある実施態様では、前記表示制御手段は、リアビューモードからフロントビューモードに切替える際、車両後方の画像を段階的または連続的に縮小する。ある実施態様では、前記前景画面のサイズを段階的または連続的に縮小する。ある実施態様では、表示装置はさらに、ユーザーの操作情報を入力する入力手段を含み、前記決定手段は、前記入力手段から入力された操作情報に基づき表示アングルを決定する。ある実施態様では、前記入力手段は、前記表示手段に搭載されたタッチパネルを含み、前記決定手段は、前記タッチパネル上で操作された方向および移動量に基づき表示アングルを決定する。ある実施態様では、前記前景画面は、ルームミラーを模した形状を有する。ある実施態様では、前記撮像手段は、車両の全方位を撮像する撮像カメラを含み、前記表示アングルは車両の全方位を示すことが可能であり、前記表示制御手段は、前記表示アングルに対応する画像を前記表示手段に表示させる。 In one aspect, the display control means causes the display means to display a non-inverted clipped image when the display angle indicates the front of the vehicle. In one embodiment, the cutting means cuts out a first cutout image corresponding to the display angle and a second cutout image in a direction opposite to the display angle, and the processing means cuts out the first cutout image and the second cutout image. One of the clipped images is processed into an inverted image, and the display control means simultaneously displays the first clipped image and the second clipped image on the display means. In one embodiment, the display control means enlarges the first clipped image or the second clipped image based on the display angle. In one embodiment, the display control means reduces the first clipped image or the second clipped image based on the display angle. In one embodiment, the display control means displays the first or second clipped image on a background screen of the display means, and displays the second or first clipped image on a foreground screen included in the background screen. . In one embodiment, the display control means displays a non-inverted front image on the background screen and displays an inverted rear image on the foreground screen. In one embodiment, the display device further includes display mode determination means for determining a display mode based on the display angle, and the display control means displays the clipped image based on the display mode determined by the display mode determination means. Control size. In one embodiment, the display modes include a front view mode and a rear view mode, and the display control means enlarges an image in front of the vehicle in the front view mode and enlarges an image behind the vehicle in the rear view mode. In one embodiment, the display control means sets the background screen as the main display and the foreground screen as the sub-display in the front view mode, and sets the background screen as the sub-display and the foreground screen as the main display in the rear view mode. . In one embodiment, the display control means enlarges the image behind the vehicle step by step or continuously when switching from the front view mode to the rear view mode. In one embodiment, the size of the foreground screen is increased stepwise or continuously. In one embodiment, the display control means reduces the image behind the vehicle step by step or continuously when switching from the rear view mode to the front view mode. In one embodiment, the size of the foreground screen is reduced stepwise or continuously. In one embodiment, the display device further includes input means for inputting user operation information, and the determination means determines the display angle based on the operation information input from the input means. In one embodiment, the input means includes a touch panel mounted on the display means, and the determination means determines the display angle based on the direction and amount of movement operated on the touch panel. In one embodiment, the foreground screen has a shape that imitates a rear-view mirror. In one embodiment, the imaging means includes an imaging camera that captures an omnidirectional image of the vehicle, the display angle can indicate the omnidirectional direction of the vehicle, and the display control means corresponds to the display angle. The image is displayed on the display means.
本発明に係る表示方法は、少なくとも車両の前方および後方を撮像する撮像手段と、撮像された画像を表示可能な表示手段とを含む表示装置のものであって、撮像された画像を前記表示手段に表示するときの表示アングルを決定するステップと、前記表示アングルに基づき前記撮像された画像の中から画像を切り出すステップと、前記切り出された画像をその左右が反転した反転画像に加工するステップと、前記表示アングルに応じて切り出された画像を前記表示手段に表示し、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示するステップとを有する。 A display method according to the present invention is for a display device including imaging means for imaging at least the front and rear of a vehicle and display means capable of displaying the imaged images, wherein the imaged images are displayed on the display means. a step of determining a display angle to be displayed on the screen, a step of cutting out an image from the captured image based on the display angle, and a step of processing the cut out image into a horizontally reversed inverted image; and displaying an image clipped according to the display angle on the display means, and displaying a reversed rearward image on the display means when the display angle indicates the rear of the vehicle.
本発明に係る表示プログラムは、少なくとも車両の前方および後方を撮像する撮像手段と、撮像された画像を表示可能な表示手段と、前記表示手段を制御する制御手段とを含む表示装置の前記制御手段が実行するものであって、撮像された画像を前記表示手段に表示するときの表示アングルを決定するステップと、前記表示アングルに基づき前記撮像された画像の中から画像を切り出すステップと、前記切り出された画像をその左右が反転した反転画像に加工するステップと、前記表示アングルに応じて切り出された画像を前記表示手段に表示し、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示するステップとを有する。 The display program according to the present invention is a control means of a display device including imaging means for imaging at least the front and rear of a vehicle, display means capable of displaying the imaged images, and control means for controlling the display means. is executed by determining a display angle for displaying the captured image on the display means; cutting out an image from the captured image based on the display angle; displaying the image cut out according to the display angle on the display means, and when the display angle indicates the rear side of the vehicle, the reversed rear side of the vehicle; and displaying an image on the display means.
本発明によれば、表示アングルが車両後方を示すときに、反転した後方画像を表示させるようにしたので、運転者は、自身の感覚に整合した画像を認識することができ、それ故、車両後方の画像を確認する際の安全性を向上させることができる。 According to the present invention, when the display angle indicates the rear of the vehicle, a reversed rearward image is displayed. It is possible to improve the safety when checking the rear image.
次に、本発明の実施の形態について説明する。ある実施の形態では、表示装置は、車両の360度の全方位を撮像可能な撮像カメラと、撮像された全方位の撮像画像の中から、ユーザー操作によって選択された表示アングルに対応する撮像画像を切り出し、これをディスプレイに表示する機能とを備えている。撮像カメラの数や取り付け位置は任意であるが、例えば、車両のフロントガラスの上部に撮像カメラを取り付けることで、車両の前方、側方、車室内を含む全方位を撮像することができる。また、1つの例として、全方位を撮像可能なドライブレコーダの撮像カメラを利用することができる。撮像画像を表示するディスプレイは、任意であり、例えば、専用のモニターであってもよいし、ナビゲーション装置等の車載装置に利用されるディスプレイと共用されるものであってもよいし、車両のインスツルメンツパネル内のディスプレイであっても良いし、車両周辺用のディスプレイであってもよい。 Next, an embodiment of the invention will be described. In one embodiment, the display device includes an imaging camera capable of imaging an omnidirectional 360-degree image of the vehicle, and an image corresponding to a display angle selected by a user operation from among the captured omnidirectional images. is cut out and displayed on the display. Although the number and mounting positions of the imaging cameras are arbitrary, for example, by mounting the imaging cameras on the upper part of the windshield of the vehicle, it is possible to capture images in all directions including the front, sides, and interior of the vehicle. Also, as one example, an imaging camera of a drive recorder capable of imaging in all directions can be used. Any display may be used to display the captured image. For example, a dedicated monitor may be used, a display may be used in common with an in-vehicle device such as a navigation device, or a vehicle instrument may be used. It may be a display in a panel, or a display for the surroundings of the vehicle.
図3は、本発明の実施例に係る表示装置の構成を示すブロック図である。本実施例の表示装置100は、車両の全方位を撮像可能な撮像部110と、ユーザーからの入力を受け取る入力部120と、撮像部110で撮像された画像を表示可能な表示部130と、種々のデータやソフトウエア等を記憶可能な記憶部140と、各部を制御する制御部150とを含んで構成される。表示装置100が他の電子機器の表示出力を兼ねる場合には、表示装置100は、他の電子機器と接続するためのインターフェースを備えることができる。
FIG. 3 is a block diagram showing the configuration of a display device according to an embodiment of the invention. The display device 100 of the present embodiment includes an
撮像部110は、例えば、車両の全方位を撮像することができる1つまたは複数の撮像カメラを含む。車両の全方位とは、車両の前方、左右の側方、後方を含む。撮像部110の取付け位置は、車外、または車内のいずれでもよく、例えば、図1に示すように、車両Mのフロントガラス20の上部に取り付けることができ、その取り付けられた位置から、前方、側方、後方の全方位を撮像する。この場合、後方の撮像画像には、運転席、助手席および後部座席等の車室内の空間が含まれる。撮像部110によって撮像された画像は、制御部150に提供され、そこで必要な画像処理が施される。また、撮像された画像または加工された画像は、記憶部140に保持することができる。
The
入力部120は、ユーザーからの入力を受け取り、これを制御部150に提供する。入力部120は、例えば、表示部130に搭載されたタッチパネル、リモコン、操作ボタン、音声入力などを含む。本実施例の1つの態様では、ユーザーは、表示部130のタッチパネルを操作して、表示部130に表示される撮像画像の表示アングルを指示する。勿論、ユーザーは、他の入力方法によって表示アングルの指示を行うことも可能である。
The
表示部130は、車内の任意の位置に取り付けられ、撮像部110で撮像された画像を表示することができる。表示部130は、例えば、液晶や有機EL等のディスプレイパネルと、当該ディスプレイパネル上に積層されたタッチパネルとを含む。タッチパネルは、ユーザーの指等の接触やその移動を検出し、この検出結果を制御部150へ伝える。つまり、ユーザーは、タッチパネル上でフリック操作により入力を指示することができる。
The
記憶部140は、撮像部110で撮像された画像を一時記憶したり、撮像画像から切り取られた画像や、左右反転等の加工された画像等を一時記憶することができる。また、記憶部140は、表示装置100の動作に必要なソフトウエアやデータ等を記憶することもできる。
The
制御部150は、表示装置100の各部を制御し、例えば、ROM/RAM等を含むマイクロプロセッサまたはマイクロコンピュータを備え、そこに搭載された表示制御プログラムを実行することで表示装置100の各部を制御する。図4に、表示制御プログラムの機能的な構成を示す。本実施例に係る表示制御プログラム200は、操作情報検出部210、表示アングル決定部220、表示モード決定部230、画像切り出し部240、画像加工部250、および表示制御部260を含んで構成される。
The
操作情報検出部210は、ユーザーが撮像画像の表示アングルを指示するために入力した操作情報を検出する。1つの態様では、操作情報検出部210は、ユーザーが表示部130のタッチパネル上をフリック操作したときの操作情報を検出する。例えば、図5(A)、(B)に示すように、操作情報検出部210は、ユーザーのフリック操作の水平方向の成分とその移動量を検出する。図5(A)の例では、ユーザーがほぼ水平方向に指を距離Lだけ移動させており、操作情報検出部210は、距離Lを水平方向の移動量として検出する。図5(B)の例では、ユーザーが幾分斜め方向に指を距離Lだけ移動させており、操作情報検出部210は、Lcosθを水平方向の移動量として検出する。
The operation
他の態様では、操作情報検出部210は、音声入力やリモコン操作などから操作情報を検出するようにしてもよい。例えば、「90度回転して表示」、「車両の右側方を表示」、「車両の後方を表示」等の音声入力があった場合には、操作情報検出部210は、入力された音声を解析し、当該解析結果から操作情報を検出する。
In another aspect, the operation
表示アングル決定部220は、操作情報検出部210により検出された検出結果に基づき撮像画像の表示アングルを決定する。表示アングルは、全方位360度で撮像されたパノラマ画像の中から、表示部130に表示させる画像の角度または方位を表す。表示アングルは、例えば、図6に示すように、自車前方の方向を0度とし、そこから時計方向に360度で規定される。表示アングルのデフォルト値(初期値)は、例えば、0度に設定され、この場合、電源投入時または表示装置100が起動されたとき、360度のパノラマ画像の中から表示アングルが0度の画像が切り出され、これが表示部130に表示される。
The display
表示アングル決定部220は、例えば、図5に示すようなフリック操作が検出された場合、予め用意されたアルゴリズム等に従い、その操作方向と移動量を表示アングルに変換する。例えば、フリック操作が図5(A)に示すように左側の移動であれば、表示アングルは、0度から時計方向に、フリックの移動量に対応する角度で決定される。また、操作情報検出部210が「90度回転して表示」のような音声を入力した場合には、表示アングル決定部220は、現在の表示アングルから時計方向に90度回転した角度を表示アングルに決定する。
For example, when a flick operation as shown in FIG. 5 is detected, the display
表示モード決定部230は、表示アングル決定部220により決定された表示アングルに基づき表示部130の表示モードを決定する。本実施例では、表示モード決定部230は、表示アングルに基づきフロントビューモードまたはリアビューモードのいずれかに決定する。一例として、図6に示すように、表示アングルの0度が車両前方である場合、表示アングルが270度~90度の範囲であるときフロントビューモード、90度~270度であるときリアビューモードになる。
The display
本実施例の1つの実施態様では、表示部130に撮像画像を表示する場合、2つの撮像画像がピクチャーインピクチャー(PinP)形式で同時に表示される。PinP形式の一例を図7(A)、(B)に示す。同図に示すように、ディスプレイ132の全体が背景画面134に割り当てられ、背景画面134の中に前景画面136が割り当てられる。背景画面134には、自車前方の撮像画像が表示され、前景画面136には、自車後方の撮像画像が表示される。本例では、前景画面136は、ルームミラーの形状を呈しており、前景画面136には、車室内の運転席や助手席を含む車内空間の後方画像が表示される。背景画面134と前景画面136とが重複する領域は、前景画面136の後方画像が表示され、前方画像は、後方画像によって遮蔽される。なお、後述するように前景画面136には、常に左右が反転された後方画像が表示されるが、背景画面134には、左右が反転されていない前方画面が表示される。
In one aspect of the present embodiment, when displaying captured images on the
フロントビューモードのとき、図7(A)に示すように、前方画像を表示する背景画面134が見易くなるようにするため、背景画面134は、比較的大きな表示面積を持つメイン表示になり、後方画像を表示する前景画面136は、比較的小さな表示面積を持つサブ表示になる。他方、リアビューモードのときは、この関係が反転し、図7(B)に示すように、後方画像を表示する前景画面136が見易くなるようにするため、前景画面136は、比較的大きな表示面積を持つメイン表示に切替わり、背景画面134は、比較的小さな表示面積を持つサブ表示に切替わる。
In the front view mode, as shown in FIG. 7A, the
画像切り出し部240は、表示アングル決定部220により決定された表示アングルに基づき、撮像部110で撮像された全方位のパノラマ画像の中から表示すべき画像の切り出しを行う。本例では、画像切り出し部240は、背景画面134と前景画面136のそれぞれに前方画像および後方画像を表示させるため、それぞれに対応する1組の画像の切り出しを行う。ここで、第1の切り出し画像は、表示アングルに対応する画像であり、第2の切り出し画像は、第1の切り出し画像と反対方向の画像、つまり、表示アングルと180度異なる方向の画像である。例えば、表示アングルが30度であれば、第1の切り出し画像は、表示アングルが30度に対応し、第2の切り出し画像は、表示アングルが210度に対応する。切り出す画像の大きさは、表示部130の表示範囲との関係等から予め設定される。
The
画像切り出し部240により切り出された第1および第2の切り出し画像は、画像加工部250へ提供される。画像加工部250は、第1および第2の切り出し画像について、トリミング加工、サイズ調整、左右が反転する反転処理等を行う。表示制御部260は、背景画面134および前景画面136に表示される第1および第2の切り出し画像の制御を行う。図8のテーブルに、表示制御部260による表示制御の内容を示す。
The first and second clipped images clipped by the
先ず、表示アングルが0~90度のとき、表示モードはフロントビューモードである。フロントビューモードでは、背景画面134がメイン表示となり、背景画面134には、表示アングルに応じて切り出された第1の切り出し画像が表示される。第1の切り出し画像は、左右が反転されていない前方画像である。他方、前景画面136はサブ表示となり、前景画面136には、表示アングルと180と異なる方向で切り出された第2の切り出し画像が表示される。第2の切り出し画像は、左右が反転された後方画像である。
First, when the display angle is 0 to 90 degrees, the display mode is the front view mode. In the front view mode, the
表示アングルが90~180度のとき、表示モードはリアビューモードである。リアビューモードでは、ルームミラーの形状を呈した前景画面136がメイン表示となり、前景画面136には、表示アングルに応じて切り出された第1の切り出し画像が表示される。このとき、第1の切り出し画像は、左右が反転された後方画像である。他方、背景画面134はサブ表示となり、背景画面134には、表示アングルと180と異なる方向で切り出された第2の切り出し画像が表示される。このとき、第2の切り出し画像は、左右が反転されていない前方画像である。
When the viewing angle is 90-180 degrees, the viewing mode is the rear view mode. In the rear view mode, the
表示アングルが180~270度のとき、表示モードはリアビューモードであり、90~180度のときと同様の表示制御が行われる。表示アングルが270~0度のとき、表示モードはフロントビューモードであり、0~90度のときの同様の表示制御が行われる。 When the display angle is 180 to 270 degrees, the display mode is the rear view mode, and the same display control as when it is 90 to 180 degrees is performed. When the display angle is 270 to 0 degrees, the display mode is the front view mode, and the same display control as when it is 0 to 90 degrees is performed.
次に、本実施例の表示装置100の具体的な表示動作を、図9に示す画面遷移図を参照して説明する。表示装置100が起動されると、表示アングル決定部220は、初期設定(例えば、0度)を表示アングルと決定し、表示モード決定部230は、フロントビューモードを決定する。その結果、ディスプレイ132の背景画面134がメイン表示となり、そこに自車の前方画像が表示される。ルームミラー形状の前景画面136には、自車後方の反転画像が表示される。
Next, a specific display operation of the display device 100 of this embodiment will be described with reference to the screen transition diagram shown in FIG. When the display device 100 is activated, the display
この状態から、例えば、ユーザーが左方向にフリック操作をすると、その方向および移動量が検出され、それに応じて、0度から時計方向に回転した表示アングルが決定され、そこで、第1および第2の切り出し画像が切り出され、背景画面134には、第1の切り出し画像の非反転の前方画像が表示され、前景画面136には、第2の切り出し画像の反転された後方画像が表示される。
From this state, for example, when the user flicks to the left, the direction and amount of movement are detected, and accordingly the display angle rotated clockwise from 0 degrees is determined. , the
ユーザーがさらに左方向にフリック操作を継続すると、表示アングルがさらに時計方向に進み、背景画面134には表示アングルに応じた非反転の前方画像が表示され、前景画面136には、それと正反対の反転された後方画像が表示される。
When the user continues to flick leftward, the display angle advances further clockwise, and the
ある実施態様では、表示アングルが一定角度に到達すると、それ以降、前景画面136のサイズを段階的に、あるいは連続的に拡大する。例えば、表示アングルが75度に到達すると、図10(A)~(D)に示すように、75度から90度まで間、前景画面136のサイズが段階的に拡大される。あるいは、前景画面136のサイズが連続的で拡大さえる。
In some implementations, after the viewing angle reaches a certain angle, the size of the
左方向のフリック操作がさらに継続され、表示アングルが90度に到達すると、表示モードがフロントビューモードからリアビューモードに切替わる。このとき、前景画面136が図10(D)に示すように、サブ表示からメイン表示に完全に切替えられ、背景画面134がメイン表示からサブ表示に完全に切替えられる。
When the leftward flick operation is further continued and the display angle reaches 90 degrees, the display mode switches from the front view mode to the rear view mode. At this time, the
左方向のフリック操作がさらに継続されると、メイン表示の前景画面136には、表示アングルに対応する反転された後方画像が表示され、サブ表示の背景画面134には、非反転の前方画像が表示される。表示アングルが90~270度の範囲では、前景画面136の表示サイズは一定である。
When the leftward flick operation is further continued, the
左方向のフリック操作がさらに継続され、表示アングルが270度に到達すると、表示モードがリアビューモードからフロントビューモードに切替わる。前景画面136は、メイン表示からサブ表示に切替えられ、背景画面134は、サブ表示からメイン表示に切替えられる。1つの実施態様では、例えば、表示アングルが270度から285度の間は、図10(E)~(H)に示すように、前景画面136のサイズが段階的に、あるいは連続的に小さくされる。
When the leftward flick operation is further continued and the display angle reaches 270 degrees, the display mode is switched from the rear view mode to the front view mode. The
左方向のフリック操作がさらに継続され、表示アングルが285~0度の範囲では、背景画面134に表示アングルに対応する非反転の前方画像が表示され、前景画面136には、それと180度異なる方向の反転された後方画像が表示される。上記の表示制御は、ユーザーがフリック操作を右方向に行い、表示アングルを反時計方向に回転させた場合にも同様に行われる。
The leftward flick operation is further continued, and when the display angle is in the range of 285 to 0 degrees, the non-inverted front image corresponding to the display angle is displayed on the
このように本実施例によれば、シームレスな表示アングルの移動を保ちつつ、リアモードに切替わったときに、左右反転された後方画像を表示させることができる。これにより、ユーザーの利便性を損なうことなく、ルームミラーで鏡像をみたときの映像との整合性を保ち、運転者に誤解や混乱を生じさせることなく、安全に寄与する表示機能を提供することができる。 As described above, according to the present embodiment, it is possible to display a horizontally reversed rear image when switching to the rear mode while maintaining seamless movement of the display angle. As a result, it is possible to provide a display function that contributes to safety without impairing the user's convenience, maintaining consistency with the image when looking at the mirror image in the rear-view mirror, and without causing misunderstanding or confusion for the driver. can be done.
上記実施例では、車両の全方位を撮像し、その中から任意の画像を表示する例を示したが、これに限らず、本発明は、少なくとも車両の前方と後方を撮像し、前方および後方の中から任意の画像を表示できるようにしてもよい。 In the above embodiment, an example is shown in which an image is captured in all directions of the vehicle and an arbitrary image is displayed from among the captured images. You may enable it to display arbitrary images from.
上記実施例では、270~90度の範囲をフロンビューモードに設定し、90~270度の範囲をリアビューモードに設定したが、これは一例であり、その範囲は任意に適宜設定することが可能である。例えば、自車の前方を撮像する前方カメラと、自車の後方を撮像する後方カメラを搭載する場合には、フロントビューモードは、前方カメラの視野範囲に応じた角度に設定され(例えば、300~60度)、リアビューモードは、後方カメラの視野範囲に応じた角度に設定される(例えば、190~260度)。 In the above embodiment, the range of 270 to 90 degrees is set to the front view mode, and the range of 90 to 270 degrees is set to the rear view mode, but this is an example and the range can be set arbitrarily and appropriately. is. For example, when a front camera for imaging the front of the vehicle and a rear camera for imaging the rear of the vehicle are installed, the front view mode is set to an angle according to the field of view of the front camera (for example, 300 ~60 degrees), and the rear view mode is set to an angle according to the viewing range of the rear camera (eg, 190-260 degrees).
また、上記実施例は、背景画面とその中に表示される前景画面とを含むPinP形式を例示したが、必ずしもPinP形式を用いず、1つの画面で非反転前方画像から反転後方画像への切替え表示を行うようにしてもよい。例えば、フロントビューモードにおいて、表示アングルに対応する非反転の前方画像を表示し、リアビューモードにおいて、表示アングルに対応する反転の後方画像を表示する。 In addition, the above embodiment illustrated the PinP format including the background screen and the foreground screen displayed therein, but the PinP format is not necessarily used, and switching from the non-inverted front image to the inverted rear image can be performed in one screen. You may make it display. For example, in front view mode, a non-inverted front image corresponding to the display angle is displayed, and in rear view mode, an inverted rear image corresponding to the display angle is displayed.
さらに上記実施例では、撮像カメラを車両のフロントガラスの上部に取り付け、車両の後方画像として車室内の画像を表示する例を示したが、これに限らず、撮像カメラは、ドアミラー、車両の前方、後方、側方のいずれかに取り付けられるものであってもよい。そして、後方画像は、必ずしも車室内の画像に限らず、自車両の後方の空間を撮像した画像であってもよい。上記実施例では、ディスプレイの画面全体を背景画面とし、ルームミラー形状を前景画面としたが、背景画面および前景画面の形状や大きさは任意に設定することが可能である。 Furthermore, in the above embodiment, an example in which the imaging camera is attached to the upper part of the windshield of the vehicle and an image of the interior of the vehicle is displayed as an image behind the vehicle is shown. , rearward, or laterally. The rearward image is not limited to the image of the interior of the vehicle, and may be an image of the space behind the vehicle. In the above embodiment, the entire screen of the display is used as the background screen and the shape of the rearview mirror is used as the foreground screen, but the shape and size of the background screen and the foreground screen can be set arbitrarily.
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to specific embodiments, and various modifications, Change is possible.
100:表示装置 110:撮像部
120:入力部 130:表示部
132:ディスプレイ 134:背景画面
136:前景画面 140:記憶部
150:制御部 200:表示制御プログラム
100: Display device 110: Imaging unit 120: Input unit 130: Display unit 132: Display 134: Background screen 136: Foreground screen 140: Storage unit 150: Control unit 200: Display control program
Claims (19)
表示手段と、
撮像された画像を前記表示手段に表示させるときの表示アングルを決定する決定手段と、
前記表示アングルに基づき前記撮像された画像の中から画像を切り出す切り出し手段と、
前記切り出された画像をその左右が反転した反転画像に加工する加工手段と、
前記表示アングルに応じて切り出された画像を前記表示手段に表示させ、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示させる表示制御手段とを有し、
前記切り出し手段は、前記表示アングルに対応する第1の切り出し画像と、表示アングルと反対方向の第2の切り出し画像を切り出し、
前記加工手段は、第1の切り出し画像および第2の切り出し画像の一方を反転画像に加工し、
前記表示制御手段は、第1の切り出し画像および第2の切り出し画像を前記表示手段に同時に表示させる、表示装置。 imaging means for imaging at least the front and rear of the vehicle;
display means;
determining means for determining a display angle for displaying the captured image on the display means;
clipping means for clipping an image from the captured image based on the display angle;
a processing means for processing the clipped image into a horizontally reversed image;
display control means for causing the display means to display an image clipped according to the display angle, and for causing the display means to display an inverted rearward image when the display angle indicates the rear of the vehicle ;
The clipping means clips a first clipped image corresponding to the display angle and a second clipped image in a direction opposite to the display angle,
The processing means processes one of the first cutout image and the second cutout image into an inverted image,
The display device, wherein the display control means causes the display means to simultaneously display the first clipped image and the second clipped image .
前記表示制御手段は、前記表示モード決定手段により決定された表示モードに基づき切り出し画像の表示サイズを制御する、請求項1ないし6いずれか1つに記載の表示装置。 The display device further includes display mode determining means for determining a display mode based on the display angle;
7. The display device according to claim 1 , wherein said display control means controls the display size of the clipped image based on the display mode determined by said display mode determination means.
前記表示制御手段は、フロントビューモードのとき車両前方の画像を拡大し、リアビューモードのとき車両後方の画像を拡大する、請求項7に記載の表示装置。 the display modes include a front view mode and a rear view mode;
8. The display device according to claim 7 , wherein said display control means enlarges an image in front of the vehicle in front view mode, and enlarges an image behind the vehicle in rear view mode.
9. The display device according to claim 8 , wherein said display control means enlarges the image behind the vehicle step by step or continuously when switching from the front view mode to the rear view mode.
前記決定手段は、前記入力手段から入力された操作情報に基づき表示アングルを決定する、請求項1に記載の表示装置。 The display device further includes input means for inputting user operation information,
2. The display device according to claim 1, wherein said determining means determines the display angle based on operation information input from said input means.
前記決定手段は、前記タッチパネル上で操作された方向および移動量に基づき表示アングルを決定する、請求項14に記載の表示装置。 The input means includes a touch panel mounted on the display means,
15. The display device according to claim 14 , wherein said determining means determines the display angle based on the direction and amount of movement operated on said touch panel.
前記表示アングルは車両の全方位を示すことが可能であり、
前記表示制御手段は、前記表示アングルに対応する画像を前記表示手段に表示させる、請求項1ないし16いずれか1つに記載の表示装置。 The imaging means includes an imaging camera that captures an omnidirectional image of the vehicle,
The display angle can indicate all directions of the vehicle,
17. The display device according to claim 1, wherein said display control means causes said display means to display an image corresponding to said display angle.
撮像された画像を前記表示手段に表示するときの表示アングルを決定するステップと、
前記表示アングルに基づき前記撮像された画像の中から画像を切り出すステップと、
前記切り出された画像をその左右が反転した反転画像に加工するステップと、
前記表示アングルに応じて切り出された画像を前記表示手段に表示し、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示するステップとを有し、
前記切り出すステップは、前記表示アングルに対応する第1の切り出し画像と、表示アングルと反対方向の第2の切り出し画像を切り出し、
前記加工するステップは、第1の切り出し画像および第2の切り出し画像の一方を反転画像に加工し、
前記表示するステップは、第1の切り出し画像および第2の切り出し画像を前記表示手段に同時に表示させる、表示方法。 A display method for a display device including imaging means for imaging at least the front and rear of a vehicle and display means capable of displaying the captured image,
determining a display angle for displaying the captured image on the display means;
cropping an image from the captured image based on the display angle;
a step of processing the clipped image into a horizontally reversed image;
displaying an image clipped according to the display angle on the display means, and displaying a reversed rearward image on the display means when the display angle indicates the rear of the vehicle ;
The clipping step includes clipping a first clipped image corresponding to the display angle and a second clipped image in a direction opposite to the display angle;
The processing step includes processing one of the first clipped image and the second clipped image into an inverted image,
The display method, wherein the step of displaying causes the display means to simultaneously display the first clipped image and the second clipped image .
撮像された画像を前記表示手段に表示するときの表示アングルを決定するステップと、
前記表示アングルに基づき前記撮像された画像の中から画像を切り出すステップと、
前記切り出された画像をその左右が反転した反転画像に加工するステップと、
前記表示アングルに応じて切り出された画像を前記表示手段に表示し、かつ前記表示アングルが車両後方を示すとき、反転された後方画像を前記表示手段に表示するステップとを有し、
前記切り出すステップは、前記表示アングルに対応する第1の切り出し画像と、表示アングルと反対方向の第2の切り出し画像を切り出し、
前記加工するステップは、第1の切り出し画像および第2の切り出し画像の一方を反転画像に加工し、
前記表示するステップは、第1の切り出し画像および第2の切り出し画像を前記表示手段に同時に表示させる、表示プログラム。 A display program executed by the control means of a display device including imaging means for imaging at least the front and rear of a vehicle, display means capable of displaying the imaged images, and control means for controlling the display means, ,
determining a display angle for displaying the captured image on the display means;
cropping an image from the captured image based on the display angle;
a step of processing the clipped image into a horizontally reversed image;
displaying an image clipped according to the display angle on the display means, and displaying a reversed rearward image on the display means when the display angle indicates the rear of the vehicle;
The clipping step includes clipping a first clipped image corresponding to the display angle and a second clipped image in a direction opposite to the display angle;
The processing step includes processing one of the first clipped image and the second clipped image into an inverted image,
The display program , wherein the step of displaying causes the display means to simultaneously display the first clipped image and the second clipped image .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018217593A JP7166725B2 (en) | 2018-11-20 | 2018-11-20 | Display device, display method and display program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018217593A JP7166725B2 (en) | 2018-11-20 | 2018-11-20 | Display device, display method and display program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020088511A JP2020088511A (en) | 2020-06-04 |
JP7166725B2 true JP7166725B2 (en) | 2022-11-08 |
Family
ID=70909038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018217593A Active JP7166725B2 (en) | 2018-11-20 | 2018-11-20 | Display device, display method and display program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7166725B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000118300A (en) | 1998-10-09 | 2000-04-25 | Fujitsu Ten Ltd | On-vehicle image pickup device |
JP2010137697A (en) | 2008-12-11 | 2010-06-24 | Honda Motor Co Ltd | Drive assisting device for vehicle |
JP2013034142A (en) | 2011-08-03 | 2013-02-14 | Nippon Seiki Co Ltd | Peripheral image display device |
JP2013055416A (en) | 2011-09-01 | 2013-03-21 | Alpine Electronics Inc | Exterior video provision system |
WO2013175753A1 (en) | 2012-05-22 | 2013-11-28 | 三菱電機株式会社 | Image processing device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03250879A (en) * | 1990-02-28 | 1991-11-08 | Matsushita Electric Ind Co Ltd | Video recording and reproducing device |
-
2018
- 2018-11-20 JP JP2018217593A patent/JP7166725B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000118300A (en) | 1998-10-09 | 2000-04-25 | Fujitsu Ten Ltd | On-vehicle image pickup device |
JP2010137697A (en) | 2008-12-11 | 2010-06-24 | Honda Motor Co Ltd | Drive assisting device for vehicle |
JP2013034142A (en) | 2011-08-03 | 2013-02-14 | Nippon Seiki Co Ltd | Peripheral image display device |
JP2013055416A (en) | 2011-09-01 | 2013-03-21 | Alpine Electronics Inc | Exterior video provision system |
WO2013175753A1 (en) | 2012-05-22 | 2013-11-28 | 三菱電機株式会社 | Image processing device |
Also Published As
Publication number | Publication date |
---|---|
JP2020088511A (en) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5115136B2 (en) | Vehicle rear monitoring device | |
JP4766841B2 (en) | Camera device and vehicle periphery monitoring device mounted on vehicle | |
US8937558B2 (en) | Image generating apparatus and image display system | |
US20120257058A1 (en) | Image processing device, image processing system, and image processing method | |
JP2015193280A (en) | Vehicle controlling device and vehicle controlling method | |
JP2018157403A (en) | On-vehicle display device, control method for on-vehicle display device, and control program for on-vehicle display device | |
JPH05139209A (en) | Visual information supply device | |
JP5093611B2 (en) | Vehicle periphery confirmation device | |
US20120249796A1 (en) | Image processing device, image processing system, and image processing method | |
JP5036891B2 (en) | Camera device and vehicle periphery monitoring device mounted on vehicle | |
US10647260B2 (en) | Vehicle surroundings display device | |
US11024011B2 (en) | Image display apparatus and image display method | |
JP2009006974A (en) | Side mirror device and side mirror system | |
JP2011189775A (en) | Posterolateral checking apparatus for vehicle | |
JP2008162308A (en) | Vehicular imaging device and vehicular image processing device | |
JP7166725B2 (en) | Display device, display method and display program | |
JP2005145151A (en) | Vehicle circumference check auxiliary system and vehicle circumference graphic display method | |
JP7279566B2 (en) | Vehicle electronic mirror system | |
JP2015074316A (en) | Display device for vehicle | |
JP2007145041A (en) | Vehicle periphery visually confirming device | |
JP6332332B2 (en) | Electronic mirror device | |
JP2018103866A (en) | Visual recognition device for vehicle | |
JP2015043586A (en) | Image processing system, electronic device and image processing method | |
JP2006020141A (en) | Display controller | |
JP2013055385A (en) | Vehicle periphery display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7166725 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |