JP6601100B2

JP6601100B2 - Display control device

Info

Publication number: JP6601100B2
Application number: JP2015192157A
Authority: JP
Inventors: 一矢渡邊
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2015-09-29
Filing date: 2015-09-29
Publication date: 2019-11-06
Anticipated expiration: 2035-09-29
Also published as: JP2017065406A

Description

本発明は、表示制御装置に関する。 The present invention relates to a display control apparatus.

従来、自動車等の車両に搭載された表示制御装置において、カメラ等の撮像装置に撮像された画像等に基づいて、車両及び車両の周辺の画像を含む合成画像を表示装置に表示させる表示制御装置が知られている。 2. Description of the Related Art Conventionally, in a display control device mounted on a vehicle such as an automobile, a display control device that causes a display device to display a composite image including images of the vehicle and surroundings of the vehicle based on an image captured by an imaging device such as a camera It has been known.

特開２００５−１１２００４号公報Japanese Patent Laid-Open No. 2005-112004

しかしながら、上述の技術では、車両に後からウィンチ等の部品を追加した場合、当該部品が撮像装置から近すぎて正しい位置に表示できない。このため、上述の技術では、後から追加した部品に対して適切に合成画像を対応させることができないといった課題がある。 However, in the above-described technique, when a component such as a winch is added to the vehicle later, the component is too close to the imaging device and cannot be displayed at the correct position. For this reason, in the above-described technique, there is a problem in that a composite image cannot be appropriately associated with a component added later.

上述した課題を解決し、目的を達成するために、本発明の表示制御装置は、車両の画像である車両画像と前記車両の周辺の画像である周辺画像と前記周辺画像を表示させない死角領域とを含む合成画像において前記死角領域に部品画像を追加する追加指示を取得する取得部と、前記追加指示に基づいて、前記部品画像の少なくとも一部を前記死角領域に重ねて追加した合成画像を生成する画像生成部とを備え、前記取得部は、複数の死角領域のうち、前記部品画像を重ねる死角領域を選択した選択指示を取得して、前記画像生成部は、前記選択指示によって選択された前記死角領域に前記部品画像を重ねる。 In order to solve the above-described problems and achieve the object, the display control device of the present invention includes a vehicle image that is an image of a vehicle, a peripheral image that is an image around the vehicle, and a blind spot area that does not display the peripheral image. An acquisition unit that acquires an addition instruction for adding a part image to the blind spot area in the composite image including the image, and generates a composite image obtained by adding at least a part of the part image to the blind spot area based on the addition instruction. Bei example and an image generation section that, the acquisition unit, among a plurality of blind area, to obtain a selection instruction selecting a blind area overlapping the part image, the image generation unit is selected by the selection instruction The part image is overlaid on the blind spot area .

本発明は、部品画像を合成画像に追加できるので、例えば、車両に後から追加したウィンチ等の部品に対して合成画像を適切な位置、大きさに対応させることができる。 Since the present invention can add a component image to a composite image, for example, the composite image can be made to correspond to an appropriate position and size with respect to a component such as a winch added to the vehicle later.

図１は、実施形態の車両を示す平面図である。FIG. 1 is a plan view showing a vehicle according to the embodiment. 図２は、実施形態の車両の制御系の例示的なブロック図である。FIG. 2 is an exemplary block diagram of a vehicle control system according to the embodiment. 図３は、実施形態にかかるＥＣＵの構成を示す機能ブロック図である。FIG. 3 is a functional block diagram illustrating a configuration of the ECU according to the embodiment. 図４は、画像生成部が生成する合成画像の一例を示す図である。FIG. 4 is a diagram illustrating an example of a composite image generated by the image generation unit. 図５は、画像生成部が生成する追加画面の一例を示す図である。FIG. 5 is a diagram illustrating an example of an additional screen generated by the image generation unit. 図６は、ＥＣＵによって実行される部品画像追加処理のフローチャートである。FIG. 6 is a flowchart of the component image addition process executed by the ECU.

以下の例示的な実施形態や変形例には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付されるとともに、重複する説明が部分的に省略される。実施形態や変形例に含まれる部分は、他の実施形態や変形例の対応する部分と置き換えて構成されることができる。また、実施形態や変形例に含まれる部分の構成や位置等は、特に言及しない限りは、他の実施形態や変形例と同様である。 Similar components are included in the following exemplary embodiments and modifications. Therefore, below, the same code | symbol is attached | subjected to the same component, and the overlapping description is partially abbreviate | omitted. Portions included in the embodiments and modifications can be configured by replacing corresponding portions in other embodiments and modifications. In addition, the configuration, position, and the like of the parts included in the embodiments and modifications are the same as those in the other embodiments and modifications unless otherwise specified.

＜実施形態＞
図１は、実施形態の車両１０を示す平面図である。図１に示すように、車両１０の一例は、ピックアップトラック型である。尚、車両１０は、ピックアップトラック型以外であってもよい。車両１０は、車体１２と、ウィンチ１８と、トレーラーヒッチ２０と、複数の撮像部２４とを備える。 <Embodiment>
Drawing 1 is a top view showing vehicles 10 of an embodiment. As shown in FIG. 1, an example of the vehicle 10 is a pickup truck type. The vehicle 10 may be other than a pickup truck type. The vehicle 10 includes a vehicle body 12, a winch 18, a trailer hitch 20, and a plurality of imaging units 24.

車体１２は、一対のミラー１４、１６と、キャビン部２６と、荷台２８とを有する。キャビン部２６は、例えば、複数人を収容可能な乗車スペースを有する。キャビン部２６の前端部には、バンパー２６ａが設けられている。荷台２８は、キャビン部２６の後方に設けられている。荷台２８の後端部には、バンパー２８ａが設けられている。荷台２８は、容易に荷物等を積載可能に外部に開放されている。一対のミラー１４、１６は、例えば、車体１２の前後方向の中央部に設けられている。一方のミラー１４は、車体１２の右側に設けられている。他方のミラー１６は、車体１２に左側に設けられている。 The vehicle body 12 includes a pair of mirrors 14 and 16, a cabin portion 26, and a cargo bed 28. The cabin part 26 has a boarding space that can accommodate a plurality of people, for example. A bumper 26 a is provided at the front end of the cabin portion 26. The loading platform 28 is provided behind the cabin portion 26. A bumper 28 a is provided at the rear end of the loading platform 28. The loading platform 28 is opened to the outside so that luggage can be easily loaded. The pair of mirrors 14 and 16 are provided, for example, in the center portion of the vehicle body 12 in the front-rear direction. One mirror 14 is provided on the right side of the vehicle body 12. The other mirror 16 is provided on the left side of the vehicle body 12.

ウィンチ１８は、他の車両等と連結されたロープを巻き取る。ウィンチ１８は、例えば、車体１２の前端部かつ左右方向の中央部に設けられている。 The winch 18 winds up a rope connected to another vehicle or the like. The winch 18 is provided at, for example, the front end portion of the vehicle body 12 and the central portion in the left-right direction.

トレーラーヒッチ２０は、別体のトレーラー等を連結して牽引する。トレーラーヒッチ２０は、例えば、車体１２の後端部かつ左右方向の中央部に設けられている。 The trailer hitch 20 connects and pulls a separate trailer or the like. The trailer hitch 20 is provided, for example, at the rear end portion of the vehicle body 12 and the central portion in the left-right direction.

撮像部２４の個数は、例えば、４個である。４個の撮像部を区別する必要がある場合、それぞれの符号を２４ａ、２４ｂ、２４ｃ、２４ｄとする。撮像部２４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２４は、車両１０の周囲の状況を広角で撮像する。例えば、撮像部２４は、１８０°以上の広角で周囲を撮像する。撮像部２４は、車両１０の周囲の状況を撮像して、電気的な画像データに変換して、出力する。 The number of imaging units 24 is, for example, four. When it is necessary to distinguish the four image pickup units, the respective symbols are 24a, 24b, 24c, and 24d. The imaging unit 24 is a digital camera that incorporates an imaging element such as a charge coupled device (CCD) or a CMOS image sensor (CIS). The imaging unit 24 captures the situation around the vehicle 10 at a wide angle. For example, the imaging unit 24 images the surroundings at a wide angle of 180 ° or more. The imaging unit 24 captures the situation around the vehicle 10, converts it into electrical image data, and outputs it.

撮像部２４ａは、車体１２の前端部かつ左右方向の中央部に設けられている。撮像部２４ａは、前方かつ斜め下方に向けられている。撮像部２４ａは、車両１０の前方の路面を含む周囲の状況を撮像する。撮像部２４ａは、ウィンチ１８よりも上方に配置されている。従って、撮像部２４ａが撮像した画像には、ウィンチ１８が含まれる。 The imaging unit 24a is provided at the front end portion of the vehicle body 12 and the central portion in the left-right direction. The imaging unit 24a is directed forward and obliquely downward. The imaging unit 24 a images the surrounding situation including the road surface in front of the vehicle 10. The imaging unit 24 a is disposed above the winch 18. Therefore, the winch 18 is included in the image captured by the imaging unit 24a.

撮像部２４ｂは、車体１２の後端部かつ左右方向の中央部に設けられている。撮像部２４ｂは、後方かつ斜め下方に向けられている。撮像部２４ｂは、車両１０の後方の路面を含む周囲の状況を撮像する。撮像部２４ｂは、トレーラーヒッチ２０よりも上方に配置されている。従って、撮像部２４ｂが撮像した画像には、トレーラーヒッチ２０が含まれる。 The imaging unit 24b is provided at the rear end portion of the vehicle body 12 and the central portion in the left-right direction. The imaging unit 24b is directed rearward and obliquely downward. The imaging unit 24 b images the surrounding situation including the road surface behind the vehicle 10. The imaging unit 24 b is disposed above the trailer hitch 20. Therefore, the trailer hitch 20 is included in the image captured by the imaging unit 24b.

撮像部２４ｃは、車体１２の前後方向の中央部かつ右側に設けられている。撮像部２４ｃは、例えば、ミラー１４に設けられている。撮像部２４ｃは、右方向かつ斜め下方に向けられている。撮像部２４ｃは、車両１０の右側の路面を含む周囲の状況を撮像する。 The imaging unit 24c is provided at the center and right side of the vehicle body 12 in the front-rear direction. The imaging unit 24c is provided on the mirror 14, for example. The imaging unit 24c is directed rightward and obliquely downward. The imaging unit 24 c images the surrounding situation including the road surface on the right side of the vehicle 10.

撮像部２４ｄは、車体１２の前後方向の中央部かつ左側に設けられている。撮像部２４ｄは、例えば、ミラー１６に設けられている。撮像部２４ｄは、左方向かつ斜め下方に向けられている。撮像部２４ｄは、車両１０の左側の路面を含む周囲の状況を撮像する。 The imaging unit 24d is provided at the center and the left side of the vehicle body 12 in the front-rear direction. The imaging unit 24d is provided on the mirror 16, for example. The imaging unit 24d is directed leftward and obliquely downward. The imaging unit 24d images the surrounding situation including the road surface on the left side of the vehicle 10.

図２は、実施形態の車両１０の制御系の例示的なブロック図である。図２に示すように、車両１０は、モニタ装置３２と、表示制御装置の一例であるＥＣＵ３４とを備える。 FIG. 2 is an exemplary block diagram of a control system of the vehicle 10 according to the embodiment. As shown in FIG. 2, the vehicle 10 includes a monitor device 32 and an ECU 34 that is an example of a display control device.

モニタ装置３２及びＥＣＵ３４は、電気通信回線としての車内ネットワーク３３を介して電気的に接続されている。車内ネットワーク３３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。 The monitor device 32 and the ECU 34 are electrically connected via an in-vehicle network 33 as an electric communication line. The in-vehicle network 33 is configured as a CAN (Controller Area Network), for example.

モニタ装置３２は、車体１２の内部のダッシュボード等に設けられている。モニタ装置３２は、表示装置３６及び操作入力部３８を有する。 The monitor device 32 is provided on a dashboard or the like inside the vehicle body 12. The monitor device 32 includes a display device 36 and an operation input unit 38.

表示装置３６は、静止画及び動画等の画像を表示する。表示装置３６の一例は、液晶ディスプレイである。表示装置３６は、ＥＣＵ３４が出力した画像データに基づいて、画像を表示する。 The display device 36 displays images such as still images and moving images. An example of the display device 36 is a liquid crystal display. The display device 36 displays an image based on the image data output from the ECU 34.

操作入力部３８は、ユーザの入力を取得してＥＣＵ３４へ出力する。操作入力部３８の一例は、タッチパネルである。操作入力部３８は、表示装置３６の画像が表示される画面上に配置されている。 The operation input unit 38 acquires a user input and outputs it to the ECU 34. An example of the operation input unit 38 is a touch panel. The operation input unit 38 is arranged on a screen on which an image of the display device 36 is displayed.

ＥＣＵ３４は、車内ネットワーク３３を通じて制御信号を送ることで、表示制御部３４ｄ及び表示装置３６等を制御することができる。また、ＥＣＵ３４は、車内ネットワーク３３を介して、操作入力部３８等の操作信号等を、受け取ることができる。 The ECU 34 can control the display control unit 34d, the display device 36, and the like by sending a control signal through the in-vehicle network 33. Further, the ECU 34 can receive an operation signal of the operation input unit 38 and the like via the in-vehicle network 33.

ＥＣＵ３４は、例えば、ＣＰＵ３４ａ（Central Processing Unit）や、ＲＯＭ３４ｂ（Read Only Memory）、ＲＡＭ３４ｃ（Random Access Memory）、表示制御部３４ｄ、音声制御部３４ｅ、ＳＳＤ３４ｆ（Solid State Drive、フラッシュメモリ）等を有している。ＣＰＵ３４ａは、例えば、表示装置３６で表示される画像に関連した画像処理等の、各種の演算処理および制御を実行することができる。ＣＰＵ３４ａは、ＲＯＭ３４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ３４ｃは、ＣＰＵ３４ａでの演算で用いられる各種のデータを一時的に記憶する。 The ECU 34 includes, for example, a CPU 34a (Central Processing Unit), a ROM 34b (Read Only Memory), a RAM 34c (Random Access Memory), a display control unit 34d, an audio control unit 34e, an SSD 34f (Solid State Drive, flash memory), and the like. ing. The CPU 34a can execute various arithmetic processes and controls such as an image process related to an image displayed on the display device 36, for example. The CPU 34a can read a program installed and stored in a non-volatile storage device such as the ROM 34b, and execute arithmetic processing according to the program. The RAM 34c temporarily stores various types of data used in computations by the CPU 34a.

表示制御部３４ｄは、ＥＣＵ３４での演算処理のうち、主として、撮像部２４で得られた画像データを用いた画像処理や、表示装置３６で表示される画像データの合成等を実行する。音声制御部３４ｅは、ＥＣＵ３４での演算処理のうち、主として、音声出力装置４０で出力される音声データの処理を実行する。ＳＳＤ３４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ３４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ３４ａや、ＲＯＭ３４ｂ、ＲＡＭ３４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ３４は、ＣＰＵ３４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ３４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ３４ｆやＨＤＤは、ＥＣＵ３４とは別に設けられてもよい。 The display control unit 34 d mainly executes image processing using image data obtained by the imaging unit 24, synthesis of image data displayed on the display device 36, etc., among the arithmetic processing in the ECU 34. The voice control unit 34e mainly performs processing of voice data output from the voice output device 40 among the calculation processes in the ECU 34. The SSD 34f is a rewritable nonvolatile storage unit, and can store data even when the ECU 34 is powered off. Note that the CPU 34a, the ROM 34b, the RAM 34c, and the like can be integrated in the same package. Further, the ECU 34 may have a configuration in which another logical operation processor such as a DSP (Digital Signal Processor), a logic circuit, or the like is used instead of the CPU 34a. Further, an HDD (Hard Disk Drive) may be provided instead of the SSD 34f, and the SSD 34f and the HDD may be provided separately from the ECU 34.

実施形態では、ＥＣＵ３４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示制御装置としての機能の少なくとも一部を実現している。 In the embodiment, the ECU 34 realizes at least a part of a function as a display control device by cooperation of hardware and software (control program).

図３は、実施形態にかかるＥＣＵ３４の構成を示す機能ブロック図である。ＥＣＵ３４は、表示制御装置の一例である。図３に示すように、ＥＣＵ３４は、ＥＣＵ３４として構成されたＣＰＵ３４ａが、ＲＯＭ３４ｂまたはＳＳＤ３４ｆ内に格納されたソフトウェアを実行する。これにより、ＥＣＵ３４は、入力インターフェース部８０１と、映像取得部８０５と、視点変換部８０９と、周辺画像生成部８１１と、指示取得部８０６と、画像生成部８１３と、記憶部８２２とを実現する。 FIG. 3 is a functional block diagram showing the configuration of the ECU 34 according to the embodiment. The ECU 34 is an example of a display control device. As shown in FIG. 3, in the ECU 34, a CPU 34a configured as the ECU 34 executes software stored in the ROM 34b or the SSD 34f. As a result, the ECU 34 realizes the input interface unit 801, the video acquisition unit 805, the viewpoint conversion unit 809, the peripheral image generation unit 811, the instruction acquisition unit 806, the image generation unit 813, and the storage unit 822. .

入力インターフェース部８０１は、撮像部２４からの撮像画像データと、操作入力部３８からの指示データとを入力処理する。 The input interface unit 801 performs input processing on the captured image data from the imaging unit 24 and the instruction data from the operation input unit 38.

映像取得部８０５は、撮像部２４により撮像された撮像画像データを取得して、視点変換部８０９に出力する。視点変換部８０９は、撮像部２４によって生成された撮像画像データの視点を変換し、俯瞰画像を作成する。 The video acquisition unit 805 acquires captured image data captured by the imaging unit 24 and outputs the captured image data to the viewpoint conversion unit 809. The viewpoint conversion unit 809 converts the viewpoint of the captured image data generated by the imaging unit 24 and creates an overhead image.

周辺画像生成部８１１は、車両１０の周辺の画像である周辺画像を生成する。周辺画像の一例は、周辺を上方から俯瞰した俯瞰画像である。例えば、周辺画像は、撮像部２４によってリアルタイムに撮像された撮像画像データから、視点変換部８０９によって視点変換された俯瞰画像に基づいて生成される。周辺画像生成部８１１は、時間の経過とともに、周辺画像を繰り返し生成して更新する。周辺画像生成部８１１は、生成した周辺画像を画像生成部８１３へ出力する。 The surrounding image generation unit 811 generates a surrounding image that is an image around the vehicle 10. An example of the peripheral image is an overhead image in which the periphery is viewed from above. For example, the peripheral image is generated based on the bird's-eye view image converted by the viewpoint conversion unit 809 from the captured image data captured in real time by the imaging unit 24. The peripheral image generation unit 811 repeatedly generates and updates the peripheral image as time passes. The peripheral image generation unit 811 outputs the generated peripheral image to the image generation unit 813.

指示取得部８０６は、ユーザが操作入力部３８によって入力した指示に対応した操作指示を、入力インターフェース部８０１を介して取得する。操作指示は、例えば、後述する合成画像において部品画像を追加する追加指示である。部品画像とは、ウィンチ１８及びトレーラーヒッチ２０等の後で追加した部品等に対応した画像のことである。部品画像は、ＣＧ（ComputerGraphics）等の技術によって予め生成されてＲＯＭ３４ｂ等に格納されている。指示取得部８０６は、後述する死角領域が複数の場合、複数の死角領域のうち、部品画像を重ねる死角領域を選択した選択指示を取得する。指示取得部８０６は、追加した部品画像の位置を変更する変更指示を取得する。 The instruction acquisition unit 806 acquires an operation instruction corresponding to the instruction input by the user using the operation input unit 38 via the input interface unit 801. The operation instruction is, for example, an addition instruction for adding a component image in a composite image described later. The part image is an image corresponding to a part added after the winch 18 and the trailer hitch 20 or the like. The component image is generated in advance by a technique such as CG (Computer Graphics) and stored in the ROM 34b or the like. When there are a plurality of blind spot areas to be described later, the instruction acquisition unit 806 acquires a selection instruction for selecting a blind spot area on which a component image is to be superimposed among the plurality of blind spot areas. The instruction acquisition unit 806 acquires a change instruction for changing the position of the added component image.

画像生成部８１３は、周辺画像生成部８１１から周辺画像を取得して、記憶部８２２から死角領域に関する情報及び車両１０の画像である車両画像を取得する。車両画像は、車両１０の画像であり、少なくとも車両１０の一部の画像である。車両画像は、例えば、予め撮像または生成されてＲＯＭ３４ｂ等に格納されている。死角領域とは、周辺画像を表示させない領域のことである。死角領域に関する情報とは、例えば、車両画像に対する死角領域の相対的な座標を示す情報である。具体的には、死角領域に関する情報とは、死角領域が四角形の場合、死角領域の４つの角の座標である。画像生成部８１３は、周辺画像と、車両画像と、死角領域とを含む合成画像を生成する。画像生成部８１３は、例えば、死角領域を黒等によって塗りつぶすことによって、死角領域に含まれる周辺画像を消去して、合成画像を生成する。 The image generation unit 813 acquires a peripheral image from the peripheral image generation unit 811, and acquires information about the blind spot area and a vehicle image that is an image of the vehicle 10 from the storage unit 822. The vehicle image is an image of the vehicle 10 and is an image of at least a part of the vehicle 10. For example, the vehicle image is captured or generated in advance and stored in the ROM 34b or the like. The blind spot area is an area where a peripheral image is not displayed. The information regarding the blind spot area is information indicating the relative coordinates of the blind spot area with respect to the vehicle image, for example. Specifically, the information regarding the blind spot area is the coordinates of the four corners of the blind spot area when the blind spot area is a square. The image generation unit 813 generates a composite image including a peripheral image, a vehicle image, and a blind spot area. For example, the image generation unit 813 erases the peripheral image included in the blind spot area by painting the blind spot area with black or the like, and generates a composite image.

また、画像生成部８１３は、追加指示に基づいて、部品画像の少なくとも一部を死角領域に重ねて、部品画像を追加した合成画像を生成する。例えば、画像生成部８１３は、選択指示によって選択された死角領域に部品画像を重ねて追加する。更に、画像生成部８１３は、部品画像の位置を変更する変更指示に応じて、合成画像内での部品画像の位置を変更する。画像生成部８１３は、表示制御部３４ｄを介して、生成した合成画像を表示装置３６へ出力して、合成画像を表示させる。また、画像生成部８１３は、部品画像の追加指示を取得するための追加画面を生成して、表示装置３６に表示させる。 Further, based on the addition instruction, the image generation unit 813 generates a composite image in which the component image is added by superimposing at least a part of the component image on the blind spot area. For example, the image generation unit 813 adds a component image in an overlapping manner to the blind spot area selected by the selection instruction. Furthermore, the image generation unit 813 changes the position of the component image in the composite image in response to a change instruction for changing the position of the component image. The image generation unit 813 outputs the generated composite image to the display device 36 via the display control unit 34d to display the composite image. In addition, the image generation unit 813 generates an addition screen for acquiring a component image addition instruction and causes the display device 36 to display the addition screen.

記憶部８２２は、例えば、ＲＡＭ３４ｃ上に形成される。記憶部８２２は、例えば、死角領域、部品画像、及び、合成画像に関する情報を記憶する。 The storage unit 822 is formed on the RAM 34c, for example. The storage unit 822 stores, for example, information regarding the blind spot area, the component image, and the composite image.

図４は、画像生成部８１３が生成する合成画像ＳＩの一例を示す図である。図４に示すように、画像生成部８１３は、周辺画像生成部８１１から取得した周辺画像４８及び自己の車両１０の車両画像５０を含み、記憶部８２２から取得した死角領域５２を黒く塗りつぶして周辺画像４８を消去して合成した合成画像ＳＩを生成する。周辺画像４８は、駐車枠等の路面の画像及び周囲に駐車された他の車両の画像である車両画像５４等を含む。画像生成部８１３は、更に、追加指示によって、ウィンチ１８に対応する部品画像５６ａ、トレーラーヒッチ２０に対応する部品画像５６ｂを合成画像に追加する。尚、部品画像５６ａ、５６ｂを区別する必要がない場合、部品画像の符号を“５６”と表記する。 FIG. 4 is a diagram illustrating an example of the composite image SI generated by the image generation unit 813. As shown in FIG. 4, the image generation unit 813 includes the peripheral image 48 acquired from the peripheral image generation unit 811 and the vehicle image 50 of the own vehicle 10, and the blind spot area 52 acquired from the storage unit 822 is blacked out and surrounded. A composite image SI is generated by erasing the image 48 and compositing. The surrounding image 48 includes an image of a road surface such as a parking frame and a vehicle image 54 that is an image of another vehicle parked in the vicinity. Further, the image generation unit 813 adds the part image 56a corresponding to the winch 18 and the part image 56b corresponding to the trailer hitch 20 to the composite image in accordance with the addition instruction. When there is no need to distinguish between the component images 56a and 56b, the component image code is expressed as “56”.

図５は、画像生成部８１３が生成する追加画面４２の一例を示す図である。図５に示すように、画像生成部８１３は、複数の入力ボタン４４と、選択部品画像４６と、死角領域５２と、車両画像５０とを含む追加画面４２を生成して、表示装置３６に表示させる。 FIG. 5 is a diagram illustrating an example of the addition screen 42 generated by the image generation unit 813. As illustrated in FIG. 5, the image generation unit 813 generates an additional screen 42 including a plurality of input buttons 44, a selected part image 46, a blind spot area 52, and a vehicle image 50, and displays the additional screen 42 on the display device 36. Let

入力ボタン４４は、複数の死角領域５２のうち部品画像５６を追加するエリアを選択するフロントエリアボタン４４ａ及びリアエリアボタン４４ｂを含む。フロントエリアボタン４４ａは、ユーザが複数の死角領域のうち前方の死角領域５２に部品画像５６を追加する場合の選択指示を入力する場合に操作される。リアエリアボタン４４ｂは、ユーザが複数の死角領域のうち後方の死角領域５２に部品画像５６を追加する場合の選択指示を入力する場合に操作される。入力ボタン４４は、部品画像５６の位置を移動させるための複数（例えば、４個）の位置変更ボタン４４ｃを含む。位置変更ボタン４４ｃは、ユーザが部品画像５６を上下左右のいずれかに移動させる場合に操作される。 The input button 44 includes a front area button 44 a and a rear area button 44 b for selecting an area to which the component image 56 is added from the plurality of blind spot areas 52. The front area button 44a is operated when the user inputs a selection instruction for adding the component image 56 to the front blind spot area 52 among the plurality of blind spot areas. The rear area button 44b is operated when the user inputs a selection instruction for adding the component image 56 to the rear blind spot area 52 among the plurality of blind spot areas. The input button 44 includes a plurality of (for example, four) position change buttons 44 c for moving the position of the component image 56. The position change button 44c is operated when the user moves the part image 56 up, down, left, or right.

入力ボタン４４は、複数（例えば、３個）の部品選択ボタン４４ｄを含む。部品選択ボタン４４ｄは、ユーザが複数の部品に対応する複数の部品画像５６のいずれかを選択する場合に操作される。当該部品選択ボタン４４ｄが操作されることにより、指示取得部８０６は追加指示を取得する。例えば、ユーザがウィンチ１８に対応する部品画像５６ａ、トレーラーヒッチ２０に対応する部品画像５６ｂ、及び、ユーザが定義した部品画像等のいずれかを選択する場合に、部品選択ボタン４４ｄのいずれかが選択される。画像生成部８１３は、部品選択ボタン４４ｄによって追加指示が入力されると、当該追加指示に応じて、選択された部品画像５６を追加画面４２の死角領域５２に追加する。 The input button 44 includes a plurality of (for example, three) component selection buttons 44d. The component selection button 44d is operated when the user selects any of a plurality of component images 56 corresponding to a plurality of components. By operating the component selection button 44d, the instruction acquisition unit 806 acquires an addition instruction. For example, when the user selects any one of the part image 56a corresponding to the winch 18, the part image 56b corresponding to the trailer hitch 20, and the part image defined by the user, one of the part selection buttons 44d is selected. Is done. When an addition instruction is input through the component selection button 44d, the image generation unit 813 adds the selected component image 56 to the blind spot area 52 of the addition screen 42 in accordance with the addition instruction.

入力ボタン４４は、決定ボタン４４ｅを含む。選択部品画像４６は、部品選択ボタン４４ｄの右側に表示される。選択部品画像４６は、部品選択ボタン４４ｄによって選択された部品画像５６ａ、５６ｂを表示する。決定ボタン４４ｅは、ユーザが部品画像５６ａ、５６ｂの追加を終了した場合に選択される。 The input button 44 includes a determination button 44e. The selected component image 46 is displayed on the right side of the component selection button 44d. The selected component image 46 displays the component images 56a and 56b selected by the component selection button 44d. The determination button 44e is selected when the user finishes adding the component images 56a and 56b.

図６は、ＥＣＵ３４によって実行される部品画像追加処理のフローチャートである。ＥＣＵ３４は、部品画像追加処理用のプログラムを読み込むことによって、図６に示すフローチャートを実行する。 FIG. 6 is a flowchart of the component image addition process executed by the ECU 34. The ECU 34 executes the flowchart shown in FIG. 6 by reading a program for component image addition processing.

図６に示すように、部品画像追加処理では、ＥＣＵ３４の画像生成部８１３は、図５に示す追加画面４２を表示装置３６に表示させる（Ｓ１００）。尚、画像生成部８１３は、最初の追加画面４２では、部品画像５６を表示させない。 As shown in FIG. 6, in the component image addition process, the image generation unit 813 of the ECU 34 displays the addition screen 42 shown in FIG. 5 on the display device 36 (S100). Note that the image generation unit 813 does not display the component image 56 on the first addition screen 42.

次に、指示取得部８０６は、エリアが選択されたか否かを判定する（Ｓ１０２）。指示取得部８０６は、ユーザがフロントエリアボタン４４ａ及びリアエリアボタン４４ｂのいずれかを選択すると（Ｓ１０２：Ｙｅｓ）、当該選択されたエリアに関する情報を画像生成部８１３へ出力する（Ｓ１０４）。 Next, the instruction acquisition unit 806 determines whether an area has been selected (S102). When the user selects either the front area button 44a or the rear area button 44b (S102: Yes), the instruction acquisition unit 806 outputs information on the selected area to the image generation unit 813 (S104).

指示取得部８０６は、部品画像５６のいずれかが選択されたか否かを判定する（Ｓ１０６）。指示取得部８０６は、ユーザが部品選択ボタン４４ｄのいずれかを選択すると（Ｓ１０６：Ｙｅｓ）、当該選択された部品画像５６に関する情報を画像生成部８１３へ出力する。 The instruction acquisition unit 806 determines whether any of the component images 56 has been selected (S106). When the user selects any of the component selection buttons 44d (S106: Yes), the instruction acquisition unit 806 outputs information related to the selected component image 56 to the image generation unit 813.

画像生成部８１３は、ステップＳ１０２において選択されたエリアに、ユーザによって選択された部品画像５６を追加して表示する（Ｓ１０８）。例えば、図５に示す例では、画像生成部８１３は、前方の死角領域５２に部品画像５６を追加している。画像生成部８１３は、部品画像５６を追加する場合、記憶部８２２に記憶された初期値に基づいて、ユーザが選択した死角領域５２内における部品画像５６の位置を決定する。 The image generation unit 813 adds and displays the component image 56 selected by the user in the area selected in step S102 (S108). For example, in the example illustrated in FIG. 5, the image generation unit 813 adds a part image 56 to the front blind spot area 52. When adding the component image 56, the image generation unit 813 determines the position of the component image 56 in the blind spot area 52 selected by the user based on the initial value stored in the storage unit 822.

指示取得部８０６は、位置変更ボタン４４ｃのいずれかが選択されて部品画像５６の位置変更をするか否かを判定する（Ｓ１１０）。指示取得部８０６は、ユーザが位置変更ボタン４４ｃのいずれかを選択すると、当該選択を変更指示として取得して、位置を変更すると判定する（Ｓ１１０：Ｙｅｓ）。指示取得部８０６は、当該選択された位置変更ボタン４４ｃに関する情報を変更指示として画像生成部８１３へ出力する。 The instruction acquisition unit 806 determines whether any of the position change buttons 44c is selected to change the position of the component image 56 (S110). When the user selects any of the position change buttons 44c, the instruction acquisition unit 806 acquires the selection as a change instruction and determines to change the position (S110: Yes). The instruction acquisition unit 806 outputs information on the selected position change button 44c to the image generation unit 813 as a change instruction.

画像生成部８１３は、ユーザによって選択された位置変更ボタン４４ｃに基づいて、部品画像５６の位置を変更する（Ｓ１１２）。例えば、ユーザが“ＵＰ”の位置変更ボタン４４ｃを選択した場合、画像生成部８１３は、追加画面４２内で部品画像５６を上方へ移動させる。この後、ステップＳ１１０を繰り返す。 The image generation unit 813 changes the position of the component image 56 based on the position change button 44c selected by the user (S112). For example, when the user selects the “UP” position change button 44 c, the image generation unit 813 moves the component image 56 upward in the addition screen 42. Thereafter, step S110 is repeated.

指示取得部８０６は、ステップＳ１０２、Ｓ１０６、Ｓ１１０において、ユーザがいずれも選択しない場合（Ｓ１０２：Ｎｏ、Ｓ１０６：Ｎｏ、Ｓ１１０：Ｎｏ）、決定ボタン４４ｅが選択されか否かを判定する（Ｓ１１４）。指示取得部８０６は、ユーザが決定ボタン４４ｅを選択していない場合（Ｓ１１４：Ｎｏ）、ステップＳ１０２以降を繰り返す。一方、指示取得部８０６は、ユーザが決定ボタン４４ｅを選択した場合（Ｓ１１４：Ｙｅｓ）、追加処理を終了する。 In step S102, S106, or S110, the instruction acquisition unit 806 determines whether the determination button 44e is selected when none of the users selects (S102: No, S106: No, S110: No) (S114). . If the user has not selected the determination button 44e (S114: No), the instruction acquisition unit 806 repeats step S102 and subsequent steps. On the other hand, when the user selects the determination button 44e (S114: Yes), the instruction acquisition unit 806 ends the addition process.

この後、画像生成部８１３は、合成画像ＳＩを表示する場合、追加画面４２において設定及び変更された位置に選択された部品画像５６を表示する。 Thereafter, when displaying the composite image SI, the image generation unit 813 displays the selected component image 56 at the position set and changed on the addition screen 42.

上述したように、実施形態によるＥＣＵ３４は、ユーザによって選択された部品画像５６を合成画像ＳＩに追加できるので、車両１０に後から追加したウィンチ１８等の部品に対して合成画像ＳＩを容易に対応させることができる。 As described above, since the ECU 34 according to the embodiment can add the component image 56 selected by the user to the composite image SI, the composite image SI can be easily handled for components such as the winch 18 added to the vehicle 10 later. Can be made.

ＥＣＵ３４は、複数の死角領域５２のうち、ユーザが選択した死角領域５２に部品画像５６を追加できるので、部品を追加した車両１０の個所に対応する位置に部品画像５６を表示させることができる。 Since the ECU 34 can add the part image 56 to the blind spot area 52 selected by the user among the plurality of blind spot areas 52, the ECU 34 can display the part image 56 at a position corresponding to the location of the vehicle 10 to which the part has been added.

ＥＣＵ３４は、追加画面４２において、追加した部品画像５６を表示するので、ユーザはより適切に部品画像５６を追加できる。 Since the ECU 34 displays the added component image 56 on the addition screen 42, the user can add the component image 56 more appropriately.

ＥＣＵ３４は、追加画面４２において、ユーザが入力した位置を変更する変更指示に応じて、部品画像５６の位置を変更するので、より適切な位置に部品画像５６を表示できる。 Since the ECU 34 changes the position of the component image 56 in response to a change instruction for changing the position input by the user on the addition screen 42, the ECU 34 can display the component image 56 at a more appropriate position.

本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments of the present invention have been described, these embodiments are presented as examples, and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

例えば、上述した実施形態の構成は適宜変更してよい。また、上述した実施形態の構成の接続関係等は適宜変更してよい。上述した実施形態のフローチャートのステップの順序は適宜変更してもよい。 For example, you may change suitably the structure of embodiment mentioned above. In addition, the connection relationship of the configuration of the above-described embodiment may be changed as appropriate. You may change suitably the order of the step of the flowchart of embodiment mentioned above.

例えば、上述の実施形態では、死角領域５２を黒塗りとしたが、灰色または線で囲まれた枠として表示してもよい。 For example, in the above-described embodiment, the blind spot area 52 is painted black, but may be displayed as a gray frame or a frame surrounded by a line.

上述の実施形態では、死角領域５２の形状は固定されていたが、死角領域５２の形状は変更してもよい。例えば、ユーザの入力によって死角領域５２の形状を変更してもよく、ユーザによって選択された部品画像５６に応じて死角領域５２の形状を変更してもよい。 In the above-described embodiment, the shape of the blind spot area 52 is fixed, but the shape of the blind spot area 52 may be changed. For example, the shape of the blind spot area 52 may be changed by user input, or the shape of the blind spot area 52 may be changed according to the component image 56 selected by the user.

１０…車両、１８…ウィンチ、２０…トレーラーヒッチ、２４…撮像部、３４…ＥＣＵ、３６…表示装置、４２…追加画面、４８…周辺画像、５０…車両画像、５２…死角領域、５６…部品画像、８０６…指示取得部、８１１…周辺画像生成部、８１３…画像生成部、ＳＩ…合成画像 DESCRIPTION OF SYMBOLS 10 ... Vehicle, 18 ... Winch, 20 ... Trailer hitch, 24 ... Imaging part, 34 ... ECU, 36 ... Display device, 42 ... Additional screen, 48 ... Peripheral image, 50 ... Vehicle image, 52 ... Blind spot area, 56 ... Parts Image, 806 ... Instruction acquisition unit, 811 ... Peripheral image generation unit, 813 ... Image generation unit, SI ... Composite image

Claims

An acquisition unit that acquires an addition instruction for adding a component image to the blind spot area in a composite image including a vehicle image that is a vehicle image, a peripheral image that is an image around the vehicle, and a blind spot area that does not display the peripheral image; ,
An image generation unit that generates a composite image in which at least a part of the component image is added to the blind spot area based on the addition instruction;
Bei to give a,
The acquisition unit acquires a selection instruction for selecting a blind spot area to overlap the component images from among a plurality of blind spot areas,
The display control device , wherein the image generation unit superimposes the component image on the blind spot area selected by the selection instruction .

An acquisition unit that acquires an additional instruction to add a component image to the blind spot area in a composite image including a vehicle image that is an image of the vehicle, a peripheral image that is an image around the vehicle, and a blind spot area that does not display the peripheral image; ,
An image generation unit that generates a composite image in which at least a part of the component image is added to the blind spot area based on the addition instruction;
With
The image generation unit is a display control device that displays the blind spot area and the vehicle image on an addition screen for acquiring the addition instruction for the component image.

The display control device according to claim 1, wherein the image generation unit displays the blind spot area and the vehicle image on an addition screen for acquiring the addition instruction for the component image.

The display control device according to claim 2 , wherein the image generation unit adds the component image to the blind spot area of the addition screen according to the acquired addition instruction.

The acquisition unit acquires a change instruction to change the position of the component image,
The display control apparatus according to claim 1, wherein the image generation unit changes a position of the component image in the composite image in accordance with the change instruction.