JP7031799B1 - Image processing device, image processing method, and image processing program - Google Patents

Image processing device, image processing method, and image processing program Download PDF

Info

Publication number
JP7031799B1
JP7031799B1 JP2021557564A JP2021557564A JP7031799B1 JP 7031799 B1 JP7031799 B1 JP 7031799B1 JP 2021557564 A JP2021557564 A JP 2021557564A JP 2021557564 A JP2021557564 A JP 2021557564A JP 7031799 B1 JP7031799 B1 JP 7031799B1
Authority
JP
Japan
Prior art keywords
image
brightness
road surface
surface lighting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021557564A
Other languages
Japanese (ja)
Other versions
JPWO2022190166A1 (en
Inventor
竜也 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP7031799B1 publication Critical patent/JP7031799B1/en
Publication of JPWO2022190166A1 publication Critical patent/JPWO2022190166A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

路面ライティングＥＣＵ１１０は、従来のように一定の輝度で路面ライティング画像２０１を投影するのではなく、所定の輝度変化パターンで経時的に輝度を変化させた路面ライティング画像２０１を投影する。そして、カメラＥＣＵ１２０は、輝度変化パターンで経時的に輝度が変化する領域を撮影画像から特定し、特定した領域の輝度値が低くなるように撮影データを調整する。そして、メインＳｏＣ１３０は、輝度値が調整された撮影データに応じた撮影画像を表示部１３５に表示する。これにより、撮影画像に路面ライティング画像２０１が写り込んだ場合であっても、輝度値が調整されて路面ライティング画像２０１を視認し難くなった撮影画像が表示部１３５に表示される。The road surface lighting ECU 110 does not project the road surface lighting image 201 with a constant brightness as in the conventional case, but projects the road surface lighting image 201 whose brightness is changed with time by a predetermined brightness change pattern. Then, the camera ECU 120 identifies a region where the brightness changes with time in the brightness change pattern from the captured image, and adjusts the captured data so that the luminance value of the specified region becomes low. Then, the main SoC 130 displays the captured image corresponding to the captured data whose brightness value is adjusted on the display unit 135. As a result, even when the road surface lighting image 201 is reflected in the captured image, the captured image whose brightness value is adjusted to make it difficult to visually recognize the road surface lighting image 201 is displayed on the display unit 135.

Description

この発明は、画像処理装置、画像処理方法、及び、画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program.

従来から、カメラで撮影した車外の画像を車内の表示画面に表示することで、運転手の運転を支援する技術がある。また、例えば、車両の進行方向や注意喚起を示す画像を車両の周辺の路面に投影することで、車両の周辺に存在する歩行者に対して情報を伝達する技術がある（特許文献１）。以降、車両の周辺の路面に投影された画像を「路面画像」、カメラで撮影した車外の画像を「撮影画像」と称する。 Conventionally, there is a technology for assisting a driver's driving by displaying an image of the outside of the vehicle taken by a camera on a display screen inside the vehicle. Further, for example, there is a technique for transmitting information to pedestrians existing around the vehicle by projecting an image showing the traveling direction of the vehicle or calling attention on the road surface around the vehicle (Patent Document 1). Hereinafter, the image projected on the road surface around the vehicle is referred to as a "road surface image", and the image outside the vehicle taken by the camera is referred to as a "photographed image".

特開２０１８－１４９８７６号公報Japanese Unexamined Patent Publication No. 2018-149876

ところで、カメラの撮影中に路面画像が投影された場合、路面画像の写り込んだ撮影画像が表示画面に表示されることになる。例えば、路面画像が注意喚起を示す場合、注意喚起を示す画像が車内の表示画面に表示されることになる。この場合、乗員は、表示画面に表示された注意喚起を示す情報が、乗員に対する情報なのか、車外に存在する歩行者に対する情報なのか識別し難い。その為、乗員は、路面画像の写り込んだ撮影画像が表示画面に表示されることに対して、煩わしさを感じることがあった。 By the way, when the road surface image is projected during the shooting by the camera, the shot image in which the road surface image is reflected is displayed on the display screen. For example, when the road surface image shows a warning, the image showing the warning is displayed on the display screen in the vehicle. In this case, it is difficult for the occupant to identify whether the information indicating the alert displayed on the display screen is the information for the occupant or the information for the pedestrian existing outside the vehicle. Therefore, the occupant may feel annoyed that the photographed image in which the road surface image is reflected is displayed on the display screen.

この発明は、前述のような問題を解決するものであり、車両の周辺の路面に投影された路面画像を撮影した画像を表示画面に表示する場合であっても、煩わしさを低減することを目的とする。 The present invention solves the above-mentioned problems, and reduces annoyance even when an image obtained by capturing a road surface image projected on a road surface around a vehicle is displayed on a display screen. The purpose.

この発明に係る表示処理装置は、車両の周辺の路面に所定のパターンで経時的に輝度が変化する画像を投影する投影制御部と、前記車両の周辺を撮影した撮影画像を取得する取得部と、前記取得部で取得した前記撮影画像に対応した撮影データを格納する記憶部と、前記記憶部に格納した前記撮影データに対応した撮影画像から、前記パターンで経時的に輝度が変化する領域を特定し、当該特定した領域における輝度値が低くなるように、前記撮影データを調整する輝度調整部と、前記輝度調整部により輝度値が調整された前記撮影データに応じた撮影画像を表示部に出力する表示出力部とを備えることを特徴とするものである。

The display processing device according to the present invention includes a projection control unit that projects an image whose brightness changes with time in a predetermined pattern on a road surface around the vehicle, and an acquisition unit that acquires a photographed image of the periphery of the vehicle. From the storage unit that stores the shooting data corresponding to the shot image acquired by the acquisition unit and the shot image corresponding to the shot data stored in the storage unit, a region in which the brightness changes with time in the pattern is defined. A brightness adjustment unit that adjusts the shooting data so that the brightness value in the specified area becomes low, and a shot image corresponding to the shooting data whose brightness value is adjusted by the brightness adjustment unit are displayed on the display unit. It is characterized by having a display output unit for outputting.

この発明は、車両の周辺の路面に投影された路面画像を撮影した画像を表示画面に表示する場合であっても、煩わしさを低減することができるという効果を奏する。 INDUSTRIAL APPLICABILITY The present invention has an effect that annoyance can be reduced even when an image obtained by capturing a road surface image projected on a road surface around a vehicle is displayed on a display screen.

本実施の形態に係る画像処理装置１００の構成を示す図である。It is a figure which shows the structure of the image processing apparatus 100 which concerns on this embodiment. 画像処理装置１００上で動作するソフトウェアを示す概念図である。It is a conceptual diagram which shows the software which operates on the image processing apparatus 100. カメラＥＣＵ１２０のメモリ１２２の概念図である。It is a conceptual diagram of the memory 122 of a camera ECU 120. 路面ライティングの態様を示す概念図である。It is a conceptual diagram which shows the mode of road surface lighting. 従来の路面ライティング画像２０１をカメラ１２５で撮影したときにフレームバッファ１７１に格納される撮影データの例である。This is an example of shooting data stored in the frame buffer 171 when the conventional road surface lighting image 201 is shot by the camera 125. 輝度変化パターンの例を示す概念図である。It is a conceptual diagram which shows the example of the luminance change pattern. 画像処理装置１００の処理に関するフローチャートである。It is a flowchart about the processing of the image processing apparatus 100. フレームバッファ１７１に格納された撮影画像を示す概念図である。It is a conceptual diagram which shows the photographed image stored in the frame buffer 171. フレームバッファ１７１に格納された輝度値が調整された撮影画像を示す概念図である。It is a conceptual diagram which shows the photographed image which adjusted the luminance value stored in the frame buffer 171. 画像処理装置１００の機能ブロック図である。It is a functional block diagram of an image processing apparatus 100. 識別情報に対応付けられた路面ライティングの輝度変化パターンを示す図である。It is a figure which shows the luminance change pattern of the road surface lighting associated with the identification information. 画像処理装置１００の処理に関するフローチャートである。It is a flowchart about the processing of the image processing apparatus 100. メインＳｏＣ１３０のメモリ１３２の概念図である。It is a conceptual diagram of the memory 132 of the main SoC 130. 画像処理装置１００の処理に関するフローチャートである。It is a flowchart about the processing of the image processing apparatus 100. 複数の路面ライティング画像が撮影される状況を示す図である。It is a figure which shows the situation which a plurality of road surface lighting images are taken. 複数の路面ライティング画像をカメラ１２５で撮影したときにフレームバッファに格納される撮影データの例である。This is an example of shooting data stored in the frame buffer when a plurality of road surface lighting images are shot by the camera 125. 画像処理装置１００の処理に関するフローチャートである。It is a flowchart about the processing of the image processing apparatus 100. フレームバッファ４４０に格納された輝度値が調整された撮影画像を示す概念図である。It is a conceptual diagram which shows the photographed image which adjusted the luminance value stored in the frame buffer 440.

本開示における画像処理装置は、自動車に備えられているものとする。以降の説明において、画像処理装置を備えた自動車を「車両」と称する。 The image processing device in the present disclosure shall be provided in an automobile. In the following description, a vehicle equipped with an image processing device will be referred to as a "vehicle".

実施の形態１．
図１は、本実施の形態に係る画像処理装置１００の構成を示す図である。画像処理装置１００は、路面ライティングＥＣＵ（Ｅｌｅｃｔｒｉｃ・Ｃｏｎｔｒｏｌ・Ｕｎｉｔ）１１０、カメラＥＣＵ１２０、メインＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）１３０、及び、車載通信バス１０１を備える。路面ライティングＥＣＵ１１０、カメラＥＣＵ１２０、及び、メインＳｏＣ１３０は、夫々車載通信バス１０１によって接続される。なお、車載通信バス１０１は、他の接続形態によっても本発明は実施可能である。Embodiment 1.
FIG. 1 is a diagram showing a configuration of an image processing device 100 according to the present embodiment. The image processing device 100 includes a road surface lighting ECU (Electric / Control / Unit) 110, a camera ECU 120, a main System (System-on-a-Chip) 130, and an in-vehicle communication bus 101. The road surface lighting ECU 110, the camera ECU 120, and the main SoC 130 are each connected by an in-vehicle communication bus 101. It should be noted that the in-vehicle communication bus 101 can also carry out the present invention by other connection modes.

路面ライティングＥＣＵ１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）１１１（ただし、ＣＰＵコアは複数個備えていてもよい。）、メモリ１１２、インタフェース１１３、ストレージ１１４を備える。インタフェース１１３は、投影部１１５に接続されている。投影部１１５は、例えば、プロジェクタである。投影部１１５は、例えば、車両の進行方向や注意喚起といった、車両の周辺に存在する人間（歩行者、他車両の乗員）に対して報知したい情報を示す画像を車両の周辺の路面に投影する。以降、車両の周辺の路面に投影された画像を「路面ライティング画像」と称する。また、路面ライティング画像を路面に投影することを「路面ライティング」と称する。なお、路面ライティング画像は、静止画像、及び／又は、動画像を含む。ＣＰＵ１１１は、路面ライティングＥＣＵ１１０の制御を行う演算装置である。メモリ１１２は、例えば、揮発性記憶装置であり、ＣＰＵ１１１が実行するプログラム、スタック、変数などを記憶する。ストレージ１１４は、例えば、フラッシュメモリなどの不揮発性記憶装置であり、プログラム、路面ライティング画像を示す画像データなどのデータを記憶する。なお、本実施の形態において、画像処理装置１００は、投影部１１５を構成の一部としたが、投影部１１５を外部の構成としても良い。 The road surface lighting ECU 110 includes a CPU (Central Processing Unit) 111 (however, a plurality of CPU cores may be provided), a memory 112, an interface 113, and a storage 114. The interface 113 is connected to the projection unit 115. The projection unit 115 is, for example, a projector. The projection unit 115 projects an image showing information to be notified to humans (pedestrians, occupants of other vehicles) existing around the vehicle, such as the traveling direction of the vehicle and alerting, on the road surface around the vehicle. .. Hereinafter, the image projected on the road surface around the vehicle is referred to as a "road surface lighting image". Further, projecting a road surface lighting image onto a road surface is referred to as "road surface lighting". The road surface lighting image includes a still image and / or a moving image. The CPU 111 is an arithmetic unit that controls the road surface lighting ECU 110. The memory 112 is, for example, a volatile storage device and stores programs, stacks, variables, and the like executed by the CPU 111. The storage 114 is, for example, a non-volatile storage device such as a flash memory, and stores data such as a program and image data showing a road surface lighting image. In the present embodiment, the image processing apparatus 100 has the projection unit 115 as a part of the configuration, but the projection unit 115 may be an external configuration.

カメラＥＣＵ１２０は、ＣＰＵ１２１、メモリ１２２、インタフェース１２３、ストレージ１２４を備える。インタフェース１２３は、カメラ１２５に接続されている。カメラ１２５は、車両の周辺を撮影して撮影データを生成する。従って、撮影中に路面ライティング画像が投影された場合、カメラ１２５は、路面ライティング画像の写り込んだ撮影画像を生成することになる。なお、本実施の形態において、画像処理装置１００は、カメラ１２５を構成の一部としたが、カメラ１２５を外部の構成としても良い。また、インタフェース１２３は、複数のカメラ１２５に接続されていても良い。 The camera ECU 120 includes a CPU 121, a memory 122, an interface 123, and a storage 124. The interface 123 is connected to the camera 125. The camera 125 captures the periphery of the vehicle and generates shooting data. Therefore, when the road surface lighting image is projected during shooting, the camera 125 will generate a shot image in which the road surface lighting image is reflected. In the present embodiment, the image processing device 100 has the camera 125 as a part of the configuration, but the camera 125 may be an external configuration. Further, the interface 123 may be connected to a plurality of cameras 125.

メインＳｏＣ１３０は、ＣＰＵ１３１、メモリ１３２、インタフェース１３３、ストレージ１３４を備える。インタフェース１３３は、表示部１３５に接続されている。表示部１３５は、例えば、カーナビゲーションシステムやルームミラーなどに設けられた液晶画面である。表示部１３５は、撮影データに応じた撮影画像を表示する。なお、本実施の形態において、画像処理装置１００は、表示部１３５を構成の一部としたが、表示部１３５を外部の構成としても良い。 The main SoC 130 includes a CPU 131, a memory 132, an interface 133, and a storage 134. The interface 133 is connected to the display unit 135. The display unit 135 is, for example, a liquid crystal screen provided in a car navigation system, a rear-view mirror, or the like. The display unit 135 displays a photographed image according to the photographed data. In the present embodiment, the image processing apparatus 100 has the display unit 135 as a part of the configuration, but the display unit 135 may be an external configuration.

図２は、画像処理装置１００上で動作するソフトウェアを示す概念図である。路面ライティングＥＣＵ１１０のＣＰＵ１１１は、オペレーティングシステム１４１を起動する。また、路面ライティングＥＣＵ１１０のＣＰＵ１１１は、このオペレーティングシステム１４１上で、通信ライブラリ１４２、路面ライトドライバ１４３、及び、路面ライティングアプリ１４０を動作させる。路面ライティングアプリ１４０は、路面ライトドライバ１４３を駆動して路面ライティングを実施する。 FIG. 2 is a conceptual diagram showing software operating on the image processing device 100. The CPU 111 of the road surface lighting ECU 110 activates the operating system 141. Further, the CPU 111 of the road surface lighting ECU 110 operates the communication library 142, the road surface light driver 143, and the road surface lighting application 140 on the operating system 141. The road surface lighting application 140 drives the road surface light driver 143 to perform road surface lighting.

カメラＥＣＵ１２０のＣＰＵ１２１は、オペレーティングシステム１５１を起動する。また、カメラＥＣＵ１２０のＣＰＵ１２１は、このオペレーティングシステム１５１上で、通信ライブラリ１５２、カメラドライバ１５３、及び、カメラアプリ１５０を動作させる。カメラアプリ１５０は、カメラドライバ１５３を駆動して車両の周辺を撮影し、撮影により生成され撮影データをメインＳｏＣ１３０に順次送信する。 The CPU 121 of the camera ECU 120 activates the operating system 151. Further, the CPU 121 of the camera ECU 120 operates the communication library 152, the camera driver 153, and the camera application 150 on the operating system 151. The camera application 150 drives the camera driver 153 to shoot the surroundings of the vehicle, and sequentially transmits the shooting data generated by the shooting to the main SoC 130.

メインＳｏＣ１３０のＣＰＵ１３１は、オペレーティングシステム１６１を起動する。また、メインＳｏＣ１３０のＣＰＵ１３１は、このオペレーティングシステム１６１上で、通信ライブラリ１６２、ディスプレイドライバ１６３、及び、運転支援アプリ１６０を動作させる。運転支援アプリ１６０は、カメラＥＣＵ１２０から送信された撮影データを受信する。また、運転支援アプリ１６０は、ディスプレイドライバ１６３を駆動して撮影データに応じた撮影画像を表示部１３５に表示させる。 The CPU 131 of the main SoC 130 boots the operating system 161. Further, the CPU 131 of the main SoC 130 operates the communication library 162, the display driver 163, and the driving support application 160 on the operating system 161. The driving support application 160 receives the shooting data transmitted from the camera ECU 120. Further, the driving support application 160 drives the display driver 163 to display the captured image according to the captured data on the display unit 135.

それぞれのオペレーティングシステムと通信ライブラリは同種・異種にかかわらず、本発明は実施可能である。 The present invention can be carried out regardless of whether each operating system and communication library are of the same type or different types.

図３は、カメラＥＣＵ１２０のメモリ１２２の概念図である。
カメラドライバ１５３は、メモリ１２２の一部分をフレームバッファ１７１として使用する。フレームバッファ１７１は、カメラ１２５によって撮影された撮影画像（静止画像）を映像（動画像）としてエンコードするまでの一時保存のために使用される。カメラアプリ１５０は、撮影された１コマ単位の撮影データをフレームバッファ１７１に順次格納する。また、カメラアプリ１５０は、フレームバッファ１７１の終端まで撮影データを格納した場合には、フレームバッファ１７１の先頭に戻って撮影データの格納を再開する。さらに、カメラアプリ１５０は、フレームバッファ１７１に格納されている撮影データを１コマもしくは複数コマ単位で映像としてエンコードする。このエンコード手法には一般的な技術が使用される。なお、本開示においては、エンコード前のデータとエンコード後のデータを区別せずに「撮影データ」と称する。FIG. 3 is a conceptual diagram of the memory 122 of the camera ECU 120.
The camera driver 153 uses a part of the memory 122 as the frame buffer 171. The frame buffer 171 is used for temporary storage until the captured image (still image) captured by the camera 125 is encoded as a video (moving image). The camera application 150 sequentially stores the shooting data of each shot frame in the frame buffer 171. Further, when the camera application 150 stores the shooting data up to the end of the frame buffer 171, the camera application 150 returns to the beginning of the frame buffer 171 and resumes the storage of the shooting data. Further, the camera application 150 encodes the shooting data stored in the frame buffer 171 as a video in units of one frame or a plurality of frames. A common technique is used for this encoding technique. In this disclosure, the data before encoding and the data after encoding are not distinguished and are referred to as "shooting data".

図４は、自車両２００の周辺の路面に対して投影部１１５から投影された路面ライティング画像２０１を示す概念図である。図４の下方が自車両２００の前方、図４の上方が自車両２００の後方を示す。自車両２００の後方には、投影部１１５及びカメラ１２５が設けられている。撮影範囲２０２は、カメラ１２５で撮影される範囲を示している。非照射領域２０３は、撮影範囲２０２に含まれるが、路面ライティング画像２０１が照射されなかった領域を示している。路面ライティング画像２０１が照射された領域の輝度を計測した輝度値は、非照射領域２０３の輝度を計測した輝度値よりも高い。その為、乗員は、路面画像の写り込んだ撮影画像が表示画面に表示されることに対して、煩わしさを感じることがあった。なお、路面ライティング画像２０１は、自車両２００が後退しながら左折するときの形状を示しているが、投影される画像及びタイミングはこれに限られない。 FIG. 4 is a conceptual diagram showing a road surface lighting image 201 projected from the projection unit 115 onto the road surface around the own vehicle 200. The lower part of FIG. 4 shows the front of the own vehicle 200, and the upper part of FIG. 4 shows the rear of the own vehicle 200. A projection unit 115 and a camera 125 are provided behind the own vehicle 200. The shooting range 202 indicates a range shot by the camera 125. The non-irradiated area 203 indicates an area included in the photographing range 202 but not irradiated with the road surface lighting image 201. The luminance value measured by the brightness of the area irradiated with the road surface lighting image 201 is higher than the luminance value measured by the luminance of the non-irradiated region 203. Therefore, the occupant may feel annoyed that the photographed image in which the road surface image is reflected is displayed on the display screen. The road surface lighting image 201 shows the shape when the own vehicle 200 turns left while reversing, but the projected image and timing are not limited to this.

図５は、従来の路面ライティング画像２０１をカメラ１２５で撮影したときにフレームバッファ１７１に格納される撮影データの例である。フレーム４０３Ａ～Ｅには、経時的に生成された撮影データが１フレーム単位で格納される。従来の路面ライティングＥＣＵは、一定の輝度で路面ライティング画像を投影する。そのため、フレーム４０３Ａ～Ｅには、表示周期に関わらず、一定の輝度値の路面ライティング画像を含む撮影画像が格納される。以降の説明において、フレーム４０３Ａ～Ｅの夫々を区別して説明する必要が無い場合には、末尾の英字を省略する。 FIG. 5 is an example of shooting data stored in the frame buffer 171 when the conventional road surface lighting image 201 is shot by the camera 125. The shooting data generated over time are stored in the frames 403A to E in units of one frame. The conventional road surface lighting ECU projects a road surface lighting image with a constant brightness. Therefore, the frames 403A to E store the captured image including the road surface lighting image having a constant brightness value regardless of the display cycle. In the following description, if it is not necessary to distinguish between the frames 403A to E, the last alphabetic character will be omitted.

本実施の形態における路面ライティングＥＣＵ１１０は、従来のように一定の輝度で路面ライティング画像２０１を投影するのではなく、所定のパターン（以下、輝度変化パターンと称する）で経時的に輝度を変化させた路面ライティング画像２０１を投影する。そして、カメラＥＣＵ１２０は、輝度変化パターンで経時的に輝度が変化する領域を撮影画像から特定し、特定した領域の輝度値が低くなるように撮影データを調整する。そして、メインＳｏＣ１３０は、輝度値が調整された撮影データに応じた撮影画像を表示部１３５に表示する。これにより、撮影画像に路面ライティング画像２０１が写り込んだ場合であっても、輝度値が調整されて路面ライティング画像２０１を視認し難くなった撮影画像が表示部１３５に表示されることになる。 The road surface lighting ECU 110 in the present embodiment does not project the road surface lighting image 201 with a constant brightness as in the conventional case, but changes the brightness with time in a predetermined pattern (hereinafter referred to as a brightness change pattern). The road surface lighting image 201 is projected. Then, the camera ECU 120 identifies a region where the brightness changes with time in the brightness change pattern from the captured image, and adjusts the captured data so that the luminance value of the specified region becomes low. Then, the main SoC 130 displays the captured image corresponding to the captured data whose brightness value is adjusted on the display unit 135. As a result, even when the road surface lighting image 201 is reflected in the captured image, the captured image whose brightness value is adjusted to make it difficult to visually recognize the road surface lighting image 201 is displayed on the display unit 135.

図６において、従来の輝度変化パターン４１０は、周期とは関係なく、一定の輝度（高輝度）に設定される。これに対し、本開示の輝度変化パターン４１１は、路面ライティング画像２０１を投影する輝度値が区間４１２ごとに設定される。区間４１２は、輝度変化パターンを構成する最小の区間を示す。輝度変化パターン４１１は、例えば、高輝度、高輝度、低輝度、高輝度、低輝度といったように示される。本開示の路面ライティングＥＣＵ１１０は、この輝度変化パターン４１１を１周期として、路面ライティング画像２０１を投影する間だけ繰り返す。ところで、一般的に、カメラ１２５は、一秒間に撮影されるフレーム数（フレームレート）が定められている。例えば、３０ｆｐｓ（フレーム／秒）のカメラ１２５を用いた場合、区間４１２は、約３３ミリ秒以上に設定されることが望ましい In FIG. 6, the conventional luminance change pattern 410 is set to a constant luminance (high luminance) regardless of the period. On the other hand, in the brightness change pattern 411 of the present disclosure, the brightness value for projecting the road surface lighting image 201 is set for each section 412. Section 412 indicates the smallest section constituting the luminance change pattern. The luminance change pattern 411 is shown, for example, as high luminance, high luminance, low luminance, high luminance, low luminance, and the like. The road surface lighting ECU 110 of the present disclosure repeats this brightness change pattern 411 as one cycle only while projecting the road surface lighting image 201. By the way, in general, the camera 125 has a defined number of frames (frame rate) taken per second. For example, when using a camera 125 at 30 fps (frames / second), it is desirable that the section 412 is set to about 33 milliseconds or more.

図７は、画像処理装置１００の処理に関するフローチャートである。
開始時、路面ライティングＥＵＣ１１０は、路面ライティングを開始する前の状態である。また、カメラＥＣＵ１２０は、撮影を開始する前の状態である。また、メインＳｏＣ１３０は、カメラＥＣＵ１２０から送信されてくる撮影データに応じた画像を表示部１３５に表示可能な状態である。FIG. 7 is a flowchart relating to the processing of the image processing apparatus 100.
At the start, the road surface lighting EUC110 is in a state before starting road surface lighting. Further, the camera ECU 120 is in a state before starting shooting. Further, the main SoC 130 is in a state where an image corresponding to the shooting data transmitted from the camera ECU 120 can be displayed on the display unit 135.

路面ライティングＥＣＵ１１０は、路面ライティングの開始の契機となるトリガ信号を受け付けると、路面ライティングの輝度変化パターン４１１をカメラＥＣＵ１２０に通知する（ステップ３０１）。この通信は、車載通信バス１０１を用いて行われる。通信は車載イーサネットを想定するが、その他の方式を用いてもよい。路面ライティングＥＣＵ１１０は、路面ライティングを開始するとともに（ステップ３０２）、ステップ３０１で通知した輝度変化パターン４１１の内容に従って輝度を変化させた路面ライティング画像２０１を投影する（ステップ３０３）。 When the road surface lighting ECU 110 receives the trigger signal that triggers the start of the road surface lighting, the road surface lighting ECU 110 notifies the camera ECU 120 of the brightness change pattern 411 of the road surface lighting (step 301). This communication is performed using the vehicle-mounted communication bus 101. Communication is assumed to be in-vehicle Ethernet, but other methods may be used. The road surface lighting ECU 110 starts road surface lighting (step 302) and projects a road surface lighting image 201 whose brightness is changed according to the content of the brightness change pattern 411 notified in step 301 (step 303).

カメラＥＣＵ１２０は、路面ライティングＥＣＵ１１０から輝度変化パターン４１１を受信する（ステップ３０４）。カメラＥＣＵ１２０は、輝度変化パターン４１１で経時的に輝度が変化する領域を特定するために、輝度変化パターン４１１の一周期分以上の撮影データを格納可能なフレームバッファ１７１領域をメモリ１２２に確保する。カメラＥＣＵ１２０は、カメラ１２５の撮影を開始し（ステップ３０５）、撮影によって生成した撮影データをフレームバッファ１７１に格納する（ステップ３０６）。 The camera ECU 120 receives the luminance change pattern 411 from the road surface lighting ECU 110 (step 304). The camera ECU 120 secures in the memory 122 a frame buffer 171 area capable of storing shooting data for one cycle or more of the luminance change pattern 411 in order to specify an region in which the luminance changes with time in the luminance change pattern 411. The camera ECU 120 starts shooting the camera 125 (step 305), and stores the shooting data generated by the shooting in the frame buffer 171 (step 306).

図８は、フレームバッファ１７１に格納された撮影画像を示す概念図である。
フレームバッファ１７１には、輝度変化パターン４１１で経時的に輝度が変化する路面ライティング画像を連続して撮影した撮影データが格納される。図８において、フレーム４０３Ａ、４０３Ｂ、４０３Ｄには、高輝度の路面ライティング画像２０１Ａ、２０１Ｂ、２０１Ｄを撮影した撮影画像が格納されている。また、フレーム４０３Ｃ、４０３Ｅには、低輝度の路面ライティング画像２０１Ｃ、２０１Ｅを撮影した撮影画像が格納されている。FIG. 8 is a conceptual diagram showing a captured image stored in the frame buffer 171.
The frame buffer 171 stores shooting data obtained by continuously shooting road surface lighting images whose brightness changes with time in the brightness change pattern 411. In FIG. 8, the frames 403A, 403B, and 403D store captured images of high-intensity road surface lighting images 201A, 201B, and 201D. Further, in the frames 403C and 403E, the captured images obtained by capturing the low-luminance road surface lighting images 201C and 201E are stored.

ここで、図７の説明に戻る。カメラＥＣＵ１２０は、各フレーム４０３に格納された撮影画像の輝度値の変化を測定し、ステップ３０１で通知された輝度変化パターン４１１で経時的に輝度が変化する領域、即ち、路面ライティング画像２０１Ａ～Ｅに対応する領域を特定する（ステップ３０７）。ステップ３０７の処理で該当の領域を特定できなかった場合、カメラＥＣＵ１２０は、ステップ３０９の処理へと進む。一方、ステップ３０７の処理で該当の領域を特定した場合、カメラＥＣＵ１２０は、該当領域における撮影画像の輝度値を調整する。例えば、カメラＥＣＵ１２０は、高輝度の輝度変化パターン４１１に対応するフレーム４０３Ａと、低輝度の輝度変化パターン４１１に対応するフレーム４０３Ｃから、ステップ３０７で特定した領域の示す輝度値の差分を算出する。そして、カメラＥＣＵ１２０は、高輝度の輝度変化パターン４１１に対応するフレーム４０３Ａ、４０３Ｂ、４０３Ｄに格納された撮影画像の輝度値を、該当の差分だけ低くなるように調整する（ステップ３０８）。 Here, the explanation returns to FIG. 7. The camera ECU 120 measures the change in the brightness value of the captured image stored in each frame 403, and the region where the brightness changes with time in the brightness change pattern 411 notified in step 301, that is, the road surface lighting images 201A to E. (Step 307). If the corresponding area cannot be specified in the process of step 307, the camera ECU 120 proceeds to the process of step 309. On the other hand, when the corresponding area is specified by the process of step 307, the camera ECU 120 adjusts the brightness value of the captured image in the corresponding area. For example, the camera ECU 120 calculates the difference in the luminance value indicated by the region specified in step 307 from the frame 403A corresponding to the high-luminance change pattern 411 and the frame 403C corresponding to the low-luminance change pattern 411. Then, the camera ECU 120 adjusts the luminance values of the captured images stored in the frames 403A, 403B, and 403D corresponding to the high-luminance change pattern 411 so as to be lowered by the corresponding difference (step 308).

なお、輝度値の調整の態様は、これに限らず、カメラＥＣＵ１２０は、路面ライティングＥＣＵ１１０で投影した画像の輝度が高い程、領域の輝度値を下げる幅が大きくなるように調整する態様であれば、如何なる技術を用いても良い。例えば、カメラＥＣＵ１２０は、高輝度の輝度変化パターン４１１に対応するフレーム４０３Ａの高輝度の路面ライティング画像２０１Ａが撮影された領域の輝度値と、それ以外の領域の輝度値の差分を算出する。そして、カメラＥＣＵ１２０は、高輝度の路面ライティング画像２０１Ａが撮影された領域の輝度値を、該当の差分だけ低くなるように調整してもよい。また、例えば、カメラＥＣＵ１２０は、高輝度の輝度変化パターン４１１に対応するフレーム４０３Ａの高輝度の路面ライティング画像２０１Ａが撮影された領域の輝度値を所定の値だけ低くなるように調整してもよい。 The mode of adjusting the luminance value is not limited to this, as long as the camera ECU 120 adjusts so that the higher the luminance of the image projected by the road surface lighting ECU 110, the larger the width of reducing the luminance value of the region. , Any technique may be used. For example, the camera ECU 120 calculates the difference between the luminance value in the region where the high-luminance road surface lighting image 201A of the frame 403A corresponding to the high-luminance change pattern 411 is captured and the luminance value in the other regions. Then, the camera ECU 120 may adjust the brightness value of the region where the high-brightness road surface lighting image 201A is captured so as to be lowered by the corresponding difference. Further, for example, the camera ECU 120 may adjust the brightness value of the region where the high-brightness road surface lighting image 201A of the frame 403A corresponding to the high-brightness change pattern 411 is captured by a predetermined value. ..

図９は、フレームバッファ１７１に格納された輝度値が調整された撮影画像を示す概念図である。フレームバッファ１７１には、高輝度で照射された路面ライティング画像２０１Ａ、２０１Ｂ、２０１Ｄの輝度値が、低輝度で照射された路面ライティング画像２０１Ｃ、２０１Ｅの輝度値と同程度となるように調整された撮影データが格納されている。 FIG. 9 is a conceptual diagram showing a captured image in which the brightness value stored in the frame buffer 171 is adjusted. The frame buffer 171 was adjusted so that the brightness values of the road surface lighting images 201A, 201B, and 201D irradiated with high brightness were equal to the brightness values of the road surface lighting images 201C, 201E irradiated with low brightness. The shooting data is stored.

ここで、図７の説明に戻る。カメラＥＣＵ１２０は、フレームバッファ１７１の空きを検査する（ステップ３０９）。ステップ３０９は、ステップ３０７において輝度変化パターンを検出するために必要なフレーム数をフレームバッファ１７１に一時的に滞留させるために実施される。フレームバッファ１７１に空きがある場合（ステップ３０９；Ｎｏ）、カメラＥＣＵ１２０は、撮影によって生成された撮影データをフレームバッファ１７１に格納するためにステップ３０６に遷移する。一方、フレームバッファ１７１の空きが無い場合（ステップ３０９；Ｙｅｓ）、カメラＥＣＵ１２０は、フレームバッファ１７１に格納された撮影データのうち、最も古い撮影データをメインＳｏＣ１３０に対して送信し、当該フレームバッファ１７１に格納された撮影データを削除して再利用可能にする（ステップ３１０）。メインＳｏＣ１３０は、受信した撮影データに応じた撮影画像を表示部１３５に表示する（ステップ３１１）。 Here, the explanation returns to FIG. 7. The camera ECU 120 inspects the vacancy of the frame buffer 171 (step 309). Step 309 is performed to temporarily retain the number of frames required for detecting the luminance change pattern in step 307 in the frame buffer 171. When there is a vacancy in the frame buffer 171 (step 309; No), the camera ECU 120 transitions to step 306 in order to store the shooting data generated by shooting in the frame buffer 171. On the other hand, when there is no free space in the frame buffer 171 (step 309; Yes), the camera ECU 120 transmits the oldest shooting data among the shooting data stored in the frame buffer 171 to the main SoC 130, and the frame buffer 171 The shooting data stored in is deleted and made reusable (step 310). The main SoC 130 displays a photographed image corresponding to the received photographed data on the display unit 135 (step 311).

図１０は、画像処理装置１００の機能ブロック図である。
画像処理装置１００は、投影制御部１１、取得部１２、記憶部１３、輝度調整部１４、及び、表示出力部１５を備える。投影制御部１１は、図示せぬ車載装置から路面ライティングの開始の契機となるトリガ信号を受け付けると、車両の周辺の路面に所定のパターンで経時的に輝度が変化する画像（路面ライティング画像）を投影する。投影制御部１１は、図１の路面ライティングＥＣＵ１１０のＣＰＵ１１１により実現される。取得部１２は、車両の周辺を撮影した撮影画像を取得する。取得部１２は、図１のカメラＥＣＵ１２０のＣＰＵ１２１により実現される。記憶部１３は、取得部１２で取得した撮影画像を格納する。本実施形態において、記憶部１３は、カメラＥＣＵ１２０のメモリ１２２にて実現される。輝度調整部１４は、記憶部１３に格納した撮影画像から、パターンで経時的に輝度が変化する領域を特定し、当該領域における撮影画像の輝度値を調整する。また、輝度調整部１４は、投影制御部１１で投影した画像の輝度が高い程、領域の輝度値を下げる幅が大きくなるように調整する。本実施形態において、輝度調整部１４は、カメラＥＣＵ１２０のＣＰＵ１２１にて実現される。表示出力部１５は、輝度調整部１４で調整した撮影画像を表示部１３５に出力する。表示出力部１５は、メインＳｏｃ１３０のＣＰＵ１３１にて実現される。FIG. 10 is a functional block diagram of the image processing device 100.
The image processing device 100 includes a projection control unit 11, an acquisition unit 12, a storage unit 13, a brightness adjustment unit 14, and a display output unit 15. When the projection control unit 11 receives a trigger signal that triggers the start of road surface lighting from an in-vehicle device (not shown), the projection control unit 11 outputs an image (road surface lighting image) whose brightness changes with time in a predetermined pattern on the road surface around the vehicle. Project. The projection control unit 11 is realized by the CPU 111 of the road surface lighting ECU 110 of FIG. The acquisition unit 12 acquires a photographed image of the periphery of the vehicle. The acquisition unit 12 is realized by the CPU 121 of the camera ECU 120 of FIG. The storage unit 13 stores the captured image acquired by the acquisition unit 12. In the present embodiment, the storage unit 13 is realized by the memory 122 of the camera ECU 120. The brightness adjusting unit 14 identifies a region in which the brightness changes with time in a pattern from the captured image stored in the storage unit 13, and adjusts the luminance value of the captured image in the region. Further, the luminance adjusting unit 14 adjusts so that the higher the luminance of the image projected by the projection control unit 11, the larger the width of reducing the luminance value of the region. In the present embodiment, the brightness adjusting unit 14 is realized by the CPU 121 of the camera ECU 120. The display output unit 15 outputs the captured image adjusted by the luminance adjustment unit 14 to the display unit 135. The display output unit 15 is realized by the CPU 131 of the main Soc 130.

以上の処理によって、画像処理装置１００は、路面ライティング画像２０１をカメラ１２５で撮影した場合であっても、路面ライティング画像２０１に対応する領域の輝度値が低くなるように調整した撮影画像を表示部１３５に表示することができる。従って、路面ライティング画像２０１を撮影した撮影画像が表示部１３５に表示された場合であっても、自車両２００の乗員は、路面ライティング画像２０１に対応する領域と、その他の領域の識別がしにくくなる。即ち、画像処理装置１００は、路面ライティング画像２０１を撮影した画像を表示部１３５に表示した場合であっても、乗員の煩わしさを低減することができる。また、画像処理装置１００は、乗員による周囲の状況把握を妨げることを抑制することができる。また、画像処理装置１００は、路面ライティング画像２０１を投影する位置や大きさを変更しない。その結果、画像処理装置１００は、路面ライティング画像２０１を投影する位置や大きさを変更する場合と比較して、路面ライティング画像２０１を投影することによって得られる注意喚起などの効果を低下させることが無い。また、一般に、カメラで撮影した撮影画像から特定の物体を除去するためには、撮影画像から物体の認識と抽出を行う必要がある。最近では、任意の形状に対する物体認識のために、機械学習が用いられるようになってきている。しかし、学習済みモデルを物体認識に使用した場合でも行列の積和演算など比較的計算コストの高い処理が行われるため、低コストで低性能な組込み向けＳｏＣではリアルタイムに近い処理速度での認識は難易度が高い。さらに、運転者が認知・判断・操作を行えるだけの短時間に物体認識を行い、表示部に表示する撮影画像からの除去を実現するには、リアルタイムに近い物体認識処理が必要となる。これに対して、画像処理装置１００は、経時的に輝度が変化する輝度変化パターンで路面ライティング画像２０１を投影し、当該輝度変化パターンで経時的に輝度が変化する領域の輝度値を調整した撮影画像を表示するだけである。従って、画像処理装置１００は、高コストかつ高性能なＳｏＣを用いることなく、乗員が認知・判断・操作を行える程度のリアルタイム性を持った物体認識と映像からの除去の実現が可能となる。 By the above processing, the image processing apparatus 100 displays the captured image adjusted so that the brightness value of the region corresponding to the road surface lighting image 201 is low even when the road surface lighting image 201 is captured by the camera 125. It can be displayed on 135. Therefore, even when the captured image obtained by capturing the road surface lighting image 201 is displayed on the display unit 135, it is difficult for the occupant of the own vehicle 200 to distinguish the region corresponding to the road surface lighting image 201 from the other regions. Become. That is, the image processing device 100 can reduce the annoyance of the occupant even when the image obtained by capturing the road surface lighting image 201 is displayed on the display unit 135. In addition, the image processing device 100 can prevent the occupant from grasping the surrounding situation. Further, the image processing device 100 does not change the position or size of projecting the road surface lighting image 201. As a result, the image processing device 100 may reduce the effect such as alerting obtained by projecting the road surface lighting image 201 as compared with the case of changing the position and size of projecting the road surface lighting image 201. There is no. Further, in general, in order to remove a specific object from a photographed image taken by a camera, it is necessary to recognize and extract the object from the photographed image. Recently, machine learning has come to be used for object recognition for arbitrary shapes. However, even when the trained model is used for object recognition, processing with relatively high calculation cost such as matrix multiplication and sum calculation is performed, so low-cost and low-performance embedded SoCs can recognize at a processing speed close to real time. The difficulty level is high. Further, in order to recognize an object in a short time so that the driver can recognize, judge, and operate the object and remove it from the captured image displayed on the display unit, an object recognition process close to real time is required. On the other hand, the image processing device 100 projects the road surface lighting image 201 with a luminance change pattern whose luminance changes with time, and adjusts the luminance value of the region where the luminance changes with time according to the luminance change pattern. It just displays the image. Therefore, the image processing device 100 can realize object recognition and removal from the image having real-time performance to the extent that the occupant can recognize, judge, and operate without using a high-cost and high-performance SoC.

実施の形態２．
実施の形態１では、路面ライティングＥＣＵ１１０からカメラＥＣＵ１２０に対して路面ライティングパターンを通知することで、カメラＥＣＵ１２０は、輝度変化パターンで経時的に輝度が変化する領域を撮影画像から特定し、特定した領域の輝度値が低くなるように撮影データを調整した。しかしながら、輝度変化パターンの複雑度によっては、カメラＥＣＵ１２０でフレームバッファの容量を確保できない恐れがある。そこで、実施の形態２では、路面ライティングの輝度変化パターンを示す識別情報をカメラＥＣＵ１２０から路面ライティングＥＣＵ１１０に対して通知する態様を示す。なお、ハードウェア構成（図１）、ソフトウェア構成（図２）、機能構成（図１０）は、実施の形態１と同様である。Embodiment 2.
In the first embodiment, the road surface lighting ECU 110 notifies the camera ECU 120 of the road surface lighting pattern, so that the camera ECU 120 identifies a region in which the brightness changes with time in the brightness change pattern from the captured image, and the specified region. The shooting data was adjusted so that the brightness value of was low. However, depending on the complexity of the luminance change pattern, the camera ECU 120 may not be able to secure the capacity of the frame buffer. Therefore, the second embodiment shows an embodiment in which the camera ECU 120 notifies the road surface lighting ECU 110 of the identification information indicating the brightness change pattern of the road surface lighting. The hardware configuration (FIG. 1), software configuration (FIG. 2), and functional configuration (FIG. 10) are the same as those in the first embodiment.

図１１は、識別情報に対応付けられた路面ライティングの輝度変化パターンを示す図である。路面ライティングＥＣＵ１１０のストレージ１１４、及び、カメラＥＣＵ１２０のストレージ１２４には、識別情報に対応付けられた路面ライティングの輝度変化パターンを示す輝度変化パターン情報４２０が記憶されている。実施の形態２においては、実施の形態１と異なり、路面ライティングＥＣＵ１１０から輝度変化パターンを指定するのではなく、カメラＥＣＵ１２０から輝度変化パターンを指定する。その為、輝度変化パターン情報４２０は、路面ライティングＥＣＵ１１０の性能的に実施可能であることが予め確認された情報である。なお、輝度変化パターン情報４２０は、路面ライティングＥＣＵ１１０、及び、カメラＥＣＵ１２０で共有されればよく、ストレージ１１４、１２４以外のストレージに記憶されていてもよい。 FIG. 11 is a diagram showing a luminance change pattern of the road surface lighting associated with the identification information. The storage 114 of the road surface lighting ECU 110 and the storage 124 of the camera ECU 120 store the luminance change pattern information 420 indicating the luminance change pattern of the road surface lighting associated with the identification information. In the second embodiment, unlike the first embodiment, the luminance change pattern is not specified from the road surface lighting ECU 110, but the luminance change pattern is specified from the camera ECU 120. Therefore, the luminance change pattern information 420 is information that has been confirmed in advance that the performance of the road surface lighting ECU 110 can be implemented. The luminance change pattern information 420 may be shared by the road surface lighting ECU 110 and the camera ECU 120, and may be stored in a storage other than the storages 114 and 124.

図１２は、画像処理装置１００の処理に関するフローチャートである。
カメラＥＣＵ１２０は、あらかじめ共有していた路面ライティングの輝度変化パターンの識別情報を選択し、路面ライティングＥＣＵ１１０に送信する（ステップ３１２）。FIG. 12 is a flowchart relating to the processing of the image processing apparatus 100.
The camera ECU 120 selects the identification information of the luminance change pattern of the road surface lighting shared in advance and transmits it to the road surface lighting ECU 110 (step 312).

路面ライティングＥＣＵ１１０は、カメラＥＣＵ１２０から路面ライティングの輝度変化パターンを示す識別情報を受信する。路面ライティングＥＣＵ１１０は、識別情報に対応づけられた輝度変化パターンで路面ライティングを開始する（ステップ３０２）。即ち、路面ライティングＥＣＵ１１０は、識別情報に対応づけられた輝度変化パターンで輝度を変化させた路面ライティング画像を照射する（ステップ３０３）。 The road surface lighting ECU 110 receives identification information indicating a brightness change pattern of the road surface lighting from the camera ECU 120. The road surface lighting ECU 110 starts road surface lighting with a luminance change pattern associated with the identification information (step 302). That is, the road surface lighting ECU 110 irradiates the road surface lighting image whose brightness is changed by the brightness change pattern associated with the identification information (step 303).

カメラＥＣＵ１２０は、識別情報に対応付けられた輝度変化パターンの撮影データの一周期分を格納可能なフレームバッファ領域を確保する（ステップ３０４）。そして、カメラＥＣＵ１２０は、カメラ１２５で撮影を開始する（ステップ３０５）。以降の動作は実施の形態１と同様であるから説明を省略する。 The camera ECU 120 secures a frame buffer area capable of storing one cycle of shooting data of the luminance change pattern associated with the identification information (step 304). Then, the camera ECU 120 starts shooting with the camera 125 (step 305). Since the subsequent operations are the same as those in the first embodiment, the description thereof will be omitted.

以上のように、カメラＥＣＵ１２０は、あらかじめ共有していた路面ライティングの輝度変化パターンの識別情報を選択し、路面ライティングＥＣＵ１１０に送信することで、フレームバッファの容量を確保できない可能性を抑制できる。即ち、画像処理装置１００は、高性能なカメラＥＣＵ１２０を備えなくても、路面ライティング画像２０１に対応する領域の輝度値が低くなるように調整された撮影画像を表示部１３５に表示することができる。 As described above, the camera ECU 120 can suppress the possibility that the capacity of the frame buffer cannot be secured by selecting the identification information of the luminance change pattern of the road surface lighting shared in advance and transmitting it to the road surface lighting ECU 110. That is, the image processing device 100 can display the captured image adjusted so that the brightness value of the region corresponding to the road surface lighting image 201 is low on the display unit 135 even if the high-performance camera ECU 120 is not provided. ..

実施の形態３．
実施の形態１では、カメラＥＣＵ１２０は、輝度変化パターン４１１で経時的に輝度が変化する領域を特定するために、輝度変化パターン４１１の一周期分以上の撮影データを格納可能なフレームバッファ１７１領域をメモリ１２２に確保した。これに対し、本実施形態では、メインＳｏＣ１３０において、輝度変化パターンで経時的に輝度が変化する領域を特定し、特定した領域の輝度値を調整する。本実施形態は、カメラＥＣＵ１２０の性能が低くフレームバッファに必要とされるメモリ容量を確保できない場合などに適用可能である。なお、ハードウェア構成（図１）、ソフトウェア構成（図２）、機能構成（図１０）は、実施の形態１と同様である。ただし、本実施形態において、記憶部１３は、メインＳｏＣ１３０のメモリ１３２にて実現される。また、本実施形態において、輝度調整部１４は、メインＳｏＣ１３０のＣＰＵ１３１にて実現される。Embodiment 3.
In the first embodiment, the camera ECU 120 provides a frame buffer 171 area capable of storing shooting data for one cycle or more of the brightness change pattern 411 in order to specify a region where the brightness changes with time in the brightness change pattern 411. It was secured in the memory 122. On the other hand, in the present embodiment, in the main SoC 130, a region where the brightness changes with time is specified by the brightness change pattern, and the brightness value of the specified region is adjusted. This embodiment can be applied when the performance of the camera ECU 120 is low and the memory capacity required for the frame buffer cannot be secured. The hardware configuration (FIG. 1), software configuration (FIG. 2), and functional configuration (FIG. 10) are the same as those in the first embodiment. However, in the present embodiment, the storage unit 13 is realized by the memory 132 of the main SoC 130. Further, in the present embodiment, the brightness adjusting unit 14 is realized by the CPU 131 of the main SoC 130.

図１３は、メインＳｏＣ１３０のメモリ１３２の概念図である。
通信ライブラリ１６２は、メモリ１３２の一部分をフレームバッファ１７２として使用する。フレームバッファ１７２は、カメラＥＣＵ１２０から送信された撮影画像（静止画像）を映像（動画像）としてエンコードするまでの一時保存のために使用される。メインＳｏＣ１３０は、受信した１コマ単位の撮影データをフレームバッファ１７２に順次格納する。また、メインＳｏＣ１３０は、フレームバッファ１７２の終端まで撮影データを格納した場合には、フレームバッファ１７２の先頭に戻って撮影データの格納を再開する。運転支援アプリ１６０は、フレームバッファ１７２に格納されている撮影データを１コマもしくは複数コマ単位で映像としてエンコードする。このエンコード手法には一般的な技術が使用される。なお、本開示においては、エンコード前のデータとエンコード後のデータを区別せずに「撮影データ」と称する。FIG. 13 is a conceptual diagram of the memory 132 of the main SoC 130.
The communication library 162 uses a part of the memory 132 as a frame buffer 172. The frame buffer 172 is used for temporary storage until the captured image (still image) transmitted from the camera ECU 120 is encoded as a video (moving image). The main SoC 130 sequentially stores the received shooting data for each frame in the frame buffer 172. Further, when the main SoC 130 stores the shooting data up to the end of the frame buffer 172, the main SoC 130 returns to the beginning of the frame buffer 172 and resumes the storage of the shooting data. The driving support application 160 encodes the shooting data stored in the frame buffer 172 as a video in units of one frame or a plurality of frames. A common technique is used for this encoding technique. In this disclosure, the data before encoding and the data after encoding are not distinguished and are referred to as "shooting data".

図１４は、画像処理装置１００の処理に関するフローチャートである。
開始時、路面ライティングＥＵＣ１１０は、路面ライティングを開始する前の状態である。また、カメラＥＣＵ１２０は、撮影を開始する前の状態である。また、メインＳｏＣ１３０は、カメラＥＣＵ１２０から送信されてくる撮影データを受信可能な状態になっている。FIG. 14 is a flowchart relating to the processing of the image processing apparatus 100.
At the start, the road surface lighting EUC110 is in a state before starting road surface lighting. Further, the camera ECU 120 is in a state before starting shooting. Further, the main SoC 130 is in a state where it can receive the shooting data transmitted from the camera ECU 120.

路面ライティングＥＣＵ１１０は、路面ライティングの輝度変化パターンをメインＳｏＣ１３０に通知する（ステップ３０１）。この通信は、車載通信バス１０１を用いて行われる。通信は車載イーサネットを想定するが、その他の方式を用いてもよい。路面ライティングＥＣＵ１１０は、路面ライティングを開始するとともに（ステップ３０２）、ステップ３０１で通知した輝度変化パターンの内容に従って輝度を変化させた路面ライティング画像を投影する（ステップ３０３）。 The road surface lighting ECU 110 notifies the main SoC 130 of the brightness change pattern of the road surface lighting (step 301). This communication is performed using the vehicle-mounted communication bus 101. Communication is assumed to be in-vehicle Ethernet, but other methods may be used. The road surface lighting ECU 110 starts road surface lighting (step 302) and projects a road surface lighting image whose brightness is changed according to the content of the brightness change pattern notified in step 301 (step 303).

メインＳｏＣ１３０は、路面ライティングＥＣＵ１１０から輝度変化パターンを受信する（ステップ３２０）。メインＳｏＣ１３０は、輝度変化パターンで経時的に輝度が変化する領域を特定するために、輝度変化パターンの一周期分以上の撮影データを格納可能なフレームバッファ１７２領域をメモリ１３２に確保する。また、メインＳｏＣ１３０は、フレームバッファ１７２領域をメモリ１３２に確保した後、撮影データを受信する準備が完了した旨を示す受信可能通知をカメラＥＣＵ１２０に対して送信する（ステップ３２１）。 The main SoC 130 receives the luminance change pattern from the road surface lighting ECU 110 (step 320). The main SoC 130 secures a frame buffer 172 area in the memory 132 capable of storing shooting data for one cycle or more of the brightness change pattern in order to specify a region where the brightness changes with time in the brightness change pattern. Further, the main SoC 130 secures the frame buffer 172 area in the memory 132, and then transmits a receivable notification indicating that the preparation for receiving the shooting data is completed to the camera ECU 120 (step 321).

カメラＥＣＵ１２０は、カメラ１２５の撮影を開始する（ステップ３０５）。また、カメラＥＣＵ１２０は、受信可能通知をメインＳｏＣ１３０から受信した後、撮影によって生成した撮影データをバッファリングせずに順次メインＳｏＣ１３０に対して送信する（ステップ３２３）。 The camera ECU 120 starts shooting the camera 125 (step 305). Further, after receiving the receivable notification from the main SoC130, the camera ECU 120 sequentially transmits the shooting data generated by the shooting to the main SoC130 without buffering (step 323).

メインＳｏＣ１３０は、受信した撮影データをフレームバッファ１７２に格納する（ステップ３２４）。メインＳｏＣ１３０は、フレームバッファ１７２に格納された撮影画像の輝度値の変化を測定し、ステップ３０１で通知された輝度変化パターンで経時的に輝度が変化する領域を特定する（ステップ３２５）。ステップ３２５で該当の領域を特定できなかった場合、メインＳｏＣ１３０は、ステップ３２７の処理へと進む。一方、ステップ３２５で該当の領域を特定した場合、メインＳｏＣ１３０は、該当の領域における撮影画像の輝度値を調整する（ステップ３２６）。例えば、メインＳｏＣ１３０は、当該フレームバッファ中の最も古いフレームの高輝度の領域の輝度値を、直前に出現した低輝度の領域の輝度値で置換する。なお、メインＳｏＣ１３０は、カメラＥＣＵ１２０と同様の方法を用いて、撮影画像の輝度値を調整してもよい。 The main SoC 130 stores the received shooting data in the frame buffer 172 (step 324). The main SoC 130 measures the change in the luminance value of the captured image stored in the frame buffer 172, and specifies the region where the luminance changes with time in the luminance change pattern notified in step 301 (step 325). If the corresponding area cannot be specified in step 325, the main SoC 130 proceeds to the process of step 327. On the other hand, when the corresponding area is specified in step 325, the main SoC 130 adjusts the brightness value of the captured image in the corresponding area (step 326). For example, the main SoC 130 replaces the luminance value of the high-luminance region of the oldest frame in the frame buffer with the luminance value of the low-luminance region that appeared immediately before. The main SoC 130 may adjust the brightness value of the captured image by using the same method as that of the camera ECU 120.

次に、メインＳｏＣ１３０は、フレームバッファに空きがあるか検査する（ステップ３２７）。ステップ３２７は、ステップ３２５において輝度変化パターンを検出するために必要なフレーム数をフレームバッファ１７２に一時的に滞留させるために実施される。フレームバッファ１７２に空きがある場合（ステップ３２７；Ｎｏ）、メインＳｏＣ１３０は、撮影によって生成された撮影データをフレームバッファ１７２に格納するためにステップ３２４に遷移する。一方、フレームバッファ１７２に空きが無い場合（ステップ３２７：Ｙｅｓ）、メインＳｏＣ１３０は、フレームバッファ１７２に格納された撮影データのうち、最も古い撮影データに応じた撮影画像を表示デバイスに表示し、当該フレームバッファ領域を削除して再利用可能にする（３２８）。なお、メインＳｏＣ１３０は、表示部１３５の仕様に従って、撮影データに応じた撮影画像を表示部１３５に表示させればよい。 Next, the main SoC130 checks whether the frame buffer is free (step 327). Step 327 is carried out to temporarily retain the number of frames required for detecting the luminance change pattern in step 325 in the frame buffer 172. If there is space in the frame buffer 172 (step 327; No), the main SoC 130 transitions to step 324 in order to store the shooting data generated by shooting in the frame buffer 172. On the other hand, when there is no free space in the frame buffer 172 (step 327: Yes), the main SoC 130 displays the shooting image corresponding to the oldest shooting data among the shooting data stored in the frame buffer 172 on the display device, and the relevant shooting image is displayed. The framebuffer area is deleted and made reusable (328). The main SoC 130 may display the captured image according to the captured data on the display unit 135 according to the specifications of the display unit 135.

以上のように、画素処理装置１００は、カメラＥＣＵ１２０によるバッファリングをメインＳｏＣ１３０で代替することによって、高性能なカメラＥＣＵ１２０を備えなくても、路面ライティング画像２０１に対応する領域の輝度値が低くなるように調整された撮影画像を表示部１３５に表示することができる。 As described above, by substituting the buffering by the camera ECU 120 with the main SoC 130, the pixel processing device 100 reduces the brightness value of the region corresponding to the road surface lighting image 201 even if the high-performance camera ECU 120 is not provided. The captured image adjusted in this way can be displayed on the display unit 135.

実施の形態４．
実施の形態１では、路面ライティングが自車によって行われる場合のみを想定した。一方、路面ライティングの普及により、自車両２００に近接する他車両においても同様の輝度変化パターンを備えている場合が考えられる。Embodiment 4.
In the first embodiment, only the case where the road surface lighting is performed by the own vehicle is assumed. On the other hand, with the spread of road surface lighting, it is conceivable that other vehicles close to the own vehicle 200 may have the same luminance change pattern.

図１５は、複数の路面ライティング画像が撮影される状況を示す図である。
自車両２００と他車両２１０が路面ライティング画像を投影した場合、自車両２００のカメラ１２５は、自車両２００から投影した路面ライティング画像２０１だけでなく、他車両２１０から投影された路面ライティング画像２１１も撮影することになる。FIG. 15 is a diagram showing a situation in which a plurality of road surface lighting images are taken.
When the own vehicle 200 and the other vehicle 210 project the road surface lighting image, the camera 125 of the own vehicle 200 not only the road surface lighting image 201 projected from the own vehicle 200 but also the road surface lighting image 211 projected from the other vehicle 210. I will shoot.

図１６は、複数の路面ライティング画像をカメラ１２５で撮影したときにフレームバッファに格納される撮影データの例である。フレームバッファ４４０には、他車両２１０の路面ライティング画像２１１と、自車両２００の路面ライティング画像２０１を連続して撮影した撮影データが格納される。ここで、夫々の路面ライティング画像が同じ輝度変化パターンで投影されていた場合、画像処理装置１００は、夫々の路面ライティング画像を区別することができない。その為、画像処理装置１００は、例えば、バッファ４４２に格納された撮影画像のように、夫々の路面ライティング画像に対応した領域の輝度値が低くなるように調整してしまうという課題が生じる。 FIG. 16 is an example of shooting data stored in the frame buffer when a plurality of road surface lighting images are shot by the camera 125. The frame buffer 440 stores shooting data obtained by continuously shooting the road surface lighting image 211 of the other vehicle 210 and the road surface lighting image 201 of the own vehicle 200. Here, when each road surface lighting image is projected with the same luminance change pattern, the image processing apparatus 100 cannot distinguish each road surface lighting image. Therefore, the image processing device 100 has a problem that the brightness value of the region corresponding to each road surface lighting image is adjusted to be low, for example, the captured image stored in the buffer 442.

この課題の対策として、自車両２００から投影された路面ライティング画像２０１だけでなく、他車両２１０から投影された路面ライティング画像２１１を撮影した場合であっても、自車両２００の路面ライティング画像２０１のみを低輝度に置換する方法を示す。 As a countermeasure for this problem, not only the road surface lighting image 201 projected from the own vehicle 200 but also the road surface lighting image 201 projected from the other vehicle 210 is taken, but only the road surface lighting image 201 of the own vehicle 200 is taken. Is shown in the method of replacing with low brightness.

ハードウェア構成（図１）、ソフトウェア構成（図２）、機能構成（図１０）は、実施の形態１と同様である。 The hardware configuration (FIG. 1), software configuration (FIG. 2), and functional configuration (FIG. 10) are the same as those in the first embodiment.

図１７は、画像処理装置１００の処理に関するフローチャートである。
画像処理装置１００は、輝度変化パターン４１１で経時的に輝度が変化する領域の占める割合が増加したときに、他車両２１０の路面ライティングが撮影されたと判断して、自車両２００の路面ライティングの輝度変化パターン４１１を変更することが相違点である。FIG. 17 is a flowchart relating to the processing of the image processing apparatus 100.
The image processing apparatus 100 determines that the road surface lighting of the other vehicle 210 has been photographed when the proportion of the region where the brightness changes with time increases in the brightness change pattern 411, and determines that the road surface lighting of the own vehicle 200 has the brightness of the road surface lighting. The difference is that the change pattern 411 is changed.

開始時、路面ライティングＥＵＣ１１０は、路面ライティングを開始する前の状態である。また、カメラＥＣＵ１２０は、撮影を開始する前の状態である。また、メインＳｏＣ１３０は、カメラＥＣＵ１２０から送信されてくる撮影データに応じた画像を表示部１３５に表示可能な状態になっている。 At the start, the road surface lighting EUC110 is in a state before starting road surface lighting. Further, the camera ECU 120 is in a state before starting shooting. Further, the main SoC 130 is in a state where an image corresponding to the shooting data transmitted from the camera ECU 120 can be displayed on the display unit 135.

路面ライティングＥＣＵ１１０は、輝度変化パターン４１１をカメラＥＣＵ１２０に通知する（ステップ３０１）。路面ライティングＥＣＵ１１０は、路面ライティングを開始するとともに（ステップ３０２）、ステップ３０１で通知した輝度変化パターン４１１の内容に従って輝度を変化させた路面ライティング画像２０１を投影する（ステップ３０３）。 The road surface lighting ECU 110 notifies the camera ECU 120 of the luminance change pattern 411 (step 301). The road surface lighting ECU 110 starts road surface lighting (step 302) and projects a road surface lighting image 201 whose brightness is changed according to the content of the brightness change pattern 411 notified in step 301 (step 303).

カメラＥＣＵ１２０は、路面ライティングＥＣＵ１１０から輝度変化パターン４１１を受信する。カメラＥＣＵ１２０は、輝度変化パターン４１１で経時的に輝度が変化する領域を特定するために、輝度変化パターン４１１の一周期分以上の撮影データを格納可能なフレームバッファ４４０をメモリ１２２に確保する（ステップ３０４）。カメラＥＣＵ１２０は、カメラ１２５の撮影を開始し（ステップ３０５）、撮影によって生成された撮影データをフレームバッファ４４０に格納する（ステップ３０６）。 The camera ECU 120 receives the luminance change pattern 411 from the road surface lighting ECU 110. The camera ECU 120 secures a frame buffer 440 in the memory 122 capable of storing shooting data for one cycle or more of the luminance change pattern 411 in order to specify the region where the luminance changes with time in the luminance change pattern 411 (step). 304). The camera ECU 120 starts shooting the camera 125 (step 305), and stores the shooting data generated by the shooting in the frame buffer 440 (step 306).

カメラＥＣＵ１２０は、フレームバッファ４４０に格納された撮影画像の輝度値の変化を測定し、ステップ３０１で通知された輝度変化パターン４１１で経時的に輝度が変化する領域が存在するかを特定する（ステップ３０７）。 The camera ECU 120 measures the change in the brightness value of the captured image stored in the frame buffer 440, and specifies whether or not there is a region where the brightness changes with time in the brightness change pattern 411 notified in step 301 (step). 307).

更に、カメラＥＣＵ１２０は、フレームバッファ４４０に格納された撮影画像に対して、輝度変化パターン４１１に対応する領域の占める割合が、予め設定された閾値よりも大きいか判定する（ステップ３３１）。この閾値は、路面ライティング画像の大きさ、投影部１１５の設けられた高さ、投影角度、投影範囲、自車と他車の近接度合いの許容範囲をパラメータとして自動車の安全基準に関する製品仕様に従って設定される。また、この閾値は、例えば、フレームバッファ４４０に格納された撮影画像に対して、輝度変化パターン４１１に対応する領域の割合の過去の平均値に従って設定されてもよい。 Further, the camera ECU 120 determines whether the ratio of the region corresponding to the luminance change pattern 411 to the captured image stored in the frame buffer 440 is larger than the preset threshold value (step 331). This threshold value is set according to the product specifications regarding automobile safety standards with the size of the road surface lighting image, the height provided by the projection unit 115, the projection angle, the projection range, and the allowable range of the degree of proximity between the own vehicle and another vehicle as parameters. Will be done. Further, this threshold value may be set according to a past average value of the ratio of the region corresponding to the luminance change pattern 411 with respect to the captured image stored in the frame buffer 440, for example.

閾値よりも大きいと判定された場合（ステップ３３１：Ｙｅｓ）、カメラＥＣＵ１２０は、自車両２００の路面ライティング以外に、自車両２００と同じ輝度変化パターン４１１で投影された他車両２１０の路面ライティングが撮影されていると判断する。そして、カメラＥＣＵ１２０は、輝度変化パターンの変更を路面ライティングＥＣＵ１１０に通知する（ステップ３３２）。そして、カメラＥＣＵ１２０は、フレームバッファ４４０に格納されているすべての撮影データをメインＳｏＣ１３０に送信した後、フレームバッファ４４０に格納されているすべての撮影データを削除する（ステップ３３３）。 When it is determined that the value is larger than the threshold value (step 331: Yes), the camera ECU 120 captures the road surface lighting of the other vehicle 210 projected by the same brightness change pattern 411 as the own vehicle 200, in addition to the road surface lighting of the own vehicle 200. Judge that it has been done. Then, the camera ECU 120 notifies the road surface lighting ECU 110 of the change in the luminance change pattern (step 332). Then, the camera ECU 120 transmits all the shooting data stored in the frame buffer 440 to the main SoC 130, and then deletes all the shooting data stored in the frame buffer 440 (step 333).

路面ライティングＥＣＵ１１０は、カメラＥＣＵ１２０からの輝度変化パターンの変更の依頼に従って、自車両２００の輝度変化パターンを変更する（ステップ３３０）。そして、路面ライティングＥＣＵ１１０は、変更後の輝度変化パターンをカメラＥＣＵ１２０に対して通知し（ステップ３０１）、路面ライティングを再開する（ステップ３０２）。 The road surface lighting ECU 110 changes the brightness change pattern of the own vehicle 200 in response to a request from the camera ECU 120 to change the brightness change pattern (step 330). Then, the road surface lighting ECU 110 notifies the camera ECU 120 of the changed brightness change pattern (step 301), and restarts the road surface lighting (step 302).

ステップ３０７で輝度変化パターンが検出されない場合（ステップ３０７：Ｎｏ）、又は、ステップ３３１で閾値以下と判定された場合（ステップ３３１：Ｎｏ）、カメラＥＣＵ１２０は、実施の形態１と同様にステップ３０８～３１０を実行する。そして、メインＳｏＣ１３０は、受信した撮影データに応じた撮影画像を表示部１３５に表示する（ステップ３１１）。 When the luminance change pattern is not detected in step 307 (step 307: No), or when it is determined in step 331 that it is equal to or less than the threshold value (step 331: No), the camera ECU 120 is set in steps 308 to 308 as in the first embodiment. Execute 310. Then, the main SoC 130 displays a photographed image corresponding to the received photographed data on the display unit 135 (step 311).

図１９は、フレームバッファ４４０に格納された輝度値が調整された撮影画像を示す概念図である。
同図に示すように、画像処理装置１００は、自車両２００の輝度変化パターンを変更することで、自車両２００及び他車両２１０から投影された路面ライティング画像を撮影した場合でも、自車両２００の路面ライティング画像２０１に対応する領域の輝度値のみを調整することができる。即ち、画像処理装置１００は、自車両２００から投影された路面ライティング画像に応じた画像が表示画面に表示されることによって、乗員が煩わしさを感じることを低減することができる。FIG. 19 is a conceptual diagram showing a captured image in which the brightness value stored in the frame buffer 440 is adjusted.
As shown in the figure, the image processing device 100 changes the brightness change pattern of the own vehicle 200, so that even when the road surface lighting image projected from the own vehicle 200 and the other vehicle 210 is taken, the own vehicle 200 Only the brightness value of the region corresponding to the road surface lighting image 201 can be adjusted. That is, the image processing device 100 can reduce the annoyance of the occupant by displaying the image corresponding to the road surface lighting image projected from the own vehicle 200 on the display screen.

実施の形態４は、実施の形態２および３とは独立しているため、それぞれ組み合わせても実施可能である。 Since the fourth embodiment is independent of the second and third embodiments, it can be implemented in combination with each other.

実施の形態１，２，３，４では、カメラＥＣＵ１２０とメインＳｏＣ１３０は夫々異なるデバイスであると仮定したが、統合が可能な程度に高性能なＳｏＣを用いた場合、同一のＳｏＣにおいても本発明は実施可能である。この場合、車載通信バスを使用した通信が、ＳｏＣ内のバスによる通信で代替される。 In the first, second, third, and fourth embodiments, it is assumed that the camera ECU 120 and the main SoC 130 are different devices, but when a high-performance SoC that can be integrated is used, the present invention can be used for the same SoC. Is feasible. In this case, the communication using the in-vehicle communication bus is replaced by the communication by the bus in the SoC.

１１ 投影制御部、１２ 取得部、１３ 記憶部、１４ 輝度調整部、１５ 表示出力部、１００ 画像処理装置、１０１ 車載通信バス、１１２ メモリ、１１３ インタフェース、１１４ ストレージ、１１５ 投影部、１２２ メモリ、１２３ インタフェース、１２４ ストレージ、１１５ 投影部、１２２ メモリ、１２３ インタフェース、１２４ ストレージ、１２５ カメラ、１３２ メモリ、１３３ インタフェース、１３４ ストレージ、１３５ 表示部、１４０ 路面ライティングアプリ、１４１ オペレーティングシステム、１４２ 通信ライブラリ、１４３ 路面ライトドライバ、１５０ カメラアプリ、１５１ オペレーティングシステム、１５２ 通信ライブラリ、１５３ カメラドライバ、１６０ 運転支援アプリ、１６１ オペレーティングシステム、１６２ 通信ライブラリ、１６３ ディスプレイドライバ、１７１ フレームブッファ、１７２ フレームブッファ、２００ 自車両、２０１ 路面ライティング画像、２０２ 投影範囲、２０３ 非照射領域、２１０ 他車両、２１１ 路面ライティング画像、３０１ 輝度変化パターン、４１０ 輝度変化パターン、４１１ 輝度変化パターン、４１２ 区間、４２０ 輝度変化パターン情報、４４０ フレームバッファ、４４２ バッファ。 11 projection control unit, 12 acquisition unit, 13 storage unit, 14 brightness adjustment unit, 15 display output unit, 100 image processing device, 101 in-vehicle communication bus, 112 memory, 113 interface, 114 storage, 115 projection unit, 122 memory, 123 Interface, 124 storage, 115 projection, 122 memory, 123 interface, 124 storage, 125 camera, 132 memory, 133 interface, 134 storage, 135 display, 140 road lighting app, 141 operating system, 142 communication library, 143 road light Driver, 150 camera app, 151 operating system, 152 communication library, 153 camera driver, 160 driving support app, 161 operating system, 162 communication library, 163 display driver, 171 frame buffer, 172 frame buffer, 200 own vehicle, 201 road surface lighting Image, 202 projection range, 203 non-illuminated area, 210 other vehicle, 211 road surface lighting image, 301 brightness change pattern, 410 brightness change pattern, 411 brightness change pattern, 412 section, 420 brightness change pattern information, 440 frame buffer, 442 buffer ..

Claims (7)

車両の周辺の路面に所定のパターンで経時的に輝度が変化する画像を投影する投影制御部と、
前記車両の周辺を撮影した撮影画像を取得する取得部と、
前記取得部で取得した前記撮影画像に対応した撮影データを格納する記憶部と、
前記記憶部に格納した前記撮影データに対応した撮影画像から、前記パターンで経時的に輝度が変化する領域を特定し、当該特定した領域における輝度値が低くなるように、前記撮影データを調整する輝度調整部と、
前記輝度調整部により輝度値が調整された前記撮影データに応じた撮影画像を表示部に出力する表示出力部と
を備えることを特徴とする画像処理装置。 A projection control unit that projects an image whose brightness changes over time in a predetermined pattern on the road surface around the vehicle.
An acquisition unit that acquires a photographed image of the surroundings of the vehicle, and
A storage unit that stores shooting data corresponding to the shot image acquired by the acquisition unit, and a storage unit.
From the captured image corresponding to the captured data stored in the storage unit, a region where the brightness changes with time in the pattern is specified, and the captured data is adjusted so that the luminance value in the specified region becomes low . Brightness adjustment unit and
An image processing apparatus including a display output unit that outputs a captured image corresponding to the captured data whose luminance value is adjusted by the luminance adjusting unit to the display unit. 前記輝度調整部は、
前記投影制御部で投影した画像の輝度が高い程、前記領域の輝度値を下げる幅が大きくなるように調整する
ことを特徴とする請求項１に記載の画像処理装置。 The brightness adjusting unit is
The image processing apparatus according to claim 1, wherein the higher the brightness of the image projected by the projection control unit, the larger the range for lowering the brightness value in the region. 前記輝度調整部は、
前記記憶部に格納された前記撮影画像に対して前記領域の占める割合が閾値よりも大きい場合、前記パターンの変更を前記投影制御部に通知する
ことを特徴とする請求項１又は２の何れかに記載の画像処理装置。 The brightness adjusting unit is
One of claims 1 or 2, wherein when the ratio of the region to the captured image stored in the storage unit is larger than the threshold value, the projection control unit is notified of the change in the pattern. The image processing apparatus according to. 前記投影制御部は、
前記輝度を変化させる前記パターンを前記輝度調整部に通知し
前記輝度調整部は、
前記投影制御部から通知された前記パターンに基づいて前記領域を特定する
ことを特徴とする請求項１～３の何れかに記載の画像処理装置。 The projection control unit
The pattern for changing the brightness is notified to the brightness adjusting unit, and the brightness adjusting unit receives the notification.
The image processing apparatus according to any one of claims 1 to 3, wherein the area is specified based on the pattern notified from the projection control unit. 前記輝度調整部は、
前記輝度を変化させる前記パターンを前記投影制御部に通知し、
前記投影制御部は、
前記輝度調整部から通知された前記パターンに基づいて前記輝度を変化させる
ことを特徴とする請求項１～３の何れかに記載の画像処理装置。 The brightness adjusting unit is
Notifying the projection control unit of the pattern that changes the brightness,
The projection control unit
The image processing apparatus according to any one of claims 1 to 3, wherein the brightness is changed based on the pattern notified from the brightness adjusting unit. 車両の周辺の路面に所定のパターンで経時的に輝度が変化する画像を投影する投影制御ステップと、
前記車両の周辺を撮影した撮影画像を取得する取得ステップと、
前記取得ステップで取得した前記撮影画像に対応した撮影データを格納する記憶ステップと、
前記記憶ステップで格納した前記撮影データに対応した撮影画像から、前記パターンで経時的に輝度が変化する領域を特定し、当該特定した領域における輝度値が低くなるように、前記撮影データを調整する輝度調整ステップと、
前記輝度調整ステップにより輝度値が調整された前記撮影データに応じた撮影画像を表示部に出力する表示出力ステップと
を備えることを特徴とする画像処理方法。 A projection control step that projects an image whose brightness changes over time in a predetermined pattern on the road surface around the vehicle.
The acquisition step of acquiring a photographed image of the surroundings of the vehicle, and
A storage step for storing the shooting data corresponding to the shot image acquired in the acquisition step, and
From the captured image corresponding to the captured data stored in the storage step, a region where the brightness changes with time in the pattern is specified, and the captured data is adjusted so that the luminance value in the specified region becomes low . Brightness adjustment step and
An image processing method comprising: a display output step of outputting a photographed image corresponding to the photographed data whose luminance value is adjusted by the luminance adjustment step to a display unit. 車両の周辺の路面に所定のパターンで経時的に輝度が変化する画像を投影する投影制御ステップと、
前記車両の周辺を撮影した撮影画像を取得する取得ステップと、
前記取得ステップで取得した前記撮影画像に対応した撮影データを格納する記憶ステップと、
前記記憶ステップで格納した前記撮影データに対応した撮影画像から、前記パターンで経時的に輝度が変化する領域を特定し、当該特定した領域における輝度値が低くなるように、前記撮影データを調整する輝度調整ステップと、
前記輝度調整ステップにより輝度値が調整された前記撮影データに応じた撮影画像を表示部に出力する表示出力ステップと
をコンピュータに実行させることを特徴とする画像処理プログラム。 A projection control step that projects an image whose brightness changes over time in a predetermined pattern on the road surface around the vehicle.
The acquisition step of acquiring a photographed image of the surroundings of the vehicle, and
A storage step for storing the shooting data corresponding to the shot image acquired in the acquisition step, and
From the captured image corresponding to the captured data stored in the storage step, a region where the brightness changes with time in the pattern is specified, and the captured data is adjusted so that the luminance value in the specified region becomes low . Brightness adjustment step and
An image processing program characterized by having a computer execute a display output step of outputting a captured image corresponding to the captured data whose luminance value is adjusted by the luminance adjustment step to a display unit.
JP2021557564A 2021-03-08 2021-03-08 Image processing device, image processing method, and image processing program Active JP7031799B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/008973 WO2022190166A1 (en) 2021-03-08 2021-03-08 Image processing device, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
JP7031799B1 true JP7031799B1 (en) 2022-03-08
JPWO2022190166A1 JPWO2022190166A1 (en) 2022-09-15

Family

ID=81212888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021557564A Active JP7031799B1 (en) 2021-03-08 2021-03-08 Image processing device, image processing method, and image processing program

Country Status (2)

Country Link
JP (1) JP7031799B1 (en)
WO (1) WO2022190166A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023002813A1 (en) * 2021-07-19 2023-01-26 株式会社小糸製作所 Control device for vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120044090A1 (en) * 2010-08-18 2012-02-23 GM Global Technology Operations LLC Motor vehicle with digital projectors
JP2019051793A (en) * 2017-09-14 2019-04-04 株式会社Ｓｕｂａｒｕ Road surface drawing device for vehicle
JP2020121615A (en) * 2019-01-30 2020-08-13 クラリオン株式会社 Vehicular road sign recognition support device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120044090A1 (en) * 2010-08-18 2012-02-23 GM Global Technology Operations LLC Motor vehicle with digital projectors
JP2019051793A (en) * 2017-09-14 2019-04-04 株式会社Ｓｕｂａｒｕ Road surface drawing device for vehicle
JP2020121615A (en) * 2019-01-30 2020-08-13 クラリオン株式会社 Vehicular road sign recognition support device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023002813A1 (en) * 2021-07-19 2023-01-26 株式会社小糸製作所 Control device for vehicle

Also Published As

Publication number Publication date
WO2022190166A1 (en) 2022-09-15
JPWO2022190166A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US8009869B2 (en) Vehicle surrounding monitoring system and vehicle surrounding monitoring method
US11244173B2 (en) Image display apparatus
JP6524922B2 (en) Driving support device, driving support method
WO2015118806A1 (en) Image analysis apparatus and image analysis method
US20190082123A1 (en) Display control apparatus, method, program, and system
CN110798655A (en) Driving image system for eliminating pillar A blind area of mobile carrier and image processing method thereof
JP7031799B1 (en) Image processing device, image processing method, and image processing program
JP6767255B2 (en) Image processing device and image processing method
US20200186755A1 (en) Display control device and display control method
JP6168024B2 (en) Captured image display device, captured image display method, and captured image display program
JPWO2019177036A1 (en) Vehicle video system
JP2006287513A (en) System for presenting status outside vehicle
CN114943948A (en) Blind zone pedestrian detection method, system, vehicle and storage medium
JP2003087780A (en) Rear view display device for vehicle
CN113507559A (en) Intelligent camera shooting method and system applied to vehicle and vehicle
JP2013172378A (en) Image processing device and vehicle
JP6327388B2 (en) Captured image display device, captured image display method, and captured image display program
JP6766433B2 (en) Vehicle display control device, vehicle display system, vehicle display control method and program
RU2694877C2 (en) Image forming and displaying device for vehicle and recording medium
JP2017163345A (en) Vehicle display controller, vehicle display system, vehicle display control method, and program
JP2007253781A (en) In-vehicle display system
JPH06113308A (en) Picture processing method in on-vehicle image pickup device
US20230391192A1 (en) Warning apparatus and warning method
US10897572B2 (en) Imaging and display device for vehicle and recording medium thereof for switching an angle of view of a captured image
JP2006160192A (en) Vehicular drive supporting device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210927

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220207

R151 Written notification of patent or utility model registration

Ref document number: 7031799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151