JP6227874B2 - Image processing apparatus and driving support method - Google Patents

Image processing apparatus and driving support method Download PDF

Info

Publication number
JP6227874B2
JP6227874B2 JP2013013988A JP2013013988A JP6227874B2 JP 6227874 B2 JP6227874 B2 JP 6227874B2 JP 2013013988 A JP2013013988 A JP 2013013988A JP 2013013988 A JP2013013988 A JP 2013013988A JP 6227874 B2 JP6227874 B2 JP 6227874B2
Authority
JP
Japan
Prior art keywords
color
captured image
hue
index
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013013988A
Other languages
Japanese (ja)
Other versions
JP2014146149A (en
Inventor
圭俊 中田
圭俊 中田
貴裕 岡田
貴裕 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2013013988A priority Critical patent/JP6227874B2/en
Publication of JP2014146149A publication Critical patent/JP2014146149A/en
Application granted granted Critical
Publication of JP6227874B2 publication Critical patent/JP6227874B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、車両周辺を撮像して生成される撮像画像上に指標を重畳させる画像処理装置および走行支援方法に関する。   The present invention relates to an image processing apparatus and a driving support method for superimposing an index on a captured image generated by imaging a vehicle periphery.

車両の走行時に、車両に搭載した撮像装置で撮像した車両周辺の撮像画像を車内に設置された表示装置に表示する走行支援装置が知られている。運転者は表示装置に表示される撮像画像を確認することで、車両周辺の障害物を認識しながら走行でき、また、駐車時には駐車区画内へ的確にかつ容易に駐車することができる。   2. Description of the Related Art A driving support device that displays a captured image around a vehicle captured by an imaging device mounted on the vehicle on a display device installed in the vehicle when the vehicle is traveling is known. By checking the captured image displayed on the display device, the driver can travel while recognizing obstacles around the vehicle, and can park in the parking area accurately and easily during parking.

さらに、かかる運転支援装置の一例では、車両周辺の撮像画像だけでなく、運転を支援するための指標が撮像画像に重畳して表示される(特許文献1参照)。撮像画像に重畳される指標は、たとえば、車両の予想進路線である。かかる指標を撮像画像に重畳して表示することで、運転者は、車両と対象物との距離や横幅をより的確かつ容易に把握可能である。   Furthermore, in an example of such a driving support device, not only a captured image around the vehicle but also an index for supporting driving is displayed superimposed on the captured image (see Patent Document 1). The index superimposed on the captured image is, for example, an expected course line of the vehicle. By displaying such an index superimposed on the captured image, the driver can more accurately and easily grasp the distance and width between the vehicle and the object.

特開2010−1020号公報JP 2010-1020 A

表示する指標は、その目的から、背景の撮像画像に対しできるだけ目立つ態様であることが望ましい。そこで、一般的に、指標には運転者が視認し易い色、たとえば、黄色や赤色などが用いられる。   It is desirable that the index to be displayed is an aspect that stands out as much as possible with respect to the background captured image. In general, therefore, a color that is easy for the driver to visually recognize, such as yellow or red, is used as the indicator.

しかしながら、撮像画像が全体的に指標の色に近似することがある。例えば、夜間および屋内空間においてはヘッドライト、テールランプ、ブレーキランプなどの光源によって車両の周囲が照明される場合には、撮像画像全体が光源の色に染まり、指標の色に近似し得る。このような場合には、運転者が指標を視認し難くなる恐れがある。   However, the captured image may generally approximate the index color. For example, in the nighttime and indoor spaces, when the surroundings of the vehicle are illuminated by light sources such as headlights, tail lamps, and brake lamps, the entire captured image can be dyed to the color of the light source and approximate to the color of the index. In such a case, it may be difficult for the driver to visually recognize the index.

したがって、かかる事情に鑑みてなされた本発明の目的は、撮像画像の色が指標の色に近似する場合において、指標の視認性を維持する画像処理装置および走行支援方法を提供することにある。   Accordingly, an object of the present invention made in view of such circumstances is to provide an image processing apparatus and a driving support method that maintain the visibility of an index when the color of a captured image approximates the color of the index.

上述した諸課題を解決すべく、第1の観点による画像処理装置は、
車両の周囲における被写体の撮像により生成される撮像画像を取得する受信部と、
撮像画像上に指標を重畳する合成部と、
撮像画像の色が指標の色に近似する場合に指標の色相は変更せずに撮像画像の色相を指標の色と異なる色に変更する色決定部とを備える
ことを特徴とするものである。
In order to solve the above-described problems, the image processing apparatus according to the first aspect is
A receiving unit for acquiring a captured image generated by imaging a subject around the vehicle;
A combining unit that superimposes an index on the captured image;
And a color determination unit that changes the hue of the captured image to a color different from the color of the index without changing the hue of the index when the color of the captured image approximates the color of the index.

また、当該画像処理装置は、
受信部は、車両の周囲を指標の色に近似する色の照明光で照明する車両の光源を点灯させる点灯信号を受信可能であり、
色決定部は、点灯信号を受信するときに、撮像画像の色相を変更する
ことが好ましい。
In addition, the image processing apparatus
The receiving unit is capable of receiving a lighting signal for turning on a light source of a vehicle that illuminates the surroundings of the vehicle with illumination light of a color that approximates the color of the indicator,
Color determining portion, when receiving the lighting signal, it is preferable to change the color of the captured image.

また、当該画像処理装置は、
撮像画像に基づいて、被写体の色を検出する検出部を備え、
色決定部は、検出した被写体の色が指標の色に近似する場合には撮像画像の色相を前記指標の色と異なる色に変更する
ことが好ましい。
In addition, the image processing apparatus
A detection unit that detects the color of the subject based on the captured image;
The color determination unit preferably changes the hue of the captured image to a color different from the index color when the detected subject color approximates the index color.

また、当該画像処理装置は、
色決定部は、指標の重畳時が夜間である場合および車両が屋内にある場合の少なくとも一方において、撮像画像の色相を指標の色と異なる色に変更する
ことが好ましい。
In addition, the image processing apparatus
Preferably, the color determination unit changes the hue of the captured image to a color different from the color of the index at least one of when the index is superimposed at night and when the vehicle is indoors.

また、当該画像処理装置は、
前記色決定部は、前記撮像画像の色が前記指標の色に近似する場合に撮像画像の色相を前記指標の色と異なる色に下記の式(1)において回転させて変更する
ことが好ましい。

・・・(1)
ただし、
(R, G, B):ブレーキランプで照射された撮影画像の画素出力値
(R ’, G ’, B ’):演算によって色相を回転させた後の画素出力値
b, c, d, f, g, h:各撮像装置に応じた係数
a, e, i:得たい画像の色相の回転に応じた係数
In addition, the image processing apparatus
When the color of the captured image approximates the color of the index, the color determination unit preferably changes the hue of the captured image to a color different from the color of the index by rotating in the following equation (1) .

... (1)
However,
(R, G, B): Pixel output value of the captured image irradiated with the brake lamp
(R ', G', B '): Pixel output value after the hue is rotated by calculation
b, c, d, f, g, h: coefficients according to each imaging device
a, e, i: Coefficient according to the hue rotation of the desired image

また、当該画像処理装置は、
色決定部は、指標の色と、撮像画像の色相とが補色となるように前記撮像画像の色相を変更する
ことが好ましい。
In addition, the image processing apparatus
It is preferable that the color determination unit changes the hue of the captured image so that the color of the index and the hue of the captured image are complementary colors.

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。   As described above, the solution of the present invention has been described as an apparatus. However, the present invention can be realized as a method, a program, and a storage medium storing the program, which are substantially equivalent thereto, and the scope of the present invention. It should be understood that these are also included.

例えば、本発明の第1の観点を方法として実現させた走行支援方法は、
車両の周囲を撮像して、撮像画像を生成する撮像ステップと、
撮像画像の色が前記撮像画像上に重畳する指標の色に近似する場合に前記指標の色相は変更せずに前記撮像画像の色相を変更する変更ステップと、
撮像画像上に、指標を重畳する重畳ステップとを備える
ことを特徴としている。
For example, a driving support method that realizes the first aspect of the present invention as a method includes:
An imaging step of imaging the ambient of the vehicle, generates a captured image,
A changing step hue of the indicator to change color phase of the captured image without changing when the color of the captured image is approximate to the color of the indicator to be superimposed on the captured image,
And a superimposition step of superimposing an index on the captured image.

上記のように構成された本発明に係る画像処理装置および走行支援方法によれば、撮像画像の色が指標の色に近似する場合において、指標の視認性を維持することが可能である。   According to the image processing apparatus and the driving support method according to the present invention configured as described above, it is possible to maintain the visibility of the index when the color of the captured image approximates the color of the index.

本発明の第1の実施形態に係る画像処理装置を含む走行支援装置の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of a driving support device including an image processing device according to a first embodiment of the present invention. 表示部に表示された、走行支援指標を重畳した撮像画像である。It is the picked-up image which superimposed the driving assistance index displayed on the display part. ブレーキランプの消灯および点灯状態における撮像画像である。It is a captured image in a state where the brake lamp is turned off and turned on. 撮像画像の色相を角度で表した色相環の図である。It is a figure of the hue ring which expressed the hue of the captured image by the angle. 第1の実施形態において画像処理装置が実行する走行支援処理を示すフローチャートである。3 is a flowchart illustrating a driving support process executed by the image processing apparatus in the first embodiment. 本発明の第2の実施形態に係る画像処理装置を含む走行支援装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the driving assistance apparatus containing the image processing apparatus which concerns on the 2nd Embodiment of this invention. 第2の実施形態において画像処理装置が実行する走行支援処理を示すフローチャートである。It is a flowchart which shows the driving assistance process which an image processing apparatus performs in 2nd Embodiment.

以下、本発明の実施形態について、図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

まず、第1の実施形態に係る画像処理装置を含む走行支援装置について説明する。図1に示すように、本実施形態に係る走行支援装置10は、撮像部11、ブレーキセンサ12、ランプスイッチ13、ECU(Engine Control Unit)14、表示部15、および画像処理装置16を含んで構成される。   First, a driving support device including an image processing device according to the first embodiment will be described. As shown in FIG. 1, the travel support apparatus 10 according to the present embodiment includes an imaging unit 11, a brake sensor 12, a lamp switch 13, an ECU (Engine Control Unit) 14, a display unit 15, and an image processing device 16. Composed.

撮像部11は車両の後方を撮像可能に設置される。例えば、撮像部11は車両の後部の上方に30°程度の俯角を有して固定され、概ね後方8m程度の領域の被写体を撮像する。撮像部11は光学系および撮像素子を有し、光学系により撮像素子上に結像した被写体像を撮像する。撮像素子はカラーフィルタアレイを有し、カラー画像を撮像可能である。撮像部11は、リアルタイムの動画像の表示のために、例えば1/30秒毎に1フレームの被写体像を撮像する。撮像部11は撮像により撮像画像を画像信号として生成し、画像処理装置16に送信する。   The imaging unit 11 is installed so that the rear side of the vehicle can be imaged. For example, the imaging unit 11 is fixed with a depression angle of about 30 ° above the rear part of the vehicle, and images a subject in a region approximately 8 m rearward. The imaging unit 11 includes an optical system and an imaging element, and captures a subject image formed on the imaging element by the optical system. The imaging element has a color filter array and can capture a color image. The imaging unit 11 captures one frame of a subject image every 1/30 seconds, for example, for displaying a real-time moving image. The imaging unit 11 generates a captured image as an image signal by imaging and transmits it to the image processing device 16.

ブレーキセンサ12は、ブレーキペダルの踏込量を検出する。ブレーキセンサ12は、検出した踏込量をECU14に送信する。   The brake sensor 12 detects the amount of depression of the brake pedal. The brake sensor 12 transmits the detected depression amount to the ECU 14.

ランプスイッチ13は、車両のヘッドランプの点灯および消灯入力を検出する。ランプスイッチ13は、検出した入力をECU14に送信する。   The lamp switch 13 detects input of turning on and off of the headlamp of the vehicle. The lamp switch 13 transmits the detected input to the ECU 14.

ECU14は、車両に設けられる多様なセンサおよびスイッチから検出された情報および入力を取得し、車両の多様な動作を制御する。例えば、ECU14はアクセルセンサが検出するアクセル開度、およびエンジンの多様な部位に設けられる温度センサが検出する温度などに基づいて、燃料のエンジンへの供給量を調整する。また、ECU14は、ブレーキセンサ12の検出する踏込量に基づいてブレーキの制動力を調整するとともに、第1の色、例えば赤色の光を発するブレーキランプを点灯する。また、ECU14は、ランプスイッチ13が検出する点灯入力および消灯入力に基づいて、ヘッドランプを点灯および消灯する。   The ECU 14 acquires information and inputs detected from various sensors and switches provided in the vehicle, and controls various operations of the vehicle. For example, the ECU 14 adjusts the amount of fuel supplied to the engine based on the accelerator opening detected by the accelerator sensor and the temperatures detected by temperature sensors provided in various parts of the engine. Further, the ECU 14 adjusts the braking force of the brake based on the depression amount detected by the brake sensor 12, and lights a brake lamp that emits a first color, for example, red light. Further, the ECU 14 turns on and off the headlamp based on the lighting input and the lighting off input detected by the lamp switch 13.

また、ECU14は、ブレーキセンサ12の検出した踏込量に基づいて制動状態であることを示す制動情報、およびランプスイッチ13の検出した点灯入力に基づいてヘッドランプが点灯状態であることを示す点灯情報を画像処理装置16に通知する。   The ECU 14 also indicates braking information indicating that the vehicle is in a braking state based on the amount of depression detected by the brake sensor 12 and lighting information indicating that the headlamp is in an on state based on a lighting input detected by the lamp switch 13. To the image processing device 16.

表示部15は、例えばLCDであり、運転席近傍に設置される。表示部15は、リアルタイムの動画像を表示可能である。表示部15は、リアルタイムの動画像を表示するために、例えば1/30秒毎に1フレームの画像信号を画像処理装置16から取得し、1/30秒毎に表示する画像を切替えることにより、動画像を表示する。   The display unit 15 is an LCD, for example, and is installed near the driver's seat. The display unit 15 can display a real-time moving image. In order to display a real-time moving image, for example, the display unit 15 acquires an image signal of one frame every 1/30 seconds from the image processing device 16 and switches the image to be displayed every 1/30 seconds. Display moving images.

画像処理装置16は、撮像部11が生成した画像信号に所定の画像処理を施し、表示部15に送信する。前述のように、撮像部11は1/30秒毎に1フレームの画像信号を生成し、画像処理装置16は1/30秒毎に1フレームの画像信号を取得する。画像処理装置16は、取得して画像処理を施した画像信号を、1/30秒毎に表示部15に送信する。   The image processing device 16 performs predetermined image processing on the image signal generated by the imaging unit 11 and transmits the image signal to the display unit 15. As described above, the imaging unit 11 generates one frame of image signal every 1/30 seconds, and the image processing device 16 acquires one frame of image signal every 1/30 seconds. The image processing device 16 transmits an image signal obtained and subjected to image processing to the display unit 15 every 1/30 seconds.

画像処理装置16は、後進時の走行支援機能を有しており、リアルタイムの動画像上に後進走行を支援する走行支援指標を表示させる画像処理を施すことが可能である。以下に走行支援指標の表示について、画像処理装置16の構成とともに説明する。画像処理装置16は、I/F17、通常処理部18、記憶部19、検出部20、色決定部21、および合成部22を含んで構成される。   The image processing device 16 has a travel support function for backward travel, and can perform image processing for displaying a travel support index for assisting backward travel on a real-time moving image. The display of the driving support index will be described below together with the configuration of the image processing device 16. The image processing device 16 includes an I / F 17, a normal processing unit 18, a storage unit 19, a detection unit 20, a color determination unit 21, and a synthesis unit 22.

I/F17は、撮像部11、ECU14、および表示部15と接続され、これらの機器と情報および信号の通信が可能である。例えば、I/F17は、撮像部11から画像信号を、ECU14から制動情報および点灯情報を取得する。また、I/F17は画像処理装置16において画像処理を施した画像信号を表示部15に送信する。また、I/F17は、通常処理部18、記憶部19、検出部20、色決定部21、および合成部22に接続され、これらの部位との間で情報および信号を通信する。   The I / F 17 is connected to the imaging unit 11, the ECU 14, and the display unit 15, and can communicate information and signals with these devices. For example, the I / F 17 acquires an image signal from the imaging unit 11 and braking information and lighting information from the ECU 14. The I / F 17 transmits an image signal subjected to image processing in the image processing device 16 to the display unit 15. The I / F 17 is connected to the normal processing unit 18, the storage unit 19, the detection unit 20, the color determination unit 21, and the synthesis unit 22, and communicates information and signals with these parts.

通常処理部18は、撮像部11から取得した撮像画像に、AGC、ホワイトバランス、色補間、ガンマ補正などの通常画像処理を施す。   The normal processing unit 18 performs normal image processing such as AGC, white balance, color interpolation, and gamma correction on the captured image acquired from the imaging unit 11.

記憶部19は、画像処理装置16が実行する様々な制御に必要なデータを記憶する。例えば、記憶部19は、走行支援指標の輪郭および位置を記憶する。   The storage unit 19 stores data necessary for various controls executed by the image processing device 16. For example, the storage unit 19 stores the contour and position of the driving support index.

検出部20は、撮像部11から取得した画像信号に基づいて、撮像画像上において走行支援指標が重畳される近辺の色を検出する。検出部20は、点灯情報を取得するとき、すなわちヘッドランプが点灯状態であるときに撮像画像の色を検出する。   Based on the image signal acquired from the imaging unit 11, the detection unit 20 detects a color in the vicinity where the driving support index is superimposed on the captured image. The detection unit 20 detects the color of the captured image when acquiring lighting information, that is, when the headlamp is in a lighting state.

色決定部21は、点灯情報、制動情報、および走行支援指標を重畳させる近辺の撮像画像の被写体の色と走行支援指標に用いる色との比較に基づいて、撮影画像の色相を変更するか否かおよび変更する場合はその色相を決定する。色決定部21は、撮影画像の変更する色相の決定のために、点灯情報に基づいてヘッドランプが点灯状態であるか否かを判別する。   Whether or not the color determination unit 21 changes the hue of the captured image based on the comparison between the color of the subject in the captured image in the vicinity where the lighting information, the braking information, and the driving support index are superimposed and the color used for the driving support index. If it is to be changed, the hue is determined. The color determination unit 21 determines whether or not the headlamp is in a lighting state based on the lighting information in order to determine the hue to be changed in the captured image.

色決定部21は、消灯状態である場合には、撮影画像の色相は変更しない。色決定部21は、点灯状態である場合には、撮像画像上において走行支援指標が重畳される近辺の色が走行支援指標の色、例えば赤色に近似するか否かをさらに判別する。   The color determination unit 21 does not change the hue of the captured image when the light is off. When the color determination unit 21 is in the lighting state, the color determination unit 21 further determines whether or not the color in the vicinity where the travel support index is superimposed on the captured image approximates the color of the travel support index, for example, red.

本実施形態においては、色相環において赤色から両側にa°の範囲の色が、赤色に近似する色に定められる。色決定部21は、近辺の色が赤色に近似しない場合には、撮影画像の色相は変更しない。色決定部21は、近辺の色が赤色に近似する場合には、撮影画像の色相を所定角度回転させた色相に変更する。   In the present embodiment, the color in the range of a ° from red to both sides in the hue circle is determined as a color that approximates red. The color determination unit 21 does not change the hue of the captured image when the color in the vicinity does not approximate red. When the color in the vicinity approximates red, the color determination unit 21 changes the hue of the captured image to a hue that is rotated by a predetermined angle.

合成部22は、通常画像処理を施した撮像画像に、走行支援指標を重畳する。合成部22は、走行支援指標の重畳のために、記憶部19から走行支援指標の位置および輪郭を読出し、撮像画像上において記憶部19から読出した位置に走行支援指標を重畳する。   The synthesizing unit 22 superimposes the driving support index on the captured image subjected to the normal image processing. The combining unit 22 reads the position and contour of the driving support index from the storage unit 19 for superimposing the driving support index, and superimposes the driving support index on the captured image at the position read from the storage unit 19.

走行支援機能を実行させると、図2に示すように、走行支援指標23が重畳された撮像画像24が合成され、表示部15に表示される。走行支援指標23は、車幅延長線25および距離目安線26によって形成される。車幅延長線25は、後進時の車両の両端の通過する軌跡である。距離目安線26は、現在の車両から所定の距離、例えば1mおよび3mの距離を示す。運転者は走行支援指標23によって車両の後進時の進行方向を認識可能となる。   When the driving support function is executed, as shown in FIG. 2, the captured image 24 on which the driving support index 23 is superimposed is synthesized and displayed on the display unit 15. The driving support index 23 is formed by a vehicle width extension line 25 and a distance guide line 26. The vehicle width extension line 25 is a trajectory that passes through both ends of the vehicle during reverse travel. The distance guide line 26 indicates a predetermined distance from the current vehicle, for example, a distance of 1 m and 3 m. The driver can recognize the traveling direction when the vehicle is moving backward by the driving support index 23.

例えば、夜間または屋内において走行支援機能を実行させ、図3(a)に示すように撮影画像241を観測している状態でブレーキを踏むと、ブレーキランプが点灯し図3(b)に示す撮影画像242のようにブレーキランプで照射された部分27がブレーキランプの色に染まってしまう。すなわち撮影画像24の色相が変化してしまうことになる。走行支援指標23の色とブレーキランプの色が近似する場合、図3(b)のように照射された部分27の色と走行支援指標23の色とが識別しづらくなってしまうおそれがある。   For example, when the driving support function is executed at night or indoors and the brake is stepped on while observing the photographed image 241 as shown in FIG. 3A, the brake lamp is turned on and the photograph shown in FIG. The portion 27 irradiated with the brake lamp as in the image 242 is stained with the color of the brake lamp. That is, the hue of the captured image 24 changes. When the color of the driving support index 23 and the color of the brake lamp are approximate, the color of the irradiated portion 27 and the color of the driving support index 23 may be difficult to distinguish as shown in FIG.

このブレーキランプの照射による色相の変化を色相環で表したものを図4に示す。色相環上で図3(a)に示すブレーキを踏む前の撮影画像241の色相をプロットすると点31で示した位置になる。これに対して図3(b)に示すブレーキランプで照射された撮影画像242の色相をプロットすると点32で示した位置になる。図3(a)の撮影画像241における色成分別の平均画素値は、R=168、G=136、B=108であり、これより色相角を求めると28°となる。同様に図3(b)の撮影画像242における色成分別の平均画素値は、R=165、G=69、B=68であり、これより色相角を求めると0.62°となる。ブレーキランプの照射による色相の変化を排除して、走行支援指標23の視認性の低下を防ぐためには、色相を27.38°回転させてブレーキを踏む前の色相に戻す必要がある。   FIG. 4 shows a change in hue caused by the irradiation of the brake lamp in a hue circle. When the hue of the photographed image 241 before the brake shown in FIG. 3A on the hue ring is plotted, the position indicated by a point 31 is obtained. On the other hand, when the hue of the captured image 242 irradiated with the brake lamp shown in FIG. The average pixel value for each color component in the photographed image 241 in FIG. 3A is R = 168, G = 136, and B = 108, and the hue angle obtained from this is 28 °. Similarly, the average pixel value for each color component in the captured image 242 of FIG. 3B is R = 165, G = 69, and B = 68, and the hue angle obtained from this is 0.62 °. In order to eliminate the change in the hue due to the irradiation of the brake lamp and prevent the visibility of the driving support index 23 from being lowered, it is necessary to rotate the hue by 27.38 ° to return to the hue before the brake is stepped on.

次に色相を回転させる方法について説明する。ブレーキランプで照射された撮影画像242の画像出力値を(R, G, B)とし、演算によって色相を回転させた後の画素出力値を(R‘,G’,B‘)としたときに、位相を回転させる演算は下記式によって表わすことができる。
Next, a method for rotating the hue will be described. When the image output value of the captured image 242 irradiated with the brake lamp is (R, G, B) and the pixel output value after the hue is rotated by calculation is (R ', G', B ') The operation for rotating the phase can be expressed by the following equation.

b,c,d,f,g,hは各撮像装置に応じた係数となるが、ここでは理想的な色再現が行なわれる装置であると仮定して、これらの係数は0とする。a,e,iの各係数は色相の回転によって得たい画像の色相をブレーキを踏む前の撮影画像241として、それぞれの画素出力値を(1)に代入して求める。
Although b, c, d, f, g, and h are coefficients corresponding to each imaging apparatus, these coefficients are set to 0 on the assumption that the apparatus performs ideal color reproduction. The coefficients a, e, and i are obtained by substituting each pixel output value into (1) with the hue of the image desired to be obtained by the rotation of the hue as the captured image 241 before stepping on the brake.

これにより、a=168/165、e=136/69、i=108/68となる。 As a result, a = 168/165, e = 136/69, and i = 108/68.

実際の撮像装置の制御としては、R, G, Bそれぞれにゲインをそれぞれ以下のように調整するようにして実現する。
Rgain=20log(168/165)=0.16dB
Ggain=20log(136/69)=5.89dB
Bgain=20log(108/68)=4.02dB
次に、画像処理装置16が実行する走行支援処理について、図のフローチャートを用いて説明する。走行支援処理は、走行支援機能の実行を開始する入力を、画像処理装置16が有する入力部が検出するときに開始する。また、走行支援処理は、走行支援機能の実行を停止する入力を検出するときに、終了する。
The actual control of the image pickup apparatus is realized by adjusting the gains of R, G, and B as follows.
Rgain = 20 log (168/165) = 0.16 dB
Ggain = 20 log (136/69) = 5.89 dB
Bgain = 20 log (108/68) = 4.02 dB
Next, driving support processing by the image processing apparatus 16 executes will be described with reference to the flowchart of FIG. The driving support process starts when the input unit included in the image processing device 16 detects an input for starting execution of the driving support function. The driving support process ends when an input for stopping execution of the driving support function is detected.

ステップS100において、画像処理装置16は撮像部11から画像信号を受信する。画像信号を受信すると、プロセスはステップS101に進む。   In step S <b> 100, the image processing device 16 receives an image signal from the imaging unit 11. When the image signal is received, the process proceeds to step S101.

ステップS101では、画像処理装置16は点灯情報を取得しているか否かを判別する。点灯情報を取得している場合には、ヘッドランプが点灯状態であると判別して、プロセスはステップS102に進む。点灯情報を取得していない場合には、ヘッドランプが消灯状態であると判別して、プロセスはステップS106に進む。   In step S101, the image processing apparatus 16 determines whether lighting information has been acquired. If the lighting information is acquired, it is determined that the headlamp is in a lighting state, and the process proceeds to step S102. If the lighting information is not acquired, it is determined that the headlamp is turned off, and the process proceeds to step S106.

ステップS102では、画像処理装置16は制動情報を取得しているか否かを判別する。制動情報を取得していない場合には、ブレーキランプが消灯状態であると判別して、プロセスはステップS106に進む。   In step S102, the image processing device 16 determines whether braking information has been acquired. If the braking information has not been acquired, it is determined that the brake lamp is off, and the process proceeds to step S106.

ステップS103では、画像処理装置16は、撮像画像24の色相を変更する。色相の変更後、プロセスはステップS104に進む。   In step S <b> 103, the image processing device 16 changes the hue of the captured image 24. After the hue change, the process proceeds to step S104.

ステップS104では、画像処理装置16は、色相を変更した撮像画像24上における走行支援指標23が重畳される近辺の色が赤色に近似するか否かを判別する。近辺の色が近似しない場合には、プロセスはステップS106に進む。近辺の色が近似する場合には、プロセスはステップS10に進む。 In step S104, the image processing device 16 determines whether or not the color in the vicinity where the driving support index 23 is superimposed on the captured image 24 whose hue has been changed approximates to red. If the near color does not approximate, the process proceeds to step S106. If the color of the neighborhood is approximated, the process proceeds to step S10 5.

ステップS105では、画像処理装置16は、走行支援指標23の色を青緑色に変更する。色の変更後、プロセスはステップS107に進む。   In step S105, the image processing device 16 changes the color of the driving support index 23 to blue-green. After the color change, the process proceeds to step S107.

ステップS106では、画像処理装置16は、走行支援指標23を、撮像画像24上に重畳する。撮像画像への走行支援指標23の重畳後、プロセスはステップS108に進む。   In step S <b> 106, the image processing device 16 superimposes the driving support index 23 on the captured image 24. After the driving support index 23 is superimposed on the captured image, the process proceeds to step S108.

ステップS107では、画像処理装置16は、走行支援指標23を重畳した撮像画像24を表示部15に送信する。撮像画像24の送信後、プロセスはステップS100に戻る。   In step S <b> 107, the image processing device 16 transmits the captured image 24 on which the driving support index 23 is superimposed to the display unit 15. After transmitting the captured image 24, the process returns to step S100.

以上のような構成の第1の実施形態の画像処理装置16によれば、撮像画像24の色相を、制動情報を取得するときに変更する。前述のように、走行支援指標23は、通常時に視認の容易な赤色で表示される。しかし、ブレーキランプが点灯し、車両の後方の被写体に赤色光が照射されると撮像画像24全体が赤みがかり、赤色の走行支援指標23の視認は困難となり得る。そこで、本実施形態では、ブレーキランプの点灯時に撮像画像24の色が赤色に近似すると考え、そのような場合に、撮像画像24の色相が変更される。したがって、撮像画像24が赤色に近似する場合であっても色相が変更されて赤色から遠ざかって、走行支援指標23の視認が容易である。   According to the image processing device 16 of the first embodiment configured as described above, the hue of the captured image 24 is changed when the braking information is acquired. As described above, the driving support index 23 is displayed in red, which is easy to visually recognize during normal times. However, when the brake lamp is turned on and the subject behind the vehicle is irradiated with red light, the entire captured image 24 becomes reddish, and it is difficult to visually recognize the red driving support index 23. Therefore, in the present embodiment, it is considered that the color of the captured image 24 approximates red when the brake lamp is turned on, and in such a case, the hue of the captured image 24 is changed. Therefore, even when the captured image 24 approximates red, the hue is changed and the distance from the red is changed, and the driving support index 23 is easily visually recognized.

また、第1の実施形態の画像処理装置16によれば、ヘッドランプの点灯時にのみ、撮像画像24の色相を変更する。ヘッドランプの消灯時は、外光が十分に明るい日中の屋外であると考えられる。それゆえ、このような状況においてはブレーキランプが点灯していたとしても、車両の周囲の被写体の色が赤色に近似することはなく、運転者は赤色の走行支援指標23を視認可能であると考えられる。一方、ヘッドランプの点灯時は夜間および屋内である場合と考えられ、このような状況においては、車両の周囲の被写体に照射される光のなかでブレーキランプの赤色光割合が大きくなる。それゆえ、夜間または屋内であると考えられる状況においてのみ撮像画像24の色相が変わるので、不必要な色相の変更を防ぐことが可能である。 Further, according to the image processing device 16 of the first embodiment, the hue of the captured image 24 is changed only when the headlamp is turned on. When the headlamps are extinguished, it is considered that the outside light is bright enough during the day. Therefore, in such a situation, even if the brake lamp is lit, the color of the subject around the vehicle does not approximate red, and the driver can visually recognize the red driving support index 23. Conceivable. On the other hand, it is considered that the headlamp is turned on at night and indoors. In such a situation, the ratio of red light of the brake lamp increases in the light irradiated to the subject around the vehicle. Therefore, since the hue of the captured image 24 changes only in a situation that is considered to be at night or indoors, it is possible to prevent unnecessary changes in the hue.

また、第1の実施形態の画像処理装置16によれば、ブレーキランプにより走行支援指標23の色に近似する色によって照明される状況で撮像画像24の色相を変更しても走行支援指標23の色に近似する場合に、走行支援指標23の色を変更する。走行支援指標23近辺の被写体がブレーキランプで照射された撮像画像24の色相を変更しても走行支援指標23の色に近似する場合には、走行支援指標23の視認は困難となり得る。そこで、このような場合に、走行支援指標23の色が変更されるので、運転者は容易に走行支援指標23を視認可能である。   Further, according to the image processing apparatus 16 of the first embodiment, even if the hue of the captured image 24 is changed in a situation where the brake lamp is illuminated with a color that approximates the color of the driving support index 23, the driving support index 23 When approximating the color, the color of the driving support index 23 is changed. Even if the subject in the vicinity of the driving support index 23 changes the hue of the captured image 24 irradiated with the brake lamp, the driving support index 23 may be difficult to visually recognize if it approximates the color of the driving support index 23. In such a case, since the color of the driving support index 23 is changed, the driver can easily see the driving support index 23.

また、第1の実施形態の画像処理装置16によれば、点灯情報に基づいて撮影画像の色相を変更する。したがって、煩雑な処理を行うことなく色を変更するので、変更までに係る時間を短縮することが可能である。   Moreover, according to the image processing apparatus 16 of 1st Embodiment, the hue of a picked-up image is changed based on lighting information. Therefore, since the color is changed without performing complicated processing, it is possible to shorten the time required for the change.

また、第1の実施形態の画像処理装置16によれば、色相を変更した撮像画像24における被写体が走行支援指標23の色(赤色)に近似する場合の走行支援指標23の色を、赤色の補色である青緑色に変更する。したがって、色相を変更しても走行支援指標23に近似する色により色みがかった撮像画像24の中で走行支援指標23の視認性を向上させることが可能である。   Further, according to the image processing device 16 of the first embodiment, the color of the driving support index 23 when the subject in the captured image 24 whose hue is changed approximates the color (red) of the driving support index 23 is red. Change to the complementary blue-green color. Therefore, even if the hue is changed, it is possible to improve the visibility of the driving support index 23 in the captured image 24 that is colored with a color that approximates the driving support index 23.

次に、本発明の第2の実施形態を説明する。第2の実施形態では走行支援指標の色を変更させるトリガが第1の実施形態と異なっている。以下に、第1の実施形態と異なる点を中心に第2の実施形態について説明する。なお、第1の実施形態と同じ機能および構成を有する部位には同じ符号を付す。   Next, a second embodiment of the present invention will be described. In the second embodiment, the trigger for changing the color of the driving support index is different from that in the first embodiment. The second embodiment will be described below with a focus on differences from the first embodiment. In addition, the same code | symbol is attached | subjected to the site | part which has the same function and structure as 1st Embodiment.

図6に示すように、第2の実施形態における走行支援装置100は、撮像部11、表示部15、および画像処理装置160を含んで構成される。第1の実施形態と異なり、走行支援装置100は、ブレーキセンサ、ランプスイッチ、およびECUを含まない。撮像部11および表示部15の構成および機能は第1の実施形態と同様である。   As illustrated in FIG. 6, the travel support apparatus 100 according to the second embodiment includes an imaging unit 11, a display unit 15, and an image processing device 160. Unlike the first embodiment, the driving support device 100 does not include a brake sensor, a lamp switch, and an ECU. The configurations and functions of the imaging unit 11 and the display unit 15 are the same as those in the first embodiment.

第1の実施形態と同様に、画像処理装置160は、撮像部11が生成した画像信号に所定の画像処理を施し、表示部15に送信する。また、第1の実施形態と同様に、画像処理装置160は、走行支援機能を有しており、リアルタイムの動画像上に走行を支援する走行支援指標を表示させる画像処理を施すことが可能である。   Similar to the first embodiment, the image processing device 160 performs predetermined image processing on the image signal generated by the imaging unit 11 and transmits the image signal to the display unit 15. Similarly to the first embodiment, the image processing apparatus 160 has a driving support function, and can perform image processing for displaying a driving support index for supporting driving on a real-time moving image. is there.

画像処理装置160は、I/F170、通常処理部18、記憶部190、検出部200、色決定部210、および合成部22を含んで構成される。通常処理部18および合成部22の構成および機能は第1の実施形態と同じである。   The image processing device 160 includes an I / F 170, a normal processing unit 18, a storage unit 190, a detection unit 200, a color determination unit 210, and a synthesis unit 22. The configurations and functions of the normal processing unit 18 and the combining unit 22 are the same as those in the first embodiment.

I/F170は、撮像部11および表示部15と接続され、これらの機器と情報および信号の通信が可能である。第1の実施形態と異なり、I/F170はECUに接続されない。第1の実施形態と同様に、I/F170は、通常処理部18、記憶部190、検出部200、色決定部210、および合成部22に接続され、これらの部位との間で情報および信号を通信する。   The I / F 170 is connected to the imaging unit 11 and the display unit 15 and can communicate information and signals with these devices. Unlike the first embodiment, the I / F 170 is not connected to the ECU. Similar to the first embodiment, the I / F 170 is connected to the normal processing unit 18, the storage unit 190, the detection unit 200, the color determination unit 210, and the synthesis unit 22. Communicate.

記憶部190は、第1の実施形態と同様に、走行支援指標23の輪郭および位置を記憶する。   The storage unit 190 stores the contour and position of the driving support index 23 as in the first embodiment.

検出部200は、撮像部11から取得した画像信号に基づいて、撮像画像24を構成する各画素の色を検出する。検出部200は各画素の色相に基づいて、撮像画像24全体が特定の色に色付けられているか否かを判別する。検出部200は、撮像画像24全体の色が特定の色に色みがかっているときに、撮像画像24の色を検出する。   The detection unit 200 detects the color of each pixel constituting the captured image 24 based on the image signal acquired from the imaging unit 11. Based on the hue of each pixel, the detection unit 200 determines whether or not the entire captured image 24 is colored in a specific color. The detection unit 200 detects the color of the captured image 24 when the color of the entire captured image 24 is tinted with a specific color.

撮像画像24全体の色が特定の色に色みがかっているか否かは、以下に説明する方法で判別される。検出部200は各画素の色を検出すると、次に、検出した色相を、定められた複数の色の中で最も色相の近いいずれかの色に分類する。定められた複数の色は色相環を等分した色である。検出部200は、分類した色の中で度数の最も多い色を中心としたヒストグラムを作成する。度数の最も多い色を中心とした所定の範囲の色に分類された標本数を検出し、全標本数に対する割合を算出する。検出部200は、算出した割合が閾値を超える場合に、撮像画像24全体の色が特定の色に色みがかっていると判別し、度数の最も多い色を、撮像画像24の色として検出する。   Whether or not the color of the entire captured image 24 is a specific color is determined by the method described below. When the detection unit 200 detects the color of each pixel, the detection unit 200 then classifies the detected hue into one of the closest colors among a plurality of determined colors. The plurality of determined colors are colors obtained by equally dividing the hue circle. The detection unit 200 creates a histogram centered on the color with the highest frequency among the classified colors. The number of samples classified into a predetermined range of colors centering on the color having the highest frequency is detected, and the ratio to the total number of samples is calculated. When the calculated ratio exceeds the threshold, the detection unit 200 determines that the color of the entire captured image 24 is tinted with a specific color, and detects the color with the highest frequency as the color of the captured image 24. .

色決定部210は、検出部200が撮像画像の特定の色を検出するか否か、および検出部200が検出した撮像画像24の特定の色に基づいて、走行支援指標23に用いる色を決定する。色決定部210は、走行支援指標23に用いる色の決定のために、検出部200が撮像画像24の特定の色を検出しているか否かを判別する。   The color determination unit 210 determines a color to be used for the driving support index 23 based on whether the detection unit 200 detects a specific color of the captured image and the specific color of the captured image 24 detected by the detection unit 200. To do. The color determination unit 210 determines whether the detection unit 200 has detected a specific color of the captured image 24 in order to determine the color used for the driving support index 23.

色決定部210は、検出部200が撮像画像24の特定の色を検出していない場合には、撮像画像24の色相の変更は行なわない。色決定部210は、検出部200が撮像画像24の特定の色を検出している場合には、撮像画像24の特定の色と走行支援指標23の色との比較に基づいて、撮影画像の色相を変更するか否かおよび変更する場合はその色相を決定する。   The color determination unit 210 does not change the hue of the captured image 24 when the detection unit 200 has not detected a specific color of the captured image 24. When the detection unit 200 detects a specific color of the captured image 24, the color determination unit 210 determines whether the captured image is based on the comparison between the specific color of the captured image 24 and the color of the driving support index 23. Whether or not to change the hue is determined.

次に、画像処理装置160が実行する走行支援処理について、図7のフローチャートを用いて説明する。走行支援処理は、走行支援機能の実行を開始する入力を、画像処理装置160が有する入力部が検出するときに開始する。また、走行支援処理は、走行支援機能の実行を停止する入力を検出するときに、終了する。 Next, the driving support process executed by the image processing apparatus 160 will be described with reference to the flowchart of FIG . The driving support process starts when the input unit included in the image processing device 160 detects an input for starting execution of the driving support function. The driving support process ends when an input for stopping execution of the driving support function is detected.

ステップS200において、画像処理装置160は撮像部11から画像信号を受信する。画像信号を受信すると、プロセスはステップS201に進む。   In step S <b> 200, the image processing device 160 receives an image signal from the imaging unit 11. When the image signal is received, the process proceeds to step S201.

ステップS201では、画像処理装置160は、ステップS200において受信した画像信号に対応する撮像画像24を構成する各画素の色を検出する。画素の色を検出すると、プロセスはステップS202に進む。   In step S201, the image processing device 160 detects the color of each pixel constituting the captured image 24 corresponding to the image signal received in step S200. If the pixel color is detected, the process proceeds to step S202.

ステップS202では、画像処理装置160は、ステップS201において検出した画素の色を予め定めた色相環上の何れかの色に分類する。撮像画像の全画素の色の分類を終えると、プロセスはステップS203に進む。   In step S202, the image processing apparatus 160 classifies the color of the pixel detected in step S201 into any color on a predetermined hue circle. When the color classification of all the pixels of the captured image is finished, the process proceeds to step S203.

ステップS203では、画像処理装置160は、分類された各色の中で頻度、すなわち標本である画素数の最も多かった色を確定する。最多頻度の色を確定すると、プロセスはステップS204に進む。   In step S <b> 203, the image processing apparatus 160 determines the color with the highest frequency among the classified colors, that is, the number of pixels as a sample. When the most frequent color is determined, the process proceeds to step S204.

ステップS204では、画像処理装置160は、ステップS203で確定した色を中心とした色毎のヒストグラムを作成する。ヒストグラムを作成すると、プロセスはステップS205に進む。   In step S204, the image processing apparatus 160 creates a histogram for each color centered on the color determined in step S203. Once the histogram is created, the process proceeds to step S205.

ステップS205では、画像処理装置160は、最多頻度の色から所定の範囲の色に分類された標本数を計測し、全標本数、すなわち全画素数に対する計測された標本数の割合を算出する。割合を算出すると、プロセスはステップS206に進む。   In step S205, the image processing apparatus 160 measures the number of samples classified from the most frequently used color to a predetermined range of colors, and calculates the total number of samples, that is, the ratio of the measured number of samples to the total number of pixels. After calculating the ratio, the process proceeds to step S206.

ステップS206では、画像処理装置160は、ステップS206で算出した割合を閾値と比較する。割合が閾値を超える場合には、プロセスはステップS207に進む。割合が閾値以下である場合には、プロセスはステップS208に進む。 In step S206, the image processing apparatus 160 compares the ratio calculated in step S206 with a threshold value. If the percentage exceeds the threshold, the process proceeds to step S207. When the ratio is below the threshold, the process proceeds to step S20 8.

ステップS207では、画像処理装置160は、ステップS203で確定した色を撮像画像24の特定の色に確定し、確定した色と走行支援指標23の色との比較に基づいて、撮影画像24の色相を変更するか否かおよび変更する場合はその色相を変更する。色相の変更後、プロセスはステップS20に進む。 In step S207, the image processing apparatus 160 determines the color determined in step S203 as the specific color of the captured image 24, and based on the comparison between the determined color and the color of the driving support index 23, the hue of the captured image 24 is determined. Whether or not to change the color, and if so, change its hue. After changing the hue, the process proceeds to step S20 8.

ステップS20では、画像処理装置160は、走行支援指標23を、撮像画像24上に重畳する。撮像画像24への走行支援指標23の重畳後、プロセスはステップS209に進む。 In step S20 8, the image processing apparatus 160, the driving support indicators 23, superimposed on the captured image 24. After superposition of the driving support indicator 23 to the captured image 24, the process proceeds to step S2 09.

ステップS209では、画像処理装置160は、走行支援指標23を重畳した撮像画像24を表示部15に送信する。撮像画像の送信後、プロセスはステップS200に戻る。 In step S <b > 2 09 , the image processing device 160 transmits the captured image 24 on which the driving support index 23 is superimposed to the display unit 15. After sending the captured image, the process returns to step S200.

以上のような構成の第2の実施形態の画像処理装置160によっても、走行支援指標23の色を、撮像画像24全体が特定の色に色みがかって走行支援指標23の色と近似しているときに撮影画像24の色相を変更する。したがって、撮像画像24が走行支援指標23の色(赤色)に近似する場合であっても、走行支援指標23の視認が容易である。   Also by the image processing apparatus 160 of the second embodiment configured as described above, the color of the driving support index 23 is approximated to the color of the driving support index 23 by coloring the entire captured image 24 to a specific color. The hue of the captured image 24 is changed while Therefore, even when the captured image 24 approximates the color (red) of the driving support index 23, the driving support index 23 can be easily viewed.

また、第2の実施形態の画像処理装置160によれば、色相を変更した撮像画像24全体が走行支援指標23の色に色みがかっているときに、当該色相を変更した撮像画像24の色に対する補色に、走行支援指標23が色付けられる。したがって、走行支援指標23の視認性を向上可能である。   Further, according to the image processing apparatus 160 of the second embodiment, when the entire captured image 24 whose hue has been changed is tinted in the color of the driving support index 23, the color of the captured image 24 whose hue has been changed. The driving support index 23 is colored in a complementary color to. Therefore, the visibility of the driving support index 23 can be improved.

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。   Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various changes and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention.

例えば、第1の実施形態および第2の実施形態それぞれにおいて、走行支援指標23の色を、撮像画像24の色の補色に変更する構成であるが、色相、明度、および彩度の少なくとも一つが異なる色に変更する構成であってもよい。   For example, in each of the first embodiment and the second embodiment, the color of the driving support index 23 is changed to a complementary color of the color of the captured image 24. However, at least one of hue, lightness, and saturation is present. The configuration may be changed to a different color.

また、第1の実施形態では、点灯情報に基づいてヘッドランプの点灯状態、すなわち夜間または屋内であると想定して、走行支援指標23の色を変更する構成であるが、このような方式に限定されない。例えば、撮像画像全体の輝度の平均値に基づいて、夜間または屋内であると想定して、撮影画像24の色相を変更する構成であってもよい。   In the first embodiment, the color of the driving support indicator 23 is changed based on the lighting information, assuming that the headlamp is lit, that is, at night or indoors. It is not limited. For example, the configuration may be such that the hue of the captured image 24 is changed based on the average value of the luminance of the entire captured image, assuming that it is at night or indoors.

10、100 走行支援装置
11 撮像部
12 ブレーキセンサ
13 ランプスイッチ
14 ECU(Engine Control Unit)
15 表示部
16、160 画像処理装置
17、170 I/F
18 通常処理部
19、190 記憶部
20、200 検出部
21、210 色決定部
22 合成部
23 走行支援指標
24、241、24 撮像画像
25 車幅延長線
26 距離目安線
27 ブレーキランプで照射された部分
30 色相環
DESCRIPTION OF SYMBOLS 10,100 Travel support apparatus 11 Imaging part 12 Brake sensor 13 Lamp switch 14 ECU (Engine Control Unit)
15 Display Unit 16, 160 Image Processing Device 17, 170 I / F
18 Normal processing unit 19, 190 Storage unit 20, 200 Detection unit 21, 210 Color determination unit 22 Composition unit 23 Driving support index 24, 241, 24 2 Captured image 25 Vehicle width extension line 26 Distance guide line 27 Irradiated by brake lamp Part 30 hue ring

Claims (7)

車両の周囲における被写体の撮像により生成される撮像画像を取得する受信部と、
前記撮像画像上に指標を重畳する合成部と、
前記撮像画像の色が前記指標の色に近似する場合に前記指標の色相は変更せずに前記撮像画像の色相を前記指標の色と異なる色に変更する色決定部とを備える
ことを特徴とする画像処理装置。
A receiving unit for acquiring a captured image generated by imaging a subject around the vehicle;
A combining unit that superimposes an index on the captured image;
A color determining unit that changes the hue of the captured image to a color different from the color of the index without changing the hue of the index when the color of the captured image approximates the color of the index. An image processing apparatus.
請求項1に記載の画像処理装置であって、
前記受信部は、前記車両の周囲を前記指標の色に近似する色の照明光で照明する前記車両の光源を点灯させる点灯信号を受信可能であり、
前記色決定部は、前記点灯信号を受信するときに、前記撮像画像の色相を変更する
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 1,
The receiving unit is capable of receiving a lighting signal for lighting a light source of the vehicle that illuminates the periphery of the vehicle with illumination light having a color that approximates the color of the indicator,
The color determination unit changes the hue of the captured image when receiving the lighting signal.
請求項1または2に記載の画像処理装置であって、
前記撮像画像に基づいて、前記被写体の色を検出する検出部を備え、
前記色決定部は、検出した前記被写体の色が前記指標の色に近似する場合には前記撮像画像の色相を前記指標の色と異なる色に変更する
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 1, wherein:
A detection unit that detects the color of the subject based on the captured image;
The color determination unit changes the hue of the captured image to a color different from the color of the index when the detected color of the subject approximates the color of the index.
請求項1から請求項3のいずれか1項に記載の画像処理装置であって、前記色決定部は、前記指標の重畳時が夜間である場合および前記車両が屋内にある場合の少なくとも一方において、前記撮像画像の色相を前記指標の色と異なる色に変更することを特徴とする画像処理装置。   4. The image processing apparatus according to claim 1, wherein the color determination unit is configured to display at least one of a case where the indicator is superimposed at night and a case where the vehicle is indoors. 5. An image processing apparatus that changes the hue of the captured image to a color different from the color of the index. 請求項1から請求項4のいずれか1項に記載の画像処理装置であって、前記色決定部は、前記撮像画像の色が前記指標の色に近似する場合に撮像画像の色相を前記指標の色と異なる色に下記の式(1)において回転させて変更する
ことを特徴とする画像処理装置。

・・・(1)
ただし、
(R, G, B):ブレーキランプで照射された撮影画像の画素出力値
(R ’, G ’, B ’):演算によって色相を回転させた後の画素出力値
b, c, d, f, g, h:各撮像装置に応じた係数
a, e, i:得たい画像の色相の回転に応じた係数
5. The image processing apparatus according to claim 1, wherein the color determination unit determines a hue of the captured image when the color of the captured image approximates the color of the index. An image processing apparatus characterized in that it is rotated and changed in the following equation (1) to a color different from the above color.

... (1)
However,
(R, G, B): Pixel output value of the captured image irradiated with the brake lamp
(R ', G', B '): Pixel output value after the hue is rotated by calculation
b, c, d, f, g, h: coefficients according to each imaging device
a, e, i: Coefficient according to the hue rotation of the desired image
請求項1から請求項5のいずれか1項に記載の画像処理装置であって、前記色決定部は、前記指標の色と、前記撮像画像の色相とが補色となるように前記撮像画像の色相を変更することを特徴とする画像処理装置。 6. The image processing apparatus according to claim 1, wherein the color determination unit is configured to store the captured image so that a color of the index and a hue of the captured image are complementary colors . An image processing apparatus characterized by changing a hue . 車両の周囲を撮像して、撮像画像を生成する撮像ステップと、
前記撮像画像の色が前記撮像画像上に重畳する指標の色に近似する場合に前記指標の色相は変更せずに前記撮像画像の色相を変更する変更ステップと、
前記撮像画像上に、前記指標を重畳する重畳ステップとを備える
ことを特徴とする走行支援方法。
An imaging step of imaging the surroundings of the vehicle and generating a captured image;
A change step of changing the hue of the captured image without changing the hue of the index when the color of the captured image approximates the color of the index superimposed on the captured image;
A driving support method, comprising: a superimposing step of superimposing the index on the captured image.
JP2013013988A 2013-01-29 2013-01-29 Image processing apparatus and driving support method Active JP6227874B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013013988A JP6227874B2 (en) 2013-01-29 2013-01-29 Image processing apparatus and driving support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013013988A JP6227874B2 (en) 2013-01-29 2013-01-29 Image processing apparatus and driving support method

Publications (2)

Publication Number Publication Date
JP2014146149A JP2014146149A (en) 2014-08-14
JP6227874B2 true JP6227874B2 (en) 2017-11-08

Family

ID=51426371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013013988A Active JP6227874B2 (en) 2013-01-29 2013-01-29 Image processing apparatus and driving support method

Country Status (1)

Country Link
JP (1) JP6227874B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4131327B2 (en) * 2003-09-22 2008-08-13 日産自動車株式会社 VEHICLE DRIVE OPERATION ASSISTANCE DEVICE AND VEHICLE WITH VEHICLE DRIVE OPERATION ASSISTANCE DEVICE
JP4788406B2 (en) * 2006-03-07 2011-10-05 アイシン・エィ・ダブリュ株式会社 Parking support method and parking support device
WO2011013813A1 (en) * 2009-07-30 2011-02-03 クラリオン株式会社 In-vehicle device and image processing program
JP2010076765A (en) * 2009-12-25 2010-04-08 Fujitsu Ten Ltd Travel recorder
JP5643344B2 (en) * 2011-01-27 2014-12-17 京セラ株式会社 Vehicle travel support device
KR101208296B1 (en) * 2011-04-11 2012-12-05 삼성전기주식회사 Apparatus for Processing On-Screen Display and System for Reprogramming Camera Module Having Apparatus for Processing On-Screen Display

Also Published As

Publication number Publication date
JP2014146149A (en) 2014-08-14

Similar Documents

Publication Publication Date Title
CN104512411B (en) Vehicle control system and imaging sensor
EP2637150B1 (en) Vehicle peripheral area observation system
EP2471691B1 (en) Obstacle detection device, obstacle detection system provided therewith, and obstacle detection method
JP4611899B2 (en) Camera lens dirt detection device and image display system
JP2009171122A (en) Optical source color temperature estimation method, white balance adjustment apparatus, and image recognition apparatus
JP4927647B2 (en) Vehicle periphery monitoring device
JP2006350670A (en) Night driving visibility support system
JP2016196233A (en) Road sign recognizing device for vehicle
CN109302568A (en) The indirect image system of vehicle
JP2008098858A (en) Vehicle periphery monitoring device
JP6305430B2 (en) Imaging setting changing device, imaging system, and imaging setting changing method
JP2011254311A (en) Vehicle peripheral image processor
WO2013157250A1 (en) Image processing device and driving assisting method
JP5712821B2 (en) Shooting display control system
JP2013235444A (en) Vehicle view support apparatus
CN112384400A (en) In-vehicle display control device and in-vehicle display control program
JP2007325060A (en) Vehicle surrounding confirming apparatus
JP5073207B2 (en) In-vehicle camera device
JP5716944B2 (en) In-vehicle camera device
JP6227874B2 (en) Image processing apparatus and driving support method
JP2007013777A (en) Imaging apparatus
JP6204022B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP4314103B2 (en) Car camera
US11498589B2 (en) Vehicle-mounted equipment control device
JP2013009041A (en) Vehicle photographing display control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171012

R150 Certificate of patent or registration of utility model

Ref document number: 6227874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150