WO2017204304A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2017204304A1
WO2017204304A1 PCT/JP2017/019585 JP2017019585W WO2017204304A1 WO 2017204304 A1 WO2017204304 A1 WO 2017204304A1 JP 2017019585 W JP2017019585 W JP 2017019585W WO 2017204304 A1 WO2017204304 A1 WO 2017204304A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
width
region
image processing
processing apparatus
Prior art date
Application number
PCT/JP2017/019585
Other languages
English (en)
French (fr)
Inventor
徹也 登丸
佳行 津田
小西 敏之
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112017002664.4T priority Critical patent/DE112017002664T5/de
Publication of WO2017204304A1 publication Critical patent/WO2017204304A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the image processing apparatus moves another region to the region X side when another region exists between the region X and the region A. Therefore, even when the region X is not adjacent to the region A, the region A can be expanded to the region X side.
  • the configuration of the image processing device 1 will be described with reference to FIGS.
  • the image processing device 1 is an in-vehicle device mounted on a vehicle.
  • the vehicle on which the image processing apparatus 1 is mounted is referred to as the own vehicle.
  • the image processing apparatus 1 has a function configuration realized by the CPU 3 executing a program. As illustrated in FIG. 2, the image acquisition unit 7, the peripheral information acquisition unit 9, the determination area determination unit 11, and the visual recognition A sex determination unit 12 and a brightness adjustment unit 13 are provided.
  • the area adjustment unit 19 corresponds to an area X deletion unit, an area A expansion unit, an area movement unit, a reduction width setting unit, and an area Y reduction unit.
  • the host vehicle includes a camera 33, a vehicle signal line 35, and a display 37.
  • the camera 33 shoots the vicinity of the host vehicle and creates an image.
  • An image is composed of a plurality of pixels. Each pixel has luminance. The luminance of each pixel is within a certain luminance range.
  • the camera 33 outputs an image to the image processing apparatus 1.
  • the vehicle signal line 35 outputs various information to the image processing apparatus 1.
  • the information includes sonar information, rudder angle information, speed information, acceleration information, gear information, weather information, and the like.
  • the sonar information is information representing the position of the target detected by the sonar included in the host vehicle, the distance from the host vehicle to the target, the speed of the target, the moving direction of the target, and the like.
  • step 3 the determination area determination unit 11 determines a determination area.
  • the determination area 39 is a part of the image 41 acquired in step 1.
  • the determination area 39 is an area located below the image 41 and mainly occupied by the road surface.
  • step 21 of FIG. 4 the position and size of the determination area 39 are set to default values.
  • the position of the determination area 39 is a relative position in the image 41.
  • the size of the determination area 39 is a relative size with respect to the size of the image 41.
  • the memory 5 stores in advance the default position and size of the determination area 39.
  • step 22 it is determined whether or not the host vehicle is traveling along a curve, using the steering angle information acquired in step 2. If it is determined that the host vehicle is traveling on a curve, the process proceeds to step 23. On the other hand, if it is determined that the host vehicle is not traveling on the curve, the present process is terminated. In this case, the position and size of the determination area 39 are default values.
  • step 25 the determination area 39 is moved in the left direction L as shown in FIG.
  • the amount of movement increases as the rudder angle increases.
  • the memory 5 stores in advance a map that defines the relationship between the steering angle and the movement amount.
  • the size of the determination area 39 is constant. Here, it is assumed that the host vehicle is moving forward. If the host vehicle is moving backward, in step 25, the determination area 39 is moved in the right direction R.
  • the visibility determination unit 12 determines whether or not the magnitude of the contrast in the determination area 39 is equal to or less than a preset threshold value.
  • the determination method is as follows. First, in the luminance histogram 43, a range centered on the luminance a and a range to which a predetermined ratio belongs among all the pixels in the determination area 39 is calculated. Next, the width in the range is calculated. If the calculated width value is smaller than the threshold value, it is determined that the contrast is small. On the other hand, if the calculated width value is greater than or equal to the threshold value, it is determined that the contrast is large. A large contrast corresponds to high visibility.
  • the dividing unit 17 divides the luminance range in the luminance histogram 45 into a plurality of areas A to D.
  • Region A is the region determined in step 7 above.
  • Regions B to D can be classified according to a predetermined rule.
  • the width of the region A ⁇ D respectively, the width W A, width W B, the width W C, and the width W D.
  • Regions B and C correspond to regions Y 1 and Y 2 other than region A. Region B and region C are adjacent to region A.
  • step 33 the expansion width setting unit 29 sets the expansion width ⁇ A.
  • the expansion width ⁇ A is a width for expanding the area A in the luminance adjustment.
  • the expansion width ⁇ A is expressed by the following formula (3).
  • step 39 the area adjustment unit 19, the value of the width [Delta] X, and the width W X.
  • the area adjustment unit 19 calculates a width ⁇ W BC expressed by the following equation (4).
  • the width ⁇ W BC is the sum of the reduced width in the region B and the reduced width in the region C. Note that reduction is synonymous with compression.
  • the area adjustment unit 19 calculates a width ⁇ W B and a width ⁇ W C that satisfy the following expressions (5) and (6).
  • Width [Delta] W B is the reduced width in the region B
  • the width [Delta] W C is a reduction width in the region C.
  • Equation (6) defines the ratio of [Delta] W B and [Delta] W C.
  • step 43 the area adjustment unit 19, the value of the width [Delta] W C, rewrites the upper limit value L C.
  • step 45 the area adjustment unit 19, the value of the width [Delta] W B, it rewrites the upper limit value L B.
  • step 46 the area adjustment unit 19 calculates a correction table for the second pattern.
  • the second pattern correction table is a correction table for adjusting the luminance of an image.
  • I (I 0 -K AB ) ⁇ (W A ′ / W A ) + K AB ′
  • I 0 is the luminance of the same pixel before adjusting the luminance.
  • K AB is the luminance at the boundary between the region A and the region B before the luminance is adjusted.
  • W A ′ is the width of the area A after adjusting the luminance.
  • K AB ′ is the luminance at the boundary between the region A and the region B after adjusting the luminance.
  • step 11 the image whose luminance has been adjusted in step 10 is output to the display 37. If a negative determination is made in step 6, the process proceeds to step 12.
  • step 12 the image acquired in step 1 is output to the display 37 as it is. 3. Effects produced by the image processing apparatus 1 (1A)
  • the image processing apparatus 1 extends the area A. Therefore, the contrast in the region A can be improved. Thereby, the visibility of the image is improved. Further, at least a part of the expansion width ⁇ A is obtained by deleting the region X having a small number of pixels. For this reason, the reduction width of the region B and the region C can be suppressed. As a result, the image quality is unlikely to deteriorate even after the luminance is adjusted.
  • the image processing apparatus 1 moves the region C to the region X side. Therefore, even when the region X is not adjacent to the region A, the region A can be expanded to the region X side.
  • the image processing apparatus 1 can reduce the area B and the area C, and can further expand the area A by the reduced amount. As a result, the contrast in the region A can be further improved.
  • the image processing apparatus 1 in accordance with the extended width .DELTA.A, set width [Delta] W B, the width [Delta] W C. Therefore, the width ⁇ W B and the width ⁇ W C can be set appropriately. In addition, the image processing apparatus 1 sets the width ⁇ W B and the width ⁇ W C so as to satisfy the expressions (5) and (6). Therefore, excessive reduction of only one of the region B and the region C can be suppressed. As a result, the image quality is unlikely to deteriorate even after the luminance is adjusted.
  • the image processing apparatus 1 sets the width ⁇ W B within a range equal to or less than the upper limit value L B.
  • the method for determining the size and position of the determination area 39 may be another method. For example, it is possible to acquire sonar information from the vehicle signal line 35 and determine whether there is a target approaching the host vehicle and whether the target is approaching the host vehicle or away from the host vehicle.
  • the position of the upper boundary line 47 is returned to the standard position.
  • the determination area 39 is changed as follows.
  • the upper boundary line 47 in the determination area 39 is raised from the standard position. That is, the determination area 39 is expanded to a range higher than the standard. If the target is moving away from the host vehicle, the position of the upper boundary line 47 is returned to the standard position.
  • the method for determining the size and position of the determination area 39 may be another method.
  • the determination area 39 can be set so as to calculate the position of the target shown in the side camera or the back camera and avoid the target.
  • the size and position of the determination area 39 may be fixed.
  • the position of the determination area 39 may be near the center of the image 41 or above the image 41. Further, the size and position of the determination area 39 may be fixed, and the shape of the determination area 39 may be changed according to the peripheral information.
  • the method for setting the region A may be another method.
  • a region having a certain width and centering on the luminance a may be set as the region A.
  • the number of regions other than region A can be set as appropriate. The number can be, for example, 2, 4, 5, 6,.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

画像処理装置(1)は、画像取得ユニット(7)と、視認性判断ユニット(12)と、輝度調整ユニット(13)とを備える。輝度調整ユニットは、画像の一部である判断領域における輝度ヒストグラムにて度数が最大である輝度aを取得する。また、画像における輝度範囲を、輝度aが属する領域Aを含む複数の領域に区分する。また、複数の領域のうち、属する画素数が予め設定された閾値以下である領域Xの少なくとも一部を削除する。また、領域Aを、少なくとも、領域Xにおいて削除した幅ΔXだけ、領域Xの側に拡張する。また、領域Xと領域Aとの間に他の領域が存在する場合は、他の領域を領域Xの側に移動させる。

Description

画像処理装置 関連出願の相互参照
 本国際出願は、2016年5月25日に日本国特許庁に出願された日本国特許出願第2016-104488号に基づく優先権を主張するものであり、日本国特許出願第2016-104488号の全内容を本国際出願に参照により援用する。
 本開示は画像処理装置に関する。
 従来、車載カメラを用いて車両の周辺を撮像し、得られた画像を車室内のディスプレイに表示する技術が知られている。車載カメラは、例えば、ドライバにとって車両の死角となる範囲を撮像する。また、車載カメラとディスプレイとを備えるシステムを、ルームミラーやサイドミラーの代わりに用いることが提案されている。上記の技術は特許文献1に開示されている。 
特開2013-5234号公報
 しかしながら、発明者の詳細な検討の結果、以下の課題が見出された。すなわち、降雪時等、特定の環境下では、車載カメラで撮像した画像のコントラストが低く、視認性が低い。画像のコントラストが低く、視認性が低い場合、ドライバは、表示された画像において、例えば、雪で覆われた路面の凹凸、路面と雪壁との境界等を認識することが困難となる。 
 本開示の一局面は、視認性が高い画像を生成できる画像処理装置を提供することが好ましい。 
 本開示の一態様は、画像処理装置であって、車両の周辺を表す画像を取得する画像取得ユニットと、画像の一部である判断領域において、視認性が予め設定された閾値以下であるか否かを判断する視認性判断ユニットと、視認性が閾値以下である視認性判断ユニットが判断した場合、画像における輝度を調整する輝度調整ユニットとを備える。
 前記の輝度調整ユニットは、判断領域における輝度ヒストグラムにて度数が最大である輝度aを取得する輝度取得ユニットと、画像における輝度範囲を、輝度aが属する領域Aを含む複数の領域に区分する区分ユニットと、複数の領域のうち、属する画素数が予め設定された閾値以下である領域Xの少なくとも一部を削除する領域X削除ユニットと、領域Aを、少なくとも、領域Xにおいて削除した幅ΔXだけ、領域Xの側に拡張する領域A拡張ユニットと、領域Xと領域Aとの間に他の領域が存在する場合は、他の領域を領域Xの側に移動させる領域移動ユニットとを備える。
 本開示の一態様である画像処理装置は領域Aを拡張する。そのため、領域Aにおけるコントラストを向上させ、視認性を向上させることができる。また、拡張幅ΔAのうち、少なくとも一部は、画素数が少ない領域Xを削除して得られるものである。そのため、領域A及び領域X以外の領域における縮小幅を抑制することができる。その結果、輝度を調整した後でも、画像の画質が劣化しにくい。
 本開示の一態様である画像処理装置は、領域Xと領域Aとの間に他の領域が存在する場合は、他の領域を領域Xの側に移動させる。そのため、領域Xが領域Aと隣接していない場合でも、領域Aを領域Xの側に拡張することができる。
 なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
画像処理装置の構成を表すブロック図である。 画像処理装置の機能的構成を表すブロック図である。 画像処理装置が実行する処理の全体を表すフローチャートである。 画像処理装置が実行する判断領域決定処理を表すフローチャートである。 画像処理装置が実行する補正テーブル算出処理を表すフローチャートである。 画像と判断領域とを表す説明図である。 輝度ヒストグラムを表す説明図である。 輝度ヒストグラムを表す説明図である。 第1パターンの補正テーブルを表す説明図である。 第2パターンの補正テーブルを表す説明図である。 コントラストを判断する方法を表す説明図である。
 本開示の実施形態を図面に基づき説明する。
<第1実施形態>
 1.画像処理装置1の構成
 画像処理装置1の構成を、図1、図2に基づき説明する。画像処理装置1は車両に搭載される車載装置である。画像処理装置1を搭載する車両を以下では自車両とする。
 画像処理装置1は、CPU3と、RAM、ROM、フラッシュメモリ等の半導体メモリ(以下、メモリ5とする)と、を有する周知のマイクロコンピュータを中心に構成される。画像処理装置1の各種機能は、CPU3が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ5が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理装置1を構成するマイクロコンピュータの数は1つでも複数でもよい。
 画像処理装置1は、CPU3がプログラムを実行することで実現される機能の構成として、図2に示すように、画像取得ユニット7と、周辺情報取得ユニット9と、判断領域決定ユニット11と、視認性判断ユニット12と、輝度調整ユニット13と、を備える。
 輝度調整ユニット13は、輝度取得ユニット15と、区分ユニット17と、領域調整ユニット19と、天候情報取得ユニット27と、拡張幅設定ユニット29と、を備える。画像処理装置1を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
 領域調整ユニット19は、領域X削除ユニット、領域A拡張ユニット、領域移動ユニット、縮小幅設定ユニット、及び領域Y縮小ユニットに対応する。
 自車両は、画像処理装置1に加えて、カメラ33、車両信号線35、及びディスプレイ37を備える。カメラ33は、自車両の周辺を撮影し、画像を作成する。画像は複数の画素から構成される。各画素は輝度を有する。各画素の輝度は一定の輝度範囲内にある。カメラ33は画像を画像処理装置1に出力する。
 車両信号線35は、様々な情報を画像処理装置1に出力する。その情報として、ソナー情報、舵角情報、速度情報、加速度情報、ギア情報、天候情報等がある。ソナー情報は、自車両が備えるソナーにより検出した物標の位置、自車両から物標までの距離、物標の速度、物標の移動方向等を表す情報である。
 舵角情報は、自車両の操舵角の大きさ、操舵の方向を表す情報である。速度情報は自車両の速度を表す情報である。加速度情報は自車両の加速度を表す情報である。ギア情報は、自車両のギアの状況を表す情報である。天候情報は、自車両の場所における、降雨又は降雪の有無、気温、湿度等を表す情報である。
 ディスプレイ37は、自車両の車室内に設けられている。ディスプレイ37は、画像処理装置1から画像を受け取り、表示する。画像処理装置1から受け取る画像には、後述するように、輝度を調整された画像と、輝度を調整していない画像とがある。
 2.画像処理装置1が実行する処理
 画像処理装置1が所定時間ごとに繰り返し実行する処理を図3~図10に基づき説明する。図3のステップ1では、画像取得ユニット7が、カメラ33を用いて画像を取得する。
 ステップ2では、周辺情報取得ユニット9が、車両信号線35から、舵角情報を取得する。なお、舵角情報は周辺情報に対応する。また、舵角情報は、自車両が走行中である道路の形状を表す情報に対応する。
 ステップ3では、判断領域決定ユニット11が、判断領域を決定する。この処理を、図4、図6に基づき説明する。図6に示すように、判断領域39とは、前記ステップ1で取得した画像41の一部である。判断領域39は、画像41における下方に位置し、主に路面によって占められる領域である。
 図4のステップ21では、判断領域39の位置及び大きさを、デフォルトの値とする。判断領域39の位置とは、画像41における相対的な位置である。判断領域39の大きさとは、画像41の大きさに対する相対的な大きさである。メモリ5には、予め、判断領域39のデフォルトの位置及び大きさが記憶されている。
 ステップ22では、前記ステップ2で取得した舵角情報を用いて、自車両がカーブを走行中であるか否かを判断する。自車両がカーブを走行中であると判断した場合はステップ23に進む。一方、自車両がカーブを走行中ではないと判断した場合は本処理を終了する。この場合、判断領域39の位置及び大きさはデフォルトの値となる。
 ステップ23では、前記ステップ2で取得した舵角情報を用いて、自車両が右カーブを走行中であるか否かを判断する。自車両が右カーブを走行中であると判断した場合はステップ24に進む。一方、自車両が右カーブを走行中ではないと判断した場合はステップ25に進む。ステップ25に進む場合は、自車両が左カーブを走行中である場合である。
 ステップ24では、図6に示すように、判断領域39を右方向Rに移動させる。移動量は、舵角が大きいほど大きい。メモリ5には、予め、舵角と移動量との関係を規定するマップが記憶されている。判断領域39の大きさは一定である。なお、ここでは自車両が前進しているとする。自車両が後進している場合は、ステップ24において、判断領域39を左方向Lに移動させる。
 ステップ25では、図6に示すように、判断領域39を左方向Lに移動させる。移動量は、舵角が大きいほど大きい。メモリ5には、予め、舵角と移動量との関係を規定するマップが記憶されている。判断領域39の大きさは一定である。なお、ここでは自車両が前進しているとする。自車両が後進している場合は、ステップ25において、判断領域39を右方向Rに移動させる。
 図3に戻り、ステップ4では、輝度取得ユニット15が、前記ステップ3で決定した判断領域39について、図7に示す輝度ヒストグラム43を作成する。この輝度ヒストグラム43の横軸は、輝度である。輝度ヒストグラム43の縦軸は、判断領域39にある全画素のうち、対応する輝度を有する画素の数(以下では度数とする)である。 
 ステップ5では、輝度取得ユニット15が、前記ステップ4で作成した輝度ヒストグラム43を用いて、輝度aを取得する。輝度aとは、図7に示すように、輝度ヒストグラム43において、度数が最大である輝度である。判断領域39は、主として路面を含む領域であるから、輝度aは、路面を表す画素における最大度数の輝度である。路面に降雪がある場合、輝度aは、路面を覆う雪を表す画素における最大度数の輝度である。
 ステップ6では、判断領域39におけるコントラストの大きさが、予め設定された閾値以下であるか否かを、視認性判断ユニット12が判断する。その判断方法は以下のとおりである。まず、輝度ヒストグラム43において、輝度aを中心とする範囲であって、判断領域39にある全画素のうち、所定の割合が属する範囲を算出する。次に、その範囲における幅を算出する。算出した幅の値が、閾値より小さければ、コントラストが小さいと判断する。一方、算出した幅の値が、閾値以上であれば、コントラストが大きいと判断する。なお、コントラストが大きいことは視認性が高いことに対応する。
 コントラストが小さいと判断した場合はステップ7に進み、コントラストが大きいと判断した場合はステップ12に進む。
 ステップ7では、区分ユニット17が、輝度ヒストグラム43において、領域Aを決定する。領域Aとは、図7に示すように、輝度aを含む輝度の範囲であって、ヒストグラムを表す曲線における傾きの絶対値が、予め設定された閾値より大きい範囲である。領域Aは、主として、路面を表す画素の輝度を含む範囲である。路面に降雪がある場合、領域Aは、主として、路面を覆う雪を表す画素の輝度を含む範囲である。
 ステップ8では、区分ユニット17が、まず、前記ステップ1で取得した画像全体について、図8に示す輝度ヒストグラム45を作成する。この輝度ヒストグラム45の横軸は、輝度である。輝度ヒストグラム45の縦軸は、画像全体の画素のうち、対応する輝度を有する画素の度数である。 
 次に、区分ユニット17は、輝度ヒストグラム45おける輝度範囲を、複数の領域A~Dに区分する。領域Aは、前記ステップ7で決定した領域である。領域B~Dは、予め決められたルールに従って区分することができる。領域A~Dの幅を、それぞれ、幅W、幅W、幅W、幅Wとする。領域B、領域Cは、領域A以外の領域Y、領域Yに対応する。領域B、領域Cは領域Aに隣接する。
 ステップ9では、輝度調整ユニット13が、画像の輝度を調整するために用いる補正テーブルを算出する。この処理を、図5、図9、図10に基づき説明する。
 図5のステップ31では、天候情報取得ユニット27が、車両信号線35から、天候情報を取得する。
 ステップ32では、拡張幅設定ユニット29が、前記ステップ31で取得した天候情報に応じて、領域Aの拡張率Rを決定する。拡張率Rは、以下の式(2)で表される。
 式(2) R=W’/W
 式(2)においてW’は、輝度を調整した後における領域Aの幅である。
 ステップ33では、拡張幅設定ユニット29が、拡張幅ΔAを設定する。拡張幅ΔAとは、輝度の調整において領域Aを拡張する幅である。拡張幅ΔAは、以下の式(3)で表される。
 式(3) ΔA=W’-W=W(R-1)
 W、Rはそれぞれ既知の値であるので、ΔAも既知の値である。
 ステップ34では、領域調整ユニット19が、輝度ヒストグラム45において、領域Xを検索する。領域Xとは、領域B~Dのうちのいずれかの領域であって、その領域に属する画素数が予め設定された閾値以下である領域である。本実施形態では、領域Dが領域Xであるとする。
 ステップ35では、領域調整ユニット19が、領域Xの幅Wを算出する。本実施形態では、幅Wは、幅Wである。 
 ステップ36では、前記ステップ33で算出した拡張幅ΔAが、前記ステップ35で算出した幅Wより小さいか否かを、領域調整ユニット19が判断する。拡張幅ΔAが幅Wより小さい場合はステップ37に進む。拡張幅Δが幅W以上である場合はステップ39に進む。
 ステップ37では、領域調整ユニット19が、幅ΔXの値を、前記ステップ33で算出した拡張幅ΔAとする。幅ΔXとは、領域Xにおいて削除する幅である。
 ステップ38では、領域調整ユニット19が、第1パターンの補正テーブルを算出する。第1パターンの補正テーブルとは、図9に示すように、画像の輝度を調整する補正テーブルである。第1パターンの補正テーブルでは、領域Xを、幅ΔXだけ削除する。また、領域Aを幅ΔXだけ、領域Xの側に拡張する。拡張後の領域Aの幅W’は、(W+ΔX)となる。また、領域Cを、幅ΔXだけ、領域X側に移動させる。領域Cは、領域Aと領域Xとの間に存在する領域である。
 前記ステップ36で否定判断した場合はステップ39に進む。ステップ39では、領域調整ユニット19が、幅ΔXの値を、幅Wとする。
 ステップ40では、領域調整ユニット19が、以下の式(4)で表される幅ΔWBCを算出する。なお、幅ΔWBCは、領域Bにおける縮小幅と、領域Cにおける縮小幅との合計である。なお、縮小とは、圧縮と同義である。
 式(4) ΔWBC=ΔA-ΔX
 式(4)において、ΔAは前記ステップ33で算出した値であり、ΔXは、前記ステップ39で算出した値である。
 ステップ41では、領域調整ユニット19が、以下の式(5)、及び式(6)を充足する幅ΔW、幅ΔWを算出する。幅ΔWは、領域Bにおける縮小幅であり、幅ΔWは、領域Cにおける縮小幅である。式(6)はΔWとΔWとの比率を規定する。
 式(5) ΔWBC=ΔW+ΔW
 式(6) ΔW/ΔW=N/N
 式(6)において、Nは、画像41の全画素のうち、領域Bに属する画素数であり、Nは、画像41の全画素のうち、領域Cに属する画素数である。ΔWはΔYに対応し、ΔWはΔYに対応する。
 ステップ42では、幅ΔWが、上限値Lより小さいか否かを領域調整ユニット19が判断する。上限値Lは、領域Cにおける縮小幅の上限値であり、予め定められた値である。幅ΔWが上限値Lより小さい場合はステップ44に進み、幅ΔWが上限値L以上である場合はステップ43に進む。
 ステップ43では、領域調整ユニット19が、幅ΔWの値を、上限値Lに書き換える。また、領域調整ユニット19が、幅ΔWの値を、ΔWBCから上限値Lを差し引いた値に書き換える。
 ステップ44では、幅ΔWが、上限値Lより小さいか否かを領域調整ユニット19が判断する。上限値Lは、領域Bにおける縮小幅の上限値であり、予め定められた値である。幅ΔWが上限値Lより小さい場合はステップ46に進み、幅ΔWが上限値L以上である場合はステップ45に進む。
 ステップ45では、領域調整ユニット19が、幅ΔWの値を、上限値Lに書き換える。
 ステップ46では、領域調整ユニット19が、第2パターンの補正テーブルを算出する。第2パターンの補正テーブルとは、図10に示すように、画像の輝度を調整する補正テーブルである。
 第2パターンの補正テーブルでは、領域Xを全て削除する。また、領域Aを、幅ΔX+幅ΔWだけ、領域X側に拡張し、幅ΔWだけ、領域B側に拡張する。領域Aは、全体として、幅ΔX+幅ΔW+幅ΔWだけ拡張する。領域Aと領域Bとの境界は、幅ΔWだけ、領域B側に移動する。領域Bは、幅ΔWだけ縮小する。領域Aと領域Cとの境界は、幅ΔX+幅ΔWだけ、領域C側に移動する。領域Cは、幅ΔWだけ縮小する。幅ΔW、幅ΔWの値は、前記ステップ41、43、45のいずれかで設定された値である。上述した幅ΔW、幅ΔWの設定方法は、少なくとも拡張幅ΔAに応じた設定方法に対応する。
 図3に戻り、ステップ10では、前記ステップ9で算出した補正テーブルに基づき、画像41の輝度を調整する。調整後の画像41における輝度ヒストグラムは、第1パターンの補正テーブル、又は第2パターンの補正テーブルで表されるものになる。なお、輝度を調整した画像41において、領域Aに属する任意の画素の輝度Iは、以下の式(7)で表される。
 式(7) I=(I-KAB)×(W’/W)+KAB
  式(7)において、Iは、同じ画素の、輝度を調整する前の輝度である。KABは、輝度を調整する前の、領域Aと領域Bとの境界における輝度である。W’は、輝度を調整した後の、領域Aの幅である。KAB’は、輝度を調整した後の、領域Aと領域Bとの境界における輝度である。
 ステップ11では、前記ステップ10で輝度を調整した画像をディスプレイ37に出力する。
 前記ステップ6で否定判断した場合はステップ12に進む。ステップ12では、前記ステップ1で取得した画像をそのままディスプレイ37に出力する。
3.画像処理装置1が奏する効果
 (1A)画像処理装置1は領域Aを拡張する。そのため、領域Aにおけるコントラストを向上させることができる。そのことにより、画像の視認性が向上する。また、拡張幅ΔAのうち、少なくとも一部は、画素数が少ない領域Xを削除して得られるものである。そのため、領域B、領域Cの縮小幅を抑制することができる。その結果、輝度を調整した後でも、画像の画質が劣化しにくい。
 (1B)画像処理装置1は、領域Cを領域Xの側に移動させる。そのため、領域Xが領域Aと隣接していない場合でも、領域Aを領域Xの側に拡張することができる。
 (1C)画像処理装置1は、領域B、領域Cを縮小し、その縮小した分だけ、さらに領域Aを拡張することができる。その結果、領域Aにおけるコントラストを一層向上させることができる。
 (1D)画像処理装置1は、拡張幅ΔAに応じて、幅ΔW、幅ΔWを設定する。そのため、幅ΔW、幅ΔWを適切に設定できる。また、画像処理装置1は、幅ΔW、及び幅ΔWを、式(5)、式(6)を充足するように設定する。そのため、領域B及び領域Cのうちの一方のみを過度に縮小することを抑制できる。その結果、輝度を調整した後でも、画像の画質が劣化しにくい。
 (1E)画像処理装置1は、天候情報を取得し、天候情報に応じて拡張幅ΔAを設定する。そのため、天候に応じて適切な拡張幅ΔAを設定することができる。例えば、降雪があり、領域Aにおけるコントラストが小さい可能性が高い場合は、拡張幅ΔAを大きく設定し、領域Aにおけるコントラストを一層向上させることができる。
 (1F)画像処理装置1は、幅ΔWを、上限値L以下の範囲で設定する。また、画像処理装置1は、幅ΔWを、上限値L以下の範囲で設定する。そのことにより、領域B、領域Cを過度に縮小することを抑制できる。その結果、輝度を調整した後でも、画像の画質が劣化しにくい。
 (1G)画像処理装置1は、舵角情報を取得し、その舵角情報から、自車両が走行中の道路の形状を判断する。さらに、画像処理装置1は、自車両が走行中の道路の形状に応じて判断領域39の位置を決定する。そのことにより、判断領域39の中に路面を含めることができる。また、判断領域39の中に、路面以外の物が含まれることを抑制できる。 <他の実施形態>
 以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
 (1)判断領域39の大きさや位置を決定する方法は、他の方法であってもよい。例えば、車両信号線35からソナー情報を取得し、自車両に近づいている物標の有無、及び、物標が自車両に近づいているか、自車両から遠ざかっているかを判断することができる。
 自車両が前進しており、物標が存在する場合、以下のように判断領域39を変化させる。
 ・物標が自車両に近づいていれば、判断領域39における上側の境界線47を、標準の位置より下げる。すなわち、判断領域39を、標準よりも低い範囲に限定する。
 ・物標が自車両から遠ざかっていれば、上側の境界線47の位置を、標準の位置に戻す。
 自車両が後進しており、物標が存在する場合、以下のように判断領域39を変化させる。
 ・物標が自車両に近づいていれば、判断領域39における上側の境界線47を、標準の位置より上げる。すなわち、判断領域39を、標準よりも高い範囲まで広げる。
 ・物標が自車両から遠ざかっていれば、上側の境界線47の位置を、標準の位置に戻す。
 (2)判断領域39の大きさや位置を決定する方法は、他の方法であってもよい。例えば、サイドカメラやバックカメラに映っている物標の位置を算出し、その物標を避けるように、判断領域39を設定することができる。
 (3)判断領域39の大きさや位置を決定する方法は、他の方法であってもよい。例えば、自車両、又は自車両のタイヤの振動データから路面の状態を推測し、判断領域39の大きさや位置を決定してもよい。路面の状態としては、例えば、積雪の有無等が挙げられる。
 (4)判断領域39の大きさや位置は固定されていてもよい。判断領域39の位置は、画像41の中央付近、又は、画像41の上方であってもよい。また、判断領域39の大きさや位置は固定し、判断領域39の形状を、周辺情報に応じて変更してもよい。
 例えば、周辺情報の内容が、自車両の周辺の道路が直線路であるという内容である場合、判断領域39の形状を、台形又は三角形とすることができる。また、周辺情報の内容が、自車両の周辺の道路がカーブであるという内容である場合、判断領域39の形状を、上記の台形又は三角形を変形した形状にすることができる。その変形した形状とは、台形又は三角形の底辺が、カーブの外側方向に延び、カーブの外側の縁、又はその近傍に至っている形状である。また、上記の変形した形状では、カーブの外側の境界線を、カーブの外側に膨らんだ曲線又は折れ線としてもよい。
 また、判断領域39の大きさや位置を周辺情報に応じて決定するとともに、判断領域39の形状も、周辺情報に応じて決定してもよい。
 (5)拡張幅ΔAが幅Wより小さい場合でも、領域Xの全てを削除してもよい。そして、拡張幅ΔAを、幅Wとすることができる。
 (6)領域Aを設定する方法は他の方法であってもよい。例えば、輝度aを中心とし、一定の幅を有する領域を領域Aとしてもよい。
 (7)領域A以外の領域の数は適宜設定できる。その数は、例えば、2、4、5、6・・・とすることができる。
 (8)領域B、領域Cのうち一方だけを縮小し、他方は縮小しないようにしてもよい。また、領域Aに隣接しない領域が存在する場合は、領域Aに隣接しない領域を縮小してもよい。
 (9)領域Bを、上限値Lを超えて縮小するようにしてもよい。また、領域Cを、上限値Lを超えて縮小するようにしてもよい。
 (10)判断領域決定ユニット11は、天候情報に応じて判断領域39の位置、大きさ、及び形状から成る群から選択される1以上を決定してもよい。例えば、天候が曇天の場合、それ以外の場合よりも、判断領域39の位置を下げることができる。また、天候が吹雪の場合、それ以外の場合よりも、判断領域39を大きくすることができる。また、天候が雪の場合の判断領域39の形状を、後述するデフォルトの形状より縦長とし、それ以外の場合の形状をデフォルトの形状とすることができる。
 (11)視認性判断ユニット12は、前記ステップ6の処理で使用する閾値を、天候情報に応じて設定することができる。例えば、天候が雨である場合は、それ以外の場合よりも閾値を大きくすることができる。上記の場合、視認性判断ユニット12は、閾値設定ユニットに対応する。
 (12)前記ステップ6において、以下の方法で、判断領域39におけるコントラストの大きさを判断してもよい。なお、コントラストが大きいことは、視認性が高いことに対応する。
 まず、図11に示すように、輝度ヒストグラム43において、輝度aを中心とする、幅が一定値である範囲Zを設定する。次に、範囲Zにおける平均度数を算出する。平均度数が閾値より大きければ、コントラストが小さいと判断する。一方、平均度数が閾値以下であれば、コントラストが大きいと判断する。
 (13)前記ステップ6において、以下の方法で、判断領域39におけるコントラストの大きさを判断してもよい。なお、コントラストが大きいことは、視認性が高いことに対応する。
 まず、図11に示すように、輝度ヒストグラム43において、輝度aにおける度数Faを取得する。度数Faが閾値より大きければ、コントラストが小さいと判断する。一方、度数Faが閾値以下であれば、コントラストが大きいと判断する。
 (14)前記ステップ6において、以下の方法で、判断領域39におけるコントラストの大きさを判断してもよい。なお、コントラストが大きいことは、視認性が高いことに対応する。
 まず、図11に示すように、輝度ヒストグラム43において、範囲Zでのピーク面積Saを算出する。ピーク面積Saが閾値より大きければ、コントラストが小さいと判断する。一方、ピーク面積Saが閾値以下であれば、コントラストが大きいと判断する。
 (15)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
 (16)上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法等、種々の形態で本開示を実現することもできる。

Claims (9)

  1.  画像処理装置(1)であって、
     車両の周辺を表す画像を取得する画像取得ユニット(7)と、
     前記画像の一部である判断領域(39)において、視認性が予め設定された閾値以下であるか否かを判断する視認性判断ユニット(12)と、
     前記視認性が前記閾値以下であると前記視認性判断ユニットが判断した場合、前記画像における輝度を調整する輝度調整ユニット(13)と、
     を備え、
     前記輝度調整ユニットは、
      前記判断領域における輝度ヒストグラムにて度数が最大である輝度aを取得する輝度取得ユニット(15)と、
      前記画像における輝度範囲を、前記輝度aが属する領域Aを含む複数の領域に区分する区分ユニット(17)と、
      複数の前記領域のうち、属する画素数が予め設定された閾値以下である領域Xの少なくとも一部を削除する領域X削除ユニット(19)と、
      前記領域Aを、少なくとも、前記領域Xにおいて削除した幅ΔXだけ、前記領域Xの側に拡張する領域A拡張ユニット(19)と、
      前記領域Xと前記領域Aとの間に他の前記領域が存在する場合は、他の前記領域を前記領域Xの側に移動させる領域移動ユニット(19)と、
     を備える画像処理装置。
  2.  請求項1に記載の画像処理装置であって、
     前記輝度調整ユニットは、複数の前記領域のうち、前記領域A以外の領域である領域Yを幅ΔYだけ縮小する領域Y縮小ユニット(19)をさらに備え、
     前記領域A拡張ユニットは、少なくとも、前記幅ΔXと前記幅ΔYとの和だけ前記領域Aを拡張するように構成された画像処理装置。
  3.  請求項2に記載の画像処理装置であって、
     少なくとも前記拡張幅ΔAに応じて、前記幅ΔYを設定する縮小幅設定ユニット(19)をさらに備える画像処理装置。
  4.  請求項3に記載の画像処理装置であって、
     前記領域Y縮小ユニットは、一方の側において前記領域Aに隣接する領域Yを幅ΔYだけ縮小するとともに、他方の側において前記領域Aに隣接する領域Yを幅ΔYだけ縮小するように構成され、
     前記領域A拡張ユニットは、少なくとも、前記幅ΔXと前記幅ΔYと前記幅ΔYとの和だけ前記領域Aを拡張するように構成され、
     前記幅ΔYと前記幅ΔYとの比率は、以下の式(1)で表される画像処理装置。
     式(1) ΔY/ΔY=N/N
     前記Nは前記領域Yに属する画素数であり、前記Nは前記領域Yに属する画素数である。
  5.  請求項4に記載の画像処理装置であって、
     前記縮小幅設定ユニットは、予め決められた上限値以下の範囲で、前記幅ΔY及び前記幅ΔYを設定するように構成された画像処理装置。
  6.  請求項1~5のいずれか1項に記載の画像処理装置であって、
     前記車両の周辺における状況を表す周辺情報を取得する周辺情報取得ユニット(9)と、
     前記周辺情報に応じて前記判断領域の位置、大きさ、及び形状から成る群から選択される1以上を決定する判断領域決定ユニット(11)と、
     をさらに備える画像処理装置。
  7.  請求項6に記載の画像処理装置であって、
     前記周辺情報は、前記車両が走行中である道路の形状を表す情報、又は、前記車両の周辺に存在する物標を表す情報である画像処理装置。
  8.  請求項1~7のいずれか1項に記載の画像処理装置であって、
     天候情報を取得する天候情報取得ユニットと、 
     前記天候情報に応じて前記判断領域の位置、大きさ、及び形状から成る群から選択される1以上を決定する判断領域決定ユニット(11)と、
     をさらに備える画像処理装置。
  9.  請求項1~8のいずれか1項に記載の画像処理装置であって、
     天候情報を取得する天候情報取得ユニットと、 
     前記天候情報に応じて前記視認性の判断における前記閾値を設定する閾値設定ユニットと、
     を備える画像処理装置。
     
     
     
     
     
     
     
     
     
     
     
     
     
     
PCT/JP2017/019585 2016-05-25 2017-05-25 画像処理装置 WO2017204304A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112017002664.4T DE112017002664T5 (de) 2016-05-25 2017-05-25 Bildverarbeitungsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-104488 2016-05-25
JP2016104488A JP6589741B2 (ja) 2016-05-25 2016-05-25 画像処理装置

Publications (1)

Publication Number Publication Date
WO2017204304A1 true WO2017204304A1 (ja) 2017-11-30

Family

ID=60412387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019585 WO2017204304A1 (ja) 2016-05-25 2017-05-25 画像処理装置

Country Status (3)

Country Link
JP (1) JP6589741B2 (ja)
DE (1) DE112017002664T5 (ja)
WO (1) WO2017204304A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021059339A1 (ja) * 2019-09-24 2021-04-01 株式会社日立国際電気 監視カメラシステム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250042A (ja) * 2002-02-25 2003-09-05 Minolta Co Ltd 画像処理方法及び画像処理装置及びデジタルカメラ
JP2006092168A (ja) * 2004-09-22 2006-04-06 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2008172677A (ja) * 2007-01-15 2008-07-24 Murata Mach Ltd 画像処理装置および地色検出方法
JP2011228857A (ja) * 2010-04-16 2011-11-10 Clarion Co Ltd 車載カメラ用キャリブレーション装置
JP2012068965A (ja) * 2010-09-24 2012-04-05 Denso Corp 画像認識装置
JP2013141209A (ja) * 2011-12-30 2013-07-18 Hitachi Ltd 画像霧除去装置及び画像霧除去方法
JP2013186872A (ja) * 2012-03-12 2013-09-19 Mitsubishi Electric Corp 運転支援装置
JP2016001435A (ja) * 2014-06-12 2016-01-07 富士重工業株式会社 車外環境認識装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5435307B2 (ja) 2011-06-16 2014-03-05 アイシン精機株式会社 車載カメラ装置
JP6146499B2 (ja) 2016-03-02 2017-06-14 栗田工業株式会社 アンモニア含有排水の処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250042A (ja) * 2002-02-25 2003-09-05 Minolta Co Ltd 画像処理方法及び画像処理装置及びデジタルカメラ
JP2006092168A (ja) * 2004-09-22 2006-04-06 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2008172677A (ja) * 2007-01-15 2008-07-24 Murata Mach Ltd 画像処理装置および地色検出方法
JP2011228857A (ja) * 2010-04-16 2011-11-10 Clarion Co Ltd 車載カメラ用キャリブレーション装置
JP2012068965A (ja) * 2010-09-24 2012-04-05 Denso Corp 画像認識装置
JP2013141209A (ja) * 2011-12-30 2013-07-18 Hitachi Ltd 画像霧除去装置及び画像霧除去方法
JP2013186872A (ja) * 2012-03-12 2013-09-19 Mitsubishi Electric Corp 運転支援装置
JP2016001435A (ja) * 2014-06-12 2016-01-07 富士重工業株式会社 車外環境認識装置

Also Published As

Publication number Publication date
JP2017212597A (ja) 2017-11-30
DE112017002664T5 (de) 2019-03-14
JP6589741B2 (ja) 2019-10-16

Similar Documents

Publication Publication Date Title
JP6323018B2 (ja) 運転支援装置
JP7027738B2 (ja) 運転支援装置
JP6163453B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP4584120B2 (ja) 道路区画線検出装置、道路区画線の検出方法、道路区画線の検出プログラム
JP2014115978A (ja) 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
JP6711395B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
EP3016370A1 (en) Image processing device, and image processing method
JP5966513B2 (ja) 車両の後側方撮影装置
JP2018169888A (ja) 道路パラメータ推定装置
JP6152261B2 (ja) 車載用駐車枠認識装置
JP5262515B2 (ja) 車両用表示装置および表示方法
WO2017204304A1 (ja) 画像処理装置
JP2013160895A (ja) カメラ露出設定装置
JP2013186872A (ja) 運転支援装置
JP6711128B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP5235843B2 (ja) 車両周辺監視装置および車両周辺監視方法
JP2019140518A (ja) 画像生成装置
JP5493705B2 (ja) 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム
JP6785172B2 (ja) 車両用映像表示装置
JP5919988B2 (ja) 画像処理装置
KR101759270B1 (ko) 차량 후보 검출 장치 및 그 방법
JP7354773B2 (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
JP2018152014A (ja) 車両用映像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17802890

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17802890

Country of ref document: EP

Kind code of ref document: A1