WO2012172922A1 - 車載カメラ装置 - Google Patents

車載カメラ装置 Download PDF

Info

Publication number
WO2012172922A1
WO2012172922A1 PCT/JP2012/062845 JP2012062845W WO2012172922A1 WO 2012172922 A1 WO2012172922 A1 WO 2012172922A1 JP 2012062845 W JP2012062845 W JP 2012062845W WO 2012172922 A1 WO2012172922 A1 WO 2012172922A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
brightness
photographed image
vehicle
characteristic data
Prior art date
Application number
PCT/JP2012/062845
Other languages
English (en)
French (fr)
Inventor
堂西幸紀子
加藤直樹
浅野義
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to EP12800299.5A priority Critical patent/EP2723060A4/en
Priority to US14/116,451 priority patent/US20140085473A1/en
Publication of WO2012172922A1 publication Critical patent/WO2012172922A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Definitions

  • the present invention relates to an on-vehicle camera device mounted on the vehicle to capture an area around the vehicle.
  • a captured image acquired by such an on-vehicle camera device may be displayed on a monitor in various forms for monitoring a vehicle peripheral area, or may be used for object detection through processing such as image recognition.
  • a photographed image of the rear of the vehicle by the above-described on-vehicle camera device is displayed on a monitor disposed in the vicinity of the driver.
  • an optical sensor that detects the brightness of the area imaged by the camera is disposed at the rear of the vehicle, and the brightness detected by this optical sensor
  • Patent Document 1 describes a brightness adjustment device that sets the brightness of a monitor based on the above.
  • the luminance adjusting device By using such a luminance adjusting device, it is possible to calculate the optimum luminance of the entire photographed image.
  • the luminance of a different local imaging area is appropriately adjusted each time, such as a moving object (such as a child) in a shadow of a building, a large tree, a vehicle, etc. included in the captured image.
  • Such brightness adjustment is impossible.
  • preparing an optical sensor for adjusting brightness also increases the burden of parts cost and control cost.
  • Patent Document 2 describes an object detection device that detects an object based on a luminance-corrected region image and a learning model. Thus, even when the input image contains high luminance, it is intended that the object is detected with high accuracy.
  • the learning model images obtained by photographing a pedestrian and a bicycle occupant are used as learning images, and such an object can be detected.
  • an on-vehicle camera device capable of outputting a photographed image in which a region important in vehicle periphery monitoring can be favorably confirmed. For example, since it is often the case that a shadow area in a shadow of a vehicle or the like becomes inconspicuous becomes important in vehicle periphery monitoring, it is to improve the object confirmation of such a specific area.
  • the luminance characteristic data of the partial region which is the region excluding the vehicle in the generated photographed image.
  • the brightness adjustment of the entire photographed image is performed based on
  • the luminance characteristic data is characteristic data relating to luminance, and includes a data set of luminance values merely in pixel units, and statistical values such as a luminance histogram and a luminance region distribution.
  • a shadow area calculation unit that calculates a shadow area of interest in the captured image as the partial area based on luminance characteristic data of the captured image
  • a brightness increase amount calculation unit that calculates an up amount, a brightness adjustment unit that raises the brightness of the photographed image based on the brightness increase amount, and a photographed image whose brightness is adjusted by the brightness adjustment unit is output to the on-vehicle camera image processing unit And a photographed image output unit.
  • luminance characteristic data for example, a luminance histogram, a luminance area distribution, and the like are created from the photographed image, and a shadow area of interest that is important for vehicle periphery monitoring in the photographed image is calculated from this luminance characteristic data.
  • a brightness increase amount for increasing the brightness of the focused shadow area is calculated by limiting to the calculated shadow area of interest, and the brightness adjustment for raising the brightness of the photographed image is performed based on the brightness increase amount.
  • the amount of increase in luminance is used not only as a simple increase in the luminance value, but also as a term that includes increasing the dynamic range of the luminance in the shadow region of interest, and may be rephrased as the luminance level adjustment amount.
  • a shot image with such a brightness adjustment causes whiteout in highlight areas such as sky and illumination light, resulting in low quality from the point of view of a typical shot image, but a building, a large tree, a vehicle, etc. It becomes an image that makes it easy to check moving objects such as children in the shadow. Therefore, when the brightness-adjusted captured image is displayed on the monitor, the driver can easily view a moving object such as a child in a shadow of a building, a large tree, a vehicle or the like. In addition, in image recognition using this luminance-adjusted captured image, such moving objects can be easily recognized.
  • the shadow area of interest is calculated, and the brightness of the entire captured image is adjusted based on the brightness increase amount calculated from the brightness value of the shadow area of interest, so the shadow of interest generated when only the shadow area of interest is adjusted.
  • the sense of incongruity at the area boundary is eliminated, and a photographed image having a sense of unity as a whole can be obtained. In this case, even if overexposure occurs in a highlight area such as sky or lighting, such overexposure does not matter so much in an image for monitoring the vehicle periphery.
  • a luminance characteristic data generation unit for generating section luminance characteristic data of each section obtained by dividing the photographed image into a plurality of sections, and the section luminance characteristic data
  • the shadow area calculation unit is configured to calculate a shadow area originating from an object present in the peripheral area as the shadow area of interest based on.
  • the shadow area of interest is an area where there is a high possibility that there is an object that is difficult to confirm because the vehicle is in the shadow of some kind of object. The accuracy of finding such a shadow region of interest from the captured image is higher when the captured image is divided into a plurality of sections.
  • a brightness adjustment curve setting unit which selects a brightness adjustment curve based on the brightness increase amount, and the brightness adjustment unit is the selected brightness adjustment curve. To increase the brightness of the captured image.
  • the shadow area calculating unit is constructed by learning in advance to derive the shadow area of interest using luminance characteristic data as an input parameter.
  • FIG. 13 is a schematic view illustrating a process of calculating a focused shadow area in a captured image of a vehicle peripheral area and performing luminance adjustment on the captured image so that the brightness of the focused shadow area may be appropriately increased. It is an explanatory view explaining an example of luminance characteristic data. It is an explanatory view explaining an example of luminance characteristic data. It is a functional block diagram of the brightness adjustment function in the preferred embodiment of the in-vehicle camera device according to the present invention. It is a flowchart which shows the flow of the brightness adjustment in the vehicle-mounted camera apparatus by FIG.
  • the luminance adjustment of the entire photographed image is performed based on the luminance characteristic data of the partial region which is the region excluding the vehicle in the generated photographed image of the peripheral region of the vehicle. For example, using a pixel value (luminance value) of a pure vehicle peripheral area except for a vehicle component such as a bumper of the own vehicle in a captured image, a shadow area such as a shadow in the vehicle peripheral area is brightened. Thereby, the visibility of the vehicle peripheral image displayed on the monitor is improved.
  • the luminance of the entire photographed image is increased based on the luminance characteristic data of a specific shadow area of interest in the photographed image.
  • a photographed image is generated by the camera unit of the in-vehicle camera device (# 01).
  • the camera unit is provided with a normal white balance circuit, a ⁇ correction unit, and the like, and the generated photographed image, to be precise, a digital photographed image is an image of a general quality level. That is, the highlight area, the shadow area, and the middle area are balanced in the photographed image, the whiteout is suppressed in the highlight area, and the blackout is suppressed in the shadow area.
  • luminance characteristic data is generated using the luminance values in pixel units (# 02).
  • a luminance histogram, a luminance distribution image, etc. may be mentioned.
  • the luminance histogram represents the distribution of the luminance (the degree of light and dark) of an image by taking the luminance on the horizontal axis and the number of pixels on the vertical axis. It is possible to detect the ratio of shadow areas and highlight areas in Further, the luminance distribution image represents the distribution of luminance at a predetermined luminance gradation on a secondary coordinate plane equivalent to the photographed image.
  • This luminance gradation is not linear, and may be non-linear, with the shadow region important to the present invention as the high gradation.
  • the photographed image itself is also a kind of luminance distribution image
  • the photographed image itself or its mosaic image may be used as the luminance distribution image.
  • an area darkened as a shadow is calculated as the target shadow portion based on such luminance characteristic data.
  • the shooting center of the on-vehicle camera is substantially fixed, the upper half of the shooting screen is a bright area (highlight area) such as the sky, and the lower half of the shooting screen is affected by shadows. There is a high possibility of becoming a (shadow area).
  • the visibility evaluation may be performed on the captured image based on human perception to generate a visibility evaluation image as luminance characteristic data, and an area with low visibility and a shadow area may be calculated as the target vehicle area.
  • learning control such as a neural network. For example, a number of typical captured images are acquired in advance, and a shadow region of interest in each captured image is determined.
  • An arithmetic module capable of obtaining an output in which a shadow area is specified by inputting the brightness characteristic data of an input photographed image by using the combination of the shadow area thus obtained and the luminance characteristic data of the photographed image as teacher information. To construct.
  • the luminance characteristic data is generated for the entire photographed image, and as shown in FIG. 3, the luminance for each section obtained by dividing the photographed image into a plurality of sections. It can be divided into characteristic data, that is, section luminance characteristic data.
  • the segmentation makes it more effective data for calculating the shadow region of interest. For example, it is possible to easily detect the position of a shadow area in which a blackout occurs in a captured image from the section luminance histogram.
  • a shadow area in which there is a possibility of the presence of an object on or near the road surface that has become dark due to shadowing is calculated as a shadow area of interest (# 03).
  • One of the simplest attention shadow area calculation algorithms is to set a dark area near the road surface surrounded by a bright area upward as the attention shadow area.
  • the luminance values of pixels included in areas other than the attention shadow area, the average luminance value of the photographed image, etc. may be obtained based on the luminance values of the pixels included in the attention shadow area. Is also used to calculate the amount of increase in brightness for brightening the shadow area of interest so as to improve the visibility and recognizability of the shadow area of interest (# 04).
  • a brightness adjustment is performed to increase the brightness of the captured image based on the calculated amount of brightness increase, but it is generally known that the brightness adjustment (correction) of the captured image is performed as well known. ) It is done using a curve.
  • the brightness adjustment curve may be linear (that is, a straight line), but generally an S-shaped curve is used. Through this brightness adjustment, a brightness increase that substantially corresponds to the calculated brightness increase amount is realized in the shadow region of interest.
  • the shape of the luminance adjustment curve that is, the degree of luminance increase in the entire captured image may be better to be changed depending on the vehicle area of interest or the luminance distribution of the captured image. Therefore, it is convenient to adopt a configuration in which various brightness adjustment curves are stored in advance and appropriately selected.
  • an optimal luminance adjustment curve is selected and set (# 05), and then the luminance adjustment of the captured image is performed using the luminance adjustment curve (# 06).
  • this brightness adjustment curve may be tabulated (mapped) in terms of computer processing, or may be constructed by an operation method using an arithmetic expression or the like, but the brightness adjustment curve here is such It is used as a superordinate term that generically refers to all forms.
  • the photographed image whose brightness has been adjusted takes in the photographed image and displays it on the monitor (in-vehicle monitor 51) as a peripheral monitoring image or an image that recognizes traveling obstacles such as other cars and pedestrians from the photographed image It is output to the recognition module 6 (# 07).
  • the photographed image sent to the photographed image display module 5 is displayed on the monitor (# 08).
  • the on-vehicle camera device includes a camera body 10 including a photographing optical unit 11 and a photographed image generation unit 12 as a functional unit for acquiring a photographed image.
  • the photographing optical unit 11 includes optical system components such as a lens, an aperture and a shutter, and the photographed image generation unit 12 includes a photographing element such as a CCD and a CMOS.
  • the luminance-adjusted photographed image output from the in-vehicle camera device detects the photographed image display module 5 that generates a display image for the in-vehicle monitor 51, or detects an obstacle around the vehicle, a road sign, a parking lot or the like.
  • Image recognition module 6 or both.
  • different luminance adjustment methods may be used in the luminance adjustment module 3 for the photographed image sent to the photographed image display module 5 and the photographed image sent to the image recognition module 6, the basic principle will be described with reference to FIG. It conforms to what was done.
  • the various functions included in the brightness adjustment module 3 are substantially created by activating a program installed in the computer system and work in cooperation with the computer system hardware.
  • the luminance adjustment module 3 in this embodiment is a functional unit particularly related to the present invention, such as a photographed image input unit 31, a luminance characteristic data generation unit 32, a shadow area calculation unit 33, a luminance increase amount calculation unit 34, and a luminance adjustment curve.
  • a setting unit 35, a brightness adjustment curve table 36, a brightness adjustment unit 37, and a photographed image output unit 38 are provided.
  • the photographed image input unit 31 temporarily develops the photographed image sent from the photographed image generation unit 12 in the memory.
  • the luminance characteristic data generation unit 32 generates luminance characteristic data such as a luminance histogram and a luminance distribution image from the photographed image expanded in the memory.
  • the luminance characteristic data generation unit 32 of this embodiment is provided with a function of dividing a photographed image into a plurality of sections and generating luminance characteristic data from each section. In this division, it is convenient to clearly separate the area in which the sky may appear and the area in which the road surface may appear. This is because it is preferable to divide the sky area and the road surface area as much as possible since the important area for the brightness adjustment module 3 is an area that is darkened behind a certain shadow near the road surface.
  • the shadow area calculation unit 33 calculates a target shadow area based on a predetermined rule (condition) using the luminance characteristic data generated by the luminance characteristic data generation unit 32 as an input parameter.
  • the target shadow area is an area that is important for a peripheral image for monitoring the periphery of a vehicle, and in an ordinary captured image, it is an area that enters a shadow of a vehicle or a building and becomes dark.
  • an operation unit constructed using learning such as neural networks. Then the calculation accuracy will improve.
  • the brightness increase amount calculation unit 34 calculates the brightness increase amount such that blackening in the target shadow region is suppressed to some extent using the calculated brightness data of the target shadow region, for example, the average brightness value and the middle brightness value. Do. At that time, a configuration may be adopted in which the luminance value outside the target shadow area is taken into consideration.
  • a plurality of luminance adjustment curves are prepared in the luminance adjustment curve table 36 to be used when adjusting the luminance of the entire photographed image based on the amount of luminance increase. Therefore, the brightness adjustment curve setting unit 35 selects an optimum brightness adjustment curve from the brightness adjustment curve table 36 based on the brightness increase amount, the brightness characteristic data of the photographed image, and the like. Since the selected brightness adjustment curve is set for the brightness adjustment unit 37, the brightness adjustment unit 37 uses the set brightness adjustment curve to adjust the brightness of the photographed image.
  • the photographed image output unit 38 outputs the luminance-adjusted photographed image to the photographed image display module 5 and / or the image recognition module 6.
  • the photographed image is generated by the camera body 10 (# 20) and expanded in the memory of the luminance adjustment module 3 (# 22).
  • the photographed image expanded in the memory the whole area luminance characteristic data obtained from the whole is generated by the luminance characteristic data generation unit 32 (# 24).
  • division is set to a plurality of sections for the photographed image (# 26). Processing target sections are designated sequentially from the divided sections (# 28), and luminance characteristic data of the sections are generated (# 30).
  • the whole area luminance characteristic data and the section luminance characteristic data A shadow area of interest is calculated by the shadow area calculation unit 33 as an input parameter (# 34). Further, the brightness increase amount calculating unit 34 calculates the brightness increase amount necessary for making the image of the focus shadow region clearer based on the brightness of the focus shadow region (# 36). When the brightness adjustment curve is set based on the calculated brightness increase amount (# 38), the brightness adjustment unit 37 performs the brightness adjustment on the photographed image (# 40). The photographed image whose luminance has been adjusted is output through the photographed image output unit 38 (# 42). This series of processing steps is repeatedly executed until the vehicle periphery monitoring process is completed (# 44 Yes branch).
  • the brightness increase amount is calculated each time a captured image is acquired, but it is not necessary to calculate the brightness increase amount each time.
  • the brightness increase amount may be calculated at a predetermined time interval, a predetermined number of sheets, or every scene change.
  • many captured images are subjected to the brightness adjustment by using the previously used brightness adjustment curve as it is, and the calculation load of the brightness adjustment is reduced.
  • the configuration of the brightness adjustment module 3 is finely divided into functional blocks for easy understanding of the process of adjusting the brightness of the photographed image.
  • this functional block is for the purpose of illustration and the present invention It is not necessarily limited to such a block configuration.
  • the functional blocks may take various forms, as long as the described functions can be realized. For example, if the brightness increase amount is calculated, the brightness adjustment curve setting unit 35 becomes unnecessary in the case where the brightness adjustment curve is automatically set based on the brightness increase amount. (3) In the embodiment described above, the luminance histogram accompanied by statistical calculation is used as the luminance characteristic data, but when adopting a simple configuration in which a shadow area not more than a predetermined luminance value is calculated, luminance characteristic data is generated The unit 32 and the shadow area calculation unit 33 are integrated.
  • the present invention is applicable to all systems that monitor the surroundings of a vehicle using captured images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　撮影画像におけるシャドウ領域の物体確認性が改善された車載カメラ装置は、生成された撮影画像の輝度特性データに基づいて撮影画像における注目シャドウ領域を算定するシャドウ領域算定部と、注目シャドウ領域の輝度アップ量を算定する輝度アップ量算定部と、輝度アップ量に基づいて前記撮影画像の輝度を上げる輝度調整部と、輝度調整部によって輝度調整された撮影画像を車載カメラ画像処理部に出力する撮影画像出力部とが備えられている。

Description

車載カメラ装置
　本発明は、車両の周辺領域を撮影するために前記車両に搭載される車載カメラ装置に関する。
　このような車載カメラ装置によって取得された撮影画像は、車両周辺領域の監視のために種々の形態でモニタに表示されたり、画像認識等の処理を通じての物体検知に用いられたりする。
　例えば、駐車の際などにおいて運転者の死角を補完するために、上記の車載カメラ装置による車両後方の撮影画像が運転者の近傍に配設されたモニタに表示される。その際、モニタに対して適正な輝度を設定するために、カメラによって撮像される領域の明るさを検出する光センサが車両の後部に配設されており、この光センサによって検出された明るさに基づいてモニタの輝度を設定する輝度調整装置が特許文献１に記載されている。このような輝度調整装置を用いることで、撮影画像全体の最適輝度を算定することができる。しかしながら、車両周辺領域の監視では、撮影画像に含まれている建物や大木や車両などの影に入っている移動物体（子どもなど）といったその都度異なる局地的な撮影領域の輝度を適切にするような輝度調整は不可能である。また、輝度調整のために光センサを用意することは、部品コストかつ制御コストの負担も大きくなる。
　入力画像から順次抽出される予め設定された所定領域毎の領域画像を構成する画素の輝度値が予め設定された閾値を超えているときには、この閾値を超えないように画素輝度値を補正し、輝度補正された領域画像と学習モデルとに基づいて対象物を検出する対象物検出装置が特許文献２に記載されている。これにより、入力画像に高輝度が含まれている場合であっても、高精度に対象物が検出されることを意図している。学習モデルでは、学習画像として、歩行者、自転車乗員が撮影された画像が用いられており、そのような対象物を検出することを可能としている。しかしながら、この装置では、撮影画像から多数に区分けされた小領域毎にその小領域を構成する画素の輝度値に対してしきい値判定して輝度調整する処理を繰り返すので、対象物検出のために用いられる画像を生成するための演算負荷が大きいという欠点がある。
特開２０１０‐２０８３７２号公報（段落番号〔０００２－００３７〕、図４） 特開２００７‐２７２４２１号公報（段落番号〔０００８－００３８〕、図４）
　上記実情に鑑み、車両周辺監視において重要となる領域が良好に確認できるような撮影画像を出力することができる車載カメラ装置が要望されている。例えば、車両等の影に入って見え難くなっているシャドウ領域が車両周辺監視において重要となることが少なくないので、そのような特定領域の物体確認性を改善することである。
　上記課題を解決するため、本発明による、車両の周辺領域を撮影するために前記車両に搭載される車載カメラ装置では、生成された撮影画像における前記車両を除く領域である部分領域の輝度特性データに基づいて前記撮影画像全体の輝度調整が行われる。なおここで輝度特性データとは、輝度に関する特性データのことであり、単なる画素単位の輝度値のデータ集合や、輝度ヒストグラムや輝度領域分布などの統計値なども含む。
　この構成により、撮影画像において車両の周辺領域ではない前記車両が写っている領域以外の部分領域における輝度特性データに基づいて前記撮影画像全体が輝度調整されるので、車体部分、例えば、バンパーなどが撮影画像の輝度に与える影響を排除することができる。
　本発明による車載カメラ装置は、より具体的には、前記撮影画像における注目シャドウ領域を前記撮影画像の輝度特性データに基づいて前記部分領域として算定するシャドウ領域算定部と、前記注目シャドウ領域の輝度アップ量を算定する輝度アップ量算定部と、前記輝度アップ量に基づいて前記撮影画像の輝度を上げる輝度調整部と、前記輝度調整部によって輝度調整された撮影画像を車載カメラ画像処理部に出力する撮影画像出力部とを備えている。
　この構成では、撮影画像から輝度特性データ、例えば輝度ヒストグラムや輝度領域分布などを作成し、この輝度特性データから撮影画像における車両周辺監視目的で重要となる注目シャドウ領域を算定する。さらに、算定された注目シャドウ領域に限定して当該注目シャドウ領域の輝度を上げる輝度アップ量が算定され、この輝度アップ量に基づいて、撮影画像の輝度を上げる輝度調整が施される。ここでの輝度アップ量は、単純に輝度値を上げるだけでなく、この注目シャドウ領域における輝度のダイナミックレンジを大きくすることも含む語句として用いられており、輝度レベル調整量と言い換えてもよい。このような輝度調整がなされた撮影画像は、空や照明光などのハイライト領域に白飛びが生じて、一般的な撮影画像の観点からは低品質となるが、建物や大木や車両などの影に入っている子どもなどの移動物体が確認しやすい画像となる。従って、この輝度調整済み撮影画像がモニタに表示されると、運転者は建物や大木や車両などの影に入っている子どもなどの移動物体を視認し易くなる。また、この輝度調整済み撮影画像を用いた画像認識では、そのような移動物体の認識が容易となる。
　さらに、注目シャドウ領域を算定し、その注目シャドウ領域の輝度値から算定された輝度アップ量に基づいて撮影画像全体の輝度が調整されるので、注目シャドウ領域だけを輝度調整した場合に生じる注目シャドウ領域境界線での違和感が解消され、全体として一体感のある撮影画像が得られる。この場合、空や照明などのハイライト領域では白飛びが生じても、車両周辺監視のための画像においては、そのような白飛びはそれほど問題とならない。
　本発明の好適な実施形態の１つでは、前記撮影画像を複数の区画で分割して得られた各区画の区画輝度特性データを生成する輝度特性データ生成部が備えられ、当該区画輝度特性データに基づいて前記シャドウ領域算定部は前記周辺領域に存在する物体に起因するシャドウ領域を前記注目シャドウ領域として算定するように構成されている。注目シャドウ領域は、何らかの物体の影に入っているために確認しづらくなった車両走行上障害となる物体が存在する可能性の高い領域である。このような注目シャドウ領域を撮影画像から見つけ出す精度は、撮影画像を複数の区画に分けた方が高くなる。
　注目シャドウ領域のための輝度アップ量が算定されたとしても、注目シャドウ領域以外の領域も同じ輝度アップ量を適用することは、注目シャドウ領域以外の領域の輝度特性によっては不都合な場合がある。これを解決するためには、輝度アップ量に基づく輝度調整に自在性を与えるよい。この目的のため本発明の好適な実施形態の１つでは、前記輝度アップ量に基づいて輝度調整曲線を選択する輝度調整曲線設定部が備えられ、前記輝度調整部は前記選択された輝度調整曲線を用いて前記撮影画像の輝度を上げるように構成されている。
　注目シャドウ領域の算定には、経験的に得られる知識が重要となる。このため、学習型の算定ユニットが適している。従って、本発明の好適な実施形態の１つでは、前記シャドウ領域算定部は、輝度特性データを入力パラメータとして前記注目シャドウ領域を導出するように予め学習することで構築されている。
車両周辺領域の撮影画像における注目シャドウ領域を算定して、この注目シャドウ領域の輝度が適切に上げられるように撮影画像に対して輝度調整を行う過程を図解している模式図である。 輝度特性データの一例を説明する説明図である。 輝度特性データの一例を説明する説明図である。 本発明による車載カメラ装置の好適な実施形態における輝度調整機能の機能ブロック図である。 図４による車載カメラ装置における輝度調整の流れを示すフローチャートである。
　本発明による車載カメラ装置の具体的な実施形態を説明する前に、図１を用いて、この車載カメラ装置において実行される輝度調整の基本原理を模式的に説明する。発明による車載カメラ装置の基本的な構想は、生成された車両の周辺領域の撮影画像における車両を除く領域である部分領域の輝度特性データに基づいて前記撮影画像全体の輝度調整が行われる。例えば、撮影画像における自車両のバンパーなどの車両構成部材を除く、純粋な車両周辺領域の画素値（輝度値）を用いて、その車両周辺領域における影などのシャドウ領域を明るくする。これにより、モニタに表示される車両周辺画像の視認性が向上する。
　なお、自動輝度調整において、通常（例えば、被写体が人物等の場合）の収束範囲より高い収束範囲で輝度調整（露光調整）することで、シャドウ領域が明るくなった撮影画像を得ることも、本発明による輝度調整に含まれる。このようにシャドウ領域が明るくなった撮影画像を得るように構成することで、影の中の物体が浮き上がり、影の中の物体が認識しやすくなる。また、木々の葉等の被写体がはっきりと距離感良く見えるようになる。すなわち、車両の周辺監視用カメラとして、周囲の安全確保に適した構成となる。
　以下に説明する、模式化することでより具体化された本発明の基本原理では、撮影画像における特定の注目シャドウ領域の輝度特性データに基づいて、当該撮影画像全体の輝度がアップされる。
　車載カメラ装置のカメラ部によって撮影画像が生成される（＃０１）。このカメラ部には通常のホワイトバランス回路やγ補正部などが備えられており、生成された撮影画像、正確にはデジタル撮影画像は、一般的な品質レベルの画像となっている。つまり、撮影画像にはハイライト領域とシャドウ領域と中間領域がバランスされており、ハイライト領域では白飛びが抑制され、シャドウ領域では黒つぶれが抑制されている。
　生成された撮影画像は画素単位で輝度値を有しているので、この画素単位の輝度値を利用して、輝度特性データを生成する（＃０２）。輝度特性データの例として、図２及び図３に示すように、輝度ヒストグラムや輝度分布画像などが挙げられる。輝度ヒストグラムは、よく知られているように、画像の輝度（明暗の度合い）の分布を、横軸に輝度、縦軸に画素数をとって表すものであり、この輝度特性データから、撮影画像におけるシャドウ領域やハイライト領域の占める割合が検出することができる。また、輝度分布画像は、撮影画像と同等な二次座標面における所定輝度階調での輝度の分布を表すものである。この輝度階調は線形でなく、本発明にとって重要なシャドウ領域を高階調として非線形であってもよい。デジタル化された撮影画像そのものは一種の輝度分布画像でもあるので、撮影画像そのものないしはそのモザイク画像を輝度分布画像としてもよい。このような輝度特性データに基づいて、路面上に存在する物体のうちで、影になって暗くなっている領域が注目シャドウ部として算定される。その際、車載カメラの撮影中心は実質的には固定されているので、撮影画面の上半分が空などの明るい領域（ハイライト領域）となり、撮影画面の下半分が影の影響を受けるくらい領域（シャドウ領域）となる可能性が高い。このことを考慮して、注目シャドウ領域を撮影画面の下半分に限定することも可能である。
　また、人間の知覚に基づいて撮影画像に対する視認性評価を行って視認性評価画像を輝度特性データとして生成し、シャドウ領域でかつ視認性の低い領域を注目車両領域として算定してもよい。
　より正確な注目シャドウ領域の算定を行うためには、ニューラルネットワークのような学習制御を採用することである。例えば、予め、多数の典型的な撮影画像を取得し、各撮影画像における注目したいシャドウ領域を決定する。そのようにして得られたシャドウ領域とその撮影画像の輝度特性データとの組み合わせを教師情報として、入力撮影画像の輝度特性データを入力することでシャドウ領域が特定される出力が得られる演算モジュールを構築する。
　さらに、この輝度特性データは、図２に示すように、撮影画像全体を対象として生成する形態と、図３に示すように、撮影画像を複数の区画で分割して得られた区画毎の輝度特性データ、つまり区画輝度特性データに分けることができる。特定種の輝度特性データでは、区画化することにより、注目シャドウ領域を算定するためのより効果的なデータとなる。例えば、区画輝度ヒストグラムから、撮影画像における黒飛びが生じているシャドウ領域の位置を簡単に検出することができる。
　生成された輝度特性データから、影に隠れて暗くなってしまった路面上ないしは路面近くの物体の存在の可能性があるシャドウ領域が注目シャドウ領域として算定される（＃０３）。ごく簡単な注目シャドウ領域算定アルゴリズムのひとつは、明るい領域で上方を囲まれた路面近くの暗い領域を注目シャドウ領域とすることである。
　上述したような注目シャドウ領域が算定されると、注目シャドウ領域に含まれる画素の輝度値に基づいて、場合によっては、注目シャドウ領域以外に含まれる画素の輝度値や撮影画像の平均輝度値なども用いて、注目シャドウ領域における視認性や認識性を向上させるように注目シャドウ領域を明るくするための輝度アップ量が算定される（＃０４）。
　次いで、算定された輝度アップ量に基づいて撮影画像の輝度を上げる輝度調整が実行されるが、この撮影画像の輝度調整は、よく知られているように、一般的には、輝度調整（補正）曲線を用いて行われる。この輝度調整曲線は線形（つまり直線）でもよいが、一般的にはＳ字曲線が用いられる。この輝度調整を通じて、算定された輝度アップ量に実質的に相当する程度の輝度上昇が注目シャドウ領域において実現する。輝度調整曲線の形状、つまり撮影画像全体としての輝度アップの度合いは、その注目車両領域や撮影画像の輝度分布によって、変更した方がよい場合がある。従って、種々の輝度調整曲線を予め格納しておいて、適切に選択するような構成を採用することが好都合である。そのような構成の場合、まず、最適な輝度調整曲線を選択して設定し（＃０５）、次にその輝度調整曲線を用いて撮影画像の輝度調整が行われる（＃０６）。なお、この輝度調整曲線は、コンピュータ処理的には、テーブル化（マップ化）してもよいし、演算式による演算方式などで構築してもよいが、ここでの輝度調整曲線はそのような全ての形態を総称する上位概念の語句として用いられている。
　輝度調整された撮影画像は、撮影画像を取り込んで周辺監視画像としてモニタ（車載モニタ５１）に表示させる撮影画像表示モジュール５や撮影画像から他車や歩行者などの走行障害物などを認識する画像認識モジュール６に出力される（＃０７）。撮影画像表示モジュール５に送られた撮影画像はモニタに表示される（＃０８）。
　次に、上述した輝度調整の基本原理を採用した、本発明による車載カメラ装置の具体的な実施形態の一例を説明する。この車載カメラ装置は、車両に搭載される、駐車支援システムや周辺風景監視システムに組み込まれる。図４にはこの車載カメラ装置の機能ブロック図が示されており、本発明に最も関係する機能部は輝度調整モジュール３である。車載カメラ装置には、撮影画像を取得する機能部として、撮影光学ユニット１１や撮影画像生成部１２などからなるカメラ本体１０が含まれている。撮影光学ユニット１１にはレンズや絞り・シャッターなどの光学系部品が含まれ、撮影画像生成部１２にはＣＣＤやＣＭＯＳなどの撮影素子が含まれている。車載カメラ装置から出力される輝度調整済みの撮影画像は、車載モニタ５１のための表示用画像を生成する撮影画像表示モジュール５、または車両周辺の障害物や道路標識や駐車区画線などを検出するための画像認識モジュール６あるいはその両方に送られる。なお、撮影画像表示モジュール５に送られる撮影画像と画像認識モジュール６に送られる撮影画像とでは、輝度調整モジュール３においてそれぞれ異なる輝度調整方法を用いてもよいが、その基本原理は図１で説明されたものに準じる。
　輝度調整モジュール３に含まれる種々の機能は、実質的にはコンピュータシステムに搭載されたプログラムを起動することにより作り出され、コンピュータシステムのハードウエアと協働して作用する。この実施形態での輝度調整モジュール３は、本発明に特に関係する機能部として、撮影画像入力部３１、輝度特性データ生成部３２、シャドウ領域算定部３３、輝度アップ量算定部３４、輝度調整曲線設定部３５、輝度調整曲線テーブル３６、輝度調整部３７、撮影画像出力部３８を備えている。
　撮影画像入力部３１は、撮影画像生成部１２から送られてきた撮影画像を一時的にメモリに展開する。輝度特性データ生成部３２は、メモリに展開された撮影画像から、輝度ヒストグラムや輝度分布画像などの輝度特性データを生成する。なお、この実施形態の輝度特性データ生成部３２では、撮影画像を複数の区画に区分けし、各区画から輝度特性データを生成する機能が備えられている。この区画区分けでは、特に空が写る可能性のある領域と路面が写る可能性の領域とが明確に区分けされることが好都合である。これは、この輝度調整モジュール３にとっての重要な領域は路面近くで何かの影に隠れて暗くなっている領域であるので、空領域と路面領域はできるだけ区分けすることが好ましいからである。
　シャドウ領域算定部３３は、輝度特性データ生成部３２によって生成された輝度特性データを入力パラメータとして所定のルール（条件）に基づいて注目シャドウ領域を算定する。この注目シャドウ領域は、車両周辺監視のための周辺画像にとって重要な領域でかつ通常の撮影画像においては車両や建物などの影に入って暗くなってしまう領域である。撮影画面の下半分で周囲に比べ暗くなっている領域を注目シャドウ領域とするような簡単なアルゴリズムを採用することも可能であるが、ニューラルネットワークのような学習を用いて構築する演算部を採用すると算定精度が向上する。
　輝度アップ量算定部３４は、算定された注目シャドウ領域の輝度データ、例えば輝度平均値や輝度中間値などを用いて、注目シャドウ領域での黒つぶれがある程度抑制されるような輝度アップ量を算定する。その際、注目シャドウ領域外の輝度値を考慮するような構成を採用してもよい。
　この実施形態では、輝度アップ量に基づいて撮影画像全体の輝度を調整する際に利用する輝度調整曲線が輝度調整曲線テーブル３６に複数用意されている。従って、輝度調整曲線設定部３５は、輝度アップ量及び撮影画像の輝度特性データなどから最適な輝度調整曲線を輝度調整曲線テーブル３６から選択する。選択された輝度調整曲線は輝度調整部３７に対して設定されるので、輝度調整部３７をこの設定された輝度調整曲線を用いて、撮影画像の輝度調整を実施する。撮影画像出力部３８は、輝度調整された撮影画像を撮影画像表示モジュール５又は画像認識モジュール６あるいはその両方に出力する。
　上述したように構成された車載カメラ装置における、撮影画像輝度調整処理の一例を図５によるフローチャートを用いて説明する。
　この車載カメラ装置による撮影画像を用いた車両周辺監視プロセスが開始すると、カメラ本体１０で撮影画像が生成され（＃２０）、輝度調整モジュール３のメモリに展開される（＃２２）。まず、メモリに展開された撮影画像は、その全体から求められた全域輝度特性データが輝度特性データ生成部３２によって生成される（＃２４）。さらに、撮影画像に対して複数区画に区分け設定される（＃２６）。区分けされた区画から順次、処理対象区画が指定され（＃２８）、当該区画の輝度特性データが生成される（＃３０）。順次指定された処理対象区画の輝度特性データ生成が繰り返され（＃３２No分岐）、全ての区画の輝度特性データが生成されると（＃３２Yes分岐）、全域輝度特性データと区画輝度特性データとを入力パラメータとして注目シャドウ領域がシャドウ領域算定部３３によって算定される（＃３４）。さらに、注目シャドウ領域の輝度に基づいてこの注目シャドウ領域の画像をより明確にするために必要な輝度アップ量が輝度アップ量算定部３４によって算定される（＃３６）。算定された輝度アップ量に基づいて輝度調整曲線が設定されると（＃３８）、輝度調整部３７は撮影画像に対する輝度調整を実施する（＃４０）。輝度調整された撮影画像は撮影画像出力部３８を通じて出力される（＃４２）。この一連の処理ステップは、車両周辺監視プロセスが終了するまで（＃４４Yes分岐）繰り返し実行される。
〔別実施の形態〕
（１）上述した実施形態における、図５による車両周辺監視プロセスでは、撮影画像を取得する毎に輝度アップ量を算定していたが、必ずしも毎回輝度アップ量を算定する必要はない。所定の時間間隔又は所定枚数間隔、あるいはシーン変更毎に輝度アップ量を算定するようにしてもよい。これにより、多くの撮影画像は先に用いた輝度調整曲線をそのまま流用して輝度調整を施されることになり、輝度調整の演算負荷が低減される。
（２）上述した実施形態では、撮影画像に対する輝度調整過程を分かりやすく説明するため、輝度調整モジュール３の構成を機能別に細かくブロック化しているが、この機能ブロックは説明目的であり、本発明がこのようなブロック構成に限定されるわけではない。記載された機能が実現できる限り、その機能ブロックは種々の形態をとることができる。例えば、輝度アップ量が算定されると、当該輝度アップ量に基づいて自動的に輝度調整曲線が設定される構成の場合、輝度調整曲線設定部３５は不要となる。
（３）上述した実施形態では、輝度特性データとして統計的演算を伴う輝度ヒストグラムが用いられていたが、所定輝度値以下を注目シャドウ領域と算定する簡易的な構成を採用すると、輝度特性データ生成部３２とシャドウ領域算定部３３は一体化する。
　本発明は、撮影画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
　１０：カメラ本体
　１２：撮影画像生成部
　　３：輝度調整モジュール
　３１：撮影画像入力部
　３２：輝度特性データ生成部
　３３：シャドウ領域算定部
　３４：輝度アップ量算定部
　３５：輝度調整曲線設定部
　３６：輝度調整曲線テーブル
　３７：輝度調整部
　３８：撮影画像出力部

Claims (6)

  1. 　車両の周辺領域を撮影するために前記車両に搭載される車載カメラ装置において、
    　生成された撮影画像における前記車両を除く領域である部分領域の輝度特性データに基づいて前記撮影画像全体の輝度調整が行われる車載カメラ装置。
  2. 　前記撮影画像における注目シャドウ領域を前記撮影画像の輝度特性データに基づいて前記部分領域として算定するシャドウ領域算定部と、前記注目シャドウ領域の輝度アップ量を算定する輝度アップ量算定部と、前記輝度アップ量に基づいて前記撮影画像の輝度を上げる輝度調整部と、前記輝度調整部によって輝度調整された撮影画像を車載カメラ画像処理部に出力する撮影画像出力部とを備えた請求項１に記載の車載カメラ装置。
  3. 　前記撮影画像を複数の区画で分割して得られた各区画の区画輝度特性データを生成する輝度特性データ生成部が備えられ、当該区画輝度特性データに基づいて前記シャドウ領域算定部は前記周辺領域に存在する物体に起因するシャドウ領域を前記注目シャドウ領域として算定する請求項２に記載の車載カメラ装置。
  4. 　前記輝度アップ量に基づいて輝度調整曲線を選択する輝度調整曲線設定部が備えられ、前記輝度調整部は前記選択された輝度調整曲線を用いて前記撮影画像の輝度を上げる請求項２又は３に記載の車載カメラ装置。
  5. 　前記輝度アップ量及び前記輝度特性データに基づいて輝度調整曲線を選択する輝度調整曲線設定部が備えられ、前記輝度調整部は前記選択された輝度調整曲線を用いて前記撮影画像の輝度を上げる請求項２又は３に記載の車載カメラ装置。
  6. 　前記シャドウ領域算定部は、前記輝度特性データを入力パラメータとして前記注目シャドウ領域を導出するように予め学習することで構築される学習型算定ユニットである請求項２から５のいずれか一項に記載の車載カメラ装置。
PCT/JP2012/062845 2011-06-16 2012-05-18 車載カメラ装置 WO2012172922A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP12800299.5A EP2723060A4 (en) 2011-06-16 2012-05-18 VEHICLE MOUNTED CAMERA DEVICE
US14/116,451 US20140085473A1 (en) 2011-06-16 2012-05-18 In-vehicle camera apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-134465 2011-06-16
JP2011134465A JP5435307B2 (ja) 2011-06-16 2011-06-16 車載カメラ装置

Publications (1)

Publication Number Publication Date
WO2012172922A1 true WO2012172922A1 (ja) 2012-12-20

Family

ID=47356916

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/062845 WO2012172922A1 (ja) 2011-06-16 2012-05-18 車載カメラ装置

Country Status (4)

Country Link
US (1) US20140085473A1 (ja)
EP (1) EP2723060A4 (ja)
JP (1) JP5435307B2 (ja)
WO (1) WO2012172922A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2843937A1 (en) * 2013-07-16 2015-03-04 Connaught Electronics Ltd. Method for adapting a gamma curve of a camera system of a motor vehicle, camera system and motor vehicle

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6620762B2 (ja) * 2015-02-12 2019-12-18 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび画像処理システム
CN107005680B (zh) * 2015-11-19 2019-11-01 深圳市锐明技术股份有限公司 一种感兴趣区域切换方法及装置
US20170147887A1 (en) * 2015-11-23 2017-05-25 Ford Global Technologies, Llc Method and apparatus for interior/exterior vehicular environment alerts
JP6589741B2 (ja) 2016-05-25 2019-10-16 株式会社デンソー 画像処理装置
US10861138B2 (en) * 2016-07-13 2020-12-08 Rakuten, Inc. Image processing device, image processing method, and program
JP2018056743A (ja) * 2016-09-28 2018-04-05 ルネサスエレクトロニクス株式会社 逆光補正プログラム及び半導体装置
JP2020104804A (ja) * 2018-12-28 2020-07-09 トヨタ自動車株式会社 電子ミラーシステム
EP4183127A1 (en) * 2020-07-15 2023-05-24 Arriver Software AB Vision system for a motor vehicle
JP2022038136A (ja) * 2020-08-26 2022-03-10 トヨタ自動車株式会社 ルート決定システム、ルート決定方法及びルート決定プログラム
DE102020213270A1 (de) 2020-10-21 2022-04-21 Conti Temic Microelectronic Gmbh System zur Vermeidung von Unfällen durch Wildwechsel bei Dämmerung und Nacht
CN113507569A (zh) * 2021-06-30 2021-10-15 上海商汤临港智能科技有限公司 车载摄像头的控制方法及装置、设备和介质
JP2023110325A (ja) * 2022-01-28 2023-08-09 キヤノン株式会社 カメラシステム、移動体、カメラシステムの制御方法、及びコンピュータプログラム
US11935156B2 (en) 2022-02-18 2024-03-19 GM Global Technology Operations LLC Methods and systems for color harmonization in surround view systems

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034748A (ja) * 1999-07-26 2001-02-09 Nippon Telegr & Teleph Corp <Ntt> 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置
JP2007074070A (ja) * 2005-09-05 2007-03-22 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2007272421A (ja) 2006-03-30 2007-10-18 Toyota Central Res & Dev Lab Inc 対象物検出装置、方法及びプログラム
JP2008277921A (ja) * 2007-04-25 2008-11-13 Sharp Corp 撮像装置およびこれを備えた移動体
JP2010050568A (ja) * 2008-08-19 2010-03-04 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010208372A (ja) 2009-03-06 2010-09-24 Toyota Motor Corp 輝度調整装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
US7486835B2 (en) * 2005-03-17 2009-02-03 Delphi Technologies, Inc. System and method for enhancing an image
US8014034B2 (en) * 2005-04-13 2011-09-06 Acd Systems International Inc. Image contrast enhancement
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
TWI368185B (en) * 2008-11-06 2012-07-11 Ind Tech Res Inst Method for detecting shadow of object

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034748A (ja) * 1999-07-26 2001-02-09 Nippon Telegr & Teleph Corp <Ntt> 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置
JP2007074070A (ja) * 2005-09-05 2007-03-22 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2007272421A (ja) 2006-03-30 2007-10-18 Toyota Central Res & Dev Lab Inc 対象物検出装置、方法及びプログラム
JP2008277921A (ja) * 2007-04-25 2008-11-13 Sharp Corp 撮像装置およびこれを備えた移動体
JP2010050568A (ja) * 2008-08-19 2010-03-04 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010208372A (ja) 2009-03-06 2010-09-24 Toyota Motor Corp 輝度調整装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2723060A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2843937A1 (en) * 2013-07-16 2015-03-04 Connaught Electronics Ltd. Method for adapting a gamma curve of a camera system of a motor vehicle, camera system and motor vehicle

Also Published As

Publication number Publication date
EP2723060A4 (en) 2014-07-02
EP2723060A1 (en) 2014-04-23
JP5435307B2 (ja) 2014-03-05
JP2013005234A (ja) 2013-01-07
US20140085473A1 (en) 2014-03-27

Similar Documents

Publication Publication Date Title
WO2012172922A1 (ja) 車載カメラ装置
JP2013005234A5 (ja)
US9424462B2 (en) Object detection device and object detection method
JP5071198B2 (ja) 信号機認識装置，信号機認識方法および信号機認識プログラム
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
US11477372B2 (en) Image processing method and device supporting multiple modes and improved brightness uniformity, image conversion or stitching unit, and computer readable recording medium realizing the image processing method
WO2012067028A1 (ja) 画像入力装置および画像処理装置
KR101367637B1 (ko) 감시장치
US20100103194A1 (en) Method and system for fusing images
US20140247358A1 (en) Image generation device for monitoring surroundings of vehicle
JP2009157087A (ja) 露出制御装置及び露出制御プログラム
JP4556777B2 (ja) 夜間運転視界支援装置
JP2008135856A (ja) 物体認識装置
JP2010257282A (ja) 障害物検知装置、および当該装置を搭載した車両
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JP6246629B2 (ja) 監視装置
CN114143472B (zh) 图像曝光方法、装置、拍摄设备及无人机
WO2011000392A1 (en) Method and camera system for improving the contrast of a camera image
JP6289439B2 (ja) 画像処理装置
EP2843937B1 (en) Method for adapting a gamma curve of a camera system of a motor vehicle, camera system and motor vehicle
TWI630818B (zh) Dynamic image feature enhancement method and system
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
JP2019204988A (ja) 画像処理装置及び画像処理方法
KR101909392B1 (ko) 서라운드 뷰 모니터링 시스템
JP2011181019A (ja) 俯瞰画像生成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12800299

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14116451

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012800299

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE