WO2019146510A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2019146510A1
WO2019146510A1 PCT/JP2019/001386 JP2019001386W WO2019146510A1 WO 2019146510 A1 WO2019146510 A1 WO 2019146510A1 JP 2019001386 W JP2019001386 W JP 2019001386W WO 2019146510 A1 WO2019146510 A1 WO 2019146510A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
processing apparatus
image
attention area
synchronization signal
Prior art date
Application number
PCT/JP2019/001386
Other languages
English (en)
French (fr)
Inventor
春樹 的野
善之 武藤
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US16/962,984 priority Critical patent/US11509813B2/en
Publication of WO2019146510A1 publication Critical patent/WO2019146510A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image processing apparatus.
  • Patent Document 2 discloses an imaging device having a wide-angle lens (so-called fisheye lens).
  • An object of the present invention is to provide an image processing apparatus capable of accurately detecting an object even when a lens with large distortion is used.
  • a first imaging unit for capturing a first image in accordance with a first synchronization signal, and a second image for capturing a second image in accordance with the second synchronization signal
  • the second imaging unit an attention area setting unit for setting an attention area indicating an attention area, and the first image area of the second image corresponding to the attention area of the first image and the attention area
  • a phase difference setting unit configured to set a phase difference between the first synchronization signal and the second synchronization signal for matching the imaging timings of the imaging unit and the second imaging unit; and the first based on the phase difference.
  • a synchronization signal generation unit that generates the second synchronization signal.
  • FIG. 1 is a block diagram of an image processing apparatus according to a first embodiment. It is a block diagram of the image processing apparatus by 2nd Embodiment. It is a block diagram of the image processing apparatus by 3rd Embodiment. It is a block diagram of the image processing apparatus by 4th Embodiment. It is a block diagram of the image processing apparatus by 5th Embodiment. It is a conceptual diagram of a phase difference. It is a figure showing the principle of a stereo camera. It is a figure which shows distortion of a lens with large distortion.
  • This stereo camera calculates the distance of an object such as a pedestrian by using a pair of images captured by two imaging units, and recognizes the object, and detects intrusion or abnormality of a suspicious person.
  • the present invention can be applied to a monitoring system and an in-vehicle system for supporting safe driving of a car.
  • the stereo camera used in the above-described monitoring system or in-vehicle system applies triangulation technology to a pair of images captured at different positions to obtain a distance, and at least two imaging units and
  • a stereo image processing LSI Large Scale Integration
  • LSI Large Scale Integration
  • the stereo image processing LSI which is the image processing unit, performs triangulation processing by performing processing of superposing pixel information included in a pair of images to obtain a shift amount (parallax) of a position where two images coincide. To realize. Therefore, it is ideal that there is no shift other than parallax between a pair of images, and each imaging unit is adjusted so as not to shift optical characteristics or signal characteristics, or the positional relationship between cameras etc. I need to ask for it.
  • FIG. 7 is a diagram showing the general principle of a stereo camera.
  • ⁇ is the parallax
  • Z is the measurement distance (the distance from the lens to the measurement point)
  • f is the focal distance (the distance from the imaging surface to the lens)
  • b is the base length (the length between two imaging devices) Respectively, and the relationship shown by the following equation (1) holds among them.
  • FIG. 1 shows the entire configuration of an image processing apparatus 1 which is a stereo camera according to a first embodiment of the present invention.
  • the camera 100 includes the camera 100 as a first imaging unit and the camera 101 as a second imaging unit, and can perform distance measurement in stereo.
  • the camera 100 and the camera 101 use a complementary metal oxide semiconductor (CMOS) sensor as an example, and are driven based on a synchronization signal. That is, the camera 100 (first imaging unit) captures an image (first image) in synchronization with the synchronization signal Sig1 (first synchronization signal), and the camera 101 (second imaging unit) receives the synchronization signal An image (second image) is captured in accordance with Sig2 (second synchronization signal).
  • the operation method is a rolling shutter method in which the shutter operation is sequentially performed by shifting time for each scanning line, and the pixel signal is read out by this method.
  • the synchronization signal generation unit 102 generates a synchronization signal which is a signal for synchronizing the timing of shooting so that the cameras 100 and 101 shoot a scene at the same time.
  • a synchronization signal which is a signal for synchronizing the timing of shooting so that the cameras 100 and 101 shoot a scene at the same time.
  • the image processing unit 103 performs geometric processing (correction) on the camera 100 and image processing of the camera 101 so that distortion by the lens of the camera 101 becomes parallel, correlation value calculation unit 1032, attention area setting unit 1033, order A phase difference setting unit 1034 is provided.
  • the geometric conversion unit 1031 prepares a readout position table for each pixel in advance, combines the method of reconstructing the image according to the readout position table for each pixel, and combines horizontal movement, vertical movement, scaling, rotation, and shear calculation. The distortion of the image is corrected using a calculation method or the like.
  • the correlation value calculation unit 1032 searches for a position with high correlation in the horizontal direction from the two images converted by the geometric conversion unit 1031, and performs calculation to specify the position (stereo matching).
  • the difference between the search start position of the camera 100 of the stereo camera and the position where the correlation with the camera 101 is the highest is the parallax ⁇ .
  • the calculation method of the correlation value in this embodiment uses the sum of absolute differences SAD (Sum of Absolute Difference), the present invention is not limited to this. In calculating the correlation value, several pixels are made into one block and comparison is performed for each block, and it is assumed that the correlation value is high where the difference absolute value sum SAD, which is an index of the correlation value, becomes the smallest.
  • the image processing unit 103 takes an average of the correlation values in the vicinity of the center (central part) and in the vicinity of the periphery (peripheral part) calculated for each pixel.
  • the synchronization signal generation unit 102 receives the shift amount ⁇ t of the left and right synchronization signals.
  • the synchronization signal generation unit 102 shifts the left and right synchronization signals according to the shift amount ⁇ t of the synchronization signal. That is, the synchronization signal generation unit 102 generates the synchronization signal Sig1 (first synchronization signal) and the synchronization signal Sig2 (second synchronization signal) based on the deviation amount ⁇ t (phase difference).
  • the image processing unit 103 gives the synchronization signal generation unit 102 a predetermined amount of deviation ⁇ t multiple times, and calculates the average value of the correlation values separately near the center and near the periphery. Then, ⁇ t is changed ( ⁇ t1, ⁇ t2,..., ⁇ tn), and calculation of the average value of correlation values is repeated for each of the vicinity of the center and the vicinity of the periphery. If the point ⁇ t at which the average value of the correlation values near the center and the periphery is the same is the same, the amount of deviation ⁇ t is set. When the maximum average value of the correlation values around the center and the periphery is different (for example, around the center: ⁇ t1 and the periphery: ⁇ t2), the average value of either correlation value is equal to either one. To be
  • the average value of either one or both can be adjusted. For example, it is possible to perform accurate distance measurement depending on the situation by setting the center to be closer to the center if you want to look at the center of the center more intensively, or to the periphery if you want to look around.
  • the image processing unit 103 functions as a focused area setting unit 1033 that sets a focused area indicating a focused area.
  • the attention area is one or both of the vicinity of the periphery and the vicinity of the center.
  • the image processing unit 103 is imaged by the attention area of the image (first image) captured by the camera 100 (first imaging unit) and the camera 101 (second imaging unit) corresponding to the attention area.
  • the synchronization signal Sig1 (first synchronization signal) and the synchronization signal Sig2 (second synchronization signal) that match the imaging timings of the camera 100 and the camera 101 in the area of the second image Functions as a phase difference setting unit 1034 that sets the phase difference).
  • the focused area setting unit 1033 may set an intermediate part between the central part and the peripheral part as the focused area.
  • the speed of the electronic shutter of the CMOS sensor (the camera 100 and the camera 101) is fast, the SCAN speed is fast and the synchronization deviation becomes small.
  • the stereo camera (image processing apparatus 1) performs image processing on the attention area setting unit 201 and the phase difference setting unit 104 as compared to the first embodiment. It is provided separately from the unit 103A.
  • the attention area setting unit 201 includes a priority database 2011 (priority DB).
  • the image processing unit 103A according to the present embodiment includes, as an example, a geometric conversion unit 1031 and a correlation value calculation unit 1032.
  • the attention area setting unit 201 specifies the position and distance of a pedestrian or a car by image processing. Priority is given to these objects, and an attention area is set for objects with high priorities. That is, the priority database 2011 stores, for example, an object and its priority. As a method of giving priority, for example, those close to one's own vehicle, pedestrians, those which are located on the traveling path and which may collide in a short time are given high priorities.
  • the attention area setting unit 201 pays attention according to the situation. Set the area. If the area of the pedestrian is selected as the area of interest, setting the area to the narrowest part with the neck and setting the phase difference (the shift amount ⁇ t of the synchronization signal) to that part will make the pedestrian's
  • the head of the head which is a silhouette, can be detected stably.
  • the attention area setting unit 201 captures an image of the camera 100 (first imaging unit) and the camera 101 (second imaging unit) at the position of the pedestrian's head A shift amount ⁇ t (phase difference) of the synchronization signal to set the timing is set.
  • the target area setting unit 201 may set, as a target area, a region in which a target with a predetermined priority is detected.
  • the predetermined priority means, for example, those higher than the predetermined priority, those with the highest priority, and the like.
  • the phase difference setting unit 104 sets an attention area A_trg of an image (first image) captured by the camera 100 (first imaging unit) to the attention area A_trg set by the attention area setting unit 201.
  • a synchronization signal Sig1 first synchronization
  • An amount of deviation ⁇ t phase difference between the signal A) and the synchronization signal Sig 2 (second synchronization signal) is set.
  • the attention area setting unit 201 may change the size of the attention area according to the size of the target. For example, the attention area setting unit 201 sets the attention area so that the entire target object is included. Thereby, the distance of an object can be calculated accurately.
  • the stereo camera (image processing apparatus 1) of the third embodiment of the present invention includes a vehicle speed sensor 301 in addition to the components of the second embodiment.
  • the vehicle speed sensor 301 is connected to the attention area setting unit 201.
  • the attention area setting unit 201A of the present embodiment does not have the priority database 2011 of the second embodiment.
  • the attention area setting unit 201 sets the area so that the center portion is synchronized.
  • the attention area setting unit 201A sets the attention area according to the own vehicle speed.
  • the attention area setting unit 201A causes the vicinity of the optical axis center (or disappearance) of the camera 100 (first imaging unit) in an image (first image) in the case of high-speed traveling where the own vehicle speed is equal to or higher than a predetermined speed. In the case of low speed traveling where the vehicle speed is less than a predetermined speed, the peripheral portion of the image (first image) is set as the attention area.
  • an image (first image) captured by the camera 100 (first imaging unit) is used as a reference image, but an image (second image) captured by the camera 101 (second imaging unit) Image 2) may be used as a reference image.
  • FIG. 6 shows a conceptual diagram of the synchronization signal when the synchronization position is shifted depending on the vehicle speed. It shows that the shift amount ⁇ t (phase difference) of the synchronization signal is made variable at high and low vehicle speeds.
  • the shift amount ⁇ t1 of the synchronization signal when the vehicle speed is high is larger than the shift amount ⁇ t2 of the synchronization signal when the vehicle speed is low. That is, the shift amount ⁇ t of the synchronization signal increases as the vehicle speed increases.
  • the stereo camera (image processing apparatus 1) includes a geometric correction amount calculation unit 401 in addition to the components of the third embodiment.
  • the geometric correction amount calculation unit 401 is an image (second image) captured by the camera 101 (second image capture unit) with respect to an image (first image) captured by the camera 100 (first image capture unit) for the area of interest A_trg.
  • the geometric correction amount ⁇ Y (i) (vertical shift) of the image of In detail, the geometric correction amount ⁇ Y (i) is calculated for each line (i) of the image.
  • the phase difference setting unit 104A calculates the temporal shift amount from the geometric correction amount ⁇ Y (i) for each line of the left and right cameras, and outputs it to the synchronization signal generation unit 102 as the synchronization phase difference (synchronization amount ⁇ t). input. That is, the phase difference setting unit 104A sets the shift amount ⁇ t (phase difference) of the synchronization signal according to the geometric correction amount ⁇ Y (i).
  • each camera 100, 101 has a different amount of distortion due to manufacturing variations. Therefore, the geometric correction amount ⁇ Y (i) (calibration data) of each camera is held in advance, and it is possible to calculate how much correction should be made by the target position (target area A_trg).
  • the stereo camera (image processing apparatus 1) of the fifth embodiment of the present invention includes a scene determination unit 501 in addition to the configuration of the fourth embodiment.
  • the scene determination unit 501 calculates information A_trg_lmt that limits the area of interest A_trg based on GPS map information and image analysis information.
  • the phase difference is adjusted so that the danger point of the intersection can be measured intensively. That is, the scene determination unit 501 detects the dangerous part of the intersection from the GPS information, and outputs the information as information A_trg_lmt for limiting the attention area A_trg.
  • the geometric correction amount calculation unit 401 calculates a geometric correction amount ⁇ Y (i) for the dangerous part of the intersection in the attention area A_trg.
  • the scene determination unit 501 detects an area where parallax calculation can not be performed, and outputs the information as information A_trg_lmt that limits the area of interest A_trg.
  • the geometric correction amount calculation unit 401 calculates the geometric correction amount ⁇ Y (i) for the area excluding the area in which the parallax can not be calculated in the area of interest A_trg when the area in which the parallax can not be calculated is detected.
  • the scene determination unit 501 detects an emergency brake state from the rate of change of the host vehicle speed V, etc., and the attention area setting unit 201A fixes the attention area A_trg and detects the geometric correction amount when the emergency brake state is detected.
  • ⁇ Y (i) may be calculated. This can prevent the image from being unintentionally disturbed.
  • the scene determination unit 501 detects an up and down movement of the vehicle above a predetermined strength by using an acceleration sensor or the like
  • the attention area setting unit 201A detects the up and down movement of the vehicle above a predetermined strength.
  • a central portion of an image (first image) captured by the camera 100 (first imaging unit) and a peripheral portion of the image (first image) are switched at a predetermined time ratio, and set as the area of interest.
  • the predetermined time ratio is 1: 1, the central portion and the peripheral portion are alternately switched.
  • the pitching (up and down swing) is large, the influence is greatly affected, so it can not be uniquely determined, so it is switched to respond.
  • the object can be detected with high accuracy.
  • the present invention is not limited to the above-described embodiment, but includes various modifications.
  • the embodiments described above are described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the configurations, functions, and the like described above may be realized by hardware by designing part or all of them, for example, by an integrated circuit.
  • each configuration, function, etc. described above may be realized by software by the processor interpreting and executing a program that realizes each function.
  • Information such as a program, a table, and a file for realizing each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • the embodiment of the present invention may have the following aspects.
  • a synchronization control unit that includes a plurality of imaging units and performs synchronization control of each imaging unit, and a phase difference setting unit that sets a phase difference of synchronization signals to each imaging unit
  • An image processing apparatus comprising: an attention area setting unit that determines an attention area; and a phase difference setting unit changing a phase value according to an area of the attention area setting unit.
  • the image processing apparatus further comprising: a geometric correction amount calculating unit that calculates a geometric correction amount of each imaging unit, and calculating a phase difference such that the imaging timing matches the area of interest.
  • Image processing device a geometric correction amount calculating unit that calculates a geometric correction amount of each imaging unit, and calculating a phase difference such that the imaging timing matches the area of interest.
  • the image processing apparatus further comprising: an own vehicle speed detection unit, wherein the synchronization signal control unit switches the adjustment position of the phase difference according to the own vehicle speed.
  • the attention area determination unit sets the vicinity of the optical axis center of the imaging unit at high speed using the vehicle speed sensor information, and the peripheral portion at low speed. Set When the scene determination unit detects a control target on the traveling road, the attention area determination unit sets a control target region. When the scene determination unit is in the emergency braking state, the attention area determination unit fixes the setting region so that the image is not disturbed unintentionally.
  • the image processing apparatus according to any one of (1) to (4), further comprising: a disparity calculation possibility determination unit, wherein the phase difference is not adjusted to the area determined as the disparity calculation difficulty by the disparity calculation possibility determination unit
  • a disparity calculation possibility determination unit wherein the phase difference is not adjusted to the area determined as the disparity calculation difficulty by the disparity calculation possibility determination unit
  • the image processing apparatus according to any one of (1) to (6), wherein the own vehicle speed detection unit, the posture change detection unit that detects a posture change of the imaging unit, and the synchronization signal control unit include An image processing apparatus characterized by switching to time division control according to a result.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Transportation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

ひずみが大きいレンズを使用した場合でも、対象物を精度よく検出することができる画像処理装置を提供する。カメラ１００は、同期信号Ｓｉｇ１に合わせて画像を撮像する。カメラ１０１は、同期信号Ｓｉｇ２に合わせて画像を撮像する。注目エリア設定部１０３３は、注目する領域を示す注目エリアを設定する。位相差設定部１０３４は、カメラ１００で撮像される画像の注目エリアとこの注目エリアに対応するカメラ１０１によって撮像される画像の領域においてカメラ１００とカメラ１０１の撮像タイミングを合わせるような同期信号Ｓｉｇ１と同期信号Ｓｉｇ２のずれ量Δｔ（位相差）を設定する。同期信号生成部１０２は、ずれ量Δｔに基づいて同期信号Ｓｉｇ１と同期信号Ｓｉｇ２を生成する。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　本技術分野の背景技術として、特許文献１がある。この公報には、課題として「本発明は、画像認識装置に係り、ローリングシャッタ方式で同じ対象を撮影する一対の撮像手段間の光軸ズレに伴う対象の誤検出を防止することにある。」と記載され、解決手段として、「それぞれローリングシャッタ方式の撮像センサを用いて同じ対象を撮影する第１及び第２の撮像手段と、第１の撮像手段から得られる画像情報と第２の撮像手段から得られる画像情報とに基づいて、対象の視差又は位置を検出する対象検出手段と、第１の撮像手段と第２の撮像手段との光軸ズレ量に応じて、該第１の撮像手段及び該第２の撮像手段において読み出しを行うラインの範囲を変更する読出範囲変更手段と、を備える。」と記載されている（要約参照）。
　また、従来、広角レンズを有するカメラが知られている。例えば、特許文献２には、広角レンズ（いわゆる、魚眼レンズ）を有する撮像装置が開示されている。
特開2012-227773号公報
特開2004-354572号公報
　従来、ローリングシャッタ方式を用いたステレオカメラの同期調整方法について、光軸ずれを考慮して同期信号を生成する試みが行われている。しかし、図８に示すようなひずみの大きいレンズを使用した場合の同期信号の生成は考慮されていない。
　本発明の目的は、ひずみが大きいレンズを使用した場合でも、対象物を精度よく検出することができる画像処理装置を提供することにある。
　上記目的を達成するために、本発明は、第１の同期信号に合わせて第１の画像を撮像する第１の撮像部と、第２の同期信号に合わせて第２の画像を撮像する第２の撮像部と、注目する領域を示す注目エリアを設定する注目エリア設定部と、前記第１の画像の前記注目エリアと前記注目エリアに対応する前記第２の画像の領域において前記第１の撮像部と前記第２の撮像部の撮像タイミングを合わせるような前記第１の同期信号と前記第２の同期信号の位相差を設定する位相差設定部と、前記位相差に基づいて前記第１の同期信号と前記第２の同期信号を生成する同期信号生成部と、を備える。
　本発明によれば、ひずみが大きいレンズを使用した場合でも、対象物を精度よく検出することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
第１の実施形態による画像処理装置の構成図である。 第２の実施形態による画像処理装置の構成図である。 第３の実施形態による画像処理装置の構成図である。 第４の実施形態による画像処理装置の構成図である。 第５の実施形態による画像処理装置の構成図である。 位相差の概念図である。 ステレオカメラの原理を示した図である。 ひずみの大きいレンズの歪みを示す図である。
　以下、添付図面を参照して本発明の実施形態について説明する。なお、添付図面は本発明の原理に則った具体的な実施形態を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
　（第１の実施形態）
　近年、ステレオカメラなど複数の撮像部（カメラ）を用いて歩行者や車両などの移動体を検出する移動体検出装置が実用化されている。ステレオカメラとは、同時刻に撮像された複数の画像上における同一対象物（立体物）の位置ずれ（視差）を、テンプレートマッチングにより算出し、算出した視差をもとに対象物（立体物）の実空間上の位置を、周知の変換式により算出する装置である。
　このステレオカメラは、２台の撮像部で撮像した一対の画像を用いて、歩行者などの対象物の距離を算出し、対象物の認識を行なうものであり、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用することができる。
　上述の監視システムや車載システムで利用されるステレオカメラは、位置間隔をあけて撮像された一対の画像に対して三角測量技術を適用して距離を求めるというものであり、少なくとも２つの撮像部と、これらの撮像部で撮像された２つの撮像画像に対して三角測量処理を行う画像処理部であるステレオ画像処理ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）と、を備えているのが一般的である。
　この画像処理部であるステレオ画像処理ＬＳＩ は、一対の画像に含まれる画素情報を重ね合わせて２つの画像の一致した位置のずれ量（視差）を求めるという処理を行なうことによって、三角測量処理を実現する。そのため、一対の画像間には視差以外のずれが存在しないことが理想的であり、各々の撮像部ごとに、光学特性や信号特性のずれがないよう調整するか、カメラ間の位置関係などを求めておく必要がある。
　図７は、ステレオカメラの一般的な原理を示した図である。図７において、δは視差、Ｚ は計測距離（レンズから計測点までに距離）、ｆ は焦点距離（撮像面からレンズまでの距離）、ｂ は基線長（２つの撮像素子間の長さ）をそれぞれ表し、これらの間には次式（１）で示すような関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　図１は、本発明の第１の実施形態におけるステレオカメラである画像処理装置１の全体の構成を示す。第１の撮像部であるカメラ１００と第２の撮像部であるカメラ１０１を備え、ステレオでの距離計測が可能な構成である。
　カメラ１００、カメラ１０１は一例としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを使用したものであり、同期信号に基づいて駆動する。すなわち、カメラ１００（第１の撮像部）は、同期信号Ｓｉｇ１（第１の同期信号）に合わせて画像（第１の画像）を撮像し、カメラ１０１（第２の撮像部）は、同期信号Ｓｉｇ２（第２の同期信号）に合わせて画像（第２の画像）を撮像する。動作方式は、走査ライン毎に時間をずらして順次シャッタ動作が行われるローリングシャッタ方式であり、この方式により画素信号の読み出しが行われる。
　同期信号生成部１０２は、前記カメラ１００および１０１が同じ時刻のシーンを撮影するように撮影のタイミングを同期するための信号である同期信号を生成する。距離の測定は前述の通り、左右の画像の見え方のずれで測定するため、同時刻の画像を撮影することが前提である。そこで、左右の撮影タイミングが同じになるような信号を生成し、その信号を前記カメラ１００および１０１に出力する。
　画像処理部１０３は、カメラ１００、カメラ１０１の画像のレンズによる歪みが平行になるように画像処理（補正）する幾何変換部１０３１と、相関値演算部１０３２と、注目エリア設定部１０３３と、位相差設定部１０３４を備える。
　幾何変換部１０３１は、画素毎の読出し位置テーブルをあらかじめ用意しておき、画素毎の読出し位置テーブルにしたがって画像を再構成する方法や、水平移動、垂直移動、拡大縮小、回転、せん断計算を組み合わせて計算する方法などを用いて画像の歪みを補正する。
　相関値演算部１０３２は、幾何変換部１０３１で変換された２つの画像から、相関が高い位置を水平方向に探索して、その位置を特定する演算を行う（ステレオマッチング）。ステレオカメラのカメラ１００の探索開始位置とカメラ１０１での相関が最も高い位置の差が視差δとなる。
　ここで、物体の距離が近いと視差δは大きくなり、物体の距離が遠いと視差δは小さくなる。本実施形態における相関値の算出方法は、差分絶対値和ＳＡＤ（Sum of Absolute Difference ）を用いるが、本発明はこれに限定されるものではない。相関値の算出には数画素を１ブロックとしてブロックごとに比較を行い、相関値の指標である差分絶対値和ＳＡＤが最も小さくなったところを相関値が高いとする。
　画像処理部１０３は、画素毎に算出された中央付近（中央部）と周辺付近（周辺部）の相関値の平均を取る。同期信号生成部１０２には、左右の同期信号のずれ量Δｔが入力される。同期信号生成部１０２は、同期信号のずれ量Δｔによって、左右の同期信号をずらす。すなわち、同期信号生成部１０２は、ずれ量Δｔ（位相差）に基づいて同期信号Ｓｉｇ１（第１の同期信号）と同期信号Ｓｉｇ２（第２の同期信号）を生成する。
　画像処理部１０３は、同期信号生成部１０２に一定量のずれ量Δｔを複数回与え、相関値の平均値を中央付近と周辺付近で別々に算出する。そして、Δｔを変えて（Δｔ１、Δｔ２、…、Δｔｎ）、中央付近と周辺付近のそれぞれについて相関値の平均値の算出を繰り返す。中央付近と周辺それぞれの相関値の平均値が最大となる点Δｔが同一の場合、そのずれ量Δｔを設定する。中央付近と周辺の相関値の平均値の最大となる点が異なる場合（例えば、中央付近：Δｔ１、周辺：Δｔ２）は、どちらか一方に合わせるか、どちらの相関値の平均値が同程度になるようにする。
　以上により、周辺付近と中央付近で全体に相関値がよく取れないことがあっても、どちらか一方もしくは両方の平均程度にあわせることができる。たとえば中央付近をより重点的に見たい場合は中央に、周辺を見たい場合には周辺に合わせることで、状況によって精度のいい距離測定を行うことができる。
　換言すれば、画像処理部１０３は、注目する領域を示す注目エリアを設定する注目エリア設定部１０３３として機能する。本実施例では、注目エリアは周辺付近と中央付近のどちらか一方もしくは両方である。また、画像処理部１０３は、カメラ１００（第１の撮像部）で撮像される画像（第１の画像）の注目エリアとこの注目エリアに対応するカメラ１０１（第２の撮像部）によって撮像される画像（第２の画像）の領域においてカメラ１００とカメラ１０１の撮像タイミングを合わせるような同期信号Ｓｉｇ１（第１の同期信号）と同期信号Ｓｉｇ２（第２の同期信号）のずれ量Δｔ（位相差）を設定する位相差設定部１０３４として機能する。
　なお、明るさセンサ等により周辺環境について所定の明るさが検出された場合に、注目エリア設定部１０３３は、中央部と周辺部の間の中間部を注目エリアに設定してもよい。ＣＭＯＳセンサ（カメラ１００とカメラ１０１）の電子シャッタの速度が速いときはＳＣＡＮ速度が速いため同期ずれは小さくなる。
　（第２の実施形態）
　図２に示すように、本発明の第２の実施形態のステレオカメラ（画像処理装置１）は、第１の実施形態と比較して、注目エリア設定部２０１と位相差設定部１０４を画像処理部１０３Ａと別に備える。また、注目エリア設定部２０１は、優先順位データベース２０１１（優先順位ＤＢ）を備える。なお、本実施形態の画像処理部１０３Ａは、一例として、幾何変換部１０３１と相関値演算部１０３２から構成される。
　注目エリア設定部２０１は、画像処理によって歩行者や車の位置と距離を特定する。これらの対象物に優先度をつけ、優先度の高いものに対して注目エリアを設定する。すなわち、優先順位データベース２０１１は、例えば、対象物とその優先度を記憶する。優先度のつけ方として、例えば、自分の車両に近いもの、歩行者、進行路上に位置していて、かつ、短い時間で衝突する可能性のあるものに高い優先度をつける。
　これにより、車両の制御に重要なものを優先して精度のいい距離測定ができるため、自車の制御を安定化することができる
　換言すれば、注目エリア設定部２０１は、状況に応じて注目エリアを設定する。注目エリアとして、歩行者の領域が選択された場合、首元ありのもっとも細く写る部分にエリアを設定して位相差（同期信号のずれ量Δｔ）をその部分にあうようにすると、歩行者のシルエットである頭頂部を安定して検出することができる。すなわち、注目エリア設定部２０１は、対象物として歩行者が検出された場合に、歩行者の頭部の位置でカメラ１００（第１の撮像部）とカメラ１０１（第２の撮像部）の撮像タイミングを合わせるような同期信号のずれ量Δｔ（位相差）を設定する。
　なお、注目エリア設定部２０１は、所定の優先度が付された対象物が検出された場合に、所定の優先度が付された対象物が検出された領域を注目エリアに設定してもよい。所定の優先度とは、例えば、所定の優先度以上のもの、最も優先度の高いもの等をいう。
　また、位相差設定部１０４は、注目エリア設定部２０１によって設定された注目エリアＡ＿ｔｒｇに対して、カメラ１００（第１の撮像部）で撮像される画像（第１の画像）の注目エリアＡ＿ｔｒｇとこの注目エリアＡ＿ｔｒｇに対応するカメラ１０１（第２の撮像部）によって撮像される画像（第２の画像）の領域においてカメラ１００とカメラ１０１の撮像タイミングを合わせるような同期信号Ｓｉｇ１（第１の同期信号）と同期信号Ｓｉｇ２（第２の同期信号）のずれ量Δｔ（位相差）を設定する。
　なお、注目エリア設定部２０１、対象物の大きさに応じて注目エリアの大きさを変えてもよい。例えば、注目エリア設定部２０１は、対象物の全体が含まれるように注目エリアを設定する。これにより、対象物の距離を精度よく算出することができる。
　（第３の実施形態）
　図３に示すように、本発明の第３の実施形態のステレオカメラ（画像処理装置１）は、第２の実施形態の構成要素に加え、車速センサ３０１を備える。車速センサ３０１は注目エリア設定部２０１に接続されている。なお、本実施形態の注目エリア設定部２０１Ａは、第２の実施形態の優先順位データベース２０１１を有していない。
　車速が速いときは中央付近のみを監視すればよいので、注目エリア設定部２０１は中央部分に同期が合うようにエリアを設定する。逆に、車速が遅いときは周辺を広く監視しなければいけないので周辺に同期があうように位相差（同期信号のずれ量Δｔ）を生成する。すなわち、注目エリア設定部２０１Ａは、自車速に応じて注目エリアを設定する。
　詳細には、注目エリア設定部２０１Ａは、自車速が所定速度以上となる高速走行の場合に、画像（第１の画像）においてカメラ１００（第１の撮像部）の光軸中心付近（又は消失点付近）を注目エリアに設定し、自車速が所定速度未満となる低速走行の場合に、画像（第１の画像）の周辺部を注目エリアに設定する。なお、本実施形態では、カメラ１００（第１の撮像部）によって撮像される画像（第１の画像）を基準画像とするが、カメラ１０１（第２の撮像部）によって撮像される画像（第２の画像）を基準画像としてもよい。
　これにより、例え一意に最適な同期量を決定できなくても、車両制御に必要なエリアを幅広く且つ必要十分にカバーすることができる。図６に車速によって同期位置をずらしたときの同期信号の概念図を示す。車速が速いときと遅いときで同期信号のずれ量Δｔ（位相差）を可変にしている様子を表している。図６の例では、車速が速いときの同期信号のずれ量Δｔ１は車速が遅いときの同期信号のずれ量Δｔ２よりも大きい。すなわち、同期信号のずれ量Δｔは、車速が早くなるにつれて大きくなる。
　（第４の実施形態）
　図４に示すように、本発明の第４の実施形態のステレオカメラ（画像処理装置１）は、第３の実施形態の構成要素に加えて、幾何補正量算出部４０１を備える。幾何補正量算出部４０１は、注目エリアＡ＿ｔｒｇについてカメラ１００（第１の撮像部）によって撮像される画像（第１の画像）に対するカメラ１０１（第２の撮像部）によって撮像される画像（第２の画像）の幾何補正量ΔＹ（ｉ）（垂直方向のずれ）を算出する。詳細には、幾何補正量ΔＹ（ｉ）は、画像のライン（ｉ）ごとに算出される。
　位相差設定部１０４Ａは、左右のカメラのラインごとの幾何補正量ΔＹ（ｉ）から時間的なずれ量を算出し、同期の位相差（同期信号のずれ量Δｔ）として同期信号生成部１０２に入力する。すなわち、位相差設定部１０４Ａは、幾何補正量ΔＹ（ｉ）に応じて同期信号のずれ量Δｔ（位相差）を設定する。
　各カメラ１００、１０１は製造時のばらつきによって異なるひずみ量をもつ。したがって各カメラの幾何補正量ΔＹ（ｉ）（キャリブレーションデータ）をあらかじめ持っておき、注目位置（注目エリアＡ＿ｔｒｇ）によってどの程度補正すべきかを算出することができる。
　これにより、特性の異なる複数台のカメラを組み合わせても、精度のよい位相差（同期信号のずれ量Δｔ）を算出することができる。
　（第５の実施形態）
　図５に示すように、本発明の第５の実施形態のステレオカメラ（画像処理装置１）は、第４の実施形態の構成に加えて、シーン判定部５０１を備える。シーン判定部５０１は、ＧＰＳの地図情報や画像の解析情報により注目エリアＡ＿ｔｒｇを限定する情報Ａ＿ｔｒｇ＿ｌｍｔを算出する。
　ＧＰＳ情報で交差点と検知されたときは、交差点の危険箇所を重点的に測定できるように位相差を調整する。すなわち、シーン判定部５０１は、ＧＰＳ情報から交差点の危険箇所を検出し、注目エリアＡ＿ｔｒｇを限定する情報Ａ＿ｔｒｇ＿ｌｍｔとしてその情報を出力する。幾何補正量算出部４０１は、注目エリアＡ＿ｔｒｇのうち交差点の危険箇所について幾何補正量ΔＹ（ｉ）を算出する。
　また、画像の輝度やエッジの状況を解析して、輝度パターンがとれず（例えば、真っ黒、濃淡がない等）、距離算出が困難であると判定された場合、その領域を除いた位置で、重要なエリアに対して同期を合わせるように位相差（同期信号のずれ量Δｔ）を算出する。すなわち、シーン判定部５０１は、視差の計算ができない領域を検出し、注目エリアＡ＿ｔｒｇを限定する情報Ａ＿ｔｒｇ＿ｌｍｔとしてその情報を出力する。幾何補正量算出部４０１は、視差の計算ができない領域が検出された場合、注目エリアＡ＿ｔｒｇのうち視差の計算ができない領域を除く領域について幾何補正量ΔＹ（ｉ）を算出する。
　これにより、視差計算が安定的に計算できる場所に対して、優先的に正しく視差を算出することができるようになる。距離が安定的に検出できそうもないエリアに同期信号をあわせても、距離が算出できなければ無駄になってしまうため、本方式は効率がよい。
　なお、シーン判定部５０１は、自車速Ｖの変化率等から緊急ブレーキ状態を検出し、注目エリア設定部２０１Ａは、緊急ブレーキ状態が検出された場合に、注目エリアＡ＿ｔｒｇを固定して幾何補正量ΔＹ（ｉ）を算出するようにしてもよい。これにより、画像が意図せず乱れないようにすることができる。
　また、シーン判定部５０１は、加速度センサ等により所定強度以上の自車の上下の揺れを検出し、注目エリア設定部２０１Ａは、所定強度以上の自車の上下の揺れが検出された場合に、カメラ１００（第１の撮像部）で撮像される画像（第１の画像）の中央部と画像（第１の画像）の周辺部を所定の時間比率で切り替えて、前記注目エリアに設定する。所定の時間比率が１：１の場合、中央部と周辺部を交互に切り替えることになる。ピッチング（上下の揺れ）が大きいときは影響をとても大きく受けるため、一意に定められないため切り替えて対応する。
　以上説明したように、本実施形態によれば、ひずみが大きいレンズを使用した場合でも、対象物を精度よく検出することができる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
　なお、本発明の実施形態は、以下の態様であってもよい。
　（１）．複数の撮像部を備え、各撮像部の同期制御を行う同期制御部と、各撮像部への同期信号の位相差を設定する位相差設定部と、
注目領域を決定する注目エリア設定部とを備え、注目エリア設定部のエリアにしたがって位相差設定部が位相値を可変する画像処理装置。
　（２）．（１）に記載の画像処理装置であって、各撮像部の幾何補正量を算出する幾何補正量算出部を備え、注目エリアに撮像のタイミングが合うような位相差を算出することを特徴とする画像処理装置。
　（３）．（１）又は（２）に記載の画像処理装置であって、自車速検出部を備え,同期信号制御部が自車速に応じて位相差の調整位置を切り替えることを特徴とする画像処理装置。
　（４）．（１）又は（２）に記載の画像処理装置であって、前記注目エリア決定部は車速センサ情報により、高速走行時は、撮像部の光軸中心付近を設定し、低速時は周辺部を設定する。注目エリア決定部は、シーン判断部が進行路上の制御対象物を検出した場合は、制御対象領域を設定する。注目エリア決定部は、シーン判断部が緊急ブレーキ状態のときは設定領域を固定にして画像が意図せず乱れないようにする。
　（５）．（１）～（４）のいずれかに記載の画像処理装置であって、注目エリア決定部が、歩行者を注目しているときには、頭部の位置に同期する位相値を設定することを特徴とする画像処理装置。
　（６）．（１）～（４）のいずれかに記載の画像処理装置であって、視差計算可能性判定部を備え、視差計算可能性判定部が視差計算困難と判定した領域には位相差をあわせないようにすることを特徴とする画像処理装置。
　（７）．（１）～（６）のいずれかに記載の画像処理装置であって、自車速検出部と、撮像部の姿勢変化を検出する姿勢変化検出部と、同期信号制御部が姿勢変化検出部の結果に応じて時分割制御に切り替えることを特徴とする画像処理装置。
　（８）．（１）～（７）のいずれかに記載の画像処理装置であって、注目エリア決定部が、画面の任意のエリアを、任意の周期タイミングで切り替えることを特徴とする画像処理装置。
　上記（１）～（８）によれば、撮像装置（撮像部）で撮像した画像に関して、その画像に含まれる画質が劣化した部分の影響を小さくすることができる。
１００、１０１…カメラ
１０２…同期信号生成部
１０３、１０３Ａ…画像処理部
１０４、１０４Ａ…位相差設定部
２０１、２０１Ａ…注目エリア設定部
３０１…車速センサ
４０１…幾何補正量算出部
５０１…シーン判定部
１０３１…幾何変換部
１０３２…相関値演算部
１０３３…注目エリア設定部
１０３４…位相差設定部
２０１１…優先順位データベース

Claims (10)

  1. 　第１の同期信号に合わせて第１の画像を撮像する第１の撮像部と、
    　第２の同期信号に合わせて第２の画像を撮像する第２の撮像部と、
    　注目する領域を示す注目エリアを設定する注目エリア設定部と、
    　前記第１の画像の前記注目エリアと前記注目エリアに対応する前記第２の画像の領域において前記第１の撮像部と前記第２の撮像部の撮像タイミングを合わせるような前記第１の同期信号と前記第２の同期信号の位相差を設定する位相差設定部と、
    　前記位相差に基づいて前記第１の同期信号と前記第２の同期信号を生成する同期信号生成部と、
    　を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記注目エリア設定部は、
    　状況に応じて前記注目エリアを設定する
    　ことを特徴とする画像処理装置。
  3. 　請求項２に記載の画像処理装置であって、
    　前記注目エリアについて前記第１の画像に対する前記第２の画像の幾何補正量を算出する幾何補正量算出部を備え、
    　前記位相差設定部は、
    　前記幾何補正量に応じて位相差を設定する
    　ことを特徴とする画像処理装置。
  4. 　請求項２記載の画像処理装置であって
    　自車速を測定する車速センサを備え、
    　前記注目エリア設定部は、
    　自車速に応じて前記注目エリアを設定する
    　ことを特徴とする画像処理装置。
  5. 　請求項４に記載の画像処理装置であって、
    　前記注目エリア設定部は、
    　前記自車速が所定速度以上となる高速走行の場合に、前記第１の画像において前記第１の撮像部の光軸中心付近を前記注目エリアに設定し、前記自車速が前記所定速度未満となる低速走行の場合に、前記第１の画像の周辺部を前記注目エリアに設定する
    　ことを特徴とする画像処理装置。
  6. 　請求項２に記載の画像処理装置であって、
    　前記注目エリア設定部は、
    　所定の優先度が付された対象物が検出された場合に、所定の優先度が付された前記対象物が検出された領域を前記注目エリアに設定する
    　ことを特徴とする画像処理装置。
  7. 　請求項３に記載の画像処理装置であって、
    　緊急ブレーキ状態を検出するシーン判定部を備え、
    　前記注目エリア設定部は、
    　緊急ブレーキ状態が検出された場合に、前記注目エリアを固定して前記幾何補正量を算出する
    　ことを特徴とする画像処理装置。
  8. 　請求項６に記載の画像処理装置であって、
    　前記注目エリア設定部は、
    　前記対象物として歩行者が検出された場合に、前記歩行者の頭部の位置で前記第１の撮像部と前記第２の撮像部の撮像タイミングを合わせるような前記位相差を設定する
    　ことを特徴とする画像処理装置。
  9. 　請求項３のいずれかに記載の画像処理装置であって、
    　視差の計算ができない領域を検出するシーン判定部を備え、
    　前記幾何補正量算出部は、
    　視差の計算ができない領域が検出された場合、前記注目エリアのうち視差の計算ができない領域を除く領域について前記幾何補正量を算出する
    　画像処理装置。
  10. 　請求項２に記載の画像処理装置であって、
    　所定強度以上の自車の上下の揺れを検出するシーン判定部を備え、
    　前記注目エリア設定部は、
    　所定強度以上の自車の上下の揺れが検出された場合に、前記第１の画像の中央部と前記第１の画像の周辺部を所定の時間比率で切り替えて、前記注目エリアに設定する
    　ことを特徴とする画像処理装置。
PCT/JP2019/001386 2018-01-26 2019-01-18 画像処理装置 WO2019146510A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/962,984 US11509813B2 (en) 2018-01-26 2019-01-18 Image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018011250A JP6967464B2 (ja) 2018-01-26 2018-01-26 画像処理装置
JP2018-011250 2018-01-26

Publications (1)

Publication Number Publication Date
WO2019146510A1 true WO2019146510A1 (ja) 2019-08-01

Family

ID=67396031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001386 WO2019146510A1 (ja) 2018-01-26 2019-01-18 画像処理装置

Country Status (3)

Country Link
US (1) US11509813B2 (ja)
JP (1) JP6967464B2 (ja)
WO (1) WO2019146510A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021049250A1 (ja) * 2019-09-13 2021-03-18 日立オートモティブシステムズ株式会社 画像処理装置、及びそれを用いたステレオカメラ装置
WO2021199888A1 (ja) * 2020-04-03 2021-10-07 パナソニックＩｐマネジメント株式会社 測距装置を制御する方法および装置
US20220198614A1 (en) * 2019-05-31 2022-06-23 Nippon Telegraph And Telephone Corporation Image processing apparatus, image processing method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011132364A1 (ja) * 2010-04-19 2011-10-27 パナソニック株式会社 立体画像撮影装置および立体画像撮影方法
JP2012227773A (ja) * 2011-04-20 2012-11-15 Toyota Motor Corp 画像認識装置
WO2015182753A1 (ja) * 2014-05-29 2015-12-03 株式会社ニコン 撮像装置および車両

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4016796B2 (ja) * 2002-10-22 2007-12-05 オムロン株式会社 車載用撮像装置及びそれを用いた車両運転支援装置
JP2004354572A (ja) 2003-05-28 2004-12-16 Minolta Co Ltd 撮像装置
JP2009118009A (ja) * 2007-11-02 2009-05-28 Sony Corp 撮像装置、その制御方法およびプログラム
JP2010267114A (ja) * 2009-05-15 2010-11-25 Konica Minolta Holdings Inc 画像記憶装置、画像記憶システム、画像記憶方法、およびプログラム
US9098751B2 (en) * 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
US9884585B1 (en) * 2016-09-19 2018-02-06 Faraday & Future Inc. Exterior vehicle alerting system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011132364A1 (ja) * 2010-04-19 2011-10-27 パナソニック株式会社 立体画像撮影装置および立体画像撮影方法
JP2012227773A (ja) * 2011-04-20 2012-11-15 Toyota Motor Corp 画像認識装置
WO2015182753A1 (ja) * 2014-05-29 2015-12-03 株式会社ニコン 撮像装置および車両

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198614A1 (en) * 2019-05-31 2022-06-23 Nippon Telegraph And Telephone Corporation Image processing apparatus, image processing method, and program
US11983855B2 (en) * 2019-05-31 2024-05-14 Nippon Telegraph And Telephone Corporation Image processing apparatus, image processing method, and program
WO2021049250A1 (ja) * 2019-09-13 2021-03-18 日立オートモティブシステムズ株式会社 画像処理装置、及びそれを用いたステレオカメラ装置
JP2021044764A (ja) * 2019-09-13 2021-03-18 日立オートモティブシステムズ株式会社 画像処理装置、及びそれを用いたステレオカメラ装置
JP7247063B2 (ja) 2019-09-13 2023-03-28 日立Astemo株式会社 画像処理装置、及びそれを用いたステレオカメラ装置
WO2021199888A1 (ja) * 2020-04-03 2021-10-07 パナソニックＩｐマネジメント株式会社 測距装置を制御する方法および装置

Also Published As

Publication number Publication date
US11509813B2 (en) 2022-11-22
US20200358962A1 (en) 2020-11-12
JP6967464B2 (ja) 2021-11-17
JP2019129482A (ja) 2019-08-01

Similar Documents

Publication Publication Date Title
WO2019146510A1 (ja) 画像処理装置
JP5615441B2 (ja) 画像処理装置及び画像処理方法
JP6417886B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
JP5293131B2 (ja) 車両用複眼距離測定装置及び複眼距離測定方法
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP2008026802A (ja) 撮像装置
CN107122770A (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
JP2008298533A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
TW201004818A (en) The asynchronous photography automobile-detecting apparatus
JP2008309637A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
JP2001208524A (ja) 画像処理装置及び画像処理方法
JP7278846B2 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
JP2017204699A (ja) 撮像装置、および撮像方法
JP3988574B2 (ja) 画像処理装置
JP6561511B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム
JP6602286B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN116668665A (zh) 测量装置、移动装置、测量方法和存储介质
JP2018138875A (ja) 物体接近検知装置および物体接近検知方法
JP2007233487A (ja) 歩行者検出方法、装置、およびプログラム
JP2018146495A (ja) 物体検出装置、物体検出方法、物体検出プログラム、撮像装置、及び、機器制御システム
JP2014153517A (ja) 画像処理装置および画像処理方法、プログラム並びに記憶媒体
WO2021187338A1 (ja) 撮像システム、撮像制御方法および撮影制御プログラム
US20240185458A1 (en) Object distance detecting device
JP2005091173A (ja) ステレオ画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19743812

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19743812

Country of ref document: EP

Kind code of ref document: A1