WO2015182147A1 - ステレオカメラ装置およびステレオカメラ装置を設置した車両 - Google Patents

ステレオカメラ装置およびステレオカメラ装置を設置した車両 Download PDF

Info

Publication number
WO2015182147A1
WO2015182147A1 PCT/JP2015/002704 JP2015002704W WO2015182147A1 WO 2015182147 A1 WO2015182147 A1 WO 2015182147A1 JP 2015002704 W JP2015002704 W JP 2015002704W WO 2015182147 A1 WO2015182147 A1 WO 2015182147A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging unit
stereo camera
camera device
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/002704
Other languages
English (en)
French (fr)
Inventor
和昌 穐本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to CN201580027361.8A priority Critical patent/CN106461387B/zh
Priority to EP15800361.6A priority patent/EP3150961B1/en
Priority to JP2016523159A priority patent/JP6283105B2/ja
Publication of WO2015182147A1 publication Critical patent/WO2015182147A1/ja
Priority to US15/358,464 priority patent/US10180318B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/188—Displaying information using colour changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Definitions

  • the present invention relates to a stereo camera device and a vehicle provided with the stereo camera device.
  • Patent Document 1 Conventionally, on-road object detection for vehicles in which two stereo cameras installed on the left and right sides are used to photograph two ranges shifted in the horizontal direction, and the object is detected by measuring the distance to the subject based on the respective image information.
  • An apparatus is known (for example, Patent Document 1).
  • both the left and right stereo cameras In order to detect both white lines and traffic signs on the road with a stereo camera that captures a horizontally displaced range, both the left and right stereo cameras must have a wide field angle (viewing angle) in the vertical direction. When the weather is bad or when the preceding vehicle is a large vehicle, white lines, signs, signals, etc. may not be detected until close, so the stereo camera must have a wider angle of view. . On the other hand, if the angle of view is widened in the vertical direction, the accuracy of distance measurement and the accuracy of object detection decrease.
  • An object of the present invention made in view of such circumstances is a stereo camera device and a stereo camera device that can detect a detection target object in a wider spatial range and have high accuracy in calculating a distance to a subject and in detecting an object. Is to provide a vehicle installed.
  • the first imaging unit and the range captured by the first imaging unit have a range shifted in a direction different from the direction along the baseline length.
  • the distance to the subject is calculated using an overlapping area of the second imaging unit that captures an image, the first image captured by the first imaging unit, and the second image captured by the second imaging unit.
  • the first imaging unit and the range captured by the first imaging unit are partially in a direction different from the direction along the baseline length.
  • a second imaging unit that captures a shifted range; and an overlap area between the first image captured by the first imaging unit and the second image captured by the second imaging unit.
  • a stereo camera device including a control unit that calculates a distance.
  • FIG. 2 is a layout diagram of a first imaging unit and a second imaging unit in FIG. 1 in a vehicle. It is a perspective view of the 1st image pick-up part of Drawing 1, and the 2nd image pick-up part. It is a figure which shows the structure of the image pick-up element and image circle of the 1st imaging part of FIG. 1, and a 2nd imaging part. It is a figure which shows another structure of the image pick-up element and image circle of the 1st image pick-up part of FIG. 1, and a 2nd image pick-up part. It is a figure which shows the captured image ahead of the vehicle of FIG.
  • FIG. 1 is a diagram illustrating an example of a functional block diagram of a stereo camera device 1 according to an embodiment.
  • a stereo camera device 1 according to an embodiment includes a first imaging unit 2, a second imaging unit 3, and a control unit 4.
  • the stereo camera device 1 calculates a distance using the captured image, and results of object detection performed in the captured image together with the calculated distance (for example, whether or not the subject is an object to be detected, and the type of the object) ) Is output from the control unit 4.
  • the stereo camera device 1 is described in a mode including the first imaging unit 2, the second imaging unit 3, and the control unit 4 in a single casing as shown in FIG.
  • the stereo camera device 1 can also be configured by causing the camera module to function as an imaging unit and causing the MPU outside the camera module to function as the control unit.
  • the stereo camera device 1 is installed in a vehicle such as an automobile. However, the stereo camera device 1 may be installed in a vehicle other than the automobile. Moreover, although the stereo camera apparatus 1 communicates with the element relevant to an electronic device, illustration and description of the element which comprises another function part are abbreviate
  • FIG. 2 is a layout diagram of the first imaging unit 2 and the second imaging unit 3 in FIG. 1 in the vehicle 5. At least the first imaging unit 2 and the second imaging unit 3 are installed in the vehicle 5. The first imaging unit 2 and the second imaging unit 3 are installed at a position where the front of the vehicle 5 can be imaged (for example, a position inside the vehicle 5 and in contact with the windshield), and images the front of the vehicle 5. .
  • the first image pickup unit 2 and the second image pickup unit 3 are installed at positions where the front of the vehicle 5 can be imaged. It is also possible to install and use them.
  • FIG. 3 is a perspective view of the first imaging unit 2 and the second imaging unit 3 of FIG.
  • the first imaging unit 2 and the second imaging unit 3 are installed with an interval of the baseline length d.
  • the baseline length is a distance between the optical axis position C2 on the imaging plane S2 of the first imaging unit 2 and the optical axis position C3 on the imaging plane S3 of the second imaging unit 3.
  • the mounting positions and mounting postures of the first imaging unit 2 and the second imaging unit 3 are determined in advance so that these imaging units can capture the same subject with parallax.
  • the first imaging unit 2 and the second imaging unit 3 image a range shifted in a direction different from the direction along the baseline length.
  • the direction different from the direction along the baseline length refers to a direction that is not parallel to the direction along the baseline length. Details will be described later.
  • Each of the first imaging unit 2 and the second imaging unit 3 includes an optical system and an imaging element (sensor).
  • the optical system is composed of an optical element such as a lens and forms an image.
  • the image sensor is, for example, a CMOS or CCD image sensor, and images an image formed by the optical system as a monochrome image.
  • the imaging element has a color filter on the light receiving surface, and can capture an image formed by the optical system as a color image.
  • the first imaging unit 2 and the second imaging unit 3 output the captured monochrome image or color image to the control unit 4.
  • the first imaging unit 2 will be described as an imaging unit capable of capturing a color image
  • the second imaging unit 3 will be described as an imaging unit capable of capturing a monochrome image.
  • an image captured by the first imaging unit 2 is a first image
  • an image captured by the second imaging unit 3 is a second image.
  • an optical system brighter than the second imaging unit 3 may be used for the first imaging unit 2.
  • the difference may be adjusted to zero.
  • the control unit 4 performs object detection in the first image acquired from the first imaging unit 2. In the object detection in the first image, the control unit 4 determines whether or not an object predetermined as a detection target in the first image is included in the first image.
  • control unit 4 performs object detection in the second image acquired from the second imaging unit 3. In the object detection in the second image, the control unit 4 determines whether or not an object predetermined as a detection target in the second image is included in the second image. Details will be described later.
  • FIG. 4 shows an image sensor (shown by a rectangle) and an image circle (shown by a circle) of the first image pickup unit 2 and the second image pickup unit 3 when the stereo camera device of FIG. 1 is installed in the vehicle 5.
  • FIG. 4 shows an image sensor (shown by a rectangle) and an image circle (shown by a circle) of the first image pickup unit 2 and the second image pickup unit 3 when the stereo camera device of FIG. 1 is installed in the vehicle 5.
  • the optical system and the imaging so that the optical axis (indicated by an arrow) of the optical system passes through the center of the light receiving region of the imaging device. Elements are arranged.
  • the first imaging unit 2 and the second imaging unit 3 are separated by a predetermined baseline length, and the first imaging unit 2 and the second imaging unit as viewed from the direction along the baseline length. 3 is fixed so that the optical axis of the optical system 3 is shifted.
  • the optical axis shift of the optical system of the first imaging unit 2 and the second imaging unit 3 is determined so that the imaging ranges of the first imaging unit 2 and the second imaging unit 3 partially overlap.
  • a partially overlapping range is indicated by hatching).
  • the second imaging unit 3 captures a range in which a part of the first imaging unit 2 is shifted in a direction different from the direction along the baseline length.
  • the stereo camera device 1 can capture an imaging range in a desired direction with respect to the vehicle so that the direction along the baseline length is parallel to the horizontal direction and the first imaging unit 2 and the second imaging unit 3 It is installed in the vehicle. With such an installation, the first imaging unit 2 and the second imaging unit 3 can capture a range that is shifted in the vertical direction while partially overlapping.
  • FIG. 5 shows different image pickup elements (shown by rectangles) and image circles (shown by circles) of the first image pickup unit and the second image pickup unit when the stereo camera device of FIG. 1 is installed in the vehicle 5.
  • FIG. 5 shows different image pickup elements (shown by rectangles) and image circles (shown by circles) of the first image pickup unit and the second image pickup unit when the stereo camera device of FIG. 1 is installed in the vehicle 5.
  • the optical axes (indicated by arrows) of the optical systems of the first image pickup unit 2 and the second image pickup unit 3 are parallel and overlap each other when viewed from the direction along the baseline length.
  • the straight lines that pass through the centers of the light receiving surfaces of the imaging elements of the optical systems of the first imaging unit 2 and the second imaging unit 3 and are perpendicular to the light receiving surface are perpendicular to the direction along the base line length and are parallel to each other. is there.
  • the image pickup devices of the first image pickup unit 2 and the second image pickup unit 3 are determined so as to be shifted in a direction parallel to the light receiving surface of each image pickup device and the image pickup ranges partially overlap (see FIG. 5, a partially overlapping range is indicated by diagonal lines).
  • the second imaging unit 3 captures a range in which a part of the first imaging unit 2 is shifted in a direction different from the direction along the baseline length.
  • the stereo camera device is capable of imaging an imaging region in a desired direction with respect to the vehicle so that the direction along the base line length is parallel to the horizontal direction and the first imaging unit 2 and the second imaging unit 3 Installed. With such an installation, the first imaging unit 2 and the second imaging unit 3 can capture a range that is shifted in the vertical direction while partially overlapping.
  • FIG. 6 is a diagram showing a captured image in front of the vehicle in FIG. Specifically, FIG. 6 illustrates a first image 10 (color image) that the first imaging unit 2 captures and outputs to the control unit 4, and a second image that the second imaging unit 3 captures and outputs to the control unit 4. It is a figure which shows 2 images 20 (monochrome image).
  • the first imaging unit 2 and the second imaging unit 3 image a range shifted in a direction different from the direction along the baseline length.
  • the first imaging unit 2 and the second imaging unit 3 will be described as being capable of imaging a range shifted in the vertical direction while partially overlapping.
  • the partially overlapping areas are referred to as area B and area B ′.
  • the same object can be imaged.
  • the first image 10 has a region A and a region B
  • the second image 20 has a region B ′ and a region C.
  • Area A is an area excluding the overlapping area (area B) in the first image
  • area C is an area excluding the overlapping area (area B ′) in the second image.
  • region A, B, B ′ and C will be described with reference to FIG.
  • the areas 11 to 13 have color information indicating red. Regions 11 to 13 having color information are indicated by diagonal lines.
  • Area A is an area where a traffic sign or traffic signal is imaged.
  • a traffic sign and a traffic signal are objects having specific contents defined in color, and specifically indicate contents such as speed limitation and permission to proceed. For this reason, it is preferable to install a color filter in the region A and make the region A a region where a color image can be captured.
  • An object imaged in the area A and an object imaged in the area C described later are different objects that show different contents.
  • the area B is an area used together with the area B ′ to calculate the distance to the subject in front of the vehicle. Therefore, region B may require high sensitivity and high resolution (high resolution with a specific type of light). For this reason, it is good also considering the area B as an area
  • Area B images a vehicle (for example, a vehicle body, a vehicle direction indicator, a stop lamp, a head lamp, and a tail lamp), a person, an animal, an obstacle on a road surface, etc. in front of the vehicle where the stereo camera device is installed. It is an area to do. These subjects are preferred subjects for calculating the distance from the vehicle. Also in the region B, the first imaging unit captures an image of a subject (for example, a vehicle direction indicator or a vehicle stop lamp) having a specific color. For this reason, a color filter may be installed in the region B, and the region B may be a region where a color image can be captured.
  • a subject for example, a vehicle direction indicator or a vehicle stop lamp
  • the position for setting the boundary between the area A and the area B is arbitrary.
  • the boundary is set at a position where the region B includes a horizontal line.
  • the area B ′ is a vehicle (for example, a vehicle body, a vehicle direction indicator, a stop lamp, a head lamp, and a tail lamp), a person, an animal, a road surface in front of the vehicle in which the stereo camera device is installed.
  • a vehicle for example, a vehicle body, a vehicle direction indicator, a stop lamp, a head lamp, and a tail lamp
  • the region B ′ may be a region where a color image can be captured or a region where a monochrome image can be captured.
  • the area C is an area for imaging a road surface sign or a lane marking on the road surface that is present in front of the area B ′ (side closer to the stereo camera device). Road markings or lane markings on the road indicate that parking is prohibited or there is a signal ahead.
  • the color information for the subject imaged in the area C is relatively less useful than the color information for the subject imaged in the other area. That is, in the region C, characteristics other than color (for example, patterns, contours, etc.) are more important than colors. For this reason, the area C is preferably an area where a monochrome image can be captured.
  • the control unit 4 detects a predetermined object in the entire area. Specifically, the control unit 4 detects a predetermined object such as a traffic sign or a traffic signal in the area A.
  • the control unit 4 may perform gradient calculation or processing such as HOG using SVM learning data as an object detection method. Further, when the same object is detected in the region B and the region B ′, the control unit 4 calculates the distance to the subject based on the image coordinates. The distance is calculated by stereo matching or the like. The calculated distance is output together with the result of object detection. Further, the control unit 4 detects a lane marking on the road surface using the region C.
  • the control unit 4 determines whether or not the object detected in the region B ′ is an object determined so as to be distinguished by color, which will be described later.
  • the control unit 4 in the first image corresponding to the area occupied in the second image of the object Detect the color of the corresponding area. Further, the control unit 4 uses the detected color to distinguish the object detected in the second image.
  • a plurality of objects are determined in advance as detection targets.
  • a stop lamp of a vehicle can be cited.
  • the stop lamp indicates whether or not a brake operation has been performed depending on whether or not the lamp is lit. It may be difficult to determine whether or not the lamp is lit by using characteristics (pattern, shape, etc.) other than color. Therefore, for each object that cannot be distinguished only by characteristics other than color, it is possible to set whether or not the object is distinguished by color.
  • Objects determined to be distinguished by color are not limited to vehicle stop lamps.
  • a vehicle direction indicator, a headlamp, and a taillamp are examples of objects that are determined to be distinguished by color.
  • FIG. 7 is a diagram showing a captured image in front of the vehicle in FIG.
  • the control unit 4 to distinguish an object detected in an image by color will be described in detail.
  • the control unit 4 detects a region in the first image 10 that corresponds to a region in the second image 20 that is detected by the object distinguished by the color, which is detected in the second image 20.
  • the control unit 4 searches the region B ′.
  • the control unit 4 detects, in the region B, the region occupied by the object having the same characteristics as the object detected in the region B ′ and the peripheral region thereof as the corresponding region.
  • the control unit 4 uses the color detected in the corresponding area to distinguish the object detected in the area B ′.
  • the control unit 4 displays the region 22 in the first image 10 corresponding to the region 21 occupied by the object in the second image 20 and its peripheral region 23 as regions. 21 corresponding areas are detected, and the colors of the area 22 and the peripheral area 23 are detected.
  • the method of determining the peripheral area 23 is arbitrary. The detected color is used to distinguish the object detected in the second image 20.
  • the shaded portion of the first image 10 is red
  • the vehicle shown in FIG. 7 is distinguished (determined) as performing a brake operation.
  • the shaded portion in FIG. 7 is a color indicating no light such as white, it is distinguished that the vehicle shown in FIG. 7 is not performing the brake operation.
  • control unit 4 corresponds to a region in the first image that is a color image corresponding to a region in the second image of the object detected in the second image that is a monochrome image. Object detection is performed at
  • FIG. 8 is a diagram showing a captured image in front of the vehicle in FIG. With reference to FIG. 8, a process performed by the control unit 4 to detect a corresponding area and detect an object will be described in detail.
  • the second image 20 that is a monochrome image has a relatively higher sensitivity and resolution than the first image 10 that is a color image
  • the image of the person in the second image 20 is shown.
  • the outline of is represented by a bold line.
  • control unit 4 When the control unit 4 detects an object in the second image 20, it detects the region 32 corresponding to the region 31 occupied by the object and its peripheral region 33 as the corresponding region of the region 31.
  • the corresponding region detection method is the same as the method described in FIG.
  • the control unit 4 increases the detection sensitivity (lowers the detection level threshold).
  • the control unit 4 may be configured to perform this process only when nothing is detected as an object in the first image 10.
  • FIG. 9 is a diagram showing an operation flow of the control unit of FIG.
  • the control unit acquires a first image from the first imaging unit (step S1), and acquires a second image from the second imaging unit (step S2).
  • the order of step S1 and step S2 may be reversed.
  • control unit performs object detection using the overlapping area of the first image and the second image (step S3). Details will be described in detail with reference to FIG.
  • the control unit calculates the distance to the subject by stereo matching (step S4).
  • a control part detects a traffic sign or a traffic signal using a 1st image (step S5), and detects a road marking or a lane marking on a road surface using a 2nd image (step S6). Further, the control unit outputs the detection result (step S7).
  • step S3 and step S4, step S5, and step S6 is arbitrary.
  • FIG. 10 is a diagram showing a subroutine of object detection processing of the control unit in FIG.
  • the control unit performs object detection in the second image (step S11).
  • the control unit detects an object determined to be distinguished by the color in the region B ′ (Yes in step S12)
  • the processes in steps S13 and S14 are not performed.
  • control unit detects a corresponding area in the area B corresponding to the area occupied in the area B ′ of the object detected in step S11 (step S15). Further, the control unit performs object detection in the detected corresponding area (step S16). The order of steps S12 to S14 and steps S15 and S16 may be reversed.
  • the range captured by the first imaging unit and the range captured by the second imaging unit are shifted from the direction along the baseline length (vertical direction). For this reason, it is possible to detect the detection target object in a wider spatial range, and it is possible to increase the accuracy of the distance calculation to the subject and the accuracy of the object detection.
  • control unit detects different objects showing different contents in the area excluding the overlapping area in the first image and the area excluding the overlapping area in the second image. For this reason, the different objects are not duplicated and useless data is eliminated.
  • the control unit also detects a color from the peripheral area as a corresponding area in the first image corresponding to the area occupied by the detected object in the second image. For this reason, erroneous detection can be prevented.
  • control unit limits the area where object detection is performed and increases the detection sensitivity in that area. Accordingly, it is possible to prevent an object detected in the second image from being detected in the first image having relatively low sensitivity and resolution while preventing erroneous detection.
  • the first image is a color image and the second image is a monochrome image
  • an optical system brighter than the second imaging unit is used for the first imaging unit.
  • the second imaging unit that is a camera that captures monochrome images.
  • the stereo camera device when configured by a computer, a program describing processing contents for realizing each function is stored in an internal or external storage unit of the computer, and the center of the computer is stored. This can be realized by reading out and executing this program by an arithmetic processing unit (CPU).
  • a program can be distributed by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM, and such a program can be stored in a storage unit of a server on a network, for example. And the program can be distributed by transferring the program from the server to another computer via the network.
  • a computer that executes such a program can temporarily store, for example, a program recorded on a portable recording medium or a program transferred from a server in its own storage unit.
  • the computer may directly read the program from a portable recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer.
  • the processing according to the received program may be executed sequentially.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)

Abstract

　より広い空間範囲内における検出対象物体の検出が可能であり且つ被写体までの距離算出の精度および物体検出の精度が高いステレオカメラ装置およびステレオカメラ装置を設置した車両を提供する。　ステレオカメラ装置（１）は、第１の撮像部（２）と、第１の撮像部（２）が撮像する範囲とは、基線長に沿った方向と異なる方向にずれた範囲を撮像する第２の撮像部（３）と、前記第１の撮像部（２）で撮像した第１の画像と前記第２の撮像部（３）で撮像した第２の画像との重複領域を用いて被写体までの距離を算出する制御部と（４）、を備える。

Description

ステレオカメラ装置およびステレオカメラ装置を設置した車両 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１４－１１０２４２号（２０１４年５月２８日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本発明は、ステレオカメラ装置およびステレオカメラ装置を設置した車両に関する。
　従来、左右に１つずつ設置した２つのステレオカメラによって水平方向にずれた２つの範囲を撮影し、それぞれの画像情報に基づいて被写体までの距離を測定して物体を検出する車両用路上物体検出装置が知られている（例えば、特許文献１）。
特開平７－２２５１２６号公報
　水平方向にずれた範囲を撮影するステレオカメラによって路上の白線や交通標識を共に検出するには、左右のステレオカメラのいずれもが鉛直方向に広い画角（視野角）を有する必要がある。悪天候のときや先行車両が大型車であるとき等には、白線や標識・信号等を、近距離に来るまで検出できないこともあるため、ステレオカメラはより広い画角を有することが必要となる。一方で、鉛直方向に画角を広げれば、距離測定の精度や物体検出の精度は低下する。
　かかる事情に鑑みてなされた本発明の目的は、より広い空間範囲内における検出対象物体の検出が可能であり且つ被写体までの距離算出の精度および物体検出の精度が高いステレオカメラ装置およびステレオカメラ装置を設置した車両を提供することである。
　上記課題を解決するため、本発明に係るステレオカメラ装置は、第１の撮像部と、前記第１の撮像部が撮像する範囲とは、基線長に沿った方向と異なる方向にずれた範囲を撮像する第２の撮像部と、前記第１の撮像部で撮像した第１の画像と前記第２の撮像部で撮像した第２の画像との重複領域を用いて被写体までの距離を算出する制御部と、を備える。
　更に、上記課題を解決するため、本発明に係る車両には、第１の撮像部と、前記第１の撮像部が撮像する範囲とは、基線長に沿った方向と異なる方向に一部がずれた範囲を撮像する第２の撮像部と、前記第１の撮像部で撮像した第１の画像と前記第２の撮像部で撮像した第２の画像との重複領域を用いて被写体までの距離を算出する制御部と、を備えるステレオカメラ装置が設置される。
　より広い空間範囲内における検出対象物体の検出が可能であり且つ被写体までの距離算出の精度および物体検出の精度が高いステレオカメラ装置およびステレオカメラ装置を設置した車両を提供することができる。
本発明の一実施形態に係るステレオカメラ装置の機能ブロック図である。 図１の第１の撮像部および第２の撮像部の、車両における配置図である。 図１の第１の撮像部および第２の撮像部の斜視図である。 図１の第１の撮像部および第２の撮像部の、撮像素子およびイメージサークルの構成を示す図である。 図１の第１の撮像部および第２の撮像部の、撮像素子およびイメージサークルの別の構成を示す図である。 図２の車両の前方の撮像画像を示す図である。 色によって区別されるように定められた物体を検出するときの、図２の車両の前方の撮像画像を示す図である。 第２の画像内で検出された物体が占める領域に対応する第１の画像内の対応領域において物体検出を行うときの、図２の車両の前方の撮像画像の更に他の一例を示す図である。 図１の制御部の動作フローを示す図である。 図１の制御部の物体検出処理のサブルーチンを示す図である。
　以下、本発明の一実施形態を図面に基づいて説明する。
　図１は、一実施形態に係るステレオカメラ装置１の機能ブロック図の例を示す図である。図１に示すように、一実施形態に係るステレオカメラ装置１は、第１の撮像部２と、第２の撮像部３と、制御部４とを含む。ステレオカメラ装置１は、撮像画像を用いて距離算出を行い、算出した距離と共に撮像画像内で行った物体検出の結果（例えば、被写体が検出対象の物体であるか否か、また、物体の種類）を制御部４から出力する。
　本実施形態において、ステレオカメラ装置１は、図１に示すように第１の撮像部２、第２の撮像部３および制御部４を単一の筐体内に含む態様で記載されている。カメラモジュールを撮像部として機能させ、且つ、カメラモジュールの外部のＭＰＵをその制御部として機能させることによっても、ステレオカメラ装置１を構成可能である。
　本発明に係るステレオカメラ装置１の各機能を説明するが、ステレオカメラ装置１が備える他の機能を排除することを意図したものではないことに留意されたい。本実施形態に係るステレオカメラ装置１は例えば自動車等の車両に設置される。しかしながら、ステレオカメラ装置１は自動車以外の車両に設置されてもよい。また、ステレオカメラ装置１は電子機器関連の要素と通信するが、以下の説明においては、他の機能部を構成する要素の図示および説明は省略する。
　図２は、図１の第１の撮像部２および第２の撮像部３の車両５における配置図である。車両５には少なくとも第１の撮像部２および第２の撮像部３が設置される。第１の撮像部２および第２の撮像部３は、車両５の前方を撮像可能な位置（例えば、車両５の内側の、フロントガラスに接する位置）に設置され、車両５の前方を撮像する。
　図２においては、第１の撮像部２および第２の撮像部３は車両５の前方を撮像可能な位置に設置されているが、前方ではなく側方や後方といった周辺を撮像可能な位置にそれらを設置して利用することも可能である。
　図３は、図１の第１の撮像部２および第２の撮像部３の斜視図である。第１の撮像部２と第２の撮像部３とは基線長ｄの間隔をあけて設置される。基線長とは第１の撮像部２の結像面Ｓ２上の光軸位置Ｃ２と第２の撮像部３の結像面Ｓ３上の光軸位置Ｃ３との間の距離である。
　第１の撮像部２および第２の撮像部３の取付け位置および取付け姿勢は、それらの撮像部が同一の被写体を、視差をもって撮像できるように、予め厳密に定められる。このとき、第１の撮像部２と第２の撮像部３とは、基線長に沿った方向と異なる方向にずれた範囲を撮像する。基線長に沿った方向と異なる方向とは、基線長に沿った方向とは平行でない方向をいう。詳細は後述する。
　図１の説明に戻る。第１の撮像部２および第２の撮像部３はいずれも、光学系および撮像素子（センサ）を有する。光学系はレンズなどの光学素子によって構成され、画像を結像する。撮像素子は、例えばＣＭＯＳまたはＣＣＤ撮像素子であり、光学系が結像する画像をモノクロ画像として撮像する。また、撮像素子は、受光面上にカラーフィルタを有し、光学系が結像する画像をカラー画像として撮像することもできる。
　第１の撮像部２および第２の撮像部３は、撮像したモノクロ画像またはカラー画像を制御部４に出力する。本実施形態では一例として、第１の撮像部２を、カラー画像を撮像可能な撮像部として説明し、第２の撮像部３を、モノクロ画像を撮像可能な撮像部として説明する。また、第１の撮像部２が撮像する画像を第１の画像、第２の撮像部３が撮像する画像を第２の画像とする。
　第１の画像がカラー画像で第２の画像がモノクロ画像のときには、第１の撮像部２には、第２の撮像部３よりも明るい光学系が用いられてもよい。受光量の差を抑制する明るい光学系を第１の撮像部２に用いることで、その差がゼロになるように調節してもよい。
　制御部４は、第１の撮像部２から取得した第１の画像内において物体検出を行う。制御部４は、第１の画像内における物体検出においては、第１の画像内における検出対象として予め定められた物体が第１の画像内に含まれるか否かを判別する。
　同様に、制御部４は、第２の撮像部３から取得した第２の画像内において物体検出を行う。制御部４は、第２の画像内における物体検出においては、第２の画像内における検出対象として予め定められた物体が第２の画像内に含まれるか否かを判別する。詳細は後述する。
　第１の撮像部２および第２の撮像部３の取り付け位置および取り付け姿勢には少なくとも２つの異なるパターンがある。その２つの異なるパターンを、図４および図５に示す。
　図４は、図１のステレオカメラ装置が車両５に設置されたときにおける、第１の撮像部２および第２の撮像部３の、撮像素子（長方形で示す）およびイメージサークル（円形で示す）の構成を示す図である。
　図４に示すように、第１の撮像部２および第２の撮像部３それぞれにおいて、光学系の光軸（矢印で示す）が撮像素子の受光領域の中心を通るように、光学系および撮像素子は配置される。ステレオカメラ装置１内で、第１の撮像部２および第２の撮像部３は、所定の基線長で離れ、基線長に沿った方向から見て第１の撮像部２および第２の撮像部３の光学系の光軸がずれるように固定される。更に、第１の撮像部２および第２の撮像部３の光学系の光軸のずれは、第１の撮像部２および第２の撮像部３の撮像範囲が一部重複するように、定められる（図４において、一部重複する範囲を斜線で示す）。このような構成によって、第２の撮像部３は、第１の撮像部２が撮像する範囲とは、基線長に沿った方向と異なる方向に一部がずれた範囲を撮像する。ステレオカメラ装置１は、基線長に沿った方向が水平方向と平行になるように、且つ第１の撮像部２および第２の撮像部３が車両に対して所望の方向の撮像範囲を撮像可能なように車両に設置される。このような設置によって、第１の撮像部２および第２の撮像部３は、一部重複しながらも、鉛直方向にずれた範囲を撮像可能である。
　図５は、図１のステレオカメラ装置が車両５に設置されたときの、第１の撮像部および第２の撮像部の、撮像素子（長方形で示す）およびイメージサークル（円形で示す）の別の構成を示す図である。
　第１の撮像部２および第２の撮像部３それぞれの光学系の光軸（矢印で示す）は平行であり、基線長に沿った方向から見て重なっている。第１の撮像部２および第２の撮像部３のそれぞれの光学系の撮像素子の受光面の中心を通り受光面に垂直な直線は、基線長に沿った方向に垂直であり、互いに平行である。また、第１の撮像部２および第２の撮像部３のそれぞれの撮像素子は、それぞれの撮像素子の受光面に平行な方向にずれ、且つ撮像範囲が一部重複するように定められる（図５において、一部重複する範囲を斜線で示す）。このような構成によって、第２の撮像部３は、第１の撮像部２が撮像する範囲とは、基線長に沿った方向と異なる方向に一部がずれた範囲を撮像する。ステレオカメラ装置は、基線長に沿った方向が水平方向と平行になるように、且つ第１の撮像部２および第２の撮像部３が車両に対して所望の方向の撮像領域を撮像可能なように設置される。このような設置によって、第１の撮像部２および第２の撮像部３は、一部重複しながらも、鉛直方向にずれた範囲を撮像可能である。
　図６は、図２の車両の前方の撮像画像を示す図である。具体的には図６は、第１の撮像部２が撮像し制御部４に出力する第１の画像１０（カラー画像）と、第２の撮像部３が撮像し制御部４に出力する第２の画像２０（モノクロ画像）とを示す図である。
　上述の通り、第１の撮像部２と第２の撮像部３とは、基線長に沿った方向とは異なる方向にずれた範囲を撮像する。以下では上述の通り、第１の撮像部２および第２の撮像部３が、一部重複しながらも、鉛直方向にずれた範囲を撮像可能であるとして説明する。以下の説明では、当該一部重複した領域を、領域Ｂおよび領域Ｂ´とする。領域Ｂおよび領域Ｂ´においては、同じ物体を撮像可能である。図６に示す通り、第１の画像１０は領域Ａおよび領域Ｂを有し、第２の画像２０は領域Ｂ´および領域Ｃを有する。領域Ａは、第１の画像内の重複領域（領域Ｂ）を除いた領域であり、領域Ｃは、第２の画像内の重複領域（領域Ｂ´）を除いた領域である。
　図６を参照して領域Ａ、Ｂ、Ｂ´およびＣのそれぞれについて説明する。図６に示すカラー画像においては、領域１１から１３は赤色を示す色情報を有する。色情報を有する領域１１から１３を斜線で示す。
　領域Ａは、交通標識または交通信号等を撮像する領域である。交通標識および交通信号は、色に特定の内容が定められた物体であり、具体的には、速度制限や進行の許可という内容を示す。このため、領域Ａにカラーフィルタを設置して、領域Ａを、カラー画像を撮像可能な領域とするとよい。領域Ａで撮像される物体と、後述する領域Ｃで撮像される物体とは、異なる内容を示す異なる物体である。
　領域Ｂは、後述するように、領域Ｂ´と共に用いて車両の前方の被写体までの距離を算出するのに用いられる領域である。従って、領域Ｂには高い感度および高い解像度（特定種類の光での高い解像度）が必要となることがある。このため、領域Ｂにカラーフィルタを設置せず、領域Ｂを、モノクロ画像を撮像可能な領域としてもよい。このとき、領域Ａのみを、カラー画像を撮像可能な領域としてもよい。
　領域Ｂは、ステレオカメラ装置が設置された車両の前方にある、車両（例えば、車体、車両の方向指示器、ストップランプ、ヘッドランプおよびテールランプ）、人物、動物、路面上の障害物等を撮像する領域である。これらの被写体は、車両からの距離算出が好ましい被写体である。領域Ｂにおいても、第１の撮像部は、色に特定の内容が定められた被写体（例えば、車両の方向指示器や車両のストップランプ）を撮像する。このため、領域Ｂにカラーフィルタを設置して、領域Ｂを、カラー画像を撮像可能な領域としてもよい。
　領域Ａと領域Ｂとの境界を設定する位置は任意である。例えば、境界は、領域Ｂが水平線を含む位置に設定される。
　領域Ｂ´は、領域Ｂと同様に、ステレオカメラ装置が設置された車両の前方にある、車両（例えば、車体、車両の方向指示器、ストップランプ、ヘッドランプおよびテールランプ）、人物、動物、路面上の障害物等を撮像する領域である。領域Ｂ´は、領域Ｂと同様の理由で、カラー画像を撮像可能な領域としてもよいしモノクロ画像を撮像を撮像可能な領域としてもよい。
　領域Ｃは、領域Ｂ´よりも手前（ステレオカメラ装置に近い側）に存在する路面標識または路面上の区画線等を撮像する領域である。路面標識または路面上の区画線は、駐停車禁止や前方の信号の存在という内容を示す。領域Ｃで撮像される被写体にとっての色情報は、他の領域で撮像される被写体にとっての色情報に比べて比較的有用でない。すなわち、領域Ｃにおいては、色よりも色以外の特性（例えば、模様、輪郭等）の方が重要である。このため、領域Ｃは、モノクロ画像を撮像可能な領域とするとよい。
　制御部４は、全領域において、予め定められた物体を検出する。具体的に制御部４は、領域Ａにおいて交通標識や交通信号のような、予め定められた物体を検出する。制御部４は、物体検出の手法として、勾配算出や、例えばＳＶＭ学習データを用いたＨＯＧ等による処理を行ってもよい。また制御部４は、領域Ｂおよび領域Ｂ´において同一の対象物を検出したときに、画像座標に基づいて当該被写体までの距離を算出する。距離の算出は、ステレオマッチング等によって行う。算出した距離は、物体検出の結果と共に出力される。更に、制御部４は、領域Ｃを用いて路面上の区画線等を検出する。
　制御部４は、領域Ｂ´内において検出した物体が、後述する、色によって区別されるように定められた物体であるか否かを判別する。制御部４は、領域Ｂ´内において検出した物体が色によって区別されるように定められた物体であるときには、当該物体の第２の画像内に占める領域に対応する、第１の画像内における対応領域の色を検出する。さらに、制御部４は、検出した色を、第２の画像内で検出した物体の区別に用いる。
　前述のように、制御部４においては、検出対象として予め複数の物体が定められる。例えば、全領域のうち領域Ｂおよび領域Ｂ´における検出対象として定められた物体の一例としては、例えば車両のストップランプが挙げられる。ストップランプは、ランプが点灯しているか否かによって、ブレーキ操作がなされたか否かを示す。ランプが点灯しているか否かの判別は、色以外の特性（模様、形状等）を用いることによっては難しいことがある。そこで、色以外の特性だけでは区別できない物体毎に、色によって区別されるか否かを設定可能である。
　色によって区別されるように定められた物体は、車両のストップランプに限られない。例えば、車両の方向指示器、ヘッドランプおよびテールランプも、色によって区別されるように定められた物体の一例である。
　図７は、図２の車両の前方の撮像画像を示す図である。以下、制御部４が行う、画像内において検出した物体を色によって区別する処理を詳細に説明する。
　制御部４は、第２の画像２０内において検出した、色によって区別される物体が占める第２の画像２０内の領域に対応する、第１の画像１０内の領域を検出する。検出方法としては、まず制御部４は、領域Ｂ´を検索する。次に、制御部４は、領域Ｂ´内で検出された物体と同一の、輪郭等の特性を有する物体の占める領域およびその周辺領域を、対応領域として領域Ｂ内で検出する。更に、制御部４は、対応領域において検出した色を領域Ｂ´内で検出された物体の区別に用いる。
　例えば、図７に示す画像が撮像されたとき、制御部４は、第２の画像２０内における物体の占める領域２１に対応する第１の画像１０内の領域２２およびその周辺領域２３を、領域２１の対応領域として検出し、領域２２および周辺領域２３の色を検出する。周辺領域２３の決め方は任意である。検出された色は、第２の画像２０内で検出した物体の区別に用いる。第１の画像１０の斜線部分が赤色であるとき、図７に示す車両はブレーキ操作を行っていると区別（判別）される。一方、図７の斜線部分が白色等の無灯火を示す色であるとき、図７に示す車両はブレーキ操作を行っていないと区別される。
　更に、別の機能として、制御部４は、モノクロ画像である第２の画像内で検出された物体の第２の画像内の領域に対応する、カラー画像である第１の画像内の対応領域において物体検出を行う。
　図８は、図２の車両の前方の撮像画像を示す図である。図８を参照して、制御部４が行う、対応領域を検出して物体検出を行う処理を詳細に説明する。
　図８においては、モノクロ画像である第２の画像２０の方がカラー画像である第１の画像１０よりも感度および解像度が比較的高いことを示すため、第２の画像２０内の人物の像の輪郭を太線で表現した。
　制御部４は、第２の画像２０内で物体を検出したとき、その物体の占める領域３１に対応する領域３２およびその周辺領域３３を領域３１の対応領域として検出する。対応領域の検出方法は、図７で説明した方法と同様である。制御部４は、対応領域において物体の検出を行うとき、検出感度を上げる（検出レベルの閾値を下げる）。制御部４を、第１の画像１０内において何ら物体として検出されるものがなかったときにのみこの処理を行うように構成してもよい。
　図９は、図１の制御部の動作フローを示す図である。制御部は、第１の撮像部から第１の画像を取得し（ステップＳ１）、第２の撮像部から第２の画像を取得する（ステップＳ２）。ステップＳ１とステップＳ２の順序は逆でもよい。
　次いで、制御部は、第１の画像および第２の画像の重複領域を用いて物体検出を行う（ステップＳ３）。詳細は図１０の説明で詳述する。次いで制御部は、ステレオマッチングによって被写体までの距離を算出する（ステップＳ４）。制御部は、第１の画像を用いて交通標識または交通信号を検出し（ステップＳ５）、第２の画像を用いて路面標識または路面上の区画線を検出する（ステップＳ６）。更に、制御部は、検出結果を出力する（ステップＳ７）。ステップＳ３およびステップＳ４と、ステップＳ５と、ステップＳ６との順序は任意である。
　図１０は、図１の制御部の物体検出処理のサブルーチンを示す図である。制御部は、第２の画像内で物体検出を行う（ステップＳ１１）。制御部は、色によって区別されるように定められた物体を領域Ｂ´内において検出すると（ステップＳ１２のＹｅｓ）、領域Ｂ´内におけるその物体の占める領域に対応する、領域Ｂ内の対応領域を検出し、そこから色情報を取得する（ステップＳ１３）。また、制御部は、取得した色情報を領域Ｂ´内で検出した物体の区別に用いる（ステップＳ１４）。ステップＳ１２でＮｏのときは、ステップＳ１３およびステップＳ１４の処理は行わない。
　次に、制御部は、ステップＳ１１で検出された物体の領域Ｂ´内で占める領域に対応する、領域Ｂ内の対応領域を検出する（ステップＳ１５）。更に、制御部は、検出した対応領域において物体検出を行う（ステップＳ１６）。ステップＳ１２からステップＳ１４と、ステップＳ１５およびステップＳ１６との順序は逆であってもよい。
　以上説明したように、第１の撮像部が撮像する範囲と第２の撮像部が撮像する範囲とを基線長に沿った方向と異なる方向（鉛直方向）にずれる。このため、より広い空間範囲内における検出対象物体の検出が可能であり且つ被写体までの距離算出の精度および物体検出の精度を高くすることができる。
　また、制御部は、第１の画像内の重複領域を除いた領域と、第２の画像内の重複領域を除いた領域とで、異なる内容を示す異なる物体の検出を行う。このため、当該異なる物体を重複して撮像することがなくなり、無駄なデータがなくなる。
　また、制御部は、第２の画像内において検出した物体の占める領域に対応する、第１の画像内の対応領域として、周辺領域からも色を検出する。このため、誤検出を防ぐことができる。
　また、制御部は、物体検出を行う領域を限定してその領域における検出感度を上げる。これによって、誤検出を防ぎつつ、第２の画像では検出された物体が、比較的感度および解像度が低い第１の画像内で検出されないことを防ぐことができる。
　更に、第１の画像がカラー画像で第２の画像がモノクロ画像のときには、第１の撮像部には、第２の撮像部よりも明るい光学系が用いられる。これによって、モノクロ画像を撮像するカメラである第２の撮像部との受光量の差を低減化することが可能である。
　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能である。また、本発明を方法の発明として実施する場合にも、複数の部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
　また、本発明に係るステレオカメラ装置をコンピュータで構成した場合には、各機能を実現する処理内容を記述したプログラムを、そのコンピュータの内部または外部の記憶部に格納しておき、そのコンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばＤＶＤまたはＣＤ－ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等によって流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することによって、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
　１　　ステレオカメラ装置
　２　　第１の撮像部
　３　　第２の撮像部
　４　　制御部
　５　　車両
　１０　第１の撮像部が撮像する第１の画像
　２０　第２の撮像部が撮像する第２の画像

Claims (9)

  1. 　第１の撮像部と、
    　前記第１の撮像部が撮像する範囲とは、基線長に沿った方向と異なる方向に一部がずれた範囲を撮像する第２の撮像部と、
    　前記第１の撮像部で撮像した第１の画像と前記第２の撮像部で撮像した第２の画像との重複領域を用いて被写体までの距離を算出する制御部と、
    を備えるステレオカメラ装置。
  2. 　前記制御部は更に、前記第１の画像内の前記重複領域を除いた領域と、前記第２の画像内の前記重複領域を除いた領域とで、異なる内容を示す異なる物体の検出を行う、
    請求項１に記載のステレオカメラ装置。
  3. 　前記制御部は更に、
    　前記第１の画像内において交通標識または交通信号の少なくとも一方を検出し、
    　前記第２の画像内において路面標識または路面上の区画線の少なくとも一方を検出する、
    請求項１または２に記載のステレオカメラ装置。
  4. 　前記第１の撮像部はカラー画像を撮像可能であり、
    　前記第２の撮像部はモノクロ画像を撮像可能である、
    請求項１から３のいずれか１項に記載のステレオカメラ装置。
  5. 　前記第１の撮像部は、前記第１の画像内の前記重複領域を除いた領域のみでカラー画像を撮像可能である請求項４に記載のステレオカメラ装置。
  6. 　前記制御部は更に、色によって区別されるように定められた物体を前記第２の画像内で検出したとき、当該第２の画像内における当該物体の占める領域に対応する、前記第１の画像内の対応領域における色を、前記第２の画像内で検出した物体の区別に用いる、請求項４に記載のステレオカメラ装置。
  7. 　前記制御部は更に、前記第２の画像内で検出された物体が占める当該第２の画像内の領域に対応する、前記第１の画像内の対応領域において物体検出を行う、請求項４または６に記載のステレオカメラ装置。
  8. 　前記第１の撮像部は前記第２の撮像部よりも明るい光学系を用いた、請求項４から７のいずれか１項に記載のステレオカメラ装置。
  9. 　第１の撮像部と、
    　前記第１の撮像部が撮像する範囲とは、基線長に沿った方向と異なる方向に一部がずれた範囲を撮像する第２の撮像部と、
    　前記第１の撮像部で撮像した第１の画像と前記第２の撮像部で撮像した第２の画像との重複領域を用いて被写体までの距離を算出する制御部と、
    を備えるステレオカメラ装置を設置した車両。
PCT/JP2015/002704 2014-05-28 2015-05-28 ステレオカメラ装置およびステレオカメラ装置を設置した車両 Ceased WO2015182147A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580027361.8A CN106461387B (zh) 2014-05-28 2015-05-28 立体相机设备和设置有立体相机的车辆
EP15800361.6A EP3150961B1 (en) 2014-05-28 2015-05-28 Stereo camera device and vehicle provided with stereo camera device
JP2016523159A JP6283105B2 (ja) 2014-05-28 2015-05-28 ステレオカメラ装置、ステレオカメラ装置を設置した車両及びプログラム
US15/358,464 US10180318B2 (en) 2014-05-28 2016-11-22 Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-110242 2014-05-28
JP2014110242 2014-05-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/358,464 Continuation US10180318B2 (en) 2014-05-28 2016-11-22 Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium

Publications (1)

Publication Number Publication Date
WO2015182147A1 true WO2015182147A1 (ja) 2015-12-03

Family

ID=54698492

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/002704 Ceased WO2015182147A1 (ja) 2014-05-28 2015-05-28 ステレオカメラ装置およびステレオカメラ装置を設置した車両

Country Status (5)

Country Link
US (1) US10180318B2 (ja)
EP (1) EP3150961B1 (ja)
JP (1) JP6283105B2 (ja)
CN (1) CN106461387B (ja)
WO (1) WO2015182147A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019030995A1 (ja) 2017-08-07 2019-02-14 日立オートモティブシステムズ株式会社 ステレオ画像処理装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
CN107666590B (zh) * 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
US10341618B2 (en) 2017-05-24 2019-07-02 Trimble Inc. Infrastructure positioning camera system
US10300573B2 (en) 2017-05-24 2019-05-28 Trimble Inc. Measurement, layout, marking, firestop stick
CN111788102B (zh) * 2018-03-07 2024-04-30 罗伯特·博世有限公司 用于跟踪交通灯的里程计系统和方法
US10739455B2 (en) 2018-05-24 2020-08-11 GM Global Technology Operations LLC Method and apparatus for acquiring depth information using cameras from different vehicles
CN113538571A (zh) * 2020-04-13 2021-10-22 奥迪股份公司 跟车距离测量系统、包括其的车辆及相应的方法
KR20210147405A (ko) * 2020-05-28 2021-12-07 삼성전자주식회사 객체 인식을 수행하는 전자 장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261028A (ja) * 1999-03-05 2000-09-22 Hamamatsu Photonics Kk 半導体位置検出器及びこれを用いた測距装置
JP2001305682A (ja) * 2000-04-20 2001-11-02 Sony Corp 撮像装置および方法
JP2001305681A (ja) * 2000-04-19 2001-11-02 Nippon Signal Co Ltd:The ステレオカメラ装置
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
WO2013006649A2 (en) * 2011-07-05 2013-01-10 Omron Corporation A method and apparatus for projective volume monitoring

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
JPH07225126A (ja) 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用路上物体認識装置
DE60009114T2 (de) * 1999-09-20 2004-08-05 Matsushita Electric Industrial Co. Ltd. Vorrichtung zur unterstützung von kraftfahrzeugführern
JP2005024463A (ja) * 2003-07-04 2005-01-27 Fuji Heavy Ind Ltd ステレオ広視野画像処理装置
JP4999386B2 (ja) * 2006-07-24 2012-08-15 株式会社イレブンインターナショナル 後方カメラ付車両
FR2921027B1 (fr) * 2007-09-17 2010-02-26 Valeo Vision Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique
JP2009284188A (ja) * 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
EP2473871B1 (en) * 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
US9501692B2 (en) 2011-10-14 2016-11-22 Omron Corporation Method and apparatus for projective volume monitoring
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
JP2015232442A (ja) * 2012-10-04 2015-12-24 アルプス電気株式会社 画像処理装置及び車両前方監視装置
US9446765B2 (en) * 2014-01-30 2016-09-20 Mobileye Vision Technologies Ltd. Systems and methods for identifying relevant traffic lights

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261028A (ja) * 1999-03-05 2000-09-22 Hamamatsu Photonics Kk 半導体位置検出器及びこれを用いた測距装置
JP2001305681A (ja) * 2000-04-19 2001-11-02 Nippon Signal Co Ltd:The ステレオカメラ装置
JP2001305682A (ja) * 2000-04-20 2001-11-02 Sony Corp 撮像装置および方法
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
WO2013006649A2 (en) * 2011-07-05 2013-01-10 Omron Corporation A method and apparatus for projective volume monitoring

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3150961A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019030995A1 (ja) 2017-08-07 2019-02-14 日立オートモティブシステムズ株式会社 ステレオ画像処理装置
JP2019032409A (ja) * 2017-08-07 2019-02-28 日立オートモティブシステムズ株式会社 ステレオ画像処理装置
US10992920B2 (en) 2017-08-07 2021-04-27 Hitachi Automotive Systems, Ltd. Stereo image processing device

Also Published As

Publication number Publication date
US20170074651A1 (en) 2017-03-16
US10180318B2 (en) 2019-01-15
CN106461387B (zh) 2020-11-20
CN106461387A (zh) 2017-02-22
EP3150961A1 (en) 2017-04-05
JPWO2015182147A1 (ja) 2017-04-20
JP6283105B2 (ja) 2018-02-21
EP3150961B1 (en) 2023-01-04
EP3150961A4 (en) 2018-04-18

Similar Documents

Publication Publication Date Title
JP6283105B2 (ja) ステレオカメラ装置、ステレオカメラ装置を設置した車両及びプログラム
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
EP3057063B1 (en) Object detection device and vehicle using same
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
JP7484783B2 (ja) 車線境界検出装置、車線境界検出方法及び車線境界検出用コンピュータプログラム
CN108692719A (zh) 物体检测装置
JP5293131B2 (ja) 車両用複眼距離測定装置及び複眼距離測定方法
US10992920B2 (en) Stereo image processing device
JP2011180982A (ja) 区画線検出装置
KR101694837B1 (ko) 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
CN105825495A (zh) 物体检测装置和物体检测方法
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
JP7103324B2 (ja) 物体認識用異常検出装置及び物体認識用異常検出プログラム
JP2020086956A (ja) 撮影異常診断装置
US9524645B2 (en) Filtering device and environment recognition system
JP2009014645A (ja) 車両用距離測定装置
JP6665522B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
JP2015219212A (ja) ステレオカメラ装置及び距離算出方法
JP5587852B2 (ja) 画像処理装置及び画像処理方法
JP7781630B2 (ja) 駐車支援装置、及び駐車支援方法
WO2017122688A1 (ja) 車載カメラのレンズ異常検出装置
JP2006107000A (ja) 画像異常判定方法及び画像異常判定装置
JP5722643B2 (ja) 物体検出装置、および、物体検出方法
WO2020008787A1 (ja) カメラ装置の標識認識方法及び標識認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15800361

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016523159

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015800361

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015800361

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE