WO2016208198A1 - 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法 - Google Patents

立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法 Download PDF

Info

Publication number
WO2016208198A1
WO2016208198A1 PCT/JP2016/003043 JP2016003043W WO2016208198A1 WO 2016208198 A1 WO2016208198 A1 WO 2016208198A1 JP 2016003043 W JP2016003043 W JP 2016003043W WO 2016208198 A1 WO2016208198 A1 WO 2016208198A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distance
dimensional object
parallax
subject
Prior art date
Application number
PCT/JP2016/003043
Other languages
English (en)
French (fr)
Inventor
知文 小石
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP16813970.7A priority Critical patent/EP3316006B1/en
Priority to JP2017524646A priority patent/JP6456499B2/ja
Priority to US15/739,481 priority patent/US10567736B2/en
Publication of WO2016208198A1 publication Critical patent/WO2016208198A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Definitions

  • the present invention relates to a three-dimensional object detection device, a stereo camera device, a vehicle, and a three-dimensional object detection method.
  • the solid object detection device of the present disclosure includes an input unit and a control unit.
  • the input unit can accept input of a first image and a second image having parallax in the first direction.
  • the control unit generates a parallax image in which a difference between the position of the subject in the first image and the position of the subject in the second image in the first direction is represented by a pixel value.
  • the control unit divides at least a part of the parallax image into a plurality of partial regions extending along a second direction intersecting the first direction.
  • the control unit divides the distance in the direction toward the subject into a plurality of distance sections for each of the partial regions.
  • the control unit calculates the distance section to which each pixel of the partial region belongs from the pixel value, and sets an evaluation value corresponding to the length in the second direction of the three-dimensional object belonging to the distance section as the distance section. It calculates based on the number of pixels of the pixel to which it belongs.
  • the control unit determines the presence of a three-dimensional object for each distance section based on the evaluation value.
  • the control unit uses a different threshold value for each distance section, and determines that a three-dimensional object exists when the evaluation value is larger than the threshold value.
  • the stereo camera device of the present disclosure includes a stereo camera and a control unit.
  • the stereo camera outputs a first image and a second image having parallax in the first direction.
  • the control unit generates a parallax image in which a difference between the position of the subject in the first image and the position of the subject in the second image in the first direction is expressed by a pixel value.
  • the control unit divides at least a part of the parallax image into a plurality of partial regions extending along a second direction intersecting the first direction.
  • the control unit divides the distance in the direction toward the subject into a plurality of distance sections for each of the partial regions.
  • the control unit calculates the distance section to which each pixel of the partial region belongs from the pixel value, and sets an evaluation value corresponding to the length in the second direction of the three-dimensional object belonging to the distance section as the distance section. It calculates based on the number of pixels of the pixel to which it belongs.
  • the control unit determines the presence of a three-dimensional object for each distance section based on the evaluation value.
  • the control unit uses a different threshold value for each distance section, and determines that a three-dimensional object exists when the evaluation value is larger than the threshold value.
  • the vehicle of the present disclosure includes a stereo camera and a control unit.
  • the stereo camera outputs a first image and a second image having parallax in the first direction.
  • the control unit generates a parallax image in which a difference between the position of the subject in the first image and the position of the subject in the second image in the first direction is expressed by a pixel value.
  • the control unit divides at least a part of the parallax image into a plurality of partial regions extending along a second direction intersecting the first direction.
  • the control unit divides the distance in the direction toward the subject into a plurality of distance sections for each of the partial regions.
  • the control unit calculates the distance section to which each pixel of the partial region belongs from the pixel value, and sets an evaluation value corresponding to the length in the second direction of the three-dimensional object belonging to the distance section as the distance section. It calculates based on the number of pixels of the pixel to which it belongs.
  • the control unit determines the presence of a three-dimensional object for each distance section based on the evaluation value.
  • the control unit uses a different threshold value for each distance section, and determines that a three-dimensional object exists when the evaluation value is larger than the threshold value.
  • the stereo camera images the external environment of the vehicle.
  • the solid object detection method of the present disclosure accepts input of a first image and a second image having parallax in the first direction by a stereo camera.
  • the three-dimensional object detection method generates a parallax image in which a difference between the position of the subject in the first image and the position of the subject in the second image in the first direction is represented by a pixel value.
  • at least a part of the parallax image is divided into a plurality of partial regions extending along a second direction intersecting the first direction.
  • the three-dimensional object detection method divides the distance in the direction toward the subject for each of the partial areas into a plurality of distance sections, and calculates the distance section to which each pixel of the partial area belongs from the pixel value, An evaluation value corresponding to the length in the second direction of the three-dimensional object belonging to the distance section is calculated based on the number of pixels belonging to the distance section.
  • the three-dimensional object detection method uses a different threshold value for each distance section, and a three-dimensional object exists when the evaluation value is larger than the threshold value.
  • FIG. 1 is a diagram schematically illustrating a vehicle equipped with a stereo camera device that travels on a road.
  • FIG. 2 is a block diagram illustrating a schematic configuration of a stereo camera device according to one of a plurality of embodiments.
  • FIG. 3 is a flowchart showing a three-dimensional object discrimination process in the control unit.
  • FIG. 4 is a diagram illustrating an image obtained by photographing the front of the vehicle with one of the stereo cameras.
  • FIG. 5 is a diagram for explaining a method of dividing a parallax image into partial regions.
  • FIG. 6 is a diagram illustrating an example of a distance section divided in front of the vehicle.
  • FIG. 7 is a diagram illustrating the height on the image corresponding to the road surface of one distance section.
  • FIG. 8 is a diagram illustrating the height on the image of a three-dimensional object belonging to one distance section.
  • FIG. 9 is a diagram illustrating a distance histogram and a threshold for three-dimensional discrimination
  • the traveling direction of vehicle 1 (upward in FIG. 1) is the Z direction
  • the vehicle width direction of vehicle 1 (rightward in FIG. 1) is the X direction
  • a height direction that is a direction perpendicular to the paper surface is defined as a Y direction.
  • the Z direction is also a direction toward the subject.
  • vehicle in the present application includes, but is not limited to, an automobile, a railway vehicle, an industrial vehicle, and a living vehicle.
  • the vehicle may include an airplane traveling on a runway.
  • the automobile includes, but is not limited to, a passenger car, a truck, a bus, a two-wheeled vehicle, a trike, and a trolley bus, and may include other vehicles that travel on the road.
  • Rail vehicles include, but are not limited to, locomotives, freight cars, passenger cars, trams, guided railroads, ropeways, cable cars, linear motor cars, and monorails, and may include other vehicles that travel along the track.
  • Industrial vehicles include industrial vehicles for agriculture and construction. Industrial vehicles include but are not limited to forklifts and golf carts. Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines, and lawn mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, cranes, dump trucks, and road rollers.
  • Living vehicles include, but are not limited to, bicycles, wheelchairs, baby carriages, wheelbarrows, and electric two-wheelers.
  • Vehicle power engines include, but are not limited to, internal combustion engines including diesel engines, gasoline engines, and hydrogen engines, and electrical engines including motors. Vehicles include those that travel by human power.
  • the vehicle classification is not limited to the above. For example, an automobile may include an industrial vehicle capable of traveling on a road, and the same vehicle may be included in a plurality of classifications.
  • the stereo camera device 10 includes a stereo camera 11 including two cameras, a left camera 11a and a right camera 11b, and a three-dimensional object detection device 12 electrically connected to the stereo camera 11.
  • the “stereo camera” is a plurality of cameras having parallax and cooperating with each other.
  • the stereo camera includes at least two cameras. In a stereo camera, it is possible to image a target from a plurality of directions by cooperating a plurality of cameras.
  • Stereo cameras include those capable of simultaneously imaging a subject by cooperating a plurality of cameras. “Simultaneous” shooting is not limited to the exact same time.
  • the imaging time reference includes an imaging start time, an imaging end time, a captured image data transmission time, and a time at which the counterpart device receives the image data.
  • the stereo camera may be a device in which a plurality of cameras are included in one housing.
  • the stereo camera may be a device including two or more cameras which are independent from each other and located apart from each other.
  • a stereo camera 11 is a camera in which two cameras, a left camera 11a and a right camera 11b, are arranged in the X direction.
  • the optical axis directions of the left camera 11a and the right camera 11b are parallel to each other and substantially in the Z direction.
  • the optical axis direction may be inclined in the vertical direction from the Z direction.
  • a camera having an optical mechanism that guides light incident on two distant locations to one light receiving element can be adopted as a stereo camera.
  • two cameras, a left camera 11a and a right camera 11b, which are independent from each other are arranged.
  • a plurality of images obtained by capturing the same subject from different viewpoints may be referred to as “stereo images”.
  • the entire object imaged by the left camera 11a and the right camera 11b is collectively referred to as “subject”.
  • the subject includes a road, a vehicle ahead, an obstacle on the road, a background, and the like.
  • the “three-dimensional object” means an object in real space, and particularly an object having a size in the height direction.
  • the left camera 11a and the right camera 11b include an image sensor.
  • the image sensor includes a CCD image sensor (Charge-Coupled Device Device Image Sensor) and a CMOS image sensor (Complementary MOS Image Sensor).
  • the left camera 11a and the right camera 11b may include a lens mechanism.
  • the optical axes of the left camera 11a and the right camera 11b face the direction in which the same object can be imaged.
  • the left camera 11a and the right camera 11b have different optical axes.
  • the left camera 11a and the right camera 11b have their optical axes and positions determined so that at least the same object is included in the captured image.
  • the optical axes of the left camera 11a and the right camera 11b are directed parallel to each other.
  • the optical axes of the left camera 11a and the right camera 11b are not limited to being parallel but may be in different directions.
  • the left camera 11a and the right camera 11b are fixed to the vehicle body of the vehicle 1 so that changes in the position and orientation with respect to the vehicle 1 are reduced.
  • the optical axes of the left camera 11a and the right camera 11b may be directed in the Z direction, and may be inclined toward the sky side from the Z direction. The directions of the optical axes of the left camera 11a and the right camera 11b are appropriately changed according to the application.
  • the optical axes of the left camera 11a and the right camera 11b are arranged forward, that is, slightly downward in the Z direction.
  • the stereo camera device 10 can image various objects such as a preceding vehicle, an obstacle, and white lines 14a and 14b on the road surface 13 included in the external environment of the vehicle while traveling.
  • the white line may be called a lane marking.
  • the left camera 11a and the right camera 11b are located side by side along the vehicle width direction, that is, the X direction.
  • the left camera 11a is located on the left side of the right camera 11b when facing forward, and the right camera 11b is located on the right side of the left camera 11a when facing forward.
  • the left camera 11 a and the right camera 11b Due to the difference in position between the left camera 11a and the right camera 11b, the positions of the corresponding subjects in the two images, the first image captured by the left camera 11a and the second image captured by the right camera 11b, are different.
  • the first image output from the left camera 11a and the second image output from the right camera 11b are stereo images captured from different viewpoints.
  • the left camera 11 a and the right camera 11 b can be installed inside the windshield of the vehicle 1 with the optical axis directed in the Z direction of the vehicle 1.
  • the left camera 11a and the right camera 11b may be fixed to any of the front bumper, fender grille, side fender, light module, and bonnet of the vehicle 1, respectively.
  • the left camera 11a and the right camera 11b output captured images to the three-dimensional object detection device 12 as digital data.
  • the three-dimensional object detection device 12 performs various processes such as image calibration and brightness adjustment on the first image output from the left camera 11a and the second image output from the right camera 11b. Can do. Furthermore, the three-dimensional object detection device 12 performs processing such as creation of a parallax image and determination of a three-dimensional object described below.
  • the parallax image is a pixel value representing the difference in the first direction between the position of the subject in the first image and the position of the subject in the second image. The pixel value of each pixel of the parallax image corresponds to the distance of the subject.
  • the “distance” is a distance in a direction from the left camera 11a and the right camera 11b toward the subject.
  • “distance” means a distance in the Z direction from the left camera 11a and the right camera 11b.
  • the “distance” may be a distance in the depth direction of the stereo image by the stereo camera 11.
  • the stereo camera device 10 includes a stereo camera 11 and a three-dimensional object detection device 12 as shown in FIG.
  • the three-dimensional object detection device 12 includes an input unit 15, a control unit 16, an output unit 17, and an image memory 18.
  • the input unit 15 is an input interface for inputting an image to the three-dimensional object detection device 12.
  • the input unit 15 can employ a physical connector and a wireless communication device.
  • the physical connector includes an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves.
  • Electrical connectors include connectors conforming to IEC 60603, connectors conforming to USB standards, connectors corresponding to RCA terminals, connectors corresponding to S terminals defined in EIAJ CP-1211A, D terminals prescribed in EIAJ RC-5237 The connector corresponding to is included.
  • the electrical connector includes a connector conforming to the HDMI (registered trademark) standard and a connector corresponding to a coaxial cable including BNC.
  • the optical connector includes various connectors conforming to IEC 61754.
  • the wireless communication device includes a wireless communication device that complies with each standard including Bluetooth (registered trademark) and IEEE802.11.
  • the wireless communication device includes at least one antenna.
  • the input unit 15 can accept input of images taken from the left camera 11a and the right camera 11b.
  • the input unit 15 delivers the received image to the control unit 16.
  • the input to the input unit 15 includes a signal input via a wired cable and a signal input via a wireless connection.
  • the input unit 15 may correspond to the imaging signal transmission method of the stereo camera 11.
  • the control unit 16 includes one or a plurality of processors and a ROM (Read Only Memory) and a RAM (Random Access Memory) that store programs and data, and executes various processes.
  • the processor includes a general-purpose processor that reads a specific program and executes a specific function, or a dedicated processor specialized for a specific process.
  • the dedicated processor includes an application specific IC (ASIC: Application Specific Circuit).
  • the processor includes a programmable logic device (PLD: Programmable Logic Device).
  • PLD includes FPGA (Field-ProgrammablemGate Array).
  • the control unit 16 may be one of SoC (System-on-a-Chip) and SiP (System-In-a-Package) in which one or a plurality of processors cooperate.
  • the control unit 16 preprocesses the first image and the second image input from the input unit 15, and then generates an image processing unit 19 that generates a parallax image, and a three-dimensional object based on the parallax image generated by the image processing unit 19.
  • the determination part 20 which performs these determinations is provided.
  • Each of the image processing unit 19 and the determination unit 20 may be a hardware module or a software module.
  • the control unit 16 can execute operations that each of the image processing unit 19 and the determination unit 20 can perform.
  • the control unit 16 is not limited to the form including the image processing unit 19 and the determination unit 20, and one of the image processing unit 19 and the determination unit 20 may be omitted. In one of the embodiments, the control unit 16 may execute the operations of both the image processing unit 19 and the determination unit 20.
  • the operations performed by the image processing unit 19 and the determination unit 20 may be rephrased as operations performed by the control unit 16.
  • the processing performed by the control unit 16 using either the image processing unit 19 or the determination unit 20 may be
  • the output unit 17 is an output interface that outputs data from the three-dimensional object detection device 12.
  • the output unit 17 can employ a physical connector and a wireless communication device.
  • the output unit 17 is connected to the network of the vehicle 1 such as CAN (Control Area Network).
  • the three-dimensional object detection device 12 is connected to a control device, an alarm device, and the like of the vehicle 1 through the CAN.
  • the three-dimensional object detection device 12 outputs three-dimensional object information detected by image processing, distance information to the three-dimensional object, and the like from the output unit 17 to the control device, the alarm device, and the like. Such information is appropriately used in each of the control device and the alarm device.
  • output part 17 is separated from input part 15 in one of a plurality of embodiments, it is not restricted to this.
  • the input unit 15 and the output unit 17 may be one communication unit.
  • This communication unit serves as a communication interface of the stereo camera device 10.
  • the communication unit can employ a physical connector and a wireless communication device.
  • the image memory 18 is a memory for temporarily storing images captured by the left camera 11a and the right camera 11b input from the input unit 15.
  • the image memory 18 includes a memory independent of the processor and a cache memory built in the processor.
  • the memory may include DRAM (Dynamic Random Access Memory), SRAM (Static Random Access Memory), and the like.
  • the image processing unit 19 receives input of the first image and the second image from the input unit 15 (step S01).
  • the image processing unit 19 adjusts the image for each of the input first image from the left camera 11a and the second image from the right camera 11b.
  • This adjustment of the image may include correction of misorientation of the left camera 11a and the right camera 11b.
  • the image processing unit 19 corrects the image based on the orientation deviation measured in advance.
  • This image adjustment may include adjusting the brightness and contrast of the image according to the external environment.
  • the stereo camera 11 may perform part or all of the adjustment of the image.
  • the image processing unit 19 stores the first image and the second image in which these images have been adjusted in the image memory 18.
  • the first image and the second image have parallax in the x direction corresponding to the X direction in real space.
  • the x direction is the first direction.
  • the direction intersecting the x direction is defined as the y direction.
  • the y direction may be orthogonal to the x direction.
  • the y direction is the second direction.
  • the image processing unit 19 divides the second image into small areas (step S02).
  • the small area is a small rectangular area having about 2 to 10 pixels in the x and y directions.
  • the small area is an area having 4 pixels each in the x direction and the y direction.
  • the image processing unit 19 shifts one pixel at a time in the x direction from the position corresponding to the small area of the second image on the first image, and changes the luminance or color of the second image.
  • a small area matching process for searching for a small area that matches the pattern is performed (step S03).
  • the image processing unit 19 compares the first image and the second image for the corresponding 4 ⁇ 4 pixels, and when the sum of the absolute values of the luminance differences of the pixels becomes the minimum value, It is determined that the small areas of the first image and the second image match.
  • the image processing unit 19 can calculate the distance using the principle of triangulation for each small area, using the shift amount between the first image and the second image between the small areas at this time.
  • the image processing unit 19 can obtain the parallax for the entire screen by dividing all regions of the second image into small regions and performing matching with the first image. When the parallax is obtained for the entire screen, the image processing unit 19 generates a parallax image representing the distance with the pixel value of each pixel (step S04).
  • the pixel value of each pixel of the parallax image represents the difference in the first direction between the position of the subject in the first image and the position of the subject in the second image.
  • the pixel value of each pixel of the parallax image represents the distance to the subject corresponding to the pixel.
  • the parallax image may be called a distance image.
  • the second image is divided into small areas and the matching process is performed on the first image.
  • the matching process on the image may be performed by dividing the first image into small regions and performing the matching process on the second image.
  • a small region including the pixel and its surrounding pixels may be extracted from the second image for each pixel, and the matching process may be performed on the first image.
  • the number of pixels of the parallax image and the first image and the second image can be substantially the same.
  • a numerical value representing parallax is associated with each pixel.
  • the parallax image can be displayed as a two-dimensional image in which luminance or color is assigned to each pixel based on the numerical value representing the parallax.
  • the parallax image drawn in this way is significantly different from the first image and the second image.
  • the three-dimensional object included in the first image and the second image can be recognized as a region having substantially the same luminance or color on the parallax image. Therefore, it is possible to grasp the distance, position, and size of the three-dimensional object by viewing the parallax image.
  • generating a parallax image does not require that the parallax image be displayed as a two-dimensional image.
  • the parallax image may be generated and used only for arithmetic processing in the control unit 16 as numerical data representing the parallax associated with the pixel.
  • the determination unit 20 determines the presence / absence of a three-dimensional object and the distance to the three-dimensional object based on the parallax image created by the image processing unit 19 (steps S05 to S07).
  • the determination unit 20 divides the parallax image into a plurality of long regions along the y direction (step S05).
  • each region of the divided parallax image may be referred to as a partial region.
  • each region of the divided parallax image may be referred to as a strip-shaped region.
  • the strip shape means a rectangular shape whose long side is significantly longer than the short side.
  • the strip-shaped long side is, for example, 5 times or more of the short side, and may be 10 times or more, or 20 times or more.
  • each partial region is used for determining the presence of a three-dimensional object in the region and its distance. Therefore, if the width in the x direction of each partial region is made fine, the resolution for detecting the three-dimensional object in the x direction increases, and a plurality of three-dimensional objects located at different x-direction positions can be simultaneously determined.
  • the width in the x direction of each partial region can be several pixels to several tens of pixels.
  • the determination unit 20 divides a part of the parallax image into a plurality of partial areas. In other words, the determination unit 20 may divide at least a part of the parallax image into a plurality of partial areas.
  • the partial region may cover from the top to the bottom of the parallax image.
  • the determination unit 20 creates a distance histogram for each partial region R (step S06).
  • the distance histogram shows the distribution of the number of pixels for each distance section by calculating the distance section to which each pixel included in the partial region R belongs from the pixel value.
  • the distance section is obtained by dividing the Z direction into a plurality of regions according to the distance in the Z direction.
  • the distance axis is taken on the horizontal axis, and the number of pixels belonging to each distance section can be expressed by the height of the column in the distance section.
  • a distance section corresponding to the distance in the Z direction (forward) starting from the stereo camera 11 is defined in advance.
  • the plurality of distance sections may have different widths between the long distance side boundary and the short distance side boundary.
  • the plurality of distance sections may determine the width of the next distance section based on the width of the previous distance section.
  • the plurality of distance sections may start from the far side boundary of the measurement target region.
  • the distance section may start from a distance of 5 m.
  • the first distance section may be, for example, 5m as a short distance side boundary and 5m50cm as a long distance side boundary. In the first distance section, the width of the section between the long distance side boundary and the short distance side boundary is 50 cm.
  • a plurality of distance sections may be set so that the width of the second and subsequent distance sections is increased by 10%.
  • the width between the long-distance side boundary and the short-distance side boundary of each distance section may be the same length.
  • FIG. 6 shows an example of a distance section divided in front of the vehicle 1. According to FIG. 6, the non-measurement area where the pixel count data is not counted is from the position of the stereo camera 11 of the vehicle 1 up to 5 m ahead.
  • distance sections are set starting from the distance section S 1 closest to the vehicle 1 while sequentially increasing the width in the Z direction.
  • Z 1 the distance from the vehicle 1 in the nth distance section Sn to the short distance side boundary
  • Z 2 the distance from the long distance side boundary
  • the non-measurement area is 5 m in advance.
  • the non-measurement area is not limited to 5 m.
  • the top of the three-dimensional object having the minimum height that the stereo camera device 10 must detect is higher than the position where the stereo camera 11 is installed.
  • the closest distance on the road surface imaged by the stereo camera 11 and the closest distance at which the top of the three-dimensional object having the minimum height that the stereo camera device 10 must detect are calculated by the stereo camera 11 are calculated.
  • the longer distance is the non-measurement distance.
  • This non-measuring distance is a distance within which the height direction of the entire three-dimensional object having the minimum height to be measured fits in the stereo image if it is longer than this.
  • the determination unit 20 determines the presence of a three-dimensional object from the distance histogram (step S07).
  • the threshold value used for determining the presence of a three-dimensional object is set to a large value to avoid misrecognition.
  • a certain threshold is provided in the distance histogram, a solid object at a long distance may not be detected.
  • a different threshold is used for each distance section according to the distance, as will be described below.
  • the focal length of the imaging lens of the stereo camera 11 is f
  • the depression angle in the optical axis direction of the imaging lens of the stereo camera 11 is ⁇ 0
  • the mounting height of the stereo camera 11 is h 0 . That is, f, ⁇ 0 , and h 0 are the focal length, the depression angle, and the mounting height of the optical system that captured the first image and the second image, respectively.
  • the height y road image corresponding to the road surface between the far side of the border and the short distance side of the boundary of the distance interval S n can be expressed by the following equation (1) .
  • the group of pixels cannot be distinguished from a flat surface having no thickness on the road surface or the road surface.
  • the pixels of the parallax image belonging to the distance section where the three-dimensional object exists are arranged in the width in the x direction of the partial region. In this case, if the size obtained by multiplying the number of pixels arranged in the y direction by the pixel pitch is not larger than the height y load of the road surface image in the distance section, the three-dimensional object belonging to the distance section cannot be determined.
  • the height of the image of the three-dimensional object is assumed to be located at the distance Z 3 (Z 1 ⁇ Z 3 ⁇ Z 2 ), and the height of the three-dimensional object is Y.
  • the height y object of the three-dimensional object image can be expressed by the following equation (2).
  • the three-dimensional object having the height Y is displayed as a group of pixels belonging to the same distance section having the height y object in the parallax image.
  • the minimum height of the three-dimensional object to be detected is Y min
  • the length in the y direction of the group of pixels belonging to the distance section where the three-dimensional object exists is obtained by substituting Y min for Y in Equation (2).
  • it is larger than the obtained y object it is always determined as a three-dimensional object.
  • a three-dimensional object higher than the height Y min that must be detected is determined as a three-dimensional object.
  • the length of the group of pixels in the y direction may be a size obtained by multiplying the number of pixels arranged in the y direction when the pixels belonging to the distance section of the parallax image are arranged in the x direction width of the partial region by the pixel pitch.
  • the determination unit 20 counts the number of pixels belonging to the distance section divided in advance for each partial area, and divides the value obtained by dividing the number of pixels in the x direction of the partial area by the distance section.
  • the evaluation value corresponds to the number of pixels arranged in the y direction when the pixels included in the distance section are arranged in the width of the partial region in the x direction. Since the length is obtained by multiplying the number of pixels by the pixel pitch, the evaluation value corresponds to the length in the y direction of the object belonging to the distance section.
  • the determination unit 20 compares the evaluation value with a threshold value Th that is different for each distance section. The determination unit 20 determines that a three-dimensional object exists when the evaluation value is larger than a threshold value.
  • the threshold Th of each distance section is determined by f indicating the focal length of the optical system that has captured the stereo image, ⁇ 0 of the depression angle of the optical system that has captured the stereo image, and h 0 the mounting height of the optical system that has captured the stereo image.
  • Z 1 short-range side boundary of the object distance interval, the long distance side boundary Z 2, the distance deemed distance to predetermined three-dimensional object for each section Z 3, the minimum height of the three-dimensional object to be detected
  • Y min and the pixel pitch of the image is P, selection is made so as to satisfy the following conditional expression (3).
  • the threshold value Th of the conditional expression (3) is made smaller than the left side of the threshold value Th, there is a possibility that a road surface or a flat object having no thickness on the road surface may be detected. If the threshold value is larger than the right side of Th, a part of the three-dimensional object larger than Ymin may not be detected in the vertical direction that must be detected. By setting the threshold value within the range of conditional expression (3), it is possible to detect only a three-dimensional object and to prevent detection of a three-dimensional object larger than a desired size. Conditional expression (3) may be applied beyond the non-measurement region in the Z direction.
  • Table 1 shows the specifications and settings of the stereo camera 11.
  • the distance to the boundary of each distance section, the calculated height of the road surface image, and the height of the image of the three-dimensional object having the minimum height to be detected are as shown in Table 2.
  • the distance of the boundary of the distance interval z (mm) is a diagram illustrating the distance Z 1 until the short distance side boundary from the first segment in order.
  • the distance z is any distance Z 2 until the far side boundary of the previous distance segment.
  • the distance z 5.5 m is the far distance side boundary of the first distance section and the near distance side boundary of the second distance section.
  • Image height (mm) of the road surface represents the height of the image of the road surface in the distance section with the distance z as the short distance side boundary.
  • the “minimum three-dimensional object image height (mm)” is the height of the minimum three-dimensional object image to be detected located in each distance section.
  • Z 2 5.5 m
  • the image height of the road surface is 0.091 mm
  • the minimum image height is 0.400 mm. It is.
  • Th the threshold value between these 0.091 mm and 0.400 mm
  • the threshold value Th may be set to a smaller value as the distance z is larger.
  • the horizontal axis direction represents a distance section.
  • the height of the column in each distance section indicates an evaluation value.
  • the evaluation value is calculated based on the number of pixels belonging to each distance section.
  • an example of the threshold value of the evaluation value for three-dimensional discrimination is shown by a curve.
  • the evaluation value as a whole has a high short distance and a low long distance.
  • the forward vehicle 21 shown in FIG. 4 exists, and the evaluation value corresponding to the number of pixels belonging to the distance section Sn corresponding to the distance to the back surface of the forward vehicle 21 is high.
  • the determination unit 20 uses a different threshold according to the distance for each distance section, and determines that a three-dimensional object exists when the evaluation value is larger than the threshold. Determination unit 20 reduces the to erroneous detection of the road surface or the like of a position close to the vehicle 1, a three-dimensional object located at a distance interval S n can be correctly detected as compared with the prior art. Since the threshold value Th is further lowered depending on the distance, the determination unit 20 can perform correct detection compared to the related art even when there is a three-dimensional object at a far distance.
  • the determination unit 20 uses a different threshold for each partial region R according to the distance for each distance section, and a solid object exists when the evaluation value is larger than the threshold. judge. Thereby, the determination part 20 can discriminate
  • a threshold value according to conditional expression (3) it is possible to reduce misrecognition of a road surface or a flat object having no thickness on the road surface as a three-dimensional object, and to detect a three-dimensional object having a height higher than that to be detected. It can be detected as a three-dimensional object.
  • the determination unit 20 may determine at which position in the x direction the three-dimensional object is present depending on which of the partial areas divided in the x direction is determined to be present.
  • the present invention is not limited to the above embodiment.
  • the embodiments of the present disclosure may have many variations or modifications within the scope of the present invention.
  • the number of cameras mounted on a stereo camera device is not limited to two, and three or more cameras can be used.
  • the evaluation value definition and the evaluation value threshold setting method are not limited to those described above, and it is possible to set threshold values according to various evaluation values and evaluation value definitions.
  • the control unit 16 can use the number of pixels belonging to each distance section of the distance histogram as an evaluation value, and set a threshold according to the evaluation value.
  • the control unit 16 calculates a value obtained by dividing the number of pixels belonging to each distance section in the partial area by the number of pixels in the x direction of the partial area as an evaluation value of the distance section.
  • the control unit 16 may calculate another value as the evaluation value.
  • the control unit 16 may calculate the evaluation value by dividing the number of pixels described above by the number of pixels in the x direction of the partial region and then multiplying by the correction coefficient.
  • the correction coefficient is a value obtained by dividing the number of pixels obtained in the partial area by the number of effective pixels obtained in the partial area.
  • the control unit 16 may calculate the correction coefficient before calculating the evaluation value.
  • the control unit 16 can detect the three-dimensional object in consideration of missing pixels in the parallax image by multiplying the correction coefficient.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

立体物検出装置１２は、入力部１５と制御部１６とを含む。入力部１２は、互いに第１方向に視差を有する第１画像及び第２画像の入力を受け付け可能である。制御部１６は、第１画像における被写体の位置、及び、第２画像における被写体の位置の第１方向における差を画素値で表現した視差画像を生成し、視差画像の少なくとも一部を第１方向に交差する第２方向に沿って広がる複数の部分領域に分ける。制御部１６は、それぞれの部分領域について、被写体に向かう方向における距離を複数の距離区間に区分し、部分領域のそれぞれの画素の属する距離区間を画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出する。制御部は、評価値に基づいて距離区間ごとの立体物の存在を判定する。制御部１６は、距離区間ごとに異なる閾値を用い、評価値が閾値より大きい場合に立体物が存在すると判定する。

Description

立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法 関連出願の相互参照
　本出願は、２０１５年６月２３日に出願された日本国特許出願２０１５－１２５８７５号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本発明は、立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法に関する。
　近年、自動車等の車両に、複数のカメラを用いて被写体までの距離を測定するステレオカメラ装置が用いられている。ステレオカメラを用いた立体物の検出及び距離測定では、実際に撮像される画像が複雑な場合、それぞれの画像から立体物を検出することが、必ずしも容易ではない。このため、撮像した画像全体に渡って距離分布を求め、この距離分布の情報から、立体物検出装置を用いた障害物を判別する方法が提案されている（例えば、特許文献１参照）。
特開平５－２６５５４７号公報
　本開示の立体物検出装置は、入力部と、制御部とを備える。前記入力部は、互いに第１方向に視差を有する第１画像及び第２画像の入力を受け付け可能である。前記制御部は、前記制御部は、前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成する。前記制御部は、前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分ける。前記制御部は、それぞれの前記部分領域について、前記被写体に向かう方向における距離を複数の距離区間に区分する。前記制御部は、前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出する。前記制御部は、該評価値に基づいて前記距離区間ごとの立体物の存在を判定する。前記制御部は、前記距離区間ごとに異なる閾値を用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する。
　本開示のステレオカメラ装置は、ステレオカメラと、制御部とを備える。前記ステレオカメラは、互いに第１方向に視差を有する第１画像及び第２画像を出力する。前記制御部は、前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成する。前記制御部は、前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分ける。前記制御部は、それぞれの前記部分領域について、前記被写体に向かう方向における距離を複数の距離区間に区分する。前記制御部は、前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出する。前記制御部は、該評価値に基づいて前記距離区間ごとの立体物の存在を判定する。前記制御部は、前記距離区間ごとに異なる閾値を用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する。
　本開示の車両は、ステレオカメラと、制御部とを備える。前記ステレオカメラは、互いに第１方向に視差を有する第１画像及び第２画像を出力する。前記制御部は、前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成する。前記制御部は、前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分る。前記制御部は、それぞれの前記部分領域について、前記被写体に向かう方向における距離を複数の距離区間に区分する。前記制御部は、前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出する。前記制御部は、該評価値に基づいて前記距離区間ごとの立体物の存在を判定する。前記制御部は、前記距離区間ごとに異なる閾値を用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する。前記ステレオカメラは、前記車両の外部環境を撮像する。
　本開示の立体物検出方法は、ステレオカメラによる、互いに第１方向に視差を有する第１画像及び第２画像の入力を受け付ける。前記立体物検出方法は、前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成する。前記立体物検出方法は、前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分ける。前記立体物検出方法は、それぞれの前記部分領域について、前記被写体に向かう方向における距離を複数の距離区間に区分し、前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出する。前記立体物検出方法は、前記距離区間ごとに異なる閾値を用い、前記評価値が前記閾値より大きい場合に立体物が存在する。
図１は、道路上を走行するステレオカメラ装置を搭載した車両を簡略化して示す図である。 図２は、複数の実施形態の一つに係るステレオカメラ装置の概略構成を示すブロック図である。 図３は、制御部における立体物の判別処理を示すフローチャートである。 図４は、車両の前方をステレオカメラの一方のカメラで撮影したイメージを示す図である。 図５は、視差画像を部分領域に分割する方法を説明する図である。 図６は、車両の前方に区分された距離区間の例を示す図である。 図７は、１つの距離区間の路面に対応する画像上の高さを説明する図である。 図８は、１つの距離区間に属する立体物の画像上の高さを説明する図である。 図９は、距離ヒストグラムと立体判別用の閾値を示す図である。
　以下、本開示の複数の実施形態の一つについて、図面を参照して説明する。
　図１において、車両１の進行方向（図１において上方向）をＺ方向、車両１の車幅方向（図１において右方向）をＸ方向、Ｘ方向及びＺ方向に直交する方向（図１において紙面に直交する方向）である高さ方向をＹ方向とする。Ｚ方向は、被写体に向かう方向でもある。ここで、本願における「車両」は、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、トライク、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
　ステレオカメラ装置１０は、左側カメラ１１ａ及び右側カメラ１１ｂの２つのカメラを含んで構成されるステレオカメラ１１と、ステレオカメラ１１に電気的に接続された立体物検出装置１２とを備える。ここで、「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも２つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて被写体を同時に撮像することができるものが含まれる。撮影の「同時」は、完全な同じ時刻に限られない。例えば、（i）複数のカメラが同時刻に撮像すること、（ii）複数のカメラが同じ信号に基づいて撮像すること、及び（iii）複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、及び画像データを相手機器が受信した時刻が含まれる。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラは互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。本実施形態においては、左側カメラ１１ａ及び右側カメラ１１ｂの２台のカメラをＸ方向に並べたものをステレオカメラ１１とする。左側カメラ１１ａ及び右側カメラ１１ｂの光軸方向は互いに平行且つ略Ｚ方向を向いている。光軸方向は、Ｚ方向から垂直方向に傾いていてもよい。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラとして採用できる。ステレオカメラ装置１０においては、互いに独立する左側カメラ１１ａ及び右側カメラ１１ｂの２台が並んでいる。本開示では、同じ被写体を異なる視点から撮像した複数の画像を「ステレオ画像」と呼ぶことがある。なお、本実施の形態において、左側カメラ１１ａおよび右側カメラ１１ｂにより撮像される対象物全体を総称して「被写体」とする。被写体には、道路、前方の車両、路上の障害物、背景等を含む。「立体物」は、実空間における物体であって、特に高さ方向の大きさを有する物体を意味する。
　左側カメラ１１ａ及び右側カメラ１１ｂは、撮像素子を含む。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。左側カメラ１１ａ及び右側カメラ１１ｂは、レンズ機構を含んでよい。左側カメラ１１ａ及び右側カメラ１１ｂの光軸は、同じ対象物を撮像可能な方向を向いている。左側カメラ１１ａ及び右側カメラ１１ｂは、互いの光軸が異なる。左側カメラ１１ａ及び右側カメラ１１ｂは、撮像した画像に少なくとも同じ対象物が含まれるように、光軸及び位置が定められる。左側カメラ１１ａ及び右側カメラ１１ｂの光軸は、互いに平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。左側カメラ１１ａ及び右側カメラ１１ｂの光軸は、平行に限られず、互いに異なる方向でよい。左側カメラ１１ａ及び右側カメラ１１ｂは、車両１に対する位置及び向きの変化が少なくなるように、車両１の車体に対して固定される。左側カメラ１１ａ及び右側カメラ１１ｂの光軸は、Ｚ方向を向いていてよく、Ｚ方向から空側に傾いていてよい。左側カメラ１１ａ及び右側カメラ１１ｂの光軸の向きは、用途に応じて適宜変更される。複数の実施形態の一つにおいて、左側カメラ１１ａ及び右側カメラ１１ｂの光軸は、前方、すなわちＺ方向やや下向きに向けて配置される。ステレオカメラ装置１０は、車両の外部環境に含まれる路面１３上の先行車両、障害物、白線１４ａ，１４ｂ等の種々の被写体を、走行中に撮像することができる。白線は、区画線といってよい。左側カメラ１１ａ及び右側カメラ１１ｂは、車幅方向、すなわちＸ方向に沿って並んで位置している。左側カメラ１１ａは、前方を向いたときに右側カメラ１１ｂの左側に位置し、右側カメラ１１ｂは、前方を向いたときに左側カメラ１１ａの右側に位置する。左側カメラ１１ａと右側カメラ１１ｂとの位置の違いにより、左側カメラ１１ａで撮像した第１画像及び右側カメラ１１ｂで撮像した第２画像の２つの画像において、互いに対応する被写体の位置は、異なる。左側カメラ１１ａから出力される第１画像と、右側カメラ１１ｂから出力される第２画像とは、異なる視点から撮像したステレオ画像である。複数の実施形態の一つにおいて、左側カメラ１１ａ及び右側カメラ１１ｂは、光軸を車両１のＺ方向に向けて、車両１のウインドシールドの内側に設置することができる。複数の実施形態のうちの一つにおいて、左側カメラ１１ａ及び右側カメラ１１ｂは、それぞれ車両１のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかに固定されていてよい。
　左側カメラ１１ａ及び右側カメラ１１ｂは、それぞれ撮像した画像をデジタルデータとして立体物検出装置１２に出力する。立体物検出装置１２は、左側カメラ１１ａから出力される第１画像と、右側カメラ１１ｂから出力される第２画像とに対して、画像の較正、明るさの調整等、種々の処理を行うことができる。さらに立体物検出装置１２は、以下に説明する視差画像の作成及び立体物の判別等の処理を行う。視差画像は、第１画像における被写体の位置、及び、第２画像における前記被写体の位置の第１方向における差を画素値で表現したものである。視差画像の各画素の画素値は被写体の距離に対応する。本実施形態で、「距離」とは、左側カメラ１１ａ及び右側カメラ１１ｂから被写体に向かう方向における距離である。言い換えれば「距離」は、左側カメラ１１ａ及び右側カメラ１１ｂからＺ方向の距離を意味する。「距離」は、ステレオカメラ１１によるステレオ画像の奥行き方向の距離ということがある。
　ステレオカメラ装置１０は、図２に示すように、ステレオカメラ１１と立体物検出装置１２とを備える。立体物検出装置１２は、入力部１５、制御部１６、出力部１７、画像メモリ１８を備える。
　入力部１５は、立体物検出装置１２へ画像を入力する入力インタフェースである。入力部１５は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタを含む。電気コネクタには、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。入力部１５は、左側カメラ１１ａおよび右側カメラ１１ｂからそれぞれ撮像した画像の入力を受け付け可能である。入力部１５は受け付けた画像を、制御部１６に引き渡す。入力部１５への入力は、有線ケーブルを介した信号入力、及び無線接続を介した信号入力を含む。入力部１５は、ステレオカメラ１１の撮像信号の伝送方式に対応してよい。
　制御部１６は、一つまたは複数のプロセッサ並びにプログラム及びデータを記憶するＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を備え、種々の処理を実行する。プロセッサとしては、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、または、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ：Programmable Ｌogic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１６は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。制御部１６は、入力部１５から入力された第１画像および第２画像を前処理した後、視差画像を生成する画像処理部１９と、画像処理部１９で生成した視差画像に基づいて立体物の判別を行う判定部２０を備える。画像処理部１９及び判定部２０の各々は、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。画像処理部１９及び判定部２０の各々が行える動作を、制御部１６は実行できる。制御部１６は、画像処理部１９及び判定部２０を含む形態に限られず、画像処理部１９及び判定部２０の１つが省略されてよい。複数の実施形態のうちの１つにおいて、制御部１６は、画像処理部１９及び判定部２０の双方の動作を実行してよい。画像処理部１９及び判定部２０が行う動作は、制御部１６が行う動作として言い換えてよい。制御部１６が画像処理部１９及び判定部２０のいずれかを使役して行う処理は、制御部１６が自ら実行してよい。
　出力部１７は、立体物検出装置１２からデータを出力する出力インタフェースである。出力部１７は、物理コネクタ、及び無線通信機が採用できる。複数の実施形態の１つにおいて、出力部１７は、ＣＡＮ（Control Area Network）等の車両１のネットワークに接続している。立体物検出装置１２は、ＣＡＮを介して車両１の制御装置、及び警報装置等に接続される。立体物検出装置１２は、画像処理により検出された立体物情報、立体物までの距離情報等を、出力部１７から制御装置及び警報装置等に出力する。それらの情報は、制御装置、及び警報装置の各々で適宜利用される。複数の実施形態の１つにおいて出力部１７は入力部１５と分かれているが、これに限られない。複数の実施形態の１つにおいて、入力部１５および出力部１７は１つの通信部であってよい。この通信部は、ステレオカメラ装置１０の通信インタフェースとなる。通信部は、物理コネクタ、及び無線通信機が採用できる。
　画像メモリ１８は、入力部１５から入力された左側カメラ１１ａ及び右側カメラ１１ｂで撮像した画像を一時記憶するメモリである。画像メモリ１８は、プロセッサと独立しているメモリ、及び、プロセッサに内蔵されるキャッシュメモリが含まれる。メモリとしてはＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等を含んでよい。
　次に、制御部１６が行う立体物検出方法の処理を、図３を用いて説明する。以下では、一例として、図４に示されるような前方車両２１を含む画像を処理する場合について説明する。
　まず、画像処理部１９が入力部１５から第１画像及び第２画像の入力を受ける（ステップＳ０１）。画像処理部１９は、入力された左側カメラ１１ａによる第１画像と右側カメラ１１ｂによる第２画像とのそれぞれについて画像の調整を行う。この画像の調整は、左側カメラ１１ａ及び右側カメラ１１ｂの向きずれの補正を含んでよい。画像処理部１９は、予め測定された向きずれに基づいて、画像の補正を行う。この画像の調整は、外部環境に応じた画像の明るさ及びコントラストの調整を含んでよい。この画像の調整は、ステレオカメラ１１がその一部及び全てを実行してよい。画像処理部１９は、これら画像の調整を行った第１画像及び第２画像を画像メモリ１８に格納する。第１画像および第２画像は、互いに実空間のＸ方向に対応するｘ方向に視差を有する。ｘ方向は、第１方向である。ｘ方向に交差する方向をｙ方向とする。ｙ方向はｘ方向に直交してよい。ｙ方向は第２方向である。
　次に、画像処理部１９は、第２画像を小領域に分割する（ステップＳ０２）。小領域とは、ｘ方向及びｙ方向の画素数がそれぞれ２画素から１０画素程度の矩形状の小さい領域である。例えば、小領域は、ｘ方向及びｙ方向がそれぞれ４画素の領域である。第２画像を小領域に分割した場合、画像処理部１９は、第１画像上で第２画像の小領域に対応する位置からｘ方向に１画素ずつずらして、第２画像の輝度または色のパターンと一致する小領域を探索する小領域のマッチング処理を行う（ステップＳ０３）。画像処理部１９は、例えば、対応する４×４の画素について第１画像と第２画像とを比較し、各画素の輝度の差の絶対値を合計した値が最小値になるときに、第１画像と第２画像の小領域が一致したものと判定する。画像処理部１９は、このときの小領域間の第１画像及び第２画像の相互間におけるずれ量を用いて、小領域毎に三角測量の原理を用いて距離を算出することができる。画像処理部１９は、第２画像のすべての領域を小領域に分割して、第１画像とのマッチングを行うことにより、全画面について視差を求めることができる。全画面について視差を求めると、画像処理部１９は、各画素の画素値で距離を表す視差画像を生成する（ステップＳ０４）。視差画像の各画素の画素値は、第１画像における被写体の位置、及び、前記第２画像における被写体の位置の前記第１方向における差を表す。視差画像の各画素の画素値は、当該画素に対応する被写体までの距離を表す。視差画像は、距離画像と呼んでよい。これら、ステップＳ０２からＳ０４の視差画像の作成方法は、例えば、引用文献１等に公知である。よって、より詳細な説明は省略する。
　上記説明では、第２画像を小領域に分割し、第１画像上でマッチング処理を行うとした。画像上のマッチング処理は、第１画像を小領域に分割し、第２画像上でマッチング処理を行ってもよい。画像上のマッチング処理は、第２画像から画素ごとに当該画素とその周辺の画素とを含む小領域を抽出し、第１画像上でマッチング処理を行ってよい。この場合、視差画像と、第１画像及び第２画像の画素数は略同じ数となりうる。視差画像は、画素ごとに視差を表す数値が対応付けられる。視差画像は、この視差を表す数値に基づいて各画素に輝度または色が割り当てられた２次元画像として表示可能である。このようにして描画された視差画像は第１画像および第２画像とは大きく異なる。第１画像および第２画像に含まれる立体物は、視差画像上ではほぼ同じ輝度または色の領域として認識されることができる。したがって、視差画像を目視することによって、立体物の距離、位置および大きさを把握することが可能になる。しかし、本実施の形態において、視差画像を生成するとは視差画像を２次元の画像として表示する必要はない。視差画像は、画素に対応付けられた視差を表す数値データとして、制御部１６内で演算処理のためにのみ生成され使用されてよい。
　次に、判定部２０は、画像処理部１９によって作成された視差画像に基づいて、立体物の有無及び立体物迄の距離を判定する（ステップＳ０５～ステップＳ０７）。
　まず、判定部２０は、視差画像をｙ方向に沿って長い複数の領域に分ける（ステップＳ０５）。本開示では、分割された視差画像の各領域を部分領域と呼ぶことがある。本開示では、分割された視差画像の各領域をストリップ状の領域と呼ぶことがある。本実施形態において、ストリップ状とは長辺が短辺よりも著しく長い長方形の形状を意味する。ストリップ状の長辺は、例えば短辺の５倍以上であり、１０倍以上さらには２０倍以上としてよい。図５を用いて、視差画像を部分領域Ｒに分割する方法を説明する。この図５では、図４の画像に部分領域Ｒの境界を重ねて示している。上述のように、実際の視差画像は、図４の画像とは異なる。各部分領域は、その領域における立体物の存在とその距離の判定のために用いられる。したがって、各部分領域のｘ方向の幅を細かくすれば、ｘ方向の立体物を検出する分解能が高くなり、異なるｘ方向の位置に位置する複数の立体物を同時に判別することが可能になる。各部分領域のｘ方向の幅は、数画素から数十画素とすることができる。判定部２０は、視差画像の一部を複数の部分領域に分割している。言い換えると、判定部２０は、視差画像の少なくとも一部を複数の部分領域に分割すればよい。図５の部分領域は、画像の最上部および最下部の領域を覆っていない。これらの領域には、立体物が極めて近接した場合を除き、立体物の像が結像されないからである。しかし、部分領域は視差画像の最上部から最下部までを覆うようにしてもよい。
　次に、判定部２０は、部分領域Ｒ毎に距離ヒストグラムを作成する（ステップＳ０６）。距離ヒストグラムは、部分領域Ｒに含まれる各画素が属する距離区間を画素値から算出して、距離区間毎の画素数の分布を示したものである。距離区間とは、Ｚ方向の距離に応じて、Ｚ方向を複数の領域に区分したものである。距離ヒストグラムは、横軸に距離区間をとり、距離区間の柱の高さにより各距離区間に属する画素数の多さを表すことができる。判定部２０には予めステレオカメラ１１を起点としてＺ方向（前方）への距離に応じた距離区間が規定されている。
　複数の実施形態の一つにおいて、複数の距離区間は、遠距離側境界と近距離側境界との間の幅が各々異なってよい。複数の距離区間は、前の距離区間の幅を基準として次の距離区間の幅を定めてよい。複数の実施形態の一つにおいて、複数の距離区間は、被測定領域の遠距離側境界を起点としてよい。複数の実施形態の一つでは、距離区間としては、例えば、距離５ｍを起点としてよい。複数の実施形態の一つにおいて、最初の距離区間は、例えば、５ｍを近距離側境界とし、５ｍ５０ｃｍを遠距離側境界としてよい。最初の距離区間は、遠距離側境界と近距離側境界との間の区間の幅が５０ｃｍである。複数の距離区間は、２番目以降の距離区間の幅を１０％ずつ広げるように境界を設定してよい。複数の実施形態の他の一つでは、各距離区間の遠距離側境界と近距離側境界との間の幅は、同じ長さとしてよい。図６は、車両１の前方に区分された距離区間の例を示す。図６によれば、画素数のデータを数えない非測定領域は、車両１のステレオカメラ１１の位置を起点として、前方５ｍ迄となっている。この図の複数の距離区間は、車両１に最も近い距離区間Ｓ１から、順次Ｚ方向に幅を広げながら距離区間が設定されている。図６において、ｎ番目の距離区間Ｓｎの車両１から近距離側の境界までの距離をＺ１、遠距離側の境界までの距離をＺ２で表している。
　複数の実施形態の一つでは、非測定領域は予め５ｍとしている。しかし、非測定領域は５ｍに限られない。例えば、ステレオカメラ装置１０が検出しなければならない最小の高さの立体物の最上部が、ステレオカメラ１１の設置される位置よりも高い場合を想定する。ステレオカメラ１１が撮像する路面の最も近い距離、及び、ステレオカメラ装置１０が検出しなければならない最小の高さの立体物の最上部がステレオカメラ１１に撮像される最も近い距離を計算し、いずれか長い方の距離までを非測定距離とする。この非測定距離は、これ以遠であれば、測定対象となる最小の高さの立体物全体の高さ方向が、ステレオ画像に収まる距離である。
　ステップＳ０６により距離ヒストグラムを作成した後、判定部２０は、距離ヒストグラムから立体物の存在を判定する（ステップＳ０７）。一般に、従来技術では、誤認識を避けるために立体物の存在の判定に用いる閾値はある程度大きな値とする。しかし、立体物が遠距離にある場合は、実際の大きさが大きい立体物でも、画像上では小さく表示されてしまう。このため距離ヒストグラムに一定の閾値を設けると、遠距離の立体物が検出できないことがある。本実施形態では、立体物の判定にあたっては、以下に説明するように、距離区間ごとに距離に応じて異なる閾値を用いる。
　図７を用いて、１つの距離区間Ｓｎの路面に対応する画像上の高さを説明する。図７において、ステレオカメラ１１の撮像レンズの焦点距離をｆ、ステレオカメラ１１の撮像レンズの光軸方向の俯角をθ０、ステレオカメラ１１の取付け高さをｈ０とする。すなわち、ｆ、θ０、ｈ０は、それぞれ、第１画像及び第２画像を撮像した光学系の焦点距離、俯角及び取付け高さである。ピンホールモデルによれば、距離区間Ｓｎの遠距離側の境界と近距離側の境界との間の路面に相当する像の高さｙｒｏａｄは、次の式（１）により表すことができる。
Figure JPOXMLDOC01-appb-M000001
　したがって、視差画像の中にｙｒｏａｄよりも低い高さの同じ距離区間に属する一群の画素があったとしても、当該一群の画素は、路面又は路面上の厚みのない平坦なものと区別できない。視差画像において、立体物が存在する距離区間に属する視差画像の画素を部分領域のｘ方向の幅の中に配列したとする。この場合、ｙ方向に並ぶ画素数に画素ピッチを乗じた大きさが、その距離区間の路面の像の高さｙｒｏａｄより大きくなければ、その距離区間に属する立体物は判別できない。
　図８を用いて、１つの距離区間Ｓｎに立体物が存在する場合について、その立体物の画像上の高さを説明する。ここで、立体物は距離Ｚ３（Ｚ１≦Ｚ３≦Ｚ２）に位置するものとし、立体物の高さをＹとする。立体物の像の高さｙｏｂｊｅｃｔは、次の式（２）で表すことができる。
Figure JPOXMLDOC01-appb-M000002
　したがって、高さＹの立体物は、視差画像の中で高さｙｏｂｊｅｃｔの同じ距離区間に属する一群の画素として表示される。検出すべき立体物の最小の高さをＹｍｉｎとしたとき、立体物の存在する距離区間に属する一群の画素のｙ方向の長さが、式（２）のＹにＹｍｉｎを代入して得られるｙｏｂｊｅｃｔよりも大きい場合には、常に立体物として判定する。このｙｏｂｊｅｃｔと比較することにより、検出しなければならない高さＹｍｉｎよりも高い立体物は、立体物として判定される。一群の画素のｙ方向の長さは、視差画像の当該距離区間に属する画素を部分領域のｘ方向の幅に配列したときのｙ方向に並ぶ画素数に画素ピッチを乗じた大きさとしてよい。
　以上のことから、判定部２０は、それぞれの前記部分領域について、予め区分された距離区間に属する画素の画素数を数え、前記部分領域のｘ方向の画素数で除算した値をその距離区間の評価値とする。評価値は、距離区間に含まれる画素を、部分領域のｘ方向の幅の中に配列したときの、ｙ方向に並ぶ画素数に相当する。画素数に画素ピッチを乗じると長さとなるので、評価値は、当該距離区間に属する物体のｙ方向の長さに対応する。判定部２０は、距離区間毎に異なる値の閾値Ｔｈとこの評価値とを比較する。判定部２０は、この評価値が閾値よりも大きい場合に立体物が存在すると判定する。各距離区間の閾値Ｔｈは、ステレオ画像を撮像した光学系の焦点距離をｆ、ステレオ画像を撮像した光学系の俯角をθ０、ステレオ画像を撮像した光学系の取付け高さをｈ０、判定対象の距離区間の近距離側境界をＺ１、遠距離側境界をＺ２、距離区間ごとに予め定められた立体物までのみなし距離をＺ３、検出すべき立体物の最小の高さをＹｍｉｎ、画像の画素ピッチをＰとするとき、以下の条件式（３）を満足するように選定する。
Figure JPOXMLDOC01-appb-M000003
　条件式（３）の閾値Ｔｈを閾値Ｔｈの左辺より小さくすると、路面又は路面上の厚みの無い平坦な物を検出してしまうおそれがある。閾値をＴｈの右辺より大きくすると、検出しなければならない垂直方向にＹｍｉｎよりも大きい立体物の一部が検出できないおそれがある。閾値を条件式（３）の範囲にすることによって、立体物のみを検出でき且つ所望の大きさよりも大きい立体物の検出漏れを防ぐことができる。条件式（３）は、Ｚ方向に上述の非測定領域以遠において適用してよい。
　次に、一例として、実際の数値を当てはめて、立体物を検出するための閾値を示す。次の表１は、ステレオカメラ１１の仕様及び設定を示す。
Figure JPOXMLDOC01-appb-T000001
　この場合に、各距離区間の境界までの距離、算出される路面の像の高さ、及び、検出すべき最小の高さを有する立体物の像の高さは、表２のようになる。
Figure JPOXMLDOC01-appb-T000002
　表２において、「距離区間の境界の距離ｚ（ｍｍ）」は、近距離側境界迄の距離Ｚ１を最初の区間から順に示したものである。２番目以降の距離区間において、距離ｚは、前の距離区間の遠距離側境界迄の距離Ｚ２でもある。例えば、距離ｚ＝５．５ｍは、最初の距離区間の遠距離側境界且つ２番目の距離区間の近距離側境界である。「路面の像高さ（ｍｍ）」は、距離ｚを近距離側境界とする距離区間の路面の像の高さを表す。「最小の立体物の像高さ（ｍｍ）」は、各距離区間に位置する検出すべき最小の立体物の像の高さである。立体物までのみなし距離Ｚ３は、各距離区間において、Ｚ３＝Ｚ１として計算している。例えば、５ｍから５．５ｍの最初の距離区間では、Ｚ１＝Ｚ３＝５．００ｍ、Ｚ２＝５．５ｍ、路面の像高さは０．０９１ｍｍ、最小の像高さは０．４００ｍｍである。これら０．０９１ｍｍと０．４００ｍｍとの間に閾値Ｔｈを設定することにより、Ｙｍｉｎ＝５００ｍｍよりも高い立体物を良好に発見することができる。
　表２から明らかなように、閾値Ｔｈは、距離ｚが大きいほど小さい値としてよい。図９に例示する距離ヒストグラムでは、横軸方向は距離区間を表す。各距離区間の柱の高さは、評価値を示す。評価値は、各距離区間に属する画素数に基づき算出される。図９では、曲線により立体判別用の評価値の閾値の一例を示す。評価値の値は、全体としては近距離が高く、遠距離が低い。図９の例では図４に示した前方車両２１が存在し、その前方車両２１の背面までの距離に相当する距離区間Ｓｎに属する画素数に対応する評価値が高くなっている。これに対して、判定部２０は距離区間ごとに距離に応じて異なる閾値を用い、評価値が閾値よりも大きい場合に立体物が存在することを判別する。判定部２０は、車両１に近い位置の路面等を誤検出するのを低減し、距離区間Ｓｎに位置する立体物を従来技術に比べて正しく検出できる。判定部２０は、閾値Ｔｈが距離に依存して更に低くなるので、更に遠距離に立体物がある場合でも従来技術に比べて正しい検出が可能になる。
　以上説明したように本実施形態によれば、判定部２０が、それぞれの部分領域Ｒについて、距離区間ごとに距離に応じて異なる閾値を用い、評価値が閾値より大きい場合に立体物が存在すると判定する。これにより、判定部２０は、測定範囲内で近距離から遠距離まで従来技術に比べて良好に立体物を判別できる。特に、条件式（３）に従って閾値を設定することによって、路面又は路面上の厚みの無い平坦な物を立体物として誤認識することを低減し、且つ、検出すべき高さ以上の立体物を立体物として検出することができる。ｘ方向に分割された部分領域の何れに立体物が存在すると判定されたかによって、判定部２０は、ｘ方向のどの位置に立体物が存在するかも判別してよい。
　本発明は、上記実施形態にのみ限定されるものではない。本開示の実施形態は、本発明の範囲内で、幾多の変形または変更が可能である。例えば、ステレオカメラ装置に実装されるカメラの数は２つに限られず、３台以上のカメラを用いることも可能である。評価値の定義および評価値の閾値の設定方法は、上述のものに限られず、種々の評価値および評価値の定義に応じた閾値を設定することが可能である。例えば、制御部１６は、距離ヒストグラムの各距離区間に属する画素の画素数そのものを評価値とし、この評価値に合わせて閾値を設定することが可能である。
　上述の実施形態において、制御部１６は、部分領域内の各距離区間に属する画素の画素数を部分領域のｘ方向の画素数で割ったものを、その距離区間の評価値として算出した。制御部１６は、他の値を評価値として算出してよい。制御部１６は、上述の画素数を部分領域のｘ方向の画素数で割った後、補正係数を乗算したものを評価値として算出してよい。補正係数は、部分領域内で得られた画素の数を、部分領域内で得られた有効な画素の数で割った値である。制御部１６は、評価値の算出前に、補正係数を算出してよい。制御部１６は、補正係数を乗算することにより、視差画像における画素の欠落を考慮した立体物検出が可能になる。
　１　　車両
　１０　　ステレオカメラ装置
　１１　　ステレオカメラ
　１１ａ　　左側カメラ
　１１ｂ　　右側カメラ
　１２　　立体物検出装置
　１３　　路面
　１４ａ，１４ｂ　　白線
　１５　　入力部
　１６　　制御部
　１７　　出力部
　１８　　画像メモリ
　１９　　画像処理部
　２０　　判定部
　２１　　前方車両
　Ｒ　　部分領域
　Ｓ　　距離区間
 

Claims (7)

  1. 　入力部と、制御部とを備え、
    　前記入力部は、互いに第１方向に視差を有する第１画像及び第２画像の入力を受け付け可能であり、
    　前記制御部は、
    　　前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成し、
    　　前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分け、
    　前記制御部は、それぞれの前記部分領域について、
    　　前記被写体に向かう方向における距離を複数の距離区間に区分し、
    　　前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、
    　　前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出し、
    　　該評価値に基づいて前記距離区間ごとの立体物の存在を判定し、
    　前記制御部は、前記距離区間ごとに異なる閾値を用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する、立体物検出装置。
  2. 　前記閾値は、前記被写体に向かう方向における距離が遠くなるほど小さい値となる請求項１に記載の立体物検出装置。
  3. 　前記評価値は、前記距離区間ごとの画素数を前記部分領域の第１方向の画素数で除算して算出され、
    　前記閾値をＴｈとし、前記第１画像及び前記第２画像を撮像した光学系の焦点距離をｆ、前記第１画像及び前記第２画像を撮像した光学系の俯角をθ０、前記第１画像及び前記第２画像を撮像した光学系の取付け高さをｈ０、判定対象の距離区間の近距離側境界をＺ１、遠距離側境界をＺ２、該距離区間について予め定められた立体物までのみなし距離をＺ３、検出すべき立体物の最小の高さをＹｍｉｎ、画像の画素ピッチをＰとするとき、前記閾値Ｔｈは以下の条件式（１）
    Figure JPOXMLDOC01-appb-M000004
     を満足することを特徴とする請求項１に記載の立体物検出装置。
  4. 　前記条件式は、判定対象となる最小の高さの立体物全体が、前記第１画像および前記第２画像に収まる距離から遠い距離において適用される請求項３に記載の立体物検出装置。
  5. 　ステレオカメラと、制御部と、を備え、
    　前記ステレオカメラは、互いに第１方向に視差を有する第１画像及び第２画像を出力し、
    　前記制御部は、
    　　前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成し、
    　　前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分け、
    　前記制御部は、それぞれの前記部分領域について、
    　　前記被写体に向かう方向における距離を複数の距離区間に区分し、
    　　前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、
    　　前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出し、
    　　該評価値に基づいて前記距離区間ごとの立体物の存在を判定し、
    　前記制御部は、前記距離区間ごとに異なる閾値を用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する、ステレオカメラ装置。
  6. 　ステレオカメラと、制御部と、を備え、
    　前記ステレオカメラは、互いに第１方向に視差を有する第１画像及び第２画像を出力し、
    　前記制御部は、
    　　前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成し、
    　　前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分け、
    　前記制御部は、それぞれの前記部分領域について、
    　　前記被写体に向かう方向における距離を複数の距離区間に区分し、
    　　前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、
    　　前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出し、
    　　該評価値に基づいて前記距離区間ごとの立体物の存在を判定し、
    　前記制御部は、前記距離区間ごとに異なる閾値を用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定し、
    　前記ステレオカメラは、前記車両の外部環境を撮像する、車両。
  7. 　ステレオカメラによる、互いに第１方向に視差を有する第１画像及び第２画像の入力を受け付け、
    　前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成し、
    　前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分け、
    　それぞれの前記部分領域について、
    　　前記被写体に向かう方向における距離を複数の距離区間に区分し、
    　　前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、
    　　前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出し、
    　前記距離区間ごとに異なる閾値を用い、前記評価値が前記閾値より大きい場合に立体物が存在する、立体物検出方法。
PCT/JP2016/003043 2015-06-23 2016-06-23 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法 WO2016208198A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16813970.7A EP3316006B1 (en) 2015-06-23 2016-06-23 Three-dimensional-object detection device, stereo camera device, vehicle, and three-dimensional-object detection method
JP2017524646A JP6456499B2 (ja) 2015-06-23 2016-06-23 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
US15/739,481 US10567736B2 (en) 2015-06-23 2016-06-23 Three-dimensional object detection apparatus, stereo camera apparatus, vehicle, and three-dimensional object detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-125875 2015-06-23
JP2015125875 2015-06-23

Publications (1)

Publication Number Publication Date
WO2016208198A1 true WO2016208198A1 (ja) 2016-12-29

Family

ID=57584769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/003043 WO2016208198A1 (ja) 2015-06-23 2016-06-23 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法

Country Status (4)

Country Link
US (1) US10567736B2 (ja)
EP (1) EP3316006B1 (ja)
JP (1) JP6456499B2 (ja)
WO (1) WO2016208198A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021193026A (ja) * 2017-01-20 2021-12-23 株式会社小糸製作所 車両用灯具の制御装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6970568B2 (ja) * 2017-09-22 2021-11-24 株式会社デンソー 車両の周辺監視装置と周辺監視方法
US20210289113A1 (en) * 2018-09-18 2021-09-16 AI Gaspar Limited System and process for identification and illumination of anatomical sites of a person and articles at such sites
DE102019212021B4 (de) * 2019-08-09 2024-02-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
CN110567408A (zh) * 2019-09-02 2019-12-13 安徽中电兴发与鑫龙科技股份有限公司 智能型直流手车检验工装
CN114677318A (zh) * 2020-12-24 2022-06-28 苏州科瓴精密机械科技有限公司 一种障碍物识别方法、装置、设备、介质及除草机器人
US12082531B2 (en) 2022-01-26 2024-09-10 Deere & Company Systems and methods for predicting material dynamics

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
US20140125966A1 (en) * 2010-04-14 2014-05-08 Digital Ally, Inc. Traffic scanning lidar

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JP5580233B2 (ja) 2011-03-22 2014-08-27 富士重工業株式会社 車外監視装置および車外監視方法
JP5612621B2 (ja) * 2012-02-28 2014-10-22 富士重工業株式会社 車外環境認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
US20140125966A1 (en) * 2010-04-14 2014-05-08 Digital Ally, Inc. Traffic scanning lidar

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021193026A (ja) * 2017-01-20 2021-12-23 株式会社小糸製作所 車両用灯具の制御装置
JP7133073B2 (ja) 2017-01-20 2022-09-07 株式会社小糸製作所 車両用灯具の制御装置

Also Published As

Publication number Publication date
JPWO2016208198A1 (ja) 2018-02-08
JP6456499B2 (ja) 2019-01-23
EP3316006A4 (en) 2019-03-06
EP3316006A1 (en) 2018-05-02
US10567736B2 (en) 2020-02-18
US20180324406A1 (en) 2018-11-08
EP3316006B1 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
JP6456499B2 (ja) 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
EP3358295B1 (en) Image processing device, stereo camera device, vehicle, and image processing method
US10373338B2 (en) Calculation device, camera device, vehicle, and calibration method
US10679388B2 (en) Image processing apparatus, device control system, imaging apparatus, and recording medium
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP6141562B1 (ja) 視差算出装置、ステレオカメラ装置、車両及び視差算出方法
WO2017115732A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム
WO2021045092A1 (ja) 物体検出装置、物体検出システム、移動体及び物体検出方法
JP6121641B1 (ja) 画像処理装置、ステレオカメラ装置、車両、及び画像処理方法
JP5027710B2 (ja) 車両用環境認識装置および先行車追従制御システム
JP6674959B2 (ja) 視差算出装置、ステレオカメラ装置、車両および視差算出方法
JP6855325B2 (ja) 画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラム
WO2021060117A1 (ja) 物体検出装置、物体検出システム、移動体及び物体検出方法
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
WO2021049649A1 (ja) 路面検出装置、物体検出装置、物体検出システム、移動体及び物体検出方法
US11430147B2 (en) Image processing apparatus, imaging apparatus, mobile body, and image processing method
JP2018088237A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16813970

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017524646

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15739481

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016813970

Country of ref document: EP