WO2020009172A1 - カメラ - Google Patents

カメラ Download PDF

Info

Publication number
WO2020009172A1
WO2020009172A1 PCT/JP2019/026541 JP2019026541W WO2020009172A1 WO 2020009172 A1 WO2020009172 A1 WO 2020009172A1 JP 2019026541 W JP2019026541 W JP 2019026541W WO 2020009172 A1 WO2020009172 A1 WO 2020009172A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
base line
line length
optical system
Prior art date
Application number
PCT/JP2019/026541
Other languages
English (en)
French (fr)
Inventor
雅章 座間
康平 門下
俊樹 小野
大祐 片岡
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018158488A external-priority patent/JP2020013096A/ja
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2020009172A1 publication Critical patent/WO2020009172A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present technology relates to a camera, and more particularly, to a camera that can capture a stereo image.
  • Patent Document 1 describes a camera that captures a stereo image (left-eye image and right-eye image) with a configuration having a single image sensor.
  • Japanese Patent Application Laid-Open No. H11-163873 discloses that when capturing a stereo image (a left-eye image and a right-eye image) with a configuration having a single image sensor, the left-eye image and the right-eye image are captured in different areas on the imaging surface of the image sensor. Is described.
  • the distance can be obtained with higher resolution as the base line length when capturing a stereo image is longer, and furthermore, when the base line length is made longer, the common area of the left eye image and the right eye image Is narrowed, and parallax cannot be obtained in a short-distance area (for example, see Patent Document 3).
  • the purpose of the present technology is to make it possible to obtain distance with high resolution and obtain parallax in a short-distance region.
  • the concept of this technology is An image sensor; A first imaging optical system that forms a left-eye image according to a first base line length on a first region of an imaging surface of the imaging element; A second imaging optical system that forms a right-eye image corresponding to the first base line length on a second region of an imaging surface of the imaging element; A third imaging optical system that forms a left-eye image according to a second baseline length shorter than the first baseline length on a third region of the imaging surface of the imaging element; The camera includes a fourth imaging optical system that forms a right-eye image according to the second base line length on a fourth region of an imaging surface of the imaging element.
  • the camera includes an imaging element and first to fourth imaging optical systems.
  • the first imaging optical system forms an image of the left eye corresponding to the first base line length in a first region of the imaging surface of the imaging device
  • the second imaging optical system forms a second image of the imaging surface of the imaging device.
  • the right eye image according to the first base line length is formed in the region of.
  • the third imaging optical system forms an image of the left eye corresponding to the second base line length in a third region of the imaging surface of the imaging device
  • the fourth imaging optical system forms an image of the imaging surface of the imaging device.
  • the right eye image according to the second base line length is formed in the fourth area.
  • the second base line length is shorter than the first base line length.
  • each of the first to fourth imaging optical systems may include a rhomboid prism.
  • the rhomboid prisms included in the first to fourth imaging optical systems are arranged such that the emission surfaces are in contact with the first to fourth regions of the imaging surface of the imaging device. You may be.
  • a light-blocking member may be provided in an outer surface area corresponding to at least the reflection surface on the emission surface side of each of the rhomboid prisms included in the first to fourth imaging optical systems.
  • the first to fourth regions of the imaging surface of the imaging device may be regions obtained by dividing the imaging surface into a cross-shaped shape.
  • a stereo image (a left-eye image and a right-eye image) when the base line length is relatively long is obtained by imaging using the first region and the second region of the imaging surface of the imaging device.
  • the distance can be obtained with high resolution
  • a stereo image (left-eye image) when the base line length is relatively short by imaging with the third and fourth regions of the imaging surface of the imaging device , Right-eye image).
  • the common area of the left-eye image and the right-eye image is widened, and it is possible to obtain parallax in a short-distance area.
  • FIG. 3 is a diagram for explaining an optical path and the like in each of first to fourth imaging optical systems. It is a figure which shows the width
  • FIG. 4 is a block diagram illustrating a configuration example of a processing unit that performs an object recognition process and a distance measurement process to a recognized object in an image processing circuit.
  • Embodiment> [camera] 1 and 2 show a configuration example of a camera 10 as an embodiment.
  • FIG. 1 is a schematic perspective view of the camera 10
  • FIG. 2 is a schematic front view of the camera 10.
  • the camera 10 includes the imaging element 11, the first imaging optical system 21, the second imaging optical system 22, the third imaging optical system 23, and the fourth imaging optical system 24.
  • the image sensor (imager) 11 is an individual image sensor such as a CCD (Charged-coupled devices) image sensor or a CMOS (Complementary metal-oxide-semiconductor) image sensor.
  • the image pickup device 11 has its image pickup surface 111 divided into a plurality of regions, and different images are picked up in the respective regions.
  • the imaging surface 111 is divided into a first area 111a, a second area 111b, a third area 111c, and a fourth area 111d in a cross-shaped manner, and these four areas are different from each other. Images are taken simultaneously.
  • the first imaging optical system 21 includes an imaging lens 211 and a rhomboid prism (rhombic prism) 212.
  • the rhomboid prism 212 is arranged such that its emission surface 212b contacts the first area 111a of the imaging surface 111 of the imaging device 11.
  • the imaging lens 211 is arranged at a position facing the incident surface 212a of the rhomboid prism 212.
  • a light shielding member 213 is provided at least on the outer surface area of the reflection surface 212d corresponding to the emission surface 212b of the rhomboid prism 212.
  • the light-blocking member 213 is provided on the rhomboid prism 212 by attaching a light-blocking sheet or applying a light-blocking paint.
  • the reason why the light shielding member 213 is provided in this way is to suppress the influence of light incident from the outer surface region. The same applies to the light-blocking members provided in other rhomboid prisms described below.
  • the second imaging optical system 22 includes an imaging lens 221 and a rhomboid prism (rhombic prism) 222.
  • the rhomboid prism 222 is arranged such that its emission surface 222b is in contact with the second region 111b of the imaging surface 111 of the imaging device 11.
  • the rhomboid prism 222 is continuous with the above-described rhomboid prism 212 of the first imaging optical system 21 on the same straight line.
  • the imaging lens 221 is arranged at a position facing the incident surface 222a of the rhomboid prism 222.
  • a light-blocking member 223 is provided at least on the outer surface area of the reflection surface 222d corresponding to the emission surface 222b of the rhomboid prism 222.
  • the first imaging optical system 21 forms the left-eye image corresponding to the first base line length L1 on the first area 111a of the imaging surface 111 of the imaging element 11.
  • the light from the subject incident on the imaging lens 211 is incident from the incident surface 212a of the rhomboid prism 212, is reflected by the reflecting surface 212c, and is thereafter reflected by the reflecting surface 212c.
  • the light is reflected from the emission surface 212d, is emitted from the emission surface 212b, reaches the first region 111a of the imaging surface 111 of the imaging device 11, and forms a left-eye image corresponding to the first base line length L1 on the first region 111a. Imaged.
  • the second imaging optical system 22 forms the right-eye image according to the first base line length L1 on the second area 111b of the imaging surface 111 of the imaging element 11.
  • the light from the subject incident on the imaging lens 221 is incident from the incident surface 222a of the rhomboid prism 222, is reflected on the reflecting surface 222c, and is thereafter reflected by the reflecting surface 222c.
  • the light is reflected at 222d, is emitted from the emission surface 222b, reaches the second region 111b of the imaging surface 111 of the imaging device 11, and the right eye image according to the first base line length L1 is formed on the second region 111b. Imaged.
  • the first base line length L1 is the distance between the optical axes of the imaging lenses 211 and 221 as shown in FIG.
  • the first base length L1 is determined by the lengths of the Lomboid prism 212 of the first imaging optical system 21 and the Lomboid prism 222 of the second imaging optical system 22.
  • the first base line length L1 can be adjusted by changing the lengths of the Lomboid prism 212 of the first imaging optical system 21 and the Lomboid prism 222 of the second imaging optical system 22.
  • the third imaging optical system 23 includes an imaging lens 231 and a rhomboid prism (rhombic prism) 232.
  • the rhomboid prism 232 is arranged such that its emission surface 232b contacts the third region 111c of the imaging surface 111 of the imaging device 11. In this case, the rhomboid prism 232 is in a state of being arranged adjacent to the above-described rhomboid prism 212 of the first imaging optical system 21.
  • the imaging lens 231 is arranged at a position facing the entrance surface 232a of the rhomboid prism 232.
  • a light-blocking member 233 is provided on at least the outer surface area of the reflection surface 232d corresponding to the emission surface 232b of the rhomboid prism 232.
  • the fourth imaging optical system 24 includes an imaging lens 241 and a rhomboid prism (rhombic prism) 242.
  • the rhomboid prism 242 is arranged such that its emission surface 242b contacts the fourth region 111d of the imaging surface 111 of the imaging device 11.
  • the rhomboid prism 242 becomes continuous with the above-described rhomboid prism 232 of the third imaging optical system 23 on the same straight line, and the rhomboid prism 222 of the second imaging optical system 22 described above. And a state in which they are adjacent to each other.
  • the imaging lens 241 is disposed at a position facing the incident surface 242a of the rhomboid prism 242.
  • a light-blocking member 243 is provided at least on the outer surface area of the reflection surface 242d corresponding to the emission surface 242b of the rhomboid prism 242.
  • the third imaging optical system 23 forms the left-eye image corresponding to the second base line length L2 on the third area 111c of the imaging surface 111 of the imaging element 11.
  • the second base line length L2 is set shorter than the above-described first base line length L1.
  • the light from the subject incident on the imaging lens 231 is incident on the incident surface 232a of the rhomboid prism 232, is reflected on the reflecting surface 232c, and is further reflected thereafter.
  • the light is reflected by the light exit surface 232d, is emitted from the light exit surface 232b, reaches the third region 111c of the image pickup surface 111 of the image pickup device 11, and the left region image corresponding to the second base line length L2 is formed on the third region 111c. Imaged.
  • the fourth imaging optical system 24 forms the right-eye image corresponding to the second base line length L2 on the fourth area 111d of the imaging surface 111 of the imaging element 11.
  • light from the subject incident on the imaging lens 241 is incident on the incident surface 242a of the rhomboid prism 242, is reflected on the reflecting surface 242c, and is thereafter reflected on the reflecting surface 242c.
  • the light is reflected by the light exit surface 242d, is emitted from the light exit surface 242b, reaches the fourth region 111d of the image pickup surface 111 of the image pickup device 11, and the right eye image according to the second base line length L2 is formed in the fourth region 111d.
  • Imaged
  • the second base line length L2 is a distance between the optical axes of the imaging lenses 231, 241 as shown in FIG.
  • the second base line length L2 is determined by the lengths of the Lomboid prism 232 of the third imaging optical system 23 and the Lomboid prism 242 of the fourth imaging optical system 24.
  • the second base line length L2 can be adjusted by changing the lengths of the Lomboid prism 232 of the third imaging optical system 23 and the Lomboid prism 242 of the fourth imaging optical system 24.
  • a stereo image (left image) when the base line length is relatively short is obtained by imaging the third area 111 c and the fourth area 111 d of the imaging surface 111 of the imaging element 11.
  • Eye image, right-eye image and in this case, the common area of the left-eye image and the right-eye image is widened, and it is possible to obtain parallax in a short-distance area.
  • FIG. 4A shows a left-eye image captured by the first imaging optical system 21 in the first region 111 a of the imaging device 11 and a second region 111 b of the imaging device 11 by the second imaging optical system 22.
  • the imaging area of the right eye image to be imaged is shown.
  • the first base line length L1 is relatively long, the common area of the left-eye image and the right-eye image is narrowed, and it is difficult to obtain parallax in a short-distance area.
  • FIG. 5B shows an image of the left-eye image IFL and the right-eye image IFR when the subject as shown in FIG. 5A is imaged at the first base line length L1.
  • FIG. 4B shows a left-eye image captured by the third imaging optical system 23 in the third region 111 c of the imaging device 11 and a fourth image of the imaging device 11 by the fourth imaging optical system 24.
  • 4 shows an imaging region of a right-eye image captured in an area 111d.
  • the second base line length L2 is relatively short, the common area of the left-eye image and the right-eye image is widened, and parallax can be obtained in a short-distance area.
  • FIG. 5C shows an image of the left-eye image INL and the right-eye image INR when the subject as shown in FIG. 5A is imaged with the second base line length L2.
  • FIG. 6 shows a configuration example of the vehicle control system 300.
  • This vehicle control system 300 includes the camera 10 shown in FIG. 1, and the components are interconnected via a CAN bus.
  • the vehicle-mounted camera 100 is disposed, for example, near the rearview mirror inside the windshield of the vehicle, and captures an image in front of the vehicle in the traveling direction.
  • the image captured by the on-vehicle camera 100 is basically used for the purpose of sensing, and image processing such as image recognition is applied to the captured image, and a white line (lane) of a road, a traffic light, a road sign, an oncoming vehicle, a host vehicle It is assumed that nearby pedestrians are detected.
  • the image captured by the on-vehicle camera 100 may be used for viewing purposes, and the image may be displayed in the vehicle interior.
  • the vehicle camera 100 includes an imaging optical system 101, an imaging device 102, an image processing circuit 103, and a communication processing circuit 104.
  • the camera 10 shown in FIG. 1 corresponds to the imaging optical system 101 and the imaging device 102.
  • the image sensor 102 outputs the captured image signal to the image processing circuit 103 by, for example, serial communication.
  • the image processing circuit 103 is configured by, for example, an ECU (Electronic Control Unit). In the image processing circuit 103, image processing, recognition processing, and distance measurement processing are performed based on the captured image signal.
  • Image processing performed in the image processing circuit 103 includes processing such as AE (Automatic Exposure: automatic exposure control), AWB (Auto White Balance: automatic white balance adjustment), and HDR (High Dynamic Range: high dynamic range synthesis). Can be mentioned. However, these image processes can be performed on the image sensor 102 side.
  • the recognition processing performed in the image processing circuit 103 includes detection of a white line (lane) of a road (Lane Detection), detection of a pedestrian (Pedestrian Detection), detection of a nearby vehicle (Vehicle Detection), and headlights for turning on an oncoming vehicle. Detection (Headlight Detection), detection of lighting of the brake light of the preceding vehicle (Automatic Emergency Breaking), signal recognition (Traffic Sign Recognition), etc. are performed.
  • FIG. 7 shows an example of the configuration of the processing unit 130 that performs the object recognition process and the distance measurement process to the recognized object in the image processing circuit 103.
  • the processing unit 130 includes an image division unit 131, a distortion correction unit 132, a parallax calculation unit 133, an object recognition unit 134, and a distance calculation unit 135.
  • the image division unit 131 is supplied with a captured image signal obtained by the image sensor 102 (corresponding to the image sensor 11 in FIG. 1).
  • the captured image signal includes the image signal Sfl of the left-eye image FL related to the first base line length L1 obtained from the first region 111a of the imaging surface 111, and includes the image signal Sfl of the second region 111b of the imaging surface 111.
  • the obtained image signal Sfr of the right eye image FR related to the first base line length L1 is obtained.
  • the captured image signal includes the image signal Snl of the left eye image NL relating to the second base line length L2 obtained from the third region 111c of the imaging surface 111, and the fourth region of the imaging surface 111.
  • the image signal Snr of the right eye image NR related to the second base line length L2 obtained from 111d is included.
  • the image dividing unit 131 extracts and outputs each of the image signal Sfl, the image signal Sfr, the image signal Snl, and the image signal Snr from the captured image signal.
  • the captured image signal is an image signal of 4K resolution
  • the image signal Sfl, the image signal Sfr, the image signal Snl, and the image signal Snr Are image signals of 2K (HD) resolution.
  • the image signal Sfl, the image signal Sfr, the image signal Snl, and the image signal Snr output from the image division unit 131 are supplied to the distortion correction unit 132.
  • the distortion correction unit 132 corrects the distortion of the optical system, and corrects the parallelism between the pair of the image signal Sfl and the image signal Sfr and the pair of the image signal Snl and the image signal Snr. This correction is a correction for converting each pair into an ideal parallelized stereo image signal obtained when two pinhole cameras are mounted in parallel.
  • the image signal Sfl, the image signal Sfr, the image signal Snl, and the image signal Snr whose distortion has been corrected by the distortion correction unit 132 are supplied to the parallax calculation unit 133.
  • the parallax calculation unit 133 generates a first parallax map DMf related to the first base line length L1 from the image signal Sfl and the image signal Sfr. In this case, for example, by using the image signal Sfl as a reference image and performing a matching process with the image signal Sfr for each pixel to obtain disparity information, the first disparity map DMf is generated.
  • the parallax calculation unit 133 generates a second parallax map DMn related to the second base line length L2 from the image signal Snl and the image signal Snr.
  • the second disparity map DMn is generated.
  • the image signal Sfl and the image signal Snl whose distortion has been corrected by the distortion correction unit 132 are supplied to the object recognition unit 134.
  • the object recognizing unit 134 recognizes objects (pedestrians, surrounding vehicles, etc.) based on the image signal Sfl related to the first base line length L1 using a known object recognition technology, and determines the type of each recognized object.
  • the information TYf and the position information PSf in the image are output as a recognition result.
  • the object recognizing unit 134 recognizes objects (pedestrians, surrounding vehicles, and the like) based on the image signal Snl relating to the second base line length L2 using a well-known object recognition technology, and recognizes each recognized object.
  • Information TYn indicating the type and position information PSn in the image are output as a recognition result.
  • the distance calculation unit 135 includes a first parallax map DMf related to the first base line length L1 generated by the parallax calculation unit 133 and an image signal Sfl related to the first base line length L1 obtained by the object recognition unit 134. Position information PSf in the image of each object recognized based on the information is supplied. The distance calculation unit 135 calculates the distance to each object and outputs distance information DSf. In this case, for each recognized object, the distance calculation unit 135 acquires the disparity corresponding to the object from the first disparity map DMf with reference to the position information PSf in the image of the object, and uses the disparity. Then, the distance to the object is calculated from the principle of triangulation as is conventionally known.
  • the distance calculation unit 135 includes a second parallax map DMn related to the second base line length L2 generated by the parallax calculation unit 133 and an image signal related to the second base line length L2 obtained by the object recognition unit 134. Position information PSn in the image of each object recognized based on Snl is supplied. The distance calculation unit 135 calculates the distance to each object and outputs distance information DSn. In this case, the distance calculation unit 135 acquires, for each recognized object, the disparity corresponding to the object from the second disparity map DMn with reference to the position information PSn in the image of the object, and uses the disparity. Then, the distance to the object is calculated from the principle of triangulation as is well known in the art.
  • the processing unit 130 recognizes an object (a pedestrian, a nearby vehicle, or the like) from the image signal Sfl related to the first base line length L1, and the information TYf indicating the type of each recognized object and the position in the image. Information PSf and distance information DSf indicating the distance to each recognized object are obtained.
  • the processing unit 130 also recognizes objects (pedestrians, nearby vehicles, and the like) from the image signal Snl relating to the second base line length L2, and information TYn indicating the type of each recognized object and position information in the image. PSn and distance information DSn indicating the distance to each recognized object are obtained.
  • the communication processing circuit 104 is constituted by, for example, an MCU (Micro Control Unit).
  • the communication processing circuit 104 is an interface with the CAN communication in the control system 300, and performs format conversion between a signal format in the CAN communication and a signal format inside the vehicle-mounted camera 100.
  • the above detection and recognition results by the image processing circuit 103 are transmitted to the vehicle control system 300 via the communication processing circuit 104.
  • the communication processing unit (Communication Unit) 301 on the vehicle control system 300 performs transmission and reception of data in inter-vehicle communication, inter-vehicle communication, road-to-vehicle communication, and communication with the in-vehicle camera 100.
  • the communication processing unit 301 also performs exchange with a server (not shown). It is assumed that the communication processing unit 301 can apply various types of wireless communication.
  • the automatic driving control unit (Self Driving ECU) 302 is an ECU including a CPU (Central Processing Unit), an ISP (Image Signal Processor), a GPU (Graphic Processing Unit), and the like, and controls the automatic driving of the vehicle.
  • the result of image recognition of the image captured by the on-board camera 100 by the GPU can be sent to the server via the communication processing unit 301, and the learning result can be received by executing deep learning by a server such as a deep neural net. .
  • the driving assistance control unit (ADAS @ ECU) 303 can transmit and receive signals to and from each component of the vehicle via CAN communication.
  • the driving support control unit 303 generates a control signal for controlling each component of the vehicle in accordance with the driving operation of the driver, the recognition result of the captured image by the vehicle-mounted camera 100, and the like, and sends the control signal via CAN communication.
  • the steering 304, the head lamp 305, the brake 306, the engine 307, and the motor 308 are components of the vehicle that are controlled by the automatic driving control unit 302 and the driving support control unit 303. However, it should be understood that there are other components of the vehicle that can be controlled, other than those shown in FIG.
  • the driving support control unit 303 when the driving support control unit 303 detects that the own vehicle is about to deviate from the white line based on the image recognition of the image captured by the on-board camera 100, it drives an EPS (Electronic Power Steering) motor for the steering 304. To send a control signal.
  • the driving support control unit 303 detects the presence or absence of the headlight of the oncoming vehicle by recognizing the image captured by the on-board camera 100, and switches between the high beam and the low beam of the headlamp 305. Alternatively, a high beam is emitted so as to avoid oncoming vehicles.
  • the image processing circuit 103 in the in-vehicle camera 100 may output only recognized sensing information, that is, a detection result by image recognition, instead of outputting the image information itself as the recognition processing. Some sensing information is illustrated below.
  • FCW Forward Collision Warning
  • AEB Automatic Emergency Breaking
  • LDW Vehicle Detection for FCW / AEB -Lane Departure Warning
  • TJP Traffic Jam Pilot
  • controlling the vehicle speed according to the presence or absence of a preceding vehicle controlling the vehicle speed by recognizing a road sign related to the speed limit, controlling the vehicle speed by recognizing the road sign at the entrance or exit of the highway, Automatically decelerates when the vehicle approaches a curve.
  • LKA Lik Keeping Aid
  • VOACC Adaptive Cruise Control
  • VTSR Traffic Sign Recognition
  • IHC -Intelligent Head Ramp Control
  • the present technology can be applied to cameras mounted on various mobile devices such as ships, aircrafts, and mobile robots in addition to cars.
  • the present technology may have the following configurations.
  • each of the first to fourth imaging optical systems includes a rhomboid prism.
  • the rhomboid prisms included in the first to fourth imaging optical systems are respectively arranged such that an emission surface comes into contact with the first to fourth regions of the imaging surface of the imaging device.
  • the camera according to (2) The camera according to (2).
  • a light-blocking member is provided in at least an outer surface area of each of the rhomboid prisms included in the first to fourth imaging optical systems corresponding to the reflection surface on the emission surface side.
  • the first to fourth regions on the imaging surface of the imaging device are regions obtained by dividing the imaging surface into a cross-shaped cross. Any of the above (1) to (4) Camera described.
  • Imaging surface 111a first area 111b: second area 111c: third area 111d: fourth area 211, 21, 21, 231, 241: imaging Lenses 212, 222, 232, 242... Lomboid prisms 212a, 222a, 232a, 242a.
  • 242c, 242d Reflecting surface 213, 223, 233, 243: Light shielding member 100: In-vehicle camera 101: Imaging optical system 102: Imaging element 1 3 image processing circuit 104 communication processing circuit 131 image dividing unit 132 distortion correcting unit 133 parallax calculating unit 134 object recognizing unit 135 distance calculating unit 300 ... Vehicle control system 301 ... Communication processing unit 302 ... Automatic driving control unit 303 ... Driving support control unit 304 ... Steering 305 ... Head lamp 306 ... Brake 307 ... Engine 308 ⁇ ⁇ ⁇ Motor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

高分解能で距離を求めることと近距離の領域で視差を求めることを両立可能とする。　カメラは、撮像素子と、第１から第４の撮像光学系を備える。第１の撮像光学系は、撮像素子の撮像面の第１の領域に第１の基線長に係る左眼画像を結像する。第２の撮像光学系は、撮像素子の撮像面の第２の領域に第１の基線長に係る右眼画像を結像する。また、第３の撮像光学系は、撮像素子の撮像面の第３の領域に第２の基線長に係る左眼画像を結像する。第４の撮像光学系は、撮像素子の撮像面の第４の領域に第２の基線長に係る右眼画像を結像する。第２の基線長は、第１の基線長より短い。

Description

カメラ
　本技術は、カメラに関し、詳しくは、ステレオ画像の撮像が可能なカメラに関する。
　例えば、特許文献１には、単一の撮像素子を持つ構成でステレオ画像（左眼画像、右眼画像）を撮像するカメラが記載されている。また、特許文献２には、単一の撮像素子を持つ構成でステレオ画像（左眼画像、右眼画像）を撮像する際に、左眼画像と右眼画像を撮像素子の撮像面の異なる領域に結像させることが記載されている。
　また、従来、ステレオ画像を撮像する際の基線長が長いほど高分解能で距離を求めることができることと、さらに、このように基線長を長くした場合には左眼画像と右眼画像の共通領域が狭くなり、近距離の領域で視差を求めることができなくなること、が知られている（例えば、特許文献３参照）。
特開２０１４－１７８１９０号公報 特開２０１２－２１２９６５号公報 特開２０１６－２１７９４４号公報
　本技術の目的は、高分解能で距離を求めることと近距離の領域で視差を求めることを両立可能とすることにある。
　本技術の概念は、
　撮像素子と、
　上記撮像素子の撮像面の第１の領域に第１の基線長に係る左眼画像を結像させる第１の撮像光学系と、
　上記撮像素子の撮像面の第２の領域に上記第１の基線長に係る右眼画像を結像させる第２の撮像光学系と、
　上記撮像素子の撮像面の第３の領域に上記第１の基線長より短い第２の基線長に係る左眼画像を結像させる第３の撮像光学系と、
　上記撮像素子の撮像面の第４の領域に上記第２の基線長に係る右眼画像を結像させる第４の撮像光学系を備える
　カメラにある。
　本技術において、カメラは、撮像素子と、第１から第４の撮像光学系を備えている。第１の撮像光学系により、撮像素子の撮像面の第１の領域に第１の基線長に係る左眼画像が結像され、第２の撮像光学系により、撮像素子の撮像面の第２の領域に第１の基線長に係る右眼画像が結像される。また、第３の撮像光学系により、撮像素子の撮像面の第３の領域に第２の基線長に係る左眼画像が結像され、第４の撮像光学系により、撮像素子の撮像面の第４の領域に第２の基線長に係る右眼画像が結像される。ここで、第２の基線長は、第１の基線長より短くされる。
　例えば、第１から第４の撮像光学系のそれぞれはロンボイドプリズムを含む、ようにされてもよい。この場合、例えば、第１から第４の撮像光学系に含まれるロンボイドプリズムは、それぞれ、出射面が撮像素子の撮像面の第１から第４の領域に当接するように配置される、ようにされてもよい。この場合、例えば、第１から第４の撮像光学系に含まれるロンボイドプリズムのそれぞれの少なくとも出射面側の反射面に対応した外面領域に遮光部材が設けられる、ようにされてもよい。また、例えば、撮像素子の撮像面の第１から第４の領域は、その撮像面が田の字状に分割されて得られた領域である、ようにされてもよい。
　このように本技術においては、撮像素子の撮像面の第１の領域および第２の領域による撮像によって、基線長を比較的長くした場合のステレオ画像（左眼画像、右眼画像）を得ることができ、高分解能で距離を求めることが可能となり、また、撮像素子の撮像面の第３の領域および第４の領域による撮像によって、基線長を比較的短くした場合のステレオ画像（左眼画像、右眼画像）を得ることができ、この場合左眼画像と右眼画像の共通領域が広くなり、近距離の領域で視差を求めることが可能となる。
　本技術によれば、高分解能で距離を求めることと近距離の領域で視差を求めることを両立できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
カメラの概略的な斜視図である。 カメラの概略的な正面図である。 第１から第４の各撮像光学系における光路などを説明するための図である。 第１の基線長のステレオ画像（左眼画像、右眼画像）における共通領域と第２の基線長のステレオ画像（左眼画像、右眼画像）における共通領域の広狭を示す図である。 第１の基線長のステレオ画像（左眼画像、右眼画像）のイメージと第２の基線長のステレオ画像（左眼画像、右眼画像）のイメージを示す図である。 車両制御システムの構成例を示すブロック図である。 画像処理回路における物体認識処理と認識された物体までの距離測定処理を行う処理部の構成例を示すブロック図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［カメラ］
　図１、図２は、実施の形態としてのカメラ１０の構成例を示している。図１は、カメラ１０の概略的な斜視図を示し、図２は、カメラ１０の概略的な正面図を示している。
　カメラ１０は、撮像素子１１と、第１の撮像光学系２１と、第２の撮像光学系２２と、第３の撮像光学系２３と、第４の撮像光学系２４を備えている。撮像素子（イメージャ）１１は、例えば、ＣＣＤ（Charged-coupled devices）イメージセンサやＣＭＯＳ（Complementary metal-oxide-semiconductor）イメージセンサなどの個体撮像素子である。
　この撮像素子１１は、その撮像面１１１が複数の領域に分割され、それぞれの領域で異なる画像が撮像される。この実施の形態においては、撮像面１１１が田の字状に第１の領域１１１ａ、第２の領域１１１ｂ、第３の領域１１１ｃ、第４の領域１１１ｄに分割され、これら４つの領域でそれぞれ異なる画像が同時に撮像される。
　第１の撮像光学系２１は、撮像レンズ２１１と、ロンボイドプリズム（菱形プリズム）２１２を含む構成とされている。ロンボイドプリズム２１２は、その出射面２１２ｂが撮像素子１１の撮像面１１１の第１の領域１１１ａに当接するように配置されている。また、撮像レンズ２１１は、ロンボイドプリズム２１２の入射面２１２ａに対向した位置に配置されている。
　ロンボイドプリズム２１２の少なくとも出射面２１２ｂに対応した反射面２１２ｄの外面領域に遮光部材２１３が設けられている。この場合、ロンボイドプリズム２１２に対して、遮光シートの貼り付けや遮光塗料の塗布などによって、遮光部材２１３が設けられる。このように遮光部材２１３を設けるのは、この外面領域から入射する光による影響を抑制するためである。以下に述べる、他のロンボイドプリズムに設けられる遮光部材に関しても同様の理由による。
　第２の撮像光学系２２は、撮像レンズ２２１と、ロンボイドプリズム（菱形プリズム）２２２を含む構成とされている。ロンボイドプリズム２２２は、その出射面２２２ｂが撮像素子１１の撮像面１１１の第２の領域１１１ｂに当接するように配置されている。この場合、ロンボイドプリズム２２２は、上述した第１の撮像光学系２１のロンボイドプリズム２１２とは同一直線上で連続した状態となる。
　また、撮像レンズ２２１は、ロンボイドプリズム２２２の入射面２２２ａに対向した位置に配置されている。ロンボイドプリズム２２２の少なくとも出射面２２２ｂに対応した反射面２２２ｄの外面領域に遮光部材２２３が設けられている。
　第１の撮像光学系２１は、第１の基線長Ｌ１に係る左眼画像を、撮像素子１１の撮像面１１１の第１の領域１１１ａに結像させる。この場合、図３（ａ）に示すように、撮像レンズ２１１に入射される被写体からの光は、ロンボイドプリズム２１２の入射面２１２ａから入射して反射面２１２ｃで反射され、さらにその後に反射面２１２ｄで反射され、出射面２１２ｂから出射されて、撮像素子１１の撮像面１１１の第１の領域１１１ａに到達し、この第１の領域１１１ａに第１の基線長Ｌ１に係る左眼画像が結像される。
　第２の撮像光学系２２は、第１の基線長Ｌ１に係る右眼画像を、撮像素子１１の撮像面１１１の第２の領域１１１ｂに結像させる。この場合、図３（ａ）に示すように、撮像レンズ２２１に入射される被写体からの光は、ロンボイドプリズム２２２の入射面２２２ａから入射して反射面２２２ｃで反射され、さらにその後に反射面２２２ｄで反射され、出射面２２２ｂから出射されて、撮像素子１１の撮像面１１１の第２の領域１１１ｂに到達し、この第２の領域１１１ｂに第１の基線長Ｌ１に係る右眼画像が結像される。
　ここで、第１の基線長Ｌ１は、図２に示すように、撮像レンズ２１１，２２１の光軸間の距離となる。この第１の基線長Ｌ１は、第１の撮像光学系２１のロンボイドプリズム２１２と第２の撮像光学系２２のロンボイドプリズム２２２の長さによって決まる。換言すれば、この第１の基線長Ｌ１は、第１の撮像光学系２１のロンボイドプリズム２１２と第２の撮像光学系２２のロンボイドプリズム２２２の長さを変更することで、調整できる。
　第３の撮像光学系２３は、撮像レンズ２３１と、ロンボイドプリズム（菱形プリズム）２３２を含む構成とされている。ロンボイドプリズム２３２は、その出射面２３２ｂが撮像素子１１の撮像面１１１の第３の領域１１１ｃに当接するように配置されている。この場合、ロンボイドプリズム２３２は、上述した第１の撮像光学系２１のロンボイドプリズム２１２と隣接して並んだ状態となる。また、撮像レンズ２３１は、ロンボイドプリズム２３２の入射面２３２ａに対向した位置に配置されている。ロンボイドプリズム２３２の少なくとも出射面２３２ｂに対応した反射面２３２ｄの外面領域に遮光部材２３３が設けられている。
　第４の撮像光学系２４は、撮像レンズ２４１と、ロンボイドプリズム（菱形プリズム）２４２を含む構成とされている。ロンボイドプリズム２４２は、その出射面２４２ｂが撮像素子１１の撮像面１１１の第４の領域１１１ｄに当接するように配置されている。ここで、ロンボイドプリズム２４２は、上述した第３の撮像光学系２３のロンボイドプリズム２３２とは同一直線上で連続した状態となると共に、上述した第２の撮像光学系２２のロンボイドプリズム２２２と隣接して並んだ状態となる。
　また、撮像レンズ２４１は、ロンボイドプリズム２４２の入射面２４２ａに対向した位置に配置されている。ロンボイドプリズム２４２の少なくとも出射面２４２ｂに対応した反射面２４２ｄの外面領域に遮光部材２４３が設けられている。
　第３の撮像光学系２３は、第２の基線長Ｌ２に係る左眼画像を、撮像素子１１の撮像面１１１の第３の領域１１１ｃに結像させる。ここで、第２の基線長Ｌ２は、上述した第１の基線長Ｌ１より短く設定されている。この場合、図３（ｂ）に示すように、撮像レンズ２３１に入射される被写体からの光は、ロンボイドプリズム２３２の入射面２３２ａから入射して反射面２３２ｃで反射され、さらにその後に反射面２３２ｄで反射され、出射面２３２ｂから出射されて、撮像素子１１の撮像面１１１の第３の領域１１１ｃに到達し、この第３の領域１１１ｃに第２の基線長Ｌ２に係る左眼画像が結像される。
　第４の撮像光学系２４は、第２の基線長Ｌ２に係る右眼画像を、撮像素子１１の撮像面１１１の第４の領域１１１ｄに結像させる。この場合、図３（ｂ）に示すように、撮像レンズ２４１に入射される被写体からの光は、ロンボイドプリズム２４２の入射面２４２ａから入射して反射面２４２ｃで反射され、さらにその後に反射面２４２ｄで反射され、出射面２４２ｂから出射されて、撮像素子１１の撮像面１１１の第４の領域１１１ｄに到達し、この第４の領域１１１ｄに第２の基線長Ｌ２に係る右眼画像が結像される。
　ここで、第２の基線長Ｌ２は、図２に示すように、撮像レンズ２３１，２４１の光軸間の距離となる。この第２の基線長Ｌ２は、第３の撮像光学系２３のロンボイドプリズム２３２と第４の撮像光学系２４のロンボイドプリズム２４２の長さによって決まる。換言すれば、この第２の基線長Ｌ２は、第３の撮像光学系２３のロンボイドプリズム２３２と第４の撮像光学系２４のロンボイドプリズム２４２の長さを変更することで、調整できる。
　以上説明したように、図１、図２に示すカメラ１０においては、撮像素子１１の撮像面１１１の第１の領域１１１ａおよび第２の領域１１１ｂによる撮像によって、基線長を比較的長くした場合のステレオ画像（左眼画像、右眼画像）を得ることができ、高分解能で距離を求めることが可能となる。
　また、図１、図２に示すカメラ１０においては、撮像素子１１の撮像面１１１の第３の領域１１１ｃおよび第４の領域１１１ｄによる撮像によって、基線長を比較的短くした場合のステレオ画像（左眼画像、右眼画像）を得ることができ、この場合左眼画像と右眼画像の共通領域が広くなり、近距離の領域で視差を求めることが可能となる。
　図４（ａ）は、第１の撮像光学系２１により撮像素子１１の第１の領域１１１ａで撮像される左眼画像と第２の撮像光学系２２により撮像素子１１の第２の領域１１１ｂで撮像される右眼画像の撮像領域を示している。この場合、第１の基線長Ｌ１が比較的長いことから、左眼画像と右眼画像の共通領域が狭くなり、近距離の領域で視差を求めることが難しくなる。図５（ｂ）は、図５（ａ）のような被写体を第１の基線長Ｌ１で撮像した場合における左眼画像ＩＦＬと右眼画像ＩＦＲのイメージを示している。
　これに対して、図４（ｂ）は、第３の撮像光学系２３により撮像素子１１の第３の領域１１１ｃで撮像される左眼画像と第４の撮像光学系２４により撮像素子１１の第４の領域１１１ｄで撮像される右眼画像の撮像領域を示している。この場合、第２の基線長Ｌ２が比較的短いことから、左眼画像と右眼画像の共通領域が広くなり、近距離の領域で視差を求めることが可能となる。図５（ｃ）は、図５（ａ）のような被写体を第２の基線長Ｌ２で撮像した場合における左眼画像ＩＮＬと右眼画像ＩＮＲのイメージを示している。
　「車両制御システム」
　図６は、車両制御システム３００の構成例を示している。この車両制御システム３００は、図１に示したカメラ１０を含み、各部はＣＡＮバスを介して相互接続されている。
　車載カメラ１００は、例えば車両のウインドシールドの内側のルームミラーの近傍に配置され、車両進行方向の前方を撮像する。車載カメラ１００の撮像画像は、基本的にセンシング目的に使用され、撮像画像に対して画像認識などの画像処理を適用して、道路の白線（レーン）や信号機、道路標識、対向車、自車両周辺の歩行者などを検出することを想定している。ただし、車載カメラ１００の撮像画像をビューイング目的にも使用し、車室内で画像を表示するようにしてもよい。
　車載カメラ１００は、撮像光学系１０１と、撮像素子１０２と、画像処理回路１０３と、通信処理回路１０４を備えている。図１に示したカメラ１０は、撮像光学系１０１および撮像素子１０２の部分に対応する。
　撮像素子１０２は、撮像画像信号を、例えばシリアル通信により画像処理回路１０３に出力する。画像処理回路１０３は、例えばＥＣＵ（Electronic Control Unit）で構成される。画像処理回路１０３内では、撮像画像信号に基づき、画像処理や認識処理、さらには測距処理を実施する。
　画像処理回路１０３内で実施する画像処理として、ＡＥ（Automatic Exposure：自動露出制御）、ＡＷＢ（Auto White Balance：自動ホワイト・バランス調整）、ＨＤＲ（High Dynamic Range：ハイダイナミックレンジ合成）などの処理を挙げることができる。ただし、これらの画像処理は撮像素子１０２側で行なうようにすることもできる。
　また、画像処理回路１０３内で実施する認識処理として、道路の白線（レーン）検出（Lane Detection）、歩行者検出（Pedestrian Detection）、周辺車両の検出（Vehicle Detection）、対向車両が点灯するヘッドライトの検出（Headlight Detection）、先行車両のブレーキライトの点灯検出（Automatic Emergency Breaking）、信号機認識（Traffic Sign Recognition）などを行なう。
　また、画像処理回路１０３内で実施する測距処理として、上述したように認識処理で認識された物体（歩行者や周辺車両など）までの距離測定などを行う。
　図７は、画像処理回路１０３における物体認識処理と認識された物体までの距離測定処理を行う処理部１３０の構成例を示している。この処理部１３０は、画像分割部１３１と、歪補正部１３２と、視差算出部１３３と、物体認識部１３４と、距離演算部１３５を有している。
画像分割部１３１には、撮像素子１０２（図１の撮像素子１１に対応）で得られた撮像画像信号が供給される。この撮像画像信号には、撮像面１１１の第１の領域１１１ａから得られる第１の基線長Ｌ１に係る左眼画像ＦＬの画像信号Ｓｆｌが含まれると共に、撮像面１１１の第２の領域１１１ｂから得られる第１の基線長Ｌ１に係る右眼画像ＦＲの画像信号Ｓｆｒが含まれる。
　また、この撮像画像信号には、撮像面１１１の第３の領域１１１ｃから得られる第２の基線長Ｌ２に係る左眼画像ＮＬの画像信号Ｓｎｌが含まれると共に、撮像面１１１の第４の領域１１１ｄから得られる第２の基線長Ｌ２に係る右眼画像ＮＲの画像信号Ｓｎｒが含まれる。
　画像分割部１３１は、撮像画像信号から、画像信号Ｓｆｌ、画像信号Ｓｆｒ、画像信号Ｓｎｌおよび画像信号Ｓｎｒのそれぞれを抽出して出力する。ここで、例えば、撮像素子１０２（撮像素子１１）が４Ｋ解像度の撮像素子である場合、撮像画像信号は４Ｋ解像度の画像信号であり、画像信号Ｓｆｌ、画像信号Ｓｆｒ、画像信号Ｓｎｌおよび画像信号Ｓｎｒのそれぞれは２Ｋ（ＨＤ）解像度の画像信号である。
　画像分割部１３１から出力される画像信号Ｓｆｌ、画像信号Ｓｆｒ、画像信号Ｓｎｌおよび画像信号Ｓｎｒは、歪補正部１３２に供給される。歪補正部１３２は、光学系の歪を補正して、画像信号Ｓｆｌおよび画像信号Ｓｆｒのペアと画像信号Ｓｎｌおよび画像信号Ｓｎｒのペアのそれぞれのペア間の平行化を補正する。この補正は、それぞれのペアを、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像信号に変換する補正である。
　歪補正部１３２で歪補正された画像信号Ｓｆｌ、画像信号Ｓｆｒ、画像信号Ｓｎｌおよび画像信号Ｓｎｒは、視差算出部１３３に供給される。視差算出部１３３は、画像信号Ｓｆｌおよび画像信号Ｓｆｒから第１の基線長Ｌ１に係る第１の視差マップＤＭｆを生成する。この場合、例えば、画像信号Ｓｆｌを基準画像として、画素毎に、画像信号Ｓｆｒとの間のマッチング処理を行って視差情報を得ることで、第１の視差マップＤＭｆが生成される。
　また、視差算出部１３３は、画像信号Ｓｎｌおよび画像信号Ｓｎｒから第２の基線長Ｌ２に係る第２の視差マップＤＭｎを生成する。この場合、例えば、画像信号Ｓｎｌを基準画像として、画素毎に、画像信号Ｓｎｒとの間のマッチング処理を行って視差情報を得ることで、第２の視差マップＤＭｎが生成される。
　歪補正部１３２で歪補正された画像信号Ｓｆｌおよび画像信号Ｓｎｌは、物体認識部１３４に供給される。物体認識部１３４は、第１の基線長Ｌ１に係る画像信号Ｓｆｌに基づいて、周知の物体認識技術を用いて、物体（歩行者や周辺車両など）を認識し、認識した各物体の種類を示す情報ＴＹｆと画像内の位置情報ＰＳｆを認識結果として出力する。また、物体認識部１３４は、第２の基線長Ｌ２に係る画像信号Ｓｎｌに基づいて、周知の物体認識技術を用いて、物体（歩行者や周辺車両など）を認識し、認識した各物体の種類を示す情報ＴＹｎと画像内の位置情報ＰＳｎを認識結果として出力する。
　距離演算部１３５には、視差算出部１３３で生成された第１の基線長Ｌ１に係る第１の視差マップＤＭｆと物体認識部１３４で得られた第１の基線長Ｌ１に係る画像信号Ｓｆｌに基づいて認識された各物体の画像内の位置情報ＰＳｆが供給される。距離演算部１３５は、各物体までの距離を算出して距離情報ＤＳｆを出力する。この場合、距離演算部１３５は、認識された物体毎に、その物体の画像内の位置情報ＰＳｆを参照して第１の視差マップＤＭｆからその物体に対応した視差を取得し、その視差を用いて従来周知のように三角測量の原理からその物体までの距離を算出する。
　また、距離演算部１３５には、視差算出部１３３で生成された第２の基線長Ｌ２に係る第２の視差マップＤＭｎと物体認識部１３４で得られた第２の基線長Ｌ２に係る画像信号Ｓｎｌに基づいて認識された各物体の画像内の位置情報ＰＳｎが供給される。距離演算部１３５は、各物体までの距離を算出して距離情報ＤＳｎを出力する。この場合、距離演算部１３５は、認識された物体毎に、その物体の画像内の位置情報ＰＳｎを参照して第２の視差マップＤＭｎからその物体に対応した視差を取得し、その視差を用いて従来周知のように三角測量の原理からその物体までの距離を算出する。
　このように、処理部１３０では、第１の基線長Ｌ１に係る画像信号Ｓｆｌから物体（歩行者や周辺車両など）が認識され、認識された各物体の種類を示す情報ＴＹｆと画像内の位置情報ＰＳｆ、さらに認識された各物体までの距離を示す距離情報ＤＳｆが得られる。また、この処理部１３０では、第２の基線長Ｌ２に係る画像信号Ｓｎｌから物体（歩行者や周辺車両など）が認識され、認識された各物体の種類を示す情報ＴＹｎと画像内の位置情報ＰＳｎ、さらに認識された各物体までの距離を示す距離情報ＤＳｎが得られる。
　図６に戻って、通信処理回路１０４は、例えばＭＣＵ（Micro Control Unit）で構成される。通信処理回路１０４は、制御システム３００におけるＣＡＮ通信とのインターフェースであり、ＣＡＮ通信における信号形式と車載カメラ１００内部の信号形式との形式変換を行なう。画像処理回路１０３による上記の各検出・認識結果は、通信処理回路１０４を介して、車両の制御システム３００へ送出される。
　車両の制御システム３００側の通信処理部（Communication Unit）３０１は、車車間通信、歩車間通信、路車間通信、さらには車載カメラ１００との通信において、データの送受信を担う。通信処理部３０１は、さらにサーバー（図示しない）とのやり取りも行なう。通信処理部３０１は各種の無線通信を適用可能であるものとする。
　自動運転制御部（Self Driving ECU）３０２は、ＣＰＵ（Central Processing Unit）、ＩＳＰ（Image Signal Processor）、ＧＰＵ（Graphic Processing Unit）などで構成されるＥＣＵであり、車両の自動運転を司る。例えば、車載カメラ１００による撮像画像をＧＰＵで画像認識した結果を、通信処理部３０１を介してサーバーに送り、ディープ・ニューラル・ネットなどサーバーによるディープ・ラーニングを実行して学習結果を受け取ることもできる。
　運転支援制御部（ADAS ECU）３０３は、ＣＡＮ通信を介して車両の各コンポーネントと信号の送受信を行なうことができる。運転支援制御部３０３は、ドライバーの運転操作や、車載カメラ１００による撮像画像の認識結果などに応じて、車両の各コンポーネントを制御するための制御信号を生成して、ＣＡＮ通信を介して送る。
　ステアリング３０４、ヘッドランプ３０５、ブレーキ３０６、エンジン３０７、並びにモーター３０８は、自動運転制御部３０２や運転支援制御部３０３による制御対象となる車両のコンポーネントである。但し、図６に示した以外にも、制御対象となり得る車両のコンポーネントが存在するものと理解されたい。
　例えば、運転支援制御部３０３は、車載カメラ１００の撮像画像の画像認識により、自車両が白線から逸脱しそうになったことを検出すると、ステアリング３０４に対して、ＥＰＳ（Electronic Power Steering）モーターを駆動するための制御信号を送出する。また、運転支援制御部３０３は、車載カメラ１００の撮像画像の画像認識により、対向車のヘッドライトの有無を検知して、ヘッドランプ３０５のハイビームとロービームの切り替えを行なう。または、対向車を避けるようなハイビームを照射させる。
　車載カメラ１００内の画像処理回路１０３は、認識処理として、画像情報そのものを出力するのではなく、認識したセンシング情報すなわち画像認識による検出結果のみを出力するようにしてもよい。幾つかのセンシング情報を以下に例示しておく。
・Pedestrian Detection for Forward Collision Warning（ＦＣＷ）：自車両前方の歩行者との衝突までの時間を複数出力する。
・Automatic Emergency Breaking（ＡＥＢ）：先行車両のブレーキライトの点灯を検出する。
・Vehicle Detection for ＦＣＷ／ＡＥＢ
・Lane Departure Warning（ＬＤＷ）：エッジ検出によりレーンを検出する。レーンの他、路肩や縁石も検出することができる。但し、ウィンカー作動中は警告しない。
・Traffic Jam Pilot（ＴＪＰ）：ミリ波レーダーとの融合により実現する。例えば、先行車両の存在有無に応じて車速を制御したり、制限速度に関する道路標識を認識して車速を制御したり、高速道路の入口や出口の道路標識で認識して車速を制御したり、自車両がカーブに差し掛かったときに自動で減速したりする。
・Lane Keeping Aid（ＬＫＡ）：ＴＪＰで実施される。
・Vision Only Adaptive Cruise Control（ＶＯＡＣＣ）：ＴＪＰで実施される。
・Vision Only Traffic Sign Recognition（ＶＯＴＳＲ）：ＴＪＰで実施される。高速道路の入口と出口を道路標識（例えば、「自動車専用道路」という標識を識別）を認識して判別する。高速道路では、速度制限に関する道路標識を認識して、車速を自動制御する。
・Intelligent Head Ramp Control（ＩＨＣ）：対向車のヘッドライトの有無を検知して、自車両のヘッドランプのハイビームとロービームの切り替えを行なう。また、先行車両のテールランプの有無を検出して、自車両のヘッドランプのハイビームとロービームの切り替えを行なう。また、光源が左右どちらのレーンにあるかを判別して、対向車や先行車両を避けるようなハイビームを照射させる。
　＜２．変形例＞
　なお、上述実施の形態においては、本技術をカメラは、車の他に船舶、航空機、移動ロボットなどさまざまな移動体装置に搭載するカメラにも適用することができる。
　また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本技術は、以下のような構成を取ることもできる。
　（１）撮像素子と、
　上記撮像素子の撮像面の第１の領域に第１の基線長に係る左眼画像を結像させる第１の撮像光学系と、
　上記撮像素子の撮像面の第２の領域に上記第１の基線長に係る右眼画像を結像させる第２の撮像光学系と、
　上記撮像素子の撮像面の第３の領域に上記第１の基線長より短い第２の基線長に係る左眼画像を結像させる第３の撮像光学系と、
　上記撮像素子の撮像面の第４の領域に上記第２の基線長に係る右眼画像を結像させる第４の撮像光学系を備える
　カメラ。
　（２）上記第１から第４の撮像光学系のそれぞれはロンボイドプリズムを含む
　前記（１）に記載のカメラ。
　（３）上記第１から第４の撮像光学系に含まれるロンボイドプリズムは、それぞれ、出射面が上記撮像素子の撮像面の上記第１から第４の領域に当接するように配置される
　前記（２）に記載のカメラ。
　（４）上記第１から第４の撮像光学系に含まれるロンボイドプリズムのそれぞれの少なくとも上記出射面側の反射面に対応した外面領域に遮光部材が設けられる
　前記（３）に記載のカメラ。
　（５）上記撮像素子の撮像面の上記第１から第４の領域は、該撮像面が田の字状に分割されて得られた領域である
　前記（１）から（４）のいずれかに記載のカメラ。
　１０・・・カメラ
　１１・・・撮像素子
　２１・・・第１の撮像光学系
　２２・・・第２の撮像光学系
　２３・・・第３の撮像光学系
　２４・・・第４の撮像光学系
　１１１・・・撮像面
　１１１ａ・・・第１の領域
　１１１ｂ・・・第２の領域
　１１１ｃ・・・第３の領域
　１１１ｄ・・・第４の領域
　２１１，２２１，２３１，２４１・・・撮像レンズ
　２１２，２２２，２３２，２４２・・・ロンボイドプリズム
　２１２ａ，２２２ａ，２３２ａ，２４２ａ・・・入射面
　２１２ｂ，２２２ｂ，２３２ｂ，２４２ｂ・・・出射面
　２１２ｃ，２１２ｄ，２２２ｃ，２２２ｄ，２３２ｃ，２３２ｄ，２４２ｃ，２４２ｄ・・・反射面
　２１３，２２３，２３３，２４３・・・遮光部材
　１００・・・車載カメラ
　１０１・・・撮像光学系
　１０２・・・撮像素子
　１０３・・・画像処理回路
　１０４・・・通信処理回路
　１３１・・・画像分割部
　１３２・・・歪補正部
　１３３・・・視差算出部
　１３４・・・物体認識部
　１３５・・・距離算出部
　３００・・・車両制御システム
　３０１・・・通信処理部
　３０２・・・自動運転制御部
　３０３・・・運転支援制御部
　３０４・・・ステアリング
　３０５・・・ヘッドランプ
　３０６・・・ブレーキ
　３０７・・・エンジン
　３０８・・・モーター

Claims (5)

  1. 　撮像素子と、
    　上記撮像素子の撮像面の第１の領域に第１の基線長に係る左眼画像を結像させる第１の撮像光学系と、
    　上記撮像素子の撮像面の第２の領域に上記第１の基線長に係る右眼画像を結像させる第２の撮像光学系と、
    　上記撮像素子の撮像面の第３の領域に上記第１の基線長より短い第２の基線長に係る左眼画像を結像させる第３の撮像光学系と、
    　上記撮像素子の撮像面の第４の領域に上記第２の基線長に係る右眼画像を結像させる第４の撮像光学系を備える
    　カメラ。
  2. 　上記第１から第４の撮像光学系のそれぞれはロンボイドプリズムを含む
    　請求項１に記載のカメラ。
  3. 　上記第１から第４の撮像光学系に含まれるロンボイドプリズムは、それぞれ、出射面が上記撮像素子の撮像面の上記第１から第４の領域に当接するように配置される
    　請求項２に記載のカメラ。
  4. 　上記第１から第４の撮像光学系に含まれるロンボイドプリズムのそれぞれの少なくとも上記出射面側の反射面に対応した外面領域に遮光部材が設けられる
    　請求項３に記載のカメラ。
  5. 　上記撮像素子の撮像面の上記第１から第４の領域は、該撮像面が田の字状に分割されて得られた領域である
    　請求項１に記載のカメラ。
PCT/JP2019/026541 2018-07-05 2019-07-03 カメラ WO2020009172A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018128156 2018-07-05
JP2018-128156 2018-07-05
JP2018-158488 2018-08-27
JP2018158488A JP2020013096A (ja) 2018-07-05 2018-08-27 カメラ

Publications (1)

Publication Number Publication Date
WO2020009172A1 true WO2020009172A1 (ja) 2020-01-09

Family

ID=69060853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026541 WO2020009172A1 (ja) 2018-07-05 2019-07-03 カメラ

Country Status (1)

Country Link
WO (1) WO2020009172A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887534A (zh) * 2021-01-14 2021-06-01 维沃移动通信有限公司 电子设备及其控制方法和控制装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222083A (ja) * 2000-02-07 2001-08-17 Canon Inc 撮像装置、撮像装置の制御方法、及び制御方法が記載されたプログラムをコンピュータに供給する媒体
JP2010243463A (ja) * 2009-04-10 2010-10-28 Ricoh Co Ltd ステレオカメラ装置及び車外監視装置
JP2012220848A (ja) * 2011-04-12 2012-11-12 Nikon Corp 撮像装置及びレンズ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222083A (ja) * 2000-02-07 2001-08-17 Canon Inc 撮像装置、撮像装置の制御方法、及び制御方法が記載されたプログラムをコンピュータに供給する媒体
JP2010243463A (ja) * 2009-04-10 2010-10-28 Ricoh Co Ltd ステレオカメラ装置及び車外監視装置
JP2012220848A (ja) * 2011-04-12 2012-11-12 Nikon Corp 撮像装置及びレンズ装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887534A (zh) * 2021-01-14 2021-06-01 维沃移动通信有限公司 电子设备及其控制方法和控制装置
US12055978B2 (en) 2021-01-14 2024-08-06 Vivo Mobile Communication Co., Ltd. Electronic device, control method thereof and control apparatus thereof

Similar Documents

Publication Publication Date Title
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
CN107615749B (zh) 信号处理装置和成像装置
JP5680573B2 (ja) 車両の走行環境認識装置
US10331963B2 (en) Camera apparatus and in-vehicle system capturing images for vehicle tasks
US11539868B2 (en) Imaging system and vehicle window used for the same
CN110603458B (zh) 光学传感器和电子设备
WO2017145945A1 (ja) ステレオカメラ装置、車両および視差算出方法
US10848660B2 (en) Imaging apparatus, imaging module, and control method of imaging apparatus
JP2020136958A (ja) イベント信号検出センサ及び制御方法
JP2009146217A (ja) ステレオカメラ装置
US10882464B2 (en) Vehicle-mounted camera, vehicle-mounted camera apparatus, and method of supporting vehicle-mounted camera
US10750085B2 (en) Camera device for capturing a surrounding area of a driver's own vehicle and method for providing a driver assistance function
CN110073652B (zh) 成像装置以及控制成像装置的方法
EP3667413A1 (en) Stereo image processing device
JP6699344B2 (ja) 逆走車検出装置、逆走車検出方法
WO2020009172A1 (ja) カメラ
JP2017129543A (ja) ステレオカメラ装置及び車両
EP2674893A2 (en) Travelable area recognition system, travelable area recognition method, travelable area recognition program executed on the travelable area recognition system, and recording medium storing travelable area recognition program
JP2013250694A (ja) 画像処理装置
US20210291750A1 (en) Vehicle-mounted camera and drive control system using vehicle-mounted camera
CN115179863A (zh) 移动体的控制装置及控制方法、存储介质以及车辆
JP2020013096A (ja) カメラ
CN113661700B (zh) 成像装置与成像方法
JP4900377B2 (ja) 画像処理装置
JP2013161187A (ja) 物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19830555

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19830555

Country of ref document: EP

Kind code of ref document: A1