WO2018139212A1 - 運転制御システムおよび運転制御方法 - Google Patents

運転制御システムおよび運転制御方法 Download PDF

Info

Publication number
WO2018139212A1
WO2018139212A1 PCT/JP2018/000608 JP2018000608W WO2018139212A1 WO 2018139212 A1 WO2018139212 A1 WO 2018139212A1 JP 2018000608 W JP2018000608 W JP 2018000608W WO 2018139212 A1 WO2018139212 A1 WO 2018139212A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging data
imaging
vehicle
moving body
multiple exposure
Prior art date
Application number
PCT/JP2018/000608
Other languages
English (en)
French (fr)
Inventor
西村　佳壽子
康夫 三宅
嘉晃 佐藤
柴田　修
岩井　浩
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201880001433.5A priority Critical patent/CN108886585B/zh
Priority to EP18744680.2A priority patent/EP3576400B1/en
Priority to JP2018564468A priority patent/JP7108856B2/ja
Publication of WO2018139212A1 publication Critical patent/WO2018139212A1/ja
Priority to US16/217,076 priority patent/US10473456B2/en
Priority to US16/665,912 priority patent/US11333489B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to a driving control system and a driving control method for supporting driving of a moving object such as a vehicle or a flying object.
  • the driving support system needs information such as a vehicle speed and a distance to an obstacle, for example, in order to control acceleration, braking, and steering.
  • Vehicle speed can generally be measured based on wheel speed (rpm).
  • Patent Document 1 discloses an imaging system capable of measuring a distance to an obstacle by stereo imaging.
  • the imaging system includes a plurality of imaging devices including imaging elements having different photoelectric conversion characteristics according to subject illuminance. By matching the imaging timing among a plurality of imaging devices, a stereo image can be processed at high speed and accurately.
  • the present disclosure is aimed at providing a moving body control system capable of detecting a moving state of a moving body, for example, a speed or a traveling direction, and mainly detecting a moving state of a vehicle, for example, a speed or a traveling direction. It is an object of the present invention to provide a vehicle travel control system capable of performing the above.
  • An operation control system is installed in a moving body, images a target object a plurality of times in a first frame period, and performs multiple exposure imaging data including first imaging data and second imaging data. Based on the imaging device to be generated and the first imaging data and the second imaging data included in the multiple exposure imaging data, a relative motion state of the moving body with respect to the object is detected.
  • a detection device wherein the imaging device images the object with a first sensitivity during a first exposure period within the first frame period to generate the first imaging data, and the first imaging data is generated.
  • the second imaging data is generated by imaging the object with a second sensitivity different from the first sensitivity during a second exposure period within the first frame period different from the period.
  • Exemplary embodiments of the present disclosure include a moving body control system capable of detecting a moving state of a moving body, for example, a speed or a traveling direction, a method for controlling the moving body, and a moving state of a vehicle, for example, a speed or a traveling direction.
  • the vehicle travel control system and the vehicle travel control method are provided.
  • FIG. 1 is a block diagram illustrating a block configuration example of a vehicle travel control system 1000 including the detection device 1.
  • FIG. 2 is a block diagram illustrating another block configuration example of the detection apparatus 1.
  • FIG. 3 is a schematic diagram illustrating a configuration example of the imaging apparatus 100.
  • FIG. 4A is a circuit diagram illustrating a configuration example of the unit pixel 101.
  • FIG. 4B is a circuit diagram illustrating another configuration example of the unit pixel 101.
  • FIG. 5 is a cross-sectional view of the unit pixel 101 along the normal direction of the semiconductor substrate 109D.
  • FIG. 6A is a timing diagram showing a typical operation timing of multiple exposure in a unit frame period.
  • FIG. 6B is a schematic diagram illustrating an example of multiple exposure imaging data.
  • FIG. 6A is a timing diagram showing a typical operation timing of multiple exposure in a unit frame period.
  • FIG. 7A is a timing diagram showing an example of applied operation timing of multiple exposure in a unit frame period.
  • FIG. 7B is a schematic diagram illustrating an example of multiple exposure imaging data according to an application example.
  • FIG. 7C is a timing chart showing another example of applied operation timing of multiple exposure in a unit frame period.
  • FIG. 7D is a schematic diagram illustrating another example of the multiple exposure imaging data according to the application example.
  • FIG. 8A is a timing diagram showing an example of applied operation timing of multiple exposure in a unit frame period.
  • FIG. 8B is a schematic diagram illustrating an example of multiple exposure imaging data according to an application example.
  • FIG. 8C is a timing chart showing another example of applied operation timing of multiple exposure in a unit frame period.
  • FIG. 8A is a timing diagram showing an example of applied operation timing of multiple exposure in a unit frame period.
  • FIG. 8B is a schematic diagram illustrating an example of multiple exposure imaging data according to an application example.
  • FIG. 8C is a timing chart
  • FIG. 8D is a schematic diagram illustrating another example of the multiple exposure imaging data according to the application example.
  • FIG. 9A is a sequence diagram illustrating a typical example of an imaging sequence.
  • FIG. 9B is a sequence diagram illustrating a typical example of an imaging sequence.
  • FIG. 9C is a sequence diagram illustrating a typical example of an imaging sequence.
  • FIG. 9D is a sequence diagram illustrating a typical example of an imaging sequence.
  • FIG. 10 is a flowchart illustrating an example of a processing flow for detecting the traveling direction.
  • FIG. 11A is a schematic diagram showing a state in which the host vehicle V on which the detection device 1 is mounted follows the vehicle W ahead.
  • FIG. 11B is a schematic diagram illustrating a measurement image of acquired multiple exposure imaging data.
  • FIG. 11A is a schematic diagram showing a state in which the host vehicle V on which the detection device 1 is mounted follows the vehicle W ahead.
  • FIG. 11B is a schematic diagram illustrating a measurement image of acquired multiple
  • FIG. 11C is a schematic diagram illustrating a measurement image of acquired multiple exposure imaging data.
  • FIG. 12A is a schematic diagram illustrating a situation in which the host vehicle V on which the detection device 1 is mounted follows the vehicle W ahead.
  • FIG. 12B is a schematic diagram illustrating a measurement image of acquired multiple exposure imaging data.
  • FIG. 12C is a schematic diagram illustrating a measurement image of the acquired multiple exposure imaging data.
  • FIG. 13A is a schematic diagram illustrating a state where the host vehicle on which the detection device 1 is mounted is traveling while imaging the road sign S.
  • FIG. 13B is a schematic diagram illustrating a measurement image of acquired multiple exposure imaging data.
  • FIG. 13C is a schematic diagram illustrating a measurement image of acquired multiple exposure imaging data.
  • FIG. 12A is a schematic diagram illustrating a state where the host vehicle on which the detection device 1 is mounted is traveling while imaging the road sign S.
  • FIG. 13B is a schematic diagram illustrating a measurement image of acquired multiple exposure imaging data.
  • FIG. 14 is a flowchart showing an example of a processing flow for detecting the traveling direction and relative speed of the vehicle and controlling braking and acceleration of the vehicle based on the detection result.
  • FIG. 15 is a flowchart illustrating an example of a processing flow in which the traveling direction, relative speed, and acceleration of the vehicle are detected, and braking and acceleration of the vehicle are controlled based on the detection results.
  • FIG. 16A is a functional block diagram illustrating functional blocks of a controller of a reference example.
  • FIG. 16B is a schematic diagram showing an image of the frame t-1.
  • FIG. 16C is a schematic diagram illustrating an image of the frame t.
  • FIG. 16D is a diagram schematically illustrating the moving direction of the specific object.
  • FIG. 16E is a flowchart illustrating the processing flow of the algorithm of the reference example for detecting the speed.
  • FIG. 17 is a functional block diagram showing functional blocks of a controller 500 that detects speed and acceleration using multiple exposure imaging data.
  • FIG. 18 is a flowchart showing a processing flow of an algorithm implemented in the controller 500 for detecting speed and acceleration.
  • FIG. 19A is a schematic diagram illustrating an example of an image indicated by multiple exposure imaging data.
  • FIG. 19B is a schematic diagram illustrating an example of a multiple exposure image including a series of vehicle images.
  • FIG. 19C is a schematic diagram illustrating a movement amount vector v (i, j) representing the sum of vectors v d (i, j) at a certain point of the vehicle.
  • FIG. 20 is a functional block diagram showing variations of functional blocks of the controller 500 that detects speed and acceleration using multiple exposure imaging data.
  • FIG. 21A is a schematic diagram showing a state where the drone D carrying the detection device 1 is flying.
  • FIG. 21B is a schematic diagram illustrating an example of an image indicated by the acquired multiple exposure imaging data.
  • FIG. 21C is a schematic diagram illustrating an example of an image indicated by the acquired multiple exposure imaging data.
  • FIG. 22A is a schematic diagram illustrating a situation where the host vehicle on which the detection device 2 is mounted is traveling while imaging the road sign S.
  • FIG. 22B is a schematic diagram illustrating an example of an image indicated by the acquired multiple exposure imaging data.
  • FIG. 22C is a schematic diagram illustrating an example of an image indicated by the acquired multiple exposure imaging data.
  • FIG. 21A is a schematic diagram illustrating a situation where the host vehicle on which the detection device 2 is mounted is traveling while imaging the road sign S.
  • FIG. 22B is a schematic diagram illustrating an example
  • FIG. 22D is a schematic diagram illustrating an example of an image indicated by the acquired multiple exposure imaging data.
  • FIG. 23A is a schematic diagram illustrating a state in which the host vehicle on which the detection device 2 is mounted is traveling while imaging a white line on a road.
  • FIG. 23B is a schematic diagram illustrating an example of an image indicated by the acquired multiple exposure imaging data.
  • FIG. 24A is a schematic diagram illustrating a state where the host vehicle on which the detection device 2 is mounted is traveling while imaging the measurement dedicated marker attached to the utility pole.
  • FIG. 24B is a schematic diagram illustrating an example of an image indicated by the acquired multiple exposure imaging data.
  • FIG. 25 is a flowchart showing an example of a processing flow for detecting the absolute speed based on the multiple exposure imaging data and controlling braking and acceleration of the vehicle based on the absolute speed.
  • FIG. 26A is a schematic diagram illustrating an example of an image indicated by multiple exposure imaging data acquired by a vehicle traveling closer to the road sign S in FIG. 24A.
  • FIG. 26B is a schematic diagram illustrating an example of an image indicated by the multiple exposure imaging data acquired by a vehicle traveling on a side farther from the road sign S in FIG. 24A.
  • FIG. 27 is a flowchart showing an example of a processing flow for detecting the absolute speed and acceleration based on the multiple exposure imaging data and controlling braking and acceleration of the vehicle based on the absolute speed and acceleration.
  • FIG. 26A is a schematic diagram illustrating an example of an image indicated by multiple exposure imaging data acquired by a vehicle traveling closer to the road sign S in FIG. 24A.
  • FIG. 26B is a schematic diagram illustrating an example of an image indicated by the multiple exposure
  • FIG. 28 is a flowchart illustrating an example of a processing flow for controlling braking and acceleration of the vehicle by further using the vehicle speed measured by the ECU 800.
  • FIG. 29 is a flowchart illustrating an example of a processing flow in which the speed is detected based on the multiple exposure imaging data, and the traveling direction is further detected to control braking and acceleration.
  • FIG. 30A is a schematic diagram illustrating an example of an image indicated by multiple exposure imaging data acquired by normal multiple exposure.
  • FIG. 30B is a schematic diagram illustrating an example of an image indicated by multiple exposure imaging data acquired by normal multiple exposure.
  • FIG. 30C is a schematic diagram illustrating an example of an image indicated by multiple exposure imaging data acquired by normal multiple exposure when the distance between the vehicle traveling ahead and the host vehicle is small.
  • FIG. 30D is a schematic diagram illustrating an example of an image indicated by multiple exposure imaging data acquired by normal multiple exposure when the distance between the vehicle traveling ahead and the host vehicle is large.
  • FIG. 31 is a flowchart showing an example of a processing flow for detecting the relative speed and acceleration based on the multiple exposure imaging data, and further detecting the traveling direction to control the braking / acceleration.
  • FIG. 32 is a flowchart illustrating an example of a processing flow for performing braking / acceleration control using the vehicle speed measured by the ECU 800.
  • FIG. 33A is a schematic diagram illustrating a state when a vehicle enters a curved road.
  • FIG. 33B is a schematic diagram illustrating an example of an image indicated by the multiple exposure imaging data acquired by imaging the outside of the curved road when the vehicle enters the curved road.
  • FIG. 33C is a schematic diagram illustrating an example of an image indicated by the multiple exposure imaging data acquired by imaging the inside of the curved road.
  • the speed of a vehicle is generally measured based on a pulse signal proportional to the rotation speed of a wheel.
  • the measurement error or uncertainty was not constant due to the wear of the wheel tires and the measurement environment. For example, tires may slip when turning right or left on a frozen road, or wheels may be locked during braking. In such a state, it is difficult to accurately measure the vehicle speed based on the pulse signal.
  • ADAS advanced driving assistance systems
  • autonomous driving vehicles for which further progress is desired, it is required to correctly acquire information necessary for traveling control and perform the control instantaneously.
  • An imaging apparatus that is installed on a moving body and that images a target object a plurality of times in a first frame period to generate multiple exposure imaging data including first imaging data and second imaging data;
  • a detection device that detects a relative motion state of the moving body with respect to the object based on the first imaging data and the second imaging data included in the multiple exposure imaging data;
  • the imaging apparatus captures the object with a first sensitivity during a first exposure period within the first frame period to generate the first imaging data, and the first imaging is different from the first period.
  • Imaging the object with a second sensitivity different from the first sensitivity during a second exposure period within the frame period of the frame to generate the second imaging data, Operation control system.
  • [Item 2] Comprising a first control device; The operation control system according to item 1, wherein the first control device generates a signal for changing the motion state of the mobile body based on the detected relative motion state of the mobile body.
  • a second control device The operation control system according to item 2, wherein the second control device changes a motion state of the moving body based on the signal.
  • a second control device 5.
  • the object is stationary relative to the ground;
  • the detection device detects a distance between the moving object and the object based on the first imaging data, and based on the position information of the object and the detected distance, the position of the moving object 2.
  • the operation control system according to item 1, which generates information.
  • the first imaging data is generated by the first imaging within the first frame period, The operation control system according to any one of items 1 to 8, wherein the second imaging data is generated by the last imaging within the first frame period.
  • Item 10 Item 1 wherein at least other imaging data excluding at least the second imaging data among a plurality of imaging data included in the multiple exposure imaging data is generated by imaging the object with the first sensitivity.
  • the operation control system according to any one of 1 to 9.
  • Item 11 Item 1 wherein at least other imaging data excluding the first imaging data among a plurality of imaging data included in the multiple exposure imaging data is generated by imaging the object with the second sensitivity.
  • the operation control system according to any one of 1 to 9.
  • the detection device has a first mode for detecting a traveling direction of the moving body with respect to the object based on the first imaging data and the second imaging data, and the object as a reference.
  • the operation control system according to any one of items 1 to 14, wherein a first mode for detecting a relative speed of the moving body is switched every predetermined period.
  • the detection device is configured to determine a relative motion state of the moving body with respect to the object based on a feature point of each image of the object indicated by the first imaging data and the second imaging data. 18.
  • the operation control system according to any one of items 1 to 17, which is detected.
  • the first imaging data is generated by imaging the object with the first sensitivity during the first exposure period within the first frame period. What is the first period?
  • the first imaging data is generated.
  • First imaging data is generated by imaging an object fixed to another moving body with a first sensitivity during a first exposure period within a first frame period using an imaging device installed on the moving body. Then, in the second exposure period within the first frame period different from the first period, the object is imaged with a second sensitivity different from the first sensitivity to generate second imaging data.
  • a relative motion state of the moving body with respect to the object is detected, Based on the detected relative motion state of the mobile body, a signal for changing the motion state of the mobile body or the object is generated, Changing the motion state of the other moving body based on the generated signal; Operation control method.
  • multiple exposure imaging data obtained by imaging a plurality of times in one frame period is used in order to grasp a motion state or a peripheral state of a moving object, for example, a vehicle or a flying object. Therefore, compared with the case where one imaging data is acquired for each frame period and the motion state is detected using the obtained plurality of imaging data, for example, the amount of calculation performed to determine the speed and traveling direction of the vehicle is reduced. It can be greatly reduced.
  • the detection interval is limited by the reading speed of the image sensor.
  • the multiple exposure imaging data includes a plurality of imaging data superimposed. Therefore, in the present disclosure, the detection interval of the object is defined by the exposure interval of multiple exposure. Therefore, according to the present disclosure, the measurement speed can be significantly improved, and the measurement accuracy can be improved. Further, according to the present disclosure, since the detection interval is small, the amount of movement of the object during that time is also small, and the motion state of the object can be detected more finely. Therefore, when predicting the motion state of an object from the detection result, an improvement in the prediction probability can be expected. Further, since the motion state is detected using one multiple exposure imaging data, the calculation area necessary for detection on the image Can be narrowed down and the amount of calculation can be reduced.
  • This disclosure relates to a technique for mainly detecting the relative traveling direction of a moving body, the speed or acceleration of the moving body.
  • the relative traveling direction of the moving body means, for example, the relative traveling direction of the moving body based on another moving body or the traveling direction of the moving body based on a stationary body.
  • the relative speed and acceleration of the moving body means the relative speed and acceleration of the moving body with respect to another moving body.
  • the present disclosure further relates to a technique for mainly detecting the absolute traveling direction of the moving body, the speed and acceleration of the moving body.
  • the absolute traveling direction of the moving body means, for example, the absolute traveling direction of the moving body itself.
  • the absolute speed and acceleration of the moving body mean the absolute speed and acceleration of the moving body itself.
  • the state of motion of the moving body including the traveling direction, speed, and acceleration described above may be collectively referred to as the motion state of the moving body.
  • a moving body refers to any moving object.
  • mobile objects include people, vehicles, industrial control equipment, autonomous robots, and flying objects.
  • Vehicles are, for example, automobiles, motorcycles, and trains.
  • Aircraft are, for example, airships and multicopters.
  • the multicopter is, for example, a drone, regardless of whether it is manned or unmanned.
  • FIG. 1 shows a block configuration example of a vehicle travel control system 1000 including a detection device 1.
  • the detection device 1 is a device mounted on a vehicle, and mainly detects the relative traveling direction of the vehicle.
  • the vehicle is, for example, an automobile.
  • the detection device 1 can be disposed, for example, at least one of the front and rear of the vehicle. Thereby, it becomes possible to image the object over a wide range of at least one of the front and rear of the vehicle.
  • the detecting device 1 can be connected to the distance measuring unit 600, the traveling direction measuring unit 700, and the electronic control unit 800 through a bus so as to be communicable.
  • the electronic control unit is referred to as “ECU”.
  • Communication between the components is performed by wire or wireless.
  • CAN Controller Area Network
  • the vehicle travel control system 1000 with the ECU 800 as a core is constructed.
  • the vehicle travel control system 1000 is suitably mounted on, for example, an automobile.
  • the vehicle travel control system 1000 can be constructed by a plurality of vehicles including the host vehicle and surrounding vehicles that travel around the vehicle.
  • distance measuring unit 600 and traveling direction measuring unit 700 are not essential, as will be described later.
  • the detection device 1 includes an imaging device 100, an optical system 200, an image signal processor 300, an image transmission interface 400, and a control device 500.
  • the control device is referred to as a controller
  • the image signal processor is referred to as “ISP”.
  • the imaging apparatus 100 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) type image sensor.
  • the imaging device 100 can acquire multiple exposure imaging data of a subject. Details of the imaging apparatus 100 will be described later.
  • the imaging device 100 is typically mounted on the host vehicle.
  • the optical system 200 has a known lens group including a focus lens and a zoom lens.
  • the focus lens moves in the optical axis direction. Accordingly, it is possible to adjust the focus position of the subject image in the imaging apparatus 100.
  • the ISP 300 is a processor for performing image processing on imaging data output from the imaging apparatus 100.
  • the ISP 300 first receives output data from the imaging apparatus 100.
  • Output data from the imaging apparatus 100 is, for example, uncompressed / unprocessed RAW data.
  • the ISP 300 can perform, for example, gamma correction, color interpolation processing, spatial interpolation processing, and auto white balance processing on the output data from the imaging apparatus 100.
  • the image transmission interface 400 is an interface (IF) for outputting multiple exposure imaging data and the like to the outside.
  • the outside of the image transmission interface 400 is, for example, the ECU 800.
  • the image transmission interface 400 can communicate with the ECU 800 via the CAN.
  • the multiple exposure imaging data or the like may be output as RAW data, or may be output in accordance with a prescribed format after image compression or predetermined image processing.
  • the controller 500 is a control circuit that controls the entire detection apparatus 1 and functions as an arithmetic processing unit.
  • the controller 500 can process the multiple exposure imaging data from the ISP 300. For example, the controller 500 can detect the relative traveling direction and relative speed of the vehicle based on the multiple exposure imaging data.
  • the controller 500 can be mounted on the host vehicle or a peripheral vehicle that travels around the host vehicle.
  • the controller 500 includes, for example, an output interface 510 having a voltage control circuit 511, an input interface 520, a program memory 530, a working memory 540, and a microcontroller 550.
  • the input interface 520 is an interface that receives multiple exposure imaging data output from the ISP 300.
  • the microcontroller 550 temporarily develops a program stored in advance in the program memory in the working memory, and performs various operations according to the instruction group.
  • the program memory is, for example, a ROM
  • the working memory is, for example, a RAM.
  • the program stored in the program memory has a command group for controlling the imaging apparatus 100, for example.
  • the output interface 510 is an interface for outputting a control signal to the imaging apparatus 100.
  • the output interface 510 includes a voltage control circuit 511.
  • the voltage control circuit 511 generates a desired voltage to be applied to the photoelectric conversion layer in the pixel of the imaging device 100.
  • the voltage control circuit 511 supplies the voltage to the transparent electrode 109A, which will be described later with reference to FIG.
  • the voltage control circuit 511 can control the global shutter of the imaging apparatus 100.
  • the present disclosure may employ any other configuration that can realize the global shutter of the imaging apparatus 100.
  • controller 500 is not an essential part of the present disclosure, and a detailed description thereof will be omitted.
  • FIG. 2 shows another block configuration example of the detection apparatus 1.
  • the ISP 300 is a separate chip from the imaging device 100 and is externally attached to the imaging device 100.
  • the imaging device 100 and the ISP 300 are mounted on the same chip. According to this configuration example, imaging data can be processed at higher speed, and the cost of hardware can be reduced.
  • FIG. 3 shows a configuration example of the imaging apparatus 100.
  • the imaging apparatus 100 includes a pixel array composed of a plurality of unit pixels 101 arranged two-dimensionally.
  • a pixel array composed of a plurality of unit pixels 101 arranged two-dimensionally.
  • millions of unit pixels 101 can be two-dimensionally arranged, but FIG. 3 shows the state by focusing on the unit pixels 101 arranged in a 2 ⁇ 2 matrix. .
  • the imaging apparatus 100 includes a plurality of unit pixels 101, a row scanning circuit 102, a column scanning circuit 103, a current source 104 provided for each column, and an AD (analog / digital) conversion circuit 105.
  • a horizontal signal line 107 is provided for each row, and a vertical signal line 108 is provided for each column.
  • Each unit pixel 101 is electrically connected to the row scanning circuit 102 via the horizontal signal line 107 and electrically connected to the column scanning circuit 103 via the vertical signal line 108.
  • a common power line 106 is connected to all the unit pixels 101.
  • a common voltage is supplied to all the unit pixels 101 via the common power line 106.
  • a pixel signal based on the optical signal photoelectrically converted in the unit pixel 101 is an analog signal and is converted into a digital signal by the AD conversion circuit 105.
  • the signal converted into a digital signal is output from the column scanning circuit 103 as an output signal.
  • the AD conversion circuit 105 is not necessarily provided for each column, and the pixel signal may be output as an analog signal. Pixel signals from the plurality of unit pixels 101 can be added or subtracted, and the calculated value can be output from the column scanning circuit 103. Alternatively, the pixel signals from the plurality of unit pixels 101 can be output from the column scanning circuit 103 as they are.
  • FIG. 4A shows a configuration example of the unit pixel 101.
  • FIG. 5 schematically shows a cross section of the unit pixel 101 along the normal direction of the semiconductor substrate 109D.
  • the unit pixel 101 shown in FIG. 4A includes a photoelectric conversion unit 109, a floating diffusion, an amplification transistor M1, a selection transistor M2, and a reset transistor M3.
  • the floating diffusion is referred to as “FD”.
  • the photoelectric conversion unit 109 photoelectrically converts incident light.
  • the FD accumulates electric charges.
  • the amplification transistor M1 amplifies the charge accumulated in the FD.
  • the selection transistor M2 selects whether or not to output the amplified signal to the vertical signal line 108.
  • the reset transistor M3 resets the FD to a desired reset potential Vrst.
  • a circuit including the amplification transistor M1, the selection transistor M2, the reset transistor M3, and the like is referred to as a “signal processing circuit”.
  • the signal processing circuit is electrically connected to the photoelectric conversion unit 109 and detects an electric signal.
  • the photoelectric conversion unit 109 of the unit pixel 101 includes a transparent electrode 109A, a pixel electrode 109B, and a photoelectric conversion film 109C disposed between the transparent electrode 109A and the pixel electrode 109B.
  • the pixel electrode 109B is electrically connected to the signal processing circuit.
  • the FD is provided in the semiconductor substrate 109D and is electrically connected to the pixel electrode 109B via the contact plug 109E.
  • Light enters the photoelectric conversion film 109C from the transparent electrode 109A side of the photoelectric conversion film 109C.
  • a bias voltage is applied between the transparent electrode 109A and the pixel electrode 109B, an electric field is generated.
  • One of positive and negative charges generated by photoelectric conversion is collected by the pixel electrode 109B and accumulated in the FD.
  • the potential difference between the transparent electrode 109A and the pixel electrode 109B is controlled via the power supply line 106 described above. For example, by changing the potential difference between the transparent electrode 109A and the pixel electrode 109B from a large state to a small state, the amount of charge that is photoelectrically converted by the photoelectric conversion film 109C can be reduced. Alternatively, by adjusting the potential difference, the amount of charge photoelectrically converted by the photoelectric conversion film 109C can be reduced to zero.
  • generation and accumulation of charges in the unit pixel 101 can be controlled only by controlling the magnitude of the bias voltage applied to the photoelectric conversion film 109C. That is, it is not necessary to add elements such as a charge transfer transistor and a capacitor for accumulating the transferred charge to each unit pixel as in the prior art.
  • the bias voltage is controlled by the voltage control circuit 511 of the controller 500, for example.
  • By simultaneously controlling the bias voltage in two or more of the plurality of unit pixels 101 it is possible to simultaneously release the shutter between the two or more unit pixels. That is, a global shutter is realized between these unit pixels.
  • a global shutter may be realized between all the unit pixels 101.
  • a global shutter may be realized between unit pixels 101 in a specific imaging area or between specific unit pixels 101. Further, the shutter may be cut in several stages.
  • the present disclosure has an advantage in that the amount of data can be reduced and the load of data processing in the subsequent circuit can be reduced.
  • the imaging apparatus 100 when the imaging apparatus 100 generates multiple exposure imaging data, different bias voltages may be applied between the electrodes at each of a plurality of timings within one frame period. Thereby, multiple exposure imaging data including a plurality of imaging data having different sensitivities can be acquired. In this specification, such multiple exposure may be referred to as “multiple exposure by sensitivity modulation”.
  • the present disclosure has an advantage in that the sensitivity can be modulated by controlling the magnitude of the bias voltage. Note that the detailed description of the multiple exposure by sensitivity modulation described above is described in, for example, Japanese Patent Application Laid-Open No. 2007-104113 by the applicant of the present application, and is omitted in this specification. All of these disclosures are incorporated herein by reference.
  • FIG. 4B shows another configuration example of the unit pixel 101.
  • the unit pixel 101 in FIG. 4B includes a photodiode (hereinafter referred to as PD) as a photoelectric conversion unit.
  • the unit pixel 101 of this configuration example typically further includes a charge transfer transistor M4 for transferring charges generated in the PD to the FD.
  • an image sensor including unit pixels having a PD may be used as the imaging device 100.
  • FIG. 4B shows a configuration in which the charge transfer transistor M4 is provided, a configuration in which the charge transfer transistor M4 is not provided may be employed.
  • the data processed by the ISP 300 or the imaging device 100 ′ is read as multiple exposure imaging data and output to the image transmission interface 400 and the controller 500.
  • the imaging apparatus 100 may naturally generate imaging data by single exposure.
  • the distance measuring unit 600 can measure the distance between the host vehicle and the object.
  • the distance measuring unit 600 can be realized by a device such as a TOF (Time of Flight) sensor, a laser radar, and a sonar.
  • TOF Time of Flight
  • the traveling direction measuring unit 700 can measure the traveling direction of the host vehicle relative to the object.
  • the relative traveling direction of the host vehicle with respect to the target is, for example, the positional relationship of the host vehicle with respect to the target and the direction of the change.
  • the traveling direction measurement unit 700 can be realized by a device such as TOF, laser radar, and sonar.
  • the target object may be a moving body or a stationary body.
  • the distance measuring unit 600 and the traveling direction measuring unit 700 are not essential.
  • information such as distance and relative traveling direction can be acquired by analyzing the multiple exposure imaging data.
  • the number of hardware of the vehicle travel control system 1000 can be reduced.
  • the vehicle travel control system 1000 can be simplified and optimized.
  • the distance detection by the apparatus and data analysis may be used properly.
  • the ECU 800 is a unit that forms the core of the in-vehicle network and controls various vehicles such as engine control and braking, steering, and acceleration. For example, the ECU 800 can control braking and acceleration of the vehicle based on the output from the detection device 1. Further, the ECU 800 can perform various calculations of the detection device 1.
  • FIG. 6A shows a typical operation timing of multiple exposure in a unit frame period.
  • FIG. 6B shows an example of an image indicated by the multiple exposure imaging data.
  • VD indicates a start pulse of a unit frame period. A period between two start pulses corresponds to a unit frame period.
  • the control signal V2 indicates a bias voltage applied to the photoelectric conversion film 109C of the unit pixel 101.
  • a plurality of imaging data acquired by multiple exposure in one frame period is acquired according to the level of the control signal V2 generated by the voltage control circuit 511.
  • the period when the control signal V2 is Hi is an exposure period
  • the period when the control signal V2 is Low is a non-exposure period.
  • the exposure period charges generated by photoelectric conversion in the photoelectric conversion film 109C move to the pixel electrode 109B.
  • the non-exposure period charges generated by photoelectric conversion in the photoelectric conversion film 109C are recombined and disappear.
  • the imaging apparatus 100 can change the exposure period, the number of exposures, and the sensitivity.
  • the voltage control circuit 511 can control the exposure by changing the pulse width and the pulse amplitude of the control signal V2 in the unit frame period.
  • FIG. 6A shows an example in which the exposure is performed four times or more in a unit frame period without changing the sensitivity.
  • the number of exposures in the unit frame period may be two or more.
  • the imaging apparatus 100 generates multiple exposure imaging data including a plurality of imaging data (first, second,..., Nth imaging data, n is an integer of 2 or more) acquired by each exposure. Therefore, the multiple exposure imaging data includes at least first and second imaging data.
  • the first imaging data is acquired during the first exposure period
  • the second imaging data is acquired during the second exposure period.
  • the multiple exposure performed without changing the sensitivity of the pixels during each exposure period may be referred to as “normal multiple exposure”.
  • the subject is imaged by the same plurality of unit pixels 101 in the pixel array shown in FIG. 3 in each exposure period, for example.
  • the subject is imaged by a plurality of unit pixels 101 that are different in each exposure period.
  • captured by a plurality of different unit pixels 101 in each exposure period means, for example, a plurality of unit pixels 101 that have captured a subject in the first exposure period and a subject in the second exposure period. This means that some or all of the unit pixels 101 do not match.
  • imaging data acquired by four or more exposures is included in one multiple exposure imaging data as four or more images that are independent or partially overlapped.
  • FIG. 6B shows an example of an image represented by the multiple exposure imaging data obtained by imaging the license plate of the vehicle traveling in front of the host vehicle four times at different timings in the unit frame period.
  • FIG. 7A shows an example of applied operation timing of multiple exposure in a unit frame period.
  • FIG. 7B shows an example of an image indicated by the multiple exposure imaging data according to the application example.
  • FIG. 7C shows another example of applied operation timing of multiple exposure in a unit frame period.
  • FIG. 7D shows another example of the image indicated by the multiple exposure imaging data according to the application example.
  • multiple exposure by sensitivity modulation is performed by changing the level of the control signal V2 between each exposure. Therefore, sensitivity and exposure amount differ between the two exposure periods.
  • the level of the control signal V2 is changed by changing the amplitude of the pulse, for example.
  • FIG. 7A shows an example in which multiple exposure is performed four or more times with different sensitivities in the unit frame period.
  • the control signal V2 is set to a voltage having a different level for each exposure.
  • the level of the control signal V2 may be monotonically increasing as shown in FIG. 7A.
  • the level of the control signal V2 may be monotonically decreasing as shown in FIG. 7C.
  • the change in the level of the control signal V2 is a monotonous increase as shown in FIG.
  • the brightness of the first imaging data acquired during the first exposure period is the lowest, and during the fourth exposure period.
  • the brightness of the acquired fourth imaging data is the highest.
  • the imaging device 100 generates multiple exposure imaging data including a plurality of imaging data with different sensitivities acquired by each exposure.
  • the control signal V2 can be arbitrarily set and can take various patterns according to the detection purpose. For example, the level of the control signal V2 need not be monotonously increased or monotonically decreased, and may be increased or decreased in an arbitrary pattern.
  • 7B and 7D show an example of an image represented by multiple exposure imaging data obtained by imaging a license plate of a vehicle traveling in front of the host vehicle four times during a unit frame period.
  • the brightness is different among four images obtained by imaging a moving subject. Therefore, the movement of the subject can be confirmed in time series.
  • the brightness is an example of “a degree of common display attributes”.
  • the degree of the common display attribute can be, for example, the degree of saturation and hue in addition to the brightness.
  • FIG. 6B, FIG. 7B, and FIG. 7D show examples of images indicated by the multiple exposure imaging data obtained by imaging the same moving subject.
  • the imaging data shown in FIG. 6B is acquired.
  • the imaging data shown in FIG. 7B or FIG. 7D is acquired.
  • FIG. 7B shows that an image with higher brightness is a subject image acquired later in time series.
  • FIG. 7D shows that an image with lower brightness is a subject image acquired later in time series. This means that it is possible to detect the relative traveling direction and the relative speed of the host vehicle based on the multiple exposure imaging data, as will be described later.
  • the host vehicle is an example of a first moving body
  • the traveling vehicle ahead is an example of a second moving body.
  • the image of the license plate with higher brightness is displayed smaller.
  • the images acquired later in time series are smaller. Therefore, it can be detected that the host vehicle is moving backward or decelerating relative to the traveling vehicle ahead.
  • the license plate image with lower brightness is displayed smaller. In other words, the images acquired later in time series are smaller. Therefore, it can be detected that the host vehicle is moving backward or decelerating relative to the traveling vehicle ahead.
  • the sensitivity can be modulated by varying the exposure period between exposures. An example will be described below.
  • FIG. 8A shows an example of applied operation timing of multiple exposure in a unit frame period.
  • FIG. 8B shows an example of an image indicated by the multiple exposure imaging data according to the application example.
  • FIG. 8C shows another example of applied operation timing of multiple exposure in a unit frame period.
  • FIG. 8D shows another example of the image indicated by the multiple exposure imaging data according to the application example.
  • the length of exposure differs between the first exposure period and the fourth exposure period.
  • the exposure length is different between all the exposure periods, but it is sufficient that the lengths of at least two exposure periods are different.
  • Sensitivity is modulated by changing the exposure period, ie, the pulse width of the control signal V2, between each exposure.
  • FIG. 8B shows that an image with higher brightness is an image acquired later in time series.
  • FIG. 8D shows that an image with lower brightness is an image acquired later in the series.
  • the license plate image with higher brightness is displayed smaller.
  • the images acquired later in time series are smaller. Therefore, it can be detected that the host vehicle is moving backward or decelerating relative to the traveling vehicle ahead.
  • the license plate image with lower brightness is displayed smaller. In other words, the images acquired later in time series are smaller. Therefore, it can be detected that the host vehicle is moving backward or decelerating relative to the traveling vehicle ahead.
  • 9A to 9D show typical examples of the imaging sequence.
  • sensitivity modulation is applied only to the frame period for detecting the traveling direction, and the traveling direction is detected based on the multiple exposure imaging data acquired during that period. May be. Furthermore, normal multiple exposure imaging may be performed in the remaining frame period.
  • a frame for detecting the traveling direction is referred to as a “direction detection frame”.
  • sensitivity modulation may always be applied in each frame period of a certain imaging sequence, and the traveling direction may always be detected based on the multiple exposure imaging data acquired in each frame period.
  • a direction detection frame period is periodically set from a plurality of frame periods in a certain imaging sequence, sensitivity modulation is applied only to the frame period, and acquisition is performed during that period.
  • the traveling direction may be detected based on the obtained multiple exposure imaging data.
  • the imaging apparatus 100 may be operated while switching the configuration of several imaging sequences described above according to the control of the controller 500 depending on the driving conditions.
  • a frame period for detecting the running state is set, the speed is detected based on the multiple exposure imaging data acquired during the period, and the multiple exposure imaging in the remaining frame period is performed based on the speed.
  • the exposure interval may be controlled.
  • a frame for detecting the running state is referred to as a “running state detection frame”.
  • the running state detection frame may be set periodically during a plurality of frame periods in a certain imaging sequence. If the acquired data is too small with respect to the vehicle speed, it is difficult for the detection device 1 to accurately follow the speed change. Moreover, when there are too many acquired data, it will lead to the increase in calculation amount and the increase in the power consumption of a chip
  • the running state detection frame in the imaging sequence as described above and controlling the exposure interval of subsequent imaging based on the measurement result, the amount of data to be acquired can be kept within an appropriate range. The detection accuracy can be maintained.
  • the imaging apparatus 100 starts imaging at the same time as the engine of the host vehicle starts.
  • the imaging apparatus 100 images a specific object included in another vehicle.
  • the controller 500 can detect the relative traveling direction of the host vehicle with reference to the other vehicle based on the first imaging data and the second imaging data of the specific object imaged by sensitivity modulation.
  • the specific object is an object whose dimensions are determined by the standard.
  • the specific object is, for example, a license plate of another vehicle, or a lamp such as a headlight and a brake light of the other vehicle.
  • FIG. 10 shows an example of a processing flow for detecting the traveling direction.
  • the controller 500 executes each process to detect the relative traveling direction and / or relative speed of the host vehicle.
  • the subject of each process may be ECU 800.
  • ECU 800 may detect the relative traveling direction and / or relative speed of the host vehicle based on the output data from detection device 1.
  • the controller 500 can detect the characteristics of the specific object using, for example, a known object recognition algorithm.
  • the controller 500 starts booting a program for detecting the vehicle traveling direction.
  • the process proceeds to processing for detecting the relative traveling direction (start in FIG. 10 and step S100).
  • Controller 500 starts detection of a relative traveling direction (step S110). For example, the controller 500 sets a direction detection frame in the imaging sequence shown in FIG. 9A.
  • multiple exposure imaging data is acquired according to the normal multiple exposure described with reference to FIG. 6A.
  • the multiple exposure imaging data shown in FIG. 6B it is not possible to distinguish between any two imaging data which is the first acquired imaging data. This is due to the fact that the degree of display attribute common to the two imaging data is the same.
  • the common display attribute is brightness. That is, it is difficult to detect the relative traveling direction of the host vehicle with reference to the preceding vehicle based on the multiple exposure imaging data. More specifically, it is clearly determined whether the host vehicle is relatively accelerated and the distance to the preceding vehicle is reduced, or whether the host vehicle is relatively decelerated and the distance to the other vehicle is increased. I can't do it.
  • the imaging apparatus 100 changes the level of the control signal V2 between a plurality of exposures within a unit frame period, thereby changing the sensitivity per unit time to perform a plurality of imaging. I do.
  • the controller 500 receives the multiple exposure imaging data output from the imaging device 100.
  • the controller 500 can measure the difference in the degree of the common display attribute based on the multiple exposure imaging data, and can determine which of the two imaging data is the previously acquired imaging data.
  • the controller 500 can detect the relative traveling direction based on the brightness of the image of each license plate of the first and second imaging data (step S120).
  • the controller 500 determines whether or not to continue imaging and detection of the traveling direction (step S130). When the imaging and the traveling direction detection are continued, the controller 500 repeats the above-described flow. On the other hand, when the imaging and the traveling direction detection are finished, the controller 500 finishes the flow.
  • FIG. 11A and FIG. 12A schematically show that the host vehicle V on which the detection device 1 is mounted is following the vehicle W ahead.
  • 11B, FIG. 11C, FIG. 12B, and FIG. 12C schematically show an example of an image indicated by the acquired multiple exposure imaging data.
  • FIG. 11A shows an example in which the specific object is a license plate.
  • the imaging apparatus 100 images the license plate of the vehicle W according to the driving shown in FIG. 7A
  • the multiple exposure imaging data shown in FIG. 11B is acquired.
  • the image data acquired later increases the brightness of the image.
  • the license plate image gradually decreases in time series.
  • the controller 500 detects the relative traveling direction based on changes in the brightness and size of the license plate image. In this example, it can be seen that the relative traveling direction of the host vehicle V with respect to the vehicle W is backward. From this, it is further understood that the relative speed of the host vehicle V is decreasing.
  • FIG. 11C shows another example in which the specific object is a license plate.
  • the imaging apparatus 100 images the license plate according to the driving shown in FIG. 7C
  • the multiple exposure imaging data shown in FIG. 11C is acquired.
  • the brightness of the image decreases as the image data acquired later.
  • the image of the license plate gradually decreases in time series.
  • the relative traveling direction of the host vehicle V with respect to the vehicle W is backward. From this, it is further understood that the relative speed of the host vehicle V is decreasing.
  • FIG. 12A shows an example in which the specific object is a brake light.
  • the imaging apparatus 100 images the brake light of the vehicle W according to the driving illustrated in FIG. 7A
  • the multiple exposure imaging data illustrated in FIG. 12B is acquired.
  • the image data acquired later increases the brightness of the image.
  • the image of the brake light gradually decreases in time series. From this, it can be seen that the relative traveling direction of the host vehicle V with respect to the vehicle W is backward. Further, it can be further understood that the relative speed of the host vehicle V is decreasing.
  • FIG. 12C shows another example in which the specific object is a brake light.
  • the imaging apparatus 100 images the license plate according to the driving illustrated in FIG. 7C
  • the multiple exposure imaging data illustrated in FIG. 12C is acquired.
  • the brightness of the image decreases as the image data acquired later.
  • the image of the brake light gradually decreases in time series. From this, it can be seen that the relative traveling direction of the host vehicle V with respect to the vehicle W is backward. Further, it can be further understood that the relative speed of the host vehicle V is decreasing.
  • the relative traveling direction and the relative speed may be detected using the size of the interval between the left and right brake lights in the multiple exposure imaging data.
  • the controller 500 when the controller 500 detects the feature of the specific object, the controller 500 starts detecting the traveling direction, but the present disclosure is not limited to this.
  • the controller 500 may always detect the traveling direction while the vehicle engine is running.
  • the controller 500 may detect the traveling direction at certain intervals, or may start detecting the traveling direction from the entry into the expressway. Further, the controller 500 may detect the traveling direction based on a change in internal control information such as a gear change.
  • License plates and brake lamps are examples of specific objects.
  • the specific object may be any object whose dimensions are determined by the standard.
  • the specific object may be a dedicated marker used for measuring the speed of the vehicle, for example.
  • the imaging device 100 is preferably installed in front of or behind the vehicle when measuring the relative traveling direction and relative speed. Thereby, the error at the time of a measurement can be suppressed. Further, by installing the imaging device 100 having a wide imaging range, for example, on a side mirror or a headlight of a vehicle, the influence of the arrangement on the shape and design of the vehicle can be minimized.
  • a wide imaging range means, for example, a wide angle of view.
  • FIG. 13A schematically shows a state where the host vehicle equipped with the detection device 1 is traveling while imaging the road sign S.
  • FIG. 13B and FIG. 13C schematically show images indicated by the respective imaging data included in the acquired multiple exposure imaging data.
  • the detection apparatus 1 images a stationary body and detects the absolute traveling direction of the own vehicle.
  • the stationary body is, for example, a road sign S installed on the road.
  • the road sign S functions as a specific object.
  • the imaging apparatus 100 captures the road sign S in accordance with the driving illustrated in FIG. 7A, the multiple exposure imaging data illustrated in FIG. 13B or 13C is acquired. According to this driving, the image data acquired later increases the brightness of the image.
  • the brightness of the image of the road sign S at the right end of the image, that is, the rearmost side of the vehicle is the brightest, and the foremost image is the darkest. This means that the host vehicle is traveling in the forward direction.
  • the brightness of the image of the road sign S at the left end of the image, that is, the forefront of the vehicle is the brightest, and the rearmost image is the darkest. This means that the host vehicle is traveling backward.
  • the detection apparatus 1 can detect the absolute traveling direction of the host vehicle based on the multiple exposure imaging data of the road sign S.
  • the imaging device 100 be installed on the side of the vehicle.
  • FIG. 14 shows an example of a processing flow for detecting the relative or absolute traveling direction and speed of the vehicle and controlling braking and acceleration of the vehicle based on the detection result.
  • step S200 the controller 500 proceeds to processing for detecting the traveling direction and the speed.
  • Controller 500 starts detecting the traveling direction and speed (step S210).
  • the controller 500 acquires multiple exposure imaging data in, for example, a direction detection frame. Similarly to step S120 of the processing flow shown in FIG. 10, the controller 500 detects the traveling direction by measuring the display attribute levels of the first and second imaging data in the multiple exposure imaging data (step S120). S220).
  • the distance measuring unit 600 measures the distance d from the own vehicle to the specific object in response to a start instruction from the controller 500, for example.
  • the controller 500 receives the distance d from the distance measuring unit 600 (step 230).
  • the controller 500 includes an interval m between the specific object images indicated by the first and second imaging data included in the multiple exposure imaging data, a distance d from the host vehicle to the other vehicle, a first exposure period, and a second exposure.
  • the speed is detected using the exposure interval t between the periods (step S240).
  • the specific object is, for example, a license plate.
  • the distance d from the host vehicle to the other vehicle is precisely the distance from the distance measuring unit 600 to the license plate of the other vehicle.
  • the speed is the speed of the host vehicle based on a vehicle traveling around.
  • the interval between the specific object images indicated by the first and second image data included in the multiple exposure image data can be represented by, for example, the interval between the feature points of each specific object image.
  • the feature point is, for example, an edge of the specific object.
  • the controller 500 can detect the edge of the specific object using, for example, a known edge detection method.
  • the controller 500 calculates the interval l between the edges of the specific object between the imaging data.
  • the exposure interval t between the first exposure period and the second exposure period is shown in FIG. 7A, for example.
  • the exposure interval t in FIG. 7A corresponds to a period from the end of the first exposure period to the end of the second exposure period. In other words, this corresponds to the timing interval at which the control signal V2 changes from High to Low.
  • step S220 information indicating the traveling direction of the host vehicle is obtained. Therefore, the detection apparatus 1 can obtain information including the magnitude of the speed of the host vehicle and its direction. That is, the detection apparatus 1 can obtain an accurate speed vector of the host vehicle.
  • the detection device 1 transmits information indicating the traveling direction and speed to the ECU 800 via the image transmission IF.
  • the ECU 800 controls braking and acceleration of the vehicle based on the information indicating the traveling direction and speed received from detection device 1 (step S250). For example, assuming driving assistance corresponding to levels 0 and 1 of automatic driving, the ECU 800, for example, when the distance (distance d) from the surrounding vehicle is less than a predetermined threshold or the speed exceeds a predetermined threshold. Control the braking. Specifically, for example, when it is detected that the distance to the other vehicle traveling ahead is smaller than a predetermined value, the brake of the own vehicle is operated so as to increase the distance to the other vehicle. Alternatively, it may be controlled to operate an accelerator of another vehicle.
  • the accelerator of the own vehicle may be operated so as to reduce the distance to the other vehicle.
  • it may be controlled to operate a brake of another vehicle.
  • the level of automatic driving means the standard of automation from level 0 to level 4 determined by the Japanese government.
  • the ECU 800 when assuming automatic driving or fully automatic driving corresponding to levels 2 to 4 of the automatic driving, the ECU 800, for example, the distance d between the own vehicle and the surrounding vehicle, information of the captured road sign, road traffic information and map information, for example. Based on the control, braking is controlled.
  • the map information is GPS information, for example.
  • the travel of the host vehicle or another vehicle can be controlled based on the detection result of the traveling direction and speed.
  • the detection result acquired in the own vehicle can be used for traveling control of the own vehicle.
  • the detection result acquired in the own vehicle can be used for traveling control of other vehicles.
  • ECU 800 may generate a signal for controlling braking and acceleration of the vehicle based on the information indicating the traveling direction and speed received from detection device 1 and output the signal to the outside.
  • the automatic driving control device of the own vehicle or the other vehicle may receive this signal and control the driving of the own vehicle or the other vehicle.
  • Controller 500 determines whether or not to continue imaging (step S260). For example, the controller 500 determines to continue imaging when the engine is running, and determines to stop imaging when the engine is stopped. If the controller 500 determines to continue imaging, the process returns to step 200 again.
  • a vehicle travel control system 1000 including the detection device 1 and the ECU 800 a vehicle travel control system corresponding to travel assistance, automatic operation, and fully automatic operation and a vehicle equipped with the vehicle travel control system are provided.
  • step S230 the example in which the distance measurement unit 600 measures the distance d from the host vehicle to the target object has been described, but the present disclosure is not limited thereto.
  • the controller 500 can also calculate the distance d by analyzing the multiple exposure imaging data.
  • the controller 500 can calculate the distance d from the own vehicle to the other vehicle based on the comparison result between the actual size of the specific object and the size of the specific object in the multiple exposure imaging data.
  • the actual size of the specific object is determined in advance by the standard.
  • the size s of the specific object in the multiple exposure imaging data at the distance d is determined based on the standard and various parameters related to the imaging apparatus 100 and the optical system 200.
  • the correspondence relationship between the distance d and the size s of the specific object can be stored in advance in the program memory 530, for example.
  • the controller 500 can calculate the distance d from the own vehicle to the other vehicle based on this correspondence. According to this configuration, the distance measuring unit 600 is not necessary, so that the vehicle travel control system 1000 can be simplified and the system cost can be reduced.
  • FIG. 15 shows an example of a processing flow for detecting the traveling direction, speed and acceleration of the vehicle and controlling braking and acceleration of the vehicle based on the detection result.
  • the processing flow shown in FIG. 15 is different from the processing flow shown in FIG. 14 in that it includes processing for detecting acceleration. Hereinafter, the difference will be mainly described.
  • the controller 500 detects the traveling direction by measuring the display attribute level of the image of the object indicated by the first and second imaging data, similarly to step S120 of the processing flow shown in FIG. Furthermore, the controller 500 detects the traveling direction by measuring the display attribute level of the image of the object indicated by the second and third imaging data (step S320).
  • the first to third imaging data are imaging data groups that are continuous in time series.
  • the first and second imaging data are typically a set of two adjacent imaging data whose exposure periods are adjacent, and the second and third imaging data are typically adjacent whose exposure periods are adjacent. It is a set of two imaging data.
  • the two imaging data may not be a set of two imaging data continuous in time series.
  • the first and second imaging data sets and the second and fourth imaging data sets may be selected from the first to fourth consecutive imaging data.
  • the controller 500 obtains a speed 1 including size and orientation information based on the first and second sets of imaging data.
  • the speed is represented by a speed vector.
  • the controller 500 further obtains the speed 2 based on the second and third sets of imaging data.
  • the controller 500 calculates the acceleration by measuring the amount of change per unit time of the speed 1 and the speed 2 (step 340).
  • the detection device 1 transmits information indicating the traveling direction, speeds 1 and 2 and acceleration to the ECU 800 via the image transmission IF.
  • the ECU 800 can control braking and acceleration of the vehicle based on at least one of the information indicating the traveling direction, the speeds 1 and 2 and the acceleration received from the detection device 1.
  • braking and acceleration of the vehicle can be controlled using the measured speed and acceleration. Therefore, the traveling state of the host vehicle can be continuously grasped, and as a result, safer control is possible.
  • FIGS. 16A to 20 A more detailed algorithm for detecting vehicle speed and acceleration will be described with reference to FIGS. 16A to 20. Before describing the algorithm of the present disclosure, the algorithm of the reference example will be described.
  • FIG. 16A shows functional blocks of the controller in the reference example.
  • FIG. 16B schematically shows an image of the frame t-1.
  • FIG. 16C schematically shows an image of a frame t subsequent to the frame t-1.
  • FIG. 16D schematically shows the movement of the specific object obtained from the imaging data of the frame t ⁇ 1 and the frame t.
  • the controller of the reference example includes at least two frame memories 51A and 51B, a motion vector detection unit 52, an object detection unit 53, and a speed detection unit 54.
  • the algorithm for detecting the speed is realized by a combination of a microcontroller and software, for example.
  • Each block in the functional blocks illustrated in FIG. 16A is illustrated in units of functional blocks, not in units of hardware.
  • Imaging data corresponding to each of the frame t ⁇ 1 and the frame t is output from the imaging device 50.
  • the imaging data corresponding to the frame t-1 is temporarily held in the frame memory 51A.
  • the imaging data corresponding to the frame t is temporarily held in 51B.
  • the motion vector detection unit 52 reads the imaging data corresponding to the frame t from the frame memory 51A, and reads the imaging data corresponding to the frame t-1 from the frame memory 51B. In addition, the motion vector detection unit 52 compares the values of the respective imaging data for each pixel, and specifies a pixel group having a difference in the values of the respective imaging data. Furthermore, the motion vector detection unit 52 generates a motion vector signal indicating the motion of the specific object based on the specified pixel group.
  • the moving direction and the moving amount of the specific object on the image are detected by comparing two pieces of imaging data.
  • the object detection unit 53 reads the imaging data corresponding to the frame t from the frame memory 51A, and detects the characteristic part of the specific target object using a known object recognition algorithm.
  • the specific object is an object used for image analysis for speed detection. As already described, the specific object refers to road mark information such as a white line or a sign or a license plate of another vehicle, for example. In this specification, a stationary specific object may be referred to as a fixed object, and a moving specific object may be referred to as a moving object.
  • the object detection unit 53 detects a characteristic portion of the specific target object using a general detection method such as shape detection or edge detection.
  • the speed detection unit 54 calculates at least one of the own vehicle speed, the other vehicle speed, and the relative speed based on the motion vector signal output from the motion vector detection unit 52 and the detection result output from the object detection unit 53. .
  • the speed detection unit 54 detects the movement amount as the speed. For example, the speed detection unit 54 first calculates the speed of the host vehicle based on the size of the road mark information in the image and the amount of movement thereof. Next, the speed detection unit 54 calculates the relative speed of the own vehicle or the relative speed of the other vehicle based on the speed of the own vehicle, the size of the license plate of the other vehicle, and the amount of movement thereof.
  • FIG. 16E illustrates the processing flow of the algorithm of the reference example for detecting the speed.
  • the motion vector detection unit 52 uses the imaging data of the frame t and the imaging data of the frame t ⁇ 1 to use the motion vector v in all the pixels P (i, j) in the preset region R of the imaging data of the frame t. (I, j) is calculated (steps S1010 and 1011).
  • the object detection unit 53 determines whether or not the specified specific object exists in the imaging data region R of the frame t (steps S1012, 1013). If a fixed object is present in the detected specific object (Yes in step 1014), the speed detection unit 54 determines the vehicle's own vehicle based on the size of the fixed object on the image and the motion vector v (i, j).
  • step S1015 After the speed V 1 of the own vehicle is calculated, when a moving object is present in the detected specific object (Yes in Step 1016), the speed detection unit 54 displays the image of the speed V 1 of the own vehicle and the moving object. Based on the upper size and the motion vector v (i, j), the speed V 2i of all moving objects is calculated (steps S1017 and 1018).
  • FIG. 17 shows functional blocks of the controller 500.
  • FIG. 18 shows a processing flow of an algorithm for detecting velocity and acceleration.
  • FIG. 19A is an example of an image of multiple exposure imaging data.
  • the controller 500 includes a frame memory 910, a bidirectional vector calculation unit 920, an object detection unit 930, and a speed / acceleration determination unit 940.
  • the algorithm for detecting the velocity and acceleration is realized by, for example, a combination of the microcontroller 550 and software shown in FIG.
  • Each block in the functional blocks shown in FIG. 17 is shown in units of functional blocks, not in units of hardware.
  • the software can be, for example, a module constituting a computer program for executing a specific process corresponding to each functional block.
  • Such a computer program can be stored in the program memory 530 shown in FIG.
  • the microcontroller 550 can read instructions from the program memory 530 and execute each process sequentially.
  • the frame memory 910 corresponds to the working memory 540 shown in FIG. 1 or FIG.
  • the frame memory 910 only needs to have a capacity capable of holding image data for one frame.
  • the frame memory 910 holds imaging data of frame t that is multiple exposure imaging data.
  • the bidirectional vector calculation unit 920 reads the imaging data of the frame t from the frame memory 910. In addition, the bidirectional vector calculation unit 920 detects a characteristic portion of the specific target object from the imaging data of the frame t. When the specific object moves within the period of the frame t, the characteristic parts of the specific object are detected at a plurality of locations in the imaging data of the frame t. The bidirectional vector calculation unit 920 detects the movement of the specific target object from the positions of a plurality of feature portions on the image.
  • FIG. 19A shows a motion vector calculated by the bidirectional vector calculation unit 920.
  • the direction of the motion vector shown in FIG. 19A is not uniquely determined.
  • a motion vector whose direction is not uniquely determined is represented as “bidirectional vector v bd (i, j)”.
  • the characteristic part of the specific object exists in different frames, and the direction of the motion vector is uniquely determined. Can do.
  • the characteristic part of the specific object acquired at different times exists in the same one frame. Therefore, the direction of the motion vector cannot be determined uniquely.
  • the exposure time when acquiring the first image may be longer.
  • the brightness of the first image can be increased, and the start point of a series of images can be specified.
  • the bidirectional vector v bd (i, j) and its orientation can be obtained.
  • the bidirectional vector calculation unit 920 calculates the bidirectional vector v bd (i, j) for the pixel P (i, j) using the frame t (step S1110).
  • the bidirectional vector calculation unit 920 calculates the bidirectional vector v bd (i, j) for all the pixels P (i, j) in the preset region R (step S1111).
  • the object detection unit 930 determines whether or not the specific object exists in the preset region R of the frame t using, for example, edge detection (step S1120).
  • the object detection unit 930 reads the imaging data of the frame t from the frame memory 910.
  • the object detection unit 930 detects a characteristic portion of the specific target object using a general detection method such as shape detection or edge detection.
  • FIG. 19B is an image indicated by the multiple exposure image data picked up with higher sensitivity only for the final exposure of the multiple exposure.
  • the last acquired image of the vehicle is NI.
  • the brightness of the edge of the feature portion of the image of the vehicle acquired last is higher than the brightness of the edge of the feature portion of the other image.
  • the object detection unit 930 detects the brightness of the edge of the feature portion of the vehicle image.
  • the object detection unit 930 determines whether or not the specific target object exists in all of the region R (step S1121). In this determination, when a fixed object and a moving object exist in the region R, the object detection unit 930 may specify the presence of both. Further, when a plurality of moving objects are present in the region R, the object detection unit 930 may specify the presence of a plurality of moving objects.
  • the bidirectional vector calculation unit 920 determines the bidirectional vector v based on the position of the characteristic part of the specific target detected by the object detection unit 930. bd (i, j) is calculated. Further, the bidirectional vector calculation unit 920 compares the brightness of the edge of the characteristic part of the specific target object, specifies the last acquired image, and determines the direction of the bidirectional vector v bd (i, j). .
  • a bidirectional vector v bd (i, j) whose direction is uniquely determined is represented as a vector v d (i, j).
  • FIG. 19C shows a motion vector when attention is paid to one point on the license plate of the vehicle.
  • the broken line vector represents the total movement amount vector v (i, j) that is the total movement amount in the frame.
  • Each vector of the solid line represents a vector v d (i, j) that is a movement amount between the exposures in the multiple exposure.
  • the bidirectional vector calculation unit 920 calculates the total movement amount vector v (i, j) based on the sum of the vectors v d (i, j) (step S1130).
  • the bidirectional vector calculation unit 920 calculates the total movement amount vector v (i, j) for all the bidirectional vectors v bd (i, j) (step S1131).
  • the bidirectional vector calculation unit 920 outputs a bidirectional vector signal including the total moving amount vector v (i, j) of the fixed object to the speed / acceleration determination unit 940.
  • the speed / acceleration determination unit 940 calculates the vehicle speed and acceleration based on the bidirectional vector signal from the bidirectional vector calculation unit 920 and the detection result from the object detection unit 930.
  • the speed / acceleration determining unit 940 calculates the host vehicle speed V 1 based on the size of the fixed object in the image and the total moving amount vector v (i, j) of the fixed object. Further, the speed / acceleration determining unit 940 calculates the host vehicle acceleration A1 based on the change amount of the vector v d (i, j) belonging to the total movement amount vector v (i, j) (step S1140).
  • the bidirectional vector calculation unit 920 is based on the detection result of the moving object by the object detection unit 930, and the bidirectional vector on the detected moving object. Trace v bd (i, j) and calculate the vector v d (i, j) whose direction has been determined. Further, the bidirectional vector calculation unit 920 calculates the total movement vector v (i, j) as the motion vector of the moving object from the sum of the vectors v d (i, j) (step S1160).
  • the bidirectional vector calculation unit 920 calculates the total movement vector v (i, j) for all the bidirectional vectors v bd (i, j) (step S1161).
  • the bidirectional vector calculation unit 920 outputs a bidirectional vector signal further including the total moving amount vector v (i, j) of the moving object to the speed / acceleration determination unit 940.
  • the speed / acceleration determining unit 940 detects the speed based on the amount of movement of the moving object. More specifically, the speed / acceleration determination unit 940 uses the amount of motion of the moving object determined based on the bidirectional vector signal from the bidirectional vector calculation unit 920 and the detection result from the object detection unit 930. Calculate vehicle speed and acceleration. The speed / acceleration determining unit 940 determines the moving object speed V 2i based on the own vehicle acceleration A1, the size of the moving object in the image, and the total moving amount vector v (i, j) of the moving object, that is, the speed of the other vehicle. Is calculated.
  • the speed / acceleration determining unit 940 calculates the acceleration A 2i of the other vehicle based on the amount of change of the vector v d (i, j) belonging to the total moving amount vector v (i, j) of the moving object (step) S1170).
  • the speed / acceleration determining unit 940 calculates the moving object speed V 2i and the moving body acceleration A 2i for all moving objects detected by the object detecting unit 930 (step S1171).
  • Speed and acceleration determining unit 940 can determine the relative speed of the vehicle or the other vehicle based on the vehicle speed V 1 and the other vehicle speed V 2i calculated. Further, the speed / acceleration determining unit 940 can obtain the relative acceleration of the host vehicle or the other vehicle based on the calculated host vehicle acceleration A1 and the other vehicle acceleration A 2i .
  • FIG. 20 shows another example of a functional block of the controller 500 that detects the speed and acceleration using the multiple exposure imaging data.
  • the bidirectional vector calculation unit 920 may execute a process of generating a bidirectional vector signal.
  • the measurement interval of the specific object was limited by the readout speed of the image sensor.
  • the measurement interval of the specific object is defined by the interval of each exposure of multiple exposure.
  • measurement accuracy can be improved.
  • the amount of movement of the specific object is small, an improvement in measurement accuracy is expected.
  • the speed is obtained by calculating the total movement vector v (i, j) as the motion vector of the moving object from the sum of the vectors v d (i, j).
  • velocity and acceleration may be calculated from each vector v d (i, j).
  • a subsequent operation may be predicted based on the calculated speed and acceleration, or driving control of the host vehicle or another vehicle may be performed.
  • imaging is performed with the sensitivity of the last exposure of multiple exposure being increased, but the present invention is not limited to this.
  • imaging may be performed with the sensitivity of the last exposure of multiple exposure being lowered, or imaging may be performed with different sensitivity of the first exposure of multiple exposure.
  • the exposure may be performed with different sensitivities in a predetermined order of the multiple exposures, for example, the second exposure.
  • the sensitivity of some exposures different from the sensitivity of other exposures it is possible to recognize the context of images corresponding to each exposure in a multiple exposure image.
  • the brightness of the image corresponding to each exposure becomes substantially the same by making the sensitivity of other exposures constant, it becomes easy to detect the feature points of each image.
  • FIG. 21A schematically shows a state where the drone D equipped with the detection device 1 is flying.
  • FIG. 21B and FIG. 21C schematically show an example of an image indicated by the acquired multiple exposure imaging data.
  • the detection device 1 can be suitably mounted not only on the vehicle but also on the flying object.
  • the detection device 1 is used as a speed detection device for all moving objects.
  • an example in which the detection apparatus 1 is mounted on the drone D will be described.
  • Drone D has a detection device 1.
  • the imaging device 100 of the detection device 1 images a dedicated marker for measurement attached to a utility pole.
  • the detection apparatus 1 obtains, for example, speed information by acquiring multiple exposure imaging data including a dedicated marker and analyzing it.
  • 21B and 21C show examples of images indicated by the multiple exposure imaging data.
  • the imaging apparatus 100 images the dedicated marker according to the driving illustrated in FIG. 7A, for example, the image illustrated in FIG. 21B or 21C is acquired.
  • the brightness of the image acquired later increases.
  • the brightness of the image of the rightmost dedicated marker that is, the rearmost dedicated marker of the drone D
  • the brightness of the image of the foremost dedicated marker is the darkest.
  • the front of drone D means the front direction of drone D.
  • the image shown in FIG. 21B means that the drone D is flying forward. In the image shown in FIG.
  • the brightness of the image of the dedicated marker at the left end, that is, the forefront of the drone D is the brightest, and the brightness of the image of the dedicated marker at the end is the darkest.
  • the image shown in FIG. 21B means that the drone D is flying backward.
  • the flight of the drone D may be controlled based on the detected speed information.
  • the drone D is capable of unmanned autonomous flight by installing the detection device 1 and artificial intelligence (AI).
  • AI artificial intelligence
  • the drone D is used as an example of the detection of the traveling direction in the flying object.
  • the traveling direction detection and the speed detection in the same manner can be performed in various moving objects such as humans, industrial control devices, and autonomous robots. Is possible.
  • the detection device 2 can have a hardware configuration shown in FIG. 1 or FIG. 2, for example. Therefore, the description of the block of the detection apparatus 2 is omitted.
  • FIG. 22A schematically shows a state where the host vehicle on which the detection device 2 is mounted is traveling while imaging the road sign S.
  • FIG. 22B to FIG. 22D schematically show an example of the image of the acquired multiple exposure imaging data.
  • the detection device 2 mounted on the host vehicle, which is a moving body, images a road sign S, which is a stationary body.
  • the detection device 2 detects the absolute speed of the vehicle based on the acquired multiple exposure imaging data.
  • the imaging apparatus 100 performs normal multiple exposure imaging according to the driving shown in FIG. 6A, for example, the image shown in FIG. 22B is acquired.
  • the imaging apparatus 100 When the imaging apparatus 100 performs multiple exposure imaging while performing sensitivity modulation in accordance with the driving shown in FIG. 7A or 8A, for example, the image shown in FIG. 22C is acquired.
  • the imaging apparatus 100 When the imaging apparatus 100 performs multiple exposure imaging while performing sensitivity modulation in accordance with the driving illustrated in FIG. 7C or 8C, for example, an image illustrated in FIG. 22D is acquired.
  • the detection of the absolute speed of the host vehicle can be realized by normal multiple exposure.
  • the traveling direction of the host vehicle since the traveling direction of the host vehicle is not detected, it is not necessary to modulate the sensitivity and perform multiple exposure.
  • FIG. 23A schematically shows a state where the host vehicle on which the detection device 2 is mounted is traveling while imaging a white line on the road.
  • FIG. 23B schematically illustrates an example of an acquired image.
  • FIG. 24A schematically shows a state in which the host vehicle on which the detection device 2 is mounted is traveling while imaging the measurement dedicated marker attached to the utility pole.
  • FIG. 24B schematically shows an example of an image indicated by the acquired multiple exposure imaging data.
  • FIG. 23B and FIG. 24B show an example of an image indicated by the multiple exposure imaging data acquired when the imaging apparatus 100 performs normal multiple exposure imaging according to the driving shown in FIG. 6A.
  • the specific object for performing the speed measurement may be an installation on the road whose size is standardized.
  • the specific object may be, for example, a road sign S, a white line, a utility pole sign board, or a traffic light.
  • the specific object may be a vehicle license plate or a lamp as described above.
  • the specific object may be a dedicated marker whose size is standardized. A marker in which a plurality of markers are arranged in the vertical direction may be used as the dedicated marker. By using such a dedicated marker, there is little distortion in the image even when the vehicle moves forward, and measurement errors are less likely to occur.
  • FIG. 25 shows an example of a processing flow for detecting the absolute speed based on the multiple exposure imaging data and controlling the braking and acceleration of the vehicle based on the absolute speed.
  • the processing flow for detecting the absolute speed is basically the same as the processing flow shown in FIG. However, step S220 for detecting the traveling direction is omitted.
  • the distance d from the host vehicle to the road sign S may be acquired by the distance measuring unit 600 or acquired by analyzing the multiple exposure imaging data by the controller 500. May be.
  • the distance measuring unit 600 is, for example, a TOF sensor.
  • FIG. 26A schematically shows an example of an image indicated by the multiple exposure imaging data acquired by a vehicle traveling closer to the road sign S in FIG. 24A.
  • FIG. 26B schematically shows an example of an image indicated by the multiple exposure imaging data acquired by a vehicle traveling on a side farther from the road sign S in FIG. 24A.
  • the size of the road sign S in the multiple exposure imaging data changes according to the distance d from the vehicle to the road sign S.
  • the actual size of the specific object is determined in advance by the standard.
  • the size s of the specific object in the multiple exposure imaging data at the distance d is determined based on the standard and various parameters related to the imaging apparatus 100 and the optical system 200.
  • the controller 500 can calculate the distance from the host vehicle to the road sign S based on the result of comparing the actual size of the road sign S and the size of the road sign S in the multiple exposure imaging data.
  • the controller 500 acquires multiple exposure imaging data by normal multiple exposure imaging.
  • the controller 500 acquires, for example, the multiple exposure imaging data shown in FIG. 22B, and calculates the absolute speed of the vehicle from the distance d, the distance m between the edges of the road sign S, and the distance t between two adjacent control signals V2. Is detected (step S240).
  • the detection device 2 transmits information indicating the absolute speed to the ECU 800 via the image transmission IF.
  • the ECU 800 can control braking and acceleration of the vehicle based on the information indicating the absolute speed received from the detection device 2.
  • the ECU 800 can perform control corresponding to levels 0 to 4 of automatic driving, for example, as in the first embodiment.
  • the controller 500 when the controller 500 detects the feature of the specific object, the controller 500 starts detecting the vehicle speed, but the present disclosure is not limited to this.
  • the controller 500 may always detect the vehicle speed while the vehicle engine is running.
  • the controller 500 may detect the vehicle speed only during a period in which a certain interval is set.
  • the controller 500 may detect the vehicle speed only during the direction detection frame period shown in FIG. 9D.
  • the controller 500 may detect the vehicle speed from an entry into the highway, or may detect the vehicle speed from a change in internal control information such as a gear change.
  • the imaging device 100 When measuring the absolute speed by the detection device 2, the imaging device 100 may be installed on the side surface of the vehicle. Thereby, the error at the time of a measurement can be suppressed.
  • FIG. 27 shows an example of a processing flow for detecting the absolute speed and acceleration based on the multiple exposure imaging data and controlling the braking and acceleration of the vehicle based on the absolute speed and acceleration.
  • the processing flow for detecting the speed and acceleration is basically the same as the processing flow shown in FIG. However, step S320 for detecting the traveling direction is omitted.
  • the controller 500 calculates the absolute speed and acceleration of the vehicle based on the multiple exposure imaging data (step S340). Note that the absolute velocity and acceleration according to this example correspond to the velocity and acceleration acquired in step S340 shown in FIG.
  • ECU 800 can control braking and acceleration of the vehicle based on at least one information of absolute speed and acceleration received from detection device 2.
  • the ECU 800 can perform control corresponding to levels 0 to 4 of automatic driving, for example, as in the first embodiment.
  • braking and acceleration of the vehicle can be controlled using the measured absolute speed and acceleration. Therefore, it is possible to continuously grasp the traveling state of the host vehicle. As a result, safer control is possible.
  • FIG. 28 shows an example of a processing flow for controlling braking and acceleration of the vehicle by further using the vehicle speed measured by the ECU 800.
  • the processing flow shown in FIG. 28 includes the same steps as the processing flow shown in FIG.
  • the processing flow includes at least step S370 of feeding back the vehicle speed measured by the ECU 800 as an initial value for detecting the absolute speed, and correcting the detection speed of the controller 500 by comparing with the measurement speed of the ECU 800.
  • step S370 of feeding back the vehicle speed measured by the ECU 800 as an initial value for detecting the absolute speed
  • correcting the detection speed of the controller 500 by comparing with the measurement speed of the ECU 800.
  • One further is included.
  • the ECU 800 can measure the vehicle speed independently of the detection device 2 based on, for example, the rotational speed of the wheel.
  • the ECU 800 transmits the measured vehicle speed to the controller 500 of the detection device 2.
  • the vehicle speed measured by ECU 800 is fed back to controller 500 as an initial value for detecting an absolute speed, for example, via CAN.
  • the feedback control can be realized by a standard different from CAN or by an original standard.
  • the controller 500 can perform speed detection based on the multiple exposure imaging data using the initial value determined based on the speed information measured by the ECU 800 (step S370).
  • the controller 500 can correct the vehicle speed information detected based on the multiple exposure imaging data using the speed information measured by the ECU 800.
  • the detection device 2 can be calibrated using the vehicle speed measured by the ECU 800 (step S380).
  • the absolute speed detected by controller 500 is compared with the vehicle speed measured by ECU 800.
  • the absolute speed of the vehicle is corrected according to the comparison result based on the vehicle speed measured by the ECU 800. Note that both the feedback control and calibration described above may be applied, or only one may be applied.
  • the close cooperation between the ECU 800 and the detection device 2 can reduce the offset between the mechanisms in the control. Furthermore, feedback in speed control can be realized at high speed.
  • FIG. 29 shows an example of a processing flow for detecting the speed based on the multiple exposure imaging data and further detecting the traveling direction to control the braking and acceleration.
  • FIG. 30A, FIG. 30B, and FIG. 30C schematically show an example of an image indicated by multiple exposure imaging data acquired by normal multiple exposure.
  • FIG. 30C shows an example of an image indicated by the multiple exposure imaging data of the license plate acquired when the vehicle traveling ahead is close to the host vehicle.
  • FIG. 30D shows an image of a license plate acquired when the vehicle traveling ahead and the host vehicle are far away.
  • the distance measurement unit 600 may measure the distance d to the vehicle traveling ahead.
  • the controller 500 may measure the distance d by analyzing, for example, the multiple exposure imaging data shown in FIG. 30C by the method described above.
  • the detection device 2 analyzes the multiple exposure imaging data acquired by the normal multiple exposure imaging, and acquires the speed of the vehicle (step S240). Specifically, the controller 500 acquires, for example, the multiple exposure imaging data shown in FIGS. 30A and 30B, and calculates the distance d, the distance m between the edges of the specific object, and the two adjacent control signals V2. The vehicle speed is detected from the interval t.
  • FIG. 30A shows an example of a license plate image acquired by normal multiple exposure imaging
  • FIG. 30B shows an example of a brake lamp image acquired by normal multiple exposure imaging.
  • the object is superimposed in the traveling direction of the vehicle. Therefore, it cannot be determined whether the host vehicle is accelerating and the distance to the preceding vehicle is shortened, or whether the host vehicle is decelerating and the distance is far.
  • the controller 500 After acquiring the vehicle speed, the controller 500 according to this specific example detects the traveling direction of the vehicle (step S220). For example, it is possible to acquire information indicating the traveling direction of the vehicle using the traveling direction measurement unit 700.
  • the traveling direction measurement unit is, for example, a TOF sensor.
  • the acquired information is transmitted to the controller 500.
  • the speed of the vehicle can be acquired.
  • the specific object for speed detection is not limited to the license plate and the lamp, and may be a speed detection marker that can be attached to the vehicle, for example.
  • the controller 500 can detect the absolute speed of the host vehicle.
  • the stationary body is, for example, a road sign S.
  • the controller 500 can detect the relative speed of the host vehicle with respect to the other moving body.
  • the other moving body is, for example, a traveling vehicle, and the object to be imaged is a license plate.
  • the relative traveling direction and relative speed can be used for braking and acceleration of the host vehicle or the vehicle to be measured.
  • the absolute traveling direction and the absolute speed are used for braking and accelerating the host vehicle or the vehicle to be measured, and the absolute speed value is used to control the braking mode of the host vehicle or detect a failure, for example. Can be used.
  • the absolute traveling direction and the absolute speed can be used for determining violation of traffic regulations.
  • the detection apparatus 2 may perform multiple exposure imaging by sensitivity modulation and acquire the multiple exposure imaging data shown in FIG. 11B or 12B.
  • the detection device 2 may detect the traveling direction by analyzing the multiple exposure imaging data.
  • the multiple exposure imaging data for detecting the speed of the vehicle and the multiple exposure imaging data for detecting the traveling direction may be acquired in different frames. Specifically, as shown in FIG. 29, the speed is detected based on the multiple exposure imaging data acquired in a certain frame (step S240). Thereafter, the traveling direction may be detected based on the multiple exposure imaging data acquired in another frame (step S220). Alternatively, the speed and the traveling direction may be detected based on the multiple exposure imaging data acquired in a certain frame (step S220). Furthermore, after changing the order of processing and detecting the advancing direction (step S220), the speed may be changed (step S240). Speed detection and traveling direction detection may be performed alternately. The order of processing can be selected in any manner as long as it is optimal for the vehicle travel control system 1000.
  • the detection device 2 transmits information on the traveling direction and speed to the ECU 800 via the image transmission IF.
  • ECU 800 can control braking and acceleration of the vehicle based on the information on the traveling direction and speed received from detection device 2 (step S250).
  • the ECU 800 can perform control corresponding to levels 0 to 4 of automatic driving, for example, as in the first embodiment.
  • FIG. 31 shows an example of a processing flow for detecting the speed and acceleration based on the multiple exposure imaging data, and further detecting the traveling direction to control the braking / acceleration.
  • the processing flow shown in FIG. 31 includes the processing steps shown in FIG. 27, and further includes step S320 for detecting the traveling direction.
  • the ECU 800 can control braking and acceleration of the vehicle based on at least one information of the traveling direction, speed, and acceleration.
  • the traveling state of the host vehicle can be continuously grasped, and as a result, safer control is possible.
  • the detection device 2 detects the traveling direction of the surrounding vehicle using a plurality of pieces of luminance information in the multiple exposure imaging data, and the relative speed of the surrounding vehicle with respect to the own vehicle using the pieces of luminance information. And a second mode for calculating.
  • the detection device 2 may alternately switch the first and second modes for each predetermined period.
  • the predetermined period may be a certain frame period, for example.
  • the first mode and the second mode may be switched when speed or acceleration information changes or when braking or steering operation is performed.
  • FIG. 32 shows an example of a processing flow for performing braking / acceleration control using the vehicle speed measured by the ECU 800.
  • step S320 for detecting the traveling direction can be added to the processing flow for detecting the speed and acceleration shown in FIG.
  • the ECU 800 can control braking and acceleration of the vehicle based on at least one information of the traveling direction, speed, and acceleration.
  • the detection device 2 By close cooperation between the ECU 800 and the detection device 2, it is possible to reduce the offset between the mechanisms in the control, and it is possible to realize feedback in the speed control at high speed.
  • the detection device 2 calculates a speed change with respect to the inner periphery of the curve and a speed change with respect to the outer periphery based on the multiple exposure imaging data, and based on the speed change with respect to the inner periphery and the outer periphery, The approach angle can be calculated.
  • FIG. 33A schematically shows a state when the vehicle enters a curved road.
  • FIG. 33B schematically shows an example of an image indicated by the multiple exposure imaging data acquired by imaging the outside of the curved road when the vehicle enters the curved road
  • FIG. 33C images the inside of the curved road.
  • An example of the image which multiple exposure imaging data acquired in this way shows is shown typically.
  • the vehicle traveling control system 1000 can control braking / acceleration and steering of the vehicle according to the processing flow shown in FIG.
  • FIG. 33A it is assumed that dedicated poles for measuring an approach angle of the vehicle are installed at predetermined intervals on the inner and outer shoulders of a curved road.
  • a dedicated marker for measurement similar to the marker shown in FIG. 24 may be installed on the dedicated pole.
  • the controller 500 can detect that the vehicle has entered the curve based on steering wheel control, road traffic information, or map information.
  • the controller 500 starts measuring the approach angle of the vehicle using the detection as a trigger (step S210). Specifically, the controller 500 starts a calculation for detecting the speed with respect to the inner periphery of the curved road and the speed with respect to the outer periphery of the curved road.
  • the speed with respect to the inner periphery of the curved road is referred to as “inner peripheral speed”
  • the speed with respect to the outer periphery of the curved road is referred to as “outer peripheral speed”.
  • the distance measuring unit 600 measures the distances d_in and d_out from the own vehicle to the inner and outer dedicated poles, respectively.
  • the controller 500 acquires distances d_in and d_out from the distance measurement unit 600 (step S230).
  • the controller 500 acquires multiple exposure imaging data acquired by multiple exposure imaging of the inner pole.
  • the controller 500 uses the interval m_in between the dedicated poles of the first and second imaging data in the multiple exposure imaging data, the interval t_in between the first exposure period and the second exposure period, and the distance d_in, The inner speed of the host vehicle is detected.
  • the controller 500 acquires multiple exposure imaging data acquired by performing multiple exposure imaging of the outer pole.
  • the controller 500 uses the interval m_out between the dedicated poles of the first and second imaging data in the multiple exposure imaging data, the interval t_out between the first exposure period and the second exposure period, and the distance d_out,
  • the peripheral speed of the host vehicle is detected.
  • the controller 500 calculates the approach angle to the curve based on the outer peripheral speed and the inner peripheral speed of the host vehicle (step S240).
  • the detecting device 2 transmits information on the outer peripheral and inner peripheral speeds or the approach angle to the ECU 800 via the image transmission IF.
  • ECU 800 can control braking, acceleration and steering of the vehicle based on the information received from detection device 2 and other information such as road traffic information and map information (step S250).
  • the information on the vehicle speed measured by the ECU 800 may be used for calibration of the detection device 2, and may be set as an initial value when the detection device 2 calculates the inner and outer peripheral speeds. Both of them may apply. Further, information other than the vehicle speed obtained by various sensors generally used in the vehicle travel control system may be fed back to the detection device 2 through the CAN together with the vehicle speed from the ECU 800.
  • the various sensors are, for example, a steering angle sensor and a yaw rate sensor. Information other than the vehicle speed is, for example, a steering angle, a yaw rate, or an acceleration.
  • the imaging device 100 may be installed on the side surface of the vehicle. Thereby, the error at the time of a measurement can be suppressed.
  • the close cooperation between the ECU 800 and the detection device 2 can reduce the offset between the mechanisms in the control, and can realize feedback in vehicle control such as braking, acceleration, and steering at high speed. it can.
  • the speed information detected by the detection device 2 is used only for controlling the host vehicle.
  • the present disclosure is not limited to this, and the detected speed information can be suitably used for, for example, accurate self-position estimation and self-path prediction.
  • information such as speed, acceleration, distance to an object, etc. that can be acquired by the detection device 2
  • information from various sensors used in the vehicle travel control system 1000 map information
  • Inter-vehicle communication data and communication data between a vehicle and a stationary body, for example, between a vehicle and a road sign can be used.
  • the subsequent self-position estimation may be performed based on the position information of the object and the distance information between the measured object and the own vehicle, or based on the self-position estimated at a certain time. Then, the self-position estimation may be continued by reflecting the traveling direction or speed information of the vehicle detected thereafter in the map information. Furthermore, the distance to other objects is measured, and the position information of the other objects and the distance information between the other objects and the vehicle are used to correct the self-position estimation result. Also good.
  • the generated map information may be displayed on, for example, a display provided in the passenger compartment or the user's mobile terminal. Further, as another embodiment, it is possible to predict the motion state of the vehicle after a certain period of time using the self-position information and the speed information or acceleration information measured by the above-described method. It is also possible to control the vehicle according to the prediction result and the surrounding traffic information obtained from the map information and the destination. If both vehicles can mutually predict the route, the cloud server can be used to smoothly control a plurality of vehicles.
  • Vehicle speed information can be transmitted to surrounding vehicles traveling around. By transmitting the speed information detected by the detection device 2 to surrounding vehicles, mutual control between the vehicles is also possible. By controlling both vehicles simultaneously, for example, braking time and distance can be shortened.
  • communication between vehicles can be realized using a pulse signal to which a recognition header is added.
  • the communication method is not limited to this, and any method may be used as long as the surrounding vehicle can receive transmission data.
  • Communication may be unidirectional or bidirectional.
  • the communication method may be time division or wavelength multiplexing, for example.
  • headlight light can be used for communication. Communication is possible when the headlights are pulse-driven at a frequency that does not affect the irradiation to the surroundings, and other vehicles sense the light of the headlights. According to this communication method, since it is not necessary to add new hardware dedicated to communication, the system scale, cost, and the like can be minimized.
  • one detection device 2 or a plurality of detection devices 2 may be used.
  • the detection device 2 according to the present embodiment can be suitably mounted on a flying body such as a drone, like the detection device 1 according to the first embodiment.
  • the imaging device 100 and the ISP 300 can be mounted on the same chip, it is also possible to mount the imaging device 100, the ISP 300, and the controller 500 on the same chip.
  • the processing up to the speed and acceleration can be realized with one chip.
  • high speed data processing, low power consumption, reduction in chip size, and cost reduction have been demanded. From this point of view, it can be said that the configuration of one chip is optimal.
  • an example of the operation of an imaging device having a plurality of unit pixels including a photoelectric conversion film has been mainly described.
  • multiple exposure imaging data may be acquired by performing sensitivity modulation by changing the exposure length between a plurality of exposures.
  • the detection device 2 is mainly mounted on a moving body and the speed of the moving body is detected has been described.
  • the speed violation of the traveling vehicle can be controlled by installing the detection device 2 in the traffic light.
  • the detection result of the traveling direction of the surrounding vehicle acquired by the traveling control system 1000 can be used for, for example, automatic traveling control for controlling acceleration and deceleration of the own vehicle.
  • the driver of the own vehicle may accelerate or decelerate the own vehicle by operating the brake and the accelerator according to the detection result. For example, if the distance to the vehicle ahead is detected based on the size of the license plate image of the vehicle running ahead, and it is detected that the distance is smaller than a predetermined value, It may be activated. Alternatively, a warning may be issued to the driver of the host vehicle so as to decelerate. Further, when it is detected that the distance to the preceding vehicle is greater than a predetermined value, the accelerator of the host vehicle may be operated. Alternatively, a warning may be issued to the driver of the host vehicle so as to accelerate.
  • Suitable for detection device, detection device, and vehicle traveling control system of the present disclosure relative moving direction, relative speed, and any moving body or stationary body that is required to detect absolute traveling direction and absolute speed Used.
  • Detection apparatus 100 Imaging device 101 Unit pixel 102 Vertical scanning circuit 103 Horizontal scanning circuit 104 Current source 105 AD conversion circuit 106 Pixel power supply 107 Horizontal signal line 108 Vertical signal line 109 Photoelectric conversion part 200 Optical system 300 ISP 400 Image transmission IF 500 Controller 510 Output IF 511 Voltage control circuit 520 Input IF 530 Program memory 540 Working memory 550 Microcontroller 600 Distance measurement unit 700 Travel direction measurement unit 800 ECU 1000 Vehicle travel control system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

移動体に設置され、第１のフレーム期間に対象物を複数回撮像して、第１の撮像データおよび第２の撮像データを含む多重露光撮像データを生成する撮像装置と、前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する検出装置と、を備え、前記撮像装置は、前記第１のフレーム期間内の第１露光期間に第１の感度で前記対象物を撮像して前記第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して前記第２の撮像データを生成する、運転制御システム。

Description

運転制御システムおよび運転制御方法
　本開示は、車両または飛行体などの移動体の運転を支援する、運転制御システムおよび運転制御方法に関する。
　近年、車両走行制御を支援する様々な走行支援システムが提案されている。走行支援システムは、加速、制動および操舵を制御するために、例えば車両速度および障害物までの距離など情報を必要とする。車両速度は、一般に、車輪の回転数（ｒｐｍ）に基づいて測定され得る。
　特許文献１は、ステレオ撮像によって障害物までの距離を測定することが可能な撮像システムを開示する。その撮像システムは、被写体照度に応じて異なる光電変換特性を有する撮像素子を含む複数の撮像装置を備える。複数の撮像装置の間で撮像タイミングなどを合わせ込むことにより、高速かつ正確にステレオ画像を処理することが可能になる。
特開２００７－８１８０６号公報
　近年、走行支援システムは飛躍的に進化している。そのシステムは、人による自動車の運転操作を補助するシステムから、自動車自らが情報を取得して判断し、運転操作を行う、自動車主体のシステムに変貌しつつある。そのようなシステムへの期待は大きく、さらなるシステムの改善を求める要望が多く寄せられている。
　従来の技術において、車両走行制御に必要な情報が高い精度で取得されていたとは必ずしも言えなかった。そのため、より正確にその情報を取得することが求められていた。
　本開示は、移動体の運動状態、例えば速度または進行方向を検出することが可能な移動体制御システムを提供することを目的とし、主として、車両の運動状態、例えば速度または進行方向を検出することが可能な車両走行制御システムを提供することを目的とする。
　本開示の一態様による運転制御システムは、移動体に設置され、第１のフレーム期間に対象物を複数回撮像して、第１の撮像データおよび第２の撮像データを含む多重露光撮像データを生成する撮像装置と、前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する検出装置と、を備え、前記撮像装置は、前記第１のフレーム期間内の第１露光期間に第１の感度で前記対象物を撮像して前記第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して前記第２の撮像データを生成する。
　本開示の例示的な実施形態は、移動体の運動状態、例えば速度または進行方向を検出することが可能な移動体制御システム、当該移動体の制御方法、車両の運動状態、例えば速度または進行方向を検出することが可能な車両走行制御システムおよび当該車両走行の制御方法を提供する。
図１は、検出装置１を備える車両走行制御システム１０００のブロック構成例を示すブロック図である。 図２は、検出装置１の他のブロック構成例を示すブロック図である。 図３は、撮像装置１００の構成例を示す模式図である。 図４Ａは、単位画素１０１の構成例を示す回路図である。 図４Ｂは、単位画素１０１の他の構成例を示す回路図である。 図５は、単位画素１０１の、半導体基板１０９Ｄの法線方向に沿った断面図である。 図６Ａは、単位フレーム期間における多重露光の典型的な動作タイミングを示すタイミング図である。 図６Ｂは、多重露光撮像データの一例を示す模式図である。 図７Ａは、単位フレーム期間における多重露光の応用的な動作タイミングの例を示すタイミング図である。 図７Ｂは、応用例による多重露光撮像データの一例を示す模式図である。 図７Ｃは、単位フレーム期間における多重露光の応用的な動作タイミングの他の例を示すタイミング図である。 図７Ｄは、応用例による多重露光撮像データの他の一例を示す模式図である。 図８Ａは、単位フレーム期間における多重露光の応用的な動作タイミングの例を示すタイミング図である。 図８Ｂは、応用例による多重露光撮像データの一例を示す模式図である。 図８Ｃは、単位フレーム期間における多重露光の応用的な動作タイミングの他の例を示すタイミング図である。 図８Ｄは、応用例による多重露光撮像データの他の一例を示す模式図である。 図９Ａは、撮像シーケンスの典型例を示すシーケンス図である。 図９Ｂは、撮像シーケンスの典型例を示すシーケンス図である。 図９Ｃは、撮像シーケンスの典型例を示すシーケンス図である。 図９Ｄは、撮像シーケンスの典型例を示すシーケンス図である。 図１０は、進行方向を検出するための処理フローの一例を示すフローチャートである。 図１１Ａは、検出装置１を搭載した自車両Ｖが、前方の車両Ｗに追従して走行している様子を示す模式図である。 図１１Ｂは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１１Ｃは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１２Ａは、検出装置１を搭載した自車両Ｖが、前方の車両Ｗに追従して走行している様子を示す模式図である。 図１２Ｂは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１２Ｃは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１３Ａは、検出装置１を搭載した自車両が、道路標識Ｓを撮像しながら走行している様子を示す模式図である。 図１３Ｂは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１３Ｃは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１４は、車両の進行方向および相対速度を検出し、その検出結果に基づいて車両の制動および加速を制御する処理フローの一例を示すフローチャートである。 図１５は、車両の進行方向、相対速度および加速度を検出し、その検出結果に基づいて車両の制動および加速を制御する処理フローの一例を示すフローチャートである。 図１６Ａは、参考例のコントローラの機能ブロックを示す機能ブロック図である。 図１６Ｂは、フレームｔ－１の画像を示す模式図である。 図１６Ｃは、フレームｔの画像を示す模式図である。 図１６Ｄは、特定対象物の移動方向を模式的に示す図である。 図１６Ｅは、速度を検出するための参考例のアルゴリズムの処理フローを例示するフローチャートである。 図１７は、多重露光撮像データを用いて速度および加速度を検出するコントローラ５００の機能ブロックを示す機能ブロック図である。 図１８は、速度および加速度を検出するための、コントローラ５００に実装されるアルゴリズムの処理フローを示すフローチャートである。 図１９Ａは、多重露光撮像データが示す画像の一例を示す模式図である。 図１９Ｂは、一連の車両の像を含む多重露光画像の一例を示す模式図である。 図１９Ｃは、車両のある点におけるベクトルｖｄ（ｉ，ｊ）の総和を表す移動量ベクトルｖ（ｉ，ｊ）を示す模式図である。 図２０は、多重露光撮像データを用いて速度および加速度を検出するコントローラ５００の機能ブロックのバリエーションを示す機能ブロック図である。 図２１Ａは、検出装置１を搭載したドローンＤが飛行している様子を示す模式図である。 図２１Ｂは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２１Ｃは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２２Ａは、検出装置２を搭載した自車両が、道路標識Ｓを撮像しながら走行している様子を示す模式図である。 図２２Ｂは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２２Ｃは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２２Ｄは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２３Ａは、検出装置２を搭載した自車両が、道路の白線を撮像しながら走行している様子を示す模式図である。 図２３Ｂは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２４Ａは、検出装置２を搭載した自車両が、電柱に貼り付けられた測定用専用マーカを撮像しながら走行している様子を示す模式図である。 図２４Ｂは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２５は、多重露光撮像データに基づいて絶対速度を検出し、絶対速度に基づいて車両の制動および加速を制御する処理フローの一例を示すフローチャートである。 図２６Ａは、図２４Ａにおいて道路標識Ｓにより近い側を走行する車両によって取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２６Ｂは、図２４Ａにおいて道路標識Ｓからより遠い側を走行する車両によって取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２７は、多重露光撮像データに基づいて絶対速度および加速度を検出し、絶対速度および加速度に基づいて車両の制動および加速を制御する処理フローの一例を示すフローチャートである。 図２８は、ＥＣＵ８００によって測定された車両速度をさらに用いて、車両の制動および加速を制御する処理フローの一例を示すフローチャートである。 図２９は、多重露光撮像データに基づいて速度を検出し、さらに進行方向を検出して制動および加速の制御を行う処理フローの一例を示すフローチャートである。 図３０Ａは、通常の多重露光により取得される多重露光撮像データが示す画像の一例を示す模式図である。 図３０Ｂは、通常の多重露光により取得される多重露光撮像データが示す画像の一例を示す模式図である。 図３０Ｃは、前方を走行する車両と自車両の距離が小さい場合の、通常の多重露光により取得される多重露光撮像データが示す画像の一例を示す模式図である。 図３０Ｄは、前方を走行する車両と自車両の距離が大きい場合の、通常の多重露光により取得される多重露光撮像データが示す画像の一例を示す模式図である。 図３１は、多重露光撮像データに基づいて相対速度および加速度を検出し、さらに進行方向を検出して制動・加速の制御を行う処理フローの一例を示すフローチャートである。 図３２は、ＥＣＵ８００によって測定される車両速度を用いて、制動・加速の制御を行う処理フローの一例を示すフローチャートである。 図３３Ａは、車両がカーブ路に進入したときの様子を示す模式図である。 図３３Ｂは、車両がカーブ路に進入したときにカーブ路の外側を撮像して取得される多重露光撮像データが示す画像の一例を示す模式図である。 図３３Ｃは、カーブ路の内側を撮像して取得される多重露光撮像データが示す画像の一例を示す模式図である。
　まず、本願発明者が考察した従来技術の問題点を説明する。
　従来、車両の速度は、一般に車輪の回転数に比例したパルス信号に基づいて測定される。しかし、車輪のタイヤの摩耗や測定環境により、その測定誤差または不確かさは一定ではなかった。例えば、凍結路を右折または左折するときにタイヤがスリップしたり、ブレーキ制動時に車輪がロックしたりする可能性がある。そのような状態において、パルス信号に基づいて車両速度を正確に測定することは困難である。今後、より一層の進展が望まれる先進運転支援システム（ＡＤＡＳ）および自動運転車などにおいては、走行制御に必要な情報を正しく取得してその制御を瞬時に行うことが要求される。
　このような課題に鑑み、本願発明者は、新規な検出装置に想到した。本開示の一態様の概要は以下の項目に記載のとおりである。
　〔項目１〕
　移動体に設置され、第１のフレーム期間に対象物を複数回撮像して、第１の撮像データおよび第２の撮像データを含む多重露光撮像データを生成する撮像装置と、
　前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する検出装置と、
　を備え、
　前記撮像装置は、前記第１のフレーム期間内の第１露光期間に第１の感度で前記対象物を撮像して前記第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して前記第２の撮像データを生成する、
　運転制御システム。
　〔項目２〕
　第１の制御装置を備え、
　前記第１の制御装置は、検出した前記移動体の相対的な運動状態に基づいて、前記移動体の運動状態を変化させるための信号を生成する、項目１に記載の運転制御システム。
　〔項目３〕
　第２の制御装置を備え、
　前記第２の制御装置は、前記信号に基づいて前記移動体の運動状態を変化させる、項目２に記載の運転制御システム。
　〔項目４〕
　第１の制御装置を備え、
　前記対象物は、他の移動体に固定されており、
　前記第１の制御装置は、検出した前記移動体の相対的な運動状態に基づいて、前記他の移動体の運動状態を変化させるための信号を生成する、項目１に記載の運転制御システム。
　〔項目５〕
　第２の制御装置を備え、
　前記第２の制御装置は、前記信号に基づいて前記他の移動体の運動状態を変化させる、項目４に記載の運転制御システム。
　〔項目６〕
　前記移動体は車両である、項目１から５のいずれか１項に記載の運転制御システム。
　〔項目７〕
　前記対象物は地面に対して静止しており、
　前記検出装置は、前記移動体の絶対速度を検出する、項目１から６のいずれか１項に記載の運転制御システム。
　〔項目８〕
　前記対象物は地面に対して静止しており、
　前記検出装置は、前記第１の撮像データに基づいて前記移動体と前記対象物との距離を検出し、前記対象物の位置情報と検出された前記距離とに基づいて、前記移動体の位置情報を生成する、項目１に記載の運転制御システム。
　〔項目９〕
　前記第１の撮像データは、前記第１のフレーム期間内の最初の撮像により生成され、
　前記第２の撮像データは、前記第１のフレーム期間内の最後の撮像により生成される、項目１から８のいずれか１項に記載の運転制御システム。
　〔項目１０〕
　前記多重露光撮像データに含まれる複数の撮像データのうち、少なくとも前記第２の撮像データを除く他の撮像データは、前記第１の感度で前記対象物を撮像することにより生成される、項目１から９のいずれか１項に記載の運転制御システム。
　〔項目１１〕
　前記多重露光撮像データに含まれる複数の撮像データのうち、少なくとも前記第１の撮像データを除く他の撮像データは、前記第２の感度で前記対象物を撮像することにより生成される、項目１から９のいずれか１項に記載の運転制御システム。
　〔項目１２〕
　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の進行方向を検出する、項目１から１１のいずれか１項に記載の運転制御システム。
　〔項目１３〕
　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対速度を検出する、項目１から１２のいずれか１項に記載の運転制御システム。
　〔項目１４〕
　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の加速度を検出する、項目１から１３のいずれか１項に記載の運転制御システム。
　〔項目１５〕
　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の進行方向を検出する第１モードと、前記対象物を基準とした前記移動体の相対速度を検出する第１モードとを、所定の期間毎に切り替える、項目１から１４のいずれか１項に記載の運転制御システム。
　〔項目１６〕
　制御装置を備え、
　前記対象物は他の移動体に固定されており、
　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記移動体と前記対象物との距離の変化を検出し、
　前記制御装置は、前記距離が所定の値よりも小さくなっていることが検出された場合、
　前記距離が大きくなるように前記移動体または前記他の移動体の運動状態を変化させるための信号を生成する、項目１に記載の運転制御システム。
　〔項目１７〕
　制御装置を備え、
　前記対象物は他の移動体に固定されており、
　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記移動体と前記対象物との距離の変化を検出し、
　前記距離が所定の値よりも大きくなっていることが検出された場合、前記距離が小さくなるように前記移動体または前記他の移動体の運動状態を変化させるための信号を生成する、項目１に記載の運転制御システム。
　〔項目１８〕
　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データが示す前記対象物の各像の特徴点に基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する、項目１から１７のいずれか１項に記載の運転制御システム。
　〔項目１９〕
　前記第１の制御装置と前記第２の制御装置とは、共通の制御装置である、項目３または項目５に記載の運転制御システム。
　〔項目２０〕
　移動体に設置された撮像装置を用いて、第１のフレーム期間内の第１露光期間に第１の感度で対象物を撮像して第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して第２の撮像データを生成することにより、前記第１の撮像データと前記第２の撮像データとを含む多重露光撮像データを生成し、
　前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出し、
　検出した前記移動体の相対的な運動状態に基づいて、移動体または前記対象物の運動状態を変化させるための信号を生成し、
　生成した前記信号に基づいて前記移動体の運動状態を変化させる、
　運転制御方法。
　〔項目２１〕
　移動体に設置された撮像装置を用いて、第１のフレーム期間内の第１露光期間に第１の感度で他の移動体に固定された対象物を撮像して第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して第２の撮像データを生成することにより、前記第１の撮像データと前記第２の撮像データとを含む多重露光撮像データを生成し、
　前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出し、
　検出した前記移動体の相対的な運動状態に基づいて、移動体または前記対象物の運動状態を変化させるための信号を生成し、
　生成した前記信号に基づいて前記他の移動体の運動状態を変化させる、
　運転制御方法。
　本開示の一態様によれば、移動体、例えば車両または飛行体の運動状態または周辺状態を把握するために、１つのフレーム期間に複数回撮像して得られる多重露光撮像データを用いる。そのため、フレーム期間毎に１つの撮像データを取得し、得られた複数の撮像データを用いて運動状態を検出する場合に比べて、例えば車両の速度および進行方向を決定するために行う演算量を大幅に削減することができる。
　複数の撮像データを用いて対象物の運動状態を検出する場合、検出間隔はイメージセンサの読み出し速度に律速される。これに対し多重露光撮像データは、複数の撮像データを重畳して含む。そのため、本開示では、対象物の検出間隔は、多重露光の露光間隔によって規定される。よって、本開示によれば、測定速度を大幅に向上でき、かつ、測定精度を改善することができる。また、本開示によれば、検出間隔が小さいためその間の対象物の移動量も小さく、対象物の運動状態をより細かく検出することができる。よって、対象物の運動状態を検出結果から予測する場合、予測確率の向上が期待できる、さらに、１つの多重露光撮像データを用いて運動状態を検出するため、画像上において検出に必要な演算領域を絞り込むことができ、演算量を削減できる。
　以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。
　本開示は、移動体の相対的な進行方向、移動体の速度または加速度を主として検出する技術に関する。移動体の相対的な進行方向とは、例えば、他の移動体を基準とした移動体の相対的な進行方向または静止体を基準とした移動体の進行方向を意味する。また、移動体の相対的な速度および加速度は、他の移動体を基準とした移動体の相対的な速度および加速度を意味する。
　本開示は、さらに、移動体の絶対的な進行方向、移動体の速度および加速度を主として検出する技術に関する。移動体の絶対的な進行方向とは、例えば、移動体自身の絶対的な進行方向を意味する。また、移動体の絶対的な速度および加速度は、移動体自身の絶対的な速度および加速度を意味する。
　本明細書では、上記した進行方向、速度、および加速度を含む移動体の運動の状態を総称して、移動体の運動状態と呼ぶことがある。
　本明細書において、移動体は、移動するあらゆる物体を指す。例えば、移動体は、人、車両、産業制御機器、自立ロボットおよび飛行体を含む。車両は、例えば自動車、自動二輪車、および電車である。飛行体は、例えば飛行船およびマルチコプターである。マルチコプターは、例えばドローンであり、有人であるか無人であるかを問わない。
　（第１の実施形態）
　＜１．１．車両走行制御システム１０００および検出装置１の構成＞
　図１は、検出装置１を備える車両走行制御システム１０００のブロック構成例を示す。
　本実施形態による検出装置１は、車両に搭載される装置であり、車両の相対的な進行方向を主に検出する。車両は、例えば自動車である。検出装置１は、例えば車両の前方および後方の少なくとも一方に配置され得る。これにより、車両の前方および後方の少なくとも一方の広範囲にわたって対象物を撮像することが可能になる。
　検出装置１は、バスを介して、例えば距離測定部６００、進行方向測定部７００および電子制御ユニット８００と通信可能に接続され得る。以下、電子制御ユニットを「ＥＣＵ」と表記する。構成要素間の通信は、有線または無線で行われる。例えば、車載ネットワークであるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を用いた通信が可能である。これにより、ＥＣＵ８００を核とした車両走行制御システム１０００が構築される。車両走行制御システム１０００は、例えば自動車に好適に搭載される。さらに、車両走行制御システム１０００は、自車両およびその周辺を走行する周辺車両を含む複数の車両によって構築され得る。なお、車両走行制御システム１０００において、後述するように、距離測定部６００および進行方向測定部７００は必須ではない。
　検出装置１は、撮像装置１００、光学系２００、イメージシグナルプロセッサ３００、画像送信インタフェース４００、および、制御装置５００を備える。以下、制御装置をコントローラと表記し、イメージシグナルプロセッサを「ＩＳＰ」と表記する。
　撮像装置１００は、例えばＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサである。撮像装置１００は被写体の多重露光撮像データを取得することができる。撮像装置１００の詳細は後述する。撮像装置１００は、典型的には自車両に搭載される。
　光学系２００は、フォーカスレンズおよびズームレンズなどから構成される周知のレンズ群を有する。レンズ群において、例えばフォーカスレンズは光軸方向に移動する。これにより、撮像装置１００における被写体像の合焦位置を調整することが可能となる。
　ＩＳＰ３００は、撮像装置１００から出力される撮像データを画像処理するためのプロセッサである。ＩＳＰ３００は、まず、撮像装置１００からの出力データを受け取る。撮像装置１００からの出力データは、例えば未圧縮・未加工のＲＡＷデータである。ＩＳＰ３００は、撮像装置１００からの出力データに対して、例えばガンマ補正、色補間処理、空間補間処理、およびオートホワイトバランスの処理を行うことができる。
　画像送信インタフェース４００は、多重露光撮像データ等を外部に出力するためのインタフェース（ＩＦ）である。画像送信インタフェース４００の外部とは、例えばＥＣＵ８００である。例えば、画像送信インタフェース４００は、ＣＡＮを介してＥＣＵ８００と通信することができる。なお、多重露光撮像データ等は、ＲＡＷデータのまま出力されてもよいし、画像圧縮または所定の画像処理を行った上で規定のフォーマットに従い出力されてもよい。
　コントローラ５００は、検出装置１全体を制御する制御回路であり、かつ、演算処理装置として機能する。コントローラ５００は、ＩＳＰ３００からの多重露光撮像データを処理することができる。コントローラ５００は、例えば、多重露光撮像データに基づいて車両の相対的な進行方向および相対速度を検出することができる。コントローラ５００は、自車両またはその周辺を走行する周辺車両に搭載され得る。
　コントローラ５００は例えば、電圧制御回路５１１を有する出力インタフェース５１０、入力インタフェース５２０、プログラムメモリ５３０、ワーキングメモリ５４０およびマイクロコントローラ５５０を備える。
　入力インタフェース５２０は、ＩＳＰ３００から出力される多重露光撮像データを受け取るインタフェースである。
　マイクロコントローラ５５０は、プログラムメモリに予め格納されたプログラムを一旦ワーキングメモリに展開し、その命令群に従って各種の動作を行う。プログラムメモリは、例えばＲＯＭであり、ワーキングメモリは、例えばＲＡＭである。プログラムメモリに格納されたプログラムは、例えば撮像装置１００を制御するための命令群を有する。
　出力インタフェース５１０は、撮像装置１００に制御信号を出力するためのインタフェースである。出力インタフェース５１０は電圧制御回路５１１を含む。例えば、電圧制御回路５１１は、撮像装置１００の画素内の光電変換層に印加する所望の電圧を生成する。電圧制御回路５１１は、後に図５を用いて説明する透明電極１０９Ａに、その電圧を供給する。電圧制御回路５１１は、例えば、撮像装置１００のグローバルシャッタを制御することが可能である。なお、本開示は、電圧制御回路５１１以外に、撮像装置１００のグローバルシャッタを実現し得る他のあらゆる構成を採用し得る。
　なお、コントローラ５００の構成等は、本開示の本質的部分ではないので、その詳細な説明は省略することとする。
　図２は、検出装置１の他のブロック構成例を示す。
　図１の構成例では、ＩＳＰ３００は撮像装置１００とは別チップであり、撮像装置１００に外付けされる。一方、図２の構成例では、撮像装置１００およびＩＳＰ３００は同一のチップ内に実装される。本構成例によれば、撮像データをより高速に処理することができ、かつ、ハードウェアのコストを下げることができる。
　図３は、撮像装置１００の構成例を示す。
　撮像装置１００は、２次元に配列された複数の単位画素１０１から構成される画素アレイを備える。なお、実際には、数百万個の単位画素１０１が２次元に配列され得るが、図３は、そのうちの２×２の行列状に配置された単位画素１０１に着目してその様子を示す。
　撮像装置１００は、複数の単位画素１０１と、行走査回路１０２と、列走査回路１０３と、列毎に設けられた電流源１０４と、ＡＤ（アナログデジタル）変換回路１０５と、を含む。水平信号線１０７が行毎に設けられ、垂直信号線１０８が列毎に設けられている。各単位画素１０１は、水平信号線１０７を介して行走査回路１０２に電気的に接続され、垂直信号線１０８を介して列走査回路１０３に電気的に接続される。
　全ての単位画素１０１には、例えば共通の電源線１０６が接続される。共通の電源線１０６を介して全ての単位画素１０１に共通の電圧が供給される。単位画素１０１において光電変換された光信号に基づく画素信号はアナログ信号であり、ＡＤ変換回路１０５によってデジタル信号に変換される。デジタル信号に変換された信号は、列走査回路１０３から出力信号として出力される。この構成において、複数の単位画素１０１の間で露光の開始および終了のタイミングが共通する場合には、グローバルシャッタ機能が実現される。ただし、本開示において、複数の単位画素１０１のうちの少なくとも２つの単位画素１０１における露光の開始および終了のタイミングが共通していればよい。ＡＤ変換回路１０５は列毎に設ける必要はなく、画素信号をアナログ信号のまま出力しても構わない。複数の単位画素１０１からの画素信号は、加算または減算されて、演算後の値が列走査回路１０３から出力され得る。または、複数の単位画素１０１からの画素信号はそのまま、列走査回路１０３から出力され得る。
　図４Ａは、単位画素１０１の構成例を示す。図５は、半導体基板１０９Ｄの法線方向に沿った、単位画素１０１の断面を模式的に示す。
　図４Ａに示される単位画素１０１は、光電変換部１０９と、フローティングディフュージョンと、増幅トランジスタＭ１と、選択トランジスタＭ２と、リセットトランジスタＭ３と、を備える。以下、フローティングディフュージョンを「ＦＤ」と表記する。光電変換部１０９は、入射光を光電変換する。ＦＤは、電荷を蓄積する。増幅トランジスタＭ１は、ＦＤに蓄積された電荷を増幅する。選択トランジスタＭ２は、増幅した信号を垂直信号線１０８に出力するかどうかを選択する。リセットトランジスタＭ３は、ＦＤを所望のリセット電位Ｖｒｓｔにリセットする。本明細書において、増幅トランジスタＭ１、選択トランジスタＭ２およびリセットトランジスタＭ３などで構成される回路を「信号処理回路」と呼ぶ。信号処理回路は、光電変換部１０９に電気的に接続され、電気信号を検出する。
　単位画素１０１の光電変換部１０９は、透明電極１０９Ａと、画素電極１０９Ｂと、透明電極１０９Ａと画素電極１０９Ｂとの間に配置される光電変換膜１０９Ｃと、を有する。画素電極１０９Ｂは、信号処理回路に電気的に接続される。ＦＤは半導体基板１０９Ｄ中に設けられており、コンタクトプラグ１０９Ｅを介して画素電極１０９Ｂに電気的に接続される。光電変換膜１０９Ｃの透明電極１０９Ａ側から光が光電変換膜１０９Ｃに入射する。透明電極１０９Ａと画素電極１０９Ｂとの間にバイアス電圧が印加されると、電界が生じる。光電変換によって生じる正および負の電荷のうちの一方が画素電極１０９Ｂによって収集されてＦＤに蓄積される。
　透明電極１０９Ａと画素電極１０９Ｂとの間の電位差は、上述の電源線１０６を介して制御される。例えば、透明電極１０９Ａと画素電極１０９Ｂとの電位差が大きい状態から小さい状態に変化させることで、光電変換膜１０９Ｃで光電変換される電荷の量を減少させることができる。あるいは電位差を調整することにより、光電変換膜１０９Ｃで光電変換される電荷の量をゼロにすることもできる。
　本構成の場合、光電変換膜１０９Ｃに印加するバイアス電圧の大きさを制御するだけで、単位画素１０１における電荷の発生および蓄積を制御することができる。すなわち、従来のように各単位画素に、電荷転送トランジスタおよび転送された電荷を蓄積するための容量などの素子を追加しなくてもよい。バイアス電圧の制御は、例えばコントローラ５００の電圧制御回路５１１によってなされる。複数の単位画素１０１のうち、２つ以上において、バイアス電圧の制御を同時に行うことにより、それら２つ以上の単位画素の間においてシャッタを同時に切ることが可能である。つまり、それらの単位画素の間でグローバルシャッタが実現される。全ての単位画素１０１の間でグローバルシャッタを実現してもよい。あるいは、特定の撮像領域にある単位画素１０１の間でまたは特定の単位画素１０１の間でグローバルシャッタを実現してもよい。さらに、何段階かに分けてシャッタを切っても構わない。
　ＦＤに既に信号電荷が蓄積された状態で、透明電極１０９Ａおよび画素電極１０９Ｂ間の電圧を小さくすると、ＦＤへの電荷の蓄積が停止する。その後、透明電極１０９Ａおよび画素電極１０９Ｂ間の電圧を大きくすると、ＦＤに信号電荷をさらに蓄積することが可能になる。これにより、１フレーム期間内において異なる複数のタイミングでバイアス電圧を制御することによって、１フレーム期間において複数の撮像データを取得することができる。すなわち、複数の撮像データが多重化された多重露光撮像データを、１つのフレーム期間で取得することが可能である。
　従来の撮像素子であれば、複数の撮像データは、異なるフレーム期間毎に取得される複数のデータ群として取り扱う必要があった。本開示によれば、多重露光撮像データを１つのデータとして取り扱うことができる。そのため、本開示は、データ量を削減することができる点、および、後段回路におけるデータ処理の負荷を低減させることができる点で優位性を持つ。
　さらに、撮像装置１００が多重露光撮像データを生成するとき、１つのフレーム期間内の複数のタイミングのそれぞれにおいて、互いに異なるバイアス電圧を電極間に印加してもよい。これにより、互いに感度の異なる複数の撮像データを含む多重露光撮像データを取得することができる。本明細書において、このような多重露光を「感度変調による多重露光」と呼ぶことがある。
　従来の撮像素子では、単位画素に印加する電圧を制御して感度を変調させることは不可能であった。本開示は、バイアス電圧の大きさを制御することにより感度を変調させることができる点で優位性を持つ。なお、上述した、感度変調による多重露光の詳細な説明は、本出願人による例えば特開２００７－１０４１１３号公報に記載されているので、本明細書では省略することとする。これらの開示内容の全てを参考のために本明細書に援用する。
　図４Ｂは、単位画素１０１の他の構成例を示す。
　図４Ｂの単位画素１０１は、光電変換部としてフォトダイオード（以下、ＰＤと呼ぶ）を備える。本構成例の単位画素１０１は、典型的には、ＰＤで発生した電荷をＦＤに転送するための電荷転送トランジスタＭ４をさらに備える。このように、ＰＤを有する単位画素から構成されたイメージセンサを撮像装置１００として利用してもよい。図４Ｂでは電荷転送トランジスタＭ４を設ける構成を示したが、電荷転送トランジスタＭ４を設けない構成としてもよい。
　再度、図１および２を参照する。
　ＩＳＰ３００または撮像装置１００’で処理されたデータは、多重露光撮像データとして読み出され、画像送信インタフェース４００およびコントローラ５００に出力される。なお、撮像装置１００は、多重露光撮像データに加え、当然ながら、単一露光による撮像データを生成してもよい。
　距離測定部６００は、自車両と対象物との間の距離を測定することができる。距離測定部６００は、例えばＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサ、レーザーレーダーおよびソナーなどの装置によって実現され得る。
　進行方向測定部７００は、対象物に対する自車両の相対的な進行方向を測定することができる。対象物に対する自車両の相対的な進行方向とは、例えば対象物に対する自車両の位置関係およびその変化の向きである。進行方向測定部７００は、例えばＴＯＦ、レーザーレーダーおよびソナーなどの装置によって実現され得る。対象物は移動体であってもよく、静止体であってもよい。
　上述したとおり、距離測定部６００および進行方向測定部７００は必須ではない。後述するように、多重露光撮像データを解析することにより、距離および相対的な進行方向といった情報を取得することができる。データ解析によってこれらの情報を取得することより、車両走行制御システム１０００のハードウェアの数を低減することができる。その結果、車両走行制御システム１０００は、簡素化および最適化され得る。当然ながら、制御の種類に応じて、装置およびデータ解析による距離の検出を使い分けるようにしてもよい。
　ＥＣＵ８００は、車載ネットワークの核をなし、エンジン制御、並びに、制動、操舵および加速などの様々な車両の制御を行うユニットである。例えば、ＥＣＵ８００は、検出装置１からの出力に基づいて、車両の制動および加速を制御することができる。また、ＥＣＵ８００は、検出装置１の各種の演算を行うことができる。
　＜１．２．撮像装置１００の基本的動作＞
　先ず、図６Ａおよび図６Ｂを参照して、撮像装置１００の基本的動作を説明する。
　図６Ａは、単位フレーム期間における多重露光の典型的な動作タイミングを示す。図６Ｂは、多重露光撮像データが示す画像の一例を示す。図６Ａにおいて、ＶＤは、単位フレーム期間の開始パルスを示す。２つの開始パルスの間の期間が単位フレーム期間に相当する。制御信号Ｖ２は単位画素１０１の光電変換膜１０９Ｃに印加されるバイアス電圧を示す。
　１フレーム期間の多重露光によって取得される複数の撮像データは、電圧制御回路５１１で生成される制御信号Ｖ２のレベルに応じて取得される。制御信号Ｖ２がＨｉである期間は、露光期間であり、制御信号Ｖ２がＬｏｗである期間は、非露光期間である。露光期間においては、光電変換膜１０９Ｃにおいて光電変換によって生成した電荷が、画素電極１０９Ｂに移動する。一方、非露光期間においては、光電変換膜１０９Ｃにおいて光電変換によって生成した電荷が再結合し、消滅する。
　本実施形態による撮像装置１００は、露光期間、露光回数および感度を変えることができる。具体的に、電圧制御回路５１１は、単位フレーム期間における、制御信号Ｖ２のパルス幅およびパルスの振幅を変えることにより露光を制御することができる。
　図６Ａには、単位フレーム期間に４回以上の露光を、感度を変えずに実施する例を示している。ただし、単位フレーム期間における露光の回数は２回以上であればよい。撮像装置１００は、各露光により取得された複数の撮像データ（第１、第２、・・・、第ｎの撮像データ、ｎは２以上の整数）を含む多重露光撮像データを生成する。従って、多重露光撮像データは、少なくとも第１および第２の撮像データを含む。第１の撮像データは第１の露光期間に取得され、第２の撮像データは第２の露光期間に取得される。本明細書において、各露光期間の間で画素の感度を変えずに行う多重露光を「通常の多重露光」と呼ぶ場合がある。通常の多重露光によれば、例えば静止体を撮像した場合、被写体は、各露光期間において、例えば図３に示される画素アレイにおける同一の複数の単位画素１０１によって撮像されることとなる。これに対し、移動体を撮像した場合、その被写体は、各露光期間において異なる複数の単位画素１０１によって撮像されることとなる。ここで、「各露光期間において異なる複数の単位画素１０１によって撮像される」とは、例えば、第１の露光期間において被写体を撮像した複数の単位画素１０１と、第２の露光期間において被写体を撮像した複数の単位画素１０１とが、一部あるいは全部が一致しないことを指す。その結果、例えば４回以上の露光によって取得された撮像データは、独立な、または一部が重なり合う４つ以上の像として１つの多重露光撮像データに含まれる。図６Ｂには、自車両の前方を走行している車両のナンバープレートを、単位フレーム期間に互いに異なるタイミングで４回撮像して得られる多重露光撮像データが示す画像の一例を示している。
　次に、図７Ａから図７Ｄを参照して、撮像装置１００の応用的な動作を説明する。
　図７Ａは、単位フレーム期間における多重露光の応用的な動作タイミングの例を示す。図７Ｂは、応用例による多重露光撮像データが示す画像の一例を示す。図７Ｃは、単位フレーム期間における多重露光の応用的な動作タイミングの他の例を示す。図７Ｄは、応用例による多重露光撮像データが示す画像の他の一例を示す。
　この応用例では、各露光の間で制御信号Ｖ２のレベルを変更することにより、感度変調による多重露光が実施される。そのため、２つの露光期間の間で感度および露光量が異なる。制御信号Ｖ２のレベルの変更は、例えばパルスの振幅を変更することにより行われる。図７Ａには、単位フレーム期間に感度がそれぞれ異なる４回以上の多重露光を実施する例を示している。制御信号Ｖ２は、露光毎にレベルが異なる電圧に設定される。制御信号Ｖ２のレベルは、図７Ａに示されるような単調増加であってもよい。あるいは、制御信号Ｖ２のレベルは、図７Ｃに示されるような単調減少であってもよい。制御信号Ｖ２のレベルの変化が、例えば図７Ａに示されるような単調増加であった場合、第１の露光期間に取得された第１の撮像データの明度が最も低く、第４の露光期間に取得された第４の撮像データの明度が最も高い。撮像装置１００は、各露光により取得された感度の異なる複数の撮像データを含む多重露光撮像データを生成する。制御信号Ｖ２は任意に設定可能であり、検出目的に応じて様々なパターンを取り得る。例えば、制御信号Ｖ２のレベルは単調増加または単調減少である必要はなく、任意のパターンで増減させてもよい。
　図７Ｂおよび図７Ｄは、自車両の前方を走行している車両のナンバープレートを、単位フレーム期間に４回撮像して得られる多重露光撮像データが示す画像の一例を示している。
　本応用例では、多重露光撮像データにおいて、動きのある被写体を撮像した４つの像の間で明度が異なる。そのため、被写体の動きを時系列で確認することができる。本明細書では、明度は「共通の表示属性の程度」の一例である。共通の表示属性の程度は、明度以外に、例えば彩度および色相の程度であり得る。
　図６Ｂ、図７Ｂおよび図７Ｄは、動きのある同じ被写体を撮像して得られた多重露光撮像データが示す画像の一例を示している。各露光の間で共通の表示属性の程度が全て同じである場合、図６Ｂに示される撮像データが取得される。各露光の間で共通の表示属性の程度が異なる場合、図７Ｂまたは図７Ｄに示される撮像データが取得される。図７Ｂでは、明度が高い像ほど、時系列で後に取得された被写体像であることを示している。また、図７Ｄでは明度が低い像ほど、時系列で後に取得された被写体像であることを示している。これは、後述するように、前方の走行車両を基準とした自車両の相対的な進行方向および相対的な速度を、多重露光撮像データに基づいて検出することが可能であることを意味する。自車両は、第１移動体の一例であり、前方の走行車両は第２移動体の一例である。
　例えば図７Ｂでは、明度の高いナンバープレートの像ほど小さく表示されている。つまり、時系列で後に取得された像ほど小さくなっている。したがって、前方の走行車両に対し自車両は相対的に後進している、または、相対的に減速していると検出できる。同様に、例えば図７Ｄでは、明度の低いナンバープレートの像ほど小さく表示されている。つまり、時系列で後に取得された像ほど小さくなっている。したがって、前方の走行車両に対し自車両は相対的に後進している、または、相対的に減速していると検出できる。
　また別の一例として、各露光の間で露光期間を異ならせることにより、感度を変調することできる。以下、その一例を説明する。
　図８Ａは、単位フレーム期間における多重露光の応用的な動作タイミングの例を示す。図８Ｂは、応用例による多重露光撮像データが示す画像の一例を示す。図８Ｃは、単位フレーム期間における多重露光の応用的な動作タイミングの他の例を示す。図８Ｄは、応用例による多重露光撮像データが示す画像の他の一例を示す。
　この応用例では、第１の露光期間から第４の露光期間までの間で露光の長さが異なる。この応用例ではすべての露光期間の間で露光の長さが異なっているが、少なくとも２つの露光期間の長さが異なっていればよい。各露光の間で露光期間、すなわち、制御信号Ｖ２のパルス幅を変更することにより、感度が変調される。図８Ｂでは明度が高い像ほど、時系列で後に取得された像であることを示している。また、図８Ｄでは明度が低い像ほど、系列で後に取得された像であることを示している。
　例えば図８Ｂでは、明度の高いナンバープレートの像ほど小さく表示されている。つまり、時系列で後に取得された像ほど小さくなっている。したがって、前方の走行車両に対し自車両は相対的に後進している、または、相対的に減速していると検出できる。同様に、例えば図８Ｄでは、明度の低いナンバープレートの像ほど小さく表示されている。つまり、時系列で後に取得された像ほど小さくなっている。したがって、前方の走行車両に対し自車両は相対的に後進している、または、相対的に減速していると検出できる。
　次に、図９Ａから図９Ｄを参照して、幾つかの撮像シーケンスの典型例を説明する。
　図９Ａから図９Ｄは、撮像シーケンスの典型例を示す。
　図９Ａおよび図９Ｂに示されるように、ある撮像シーケンスにおいて、進行方向を検知するためのフレーム期間にだけ感度変調を適用し、その期間に取得された多重露光撮像データに基づいて進行方向を検出してもよい。さらに、残りのフレーム期間においては、通常の多重露光撮像を行ってもよい。以下、進行方向を検知するためのフレームを「方向検知用フレーム」と表記する。
　図９Ｃに示されるように、ある撮像シーケンスの各フレーム期間において感度変調を常に適用させて、各フレーム期間に取得された多重露光撮像データに基づいて進行方向を常に検出してもよい。また、図９Ｄに示されるように、ある撮像シーケンス中の複数のフレーム期間の中から、方向検知用フレーム期間を定期的に設定し、そのフレーム期間にだけ感度変調を適用し、その期間に取得された多重露光撮像データに基づいて進行方向を検出してもよい。また、上述した幾つかの撮像シーケンスの構成をコントローラ５００の制御に従い、走行条件によって切替えながら撮像装置１００を動作させても構わない。
　ある撮像シーケンスにおいて、走行状態を検知するためのフレーム期間を設定し、その期間に取得された多重露光撮像データに基づいて速度を検出し、その速度に基づいて、残りのフレーム期間における多重露光撮像での露光間隔を制御してもよい。以下、走行状態を検知するためのフレームを「走行状態検知用フレーム」と表記する。走行状態検知用フレームは、ある撮像シーケンス中の複数のフレーム期間中に、定期的に設定されてもよい。車速に対し取得データが少なすぎると、検出装置１は、速度変化に正確に追従することが難しい。また、取得データが多すぎると計算量の増加、および、チップの消費電力の増加に繋がる。その結果、高速処理が困難になる。一方、上記のように撮像シーケンスにおいて走行状態検知用フレームを設定し、その測定結果をもとに以降の撮像の露光間隔を制御することで、取得するデータ量を適切な範囲に収めることができ、検出精度を維持できる。
　＜１．３．検出装置１の動作の具体例１＞
　図１０から図１２Ｃを参照して、検出装置１の動作の具体例１を説明する。
　本実施形態による撮像装置１００は、自車両のエンジンが始動すると同時に、撮像を開始する。撮像装置１００は、他車両に含まれる特定対象物を撮像する。コントローラ５００は、感度変調により撮像された特定対象物の第１の撮像データおよび第２の撮像データに基づいて、他車両を基準とした自車両の相対的な進行方向を検出することができる。特定対象物は、規格で寸法が定められている物体である。特定対象物は、例えば他車両のナンバープレート、または、他車両のヘッドライトおよびブレーキライトなどのランプである。
　図１０は、進行方向を検出するための処理フローの一例を示す。本明細書では、コントローラ５００が各処理を実行して、自車両の相対的な進行方向若しくは相対速度またはその両方を検出する例を説明する。各処理の主体は、ＥＣＵ８００であってもよい。換言すると、ＥＣＵ８００が、検出装置１からの出力データに基づいて自車両の相対的な進行方向若しくは相対速度またはその両方を検出してもよい。
　コントローラ５００は、例えば公知の物体認識のアルゴリズムを用いて特定対象物の特徴を検出することができる。コントローラ５００は、その特徴を検出すると、車両進行方向を検出するためのプログラムのブートを開始する。これにより、相対的な進行方向を検出するための処理に移行する（図１０のスタートおよびステップＳ１００）。
　コントローラ５００は、相対的な進行方向の検出を開始する（ステップＳ１１０）。コントローラ５００は、例えば図９Ａに示される撮像シーケンスにおいて、方向検知用フレームを設定する。
　ここで、図６Ａを参照して説明した通常の多重露光に従って多重露光撮像データを取得することを考える。例えば図６Ｂに示される多重露光撮像データにおいて、任意の２つの撮像データの間で、どちらが最初に取得された撮像データであるかの区別は付かない。これは、２つの撮像データの間で共通の表示属性の程度が同じことに起因している。図６Ｂに示される多重露光撮像データにおいて、共通の表示属性は明度である。すなわち、この多重露光撮像データに基づいて、前方の車両を基準とした自車両の相対的な進行方向を検出することは困難である。より具体的には、自車両が相対的に加速して前方車両までの距離が縮まっているのか、あるいは自車両が相対的に減速して他車両までの距離が広がっているのかを明確に判別することはできない。
　撮像装置１００は、例えば図７Ａまたは図７Ｃに示されるように、単位フレーム期間内の複数の露光の間で制御信号Ｖ２のレベルを変えることにより、単位時間当たりの感度を異ならせて複数の撮像を行う。その結果共通の表示属性の程度が異なる複数の撮像データを含む多重露光撮像データを取得することができる。コントローラ５００は、撮像装置１００から出力される多重露光撮像データを受信する。コントローラ５００は、その多重露光撮像データに基づいて共通の表示属性の程度の違いを測定し、２つの撮像データの間で、どちらが先に取得された撮像データであるかを判別することができる。このように、コントローラ５００は、第１および第２の撮像データの各ナンバープレートの像の明度に基づいて相対的な進行方向を検出することができる（ステップＳ１２０）。
　その後、コントローラ５００は、撮像および進行方向検出を継続するかどうかを判定する（ステップＳ１３０）。撮像および進行方向検出を継続する場合、コントローラ５００は、上述のフローを繰り返す。一方、撮像および進行方向検出を終了する場合、コントローラ５００はフローを終了する。
　図１１Ａおよび図１２Ａは、検出装置１を搭載した自車両Ｖが、前方の車両Ｗに追従して走行している様子を模式的に示す。図１１Ｂ、図１１Ｃ、図１２Ｂおよび図１２Ｃは、取得される多重露光撮像データが示す画像の一例を模式的に示す。
　図１１Ａは、特定対象物がナンバープレートである例を示す。図７Ａに示される駆動に従って、撮像装置１００が車両Ｗのナンバープレートを撮像すると、図１１Ｂに示される多重露光撮像データが取得される。この駆動によると、後に取得された撮像データほど、像の明度は高くなる。図１１Ｂに示される多重露光撮像データにおいて、ナンバープレートの像は時系列で徐々に小さくなっている。コントローラ５００は、ナンバープレートの像の明度および大きさの変化に基づいて相対的な進行方向を検出する。この例では、車両Ｗを基準とした自車両Ｖの相対的な進行方向は後方であることが分かる。これから、自車両Ｖの相対速度は減少していることがさらに分かる。
　図１１Ｃは、特定対象物がナンバープレートである別の例を示す。図７Ｃに示される駆動に従って、撮像装置１００がナンバープレートを撮像すると、図１１Ｃに示される多重露光撮像データが取得される。この駆動によると、後に取得された撮像データほど、像の明度は低くなる。図１１Ｃに示される多重露光撮像データにおいて、ナンバープレートの像は時系列で徐々に小さくなっている。この例では、車両Ｗを基準とした自車両Ｖの相対的な進行方向は後方であることが分かる。これから、自車両Ｖの相対速度は減少していることがさらに分かる。
　図１２Ａは、特定対象物がブレーキライトである例を示す。図７Ａに示される駆動に従って、撮像装置１００が車両Ｗのブレーキライトを撮像すると、図１２Ｂに示される多重露光撮像データが取得される。この駆動によると、後に取得された撮像データほど、像の明度は高くなる。図１２Ｂに示される多重露光撮像データにおいて、ブレーキライトの像は時系列に徐々に小さくなっている。このことから、車両Ｗを基準とした自車両Ｖの相対的な進行方向は後方であることが分かる。また、これから、自車両Ｖの相対速度は減少していることがさらに分かる。
　図１２Ｃは、特定対象物がブレーキライトである別の例を示す。図７Ｃに示される駆動に従って、撮像装置１００がナンバープレートを撮像すると、図１２Ｃに示される多重露光撮像データが取得される。この駆動によると、後に取得された撮像データほど、像の明度は低くなる。図１２Ｃに示される多重露光撮像データにおいて、ブレーキライトの像は時系列で徐々に小さくなっている。このことから、車両Ｗを基準とした自車両Ｖの相対的な進行方向は後方であることが分かる。また、これから、自車両Ｖの相対速度は減少していることがさらに分かる。また、特定対象物としてブレーキライトを用いる場合には、多重露光撮像データにおける左右のブレーキライト間の間隔の大小を用いて、相対的な進行方向および相対速度を検出してもよい。
　上述した例において、コントローラ５００は、特定対象物の特徴を検出すると、進行方向の検出を開始したが、本開示はこれに限定されない。例えば、コントローラ５００は、車両のエンジンがかかっている間は常に進行方向の検出を行ってもよい。または、コントローラ５００は、ある一定の間隔で進行方向を検出してもよいし、高速道路への進入を起点にして進行方向の検出を開始してもよい。さらに、コントローラ５００は、ギアが変更された等の内部制御情報の変化を起点にして進行方向を検出してもよい。
　ナンバープレートおよびブレーキランプは特定対象物の一例である。特定対象物は、規格で寸法が決まっているあらゆる対象物であり得る。特定対象物は、例えば車両の速度を測定するために用いられる専用マーカであり得る。撮像装置１００は、相対的な進行方向および相対速度を測定する場合、車両の前方または後方に設置することが好ましい。これにより、測定時の誤差を抑制することができる。また、撮像範囲の広い撮像装置１００を、例えば車両のサイドミラーまたはヘッドライトに設置することにより、その配置が車両の形状およびデザインに与える影響を最小限に抑えることができる。撮像範囲が広いとは、例えば画角が広いことを意味する。
　＜１．４．検出装置の動作の具体例２＞
　図１３Ａから図１３Ｃを参照して、検出装置１の動作の具体例２を説明する。
　図１３Ａは、検出装置１を搭載した自車両が、道路標識Ｓを撮像しながら走行している様子を模式的に示す。図１３Ｂおよび図１３Ｃは、取得される多重露光撮像データに含まれる各撮像データが示す画像を模式的に示す。
　本具体例では、検出装置１は、静止体を撮像して自車両の絶対的な進行方向を検出する。静止体は、例えば、道路に設置された道路標識Ｓである。道路標識Ｓは特定対象物として機能する。図７Ａに示される駆動に従って、撮像装置１００が道路標識Ｓを撮像すると、図１３Ｂまたは図１３Ｃに示される多重露光撮像データが取得される。この駆動によると、後に取得された撮像データほど、像の明度は高くなる。図１３Ｂに示される多重露光撮像データにおいて、画像の右端、つまり車両の最後方の道路標識Ｓの像の明度が最も明るく、最前方の像が最も暗い。これは、自車両が前方方向に走行していることを意味する。
　一方、図１３Ｃに示される多重露光撮像データでは、画像の左端、つまり、車両の最前方の道路標識Ｓの像の明度が最も明るく、最後方の像が最も暗い。これは、自車両が後方に走行していることを意味する。
　このように、検出装置１は、道路標識Ｓの多重露光撮像データに基づいて自車両の絶対的な進行方向を検出することができる。なお、この例において、道路標識Ｓの設置場所を考慮すると、撮像装置１００は、車両側面に設置されることが望ましい。
　＜１．５．検出装置の動作の具体例３＞
　図１４を参照して、検出装置１の動作の具体例３を説明する。
　図１４は、車両の相対的または絶対的な進行方向および速度を検出し、その検出結果に基づいて車両の制動および加速を制御する処理フローの一例を示す。
　コントローラ５００は、上述したような特定対象物の特徴を検出すると（ステップＳ２００）、進行方向および速度を検出するための処理に移行する。
　コントローラ５００は、進行方向および速度の検出を開始する（ステップＳ２１０）。
　コントローラ５００は、例えば方向検知用フレームにおいて多重露光撮像データを取得する。コントローラ５００は、図１０に示される処理フローのステップＳ１２０と同様に、多重露光撮像データ中の第１および第２の撮像データのそれぞれの表示属性の程度を測定して進行方向を検出する（ステップＳ２２０）。
　距離測定部６００、例えばＴＯＦは、例えばコントローラ５００からの開始指示に応答して、自車両から特定対象物までの距離ｄを測定する。コントローラ５００は、距離測定部６００から距離ｄを受け取る（ステップ２３０）。
　コントローラ５００は、多重露光撮像データに含まれる第１および第２の撮像データが示す各特定対象物像の間隔ｍ、自車両から他車両までの距離ｄ、および、第１露光期間と第２露光期間との間の露光間隔ｔを用いて、速度を検出する（ステップＳ２４０）。特定対象物は、例えばナンバープレートである。自車両から他車両までの距離ｄは、正確には距離測定部６００から他車両のナンバープレートまでの距離である。速度は、周辺を走行する車両を基準とした自車両の速度である。
　多重露光撮像データに含まれる第１および第２の撮像データが示す各特定対象物像の間隔は、例えば各特定対象物像の特徴点の間隔で表わすことができる。特徴点は、例えば特定対象物のエッジである。コントローラ５００は、例えば公知のエッジ検出手法を用いて特定対象物のエッジを検出することができる。コントローラ５００は、撮像データ間における特定対象物のエッジの間隔ｌを演算する。
　第１露光期間と第２露光期間との間の露光間隔ｔは、例えば図７Ａに示される。図７Ａにおける露光間隔ｔは、第１の露光期間の終了から第２の露光期間の終了までの期間に相当する。言い換えると、制御信号Ｖ２がＨｉｇｈからＬｏｗになる各タイミングの間隔に相当する。
　例えば、通常の多重露光でナンバープレートを撮像した場合、ナンバープレートの像は車両の進行方向に沿って多重化される。そのため、その情報だけでは、自車両が周辺車両に近づいているのか、または、周辺車両から遠のいているのかを判別することができない。本具体例では、ステップＳ２２０において、自車両の進行方向を示す情報が得られる。したがって検出装置１は、自車両の速度の大きさおよびその向きを含む情報を得ることができる。すなわち、検出装置１は、自車両の正確な速度ベクトルを得ることが可能となる。
　検出装置１は、進行方向および速度を示す情報を、画像送信ＩＦを介してＥＣＵ８００に送信する。
　ＥＣＵ８００は、検出装置１から受信した進行方向および速度を示す情報に基づいて、車両の制動および加速を制御する（ステップＳ２５０）。例えば自動運転のレベル０、１に相当する走行補助を想定した場合、ＥＣＵ８００は、例えば、周辺車両との間隔（距離ｄ）が所定の閾値未満になると、または、速度が所定の閾値を超えると、制動の制御を行う。具体的には、例えば、前方を走行する他車両との距離が所定の値よりも小さくなっていることが検出された場合には、他車両との距離を広げるように自車両のブレーキを作動させてもよく、あるいは他車両のアクセルを作動させるように制御してもよい。また、例えば、前方を走行する他車両との距離が所定の値よりも大きくなっていることが検出された場合には、他車両との距離を縮めるように自車両のアクセルを作動させてもよく、あるいは他車両のブレーキを作動させるように制御してもよい。なお、自動運転のレベルは、日本政府によって定められた、レベル０からレベル４までの自動化の基準を意味する。例えば自動運転のレベル２から４に相当する自動運転または完全自動運転を想定した場合、ＥＣＵ８００は、例えば、自車両と周辺車両との距離ｄ、撮像した道路標識の情報、道路交通情報および地図情報に基づいて制動の制御を行う。地図情報は、例えばＧＰＳ情報である。
　車両走行制御システム１０００によれば、進行方向および速度の検出結果に基づいて、自車両または他車両の走行を制御することができる。例えば、自車両において取得した検出結果を自車両の走行制御に用いることができる。または、自車両において取得した検出結果を他車両の走行制御に用いることができる。なお、ＥＣＵ８００は、検出装置１から受信した進行方向および速度を示す情報に基づいて、車両の制動および加速を制御するための信号を生成し外部に出力するようにしてもよい。この場合には、例えば自車両または他車両の自動運転制御装置がこの信号を受信して自車両または他車両の運転を制御してもよい。
　コントローラ５００は、撮像を継続するか否かを決定する（ステップＳ２６０）。例えば、コントローラ５００は、エンジンがかかっている場合、撮像を継続すると決定し、エンジンが停止している場合、撮像の停止を決定する。コントローラ５００が撮像を継続すると決定すると、処理は再びステップ２００に戻る。
　以上のように、検出装置１およびＥＣＵ８００を備える車両走行制御システム１０００によれば、走行補助、自動運転および完全自動運転に対応した車両走行制御システムおよび当該車両走行制御システムを搭載した車両が提供される。
　ステップＳ２３０において、距離測定部６００が、自車両から対象物までの距離ｄを測定する例を説明したが、本開示はこの限りではない。コントローラ５００は、多重露光撮像データを解析することによっても、距離ｄを算出することが可能である。
　コントローラ５００は、特定対象物の実際の大きさと、多重露光撮像データ中の特定対象物の大きさと、の比較結果に基づいて、自車両から他車両までの距離ｄを算出することができる。特定対象物の実際の大きさは、規格で予め決まっている。距離ｄにおける多重露光撮像データ中の特定対象物の大きさｓは、規格、ならびに、撮像装置１００および光学系２００に関する各種パラメータに基づいて決定される。距離ｄと特定対象物の大きさｓとの対応関係は、例えばプログラムメモリ５３０に予め格納され得る。コントローラ５００は、例えばこの対応関係に基づいて自車両から他車両までの距離ｄを演算することができる。この構成によれば、距離測定部６００は不要になるので、車両走行制御システム１０００を簡素化でき、かつ、システムコストを下げることができる。また、本明細書ではすべての処理を時系列で行ったが、各々の処理の順番を変えたり、各々の処理を並列に行ったりすることも可能である。例えば、連続撮像と並行して、進行方向検出や速度検出を行うことが可能である。この時、撮像したデータはすべて利用されても構わないし、演算に必要な分のみ間引いて利用されても構わない。
　＜１．６．検出装置の動作の具体例４＞
　図１５を参照して、検出装置１の動作の具体例４を説明する。
　図１５は、車両の進行方向、速度および加速度を検出し、その検出結果に基づいて車両の制動および加速を制御する処理フローの一例を示す。
　図１５に示される処理フローは、加速度を検出する処理を含む点で、図１４に示される処理フローとは異なる。以下、その差異点を主として説明する。
　コントローラ５００は、図１０に示される処理フローのステップＳ１２０と同様に、第１および第２の撮像データが示す対象物の像の表示属性の程度を測定して進行方向を検出する。さらに、コントローラ５００は、第２および第３の撮像データが示す対象物の像の表示属性の程度を測定して進行方向を検出する（ステップＳ３２０）。第１から第３の撮像データは、時系列で連続した撮像データ群である。第１および第２の撮像データは典型的には、露光期間が隣り合う隣接した２つの撮像データの組であり、第２および第３の撮像データは典型的には、露光期間が隣り合う隣接した２つの撮像データの組である。ただし、２つの撮像データは、時系列で連続した２つの撮像データの組でなくてもよい。例えば、第１から第４の連続した撮像データのうちの、第１および第２の撮像データの組と、第２および第４の撮像データの組とを選択してもよい。
　コントローラ５００は、第１および第２の撮像データの組に基づいて、大きさおよび向きの情報を含む速度１を得る。ここで、速度は、速度ベクトルで表される。コントローラ５００は、さらに、第２および第３の撮像データの組に基づいて速度２を得る。コントローラ５００は、速度１および速度２の単位時間当たりの変化量を測定することにより加速度を演算する（ステップ３４０）。
　検出装置１は、進行方向、速度１、２および加速度を示す情報を、画像送信ＩＦを介してＥＣＵ８００に送信する。
　ＥＣＵ８００は、検出装置１から受信した、進行方向、速度１、２および加速度を示す情報のうちの少なくとも１つに基づいて、車両の制動および加速を制御することが可能である。
　本具体例によれば、測定された速度および加速度を用いて車両の制動および加速を制御することができる。そのため、自車両の走行状態を連続的に把握することができ、その結果、より安全な制御が可能となる。
　図１６Ａから図２０を参照して、車両の速度および加速度を検出するためのより詳細なアルゴリズムを説明する。本開示のアルゴリズムを説明する前に、参考例のアルゴリズムを説明する。
　図１６Ａは、参考例におけるコントローラの機能ブロックを示す。図１６Ｂは、フレームｔ－１の画像を模式的に示す。図１６Ｃは、フレームｔ－１に続くフレームｔの画像を模式的に示す。図１６Ｄは、フレームｔ－１およびフレームｔの各撮像データから求められる特定対象物の動きを模式的に示す。
　参考例のコントローラは、少なくとも２つのフレームメモリ５１Ａ、５１Ｂ、動きベクトル検出部５２、オブジェクト検出部５３、および速度検出部５４を備える。速度を検出するためのアルゴリズムは、例えば、マイクロコントローラおよびソフトウェアの組み合わせによって実現される。図１６Ａに示す機能ブロックにおける各ブロックは、ハードウェア単位ではなく機能ブロック単位で示している。フレームｔ－１およびフレームｔのそれぞれに対応する撮像データが撮像装置５０から出力される。フレームｔ－１に対応する撮像データは、フレームメモリ５１Ａに一旦保持される。フレームｔに対応する撮像データは、５１Ｂに一旦保持される。
　動きベクトル検出部５２は、フレームｔに対応する撮像データをフレームメモリ５１Ａから読み出し、フレームｔ－１に対応する撮像データをフレームメモリ５１Ｂから読み出す。また、動きベクトル検出部５２は、各撮像データの値を画素ごとに比較し、各撮像データの値に差がある画素群を特定する。さらに、動きベクトル検出部５２は、特定した画素群に基づいて、特定対象物の動きを示す動きベクトル信号を生成する。
　具体的には図１６Ｄに示すように、２つの撮像データを比較することにより、画像上における特定対象物の移動方向および移動量を検出する。
　オブジェクト検出部５３は、フレームｔに対応する撮像データをフレームメモリ５１Ａから読み出し、公知の物体認識のアルゴリズムを用いて特定対象物の特徴部を検出する。特定対象物は、速度検知のための画像解析に用いる対象物である。既に説明したように、特定対象物は、例えば、白線、標識などの路上マーク情報または他車のナンバープレートを指す。本明細書において、静止している特定対象物を固定物体と呼び、動いている特定対象物を運動物体と呼ぶことがある。オブジェクト検出部５３は、形状検出またはエッジ検出などの一般的な検知手法を用いて、特定対象物の特徴部を検出する。
　速度検出部５４は、動きベクトル検出部５２から出力される動きベクトル信号およびオブジェクト検出部５３から出力される検出結果に基づいて、自車速度、他車速度および相対速度の少なくとも１つを算出する。動きベクトル信号が示す動きのある部分に特定対象物が存在する場合、速度検出部５４は、その移動量を速度として検出する。例えば、速度検出部５４は、先ず、画像における路上マーク情報の大きさおよびその移動量に基づいて自車の速度を算出する。次に、速度検出部５４は、自車の速度、他車のナンバープレートの大きさおよびその移動量に基づいて自車の相対速度または他車の相対速度を算出する。
　図１６Ｅは、速度を検出するための参考例のアルゴリズムの処理フローを例示する。動きベクトル検出部５２は、フレームｔの撮像データとフレームｔ－１の撮像データとを用いて、フレームｔの撮像データの予め設定した領域Ｒの全ての画素Ｐ（ｉ，ｊ）における動きベクトルｖ（ｉ，ｊ）を算出する（ステップＳ１０１０、１０１１）。オブジェクト検出部５３は、フレームｔの撮像データの領域Ｒにおいて、指定した特定対象物が存在するか否かを判定する（ステップＳ１０１２、１０１３）。検出した特定対象物の中に固定物体が存在する場合（ステップ１０１４においてＹｅｓ）、速度検出部５４は、固定物体の画像上の大きさおよび動きベクトルｖ（ｉ、ｊ）に基づいて自車の速度Ｖ１を算出する（ステップＳ１０１５）。自車の速度Ｖ１が算出された後、検出した特定対象物の中に運動物体が存在する場合（ステップ１０１６においてＹｅｓ）、速度検出部５４は、自車の速度Ｖ１、運動物体の画像上の大きさおよび動きベクトルｖ（ｉ、ｊ）に基づいて、全ての運動物体の速度Ｖ２ｉを算出する（ステップＳ１０１７、１０１８）。
　本参考例によれば、先ず、自車の速度Ｖ１を決定してから、運動物体の速度Ｖ２ｉを決定する。その後、自車の速度Ｖ１および運動物体の速度Ｖ２ｉに基づいて自車の相対速度または他車の相対速度を決定する。
　次に、多重露光撮像データを用いて速度および加速度を検出するためのアルゴリズムを説明する。図１７は、コントローラ５００の機能ブロックを示す。図１８は、速度および加速度を検出するためのアルゴリズムの処理フローを示す。図１９Ａは、多重露光撮像データの画像の一例である。
　コントローラ５００は、フレームメモリ９１０、双方向ベクトル算出部９２０、オブジェクト検出部９３０、および速度・加速度決定部９４０を備える。速度および加速度を検出するためのアルゴリズムは、例えば、図１に示すマイクロコントローラ５５０およびソフトウェアの組み合わせによって実現される。図１７に示す機能ブロックにおける各ブロックは、ハードウェア単位ではなく機能ブロック単位で示している。ソフトウェアは、例えば、各機能ブロックに対応した特定の処理を実行させるためのコンピュータプログラムを構成するモジュールであり得る。そのようなコンピュータプログラムは、図１に示すプログラムメモリ５３０に格納され得る。マイクロコントローラ５５０は、プログラムメモリ５３０から命令を読み出して各処理を逐次実行することができる。
　フレームメモリ９１０は、図１または図２に示すワーキングメモリ５４０に相当する。フレームメモリ９１０は、１フレーム分の画像データを保持できる容量を有していればよい。フレームメモリ９１０は、多重露光撮像データであるフレームｔの撮像データを保持する。
　双方向ベクトル算出部９２０は、フレームメモリ９１０からフレームｔの撮像データを読み出す。また、双方向ベクトル算出部９２０は、フレームｔの撮像データから特定対象物の特徴部を検出する。特定対象物がフレームｔの期間内に動いている場合、フレームｔの撮像データにおいて特定対象物の特徴部が複数個所で検出される。双方向ベクトル算出部９２０は、画像上における複数個所の特徴部の位置から特定対象物の動きを検出する。
　図１９Ａは、双方向ベクトル算出部９２０によって算出された動きベクトルを示す。図１９Ａに示す動きベクトルは、方向が一意に定まらない。本明細書において、方向が一意に定まらない動きベクトルを「双方向ベクトルｖｂｄ（ｉ，ｊ）」と表記する。
　図１６Ｄに示すように、参考例によれば、時刻の異なる２つのフレームの撮像データを比較するため、特定対象物の特徴部は異なるフレームに存在し、動きベクトルの方向は一意に決定することができる。これに対し多重露光撮像データを用いた場合には、異なる時刻で取得された特定対象物の特徴部は同じ一つのフレーム内に存在する。そのため、動きベクトルの方向は一意に決定することができない。
　図１９Ａに示す画像において、車両のある部分に着目すると、その部分に類似する像が近傍に２つ現れる。一連の像の位置から車両の移動軌跡を認識することはできるが、その両端の像が取得された時間の前後関係を決定することはできない。
　多重露光撮像データを用いる場合には、一連の像の始点および終点を特定するために、撮像条件を異ならせる必要がある。例えば、最初の像を取得する時の露光時間をより長くしてもよい。これにより、最初の像の輝度を大きくすることができ、一連の像の始点を特定することができる。最終的に、双方向ベクトルｖｂｄ（ｉ，ｊ）およびその向きを取得することができる。
　双方向ベクトル算出部９２０は、フレームｔを用いて画素Ｐ（ｉ，ｊ）に対する双方向ベクトルｖｂｄ（ｉ，ｊ）を算出する（ステップＳ１１１０）。双方向ベクトル算出部９２０は、予め設定された領域Ｒ内の全ての画素Ｐ（ｉ，ｊ）について双方向ベクトルｖｂｄ（ｉ，ｊ）を算出する（ステップＳ１１１１）。オブジェクト検出部９３０は、フレームｔの予め設定された領域Ｒに特定対象物が存在するか否かを例えばエッジ検出を用いて判定する（ステップＳ１１２０）。オブジェクト検出部９３０は、フレームｔの撮像データをフレームメモリ９１０から読み出す。オブジェクト検出部９３０は、形状検出またはエッジ検出などの一般的な検知手法を用いて特定対象物の特徴部を検出する。
　図１９Ｂは、多重露光の最後の露光のみ感度を高くして撮像した多重露光画像データが示す画像である。図１９Ｂにおいて、最後に取得された車両の像がＮＩである。最後に取得された車両の像の特徴部のエッジの輝度は、他の像の特徴部のエッジの輝度よりも高い。オブジェクト検出部９３０は、車両の像の特徴部のエッジの輝度を検知する。オブジェクト検出部９３０は、領域Ｒの全てにおいて特定対象物が存在するか否かを判定する（ステップＳ１１２１）。この判定において、固定物体および運動物体が領域Ｒに存在する場合、オブジェクト検出部９３０は、両方の存在を特定してもよい。また、複数の運動物体が領域Ｒに存在する場合、オブジェクト検出部９３０は、複数の運動物体の存在を特定してもよい。
　オブジェクト検出部９３０が固定物体を検出した場合（ステップＳ１１２２のＹｅｓ）、双方向ベクトル算出部９２０は、オブジェクト検出部９３０によって検出された特定対象物の特徴部の位置に基づいて、双方向ベクトルｖｂｄ（ｉ，ｊ）を算出する。さらに、双方向ベクトル算出部９２０は、特定対象物の特徴部のエッジの輝度を比較して、最後に取得された像を特定し、双方向ベクトルｖｂｄ（ｉ，ｊ）の向きを決定する。向きが一意に定まった双方向ベクトルｖｂｄ（ｉ，ｊ）をベクトルｖｄ（ｉ，ｊ）と表記する。
　図１９Ｃは、車両のナンバープレート上の１点に着目したときの動きベクトルを示す。破線のベクトルは、フレームにおける総移動量である全移動量ベクトルｖ（ｉ，ｊ）を表す。実線の各ベクトルは、多重露光における各露光間の移動量であるベクトルｖｄ（ｉ，ｊ）を表している。双方向ベクトル算出部９２０は、ベクトルｖｄ（ｉ，ｊ）の総和に基づいて全移動量ベクトルｖ（ｉ，ｊ）を算出する（ステップＳ１１３０）。双方向ベクトル算出部９２０は、全ての双方向ベクトルｖｂｄ（ｉ，ｊ）に対し全移動量ベクトルｖ（ｉ，ｊ）を算出する（ステップＳ１１３１）。双方向ベクトル算出部９２０は、固定物体の全移動量ベクトルｖ（ｉ，ｊ）を含む双方向ベクトル信号を速度・加速度決定部９４０に出力する。
　速度・加速度決定部９４０は、双方向ベクトル算出部９２０からの双方向ベクトル信号およびオブジェクト検出部９３０からの検出結果に基づいて、車両の速度および加速度を算出する。速度・加速度決定部９４０は、画像内の固定物体の大きさおよび固定物体の全移動量ベクトルｖ（ｉ，ｊ）に基づいて自車速度Ｖ１を算出する。さらに、速度・加速度決定部９４０は、全移動量ベクトルｖ（ｉ，ｊ）に属するベクトルｖｄ（ｉ，ｊ）の変化量に基づいて自車加速度Ａ１を算出する（ステップＳ１１４０）。
　オブジェクト検出部９３０によって運動物体が検出された場合（ステップＳ１１５０においてＹｅｓ）、双方向ベクトル算出部９２０は、オブジェクト検出部９３０による運動物体の検出結果に基づいて、検出した運動物体上の双方向ベクトルｖｂｄ（ｉ，ｊ）を辿り、それらの方向を決定したベクトルｖｄ（ｉ，ｊ）を算出する。さらに、双方向ベクトル算出部９２０は、ベクトルｖｄ（ｉ，ｊ）の総和から全移動量ベクトルｖ（ｉ，ｊ）を運動物体の動きベクトルとして算出する（ステップＳ１１６０）。双方向ベクトル算出部９２０は、全ての双方向ベクトルｖｂｄ（ｉ，ｊ）に対し全移動量ベクトルｖ（ｉ，ｊ）を算出する（ステップＳ１１６１）。双方向ベクトル算出部９２０は、運動物体の全移動量ベクトルｖ（ｉ，ｊ）をさらに含む双方向ベクトル信号を速度・加速度決定部９４０に出力する。
　速度・加速度決定部９４０は、運動物体の動きの量に基づいて速度を検出する。より具体的には、速度・加速度決定部９４０は、双方向ベクトル算出部９２０からの双方向ベクトル信号およびオブジェクト検出部９３０からの検出結果に基づいて決定される運動物体の動きの量を用いて、車両の速度および加速度を算出する。速度・加速度決定部９４０は、自車加速度Ａ１、画像内の運動物体の大きさおよび運動物体の全移動量ベクトルｖ（ｉ，ｊ）に基づいて運動物体速度Ｖ２ｉ、つまり、他車の速度を算出する。さらに、速度・加速度決定部９４０は、運動物体の全移動量ベクトルｖ（ｉ，ｊ）に属するベクトルｖｄ（ｉ，ｊ）の変化量に基づいて他車の加速度Ａ２ｉを算出する（ステップＳ１１７０）。速度・加速度決定部９４０は、オブジェクト検出部９３０によって検出された全ての運動物体に対し、運動物体速度Ｖ２ｉおよび移動体加速度Ａ２ｉを算出する（ステップＳ１１７１）。
　速度・加速度決定部９４０は、算出した自車速度Ｖ１および他車速度Ｖ２ｉに基づいて自車または他車の相対速度を求めることができる。また、速度・加速度決定部９４０は、算出した自車加速度Ａ１、他車加速度Ａ２ｉに基づいて自車または他車の相対加速度を求めることができる。
　図２０は、多重露光撮像データを用いて速度および加速度を検出するコントローラ５００の機能ブロックの他の例を示す。図示するように、オブジェクト検出部９３０が特定対象物を検知する処理の後、双方向ベクトル算出部９２０が双方向ベクトル信号を生成する処理を実行してもよい。
　このように、多重露光撮像データを用いて特定対象物の速度および加速度を検出することが可能となる。これにより、例えば、車両の制動や加速などの運転制御において、制御内容を決定するための演算量を大幅に削減できることが期待される。また、使用するフレームメモリの数を削減することができる。
　参考例では、特定対象物の測定間隔は、イメージセンサの読み出し速度によって律速されていた。多重露光撮像データを用いた場合には、特定対象物の測定間隔は多重露光の各露光の間隔によって規定される。その結果、測定精度を向上させることが可能となる。また、特定対象物の移動量が小さいことからも測定精度の向上が期待される。さらに、速度検知に必要な演算領域を絞り込むことが可能となり、演算量を削減することができる。
　また、本説明では、ベクトルｖｄ（ｉ，ｊ）の総和から全移動量ベクトルｖ（ｉ，ｊ）を運動物体の動きベクトルとして算出して速度を求めた。しかし、例えば、右左折、旋回をしている場合には、速度が著しく変化する。このような場合には、各々のベクトルｖｄ（ｉ，ｊ）から速度、加速度を算出してもよい。また、算出した速度、加速度に基づいてその後の動作を予測したり、自車両または他車両の運転制御を行ってもよい。
　なお、上記実施形態では、多重露光の最後の露光の感度を高くして撮像したが、これには限定されない。例えば、多重露光の最後の露光の感度を低くして撮像してもよく、多重露光の最初の露光の感度を異ならせて撮像してもよい。さらに、多重露光のうちの所定の順番の露光、例えば２番目の露光の感度を異ならせて撮像してもよい。また、感度を異ならせる露光は１つである必要はなく、複数の露光の感度を他の露光の感度と異ならせてもよい。一部の露光の感度を他の露光の感度と異ならせることにより、多重露光画像において各露光に対応する像の前後関係を認識することができる。さらに、他の露光の感度を一定に揃えることにより各露光に対応する像の明度もほぼ同じとなるため、各像の特徴点を検出し易くなる。
　＜１．７．検出装置の動作の具体例５＞
　図２１Ａから図２１Ｃを参照して、検出装置１の動作の具体例５を説明する。
　図２１Ａは、検出装置１を搭載したドローンＤが飛行している様子を模式的に示す。図２１Ｂおよび図２１Ｃは、取得される多重露光撮像データが示す画像の一例を模式的に示す。
　検出装置１は、車両のみならず飛行体にも好適に搭載され得る。検出装置１は、あらゆる移動体の速度検知装置として用いられる。以下、検出装置１をドローンＤに搭載する例を説明する。
　ドローンＤは検出装置１を備える。検出装置１の撮像装置１００は、電柱に貼り付けられた測定用の専用マーカを撮像する。検出装置１は、専用マーカを含む多重露光撮像データを取得し、それを解析することにより例えば速度情報を得る。図２１Ｂ、２１Ｃは、多重露光撮像データが示す画像の一例を示す。
　図７Ａに示す駆動に従って、撮像装置１００が専用マーカを撮像すると、例えば、図２１Ｂまたは図２１Ｃに示す画像が取得される。図７Ａに示す駆動によると、後に取得された像ほど、その明度は高くなる。図２１Ｂに示す画像では、右端の専用マーカ、つまりドローンＤの最後方の専用マーカの像の明度が最も明るく、最前方の専用マーカの像の明度が最も暗い。ドローンＤの前方とは、ドローンＤの正面方向を意味する。図２１Ｂに示す画像は、ドローンＤが前方に向かって飛行していることを意味する。図２１Ｃに示す画像では、左端、つまりドローンＤの最前方の専用マーカの像の明度が最も明るく、最後方の専用マーカの像の明度が最も暗い。こ図２１Ｂに示す画像は、ドローンＤが後方に向かって飛行していることを意味する。
　ドローンＤの飛行は、検出された速度情報に基づいて制御されてもよい。例えば、ドローンＤは、検出装置１および人工知能（ＡＩ）を搭載することにより、無人の自律飛行が可能になる。
　また、ここでは、ドローンＤを例に飛行体における進行方向検出の例を示したが、人や産業制御機器、自律ロボットなど、様々な移動体において、同様の手法における進行方向検出や速度検出が可能である。
　（第２の実施形態）
　本実施形態では、速度を検出するための動作例を主として説明する。
　本実施形態による検出装置２は、例えば図１または図２に示されるハードウェア構成を備えることができる。よって、検出装置２のブロックの説明は省略する。
　＜２．１．検出装置１の動作の具体例１＞
　図２２Ａから図２５を参照して、検出装置２の動作の具体例１を説明する。
　図２２Ａは、検出装置２を搭載した自車両が、道路標識Ｓを撮像しながら走行している様子を模式的に示す。図２２Ｂから図２２Ｄは、取得される多重露光撮像データの画像の一例を模式的に示す。
　図２２Ａに示さるように、移動体である自車両に搭載された検出装置２は、静止体である道路標識Ｓを撮像する。検出装置２は、取得した多重露光撮像データに基づいて車両の絶対速度を検出する。撮像装置１００が、図６Ａに示される駆動に従って通常の多重露光撮像をした場合、例えば図２２Ｂに示される画像が取得される。
　撮像装置１００が、図７Ａまたは図８Ａに示される駆動に従って、感度変調を行いながら多重露光撮像をした場合、例えば図２２Ｃに示される画像が取得される。撮像装置１００が、図７Ｃまたは図８Ｃに示される駆動に従って、感度変調を行いながら多重露光撮像をした場合、例えば図２２Ｄに示される画像が取得される。
　本具体例において、自車両の絶対速度の検出は、通常の多重露光によって実現され得る。本具体例においては、自車両の進行方向の検出は行わないので、感度を変調して多重露光する必要はない。
　図２３Ａは、検出装置２を搭載した自車両が、道路の白線を撮像しながら走行している様子を模式的に示す。図２３Ｂは、取得される画像の一例を模式的に示す。図２４Ａは、検出装置２を搭載した自車両が、電柱に貼り付けられた測定用の専用マーカを撮像しながら走行している様子を模式的に示す。図２４Ｂは、取得される多重露光撮像データが示す画像の一例を模式的に示す。
　図２３Ｂおよび図２４Ｂには、撮像装置１００が、図６Ａに示される駆動に従って通常の多重露光撮像をした場合に取得される多重露光撮像データが示す画像の一例を示している。速度測定を行うための特定対象物は、大きさが規格化された路上設置物であってもよい。特定対象物は、例えば道路標識Ｓ、白線、電柱標識板または信号機であってもよい。特定対象物は、上述したような車両のナンバープレートまたはランプであってもよい。さらに、特定対象物は、大きさが規格化された専用マーカであってもよい。専用マーカとして、複数のマーカが垂直方向に並べられたマーカを用いてもよい。このような専用マーカを用いることにより、車両が前方に移動した場合にも画像における歪みが少なく、測定誤差を生じにくい。
　図２５は、多重露光撮像データに基づいて絶対速度を検出し、絶対速度に基づいて車両の制動および加速を制御する処理フローの一例を示す。
　絶対速度を検出するための処理フローは、図１４に示される処理フローと基本的に同じである。ただし、進行方向を検出するためのステップＳ２２０は省略される。
　第１の実施形態で説明したように、ステップＳ２３０において、自車両から道路標識Ｓまでの距離ｄは、距離測定部６００によって取得されてもよく、コントローラ５００による多重露光撮像データの解析によって取得されてもよい。距離測定部６００は、例えばＴＯＦセンサである。
　図２６Ａは、図２４Ａにおいて道路標識Ｓにより近い側を走行する車両によって取得される多重露光撮像データが示す画像の一例を模式的に示す。図２６Ｂは、図２４Ａにおいて道路標識Ｓからより遠い側を走行する車両によって取得される多重露光撮像データが示す画像の一例を模式的に示す。
　多重露光撮像データ中の道路標識Ｓの大きさは、車両から道路標識Ｓまでの距離ｄに応じて変化する。上述したように、特定対象物の実際の大きさは、規格で予め決まっている。距離ｄにおける多重露光撮像データ中の特定対象物の大きさｓは、規格、ならびに、撮像装置１００および光学系２００に関する各種パラメータに基づいて決定される。コントローラ５００は、道路標識Ｓの実際の大きさと、多重露光撮像データ中の道路標識Ｓの大きさとを比較した結果に基づいて、自車両から道路標識Ｓまでの距離を演算することができる。
　再び図２５を参照する。
　コントローラ５００は、通常の多重露光撮像によって多重露光撮像データを取得する。コントローラ５００は、例えば図２２Ｂに示される多重露光撮像データを取得し、距離ｄ、道路標識Ｓのエッジの間の間隔ｍ、および、隣接する２つの制御信号Ｖ２の間隔ｔから、車両の絶対速度を検出する（ステップＳ２４０）。
　その後、検出装置２は、絶対速度を示す情報を、画像送信ＩＦを介してＥＣＵ８００に送信する。
　ＥＣＵ８００は、検出装置２から受信した絶対速度を示す情報に基づいて、車両の制動および加速を制御することができる。ＥＣＵ８００は、第１の実施形態と同様に、例えば自動運転のレベル０から４に対応する制御を行うことができる。
　上述した例では、コントローラ５００は、特定対象物の特徴を検出すると、車両速度の検出を開始したが、本開示はこれに限定されない。例えば、コントローラ５００は、車両のエンジンがかかっている間は常に車両速度を検出してもよい。または、コントローラ５００は、ある一定の間隔設定される期間においてのみ車両速度を検出してもよい。例えば、コントローラ５００は、図９Ｄに示される方向検知用フレーム期間中にのみ車両速度を検出してもよい。あるいは、コントローラ５００は、高速道路への進入を起点にして車両速度を検出してもよく、ギアが変更された等の内部制御情報の変化を起点にして車両速度を検出してもよい。
　検出装置２によって絶対速度を測定する場合、車両の側面に撮像装置１００を設置してもよい。これにより、測定時の誤差を抑制することができる。
　＜２．２．検出装置２の動作の具体例２＞
　図２７を参照して、検出装置２の動作の具体例２を説明する。
　図２７は、多重露光撮像データに基づいて絶対速度および加速度を検出し、絶対速度および加速度に基づいて車両の制動および加速を制御する処理フローの一例を示す。
　速度および加速度を検出するための処理フローは、図１５に示される処理フローと基本的に同じである。ただし、進行方向を検出するためのステップＳ３２０は省略される。
　本具体例において、コントローラ５００は、多重露光撮像データに基づいて車両の絶対速度および加速度を演算する（ステップＳ３４０）。なお、本具体例による絶対速度および加速度は、図１５に示されるステップＳ３４０で取得される速度および加速度にそれぞれ対応する。
　ＥＣＵ８００は、検出装置２から受信した、絶対速度および加速度の少なくとも１つの情報に基づいて、車両の制動および加速を制御することができる。ＥＣＵ８００は、第１の実施形態と同様に、例えば自動運転のレベル０から４に対応する制御を行うことができる。
　本具体例によれば、測定された絶対速度および加速度を用いて車両の制動および加速を制御することができる。そのため、自車両の走行状態を連続的に把握することができる。その結果、より安全な制御が可能となる。
　＜２．３．検出装置２の動作の具体例３＞
　図２８を参照して、検出装置２の動作の具体例３を説明する。
　図２８は、ＥＣＵ８００によって測定された車両速度をさらに用いて、車両の制動および加速を制御する処理フローの一例を示す。
　図２８に示される処理フローは、図２７に示される処理フローと同様のステップを含む。その処理フローは、ＥＣＵ８００により測定された車両速度を、絶対速度を検出する初期値としてフィードバックするステップＳ３７０、および、ＥＣＵ８００の測定速度と比較して、コントローラ５００の検出速度を補正するステップＳ３８０の少なくとも１つをさらに含む。
　ＥＣＵ８００は、検出装置２とは独立して、例えば車輪の回転数に基づいて車両速度を測定することが可能である。ＥＣＵ８００は、測定した車両速度を検出装置２のコントローラ５００に送信する。ＥＣＵ８００により測定された車両速度は、絶対速度を検出するための初期値としてコントローラ５００に、例えばＣＡＮを介してフィードバックされる。ただし、ＣＡＮとは異なる規格、または独自の規格によってもフィードバック制御は実現され得る。
　コントローラ５００は、ＥＣＵ８００によって測定された速度情報に基づいて決定される初期値を用いて、多重露光撮像データに基づく速度検出を行うことができる（ステップＳ３７０）。
　コントローラ５００は、ＥＣＵ８００によって測定された速度情報を用いて、多重露光撮像データに基づいて検出した車両の速度情報を補正することができる。換言すると、ＥＣＵ８００によって測定された車両速度を用いて、検出装置２を較正することが可能である（ステップＳ３８０）。コントローラ５００によって検出された絶対速度と、ＥＣＵ８００によって測定された車両速度とが比較される。車両の絶対速度は、ＥＣＵ８００によって測定された車両速度に基づいて、その比較結果に応じて補正される。なお、上述したフィードバックの制御および較正の両方が適用されてもよく、一方だけが適用されてもよい。
　本具体例によれば、ＥＣＵ８００と検出装置２との密な連携により、制御における各機構間のオフセットを低減できる。さらに、速度制御におけるフィードバックを高速に実現することができる。
　＜２．４．検出装置２の動作の具体例４＞
　図２９から図３０Ｄを参照して、検出装置２の動作の具体例４を説明する。
　図２９は、多重露光撮像データに基づいて速度を検出し、さらに進行方向を検出して制動および加速の制御を行う処理フローの一例を示す。図３０Ａ、図３０Ｂおよび図３０Ｃは、通常の多重露光により取得される多重露光撮像データが示す画像の一例を模式的に示す。
　図３０Ｃには、前方を走行する車両と自車両が近いときに取得されるナンバープレートの多重露光撮像データが示す画像の一例を示している。図３０Ｄには、前方を走行する車両と自車両が遠いときに取得されるナンバープレートの画像を示している。
　ステップＳ２３０において、距離測定部６００が前方を走行する車両までの距離ｄを測定してもよい。または、コントローラ５００が、例えば図３０Ｃに示される多重露光撮像データを上述した手法で解析することにより、距離ｄを測定してもよい。
　本具体例による検出装置２は、通常の多重露光撮像により取得された多重露光撮像データを解析して車両の速度を取得する（ステップＳ２４０）。具体的には、コントローラ５００は、例えば図３０Ａおよび図３０Ｂに示される多重露光撮像データを取得し、距離ｄ、特定対象物のエッジの間の間隔ｍ、および、隣接する２つの制御信号Ｖ２の間隔ｔから、車両の速度を検出する。
　図３０Ａには、通常の多重露光撮像による取得されるナンバープレートの像の一例を示し、図３０Ｂには、通常の多重露光撮像による取得されるブレーキランプの像の一例を示している。通常の多重露光撮像によると、対象物が車両の進行方向に重畳される。そのため、自車両が加速して前方車両までの距離が縮まっているのか、または、自車両が減速してその距離が遠のいているのかどうかを判別することはできない。
　本具体例によるコントローラ５００は、車両の速度を取得した後、車両の進行方向を検出する（ステップＳ２２０）。例えば、進行方向測定部７００を用いて、車両の進行方向を示す情報を取得することが可能である。進行方向測定部は、例えばＴＯＦセンサである。取得した情報は、コントローラ５００に送信される。進行方向を検出することにより、車両の速度を取得することが可能となる。なお、速度検出用の特定対象物は、ナンバープレートおよびランプに限られず、例えば、車両に貼り付けることが可能な速度検出用マーカであってもよい。
　このように、本実施形態では、撮像の対象物が静止体である場合、コントローラ５００は、自車両の絶対速度を検出することができる。静止体は、例えば道路標識Ｓである。または、撮像の対象物が他の移動体に設けられている場合、コントローラ５００は、他の移動体を基準とした自車両の相対速度を検出することができる。他の移動体は、例えば走行車両であり、撮像の対象物はナンバープレートである。
　相対的な進行方向および相対速度は、自車両または測定対象の車両の制動、加速に用いることができる。一方、絶対的な進行方向および絶対速度は、自車両または測定対象の車両の制動、加速に用いることに加え、その絶対速度の値を用いて、例えば、自車両の制動モードの制御または故障検出に用いることができる。さらに、絶対的な進行方向および絶対速度は、交通規制への違反の判定などに用いることができる。
　検出装置２は、感度変調による多重露光撮像を行い、図１１Ｂまたは図１２Ｂに示される多重露光撮像データを取得してもよい。検出装置２は、その多重露光撮像データを解析することにより進行方向を検出してもよい。
　車両の速度を検出するための多重露光撮像データと、進行方向を検出するための多重露光撮像データとは、異なるフレームにおいて取得されてもよい。具体的には、図２９に示されるように、あるフレームで取得された多重露光撮像データに基づいて速度を検出する（ステップＳ２４０）。その後、別のフレームで取得された多重露光撮像データに基づいて進行方向を検出してもよい（ステップＳ２２０）。または、あるフレームで取得された多重露光撮像データに基づいて速度および進行方向を検出してもよい（ステップＳ２２０）。さらに、処理の順番を入れ替えて、進行方向を検出（ステップＳ２２０）した後で、速度を検出するように変更してもよい（ステップＳ２４０）。速度検出と進行方向の検出を交互に行ってもよい。処理の順序は、車両走行制御システム１０００に最適である限り、あらゆる態様で選択され得る。
　検出装置２は、進行方向および速度に関する情報を、画像送信ＩＦを介してＥＣＵ８００に送信する。ＥＣＵ８００は、検出装置２から受信した進行方向および速度に関する情報に基づいて、車両の制動および加速を制御することができる（ステップＳ２５０）。ＥＣＵ８００は、第１の実施形態と同様に、例えば自動運転のレベル０から４に対応する制御を行うことができる。
　図３１は、多重露光撮像データに基づいて速度および加速度を検出し、さらに進行方向を検出して制動・加速の制御を行う処理フローの一例を示す。
　図３１に示される処理フローは、図２７に示される処理ステップを含み、進行方向を検出するステップＳ３２０をさらに含む。この処理フローによると、ＥＣＵ８００は、進行方向、速度および加速度の少なくとも１つの情報に基づいて車両の制動および加速を制御することができる。自車両の走行状態を連続的に把握することができ、その結果、より安全な制御が可能となる。
　上述したように、感度変調による多重露光は、車両速度の検出に必ずしも必要とされない。また、例えば、検出装置２は、多重露光撮像データ中の複数の輝度情報を用いて周辺車両の進行方向を検出する第１モードと、複数の輝度情報を用いて自車両に対する周辺車両の相対速度を算出する第２モードと、を有していてもよい。検出装置２は、第１および第２モードを所定の期間毎に交互に切替えるようにしてもよい。所定の期間は、例えば、ある一定のフレーム周期であってもよい。また、速度や加速度情報が変化した時、または制動やハンドル動作が行われた時に、第１モードと第２モードとを切り替えるようにしてもよい。
　図３２は、ＥＣＵ８００によって測定される車両速度を用いて、制動・加速の制御を行う処理フローの一例を示す。
　図３２に示されるように、図２８に示される速度および加速度を検出するための処理フローに、進行方向を検出するためのステップＳ３２０を付加することができる。この処理フローによると、ＥＣＵ８００は、進行方向、速度および加速度の少なくとも１つの情報に基づいて車両の制動および加速を制御することができる。ＥＣＵ８００と検出装置２との密な連携により、制御における各機構間のオフセットを低減でき、さらに、速度制御におけるフィードバックを高速に実現することができる。
　＜２．５．検出装置２の動作の具体例５＞
　図３３Ａから図３３Ｃを参照して、検出装置２の動作の具体例５を説明する。
　車両がカーブ路に進入したとき、検出装置２は、多重露光撮像データに基づいて、カーブの内周に対する速度変化および外周に対する速度変化を演算し、内周および外周に対する速度変化に基づいて車両の進入角度を演算することができる。
　図３３Ａは、車両がカーブ路に進入したときの様子を模式的に示す。図３３Ｂは、車両がカーブ路に進入したときにカーブ路の外側を撮像して取得される多重露光撮像データが示す画像の一例を模式的に示し、図３３Ｃは、カーブ路の内側を撮像して取得される多重露光撮像データが示す画像の一例を模式的に示す。
　本具体例による車両走行制御システム１０００は、例えば図２５に示される処理フローに従って、車両の制動・加速および操舵を制御することができる。図３３Ａに示されるように、例えば、カーブ路の内側および外側の路肩に、車両の進入角度を測定するための専用ポールが所定の間隔で設置されているとする。専用ポールには、図２４に示されたマーカと同様の測定用の専用マーカが設置されていてもよい。
　コントローラ５００は、ハンドルの制御、道路交通情報または地図情報よりカーブに車両が進入したことを検知することができる。コントローラ５００は、その検知をトリガーに車両の進入角度を測定することを開始する（ステップＳ２１０）。コントローラ５００は、具体的に、カーブ路の内周に対する速度、および、カーブ路の外周に対する速度を検出するための演算を開始する。以下、カーブ路の内周に対する速度を「内周速度」と表記し、カーブ路の外周に対する速度を「外周速度」と表記する。
　例えば距離測定部６００は、自車両から内側および外側の専用ポールまでの距離ｄ＿ｉｎ、ｄ＿ｏｕｔをそれぞれ測定する。コントローラ５００は、距離測定部６００から距離ｄ＿ｉｎ、ｄ＿ｏｕｔを取得する（ステップＳ２３０）。
　コントローラ５００は、内側のポールを多重露光撮像して取得される多重露光撮像データを取得する。コントローラ５００は、多重露光撮像データ中の第１および第２撮像データの専用ポールの間の間隔ｍ＿ｉｎ、第１露光期間と第２露光期間との間の間隔ｔ＿ｉｎ、および、距離ｄ＿ｉｎを用いて、自車両の内周速度を検出する。これと同様に、コントローラ５００は、外側のポールを多重露光撮像して取得される多重露光撮像データを取得する。コントローラ５００は、多重露光撮像データ中の第１および第２撮像データの専用ポールの間の間隔ｍ＿ｏｕｔ、第１露光期間と第２露光期間との間の間隔ｔ＿ｏｕｔ、および、距離ｄ＿ｏｕｔを用いて、自車両の外周速度を検出する。さらに、コントローラ５００は、自車両の外周速度および内周速度に基づいてカーブへの進入角度を演算する（ステップＳ２４０）。
　検出装置２は、外周および内周速度、または、進入角度の情報を、画像送信ＩＦを介してＥＣＵ８００に送信する。ＥＣＵ８００は、検出装置２から受信したそれらの情報、および、道路交通情報、地図情報などのその他の情報に基づいて、車両の制動、加速および操舵を制御することができる（ステップＳ２５０）。
　上述したように、ＥＣＵ８００で測定された車両速度の情報を、検出装置２の較正に用いてもよく、検出装置２が内周および外周速度を演算するときの初期値として設定してもよく、それらの両方を適用してもよい。さらに、車両走行制御システムにおいて一般に用いられる各種センサで得られる車両速度以外の情報を、ＥＣＵ８００からの車両速度とともにＣＡＮを介して検出装置２にフィードバックしてもよい。各種センサは、例えば操舵角センサや、ヨーレートセンサである。車両速度以外の情報は、例えば操舵角、ヨーレートあるいは加速度である。
　本具体例では、車両の側面に撮像装置１００を設置してもよい。これにより、測定時の誤差を抑制することができる。
　本具体例によれば、ＥＣＵ８００と検出装置２との密な連携により、制御における各機構間のオフセットを低減でき、さらに、制動、加速および操舵などの車両制御におけるフィードバックを高速に実現することができる。
　＜２．６．検出装置２を用いた自己位置推定・自己経路予測の例＞
　具体例１から５において、検出装置２によって検出された速度情報は、自車両の制御にのみ用いられることを説明した。本開示はこれに限らず、検出された速度情報は、例えば、正確な自己位置推定および自己経路予測に好適に用いることができる。
　自己位置推定および自己経路予測には、検出装置２によって取得することが可能な速度、加速度、対象物までの距離などの情報、車両走行制御システム１０００において用いられる各種のセンサからの情報、地図情報、車両間通信データ、および、車両と静止体の間、例えば車両と道路標識の間の通信データなどが活用され得る。
　自己位置推定については、例えば、道路標識などの対象物までの距離を測定し、地図情報の中における対象物の位置情報と、測定した対象物と自車との間の距離情報とを用いることで地図上での自己位置を推定できる。またその後の自己位置の推定は、対象物の位置情報、および、測定した対象物と自車との間の距離情報を基準に行ってもよいし、ある時点で推定された自己位置を基準に、その後に検出した自車の進行方向或いは速度情報を地図情報の中に反映させることで自己位置の推定を継続してもよい。さらに、他の対象物までの距離を測定し、他の対象物の位置情報と、他の対象物と自車との間の距離情報とを用いることで自己位置の推定結果に補正をかけてもよい。なお、生成された地図情報が、例えば、車室内に設けられたディスプレイ或いはユーザの携帯端末に表示されてもよい。また、他の実施の形態として、自己位置の情報と、上述の方法で測定した速度情報或いは加速度情報とを用いて、一定時間経過後の自車の運動状態を予測することができる。この予測結果と、地図情報から得られる周辺の交通情報や目的地に合わせて自車を制御することも可能である。双方の車両が相互に経路予測をできれば、クラウドサーバの活用により、複数台の車両の円滑な走行制御が可能となる。
　車両の速度情報は、周りを走行する周辺車両に発信され得る。検出装置２によって検出された速度情報を周辺車両に発信することにより、車両間の相互制御も可能である。両車両を同時に制御することにより、例えば制動時間および距離などを短縮させることができる。
　例えば、認識ヘッダが付加されたパルス信号を用いて車両間の通信は実現され得る。ただし、通信方式はこれに限られず、周辺車両が送信データを受信できる仕組みであれば方式を問わない。通信は単方向であっても、双方向であってもよい。また、通信方式は、例えば、時分割または波長多重であってもよい。
　例えば、通信にはヘッドライト光が利用され得る。周辺への照射に影響を及ぼさない周波数でヘッドライトをパルス駆動し、他車両がヘッドライトの光をセンシングすることにより、通信が可能となる。この通信方式によれば、通信専用の新たなハードウェアなどを増設する必要がないので、システム規模、コストなどを最小限に抑えることができる。
　また、自己位置推定および自己経路予測に本開示を用いる場合、１つの検出装置２を用いてもよいし、複数の検出装置２を用いてもよい。例えば、前後左右に設けた検出装置２を用いてもよい。また、撮像装置１００のみ複数設け、画像処理、演算は１チップで行ってもよい。
　本実施形態による検出装置２は、第１の実施形態による検出装置１と同様に、ドローンなどの飛行体に好適に搭載され得る。
　（その他）
　撮像装置１００およびＩＳＰ３００を同一のチップに実装し得ることを既に説明したが、撮像装置１００、ＩＳＰ３００およびコントローラ５００を同一のチップに実装することも可能である。このようなチップを用いると、速度および加速度などの演算処理までを１チップで実現できる。近年、データ処理の高速化、低消費電力化、チップサイズの縮小およびコスト低下といったことが要求されている。こういった観点において、１チップ化した構成は最適であると言える。
　本明細書では、光電変換膜を含む複数の単位画素を有する撮像装置の動作例を主として説明したが、例えば従来のシリコンＰＤを用いた撮像装置を用いて撮像することも可能である。その場合、複数の露光の間で露光の長さを変えて感度変調を行うことにより、多重露光撮像データを取得してもよい。
　光電変換膜に印加するバイアス電圧を制御することによりグローバルシャッタを実現する例を説明したが、本開示はこれに限られない。例えば、構成要素は増えるものの、電荷転送トランジスタおよび電荷蓄積容量を設けることにより、バイアス電圧の制御と同様な効果が得られる。また、多重露光に関しても、電荷転送トランジスタおよび電荷蓄積容量を設けることにより、バイアス電圧の制御と同様な効果が得られる。
　本明細書では、検出装置２を主に移動体に搭載して移動体の速度を検出する例を説明した。しかし、検出装置２を静止体に搭載し、静止体が移動体を撮像することによって、移動体の絶対速度を検出することも可能である。例えば、検出装置２を信号機に設置することにより、走行車両の速度違反を取り締まることができる。
　走行制御システム１０００により取得された周辺車両の進行方向の検出結果は、例えば、自車両の加速および減速を制御する自動走行制御に用いることができる。または、運転操作を補助するシステムにおいて、自車両のドライバが、その検出結果に従ってブレーキとアクセルを操作することにより、自車両を加速または減速させてもよい。例えば、前方を走る車両のナンバープレートの像の大きさに基づいて前方車両との距離を検出し、その距離が所定の値よりも小さくなっていることが検出された場合、自車両のブレーキを作動させてもよい。あるいは、減速するように自車両の運転者に警告を出しても良い。また、前方車両との距離が所定の値よりも大きくなっていることが検出された場合、自車両のアクセルを作動させてもよい。あるいは、加速するように自車両の運転者に警告を出しても良い。
　本開示の検出装置、検出装置、および車両走行制御システム、相対的な進行方向、相対速度、および、絶対的な進行方向、絶対速度を検出する能力が求められるあらゆる移動体または静止体に好適に利用される。
１　　検出装置、検出装置
１００　　撮像装置
１０１　　単位画素
１０２　　垂直走査回路
１０３　　水平走査回路
１０４　　電流源
１０５　　ＡＤ変換回路
１０６　　画素電源
１０７　　水平信号線
１０８　　垂直信号線
１０９　　光電変換部
２００　　光学系
３００　　ＩＳＰ
４００　　画像送信ＩＦ
５００　　コントローラ
５１０　　出力ＩＦ
５１１　　電圧制御回路
５２０　　入力ＩＦ
５３０　　プルグラムメモリ
５４０　　ワーキングメモリ
５５０　　マイクロコントローラ
６００　　距離測定部
７００　　進行方向測定部
８００　　ＥＣＵ
１０００　　車両走行制御システム

Claims (21)

  1. 　移動体に設置され、第１のフレーム期間に対象物を複数回撮像して、第１の撮像データおよび第２の撮像データを含む多重露光撮像データを生成する撮像装置と、
    　前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する検出装置と、
    　を備え、
    　前記撮像装置は、前記第１のフレーム期間内の第１露光期間に第１の感度で前記対象物を撮像して前記第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して前記第２の撮像データを生成する、
    　運転制御システム。
  2. 　第１の制御装置を備え
    　前記第１の制御装置は、検出した前記移動体の相対的な運動状態に基づいて、前記移動体の運動状態を変化させるための信号を生成する、請求項１に記載の運転制御システム。
  3. 　第２の制御装置を備え、
    　前記第２の制御装置は、前記信号に基づいて前記移動体の運動状態を変化させる、請求項２に記載の運転制御システム。
  4. 　第１の制御装置を備え、
    　前記対象物は、他の移動体に固定されており、
    　前記第１の制御装置は、検出した前記移動体の相対的な運動状態に基づいて、前記他の移動体の運動状態を変化させるための信号を生成する、請求項１に記載の運転制御システム。
  5. 　第２の制御装置を備え、
    　前記第２の制御装置は、前記信号に基づいて前記他の移動体の運動状態を変化させる、請求項４に記載の運転制御システム。
  6. 　前記移動体は車両である、請求項１から５のいずれか１項に記載の運転制御システム。
  7. 　前記対象物は地面に対して静止しており、
    　前記検出装置は、前記移動体の絶対速度を検出する、請求項１から６のいずれか１項に記載の運転制御システム。
  8. 　前記対象物は地面に対して静止しており、
    　前記検出装置は、前記第１の撮像データに基づいて前記移動体と前記対象物との距離を検出し、前記対象物の位置情報と検出された前記距離とに基づいて、前記移動体の位置情報を生成する、請求項１に記載の運転制御システム。
  9. 　前記第１の撮像データは、前記第１のフレーム期間内の最初の撮像により生成され、
    　前記第２の撮像データは、前記第１のフレーム期間内の最後の撮像により生成される、請求項１から８のいずれか１項に記載の運転制御システム。
  10. 　前記多重露光撮像データに含まれる複数の撮像データのうち、少なくとも前記第２の撮像データを除く他の撮像データは、前記第１の感度で前記対象物を撮像することにより生成される、請求項１から９のいずれか１項に記載の運転制御システム。
  11. 　前記多重露光撮像データに含まれる複数の撮像データのうち、少なくとも前記第１の撮像データを除く他の撮像データは、前記第２の感度で前記対象物を撮像することにより生成される、請求項１から９のいずれか１項に記載の運転制御システム。
  12. 　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の進行方向を検出する、請求項１から１１のいずれか１項に記載の運転制御システム。
  13. 　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対速度を検出する、請求項１から１２のいずれか１項に記載の運転制御システム。
  14. 　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の加速度を検出する、請求項１から１３のいずれか１項に記載の運転制御システム。
  15. 　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の進行方向を検出する第１モードと、前記対象物を基準とした前記移動体の相対速度を検出する第１モードとを、所定の期間毎に切り替える、請求項１から１４のいずれか１項に記載の運転制御システム。
  16. 　制御装置を備え、
    　前記対象物は他の移動体に固定されており、
    　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記移動体と前記対象物との距離の変化を検出し、
    　前記制御装置は、前記距離が所定の値よりも小さくなっていることが検出された場合、
    　前記距離が大きくなるように前記移動体または前記他の移動体の運動状態を変化させるための信号を生成する、請求項１に記載の運転制御システム。
  17. 　制御装置を備え、
    　前記対象物は他の移動体に固定されており、
    　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記移動体と前記対象物との距離の変化を検出し、
    　前記距離が所定の値よりも大きくなっていることが検出された場合、前記距離が小さくなるように前記移動体または前記他の移動体の運動状態を変化させるための信号を生成する、請求項１に記載の運転制御システム。
  18. 　前記検出装置は、前記第１の撮像データおよび前記第２の撮像データが示す前記対象物の各像の特徴点に基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する、請求項１から１７のいずれか１項に記載の運転制御システム。
  19. 　前記第１の制御装置と前記第２の制御装置とは、共通の制御装置である、請求項３または請求項５に記載の運転制御システム。
  20. 　移動体に設置された撮像装置を用いて、第１のフレーム期間内の第１露光期間に第１の感度で対象物を撮像して第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して第２の撮像データを生成することにより、前記第１の撮像データと前記第２の撮像データとを含む多重露光撮像データを生成し、
    　前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を算出し、
    　算出した前記移動体の相対的な運動状態に基づいて、前記移動体の運動状態を変化させるための信号を生成し、
    　生成した前記信号に基づいて前記移動体の運動状態を変化させる、
    　運転制御方法。
  21. 　移動体に設置された撮像装置を用いて、第１のフレーム期間内の第１露光期間に第１の感度で他の移動体に固定された対象物を撮像して第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して第２の撮像データを生成することにより、前記第１の撮像データと前記第２の撮像データとを含む多重露光撮像データを生成し、
    　前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出し、
    　検出した前記移動体の相対的な運動状態に基づいて、前記他の移動体の運動状態を変化させるための信号を生成し、
    　生成した前記信号に基づいて前記他の移動体の運動状態を変化させる、
    　運転制御方法。
PCT/JP2018/000608 2017-01-25 2018-01-12 運転制御システムおよび運転制御方法 WO2018139212A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880001433.5A CN108886585B (zh) 2017-01-25 2018-01-12 驾驶控制系统以及驾驶控制方法
EP18744680.2A EP3576400B1 (en) 2017-01-25 2018-01-12 Operation control system and operation control method
JP2018564468A JP7108856B2 (ja) 2017-01-25 2018-01-12 運転制御システムおよび運転制御方法
US16/217,076 US10473456B2 (en) 2017-01-25 2018-12-12 Driving control system and driving control method
US16/665,912 US11333489B2 (en) 2017-01-25 2019-10-28 Driving control system and driving control method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-011651 2017-01-25
JP2017-011652 2017-01-25
JP2017011651 2017-01-25
JP2017011652 2017-01-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/217,076 Continuation US10473456B2 (en) 2017-01-25 2018-12-12 Driving control system and driving control method

Publications (1)

Publication Number Publication Date
WO2018139212A1 true WO2018139212A1 (ja) 2018-08-02

Family

ID=62979320

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000608 WO2018139212A1 (ja) 2017-01-25 2018-01-12 運転制御システムおよび運転制御方法

Country Status (5)

Country Link
US (2) US10473456B2 (ja)
EP (1) EP3576400B1 (ja)
JP (1) JP7108856B2 (ja)
CN (1) CN108886585B (ja)
WO (1) WO2018139212A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071580A (ja) * 2018-10-30 2020-05-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 情報処理装置、飛行制御方法及び飛行制御システム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11052895B2 (en) * 2016-09-28 2021-07-06 Hitachi Automotive Systems, Ltd. Vehicle control unit
JP6739066B2 (ja) * 2016-09-30 2020-08-12 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体
JP6822815B2 (ja) * 2016-10-17 2021-01-27 トヨタ自動車株式会社 道路標示認識装置
JP7025293B2 (ja) * 2018-07-10 2022-02-24 トヨタ自動車株式会社 自車位置推定装置
CN112513671A (zh) * 2018-08-02 2021-03-16 新唐科技日本株式会社 摄像装置及在该摄像装置中使用的固体摄像元件
US11005662B2 (en) * 2018-08-21 2021-05-11 Ut-Battelle, Llc Multimodal communication system
CN109686106A (zh) * 2019-01-31 2019-04-26 苏州卷积智能信息技术有限公司 封闭停车场伪车牌识别系统及识别方法
JP7331483B2 (ja) * 2019-06-18 2023-08-23 株式会社アイシン 撮像制御装置
CN114026436B (zh) * 2019-06-25 2024-05-24 索尼集团公司 图像处理装置、图像处理方法和程序
CN112185144A (zh) * 2019-07-01 2021-01-05 大陆泰密克汽车系统（上海）有限公司 交通预警方法以及系统
WO2021065367A1 (ja) * 2019-10-03 2021-04-08 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システムおよび撮像方法
KR20210080717A (ko) * 2019-12-20 2021-07-01 주식회사 만도 운전자 보조 장치 및 운전자 보조 방법
CN115097156B (zh) * 2020-05-15 2024-06-04 北京百度网讯科技有限公司 一种自动驾驶中障碍物的速度估计方法、装置和电子设备
US11501452B2 (en) 2020-08-10 2022-11-15 Honeywell International Inc. Machine learning and vision-based approach to zero velocity update object detection
JP7438547B2 (ja) * 2021-03-02 2024-02-27 立山科学株式会社 車両管理システム
CN114419143A (zh) * 2022-01-18 2022-04-29 浙江吉利控股集团有限公司 深度测量方法、深度测量设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015133078A (ja) * 2014-01-15 2015-07-23 株式会社リコー 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム
WO2017010047A1 (ja) * 2015-07-10 2017-01-19 パナソニックＩｐマネジメント株式会社 撮像装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6477377A (en) 1987-09-18 1989-03-23 Bridgestone Corp Rapid instantaneous multiplex image recorder
JPH0177377U (ja) 1987-11-12 1989-05-24
JPH03178277A (ja) 1989-12-07 1991-08-02 Matsushita Electric Ind Co Ltd 固体撮像装置の駆動方法
JP3510758B2 (ja) 1997-03-06 2004-03-29 株式会社エヌ・ティ・ティ・データ 遠隔撮影システム、無線通信機能付き撮影装置
JP4024367B2 (ja) 1997-12-15 2007-12-19 株式会社フォトロン 多板式撮像装置
JPH11242735A (ja) 1998-02-26 1999-09-07 Hitachi Ltd 走行環境認識装置
JP2001197373A (ja) 2000-01-11 2001-07-19 Sony Corp 撮像装置及び受光感度制御方法
JP2002148270A (ja) 2000-11-09 2002-05-22 Bridgestone Corp 粒子速度の測定方法及び粒子速度測定装置
JP2007081806A (ja) 2005-09-14 2007-03-29 Konica Minolta Holdings Inc 撮像システム
JP4511441B2 (ja) 2005-09-30 2010-07-28 富士フイルム株式会社 感度可変型撮像素子及びこれを搭載した撮像装置
JP4511442B2 (ja) 2005-09-30 2010-07-28 富士フイルム株式会社 感度可変型撮像素子及びこれを搭載した撮像装置
JP2008022485A (ja) 2006-07-14 2008-01-31 Canon Inc 画像処理装置及び画像処理方法
US7711147B2 (en) * 2006-07-28 2010-05-04 Honda Motor Co., Ltd. Time-to-contact estimation device and method for estimating time to contact
US8542315B2 (en) 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
KR101442610B1 (ko) 2008-02-18 2014-09-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP2009257982A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP5107154B2 (ja) 2008-06-23 2012-12-26 アイドゲノッシッシェ テヒニッシェ ホッホシューレ チューリッヒ 運動推定装置
JP5414673B2 (ja) 2008-07-07 2014-02-12 三菱電機株式会社 車両走行環境検出装置
JP2010130254A (ja) 2008-11-26 2010-06-10 Panasonic Corp 固体撮像素子、固体撮像装置及びその駆動方法
JP5516960B2 (ja) * 2010-04-02 2014-06-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、および、電子機器
JP2012088217A (ja) 2010-10-21 2012-05-10 Daihatsu Motor Co Ltd 運転支援制御装置
WO2012086123A1 (ja) 2010-12-22 2012-06-28 パナソニック株式会社 撮像装置
JP5497874B2 (ja) 2011-12-22 2014-05-21 富士フイルム株式会社 放射線画像検出器、放射線画像撮像装置、及び放射線画像撮像システム
JP5874476B2 (ja) 2012-03-21 2016-03-02 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2013223043A (ja) 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
WO2014103169A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 撮像装置及びその駆動方法
JP6137965B2 (ja) 2013-07-01 2017-05-31 オリンパス株式会社 電子機器、電子機器の制御方法、及び電子機器の制御プログラム
WO2015025497A1 (ja) 2013-08-23 2015-02-26 パナソニックＩｐマネジメント株式会社 測距システム及び信号発生装置
JP6174975B2 (ja) 2013-11-14 2017-08-02 クラリオン株式会社 周囲環境認識装置
JP6398218B2 (ja) 2014-02-24 2018-10-03 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
JP2016170522A (ja) * 2015-03-11 2016-09-23 株式会社東芝 移動体検出装置
JP6563694B2 (ja) 2015-05-29 2019-08-21 株式会社デンソーテン 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
JP5948465B1 (ja) 2015-06-04 2016-07-06 株式会社ファンクリエイト 映像処理システム及び映像処理方法
EP3840364A1 (en) 2015-12-03 2021-06-23 Panasonic Intellectual Property Management Co., Ltd. Image-capture device
WO2018075997A1 (en) 2016-10-21 2018-04-26 Invisage Technologies, Inc. Motion tracking using multiple exposures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015133078A (ja) * 2014-01-15 2015-07-23 株式会社リコー 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム
WO2017010047A1 (ja) * 2015-07-10 2017-01-19 パナソニックＩｐマネジメント株式会社 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3576400A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071580A (ja) * 2018-10-30 2020-05-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 情報処理装置、飛行制御方法及び飛行制御システム

Also Published As

Publication number Publication date
EP3576400A4 (en) 2019-12-25
EP3576400B1 (en) 2024-05-29
JP7108856B2 (ja) 2022-07-29
EP3576400A1 (en) 2019-12-04
JPWO2018139212A1 (ja) 2019-11-14
US20200056879A1 (en) 2020-02-20
CN108886585B (zh) 2022-01-11
CN108886585A (zh) 2018-11-23
US11333489B2 (en) 2022-05-17
US20190113332A1 (en) 2019-04-18
US10473456B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
WO2018139212A1 (ja) 運転制御システムおよび運転制御方法
US10944912B2 (en) Systems and methods for reducing flicker artifacts in imaged light sources
WO2020195966A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
EP3700198B1 (en) Imaging device, image processing apparatus, and image processing method
US20200057149A1 (en) Optical sensor and electronic device
JP7172603B2 (ja) 信号処理装置、信号処理方法、およびプログラム
US11375137B2 (en) Image processor, image processing method, and imaging device
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
EP3483937B1 (en) Solid-state imaging device, correction method, and electronic device
CN111862226B (zh) 用于车辆中的摄像机校准和图像预处理的硬件设计
US20230045772A9 (en) Information processing apparatus, information processing method, and program
JP6967846B2 (ja) 物体検出方法及び物体検出装置
US20210295563A1 (en) Image processing apparatus, image processing method, and program
KR102374016B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 장치
US20240064431A1 (en) Solid-state imaging device, method of controlling solid-state imaging device, and control program for solid-state imaging device
WO2023162734A1 (ja) 測距装置
US11417023B2 (en) Image processing device, image processing method, and program
WO2021100593A1 (ja) 測距装置及び測距方法
JP2023106153A (ja) 測距装置
WO2023104589A1 (en) Sensor exposure mode control and sensor exposure mode control method
CN118339473A (zh) 传感器曝光模式控制件和传感器曝光模式控制方法
KR20200119790A (ko) 인식 장치와 인식 방법 그리고 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18744680

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018564468

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018744680

Country of ref document: EP

Effective date: 20190826