WO2016159142A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2016159142A1
WO2016159142A1 PCT/JP2016/060495 JP2016060495W WO2016159142A1 WO 2016159142 A1 WO2016159142 A1 WO 2016159142A1 JP 2016060495 W JP2016060495 W JP 2016060495W WO 2016159142 A1 WO2016159142 A1 WO 2016159142A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
frame rate
image
moving object
Prior art date
Application number
PCT/JP2016/060495
Other languages
English (en)
French (fr)
Inventor
佐々本　学
西澤　明仁
永崎　健
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP16773023.3A priority Critical patent/EP3280128A4/en
Priority to US15/561,544 priority patent/US20180082136A1/en
Priority to CN201680018069.4A priority patent/CN107431747B/zh
Publication of WO2016159142A1 publication Critical patent/WO2016159142A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Definitions

  • the present invention relates to an imaging apparatus.
  • Patent Document 1 An apparatus that thins out a captured stereo image and records it on a recording medium is known (see Patent Document 1).
  • Patent Document 1 does not consider processing of images captured at a high frame rate.
  • an imaging apparatus having a plurality of imaging units, and at least one imaging unit among the plurality of imaging units is an imaging unit that captures an image at a first frame rate.
  • at least one imaging unit is an imaging unit that captures an image at a second frame rate higher than the first frame rate, and is based on an image acquired by the imaging unit that captures an image at the second frame rate.
  • a high-performance and low-cost imaging device can be provided.
  • FIG. 1 is a diagram illustrating a configuration of an imaging apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of the timing of the imaging timing signal in the first embodiment.
  • FIG. 3 is a diagram illustrating a processing flow of the imaging apparatus according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of an image captured by the imaging device according to the first embodiment.
  • FIG. 5 is a diagram illustrating another example of the timing of the imaging timing signal in the first embodiment.
  • FIG. 6 is a diagram illustrating a configuration of the imaging apparatus according to the second embodiment.
  • FIG. 7 is a diagram illustrating an example of the timing of the imaging timing signal in the second embodiment.
  • FIG. 8 is a diagram illustrating a configuration of an imaging apparatus according to the third embodiment.
  • FIG. 9 is a diagram illustrating a configuration of an imaging apparatus according to the fourth embodiment.
  • FIG. 10 is a diagram illustrating a configuration of an imaging apparatus according to the fifth embodiment.
  • FIG. 1 is a diagram illustrating a configuration of a first embodiment of an imaging apparatus according to the present invention.
  • Reference numeral 1 denotes an imaging apparatus according to the present embodiment, which is mounted, for example, in front of a vehicle and is configured as a part of a safety system that assists a driver by recognizing signals, signs, obstacles, and the like.
  • Reference numerals 101, 102, and 103 denote imaging units, and optical lenses are attached to the image sensor. These imaging units capture one image each time an imaging timing signal described later is input, and output the captured image.
  • these image pickup units are attached so as to acquire images having an angle of view in substantially the same range. Furthermore, the image capturing unit 101 and the image capturing unit 102 are installed at a predetermined distance from each other to the left and right, and the distance to the subject can be calculated from a shift between images captured by the image capturing unit 101 and the image capturing unit 102, so-called parallax.
  • FIG. 1 illustrates an example in which the components of the imaging device 1 are housed in the same housing.
  • the imaging units 101, 102, and 103 are collectively housed in a housing separate from other components.
  • the image pickup unit 101 and the image pickup unit 102 may be housed in the same case with the image pickup unit 101 and the image pickup unit 102 left and right separated, and the image pickup unit 103 may be housed in another case (dotted line frame in the figure).
  • 101, 102, and 103 may be housed in separate housings and attached to the vehicle.
  • the image signal and the imaging timing signal may be connected by a connection cable (not shown).
  • a connection cable not shown.
  • As a method of transmitting an image using a connection cable there is a bidirectional transmission method using a differential transmission path of an LVDS (Low Voltage Differential Signaling) method.
  • LVDS Low Voltage Differential Signaling
  • the imaging unit 103 is a low cost by using a monochrome image sensor as the image sensor, but may be a color image sensor.
  • the imaging unit 103 and a moving object detection unit 106 may be housed in the same housing, and a moving object detection result may be output. In that case, since the image itself is not output, the amount of data to be transmitted can be reduced.
  • the imaging timing signal generation unit 104 is an imaging timing signal generation unit that outputs, for example, a pulsed imaging timing signal generated to the imaging units 101, 102, and 103. As described above, each imaging unit captures one image by inputting one pulse of the imaging timing signal.
  • the imaging timing signal generation unit 104 can control the imaging timing of each imaging unit by outputting independent imaging timing signals to the imaging units 101, 102, and 103.
  • the distance detection unit 105 is a distance detection unit, which inputs the images of the imaging unit 101 and the imaging unit 102 and detects the distance of the subject. For example, there are the following methods for detecting the distance.
  • the distance detection unit 105 captures images from the imaging units 101 and 102, corrects them with correction values measured in advance so as to match the luminance of the images, and then measures them in advance so as to match the horizontal position. Correct with the correct correction value.
  • the correction value is measured in the manufacturing process of the imaging device.
  • Each correction table is stored in a nonvolatile memory (not shown) for each device, for example.
  • the parallax is calculated.
  • the captured image has parallax.
  • This parallax is calculated.
  • a parallax calculation method for example, there is a block matching method.
  • the distance detection unit 105 searches, for example, in a horizontal direction an area in which the same subject on the image of the imaging unit 102 is reflected, corresponding to a block area of a predetermined size cut out from the image of the imaging unit 101.
  • the difference between the positions of the matching block areas in the imaging unit 101 and the imaging unit 102 is parallax.
  • a position where the sum of luminance differences of pixels in the block region is reduced is set as a parallax. It is publicly known that the distance is obtained from the lens focal length of the imaging unit 101 and the imaging unit 102, the distance between the imaging unit 101 and the imaging unit 102, the parallax obtained above, and the pixel pitch of the imaging sensor. However, the method for calculating the distance is not limited to this.
  • Reference numeral 106 denotes a moving body detection unit that detects the movement of the subject by inputting an image of the imaging unit 103.
  • the moving object detection unit 106 captures an image from the imaging unit 103 and detects a temporal change in the captured image.
  • the moving object detection unit 106 sequentially accumulates, for example, a plurality of images of the imaging unit 103, and moves up and down an area where the same subject on the next image is displayed corresponding to a block area of a predetermined size obtained by cutting a certain image small. Search left and right.
  • the position where the block areas coincide with each other is the direction and amount of movement of the subject in the block area.
  • a method of coincidence comparison there is a method of obtaining a position where the sum of luminance differences of pixels in the block region is reduced, as in the above distance detection.
  • This process is performed over all the images and sequentially for the input images, so that the temporal movement of the subject can be acquired. Furthermore, when the vehicle is moving, the moving object is detected by removing the amount of background movement that accompanies the movement.
  • non-patent literature Akihiro Kiyohara, et al. “Development of moving body detection technology for vehicle periphery monitoring”, ViEW vision technology actual use workshop (2011.12.8-9, Yokohama) pp . 275-280.
  • the detection result is, for example, a vector quantity indicating the direction and magnitude of movement for each block area.
  • the method for detecting the movement of the subject is not limited to this.
  • a recognition unit 107 receives detection results from the distance detection unit 105 and the moving object detection unit 106, and recognizes the distance of the moving object by comparing and referring to the coordinate positions on the image.
  • the recognition unit 107 outputs information of the recognition result to the outside of the imaging device 1.
  • the recognition unit 107 outputs a message to that effect to the imaging timing signal generation unit 104, so that the imaging timing signal generation unit 104 outputs the next imaging timing signal. You may do it.
  • FIG. 2 is a diagram illustrating an example of the pulse waveform timing of the imaging timing signal generated and output by the imaging timing signal generation unit 104.
  • (2-1) is an imaging timing signal output to the imaging unit 101.
  • (2-2) indicates an imaging timing signal output to the imaging unit 102, and (2-3) indicates an imaging timing signal output to the imaging unit 103, respectively.
  • (2-1) and (2-2) simultaneously output to the imaging units 101 and 102 at a cycle of 30 pulses per second, and (2-3) the imaging unit 103 at a cycle of 480 pulses per second. Output to.
  • a 16-pulse timing signal is output in (2-3) during one pulse period (2-1) and (2-2).
  • These imaging timing signals are synchronized, and the imaging timing signals (2-1), (2-2), and (2-3) are simultaneously output at the imaging timings T21, T22, T23, T24, and T25.
  • the imaging units 101, 102, and 103 capture images simultaneously.
  • the image capturing unit 103 captures an image at the same time. Can be done accurately. Note that it is not always necessary to capture images at the same time, and it is also possible to intentionally shift images at a certain time.
  • FIG. 3 is a diagram showing a processing flow of an embodiment of the imaging apparatus of the present invention.
  • the imaging units 101 and 102 detect the distance of the subject, and the imaging unit 103 detects a moving object.
  • S301 S represents a step
  • S302 parallax is detected from the two captured images
  • S303 a distance is calculated from the parallax detected as described above
  • the moving object is detected from the image photographed by the imaging unit 103.
  • the image is captured by the imaging unit 103 (S304), and the movement of the subject is detected from the captured image (S305).
  • the background movement is removed (S306).
  • the processes of S304, S305, and S306 are repeated at the cycle of the imaging timing (2-3) in FIG.
  • the recognition unit 107 recognizes the distance of the moving object (S307).
  • FIG. 4 is a diagram illustrating an example of an image captured by an embodiment of the imaging apparatus of the present invention.
  • Reference numeral 401 denotes an image picked up by the image pickup unit 103 at a certain point in time, and the image pickup units 101 and 102 also capture and acquire almost the same image.
  • Reference numerals 402, 403, and 404 denote subjects, which are at substantially the same distance. The frame in the image is not in the captured image, but explicitly shows the recognized moving object.
  • 402 indicates that a pedestrian who has entered the shooting range due to a sudden jump is captured and recognized as a moving object
  • 403 indicates that the traffic light blue is lit as a moving object.
  • the traffic signal blinks at 100 Hz or 120 Hz (so-called dynamic lighting) because a power source obtained by rectifying a commercial AC power source is used. Therefore, for example, when shooting at a cycle of 30 frames per second, the traffic signal appears to blink or be extinguished.
  • the present embodiment it is possible to detect the distance of the moving object quickly by detecting the distance of the subject with the two imaging units and detecting the moving object with a frame rate higher than the distance detection with another imaging unit. And improve safety. Since the imaging unit for imaging at a high frame rate is independent of the imaging unit for detecting the distance, it can be realized without limiting the distance detection function in addition to the conventional distance detection function.
  • FIG. 5 is a diagram showing another embodiment of the pulse waveform timing of the imaging timing signal generated and output by the imaging timing signal generation unit 104.
  • reference numerals (5-1) and (5-2) denote imaging timing signals output to the imaging units 101 and 102, respectively.
  • (5-3) indicates an imaging timing signal output to the imaging unit 103.
  • the moving object detecting unit 106 detects the imaging timing signal generating unit 104. Notify that it has been done.
  • the imaging timing signal generation unit 104 receives the notification and outputs the imaging timing signal to the imaging units 101 and 102 at the imaging timing T52.
  • the moving object detection unit 106 can output an imaging timing signal in accordance with the lighting timing from a change in the luminance signal. become.
  • the distance detection unit 105 can always keep the traffic signal on, so that the brightness value when detecting the parallax is not affected by the imaging timing, and the distance can be calculated accurately. become.
  • the image sensors of the imaging units 101 and 102 as color pixel sensors, it is possible to accurately determine the color of the lighted signal.
  • the image sensor of the image pickup unit 103 detects a moving object based on a change in the luminance signal, and thus may be a monochrome image sensor, and the cost of the apparatus can be reduced.
  • the distance detection operation is performed according to the state of the moving object. As a result, the distance of the moving object can be detected quickly, and the safety can be improved.
  • FIG. 6 is a diagram showing the configuration of the second embodiment of the imaging apparatus of the present invention.
  • reference numeral 601 denotes an imaging unit
  • 602 denotes a frame rate conversion unit.
  • two imaging units, an imaging unit 601 and an imaging unit 102 are provided as imaging units.
  • the imaging unit 601 and the imaging unit 102 are installed to be separated from each other at a predetermined distance, and the distance to the subject can be calculated from the parallax of images captured by the imaging unit 601 and the imaging unit 102.
  • the imaging timing signal generation unit 104 outputs an imaging timing signal to the imaging unit 601 and the imaging unit 102.
  • FIG. 7 is a diagram illustrating an example of the timing of the imaging timing signal generated and output by the imaging timing signal generation unit 104 in the imaging apparatus shown in FIG.
  • (7-1) is an imaging timing signal output to the imaging unit 601
  • (7-2) is an imaging timing signal output to the imaging unit 102.
  • the signals are simultaneously output to the imaging unit 601 at a cycle of 480 pulses per second
  • 7-2 they are output to the imaging unit 102 at a cycle of 30 pulses per second.
  • imaging timing signals are synchronized, and the imaging timing signals (7-1) and (7-2) are simultaneously output at the imaging timings T71, T72, T73, T74, and T75.
  • the parts 601 and 102 will pick up images simultaneously.
  • the imaging unit 601 and the imaging unit 102 perform imaging according to the imaging timing signal output from the imaging timing signal generation unit 104.
  • the frame rate conversion unit 602 is inserted between the imaging unit 601 and the distance detection unit 105.
  • the frame rate conversion unit 602 reduces the frame rate of the input image and outputs it to the distance detection unit 105.
  • the frame rate conversion includes, for example, a method of thinning and outputting an input image, a method of outputting an average of a plurality of images, and the like.
  • the images at the imaging timings T71, T72, T73, T74, and T75 in FIG. 7 are output to the distance detection unit 105, and the other images are discarded. Thereby, 30 images captured at the same timing by the imaging unit 601 and the imaging unit 102 are input to the distance detection unit 105 per second.
  • the distance detection unit 105 the distance of the subject is detected based on the parallax of images captured at the same timing by the imaging unit 601 and the imaging unit 102, and the imaging unit 601.
  • the image picked up in (5) is input to the moving object detection unit 106 to detect the moving object.
  • the recognition unit 107 receives detection results from the distance detection unit 105 and the moving object detection unit 106, and recognizes the distance of the moving object by comparing and referring to the coordinate positions on the image.
  • the imaging unit 601 and the imaging unit 102 are configured with two imaging units.
  • the imaging unit 601 detects a moving object from an image captured at a high frame rate
  • the frame rate conversion unit 602 includes an imaging unit. Since the image is thinned out and output to the distance detection unit 105 so as to match the frame rate and imaging timing of the image taken in 102, it is realized at a lower cost than the first embodiment of the imaging device of the present invention. The distance detection function with the same performance can be obtained.
  • only two image pickup units are required, it is possible to reduce the size restriction on the vehicle installation due to the light weight of the image pickup unit, the low power consumption, and the reduction in the housing, and the cost can be reduced. .
  • the imaging unit 102 may also shoot at the same high frame rate as the imaging unit 601 and insert a frame rate conversion unit between the distance detection unit 105 in the same manner. In that case, the imaging unit 601 and the imaging unit 102 can employ image sensors having the same performance.
  • FIG. 8 is a diagram showing the configuration of the third embodiment of the imaging apparatus of the present invention.
  • the imaging unit 103 and the moving body detection unit 106 of the first embodiment are housed in separate housings to form a moving body imaging unit indicated by 802, and the remaining portion is a parallax imaging unit indicated by 801.
  • the moving object imaging unit 802 can be added to the parallax imaging unit 801, and it is easy to separately provide a device that performs only distance detection and a device that performs moving object detection in addition to distance detection. It becomes possible.
  • the image itself is not output between the parallax imaging unit 801 and the moving body imaging unit 802, the amount of data to be transmitted can be reduced.
  • FIG. 9 is a diagram showing the configuration of the fourth embodiment of the imaging apparatus of the present invention.
  • the imaging apparatus 1 is mounted on a vehicle such as an automobile, and reference numeral 901 in the figure is a vehicle control unit.
  • the output of the recognition unit 107 is input to the vehicle control unit 901.
  • the vehicle control unit 901 receives the recognition result from the recognition unit 107 and controls other devices (not shown) of the vehicle.
  • Vehicle control includes sudden jumpers, detection of red lights and road signs, lighting of warning lamps for drivers, generation of warning sounds, deceleration by brake braking, stop control, and tracking of preceding vehicles. Throttle, brake control, and other steering angle control for collision avoidance and oblique line maintenance.
  • the vehicle control information is output from the imaging device 1 to another device (not shown) via the in-vehicle network.
  • the vehicle control unit 901 is shown in the same figure as the imaging device 1 in the same housing in the figure, the present invention is not limited to this. As described above, the imaging units 101, 102, and 103 are separated from each other. Also good.
  • FIG. 10 is a diagram showing the configuration of a fifth embodiment of the imaging apparatus of the present invention.
  • 201 is a network imaging unit
  • 203 is a network moving object detection unit.
  • Reference numeral 206 denotes a LAN (Local Area Network), and 205 denotes a control unit.
  • the network imaging unit 201 and the network moving object detection unit 203 are connected to the control unit 205 via the LAN 206.
  • Reference numeral 202 denotes an image compression / interface unit
  • 204 denotes a moving object detection / interface unit
  • 207 denotes a network interface unit
  • 208 denotes an imaging timing information transmission unit
  • 209 denotes an image expansion unit
  • 210 denotes a moving object detection / reception interface unit.
  • the image compression / interface unit 202 compresses an image captured by the imaging unit 101 and the imaging unit 102 and transmits the compressed image to the LAN 206, and receives imaging timing information transmitted from the LAN 206 and transmits it to the imaging units 101 and 102. .
  • an in-screen compression method in which compression is performed within one image without using the temporal correlation of a plurality of images may be used.
  • the video compression encoding method may be selected and switched.
  • the image compression / interface unit 202 generates compression-encoded data and transmits the data according to a predetermined network protocol.
  • the network interface unit 207 receives the compressed image data and transmits the imaging timing information via the LAN 206.
  • the imaging timing information transmission unit 208 transmits imaging timing information indicating the imaging timing at which each imaging unit 101, 102, 103 images.
  • a mechanism for synchronizing time among the network imaging unit 201, the network moving object detection unit 203, and the control unit 205 is provided.
  • the method described in IEEE 1588 or the IEEE 802.1AVB method can be used.
  • the time is periodically synchronized between devices connected to the network.
  • the oscillation period of the reference signal in the network imaging unit 201 is adjusted based on the time information using, for example, a PLL (Phase Locked Loop).
  • the imaging timing can be adjusted by transmitting the absolute time of the synchronized time, the relative time from the time, the time interval, and the like as the imaging timing information.
  • the imaging timing information is transmitted to each of the imaging units 101, 102, and 103 after the power is turned on, for example.
  • the same imaging timing information is transmitted to the imaging units 101 and 102, and imaging timing information that is captured at a higher frame rate than the imaging units 101 and 102 is transmitted to the imaging unit 103.
  • the imaging at the imaging timing shown in FIG. 2 is possible.
  • the imaging units 101, 102, and 103 capture images according to the received imaging timing information while referring to the time synchronized between the devices, so it is not necessary to send the imaging timing information every time. .
  • the image compression / interface unit 202 and the moving object detection / interface unit 204 generate the pulsed imaging timing signals of the above-described embodiment based on the received imaging timing information, and send them to the imaging units 101, 102, 103. Output.
  • the compressed image data received by the network interface unit 207 of the control unit 205 is expanded to an original image by the image expansion unit 209, and the distance detection unit 105 determines the image captured by the imaging unit 101 and the image captured by the imaging unit 102. Output to.
  • the network moving object detection unit 203 detects a moving object from the image captured by the imaging unit 103 based on the imaging timing information received by the moving object detection / interface unit 204.
  • the detection method may be the same as that in the above-described embodiment.
  • a vector amount for each block which is a moving object detection result, is converted into a predetermined format and transmitted to the control unit 205 via the LAN 206.
  • the moving object detection result received by the network interface unit 207 is converted into a vector quantity for each block in the moving object detection reception interface unit 210. Subsequent operations are the same as those in the first embodiment.
  • the amount of processing on the imaging unit side can be reduced, the imaging unit side is lighter, the power consumption is reduced, and the housing is reduced. Therefore, it becomes possible to reduce the dimensional limitation on the vehicle installation.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Abstract

　複数の撮像部を有し、少なくとも１つの撮像部は、第１のフレームレートで撮像する撮像部であり、少なくとも１つの撮像部は、前記第１のフレームレートより高い第２のフレームレートで撮像する撮像部であり、第２のフレームレートで撮像する撮像部で取得した画像に基づいて動体を検出する動体検出部と、前記複数の撮像部で取得した複数の画像の視差に基づいて被写体との距離を検出する距離検出部とを有する。

Description

撮像装置
　本発明は、撮像装置に関する。
　本技術分野の背景技術として、撮像されたステレオ画像を間引いて記録媒体に記録する装置が知られている（特許文献１参照）。
国際公開ＷＯ２０１０／１２８６４０号公報
　しかし、特許文献１に記載の技術は、高フレームレートで撮像された画像の処理については考慮されていない。
　本発明の第１の態様によると、複数の撮像部を有する撮像装置であって、複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートで撮像する撮像部であり、複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートより高い第２のフレームレートで撮像する撮像部であり、第２のフレームレートで撮像する撮像部で取得した画像に基づいて動体を検出する動体検出部と、複数の撮像部で取得した複数の画像の視差に基づいて被写体との距離を検出する距離検出部と、を有するのが好ましい。
　本発明によれば、高性能で低コストの撮像装置を提供することができる。
図１は、第１の実施形態における撮像装置の構成を示す図である。 図２は、第１の実施形態における、撮像タイミング信号のタイミングの一例を示す図である。 図３は、第１の実施形態における撮像装置の処理フローを示す図である。 図４は、第１の実施形態で撮像装置により撮像される画像の例を示す図である。 図５は、第１の実施形態における、撮像タイミング信号のタイミングの別の一例を示す図である。 図６は、第２の実施形態における撮像装置の構成を示す図である。 図７は、第２の実施形態における、撮像タイミング信号のタイミングの一例を示す図である。 図８は、第３の実施形態における撮像装置の構成を示す図である。 図９は、第４の実施形態における撮像装置の構成を示す図である。 図１０は、第５の実施形態における撮像装置の構成を示す図である。
　以下、図面を用いて本発明の実施形態を説明する。
　（第１の実施形態）
　図１は、本発明の撮像装置の第１の実施形態の構成を示す図である。１は本実施形態の撮像装置であり、例えば車両の前方に搭載され、信号や標識、障害物などを認識して運転者を支援する安全システムの一部として構成するものである。
　１０１、１０２、１０３は撮像部であり、画像センサに光学レンズが装着されている。これらの撮像部は、後述する撮像タイミング信号が入力される度に１枚の画像を撮像し、撮像した画像を出力する。
　また、これらの撮像部は、ほぼ同一範囲の画角の画像を取得するように取り付けられる。さらに撮像部１０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部１０１と撮像部１０２で撮影した画像のずれ、いわゆる視差から、被写体までの距離を算出できる。
　なお、図１では撮像装置１の構成要素が同一の筐体に収められる例を示したが、例えば撮像部１０１、１０２、１０３を、他の構成要素とは別の筐体にまとめて収めてもよいし、撮像部１０１と撮像部１０２を左右に離した形で同一の筐体に、撮像部１０３をさらに別の筐体に収めてもよいし（同図点線枠）、さらには撮像部１０１、１０２、１０３をそれぞれ別の筐体に収めて車両に取り付けてもよい。その場合、画像信号と撮像タイミング信号は図示しない接続ケーブルで接続すればよい。接続ケーブルを用いて画像を伝送する方法としては、ＬＶＤＳ（Ｌｏｗ　Ｖｏｌｔａｇｅ　Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｓｉｇｎａｌｉｎｇ）方式の差動伝送路を用いた双方向の伝送方法などがある。
　さらに、撮像部１０１と撮像部１０２の画像センサをカラー画像センサとすることで、撮像した画像の色情報を取得することが可能になる。撮像部１０３については画像センサを白黒画像センサとすることで低コストになるが、カラー画像センサでもよい。また、撮像部１０３と後述の動体検出部１０６を同一の筐体に収め、動体検出結果を出力するように構成してもよい。その場合、画像そのものを出力することがないので、伝送するデータ量の低減が可能になる。
　１０４は撮像タイミング信号生成部であり、生成される例えばパルス状の撮像タイミング信号を撮像部１０１、１０２、１０３に出力する。前述のように、各撮像部は、この撮像タイミング信号を１パルス入力することにより１枚の画像を撮像する。撮像タイミング信号生成部１０４は、撮像部１０１、１０２、１０３に対し、それぞれ独立した撮像タイミング信号を出力することで、各撮像部の撮像タイミングを制御することが可能になる。
　１０５は距離検出部であり、撮像部１０１と撮像部１０２の画像を入力して被写体の距離を検出する。距離を検出する方法として例えば次のような方法がある。距離検出部１０５は、撮像部１０１、１０２からの画像を取り込み、それぞれの画像の輝度を合わせるように予め計測されている補正値で補正し、次に水平位置を合わせるようにこれも予め計測されている補正値で補正する。補正値の計測は、撮像装置の製造工程で行われる。補正値適用前の装置毎で、特定の被写体を撮像し、取得した画像の輝度が均一になるような画素毎の輝度補正値、および画像が水平になるような画素毎の幾何補正値を求め、それぞれ補正テーブルとして、装置毎に例えば図示しない不揮発性メモリに保存しておく。
　次に視差の算出を行う。前述のように、撮像部１０１と撮像部１０２は所定の距離で左右に離れて設置されているので、撮像した画像は視差を持つ。この視差を算出する。視差の算出手法としては、例えば、ブロックマッチング方式がある。距離検出部１０５は、例えば撮像部１０１の画像上から小さく切出した所定のサイズのブロック領域に対応する、撮像部１０２の画像上の同じ被写体が映っている領域を水平方向に探索する。そして撮像部１０１と撮像部１０２における一致したブロック領域の位置の差が視差となる。
　これを全画像に亘って行う。一致比較の手法としては、例えば、ブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。距離は、撮像部１０１、撮像部１０２のレンズ焦点距離、撮像部１０１と撮像部１０２の距離、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、距離の算出方法はこれに限定するものではない。
　１０６は動体検出部であり、撮像部１０３の画像を入力して被写体の動きを検出する。動きを検出する方法としては、例えば次のような方法がある。動体検出部１０６は、撮像部１０３からの画像を取り込み、取り込んだ画像の時間的な変化を検出する。時間的変化の検出方法としては、例えば、これもブロックマッチング方式がある。
　動体検出部１０６は、撮像部１０３の例えば複数枚の画像を順次蓄積し、ある画像を小さく切出した所定のサイズのブロック領域に対応する、次の画像上の同じ被写体が映っている領域を上下左右方向に探索する。そしてブロック領域が一致した位置がそのブロック領域の被写体が動いた方向と量になる。一致比較の手法としては、上記の距離検出と同様にブロック領域内の画素の輝度の差分の総和が小さくなった位置を求める方法などがある。
　これを全画像に亘り、かつ入力される画像についえ順次処理していくことで、被写体の時間的な動きが取得できる。さらに、車両が移動している場合に、その移動に伴う背景の移動分を取り除くことで動体の検出が行われる。背景の動きの推定は、例えば、非特許文献：清原將裕、他「車両周辺監視のための移動体検出技術の開発」ＶｉＥＷビジョン技術の実利用ワークショップ（２０１１．１２．８－９　横浜）ｐｐ．２７５－２８０に記載されている。検出結果としては、例えばブロック領域毎に動きの向きと大きさを示すベクトル量である。ただし、被写体の動きの検出方法はこれに限定するものではない。
　１０７は認識部であり、距離検出部１０５と動体検出部１０６による検出結果を受け取り、画像上の座標位置を比較参照することにより動体の距離を認識する。認識部１０７は、認識結果の情報を撮像装置１の外部へ出力する。
　なお、３枚の画像による認識処理が終了した後に、認識部１０７が撮像タイミング信号生成部１０４に対しその旨を出力することで、撮像タイミング信号生成部１０４は、次の撮像タイミング信号を出力するようにしてもよい。
　図２は、撮像タイミング信号生成部１０４で生成され出力される、撮像タイミング信号のパルス波形タイミングの一例を示す図である。同図中（２－１）は撮像部１０１に出力する撮像タイミング信号である。同様に（２－２）は撮像部１０２に、（２－３）は撮像部１０３にそれぞれ出力する撮像タイミング信号を示す。
　例えば、（２－１）、（２－２）では、１秒当たり３０パルスの周期で同時に撮像部１０１、１０２に出力し、（２－３）では１秒当たり４８０パルスの周期で撮像部１０３に出力する。その場合、図示しないが、（２－１）（２－２）の１パルスの期間に、（２－３）は１６パルスのタイミング信号が出力されることになる。また、これらの撮像タイミング信号は同期しており、（２－１）（２－２）（２－３）の撮像タイミング信号は撮像タイミングＴ２１、Ｔ２２、Ｔ２３、Ｔ２４，Ｔ２５において同時に揃って出力し、その際には撮像部１０１、１０２、１０３は同時に撮像することになる。
　すなわち、撮像部１０１と撮像部１０２で撮像した画像から距離を検出する場合に、撮像部１０３において同じ時間の画像を撮像しているので、前述の動体の距離認識を行う際の画像の比較参照を正確に行うことができる。なお、必ずしも同じ時間に撮像する必要はなく、意図的に一定の時刻ずらして撮影することも可能である。
　図３は、本発明の撮像装置の一実施形態の処理フローを示す図である。前述のように、撮像部１０１および１０２により、被写体の距離を検出し、撮像部１０３により動体を検出する。
  まず、撮像部１０１および１０２により撮影し（Ｓ３０１：Ｓはステップを表す）、撮像した２つの画像から視差を検出する（Ｓ３０２）。次に、上述の通り検出した視差から距離を算出する（Ｓ３０３）。このＳ３０１、Ｓ３０２、Ｓ３０３の処理を図２に示した撮像タイミング（２－１）（２－２）の周期で繰り返す。
　また、撮像部１０３により撮影した画像から動体を検出する。前述のように、撮像部１０３により撮影し（Ｓ３０４）、撮像した画像から被写体の動きを検出する（Ｓ３０５）。次に背景の移動分を取り除く（Ｓ３０６）。このＳ３０４、Ｓ３０５、Ｓ３０６の処理を図２の撮像タイミング（２－３）の周期で繰り返す。そして、認識部１０７において動体の距離を認識する（Ｓ３０７）。
　図４は、本発明の撮像装置の一実施形態で撮像される画像の例を示す図である。４０１はある時点で撮像部１０３により撮像された画像であり、撮像部１０１、１０２もほぼ同様の画像を撮影し取得している。４０２、４０３、４０４は被写体であり、ほぼ同じ距離にあるものとする。画像内の枠は撮像した画像にはなく、認識した動体を明示的に示したものである。
　４０２は急な飛び出しにより撮影範囲に入ってきた歩行者を捉え動体として認識していることを示し、４０３は交通信号の青が点灯していることを動体として認識していることを示す。交通信号は商用交流電源を整流した電源を用いるため１００Ｈｚあるいは１２０Ｈｚで点滅している（いわゆるダイナミック点灯）。従って例えば１秒当たり３０枚の周期で撮影した場合、交通信号が明滅あるいは消灯しているように見えてしまう。
　そこで本実施形態のように、例えば１秒当たり４８０枚の周期で撮影することで、交通信号の点灯している期間を正確に捉えることが可能になる。４０４も歩行者で、被写体４０２、４０３とほぼ同じ距離にあるが、静止しているため動体としては認識していない。このように、本実施形態によれば、急な飛び出し者や信号機やそれ以外のダイナミック点灯している表示器を的確にとらえることが可能になる。
　本実施形態によれば、２つの撮像部で被写体の距離を検出すると共に、別の撮像部で距離検出よりも高いフレームレートで動体を検出することで、素早く動体の距離を検出することが可能になり、安全性を向上できる。高いフレームレートで撮像する撮像部は距離を検出するための撮像部と独立しているので、従来の距離検出機能に追加する形で距離検出機能を制限することなく実現できる。
　図５は、撮像タイミング信号生成部１０４で生成され出力される、撮像タイミング信号のパルス波形タイミングの別の実施形態を示す図である。同図中（５－１）（５－２）は撮像部１０１、１０２にそれぞれに出力する撮像タイミング信号である。（５－３）は撮像部１０３に出力する撮像タイミング信号を示す。
　同図中、撮像タイミングＴ５１において、前述の急な飛び出し者を、撮像部１０３で撮影した画像から動体検出部１０６により動体として検出した場合、動体検出部１０６は撮像タイミング信号生成部１０４に対し検出した旨を通知する。撮像タイミング信号生成部１０４は、その通知を受け、撮像タイミングＴ５２において、撮像部１０１、１０２に撮像タイミング信号を出力する。
　撮像タイミングＴ５２の直前の撮像タイミング信号で撮影された画像は撮像途中であるため破棄されるが、撮像タイミングＴ５２から撮像をし直すので、動体の距離を早く取得することが可能になる。また、前述の交通信号のようにダイナミック点灯している表示器を捉えた場合、動体検出部１０６において、輝度信号の変化から、点灯しているタイミングに合わせて撮像タイミング信号を出力することも可能になる。
　その場合、距離検出部１０５においては、常に交通信号が点灯した状態とすることができるので、視差を検出する場合の輝度値が撮像タイミングによる影響を受けず、正確に距離を算出することが可能になる。この場合、撮像部１０１、１０２の画像センサをカラー画素センサとすることで、点灯している信号の色を正確に判別することが可能になる。
　その際、撮像部１０３の画像センサは、輝度信号の変化により動体検出をするので、白黒画像センサでもよく、装置のコスト低減が図れる。
　本実施形態によれば、２つの撮像部で被写体の距離を検出すると共に、別の撮像部で距離検出よりも高いフレームレートで動体を検出する際、動体の状態に合わせて距離検出の動作を行うので、素早く動体の距離を検出することが可能になり、安全性を向上できる。
（第２の実施形態）
　図６は、本発明の撮像装置の第２の実施形態の構成を示す図である。同図中６０１は撮像部、６０２はフレームレート変換部である。本実施形態では、撮像部として撮像部６０１と撮像部１０２の２つの撮像部を備える。撮像部６０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部６０１と撮像部１０２で撮影した画像の視差から、被写体までの距離を算出できる。また、撮像タイミング信号生成部１０４は、撮像部６０１と撮像部１０２に対し、撮像タイミング信号を出力する。
　図７は、図６に示す撮像装置における、撮像タイミング信号生成部１０４で生成され出力される、撮像タイミング信号のタイミングの一例を示す図である。同図中（７－１）は撮像部６０１に出力する撮像タイミング信号であり、（７－２）は撮像部１０２に出力する撮像タイミング信号を示す。（７－１）では、例えば１秒当たり４８０パルスの周期で同時に撮像部６０１に出力し、（７－２）では、１秒当たり３０パルスの周期で撮像部１０２に出力する。
　これらの撮像タイミング信号は同期しており、（７－１）（７－２）の撮像タイミング信号は、撮像タイミングＴ７１、Ｔ７２、Ｔ７３，Ｔ７４，Ｔ７５では同時に揃って出力し、その際には撮像部６０１と１０２は同時に撮像することになる。
　再び図６に戻って説明する。前述のように、撮像部６０１、撮像部１０２は、撮像タイミング信号生成部１０４から出力される撮像タイミング信号に従って撮像を行う。フレームレート変換部６０２は撮像部６０１と距離検出部１０５の間に挿入されている。フレームレート変換部６０２は、入力した画像のフレームレートを落として距離検出部１０５に出力する。
　フレームレートの変換は、例えば、入力された画像を間引いて出力する方法や、複数枚の画像の平均をとって出力する方法などがある。ここでは、図７の撮像タイミングＴ７１、Ｔ７２、Ｔ７３、Ｔ７４、およびＴ７５の画像を距離検出部１０５に出力し、それ以外の画像は破棄する。これにより、距離検出部１０５には、撮像部６０１、および撮像部１０２によって同じタイミングに撮影された画像が１秒当たり３０枚入力される。
　これ以降の動作は、第１の実施形態と同じであり、距離検出部１０５において、撮像部６０１と撮像部１０２によって同じタイミングで撮像した画像の視差により被写体の距離を検出するとともに、撮像部６０１で撮像した画像を動体検出部１０６に入力し、動体検出を行う。認識部１０７は、距離検出部１０５と動体検出部１０６による検出結果を受け取り、画像上の座標位置を比較参照することにより動体の距離を認識する。
　本実施形態では、撮像部６０１と撮像部１０２の２つの撮像部で構成し、撮像部６０１において、高いフレームレートで撮影した画像から動体検出を行い、また、フレームレート変換部６０２において、撮像部１０２において撮影された画像のフレームレート、撮像タイミングに合わせるように、画像を間引き、距離検出部１０５に出力するので、本発明の撮像装置の第１の実施形態に比べ、低コストで実現することが可能で、同様の性能の距離検出機能が得られる。また、撮像部が２つでよいので、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になり、低コスト化できる。なお、撮像部１０２についても撮像部６０１と同じ高いフレームレートで撮影し、距離検出部１０５との間にフレームレート変換部を同様に挿入してもよい。その場合、撮像部６０１と撮像部１０２は同じ性能の画像センサを採用できる。
（第３の実施形態）
　図８は、本発明の撮像装置の第３の実施形態の構成を示す図である。本実施形態では、第１の実施形態の撮像部１０３と動体検出部１０６を別筐体に収め、８０２で示す動体撮像部とし、残りの部分を８０１で示す視差撮像部としたものである。この場合、視差撮像部８０１に動体撮像部８０２を追加して構成することが可能になり、距離検出のみを行う装置と、距離検出に加え動体検出を行う装置を分けて提供することが容易に可能になる。また、この実施形態の場合、視差撮像部８０１と動体撮像部８０２の間を、画像そのものを出力することがないので、伝送するデータ量の低減が可能になる。
（第４の実施形態）
　図９は、本発明の撮像装置の第４の実施形態の構成を示す図である。撮像装置１は、自動車などの車両に搭載されており、同図中９０１は車両制御部である。認識部１０７の出力が車両制御部９０１に入力されている。車両制御部９０１は、認識部１０７による認識結果を受け、車両の他の図示しない装置に対し制御を行う。車両の制御としては、急な飛び出し者や、赤信号や道路標識を検出したことによる、運転者への警告ランプの点灯、警告音の発生、ブレーキ制動による減速、停止制御、先行車追従時のスロットル、ブレーキ制御、その他の衝突回避や斜線維持のための舵角制御などである。これらの車両制御情報は撮像装置１から図示しない他の装置に対して、車内ネットワークを介して出力する。なお、同図では車両制御部９０１は撮像装置１とは同一筐体に収められる例を示したが、それに限るものではなく、前述のように、撮像部１０１、１０２、１０３を別筐体としてもよい。
（第５の実施形態）
　図１０は、本発明の撮像装置のさらに第５の実施形態の構成を示す図である。２０１はネットワーク撮像部、２０３はネットワーク動体検出部である。２０６はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）であり、２０５は制御部である。ネットワーク撮像部２０１、ネットワーク動体検出部２０３は、ＬＡＮ２０６を介して制御部２０５と接続されている。また、２０２は画像圧縮・インタフェース部、２０４は動体検出・インタフェース部、２０７はネットワークインタフェース部、２０８は撮像タイミング情報送信部、２０９は画像伸張部、２１０は動体検出受信インタフェース部である。
　画像圧縮・インタフェース部２０２は、撮像部１０１、撮像部１０２で撮影した画像を圧縮してＬＡＮ２０６に送信し、またＬＡＮ２０６から送られてくる撮像タイミング情報を受信して撮像部１０１、１０２に伝達する。画像圧縮の処理時間を少なくするため、複数の画像の時間的相関関係を使わず、一枚の画像内で圧縮を行う画面内圧縮方式を用いてもよい。また、映像圧縮符号化方式を選択して切り換えてもよい。画像圧縮・インタフェース部２０２は、圧縮符号化データを生成し、所定のネットワークプロトコルに従ってデータを送信する。
　制御部２０５においては、ネットワークインタフェース部２０７において、圧縮画像データの受信と撮像タイミング情報の送信を、ＬＡＮ２０６を介して行う。撮像タイミング情報送信部２０８では、各撮像部１０１、１０２、１０３が撮像する撮像タイミングを示す撮像タイミング情報を送信する。本実施形態においては、ネットワーク撮像部２０１、ネットワーク動体検出部２０３と制御部２０５の間で、時刻を同期させる仕組みを設けている。
　時刻を同期させる方法としては、例えばＩＥＥＥ１５８８に記載された方法や、ＩＥＥＥ８０２．１ＡＶＢの方式を用いることができる。そのような時刻情報を送受する方法を用いてネットワークに接続する機器間で定期的に時刻を同期させる。例えば、ネットワーク撮像部２０１における基準信号の発振周期を例えばＰＬＬ（Ｐｈａｓｅ　Ｌｏｃｋｅｄ　Ｌｏｏｐ）を用いて時刻情報をもとに調節する。
　このようにすることにより、基準信号の周期を機器間で一致させ、時刻を同期することができる。その状態で、撮像タイミング情報として、同期している時刻の絶対時間や、そこからの相対時間、時間間隔などを送信することで、撮像タイミングを合わせることが可能になる。撮像タイミング情報は、例えば電源投入後に各撮像部１０１、１０２、１０３に対し送信する。本実施形態では、撮像部１０１、１０２に対しては同じ撮像タイミング情報を、撮像部１０３に対しては、撮像部１０１、１０２より高いフレームレートで撮像するような撮像タイミング情報を送信することで、前述の図２に示した撮像タイミングでの撮像が可能になる。撮像タイミング情報が相対時間や時間間隔の場合、撮像部１０１、１０２、１０３では、機器間で同期した時刻を参照しながら受信した撮像タイミング情報に従って撮像するので、撮像タイミング情報は毎回送る必要はない。
　画像圧縮・インタフェース部２０２と、動体検出・インタフェース部２０４においては、受信した撮像タイミング情報をもとに、前述の実施形態のパルス状の撮像タイミング信号を生成し、撮像部１０１、１０２、１０３に出力する。
　制御部２０５のネットワークインタフェース部２０７で受信した圧縮画像データは、画像伸張部２０９において元の画像に伸張され、撮像部１０１で撮影された画像と撮像部１０２で撮影された画像を距離検出部１０５に出力する。
　一方、ネットワーク動体検出部２０３においては、動体検出・インタフェース部２０４で受信した撮像タイミング情報をもとに撮像部１０３で撮像した画像から動体を検出する。検出の方式は、前述の実施形態と同様の方式でよい。動体検出結果であるブロック毎のベクトル量を所定のフォーマットに変換してＬＡＮ２０６を介して制御部２０５に送信する。制御部２０５においては、ネットワークインタフェース部２０７で受信した動体検出結果を動体検出受信インタフェース部２１０においてブロック毎のベクトル量にフォーマットを変換する。以降の動作は最初の実施形態と同様である。
　本実施形態によれば、ＬＡＮ２０６を介して画像や撮像タイミング情報をやり取りするので、撮像部側の処理量を減らすことができ、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になる。また、ネットワーク撮像部２０１と制御部２０５で構成される撮像装置に、ネットワーク動体検出部２０３を追加して構成することが可能になり、距離検出のみを行う装置と、距離検出に加え動体検出を行う装置を分けて提供することが容易に可能になる。また、ネットワーク動体検出部２０３と制御部２０５の間を、画像そのものを出力することがないので、伝送するデータ量の低減が可能になる。
　以上のように、２つの撮像部で被写体の距離を検出すると共に、距離検出よりも高いフレームレートで動体を検出することで、素早く動体の距離を検出することが可能になり、高性能で低コストの装置を提供できる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１５年第０７６４３５号（２０１５年４月３日出願）
１…撮像装置、１０１～１０３…撮像部、１０４…撮像タイミング信号生成部、１０５…距離検出部、１０６…動体検出部、１０７認識部、４０１…撮影画像、４０２～４０４…被写体、６０１…撮像部、６０２…フレームレート変換部、８０１…視差撮像部、８０２…動体撮像部、９０１…車両制御部、２０１…ネットワーク撮像部、２０２…画像圧縮・インタフェース部、２０３…ネットワーク動体検出部、２０４…動体検出・インタフェース部、２０５…制御部、２０６…ＬＡＮ、２０７…ネットワークインタフェース部、２０８…撮像タイミング情報送信部、２０９…画像伸張部、２１０…動体検出受信インタフェース部。

Claims (10)

  1. 　複数の撮像部を有する撮像装置であって、
    　前記複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートで撮像する撮像部であり、
    　前記複数の撮像部のうち、少なくとも１つの撮像部は、前記第１のフレームレートより高い第２のフレームレートで撮像する撮像部であり、
    　前記第２のフレームレートで撮像する撮像部で取得した画像に基づいて動体を検出する動体検出部と、
    　前記複数の撮像部で取得した複数の画像の視差に基づいて被写体との距離を検出する距離検出部と、
    を有する撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　さらに、前記動体検出部と前記距離検出部の出力に基づいて前記動体との距離を認識する認識部を有する撮像装置。
  3. 　請求項１に記載の撮像装置において、
    　同期したタイミングで撮像するための撮像タイミング信号を前記複数の撮像部にそれぞれ出力する撮像タイミング信号生成部を有し、
    　前記複数の撮像部は、入力する撮像タイミング信号に基づいて撮像する撮像装置。
  4. 　請求項１に記載の撮像装置において、
    　さらに、前記第２のフレームレートで撮像する撮像部で撮像した画像のフレームレートを、前記第１のフレームレートで撮像する撮像部のパラメータに基づいて定められたフレームレートに変換するフレームレート変換部を有する撮像装置。
  5. 　請求項３に記載の撮像装置において、
    　前記撮像タイミング信号生成部は、前記動体検出部の出力に基づいて、前記複数の撮像部に出力する撮像タイミング信号を制御する撮像装置。
  6. 　請求項４に記載の撮像装置において、
    　前記フレームレート変換部は、前記動体検出部の出力に基づいて、前記第２のフレームレートで撮像する撮像部で撮像した画像のフレームレートを変換するよう制御する撮像装置。
  7. 　請求項５に記載の撮像装置において、
    　前記撮像タイミング信号生成部は、前記動体検出部の出力に基づいて、前記第１のフレームレートで撮像する撮像部に出力する撮像タイミング信号を制御する撮像装置。
  8. 　請求項３に記載の撮像装置において、
    　前記複数の撮像部と、前記撮像タイミング信号生成部とが、ネットワークを介して接続され、
    　前記撮像タイミング信号生成部は、前記複数の撮像部に対し、それぞれ撮像タイミング情報を送信し、
    　前記複数の撮像部は、ネットワークからの前記撮像タイミング情報に基づいて、撮像する撮像装置。
  9. 　請求項３に記載の撮像装置において、
    　前記撮像部および前記動体検出部と、前記撮像タイミング信号生成部とが、ネットワークを介して接続される撮像装置。
  10. 　請求項２に記載の撮像装置において、
    　車両の運動を制御する車両制御部を備え、
    　前記車両制御部は、前記認識部の認識結果に基づいて前記車両を制御する撮像装置。
PCT/JP2016/060495 2015-04-03 2016-03-30 撮像装置 WO2016159142A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16773023.3A EP3280128A4 (en) 2015-04-03 2016-03-30 Image pickup device
US15/561,544 US20180082136A1 (en) 2015-04-03 2016-03-30 Image Acquisition Device
CN201680018069.4A CN107431747B (zh) 2015-04-03 2016-03-30 摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-076435 2015-04-03
JP2015076435A JP2016197795A (ja) 2015-04-03 2015-04-03 撮像装置

Publications (1)

Publication Number Publication Date
WO2016159142A1 true WO2016159142A1 (ja) 2016-10-06

Family

ID=57005146

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/060495 WO2016159142A1 (ja) 2015-04-03 2016-03-30 撮像装置

Country Status (5)

Country Link
US (1) US20180082136A1 (ja)
EP (1) EP3280128A4 (ja)
JP (1) JP2016197795A (ja)
CN (1) CN107431747B (ja)
WO (1) WO2016159142A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979906B2 (en) * 2016-08-03 2018-05-22 Waymo Llc Beam split extended dynamic range image capture system
US11380005B2 (en) * 2017-05-19 2022-07-05 Movidius Limited Methods, systems and apparatus to optimize pipeline execution
JP2019036907A (ja) 2017-08-21 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び機器
JP7150508B2 (ja) * 2018-07-24 2022-10-11 株式会社東芝 鉄道車両用撮像システム
CN108989606B (zh) * 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109743505B (zh) * 2019-01-25 2021-01-19 Oppo广东移动通信有限公司 基于激光测距的视频拍摄方法、装置及电子设备
CN110673647B (zh) * 2019-11-07 2022-05-03 深圳市道通智能航空技术股份有限公司 全向避障方法及无人飞行器
CN112153306B (zh) * 2020-09-30 2022-02-25 深圳市商汤科技有限公司 图像采集系统、方法、装置、电子设备及可穿戴设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084383A (ja) * 1999-09-09 2001-03-30 Univ Tokyo 移動検出方法
WO2010128640A1 (ja) * 2009-05-07 2010-11-11 コニカミノルタホールディングス株式会社 ステレオ画像取得装置
JP2010286926A (ja) * 2009-06-09 2010-12-24 Konica Minolta Holdings Inc 周辺監視装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244914A (ja) * 1999-02-18 2000-09-08 Matsushita Electric Ind Co Ltd 映像音声多重化カメラ装置
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
KR100391450B1 (ko) * 2000-12-28 2003-07-12 현대자동차주식회사 아이엠에이큐를 이용한 차량 거리 제어 시스템의 영상획득방법
JP4235018B2 (ja) * 2003-03-31 2009-03-04 本田技研工業株式会社 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
US7251346B2 (en) * 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
JP2006148557A (ja) * 2004-11-19 2006-06-08 Samsung Techwin Co Ltd 自動撮像装置および自動撮像装置の制御用プログラム
JP2007019759A (ja) * 2005-07-06 2007-01-25 Matsushita Electric Ind Co Ltd 監視カメラ
JP2007172035A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
WO2008094029A1 (en) * 2007-01-31 2008-08-07 Ultrawaves Design Holding B.V. Surveillance method and system using optimized object based rule checking
JP2009180536A (ja) * 2008-01-29 2009-08-13 Omron Corp 画像処理装置、画像処理方法、およびプログラム
JP5216984B2 (ja) * 2009-09-02 2013-06-19 シャープ株式会社 動き情報取得装置及び画像処理装置
JP2012023634A (ja) * 2010-07-15 2012-02-02 Toshiba Corp ビデオカメラ、撮像方法
DE112012003685T5 (de) * 2011-09-05 2014-07-10 Mitsubishi Electric Corp. Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
WO2013054463A1 (ja) * 2011-10-11 2013-04-18 パナソニック株式会社 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム
JP5499011B2 (ja) * 2011-11-17 2014-05-21 富士重工業株式会社 車外環境認識装置および車外環境認識方法
KR20130099403A (ko) * 2012-02-29 2013-09-06 삼성전자주식회사 이미지 프로세싱 방법 및 이를 이용한 이미지 프로세싱 유닛
WO2014141654A1 (ja) * 2013-03-13 2014-09-18 パナソニック株式会社 測距装置、撮像装置および測距方法
US9912929B2 (en) * 2013-03-21 2018-03-06 Mediatek Inc. Video frame processing method
JP5804007B2 (ja) * 2013-09-03 2015-11-04 カシオ計算機株式会社 動画生成システム、動画生成方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084383A (ja) * 1999-09-09 2001-03-30 Univ Tokyo 移動検出方法
WO2010128640A1 (ja) * 2009-05-07 2010-11-11 コニカミノルタホールディングス株式会社 ステレオ画像取得装置
JP2010286926A (ja) * 2009-06-09 2010-12-24 Konica Minolta Holdings Inc 周辺監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3280128A4 *

Also Published As

Publication number Publication date
CN107431747B (zh) 2020-03-27
EP3280128A4 (en) 2018-12-12
JP2016197795A (ja) 2016-11-24
EP3280128A1 (en) 2018-02-07
US20180082136A1 (en) 2018-03-22
CN107431747A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
WO2016159142A1 (ja) 撮像装置
JP6633216B2 (ja) 撮像装置、及び、電子機器
EP2053845B1 (en) On-vehicle image-processing device and control method for on-vehicle image-processing device
US11650052B2 (en) Imaging device
JP6723079B2 (ja) 物体距離検出装置
WO2013172398A1 (ja) 車両の灯火を検出する装置及びその方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
WO2018179623A1 (ja) 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法
US11553117B2 (en) Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
US11924568B2 (en) Signal processing device, signal processing method, and imaging apparatus
JP6643517B2 (ja) 撮像装置
JP6891082B2 (ja) 物体距離検出装置
KR101030210B1 (ko) 자동차용 장애물 인식 시스템 및 그 방법
WO2015098107A1 (ja) 画像処理装置、警報装置、および画像処理方法
JP2016032255A (ja) 画像処理装置
TW201838405A (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
US20200111227A1 (en) Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16773023

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016773023

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15561544

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE