WO2020170889A1 - 撮像装置、画像記録装置、および撮像方法 - Google Patents

撮像装置、画像記録装置、および撮像方法 Download PDF

Info

Publication number
WO2020170889A1
WO2020170889A1 PCT/JP2020/005203 JP2020005203W WO2020170889A1 WO 2020170889 A1 WO2020170889 A1 WO 2020170889A1 JP 2020005203 W JP2020005203 W JP 2020005203W WO 2020170889 A1 WO2020170889 A1 WO 2020170889A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
frame rate
image data
imaging
Prior art date
Application number
PCT/JP2020/005203
Other languages
English (en)
French (fr)
Inventor
渡部　剛史
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202080013988.9A priority Critical patent/CN113424517B/zh
Priority to US17/429,719 priority patent/US11917308B2/en
Publication of WO2020170889A1 publication Critical patent/WO2020170889A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present disclosure relates to an imaging device, an image recording device, and an imaging method.
  • a drive recorder that can be installed in a vehicle to capture an image of the surroundings of the vehicle and store the image data of the captured image in a memory, for example, to record the situation when a car accident occurs.
  • the drive recorder can record an image for a long time when the frame rate for capturing an image is set to be relatively low, but an important moment at the time of an accident may not be recorded.
  • drive recorders can record without missing important moments when an accident occurs if the frame rate is set to a relatively high value. It may not be possible to erase the image of and leave it in the record.
  • a vehicle image processing device that determines the driving state of the vehicle based on various information input from the outside and changes the frame rate according to the determination result (for example, Patent Document 1).
  • the present disclosure proposes an imaging device, an image recording device, and an imaging method capable of recording an important moment.
  • the image pickup apparatus has an image pickup unit and a changing unit.
  • the image capturing unit captures an image of the surroundings and generates image data.
  • the changing unit changes the frame rate of the image captured by the image capturing unit according to the probability of occurrence of a predetermined event predicted based on the image data.
  • FIG. 1 is a block diagram showing a schematic configuration example of an image recording device according to the present disclosure. It is explanatory drawing which shows the relationship between an accident prediction score, frame rate, and resolution which concerns on this indication.
  • FIG. 4 is an explanatory diagram showing a relationship between illuminance and an upper limit of a frame rate according to the present disclosure.
  • FIG. 8 is an explanatory diagram illustrating a relationship between a frame rate and brightness of a captured image according to the present disclosure. It is an operation explanatory view of CIS concerning this indication.
  • 9 is a flowchart illustrating an example of processing executed by CIS according to the present disclosure.
  • the image recording device can be mounted on any moving body such as a motorcycle, a bicycle, an electric wheelchair, and a drone, and can also capture and record an image of the surroundings.
  • the image recording device according to the present disclosure can also be used as, for example, a camera for observing wild birds or wild animals, or a surveillance camera installed in a street, a building, a facility, or the like.
  • FIG. 1 is a block diagram showing a schematic configuration of an image recording device according to the present disclosure.
  • the image recording apparatus 1 includes a CMOS (Complementary Metal Oxide Semiconductor) image sensor (hereinafter, referred to as CIS2), an application processor (hereinafter, referred to as AP3), and a recording medium 4. ..
  • CMOS Complementary Metal Oxide Semiconductor
  • AP3 Application processor
  • the CIS2 is an example of an imaging device that is configured with one chip and that captures the surroundings such as the front, side, or rear of the vehicle, and outputs the image data of the captured image to the AP3.
  • the imaging device according to the present disclosure is not limited to the CIS2, and may be another image sensor such as a CCD (Charge Coupled Device) image sensor.
  • CCD Charge Coupled Device
  • the AP 3 is a communication I/F that performs information communication between the CIS 2 and an AP control unit 31 that is an example of a processor such as a CPU (Central Processing Unit) that executes various application programs according to the use of the image recording apparatus 1. (Interface) 32.
  • a processor such as a CPU (Central Processing Unit) that executes various application programs according to the use of the image recording apparatus 1. (Interface) 32.
  • the AP control unit 31 performs, for example, correction processing and processing of image data input from the CIS 2 via the communication I/F 32, and also writes and erases image data in the recording medium 4 via the communication I/F 32. And so on.
  • the AP control unit 31 writes the latest image data to the recording medium 4, and when the recording capacity reaches the upper limit, overwrites the latest image data in order from the oldest image data.
  • the recording medium 4 is an example of a recording unit that stores an image captured by the CIS 2, and is a removable recording device such as an SD memory card.
  • the recording medium 4 records the image data of the captured image captured in the latest predetermined time (for example, one hour).
  • the time of video that can be recorded on the recording medium 4 changes depending on the frame rate at which an image is captured and the resolution of the image.
  • the recording medium 4 can extend the time of recordable video, but may not be able to record an important moment when an accident occurs. ..
  • the recording medium 4 cannot record an image at the moment of an accident when an accident occurs between frames of captured images.
  • the recording medium 4 can record the moment when an accident occurs when the frame rate or resolution of the captured image is relatively high, but since the time of the video that can be captured is short, images before and after the accident occur. May be deleted and cannot be recorded.
  • the recording medium 4 when an accident occurs due to a tilting operation that continues for more than one hour, the image of the tilting driving that caused the accident is deleted even if the image at the moment of the accident occurrence can be recorded. Cannot be recorded.
  • the frame rate and the resolution are also changed according to the driving state of the vehicle, which is determined based on various information collected from external devices such as a car navigation device and an obstacle detection device. Sometimes it is not possible to record important moments.
  • the recording medium 4 may be changed at the moment of the accident occurrence. It may not be possible to record images.
  • the CIS2 has a configuration capable of recording an important moment.
  • the CIS 2 includes an image pickup unit 5, a communication I/F (interface) 6, a prediction unit 7, a change unit 8, and an illuminance detection unit 9.
  • the image pickup unit 5 includes a light receiving unit 51 and a reading unit 52.
  • the light receiving unit 51 includes, for example, an optical system including a zoom lens, a focus lens, a diaphragm, and the like, and a pixel array unit in which unit pixels including light receiving elements such as photodiodes are arranged in a two-dimensional matrix.
  • the light receiving unit 51 forms an image of light incident from the outside on the light receiving surface of the pixel array unit by an optical system.
  • Each unit pixel of the pixel array section photoelectrically converts the light incident on the light receiving element to readably store charges corresponding to the amount of incident light.
  • the reading unit 52 reads a charge accumulated in each unit pixel as a pixel signal and an ADC that generates digital image data by converting an analog pixel signal read by the read circuit into a digital value. (Analog to Digital Converter). The reading unit 52 outputs the generated image data to the communication I/F 6 and the prediction unit 7.
  • the communication I/F 6 outputs the image data input from the image pickup unit 5 to the AP 3. Further, the communication I/F 6 acquires a DNN (Deep Neural Network) described below from the AP 3 and outputs it to the prediction unit 7.
  • DNN Deep Neural Network
  • the prediction unit 7 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and various circuits.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the predicting unit 7 has a high possibility that a predetermined event will occur based on the image data input from the image capturing unit 5 when the CPU executes the program stored in the ROM using the RAM as a work area. To predict For example, the prediction unit 7 predicts the probability of a vehicle equipped with the image recording device 1 having a vehicle accident (an accident will occur).
  • prediction unit 7 may be partially or entirely configured by hardware such as ASIC (Application Specific Integrated Circuit) and FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the prediction unit 7 calculates, for example, an accident prediction score indicating a high probability of an accident due to DNN processing using DNN.
  • the DNN is generated in advance by machine learning in which image data of a large number of images captured before the actual occurrence of an accident and image data of a large number of images in which an accident does not occur after the imaging is used as teacher data.
  • the prediction unit 7 uses the DNN acquired from the AP 3 via the communication I/F 6 to calculate the accident prediction score by performing DNN processing on the image data input from the imaging unit 5, and changes the accident prediction score. Output to 8. The higher the accident prediction score, the higher the possibility of an accident occurring. Note that the prediction unit 7 may store the DNN in advance.
  • the predicting unit 7 is highly likely to cause an accident, for example, when a person is around the vehicle, when the vehicle approaches the intersection, or when the inter-vehicle distance between the preceding vehicle and the following vehicle becomes short. Predict. At this time, the prediction unit 7 calculates a higher accident prediction score as the distance to a person around the vehicle, the distance to the intersection, and the inter-vehicle distance to another vehicle become shorter.
  • the prediction unit 7 can calculate the accident prediction score using various neural networks such as RNN (Recurrent Neural Networks) and CNN (Convolutional Neural Networks), not limited to DNNs.
  • the prediction unit 7 may be configured to calculate the accident prediction score using a learning model learned by various other machine learning such as a decision tree or a support vector machine.
  • the changing unit 8 determines a frame rate and a resolution of an image to be captured by the image capturing unit 5 according to the accident prediction score input from the predicting unit 7, and outputs information for setting the determined frame rate and resolution to the image capturing unit 5. To change the frame rate and resolution.
  • FIG. 2 is an explanatory diagram showing the relationship between the accident prediction score and the frame rate and resolution according to the present disclosure. As shown in FIG. 2, the changing unit 8 changes the frame rate and the resolution to be higher as the accident prediction score is higher.
  • the changing unit 8 changes the frame rate and the resolution to be low when the value of the accident prediction score input from the predicting unit 7 decreases after increasing the frame rate and the resolution.
  • the changing unit 8 changes the frame rate and the resolution according to the accident prediction score, but the changing unit 8 changes at least one of the frame rate and the resolution according to the accident prediction score.
  • the imaging unit 5 shortens the time interval for capturing an image as the possibility of an accident increases, so that an image of an important moment when an accident occurs, such as the moment when an accident occurs, is taken. You can Further, the imaging unit 5 increases the resolution of the captured image as the possibility of an accident increases, so that it is possible to capture a high-definition image at the moment of the accident, which is important when the accident occurs.
  • the changing unit 8 shortens the exposure time when the frame rate is set too high, so that the entire captured image becomes dark, that is, so-called blackout or the like. The harmful effect of occurs.
  • the illuminance detection unit 9 detects the illuminance around the vehicle and outputs information indicating the detected illuminance to the change unit 8.
  • the changing unit 8 determines the change range of the frame rate according to the surrounding illuminance based on the information indicating the illuminance input from the illuminance detecting unit 9.
  • FIG. 3 is an explanatory diagram showing the relationship between the illuminance and the upper limit of the frame rate according to the present disclosure.
  • the changing unit 8 determines to lower the upper limit of the frame rate to be changed as the illuminance around the vehicle decreases. As a result, the changing unit 8 can prevent blackouts from occurring in the nighttime captured image.
  • the reading unit 52 of the image pickup unit 5 adjusts the brightness data of the picked-up image according to the frame rate changed by the changing unit 8.
  • the changing unit 8 adjusts the brightness of the captured image by changing the gain of the amplifier that amplifies the brightness data of the captured image.
  • FIG. 4 is an explanatory diagram showing the relationship between the frame rate and the brightness of the captured image according to the present disclosure.
  • the reading unit 52 adjusts the brightness of the captured image to be higher as the frame rate is higher. As a result, it is possible to prevent the blackout of the captured image due to an increase in the frame rate.
  • the changing unit 8 changes the upper limit of the frame rate and the reading unit 52 adjusts the brightness of the captured image has been described.
  • the upper limit of the frame rate and the brightness adjustment of the captured image At least either one may be performed.
  • the predicting unit 7 in the CIS 2 predicts the likelihood of an accident based on the image data captured by the image capturing unit 5, and the changing unit 8 is predicted.
  • the frame rate and resolution of the captured image are changed according to the height at which an accident occurs.
  • the image recording apparatus 1 does not require time to collect information from the outside in order to predict the occurrence of an accident.
  • the image recording apparatus 1 can change the frame rate without delay compared to, for example, an apparatus that predicts the occurrence of an accident based on various information collected from the outside and changes the frame. Therefore, the image recording apparatus 1 can record an image at the moment when an important accident occurs, for example, when an accident occurs.
  • FIG. 5 is an operation explanatory diagram of the CIS according to the present disclosure.
  • FIG. 5 shows an image pickup operation in the case of fixed low frame rate, fixed high frame rate, and variable frame rate based on external information as three contrasts, and as an operation example of CIS2, based on image data.
  • the imaging operation in the case of a variable frame rate is shown.
  • the image capturing time is short, so it is possible to capture the image at the moment of the accident at time t3.
  • the time until the number of captured images reaches the upper limit of the recording capacity is shorter than in the case where the low frame rate is fixed. May be erased.
  • variable frame rate based on external information for example, when the occurrence of an accident is predicted based on external information collected from the outside, it is possible to change from a low frame rate to a high frame rate.
  • imaging at a high frame rate may start at time t4 after the accident occurs, and an image at the moment of the accident may not be captured at time t3.
  • CIS2 captures images at a variable frame rate based on the captured image data. For this reason, the CIS2 does not need to collect information from an external device. Therefore, when the occurrence of an accident is predicted from the image data, the CIS2 can change from a low frame rate to a high frame rate in a shorter time than a variable frame rate based on external information. You can make changes to the frame rate.
  • the CIS 2 predicts the occurrence of an accident from the image during driving at time t1 while extending the recording time of the image data by performing imaging at a low frame rate in normal times, for example, before the accident occurs. It is possible to change to a high frame rate at time t2.
  • the CIS 2 can be recorded in the recording medium 4 by, for example, capturing and outputting to the AP 3 both the image of the tilting driving that causes the accident and the image of the moment when the accident occurs.
  • FIG. 6 is a flowchart showing an example of processing executed by the CIS according to the present disclosure.
  • the CIS 2 executes the processing shown in FIG.
  • the CIS 2 first acquires the learned DNN from the AP 3 (step S101). Subsequently, the CIS 2 captures an image and outputs it to the AP 3 (step S102). After that, the CIS 2 detects the ambient illuminance (step S103), and determines the change range of the frame rate according to the illuminance (step S104).
  • the CIS 2 calculates the accident prediction score by the DNN (step S105), and determines whether to change the frame rate and resolution of the captured image based on the accident prediction score (step S106).
  • step S106 determines not to change. If the CIS 2 determines to change (Yes in step S105), the CIS 2 changes the frame rate and the resolution according to the accident prediction score (step S107).
  • the CIS 2 adjusts the brightness data of the captured image according to the changed frame rate (step S108), and moves the process to step S102. After that, the CIS 2 repeatedly executes the processes of steps S102 to S108 until the power of the vehicle is turned off.
  • the process according to the above-described embodiment may be implemented in various different forms other than the above-described embodiment.
  • the image recording device 1 may be provided in addition to the vehicle.
  • the image recording device 1 may be provided in a drone.
  • the CIS 2 increases the frame rate and the resolution when, for example, an object for imaging is found.
  • CIS2 enhances the frame rate and resolution if a bird is found in the image.
  • the image recording device 1 can capture a decisive moment of the target object for imaging.
  • CIS2 increases the frame rate and resolution by detecting an obstacle that suddenly enters an image frame when the imaging purpose is not a bird. Thereby, the image recording apparatus 1 can record that the cause of the fall was a bird, for example, when a bird flying from the side suddenly collides with the drone and crashes. At this time, the image recording apparatus 1 quickly changes the frame rate and the resolution after the accident is predicted, as described above, so that an object that suddenly enters the image frame can be reliably captured and recorded. it can.
  • the CIS2 when detecting from the image that the drone has moved in a direction different from the intention of the drone operator due to an external factor such as wind, immediately increases the frame rate and the resolution to prevent a crash or the like. You can surely record the moment of the accident.
  • the image recording device 1 may be installed in a factory, for example.
  • CIS2 enhances the frame rate and resolution, for example, when a person approaches a robot operating in a factory or a dangerous material.
  • the image recording device 1 can record the situation of the personal injury that occurs in the factory.
  • the CIS 2 includes the prediction unit 7
  • the prediction unit 7 may be provided on the AP 3 side.
  • the CIS2 outputs the image data of the captured image to the AP3, acquires the accident prediction score calculated by the prediction unit 7 provided in the AP3 from the AP3, and performs the frame rate and the resolution by the same procedure as described above. Make changes.
  • the prediction unit 7 when the prediction unit 7 is provided on the AP3 side, the prediction unit 7 may be provided on the CIS2 side because it takes time to transmit the image data to the AP3 and to acquire the accident prediction score from the AP3. desirable.
  • each component of each illustrated device is functionally conceptual, and does not necessarily have to be physically configured as illustrated. That is, the specific form of distribution/integration of each device is not limited to that shown in the figure, and all or part of the device may be functionally or physically distributed/arranged in arbitrary units according to various loads and usage conditions. It can be integrated and configured.
  • the prediction unit 7 and the changing unit 8 illustrated in FIG. 1 may be integrated.
  • the CIS 2 has an imaging unit 5 and a changing unit 8.
  • the image capturing unit 5 captures an image of the surroundings and generates image data.
  • the changing unit 8 changes the frame rate of the image captured by the image capturing unit 5 according to the probability of occurrence of a predetermined event predicted based on the image data. This allows CIS2 to record important moments.
  • the changing unit 8 raises the frame rate as the possibility of occurrence of a predetermined event increases. As a result, the higher the possibility that the predetermined event will occur, the more the CIS 2 can record in the record without missing the moment when the event occurs.
  • the changing unit 8 changes the resolution of the image to be picked up by the image pickup unit according to the possibility of occurrence of a predetermined event.
  • the CIS 2 can adjust the image-capable time by changing the data amount of the image data according to, for example, the probability of occurrence of a predetermined event.
  • the changing unit 8 increases the resolution as the possibility of occurrence of a predetermined event increases. The higher the probability that a given event will occur, the more precise the image can be recorded.
  • the CIS 2 has a prediction unit 7 that predicts the probability of occurrence of a predetermined event based on image data. As a result, the CIS 2 can change the frame rate and the resolution more quickly than when the prediction unit 7 is provided outside the CIS 2.
  • Prediction unit 7 predicts the probability that a predetermined event will occur due to DNN processing using DNN. As a result, the prediction unit 7 can predict the exact probability that a predetermined event will occur.
  • Prediction unit 7 predicts the likelihood of an accident. As a result, the CIS 2 can reliably record the whole picture of the accident and the moment when the accident occurs, as compared with the case where the frame rate is fixed.
  • the CIS 2 has an illuminance detection unit 9 that detects the illuminance of the surroundings.
  • the changing unit 8 determines the changing range of the frame rate according to the illuminance detected by the illuminance detecting unit 9. As a result, the CIS 2 can prevent blackouts in the captured image by lowering the upper limit of the frame rate as the illuminance becomes lower, for example.
  • the image capturing unit 5 adjusts the brightness data of the captured image in the image data according to the frame rate changed by the changing unit 8.
  • the CIS 2 increases the brightness of the captured image as the frame rate increases, so that the CIS 2 can capture an image that is visually uncomfortable even if the frame rate changes.
  • the image recording device has a CIS2 and a recording unit.
  • the CIS 2 has an imaging unit 5 and a changing unit 8.
  • the image capturing unit 5 captures an image of the surroundings and generates image data.
  • the changing unit 8 changes the frame rate of the image captured by the image capturing unit 5 according to the probability of occurrence of a predetermined event predicted based on the image data.
  • the recording medium 4 records an image captured by the CIS 2. Thereby, the image recording device can record an important moment.
  • An image capturing method captures a surrounding image to generate image data, and a frame rate of an image to be captured according to a probability of occurrence of a predetermined event predicted based on the image data. To change. This allows you to record important moments.
  • An imaging unit that captures an image of the surroundings and generates image data
  • An image pickup apparatus comprising: a change unit that changes a frame rate of an image to be picked up by the image pickup unit according to a probability of occurrence of a predetermined event predicted based on the image data.
  • the change unit is The imaging device according to (1), in which the frame rate increases as the possibility increases.
  • the change unit is The imaging device according to (1) or (2), wherein the resolution of the image captured by the imaging unit is changed according to the possibility.
  • the change unit is The imaging device according to (3), in which the higher the possibility is, the higher the resolution is.
  • the imaging device further including: a prediction unit that predicts a probability of occurrence of the predetermined event based on the image data.
  • the prediction unit is The imaging device according to (5), wherein the likelihood is predicted by a DNN process using a DNN (Deep Neural Network).
  • the prediction unit is The imaging device according to (5) or (6) above, which predicts the probability of an accident occurring.
  • the change unit is The imaging device according to any one of (1) to (7), wherein the change range of the frame rate is determined according to the illuminance detected by the illuminance detection unit.
  • the imaging unit is The imaging device according to any one of (1) to (8), wherein the brightness data of the captured image in the image data is adjusted according to the frame rate changed by the changing unit.
  • An imaging unit that captures an image of the surroundings and generates image data An image pickup apparatus having a changing unit that changes a frame rate of an image to be picked up by the image pickup unit according to a high possibility that a predetermined event predicted based on the image data will occur, An image recording device having a recording unit for recording an image captured by the image capturing device.
  • (11) Image the surroundings to generate image data, An image pickup method for changing a frame rate of an image to be picked up according to a probability of occurrence of a predetermined event predicted based on the image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

重要な瞬間を記録することができる撮像装置、画像記録装置、および撮像方法を提供する。本開示に係る撮像装置（ＣＩＳ２）は、撮像部（５）と、変更部（８）とを有する。撮像部（５）は、周囲の画像を撮像して画像データを生成する。変更部（８）は、画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像部（８）に撮像させる画像のフレームレートを変更する。

Description

撮像装置、画像記録装置、および撮像方法
　本開示は、撮像装置、画像記録装置、および撮像方法に関する。
　車両に搭載されて車両の周囲の画像を撮像し、撮像画像の画像データをメモリに記憶することによって、例えば、自動車事故発生時の状況を記録可能としたドライブレコーダがある。ドライブレコーダは、画像を撮像するフレームレートを比較的低く設定すると、長時間の画像を記録することができるが、事故発生時の重要な瞬間が記録できていない場合がある。
　一方、ドライブレコーダは、フレームレートを比較的高く設定すると、事故発生時の重要な瞬間を逃さずに記録することができるが、画像データを記憶するメモリの容量に上限があるため、事故発生前後の画像を消去して記録に残すことができない場合がある。
　このため、例えば、外部から入力される各種情報に基づいて車両の運転状態を判定し、判定結果に応じて、フレームレートを変更する車両用映像処理装置がある（例えば、特許文献１）。
特開２００７－２１４７６９号公報
　しかしながら、上記の従来技術では、重要な瞬間を記録することができない場合がある。そこで、本開示では、重要な瞬間を記録することができる撮像装置、画像記録装置、および撮像方法を提案する。
　本開示に係る撮像装置は、撮像部と、変更部とを有する。撮像部は、周囲の画像を撮像して画像データを生成する。変更部は、前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、前記撮像部に撮像させる画像のフレームレートを変更する。
本開示に係る画像記録装置の概略構成例を示すブロック図である。 本開示に係る事故予測スコアとフレームレートおよび解像度の関係を示す説明図である。 本開示に係る照度とフレームレートの上限との関係を示す説明図である。 本開示に係るフレームレートと撮像画像の輝度との関係を示す説明図である。 本開示に係るＣＩＳの動作説明図である。 本開示に係るＣＩＳが実行する処理の一例を示すフローチャートである。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。以下では、本開示に係る画像記録装置が車両に搭載されるドライブレコーダである場合について説明するが、画像記録装置はドライブレコーダに限定されるものではない。
　本開示に係る画像記録装置は、例えば、オートバイ、自転車、電動車イス、およびドローン等、任意の移動体に搭載されて周囲の画像を撮像して記録することもできる。また、本開示に係る画像記録装置は、例えば、野鳥や野生動物を観察するカメラ、街頭や建物、施設等に設置される監視カメラとして使用することもできる。
［１．画像記録装置の構成］
　図１は、本開示に係る画像記録装置の概略構成を示すブロック図である。図１に示すように、画像記録装置１は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ（以下、ＣＩＳ２と記載する）と、アプリケーションプロセッサ（以下、ＡＰ３と記載する）と、記録媒体４とを備える。
　ＣＩＳ２は、１チップで構成され、車両の前方、側方、または後方等の周囲を撮像する撮像装置の一例であり、撮像画像の画像データをＡＰ３へ出力する。なお、本開示に係る撮像装置は、ＣＩＳ２に限定されるものではなく、例えば、ＣＣＤ（Charge　Coupled　Device）イメージセンサ等、他のイメージセンサであってもよい。
　ＡＰ３は、画像記録装置１の用途に応じた各種アプリケーションプログラムを実行するＣＰＵ（Central　Processing　Unit）等のプロセッサの一例であるＡＰ制御部３１と、ＣＩＳ２との間で情報通信を行う通信Ｉ／Ｆ（インターフェイス）３２とを備える。
　ＡＰ制御部３１は、例えば、通信Ｉ／Ｆ３２を介してＣＩＳ２から入力される画像データの補正処理や加工処理を行う他、通信Ｉ／Ｆ３２を介して記録媒体４への画像データの書き込みおよび消去等を行う。ＡＰ制御部３１は、最新の画像データを記録媒体４へ書き込み、記録容量の上限に達した場合には、最も古い画像データから順に最新の画像データを上書きする。
　記録媒体４は、ＣＩＳ２によって撮像される画像を記憶する記録部の一例であり、例えば、ＳＤメモリカード等の着脱可能な記録デバイスである。記録媒体４は、直近の所定時間（例えば、１時間）に撮像された撮像画像の画像データを記録する。記録媒体４が記録可能な映像の時間は、画像が撮像されるフレームレートや画像の解像度によって変化する。
　記録媒体４は、撮像画像のフレームレートや解像度が比較的低い場合には、記録可能な映像の時間を延長することはできるが、事故発生時の重要な瞬間を記録することができない場合がある。例えば、記録媒体４は、撮像される画像のフレーム間に事故が発生した場合、事故発生の瞬間の画像を記録することができない。
　また、記録媒体４は、撮像画像のフレームレートや解像度が比較的高い場合には、事故発生の瞬間を記録することはできるが、撮像可能な映像の時間が短くなるため、事故発生前後の画像が消去され、記録に残すことができない場合がある。
　例えば、記録媒体４は、１時間以上前から続くあおり運転が原因で事故が発生した場合、事故発生の瞬間の画像を記録できていても、事故の原因となったあおり運転の画像が消去されて記録に残すことができない。
　このため、例えば、カーナビゲーション装置や障害物検出装置等の外部装置から収集する各種情報に基づいて判定する車両の運転状態に応じてフレームレートや解像度を変更することも行われているが、それでも、重要な瞬間を記録することができない場合がある。
　例えば、記録媒体４は、外部からの情報収集が開始されてからフレームレートを変更するまでに時間が掛かり、事故が発生する前までにフレームレートを高める変更が間に合わない場合、事故発生の瞬間の画像を記録することができないことがある。
　そこで、本開示に係るＣＩＳ２は、重要な瞬間を記録可能とする構成を備える。具体的には、ＣＩＳ２は、撮像部５と、通信Ｉ／Ｆ（インターフェイス）６と、予測部７と、変更部８と、照度検出部９とを備える。
　撮像部５は、受光部５１と、読出部５２とを備える。受光部５１は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系と、フォトダイオードなどの受光素子を含む単位画素が２次元マトリクス状に配列された画素アレイ部とを備える。
　受光部５１は、外部から入射する光を光学系によって画素アレイ部の受光面に結像する。画素アレイ部の各単位画素は、受光素子に入射した光を光電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。
　読出部５２は、各単位画素に蓄積された電荷を画素信号として読み出す読出回路と、読出回路によって読み出されたアナログの画素信号をデジタル値に変換することで、デジタルの画像データを生成するＡＤＣ（Analog　to　Digital　Converter）とを備える。読出部５２は、生成した画像データを通信Ｉ／Ｆ６と予測部７とへ出力する。
　通信Ｉ／Ｆ６は、撮像部５から入力される画像データをＡＰ３へ出力する。また、通信Ｉ／Ｆ６は、後述するＤＮＮ（Deep　Neural　Network）をＡＰ３から取得して予測部７へ出力する。
　予測部７は、例えば、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）などを有するマイクロコンピュータや各種の回路を含む。
　予測部７は、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭを作業領域として使用して実行することにより、撮像部５から入力される画像データに基づいて所定の事象が発生する可能性の高さを予測する。例えば、予測部７は、画像記録装置１が搭載された車両が車両事故に遭う（事故が発生する）可能性の高さを予測する。
　なお、予測部７は、一部または全部がＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等のハードウェアで構成されてもよい。
　予測部７は、例えば、ＤＮＮを使用するＤＮＮ処理によって事故が発生する可能性の高さを示す事故予測スコアを算出する。ＤＮＮは、実際の事故発生前に撮像された多数の画像の画像データと、撮像後に事故が発生しなかった多数の画像の画像データを教師データとして使用した機械学習によって事前に生成される。
　予測部７は、通信Ｉ／Ｆ６を介してＡＰ３から取得するＤＮＮを使用し、撮像部５から入力される画像データについてＤＮＮ処理を行うことによって事故予測スコアを算出し、事故予測スコアを変更部８へ出力する。事故予測スコアは、値が高いほど事故が発生する可能性が高いことを示すものとする。なお、ＤＮＮは、予め予測部７が記憶しておいてもよい。
　予測部７は、例えば、車両の周囲に人がいる場合や、車両が交差点に近付いた場合、先行車両や後続車両との車間距離が近くなった場合等に、事故が発生する可能性が高いと予測する。このとき、予測部７は、車両の周囲にいる人までの距離、交差点までの距離、他車両との車間距離が短くなるほど高い事故予測スコアを算出する。
　なお、予測部７は、ＤＮＮに限らず、ＲＮＮ（Recurrent　Neural　Networks）やＣＮＮ（Convolutional　Neural　Network）など様々なニューラルネットワークを用いて事故予測スコアを算出することができる。また、予測部７は、決定木やサポートベクタマシンなどの他の様々な機械学習で学習した学習モデルを用いて事故予測スコアを算出する構成であってもよい。
　変更部８は、予測部７から入力される事故予測スコアに応じて撮像部５に撮像させる画像のフレームレートおよび解像度を決定し、決定したフレームレートおよび解像度を設定する情報を撮像部５へ出力することによってフレームレートおよび解像度を変更する。
　図２は、本開示に係る事故予測スコアとフレームレートおよび解像度との関係を示す説明図である。図２に示すように、変更部８は、事故予測スコアが高いほどフレームレートおよび解像度を高くするように変更する。
　なお、変更部８は、フレームレートおよび解像度を高めた後に、予測部７から入力される事故予測スコアの値が低下した場合には、フレームレートおよび解像度を低くするように変更する。
　なお、ここでは、変更部８が事故予測スコアに応じて、フレームレートおよび解像度を変更したが、変更部８は、フレームレートおよび解像度のうち、少なくともいずれか一方を事故予測スコアに応じて変更することもできる。
　これにより、撮像部５は、事故が発生する可能性が高くなるほど、画像を撮像する時間間隔を短くするので、例えば、事故発生の瞬間等の事故発生時に重要となる瞬間の画像を撮像することができる。また、撮像部５は、事故が発生する可能性が高くなるほど、撮像画像の解像度を高めるので、事故発生時に重要となる事故発生の瞬間の高精細な画像を撮像することができる。
　ここで、変更部８は、例えば、夜間で周囲が暗い状況で事故予測スコアが高くなった場合に、フレームレートを高くし過ぎると露光時間が短くなり、撮像画像全体が暗くなる所謂黒つぶれ等の弊害が生じる。
　そこで、照度検出部９は、車両の周囲の照度を検出し、検出した照度を示す情報を変更部８へ出力する。変更部８は、照度検出部９から入力される照度を示す情報に基づき、周囲の照度に応じてフレームレートの変更範囲を決定する。
　図３は、本開示に係る照度とフレームレートの上限との関係を示す説明図である。図３に示すように、変更部８は、車両の周囲の照度が低くなるほど、変更するフレームレートの上限を低くする決定を行う。これにより、変更部８は、夜間の撮像画像に黒つぶれが生じることを防止することができる。
　また、撮像部５の読出部５２は、変更部８によって変更されるフレームレートに応じて撮像画像の輝度データを調整する。変更部８は、撮像画像の輝度データを増幅する増幅器のゲインを変更することによって、撮像画像の輝度を調整する。
　図４は、本開示に係るフレームレートと撮像画像の輝度との関係を示す説明図である。図４に示すように、読出部５２は、フレームレートが高くなるほど、撮像画像の輝度を高くする調整を行う。これにより、フレームレートが高くなることによる撮像画像の黒つぶれの発生を防止することができる。
　なお、ここでは、変更部８によるフレームレートの上限の変更、および読出部５２による撮像画像の輝度調整を行う場合について説明したが、フレームレートの上限の変更と撮像画像の輝度調整とのうち、少なくともいずれか一方を行ってもよい。
　このように、画像記録装置１では、ＣＩＳ２の内部で予測部７が撮像部５によって撮像される画像データに基づいて事故が発生する可能性の高さを予測し、変更部８が予測された事故が発生する高さに応じて撮像画像のフレームレートおよび解像度を変更する。かかる画像記録装置１は、事故の発生を予測するために、外部から情報を収集する時間を必要としない。
　これにより、画像記録装置１は、例えば、外部から収集する各種情報に基づいて事故の発生を予測してフレームを変更する装置に比べて、遅延なくフレームレートを変更することができる。したがって、画像記録装置１は、例えば、事故発生時に、重要な事故発生の瞬間の画像を記録することができる。
［２．ＣＩＳの動作例］
　次に、図５を参照し、ＣＩＳ２動作例について説明する。ここでは、ＣＩＳ２の動作による効果を明確にするため、３つの対比例を説明した後に、ＣＩＳ２の動作を説明する。図５は、本開示に係るＣＩＳの動作説明図である。
　図５には、３つの対比例として、低フレームレート固定の場合、高フレームレート固定の場合、外部情報に基づく可変フレームレートの場合の撮像動作を示し、ＣＩＳ２の動作例として、画像データに基づく可変フレームレートの場合の撮像動作を示している。
　また、ここでは、例えば、時刻ｔ１から先行車両が後続車両からあおり運転の被害を受け、その後、時刻ｔ３で衝突事故が発生する場合を例に挙げて説明する。図５に示すように、低フレームレート固定の場合、画像を撮像する時間間隔が長く、撮像画像の枚数も少ないため、画像データのデータ量が小さくなり、その分、撮像可能な時間が長くなる。
　しかし、低フレームレート固定の場合、例えば、あおり運転のように継続的に行われる事象の画像を時刻ｔ１で撮像することができても、時刻ｔ３で事故が発生したときに、その一瞬の事象を撮像することができないことがある。
　一方、高フレームレート固定の場合、画像を撮像する時間間隔が短いため、時刻ｔ３で事故発生の瞬間の画像を撮像することができる。しかし、高フレームレート固定の場合、撮像画像の枚数が記録容量の上限に達するまでの時間が低フレームレート固定場合よりも短いので、例えば、時刻ｔ１で撮像した事故原因となるあおり運転中の画像を消去することがある。
　また、外部情報に基づく可変フレームレートの場合、例えば、外部から収集する外部情報に基づいて事故の発生を予測した場合に、低フレームレートから高フレームレートに変更することができる。
　しかし、外部情報に基づく可変フレームレートの場合、外部情報を収集するために、外部装置との間で通信を行う必要があり、また、複数の外部情報に基づいて事故を予測する必要があるため、かかる通信および予測に時間が掛かる。
　そのため、外部情報に基づく可変フレームレートの場合には、事故が発生する時刻ｔ３までに低フレームレートから高フレームレートに変更することができない場合がある。かかる場合、例えば、事故発生後の時刻ｔ４から高フレームレートでの撮像が開始され、時刻ｔ３で事故発生の瞬間の画像を撮像できないことがある。
　これに対して、ＣＩＳ２は、撮像した画像データに基づく可変フレームレートで撮像を行う。このため、ＣＩＳ２は、外部装置から情報を収集する必要がないので、画像データから事故の発生を予測した場合に、外部情報に基づく可変フレームレートの場合よりも短時間で、低フレームレートから高フレームレートへの変更を行うことができる。
　したがって、ＣＩＳ２は、例えば、平常時には低フレームレートで撮像を行うことで、画像データの記録時間を延長しつつ、時刻ｔ１であおり運転中の画像から事故の発生を予測した場合、事故発生前の時刻ｔ２で高フレームレートに変更することができる。
　これにより、ＣＩＳ２は、例えば、事故の原因となるあおり運転中の画像、および事故発生の瞬間の画像の双方を撮像してＡＰ３へ出力することによって、記録媒体４に記録させることができる。
［３．ＣＩＳが実行する処理］
　次に、図６を参照し、ＣＩＳ２が実行する処理について説明する。図６は、本開示に係るＣＩＳが実行する処理の一例を示すフローチャートである。ＣＩＳ２は、車両の電源がＯＮにされると、図６に示す処理を実行する。
　具体的には、図６に示すように、ＣＩＳ２は、まず、ＡＰ３から学習済のＤＮＮを取得する（ステップＳ１０１）。続いて、ＣＩＳ２は、画像を撮像してＡＰ３へ出力する（ステップＳ１０２）。その後、ＣＩＳ２は、周囲の照度を検出し（ステップＳ１０３）、照度に応じてフレームレートの変更範囲を決定する（ステップＳ１０４）。
　続いて、ＣＩＳ２は、ＤＮＮによる事故予測スコアを算出し（ステップＳ１０５）、事故予測スコアに基づいて、撮像画像のフレームレートおよび解像度を変更するか否かを判定する（ステップＳ１０６）。
　そして、ＣＩＳ２は、変更しないと判定した場合（ステップＳ１０６，Ｎｏ）、処理をステップＳ１０２へ移す。また、ＣＩＳ２は、変更すると判定した場合（ステップＳ１０５，Ｙｅｓ）、事故予測スコアに応じて、フレームレートおよび解像度を変更する（ステップＳ１０７）。
　続いて、ＣＩＳ２は、変更したフレームレートに応じて撮像画像の輝度データを調整し（ステップＳ１０８）、処理をステップＳ１０２へ移す。その後、ＣＩＳ２は、車両の電源がＯＦＦにされるまで、ステップＳ１０２～ステップＳ１０８の処理を繰り返し実行する。
［４．その他の実施形態］
　上述した実施形態に係る処理は、上記した実施形態以外にも種々の異なる形態にて実施されてよい。画像記録装置１は、車両以外に設けられてもよい。
　例えば、画像記録装置１は、ドローンに設けられてもよい。かかる場合、ＣＩＳ２は、例えば、撮像目的の対象物を発見した場合に、フレームレートおよび解像度を高める。例えば、野鳥観察を目的として飛行中のドローンの場合、ＣＩＳ２は、画像内に鳥を発見した場合に、フレームレートおよび解像度を高める。これにより、画像記録装置１は、撮像目的の対象物の決定的瞬間を撮像することができる。
　また、ＣＩＳ２は、撮像目的が鳥でない場合、急に画像フレームに入ってきた障害物を検知してフレームレートおよび解像度を高める。これにより、画像記録装置１は、例えば、突然、横から飛んできた鳥がドローンに衝突して墜落した場合に、墜落の原因が鳥であったことを記録に残すことができる。このとき、画像記録装置１は、上述したように、事故の予測後、迅速にフレームレートおよび解像度を変更するので、急に画像フレームに入り込んできた物も確実に撮像して記録に残すことができる。
　また、ＣＩＳ２は、例えば、風等の外的要因で、ドローンの操縦者の意図とは異なる方向に移動したことを画像から検知した場合、即座にフレームレートおよび解像度を高めることにより、墜落等の事故の瞬間を確実に記録に残すことができる。
　また、画像記録装置１は、例えば、工場に設置されてもよい。かかる場合、ＣＩＳ２は、例えば、工場で稼働するロボットや危険物の近くに人が近づいたときに、フレームレートおよび解像度を高める。これにより、画像記録装置１は、工場で発生する人身事故の状況を記録に残すことができる。
　なお、上述した実施形態では、ＣＩＳ２が予測部７を備える場合について説明したが、予測部７は、ＡＰ３側に設けられてもよい。かかる場合、ＣＩＳ２は、撮像画像の画像データをＡＰ３へ出力し、ＡＰ３に設けられる予測部７によって算出される事故予測スコアをＡＰ３から取得し、上述した手順と同様の手順により、フレームレートおよび解像度の変更を行う。
　ただし、予測部７がＡＰ３側に設けられる場合には、画像データをＡＰ３へ送信する時間と、事故予測スコアをＡＰ３から取得する時間が掛かるため、予測部７は、ＣＩＳ２側に設けられることが望ましい。
　また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示した予測部７と変更部８とは統合されてもよい。
　また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［５．効果］
　ＣＩＳ２は、撮像部５と、変更部８とを有する。撮像部５は、周囲の画像を撮像して画像データを生成する。変更部８は、画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像部５に撮像させる画像のフレームレートを変更する。これにより、ＣＩＳ２は、重要な瞬間を記録することができる。
　変更部８は、所定の事象が発生する可能性が高いほどフレームレートを高める。これにより、ＣＩＳ２は、所定の事象が発生する可能性が高いほど、その事象が発生する瞬間を逃すことなく記録に残すことができる。
　変更部８は、所定の事象が発生する可能性に応じて撮像部撮像させる画像の解像度を変更する。これにより、ＣＩＳ２は、例えば、所定の事象が発生する可能性の高さに応じて、画像データのデータ量を変更することで、撮像可能時間を調整することができる。
　変更部８は、所定の事象が発生する可能性が高いほど解像度を高める。所定の事象が発生する可能性が高いほど、その事象を高精細な画像で記録することができる。
　ＣＩＳ２は、画像データに基づいて所定の事象が発生する可能性の高さを予測する予測部７を有する。これにより、ＣＩＳ２は、予測部７がＣＩＳ２の外部に設けられる場合よりも、迅速にフレームレートや解像度を変更することができる。
　予測部７は、ＤＮＮを使用するＤＮＮ処理によって所定の事象が発生する可能性の高さを予測する。これにより、予測部７は、所定の事象が発生する正確な可能性の高さを予測することができる。
　予測部７は、事故が発生する可能性の高さを予測する。これによりＣＩＳ２は、フレームレートが固定の場合に比べて、確実に事故の全貌および事故発生の瞬間を記録に残すことができる。
　ＣＩＳ２は、周囲の照度を検出する照度検出部９を有する。変更部８は、照度検出部９によって検出される照度に応じてフレームレートの変更範囲を決定する。これにより、ＣＩＳ２は、例えば、照度が低くなるほどフレームレートの上限を低くすることで、撮像画像に黒つぶれが生じることを防止することができる。
　撮像部５は、変更部８によって変更されるフレームレートに応じて画像データにおける撮像画像の輝度データを調整する。これにより、ＣＩＳ２は、例えば、フレームレートが高くなるほど、撮像画像の輝度を高めることで、フレームレートが変化しても撮像画像の視覚上の違和感のない画像を撮像することができる。
　画像記録装置は、ＣＩＳ２と、記録部とを有する。ＣＩＳ２は、撮像部５と、変更部８とを有する。撮像部５は、周囲の画像を撮像して画像データを生成する。変更部８は、画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像部５に撮像させる画像のフレームレートを変更する。記録媒体４は、ＣＩＳ２によって撮像される画像を記録する。これにより、画像記録装置は、重要な瞬間を記録することができる。
　本開示に係る撮像方法は、周囲の画像を撮像して画像データを生成し、画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像する画像のフレームレートを変更する。これにより、重要な瞬間を記録することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　周囲の画像を撮像して画像データを生成する撮像部と、
　前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、前記撮像部に撮像させる画像のフレームレートを変更する変更部と
　を有する撮像装置。
（２）
　前記変更部は、
　前記可能性が高いほど前記フレームレートを高める
　前記（１）に記載の撮像装置。
（３）
　前記変更部は、
　前記可能性に応じて前記撮像部撮像させる画像の解像度を変更する
　前記（１）または（２）に記載の撮像装置。
（４）
　前記変更部は、
　前記可能性が高いほど前記解像度を高める
　前記（３）に記載の撮像装置。
（５）
　前記画像データに基づいて前記所定の事象が発生する可能性の高さを予測する予測部
　を有する前記（１）～（４）のいずれかに記載の撮像装置。
（６）
　前記予測部は、
　ＤＮＮ（Deep　Neural　Network）を使用するＤＮＮ処理によって前記可能性の高さを予測する
　前記（５）に記載の撮像装置。
（７）
　前記予測部は、
　事故が発生する可能性の高さを予測する
　前記（５）または（６）に記載の撮像装置。
（８）
　前記周囲の照度を検出する照度検出部
　を有し、
　前記変更部は、
　前記照度検出部によって検出される前記照度に応じて前記フレームレートの変更範囲を決定する
　前記（１）～（７）のいずれかに記載の撮像装置。
（９）
　前記撮像部は、
　前記変更部によって変更される前記フレームレートに応じて前記画像データにおける撮像画像の輝度データを調整する
　前記（１）～（８）のいずれかに記載の撮像装置。
（１０）
　周囲の画像を撮像して画像データを生成する撮像部と、
　前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、前記撮像部に撮像させる画像のフレームレートを変更する変更部と
　を有する撮像装置と、
　前記撮像装置によって撮像される画像を記録する記録部と
　を有する画像記録装置。
（１１）
　周囲の画像を撮像して画像データを生成し、
　前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像する画像のフレームレートを変更する
　撮像方法。
　１　画像記録装置
　２　ＣＩＳ
　３　ＡＰ
　３１　ＡＰ制御部
　３２　通信Ｉ／Ｆ
　４　記録媒体
　５　撮像部
　５１　受光部
　５２　読出部
　６　通信Ｉ／Ｆ
　７　予測部
　８　変更部
　９　照度検出部

Claims (11)

  1. 　周囲の画像を撮像して画像データを生成する撮像部と、
    　前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、前記撮像部に撮像させる画像のフレームレートを変更する変更部と
    　を有する撮像装置。
  2. 　前記変更部は、
    　前記可能性が高いほど前記フレームレートを高める
    　請求項１に記載の撮像装置。
  3. 　前記変更部は、
    　前記可能性に応じて前記撮像部に撮像させる画像の解像度を変更する
    　請求項１に記載の撮像装置。
  4. 　前記変更部は、
    　前記可能性が高いほど前記解像度を高める
    　請求項３に記載の撮像装置。
  5. 　前記画像データに基づいて前記所定の事象が発生する可能性の高さを予測する予測部
    　を有する請求項１に記載の撮像装置。
  6. 　前記予測部は、
    　ＤＮＮ（Deep　Neural　Network）を使用するＤＮＮ処理によって前記可能性の高さを予測する
    　請求項５に記載の撮像装置。
  7. 　前記予測部は、
    　事故が発生する可能性の高さを予測する
    　請求項５に記載の撮像装置。
  8. 　前記周囲の照度を検出する照度検出部
    　を有し、
    　前記変更部は、
    　前記照度検出部によって検出される前記照度に応じて前記フレームレートの変更範囲を決定する
    　請求項１に記載の撮像装置。
  9. 　前記撮像部は、
    　前記変更部によって変更される前記フレームレートに応じて前記画像データにおける撮像画像の輝度データを調整する
    　請求項１に記載の撮像装置。
  10. 　周囲の画像を撮像して画像データを生成する撮像部と、
    　前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、前記撮像部に撮像させる画像のフレームレートを変更する変更部と
    　を有する撮像装置と、
    　前記撮像装置によって撮像される画像を記録する記録部と
    　を有する画像記録装置。
  11. 　周囲の画像を撮像して画像データを生成し、
    　前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像する画像のフレームレートを変更する
    　撮像方法。
PCT/JP2020/005203 2019-02-19 2020-02-10 撮像装置、画像記録装置、および撮像方法 WO2020170889A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080013988.9A CN113424517B (zh) 2019-02-19 2020-02-10 成像装置、图像记录装置和成像方法
US17/429,719 US11917308B2 (en) 2019-02-19 2020-02-10 Imaging device, image recording device, and imaging method for capturing a predetermined event

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019027848A JP2020136900A (ja) 2019-02-19 2019-02-19 撮像装置、画像記録装置、および撮像方法
JP2019-027848 2019-02-19

Publications (1)

Publication Number Publication Date
WO2020170889A1 true WO2020170889A1 (ja) 2020-08-27

Family

ID=72144694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005203 WO2020170889A1 (ja) 2019-02-19 2020-02-10 撮像装置、画像記録装置、および撮像方法

Country Status (4)

Country Link
US (1) US11917308B2 (ja)
JP (1) JP2020136900A (ja)
CN (1) CN113424517B (ja)
WO (1) WO2020170889A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023012821A (ja) * 2021-07-14 2023-01-26 トヨタ自動車株式会社 遠隔運転システム
WO2024087183A1 (en) * 2022-10-28 2024-05-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging device, imaging device control method, and computer program product

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134745A (ja) * 2008-12-05 2010-06-17 Fujitsu Ten Ltd ドライブレコーダ及びドライブレコーダの映像記録方法
JP2014078071A (ja) * 2012-10-09 2014-05-01 Denso Corp 移動体用画像記憶装置
JP2018173944A (ja) * 2017-03-30 2018-11-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置および情報処理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100663455B1 (ko) * 2002-04-22 2007-01-02 삼성전자주식회사 주변 조도에 따른 영상 표시장치 및 방법.
JP4364903B2 (ja) * 2004-03-17 2009-11-18 富士通マイクロエレクトロニクス株式会社 自動利得制御回路
US20060007314A1 (en) * 2004-07-10 2006-01-12 Kendall Fong Method and apparatus for capturing events having an indeterminate start time
JP4765649B2 (ja) 2006-02-08 2011-09-07 日産自動車株式会社 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP4847165B2 (ja) * 2006-03-09 2011-12-28 株式会社日立製作所 映像記録再生方法及び映像記録再生装置
WO2008149925A1 (ja) * 2007-06-08 2008-12-11 Nikon Corporation 撮像装置、画像表示装置、プログラム
JP2009049946A (ja) * 2007-08-23 2009-03-05 Sharp Corp 撮像装置およびドアホンシステム
JP4930302B2 (ja) * 2007-09-14 2012-05-16 ソニー株式会社 撮像装置、その制御方法およびプログラム
TW200930066A (en) * 2007-12-21 2009-07-01 Altek Corp Digital photogrphic camera with brightness compensation and compensation method thereof
JP4483962B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP2010003110A (ja) * 2008-06-20 2010-01-07 Panasonic Corp 車載用動画像データ記録装置
JP5225218B2 (ja) * 2008-07-02 2013-07-03 パナソニック株式会社 車両搭載型画像記録装置および画像記録方法
US8149323B2 (en) * 2008-12-18 2012-04-03 Qualcomm Incorporated System and method to autofocus assisted by autoexposure control
JP2010286587A (ja) * 2009-06-10 2010-12-24 Sony Corp 画像表示装置、画像表示観察システム、画像表示方法、及びプログラム
US8754977B2 (en) * 2011-07-28 2014-06-17 Hewlett-Packard Development Company, L.P. Second camera for finding focal target in poorly exposed region of frame taken by first camera
JP6356552B2 (ja) * 2014-09-16 2018-07-11 東芝メモリ株式会社 情報処理装置
CN104967803B (zh) * 2015-07-01 2018-01-19 广东欧珀移动通信有限公司 一种视频录制方法及装置
US20170150222A1 (en) * 2015-11-19 2017-05-25 Electronics And Telecommunications Research Institute Appratus for audience measurement on multiple devices and method of analyzing data for the same
US10097765B2 (en) * 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
US20180307912A1 (en) * 2017-04-20 2018-10-25 David Lee Selinger United states utility patent application system and method for monitoring virtual perimeter breaches

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134745A (ja) * 2008-12-05 2010-06-17 Fujitsu Ten Ltd ドライブレコーダ及びドライブレコーダの映像記録方法
JP2014078071A (ja) * 2012-10-09 2014-05-01 Denso Corp 移動体用画像記憶装置
JP2018173944A (ja) * 2017-03-30 2018-11-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
CN113424517A (zh) 2021-09-21
CN113424517B (zh) 2024-04-09
US11917308B2 (en) 2024-02-27
JP2020136900A (ja) 2020-08-31
US20220132029A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
JP7500962B2 (ja) 固体撮像素子、撮像装置、撮像方法および撮像プログラム
US7948538B2 (en) Image capturing apparatus, image capturing method, exposure control method, and program
CN100574376C (zh) 摄像装置、摄像系统以及摄像方法
US7444075B2 (en) Imaging device, camera, and imaging method
JP6271926B2 (ja) 撮像装置、その制御方法、及びプログラム
WO2020170889A1 (ja) 撮像装置、画像記録装置、および撮像方法
US20110149095A1 (en) Image pickup apparatus and method of picking up image
JP2007194687A (ja) 撮像装置
CN104811592A (zh) 摄像装置和摄像控制方法
JP6265602B2 (ja) 監視カメラシステム、撮像装置及び撮像方法
CN110832846B (zh) 像素单元、图像传感器及其运行方法、摄像装置
JP2009017156A (ja) 撮像装置、並びに、監視装置および方法
JP7375552B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2006245815A (ja) 撮像装置
JP2018201156A (ja) 画像処理装置および画像処理方法
JP4260003B2 (ja) 電子カメラ
JP4329677B2 (ja) 動き検出装置
WO2013175837A1 (ja) カメラ制御装置、カメラ制御方法、プログラムおよびカメラ装置
JP2008160454A (ja) 遠赤外線撮像装置
AU2021106921A4 (en) Systems and Methods for vehicle occupant compliance monitoring
US20240171832A1 (en) Information collection apparatus and control method
US20220237747A1 (en) Monitoring camera and image quality improving method
US11563904B2 (en) Imaging apparatus and imaging control method
JP2018121104A (ja) ドライブレコーダ装置
JP6919778B2 (ja) 定置型録画装置及びその制御方法並びにコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759763

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20759763

Country of ref document: EP

Kind code of ref document: A1