WO2024106259A1 - 画像センシング装置、画像センシング方法およびプログラム - Google Patents

画像センシング装置、画像センシング方法およびプログラム Download PDF

Info

Publication number
WO2024106259A1
WO2024106259A1 PCT/JP2023/039961 JP2023039961W WO2024106259A1 WO 2024106259 A1 WO2024106259 A1 WO 2024106259A1 JP 2023039961 W JP2023039961 W JP 2023039961W WO 2024106259 A1 WO2024106259 A1 WO 2024106259A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
control unit
dimensional image
sensing device
Prior art date
Application number
PCT/JP2023/039961
Other languages
English (en)
French (fr)
Inventor
清治 中村
良直 河合
研史 中村
Original Assignee
ヌヴォトンテクノロジージャパン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヌヴォトンテクノロジージャパン株式会社 filed Critical ヌヴォトンテクノロジージャパン株式会社
Publication of WO2024106259A1 publication Critical patent/WO2024106259A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply

Definitions

  • This disclosure relates to an image sensing device, an image sensing method, and a program.
  • Patent Document 1 discloses a device for personal authentication or determining whether a person is present or not, which uses both a 2D camera and a 3D camera. This makes it possible to prevent spoofing using photographs and to detect only targets within a specified distance range.
  • the present disclosure provides an image sensing device that can achieve low power consumption while using both a 2D camera and a 3D camera.
  • the image sensing device includes a 2D camera that generates a two-dimensional image, a 3D camera that has a light source and generates a distance image based on the reflected light of the light emitted by the light source, an image recognition unit that uses the two-dimensional image or the distance image to recognize a subject appearing in the two-dimensional image, and a camera control unit that controls the on/off operation of the 3D camera, and when the 3D camera is in a standby state in which the initialization process after startup is completed and the light source is not emitting light, the camera control unit turns on the operation of the 3D camera based on the result of the recognition using the two-dimensional image, and the 3D camera enters the standby state when the operation is turned on by the camera control unit and then turned off by the camera control unit.
  • the image sensing method is an image sensing method executed by an image sensing device, the image sensing device including a 2D camera that generates a two-dimensional image, and a 3D camera that has a light source and generates a distance image based on reflected light of light emitted by the light source, the image sensing method including an image recognition step that uses the two-dimensional image or the distance image to recognize a subject appearing in the two-dimensional image, and a camera control step that controls the operation of the 3D camera to be turned on and off, the camera control step turning on the operation of the 3D camera based on the result of the recognition using the two-dimensional image when the 3D camera is in a standby state in which the initialization process after startup is completed and the light source is not emitting light, and the 3D camera enters the standby state when the operation is turned on in the camera control step and then turned off in the camera control step.
  • the program disclosed herein is a program that causes a computer to execute the image sensing method described above.
  • An image sensing device can achieve low power consumption while using a 2D camera and a 3D camera in combination.
  • FIG. 1 is a block diagram showing an example of an image sensing device according to a first embodiment
  • FIG. 4 is a sequence diagram showing a first example of the operation of the image sensing device according to the first embodiment.
  • FIG. 11 is a sequence diagram showing a second example of the operation of the image sensing device according to the first embodiment.
  • FIG. 13 is a sequence diagram showing a third example of the operation of the image sensing device according to the first embodiment.
  • FIG. 13 is a sequence diagram showing a fourth example of the operation of the image sensing device according to the first embodiment.
  • FIG. 11 is a block diagram showing an example of an image sensing device according to a second embodiment.
  • FIG. 1 An image sensing device according to a first embodiment will be described with reference to FIGS. 1 to 5.
  • FIG. 1 An image sensing device according to a first embodiment will be described with reference to FIGS. 1 to 5.
  • FIG. 1 An image sensing device according to a first embodiment will be described with reference to FIGS. 1 to 5.
  • FIG. 1 is a block diagram showing an example of an image sensing device 100 according to the first embodiment.
  • FIG. 1 also shows an MPU (Micro Processing Unit) 200 that processes information output from the image sensing device 100.
  • the MPU 200 may be a component of the image sensing device 100.
  • the image sensing device 100 is a device for recognizing subjects appearing in an image, and includes a 2D camera 10, a 3D camera 20, an image recognition unit 30, a camera control unit 40, a 2D output control unit 51, and a 3D output control unit 52.
  • the image recognition unit 30 is shown as a component of the camera control unit 40, but the image recognition unit 30 does not have to be a component of the camera control unit 40.
  • the 2D output control unit 51 and the 3D output control unit 52 are collectively shown as the output control unit 50.
  • the image sensing device 100 is a computer that includes a processor and memory.
  • the memory is a ROM (Read Only Memory) and a RAM (Random Access Memory), etc., and can store programs executed by the processor.
  • the image recognition unit 30, the camera control unit 40, and the output control unit 50 are realized by a processor that executes programs stored in the memory, etc.
  • the 2D camera 10 is a camera that generates a two-dimensional image.
  • the 2D camera 10 is, for example, a sensor such as an image sensor or an RGB sensor. Note that the two-dimensional image generated by the 2D camera 10 may be black and white.
  • the 2D camera 10 includes a control unit 11.
  • the control unit 11 is a processing unit that controls the focus and exposure of the 2D camera 10. Note that the control unit 11 only needs to be included in the image sensing device 100, and does not necessarily have to be included in the 2D camera 10. For example, the control unit 11 controls the focus and exposure of the 2D camera 10 based on a control signal from the camera control unit 40.
  • the 3D camera 20 has a light source 21 and generates a distance image based on the reflected light of the light emitted by the light source 21.
  • the 3D camera 20 receives a signal to turn on its own operation, it causes the light source 21 to emit light (for example, intermittent emission) at a predetermined timing and generates a distance image from the exposed signal.
  • the 3D camera 20 receives a signal to turn off its own operation, it turns off the emission of the light source 21 and stops generating the distance image. In this case, the emission of the light source 21 is always off.
  • the 3D camera 20 may cause the light source 21 to emit light while it is receiving a signal to turn on its own operation, and may turn off the emission of the light source 21 when it no longer receives a signal to turn on its own operation.
  • the 3D camera 20 may be, for example, a camera using a TOF (Time Of Flight) method or a LiDAR (Light Detection And Ranging) camera.
  • the 3D camera 20 consumes a lot of power because it needs the light source 21 to emit light in order to generate a distance image.
  • the 2D camera 10 does not basically require a light source, so it consumes less power.
  • the image recognition unit 30 uses the two-dimensional image generated by the 2D camera 10 or the distance image generated by the 3D camera 20 to recognize the subject in the two-dimensional image. For example, the recognition is to identify whether or not a predetermined object is present in the two-dimensional image.
  • the predetermined object is the target of recognition and is set appropriately depending on the application. For example, when a human face is recognized using the image sensing device 100, the predetermined object is the human face.
  • the recognition result indicates that the two-dimensional image does not contain a human face (however, depending on the performance of the image recognition unit 30, it may indicate that the dog's face is present), and when a human face is present in the two-dimensional image, the recognition result indicates that a human face is present in the two-dimensional image.
  • the predetermined object is not limited to a human face.
  • the camera control unit 40 controls the on and off of the operation of the 3D camera 20. Specifically, when the camera control unit 40 turns on the operation of the 3D camera 20, it outputs a signal to the 3D camera 20 to turn on the operation of the 3D camera 20, and when the camera control unit 40 turns off the operation of the 3D camera 20, it outputs a signal to the 3D camera 20 to turn off the operation of the 3D camera 20. Note that when the camera control unit 40 turns on the operation of the 3D camera 20, it may continue to output a signal to the 3D camera 20 to turn on the operation of the 3D camera 20, and when the camera control unit 40 turns off the operation of the 3D camera 20, it may stop outputting the signal to turn on the operation of the 3D camera 20.
  • the standby state of the 3D camera 20 is a state in which the initialization process after startup is completed and the light source 21 is always not emitting light.
  • the standby state of the 3D camera 20 is a state in which the power of the 3D camera 20 is on but the light source 21 is always not emitting light.
  • the 3D camera 20 goes into a standby state when the camera control unit 40 turns off the operation of the 3D camera 20 after the operation of the 3D camera 20 has been turned on by the camera control unit 40. In this way, controlling the on and off of the operation of the 3D camera 20 is not intended to control the on and off of the power supply of the 3D camera 20.
  • the camera control unit 40 turns on the operation of the 3D camera 20 if the result of the recognition using the two-dimensional image indicates that a predetermined object is captured in the two-dimensional image. Also, when the operation of the 3D camera 20 is on, the camera control unit 40 turns off the operation of the 3D camera 20 based on the result of the recognition using the two-dimensional image or the distance image. Specific examples of the operation of the camera control unit 40 will be described later.
  • the 2D output control unit 51 controls the output of the two-dimensional image based on the result of recognition using the two-dimensional image or the distance image. For example, the 2D output control unit 51 extracts a portion of the two-dimensional image based on the result of recognition and outputs it to the MPU 200.
  • the 3D output control unit 52 controls the output of the distance image based on the result of the recognition using the two-dimensional image or the distance image. For example, the 3D output control unit 52 extracts a portion of the distance image based on the result of the recognition and outputs it to the MPU 200.
  • the distance images from the 3D camera 20 can be very large data, which can lead to problems such as a slowdown in the processing speed of the MPU 200, which analyzes the two-dimensional images and distance images or performs authentication using them, and an increase in power consumption due to an increase in the processing load.
  • the processing load on the MPU 200 can be reduced by controlling the output of only a portion of the two-dimensional images and distance images depending on the recognition results. This can improve the processing speed of the MPU 200 and also suppress an increase in power consumption due to an increase in the processing load.
  • MPU200 is the output destination of the two-dimensional image and distance image, and is a processing unit that performs analysis of the two-dimensional image and distance image or authentication using them. For example, when the MPU200 recognizes a subject appearing in a two-dimensional image as a human face, it identifies individual differences in the face and performs facial recognition. Note that facial recognition is just one example, and there are no particular limitations on the targets of authentication by MPU200.
  • FIG. 2 is a sequence diagram showing a first example of the operation of the image sensing device 100 according to the first embodiment.
  • the 2D camera 10 generates a two-dimensional image of the surroundings (step S101).
  • the 3D camera 20 is in a standby state, and the light source 21 is not emitting light (step S102).
  • the 2D camera 10 outputs the generated two-dimensional image (step S103). For example, the 2D camera 10 outputs the two-dimensional image to the image recognition unit 30 and the 2D output control unit 51.
  • the 2D output control unit 51 also outputs the two-dimensional image to the MPU 200. In a first example, the 2D output control unit 51 outputs the two-dimensional image directly to the MPU 200.
  • the MPU 200 outputs the two-dimensional image to a display or the like.
  • the image recognition unit 30 uses the two-dimensional image to recognize the subject that appears in the two-dimensional image. Specifically, the image recognition unit 30 performs face recognition to identify whether a predetermined object (e.g., a human face) appears in the two-dimensional image (step S104). For example, when a person moves into the viewing angle of the 2D camera 10, the result of recognition using the two-dimensional image will indicate that a human face appears in the two-dimensional image. For example, the predetermined object that is the target of recognition is set by the MPU 200.
  • a predetermined object e.g., a human face
  • the image recognition unit 30 detects a face in the two-dimensional image, it notifies the camera control unit 40 that a face has been detected (step S105).
  • the camera control unit 40 turns on the operation of the 3D camera 20 by receiving a notification that a face has been detected (step S106). For example, the camera control unit 40 outputs a signal to the 3D camera 20 to turn on the operation of the 3D camera 20. In this way, when the 3D camera 20 is in a standby state, the camera control unit 40 turns on the operation of the 3D camera 20 if the result of the recognition using the two-dimensional image indicates that a human face is captured in the two-dimensional image.
  • the camera control unit 40 does not turn on the operation of the 3D camera 20 (in other words, does not cause the light source 21 to emit light) until the target of recognition is captured in the two-dimensional image, and turns on the operation of the 3D camera 20 when the target of recognition is captured in the two-dimensional image, so that the 3D camera 20 can generate a distance image.
  • This allows the 3D camera 20 to be in a standby state (i.e., the light emission of the light source 21 is always off) until the face of the person to be recognized is captured in the two-dimensional image, thereby realizing low power consumption.
  • the 3D camera 20 When the 3D camera 20 receives a signal to turn on the operation of the 3D camera 20, it starts emitting light and exposing, and generates a distance image of the surroundings (step S107), which it outputs (step S108). For example, the 3D camera 20 outputs the distance image to the image recognition unit 30 and the 3D output control unit 52. The 3D output control unit 52 also outputs the distance image to the MPU 200. In a first example, the 3D output control unit 52 outputs the distance image directly to the MPU 200. For example, the MPU 200 performs face recognition, etc., using the two-dimensional image and the distance image.
  • the image recognition unit 30 uses the two-dimensional image or the distance image to recognize the subject that appears in the two-dimensional image. Specifically, the image recognition unit 30 performs face recognition to identify whether a predetermined object (e.g., a human face) is no longer visible in the two-dimensional image (step S109). For example, if a person moves out of the viewing angle of the 2D camera 10, the result of recognition using the two-dimensional image will indicate that the human face is no longer visible in the two-dimensional image.
  • a predetermined object e.g., a human face
  • step S110 If the image recognition unit 30 does not detect a face in the two-dimensional image, it notifies the camera control unit 40 that a face is no longer detected (step S110).
  • the camera control unit 40 When the camera control unit 40 receives notification that a face is no longer being detected, it turns off the operation of the 3D camera 20 (step S111). For example, the camera control unit 40 outputs a signal to the 3D camera 20 to turn off the operation of the 3D camera 20. In this way, when the 3D camera 20 is operating, the camera control unit 40 turns off the operation of the 3D camera 20 based on the results of recognition using a two-dimensional image or a distance image.
  • the 3D camera 20 goes into standby mode again (step S112).
  • the operation of the 3D camera 20 can be turned off (i.e., the 3D camera 20 can be put into standby mode), and accordingly, the light emission of the light source 21 is always turned off in the standby mode, thereby reducing the power consumption of the 3D camera 20.
  • FIG. 3 is a sequence diagram showing a second example of the operation of the image sensing device 100 according to the first embodiment.
  • step S201 to step S207 shown in FIG. 3 is the same as the process from step S101 to step S107 shown in FIG. 2, so a description thereof will be omitted.
  • the 3D camera 20 outputs the generated distance image (step S208). For example, the 3D camera 20 outputs the distance image to the image recognition unit 30 and the 3D output control unit 52.
  • the 3D output control unit 52 After acquiring the distance image, the 3D output control unit 52 waits without outputting the distance image until it acquires a signal indicating whether or not to output the distance image (step S209).
  • the image recognition unit 30 uses the two-dimensional image and the distance image to recognize the subject in the two-dimensional image. Specifically, the image recognition unit 30 performs face recognition to identify whether a predetermined object (e.g., a human face) is captured in the two-dimensional image (step S210). For example, when an image (e.g., a photograph) containing a human face is within the viewing angle of the 2D camera 10, the result of recognition using the two-dimensional image and the distance image will indicate that the face of the person captured in the photograph is captured in the two-dimensional image. Because photographs are flat and real human faces have depth, the distance image can be used to identify whether a human face captured in the two-dimensional image is a real human face or a human face captured in a photograph.
  • a predetermined object e.g., a human face
  • the image recognition unit 30 detects a photograph in the two-dimensional image, it notifies the camera control unit 40 that a photograph has been detected (step S211).
  • the camera control unit 40 When the camera control unit 40 receives notification that a photo has been detected, it outputs an output stop signal to the 3D output control unit 52 (step S212). This enables the 3D output control unit 52 to discard the distance image acquired in step S208 and to not output the distance image to the MPU 200, thereby reducing the processing load on the MPU 200.
  • the camera control unit 40 turns off the operation of the 3D camera 20 (step S213). For example, the camera control unit 40 outputs a signal to the 3D camera 20 to turn off the operation of the 3D camera 20. In this way, when the operation of the 3D camera 20 is on, the camera control unit 40 turns off the operation of the 3D camera 20 if the result of the recognition using the two-dimensional image and the distance image indicates that the face of the person in the photograph is captured in the two-dimensional image.
  • the 3D camera 20 goes into standby mode again (step S214).
  • the operation of the 3D camera 20 can be turned off (i.e., the 3D camera 20 can be put into standby mode), and accordingly, the light emission of the light source 21 is always turned off in the standby mode, thereby reducing the power consumption of the 3D camera 20.
  • step S109 onwards described in the first example will be carried out.
  • FIG. 4 is a sequence diagram showing a third example of the operation of the image sensing device 100 according to the first embodiment.
  • step S301 to step S306 shown in FIG. 4 is the same as the processing from step S101 to step S106 shown in FIG. 2, so a description thereof will be omitted. Note that, in the first example, it was explained that the 2D output control unit 51 outputs the two-dimensional image directly to the MPU 200, but in the third example, the 2D output control unit 51 controls the output of the two-dimensional image based on the result of recognition using the two-dimensional image or the distance image.
  • the image recognition unit 30 When a predetermined object (e.g., a human face) is included in the two-dimensional image, the image recognition unit 30 outputs position information of the portion of the two-dimensional image in which the human face is included to the 2D output control unit 51 and the 3D output control unit 52 (step S307). For example, the image recognition unit 30 outputs, as position information, information indicating pixels corresponding to the area in the two-dimensional image in which the human face is detected to the 2D output control unit 51 and the 3D output control unit 52.
  • position information information indicating pixels corresponding to the area in the two-dimensional image in which the human face is detected
  • the 3D camera 20 When the 3D camera 20 receives a signal to turn on the operation of the 3D camera 20, it starts emitting light and exposing, and generates a distance image of the surroundings (step S308), which it outputs (step S309). For example, the 3D camera 20 outputs the distance image to the image recognition unit 30 and the 3D output control unit 52. Note that, in the first example, it was explained that the 3D output control unit 52 outputs the distance image directly to the MPU 200, but in the third example, the 3D output control unit 52 controls the output of the distance image based on the result of recognition using a two-dimensional image or a distance image.
  • the 2D output control unit 51 Based on the acquired position information, the 2D output control unit 51 outputs a 2D image of the part of the 2D image in which the human face appears to the MPU 200 (step S310). For example, the 2D output control unit 51 extracts a pixel part corresponding to the area in the 2D image that is detected as the human face from the 2D image, and outputs the pixel part in the 2D image to the MPU 200.
  • the 3D output control unit 52 also outputs a distance image of the part of the two-dimensional image in which the human face appears to the MPU 200 based on the acquired position information (step S311). For example, the 3D output control unit 52 extracts a pixel part corresponding to the area in the two-dimensional image in which the human face is detected from the distance image, and outputs the pixel part in the distance image to the MPU 200.
  • the 2D output control unit 51 outputs a two-dimensional image of the portion of the two-dimensional image where the human face is captured, and the 3D output control unit 52 outputs a distance image of the portion of the two-dimensional image where the human face is captured.
  • a predetermined object e.g., a human face
  • the human face that is the target of recognition is captured in the two-dimensional image
  • it is possible to output only the two-dimensional image of the portion where the human face is captured in other words, a two-dimensional image with the portion that does not include the human face removed
  • it is also possible to output only the distance image of the portion where the human face is captured in other words, a distance image with the portion that does not include the human face removed. This makes it possible to reduce the processing load on the MPU 200.
  • the image recognition unit 30 outputs pixel information corresponding to an area within a predetermined distance range among areas in the two-dimensional image where a human face has been detected, to the 2D output control unit 51 and the 3D output control unit 52.
  • the 2D output control unit 51 can output to the MPU 200 a two-dimensional image of a portion of the two-dimensional image in which a human face is located within the predetermined distance range.
  • the 3D output control unit 52 can output to the MPU 200 a distance image of a portion of the two-dimensional image in which a human face is located within the predetermined distance range.
  • the 2D output control unit 51 may output a two-dimensional image of the portion of the two-dimensional image in which the human face is shown, and the 3D output control unit 52 may output a distance image of the portion of the two-dimensional image in which the human face is shown. If the human face that is the subject of recognition is shown in the two-dimensional image and is within a predetermined distance range, only the two-dimensional image of this portion can be output, and only the distance image of this portion can be output. This makes it possible to reduce the processing load on the MPU 200.
  • step S109 onwards is performed in the same way as in the first example, or the processing from step S209 onwards is performed in the same way as in the second example.
  • FIG. 5 is a sequence diagram showing a fourth example of the operation of the image sensing device 100 according to the first embodiment.
  • step S401 to step S408 shown in FIG. 5 is the same as the process from step S101 to step S108 shown in FIG. 2, so a description thereof will be omitted.
  • the image recognition unit 30 recognizes the distance to the face of the person appearing in the two-dimensional image based on the distance image, and outputs this distance information to the camera control unit 40 (step S409), which then outputs this distance information to the 2D camera 10 (specifically, the control unit 11) (step S410).
  • the 2D camera 10 controls the focus of the 2D camera 10 based on the acquired distance information (step S411), and outputs the two-dimensional image acquired by the focus-controlled 2D camera 10 (step S412).
  • control unit 11 controls the focus of the 2D camera 10 based on the distance information to the face of the person depicted in the two-dimensional image shown by the distance image. Since the focus of the 2D camera 10 can be controlled at high speed depending on the distance from the image sensing device 100 to the face of the person depicted in the two-dimensional image, it becomes easier to bring the face of the person depicted in the two-dimensional image into focus, and the accuracy of recognition or authentication using this two-dimensional image can be improved.
  • the control unit 11 may further control the exposure of the 2D camera 10 based on position information of a person's face appearing in the two-dimensional image.
  • step S109 onwards is performed in the same way as in the first example, or the processing from step S209 onwards is performed in the same way as in the second example.
  • the 3D camera 20 can be in a standby state until the desired recognition result (for example, detection of a human face) is obtained from the two-dimensional image generated by the 2D camera 10.
  • the 3D camera 20 in the standby state is activated (in other words, the power is on), but the light source 21 is not emitting light, and only power consumption equivalent to standby power is generated, so the power consumption of the 3D camera 20 is low. Therefore, until the desired recognition result is obtained from the two-dimensional image, the light source 21 of the 3D camera 20 is not emitting light, so power consumption can be reduced, and when the desired recognition result is obtained, the operation of the 3D camera 20 can be turned on to emit light from the light source 21 to perform detailed recognition.
  • the operation of the 3D camera 20 is controlled to be turned on and off based on the results of the recognition, but the power supply of the 3D camera 20 is not controlled to be turned on and off based on the results of the recognition. This prevents the initialization process from being performed each time the power supply of the 3D camera 20 is turned on and off, thereby reducing delays.
  • FIG. 6 is a block diagram showing an example of an image sensing device 100a according to the second embodiment. Note that FIG. 6 also shows an MPU 200 that processes information output from the image sensing device 100a. Note that the MPU 200 may be a component of the image sensing device 100a.
  • Image sensing device 100a differs from image sensing device 100 in embodiment 1 in that it includes a 2D camera 10a instead of 2D camera 10, multiple 3D cameras instead of 3D camera 20, and a camera control unit 40a instead of camera control unit 40. Other points are the same as those in embodiment 1, so a description thereof will be omitted.
  • the image sensing device 100a Since the image sensing device 100a is equipped with multiple 3D cameras, it can sense a wider area than if it were equipped with a single 3D camera. For example, the image sensing device 100a can be used for obstacle detection processing, which requires sensing over a wider area.
  • the image sensing device 100a includes multiple 3D cameras, such as 3D cameras 20a and 20b.
  • the 3D camera 20a has a light source 21a and generates a distance image based on the reflected light of the light emitted by the light source 21a.
  • the 3D camera 20b has a light source 21b and generates a distance image based on the reflected light of the light emitted by the light source 21b.
  • the image sensing device 100a may include three or more 3D cameras.
  • the 2D camera 10a is a camera that generates a two-dimensional image.
  • the 2D camera 10a is, for example, a wide-angle camera. Since the image sensing device 100a is equipped with multiple 3D cameras, the 2D camera 10a is also a wide-angle camera.
  • the camera control unit 40a has a function of determining at least one 3D camera from among the multiple 3D cameras based on the position of the subject shown in the two-dimensional image when the multiple 3D cameras are in a standby state, and turning on the operation of the determined at least one 3D camera based on the result of recognition using the two-dimensional image. For example, when the image recognition unit 30 identifies that the subject shown in the two-dimensional image is within the viewing angle of the 3D camera 20a, the camera control unit 40a determines the 3D camera 20a from among the 3D cameras 20a and 20b. Then, the camera control unit 40a turns on the operation of the determined 3D camera 20a, for example, when the subject shown in the two-dimensional image is a predetermined object (such as a human face).
  • a predetermined object such as a human face
  • 3D camera 20a which is capable of generating a distance image of the position of the subject captured in the two-dimensional image, out of 3D cameras 20a and 20b, it is possible to achieve lower power consumption than when all of 3D cameras 20a and 20b are turned on.
  • the processing load on MPU 200 can be reduced. This makes it possible to improve the processing speed of MPU 200 and also suppress an increase in power consumption due to an increase in processing load.
  • image sensing device 100a in the second embodiment may also have the functions of the image sensing device 100 described in the first to fourth examples of the first embodiment.
  • FIG. 7 is a block diagram showing an example of an image sensing device 100b according to the third embodiment. Note that FIG. 7 also shows an MPU 200 that processes information output from the image sensing device 100b. Note that the MPU 200 may be a component of the image sensing device 100b.
  • the image sensing device 100b differs from the image sensing device 100 in the first embodiment in that it has a BW-TOF camera 110 instead of the 2D camera 10 and the 3D camera 20.
  • the rest of the configuration is the same as in the first embodiment, so a description thereof will be omitted.
  • the BW-TOF camera 110 is a camera in which a 2D camera and a 3D camera are integrated.
  • the BW-TOF camera 110 is a camera that has both the functions of a 2D camera and a 3D camera.
  • the BW-TOF camera 110 includes a BW-TOF sensor 111 and a light source 112.
  • the BW-TOF sensor 111 is arranged with pixels (IR pixels) for generating a distance image and pixels (BW pixels) for generating a two-dimensional image (black and white image), and can generate a two-dimensional image when the light source 112 is not emitting light, and can generate both a distance image and a two-dimensional image based on the reflected light of the light emitted by the light source 112.
  • the BW-TOF camera 110 is shown as an example of a camera in which a 2D camera and a 3D camera are integrated, but there is no particular limitation as long as the camera is an integrated 2D camera and a 3D camera, in other words, a camera that has both 2D and 3D camera functions.
  • the integrated 2D camera and 3D camera may be an RGB-TOF camera.
  • An RGB-TOF camera is a camera that, unlike the BW-TOF camera 110, can capture color images instead of black and white images.
  • image sensing device 100b in the third embodiment may also have the functions of the image sensing device 100 described in the first to fourth examples of the first embodiment.
  • the camera control unit turns off the operation of the 3D camera based on the results of recognition using a two-dimensional image or a distance image when the 3D camera operation is on, but this is not limiting.
  • the camera control unit may turn off the operation of the 3D camera based on the results of input from an external device when the 3D camera operation is on.
  • the external device is a device that uses the results of recognition using a two-dimensional image or a distance image to authenticate the subject appearing in the two-dimensional image, specifically an MPU.
  • the MPU outputs a signal to the image sensing device indicating that.
  • the operation of the 3D camera can be turned off, and therefore the light source emission is always turned off, reducing the power consumption of the 3D camera.
  • the image sensing device includes a 2D output control unit that controls the output of a two-dimensional image, and a 3D output control unit that controls the output of a distance image, but the image sensing device does not necessarily need to include a 2D output control unit and a 3D output control unit.
  • the image sensing device is equipped with a control unit that controls the focus of the 2D camera, but the image sensing device does not have to be equipped with such a control unit.
  • the present disclosure can be realized not only as an image sensing device, but also as an image sensing method including steps (processing) performed by components that make up the image sensing device.
  • FIG. 8 is a flowchart showing an example of an image sensing method according to another embodiment.
  • the image sensing method is a method executed by an image sensing device, the image sensing device including a 2D camera that generates a two-dimensional image, and a 3D camera that has a light source and generates a distance image based on reflected light emitted by the light source.
  • the image sensing method includes an image recognition step (step S11) that uses the two-dimensional image or the distance image to recognize a subject appearing in the two-dimensional image, and a camera control step that controls the operation of the 3D camera to be turned on and off.
  • the operation of the 3D camera is turned on based on the result of recognition using the two-dimensional image (step S12). After the operation is turned on in the camera control step, the 3D camera enters a standby state when the operation is turned off in the camera control step.
  • the present disclosure can be realized as a program for causing a computer (processor) to execute the steps included in the image sensing method.
  • the present disclosure can be realized as a non-transitory computer-readable recording medium, such as a CD-ROM, on which the program is recorded.
  • each step is performed by running the program using hardware resources such as a computer's CPU, memory, and input/output circuits.
  • hardware resources such as a computer's CPU, memory, and input/output circuits.
  • each step is performed by the CPU obtaining data from memory or input/output circuits, etc., performing calculations, and outputting the results of the calculations to memory or input/output circuits, etc.
  • each component included in the image sensing device may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • LSI is an integrated circuit. These may be individually integrated into a single chip, or may be integrated into a single chip that includes some or all of the functions. Furthermore, the integrated circuit is not limited to an LSI, and may be realized using a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI may also be used.
  • An image sensing device comprising: a 2D camera that generates a two-dimensional image; a 3D camera that has a light source and generates a distance image based on the reflected light of the light emitted by the light source; an image recognition unit that uses the two-dimensional image or the distance image to recognize a subject appearing in the two-dimensional image; and a camera control unit that controls the on/off operation of the 3D camera, wherein the camera control unit turns on the operation of the 3D camera based on the result of the recognition using the two-dimensional image when the 3D camera is in a standby state in which the initialization process after startup is completed and the light source is not emitting light, and the 3D camera enters the standby state when the operation is turned on by the camera control unit and then turned off by the camera control unit.
  • the 3D camera can be in a standby state until the desired recognition result is obtained by the two-dimensional image generated by the 2D camera.
  • the 3D camera in the standby state is activated (in other words, the power is on), but the light source is not emitting light, and only the standby power is consumed, so the power consumption of the 3D camera is low. Therefore, until the desired recognition result is obtained by the two-dimensional image, the light source of the 3D camera is not emitted, so the power consumption can be reduced, and when the desired recognition result is obtained, the operation of the 3D camera is turned on to emit the light source of the 3D camera for detailed recognition.
  • the 3D camera goes into a standby state again, so the power consumption of the 3D camera can be reduced. Therefore, it is possible to achieve low power consumption while using the 2D camera and the 3D camera together.
  • the operation of the 3D camera is turned on and off based on the recognition result, but the power on and off of the 3D camera is not controlled based on the recognition result, so that the initialization process is prevented from being performed every time the power of the 3D camera is turned on and off, and delays can be reduced.
  • the target of recognition no longer exists, so the 3D camera can be turned off, and the light source will always be turned off, reducing the power consumption of the 3D camera.
  • the 3D camera After the 3D camera is turned on, if it is determined from the distance image that the recognized object is the object shown in the image, the recognized object is not real and is not the target of recognition, so the 3D camera can be turned off, and the light source will always be turned off, reducing the power consumption of the 3D camera.
  • the external device is a device that uses the results of recognition using a two-dimensional image or a distance image to authenticate a subject appearing in a two-dimensional image, and outputs a signal to the image sensing device indicating that the authentication process has been completed.
  • the input result from the external device to the image sensing device indicates that the authentication process has been completed, there is no further need to recognize the subject appearing in the two-dimensional image, so the operation of the 3D camera can be turned off, and therefore the light source emission is always turned off, thereby reducing the power consumption of the 3D camera.
  • the image sensing device further includes a 2D output control unit that controls the output of the two-dimensional image based on the result of the recognition using the two-dimensional image or the distance image, and a 3D output control unit that controls the output of the distance image based on the result of the recognition using the two-dimensional image or the distance image.
  • a predetermined object to be recognized is included in the two-dimensional image, it is possible to output only the two-dimensional image of the portion where this object appears (in other words, the two-dimensional image with the portion where the object does not appear removed), and it is also possible to output only the distance image of the portion where this object appears (in other words, the distance image with the portion where the object does not appear removed). This reduces the processing load on the output device.
  • the image sensing device may be a device capable of sensing a wide area using multiple 3D cameras.
  • the 3D camera capable of generating a distance image of the position of the subject shown in the two-dimensional image
  • An image sensing method executed by an image sensing device comprising a 2D camera that generates a two-dimensional image, and a 3D camera that has a light source and generates a distance image based on reflected light of light emitted by the light source, the image sensing method including an image recognition step of using the two-dimensional image or the distance image to recognize a subject appearing in the two-dimensional image, and a camera control step of controlling the operation of the 3D camera to be on and off, in which, when the 3D camera is in a standby state in which the initialization process after startup is completed and the light source is not emitting light, the operation of the 3D camera is turned on based on the result of the recognition using the two-dimensional image, and the 3D camera enters the standby state when the operation is turned on in the camera control step and then turned off in the camera control step.
  • This disclosure can be applied to devices that use both 2D and 3D cameras to perform image recognition.
  • REFERENCE SIGNS LIST 10 10a 2D camera 11 Control unit 20, 20a, 20b 3D camera 21, 21a, 21b, 112 Light source 30 Image recognition unit 40, 40a Camera control unit 50 Output control unit 51 2D output control unit 52 3D output control unit 100, 100a, 100b Image sensing device 110 BW-TOF camera 111 BW-TOF sensor 200 MPU

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

画像センシング装置（１００）は、二次元画像を生成する２Ｄカメラ（１０）と、光源（２１）を有し、光源（２１）が照射した光の反射光をもとに距離画像を生成する３Ｄカメラ（２０）と、二次元画像または距離画像を用いて、二次元画像に写る被写体に対する認識を行う画像認識部（３０）と、３Ｄカメラ（２０）の動作のオンおよびオフを制御するカメラ制御部（４０）と、を備え、カメラ制御部（４０）は、３Ｄカメラ（２０）が、起動後の初期化処理が完了し光源（２１）が発光していない待機状態となっているときに、二次元画像を用いた認識の結果に基づいて、３Ｄカメラ（２０）の動作をオンし、３Ｄカメラ（２０）は、カメラ制御部（４０）によって動作がオンされた後、カメラ制御部（４０）によって動作がオフされた場合に、待機状態となる。

Description

画像センシング装置、画像センシング方法およびプログラム
　本開示は、画像センシング装置、画像センシング方法およびプログラムに関する。
　例えば、特許文献１には、個人認証または人物の在非の判断をする装置が開示されており、この装置では、２Ｄカメラと３Ｄカメラとが併用されている。これにより、写真を用いたなりすましを防止したり、所定の距離範囲の対象のみの検出を行ったりすることが可能となる。
国際公開第２０２０／０７５５２５号
　しかしながら、３Ｄカメラは、距離を測定するための発光装置（光源）を備えているため、特許文献１に開示されている装置のように３Ｄカメラが用いられる場合には、光源の発光に伴い消費電力が大きくなる。
　そこで、本開示は、２Ｄカメラと３Ｄカメラとを併用しつつ、低消費電力化を実現することができる画像センシング装置などを提供する。
　本開示に係る画像センシング装置は、二次元画像を生成する２Ｄカメラと、光源を有し、前記光源が照射した光の反射光をもとに距離画像を生成する３Ｄカメラと、前記二次元画像または前記距離画像を用いて、前記二次元画像に写る被写体に対する認識を行う画像認識部と、前記３Ｄカメラの動作のオンおよびオフを制御するカメラ制御部と、を備え、前記カメラ制御部は、前記３Ｄカメラが、起動後の初期化処理が完了し前記光源が発光していない待機状態となっているときに、前記二次元画像を用いた前記認識の結果に基づいて、前記３Ｄカメラの動作をオンし、前記３Ｄカメラは、前記カメラ制御部によって動作がオンされた後、前記カメラ制御部によって動作がオフされた場合に、前記待機状態となる。
　本開示に係る画像センシング方法は、画像センシング装置により実行される画像センシング方法であって、前記画像センシング装置は、二次元画像を生成する２Ｄカメラと、光源を有し、前記光源が照射した光の反射光をもとに距離画像を生成する３Ｄカメラと、を備え、前記画像センシング方法は、前記二次元画像または前記距離画像を用いて、前記二次元画像に写る被写体に対する認識を行う画像認識ステップと、前記３Ｄカメラの動作のオンおよびオフを制御するカメラ制御ステップと、を含み、前記カメラ制御ステップでは、前記３Ｄカメラが、起動後の初期化処理が完了し前記光源が発光していない待機状態となっているときに、前記二次元画像を用いた前記認識の結果に基づいて、前記３Ｄカメラの動作をオンし、前記３Ｄカメラは、前記カメラ制御ステップで動作がオンされた後、前記カメラ制御ステップで動作がオフされた場合に、前記待機状態となる。
　本開示に係るプログラムは、上記の画像センシング方法をコンピュータに実行させるプログラムである。
　本開示の一態様に係る画像センシング装置などによれば、２Ｄカメラと３Ｄカメラとを併用しつつ、低消費電力化を実現することができる。
実施の形態１に係る画像センシング装置の一例を示すブロック図である。 実施の形態１に係る画像センシング装置の動作の第１例を示すシーケンス図である。 実施の形態１に係る画像センシング装置の動作の第２例を示すシーケンス図である。 実施の形態１に係る画像センシング装置の動作の第３例を示すシーケンス図である。 実施の形態１に係る画像センシング装置の動作の第４例を示すシーケンス図である。 実施の形態２に係る画像センシング装置の一例を示すブロック図である。 実施の形態３に係る画像センシング装置の一例を示すブロック図である。 その他の実施の形態に係る画像センシング方法の一例を示すフローチャートである。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。
　（実施の形態１）
　以下、実施の形態１に係る画像センシング装置について図１から図５を用いて説明する。
　図１は、実施の形態１に係る画像センシング装置１００の一例を示すブロック図である。なお、図１には、画像センシング装置１００から出力された情報を処理するＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２００が示されている。なお、ＭＰＵ２００は、画像センシング装置１００の構成要素であってもよい。
　画像センシング装置１００は、画像に写る被写体に対する認識を行うための装置であり、２Ｄカメラ１０と、３Ｄカメラ２０と、画像認識部３０と、カメラ制御部４０と、２Ｄ出力制御部５１と、３Ｄ出力制御部５２と、を備える。なお、図１では、画像認識部３０は、カメラ制御部４０が備える構成要素として示されているが、画像認識部３０は、カメラ制御部４０の構成要素でなくてもよい。また、図１では、２Ｄ出力制御部５１と３Ｄ出力制御部５２とをまとめて出力制御部５０と示されている。
　画像センシング装置１００は、プロセッサおよびメモリなどを含むコンピュータである。メモリは、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などであり、プロセッサにより実行されるプログラムを記憶することができる。画像認識部３０、カメラ制御部４０および出力制御部５０は、メモリに格納されたプログラムを実行するプロセッサなどによって実現される。
　２Ｄカメラ１０は、二次元画像を生成するカメラである。２Ｄカメラ１０は、例えば、イメージセンサまたはＲＧＢセンサなどのセンサである。なお、２Ｄカメラ１０が生成する二次元画像は、白黒であってもよい。
　例えば、２Ｄカメラ１０は、制御部１１を備える。制御部１１は、２Ｄカメラ１０のフォーカスおよび露出を制御する処理部である。なお、制御部１１は、画像センシング装置１００に備えられていればよく、２Ｄカメラ１０に備えられていなくてもよい。例えば、制御部１１は、カメラ制御部４０からの制御信号に基づいて、２Ｄカメラ１０のフォーカスおよび露出を制御する。
　３Ｄカメラ２０は、光源２１を有し、光源２１が照射した光の反射光をもとに距離画像を生成するカメラである。３Ｄカメラ２０は、自身の動作をオンさせるための信号を取得した場合に、所定のタイミングで光源２１を発光（例えば間欠発光）させ、露光した信号から距離画像を生成する。また、３Ｄカメラ２０は、自身の動作をオフさせるための信号を取得した場合に、光源２１の発光をオフし、距離画像の生成を停止する。この場合には、光源２１の発光は常にオフしている。なお、３Ｄカメラ２０は、自身の動作をオンさせるための信号を取得している間、光源２１を発光させ、自身の動作をオンさせるための信号を取得しなくなったときに、光源２１の発光をオフしてもよい。３Ｄカメラ２０は、例えば、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式を用いたカメラ、または、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）などである。
　３Ｄカメラ２０は、距離画像を生成するために、光源２１の発光が必要となっているため、消費電力が大きい。一方で、２Ｄカメラ１０は、基本的には、光源は不要となっているため、消費電力は小さい。
　画像認識部３０は、２Ｄカメラ１０によって生成された二次元画像または３Ｄカメラ２０によって生成された距離画像を用いて、二次元画像に写る被写体に対する認識を行う。例えば、認識は、二次元画像に予め定められたオブジェクトが写っているか否かを識別することである。予め定められたオブジェクトは、認識の対象であり、用途などに応じて適宜設定される。例えば、画像センシング装置１００を用いて人の顔が認識される場合には、予め定められたオブジェクトは、人の顔となる。例えば、二次元画像に犬の顔が写っている場合には、認識の結果は二次元画像に人の顔が写っていないことを示し（なお、画像認識部３０の性能によっては犬の顔が写っていることを示してもよい）、二次元画像に人の顔が写っている場合には、認識の結果は、二次元画像に人の顔が写っていることを示す。なお、予め定められたオブジェクトは、人の顔に限定されるものではない。
　カメラ制御部４０は、３Ｄカメラ２０の動作のオンおよびオフを制御する。具体的には、カメラ制御部４０は、３Ｄカメラ２０の動作をオンさせる場合、３Ｄカメラ２０へ３Ｄカメラ２０の動作をオンさせるための信号を出力し、３Ｄカメラ２０の動作をオフさせる場合、３Ｄカメラ２０へ３Ｄカメラ２０の動作をオフさせるための信号を出力する。なお、カメラ制御部４０は、３Ｄカメラ２０の動作をオンさせる場合に、３Ｄカメラ２０へ３Ｄカメラ２０の動作をオンさせるための信号を出力し続け、３Ｄカメラ２０の動作をオフさせる場合に、３Ｄカメラ２０の動作をオンさせるための信号の出力を停止してもよい。カメラ制御部４０は、３Ｄカメラ２０が待機状態となっているときに、二次元画像を用いた認識の結果に基づいて、３Ｄカメラ２０の動作をオンする。３Ｄカメラ２０の待機状態は、起動後の初期化処理が完了し光源２１が常に発光していない状態である。つまり、３Ｄカメラ２０の待機状態は、３Ｄカメラ２０の電源がオンしているが光源２１は常に発光していない状態である。３Ｄカメラ２０は、カメラ制御部４０によって動作がオンされた後、カメラ制御部４０によって動作がオフされた場合に、待機状態となる。このように、３Ｄカメラ２０の動作のオンおよびオフを制御することは、３Ｄカメラ２０の電源のオンおよびオフを制御することを意図するものではない。
　例えば、カメラ制御部４０は、３Ｄカメラ２０が待機状態となっているときに、二次元画像を用いた認識の結果が、二次元画像に予め定められたオブジェクトが写っていることを示す場合に、３Ｄカメラ２０の動作をオンする。また、カメラ制御部４０は、３Ｄカメラ２０の動作がオンしているときに、二次元画像または距離画像を用いた認識の結果に基づいて、３Ｄカメラ２０の動作をオフする。カメラ制御部４０の動作の具体例については後述する。
　２Ｄ出力制御部５１は、二次元画像または距離画像を用いた認識の結果に基づいて、二次元画像の出力を制御する。例えば、２Ｄ出力制御部５１は、認識の結果に基づいて、二次元画像の一部分を抽出して、ＭＰＵ２００に出力する。
　３Ｄ出力制御部５２は、二次元画像または距離画像を用いた認識の結果に基づいて、距離画像の出力を制御する。例えば、３Ｄ出力制御部５２は、認識の結果に基づいて、距離画像の一部分を抽出して、ＭＰＵ２００に出力する。
　３Ｄカメラ２０の距離画像は、非常に大きなデータとなり得るため、二次元画像および距離画像の分析またはこれらを用いた認証などを行うＭＰＵ２００の処理速度の低下および処理負荷の増加による消費電力の増加という問題がある。これに対して、例えば、認識の結果に応じて、二次元画像および距離画像の一部分が出力されるように制御されることで、ＭＰＵ２００における処理負荷を少なくすることができる。このため、ＭＰＵ２００の処理速度を向上でき、また、処理負荷が増加することによる消費電力の増加を抑制できる。
　ＭＰＵ２００は、二次元画像および距離画像の出力先であり、二次元画像および距離画像の分析またはこれらを用いた認証などを行う処理部である。例えば、ＭＰＵ２００は、二次元画像に写る被写体が人の顔と認識された場合に、当該顔の個体差を識別して顔認証を行う。なお、顔認証は一例であり、ＭＰＵ２００による認証の対象は特に限定されない。
　次に、画像センシング装置１００の動作の具体例について、図２から図５を用いて説明する。
　まず、画像センシング装置１００の動作の第１例について、図２を用いて説明する。
　図２は、実施の形態１に係る画像センシング装置１００の動作の第１例を示すシーケンス図である。
　まず、２Ｄカメラ１０は、周囲の二次元画像を生成する（ステップＳ１０１）。
　このとき、３Ｄカメラ２０は、待機状態となっており、光源２１は発光していない状態となっている（ステップＳ１０２）。
　２Ｄカメラ１０は、生成した二次元画像を出力する（ステップＳ１０３）。例えば、２Ｄカメラ１０は、二次元画像を画像認識部３０および２Ｄ出力制御部５１へ出力する。また、２Ｄ出力制御部５１は、二次元画像をＭＰＵ２００に出力する。第１例では、２Ｄ出力制御部５１は、二次元画像をそのままＭＰＵ２００に出力する。例えば、ＭＰＵ２００は、ディスプレイなどに二次元画像に出力する。
　画像認識部３０は、二次元画像を用いて、二次元画像に写る被写体に対する認識を行う。具体的には、画像認識部３０は、二次元画像に予め定められたオブジェクト（例えば人の顔）が写っているかを識別する顔認識を行う（ステップＳ１０４）。例えば、２Ｄカメラ１０の視野角に人が移動してきた場合に、二次元画像を用いた認識の結果が、二次元画像に人の顔が写っていることを示すようになる。例えば、認識の対象である予め定められたオブジェクトは、ＭＰＵ２００によって設定される。
　画像認識部３０は、二次元画像において顔を検出した場合、顔を検出したことをカメラ制御部４０に通知する（ステップＳ１０５）。
　カメラ制御部４０は、顔を検出したことの通知を受けることで、３Ｄカメラ２０の動作をオンする（ステップＳ１０６）。例えば、カメラ制御部４０は、３Ｄカメラ２０の動作をオンさせるための信号を３Ｄカメラ２０に出力する。このように、カメラ制御部４０は、３Ｄカメラ２０が待機状態となっているときに、二次元画像を用いた認識の結果が、二次元画像に人の顔が写っていることを示す場合に、３Ｄカメラ２０の動作をオンする。つまり、カメラ制御部４０は、二次元画像に認識の対象が写るまでは３Ｄカメラ２０の動作をオンせず（言い換えると光源２１を発光させず）、二次元画像に認識の対象が写ったときに３Ｄカメラ２０の動作をオンして、３Ｄカメラ２０が距離画像を生成できるようにする。これにより、認識の対象である人の顔が二次元画像に写るまでは、３Ｄカメラ２０を待機状態（つまり、光源２１の発光を常にオフ）とすることができ、低消費電力化を実現することができる。
　３Ｄカメラ２０は、３Ｄカメラ２０の動作をオンさせるための信号を受信することで発光および露光を開始し、周囲の距離画像を生成し（ステップＳ１０７）、出力する（ステップＳ１０８）。例えば、３Ｄカメラ２０は、距離画像を画像認識部３０および３Ｄ出力制御部５２へ出力する。また、３Ｄ出力制御部５２は、距離画像をＭＰＵ２００に出力する。第１例では、３Ｄ出力制御部５２は、距離画像をそのままＭＰＵ２００に出力する。例えば、ＭＰＵ２００は、二次元画像および距離画像を用いて顔認証などを行う。
　画像認識部３０は、二次元画像または距離画像を用いて、二次元画像に写る被写体に対する認識を行う。具体的には、画像認識部３０は、二次元画像に予め定められたオブジェクト（例えば人の顔）が写らなくなったかを識別する顔認識を行う（ステップＳ１０９）。例えば、２Ｄカメラ１０の視野角から人が移動した場合に、二次元画像を用いた認識の結果が、二次元画像に人の顔が写っていないことを示すようになる。
　画像認識部３０は、二次元画像において顔を検出しない場合、顔を検出しなくなったことをカメラ制御部４０に通知する（ステップＳ１１０）。
　カメラ制御部４０は、顔を検出しなくなったことの通知を受けることで、３Ｄカメラ２０の動作をオフする（ステップＳ１１１）。例えば、カメラ制御部４０は、３Ｄカメラ２０の動作をオフさせるための信号を３Ｄカメラ２０に出力する。このように、カメラ制御部４０は、３Ｄカメラ２０が動作しているときに、二次元画像または距離画像を用いた認識の結果に基づいて、３Ｄカメラ２０の動作をオフする。
　そして、３Ｄカメラ２０は、再度待機状態となる（ステップＳ１１２）。このように、３Ｄカメラ２０の動作がオンされた後、認識の対象である人の顔が二次元画像に写らなくなった場合には、認識の対象が存在しなくなったため、３Ｄカメラ２０の動作をオフすることができ（つまり３Ｄカメラ２０を待機状態とすることができ）、これに伴い待機状態では光源２１の発光も常にオフになり、３Ｄカメラ２０の消費電力を少なくすることができる。
　次に、画像センシング装置１００の動作の第２例について、図３を用いて説明する。
　図３は、実施の形態１に係る画像センシング装置１００の動作の第２例を示すシーケンス図である。
　図３に示されるステップＳ２０１からステップＳ２０７までの処理は、図２に示されるステップＳ１０１からステップＳ１０７までの処理と同じであるため、説明は省略する。
　３Ｄカメラ２０は、生成した距離画像を出力する（ステップＳ２０８）。例えば、３Ｄカメラ２０は、距離画像を画像認識部３０および３Ｄ出力制御部５２へ出力する。
　３Ｄ出力制御部５２は、距離画像を取得した後、距離画像の出力の可否を示す信号を取得されるまで距離画像を出力せずに、待機する（ステップＳ２０９）。
　画像認識部３０は、二次元画像および距離画像を用いて、二次元画像に写る被写体に対する認識を行う。具体的には、画像認識部３０は、二次元画像に、画像に写った予め定められたオブジェクト（例えば人の顔）が写っているかを識別する顔認識を行う（ステップＳ２１０）。例えば、人の顔が写った画像（例えば写真）が２Ｄカメラ１０の視野角にある場合に、二次元画像および距離画像を用いた認識の結果が、二次元画像に、写真に写った人の顔が写っていることを示すようになる。写真は平坦であり、実際の人の顔は奥行きがあることから、距離画像を用いることで、二次元画像に写る人の顔が実際の人の顔であるか、写真に写る人の顔であるかを識別することができる。
　画像認識部３０は、二次元画像において写真を検出した場合、写真を検出したことをカメラ制御部４０に通知する（ステップＳ２１１）。
　カメラ制御部４０は、写真を検出したことの通知を受けることで、３Ｄ出力制御部５２に出力停止信号を出力する（ステップＳ２１２）。これにより、３Ｄ出力制御部５２は、ステップＳ２０８で取得した距離画像を破棄し、距離画像をＭＰＵ２００に出力しないようにすることができるため、ＭＰＵ２００における処理負荷を少なくすることができる。
　また、カメラ制御部４０は、写真を検出したことの通知を受けることで、３Ｄカメラ２０の動作をオフする（ステップＳ２１３）。例えば、カメラ制御部４０は、３Ｄカメラ２０の動作をオフさせるための信号を３Ｄカメラ２０に出力する。このように、カメラ制御部４０は、３Ｄカメラ２０の動作がオンしているときに、二次元画像および距離画像を用いた認識の結果が、二次元画像に、写真に写った人の顔が写っていることを示す場合に、３Ｄカメラ２０の動作をオフする。
　そして、３Ｄカメラ２０は、再度待機状態となる（ステップＳ２１４）。このように、３Ｄカメラ２０の動作がオンされた後、距離画像によって、認識された人の顔が、写真に写った人の顔であったとわかった場合には、認識された人の顔が実物ではなく、認識の対象ではないため、３Ｄカメラ２０の動作をオフすることができ（つまり３Ｄカメラ２０を待機状態とすることができ）、これに伴い待機状態では光源２１の発光も常にオフになり、３Ｄカメラ２０の消費電力を少なくすることができる。
　なお、写真が検出されなかった場合には、第１例で説明したステップＳ１０９以降の処理が行われる。
　次に、画像センシング装置１００の動作の第３例について、図４を用いて説明する。
　図４は、実施の形態１に係る画像センシング装置１００の動作の第３例を示すシーケンス図である。
　図４に示されるステップＳ３０１からステップＳ３０６までの処理は、図２に示されるステップＳ１０１からステップＳ１０６までの処理と同じであるため、説明は省略する。なお、第１例では、２Ｄ出力制御部５１は、二次元画像をそのままＭＰＵ２００に出力すると説明したが、第３例では、２Ｄ出力制御部５１は、二次元画像または距離画像を用いた認識の結果に基づいて、二次元画像の出力を制御する。
　画像認識部３０は、二次元画像に予め定められたオブジェクト（例えば人の顔）が写っている場合、二次元画像における人の顔が写る部分の位置情報を２Ｄ出力制御部５１および３Ｄ出力制御部５２に出力する（ステップＳ３０７）。例えば、画像認識部３０は、位置情報として、二次元画像における人の顔と検出された領域に対応する画素を示す情報を２Ｄ出力制御部５１および３Ｄ出力制御部５２に出力する。
　３Ｄカメラ２０は、３Ｄカメラ２０の動作をオンさせるための信号を受信することで発光および露光を開始し、周囲の距離画像を生成し（ステップＳ３０８）、出力する（ステップＳ３０９）。例えば、３Ｄカメラ２０は、距離画像を画像認識部３０および３Ｄ出力制御部５２へ出力する。なお、第１例では、３Ｄ出力制御部５２は、距離画像をそのままＭＰＵ２００に出力すると説明したが、第３例では、３Ｄ出力制御部５２は、二次元画像または距離画像を用いた認識の結果に基づいて、距離画像の出力を制御する。
　２Ｄ出力制御部５１は、取得した位置情報に基づいて、二次元画像における人の顔が写る部分の二次元画像をＭＰＵ２００に出力する（ステップＳ３１０）。例えば、２Ｄ出力制御部５１は、二次元画像における人の顔と検出された領域に対応する画素部分を二次元画像から抽出して、二次元画像における当該画素部分をＭＰＵ２００に出力する。
　また、３Ｄ出力制御部５２は、取得した位置情報に基づいて、二次元画像における人の顔が写る部分の距離画像をＭＰＵ２００に出力する（ステップＳ３１１）。例えば、３Ｄ出力制御部５２は、二次元画像における人の顔と検出された領域に対応する画素部分を距離画像から抽出して、距離画像における当該画素部分をＭＰＵ２００に出力する。
　このように、二次元画像または距離画像を用いた認識の結果が、二次元画像に予め定められたオブジェクト（例えば人の顔）が写っていることを示す場合、２Ｄ出力制御部５１は、二次元画像における人の顔が写る部分の二次元画像を出力し、３Ｄ出力制御部５２は、二次元画像における人の顔が写る部分の距離画像を出力する。認識の対象である人の顔が二次元画像に写っている場合には、人の顔が写る部分の二次元画像（言い換えると、人の顔が写らない部分が取り除かれた二次元画像）だけを出力でき、また、人の顔が写る部分の距離画像（言い換えると、人の顔が写らない部分が取り除かれた距離画像）だけを出力できる。したがって、ＭＰＵ２００における処理負荷を少なくすることができる。
　なお、ステップＳ３０４で複数の顔が検出された場合や、二次元画像に写る人の顔が遠くにある場合に、一定距離内にある顔の認証を行いたいという場合がある。このような場合には、画像認識部３０は、二次元画像における人の顔と検出された領域のうち、所定の距離範囲内の領域に対応する画素の情報を２Ｄ出力制御部５１および３Ｄ出力制御部５２に出力する。これにより、ステップＳ３１０において、２Ｄ出力制御部５１は、二次元画像における所定の距離範囲内にある人の顔が写る部分の二次元画像をＭＰＵ２００に出力することができる。また、ステップＳ３１１において、３Ｄ出力制御部５２は、二次元画像における所定の距離範囲内にある人の顔が写る部分の距離画像をＭＰＵ２００に出力することができる。
　このように、二次元画像および距離画像を用いた認識の結果が、所定の距離範囲内に人の顔が写っていることを示す場合、２Ｄ出力制御部５１は、二次元画像における人の顔が写る部分の二次元画像を出力し、３Ｄ出力制御部５２は、二次元画像における人の顔が写る部分の距離画像を出力してもよい。認識の対象である人の顔が二次元画像に写っており、かつ、この人の顔が所定の距離範囲内にある場合には、この部分の二次元画像だけを出力でき、また、この部分の距離画像だけを出力できる。したがって、ＭＰＵ２００における処理負荷を少なくすることができる。
　なお、図４では図示を省略しているが、第３例においても、第１例と同じようにステップＳ１０９以降の処理が行われ、または、第２例と同じようにステップＳ２０９以降の処理が行われる。
　次に、画像センシング装置１００の動作の第４例について、図５を用いて説明する。
　図５は、実施の形態１に係る画像センシング装置１００の動作の第４例を示すシーケンス図である。
　図５に示されるステップＳ４０１からステップＳ４０８までの処理は、図２に示されるステップＳ１０１からステップＳ１０８までの処理と同じであるため、説明は省略する。
　画像認識部３０は、距離画像に基づいて、二次元画像に写る人の顔までの距離を認識し、この距離情報をカメラ制御部４０に出力し（ステップＳ４０９）、カメラ制御部４０は、この距離情報を２Ｄカメラ１０（具体的には制御部１１）に出力する（ステップＳ４１０）。
　２Ｄカメラ１０（制御部１１）は、取得した距離情報に基づいて、２Ｄカメラ１０のフォーカスを制御し（ステップＳ４１１）、フォーカスが制御された２Ｄカメラ１０で取得された二次元画像を出力する（ステップＳ４１２）。
　このように、制御部１１は、距離画像が示す二次元画像に写る人の顔までの距離情報に基づいて、２Ｄカメラ１０のフォーカスを制御する。画像センシング装置１００から二次元画像に写る人の顔までの距離によって、２Ｄカメラ１０のフォーカスを高速に制御することができるため、二次元画像に写る人の顔のピントが合いやすくなり、この二次元画像を用いた認識または認証の精度を高めることができる。
　なお、制御部１１は、さらに、二次元画像に写る人の顔の位置情報に基づいて、２Ｄカメラ１０の露出を制御してもよい。
　なお、図５では図示を省略しているが、第４例においても、第１例と同じようにステップＳ１０９以降の処理が行われ、または、第２例と同じようにステップＳ２０９以降の処理が行われる。
　以上説明したように、２Ｄカメラ１０が生成する二次元画像によって目的とする認識の結果（例えば人の顔の検出）が得られるまでは、３Ｄカメラ２０を待機状態とすることができる。待機状態となっている３Ｄカメラ２０は、起動（言い換えると電源がオン）しているが光源２１が発光しておらず待機電力程度の消費電力しか発生しないため、３Ｄカメラ２０の消費電力は少なくなっている。したがって、二次元画像によって目的とする認識の結果が得られるまでは、３Ｄカメラ２０の光源２１を発光させず消費電力を少なくすることができ、目的とする認識の結果が得られたときに、３Ｄカメラ２０の動作をオンすることで光源２１を発光させて詳細な認識を行うことができる。その後、３Ｄカメラ２０の動作がオフされた場合には、３Ｄカメラ２０は再度待機状態となり、３Ｄカメラ２０の消費電力を少なくすることができる。よって、２Ｄカメラ１０と３Ｄカメラ２０とを併用しつつ、低消費電力化を実現することができる。また、画像センシング装置１００では、認識の結果に基づいて３Ｄカメラ２０の動作のオンおよびオフは制御されるが、認識の結果に基づいて３Ｄカメラ２０の電源のオンおよびオフが制御されないため、３Ｄカメラ２０の電源のオンおよびオフが繰り返されるごとに初期化処理が行われるということが抑制され、遅延を抑制することができる。
　（実施の形態２）
　次に、実施の形態２に係る画像センシング装置について図６を用いて説明する。
　図６は、実施の形態２に係る画像センシング装置１００ａの一例を示すブロック図である。なお、図６には、画像センシング装置１００ａから出力された情報を処理するＭＰＵ２００が示されている。なお、ＭＰＵ２００は、画像センシング装置１００ａの構成要素であってもよい。
　画像センシング装置１００ａは、２Ｄカメラ１０の代わりに２Ｄカメラ１０ａを備え、３Ｄカメラ２０の代わりに複数の３Ｄカメラを備え、カメラ制御部４０の代わりにカメラ制御部４０ａを備える点が、実施の形態１における画像センシング装置１００と異なる。その他の点は、実施の形態１におけるものと同じであるため説明は省略する。
　画像センシング装置１００ａは、複数の３Ｄカメラを備えるため、３Ｄカメラを１つ備える場合よりも広範囲のセンシングを行うことができる。例えば、画像センシング装置１００ａは、広範囲のセンシングが必要な障害物検知処理などに用いることができる。
　図６に示されるように、画像センシング装置１００ａは、複数の３Ｄカメラとして、例えば３Ｄカメラ２０ａおよび２０ｂを備える。３Ｄカメラ２０ａは、光源２１ａを有し、光源２１ａが照射した光の反射光をもとに距離画像を生成する。３Ｄカメラ２０ｂは、光源２１ｂを有し、光源２１ｂが照射した光の反射光をもとに距離画像を生成する。なお、画像センシング装置１００ａは、３つ以上の３Ｄカメラを備えていてもよい。
　２Ｄカメラ１０ａは、二次元画像を生成するカメラである。２Ｄカメラ１０ａは、例えば、広視野角のカメラである。画像センシング装置１００ａが複数の３Ｄカメラを備えているため、それに伴い、２Ｄカメラ１０ａも広視野角のカメラとなっている。
　カメラ制御部４０ａは、実施の形態１におけるカメラ制御部４０が有する機能に加えて、複数の３Ｄカメラが待機状態となっているときに、二次元画像に写る被写体の位置に基づいて、複数の３Ｄカメラのうちから少なくとも１つの３Ｄカメラを決定し、二次元画像を用いた認識の結果に基づいて、決定した少なくとも１つの３Ｄカメラの動作をオンする機能を有する。例えば、画像認識部３０によって、二次元画像に写る被写体が３Ｄカメラ２０ａの視野角にいることが識別された場合には、カメラ制御部４０ａは、３Ｄカメラ２０ａおよび２０ｂのうちから３Ｄカメラ２０ａを決定する。そして、カメラ制御部４０ａは、例えば、二次元画像に写る被写体が予め定められたオブジェクト（例えば人の顔など）である場合に、決定した３Ｄカメラ２０ａの動作をオンする。
　このように、３Ｄカメラ２０ａおよび２０ｂのうち、二次元画像に写る被写体の位置の距離画像を生成可能な３Ｄカメラ２０ａだけの動作をオンさせることで、３Ｄカメラ２０ａおよび２０ｂの全ての動作をオンさせる場合よりも低消費電力化を実現することができる。また、３Ｄカメラ２０ａおよび２０ｂの全てからの距離画像が、ＭＰＵ２００に出力されないようにすることができるため、ＭＰＵ２００における処理負荷を少なくすることができる。このため、ＭＰＵ２００の処理速度を向上でき、また、処理負荷が増加することによる消費電力の増加を抑制できる。
　なお、実施の形態２における画像センシング装置１００ａについても、実施の形態１の第１例から第４例で説明した画像センシング装置１００の機能を有していてもよい。
　（実施の形態３）
　次に、実施の形態３に係る画像センシング装置について図７を用いて説明する。
　図７は、実施の形態３に係る画像センシング装置１００ｂの一例を示すブロック図である。なお、図７には、画像センシング装置１００ｂから出力された情報を処理するＭＰＵ２００が示されている。なお、ＭＰＵ２００は、画像センシング装置１００ｂの構成要素であってもよい。
　画像センシング装置１００ｂは、２Ｄカメラ１０および３Ｄカメラ２０の代わりにＢＷ－ＴＯＦカメラ１１０を備える点が、実施の形態１における画像センシング装置１００と異なる。その他の点は、実施の形態１におけるものと同じであるため説明は省略する。
　ＢＷ－ＴＯＦカメラ１１０は、２Ｄカメラと３Ｄカメラとが一体に設けられたカメラである。言い換えると、ＢＷ－ＴＯＦカメラ１１０は、２Ｄカメラおよび３Ｄカメラの機能の両方を有するカメラである。
　ＢＷ－ＴＯＦカメラ１１０は、ＢＷ－ＴＯＦセンサ１１１および光源１１２を備える。ＢＷ－ＴＯＦセンサ１１１は、距離画像を生成するための画素（ＩＲ画素）と二次元画像（白黒画像）を生成するための画素（ＢＷ画素）とが配置されており、光源１１２が発光していないときには、二次元画像を生成することができ、光源１１２が照射した光の反射光をもとに、距離画像および二次元画像の両方を生成することができる。
　なお、ここでは、２Ｄカメラと３Ｄカメラとが一体に設けられたカメラの一例として、ＢＷ－ＴＯＦカメラ１１０を示しているが、２Ｄカメラと３Ｄカメラとが一体に設けられているカメラ、言い換えると、２Ｄカメラおよび３Ｄカメラの機能の両方を有するカメラであれば特に限定されない。例えば、２Ｄカメラと３Ｄカメラとが一体に設けられたカメラは、ＲＧＢ－ＴＯＦカメラであってもよい。ＲＧＢ－ＴＯＦカメラとはＢＷ－ＴＯＦカメラ１１０に対して、白黒画像の代わりにカラー画像が取得できるカメラのことである。
　このように、２Ｄカメラと３Ｄカメラとが一体に設けられている場合であっても、２Ｄカメラと３Ｄカメラとを併用しつつ、低消費電力化を実現することができる。また、２Ｄカメラと３Ｄカメラとが一体に設けられていることで、画像センシング装置１００ｂの小型化が可能となる。
　なお、実施の形態３における画像センシング装置１００ｂについても、実施の形態１の第１例から第４例で説明した画像センシング装置１００の機能を有していてもよい。
　（その他の実施の形態）
　以上、本開示の一つまたは複数の態様に係る画像センシング装置について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
　例えば、上記実施の形態では、カメラ制御部は、３Ｄカメラの動作がオンしているときに、二次元画像または距離画像を用いた認識の結果に基づいて、３Ｄカメラの動作をオフする例を説明したが、これに限らない。例えば、カメラ制御部は、３Ｄカメラの動作がオンしているときに、外部装置からの入力結果に基づいて、３Ｄカメラの動作をオフしてもよい。
　例えば、外部装置は、二次元画像または距離画像を用いた認識の結果を用いて、二次元画像に写る被写体に対する認証を行う装置であり、具体的には、ＭＰＵなどである。ＭＰＵは、認証処理が完了した場合にその旨を示す信号を画像センシング装置に出力する。この場合、ＭＰＵから画像センシング装置への入力結果が、認証処理が完了したことを示すときには、二次元画像に写る被写体に対する認識がこれ以上は不要となるため、３Ｄカメラの動作をオフすることができ、これに伴い光源の発光も常にオフになり、３Ｄカメラの消費電力を少なくすることができる。
　例えば、上記実施の形態では、画像センシング装置は、二次元画像の出力を制御する２Ｄ出力制御部、および、距離画像の出力を制御する３Ｄ出力制御部を備える例を説明したが、画像センシング装置は、２Ｄ出力制御部および３Ｄ出力制御部を備えていなくてもよい。
　例えば、上記実施の形態では、画像センシング装置は、２Ｄカメラのフォーカスを制御する制御部を備えている例を説明したが、画像センシング装置は、このような制御部を備えていなくてもよい。
　例えば、本開示は、画像センシング装置として実現できるだけでなく、画像センシング装置を構成する構成要素が行うステップ（処理）を含む画像センシング方法として実現できる。
　図８は、その他の実施の形態に係る画像センシング方法の一例を示すフローチャートである。
　画像センシング方法は、画像センシング装置により実行される方法であって、画像センシング装置は、二次元画像を生成する２Ｄカメラと、光源を有し、光源が照射した光の反射光をもとに距離画像を生成する３Ｄカメラと、を備え、画像センシング方法は、図８に示されるように、二次元画像または距離画像を用いて、二次元画像に写る被写体に対する認識を行う画像認識ステップ（ステップＳ１１）と、３Ｄカメラの動作のオンおよびオフを制御するカメラ制御ステップと、を含み、カメラ制御ステップでは、３Ｄカメラが、起動後の初期化処理が完了し光源が発光していない待機状態となっているときに、二次元画像を用いた認識の結果に基づいて、３Ｄカメラの動作をオンし（ステップＳ１２）、３Ｄカメラは、カメラ制御ステップで動作がオンされた後、カメラ制御ステップで動作がオフされた場合に、待機状態となる。
　例えば、本開示は、画像センシング方法に含まれるステップを、コンピュータ（プロセッサ）に実行させるためのプログラムとして実現できる。さらに、本開示は、そのプログラムを記録したＣＤ－ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
　例えば、本開示が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリおよび入出力回路などのハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、ＣＰＵがデータをメモリまたは入出力回路などから取得して演算したり、演算結果をメモリまたは入出力回路などに出力したりすることによって、各ステップが実行される。
　なお、上記実施の形態において、画像センシング装置に含まれる各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　上記実施の形態に係る画像センシング装置の機能の一部または全ては典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　（付記）
　以上の実施の形態の記載により、下記の技術が開示される。
　（技術１）二次元画像を生成する２Ｄカメラと、光源を有し、前記光源が照射した光の反射光をもとに距離画像を生成する３Ｄカメラと、前記二次元画像または前記距離画像を用いて、前記二次元画像に写る被写体に対する認識を行う画像認識部と、前記３Ｄカメラの動作のオンおよびオフを制御するカメラ制御部と、を備え、前記カメラ制御部は、前記３Ｄカメラが、起動後の初期化処理が完了し前記光源が発光していない待機状態となっているときに、前記二次元画像を用いた前記認識の結果に基づいて、前記３Ｄカメラの動作をオンし、前記３Ｄカメラは、前記カメラ制御部によって動作がオンされた後、前記カメラ制御部によって動作がオフされた場合に、前記待機状態となる、画像センシング装置。
　これによれば、２Ｄカメラが生成する二次元画像によって目的とする認識の結果が得られるまでは、３Ｄカメラを待機状態とすることができる。待機状態となっている３Ｄカメラは、起動（言い換えると電源がオン）しているが光源が発光しておらず待機電力程度の消費電力しか発生しないため、３Ｄカメラの消費電力は少なくなっている。したがって、二次元画像によって目的とする認識の結果が得られるまでは、３Ｄカメラの光源を発光させず消費電力を少なくすることができ、目的とする認識の結果が得られたときに、３Ｄカメラの動作をオンすることで３Ｄカメラの光源を発光させて詳細な認識を行うことができる。その後、３Ｄカメラの動作がオフされた場合には、３Ｄカメラは再度待機状態となり、３Ｄカメラの消費電力を少なくすることができる。よって、２Ｄカメラと３Ｄカメラとを併用しつつ、低消費電力化を実現することができる。また、画像センシング装置では、認識の結果に基づいて３Ｄカメラの動作のオンおよびオフは制御されるが、認識の結果に基づいて３Ｄカメラの電源のオンおよびオフが制御されないため、３Ｄカメラの電源のオンおよびオフが繰り返されるごとに初期化処理が行われるということが抑制され、遅延を抑制することができる。
　（技術２）前記カメラ制御部は、前記３Ｄカメラが前記待機状態となっているときに、前記二次元画像を用いた前記認識の結果が、前記二次元画像に予め定められたオブジェクトが写っていることを示す場合に、前記３Ｄカメラの動作をオンする、技術１に記載の画像センシング装置。
　これによれば、認識の対象である予め定められたオブジェクトが二次元画像に写るまでは、３Ｄカメラを待機状態とすることができ、低消費電力化を実現することができる。
　（技術３）前記カメラ制御部は、前記３Ｄカメラがオンしているときに、前記二次元画像または前記距離画像を用いた前記認識の結果に基づいて、前記３Ｄカメラの動作をオフする、技術１または２に記載の画像センシング装置。
　これによれば、二次元画像または距離画像を用いた何らかの認識の結果に基づいて、３Ｄカメラの動作をオフすることができ、これに伴い光源の発光も常にオフになり、３Ｄカメラの消費電力を少なくすることができる。
　（技術４）前記カメラ制御部は、前記３Ｄカメラがオンしているときに、前記二次元画像または前記距離画像を用いた前記認識の結果が、前記二次元画像に予め定められたオブジェクトが写っていないことを示す場合に、前記３Ｄカメラの動作をオフする、技術３に記載の画像センシング装置。
　例えば、３Ｄカメラの動作がオンされた後、認識の対象である予め定められたオブジェクトが二次元画像に写らなくなった場合には、認識の対象が存在しなくなったため、３Ｄカメラの動作をオフすることができ、これに伴い光源の発光も常にオフになり、３Ｄカメラの消費電力を少なくすることができる。
　（技術５）前記カメラ制御部は、前記３Ｄカメラがオンしているときに、前記二次元画像および前記距離画像を用いた前記認識の結果が、前記二次元画像に、画像に写った予め定められたオブジェクトが写っていることを示す場合に、前記３Ｄカメラの動作をオフする、技術３または４に記載の画像センシング装置。
　例えば、３Ｄカメラの動作がオンされた後、距離画像によって、認識されたオブジェクトが、画像に写ったオブジェクトであったとわかった場合には、認識されたオブジェクトが実物ではなく、認識の対象ではないため、３Ｄカメラの動作をオフすることができ、これに伴い光源の発光も常にオフになり、３Ｄカメラの消費電力を少なくすることができる。
　（技術６）前記カメラ制御部は、前記３Ｄカメラがオンしているときに、外部装置からの入力結果に基づいて、前記３Ｄカメラの動作をオフする、技術１～５のいずれかに記載の画像センシング装置。
　例えば、外部装置は、二次元画像または距離画像を用いた認識の結果を用いて、二次元画像に写る被写体に対する認証を行う装置であり、認証処理が完了した場合にその旨を示す信号を画像センシング装置に出力する。この場合、外部装置から画像センシング装置への入力結果が、認証処理が完了したことを示すときには、二次元画像に写る被写体に対する認識がこれ以上は不要となるため、３Ｄカメラの動作をオフすることができ、これに伴い光源の発光も常にオフになり、３Ｄカメラの消費電力を少なくすることができる。
　（技術７）前記画像センシング装置は、さらに、前記二次元画像または前記距離画像を用いた前記認識の結果に基づいて、前記二次元画像の出力を制御する２Ｄ出力制御部と、前記二次元画像または前記距離画像を用いた前記認識の結果に基づいて、前記距離画像の出力を制御する３Ｄ出力制御部と、を備える、技術１～６のいずれかに記載の画像センシング装置。
　３Ｄカメラの距離画像は、非常に大きなデータとなり得るため、二次元画像および距離画像の分析またはこれらを用いた認証などを行う、二次元画像および距離画像の出力先の装置の処理速度の低下、および、処理負荷の増加による消費電力の増加という問題がある。これに対して、例えば、認識の結果に応じて、二次元画像および距離画像の一部分が出力されるように制御されることで、出力先の装置における処理負荷を少なくすることができる。このため、出力先の装置の処理速度を向上でき、また、処理負荷が増加することによる消費電力の増加を抑制できる。
　（技術８）前記二次元画像または前記距離画像を用いた前記認識の結果が、前記二次元画像に予め定められたオブジェクトが写っていることを示す場合、前記２Ｄ出力制御部は、前記二次元画像における前記予め定められたオブジェクトが写る部分の二次元画像を出力し、前記３Ｄ出力制御部は、前記二次元画像における前記予め定められたオブジェクトが写る部分の距離画像を出力する、技術７に記載の画像センシング装置。
　認識の対象である予め定められたオブジェクトが二次元画像に写っている場合には、このオブジェクトが写る部分の二次元画像（言い換えると、オブジェクトが写らない部分が取り除かれた二次元画像）だけを出力でき、また、このオブジェクトが写る部分の距離画像（言い換えると、オブジェクトが写らない部分が取り除かれた距離画像）だけを出力できる。したがって、出力先の装置における処理負荷を少なくすることができる。
　（技術９）前記二次元画像および前記距離画像を用いた前記認識の結果が、所定の距離範囲内に予め定められたオブジェクトが写っていることを示す場合、前記２Ｄ出力制御部は、前記二次元画像における前記予め定められたオブジェクトが写る部分の二次元画像を出力し、前記３Ｄ出力制御部は、前記二次元画像における前記予め定められたオブジェクトが写る部分の距離画像を出力する、技術７に記載の画像センシング装置。
　認識の対象である予め定められたオブジェクトが二次元画像に写っており、かつ、このオブジェクトが所定の距離範囲内にある場合には、このオブジェクトが写る部分の二次元画像だけを出力でき、また、このオブジェクトが写る部分の距離画像だけを出力できる。したがって、出力先の装置における処理負荷を少なくすることができる。
　（技術１０）前記画像センシング装置は、さらに、前記距離画像が示す前記二次元画像に写る被写体までの距離情報に基づいて、前記２Ｄカメラのフォーカスを制御する制御部を備える、技術１～９のいずれかに記載の画像センシング装置。
　これによれば、画像センシング装置から二次元画像に写る被写体までの距離によって、２Ｄカメラのフォーカスを高速に制御することができるため、二次元画像に写る被写体のピントが合いやすくなり、この二次元画像を用いた認識または認証の精度を高めることができる。
　（技術１１）前記画像センシング装置は、複数の前記３Ｄカメラを備え、前記カメラ制御部は、複数の前記３Ｄカメラが前記待機状態となっているときに、前記二次元画像に写る被写体の位置に基づいて、複数の前記３Ｄカメラのうちから少なくとも１つの前記３Ｄカメラを決定し、前記二次元画像を用いた前記認識の結果に基づいて、決定した前記少なくとも１つの前記３Ｄカメラの動作をオンする、技術１～１０のいずれかに記載の画像センシング装置。
　例えば、画像センシング装置は、複数の３Ｄカメラによって広範囲のセンシングを行うことができる装置であってもよい。この場合に、二次元画像に写る被写体の位置の距離画像を生成可能な３Ｄカメラだけ動作をオンさせることで、複数の３Ｄカメラの全ての動作をオンさせる場合よりも低消費電力化を実現することができる。また、複数の３Ｄカメラの全てからの距離画像が、出力先の装置に出力されないようにすることができるため、出力先の装置における処理負荷を少なくすることができる。このため、出力先の装置の処理速度を向上でき、また、処理負荷が増加することによる消費電力の増加を抑制できる。
　（技術１２）前記２Ｄカメラと前記３Ｄカメラとは一体に設けられている、技術１～１１のいずれかに記載の画像センシング装置。
　このように、２Ｄカメラと３Ｄカメラとが一体に設けられていることで、画像センシング装置の小型化が可能となる。
　（技術１３）画像センシング装置により実行される画像センシング方法であって、前記画像センシング装置は、二次元画像を生成する２Ｄカメラと、光源を有し、前記光源が照射した光の反射光をもとに距離画像を生成する３Ｄカメラと、を備え、前記画像センシング方法は、前記二次元画像または前記距離画像を用いて、前記二次元画像に写る被写体に対する認識を行う画像認識ステップと、前記３Ｄカメラの動作のオンおよびオフを制御するカメラ制御ステップと、を含み、前記カメラ制御ステップでは、前記３Ｄカメラが、起動後の初期化処理が完了し前記光源が発光していない待機状態となっているときに、前記二次元画像を用いた前記認識の結果に基づいて、前記３Ｄカメラの動作をオンし、前記３Ｄカメラは、前記カメラ制御ステップで動作がオンされた後、前記カメラ制御ステップで動作がオフされた場合に、前記待機状態となる、画像センシング方法。
　これによれば、２Ｄカメラと３Ｄカメラとを併用しつつ、低消費電力化を実現することができる画像センシング方法を提供することができる。
　（技術１４）技術１３に記載の画像センシング方法をコンピュータに実行させるプログラム。
　これによれば、２Ｄカメラと３Ｄカメラとを併用しつつ、低消費電力化を実現することができるプログラムを提供することができる。
　本開示は、２Ｄカメラおよび３Ｄカメラを併用して画像認識を行う装置などに適用できる。
　１０、１０ａ　２Ｄカメラ
　１１　制御部
　２０、２０ａ、２０ｂ　３Ｄカメラ
　２１、２１ａ、２１ｂ、１１２　光源
　３０　画像認識部
　４０、４０ａ　カメラ制御部
　５０　出力制御部
　５１　２Ｄ出力制御部
　５２　３Ｄ出力制御部
　１００、１００ａ、１００ｂ　画像センシング装置
　１１０　ＢＷ－ＴＯＦカメラ
　１１１　ＢＷ－ＴＯＦセンサ
　２００　ＭＰＵ

Claims (14)

  1. 　二次元画像を生成する２Ｄカメラと、
    　光源を有し、前記光源が照射した光の反射光をもとに距離画像を生成する３Ｄカメラと、
    　前記二次元画像または前記距離画像を用いて、前記二次元画像に写る被写体に対する認識を行う画像認識部と、
    　前記３Ｄカメラの動作のオンおよびオフを制御するカメラ制御部と、を備え、
    　前記カメラ制御部は、前記３Ｄカメラが、起動後の初期化処理が完了し前記光源が発光していない待機状態となっているときに、前記二次元画像を用いた前記認識の結果に基づいて、前記３Ｄカメラの動作をオンし、
    　前記３Ｄカメラは、前記カメラ制御部によって動作がオンされた後、前記カメラ制御部によって動作がオフされた場合に、前記待機状態となる、
    　画像センシング装置。
  2. 　前記カメラ制御部は、前記３Ｄカメラが前記待機状態となっているときに、前記二次元画像を用いた前記認識の結果が、前記二次元画像に予め定められたオブジェクトが写っていることを示す場合に、前記３Ｄカメラの動作をオンする、
    　請求項１に記載の画像センシング装置。
  3. 　前記カメラ制御部は、前記３Ｄカメラの動作がオンしているときに、前記二次元画像または前記距離画像を用いた前記認識の結果に基づいて、前記３Ｄカメラの動作をオフする、
    　請求項１または２に記載の画像センシング装置。
  4. 　前記カメラ制御部は、前記３Ｄカメラの動作がオンしているときに、前記二次元画像または前記距離画像を用いた前記認識の結果が、前記二次元画像に予め定められたオブジェクトが写っていないことを示す場合に、前記３Ｄカメラの動作をオフする、
    　請求項３に記載の画像センシング装置。
  5. 　前記カメラ制御部は、前記３Ｄカメラの動作がオンしているときに、前記二次元画像および前記距離画像を用いた前記認識の結果が、前記二次元画像に、画像に写った予め定められたオブジェクトが写っていることを示す場合に、前記３Ｄカメラの動作をオフする、
    　請求項３または４に記載の画像センシング装置。
  6. 　前記カメラ制御部は、前記３Ｄカメラの動作がオンしているときに、外部装置からの入力結果に基づいて、前記３Ｄカメラの動作をオフする、
    　請求項１～５のいずれか１項に記載の画像センシング装置。
  7. 　前記画像センシング装置は、さらに、
    　前記二次元画像または前記距離画像を用いた前記認識の結果に基づいて、前記二次元画像の出力を制御する２Ｄ出力制御部と、
    　前記二次元画像または前記距離画像を用いた前記認識の結果に基づいて、前記距離画像の出力を制御する３Ｄ出力制御部と、を備える、
    　請求項１～６のいずれか１項に記載の画像センシング装置。
  8. 　前記二次元画像または前記距離画像を用いた前記認識の結果が、前記二次元画像に予め定められたオブジェクトが写っていることを示す場合、
    　前記２Ｄ出力制御部は、前記二次元画像における前記予め定められたオブジェクトが写る部分の二次元画像を出力し、
    　前記３Ｄ出力制御部は、前記二次元画像における前記予め定められたオブジェクトが写る部分の距離画像を出力する、
    　請求項７に記載の画像センシング装置。
  9. 　前記二次元画像および前記距離画像を用いた前記認識の結果が、所定の距離範囲内に予め定められたオブジェクトが写っていることを示す場合、
    　前記２Ｄ出力制御部は、前記二次元画像における前記予め定められたオブジェクトが写る部分の二次元画像を出力し、
    　前記３Ｄ出力制御部は、前記二次元画像における前記予め定められたオブジェクトが写る部分の距離画像を出力する、
    　請求項７に記載の画像センシング装置。
  10. 　前記画像センシング装置は、さらに、前記距離画像が示す前記二次元画像に写る被写体までの距離情報に基づいて、前記２Ｄカメラのフォーカスを制御する制御部を備える、
    　請求項１～９のいずれか１項に記載の画像センシング装置。
  11. 　前記画像センシング装置は、複数の前記３Ｄカメラを備え、
    　前記カメラ制御部は、複数の前記３Ｄカメラが前記待機状態となっているときに、前記二次元画像に写る被写体の位置に基づいて、複数の前記３Ｄカメラのうちから少なくとも１つの前記３Ｄカメラを決定し、前記二次元画像を用いた前記認識の結果に基づいて、決定した前記少なくとも１つの前記３Ｄカメラの動作をオンする、
    　請求項１～１０のいずれか１項に記載の画像センシング装置。
  12. 　前記２Ｄカメラと前記３Ｄカメラとは一体に設けられている、
    　請求項１～１１のいずれか１項に記載の画像センシング装置。
  13. 　画像センシング装置により実行される画像センシング方法であって、
    　前記画像センシング装置は、二次元画像を生成する２Ｄカメラと、
    　光源を有し、前記光源が照射した光の反射光をもとに距離画像を生成する３Ｄカメラと、を備え、
    　前記画像センシング方法は、
    　前記二次元画像または前記距離画像を用いて、前記二次元画像に写る被写体に対する認識を行う画像認識ステップと、
    　前記３Ｄカメラの動作のオンおよびオフを制御するカメラ制御ステップと、を含み、
    　前記カメラ制御ステップでは、前記３Ｄカメラが、起動後の初期化処理が完了し前記光源が発光していない待機状態となっているときに、前記二次元画像を用いた前記認識の結果に基づいて、前記３Ｄカメラの動作をオンし、
    　前記３Ｄカメラは、前記カメラ制御ステップで動作がオンされた後、前記カメラ制御ステップで動作がオフされた場合に、前記待機状態となる、
    　画像センシング方法。
  14. 　請求項１３に記載の画像センシング方法をコンピュータに実行させるプログラム。
PCT/JP2023/039961 2022-11-15 2023-11-07 画像センシング装置、画像センシング方法およびプログラム WO2024106259A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-182785 2022-11-15
JP2022182785 2022-11-15

Publications (1)

Publication Number Publication Date
WO2024106259A1 true WO2024106259A1 (ja) 2024-05-23

Family

ID=91084659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/039961 WO2024106259A1 (ja) 2022-11-15 2023-11-07 画像センシング装置、画像センシング方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2024106259A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189266A1 (ja) * 2019-03-18 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム
JP2020187543A (ja) * 2019-05-14 2020-11-19 富士通株式会社 認証処理プログラム、認証処理方法、及び認証処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189266A1 (ja) * 2019-03-18 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム
JP2020187543A (ja) * 2019-05-14 2020-11-19 富士通株式会社 認証処理プログラム、認証処理方法、及び認証処理装置

Similar Documents

Publication Publication Date Title
KR102474008B1 (ko) 이벤트들-기반 시각 센서를 이용한 저-전력 상시-온 얼굴 검출, 추적, 인식 및/또는 분석
EP3238431B1 (en) Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US20200265234A1 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
US20200084398A1 (en) Systems and methods for a digital image sensor
EP3608757B1 (en) Electronic device for displaying avatar corresponding to external object according to change in position of external object and method therefor
KR20070009142A (ko) 눈동자 위치추적 센서 및 센싱방법
JP4732299B2 (ja) 特定被写体像の検出方法およびデジタルカメラ
KR20200017299A (ko) 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치
US11102409B2 (en) Electronic device and method for obtaining images
KR102552923B1 (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
CN107451533B (zh) 控制方法、控制装置、电子装置和计算机可读存储介质
US20100254598A1 (en) Image matting
CN115004685A (zh) 电子装置和用于在电子装置处显示图像的方法
CN112600994A (zh) 物体探测装置、方法、存储介质和电子设备
US10694110B2 (en) Image processing device, method
WO2024106259A1 (ja) 画像センシング装置、画像センシング方法およびプログラム
KR20210046984A (ko) 얼굴 데이터 획득을 위한 방법 및 이를 위한 전자 장치
US11204668B2 (en) Electronic device and method for acquiring biometric information using light of display
KR102370763B1 (ko) 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
KR20210107958A (ko) 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치
KR20210048725A (ko) 카메라 제어를 위한 방법 및 이를 위한 전자 장치
WO2024106375A1 (ja) 画像センシング装置、画像センシング方法およびプログラム
KR20220151932A (ko) 전자 장치 및 전자 장치의 동작 방법
TWI763769B (zh) 單一處理器電腦視覺硬體控制及應用執行之裝置及方法
US10594942B2 (en) Delineated monitoring for ubiquitous computing