WO2022038991A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2022038991A1
WO2022038991A1 PCT/JP2021/028212 JP2021028212W WO2022038991A1 WO 2022038991 A1 WO2022038991 A1 WO 2022038991A1 JP 2021028212 W JP2021028212 W JP 2021028212W WO 2022038991 A1 WO2022038991 A1 WO 2022038991A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
information processing
subject
acquired
Prior art date
Application number
PCT/JP2021/028212
Other languages
English (en)
French (fr)
Inventor
武史 大橋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/006,925 priority Critical patent/US20230290113A1/en
Priority to EP21858139.5A priority patent/EP4198570A4/en
Publication of WO2022038991A1 publication Critical patent/WO2022038991A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Definitions

  • This disclosure relates to an information processing device, an information processing method, and an information processing program.
  • a TOF (Time of Flight) type camera distance image sensor
  • the TOF type camera pulse-modulates invisible light such as infrared rays and irradiates the angle of view, and measures the phase delay of the reflected light reflected from the subject to determine the distance to the subject. Due to its convenience, TOF cameras are used for three-dimensional image recognition processing in smartphones, wearable devices, and the like.
  • the information processing apparatus of one form according to the present disclosure includes an image acquisition unit, a measurement unit, and a recognition processing unit.
  • the image acquisition unit acquires an image by receiving external light at the light receiving unit.
  • the measuring unit measures the distance to the subject by using the first image based on the image acquired by the image acquisition unit in response to the irradiation of infrared rays from the light emitting unit.
  • the recognition processing unit performs subject recognition processing using a second image based on an image acquired by the image acquisition unit that receives external light without irradiating infrared rays from the light emitting unit.
  • FIG. 1 is a schematic diagram showing an outline of information processing according to the embodiment of the present disclosure.
  • the information processing apparatus 100 is an apparatus that acquires an image and performs processing based on the recognition result of the acquired image.
  • the information processing device 100 is typically an electronic device such as a smartphone.
  • the information processing device 100 may be a mobile phone, a tablet, a wearable terminal, a PDA (Personal Digital Assistant), a personal computer, or the like.
  • the information processing apparatus 100 includes an image acquisition unit 110, an image processing unit 172, and a recognition processing unit 173.
  • the image acquisition unit 110 acquires an image by receiving external light at the light receiving unit.
  • the outside light includes not only sunlight outdoors but also illumination light whose intensity exceeds a certain threshold even indoors.
  • the image acquisition unit 110 is mounted by a TOF type camera including a light emitting unit having a laser such as an LED and a light receiving unit having a CCD (Charge Coupled Device) image sensor or the like.
  • CCD Charge Coupled Device
  • the image acquisition unit 110 acquires an image matched to the sensor mode according to which sensor mode of the first sensor mode and the second sensor mode the information processing apparatus 100 operates.
  • the first sensor mode is a sensor mode conventionally provided in a TOF type camera that functions as an image acquisition unit 110, and is a sensor mode that irradiates light (infrared rays) from a light emitting unit to acquire an image.
  • the second sensor mode is a sensor mode newly introduced into a TOF type camera that functions as an image acquisition unit 110, and is a sensor mode that acquires an image without irradiating light (infrared rays) from the light emitting unit.
  • the image acquisition unit 110 irradiates light (infrared rays) from the light emitting unit in different phases, and receives (detects) the light received by the light receiving unit (infrared light) in pixels. Acquire a plurality of phase images recorded for each. Further, in the second operation mode, the image acquisition unit 110 acquires a RAW image in which the light receiving signal of the light received by the light receiving unit is recorded for each pixel without emitting light (infrared rays) from the light emitting unit. ..
  • the image processing unit 162 executes image processing of the image acquired by the image acquisition unit 110.
  • the image processing unit 162 is a distance image (of the first image) based on an image (phase image) acquired by the image acquisition unit 110 in response to irradiation of infrared rays from the light emitting unit. (Example) is used to measure the distance to the subject.
  • the image processing unit 162 is a luminance image (second) based on an image (RAW image) acquired by the image acquisition unit 110 that receives external light without being irradiated with infrared rays from the light emitting unit.
  • An example of the image of 2 is acquired.
  • FIG. 2 is a diagram showing an example of a distance image according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing an example of a distance image and a luminance image according to the embodiment of the present disclosure.
  • the left and right figures shown in FIG. 3 are images of the same subject (user's hand).
  • the infrared rays emitted from the light emitting unit are not obstructed by the external light. Therefore, the infrared rays emitted from the light emitting unit can be captured by the light receiving unit, and as shown in the left figure of FIG. 2, the image processing unit 172 captures the distance image G d1 from the phase image acquired by the image acquisition unit 110. Can be generated. Then, the image processing unit 172 can recognize the shape of the user's hand as the subject by using the distance image G d1 as shown in the right figure of FIG.
  • the information processing device 100 controls its own device so as to operate in the second sensor mode. That is, as shown in the right figure of FIG.
  • the image processing unit 172 is a luminance image G from an image (for example, a RAW image) acquired by the image acquisition unit 110 that receives external light without being irradiated with infrared rays from the light emitting unit. Generate b . Then, the image processing unit 172 can acquire the two-dimensional position information of the user's hand as the subject by using the luminance image Gb as shown in the right figure of FIG . In this way, in an environment where the influence of external light is large, it is not possible to acquire distance information (also referred to as "distance coordinates" or "depth”) to the subject, but at least 2 for the subject. Dimensional position information can be acquired.
  • distance information also referred to as "distance coordinates" or "depth
  • the recognition processing unit 173 executes the recognition processing based on the distance image G d acquired by the image processing unit 172. Further, in the case of the second sensor mode, the recognition processing unit 173 executes the recognition processing based on the luminance image Gb acquired by the image processing unit 172.
  • the information processing apparatus 100 introduces a second operation mode for acquiring an image without irradiating light (infrared rays) from the light emitting unit. Then, the information processing apparatus 100 executes the recognition process based on the luminance image acquired by the second operation mode. Therefore, the information processing apparatus 100 according to the embodiment can execute the recognition process using the luminance image in an environment where the influence of external light such as external light is large, and uses a TOF type distance image sensor. The image processing that was used can be improved.
  • FIG. 4 is a block diagram showing a configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing apparatus 100 includes an image acquisition unit 110, an input unit 120, an output unit 130, a communication unit 140, an illuminance acquisition unit 150, a storage unit 160, and a control unit 170. Have.
  • the image acquisition unit 110 has a light emitting unit 111 and a light receiving unit 112.
  • the image acquisition unit 110 acquires an image by receiving external light with the light receiving unit 112.
  • the image acquisition unit 110 can be realized by, for example, a TOF type camera.
  • the TOF type camera that functions as the image acquisition unit 110 has a built-in LED or the like that functions as the light emitting unit 111 and a CCD image sensor or the like that functions as the light receiving unit 112.
  • the image acquisition unit 110 irradiates light (infrared rays) from the light emitting unit and receives (detects) the light received by the light receiving unit (intensity and wavelength). Is acquired for each pixel. Further, when the information processing apparatus 100 operates in the second operation mode, the image acquisition unit 110 records the light receiving signal of the light received by the light receiving unit for each pixel without emitting light (infrared rays) from the light emitting unit. Acquire the RAW image.
  • the image acquisition unit 110 acquires a phase image when the sensor mode setting signal acquired from the determination unit 171 described later is a signal instructing operation in the first sensor mode. On the other hand, the image acquisition unit 110 acquires a RAW image when the sensor mode setting signal acquired from the determination unit 171 described later is a signal instructing the operation in the second sensor mode.
  • the input unit 120 receives an operation from the user of the information processing apparatus 100 as a user interface.
  • the input unit 120 can be realized by, for example, various buttons, a keyboard, a touch panel, a mouse, a switch, a microphone, and the like.
  • the output unit 130 outputs various information.
  • the output unit 130 can be realized by a display device such as a CRT (Cathode Ray Tube), an LCD (Liquid Crystal Display), or an OLED (Organic Light Emitting Diode) that displays various information, or an acoustic device such as a speaker that outputs voice or the like. ..
  • the communication unit 140 sends and receives various information.
  • the communication unit 140 can be realized by a NIC (Network Interface Card), various communication modems, or the like.
  • the illuminance acquisition unit 150 acquires the illuminance of external light.
  • the illuminance acquisition unit 150 can be realized by, for example, an illuminance sensor.
  • the storage unit 160 stores programs, data, and the like for realizing various processing functions executed by the control unit 170.
  • the storage unit 160 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the program stored in the storage unit 160 includes an OS (Operating System) and an application program.
  • the storage unit 160 may function as an auxiliary storage device for the control unit 170. In this case, the storage unit 160 can temporarily store a phase image or RAW image acquired by the image acquisition unit 110, a distance image or a luminance image acquired by the image processing unit 172 described later.
  • the control unit 170 is, for example, a controller that controls various processes of the information processing apparatus 100.
  • a program stored inside the information processing apparatus 100 (for example, the information processing program according to the present disclosure) is executed by a processor or the like with the main storage apparatus or the like as a work area. It is realized by.
  • the processor can be realized by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a SoC (System-on-a-Chip), or the like.
  • various functions provided by the control unit 170 may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • control unit 170 includes a determination unit 171, an image processing unit 172, a recognition processing unit 173, and an application execution unit 174.
  • the determination unit 171 determines whether or not to perform measurement processing based on the distance image. For example, the information processing apparatus 100 is initially set to select the first sensor mode at startup. Then, after the information processing device 100 is activated, the determination unit 171 determines which sensor mode, the first sensor mode or the second sensor mode, is used to operate the information processing device 100.
  • FIG. 5 is a diagram showing an outline of the operation of the determination unit according to the embodiment of the present disclosure.
  • the determination unit 171 determines whether or not to perform the measurement process based on the illuminance acquired by the illuminance acquisition unit 150.
  • the illuminance acquired by the illuminance acquisition unit 150 corresponds to the illuminance of the external light received by the light receiving unit 112.
  • the determination unit 171 determines that the measurement process is performed when the illuminance acquired by the illuminance acquisition unit 150 is less than a predetermined threshold value. Then, the determination unit 171 sends a sensor mode setting signal indicating that it operates in the first sensor mode to the image acquisition unit 110, the image processing unit 172, and the recognition processing unit 173.
  • the determination unit 171 determines that the measurement process is not performed. Then, the determination unit 171 sends a sensor mode setting signal indicating that it operates in the second sensor mode to the image acquisition unit 110, the image processing unit 172, and the recognition processing unit 173.
  • the image processing unit 172 executes image processing of the image acquired by the image acquisition unit 110.
  • the image processing unit 172 is acquired by the image acquisition unit 110 in response to the irradiation of infrared rays from the light emitting unit 111. It functions as a measuring unit that acquires a distance image based on the image (phase image) and measures the distance to the subject.
  • FIG. 6 is an explanatory diagram for explaining an example of the distance measuring method according to the embodiment of the present disclosure.
  • the infrared emission intensity (IR emission intensity) of the light emitting unit 111 is adjusted with a sine waveform having an angular frequency ⁇ , and the infrared emission waveform and the light waveform reflected from the subject and returned are used.
  • a method of measuring the distance to the subject by the phase difference ⁇ of is shown.
  • the emission waveform of the light emitting unit 111 can be represented by the following equation (1).
  • the light receiving waveform of the light receiving unit 112 can be expressed by the following equation (2).
  • the reference numeral "A" indicates the amplitude
  • the reference numeral "B" indicates the offset.
  • the phase difference ⁇ is calculated from the four images I 0 , I 90 , I 180 , and I 270 acquired by the image acquisition unit 110 by shifting the phase by ⁇ / 2 and receiving light. do.
  • the four images I 0 , I 90 , I 180 , and I 270 to ⁇ can be represented by the following equations (4) to (7).
  • the phase difference ⁇ required to obtain the distance of each pixel to the subject can be obtained by the following formula (11).
  • the image processing unit 172 exposes the light emitting unit 111 with different phases while emitting light, and four phase phase images (images I 0 , I 90 , I 180 ) as shown in FIG. , I 270 ).
  • the image processing unit 172 calculates the I signal represented by the above formula (8) and the Q signal represented by the above formula (9). Then, the image processing unit 172 acquires a distance image by obtaining the phase difference ⁇ by the above-mentioned equation (11).
  • FIG. 7 is a diagram showing an example of a luminance image acquisition procedure according to the embodiment of the present disclosure.
  • the image processing unit 172 acquires a luminance image by sequentially executing noise correction, dark correction, and tone mapping (Tone Mapping) on the RAW image acquired by the image acquisition unit 110.
  • FIG. 8 is a diagram showing a list of functional examples related to the first sensor mode and the second sensor mode according to the embodiment of the present disclosure.
  • the number of exposures when the image acquisition unit 110 acquires an image is "4 times" in the first sensor mode and "1 time” in the second sensor mode. It is set. Further, in the example shown in FIG. 8, the exposure time when the image acquisition unit 110 acquires an image is set to a time corresponding to each sensor mode.
  • noise correction and distance calculation are set as functions necessary for the image processing unit 172 to acquire a distance image.
  • noise correction, dark correction, and tone mapping are set as functions necessary for the image processing unit 172 to acquire a luminance image.
  • Noise correction is set according to each sensor mode.
  • the function addition can be implemented by changing the firmware or changing the circuit configuration.
  • the recognition processing unit 173 executes subject recognition processing based on the image acquired by the image acquisition unit 110.
  • the recognition processing unit 173 executes the subject recognition process based on the distance image acquired by the image processing unit 172. do.
  • the result of the recognition process based on the distance image is used for the process of the application program that requires the recognition result of the subject with relatively high accuracy.
  • the recognition processing unit 173 performs subject recognition processing based on the luminance image acquired by the image processing unit 172. To execute.
  • the result of the recognition process based on the luminance image is used for the process of the application program that does not require the recognition result of the subject with high accuracy.
  • the application execution unit 174 executes the processing of the application program stored in the storage unit 160 based on the recognition result of the subject by the recognition processing unit 173.
  • the processing executed by the application execution unit 174 includes, for example, a 3D object operation performed in an AR environment or a VR environment.
  • FIG. 9 is a flowchart showing an example of a processing procedure of the information processing apparatus according to the embodiment of the present disclosure.
  • the processing procedure shown in FIG. 9 is executed by the control unit 170 included in the information processing apparatus 100.
  • the processing procedure shown in FIG. 9 is repeatedly executed during the operation of the information processing apparatus 100.
  • the determination unit 171 determines that the illuminance acquired by the illuminance acquisition unit 150 is less than a predetermined threshold value ⁇ . (Step S102).
  • step S102 determines that the illuminance is less than the threshold value ⁇ (step S102; Yes)
  • the determination unit 171 is in the first sensor mode with respect to the image acquisition unit 110, the image processing unit 172, and the recognition processing unit 173.
  • a sensor mode setting signal indicating operation is sent (step S103). Then, the determination unit 171 returns to the processing procedure of step S102 described above.
  • step S102 determines that the illuminance is equal to or higher than the threshold value ⁇ (step S102; No)
  • the determination unit 171 has a second sensor for the image acquisition unit 110, the image processing unit 172, and the recognition processing unit 173.
  • a sensor mode setting signal indicating that the mode is operated is sent (step S104). Then, the determination unit 171 returns to the processing procedure of step S102 described above.
  • the information processing apparatus 100 may be activated in the second sensor mode. Further, the information processing apparatus 100 may remain undecided in mode until the determination result of the determination unit 171 is obtained. In this case, the information processing apparatus 100 may control not to acquire the image until the sensor mode is determined.
  • the determination unit 171 determines whether to operate in the first sensor mode or the second sensor mode based on the illuminance has been described, but this example is particularly applicable. It doesn't have to be limited.
  • the determination unit 171 may perform mode determination based on the analysis result of the image, that is, the luminance value of the pixels constituting the distance image or the luminance image.
  • FIG. 10 is a diagram showing an outline of the operation of the determination unit according to the modified example.
  • the determination unit 171 acquires a distance image or a luminance image from the image processing unit 172. Then, the determination unit 171 determines which mode of the first sensor mode and the second sensor mode operates based on the brightness value of the pixels constituting the distance image or the luminance image.
  • the determination unit 171 causes the image acquired by the image processing unit 172 to be overexposed. It is judged that there is a low possibility that the distance information can be obtained. Then, a sensor mode setting signal indicating operation in the first sensor mode is sent to the image acquisition unit 110, the image processing unit 172, and the recognition processing unit 173.
  • the determination unit 171 causes the image acquired by the image processing unit 172 to be overexposed. It is judged that there is a high possibility that the distance information can be obtained. Then, the determination unit 171 sends a sensor mode setting signal indicating that it operates in the second sensor mode to the image acquisition unit 110, the image processing unit 172, and the recognition processing unit 173.
  • the determination unit 171 may perform mode determination in further considering the remaining power of the information processing apparatus 100 and the purpose of using the subject recognition result by the application program.
  • FIG. 11 is a diagram showing an outline of the operation of the determination unit according to the modified example.
  • the information processing apparatus 100 further includes a battery remaining amount measuring unit 175.
  • the battery remaining amount measuring unit 175 measures the remaining amount of electric power that can be supplied by the battery included in the information processing apparatus 100, and sends the measured remaining amount of electric power to the determination unit 171.
  • the application execution unit 174 sends the purpose-of-use information indicating the purpose of use of the recognition result of the subject to the determination unit 171.
  • the purpose of use information is information that specifies the purpose of using the recognition result of the user's hand.
  • the determination unit 171 is first based on the brightness values of the pixels included in the distance image or the brightness image, the remaining power amount acquired from the battery remaining amount measuring unit 175, and the purpose of use information acquired from the application execution unit 174. It is determined which of the sensor mode and the second sensor mode of the above is operated. For example, the determination unit 171 needs highly accurate recognition of the subject from the usage purpose information, and when the remaining battery level is a certain amount or more, the distance information can be acquired from the distance image acquired by the image processing unit 172. It is determined to operate in the first sensor mode on condition that the property is high.
  • the determination unit 171 does not require highly accurate recognition of the subject from the purpose of use information, or when the remaining battery level is less than a certain amount, the luminance image acquired by the image processing unit 172 causes blackout. It is determined to operate in the second sensor mode, provided that it does not exist.
  • FIG. 12 is a flowchart showing an example of the processing procedure of the information processing apparatus according to the modified example.
  • the determination unit 171 has high accuracy with respect to the subject based on the purpose of use information acquired from the application execution unit 174. It is determined whether or not the recognition result is required (step S202).
  • the remaining power amount is the threshold value ⁇ based on the remaining power amount acquired from the battery remaining amount measuring unit 175. It is determined whether or not it is the above (step S203).
  • step S203 determines that the remaining power is equal to or greater than the threshold value ⁇ (step S203; Yes), whether or not the area of the overexposed area in the distance image acquired from the image processing unit 172 is less than the threshold value ⁇ . Is determined (step S204).
  • step S204 When the determination unit 171 determines that the area of the overexposed area is less than the threshold value ⁇ (step S204; Yes), the determination unit 171 is the first to the image acquisition unit 110, the image processing unit 172, and the recognition processing unit 173. A sensor mode setting signal indicating operation in the sensor mode of 1 is sent (step S205). Then, the determination unit 171 returns to the processing procedure of step S202 described above.
  • step S202 when the determination unit 171 determines that a highly accurate recognition result is not required for the subject (step S202; No), the area of the blackened area is the threshold value in the luminance image acquired from the image processing unit 172. It is determined whether or not it is less than ⁇ (step S206).
  • step S206 When the determination unit 171 determines that the area of the blackened area is less than the threshold value ⁇ (step S206; Yes), the determination unit 171 is second to the image acquisition unit 110, the image processing unit 172, and the recognition processing unit 173. A sensor mode setting signal indicating operation in the sensor mode of is sent (step S207). Then, the determination unit 171 returns to the processing procedure of step S202 described above.
  • step S203 determines in the above-mentioned step S203 that the remaining power amount is less than the threshold value ⁇ (step S203; No)
  • the determination unit 171 moves to the processing procedure of the above-mentioned step S206. That is, even if the information processing apparatus 100 determines that a highly accurate recognition result is required for the subject, the information processing apparatus 100 does not execute the recognition process based on the distance image unless there is a remaining amount of power of a certain amount or more.
  • step S204 determines in step S204 described above that the area of the overexposed area is equal to or greater than the threshold value ⁇ (step S204; No)
  • the determination unit 171 moves to the processing procedure of step S207 described above. That is, when the information processing apparatus 100 needs a highly accurate recognition result for the subject and there is a high possibility that the distance image cannot be acquired even if there is a certain amount of power remaining, the information processing apparatus 100 performs the recognition process based on the distance image. Do not execute.
  • step S206 when the determination unit 171 determines that the area of the blackened area is equal to or greater than the threshold value ⁇ (step S206; No), the determination unit 171 moves to the processing procedure of step S205 described above. That is, when the information processing apparatus 100 does not require a highly accurate recognition result for the subject and there is a high possibility that the luminance image cannot be acquired even if the remaining power is less than a certain amount, the recognition process based on the luminance image is performed. Do not execute.
  • the determination unit 171 instructs the image acquisition unit 110 and the image processing unit 172 to acquire the distance image even before the sensor setting signal is transmitted, and steps.
  • a distance image for determining S204 can be acquired.
  • the determination unit 171 instructs the image acquisition unit 110 and the image processing unit 172 to acquire the luminance image even before the sensor setting signal is transmitted, and the step.
  • a luminance image for determining S206 can be acquired.
  • the information processing apparatus 100 may be activated in the second sensor mode. Further, the information processing apparatus 100 may remain undecided in mode until the determination result of the determination unit 171 is obtained.
  • Hybrid usage example (1)> In the above embodiment, an example of performing the recognition process based on the image acquired in the first sensor mode or the second sensor mode has been described. However, the luminance image acquired in the first sensor mode does not include the distance information to the subject. Therefore, there are two uncertainties described below, and the three-dimensional recognition performance of the subject is low. In the following, the uncertainty when the subject is the user's hand will be illustrated. [Example of uncertainty 1]: Since the size of the hand is unknown, it is not possible to distinguish whether the large hand is far away or the small hand is near. [Example 2 of uncertainty]: Since the balance of the shape of the hand is unknown, it is not possible to distinguish whether the long finger is folded in the back or the small finger is standing against the screen.
  • FIG. 13 is a block diagram showing an example of the functional configuration of the information processing apparatus according to the hybrid usage example (1).
  • the information processing apparatus 200 includes an image acquisition unit 210, an input unit 220, an output unit 230, a communication unit 240, an illuminance acquisition unit 250, a storage unit 260, and a control unit 270.
  • the image acquisition unit 210 corresponds to the image acquisition unit 110 shown in FIG. 4
  • the input unit 220 corresponds to the input unit 120 shown in FIG. 4
  • the output unit 230 corresponds to the output unit 130 shown in FIG.
  • the communication unit 240 corresponds to the communication unit 140 shown in FIG.
  • the storage unit 260 corresponds to the storage unit 160 shown in FIG. 4
  • the control unit 270 corresponds to the control unit 170 shown in FIG.
  • the information processing apparatus 200 shown in FIG. 13 has basically the same processing function as the information processing apparatus 100 shown in FIG. 4, but is different from the information processing apparatus 100 shown in FIG. 4 in the points described below.
  • the storage unit 260 has a three-dimensional model storage unit 261.
  • the three-dimensional model storage unit 261 stores the data of the three-dimensional model composed of the feature point positions of the subject.
  • the three-dimensional model storage unit 261 stores the data of the three-dimensional model for each user.
  • the three-dimensional model storage unit 261 stores data indicating the three-dimensional positions of feature points such as fingertips and joints (hereinafter referred to as "hand model").
  • the control unit 270 has a determination unit 271, an image processing unit 272, a recognition processing unit 273, and an application execution unit 274.
  • the determination unit 271 corresponds to the determination unit 171 shown in FIG. 4 and has the same processing function as the determination unit 171.
  • the application execution unit 274 corresponds to the application execution unit 174 shown in FIG. 4 and has the same processing function as the application execution unit 174.
  • the image processing unit 272 has the same processing function as the image processing unit 172 shown in FIG. Further, the image processing unit 272 generates a hand model based on the distance image acquired in the first sensor mode. The image processing unit 272 associates the generated hand model data with the user and stores it in the storage unit 260.
  • the recognition processing unit 273 is a three-dimensional subject generated in advance based on the relative feature point positions of the subject estimated based on the luminance image acquired by the image processing unit 272 and the result of the measurement processing by the measurement unit. Obtain the absolute feature point position of the subject based on the model.
  • the luminance image is an example of the second image.
  • FIG. 14 is a diagram showing an outline of the hybrid use example (1). An example of hybrid use (1) in the case where the user's hand of the information processing apparatus 200 is the subject will be described with reference to FIG.
  • the recognition processing unit 273 inputs the luminance image Gb acquired by the image processing unit 272 into the trained model MX1 .
  • the trained model MX1 is machine-learned so as to input a brightness image Gb that captures the user's hand as a subject and correctly infer the relative positional relationship between the feature points of the user's hand with respect to the camera position. It is a trained model.
  • a learning algorithm for generating the trained model MX1 CNN (Convolutional Neural Network) or the like can be used.
  • the learning algorithm is not particularly limited to CNN, and any learning algorithm may be used as long as a model capable of correctly inferring the relative positional relationship of the feature points of the subject can be generated.
  • the trained model MX1 can be generated.
  • the recognition processing unit 273 acquires the inference result CHP1 of the relative feature point position of the user's hand as the subject from the output of the trained model MX1.
  • the feature point position relative to the camera position indicates the position of the feature point specified two-dimensionally, and the distance between the image acquisition unit 210 and the feature point of the subject (user's hand) is indefinite. Means that Subsequently, the recognition processing unit 273 acquires the hand model HM associated with the user who is using the information processing device 200 from the three-dimensional model storage unit 261.
  • the recognition processing unit 273 inputs the inference result CHP1 of the relative feature point position of the user's hand acquired from the trained model MX1 and the hand model HM corresponding to the user's hand as the subject into the trained model MY1. ..
  • the trained model MY1 inputs the inference result CHP1 of the relative feature point position of the user's hand and the corresponding hand model HM, and the absolute positional relationship of the feature points of the user's hand with respect to the position of the camera. Is a trained model machine-learned to infer correctly.
  • CNN Convolutional Neural Network
  • CNN Convolutional Neural Network
  • the learning algorithm is not particularly limited to CNN, and any learning algorithm may be used as long as a model capable of correctly inferring the absolute positional relationship of the feature points of the subject can be generated.
  • the recognition processing unit 273 recognizes the subject included in the luminance image by using the three-dimensional model corresponding to the subject when recognizing the subject included in the luminance image acquired in the first sensor mode. The accuracy can be improved.
  • the joints of the hand model HM are bent at an arbitrary angle to generate a large amount of 3D coordinates of the feature points of the hand, and the 2D coordinates obtained by removing the depth information and the hand model HM are input.
  • the trained model MY1 can be generated by executing a general deep learning process as a task of outputting the three-dimensional coordinates of the feature points of the hand.
  • the recognition processing unit 273 acquires the absolute feature point position AHP1 of the user's hand, which is the subject, from the output of the trained model MY1.
  • the absolute feature point position with respect to the camera position indicates the position of the feature point specified three-dimensionally, and the distance between the image acquisition unit 210 and the feature point of the subject (user's hand) is determined. It means that you are doing it.
  • the recognition processing unit 273 sends the absolute feature point position AHP1 of the user's hand, which is the subject, to the application execution unit 274.
  • the application execution unit 274 executes the processing of the application program based on the feature point position AHP1 of the user's hand.
  • FIG. 15 is a block diagram showing an example of the functional configuration of the information processing apparatus according to the hybrid usage example (2).
  • the information processing apparatus 300 includes an image acquisition unit 310, an input unit 320, an output unit 330, a communication unit 340, an illuminance acquisition unit 350, a storage unit 360, and a control unit 370.
  • the image acquisition unit 310 corresponds to the image acquisition unit 110 shown in FIG. 4
  • the input unit 320 corresponds to the input unit 120 shown in FIG. 4
  • the output unit 330 corresponds to the output unit 130 shown in FIG.
  • the communication unit 340 corresponds to the communication unit 140 shown in FIG.
  • the storage unit 360 corresponds to the storage unit 160 shown in FIG. 4
  • the control unit 370 corresponds to the control unit 170 shown in FIG.
  • the information processing apparatus 300 shown in FIG. 15 has basically the same processing function as the information processing apparatus 100 shown in FIG. 4, but is different from the information processing apparatus 100 shown in FIG. 4 in the points described below.
  • the storage unit 360 has a distance image storage unit 361 and a luminance image storage unit 362.
  • the distance image storage unit 361 stores the distance image acquired by the image processing unit 272 in the first sensor mode in association with the time stamp.
  • the luminance image storage unit 362 stores the luminance image acquired by the image processing unit 272 in the second sensor mode in association with the time stamp.
  • the control unit 370 has a determination unit 371, an image processing unit 372, a recognition processing unit 373, and an application execution unit 374.
  • the determination unit 371 corresponds to the determination unit 171 shown in FIG. 4 and has the same processing function as the determination unit 171.
  • the image processing unit 372 corresponds to the image processing unit 172 shown in FIG. 4 and has the same processing function as the image processing unit 172.
  • the application execution unit 374 corresponds to the application execution unit 174 shown in FIG. 4 and has the same processing function as the application execution unit 174.
  • the recognition processing unit 373 is an absolute subject based on the relative feature point position of the subject estimated based on the luminance image acquired by the image processing unit 372 and the distance image acquired by the image processing unit 372. Get the feature point position.
  • FIG. 16 is a diagram showing an outline of the hybrid use example (2). An example of hybrid use (2) in the case where the user's hand of the information processing apparatus 200 is the subject will be described with reference to FIG.
  • the recognition processing unit 373 inputs the luminance image Gb acquired by the image processing unit 372 into the trained model MX2.
  • the trained model MX2 is machine-learned so as to input a brightness image Gb that captures the user's hand as a subject and correctly infer the relative positional relationship between the feature points of the user's hand with respect to the camera. It is a trained model and corresponds to the trained model MX1 shown in FIG.
  • the recognition processing unit 373 acquires the inference result CHP2 of the relative feature point position of the user's hand as the subject from the output of the trained model MX2. Subsequently, the recognition processing unit 373 obtains the distance image G d immediately before the time when the brightness image G b input to the trained model MX 2 is acquired from the distance images stored in the distance image storage unit 361. To get.
  • the recognition processing unit 373 sets the time closest to the acquired time of the brightness image Gb based on, for example, the time stamp associated with the brightness image Gb and the time stamp associated with the distance image Gd.
  • the acquired distance image Gd is acquired.
  • the recognition processing unit 373 obtains the distance information of the feature points of the user's hand normally acquired without failure from the acquired distance image Gd (for example, the distance information of the points indicated by the black circles in FIG. 16). get.
  • the recognition processing unit 373 inputs the inference result CHP2 of the relative feature point position of the user's hand as the subject and the distance information of the feature point of the user's hand acquired from the distance image Gd into the trained model MY2. ..
  • the trained model MY2 has the inference result CHP2 of the relative feature point position of the subject (user's hand) inferred from the brightness image Gb and the feature point of the (user's hand) acquired from the corresponding distance information. It is a trained model that has been machine-learned to correctly infer the absolute feature point position of the subject (user's hand) with respect to the camera by inputting distance information.
  • CNN Convolutional Neural Network
  • the learning algorithm is not particularly limited to CNN, and any learning algorithm may be used as long as a model capable of correctly inferring the absolute positional relationship of the feature points of the subject can be generated.
  • the recognition processing unit 373 is defective in the distance image by mutually complementarily using the feature point position obtained from the brightness image and the distance information obtained from the corresponding distance image when recognizing the subject. Distance information can be estimated and absolute feature point positions can be obtained. This makes it possible to improve the recognition performance of the recognition process based on the luminance image.
  • the recognition processing unit 373 acquires the absolute feature point position AHP2 of the user's hand, which is the subject, from the output of the trained model MY2. Then, the recognition processing unit 373 sends the absolute feature point position AHP2 of the user's hand, which is the subject, to the application execution unit 374.
  • the application execution unit 374 executes the processing of the application program based on the feature point position AHP2 of the user's hand.
  • the information processing devices 100, 200, and 300 may be realized by a dedicated computer system or a general-purpose computer system.
  • various programs for realizing the information processing method executed by the information processing devices 100, 200, 300 according to the embodiments and modifications of the present disclosure can be read by a computer such as an optical disk, a semiconductor memory, a magnetic tape, or a flexible disk. It may be stored and distributed in a possible recording medium or the like.
  • the AR glass 30 realizes the information processing method according to the embodiment and the modification of the present disclosure by installing and executing various programs on a computer.
  • various programs for realizing the information processing method executed by the information processing devices 100, 200, and 300 according to the embodiments and modifications of the present disclosure are stored in a disk device provided in a server device on a network such as the Internet. However, it may be possible to download it to a computer.
  • the functions provided by various programs for realizing the information processing methods executed by the information processing devices 100, 200, and 300 according to the embodiments and modifications of the present disclosure can be provided by the cooperation between the OS and the application program. It may be realized.
  • the part other than the OS may be stored in a medium and distributed, or the part other than the OS may be stored in the server device so that it can be downloaded to a computer or the like.
  • each component (see FIGS. 4, 13, and 15) of the information processing devices 100, 200, and 300 according to the embodiment of the present disclosure and the modified example is a functional concept and is not necessarily physically. It does not need to be configured as shown. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • FIG. 17 is a block diagram showing a hardware configuration example of a computer capable of realizing the information processing apparatus of the present disclosure.
  • Examples of the computer 1000 shown in FIG. 17 include a smartphone, a tablet, a head-mounted display, and the like. Note that FIG. 17 shows an example of a computer, and is not limited to the configuration shown in FIG.
  • the computer 1000 includes a camera 1001, a communication module 1002, a CPU 1003, a display 1004, a GPS (Global Posting System) module 1005, a main memory 1006, a flash memory 1007, and an audio I /. It includes an F (interface) 1008 and a battery I / F (interface) 1009. Each part of the computer 1000 is connected to each other by a bus 1010.
  • the camera 1001 is an image pickup apparatus, for example, a TOF type camera.
  • the functions of the image acquisition units 110, 210, and 310 described above can be realized by the camera 1001.
  • the communication module 1002 is a communication device.
  • a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), WUSB (Wireless USB), or the like.
  • the communication device 3100 may be a router for optical communication, various communication modems, or the like.
  • the functions of the communication unit 140, the communication unit 240, and the communication unit 240 in the above-described embodiment and the like are realized by the communication module 1002.
  • the CPU 1003 functions as, for example, an arithmetic processing device or a control device, and controls all or a part of the operation of each component based on various programs recorded in the flash memory 1007.
  • the various programs stored in the flash memory 1007 include programs that provide various functions for realizing information processing of the information processing devices 100, 200, and 300 in the above-described embodiment and the like.
  • the computer 1000 may be equipped with a SoC (System-on-a-Chip) instead of the CPU 1003.
  • SoC System-on-a-Chip
  • the display 1004 is a display device, and is mounted by an LCD (Liquid Crystal Display), an organic EL (Electro-Luminescence) display, or the like.
  • the display 1004 may be implemented by a touch screen display with a touch screen.
  • the GPS module 1005 is a receiver that receives GPS signals transmitted from GPS satellites.
  • the GPS module 1005 sends a received GPS signal to the CPU 1003, and supports the calculation processing of the current position of the computer 1000 by the GPS module 1005.
  • the main memory 1006 is a main storage device mounted by RAM or the like, and for example, a program read into the CPU 1003, various parameters that change appropriately when a program read into the CPU 3010 is executed, and the like are temporarily or permanently stored. Will be done.
  • the flash memory 1007 is an auxiliary storage device, and stores programs read into the CPU 1003, data used for calculations, and the like. The functions of the storage units 160, 260, and 360 in the above embodiments and the like are realized by the main memory 1006 and the flash memory 1007.
  • the audio I / F (interface) 1008 connects an audio device such as a microphone or a speaker to the bus 1010.
  • the battery I / F (interface) 1009 connects the battery and a power supply line to each part of the computer 1000.
  • the CPU 1003, the main memory 1006, and the flash memory 1007 described above are each part (determination) included in the control unit 170 of the information processing apparatus 100 in the above embodiment in cooperation with software (various programs stored in the flash memory 1007 or the like).
  • the various functions of the unit 171 to the application execution unit 174) are realized.
  • the CPU 1003, the main memory 1006, and the flash memory 1007 described above are provided with the control unit 270 of the information processing apparatus 200 in the above modification in cooperation with software (various programs stored in the flash memory 1007 and the like).
  • Various functions of each unit (determination unit 271 to application execution unit 274) are realized.
  • the CPU 1003, the main memory 1006, and the flash memory 1007 described above are provided with the control unit 370 of the information processing apparatus 300 in the above modification in cooperation with software (various programs stored in the flash memory 1007 and the like).
  • Various functions of each unit are realized.
  • the CPU 1003 executes various programs for realizing information processing of the information processing devices 100, 200, 300, performs arithmetic processing and the like using data acquired via the camera 1001 and various interfaces, and performs arithmetic processing and the like, and the information processing devices 100, 200 , 300 information processing is executed.
  • the information processing apparatus includes an image acquisition unit, a measurement unit, and a recognition processing unit.
  • the image acquisition unit acquires an image by receiving external light at the light receiving unit.
  • the measuring unit measures the distance to the subject based on the first image acquired by the image acquisition unit in response to the irradiation of infrared rays from the light emitting unit.
  • the recognition processing unit performs subject recognition processing based on the second image acquired by the image acquisition unit that receives external light without irradiating infrared rays from the light emitting unit.
  • the information processing apparatus can obtain a sufficient recognition result in an environment where the influence of external light is strong, and can improve the image processing using the TOF type camera.
  • the information processing apparatus further has a determination unit for determining whether or not to perform measurement processing by the measurement unit.
  • the measurement unit performs the measurement process. That is, when the sensor mode setting signal acquired from the determination unit indicates the operation in the first sensor mode, the image processing unit functioning as the measurement unit receives the image acquisition unit in response to the irradiation of infrared rays from the light emitting unit. Based on the image (phase image) acquired by, a distance image is acquired and the distance to the subject is measured. As a result, the information processing apparatus can acquire the distance image when the measurement process can be performed normally.
  • the determination unit determines whether or not to perform the measurement process based on the illuminance of the external light received by the light receiving unit. Thereby, the information processing apparatus can determine whether or not to acquire the distance image in consideration of the external light tolerance of the TOF type camera.
  • the determination unit determines whether or not to perform the measurement process based on the analysis result of the image acquired by the image acquisition unit.
  • the information processing apparatus can determine whether or not to acquire a distance image in consideration of the external light resistance of the TOF type camera without measuring the illuminance.
  • the determination unit determines whether or not to perform the measurement process based on the remaining amount of electric power that can be supplied by the battery. As a result, the information processing apparatus can determine whether or not to acquire the distance image in consideration of the power required for the subject recognition process.
  • the determination unit determines whether or not to perform the measurement process based on the purpose of use of the result of the subject recognition process by the application. Thereby, the information processing apparatus can determine whether or not to acquire the distance image in consideration of the recognition accuracy required for the recognition process of the subject.
  • the recognition processing unit performs the recognition processing based on the first image when it is determined by the determination unit to perform the measurement processing, and when the determination unit determines that the measurement processing is not performed, the second The recognition process is performed based on the image of.
  • the information processing apparatus can use the recognition process based on the first image (distance image) and the recognition process based on the second image (luminance image) properly according to the situation.
  • the recognition processing unit is based on the relative feature point positions of the subject estimated based on the second image and the three-dimensional model of the subject generated in advance based on the result of the measurement processing by the measurement unit. Acquires the absolute feature point position of the subject. This makes it possible to improve the recognition performance of the recognition process based on the second image (luminance image).
  • the recognition processing unit performs measurement processing by the measurement unit for the feature point position of the subject estimated based on the second image and the first image acquired immediately before the time when the second image is acquired.
  • the absolute feature point position of the subject is acquired based on the distance to the feature point of the subject obtained from the result of. This makes it possible to improve the recognition performance of the recognition process based on the second image (luminance image).
  • the technology of the present disclosure can be configured as follows, assuming that it belongs to the technical scope of the present disclosure.
  • An image acquisition unit that acquires an image by receiving external light at the light receiving unit, and an image acquisition unit.
  • a measuring unit that measures the distance to the subject using a first image based on the image acquired by the image acquisition unit in response to the irradiation of infrared rays from the light emitting unit.
  • a recognition processing unit that performs subject recognition processing using a second image based on an image acquired by the image acquisition unit that receives external light without being irradiated with infrared rays from the light emitting unit.
  • Information processing device with.
  • the measuring unit When the determination unit determines that the measurement process is to be performed, the measurement process is performed.
  • the information processing apparatus according to (1) above.
  • the determination unit It is determined whether or not to perform the measurement process based on the illuminance of the external light received by the light receiving unit.
  • the information processing device according to (2) above.
  • the determination unit Based on the analysis result of the first image or the second image, it is determined whether or not to perform the measurement process.
  • (5) The determination unit Whether or not to perform the measurement process is determined based on the remaining amount of electric power that can be supplied by the battery.
  • the information processing apparatus according to (4) above.
  • the determination unit It is determined whether or not to perform the measurement process based on the purpose of use of the result of the recognition process by the application.
  • the information processing apparatus according to (4) or (5) above.
  • the recognition processing unit When the determination unit determines that the measurement process is to be performed, the recognition process is performed based on the first image, and when the determination unit determines that the measurement process is not performed, the second image. The recognition process is performed based on The information processing apparatus according to any one of (2) to (6).
  • the recognition processing unit The absolute subject is based on the relative feature point positions of the subject estimated based on the second image and the three-dimensional model of the subject generated in advance based on the result of the measurement process by the measuring unit. Get the feature point position, The information processing apparatus according to (1) above.
  • the recognition processing unit From the feature point position of the subject estimated based on the second image and the result of the measurement processing by the measuring unit for the first image acquired in the immediate vicinity of the time when the second image was acquired. Acquires the absolute feature point position of the subject based on the distance to the feature point of the subject obtained.
  • the information processing apparatus according to (1) above.
  • the processor An image is acquired by receiving external light, The distance to the subject was measured using the first image based on the image acquired in response to the irradiation of infrared rays.
  • a subject recognition process is performed using a second image based on an image obtained by receiving external light without being irradiated with infrared rays.
  • Information processing method is performed using a second image based on an image obtained by receiving external light without being irradiated with infrared rays.
  • the image is acquired by receiving external light, Using the first image based on the image acquired in response to the irradiation of infrared rays, the distance to the subject was measured. A second image based on an image obtained by receiving external light without being irradiated with infrared rays is used to perform subject recognition processing. Information processing program.
  • Information processing device 110 210, 310 Image acquisition unit 111, 211, 311 Light emitting unit 112, 212, 312 Light receiving unit 120, 220, 320 Input unit 130, 230, 330 Output unit 140, 240, 340 Communication Units 150, 250, 350 Illumination acquisition unit 160, 260, 360 Storage unit 170, 270, 370 Control unit 171, 271, 371 Judgment unit 172, 272, 372 Image processing unit 173, 273, 373 Recognition processing unit 174, 274, 374 Application execution unit 261 3D model storage unit 361 Distance image storage unit 362 Brightness image storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Vascular Medicine (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

情報処理装置（１００）は、画像取得部（１１０）と、測定部（１７２）と、認識処理部（１７３）とを有する。画像取得部（１１０）は、受光部で外光を受光することで画像を取得する。測定部（１７２）は、発光部から赤外線が照射されたことに応じて画像取得部によって取得された画像に基づく第１の画像を用いて、被写体までの距離を測定する。認識処理部（１７３）は、発光部から赤外線が照射されずに外光を受光した画像取得部（１１０）によって取得された画像に基づく第２の画像を用いて、被写体の認識処理を行う。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
　従来、被写体の画像を解析して被写体までの距離を取得する技術として、ＴＯＦ（Time　of　Flight）方式のカメラ（距離画像センサ）が知られている。ＴＯＦ方式のカメラは、赤外線などの不可視光をパルス変調して画角内に照射し、被写体から反射される反射光の位相遅れを計測することにより、被写体までの距離を割り出すことができる。ＴＯＦ方式のカメラは、その利便性から、スマートフォンやウェアラブルデバイス等における３次元的な画像認識処理に用いられている。
国際公開第２０１７／１５０２４６号
　しかしながら、ＴＯＦ方式のカメラを用いた画像認識処理は、外光の影響が強い環境下において十分な認識結果を得ることが難しい。これは、ＴＯＦ方式のカメラの外光耐性の低さが原因となっている。
　そこで、本開示では、ＴＯＦ方式のカメラを用いた画像処理を改善できる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、画像取得部と、測定部と、認識処理部とを有する。画像取得部は、受光部で外光を受光することで画像を取得する。測定部は、発光部から赤外線が照射されたことに応じて前記画像取得部によって取得された画像に基づく第１の画像を用いて、被写体までの距離を測定する。認識処理部は、発光部から赤外線が照射されずに外光を受光した前記画像取得部によって取得された画像に基づく第２の画像を用いて、被写体の認識処理を行う。
本開示の実施形態に係る情報処理の概要を示す模式図である。 本開示の実施形態に係る距離画像の一例を示す図である。 本開示の実施形態に係る距離画像と輝度画像の一例を示す図である。 本開示の実施形態に係る情報処理装置の構成例を示すブロック図である。 本開示の実施形態に係る判定部の動作の概要を示す図である。 本開示の実施形態に係る距離測定方法の一例を説明するための説明図である。 本開示の実施形態に係る輝度画像の取得手順の一例を示す図である。 本開示の実施形態に係る第１のセンサモード及び第２のセンサモードに関連する機能例の一覧を示す図である。 本開示の実施形態に係る情報処理装置の処理手順の一例を示すフローチャートである。 変形例に係る判定部の動作の概要を示す図である。 変形例に係る判定部の動作の概要を示す図である。 変形例に係る情報処理装置の処理手順の一例を示すフローチャートである。 ハイブリット利用例（１）に係る情報処理装置の機能構成の一例を示すブロック図である。 ハイブリット利用例（１）の概要を示す図である。 ハイブリット利用例（２）に係る情報処理装置の機能構成の一例を示すブロック図である。 ハイブリット利用例（２）の概要を示す図である。 本開示の情報処理装置を実現可能なコンピュータのハードウェア構成例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の数字又は符号を付することにより重複する説明を省略する場合がある。また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の数字又は符号の後に異なる数字又は符号を付して区別する場合もある。
　また、以下に示す項目順序に従って本開示を説明する。
　１．本開示の実施形態に係る情報処理の概要
　２．装置構成例
　３．処理手順例
　４．変形例
　　４－１．画像の輝度値に基づく動作モードの判定
　　４－２．電力残量及び認識結果の利用目的に基づく判定
　　４－３．ハイブリット利用例（１）
　　４－４．ハイブリット利用例（２）
　５．その他
　６．ハードウェア構成例
　７．むすび
＜＜１．本開示の実施形態に係る情報処理の概要＞＞
　本開示の実施形態に係る情報処理の概要について説明する。図１は、本開示の実施形態に係る情報処理の概要を示す模式図である。
　図１に示すように、本開示の実施形態に係る情報処理装置１００は、画像を取得し、取得した画像の認識結果に基づいて処理を行う装置である。情報処理装置１００は、典型的にはスマートフォン等の電子機器である。情報処理装置１００は、携帯電話、タブレット、ウェアラブル端末、ＰＤＡ（Personal　Digital　Assistant）、パーソナルコンピュータ等であってもよい。情報処理装置１００は、画像取得部１１０と、画像処理部１７２と、認識処理部１７３とを有する。
　画像取得部１１０は、受光部で外光を受光することで画像を取得する。ここで、外光は、屋外における太陽光のみならず、屋内であっても光の強度が一定の閾値を超える照明光等を含む。画像取得部１１０は、ＬＥＤ等のレーザを有する発光部と、ＣＣＤ（Charge　Coupled　Device）イメージセンサ等を有する受光部とを備えたＴＯＦ方式のカメラにより実装される。
　画像取得部１１０は、情報処理装置１００が第１のセンサモード及び第２のセンサモードのうちのいずれのセンサモードで動作するかに応じて、センサモードに合わせた画像を取得する。第１のセンサモードは、画像取得部１１０として機能するＴＯＦ方式のカメラが従来備えるセンサモードであり、発光部から光（赤外線）の照射を行って画像を取得するセンサモードである。第２のセンサモードは、画像取得部１１０として機能するＴＯＦ方式のカメラに新たに導入するセンサモードであり、発光部から光（赤外線）の照射を行わずに画像を取得するセンサモードである。
　画像取得部１１０は、第１のセンサモードである場合、発光部から光（赤外線）を位相を変えて照射し、受光部で受光（検知）した光の受光信号（強さ及び波長）を画素ごとに記録した複数の位相画像を取得する。また、画像取得部１１０は、第２の動作モードである場合、発光部から光（赤外線）を発光することなく、受光部で受光した光の受光信号を画素ごとに記録したＲＡＷ画像を取得する。
　画像処理部１６２は、画像取得部１１０により取得された画像の画像処理を実行する。画像処理部１６２は、第１のセンサモードである場合、発光部から赤外線が照射されたことに応じて画像取得部１１０によって取得された画像（位相画像）に基づく距離画像（第１の画像の一例）を用いて、被写体までの距離を測定する。また、画像処理部１６２は、第２のセンサモードである場合、発光部から赤外線が照射されずに外光を受光した画像取得部１１０によって取得された画像（ＲＡＷ画像）に基づく輝度画像（第２の画像の一例）を取得する。図２は、本開示の実施形態に係る距離画像の一例を示す図である。図３は、本開示の実施形態に係る距離画像と輝度画像の一例を示す図である。なお、図３に示す左図及び右図は、同一の被写体（ユーザの手）を撮像したものである。
　例えば、太陽光や照明など、情報処理装置１００の外部にある光源から照射される光の強度が大きくない環境下では、発光部から照射される赤外線が外部の光により阻害されることがない。このため、発光部から照射した赤外線を受光部でとらえることができ、図２の左図に示すように、画像処理部１７２は、画像取得部１１０により取得された位相画像から距離画像Ｇｄ１を生成できる。そして、画像処理部１７２は、その距離画像Ｇｄ１を用いて、図２の右図のように、被写体であるユーザの手の形状を認識できる。
　一方、外部の光の影響が大きい環境下では、発光部から照射される赤外線が阻害される。このため、例えば、図３の左図に示すように、発光部から赤外線が照射されたことに応じて画像取得部１１０により取得される距離画像Ｇｄ２の一部に距離が測定できない領域が発生する場合がある。そこで、情報処理装置１００は第２のセンサモードで動作するように自装置を制御する。すなわち、図３の右図に示すように、画像処理部１７２は、発光部から赤外線が照射されずに外光を受光した画像取得部１１０によって取得された画像（例えばＲＡＷ画像）から輝度画像Ｇｂを生成する。そして、画像処理部１７２は、その輝度画像Ｇｂを用いて、図３の右図に示すように、被写体であるユーザの手の２次元的な位置情報を取得できる。このようにして、外部の光の影響が大きい環境下である場合、被写体までの距離情報（「距離座標」、又は「デプス」ともいう。）を取得することはできないが、少なくとも、被写体について２次元的な位置情報を取得できる。
　認識処理部１７３は、第１のセンサモードである場合、画像処理部１７２により取得された距離画像Ｇｄに基づいて、認識処理を実行する。また、認識処理部１７３は、第２のセンサモードである場合、画像処理部１７２により取得された輝度画像Ｇｂに基づいて、認識処理を実行する。
　このように、実施形態に係る情報処理装置１００は、発光部から光（赤外線）の照射を行わずに画像を取得する第２の動作モードを導入する。そして、情報処理装置１００は、第２の動作モードにより取得された輝度画像に基づいて認識処理を実行する。このようなことから、実施形態に係る情報処理装置１００は、外光等の外部の光の影響が大きい環境下では、輝度画像を用いた認識処理を実行でき、ＴＯＦ方式の距離画像センサを用いた画像処理を改善できる。
＜＜２．装置構成例＞＞
　以下、本開示の実施形態に係る情報処理装置１００の構成について説明する。図４は、本開示の実施形態に係る情報処理装置の構成例を示すブロック図である。
　図４に示すように、情報処理装置１００は、画像取得部１１０と、入力部１２０と、出力部１３０と、通信部１４０と、照度取得部１５０と、記憶部１６０と、制御部１７０とを有する。
　画像取得部１１０は、発光部１１１と、受光部１１２とを有する。画像取得部１１０は、受光部１１２で外光を受光することで画像を取得する。画像取得部１１０は、例えば、ＴＯＦ方式のカメラにより実現できる。図４に示す例では、画像取得部１１０として機能するＴＯＦ方式のカメラが、発光部１１１として機能するＬＥＤ等と、受光部１１２として機能するＣＣＤイメージセンサ等とを内蔵している。
　画像取得部１１０は、情報処理装置１００が第１のセンサモードで動作する場合、発光部から光（赤外線）を照射し、受光部で受光（検知）した光の受光信号（強さ及び波長）を画素ごとに記録した位相画像を取得する。また、画像取得部１１０は、情報処理装置１００が第２の動作モードで動作する場合、発光部から光（赤外線）を発光することなく、受光部で受光した光の受光信号を画素ごとに記録したＲＡＷ画像を取得する。画像取得部１１０は、後述する判定部１７１から取得するセンサモード設定信号が第１のセンサモードでの動作を指示する信号である場合、位相画像を取得する。一方、画像取得部１１０は、後述する判定部１７１から取得するセンサモード設定信号が第２のセンサモードでの動作を指示する信号である場合、ＲＡＷ画像を取得する。
　入力部１２０は、ユーザインタフェースとして情報処理装置１００のユーザからの操作を受け付ける。入力部１２０は、例えば、各種のボタン、キーボード、タッチパネル、マウス、スイッチ、マイクなどにより実現できる。
　出力部１３０は、各種情報を出力する。出力部１３０は、各種情報を表示するＣＲＴ（Cathode　Ray　Tube）、ＬＣＤ（Liquid　Crystal　Display）、ＯＬＥＤ（Organic　Light　Emitting　Diode）等の表示デバイスや、音声等を出力するスピーカ等の音響デバイスにより実現できる。
　通信部１４０は、各種情報を送受信する。通信部１４０は、ＮＩＣ（Network　Interface　Card）や各種通信用モデム等によって実現できる。
　照度取得部１５０は、外部の光の照度を取得する。照度取得部１５０は、例えば、照度センサにより実現できる。
　記憶部１６０は、制御部１７０により実行される各種処理機能を実現するためのプログラム及びデータ等を記憶する。記憶部１６０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１６０が記憶するプログラムには、ＯＳ（Operating　System）やアプリケーションプログラムが含まれる。なお、記憶部１６０は、制御部１７０の補助記憶装置として機能してもよい。この場合、記憶部１６０は、画像取得部１１０により取得される位相画像やＲＡＷ画像、後述する画像処理部１７２により取得される距離画像や輝度画像などを一時記憶できる。
　制御部１７０は、例えば、情報処理装置１００の各種処理を制御するコントローラである。制御部１７０により提供される各種機能は、例えば、プロセッサ等により、情報処理装置１００の内部に記憶されたプログラム（例えば、本開示に係る情報処理プログラム）が主記憶装置等を作業領域として実行されることにより実現される。プロセッサは、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）、ＳｏＣ（System-on-a-Chip）等により実現できる。また、制御部１７０により提供される各種機能は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　図４に示すように、制御部１７０は、判定部１７１と、画像処理部１７２と、認識処理部１７３と、アプリケーション実行部１７４とを備える。
　判定部１７１は、距離画像に基づく測定処理を行うか否かを判定する。例えば、情報処理装置１００は、起動時に、第１のセンサモードを選択するように初期設定されている。そして、判定部１７１は、情報処理装置１００の起動後、第１のセンサモード及び第２のセンサモードのうちのいずれのセンサモードで情報処理装置１００を動作させるかを判定する。図５は、本開示の実施形態に係る判定部の動作の概要を示す図である。
　図５に示すように、判定部１７１は、照度取得部１５０により取得された照度に基づいて、測定処理を行うか否かを判定する。照度取得部１５０により取得される照度は、受光部１１２で受光した外光の照度に対応する。例えば、判定部１７１は、照度取得部１５０により取得される照度が予め定められる閾値未満である場合、測定処理を行うものと判定する。そして、判定部１７１は、画像取得部１１０と、画像処理部１７２と、認識処理部１７３とに対して、第１のセンサモードで動作することを示すセンサモード設定信号を送る。一方、判定部１７１は、受光部１１２で受光した外光の照度が予め定められる閾値以上である場合、測定処理を行わないものと判定する。そして、判定部１７１は、画像取得部１１０と、画像処理部１７２と、認識処理部１７３とに対して、第２のセンサモードで動作することを示すセンサモード設定信号を送る。
　画像処理部１７２は、画像取得部１１０により取得された画像の画像処理を実行する。画像処理部１７２は、判定部１７１から取得するセンサモード設定信号が第１のセンサモードでの動作を指示する場合、発光部１１１から赤外線が照射されたことに応じて画像取得部１１０によって取得された画像（位相画像）に基づいて、距離画像を取得し、被写体までの距離を測定する測定部として機能する。図６は、本開示の実施形態に係る距離測定方法の一例を説明するための説明図である。
　図６に示す例では、発光部１１１の赤外線の発光強度（ＩＲ発光強度）の調整を角周波数ωのｓｉｎ波形で行い、赤外線の発光の波形と被写体から反射して戻ってきた光の波形との位相差φによって、被写体までの距離を測定する方法を示す。発光部１１１の発光波形は、以下に示す式（１）で表すことができる。また、受光部１１２の受光波形は、以下に示す式（２）で表すことができる。なお、以下の式（１）及び式（２）において、符号「Ａ」は振幅を示し、符号「Ｂ」はオフセットを示す。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　ここで、前述の式（２）から、位相差φ＝ωｔｄであるので、各画素で位相差φを求めることができれば、光速を符号「ｃ」で表す時、各画素の被写体までの距離は、以下の式（３）で算出できる。
Figure JPOXMLDOC01-appb-M000003
　例えば、図６に示す例では、π／２ずつ位相をずらして受光することにより画像取得部１１０により取得される４枚の画像Ｉ０，Ｉ９０，Ｉ１８０，Ｉ２７０から位相差φを計算する。４枚の画像Ｉ０，Ｉ９０，Ｉ１８０，Ｉ２７０からφは、以下の式（４）～式（７）で表すことができる。
Figure JPOXMLDOC01-appb-M000004
　前述の式（４）～式（７）から、画像Ｉ０と画像Ｉ１８０との間に、以下の式（８）に示す関係が成立し、画像Ｉ９０と画像Ｉ２７０との間に、以下の式（９）に示す関係が成立する。
Figure JPOXMLDOC01-appb-M000005
　また、前述の式（８）及び式（９）から、以下の式（１０）が求められる。
Figure JPOXMLDOC01-appb-M000006
　前述の式（１０）を変形することにより、各画素の被写体までの距離を求めるために必要な位相差φは、以下の式（１１）で求められる。
Figure JPOXMLDOC01-appb-M000007
　上述してきたように、画像処理部１７２は、発光部１１１を発光させながら、位相を変えて露光し、図６に示すような４枚の位相の位相画像（画像Ｉ０，Ｉ９０，Ｉ１８０，Ｉ２７０）を取得する。画像処理部１７２は、前述の式（８）で表されるＩ信号と、前述の式（９）で表されるＱ信号を算出する。そして、画像処理部１７２は、前述の式（１１）により位相差φを求めることにより、距離画像を取得する。
　また、画像処理部１７２は、判定部１７１から取得するセンサモード設定信号が第２のセンサモードでの動作を指示する場合、発光部１１１から赤外線が照射されずに受光部１１２が外光を受光することにより、画像取得部１１０によって取得された画像（ＲＡＷ画像）から、輝度画像を取得する。図７は、本開示の実施形態に係る輝度画像の取得手順の一例を示す図である。
　図７に示すように、画像処理部１７２は、画像取得部１１０により取得されるＲＡＷ画像について、ノイズ補正、ダーク補正、トーンマッピング（Tone　Mapping）を順に実行することにより、輝度画像を取得する。
　図８は、本開示の実施形態に係る第１のセンサモード及び第２のセンサモードに関連する機能例の一覧を示す図である。図８に示す例では、画像取得部１１０が画像を取得する際の露光回数は、第１のセンサモードである場合は「４回」、第２のセンサモードである場合は「１回」に設定されている。また、図８に示す例では、画像取得部１１０が画像を取得する際の露光時間は、それぞれのセンサモードに応じた時間が設定されている。
　また、図８に示すように、第１のセンサモードである場合、画像処理部１７２が距離画像を取得するために必要な機能として、ノイズ補正及び距離演算が設定されている。また、第２のセンサモードである場合、画像処理部１７２が輝度画像を取得するために必要な機能として、ノイズ補正、ダーク補正、トーンマッピング（Tone　Mapping）が設定されている。ノイズ補正は、それぞれのセンサモードに応じた設定が行われる。
　図８に示すように、画像取得部１１０及び画像処理部１７２に対して、第２のセンサモードに応じた設定を追加することにより、ＴＯＦ方式のカメラを用いて輝度画像の取得が可能となる。なお、機能追加は、ファームウェアの変更や、回路構成の変更により実装できる。
　認識処理部１７３は、画像取得部１１０により取得された画像に基づいて、被写体の認識処理を実行する。認識処理部１７３は、判定部１７１から取得するセンサモード設定信号が第１のセンサモードでの動作を指示する場合、画像処理部１７２により取得された距離画像に基づいて、被写体の認識処理を実行する。距離画像に基づく認識処理の結果は、比較的高精度な被写体の認識結果を必要とするアプリケーションプログラムの処理に用いられる。また、認識処理部１７３は、判定部１７１から取得するセンサモード設定信号が第２のセンサモードでの動作を指示する場合、画像処理部１７２により取得された輝度画像に基づいて、被写体の認識処理を実行する。輝度画像に基づく認識処理の結果は、高精度な被写体の認識結果を必要としないアプリケーションプログラムの処理に用いられる。
　アプリケーション実行部１７４は、認識処理部１７３による被写体の認識結果に基づいて、記憶部１６０に記憶されたアプリケーションプログラムの処理を実行する。アプリケーション実行部１７４が実行する処理は、例えば、ＡＲ環境やＶＲ環境で行われる３Ｄオブジェクト操作等がある。
＜＜３．処理手順例＞＞
　以下、図９を用いて、本開示の実施形態に係る情報処理装置１００の処理手順例について説明する。図９は、本開示の実施形態に係る情報処理装置の処理手順の一例を示すフローチャートである。図９に示す処理手順は、情報処理装置１００が有する制御部１７０により実行される。図９に示す処理手順は、情報処理装置１００の動作中、繰り返し実行される。
　図９に示すように、情報処理装置１００が第１のセンサモードを選択して起動した後（ステップＳ１０１）、判定部１７１は、照度取得部１５０により取得された照度が予め定められる閾値α未満であるか否かを判定する（ステップＳ１０２）。
　判定部１７１は、照度が閾値α未満であると判定した場合（ステップＳ１０２；Ｙｅｓ）、画像取得部１１０と、画像処理部１７２と、認識処理部１７３とに対して、第１のセンサモードで動作することを示すセンサモード設定信号を送る（ステップＳ１０３）。そして、判定部１７１は、前述のステップＳ１０２の処理手順に戻る。
　一方、判定部１７１は、照度が閾値α以上であると判定した場合（ステップＳ１０２；Ｎｏ）、画像取得部１１０と、画像処理部１７２と、認識処理部１７３とに対して、第２のセンサモードで動作することを示すセンサモード設定信号を送る（ステップＳ１０４）。そして、判定部１７１は、前述のステップＳ１０２の処理手順に戻る。
　図９に示す処理手順において、情報処理装置１００が第１のセンサモードで起動する例を説明したが、第２のセンサモードで起動してもよい。また、情報処理装置１００は、判定部１７１の判定結果が出るまでは、モード未定のままでもよい。この場合、情報処理装置１００は、センサモードが確定するまで画像の取得を行わないように制御してもよい。
＜＜４．変形例＞＞
　以下、上記実施形態に係る情報処理装置１００の変形例について説明する。
＜４－１．画像の輝度値に基づく動作モードの判定＞
　上記実施形態では、判定部１７１が、照度に基づいて、第１のセンサモード及び第２のセンサモードのうちのいずれのモードで動作するかを判定する例について説明したが、この例には特に限定される必要はない。例えば、判定部１７１は、画像の解析結果、すなわち距離画像や輝度画像を構成する画素の輝度値に基づいて、モード判定を行ってもよい。図１０は、変形例に係る判定部の動作の概要を示す図である。
　図１０に示すように、判定部１７１は、画像処理部１７２から距離画像又は輝度画像を取得する。そして、判定部１７１は、距離画像又は輝度画像を構成する画素の輝度値に基づいて、第１のセンサモード及び第２のセンサモードのうちのいずれのモードで動作するかを判定する。
　例えば、距離画像に含まれる画素のうち、輝度値が所定の閾値βを超える画素数が所定数未満である場合、判定部１７１は、画像処理部１７２により取得された画像が白とびを起こしている可能性が低く、距離情報を取得できる可能性が高いと判断する。そして、第１のセンサモードで動作することを示すセンサモード設定信号を、画像取得部１１０、画像処理部１７２、及び認識処理部１７３に送る。
　一方、例えば、距離画像に含まれる画素のうち、輝度値が所定の閾値βを超える画素数が所定数以上ある場合、判定部１７１は、画像処理部１７２により取得された画像が白とびを起こしている可能性が高く、距離情報を取得できる可能性が低いと判断する。そして、判定部１７１は、第２のセンサモードで動作することを示すセンサモード設定信号を、画像取得部１１０、画像処理部１７２、及び認識処理部１７３に送る。
＜４－２．電力残量及び認識結果の利用目的に基づく判定＞
　前述の＜４－１．＞において、判定部１７１は、情報処理装置１００の電力残量及びアプリケーションプログラムによる被写体の認識結果の利用目的をさらに考慮して、モード判定を行ってもよい。図１１は、変形例に係る判定部の動作の概要を示す図である。
　図１１に示すように、情報処理装置１００は、バッテリー残量測定部１７５を更に有する。バッテリー残量測定部１７５は、情報処理装置１００が備えるバッテリーにより供給可能な電力の残量を測定し、測定した電力の残量を判定部１７１に送る。また、アプリケーション実行部１７４は、被写体の認識結果の利用目的を示す利用目的情報を判定部１７１に送る。例えば、被写体がユーザの手である場合、利用目的情報は、ユーザの手の認識結果の利用する目的を特定する情報である。利用目的情報としては、比較的高精度な認識を必要とするレベルデザインがオープンワールドであるコンピュータゲームやコンピュータ支援設計、３次元オブジェクトの操作の他、高精度な認識を要求されないじゃんけんや手のジェスチャ認識などが例示される。
　判定部１７１は、距離画像又は輝度画像に含まれる画素の輝度値の他、バッテリー残量測定部１７５から取得する電力残量、及びアプリケーション実行部１７４から取得する利用目的情報に基づいて、第１のセンサモード及び第２のセンサモードのうちのいずれのモードで動作するかを判定する。例えば、判定部１７１は、利用目的情報から被写体について高精度な認識を必要とし、バッテリー残量が一定量以上残っている場合、画像処理部１７２により取得された距離画像から距離情報を取得できる可能性が高いことを条件として、第１のセンサモードで動作することを決定する。一方、判定部１７１は、利用目的情報から被写体について高精度な認識を要求されない場合や、バッテリー残量が一定量未満である場合、画像処理部１７２により取得された輝度画像が黒つぶれを起こしていないことを条件として、第２のセンサモードで動作することを決定する。
　以下、図１２を用いて、変形例に係る情報処理装置１００の処理手順例について説明する。図１２は、変形例に係る情報処理装置の処理手順の一例を示すフローチャートである。
　図１２に示すように、情報処理装置１００が第１のセンサモードで起動した後（ステップＳ２０１）、判定部１７１は、アプリケーション実行部１７４から取得する利用目的情報に基づいて、被写体について高精度な認識結果が必要とされるか否かを判定する（ステップＳ２０２）。
　判定部１７１は、被写体について高精度な認識結果が必要とされると判定した場合（ステップＳ２０２；Ｙｅｓ）、バッテリー残量測定部１７５から取得した電力残量に基づいて、電力残量が閾値β以上であるか否かを判定する（ステップＳ２０３）。
　判定部１７１は、電力残量が閾値β以上であると判定した場合（ステップＳ２０３；Ｙｅｓ）、画像処理部１７２から取得する距離画像において白とびの領域の面積が閾値δ未満であるか否かを判定する（ステップＳ２０４）。
　判定部１７１は、白とびの領域の面積が閾値δ未満であると判定した場合（ステップＳ２０４；Ｙｅｓ）、画像取得部１１０と、画像処理部１７２と、認識処理部１７３とに対して、第１のセンサモードで動作することを示すセンサモード設定信号を送る（ステップＳ２０５）。そして、判定部１７１は、前述のステップＳ２０２の処理手順に戻る。
　前述のステップＳ２０２において、判定部１７１は、被写体について高精度な認識結果が必要とされないと判定した場合（ステップＳ２０２；Ｎｏ）、画像処理部１７２から取得する輝度画像において黒つぶれ領域の面積が閾値ε未満であるか否かを判定する（ステップＳ２０６）。
　判定部１７１は、黒つぶれ領域の面積が閾値ε未満であると判定した場合（ステップＳ２０６；Ｙｅｓ）、画像取得部１１０と、画像処理部１７２と、認識処理部１７３とに対して、第２のセンサモードで動作することを示すセンサモード設定信号を送る（ステップＳ２０７）。そして、判定部１７１は、前述のステップＳ２０２の処理手順に戻る。
　前述のステップＳ２０３において、判定部１７１は、電力残量が閾値β未満であると判定した場合（ステップＳ２０３；Ｎｏ）、前述のステップＳ２０６の処理手順に移る。つまり、情報処理装置１００は、被写体について高精度な認識結果が必要とされると判定しても、一定量以上の電力残量がなければ、距離画像に基づく認識処理を実行しない。
　前述のステップＳ２０４において、判定部１７１は、白とびの領域の面積が閾値δ以上であると判定した場合（ステップＳ２０４；Ｎｏ）、前述のステップＳ２０７の処理手順に移る。つまり、情報処理装置１００は、被写体について高精度な認識結果が必要とされ、一定量以上の電力残量があっても、距離画像を取得できない可能性が高い場合、距離画像に基づく認識処理を実行しない。
　前述のステップＳ２０６において、判定部１７１は、黒つぶれ領域の面積が閾値ε以上であると判定した場合（ステップＳ２０６；Ｎｏ）、前述のステップＳ２０５の処理手順に移る。つまり、情報処理装置１００は、被写体について高精度な認識結果が必要とされず、電力残量が一定量未満であっても、輝度画像を取得できない可能性が高い場合、輝度画像に基づく認識処理を実行しない。
　なお、前述のステップＳ２０４の処理手順の実行に際して、判定部１７１は、センサ設定信号の送出前であっても、画像取得部１１０及び画像処理部１７２に対して距離画像の取得を指示し、ステップＳ２０４の判定のための距離画像を取得できる。また、判定部１７１は、前述のステップＳ２０６の処理手順の実行に際して、センサ設定信号の送出前であっても、画像取得部１１０及び画像処理部１７２に対して輝度画像の取得を指示し、ステップＳ２０６の判定のための輝度画像を取得できる。
　また、図１２に示す処理手順において、情報処理装置１００が第１のセンサモードで起動する例を説明したが、第２のセンサモードで起動してもよい。また、情報処理装置１００は、判定部１７１の判定結果が出るまでは、モード未定のままでもよい。
＜４－３．ハイブリット利用例（１）＞
　上記実施形態では、第１のセンサモード又は第２のセンサモードで取得された画像に基づいて認識処理を行う例について説明してきた。しかしながら、第１のセンサモードで取得される輝度画像は、被写体までの距離情報を含まない。このため、以下に述べる２点の不確定性があり、被写体の３次元認識性能が低い。以下では、被写体がユーザの手である場合の不確定性について例示する。
［不確定性の例１］：手のサイズが分からないので、大きい手が遠くにあるのか、小さい手が近くにあるのかの区別がつかない。
［不確定性の例２］：手の形状のバランスが分からないので、長い指が奥に折れているのか、小さい指が画面に対して立っているのかの区別がつかない。
　前述の輝度画像に基づく手の認識における不確定性は、例えば、距離画像に基づく処理結果を利用することにより、解消できる。これにより、第１のセンサモードで取得される被写体の輝度画像であっても、被写体の認識性能を向上できる。以下では、第１のセンサモード時に取得された距離画像に基づく処理結果を、第１のセンサモード時に取得された輝度画像の認識処理に利用するハイブリット利用例（１）について説明する。図１３は、ハイブリット利用例（１）に係る情報処理装置の機能構成の一例を示すブロック図である。
　図１３に示すように、情報処理装置２００は、画像取得部２１０と、入力部２２０と、出力部２３０と、通信部２４０と、照度取得部２５０と、記憶部２６０と、制御部２７０とを有する。画像取得部２１０は、図４に示す画像取得部１１０に対応し、入力部２２０は、図４に示す入力部１２０に対応し、出力部２３０は、図４に示す出力部１３０に対応し、通信部２４０は、図４に示す通信部１４０に対応する。また、記憶部２６０は、図４に示す記憶部１６０に対応し、制御部２７０は、図４に示す制御部１７０に対応する。図１３に示す情報処理装置２００は、図４に示す情報処理装置１００と基本的には同様の処理機能を有するが、以下に説明する点が図４に示す情報処理装置１００とは相違する。
　記憶部２６０は、３次元モデル記憶部２６１を有する。３次元モデル記憶部２６１は、被写体の特徴点位置で構成される３次元モデルのデータを記憶する。情報処理装置２００が複数のユーザにより利用される場合、３次元モデル記憶部２６１には、ユーザごとに３次元モデルのデータが記憶される。被写体がユーザの手である場合、３次元モデル記憶部２６１は、指先や関節などの特徴点の３次元位置を示すデータ（以下、「ハンドモデル」と称する。）を記憶する。
　制御部２７０は、判定部２７１と、画像処理部２７２と、認識処理部２７３と、アプリケーション実行部２７４とを有する。判定部２７１は、図４に示す判定部１７１に対応し、判定部１７１と同様の処理機能を有する。また、アプリケーション実行部２７４は、図４に示すアプリケーション実行部１７４に対応し、アプリケーション実行部１７４と同様の処理機能を有する。
　画像処理部２７２は、図４に示す画像処理部１７２と同様の処理機能を有する。また、画像処理部２７２は、第１のセンサモード時に取得した距離画像に基づいて、ハンドモデルを生成する。画像処理部２７２は、生成したハンドモデルのデータをユーザに関連付けて記憶部２６０に格納する。
　認識処理部２７３は、画像処理部２７２により取得された輝度画像に基づいて推定された被写体の相対的な特徴点位置と、測定部による測定処理の結果に基づいて予め生成された被写体の３次元モデルと基づいて、被写体の絶対的な特徴点位置を取得する。輝度画像は、第２の画像の一例である。図１４は、ハイブリット利用例（１）の概要を示す図である。図１４を用いて、情報処理装置２００の利用者の手が被写体である場合のハイブリット利用例（１）について説明する。
　図１４に示すように、認識処理部２７３は、画像処理部２７２により取得された輝度画像Ｇｂを、学習済みモデルＭＸ１に入力する。学習済みモデルＭＸ１は、被写体であるユーザの手を撮像した輝度画像Ｇｂを入力し、カメラの位置に対してユーザの手の特徴点の相対的な位置関係を正しく推論するように機械学習された学習済みモデルである。学習済みモデルＭＸ１を生成するための学習アルゴリズムとして、ＣＮＮ（Convolutional　Neural　Network）などを利用できる。学習アルゴリズムは、ＣＮＮに特に限定される必要はなく、被写体の特徴点の相対的な位置関係を正しく推論できるモデルを生成できれば、どのような学習アルゴリズムを用いてもよい。ＣＮＮの場合、手の輝度画像と手の特徴点の２次元位置座標のペアを大量に用意し、輝度画像から手の２次元位置座標を出力するタスクとして一般的な深層学習の処理を実行することで、学習済みモデルＭＸ１を生成することができる。
　認識処理部２７３は、学習済みモデルＭＸ１の出力から、被写体であるユーザの手の相対的な特徴点位置の推論結果ＣＨＰ１を取得する。なお、カメラの位置に対して相対的な特徴点位置とは、２次元的に特定される特徴点の位置を示し、画像取得部２１０と被写体（ユーザの手）の特徴点までの距離が不定であることを意味する。続いて、認識処理部２７３は、３次元モデル記憶部２６１から、情報処理装置２００を利用中であるユーザに関連付けられたハンドモデルＨＭを取得する。
　認識処理部２７３は、学習済みモデルＭＸ１から取得したユーザの手の相対的な特徴点位置の推論結果ＣＨＰ１と、被写体であるユーザの手に対応するハンドモデルＨＭとを学習済みモデルＭＹ１に入力する。学習済みモデルＭＹ１は、ユーザの手の相対的な特徴点位置の推論結果ＣＨＰ１と、対応するハンドモデルＨＭとを入力し、カメラの位置に対してユーザの手の特徴点の絶対的な位置関係を正しく推論するように機械学習された学習済みモデルである。学習済みモデルＭＹ１を生成するための学習アルゴリズムとして、ＣＮＮ（Convolutional　Neural　Network）などを利用できる。学習アルゴリズムは、ＣＮＮに特に限定される必要はなく、被写体の特徴点の絶対的な位置関係を正しく推論できるモデルを生成できれば、どのような学習アルゴリズムを用いてもよい。このように、認識処理部２７３は、第１のセンサモードで取得される輝度画像に含まれる被写体の認識時に、被写体に対応する３次元モデルを利用することにより、輝度画像に含まれる被写体の認識精度を向上できる。ＣＮＮの場合、ハンドモデルＨＭの関節を任意の角度に曲げて手の特徴点の３次元座標を大量に生成し、その奥行き情報を除去して得られる２次元座標とハンドモデルＨＭを入力として、手の特徴点の３次元座標を出力するタスクとして一般的な深層学習の処理を実行することで、学習済みモデルＭＹ１を生成することができる。
　認識処理部２７３は、学習済みモデルＭＹ１の出力から、被写体であるユーザの手の絶対的な特徴点位置ＡＨＰ１を取得する。なお、カメラの位置に対して絶対的な特徴点位置とは、３次元的に特定される特徴点の位置を示し、画像取得部２１０と被写体（ユーザの手）の特徴点までの距離が確定していることを意味する。そして、認識処理部２７３は、被写体であるユーザの手の絶対的な特徴点位置ＡＨＰ１をアプリケーション実行部２７４に送る。アプリケーション実行部２７４は、ユーザの手の特徴点位置ＡＨＰ１に基づいて、アプリケーションプログラムの処理を実行する。
　上述してきたハイブリット利用例（１）は、前述の＜＜４．変形例＞＞においても同様の適用できる。
＜４－４．ハイブリット利用例（２）＞
　以下、被写体の認識時に、第１のセンサモード時に取得された距離画像（第１の画像の一例）と、第２のセンサモード時に取得された輝度画像（第２の画像の一例）とを利用するハイブリット利用例（２）について説明する。図１５は、ハイブリット利用例（２）に係る情報処理装置の機能構成の一例を示すブロック図である。
　図１５に示すように、情報処理装置３００は、画像取得部３１０と、入力部３２０と、出力部３３０と、通信部３４０と、照度取得部３５０と、記憶部３６０と、制御部３７０とを有する。画像取得部３１０は、図４に示す画像取得部１１０に対応し、入力部３２０は、図４に示す入力部１２０に対応し、出力部３３０は、図４に示す出力部１３０に対応し、通信部３４０は、図４に示す通信部１４０に対応する。また、記憶部３６０は、図４に示す記憶部１６０に対応し、制御部３７０は、図４に示す制御部１７０に対応する。図１５に示す情報処理装置３００は、図４に示す情報処理装置１００と基本的には同様の処理機能を有するが、以下に説明する点が図４に示す情報処理装置１００とは相違する。
　記憶部３６０は、距離画像記憶部３６１と輝度画像記憶部３６２とを有する。距離画像記憶部３６１は、タイムスタンプに関連付けて、第１のセンサモード時に画像処理部２７２により取得された距離画像を記憶する。輝度画像記憶部３６２は、タイムスタンプに関連付けて、第２のセンサモード時に画像処理部２７２により取得された輝度画像を記憶する。
　制御部３７０は、判定部３７１と、画像処理部３７２と、認識処理部３７３と、アプリケーション実行部３７４とを有する。判定部３７１は、図４に示す判定部１７１に対応し、判定部１７１と同様の処理機能を有する。画像処理部３７２は、図４に示す画像処理部１７２に対応し、画像処理部１７２と同様の処理機能を有する。また、アプリケーション実行部３７４は、図４に示すアプリケーション実行部１７４に対応し、アプリケーション実行部１７４と同様の処理機能を有する。
　認識処理部３７３は、画像処理部３７２により取得された輝度画像に基づいて推定された被写体の相対的な特徴点位置と、画像処理部３７２により取得された距離画像と基づいて、被写体の絶対的な特徴点位置を取得する。図１６は、ハイブリット利用例（２）の概要を示す図である。図１６を用いて、情報処理装置２００のユーザの手が被写体である場合のハイブリット利用例（２）について説明する。
　図１６に示すように、認識処理部３７３は、画像処理部３７２により取得された輝度画像Ｇｂを、学習済みモデルＭＸ２に入力する。学習済みモデルＭＸ２は、被写体であるユーザの手を撮像した輝度画像Ｇｂを入力し、カメラに対してユーザの手の特徴点の相対的な位置関係を正しく推論するように機械学習された学習済みモデルであり、図１４に示す学習済みモデルＭＸ１に対応する。
　続いて、認識処理部３７３は、学習済みモデルＭＸ２の出力から、被写体であるユーザの手の相対的な特徴点位置の推論結果ＣＨＰ２を取得する。続いて、認識処理部３７３は、距離画像記憶部３６１に記憶された距離画像の中から、学習済みモデルＭＸ２に入力した輝度画像Ｇｂが取得された時刻の直近で取得された距離画像Ｇｄを取得する。認識処理部３７３は、例えば、輝度画像Ｇｂに関連付けられたタイムスタンプと、距離画像Ｇｄに関連付けられたタイムスタンプとに基づいて、輝度画像Ｇｂの取得された時刻と時間的に最も近い時刻に取得された距離画像Ｇｄを取得する。そして、認識処理部３７３は、取得した距離画像Ｇｄから、破綻なく正常に取得されているユーザの手の特徴点の距離情報（例えば、図１６の黒い丸印で示す点の距離情報）を取得する。
　認識処理部３７３は、被写体であるユーザの手の相対的な特徴点位置の推論結果ＣＨＰ２と、距離画像Ｇｄから取得したユーザの手の特徴点の距離情報とを学習済みモデルＭＹ２に入力する。学習済みモデルＭＹ２は、輝度画像Ｇｂから推論された被写体（ユーザの手）の相対的な特徴点位置の推論結果ＣＨＰ２と、対応する距離情報から取得された（ユーザの手）の特徴点の距離情報とを入力し、カメラに対して被写体（ユーザの手）の絶対的な特徴点位置を正しく推論するように機械学習された学習済みモデルである。学習済みモデルＭＹ２を生成するための学習アルゴリズムとして、ＣＮＮ（Convolutional　Neural　Network）などを利用できる。学習アルゴリズムは、ＣＮＮに特に限定される必要はなく、被写体の特徴点の絶対的な位置関係を正しく推論できるモデルを生成できれば、どのような学習アルゴリズムを用いてもよい。このように、認識処理部３７３は、被写体の認識時に、輝度画像から得られる特徴点位置と、対応する距離画像から得られる距離情報とを相互補完的に利用することにより、距離画像において欠損した距離情報を推定し、絶対的な特徴点位置を取得できる。これにより、輝度画像に基づく認識処理の認識性能を向上できる。
　認識処理部３７３は、学習済みモデルＭＹ２の出力から、被写体であるユーザの手の絶対的な特徴点位置ＡＨＰ２を取得する。そして、認識処理部３７３は、被写体であるユーザの手の絶対的な特徴点位置ＡＨＰ２をアプリケーション実行部３７４に送る。アプリケーション実行部３７４は、ユーザの手の特徴点位置ＡＨＰ２に基づいて、アプリケーションプログラムの処理を実行する。
　上述してきたハイブリット利用例（２）は、前述の＜＜４．変形例＞＞においても同様の適用できる。
＜＜５．その他＞＞
　本開示の実施形態及び変形例に係る情報処理装置１００，２００，３００は、専用のコンピュータシステムで実現してもよいし、汎用のコンピュータシステムで実現してもよい。
　また、本開示の実施形態及び変形例に係る情報処理装置１００，２００，３００により実行される情報処理方法を実現するための各種プログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体等に格納して配布してもよい。このとき、例えば、ＡＲグラス３０は、各種プログラムをコンピュータにインストールして実行することにより、本開示の実施形態及び変形例に係る情報処理方法を実現する。
　また、本開示の実施形態及び変形例に係る情報処理装置１００，２００，３００により実行される報処理方法を実現するための各種プログラムを、インターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、本開示の実施形態及び変形例に係る情報処理装置１００，２００，３００により実行される情報処理方法を実現するための各種プログラムにより提供される機能を、ＯＳとアプリケーションプログラムとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
　また、本開示の実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、本開示の実施形態に係る及び変形例に係る情報処理装置１００，２００，３００の各構成要素（図４、図１３、図１５参照）は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
　また、本開示の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、本開示の実施形態に係るフローチャートに示された各ステップは、適宜順序を変更することが可能である。
＜＜６．ハードウェア構成＞＞
　図１７を用いて、本開示の実施形態及び変形例に係る情報処理装置１００，２００，３００を実現可能なコンピュータのハードウェア構成例について説明する。図１７は、本開示の情報処理装置を実現可能なコンピュータのハードウェア構成例を示すブロック図である。図１７に示すコンピュータ１０００として、例えば、スマートフォンやタブレット、ヘッドマウントディスプレイなどが例示される。なお、図１７は、コンピュータの一例を示すものであり、図１７に示す構成には限定される必要はない。
　図１７に示すように、コンピュータ１０００は、カメラ１００１と、通信モジュール１００２と、ＣＰＵ１００３と、ディスプレイ１００４と、ＧＰＳ（Global　Posting　System）モジュール１００５と、メインメモリ１００６と、フラッシュメモリ１００７と、オーディオＩ／Ｆ（インターフェイス）１００８と、バッテリーＩ／Ｆ（インターフェイス）１００９とを備える。コンピュータ１０００が有する各部は、バス１０１０により相互に接続されている。
　カメラ１００１は、撮像装置であり、例えば、ＴＯＦ方式のカメラである。前述の画像取得部１１０、２１０、３１０の機能は、カメラ１００１により実現できる。
　通信モジュール１００２は、通信デバイスである。例えば、有線又は無線ＬＡＮ（Local　Area　Network）、ＬＴＥ（Long　Term　Evolution）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Wireless　USB）用の通信カード等である。また、通信装置３１００は、光通信用のルータ、又は各種通信用モデム等であってもよい。上記実施形態等における通信部１４０、通信部２４０、及び通信部２４０の機能は、通信モジュール１００２により実現される。
　ＣＰＵ１００３は、例えば、演算処理装置又は制御装置として機能し、フラッシュメモリ１００７に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。フラッシュメモリ１００７に記憶される各種プログラムは、上記実施形態等における情報処理装置１００，２００，３００の情報処理を実現するための各種機能を提供するプログラムを含む。なお、コンピュータ１０００は、ＣＰＵ１００３の代わりには、ＳｏＣ（System-on-a-Chip）を実装してもよい。
　ディスプレイ１００４は、表示装置であり、ＬＣＤ（Liquid　Crystal　Display）、有機ＥＬ（Electro-Luminescence）ディスプレイなどにより実装される。ディスプレイ１００４は、タッチスクリーンを備えたタッチスクリーンディスプレイにより実装されてもよい。
　ＧＰＳモジュール１００５は、ＧＰＳ衛星から発信されるＧＰＳ信号を受信する受信機である。ＧＰＳモジュール１００５は、受信したＧＰＳ信号をＣＰＵ１００３に送出し、ＧＰＳモジュール１００５によるコンピュータ１０００の現在位置の演算処理をサポートする。
　メインメモリ１００６は、ＲＡＭなどにより実装される主記憶装置であり、例えば、ＣＰＵ１００３に読み込まれるプログラムや、ＣＰＵ３０１０に読み込まれるプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。フラッシュメモリ１００７は、補助記憶装置であり、ＣＰＵ１００３に読み込まれるプログラムや演算に用いるデータ等を格納する。上記実施形態等における記憶部１６０、２６０、３６０の機能は、メインメモリ１００６やフラッシュメモリ１００７により実現される。
　オーディオＩ／Ｆ（インターフェイス）１００８は、マイクやスピーカなどの音響装置とバス１０１０とを接続する。バッテリーＩ／Ｆ（インターフェイス）１００９は、バッテリーと、コンピュータ１０００の各部への電源供給ラインとを接続する。
　前述のＣＰＵ１００３、メインメモリ１００６、及びフラッシュメモリ１００７は、ソフトウェア（フラッシュメモリ１００７等に記憶される各種プログラム）との協働により、上記実施形態における情報処理装置１００の制御部１７０が備える各部（判定部１７１～アプリケーション実行部１７４）の各種機能を実現する。同様に、前述のＣＰＵ１００３、メインメモリ１００６、及びフラッシュメモリ１００７は、ソフトウェア（フラッシュメモリ１００７等に記憶される各種プログラム）との協働により、上記変形例における情報処理装置２００の制御部２７０が備える各部（判定部２７１～アプリケーション実行部２７４）の各種機能を実現する。同様に、前述のＣＰＵ１００３、メインメモリ１００６、及びフラッシュメモリ１００７は、ソフトウェア（フラッシュメモリ１００７等に記憶される各種プログラム）との協働により、上記変形例における情報処理装置３００の制御部３７０が備える各部（判定部３７１～アプリケーション実行部３７４）の各種機能を実現する。ＣＰＵ１００３は、情報処理装置１００，２００，３００の情報処理を実現するための各種プログラムを実行し、カメラ１００１や各種インターフェイス介して取得するデータを用いて演算処理等を行い、情報処理装置１００，２００，３００の情報処理を実行する。
＜＜７．むすび＞＞
　本開示の実施形態に係る情報処理装置は、画像取得部と、測定部と、認識処理部とを有する。画像取得部は、受光部で外光を受光することで画像を取得する。測定部は、発光部から赤外線が照射されたことに応じて画像取得部によって取得された第１の画像に基づいて、被写体までの距離を測定する。認識処理部は、発光部から赤外線が照射されずに外光を受光した画像取得部によって取得された第２の画像に基づいて、被写体の認識処理を行う。
　このようなことから、情報処理装置は、外光の影響が強い環境下において十分な認識結果を得ることができ、ＴＯＦ方式のカメラを用いた画像処理を改善できる。
　また、情報処理装置は、測定部による測定処理を行うか否かを判定する判定部をさらに有する。測定部は、判定部によって測定処理を行うと判定された場合に、測定処理を行う。すなわち、測定部として機能する画像処理部は、判定部から取得するセンサモード設定信号が第１のセンサモードでの動作を指示する場合、発光部から赤外線が照射されたことに応じて画像取得部によって取得された画像（位相画像）に基づいて、距離画像を取得し、被写体までの距離を測定する。これにより、情報処理装置は、測定処理を正常に行える場合に距離画像の取得を実行できる。
　また、判定部は、受光部で受光した外光の照度に基づいて、測定処理を行うか否かを判定する。これにより、情報処理装置は、ＴＯＦ方式のカメラの外光耐性を考慮して、距離画像を取得するか否かを判断できる。
　また、判定部は、画像取得部により取得された画像の解析結果に基づいて、測定処理を行うか否かを判定する。これにより、情報処理装置は、照度を測定することなく、ＴＯＦ方式のカメラの外光耐性を考慮して、距離画像を取得するか否かを判断できる。
　また、判定部は、バッテリーにより供給可能な電力の残量に基づいて、前記測定処理を行うか否かを判定する。これにより、情報処理装置は、被写体の認識処理に必要な電力を考慮して、距離画像を取得するか否かを判断できる。
　また、判定部は、アプリケーションによる被写体の認識処理の結果の利用目的に基づいて、測定処理を行うか否かを判定する。これにより、情報処理装置は、被写体の認識処理に必要とされる認識精度を考慮して、距離画像を取得するか否かを判断できる。
　また、認識処理部は、判定部によって測定処理を行うと判定された場合に、第１の画像に基づいて認識処理を行い、判定部によって測定処理を行わないと判定された場合に、第２の画像に基づいて認識処理を行う。これにより、情報処理装置は、第１の画像（距離画像）に基づく認識処理と、第２の画像（輝度画像）に基づく認識処理を、状況に応じて使い分けることが可能となる。
　また、認識処理部は、第２の画像に基づいて推定された被写体の相対的な特徴点位置と、測定部による測定処理の結果に基づいて予め生成された被写体の３次元モデルと基づいて、被写体の絶対的な特徴点位置を取得する。これにより、第２の画像（輝度画像）に基づく認識処理の認識性能を向上できる。
　また、認識処理部は、第２の画像に基づいて推定された被写体の特徴点位置と、第２の画像が取得された時刻の直近で取得された第１の画像についての測定部による測定処理の結果から得られる被写体の特徴点までの距離とに基づいて、被写体の絶対的な特徴点位置を取得する。これにより、第２の画像（輝度画像）に基づく認識処理の認識性能を向上できる。
　以上、本開示の実施形態及び変形例について説明したが、本開示の技術的範囲は、上述の実施形態及び変形例に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示の技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者にとって明らかな他の効果を奏しうる。
　なお、本開示の技術は、本開示の技術的範囲に属するものとして、以下のような構成もとることができる。
（１）
　受光部で外光を受光することで画像を取得する画像取得部と、
　発光部から赤外線が照射されたことに応じて前記画像取得部によって取得された画像に基づく第１の画像を用いて、被写体までの距離を測定する測定部と、
　前記発光部から赤外線が照射されずに外光を受光した前記画像取得部によって取得された画像に基づく第２の画像を用いて、被写体の認識処理を行う認識処理部と、
　を有する情報処理装置。
（２）
　前記測定部による測定処理を行うか否かを判定する判定部をさらに有し、
　前記測定部は、
　前記判定部によって測定処理を行うと判定された場合に、前記測定処理を行う、
　前記（１）に記載の情報処理装置。
（３）
　前記判定部は、
　前記受光部で受光した外光の照度に基づいて、前記測定処理を行うか否かを判定する、
　前記（２）に記載の情報処理装置。
（４）
　前記判定部は、
　前記第１の画像又は前記第２の画像の解析結果に基づいて、前記測定処理を行うか否かを判定する、
　前記（２）に記載の情報処理装置。
（５）
　前記判定部は、
　バッテリーにより供給可能な電力の残量に基づいて、前記測定処理を行うか否かを判定する、
　前記（４）に記載の情報処理装置。
（６）
　前記判定部は、
　アプリケーションによる前記認識処理の結果の利用目的に基づいて、前記測定処理を行うか否かを判定する、
　前記（４）又は前記（５）に記載の情報処理装置。
（７）
　前記認識処理部は、
　前記判定部によって測定処理を行うと判定された場合に、前記第１の画像に基づいて前記認識処理を行い、前記判定部によって測定処理を行わないと判定された場合に、前記第２の画像に基づいて前記認識処理を行う、
　前記（２）～前記（６）のいずれか１つに記載の情報処理装置。
（８）
　前記認識処理部は、
　前記第２の画像に基づいて推定された被写体の相対的な特徴点位置と、前記測定部による測定処理の結果に基づいて予め生成された被写体の３次元モデルと基づいて、被写体の絶対的な特徴点位置を取得する、
　前記（１）に記載の情報処理装置。
（９）
　前記認識処理部は、
　前記第２の画像に基づいて推定された被写体の特徴点位置と、前記第２の画像が取得された時刻の直近で取得された前記第１の画像についての前記測定部による測定処理の結果から得られる被写体の特徴点までの距離とに基づいて、被写体の絶対的な特徴点位置を取得する、
　前記（１）に記載の情報処理装置。
（１０）
　プロセッサが、
　外光を受光することで画像を取得し、
　赤外線が照射されたことに応じて取得された画像に基づく第１の画像を用いて、被写体までの距離を測定し、
　赤外線が照射されずに外光を受光して取得された画像に基づく第２の画像を用いて、被写体の認識処理を行う、
　情報処理方法。
（１１）
　プロセッサに、
　外光を受光することで画像を取得させ、
　赤外線が照射されたことに応じて取得された画像に基づく第１の画像を用いて、被写体までの距離を測定させ、
　赤外線が照射されずに外光を受光して取得された画像に基づく第２の画像を用いて、被写体の認識処理を行わせる、
　情報処理プログラム。
１００、２００、３００　情報処理装置
１１０、２１０、３１０　画像取得部
１１１、２１１、３１１　発光部
１１２、２１２、３１２　受光部
１２０、２２０、３２０　入力部
１３０、２３０、３３０　出力部
１４０、２４０、３４０　通信部
１５０、２５０、３５０　照度取得部
１６０、２６０、３６０　記憶部
１７０、２７０、３７０　制御部
１７１、２７１、３７１　判定部
１７２、２７２、３７２　画像処理部
１７３、２７３、３７３　認識処理部
１７４、２７４、３７４　アプリケーション実行部
２６１　３次元モデル記憶部
３６１　距離画像記憶部
３６２　輝度画像記憶部

Claims (11)

  1. 　受光部で外光を受光することで画像を取得する画像取得部と、
    　発光部から赤外線が照射されたことに応じて前記画像取得部によって取得された画像に基づく第１の画像を用いて、被写体までの距離を測定する測定部と、
    　前記発光部から赤外線が照射されずに外光を受光した前記画像取得部によって取得された画像に基づく第２の画像を用いて、被写体の認識処理を行う認識処理部と、
    　を有する情報処理装置。
  2. 　前記測定部による測定処理を行うか否かを判定する判定部をさらに有し、
    　前記測定部は、
    　前記判定部によって測定処理を行うと判定された場合に、前記測定処理を行う、
    　請求項１に記載の情報処理装置。
  3. 　前記判定部は、
    　前記受光部で受光した外光の照度に基づいて、前記測定処理を行うか否かを判定する、
    　請求項２に記載の情報処理装置。
  4. 　前記判定部は、
    　前記第１の画像又は前記第２の画像の解析結果に基づいて、前記測定処理を行うか否かを判定する、
    　請求項２に記載の情報処理装置。
  5. 　前記判定部は、
    　バッテリーにより供給可能な電力の残量に基づいて、前記測定処理を行うか否かを判定する、
    　請求項４に記載の情報処理装置。
  6. 　前記判定部は、
    　アプリケーションによる前記認識処理の結果の利用目的に基づいて、前記測定処理を行うか否かを判定する、
    　請求項５に記載の情報処理装置。
  7. 　前記認識処理部は、
    　前記判定部によって測定処理を行うと判定された場合に、前記第１の画像に基づいて前記認識処理を行い、前記判定部によって測定処理を行わないと判定された場合に、前記第２の画像に基づいて前記認識処理を行う、
    　請求項２に記載の情報処理装置。
  8. 　前記認識処理部は、
    　前記第２の画像に基づいて推定された被写体の相対的な特徴点位置と、前記測定部による測定処理の結果に基づいて予め生成された被写体の３次元モデルと基づいて、被写体の絶対的な特徴点位置を取得する、
    　請求項１に記載の情報処理装置。
  9. 　前記認識処理部は、
    　前記第２の画像に基づいて推定された被写体の特徴点位置と、前記第２の画像が取得された時刻の直近で取得された前記第１の画像についての前記測定部による測定処理の結果から得られる被写体の特徴点までの距離とに基づいて、被写体の絶対的な特徴点位置を取得する、
    　請求項１に記載の情報処理装置。
  10. 　プロセッサが、
    　外光を受光することで画像を取得し、
    　赤外線が照射されたことに応じて取得された画像に基づく第１の画像を用いて、被写体までの距離を測定し、
    　赤外線が照射されずに外光を受光して取得された画像に基づく第２の画像を用いて、被写体の認識処理を行う、
    　情報処理方法。
  11. 　プロセッサに、
    　外光を受光することで画像を取得させ、
    　赤外線が照射されたことに応じて取得された画像に基づく第１の画像を用いて、被写体までの距離を測定させ、
    　赤外線が照射されずに外光を受光して取得された画像に基づく第２の画像を用いて、被写体の認識処理を行わせる、
    　情報処理プログラム。
PCT/JP2021/028212 2020-08-17 2021-07-29 情報処理装置、情報処理方法及び情報処理プログラム WO2022038991A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/006,925 US20230290113A1 (en) 2020-08-17 2021-07-29 Information processing device, information processing method, and information processing program
EP21858139.5A EP4198570A4 (en) 2020-08-17 2021-07-29 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-137410 2020-08-17
JP2020137410 2020-08-17

Publications (1)

Publication Number Publication Date
WO2022038991A1 true WO2022038991A1 (ja) 2022-02-24

Family

ID=80350350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028212 WO2022038991A1 (ja) 2020-08-17 2021-07-29 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20230290113A1 (ja)
EP (1) EP4198570A4 (ja)
WO (1) WO2022038991A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220210311A1 (en) * 2019-09-30 2022-06-30 Fujifilm Corporation Processing apparatus, electronic apparatus, processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090010633A1 (en) * 2007-07-06 2009-01-08 Flir Systems Ab Camera and method for use with camera
WO2015011869A1 (ja) * 2013-07-23 2015-01-29 パナソニックＩｐマネジメント株式会社 撮像装置及びその駆動方法
WO2015104870A1 (ja) * 2014-01-08 2015-07-16 三菱電機株式会社 画像生成装置
WO2017150246A1 (ja) 2016-02-29 2017-09-08 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JP2018119942A (ja) * 2017-01-20 2018-08-02 キヤノン株式会社 撮像装置及びその監視方法並びにプログラム
JP2018156408A (ja) * 2017-03-17 2018-10-04 マクセル株式会社 画像認識撮像装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090010633A1 (en) * 2007-07-06 2009-01-08 Flir Systems Ab Camera and method for use with camera
WO2015011869A1 (ja) * 2013-07-23 2015-01-29 パナソニックＩｐマネジメント株式会社 撮像装置及びその駆動方法
WO2015104870A1 (ja) * 2014-01-08 2015-07-16 三菱電機株式会社 画像生成装置
WO2017150246A1 (ja) 2016-02-29 2017-09-08 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JP2018119942A (ja) * 2017-01-20 2018-08-02 キヤノン株式会社 撮像装置及びその監視方法並びにプログラム
JP2018156408A (ja) * 2017-03-17 2018-10-04 マクセル株式会社 画像認識撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4198570A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220210311A1 (en) * 2019-09-30 2022-06-30 Fujifilm Corporation Processing apparatus, electronic apparatus, processing method, and program
US11979666B2 (en) * 2019-09-30 2024-05-07 Fujifilm Corporation Processing apparatus, electronic apparatus, processing method, and program

Also Published As

Publication number Publication date
EP4198570A1 (en) 2023-06-21
US20230290113A1 (en) 2023-09-14
EP4198570A4 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
US11004223B2 (en) Method and device for obtaining image, and recording medium thereof
US10217290B2 (en) Registration between actual mobile device position and environmental model
WO2020010848A1 (zh) 控制方法、微处理器、计算机可读存储介质及计算机设备
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
RU2635836C2 (ru) Способ и устройство для управления вспышкой и терминал
US20170059305A1 (en) Active illumination for enhanced depth map generation
US20140247280A1 (en) Federated mobile device positioning
WO2022042566A1 (zh) 基于标记点的三维手势的识别方法、装置及设备
CN109584375B (zh) 一种物体信息显示方法及移动终端
JP2016524265A (ja) 光源の特性を決定する方法及びモバイルデバイス
JP2020042772A (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
US9921054B2 (en) Shooting method for three dimensional modeling and electronic device supporting the same
WO2022038991A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20130117303A (ko) 증강 현실 이미지를 디스플레이하기 위한 방법 및 그 전자 장치
KR20220035250A (ko) 공동 환경 재구성 및 카메라 교정
JP2015024480A (ja) 情報処理装置、制御方法、及びプログラム
CN113487662B (zh) 画面显示方法、装置、电子设备和存储介质
CN113545028A (zh) 用于面部认证的增益控制
CN109242782B (zh) 噪点处理方法及装置
US20160063711A1 (en) Non-transitory storage medium encoded with computer readable image processing program, information processing system, information processing apparatus, and image processing method
CN115880448B (zh) 基于双目成像的三维测量方法及装置
JP6368593B2 (ja) 画像処理プログラム、情報処理システム、画像処理方法
JP6390163B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2021199225A1 (ja) 情報処理システム、センサシステム、情報処理方法、及びプログラム
CN114115661A (zh) 一种光疗装置的发光控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858139

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021858139

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021858139

Country of ref document: EP

Effective date: 20230317

NENP Non-entry into the national phase

Ref country code: JP