WO2021124709A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2021124709A1
WO2021124709A1 PCT/JP2020/041021 JP2020041021W WO2021124709A1 WO 2021124709 A1 WO2021124709 A1 WO 2021124709A1 JP 2020041021 W JP2020041021 W JP 2020041021W WO 2021124709 A1 WO2021124709 A1 WO 2021124709A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image processing
light emitting
image
detection result
Prior art date
Application number
PCT/JP2020/041021
Other languages
English (en)
French (fr)
Inventor
一ノ瀬　勉
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/757,083 priority Critical patent/US12075022B2/en
Priority to JP2021565356A priority patent/JPWO2021124709A1/ja
Publication of WO2021124709A1 publication Critical patent/WO2021124709A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program.
  • Various technologies for displaying stereoscopic images on a display have been proposed. Among them, a proposal has been made regarding a three-dimensional display with the naked eye that does not use tools such as eyeglasses.
  • a display related to autostereoscopic display there is a Light Field display represented by the lenticular method.
  • Patent Document 1 describes that a feature point of an image is detected and the feature point is tracked as a line-of-sight position.
  • the present disclosure provides an image processing device, an image processing method, and an image processing program capable of appropriately tracking the viewpoint position of the user.
  • the image processing apparatus of one form according to the present disclosure is based on a distance value between a light emitting unit that irradiates an object with near infrared light and the object and the light emitting unit.
  • the light emitting control unit for controlling the amount of light emitted from the light emitting unit and the detecting unit for detecting feature points based on the captured image of the object irradiated with the near infrared light are provided.
  • FIG. 1 is a diagram showing an external example of the information processing device 1 according to the present embodiment.
  • the information processing device 1 is, for example, about the same size as a notebook personal computer, but can be made smaller or larger.
  • the information processing device 1 has a base 2 and a display 3 erected upward from the base 2.
  • the information processing device 1 has a camera 4 on the upper side of the display 3, and is configured so that the camera 4 can take an image of a user located in front of the display 3. Further, the information processing device 1 is provided with a near-infrared light emitting device 5 that irradiates the user with near-infrared light.
  • the information processing device 1 can display, for example, a stereoscopic image by a lenticular method on a display 3.
  • the viewpoint position of a naked-eye user who does not use glasses for stereoscopic display or the like is detected by using an image captured by the camera 4.
  • Images for the right eye and left eye (parallax image) are generated by the light rays focused on the left and right viewpoint positions, and the generated images are displayed on the display 3 on which the lenticular lens is mounted.
  • the user can view the stereoscopic image without using glasses, a HUD (Head Up Display), or the like.
  • FIG. 2 is a block diagram showing a system configuration example of the information processing apparatus 1 according to the present embodiment.
  • the information processing device 1 generally includes a tracking device 100 and a parallax image processing unit 20.
  • the tracking device 100 outputs information indicating the user's viewpoint position, for example, two-dimensional coordinates of the viewpoint position to the parallax image processing unit 20 in the subsequent stage. Details of the configuration of the tracking device 100, operation examples, and the like will be described later.
  • the tracking device 100 is an example of an “image processing device”.
  • the parallax image processing unit 20 has a spatial viewpoint coordinate generation unit 21, a parallax image generation unit 22, and a parallax image display unit 23.
  • the spatial viewpoint coordinate generation unit 21 converts the two-dimensional coordinates indicating the viewpoint position output from the tracking device 100 into the viewpoint coordinates in the spatial position by applying a known method, and generates the viewpoint coordinates in space.
  • the parallax image generation unit 22 generates a stereoscopic image by generating light rays (images) corresponding to the viewpoint coordinates in space.
  • the parallax image display unit 23 is a device that presents a stereoscopic image by continuously displaying the parallax image generated by the parallax image generation unit 22, and corresponds to the display 3 described above.
  • FIG. 3 is a block diagram showing a configuration example of the tracking device according to the present embodiment.
  • the tracking device 100 includes a distance measuring unit 110, a light emitting control unit 120, a wavelength control unit 130, a near infrared light emitting unit 140, a wavelength selection unit 140a, and an image sensor 150. It has a center of gravity detection unit 150a, a face detection unit 160, and a selection unit 170. Although not shown, it is assumed that the user is located in front of the near-infrared light emitting unit 140.
  • the distance measuring unit 110, the light emitting control unit 120, the wavelength control unit 130, the near infrared light emitting unit 140, the wavelength selection unit 140a, the image sensor 150, and the center of gravity detection unit 150a are used.
  • An example is shown in which the face detection unit 160 and the selection unit 170 are included in the tracking device 100, but the present invention is not limited thereto.
  • the distance measuring unit 110, the light emitting control unit 120, and the near infrared light emitting unit 140 may be included in other units.
  • the ranging unit 110 is a processing unit that calculates the distance value between the near-infrared light emitting unit 140 and the object (user).
  • the distance measuring unit 110 outputs the distance value to the light emission control unit 120.
  • the distance measuring unit 110 calculates a distance value based on the face detection result of the face detection unit 160.
  • the face detection result includes the coordinates of the user's left eye and the coordinates of the user's right eye.
  • the distance between the coordinates of the left eye and the coordinates of the right eye is referred to as "inter-eye distance".
  • the distance measuring unit 110 calculates the distance value using a conversion table that defines the relationship between the inter-eye distance and the distance value.
  • the relationship between the inter-eye distance and the distance value shall be set by prior calibration.
  • the light emission control unit 120 is a processing unit that controls the light emission amount of the near infrared light light emission unit 140 based on the distance value.
  • the light emission control unit 120 specifies the magnitude of the current according to the distance value, and outputs the current (or voltage) of the specified magnitude to the near infrared light light emitting unit 140.
  • the light emission control unit 120 specifies the magnitude of the current according to the distance value by using the current identification information that defines the relationship between the distance value and the magnitude of the current.
  • FIG. 4 is a diagram showing an example of current specific information.
  • the current specific information is shown by a two-axis graph.
  • the vertical axis is the axis corresponding to the magnitude of the current
  • the horizontal axis is the axis corresponding to the distance value.
  • Amax indicates the upper limit value of the current.
  • Amax meets the photobiological safety standards JIS C 7550 and IEC 62471. That is, even if the near-infrared light emitting unit 140 irradiates the near-infrared light with a current having a magnitude less than Amax, the user is safe.
  • the light emission control unit 120 specifies the magnitude of the current according to the distance value by following the current identification information of FIG. 4, and when the magnitude of the current is larger than the threshold value (Amax), the specified current is used. It can be said that the size is corrected to a size less than the threshold value.
  • the larger the distance value (the larger the distance between the user and the near-infrared light emitting unit 140), the larger the current.
  • the magnitude of the current becomes Ad.
  • the current value Ad is a value less than the current value Amax and is set in advance.
  • the wavelength control unit 130 is a processing unit that controls the wavelength of the near-infrared light emitted by the near-infrared light emitting unit 140. For example, the wavelength control unit 130 selects a wavelength based on the face detection result of the face detection unit 160, the center of gravity detection result of the center of gravity detection unit 150a, and the captured image output from the image sensor 150. First, the wavelength control unit 130 generates a binarized image by binarizing the captured image. As a result, the pixels in the dark portion of the captured image become "1", and the pixels in the bright portion become "0".
  • the wavelength control unit 130 sets a partial region on the binary image based on the face detection result of the face detection unit 160 and the center of gravity detection result of the center of gravity detection unit 150a. It is assumed that the partial area includes at least both eyes of the user.
  • the wavelength control unit 130 calculates the ratio of the pixels having a value of "1" (the pixels in the dark portion) among all the pixels included in the partial region.
  • the wavelength control unit 130 selects a wavelength so that when the proportion of pixels having a value of "1" is equal to or greater than a predetermined proportion, the proportion of pixels having a value of "1" is less than a predetermined proportion.
  • the wavelengths of the selection candidates shall be included in the wavelength range of near infrared rays (0.75 to 1.4 ⁇ m).
  • the wavelength control unit 130 selects one of the selection candidate wavelengths and outputs the selection result to the wavelength selection unit 140a of the near-infrared light emitting unit 140.
  • the wavelength control unit 130 may select a wavelength based on a table in which the user's characteristics and selection candidates are associated with each other.
  • the characteristics of the user correspond to the race of the user, the color of the eyes, and the like.
  • Information regarding the characteristics of the user shall be specified in advance by an input device or the like (not shown).
  • the near-infrared light emitting unit 140 is a device that irradiates the user with near-infrared light.
  • the near-infrared light emitting unit 140 corresponds to the near-infrared light emitting device 5 described with reference to FIG.
  • the wavelength of the near-infrared light emitted by the near-infrared light emitting unit 140 is switched by the wavelength selection unit 140a.
  • the irradiation intensity of the near-infrared light emitted by the near-infrared light emitting unit 140 depends on the magnitude of the current (voltage) output from the emission control unit 120. That is, the larger the current, the greater the irradiation intensity of the near-infrared light emitted by the near-infrared light emitting unit 140.
  • the wavelength selection unit 140a is a processing unit that switches the wavelength of the near-infrared light emitted by the near-infrared light emitting unit 140 based on the selection result of the wavelength output from the wavelength control unit 130.
  • the image sensor 150 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) sensor. As the image sensor 150, another sensor such as a CCD (Charge Coupled Device) may be applied.
  • the image sensor 150 captures the surroundings of the user, more specifically, the user's face, located in front of the display 3 and acquires the captured image.
  • the captured image acquired by the image sensor 150 is A / D (Analog to Digital) converted and then output.
  • an A / D converter or the like may be mounted on the image sensor 150, or may be provided between the image sensor 150 and the face detection unit 160.
  • the image sensor 150 according to the embodiment is configured to be capable of imaging at a high frame rate.
  • the image sensor 150 enables imaging of 1000 fps (fram per second) or more. In the embodiment, it is assumed that the image sensor 150 can image 1000 fps.
  • the captured image is an captured image including an IR band captured image and a visible light captured image.
  • the captured image in the IR band will be referred to as an “IR captured image”.
  • a captured image of visible light is referred to as a "visible light captured image”.
  • FIG. 5 is a diagram for explaining a captured image according to the present embodiment.
  • the visible light captured image is the visible light captured image 30a.
  • the IR captured image is the IR captured image 30b.
  • the face detection unit 160 performs face detection based on the captured image (visible light captured image) acquired by the image sensor 150, and detects the user's face frame, the coordinates of the left eye, and the coordinates of the right eye.
  • the face detection unit 160 outputs the face detection result to the distance measuring unit 110, the center of gravity detection unit 150a, and the selection unit 170.
  • a known method such as a method using the features of an image can be applied.
  • the face detection unit 160 may not be able to detect the left eye or the right eye from the captured image.
  • the face detection unit 160 outputs the face frame information to the distance measuring unit 110, the center of gravity detection unit 150a, and the selection unit 170 as the face detection result.
  • the image sensor 150 has a center of gravity detection unit 150a.
  • the center of gravity detection unit 150a is a processing unit that detects the center of gravity points of the pupil and the iris in the face frame based on the face detection result output from the face detection unit 160. For example, the center of gravity detection unit 150a identifies the positions of the pupil and the iris on the captured image (IR image) using the face detection result as a clue, and calculates the position of the center of gravity of the pupil or the iris of the left eye and the right eye.
  • the center of gravity detection unit 150a outputs the center of gravity detection result to the wavelength control unit 130 and the selection unit 170.
  • the center of gravity detection unit 150a may be located outside the image sensor 150.
  • the selection unit 170 is a processing unit that selects either the face detection result or the center of gravity detection result based on the distance value output from the distance measuring unit 110. For example, the selection unit 170 selects the face detection result when the distance value is equal to or greater than the threshold value. The selection unit 170 outputs the coordinates of the left eye and the coordinates of the right eye included in the face detection result to the parallax image processing unit 20 as information on the viewpoint position.
  • the selection unit 170 selects the center of gravity detection result when the distance value is less than the threshold value.
  • the selection unit 170 outputs information about the center of gravity point (the center of gravity point of the pupil or the iris) to the parallax image processing unit 20 as information on the viewpoint position.
  • the selection unit 170 may set a first threshold value and a second threshold value to select either the face detection result or the center of gravity detection result.
  • FIG. 6 is a diagram for explaining other processes of the selection unit 170 according to the embodiment.
  • the axis shown in FIG. 6 is an axis corresponding to the distance value.
  • a first threshold value and a second threshold value are set on the axis corresponding to the distance value, and the first threshold value is smaller than the second threshold value.
  • the selection unit 170 selects the center of gravity detection result when the distance value acquired from the distance measuring unit 110 is less than the first threshold value.
  • the selection unit 170 selects the face detection result when the distance value acquired from the distance measuring unit 110 is equal to or greater than the second threshold value.
  • the selection unit 170 refers to the face detection result, and the coordinates of the left eye and the coordinates of the right eye are face detection. It is determined whether or not it is detected by unit 160.
  • the selection unit 170 selects the face detection result when the coordinates of the left eye and the coordinates of the right eye are detected by the face detection unit 160.
  • the selection unit 170 selects the center of gravity detection result when either the coordinates of the left eye or the coordinates of the right eye are not detected.
  • FIG. 7 is a flowchart showing a processing procedure of the tracking device of the present embodiment.
  • the processing procedure described with reference to FIG. 7 shows an example of a processing procedure for dimming the near-infrared light emitting unit 140 in conjunction with the distance value.
  • the distance measuring unit 110 of the tracking device 100 calculates a distance value based on the inter-eye distance (step S101).
  • the light emission control unit 120 of the tracking device 100 ends the process when the distance value is not within the switching distance range (steps S102, No). On the other hand, the light emission control unit 120 calculates the magnitude (current value) of the current according to the distance value.
  • step S104 When the current value is not equal to or less than the current value Amax (step S104, No), the light emission control unit 120 outputs the current and voltage corresponding to the current value Ad to the near infrared light light emitting unit 140 (step S105). The process proceeds to step S107.
  • step S104 when the current value is equal to or less than the current value Amax (step S104, Yes), the light emission control unit 120 outputs the current and voltage corresponding to the distance value to the near infrared light light emitting unit 140 (step S106). ), The process proceeds to step S107.
  • the wavelength selection unit 140a of the tracking device 100 determines whether or not to switch the wavelength based on the selection result of the wavelength control unit 130 (step S107). When the wavelength selection unit 140a switches the wavelength (step S107, Yes), the wavelength selection unit 140a changes the wavelength (step S108) and proceeds to step S109. On the other hand, when the wavelength selection unit 140a does not switch the wavelength (steps S107 and No), the wavelength selection unit 140a shifts to step S109.
  • the near-infrared light emitting unit 140 irradiates near-infrared light with the current (voltage) input to the light emitting control unit 120 and the wavelength selected by the wavelength selection unit 140a (step S109).
  • the center of gravity detection unit 150a of the tracking device 100 outputs the center of gravity detection result to the selection unit 170 (step S110).
  • the tracking device 100 controls the amount of light emitted from the near-infrared light emitting unit 140 based on the distance value between the user and the near-infrared light emitting unit 140, and based on the image captured by the image sensor 150, the user Detect feature points. As a result, the viewpoint position of the user can be appropriately tracked.
  • the irradiation intensity of the near-infrared light emitting unit 140 increases as the distance value increases.
  • the viewpoint position of the user can be accurately detected even if the distance from the user is large.
  • the tracking device 100 When adjusting the magnitude of the current input to the near-infrared light emitting unit 140 based on the distance value, the tracking device 100 prevents the magnitude of the current from exceeding the upper limit value. As a result, it is possible to prevent the irradiation intensity of the near-infrared light emitting unit 140 from becoming too high, and to satisfy the requirements of the photobiological safety standards JIS C 7550 and IEC 62471. In addition, by irradiating near-infrared light, it is possible to control the user's face so that it does not blow out.
  • the tracking device 100 selects the center of gravity detection result as the viewpoint position when the distance value is less than the threshold value, and selects the face detection result as the viewpoint position when the distance value is equal to or more than the threshold value. This makes it possible to use more responsive center-of-gravity position information when the user is nearby. In addition, when the user is far away, the face detection result can be used to perform quick and stable viewpoint tracking.
  • FIG. 8 is a hardware configuration diagram showing an example of a computer 200 that realizes the function of the tracking device.
  • the computer 200 includes a CPU 201 that executes various arithmetic processes, an input device 202 that receives data input from a user, and a display 203.
  • the computer 200 has an interface 204 for connecting to various devices.
  • Interface 204 is connected to a near-infrared light emitting device, a camera (image sensor), a parallax image processing unit, and the like.
  • the hard disk device 206 has an image processing program 206a.
  • the CPU 201 reads out the image processing program 206a and deploys it in the RAM 205.
  • the image processing program 206a functions as an image processing process 205a.
  • the processing of the image processing process 205a includes the processing of the distance measuring unit 110, the light emitting control unit 120, the wavelength control unit 130, the wavelength selection unit 140a, the center of gravity detection unit 150a, the face detection unit 160, and the selection unit 170 described with reference to FIG. Correspond.
  • the image processing program 206a does not necessarily have to be stored in the hard disk device 206 from the beginning.
  • each program is stored in a "portable physical medium" such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card inserted into the computer 200. Then, the computer 200 may read and execute the image processing program 206a.
  • a "portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card inserted into the computer 200.
  • the computer 200 may read and execute the image processing program 206a.
  • the image processing device includes a light emitting unit, a light emitting control unit, and a detection unit.
  • the light emitting unit irradiates the object with near-infrared light.
  • the light emitting control unit controls the amount of light emitted from the light emitting unit based on the distance value between the object and the light emitting unit.
  • the detection unit detects the feature points based on the captured image of the object irradiated with the near-infrared light.
  • the detection unit detects feature points related to the face of the object based on the captured image. Based on the captured image, the left eye and the right eye of the object are detected as feature points. As a result, the viewpoint position of the user can be appropriately tracked.
  • the image processing device further includes a center of gravity detection unit that detects the center of gravity of the pupil or iris of the object.
  • a center of gravity detection unit that detects the center of gravity of the pupil or iris of the object.
  • the image processing device has a distance measuring unit, and the distance measuring unit further has a distance measuring unit that calculates a distance value based on the distance between feature points included in the captured image. As a result, the distance value can be calculated from the captured image without using a distance sensor or the like.
  • the light emitting control unit of the image processing device controls the amount of light emitted from the light emitting unit by specifying the magnitude of the current according to the distance value and outputting the current of the specified magnitude to the light emitting unit.
  • the light emission control unit of the image processing device specifies the magnitude of the current according to the distance value, and when the magnitude of the current is larger than the threshold value, the magnitude of the specified current is set to a magnitude less than the threshold value.
  • the corrected current is output to the light emitting unit. This makes it possible to irradiate the user with safe intensity of near-infrared light.
  • the image processing device has a selection unit, and the selection unit selects one of the detection result of the detection unit and the detection result of the center of gravity detection unit. Based on the detection result of the detection unit and the detection result of the center of gravity detection unit, the selection unit obtains the detection result of either the detection unit or the detection result of the center of gravity detection unit. select. As a result, the tracking of the user's viewpoint position can be executed at high speed and stably.
  • the selection unit outputs the selected detection result to a device that generates a stereoscopic image. As a result, an appropriate stereoscopic image can be displayed to the user.
  • the image processing device further has a wavelength control unit, and the wavelength control unit controls the wavelength of the near-infrared light emitted by the light emitting unit based on the detection result of the detection unit. Thereby, the process of detecting the center of gravity of the pupil or the iris of the object can be stably executed.
  • the present technology can also have the following configurations.
  • a light emitting part that irradiates an object with near-infrared light
  • a light emitting control unit that controls the amount of light emitted from the light emitting unit based on the distance value between the object and the light emitting unit.
  • An image processing device including a detection unit that detects feature points based on an image captured by the object irradiated with near-infrared light.
  • the detection unit detects feature points related to the face of the object based on the captured image.
  • the detection unit detects the left eye and the right eye of the object as feature points based on the captured image.
  • the image processing apparatus further comprising a center of gravity detecting unit for detecting the center of gravity of the pupil or the iris of the object.
  • the image processing apparatus further comprising a distance measuring unit for calculating the distance value based on the distance between feature points included in the captured image.
  • the light emitting control unit is characterized in that the amount of light emitted from the light emitting unit is controlled by specifying the magnitude of the current according to the distance value and outputting the current of the specified magnitude to the light emitting unit.
  • the light emission control unit specifies the magnitude of the current according to the distance value, and when the magnitude of the current is larger than the threshold value, corrects the magnitude of the specified current to a magnitude less than the threshold value.
  • the above (5) is characterized in that it further has a selection unit for selecting one of the detection result of the detection unit and the detection result of the center of gravity detection unit based on the distance value. The image processing apparatus described. (9) Based on the detection result of the detection unit and the detection result of the center of gravity detection unit, the selection unit obtains the detection result of either the detection unit or the detection result of the center of gravity detection unit.
  • the image processing apparatus according to (8) above, wherein the image processing apparatus is selected.
  • the image processing device according to any one of (1) to (8) above, wherein the selection unit outputs the selected detection result to a device that generates a stereoscopic image.
  • the image processing apparatus according to. (12) The computer Based on the distance value between the object and the light emitting device that irradiates the object with near-infrared light, the amount of light emitted by the light emitting device is controlled.
  • An image processing method for executing a process of detecting a feature point based on an captured image of the object irradiated with the near-infrared light.
  • (13) Computer A light emission control unit that controls the amount of light emitted from the light emitting device based on the distance value between the object and the light emitting device that irradiates the target object with near-infrared light.
  • An image processing program for functioning as a detection unit for detecting feature points based on an captured image of the object irradiated with the near-infrared light.
  • Tracking device 110
  • Distance measuring unit 120
  • Emission control unit 130 Wavelength control unit 140
  • Near infrared light emission unit 140a Wavelength selection unit 150
  • Image sensor 150a Center of gravity detection unit 160 Face detection unit 170 Selection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

画像処理装置は、対象物に近赤外光を照射する発光部と、対象物と発光部との距離値を基にして、発光部の発光量を制御する発光制御部と、近赤外光が照射された対象物の撮像画像を基にして、特徴点を検出する検出部とを備える。

Description

画像処理装置、画像処理方法および画像処理プログラム
　本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
　ディスプレイに立体画像を表示させる様々な技術が提案されている。その中で、眼鏡等のツールを使用しない裸眼立体表示に関する提案もなされている。たとえば、裸眼立体表示に関するディスプレイとして、レンチキュラ方式に代表されるLight　Fieldディスプレイがある。
　Light　Fieldディスプレイに立体画像を表示する場合、ユーザの左右それぞれの視点位置を検出し、視点位置に最適な光線を集光し、右目用の画像及び左眼用の画像を生成する。たとえば、視点位置を検出する技術として、特許文献１では、画像の特徴点を検出し、この特徴点を視線位置としてトラッキングすることが記載されている。
特開２００４－１９５１４１号公報
Jean-Yves　Bouguet「Pyramidal　Implementation　of　the　Lucas　Kanade　Feature　Tracker　Description　of　the　algorithm」Intel　Corporation　Microprocessor　Research　Labs　(2000)　OpenCV　Documents
　しかしながら、上述した従来技術では、ユーザの視点位置をトラッキングする処理について改善の余地があった。
　そこで、本開示では、ユーザの視点位置を適切にトラッキングすることができる画像処理装置、画像処理方法および画像処理プログラムを提供する。
　上記の課題を解決するために、本開示に係る一形態の画像処理装置は、対象物に近赤外光を照射する発光部と、前記対象物と前記発光部との距離値を基にして、前記発光部の発光量を制御する発光制御部と、前記近赤外光が照射された前記対象物の撮像画像を基にして、特徴点を検出する検出部とを備える。
本実施形態に係る情報処理装置の外観例を示す図である。 本実施形態に係る情報処理装置のシステム構成例を示すブロック図である。 本実施形態に係るトラッキング装置の構成例を示すブロック図である。 電流特定情報の一例を示す図である。 本実施形態に係る撮像画像を説明するための図である。 実施形態に係る選択部のその他の処理を説明するための図である。 本実施形態のトラッキング装置の処理手順を示すフローチャートである。 トラッキング装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．実施形態
　　１．１情報処理装置の外観例
　　１．２情報処理装置のシステム構成例
　　１．３トラッキング装置の構成例
　　１．４トラッキング装置の処理手順
　　１．５トラッキング装置の効果
　　２．ハードウェア構成
　　３．むすび
［１．実施形態］
［１．１情報処理装置の外観例］
　図１は、本実施形態に係る情報処理装置１の外観例を示す図である。情報処理装置１は、例えば、ノート型パーソナルコンピュータと同程度の大きさとされているが、より小型化若しくは大型化することも可能である。
　情報処理装置１は、ベース２と、ベース２から上方に向かって立設するディスプレイ３とを有している。情報処理装置１は、ディスプレイ３の上側にカメラ４を有しており、カメラ４によりディスプレイ３の前方に位置するユーザを撮像できるように構成されている。また、情報処理装置１には、ユーザに近赤外光を照射する近赤外光発光装置５が配置される。
　情報処理装置１は、例えば、レンチキュラ方式による立体画像をディスプレイ３に表示可能とされている。概略的には、立体表示用の眼鏡等を使用していない裸眼のユーザの視点位置を、カメラ４により撮像された画像を使用して検出する。左右それぞれの視点位置に集光する光線で右目用及び左目用の画像（視差画像）を生成し、生成した画像をレンチキュラレンズが実装されたディスプレイ３に表示する。これにより、ユーザは、眼鏡やＨＵＤ(Head　Up　Display)等を用いることなく、立体画像を視聴することが可能となる。
［１．２情報処理装置のシステム構成例］
　図２は、本実施形態に係る情報処理装置１のシステム構成例を示すブロック図である。情報処理装置１は、概略的には、トラッキング装置１００と、視差画像処理ユニット２０とを有している。トラッキング装置１００は、ユーザの視点位置を示す情報、例えば、視点位置の２次元的な座標を、後段の視差画像処理ユニット２０に出力する。なお、トラッキング装置１００の構成、動作例等の詳細については後述する。トラッキング装置１００は、「画像処理装置」の一例である。
　視差画像処理ユニット２０は、空間視点座標生成部２１、視差画像生成部２２及び視差画像表示部２３を有している。空間視点座標生成部２１は、トラッキング装置１００から出力される視点位置を示す２次元座標を、公知の手法を適用して空間位置における視点座標に変換し、空間上の視点座標を生成する。視差画像生成部２２は、空間上の視点座標に対応する光線（画像）を生成することにより、立体画像を生成する。視差画像表示部２３は、視差画像生成部２２により生成された視差画像を連続的に表示することで立体映像を提示するデバイスであり、上述したディスプレイ３に対応する。
［１．３トラッキング装置の構成例］
　図３は、本実施形態に係るトラッキング装置の構成例を示すブロック図である。図３に示すように、このトラッキング装置１００は、測距部１１０と、発光制御部１２０と、波長制御部１３０と、近赤外光発光部１４０と、波長選択部１４０ａと、イメージセンサー１５０と、重心検出部１５０ａと、顔検出部１６０と、選択部１７０とを有する。図示を省略するが、近赤外光発光部１４０の前方に、ユーザが位置しているものとする。
　図３に示す例では、測距部１１０と、発光制御部１２０と、波長制御部１３０と、近赤外光発光部１４０と、波長選択部１４０ａと、イメージセンサー１５０と、重心検出部１５０ａと、顔検出部１６０と、選択部１７０とが、トラッキング装置１００に含まれる例を示すが、これに限定されるものではない。たとえば、測距部１１０、発光制御部１２０、近赤外光発光部１４０は、他のユニットに含まれていてもよい。
　測距部１１０は、近赤外光発光部１４０と、対象物（ユーザ）との距離値を算出する処理部である。測距部１１０は、距離値を発光制御部１２０に出力する。
　たとえば、測距部１１０は、顔検出部１６０の顔検出結果を基にして、距離値を算出する。顔検出結果には、ユーザの左目の座標と、ユーザの右目の座標とが含まれる。左目の座標と、右目の座標との距離を「眼間距離」と表記する。測距部１１０は、眼間距離と、距離値との関係を定義した変換テーブルを用いて、距離値を算出する。眼間距離と、距離値との関係は、事前のキャリブレーションにより設定されているものとする。
　発光制御部１２０は、距離値を基にして、近赤外光発光部１４０の発光量を制御する処理部である。発光制御部１２０は、距離値に応じた電流の大きさを特定し、特定した大きさの電流（または電圧）を、近赤外光発光部１４０に出力する。
　発光制御部１２０は、距離値と電流の大きさとの関係を定義した電流特定情報を用いて、距離値に応じた電流の大きさを特定する。図４は、電流特定情報の一例を示す図である。ここでは、電流特定情報を２軸のグラフによって示す。縦軸は、電流の大きさに対応する軸であり、横軸は距離値に対応する軸である。Ａｍａｘは、電流の上限値を示す。Ａｍａｘは、光生物学的安全性の規格JIS　C　7550、IEC62471を満たす。すなわち、Ａｍａｘ未満の大きさの電流によって、近赤外光発光部１４０が近赤外光を照射させても、ユーザは安全である。たとえば、発光制御部１２０は、図４の電流特定情報に従うことで、距離値に応じた電流の大きさを特定し、電流の大きさが閾値（Ａｍａｘ）よりも大きい場合に、特定した電流の大きさを前記閾値未満の大きさに補正しているといえる。
　図４に示すように、電流定義情報によれば、距離値が大きくなる（ユーザと近赤外光発光部１４０との距離が大きい）ほど、電流の大きさが大きくなる。距離値がｄを超えると、電流の大きさは、Ａｄとなる。電流値Ａｄは、電流値Ａｍａｘ未満の値となり、事前に設定される。
　波長制御部１３０は、近赤外光発光部１４０が照射する近赤外光の波長を制御する処理部である。たとえば、波長制御部１３０は、顔検出部１６０の顔検出結果、重心検出部１５０ａの重心検出結果、イメージセンサー１５０から出力される撮像画像を基にして、波長を選択する。まず、波長制御部１３０は、撮像画像を２値化することで、２値化画像を生成する。これによって、撮像画像の暗い部分の画素は「１」となり、明るい部分の画素が「０」となる。
　波長制御部１３０は、顔検出部１６０の顔検出結果、重心検出部１５０ａの重心検出結果を基にして、２値画像上に部分領域を設定する。部分領域には、ユーザの両目が少なくとも含まれるものとする。波長制御部１３０は、部分領域に含まれる全画素のうち、値が「１」となる画素（暗い部分の画素）の割合を算出する。波長制御部１３０は、値が「１」となる画素の割合が所定割合以上となる場合、値が「１」となる画素の割合が所定割合未満となるような、波長を選択する。
　たとえば、波長の選択候補が複数存在する。選択候補の波長は、近赤外線の波長の範囲（０．７５～１．４μｍ）に含まれるものとする。波長制御部１３０は、いずれかの選択候補の波長を選択し、選択結果を、近赤外光発光部１４０の波長選択部１４０ａに出力する。
　ところで、波長制御部１３０は、ユーザの特徴と、選択候補とを対応付けたテーブルを基にして、波長を選択してもよい。ユーザの特徴は、ユーザの人種、目の色等に対応する。ユーザの特徴に関する情報は、図示しない入力装置等によって、予め指定されているものとする。
　近赤外光発光部１４０は、ユーザに対して近赤外光を照射する装置である。近赤外光発光部１４０は、図１で説明した近赤外光発光装置５に対応する。近赤外光発光部１４０が照射する近赤外光の波長は、波長選択部１４０ａによって切り替えられる。
　近赤外光発光部１４０が照射する近赤外光の照射強度は、発光制御部１２０から出力される電流（電圧）の大きさに依存する。すなわち、電流が大きいほど、近赤外光発光部１４０が照射する近赤外光の照射強度は大きくなる。
　波長選択部１４０ａは、波長制御部１３０から出力される波長の選択結果を基にして、近赤外光発光部１４０が照射する近赤外光の波長を切り替える処理部である。
　イメージセンサー１５０は、たとえば、ＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)センサである。イメージセンサー１５０として、ＣＣＤ(Charge　Coupled　Device)等の他のセンサが適用されてもよい。イメージセンサー１５０は、ディスプレイ３の前方に位置するユーザ、より具体的には、ユーザの顔の周囲を撮像し、撮像画像を取得する。イメージセンサー１５０で取得された撮像画像はＡ／Ｄ(Analog　to　Digital)変換された後、出力される。
　図示は省略しているが、Ａ／Ｄ変換器等がイメージセンサー１５０上に実装されていても構わないし、イメージセンサー１５０と顔検出部１６０との間に設けられていてもよい。なお、実施の形態に係るイメージセンサー１５０は、ハイフレームレートの撮像が可能なように構成されている。一例として、イメージセンサー１５０により１０００ｆｐｓ(fram　per　second)以上の撮像が可能とされている。実施の形態では、イメージセンサー１５０により１０００ｆｐｓの撮像が可能とされているものとして説明する。
　ここで、撮像画像は、ＩＲ帯域の撮像画像および可視光の撮像画像を含む撮像画像である。以下の説明では、ＩＲ帯域の撮像画像を「ＩＲ撮像画像」と表記する。可視光の撮像画像を、「可視光撮像画像」と表記する。
　図５は、本実施形態に係る撮像画像を説明するための図である。図５に示す例では、可視光撮像画像は、可視光撮像画像３０ａとなる。ＩＲ撮像画像は、ＩＲ撮像画像３０ｂとなる。
　顔検出部１６０は、イメージセンサー１５０により取得された撮像画像（可視光撮像画像）に基づいて顔検出を行い、ユーザの顔枠、左目の座標、右目の座標を検出する。顔検出部１６０は、顔検出結果を、測距部１１０、重心検出部１５０ａ、選択部１７０に出力する。顔検出部１６０が、顔（顔枠、左目の座標、右目の座標）を検出する方法は、画像の特徴を利用して行う方法等、公知の方法を適用することができる。
　顔検出部１６０は、ユーザとイメージセンサー１５０との距離が離れすぎると、撮像画像から、左目や右目を検出できない場合がある。顔検出部１６０は、左目や右目の検出に失敗した場合には、顔枠の情報を、顔検出結果として、測距部１１０、重心検出部１５０ａ、選択部１７０に出力する。
　なお、イメージセンサー１５０は、重心検出部１５０ａを有している。重心検出部１５０ａは、顔検出部１６０から出力される顔検出結果を基にして、顔枠内における瞳孔や虹彩の重心点を検出する処理部である。たとえば、重心検出部１５０ａは、顔検出結果を手がかりとして、撮像画像（ＩＲ撮像画像）上の瞳孔や虹彩の位置を特定し、左目および右目の瞳孔または虹彩の重心位置を算出する。重心検出部１５０ａは、重心検出結果を、波長制御部１３０および選択部１７０に出力する。なお、重心検出部１５０ａは、イメージセンサー１５０の外部に位置していてもよい。
　選択部１７０は、測距部１１０から出力される距離値を基にして、顔検出結果または重心検出結果のいずれか一方を選択する処理部である。たとえば、選択部１７０は、距離値が閾値以上である場合、顔検出結果を選択する。選択部１７０は、顔検出結果に含まれる左目の座標、右目の座標を、視点位置の情報として、視差画像処理ユニット２０に出力する。
　一方、選択部１７０は、距離値が閾値未満である場合、重心検出結果を選択する。選択部１７０は、重心点に関する情報（瞳孔や虹彩の重心点）を、視点位置の情報として、視差画像処理ユニット２０に出力する。
　ところで、選択部１７０は、第１の閾値、第２の閾値を設定して、顔検出結果または重心検出結果のいずれか一方を選択してもよい。図６は、実施形態に係る選択部１７０のその他の処理を説明するための図である。図６に示す軸は、距離値に対応する軸である。距離値に対応する軸には、第１の閾値と、第２の閾値とが設定され、第１の閾値は、第２の閾値よりも小さいものとする。
　選択部１７０は、測距部１１０から取得する距離値が第１の閾値未満である場合、重心検出結果を選択する。選択部１７０は、測距部１１０から取得する距離値が第２の閾値以上である場合、顔検出結果を選択する。
　選択部１７０は、測距部１１０から取得する距離値が、第１の閾値以上、第２の閾値未満である場合には、顔検出結果を参照し、左目の座標および右目の座標が顔検出部１６０によって検出されているか否かを判定する。選択部１７０は、左目の座標および右目の座標が顔検出部１６０によって検出されている場合、顔検出結果を選択する。選択部１７０は、左目の座標および右目の座標のうちいずれか一方が検出されていない場合、重心検出結果を選択する。
［１．４トラッキング装置の処理手順］
　次に、本実施形態のトラッキング装置１００の処理手順について説明する。図７は、本実施形態のトラッキング装置の処理手順を示すフローチャートである。図７で説明する処理手順では、距離値に連動して、近赤外光発光部１４０を調光する処理手順の一例を示す。トラッキング装置１００の測距部１１０は、眼間距離を基にして、距離値を算出する（ステップＳ１０１）。
　トラッキング装置１００の発光制御部１２０は、距離値が切り替え距離範囲内ではない場合（ステップＳ１０２，Ｎｏ）、処理を終了する。一方、発光制御部１２０は、距離値に応じた電流の大きさ（電流値）を算出する。
　発光制御部１２０は、電流値が電流値Ａｍａｘ以下でない場合には（ステップＳ１０４，Ｎｏ）、電流値Ａｄに応じた電流および電圧を、近赤外光発光部１４０に出力し（ステップＳ１０５）、ステップＳ１０７に移行する。一方、発光制御部１２０は、電流値が電流値Ａｍａｘ以下である場合には（ステップＳ１０４，Ｙｅｓ）、距離値に応じた電流および電圧を、近赤外光発光部１４０に出力し（ステップＳ１０６）、ステップＳ１０７に移行する。
　トラッキング装置１００の波長選択部１４０ａは、波長制御部１３０の選択結果を基にして、波長を切り替えるか否かを判定する（ステップＳ１０７）。波長選択部１４０ａは、波長を切り替える場合には（ステップＳ１０７，Ｙｅｓ）、波長を変更し（ステップＳ１０８）、ステップＳ１０９に移行する。一方、波長選択部１４０ａは、波長を切り替えない場合には（ステップＳ１０７，Ｎｏ）、ステップＳ１０９に移行する。
　近赤外光発光部１４０は、発光制御部１２０に入力された電流（電圧）および波長選択部１４０ａにより選択された波長によって、近赤外光を照射する（ステップＳ１０９）。トラッキング装置１００の重心検出部１５０ａは、重心検出結果を選択部１７０に出力する（ステップＳ１１０）。
［１．５トラッキング装置の効果］
　次に、本実施形態に係るトラッキング装置１００の効果について説明する。トラッキング装置１００は、ユーザと近赤外光発光部１４０との距離値を基にして、近赤外光発光部１４０の発光量を制御し、イメージセンサー１５０による撮像画像を基にして、ユーザの特徴点を検出する。これによって、ユーザの視点位置を適切にトラッキングすることができる。
　トラッキング装置１００は、距離値が大きくなるにつれて、近赤外光発光部１４０の照射強度が大きくする。これによって、ユーザとの距離が離れても、ユーザの視点位置を正確に検出することができる。
　トラッキング装置１００は、距離値を基にして、近赤外光発光部１４０に入力する電流の大きさを調整する場合に、電流の大きさが上限値を超えないようにする。これによって、近赤外光発光部１４０の照射強度が大きくなり過ぎることを抑止し、光生物学的安全性の規格JIS　C　7550、IEC62471の要件を満たすことができる。また、近赤外光の照射により、ユーザの顔か白飛びしないように制御することができる。
　トラッキング装置１００は、距離値が閾値未満である場合には、重心検出結果を視点位置として選択し、距離値が閾値以上である場合には、顔検出結果を視点位置として選択する。これによって、ユーザが近くにいる場合には、より応答性の高い重心位置情報を使用することができる。また、ユーザが遠くにいる場合には、顔検出結果を使用することで、迅速かつ安定的な視点トラッキングを実行することができる。
［２．ハードウェア構成］
　上述してきた各実施形態に係るトラッキング装置は、たとえば、図８に示すような構成のコンピュータ２００によって実現される。以下、実施形態に係るトラッキング装置１００を例に挙げて説明する。図８は、トラッキング装置の機能を実現するコンピュータ２００の一例を示すハードウェア構成図である。コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、各種装置に接続するためのインタフェース２０４を有する。
　インタフェース２０４は、近赤外光発光装置、カメラ（イメージセンサー）、視差画像処理ユニット等に接続される。
　ハードディスク装置２０６は、画像処理プログラム２０６ａを有する。ＣＰＵ２０１は、画像処理プログラム２０６ａを読み出してＲＡＭ２０５に展開する。画像処理プログラム２０６ａは、画像処理プロセス２０５ａとして機能する。
　画像処理プロセス２０５ａの処理は、図３で説明した測距部１１０、発光制御部１２０、波長制御部１３０、波長選択部１４０ａ、重心検出部１５０ａ、顔検出部１６０、選択部１７０の各処理に対応する。
　なお、画像処理プログラム２０６ａについては、必ずしも最初からハードディスク装置２０６に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が画像処理プログラム２０６ａを読み出して実行するようにしてもよい。
［３．むすび］
　画像処理装置は、発光部と、発光制御部と、検出部とを有する。発光部は、対象物に近赤外光を照射する。発光制御部は、前記対象物と前記発光部との距離値を基にして、前記発光部の発光量を制御する。検出部は、前記近赤外光が照射された前記対象物の撮像画像を基にして、特徴点を検出する。前記検出部は、前記撮像画像を基にして、前記対象物の顔に関する特徴点を検出する。前記撮像画像を基にして、前記対象物の左目、右目を特徴点として検出する。これによって、ユーザの視点位置を適切にトラッキングすることができる。
　画像処理装置は、前記対象物の瞳孔または虹彩の重心を検出する重心検出部を更に有する。これによって、撮像装置から対象物の特徴量を検出できない場合でも、対象物の瞳孔または虹彩の重心を検出して、ユーザの視点位置をトラッキングすることができる。
　画像処理装置は測距部を有し、測距部は、撮像画像に含まれる特徴点間の距離を基にして、距離値を算出する測距部を更に有する。これによって、距離センサ等を用いなくても、撮像画像から、距離値を算出することができる。
　画像処理装置の発光制御部は、前記距離値に応じた電流の大きさを特定し、特定した大きさの電流を前記発光部に出力することで、前記発光部の発光量を制御する。画像処理装置の発光制御部は、前記距離値に応じた電流の大きさを特定し、前記電流の大きさが閾値よりも大きい場合に、特定した電流の大きさを前記閾値未満の大きさに補正し、補正した大きさの電流を、前記発光部に出力する。これによって、ユーザに対して安全な強度の近赤外光を照射することができる。
　画像処理装置は選択部を有し、選択部は、前記検出部の検出結果と、前記重心検出部の検出結果のうち、いずれか一方の検出結果を選択する。前記選択部は、前記検出部の検出結果と、前記重心検出部の検出結果を基にして、前記検出部の検出結果と、前記重心検出部の検出結果のうち、いずれか一方の検出結果を選択する。これによって、ユーザの視点位置のトラッキングを高速かつ安定して実行することができる。
　前記選択部は、選択した検出結果を、立体画像を生成する装置に出力する。これによって、ユーザに適切な立体画像を表示することができる。
　画像処理装置は、波長制御部を更に有し、波長制御部は、前記検出部の検出結果を基にして、前記発光部が照射する近赤外光の波長を制御する。これによって、前記対象物の瞳孔または虹彩の重心を検出する処理を安定して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　対象物に近赤外光を照射する発光部と、
　前記対象物と前記発光部との距離値を基にして、前記発光部の発光量を制御する発光制御部と、
　前記近赤外光が照射された前記対象物の撮像画像を基にして、特徴点を検出する検出部と
　を有する画像処理装置。
（２）
　前記検出部は、前記撮像画像を基にして、前記対象物の顔に関する特徴点を検出することを特徴とする前記（１）に記載の画像処理装置。
（３）
　前記検出部は、前記撮像画像を基にして、前記対象物の左目、右目を特徴点として検出することを特徴とする前記（２）に記載の画像処理装置。
（４）
　前記対象物の瞳孔または虹彩の重心を検出する重心検出部を更に有することを特徴とする前記（３）に記載の画像処理装置。
（５）
　前記撮像画像に含まれる特徴点間の距離を基にして、前記距離値を算出する測距部を更に有することを特徴とする前記（４）に記載の画像処理装置。
（６）
　前記発光制御部は、前記距離値に応じた電流の大きさを特定し、特定した大きさの電流を前記発光部に出力することで、前記発光部の発光量を制御することを特徴とする前記（１）に記載の画像処理装置。
（７）
　前記発光制御部は、前記距離値に応じた電流の大きさを特定し、前記電流の大きさが閾値よりも大きい場合に、特定した電流の大きさを前記閾値未満の大きさに補正し、補正した大きさの電流を、前記発光部に出力することを特徴とする前記（６）に記載の画像処理装置。
（８）
　前記距離値を基にして、前記検出部の検出結果と、前記重心検出部の検出結果のうち、いずれか一方の検出結果を選択する選択部を更に有することを特徴とする前記（５）に記載の画像処理装置。
（９）
　前記選択部は、前記検出部の検出結果と、前記重心検出部の検出結果を基にして、前記検出部の検出結果と、前記重心検出部の検出結果のうち、いずれか一方の検出結果を選択することを特徴とする前記（８）に記載の画像処理装置。
（１０）
　前記選択部は、選択した検出結果を、立体画像を生成する装置に出力することを特徴とする前記（１）～（８）のいずれか一つに記載の画像処理装置。
（１１）
　前記検出部の検出結果を基にして、前記発光部が照射する近赤外光の波長を制御する波長制御部を更に有することを特徴とする前記（１）から（１０）のいずれか一つに記載の画像処理装置。
（１２）
　コンピュータが、
　対象物と、前記対象物に近赤外光を照射する発光装置との距離値を基にして、前記発光装置の発光量を制御し、
　前記近赤外光が照射された前記対象物の撮像画像を基にして、特徴点を検出する
　処理を実行する画像処理方法。
（１３）
　コンピュータを、
　対象物と、前記対象物に近赤外光を照射する発光装置との距離値を基にして、前記発光装置の発光量を制御する発光制御部と、
　前記近赤外光が照射された前記対象物の撮像画像を基にして、特徴点を検出する検出部
　として機能させるための画像処理プログラム。
　１００　　トラッキング装置
　１１０　　測距部
　１２０　　発光制御部
　１３０　　波長制御部
　１４０　　近赤外光発光部
　１４０ａ　波長選択部
　１５０　　イメージセンサー
　１５０ａ　重心検出部
　１６０　　顔検出部
　１７０　　選択部

Claims (13)

  1. 　対象物に近赤外光を照射する発光部と、
    　前記対象物と前記発光部との距離値を基にして、前記発光部の発光量を制御する発光制御部と、
    　前記近赤外光が照射された前記対象物の撮像画像を基にして、特徴点を検出する検出部と
    　を有する画像処理装置。
  2. 　前記検出部は、前記撮像画像を基にして、前記対象物の顔に関する特徴点を検出することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記検出部は、前記撮像画像を基にして、前記対象物の左目、右目を特徴点として検出することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記対象物の瞳孔または虹彩の重心を検出する重心検出部を更に有することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記撮像画像に含まれる特徴点間の距離を基にして、前記距離値を算出する測距部を更に有することを特徴とする請求項４に記載の画像処理装置。
  6. 　前記発光制御部は、前記距離値に応じた電流の大きさを特定し、特定した大きさの電流を前記発光部に出力することで、前記発光部の発光量を制御することを特徴とする請求項１に記載の画像処理装置。
  7. 　前記発光制御部は、前記距離値に応じた電流の大きさを特定し、前記電流の大きさが閾値よりも大きい場合に、特定した電流の大きさを前記閾値未満の大きさに補正し、補正した大きさの電流を、前記発光部に出力することを特徴とする請求項６に記載の画像処理装置。
  8. 　前記距離値を基にして、前記検出部の検出結果と、前記重心検出部の検出結果のうち、いずれか一方の検出結果を選択する選択部を更に有することを特徴とする請求項５に記載の画像処理装置。
  9. 　前記選択部は、前記検出部の検出結果と、前記重心検出部の検出結果を基にして、前記検出部の検出結果と、前記重心検出部の検出結果のうち、いずれか一方の検出結果を選択することを特徴とする請求項８に記載の画像処理装置。
  10. 　前記選択部は、選択した検出結果を、立体画像を生成する装置に出力することを特徴とする請求項８に記載の画像処理装置。
  11. 　前記検出部の検出結果を基にして、前記発光部が照射する近赤外光の波長を制御する波長制御部を更に有することを特徴とする請求項１に記載の画像処理装置。
  12. 　コンピュータが、
    　対象物と、前記対象物に近赤外光を照射する発光装置との距離値を基にして、前記発光装置の発光量を制御し、
    　前記近赤外光が照射された前記対象物の撮像画像を基にして、特徴点を検出する
    　処理を実行する画像処理方法。
  13. 　コンピュータを、
    　対象物と、前記対象物に近赤外光を照射する発光装置との距離値を基にして、前記発光装置の発光量を制御する発光制御部と、
    　前記近赤外光が照射された前記対象物の撮像画像を基にして、特徴点を検出する検出部
    　として機能させるための画像処理プログラム。
PCT/JP2020/041021 2019-12-19 2020-11-02 画像処理装置、画像処理方法および画像処理プログラム WO2021124709A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/757,083 US12075022B2 (en) 2019-12-19 2020-11-02 Image processing device and image processing method
JP2021565356A JPWO2021124709A1 (ja) 2019-12-19 2020-11-02

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019228788 2019-12-19
JP2019-228788 2019-12-19

Publications (1)

Publication Number Publication Date
WO2021124709A1 true WO2021124709A1 (ja) 2021-06-24

Family

ID=76477347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041021 WO2021124709A1 (ja) 2019-12-19 2020-11-02 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US12075022B2 (ja)
JP (1) JPWO2021124709A1 (ja)
WO (1) WO2021124709A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022094223A (ja) * 2020-12-14 2022-06-24 京セラ株式会社 立体表示用コントローラ

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323180A (ja) * 2004-05-10 2005-11-17 Denso Corp 撮像制御装置及びプログラム
JP2012063824A (ja) * 2010-09-14 2012-03-29 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2013062560A (ja) * 2011-09-12 2013-04-04 Sony Corp 画像処理装置、画像処理方法、及びプログラム
WO2014057618A1 (ja) * 2012-10-09 2014-04-17 パナソニック株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
JP2017054503A (ja) * 2015-09-07 2017-03-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 視点追跡方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3683887B2 (ja) 2002-12-14 2005-08-17 庄吾 土田 蓋付き搾り乾燥皿付き鍋
EP2860960B1 (en) * 2012-07-25 2020-10-14 Denso Corporation State monitoring device
JP6244061B2 (ja) * 2015-03-30 2017-12-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP7264257B2 (ja) * 2019-09-04 2023-04-25 日本電気株式会社 制御装置、制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323180A (ja) * 2004-05-10 2005-11-17 Denso Corp 撮像制御装置及びプログラム
JP2012063824A (ja) * 2010-09-14 2012-03-29 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2013062560A (ja) * 2011-09-12 2013-04-04 Sony Corp 画像処理装置、画像処理方法、及びプログラム
WO2014057618A1 (ja) * 2012-10-09 2014-04-17 パナソニック株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
JP2017054503A (ja) * 2015-09-07 2017-03-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 視点追跡方法及び装置

Also Published As

Publication number Publication date
JPWO2021124709A1 (ja) 2021-06-24
US12075022B2 (en) 2024-08-27
US20230007230A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
US9865094B2 (en) Information processing apparatus, display control method, and program
US10371933B2 (en) Medical image processing apparatus, medical image processing method, and medical observation system
JP4831267B2 (ja) 情報処理装置、情報処理方法、プログラム及び電子装置
JP6070833B2 (ja) 入力装置及び入力プログラム
US9484005B2 (en) Trimming content for projection onto a target
US9530051B2 (en) Pupil detection device
US10936900B2 (en) Color identification using infrared imaging
JP2019080354A (ja) ヘッドマウントディスプレイ
US20120121133A1 (en) System for detecting variations in the face and intelligent system using the detection of variations in the face
US20190297271A1 (en) Virtual makeup device, and virtual makeup method
KR20130107981A (ko) 시선 추적 장치 및 방법
US11663992B2 (en) Fade-in user interface display based on finger distance or hand proximity
JP4968922B2 (ja) 機器制御装置及び制御方法
US11843862B2 (en) Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
CN106911922A (zh) 从单个传感器生成的深度图
WO2017187694A1 (ja) 注目領域画像生成装置
CN114762000B (zh) 视线检测方法、视线检测装置以及控制程序产品
JP2019115037A (ja) 反射を検出する装置及び方法
JP2014191386A (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
WO2021124709A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4451195B2 (ja) 視線検出装置
JP6997383B2 (ja) 光走査装置及び網膜走査型ヘッドマウントディスプレイ
US20140240218A1 (en) Head tracking method and device
US20240233181A1 (en) Image pickup apparatus used as action camera, calibrator, control methods therefor, and storage media storing control programs therefor
US20230126836A1 (en) Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20903460

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021565356

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20903460

Country of ref document: EP

Kind code of ref document: A1