WO2019142527A1 - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
WO2019142527A1
WO2019142527A1 PCT/JP2018/044570 JP2018044570W WO2019142527A1 WO 2019142527 A1 WO2019142527 A1 WO 2019142527A1 JP 2018044570 W JP2018044570 W JP 2018044570W WO 2019142527 A1 WO2019142527 A1 WO 2019142527A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pattern
image display
unit
gesture
Prior art date
Application number
PCT/JP2018/044570
Other languages
English (en)
French (fr)
Inventor
裕美 福島
悠介 中村
川前　治
学 勝木
恵 藏知
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to US16/963,274 priority Critical patent/US11360568B2/en
Priority to CN201880070395.9A priority patent/CN111279677A/zh
Publication of WO2019142527A1 publication Critical patent/WO2019142527A1/ja
Priority to US17/742,589 priority patent/US11662831B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Definitions

  • the present invention relates to an image display apparatus and an image display method.
  • a head-mounted image display apparatus is used to support work in factory work and equipment maintenance work. Workers often hold articles required for their intended work, and it is required that the input method to the image display device be simple. As a simple input method, voice operation, gesture operation, etc.
  • An input means by means of
  • a three-dimensional recognition technique using a distance image is used to perform recognition of an object and recognition of motion.
  • a method has been devised in which a distance between an image display unit and an object is measured using a TOF (Time Of Flight) sensor to realize gesture recognition.
  • TOF Time Of Flight
  • An object of the present invention is to provide an image display apparatus and a display method that can reduce the burden on the user when worn.
  • An image display apparatus mountable on the head of a user according to a representative embodiment of the present invention, which converts an optical image captured by a plurality of light receiving elements arranged in an array on an imaging surface into an image signal And an image sensor for outputting the light, a modulator provided on the light receiving surface of the image sensor, having a first pattern including a plurality of different patterns, and modulating light intensity, and an image of light transmitted through the modulator
  • the image data obtained by receiving light by the sensor is divided according to the plurality of patterns included in the first pattern, and the image is restored by calculation using the second pattern corresponding to the first pattern, and the user's gesture is
  • a gesture detection unit for acquiring an image to be detected, and a gesture for identifying a user's gesture using the image acquired by the gesture detection unit and recognizing an instruction corresponding to the specified gesture
  • a catcher recognition section those having an image display unit for displaying a result of response to the instruction that has been recognized by the gesture recognition unit.
  • the burden on the user when worn can be reduced.
  • FIG. 7 illustrates an example of combining initial phases in fringe scanning. It is a figure which shows the Example of the pattern for imaging
  • FIG. 7 illustrates an embodiment of dynamically changing the position of a modulator.
  • FIG. 7 illustrates an embodiment of dynamically changing the position of a modulator.
  • FIG. 7 illustrates an example of a valid pattern of a modulator. It is a figure which shows the structure of an image sensor, and the relationship between an optical axis. It is a figure which shows the structure of an image sensor, and the relationship between an optical axis. It is a figure which shows the structure of an image sensor, and the relationship between an optical axis. It is a figure which shows the structure of an image sensor, and the relationship between an optical axis. It is a figure which shows the structure of an image sensor, and the relationship between an optical axis. It is a figure which shows the visual field by the relationship of an image sensor and the pattern for imaging
  • FIG. 1 is a view schematically showing an image display apparatus according to the first embodiment.
  • An image display apparatus 101A according to an embodiment of the present invention is an eyeglass-type image display apparatus (an image display apparatus mountable on the head of a user), and is an apparatus for displaying an image at a position corresponding to a so-called lens position of eyeglasses. It is.
  • the image display device 101A includes a distance measurement sensor unit 102, an image display unit 103, and a light source unit 104.
  • the image display device 101A is an example in which an image display function and an arithmetic processing function are integrated with the image display device 101 worn on the head.
  • the image display device 101A displays information (for example, an image or the like) on the image display unit 103 located at a position corresponding to the lens portion of the glasses.
  • the image display device 101A identifies the user's gesture by the distance measurement sensor unit 102 or the like, recognizes an operation (instruction) corresponding to the identified gesture, and displays it on the image display unit 103 according to the recognized operation.
  • Change the content to be As shown in FIG. 1, the image display device 101 ⁇ / b> A is an eyeglass-type device, but is not limited to this, as long as it can be worn on the head.
  • the image display unit 103 may not be provided at a position corresponding to both eyes, as long as it is provided at a position corresponding to one eye.
  • the distance measurement sensor unit 102 may be provided not at the center of the image display device 101 but at the end of the device. In this case, as compared with the case where the distance measurement sensor unit 102 is installed at the center, the distance measurement sensor unit 102 becomes less noticeable, and the design can be improved.
  • the light source unit 104 is set in advance so as to be able to irradiate an area larger than the distance measurement range of the distance measurement sensor unit 102.
  • the illumination range of one light source is narrow, a plurality of light sources are provided.
  • the light source units 104 may be provided on both sides of the image display device 101. Thereby, the irradiation range can be expanded.
  • FIG. 2 is a diagram showing a functional configuration of the image display device 101A according to the first embodiment.
  • the image display device 101A includes a distance measurement sensor unit 102, an image display unit 103, a light source unit 104, an overall control unit 203, a light source control unit 204, a gesture detection unit 206, an image division unit 208, and image processing.
  • the unit 209 includes a distance measurement processing unit 210, a gesture recognition unit 213, an image display control unit 214, a camera control unit 216, and a camera unit 217.
  • the distance measurement sensor unit 102 is a part that captures an image of a subject. Details will be described later.
  • the image display unit 103 is a part that displays an image, and is a display device or the like.
  • the light source unit 104 is a portion that emits light. For example, the light source unit 104 emits near infrared light.
  • the overall control unit 203 is a central processing unit and is a portion that performs overall control in the image display device 101A.
  • the overall control unit 203 is realized by, for example, a CPU (Central Processing Unit) or the like.
  • the light source control unit 204 controls the light source unit 104, and operates the light source unit 104 at predetermined intervals.
  • the light source control unit 204 is realized by a CPU or the like.
  • the gesture detection unit 206 is a part that controls the distance measurement sensor unit 102 and acquires an image for detecting a gesture based on the image data obtained from the distance measurement sensor unit 102.
  • the gesture detection unit 206 is realized by a GPU (Graphics Processing Unit) or the like.
  • the gesture detection unit 206 includes an image division unit 208, an image processing unit 209, and a distance measurement processing unit 210.
  • the gesture detection unit 206 sends the image to the gesture recognition unit 213. Details of the gesture detection unit 206 will be described later.
  • the gesture recognition unit 213 is a part that recognizes a gesture based on the image detected by the gesture detection unit 206 and executes processing according to the gesture.
  • the gesture recognition unit 213 is realized by a CPU or the like.
  • the gesture recognition unit 213 analyzes the acquired image, specifies a gesture of an object (for example, a user's hand), and specifies the specified movement. Recognize the gesture by recognizing the corresponding instruction.
  • the gesture recognition unit 213 stores information in which a gesture and the meaning of the gesture are associated in advance, and recognizes an instruction indicated by the specified gesture.
  • the gesture recognition unit 213 When the gesture recognition unit 213 recognizes a gesture, the gesture recognition unit 213 sends an instruction signal to the image display control unit 214 based on the meaning of the gesture.
  • the image display control unit 214 is a part that controls the image display unit 103, receives an instruction signal from the gesture recognition unit 213 or the like, and causes the image display unit 103 to display an image based on the instruction signal. For example, upon receiving an instruction signal indicating enlargement of the image being displayed on the image display unit 103, the image display control unit 214 causes the image being displayed to be enlarged.
  • the camera control unit 216 controls the camera unit 217, and operates the camera unit 217 upon receiving an instruction signal from the overall control unit 203 or the like. Further, when the camera control unit 216 acquires an image from the camera unit 217 as a result of operating the camera unit 217, the camera control unit 216 sends the image to the image display control unit 214.
  • the camera unit 217 is an imaging unit, and is a part that captures a still image, a moving image, and the like of the outside world.
  • the camera unit 217 captures an image of the outside world according to an instruction signal from the camera control unit 216, and sends the captured result to the camera control unit 216.
  • FIG. 3 is a flowchart showing a procedure of recognizing a user's gesture by the image display apparatus 101A and performing processing according to the recognized gesture.
  • the overall control unit 203 performs overall control of the process shown in FIG.
  • the light source control unit 204 controls the light source unit 104 to adjust the amount of light to be irradiated and irradiate light (step S1).
  • the gesture detection unit 206 acquires an image for detecting a gesture based on the image data acquired by the distance measurement sensor unit 102 (step S2).
  • the gesture recognition unit 213 recognizes a gesture based on the image acquired by the gesture detection unit 206 (step S3).
  • the image display control unit 214 performs display control in accordance with the instruction signal according to the recognition result by the gesture recognition unit 213 (step S4), and ends the process.
  • FIG. 4 is an explanatory view showing an example of a basic configuration of an imaging device using the distance measurement sensor unit 102 in the present embodiment.
  • the distance measurement sensor unit 102 acquires an image of an external object without using a lens for forming an image, and as shown in FIG. 4, the image obtained by the distance measurement sensor unit 102 is used as a gesture detection unit 206. To perform the operation.
  • FIG. 5 is a view showing a structural example of the distance measurement sensor unit 102.
  • the distance measurement sensor unit 102 includes an image sensor 803, a pattern substrate 804, and a photographing pattern 805 (first pattern).
  • the pattern substrate 804 is fixed in close contact with the light receiving surface of the image sensor 803, and has a configuration in which the imaging pattern 805 is formed on the pattern substrate 804.
  • the pattern substrate 804 is made of, for example, a material transparent to visible light, such as glass or plastic.
  • the photographing pattern 805 is formed, for example, by vapor-depositing a metal such as aluminum or chromium by a sputtering method used in a semiconductor process. Aluminum is tinted by the deposited and undeposited patterns.
  • the formation of the photographing pattern 805 is not limited to this, and any method may be used as long as it can realize modulation of transmittance, such as shading by printing with an inkjet printer or the like. Good.
  • visible light is described here as an example, for example, when photographing far-infrared rays, the pattern substrate 804 is made of a material transparent to far-infrared rays such as germanium, silicon, chalcogenide, etc. A material that is transparent to the wavelength to be imaged may be used, and the imaging pattern 805 may be a material that blocks light.
  • the method of forming the photographing pattern 805 on the pattern substrate 804 can be realized by a structure in which the photographing pattern 805 is formed into a thin film and held by the support member 801 as shown in FIG.
  • the photographing angle of view can be changed by the thickness of the pattern substrate 804. Therefore, for example, if the pattern substrate 804 has the configuration shown in FIG. 6 and has a function capable of changing the length of the support member 801, it is also possible to change the angle of view at the time of photographing.
  • pixels 803a which are light receiving elements, are regularly arranged in a grid (array).
  • the image sensor 803 converts the light image received by the pixel 803 a into an image signal which is an electrical signal.
  • the image signal output from the image sensor 803 is subjected to image processing by the gesture detection unit 206 and output to the gesture recognition unit 213.
  • the image sensor 803 converts an optical image captured by the plurality of light receiving elements arranged in an array on the imaging surface into an image signal and outputs the image signal.
  • the light transmitted through the photographing pattern 805 is modulated in light intensity by the photographing pattern 805, and the transmitted light is received by the image sensor 803.
  • the image signal output from the image sensor 803 is subjected to image processing by the image processing unit 209 included in the gesture detection unit 206, and is output to the gesture recognition unit 213.
  • the photographing pattern 805 is a concentric pattern in which the pitch becomes finer in inverse proportion to the radius from the center, and using the radius r from the reference coordinates which is the center of the concentric circles, the coefficient ⁇ , Define as It is assumed that the imaging pattern 805 is modulated in transmittance in proportion to this equation.
  • FIG. 7 shows an example of the Gabor zone plate of Formula 1
  • FIG. 8 shows an example of the Fresnel zone plate obtained by binarizing Formula 1 with the threshold value 1. From here onwards, for simplicity, only the x-axis direction will be described by a mathematical expression, but it is possible to consider developing in a two-dimensional manner by similarly considering the y-axis direction.
  • the image processing unit 209 calculates the shift amount by calculating the cross-correlation function between the projected image of the imaging pattern 805 (FIG. 10) and the development pattern 1501 (FIG. 11), which is the second pattern. Get the k bright spots (FIG. 12).
  • cross-correlation calculation is performed by a two-dimensional convolution calculation, the amount of calculation increases, so the principle will be described using mathematical expressions for an example of calculation using Fourier transform.
  • the developing pattern 1501 uses the Gabor zone plate or the Fresnel zone plate in the same manner as the photographing pattern 805, the developing pattern 1501 uses the initial phase ⁇ . It can be expressed. Since the development pattern 1501 is used in image processing, it is not necessary to make it offset by 1 as in the equation 1, and it is not a problem if it has a negative value.
  • the Fourier transforms of equations 1 and 3 are respectively become that way.
  • F represents a Fourier transform operation
  • u is a frequency coordinate in the x direction
  • ⁇ with parentheses is a delta function.
  • the image processing unit 29 may directly generate the development pattern after Fourier transform based on this equation. This can reduce the amount of computation.
  • exp (-iku) represented by this exponential function is a signal component, and Fourier transforming this term ,
  • the bright spot can be obtained at the position of k on the original x-axis. This bright spot indicates a light flux at infinity, which is nothing but an image photographed by the distance measurement sensor unit 102 in FIG.
  • the autocorrelation function of the pattern may be realized by a pattern not limited to the Fresnel zone plate or the Gabor zone plate, for example, a random pattern.
  • the image processing unit 209 generates moiré fringes (FIG. 13) by multiplying the projection image (FIG. 10) of the imaging pattern 805 (FIG. 10) and the development pattern 1501 (FIG. 11). By doing this, a bright spot (FIG. 14) of the shift amount k.beta./.pi. Is obtained. If this moiré fringe is shown by a formula, It becomes.
  • the third term of this expansion is the signal component, and it can be seen that straight stripes equidistantly straight in the direction of the two pattern deviations are created over the overlapping area.
  • the fringes produced at relatively low spatial frequencies due to the superposition of such fringes and fringes are called moire fringes.
  • the image processing unit 209 performs noise cancellation based on the fringe scan.
  • the image processing unit 209 performs noise cancellation based on the fringe scan.
  • Equations 10 and 11 are shown in the form of integral, in fact, the same effect can be obtained by calculating the sum of combinations of ⁇ as shown in FIG. Like this combination, ⁇ may be set to equally divide the angle between 0 and 2 ⁇ .
  • the image processing unit 209 performs processing using a photographing pattern 805 having a plurality of initial phases as shown in FIG. After acquiring one image, the image processing unit 209 divides the image into four corresponding to the pattern of each initial phase in the image processing unit 209, and carries out a fringe scan operation.
  • FIG. 17 is a flowchart showing an outline of the case where the image processing unit 209 uses the correlation developing method.
  • the image processing unit 209 acquires a plurality of sensor images output from the image sensor 803 by space division fringe scan, and performs two-dimensional fast Fourier transform (FFT) operation on each sensor image. (Step S11).
  • the image processing unit 209 generates a development pattern 1501 used for development processing by performing development pattern FFT calculation (step S12).
  • the image processing unit 209 performs a fringe scan operation based on Equation 10 (step S13), and performs an inverse two-dimensional FFT operation (step S14).
  • the image processing unit 209 Since the calculation result is a complex number, the image processing unit 209 performs a realization process of converting the absolute value or the real part and converting the image to be photographed into a real number (step S15). Thereafter, the image processing unit 209 performs contrast enhancement processing (step S16), color balance adjustment (step S17), and the like on the obtained image, and outputs it as a captured image. Thus, the image processing by the image processing unit 209 is completed.
  • FIG. 18 is a flowchart showing an outline of the case where the image processing unit 209 uses the moire developing method.
  • the image processing unit 209 acquires a plurality of sensor images output from the image sensor 803 by space division fringe scanning. Subsequently, the image processing unit 209 generates a development pattern 1501 used for development processing (step S21), and performs fringe scan calculation with each sensor image based on Expression 11 (step S22).
  • the image processing unit 209 obtains a frequency spectrum by the two-dimensional FFT operation (step S23), and cuts out data of a necessary frequency region out of the frequency spectrum (step S24).
  • the subsequent processes are the same as the processes of steps S15 to S17 in FIG. 17, respectively.
  • FIG. 19 shows how the imaging pattern 805 is projected onto the image sensor 803 when the subject described above is far.
  • a spherical wave from a point 2301 constituting a distant object becomes a plane wave while propagating a sufficiently long distance and illuminates the photographing pattern 805, and when the projected image 2302 is projected on the image sensor 803, the projected image is It has substantially the same shape as the photographing pattern 805.
  • a single bright spot can be obtained by performing development processing on the projected image 2302 using a development pattern.
  • FIG. 20 is an explanatory view showing that the projection of the imaging pattern 805 onto the image sensor 803 is enlarged by the imaging pattern 805 when the object to be imaged is at a finite distance.
  • the gesture detection unit 206 can calculate as follows.
  • a single bright spot can not be obtained if development processing is performed using the development pattern designed for parallel light as it is. Therefore, if the development pattern 1501 is enlarged in accordance with the projection image of the imaging pattern 805 expanded uniformly, a single bright spot can be obtained again for the enlarged projection image 2402 it can. For this purpose, correction is possible by setting the coefficient ⁇ of the development pattern 1501 to ⁇ / ⁇ 2 .
  • distance measurement can be performed as a distance measurement sensor.
  • FIG. 21 shows the configurations of the distance measurement sensor unit 102 and the gesture detection unit 206.
  • the distance measurement sensor unit 102 includes a modulator 2502 and an image sensor 803.
  • the modulator 2502 is configured of, for example, the pattern substrate 804 and the imaging pattern 805 in FIG. 5.
  • the pattern of the modulator 2502 (the photographing pattern 805) is, for example, a plurality of patterns of initial phases such as the patterns of initial phases ⁇ of ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ in FIG. It is a configuration arranged in a dimensional manner. That is, the photographing pattern 805 includes a plurality of different patterns.
  • the image dividing unit 208 divides the output of the image sensor 803 into regions corresponding to the respective patterns of the modulator 2502, and sequentially transmits the regions to the image processing unit 209 of the gesture detecting unit 206.
  • the image dividing unit 208 of the gesture detecting unit 206 divides the image data obtained by receiving light by the image sensor 803 into regions corresponding to the respective patterns of the modulator 2502. That is, the image dividing unit 208 of the gesture detecting unit 206 divides the image according to the plurality of patterns included in the photographing pattern 805.
  • the image sensor output is divided into 2 ⁇ 2 areas.
  • the subsequent processing of the image processing unit 209 is the same as the processing of FIG. 17 to FIG.
  • the distance measurement processing unit 210 for example, the development pattern 1501 is adjusted, and the calculation of the image processing unit 209 is performed again to acquire the distance at an arbitrary position.
  • the modulator 2502 has a photographing pattern 805 provided on the light receiving surface of the image sensor 803, and modulates the light intensity. That is, the gesture detection unit 206 can calculate the distance by calculating the distance from the above-described photographing pattern 805 to the point 2401. As described above, the gesture detection unit 206 restores an image by calculation based on the second pattern in units of divided images, and acquires an image for detecting a user's gesture. Note that the gesture detection unit 206 may collectively restore the image by a known calculation method without restoring the image in divided image units.
  • near infrared light is used as a light source installed in the image display device 101A.
  • a light source installed in the image display device 101A.
  • an infrared transmission filter or a band pass filter for transmitting infrared light reflected from the subject and blocking visible light is installed in the distance measuring sensor. 22 and 23 show installation examples of the infrared ray transmission filter.
  • FIG. 22 is a view in which the modulator 2502 is installed in the image sensor 803 and the infrared transmission filter 2601 is installed thereon.
  • the infrared transmission filter 2601 is installed next to the image sensor 803, and the modulator 2502 is installed thereon. By installing this filter, unnecessary light can be blocked and only infrared light reflected from the object can be received.
  • a gesture recognition area is realized for the convenience improvement of the gesture operation, such as realizing a more natural operation by performing the position where the gesture operation is performed outside the field of view of itself.
  • FIG. 24 shows an example in which the distance measurement sensor unit 102 is installed in parallel with the image display unit at the center of the glasses as shown in FIG.
  • the field of view of the distance measurement sensor that is, the gesture recognition area is an area indicated by 2803.
  • FIG. 25 shows an example in which the distance measurement sensor unit 102 is installed obliquely from the reference position by the mounting angle ⁇ in order to shift the gesture recognition area.
  • the gesture recognition area is an area shown by 2804
  • the gesture recognition area shown in FIG. 24 is an area shifted by an angle ⁇ .
  • the modulator 2502 of the distance measurement sensor unit 102 has the photographing pattern 805 including a plurality of different patterns, and modulates the light intensity.
  • the gesture detection unit 206 divides the image data obtained by receiving the light transmitted through the modulator 2502 by the image sensor 803, and divides the image data by the calculation using the development pattern 1501 corresponding to the photographing pattern 805 in divided units. Restore and acquire an image for detecting a user's gesture. As a result, the image of an external object can be acquired without using a lens for forming an image, so that the burden on the user when wearing can be reduced. That is, it is possible to realize a compact image display device capable of performing gesture recognition in an optimal gesture recognition area.
  • the present embodiment differs from the first embodiment in the configuration and mounting method of the distance measurement sensor unit 102. It shows that a smaller image display apparatus 101 can be realized as compared with the first embodiment.
  • FIG. 26 shows the configuration of the basic distance measurement sensor unit 102.
  • the center of the effective area of the image sensor 803 is defined as the sensor center (image sensor center)
  • the normal vector to the image sensor surface at the sensor center is defined as the sensor optical axis
  • the center of the imaging pattern 805 is the pattern center.
  • Image sensor 803 and the photographing pattern 805 is disposed so as parallel and sensor optical axis and the pattern centers are identical, the distance is a d F.
  • the field of view of the distance measurement sensor that is, the gesture recognition area is an area 3003 indicated by a straight line passing through the end of the image sensor 803 and the pattern center.
  • the configuration of the distance measuring sensor in this embodiment is shown in FIG.
  • the photographing pattern 805 is installed at a position where the pattern center is shifted from the sensor optical axis by the shift angle ⁇ .
  • the shift amount ⁇ F is Can be represented by
  • the gesture recognition area is an area 3103 indicated by a straight line passing the end of the image sensor 803 and the center of the pattern.
  • the center of the gesture recognition area can be [delta] F shifts, it is possible to reduce the protrusion of the distance measuring sensor portion of the case of installing the sensor diagonally.
  • FIG. 28 shows an example of the photographing pattern.
  • a plurality of initial phase patterns are two-dimensionally arranged.
  • the centers of each concentric pattern are shown at 3201, 3202, 3203, 3204, respectively.
  • a shape 3205, which connects the centers of concentric pattern with each other, is a point of 3206 that is the center of gravity of 3205 is 3206, and this 3206 is the center of the pattern for photographing.
  • FIGS. 29 and 30 An example of the method of shifting the imaging pattern will be described with reference to FIGS. 29 and 30.
  • the modulator 2502 itself is shifted and installed on the image sensor 803 so that the center of the imaging pattern is shifted as described above.
  • the position of the modulator 2502 itself is not changed, and only the photographing pattern is shifted. In either case, as described above, the same effect can be obtained by shifting the imaging pattern.
  • the image processing unit 209 shifts the image cutout position at the time of development processing in accordance with the shift amount and performs cutout processing.
  • the image display apparatus 101A achieves a more natural operation by performing the position where the gesture operation is performed outside the field of view range of the user by shifting the position of the imaging pattern 805. Can. As a result, the image display device 101A can improve the usability of the gesture operation.
  • the present embodiment differs from the first embodiment in that the position of the imaging pattern 805 of the modulator 2502 or the modulator 2502 is dynamically shifted.
  • An example of the head-mounted image display device 101 is shown.
  • the user's usability can be achieved by dynamically shifting the gesture recognition area so that the user can perform natural gestures according to posture states such as standing position and sitting position. Show that it improves.
  • FIG. 31 is a diagram showing a functional configuration of the image display device 101B according to the third embodiment.
  • the basic configuration is the same as that shown in FIG.
  • the image display apparatus 101 B includes a sensor unit 3504, a posture detection unit 3503 (posture specifying unit) that detects the posture of the user based on the information acquired by the sensor unit 3504, a gesture recognition area determination unit 3505, a distance measurement sensor control unit 3502 ( It further includes a modulator control unit and a liquid crystal display element control unit).
  • the sensor unit 3504 is, for example, a gyro sensor or a 9-axis sensor, and is a part that acquires information indicating the state of the user. By installing in the head-mounted image display device 101B, any information may be acquired as long as, for example, information such as angular velocity, acceleration, and geomagnetism is acquired to acquire the state of the user.
  • the sensor unit 3504 sends sensor information to the posture detection unit 3503.
  • the posture detection unit 3503 is a part that acquires sensor information from the sensor unit 3504 and detects the posture of the user based on the sensor information.
  • the posture detection unit 3503 is realized by, for example, a CPU or the like.
  • the posture detection unit 3503 sends the detected result to the distance measurement sensor control unit 3502.
  • the gesture recognition area determination unit 3505 is a part that determines an appropriate gesture recognition area according to the posture detected by the posture detection unit 3503.
  • the gesture recognition area determination unit 3505 is realized by a CPU or the like.
  • the gesture recognition area determination unit 3505 acquires the detection result from the posture detection unit 3503, and determines the gesture recognition area based on the acquired result.
  • the distance measurement sensor control unit 3502 displays a signal indicating a shift instruction of the modulator 2502 in the distance measurement sensor unit 102 or the imaging pattern 805 based on the determination. Send to
  • the distance measurement sensor control unit 3502 is a portion that shifts the position of the modulator 2502 or the photographing pattern 805 included in the distance measurement sensor unit 102.
  • the distance measurement sensor control unit 3502 shifts the position of the modulator 2502 of the distance measurement sensor unit 102 or the photographing pattern 805 based on the instruction signal acquired from the gesture recognition area determination unit 3505.
  • the distance measurement sensor control unit 3502 is realized by a CPU or the like. When the distance measurement sensor control unit 3502 acquires an instruction signal from the gesture recognition area determination unit 3505, the distance measurement sensor control unit 3502 shifts the modulator 2502 or the imaging pattern 805 in the distance measurement sensor unit 102 based on the instruction signal.
  • step S31 using the information of the user acquired by the sensor unit 3504, the posture detection unit 3503 detects the posture of the user, for example, postures such as standing position, sitting position, supine position, lateral recumbence position and the like.
  • step S32 the gesture recognition area determination unit 3505 determines an appropriate gesture recognition area according to the detected posture.
  • step S33 the distance measurement sensor control unit 3502 controls the position of the modulator corresponding to the gesture recognition area and the position of the imaging pattern of the modulator (modulator control).
  • steps S34 to S37 is the same as that of FIG.
  • the gesture recognition area is determined according to the posture.
  • the image display device 101B is provided with an input unit (setting unit) for the user to specify a gesture recognition area (shift amount), and gesture recognition is performed according to the hand (right hand or left hand) the user performs a gesture.
  • the area may be specified, or the gesture recognition area may be specified according to the application used by the user.
  • FIG. 33 and FIG. are views of the distance measurement sensor unit 102 installed in the image display device 101B as viewed from the image display device 101B side.
  • the modulator 2502 is shifted to the upper position in the drawing or shifted to the lower position.
  • the photographing pattern 805 is shifted to the position of upward or downward.
  • the shooting pattern 805 shifted upward is the shooting pattern 805A.
  • the photographing pattern 805 shifted downward is the photographing pattern 805B.
  • the modulator 2502 when it is desired to perform gesture operation in the upper position in the standing position, the modulator 2502 is shifted to the upper position.
  • the gesture recognition area In the case of sitting, for example, assuming that sitting on a chair and performing a gesture operation on a desk, it is convenient to shift the gesture recognition area downward from the front, so the photographing pattern 805 of the modulator 2502 is downward. Shift to the position of. This is an example in the standing position and sitting position, and the gesture recognition area can be dynamically changed by shifting the position of the modulator 2502 so as to be a natural gesture operation according to the posture.
  • the imaging pattern 805 of the modulator 2502 is shifted to the lower left position in the drawing relative to the image sensor 803 or the imaging pattern 805 of the modulator 2502 is lower than the lower position in the drawing. It is shifting.
  • the modulator 2502 is shifted to the lower left position in the drawing, and the photographing pattern 805 is shifted (photographing pattern 805C).
  • the modulator 2502 is shifted to the lower right position in the drawing to shift the photographing pattern 805 (photographing pattern 805 D).
  • the gesture recognition area can be dynamically changed by shifting the position of the modulator 2502 so that the gesture operation becomes natural according to the hand of the user performing the gesture.
  • a method of shifting the position of the modulator 2502 a method of mechanically shifting the modulator 2502 may be used, or a method of electrically shifting only the pattern may be used.
  • a mechanism for moving the modulator 2502 is necessary, which may cause an increase in the size of the device.
  • the configuration of the image sensor 803 is shown in FIG.
  • a plurality of imaging patterns 805 are realized on the modulator 2502. This may be a film realized by printing or the like.
  • a liquid crystal display element 3901 is disposed thereon. As shown in FIGS. 36 (a) and 36 (b), the liquid crystal display element is shown in white with a portion transmitting light and in black with a portion blocking light.
  • the modulator 2502 When combined with the modulator 2502 by switching the liquid crystal display element, it becomes possible to display a photographing pattern at a position corresponding to a portion transmitting light as shown in FIGS. 37 (a) and 37 (b). It is possible to shift the shooting pattern 2502 dynamically.
  • the distance measurement sensor control unit 3502 controls the liquid crystal display element of the distance measurement sensor unit 102 by determining the portion to block the light based on the detection result by the posture detection unit 3503. Further, the distance measurement sensor control unit 3502 notifies the gesture detection unit 206 of the location to be blocked.
  • the gesture detection unit 206 specifies a shooting pattern of a portion transmitting light, which is specified from the blocking position, and generates a development pattern corresponding to the shooting pattern.
  • the image display device 101B can be adjusted to the area assumed to be a gesture by the user by changing the position of the imaging pattern 805 according to the posture of the user. That is, for example, the image display device 101B can improve the usability of the user by dynamically shifting the gesture recognition area according to the posture state of the user such as standing position and sitting position and the hand performing the gesture.
  • the present embodiment differs in that the structure of the distance measuring sensor described in the first to third embodiments is changed.
  • FIG. 39 is a view showing a part of the light receiving element array 4201 and the micro lens array 4202.
  • a light receiving element 4301 for one pixel of the light receiving element array 4201 and a micro lens 4302 of the micro lens array 4202 are shown.
  • the center of the microlens 4302 is taken as a center 4303.
  • the micro lens 4302 has a role of collecting light on the light receiving element.
  • FIG. 39 shows a state when a parallel light beam is incident.
  • CRA characteristic Chief Ray Angle characteristic
  • FIG. 40 is a diagram showing an example of light reception at a standard incident angle. As shown in FIG. 40, the parallel luminous flux 4403 can be collected by the light receiving element and received.
  • FIG. 41 is a diagram showing an example of light reception when the incident angle is large. As shown in FIG. 41, the parallel beam 4504 when the incident angle is large is not collected on the light receiving element 4301 and can not be received.
  • an electrode 4304 or the like for extracting charge from the light receiving element is disposed between the light receiving element 4301 and the adjacent light receiving element 4301, it is shielded by this and light is received by the adjacent light receiving element 4301. I can not do it either.
  • the angle of the parallel beam 4403 shown in FIG. 40 is the limit angle that can be received, and affects the angle range that can be received by the image sensor, that is, the CRA characteristic.
  • FIG. 42 is used to show the gesture recognition range when the modulator 2502 is shifted as described in the second embodiment or the third embodiment.
  • FIG. 42 is a diagram for explaining the gesture recognition range when the modulator 2502 is shifted. Since the light beam coming from the region 4604 shown in FIG. 42 can be received by the light receiving element array 4201 and the light beam coming from the region 4605 can not be received on the light receiving element array 4201, the viewing direction may be shifted depending on CRA characteristics. If you do, your view will be limited.
  • FIG. 43 is a view showing an arrangement example of the light receiving element array 4201 and the microlens array 4202. The entire microlens array 4202 is uniformly shifted.
  • FIG. 44 shows a part of the light receiving element array 4201 and the microlens array 4202.
  • FIG. 44 is a view showing a part of the light receiving element array 4201 and the microlens array 4202.
  • the center 4804 of the microlens is shifted by the shift angle ⁇ from the center 4303 (center before shift) of the microlens shown in FIG.
  • This shift amount is the same as the shift angle in the modulator 2502. That is, assuming that the normal vector to the image sensor surface at the center of each light receiving element is the light receiving element optical axis, the light receiving element array 4201 and the micro lens array 4202 become parallel, and the center of the micro lens is the center of the image sensor
  • the light receiving element is installed so as to be at a position shifted from the optical axis of the light receiving element uniformly in the same direction as the direction shifted from.
  • the shift amount of the center of the micro lens is ⁇ L
  • the distance between the image sensor and the micro lens array is d L
  • the micro lens centers are set so as to be shifted from the light axis of the light receiving element uniformly by the angle ⁇ .
  • the gesture recognition range can be expanded by the configuration and method described above. Although this is not a problem when using an image sensor with high CRA characteristics, this method makes it possible to secure an optimal field of view.
  • the function of the display portion and the function of calculating image data may be divided by communication means. Good.
  • a device including the distance measurement sensor unit 102, the image display unit 103, and the light source unit 104, and an arithmetic device 107 (for example, a terminal device such as a smartphone) having a function of calculating image data. May be connected by wired or wireless communication means 106 to make the image display apparatus 101C.
  • the image data obtained by the distance measurement sensor unit 102 may be compressed and transmitted to the arithmetic device 107.
  • the present invention is not limited to the above embodiments, and includes various modifications.
  • the embodiments described above are described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the configurations, functions, processing units, processing means, etc. described above may be realized by hardware, for example, by designing part or all of them with an integrated circuit. Further, each configuration, function, etc. described above may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file for realizing each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive
  • control lines and information lines indicate what is considered to be necessary for the description, and not all control lines and information lines in the product are necessarily shown. In practice, almost all configurations may be considered to be mutually connected.
  • the present invention is applicable to an apparatus for displaying an image.
  • 101, 101A, 101B image display device, 102: distance measurement sensor unit, 103: image display unit, 104: light source unit, 106: communication means, 107: arithmetic unit, 203: overall control unit, 204: light source control unit, 206: Gesture detection unit 208: Image division unit 209: Image processing unit 210: Distance measurement processing unit 213: Gesture recognition unit 214: Image display control unit 216: Camera control unit 217: Camera unit 2502 ... Modulator, 3502 ... Distance measurement sensor control unit, 3503 ... Attitude detection unit, 3504 ... Sensor unit, 4201 ... Light receiving element array, 4202 ... Micro lens array, 4301 ... Light receiving element, 4302 ... Micro lens.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

測距センサ部１０２の変調器が、互いに異なる複数のパターンを含む撮影用パターンを有し、光の強度を変調する。ジェスチャ検出部は、変調器を透過した光を画像センサで受光して得られる画像データを分割し、分割した単位で、撮影用パターンに対応する現像用パターンによる演算により像を復元し、使用者のジェスチャを検出するための画像を取得する。これにより、結像させるレンズを用いることなく、外界の物体の画像を取得することができるので、使用者の装着時における負担を軽減することができる。

Description

画像表示装置および画像表示方法
　本発明は、画像表示装置および画像表示方法に関するものである。
　工場作業、機器メンテナンス作業における作業支援のため頭部装着型の画像表示装置が利用されている。作業者は目的の作業に必要な物品を把持している場合が多く、画像表示装置への入力方法が簡易であることが求められており、簡易に入力する方法として、音声操作やジェスチャ操作などによる入力手段が考案されている。
　ジェスチャ操作を実現するためには、ジェスチャを行う対象物を認識し、更に対象物の動作を認識する必要がある。対象物の認識や動作の認識を行うため距離画像を用いた３次元認識技術が用いられている。例えば、特許文献１のように、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサを用いて画像表示部と対象物との距離測定を行い、ジェスチャ認識を実現する方法が考案されている。
特開２０１５－２１３２１２号公報
　ジェスチャを認識するための距離画像の取得方法として、上記特許文献１に記載のようなＴＯＦセンサを用いることや、アクティブ型のＴＯＦ方式、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ方式の３次元測距センサを用いることや、パッシブ型としてステレオカメラ方式によるものなどが挙げられる。しかし、いずれも頭部装着型の画像表示装置に設置するには大型・高価であるといった課題がある。その結果、画像表示装置が大型化し使用者の負担となっている。
　また、前述の通り視野領域を最適化するため、広角レンズや魚眼レンズなどを使用することや、測距センサの設置方法を最適化することなどが挙げられる。しかし、これらも装置の大型化の要因となっている。この結果、装置を装着した使用者にとって、負担を強いることとなってしまう。
　本発明の目的は、使用者の装着時における負担を軽減できる、画像表示装置および表示方法を提供することである。
　本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
　本発明の代表的な実施の形態による使用者の頭部に装着可能な画像表示装置であって、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、画像センサの受光面に設けられ、互いに異なる複数のパターンを含む第１のパターンを有し、光の強度を変調する変調器と、変調器を透過した光を画像センサで受光して得られる画像データを第１のパターンに含まれる複数のパターンに合せて分割し、第１のパターンに対応する第２のパターンによる演算により像を復元し、使用者のジェスチャを検出するための画像を取得するジェスチャ検出部と、ジェスチャ検出部により取得された画像を用いて、使用者のジェスチャを特定し、特定したジェスチャに対応する指示を認識するジェスチャ認識部と、ジェスチャ認識部により認識された指示に応じた結果を表示する画像表示部と、を備えるものである。
　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
　すなわち、本発明の代表的な実施の形態によれば、使用者の装着時における負担を軽減することができる。
第１実施形態の画像表示装置の概略について示した図である。 第１実施形態による画像表示装置の機能構成を示す図である。 画像表示装置の実施例における処理フローを示す図である。 測距センサを用いた基本的な撮像装置の実施例を示す図である。 測距センサを用いた基本的な撮像装置における撮像部を示す図である。 測距センサを用いた基本的な撮像装置における撮像部を示す図である。 撮影用パターンまたは現像用パターンの実施例を示す図である。 撮影用パターンまたは現像用パターンの実施例を示す図である。 斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。 撮影用パターンの実施例の投影像を示す図である。 現像用パターンの実施例を示す図である。 相関現像方式による現像画像の実施例を示す図である。 モアレ現像方式によるモアレ縞の実施例を示す図である。 モアレ現像方式による現像画像の実施例を示す図である。 フリンジスキャンにおける初期位相の組合せの実施例を示す図である。 撮影用パターンの実施例を示す図である。 相関現像方式による画像処理部の実施例の処理フローを示す図である。 モアレ現像方式による画像処理部の実施例の処理フローを示す図である。 物体が無限距離にある場合に撮影用パターンが投影されることを示す図である。 物体が有限距離にある場合に撮影用パターンが拡大されることを示す図である。 画像表示装置のジェスチャ検出部の実施例を示す図である。 測距センサ部の実施例を示す図である。 測距センサ部の実施例を示す図である。 画像表示装置の概略図を示す図である。 画像表示装置の概略図を示す図である。 測距センサ部の画像センサと変調器の位置関係の概略図を示す図である。 測距センサ部の画像センサと変調器の位置関係の実施例を示す図である。 変調器のパターン中心を示す図である。 変調器の実施例を示す図である。 変調器の実施例を示す図である。 第３実施形態による画像表示装置の機能構成を示す図である。 第３実施形態における処理フローを示す図である。 変調器の位置を動的に変更する実施例を示す図である。 変調器の位置を動的に変更する実施例を示す図である。 画像センサの構造の概略図を示す図である。 液晶表示パターンの実施例を示す図である。 変調器の有効なパターンの実施例を示す図である。 画像センサの構造と光軸との関係を示す図である。 画像センサの構造と光軸との関係を示す図である。 画像センサの構造と光軸との関係を示す図である。 画像センサの構造と光軸との関係を示す図である。 画像センサと撮影用パターンの関係による視野を示す図である。 実施例における画像センサの構造を示す図である。 実施例における画像センサの構造と光軸の関係を示す図である。 実施例における画像センサの構造を示す図である。 他の実施形態に係る頭部装着型の画像表示装置の概略図を示す図である。
　以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。
　＜第１実施形態＞
　図１は、第１実施形態の画像表示装置の概略について示した図である。本発明の形態の画像表示装置１０１Ａは、眼鏡型の画像表示装置（使用者の頭部に装着可能な画像表示装置）であり、いわゆる眼鏡のレンズの位置に対応する箇所に画像を表示する装置である。画像表示装置１０１Ａは、測距センサ部１０２、画像表示部１０３、および光源部１０４を有する。画像表示装置１０１Ａは、頭部に装着する画像表示装置１０１に画像表示機能と演算処理機能が一体となっている例である。
　画像表示装置１０１Ａは、眼鏡のレンズ部分に対応する箇所に位置する画像表示部１０３に情報（例えば、画像等）を表示する。また、画像表示装置１０１Ａは、測距センサ部１０２等により使用者のジェスチャを特定し、特定したジェスチャに対応する操作（指示）を認識し、認識した操作に応じて、画像表示部１０３に表示する内容を変更する。図１に示すように、画像表示装置１０１Ａは、眼鏡型の装置であるが、これに限られず、頭部に装着できる形状であればよい。
　また、上記画像表示部１０３は、両目に対応される位置に備えられていなくてもよく、片目に対応される位置に備えられていればよい。また、測距センサ部１０２は、例えば、画像表示装置１０１の中央部でなく、装置の端部に備えられていてもよい。この場合、測距センサ部１０２を中央に設置する場合よりも、測距センサ部１０２が目立たなくなり、デザイン性を向上させることが可能である。
　また、光源部１０４は、測距センサ部１０２の測距範囲以上の領域を照射できるように予め設定されている。例えば、１つの光源の照射範囲が狭い場合、複数の光源を備えておく。例えば、画像表示装置１０１の両側に光源部１０４を備えるようにしてもよい。これにより、照射範囲を広げることができる。
　続いて、図２を用いて、第１実施形態による画像表示装置１０１における機能を説明する。図２は、第１実施形態による画像表示装置１０１Ａの機能構成を示す図である。図２に示すように、画像表示装置１０１Ａは、測距センサ部１０２、画像表示部１０３、光源部１０４、全体制御部２０３、光源制御部２０４、ジェスチャ検出部２０６、画像分割部２０８、画像処理部２０９、測距処理部２１０、ジェスチャ認識部２１３、画像表示制御部２１４、カメラ制御部２１６、およびカメラ部２１７を有する。
　測距センサ部１０２は、被写体を撮像する部分である。詳細は後述する。画像表示部１０３は、画像を表示する部分であり、ディスプレイ装置等である。光源部１０４は、光を照射する部分である。例えば、光源部１０４は、近赤外光を照射する。
　全体制御部２０３は、中央処理装置であり、画像表示装置１０１Ａにおける全体制御を行う部分である。全体制御部２０３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等により実現される。
　光源制御部２０４は、光源部１０４を制御する部分であり、所定間隔で光源部１０４を動作させる。光源制御部２０４は、ＣＰＵ等により実現される。
　ジェスチャ検出部２０６は、測距センサ部１０２を制御し、測距センサ部１０２から得られた画像データに基づいて、ジェスチャを検出するための画像を取得する部分である。ジェスチャ検出部２０６は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現される。ジェスチャ検出部２０６は、画像分割部２０８、画像処理部２０９、および測距処理部２１０を有する。ジェスチャ検出部２０６は、ジェスチャを検出するための画像を取得すると、当該画像をジェスチャ認識部２１３へ送出する。ジェスチャ検出部２０６の詳細は、後述する。
　ジェスチャ認識部２１３は、ジェスチャ検出部２０６により検出された画像に基づいてジェスチャを認識し、当該ジェスチャに応じた処理を実行する部分である。ジェスチャ認識部２１３は、ＣＰＵ等により実現される。ジェスチャ認識部２１３は、ジェスチャ検出部２０６からジェスチャを検出するための画像を取得すると、取得した画像を解析して、対象物（例えば、使用者の手）のジェスチャを特定し、特定した動きに対応する指示を認識することにより、ジェスチャを認識する。ジェスチャ認識部２１３は、予めジェスチャと当該ジェスチャの意味とを対応付けた情報を記憶しており、特定したジェスチャが示す指示を認識する。
　ジェスチャ認識部２１３は、ジェスチャを認識すると、当該ジェスチャの意味に基づいて、画像表示制御部２１４へ指示信号を送出する。
　画像表示制御部２１４は、画像表示部１０３を制御する部分であり、ジェスチャ認識部２１３等からの指示信号を受信し、当該指示信号に基づいて画像表示部１０３へ画像を表示させる。画像表示制御部２１４は、例えば、画像表示部１０３へ表示中の画像の拡大を示す指示信号を受信した場合、表示中の画像を拡大表示させる。
　カメラ制御部２１６は、カメラ部２１７を制御させる部分であり、全体制御部２０３等による指示信号を受信すると、当該カメラ部２１７を動作させる。また、カメラ制御部２１６は、カメラ部２１７を動作させた結果、カメラ部２１７から画像を取得すると、当該画像を画像表示制御部２１４へ送出する。
　カメラ部２１７は、撮像手段であり、外界の静止画・動画等を撮像する部分である。カメラ部２１７は、カメラ制御部２１６による指示信号に応じて、外界を撮像し、撮像した結果をカメラ制御部２１６へ送出する。
　続いて、図３を用いて、画像表示装置１０１による処理手順を説明する。図３は、画像表示装置１０１Ａにより使用者のジェスチャを認識して、認識したジェスチャに応じた処理をする手順を示すフローチャートである。全体制御部２０３が、図３に示した処理の全体制御を行う。
　まず、所定のタイミングで、光源制御部２０４が、光源部１０４を制御して、照射する光量を調整して、光を照射させる（ステップＳ１）。続いて、ジェスチャ検出部２０６は、測距センサ部１０２により取得した画像データに基づいて、ジェスチャを検出するための画像を取得する（ステップＳ２）。ジェスチャ認識部２１３は、ジェスチャ検出部２０６により取得された画像に基づき、ジェスチャを認識する（ステップＳ３）。画像表示制御部２１４は、当該ジェスチャ認識部２１３による認識結果による指示信号に応じて表示制御して（ステップＳ４）、処理を終了する。
　続いて、ジェスチャ検出部２０６および測距センサ部１０２の構成の詳細について説明する前に、測距センサ部１０２を用いた撮像および測距の基本的な原理を説明する。
　＜無限遠物体の撮影原理＞
　図４は、本実施形態における測距センサ部１０２を用いた撮像装置の基本的な構成の一例を示す説明図である。測距センサ部１０２は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図４に示すように、測距センサ部１０２で取得した画像を、ジェスチャ検出部２０６で演算を行うものである。
　図５を用いて測距センサ部１０２の構造を説明する。図５は、測距センサ部１０２の構造例を示す図である。測距センサ部１０２は、画像センサ８０３、パターン基板８０４、撮影用パターン８０５（第１のパターン）から構成されている。パターン基板８０４は、画像センサ８０３の受光面に密着して固定されており、パターン基板８０４に撮影用パターン８０５が形成された構成からなる。
　パターン基板８０４は、例えば、ガラスやプラスティックなどの可視光に対して透明な材料からなる。撮影用パターン８０５は、例えば、半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。
　なお、撮影用パターン８０５の形成はこれに限定されるものでなく、例えば、インクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。また、ここでは可視光を例に説明したが、例えば、遠赤外線の撮影を行う際には、パターン基板８０４は、例えば、ゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料を用い、撮影用パターン８０５は、遮断する材料を用いればよい。
　なお、ここでは撮影用パターン８０５をパターン基板８０４に形成する方法について述べたが、図６に示すように撮影用パターン８０５を薄膜に形成し、支持部材８０１により保持する構成などによっても実現できる。なお、この装置において、撮影画角はパターン基板８０４の厚さによって変更可能である。よって、例えば、パターン基板８０４が図６の構成であり、支持部材８０１の長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。
　図５に戻り、画像センサ８０３の表面には、受光素子である画素８０３ａが格子状（アレイ状）に規則的に配置されている。この画像センサ８０３は、画素８０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ８０３から出力された画像信号は、ジェスチャ検出部２０６によって画像処理されて、ジェスチャ認識部２１３へ出力される。このように、画像センサ８０３は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する。
　以上の構成において、撮影する場合には、撮影用パターン８０５を透過する光は、その撮影用パターン８０５によって光強度が変調され、透過した光は画像センサ８０３にて受光される。画像センサ８０３から出力された画像信号は、ジェスチャ検出部２０６に含まれる画像処理部２０９によって画像処理され、ジェスチャ認識部２１３へ出力される。
　続いて、測距センサ部１０２における撮影原理について説明する。まず、撮影用パターン８０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンであり、同心円の中心である基準座標からの半径ｒ、係数βを用いて、
Figure JPOXMLDOC01-appb-M000001
 と定義する。撮影用パターン８０５はこの式に比例して透過率変調されているものとする。
　このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図７に式１のガボールゾーンプレート、図８に式１を閾値１で２値化したフレネルゾーンプレートの例を示す。なお、ここより以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。
　撮影用パターン８０５が形成された厚さｄのパターン基板８０４に、図９に示すようにｘ軸方向に角度θ０で平行光が入射したとする。パターン基板８０４中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ８０３に入射する。このとき、
Figure JPOXMLDOC01-appb-M000002
 のような強度分布を持つ投影像が画像センサ８０３上で検出される。なお、Φは式１の透過率分布の初期位相を示す。この撮影用パターン８０５の投影像の例を図１０に示す。式２のようにｋシフトして投影される。これが測距センサ部１０２の出力となる。
　次に、画像処理部２０９における、相関現像方式とモアレ現像方式による現像処理について説明する。
　相関現像方式では、画像処理部２０９が、撮影用パターン８０５の投影像（図１０）と第２のパターンである現像用パターン１５０１（図１１）との相互相関関数を演算することにより、シフト量ｋの輝点（図１２）を得る。なお、一般的に相互相関演算を２次元畳込み演算で行うと演算量が大きくなることから、フーリエ変換を用いて演算する例について、数式を用いて原理を説明する。まず、現像用パターン１５０１は、撮影用パターン８０５と同様にガボールゾーンプレートやフレネルゾーンプレートを用いるため、現像用パターン１５０１は初期位相Φを用いて、
Figure JPOXMLDOC01-appb-M000003
 と表せる。現像用パターン１５０１は画像処理内で使用するため、式１のように１でオフセットさせる必要はなく、負の値を有していても問題ない。
式１、３のフーリエ変換はそれぞれ、
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
 のようになる。
　ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この式で重要なことはフーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、画像処理部２９は、この数式に基づいてフーリエ変換後の現像用パターンを直接的に生成してもよい。これにより演算量を低減可能である。次に、式４および５を乗算すると、
Figure JPOXMLDOC01-appb-M000006
 となる。この指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、
Figure JPOXMLDOC01-appb-M000007
 のように変換され、元のｘ軸においてｋの位置に輝点を得ることができる。この輝点が無限遠の光束を示しており、図５の測距センサ部１０２による撮影像にほかならない。
　なお、相関現像方式ではパターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。
　次にモアレ現像方式では、画像処理部２０９が、撮影用パターン８０５の投影像（図１０）と現像用パターン１５０１（図１１）を乗算することによりモアレ縞（図１３）を生成し、フーリエ変換することによりシフト量ｋβ／πの輝点（図１４）を得る。このモアレ縞を数式で示すと、
Figure JPOXMLDOC01-appb-M000008
 となる。この展開式の第３項が信号成分であり、２つのパターンのずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞をモアレ縞と呼ぶ。この第３項の２次元フーリエ変換は、
Figure JPOXMLDOC01-appb-M000009
 のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークがｕ＝±ｋβ／πの位置に生じることがわかる。この輝点が無限遠の光束を示しており、図５の測距センサ部１０２による撮影像にほかならない。このように、画像処理部２０９は、第２のパターンによる演算により像を復元する。
　＜ノイズキャンセル＞
　式６から式７への変換、また式８から式９への変換において信号成分に着目したが、実際には信号成分以外の項が現像を阻害する。そこで、画像処理部２０９が、フリンジスキャンに基づくノイズキャンセルを行う。三角関数の直交性を利用することで、相関現像方式では、
Figure JPOXMLDOC01-appb-M000010
 のように式６の乗算結果をΦに関して積分すると、ノイズ項がキャンセルされ信号項の定数倍が残ることになる。同様にモアレ現像方式では、
Figure JPOXMLDOC01-appb-M000011
 のように式８の乗算結果をΦに関して積分すると、ノイズ項がキャンセルされ信号項の定数倍が残ることになる。
　なお、式１０、１１は積分の形で示しているが、実際には、図１５に示すようなΦの組合せの総和を計算することによっても同様の効果が得られる。この組合せのように、Φは０～２πの間の角度を等分するように設定すればよい。
　以上で説明したフリンジスキャンでは、撮影用パターン８０５として初期位相の異なる複数のパターンを使用する必要がある。これを実現するため、例えば空間分割でパターンを切り替える方法がある。
　空間分割フリンジスキャンを実現するために、画像処理部２０９は、図１６に示すように複数の初期位相を有する撮影用パターン８０５を使用して処理を行う。画像処理部２０９は、１つの画像を取得後、画像処理部２０９においてそれぞれの初期位相のパターンに対応して４つに分割して、フリンジスキャン演算を実施する。
　続いて、説明した撮像原理に基づく画像処理部２０９による画像処理の概略について説明する。
　図１７は、画像処理部２０９において相関現像方式を使用した場合の概略を示すフローチャートである。まず、画像処理部２０９は、空間分割フリンジスキャンにより、画像センサ８０３から出力されるセンサ画像を複数枚取得し、各センサ画像に対して２次元高速フーリエ変換（ＦＦＴ：Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）演算を実施する（ステップＳ１１）。次に、画像処理部２０９は、現像用パターンＦＦＴ演算をすることにより、現像処理に使用する現像用パターン１５０１を生成する（ステップＳ１２）。続いて、画像処理部２０９は、式１０に基づいてフリンジスキャン演算を実施し（ステップＳ１３）、逆２次元ＦＦＴ演算する（ステップＳ１４）。
　画像処理部２０９は、この演算結果は複素数となるため、絶対値化もしくは実部を取り出して撮影対象の像を実数化して現像する実数化処理をする（ステップＳ１５）。その後、画像処理部２０９は、得られた画像に対してコントラスト強調処理（ステップＳ１６）、カラーバランス調整（ステップＳ１７）などを実施し、撮影画像として出力する。以上により、画像処理部２０９による画像処理が終了となる。
　対して、図１８は、画像処理部２０９においてモアレ現像方式を使用した場合の概略を示すフローチャートである。まず、画像処理部２０９は、空間分割フリンジスキャンにより、画像センサ８０３から出力されるセンサ画像を複数取得する。続いて、画像処理部２０９は、現像処理に使用する現像用パターン１５０１を生成し（ステップＳ２１）、式１１に基づいて各センサ画像とフリンジスキャン演算を実施する（ステップＳ２２）。画像処理部２０９は、これを２次元ＦＦＴ演算により周波数スペクトルを求め（ステップＳ２３）、この周波数スペクトルのうち必要な周波数領域のデータを切り出すスペクトル切出しを行う（ステップＳ２４）。以降の処理（ステップＳ２５～ステップＳ２７の処理）は、図１７におけるステップＳ１５～Ｓ１７の処理とそれぞれ同様である。
　＜有限距離物体の撮影原理＞
　次に、これまで述べた被写体が遠い場合における撮影用パターン８０５の画像センサ８０３への射影の様子を図１９に示す。遠方の物体を構成する点２３０１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン８０５を照射し、その投影像２３０２が画像センサ８０３に投影される場合、投影像は撮影用パターン８０５とほぼ同じ形状である。結果、投影像２３０２に対して、現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。
　一方、有限距離の物体に対する撮像について説明する。図２０は、撮像する物体が有限距離にある場合に撮影用パターン８０５の画像センサ８０３への射影が撮影用パターン８０５より拡大されることを示す説明図である。
　物体を構成する点２４０１からの球面波が撮影用パターン８０５を照射し、その投影像２４０２が画像センサ８０３に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、撮影用パターン８０５から点２４０１までの距離ｆを用いて、
Figure JPOXMLDOC01-appb-M000012
 のようにジェスチャ検出部２０６が、算出できる。
　そのため、平行光に対して設計された現像用パターンをそのまま用いて現像処理したのでは、単一の輝点を得ることができない。そこで、一様に拡大された撮影用パターン８０５の投影像に合わせて、現像用パターン１５０１を拡大させたならば、拡大された投影像２４０２に対して再び、単一の輝点を得ることができる。このためには、現像用パターン１５０１の係数βをβ／α２とすることで補正が可能である。
　これにより、必ずしも無限遠でない距離の点２３０１からの光を選択的に再生することができる。これによって、任意の位置に焦点を合わせて撮影を行うことができる。つまり、任意の位置までの距離が算出可能である。本原理により、測距センサとして距離測定が可能となる。
　以上の原理を踏まえ、本実施例におけるジェスチャ検出部２０６の構成について説明する。図２１に、測距センサ部１０２及びジェスチャ検出部２０６の構成を示す。測距センサ部１０２は、変調器２５０２、画像センサ８０３を有する。変調器２５０２は、例えば図５のパターン基板８０４、撮影用パターン８０５から構成されるものである。
　変調器２５０２のパターン（撮影用パターン８０５）は、例えば、図１６の初期位相Φがそれぞれ｛０、π／２、π、３π／２｝のパターンのように、複数の初期位相のパターンを２次元的に並べた構成である。すなわち、撮影用パターン８０５は、互いに異なる複数のパターンを含む。画像分割部２０８は、画像センサ８０３の出力を変調器２５０２の各パターンに応じた領域に分割し、ジェスチャ検出部２０６の画像処理部２０９に順次伝送する。このように、ジェスチャ検出部２０６の画像分割部２０８は、画像センサ８０３で受光して得られる画像データを、変調器２５０２の各パターンに応じた領域に分割する。すなわち、ジェスチャ検出部２０６の画像分割部２０８は、撮影用パターン８０５に含まれる複数のパターンに合せて分割する。
　図１６の例では、画像センサ出力を２×２の領域に分割するということである。以降の画像処理部２０９の処理は、図１７乃至図１８の処理と同等であるため説明を省略する。測距処理部２１０では、例えば、現像用パターン１５０１を調整し、再度画像処理部２０９の演算を行うことで任意位置の距離を取得する。
　このように、変調器２５０２は、画像センサ８０３の受光面に設けられた撮影用パターン８０５を有し、光の強度を変調する。すなわち、ジェスチャ検出部２０６は、上述の撮影用パターン８０５から点２４０１までの距離を算出することにより、距離を算出することができる。上述のように、ジェスチャ検出部２０６は、分割した画像単位で第２のパターンによる演算により像を復元し、使用者のジェスチャを検出するための画像を取得する。なお、ジェスチャ検出部２０６は、分割した画像単位で像を復元せずに、公知の演算手法により、まとめて復元するようにしてもよい。
　本実施例においては、画像表示装置１０１Ａに設置する光源として近赤外光を利用する。近赤外光を対象物に照射することで暗い室内においても測距が可能となる。不要な可視光を遮断するため、測距センサに、被写体から反射する赤外線光を透過させ、可視光を遮断する例えば赤外線透過フィルタまたはバンドパスフィルタを設置する。図２２及び図２３に赤外線透過フィルタの設置例を示す。
　図２２は、画像センサ８０３に変調器２５０２を設置、その上に赤外線透過フィルタ２６０１を設置した図である。図２３では、画像センサ８０３の次に赤外線透過フィルタ２６０１を設置、その上に変調器２５０２を設置した図である。本フィルタを設置することにより、不要な光を遮断し、対象物からの赤外線反射光のみを受光できる。
　次に、頭部装着型の画像表示装置において、例えば、ジェスチャ操作を行う位置を自身の視野範囲外で行うことでより自然な操作を実現するなど、ジェスチャ操作の使い勝手向上のため、ジェスチャ認識領域をシフトする方法について説明する。図２４に、図１に示したように眼鏡部分の中央部に、画像表示部と平行して測距センサ部１０２を設置した例を示す。
　このとき、測距センサの視野、つまりジェスチャ認識領域を２８０３で示す領域とする。図２５に、ジェスチャ認識領域をシフトするため、測距センサ部１０２を基準位置から取り付け角度θ分斜めに傾けて設置した例を示す。この場合、ジェスチャ認識領域は２８０４で示す領域となり、図２４で示したジェスチャ認識領域は角度θ分シフトした領域となる。
　上述のように、測距センサ部１０２の変調器２５０２が、互いに異なる複数のパターンを含む撮影用パターン８０５を有し、光の強度を変調する。ジェスチャ検出部２０６は、変調器２５０２を透過した光を画像センサ８０３で受光して得られる画像データを分割し、分割した単位で、撮影用パターン８０５に対応する現像用パターン１５０１による演算により像を復元し、使用者のジェスチャを検出するための画像を取得する。これにより、結像させるレンズを用いることなく、外界の物体の画像を取得することができるので、使用者の装着時における負担を軽減することができる。すなわち、最適なジェスチャ認識領域でジェスチャ認識が可能な小型の画像表示装置を実現することが可能となる。
　＜第２実施形態＞
　続いて、第２実施形態について説明する。本実施形態が第１実施形態と異なる点は、測距センサ部１０２の構成及び取り付け方法である。第１実施形態と比較し更に小型の画像表示装置１０１が実現できることを示す。
　図２６に、基本の測距センサ部１０２の構成を示す。まず、画像センサ８０３の有効領域の中心をセンサ中心（画像センサ中心）、当該センサ中心での画像センサ面に対する法線ベクトルをセンサ光軸、撮影用パターン８０５の中心をパターン中心と定義する。画像センサ８０３と撮影用パターン８０５は、平行かつセンサ光軸とパターン中心が一致するように設置されており、その距離はｄＦとする。
　このとき、測距センサの視野、つまりジェスチャ認識領域は、画像センサ８０３の端とパターン中心を通る直線で示す領域３００３となる。これを基本構成とした場合、本実施例における測距センサの構成を図２７に示す。撮影用パターン８０５は、パターン中心がセンサ光軸からシフト角度θ分シフトした位置に設置する。ここでシフト量δＦは
Figure JPOXMLDOC01-appb-M000013
 で表すことができる。
　このとき、ジェスチャ認識領域は画像センサ８０３の端とパターン中心を通る直線で示す領域３１０３となる。このように、図２６に比べて、ジェスチャ認識領域の中心をδＦシフトすることができ、センサを斜めに設置した場合の測距センサ部分の飛び出しを低減することが可能となる。
　ここで、撮影用パターン中心について説明する。図２８に、撮影用パターンの一例を示す。図１６で示したとおり、複数の初期位相のパターンを２次元的に並べた構成となっている。各同心円パターンの中心を３２０１、３２０２、３２０３、３２０４で示す。同心円パターンの中心同士を結んだ形状が３２０５、３２０５の重心となる点が３２０６であり、この３２０６が撮影用パターン中心となる。
　図２９及び図３０を用いて、撮影用パターンのシフト方法例を説明する。図２９の場合、画像センサ８０３に対し、前述の通り撮影用パターン中心がシフトするように、変調器２５０２そのものをシフトし設置する。対して、図３０の場合、変調器２５０２そのものの位置は変更せず、撮影用パターンのみをシフトしている。いずれの場合も前述のとおり撮影用パターンのシフトによる同等の効果が得られる。
　また、このように撮影用パターン中心をシフトすることにより、画像処理部２０９においては、シフト量に応じて現像処理時の画像切り出し位置をシフトして切り出し処理を行う。
　以上示した構成により、第１実施形態で示した頭部装着型の画像表示装置に測距センサを斜めに設置する場合に比べて、小型の画像表示装置を実現することが可能となる。また、画像表示装置１０１Ａは、上述のように、撮影用パターン８０５の位置をシフトしておくことにより、ジェスチャ操作を行う位置を自身の視野範囲外で行うことでより自然な操作を実現することができる。この結果、画像表示装置１０１Ａは、ジェスチャ操作の使い勝手を向上させることができる。
　＜第３実施形態＞
　本実施形態が第１実施形態と異なる点は、変調器２５０２または変調器２５０２の撮影用パターン８０５の位置を動的にシフトすることである。頭部装着型の画像表示装置１０１の例を示し、例えば、立位、座位などの姿勢状態によって使用者が自然なジェスチャを行えるよう、動的にジェスチャ認識領域をシフトすることにより使用者の使い勝手が向上することを示す。
　図３１は、第３実施形態による画像表示装置１０１Ｂの機能構成を示す図である。基本的な構成は図２と同様である。画像表示装置１０１Ｂは、センサ部３５０４と、センサ部３５０４で取得した情報により使用者の姿勢を検出する姿勢検出部３５０３（姿勢特定部）、ジェスチャ認識領域決定部３５０５、測距センサ制御部３５０２（変調器制御部、液晶表示素子制御部）をさらに備える。
　ここで、センサ部３５０４は、例えばジャイロセンサや９軸センサなどであり、使用者の状態を示す情報を取得する部分である。頭部装着型の画像表示装置１０１Ｂに設置することにより、例えば角速度、加速度、地磁気などの情報を取得し、使用者の状態を取得するものであれば、どのようなものでもよい。センサ部３５０４は、センサ情報を姿勢検出部３５０３へ送出する。
　姿勢検出部３５０３は、センサ部３５０４からセンサ情報を取得し、当該センサ情報に基づいて、使用者の姿勢を検出する部分である。姿勢検出部３５０３は、例えば、ＣＰＵ等により実現される。姿勢検出部３５０３は、検出した結果を測距センサ制御部３５０２へ送出する。
　ジェスチャ認識領域決定部３５０５は、姿勢検出部３５０３によって検出された姿勢に応じて適切なジェスチャ認識領域を決定する部分である。ジェスチャ認識領域決定部３５０５は、ＣＰＵ等により実現される。ジェスチャ認識領域決定部３５０５は、姿勢検出部３５０３から検出した結果を取得し、取得した結果に基づいて、ジェスチャ認識領域を決定する。ジェスチャ認識領域決定部３５０５は、当該ジェスチャ認識領域を決定すると、当該決定に基づいて、測距センサ部１０２内の変調器２５０２または撮影用パターン８０５のシフト指示を示す信号を測距センサ制御部３５０２へ送出する。
　測距センサ制御部３５０２は、測距センサ部１０２に含まれる変調器２５０２または撮影用パターン８０５の位置をシフトする部分である。測距センサ制御部３５０２は、ジェスチャ認識領域決定部３５０５から取得した指示信号に基づいて、測距センサ部１０２の変調器２５０２または撮影用パターン８０５の位置をシフトさせる部分である。測距センサ制御部３５０２は、ＣＰＵ等により実現される。測距センサ制御部３５０２は、ジェスチャ認識領域決定部３５０５から指示信号を取得すると、当該指示信号に基づいて測距センサ部１０２内の変調器２５０２または撮影用パターン８０５をシフトさせる。
　図３１で示した画像表示装置１０１Ｂの処理フロー（第３実施形態における処理フロー）について図３２を用いて説明する。ステップＳ３１では、センサ部３５０４で取得した使用者の情報を用いて、姿勢検出部３５０３で使用者の姿勢、例えば立位、座位、仰臥位、側臥位などの姿勢を検出する。次にステップＳ３２では、ジェスチャ認識領域決定部３５０５が、検出した姿勢に応じて適切なジェスチャ認識領域を決定する。ステップＳ３３では、測距センサ制御部３５０２がジェスチャ認識領域に対応した変調器の位置や変調器の撮影用パターン位置の制御（変調器制御）を行う。その後のステップＳ３４～Ｓ３７の処理は、図３と同様である。
　ここでは、姿勢に応じてジェスチャ認識領域を決定する例を示した。他の例として、画像表示装置１０１Ｂにジェスチャ認識領域（シフト量）を使用者が指定する入力手段（設定部）を具備し、使用者がジェスチャを行う手（右手・左手）に応じてジェスチャ認識領域を指定するものでもよく、使用者が使用するアプリケーションに応じてジェスチャ認識領域を指定するものでもよい。
　領域の指定においては、シフト方向または/及び角度などを指定できるものとする。このように柔軟にジェスチャ認識領域を設定できることにより、使用者の使用環境などに応じて自然なジェスチャ操作が実現でき、使用勝手が向上する。
　次に、図３３及び図３４を用いて変調器２５０２の撮影用パターン８０５のシフト例について説明する。これらは、画像表示装置１０１Ｂに設置した測距センサ部１０２を画像表示装置１０１Ｂ側から見た図である。
　図３３の例では、画像センサ８０３に対して、変調器２５０２を図の上方向の位置にシフト、または下方向の位置にシフトしている。これに伴い、撮影用パターン８０５を上方向または下方向の位置にシフトする。上方向にシフトした撮影用パターン８０５が撮影用パターン８０５Ａになる。また、下方向にシフトした撮影用パターン８０５が撮影用パターン８０５Ｂになる。
　例えば、立位の場合に上方でジェスチャ操作を行いたい場合、変調器２５０２を上方向の位置にシフトする。座位の場合は、例えば椅子に座り机上でジェスチャ操作を行うことを想定すると、ジェスチャ認識領域は正面よりも下方にシフトしている方が使い勝手が良いため、変調器２５０２の撮影用パターン８０５を下方の位置にシフトする。これは立位・座位においての一例であり、姿勢に応じて自然なジェスチャ操作となるよう、変調器２５０２の位置をシフトすることでジェスチャ認識領域を動的に変更できる。
　図３４の例では、画像センサ８０３に対して、変調器２５０２の撮影用パターン８０５を図の左斜め下の位置にシフトまたは、変調器２５０２の撮影用パターン８０５を図の右斜め下の位置にシフトしている。例えば、左手でジェスチャ操作を行う場合、変調器２５０２を図の左斜め下の位置にシフトして、撮影用パターン８０５がシフトされる（撮影用パターン８０５Ｃ）。右手でジェスチャを行う場合は変調器２５０２を図の右斜め下の位置にシフトして、撮影用パターン８０５がシフトされる（撮影用パターン８０５Ｄ）。このように使用者がジェスチャを行う手に応じて自然なジェスチャ操作となるよう、変調器２５０２の位置をシフトすることでジェスチャ認識領域を動的に変更できる。
　ここで、変調器２５０２の位置シフト方法について、機械的に変調器２５０２をシフトさせる方法でもよく、電気的にパターンのみをシフトさせる方法でもよい。但し、機械的に変調器２５０２をシフトさせる場合は変調器２５０２を移動させるための仕組みが必要となり、装置の大型化の要因となる可能性がある。
　そこで、安価に電気的にパターンのみをシフトさせる方法について説明する。図３５に画像センサ８０３の構成を示す。変調器２５０２上に、複数の撮影用パターン８０５を実現している。これは印刷などにより実現したフィルムを貼付したものでよい。その上に液晶表示素子３９０１を配置している。この液晶表示素子を図３６（ａ）、（ｂ）に示すように光を透過する部分を白、光を遮断する部分を黒で示す。液晶表示素子を切り替えることで変調器２５０２と組み合わせたとき、図３７（ａ）、（ｂ）のように光を透過する部分に対応した位置の撮影用パターンを表示することが可能となり、変調器２５０２の撮影用パターンを動的にシフトすることが可能となる。
　この場合、測距センサ制御部３５０２は、姿勢検出部３５０３による検出結果に基づいて、光を遮断する箇所を定めて、測距センサ部１０２の液晶表示素子を制御する。また、測距センサ制御部３５０２は、遮断する箇所をジェスチャ検出部２０６に通知する。ジェスチャ検出部２０６は、当該遮断する箇所から特定される、光を透過する部分の撮影用パターンを特定し、当該撮影用パターンに対応する現像用パターンを生成する。
　以上示した構成により、画像表示装置１０１Ｂは、使用者の姿勢に応じて、撮影用パターン８０５の位置を変えることにより、使用者がジェスチャすると想定される領域に合せることができる。すなわち、画像表示装置１０１Ｂは、例えば立位、座位などの使用者の姿勢状況やジェスチャを行う手に応じて動的にジェスチャ認識領域をシフトさせることで、使用者の使い勝手向上が可能となる。
　＜第４実施形態＞
　本発明に従った頭部装着型の画像表示装置１０１で使用する測距センサの構造の実施例を示し、視野の拡大を実現することを示す。
　本実施例では、第１実施形態乃至第３実施形態に示した測距センサの構造を変更している点が異なる。
　図３８に測距センサ部１０２における画像センサ８０３の基本的な構造を示す。図３８に示すように、画像センサ８０３は、受光素子アレイ４２０１とマイクロレンズアレイ４２０２とを有する。この一部分を図３９に示す。図３９は、受光素子アレイ４２０１とマイクロレンズアレイ４２０２との一部を示した図である。図３９では、受光素子アレイ４２０１の１画素分の受光素子４３０１と、マイクロレンズアレイ４２０２のマイクロレンズ４３０２を示す。なお、マイクロレンズ４３０２の中心を、中心４３０３とする。このマイクロレンズ４３０２は、受光素子に光を集光する役割がある。図３９は、平行光束が入射した際の様子を示している。次に、図４０及び図４１を用いて主光線入射角特性（ＣＲＡ特性：Ｃｈｉｅｆ　Ｒａｙ　Ａｎｇｌｅ特性）について説明する。
　図４０は、標準的な入射角の受光例を示す図である。図４０に示すように、平行光束４４０３は、受光素子に集光され受光することが出来る。図４１は、入射角が大きい場合の受光例を示す図である。図４１に示すように、入射角が大きくなった場合の平行光束４５０４は、受光素子４３０１上に集光されず受光できない。また、受光素子４３０１と隣接する受光素子４３０１との間には、受光素子からの電荷を取り出すための電極４３０４などが配置されているため、これに遮蔽され、隣の受光素子４３０１で受光することも出来ない。
　つまり、本例では、図４０に示した平行光束４４０３の角度が受光できる限界の角度となり、画像センサで受光可能な角度範囲、つまりＣＲＡ特性に影響する。
　以上を踏まえ、図４２を用いて、第２実施形態または第３実施形態で述べたように変調器２５０２をシフトした際のジェスチャ認識範囲について示す。図４２は、変調器２５０２をシフトした際のジェスチャ認識範囲を説明する図である。図４２に示す領域４６０４から入射する光線が受光素子アレイ４２０１で受光できる範囲となり、領域４６０５から入射する光線が受光素子アレイ４２０１上で受光できなくなるため、ＣＲＡ特性によっては視野方向をシフトすることが出来ても、視野が制限されてしまう。
　図４３を用いて、本実施形態に係る受光素子アレイ４２０１とマイクロレンズアレイ４２０２の配置例を説明する。図４３は、受光素子アレイ４２０１とマイクロレンズアレイ４２０２の配置例を示す図である。マイクロレンズアレイ４２０２全体を一様にシフトした構造とする。ここで、図４４に受光素子アレイ４２０１とマイクロレンズアレイ４２０２の一部を示す。図４４は、受光素子アレイ４２０１とマイクロレンズアレイ４２０２の一部を示した図である。
　図３９で示したマイクロレンズの中心４３０３（シフト前の中心）からマイクロレンズの中心４８０４をシフト角度θ分シフトしている。このシフト量は変調器２５０２におけるシフト角度と同じである。すなわち、各受光素子の中心での画像センサ面に対する法線ベクトルを受光素子光軸とすると、受光素子アレイ４２０１とマイクロレンズアレイ４２０２とが平行となり、マイクロレンズ中心が、パターン中心が画像センサの中心からシフトした方向と同一方向に一様に、受光素子光軸からシフトした位置となるように設置される。また、マイクロレンズの中心のシフト量はδＬとなり、画像センサとマイクロレンズアレイ間の距離をｄＬとすると、
Figure JPOXMLDOC01-appb-M000014
 で表すことができる。このように、マイクロレンズ中心が、受光素子光軸から一様に角度θ分シフトした位置となるように設置される。
　その結果、図４５に示すように、図４２では受光できなかった平行光束４５０４を光軸とする光束を受光することが可能となる。
　以上示した構成、及び方法によりジェスチャ認識範囲を拡大することが可能となる。高ＣＲＡ特性の画像センサを用いる場合においては問題とならないが、本方式により、最適な視野を確保することが可能となる。
　上述の第１実施形態～第４実施形態に記載の画像表示装置１０１Ａまたは画像表示装置１０１Ｂに限らず、表示部分の機能と、画像データを演算する機能とを、通信手段により分けるようにしてもよい。
　例えば、図４６に示すように、測距センサ部１０２、画像表示部１０３、および光源部１０４を備える装置と、画像データを演算する機能を有する演算装置１０７（例えば、スマートフォン等の端末装置）とを有線または無線による通信手段１０６により接続して、画像表示装置１０１Ｃとするようにしてもよい。
　この場合、測距センサ部１０２により得られた画像データを圧縮して、演算装置１０７へ送信するようにしてもよい。
　なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
　また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　本発明は、画像を表示する装置に利用可能である。
１０１、１０１Ａ、１０１Ｂ…画像表示装置、１０２…測距センサ部、１０３…画像表示部、１０４…光源部、１０６…通信手段、１０７…演算装置、２０３…全体制御部、２０４…光源制御部、２０６…ジェスチャ検出部、２０８…画像分割部、２０９…画像処理部、２１０…測距処理部、２１３…ジェスチャ認識部、２１４…画像表示制御部、２１６…カメラ制御部、２１７…カメラ部、２５０２…変調器、３５０２…測距センサ制御部、３５０３…姿勢検出部、３５０４…センサ部、４２０１…受光素子アレイ、４２０２…マイクロレンズアレイ、４３０１…受光素子、４３０２…マイクロレンズ。

Claims (11)

  1. 　使用者の頭部に装着可能な画像表示装置であって、
    　撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    　前記画像センサの受光面に設けられ、互いに異なる複数のパターンを含む第１のパターンを有し、光の強度を変調する変調器と、
    　前記変調器を透過した光を前記画像センサで受光して得られる画像データを前記第１のパターンに含まれる複数のパターンに合せて分割し、前記第１のパターンに対応する第２のパターンによる演算により像を復元し、前記使用者のジェスチャを検出するための画像を取得するジェスチャ検出部と、
    　前記ジェスチャ検出部により取得された画像を用いて、前記使用者のジェスチャを特定し、特定したジェスチャに対応する指示を認識するジェスチャ認識部と、
    　前記ジェスチャ認識部により認識された指示に応じた結果を表示する画像表示部と、
    を備える、画像表示装置。
  2. 　請求項１に記載の画像表示装置であって、
    　前記画像センサの有効領域の中心を画像センサ中心とし、当該画像センサ中心での画像センサ面に対する法線ベクトルをセンサ光軸、前記変調器における前記第１のパターンの中心をパターン中心として、前記画像センサと前記第１のパターンとが平行となり、前記パターン中心が前記センサ光軸からシフトした位置となるように、前記変調器および前記画像センサが設置されている、画像表示装置。
  3. 　請求項２に記載の画像表示装置であって、
    　前記第１のパターンのシフト量の設定を受け付ける設定部を有し、
    　前記設定部により設定されたシフト量に応じて、前記第１のパターンの位置がシフトされる、画像表示装置。
  4. 　請求項１または２に記載の画像表示装置であって、
    　前記使用者の姿勢状態を特定する姿勢特定部と、
    　前記姿勢特定部により特定された姿勢状態に基づいて、前記第１のパターンをシフトする変調器制御部と、
    をさらに備える、画像表示装置。
  5. 　請求項２に記載の画像表示装置であって、
    　前記画像センサと前記第１のパターンとの間の距離をｄとし、
    　前記パターン中心が前記センサ光軸からシフト角度θ分シフトした場合、
    　前記パターン中心のシフト量がｄ・ｔａｎθである、画像表示装置。
  6. 　請求項２乃至４の何れか一項に記載の画像表示装置であって、
    　前記第１のパターンおよび前記第２のパターンに含まれるパターンは、同心円の中心となる基準座標に対して、外側に向かうほど中心からの半径に反比例して細かくなる複数の同心円からなる、画像表示装置。
  7. 　請求項２に記載の画像表示装置であって、
    　前記画像センサは、アレイ状の複数のマイクロレンズを含み、
    　前記画像センサの各受光素子の中心での画像センサ面に対する法線ベクトルを受光素子光軸、マイクロレンズの中心をマイクロレンズ中心として、
    　前記画像センサの受光素子のアレイとマイクロレンズのアレイとが平行となり、
    　前記マイクロレンズ中心が、前記パターン中心が前記画像センサの中心からシフトした方向と同一方向に一様に前記受光素子光軸からシフトした位置となるように設置されている、画像表示装置。
  8. 　請求項５に記載の画像表示装置であって、
    　前記画像センサは、アレイ状の複数のマイクロレンズを含み、
    　前記画像センサの各受光素子の中心での画像センサ面に対する法線ベクトルを受光素子光軸、マイクロレンズの中心をマイクロレンズ中心として、前記マイクロレンズ中心が前記受光素子光軸から一様に角度θ分シフトした位置となるように設置されている、画像表示装置。
  9. 　請求項１乃至８の何れか一項に記載の画像表示装置であって、
    　前記使用者に赤外線を照射する光源部と、
    　前記光源部を制御する光源制御部と、
    　前記光源部から照射される赤外線光を透過させ、可視光をカットする赤外線透過フィルタと、をさらに備える、画像表示装置。
  10. 　請求項１に記載の画像表示装置であって、
    　前記変調器は、複数の第１のパターンを有し、
    　前記使用者の姿勢状態を特定する姿勢特定部と、
    　前記複数の第１のパターンの内、遮断部分を切替え可能な液晶表示素子と、
    　前記姿勢特定部により特定された姿勢状態に基づいて、前記液晶表示素子による遮断部分を切替える液晶表示素子制御部と
    をさらに備える、画像表示装置。
  11. 　使用者の頭部に装着可能な画像表示装置で実行する画像表示方法であって、
    　前記画像表示装置は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    　前記画像センサの受光面に設けられ、互いに異なる複数のパターンを含む第１のパターンを有し、光の強度を変調する変調器と、を備え、
    　前記画像表示装置は、
    　前記変調器を透過した光を前記画像センサで受光して得られる画像データを前記第１のパターンに含まれる複数のパターンに合せて分割し、前記第１のパターンに対応する第２のパターンによる演算により像を復元し、前記使用者のジェスチャを検出するための画像を取得するジェスチャ検出ステップと、
    　前記ジェスチャ検出ステップで取得した画像を用いて、前記使用者のジェスチャを特定し、特定したジェスチャに対応する指示を認識するジェスチャ認識ステップと、
    　前記ジェスチャ認識ステップで認識した指示に応じた結果を表示する画像表示ステップと、を実行する、画像表示方法。
PCT/JP2018/044570 2018-01-22 2018-12-04 画像表示装置および画像表示方法 WO2019142527A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/963,274 US11360568B2 (en) 2018-01-22 2018-12-04 Image display apparatus and image display method
CN201880070395.9A CN111279677A (zh) 2018-01-22 2018-12-04 图像显示装置和图像显示方法
US17/742,589 US11662831B2 (en) 2018-01-22 2022-05-12 Image display apparatus and image display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018007855A JP7061883B2 (ja) 2018-01-22 2018-01-22 画像表示装置および画像表示方法
JP2018-007855 2018-01-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/963,274 A-371-Of-International US11360568B2 (en) 2018-01-22 2018-12-04 Image display apparatus and image display method
US17/742,589 Continuation US11662831B2 (en) 2018-01-22 2022-05-12 Image display apparatus and image display method

Publications (1)

Publication Number Publication Date
WO2019142527A1 true WO2019142527A1 (ja) 2019-07-25

Family

ID=67302165

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044570 WO2019142527A1 (ja) 2018-01-22 2018-12-04 画像表示装置および画像表示方法

Country Status (4)

Country Link
US (2) US11360568B2 (ja)
JP (1) JP7061883B2 (ja)
CN (1) CN111279677A (ja)
WO (1) WO2019142527A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752386A (zh) * 2020-06-05 2020-10-09 深圳市欢创科技有限公司 一种空间定位方法、系统及头戴式设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7061883B2 (ja) * 2018-01-22 2022-05-02 マクセル株式会社 画像表示装置および画像表示方法
JP7213686B2 (ja) * 2018-12-28 2023-01-27 キヤノン株式会社 形状計測装置、制御方法及びプログラム
US10999540B1 (en) * 2019-04-03 2021-05-04 Apple Inc. Camera with asymmetric field of view
CN110109256A (zh) * 2019-06-24 2019-08-09 京东方科技集团股份有限公司 眼镜及其控制方法
WO2022208713A1 (ja) * 2021-03-31 2022-10-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014518596A (ja) * 2011-03-29 2014-07-31 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
JP2015180869A (ja) * 2014-03-04 2015-10-15 エクセリタス テクノロジーズ シンガポール プライヴェート リミテッド 受動型単画素熱センサシステムによる動作及びジェスチャ認識
WO2017145348A1 (ja) * 2016-02-26 2017-08-31 株式会社日立製作所 撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8890813B2 (en) * 2009-04-02 2014-11-18 Oblong Industries, Inc. Cross-user hand tracking and shape recognition user interface
US20120140096A1 (en) * 2010-12-01 2012-06-07 Sony Ericsson Mobile Communications Ab Timing Solution for Projector Camera Devices and Systems
JP5617581B2 (ja) * 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
US9746593B2 (en) * 2013-08-28 2017-08-29 Rambus Inc. Patchwork Fresnel zone plates for lensless imaging
KR102165818B1 (ko) * 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
JP6427942B2 (ja) 2014-05-01 2018-11-28 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
US9766715B2 (en) 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
WO2016021022A1 (ja) * 2014-08-07 2016-02-11 日立マクセル株式会社 投写型映像表示装置及びその制御方法
US9880634B2 (en) * 2015-03-20 2018-01-30 Optim Corporation Gesture input apparatus, gesture input method, and program for wearable terminal
CN107736012B (zh) * 2015-06-17 2021-09-10 麦克赛尔株式会社 摄像装置和图像生成方法
US10261584B2 (en) * 2015-08-24 2019-04-16 Rambus Inc. Touchless user interface for handheld and wearable computers
US9629201B2 (en) * 2015-09-21 2017-04-18 Qualcomm Incorporated Using Wi-Fi as human control interface
US10146375B2 (en) * 2016-07-01 2018-12-04 Intel Corporation Feature characterization from infrared radiation
JP7061883B2 (ja) * 2018-01-22 2022-05-02 マクセル株式会社 画像表示装置および画像表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014518596A (ja) * 2011-03-29 2014-07-31 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
JP2015180869A (ja) * 2014-03-04 2015-10-15 エクセリタス テクノロジーズ シンガポール プライヴェート リミテッド 受動型単画素熱センサシステムによる動作及びジェスチャ認識
WO2017145348A1 (ja) * 2016-02-26 2017-08-31 株式会社日立製作所 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752386A (zh) * 2020-06-05 2020-10-09 深圳市欢创科技有限公司 一种空间定位方法、系统及头戴式设备

Also Published As

Publication number Publication date
CN111279677A (zh) 2020-06-12
JP2019129327A (ja) 2019-08-01
JP7061883B2 (ja) 2022-05-02
US11662831B2 (en) 2023-05-30
US20200341558A1 (en) 2020-10-29
US11360568B2 (en) 2022-06-14
US20220283648A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
WO2019142527A1 (ja) 画像表示装置および画像表示方法
US11747641B2 (en) Imaging apparatus with cylindrical lenses
US10551532B2 (en) Imaging device and imaging method
CN108702440B (zh) 摄像装置
TWI658432B (zh) Camera
US9264696B2 (en) Apparatus and method for three-dimensional image capture with extended depth of field
JP2022010380A (ja) 二重混合光照射フィールドデバイス
CN110324513B (zh) 摄像装置，摄像模块和摄像方法
JP7282884B2 (ja) ３次元認証装置、３次元認証システム、携帯型情報端末および３次元認証方法
WO2020059181A1 (ja) 撮像装置および撮像方法
JP7278454B2 (ja) 画像表示装置
JP2023016864A (ja) 撮像装置および方法
JP6807286B2 (ja) 撮像装置及び撮像方法
JP2019087796A (ja) 撮像装置
JP7112504B2 (ja) 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法
JP7146698B2 (ja) 撮像装置、撮像方法、撮像システムの送信装置、及び撮像システムの受信装置
JP7159118B2 (ja) 撮像装置
CN110278350B (zh) 摄像装置
WO2020178905A1 (ja) 撮像装置及び撮像方法
JP2018157497A (ja) 双曲線パターンを使った撮影装置及び撮影方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900949

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18900949

Country of ref document: EP

Kind code of ref document: A1