WO2016157593A1 - 距離画像取得装置及び距離画像取得方法 - Google Patents

距離画像取得装置及び距離画像取得方法 Download PDF

Info

Publication number
WO2016157593A1
WO2016157593A1 PCT/JP2015/081305 JP2015081305W WO2016157593A1 WO 2016157593 A1 WO2016157593 A1 WO 2016157593A1 JP 2015081305 W JP2015081305 W JP 2015081305W WO 2016157593 A1 WO2016157593 A1 WO 2016157593A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
unit
image acquisition
projected
distance image
Prior art date
Application number
PCT/JP2015/081305
Other languages
English (en)
French (fr)
Inventor
浩昭 高尾
三沢　岳志
神谷　毅
智紀 増田
広大 藤田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to DE112015006383.8T priority Critical patent/DE112015006383B4/de
Priority to CN201580078151.1A priority patent/CN107709925B/zh
Priority to JP2017509153A priority patent/JP6247793B2/ja
Publication of WO2016157593A1 publication Critical patent/WO2016157593A1/ja
Priority to US15/710,379 priority patent/US9927223B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a distance image acquisition apparatus and a distance image acquisition method, and more particularly to a technique for projecting structured light that is two-dimensionally distributed on a subject in a distance measurement region and acquiring a distance image indicating the distance of the subject.
  • this type of distance image acquisition device projects a structured light pattern (dot pattern) distributed two-dimensionally onto a subject in a distance measurement area from a projection unit, images the subject by the imaging unit, A first image including a dot pattern that reflects above is acquired. Further, the subject is imaged by the imaging unit without projecting the dot pattern from the projection unit, and a second image serving as the background of the dot pattern is acquired. Then, the second image is subtracted from the first image, and the subtraction result (image of only the dot pattern) is stored in the memory. After that, a distance image (three-dimensional distance information) is calculated based on the triangulation method based on the subtraction result stored in the memory (Patent Document 1).
  • a distance image three-dimensional distance information
  • the non-patent literature attaches an electric motor (eccentric motor) in which an eccentric load is fixed to the rotating shaft to the bottom of the distance image acquisition device, and drives the eccentric motor during imaging of the subject, and the entire device Is vibrated at high frequency.
  • eccentric motor eccentric motor
  • the distance image acquisition device of the own device vibrates in synchronization with the projection unit and the imaging unit, so the dot pattern projected from the own device is imaged without blur, and the dot pattern projected from the other device is The image is blurred by the vibration of the imaging unit. Thereby, the dot pattern projected from the own device and the dot pattern projected from the other device are identified.
  • Non-Patent Document 1 Since the distance image acquisition device described in Non-Patent Document 1 vibrates the entire device by an eccentric motor, it is necessary to hold the entire device so as to be able to vibrate with a special holding device, which is not suitable for handheld use and is portable. There is a problem of lacking.
  • Non-Patent Document 1 since the distance image acquisition device described in Non-Patent Document 1 vibrates the entire device at a high frequency, the device to be vibrated (eccentric motor) becomes large and expensive, energy consumption increases, and noise is generated. There is a problem of doing.
  • the distance image acquisition device may be equipped with an imaging device that captures a black and white image or a color image.
  • an imaging device that captures a black and white image or a color image.
  • the present invention has been made in view of such circumstances, and can easily identify a pattern projected from its own device and acquire a distance image even when a structured light pattern is simultaneously irradiated from another device. It is another object of the present invention to provide a distance image acquisition device and a distance image acquisition method that can be used by hand, reduce the size and cost of the device.
  • a distance image acquisition device includes a projection unit that projects a first pattern of structured light that is two-dimensionally distributed on a subject in a ranging area, An image including a light modulation unit that spatially modulates the first pattern projected from the projection unit and a first pattern that is arranged in parallel by being separated from the projection unit by a base line length and is reflected on the subject in the distance measurement area An imaging unit, a pattern extraction unit that extracts a first pattern spatially modulated by the light modulation unit from an image captured by the imaging unit, and a distance measurement area based on the first pattern extracted by the pattern extraction unit A distance image acquisition unit that acquires a distance image indicating the distance of the subject within the image.
  • the first pattern of the structured light projected from the projection unit by the light modulation unit is spatially modulated, and thus the first pattern imaged by the imaging unit is light modulated.
  • a blurred pattern corresponding to the spatial modulation by the unit is identified, and the distance of the subject.
  • the first pattern is spatially modulated without vibrating the imaging unit, the entire distance image acquisition device does not vibrate. That is, the distance image acquisition device does not vibrate as a whole, and can therefore be used by hand and has excellent portability.
  • a function of an imaging device that captures a color image is added to the distance image acquisition device, it is possible to acquire a blur-free color image simultaneously with the acquisition of the distance image.
  • the distance image acquisition device includes a determination unit that determines whether or not the second pattern of structured light is projected from another distance image acquisition device.
  • a determination unit that determines whether or not the second pattern of structured light is projected from another distance image acquisition device.
  • each of the first pattern and the second pattern is a dot pattern
  • the determination unit is a dot pattern detected from the image captured by the imaging unit.
  • the light modulation unit includes a storage unit that stores a plurality of spatial modulation patterns for spatially modulating the first pattern, and the determination unit determines other distances.
  • the determination unit determines other distances.
  • a spatial modulation pattern that can be distinguished from the second pattern projected from another range image acquisition device is selected from the storage unit, and the first pattern projected from the projection unit according to the selected spatial modulation pattern is selected. Spatial modulation is preferred.
  • the first pattern and the second pattern cannot be identified.
  • the first pattern is spatially modulated in accordance with a spatial modulation pattern different from the spatial modulation pattern in which another range image acquisition device spatially modulates the second pattern, and thereby the first pattern and the first pattern 2 patterns can be identified.
  • beacon information transmitted from another distance image acquisition device indicating that the second pattern is projected from the other distance image acquisition device.
  • a beacon information receiving unit that receives the beacon information is provided, and the determination unit determines that the second pattern is projected from another distance image acquisition device when the beacon information reception unit receives the beacon information.
  • the beacon information includes spatial modulation information indicating the modulation content of the spatial modulation of the second pattern, and the light modulation unit converts the first pattern of spatial modulation.
  • a first storage unit that stores a plurality of spatial modulation patterns having different modulation contents, is determined by the determination unit that the second pattern is projected from another distance image acquisition device, and is projected from the projection unit;
  • a spatial modulation pattern that makes it possible to distinguish between the first pattern and the second pattern when it is impossible to distinguish between the second pattern projected from the other pattern image acquisition device and the second pattern projected from the storage unit Then, it is preferable to spatially modulate the first pattern projected from the projection unit according to the selected spatial modulation pattern.
  • the light modulation unit includes a storage unit that stores a plurality of spatial modulation patterns having different modulation contents of the first pattern, and stores the first pattern in the storage unit. It is preferable that the spatial modulation pattern is read out sequentially or randomly from the plurality of spatial modulation patterns that have been read, and the first pattern projected from the projection unit is spatially modulated according to the read spatial modulation pattern.
  • the blur shape of the first pattern is known from the read spatial modulation pattern. Therefore, by changing the blur shape (spatial modulation pattern) of the first pattern in order or randomly, even if the pattern projected from another device is spatially modulated, the blur shape different from the blur shape of the first pattern It can be determined that a pattern having a pattern projected from another device.
  • the light modulation unit is preferably a vibrator that vibrates the projection unit or the projection optical system of the projection unit. Since the object to be vibrated by the light modulation unit is smaller than the entire distance image acquisition device, the light modulation unit can also be reduced in size and cost, and can be prevented from becoming a noise generation source.
  • the vibrator is preferably a piezo element or a voice coil type vibrator.
  • the light modulation unit includes a micromirror group on which the first pattern projected from the projection unit is incident, and the micromirror group is oscillated to swing the micromirror group.
  • a digital micromirror device that spatially modulates the first pattern reflected by the mirror group is preferable.
  • the digital micromirror device does not mechanically vibrate the projection unit or the like, but spatially modulates the first pattern by oscillating the micromirror group, so that no mechanical vibration is generated and noise is generated. It is not a source.
  • a distance measurement region on which the first pattern is projected, and a projection region of the second pattern of structured light projected from the other distance image acquisition device And an optical discriminating unit that oscillates only the micromirrors corresponding to the overlapping regions determined by the region discriminating unit of the micromirror group of the digital micromirror device.
  • an optical discriminating unit that oscillates only the micromirrors corresponding to the overlapping regions determined by the region discriminating unit of the micromirror group of the digital micromirror device. It is rare that the projection area of the first pattern and the projection area of the second pattern completely overlap. Therefore, only the micromirror corresponding to the overlapping region is swung, thereby enabling the first pattern and the second pattern to be distinguished, while the first pattern corresponding to the non-overlapping region is not spatially modulated. It is possible to pick up an image as an unblurred pattern.
  • the light of the first pattern is near-infrared light
  • the imaging unit has sensitivity at least in the wavelength band of near-infrared light. According to this, when the distance image acquisition device is used indoors only with artificial illumination (illumination not including near-infrared light), or when used at night, only the first pattern can be imaged. Moreover, even if the near infrared light is included in the ambient light, the near infrared light in the ambient light is sufficiently smaller than the projected first pattern. For example, the first pattern is obtained by binarization processing. Can be easily extracted.
  • the imaging unit includes a first light receiving element having sensitivity in the wavelength band of near infrared light and a second light receiving having sensitivity in the wavelength band of visible light.
  • the pattern extraction unit extracts the first pattern spatially modulated by the light modulation unit from the image acquired by the first light receiving element of the image sensor.
  • the distance image acquisition method includes a step of projecting a first pattern of structured light that is two-dimensionally distributed from a projection unit to a subject in a ranging area, and a projection from the projection unit.
  • the step of extracting the first pattern spatially modulated based on the image picked up by the image pickup unit, and the distance image indicating the distance of the subject in the distance measurement area are acquired based on the extracted first pattern. Steps.
  • the method includes determining whether or not a second pattern different from the first pattern projected from the projection unit is projected, In the spatial modulation step, when it is determined that the second pattern is projected, the first pattern is preferably spatially modulated.
  • each of the first pattern and the second pattern is a dot pattern
  • the step of determining is a dot pattern detected from an image captured by the imaging unit. When the number of dots exceeds the number of dots of the first pattern, it is determined that the second pattern is projected.
  • the step of spatially modulating determines that the second pattern is projected by the determining step, and determines between the first pattern and the second pattern.
  • the first pattern projected from the projection unit is spatially modulated according to the spatial modulation pattern that enables the first pattern and the second pattern to be identified.
  • the present invention since only the first pattern of the structured light projected onto the subject in the distance measurement area is spatially modulated, other patterns of the structured light are simultaneously applied from the other device to the same subject. Even if it is irradiated, the first pattern projected from its own device can be easily identified and a distance image showing the distance of the subject can be acquired. Especially, since the entire apparatus does not vibrate, it can be used by hand. In addition, the apparatus can be reduced in size and cost.
  • FIG. 1 is an external view showing a first embodiment of a distance image acquisition device 10 according to the present invention. It is the figure used in order to explain the principle of distance image acquisition in a distance image acquisition device. It is a block diagram which shows the example of an internal structure of a distance image acquisition apparatus. It is a principal part block diagram which shows 1st Embodiment of a light modulation part. It is a figure which shows the structure of the projection part containing 2nd Embodiment of a light modulation part. It is a perspective view which shows the structure of a digital micromirror device.
  • FIG. 9 is a diagram illustrating a near-infrared image including the first dot pattern and the second dot pattern illustrated in FIG. 8 and captured in a state where the projection lens is vibrated in the vertical direction by the light modulation unit. .
  • FIG. 9 is a diagram illustrating a near-infrared image including the first dot pattern and the second dot pattern illustrated in FIG. 8 and captured in a state where the projection lens is vibrated in the vertical direction by the light modulation unit. .
  • FIG. 9 is a diagram showing a near-infrared image including the first dot pattern and the second dot pattern shown in FIG. 8 and an image in which a spatially modulated second dot pattern is captured.
  • a second dot pattern that is a near-infrared image including a first dot pattern and a second dot pattern, and one of the second dot patterns projected from two other devices is spatially modulated It is a figure which shows the image imaged. It is a flowchart which shows 1st Embodiment of the distance image acquisition method which concerns on this invention. It is a flowchart which shows 2nd Embodiment of the distance image acquisition method which concerns on this invention.
  • FIG. 1 It is the figure used in order to demonstrate other embodiment of the image sensor applicable to the distance image acquisition apparatus which concerns on this invention. It is a perspective view which shows the external appearance of the smart phone which is embodiment of a distance image acquisition apparatus. It is a block diagram which shows the structure of a smart phone.
  • FIG. 1 is an external view showing a first embodiment of a distance image acquisition device 10 according to the present invention.
  • the distance image acquisition device 10 includes a projection unit 12 and an imaging unit 14, and will be described in detail later when an imaging instruction input by operating the shutter button 11 is added.
  • a distance image indicating the distance (depth information) of the subject in the region is acquired.
  • the distance image acquisition device 10 acquires a distance image for one frame as in the case of still image capturing, and a predetermined frame rate (for example, 30 frames / second, 60 frames / second as in the case of moving image capturing).
  • Moving image mode for acquiring continuous distance images in seconds can be appropriately selected by the operation of the mode selection unit of the operation unit 28 (FIG. 3).
  • the shutter button 11 is pushed once when the still image mode is selected, a distance image for one frame is acquired.
  • the shutter button 11 is pushed once while the moving image mode is selected, a predetermined frame is obtained.
  • acquisition of continuous distance images at a rate is started and the shutter button 11 is pushed once again, acquisition of distance images is stopped.
  • FIG. 2 is a diagram used for explaining the principle of distance image acquisition in the distance image acquisition device 10.
  • the projection unit 12 projects a structured light pattern (first pattern) distributed two-dimensionally onto a subject in a distance measurement area when acquiring a distance image.
  • first pattern a structured light pattern
  • a matrix-like dot pattern is projected onto the subject as the first pattern of structured light.
  • first dot pattern the first pattern of structured light projected from the projection unit 12 is referred to as a “first dot pattern”.
  • the imaging unit 14 captures an image including the first dot pattern reflected on the subject. As shown in FIG. 2, the imaging unit 14 is arranged in parallel by being separated from the projection unit 12 by the base line length L, and the first dot pattern projected from the projection unit 12 and the first image captured by the imaging unit 14 are captured. Parallax corresponding to the distance of the subject is generated between the corresponding dots with the dot pattern. Accordingly, the distance of the subject is determined using triangulation based on the light receiving position (not shown) on the image sensor imaged by the imaging unit 14 of each dot of the first dot pattern projected from the projection unit 12. The distance image shown can be determined.
  • the projection unit 12 of the present embodiment projects the first dot pattern in a matrix form as shown in FIGS. 2 and 8, but is not limited to this, and dot patterns with random (pseudo-random) dot intervals are used. You may project and may project a mesh-shaped pattern.
  • FIG. 3 is a block diagram illustrating an internal configuration example of the distance image acquisition device 10.
  • the distance image acquisition device 10 shown in FIG. 3 includes an AD (Analog-to-Digital) converter 16, an interface circuit 18, a central processing unit (CPU: Central Processing Unit) in addition to the projection unit 12 and the imaging unit 14 described above. 20, a light modulation unit 22, a drive unit 26, an operation unit 28, and a communication unit 30.
  • AD Analog-to-Digital
  • CPU Central Processing Unit
  • the projection unit 12 includes a near-infrared light emitting diode (Near-Infrared LED (LED)), a diffractive optical element 12B, and a projection lens 12C that functions as a projection optical system.
  • LED near-Infrared LED
  • the diffractive optical element 12B functions as an element that converts the light intensity distribution by utilizing the light diffraction phenomenon.
  • the near-infrared light emitted from the near-infrared LED 12A is incident, and the matrix shown in FIG. To the first dot pattern.
  • the projection lens 12C projects the first dot pattern of near-infrared light converted by the diffractive optical element 12B onto a subject in the same distance measurement area as the image pickup area (ranging area) by the imaging unit 14.
  • the imaging unit 14 includes an imaging lens 14A and an image sensor 14B.
  • the imaging lens 14A forms an image on the image sensor 14B of reflected light from the subject (a light image including a first dot pattern projected from the projection unit 12 and reflected by the subject).
  • the image sensor 14B includes a CMOS (Complementary Metal-Oxide Semiconductor) driver having a vertical driver and a horizontal driver, and a CMOS image sensor driven by a timing generator.
  • CMOS Complementary Metal-Oxide Semiconductor
  • the image sensor 14B is not limited to the CMOS type, but may be an XY address type or a CCD (Charge-Coupled Device) type image sensor.
  • a plurality of light receiving elements are two-dimensionally arranged, and a first dot pattern of near-infrared light projected from the projection unit 12 is formed on the incident surface side of the plurality of light receiving elements.
  • a band-pass filter that passes only the wavelength band or a visible light cut filter that removes visible light is provided. Accordingly, the plurality of light receiving elements of the image sensor 14B function as pixels having sensitivity to near infrared light.
  • the image sensor 14B has an exposure period controlled by a timing signal (shutter control signal) applied from a timing generator (not shown), and each light receiving element of the image sensor 14B corresponds to the amount of near infrared light incident during the exposure period. Charge is accumulated. Then, a pixel signal (analog signal corresponding to the charge accumulated for each pixel) corresponding to the incident light amount of the first dot pattern reflected from the subject is read from the image sensor 14B.
  • the ambient light includes a component of the near-infrared light wavelength band
  • the ambient light includes the near-infrared wavelength band component as a noise signal. It will be included in the pixel signal.
  • the analog signal read from the image sensor 14B is converted into a digital signal (image data) by the AD converter 16, and is taken into the CPU 20 via the interface circuit 18 that functions as an image input controller.
  • Some CMOS image sensors include an AD converter. In this case, the AD converter 16 can be omitted.
  • the CPU 20 will be described in detail later, but a device control unit that comprehensively controls the exposure control, the light modulation unit 22, the drive unit 26, and the like of the distance image acquisition device 10 in response to an instruction input from the operation unit 28. And a function as a pattern extraction unit 20A, a distance image acquisition unit 20B, and a determination unit 20C.
  • the pattern extraction unit 20A is a part that extracts the first dot pattern from the image data input via the interface circuit 18. For example, an appropriate threshold value is set, and the input image data is binarized based on this threshold value. By processing, image data (binary image data) indicating only the first dot pattern is extracted.
  • the distance image acquisition unit 20B determines the position (for example, the center of gravity of each dot) of each dot of the first dot pattern.
  • the distance of the subject is calculated for each dot based on the position on the image sensor 14B of each dot of the obtained first dot pattern, and thereby the distance image indicating the distance of the subject in the distance measurement area Is obtained (generated).
  • the distance image is two-dimensional distance information indicating the distance of the subject in the distance measurement area. By replacing the distance information with luminance values and color information corresponding to the distance, the distance image can be viewed as an image. Can do.
  • the discriminating unit 20C is a part that discriminates whether or not a structured light pattern (second pattern) is projected from another distance image acquisition device (hereinafter simply referred to as “another device”). Now, when the second pattern is projected from the other device and the second pattern is a dot pattern (second dot pattern) like the first dot pattern, the dot pattern extracted by the pattern extraction unit 20A is It cannot be identified whether the first dot pattern projected from the own device or the second dot pattern projected from another device.
  • the discriminating unit 20C counts the number of dots of the dot pattern extracted by the pattern extraction unit 20A, and when the counted number of dots exceeds the number of dots of the first dot pattern, the second dot is sent from another device. It can be determined that the pattern is projected.
  • the communication unit 30 is a short-range wireless communication unit that wirelessly communicates with another device or an access point, and functions as a beacon information receiving unit that receives beacon information transmitted directly from another device or via an access point. .
  • the determination unit 20C determines whether there is another device in the communicable range according to the reception result of the beacon information from the communication unit 30 (that is, whether the second dot pattern is projected from the other device). Can be determined.
  • beacon information information indicating the pattern of structured light (second dot pattern corresponding to the second pattern) projected by the other device and the second dot pattern are spatially modulated as described later.
  • the spatial modulation information indicating the modulation content of the spatial modulation can be included.
  • the determination unit 20C is projected from the other device based on the beacon information received via the communication unit 30.
  • Information on the second dot pattern can be acquired.
  • the pattern extraction unit 20A includes the first dot pattern projected from the own device and the second dot pattern projected from the other device.
  • the first dot pattern and the second dot pattern have the same shape (for example, circular dots), they cannot be identified.
  • the CPU 20 uses the first pattern (first dot pattern) projected from the projection unit 12 of the own device as a space.
  • a modulation command or the like to be modulated is output to the light modulator 22.
  • the light modulation unit 22 spatially modulates the first dot pattern projected from the projection unit 12, and includes a storage unit 24 that stores a plurality of spatial modulation patterns for spatially modulating the first dot pattern.
  • a spatial modulation pattern that can be distinguished from the second dot pattern projected from another device is selected from the storage unit 24, and the first dot pattern projected from the projection unit 12 is spatially modulated according to the selected spatial modulation pattern. It is preferable to make it.
  • the operation unit 28 includes a power switch, a shutter button 11, a mode selection unit, and the like, and an instruction input from the operation unit 28 is applied to the CPU 20.
  • the communication unit 30 is a part that performs short-range wireless communication with other peripheral devices or access points. In this example, the communication unit 30 performs transmission / reception of beacon information and the like with other distance image acquisition devices.
  • the light modulation unit 22 of the first embodiment includes a vibrator that vibrates the projection unit 12 or the projection lens 12C.
  • FIG. 4 is a main part configuration diagram showing the first embodiment of the light modulation unit 22, and in particular, the projection lens 12 ⁇ / b> C in the horizontal direction (x direction) and the vertical direction (y direction) orthogonal to the optical axis direction (z direction). ) Shows the vibration mechanism that vibrates at high frequency.
  • the vibration mechanism of the light modulation unit 22 shown in FIG. 4 has the same configuration as the camera shake correction mechanism applied to a general camera, and mainly includes a main guide shaft 102 provided on the base member 100 and a rotation stopper.
  • a slide member 106 movably guided in the x direction by the guide shaft 104, a moving member 112 guided by the sub guide shaft 108 and the rotation stop guide shaft 110 provided in the slide member 106 movably in the y direction,
  • a voice coil type vibrator 114 and 116 having a magnet fixed to the base member 100 side and a coil fixed to the moving member 112 side, and a printed circuit board 118 for supplying a drive signal to the voice coil type vibrators 114 and 116 Has been.
  • the projection lens of the projection unit 12 is held by the moving member 112.
  • the voice coil type vibrator 114 vibrates the slide member 106 and the moving member 112 in the x direction, and the voice coil type vibrator 116 causes the printed circuit board 118 to vibrate.
  • the moving member 112 is vibrated in the y direction.
  • the projection lens vibrates in the x direction or the y direction together with the moving member 112, thereby being projected by the projection lens 12C.
  • One dot pattern is vibrated (spatial modulated) in the x direction or the y direction.
  • the light modulation part 22 of the said 1st Embodiment uses the voice coil type
  • FIG. 5 is a diagram illustrating a configuration of the projection unit 12 including the second embodiment of the light modulation unit 22. Note that, in FIG. 5, the same reference numerals are given to portions common to the projection unit 12 illustrated in FIG. 3, and detailed description thereof is omitted.
  • the light modulation unit 22 of the second embodiment is mainly configured by a digital micromirror device (DMD) 200, and near-infrared light emitted from the near-infrared LED 12 ⁇ / b> A is paralleled by a collimator lens 210.
  • the light is corrected and incident on the diffractive optical element 12B, where it is converted into a matrix-like first dot pattern.
  • Each dot of the first dot pattern of the near-infrared light converted by the diffractive optical element 12B enters the micromirror 200A (see FIG. 6) constituting the DMD 200 via the reflection mirror 220.
  • FIG. 6 is a perspective view showing the configuration of the DMD 200.
  • the DMD 200 is configured by a micromirror group in which a large number (approximately the same number of dots as the first dot pattern) of micromirrors 200A are arranged in a grid pattern.
  • Each of the micromirrors 200A is supported by a support column including a hinge and a yoke (not shown) on a memory cell 202 made of CMOS or the like of a silicon gate that temporarily stores micromirror drive information.
  • a material having high reflectivity such as aluminum is deposited on the surface of the micromirror 200A to form a light reflecting surface.
  • the first dot pattern reflected by each of the micromirrors 200A is spatially modulated by the DMD 200 and then projected onto the subject in the distance measuring area by the projection lens 12C.
  • the DMD 200 functioning as the light modulation unit 22 of the second embodiment spatially modulates the first dot pattern by swinging each micromirror 200A of the micromirror group on which the first dot pattern is incident at high frequency. Can be made.
  • the DMD 200 can individually control each micromirror 200A constituting the micromirror group. As will be described in detail later, the micromirror to be oscillated is selected and only the selected micromirror is oscillated. Is preferred.
  • FIG. 7 is a diagram illustrating an example of a near-infrared image captured by the imaging unit 14 and including a first dot pattern reflected from a subject in the distance measurement area A.
  • FIG. 7 shows an image including only the first dot pattern projected from the own device.
  • the subject in the distance measurement area A is assumed to be a flat surface having a constant distance.
  • each dot interval is an interval corresponding to the distance from the imaging unit 14 to the subject (flat surface).
  • FIG. 8 is an example of a near-infrared image captured by the imaging unit 14 and including a first dot pattern projected from the own device and a second dot pattern projected from another device.
  • FIG. 8 is an example of a near-infrared image captured by the imaging unit 14 and including a first dot pattern projected from the own device and a second dot pattern projected from another device.
  • the distance measurement area A onto which the first dot pattern of the own device is projected includes an overlapping region B where the first dot pattern of the own device and the second dot pattern of the other device overlap. .
  • the first dot pattern and the second dot pattern have the same dot shape, the first dot pattern and the second dot pattern cannot be identified by the image.
  • the distance image acquisition device 10 uses the light modulation unit 22 to project the first dot pattern projected from the own device in order to enable identification of the first dot pattern of the own device and the second dot pattern of the other device. Spatial modulation.
  • FIG. 9 is a near-infrared image including the first dot pattern and the second dot pattern shown in FIG. 8, and the light modulation unit 22 moves the projection lens 12C in the vertical direction (y direction shown in FIG. 4). It is a figure which shows the image imaged in the state made to vibrate.
  • the pattern extraction unit 20A only has the first dot pattern (oval or elliptical dot pattern) spatially modulated by the light modulation unit 22 due to the difference in dot shape between the first dot pattern and the second dot pattern. Can be extracted.
  • the pattern extraction unit 20A includes information indicating a spatial modulation pattern for spatially modulating the first dot pattern by the light modulation unit 22 (that is, the shape of each dot of the first dot pattern corresponding to the spatial modulation pattern). Only the first dot pattern that can be obtained from the CPU 20 or the light modulation unit 22 and has a dot shape corresponding to the spatial modulation pattern can be extracted.
  • FIG. 10 is a near-infrared image including the first dot pattern and the second dot pattern shown in FIG. 8, and shows a case where the second dot pattern projected from another device is spatially modulated. ing.
  • the dot shape of the second dot pattern projected from the other device in the overlapping region B of the first dot pattern and the second dot pattern is not circular due to spatial modulation. Therefore, even if there is an overlapping area B in which the first dot pattern of the own device and the second dot pattern of the other device overlap in the ranging area A on which the first dot pattern of the own device is projected,
  • the pattern extraction unit 20A can extract only the first dot pattern (circular dot pattern) due to the difference in dot shape between the first dot pattern and the second dot pattern.
  • the CPU 20 turns off the light modulation unit 22 of the own device and does not spatially modulate the first dot pattern.
  • FIG. 11 is a near-infrared image including a first dot pattern and a second dot pattern, a second dot pattern is projected from two other devices, and one of the two other devices. This shows a case where the second dot pattern projected from the other device is spatially modulated.
  • the first dot pattern of the own device is not spatially modulated as shown in FIG. 10, the first dot pattern and the other of the two other devices are projected in the overlapping region C. Therefore, the second dot pattern that is not spatially modulated cannot be identified.
  • the first dot pattern projected from the own device is spatially modulated to make it possible to distinguish between the spatially modulated first dot pattern and the non-spatial second dot pattern, and the spatially modulated first dot pattern.
  • the first dot pattern is spatially modulated with a spatial modulation pattern different from the spatial modulation pattern of the second dot pattern in order to be able to distinguish between the one dot pattern and the spatially modulated second dot pattern.
  • the projection lens 12C is vibrated in the left-right direction (x direction shown in FIG. 4) by the light modulation unit 22, and the first dot pattern projected from the projection unit 12 of the own device is left-right. Modulate.
  • the shape of each dot of the first dot pattern becomes an oval or ellipse that is long in the left-right direction
  • the pattern extraction unit 20A is spatially modulated with the first dot pattern of its own device and is long in the vertical direction. It can be distinguished from the second dot pattern of another machine having an oval or elliptical dot shape.
  • each dot can have any shape. That is, a plurality of spatial modulation patterns (a plurality of spatial modulation patterns corresponding to the shape of each dot of the first dot pattern) for spatially modulating the first dot pattern are stored in the storage unit 24, and light modulation is performed.
  • the unit 22 selects a spatial modulation pattern that can be distinguished from the second dot pattern projected from another device from the storage unit 24, and the first dot projected from the projection unit 12 according to the selected spatial modulation pattern It is preferable to spatially modulate the pattern.
  • the first dot pattern of the own device and the second dot pattern of the other device are mixed, and the distance measurement area A In other areas (other areas excluding the overlapping area B), when only the first dot pattern of its own device exists, only the first dot pattern in the overlapping area B is spatially modulated, and the overlapping area B
  • the first dot pattern of the own device and the second dot pattern of the other device may be distinguishable.
  • the discriminating unit 20C functioning as the region discriminating unit discriminates the overlapping region B in which the distance measuring region A on which the first dot pattern is projected and the projection region of the second dot pattern projected from the other device overlap.
  • the DMD 200 that constitutes the light modulation unit 22 of the second embodiment shown in FIGS. 5 and 6 uses only the micromirror group corresponding to the overlapping region B among the micromirror groups according to the determination result by the region determination unit. Rock.
  • the first dot pattern can be distinguished from the second dot pattern, and the first pattern corresponding to the non-overlapping region is not spatially modulated, so that it can be imaged as an unblurred dot pattern. .
  • FIG. 12 is a flowchart showing the first embodiment of the distance image acquisition method according to the present invention.
  • the CPU 20 turns on the near-infrared LED 12A of the projection unit 12 via the drive unit 26, and projects the first dot pattern of the near-infrared light from the projection unit 12 onto the subject in the ranging area (step). S10). In this case, the CPU 20 turns off the light modulation unit 22 so as not to perform spatial modulation of the first dot pattern (step S12).
  • an image including the first dot pattern that is not spatially modulated is captured by the imaging unit 14 (step S14).
  • the pattern extraction unit 20A performs binarization processing on the captured image based on the threshold value, and extracts a dot pattern (binary image indicating the dot pattern) (step S16).
  • the determination unit 20C determines whether or not a dot pattern (second dot pattern) is projected from another distance image acquisition device (step S18). This determination can be made based on whether or not the number of dots in the dot pattern extracted in step S16 is greater than the number of dots in the first dot pattern, or beacon information indicating the presence of another distance image acquisition device. This can be done depending on whether or not it is received via the communication unit 30.
  • step S18 when it is determined that the second dot pattern is projected from another distance image acquisition device (in the case of “Yes”), the process proceeds to step S20, and the second distance image acquisition device receives the second dot pattern. If it is determined that the dot pattern is not projected (in the case of “No”), the process proceeds to step S28.
  • step S20 it is determined whether or not the first dot pattern of the own device and the second dot pattern of the other device can be discriminated. If discriminable (if “Yes”), the process proceeds to step S28. If it cannot be determined (in the case of “No”), the process proceeds to step S22.
  • step S22 the light modulator 22 is turned on to spatially modulate the first dot pattern.
  • the light modulation unit 22 uses a spatial modulation pattern that is different from the second dot pattern that is spatially modulated. To spatially modulate the first dot pattern.
  • an image including the first dot pattern (first spatially modulated dot pattern) is imaged from the imaging unit 14 (step S24), and the pattern extraction unit 20A extracts the first dot pattern from the captured image. (Spatial modulated first dot pattern) is extracted (step S26).
  • the distance image acquisition unit 20B indicates the distance of the subject based on the dot pattern extracted in step S16 (first dot pattern not spatially modulated) or the first dot pattern spatially modulated extracted in step S26. A distance image is acquired (step S28).
  • the distance image for one frame is acquired.
  • the processing from step S10 to step S28 is performed. Is repeatedly executed until the acquisition of the distance image of the moving image is completed.
  • FIG. 13 is a flowchart showing a second embodiment of the distance image acquisition method according to the present invention.
  • the CPU 20 turns off the near-infrared LED 12A of the projection unit 12 (step S100), and the imaging unit 14 performs imaging under the non-projection of the first dot pattern (step S102).
  • the determination unit 20C determines whether or not a dot pattern (second dot pattern) is projected from another distance image acquisition device based on the image acquired in step S102 (step S104).
  • step S106 When the second dot pattern is projected (in the case of “Yes”), after setting the flag F indicating the presence / absence of projection to 1 (step S106), the process proceeds to step S110, where the second dot pattern Is not projected (in the case of “No”), after setting the flag F to 0 (step S108), the process proceeds to step S110.
  • step S110 the CPU 20 turns on the near-infrared LED 12A of the projection unit 12 via the drive unit 26, and projects the first dot pattern of near-infrared light from the projection unit 12 onto the subject in the distance measurement area (step S110). S110).
  • step S112 it is determined whether or not the flag F is 1 (step S112). If the flag F is 1 (“Yes”), the light modulator 22 is turned on to spatially modulate the first dot pattern. (Step S114). On the other hand, if the flag F is not 1 (“No”), the light modulator 22 is turned off so that the first dot pattern is not spatially modulated (step S116). Next, an image including the first dot pattern is imaged from the imaging unit 14 (step S118). The pattern extraction unit 20A performs binarization processing on the captured image based on the threshold value, and extracts a first dot pattern (binary image indicating the first dot pattern) (step S120).
  • the first dot pattern is spatially modulated.
  • the pattern extraction unit 20A can extract only the first dot pattern in any case.
  • the distance image acquisition unit 20B acquires a distance image indicating the distance of the subject based on the first dot pattern extracted in step S120 (step S122).
  • the distance image for one frame is acquired.
  • the processing from step S100 to step S122 is performed. Is repeatedly executed until the acquisition of the distance image of the moving image is completed.
  • the light modulator 22 when the first dot pattern projected from the own device and the second dot pattern projected from the other device cannot be identified, or the other device When the second dot pattern is projected from the light, the light modulator 22 is turned on to spatially modulate the first dot pattern so that the first dot pattern can be distinguished from the second dot pattern.
  • the light modulation unit 22 includes a plurality of spatial modulation patterns stored in the storage unit 24 regardless of the presence / absence of the second dot pattern projected from the other device and the presence / absence of the spatial modulation of the second dot pattern.
  • the spatial modulation pattern may be read out in order or randomly, and the first pattern projected from the projection unit 12 may be spatially modulated in accordance with the read spatial modulation pattern.
  • the shape of each dot of the first dot pattern Changes from moment to moment.
  • a of pattern extraction parts can identify the dot pattern from which a dot shape changes as a 1st dot pattern projected from the own machine.
  • the first dot pattern having a dot shape different from the dot shape of the second dot pattern of the other machine is projected, and the pattern extraction unit 20A extracts only the first dot pattern from the image including the first dot pattern imaged at that timing. Can do.
  • FIG. 14 is a diagram used for explaining another embodiment of an image sensor applicable to the distance image acquisition device according to the present invention, and a portion (A) of FIG. 14 is an image sensor of another embodiment.
  • FIG. 2 is a diagram showing a basic array of 2 ⁇ 2 pixels.
  • the image sensor according to another embodiment is configured by repeatedly arranging the basic array in the horizontal direction and the vertical direction.
  • the basic array of 2 ⁇ 2 pixels is a near-infrared light pixel (IR (infrared) pixel) which is a first light receiving element having sensitivity in the wavelength band of near-infrared light.
  • IR (infrared) pixel a near-infrared light pixel
  • three second light receiving elements R pixel, G pixel, and B pixel
  • the image sensor of another embodiment is configured by two-dimensionally arranging IR pixels, R pixels, G pixels, and B pixels together.
  • FIG. 14B shows the spectral transmittance of each of the RGB color filters arranged in the R pixel, G pixel, and B pixel, and the spectral characteristics of the near infrared light emitted from the near infrared LED 12A. Is shown.
  • the pattern extraction unit 20A can extract the first dot pattern from the near-infrared image read from the IR pixel of the image sensor configured as described above, and the distance image acquisition unit 20B applies the extracted first dot pattern to the first dot pattern. Based on this, it is possible to acquire a distance image indicating the distance of the subject.
  • a visible light image generation unit (not shown) in the CPU 20 is a visible light image of a subject in the ranging area from RGB visible light images read from the R pixel, G pixel, and B pixel of the image sensor having the above configuration. (Color image) can be generated.
  • Each RGB filter has transmittance to near-infrared light, but the corresponding R, G, and B pixels have a structure that is not sensitive to near-infrared light, or IR cuts are superimposed on each RGB filter. By providing a filter, it is possible to generate a visible light image having no sensitivity in the near infrared.
  • a visible light cut filter is provided instead of the near infrared light filter having bandpass characteristics in the part (B) of FIG.
  • the visible light image may be generated by subtracting the IR image component from the RGB images read from the R pixel, the G pixel, and the B pixel.
  • the image sensor having the above configuration, it is possible to simultaneously acquire a distance image and a visible light image having the same angle of view based on the output of one image sensor.
  • the aspect to which the present invention can be applied is not limited to a distance image acquisition device having a single function for acquiring a distance image, but a digital camera and a video camera capable of capturing a general color image have a distance image acquisition function
  • the present invention can also be applied to mobile devices having other functions (call function, communication function, other computer functions) in addition to the distance image acquisition function.
  • Other modes to which the present invention can be applied include, for example, a mobile phone, a smartphone, a PDA (Personal Digital Assistant), and a portable game machine.
  • a smartphone to which the present invention can be applied will be described.
  • FIG. 15 is a perspective view illustrating an appearance of a smartphone 500 that is an embodiment of the distance image acquisition device.
  • a smartphone 500 illustrated in FIG. 15 includes a flat housing 502, and a display input in which a display panel 521 serving as a display unit and an operation panel 522 serving as an input unit are integrated on one surface of the housing 502. Part 520.
  • the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, a camera unit 541, and a projection unit 542.
  • the configuration of the housing 502 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure and a slide mechanism can be employed.
  • FIG. 16 is a block diagram showing the configuration of the smartphone 500 shown in FIG.
  • a wireless communication unit 510 for performing mobile wireless communication via a base station device and a mobile communication network is provided.
  • a wireless communication function for performing mobile wireless communication via a base station device and a mobile communication network is provided.
  • the wireless communication unit 510 performs wireless communication with a base station apparatus accommodated in the mobile communication network in accordance with an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 520 displays images (still images and moving images), character information, and the like visually by the control of the main control unit 501, and visually transmits information to the user, and detects user operations on the displayed information.
  • This is a so-called touch panel, and includes a display panel 521 and an operation panel 522.
  • the display panel 521 is preferably a three-dimensional display panel.
  • the display panel 521 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 501.
  • the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
  • the display panel 521 and the operation panel 522 of the smartphone 500 integrally form the display input unit 520, but the operation panel 522 is disposed so as to completely cover the display panel 521. ing.
  • the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
  • the operation panel 522 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 521. May be included).
  • the size of the display area and the size of the display panel 521 may be completely matched, but it is not always necessary to match the two.
  • the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
  • examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the call unit 530 includes a speaker 531 and a microphone 532, and converts a user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501, or a wireless communication unit 510 or the audio data received by the external input / output unit 560 is decoded and output from the speaker 531.
  • the speaker 531 and the microphone 532 can be mounted on the same surface as the surface on which the display input unit 520 is provided.
  • the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 540 is mounted on a lower portion and a lower side of the display unit of the housing 502 of the smartphone 500 and is turned on when pressed with a finger or the like, and is turned off when a finger is released with a restoring force such as a spring. It is a button type switch.
  • the storage unit 550 includes control programs and control data of the main control unit 501, address data in which names and telephone numbers of communication partners are associated, transmitted and received e-mail data, Web data downloaded by Web browsing, and downloaded contents Data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 550 includes an internal storage unit 551 with a built-in smartphone and an external storage unit 552 having a removable external memory slot.
  • Each of the internal storage unit 551 and the external storage unit 552 constituting the storage unit 550 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and communicates with other external devices (for example, a universal serial bus) or a network (for example, the Internet, Wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA), UWB (Ultra Wideband) (registered trademark), ZigBee (registered) Trademark) etc.) for direct or indirect connection.
  • a universal serial bus for example, the Internet, Wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA), UWB (Ultra Wideband) (registered trademark), ZigBee (registered) Trademark) etc.
  • Examples of the external device connected to the smartphone 500 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit may transmit data received from such an external device to each component inside the smartphone 500, or may allow data inside the smartphone 500 to be transmitted to the external device. it can.
  • the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, executes positioning calculation processing based on the plurality of received GPS signals, and calculates the latitude and longitude of the smartphone 500. , Detect the position consisting of altitude.
  • the GPS receiving unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS receiving unit 570 can also detect the position using the position information.
  • the motion sensor unit 580 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 500 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. This detection result is output to the main control unit 501.
  • the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 in accordance with an instruction from the main control unit 501.
  • the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the storage unit 550, and controls each unit of the smartphone 500 in an integrated manner. Further, the main control unit 501 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 510.
  • the application processing function is realized by the main control unit 501 operating in accordance with application software stored in the storage unit 550.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 560 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 501 also has an image processing function such as displaying video on the display input unit 520 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
  • the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
  • the main control unit 501 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 521.
  • the main control unit 501 detects a user operation through the operation unit 540, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 522. Or a display image scroll request through a scroll bar.
  • the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 521.
  • a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key.
  • the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 541 is an imaging device that performs electronic imaging using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge-Coupled Device
  • the camera unit 541 includes a first light receiving element (IR pixel) that transmits near-infrared light for a distance image in one image sensor, and color imaging.
  • the second light receiving elements for use (R pixel, G pixel, B pixel) are mixedly arranged two-dimensionally. That is, as an image sensor of the camera unit 541, R pixels, G pixels, and B pixels provided with RGB color filters, and pixels provided with a visible light cut filter (IR pixels having sensitivity only to infrared light). It is preferable to use a mixture of.
  • the projection unit 542 has a near-infrared LED, and projects a first dot pattern of near-infrared light when acquiring a distance image. Further, in the case of the smartphone 500 having an infrared communication function, the near-infrared LED can also be used as a light source for infrared communication.
  • the camera unit 541 converts the visible light image data obtained by imaging into compressed image data such as JPEG (Joint Photographic coding Experts Group) under the control of the main control unit 501, and records it in the storage unit 550. Can be output through the external input / output unit 560 or the wireless communication unit 510, and similarly, a distance image indicating the distance of the subject can be recorded in the storage unit 550 or output through the external input / output unit 560 or the wireless communication unit 510. can do.
  • the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited to this and may be mounted on the back surface of the display input unit 520. Alternatively, a plurality of camera units 541 may be mounted. Note that when a plurality of camera units 541 are mounted, the camera unit 541 used for imaging can be switched to perform imaging alone, or the plurality of camera units 541 can be used for imaging simultaneously.
  • the camera unit 541 can be used for various functions of the smartphone 500.
  • an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
  • the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
  • the optical axis direction of the camera unit 541 of the smartphone 500 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 541 can be used in the application software.
  • the projection part 12 of this embodiment uses near infrared LED12A as a light source
  • this invention is not restricted to this, For example, you may use the semiconductor laser etc. which radiate
  • a near-infrared laser is used instead of the near-infrared LED 12A as a light source, the collimator lens 210 and the like are omitted, and instead of the DMD 200, a two-axis scanning single micromirror is used, Instead of the mirror 210 and the DMD 200, a combination of two single-axis single micromirrors can be used.
  • SYMBOLS 10 Distance image acquisition device 12, 542 ... Projection part, 12A ... Near-infrared LED, 12B ... Diffraction optical element, 12C ... Projection lens, 14 ... Imaging part, 14A ... Imaging lens, 14B ... Image sensor, 20 ... Central processing unit (CPU), 20A ... Pattern extraction unit 20A ... Distance image acquisition unit, 20C ... Discrimination unit, 22 ... Light modulation unit, 24 ... Storage unit, 28 ... Operation unit, 30 ... Communication unit, 500 ... Smartphone, 541 ... Camera part

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、他機から構造化光のパターンが同時に照射されていても自機から投射したパターンを容易に識別して距離画像を取得することが可能な距離画像取得装置及び距離画像取得方法を提供する。一態様において、距離画像取得装置（１０）は、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射する投射部（１２）と、投射部（１２）から投射される第１のパターンを空間変調させる光変調部（２２）と、投射部（１２）から基線長だけ離れて並設され、測距領域内の被写体上で反射する第１のパターンを含む画像を撮像する撮像部（１４）と、撮像部（１４）により撮像された画像から光変調部（２２）により空間変調された第１のパターンを抽出するパターン抽出部（２０Ａ）と、パターン抽出部（２０Ａ）により抽出された第１のパターンに基づいて測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部（２０Ｂ）と、を備える。

Description

距離画像取得装置及び距離画像取得方法
　本発明は距離画像取得装置及び距離画像取得方法に係り、特に測距領域内の被写体に対して２次元に分布する構造化光を投射し、被写体の距離を示す距離画像を取得する技術に関する。
　従来、この種の距離画像取得装置は、投射部から測距領域内の被写体に対して２次元に分布する構造化光のパターン（ドットパターン）を投射し、撮像部により被写体を撮像し、被写体上で反射するドットパターンを含む第１の画像を取得する。また、投射部からドットパターンを投射せずに撮像部により被写体を撮像し、ドットパターンの背景となる第２の画像を取得する。そして、第１の画像から第２の画像を減算し、減算結果（ドットパターンのみの画像）をメモリに記憶させる。その後、メモリに記憶された減算結果に基づいて距離画像（３次元距離情報）を三角測量法に基づいて演算し取得する（特許文献１）。
　しかしながら、１台の距離画像取得装置では距離画像を取得できない大きさの対象物体の距離計測を複数台の距離画像取得装置で同時に行いたい場合がある。また、他者が距離画像取得装置を使っていることを知らずに使用者自らも距離画像取得装置を使うこともある。特に、距離画像を直接表示等せずに他の用途に用いており、使用者自身が距離画像取得を行っている自覚が無い場合には、同時に同一場所で距離画像取得装置を使用してしまう可能性が高い。複数台の距離画像取得装置により同一の被写体の距離計測を同時に行うと、複数台の距離画像取得装置からそれぞれ投射されるドットパターンが混在し、距離画像を取得することができないという問題がある。
　非特許文献は、この問題を解決するために偏心荷重が回転軸に固定された電動モータ（偏心モータ）を、距離画像取得装置の底部に取り付け、被写体の撮像時に偏心モータを駆動し、装置全体を高周波で振動させるようにしている。
　これにより、自機の距離画像取得装置は、投射部と撮像部とが同期して振動するため、自機から投射したドットパターンは、ボケずに撮像され、他機から投射されたドットパターンは、撮像部の振動によりボケて撮像される。これにより、自機から投射したドットパターンと、他機から投射されたドットパターンとを識別するようにしている。
特開２０１１－１６９７０１号公報
Andrew Maimone and Henry Fuchs, Reducing Interference Between Multiple Structured Light Depth Sensors Using Motion.  IEEE Virtual Reality 2012 (Orange County, CA, USA, March 4-8, 2012)
　非特許文献１に記載の距離画像取得装置は、偏心モータにより装置全体を振動させるため、特別な保持装置で装置全体を振動可能に保持する必要があり、手持ちでの使用に適さず、携帯性に欠けるという問題がある。
　また、非特許文献１に記載の距離画像取得装置は、装置全体を高周波で振動させるため、振動させる機器（偏心モータ）が大型化し、高価になるとともに、消費エネルギが増大し、更に騒音が発生するという問題がある。
　更にまた、一般に距離画像取得装置には、白黒画像やカラー画像を撮像する撮像装置が搭載されていることがあるが、非特許文献１に記載の距離画像取得装置の場合、距離画像の取得時に撮像装置も振動するため、撮像される画像がボケるという問題がある。
　本発明はこのような事情に鑑みてなされたもので、他機から構造化光のパターンが同時に照射されていても自機から投射したパターンを容易に識別して距離画像を取得することができ、また、手持ちでの使用、装置の小型化及び低コスト化が可能な距離画像取得装置及び距離画像取得方法を提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る距離画像取得装置は、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射する投射部と、投射部から投射される第１のパターンを空間変調させる光変調部と、投射部から基線長だけ離れて並設され、測距領域内の被写体上で反射する第１のパターンを含む画像を撮像する撮像部と、撮像部により撮像された画像から光変調部により空間変調された第１のパターンを抽出するパターン抽出部と、パターン抽出部により抽出された第１のパターンに基づいて測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、を備える。
　本発明の一の態様によれば、光変調部により投射部から投射される構造化光の第１のパターンを空間変調させるようにしたため、撮像部により撮像される第１のパターンは、光変調部による空間変調に対応したボケたパターンとなる。これにより、他機から構造化光の他のパターンが同じ被写体に投射されていても、自機から投射した第１のパターンと他機から投射された他のパターンとを識別して被写体の距離を示す距離画像を取得することができる。また、撮像部を振動させずに、第１のパターンを空間変調するため、距離画像取得装置全体が振動することがない。即ち、距離画像取得装置は、装置全体が振動しないため、手持ちでの使用が可能であり、携帯性に優れる。また、距離画像取得装置にカラー画像を撮像する撮像装置の機能を追加した場合に、距離画像の取得と同時にブレのないカラー画像の取得が可能である。
　本発明の他の態様に係る距離画像取得装置において、他の距離画像取得装置から構造化光の第２のパターンが投射されているか否かを判別する判別部を備え、光変調部は、判別部により他の距離画像取得装置から第２のパターンが投射されていると判別されると、投射部から投射される第１のパターンを空間変調させることが好ましい。即ち、他の距離画像取得装置から第２のパターンが投射されていないと判別された場合には、投射部から投射される第１のパターンを空間変調させないため、ボケていない第１のパターンを取得することができる。
　本発明の更に他の態様に係る距離画像取得装置において、第１のパターン及び第２のパターンは、それぞれドットパターンであり、判別部は、撮像部により撮像された画像から検出されたドットパターンのドット数が投射部から投射した第１のパターンのドット数を越えている場合に、他の距離画像取得装置から第２のパターンが投射されていると判別する。
　本発明の更に他の態様に係る距離画像取得装置において、光変調部は、第１のパターンを空間変調させるための複数の空間変調パターンを記憶する記憶部を有し、判別部により他の距離画像取得装置から第２のパターンが投射されていると判別され、かつ投射部から投射される第１のパターンと他の距離画像取得装置から投射される第２のパターンとの識別が不能な場合に、他の距離画像取得装置から投射される第２のパターンとの識別が可能な空間変調パターンを記憶部から選択し、選択した空間変調パターンにしたがって投射部から投射される第１のパターンを空間変調させることが好ましい。
　他の距離画像取得装置が、自機と同じ変調内容（空間変調パターン）で第２のパターンを空間変調している場合には、第１のパターンと第２のパターンとを識別することができない。この場合には、他の距離画像取得装置が第２のパターンを空間変調している空間変調パターンとは異なる空間変調パターンにしたがって第１のパターンを空間変調させ、これにより第１のパターンと第２のパターンとを識別できるようにしている。
　本発明の更に他の態様に係る距離画像取得装置において、他の距離画像取得装置から送信されるビーコン情報であって、他の距離画像取得装置から第２のパターンが投射されていることを示すビーコン情報を受信するビーコン情報受信部を備え、判別部は、ビーコン情報受信部がビーコン情報を受信すると、他の距離画像取得装置から第２のパターンが投射されていると判別する。
　本発明の更に他の態様に係る距離画像取得装置において、ビーコン情報は、第２のパターンの空間変調の変調内容を示す空間変調情報を含み、光変調部は、第１のパターンを空間変調の変調内容が異なる複数の空間変調パターンを記憶する記憶部を有し、判別部により他の距離画像取得装置から第２のパターンが投射されていると判別され、かつ投射部から投射される第１のパターンと他の距離画像取得装置から投射される第２のパターンとの識別が不能な場合に、第１のパターンと第２のパターンとの識別を可能にする空間変調パターンを記憶部から選択し、選択した空間変調パターンにしたがって投射部から投射される第１のパターンを空間変調させることが好ましい。
　本発明の更に他の態様に係る距離画像取得装置において、光変調部は、第１のパターンを空間変調の変調内容が異なる複数の空間変調パターンを記憶する記憶部を有し、記憶部に記憶された複数の空間変調パターンの中から順番に、又はランダムに空間変調パターンを読み出し、読み出した空間変調パターンにしたがって投射部から投射される第１のパターンを空間変調させることが好ましい。
　第１のパターンのボケ形状は、読み出した空間変調パターンにより既知である。従って、第１のパターンのボケ形状（空間変調パターン）を順番に又はランダムに変えることで、他機から投射されるパターンが空間変調されていても、第１のパターンのボケ形状と異なるボケ形状を有するパターンは他機から投射されるパターンであると判別することができる。
　本発明の更に他の態様に係る距離画像取得装置において、光変調部は、投射部又は投射部の投射光学系を振動させる振動子であることが好ましい。光変調部により振動させる対象は、距離画像取得装置全体に比べて小さいため、光変調部も小型化及び低コスト化が可能であり、騒音の発生源にならないようにすることができる。
　本発明の更に他の態様に係る距離画像取得装置において、振動子は、ピエゾ素子又はボイスコイル型振動子であることが好ましい。
　本発明の更に他の態様に係る距離画像取得装置において、光変調部は、投射部から投射される第１のパターンが入射するマイクロミラー群を有し、マイクロミラー群を揺動させることによりマイクロミラー群により反射する第１のパターンを空間変調させるデジタルマイクロミラーデバイスであることが好ましい。デジタルマイクロミラーデバイスは、投射部等を機械的に振動させるのではなく、マイクロミラー群を揺動させることにより第１のパターンを空間変調させるため、機械的な振動を発生させることがなく、騒音源にもならない。
　本発明の更に他の態様に係る距離画像取得装置において、第１のパターンが投射される測距領域と、他の距離画像取得装置から投射される構造化光の第２のパターンの投射領域とが重複する重複領域を判別する領域判別部を備え、光変調部は、デジタルマイクロミラーデバイスのマイクロミラー群のうちの領域判別部により判別された重複領域に対応するマイクロミラーのみを揺動させることが好ましい。第１のパターンの投射領域と第２のパターンの投射領域とが完全に重複することは稀である。従って、重複領域に対応するマイクロミラーのみを揺動させ、これにより第１のパターンと第２のパターンとの識別を可能にし、一方、重複しない領域に対応する第１のパターンは空間変調されないため、ボケていないパターンとして撮像することができる。
　本発明の更に他の態様に係る距離画像取得装置において、第１のパターンの光は、近赤外光であり、撮像部は、少なくとも近赤外光の波長帯域に感度を有することが好ましい。これによれば、距離画像取得装置を人工照明（近赤外光を含まない照明）のみの室内で使用する場合、又は夜間に使用する場合、第１のパターンのみを撮像することができる。また、環境光に近赤外光が含まれていても環境光中の近赤外光は、投射される第１のパターンに比べて十分に小さいため、例えば２値化処理により第１のパターンを容易に抽出することができる。
　本発明の更に他の態様に係る距離画像取得装置において、撮像部は、近赤外光の波長帯域に感度を有する第１の受光素子と、可視光の波長帯域に感度を有する第２の受光素子とが混在して２次元配列されたイメージセンサを有し、パターン抽出部は、イメージセンサの第１の受光素子により取得される画像から光変調部により空間変調された第１のパターンを抽出し、イメージセンサの第２の受光素子により取得される画像から測距領域内の被写体の可視光画像を生成する可視光画像生成部を更に備えることが好ましい。これによれば、１つのイメージセンサの出力に基づいて同一画角の距離画像と可視光画像とを同時に取得することができる。
　本発明の更に他の態様に係る距離画像取得方法は、投射部から測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射するステップと、投射部から投射される第１のパターンを空間変調させるステップと、投射部から基線長だけ離れて並設された撮像部により測距領域内の被写体上で反射する第１のパターンを含む画像を撮像するステップと、撮像部により撮像された画像に基づいて空間変調された第１のパターンを抽出するステップと、抽出された第１のパターンに基づいて測距領域内の被写体の距離を示す距離画像を取得するステップと、を含む。
　本発明の更に他の態様に係る距離画像取得方法において、投射部から投射される第１のパターンと異なる第２のパターンが投射されているか否かを判別するステップを含み、第１のパターンを空間変調させるステップは、第２のパターンが投射されていると判別されると、第１のパターンを空間変調させることが好ましい。
　本発明の更に他の態様に係る距離画像取得方法において、第１のパターン及び第２のパターンは、それぞれドットパターンであり、判別するステップは、撮像部により撮像された画像から検出されたドットパターンのドット数が第１のパターンのドット数を越えている場合に、第２のパターンが投射されていると判別する。
　本発明の更に他の態様に係る距離画像取得方法において、空間変調させるステップは、判別するステップにより第２のパターンが投射されていると判別され、かつ第１のパターンと第２のパターンとの識別が不能な場合に、第１のパターンと第２のパターンとの識別を可能にする空間変調パターンにしたがって投射部から投射される第１のパターンを空間変調させることが好ましい。
　本発明によれば、測距領域内の被写体に対して投射する構造化光の第１のパターンのみを空間変調させるようにしたため、他機から同一の被写体に構造化光の他のパターンが同時に照射されていても自機から投射した第１のパターンを容易に識別して被写体の距離を示す距離画像を取得することができ、特に装置全体が振動しないため、手持ちでの使用が可能であり、また、装置の小型化及び低コスト化を実現することができる。
本発明に係る距離画像取得装置１０の第１の実施形態を示す外観図である。 距離画像取得装置における距離画像取得の原理を説明するために用いた図である。 距離画像取得装置の内部構成例を示すブロック図である。 光変調部の第１の実施形態を示す要部構成図である。 光変調部の第２の実施形態を含む投射部の構成を示す図である。 デジタルマイクロミラーデバイスの構成を示す斜視図である。 撮像部により撮像された近赤外画像であって、測距領域内の被写体から反射した第１のドットパターンを含む画像の一例を示す図である。 撮像部により撮像された近赤外画像であって、自機から投射された第１のドットパターンと他機から投射された第２のドットパターンとを含む画像の一例を示す図である。 図８に示した第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、光変調部により投射レンズを上下方向に振動させた状態で撮像された画像を示す図である。 図８に示した第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、空間変調された第２のドットパターンが撮像された画像を示す図である。 第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、２台の他機からそれぞれ投射された第２のドットパターンのうちの一方が空間変調された第２のドットパターンが撮像された画像を示す図である。 本発明に係る距離画像取得方法の第１の実施形態を示すフローチャートである。 本発明に係る距離画像取得方法の第２の実施形態を示すフローチャートである。 本発明に係る距離画像取得装置に適用可能なイメージセンサの他の実施形態を説明するために用いた図である。 距離画像取得装置の実施形態であるスマートフォンの外観を示す斜視図である。 スマートフォンの構成を示すブロック図である。
　以下、添付図面に従って本発明に係る距離画像取得装置及び距離画像取得方法の実施形態について説明する。
　［距離画像取得装置］
　図１は、本発明に係る距離画像取得装置１０の第１の実施形態を示す外観図である。
　図１に示すように距離画像取得装置１０は、投射部１２と撮像部１４とを有し、シャッターボタン１１の操作による撮像指示入力が加えられると、後に詳しく説明するが、撮像領域（測距領域）内の被写体の距離（深度情報）を示す距離画像を取得する。
　ここで、距離画像取得装置１０は、静止画撮像と同様に１フレーム分の距離画像を取得する静止画モードと、動画撮像と同様に所定のフレームレート（例えば、３０フレーム／秒、６０フレーム／秒）で連続する距離画像を取得する動画モードとを有し、これらの静止画モードと動画モードとは操作部２８（図３）のモード選択部の操作により適宜選択可能になっている。そして、静止画モードが選択されているときにシャッターボタン１１をワンプッシュすると、１フレーム分の距離画像を取得し、動画モードが選択されているときにシャッターボタン１１をワンプッシュすると、所定のフレームレートで連続する距離画像の取得を開始し、再度シャッターボタン１１をワンプッシュすると、距離画像の取得を停止する。
　図２は、距離画像取得装置１０における距離画像取得の原理を説明するために用いた図である。
　図２に示すように距離画像の取得時に投射部１２は、測距領域内の被写体に対して２次元に分布する構造化光のパターン（第１のパターン）を投射する。本実施形態では、構造化光の第１のパターンとして、マトリクス状のドットパターンを被写体に投射する。以下、投射部１２から投射される構造化光の第１のパターンを、「第１のドットパターン」という。
　撮像部１４は、被写体上で反射する第１のドットパターンを含む画像を撮像する。撮像部１４は、図２に示すように投射部１２から基線長Ｌだけ離れて並設されており、投射部１２から投射される第１のドットパターンと、撮像部１４により撮像される第１のドットパターンとの対応する各ドット間には被写体の距離に応じた視差が発生する。従って、投射部１２から投射される第１のドットパターンの各ドットの、撮像部１４により撮像されるイメージセンサ上の受光位置（図示せず）に基づいて三角測量法を用いて被写体の距離を示す距離画像を求めることができる。
　尚、本実施形態の投射部１２は、図２及び図８に示すようにマトリクス状の第１のドットパターンを投射するが、これに限らず、ドット間隔がランダム（疑似ランダム）のドットパターンを投射してもよいし、メッシュ状のパターンを投射してもよい。
　図３は、上記距離画像取得装置１０の内部構成例を示すブロック図である。
　図３に示す距離画像取得装置１０は、前述した投射部１２及び撮像部１４の他に、ＡＤ（Analog-to-Digital）変換器１６、インターフェース回路１８、中央処理装置（ＣＰＵ：Central Processing Unit）２０、光変調部２２、駆動部２６、操作部２８及び通信部３０を備えている。
　投射部１２は、近赤外発光ダイオード（近赤外ＬＥＤ（ＬＥＤ：Light Emitting Diode））１２Ａと、回折光学素子１２Ｂと、投射光学系として機能する投射レンズ１２Ｃとから構成されている。
　回折光学素子１２Ｂは、光の回折現象を利用して光強度分布を変換する素子として機能し、本例では近赤外ＬＥＤ１２Ａから発光された近赤外光を入射し、図２に示したマトリクス状の第１のドットパターンに変換する。投射レンズ１２Ｃは、回折光学素子１２Ｂにより変換された近赤外光の第１のドットパターンを、撮像部１４による撮像領域（測距領域）と同じ測距領域の被写体に投射する。
　撮像部１４は、結像レンズ１４Ａとイメージセンサ１４Ｂとから構成されている。結像レンズ１４Ａは、被写体からの反射光（投射部１２から投射され、被写体にて反射する第１のドットパターンを含む光像）をイメージセンサ１４Ｂに結像させる。
　イメージセンサ１４Ｂは、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。尚、イメージセンサ１４Ｂは、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。
　イメージセンサ１４Ｂは、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、投射部１２から投射される近赤外光の第１のドットパターンの波長帯域のみを通過させるバンドパスフィルタ、又は可視光を除去する可視光カットフィルタが設けられている。これにより、イメージセンサ１４Ｂの複数の受光素子は、近赤外光に対して感度をもった画素として機能する。
　イメージセンサ１４Ｂは、図示しないタイミングジェネレータから加えられるタイミング信号（シャッター制御信号）により露光期間が制御され、イメージセンサ１４Ｂの各受光素子には、露光期間に入射する近赤外光の光量に対応する電荷が蓄積される。そして、イメージセンサ１４Ｂからは、被写体にて反射した第１のドットパターンの入射光量に応じた画素信号（画素毎に蓄積された電荷に対応するアナログ信号）が読み出される。尚、被写体に環境光が照射され、環境光中に近赤外光の波長帯域の成分が含まれている場合には、環境光中に近赤外光の波長帯域の成分は、ノイズ信号として画素信号に含まれることになる。
　イメージセンサ１４Ｂから読み出されたアナログ信号は、ＡＤ変換器１６によりデジタル信号（画像データ）に変換され、画像入力コントローラとして機能するインターフェース回路１８を経由してＣＰＵ２０に取り込まれる。尚、ＣＭＯＳ型のイメージセンサには、ＡＤ変換器を含むものがあり、この場合にはＡＤ変換器１６は省略することができる。
　ＣＰＵ２０は、詳細については後述するが、操作部２８での指示入力に応じて距離画像取得装置１０の露光制御、光変調部２２、及び駆動部２６等の各部を統括的に制御するデバイス制御部としての機能と、パターン抽出部２０Ａ、距離画像取得部２０Ｂ、及び判別部２０Ｃとしての機能とを有する。
　パターン抽出部２０Ａは、インターフェース回路１８を介して入力する画像データから第１のドットパターンを抽出する部分であり、例えば適当な閾値を設定し、この閾値に基づいて入力する画像データを２値化処理することにより、第１のドットパターンのみを示す画像データ（２値画像データ）を抽出する。
　距離画像取得部２０Ｂは、パターン抽出部２０Ａにより抽出された第１のドットパターンの２値画像データに基づいて第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置（例えば、各ドットの重心の位置）を求め、求めた第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置に基づいてドット毎に被写体の距離を算出し、これにより測距領域内の被写体の距離を示す距離画像を取得（生成）する。尚、距離画像は、測距領域内の被写体の距離を示す２次元の距離情報であるが、距離情報を距離に対応する輝度値や色情報に置き換えることにより、距離画像を画像として視認することができる。
　判別部２０Ｃは、他の距離画像取得装置（以下、単に「他機」という）から構造化光のパターン（第２のパターン）が投射されているか否かを判別する部分である。いま、他機から第２のパターンが投射され、第２のパターンが第１のドットパターンと同様にドットパターン（第２のドットパターン）の場合、パターン抽出部２０Ａにより抽出されたドットパターンが、自機から投射された第１のドットパターンか、又は他機から投射された第２のドットパターンかを識別することができない。
　判別部２０Ｃは、パターン抽出部２０Ａにより抽出されたドットパターンのドット数を計数し、計数したドット数が第１のドットパターンのドット数を越えている場合には、他機から第２のドットパターンが投射されていると判別することができる。
　通信部３０は、他機又はアクセスポイントとの間で無線通信する近距離無線通信部であり、他機から直接又はアクセスポイントを介して送信されるビーコン情報を受信するビーコン情報受信部として機能する。判別部２０Ｃは、通信部３０からのビーコン情報の受信結果に応じて通信可能範囲に他機が存在しているか否か（即ち、他機から第２のドットパターンが投射されているか否か）を判別することができる。また、ビーコン情報として、他機が投射している構造化光のパターン（第２のパターンに相当する第２のドットパターン）を示す情報、及び第２のドットパターンが後述するように空間変調されている場合には、空間変調の変調内容を示す空間変調情報を含めることができ、この場合には、判別部２０Ｃは、通信部３０を介して受信するビーコン情報に基づいて他機から投射される第２のドットパターンに関する情報（第２のドットパターンの形状や空間変調の変調内容を示す空間変調情報等）を取得することができる。
　他機から同一の被写体に対して第２のドットパターンが投射されている場合、パターン抽出部２０Ａは、自機から投射した第１のドットパターンと他機から投射された第２のドットパターンとを抽出するが、この場合、第１のドットパターンと第２のドットパターンとが同一の形状（例えば、円形のドット）の場合、両者を識別することができない。
　そこで、パターン抽出部２０Ａが第１のパターンと第２のパターンとの識別が不能な場合、ＣＰＵ２０は、自機の投射部１２から投射される第１のパターン（第１のドットパターン）を空間変調させる変調指令等を光変調部２２に出力する。
　光変調部２２は、投射部１２から投射される第１のドットパターンを空間変調させるもので、第１のドットパターンを空間変調させるための複数の空間変調パターンを記憶する記憶部２４を備え、他機から投射される第２のドットパターンとの識別が可能な空間変調パターンを記憶部２４から選択し、選択した空間変調パターンにしたがって投射部１２から投射される第１のドットパターンを空間変調させることが好ましい。
　操作部２８は、電源スイッチ、シャッターボタン１１、モード選択部等を含み、操作部２８での指示入力はＣＰＵ２０に加えられる。通信部３０は、他の周辺機器又はアクセスポイントとの間で近距離無線を行う部分であり、本例では他の距離画像取得装置との間でビーコン情報等の送受信等を行う。
　［光変調部］
　次に、第１の実施形態の光変調部２２について詳述する。第１の実施形態の光変調部２２は、投射部１２又は投射レンズ１２Ｃを振動させる振動子を含んで構成されている。
　図４は、光変調部２２の第１の実施形態を示す要部構成図であり、特に投射レンズ１２Ｃを光軸方向（ｚ方向）と直交する水平方向（ｘ方向）及び鉛直方向（ｙ方向）に高周波で振動させる振動機構に関して示している。
　図４に示す光変調部２２の振動機構は、一般のカメラに適用されている手ブレ補正機構と同様の構成を有しており、主としてベース部材１００に設けられたメインガイド軸１０２及び回転止めガイド軸１０４によりｘ方向に移動自在に案内されたスライド部材１０６と、スライド部材１０６に設けられたサブガイド軸１０８及び回転止めガイド軸１１０によりｙ方向に移動自在に案内された移動部材１１２と、ベース部材１００側に磁石が固定され、移動部材１１２側にコイルが固定されたボイスコイル型振動子１１４及び１１６と、ボイスコイル型振動子１１４及び１１６に駆動信号を供給するプリント基板１１８とから構成されている。尚、投射部１２の投射レンズは、移動部材１１２に保持されている。
　ボイスコイル型振動子１１４は、プリント基板１１８を介して高周波の駆動信号が印加されると、スライド部材１０６及び移動部材１１２をｘ方向に振動させ、ボイスコイル型振動子１１６は、プリント基板１１８を介して高周波の駆動信号が印加されると、移動部材１１２をｙ方向に振動させる。
　即ち、ボイスコイル型振動子１１４又は１１６により移動部材１１２がｘ方向又はｙ方向に振動すると、移動部材１１２とともに投射レンズがｘ方向又はｙ方向に振動し、これにより投射レンズ１２Ｃにより投射される第１のドットパターンは、ｘ方向又はｙ方向に振動（空間変調）させられる。
　尚、上記第１の実施形態の光変調部２２は、投射レンズ１２Ｃを振動させる振動子として、ボイスコイル型振動子１１４又は１１６を使用しているが、これに限らず、例えば、ピエゾ素子（圧電素子）を使用することができる。
　図５は、光変調部２２の第２の実施形態を含む投射部１２の構成を示す図である。尚、図５において、図３に示した投射部１２と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　第２の実施形態の光変調部２２は、主としてデジタルマイクロミラーデバイス（ＤＭＤ：Digital Micromirror Device）２００により構成されており、近赤外ＬＥＤ１２Ａから発光された近赤外光は、コリメータレンズ２１０により平行光に補正され、回折光学素子１２Ｂに入射し、ここでマトリクス状の第１のドットパターンに変換される。回折光学素子１２Ｂにより変換された近赤外光の第１のドットパターンの各ドットは、反射ミラー２２０を経由してＤＭＤ２００を構成するマイクロミラー２００Ａ（図６参照）に入射する。
　図６は、ＤＭＤ２００の構成を示す斜視図である。図６に示すようにＤＭＤ２００は、多数（第１のドットパターンのドット数とほぼ同数）のマイクロミラー２００Ａが格子状に配列されてなるマイクロミラー群により構成されている。マイクロミラー２００Ａの各々は、マイクロミラーの駆動情報を一時的に記憶するシリコンゲートのＣＭＯＳ等からなるメモリセル２０２上にヒンジ及びヨーク（図示省略）を含む支柱により支持されている。マイクロミラー２００Ａの表面にはアルミニウム等の反射率の高い材料が蒸着されていて光反射面を形成している。マイクロミラー２００Ａの各々によって反射された第１のドットパターンは、ＤＭＤ２００により空間変調された後、投射レンズ１２Ｃにより測距領域の被写体に投射される。
　第２の実施形態の光変調部２２として機能するＤＭＤ２００は、第１のドットパターンが入射するマイクロミラー群の各々のマイクロミラー２００Ａを高周波で揺動させることにより、第１のドットパターンを空間変調させることができる。尚、ＤＭＤ２００は、マイクロミラー群を構成する各々のマイクロミラー２００Ａを個別に制御することができ、後に詳しく説明するが、揺動させるマイクロミラーを選択し、選択したマイクロミラーのみを揺動させることが好ましい。
　次に、自機から投射した第１のドットパターンと他機から投射した第２のドットパターンとを識別する方法について、図７から図１１を参照しながら説明する。
　図７は、撮像部１４により撮像された近赤外画像であって、測距領域Ａ内の被写体から反射した第１のドットパターンを含む画像の一例を示す図である。尚、図７は、自機から投射した第１のドットパターンのみを含む画像を示している。また、説明の簡単のために、測距領域Ａ内の被写体は、距離が一定の平坦面とする。
　図７に示すように距離が一定の平坦面に投射された第１のドットパターンは、ドット間隔が等間隔になる。尚、各ドット間隔は、撮像部１４から被写体（平坦面）までの距離に対応する間隔になる。
　図８は、撮像部１４により撮像された近赤外画像であって、自機から投射された第１のドットパターンと他機から投射された第２のドットパターンとを含む画像の一例を示す図である。
　図８において、自機の第１のドットパターンが投射される測距領域Ａは、自機の第１のドットパターンと他機の第２のドットパターンとが重複する重複領域Ｂを含んでいる。この場合、第１のドットパターンと第２のドットパターンとは、ドット形状が同一であるため、第１のドットパターンと第２のドットパターンとを画像により識別することはできない。
　距離画像取得装置１０は、自機の第１のドットパターンと他機の第２のドットパターンとの識別を可能にするために、光変調部２２により自機から投射する第１のドットパターンを空間変調させる。
　図９は、図８に示した第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、光変調部２２により投射レンズ１２Ｃを上下方向（図４に示すｙ方向）に振動させた状態で撮像された画像を示す図である。
　この場合、自機の投射部１２から投射される第１のドットパターンのみが上下方向に空間変調されるため、図９に示すように第１のドットパターンの各ドットの形状は、上下方向に長い長円形又は楕円形になる。
　従って、自機の第１のドットパターンが投射される測距領域Ａに自機の第１のドットパターンと他機の第２のドットパターンとが重複する重複領域Ｂが存在していても、パターン抽出部２０Ａは、第１のドットパターンと第２のドットパターンとのドット形状の違いにより、光変調部２２により空間変調された第１のドットパターン（長円形又は楕円形のドットパターン）のみを抽出することができる。
　尚、パターン抽出部２０Ａは、光変調部２２による第１のドットパターンを空間変調させる空間変調パターン（即ち、空間変調パターンに対応する第１のドットパターンの各ドットの形状）を示す情報を、ＣＰＵ２０又は光変調部２２から取得することができ、空間変調パターンに対応したドット形状を有する第１のドットパターンのみを抽出することができる。
　図１０は、図８に示した第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、他機から投射された第２のドットパターンが空間変調されている場合に関して示している。
　この場合、第１のドットパターンと第２のドットパターンとの重複領域Ｂにおける、他機から投射された第２のドットパターンのドット形状は、空間変調により円形ではない。従って、自機の第１のドットパターンが投射される測距領域Ａに自機の第１のドットパターンと他機の第２のドットパターンとが重複する重複領域Ｂが存在していても、パターン抽出部２０Ａは、第１のドットパターンと第２のドットパターンとのドット形状の違いにより、第１のドットパターン（円形のドットパターン）のみを抽出することができる。
　即ち、他機の第２のドットパターンが空間変調されている場合には、ＣＰＵ２０は自機の光変調部２２をオフにし、第１のドットパターンを空間変調させないことが好ましい。
　図１１は、第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、２台の他機から第２のドットパターンが投射され、かつ２台の他機のうちの一方の他機から投射された第２のドットパターンが空間変調されている場合に関して示している。
　図１１において、自機から投射された第１のドットパターンと２台の他機のうちの一方の他機から投射された空間変調された第２のドットパターンとが重複する重複領域Ｂ内には、２台の他機のうちの他方の他機から投射された空間変調されていない第２のドットパターンとが重複する重複領域Ｃが存在している。
　この場合、図１０に示したように自機の第１のドットパターンを空間変調させないと、重複領域Ｃにおいて、第１のドットパターンと２台の他機のうちの他方の他機から投射された空間変調されていない第２のドットパターンとを識別することができなくなる。
　そこで、自機から投射する第１のドットパターンを空間変調させ、空間変調された第１のドットパターンと空間変調されていない第２のドットパターンとを識別可能にするとともに、空間変調された第１のドットパターンと空間変調された第２のドットパターンとを識別可能にするために、第２のドットパターンの空間変調パターンと異なる空間変調パターンにて第１のドットパターンを空間変調させる。
　図１１に示す例では、光変調部２２により投射レンズ１２Ｃを左右方向（図４に示すｘ方向）に振動させ、自機の投射部１２から投射される第１のドットパターンを左右方向に空間変調させる。これにより、第１のドットパターンの各ドットの形状は、左右方向に長い長円形又は楕円形になり、パターン抽出部２０Ａは、自機の第１のドットパターンと空間変調されて上下方向に長い長円形又は楕円形のドット形状を有する他機の第２のドットパターンとを識別することができる。
　尚、図４に示した光変調部２２を構成するボイスコイル型振動子１１４及び１１６をそれぞれ協働させ、投射レンズ１２Ｃをｘ方向及びｙ方向にそれぞれ移動させることにより、第１のドットパターンの各ドットの形状を任意の形状にすることができる。即ち、第１のドットパターンを空間変調させるための複数の空間変調パターン（第１のドットパターンの各ドットの形状に対応する複数の空間変調パターン）を記憶部２４に記憶させておき、光変調部２２は、他機から投射される第２のドットパターンとの識別が可能な空間変調パターンを記憶部２４から選択し、選択した空間変調パターンにしたがって投射部１２から投射される第１のドットパターンを空間変調させることが好ましい。
　また、図８及び図９に示すように測距領域Ａのうちの重複領域Ｂにおいて、自機の第１のドットパターンと他機の第２のドットパターンとが混在し、測距領域Ａの他の領域（重複領域Ｂを除いた他の領域）には、自機の第１のドットパターンのみが存在する場合、重複領域Ｂ内の第１のドットパターンのみを空間変調し、重複領域Ｂにおける自機の第１のドットパターンと他機の第２のドットパターンとを識別可能にしてもよい。
　この場合、領域判別部として機能する判別部２０Ｃにより第１のドットパターンが投射される測距領域Ａと他機から投射される第２のドットパターンの投射領域とが重複する重複領域Ｂを判別する。図５及び図６に示した第２の実施形態の光変調部２２を構成するＤＭＤ２００は、領域判別部による判別結果に応じてマイクロミラー群のうちの重複領域Ｂに対応するマイクロミラー群のみを揺動させる。これにより、第１のドットパターンと第２のドットパターンとの識別が可能になり、かつ重複しない領域に対応する第１のパターンは空間変調されないため、ボケていないドットパターンとして撮像することができる。
　［距離画像取得方法］
　次に、本発明に係る距離画像取得方法について説明する。
　図１２は、本発明に係る距離画像取得方法の第１の実施形態を示すフローチャートである。
　図１２において、ＣＰＵ２０は、駆動部２６を介して投射部１２の近赤外ＬＥＤ１２Ａを点灯させ、投射部１２から近赤外光の第１のドットパターンを測距領域の被写体に投射させる（ステップＳ１０）。この場合、ＣＰＵ２０は、光変調部２２をオフにし、第１のドットパターンの空間変調を行わないようにする（ステップＳ１２）。
　続いて、撮像部１４より空間変調されていない第１のドットパターンを含む画像を撮像する（ステップＳ１４）。パターン抽出部２０Ａは、撮像された画像を閾値に基づいて２値化処理し、ドットパターン（ドットパターンを示す２値画像）を抽出する（ステップＳ１６）。
　次に、判別部２０Ｃは、他の距離画像取得装置からドットパターン（第２のドットパターン）が投射されているか否かを判別する（ステップＳ１８）。この判別は、ステップＳ１６で抽出したドットパターンのドット数が、第１のドットパターンのドット数よりも多いか否かにより行うことができ、又は他の距離画像取得装置の存在を示すビーコン情報を通信部３０を介して受信したか否かにより行うことができる。
　ステップＳ１８において、他の距離画像取得装置から第２のドットパターンが投射されていると判別されると（「Yes」の場合）、ステップＳ２０に遷移させ、他の距離画像取得装置から第２のドットパターンが投射されていないと判別されると（「No」の場合）、ステップＳ２８に遷移させる。
　ステップＳ２０では、自機の第１のドットパターンと他機の第２のドットパターンとが識別が可能か否かを判別し、判別可能な場合（「Yes」の場合）、ステップＳ２８に遷移させ、判別不能な場合（「No」の場合）、ステップＳ２２に遷移させる。
　ステップＳ２２では、光変調部２２をオンにし、第１のドットパターンを空間変調させる。尚、第２のドットパターンの中に空間変調されている第２のドットパターンが存在する場合には、光変調部２２は、空間変調されている第２のドットパターンとは異なる空間変調パターンにて第１のドットパターンを空間変調させる。
　続いて、撮像部１４より第１のドットパターン（空間変調された第１のドットパターン）を含む画像を撮像し（ステップＳ２４）、パターン抽出部２０Ａは、撮像された画像から第１のドットパターン（空間変調された第１のドットパターン）を抽出する（ステップＳ２６）。
　距離画像取得部２０Ｂは、ステップＳ１６により抽出したドットパターン（空間変調されていない第１のドットパターン）、又はステップＳ２６により抽出した空間変調された第１のドットパターンに基づいて被写体の距離を示す距離画像を取得する（ステップＳ２８）。
　尚、図１２に示す実施形態では、１フレーム分の距離画像を取得しているが、動画と同様に所定のフレームレートで連続する距離画像を取得する場合には、ステップＳ１０からステップＳ２８の処理を、動画の距離画像の取得が終了するまで繰り返し実行する。
　図１３は、本発明に係る距離画像取得方法の第２の実施形態を示すフローチャートである。
　図１３において、ＣＰＵ２０は、投射部１２の近赤外ＬＥＤ１２Ａを消灯させ（ステップＳ１００）、撮像部１４は、第１のドットパターンの非投射下で撮像を行う（ステップＳ１０２）。判別部２０Ｃは、ステップＳ１０２で取得した画像に基づいて他の距離画像取得装置からドットパターン（第２のドットパターン）が投射されているか否かを判別する（ステップＳ１０４）。
　第２のドットパターンが投射されている場合（「Yes」の場合）には、投射の有無を示すフラグＦを１にセットした後（ステップＳ１０６）、ステップＳ１１０に遷移させ、第２のドットパターンが投射されていない場合（「No」の場合）には、フラグＦを０にセットした後（ステップＳ１０８）、ステップＳ１１０に遷移させる。
　ステップＳ１１０において、ＣＰＵ２０は、駆動部２６を介して投射部１２の近赤外ＬＥＤ１２Ａを点灯させ、投射部１２から近赤外光の第１のドットパターンを測距領域の被写体に投射させる（ステップＳ１１０）。
　続いて、フラグＦが１か否かを判別し（ステップＳ１１２）、フラグＦが１の場合（「Yes」の場合）、光変調部２２をオンにし、第１のドットパターンを空間変調させる。（ステップＳ１１４）。一方、フラグＦが１でない場合（「No」の場合）、光変調部２２をオフにし、第１のドットパターンの空間変調を行わないようにする（ステップＳ１１６）。　次に、撮像部１４より第１のドットパターンを含む画像を撮像する（ステップＳ１１８）。パターン抽出部２０Ａは、撮像された画像を閾値に基づいて２値化処理し、第１のドットパターン（第１のドットパターンを示す２値画像）を抽出する（ステップＳ１２０）。尚、他機から第２のドットパターンが投射されている場合には、第１のドットパターンは空間変調されており、一方、他機から第２のドットパターンが投射されていない場合には、第１のドットパターンは空間変調されていないが、第１のドットパターンのみが撮像されるため、パターン抽出部２０Ａは、いずれの場合も第１のドットパターンのみを抽出することができる。
　距離画像取得部２０Ｂは、ステップＳ１２０により抽出した第１のドットパターンに基づいて被写体の距離を示す距離画像を取得する（ステップＳ１２２）。
　尚、図１３に示す実施形態では、１フレーム分の距離画像を取得しているが、動画と同様に所定のフレームレートで連続する距離画像を取得する場合には、ステップＳ１００からステップＳ１２２の処理を、動画の距離画像の取得が終了するまで繰り返し実行する。
　また、上記の第１の実施形態及び第２の実施形態では、自機から投射した第１のドットパターンと他機から投射された第２のドットパターンとの識別が不能な場合、あるいは他機から第２のドットパターンが投射されている場合に、光変調部２２をオンにして第１のドットパターンを空間変調させ、第１のドットパターンと第２のドットパターンとの識別を可能にしているが、他機から投射される第２のドットパターンの有無、及び第２のドットパターンの空間変調の有無にかかわらず、光変調部２２は、記憶部２４に記憶された複数の空間変調パターンの中から順番に、又はランダムに空間変調パターンを読み出し、読み出した空間変調パターンにしたがって投射部１２から投射される第１のパターンを空間変調させるようにしてもよい。
　この場合、第１のドットパターンは、複数の空間変調パターンの中から順番に、又はランダムに読み出された空間変調パターンにしたがって空間変調しているため、第１のドットパターンの各ドットの形状は、時々刻々と変化する。パターン抽出部２０Ａは、ドット形状が変化するドットパターンを、自機から投射した第１のドットパターンとして識別することができる。また、第１のドットパターンの各ドットの形状が、時々刻々と変化する場合、他機の第２のドットパターンのドット形状と異なるドット形状を有する第１のドットパターン（第２のドットパターンとの識別が可能な第１のドットパターン）が投射されるタイミングがあり、パターン抽出部２０Ａは、そのタイミングで撮像された第１のドットパターンを含む画像から第１のドットパターンのみを抽出することができる。
　＜イメージセンサの他の実施形態＞
　図１４は、本発明に係る距離画像取得装置に適用可能なイメージセンサの他の実施形態を説明するために用いた図であり、図１４の（Ａ）部分は、他の実施形態のイメージセンサの２×２画素の基本配列を示す図である。他の実施形態のイメージセンサは、この基本配列が水平方向及び垂直方向に繰り返し配置されて構成されている。
　図１４の（Ａ）部分に示すように２×２画素の基本配列は、近赤外光の波長帯域に感度を有する第１の受光素子である近赤外光画素（ＩＲ(infrared)画素）と、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の可視光の波長帯域にそれぞれ感度を有する３つの第２の受光素子（Ｒ画素、Ｇ画素、Ｂ画素）とを有している。即ち、他の実施形態のイメージセンサは、ＩＲ画素と、Ｒ画素、Ｇ画素及びＢ画素とが混在して２次元配列されて構成されている。
　図１４の（Ｂ）部分は、Ｒ画素、Ｇ画素及びＢ画素に配設されているＲＧＢの各カラーフィルタの分光透過率と、近赤外ＬＥＤ１２Ａから発光される近赤外光の分光特性とを示している。
　パターン抽出部２０Ａは、上記構成のイメージセンサのＩＲ画素から読み出される近赤外画像から第１のドットパターンを抽出することができ、距離画像取得部２０Ｂは、抽出された第１のドットパターンに基づいて被写体の距離を示す距離画像の取得が可能である。
　また、ＣＰＵ２０内の可視光画像生成部（図示せず）は、上記構成のイメージセンサのＲ画素、Ｇ画素及びＢ画素から読み出されるＲＧＢの可視光画像から測距領域内の被写体の可視光画像（カラー画像）を生成することができる。ＲＧＢの各フィルターは近赤外光にも透過率を有するが、対応するＲ画素、Ｇ画素及びＢ画素が近赤外光に感度を持たない構造としたり、ＲＧＢの各フィルターに重ねてＩＲカットフィルタを設けることで近赤外に感度を持たない可視光画像の生成が可能である。また、ＩＲカットフィルタや近赤外光に感度を持たない構造ではなく、図１４の（Ｂ）部分でバンドパス特性を有している近赤外光フィルターに代えて可視光カットフィルタを設け、Ｒ画素、Ｇ画素及びＢ画素から読み出されるＲＧＢの各画像から、ＩＲ画像成分を減算することで可視光画像の生成を行っても良い。
　つまり可視光画像には近赤外画像が含まれないため、空間変調された近赤外光の第１のドットパターンが被写体に投射されていても可視光画像には影響しない。また、上記構成のイメージセンサによれば、１つのイメージセンサの出力に基づいて同一画角の距離画像と可視光画像とを同時に取得することができる。
　本発明を適用可能な態様は、距離画像を取得する単独の機能を備えている距離画像取得装置に限らず、一般のカラー画像の撮像が可能なデジタルカメラ、ビデオカメラが距離画像取得機能を搭載しているものでもよく、また、距離画像取得機能に加えて距離画像取得機能以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
　＜スマートフォンの構成＞
　図１５は、距離画像取得装置の実施形態であるスマートフォン５００の外観を示す斜視図である。
　図１５に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１と、投射部５４２とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。
　図１６は、図１５に示したスマートフォン５００の構成を示すブロック図である。図１６に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、撮像部として機能するカメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
　無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３次元画像を鑑賞する場合には、表示パネル５２１は、３次元表示パネルであることが好ましい。
　表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
　操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
　図１５に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１６に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。
　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
　電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などのイメージセンサを用いて電子撮像する撮像装置である。このカメラ部５４１に前述した距離画像取得装置１０を適用することができる。
　この場合、カメラ部５４１は、図１４の（Ａ）部分に示したように１つのイメージセンサ内に距離画像用の近赤外光を透過させる第１の受光素子（ＩＲ画素）と、カラー撮像用の第２の受光素子（Ｒ画素、Ｇ画素、Ｂ画素）が混在して２次元配列されたものが好ましい。即ち、カメラ部５４１のイメージセンサとしては、ＲＧＢのカラーフィルタが設けられたＲ画素、Ｇ画素及びＢ画素と、可視光カットフィルタが設けられた画素（赤外光のみに感度を有するＩＲ画素）とが混在するものを使用することが好ましい。
　投射部５４２は、近赤外ＬＥＤを有し、距離画像の取得時に近赤外光の第１のドットパターンを投射する。また、近赤外ＬＥＤは、赤外線通信機能を有するスマートフォン５００の場合、赤外線通信の光源として使用することも可能である。
　また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た可視光の画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができ、同様に被写体の距離を示す距離画像を記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１５に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像することもできる。
　また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　尚、本実施形態の投射部１２は、近赤外ＬＥＤ１２Ａを光源としているが、本発明はこれに限らず、例えば、近赤外のレーザー光を出射する半導体レーザ等を光源にしてもよい。例えば第２の実施形態の変形として、光源の近赤外ＬＥＤ１２Ａの代わりに近赤外レーザーを用いてコリメータレンズ２１０等を省略し、ＤＭＤ２００の変わりに２軸走査のシングルマイクロミラーを用いたり、反射ミラー２１０とＤＭＤ２００の代わりに１軸走査のシングルマイクロミラー２枚の組み合わせを用いることも出来る。
　１０…距離画像取得装置、１２、５４２…投射部、１２Ａ…近赤外ＬＥＤ、１２Ｂ…回折光学素子、１２Ｃ…投射レンズ、１４…撮像部、１４Ａ…結像レンズ、１４Ｂ…イメージセンサ、２０…中央処理装置（ＣＰＵ）、２０Ａ…パターン抽出部２０Ａ…距離画像取得部、２０Ｃ…判別部、２２…光変調部、２４…記憶部、２８…操作部、３０…通信部、５００…スマートフォン、５４１…カメラ部

Claims (17)

  1. 　測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射する投射部と、
    　前記投射部から投射される前記第１のパターンを空間変調させる光変調部と、
    　前記投射部から基線長だけ離れて並設され、前記測距領域内の被写体上で反射する前記第１のパターンを含む画像を撮像する撮像部と、
    　前記撮像部により撮像された画像から前記光変調部により空間変調された前記第１のパターンを抽出するパターン抽出部と、
    　前記パターン抽出部により抽出された前記第１のパターンに基づいて前記測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、
    　を備えた距離画像取得装置。
  2. 　他の距離画像取得装置から構造化光の第２のパターンが投射されているか否かを判別する判別部を備え、
    　前記光変調部は、前記判別部により前記他の距離画像取得装置から前記第２のパターンが投射されていると判別されると、前記投射部から投射される前記第１のパターンを空間変調させる請求項１に記載の距離画像取得装置。
  3. 　前記第１のパターン及び前記第２のパターンは、それぞれドットパターンであり、
    　前記判別部は、前記撮像部により撮像された画像から検出されたドットパターンのドット数が前記投射部から投射した前記第１のパターンのドット数を越えている場合に、前記他の距離画像取得装置から前記第２のパターンが投射されていると判別する請求項２に記載の距離画像取得装置。
  4. 　前記光変調部は、前記第１のパターンを空間変調させるための複数の空間変調パターンを記憶する記憶部を有し、前記判別部により前記他の距離画像取得装置から前記第２のパターンが投射されていると判別され、かつ前記投射部から投射される前記第１のパターンと前記他の距離画像取得装置から投射される前記第２のパターンとの識別が不能な場合に、前記他の距離画像取得装置から投射される前記第２のパターンとの識別が可能な空間変調パターンを前記記憶部から選択し、前記選択した空間変調パターンにしたがって前記投射部から投射される前記第１のパターンを空間変調させる請求項３に記載の距離画像取得装置。
  5. 　前記他の距離画像取得装置から送信されるビーコン情報であって、前記他の距離画像取得装置から前記第２のパターンが投射されていることを示すビーコン情報を受信するビーコン情報受信部を備え、
    　前記判別部は、前記ビーコン情報受信部が前記ビーコン情報を受信すると、前記他の距離画像取得装置から前記第２のパターンが投射されていると判別する請求項２に記載の距離画像取得装置。
  6. 　前記ビーコン情報は、前記第２のパターンの空間変調の変調内容を示す空間変調情報を含み、
    　前記光変調部は、前記第１のパターンを空間変調の変調内容が異なる複数の空間変調パターンを記憶する記憶部を有し、前記判別部により前記他の距離画像取得装置から前記第２のパターンが投射されていると判別され、かつ前記投射部から投射される前記第１のパターンと前記他の距離画像取得装置から投射される前記第２のパターンとの識別が不能な場合に、前記第１のパターンと前記第２のパターンとの識別を可能にする空間変調パターンを前記記憶部から選択し、前記選択した空間変調パターンにしたがって前記投射部から投射される前記第１のパターンを空間変調させる請求項５に記載の距離画像取得装置。
  7. 　前記光変調部は、前記第１のパターンを空間変調の変調内容が異なる複数の空間変調パターンを記憶する記憶部を有し、前記記憶部に記憶された複数の空間変調パターンの中から順番に、又はランダムに前記空間変調パターンを読み出し、前記読み出した空間変調パターンにしたがって前記投射部から投射される前記第１のパターンを空間変調させる請求項１に記載の距離画像取得装置。
  8. 　前記光変調部は、前記投射部又は前記投射部の投射光学系を振動させる振動子である請求項１から７のいずれか１項に記載の距離画像取得装置。
  9. 　前記振動子は、ピエゾ素子又はボイスコイル型振動子である請求項８に記載の距離画像取得装置。
  10. 　前記光変調部は、前記投射部から投射される前記第１のパターンが入射するマイクロミラー群を有し、前記マイクロミラー群を揺動させることにより前記マイクロミラー群により反射する前記第１のパターンを空間変調させるデジタルマイクロミラーデバイスである請求項１から７のいずれか１項に距離画像取得装置。
  11. 　前記第１のパターンが投射される前記測距領域と、他の距離画像取得装置から投射される構造化光の第２のパターンの投射領域とが重複する重複領域を判別する領域判別部を備え、
    　前記光変調部は、前記デジタルマイクロミラーデバイスのマイクロミラー群のうちの前記領域判別部により判別された重複領域に対応するマイクロミラーのみを揺動させる請求項１０に記載の距離画像取得装置。
  12. 　前記第１のパターンの光は、近赤外光であり、
    　前記撮像部は、少なくとも近赤外光の波長帯域に感度を有する請求項１から１１のいずれか１項に記載の距離画像取得装置。
  13. 　前記撮像部は、近赤外光の波長帯域に感度を有する第１の受光素子と、可視光の波長帯域に感度を有する第２の受光素子とが混在して２次元配列されたイメージセンサを有し、
    　前記パターン抽出部は、前記イメージセンサの前記第１の受光素子により取得される画像から前記光変調部により空間変調された前記第１のパターンを抽出し、
    　前記イメージセンサの前記第２の受光素子により取得される画像から前記測距領域内の被写体の可視光画像を生成する可視光画像生成部を更に備えた請求項１から１２のいずれか１項に記載の距離画像取得装置。
  14. 　投射部から測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射するステップと、
    　前記投射部から投射される前記第１のパターンを空間変調させるステップと、
    　前記投射部から基線長だけ離れて並設された撮像部により前記測距領域内の被写体上で反射する前記第１のパターンを含む画像を撮像するステップと、
    　前記撮像部により撮像された画像に基づいて前記空間変調された前記第１のパターンを抽出するステップと、
    　前記抽出された前記第１のパターンに基づいて前記測距領域内の被写体の距離を示す距離画像を取得するステップと、
    を含む距離画像取得方法。
  15. 　前記投射部から投射される第１のパターンと異なる第２のパターンが投射されているか否かを判別するステップを含み、
    　前記第１のパターンを空間変調させるステップは、前記第２のパターンが投射されていると判別されると、前記第１のパターンを空間変調させる請求項１４に記載の距離画像取得方法。
  16. 　前記第１のパターン及び前記第２のパターンは、それぞれドットパターンであり、
    　前記判別するステップは、前記撮像部により撮像された画像から検出されたドットパターンのドット数が前記第１のパターンのドット数を越えている場合に、前記第２のパターンが投射されていると判別する請求項１５に記載の距離画像取得方法。
  17. 　前記空間変調させるステップは、前記判別するステップにより前記第２のパターンが投射されていると判別され、かつ前記第１のパターンと前記第２のパターンとの識別が不能な場合に、前記第１のパターンと前記第２のパターンとの識別を可能にする空間変調パターンにしたがって前記投射部から投射される前記第１のパターンを空間変調させる請求項１６に記載の距離画像取得方法。
PCT/JP2015/081305 2015-03-27 2015-11-06 距離画像取得装置及び距離画像取得方法 WO2016157593A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112015006383.8T DE112015006383B4 (de) 2015-03-27 2015-11-06 Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren
CN201580078151.1A CN107709925B (zh) 2015-03-27 2015-11-06 距离图像获取装置
JP2017509153A JP6247793B2 (ja) 2015-03-27 2015-11-06 距離画像取得装置
US15/710,379 US9927223B2 (en) 2015-03-27 2017-09-20 Distance image acquisition apparatus and distance image acquisition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015065558 2015-03-27
JP2015-065558 2015-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/710,379 Continuation US9927223B2 (en) 2015-03-27 2017-09-20 Distance image acquisition apparatus and distance image acquisition method

Publications (1)

Publication Number Publication Date
WO2016157593A1 true WO2016157593A1 (ja) 2016-10-06

Family

ID=57004189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081305 WO2016157593A1 (ja) 2015-03-27 2015-11-06 距離画像取得装置及び距離画像取得方法

Country Status (5)

Country Link
US (1) US9927223B2 (ja)
JP (1) JP6247793B2 (ja)
CN (1) CN107709925B (ja)
DE (1) DE112015006383B4 (ja)
WO (1) WO2016157593A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018200927A (ja) * 2017-05-25 2018-12-20 京セラ株式会社 電磁波検出装置および情報取得システム
WO2019053998A1 (ja) * 2017-09-13 2019-03-21 ソニー株式会社 距離測定モジュール
WO2019082686A1 (ja) * 2017-10-27 2019-05-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP2020073894A (ja) * 2019-12-25 2020-05-14 京セラ株式会社 電磁波検出装置および情報取得システム
JP2020073895A (ja) * 2019-12-25 2020-05-14 京セラ株式会社 電磁波検出装置および情報取得システム
JP2021518535A (ja) * 2018-03-20 2021-08-02 マジック アイ インコーポレイテッド 様々な密度の投影パターンを使用する距離測定
US11372200B2 (en) 2017-10-27 2022-06-28 Sony Semiconductor Solutions Corporation Imaging device
US11696051B2 (en) 2019-08-01 2023-07-04 Panasonic Intellectual Property Management Co., Ltd. Imaging device
WO2023238913A1 (ja) * 2022-06-08 2023-12-14 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015046294A1 (ja) 2013-09-30 2015-04-02 並木精密宝石株式会社 ダイヤモンド基板及びダイヤモンド基板の製造方法
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
JP6290512B2 (ja) * 2015-06-09 2018-03-07 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
KR102595391B1 (ko) 2016-12-07 2023-10-31 매직 아이 인코포레이티드 조정 가능한 초점 이미징 센서를 포함한 거리 센서
US10885761B2 (en) 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
EP3692396A4 (en) 2017-10-08 2021-07-21 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
JP7354133B2 (ja) 2018-03-20 2023-10-02 マジック アイ インコーポレイテッド 三次元深度検知及び二次元撮像のためのカメラ露出調節
JP7030592B2 (ja) * 2018-03-27 2022-03-07 キヤノン株式会社 測距装置、撮像装置、移動装置、ロボット装置、プログラム
CN112513565B (zh) 2018-06-06 2023-02-10 魔眼公司 使用高密度投影图案的距离测量
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
EP3824339A4 (en) * 2018-08-24 2021-09-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. INFRARED PROJECTOR, IMAGING DEVICE AND TERMINAL DEVICE
JP7049482B2 (ja) * 2018-11-21 2022-04-06 富士フイルム株式会社 像ブレ補正装置、レンズ装置、撮像装置
CN109708588A (zh) * 2019-01-14 2019-05-03 业成科技（成都）有限公司 结构光投射器及结构光深度感测器
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020231747A1 (en) * 2019-05-12 2020-11-19 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11450083B2 (en) * 2019-09-27 2022-09-20 Honeywell International Inc. Dual-pattern optical 3D dimensioning
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
EP4094181A4 (en) 2019-12-29 2024-04-03 Magik Eye Inc. ASSIGNMENT OF THREE-DIMENSIONAL COORDINATES TO TWO-DIMENSIONAL FEATURE POINTS
JP2023510738A (ja) 2020-01-05 2023-03-15 マジック アイ インコーポレイテッド ３次元カメラの座標系を２次元カメラの入射位置に移動させる方法
JP7384712B2 (ja) * 2020-03-06 2023-11-21 富士フイルム株式会社 放射線強度推定装置、放射線強度推定装置の作動方法、放射線強度推定装置の作動プログラム、放射線撮影システム
US11831858B2 (en) * 2020-05-08 2023-11-28 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on referential image blurring
CN212623504U (zh) * 2020-06-08 2021-02-26 三赢科技（深圳）有限公司 结构光投影仪
US11862117B2 (en) * 2020-11-25 2024-01-02 Texas Instruments Incorporated Method and apparatus for matched buffer decompression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221333A (ja) * 2004-02-04 2005-08-18 Hokuyo Automatic Co レンジセンサ及びレンジセンサの相互干渉抑制方法
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP2012134670A (ja) * 2010-12-20 2012-07-12 Nikon Corp 画像演算装置、撮像装置および画像演算プログラム
US20120194650A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Reducing Interference Between Multiple Infra-Red Depth Cameras

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471541A (en) * 1993-11-16 1995-11-28 National Research Council Of Canada System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model
US20070065004A1 (en) * 2005-08-01 2007-03-22 Topcon Corporation Three-dimensional measurement system and method of the same, and color-coded mark
JP5057734B2 (ja) * 2006-09-25 2012-10-24 株式会社トプコン 測量方法及び測量システム及び測量データ処理プログラム
JP4344869B2 (ja) * 2007-02-16 2009-10-14 三菱電機株式会社 計測装置
US7988290B2 (en) * 2007-06-27 2011-08-02 AMO Wavefront Sciences LLC. Systems and methods for measuring the shape and location of an object
US8379929B2 (en) * 2009-01-08 2013-02-19 Trimble Navigation Limited Methods and apparatus for performing angular measurements
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
CN102550015B (zh) * 2010-06-30 2016-06-08 富士胶片株式会社 多视点拍摄控制装置以及多视点拍摄控制方法
US8717312B2 (en) * 2010-07-26 2014-05-06 Au Optronics Corporation Touch sensing device
JP6119232B2 (ja) * 2012-12-19 2017-04-26 株式会社ソシオネクスト 距離測定装置、距離測定方法
JP6135120B2 (ja) * 2012-12-19 2017-05-31 富士通株式会社 距離測定装置、距離測定方法及びプログラム
US8923650B2 (en) * 2013-01-07 2014-12-30 Wexenergy Innovations Llc System and method of measuring distances related to an object
KR101566619B1 (ko) * 2014-06-03 2015-11-09 중앙대학교 산학협력단 듀얼 오프 액시스 컬러 필터 조리개를 이용한 거리 추정 장치 및 방법
US9395174B2 (en) * 2014-06-27 2016-07-19 Faro Technologies, Inc. Determining retroreflector orientation by optimizing spatial fit
US20160189387A1 (en) * 2014-12-24 2016-06-30 Lensbricks Technology Private Limited Methods and Apparatus for Depth Sensing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221333A (ja) * 2004-02-04 2005-08-18 Hokuyo Automatic Co レンジセンサ及びレンジセンサの相互干渉抑制方法
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP2012134670A (ja) * 2010-12-20 2012-07-12 Nikon Corp 画像演算装置、撮像装置および画像演算プログラム
US20120194650A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Reducing Interference Between Multiple Infra-Red Depth Cameras

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAIMONE, ANDREW ET AL.: "Reducing Interference Between Multiple Structured Light Depth Sensors Using Motion", 2012 IEEE VIRTUAL REALITY SHORT PAPERS AND POSTERS (VRW, 2012, pages 51 - 54, XP032163057, ISBN: 978-1-4673-1247-9 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018200927A (ja) * 2017-05-25 2018-12-20 京セラ株式会社 電磁波検出装置および情報取得システム
US11719790B2 (en) 2017-05-25 2023-08-08 Kyocera Corporation Electromagnetic wave detection apparatus and information acquisition system
US10838044B2 (en) 2017-05-25 2020-11-17 Kyocera Corporation Electromagnetic wave detection apparatus and information acquisition system
EP3683542A4 (en) * 2017-09-13 2020-11-04 Sony Corporation DISTANCE MEASURING MODULE
CN111051813A (zh) * 2017-09-13 2020-04-21 索尼公司 测距模块
US11402197B2 (en) 2017-09-13 2022-08-02 Sony Corporation Distance measuring module
WO2019053998A1 (ja) * 2017-09-13 2019-03-21 ソニー株式会社 距離測定モジュール
WO2019082686A1 (ja) * 2017-10-27 2019-05-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US11372200B2 (en) 2017-10-27 2022-06-28 Sony Semiconductor Solutions Corporation Imaging device
JP2021518535A (ja) * 2018-03-20 2021-08-02 マジック アイ インコーポレイテッド 様々な密度の投影パターンを使用する距離測定
US11696051B2 (en) 2019-08-01 2023-07-04 Panasonic Intellectual Property Management Co., Ltd. Imaging device
JP2020073894A (ja) * 2019-12-25 2020-05-14 京セラ株式会社 電磁波検出装置および情報取得システム
JP2020073895A (ja) * 2019-12-25 2020-05-14 京セラ株式会社 電磁波検出装置および情報取得システム
JP2022173534A (ja) * 2019-12-25 2022-11-18 京セラ株式会社 電磁波検出装置および情報取得システム
WO2023238913A1 (ja) * 2022-06-08 2023-12-14 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法

Also Published As

Publication number Publication date
DE112015006383T5 (de) 2017-12-14
DE112015006383B4 (de) 2019-01-03
CN107709925B (zh) 2018-12-14
US20180010903A1 (en) 2018-01-11
JPWO2016157593A1 (ja) 2018-01-18
US9927223B2 (en) 2018-03-27
CN107709925A (zh) 2018-02-16
JP6247793B2 (ja) 2017-12-13

Similar Documents

Publication Publication Date Title
JP6247793B2 (ja) 距離画像取得装置
JP6360621B2 (ja) 距離画像取得装置及び距離画像取得方法
JP6290512B2 (ja) 距離画像取得装置及び距離画像取得方法
US20210116565A1 (en) Distance image acquisition apparatus and distance image acquisition method
JP6244061B2 (ja) 距離画像取得装置及び距離画像取得方法
US20220020165A1 (en) Method for Obtaining Depth Information and Electronic Device
JP6205067B2 (ja) パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法
US10757322B2 (en) Method of setting initial position of camera, camera, and camera system
JP5420365B2 (ja) 投影装置
US9215003B2 (en) Communication apparatus, communication method, and computer readable recording medium
CN108965666B (zh) 一种移动终端及图像拍摄方法
JP2016012785A (ja) 撮像装置
CN111176337B (zh) 一种投影装置以及投影方法、计算机存储介质
CN113364970A (zh) 一种非视距物体的成像方法和电子设备
CN113012211B (zh) 图像采集方法、装置、系统、计算机设备及存储介质
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
CN108829464B (zh) 服务启动方法、装置、计算机设备及存储介质
EP2605505B1 (en) Apparatus and method for controlling a camera and infrared illuminator in an electronic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15887735

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017509153

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112015006383

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15887735

Country of ref document: EP

Kind code of ref document: A1