WO2019012770A1 - 撮像装置及びモニタリング装置 - Google Patents

撮像装置及びモニタリング装置 Download PDF

Info

Publication number
WO2019012770A1
WO2019012770A1 PCT/JP2018/015743 JP2018015743W WO2019012770A1 WO 2019012770 A1 WO2019012770 A1 WO 2019012770A1 JP 2018015743 W JP2018015743 W JP 2018015743W WO 2019012770 A1 WO2019012770 A1 WO 2019012770A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
distance
unit
sensor unit
specular reflector
Prior art date
Application number
PCT/JP2018/015743
Other languages
English (en)
French (fr)
Inventor
洋平 小倉
堅誠 城
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN201880028772.2A priority Critical patent/CN110573833B/zh
Priority to US16/610,283 priority patent/US11320536B2/en
Priority to EP18831506.3A priority patent/EP3653989B1/en
Publication of WO2019012770A1 publication Critical patent/WO2019012770A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/0073Interferometric means or methods, e.g. creation of a hologram
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045Correction of measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Definitions

  • a distance to the object is determined based on sensing data of a sensor unit that emits light to an object and detects the light reflected by the object.
  • a distance calculating unit to calculate, a specular reflector positioned on the opposite side of the sensor unit with the object interposed therebetween, the light having traveled a first path from the sensor unit toward the object, and the sensor
  • a correction unit that corrects an error included in the calculated distance, which is caused by interference with the light reflected from the unit by the specular reflector and traveled along the second path toward the object;
  • a distance calculation unit that calculates a distance, the light that follows a first path from the sensor unit to the object, and a mirror surface located on the opposite side of the sensor unit from the sensor unit across the object
  • An image pickup apparatus comprising: a correction unit that corrects an error included in the calculated distance caused by interference with the light reflected by a reflector and tracing a second path toward the object; Be done.
  • the specular reflector 20 is included in the distance measuring system 1 according to this embodiment. It does not have to be done.
  • Patent Document 1 discloses a method of measuring the back surface or the like of the object 50 by using a plurality of distance measurement cameras 10 in this manner. According to the said method, since the several ranging camera 10 is needed, it is difficult to suppress the increase in the cost for construction of the ranging system 1.
  • the irradiation unit 102 includes a laser light source (not shown), an optical element (not shown), and a photoelectric element (not shown).
  • a laser diode is used as the laser light source, and the wavelength of light to be irradiated can be changed by selecting the laser diode as appropriate.
  • the irradiating unit 102 is described as irradiating infrared light near a wavelength of 785 nm.
  • a plurality of laser light sources may be provided in the irradiation unit 102.
  • the optical element has, for example, a collimator lens or the like, and has a function of emitting light from a laser light source as substantially parallel light.
  • the light receiving unit 104 has a condensing lens (not shown) and a light receiving element (not shown).
  • the condenser lens has a function of collecting the received light on the light receiving element.
  • the light receiving element is, for example, a CMOS image sensor having a plurality of pixels, and generates a light receiving signal for each pixel based on the intensity of the received light, and in detail, approximately proportional to the intensity of the received light Generate a signal that Therefore, the ranging camera 10 can acquire the intensity of light corresponding to each pixel. Further, the light receiving element outputs the generated signal to a phase difference calculation unit 110 described later.
  • an amplifier (not shown) or the like may be provided in the light receiving unit 104, and the generated signal may be amplified and then output to the phase difference calculating unit 110.
  • the light receiving unit 104 may have a light collecting unit (not shown) or the like.
  • the distance calculation unit 300 calculates the distance from the distance measurement camera 10 to the object 50 based on the phase difference output from the distance measurement camera 10 described above.
  • Control unit 350 The control unit 350 is realized by, for example, hardware such as a CPU, a ROM, and a RAM, and controls each functional unit of the processing device 30.
  • Step S109 The processing device 30 inverts the three-dimensional point group for the mirror image 602 corrected at step S107 with respect to the plane of the specular reflector 20, and corrects the mirror image 602 inverted for the three-dimensional image 600. Match the point cloud.
  • the information on the position and orientation of the specular reflector 20 acquired in step S105 is used.
  • step S105 Details of measurement of the position and orientation of the specular reflector 20 in step S105, details of correction in step S107, and details of determination of the presence or absence of an error in step S111 will be sequentially described below.
  • FIG. 9 is an explanatory view for explaining an example of a method of measuring the specular reflector 20 according to the present embodiment.
  • the light of the first path 500 and the light of the second path 502 cause interference 700 on the upper surface 50c of the object 50 or the like (multipath interference 700)
  • the ranging camera 10 receives light having a phase different from the phase to be originally received. As a result, an error (distortion) occurs in the measured distance, and the correct distance of the object 50 can not be obtained. So, in this embodiment, correction
  • the amplitude power d of the light of the first path 500 and the amplitude power r of the light of the second path 502 at the point xd are Can be expressed by equation (3) of In the formula (3), alpha d, the alpha r, at the point x d, the light and the direction vector of the light of the second path 502 of the first path 500 which enters the normal vector and the point x d It is an angle to make.
  • r m in the equation (3) represents the reflectance of the specular reflector 20 and is a constant in the range of 0 ⁇ r m ⁇ 1.
  • the reflectance r m varies depending on the material of the reflection surface of the specular reflector 20. In the present embodiment, it is assumed that the reflectance r m of the specular reflector 20 is known.
  • the interference light that has interfered at the point xd of the object 50 then reaches the distance measuring camera 10.
  • the phase P 0 of the light at the time of reaching the distance measuring camera 10 is It will be further shifted by Pd. That is, the phase P 0 of light in the case where the interference light travels along the first path 500 is represented by the following Expression (5).
  • the above-described correction is performed on all observed three-dimensional point groups including the real image 600 and the mirror image 602.
  • the corrected mirror image 602 is inverted with respect to the plane of the specular reflector 20 so that the inverted mirror image 602 matches the corrected real image 600.
  • the positions and shapes of the inverted mirror image 602 and the real image 600 coincide.
  • the position and the shape of the inverted mirror image 602 and the real image 600 will not match due to excessive correction.
  • the three-dimensional point group of the object 50 can be calculated from the distance image including the distance value of each pixel acquired by the distance measuring camera 10. That is, since each pixel included in the distance image is in one-to-one correspondence with the three-dimensional point group, the three-dimensional point group can be projected onto the two-dimensional distance image. Therefore, in the present embodiment, the three-dimensional point group obtained from the real image 600 of the object 50 and the three-dimensional point group obtained from the mirror image 602 are projected on the distance image.
  • the area is determined as an area where interference 700 due to multipath occurs.
  • the area including the coincidence point less than the threshold value it is estimated that the real image 600 and the inverted mirror image 602 do not coincide, and the area is determined as an area where the interference 700 due to multipath does not occur.
  • the area division is not limited to the color segmentation, and the area division may be performed based on the texture or the like obtained from the image of the object 50.
  • the method of determining the region in which the interference 700 due to multipath is generated is not limited to the method described above.
  • the user may specify the area corresponding to the area where the interference 700 due to multi-pass occurs in the color image or the like of the object 50 by specifying the area.
  • the user may specify a specific area from among the areas divided by the color segmentation to specify the area.
  • FIG. 11 is an explanatory view for explaining an application example 1 of the present embodiment, and specifically shows a state in which the shape of the dentition 810 in the oral cavity of a patient etc. is scanned using the present embodiment. .
  • a device consisting of a small mirror (mirror top) and a handle (mirror handle), which is called a mirror (dentoscope), is used to observe an area in the oral cavity that is difficult to see from the outside. It is done. Therefore, it is possible to consider an application example such as a monitoring device that scans the dentition 810 once by combining the distance measuring camera 10 according to the present embodiment with the mirror.
  • the intensity of the light emitted from the distance measuring camera 10 is too strong, and the sensitivity of the light receiving unit 104 of the distance measuring camera 10 is saturated. there is a possibility. Therefore, in the present application example, in order to avoid such saturation, it is preferable to set the intensity of the light emitted from the distance measuring camera 10 to a condition suitable for short distance measurement.
  • the distance measuring system 1 is applied to a monitoring device that recognizes the hand gesture 830 in the vehicle.
  • a hand gesture 830 by a finger tip or the like that has been blocked and could not be recognized is recognized by the distance measuring camera 10 installed on the ceiling in the vehicle 820.
  • the distance measurement system 1 can be applied.
  • the movement of the person 50 d) can be scanned three-dimensionally with high accuracy.
  • the processing device 900 includes, for example, a CPU 950, a ROM 952, a RAM 954, a recording medium 956, an input / output interface 958, and an operation input device 960. Furthermore, the processing device 900 comprises a display device 962, a communication interface 968 and a sensor 980. In addition, the processing device 900 connects the respective components by, for example, a bus 970 as a data transmission path.
  • the CPU 950 includes, for example, one or more processors configured by arithmetic circuits such as a CPU, various processing circuits, and the like, and as a control unit (eg, the control unit 350 described above) that controls the entire processing apparatus 900. Function. Specifically, the CPU 950 performs the functions of, for example, the distance calculation unit 300, the correction unit 310, the determination unit 320, the image processing unit 330, and the control unit 350 in the processing device 900.
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized to the function of each component. Such configuration may be changed as appropriate depending on the level of technology to be implemented.
  • a distance for calculating a distance to the target based on sensing data of a sensor that detects the light reflected by the target by emitting light to the target, and sensing data of the sensor.
  • the sensor unit includes: an irradiating unit for irradiating the light; a light receiving unit for receiving the reflected light; and a phase difference calculating unit for calculating a phase difference between the irradiated light and the received light.
  • Reference Signs List 1 ranging system 10 ranging camera 20, 20a to 20c specular reflector 20d mirror 20e mirror 30, 900 processing device 50 target 50a front surface 50b rear surface 50c upper surface 50d person 50e obstacle 60 communication cable 100 sensor unit 102 irradiation unit 104 Light receiving unit 110 Phase difference calculating unit 120 Imaging unit 150, 350 Imaging unit 150, 360 Control unit 160, 360 Communication unit 200, 200a to 200c Marker 300 Distance calculating unit 310 Correction unit 320 Determination unit 330 Image processing unit 500 First route 502 Second route 600 Real Image 602 Mirror Image 700 Interference 800 Dental Instruments 802 Handle Part 804 Joint Part 806 Fixing Part 810 Teeth 820 Vehicle 822 Dashboard 824 Front Window 830 Hand Gesture 840 Wall 842 Ceiling 850 Robot 860 Floor 950 CPU 952 ROM 954 RAM 956 recording medium 958 input / output interface 960 operation input device 962 display device 968 communication interface 970 bus

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】1台の測距カメラで直接的に測定することが難しい対象物の領域に対して正確に距離及び形状を測定することが可能な、撮像装置及びモニタリング装置を提供する。 【解決手段】対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記対象物を挟んで、前記センサ部の反対側に位置する鏡面反射体と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から前記鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を備える、撮像装置を提供する。

Description

撮像装置及びモニタリング装置
 本開示は、撮像装置及びモニタリング装置に関する。
 対象物に対して赤外光等を出射して、当該対象物で反射された赤外光を受光することにより、対象物の距離や表面形状を測定する測距カメラが知られている。このような測距カメラとしては、例えば、下記特許文献1に開示の技術が挙げられる。
 ところで、上記測距カメラにより対象物を測定しようとする際、1台の測距カメラによって測定できない領域、具体的には、対象物自身による遮断によって直接的に測定できない背面等が存在する場合がある。このような場合、1台の測距カメラと鏡面反射体とを組み合わせて用いて、対象物の背面等を測定することが考えられる。このような方法としては、例えば、下記特許文献2に開示の技術を挙げることができる。
特開2012-57960号公報 特表2012-509470号公報
 ところで、鏡面反射体を用いて測定を行う場合には、2つの経路の光が存在する。1つ目の経路の光は、測距カメラから対象物に到達し、当該対象物で直接反射されて測距カメラに戻る光である。一方、2つ目の経路の光は、測距カメラから鏡面反射体に到達し、鏡面反射体で反射されて対象物に到達し、さらに同じ経路で鏡面反射体を介して当該対象物から測距カメラに戻る光である。そして、対象物の形状によっては、これら異なる2つの経路の光が対象物の同一点(面)上で干渉する場合があり(このような現象をマルチパスによる干渉と呼ぶ)、このような場合、干渉光を受光することにより、測距カメラが正しく対象物の距離及び形状を測定することができない場合がある。しかしながら、上記特許文献2に開示の技術においては、上述のようなマルチパスによる干渉を考慮して測定するものではないことから、正確に対象物の距離及び形状を測定することが難しい。
 そこで、本開示では、上記事情を鑑みて、1台の測距カメラで直接的に測定することが難しい対象物の領域に対して正確に距離及び形状を測定することが可能な、新規且つ改良された撮像装置及びモニタリング装置を提案する。
 本開示によれば、対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記対象物を挟んで、前記センサ部の反対側に位置する鏡面反射体と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から前記鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を備える、撮像装置が提供される。
 また、本開示によれば、対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を備える、撮像装置が提供される。
 さらに、本開示によれば、対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を有する撮像装置が搭載されたモニタリング装置が提供される。
 以上説明したように本開示によれば、1台の測距カメラで直接的に測定することが難しい対象物の領域に対して正確に距離及び形状を測定することが可能な、撮像装置及びモニタリング装置を提供することができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る測距システム1の構成例を示す図である。 同実施形態に係る鏡面反射体20を用いた対象物50に対する測定を説明する説明図(その1)である。 同実施形態に係る鏡面反射体20を用いた対象物50に対する測定を説明する説明図(その2)である。 同実施形態に係る鏡面反射体20を用いた対象物50に対する測定を説明する説明図(その3)である。 同実施形態に係る鏡面反射体20を用いた対象物50に対する測定を説明する説明図(その4)である。 同実施形態に係る測距カメラ10の構成を示すブロック図である。 同実施形態に係る処理装置30の構成を示すブロック図である。 同実施形態に係る測定方法の一例を説明するフローチャート図である。 同実施形態に係る鏡面反射体20の測定方法の一例を説明する説明図である。 同実施形態に係る補正方法の一例を説明する説明図である。 同実施形態の適用例1を説明する説明図である。 同実施形態の適用例2を説明する説明図である。 同実施形態の適用例3を説明する説明図である。 同実施形態の適用例4を説明する説明図である。 同実施形態に係る処理装置900のハードウェア構成の一例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
  1. 本開示の実施形態に係る測距システム1の概要
  2. 本発明者らが本開示に係る実施形態を創作するに至る背景
  3. 本開示の実施形態に係る測距システム1に含まれる各装置の詳細
    3.1  測距カメラ10の詳細構成
    3.2  処理装置30の詳細構成
  4. 本開示の実施形態に係る測定方法
    4.1  鏡面反射体の測定
    4.2  マルチパスの干渉による誤差の補正
    4.3  マルチパスの発生有無の判定
  5. 本開示の実施形態の適用例
    5.1  適用例1
    5.2  適用例2
    5.3  適用例3
    5.4  適用例4
  6. まとめ
  7. ハードウェア構成について
  8. 補足
 <<1. 本開示の実施形態に係る測距システム1の概要>>
 まずは、本開示の実施形態に係る測距システム(撮像装置)1の概要について、図1を参照して説明する。図1は、本実施形態に係る測距システム1の構成例を示す図である。図1に示すように、本実施形態に係る測距システム1は、測距カメラ10と、鏡面反射体20と、処理装置30とを含む。また、図1においては、測距の対象となる対象物50が示されており、測距カメラ10と鏡面反射体20とは、対象物50を挟んで向かい合うように配置されている。言い換えると、鏡面反射体20は、対象物50を挟んで測距カメラ10と反対側に位置する。本開示の実施形態に係る測距システム1は、測距カメラ10が一台であっても、鏡面反射体20を利用することで、例えば、測距カメラ10から見て背面にあたる対象物50の面を測距カメラ10で捉えることができる。なお、図1においては、鏡面反射体20は、平面的な形状をもち、鏡面反射体20の鏡面が床面と直交するように設置されているものとする。以下に、測距システム1に含まれる各装置の概要について説明する。
 (測距カメラ10)
 本実施形態に係る測距カメラ10は、赤外光等を用いて対象物50の距離及び形状(深さ)を測定する距離測定装置である。詳細には、例えば、測距カメラ10は、対象物50に照射光を出射し、対象物50で反射された反射光を受光し、照射光と反射光との位相差を検出することで、対象物50の距離及び形状を測定する。このような距離の測定方法は、インダイレクトTOF(Time Of Flight)方式と呼ばれている。当該方法は、例えば、室内等の3m程度までの距離にある対象物50を測定する際に好適である。
 また、本実施形態においては、測距カメラ10は、照射光を出射した時点から、当該出射光が対象物50で反射されて反射光として受光されるまでの光の往復時間を検出することで、対象物50の距離及び形状を測定してもよい。このような距離の測定方法は、ダイレクトTOF方式と呼ばれている。当該方法は、例えば、野外等の5m程度までの距離にある対象物50を測定する際に好適である。また、測距カメラ10は、ストラクチャード ライト(structured light)法により、対象物50までの距離(奥行き)を測定する装置であってもよい。ストラクチャード ライト法は、対象物50の表面に所定のパターンを持つ光を投影し、投影された光のパターンの変形を解析することにより、対象物50までの距離を推定する方法である。
 なお、以下の説明においては、測距カメラ10は、インダイレクトTOF方式に対応した測距カメラであるものとして説明する。さらに、測距カメラ10には、対象物50を撮像する撮像部120(図6 参照)等が設けられているものとする。また、測距カメラ10の詳細構成については後述する。
 (鏡面反射体20)
 鏡面反射体20は、光を鏡面反射させる面を持ち、例えば、銀やアルミニウム等の金属や金属膜等からなる面を持つ。また、上述した測距カメラ10から照射される光が赤外線である場合には、鏡面反射体20は、赤外線を反射するフィルムであってもよい。
 図1に示すように、鏡面反射体20は、対象物50を挟んで、測距カメラ10と向かい合うように設置される。なお、本実施形態においては、鏡面反射体20の鏡面と測距カメラ10との間の距離や、鏡面反射体20の姿勢は、対象物50の距離を測定する前に既知である、もしくは測定されているものとする。また、本実施形態においては、例えば、鏡面反射体20を既知の距離に固定するために、測距カメラ10と鏡面反射体20との間を固定する固定部材806(図11 参照)が設けられていてもよい。さらに、本実施形態においては、鏡面反射体20の距離及び姿勢を測定するために、その鏡面にマーカ200が設けられていてもよい。なお、固定部材806やマーカ200の詳細については後述する。
 また、測定を行う空間の壁面840(図13 参照)に、鏡面反射体20として予め鏡等が設置されている場合には、鏡面反射体20は、本実施形態に係る測距システム1に含まれていなくてもよい。
 (処理装置30)
 処理装置30は、測距カメラ10によって検出された位相差に基づいて、対象物50の距離及び形状を算出する装置である。処理装置30は、例えば、PC(Personal Computer)、タブレットPC、PDA(Personal Digital Assistant)等のような端末であり、本実施形態を実施するためのアプリケーションが実装されている。図1に示されているように、処理装置30は、測距カメラ10からのセンシングデータを受け取るために、通信ケーブル60によって測距カメラ10と接続されている。なお、本実施形態においては、図1に示されるような有線で処理装置30と測距カメラ10とが接続されていることに限定されるものではなく、無線通信を介して接続されていてもよい。
 また、本実施形態においては、処理装置30での処理は測距カメラ10で行われてもよく、すなわち、測距カメラ10がスタンドアロンで処理を行ってもよい。また、本実施形態に係る処理装置30は、例えばクラウドコンピューティング等のようなネットワークへの接続を前提とした、複数の装置からなるシステムであってもよい。
 <<2. 本発明者らが本開示に係る実施形態を創作するに至る背景>>
 次に、本開示に係る実施形態の詳細を説明する前に、本発明者らが本開示に係る実施形態を創作するに至る背景について、図2から図5を参照して説明する。図2から図5は、本実施形態に係る鏡面反射体20を用いた対象物50に対する測定を説明する説明図である。
 例えば、測距カメラ10により測定したい対象物50において、1台の測距カメラ10によって測定できない領域(例えば、対象物50の背面)が存在した場合には、複数の測距カメラ10が必要となる。例えば、このように複数の測距カメラ10を用いて対象物50の背面等を測定する方法が上記特許文献1に開示されている。当該方法によれば、複数の測距カメラ10が必要となることから、測距システム1の構築のためのコストの増加を抑えることが難しい。また、複数の測距カメラ10によって得られた距離情報を含む画像を合成して3次元画像を得る場合には、各測距カメラ10で取得した点群情報を適切に位置合わせする必要があることから、複数の測距カメラ10で測定する領域の一部が互いに重なっていることが求められる。その結果、上記特許文献1に開示の技術においては、測距カメラ10の設置位置に制約があることから、自由に移動する対象物50に追従して測定することは容易ではない。また、上記特許文献1に開示の技術では、複数の測距カメラ10の間での干渉をさけるため、これら測距カメラ10の間で同期をとる必要もある。
 上記コストの増加を抑えるために、1台の測距カメラ10が対象物50の周囲を回るように移動して測定する、もしくは、対象物50自身を回転させて測定することが考えられる。このような場合、測定に時間がかかり、さらには、対象物50が時間とともに動的に変化する場合(例えば、対象物50が時間とともに形状変化する場合)には対応できない。
 また、1台の測距カメラ10と鏡面反射体20とを組み合わせて用いて、測距カメラ10によって測定できない領域を測定することが考えられる。このような方法としては、上記特許文献2に開示の技術を挙げることができる。詳細には、図1を側面側から見た図2に示すように、鏡面反射体20は、床面に対して垂直になるように設置されており、測距カメラ10と鏡面反射体20との間には、対象物50が設置されている。この際、測距カメラ10の光軸は、図中の右方向へ向いている。そして、測距カメラ10は、対象物50に向けて光を照射する。照射された光の一部は、対象物50の前面50a(図中の左側面)に到達し、前面50aで反射されて測距カメラ10によって受光される。なお、以下の説明においては、このような光の経路を第1の経路500と呼ぶ。一方、照射された光の他の一部は、鏡面反射体20に到達して、鏡面反射体20で反射して対象物50の背面50b(図中の右側面)に到達する。さらに、当該光は、対象物50の背面50bで反射された後、再び鏡面反射体20へ到達し、そこで反射されて測距カメラ10によって受光される。なお、以下の説明においては、このような光の経路を第2の経路502と呼ぶ。このような第2の経路は、光が鏡面反射していることから、一意に定まることとなる。
 従って、測距カメラ10は、対象物50の背面50bの距離を測定する場合には、測距カメラ10から鏡面反射体20までの距離ではなく、測距カメラ10から鏡面反射体20で反射して対象物50に届くまでの距離を測定することとなる。
 そして、第2の経路の光によって測定される対象物50の背面50bの像は、測距カメラ10によって、図3に示すように鏡面反射体20の向こう側に存在するように観測される。なお、以下の説明においては、鏡面反射体20の向こう側に存在するように観測される像を鏡像602と呼ぶ。また、以下の説明においては、対象物50の前面50aのように鏡面反射体20の手前側に存在するように観測される像を実像600と呼ぶ。
 すなわち、上述の実像600と鏡像602とは、鏡写しの関係にある。この際、測距カメラ10から見て鏡面反射体20の位置及び姿勢が既知であれば、図4に示すように、鏡像602を鏡面反射体20の平面に対して反転させ、実像600と一致させることにより、対象物50の3次元像(3次元画像)を得ることができる。
 ところで、図5に示すように、対象物50の上面50cのように、対象物50の形状によっては、第1の経路500の光と第2の経路502の光との両方が到達し、両者が反射する面が存在することがある。第1の経路500の光と、第2の経路502の光とは、経路の長さが互いに異なることから互いに位相が異なり、第1の経路500の光と、第2の経路502の光とは、対象物50の上面50c等の上で干渉700を起こすこととなる。その結果、測距カメラ10は、このように生じた干渉光を受光することとなる。従って、測距カメラ10で受光した光は、上記干渉700により、本来受光されるべき位相とは異なる位相を持っていることとなる。その結果、測定される距離に誤差(歪み)が生じ、本来測定されるべき正しい距離を得ることができない。なお、以下の説明においては、このような現象をマルチパスによる干渉700と呼ぶ。すなわち、以下の説明においてマルチパスによる干渉700とは、互いに異なる経路の光によって干渉700が生じることをいい、対象物50の形状にもよるが、鏡面反射体20を設けることにより生じる現象である。
 しかしながら、先に説明したように、上記特許文献2に開示の技術においては、上述したマルチパスによる干渉700を考慮して測定するものではないことから、正確に対象物50の距離及び形状を測定することが難しい。
 そこで、本発明者らは、上記状況を鑑みて、対象物50自身による遮断等によって、1台の測距カメラ10で直接的に測定することが難しい対象物50の領域に対して、正確に距離及び形状を測定することが可能な、本開示の実施形態を創作するに至った。詳細には、以下に説明する本開示の実施形態によれば、鏡面反射体20を設けることによりマルチパスによる干渉700が生じた場合であっても、対象物50の距離及び形状を正確に測定することができる。以下、このような本開示の実施形態の詳細を順次詳細に説明する。
 <<3. 本開示の実施形態に係る測距システム1に含まれる各装置の詳細>>
 次に、本開示の実施形態に係る測距システム1に含まれる各装置の詳細を説明する。詳細には、先に説明したように、本実施形態に係る測距システム1は、測距カメラ10と、鏡面反射体20と、処理装置30とを含む。以下においては、本実施形態に係る測距カメラ10及び処理装置30の詳細について説明する。
 <3.1  測距カメラ10の詳細構成>
 まずは、図6を参照して、測距カメラ10の詳細構成について説明する。図6は、本実施形態に係る測距カメラ10の構成を示すブロック図である。図6に示すように、測距カメラ10は、センサ部100と、位相差算出部110と、撮像部(カラーセンサ部)120と、制御部150と、通信部160とを主に有する。以下に、測距カメラ10の各機能部の詳細について説明する。
 (センサ部100)
 センサ部100は、対象物50に対して光を照射する照射部102と、反射された光を受光(検知)する受光部104とを主に有する。
 詳細には、照射部102は、レーザ光源(図示省略)と光学素子(図示省略)と光電素子(図示省略)とを有している。レーザ光源としては、例えば、レーザダイオードが用いられ、照射される光の波長は、レーザダイオードを適宜選択することにより、変えることができる。なお、本実施形態においては、照射部102は、波長785nm付近の赤外光を照射するものとして説明する。また、レーザ光源は、照射部102に複数設けられていてもよい。また、光学素子は、例えば、コリメーターレンズ等を持ち、レーザ光源からの光を略平行光として出射する機能を有する。さらに、受光素子は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなり、出射した光の一部を受光して、受光した光の強度に基づいて受光信号を生成し、詳細には、受光した光の強度に略比例する信号を生成する。そして、当該受光素子は、生成した信号を後述する位相差算出部110に出力する。
 なお、レーザ光源は、後述する制御部150による駆動され、光を対象物50へ照射する。さらに、レーザ光源から出射される光の強度も、後述する制御部150によって制御される。また、照射部102は、投光用ミラー(図示省略)等を有していてもよい。
 受光部104は、集光レンズ(図示省略)と受光素子(図示省略)とを有している。集光レンズは、受光した光を受光素子に集める機能を有する。また、受光素子は、例えば、複数の画素を持つCMOSイメージセンサ等からなり、画素ごとに、受光した光の強度に基づいて受光信号を生成し、詳細には、受光した光の強度に略比例する信号を生成する。従って、測距カメラ10は、各画素に対応する光の強度を取得することはできる。さらに、当該受光素子は、生成した信号を後述する位相差算出部110に出力する。この際、受光部104に、増幅アンプ(図示省略)等を設け、生成した信号を増幅した後に、位相差算出部110に出力してもよい。なお、受光部104は、集光ユニット(図示省略)等を有していてもよい。
 (位相差算出部110)
 位相差算出部110は、照射部102及び受光部104から出力された信号間の位相差、すなわち、照射部102から照射された光と受光部104で受光下光との位相差を算出し、算出した位相差(センシングデータ)を後述する処理装置30へ出力する。なお、当該位相差算出部110の機能は、後述する処理装置30において行われてもよい。
 (撮像部120)
 撮像部120は、対象物50のカラー撮像画像を取得する。詳細には、撮像部120は、CMOSイメージセンサ等の撮像素子(図示省略)と、撮像素子で光電変換された信号に対して撮像信号処理を施す信号処理回路(図示省略)とを含んで構成される。上記撮像素子は、対象物50からの入射光を光学像として集光し、上記信号処理回路は、結像された光学像を画素単位で光電変換し、各画素の信号を撮像信号として読み出し、画像処理することにより撮像画像を取得することができる。撮像部120は、例えば、撮像して得られた撮像画像を処理装置30へ出力する。さらに、撮像部120は、撮像レンズ、絞り機構、ズームレンズ、及びフォーカスレンズ等により構成される光学系機構(図示省略)及び、上記光学系機構の動作を制御する駆動系機構(図示省略)をさらに有する。なお、撮像部120は、測距カメラ10のセンサ部100との相対位置及び姿勢が既知であれば、測距カメラ10と分離して設けられていてもよい。
 (制御部150)
 制御部150は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のハードウェアにより実現され、測距カメラ10の各機能部を制御する。
 (通信部160)
 通信部160は、データの送受信を行う機能を有する通信インターフェースであって、処理装置30等の外部装置との間で情報の送受信を行うことができる。通信部160は、通信ポートや、通信アンテナ、送受信回路等の通信デバイスにより実現される。
 なお、測距カメラ10は、超音波等を用いて鏡面反射体20の距離及び姿勢を測定する鏡面反射体センサ部(図示省略)をさらに有していてもよい。
 <3.2  処理装置30の詳細構成>
 次に、図7を参照して、処理装置30の詳細構成について説明する。図7は、本実施形態に係る処理装置30の構成を示すブロック図である。図7に示すように、処理装置30は、距離算出部300と、補正部310と、判定部320と、画像処理部330と、制御部350と、通信部360とを主に有する。以下に、処理装置30の各機能部の詳細について説明する。
 (距離算出部300)
 距離算出部300は、上述の測距カメラ10から出力された位相差に基づいて、測距カメラ10から対象物50までの距離を算出する。
 (補正部310)
 補正部310は、上述の第1の経路の光と第2の経路の光との干渉700(マルチパスによる干渉700)に起因する、算出された上記距離に含まれる誤差を補正する。なお、補正部310の処理の詳細については、後述する。
 (判定部320)
 判定部320は、上述したマルチパスの干渉700に起因する誤差の発生の有無を判定する。例えば、判定部320は、反転させた対象物50の鏡像602と、当該対象物50の実像600の一致の有無により、誤差の発生の有無を判定する。なお、判定部320の処理の詳細については、後述する。
 (画像処理部330)
 画像処理部330は、上述の距離算出部300で得られた対象物50における画素(点)ごとの距離情報に基づき、対象物50の3次元点群を取得する。また、画像処理部330は、鏡面反射体20の位置及び姿勢に基づき、対象物50の鏡像602の3次元点群に対して反転処理を行うこともできる。
 (制御部350)
 制御部350は、例えば、CPU、ROM、RAM等のハードウェアにより実現され、処理装置30の各機能部を制御する。
 (通信部360)
 通信部360は、データの送受信を行う機能を有する通信インターフェースであって、測距カメラ10等の外部装置との間で情報の送受信を行うことができる。通信部360は、上述の通信部160と同様に、通信ポートや、通信アンテナ、送受信回路等の通信デバイスにより実現される。
 <<4. 本開示の実施形態に係る測定方法>>
 以上、本開示の実施形態に係る測距システム1に含まれる各装置の詳細について説明した。続いて、本実施形態に係る測定方法について、図8を参照して説明する。図8は、本実施形態に係る測定方法の一例を説明するフローチャート図である。図8に示すように、本実施形態に係る測定方法には、ステップS101からステップS115までの複数のステップが含まれている。以下に、本実施形態に係る測定方法に含まれる各ステップの詳細を説明する。
 (ステップS101)
 まずは、処理装置30は、測距カメラ10からのセンシングデータに基づいて算出された、対象物50の各点の座標情報及び距離情報を含む3次元点群を取得する。
 (ステップS103)
 次に、処理装置30は、測距カメラ10から見た鏡面反射体20の位置及び姿勢の情報を既に取得しているかどうか確認する。処理装置30は、既に取得していない場合には、ステップS105へ進み、既に取得している場合には、ステップS107へ進む。
 (ステップS105)
 処理装置30は、測距カメラ10から見た鏡面反射体20の位置及び姿勢の情報を取得する。例えば、測距カメラ10が、鏡面反射体20の位置及び姿勢を測定し、処理装置30は、当該測定結果を取得する。なお、鏡面反射体20の位置及び姿勢の測定の詳細については、後述する。
 (ステップS107)
 続いて、処理装置30は、鏡面反射体20を設けることにより生じるマルチパスによる干渉700に起因した誤差を補正し、補正を施した対象物50の3次元点群を取得する。なお、補正の詳細については後述する。
 (ステップS109)
 処理装置30は、ステップS107にて補正を施した鏡像602についての3次元点群を鏡面反射体20の平面に対して反転させ、反転させた鏡像602を、補正を施した実像600の3次元点群と一致させる。なお、鏡像602の反転の際には、ステップS105で取得した鏡面反射体20の位置及び姿勢の情報が用いられることとなる。
 (ステップS111)
 処理装置30は、ステップS109での実像600と鏡像602との一致の有無に基づき、マルチパスによる干渉700の有無を対象物50の領域(点)ごとに判定する。処理装置30は、干渉700の発生が無いと判定した場合には、ステップS113へ進み、干渉700の発生がある場合には、ステップS115へ進む。なお、マルチパスによる干渉700の有無の判定の詳細については後述する。
 (ステップS113)
 処理装置30は、ステップS107で行った補正を解除し、補正を施していない3次元点群を取得する。
 (ステップS115)
 処理装置30は、上述した一連のステップを対象物50の全ての領域(点)に対して行い、最終的にマルチパスによる干渉700の影響を受けていない対象物50の3次元点群を取得し、例えば、ユーザ等に出力する。なお、この際に得られる3次元点群においては、マルチパスによる干渉700の有無に応じて補正されている、もしくは補正されていない状態であるため、対象物50の実像600と反転させた鏡像602とが一致することとなる。これまで、実像600と反転させた鏡像602と位置合わせにおいては、ユーザによる入力操作によってずれを解消させてから位置合わせを行うことが求められる場合があったが、本実施形態においては、このような入力操作が不要となる。また、これまで、実像600と反転させた鏡像602と位置合わせにおいては、実像600と鏡像602との両方において共通して観測される共通領域を設けて、当該共通領域に基づく位置合わせを行うことが求められる場合があったが、本実施形態においては、このようなことも不要となる。
 なお、図8に示される測定方法においては、補正された実像600と鏡像602との一致により干渉の有無を判定しているが、本実施形態はこれに限定されるものではない。例えば、本実施形態においては、補正される前の実像600と鏡像602との一致により干渉の有無を判定し、判定結果に基づいて補正を行うか否かを選択してもよい。
 以下に、ステップS105における鏡面反射体20の位置及び姿勢の測定の詳細、ステップS107における補正の詳細、及び、ステップS111における誤差の有無の判定の詳細を順次説明する。
 <4.1  鏡面反射体の測定>
 まずは、ステップS105における鏡面反射体20の位置及び姿勢の測定の詳細について、図9を参照して説明する。図9は、本実施形態に係る鏡面反射体20の測定方法の一例を説明する説明図である。
 ところで、鏡面反射体20の鏡面では鏡面反射を起こすことから、鏡面反射体20に入射する入射光と鏡面反射体20で反射した反射光は同じ経路を辿らない。従って、測距カメラ10によって、鏡面反射体20までの距離を直接的に測定することができない。そこで、本実施形態においては、鏡面反射体20の鏡面に、例えば光沢の少ない表面を持つマーカ200を貼り付ける。そして、このようなマーカ200の表面では、鏡面反射が生じないことから、測距カメラ10により、当該マーカ200までの距離を測定することができるようになり、従って鏡面反射体20の位置及び姿勢を測定することができる。なお、この際のマーカ200の検出方法は、マーカ200の撮像画像に対してユーザが手動で選択してもよく、マーカ200の形状が既知であれば、測距カメラ10が当該形状に基づいて自動的に検出してもよく、特に限定されるものではない。
 詳細には、図9の左側に示すように、鏡面反射体20aの表面の四隅に沿って、非光沢表面を持つマーカ200aが貼付されている。この場合、4つのマーカ200aに対して測定を行うことにより、鏡面反射体20aの位置及び姿勢を測定することができる。なお、図9の左側に示すように、マーカ200aは、円形であることに限定されるものではなく、また、4つに限定されるものではない。例えば、本実施形態においては、マーカ200は、互いに離間して設けられた3つ以上のマーカ(マーカ部)を含んでいてもよい。
 また、本実施形態においては、マーカ200bは、図9の中央に示すように三角形であってもよく、この場合、マーカ200bの各頂点に対して測定を行うことにより、鏡面反射体20bの位置及び姿勢を測定することができる。さらに、本実施形態においては、マーカ200cは、図9に右側に示すように、鏡面反射体20cの平面の4隅に沿った枠状の形状を持っていてもよく、この場合、マーカ200cの各頂点に対して測定を行うことにより、鏡面反射体20cの位置及び姿勢を測定することができる。
 さらに、本実施形態においては、鏡面反射体20の位置及び姿勢を測定することができれば、上述のようなマーカ200を用いる方法に限定されるものではない。例えば、本実施形態によれば、測距カメラ10から超音波を鏡面反射体20に向けて出射する鏡面反射体測定部(鏡面反射体センサ部)を設けることにより、鏡面反射体20の位置及び姿勢を測定してもよい。また、本実施形態によれば、鏡面反射体20の撮像画像を利用したモーションキャプチャ法によって、鏡面反射体20の位置及び姿勢を測定してもよく、特に限定されるものではない。なお、本実施形態において、鏡面反射体20と測距カメラ10とがそれぞれ固定されており、相対的な位置及び姿勢の関係が既知であれば、上述したマーカ200や鏡面反射体測定部等は不要となる。
 本実施形態においては、測距カメラ10と鏡面反射体20との相対的な位置関係が撮像フレームごとに既知あればよい。従って、本実施形態においては、測距カメラ10と鏡面反射体20との相対的な位置関係が動的に変化する場合には、撮像フレーム毎に上述の方法を用いて測距カメラ10と鏡面反射体20との相対的な位置関係の取得を行えばよい。
 <4.2  マルチパスの干渉による誤差の補正>
 次に、ステップS107における補正の詳細について、図10を参照して説明する。図10は、本実施形態に係る補正方法の一例を説明する説明図である。詳細には、図10は、測距カメラ10のカメラ中心Oと、鏡面反射体20と、測距カメラ10によって本来測定されるべき対象物50の位置x(マルチパスによる干渉700の影響を受けていない場合に測定されるべき対象物50の位置)と、マルチパスによる干渉700に起因する誤差を含む観測された対象物50の位置xobsとの位置関係を模式的に示す。
 先に説明したように、対象物50の形状によっては、第1の経路500の光と第2の経路502の光とは、対象物50の上面50c等で干渉700を起こし(マルチパスによる干渉700)、測距カメラ10は、本来受光されるべき位相とは異なる位相を持つ光を受光することとなる。その結果、測定される距離に誤差(歪み)が生じ、対象物50の正しい距離を得ることができない。そこで、本実施形態においては、鏡面反射体20を設置したことによって生じたマルチパスによる干渉700に起因する誤差の補正を実施し、対象物50の正しい距離を取得する。
 詳細には、本実施形態においては、鏡面反射体20を設置したことによるマルチパスによる干渉700の影響を受けた場合に生じると推定される位相、すなわち、測距カメラ10で測定されるであろう位相を後述するモデル(推定値)によって表現する。そして、本実施形態においては、当該モデルから推定される位相と実際に観測された位相との差分を最小することにより、測距カメラ10により本来受光されるべき位相、すなわちマルチパスによる干渉700の影響を受けていない位相を推定する。さらに、本実施形態においては、当該推定に基づいて上記誤差を補正し、対象物50の距離を算出する。
 まず、本実施形態における、第1の経路500の光と第2の経路502の光とが干渉した場合、すなわち、マルチパスによって干渉した場合に得られる位相を推定するモデルについて、図10を参照して説明する。
 本実施形態においては、第1の経路500の光も、第2の経路502の光も、同一の測距カメラ10から出射しているため、同一の周波数であると考えることができる。そのため、マルチパスによって干渉した場合に得られる干渉光は、同一の周波数で、且つ、位相及び振幅が異なる波形同士の合成波であると考えることができる。そこで、測距カメラ10から光が照射され、対象物50の表面の点xdに到達した時点での、第1の経路500の光の位相をPとし、第2の経路502の光の位相をPとした場合には、点xにおける干渉光の位相Pは、以下の式(1)で表わされる。なお、P、Pは、片道分の位相であり、鏡面反射体20によって生じるマルチパスの干渉700の影響を受けていない理想的な位相であるとする。また、以下の式(1)においては、第1の経路500の光と第2の経路502の光とが干渉する対象物50の点xにおける、第1の経路500の光の振幅と第2の経路502の光の振幅とをそれぞれpower、powerとしている。
Figure JPOXMLDOC01-appb-M000001
 次に、位相P、Pと、第1の経路500の片道分の経路長lと第2の経路502の片道分の経路長lとの関係は、以下の式(2)で表される。なお、式(2)において、fは測距カメラ10から照射された光の周波数を示し、cは光速を示す。
Figure JPOXMLDOC01-appb-M000002
 ところで、実際には、第1の経路500の光と、第2の経路502の光とが干渉した時点では、第1の経路500の光と第2の経路502の光とが辿ってきた経路長l、lの長さが異なる。従って、ある点における光の振幅(power)は、逆2乗の法則に従い、光源からその点までの距離の2乗に反比例することから、第1の経路500の光の振幅と、第2の経路502の光の振幅とは互いに異なることとなる。さらに、対象物50上で光がランバート反射するものと仮定すると、これら2つの光が干渉する対象物50の点xにおける、法線ベクトルの向きに対する入射光(第1の経路500の光と第2の経路502の光)の向きを考慮することが求められる。
 そこで、測距カメラ10の照射時の光の振幅を1とした場合、点xにおける、第1の経路500の光の振幅powerと第2の経路502の光の振幅powerは、以下の式(3)によって表すことができる。なお、式(3)においては、α、αは、点xにおける、法線ベクトルと点xに入射した第1の経路500の光及び第2の経路502の光の方向ベクトルがなす角度である。また、式(3)におけるrは、鏡面反射体20の反射率を示し、0≦r≦1の範囲にある定数である。当該反射率rは、鏡面反射体20の反射面の材質によって異なる。なお、本実施形態においては、鏡面反射体20の反射率rは既知であるとする。
Figure JPOXMLDOC01-appb-M000003
 ところで、第1の経路500の光と第2の経路502の光とが干渉する対象物50の点xにおいては、両方の光はランバート反射が生じていることから、式(3)中のcosαとcosαとは1に近似できるものとして考える。
 従って、点xにおける干渉光の位相Pは、上述の式(1)は、数式(2)及び(3)をあてはめることにより、Pd、Prの関数として以下の式(4)で表されることとなる。なお、式(4)においては、A=c/2πfとしている。
Figure JPOXMLDOC01-appb-M000004
 上記式(4)で示されるモデルを用いることにより、点xにおける干渉光の位相Pを推定することができるようになる。
 ところで、対象物50の点xで干渉した干渉光は、その後、測距カメラ10に到達する。このとき、第1の経路500と同様の経路を辿った場合、すなわち、直接対象物50から測距カメラ10に到達した場合には、測距カメラ10に到達した時点の光の位相Pは、さらにPdだけずれることとなる。つまり、干渉光が、第1の経路500を辿って進んだ場合の光の位相Pは、以下の式(5)のように示されることとなる。
Figure JPOXMLDOC01-appb-M000005
 このように、式(5)によって、鏡面反射体20を設置したことによるマルチパスで干渉700が生じた場合に観測される光の位相Pをモデル化することができる。
 そして、本実施形態においては、上記式(5)で示されるモデルによって表される位相Pと、実際に観測された位相Pobsとの差分を最小することにより、マルチパスによる干渉700が発生しない場合に観測される理想的な位相P、Pを求める。ここで、実際に、測距カメラ10によって観測された、鏡面反射体20を設置したことによるマルチパスで干渉700に起因した誤差を含む位相をPobsとする。なお、当該位相Pobsは、測距カメラ10のカメラ中心Oから点xobsまでのいわゆる片道での位相であり、式(5)で示される位相Pは、測距カメラ10のカメラ中心Oから点xobsまでの往復分の位相である。従って、上記式(5)で示されるモデルによって表される位相Pと、実際に観測された位相Pobsの差分f(P、P)は、下記式(6)で表される。
Figure JPOXMLDOC01-appb-M000006
 また、上述と同様に、干渉光が測距カメラ10に到達するとき、第2の経路502と同様の経路を辿った場合、すなわち、対象物50から鏡面反射体20を介して測距カメラ10に到達した場合には、位相がさらにPrだけずれることとなる。つまり、干渉光が、第2の経路502を辿って進んだ場合の光の位相Pは、以下の式(7)のように示されることとなる。なお、この場合、測距カメラ10から見て点xに対象物50が存在するように、すなわち、点xに鏡像602が存在するように観測される。
Figure JPOXMLDOC01-appb-M000007
 そして、上述と同様に、上記式(7)で示されるモデルによって表される位相Pと、実際に観測された位相Pobsの差分f(P、P)は、下記式(8)で表される。
Figure JPOXMLDOC01-appb-M000008
 そして、上記式(6)及び(8)で示される差分f(P、P)及び差分f(P、P)を最小化することにより、すなわち、実測値である位相Pobsとマルチパスによる干渉700の影響を受けた場合に生じると推定される位相の推定値とを比較することにより、P、Pを求めることができる。なお、上記の式(2)からわかるように、測距カメラ10から照射された光の周波数fと、光速cが既知であれば、P、Pから、測距カメラ10のカメラ中心Oから点xdまでの距離l、lを求めることができる。そして、観測された位相PobsをP、Pに置き換えることにより、マルチパスによる干渉700に起因する誤差の補正を行うことができる。
 また、測距カメラ10から得られた対象物50の3次元点群の情報から、測距カメラ10のカメラ中心Oから点xobsを通過する直線の式を得ることができる。ところで、鏡面反射体20を設置することにより生じるマルチパスの干渉700は、観測される位相、すなわち距離値に関して影響を与え、光が進む方向に対しては影響しない。さらに、鏡面反射体20の位置及び姿勢は既知であることから、点xの位置がわかれば、点xの位置も一意に定まることとなる。詳細には、測距カメラ10のカメラ中心Oと、点x、点xobsは、いずれも同一の直線上に存在する。さらに、点xは、鏡面反射体20の平面に対して点xと対象となる位置に存在する。従って、カメラ中心Oから観測された対象物50に向かって直線上を走査しつつ、上記式(6)及び(8)を最小化する点を求めることにより、理想的な観測点xの位置、すなわち距離lを求めることができる。また、点xに基づいて点xの位置も定まることから、カメラ中心Oから点xまでの距離lを求めることができる。
 <4.3  マルチパスの発生有無の判定>
 次に、ステップS111における誤差の有無の判定の詳細を順次説明する。ところで、マルチパスによる干渉700の発生の説明の際にも述べたが、対象物50の形状によっては、マルチパスによる干渉700が発生しないこともある。また、同一の対象物50においても、マルチパスによる干渉700が発生する領域と、マルチパスによる干渉700が発生しない領域とが混在することもある。このような場合に、観測データの全ての点に対して上述の補正を行うと、マルチパスによる干渉700が発生していない領域については過剰に補正されていることとなることから、実際の対象物50とはかけ離れた3次元点群が取得される可能性がある。そこで、本実施形態においては、マルチパスによる干渉700が発生しているか否か、詳細には、マルチパスによる干渉700が発生する領域と、マルチパスによる干渉700が発生しない領域との判別を行う。
 まず、本実施形態においては、上述した補正を、実像600及び鏡像602を含む観測された全ての3次元点群に対して実施する。次に、補正が施された鏡像602を鏡面反射体20の平面に対して反転させ、反転させた鏡像602を補正が施された実像600に一致させる。この時、マルチパスによる干渉700が発生している領域であれば、反転した鏡像602と実像600との位置及び形状は一致する。一方、マルチパスによる干渉700が発生していない領域であれば、過剰な補正により、反転した鏡像602と実像600との位置及び形状は一致しなくなる。
 本実施形態においては、測距カメラ10のカメラパラメータ(焦点距離等)はすべて既知であるとする。従って、測距カメラ10によって取得した各画素の距離値が含まれる距離画像から、対象物50の3次元点群を算出することができる。すなわち、距離画像に含まれる各画素と3次元点群とは一対一対応であることから、3次元点群は、二次元の距離画像に投影することができる。そこで、本実施形態においては、対象物50の実像600から得られた3次元点群と、鏡像602から得られた3次元点群とを距離画像に投影する。反転した鏡像602の3次元点群を投影する際に、各画素に対応する座標がずれ、同一の距離画像に投影された実像画像の3次元点群の画素との対応が取れない場合がある。その場合には、反転した鏡像602の3次元点群における各画素は、近傍に位置する画素と対応するものとして取り扱う。各画素の対応の取り方としては、例えば、最近傍補間、バイリニア補間等の様々な保管方法を選択することができる。このようにして、本実施形態においては、実像600の3次元点群と、反転した鏡像602の3次元点群との対応を取る。
 この際、対応する実像600の3次元点群の点と、反転した鏡像602の3次元点群の点との距離が、予め設定した閾値未満であれば、適切に対応が取れているものとして、上述の補正の適用を維持する。一方、対応する実像600の3次元点群の点と、反転した鏡像602の3次元点群の点との距離が、上記閾値以上であれば、適切に対応が取れていないと判断する。この場合、過剰に補正したことにより対応が取れていないと推定し、すなわち、当該点においては、マルチパスによる干渉700が発生していないとして、補正を解除し、測距カメラ10で観測された値をそのまま採用して得られた情報に入れ替える。すなわち、本実施形態によれば、実像600の3次元点群と、反転した鏡像602の3次元点群との一致状態に基づいて、マルチパスによる干渉700が発生する領域と、マルチパスによる干渉700が発生しない領域との判別を行うことができる。
 また、本実施形態においては、上述の判別の際に、測距カメラ10の撮像部120で得られたカラー画像を用いてもよい。このようにすることで、マルチパスによる干渉700の発生の判別を、より容易に、且つ、精度良く行うことができる。
 詳細には、測距カメラ10のセンサ部100と撮像部120との相対位置関係が既知であり、両者のカメラパラメータ等が既知であるとする。この際、センサ部100によって取得された距離画像の各画素と、撮像部120によって取得されたカラー画像の各画素との対応を特定することができる。従って、本実施形態においては、各画素に対する距離値及び色情報を取得することができる。そこで、本実施形態においては、実像600のカラー画像と鏡像602のカラー画像とを比較し、両方のカラー画像に含まれる対象物50の領域を特定する。このように両方のカラー画像に含まれる領域は、第1の経路500の光による実像600と第2の経路502の光による鏡像602との両者に対応することから、マルチパスによる干渉700が生じている領域に該当する可能性が高い。そこで、本実施形態においては、カラー画像によりこのような領域を特定し、さらに、特定された領域の画素に対応する三次元点群を抽出することにより、マルチパスによる干渉700が生じている領域を取得することができる。すなわち、本実施形態によれば、カラー画像をも参照することにより、マルチパスによる干渉700の発生の判別を、より容易に、且つ、精度良く行うことができる。例えば、実像600と反転させた鏡像602との一致の有無によってマルチパスによる干渉700が生じる領域を判別した際に、判別漏れが生じた場合でも、カラー画像を用いた判別を行い補完することができることから、高精度での漏れのない判別が可能となる。
 また、実像600と、反転させた鏡像602とにおいて特徴点マッチングを実施し、両者において一致点が検出できた場合には、実像600と反転させた鏡像602とが一致したと推定してもよい。この際、全ての画素において、特徴点がマッチングするとは限らない。そこで、このような場合には、本実施形態においては、撮像部120によって取得したカラー画像に基づいて、実像600と反転させた鏡像602とに対してカラーセグメンテーションによる領域分割を行う。そして、分割された領域ごとに、特徴点が一致する点の数をカウントし、予め設定した閾値以上の一致点を含む領域では、実像600と反転させた鏡像602とが一致したと推定し、当該領域を、マルチパスによる干渉700が生じる領域と判別する。一方、上記閾値未満の一致点を含む領域では、実像600と反転させた鏡像602とが一致していないと推定し、当該領域を、マルチパスによる干渉700が生じていない領域と判別する。なお、領域分割については、カラーセグメンテーションに限定されるものではなく、対象物50の画像から得られるテクスチャ等に基づき領域分割を行ってもよい。
 本実施形態においては、マルチパスによる干渉700が発生している領域の判別方法は、上述のような方法に限定されるものではない。例えば、ユーザによって、対象物50のカラー画像等に対して、マルチパスによる干渉700が発生している領域に該当する部分を指定することにより、当該領域を特定してもよい。また、カラーセグメンテーションによって分割された領域の中からユーザが特定の領域を指定することにより、当該領域を特定してもよい。
 <<5. 本開示の実施形態の適用例>>
 以上、本開示の実施形態の詳細について説明した。以下では、具体的な適用例を示しながら、本開示の実施形態の一例について説明する。なお、以下に示す適用例は、本開示の実施形態のあくまでも一例であって、本開示の実施形態が下記の適用例に限定されるものではない。
 <5.1  適用例1>
 まず、図11を参照して、本開示の実施形態の適用例1を説明する。図11は、本実施形態の適用例1を説明する説明図であって、詳細には、本実施形態を用いて患者等の口腔内の歯列810の形状をスキャンする状態を図示している。
 例えば、歯科治療において、患者の歯型を取得する場合には、歯型を形成する材料の準備や硬化に時間がかかることがあり、患者にとっては負担となっていた。そこで、このような歯型を取得するのではなく、直接的に歯列810をスキャンして歯列810の三次元形状を取得することができれば、歯型の取得に係る患者への負担を軽減することができる。口腔内は狭く、三次元形状を取得するためのカメラを複数台同時に挿入することは困難である。従って、歯列810の一方の側面をスキャンし、他方の側面をスキャンし、さらに上面をスキャンするといった、上記カメラにより歯列810を複数回スキャンすることが考えられる。しかしながら、複数回歯列810をスキャンすることも、患者への負担が大きい。
 ところで、歯科治療においては、外部から視認が難しい口腔内の領域を観察するためにミラー(歯鏡)と呼ばれる、小型の鏡部(ミラートップ)とハンドル部(ミラーハンドル)とからなる器具が利用されている。そこで、当該ミラーに本実施形態に係る測距カメラ10を組み合わせて歯列810を一度のスキャンするモニタリング装置といった適用例を考えることができる。
 より具体的には、図11に示すように、本開示の実施形態の適用例1に係る歯科器具800は、歯医者が握るためのハンドル部802と、測距カメラ10と、小型の鏡部(鏡面反射体)20dとを有する。さらに、当該歯科器具800は、測距カメラ10と鏡部20との距離を固定する固定部材806と、ハンドル部802と固定部材806とを接続するジョイント部804とを有する。図11の例では、固定部材806によって、測距カメラ10と鏡部20dとの距離が所定の距離に固定されており、さらに鏡部20の姿勢も固定されていることから、鏡部20dの位置及び姿勢の測定が不要となる。従って、鏡部20dの表面には上述したマーカ200を貼付しなくてもよい。また、図11の例では、ジョイント部804は、回転可能な構造を持っており、測距カメラ10と鏡部20dとが、互いの相対位置が固定されつつ、ジョイント部804を回転軸として回転することにより、様々な位置にある歯列810(対象物50)をスキャンすることができる。
 また、本適用例においては、非常に近距離における測定であることから、測距カメラ10から照射される光の強度が強すぎて、測距カメラ10の受光部104の感度が飽和してしまう可能性がある。そこで、本適用例においては、このような飽和を避けるべく、測距カメラ10から照射される光の強度を近距離測定に好適な条件に設定することが好ましい。
 また、本適用例においては、マーカ200等を用いて、鏡部20dの位置及び姿勢が測定可能であれば、測距カメラ10と鏡部20dとの距離を固定しなくてもよい。この場合、例えば、測距カメラ10と鏡部20dとが分離されていてもよく、もしくは、互いに自由に可動させることができるような構成を持っていてもよい。
 以上のように、本開示の実施形態を適用することにより、複数の測距カメラ10が必要ないことから、複数の測距カメラ10を容易に挿入しにくい口腔内等の狭い空間での測定が容易となる。また、口腔内だけでなく、患者さんの体内の様々な部位をスキャンすることが求められる治療等において、本実施形態を適用することも可能である。また、測距カメラ10と鏡部20dとの距離を固定する固定部材806を用いることにより、鏡部20dの位置及び姿勢の測定が不要となる。
 <5.2  適用例2>
 次に、図12を参照して、本開示の実施形態の適用例2を説明する。図12は、本実施形態の適用例2を説明する説明図であって、詳細には、本実施形態を用いて車両820に乗車するユーザのジャスチャを認識する例を図示している。なお、図12においては、わかりやすくするために、車両820に乗車するユーザの手(ハンドジェスチャ)830のみを図示し、ユーザの他の身体の部分の図示は省略している。
 より具体的には、車両820内において、ユーザ(運転手等)が車両820のオーディオ、カーナビゲーション、エアーコンディショナー等への操作をハンドジェスチャ830によって行う場合を考える。この場合、図12に示すように、本適用例においては、車両820内の天井に測距カメラ10を設置して、当該測距カメラ10によりハンドジェスチャ830を認識することとなる。この際、図12に示すように、ユーザが人差し指をダッシュボード822側へ伸ばすようなハンドジェスチャ830を行った場合には、測距カメラ10の位置、或いはユーザの手の向きによっては、ユーザの手の甲に人差し指が隠れてしまう。その結果、測距カメラ10から人差し指によるハンドジェスチャ830を認識できないことがある。
 そこで、本適用例においては、図12に示すように、ダッシュボード822に鏡面反射体20を設置する。このようにすることで、測距カメラ10は、鏡面反射体20を用いて、手の甲によって遮断された人差し指によるハンドジェスチャ830(対象物50)を認識することができる。この際、鏡面反射体20は、例えば、測距カメラ10から照射された赤外線を反射させることができればよいことから、赤外線を反射するフィルムであってもよい。また、実像600に対して鏡像602が出現する位置が既知であれば、本開示の実施形態を実施することができる。従って、本適用例においては、曲率が既知のフロントウィンドウ824に赤外線を反射するフィルムを貼り付けることにより、フロントウィンドウ824を鏡面反射体20として用いてもよい。
 以上のように、本適用例においては、上述の本実施形態に係る測距システム1を車内おけるハンドジェスチャ830を認識するモニタリング装置に適用する。このようにすることで、本適用例によれば、遮断されて認識することができなかった指先等のよるハンドジェスチャ830が、車両820内の天井に設置された測距カメラ10によって認識することができる。従って、本適用例によれば、より複雑なハンドジェスチャ830を判別することが可能になることから、1台の測距カメラ10であっても、判別可能なハンドジェスチャ830の種類を増やすことができ、より様々な車両820内の装置等をユーザが操作することが容易となる。
 <5.3  適用例3>
 次に、図13を参照して、本開示の実施形態の適用例3を説明する。図13は、本実施形態の適用例3を説明する説明図であって、詳細には、本実施形態を用いて、例えば、運動中の人物50dの全身の動きをスキャンする3次元モーションモニタリングシステムを説明する説明図である。
 運動中の人物の動きを3次元的にスキャンする際には、モーショントラッキング装置と呼ばれるシステムを用いることが一般的である。モーショントラッキング装置においては、例えば、人物に再帰性反射材からなる複数のマーカを装着し、人物の動きに起因した複数のマーカの動きをトラッキングすることにより、人物の動きを3次元的にスキャンすることができる。しかしながら、このような装置は高価であり、人物に複数のマーカを装着することから人物の動きが阻害される可能性がある。そこで、本適用例においては、上述の3次元モーションモニタリングシステム(モニタリング装置)に上述の測距システム1を適用して、人物に複数のマーカを装着することなく、人物の動きを3次元的にスキャンすることを考える。
 より具体的には、図13に示すように、スポーツジム等の施設においては、人物50dが自身の動きを確認するために壁面840の一面に大型の鏡20eが設けられていることがある。そこで、本適用例においては、このような大型の鏡20eを鏡面反射体20として利用する。さらに、図13に示すように、上記施設の天井842、あるいは対象物50となる人物50dの背後に向けて測距カメラ10を設置する。そして、測距カメラ10により、人物50dの実像600と鏡像602とを連続的に取得することにより、運動中の人物50dの動きを3次元的にスキャンすることができる。
 上述の本開示の実施形態においては、人物50dが運動する場合であっても、すなわち、対象物50の形状等が時間とともに変化する場合であっても、時間によって変化する要素に基づいて、マルチパスによる干渉700に起因する誤差を補正していない。従って、対象物50である人物50dが運動する場合、すなわち、時間によって対象物50が変化する場合であっても、本実施形態に係る測距システム1を適用することができ、対象物50(人物50d)の動きを精度よく3次元的にスキャンすることができる。
 なお、上述においては、図13に示すように、1台の測距カメラ10と1枚の鏡20eとを設置するように説明したが、本適用例においては、鏡20eは1枚に限定されることなく、対象物50である人物50dを囲む3枚の鏡20eを設置してもよい。この場合、人物50dの正面及び背面だけでなく、人物50dの側面に対してもスキャンすることができる。なお、この際、複数の鏡20eによって生じるマルチパスによる干渉700に起因する誤差を補正するために、実像600に対する各鏡像602の位置が既知であることが求められる。
 <5.4  適用例4>
 次に、図14を参照して、本開示の実施形態の適用例4を説明する。図14は、本実施形態の適用例4を説明する説明図であって、詳細には、ロボット850によりロボット850の周囲環境を3次元的にスキャンする環境モニタリングシステムを説明する説明図である。
 近年、ロボット850に関する技術が飛躍的に進歩し、ロボット850は、決められたルートのみを移動するのではなく、ある領域内を自律的に移動することが可能である。このような場合、ロボット850は、SLAM(Simultaneous Localization And Mapping)等を用いて、ロボット850の自己位置を推定する場合がある。さらに、SLAMでは自己位置の推定と同時に、ロボット850の周囲のマップの生成も同時に行う。なお、SLAMは、視差を利用したステレオカメラ、上述のTOF方式の測距カメラ10、レーザファインダ等の装置によって実現することができる。以下の説明においては、ロボット850とは、自律的に移動し、作業等を行うことができる装置のことを言う。
 そこで、本適用例においては、図14に示すように、TOF方式の測距カメラ10を利用してSLAMを実行するロボット850を、家庭や工場等の室内で利用する場合を考える。これまで説明したように、TOF方式の測距カメラ10では、鏡面反射体20が周囲に存在した場合には、マルチパスによる干渉700が発生し、対象物50の測定に誤差が生じる。例えば、ロボット850が移動する室内の壁面840に大型の鏡20eが設置されていた場合を考える。ロボット850の測距カメラ10は、床面860(対象物50)が本来平坦であるにもかかわらず、鏡20eによって生じたマルチパスによる干渉700に起因してゆがんだ形状の床面860であると認識することがある。同様に、室内に存在する障害物50e(対象物50)の形状についても、ロボット850の測距カメラ10は、正しく認識できない場合がある。その結果、ロボット850により、ロボット850の周囲のマップが正確に生成できないことがある。
 そこで、本適用例においては、ロボット850の周囲環境をスキャンするモニタリング装置として上述の本実施形態を適用する。このようにすることで、鏡20eによって生じるマルチパスによる干渉700に起因した誤差を補正することができることから、本適用例においては、ロボット850の周囲のマップが正確に生成することができる。なお、上述の場合には、鏡20eの位置及び姿勢が既知であることが前提である。
 また、人間が容易に入ることはできない空間においては、2台のロボット850を用いて当該空間に関するマップを生成してもよい。当該変形例においては、一方のロボット850には、上述したような本実施形態に係る測距カメラ10を搭載し、他方のロボット850には、本実施形態に係る鏡面反射体20を搭載する。これら2台のロボット850が、測距カメラ10と鏡面反射体20とが互いに向かい合うように移動することにより、上記空間にある物体等のスキャンを行うことができ、人間が容易に入ることはできない空間内であっても正確なマップを生成することができる。なお、上述の場合、測距カメラ10を搭載したロボット850と、鏡面反射体20を搭載したロボット850との相対的な位置関係や姿勢を予め把握した上で物体等のスキャンを行うこととなる。
 <<6. まとめ>>
 本開示の実施形態によれば、鏡面反射体20と設けることにより、1台の測距カメラ10で、対象物50の実像600と鏡像602を同時に測定することができる。従って、本実施形態によれば、対象物50自身による遮断等によって、1台の測距カメラ10で直接的に測定することが難しい対象物50の背面等の領域を測定することができる。また、本実施形態によれば、1台の測距カメラ10で構成することが可能であることから、測距システム1の構築のためのコストの増加を抑えることができる。
 ところで、1台の測距カメラ10であっても、対象物50の周囲を回転移動させる等により、対象物50の正面と背面とを同時に測定することもできるが、このような場合、対象物50が時間とともに動的に変化する場合には測定することができない。しかしながら、本実施形態によれば、このような対象物50であっても、1台の測距カメラ10で対応することができる。
 また、複数台の測距カメラ10の使用を前提としていないことから、本実施形態によれば、測距カメラ10同士で同期をとる必要がなく、従って、同期回路等を設ける必要がない。さらに、本実施形態によれば、複数台の測距カメラ10を使用する場合と比べて、狭い空間での利用が容易である。
 さらに、複数の測距カメラ10によって得られた画像を合成して3次元画像を得る場合には、各測距カメラ10で取得した3次元点群を適切に位置合わせするために、複数の測距カメラ10で測定する領域の一部が互いに重なっていることが求められる。すなわち、上述のような場合には、複数の測距カメラ10の設置位置には制約がある。しかしながら、本実施形態によれば、1台の測距カメラ10で構成可能であることから、位置合わせの必要もなく、従って測距カメラ10の位置を自由に設定することができる。
 また、本実施形態においては、鏡面反射体20を設置したことにより、マルチパスによる干渉700が発生するが、このような干渉700の影響を受けた光の位相を示すモデルを用いることにより、当該干渉700に起因した誤差の補正を行うことができる。従って、本実施形態によれば、正確に対象物50の距離及び形状を測定することが可能になる。さらに、対象物50の形状によっては、マルチパスによる干渉700が生じる領域と、マルチパスによる干渉700が生じない領域とが混在する場合がある。このような場合であっても、本実施形態によれば、干渉700の発生の有無を判別して補正を行うことができることから、補正の必要のない領域に対する過剰補正によって正確な測定値の取得ができないといったことを避けることができる。
  <<7. ハードウェア構成について>>
 図15は、本実施形態に係る処理装置900のハードウェア構成の一例を示す説明図である。図15では、処理装置900は、上述の処理装置30のハードウェア構成の一例を示している。
 処理装置900は、例えば、CPU950と、ROM952と、RAM954と、記録媒体956と、入出力インターフェース958と、操作入力デバイス960とを有する。さらに、処理装置900は、表示デバイス962と、通信インターフェース968と、センサ980とを有する。また、処理装置900は、例えば、データの伝送路としてのバス970で各構成要素間を接続する。
 (CPU950)
 CPU950は、例えば、CPU等の演算回路で構成される、1または2以上のプロセッサや、各種処理回路等で構成され、処理装置900全体を制御する制御部(例えば、上述の制御部350)として機能する。具体的には、CPU950は、処理装置900において、例えば、距離算出部300、補正部310、判定部320、画像処理部330、及び制御部350等の機能を果たす。
 (ROM952及びRAM954)
 ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する。
 (記録媒体956)
 記録媒体956は、例えば、本実施形態に係る測定方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体956としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体956は、処理装置900から着脱可能であってもよい。
 (入出力インターフェース958、操作入力デバイス960、及び表示デバイス962)
 入出力インターフェース958は、例えば、操作入力デバイス960や、表示デバイス962等を接続する。入出力インターフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
 操作入力デバイス960は、例えば、ユーザの処理装置900に対する操作を受け付ける入力部として機能し、処理装置900の内部で入出力インターフェース958と接続される。
 表示デバイス962は、例えばユーザに対して画像等の出力する出力部として機能し、処理装置900上に備えられ、処理装置900の内部で入出力インターフェース958と接続される。表示デバイス962としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display)等が挙げられる。
 なお、入出力インターフェース958は、処理装置900の外部の操作入力デバイス(例えば、キーボードやマウス等)や外部の表示デバイス等の、外部デバイスと接続することも可能である。また、入出力インターフェース958は、ドライブ(図示省略)と接続されていてもよい。当該ドライブは、磁気ディスク、光ディスク、又は半導体メモリなどのリムーバブル記録媒体のためのリーダライタであり、処理装置900に内蔵、あるいは外付けされる。当該ドライブは、装着されているリムーバブル記録媒体に記録されている情報を読み出して、RAM954に出力する。また、当該ドライブは、装着されているリムーバブル記録媒体に記録を書き込むこともできる。
 (通信インターフェース968)
 通信インターフェース968は、例えば上述の通信ケーブル60を介して(あるいは、直接的に)、測距カメラ10等の外部装置と、無線または有線で通信を行うための通信部360として機能する。ここで、通信インターフェース968としては、例えば、通信アンテナ及びRF(Radio frequency)回路(無線通信)や、IEEE802.15.1ポート及び送受信回路(無線通信)、IEEE802.11ポート及び送受信回路(無線通信)、あるいはLAN(Local Area Network)端子及び送受信回路(有線通信)等が挙げられる。
 以上、処理装置900のハードウェア構成の一例を示した。なお、処理装置900のハードウェア構成は、図15に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
 例えば、処理装置900は、接続されている外部の通信デバイスを介して測距カメラ10等と通信を行う場合や、スタンドアロンで処理を行う構成である場合には、通信インターフェース968を備えていなくてもよい。また、通信インターフェース968は、複数の通信方式によって、1または2以上の外部装置と通信を行うことが可能な構成を有していてもよい。また、処理装置900は、例えば、記録媒体956や、操作入力デバイス960、表示デバイス962等を備えない構成をとることも可能である。
 また、本実施形態に係る処理装置900は、例えばクラウドコンピューティング等のように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムであってもよい。つまり、上述した本実施形態に係る処理装置900は、例えば、複数の装置により本実施形態に係る測定方法に係る処理を行う処理システムとして実現することも可能である。
 <<8. 補足>>
 上述した実施形態に係る測定方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。
 さらに、上記の実施形態に係る測定方法の少なくとも一部は、コンピュータ(処理装置30、900)を機能させる情報処理プログラムとして、ソフトウェアで構成することが可能であり、ソフトウェアで構成する場合には、これらの方法の少なくとも一部を実現するプログラムを記録媒体に収納し、処理装置30(900)等、もしくは、処理装置30(900)と接続された他の装置に読み込ませて実行させてもよい。また、当該処理方法の少なくとも一部を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記対象物を挟んで、前記センサ部の反対側に位置する鏡面反射体と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から前記鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を備える、撮像装置。
(2)前記センサ部と前記鏡面反射体との間の距離を固定する固定部材をさらに備える、上記(1)に記載の撮像装置。
(3)対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を備える、撮像装置。
(4)前記センサ部は、前記光を照射する照射部と、反射された前記光を受光する受光部と、照射した前記光と受光した前記光と位相差を算出する位相差算出部と、を有し、前記距離算出部は、前記位相差に基づいて前記距離を算出する、上記(1)~(3)のいずれか1つに記載の撮像装置。
(5)前記補正部は、前記センサ部の前記センシングデータと、前記干渉によって生じると推定される推定値とを比較することにより、前記誤差を補正する、上記(1)に記載の撮像装置。
(6)前記干渉による前記誤差の発生の有無を判定する判定部をさらに備える、上記(1)~(5)のいずれか1つに記載の撮像装置。
(7)前記判定部は、前記補正が施された前記対象物の実像と、前記補正が施された、前記対象物の前記鏡面反射体に投影された鏡像との一致の有無により、前記誤差の発生の有無を判定する、上記(6)に記載の撮像装置。
(8)前記対象物のカラー画像を取得するカラーセンサ部をさらに備え、前記判定部は、前記対象物の前記実像のカラー画像と前記鏡像のカラー画像とを比較することにより、前記誤差の有無を判定する、上記(7)に記載の撮像装置。
(9)前記鏡面反射体には、非光沢表面を持つマーカが設けられている、上記(1)~(8)のいずれか1つに記載の撮像装置。
(10)前記マーカは、互いに離間して設けられる3つ以上のマーカ部からなる、上記(9)に記載の撮像装置。
(11)前記鏡面反射体までの距離を測定する鏡面反射体センサ部をさらに備える、上記(1)~(8)のいずれか1つに記載の撮像装置。
(12)対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を有する撮像装置が搭載されたモニタリング装置。
 1  測距システム
 10  測距カメラ
 20、20a~c  鏡面反射体
 20d  鏡部
 20e  鏡
 30、900  処理装置
 50  対象物
 50a  前面
 50b  背面
 50c  上面
 50d  人物
 50e  障害物
 60  通信ケーブル
 100  センサ部
 102  照射部
 104  受光部
 110  位相差算出部
 120  撮像部
 150、350  制御部
 160、360  通信部
 200、200a~c  マーカ
 300  距離算出部
 310  補正部
 320  判定部
 330  画像処理部
 500  第1の経路
 502  第2の経路
 600  実像
 602  鏡像
 700  干渉
 800  歯科器具
 802  ハンドル部
 804  ジョイント部
 806  固定部材
 810  歯列
 820  車両
 822  ダッシュボード
 824  フロントウィンドウ
 830  ハンドジェスチャ
 840  壁面
 842  天井
 850  ロボット
 860  床面
 950  CPU
 952  ROM
 954  RAM
 956  記録媒体
 958  入出力インターフェース
 960  操作入力デバイス
 962  表示デバイス
 968  通信インターフェース
 970  バス

Claims (12)

  1.  対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、
     前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、
     前記対象物を挟んで、前記センサ部の反対側に位置する鏡面反射体と、
     前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から前記鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、
     を備える、
     撮像装置。
  2.  前記センサ部と前記鏡面反射体との間の距離を固定する固定部材をさらに備える、請求項1に記載の撮像装置。
  3.  対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、
     前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、
     前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、
     を備える、
     撮像装置。
  4.  前記センサ部は、
     前記光を照射する照射部と、
     反射された前記光を受光する受光部と、
     照射した前記光と受光した前記光と位相差を算出する位相差算出部と、
     を有し、
     前記距離算出部は、前記位相差に基づいて前記距離を算出する、
     請求項1に記載の撮像装置。
  5.  前記補正部は、前記センサ部の前記センシングデータと、前記干渉によって生じると推定される推定値とを比較することにより、前記誤差を補正する、請求項1に記載の撮像装置。
  6.  前記干渉による前記誤差の発生の有無を判定する判定部をさらに備える、請求項1に記載の撮像装置。
  7.  前記判定部は、前記補正が施された前記対象物の実像と、前記補正が施された、前記対象物の前記鏡面反射体に投影された鏡像との一致の有無により、前記誤差の発生の有無を判定する、請求項6に記載の撮像装置。
  8.  前記対象物のカラー画像を取得するカラーセンサ部をさらに備え、
     前記判定部は、前記対象物の前記実像のカラー画像と前記鏡像のカラー画像とを比較することにより、前記誤差の有無を判定する、請求項7に記載の撮像装置。
  9.  前記鏡面反射体には、非光沢表面を持つマーカが設けられている、請求項1に記載の撮像装置。
  10.  前記マーカは、互いに離間して設けられる3つ以上のマーカ部からなる、請求項9に記載の撮像装置。
  11.  前記鏡面反射体までの距離を測定する鏡面反射体センサ部をさらに備える、請求項1に記載の撮像装置。
  12.  対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、
     前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、
     前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、
     を有する撮像装置が搭載されたモニタリング装置。
PCT/JP2018/015743 2017-07-11 2018-04-16 撮像装置及びモニタリング装置 WO2019012770A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880028772.2A CN110573833B (zh) 2017-07-11 2018-04-16 成像装置和监控装置
US16/610,283 US11320536B2 (en) 2017-07-11 2018-04-16 Imaging device and monitoring device
EP18831506.3A EP3653989B1 (en) 2017-07-11 2018-04-16 Imaging device and monitoring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-135381 2017-07-11
JP2017135381A JP2019015706A (ja) 2017-07-11 2017-07-11 撮像装置及びモニタリング装置

Publications (1)

Publication Number Publication Date
WO2019012770A1 true WO2019012770A1 (ja) 2019-01-17

Family

ID=65001605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015743 WO2019012770A1 (ja) 2017-07-11 2018-04-16 撮像装置及びモニタリング装置

Country Status (5)

Country Link
US (1) US11320536B2 (ja)
EP (1) EP3653989B1 (ja)
JP (1) JP2019015706A (ja)
CN (1) CN110573833B (ja)
WO (1) WO2019012770A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3855111A1 (de) * 2020-01-24 2021-07-28 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Optische messvorrichtung
US20210270600A1 (en) * 2020-02-27 2021-09-02 Kabushiki Kaisha Toshiba System and method
WO2021205787A1 (ja) * 2020-04-06 2021-10-14 パナソニックIpマネジメント株式会社 測距装置、およびプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110109243B (zh) * 2018-01-25 2022-08-09 台湾东电化股份有限公司 液态光学模块
JP7025317B2 (ja) * 2018-10-31 2022-02-24 ファナック株式会社 測距装置を有する物体監視システム
EP3745081B1 (de) * 2019-05-28 2023-03-22 Tecan Trading Ag Positionsdetektor und verfahren zur 3d-positionsbestimmung
JP2021012037A (ja) * 2019-07-03 2021-02-04 株式会社東芝 システム及び方法
JP2021021639A (ja) * 2019-07-29 2021-02-18 パイオニア株式会社 情報処理装置、情報処理方法、プログラム、記録媒体及び検出システム
JP7364439B2 (ja) * 2019-11-25 2023-10-18 ファナック株式会社 Tofセンサを用いた物体検出システム
IL276015B2 (en) * 2020-07-13 2023-10-01 Elta Systems Ltd System and methods for target detection
US20210018598A1 (en) * 2020-09-25 2021-01-21 Intel Corporation Light detection and ranging systems and optical system
WO2022130561A1 (ja) * 2020-12-17 2022-06-23 日本電信電話株式会社 ミリ波推定装置、方法及びプログラム
KR102600821B1 (ko) * 2021-12-22 2023-11-09 충북대학교 산학협력단 물체 치수 추정 방법 및 장치
WO2024062874A1 (ja) * 2022-09-20 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010004763A1 (ja) * 2008-07-11 2010-01-14 パナソニック株式会社 三次元形状計測装置、集積回路、および方法
US20100208234A1 (en) * 2009-02-19 2010-08-19 Adrian Kaehler Systems and methods for detecting and analyzing objects
JP2012057960A (ja) 2010-09-06 2012-03-22 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
WO2014097539A1 (ja) * 2012-12-20 2014-06-26 パナソニック株式会社 3次元測定装置および3次元測定方法
JP2016139306A (ja) * 2015-01-28 2016-08-04 株式会社東芝 車軸検知装置および車軸検知方法
JP2018004544A (ja) * 2016-07-06 2018-01-11 日本電信電話株式会社 三次元形状計測装置、三次元形状計測方法及び三次元形状計測プログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052190A (en) 1997-09-09 2000-04-18 Utoptics, Inc. Highly accurate three-dimensional surface digitizing system and methods
US7154937B2 (en) * 1999-08-02 2006-12-26 Itt Manufacturing Enterprises, Inc. Quadrature multi-frequency ranging (QMFR) applied to GPS multipath mitigation
US6813359B2 (en) * 2001-05-01 2004-11-02 Bae Systems Information And Electronic Systems Integration Inc. Apparatus and method for minimizing multipath interference
JP2004085529A (ja) * 2002-06-25 2004-03-18 Matsushita Electric Works Ltd レーザー測距装置及び方法
GB0411193D0 (en) * 2004-05-20 2004-06-23 Koninkl Philips Electronics Nv Method and apparatus for determining distance to a radio transponder
JP4793266B2 (ja) * 2004-11-24 2011-10-12 旭硝子株式会社 透明板状体の欠陥検査方法および装置
WO2008063725A2 (en) * 2006-08-23 2008-05-29 University Of Washington Use of ultrasound for monitoring security of shipping containers
WO2009046763A1 (en) 2007-10-10 2009-04-16 Trimble Jena Gmbh Surveying apparatus for tracking and surveying an object
EP2189813B1 (de) 2008-11-20 2011-12-28 Cedes AG Sensorvorrichtung mit einem Distanzsensor
JP2010262173A (ja) 2009-05-08 2010-11-18 Sony Corp 撮像装置および撮影レンズユニット
US8116902B2 (en) 2010-02-26 2012-02-14 National Formosa University Method of detecting a dynamic path of a five-axis machine tool and dectecting assembly for the same
US8428542B2 (en) * 2010-06-28 2013-04-23 Exelis, Inc. Adaptive cancellation of multi-path interferences
CN102467296B (zh) * 2010-11-02 2014-11-05 原相科技股份有限公司 光学感测系统
JP4971532B1 (ja) 2010-12-01 2012-07-11 パナソニック株式会社 立体画像撮影装置および内視鏡
US9182221B2 (en) 2011-06-13 2015-11-10 Canon Kabushiki Kaisha Information processing apparatus and information processing method
KR20130001762A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 영상 생성 장치 및 방법
CN103782191B (zh) * 2011-09-12 2017-09-08 索尼公司 干涉测量扫描系统和方法
JP2013219708A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
EP2867691B1 (fr) * 2012-06-29 2016-11-02 Blinksight Dispositif et procédé de localisation d'un émetteur rfid
CN103543451B (zh) * 2012-07-17 2015-09-16 中国科学院电子学研究所 一种基于压缩感知的多径虚像抑制sar后处理方法
JP2014115109A (ja) 2012-12-06 2014-06-26 Canon Inc 距離計測装置及び方法
US9267306B2 (en) * 2013-08-04 2016-02-23 Avraham Suhami Multi-storey buildings built over road air-spaces
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
US9557166B2 (en) * 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
CN104568963A (zh) 2014-12-17 2015-04-29 华南理工大学 一种基于rgb结构光的在线式三维检测装置
US9989630B2 (en) * 2015-05-13 2018-06-05 Infineon Technologies Ag Structured-light based multipath cancellation in ToF imaging
CN105785337B (zh) * 2016-01-22 2018-05-15 西安电子科技大学 复杂地形下的米波雷达低仰角目标测高方法
JP6400035B2 (ja) * 2016-03-14 2018-10-03 キヤノン株式会社 位置検出装置、力覚センサ、および、装置
JP2018066655A (ja) * 2016-10-19 2018-04-26 日本電信電話株式会社 鏡面情報取得装置、鏡面測定方法及びコンピュータプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010004763A1 (ja) * 2008-07-11 2010-01-14 パナソニック株式会社 三次元形状計測装置、集積回路、および方法
US20100208234A1 (en) * 2009-02-19 2010-08-19 Adrian Kaehler Systems and methods for detecting and analyzing objects
JP2012057960A (ja) 2010-09-06 2012-03-22 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
WO2014097539A1 (ja) * 2012-12-20 2014-06-26 パナソニック株式会社 3次元測定装置および3次元測定方法
JP2016139306A (ja) * 2015-01-28 2016-08-04 株式会社東芝 車軸検知装置および車軸検知方法
JP2018004544A (ja) * 2016-07-06 2018-01-11 日本電信電話株式会社 三次元形状計測装置、三次元形状計測方法及び三次元形状計測プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3653989A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3855111A1 (de) * 2020-01-24 2021-07-28 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Optische messvorrichtung
US20210270600A1 (en) * 2020-02-27 2021-09-02 Kabushiki Kaisha Toshiba System and method
WO2021205787A1 (ja) * 2020-04-06 2021-10-14 パナソニックIpマネジメント株式会社 測距装置、およびプログラム

Also Published As

Publication number Publication date
CN110573833B (zh) 2022-11-08
CN110573833A (zh) 2019-12-13
US20210096250A1 (en) 2021-04-01
US11320536B2 (en) 2022-05-03
EP3653989A1 (en) 2020-05-20
JP2019015706A (ja) 2019-01-31
EP3653989B1 (en) 2023-06-21
EP3653989A4 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
CN110573833B (zh) 成像装置和监控装置
US11408728B2 (en) Registration of three-dimensional coordinates measured on interior and exterior portions of an object
US9188430B2 (en) Compensation of a structured light scanner that is tracked in six degrees-of-freedom
JP6355710B2 (ja) 非接触型光学三次元測定装置
JP6291562B2 (ja) 有向性のプローブ処理による、三次元スキャナにおける多経路干渉の診断および排除
DK2993450T3 (en) Method and arrangement for recording acoustic and optical information as well as a corresponding computer program and a corresponding computer-readable storage medium
JP6019959B2 (ja) 物体検出装置、物体検出プログラムおよび車両
JP3859574B2 (ja) 3次元視覚センサ
US9046360B2 (en) System and method of acquiring three dimensional coordinates using multiple coordinate measurement devices
US9528828B2 (en) Method and system for determining position and orientation of a measuring instrument
CN106537185B (zh) 借助于相交平面探测障碍物的装置和使用所述装置的探测方法
JP2007078476A (ja) 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム
JP2013525787A5 (ja)
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
JP2010169633A (ja) 形状測定装置
US10697754B2 (en) Three-dimensional coordinates of two-dimensional edge lines obtained with a tracker camera
Wang et al. Modelling and calibration of the laser beam-scanning triangulation measurement system
JP2007093412A (ja) 3次元形状測定装置
JP2013057541A (ja) 対象物との相対位置計測方法と装置
KR20130089403A (ko) 장애물 감지 센서
CN102401901B (zh) 测距系统及测距方法
CN116105600B (zh) 基于双目相机的瞄准目标的方法、处理装置及激光跟踪仪
US20220316866A1 (en) Floor surface condition detection device, distance measuring device equipped with same, floor surface condition detection method, and floor surface condition detection program
JP2016102755A (ja) 情報処理装置、情報処理方法及びプログラム
KR20210148289A (ko) 정합 방법 및 설정

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831506

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018831506

Country of ref document: EP

Effective date: 20200211