JPWO2018143074A1 - 3次元情報検出装置 - Google Patents

3次元情報検出装置 Download PDF

Info

Publication number
JPWO2018143074A1
JPWO2018143074A1 JP2018565503A JP2018565503A JPWO2018143074A1 JP WO2018143074 A1 JPWO2018143074 A1 JP WO2018143074A1 JP 2018565503 A JP2018565503 A JP 2018565503A JP 2018565503 A JP2018565503 A JP 2018565503A JP WO2018143074 A1 JPWO2018143074 A1 JP WO2018143074A1
Authority
JP
Japan
Prior art keywords
imaging unit
light
cover
projection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018565503A
Other languages
English (en)
Other versions
JP6761488B2 (ja
Inventor
由久 宇佐美
伸也 田中
素 寺横
要 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Groove X Inc
Original Assignee
Groove X Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Groove X Inc filed Critical Groove X Inc
Publication of JPWO2018143074A1 publication Critical patent/JPWO2018143074A1/ja
Application granted granted Critical
Publication of JP6761488B2 publication Critical patent/JP6761488B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

投射部、第1及び第2の撮像部を備えた光学系が外部に露出しないように光透過性のカバーで覆っても被測定物体の3次元情報の検出精度が低下しない3次元情報検出装置を提供する。被測定物体に画像パターンを投射する投射部と、画像パターンをそれぞれ撮像する第1の撮像部及び第2の撮像部と、投射部、第1の撮像部及び第2の撮像部を備えた光学系を覆う光透過性のカバーと、第1の撮像部及び第2の撮像部に撮像された画像パターンに基づいて被測定物体の3次元情報を算出する算出部と、を備え、光学系の少なくとも据え付け面の一部は光吸収部材で形成され、画像パターンの投射光のうちカバーで正反射した反射光が直接入射する領域外に第1の撮像部及び第2の撮像部が配置されている。

Description

本発明は3次元情報検出装置に係り、特に被測定物体に画像パターンを投射し、被測定物体に映る画像パターンを利用して被測定物体の3次元情報を算出するアクティブ型の3次元情報検出装置に関する。
従来から被測定物体の立体形状等の3次元情報を検出する3次元情報検出装置は、三角測量の原理が利用されている。三角測量の原理を利用した3次元情報検出装置としては、測定する被測定物体に光を投射することなく測定を行うパッシブ型の3次元情報検出装置と、測定する被測定物体に光を投射して測定を行うアクティブ型の3次元情報検出装置とが知られている。一般的にアクティブ型はパッシブ型に比べ高い検出精度を得ることができる。
アクティブ型の3次元情報検出装置の一種として、投射部から被測定物体に光の画像パターンを投射し、投射された画像パターンを画像パターンが投射された方向とは異なる方向から2台の撮像部でステレオ画像を撮像することにより、被測定物体の3次元情報を検出する装置がある。
特許文献1に、アクティブ型の3次元情報の検出装置が開示されており、パターン投影機と2台のカメラとを光学系として備えた三次元計測装置が開示されている。
また、特許文献2には、パターン投影部と、2台の撮像部とを備えたデジタルカメラとして構成した撮像装置が開示されている。
近年、3次元情報検出装置は、工場等の組立作業等を行う産業用ロボット、あるいはサービス、介護等の支援を行う民生用ロボットにおいて、作業対象を認識するための手段として広く利用されている。民生用ロボットの場合、親近感や温かみを付与する等の各種のロボット形状に形成されることが多く、例えば人型や動物型の形状に形成される。
特開2012−215394号公報 特開2011−176699号公報
しかしながら、特に人型や動物型の民生用ロボットにアクティブ型の3次元情報検出装置を使用する場合、投射部、第1の撮像部、第2の撮像部を備えた光学系をロボット外部に露出した状態で設置すると外観が悪くなるばかりでなく、外観の演出度や設計の自由度が制限される。
本発明は、このような事情に鑑みてなされたもので、外観の制約に縛られないデザイン性の高いロボットに搭載可能な3次元情報検出装置を提供することを目的とする。
ロボットの外観デザインに自由度を持たせるため、光学系をロボット内部(例えばロボットの頭部)に埋め込み、光学系を光透過性のカバーで覆うことが考えられる。しかしながら、光学系をカバーで覆うと、カバーを通して被測定物体に投射した投射光の一部がカバーによって反射され、その反射光によって三角測量を正確に行うことができず、被測定物体の3次元情報の検出精度が低下してしまう。そこで、本発明者は光学系を光透過性のカバーで覆うことで、デザイン性を高めるとともに、反射光が3次元情報の検出精度の低下に影響を及ぼさない構造を創出するに至った。
本発明の3次元情報検出装置の一態様は、被測定物体に画像パターンの投射光を投射する投射部と、被測定物体に映る画像パターンをそれぞれ撮像する第1の撮像部及び第2の撮像部と、投射部、第1の撮像部及び第2の撮像部を覆う光透過性のカバーと、第1の撮像部及び第2の撮像部に撮像された画像パターンを示すステレオ画像に基づいて被測定物体の3次元情報を算出する算出部と、を備え、投射部、第1の撮像部、及び第2の撮像部の据え付け部の少なくとも据え付け面の一部は光吸収部材で形成され、カバーを通して被測定物体に投射された画像パターンの投射光のうちカバーで正反射した反射光が直接入射する領域外に第1の撮像部及び第2の撮像部が配置されている。換言すれば、反射光が、第1の撮像部及び第2の撮像部に直接入射しないように光学系の配置関係と、カバーの形状とが設定されている。
本発明において、カバーで反射した反射光が据え付け面の第1の撮像部及び第2の撮像部以外の領域に入射することが好ましく、据え付け面の第1の撮像部及び第2の撮像部以外の領域であって、光吸収部材で形成された領域に入射することがより好ましい。
本発明において、投射光が不可視光であることが好ましく、不可視光は近赤外光であることが特に好ましい。
本発明において、据え付け面は投射光の投射波長における反射率が50%以下の光吸収部材で形成されていることが好ましい。据え付け面のより好ましい反射率は30%以下であり、特に好ましくは10%以下である。ここで、反射率とは正反射率と拡散反射率とを合わせた全反射率を意味し、以下同様である。
本発明において、カバーの少なくとも投射光が照射される部分の一部の反射面は投射光の投射波長における反射率が8%以下であることが好ましい。カバーの反射面のより好ましい反射率は5%以下であり、特に好ましくは3%以下である。
本発明において、カバーと第1の撮像部及び第2の撮像部との間に、反射光に多く含まれる偏光成分を除く直線偏光素子を設けることが好ましい。
本発明において、カバーの少なくとも一部は曲面形状であることが好ましい。
本発明において、投射部は第1の撮像部と第2の撮像部との間に配置され、且つ光透過性カバーの中心から外れていることが好ましい。
カバーは不可視光の透過率が可視光の透過率よりも大きいことが好ましい。
本発明の3次元情報検出装置によれば、投射部、第1の撮像部、第2の撮像部を備えた光学系が外部に露出しないように光透過性のカバーで覆っても被測定物体の3次元情報の検出精度が低下しないようにできる。
3次元情報検出装置の全体構成を説明する概念図 3次元情報検出装置を人型のロボットに適用した図 ロボットの頭部正面の図 ロボットの頭部を、埋め込まれた光学系の位置で横方向に切断した断面図 カバー反射光が第1の撮像部及び第2の撮像部に直接入射している説明図 カバー反射光が第1の撮像部及び第2の撮像部に直接入射しない説明図 光学系を据え付ける少なくとも据え付け面を光吸収部材で形成した図 カバー反射光の説明図 カバーと第1の撮像部及び第2の撮像部との間に直線偏光素子を配置した図
以下、添付図面にしたがって本発明の3次元情報検出装置を実施するための形態について説明する。
本発明は以下の好ましい実施の形態により説明される。本発明の範囲を逸脱すること無く、多くの手法により変更を行うことができ、本実施の形態以外の他の実施の形態を利用することができる。したがって、本発明の範囲内における全ての変更が特許請求の範囲に含まれる。
図1は、本発明の実施の形態のアクティブ型の3次元情報検出装置10の基本構成を示す概念図である。
図1に示すように、本実施の形態の3次元情報検出装置10の基本構成は、主として、被測定物体12に画像パターン14の投射光Lを投射する投射部16と、被測定物体12に映る画像パターン14をそれぞれ撮像する第1の撮像部18及び第2の撮像部20と、投射部16、第1の撮像部18及び第2の撮像部20を覆う光透過性のカバー22と、第1の撮像部18及び第2の撮像部20に撮像された画像パターン14を示すステレオ画像に基づいて被測定物体12の3次元情報を算出する算出部24と、で構成される。
なお、本実施の形態では、投射部16、第1の撮像部18、第2の撮像部20の全体を総称として3次元情報検出装置10の光学系26と言うことにする。
ここで、投射部16、第1の撮像部18及び第2の撮像部20を覆う光透過性のカバー22とは、被測定物体12に向いた光学系26の少なくとも正面全体を覆うカバー22であって、投射部16、第1の撮像部18、第2の撮像部20の個々の部材を個々に覆うためのカバーは含まない。
図2は、本発明の実施の形態の3次元情報検出装置10の光学系26を、人型のロボット28の頭部30に埋め込み、光学系26をカバー22で覆うことによって投射や撮像のための光学窓をロボット28の顔表面に形成した図である。
なお、本実施の形態では、本発明の3次元情報検出装置10を人型のロボット28に組み込んだ例で説明するが、本発明はこれに限定されず、光学系26をカバー22で覆うようにしたアクティブ型の3次元情報検出装置10の全てに適用できる。
図2に示すように、人型のロボット28は、主として、頭部30と、胴体部32と、両手部34A,34Bと、両足部36A,36Bと、両足部36A,36Bの下端に設けられた歩行のための歩行部38A,38Bとで構成される。歩行部38A,38Bとしては例えば自走式の車輪等を用いることができる。
また、胴体部32には、ロボット28を制御する制御装置40(図1参照)と電源装置42(図1参照)が内蔵される。上記した3次元情報を算出する算出部24は、図1に示すように制御装置40の一部として組み込んでもよく、別装置として設けてもよい。
ロボット28の頭部30は、人の頭部形状に似せた略球体状に形成され、頭部30正面の顔44の上部両側に人の目46A,46Bをイメージさせる意匠が形成され、頭部30内部に3次元情報検出装置10の光学系26が埋め込まれる。
図3は、ロボット28の頭部30正面の図である。また、図4は頭部30を、埋め込まれた光学系26の位置で横方向に切断した場合の断面を上から見た断面図である。
図3及び図4に示すように、頭部30正面の顔44の中央下部から頭部30内部へ水平に凹状の埋め込み空間48が形成される。
そして、埋め込み空間48の入口開口(顔表面の開口)には、少なくとも一部が曲面形状をした光透過性のカバー22が設けられる。このカバー22はロボット28の顔44の下部に人の口22Aをイメージさせる意匠ともなる。
本実施の形態では、埋め込み空間48の形状として楕円柱形としたが、円柱形、四角柱形等の他の形状でもよい。また、本実施の形態では、カバー22の形状として楕円形板が円弧状に曲がった円弧曲面としたが、これに限定されず、少なくとも一部が曲面形状であればよい。
また、埋め込み空間48の底面(入口開口の反対面)に光学系26を据え付ける直方体状の据え付け部50が固定される。
直方体状の据え付け部50の据え付け面50Aには、第1の撮像部18と第2の撮像部20とが、カバー22の縦中心線Mを中心として頭部30の幅方向に左右対称に配置され、2台の撮像部18,20により被測定物体12までの距離情報を含む3次元情報が得られる。即ち、2台の撮像部18,20は被測定物体12の立体情報を得るためのステレオカメラを構成している。第1の撮像部18及び第2の撮像部20としては、CCD(Charge-Coupled Device)カメラ、CMOS(Complemental Metal Oxide Semiconductor)カメラ等の電子カメラを使用することができる。
また、投射部16は、第1の撮像部18と第2の撮像部20との間に配置され、投射部16から被測定物体12に画像パターンが投射される。画像パターン14としては、例えば図1に示すように、予め各ドットの位置関係が定まっているランダムドットパターンが好ましい。しかし、これに限らず立体情報の取得が可能な画像パターンであれば任意の画像パターンを使用することができる。図1では、ランダムドットパターンの形成として投射部16の正面にドットスクリーン52を配置して図示したが、投射部16としてランダムドットパターンプロジェクタを好適に使用することができる。
上記の如く構成された3次元情報検出装置10により被測定物体12の3次元情報を検出するには、投射部16からカバー22を通して被測定物体12に画像パターン14(例えばランダムドットパターン)を投射する。そして、被測定物体12に映る画像パターン14を第1の撮像部18と第2の撮像部20との2台の撮像部で撮像し、画像パターン14のパターン像を含むステレオ画像を取得する。
この場合、投射部16は第1の撮像部18と第2の撮像部20との間に配置され、且つ図3に示すようにカバー22の縦中心線Mから外れていることが好ましい。また、第1の撮像部18及び第2の撮像部20は、投射部16に対して左右非対称に配置されていることが好ましい。これにより、被測定物体12の3次元検出がやり易くなるだけでなく、据え付け部50の背面側に形成される光学系関係の回路形成が容易になる。
そして、算出部24において、第1の撮像部18及び第2の撮像部20に撮像されたステレオ画像(各パターン像)の対応点ごとに三角測量の原理に基づいて深度(距離)を算出し、これにより被測定物体12の3次元情報を取得する。なお、算出部24で被測定物体12の3次元情報を算出する方法は、ステレオ画像の視差等を利用する公知の方法によって算出することができるが、本実施の形態では発明の趣旨ではないので詳しい説明は省略する。
これにより、本実施の形態の3次元情報検出装置10によって、被測定物体12の立体形状等の3次元情報を検出(認識)することができる。
一般に、3次元情報検出装置の光学系をカバーで覆うと、カバーを通して被測定物体に投射した投射光のうち、カバーの内側で反射した反射光によって三角測量を正確に行うことができない。即ち、光学系をカバーで覆うと、アクティブ型の3次元情報検出装置が有する本来の高検出な特徴を生かせなくなるという問題がある。
本発明者は、アクティブ型の3次元情報検出装置において、投射部、第1の撮像部及び第2の撮像部を備えた光学系をカバーで覆った場合、投射部から投射した投射光の全光量のうち、カバーの内側で正反射する反射光(以下「カバー反射光」という)の光量は通常10%以下と少ないが、カバー反射光が第1の撮像部及び第2の撮像部に直接入射すると、被測定物体の三角測量を正確に行えなくなるとの知見を得た。
三角測量を正確に行えなくなる理由は、第1の撮像部及び第2の撮像部に入射した光が被測定物体で反射した反射光(以下、「ワーク反射光」という)なのか、カバーで反射したカバー反射光なのかを判別できないためである。
そこで、本発明の実施の形態の3次元情報検出装置10では、上記の基本構成に次の2つの構成を加えることによって問題を解決するようにした。
(第1の構成)
カバー22通して被測定物体12に投射された画像パターン14の投射光Lのうちカバー22で正反射したカバー反射光が、第1の撮像部18及び第2の撮像部20に直接入射しないように、投射部16、第1の撮像部18、第2の撮像部20及びカバー22の配置関係と、カバー22の形状とを設定するようにした。
図5は、第1の構成を満足しない場合であり、図6は第1の構成を満足する場合である。なお、図5及び図6ではカバー反射光Rのみを示し、ワーク反射光は図示していない。
ここで、「直接入射」とは、カバー22で反射したカバー反射光Rが、直接に第1の撮像部18又は第2の撮像部20に入射することを言い、カバー22で反射した後で更にカバー22以外の部材で反射(例えば図5及び図6の点線で示す)を繰り返して最終的に第1の撮像部18又は第2の撮像部20に入射する間接入射は含まないことを意味する。
図5の場合には、投射光Lのうちカバー22で正反射して光学系26の据え付け面50Aに直接入射するカバー反射光Rの直接入射最大領域Wの領域内に第1の撮像部18及び第2の撮像部20が配置されている場合である。この場合には、カバー反射光Rが第1の撮像部18及び第2の撮像部20に直接入射する。
一方、図6の場合には、投射光Lのうちカバー22で正反射して光学系26の据え付け面50Aに直接入射するカバー反射光Rの直接入射最大領域Wの領域外に第1の撮像部18及び第2の撮像部20が配置されている場合である。この場合には、カバー反射光Rが第1の撮像部18及び第2の撮像部20に直接入射することはない。
なお、図6では、カバー反射光Rの直接入射最大領域Wの領域外に第1の撮像部18及び第2の撮像部20が配置されるように、投射部16に対する第1の撮像部18及び第2の撮像部20の離間距離を図5よりも大きくして配置した構造例である(以下「構造例1」という)。
しかし、カバー反射光Rの直接入射最大領域Wの領域外に第1の撮像部及び第2の撮像部が配置されるように設定するには、上記の構造例1以外に、カバー22の形状を設定したり(以下「構造例2」という)、カバー22と光学系26との離間距離を設定したり(以下「構造例3」という)することで対応することもでき、構造例1から構造例3を組み合わせることが特に好ましい。
また、上記の3つの構造例は相互に関係するが、構造例1の投射部・撮像部距離は、1mm以上、より好ましくは5mm以上、特に好ましくは10mm以上であることが好ましい。構造例1において、投射部16に対する第1の撮像部18及び第2の撮像部20の離間距離が1mm未満と近すぎると、他の構造例2及び3を組み合わせても、カバー反射光Rが第1の撮像部18及び第2の撮像部20に直接入射しないように設定することが難しくなる。
(第2の構成)
投射部16、第1の撮像部18、及び第2の撮像部20の据え付け部50の少なくとも据え付け面50Aの一部は光吸収部材54で形成するようにした。据え付け面50Aの全面を光吸収部材54で形成することがより好ましい。
図7は、光吸収部材54として、据え付け面50Aの全体に黒色有機塗料をコーティングした場合であり、スクリーン印刷等により据え付け面50Aにコーティングすることができる。また。本実施の形態における光吸収部材54としては、黒色有機塗料に限らず例えば酸化チタン、酸化アルミニウム、又はこれらの複合膜のように金属酸化物の薄膜等、その他公知のものを使用することができる。
この第2の構成により、カバー反射光Rのうち、据え付け面50Aに入射したカバー反射光Rは光吸収部材54によって吸収されるので、据え付け面50Aで再度反射して第1の撮像部18及び第2の撮像部20に間接入射する間接入射光を減らすことができる。
光吸収部材54で形成した据え付け面50Aの反射率は、投射光Lの投射波長における反射率が50%以下であることが好ましい。据え付け面50Aのより好ましい反射率は30%以下であり、特に好ましくは10%以下である。
上記2つの構成によって、投射部16、撮像部18,20からなる光学系26が外部に露出しないように光透過性のカバー22で覆っても三角測量を正確に行うことができるので、被測定物体12の3次元情報の検出を高精度に行うことができる。
また、光学系26をカバー22で覆っても三角測量を一層正確に行うことができ、高い精度で3次元情報を検出するためには、上記の第1の構成及び第2の構成に加えて以下に説明する(1)〜(5)の構成を加えることが好ましい。
(1)カバー22で反射したカバー反射光Rの全量のうちの80%以上が据え付け面50Aに入射するようにすることが好ましい。90%以上がより好ましく、95%以上が更に好ましい。
即ち、カバー反射光Rが、第1の撮像部18及び第2の撮像部20に直接入射しないための上記第1の構成に加えて、カバー反射光Rの全量のうちの90%以上が据え付け面50Aに入射するように、上記の構造例1から構造例3の少なくとも1つを実施する。
ここで言う据え付け面50Aとは、第1の撮像部18及び第2の撮像部20を除いた撮像部周囲の据え付け面を指すことは言うまでもない。
上記第1の構成によって、カバー反射光Rが第1の撮像部18及び第2の撮像部20に直接入射しなくても、第1の撮像部18及び第2の撮像部20に間接入射する光が多いと三角測量の正確性が低下し易い。
したがって、カバー反射光Rの全量のうちの90%以上が光吸収部材54で形成された据え付け面50Aに入射するようにすれば、カバー反射光Rの多くは据え付け面50Aで吸収される。これにより、第1の撮像部18及び第2の撮像部20に間接入射するカバー反射光Rの光量を顕著に減らすことができるので、三角測量を一層正確に行うことができる。
この場合、カバー反射光Rの全量のうちの95%以上が光吸収部材54で形成された据え付け面50Aに入射することがより好ましく、98%以上が特に好ましい。
(2)投射光Lが不可視光であることが好ましく、不可視光としては近赤外光(波長780nm〜2000nm)であることが特に好ましい。
近赤外光は可視光に比べて波長が長いため、散乱しにくい性質を有するので、カバー22で正反射したカバー反射光Rが、第1の撮像部18及び第2の撮像部20に直接入射しないように、構造例1から構造例3の設定を行い易くなる。
不可視光を使用する場合、カバー22は不可視光の透過率が可視光の透過率よりも大きいことが好ましい。例えば、カバー22に不可視光が透過し易く、可視光が透過しにくいフィルタ(図示せず)を設けることができる。これにより、3次元情報検出装置10を人型のロボット28に適用する場合に、カバー22での不可視光の反射を減少させることができるだけでなく、ロボット28の外からカバー22内部の光学系26が見えにくくなるので、意匠的に好ましい。
また、近赤外光の散乱しにくい性質を利用して、煙や薄い布などを透過して向こう側の被測定物体を撮影することができる。更に、目に見えないという特性もあるため、夜間に被測定物体12を近赤外光で照らしても被測定物体12に気付かれることなく撮像することができる。
(3)カバー22の少なくとも投射光Lが照射される部分の一部の反射面は、投射光Lの投射波長における反射率が8%以下であることが好ましい。カバーのより好ましい反射率は5%以下であり、特に好ましくは3%以下である。
図8は、投射部16から投射された投射光Lがカバー22で正反射する状態を拡大した図である。
図8に示すように、カバー22の反射は、カバー22の表面(入射側の空気との界面)と裏面(射出側の空気と界面)の両面で反射される。即ち、カバー22は表面と裏面との2つの反射面(又は反射界面)を有する。
したがって、投射光Lの投射波長におけるカバー22の反射率は表面と裏面の両面での反射率の合計になる。また、反射率とは正反射率と拡散反射率とを合わせた全反射率を意味することは上述の通りである。
例えば、投射光Lとして近赤外光を使用し、カバー22をポリカーボネートで形成した場合、表面と裏面とでの反射率はそれぞれ約5%であり、カバー22の反射率は合計で約10%になる。
カバー22の反射率を小さくするには、カバー22の表面及び裏面の少なくとも一方面に、例えばDLC膜(Diamond like Carbon)、フッ化マグネシウム膜等の公知の反射防止膜を設けることにより達成できる。
これにより、カバー22でのカバー反射光Rを顕著に減らすことができるので、三角測量を一層正確に行うことができる。
(4)図9に示すように、カバー22と第1の撮像部18及び第2の撮像部20との間に、カバー反射光Rに多く含まれる偏光成分を除去する直線偏光素子56,56を設けることが好ましい。
投射光Lがカバー22の表面(入射側の空気との界面)と裏面(射出側の空気と界面)の両面で反射されるときには、その光をS波成分とP波成分とに分けることができ、通常、カバー反射光RにはS波成分とP波成分の一方が他方よりも多く含まれる。
したがって、カバー22と第1の撮像部18及び第2の撮像部20との間に、カバー反射光Rに多く含まれる偏光成分を除去する直線偏光素子56,56を設ければ、カバー反射光Rを顕著に減少することができるので、三角測量を一層正確に行うことができる。
(5)本実施の形態におけるカバー22は平面形状であることも含むが、少なくとも一部は曲面形状であることがより好ましい。換言すると、投射部16とカバー22との少なくとも一部が平行でなく、第1の撮像部18及び第2の撮像部20とカバー22との少なくとも一部が平行でないことが好ましい。
カバー22が平面形状であるよりも曲面形状の方が、カバー22で正反射したカバー反射光Rが拡がり易く、第1の撮像部18及び第2の撮像部20に直接入射し易くなるので、本発明が一層有効になる。
例えば、カバー22における投射光Lの反射領域のカバー形状が投射部16に対して平行な平面形状ではなく、曲面形状である場合に本発明が一層有効になる。また、カバー22における第1の撮像部18及び第2の撮像部20の撮像領域のカバー形状が第1の撮像部18及び第2の撮像部20に対して平行な平面形状ではなく、曲面形状である場合に本発明が一層有効になる。
また、カバー22を曲面形状にすることにより、3次元情報検出装置10の光学系をロボット28の頭部30に埋め込んだときに、ロボット28の顔44の曲面に合わせて光学窓を形成することができ、外観の演出度を一層高めることができる。
また、カバー22と光学系26との離間距離は、1mm以上であることが好ましく、5mm以上が更に好ましく、10mm以上が特に好ましい。カバー22と光学系26との離間距離が大きいほどカバー反射光Rの直接入射最大領域Wが大きくなり、カバー反射光Rが第1の撮像部18及び第2の撮像部20に直接入射し難くなるので、本発明が一層有効になる。
また、光吸収部材54がコーティングされたフィルムは、据え付け面50Aの前方に取り付けられてもよい。据え付け面50Aとカバー22の間に光吸収部材54を設けることで、投射光Lがカバー22の内側で繰り返し反射することを防ぎ、反射光が計測精度に及ぼす悪影響を抑えることができる。
10…3次元情報検出装置
12…被測定物体
14…画像パターン
16…投射部
18…第1の撮像部
20…第2の撮像部
22…カバー
22A…人の口
24…算出部
26…光学系
28…ロボット
30…頭部
32…胴体部
34A、34B…両手部
36A、36B…両足部
38A、38B…歩行部
40…制御装置
42…電源装置
44…顔
46A、46B…目
48…埋め込み空間
50…据え付け部
50A…据え付け面
52…ドットスクリーン
54…光吸収部材
56…直線偏光素子
図7は、光吸収部材54として、据え付け面50Aの全体に黒色有機塗料をコーティングした場合であり、スクリーン印刷等により据え付け面50Aにコーティングすることができる。また本実施の形態における光吸収部材54としては、黒色有機塗料に限らず例えば酸化チタン、酸化アルミニウム、又はこれらの複合膜のように金属酸化物の薄膜等、その他公知のものを使用することができる。
カバー22が平面形状であるよりも曲面形状の方が、カバー22で正反射したカバー反射光Rが拡がり易く、第1の撮像部18及び第2の撮像部20に直接入射しくなるので、本発明が一層有効になる。
10…3次元情報検出装置
12…被測定物体
14…画像パターン
16…投射部
18…第1の撮像部
20…第2の撮像部
22…カバー
22A…人の口
24…算出部
26…光学系
28…ロボット
30…頭部
32…胴体部
34A、34B…両手部
36A、36B…両足部
38A、38B…歩行部
40…制御装置
42…電源装置
44…顔
46A、46B…人の
48…埋め込み空間
50…据え付け部
50A…据え付け面
52…ドットスクリーン
54…光吸収部材
56…直線偏光素子

Claims (10)

  1. 被測定物体に画像パターンの投射光を投射する投射部と、
    前記被測定物体に映る前記画像パターンをそれぞれ撮像する第1の撮像部及び第2の撮像部と、
    前記投射部、前記第1の撮像部及び前記第2の撮像部を覆う光透過性のカバーと、
    前記第1の撮像部及び第2の撮像部に撮像された前記画像パターンを示すステレオ画像に基づいて前記被測定物体の3次元情報を算出する算出部と、を備え、
    前記投射部、前記第1の撮像部、及び前記第2の撮像部の据え付け部の少なくとも据え付け面の一部は光吸収部材で形成され、
    前記カバーを通して前記被測定物体に投射された前記画像パターンの投射光のうち前記カバーで正反射した反射光が直接入射する領域外に前記第1の撮像部及び前記第2の撮像部が配置されている3次元情報検出装置。
  2. 前記カバーで反射した反射光が前記据え付け面の前記第1の撮像部及び前記第2の撮像部以外の領域に入射する請求項1に記載の3次元情報検出装置。
  3. 前記投射光が不可視光である請求項1又は2に記載の3次元情報検出装置。
  4. 前記不可視光は近赤外光である請求項3に記載の3次元情報検出装置。
  5. 前記据え付け面は前記投射光の投射波長における反射率が50%以下の光吸収部材で形成されている請求項1から4の何れか1項に記載の3次元情報検出装置。
  6. 前記カバーの少なくとも前記投射光が照射される部分の一部の反射面は前記投射光の投射波長における反射率が8%以下である請求項1から5の何れか1項に記載の3次元情報検出装置。
  7. 前記カバーと前記第1の撮像部及び前記第2の撮像部との間に、前記反射光に多く含まれる偏光成分を除く直線偏光素子を設けた請求項1から6の何れか1項に記載の3次元情報検出装置。
  8. 前記カバーの少なくとも一部は曲面形状である請求項1から7の何れか1項に記載の3次元情報検出装置。
  9. 前記投射部は前記第1の撮像部と前記第2の撮像部との間に配置され、且つ前記カバーの中心から外れている請求項1から8の何れか1項に記載の3次元情報検出装置。
  10. 前記カバーは前記不可視光の透過率が可視光の透過率よりも大きい請求項3から9の何れか1項に記載の3次元情報検出装置。
JP2018565503A 2017-01-31 2018-01-26 3次元情報検出装置 Active JP6761488B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017015818 2017-01-31
JP2017015818 2017-01-31
PCT/JP2018/002434 WO2018143074A1 (ja) 2017-01-31 2018-01-26 3次元情報検出装置

Publications (2)

Publication Number Publication Date
JPWO2018143074A1 true JPWO2018143074A1 (ja) 2019-11-07
JP6761488B2 JP6761488B2 (ja) 2020-09-23

Family

ID=63039694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018565503A Active JP6761488B2 (ja) 2017-01-31 2018-01-26 3次元情報検出装置

Country Status (4)

Country Link
US (1) US10834378B2 (ja)
JP (1) JP6761488B2 (ja)
CN (1) CN110199175B (ja)
WO (1) WO2018143074A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06168319A (ja) * 1992-11-30 1994-06-14 Nec Corp 指紋読取装置
JP2001194232A (ja) * 2000-01-14 2001-07-19 Sony Corp 光センサ装置及び表示装置
JP2004239886A (ja) * 2002-12-11 2004-08-26 Fuji Xerox Co Ltd 三次元画像撮像装置および方法
JP2006058215A (ja) * 2004-08-23 2006-03-02 Fuji Xerox Co Ltd 3次元画像入力装置および方法
JP2006121522A (ja) * 2004-10-22 2006-05-11 Matsushita Electric Works Ltd 映像撮像装置
JP2010256182A (ja) * 2009-04-24 2010-11-11 Panasonic Electric Works Co Ltd 反射型光電センサ
US20120120412A1 (en) * 2010-11-15 2012-05-17 Seikowave, Inc. Structured Light 3-D Measurement Module and System for Illuminating an Area-under-test using a Fixed-pattern Optic
JP2012119448A (ja) * 2010-11-30 2012-06-21 Rohm Co Ltd 光学電子部品、携帯用電子機器、および光学電子部品の製造方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5561526A (en) * 1994-05-26 1996-10-01 Lockheed Missiles & Space Company, Inc. Three-dimensional measurement device and system
US8712504B2 (en) * 2006-09-28 2014-04-29 The Florida International University Board Of Trustees Hand-held optical probe based imaging system with 3D tracking facilities
WO2008126647A1 (ja) * 2007-04-05 2008-10-23 Nikon Corporation 形状測定装置及び形状測定方法
CN101960253B (zh) * 2008-02-26 2013-05-01 株式会社高永科技 三维形状测量装置及测量方法
JP5359930B2 (ja) 2010-02-25 2013-12-04 カシオ計算機株式会社 撮像装置、表示方法、および、プログラム
WO2012005337A1 (ja) * 2010-07-08 2012-01-12 株式会社 イマック 間接照明装置及びそれを用いた物品検査システム
JP2012215394A (ja) 2011-03-31 2012-11-08 Dainippon Screen Mfg Co Ltd 三次元計測装置および三次元計測方法
JP6172495B2 (ja) * 2012-12-28 2017-08-02 株式会社リコー 校正装置、装置、プロジェクタ、3次元スキャナ、校正方法、方法、プログラム、及び記憶媒体
US10412368B2 (en) * 2013-03-15 2019-09-10 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
DE102014101888B4 (de) 2014-02-14 2016-07-28 SmartRay GmbH Verfahren und Vorrichtung zum optischen, berührungslosen Abtasten von Oberflächen
US9612687B2 (en) * 2014-07-01 2017-04-04 Microsoft Technology Licensing, Llc Auto-aligned illumination for interactive sensing in retro-reflective imaging applications
CN104406539B (zh) * 2014-11-21 2017-06-06 浙江工业大学 全天候主动式全景感知装置及3d全景建模方法
US9654748B2 (en) * 2014-12-25 2017-05-16 Panasonic Intellectual Property Management Co., Ltd. Projection device, and projection method
CN205505996U (zh) * 2016-01-15 2016-08-24 中国工程物理研究院激光聚变研究中心 一种基于条纹投影的全景三维形貌测量装置
CN205785107U (zh) * 2016-06-01 2016-12-07 深圳云甲科技有限公司 三维扫描系统
JP6736423B2 (ja) * 2016-08-26 2020-08-05 株式会社キーエンス 三次元測定装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06168319A (ja) * 1992-11-30 1994-06-14 Nec Corp 指紋読取装置
JP2001194232A (ja) * 2000-01-14 2001-07-19 Sony Corp 光センサ装置及び表示装置
JP2004239886A (ja) * 2002-12-11 2004-08-26 Fuji Xerox Co Ltd 三次元画像撮像装置および方法
JP2006058215A (ja) * 2004-08-23 2006-03-02 Fuji Xerox Co Ltd 3次元画像入力装置および方法
JP2006121522A (ja) * 2004-10-22 2006-05-11 Matsushita Electric Works Ltd 映像撮像装置
JP2010256182A (ja) * 2009-04-24 2010-11-11 Panasonic Electric Works Co Ltd 反射型光電センサ
US20120120412A1 (en) * 2010-11-15 2012-05-17 Seikowave, Inc. Structured Light 3-D Measurement Module and System for Illuminating an Area-under-test using a Fixed-pattern Optic
JP2012119448A (ja) * 2010-11-30 2012-06-21 Rohm Co Ltd 光学電子部品、携帯用電子機器、および光学電子部品の製造方法

Also Published As

Publication number Publication date
CN110199175A (zh) 2019-09-03
JP6761488B2 (ja) 2020-09-23
CN110199175B (zh) 2021-03-02
US20190320162A1 (en) 2019-10-17
US10834378B2 (en) 2020-11-10
WO2018143074A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
US10409083B2 (en) Structured light projection and imaging
US9760774B2 (en) Line-of-sight detection apparatus
JP6586239B2 (ja) 撮影装置及び撮影方法
KR20130114100A (ko) 넓은 각도의 fov를 갖는 능동 조명 영상 시스템
JP6302414B2 (ja) 複数の光源を有するモーションセンサ装置
EP3524929B1 (en) Projection system
US20110074738A1 (en) Touch Detection Sensing Apparatus
US20140240228A1 (en) User interface display device
JP2017527812A (ja) 3次元座標の光学測定のための方法および3次元測定デバイスの較正
JP3677444B2 (ja) 三次元形状測定装置
WO2018143074A1 (ja) 3次元情報検出装置
JP2010256296A (ja) 全方位3次元空間認識入力装置
JP2011058858A (ja) 視覚装置
US20230206478A1 (en) Imaging arrangement and corresponding methods and systems for depth map generation
US20100321558A1 (en) Apparatus and method for detecting spatial movement of object
Wang High resolution 2D imaging and 3D scanning with line sensors
JP4260715B2 (ja) 視線測定方法および視線測定装置
WO2005031253A1 (ja) 3次元形状検出装置、撮像装置、及び、3次元形状検出プログラム
JP4365548B2 (ja) 輝点アレイ発生装置及び監視装置
JP6123137B2 (ja) カメラ装置
JP7362670B2 (ja) 撮像装置組立体、3次元形状測定装置及び動き検出装置
JP2013101591A (ja) 3次元形状計測装置
TWI460636B (zh) 光學觸控系統及其定位方法
JP2019205145A (ja) 行動監視装置及び行動監視方法
JP2005128006A (ja) 3次元形状検出装置、撮像装置、及び、3次元形状検出プログラム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20190626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200904

R150 Certificate of patent or registration of utility model

Ref document number: 6761488

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250