JP7598381B2 - ３次元座標と２次元特徴点との関連付け - Google Patents

３次元座標と２次元特徴点との関連付け Download PDF

Info

Publication number
JP7598381B2
JP7598381B2 JP2022539683A JP2022539683A JP7598381B2 JP 7598381 B2 JP7598381 B2 JP 7598381B2 JP 2022539683 A JP2022539683 A JP 2022539683A JP 2022539683 A JP2022539683 A JP 2022539683A JP 7598381 B2 JP7598381 B2 JP 7598381B2
Authority
JP
Japan
Prior art keywords
dimensional
points
light
interpolation
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022539683A
Other languages
English (en)
Other versions
JP2023508501A (ja
Inventor
昭輝 木村
Original Assignee
マジック アイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マジック アイ インコーポレイテッド filed Critical マジック アイ インコーポレイテッド
Publication of JP2023508501A publication Critical patent/JP2023508501A/ja
Application granted granted Critical
Publication of JP7598381B2 publication Critical patent/JP7598381B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/647—Three-dimensional [3D] objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/653—Three-dimensional [3D] objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/471—Contour-based spatial representations, e.g. vector-coding using approximation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Collating Specific Patterns (AREA)
  • Character Discrimination (AREA)

Description

関連出願の相互参照
本出願は、２０１９年１２月２９日に出願された米国仮特許出願第６２／９５４，５３３号の優先権を主張し、その開示全体は参照により本明細書に組み込まれる。
本発明は、一般に距離測定に関連し、特に３次元座標を２次元特徴点に関連付けることに関する。
顔認識は、デバイス及びアプリケーション認証に使用されることが多い。例えば、デバイス又はアプリケーションに対して認証されるように試みているユーザのリアルタイムの顔画像は、１つ以上の保存された正規ユーザの顔画像と比較され得て、認証を試みているユーザの顔画像が保存された顔画像と一致する場合、ユーザは認証され得る。
一部の顔認識技術は、ユーザの顔の２次元画像を取得し、２次元画像から特徴点を抽出し、次に、ユーザ識別を特徴点の位置関係に基づき生成する。特徴点は２次元座標によって表されるため、補正が３次元測定値を使用して実行され得る。例えば、２次元画像においてユーザの顔に対する全体的な距離が既知の場合、ユーザの顔の絶対サイズを決定することが可能であり、これは、特徴点の位置関係を補正するのに役立つ。追加的に、ユーザの顔の傾きは、３次元マップの全体の形状を取得することと、その形状を使用して特徴点を補正することとにより検出することが可能である。
１つの例では、少なくとも１つのプロセッサを含む処理システムによって実行される方法は、距離センサの投光システムに、光の３次元パターンであって集合的にパターンを形成する複数の光点を含む光の３次元パターンを、物体上へ投影させることと、距離センサの受光システムに、物体上に投影された光の３次元パターンの画像を取得させることと、受光システムに物体の２次元画像を取得させることと、物体の２次元画像において特徴点を検出することと、特徴点に対する補間領域を特定することと、特徴点に対する３次元座標を、補間領域内にある複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、を含む。
別の例では、非一時的な機械可読記憶媒体は、少なくとも１つのプロセッサを含む処理システムによって実行可能な命令で符号化される。命令は、実行されると、処理システムに動作を実行させ、この動作は、距離センサの投光システムに、光の３次元パターンであって集合的にパターンを形成する複数の光点を含む光の３次元パターンを、物体上へ投影させることと、距離センサの受光システムに、物体上に投影された光の３次元パターンの画像を取得させることと、受光システムに物体の２次元画像を取得させることと、物体の２次元画像において特徴点を検出することと、特徴点に対する補間領域を特定することと、特徴点に対する３次元座標を、補間領域内にある複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、を含む。
別の例では、装置は、少なくとも１つのプロセッサを含む処理システムと、処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体とを含む。命令は、実行されると、処理システムに動作を実行させ、この動作は、距離センサの投光システムに、光の３次元パターンであって集合的にパターンを形成する複数の光点を含む光の３次元パターンを、物体上へ投影させることと、距離センサの受光システムに、物体上に投影された光の３次元パターンの画像を取得させることと、受光システムに物体の２次元画像を取得させることと、物体の２次元画像において特徴点を検出することと、特徴点に対する補間領域を特定することと、特徴点に対する３次元座標を、補間領域内にある複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、を含む。
図１Ａ及び１Ｂは本開示の例示的な距離センサの異なる構成を示す図である。 本開示の例による、３次元座標を２次元画像の特徴点と関連付けるための例示的な方法を示す流れ図である。 ３次元パターンが投影される顔の前向き画像の例を示す図である。 図３Ａに示される顔の斜めに取り込まれた画像の例を示す図である。 図３Ａに示される顔の横方向に取り込まれた画像の例を示す図である。 例示的な特徴点及び特徴点を取り囲む補間領域を示す図である。 図４Ａの特徴点の３次元座標を計算する代替の方法を示す図である。 スプライン曲線を使用して、３次元パターンの点の補間位置を２次元特徴点と一致させることを示す図である。 ベジェ曲線を使用して、３次元パターンの点の補間位置を２次元特徴点と一致させることを示す図である。 本開示の技術が経路認識に適用され得る通路の第１の部分を示す図である。 図７Ａの通路の第２の部分を示す図である。 センサから物体までの距離を計算するための例示的な電子デバイスの高レベルのブロック図を示す図である。
本開示は、３次元座標を２次元特徴点と関連付けるための装置、方法、及び非一時的なコンピュータ可読媒体を広く説明する。前述のように、一部の顔認識技術では、ユーザの顔の２次元画像を取得し、２次元画像から特徴点を抽出し、その後、ユーザ識別を特徴点の位置関係に基づき生成する。特徴点は２次元座標によって表されるため、補正が３次元測定値を使用して実行され得る。
追加的に、スプライン計算などの技術を使用して、２次元画像から３次元表面を再構築し得る。しかし、この方法で３次元表面全体を再構築することは、時間がかかり、計算に負荷がかかるプロセスになる場合があり、したがって、この技術は、計算リソースが限られている場合、及び／又は結果が直ぐに必要な場合には理想的ではない。
本開示の例は、３次元距離検出パターンを２次元画像に一致させるために必要な計算量及び時間を、２次元画像の特定の点で補間計算を実行することにより大幅に削減する。特に、２次元画像において特徴点が検出され得て、特徴点の補間領域内にある３次元パターンの２つ以上の点を使用して、特徴点の３次元座標を、２つ以上の点の３次元位置の間を補間することによって推定し得る。様々な要因、例えば特徴点の種類、環境／周囲条件、及び３次元パターンの点の配置に応じて、面内処理、スプライン処理、ベジェ曲線処理などの技術を用いて補間を実行し得る。
本開示の例は、顔認識の文脈内で説明されるが、開示された例は、顔以外の物体の距離及び特徴の計算を改善するためにも使用され得ることが理解されよう。例えば、本開示の例はまた、コンピューティングシステム又はデバイスによって行われる所定の動作に関連付けられ得る、ハンドジェスチャを検出するのに有用であり得る。
本開示の文脈内で、「２次元画像」は、人間の目に見えるスペクトルの光を使用して取得された画像を指すと理解される（例えば、従来の赤、緑、青（ＲＧＢ）画像センサによる）。対照的に、３次元パターンの画像は、人間の目には見えないスペクトルの光を使用して取得される（例えば、赤外線画像化センサによる）。
図１Ａ～図１Ｂは、本開示の例示的な距離センサ１００の異なる構成を示す。同じ構成要素が図１Ａ及び図１Ｂに存在する場合、同じ参照番号が使用される。距離センサ１００は、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載される距離センサと同様の方法で構成され得る。
図１Ａは、例えば、距離センサ１００を示し、投光システム１０２、受光システム１０４、及びプロセッサ１２６を含む。投光システム１０４は、パターン１０６を表面又は物体１０８に投影するように構成され、パターン１０６は複数の光点を含む。光点は、図１Ａに示すように、グリッドに配置され得る（例えば、複数の行及び複数の列に配置される）。グリッドの行と列は、同一直線上に配置されてもよく、互い違いに配置されてもよい。光点は、人間の目には見えない場合もあるが、距離センサ１００の画像化センサには可視であり得る（以下で更に詳細に論じる）。
したがって、３次元パターン１０６の点は、第１の軸１１２及び第１の軸１１２に垂直である第２の軸１１４によって規定される座標系に配置され得る。基準点１１０は、第１の軸１１２と第２の軸１１４が交差する場所に規定され得る。
そのために、投光システム１０２は、１つ以上のレーザ光源を含み得て、それは人間の目に実質的に見えない波長（例えば、赤外線波長）で光のビームを投影することができる。投光システム１０２はまた、１つ以上の回折光学素子を含み、光のビームを追加の光のビームに分割し得る。各光のビームが表面又は物体１０８に入射すると、パターン１０６の点が表面又は物体１０８上に作成される。
受光システム１０４は、画像を取り込むための画像化センサを含み得る。画像化センサは、相補型金属酸化物半導体（ＣＭＯＳ）センサであってもよい。画像は、表面又は物体１０８の２次元画像、及び表面又は物体１０８上の３次元パターン１０６の画像を含み得る。したがって、１つの例では、受光システム１０４が単一画像化センサ（例えば、カメラ）を含んで、２次元画像及び３次元パターン１０６の画像の両方を取り込む場合、受光システム１０４はまた、バンドパスフィルタを含んでもよい。バンドパスフィルタは、この場合、２次元画像（同じ光源、例えば、パターン１０６を生成するために使用される赤外線光源による照明を使用して取得される）を取り込むときに周囲光を除去するために必要とされる場合がある。しかし、２次元画像が暗い環境で取得される別の例では、バンドパスフィルタは周囲光を除去するために必要とされなくてもよい。
表面又は物体１０８の２次元画像及び３次元パターン１０６の画像が同じ画像化センサによって取得される例では、画像における位置の間の自動対応は、以下で更に詳細に説明するように、第１の軸１１２、第２の軸１１４、及び基準点１１０に関連付けられた座標系を使用して取得され得る。
プロセッサ１２６は、投光システム１０６を制御して、３次元パターン１０６を投影し、画像取り込みのために表面又は物体１０８を照明するように構成され得る。プロセッサ１２６はまた、受光システム１０４を制御して、表面又は物体１０８の２次元画像及び３次元パターン１０６の画像を取り込み得る。プロセッサ１２６はまた、以下で更に詳細に論じられるように、表面又は物体１０８の２次元画像を３次元パターン１０６の画像と整列させるための動作を実行し得る。
図１Ｂの距離センサ１００は、図１Ａに示される距離センサに類似するが、図１Ｂでは受光システム１０４は、２次元画像及び３次元パターン１０６の画像を取得するための別個の画像化センサを含むことが異なる。特に、図１Ｂの受光システム１０４は、３次元パターン１０６の画像を取り込むための第１の画像化センサ１２４と、表面又は物体１０８の２次元画像を取り込むための第２の画像化センサ１１６を含む。この場合、第１の画像化センサ１２４も第２の画像化センサ１１６も、バンドパスフィルタを含まなくてもよい。第１の画像化センサ１２４及び第２の画像化センサ１１６の両方は、ＣＭＯＳ画像化センサを含み得て、そして互いに対して固定された位置を有し得る。
しかし、２次元画像及び３次元パターン１０６の画像は、異なる画像化センサ及び異なる光システムによって取り込まれるため、２次元画像と３次元パターン１０６の画像との間の視差を補正することが必要になる。特に、表面又は物体１０８の特徴点は、第２の画像化センサ１１６によって取り込まれた２次元画像から得られる。しかし、２次元画像及び３次元パターン１０６の画像の位置は、３次元座標を特徴点と正しく関連付けることができるようにするために整列させる必要がある。
１つの例では、視差補正は、較正プロセスを通じて計算され得る。例えば、第２の画像化センサ１１６は、カメラの基準位置（例えば、チェッカボード）に対して既知のサイズを有する較正物体の２次元画像を取り込み得て、一方、第１の画像化センサ１２４は、同時に３次元パターン１０６の画像を取り込む。較正物体の２次元画像と３次元パターン１０６の画像との間の関係は、観察して保存されてもよい。
別の例では、米国特許出願第１６／８６９，３５８号に記載された方法を使用して、第１の画像化センサ１２４と第２の画像化センサ１１６との間の関係を、赤外線照明及び／又は較正物体を必要とせずに決定し得る。
１つの例では、視差補正は、第２の画像化センサ１１６の前結節点への３次元パターン１０６の距離測定座標軸の調整をもたらす。示されるように、その結果、第１の軸１１２は補正された第１の軸１２０の位置に移動され、第２の軸１１４は補正された第２の軸１２２の位置に移動され、基準点１１０は補正された基準点１１８の位置に移動される。
図２は、本開示の例による、３次元座標を２次元画像の特徴点と関連付けるための例示的な方法２００を示す流れ図である。方法２００は、例えば、少なくとも１つのプロセッサを含んだ処理システム、例えば距離センサの処理システム（図１Ａ及び図１Ｂのプロセッサ１２６）によって実行され得る。例として、方法２００は、処理システムによって実行されるものとして説明される。
方法２００は、ステップ２０２から開始し得る。ステップ２０４において、処理システムは、距離センサの投光システムに、光の３次元パターンを物体に投影させ得て、ここで光のパターンは、集合的にパターンを形成する複数の光点を含む。例えば、処理システムは、電子信号を投光システムに送信し得て、そこで電子信号は命令を符号化する。上述したように、光は、人間の目には実質的に見えないが、距離センサの画像化センサによって検出可能である波長のもの（例えば、赤外光）であり得る。
光のパターンは、距離センサの投光システムによって投影される複数のビームによって作成され得る。複数のビームは、複数の光点を物体上に投影し得て、複数の光点は集合的に光のパターン、又は「投影パターン」を形成する。１つの例では、複数の光点は、複数の行と複数の列を含むグリッドパターンに配置され得る。例えば、米国特許出願第１６／１５０，９１８号は、参照によりその全体が本明細書に組み込まれており、多点投影によって３次元ドットマップを取得するための方法を記載する。
ステップ２０６において、処理システムは、距離センサの受光システムに、物体上の３次元投影パターンの画像を取得させ得る。３次元投影パターンの画像は、「ドットマップ」と呼ばれる場合もある（しかし、光点はドット以外の形状となり得る）。例えば、処理システムは、電子信号を受光システムに送信し得て、そこで電子信号は命令を符号化する。上記のように、投影パターン（例えば、投影パターンを形成する光）は、人間の目には見えない場合があるが、それは、受光システムの画像センサには可視であり得る。
ステップ２０８において、処理システムは、距離センサの受光システムに、物体の２次元画像を取得させ得る（例えば、投影パターンなしで）。１つの例では、受光システムは、２次元画像を取得するために物体を照明し得る。１つの例では、物体の３次元投影パターンの画像と２次元画像の両方が同じ画像化センサによって取り込まれる場合、受光システムは、投影パターンを生成するために使用されるのと同じ光源（例えば、赤外線光源）を使用して物体を照明し得る。
ステップ２１０において、処理システムは、物体の２次元画像において特徴点を検出し得る。１つの例では、検出される特徴点の種類は、物体の種類に基づいて変化し得て、特徴点の３次元特性は、特徴点の種類に応じて変化する。後続の処理技術は、特徴点の種類によって変更されてもよい。
例えば、物体が顔である場合（例えば、顔認証システムの場合のように）、２次元特徴点は、口、鼻、及び目などの上の点を含むことができる。しかし、物体が手である場合（例えば、ジェスチャ認識システムの場合のように）、２次元特徴点は、指先、指の付け根、掌などの上の点を含むことができる。
例えば、図３Ａは、３次元パターン（図３Ａでは黒い点として表される）が投影される顔の例示的な前向き画像３００を示す。画像３００は、複数の特徴点３０２１～３０２ｎ（以後、個別に「特徴点３０２」と呼ばれるか、又は集合的に「特徴点３０２」と呼ばれる）を含み、これらは、図３Ａでは白い点として示される。図３Ａでは、３次元パターンの各点は、距離情報を含み、それは３次元パターンの基準点（例えば、図１Ａ～１Ｂに示されるように）を参照として使用して計算され得る。
図３Ｂは、図３Ａに示される顔の斜めに取り込まれた画像３０６の例を示し、図３Ｃは、図３Ａに示される顔の横方向に取り込まれた画像３０８の例を示す。図３Ａ～図３Ｃを合わせることで分かるように、各特徴点３０２は、顔の画像が取り込まれる方向に関して異なる特性を有する。例えば、鼻の先端の特徴点３０２ｎは、前向き画像３００では特徴を明確に示さないが、横方向に取り込まれた（輪郭）画像３０８では特徴のより明確な表示を提供する。しかし、特徴点３０２ｎはまた、顔の輪郭又はアウトラインの端部の近くに配置され、顔に入射する３次元パターンの点の周囲が少なくなる。その一方で、目の外側の角部にある特徴点３０２１は、画像３００、３０６、及び３０８のいずれにおいても、顔の輪郭又はアウトラインの端部の近くに配置されない。各特徴点３０２と顔の部分（例えば、鼻の先端、目の外側の角部など）との間の対応は、事前に仮定され得て、以下でより詳細に説明するように、特定の補間技術の選択を動機付け得る。
図２に戻って参照すると、ステップ２１２において、処理システムは、特徴点の補間領域を識別し得る。補間領域は、特徴点を取り囲む所定の半径を含み得る（例えば、特徴点の近傍又は直ぐ隣接する３次元パターンのすべての点、特徴点からｘセンチメートル以内の３次元パターンのすべての点などに限定される）。例えば、再び図３Ａ～図３Ｃを参照すると、特徴点３０２１は、補間領域３０４１に関連付けられ、一方、特徴点３０２ｎは、補間領域３０４ｎに関連付けられる。
ステップ２１４において、処理システムは、特徴点の３次元座標を、特徴点の補間領域内にある３次元パターンのうちの２つ（又はそれ以上）の点の３次元座標を使用して補間することによって、計算し得る。三次元座標の計算は、複数の候補補間技術の中から補間技術を選択することを含み得る。例えば、１つの例では、補間は面内処理技術を使用して実行され得る。別の例では、スプライン曲線を使用して、３次元座標を特徴点に一致させ得る。別の例では、ベジェ曲線を使用して、３次元座標を特徴点に一致させ得る。
面内処理の場合、３次元パターンの各メッシュ領域（例えば、近傍する点によって境界が定められた領域）が平面を含むと仮定され得る。例えば、図４Ａは、例示的な特徴点４００及び特徴点４００を取り囲む補間領域を示す。特に、３次元パターンの点Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、及びＰ６は、特徴点４００に隣接し、一方、３次元パターンの追加の点は、点Ｐ１～Ｐ６に隣接し得る。各点Ｐ１～Ｐ６は、３次元座標のセット（例えば、ｘｉ、ｙｉ、ｚｉ、ｓｉ、ここでＩ＝｛１，…，６｝）に関連付けられる。
図４の例では、視差がないと仮定される（例えば、２次元画像と３次元パターンの画像の座標系は、２次元画像と３次元パターンの画像を取り込む同じ画像化センサに基づいて一致する）。したがって、この場合、特徴点４００の３次元座標（ｘ０、ｙ０、ｚ０、ｓ０）は、既知の補間方法を使用して点Ｐ１、Ｐ２、及びＰ３の３次元座標間を補間することによって容易に計算され得る。
図４Ｂは、図４Ａの特徴点４００の３次元座標を計算する代替の方法を示す。図４Ｂの場合では、特徴点４００と隣接する表面である平面２－３－４（３次元パターンの点Ｐ２、Ｐ３、及びＰ４との間に画定される）との関係もまた、既知の補間方法を使用する計算において考慮される。したがって、平面１－２－３と２－３－４との間の中間の３次元座標位置は、特徴点４００の３次元座標位置をもたらす可能性がある。
特に、特徴点４００を取り囲む辺は、（１－２）、（２－３）、及び（３－１）である（ここで、「辺」は、３次元パターンの２つの点を接続する線として定義され、例えば、辺１－２は点Ｐ１とＰ２を接続する）。特徴点４００の３次元座標を取得する１つの方法は、特徴点を取り囲む辺のうちの最も近接する辺と、最も近接する辺に隣接する表面との間を補間することである。１つの例では、補間は、その座標が補間計算で使用される３次元パターン内の点の数を最小化する。その座標が利用される点は、特徴点に最も近接するｎ個の点であり得る。例えば、図４Ｂに示される例は、６点（すなわち、Ｐ１～Ｐ６）の座標を利用するが、図４Ａに示される例は、１２点（すなわち、Ｐ１～Ｐ１２）の座標を利用する。これにより、補間計算の演算量が低減する。
図４Ｂでは、同じ計算は、平面１－２－６（点Ｐ１、Ｐ２、及びＰ６の間で画定される）と１－３－５（点Ｐ１、Ｐ３、及びＰ５の間で画定される）を使用して実行され得る。１つの例では、特徴点４００の最も正確な３次元座標は、特徴点４００に寄与する表面又は平面を特徴点の種類（例えば、平滑面の終点、中心部分）に応じて選択することによって計算され得る。
別の例では、面内処理の代わりに、スプライン処理及び／又はベジェ曲線処理が利用され得る。スプライン処理及びベジェ曲線処理は、平面内の点を滑らかに接続するための技術である。例えば、スプライン曲線を使用して、並べて配置された複数の平面上の３次元ドットアレイを接続し得る。特徴点の位置を含む第１の平面（２次元座標（ｘ、ｙ）を有する）が、スプライン曲線（例えば、スプライン曲線の第１のセット）を含む平面に実質的に直交すると仮定し、第１の平面と第１のスプライン曲線のそれぞれの交点が、第２のスプライン曲線と接続されてもよい。第２のスプライン曲線上の特徴点の位置は、特徴点の３次元座標（例えば、（ｘ、ｙ、ｚ））を表し得る。このアプローチでは、３次元パターンの点が、ランダムに分散されるのではなく、実質的に直線の規則的な線（例えば、行又は列）で配置されると仮定する。
図５は、スプライン曲線を使用して、３次元パターンの点の補間位置を２次元特徴点５００と一致させることを示す。上記に示し、説明したように、３次元パターンの点は、実質的に線形に配置されてもよい。図示の例では、複数のスプライン曲線５０２１～５０２ｋ（以後、個別に「スプライン曲線５０２」と呼ばれるか、又は集合的に「スプライン曲線５０２」と呼ばれる）は、第１のスプライン５０６の複数の平面５０４１～５０４ｋ（以後、個別に「平面５０４」と呼ばれるか、又は集合的に「平面５０４」と呼ばれる）に配置された点から得られる。更に、平面５０８は、特徴点５００を通過し、複数の平面５０４に対して実質的に垂直に配置される。平面５０８とスプライン曲線との各交点を接続して、最終的なスプライン曲線を得る。特徴点５００の３次元座標（ｘｓ、ｙｓ、ｚｓ）は、特徴点５００の２次元座標（ｘｐ、ｙｐ）及びスプライン曲線から得られてもよい。更に、特徴点５００の方向５１０（ベクトル、曲率などの表面特徴を示す）は、最終的なスプライン曲線及び複数のスプライン曲線５０２から得ることができる。
ベジェ曲線は、特徴点を取り囲む３次元パターンの点によって形成される第１の平面と、第１の平面に近接する第２の平面とから得ることができる。次に、特徴点の３次元座標はベジェ曲線から取得され得る。２次元特徴点を含むベジェ曲線は、特徴点を含む三角形の領域に隣接する表面の傾斜、及び隣接する境界線の位置を使用することによって描かれてもよい。
図６は、ベジェ曲線を使用して、３次元パターンの点の補間位置を２次元特徴点６００と一致させることを示す。この場合、特徴点６００の３次元座標は、２次元特徴点６００を含む平面に隣接する平面６０２と２次元特徴点６００を通過する任意の垂直面６０４が交差する線によって得られるベジェ曲線６０８によって指定され得る。
補間が、面内処理技術、スプライン処理、又はベジェ曲線処理を使用して計算されるかどうかにかかわらず、特徴点の近くの３次元パターンの少数の点の間（及び特徴点の３次元位置に対してのみ）で補間することで十分である。これにより、前述のように、補間計算の演算量が低減される。追加的に、スプライン処理又はベジェ曲線処理を使用する場合、表面又は物体の曲線が同時に計算され得るため、特徴点を含む表面又は物体が配置される方向を計算するのは比較的簡単である。
１つの例では、特徴点の３次元座標を計算するために使用される技術は、選択された技術の精度に影響を与える可能性のある１つ以上の要因、例えば、特徴点の種類（３次元座標を計算する前に処理システムによって決定される場合がある）、環境条件などの考慮に基づき選択され得る。
方法２００は、ステップ２１６で終了し得る。
方法２００の精度、特に２次元画像の特徴点に関連付けられた３次元座標の精度は、表面又は物体までの距離、較正の仕様、及び使用される補間技術などの要因により変化し得る。しかし、表面又は物体の距離と較正の仕様は、事前に（つまり、方法２００を実行する前に）決定され得る要因であり、したがって、計算された３次元座標の推定信頼度は、３次元座標に関連付けて出力され得る。
３次元座標の要求される、又は所望される精度は、用途及び特徴点の種類に応じて変更し得る。例えば、顔認証の場合、必要とされる精度は、特徴点が目、口、鼻、又は別の顔の特徴上の点のいずれであるかによって異なる場合がある。
１つの例では、３次元パターンの点が欠落している場合（例えば、３次元パターンの画像で認識されない場合）、又は異常な座標値（例えば、点の既知の間隔と矛盾する値）が３次元パターンの点の中に検出される場合、次に、点の３次元座標を検出するために使用される技術が修正され得る。例えば、３次元パターンの点の３次元座標は、継続的に（例えば、２次元画像の取り込みの前後を含む）検出され得る。次に、点の３次元座標は経時的に比較され、特異検出において異常性又は異例を検出し得る。このアプローチは、点の位置が不安定な事例（例えば、不安定な照明条件、及び表面又は物体の材料に関する事例など）を補正する場合にも役立ち得て、ここで表面又は物体は異なる露光条件を必要とする異なる反射特性（例えば、黒と白）を有する材料を含んでいる。
明示的に指定されていないが、上記の方法２００の一部のブロック、機能、又は動作は、特定の用途のために保存すること、表示すること、及び／又は出力することを含み得ることに留意すべきである。言い換えると、方法２００で議論された任意のデータ、レコード、フィールド、及び／又は中間結果は、特定の用途に応じて、保存され、表示され、及び／又は別のデバイスに出力され得る。更に、図２のブロック、機能、又は動作は、判定動作を列挙し、又は決定を含むものであり、判定動作の両方の分岐が実行されることを意味するものではない。言い換えると、判定動作の分岐のうちの１つは、判定動作の結果によっては実行されない場合がある。
本開示の例は、顔認証の文脈内で論じられるが、本明細書に開示される技術は、３次元座標を２次元特徴点と関連付けることが有用であり得る別の用途に適用できることが理解されるであろう。例えば、本開示の例は、経路認識、ジェスチャ認識、及び別の用途にも適用され得る。
例えば、図７Ａ～図７Ｂは、本開示の技術が経路認識に適用され得る通路の例示的な画像を示す。特に、図７Ａは、本開示の技術が経路認識に適用され得る通路の第１の部分を示し、図７Ｂは、図７Ａの通路の第２の部分を示す。特に、既知のマーキング７００１～７００ｍ（以後、個別に「マーキング７００」と呼ばれるか、集合的に「マーキング７００」と呼ばれる）は、通路の要所に取り付けられ得る。通路の３次元認識は、マーキング７００を特徴点として使用することにより容易にされ得る。１つの例では、マーキング７００は、異なる形状又はパターンを有して、通路内の異なる種類の要所（例えば、平面、角部、縁部、底面など）を示し得る。例えば、マーキング７００１は、壁の平面部分を示すように成形され得て、マーキング７００２は、壁の縁部分を示すように成形され得て、マーキング７００３は、壁の底面を示すように成形され得て、マーキング７００ｍは、壁の角部を示すように成形され得る。異なる種類の特徴に固有である特殊なマーキングの使用は、３次元座標の計算の効率を向上し得る。
経路検出の文脈内で、本開示の例を使用して、障害物の位置を、例えば、無人車両（例えば、自動車、ドローンなど）によって検出し得る。既知の表面上のマーキング７００を使用して、特徴点に対して計算される３次元座標の信頼性を高め、障害物との衝突を回避する車両の能力を向上させ得る。
図１Ｂに戻って参照すると、本開示の例は、ハンドジェスチャ認識にも使用され得て、これは、特定のハンドジェスチャがコンピューティングシステム又はデバイスの特定の動作にマッピングされ得るアプリケーションにおいて有用であり得る（例えば、手を振ると画像が取り込まれ、親指を立てるとアプリケーションが起動される、など）。手（物体１０８）の２次元画像上の特徴点１３０１～１３０ｋ（以後、個別に「特徴点１３０」と呼ばれるか、又は集合的に「特徴点１３０」と呼ばれる）は、３次元センサ（例えば、第１の画像化センサ１２４）の座標系で表される必要があり得る。逆に、３次元センサの座標系の任意の点は、２次元のカメラ座標（例えば、ピクセルｘ、ｙ座標）に置き換えられてもよい。２次元から３次元への変換、又はその逆の変換は、座標系間の相互の位置関係が既知である場合に可能である。
３次元座標系を動かすプロセスは、数学的な計算によってのみ実行され得るため、比較的容易である。したがって、３次元画像化センサの座標系の位置を２次元画像化センサの座標系に対して取得するプロセスは、機械的基準点に対する３次元画像化センサの座標系の位置を決定することによって開始され得る（これは、３次元センサの較正プロセス中に既に行われている場合がある）。３次元センサと２次元センサの機械的位置決めは、固定されてもよい。機械的基準（例えば、中心軸のずれ、画像の回転、画像の歪みなど）点に対する２次元センサの座標の位置（光学的位置）は、測定されて、補正され得る。
３次元センサの座標軸が２次元カメラの光軸と合致する場合、３次元センサの座標系の点（ｘ＝０、ｙ＝０、ｚ）は、２次元画像の中心に留まり得る。更に、３次元センサの座標系の基準点を２次元カメラの入射点（すなわち、捕捉レンズの前結節点）に配置することにより、３次元センサの座標系は、２次元画像の座標位置と常に合致し得る。
図８は、センサから物体までの距離を計算するための例示的な電子デバイス８００の高レベルのブロック図を示す。このように、電子デバイス８００は、距離センサなど、電子デバイス又はシステムのプロセッサとして実装され得る（例えば、図１Ａ～図１Ｂのプロセッサ１２６）。
図８に示すように、電子デバイス８００は、ハードウェアプロセッサ要素８０２、例えば、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、又はマルチコアプロセッサと、メモリ８０４、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又は読み取り専用メモリ（ＲＯＭ）と、３次元座標を２次元特徴点と関連付けるためのジュール８０５と、様々な入力／出力デバイス８０６、例えば、限定するものではないがテープドライブ、フロッピドライブ、ハードディスクドライブ、又はコンパクトディスクドライブを含む記憶装置、受信機、送信機、ディスプレイ、出力ポート、入力ポート、及びユーザ入力デバイス、例えばキーボード、キーパッド、マウス、マイクロホン、カメラ、レーザ光源、ＬＥＤ光源などと、を含む。
１つのプロセッサ要素が示されるが、電子デバイス８００は、複数のプロセッサ要素を使用し得ることに留意されたい。更に、１つの電子デバイス８００がこの図には示されているが、上述の方法（複数可）が、特定の例示的な例について分散又は並列方法で実装される場合、つまり、上記の方法（複数可）のブロック又はすべての方法（複数可）が、複数又は並列の電子デバイスにわたって実装される場合、この図の電子デバイス８００は、それらの複数の電子デバイスの各々を表すことを意図する。
本開示は、機械可読命令によって、及び／又は機械可読命令とハードウェアの組み合わせで、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むプログラマブルロジックアレイ（ＰＬＡ）、又はハードウェアデバイス上に配備されるステートマシンを使用して実装され得て、汎用コンピュータ又は任意の他のハードウェアの等価物、例えば上述の方法（複数可）に関係するコンピュータ可読命令を使用して、上記で開示した方法（複数可）のブロック、機能、及び／又は動作を実行するようにハードウェアプロセッサを構成し得ることに留意されたい。
１つの例では、３次元座標を２次元特徴点に関連付けるための本モジュール又はプロセス８０５用の命令及びデータ、例えば、機械可読命令は、メモリ８０４内にロードされ、ハードウェアプロセッサ要素８０２によって実行されて、方法２００に関連して上述したブロック、機能、又は動作を実装し得る。更に、ハードウェアプロセッサが命令を実行して「動作」を行う場合、これは、ハードウェアプロセッサがその動作を直接的に行うこと、及び／又はその動作を行うように、別のハードウェアデバイス又は構成要素、例えばコプロセッサなどに促すこと、指示すること、又は共働することを含み得る。
上記の方法（複数可）に関する機械可読命令を実行するプロセッサは、プログラムされたプロセッサ又は専用プロセッサとして認識され得る。このように、本開示の３次元座標を２次元特徴点に関連付ける本モジュール８０５は、実体的な又は物理的な（概して非一時的な）コンピュータ可読記憶装置又は媒体、例えば、揮発性メモリ、非揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気若しくは光学ドライブ、デバイス、又はディスケットなどに保存され得る。特に、コンピュータ可読記憶装置は、任意の物理的デバイスを含んでもよく、それはプロセッサ又は電子デバイス、例えばコンピュータ又は安全センサシステムのコントローラによってアクセスされるデータ及び／又は命令などの情報を保存する能力を提供する。
上記開示の変形例と、他の特徴及び機能、又はそれらの代替物は、他の多くの異なるシステム又はアプリケーションに組み合わせ得ることを理解されたい。現在予期されない、又は予想されない様々な代替、変更、又は変形が今後行われ得るが、それらもまた、以下の特許請求の範囲に包含されることが意図される。

Claims (20)

  1. 距離センサの処理システムによって、前記距離センサの投光システムに、光の３次元パターンであって集合的に前記パターンを形成する複数の光点を含む前記光の３次元パターンを、物体上へ投影させることと、
    前記処理システムによって、前記距離センサの受光システムに、前記物体上に投影された前記光の３次元パターンの画像を取得させることと、
    前記処理システムによって、前記受光システムに前記物体の２次元画像を取得させることと、
    前記処理システムによって、特徴点を前記物体の前記２次元画像において検出することと、
    前記処理システムによって、前記特徴点に対する補間領域を特定することと、
    前記処理システムによって、前記特徴点に対する３次元座標を、前記補間領域内にある前記複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、
    を含むことを特徴とする方法。
  2. 前記検出することは、前記処理システムによって、前記特徴点の種類を検出することを更に含む、
    ことを特徴とする請求項１に記載の方法。
  3. 前記計算することは、前記処理システムによって、複数の候補補間技術の中から前記計算することのための補間技術を選択することを更に含む、
    ことを特徴とする請求項２に記載の方法。
  4. 前記補間技術は、面内補間技術である、
    ことを特徴とする請求項３に記載の方法。
  5. 前記補間技術は、スプライン処理技術である、
    ことを特徴とする請求項３に記載の方法。
  6. 前記補間技術は、ベジェ曲線処理技術である、
    ことを特徴とする請求項３に記載の方法。
  7. 前記補間領域は、前記特徴点の所定の半径に配置される前記３次元パターンの前記複数の点のサブセットに限定される、
    ことを特徴とする請求項１に記載の方法。
  8. 前記所定の半径は、前記補間領域を、前記特徴点の近傍である前記複数の点のうちの点（複数可）に限定する、
    ことを特徴とする請求項７に記載の方法。
  9. 前記計算することは、
    前記処理システムによって、前記特徴点の方向を前記補間することから得ることを更に含む、
    ことを特徴とする請求項１に記載の方法。
  10. 前記２つの点の前記３次元座標は、前記処理システムによって継続的に取得される、
    ことを特徴とする請求項１に記載の方法。
  11. 前記距離センサは、顔認証システムの一部である、
    ことを特徴とする請求項１に記載の方法。
  12. 前記距離センサは、ジェスチャ認識システムの一部である、
    ことを特徴とする請求項１に記載の方法。
  13. 前記距離センサは、経路認識システムの一部である、
    ことを特徴とする請求項１に記載の方法。
  14. 少なくとも１つのプロセッサを含む処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、前記処理システムによって実行されると、前記命令は前記処理システムに動作を実行させ、前記動作は、
    距離センサの投光システムに、光の３次元パターンであって集合的に前記パターンを形成する複数の光点を含む前記光の３次元パターンを、物体上へ投影させることと、
    前記距離センサの受光システムに、前記物体上に投影された前記光の３次元パターンの画像を取得させることと、
    前記受光システムに前記物体の２次元画像を取得させることと、
    特徴点を前記物体の前記２次元画像において検出することと、
    前記特徴点に対する補間領域を特定することと、
    前記特徴点に対する３次元座標を、前記補間領域内にある前記複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、
    を含むことを特徴とする非一時的な機械可読記憶媒体。
  15. 前記検出することは、前記特徴点の種類を検出することを更に含む、
    ことを特徴とする請求項１４に記載の非一時的な機械可読記憶媒体。
  16. 前記計算することは、複数の候補補間技術の中から前記計算することのための補間技術を選択することを更に含む、
    ことを特徴とする請求項１５に記載の非一時的な機械可読記憶媒体。
  17. 前記補間技術は、面内補間技術である、
    ことを特徴とする請求項１６に記載の非一時的な機械可読記憶媒体。
  18. 前記補間技術は、スプライン処理技術である、
    ことを特徴とする請求項１６に記載の非一時的な機械可読記憶媒体。
  19. 前記補間技術は、ベジェ曲線処理技術である、
    ことを特徴とする請求項１６に記載の非一時的な機械可読記憶媒体。
  20. 処理システムと、
    前記処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、実行されると、前記命令は前記処理システムに動作を実行させる非一時的な機械可読記憶媒体と、
    を備え、
    前記動作は、
    距離センサの投光システムに、光の３次元パターンであって集合的に前記パターンを形成する複数の光点を含む前記光の３次元パターンを、物体上へ投影させることと、
    前記距離センサの受光システムに、前記物体上に投影された前記光の３次元パターンの画像を取得させることと、
    前記受光システムに前記物体の２次元画像を取得させることと、
    特徴点を前記物体の前記２次元画像において検出することと、
    前記特徴点に対する補間領域を特定することと、
    前記特徴点に対する３次元座標を、前記補間領域内にある前記複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、
    を含む、
    ことを特徴とする装置。
JP2022539683A 2019-12-29 2020-12-22 ３次元座標と２次元特徴点との関連付け Active JP7598381B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962954533P 2019-12-29 2019-12-29
US62/954,533 2019-12-29
PCT/US2020/066554 WO2021138139A1 (en) 2019-12-29 2020-12-22 Associating three-dimensional coordinates with two-dimensional feature points

Publications (2)

Publication Number Publication Date
JP2023508501A JP2023508501A (ja) 2023-03-02
JP7598381B2 true JP7598381B2 (ja) 2024-12-11

Family

ID=76546476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539683A Active JP7598381B2 (ja) 2019-12-29 2020-12-22 ３次元座標と２次元特徴点との関連付け

Country Status (6)

Country Link
US (1) US11580662B2 (ja)
EP (1) EP4094181A4 (ja)
JP (1) JP7598381B2 (ja)
KR (1) KR102938692B1 (ja)
CN (1) CN114830190A (ja)
WO (1) WO2021138139A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3195228A1 (en) 2020-09-18 2022-03-24 Nubis Communications Inc. Data processing systems including optical communication modules
TW202232157A (zh) 2020-10-07 2022-08-16 美商紐比斯通訊股份有限公司 資料處理系統、資料處理裝置及使用光通訊模組的系統、裝置及方法
TW202238198A (zh) 2020-11-20 2022-10-01 美商紐比斯通訊股份有限公司 用於具有光通訊模組之機架安裝系統的熱設計
US12066653B2 (en) 2021-04-22 2024-08-20 Nubis Communications, Inc. Communication systems having optical power supplies
US12461322B2 (en) 2021-06-17 2025-11-04 Nubis Communications, Inc. Communication systems having pluggable modules
US12405433B2 (en) 2021-06-17 2025-09-02 Nubis Communications, Inc. Communication systems having pluggable modules
US12250024B2 (en) 2021-09-16 2025-03-11 Nubis Communications, Inc. Data processing systems including optical communication modules
EP4152065A1 (en) 2021-09-16 2023-03-22 Nubis Communications, Inc. Communication systems having co-packaged optical modules
CN114255337A (zh) * 2021-11-03 2022-03-29 北京百度网讯科技有限公司 文档图像的矫正方法、装置、电子设备及存储介质
WO2023190056A1 (ja) * 2022-03-30 2023-10-05 パナソニックＩｐマネジメント株式会社 視差情報生成装置及び視差情報生成方法
US12101904B2 (en) 2022-05-02 2024-09-24 Nubis Communications, Inc. Communication systems having pluggable optical modules
CN118625855B (zh) * 2024-08-13 2024-11-15 四川大学 一种基于vicsek模型具有目标导向的无人机集群避障方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2913021B2 (ja) 1996-09-24 1999-06-28 和歌山大学長 形状計測方法及び装置
JP2000076452A (ja) 1998-08-28 2000-03-14 Minolta Co Ltd ３次元形状データ処理装置及び立体模型作成装置
JP2006244387A (ja) 2005-03-07 2006-09-14 Toshiba Corp ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム
JP2015158762A (ja) 2014-02-24 2015-09-03 株式会社リコー 画像処理システム、プログラム及び投影装置
US20160086318A1 (en) 2013-04-29 2016-03-24 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
US20170094254A1 (en) 2014-05-20 2017-03-30 Medit Corp. Method and apparatus for acquiring three-dimensional image, and computer readable recording medium

Family Cites Families (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH0451112A (ja) 1990-06-19 1992-02-19 Fujitsu Ltd マルチスリット投光器
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3328111B2 (ja) 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US6038415A (en) 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
DE69823116D1 (de) 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
JP3705923B2 (ja) * 1998-04-09 2005-10-12 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法、プログラム提供媒体、並びにデータ提供媒体
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
US7831088B2 (en) 2003-06-13 2010-11-09 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
WO2005076198A1 (en) 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
US8471892B2 (en) 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
WO2009124601A1 (en) 2008-04-11 2009-10-15 Ecole Polytechnique Federale De Lausanne Epfl Time-of-flight based imaging system using a display as illumination source
US8187097B1 (en) 2008-06-04 2012-05-29 Zhang Evan Y W Measurement and segment of participant's motion in game play
DE102008031942A1 (de) 2008-07-07 2010-01-14 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
WO2010006081A1 (en) 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示系统
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP5612916B2 (ja) 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US8964189B2 (en) 2010-08-19 2015-02-24 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US8830637B2 (en) 2010-08-31 2014-09-09 Texas Instruments Incorporated Methods and apparatus to clamp overvoltages for alternating current systems
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
TWI428558B (zh) 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
EP2671383B1 (en) 2011-02-04 2017-03-15 Koninklijke Philips N.V. Method of recording an image and obtaining 3d information from the image, camera system
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
WO2012123948A1 (en) 2011-03-17 2012-09-20 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
EP2718668B1 (en) 2011-06-07 2023-07-26 Creaform Inc. Sensor positioning for 3d scanning
KR101974651B1 (ko) 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
DE102012108567B4 (de) 2011-10-05 2017-04-27 Electronics And Telecommunications Research Institute Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
TW201329509A (zh) 2012-01-10 2013-07-16 Walsin Lihwa Corp 立體掃瞄裝置及其立體掃瞄方法
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
WO2013116299A1 (en) 2012-01-31 2013-08-08 3M Innovative Properties Company Method and apparatus for measuring the three dimensional structure of a surface
JP5800082B2 (ja) 2012-03-01 2015-10-28 日産自動車株式会社 距離計測装置及び距離計測方法
WO2013145164A1 (ja) 2012-03-28 2013-10-03 富士通株式会社 撮像装置
JP6250040B2 (ja) 2012-05-18 2017-12-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 魚眼レンズ・アナライザ
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
PT2872030T (pt) 2012-07-10 2017-02-23 Wavelight Gmbh Processo e aparelho para determinação de aberrações óticas de um olho
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
CN104884862B (zh) 2012-10-24 2019-11-19 视瑞尔技术公司 照明设备
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
WO2014097539A1 (ja) 2012-12-20 2014-06-26 パナソニック株式会社 ３次元測定装置および３次元測定方法
US10466359B2 (en) 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9536339B1 (en) 2013-06-13 2017-01-03 Amazon Technologies, Inc. Processing unordered point cloud
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
JP6211876B2 (ja) 2013-10-01 2017-10-11 株式会社トプコン 測定方法及び測定装置
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及系统
WO2015103595A1 (en) 2014-01-06 2015-07-09 Eyelock, Inc. Methods and apparatus for repetitive iris recognition
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9526427B2 (en) 2014-03-21 2016-12-27 Hypermed Imaging, Inc. Compact light sensors with symmetrical lighting
US9307231B2 (en) 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
WO2015166915A1 (ja) 2014-04-30 2015-11-05 シナノケンシ株式会社 計測装置
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
KR20160020323A (ko) 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
HK1247272A1 (zh) 2014-10-24 2018-09-21 Magik Eye Inc. 距离传感器
WO2016070318A1 (en) 2014-11-04 2016-05-12 SZ DJI Technology Co., Ltd. Camera calibration
US10080004B2 (en) 2014-11-06 2018-09-18 Disney Enterprises, Inc. Method and system for projector calibration
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
US20160157725A1 (en) 2014-12-08 2016-06-09 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
CN107407728B (zh) 2015-03-26 2020-05-22 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
CN107709925B (zh) 2015-03-27 2018-12-14 富士胶片株式会社 距离图像获取装置
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US10215557B2 (en) 2015-03-30 2019-02-26 Fujifilm Corporation Distance image acquisition apparatus and distance image acquisition method
WO2016172856A1 (zh) * 2015-04-28 2016-11-03 北京旷视科技有限公司 用于识别人脸的装置、系统、方法和计算机程序产品
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
WO2016182985A1 (en) 2015-05-10 2016-11-17 Magik Eye Inc. Distance sensor
DE102015209143B4 (de) 2015-05-19 2020-02-27 Esaote S.P.A. Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation
JP6548727B2 (ja) 2015-05-29 2019-07-24 オリンパス株式会社 照明装置及び計測装置
KR20170005649A (ko) 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
JP6566768B2 (ja) * 2015-07-30 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US10176554B2 (en) 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
FR3042610B1 (fr) 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
US10942261B2 (en) 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
WO2017090111A1 (ja) 2015-11-25 2017-06-01 三菱電機株式会社 ３次元画像計測装置及び方法
KR20170094968A (ko) 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
CN113727000A (zh) 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
KR102543275B1 (ko) 2016-12-07 2023-06-16 매직 아이 인코포레이티드 평행 패턴들을 투사하는 거리 센서
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10769914B2 (en) 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
US10708574B2 (en) * 2017-06-15 2020-07-07 Align Technology, Inc. Three dimensional imaging apparatus with color sensor
CN109729721B (zh) 2017-08-29 2021-04-16 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
CN111164650B (zh) 2017-10-08 2021-10-29 魔眼公司 用于确定传感器位置的系统和方法
CN111492262B (zh) 2017-10-08 2024-06-28 魔眼公司 使用经向网格图案的距离测量
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
EP3769121A4 (en) * 2018-03-20 2021-12-29 Magik Eye Inc. Distance measurement using projection patterns of varying densities
CN112119628B (zh) 2018-03-20 2022-06-03 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
US12062249B2 (en) * 2018-05-04 2024-08-13 Northeastern University System and method for generating image landmarks
CN112513565B (zh) 2018-06-06 2023-02-10 魔眼公司 使用高密度投影图案的距离测量
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
WO2020117785A1 (en) 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
EP3911920B1 (en) 2019-01-20 2024-05-29 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
CN110070564B (zh) * 2019-05-08 2021-05-11 广州市百果园信息技术有限公司 一种特征点匹配方法、装置、设备及存储介质
DE102020007613A1 (de) * 2020-12-11 2021-03-18 Daimler Ag Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2913021B2 (ja) 1996-09-24 1999-06-28 和歌山大学長 形状計測方法及び装置
JP2000076452A (ja) 1998-08-28 2000-03-14 Minolta Co Ltd ３次元形状データ処理装置及び立体模型作成装置
JP2006244387A (ja) 2005-03-07 2006-09-14 Toshiba Corp ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム
US20160086318A1 (en) 2013-04-29 2016-03-24 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
JP2015158762A (ja) 2014-02-24 2015-09-03 株式会社リコー 画像処理システム、プログラム及び投影装置
US20170094254A1 (en) 2014-05-20 2017-03-30 Medit Corp. Method and apparatus for acquiring three-dimensional image, and computer readable recording medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hasegawa Kosuke et al.，"A study of real-time path planning for mobile robots based on environment recognition using omnidirectional images"，Proceedings of SICE Annual Conference 2010[online]，米国，IEEE，2010年08月18日，pp.2953-2956，[検索日 2024.10.25], インターネット:<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5602895>
阿部亨 外２名，３次元表面形状による人間の顔の自動識別ーＢ－スプライン曲面の制御点を利用してー，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，1990年09月25日，第J73-D-II巻 第9号，pp.1477～1484

Also Published As

Publication number Publication date
US11580662B2 (en) 2023-02-14
KR20220122645A (ko) 2022-09-02
EP4094181A4 (en) 2024-04-03
KR102938692B1 (ko) 2026-03-13
EP4094181A1 (en) 2022-11-30
CN114830190A (zh) 2022-07-29
JP2023508501A (ja) 2023-03-02
US20210201529A1 (en) 2021-07-01
WO2021138139A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
JP7598381B2 (ja) ３次元座標と２次元特徴点との関連付け
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
KR102170182B1 (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US11475584B2 (en) Baffles for three-dimensional sensors having spherical fields of view
CN107563304B (zh) 终端设备解锁方法及装置、终端设备
CN107480613B (zh) 人脸识别方法、装置、移动终端和计算机可读存储介质
CN108074267B (zh) 交点检测装置及方法、摄像头校正系统及方法及记录介质
KR20160003776A (ko) 자세 추정 방법 및 로봇
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP2008537190A (ja) 赤外線パターンを照射することによる対象物の三次元像の生成
US11019249B2 (en) Mapping three-dimensional depth map data onto two-dimensional images
CN107368730A (zh) 解锁验证方法和装置
US20120062749A1 (en) Human body identification method using range image camera and human body identification apparatus
CN101144708A (zh) 三维扫描系统中圆形标志点的检测方法
CN106846409A (zh) 鱼眼相机的标定方法及装置
KR20230065978A (ko) 구조화된 광을 사용하여 장면에서 평면 표면들을 직접 복구하기 위한 시스템, 방법 및 매체
JP2005326247A (ja) 校正装置及び校正方法並びに校正プログラム
CN112614231B (zh) 信息显示方法与信息显示系统
CN109240291B (zh) 一种基于远程控制的机器人运动线路规划方法及系统
CN107895110A (zh) 终端设备的解锁方法、装置及移动终端
US10812691B2 (en) Image capturing apparatus and image capturing method
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
JP7453137B2 (ja) Ｐｏｓ端末装置および画像処理方法
CN117581265A (zh) 校准方法
JP6890422B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241129

R150 Certificate of patent or registration of utility model

Ref document number: 7598381

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150