JP2023516032A - ジェスチャ認識 - Google Patents

ジェスチャ認識 Download PDF

Info

Publication number
JP2023516032A
JP2023516032A JP2022552185A JP2022552185A JP2023516032A JP 2023516032 A JP2023516032 A JP 2023516032A JP 2022552185 A JP2022552185 A JP 2022552185A JP 2022552185 A JP2022552185 A JP 2022552185A JP 2023516032 A JP2023516032 A JP 2023516032A
Authority
JP
Japan
Prior art keywords
area
beam profile
image
detector
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022552185A
Other languages
English (en)
Inventor
ウンガー,ヤコブ
シレン,ペーター
シンドラー,パトリク
レンナルツ,クリスティアン
ゼント,ロベルト
Original Assignee
トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング filed Critical トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング
Publication of JP2023516032A publication Critical patent/JP2023516032A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

- 少なくとも1つの物体(116)を含む少なくとも1つのエリア(114)上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成された少なくとも1つの照射源(112)であって、前記物体(116)が、少なくとも部分的に少なくとも1つの人間の手を含んでいる、少なくとも1つの照射源(112)と;- 少なくとも1つの感光エリア(126)を有する少なくとも1つの光センサ(118)であって、前記光センサ(118)は、前記エリアの少なくとも1つの画像(128)を決定するように構成され、前記画像(128)は、前記照射特徴による照射に応答して前記エリア(114)によって生成される複数の反射特徴(130)を含む、少なくとも1つの光センサ(118)と;- 少なくとも1つの評価装置(136)であって、前記評価装置(136)は、前記反射特徴(130)のそれぞれについて少なくとも1つの深度情報を決定することによって、前記エリアの少なくとも1つの深度マップを決定するように構成されている、少なくとも1つの評価装置(136)と、を備え、前記評価装置(136)は、生体組織を照射することによって生成された前記反射特徴(130)を識別することによって前記物体(116)を見つけるように構成され、前記評価装置(136)は、前記反射特徴(130)のそれぞれの少なくとも1つの反射ビームプロファイルを決定するように構成され、前記評価装置(136)は、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして反射特徴(130)を識別するように構成され、前記評価装置(136)は、そうでなければ前記反射特徴(130)を背景として識別するように構成され、前記評価装置(136)は少なくとも1つのセグメンテーションアルゴリズムを使用することによって、前記エリアの前記画像(128)をセグメント化するように構成され、生体組織を照射することによって生成されたものとして識別された前記反射特徴(130)はシード点として使用され、背景として識別された前記反射特徴(130)はセグメンテーションアルゴリズムのための背景シード点として使用され、前記評価装置は(136)、前記セグメント化された画像と前記深度マップを考慮して、空間内の前記物体(116)の位置及び/又は向きを決定するように構成されている、ジェスチャ検出のための検出器(110)。【選択図】図1

Description

本発明はジェスチャ検出のための検出器及びジェスチャ検出のための方法、ならびに検出器の様々な使用に関する。本発明による装置、方法及び使用は、具体的には、例えば、日常生活、セキュリティ技術、ゲーミング、交通技術、生産技術、芸術、文書又は技術目的のためのデジタル写真又はビデオ撮影などの写真撮影、安全技術、情報技術、農業、作物保護、メンテナンス、化粧品、医療技術、又は科学の様々な分野において採用され得る。ただし、他の適用も可能である。
自動化車両のトレンドは、自律運転へ推進するだけでなく、キャビン内のアシスタンス機能にも影響を及ぼしている。ドライバーモニタリング、車内監視、ジェスチャトラッキングは、次世代自動車の基本概念である。最初のシステムはすでに利用可能であり、2D画像、3D深度マップ、又はその両方の組み合わせに依存している。
技術的な観点からは、キャビン内場面での人間のポーズとジェスチャの検出は、非常に困難な場合がある。二次元画像処理に基づく既存の方法は、例えば、A.R.Varkonyi-Koczy,B.Tusorによる,「Human-Computer Interaction for Smart Environment Applications Using Fuzzy Hand Posture and Gesture Models」,IEEE Trans.Instrumentation and Measurement,60巻,no.5,1505~1514頁,2011年、又はC.C.Hsieh,D.H.Liouによる,「Novel Haar features for real-time hand gesture recognition」,J.Real Time Image Processing,10巻,357370頁,2015年、形状特徴については、例えばE.Ong,R.Bowdenによる,「A boosted classifier tree for hand shape detection」,Sixth IEEE International Conference on Automatic Face and Gesture Recognition,2004年、Proceedings.,Seoul,South Korea,2004年,889~894頁を参照されたい。しかし、手の見え方のバリエーションが多いこと、影があること、及び光の状態が広範囲であることなどから、これらの方法の確実性はかなり限定的である(M.Bergh,L.Goolによる,「Combining RGB and ToF cameras for real-time 3D hand gesture interaction」,In:Workshop on applications of computer vision(WACV),IEEE,66~72頁,2011年を参照されたい)。
動作解析(例えばオプティカルフローを使用)は、特定の条件下でこのギャップを埋めることができるが(例えばR.Cutler,M.Turk.による、「View-based Interpretation of Realtime Optical Flow for Gesture Recognition」, In Proc. IEEE Intl. Conference on Automatic Face and Gesture Recognition,416~421頁,1998年を参照されたい)、しかし、静的シーン又はコントラストが不十分な場合にはまだ不十分である。例えば、飛行時間カメラ又はステレオアプローチからの深度マップは、検出精度を大幅に向上させることができる補完的なデータを提供する。2Dカメラと3Dセンサの組み合わせは、より信頼性の高い検出精度を提供するが、包括的な融合概念、慎重なキャリブレーションを必要とし、コストが著しく高くなる。さらに、同様の深さに位置する複数の物体を分離することは、依然として困難である。
従来の2D又は3Dジェスチャ検出構成は、2D画像又は3D点群内で手を認識する必要がある。2D画像では背景とのコントラストが低く、手の色は皮膚のタイプ及び照射条件によって強く変化し、特に手を手として認識するためには、形状、色などのモデルデータを一致させる必要があるため、手の認識は単独でも困難な部分である。形状はジェスチャの情報の一部を伝達(transmit)するが、形状はしかし大きく変化する。指は永久的な傷害で欠損していたり、又は他の物体によって隠されていたりすることもある。
さらに、WO2018/091640及びWO2019/042956は、2D画像及び深度測定のための、レーザグリッドプロジェクタと組み合わされた単一のCMOSセンサを使用する、距離を正確に検出することについて説明している。すべてのデータは、簡単かつ迅速な統合を可能にする単一のCMOSセンサから取得される。したがって、システムの複雑さは、個別の画像及び深度センサの組み合わせと比較して大幅に低減される。
US2016/253821A1は、予め定義された光学構造を有するように1つ以上の予め定義された特性で符号化された光ビームをボリューム内に投影することによって、ボリューム内で識別又は追跡される物体について説明している。検出器が、ボリュームから反射された予め定義された光学構造からの光をキャプチャする。物体から反射された予め定義された光学構造からの光の1つ以上の特性を分析することによって、物体はボリュームからセグメント化される。
したがって、本発明の目的は、既知の装置及び方法の上述の技術的課題に対する装置及び方法を提供することである。具体的には、本発明の目的は、少ない技術的努力で、かつ、技術的資源及びコストの観点から低い要求で、信頼性の高いジェスチャ検出を可能にする装置及び方法を提供することである。
この問題は、独立特許請求項の特徴を備えた本発明によって解決される。個別に又は組み合わせて実現することができる本発明の有利な展開は、従属請求項及び/又は以下の明細書及び詳細な実施形態に示されている。
以下で使用される場合、「有する」、「備える」、又は「含む」という用語、又はそれらの任意の文法上の変形は、非排他的な方法で使用される。したがって、これらの用語は、これらの用語によって導入された特徴の他に、この文脈で説明されている実体にさらなる特徴が存在しない状況と、1つ以上のさらなる特徴が存在する状況の両方を指し得る。一例として、「AはBを有する」、「AはBを備える」、及び「AはBを含む」という表現は、B以外にAに他の要素が存在しない状況(つまり、Aは専らかつ排他的にBから構成される状況)と、Bに加えて、1つ以上の要素、例えば要素C、要素CとD、又はさらに要素などが実体Aに存在する状況の双方を指し得る。
さらに、「少なくとも1つ」、「1つ以上」という用語、又は、特徴もしくは要素が1回以上存在し得ることを示す同様の表現は、典型的には、それぞれの特徴又は要素を導入するときに1回だけ使用されることに留意されたい。以下では、ほとんどの場合、それぞれの特徴又は要素を参照するときに、「少なくとも1つ」又は「1つ以上」という表現は、それらの特徴又は要素が1回以上現れ得るという事実にもかかわらず、繰り返されないことに留意されたい。
さらに、以下で使用される場合、「好ましくは」、「より好ましくは」、「特に」、「より特に」、「具体的に」、「より具体的に」という用語、又は、同様の用語は、代替の可能性を制限することなく、任意の特徴に関連して使用される。したがって、これらの用語によって導入される特徴は、任意の特徴であり、いかなる意味でも特許請求の範囲を限定することを意図するものではない。本発明は、当業者であれば認識するように、代替的特徴を用いて実施することができる。同様に、「本発明の一実施形態では」又は同様の表現によって導入される特徴は、本発明の代替の実施形態に関するいかなる制限もなく、本発明の範囲に関するいかなる制限もなく、及び、そのような方法で導入される特徴を本発明の他の任意の又は非任意の特徴と組み合わせる可能性に関するいかなる制限もなく、任意の特徴であることが意図されている。
本発明の第1の態様では、ジェスチャ検出のための装置が開示される。本明細書で使用される場合、「ジェスチャ」という用語は、人間の身体の少なくとも1つの部分の少なくとも1つの状態及び/又は少なくとも1つの動作を指し得る。ジェスチャは、身体の少なくとも1つの部分などの身体のジェスチャ、特に手のジェスチャを含むことができる。ジェスチャは、静的又は動的であってよい。ジェスチャは、指などの手の少なくとも1つの部分の動き、片手もしくは両手、顔、又は体の他の部分の動きを含むことができる。本明細書で使用される場合、「ジェスチャ検出」という用語は、ジェスチャの有無の決定及び/又はジェスチャ認識を指し得る。本明細書で使用される場合、「ジェスチャ認識」という用語は、数学的アルゴリズムを介して人間のジェスチャを解釈することを指し得る。本明細書で使用される場合、「ジェスチャ検出のための検出器」という用語は、少なくとも1つのジェスチャを検出するように構成された少なくとも1つの任意のデバイスを指し得る。
ジェスチャ検出のための検出器は:
- 少なくとも1つの物体を含む少なくとも1つのエリア上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成された少なくとも1つの照射源であって、前記物体が、少なくとも部分的に少なくとも1つの人間の手を含んでいる、少なくとも1つの照射源と;
- 少なくとも1つの感光エリアを有する少なくとも1つの光センサであって、前記光センサは、前記エリアの少なくとも1つの画像を決定するように構成され、前記画像は、前記照射特徴による照射に応答して前記エリアによって生成される複数の反射特徴を含む、少なくとも1つの光センサと;
- 少なくとも1つの評価装置であって、前記評価装置は、前記反射特徴のそれぞれについて少なくとも1つの深度情報を決定することによって、前記エリアの少なくとも1つの深度マップを決定するように構成されている、少なくとも1つの評価装置と、
を備え、
前記評価装置は、生体組織を照射することによって生成された前記反射特徴を識別することによって、前記物体を見つけるように構成され、前記評価装置は、前記反射特徴のそれぞれの少なくとも1つの反射ビームプロファイルを決定するように構成され、前記評価装置は、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして反射特徴を識別するように構成され、前記評価装置は、そうでなければ前記反射特徴を背景として識別するように構成され、
前記評価装置は少なくとも1つのセグメンテーションアルゴリズムを使用することによって、前記エリアの画像をセグメント化するように構成され、生体組織を照射することによって生成されるものとして識別された前記反射特徴は、シード点として使用され、背景として識別された前記反射特徴は、セグメンテーションアルゴリズムのための背景シード点として使用され、
前記評価装置は、セグメント化された画像と前記深度マップを考慮して、空間内の前記物体の位置及び/又は向きを決定するように構成されている。
本明細書で使用される場合、「照射源」という用語は、一般に、少なくとも1つの照射パターンを生成するように構成された少なくとも1つの任意の装置を指し得る。照射源は、エリアの照射のために照射パターンを提供するように構成されていてよい。照射源は、エリアを直接的又は間接的に照射するように適合されてよく、照射パターンは、エリアの表面によって反射又は散乱され、それによって、少なくとも部分的に光センサに向けられる。照射源は、例えば、光ビームをエリアに向けることによって、光ビームを反射するエリアを照射するように構成されてよい。照射源は、エリアを照射するための照射光ビームを生成するように構成されてよい。
本明細書で使用する場合、「エリア」という用語は、少なくとも1つの任意の物体又は空間領域を指し得る。エリアは、少なくとも1つの物体と周囲の環境を含むことができる。本明細書で使用される場合、「物体」という用語は、少なくとも1つの光ビーム、特に少なくとも1つの反射パターンを放出する点又は領域を指す。例えば、物体は、シーン、人などの人間、木材、カーペット、発泡体、牛などの動物、植物、組織片、金属、玩具、金属の物体、飲料、果物、肉、魚などの食品、皿、化粧品、塗られた化粧品、布、毛皮、髪、メンテナンス用品、プラント、身体、身体の一部、有機材料、無機材料、反射材料、スクリーン、ディスプレイ、壁、写真などの紙、からなる群から選択される少なくとも1つの物体であってよい。物体は、照射パターンが投影される少なくとも1つの表面を含んでいてよい。表面は、照射パターンを検出器に向かって少なくとも部分的に反射するように適合されてよい。物体は、具体的には、人体、又は少なくとも1つの腕、少なくとも1つの手、少なくとも1つの指、又は顔などの人体の少なくとも1つの部分であってよい。物体は、少なくとも部分的に少なくとも1つの人間の手を含む。本明細書で使用される場合、「少なくとも部分的に少なくとも1つの人間の手」という用語は、物体が人間の手である実施形態及び/又は物体が少なくとも1つの指及び/又は掌の少なくとも1つの部分である実施形態を指す。
照射源は、少なくとも1つの光源を含んでよい。照射源は、複数の光源を含んでいてもよい。照射源は、人工照射源、特に少なくとも1つのレーザ源、及び/又は少なくとも1つの白熱灯、及び/又は少なくとも1つの半導体光源、例えば少なくとも1つの発光ダイオード、特に有機及び/又は無機発光ダイオードを含み得る。一例として、照射源によって放出される光は、300~1100nm、特に500~1100nmの波長を有し得る。追加的に又は代替的に、780nm~3.0μmの範囲などの赤外スペクトル範囲の光が使用され得る。具体的には、シリコンフォトダイオードが適用可能な特には700nm~1100nmの範囲の近赤外領域部分の光が使用されることができる。照射源は、赤外領域において少なくとも1つの照射パターンを生成するように構成されていてよい。近赤外領域の光を使用することは、光が人間の目では検出されないか、又はわずかにしか検出されないが、シリコンセンサ、特に標準的なシリコンセンサによって検出されることを可能にする。
本明細書で使用される場合、「光線」という用語は、一般に、エネルギーの流れの方向を指し示す光の波面に垂直な線を指す。本明細書で使用される場合、「ビーム」という用語は、一般に、光線の集まりを指す。以下では、「光線」及び「ビーム」という用語を同義語として使用される。本明細書でさらに使用される場合、「光ビーム」という用語は、一般に光の量を指し、具体的には、本質的に同じ方向に進む光の量であって、光ビームが拡張角又は広がり角を有する可能性を含む。光ビームは空間的広がりを有することができる。具体的には、光ビームは、非ガウスビームプロファイルを有することができる。ビームプロファイルは台形ビームプロファイル;三角形ビームプロファイル;円錐形ビームからなる群から選択されてよい。台形ビームプロファイルは、プラトー領域と少なくとも1つのエッジ領域とを有することができる。光ビームは、具体的には、以下でさらに詳細に概説するように、ガウス光ビーム又はガウス光ビームの線形結合であり得る。しかしながら、他の実施形態も可能である。
照射源は、単一波長で光を放出するように構成されることができる。具体的には、波長は、近赤外領域にあってよい。他の実施形態では、照射源は、他の波長チャネルでの追加の測定を可能にする複数の波長を有する光を放出するように構成されてよい。
照射源は、少なくとも1つの多重ビーム光源(multiple beam light source)であってもよく、又は、多重ビーム光源を含んでいてもよい。例えば、照射源は、少なくとも1つのレーザ源と1つ以上の回折光学要素(DOE)を含んでいてよい。具体的には、照射源は、少なくとも1つのレーザ及び/又はレーザ源を備えていてよい。様々なタイプのレーザ、例えば、半導体レーザ、ダブルヘテロ構造レーザ、外部キャビティレーザ、分離封じ込めヘテロ構造レーザ、量子カスケードレーザ、分散ブラッグ(bragg)反射器レーザ、ポラリトンレーザ、ハイブリッドシリコンレーザ、拡張キャビティダイオードレーザ、量子ドットレーザ、ボリュームブラッググレーティングレーザ、インジウムヒ素レーザ、トランジスタレーザ、ダイオード励起レーザ、分散フィードバックレーザ、量子ウェルレーザ、バンド間カスケードレーザ、ガリウムヒ素レーザ、半導体リングレーザ、拡張キャビティダイオードレーザ、又は垂直キャビティ面発光レーザなど、が採用されてよい。追加的に又は代替的に、LED及び/又は電球などの非レーザ光源が使用されてよい。照射源は、照射パターンを生成するように適合された1つ以上の回折光学要素(DOE)を含んでよい。例えば、照射源は、点群を生成及び/又は投影するように適合されてよく、例えば、照射源は、少なくとも1つのデジタル光処理プロジェクタ、少なくとも1つのLCoSプロジェクタ、少なくとも1つの空間光変調器;少なくとも1つの回折光学要素;発光ダイオードの少なくとも1つのアレイ;レーザ光源の少なくとも1つのアレイ、のうちの1つ以上を含み得る。それらの一般的に定義されるビームプロファイル及び取扱い性の他の特性を考慮すると、照射源としての少なくとも1つのレーザ源の使用が特に好ましい。照射源は、検出器のハウジングに一体化されてよい。
さらに、照射源は、変調された光又は変調されていない光を放出するように構成されてよい。複数の照射源を使用する場合、異なる照射源は異なる変調周波数を有することができ、該異なる変調周波数は、後に、光ビームを区別するために使用されることができる。
照射源によって生成された1つ又は複数の光ビームは、一般的に、光軸に平行に伝播してもよいし、又は、光軸に対して傾斜して伝播してもよく、例えば、光軸と角度を含んで伝播してもよい。検出器は、1つ又は複数の光ビームが検出器の光軸に沿って検出器からエリアに向かって伝播するように構成されてよい。この目的のために、検出器は、照射光ビームを光軸上に偏向させるための少なくとも1つの反射要素、好ましくは少なくとも1つのプリズムを含んでいてよい。一例として、レーザ光ビームなどの1つ又は複数の光ビーム、及び光軸は、10°未満、好ましくは5°未満、さらには2°未満の角度を有してよい。しかし、他の実施形態も実現可能である。さらに、1つ又は複数の光ビームは、光軸上にあってもよいし、又は光軸から外れていてもよい。一例として、1つ又は複数の光ビームは、光軸に対して10mm未満、好ましくは5mm未満、さらには1mm未満の距離を有して、光軸と平行であってもよく、又は光軸と一致さえしていてもよい。
本明細書で使用される場合、「少なくとも1つの照射パターン」という用語は、エリアの少なくとも一部を照射するように適合された少なくとも1つの照射特徴を含む少なくとも1つの任意のパターンを指す。本明細書で使用される場合、「照射特徴」という用語は、パターンの少なくとも部分的に広がった少なくとも1つの特徴を指す。照射パターンは、単一の照射特徴を含んでよい。照射パターンは、複数の照射特徴を含んでよい。照射パターンは、少なくとも1つの点パターン;少なくとも1つの線パターン;少なくとも1つのストライプパターン;少なくとも1つの市松模様パターン;周期的又は非周期的な特徴の配置を含む少なくとも1つのパターン、からなる群から選択されてよい。照射パターンは、三角形パターン、長方形パターン、六角形パターン、又はさらに凸状のタイル状パターンなどの規則的及び/又は一定及び/又は周期的なパターンを含んでよい。照射パターンは、少なくとも1つの点;少なくとも1つの線;平行線又は交差線などの少なくとも2つの線;少なくとも1つの点と1つの線;周期的又は非周期的な特徴の少なくとも1つの配置;少なくとも1つの任意の形状の特徴からなる群から選択される少なくとも1つの照射特徴を示してよい。照射パターンは:少なくとも1つの点パターン、特に擬似ランダム点パターン;ランダム点パターン又は準ランダムパターン;少なくとも1つのソボル(Sobol)パターン;少なくとも1つの準周期的パターン;少なくとも1つの既知の特徴を含む少なくとも1つのパターン;少なくとも1つの規則的なパターン;少なくとも1つの三角形パターン;少なくとも1つの六角形パターン;少なくとも1つの長方形パターン;凸状の均一なタイル状体(tiling)を含む少なくとも1つのパターン;少なくとも1つの線を含む少なくとも1つの線パターン;平行線又は交差線などの少なくとも2つの線を含む少なくとも1つの線パターン、からなる群から選択される少なくとも1つのパターンを含むことができる。例えば、照射源は、点群を生成及び/又は投影するように適合され得る。照射源は、照射パターンが複数の点パターンを含むことができるように点群を生成するように適合された少なくとも1つの光プロジェクタを含み得る。照射源は、照射源によって生成された少なくとも1つの光ビームから照射パターンを生成するように適合された少なくとも1つのマスクを含むことができる。
照射パターンの2つの特徴間の距離及び/又は少なくとも1つの照射特徴の面積は、画像内の錯乱円に依存し得る。上記で概説したように、照射源は、少なくとも1つの照射パターンを生成するように構成された少なくとも1つの光源を含んでよい。具体的には、照射源は、レーザ放射を生成するように割り当てられた少なくとも1つのレーザ源及び/又は少なくとも1つのレーザダイオードを含む。照射源は、少なくとも1つの回折光学要素(DOE)を含んでよい。検出器は、少なくとも1つの周期的な点パターンを投影するように適合された、少なくとも1つのレーザ源及びDOEなどの少なくとも1つの点プロジェクタを含んでよい。
本明細書でさらに使用される場合、「少なくとも1つの照射パターンを投影する」という用語は、少なくとも1つのエリアを照射するための少なくとも1つの照射パターンを提供することを指す。
本明細書で使用される場合、「光センサ」は、一般に、少なくとも1つの光ビームによって生成された照射及び/又は光スポットを検出するためなどの、光ビームを検出するための感光装置を指す。本明細書でさらに使用される場合、「感光エリア」は、一般的に、少なくとも1つの光ビームによって外部から照射され、該照射に応答して少なくとも1つのセンサ信号を生成する、光センサのエリアを指す。感光エリアは、具体的には、それぞれの光センサの表面に位置することができる。しかしながら、他の実施形態も可能である。検出器は、それぞれが感光エリアを有する複数の光センサを含んでよい。本明細書で使用される場合、「それぞれが少なくとも1つの感光エリアを有する光センサ」という用語は、それぞれが1つの感光エリアを有する複数の単一の光センサを備える構成と、複数の感光エリアを有する1つの結合された光センサを備える構成とを指す。「光センサ」という用語は、さらに、1つの出力信号を生成するように構成された感光装置を指す。検出器が複数の光センサを含む場合、各光センサは、正確に1つの感光エリアがそれぞれの光センサ内に存在するように、例えば、照射され得る正確に1つの感光エリアを提供し、該感光エリアの照射に応答して光センサ全体について正確に1つの均一なセンサ信号を生成するようにすることによって具現化されてよい。したがって、各光センサは、単一エリアの光センサであってよい。単一エリアの光センサの使用は、しかしながら、検出器の構成を特に簡単かつ効率的にする。したがって、一例として、それぞれが正確に1つの感光エリアを有する市販のシリコンフォトダイオードなどの市販の光センサが、構成において使用されてよい。しかしながら、他の実施形態も可能である。
好ましくは、感光エリアは、検出器の光軸に対して実質的に垂直に方向付けされ得る。光軸は、直線の光軸であってもよいし、又は、1つ以上の偏向要素及び/又は1つ以上のビームスプリッタを使用することなどにより、屈折又は分割さえされてよく、後者の場合、実質的に垂直な方向付けは、光学構成のそれぞれの分岐又はビーム経路の局所的光軸に関して言及している。
光センサは、具体的には、少なくとも1つの光検出器、好ましくは無機光検出器、より好ましくは無機半導体光検出器、最も好ましくはシリコン光検出器であってもよく、又はそれらを含んでいてもよい。具体的には、光センサは、赤外スペクトル範囲において感度を有してよい。光センサは、ピクセルのマトリックスを含む少なくとも1つのセンサ要素を含むことができる。マトリックスの全てのピクセル、又はマトリックスの光センサの少なくとも一群は、具体的には同一であってよい。マトリックスの同一のピクセルの一群は、具体的には、異なるスペクトル範囲について提供されてもよく、又は全てのピクセルが、スペクトル感度に関して同一であってもよい。さらに、ピクセルは、サイズ及び/又はそれらの電子的又は光電子的特性に関して同一であってもよい。具体的には、光センサは、赤外スペクトル範囲、好ましくは700nm~3.0マイクロメートルの範囲に感度を有する少なくとも1つの無機フォトダイオードであってもよく、又はそれらを含んでいてもよい。具体的には、光センサは、シリコンフォトダイオードが適用可能な特に700nm~1100nmの範囲の近赤外領域の部分で感度を有してよい。光センサに使用され得る赤外光センサは、例えば、ドイツ,D-67056 Ludwigshafen am RheinのtrinamiX GmbHのHertzstueck(登録商標)というブランド名で市販されている赤外光センサなど、市販の赤外光センサであってよい。したがって、一例として、光センサは、固有の光起電型の少なくとも1つの光センサ、より好ましくは、Geフォトダイオード、InGaAsフォトダイオード、拡張InGaAsフォトダイオード、InAsフォトダイオード、InSbフォトダイオード、HgCdTeフォトダイオード、からなる群から選択される少なくとも1つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサは、外因性光起電型の少なくとも1つの光センサ、より好ましくは、Ge:Auフォトダイオード、Ge:Hgフォトダイオード、Ge:Cuフォトダイオード、Ge:Znフォトダイオード、Si:Gaフォトダイオード、Si:Asフォトダイオードからなる群から選択される少なくとも1つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサは、PbSもしくはPbSeセンサなどの少なくとも1つの光導電センサ、ボロメータ、好ましくはVOボロメータ及びアモルファスSiボロメータからなる群から選択されるボロメータを含み得る。
光センサは、紫外、可視、又は赤外スペクトル範囲の1つ以上で感度を有してよい。具体的には、光センサは、500nm~780nm、最も好ましくは650nm~750nm、又は690nm~700nmの可視スペクトル範囲で感度を有してよい。具体的には、光センサは近赤外領域で感度を有してよい。具体的には、光センサは、シリコンフォトダイオードが適用可能な特に700nm~1000nmの範囲の近赤外領域の部分で感度を有してよい。光センサは、具体的には、赤外スペクトル範囲、具体的には780nm~3.0μmの範囲で感度を有してよい。例えば、光センサは、それぞれ独立に、フォトダイオード、フォトセル、光伝導体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも1つの要素であってもよく、又はそれらを含んでもよい。例えば、光センサは、CCDセンサ要素、CMOSセンサ要素、フォトダイオード、フォトセル、光導電体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも1つの要素であってもよく、又はそれを含んでもよい。他の任意のタイプの感光性要素を使用してもよい。感光性要素は、一般に、完全に又は部分的に無機材料で作製されることができ、及び/又は、完全に又は部分的に有機材料で作製されることができる。最も一般的には、市販のフォトダイオード、例えば、無機半導体フォトダイオードなどの1つ以上のフォトダイオードが使用され得る。
光センサは、ピクセルのマトリックスを含む少なくとも1つのセンサ要素を含んでいてよい。したがって、一例として、光センサは、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、光センサは、少なくとも1つのCCD装置及び/又はCMOS装置であってもよく、及び/又は、それらを含んでいてもよい。一例として、光センサは、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも1つのCCD装置及び/又はCMOS装置の一部であるか、又は、それを構成してもよい。
本明細書で使用される場合、「センサ要素」という用語は、一般に、少なくとも1つのパラメータを感知するように構成された装置又は複数の装置の組み合わせを指す。この場合、パラメータは、具体的には光パラメータであってよく、センサ要素は、具体的には光センサ要素であってよい。センサ要素は、一体の単一装置として、又はいくつかの装置の組み合わせとして形成され得る。センサ要素は、光センサのマトリックスを含む。センサ要素は、少なくとも1つのCMOSセンサを含み得る。マトリックスは、独立光センサなどの独立ピクセルで構成されてよい。したがって、無機フォトダイオードのマトリックスを構成することができる。しかしながら、代替的に、市販のマトリックス、例えば、CCD検出器チップなどのCCD検出器の1つ以上、及び/又はCMOS検出器チップなどのCMOS検出器が使用されてもよい。したがって、一般に、センサ要素は、少なくとも1つのCCD装置及び/又はCMOS装置であってもよく、及び/又は、それを含んでいてもよく、及び/又は、光センサは、センサアレイを形成してもよく、又は上述のマトリックスなどのセンサアレイの一部であってもよい。したがって、一例として、センサ要素は、例えばm行及びn列を有する長方形アレイなどのピクセルのアレイを有することができ、ここでm、nは独立して正の整数である。好ましくは、複数の列及び複数の行が与えられ、すなわち、n>1、m>1である。したがって、一例として、nは2~16以上であり得、mは2~16以上であり得る。好ましくは、行数と列数の比は1に近い。一例として、n及びmは、m/n=1:1、4:3、16:9又は類似のものを選択することなどにより、0.3≦m/n≦3となるように選択され得る。一例として、アレイは、m=2、n=2又はm=3、n=3などを選択することなどにより、等しい数の行及び列を有する正方形アレイであってもよい。
マトリックスは独立した光センサなどの独立のピクセルから構成されてよい。したがって、無機フォトダイオードのマトリックスを構成することができる。しかしながら、代替的に、市販のマトリックス、例えばCCD検出器チップなどのCCD検出器、及び/又はCMOS検出器チップなどのCMOS検出器の1つ以上を使用することができる。したがって、一般に、光センサは、少なくとも1つのCCD及び/又はCMOS装置であってよく及び/又はそれを含んでもよく、及び/又は、検出器の光センサは、センサアレイを形成するか、又は上記のマトリックスなどのセンサアレイの一部であり得る。
マトリックスは、具体的には、少なくとも1行、好ましくは複数行及び複数列を有する長方形のマトリックスであってよい。一例として、行及び列は、実質的に垂直な方向に方向付けられてよい。本明細書で使用される場合、「実質的に垂直」という用語は、例えば±20°以下の許容誤差、好ましくは±10°以下の許容誤差、より好ましくは±5°以下の許容誤差を有する垂直な向きの状態を指す。同様に、「実質的に平行」という用語は、例えば±20°以下、好ましくは±10°以下、より好ましくは±5°以下の許容誤差を有する平行な向きの状態を指す。したがって、一例として、20°より小さい、具体的には10°より小さい、又は5°より小さい許容誤差さえ許容され得る。広い視野を提供するために、マトリックスは、具体的には、少なくとも10行、好ましくは少なくとも500行、より好ましくは少なくとも1000行を有することができる。同様に、マトリックスは、少なくとも10列、好ましくは少なくとも500列、より好ましくは少なくとも1000列を有することができる。マトリックスは、少なくとも50個の光センサ、好ましくは少なくとも100000個の光センサ、より好ましくは少なくとも5000000個の光センサを含むことができる。マトリックスは、数メガピクセルの範囲の数のピクセルを含むことができる。しかしながら、他の実施形態も可能である。したがって、軸回転対称性が期待される構成では、ピクセルとも呼ばれ得るマトリックスの光センサの円形配置又は同心配置が好ましいことがある。
したがって、一例として、センサ要素は、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、センサ要素は、少なくとも1つのCCD装置及び/又はCMOS装置であってもよく、及び/又は、それらを含んでいてもよい。一例として、センサ要素は、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも1つのCCD装置及び/又はCMOS装置の一部であるか、又は、それを構成してもよい。センサ要素は、光センサのマトリックスを読み取るために、ローリングシャッタ方式又はグローバルシャッタ方式を採用してもよい。
検出器は、少なくとも1つの転送装置をさらに含み得る。検出器は、1つ以上の追加の光学要素などの1つ以上の追加の要素をさらに含み得る。検出器は、少なくとも1つのレンズ及び/又は少なくとも1つのレンズシステムなどの転送装置、少なくとも1つの回折光学要素からなる群から選択された少なくとも1つの光学要素を含むことができる。「転送システム」とも呼ばれる「転送装置」という用語は、一般に、光ビームのビームパラメータ、光ビームの幅、又は光ビームの方向の1つ以上を変更することによってなど、光ビームを変更するように適合された1つ以上の光学要素を指し得る。転送装置は、光ビームを光センサに導くように適合されてよい。転送装置は、具体的には:少なくとも1つのレンズ、例えば、少なくとも1つの焦点調節可能レンズ、少なくとも1つの非球面レンズ、少なくとも1つの球面レンズ、少なくとも1つのフレネルレンズからなる群から選択される少なくとも1つのレンズ;少なくとも1つの回折光学要素;少なくとも1つの凹面鏡;少なくとも1つのビーム偏向要素、好ましくは少なくとも1つのミラー;少なくとも1つのビーム分割要素、好ましくはビーム分割キューブ又はビーム分割ミラーのうちの少なくとも1つ;少なくとも1つのマルチレンズシステム、の1つ以上を含み得る。本明細書で使用される場合、転送装置の「焦点距離」という用語は、転送装置に衝突する可能性がある入射平行光線が「フォーカルポイント(focal point)」とも呼ばれる「焦点(focus)」に集束される距離を指す。したがって、焦点距離は入射光ビームを収束させる転送装置の能力の指標を構成する。したがって、転送装置は、集束レンズの効果を有し得る1つ以上の画像化要素を含むことができる。例として、転送装置は、1つ以上のレンズ、特に1つ以上の屈折レンズ、及び/又は1つ以上の凸面ミラーを有することができる。この例では、焦点距離は、薄い屈折レンズの中心から薄いレンズの主焦点までの距離として定義することができる。凸型又は両凸型の薄レンズなどの、集束する薄い屈折レンズの場合、焦点距離は、正であると考えられ、転送装置としての薄レンズに衝突する平行光が単一のスポットに集束され得る距離を与えることができる。さらに、転送装置は、少なくとも1つの波長選択要素、例えば少なくとも1つの光フィルタを含むことができる。さらに、転送装置は、例えばセンサ領域の位置で、具体的にはセンサエリアで、電磁放射に予め定義されたビームプロファイルを印加するように設計され得る。転送装置の上記の任意の実施形態は、原則として、個別に、又は任意の所望の組み合わせで実現することができる。
転送装置は、光軸を有していてよい。具体的には、検出器と転送装置は、共通の光軸を有する。本明細書で使用される場合、「転送装置の光軸」という用語は、一般に、レンズ又はレンズシステムの鏡面対称又は回転対称の軸を指す。検出器の光軸は、検出器の光学構成の対称の線であってよい。検出器は、転送装置、好ましくは、少なくとも1つのレンズを有する少なくとも1つの転送システムを含んでよい。転送システムは、一例として、少なくとも1つのビーム経路であって、該ビーム経路内の転送システムの要素が光軸に関して回転対称に配置されているビーム経路を含んでよい。さらに、以下でもさらに詳細に説明されるように、ビーム経路内に配置された1つ以上の光学要素は、光軸に対して中心ズレされているか、又は傾斜していてもよい。しかし、この場合、光軸は、ビーム経路内の光学要素の中心を相互接続することによって、例えば、レンズの中心を相互接続することなどによって、順次定義されてよく、この文脈では、光センサは光学要素として考慮されない。光軸は、一般にビーム経路を示してよい。そこでは、検出器は、光ビームがそれに沿って物体から光センサに進む単一のビーム経路を有してもよいし、複数のビーム経路を有してもよい。一例として、単一のビーム経路が与えられてもよいし、又はビーム経路が2つ以上の部分ビーム経路に分割されてもよい。後者の場合、各部分ビーム経路は、それ自身の光軸を有することができる。複数の光センサの場合、光センサは、1つかつ同一のビーム経路又は部分ビーム経路に配置されてよい。代替的に、しかし、光センサはまた、異なる部分ビーム経路に配置されてよい。
転送装置は、縦方向座標が光軸に沿った座標であり、dが光軸からの空間的オフセットである座標系を構成してよい。座標系は、転送装置の光軸がz軸を形成し、z軸からの距離及び極角が追加の座標として使用され得る極座標系であり得る。z軸に平行又は逆平行な方向は、縦方向とみなすことができ、z軸に沿った座標は縦方向座標とみなすことができる。z軸に垂直な任意な方向は、横方向とみなすことができ、極座標及び/又は極角度は横方向座標とみなすことができる。
検出器は、検出器の光軸がz軸を形成し、また追加的にz軸に直交しかつ互いに直交するx軸とy軸が提供され得る座標系を、構成することができる。一例として、検出器及び/又は検出器の一部は、この座標系の原点など、この座標系における特定の点に所在し得る。この座標系において、z軸に平行又は逆平行な方向を縦方向とみなすことができ、z軸に沿った座標を、縦方向座標と考えることができる。縦方向に対して垂直な任意の方向を横方向と考え、x座標及び/又はy座標を横方向座標と考えることができる。
代替的に、他のタイプの座標系を使用してよい。したがって、一例として、光軸がz軸を形成し、z軸からの距離及び極角が追加の座標として使用され得る極座標系を使用することができる。同様に、z軸に平行又は逆平行な方向を縦方向とみなすことができ、z軸に沿った座標を縦方向座標と考えることができる。z軸に対して垂直な任意の方向を横方向と考え、極座標及び/又は極角を横方向座標と考えることができる。
光センサは、エリアの少なくとも1つの画像を決定するように構成される。エリアが照射特徴によって照射される場合、エリア、すなわち照射特徴によって照射されるエリアの部分は、照射特徴の入射光ビームを検出器に向けて反射及び/又は放出し、このように、これらの反射及び/又は放出された照射特徴を画像化することができる。それによって、エリアは、反射特徴を生成することができる。画像は、照射特徴による照射に応答してエリアによって生成される複数の反射特徴を含む。本明細書で使用される場合、限定されることなく、「画像」という用語は、具体的には、センサ要素のピクセルなどの画像化装置からの複数の電子読取値など、光センサを使用することによって記録されたデータに関することができる。画像自体は、したがって、ピクセルを含み得、画像のピクセルは、センサ要素のマトリックスのピクセルに相関している。したがって、「ピクセル」を参照する場合、センサ要素の単一のピクセルによって生成された画像情報の単位を参照するか、又はセンサ要素の単一のピクセルを直接参照するかのいずれかである。画像は、少なくとも1つの二次元画像であってよい。本明細書で使用される場合、「二次元画像」という用語は、一般に、高さ及び幅の寸法などの横方向座標に関する情報を有する画像を指し得る。画像は、RGB(red green blue)画像であってよい。本明細書で使用される場合、「反射特徴」という用語は、具体的には少なくとも1つの照射特徴である照射に応答してエリアによって生成される画像平面内の特徴を指し得る。
検出器は、少なくとも1つの評価装置を備える。評価装置は、画像を評価するように構成されている。本明細書でさらに使用される場合、「評価装置」という用語は、一般に、好ましくは少なくとも1つのデータ処理装置を使用することによって、より好ましくは少なくとも1つのプロセッサ及び/又は少なくとも1つの特定用途向け集積回路を使用することによって、指定された操作を行うように適合された任意の装置を指す。したがって、一例として、少なくとも1つの評価装置は、多数のコンピュータコマンドを含んでそこに記憶されたソフトウェアコードを有する少なくとも1つのデータ処理装置を含んでいてよい。評価装置は、指定された操作の1つ以上を実行するための1つ以上のハードウェア要素を提供してもよく、及び/又は、指定された操作の1つ以上を実行するためにその上で実行されるソフトウェアを有する1つ以上のプロセッサを提供してもよい。操作は、画像を評価することを含む。具体的には、ビームプロファイルを決定し、表面を表示することは、少なくとも1つの評価装置によって実行されてよい。したがって、一例として、1つ以上の命令は、ソフトウェア及び/又はハードウェアで実装されることができる。したがって、一例として、評価装置は、評価を実行するように構成された1つ以上のコンピュータ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA)などの1つ以上のプログラマブル装置を備えることができる。しかしながら、追加的又は代替的に、評価装置はまた、完全に又は部分的にハードウェアによって具現化されてもよい。
評価装置及び検出器は、完全に又は部分的に単一の装置に統合されてよい。したがって、一般に、評価装置はまた検出器の一部を形成してよい。あるいは、評価装置及び検出器は、完全に又は部分的に、別個の装置として具現化されてもよい。検出器は、さらなるコンポーネントを含むことができる。
評価装置は、1つ以上の特定用途向け集積回路(ASIC)などの1つ以上の集積回路、及び/又は、1つ以上コンピュータ、好ましくは1つ以上のマイクロコンピュータ、及び/又はマイクロコントローラ、フィールドプログラマブルゲートアレイ、又はデジタル信号プロセッサなどの、1つ以上のデータ処理装置であるか、又はそれらを含んでいてもよい。追加のコンポーネント、例えば、1つ以上の前処理装置、及び/又は1つ以上のAD変換器及び/又は1つ以上のフィルタなどの、センサ信号の受信及び/又は前処理を行う1つ以上装置などのデータ収集装置が含まれていてもよい。さらに、評価装置は、電流及び/又は電圧を測定するための1つ以上の測定装置などの、1つ以上の測定装置を備えることができる。さらに、評価装置は1つ以上のデータ記憶装置を含むことができる。さらに、評価装置は、1つ以上のインターフェイス、例えば1つ以上の無線インターフェイス及び/又は1つ以上の有線インターフェイスを含むことができる。
評価装置は、光センサ及び/又は評価装置によって得られる情報などの情報を、表示すること、視覚化すること、分析すること、配布すること、通信すること、又は、さらに処理することのうちの1つ以上のために使用され得る少なくとも1つのさらなるデータ処理装置に、接続されることができ、又は、それを含むことができる。データ処理装置は、一例として、ディスプレイ、プロジェクタ、モニタ、LCD、TFT、ラウドスピーカ、マルチチャネルサウンドシステム、LEDパターン、又は、さらなる視覚化装置うちの少なくとも1つに接続されることができ、又は、それを組み込むことができる。それはさらに、Eメール、テキストメッセージ、電話、Bluetooth(登録商標)、Wi-Fi、赤外線又はインターネットインターフェイス、ポート又は接続のうちの1つ又は複数を使用して、暗号化された情報又は暗号化されていない情報を送ることができる、通信装置又は通信インターフェイス、コネクタ又はポートのうちの少なくとも1つに、さらに接続されることができ、又はそれを組み込むことができる。それはさらに、プロセッサ、グラフィックプロセッサ、CPU、Open Multimedia Applications Platform(OMAP(登録商標))、集積回路、Apple Aシリーズ又はSamsung S3C2シリーズからの製品、マイクロコントローラ又はマイクロプロセッサなどのようなシステムオンチップ、ROM、RAM、EEPROM、又はフラッシュメモリなどの1つ以上のメモリブロック、発振器もしくは位相同期ループなどのタイミングソース、カウンタタイマ、リアルタイムタイマ、又はパワーオン-リセット-ジェネレーター、電圧調整器、電力管理回路、又はDMAコントローラのうちの少なくとも1つにさらに接続されることができ、又はそれを組み込むことができる。個々のユニットは、さらに、AMBAバスなどのバスによって、モノのインターネット又はインダストリー4.0タイプのネットワークに接続され得るか、統合され得る。
評価装置及び/又はデータ処理装置は、シリアル又はパラレルのインターフェイス又はポート、USB、Centronics Port、FireWire(登録商標)、HDMI(登録商標)、イーサネット(登録商標)、Bluetooth(登録商標)、RFID、Wi-Fi、USART、もしくはSPIのうちの1つ以上などのさらなる外部インターフェイス又はポート、あるいは、ADC又は、DAC、又はCameraLinkのようなRGBインターフェイスを使用して2Dカメラ装置のようなさらなる装置への標準化されたインターフェイスもしくはポートのうちの1つ以上などのアナログインターフェイス又はポートによって接続されていてもよく、又はそれらを有していてもよい。評価装置及び/又はデータ処理装置は、プロセッサ間インターフェイスもしくはポート、FPGA-FPGA-インターフェイス、又は、シリアルもしくはパラレルインターフェイスポートのうちの1つ以上によってさらに接続され得る。評価装置及びデータ処理装置は、さらに、光学ディスクドライブ、CD-RWドライブ、DVD+RWドライブ、フラッシュドライブ、メモリカード、ディスクドライブ、ハードディスクドライブ、ソリッドステートディスク、又はソリッドステートハードディスクのうちの1つ以上に接続され得る。
評価装置及び/又はデータ処理装置は、フォンコネクタ、RCAコネクタ、VGAコネクタ、雄雌同体コネクタ、USBコネクタ、HDMI(登録商標)コネクタ、8P8Cコネクタ、BCNコネクタ、IEC60320 C14コネクタ、光ファイバコネクタ、Dサブミニチュアコネクタ、RFコネクタ、同軸コネクタ、SCARTコネクタ、XLRコネクタのうちの1つ以上などの、1つ以上のさらなる外部コネクタによって接続されていてもよく、又は、それらを有していてもよく、及び/又は、これらのコネクタのうちの1つ以上のための少なくとも1つの適切なソケットを組み込んでいてもよい。
評価装置は、反射特徴のそれぞれについて少なくとも1つの深度情報を決定することによって、エリアの少なくとも1つの深度マップを決定するように構成される。「反射特徴のそれぞれ」という用語は、画像又は画像の関心領域の反射特徴の各々を指し得る。本明細書で使用される場合、「深度」という用語は、物体と光センサとの間の距離を指し得、縦方向座標によって与えられ得る。本明細書で使用される場合、「深度マップ」という用語は、深度の空間分布を指し得る。評価装置は、光子比からの深度、構造化光、ビームプロファイル分析、飛行時間、動きからの形状、焦点からの深さ、三角測量、デフォーカスからの深さ、ステレオセンサ、の1つ以上の技術によって反射特徴のそれぞれについて深度情報を決定するように構成されていてよい。評価装置は、背景から物体、特に画像内の手の領域をセグメント化するために、深度マップに関して深度情報を考慮するように構成されてよい。
以下では、ビームプロファイル分析、特にいわゆる光子比からの深度(DPR)技術について説明する。さらなる詳細については、WO2018/091649A1、WO2018/091638A1及びWO2018/091640Aを参照し、その全内容が参照により含まれ、それらはビームプロファイル分析をより詳細に、特に結合信号の決定及びそれからの深度の決定について記載している。
例えば、評価装置は、光子比からの深度技術を用いて反射特徴のそれぞれについて深度情報を決定するように構成されてよい。反射特徴のそれぞれは、反射ビームプロファイルとも呼ばれる少なくとも1つのビームプロファイルを含むことができる。本明細書で使用される場合、反射特徴の「ビームプロファイル」という用語は、一般に、ピクセルの関数としての、光センサ上の光スポットなどの反射特徴の少なくとも1つの強度分布を指し得る。ビームプロファイルは、台形ビームプロファイル;三角形ビームプロファイル;円錐ビームプロファイル及びガウシアンビームプロファイルの線形結合からなる群から選択され得る。評価装置は、ビームプロファイルの分析により、反射特徴の各々に関する深度の情報を決定するように構成され得る。
評価装置は、ビームプロファイルの分析によって、反射特徴のそれぞれについて少なくとも1つの縦方向座標zDPRを決定するように構成されてよい。本明細書で使用される場合、「ビームプロファイルの分析」という用語は、一般に、ビームプロファイルの評価を指し得、少なくとも1つの数学演算、及び/又は少なくとも1つの比較、及び/又は少なくとも1つの対称化、及び/又は少なくとも1つのフィルタリング、及び/又は少なくとも1つの正規化を含んでよい。例えば、ビームプロファイルの分析は、ヒストグラム分析ステップ、差分測定の計算、ニューラルネットワークの適用、機械学習アルゴリズムの適用のうちの少なくとも1つを含み得る。評価装置は、特に、より大きな角度での記録、エッジなどの記録からノイズ又は非対称性を除去するために、ビームプロファイルを対称化及び/又は正規化及び/又はフィルタリングするように構成されることができる。評価装置は、空間周波数分析及び/又は中央値フィルタリングなどによってなど、高い空間周波数を除去することによって、ビームプロファイルをフィルタリングすることができる。集約は、光スポットの強度の中心によって実行されてよく、中心までの同じ距離にある全ての強度を平均化することができる。評価装置は、特に記録された距離による強度差を考慮するように、ビームプロファイルを最大強度に正規化するように構成されてよい。評価装置は、例えば、照射なしの画像化によって、ビームプロファイルから背景光の影響を除去するように構成されてよい。
反射特徴は、画像の少なくとも1つのピクセルをカバーするか、又はその上に延びていてもよい。例えば、反射特徴は、複数のピクセルをカバーするか、又は複数のピクセルにわたって延在してもよい。評価装置は、反射特徴、例えば光スポットに接続及び/又は属する全てのピクセルを決定及び/又は選択するように構成されていてもよい。評価装置は、強度の中心を、
Figure 2023516032000002
によって決定するように構成されてよく、ここで、Rcoiは強度の中心位置、rpixelはピクセル位置、及び
Figure 2023516032000003
はjが反射特徴に接続及び/又は属するピクセル数j、Itotalは総強度である。
評価装置は、光子比からの深度技術を使用することによって、反射特徴のそれぞれについて縦方向座標zDPRを決定するように構成されてよい。光子比からの深度(DPR)技術に関しては、WO2018/091649A1、WO2018/091638A1及びWO2018/091640A1を参照し、その全内容は参照により含まれる。
評価装置は、反射特徴のそれぞれのビームプロファイルを決定するように構成されることができる。本明細書で使用される場合、「ビームプロファイルを決定する」という用語は、光センサによって提供される少なくとも1つの反射特徴を識別すること、及び/又は光センサによって提供される少なくとも1つの反射特徴を選択すること、及び反射特徴の少なくとも1つの強度分布を評価することを指す。一例として、マトリックスの領域は、マトリックスを通る軸又は線に沿ってなど、三次元強度分布又は二次元強度分布などの強度分布を決定するために使用され、評価されてよい。一例として、光ビームによる照射の中心は、最高の照射を有する少なくとも1つのピクセルを決定することなどにより決定され得、断面軸が照射の中心を通して選択され得る。強度分布は、照射の中心を通るこの断面軸に沿った座標の関数としての強度分布であり得る。他の評価アルゴリズムも可能である。
光子比からの深度技術は、反射特徴及び/又は少なくとも1つの関心領域における反射特徴のそれぞれの反射ビームプロファイルの少なくとも1つの第1エリア及び少なくとも1つの第2エリアを決定することを含み得る。光子比からの深度技術は、第1エリアと第2エリアとを積分することをさらに含むことができる。光子比からの深度技術は、積分された第1エリア及び積分された第2エリアを除算すること、積分された第1エリア及び積分された第2エリアの倍数を除算すること、積分された第1エリア及び積分された第2エリアの線形結合を除算することの1つ以上によって、商Qを導出することを含み得る。
評価装置は、反射特徴及び/又は少なくとも1つの関心領域における反射特徴のそれぞれの反射ビームプロファイルの少なくとも1つの第1エリア及び少なくとも1つの第2エリアを決定するように構成され得る。評価装置は、第1エリアと第2エリアを積分するように構成されている。
反射特徴の1つのビームプロファイルの分析は、ビームプロファイルの少なくとも1つの第1エリア及び少なくとも1つの第2エリアを決定することを含み得る。ビームプロファイルの第1エリアは、エリアA1であり得、ビームプロファイルの第2エリアは、エリアA2であり得る。評価装置は、第1エリアと第2エリアとを積分するように構成されてもよい。評価装置は、積分された第1エリア及び積分された第2エリアを除算すること、積分された第1エリア及び積分された第2エリアの倍数を除算すること、積分された第1エリア及び積分された第2エリアの線形結合を除算することの1つ以上によって、結合信号、特に商Qを導出するように構成され得る。評価装置は、ビームプロファイルの少なくとも2つのエリアを決定するように、及び/又はビームプロファイルをビームプロファイルの異なるエリアを有する少なくとも2つのセグメントに分割するように構成されてもよく、エリアが一致しない限り、エリアの重なりは可能である。例えば、評価装置は、2つ、3つ、4つ、5つ、又は最大10個のエリアなど、複数のエリアを決定するように構成されてよい。評価装置は、光スポットをビームプロファイルの少なくとも2つのエリアに分割するように、及び/又は、ビームプロファイルをビームプロファイルの異なるエリアを含む少なくとも2つのセグメントに分割するように構成されてよい。評価装置は、エリアのうちの少なくとも2つについて、それぞれのエリアにわたるビームプロファイルの積分を決定するように構成されてよい。評価装置は、決定された積分の少なくとも2つを比較するように構成されてよい。具体的には、評価装置は、ビームプロファイルの少なくとも1つの第1エリア及び少なくとも1つの第2エリアを決定するように構成されてよい。本明細書で使用される場合、「ビームプロファイルのエリア」という用語は、一般に、商Qを決定するために使用される光センサ位置におけるビームプロファイルの任意の領域を指す。ビームプロファイルの第1エリアとビームプロファイルの第2エリアは、隣接する領域又は重複する領域のいずれか一方又は両方であってよい。ビームプロファイルの第1エリアとビームプロファイルの第2エリアは、エリアが一致していなくてよい。例えば、評価装置は、CMOSセンサのセンサ領域を少なくとも2つのサブ領域に分割するように構成されてよく、評価装置は、CMOSセンサのセンサ領域を、少なくとも1つの左側部分と少なくとも1つの右側部分、及び/又は少なくとも1つの上部分と少なくとも1つの下部分、及び/又は少なくとも1つの内部分と少なくとも1つの外部分、とに分割するように構成され得る。追加的又は代替的に、検出器は、少なくとも2つの光センサを備えてよく、第1光センサ及び第2光センサの感光エリアは、第1光センサが反射特徴のビームプロファイルの第1エリアを決定するよう適合され、第2光センサが反射特徴のビームプロファイルの第2エリアを決定するよう適合されるように配置され得る。評価装置は、第1エリアと第2エリアとを積分するように適合されてよい。評価装置は、縦方向座標を決定するために、商Qと縦方向座標の間の少なくとも1つの予め決定された関係を用いるように構成されてよい。予め決定された関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの1つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの、予め決定された関係を記憶するための少なくとも1つのデータ記憶装置を備えてよい。
ビームプロファイルの第1エリアは、ビームプロファイルのエッジ情報を実質的に含んでよく、ビームプロファイルの第2エリアは、ビームプロファイルの中心情報を実質的に含んでよく、及び/又は、ビームプロファイルの第1エリアは、ビームプロファイルの左側部分に関する情報を実質的に含み、ビームプロファイルの第2エリアはビームプロファイルの右側部分に関する情報を実質的に含んでよい。ビームプロファイルは、中心、すなわちビームプロファイルの最大値及び/又はビームプロファイルのプラトーの中心点及び/又は光スポットの幾何学的中心と、中心から延びる立下りエッジとを有してよい。第2領域は、断面の内側領域を含んでよく、第1領域は、断面の外側領域を含んでよい。本明細書で使用される場合、「実質的に中心情報」という用語は、一般に、中心情報の割合、すなわち中心に対応する強度分布の割合と比較して、エッジ情報の割合が低いこと、すなわちエッジに対応する強度分布の割合が低いことを指す。好ましくは、中心情報は、10%未満、より好ましくは5%未満、のエッジ情報の割合を有し、最も好ましくは、中心情報はエッジ内容を含まない。本明細書で使用される場合、「実質的にエッジ情報」という用語は、一般に、エッジ情報の割合と比較して、中心情報の割合が低いことを指す。エッジ情報は、ビームプロファイル全体の情報、特に中心領域及びエッジ領域からの情報を含み得る。エッジ情報は、10%未満、好ましくは5%未満の中心情報の割合を有し、より好ましくは、エッジ情報は中心情報を含まない。ビームプロファイルが中心に近いか又はその周囲にあり、実質的に中心情報を含む場合は、ビームプロファイルの少なくとも1つのエリアは、ビームプロファイルの第2エリアとして決定及び/又は選択されてよい。ビームプロファイルが断面の立下りエッジの少なくとも部分を含む場合は、ビームプロファイルの少なくとも1つのエリアは、ビームプロファイルの第1エリアとして決定及び/又は選択されてよい。例えば、断面の全エリアが第1領域として決定されてよい。
第1エリアA1及び第2エリアA2の他の選択も実現可能であり得る。例えば、第1エリアは、ビームプロファイルの実質的に外側領域を含み、第2エリアは、ビームプロファイルの実質的に内側領域を含み得る。例えば、二次元ビームプロファイルの場合、ビームプロファイルは左側部分と右側部分に分割されることができ、そこでは、第1エリアはビームプロファイルの左側部分のエリアを実質的に含み、第2エリアはビームプロファイルの右側部分のエリアを実質的に含んでよい。
エッジ情報は、ビームプロファイルの第1エリアにおける光子数に関する情報を含み、中心情報は、ビームプロファイルの第2エリアにおける光子数に関する情報を含み得る。評価装置は、ビームプロファイルの面積分を決定するように構成されてよい。評価装置は、第1エリアの積分及び/又は加算によってエッジ情報を決定するように構成されてよい。評価装置は、第2エリアの積分及び/又は加算によって中心情報を決定するように構成されてよい。例えば、ビームプロファイルは台形ビームプロファイルであってよく、評価装置は台形の積分を決定するように構成されてよい。さらに、台形ビームプロファイルが仮定される場合、エッジ信号及び中心信号の決定は、例えばエッジの傾斜及び位置の決定、及び中心プラトーの高さの決定、ならびに幾何学的考察によるエッジ信号及び中心信号の導出など、台形ビームプロファイルの特性を利用した同等評価で置き換えられてよい。
一実施形態では、A1は、光センサ上の特徴点の全体又は完全なエリアに対応し得る。A2は、光センサ上の特徴点の中心エリアであり得る。中心エリアは一定値であってよい。中心エリアは、特徴点の全エリアと比べてより小さくてもよい。例えば、円形の特徴点の場合、中心エリアは、特徴点の全半径の0.1~0.9、好ましくは全半径の0.4~0.6の半径を有してよい。
一実施形態では、照射パターンは、少なくとも1つの線パターンを含んでいてよい。A1は、光センサ上の、特に光センサの感光エリア上の線パターンの全線幅を有するエリアに対応してもよい。光センサ上の線パターンは、光センサ上の線幅が増幅するように、照射パターンの線パターンと比較して拡大及び/又は変位されてもよい。特に、光センサのマトリックスの場合には、光センサ上の線パターンの線幅は、ある列から別の列へと変化してもよい。A2は、光センサ上の線パターンの中心エリアであってよい。中心エリアの線幅は一定の値であってもよく、特に照射パターンの線幅に対応していてもよい。中心エリアの線幅は、全体の線幅に比べて小さくてもよい。例えば、中心エリアは、全線幅の0.1~0.9、好ましくは全線幅の0.4~0.6の線幅を有していてよい。線パターンは、光センサ上でセグメント化されていてよい。光センサのマトリックスの各列は、線パターンの中心エリアの強度の中心情報と、線パターンの中心エリアからエッジ領域までさらに外側に延びる領域からの強度のエッジ情報を含むことができる。
一実施形態では、照射パターンは、少なくとも1つの点パターンを含んでいてよい。A1は、光センサ上の点パターンの点の全半径を有するエリアに対応し得る。A2は、光センサ上の点パターンの点の中心エリアであり得る。中心エリアは一定値であってよい。中心エリアは、全半径と相当する半径を有することができる。例えば、中心エリアは、全半径の0.1~0.9、好ましくは全半径の0.4~0.6の半径を有することができる。
照射パターンは、少なくとも1つの点パターンと少なくとも1つの線パターンの両方を含むことができる。線パターン及び点パターンに加えて、又は代替として、他の実施形態も実現可能である。
評価装置は、積分された第1エリア及び積分された第2エリアを除算すること、積分された第1エリア及び積分された第2エリアの倍数を除算すること、積分された第1エリア及び積分された第2エリアの線形結合を除算することの1つ以上により商Qを導出するように構成され得る。
評価装置は、第1エリアと第2エリアを除算すること、第1エリアと第2エリアの倍数を除算すること、第1エリアと第2エリアの線形結合を除算することのうちの1つ以上によって商Qを導出するように構成されてよい。評価装置は、
Figure 2023516032000004
によって商Qを導出するように構成されてよく、
式中、x及びyは横方向座標、A1、A2はそれぞれビームプロファイルの第1エリア及び第2エリア、E(x、y)はビームプロファイルを表す。
追加的に又は代替的に、評価装置は、光スポットの少なくとも1つのスライス又はカットから、中心情報又はエッジ情報の一方又は両方を決定するように適合されてもよい。これは、例えば、商Qの面積分をスライス又はカットに沿った線積分で置き換えることによって実現され得る。精度を向上させるために、光スポットを通るいくつかのスライス又はカットを使用して平均してもよい。楕円形のスポットプロファイルの場合、いくつかのスライス又はカットにわたって平均化すると、改善された距離情報が得られ得る。
例えば、ピクセルのマトリックスを有する光センサの場合、評価装置は、
- 最高のセンサ信号を有するピクセルを決定し、少なくとも1つの中心信号を形成することと;
- マトリックスのセンサ信号を評価し、少なくとも1つの和信号を形成することと;
- 中心信号と和信号を結合させることによって商Qを決定することと;
- 商Qを評価することにより、物体の少なくとも1つの縦方向座標zを決定することと、によって、ビームプロファイルを評価するように構成されてよい。
本明細書で使用される場合、「センサ信号」は、一般に、照射に応答して光センサ及び/又は光センサの少なくとも1つのピクセルによって生成される信号を指す。具体的には、センサ信号は、少なくとも1つのアナログ電気信号及び/又は少なくとも1つのデジタル電気信号などの少なくとも1つの電気信号であり得るか、又はそれらを含み得る。より具体的には、センサ信号は、少なくとも1つの電圧信号及び/又は少なくとも1つの電流信号であり得るか、又はそれらを含み得る。より具体的には、センサ信号は、少なくとも1つの光電流を含み得る。さらに、未処理のセンサ信号が使用されるか、又は、ディスプレイ装置、光センサ、もしくはその他の要素が、フィルタリングなどによる前処理など、センサ信号を処理又は前処理するように適合されることができ、それにより、センサ信号としても使用され得る二次センサ信号を生成する。「中心信号」という用語は、一般に、ビームプロファイルの実質的に中心情報を含む少なくとも1つのセンサ信号を指す。本明細書で使用される場合、「最高のセンサ信号」という用語は、関心領域の局所最大値又は最大値の一方又は両方を指す。例えば、中心信号は、マトリックス全体又はマトリックス内の関心領域のピクセルによって生成された複数のセンサ信号のうち、最高のセンサ信号を有するピクセルの信号であり得、該関心領域は、マトリックスのピクセルによって生成される画像内で予め決定された、又は決定可能であり得る。中心信号は、単一のピクセルから、又は光センサの一群から生じ得、後者の場合、一例として、ピクセルの一群のセンサ信号は、中心信号を決定するために、加算、積分、又は平均化され得る。中心信号が生じるピクセルの一群は、例えば、最高のセンサ信号を有する実際のピクセルから予め決定された距離より短く離れたピクセルなどの隣接するピクセルの一群であり得、又は、最高のセンサ信号から予め決定された範囲内にあるセンサ信号を生成するピクセルの一群であり得る。中心信号が生じるピクセルの一群は、最大のダイナミックレンジを可能にするように、できるだけ大きく選択され得る。評価装置は、複数のセンサ信号、例えば最高のセンサ信号を有するピクセルの周りの複数のピクセルを統合することによって中心信号を決定するように適合されてもよい。例えば、ビームプロファイルは台形ビームプロファイルであってよく、評価装置は、台形の積分、特に台形のプラトーの積分を決定するように適合されてよい。
上述したように、中心信号は、一般に、光スポットの中心にあるピクセルからのセンサ信号などの単一のセンサ信号であってもよいし、又は、光スポットの中心にあるピクセルから生じるセンサ信号の組み合せなど、複数のセンサ信号の組み合せであってもよいし、又は、前述の可能性の1つ以上から導出されるセンサ信号を処理することによって導出される二次センサ信号であってもよい。中心信号の決定は、センサ信号の比較が従来の電子機器によってかなり簡単に実施されるため、電子的に実行されてもよく、又は、ソフトウェアによって完全に又は部分的に実行されてもよい。具体的には、中心信号は、最高のセンサ信号;最高のセンサ信号から予め決定された許容範囲内にあるセンサ信号の一群の平均;最高のセンサ信号を有するピクセルを含むピクセルの一群、及び隣接するピクセルの予め決定された一群からのセンサ信号の平均;最高のセンサ信号を有するピクセルを含むピクセルの一群、及び隣接するピクセルの予め決定された一群からのセンサ信号の合計;最高のセンサ信号から予め決定された許容範囲内にあるセンサ信号の一群の合計;予め決定された閾値を超えるセンサ信号の一群の平均;予め決定された閾値を超えるセンサ信号の一群の合計;最高のセンサ信号を有する光センサを含む光センサの一群、及び隣接するピクセルの予め決定された一群からのセンサ信号の積分;最高のセンサ信号から予め決定された許容範囲内にあるセンサ信号の一群の積分;予め決定された閾値を超えるセンサ信号の一群の積分、からなる群から選択され得る。
同様に、「和信号」という用語は、一般に、ビームプロファイルの実質的にエッジ情報を含む信号を指す。例えば、和信号は、マトリックス全体又はマトリックス内の関心領域のセンサ信号を加算すること、センサ信号を積分すること、又はセンサ信号を平均することによって導出することができ、該関心領域は、マトリックスの光センサによって生成される画像内で予め決定された、又は決定可能である。センサ信号を合計、積分、又は平均化する場合、センサ信号が生成される実際の光センサは、加算、積分、又は平均化から除外されてもよく、あるいは、加算、積分、又は平均化に含まれてもよい。評価装置は、マトリックス全体の、又はマトリックス内の関心領域の信号を積分することにより、和信号を決定するように適合され得る。例えば、ビームプロファイルは台形ビームプロファイルであり得、評価装置は、台形全体の積分を決定するように適合され得る。さらに、台形ビームプロファイルが仮定される場合、エッジ信号及び中心信号の決定は、例えばエッジの傾斜及び位置の決定、及び中心プラトーの高さの決定、ならびに幾何学的考察によるエッジ信号及び中心信号の導出など、台形ビームプロファイルの特性を利用した同等評価で置き換えられてよい。
同様に、中心信号及びエッジ信号はまた、例えばビームプロファイルの円形セグメントなどのビームプロファイルのセグメントを使用することによって決定され得る。例えば、ビームプロファイルは、ビームプロファイルの中心を通過しない分割線又は弦によって2つのセグメントに分割され得る。したがって、一方のセグメントは実質的にエッジ情報を含み、他方のセグメントは実質的に中心情報を含むことになる。例えば、中心信号中のエッジ情報の量をさらに減らすために、エッジ信号が中心信号からさらに減算されてもよい。
商Qは、中心信号と和信号を結合して生成される信号であってよい。具体的には、決定は、中心信号と和信号の商、又はその逆の商を形成すること;中心信号の倍数と和信号の倍数の商、又はその逆の商を形成すること;中心信号の線形結合と、和信号の線形結合の商、又はその逆の商を形成すること、のうちの1つ以上を含み得る。追加的に又は代替的に、商Qは、中心信号と和信号の間の比較に関する少なくとも1つの情報項目を含む任意の信号又は信号の結合を含むことができる。
本明細書で使用される場合、「物体の縦方向座標」という用語は、光センサと物体の間の距離を指す。評価装置は、縦方向座標を決定するために、商Qと縦方向座標の間の少なくとも1つの予め決定された関係を用いるように構成されてよい。予め決定された関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの1つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの予め決定された関係を記憶するための少なくとも1つのデータ記憶装置を備えてよい。
評価装置は、ゼロ次及び高次のすべての反射特徴について距離を計算する少なくとも1つの光子比からの深度アルゴリズムを実行するように構成され得る。
画像の評価は、画像の反射特徴を識別することを含む。評価装置は、反射特徴を識別するために、少なくとも1つの画像分析及び/又は画像処理を実行するように構成され得る。画像分析及び/又は画像処理は、少なくとも1つの特徴検出アルゴリズムを使用してよい。画像分析及び/又は画像処理は、以下:フィルタリング;少なくとも1つの関心領域の選択;センサ信号によって生成された画像と少なくとも1つのオフセットとの間の差分画像の形成;センサ信号によって生成された画像を反転することによるセンサ信号の反転;異なる時間にセンサ信号によって生成された画像間の差分画像の形成;背景補正;カラーチャネルへの分解;色相への分解;飽和;輝度チャネル;周波数分解;特異値分解;ブロブ検出器の適用;コーナー検出器の適用;ヘッセフィルタの行列式の適用;主曲率ベースの領域検出器の適用;最大安定極値領域検出器の適用;一般化されたハフ変換の適用;稜線検出器の適用;アフィン不変特徴検出器の適用;アフィン適応の関心点演算子の適用;ハリスアフィン領域検出器の適用;ヘッセアフィン領域検出器の適用;スケール不変特徴変換の適用;スケールスペース極値検出器の適用;局所特徴検出器の適用;高速化堅牢特徴アルゴリズムの適用;勾配位置及び方向のヒストグラムアルゴリズムの適用;方向付けられた勾配記述子のヒストグラムの適用;Dericheエッジ検出器の適用;差動エッジ検出器の適用;時空関心点検出器の適用;モラベックコーナー検出器の適用;キャニーエッジ検出器の適用;ガウスフィルタのラプラス演算子の適用;差分ガウスフィルタの適用;ソーベル(Sobel)演算子の適用;ラプラス演算子の適用;シャール演算子の適用;プレウィット演算子の適用;ロバーツ演算子の適用;キルシュ演算子の適用;ハイパスフィルタの適用;ローパスフィルタの適用;フーリエ変換の適用;ラドン変換の適用;ハフ変換の適用;ウェーブレット変換の適用;閾値処理;バイナリ画像の生成、のうちの1つ以上を含み得る。関心領域は、ユーザが手動で決定してもよく、又は、光センサによって生成された画像内の特徴を認識するなどによって、自動的に決定されてもよい。
例えば、照射源は、複数の照射領域が、光センサ、例えばCMOS検出器上に生成されるように、点群を生成及び/又は投影するように構成されてよい。さらに、例えばスペックル及び/又は外来光及び/又は多重反射によるなどの外乱が、光センサに存在し得る。評価装置は、少なくとも1つの関心領域、例えば、物体の縦方向座標の決定に使用される光ビームによって照射される1つ以上のピクセルを、決定するように適合され得る。例えば、評価装置は、フィルタリング方法、例えば、ブロブ分析及び/又はエッジフィルタ及び/又は物体認識方法を実行するように適合されてよい。
評価装置は、少なくとも1つの画像補正を行うように構成されてよい。画像補正は、少なくとも1つの背景減算を含み得る。評価装置は、例えば、さらなる照射なしの画像化によって、ビームプロファイルから背景光からの影響を除去するように適合されてよい。
評価装置は、生体組織を照射することにより生成された反射特徴を識別することにより、物体を見つけるように構成されている。評価装置は、反射特徴のそれぞれの少なくとも1つの反射ビームプロファイルを決定するように構成されている。評価装置は、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして反射特徴を識別するように構成される。評価装置は、反射特徴を、そうでなければ背景であると識別するように構成される。
本明細書で使用される場合、「生体組織」という用語は、一般に、生きている細胞を含む生物学的材料を指す。検出器は、生体組織、特に人間の皮膚の検出を行う、特に光学的に検出を行う装置であってよい。生体組織によって生成されたことの「識別」という用語は、検査対象又は試験下の表面が、生体組織、特に人間の皮膚であるか又はそれを含むかを決定及び/又は検証すること、及び/又は、生体組織、特に人間の皮膚を、他の組織、特に他の表面から区別すること、及び/又は、筋肉、脂肪、臓器などの人間の組織の異なるタイプを区別することを指し得る。例えば、生体組織は、皮膚、毛髪、筋肉、脂肪、臓器などの人間の組織又はその一部であってもよいし、それらを含んでいてもよい。例えば、生体組織は、皮膚、毛皮、筋肉、脂肪、臓器などの動物の組織又はその一部であってもよいし、それらを含んでいてもよい。例えば、生体組織は、植物の組織又はその一部であってもよいし、それらを含んでいてもよい。検出器は、動物組織又はその一部を、例えば農業機械又は搾乳機などの無機物組織、金属面、プラスチック面の1つ以上から区別するように適合されることができる。検出器は、植物組織又はその一部を、例えば農業機械などの無機物組織、金属面、プラスチック面の1つ以上から区別するように適合されることができる。検出器は、食品及び/又は飲料を、皿及び/又はグラスから区別するように適合されることができる。検出器は、果物、肉、魚など、異なる種類の食品を区別するように適合されることができる。検出器は、化粧品及び/又は塗布された化粧品を人間の皮膚から区別するように適合されることができる。検出器は、人間の皮膚を、発泡体、紙、木、ディスプレイ、スクリーンから区別するように適合されることができる。検出器は、人間の皮膚を布から区別するように適合されることができる。検出器は、メンテナンス製品を、金属部品などの機械部品の材料から区別するように適合されることができる。検出器は、有機材料を無機材料から区別するように適合されることができる。検出器は、人間の生体組織を、人工物の表面又は非生物の表面から区別するように適合されることができる。検出器は、特に非治療的及び非診断的用途に使用されることができる。
本明細書で使用される場合、「少なくとも1つの予め決定された又は予め定義された基準」という用語は、生体組織、特に人間の皮膚を他の材料から区別するのに適した少なくとも1つの特性及び/又は値を指す。予め決定された又は予め定義された基準は、材料特性を参照する少なくとも1つの予め決定された又は予め定義された値及び/又は閾値及び/又は閾値範囲であってもよく、又はそれを含んでいてよい。反射特徴は、反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織によって生成されたものとして示され得る。本明細書で使用する場合、「示す」という用語は、電子信号及び/又は少なくとも1つの視覚的又は音響的表示などの任意の表示を指す。
評価装置は、反射特徴のビームプロファイルを評価することによって、物体の少なくとも1つの材料特性mを決定するように構成されてよい。本明細書で使用される場合、「材料特性」という用語は、材料の特徴付け及び/又は識別及び/又は分類のために構成された、材料の少なくとも1つの任意の特性を指す。例えば、材料特性は、粗さ、材料への光の透過深度、生物学的材料又は非生物学的材料として材料を特徴付ける特性、反射率、鏡面反射率、拡散反射率、表面特性、半透明の尺度、散乱、具体的には、後方散乱挙動などからなる群から選択される特性であってよい。少なくとも1つの材料特性は、散乱係数、透光性、透明性、ランバート表面反射からの偏差、スペックルなどからなる群から選択される特性であってもよい。本明細書で使用される場合、「少なくとも1つの材料特性を識別する」という用語は、材料特性を決定すること、物体に材料特性を割り当てることの1つ以上を指す。検出器は、予め定義された及び/又は予め決定された材料特性のルックアップリスト及び/又はルックアップテーブルなどのリスト及び/又はテーブルを含む少なくとも1つのデータベースを含んでよい。材料特性のリスト及び/又はテーブルは、本発明による検出器を使用して少なくとも1つの試験測定を行うことにより、例えば既知の材料特性を有するサンプルを使用して材料試験を行うことにより、決定及び/又は生成されることができる。材料特性のリスト及び/又はテーブルは、製造業者サイトで、及び/又は検出器のユーザによって、決定及び/又は生成されることができる。材料特性は、例えば、材料名、生物学的材料又は非生物学的材料などの材料グループ、透光性材料又は非透光性材料、金属又は非金属、皮膚又は非皮膚、毛皮又は非毛皮、カーペット又は非カーペット、反射性又は非反射性、鏡面反射性又は非鏡面反射性、泡又は非泡、毛髪又は非毛髪、粗さグループなどの1つ以上などの材料分類にさらに割り当てられてよい。検出器は、材料特性及び関連する材料名及び/又は材料グループを含むリスト及び/又はテーブルを含む少なくとも1つのデータベースを含んでよい。
例えば、この理論に拘束されることを望まないが、人間の皮膚は、表面反射と呼ばれる表面の後方反射によって生成される部分と、後方反射の拡散部分と呼ばれる皮膚を透過する光からの非常に拡散した反射によって生成される部分とを含む、後方散乱プロファイルとも呼ばれる反射ビームプロファイルを有し得る。人間の皮膚の反射プロファイルに関しては、「Lasertechnikinder Medizin:Grundlagen、Systeme、Anwendungen」、「WirkungvonLaserstrahlung auf Gewebe」1991,10171~266頁,Juergen Eichler,Theo Seiler,Springer Verlag,ISBN 0939-0979を参照されたい。皮膚の表面反射は、波長が近赤外に向かって増加するのにつれて増加する可能性がある。さらに、透過深度は、波長が可視光から近赤外に増加するとともに増加する可能性がある。後方反射の拡散部分は、光の透過深度の増加とともに増加する可能性がある。これらの特性は、後方散乱プロファイルを分析することによって、皮膚を他の材料から区別するために使用されることができる。
具体的には、評価装置は、反射ビームプロファイルを、少なくとも1つの予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルと比較するように構成されてよい。予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルは、テーブル又はルックアップテーブルに記憶されてよく、例えば経験的に決定されてもよく、及び一例として、検出器の少なくとも1つのデータ記憶装置に記憶されてもよい。例えば、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルは、検出器を備えるモバイル装置の初期起動時に決定されてよい。例えば、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルは、例えばソフトウェアによって、具体的にはアプリストア等からダウンロードされたアプリによってなど、モバイル装置の少なくとも1つのデータ記憶装置に記憶されてよい。反射特徴は、反射ビームプロファイルと、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルとが同一である場合に、生体組織によって生成されたものとして示され得る。比較は、反射ビームプロファイルと、予め決定された又は予め定義されたビームプロファイルとを、それらの強度中心がマッチングするように重ね合わせることを含むことができる。比較は、反射ビームプロファイルと、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルとの間の偏差、例えば、点間距離の二乗和を決定することを含んでよい。評価装置は、決定された偏差を少なくとも1つの閾値と比較するように適応されてよく、決定された偏差が閾値より低く及び/又は閾値に等しい場合、表面は生体組織として示され、及び/又は生体組織の検出が確認される。閾値は、テーブル又はルックアップテーブルに記憶されてよく、例えば経験的に決定されてもよく、及び一例として、検出器の少なくとも1つのデータ記憶装置に記憶されてもよい。
追加的に又は代替的に、反射特徴が生体組織によって生成されたかどうかを識別するために、評価装置は、エリアの画像に少なくとも1つの画像フィルタを適用するように構成されてよい。本明細書でさらに使用される場合、「画像」という用語は、二次元関数f(x,y)を指し、ここで、明るさ及び/又は色の値は、画像内の任意のx,y位置に対して与えられる。位置は、記録ピクセルに対応して離散化されてよい。明るさ及び/又は色は、光センサのビット深度に対応して離散化されてよい。本明細書で使用される場合、「画像フィルタ」という用語は、ビームプロファイル及び/又はビームプロファイルの少なくとも1つの特定領域に適用される少なくとも1つの数学演算を指す。具体的には、画像フィルタФは、画像f又は画像内の関心領域を、実数Ф(f(x,y))=φにマッピングし、ここでφは特徴、特に材料特徴を示している。画像はノイズの影響を受ける可能性があり、特徴についても同様である。したがって、特徴はランダム変数であってよい。特徴は正規分布に従ってもよい。特徴が正規分布に従っていない場合は、ボックスコックス変換(Box-Cox-Transformation)などによって正規分布に従うように変換されてもよい。
評価装置は、少なくとも1つの材料依存画像フィルタФを画像に適用することによって、少なくとも1つの材料特徴φ2mを決定するように構成されてよい。本明細書で使用される場合、「材料依存」画像フィルタはという用語は、材料依存の出力を有する画像を指す。材料依存画像フィルタの出力は、本明細書では「材料特徴φ2m」又は「材料依存特徴φ2m」と示される。材料特徴は、反射特徴を生成したエリアの表面の少なくとも1つの材料特性に関する少なくとも1つの情報であってもよく、又はそれを含んでいてもよい。
材料依存画像フィルタは、輝度フィルタ;スポット形状フィルタ;二乗ノルム勾配;標準偏差;ガウスフィルタ又はメディアンフィルタなどの平滑性フィルタ;グレーレベル発生ベースのコントラストフィルタ;グレーレベル発生ベースのエネルギーフィルタ;グレーレベル発生ベースの均一性フィルタ;グレーレベル発生ベースの非類似性フィルタ;ローのエネルギーフィルタ;閾値領域フィルタ;もしくはこれらの線形結合;又は、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタ、又は|ρФ2other,Фm|≧0.40によるこれらの線形結合(Фは、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタ、又はそれらの線形結合の1つである)の1つ以上に相関するさらなる材料依存画像フィルタФ2other、からなる群から選択される少なくとも1つのフィルタであってよい。さらなる材料依存画像フィルタФ2otherは、材料依存画像フィルタФの1つ以上と、|ρФ2other,Фm|≧0.60、好ましくは|ρФ2othe,Фm|≧0.80によって相関していてもよい。
材料依存画像フィルタは、仮説検証を通過する少なくとも1つの任意のフィルタΦであり得る。本明細書で使用される場合、「仮説検証を通過する」という用語は、ヌル仮説Hが棄却され、代替仮説Hが受け入れられるという事実を指す。仮説検証は、予め定義されたデータセットに画像フィルタを適用することによって、画像フィルタの材料依存性を検証することを含んでいてよい。データセットは、複数のビームプロファイル画像を含んでいてよい。本明細書で使用される場合、「ビームプロファイル画像」という用語は、NBガウス放射状基底関数の合計を指し、
Figure 2023516032000005
式中、
Figure 2023516032000006
ガウス放射状基底関数のそれぞれは、中心
Figure 2023516032000007
前因子
Figure 2023516032000008
及び、指数因子
Figure 2023516032000009
によって、定義される。指数因子は、すべての画像のすべてのガウス関数で同一である。中心位置、
Figure 2023516032000010
は、すべての画像
Figure 2023516032000011
で同一である。データセット内のビームプロファイル画像のそれぞれは、材料分類と距離に対応していてよい。材料分類は、「材料A」、「材料B」などのラベルであってよい。ビームプロファイル画像は、
Figure 2023516032000012
に関する上記の式を、以下のパラメータテーブルと組み合わせて使用することによって生成されることができる:
Figure 2023516032000013
Figure 2023516032000014
の値は、
Figure 2023516032000015
のピクセルに対応する整数である。画像は、32×32のピクセルサイズを有することができる。ビームプロファイル画像のデータセットは、
Figure 2023516032000016
の連続的な記述を得るために、パラメータセットと組み合わせて、
Figure 2023516032000017
に対する上述の式を使用することによって生成され得る。32×32画像の各ピクセルの値は、
Figure 2023516032000018
に対して、0,...,31からの整数値を挿入することによって得ることができる。例えば、ピクセル(6,9)の場合、値
Figure 2023516032000019
が計算され得る。
続いて、各画像
Figure 2023516032000020
についてフィルタΦに対応する特徴値
Figure 2023516032000021
が計算されることができ、
Figure 2023516032000022

式中zは、予め定義されたデータセットからの画像fに対応する距離値である。これにより、対応する生成された特徴値
Figure 2023516032000023
を有するデータセットが得られる。仮説検証では、フィルタが材料分類を区別しないヌル仮説を使用してよい。ヌル仮説は、
Figure 2023516032000024
で与えられてよく、ここで
Figure 2023516032000025
は、特徴値
Figure 2023516032000026

に対応する各材料群の期待値である。インデックスmは材料群を表す。仮説検証は、フィルタが少なくとも2つの材料分類を区別するということを代替仮説として用いることができる。その代替仮説は
Figure 2023516032000027
によって与えられ得る。本明細書で使用される場合、「材料分類を区別しない」という用語は、材料分類の期待値が同一であることを指す。本明細書で使用される場合、「材料分類を区別する」という用語は、材料分類の少なくとも2つの期待値が異なることを指す。本明細書で使用される場合、「少なくとも2つの材料分類を区別する」は、「適切な材料分類」と同義で使用される。仮説検証は、生成された特徴値に関する少なくとも1つの分散分析(ANOVA)を含み得る。特に、仮説検証は、各J材料についての特徴値の平均値、すなわち、
Figure 2023516032000028
に対して、
Figure 2023516032000029
を求めることを含んでもよく、ここで
Figure 2023516032000030
は、事前に定義されたデータセットにおける各
Figure 2023516032000031
材料の特徴値の数を示す。仮説検証は、すべての
Figure 2023516032000032
特徴値の平均値
Figure 2023516032000033
を決定することを含む。仮説検証は、
Figure 2023516032000034
内の平均平方和を決定することを含んでいてよい:
仮説検証は、以下の間の平均平方和を決定することを含んでよい、
Figure 2023516032000035
ここで、
Figure 2023516032000036
は正則化された不完全ベータ関数
Figure 2023516032000037
であり、ここでオイラーベータ関数
Figure 2023516032000038
及び、
Figure 2023516032000039
は不完全ベータ関数である。画像フィルタは、p値であるpが予め定義された有意水準よりも小さいか等しい場合、仮説検証を通過し得る。フィルタは、p≦0.075、好ましくはp≦0.05、より好ましくはp≦0.025、最も好ましくはp≦0.01である場合、仮説検証を通過し得る。例えば、予め定義された有意水準がα=0.075の場合、画像フィルタはp値がα=0.075より小さい場合に仮説検証を通過することができる。この場合、ヌル仮説Hが拒否され、代替仮説Hが受け入れられることができる。画像フィルタは、このように少なくとも2つの材料分類を区別する。このように、画像フィルタは仮説検証を通過する。
以下では、反射画像が少なくとも1つの反射特徴、特にスポット画像を含むと仮定して、画像フィルタについて説明する。スポット画像
Figure 2023516032000040
は、関数
Figure 2023516032000041
によって与えられることができ、ここで、画像fの背景は既に差し引かれることができる。しかし、他の反射特徴も可能であり得る。
例えば、材料依存画像フィルタは、輝度フィルタであってよい。輝度フィルタは、スポットの輝度測定値を材料特徴として返すことができる。材料特徴は、
Figure 2023516032000042
によって決定され得、式中、fはスポット画像である。スポットの距離はzで示され、ここで、zは、例えば、デフォーカスからの深度技術又は光子比からの深度技術を用いて、及び/又は三角測量技術を用いて得られる。材料の表面法線は
Figure 2023516032000043
によって与えられ、少なくとも3つの測定点に展張された表面の法線として得られる。ベクトル
Figure 2023516032000044
は、光源の方向ベクトルである。スポットの位置が、デフォーカスからの深度又は光子比からの深度技術を用いることによって及び/又は三角測量技術を用いることによって知られているため(ここで光源の位置は検出器システムのパラメータとして知られている)、
Figure 2023516032000045
は、スポットの位置と光源の位置の間の差分ベクトルである。
例えば、材料依存画像フィルタは、スポット形状に依存した出力を有するフィルタであってよい。この材料依存画像フィルタは、材料の透光性に相関する値を材料特徴として返すことができる。材料の透光性は、スポットの形状に影響を与える。材料特徴は、




Figure 2023516032000046
によって与えられ、式中、
Figure 2023516032000047
はスポットの高さhに対する重みであり、HはHeavyside関数、すなわち
Figure 2023516032000048
である。スポット高さhは、以下によって決定され得、
Figure 2023516032000049
式中、Bは半径rを有するスポットの内円である。
例えば、材料依存画像フィルタは、二乗ノルム勾配であってよい。この材料依存画像フィルタは、材料特徴としてのスポットのソフトとハードの遷移及び/又は粗さの測定値に相関する値を返してよい。材料特徴は、
Figure 2023516032000050
によって、定義されてよい。例えば、材料依存画像フィルタは、標準偏差であってもよい。スポットの標準偏差は、
Figure 2023516032000051
によって、決定されてよい。
式中、μは
Figure 2023516032000052
によって与えられる平均値である。
例えば、材料依存画像フィルタは、ガウスフィルタ又はメディアンフィルタなどの平滑性フィルタであってよい。平滑性フィルタの一実施形態では、この画像フィルタは、体積散乱が拡散散乱材料と比較して少ないスペックルコントラストを示すという観察を参照することができる。この画像フィルタは、材料特徴としてスペックルコントラストに対応するスポットの平滑性を定量化することができる。材料特徴は、
Figure 2023516032000053
によって、決定されてよく、式中、
Figure 2023516032000054
は平滑化関数であり、例えばメディアンフィルタ又はやガウスフィルタなどである。この画像フィルタは、上述の式で説明したように、距離zによる除算を含んでよい。距離zは、例えば、デフォーカスからの深度技術又は光子比からの深度技術を用いて、及び/又は、三角測量技術を用いて決定されてよい。これにより、フィルタが距離の影響を受けなくなることが可能である。平滑化フィルタの一実施形態では、平滑化フィルタは、抽出されたスペックルノイズパターンの標準偏差に基づいてよい。スペックルノイズパターンNは、
Figure 2023516032000055
によって、経験的な方法で記述されることができ、式中、
Figure 2023516032000056
は、スペックル除去したスポットの画像である。
Figure 2023516032000057
は、スペックルパターンをモデル化したノイズ項である。スペックル除去した画像の計算は困難な場合がある。したがって、スペックル除去した画像は、fの平滑化バージョン、すなわち、
Figure 2023516032000058
によって近似化されてよく、式中、
Figure 2023516032000059
は、ガウスフィルタ又はやメディアンフィルタのような平滑化演算子である。したがって、スペックルパターンの近似は、
Figure 2023516032000060
によって、与えられてよい。
このフィルタの材料特徴は、
Figure 2023516032000061
によって、決定されてよい。
式中、Varは分散関数を表す。
例えば、画像フィルタは、グレーレベル発生ベースのコントラストフィルタであってよい。この材料フィルタは、グレーレベル発生マトリックス
Figure 2023516032000062
に基づいてよく、ここで
Figure 2023516032000063
はグレー結合(g1,g2)=[f(x1,y1),f(x2,y2)]、]の発生率であり、関係ρは、ρ(x,y)=(x+a,y+b)であって、(x,y)と(x,y)の間の距離を定義し、aとbは0,1から選択される。
グレーレベル発生ベースのコントラストフィルタの材料特徴は、
Figure 2023516032000064
によって与えられてよい。
例えば、画像フィルタは、グレーレベル発生ベースのエネルギーフィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。
グレーレベル発生ベースのエネルギーフィルタの材料特徴は、
Figure 2023516032000065
によって与えられてよい。
例えば、画像フィルタは、グレーレベル発生ベースの均一性フィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。グレーレベル発生ベースの均一性フィルタの材料特徴は、
Figure 2023516032000066
によって与えられてよい。
例えば、画像フィルタは、グレーレベル発生ベースの非類似性フィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。グレーレベル発生ベースの非類似性フィルタの材料特徴は、
Figure 2023516032000067
によって与えられてよい。
例えば、画像フィルタは、ローエネルギーフィルタであってよい。この材料フィルタは、ローベクトルL=[1,4,6,4,1]及びE=[-1,-2,0,-2,-1]及び材料L(E及びE(Lに基づいている。画像fはこれらのマトリックス:
Figure 2023516032000068
で畳み込まれている。
ここで、ローのエネルギーフィルタの材料特徴は、
Figure 2023516032000069
によって、決定されてよい。
例えば、材料依存の画像フィルタは、閾値領域フィルタであってよい。この材料特徴は、画像平面内の2つのエリアを関連してよい。第1エリアΩ1、は、関数fがfの最大値のα倍よりも大きいエリアであってもよい。第2エリアΩ2、は、関数fがfの最大値のα倍よりも小さいが、fの最大値のε倍の閾値よりも大きいエリアであってよい。好ましくは、αは0.5、εは0.05であり得る。スペックル又はノイズのために、エリアはスポット中心の内円と外円に単純に対応していない場合がある。例えば、Ω1は、外円のスペックル又は接続されていないエリアを含み得る。材料特徴は、
Figure 2023516032000070
によって、決定されてよく、式中、Ω1={x|f(x)>α・max(f(x))}及びΩ2={x|ε・max(f(x))<f(x)<α・max(f(x))}である。
評価装置は、反射特徴を生成した表面の材料特性を決定するために、材料特徴φ2mと反射特徴を生成した表面の材料特性との間の少なくとも1つの予め決定された関係を用いるように構成されていてよい。予め決定された関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの1つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの、予め決定された関係を記憶するための少なくとも1つのデータ記憶装置を備えてよい。
評価装置は、その対応する材料特性が少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして反射特徴を識別するように構成されている。反射特徴は、材料特性が「生体組織」を示す場合に、生体組織によって生成されたものとして識別されることができる。反射特徴は、材料特性が少なくとも1つの閾値もしくは範囲より低く又は等しい場合に、生体組織によって生成されたものとして識別されてよく、決定された偏差が閾値より低く又は等しい場合は、反射特徴は、生体組織によって生成されたものと識別され、及び/又は生体組織の検出が確認される。少なくとも1つの閾値及び/又は範囲は、テーブル又はルックアップテーブルに格納され得、例えば経験的に決定され得、一例として、検出器の少なくとも1つのデータ記憶装置に格納されてよい。評価装置は、そうでなければ背景であるとして反射特徴を識別するように構成される。したがって、評価装置は、深度情報及び材料特性(例えば皮膚のイエス又はノー)を各投影スポットに割り当てるように構成され得る。
材料特性は、縦方向座標zに関する情報がφ2mの評価のために考慮され得るように、縦方向座標zを決定した後に、φ2mを評価することによって決定されることができる。
評価装置は、少なくとも1つのセグメンテーションアルゴリズムを使用することによって、エリアの画像をセグメント化するように構成される。本明細書で使用される場合、「セグメント」という用語は、画像の一部及び/又は画像のサブ部分及び/又は画像の領域を指し得る。セグメントは、一組のピクセルを含むことができる。本明細書で使用される場合、「セグメント化」という用語は、画像を複数のセグメントに分割するプロセスを指し得る。セグメンテーションは、同じラベルを有するピクセルが少なくとも1つの特性を共有するように、画像のすべてのピクセルに少なくとも1つのラベルを割り当てることを含むことができる。ラベルは、事前に定義されたターゲットの下で割り当てられてよい。セグメンテーションは、バイナリセグメンテーションであってよい。バイナリセグメンテーションは、画像のピクセルを「皮膚ピクセル」と「背景ピクセル」としてラベル付けすることを含むことができる。皮膚以外のピクセルはすべて背景と見なすことができる。皮膚ピクセルは、画像ベースのセグメンテーションアルゴリズムの入力として機能する前景シード(シード点とも呼ばれる)と見なすことができる。画像セグメント化に関しては、https://en.wikipedia.org/wiki/Image_segmentationを参照されたい。セグメンテーションアルゴリズムは、少なくとも1つの領域成長画像セグメンテーション方法を含んでいてよい。
セグメンテーションアルゴリズムは、先験的知識の融合及び/又は考慮のために構成され得る。具体的には、セグメンテーションアルゴリズムは、ビームプロファイル分析から決定された材料情報を融合及び/又は考慮するように構成されてよい。これにより、目に見える皮膚の動きに対する位置データのみを取得又はフィルタリングすることができる。対照的に、従来の構成では、例えば、何が指/腕で何がそうでないかの認識と分離を最初に行う必要がある。材料情報を使用することに加えて、評価装置は、物体、特に画像内の手領域を背景からセグメント化するために、深度マップに関して深度情報を考慮するように構成されてよい。
セグメンテーションアルゴリズムは、グラフカット、レベルセット、ファストマーチング及びマルコフ確率場アプローチの1つ以上などのエネルギー関数又はコスト関数に基づいてよい。画像のセグメンテーションは、色均質性及びエッジインジケーターによって駆動され得、ここで、シード点は、エッジ基準及び色均質性基準を構成する。本明細書で使用する場合、「シード点」という用語は、セグメンテーションアルゴリズムの開始点を指し得る。生体組織を照射することによって生成されたものとして識別された反射特徴は、シード点として使用され、背景として識別された反射特徴は、セグメンテーションアルゴリズムのための背景シード点として使用される。これらのシード点は、エッジ及び色均質性の基準を構成することができ、したがって、「皮膚は画像内でどの色及び/又は反射及び/又は外観であるか」というターゲットのセグメンテーションの適切な初期化を提供することができる。
例えば、グラフカットセグメンテーションが使用されてよい。グラフカットセグメンテーションは、先験的知識がそれを組み合わせる際にリアルタイム機能を追加的提供する時に、先験的知識を、スーパーピクセルなどの事前クラスタリングアルゴリズムと融合させるように構成されることができ、R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,and S.Suesstrunkによる,「Slic superpixels compared to state-of-the-art superpixel methods,」 IEEE TPAMI,34巻、11号、2012年を参照されたい。例えば、修正されたレイジースナップグラフカットが使用されてよい。修正レイジースナップグラフカットに関しては、Li,Yin and Sun,Jian and Tang,Chi-Keung and Shum,Heung-Yeungによる,「Lazy Snapping」,ACM Trans.Graph.,23巻,3号、2004年を参照されたい。ギブスエネルギー項は、グラフカットセグメンテーションルーチンのために深度情報を組み込むための追加の項を含むことができる。Li,Yin and Sun,Jian and Tang,Chi-Keung and Shum,Heung-Yeungによる,「Lazy Snapping」,ACM Transで提案されているような分水界ベースの事前セグメンテーションの代わりに、スーパーピクセルクラスタリングがリアルタイム機能を確保するために使用され得る。
評価装置は、セグメント化された画像と深度マップを考慮して、空間における物体の位置及び/又は向きを決定するように構成される。本明細書で使用される場合、「セグメント化された画像」という用語は、セグメンテーション処理後の画像、及び/又はセグメンテーションアルゴリズムの結果を指し得る。本明細書で使用される場合、「位置」という用語は、空間における物体及び/又は物体の少なくとも1つの部分の位置及び/又は向きに関する少なくとも1つの情報項目を指す。距離は、縦方向座標であってよく、又は物体の点の縦方向座標を決定することに寄与してもよい。追加的又は代替的に、物体及び/又は物体の少なくとも1つの部分の位置及び/又は向きに関する1つ以上の他の情報項目が決定されてよい。一例として、付加的に、物体及び/又は物体の少なくとも1つの部分の少なくとも1つの横方向座標が決定されてよい。したがって、物体の位置は、物体及び/又は物体の少なくとも1つの部分の少なくとも1つの縦方向座標を意味し得る。追加的又は代替的に、物体の位置は、物体及び/又は物体の少なくとも1つの部分の少なくとも1つの横方向座標を意味し得る。追加的又は代替的に、物体の位置は、空間における物体の向きを示す、物体の少なくとも1つの向き情報を意味し得る。
評価装置は、空間における物体の位置及び/又は向きから、少なくとも1つの手のポーズ又はジェスチャを決定するように構成され得る。評価装置は、セグメント化された画像から、特に、物体としてラベル付けされたセグメント化画像の部分から、ジェスチャを認識するように構成され得る。評価装置は、セグメント化された画像内の掌と指の画像座標を識別するように構成され得る。掌と指の識別は、セグメンテーションから得られてよい。評価装置は、物体としてラベル付けされたセグメント化画像の部分から、色及び/又は輝度及び/又は勾配値などの特徴を抽出するように構成されてよい。例えば、掌と指の先端は、標準的なOpenCVルーチンを使用して検出されてよい。
評価装置は、掌と指先の画像座標及び深度マップを考慮して、少なくとも1つの三次元指ベクトルを決定するように構成されてよい。本明細書で使用される場合、「三次元指ベクトル」という用語は、指先の点と掌の点とによって広げられる3Dベクトルを指し得る。3D指ベクトルは、空間における指の位置及び向きを特定し得る。評価装置は、画像及び深度マップから3D指ベクトルを決定するように構成されてよい。3D指ベクトルは、手のポーズ推定及びシーン解釈のための基礎を提供することができる。手のジェスチャの認識のために、評価装置は、隠れマルコフモデル(HMM)、サポートベクターマシン(SVM)、条件付き確率場(CRF)などの少なくとも1つの分類器を使用するように構成されてよい。分類器は、手のジェスチャを識別するために構成されてもよい。
本発明によるビームプロファイル分析センサのフュージョンコンセプトの使用は、堅固な検出結果、複雑なモデルの仮定が不要、単一センサコンセプト、簡単な統合、リアルタイム機能を提供する利点がある。
さらなる態様において、本発明は、ジェスチャ検出のための方法を開示し、ここでは、本発明による検出器が使用される。本方法は、以下のステップ:
a)少なくとも1つの物体を含む少なくとも1つのエリア上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するステップであって、前記物体は少なくとも部分的に少なくとも1つの人間の手を含んでいる、ステップと;
b)少なくとも1つの感光エリアを有する少なくとも1つの光センサを使用して、前記エリアの少なくとも1つの画像を決定するステップであって、前記画像は、前記照射特徴による照射に応答して前記エリアによって生成された複数の反射特徴を含む、ステップと;
c)少なくとも1つの評価装置を使用することによって、前記反射特徴のそれぞれについて少なくとも1つの深度情報を決定することにより、前記エリアの少なくとも1つの深度マップを決定するステップと;
d)生体組織を照射することによって生成された前記反射特徴を識別することにより、前記評価装置を使用することによって前記物体を見つけるステップであって、前記反射特徴のそれぞれの少なくとも1つの反射ビームプロファイルが決定され、反射特徴が、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして識別され、前記反射特徴は、そうでなければ背景であると識別される、ステップと;
e)少なくとも1つのセグメンテーションアルゴリズムを使用することにより、前記評価装置を使用することによって前記エリアの画像をセグメント化するステップであって、生体組織を照射することによって生成されたものとして識別された反射特徴をシード点として使用し、背景として識別された反射特徴を前記セグメンテーションアルゴリズムの背景シード点として使用するステップと;
f)前記評価装置を使用することによって、前記セグメント化された画像と前記深度マップとを考慮して、空間における前記物体の位置及び/又は向きを決定するステップと、
を含む。
方法ステップは、所定の順序で実行されてもよいし、異なる順序で実行されてもよい。さらに、列挙されていない1つ以上の追加の方法ステップが存在してもよい。さらに、方法ステップの1つ、1つより多く、又は、すべてさえも、繰り返し実行されてよい。詳細、選択肢、及び定義については、上述した検出器を参照することができる。したがって、具体的には、上記で説明されたように、本方法は、上記で与えられ又は以下でさらに詳細に与えられる1つ以上の実施形態によるなどの、本発明による検出器の使用を含むことができる。
少なくとも1つの評価装置は、例えば本発明による方法の方法ステップの1つ又は複数又はすべてさえも実行又はサポートするように構成された少なくとも1つのコンピュータプログラムなどの、少なくとも1つのコンピュータプログラムを実行するように構成され得る。一例として、ジェスチャを検出することができる1つ以上のアルゴリズムが、実装され得る。
本発明のさらなる態様においては、上記で与えられた又は以下でさらに詳細に与えられる1つ以上の実施形態などによる、本発明による検出器の使用が、交通技術における位置測定;娯楽用途;セキュリティ用途;監視用途;安全用途;ヒューマンマシンインターフェイス用途;追跡用途;写真用途;画像化用途又はカメラ用途;少なくとも1つの空間マップを生成するためのマッピング用途;車両用のホーミング又は追跡ビーコン検出器;屋外用途;モバイル用途;通信用途;マシンビジョン用途;ロボット用途;品質管理用途;製造用途、からなる群から選択される使用目的のために、提案される。
本発明の検出器のさらなる使用に関しては、WO2018/091649A1、WO2018/091638A1及びWO2018/091640A1が参照され、その内容は参照によって含まれる。
全体として、本発明の文脈において、以下の実施形態が好ましいと考えられる:
実施の形態1:
- 少なくとも1つの物体を含む少なくとも1つのエリア上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成された少なくとも1つの照射源であって、前記物体が、少なくとも部分的に少なくとも1つの人間の手を含んでいる、少なくとも1つの照射源と;
- 少なくとも1つの感光エリアを有する少なくとも1つの光センサであって、前記光センサは、前記エリアの少なくとも1つの画像を決定するように構成され、前記画像は、前記照射特徴による照射に応答して前記エリアによって生成される複数の反射特徴を含む、少なくとも1つの光センサと;
- 少なくとも1つの評価装置であって、前記評価装置は、前記反射特徴のそれぞれについて少なくとも1つの深度情報を決定することによって、前記エリアの少なくとも1つの深度マップを決定するように構成されている、少なくとも1つの評価装置と、
を備え、
前記評価装置は、生体組織を照射することによって生成された前記反射特徴を識別することによって前記物体を見つけるように構成され、前記評価装置は、前記反射特徴のそれぞれの少なくとも1つの反射ビームプロファイルを決定するように構成され、前記評価装置は、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして反射特徴を識別するように構成され、前記評価装置は、そうでなければ前記反射特徴を背景として識別するように構成され、
前記評価装置は少なくとも1つのセグメンテーションアルゴリズムを使用することによって、前記エリアの画像をセグメント化するように構成され、生体組織を照射することによって生成されたものとして識別された前記反射特徴はシード点として使用され、背景として識別された前記反射特徴はセグメンテーションアルゴリズムのための背景シード点として使用され、
前記評価装置は、前記セグメント化された画像と前記深度マップを考慮して、空間内の前記物体の位置及び/又は向きを決定するように構成されている、ジェスチャ検出のための検出器。
実施形態2:前記評価装置は、前記セグメント化された画像内の掌と指の画像座標を識別するように構成され、前記評価装置は、掌と指先の画像座標及び前記深度マップを考慮して、少なくとも1つの三次元指ベクトルを決定するように構成されている、先行する実施形態による検出器。
実施形態3:前記評価装置は、空間における前記物体の位置及び/又は向きから、少なくとも1つの手のポーズ又はジェスチャを決定するように構成されている、先行する実施形態のいずれか1つによる検出器。
実施形態4:前記セグメンテーションアルゴリズムは、グラフカット、レベルセット、ファストマーチング及びマルコフ確率場アプローチの1つ以上などのエネルギー関数又はコスト関数に基づいている、先行する実施形態のいずれか1つによる検出器。
実施形態5:前記画像のセグメンテーションは、色均質性及びエッジインジケーターによって駆動され、前記シード点は、エッジ基準及び色均質性基準を構成する、先行する実施形態のいずれか1つによる検出器。
実施形態6:前記評価装置は、前記反射特徴のそれぞれの前記反射ビームプロファイルを、少なくとも1つの予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルと比較するように構成されている、先行する実施形態のいずれか1つによる検出器。
実施形態7:前記比較は、前記反射ビームプロファイルと、前記予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルとを、それらの強度中心がマッチングするように重ね合わせることを含み、前記比較は、前記反射ビームプロファイルと、前記予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルとの間の偏差を決定することを含み、前記評価装置は、前記決定された偏差を少なくとも1つの閾値と比較するように構成され、前記決定された偏差が前記閾値より低く及び/又は前記閾値に等しい場合、前記反射機能は生体組織として示される、先行する実施形態による検出器。
実施形態8:前記評価装置は、光子比からの深度、構造化光、ビームプロファイル分析、飛行時間、動きからの形状、焦点からの深さ、三角測量、デフォーカスからの深さ、ステレオセンサ、の1つ以上の技術によって前記反射特徴のそれぞれについて前記深度情報を決定するように構成されている、先行する実施形態のいずれか1つによる検出器。
実施形態9:前記評価装置は、光子比からの深度技術を用いて、前記反射特徴のそれぞれについて前記深度情報を決定するように構成され、前記評価装置は、前記反射特徴の少なくとも1つのビームプロファイルの少なくとも1つの第1エリア及び少なくとも1つの第2エリアを決定するように構成され、前記評価装置は、前記第1エリアと前記第2エリアとを積分するように構成され、前記評価装置は、前記積分された第1エリア及び前記積分された第2エリアを除算すること、前記積分された第1エリア及び前記積分された第2エリアの倍数を除算すること、前記積分された第1エリア及び前記積分された第2エリアの線形結合を除算することの1つ以上により商Qを導出するように構成される、先行する実施形態のいずれか1つによる検出器。
実施形態10:前記反射ビームプロファイルの前記第1エリアは、前記反射ビームプロファイルのエッジ情報を実質的に含み、前記反射ビームプロファイルの前記第2エリアは、前記反射ビームプロファイルの中心情報を実質的に含み、及び/又は、前記反射ビームプロファイルの前記第1エリアは、前記反射ビームプロファイルの左側部分に関する情報を実質的に含み、前記反射ビームプロファイルの前記第2エリアは前記反射ビームプロファイルの右側部分に関する情報を実質的に含む、先行する実施形態による検出器。
実施形態11:前記評価装置は、
Figure 2023516032000071
によって前記商Qを導出するように構成され、
式中、x及びyは横方向座標、A1、A2はそれぞれ反射ビームプロファイルの第1エリア及び第2エリア、E(x、y)は反射ビームプロファイルを表す、先行する2つの実施形態のいずれか1つによる検出器。
実施形態12:前記照射源は、近赤外領域(NIR)において少なくとも1つの照射パターンを生成するように構成される、先行する実施形態のいずれか1つによる検出器。
実施形態13:前記光センサは、少なくとも1つのCMOSセンサを含む、先行する実施形態のいずれか1つによる検出器。
実施形態14:先行する実施形態のいずれか1つによる少なくとも1つの検出器が使用されるジェスチャ検出方法であって、前記方法は以下のステップ:
a)少なくとも1つの物体を含む少なくとも1つのエリア上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するステップであって、前記物体は少なくとも部分的に少なくとも1つの人間の手を含んでいる、ステップと;
b)少なくとも1つの感光エリアを有する少なくとも1つの光センサを使用して、前記エリアの少なくとも1つの画像を決定するステップであって、前記画像は、前記照射特徴による照射に応答して前記エリアによって生成される複数の反射特徴を含む、ステップと;
c)少なくとも1つの評価装置を使用することによって、前記反射特徴のそれぞれについて少なくとも1つの深度情報を決定することにより、前記エリアの少なくとも1つの深度マップを決定するステップと;
d)生体組織を照射することによって生成された前記反射特徴を識別することにより、前記評価装置を使用することによって前記物体を見つけるステップであって、前記反射特徴のそれぞれの少なくとも1つの反射ビームプロファイルが決定され、反射特徴が、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして識別され、前記反射特徴は、そうでなければ背景であると識別される、ステップと;
e)少なくとも1つのセグメンテーションアルゴリズムを使用することにより、前記評価装置を使用することによって前記エリアの画像をセグメント化するステップであって、生体組織を照射することによって生成されたものとして識別された前記反射特徴をシード点として使用し、背景として識別された前記反射特徴を前記セグメンテーションアルゴリズムの背景シード点として使用するステップと;
f)前記評価装置を使用することによって、前記セグメント化された画像と前記深度マップとを考慮して、空間における前記物体の位置及び/又は向きを決定するステップと、
を含む、ジェスチャ検出のための方法。
実施形態15:検出器に関する先行する実施形態のいずれか1つによる検出器の使用であって、使用目的が、ドライバーモニタリング;車内監視;ジェスチャトラッキング;セキュリティ用途;安全用途;ヒューマンマシンインターフェイス用途;情報技術用途;農業用途;作物保護用途;医療用途;メンテナンス用途;化粧品用途、からなる群から選択される、検出器の使用。
本発明のさらなる任意選択の詳細及び特徴は、従属請求項と関連して続く好ましい例示的な実施形態の説明から明らかである。この文脈において、特定の特徴は、孤立した形で、又は他の特徴と組み合わせて実施され得る。本発明は、例示的な実施形態に限定されるものではない。例示的な実施形態は、図に模式的に示されている。個々の図における同一の参照数字は、同一の要素又は同一の機能を有する要素、あるいは、機能に関して互いに対応する要素を指す。
具体的に、図面では:
本発明による検出器の一実施形態を示す図である。 2A~2Cは、本発明によるポーズ検出を示す図である。
実施形態の詳細な説明
図1は、ジェスチャ検出のための検出器110の実施形態を高度に概略的に示している。ジェスチャは、身体の少なくとも1つの部分などの身体のジェスチャ、特に手のジェスチャを含むことができる。ジェスチャは、静的又は動的であってよい。ジェスチャは、指などの手の少なくとも1つの部分の動き、片手もしくは両手、顔、又は体の他の部分の動きを含むことができる。ジェスチャ検出は、ジェスチャの有無の決定及び/又はジェスチャ認識を含むことができる。ジェスチャ認識は、数学的アルゴリズムを介して人間のジェスチャを解釈することを含むことができる。
検出器110は、少なくとも1つの物体116を含む少なくとも1つのエリア114上に複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成された少なくとも1つの照射源112を含む。物体116は、少なくとも部分的に少なくとも1つの人間の手を含む。
照射源112は、エリア114の照射のために照射パターンを提供するように構成されていてよい。照射源112は、エリア114を直接的又は間接的に照射するように適合されてよく、照射パターンは、エリア114の表面によって反射又は散乱され、それによって、少なくとも部分的に少なくとも1つの光センサ118に向けられる。照射源112は、例えば、光ビームをエリア114に向けることによって、光ビームを反射するエリア114を照射するように構成されてよい。照射源112は、エリア114を照射するための照射光ビームを生成するように構成されてよい。
エリアは、少なくとも1つの物体116と周囲の環境を含むことができる。例えば、物体は、シーン、人などの人間、木材、カーペット、発泡体、牛などの動物、植物、組織片、金属、玩具、金属の物体、飲料、果物、肉、魚などの食品、皿、化粧品、塗られた化粧品、布、毛皮、髪、メンテナンス用品、プラント、身体、身体の一部、有機材料、無機材料、反射材料、スクリーン、ディスプレイ、壁、写真などの紙、からなる群から選択される少なくとも1つの物体であってよい。物体116は、照射パターンが投影される少なくとも1つの表面を含んでいてよい。表面は、照射パターンを検出器110に向かって少なくとも部分的に反射するように適合されてよい。物体116は、具体的には、人体、又は少なくとも1つの腕、少なくとも1つの手、少なくとも1つの指、又は顔などの人体の少なくとも1つの部分であってよい。物体116は、少なくとも部分的に少なくとも1つの人間の手を含む。物体116は、人間の手及び/又は少なくとも1つの指及び/又は掌の少なくとも1つの部分であってよい。
照射源112は、少なくとも1つの光源を含んでよい。照射源112は、複数の光源を含んでいてよい。照射源112は、人工照射源、特に少なくとも1つのレーザ源、及び/又は少なくとも1つの白熱灯、及び/又は少なくとも1つの半導体光源、例えば少なくとも1つの発光ダイオード、特に有機及び/又は無機発光ダイオードを含み得る。一例として、照射源によって放出される光は、300~1100nm、特に500~1100nmの波長を有し得る。追加的に又は代替的に、780nm~3.0μmの範囲などの赤外スペクトル範囲の光が使用され得る。具体的には、シリコンフォトダイオードが適用可能な特には700nm~1100nmの範囲の近赤外領域部分の光が使用されることができる。照射源は、赤外領域において少なくとも1つの照射パターンを生成するように構成されていてよい。近赤外領域の光を使用することは、光が人間の目では検出されないか、又はわずかにしか検出されないが、シリコンセンサ、特に標準的なシリコンセンサによって検出されることを可能にする。
照射源112は、単一波長で光を放出するように構成されることができる。具体的には、波長は、近赤外領域にあってよい。他の実施形態では、照射源112は、他の波長チャネルでの追加の測定を可能にする複数の波長を有する光を放出するように構成されてよい。
照射源112は、少なくとも1つの多重ビーム光源であってもよく、又は、多重ビーム光源を含んでいてもよい。例えば、照射源112は、少なくとも1つのレーザ源と1つ以上の回折光学要素(DOE)を含んでいてよい。具体的には、照射源112は、少なくとも1つのレーザ及び/又はレーザ源を備えていてよい。様々なタイプのレーザ、例えば、半導体レーザ、ダブルヘテロ構造レーザ、外部キャビティレーザ、分離封じ込めヘテロ構造レーザ、量子カスケードレーザ、分散ブラッグ(bragg)反射器レーザ、ポラリトンレーザ、ハイブリッドシリコンレーザ、拡張キャビティダイオードレーザ、量子ドットレーザ、ボリュームブラッググレーティングレーザ、インジウムヒ素レーザ、トランジスタレーザ、ダイオード励起レーザ、分散フィードバックレーザ、量子ウェルレーザ、バンド間カスケードレーザ、ガリウムヒ素レーザ、半導体リングレーザ、拡張キャビティダイオードレーザ、又は垂直キャビティ面発光レーザなど、が採用されてよい。追加的に又は代替的に、LED及び/又は電球などの非レーザ光源が使用されてよい。照射源112は、照射パターンを生成するように適合された1つ以上の回折光学要素(DOE)を含んでよい。例えば、照射源112は、点群を生成及び/又は投影するように適合されてよく、例えば、照射源は、少なくとも1つのデジタル光処理プロジェクタ、少なくとも1つのLCoSプロジェクタ、少なくとも1つの空間光変調器;少なくとも1つの回折光学要素;発光ダイオードの少なくとも1つのアレイ;レーザ光源の少なくとも1つのアレイ、のうちの1つ以上を含み得る。それらの一般的に定義されるビームプロファイル及び取扱い性の他の特性を考慮すると、照射源としての少なくとも1つのレーザ源の使用が特に好ましい。照射源112は、検出器110のハウジング120に一体化されてよい。
照射源112によって生成された1つ又は複数の光ビームは、一般的に、光軸122に平行に伝播してもよいし、又は、光軸122に対して傾斜して伝播してもよく、例えば、光軸と角度を含んで伝播してもよい。検出器110は、1つ又は複数の光ビームが検出器110の光軸に沿って検出器110からエリア114に向かって伝播するように構成されてよい。この目的のために、検出器110は、照射光ビームを光軸122上に偏向させるための少なくとも1つの反射要素、好ましくは少なくとも1つのプリズムを含んでいてよい。一例として、レーザ光ビームなどの1つ又は複数の光ビーム、及び光軸122は、10°未満、好ましくは5°未満、さらには2°未満の角度を有してよい。しかし、他の実施形態も実現可能である。さらに、1つ又は複数の光ビームは、光軸上にあってもよいし、又は光軸から外れていてもよい。一例として、1つ又は複数の光ビームは、光軸に対して10mm未満、好ましくは5mm未満、さらには1mm未満の距離を有して、光軸122と平行であってもよく、又は光軸と一致さえしていてもよい。
照射パターンは、エリア114の少なくとも1つの部分を照射するように適合された少なくとも1つの照射特徴を含み得る。照射パターンは、単一の照射特徴を含んでよい。照射パターンは、複数の照射特徴を含んでよい。照射パターンは、少なくとも1つの点パターン;少なくとも1つの線パターン;少なくとも1つのストライプパターン;少なくとも1つの市松模様パターン;周期的又は非周期的な特徴の配置を含む少なくとも1つのパターン、からなる群から選択されてよい。照射パターンは、三角形パターン、長方形パターン、六角形パターン、又はさらに凸状のタイル状パターンなどの規則的及び/又は一定及び/又は周期的なパターンを含んでよい。照射パターンは、少なくとも1つの点;少なくとも1つの線;平行線又は交差線などの少なくとも2つの線;少なくとも1つの点と1つの線;周期的又は非周期的な特徴の少なくとも1つの配置;少なくとも1つの任意の形状の特徴からなる群から選択される少なくとも1つの照射特徴を示してよい。照射パターンは:少なくとも1つの点パターン、特に擬似ランダム点パターン;ランダム点パターン又は準ランダムパターン;少なくとも1つのソボル(Sobol)パターン;少なくとも1つの準周期的パターン;少なくとも1つの既知の特徴を含む少なくとも1つのパターン;少なくとも1つの規則的なパターン;少なくとも1つの三角形パターン;少なくとも1つの六角形パターン;少なくとも1つの長方形パターン;凸状の均一なタイル状体(tiling)を含む少なくとも1つのパターン;少なくとも1つの線を含む少なくとも1つの線パターン;平行線又は交差線などの少なくとも2つの線を含む少なくとも1つの線パターン、からなる群から選択される少なくとも1つのパターンを含むことができる。例えば、照射源112は、点群を生成及び/又は投影するように適合され得る。照射源112は、照射パターンが複数の点パターンを含むことができるように点群を生成するように適合された少なくとも1つの光プロジェクタを含み得る。照射源112は、照射源112によって生成された少なくとも1つの光ビームから照射パターンを生成するように適合された少なくとも1つのマスクを含むことができる。
照射パターンの2つの特徴間の距離及び/又は少なくとも1つの照射特徴の面積は、画像内の錯乱円に依存し得る。上記で概説したように、照射源112は、少なくとも1つの照射パターンを生成するように構成された少なくとも1つの光源を含んでよい。具体的には、照射源は、レーザ放射を生成するように割り当てられた少なくとも1つのレーザ源及び/又は少なくとも1つのレーザダイオードを含む。照射源112は、少なくとも1つの回折光学要素(DOE)を含んでよい。検出器110は、少なくとも1つの周期的な点パターンを投影するように適合された、少なくとも1つのレーザ源及びDOEなどの少なくとも1つの点プロジェクタを含んでよい。
照射源112は、照射パターンで少なくとも1つの物体116を照射してよい。照射パターンは、複数の点を含んでよい。これらの点は、照射源112から出てくる光ビーム124として示されている。
検出器110は、少なくとも1つの感光エリア126を有する少なくとも1つの光センサ118を備える。光センサ118は、エリア114の少なくとも1つの画像128を決定するように構成される。画像の一実施形態は、図2Aに示されている。画像128は、照射特徴による照射に応答してエリア114によって生成された複数の反射特徴130を含む。検出器110は、それぞれが感光エリア126を有する複数の光センサ118を備えてよい。好ましくは、感光エリア126は、検出器110の光軸122に対して実質的に垂直に配向されてよい。
光センサ118は、具体的には、少なくとも1つの光検出器、好ましくは無機光検出器、より好ましくは無機半導体光検出器、最も好ましくはシリコン光検出器であってもよく、又はそれらを含んでいてもよい。具体的には、光センサ118は、赤外スペクトル範囲において感度を有してよい。光センサ118は、ピクセルのマトリックスを含む少なくとも1つのセンサ要素を含むことができる。マトリックスの全てのピクセル、又はマトリックスの光センサの少なくとも一群は、具体的には同一であってよい。マトリックスの同一のピクセルの一群は、具体的には、異なるスペクトル範囲について提供されてもよく、又は全てのピクセルが、スペクトル感度に関して同一であってもよい。さらに、ピクセルは、サイズ及び/又はそれらの電子的又は光電子的特性に関して同一であってもよい。具体的には、光センサ118は、赤外スペクトル範囲、好ましくは700nm~3.0マイクロメートルの範囲に感度を有する少なくとも1つの無機フォトダイオードであってもよく、又はそれらを含んでいてもよい。具体的には、光センサ118は、シリコンフォトダイオードが適用可能な特に700nm~1100nmの範囲の近赤外領域の部分で感度を有してよい。光センサに使用され得る赤外光センサは、例えば、ドイツ,D-67056 Ludwigshafen am RheinのtrinamiX GmbHのHertzstueck(登録商標)というブランド名で市販されている赤外光センサなど、市販の赤外光センサであってよい。したがって、一例として、光センサ118は、固有の光起電型の少なくとも1つの光センサ、より好ましくは、Geフォトダイオード、InGaAsフォトダイオード、拡張InGaAsフォトダイオード、InAsフォトダイオード、InSbフォトダイオード、HgCdTeフォトダイオード、からなる群から選択される少なくとも1つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサ118は、外因性光起電型の少なくとも1つの光センサ、より好ましくは、Ge:Auフォトダイオード、Ge:Hgフォトダイオード、Ge:Cuフォトダイオード、Ge:Znフォトダイオード、Si:Gaフォトダイオード、Si:Asフォトダイオードからなる群から選択される少なくとも1つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサ118は、PbSもしくはPbSeセンサなどの少なくとも1つの光導電センサ、ボロメータ、好ましくはVOボロメータ及びアモルファスSiボロメータからなる群から選択されるボロメータを含み得る。
光センサ118は、紫外、可視、又は赤外スペクトル範囲の1つ以上で感度を有してよい。具体的には、光センサ118は、500nm~780nm、最も好ましくは650nm~750nm、又は690nm~700nmの可視スペクトル範囲で感度を有してよい。具体的には、光センサは近赤外領域で感度を有してよい。具体的には、光センサ118は、シリコンフォトダイオードが適用可能な特に700nm~1000nmの範囲の近赤外領域の部分で感度を有してよい。光センサ118は、具体的には、赤外スペクトル範囲、具体的には780nm~3.0μmの範囲で感度を有してよい。例えば、光センサ118は、それぞれ独立に、フォトダイオード、フォトセル、光伝導体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも1つの要素であってもよく、又はそれらを含んでもよい。例えば、光センサ118は、CCDセンサ要素、CMOSセンサ要素、フォトダイオード、フォトセル、光導電体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも1つの要素であってもよく、又はそれを含んでもよい。他の任意のタイプの感光性要素を使用してもよい。感光性要素は、一般に、完全に又は部分的に無機材料で作製されることができ、及び/又は、完全に又は部分的に有機材料で作製されることができる。最も一般的には、市販のフォトダイオード、例えば、無機半導体フォトダイオードなどの1つ以上のフォトダイオードが使用され得る。
光センサ118は、ピクセルのマトリックスを含む少なくとも1つのセンサ要素を含んでいてよい。したがって、一例として、光センサ118は、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、光センサ118は、少なくとも1つのCCD装置及び/又はCMOS装置であってもよく、及び/又は、それらを含んでいてもよい。一例として、光センサ118は、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも1つのCCD装置及び/又はCMOS装置の一部であるか、又は、それを構成してもよい。センサ要素は、一体の単一装置として、又はいくつかの装置の組み合わせとして形成され得る。センサ要素は、光センサのマトリックスを含む。センサ要素は、少なくとも1つのCMOSセンサを含み得る。マトリックスは、独立光センサなどの独立ピクセルで構成されてよい。したがって、無機フォトダイオードのマトリックスを構成することができる。しかしながら、代替的に、市販のマトリックス、例えば、CCD検出器チップなどのCCD検出器の1つ以上、及び/又はCMOS検出器チップなどのCMOS検出器が使用されてもよい。したがって、一般に、センサ要素は、少なくとも1つのCCD装置及び/又はCMOS装置であってもよく、及び/又は、それを含んでいてもよく、及び/又は、光センサは、センサアレイを形成してもよく、又は上述のマトリックスなどのセンサアレイの一部であってもよい。したがって、一例として、センサ要素は、例えばm行及びn列を有する長方形アレイなどのピクセルのアレイを有することができ、ここでm、nは独立して正の整数である。好ましくは、複数の列及び複数の行が与えられ、すなわち、n>1、m>1である。したがって、一例として、nは2~16以上であり得、mは2~16以上であり得る。好ましくは、行数と列数の比は1に近い。一例として、n及びmは、m/n=1:1、4:3、16:9又は類似のものを選択することなどにより、0.3≦m/n≦3となるように選択され得る。一例として、アレイは、m=2、n=2又はm=3、n=3などを選択することなどにより、等しい数の行及び列を有する正方形アレイであってもよい。
マトリックスは独立した光センサなどの独立のピクセルから構成されてよい。したがって、無機フォトダイオードのマトリックスを構成することができる。しかしながら、代替的に、市販のマトリックス、例えばCCD検出器チップなどのCCD検出器、及び/又はCMOS検出器チップなどのCMOS検出器の1つ以上を使用することができる。したがって、一般に、光センサは、少なくとも1つのCCD及び/又はCMOS装置であってよく及び/又はそれを含んでもよく、及び/又は、検出器の光センサは、センサアレイを形成するか、又は上記のマトリックスなどのセンサアレイの一部であり得る。
マトリックスは、具体的には、少なくとも1行、好ましくは複数行及び複数列を有する長方形のマトリックスであってよい。一例として、行及び列は、実質的に垂直な方向に方向付けられてよい。本明細書で使用される場合、「実質的に垂直」という用語は、例えば±20°以下の許容誤差、好ましくは±10°以下の許容誤差、より好ましくは±5°以下の許容誤差を有する垂直な向きの状態を指す。同様に、「実質的に平行」という用語は、例えば±20°以下、好ましくは±10°以下、より好ましくは±5°以下の許容誤差を有する平行な向きの状態を指す。したがって、一例として、20°より小さい、具体的には10°より小さい、又は5°より小さい許容誤差さえ許容され得る。広い視野を提供するために、マトリックスは、具体的には、少なくとも10行、好ましくは少なくとも500行、より好ましくは少なくとも1000行を有することができる。同様に、マトリックスは、少なくとも10列、好ましくは少なくとも500列、より好ましくは少なくとも1000列を有することができる。マトリックスは、少なくとも50個の光センサ、好ましくは少なくとも100000個の光センサ、より好ましくは少なくとも5000000個の光センサを含むことができる。マトリックスは、数メガピクセルの範囲の数のピクセルを含むことができる。しかしながら、他の実施形態も可能である。したがって、軸回転対称性が期待される構成では、ピクセルとも呼ばれ得るマトリックスの光センサの円形配置又は同心配置が好ましいことがある。
したがって、一例として、センサ要素は、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、センサ要素は、少なくとも1つのCCD装置及び/又はCMOS装置であってもよく、及び/又は、それらを含んでいてもよい。一例として、センサ要素は、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも1つのCCD装置及び/又はCMOS装置の一部であるか、又は、それを構成してもよい。センサ要素は、光センサのマトリックスを読み取るために、ローリングシャッタ方式又はグローバルシャッタ方式を採用してもよい。
検出器110は、少なくとも1つの転送装置132をさらに含み得る。検出器110は、1つ以上の追加の光学要素などの1つ以上の追加の要素をさらに含み得る。検出器110は、少なくとも1つのレンズ及び/又は少なくとも1つのレンズシステムなどの転送装置、少なくとも1つの回折光学要素からなる群から選択された少なくとも1つの光学要素を含むことができる。転送装置132は、光ビームを光センサに導くように適合されてよい。転送装置132は、具体的には:少なくとも1つのレンズ、例えば、少なくとも1つの焦点調節可能レンズ、少なくとも1つの非球面レンズ、少なくとも1つの球面レンズ、少なくとも1つのフレネルレンズからなる群から選択される少なくとも1つのレンズ;少なくとも1つの回折光学要素;少なくとも1つの凹面鏡;少なくとも1つのビーム偏向要素、好ましくは少なくとも1つのミラー;少なくとも1つのビーム分割要素、好ましくはビーム分割キューブ又はビーム分割ミラーのうちの少なくとも1つ;少なくとも1つのマルチレンズシステム、の1つ以上を含み得る。焦点距離は入射光ビームを収束させる転送装置132の能力の指標を構成する。したがって、転送装置132は、集束レンズの効果を有し得る1つ以上の画像化要素を含むことができる。例として、転送装置132は、1つ以上のレンズ、特に1つ以上の屈折レンズ、及び/又は1つ以上の凸面ミラーを有することができる。この例では、焦点距離は、薄い屈折レンズの中心から薄いレンズの主焦点までの距離として定義することができる。凸型又は両凸型の薄レンズなどの、集束する薄い屈折レンズの場合、焦点距離は、正であると考えられ、転送装置としての薄レンズに衝突する平行光が単一のスポットに集束され得る距離を与えることができる。さらに、転送装置132は、少なくとも1つの波長選択要素、例えば少なくとも1つの光フィルタを含むことができる。さらに、転送装置は、例えばセンサ領域の位置で、具体的にはセンサエリアで、電磁放射に予め定義されたビームプロファイルを印加するように設計され得る。転送装置132の上記の任意の実施形態は、原則として、個別に、又は任意の所望の組み合わせで実現することができる。
転送装置132は、光軸を有していてよい。具体的には、検出器110と転送装置132は、共通の光軸122を有する。光軸122は、検出器110の光学構成の対称線であってよい。転送装置132は、縦方向座標が光軸122に沿った座標であり、dが光軸122からの空間的オフセットである座標系134を構成してよい。座標系134は、転送装置132の光軸がz軸を形成し、z軸からの距離及び極角が追加の座標として使用され得る極座標系であり得る。z軸に平行又は逆平行な方向は、縦方向とみなすことができ、z軸に沿った座標は縦方向座標とみなすことができる。z軸に垂直な任意な方向は、横方向とみなすことができ、極座標及び/又は極角度は横方向座標とみなすことができる。
光センサ118は、エリア114の少なくとも1つの画像128を決定するように構成される。画像128は、照射特徴による照射に応答してエリアによって生成される複数の反射特徴130を含む。画像128は、少なくとも1つの二次元画像であってよい。画像128は、RGB(red green blue)画像であってよい。
検出器は、少なくとも1つの評価装置136を備える。評価装置136は、画像128を評価するように構成されている。評価装置136は、少なくとも1つのデータ処理装置を備えることができ、より好ましくは、少なくとも1つのプロセッサ及び/又は少なくとも1つの特定用途向け集積回路を使用することができる。したがって、一例として、少なくとも1つの評価装置136は、多数のコンピュータコマンドを含んでそこに記憶されたソフトウェアコードを有する少なくとも1つのデータ処理装置を含んでいてよい。評価装置136は、指定された操作の1つ以上を実行するための1つ以上のハードウェア要素を提供してもよく、及び/又は、指定された操作の1つ以上を実行するためにその上で実行されるソフトウェアを有する1つ以上のプロセッサを提供してもよい。操作は、画像を評価することを含む。具体的には、ビームプロファイルを決定し、表面を表示することは、少なくとも1つの評価装置136によって実行されてよい。したがって、一例として、1つ以上の命令は、ソフトウェア及び/又はハードウェアで実装されることができる。したがって、一例として、評価装置136は、評価を実行するように構成された1つ以上のコンピュータ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA)などの1つ以上のプログラマブル装置を備えることができる。しかしながら、追加的又は代替的に、評価装置136はまた、完全に又は部分的にハードウェアによって具現化されてもよい。
評価装置136及び検出器110は、完全に又は部分的に単一の装置に統合されてよい。したがって、一般に、評価装置136はまた検出器110の一部を形成してよい。あるいは、評価装置136及び検出器110は、完全に又は部分的に、別個の装置として具現化されてもよい。検出器110は、さらなるコンポーネントを含むことができる。
評価装置136は、反射特徴130のそれぞれについて少なくとも1つの深度情報を決定することによって、エリア114の少なくとも1つの深度マップを決定するように構成される。評価装置136は、光子比からの深度、構造化光、ビームプロファイル分析、飛行時間、動きからの形状、焦点からの深さ、三角測量、デフォーカスからの深さ、ステレオセンサ、の1つ以上の技術によって反射特徴130のそれぞれについて深度情報を決定するように構成されていてよい。評価装置136は、背景から物体116、特に画像128内の手の領域をセグメント化するために、深度マップに関して深度情報を考慮するように構成されてよい。
例えば、評価装置136は、光子比からの深度技術を用いて反射特徴130のそれぞれについて深度情報を決定するように構成されてよい。反射特徴130のそれぞれは、反射ビームプロファイルとも呼ばれる少なくとも1つのビームプロファイルを含むことができる。ビームプロファイルは、台形ビームプロファイル;三角形ビームプロファイル;円錐ビームプロファイル及びガウシアンビームプロファイルの線形結合からなる群から選択され得る。評価装置136は、ビームプロファイルの分析により、反射特徴130の各々に関する深度情報を決定するように構成され得る。
評価装置136は、ビームプロファイルの分析によって、反射特徴130のそれぞれについて少なくとも1つの縦方向座標zDPRを決定するように構成されてよい。例えば、ビームプロファイルの分析は、ヒストグラム分析ステップ、差分測定の計算、ニューラルネットワークの適用、機械学習アルゴリズムの適用のうちの少なくとも1つを含み得る。評価装置136は、特に、より大きな角度での記録、エッジなどの記録からノイズ又は非対称性を除去するために、ビームプロファイルを対称化及び/又は正規化及び/又はフィルタリングするように構成されることができる。評価装置136は、空間周波数分析及び/又は中央値フィルタリングなどによってなど、高い空間周波数を除去することによって、ビームプロファイルをフィルタリングすることができる。集約は、光スポットの強度の中心によって実行されてよく、中心までの同じ距離にある全ての強度を平均化することができる。評価装置136は、特に記録された距離による強度差を考慮するように、ビームプロファイルを最大強度に正規化するように構成されてよい。評価装置136は、例えば、照射なしの画像化によって、ビームプロファイルから背景光の影響を除去するように構成されてよい。
評価装置136は、光子比からの深度技術を使用することによって、反射特徴のそれぞれについて縦方向座標zDPRを決定するように構成されてよい。光子比からの深度(DPR)技術に関しては、WO2018/091649A1、WO2018/091638A1及びWO2018/091640A1を参照し、その全内容は参照により含まれる。評価装置136は、ゼロ次及び高次のすべての反射特徴130について距離を計算する少なくとも1つの光子比からの深度アルゴリズムを実行するように構成され得る。
画像128の評価は、画像128の反射特徴130を識別することを含んでいる。評価装置136は、反射特徴130を識別するために、少なくとも1つの画像分析及び/又は画像処理を実行するように構成され得る。画像分析及び/又は画像処理は、少なくとも1つの特徴検出アルゴリズムを使用してよい。画像分析及び/又は画像処理は、以下:フィルタリング;少なくとも1つの関心領域の選択;センサ信号によって生成された画像と少なくとも1つのオフセットとの間の差分画像の形成;センサ信号によって生成された画像を反転することによるセンサ信号の反転;異なる時間にセンサ信号によって生成された画像間の差分画像の形成;背景補正;カラーチャネルへの分解;色相への分解;飽和;輝度チャネル;周波数分解;特異値分解;ブロブ検出器の適用;コーナー検出器の適用;ヘッセフィルタの行列式の適用;主曲率ベースの領域検出器の適用;最大安定極値領域検出器の適用;一般化されたハフ変換の適用;稜線検出器の適用;アフィン不変特徴検出器の適用;アフィン適応の関心点演算子の適用;ハリスアフィン領域検出器の適用;ヘッセアフィン領域検出器の適用;スケール不変特徴変換の適用;スケールスペース極値検出器の適用;局所特徴検出器の適用;高速化堅牢特徴アルゴリズムの適用;勾配位置及び方向のヒストグラムアルゴリズムの適用;方向付けられた勾配記述子のヒストグラムの適用;Dericheエッジ検出器の適用;差動エッジ検出器の適用;時空関心点検出器の適用;モラベックコーナー検出器の適用;キャニーエッジ検出器の適用;ガウスフィルタのラプラス演算子の適用;差分ガウスフィルタの適用;ソーベル(Sobel)演算子の適用;ラプラス演算子の適用;シャール演算子の適用;プレウィット演算子の適用;ロバーツ演算子の適用;キルシュ演算子の適用;ハイパスフィルタの適用;ローパスフィルタの適用;フーリエ変換の適用;ラドン変換の適用;ハフ変換の適用;ウェーブレット変換の適用;閾値処理;バイナリ画像の生成、のうちの1つ以上を含み得る。関心領域は、ユーザが手動で決定してもよく、又は、光センサ118によって生成された画像128内の特徴を認識するなどによって、自動的に決定されてもよい。
例えば、照射源112は、複数の照射領域が、光センサ118、例えばCMOS検出器上に生成されるように、点群を生成及び/又は投影するように構成されてよい。さらに、例えばスペックル及び/又は外来光及び/又は多重反射によるなどの外乱が、光センサ118に存在し得る。評価装置136は、少なくとも1つの関心領域、例えば、物体の縦方向座標の決定に使用される光ビームによって照射される1つ以上のピクセルを、決定するように適合され得る。例えば、評価装置136は、フィルタリング方法、例えば、ブロブ分析及び/又はエッジフィルタ及び/又は物体認識方法を実行するように適合されてよい。
評価装置136は、少なくとも1つの画像補正を行うように構成されてよい。画像補正は、少なくとも1つの背景減算を含み得る。評価装置136は、例えば、さらなる照射なしの画像化によって、ビームプロファイルから背景光からの影響を除去するように適合されてよい。
評価装置136は、生体組織を照射することにより生成された反射特徴130を識別することにより、物体116を見つけるように構成されている。評価装置136は、反射特徴130のそれぞれの少なくとも1つの反射ビームプロファイルを決定するように構成されている。評価装置136は、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして反射特徴130を識別するように構成される。評価装置136は、反射特徴130を、そうでなければ背景であると識別するように構成される。
検出器110は、生体組織、特に人間の皮膚の検出を行う、特に光学的に検出を行う装置であってよい。生体組織によって生成されたという識別は、検査対象又は試験下の表面が、生体組織、特に人間の皮膚であるか又はそれを含むかを決定及び/又は検証すること、及び/又は、生体組織、特に人間の皮膚を、他の組織、特に他の表面から区別すること、及び/又は、筋肉、脂肪、臓器などの人間の組織の異なるタイプを区別することを含み得る。例えば、生体組織は、皮膚、毛髪、筋肉、脂肪、臓器などの人間の組織又はその一部であってもよいし、それらを含んでいてもよい。例えば、生体組織は、皮膚、毛皮、筋肉、脂肪、臓器などの動物の組織又はその一部であってもよいし、それらを含んでいてもよい。例えば、生体組織は、植物の組織又はその一部であってもよいし、それらを含んでいてもよい。検出器110は、動物組織又はその一部を、例えば農業機械又は搾乳機などの無機物組織、金属面、プラスチック面の1つ以上から区別するように適合されることができる。検出器110は、植物組織又はその一部を、例えば農業機械などの無機物組織、金属面、プラスチック面の1つ以上から区別するように適合されることができる。検出器110は、食品及び/又は飲料を、皿及び/又はグラスから区別するように適合されることができる。検出器110は、果物、肉、魚など、異なる種類の食品を区別するように適合されることができる。検出器110は、化粧品及び/又は塗布された化粧品を人間の皮膚から区別するように適合されることができる。検出器110は、人間の皮膚を、発泡体、紙、木、ディスプレイ、スクリーンから区別するように適合されることができる。検出器110は、人間の皮膚を布から区別するように適合されることができる。検出器110は、メンテナンス製品を、金属部品などの機械部品の材料から区別するように適合されることができる。検出器110は、有機材料を無機材料から区別するように適合されることができる。検出器110は、人間の生体組織を、人工物の表面又は非生物の表面から区別するように適合されることができる。検出器110は、特に非治療的及び非診断的用途に使用されることができる。
予め決定された又は予め定義された基準は、生体組織、特に人間の皮膚を他の材料から区別するのに適した少なくとも1つの特性及び/又は値であってよく、又はそれを含んでいてよい。予め決定された又は予め定義された基準は、材料特性を参照する少なくとも1つの予め決定された又は予め定義された値及び/又は閾値及び/又は閾値範囲であってもよく、又はそれを含んでいてよい。反射特徴130は、反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織によって生成されたものとして示され得る。表示は、電子信号及び/又は少なくとも1つの視覚的又は音響的表示などの任意の表示であってよい。
評価装置136は、反射特徴のビームプロファイルを評価することによって、物体の少なくとも1つの材料特性mを決定するように構成されてよい。材料特性は、材料の特徴付け及び/又は識別及び/又は分類のために構成された、材料の少なくとも1つの任意の特性であってよく、又はそれを含んでいてよい。例えば、材料特性は、粗さ、材料への光の透過深度、生物学的材料又は非生物学的材料として材料を特徴付ける特性、反射率、鏡面反射率、拡散反射率、表面特性、半透明の尺度、散乱、具体的には、後方散乱挙動などからなる群から選択される特性であってよい。少なくとも1つの材料特性は、散乱係数、透光性、透明性、ランバート表面反射からの偏差、スペックルなどからなる群から選択される特性であってもよい。少なくとも1つの材料特性を識別することは、材料特性を決定すること、物体に材料特性を割り当てることの1つ以上を含んでよい。検出器110は、予め定義された及び/又は予め決定された材料特性のルックアップリスト及び/又はルックアップテーブルなどのリスト及び/又はテーブルを含む少なくとも1つのデータベースを含んでよい。材料特性のリスト及び/又はテーブルは、本発明による検出器を使用して少なくとも1つの試験測定を行うことにより、例えば既知の材料特性を有するサンプルを使用して材料試験を行うことにより、決定及び/又は生成されることができる。材料特性のリスト及び/又はテーブルは、製造業者サイトで、及び/又は検出器110のユーザによって、決定及び/又は生成されることができる。材料特性は、例えば、材料名、生物学的材料又は非生物学的材料などの材料グループ、透光性材料又は非透光性材料、金属又は非金属、皮膚又は非皮膚、毛皮又は非毛皮、カーペット又は非カーペット、反射性又は非反射性、鏡面反射性又は非鏡面反射性、泡又は非泡、毛髪又は非毛髪、粗さグループなどの1つ以上などの材料分類にさらに割り当てられてよい。検出器110は、材料特性及び関連する材料名及び/又は材料グループを含むリスト及び/又はテーブルを含む少なくとも1つのデータベースを含んでよい。
例えば、この理論に拘束されることを望まないが、人間の皮膚は、表面反射と呼ばれる表面の後方反射によって生成される部分と、後方反射の拡散部分と呼ばれる皮膚を透過する光からの非常に拡散した反射によって生成される部分とを含む、後方散乱プロファイルとも呼ばれる反射ビームプロファイルを有し得る。人間の皮膚の反射プロファイルに関しては、「Lasertechnikinder Medizin:Grundlagen、Systeme、Anwendungen」、「WirkungvonLaserstrahlung auf Gewebe」1991,10171~266頁,Juergen Eichler,Theo Seiler,Springer Verlag,ISBN 0939-0979を参照されたい。皮膚の表面反射は、波長が近赤外に向かって増加するのにつれて増加する可能性がある。さらに、透過深度は、波長が可視光から近赤外に増加するとともに増加する可能性がある。後方反射の拡散部分は、光の透過深度の増加とともに増加する可能性がある。これらの特性は、後方散乱プロファイルを分析することによって、皮膚を他の材料から区別するために使用されることができる。
具体的には、評価装置136は、反射ビームプロファイルを、少なくとも1つの予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルと比較するように構成されてよい。予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルは、テーブル又はルックアップテーブルに記憶されてよく、例えば経験的に決定されてもよく、及び一例として、検出器の少なくとも1つのデータ記憶装置に記憶されてもよい。例えば、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルは、検出器を備えるモバイル装置の初期起動時に決定されてよい。例えば、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルは、例えばソフトウェアによって、具体的にはアプリストア等からダウンロードされたアプリによってなど、モバイル装置の少なくとも1つのデータ記憶装置に記憶されてよい。反射特徴130は、反射ビームプロファイルと、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルとが同一である場合に、生体組織によって生成されたものとして示され得る。比較は、反射ビームプロファイルと、予め決定された又は予め定義されたビームプロファイルとを、それらの強度中心がマッチングするように重ね合わせることを含むことができる。比較は、反射ビームプロファイルと、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルとの間の偏差、例えば、点間距離の二乗和を決定することを含んでよい。評価装置136は、決定された偏差を少なくとも1つの閾値と比較するように適応されてよく、決定された偏差が閾値より低く及び/又は閾値に等しい場合、表面は生体組織として示され、及び/又は生体組織の検出が確認される。閾値は、テーブル又はルックアップテーブルに記憶されてよく、例えば経験的に決定されてもよく、及び一例として、検出器110の少なくとも1つのデータ記憶装置に記憶されてもよい。
追加的に又は代替的に、反射特徴130が生体組織によって生成されたかどうかを識別するために、評価装置136は、エリア114の画像128に少なくとも1つの画像フィルタを適用するように構成されてよい。評価装置136は、少なくとも1つの材料依存画像フィルタФを画像に適用することによって、少なくとも1つの材料特徴φ2mを決定するように構成されてよい。材料特徴は、反射特徴130を生成したエリア114の表面の少なくとも1つの材料特性に関する少なくとも1つの情報であってもよく、又はそれを含んでいてもよい。
材料依存画像フィルタは、輝度フィルタ;スポット形状フィルタ;二乗ノルム勾配;標準偏差;ガウスフィルタ又はメディアンフィルタなどの平滑性フィルタ;グレーレベル発生ベースのコントラストフィルタ;グレーレベル発生ベースのエネルギーフィルタ;グレーレベル発生ベースの均一性フィルタ;グレーレベル発生ベースの非類似性フィルタ;ローのエネルギーフィルタ;閾値領域フィルタ;もしくはこれらの線形結合;又は、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタ、又は|ρФ2other,Фm|≧0.40によるこれらの線形結合(Фは、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタ、又はそれらの線形結合の1つである)の、1つ以上に相関するさらなる材料依存画像フィルタФ2other、からなる群から選択される少なくとも1つのフィルタであってよい。さらなる材料依存画像フィルタФ2otherは、材料依存画像フィルタФの1つ以上と、|ρФ2other,Фm|≧0.60、好ましくは|ρФ2othe,Фm|≧0.80によって相関していてもよい。
評価装置136は、反射特徴130を生成した表面の材料特性を決定するために、材料特徴φ2mと反射特徴130を生成した表面の材料特性との間の少なくとも1つの予め決定された関係を用いるように構成されていてよい。予め決定された関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの1つ以上であってよい。評価装置130は、例えばルックアップリスト又はルックアップテーブルなどの、予め決定された関係を記憶するための少なくとも1つのデータ記憶装置を備えてよい。
評価装置136は、その対応する材料特性が少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして反射特徴130を識別するように構成されている。反射特徴130は、材料特性が「生体組織」を示す場合に、生体組織によって生成されたものとして識別されることができる。反射特徴130は、材料特性が少なくとも1つの閾値もしくは範囲より低く又は等しい場合に、生体組織によって生成されたものとして識別されてよく、決定された偏差が閾値より低く又は等しい場合は、反射特徴は、生体組織によって生成されたものと識別され、及び/又は生体組織の検出が確認される。少なくとも1つの閾値及び/又は範囲は、テーブル又はルックアップテーブルに格納され得、例えば経験的に決定され得、一例として、検出器の少なくとも1つのデータ記憶装置に格納されてよい。評価装置136は、そうでなければ背景であるとして反射特徴を識別するように構成される。したがって、評価装置136は、深度情報及び材料特性(例えば皮膚 イエス又はノー)を各投影スポットに割り当てるように構成され得る。
材料特性は、縦方向座標zに関する情報がφ2mの評価のために考慮され得るように、縦方向座標zを決定した後に、φ2mを評価することによって決定されることができる。
評価装置136は、少なくとも1つのセグメンテーションアルゴリズムを使用することによって、エリア114の画像128をセグメント化するように構成される。セグメントは、一組のピクセルを含むことができる。セグメント化は、画像128を複数のセグメントに分割するプロセスを含み得る。セグメンテーションは、同じラベルを有するピクセルが少なくとも1つの特性を共有するように、画像128のすべてのピクセルに少なくとも1つのラベルを割り当てることを含むことができる。ラベルは、予め定義されたターゲットの下で割り当てられてよい。セグメンテーションは、バイナリセグメンテーションであってよい。バイナリセグメンテーションは、画像128のピクセルを「皮膚ピクセル」138と「背景ピクセル」140としてラベル付けすることを含むことができる。皮膚以外のピクセルはすべて背景と見なすことができる。皮膚ピクセルは、画像ベースのセグメンテーションアルゴリズムの入力として機能する前景シード(シード点とも呼ばれる)と見なすことができる。画像セグメント化に関しては、https://en.wikipedia.org/wiki/Image_segmentationを参照されたい。セグメンテーションアルゴリズムは、少なくとも1つの領域成長画像セグメンテーション方法を含んでいてよい。
セグメンテーションアルゴリズムは、先験的知識の融合及び/又は考慮のために構成され得る。具体的には、セグメンテーションアルゴリズムは、ビームプロファイル分析から決定された材料情報を融合及び/又は考慮するように構成されてよい。これにより、目に見える皮膚の動きに対する位置データのみを取得又はフィルタリングすることができる。対照的に、従来の構成では、例えば、何が指/腕で何がそうでないかの認識と分離を最初に行う必要がある。材料情報を使用することに加えて、評価装置136は、物体、特に画像内の手領域を背景からセグメント化するために、深度マップに関して深度情報を考慮するように構成されてよい。
セグメンテーションアルゴリズムは、グラフカット、レベルセット、ファストマーチング及びマルコフ確率場アプローチの1つ以上などのエネルギー関数又はコスト関数に基づいてよい。画像のセグメンテーションは、色均質性及びエッジインジケーターによって駆動され得、ここで、シード点は、エッジ基準及び色均質性基準を構成する。生体組織を照射することによって生成されたものとして識別された反射特徴130は、シード点として使用され、背景として識別された反射特徴は、セグメンテーションアルゴリズムのための背景シード点として使用される。これらのシード点は、エッジ及び色の均質性の基準を構成することができ、したがって、「皮膚は画像内でどの色及び/又は反射及び/又は外観であるか」というターゲットのセグメンテーションの適切な初期化を提供することができる。
例えば、グラフカットセグメンテーションが使用されてよい。グラフカットセグメンテーションは、先験的知識がそれを組み合わせる際にリアルタイム機能を追加的提供する時に、先験的知識を、スーパーピクセルなどの事前クラスタリングアルゴリズムと融合させるように構成されることができ、R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,and S.Suesstrunkによる,「Slic superpixels compared to state-of-the-art superpixel methods,」 IEEE TPAMI,34巻、11号、2012年を参照されたい。例えば、修正レイジースナップグラフカットが使用されてよい。修正されたレイジースナップグラフカットに関しては、Li,Yin and Sun,Jian and Tang,Chi-Keung and Shum,Heung-Yeungによる,「Lazy Snapping」,ACM Trans.Graph.,23巻,3号、2004年を参照されたい。ギブスエネルギー項は、グラフカットセグメンテーションルーチンのために深度情報を組み込むための追加の項を含むことができる。Li,Yin and Sun,Jian and Tang,Chi-Keung and Shum,Heung-Yeungによる,「Lazy Snapping」,ACM Transで提案されているような分水界ベースの事前セグメンテーションの代わりに、スーパーピクセルクラスタリングがリアルタイム機能を確保するために使用され得る。
セグメンテーション前の画像128を図2Aに示す。投影された各スポットには、深度及び材料特性(皮膚 イエス又はノー)が割り当てられている。図2Bに示されるバイナリセグメンテーションを得るために、すべての非皮膚点は背景とみなされ、皮膚点は画像ベースのセグメンテーションルーチンの入力として役立つ前景シードとしてみなされる。この例では、修正されたレイジースナップグラフカットが使用された。ギブスエネルギー項は、グラフカットセグメンテーションルーチンのための深度情報を組み込むための追加の項を含む。さらにスーパーピクセルクラスタリングがリアルタイム機能を確保するために使用された。
評価装置136は、セグメント化された画像及び深度マップを考慮して、空間における物体116の位置及び/又は向きを決定するように構成されている。評価装置136は、空間における物体116の位置及び/又は向きから、少なくとも1つの手のポーズ又はジェスチャを決定するように構成され得る。評価装置136は、セグメント化された画像から、特に、物体116としてラベル付けされたセグメント化画像の部分から、ジェスチャを認識するように構成され得る。評価装置136は、セグメント化された画像内の掌と指の画像座標を識別するように構成され得る。掌と指の識別は、セグメンテーションから得られてもよい。評価装置136は、物体としてラベル付けされたセグメント化画像の部分から、色及び/又は輝度及び/又は勾配値などの特徴を抽出するように構成されてよい。例えば、掌と指の先端は、標準的なOpenCVルーチンを使用して検出されてよい。
評価装置136は、掌の中心点144などの掌142と指先146の画像座標及び深度マップを考慮して、少なくとも1つの三次元指ベクトル141を決定するように構成されてよい。図2Cは、3D指ベクトル141の実施形態を示す。3D指ベクトル141は、空間における指の位置及び向きを特定し得る。評価装置136は、画像128及び深度マップから3Dベクトル141を決定するように構成されてよい。3D指ベクトル141は、手のポーズ推定及びシーン解釈のための基礎を提供することができる。手のジェスチャの認識のために、評価装置136は、隠れマルコフモデル(HMM)、サポートベクターマシン(SVM)、条件付き確率場(CRF)などの少なくとも1つの分類器を使用するように構成されてよい。分類器は、手のジェスチャを識別するために構成されてもよい。
本発明によるビームプロファイル分析センサのフュージョンコンセプトの使用は、堅固な検出結果、複雑なモデルの仮定が不要、単一センサコンセプト、簡単な統合、リアルタイム機能を提供する利点がある。
110 検出器
112 照射源
114 エリア
116 物体
118 光センサ
120 ハウジング
122 光軸
124 光ビーム
126 感光エリア
128 画像
130 反射特徴
132 転送装置
134 座標系
136 評価装置
138 皮膚ピクセル
140 背景ピクセル
141 三次元指ベクトル
142 掌
144 中心点
146 指先

Claims (15)

  1. - 少なくとも1つの物体(116)を含む少なくとも1つのエリア(114)上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成された少なくとも1つの照射源(112)であって、前記物体(116)が、少なくとも部分的に少なくとも1つの人間の手を含んでいる、少なくとも1つの照射源(112)と;
    - 少なくとも1つの感光エリア(126)を有する少なくとも1つの光センサ(118)であって、前記光センサ(118)は、前記エリアの少なくとも1つの画像(128)を決定するように構成され、前記画像(128)は、前記照射特徴による照射に応答して前記エリア(114)によって生成される複数の反射特徴(130)を含む、少なくとも1つの光センサ(118)と;
    - 少なくとも1つの評価装置(136)であって、前記評価装置(136)は、前記反射特徴(130)のそれぞれについて少なくとも1つの深度情報を決定することによって、前記エリアの少なくとも1つの深度マップを決定するように構成されている、少なくとも1つの評価装置(136)と、
    を備え、
    前記評価装置(136)は、生体組織を照射することによって生成された前記反射特徴(130)を識別することによって前記物体(116)を見つけるように構成され、前記評価装置(136)は、前記反射特徴(130)のそれぞれの少なくとも1つの反射ビームプロファイルを決定するように構成され、前記評価装置(136)は、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして反射特徴(130)を識別するように構成され、前記予め決定された又は予め定義された基準は、材料特性を参照する少なくとも1つの予め決定された又は予め定義された値及び/又は閾値及び/又は閾値範囲であるか、又は材料特性を参照する少なくとも1つの予め決定された又は予め定義された値及び/又は閾値及び/又は閾値範囲を含み、前記評価装置(136)は、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たさない場合は、前記反射特徴(130)を背景として識別するように構成され、
    前記評価装置(136)は少なくとも1つのセグメンテーションアルゴリズムを使用することによって、前記エリアの前記画像(128)をセグメント化するように構成され、生体組織を照射することによって生成されたものとして識別された前記反射特徴(130)はシード点として使用され、背景として識別された前記反射特徴(130)はセグメンテーションアルゴリズムのための背景シード点として使用され、
    前記評価装置は(136)、前記セグメント化された画像と前記深度マップを考慮して、空間内の前記物体(116)の位置及び/又は向きを決定するように構成されている、ジェスチャ検出のための検出器(110)。
  2. 前記評価装置(136)は、前記セグメント化された画像内の掌と指の画像座標を識別するように構成され、前記評価装置(136)は、掌と指先の画像座標及び前記深度マップを考慮して、少なくとも1つの三次元指ベクトル(141)を決定するように構成されている、請求項1に記載の検出器(110)。
  3. 前記評価装置(136)は、空間における前記物体(116)の位置及び/又は向きから、少なくとも1つの手のポーズ又はジェスチャを決定するように構成されている、請求項1又は2に記載の検出器(110)。
  4. 前記セグメンテーションアルゴリズムは、グラフカット、レベルセット、ファストマーチング及びマルコフ確率場アプローチなどの1つ以上のエネルギー関数又はコスト関数に基づいている、請求項1~3のいずれか1項に記載の検出器(110)。
  5. 前記画像(128)のセグメンテーションは、色均質性及びエッジインジケーターによって駆動され、前記シード点は、エッジ基準及び色均質性基準を構成する、請求項1~4のいずれか1項に記載の検出器(110)。
  6. 前記評価装置(136)は、前記反射特徴(130)のそれぞれの反射ビームプロファイルを、少なくとも1つの予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルと比較するように構成されている、請求項1~5のいずれか1項に記載の検出器(110)。
  7. 前記比較は、前記反射ビームプロファイルと、前記予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルとを、それらの強度中心がマッチングするように重ね合わせることを含み、前記比較は、前記反射ビームプロファイルと、前記予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルとの間の偏差を決定することを含み、前記評価装置(136)は、前記決定された偏差を少なくとも1つの閾値と比較するように構成され、前記決定された偏差が前記閾値より低く及び/又は前記閾値に等しい場合、前記反射特徴(130)は生体組織として示される、請求項6に記載の検出器(110)。
  8. 前記評価装置(136)は、光子比からの深度、構造化光、ビームプロファイル分析、飛行時間、動きからの形状、焦点からの深度、三角測量、デフォーカスからの深度、ステレオセンサ、の1つ以上の技術によって前記反射特徴のそれぞれについて前記深度情報を決定するように構成されている、請求項1~7のいずれか1項に記載の検出器(110)。
  9. 前記評価装置(136)は、光子比からの深度を用いて、前記反射特徴(130)のそれぞれについて前記深度情報を決定するように構成され、前記評価装置は、前記反射特徴の少なくとも1つのビームプロファイルの少なくとも1つの第1エリア及び少なくとも1つの第2エリアを決定するように構成され、前記評価装置(136)は、前記第1エリアと前記第2エリアとを積分するように構成され、前記評価装置(136)は、前記積分された第1エリア及び前記積分された第2エリアを除算すること、前記積分された第1エリア及び前記積分された第2エリアの倍数を除算すること、前記積分された第1エリア及び前記積分された第2エリアの線形結合を除算することの1つ以上により商Qを導出するように構成される、請求項1~8のいずれか1項に記載の検出器(110)。
  10. 前記反射ビームプロファイルの前記第1エリアは、前記反射ビームプロファイルのエッジ情報を実質的に含み、前記反射ビームプロファイルの前記第2エリアは、前記反射ビームプロファイルの中心情報を実質的に含み、及び/又は、前記反射ビームプロファイルの前記第1エリアは、前記反射ビームプロファイルの左側部分に関する情報を実質的に含み、前記反射ビームプロファイルの前記第2エリアは前記反射ビームプロファイルの右側部分に関する情報を実質的に含む、請求項9に記載の検出器(110)。
  11. 前記評価装置(136)は、
    Figure 2023516032000072
    によって前記商Qを導出するように構成され、
    式中、x及びyは横方向座標、A1、A2はそれぞれ反射ビームプロファイルの第1エリア及び第2エリア、E(x、y)は反射ビームプロファイルを表す、請求項9又は10に記載の検出器(110)。
  12. 前記照射源(112)は、近赤外領域(NIR)において少なくとも1つの照射パターンを生成するように構成される、請求項1~11のいずれか1項に記載の検出器(110)。
  13. 前記光センサ(118)は、少なくとも1つのCMOSセンサを含む、請求項1~12のいずれか1項に記載の検出器(110)。
  14. 請求項1~13のいずれか1項による少なくとも1つの検出器(110)が使用されるジェスチャ検出のための方法であって、前記方法は以下のステップ:
    a)少なくとも1つの物体(116)を含む少なくとも1つのエリア(114)上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するステップであって、前記物体(116)は少なくとも部分的に少なくとも1つの人間の手を含んでいる、ステップと;
    b)少なくとも1つの感光エリア(126)を有する少なくとも1つの光センサ(118)を使用して、前記エリア(114)の少なくとも1つの画像(128)を決定するステップであって、前記画像(128)は、前記照射特徴による照射に応答して前記エリア(114)によって生成された複数の反射特徴(130)を含む、ステップと;
    c)少なくとも1つの評価装置(136)を使用することによって、前記反射特徴(130)のそれぞれについて少なくとも1つの深度情報を決定することにより、前記エリア(114)の少なくとも1つの深度マップを決定するステップと;
    d)生体組織を照射することによって生成された前記反射特徴(130)を識別することにより、前記評価装置(136)を使用することによって前記物体(116)を見つけるステップであって、前記反射特徴(130)のそれぞれの少なくとも1つの反射ビームプロファイルが決定され、反射特徴(130)が、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして識別され、前記予め決定された又は予め定義された基準は、材料特性を参照する少なくとも1つの予め決定された又は予め定義された値及び/又は閾値及び/又は閾値範囲であるか、又は材料特性を参照する少なくとも1つの予め決定された又は予め定義された値及び/又は閾値及び/又は閾値範囲を含み、前記反射特徴(130)は、その反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たさない場合は、背景であると識別される、ステップと;
    e)少なくとも1つのセグメンテーションアルゴリズムを使用することにより、前記評価装置(136)を使用することによって前記エリア(114)の画像(128)をセグメント化するステップであって、生体組織を照射することによって生成されたものとして識別された前記反射特徴(130)をシード点として使用し、背景として識別された前記反射特徴(130)を前記セグメンテーションアルゴリズムの背景シード点として使用するステップと;
    f)前記評価装置(136)を使用することによって、前記セグメント化された画像と前記深度マップとを考慮して、空間における前記物体(116)の位置及び/又は向きを決定するステップと、
    を含む、ジェスチャ検出のための方法。
  15. 検出器に関する請求項1~13のいずれか1項に記載の検出器(110)の使用であって、使用目的が、ドライバーモニタリング;車内監視;ジェスチャトラッキング;セキュリティ用途;安全用途;ヒューマンマシンインターフェイス用途;情報技術用途;農業用途;作物保護用途;医療用途;メンテナンス用途;化粧品用途、からなる群から選択される、検出器の使用。
JP2022552185A 2020-02-28 2021-02-26 ジェスチャ認識 Pending JP2023516032A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20159984.2 2020-02-28
EP20159984 2020-02-28
PCT/EP2021/054811 WO2021170791A1 (en) 2020-02-28 2021-02-26 Gesture recognition

Publications (1)

Publication Number Publication Date
JP2023516032A true JP2023516032A (ja) 2023-04-17

Family

ID=69742883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022552185A Pending JP2023516032A (ja) 2020-02-28 2021-02-26 ジェスチャ認識

Country Status (6)

Country Link
US (1) US20230081742A1 (ja)
EP (1) EP4111358A1 (ja)
JP (1) JP2023516032A (ja)
KR (1) KR20220147604A (ja)
CN (1) CN115191007A (ja)
WO (1) WO2021170791A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
WO2023139254A1 (en) 2022-01-24 2023-07-27 Trinamix Gmbh Enhanced material detection by stereo beam profile analysis
WO2023170129A1 (en) 2022-03-09 2023-09-14 Trinamix Gmbh 8bit conversion

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2977374C (en) 2015-02-25 2019-04-16 Facebook, Inc. Identifying an object in a volume based on characteristics of light reflected by the object
US11415661B2 (en) 2016-11-17 2022-08-16 Trinamix Gmbh Detector for optically detecting at least one object
US11668828B2 (en) 2017-08-28 2023-06-06 Trinamix Gmbh Detector for determining a position of at least one object

Also Published As

Publication number Publication date
KR20220147604A (ko) 2022-11-03
US20230081742A1 (en) 2023-03-16
EP4111358A1 (en) 2023-01-04
CN115191007A (zh) 2022-10-14
WO2021170791A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
US11947013B2 (en) Detector for identifying at least one material property
US20220398759A1 (en) Depth measurement through display
US11868863B2 (en) Systems and methods for joint learning of complex visual inspection tasks using computer vision
US20230078604A1 (en) Detector for object recognition
US20180322623A1 (en) Systems and methods for inspection and defect detection using 3-d scanning
JP2023516032A (ja) ジェスチャ認識
US20230403906A1 (en) Depth measurement through display
US11906421B2 (en) Enhanced material detection by stereo beam profile analysis
US20240037201A1 (en) Optical skin detection for face unlock
US20240013416A1 (en) Shape-from-shading
US20240027188A1 (en) 8bit conversion
WO2023072905A1 (en) Extended material detection involving a multi wavelength projector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240221