JP2024012508A - 複数の可動センサを含むセンサシステム、方法、及び記憶媒体 - Google Patents
複数の可動センサを含むセンサシステム、方法、及び記憶媒体 Download PDFInfo
- Publication number
- JP2024012508A JP2024012508A JP2023188651A JP2023188651A JP2024012508A JP 2024012508 A JP2024012508 A JP 2024012508A JP 2023188651 A JP2023188651 A JP 2023188651A JP 2023188651 A JP2023188651 A JP 2023188651A JP 2024012508 A JP2024012508 A JP 2024012508A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- images
- calibration target
- reflective
- monitored site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000001747 exhibiting effect Effects 0.000 claims 8
- 239000011248 coating agent Substances 0.000 claims 6
- 238000000576 coating method Methods 0.000 claims 6
- 238000012544 monitoring process Methods 0.000 claims 3
- 230000006870 function Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000001788 irregular Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 229920002994 synthetic fiber Polymers 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0261—System arrangements wherein the object is to detect trespassing over a fixed physical boundary, e.g. the end of a garden
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/22—Status alarms responsive to presence or absence of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/20—Calibration, including self-calibrating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Child & Adolescent Psychology (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Motorcycle And Bicycle Frame (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】第1のセンサと第2のセンサとの位置関係を決定する。【解決手段】一実施例では、装置は、第1のセンサと、第2のセンサと、統合管理システムとを含む。第1のセンサは、監視対象サイトに配置された校正対象の画像の第1のセットを撮影するためのものであり、第1のセンサは、監視対象サイト内の第1の位置を有し、校正対象の物理的外観は、監視対象サイト内の異なる位置から見たときに変化する。第2のセンサは、校正対象の画像の第2のセットを撮影するためのものであり、第2のセンサは、監視対象サイト内に第1の位置とは異なる第2の位置を有している。統合管理システムは、画像の第1のセット、画像の第2のセット、及び校正対象の物理的外観の知識に基づいて、第1のセンサと第2のセンサとの位置関係を決定するためのものである。【選択図】図3
Description
関連出願の相互参照
本出願は、2017年10月8日に提出された米国仮特許出願第62/569,545号の優先権を主張し、その全体を本願に引用して援用する。
本出願は、2017年10月8日に提出された米国仮特許出願第62/569,545号の優先権を主張し、その全体を本願に引用して援用する。
多くの職場やその他の場所には、人のアクセスが制限されている領域が含まれている場合がある。例えば、建設現場又は工場では、個人が潜在的に危険な状態や安全でない状態に遭遇することを防ぐために、アクセスが制限されている1つ以上の領域が含まれている場合がある。政府の建物は、特定のセキュリティクリアランスを有する者を除くすべての個人にアクセスが制限される1つ以上の領域を含み得る。
制限された領域を継続的に監視するために、安全センサシステムが配備されてもよい。従来の安全センサシステムは、監視されている領域及びその周辺の画像を撮影するために固定位置に設置された1台以上のカメラを含む。画像が、監視領域内で無許可の個人が検出されたことを示している場合、警報が発せられ得る。
一実施例では、装置は、第1のセンサと、第2のセンサと、統合管理システムとを含む。第1のセンサは、監視対象サイトに配置された校正対象の画像の第1のセットを撮影するためのものであり、第1のセンサは、監視対象サイト内の第1の位置を有し、校正対象の物理的外観は、監視対象サイト内の異なる位置から見たときに変化する。第2のセンサは、校正対象の画像の第2のセットを撮影するためのものであり、第2のセンサは、監視対象サイト内に第1の位置とは異なる第2の位置を有している。統合管理システムは、画像の第1のセット、画像の第2のセット、及び校正対象の物理的外観の知識に基づいて、第1のセンサと第2のセンサとの位置関係を決定するためのものである。
別の例では、方法は、校正対象の画像の第1のセットを取得することであって、画像の第1のセットは、監視対象サイト内の第1の位置を有する第1のセンサによって撮影されたものであり、校正対象の物理的外観は、監視対象サイト内の異なる位置から見たときに変化する、第1のセットを取得することと、校正対象の画像の第2のセットを取得することであって、画像の第2のセットは、監視対象サイト内の第2の位置を有する第2のセンサによって撮影されたものである、第2のセットを取得することと、画像の第1のセット、画像の第2のセット、及び校正対象の物理的外観の知識に基づいて、第1のセンサ及び第2のセンサの位置関係を特定することと、を含む。
別の実施例では、非一時的な機械読み取り可能な記憶媒体は、プロセッサによって実行可能な命令がコード化されており、命令が実行されると、命令は、プロセッサに操作を実行させる。操作は、校正対象の画像の第1のセットを取得することであって、画像の第1のセットは、監視対象サイト内の第1の位置を有する第1のセンサによって撮影されたものであり、校正対象の物理的外観は、監視対象サイト内の異なる位置から見たときに変化する、第1のセットを取得することと、校正対象の画像の第2のセットを取得することであって、画像の第2のセットは、監視対象サイト内の第2の位置を有する第2のセンサによって撮影されたものである、第2のセットを取得することと、画像の第1のセット、画像の第2のセット、及び校正対象の物理的外観の知識に基づいて、第1のセンサ及び第2のセンサの位置関係を特定することと、を含む。
本開示は、複数の可動センサを含むセンサシステムを校正するための装置、方法、及び非一時的なコンピュータ読み取り可能な媒体を広く説明する。上述したように、多くの作業場及び他の場所は、人間のアクセスが制限されている領域を含み得る。制限された領域を継続的に監視するために、安全センサシステムが配備されてもよい。従来の安全センサシステムは、監視されている領域及びその周辺の画像を撮影するために固定位置に設置された1つ以上のカメラを含む。しかし、場合によっては、アクセスが制限される領域が日々変化することがある。例えば、建設現場の状況は、工事の進行に伴って常に変化している場合がある。このように、定位置センサを有する従来の安全センサシステムでは、常に変化する現場を監視するために必要な柔軟性が得られない場合がある。
本開示の例は、監視対象サイト内で、位置(すなわち、場所及び/又は向き)をいつでも動的に移動可能な複数の3次元センサを含む安全センサシステムを提供する。各センサは、それぞれの視野の画像を集中統合管理システムに送信してもよく、集中統合管理システムは、複数のセンサからの画像を相関させて、監視対象サイトの完全な視野を生成してもよい。1つ以上のセンサが新しい位置に移動するたびに、統合管理システムは、複数のセンサからの画像の適切な相関を確実にするために、安全センサシステムを校正してもよい。校正は、複数のセンサから校正対象の画像を取得し、校正対象の画像から複数のセンサの相対位置を決定することを含み得る。この決定を容易にするために、校正対象は、既知の物理的外観(例えば、形状、色、幾何学的形状、及び/又は寸法)を有していてもよく、不規則であっても、非対称であっても、及び/又は不均一であってもよい(すなわち、校正対象の形状、色、幾何学的形状、及び/又は寸法は、異なる視点から見たとき、又は異なる視野内で見たときに、異なるように見え得る)。
本開示の文脈内では、センサの「位置」は、監視対象サイト(すなわち、センサを含むセンサシステムによって監視されているサイト)内でのセンサの場所及び/又は向きを示すものと理解される。センサの「場所」は、3次元空間におけるセンサの直線的な位置を指すことがあり、センサの「向き」は、3次元空間におけるセンサの角度的な位置を指すことがある。
図1は、本開示の例示的な安全センサシステム100の高レベルの概略図を示す。図1に示すように、安全センサシステム100は、一般に、複数のセンサ1021-102n(以下、個別に「センサ102」と称するか、又は総称して「センサ102」と称する)と、統合管理システム(IMS)104とを含む。
一例では、複数のセンサ102は、監視対象サイト(例えば、建設現場、工場、オフィスビルなど)の周囲の異なる場所に分布する少なくとも2つのセンサ(例えば、第1のセンサ1021及び第2のセンサ1022)を含む。一例では、センサ102の各々は、センサ102を支持面に着脱可能に取り付けることにより、センサ102の場所を移動させることを可能にするマウント(例えば、クランプ)を含み得る。したがって、センサ102の場所は、恒久的に固定される必要はない。例えば、1つ以上のセンサ102は、交通コーンの上に、又は一対の交通コーンの間に吊り下げられたバリア又はバーに沿って、又は(例えば、建設現場の制限された領域を遮断するために使用される可能性がある)建設ポールに沿って取り付けられてもよい。別の例では、1つ以上のセンサ102は、場所及び向きが移動可能なロボットに取り付けられ得る。
一例では、センサ102の各々は、監視対象サイトの一部を表す少なくとも半球状(すなわち、180度)の視野内に現れる物体についての3次元データを収集することが可能である。例えば、1つ以上のセンサ102は、米国特許出願第14/920,246号、第15/149,323号、及び/又は第15/149,429号に記載されているようなセンサを含み得る。これらの出願に記載されているセンサは、レーザ、回折光学素子、及び/又は視野内にパターン(例えば、ドット、ダッシュ、又は他のアーチファクトのパターン)を生成する光のビームを投射するように協働する他の構成要素を含む。パターンが視野内の物体に入射する場合、センサから物体までの距離は、視野内の1つ以上の画像におけるパターンの外観(例えば、ドット、ダッシュ、又は他のアーチファクトの軌跡)に基づいて計算することができる。
各センサ102は、それぞれの有線又は無線接続1061-106n(以下、個別に「接続106」又は総称して「接続106」と称する)を介して、IMS104に通信的に結合されていてもよい。センサ102の各々は、IMS104及び/又は他のセンサ102に知られている独自の識別子を有していてもよい。
IMS104は、センサ102から受信した3次元データ(例えば、静止画像及び/又はビデオ画像)を統合するように構成されたコンピューティングシステムを含み得る。例えば、IMS104は、センサ1021-102nによって撮影された画像1101-110n(以下、個別に「画像110」と呼ぶか、又は総称して「画像110」と呼ぶ)をそれぞれ相関させてもよい。画像110は、すべて同じ物体108を描写してもよいが、異なるセンサの位置(すなわち、場所及び向き)の関数である異なる視点から描写してもよい。各画像110はまた、画像110を撮影したセンサ102の識別子と関連付けられていてもよく、これにより、IMS104は、画像110がどの場所及び向きから撮影されたかを知ることができる。
画像110の適切な相関関係により、IMS104は、監視対象サイト内での物体の形状及び位置を含む物体108の単一の3次元モデル112を生成することができる。したがって、これにより、安全センサシステム100は、監視対象サイト内に物体(例えば、車両、人、動物など)が存在するときに検出することが可能になり得る。追加の処理(例えば、物体認識、顔認識、及び/又はそのようなもの)が、検出された物体が監視対象サイト内に存在することが許可されているかどうかを判断するために採用されてもよい。
IMS104は、センサ102の特定の機能を遠隔で制御してもよい。例えば、IMS104は、(例えば、いつレーザを活性化すべきかを示す信号をセンサ102に送信することによって)センサ102がそれぞれの視野に光のパターンを投射するためにレーザを活性化するタイミング及び/又はセンサ102が画像を撮影するタイミングを制御してもよい。例えば、IMS104は、複数の信号を送信してもよい。各信号は、レーザを活性化するための命令及び/又は画像を撮影するための命令と、命令を実行するセンサ102を識別する識別子とを含み得る。また、IMS104は、例えば、監視対象サイトの完全な視覚的範囲を提供するために、センサ102に信号を送信してセンサ102の位置を制御し得る。
センサ102の位置は容易に変更され得るので、あるセンサ102の別のセンサ102に対する相対的な位置は頻繁に変更され得る。このように、IMS104は、互いに相対的なセンサ102の位置が既知となるように、安全センサシステム100を校正する必要がある場合がある。上述したように、センサ102の相対的な位置を知ることは、センサ102から受信した3次元データを適切に統合するために必要である。校正は、定期的に(例えば、定義された及び/又は定期的なスケジュールに従って)、オンデマンドで(例えば、人間のオペレータからの命令に応答して)、又は所定のイベント(例えば、1つ以上のセンサ102の動き)の発生に応答して実行されてもよい。
一実施例では、安全センサシステム100の校正は、校正対象を用いて行われる。例えば、図2A-2Cはそれぞれ、図1の安全センサシステム100を校正するために使用され得る校正対象200a-200cの様々な例を図示している。一例では、本開示に従った校正対象は、不規則、非対称、及び/又は不均一である物理的外観(例えば、形状、色、幾何学的形状、及び/又は寸法)を有し得る物理的物品である。言い換えれば、校正対象の形状、色、幾何学的形状、及び/又は寸法は、(例えば、安全センサシステム100の異なるセンサ102によって)異なる視点から見たとき、又は異なる視野内で見た場合に、異なるように見え得る。
例えば、図2Aは、不均一な物理的寸法を有する校正対象200aを示している。例えば、校正対象200aは、異なる3次元形状を有する複数の連結セグメントを含み得る。図2Aに図示された例では、校正対象200aは、第1のセグメント202、第2のセグメント204、及び第3のセグメント206を含む。第1のセグメント202は円筒形状を有し、第2のセグメント204は四角錐形状を有し、第3のセグメント206は立方体形状を有する。したがって、(例えば、矢印208及び210によって示されるように)校正対象200aを異なる角度及び/又は方向から見ると、校正対象200aの物理的外観(例えば、形状、幾何学的形状、及び/又は寸法)が異なる場合がある。
校正対象200aは、円筒形、錐体形、及び立方体形を有する3つの連結セグメントを有するように図示されているが、校正対象200aは、任意の形状を有する任意の数の連結セグメントを含み得ることが理解されるであろう。例えば、校正対象200aは、3つ未満の連結セグメントを含んでいても、4つ以上の連結セグメントを含んでいてもよい。任意の1つ以上のセグメントは、円柱、ピラミッド、立方体、多角形プリズム、又は他の任意の形状に類似した形状を有し得る。さらに、任意の所与のセグメントの形状は、必ずしも対称である必要はない。
図2Bは、不均一な視覚パターンを表示する校正対象200bを示している。例えば、校正対象200bは、異なるパターンを表示する複数のパターン化されたセクションを含み得る。図2Bに示された例では、校正対象200bは、少なくとも第1のパターン化されたセクション212及び第2のパターン化されたセクション214を含む。第1のパターン化されたセクション212は、一連の水平バーを表示し、第2のパターン化されたセクション214は、一連の垂直バーを表示する。第1のパターン化されたセクション212及び第2のパターン化されたセクション214は、校正対象200bの異なる部分(例えば、校正対象200bの周縁pの周囲の異なる場所及び/又は校正対象200bの長さlに沿った異なる場所)に配置されていてもよい。したがって、校正対象200bを異なる角度及び/又は方向から見ると、校正対象200bの物理的外観(例えば、異なるパターンの視認可能な部分)が異なる場合がある。
校正対象200bの場合、第1のパターン化されたセクション212及び第2のパターン化されたセクション214に表示されるパターンは、パターンの形状(例えば、垂直対水平バー)だけが異なる必要はないことに留意すべきである。代替的に、又は追加的に、パターンは、色(例えば、青の垂直バー対赤の垂直バー)で異なっていてもよい。また、パターンの形状は、ランダム又は不規則であり得る。さらに、図2Bの角度は、2つのパターン化されたセクション(すなわち、第1のパターン化されたセクション212及び第2のパターン化されたセクション214)を示しているが、校正対象200bは、任意の数のパターン化されたセクションを含み得る。例えば、校正対象200bは、2つ未満のパターン化されたセクションを含んでもよいし、3つ以上のパターン化されたセクションを含んでもよい。
図2Cは、不均一な反射特性を表示する校正対象200cを示す。例えば、校正対象200cは、異なる反射特性を有する複数の反射セクションを含み得る。図2Cに示された例では、校正対象200cは、少なくとも第1の反射セクション216、第2の反射セクション218、及び第3の反射セクション220を含む。第1の反射セクション216、第2の反射セクション218、及び第3の反射セクション220は、異なる表面反射率を有するように処理(例えば、コーティング)されてもよい。例えば、第1の反射セクション216は拡散反射率を示すように処理されてもよく、第2の反射セクション218及び第3の反射セクション220は鏡面反射率を示すように処理されてもよい。第1の反射セクション216、第2の反射セクション218、及び第3の反射セクション220は、校正対象200cの異なる部分(例えば、校正対象200cの周縁pの周囲の異なる場所、及び/又は校正対象200cの長さlに沿った異なる場所)に配置されていてもよい。したがって、校正対象200cを異なる角度及び/又は方向から見ると、校正対象200cの物理的外観(例えば、表面反射率)が異なる場合がある。
校正対象200cの場合、反射セクションは、表面反射率(例えば、鏡面反射対拡散)の点でのみ異なる必要はないことに留意すべきである。反射セクションが鏡面反射率又は拡散反射率を示す程度も異なってもよい。代替的に、又は追加的に、反射セクションは、形状(例えば、長方形対円形又は不規則)が変化してもよい。さらに、図2Cの角度は、3つの反射セクションを示しているが、校正対象200cは、任意の数の反射セクションを含み得る。例えば、校正対象200cは、3つ未満の反射セクションを含み得るし、4つ以上の反射セクションを含み得る。
さらなる例では、校正対象は、図2A-2Cに示された特徴のうちの任意の2つ以上を組み合わせてもよい。例えば、単一の校正対象は、(1)異なる形状を有する連結セグメント、(2)異なるパターン又は色、及び(3)異なる反射特性を有するパッチ、の組合せを含み得る。さらに、校正対象200a-200c、又は校正対象200a-200cの特徴を組み込んだ任意の校正対象は、金属、ポリマー、木材、セラミック、合成材料、及び/又はそれらの組合せを含む任意のタイプの材料から製造されてもよい。
異なる角度から見たときに異なる物理的外観(例えば、第1の角度から見たときの第1の物理的外観、第2の異なる角度から見たときの第2の物理的外観など)を有する校正対象、例えば、図2A-2Cに図示されている校正対象200a-200cのいずれか(又はそれらの任意の組合せ)は、図1に図示されているシステム100のような安全センサシステムを校正するために使用することができる。校正対象の(サイズ、色、幾何学的形状、及び寸法を含む)物理的外観が校正前に既知である限り、校正対象を見るセンサの相対位置を効率的に決定することができる。校正対象の既知の物理的外観は、コントローラ又はIMSが利用可能な3次元モデルに記述することができる。
特に、校正対象は、監視対象サイト内の任意の場所に配置されてもよく、その任意の場所は、安全センサシステムの少なくとも2つのセンサ(例えば、第1のセンサ及び第2のセンサ)によって視認可能であり得る。任意の場所は、例えば、校正プロセスが終了するまで校正対象の場所及び向きが変化しないように、監視対象の場所で一定又は固定されていてもよい。
校正対象がその一定の場所に配置されると、第1のセンサ(例えば、図1の第1のセンサ1021)は、監視対象サイト内の第1の位置から校正対象の画像の第1のセットを撮影してもよく、第2のセンサ(例えば、図1の第2のセンサ1022)は、監視対象サイト内の第2の位置から校正対象の画像の第2のセットを撮影してもよい。任意の追加のセンサは、監視対象サイト内のそれぞれの位置から校正対象の画像の追加のセットを撮影してもよい。第1のセンサ及び第2のセンサ(及び任意の追加のセンサ)は、画像のセットをIMS(例えば、図1のIMS104)に送信してもよい。第1のセンサ及び第2のセンサ(及び任意の追加センサ)は、校正対象の画像を撮影するために同時に動作してもよいし、第1のセンサ及び第2のセンサ(及び任意の追加センサ)は、一度に1つずつ動作してもよい(例えば、第1のセンサが画像の撮影を終えるまで、第2のセンサは画像の撮影を開始しないでもよい)。
画像の第1のセット及び画像の第2のセット(及び画像の任意の追加のセット)は、校正対象の3次元モデルとともに、第1及び第2のセンサ(及び任意の追加のセンサ)の位置を決定するために、IMSによって使用されてもよい。この情報を使用してセンサの位置を決定する方法の一例を、図3を参照してより詳細に説明する。
図3は、2つ以上のセンサを含む安全センサシステムにおいてセンサの位置を決定するための例示的な方法300のフロー図を示している。方法300は、例えば、図1のIMS104によって実行されてもよい。方法300の議論において、参照は図1の安全センサシステム100の構成要素に行われてもよい。しかしながら、そのような参照は、例示のためだけに行われ、限定することを意図していない。
方法300は、ブロック302で始まる。ブロック304において、校正対象の3次元モデルが得られる。校正対象の物理的外観は、視野の異なる視点から見たときに異なるように見える。例えば、校正対象の物理的外観は、不均一、非対称、又は不規則であってもよい。3次元モデルは、校正対象の幾何学的形状及び寸法、並びに校正対象の潜在的な他の物理的特性(例えば、色、サイズなど)を記述する。3次元モデルは、校正対象のコンピュータ支援設計データから、(例えば、安全センサシステムによる)校正対象の3次元画像化から、又は他の信頼できる手段によって得られてもよい。
ブロック306において、校正対象の画像の第1のセットが、監視対象サイトに配置されている安全センサシステムの第1のセンサから取得される。校正対象は、第1のセンサが画像の第1のセットを取得する前に、監視対象サイト内の任意の場所に配置されていてもよい。第1のセンサは、監視対象サイト内の第1の位置を有していてもよい。この第1の位置から、第1のセンサは、第1のセンサが校正対象の画像を撮像することを可能にする第1の視野を有し、画像は、校正対象の少なくとも一部の物理的特性を描写する。一例では、画像の第1のセットは、第1のセンサにレーザを作動させ、及び/又は画像を取得するように第1のセンサに指示する信号をIMSが送信することに応答して、第1のセンサによってIMSに送信されてもよい。しかしながら、信号は、第1のセンサの画像撮影ユニットの動作タイミングと正確に一致しない場合があるので、レーザの活性化及び/又は画像撮影の実際のタイミングは、信号のタイミングに対して調整されてもよい。
ブロック308では、校正対象の画像の第2のセットが、監視対象サイトに配置された安全センサシステムの第2のセンサから取得される。第2のセンサは、第1のセンサの第1の位置とは異なる第2の位置を監視対象サイト内に有してもよい。この第2の位置から、第2のセンサは、第2のセンサが校正対象の画像を撮影することを可能にする第2の視野を有し、画像は、校正対象の少なくとも一部の物理的特性を描写する。第2の視野は、第1の視野と重なってもよいし、重ならなくてもよい。一例では、画像の第2のセットは、第2のセンサにレーザを作動させ、及び/又は画像を取得するように第2のセンサに指示する信号をIMSが送信することに応答して、第2のセンサによってIMSに送信されてもよい。しかしながら、信号は、第2のセンサの画像撮影ユニットの動作タイミングと正確に一致しない場合があるので、レーザの活性化及び/又は画像撮影の実際のタイミングは、信号のタイミングに対して調整されてもよい。
一例では、画像の第1のセット及び画像の第2のセットは、第1のセンサ及び第2のセンサから同時に取得されるが、別の例では、画像の第1のセット及び画像の第2のセットは、異なる時間で取得される。しかしながら、校正対象の位置は一定のままであり、第1のセンサと第2のセンサによる画像撮影の間には変化しない。
ブロック310において、画像の第1のセット及び画像の第2のセットは、校正対象の3次元モデルに整列される。例えば、画像の第1のセットは、画像の第1のセットが最も密接に一致する3次元モデルの第1の部分に整列されてもよく、画像の第2のセットは、画像の第2のセットが最も密接に一致する3次元モデルの第2の部分に整列されてもよい。一例では、画像の第1のセット及び画像の第2のセットが重なっていてもよい。すなわち、校正対象の特定の部分は、画像の第1のセット及び画像の第2のセットの両方に描かれてもよい(例えば、第1のセンサと第2のセンサの両方に見えるようになってもよい)。
ブロック312において、第2のセンサに対する第1のセンサの位置は、校正対象の3次元モデルに対する画像の第1及び第2のセットの整列に基づいて特定される。
ブロック314において、第2のセンサに対する第1のセンサの位置が格納される。一例では、第1及び第2のセンサの位置関係の格納は、第1及び第2のセンサ間の直線距離、第1及び第2のセンサの光軸間の角度、及び位置関係を記述する他の統計量を格納することを含む。
方法300は、ブロック316で終了する。
方法300は、(例えば、安全センサシステムが3つ以上のセンサを含む場合)安全センサシステム内のセンサの追加のペアについて繰り返されてもよい。すべてのセンサの相対位置が決定されると、安全センサシステムは、監視対象サイトを監視する準備ができ得る。監視対象サイト内のセンサのそれぞれの位置を知ることにより、安全センサシステムは、センサによって収集された画像を、監視対象サイト内に存在する物体の正確な3次元モデルに適切に相関させることができる。例えば、センサの位置関係は、センサから収集された画像の位置合わせをガイドするために使用されてもよく、これは、様々な異なる角度又は視野から同じ物体を描写してもよい。上述したように、監視対象サイト内に存在する物体の正確な3次元モデルが構築されると、そのモデルは、物体認識、顔認識などのさらなる処理のために転送されてもよい。
明示的に規定されていないが、上述した方法300のブロック、機能、又は操作のいくつかは、特定のアプリケーションのために格納、表示、及び/又は出力することを含み得ることに留意すべきである。言い換えれば、方法300で論じられた任意のデータ、レコード、フィールド、及び/又は中間結果は、特定のアプリケーションに応じて、別のデバイスに格納、表示、及び/又は出力することができる。さらに、決定操作を列挙する、又は決定を伴う図3のブロック、機能、又は操作は、決定操作の両方の分岐が実行されることを意味するものではない。言い換えれば、決定操作の結果によっては、決定操作の分岐の1つが実行されない場合がある。
図4は、2つ以上のセンサを含む安全センサシステムにおけるセンサの位置を決定するための例示的な電子デバイス400の高レベルブロック図を描いている。例えば、図1に図示されたIMS104は、電子デバイス400と同様の方法で構成されてもよい。電子デバイス400は、安全センサシステムなどの電子デバイス又はシステムのコントローラとして実装されてもよい。
図4に描かれているように、電子デバイス400は、例えば中央処理装置(CPU)、マイクロプロセッサ、又はマルチコアプロセッサなどのハードウェアプロセッサ要素402と、例えばランダムアクセスメモリ(RAM)及び/又は読み取り専用メモリ(ROM)などのメモリ404と、2つ以上のセンサを含む安全センサシステムにおけるセンサの位置を決定するためのモジュール405と、例えばテープドライブ、フロッピードライブ、ハードディスクドライブ又はコンパクトディスクドライブを含むがこれらに限定されないストレージデバイス、受信機、送信機、ディスプレイ、出力ポート、入力ポート、及びキーボード、キーパッド、マウス、マイクなどのユーザ入力デバイスなどの様々な入出力デバイス406と、を含む。
1つのプロセッサ要素が示されているが、電子デバイス400は複数のプロセッサ要素を採用してもよいことに留意すべきである。さらに、図には1つの電子デバイス400が示されているが、上記の方法が特定の例示的な例について分散型又は並列方式で実装される場合、すなわち、上記の方法のブロック又は方法全体が複数の又は並列の電子デバイスにわたって実装される場合、この図の電子デバイス400は、それらの複数の電子デバイスのそれぞれを表すことを意図している。
本開示は、機械可読命令及び/又は機械可読命令とハードウェアとの組合せにより、例えば、特定用途集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)を含むプログラマブルロジックアレイ(PLA)、又はハードウェアデバイス上に配置されたステートマシン、汎用コンピュータ又は任意の他のハードウェア等価物を使用して実装することができ、例えば、上記で論じられた方法に関するコンピュータ可読命令は、上記で開示された方法のブロック、機能、及び/又は動作を実行するようにハードウェアプロセッサを構成するために使用され得ることに留意すべきである。
一例では、2つ以上のセンサを含む安全センサシステムにおけるセンサの位置を決定するためのモジュール405又はプロセスのための命令及びデータ、例えば機械可読命令は、メモリ404にロードされ、方法300に関連して上で議論されたようなブロック、機能又は操作を実施するためにハードウェアプロセッサ要素402によって実行され得る。さらに、ハードウェアプロセッサが「操作」を実行するための命令を実行する場合、これは、ハードウェアプロセッサが直接操作を実行すること、及び/又は操作を実行するために、別のハードウェアデバイス又は構成要素、例えばコプロセッサなどを促進し、指示し、又は協働することを含み得る。
上述の方法に関連する機械可読命令を実行するプロセッサは、プログラムされたプロセッサ又は特殊なプロセッサとして認識することができる。このように、本開示の2つ以上のセンサを含む安全センサシステムにおけるセンサの位置を決定するための本開示のモジュール405は、有形又は物理的な(広くは非一時的な)コンピュータ可読記憶装置又は媒体、例えば、揮発性メモリ、不揮発性メモリ、ROMメモリ、RAMメモリ、磁気ドライブ又は光学ドライブ、デバイス又はディスケットなどに記憶することができる。より具体的には、コンピュータ可読記憶装置は、プロセッサ、又はコンピュータ若しくは安全センサシステムのコントローラなどの電子デバイスによってアクセスされるデータ及び/又は命令などの情報を格納する機能を提供する任意の物理デバイスを含み得る。
上記に開示された特徴及び機能並びに他の特徴及び機能の変更、又はそれらの代替物は、他の多くの異なるシステム又はアプリケーションに組み合わせることができることが理解されよう。現時点で不測の又は予期されない様々な代替、変形、又は変更がその後行われる可能性があり、これらも以下の特許請求の範囲に含まれることが意図されている。
Claims (20)
- 監視対象サイトに配置された校正対象の画像の第1のセットを撮影するための第1のセンサであって、前記第1のセンサは、前記監視対象サイト内に第1の位置を有し、前記校正対象は、前記監視対象サイト内に固定位置を有し、第1の反射特性を示す第1の反射セクションと、前記第1の反射特性とは異なる第2の反射特性を示す第2の反射セクションとを含む物理的外観を有し、前記第1の反射セクションと前記第2の反射セクションは、前記校正対象の周辺の異なる部分に配置され、画像の前記第1のセットは前記第1の反射セクションを描写する、第1のセンサと、
前記校正対象の画像の第2のセットを撮影するための第2のセンサであって、前記第2のセンサは、前記監視対象サイト内に前記第1の位置とは異なる第2の位置を有し、画像の前記第2のセットは前記第2の反射セクションを描写する、第2のセンサと、
画像の前記第1のセット及び画像の前記第2のセットを、画像の前記第1のセット及び画像の前記第2のセットが撮影される前に構築される前記校正対象の3次元モデルと位置合わせすることによって、前記監視対象サイトにおける前記第1のセンサ及び前記第2のセンサ間の直線距離、並びに、前記監視対象サイトにおける前記第1のセンサの光軸及び前記第2のセンサの光軸間の角度の少なくとも一方を含む、前記第1のセンサ及び前記第2のセンサの位置関係を決定するためのプロセッサと、
を含むことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記校正対象は、前記監視対象サイト内の任意の位置に配置されている、
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記第1のセンサと前記第2のセンサの少なくとも1つが可動式である、
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記プロセッサは、さらに、前記第1のセンサ及び前記第2のセンサによって撮影された物体の画像を使用して、前記第1のセンサ及び前記第2のセンサとの位置関係が決定された後において、前記監視対象サイト内に存在する前記校正対象以外の物体の3次元モデルを生成するためのものである、
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記第1のセンサと前記第2のセンサの少なくとも1つは、少なくとも半球状である視野を有する、
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記第1のセンサと前記第2のセンサの少なくとも1つは、複数の光ビームを対応する視野に投射して前記複数の光ビームが前記視野にアーチファクトのパターンを形成するためのレーザ光源を含む、
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記校正対象の物理的外観は、不均一な物理的寸法を含む、
ことを特徴とするシステム。 - 請求項7に記載のシステムであって、
前記校正対象は、
第1の3次元形状を有する第1のセグメントと、
前記第1のセグメントに接続され、前記第1の3次元形状とは異なる第2の3次元形状を有する第2のセグメントと、
をさらに含む、
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記校正対象の物理的外観が、不均一な視覚パターンを含む、
ことを特徴とするシステム。 - 請求項9に記載のシステムであって、
前記校正対象は、
第1のパターンを表示する第1のパターン化されたセクションと、
前記第1のパターンとは異なる第2のパターンを表示する第2のパターン化されたセクションと、
をさらに含み、
前記第1のパターンと前記第2のパターンは、前記校正対象の周縁の異なる部分に配置されている、
ことを特徴とするシステム。 - 少なくとも1つのプロセッサを含む処理システムによって、校正対象の画像の第1のセットを取得することであって、画像の前記第1のセットは、監視対象サイト内の第1の位置を有する第1のセンサによって撮影されたものであり、前記校正対象は、前記監視対象サイト内に固定位置を有し、第1の反射特性を示す第1の反射セクションと、前記第1の反射特性とは異なる第2の反射特性を示す第2の反射セクションとを含む物理的外観を有し、前記第1の反射セクションと前記第2の反射セクションは、前記校正対象の周辺の異なる部分に配置され、画像の前記第1のセットは前記第1の反射セクションを描写する、第1のセットを取得するステップと、
前記処理システムによって、前記校正対象の画像の第2のセットを取得することであって、画像の前記第2のセットは、前記監視対象サイト内の第2の位置を有する第2のセンサによって撮影されたものであり、画像の前記第2のセットは前記第2の反射セクションを描写する、第2のセットを取得するステップと、
前記処理システムによって、画像の前記第1のセット及び画像の前記第2のセットを、画像の前記第1のセット及び画像の前記第2のセットが撮影される前に構築される前記校正対象の3次元モデルと位置合わせすることによって、前記監視対象サイトにおける前記第1のセンサ及び前記第2のセンサ間の直線距離、並びに、前記監視対象サイトにおける前記第1のセンサの光軸及び前記第2のセンサの光軸間の角度の少なくとも一方を含む、前記第1のセンサ及び前記第2のセンサの位置関係を特定するステップと、
を含むことを特徴とする方法。 - 請求項11に記載の方法であって、
前記校正対象は、前記監視対象サイト内の任意の位置に配置される、
ことを特徴とする方法。 - 請求項11に記載の方法であって、
前記校正対象は、
第1の3次元形状を有する第1のセグメントと、
前記第1のセグメントに接続され、前記第1の3次元形状とは異なる第2の3次元形状を有する第2のセグメントと、
をさらに含む、
ことを特徴とする方法。 - 請求項11に記載の方法であって、
前記校正対象は、
第1のパターンを表示する第1のパターン化されたセクションと、
前記第1のパターンとは異なる第2のパターンを表示する第2のパターン化されたセクションと、
をさらに含み、
前記第1のパターンと前記第2のパターンは、前記校正対象の周縁の異なる部分に配置されている、
ことを特徴とする方法。 - 請求項11に記載の方法であって、
前記第1のセンサと前記第2のセンサの少なくとも1つが可動式である、
ことを特徴とする方法。 - 請求項11に記載の方法であって、前記第1のセンサと前記第2のセンサの少なくとも1つは、複数の光ビームを対応する視野に投射し、前記複数の光ビームが前記視野にアーチファクトのパターンを形成する、
ことを特徴とする方法。 - プロセッサによって実行可能な命令がコード化された非一時的な機械読み取り可能な記憶媒体であって、前記命令が実行されると、前記命令は前記プロセッサに、
校正対象の画像の第1のセットを取得することであって、画像の前記第1のセットは、監視対象サイト内の第1の位置を有する第1のセンサによって撮影されたものであり、前記校正対象は、前記監視対象サイト内に固定位置を有し、第1の反射特性を示す第1の反射セクションと、前記第1の反射特性とは異なる第2の反射特性を示す第2の反射セクションとを含む物理的外観を有し、前記第1の反射セクションと前記第2の反射セクションは、前記校正対象の周辺の異なる部分に配置され、画像の前記第1のセットは前記第1の反射セクションを描写する、第1のセットを取得するステップと、
前記校正対象の画像の第2のセットを取得することであって、画像の前記第2のセットは、前記監視対象サイト内の第2の位置を有する第2のセンサによって撮影されたものであり、画像の前記第2のセットは前記第2の反射セクションを描写する、第2のセットを取得するステップと、
画像の前記第1のセット及び画像の前記第2のセットを、画像の前記第1のセット及び画像の前記第2のセットが撮影される前に構築される前記校正対象の3次元モデルと位置合わせすることによって、前記監視対象サイトにおける前記第1のセンサ及び前記第2のセンサ間の直線距離、並びに、前記監視対象サイトにおける前記第1のセンサの光軸及び前記第2のセンサの光軸間の角度の少なくとも一方を含む、前記第1のセンサ及び前記第2のセンサの位置関係を特定するステップと、
を含む操作を実行させることを特徴とする非一時的な機械読み取り可能な記憶媒体。 - 請求項1に記載のシステムであって、
前記第1の反射セクションは、拡散反射を示すコーティングで処理され、
前記第2の反射セクションは、鏡面反射を示すコーティングで処理される、
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記第1の反射セクションは、第1のコーティングで処理され、
前記第2の反射セクションは、第2のコーティングで処理され、
前記第1のコーティングは、前記第2のコーティングよりも高い程度の反射率を示す、
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記第1の反射セクションの形状は、前記第2の反射セクションの形状とは異なる、
ことを特徴とするシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762569545P | 2017-10-08 | 2017-10-08 | |
US62/569,545 | 2017-10-08 | ||
JP2020520048A JP2020537242A (ja) | 2017-10-08 | 2018-10-03 | 複数の可動センサを含むセンサシステムの校正 |
PCT/US2018/054099 WO2019070806A1 (en) | 2017-10-08 | 2018-10-03 | CALIBRATION OF A SENSOR SYSTEM COMPRISING MULTIPLE MOBILE SENSORS |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020520048A Division JP2020537242A (ja) | 2017-10-08 | 2018-10-03 | 複数の可動センサを含むセンサシステムの校正 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024012508A true JP2024012508A (ja) | 2024-01-30 |
Family
ID=65993339
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020520048A Pending JP2020537242A (ja) | 2017-10-08 | 2018-10-03 | 複数の可動センサを含むセンサシステムの校正 |
JP2023188651A Pending JP2024012508A (ja) | 2017-10-08 | 2023-11-02 | 複数の可動センサを含むセンサシステム、方法、及び記憶媒体 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020520048A Pending JP2020537242A (ja) | 2017-10-08 | 2018-10-03 | 複数の可動センサを含むセンサシステムの校正 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10885761B2 (ja) |
EP (1) | EP3692501A4 (ja) |
JP (2) | JP2020537242A (ja) |
KR (1) | KR20200054324A (ja) |
CN (1) | CN111164650B (ja) |
TW (1) | TWI808101B (ja) |
WO (1) | WO2019070806A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018106670A1 (en) | 2016-12-07 | 2018-06-14 | Magik Eye Inc. | Distance sensor projecting parallel patterns |
JP2020537237A (ja) | 2017-10-08 | 2020-12-17 | マジック アイ インコーポレイテッド | 縦グリッドパターンを使用した距離測定 |
KR20200123849A (ko) | 2018-03-20 | 2020-10-30 | 매직 아이 인코포레이티드 | 가변 밀도들의 투영 패턴을 사용하는 거리 측정 |
CN112119628B (zh) | 2018-03-20 | 2022-06-03 | 魔眼公司 | 调整相机曝光以用于三维深度感测和二维成像 |
JP7292315B2 (ja) * | 2018-06-06 | 2023-06-16 | マジック アイ インコーポレイテッド | 高密度投影パターンを使用した距離測定 |
WO2020033169A1 (en) | 2018-08-07 | 2020-02-13 | Magik Eye Inc. | Baffles for three-dimensional sensors having spherical fields of view |
EP3911920B1 (en) | 2019-01-20 | 2024-05-29 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
WO2020197813A1 (en) | 2019-03-25 | 2020-10-01 | Magik Eye Inc. | Distance measurement using high density projection patterns |
EP3970362A4 (en) | 2019-05-12 | 2023-06-21 | Magik Eye Inc. | MAPPING THREE-DIMENSIONAL DEPTH MAP DATA TO TWO-DIMENSIONAL IMAGERY |
WO2021113135A1 (en) | 2019-12-01 | 2021-06-10 | Magik Eye Inc. | Enhancing triangulation-based three-dimensional distance measurements with time of flight information |
EP4094181A4 (en) | 2019-12-29 | 2024-04-03 | Magik Eye Inc. | ASSIGNMENT OF THREE-DIMENSIONAL COORDINATES TO TWO-DIMENSIONAL FEATURE POINTS |
US11688088B2 (en) | 2020-01-05 | 2023-06-27 | Magik Eye Inc. | Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera |
Family Cites Families (132)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4914460A (en) | 1987-05-29 | 1990-04-03 | Harbor Branch Oceanographic Institution Inc. | Apparatus and methods of determining distance and orientation |
US4954962A (en) | 1988-09-06 | 1990-09-04 | Transitions Research Corporation | Visual navigation and obstacle avoidance structured light system |
JPH08555A (ja) | 1994-06-16 | 1996-01-09 | Fuji Photo Optical Co Ltd | 内視鏡の照明装置 |
US5699444A (en) * | 1995-03-31 | 1997-12-16 | Synthonics Incorporated | Methods and apparatus for using image data to determine camera location and orientation |
US6038415A (en) * | 1997-07-18 | 2000-03-14 | Minolta Co., Ltd. | Image forming apparatus and image-carrier cartridge device which is employed in the same |
DE69823116D1 (de) * | 1997-08-05 | 2004-05-19 | Canon Kk | Bildverarbeitungsverfahren und -gerät |
JPH11108637A (ja) * | 1997-10-03 | 1999-04-23 | Dakku Engineering Kk | 品質検査装置 |
US5980454A (en) | 1997-12-01 | 1999-11-09 | Endonetics, Inc. | Endoscopic imaging system employing diffractive optical elements |
US5870136A (en) * | 1997-12-05 | 1999-02-09 | The University Of North Carolina At Chapel Hill | Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications |
AUPP299498A0 (en) * | 1998-04-15 | 1998-05-07 | Commonwealth Scientific And Industrial Research Organisation | Method of tracking and sensing position of objects |
JP2001338280A (ja) * | 2000-05-30 | 2001-12-07 | Nippon Telegr & Teleph Corp <Ntt> | 3次元空間情報入力装置 |
US7193645B1 (en) * | 2000-07-27 | 2007-03-20 | Pvi Virtual Media Services, Llc | Video system and method of operating a video system |
US6937350B2 (en) | 2001-06-29 | 2005-08-30 | Massachusetts Institute Of Technology | Apparatus and methods for optically monitoring thickness |
JP2003065737A (ja) * | 2001-08-28 | 2003-03-05 | Topcon Corp | 表面形状測定装置及びその方法、並びに表面状態図化装置 |
US7940299B2 (en) | 2001-08-09 | 2011-05-10 | Technest Holdings, Inc. | Method and apparatus for an omni-directional video surveillance system |
US6917702B2 (en) * | 2002-04-24 | 2005-07-12 | Mitsubishi Electric Research Labs, Inc. | Calibration of multiple cameras for a turntable-based 3D scanner |
US6831641B2 (en) | 2002-06-17 | 2004-12-14 | Mitsubishi Electric Research Labs, Inc. | Modeling and rendering of surface reflectance fields of 3D objects |
GB2395261A (en) * | 2002-11-11 | 2004-05-19 | Qinetiq Ltd | Ranging apparatus |
US20060146142A1 (en) * | 2002-12-27 | 2006-07-06 | Hiroshi Arisawa | Multi-view-point video capturing system |
TWI247104B (en) | 2003-02-26 | 2006-01-11 | Hon Hai Prec Ind Co Ltd | A measuring method for pattern of light guide plate |
DE10308383A1 (de) | 2003-02-27 | 2004-09-16 | Storz Endoskop Produktions Gmbh | Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts |
KR100764419B1 (ko) * | 2004-02-09 | 2007-10-05 | 강철권 | 불규칙패턴을 이용한 3차원형상 측정장치 및 측정방법 |
WO2005124675A2 (en) * | 2004-06-16 | 2005-12-29 | Ids Scheer Aktiengesellschaft | Systems and methods for integrating business process documentation with work environments |
US7191056B2 (en) * | 2005-01-04 | 2007-03-13 | The Boeing Company | Precision landmark-aided navigation |
JP2006313116A (ja) | 2005-05-09 | 2006-11-16 | Nec Viewtechnology Ltd | 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ |
JP2006329817A (ja) * | 2005-05-26 | 2006-12-07 | Konica Minolta Sensing Inc | 3次元計測におけるターゲット座標の取得方法およびそれに用いられるターゲット |
JP4599515B2 (ja) * | 2005-05-27 | 2010-12-15 | コニカミノルタセンシング株式会社 | 3次元形状データの位置合わせ方法および装置 |
JP4644540B2 (ja) | 2005-06-28 | 2011-03-02 | 富士通株式会社 | 撮像装置 |
JP5002144B2 (ja) * | 2005-09-30 | 2012-08-15 | 株式会社トプコン | 三次元計測用投影装置及びシステム |
US20070091174A1 (en) | 2005-09-30 | 2007-04-26 | Topcon Corporation | Projection device for three-dimensional measurement, and three-dimensional measurement system |
JP4760391B2 (ja) | 2006-01-13 | 2011-08-31 | カシオ計算機株式会社 | 測距装置及び測距方法 |
JP4799216B2 (ja) | 2006-03-03 | 2011-10-26 | 富士通株式会社 | 距離測定機能を有する撮像装置 |
US7375803B1 (en) | 2006-05-18 | 2008-05-20 | Canesta, Inc. | RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging |
JP4889373B2 (ja) | 2006-05-24 | 2012-03-07 | ローランドディー.ジー.株式会社 | 3次元形状測定方法およびその装置 |
WO2008066742A1 (en) | 2006-11-22 | 2008-06-05 | Geng Z Jason | Wide field-of-view reflector and method of designing and making same |
TWI320480B (en) | 2007-04-23 | 2010-02-11 | Univ Nat Formosa | One diffraction 6 degree of freedom optoelectronic measurement system |
US8282485B1 (en) | 2008-06-04 | 2012-10-09 | Zhang Evan Y W | Constant and shadowless light source |
DE112009001652T5 (de) | 2008-07-08 | 2012-01-12 | Chiaro Technologies, Inc. | Mehrkanal-Erfassung |
US8334900B2 (en) | 2008-07-21 | 2012-12-18 | The Hong Kong University Of Science And Technology | Apparatus and method of optical imaging for medical diagnosis |
JP2010091855A (ja) | 2008-10-09 | 2010-04-22 | Denso Corp | レーザビーム照射装置 |
JP5251419B2 (ja) | 2008-10-22 | 2013-07-31 | 日産自動車株式会社 | 距離計測装置および距離計測方法 |
JP5287152B2 (ja) * | 2008-11-04 | 2013-09-11 | オムロン株式会社 | 3次元モデルの作成方法および物体認識装置 |
CN101794065A (zh) | 2009-02-02 | 2010-08-04 | 中强光电股份有限公司 | 投影显示系统 |
US20100223706A1 (en) * | 2009-03-03 | 2010-09-09 | Illinois Tool Works Inc. | Welding helmet audio communication systems and methods with bone conduction transducers |
JP5484098B2 (ja) | 2009-03-18 | 2014-05-07 | 三菱電機株式会社 | 投写光学系及び画像表示装置 |
JP4991787B2 (ja) | 2009-04-24 | 2012-08-01 | パナソニック株式会社 | 反射型光電センサ |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
US20110188054A1 (en) | 2010-02-02 | 2011-08-04 | Primesense Ltd | Integrated photonics module for optical projection |
JP5499985B2 (ja) * | 2010-08-09 | 2014-05-21 | ソニー株式会社 | 表示装置組立体 |
US8964189B2 (en) | 2010-08-19 | 2015-02-24 | Canon Kabushiki Kaisha | Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program |
JP5163713B2 (ja) | 2010-08-24 | 2013-03-13 | カシオ計算機株式会社 | 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法 |
JP5639821B2 (ja) * | 2010-09-03 | 2014-12-10 | 株式会社Ihi | 3次元点群の合成方法 |
US20120056982A1 (en) | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
US8593535B2 (en) * | 2010-09-10 | 2013-11-26 | Apple Inc. | Relative positioning of devices based on captured images of tags |
EP2433716A1 (en) | 2010-09-22 | 2012-03-28 | Hexagon Technology Center GmbH | Surface spraying device with a nozzle control mechanism and a corresponding method |
TWI428558B (zh) | 2010-11-10 | 2014-03-01 | Pixart Imaging Inc | 測距方法、測距系統與其處理軟體 |
JP5815940B2 (ja) | 2010-12-15 | 2015-11-17 | キヤノン株式会社 | 距離計測装置、距離計測方法、およびプログラム |
US9888225B2 (en) * | 2011-02-04 | 2018-02-06 | Koninklijke Philips N.V. | Method of recording an image and obtaining 3D information from the image, camera system |
JP5746529B2 (ja) | 2011-03-16 | 2015-07-08 | キヤノン株式会社 | 三次元距離計測装置、三次元距離計測方法、およびプログラム |
WO2012123948A1 (en) | 2011-03-17 | 2012-09-20 | Mirobot Ltd. | System and method for three dimensional teat modeling for use with a milking system |
JP2012202694A (ja) * | 2011-03-23 | 2012-10-22 | Canon Inc | カメラ校正方法 |
JP2014122789A (ja) | 2011-04-08 | 2014-07-03 | Sanyo Electric Co Ltd | 情報取得装置、投射装置および物体検出装置 |
JP5830270B2 (ja) | 2011-05-24 | 2015-12-09 | オリンパス株式会社 | 内視鏡装置および計測方法 |
CN103649680B (zh) | 2011-06-07 | 2016-11-09 | 形创有限公司 | 用于3d扫描的传感器定位 |
US9185401B2 (en) | 2011-07-15 | 2015-11-10 | Electronics And Telecommunications Research Institute | Method and apparatus for camera network calibration with small calibration pattern |
US10054430B2 (en) | 2011-08-09 | 2018-08-21 | Apple Inc. | Overlapping pattern projector |
DE102012108567B4 (de) | 2011-10-05 | 2017-04-27 | Electronics And Telecommunications Research Institute | Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters |
KR101605224B1 (ko) | 2011-10-05 | 2016-03-22 | 한국전자통신연구원 | 패턴 광을 이용한 깊이 정보 획득 장치 및 방법 |
TW201329509A (zh) | 2012-01-10 | 2013-07-16 | Walsin Lihwa Corp | 立體掃瞄裝置及其立體掃瞄方法 |
US9986208B2 (en) * | 2012-01-27 | 2018-05-29 | Qualcomm Incorporated | System and method for determining location of a device using opposing cameras |
CN104254768A (zh) | 2012-01-31 | 2014-12-31 | 3M创新有限公司 | 用于测量表面的三维结构的方法和设备 |
CN104160243B (zh) | 2012-03-01 | 2017-03-01 | 日产自动车株式会社 | 距离测量装置和距离测量方法 |
WO2013145164A1 (ja) | 2012-03-28 | 2013-10-03 | 富士通株式会社 | 撮像装置 |
EP2849648B1 (en) | 2012-05-18 | 2020-01-08 | Siemens Healthcare Diagnostics Inc. | Fish eye lens imaging apparatus and imaging method |
CN104428624B (zh) * | 2012-06-29 | 2016-08-24 | 富士胶片株式会社 | 三维测定方法、装置及系统、以及图像处理装置 |
PL2872030T3 (pl) | 2012-07-10 | 2017-06-30 | Wavelight Gmbh | Sposób i urządzenie do określania aberracji optycznych oka |
US20140016113A1 (en) | 2012-07-13 | 2014-01-16 | Microsoft Corporation | Distance sensor using structured light |
JP2014020978A (ja) | 2012-07-20 | 2014-02-03 | Fujitsu Ltd | 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法 |
EP2696590B1 (en) | 2012-08-06 | 2014-09-24 | Axis AB | Image sensor positioning apparatus and method |
US9275459B2 (en) * | 2012-10-05 | 2016-03-01 | Qualcomm Incorporated | Method and apparatus for calibrating an imaging device |
US9741184B2 (en) | 2012-10-14 | 2017-08-22 | Neonode Inc. | Door handle with optical proximity sensors |
WO2014064228A1 (en) | 2012-10-24 | 2014-05-01 | Seereal Technologies S.A. | Illumination device |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
WO2014106843A2 (en) | 2013-01-01 | 2014-07-10 | Inuitive Ltd. | Method and system for light patterning and imaging |
US9691163B2 (en) | 2013-01-07 | 2017-06-27 | Wexenergy Innovations Llc | System and method of measuring distances related to an object utilizing ancillary objects |
US8768559B1 (en) | 2013-01-22 | 2014-07-01 | Qunomic Virtual Technology, LLC | Line projection system |
US9142019B2 (en) | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
US9364167B2 (en) | 2013-03-15 | 2016-06-14 | Lx Medical Corporation | Tissue imaging and image guidance in luminal anatomic structures and body cavities |
US10105149B2 (en) | 2013-03-15 | 2018-10-23 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
US20140320605A1 (en) | 2013-04-25 | 2014-10-30 | Philip Martin Johnson | Compound structured light projection system for 3-D surface profiling |
CN103559735B (zh) | 2013-11-05 | 2017-03-01 | 重庆安钻理科技股份有限公司 | 一种三维重建方法及系统 |
US9404742B2 (en) | 2013-12-10 | 2016-08-02 | GM Global Technology Operations LLC | Distance determination system for a vehicle using holographic techniques |
US10372982B2 (en) | 2014-01-06 | 2019-08-06 | Eyelock Llc | Methods and apparatus for repetitive iris recognition |
GB2522248A (en) | 2014-01-20 | 2015-07-22 | Promethean Ltd | Interactive system |
KR102166691B1 (ko) | 2014-02-27 | 2020-10-16 | 엘지전자 주식회사 | 객체의 3차원 형상을 산출하는 장치 및 방법 |
US9307231B2 (en) * | 2014-04-08 | 2016-04-05 | Lucasfilm Entertainment Company Ltd. | Calibration target for video processing |
US10147198B2 (en) | 2014-04-30 | 2018-12-04 | Shinano Kenshi Co., Ltd. | Measurement device |
JP5829306B2 (ja) | 2014-05-12 | 2015-12-09 | ファナック株式会社 | レンジセンサの配置位置評価装置 |
US10207193B2 (en) * | 2014-05-21 | 2019-02-19 | Universal City Studios Llc | Optical tracking system for automation of amusement park elements |
KR20160020323A (ko) | 2014-08-13 | 2016-02-23 | 옥은호 | 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서 |
JP6370177B2 (ja) | 2014-09-05 | 2018-08-08 | 株式会社Screenホールディングス | 検査装置および検査方法 |
CN107407553B (zh) | 2014-10-24 | 2020-07-28 | 魔眼公司 | 距离传感器 |
EP3859669A1 (en) | 2014-11-04 | 2021-08-04 | SZ DJI Technology Co., Ltd. | Camera calibration |
US20160128553A1 (en) | 2014-11-07 | 2016-05-12 | Zheng Jason Geng | Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same |
WO2016106196A1 (en) * | 2014-12-22 | 2016-06-30 | Cyberoptics Corporation | Updating calibration of a three-dimensional measurement system |
KR102369792B1 (ko) | 2015-03-05 | 2022-03-03 | 한화테크윈 주식회사 | 촬영 장치 및 촬영 방법 |
JP6484072B2 (ja) | 2015-03-10 | 2019-03-13 | アルプスアルパイン株式会社 | 物体検出装置 |
WO2016151918A1 (ja) | 2015-03-26 | 2016-09-29 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
DE112015006383B4 (de) | 2015-03-27 | 2019-01-03 | Fujifilm Corporation | Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren |
JP6360621B2 (ja) | 2015-03-30 | 2018-07-18 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
US10488192B2 (en) | 2015-05-10 | 2019-11-26 | Magik Eye Inc. | Distance sensor projecting parallel patterns |
TW201706563A (zh) | 2015-05-10 | 2017-02-16 | 麥吉克艾公司 | 距離感測器(一) |
WO2016194018A1 (ja) | 2015-05-29 | 2016-12-08 | オリンパス株式会社 | 照明装置及び計測装置 |
DE102015115011A1 (de) | 2015-09-08 | 2017-03-09 | Valeo Schalter Und Sensoren Gmbh | Laserscanner für Kraftfahrzeuge |
US10176554B2 (en) * | 2015-10-05 | 2019-01-08 | Google Llc | Camera calibration using synthetic images |
JP6597150B2 (ja) | 2015-10-09 | 2019-10-30 | 富士通株式会社 | 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法 |
WO2017090111A1 (ja) | 2015-11-25 | 2017-06-01 | 三菱電機株式会社 | 3次元画像計測装置及び方法 |
KR20170094968A (ko) | 2016-02-12 | 2017-08-22 | 엘지이노텍 주식회사 | 피사체 거리 측정 부재, 이를 갖는 카메라 모듈 |
US11030775B2 (en) * | 2016-03-17 | 2021-06-08 | Flir Systems, Inc. | Minimal user input video analytics systems and methods |
US9686539B1 (en) | 2016-06-12 | 2017-06-20 | Apple Inc. | Camera pair calibration using non-standard calibration objects |
WO2018106670A1 (en) | 2016-12-07 | 2018-06-14 | Magik Eye Inc. | Distance sensor projecting parallel patterns |
US20180227566A1 (en) | 2017-02-06 | 2018-08-09 | Microsoft Technology Licensing, Llc | Variable field of view and directional sensors for mobile machine vision applications |
US11025887B2 (en) | 2017-02-27 | 2021-06-01 | Sony Corporation | Field calibration of stereo cameras with a projector |
US10769914B2 (en) * | 2017-06-07 | 2020-09-08 | Amazon Technologies, Inc. | Informative image data generation using audio/video recording and communication devices |
JP2020537237A (ja) | 2017-10-08 | 2020-12-17 | マジック アイ インコーポレイテッド | 縦グリッドパターンを使用した距離測定 |
US10679076B2 (en) | 2017-10-22 | 2020-06-09 | Magik Eye Inc. | Adjusting the projection system of a distance sensor to optimize a beam layout |
KR20200123849A (ko) | 2018-03-20 | 2020-10-30 | 매직 아이 인코포레이티드 | 가변 밀도들의 투영 패턴을 사용하는 거리 측정 |
CN112119628B (zh) | 2018-03-20 | 2022-06-03 | 魔眼公司 | 调整相机曝光以用于三维深度感测和二维成像 |
JP7292315B2 (ja) | 2018-06-06 | 2023-06-16 | マジック アイ インコーポレイテッド | 高密度投影パターンを使用した距離測定 |
WO2020033169A1 (en) | 2018-08-07 | 2020-02-13 | Magik Eye Inc. | Baffles for three-dimensional sensors having spherical fields of view |
WO2020117785A1 (en) | 2018-12-08 | 2020-06-11 | Magik Eye Inc. | Vertical cavity surface emitting laser-based projector |
EP3911920B1 (en) | 2019-01-20 | 2024-05-29 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
-
2018
- 2018-10-03 EP EP18863949.6A patent/EP3692501A4/en active Pending
- 2018-10-03 US US16/150,512 patent/US10885761B2/en active Active
- 2018-10-03 KR KR1020207012920A patent/KR20200054324A/ko unknown
- 2018-10-03 WO PCT/US2018/054099 patent/WO2019070806A1/en unknown
- 2018-10-03 CN CN201880065295.7A patent/CN111164650B/zh active Active
- 2018-10-03 JP JP2020520048A patent/JP2020537242A/ja active Pending
- 2018-10-08 TW TW107135339A patent/TWI808101B/zh active
-
2023
- 2023-11-02 JP JP2023188651A patent/JP2024012508A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20200054324A (ko) | 2020-05-19 |
CN111164650B (zh) | 2021-10-29 |
EP3692501A1 (en) | 2020-08-12 |
TW201926271A (zh) | 2019-07-01 |
EP3692501A4 (en) | 2021-07-07 |
CN111164650A (zh) | 2020-05-15 |
US10885761B2 (en) | 2021-01-05 |
JP2020537242A (ja) | 2020-12-17 |
US20190108743A1 (en) | 2019-04-11 |
WO2019070806A1 (en) | 2019-04-11 |
TWI808101B (zh) | 2023-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2024012508A (ja) | 複数の可動センサを含むセンサシステム、方法、及び記憶媒体 | |
CN105522592B (zh) | 机器人的干涉区域设定装置 | |
US20180278919A1 (en) | System for tracking subject moving within space using stereo cameras | |
DE112011102995B4 (de) | Laserscanner oder Lasernachführungsgerät mit einem Projektor | |
EP2048557A1 (de) | Optoelektronischer Sensor und mobile Vorrichtung sowie Verfahren zur Konfiguration | |
DE112015005095T5 (de) | Menschenorientierter Roboter mit Vorrichtung zur kontaktlosen Messung | |
JP6379276B2 (ja) | 追跡方法 | |
EP4303621A2 (de) | Laserscanner | |
US20170280108A1 (en) | Monitoring system and monitoring method | |
EP3452848B1 (en) | Monitoring method using a camera system with an area movement detection | |
EP3586573B1 (de) | Verfahren zur kalibrierung eines dreh- und schwenkbaren bühnentechnischen geräts | |
DE502009000328D1 (de) | 3D-Kamera zur Raumüberwachung | |
JP2019101000A (ja) | 測距点群データ測定システム、および制御プログラム | |
JP2017523425A (ja) | 追跡方法及び追跡システム | |
JP2016092693A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP6624800B2 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
KR101648292B1 (ko) | 무인 감시시스템 장치 | |
JP2020088840A (ja) | 監視装置、監視システム、監視方法、監視プログラム | |
KR20060065657A (ko) | 입체 영상을 위한 두 개 이상의 비디오 카메라를 상호위치조정하기 위한 방법 및 그 장치 | |
KR101563999B1 (ko) | 타이어 재료의 실시간 폭 및 두께 측정 시스템 및 그 제어 방법 | |
KR101738514B1 (ko) | 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법 | |
DE102014219754B4 (de) | Gestenbasierte industrielle Überwachung | |
WO2020111053A1 (ja) | 監視装置、監視システム、監視方法、監視プログラム | |
KR102348927B1 (ko) | 절단면 촬영 제어 장치 및 방법 | |
EP3185213B1 (de) | Verfahren zur erstellung einer tiefenkarte mittels einer kamera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231102 |