JP2024012508A - 複数の可動センサを含むセンサシステム、方法、及び記憶媒体 - Google Patents

複数の可動センサを含むセンサシステム、方法、及び記憶媒体 Download PDF

Info

Publication number
JP2024012508A
JP2024012508A JP2023188651A JP2023188651A JP2024012508A JP 2024012508 A JP2024012508 A JP 2024012508A JP 2023188651 A JP2023188651 A JP 2023188651A JP 2023188651 A JP2023188651 A JP 2023188651A JP 2024012508 A JP2024012508 A JP 2024012508A
Authority
JP
Japan
Prior art keywords
sensor
images
calibration target
reflective
monitored site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023188651A
Other languages
English (en)
Inventor
昭輝 木村
Akiteru Kimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magik Eye Inc
Original Assignee
Magik Eye Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magik Eye Inc filed Critical Magik Eye Inc
Publication of JP2024012508A publication Critical patent/JP2024012508A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0261—System arrangements wherein the object is to detect trespassing over a fixed physical boundary, e.g. the end of a garden
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Alarm Systems (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Motorcycle And Bicycle Frame (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】第１のセンサと第２のセンサとの位置関係を決定する。【解決手段】一実施例では、装置は、第１のセンサと、第２のセンサと、統合管理システムとを含む。第１のセンサは、監視対象サイトに配置された校正対象の画像の第１のセットを撮影するためのものであり、第１のセンサは、監視対象サイト内の第１の位置を有し、校正対象の物理的外観は、監視対象サイト内の異なる位置から見たときに変化する。第２のセンサは、校正対象の画像の第２のセットを撮影するためのものであり、第２のセンサは、監視対象サイト内に第１の位置とは異なる第２の位置を有している。統合管理システムは、画像の第１のセット、画像の第２のセット、及び校正対象の物理的外観の知識に基づいて、第１のセンサと第２のセンサとの位置関係を決定するためのものである。【選択図】図３

Description

関連出願の相互参照
本出願は、２０１７年１０月８日に提出された米国仮特許出願第６２／５６９，５４５号の優先権を主張し、その全体を本願に引用して援用する。
多くの職場やその他の場所には、人のアクセスが制限されている領域が含まれている場合がある。例えば、建設現場又は工場では、個人が潜在的に危険な状態や安全でない状態に遭遇することを防ぐために、アクセスが制限されている１つ以上の領域が含まれている場合がある。政府の建物は、特定のセキュリティクリアランスを有する者を除くすべての個人にアクセスが制限される１つ以上の領域を含み得る。
制限された領域を継続的に監視するために、安全センサシステムが配備されてもよい。従来の安全センサシステムは、監視されている領域及びその周辺の画像を撮影するために固定位置に設置された１台以上のカメラを含む。画像が、監視領域内で無許可の個人が検出されたことを示している場合、警報が発せられ得る。
米国特許出願公開第２０１７／０２２１２２６号明細書 米国特許第９６８６５３９号明細書 米国特許出願公開第２００７／０１６５２４３号明細書 米国特許出願公開第２０１５／０２８８９５６号明細書 米国特許出願公開第２０１７／００９８３０５号明細書
一実施例では、装置は、第１のセンサと、第２のセンサと、統合管理システムとを含む。第１のセンサは、監視対象サイトに配置された校正対象の画像の第１のセットを撮影するためのものであり、第１のセンサは、監視対象サイト内の第１の位置を有し、校正対象の物理的外観は、監視対象サイト内の異なる位置から見たときに変化する。第２のセンサは、校正対象の画像の第２のセットを撮影するためのものであり、第２のセンサは、監視対象サイト内に第１の位置とは異なる第２の位置を有している。統合管理システムは、画像の第１のセット、画像の第２のセット、及び校正対象の物理的外観の知識に基づいて、第１のセンサと第２のセンサとの位置関係を決定するためのものである。
別の例では、方法は、校正対象の画像の第１のセットを取得することであって、画像の第１のセットは、監視対象サイト内の第１の位置を有する第１のセンサによって撮影されたものであり、校正対象の物理的外観は、監視対象サイト内の異なる位置から見たときに変化する、第１のセットを取得することと、校正対象の画像の第２のセットを取得することであって、画像の第２のセットは、監視対象サイト内の第２の位置を有する第２のセンサによって撮影されたものである、第２のセットを取得することと、画像の第１のセット、画像の第２のセット、及び校正対象の物理的外観の知識に基づいて、第１のセンサ及び第２のセンサの位置関係を特定することと、を含む。
別の実施例では、非一時的な機械読み取り可能な記憶媒体は、プロセッサによって実行可能な命令がコード化されており、命令が実行されると、命令は、プロセッサに操作を実行させる。操作は、校正対象の画像の第１のセットを取得することであって、画像の第１のセットは、監視対象サイト内の第１の位置を有する第１のセンサによって撮影されたものであり、校正対象の物理的外観は、監視対象サイト内の異なる位置から見たときに変化する、第１のセットを取得することと、校正対象の画像の第２のセットを取得することであって、画像の第２のセットは、監視対象サイト内の第２の位置を有する第２のセンサによって撮影されたものである、第２のセットを取得することと、画像の第１のセット、画像の第２のセット、及び校正対象の物理的外観の知識に基づいて、第１のセンサ及び第２のセンサの位置関係を特定することと、を含む。
本開示の例示的な安全センサシステム１００の高レベルの概略図である。 図１の安全センサシステムを校正するために使用され得る校正対象の様々な例を示す図である。 図１の安全センサシステムを校正するために使用され得る校正対象の様々な例を示す図である。 図１の安全センサシステムを校正するために使用され得る校正対象の様々な例を示す図である。 ２つ以上のセンサを含む安全センサシステムにおけるセンサの位置を決定するための例示的な方法のフロー図である。 ２つ以上のセンサを含む安全センサシステムにおけるセンサの位置を決定するための例示的な電子デバイスの高レベルブロック図である。
本開示は、複数の可動センサを含むセンサシステムを校正するための装置、方法、及び非一時的なコンピュータ読み取り可能な媒体を広く説明する。上述したように、多くの作業場及び他の場所は、人間のアクセスが制限されている領域を含み得る。制限された領域を継続的に監視するために、安全センサシステムが配備されてもよい。従来の安全センサシステムは、監視されている領域及びその周辺の画像を撮影するために固定位置に設置された１つ以上のカメラを含む。しかし、場合によっては、アクセスが制限される領域が日々変化することがある。例えば、建設現場の状況は、工事の進行に伴って常に変化している場合がある。このように、定位置センサを有する従来の安全センサシステムでは、常に変化する現場を監視するために必要な柔軟性が得られない場合がある。
本開示の例は、監視対象サイト内で、位置（すなわち、場所及び／又は向き）をいつでも動的に移動可能な複数の３次元センサを含む安全センサシステムを提供する。各センサは、それぞれの視野の画像を集中統合管理システムに送信してもよく、集中統合管理システムは、複数のセンサからの画像を相関させて、監視対象サイトの完全な視野を生成してもよい。１つ以上のセンサが新しい位置に移動するたびに、統合管理システムは、複数のセンサからの画像の適切な相関を確実にするために、安全センサシステムを校正してもよい。校正は、複数のセンサから校正対象の画像を取得し、校正対象の画像から複数のセンサの相対位置を決定することを含み得る。この決定を容易にするために、校正対象は、既知の物理的外観（例えば、形状、色、幾何学的形状、及び／又は寸法）を有していてもよく、不規則であっても、非対称であっても、及び／又は不均一であってもよい（すなわち、校正対象の形状、色、幾何学的形状、及び／又は寸法は、異なる視点から見たとき、又は異なる視野内で見たときに、異なるように見え得る）。
本開示の文脈内では、センサの「位置」は、監視対象サイト（すなわち、センサを含むセンサシステムによって監視されているサイト）内でのセンサの場所及び／又は向きを示すものと理解される。センサの「場所」は、３次元空間におけるセンサの直線的な位置を指すことがあり、センサの「向き」は、３次元空間におけるセンサの角度的な位置を指すことがある。
図１は、本開示の例示的な安全センサシステム１００の高レベルの概略図を示す。図１に示すように、安全センサシステム１００は、一般に、複数のセンサ１０２１－１０２ｎ（以下、個別に「センサ１０２」と称するか、又は総称して「センサ１０２」と称する）と、統合管理システム（ＩＭＳ）１０４とを含む。
一例では、複数のセンサ１０２は、監視対象サイト（例えば、建設現場、工場、オフィスビルなど）の周囲の異なる場所に分布する少なくとも２つのセンサ（例えば、第１のセンサ１０２１及び第２のセンサ１０２２）を含む。一例では、センサ１０２の各々は、センサ１０２を支持面に着脱可能に取り付けることにより、センサ１０２の場所を移動させることを可能にするマウント（例えば、クランプ）を含み得る。したがって、センサ１０２の場所は、恒久的に固定される必要はない。例えば、１つ以上のセンサ１０２は、交通コーンの上に、又は一対の交通コーンの間に吊り下げられたバリア又はバーに沿って、又は（例えば、建設現場の制限された領域を遮断するために使用される可能性がある）建設ポールに沿って取り付けられてもよい。別の例では、１つ以上のセンサ１０２は、場所及び向きが移動可能なロボットに取り付けられ得る。
一例では、センサ１０２の各々は、監視対象サイトの一部を表す少なくとも半球状（すなわち、１８０度）の視野内に現れる物体についての３次元データを収集することが可能である。例えば、１つ以上のセンサ１０２は、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び／又は第１５／１４９，４２９号に記載されているようなセンサを含み得る。これらの出願に記載されているセンサは、レーザ、回折光学素子、及び／又は視野内にパターン（例えば、ドット、ダッシュ、又は他のアーチファクトのパターン）を生成する光のビームを投射するように協働する他の構成要素を含む。パターンが視野内の物体に入射する場合、センサから物体までの距離は、視野内の１つ以上の画像におけるパターンの外観（例えば、ドット、ダッシュ、又は他のアーチファクトの軌跡）に基づいて計算することができる。
各センサ１０２は、それぞれの有線又は無線接続１０６１－１０６ｎ（以下、個別に「接続１０６」又は総称して「接続１０６」と称する）を介して、ＩＭＳ１０４に通信的に結合されていてもよい。センサ１０２の各々は、ＩＭＳ１０４及び／又は他のセンサ１０２に知られている独自の識別子を有していてもよい。
ＩＭＳ１０４は、センサ１０２から受信した３次元データ（例えば、静止画像及び／又はビデオ画像）を統合するように構成されたコンピューティングシステムを含み得る。例えば、ＩＭＳ１０４は、センサ１０２１－１０２ｎによって撮影された画像１１０１－１１０ｎ（以下、個別に「画像１１０」と呼ぶか、又は総称して「画像１１０」と呼ぶ）をそれぞれ相関させてもよい。画像１１０は、すべて同じ物体１０８を描写してもよいが、異なるセンサの位置（すなわち、場所及び向き）の関数である異なる視点から描写してもよい。各画像１１０はまた、画像１１０を撮影したセンサ１０２の識別子と関連付けられていてもよく、これにより、ＩＭＳ１０４は、画像１１０がどの場所及び向きから撮影されたかを知ることができる。
画像１１０の適切な相関関係により、ＩＭＳ１０４は、監視対象サイト内での物体の形状及び位置を含む物体１０８の単一の３次元モデル１１２を生成することができる。したがって、これにより、安全センサシステム１００は、監視対象サイト内に物体（例えば、車両、人、動物など）が存在するときに検出することが可能になり得る。追加の処理（例えば、物体認識、顔認識、及び／又はそのようなもの）が、検出された物体が監視対象サイト内に存在することが許可されているかどうかを判断するために採用されてもよい。
ＩＭＳ１０４は、センサ１０２の特定の機能を遠隔で制御してもよい。例えば、ＩＭＳ１０４は、（例えば、いつレーザを活性化すべきかを示す信号をセンサ１０２に送信することによって）センサ１０２がそれぞれの視野に光のパターンを投射するためにレーザを活性化するタイミング及び／又はセンサ１０２が画像を撮影するタイミングを制御してもよい。例えば、ＩＭＳ１０４は、複数の信号を送信してもよい。各信号は、レーザを活性化するための命令及び／又は画像を撮影するための命令と、命令を実行するセンサ１０２を識別する識別子とを含み得る。また、ＩＭＳ１０４は、例えば、監視対象サイトの完全な視覚的範囲を提供するために、センサ１０２に信号を送信してセンサ１０２の位置を制御し得る。
センサ１０２の位置は容易に変更され得るので、あるセンサ１０２の別のセンサ１０２に対する相対的な位置は頻繁に変更され得る。このように、ＩＭＳ１０４は、互いに相対的なセンサ１０２の位置が既知となるように、安全センサシステム１００を校正する必要がある場合がある。上述したように、センサ１０２の相対的な位置を知ることは、センサ１０２から受信した３次元データを適切に統合するために必要である。校正は、定期的に（例えば、定義された及び／又は定期的なスケジュールに従って）、オンデマンドで（例えば、人間のオペレータからの命令に応答して）、又は所定のイベント（例えば、１つ以上のセンサ１０２の動き）の発生に応答して実行されてもよい。
一実施例では、安全センサシステム１００の校正は、校正対象を用いて行われる。例えば、図２Ａ－２Ｃはそれぞれ、図１の安全センサシステム１００を校正するために使用され得る校正対象２００ａ－２００ｃの様々な例を図示している。一例では、本開示に従った校正対象は、不規則、非対称、及び／又は不均一である物理的外観（例えば、形状、色、幾何学的形状、及び／又は寸法）を有し得る物理的物品である。言い換えれば、校正対象の形状、色、幾何学的形状、及び／又は寸法は、（例えば、安全センサシステム１００の異なるセンサ１０２によって）異なる視点から見たとき、又は異なる視野内で見た場合に、異なるように見え得る。
例えば、図２Ａは、不均一な物理的寸法を有する校正対象２００ａを示している。例えば、校正対象２００ａは、異なる３次元形状を有する複数の連結セグメントを含み得る。図２Ａに図示された例では、校正対象２００ａは、第１のセグメント２０２、第２のセグメント２０４、及び第３のセグメント２０６を含む。第１のセグメント２０２は円筒形状を有し、第２のセグメント２０４は四角錐形状を有し、第３のセグメント２０６は立方体形状を有する。したがって、（例えば、矢印２０８及び２１０によって示されるように）校正対象２００ａを異なる角度及び／又は方向から見ると、校正対象２００ａの物理的外観（例えば、形状、幾何学的形状、及び／又は寸法）が異なる場合がある。
校正対象２００ａは、円筒形、錐体形、及び立方体形を有する３つの連結セグメントを有するように図示されているが、校正対象２００ａは、任意の形状を有する任意の数の連結セグメントを含み得ることが理解されるであろう。例えば、校正対象２００ａは、３つ未満の連結セグメントを含んでいても、４つ以上の連結セグメントを含んでいてもよい。任意の１つ以上のセグメントは、円柱、ピラミッド、立方体、多角形プリズム、又は他の任意の形状に類似した形状を有し得る。さらに、任意の所与のセグメントの形状は、必ずしも対称である必要はない。
図２Ｂは、不均一な視覚パターンを表示する校正対象２００ｂを示している。例えば、校正対象２００ｂは、異なるパターンを表示する複数のパターン化されたセクションを含み得る。図２Ｂに示された例では、校正対象２００ｂは、少なくとも第１のパターン化されたセクション２１２及び第２のパターン化されたセクション２１４を含む。第１のパターン化されたセクション２１２は、一連の水平バーを表示し、第２のパターン化されたセクション２１４は、一連の垂直バーを表示する。第１のパターン化されたセクション２１２及び第２のパターン化されたセクション２１４は、校正対象２００ｂの異なる部分（例えば、校正対象２００ｂの周縁ｐの周囲の異なる場所及び／又は校正対象２００ｂの長さｌに沿った異なる場所）に配置されていてもよい。したがって、校正対象２００ｂを異なる角度及び／又は方向から見ると、校正対象２００ｂの物理的外観（例えば、異なるパターンの視認可能な部分）が異なる場合がある。
校正対象２００ｂの場合、第１のパターン化されたセクション２１２及び第２のパターン化されたセクション２１４に表示されるパターンは、パターンの形状（例えば、垂直対水平バー）だけが異なる必要はないことに留意すべきである。代替的に、又は追加的に、パターンは、色（例えば、青の垂直バー対赤の垂直バー）で異なっていてもよい。また、パターンの形状は、ランダム又は不規則であり得る。さらに、図２Ｂの角度は、２つのパターン化されたセクション（すなわち、第１のパターン化されたセクション２１２及び第２のパターン化されたセクション２１４）を示しているが、校正対象２００ｂは、任意の数のパターン化されたセクションを含み得る。例えば、校正対象２００ｂは、２つ未満のパターン化されたセクションを含んでもよいし、３つ以上のパターン化されたセクションを含んでもよい。
図２Ｃは、不均一な反射特性を表示する校正対象２００ｃを示す。例えば、校正対象２００ｃは、異なる反射特性を有する複数の反射セクションを含み得る。図２Ｃに示された例では、校正対象２００ｃは、少なくとも第１の反射セクション２１６、第２の反射セクション２１８、及び第３の反射セクション２２０を含む。第１の反射セクション２１６、第２の反射セクション２１８、及び第３の反射セクション２２０は、異なる表面反射率を有するように処理（例えば、コーティング）されてもよい。例えば、第１の反射セクション２１６は拡散反射率を示すように処理されてもよく、第２の反射セクション２１８及び第３の反射セクション２２０は鏡面反射率を示すように処理されてもよい。第１の反射セクション２１６、第２の反射セクション２１８、及び第３の反射セクション２２０は、校正対象２００ｃの異なる部分（例えば、校正対象２００ｃの周縁ｐの周囲の異なる場所、及び／又は校正対象２００ｃの長さｌに沿った異なる場所）に配置されていてもよい。したがって、校正対象２００ｃを異なる角度及び／又は方向から見ると、校正対象２００ｃの物理的外観（例えば、表面反射率）が異なる場合がある。
校正対象２００ｃの場合、反射セクションは、表面反射率（例えば、鏡面反射対拡散）の点でのみ異なる必要はないことに留意すべきである。反射セクションが鏡面反射率又は拡散反射率を示す程度も異なってもよい。代替的に、又は追加的に、反射セクションは、形状（例えば、長方形対円形又は不規則）が変化してもよい。さらに、図２Ｃの角度は、３つの反射セクションを示しているが、校正対象２００ｃは、任意の数の反射セクションを含み得る。例えば、校正対象２００ｃは、３つ未満の反射セクションを含み得るし、４つ以上の反射セクションを含み得る。
さらなる例では、校正対象は、図２Ａ－２Ｃに示された特徴のうちの任意の２つ以上を組み合わせてもよい。例えば、単一の校正対象は、（１）異なる形状を有する連結セグメント、（２）異なるパターン又は色、及び（３）異なる反射特性を有するパッチ、の組合せを含み得る。さらに、校正対象２００ａ－２００ｃ、又は校正対象２００ａ－２００ｃの特徴を組み込んだ任意の校正対象は、金属、ポリマー、木材、セラミック、合成材料、及び／又はそれらの組合せを含む任意のタイプの材料から製造されてもよい。
異なる角度から見たときに異なる物理的外観（例えば、第１の角度から見たときの第１の物理的外観、第２の異なる角度から見たときの第２の物理的外観など）を有する校正対象、例えば、図２Ａ－２Ｃに図示されている校正対象２００ａ－２００ｃのいずれか（又はそれらの任意の組合せ）は、図１に図示されているシステム１００のような安全センサシステムを校正するために使用することができる。校正対象の（サイズ、色、幾何学的形状、及び寸法を含む）物理的外観が校正前に既知である限り、校正対象を見るセンサの相対位置を効率的に決定することができる。校正対象の既知の物理的外観は、コントローラ又はＩＭＳが利用可能な３次元モデルに記述することができる。
特に、校正対象は、監視対象サイト内の任意の場所に配置されてもよく、その任意の場所は、安全センサシステムの少なくとも２つのセンサ（例えば、第１のセンサ及び第２のセンサ）によって視認可能であり得る。任意の場所は、例えば、校正プロセスが終了するまで校正対象の場所及び向きが変化しないように、監視対象の場所で一定又は固定されていてもよい。
校正対象がその一定の場所に配置されると、第１のセンサ（例えば、図１の第１のセンサ１０２１）は、監視対象サイト内の第１の位置から校正対象の画像の第１のセットを撮影してもよく、第２のセンサ（例えば、図１の第２のセンサ１０２２）は、監視対象サイト内の第２の位置から校正対象の画像の第２のセットを撮影してもよい。任意の追加のセンサは、監視対象サイト内のそれぞれの位置から校正対象の画像の追加のセットを撮影してもよい。第１のセンサ及び第２のセンサ（及び任意の追加のセンサ）は、画像のセットをＩＭＳ（例えば、図１のＩＭＳ１０４）に送信してもよい。第１のセンサ及び第２のセンサ（及び任意の追加センサ）は、校正対象の画像を撮影するために同時に動作してもよいし、第１のセンサ及び第２のセンサ（及び任意の追加センサ）は、一度に１つずつ動作してもよい（例えば、第１のセンサが画像の撮影を終えるまで、第２のセンサは画像の撮影を開始しないでもよい）。
画像の第１のセット及び画像の第２のセット（及び画像の任意の追加のセット）は、校正対象の３次元モデルとともに、第１及び第２のセンサ（及び任意の追加のセンサ）の位置を決定するために、ＩＭＳによって使用されてもよい。この情報を使用してセンサの位置を決定する方法の一例を、図３を参照してより詳細に説明する。
図３は、２つ以上のセンサを含む安全センサシステムにおいてセンサの位置を決定するための例示的な方法３００のフロー図を示している。方法３００は、例えば、図１のＩＭＳ１０４によって実行されてもよい。方法３００の議論において、参照は図１の安全センサシステム１００の構成要素に行われてもよい。しかしながら、そのような参照は、例示のためだけに行われ、限定することを意図していない。
方法３００は、ブロック３０２で始まる。ブロック３０４において、校正対象の３次元モデルが得られる。校正対象の物理的外観は、視野の異なる視点から見たときに異なるように見える。例えば、校正対象の物理的外観は、不均一、非対称、又は不規則であってもよい。３次元モデルは、校正対象の幾何学的形状及び寸法、並びに校正対象の潜在的な他の物理的特性（例えば、色、サイズなど）を記述する。３次元モデルは、校正対象のコンピュータ支援設計データから、（例えば、安全センサシステムによる）校正対象の３次元画像化から、又は他の信頼できる手段によって得られてもよい。
ブロック３０６において、校正対象の画像の第１のセットが、監視対象サイトに配置されている安全センサシステムの第１のセンサから取得される。校正対象は、第１のセンサが画像の第１のセットを取得する前に、監視対象サイト内の任意の場所に配置されていてもよい。第１のセンサは、監視対象サイト内の第１の位置を有していてもよい。この第１の位置から、第１のセンサは、第１のセンサが校正対象の画像を撮像することを可能にする第１の視野を有し、画像は、校正対象の少なくとも一部の物理的特性を描写する。一例では、画像の第１のセットは、第１のセンサにレーザを作動させ、及び／又は画像を取得するように第１のセンサに指示する信号をＩＭＳが送信することに応答して、第１のセンサによってＩＭＳに送信されてもよい。しかしながら、信号は、第１のセンサの画像撮影ユニットの動作タイミングと正確に一致しない場合があるので、レーザの活性化及び／又は画像撮影の実際のタイミングは、信号のタイミングに対して調整されてもよい。
ブロック３０８では、校正対象の画像の第２のセットが、監視対象サイトに配置された安全センサシステムの第２のセンサから取得される。第２のセンサは、第１のセンサの第１の位置とは異なる第２の位置を監視対象サイト内に有してもよい。この第２の位置から、第２のセンサは、第２のセンサが校正対象の画像を撮影することを可能にする第２の視野を有し、画像は、校正対象の少なくとも一部の物理的特性を描写する。第２の視野は、第１の視野と重なってもよいし、重ならなくてもよい。一例では、画像の第２のセットは、第２のセンサにレーザを作動させ、及び／又は画像を取得するように第２のセンサに指示する信号をＩＭＳが送信することに応答して、第２のセンサによってＩＭＳに送信されてもよい。しかしながら、信号は、第２のセンサの画像撮影ユニットの動作タイミングと正確に一致しない場合があるので、レーザの活性化及び／又は画像撮影の実際のタイミングは、信号のタイミングに対して調整されてもよい。
一例では、画像の第１のセット及び画像の第２のセットは、第１のセンサ及び第２のセンサから同時に取得されるが、別の例では、画像の第１のセット及び画像の第２のセットは、異なる時間で取得される。しかしながら、校正対象の位置は一定のままであり、第１のセンサと第２のセンサによる画像撮影の間には変化しない。
ブロック３１０において、画像の第１のセット及び画像の第２のセットは、校正対象の３次元モデルに整列される。例えば、画像の第１のセットは、画像の第１のセットが最も密接に一致する３次元モデルの第１の部分に整列されてもよく、画像の第２のセットは、画像の第２のセットが最も密接に一致する３次元モデルの第２の部分に整列されてもよい。一例では、画像の第１のセット及び画像の第２のセットが重なっていてもよい。すなわち、校正対象の特定の部分は、画像の第１のセット及び画像の第２のセットの両方に描かれてもよい（例えば、第１のセンサと第２のセンサの両方に見えるようになってもよい）。
ブロック３１２において、第２のセンサに対する第１のセンサの位置は、校正対象の３次元モデルに対する画像の第１及び第２のセットの整列に基づいて特定される。
ブロック３１４において、第２のセンサに対する第１のセンサの位置が格納される。一例では、第１及び第２のセンサの位置関係の格納は、第１及び第２のセンサ間の直線距離、第１及び第２のセンサの光軸間の角度、及び位置関係を記述する他の統計量を格納することを含む。
方法３００は、ブロック３１６で終了する。
方法３００は、（例えば、安全センサシステムが３つ以上のセンサを含む場合）安全センサシステム内のセンサの追加のペアについて繰り返されてもよい。すべてのセンサの相対位置が決定されると、安全センサシステムは、監視対象サイトを監視する準備ができ得る。監視対象サイト内のセンサのそれぞれの位置を知ることにより、安全センサシステムは、センサによって収集された画像を、監視対象サイト内に存在する物体の正確な３次元モデルに適切に相関させることができる。例えば、センサの位置関係は、センサから収集された画像の位置合わせをガイドするために使用されてもよく、これは、様々な異なる角度又は視野から同じ物体を描写してもよい。上述したように、監視対象サイト内に存在する物体の正確な３次元モデルが構築されると、そのモデルは、物体認識、顔認識などのさらなる処理のために転送されてもよい。
明示的に規定されていないが、上述した方法３００のブロック、機能、又は操作のいくつかは、特定のアプリケーションのために格納、表示、及び／又は出力することを含み得ることに留意すべきである。言い換えれば、方法３００で論じられた任意のデータ、レコード、フィールド、及び／又は中間結果は、特定のアプリケーションに応じて、別のデバイスに格納、表示、及び／又は出力することができる。さらに、決定操作を列挙する、又は決定を伴う図３のブロック、機能、又は操作は、決定操作の両方の分岐が実行されることを意味するものではない。言い換えれば、決定操作の結果によっては、決定操作の分岐の１つが実行されない場合がある。
図４は、２つ以上のセンサを含む安全センサシステムにおけるセンサの位置を決定するための例示的な電子デバイス４００の高レベルブロック図を描いている。例えば、図１に図示されたＩＭＳ１０４は、電子デバイス４００と同様の方法で構成されてもよい。電子デバイス４００は、安全センサシステムなどの電子デバイス又はシステムのコントローラとして実装されてもよい。
図４に描かれているように、電子デバイス４００は、例えば中央処理装置（ＣＰＵ）、マイクロプロセッサ、又はマルチコアプロセッサなどのハードウェアプロセッサ要素４０２と、例えばランダムアクセスメモリ（ＲＡＭ）及び／又は読み取り専用メモリ（ＲＯＭ）などのメモリ４０４と、２つ以上のセンサを含む安全センサシステムにおけるセンサの位置を決定するためのモジュール４０５と、例えばテープドライブ、フロッピードライブ、ハードディスクドライブ又はコンパクトディスクドライブを含むがこれらに限定されないストレージデバイス、受信機、送信機、ディスプレイ、出力ポート、入力ポート、及びキーボード、キーパッド、マウス、マイクなどのユーザ入力デバイスなどの様々な入出力デバイス４０６と、を含む。
１つのプロセッサ要素が示されているが、電子デバイス４００は複数のプロセッサ要素を採用してもよいことに留意すべきである。さらに、図には１つの電子デバイス４００が示されているが、上記の方法が特定の例示的な例について分散型又は並列方式で実装される場合、すなわち、上記の方法のブロック又は方法全体が複数の又は並列の電子デバイスにわたって実装される場合、この図の電子デバイス４００は、それらの複数の電子デバイスのそれぞれを表すことを意図している。
本開示は、機械可読命令及び／又は機械可読命令とハードウェアとの組合せにより、例えば、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むプログラマブルロジックアレイ（ＰＬＡ）、又はハードウェアデバイス上に配置されたステートマシン、汎用コンピュータ又は任意の他のハードウェア等価物を使用して実装することができ、例えば、上記で論じられた方法に関するコンピュータ可読命令は、上記で開示された方法のブロック、機能、及び／又は動作を実行するようにハードウェアプロセッサを構成するために使用され得ることに留意すべきである。
一例では、２つ以上のセンサを含む安全センサシステムにおけるセンサの位置を決定するためのモジュール４０５又はプロセスのための命令及びデータ、例えば機械可読命令は、メモリ４０４にロードされ、方法３００に関連して上で議論されたようなブロック、機能又は操作を実施するためにハードウェアプロセッサ要素４０２によって実行され得る。さらに、ハードウェアプロセッサが「操作」を実行するための命令を実行する場合、これは、ハードウェアプロセッサが直接操作を実行すること、及び／又は操作を実行するために、別のハードウェアデバイス又は構成要素、例えばコプロセッサなどを促進し、指示し、又は協働することを含み得る。
上述の方法に関連する機械可読命令を実行するプロセッサは、プログラムされたプロセッサ又は特殊なプロセッサとして認識することができる。このように、本開示の２つ以上のセンサを含む安全センサシステムにおけるセンサの位置を決定するための本開示のモジュール４０５は、有形又は物理的な（広くは非一時的な）コンピュータ可読記憶装置又は媒体、例えば、揮発性メモリ、不揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気ドライブ又は光学ドライブ、デバイス又はディスケットなどに記憶することができる。より具体的には、コンピュータ可読記憶装置は、プロセッサ、又はコンピュータ若しくは安全センサシステムのコントローラなどの電子デバイスによってアクセスされるデータ及び／又は命令などの情報を格納する機能を提供する任意の物理デバイスを含み得る。
上記に開示された特徴及び機能並びに他の特徴及び機能の変更、又はそれらの代替物は、他の多くの異なるシステム又はアプリケーションに組み合わせることができることが理解されよう。現時点で不測の又は予期されない様々な代替、変形、又は変更がその後行われる可能性があり、これらも以下の特許請求の範囲に含まれることが意図されている。

Claims (20)

  1. 監視対象サイトに配置された校正対象の画像の第１のセットを撮影するための第１のセンサであって、前記第１のセンサは、前記監視対象サイト内に第１の位置を有し、前記校正対象は、前記監視対象サイト内に固定位置を有し、第１の反射特性を示す第１の反射セクションと、前記第１の反射特性とは異なる第２の反射特性を示す第２の反射セクションとを含む物理的外観を有し、前記第１の反射セクションと前記第２の反射セクションは、前記校正対象の周辺の異なる部分に配置され、画像の前記第１のセットは前記第１の反射セクションを描写する、第１のセンサと、
    前記校正対象の画像の第２のセットを撮影するための第２のセンサであって、前記第２のセンサは、前記監視対象サイト内に前記第１の位置とは異なる第２の位置を有し、画像の前記第２のセットは前記第２の反射セクションを描写する、第２のセンサと、
    画像の前記第１のセット及び画像の前記第２のセットを、画像の前記第１のセット及び画像の前記第２のセットが撮影される前に構築される前記校正対象の３次元モデルと位置合わせすることによって、前記監視対象サイトにおける前記第１のセンサ及び前記第２のセンサ間の直線距離、並びに、前記監視対象サイトにおける前記第１のセンサの光軸及び前記第２のセンサの光軸間の角度の少なくとも一方を含む、前記第１のセンサ及び前記第２のセンサの位置関係を決定するためのプロセッサと、
    を含むことを特徴とするシステム。
  2. 請求項１に記載のシステムであって、
    前記校正対象は、前記監視対象サイト内の任意の位置に配置されている、
    ことを特徴とするシステム。
  3. 請求項１に記載のシステムであって、
    前記第１のセンサと前記第２のセンサの少なくとも１つが可動式である、
    ことを特徴とするシステム。
  4. 請求項１に記載のシステムであって、
    前記プロセッサは、さらに、前記第１のセンサ及び前記第２のセンサによって撮影された物体の画像を使用して、前記第１のセンサ及び前記第２のセンサとの位置関係が決定された後において、前記監視対象サイト内に存在する前記校正対象以外の物体の３次元モデルを生成するためのものである、
    ことを特徴とするシステム。
  5. 請求項１に記載のシステムであって、
    前記第１のセンサと前記第２のセンサの少なくとも１つは、少なくとも半球状である視野を有する、
    ことを特徴とするシステム。
  6. 請求項１に記載のシステムであって、
    前記第１のセンサと前記第２のセンサの少なくとも１つは、複数の光ビームを対応する視野に投射して前記複数の光ビームが前記視野にアーチファクトのパターンを形成するためのレーザ光源を含む、
    ことを特徴とするシステム。
  7. 請求項１に記載のシステムであって、
    前記校正対象の物理的外観は、不均一な物理的寸法を含む、
    ことを特徴とするシステム。
  8. 請求項７に記載のシステムであって、
    前記校正対象は、
    第１の３次元形状を有する第１のセグメントと、
    前記第１のセグメントに接続され、前記第１の３次元形状とは異なる第２の３次元形状を有する第２のセグメントと、
    をさらに含む、
    ことを特徴とするシステム。
  9. 請求項１に記載のシステムであって、
    前記校正対象の物理的外観が、不均一な視覚パターンを含む、
    ことを特徴とするシステム。
  10. 請求項９に記載のシステムであって、
    前記校正対象は、
    第１のパターンを表示する第１のパターン化されたセクションと、
    前記第１のパターンとは異なる第２のパターンを表示する第２のパターン化されたセクションと、
    をさらに含み、
    前記第１のパターンと前記第２のパターンは、前記校正対象の周縁の異なる部分に配置されている、
    ことを特徴とするシステム。
  11. 少なくとも１つのプロセッサを含む処理システムによって、校正対象の画像の第１のセットを取得することであって、画像の前記第１のセットは、監視対象サイト内の第１の位置を有する第１のセンサによって撮影されたものであり、前記校正対象は、前記監視対象サイト内に固定位置を有し、第１の反射特性を示す第１の反射セクションと、前記第１の反射特性とは異なる第２の反射特性を示す第２の反射セクションとを含む物理的外観を有し、前記第１の反射セクションと前記第２の反射セクションは、前記校正対象の周辺の異なる部分に配置され、画像の前記第１のセットは前記第１の反射セクションを描写する、第１のセットを取得するステップと、
    前記処理システムによって、前記校正対象の画像の第２のセットを取得することであって、画像の前記第２のセットは、前記監視対象サイト内の第２の位置を有する第２のセンサによって撮影されたものであり、画像の前記第２のセットは前記第２の反射セクションを描写する、第２のセットを取得するステップと、
    前記処理システムによって、画像の前記第１のセット及び画像の前記第２のセットを、画像の前記第１のセット及び画像の前記第２のセットが撮影される前に構築される前記校正対象の３次元モデルと位置合わせすることによって、前記監視対象サイトにおける前記第１のセンサ及び前記第２のセンサ間の直線距離、並びに、前記監視対象サイトにおける前記第１のセンサの光軸及び前記第２のセンサの光軸間の角度の少なくとも一方を含む、前記第１のセンサ及び前記第２のセンサの位置関係を特定するステップと、
    を含むことを特徴とする方法。
  12. 請求項１１に記載の方法であって、
    前記校正対象は、前記監視対象サイト内の任意の位置に配置される、
    ことを特徴とする方法。
  13. 請求項１１に記載の方法であって、
    前記校正対象は、
    第１の３次元形状を有する第１のセグメントと、
    前記第１のセグメントに接続され、前記第１の３次元形状とは異なる第２の３次元形状を有する第２のセグメントと、
    をさらに含む、
    ことを特徴とする方法。
  14. 請求項１１に記載の方法であって、
    前記校正対象は、
    第１のパターンを表示する第１のパターン化されたセクションと、
    前記第１のパターンとは異なる第２のパターンを表示する第２のパターン化されたセクションと、
    をさらに含み、
    前記第１のパターンと前記第２のパターンは、前記校正対象の周縁の異なる部分に配置されている、
    ことを特徴とする方法。
  15. 請求項１１に記載の方法であって、
    前記第１のセンサと前記第２のセンサの少なくとも１つが可動式である、
    ことを特徴とする方法。
  16. 請求項１１に記載の方法であって、前記第１のセンサと前記第２のセンサの少なくとも１つは、複数の光ビームを対応する視野に投射し、前記複数の光ビームが前記視野にアーチファクトのパターンを形成する、
    ことを特徴とする方法。
  17. プロセッサによって実行可能な命令がコード化された非一時的な機械読み取り可能な記憶媒体であって、前記命令が実行されると、前記命令は前記プロセッサに、
    校正対象の画像の第１のセットを取得することであって、画像の前記第１のセットは、監視対象サイト内の第１の位置を有する第１のセンサによって撮影されたものであり、前記校正対象は、前記監視対象サイト内に固定位置を有し、第１の反射特性を示す第１の反射セクションと、前記第１の反射特性とは異なる第２の反射特性を示す第２の反射セクションとを含む物理的外観を有し、前記第１の反射セクションと前記第２の反射セクションは、前記校正対象の周辺の異なる部分に配置され、画像の前記第１のセットは前記第１の反射セクションを描写する、第１のセットを取得するステップと、
    前記校正対象の画像の第２のセットを取得することであって、画像の前記第２のセットは、前記監視対象サイト内の第２の位置を有する第２のセンサによって撮影されたものであり、画像の前記第２のセットは前記第２の反射セクションを描写する、第２のセットを取得するステップと、
    画像の前記第１のセット及び画像の前記第２のセットを、画像の前記第１のセット及び画像の前記第２のセットが撮影される前に構築される前記校正対象の３次元モデルと位置合わせすることによって、前記監視対象サイトにおける前記第１のセンサ及び前記第２のセンサ間の直線距離、並びに、前記監視対象サイトにおける前記第１のセンサの光軸及び前記第２のセンサの光軸間の角度の少なくとも一方を含む、前記第１のセンサ及び前記第２のセンサの位置関係を特定するステップと、
    を含む操作を実行させることを特徴とする非一時的な機械読み取り可能な記憶媒体。
  18. 請求項１に記載のシステムであって、
    前記第１の反射セクションは、拡散反射を示すコーティングで処理され、
    前記第２の反射セクションは、鏡面反射を示すコーティングで処理される、
    ことを特徴とするシステム。
  19. 請求項１に記載のシステムであって、
    前記第１の反射セクションは、第１のコーティングで処理され、
    前記第２の反射セクションは、第２のコーティングで処理され、
    前記第１のコーティングは、前記第２のコーティングよりも高い程度の反射率を示す、
    ことを特徴とするシステム。
  20. 請求項１に記載のシステムであって、
    前記第１の反射セクションの形状は、前記第２の反射セクションの形状とは異なる、
    ことを特徴とするシステム。
JP2023188651A 2017-10-08 2023-11-02 複数の可動センサを含むセンサシステム、方法、及び記憶媒体 Pending JP2024012508A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762569545P 2017-10-08 2017-10-08
US62/569,545 2017-10-08
JP2020520048A JP2020537242A (ja) 2017-10-08 2018-10-03 複数の可動センサを含むセンサシステムの校正
PCT/US2018/054099 WO2019070806A1 (en) 2017-10-08 2018-10-03 CALIBRATION OF A SENSOR SYSTEM COMPRISING MULTIPLE MOBILE SENSORS

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020520048A Division JP2020537242A (ja) 2017-10-08 2018-10-03 複数の可動センサを含むセンサシステムの校正

Publications (1)

Publication Number Publication Date
JP2024012508A true JP2024012508A (ja) 2024-01-30

Family

ID=65993339

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020520048A Pending JP2020537242A (ja) 2017-10-08 2018-10-03 複数の可動センサを含むセンサシステムの校正
JP2023188651A Pending JP2024012508A (ja) 2017-10-08 2023-11-02 複数の可動センサを含むセンサシステム、方法、及び記憶媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020520048A Pending JP2020537242A (ja) 2017-10-08 2018-10-03 複数の可動センサを含むセンサシステムの校正

Country Status (7)

Country Link
US (1) US10885761B2 (ja)
EP (1) EP3692501A4 (ja)
JP (2) JP2020537242A (ja)
KR (1) KR20200054324A (ja)
CN (1) CN111164650B (ja)
TW (1) TWI808101B (ja)
WO (1) WO2019070806A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3552180B1 (en) 2016-12-07 2022-01-26 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
WO2019070867A2 (en) 2017-10-08 2019-04-11 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
US11474245B2 (en) * 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
JP2022532725A (ja) 2019-05-12 2022-07-19 マジック アイ インコーポレイテッド ３次元深度マップデータの２次元画像上へのマッピング
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
JP2023508501A (ja) 2019-12-29 2023-03-02 マジック アイ インコーポレイテッド ３次元座標と２次元特徴点との関連付け
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera

Family Cites Families (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) * 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
US6038415A (en) * 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
EP0898245B1 (en) * 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Image processing method and apparatus
JPH11108637A (ja) * 1997-10-03 1999-04-23 Dakku Engineering Kk 品質検査装置
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) * 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
AUPP299498A0 (en) * 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
JP2001338280A (ja) * 2000-05-30 2001-12-07 Nippon Telegr & Teleph Corp <Ntt> ３次元空間情報入力装置
US7193645B1 (en) * 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
JP2003065737A (ja) * 2001-08-28 2003-03-05 Topcon Corp 表面形状測定装置及びその方法、並びに表面状態図化装置
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
US6917702B2 (en) * 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
US6831641B2 (en) 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
JP3876275B2 (ja) * 2002-12-27 2007-01-31 博 有澤 多視点ビデオキャプチャシステム
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
US20070165243A1 (en) 2004-02-09 2007-07-19 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US20050288956A1 (en) * 2004-06-16 2005-12-29 Ewald Speicher Systems and methods for integrating business process documentation with work environments
US7191056B2 (en) * 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP2006329817A (ja) * 2005-05-26 2006-12-07 Konica Minolta Sensing Inc ３次元計測におけるターゲット座標の取得方法およびそれに用いられるターゲット
JP4599515B2 (ja) * 2005-05-27 2010-12-15 コニカミノルタセンシング株式会社 ３次元形状データの位置合わせ方法および装置
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP5002144B2 (ja) * 2005-09-30 2012-08-15 株式会社トプコン 三次元計測用投影装置及びシステム
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
US8471892B2 (en) 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
US8282485B1 (en) 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
WO2010006081A1 (en) 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
JP5287152B2 (ja) * 2008-11-04 2013-09-11 オムロン株式会社 ３次元モデルの作成方法および物体認識装置
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示系统
US20100223706A1 (en) * 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US8964189B2 (en) 2010-08-19 2015-02-24 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
JP5639821B2 (ja) * 2010-09-03 2014-12-10 株式会社Ihi ３次元点群の合成方法
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8593535B2 (en) * 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
TWI428558B (zh) 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
WO2012104759A1 (en) 2011-02-04 2012-08-09 Koninklijke Philips Electronics N.V. Method of recording an image and obtaining 3d information from the image, camera system
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
US8794181B2 (en) 2011-03-17 2014-08-05 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
JP2012202694A (ja) * 2011-03-23 2012-10-22 Canon Inc カメラ校正方法
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
JP6025830B2 (ja) 2011-06-07 2016-11-16 クレアフォーム・インコーポレイテッドＣｒｅａｆｏｒｍ Ｉｎｃ． ３ｄ走査用のセンサ位置決め
US9185401B2 (en) * 2011-07-15 2015-11-10 Electronics And Telecommunications Research Institute Method and apparatus for camera network calibration with small calibration pattern
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
DE102012108567B4 (de) 2011-10-05 2017-04-27 Electronics And Telecommunications Research Institute Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
TW201329509A (zh) 2012-01-10 2013-07-16 Walsin Lihwa Corp 立體掃瞄裝置及其立體掃瞄方法
US9986208B2 (en) * 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
WO2013116299A1 (en) 2012-01-31 2013-08-08 3M Innovative Properties Company Method and apparatus for measuring the three dimensional structure of a surface
EP2821748B1 (en) * 2012-03-01 2019-07-31 Nissan Motor Co., Ltd Range finding device and range finding method
KR101630558B1 (ko) 2012-03-28 2016-06-14 후지쯔 가부시끼가이샤 촬상 장치
WO2013173674A1 (en) 2012-05-18 2013-11-21 Siemens Healthcare Diagnostics Inc. Fish eye lens analyzer
WO2014002849A1 (ja) * 2012-06-29 2014-01-03 富士フイルム株式会社 ３次元測定方法、装置及びシステム、並びに画像処理装置
JP5977447B2 (ja) 2012-07-10 2016-08-24 バーフェリヒト ゲゼルシャフト ミット ベシュレンクテル ハフツング 眼球の光学収差を決定するための方法と装置
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
CN104884862B (zh) 2012-10-24 2019-11-19 视瑞尔技术公司 照明设备
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
WO2014106843A2 (en) 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及系统
US9404742B2 (en) 2013-12-10 2016-08-02 GM Global Technology Operations LLC Distance determination system for a vehicle using holographic techniques
EP3092601A4 (en) 2014-01-06 2017-11-29 Eyelock Llc Methods and apparatus for repetitive iris recognition
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9307231B2 (en) * 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
US10147198B2 (en) 2014-04-30 2018-12-04 Shinano Kenshi Co., Ltd. Measurement device
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) * 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
KR20160020323A (ko) 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
JP6370177B2 (ja) * 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
KR20170072319A (ko) 2014-10-24 2017-06-26 매직 아이 인코포레이티드 거리 센서
JP6121063B1 (ja) * 2014-11-04 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ カメラ較正方法、デバイス及びシステム
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
CN107110637B (zh) * 2014-12-22 2019-11-01 赛博光学公司 对三维测量系统的校准进行更新
KR102369792B1 (ko) * 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
WO2016151918A1 (ja) 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
CN107709925B (zh) 2015-03-27 2018-12-14 富士胶片株式会社 距离图像获取装置
CN107407559B (zh) 2015-03-30 2019-10-18 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
WO2016182985A1 (en) 2015-05-10 2016-11-17 Magik Eye Inc. Distance sensor
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
JP6548727B2 (ja) 2015-05-29 2019-07-24 オリンパス株式会社 照明装置及び計測装置
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US10176554B2 (en) 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
DE112015007146T5 (de) 2015-11-25 2018-08-02 Mitsubishi Electric Corporation Vorrichtung und verfahren zur dreidimensionalen bildmessung
KR20170094968A (ko) 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) * 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
US9686539B1 (en) * 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
EP3552180B1 (en) 2016-12-07 2022-01-26 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10769914B2 (en) * 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
WO2019070867A2 (en) 2017-10-08 2019-04-11 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US20200182974A1 (en) 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands

Also Published As

Publication number Publication date
US10885761B2 (en) 2021-01-05
CN111164650A (zh) 2020-05-15
KR20200054324A (ko) 2020-05-19
WO2019070806A1 (en) 2019-04-11
TW201926271A (zh) 2019-07-01
EP3692501A4 (en) 2021-07-07
EP3692501A1 (en) 2020-08-12
JP2020537242A (ja) 2020-12-17
CN111164650B (zh) 2021-10-29
TWI808101B (zh) 2023-07-11
US20190108743A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
JP2024012508A (ja) 複数の可動センサを含むセンサシステム、方法、及び記憶媒体
EP2048557B1 (de) Optoelektronischer Sensor und mobile Vorrichtung sowie Verfahren zur Konfiguration
US20180278919A1 (en) System for tracking subject moving within space using stereo cameras
DE112011102995B4 (de) Laserscanner oder Lasernachführungsgerät mit einem Projektor
DE112015005095T5 (de) Menschenorientierter Roboter mit Vorrichtung zur kontaktlosen Messung
EP4303622A2 (de) Laserscanner
EP3452848B1 (en) Monitoring method using a camera system with an area movement detection
EP3300045A1 (en) System and method for surveilling a scene comprising an allowed region and a restricted region
JP6379277B2 (ja) 追跡方法及び追跡システム
ATE496492T1 (de) 3d-kamera zur raumüberwachung
JP2017528700A (ja) 追跡方法及び追跡システム
JP2019101000A (ja) 測距点群データ測定システム、および制御プログラム
US20150092040A1 (en) Gesture-Based Industrial Monitoring
JP2016092693A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP6624800B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
KR101648292B1 (ko) 무인 감시시스템 장치
JP2020088840A (ja) 監視装置、監視システム、監視方法、監視プログラム
EP2899566A1 (de) Verfahren zum Konfigurieren eines Laserscanners und Konfigurationsobjekt dafür
KR20060065657A (ko) 입체 영상을 위한 두 개 이상의 비디오 카메라를 상호위치조정하기 위한 방법 및 그 장치
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
JP6581280B1 (ja) 監視装置、監視システム、監視方法、監視プログラム
KR102348927B1 (ko) 절단면 촬영 제어 장치 및 방법
KR102257846B1 (ko) 입체 모델 생성 장치 및 그 영상 표시 방법
EP3185213B1 (de) Verfahren zur erstellung einer tiefenkarte mittels einer kamera
WO2012091537A1 (en) System and method for navigation and visualization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231102