JP6264477B2 - 射影空間監視のための方法および装置 - Google Patents
射影空間監視のための方法および装置 Download PDFInfo
- Publication number
- JP6264477B2 JP6264477B2 JP2017005132A JP2017005132A JP6264477B2 JP 6264477 B2 JP6264477 B2 JP 6264477B2 JP 2017005132 A JP2017005132 A JP 2017005132A JP 2017005132 A JP2017005132 A JP 2017005132A JP 6264477 B2 JP6264477 B2 JP 6264477B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- pixels
- pixel
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 123
- 238000000034 method Methods 0.000 title claims description 82
- 238000012545 processing Methods 0.000 claims description 185
- 238000001514 detection method Methods 0.000 claims description 146
- 230000009193 crawling Effects 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 56
- 238000004422 calculation algorithm Methods 0.000 description 50
- 238000012360 testing method Methods 0.000 description 45
- 230000008569 process Effects 0.000 description 44
- 230000006870 function Effects 0.000 description 42
- 230000002950 deficient Effects 0.000 description 26
- 238000001914 filtration Methods 0.000 description 20
- 239000007787 solid Substances 0.000 description 20
- 230000000116 mitigating effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 230000002123 temporal effect Effects 0.000 description 16
- 230000004044 response Effects 0.000 description 15
- 238000013459 approach Methods 0.000 description 14
- 230000007547 defect Effects 0.000 description 14
- 238000012795 verification Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 9
- 239000003550 marker Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000013139 quantization Methods 0.000 description 9
- 230000001629 suppression Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000011664 signaling Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000001681 protective effect Effects 0.000 description 4
- 101000889485 Homo sapiens Trefoil factor 3 Proteins 0.000 description 3
- 102100039145 Trefoil factor 3 Human genes 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000004083 survival effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 231100001261 hazardous Toxicity 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000013349 risk mitigation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 238000011896 sensitive detection Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
- F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
- F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
- F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
- F16P3/144—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using light grids
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
- F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
- F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
- F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
- F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Burglar Alarm Systems (AREA)
Description
[関連出願の相互参照]
本出願は、米国特許法第119(e)条に基づいて、2011年10月14日に出願され特許出願第61/547,251号を割り当てられた米国仮特許出願、および米国特許法第120条に基づいて、一部継承として2012年7月3日に出願され特許出願第13/541,399号を割り当てられた米国実用特許出願による優先権を主張するものであり、これらの出願はいずれも参照により本明細書に組み込まれる。
本出願は、米国特許法第119(e)条に基づいて、2011年10月14日に出願され特許出願第61/547,251号を割り当てられた米国仮特許出願、および米国特許法第120条に基づいて、一部継承として2012年7月3日に出願され特許出願第13/541,399号を割り当てられた米国実用特許出願による優先権を主張するものであり、これらの出願はいずれも参照により本明細書に組み込まれる。
[技術分野]
本発明は、一般に、マシンビジョンに関し、特に、機械防護または他の物体侵入検知状況で使用されるような射影空間監視に関する。
本発明は、一般に、マシンビジョンに関し、特に、機械防護または他の物体侵入検知状況で使用されるような射影空間監視に関する。
マシンビジョンシステムは、さまざまな用途で活用されており、エリア監視が適例である。物体が規定領域に侵入したことを監視することは、危険機械防護などの「エリア防護」用途の重要項目である。機械防護に関連して、物理的障壁、インターロックシステム、安全マット、ライトカーテン、および飛行時間レーザスキャナ監視の使用などのさまざまな手法が知られている。
マシンビジョンシステムは、機械防護のための上記手法の1つまたは複数を補完するものとして、または連携して使用され得、エリア防護のための、ほぼ間違いなく、より良く、より柔軟な解決策でもある。それらいくつかの利点において、マシンビジョンシステムは、複雑な空間移動を用いて機械の周りの3次元境界を監視することができ、平面ライトカーテン境界は、非実用的、もしくは安全に構成するために非常に複雑である可能性があり、または、そのような防護設備は、機械動作を妨げる可能性がある。
他方で、マシンビジョンシステムを確実に適切に動作させることは、特に、最小検知機能および最大(物体)検知応答時間の動的で継続的な検証に関して、安全性が重要となる用途において困難である。これらの種類の検証は、確実なフェールセーフ障害検知に加えて、危険機械防護および他の安全性が重要となる用途のためにマシンビジョンシステムを使用する場合、重要な課題となる。
本明細書で提示する教示の一態様によれば、射影空間監視装置は、監視領域内に侵入する物体を検知するよう構成される。射影空間監視装置は、極座標における立体相関処理から取得された距離画素を示す有利な処理技術に基づいて、保護境界に対して最小物体サイズの物体の侵入を検出するよう構成され、それらの距離画素を、相関処理で使用される立体画像の取り込みに関連した射影座標空間上に規定された2次元ヒストグラムにマッピングする。ヒストグラムは、射影座標空間の水平および垂直立体角範囲を、セルのグリッド内に量子化する。本装置は、保護境界内にある距離画素にフラグを立て、その距離画素をこのヒストグラムの対応するセルに蓄積し、次いで、ヒストグラムセルでクラスタリングを行い、物体侵入を検知する。
より詳細には、射影監視装置は、例えば、連続する画像フレームにわたって、立体画像を取り込むよう構成された画像センサを備え、さらに、画像センサと関連して動作可能な画像処理回路を備える。画像処理回路は、立体画像の相関処理に基づいて、極座標におい
て距離画素のデプスマップを生成し、立体画像を互いに関連づけ、3次元直交座標において表される「距離」画素を備えるデプスマップを取得し、その距離画素を、極座標に変換するよう構成される。したがって、各距離画素は、それぞれの画素線に沿ったラジアル距離、および立体画像の取得に関連した水平ならびに垂直視野域内の立体角値の対応するペアとして表される。
て距離画素のデプスマップを生成し、立体画像を互いに関連づけ、3次元直交座標において表される「距離」画素を備えるデプスマップを取得し、その距離画素を、極座標に変換するよう構成される。したがって、各距離画素は、それぞれの画素線に沿ったラジアル距離、および立体画像の取得に関連した水平ならびに垂直視野域内の立体角値の対応するペアとして表される。
さらに、画像処理回路は、監視領域に対して規定された保護境界内にある距離画素をフラグ立てすることによって、フラグ立てされた画素のセットを取得し、水平および垂直の視野域の立体角範囲を量子化する2次元ヒストグラムの対応するセル内に、フラグ立てされた画素を蓄積するよう構成される。さらに、画像処理回路は、ヒストグラム内のセルをクラスタリングし、最小物体サイズ閾値を満たす、保護境界内の物体の侵入を検知するよう構成される。
さらに、少なくとも1つの実施形態において、画像処理回路は、任意の対象クラスタが規定の時間枠に対して残存するかどうかを判断し、そうであれば、物体の侵入が発生したと判断するよう構成される。例えば、画像処理回路は、同じ対象クラスタ、すなわち、同等の対象クラスタが、いくつかの連続する画像フレームにわたって残存するかを判断するよう構成される。
同じか、または他の実施形態において、画像処理回路は、立体画像から1つまたは複数の緩和画素のセットを生成するよう構成され、緩和画素は、障害であるか、不信頼としてフラグを立てられた立体画像における画素を表す。それに対応して、画像処理回路は、緩和画素の1つまたは複数のセットを、クラスタリングで使用するフラグ立てされた画素のセットに統合するよう構成される。したがって、クラスタリング中に検知された任意の所与の対象クラスタは、距離検知処理に基づいてフラグ立てされた距離画素、もしくは障害検知処理に基づいてフラグ立てされた緩和画素、または両方の組み合わせを備える。有利には、そのような手法により、物体侵入を検知するために、フラグ立てされた距離画素などの緩和画素を扱うことによって、安全性が重要となる障害検知に対するニーズに対処する。
当然、本発明は、上記の特徴および利点に限定されない。実際に、当業者は、以下の詳細な説明を読み、さらに添付図面を見ることで、さらなる特徴および利点を認識するであろう。
図1は、射影空間監視装置10の例示的な実施形態を示し、射影空間監視装置10は、例えば、1つまたは複数個の危険機械装置(図示せず)を含有する3次元空間領域を備える一次監視領域12の画像ベース監視を提供する。射影空間監視装置10(以後、「装置10」と称する)は、画像ベース監視システムを作動させ、人間または他の物体が一次監視領域12内に侵入することを防ぐ。
領域12の限界範囲は、以下でより詳細に説明するが、関連したセンサ視野域14との共通の重複部分によって規定されることに留意されたい。概して、装置10は、画像処理および立体視技術を使用して、人または物体が防護対象の3次元(3D)領域内に侵入したことを検知するよう構成される。なお、防護対象の3次元(3D)領域は、防護対象の「エリア」と称する場合もある。典型的な用途は、これらに限定されるものではないが、エリア監視、および周辺防護である。エリア監視の例では、頻繁にアクセスされるエリアは、ライトカーテンもしくは他の機構によって防護されるエントリーポイント有する堅固な防護物によって部分的に囲まれ、装置10は、2次防護システムの役割を果たす。同様に、周辺防護の例では、装置10は、頻繁にアクセスされない非防護対象のエリアを監視する。
当然、装置10は、両方の役割を同時に満たすか、または状況の変化に応じてモードを切り替えることが可能である。また、装置10は、関連した機械装置もしくはそれらの電源システムへのシグナリング接続を備え得、および/または工場制御ネットワークなどに
接続し得ることが理解されるであろう。
接続し得ることが理解されるであろう。
意図した用途を広範囲に補完するために、装置10は、図示の例示的な実施形態において、1つまたは複数のセンサユニット16を備える。各センサユニット16はまた、「センサヘッド」と称され、複数の画像センサ18を備える。画像センサ18は、センサユニット16の本体またはハウジング内に固定され、それにより、視野域(FOV)14全体が、通常、一次監視領域12を3D区域として規定するよう重複する。当然、以下で説明するように、1つまたは複数の実施形態における装置10により、利用者は、一次監視領域12内に複数の監視領域もしくは3D境界範囲を設定することができ、例えば、一次監視領域12内の3D範囲に基づいて安全重視領域ならびに/もしくは警告領域を設定することができる。
センサユニット16のそれぞれは、制御ユニット20に、ケーブルまたは他のリンク22を介して接続される。一実施形態において、リンク22は、「PoE」(Power−over−Ethernet(登録商標))リンクであり、電力をセンサユニット16に供給し、センサユニット16と制御ユニット20との間の通信または他のシグナリングをもたらす。センサユニット16および制御ユニット20は協働し、領域12内の(または、領域12のいくつかの構築された小領域内の)物体を検知する。少なくとも1つの実施形態において、各センサユニット16は、他のセンサユニット16から独立して監視機能を実行し、安全なEthernet(登録商標)接続、もしくは他のリンク22上で、監視状態を制御ユニット20に通信する。次に、制御ユニット20は、各接続されたセンサユニット16からの監視状態を処理し、この情報を使用して、構成可能で安全な入力および出力に従って、機械装置を制御する。
例えば、図示の実施形態では、制御ユニット20は、例えば、1つまたは複数のマイクロプロセッサ、DSP、ASIC、FPGA、もしくは他のデジタル処理回路である制御回路24を備える。少なくとも1つの実施形態において、制御回路24は、制御回路24内のデジタルプロセッサによって実行されるコンピュータプログラムを格納するメモリまたは別のコンピュータ可読媒体を備え、少なくとも部分的に、本明細書の教示に従って、制御ユニット20を構成する。
さらに、制御ユニット20は、何らかの入力/出力(I/O)回路を備え、入力/出力(I/O)回路は、モジュール方式で、例えば、モジュール式I/Oユニット26で配置してもよい。I/Oユニット26は、回路状に備えてもよく、または、所与のI/Oユニット26は、所与の種類のインターフェース信号を対象とし、例えば、ネットワーク通信用、ある種の制御シグナリング用などとしてもよい。機械防護用途のため、少なくとも1つのI/Oユニット26は、機械安全制御のために構成され、I/O回路28を備え、I/O回路28は、安全リレー出力(OSSD A、OSSD B)を提供して、センサユニット16によって検知された物体侵入に応答して危険機械を無効にするか、そうでなければ停止する。同じ回路はまた、モード制御信号および起動信号(START、AUXなど)を提供可能である。さらに、制御ユニット自体は、通信、状態シグナリングなどに対して、「グローバル」I/Oの範囲を提供可能である。
物体検知機能の点から、装置10は、主として、立体技術により、その(共通の)視野域に存在する物体の3D位置を発見する。この目的を達成するために、図2は、4つの画像センサ18を備える例示的なセンサユニット16を示し、本明細書では、明瞭にするために、画像センサ18−1、18−2、18−3、18−4と個々に番号を付ける。
センサユニット16内の個々の画像センサ18の視野域14は、すべて部分的に重複しており、すべての視野域14によって共通に重複される領域は、先に生じた一次監視領域12を規定する。
センサユニット16内の個々の画像センサ18の視野域14は、すべて部分的に重複しており、すべての視野域14によって共通に重複される領域は、先に生じた一次監視領域12を規定する。
本体もしくはハウジング30は、複数の「ベースライン」を規定する相隔たる配置で個々の画像センサ18を固定する。ここで、「ベースライン」という用語は、画像ペアを取得するために使用される画像センサ18のペアリング間の間隔を定義する。図示の構成において、2つの「長い」ベースラインと2つの「短い」ベースラインとが見られるが、本明細書では、「長い」および「短い」という用語は、相対的な意味で使用される。長いベースラインは、画像センサ18の第1のペアの間の間隔によって規定される第1の一次ベースライン32−1を備え、ここで、第1のペアは、画像センサ18−1、18−2を備え、長いベースラインは、さらに、画像センサ18の第2のペアの間の間隔によって規定される第2の一次ベースライン32−2を備え、ここで、第2のペアは、画像センサ18−3、18−4を備える。
同様に、短いベースラインは、画像センサ18の第3のペアの間の間隔によって規定される第1の二次ベースライン34−1を備え、ここで、第3のペアは、画像センサ18−1、18−3を備え、短いベースラインは、さらに、画像センサ18の第4のペアの間の間隔によって規定される第2の二次ベースライン34−2を備え、ここで、第4のペアは、画像センサ18−2、18−4を備える。この点に関して、同じ組の4つの画像センサ18の組み合わせを変えることで、異なるペアリングの画像センサ18として動作し、それらのペアリングを、関連するベースラインおよび/またはそれらの使用方法によって変えてもよいことが理解されるであろう。
第1および第2の一次ベースライン32−1、32−2は、同等でも、または、異なる長さでもよい。同様に、第1および第2の二次ベースライン34−1、34−2は、同等でも、または、異なる長さでもよい。限定するものではないが、例示では、最も短い一次ベースライン32は、最も長い二次ベースライン34の2倍以上の長さである。汎用性に関する他の点として、他の幾何学的配置を使用して、一次および二次ベースラインペアとして動作させるために、4つの画像センサ18の分布を得ることができる。図3Aから図3Cを参照して、所与のセンサユニット16における画像センサ18の例示的な幾何学的配置を示す。
一次および二次ベースラインペアを確立するために必要とされる物理的構成とは別に、センサユニット16は、ベースラインペアリング定義に従い画像センサ18を論理的に動作させるようそれ自身が構成され、その結果、それら定義に従い画像ペアを処理することを理解すべきである。この点に関して、再び図2に示す例を参照すると、センサユニット16は、1つまたは複数の画像処理回路36を備え、画像処理回路36は、画像センサ18のそれぞれから画像データを取得し、その画像データを処理し、そのような処理、例えば、物体の侵入を検知したことを制御ユニット20に知らせることなどの結果に応答するよう構成される。
さらに、センサユニット16は、制御ユニットインターフェース回路38、電力供給/制御回路40、および、任意選択的に、テクスチャ付き光源42を備える。ここで、テクスチャ付き光源42は、パターン化された光を一次監視領域12に射影する、またはより一般的には、搭載した画像センサ18の視野域14に射影する、センサユニット16に対する機構を提供する。
「テクスチャ」という用語は、本明細書では、任意の所与の画像センサ18の視野域内における画像コントラストの局所変化を意味する。テクスチャ付き光源42は、各センサユニット16と一体化してもよく、またはセンサユニット16と別々に電力供給され、センサユニット16と近接して設置してもよい。いずれの場合でも、人工的なテクスチャのソースを装置10に組み込むことは、合成テクスチャを、任意の所与の画像センサ18の
視野域14内の低テクスチャ領域に加えるという利点をもたらす。すなわち、3D測距をサポートするための十分な自然テクスチャの無い領域を、テクスチャ光源42によってもたらされる合成追加されたシーンテクスチャで照らし、センサ視野域14内を正確および完全に3D測距することができる。
視野域14内の低テクスチャ領域に加えるという利点をもたらす。すなわち、3D測距をサポートするための十分な自然テクスチャの無い領域を、テクスチャ光源42によってもたらされる合成追加されたシーンテクスチャで照らし、センサ視野域14内を正確および完全に3D測距することができる。
画像処理回路36は、例えば、1つまたは複数のマイクロプロセッサ、DSP、FPGA、ASIC、または他のデジタル処理回路を備える。少なくとも1つの実施形態において、画像処理回路36は、コンピュータプログラム命令を格納するメモリもしくは他のコンピュータ可読媒体を備え、それらのコンピュータプログラム命令を実行することで、センサユニット16を、画像処理および本明細書で開示した他の動作を実行するよう少なくとも部分的に設定する。当然、他の構成も考慮され、例えば、画像処理および3D解析のある部分はハードウェア(例えば、FPGA)で実行され、ある他の部分は、1つまたは複数のマイクロプロセッサで実行される。
上記のベースライン構成を考慮に入れ、装置10は、一次監視領域12といずれも重複する各センサ視野域14を有し、第1および第2の画像センサ18−1、18−2が、第1の一次ベースライン32−1を規定する間隔を有する第1の一次ベースラインペアを形成し、第3および第4の画像センサ18−3、18−4が、第2の一次ベースライン32−2を規定する間隔を有する第2の一次ベースラインペアを形成するよう配置された、(少なくとも)4つの画像センサ18を備える少なくとも1つのセンサユニット16を備えることを理解されよう。
図示のように、さらに、画像センサ18は、第1および第3の画像センサ18−1、18−3が、第1の二次ベースライン34−1を規定する間隔を有する第1の二次ベースラインペアを形成し、第2および第4の画像センサ18−2、18−4が、第2の二次ベースライン34−2を規定する間隔を有する第2の二次ベースラインペアを形成するよう配置される。一次ベースライン32は、二次ベースライン34よりも長い。
さらに、センサユニット16は、一次ベースラインペアから取得した画像データを使用して一次監視領域12内で物体を重複して検知するよう構成され、二次ベースラインペアから取得された画像データを使用して遮蔽物体を検知するようさらに構成された画像処理回路36を備える。すなわち、センサユニット16の画像処理回路36は、第1の一次ベースラインペアによって取得された画像データの立体画像処理を介して導出された距離データ内に、または、第2の一次ベースラインペアによって取得された画像データの立体画像処理を介して導出された距離データ内に、そのような物体が存在することを検知することによって、一次監視領域12内の物体を重複して検知するよう構成される。
したがって、物体は、画像センサ18−1、18−2から取得した立体視処理画像ペアから取得した(3D)距離データを識別すること、および/または画像センサ18−3、18−4から取得した立体処理画像ペアから取得した(3D)距離データを識別することで検知される。その際、第1および第2の画像センサ18−1、18−2は、第1の「立体視ペア」と見なされ、第1および第2の画像センサ18−1、18−2から取得した画像ペアに適用される画像補正および立体視処理は、第1の立体「チャネル」とみなされ得る。
同様に、第3および第4の画像センサ18−3、18−4は、第2の立体視ペアと見なされ、第3および第4の画像センサ18−3、18−4から取得した画像ペアに適用される画像処理および立体視処理は、第1の立体視チャネルから独立した第2の立体視チャネルとみなされ得る。したがって、2つの立体視チャネルは、一次監視領域12内で、物体を重複して検知する。
ここで、一次監視領域12は、センサユニット16が一次ベースラインペアを使用して物体を検知するセンサユニット16からの最小距離を意味する最小検知距離で境界付けられることに留意されたい。さらなる利点として、一次ベースラインペアを使用して重複して物体を検知することの信頼性および安全性に加え、二次ベースラインペアを使用して遮蔽物体を検知する。すなわち、第1の二次ベースラインペアとしての画像センサ18−1、18−3からの画像データの論理的ペアリングならびに処理、および第2の二次ベースラインペアとしての画像センサ18−2、18−4からの画像データの論理的ペアリングならびに処理を使用して、最小検知距離内に有る、および/または4つすべてのセンサ視野域14内に無い物体を検知する。
概して、「遮蔽物体」は、一次監視領域12内に、1つまたは複数のセンサ視野域14を遮断する。少なくとも1つの実施形態において、センサユニット16の画像処理回路36は、各二次ベースラインペアに対して、二次ベースラインペアにおける画像センサ18によって取得された画像データ間の輝度を検知することによって、または、二次ベースラインペアにおける画像センサ18によって取得された画像データの立体画像処理から生成した距離データを評価することによって、遮蔽物体を検知するよう構成される。
遮蔽物体の検知は、多くの潜在的に危険な状況に対応し、それらの状況には以下のものが含まれる。すなわち、ZLDCもしくはZSS内の小物体が立体視によって検知されず、一次監視領域12内に物体を遮蔽する可能性のある手動干渉と、光学面の汚損が立体視によって検知されず、一次監視領域12内で物体を遮蔽する可能性のあるスポット汚損と、強力な指向性ライトにより画像センサ18上に複数の内部反射をもたらす可能性があり、コントラストを低下させ、検知能力の低下をもたらす可能性のある焼き付きと、画像センサ18の光学面にわずかな異物が混入し、指向性ライトがグレアをもたらす可能性があり、コントラストを低下させ、検知能力の低下をもたらす可能性のあるグレアと、画像センサ18内の個々の画素の感度が変化することにより、検知能力の低下がもたらされる可能性のある感度変化がある。
一時的に図8を参照すると、一次ベースラインペア内の左側および右側の画像センサ18の間で接角が存在することで、図示のような最終構成を設ける。これらの接角は、遮蔽物体検知の基礎を提供し、例示的構成では、所与の二次ベースラインペアにおける1つの画像センサ18から取得した画像間での輝度の著しい差を探すことに基づき、その同じ二次ベースラインペアにおける他の画像センサ18から取得した対応する画像と比較することで、画像処理回路36はZLDC内で遮蔽物体検知を実行する。著しい輝度差により、近接する物体の存在を報知する。というのも、そのような小さなベースラインの場合、より遠隔の物体は、非常に小さな差異の原因となるためである。
基本的な画像輝度差は、画像の関連ペアにおける一方の画像(画像1)の各画素を解析し、何らかの閾値(th)内で、他方の画像(画像2)の輝度整合に対し所与の検索枠全体を検索することによって算出される。整合しない場合、その差異が検索枠のサイズより大きく、画素が「異なるもの」としてフラグ付けされるため、画素は一定の距離よりも近いものに属することを意味する。したがって、画像差は、2進数である。
遮蔽物体による画像差は、二次ベースライン34−1または34−2の一方を使用して取得した画像ペア内で生じた差異に基づくため、物体がベースラインと整列し、保護領域を全貫通する場合、結果として差異は発見されない。準水平線検知に基づくさらなる全貫通物体検知アルゴリズムを使用して、基本的な画像差アルゴリズムによって確実には検知されない角度、例えば、+/−15度内の物体を検知する。
さらに、遮蔽物体が大きい、および/または非常に近接している場合(例えば、画像センサ18の視野域14を完全に覆っている場合)、検知可能な水平線をもたらさない可能性さえある。しかしながら、この状態は、基準マーカーベースの緩和策を使用して検知される。というのも、1つまたは複数の実施形態における装置構成要件は、少なくとも1つの基準マーカが、セットアップ/検証段階中、一次監視領域12内で視認可能でなければならないことを必要とするためである。
ZLDCを越えているが、一次監視領域12の外側にある物体の検知に関し、画像センサ18の接角は、一次監視領域12のいずれかの側のZSSを実質的に削除するように設定可能である。さらに、またはあるいは、画像処理回路36は、物体検知のための短距離立体視手法を使用し、二次ベースラインペアを使用して、視野域の非常に限定された部分にわたって、適切な画像境界でのみ物体を検知する。
また、上記のように、いくつかの実施形態において、各センサユニット16内の画像センサ18は、高露光画像フレームおよび低露光画像フレームを含む画像フレームを取得するよう構成される。例えば、画像処理回路36は、個々の画像センサ18の露光時間を動的に制御するよう構成され、その結果、画像取得は、より長い露光時間およびより短い露光時間の使用の間で変化する。さらに、画像処理回路36は、少なくとも一次ベースラインペアによって取得される画像フレームに対して、対応する高露光画像フレームおよび低露光画像フレームを融合して、高ダイナミックレンジ(HDR)画像を取得し、各一次ベースラインペアから前記HDR画像のストリームを立体的に処理するよう構成され、一次監視領域12内の物体を重複検知する。
例えば、画像センサ18−1は、低露光画像フレームおよび後続の高露光画像フレームを生成するよう制御され、これら2つのフレームは、第1のHDR画像を取得するために組み合わされる。通常は、2つ以上の異なる露光フレームを、HDR画像を生成するために組み合わせることができる。この処理は、連続する取得間隔にわたって繰り返され、その結果、第1のHDR画像のストリームをもたらす。同じ取得間隔の間、画像センサ18−2は、第2のHDR画像のストリームを生成するために組み合わされる低露光画像フレームおよび高露光画像フレームを生成するよう制御される。任意の所与の取得間隔からの第1および第2のHDR画像は、(場合によっては、立体視処理の前にさらなる前処理をした後)立体的に処理される、対応するHDR画像ペアを形成する。他の立体視チャネルにおけるHDR画像ペアの同様のストリームは、第2の一次ベースラインペア(すなわち、画像センサ18−3、18−4)を介して取得される。
追加の画像前処理も行ってもよい。例えば、いくつかの実施形態において、各立体視チャネルからのHDR画像ペアは平行化されており、その結果、一次ベースラインペアに含まれる画像センサにおける対応する光軸が平行であり、エピポーラ線が、平行化画像における対応する画像行であるエピポーラ幾何に対応する。
両立体視チャネルからのHDR画像ペアは、平行化され、次いで、画像処理回路36に含まれる立体視プロセッサ回路によって処理される。立体視プロセッサ回路は、立体対応アルゴリズムを実行して、各立体視チャネルにおける画像センサ18によって取得された平行化画像内の対応するシーンポイント間の差異を算出し、前記差異に基づき、画像センサ18の位置に対するシーンポイントの3D位置を算出するよう構成される。
より詳細には、例示的なセンサユニット16は、2つの立体視チャネルにまとめられた4つの画像センサ18を備え、画像センサ18−1、18−2を備える第1の一次ベースラインペアによって示される一方のチャネルでは、第1の一次ベースライン32−1と称される第1の距離によって隔てられ、画像センサ18−3、18−4を備える第2の一次
ベースラインペアによって示される他方のチャネルでは、第2の一次ベースライン32−2と称される第2の距離によって隔てられる。
ベースラインペアによって示される他方のチャネルでは、第2の一次ベースライン32−2と称される第2の距離によって隔てられる。
各画像センサ18からの複数の未処理画像は、画像センサ18の視野域14によって取り込まれるシーンの高ダイナミックレンジ画像を生成するよう共に構成される。立体視チャネルごとの高ダイナミックレンジ画像は、対応する光軸が並列であり、エピポーラ線が対応する画像行であるエピポーラ幾何に対応するように平行化される。平行化画像は、立体対応アルゴリズムを実行して、対応するシーンポイント間の差異を算出し、それにより、センサユニット16の所与の位置に対するこれらのポイントの3D位置を算出する上述の立体視プロセッサ回路によって処理される。
その際、一次監視領域12は、画像センサ18の共通の視野域(FOV)によって限定される3D射影空間である。差異検索枠の最大サイズは、立体セットアップによって計測可能な最短距離を限定し、したがって、一次監視領域12の最短許容距離を限定する。この距離はまた、「限定検知機能領域(Zone of Limited Detection Capability)」(ZLDC)と称される。同様に、一次監視領域12内に含まれる最大距離は、装置10に対するエラー耐性によって限定される。
一次ベースラインペアからの画像は、一次監視領域12内の物体の表面上の3Dポイントに対応する、一次監視領域12に対する3Dポイントのクラウドを生成するよう処理される。さらに、この3Dポイントクラウドは、データ圧縮、クラスタリングおよびセグメンテーションアルゴリズムにより解析され、定義された最小サイズの物体が、一次監視領域12に入ったかどうかを判断する。当然、一次監視領域12は、装置10の処理論理の構成により、異なるレベルの警告、および、安全性が重要ではない警告領域ならびに安全性が重要な保護領域を含む異なる数ならびに種類の監視領域を備えてもよい。
図1に示す例示的な分散アーキテクチャにおいて、制御ユニット20は、1つまたは複数のセンサユニット16からの命令信号を処理し、それに対応して、1つまたは複数の機械、例えば、一次監視領域12における危険機械を制御するか、またはセンサユニット16によって検知された侵入に関する他のシグナリングもしくは状態情報をもたらす。制御ユニット20もまた、センサユニット16に、制御ユニット20とセンサユニット16との間の通信リンク22を介して電力を供給するが、センサユニット16もまた、例えば、利用者がPoE接続を使用することを望まない場合に、別個の電力入力を有してもよい。さらに、図示しないが、「エンドスパン」ユニットを、制御ユニット20とセンサユニット16の所与の1つとの間に中継ぎとして接続し、センサユニット16、I/O拡張などの局所的電力供給のために提供することが可能である。
エンドスパンユニットが装置に組み込まれようとそうでなかろうと、制御ユニット20のいくつかの実施形態は、「領域選択」をサポートするよう構成され、制御ユニット20の“ZONE SELECT”入力のセットに適用されるデータまたは信号パターンは、装置10の実行時間中に、センサユニット16によって監視される3D境界を動的に制御する。監視領域は、装置10に対する構成処理の間にセットアップされる。特定のセンサユニット16によって監視するよう構成されたすべての領域は、同時に監視され、制御ユニット20は、侵入状態を、センサユニット16から、制御ユニット20内の選択されたI/Oユニット26に関連づける。センサユニット16ならびにそれらの領域および制御ユニット20内の特定のI/Oユニット26との間のマッピングは、構成処理中に規定される。さらに、制御ユニット20は、制御ユニットを故障状態から回復するための完全システムリセットを可能にするグローバルRESET信号入力をもたらし得る。
安全性を重視する監視用途でそれらを使用するために、1つまたは複数の実施形態にお
けるセンサユニット16は、ある種の設計安全性を組み込む。例えば、IEC61496−3によるType3安全デバイスに対する基本要件は、以下の項目を含む。(1)単一の故障により、その製品が安全ではない方法で故障する可能性はない。なお、そのような欠陥は、システムの特定の検知応答時間内に防がれる、もしくは検知される、かつ対応されなければならない。(2)故障が蓄積されることにより、その製品が安全ではない方法で故障する可能性はない。なお、安全性を重視する欠陥につながる故障の蓄積を防ぐために、バックグラウンド試験が必要である。
けるセンサユニット16は、ある種の設計安全性を組み込む。例えば、IEC61496−3によるType3安全デバイスに対する基本要件は、以下の項目を含む。(1)単一の故障により、その製品が安全ではない方法で故障する可能性はない。なお、そのような欠陥は、システムの特定の検知応答時間内に防がれる、もしくは検知される、かつ対応されなければならない。(2)故障が蓄積されることにより、その製品が安全ではない方法で故障する可能性はない。なお、安全性を重視する欠陥につながる故障の蓄積を防ぐために、バックグラウンド試験が必要である。
一次監視領域12内の物体を検知するために使用される二重立体視チャネルは、一致について2つのチャネルからの処理結果の比較に基づき、単一故障要件に対処する。2つのチャネルの間の差異は、一方または両方のチャネルにおける異常を示す。2つのチャネルの間の差異は、一方または両方のチャネルにおける異常を示す。装置10の検知応答時間内でのそのような差異をチェックすることによって、装置10は、すぐに、安全エラー状態に移行することができる。あるいは、物体検知のためのより保守的な手法をとることもでき、いずれかの一次ベースラインペアからの検知結果が機械の停止を引き起こし、一次監視領域12を安全に保つことができる。2つの一次ベースラインペアの間の差異が、より長い期間(例えば、数秒から数分)にわたって残る場合、異常を検知することができ、装置10は、安全エラー(故障)状態に移行することができる。
追加の動的な偽検知および自己診断機能を装置10に組み込んでもよい。例えば、いくつかの実施形態において、センサユニット16の画像処理回路36は、両方の立体視チャネルから取得した画像ペア、すなわち、画像センサ18−1、18−2の第1の一次ベースラインペアから取得した画像ペア、および画像センサ18−3、18−4の第2の一次ベースラインペアから取得した画像ペアの立体視処理を実行するよう構成された単一の立体視処理回路を備える。立体視処理回路、すなわち「SVP」は、例えば、ASIC、または高速で立体視画像処理タスクを実行する他のデジタル信号プロセッサである。
SVPにおける故障状態は、応答時間サイクルごとに一度、SVPに投入される、特別なテストフレームを使用して検知される。テスト入力に対応するSVP出力は、予期した結果と比較される。テストフレームは、SVPのすべての安全性を重視する内部機能をテストするために特別に構成される。
SVPおよび/または画像処理回路36は、他の緩和策も組み込んでもよい。例えば、画像処理回路36は、未処理画像および平行化画像の両方を使用して、画像センサ18内の「不良」画素を識別する。画像処理回路36は、画像センサ18から取得したような未処理画像を使用して、雑音画素、スタック欠陥画素、もしくは低感度画素を識別し、バックグラウンドで関連した不良画素テストを実行する。テスト画像フレームは、不良画素検知に使用してもよく、3種類のテスト画像フレーム、すなわち、(a)センサユニット16が典型的な照明状態で動作する場合、暗雑音レベルに非常に近くなる平均画素輝度を生成する非常に低い露光時間に対応する画像取り込みである、低露光テストフレーム(LITF)、(B)少なくとも3つの異なる露光間隔の1つに対応する画像取り込みである、高露光テストフレーム(HITF)、(c)画像フレームを画像センサ18から取得するために使用される回路にテストパターンを投入する、デジタルテストパターンフレーム(DTPF)が考えられる。各種類における1つのテスト画像は、応答時間サイクルごとに取り込んでもよい。このようにして、各種類における多くのテスト画像を、指定されたバックグラウンドテストサイクル(数分から数時間)にわたって収集および解析してもよい。
さらなる緩和策には、(a)多くのLITFのセットを使用する画素データの時系列変動を、最大閾値と比較する、雑音画素検知、(b)多くのLITFおよびHITFのセッ
トを使用する画素データの同じ時系列変動を、最小閾値と比較する、スタック欠陥画素検知(高または低)、(c)画素輝度の応答を測定し、いくつかの露光レベルでHITFに対する予期した応答と比較する、低感度画素検知、(d)既知のデジタルテストパターンの画像処理を、予期した結果と比較し、画像処理回路の適切な動作をチェックする、不良画素対処検知、(e)白飛び、黒つぶれ、および遮蔽画素、つまり、正確な相関のために不適切と見なされる画素がこの範疇に入り、そのようなテストは、ランタイム画像データを使用して、フレームごとに実行することができる、平行化画像から識別された不良画素、(f)画素を、画像センサ18の適切なダイナミックレンジに対応する高閾値および低閾値と比較する、ダイナミックレンジテスト、がある。
トを使用する画素データの同じ時系列変動を、最小閾値と比較する、スタック欠陥画素検知(高または低)、(c)画素輝度の応答を測定し、いくつかの露光レベルでHITFに対する予期した応答と比較する、低感度画素検知、(d)既知のデジタルテストパターンの画像処理を、予期した結果と比較し、画像処理回路の適切な動作をチェックする、不良画素対処検知、(e)白飛び、黒つぶれ、および遮蔽画素、つまり、正確な相関のために不適切と見なされる画素がこの範疇に入り、そのようなテストは、ランタイム画像データを使用して、フレームごとに実行することができる、平行化画像から識別された不良画素、(f)画素を、画像センサ18の適切なダイナミックレンジに対応する高閾値および低閾値と比較する、ダイナミックレンジテスト、がある。
上記の機能は、例えば、図4に示すように、センサユニット16の画像処理回路36の一実施形態に対して、ハードウェアとソフトウェアとをベースとした回路構成を組み合わせたものを使用して実現される。上述のSVPは、複数の交差接続されたプロセッサ回路、例えば、画像プロセッサ回路402−1、402−2(画像プロセッサ)および制御プロセッサ回路404−1、404−2(制御プロセッサ)と共に、ここでは、SVP400とする。非限定の例において、画像プロセッサ402−1、402−2はFPGAであり、制御プロセッサ404−1、404−2は、マイクロプロセッサ/マイクロコントローラデバイス、例えば、TEXAS INSTRUMENTS AM3892マイクロプロセッサである。
画像プロセッサ402−1、402−2は、メモリ、例えば、SDRAMデバイス406を備えるか、または関連づけられ、メモリは、画像センサ18からの画像フレームを処理するための作業メモリとして働く。これらは、各制御プロセッサ404−1、404−2によって起動もしくはリセットされるよう構成可能であり、各制御プロセッサ404−1、404−2は、作業メモリ(例えば、SDRAMデバイス408)を備えるか、もしくは関連づけられ、フラッシュデバイス410内に起動/構成データを備える。
各画像プロセッサ402間および各制御プロセッサ404間に見られる交差接続は、画像センサ18の第1および第2の一次ベースラインペアを使用して、一次監視領域12の二重チャネル重複監視をもたらす。この点に関して、「左側」の画像センサ18−1、18−3が、画像プロセッサ402−1および画像プロセッサ402−2に結合されていることが分かる。同様に、「右側」の画像センサ18−2、18−4は、画像プロセッサ402の両方に結合される。
さらに、機能タスクの分割の例において、画像プロセッサ402−1および制御プロセッサ404−1は、システムタイミングを確立し、Ethernet(登録商標)インターフェースであってもよい、制御ユニット20への物理(PHY)インターフェース38をサポートする。制御プロセッサ404−1はまた、SVP400を構成する役割を果たし、画像プロセッサ402−1は、SVPのホストインターフェースへのゲートウェイの役割を果たす。制御プロセッサ404−1はまた、画像センサ18を構成するバスインターフェースを制御する。さらに、画像プロセッサ402−1はまた、同じバスへの接続を含み、露光制御動作を実行する場合に、より高い精度を提供する。
また、制御プロセッサ404−2および画像プロセッサ402−2は、上記の動作に対し、重複処理チャネルを形成する。この役割では、画像プロセッサ402−2は、画像プロセッサ402−1のクロック生成および画像データインターリーブを監視する。この理由により、両方の画像プロセッサ402は、すべての画像センサ18の画像データを出力するが、画像プロセッサ402−1だけは、画像センサクロックおよび同期信号を生成する。
画像プロセッサ402−2は、スタック欠陥画素検知アルゴリズムおよび雑音画素検知アルゴリズムを重複して実行し、SVPホストインターフェースから取り込んだデプスデータを使用して保護領域違反を重複してクラスタ化する。最終的に、画像プロセッサ402−2および制御プロセッサ404−2からのエラー検知アルゴリズム、クラスタリング、および物体追跡結果は、画像プロセッサ402−1および制御プロセッサ404−1からのそれらを正確に反映しなければならず、または、画像処理回路36は、欠陥を宣言し、装置10全体を作動して、動作の欠陥状態を入力させる。
各画像プロセッサ402は、SDRAMデバイス406と共に動作し、高ダイナミックレンジ融合、雑音画素統計情報、SVPテストフレーム、保護領域、および診断のために取り込んだビデオフレームなどの全画像フレームに対して緩衝されたデータをサポートする。これらの外部メモリはまた、実装された場合、画像プロセッサ402に、画像平行化または多解像度解析を実行させる。
各制御プロセッサ404とそのそれぞれの画像プロセッサ402との間のインターフェースは、PCI−expressまたはSATA型シリアルインターフェースなどの高速シリアルインターフェースである。あるいは、それらの間には、マルチビットパラレルインターフェースを使用することができる。どちらの手法でも、画像処理回路36は、SVP400の制御のため、および出力デプスならびに平行化画像データへのアクセスのために、SVP400の「ホストインターフェース」を使用する。SVP400のホストインターフェースは、画像取り込み速度に対応した速度ですべての所望の出力を転送するのに十分速く動作するよう設計される。
さらに、プロセッサ間連絡チャネルにより、2つの重複制御プロセッサ404は、互いの動作を同期し続ける。制御プロセッサ404−1は、PHYインターフェース38を制御するが、装置10の実行/停止状態の最終決定をすることはできない(例えば、一次監視領域12内の危険機械の実行/停止状態を制御する)。代わりに、制御プロセッサ404−2はまた、制御プロセッサ404−1が、PHYインターフェース38を介して制御ユニット20に転送する特定の機械実行アンロックコード(または、同様の値)を生成する必要がある。次いで、制御ユニット20は、センサユニット16の2つの重複チャネルが正しい機械状態に一致するかどうかの最終判断を行う。したがって、例えば、制御ユニット20は、センサユニット16の二重の重複チャネルからの状態指示に従い、適切な実行/停止状態へのOSSD出力の実行/停止状態を設定する。あるいは、センサユニット16は、他の例示的な実施形態において、センサユニット16の2つの重複チャネルが正しい機械状態に一致するかどうかの最終判断を自身で行うことができる。
制御プロセッサ404−1、404−2の間のプロセッサ間インターフェースはまた、センサユニット構成および制御プロセッサ404−2に対するプログラムイメージを更新するための方法を提供する。代替の手法には、2つの制御プロセッサ404の間で単一のフラッシュデバイスを共有することがあるが、その構成は、2つのプロセッサ404の起動手順を適切にサポートするための追加回路が必要となる可能性がある。
一般命題として、画素レベルの処理動作は、画像プロセッサ402に対してバイアスされ、画像プロセッサ402を実装するための高速でFPGAベースのハードウェアを使用することが、この構成を補完する。しかしながら、いくつかの実施形態において、制御プロセッサ404に、ある画素レベル処理動作を実行するよう要求する、何らかのエラー検知アルゴリズムが用いられる。
しかしながら、ここでも、画像プロセッサ402は、単数または複数の所与の画像フレーム内の注目「枠」を示すことができ、注目枠に対応する画素データのみを制御プロセッ
サ404に送り、処理することができる。そのような手法もまた、画像プロセッサ402および制御プロセッサ404の間のインターフェース間のデータレートを減らす助けとなり、制御プロセッサ404に対する必要なアクセスおよびメモリ帯域幅要件を減らす。
サ404に送り、処理することができる。そのような手法もまた、画像プロセッサ402および制御プロセッサ404の間のインターフェース間のデータレートを減らす助けとなり、制御プロセッサ404に対する必要なアクセスおよびメモリ帯域幅要件を減らす。
画像プロセッサ402−1がSVP400に対するインターリーブされた画像データを生成するので、テスト画像フレームをSVP400に投入し、適切に動作させるためにSVP400をテストするよう構成することも可能である。その場合、画像プロセッサ402−2は、テストフレームおよびSVP400からの結果の出力を監視する。画像プロセッサの設計を簡単にするために、画像プロセッサ402−2は、SVP400に投入されるテストフレームの独自の重複コピーを保持するのではなく、投入されたテストフレームのCRCをチェックするだけのために構成することが可能である。
いくつかの実施形態において、画像処理回路36は、可能な限り、画像プロセッサ402が必要な画素ごとの演算を実行するよう構成され、一方、制御プロセッサ404は、高レベルな浮動小数点演算を扱う。処理機能の割り当てに関してさらに詳細には、以下の機能分割を使用する。
画像センサのタイミング発生のために、1つの画像プロセッサ402がすべてのタイミングを発生し、他の画像プロセッサ402が、そのタイミングを検証する。制御プロセッサ404の1つが、タイミングパラメータを、タイミング発生画像プロセッサ402に送り、他の画像プロセッサ402のタイミング検証を実行する画像プロセッサ402によって生成されたタイミング測定値を検証する。
HDR画像融合のために、画像プロセッサ402は、HDR融合機能を使用して、低および高センサ露光を使用して取得された画像ペアをバッファリングおよび組み合わせる。制御プロセッサ404は、画像プロセッサ402に、HDR融合機能のために必要なセットアップ/構成データ(例えば、トーンマッピングおよび重み付けアレイ)を提供する。あるいは、制御プロセッサ402は、画像フレームレジスタ構成を交互に入れ替え、短/長露光パターンを実現する。
画像平行化機能のため、画像プロセッサ402は、画像センサ18から取得した未処理の画像データから生じたような、平行化された歪みの無い画像データを補完する。それに対応して、制御プロセッサ404は、平行化された歪みの無い画像データを取得するために使用される較正および平行化パラメータを生成する。
画像プロセッサ402の1つは、SVP400に対して設定インターフェースを提供する。さらに、画像プロセッサ402は、平行化画像をSVP400に送り、対応するデプスマップ(画像画素に対する3D距離データ)をSVP400から取り込む。代替の対応アルゴリズム、例えば、正規化相互相関(NCC)を使用して、画像プロセッサ402は、さらに、必要に応じて、副画素補完の精度を平行化することが可能である。制御プロセッサ404は、画像プロセッサ402の1つによって提供されるゲートウェイを使用して、SVP400を設定する。
クラスタリングに対し、画像プロセッサ402は、前景画素および「緩和」画素をクラスタリングし、そのような各クラスタに対する統計情報を生成する。それに対応して、制御プロセッサ404は、検知された物体が、侵入警告、安全重視シャットダウンなどを作動させるかどうかを評価するために使用される実際の3D距離を規定する、例えば、警告境界、安全重視境界などの、一次監視領域12に対する保護境界を生成する。
物体の残存に対し、制御プロセッサ404は、時間的フィルタリング、動き追跡、およ
び物体分割−マージ機能を実行する。
び物体分割−マージ機能を実行する。
不良画素検知演算に対し、画像プロセッサ402は、不良画素に対する画素ごとの統計情報および補完データを維持する。制御プロセッサ404は、任意選択的に、工場出荷時の欠陥リストを画像プロセッサ402にロードする。工場出荷時の欠陥リストは、例えば、画像センサ18を製造中にテストすることを可能にし、その結果、不良画素を、マップもしくは他のデータ構造内で検知かつ記録することができ、その結果、画像プロセッサ402に、既知の不良画素について知らせることができる。
露光制御演算に対し、画像センサ402は、グローバル輝度統計情報を収集し、露光タイミングを調整する。それに対応して、制御プロセッサ404は、露光制御パラメータを提供するか、または、任意選択的に、フレームごとの比例・積分・微分(PID)もしくは露光のための同様のフィードバック制御を実現する。
ダイナミックレンジ演算に対し、画像プロセッサ402は、ダイナミックレンジ緩和ビットを生成する。それに対応して、制御プロセッサ404は、ダイナミックレンジ限界を、画像プロセッサ402にもたらす。
遮蔽物体検知演算に対し、必要であれば、画像プロセッサ402は、追加の変換画像を作り出し、例えば、各二次ベースラインペアにおける2つの画像センサ18によって取得された画像データ間の画像差を検知するための画素マッチング検索を実施する。例えば、画素マッチング検索を使用して、画像センサ18−1によって取得された画像データと、画像センサ18−3によって取得された画像データとを比較する。ここで、それら2つのセンサ18−1、18−3は、第1の二次ベースラインペアを備える。同様の比較は、画像センサ18−2、18−4を備える、第2の二次ベースラインペアによって取得された画像データ間でも行われる。遮蔽物体検知演算のサポートのために、制御プロセッサ404は、限界および/または他のパラメータを、画像プロセッサ402に提供する。
基準マーカ検知アルゴリズムに対し、画像プロセッサ402は、歪みのない画像を作り出し、画像データ内の基準マーカ全体にNCC検索を実施し、ベストマッチを見出す。制御プロセッサ404は、NCCの結果を使用して、平行化画像に対する較正および焦点距離補正を算出する。制御プロセッサ404はまた、枠化画素エリアに(集中して)帯域幅チェックを実行してもよい。基準マーカ緩和アルゴリズムのいくつかの他の態様はまた、平行化画像を必要とする可能性がある。
いくつかの実施形態において、SVP400は、画像平行化を実行してもよいが、画像処理回路402で画像平行化を実行することの利点もあるであろう。例えば、そのような処理は、画像プロセッサ402によって実行される他の演算を補完するので、画像プロセッサ402内に存在する方がより自然であるかもしれない。例えば、画像センサの不良画素マップ(スタック欠陥または雑音)は、画像データと同じ方法で平行化されなければならない。画像プロセッサ402が、すでに画像データに対する平行化を実施する必要がある場合、画像プロセッサ402が、不良画素マップを平行化し、画像および不良画素間での平行化に一貫性を保証することが意味をなす場合がある。
さらに、基準マーカ追跡は、少なくともある例において、平行化されていない歪みのない画像で最も有効に機能する。歪みを除去するための補完理論は、平行化と同様であり、そのため、画像プロセッサ402が歪みのない画像を作り出す場合、平行化を実行するために同様に設定された追加リソースを備えることが可能である。
さらに、遮蔽物体検知は、二次ベースライン34−1、34−2のそれぞれに対して少
なくとも1つの追加画像変換を必要とする。SVP400は、これらの追加の平行化を行うためのスループットを有さない可能性があるが、画像プロセッサ402は、追加の処理に快適に対応することができる可能性がある。
なくとも1つの追加画像変換を必要とする。SVP400は、これらの追加の平行化を行うためのスループットを有さない可能性があるが、画像プロセッサ402は、追加の処理に快適に対応することができる可能性がある。
画像プロセッサ402における最も画素ベースの処理の統合に有利な他の態様は、ZLDCに関する。ZLDCを縮小するための1つの可能な方法は、画像データの多解像度解析を使用することである。例えば、長さ寸法の2分の1に縮小された画像を、対応する「通常の」画像が入力された後に、SVP400に入力する。この構成は、SVP400によって実現される最大差異を3倍にする。
SVP400によって実行される立体相関処理(「立体視処理」と称する)の別の態様において、SVP400への入力は、未処理または平行化された画像ペアである。入力画像ペアに対するSVP400の出力は各画素に対するデプス(または、差異)値、相関スコアならびに/もしくはインタレスト演算子ビット、および平行化された画像データである。相関スコアは、相関の質に対応する数値であり、したがって、出力の信頼性に関する測定値を提供する。インタレスト演算子ビットは、問題の画素が、その相関スコアの特定の態様とともに満たされる必要のある所定の基準を満たしているかどうかの指示を提供する。
しかしながら、クラスタリング演算は、容易にパイプライン方式で実行され、したがって、画像プロセッサ402のFGPAベースの実施形態での実施に有利である。記載したように、クラスタリング処理は、前景画素を「クラスタ」に接続し、画像処理回路36によって実施されるより高いレベルの全体的な物体検知アルゴリズムは、クラスタの画素の数、サイズ、および画素密度によって価値のある追跡になるかどうかを判断する。
画素グループがクラスタリングされると、データレートは、実質的に、全デプス画像のストリームより低くなる。この事実のため、および追跡物体の複雑さのため、物体の識別および追跡は、有利には、少なくとも、マイクロプロセッサまたはDSPを使用して、制御プロセッサ404を実現する実施形態において、制御プロセッサ404で実行される。
不良画素検知の場合、画像処理回路36は、高および低露光テストフレームのシーケンスを使用して、スタック欠陥(高/低)画素および雑音画素をチェックする。スタック欠陥画素検知機能からの不良画素は、装置10の検知応答時間内で更新され、一方、アルゴリズムは、雑音画素を検知するために複数のテストフレームを必要とする。これらのアルゴリズムは、画像センサ18からの未処理の画像データを処理する。
スタック欠陥画素テストは、画像プロセッサ402において容易にサポートされる単純な検知アルゴリズムに基づくが、雑音画素テストは、アルゴリズムは単純であるが、画像フレーム全体に対する画素統計情報のバッファリングを必要とする。したがって、画像プロセッサ402がそのような処理を行う程度まで、画像プロセッサ402には、そのようなバッファリングのために適切なメモリが備わる。
さらに広範には、例示的なアーキテクチャにおいて、画像センサ18からの未処理の画像データのみが、画像センサ18から画像プロセッサ402に流れる。未処理の画像データは、画像プロセッサ402から制御プロセッサ404に流れる必要はない。しかしながら、記載したように、不良画像センサ画素は、画像画素として同じ平行化変換を受けなければならず、その結果、クラスタリングアルゴリズムにより、正しく平行化された画像の座標にそれらを適用することができる。この点に関して、画像プロセッサ402は、不良画素に対して、SVP400によって実行された同じ平行化マッピングを反映することができなければならない。
不良画素が識別された場合、それらの値は、隣接する「良」画素から補完された値と置き換えられる。この処理は、複数のスキャンラインの履歴を必要とするため、その処理は、パイプライン方式で実行することができ、画像プロセッサ402の任意のFPGAベースバージョンで実装するのに適切である。
不良画素検知のある態様は、アルゴリズム的に単純であるが、遮蔽物体検知は、多数の関連機能を備える。そのような機能には、(a)各二次ベースラインペアにおける画像センサ18間の輝度比較、(b)誤検知を抑制するための画像形態などの後処理演算、(c)保護領域を超えて延在して上記の(a)を満たすまで続く均一な遮蔽物体を表すことができる水平線の検知がある。
基準マーカーベースのエラー検知アルゴリズムは、フォーカスの損失、コントラストの損失、画像センサアライメントの損失、世界(3D座標)登録の損失、および1つまたは複数の他の画像センサエラーを含む多数の状況を検知するよう設計される。
図5は、上記の画像処理機能に関する「機能」回路または処理ブロックを示し、設定された境界に関連する情報などを任意選択的に有する、画像センサ18の視野域14に対応する出力映像を提供するための、映像出力回路412も任意選択的に含む。図5の例で提供される図示の処理ブロックは、画像プロセッサ402および制御プロセッサ404の間で分配されることが理解されるだろう。
そのことを念頭において、機能ブロックは、以下の要素を備えることが分かる。つまり、露光制御機能500、不良画素検知機能502、不良画素平行化機能504、HDR融合機能506、不良画素補完機能508、画像歪み補正および平行化機能510、立体相関およびNCC副画素補完機能512、ダイナミックレンジチェック機能514、遮蔽物体検知機能516、コントラストパターンチェック機能518、基準マーカ緩和機能520、領域ごとのクラスタリング機能522、物体残存および動きアルゴリズム機能524、ならびに欠陥/診断機能526を備える。これらの機能の1つまたは複数は、一次監視領域12の二重チャネル監視に基づく重複物体検知に合わせて、重複して実行してもよいことに留意されたい。
画像取り込みは、「フレーム」と称する一連の連続的なタイムスライスで行われる。一例として、画像処理回路36は、60fpsのフレームレートで動作する。各ベースライン32または34は、画像センサ18の1ペア、例えば、画像センサ18−1、18−2を備える第1のペア、画像センサ18−3、18−4を備える第2のペア、画像センサ18−1、18−3を備える第3のペア、および画像センサ18−2、18−4を備える第4のペアに対応する。
各ベースラインに対する未処理画像データは、同時に取り込まれる。雑音画素、スタック欠陥画素、または低感度画素は、未処理画像で検知され、不良画素マップを生成するために使用される。検知した欠陥画素信号は、通常の隣接画素を使用する補完方法を使用して補正される。この補正工程は、処理パイプラインのさらなる段階での欠陥画素への影響を最小にする。
高および低露光画像は、各ベースラインペアに対するシーケンスで取得される。したがって、画像フレームの各シーケンスは、高および低露光画像を交互に含む。画像ストリーム間の応答時間サイクルごとの1つまたは2つのフレームは、テスト目的のために用いられるものであり、「画像ストリーム」は、画像センサ18の各ペアからの画像ごとのフレーム単位で流れる画像データに関する。
各画像センサ18からの高および低露光フレームは、本明細書に記載されるHDR融合処理に従い、新しい画像に組み合わされる。結果としてのHDR画像は、拡張ダイナミックレンジを有し、高ダイナミックレンジ(HDR)フレームと呼ばれる。ここで、HDRフレームレートは、60Hzで、対応するHDR画像を作り出すために異なる露光で取得した2つの未処理画像を必要とするため、30Hzであることに留意されたい。イメージャごとに1つの30HzHDR画像ストリームがあるか、またはベースラインごとに30HzHDR画像ペアがある。
さらに、画像は、光学的な歪みを補正するために前処理され、それらはまた、コンピュータビジョンにおいて「平行化」と称される変換を受ける。結果としての画像は、「平行化画像」または「平行化画像データ」と称される。参考として、機能ブロック510からのそのようなデータ出力が見られる。不良画素マップはまた、後に使用するために、平行化ブロック504で見られるように、同じ平行化変換を受ける。結果としての不良画素データは、クラスタリング処理の間に使用され得る画素重みを含む。
機能ブロック510からの平行化された画像データを使用して、多数のチェックを実行する。そのようなチェックには、画素を飽和閾値および不飽和閾値と比較し、それらの閾値から外れる場合に不良であるとフラグを立てる、ダイナミックレンジチェック、ならびに、物体がZLDC内にあるかどうか、もしくは「側面遮蔽領域」(ZSS)内にあるかどうかを判断するために画像を解析する、遮蔽物体チェックがある。そのような物体は、もし存在する場合、1つまたは複数のセンサ視野域14内に影を落とす可能性があり、事実上、センサユニット16からその影の中にある可能性のある物体を見えなくする。遮蔽領域に対応する画素のグループは、「不良」としてフラグを立てられ、潜在的に危険な状態にあると識別される。
そのような動作は、遮蔽物体検知機能516において実行される。さらなるチェックには、不良コントラストパターンチェックがあり、ここで、画像は、距離測定の結果を信頼性のないものとする可能性のあるコントラストパターンに対して解析される。テスト基準に満たない画素は、「不良」としてフラグを立てられる。同時に、平行化画像は、図5においてブロック512によって部分的に示された、SVP400に入力される。設計が単一のSVP400に基づく場合、各一次ベースライン32−1、32−2に対するHDR画像フレームは、総計入力レート60HzでSVP400に交互に入力される。そのため、一方のベースライン32−1または32−2に対するHDRフレームは、他方のベースライン32−1または32−2に対して対応するHDRフレームがSVP400によって処理される間に緩衝される。距離データは、後処理され、低品質レンジポイントを発見かつ除去し、精度を徐々に改善し、次いで、規定した検知境界と比較される。
3D距離データにより検知境界内に置かれる画素は、クラスタに分類される。不良画素も、直接識別されるか、もしくは画素重みの評価を通じて識別され、クラスタリング処理に含まれる。クラスタリング処理は、複数の検知境界に対して並行して実行することができる。検知されたクラスタのサイズは、最小物体サイズと比較され、最小物体サイズに合うもしくはそれを越えるクラスタは、多数のフレームにわたって追跡され、誤った偽検知を抑制する。最小サイズの物体と合致する検知されたクラスタが、最小期間(すなわち、規定された数の連続フレーム)にわたって残る場合、その状況は、侵入として分類される。侵入情報は、他のテストから監視されたように、欠陥状態と一緒に、例えば、安全なEthernet(登録商標)プロトコルを使用して、制御ユニット20に送られる。
基準マーカ監視は、ブロック520で実行されるように、および光学欠陥に対する自己テストとして必要とされるように、物体検知処理と並行して、平行化された画像データを
使用して実行される。基準マーカ監視タスクは、光学欠陥に対する診断機能を提供するだけでなく、熱ドリフトによる感度の小さな変動に対応して画像平行化に使用されるパラメータを調整するための機構も提供する。
使用して実行される。基準マーカ監視タスクは、光学欠陥に対する診断機能を提供するだけでなく、熱ドリフトによる感度の小さな変動に対応して画像平行化に使用されるパラメータを調整するための機構も提供する。
さらに、バックグラウンドテストおよび実行時間テストのセットは、センサユニット16の状態を制御ユニット20に通信するためにも使用される出力を提供する。さらなる処理には、ブロック500に見られる、上記処理機能から独立して実行される露光制御アルゴリズムがある。露光制御アルゴリズムは、感度を調整することでライティング状況がゆっくりと変化することを補償することができ、さらに、テストフレーム期間の間、特定の座標に対するテストを可能にする。
上記の例示的なアルゴリズムが、堅実で安全なマシンビジョンシステムを生成するために有利に組み合わされるが、それらは、変更される可能性のある非限定的な例であると理解されるべきである。概して、一次監視領域12に対する物体検知処理は、立体画像処理技術を使用して、3Dユークリッド距離を計測する。
したがって、二重ベースライン、遮蔽検知、および高ダイナミックレンジ作像の特徴は、すべて、基礎をなす立体画像処理技術をさらに向上させる。一次監視領域12に対する二重ベースライン32−1、32−2は、第1および第2の立体視チャネルからの重複物体検知情報を提供する。第1の立体視チャネルは、第1のベースライン物体検知情報を取得し、第2の立体視チャネルは、第2のベースライン物体検知情報を取得する。第1のベースラインからの物体検知情報は、第2のベースラインからの物体検知情報と比較される。比較における不一致は、異常、もしくは故障状態を示す。
一次ベースライン32が、一次監視領域12における一次物体検知に使用される間、二次ベースライン34は、センサユニット16に近接する第1の物体が、センサユニット16からより離れた第2の物体を視覚的に遮らないもしくは遮蔽しないことを確実にするよう実行される、遮蔽物体検知に使用される。これには、1つの画像センサ18によって検知され、他の画像センサ18によって検知されない物体を検知するために必要とされる処理能力を含む。
図6、図7A、図7Bは、遮蔽物体検知、ならびにZLDCおよびZSS区域に関する有用な図を提供する。1つまたは複数の実施形態において、特に図6を参照すると、画像センサ18−1、18−2は、第1の立体視チャネルとして処理するための立体画像のペアをもたらす第1の立体視ペアとして動作し、画像センサ18−3、18−4は、第2の立体視チャネルとして処理するための立体画像のペアをもたらす第2の立体視ペアとして動作し、画像センサ18−1、18−3は、第3の立体視チャネルとして処理するための立体画像のペアをもたらす第3の立体視ペアとして動作し、画像センサ18−2、18−4は、第4の立体視チャネルとして処理するための立体画像のペアをもたらす第4の立体視ペアとして動作する。第1および第2のペアは、それぞれ、一次ベースライン32−1、32−2によって隔てられ、一方、第3および第4のペアは、それぞれ、二次ベースライン34−1、34−2によって隔てられる。
本明細書で上記したように、センサユニット16の画像処理回路36によって使用される一次物体測距技術は、合致する画素に対するエピポーラ線を介して検索し、画素差異に基づいて距離を算出する、2つの異なる位置に設置された2つの画像センサ18の間の立体相関である。
この一次物体測距技術は、少なくとも一次監視領域12に適用され、図6は、第1および第2の立体視チャネルを使用して、一次監視領域12内の物体を検知することを示す。
すなわち、一次監視領域12内の物体は、第1の画像センサ18−1によって取り込まれた画像と第2の画像センサ18−2によって取り込まれた画像とを関連づけることによって検知され(第1の立体視チャネル)、さらに、第3の画像センサ18−3によって取り込まれた画像と第4の画像センサ18−4によって取り込まれた画像とを関連づけることによって検知される(第2の立体視チャネル)。したがって、第1および第2の立体視チャネルは、一次監視領域12内の物体に対して、重複した検知能力を提供する。
すなわち、一次監視領域12内の物体は、第1の画像センサ18−1によって取り込まれた画像と第2の画像センサ18−2によって取り込まれた画像とを関連づけることによって検知され(第1の立体視チャネル)、さらに、第3の画像センサ18−3によって取り込まれた画像と第4の画像センサ18−4によって取り込まれた画像とを関連づけることによって検知される(第2の立体視チャネル)。したがって、第1および第2の立体視チャネルは、一次監視領域12内の物体に対して、重複した検知能力を提供する。
第3および第4の立体視チャネルを使用して、(1)ZLDCの内側である、および/または、(2)一方のZSS内である、センサ視野域14を包囲する、二次監視領域を作像する。この点に関して、ZLDC内にある所与の最小サイズの物体は、二次ベースラインペアのそれぞれによって取得される画像ペアで動作する差異ベースの検知アルゴリズムを使用して検知されるのに十分近いことを理解すべきである。しかしながら、これらの差異ベースアルゴリズムは、(物体が、すべてのセンサ視野域14内に現れない)ZLDC限界を超えるが一方のZSS内にある物体を検知することができない場合がある。というのも、観測された画像の差異が、物体距離が増すにつれて減少するためである。2つのリスク緩和策の一方または両方を使用して、ZSS内の遮蔽物体検知を扱うことが可能である。
まず、図8に示すように、センサユニット16は、画像センサ18の接角が、ZSSを最小にするように構成してもよい。次に、ZSS内の物体は、第1および第2の二次ベースラインペアによって取得された画像に対する立体相関処理を使用して検知することができる。すなわち、画像処理回路36は、第1の画像センサ18−1によって取り込まれた画像と第3の画像センサ18−3によって取り込まれた画像とを関連づけるよう構成してもよく(第3の立体視チャネル)、さらに、第2の画像センサ18−2によって取り込まれた画像と第4の画像センサ18−4によって取り込まれた画像とを関連づけるよう構成してもよい(第4の立体視チャネル)。したがって、画像処理回路36は、一次監視領域12における物体検知のために、第1および第2の立体視チャネル(画像センサ18の第1および第2の一次ベースラインペア)から取得した画像データに対して立体相関処理を使用し、ZLDCおよびZSSにおける物体検知のために、第3および第4の立体視チャネル(画像センサ18の第1および第2の二次ベースラインペア)から取得した画像データに対して輝度差ならびに立体相関処理のいずれかもしくは両方を使用する。
図7A、図7Bの例で示すように、第3および第4の立体視チャネルを使用して、一次監視領域12内で物体を遮蔽する可能性のある、二次監視領域内の物体を検知する。センサユニット16の直前にあり、さらに一次監視領域12のいずれかの側面にある区域は、一次ベースライン立体視チャネル、すなわち、一次ベースライン32−1、32−2に対応する第1および第2の立体視チャネルを使用する物体検知に使用することができない。
例えば、図7Bは、一次監視領域12とセンサユニット16との間にあり、すなわち、ZLDC内にあり、場合によっては、一次監視領域12内の物体を遮蔽する遮蔽物体“1”を示す。図では、一次監視領域12内にあるが、1つまたは複数の画像センサ18に対する遮蔽物体“1”によって遮蔽される一次監視領域12の区域内にあるために検知されない可能性がある物体“A”および“B”が見られる。
さらに、図7Bは、他の遮蔽例を示し、ここでは、物体“2”が、最小検知距離を超えている(ZLDC境界を超えている)が、一次監視エリア12の一方の側面に位置する。言い換えると、物体“2”は、一方のZSS内にあり、したがって、同じ側の1つまたは複数の画像センサ18に対する一次監視領域12に影を落とす。したがって、一次監視領域12内にあるが、物体“2”から射影された影の中にある物体“C”は、確実には検知されない可能性がある。
したがって、遮蔽物体が一次監視領域12における物体検知をもたらすのと同じ距離の分解能では必ずしも検知されない可能性があるが、センサユニット16が遮蔽物体を検知することは重要である。したがって、画像処理回路36は、一次監視領域12内の物体のフル分解能、重複検知のための一次物体検知機構と、ZLDC内部の物体の存在を検知するための二次物体検知機構と、ZSS区域内の物体の存在を検知するための三次物体検知機構とを有するとみなされ得る。図8の例のように、左側と右側との間の接角の存在により、最終の画像センサ/FOV構成を設ける。接角は、一次監視領域12のいずれかの側面でのZSSを除去するか、または大幅に減らすように設定してよく、その結果、側面遮蔽の危険性を減らすか、もしくは除去する。
ZLDC区域に対する物体検知は、センサユニット16の各側面に設置された隣接する画像センサ18の間に何らかの大きな差があるかどうかを検知することに基づく。例えば、そのような処理には、画像センサ18−1からの画像データと、画像センサ18−3の画像データとの比較が含まれる。(同様の処理において、画像センサ18−2と18−4との間の画像データを比較する)。センサユニット16の近くにあり、これらの近接配置された画像センサペアの1つから見えるところに物体がある場合、近傍内のそれぞれの画素輝度の単純な比較により、大きな差が明らかになる。そのような差は、他方の画像内の同じ位置に対応する所与の検索枠内部で輝度が一致しない一方の画像におけるそれらの点にフラグを立てることによって発見される。「一致」と判断する基準は、比較が各イメージャ内の平均利得および/または雑音レベルに影響されないようにするように設計される。
他の例として、二次(短)および一次(長)ベースライン長の間の関係は、それぞれをtおよびTとして、t/T=D/dと表すことができる。ここで、Dは、一次ベースラインの最大差異検索距離であり、dは、画像差アルゴリズムの検索枠サイズである。
この方法は、ZLDC区域の内側にある、および、そこに近接する物体を検知するために設計される。ZLDC区域から離れた物体は、画像データ内の非常に小さな差異に対応し、したがって、近接配置されたセンサペアからの画像が比較された場合、そのような大きな差は生成されないだろう。ZLDC境界を越えるが一次監視領域12の1つの側面にある物体を可能な限り検知するために、近接配置されたセンサペアは、立体視ペアとして動作し、これらの対応する立体画像ペアは、対応するZSS区域内の物体のみを検索する方法で処理される。
当然、上記の物体検知処理のすべてまたはいくつかにおいて、HDR画像の使用により、センサユニット16は、より幅広い周辺光状態で機能することが可能となる。HDR画像融合のための一実施形態の一例において、画像処理回路36は、多数の演算を実行する。例えば、較正処理は、特徴づけ工程として使用され、インバース画像センサ応答関数(CRF)を回復させ、g:Z→Rが製造段階で要求される。gの範囲は、(Zで表される)0から1023の範囲の10ビット(イメージャデータ分解能)整数である。範囲は、実数の集合Rである。
実行時間では、CRFを使用して、異なる(既知の)露光で取得された画像を組み合わせて、放射照度画像(irradiance image)Eを作り出す。ここから、回復した放射照度画像は、対数演算子を使用してトーンマッピングされ、次いで、SVP400によって処理するのに適切な、12ビット輝度画像に再マッピングされる。
CRFを回復するために、さまざまな異なる較正/特徴づけアルゴリズムが考えられる。例えば、P.DebevecとJ.Malikによる「Recovering Hig
h Dynamic Range Radiance Maps from Photographs」SIGGRAPH1998およびT.MitsunagaとS.Nayarによる「Radiometric Self Calibration」CVPR1999を参照されたい。
h Dynamic Range Radiance Maps from Photographs」SIGGRAPH1998およびT.MitsunagaとS.Nayarによる「Radiometric Self Calibration」CVPR1999を参照されたい。
いかなる場合でも、以下の擬似コードは、実行時間で実行されるような、例示的なHDR融合アルゴリズムの概要を示す。アルゴリズム入力は、CRF g、低露光フレームIL、低露光時間tL、高露光フレームIH、および高露光時間tHを含む。対応するアルゴリズム出力は、12ビット放射照度画像Eである。
各画素pに対し、
であり、ここで、w:Z→Rは、重み付け関数(例えば、Guassian、hatなど)である。本アルゴリズムは、lnE(p)→[0,4096]でマッピングを継続し、12ビット放射照度画像Eを取得する。ここで、オフセット演算およびスケーリング演算を含むことが理解されよう。
実行時間HDR融合アルゴリズムは、画素ごとに独立して動作し、提案するHDRスキームは、並列処理をサポートする本質的にはどんなプラットフォームへの実施にも適する。この理由により、画像プロセッサ402のFPGAベースの実施は、とりわけ有利となる。
当然、これらおよび他の実施詳細は、少なくともある程度は、性能要件および用途詳細により変えることができる。一例において、装置10は、複数の領域または区域を含む一次監視領域12を用いる。図9は、一次監視領域12が、一次保護領域(PPZ)、一次許容域(PTZ)、二次保護領域(SPZ)、および二次許容域(STZ)を含む一例を示す。
少なくともいくつかの実施形態において、装置10は、全身検知システムとして構成されるので、異なる方法で危険ポイントにアプローチしようとする人間に対して、さまざまな可能性が考えられる。人間が、危険ポイントに向かって床面を這う可能性があり、または、人間が、危険ポイントに向かって歩く/走る可能性がある。人間の動く速度および最小射影サイズ(または、画像)は、アプローチ方法論の関数である。伏せている、または這っている人間は、典型的に、歩いている人間よりも遅い速度で動き、さらに、画像面上でより大きな表面領域を射影する。侵入者のアプローチ方向により、2つの異なる検知要件が含まれる。これらの制約は、人体の検知を損なうことなく、誤検知を抑制する助けとなる。
図9に関連して有用な構成の例では、PPZは、センサヘッド(SH)16から、床面上420mmまで延在する。規定したPTZは、直径200mmの最悪ケースの試験体が最大速度1.6m/sで動く場合に、検知を保証するよう規定される。PPZは、歩いている/走っている人間を確実に検知する。
他方で、這っている人間は、最大速度がより遅く(例えば、0.8m/s)、PPZに部分的にのみ侵入しながら動くであろう。這っている人間の検知を保証するために、装置
10は、(最大スタンドオフ距離要件を満たすため)SH16から、床面から300mmまでSPZを延長するよう構成される。また、この領域に対する最悪ケースの試験体のサイズは、直径200mmの球体より大きく、それは、伏せている人間の最悪ケースの射影が、より大きいからである。PTZと同様に、STZは、必要な検知確率を維持するよう規定される。さらに、PTZは、SPZと重複する。異なる使用方法または用途に対して、これらの領域の定義は、例えば、異なる高さおよび/または最悪ケース物体検知サイズを使用して、さまざまに構成することができることに留意されたい。
10は、(最大スタンドオフ距離要件を満たすため)SH16から、床面から300mmまでSPZを延長するよう構成される。また、この領域に対する最悪ケースの試験体のサイズは、直径200mmの球体より大きく、それは、伏せている人間の最悪ケースの射影が、より大きいからである。PTZと同様に、STZは、必要な検知確率を維持するよう規定される。さらに、PTZは、SPZと重複する。異なる使用方法または用途に対して、これらの領域の定義は、例えば、異なる高さおよび/または最悪ケース物体検知サイズを使用して、さまざまに構成することができることに留意されたい。
これら2つの領域を使用する物体検知に関し、装置10は、各ケースに対して別々の保護境界およびフィルタリング戦略を想定することによって、(走っている人間および這っている人間に対して)2つの検知基準を独立して実施する。PPZおよびPTZに対応する第1の保護領域境界は、最大速度1.6m/sを有する可能性のある、200mmより大きい物体を検知する。nフレーム中の少なくともmフレームに対して、クラスタの残存を確認する時間的フィルタリング条件をさらに使用することができる。例えば、60Hzの画像フレームレートに対して200msの応答時間を維持するために、4/6フレームフィルタリング戦略を、この検知アルゴリズムに対して使用することができる。
同様に、SPZおよびSTZに対応する第2の保護領域境界は、0.8m/sの要件によって制限される、より遅い最大速度で動く、斜位像から人体の胴の射影に対応する最小サイズの物体を検知するよう構成される。より遅く動く物体、例えば、這っている人間は、同じ距離(歩いている/走っている人間の動く速度により算出される安全距離)をカバーするのに、より長い時間がかかるだろう。このため、SPZ内の物体を検知するために、より長い応答時間(200ms×1.6m/s÷0.8m/s=400ms)が必要となる。同様に、許容応答時間をより長くすることで、より堅実な8/12フィルタリング戦略の使用が可能となり、SPZ内の物体検知のために、背景構造物(例えば、床面)から発生する可能性のある誤検知を効果的に抑制することが可能となる。
したがって、本明細書で意図する方法は、這っている人間および歩いている人間が監視領域に侵入することに対し、以下に基づいて保護することを備える。すなわち、床面上部の規定した高さで始まる第1の監視領域、および第1の監視領域より下側であり、床面か、もしくは人間が歩いたり這ったりすることが可能な他の表面方向に下方に延在する第2の監視領域の立体画像を取得することと、立体画像を処理して距離画素を取得することと、歩いているか、もしくは走っている人間を検知するために調整された第1の物体検知パラメータを使用して、第1の監視領域に対応する距離画素を処理することによって、第1の監視領域内への物体の侵入を検知することと、這っているか、もしくは伏せている人間を検知するために調整された第2の物体検知パラメータを使用して、第2の監視領域に対応する距離画素を処理することによって、第2の監視領域内への物体の侵入を検知することとを備える。
意図した方法によれば、第1の物体検知パラメータは、第1の監視領域内で検知可能な物体に対する最小サイズを規定する第1の最小物体サイズ閾値を含み、さらに、第1の監視領域内で検知可能な物体に対する最大速度を規定する第1の最大物体速度を含む。第2の物体検知パラメータは、第1の最小物体サイズ閾値より大きな第2の最小物体サイズ閾値を含み、さらに、第1の最大物体速度より遅い第2の最大物体速度を含む。
例示的実装態様において、第1の監視領域は、床面もしくは他の表面上部約420mmで始まり、SH16に射影的に延在し、第2の監視領域は、床面もしくは他の表面上部300mmから、第1の監視領域の開始地点もしくはSH16まで延在する。さらに、第1の最小物体サイズ閾値は、第1の監視領域に対応し、断面で200mmもしくは約200mmであり、第2の最小物体サイズ閾値は、第2の監視領域に対応し、断面で200mm
超であり、第1の最大物体速度は、約1.6m/sであり、第2の最大物体速度は、約0.8m/sである。当然、歩く/這うの検知もしくは他の理由のために、監視領域12を複数の監視領域もしくは区域に分割することは、本明細書で意図する装置10の構成の一例を意味する。
超であり、第1の最大物体速度は、約1.6m/sであり、第2の最大物体速度は、約0.8m/sである。当然、歩く/這うの検知もしくは他の理由のために、監視領域12を複数の監視領域もしくは区域に分割することは、本明細書で意図する装置10の構成の一例を意味する。
さらに、装置10の1つまたは複数の実施形態で使用するような物体検知中の時間的フィルタリングの使用にかかわらず、シーン内にある何らかの永続的構造が、物体侵入として誤って検知される可能性がある。距離検証ならびにクラスタベースの処理(例えば、クラスタ後処理)のある要素が、以下の2つの既知の場合による誤検知を抑制するのに必要となる。すなわち、(a)2つの「テクスチャの無い」区域の接合部で形成される、高コントラストエッジ、(b)エピポーラエラーの状況下でのセンサベースラインに対して、小さな方位角を有する(すなわち、画像行が、エピポーラ線に、正確に対応しない)エッジである。
上記の場合によるエラー(a)を抑制するために、少なくとも1つの実施形態における装置10は、輝度特性を用いて独立した立体検証を、および同様の尺度として正規化相互相関(NCC)を実行することによって、保護領域境界を貫通するピクセルの距離を検証するよう構成される。平行化された距離値は、連続するクラスタリングおよびフィルタリングの段階で使用される。
上記のケース(b)に属するエラーは、系統誤差であり、検知ベースラインと整列した(または、ベースラインに対して小さな角度を有する)エッジ構造によるものである。このエラーの大きさは、ベースラインに対するエピポーラシフト(Δy)およびエッジ方向(θ)の関数であり、(差異エラーの点から)以下により得られる。
Δdepipolar=Δy/tan(θ)
したがって、本システムは、小さい配向角θを有するエッジに対応する距離ポイントを抑制するよう構成することができる。
したがって、本システムは、小さい配向角θを有するエッジに対応する距離ポイントを抑制するよう構成することができる。
さらに詳細な例において、図10Aおよび図10Bは、1つまたは複数の実施形態における装置10により実行される、物体検知処理の方法1000を示す。本明細書で詳細に上記したように、画像センサ18のペアからの複数の未処理画像が、立体画像として取り込まれ(ブロック1002)、関係する画像センサ18の各視野域14内で画像化されたシーンの高ダイナミックレンジ画像を生成するよう共に構成される(ブロック1004)。
立体視チャネルからの結果としてのHDR画像は、対応する光軸が並列であり、エピポーラ線が対応する画像行であるエピポーラ幾何に対応するように平行化される(ブロック1006)。さらに、本明細書の上部で説明したように、緩和処理が実行され(ブロック1008)、(例えば、視野から遮蔽される可能性のある区域に対応する)不良(すなわち、障害)もしくは信頼性のない立体画像における画素を適切に処理しないために発生する物体検知異常もしくは検知の非信頼性を緩和する。平行化されたHDR画像の処理はまた、画像処理回路36に含まれる立体視プロセッサ400による立体相関処理を含む(ブロック1010)。立体視プロセッサは、立体対応関係アルゴリズムを実行して、(3D)デプスマップを算出し、後にデプスマップ処理の対象とする(ブロック1012)。
図10Bは、デプスマップ処理の例示的詳細を提供する。ここでは、立体視プロセッサ400によって生成されたデプスマップ内の各距離画素に対して決められた距離値が、その画素位置での保護境界の距離値と比較される(ブロック1012A)。この比較は、直交座標(直線位置および距離)からのデプスマップを極座標(立体角値およびラジアル距
離)に基づくデプスマップに変換することに基づき、極座標で、すなわち、ラジアル距離値を使用して行うことができることに留意されたい。したがって、デプスマップは、直交座標または極座標とすることができるが、画像センサの視野域の射影空間を表す極座標表現にデプスマップを変換することに対して、何らかの利点が本明細書では認識される。
離)に基づくデプスマップに変換することに基づき、極座標で、すなわち、ラジアル距離値を使用して行うことができることに留意されたい。したがって、デプスマップは、直交座標または極座標とすることができるが、画像センサの視野域の射影空間を表す極座標表現にデプスマップを変換することに対して、何らかの利点が本明細書では認識される。
あらゆる場合において、処理された距離画素が、その画素位置で保護境界を越える距離を有する場合、これ以上の考慮対象から外れる(NO、つまり、ブロック1012Aからブロック1012Bに進む)。他方で、その距離が保護境界内にある場合、処理は継続し、NCC処理を使用してデプス(距離)情報を再算出し(ブロック1012C)、距離比較が再び実行される(ブロック1012D)。再算出された距離が保護境界内である場合(ブロック1012DからYESに進む)、画素はフラグ立てされ、クラスタ処理の対象であるフラグ立てされた画素のセットに含まれる。再算出された距離が保護境界範囲外である場合(ブロック1012DからNOに進む)、その画素は破棄される(ブロック1012E)。
上記した処理は、「リファインメント」ステップの一例であり、画像処理回路36は、例えば、初期の立体相関処理から取得されるような、粗い距離情報に基づいてデプス画素を最初にフラグ立てし、次いで、より精密な距離決定判断を、それらの初期にフラグ立てされた距離画素に適用するよう構成される。したがって、この手法は、より精密だが遅い距離算出アルゴリズムを、全画素ではなく最初にフラグ立てされた距離画素に適用することによって、全体的な算出時間および複雑度を低減するよう改善し、それらの初期にフラグ立てされた距離画素に対して再算出された(より精密な)デプス情報をもたらす。より精密な、再算出された距離情報を使用して、保護範囲距離に対し、フラグ立てされた距離画素を検証する。
再び図10を参照すると、フラグ立てされた画素のセットでクラスタ処理を実行するよう処理が継続される(ブロック1014)。そのような処理は、エピポーラ後処理および/または(時間的)フィルタリングを含むか、または伴うことができ、雑音と、現実の物体に対応する永続的検知イベントに対する他の一時的検知イベントとを区別するために使用される。
上記を踏まえ、1つまたは複数の実施形態における装置10の画像処理回路36は、3Dデプスマップを直交座標から極座標に変換することによって、デプスマップを取得するよう構成される。次いで、デプスマップを使用して、一次監視領域12内の物体を検知する。デプスマップ内の各有効距離画素は、(格納された)検知境界と比較され、画素侵入の可能性を判断する。この試験を通過した画素は、以下で説明する、NCCベースの立体相関関係ステップを使用する距離検証(および、距離更新)を受ける。更新された距離画素は、保護領域境界試験を再び受け、その試験を通過した画素には、クラスタ処理が検討される。非限定的な例として、保護境界は、上記で識別したPPZとPTZ、またはSPZとSTZとすることができ、どの領域をクラスタリングするかにより、それぞれが、対応する物体検知プロセッサによって扱われる。次いで、検知されたクラスタは、以下で説明する、エピポーラエラー抑制後処理ステップを受ける。最後に、残ったクラスタが、時間的フィルタリングおよび誤検知抑制試験の対象となり、最終的な侵入状態を判断する。
より詳細には、画像処理回路36は、射影空間座標システムを使用して、距離データを効率的に解析する。この手法は、以下の理由により、特に有効である。すなわち、(a)画像センサ18が、射影センサであり、したがって、本来の極座標システムが好ましい、および(b)遮蔽物体などの問題を、射影幾何学を使用して容易に扱えるためである。
具体例では、射影空間において、
− デプスマップ内の各画素(u,v,Z)が、左カメラの中心を通る線と考えることができる。線(u,v)に沿った第1の視認可能物体の(カメラZ軸に沿った)距離は、Zによって表されて、立体対応関係を用いて算出される。
− デプスマップ内の各画素(u,v,Z)が、左カメラの中心を通る線と考えることができる。線(u,v)に沿った第1の視認可能物体の(カメラZ軸に沿った)距離は、Zによって表されて、立体対応関係を用いて算出される。
− 遮蔽している物体および遮蔽された物体の両方が、同じ立体角を形成する。
− 3D空間の角度量子化を生成することで、遮蔽している物体および遮蔽された物体の両方に、同じ検知原理を適用可能にする。
− 3D空間の角度量子化を生成することで、遮蔽している物体および遮蔽された物体の両方に、同じ検知原理を適用可能にする。
− 3D直交座標(X,Y,Z)を3D極座標(r,θ,φ)に変換する。
− 保護境界は、各画素線に沿ったラジアル距離の関数として既知であると仮定する。
− 保護境界は、各画素線に沿ったラジアル距離の関数として既知であると仮定する。
− したがって、本装置は、各距離画素のラジアル距離を境界マップと比較し、保護境界外にあるポイントを除外することができる。
− 保持するポイントは、2D(θ,φ)ヒストグラムの区間に入り、ここで(θ,φ)は、量子化(すなわち、立体角の量子化)してもよい。
− 2D(θ,φ)ヒストグラムは、2D画像として解釈され、クラスタリング/検知アルゴリズムに渡される。
− 上記のアルゴリズムを使用して、本システムは、遮蔽物体を明示的な意味で扱う必要はない。
− この機能は、物体検知を、(以下の例で記載する)他の緩和結果と統合することができる、統一的フレームワークを容易にする。
上記の処理に関して、緩和結果を物体検知と統合するさまざまな実施形態が、本明細書で意図される。射影空間座標系(極座標系)では、画像処理回路36は、画素ごとの緩和結果の出力を、物体検知アルゴリズムに直接統合するため、統一的処理フレームワークを実現する。
図11は、装置10の1つの意図する統一的処理構成のための画像処理を示す。図11によれば、画像処理回路36は、以下の場合、潜在的侵入物として画素をフラグ立てするよう構成される。すなわち、有効距離を有し、規定した保護領域内にある、利用可能なダイナミックレンジ外にある輝度画素を検知する画素ダイナミックレンジ緩和結果によってフラグ立てされる、遮蔽物体検知緩和結果によってフラグ立てされる、または何らかのイメージャ緩和結果によって検出された欠陥画素に対応する重み付けマスクにおいてフラグ立てされる場合である。本処理は、射影座標系上に定義されたヒストグラムへのフラグ立てされた画素の蓄積を続ける。次いで、デプスマップによって表された射影空間は、クラスタリングされ、最小サイズの物体より大きい物体を検知する。
多くのイメージャ緩和結果は、画像センサ18から、未処理画像における欠陥画素を検知およびフラグ立てする。物体検知処理を用いる適切な露光のため、平行化画像に欠陥画素情報を適切に伝搬することは、さらなる処理を必要とする。例示的構成において、画像処理回路36は、以下を実行するよう構成される。すなわち、未処理画像内の各欠陥画素に対して、画像平行化パラメータに基づき、重み付け画素マスクを算出する。重み付けマスクは、対応する平行化画素で、欠陥未処理画素が有する影響の度合いを表す。重み付け画素マスクでは、2進画素マスクを取得するための閾値が決定され、欠陥未処理画素によって重く影響を受ける平行化画素をフラグ立てする。フラグ立てされた平行化画素は、最終的に、図11に示したように、上記した物体検知と統合される。さらに、欠陥画素値は
また、ローカル画像補完に基づいて、未処理画像内で(分離されている限り)補正され、平行化画像での影響を最小化する。
また、ローカル画像補完に基づいて、未処理画像内で(分離されている限り)補正され、平行化画像での影響を最小化する。
画像処理回路36によるクラスタベース処理の例示的詳細において、そのような回路は、物体クラスタリングのため、2パス連結コンポーネントアルゴリズムを使用するよう構成される。本実装態様は、FPGA処理のために最適化するよう変更することができ、例えば、画像処理回路402が、プログラム化FPGAを備えるよう変更することができる。クラスタ統計情報のみが必要とされ、クラスタへの画素連結(すなわち、ラベル付けされた画像)が要求されない場合、アルゴリズムの1つのパスのみを使用してもよく、クラスタ統計情報は、同等のラベルが検知された場合は必ず、同じパス内で更新することができる。本アルゴリズムを実行するために必要とされる処理は、FPGAデバイス内で、効率的にパイプライン化することができる。
8連結度関係を、以下の擬似コードにおいて仮定する。画素連結度は、2つまたはそれ以上の画素間の関係を取り込む。2D画像格子では、以下の2画素近傍を定義することができる。4連結度では、画素(x,y)が、画素(x−1,y)、(x+1,y)、(x,y−1)、(x,y+1)と直接連結されるよう仮定されるのみであり、8連結度では、画素(x,y)が、8つの近傍画素、すなわち(x−1,y)、(x−1,y−1)、(x,y−1)、(x+1,y−1)、(x+1,y)、(x+1,y+1)、(x,y+1)、(x−1,y+1)と直接連結される。以下の擬似コードの概要では、連結されたコンポーネントアルゴリズムの第1のパスの間、8連結度画素近傍のすべてが、所与の位置に対して評価される。
アルゴリズム例示アルゴリズムは、次の通りである。
Input:未処理/平行化画像フレームを供給した画像センサ18と関連づけられた視野域14に対する射影空間ヒストグラム−射影空間ヒストグラムは、規定された保護領域内と見なされる各セルに対する画素カウントを備える。
Input:未処理/平行化画像フレームを供給した画像センサ18と関連づけられた視野域14に対する射影空間ヒストグラム−射影空間ヒストグラムは、規定された保護領域内と見なされる各セルに対する画素カウントを備える。
Output:検知されたクラスタおよび関連する統計情報。
FOR 列内の各要素
FOR 行内の各要素
IF 現在要素データ>閾値 THEN
現在要素の近傍要素を取得
IF 近傍要素を発見できない THEN
新しい数値ラベルを現在要素に割り当て
新しいラベルの統計カウンタを更新
CONTINUE
ELSE
近傍要素中の最小ラベルを発見
最小ラベルを現在要素に割り当て
すべての近傍ラベルを同等としてマーク
近傍ラベルの全統計カウンタを最小ラベルにマージ
ENDIF
ENDFOR
ENDFOR
FOR 列内の各要素
FOR 行内の各要素
IF 現在要素データ>閾値 THEN
要素を最小等価ラベルと再ラベルづけ
ENDIF
ENDFOR
ENDFOR
初期クラスタが取得されると、クラスタ解析処理を続ける。いくつかの実施形態において、画像処理回路36は、空間クラスタ分割/マージ処理を実行するよう構成される。典型的な状況において、最悪ケースの試験体は、単一クラスタによって表される。しかしながら、試験体の射影サイズが増加するにつれ(例えば、カメラからの距離が短い、または試験体が大型であるため)、(例えば、対称的な左/右エッジ間のエイリアシングにより、水平勾配、および混乱が大きくなるため)単一クラスタを、複数片に分割することができる。最小クラスタ片が、最悪ケース条件下での単一クラスタより依然として大きい場合、それらの断片を別々に扱う必要はない。しかしながら、断片サイズがより小さい場合、(画素レベルではなくクラスタレベルで)さらなるレベルのクラスタリングを実行し、同じ物理的表面からの潜在的断片を関連づける必要がある。
FOR 列内の各要素
FOR 行内の各要素
IF 現在要素データ>閾値 THEN
現在要素の近傍要素を取得
IF 近傍要素を発見できない THEN
新しい数値ラベルを現在要素に割り当て
新しいラベルの統計カウンタを更新
CONTINUE
ELSE
近傍要素中の最小ラベルを発見
最小ラベルを現在要素に割り当て
すべての近傍ラベルを同等としてマーク
近傍ラベルの全統計カウンタを最小ラベルにマージ
ENDIF
ENDFOR
ENDFOR
FOR 列内の各要素
FOR 行内の各要素
IF 現在要素データ>閾値 THEN
要素を最小等価ラベルと再ラベルづけ
ENDIF
ENDFOR
ENDFOR
初期クラスタが取得されると、クラスタ解析処理を続ける。いくつかの実施形態において、画像処理回路36は、空間クラスタ分割/マージ処理を実行するよう構成される。典型的な状況において、最悪ケースの試験体は、単一クラスタによって表される。しかしながら、試験体の射影サイズが増加するにつれ(例えば、カメラからの距離が短い、または試験体が大型であるため)、(例えば、対称的な左/右エッジ間のエイリアシングにより、水平勾配、および混乱が大きくなるため)単一クラスタを、複数片に分割することができる。最小クラスタ片が、最悪ケース条件下での単一クラスタより依然として大きい場合、それらの断片を別々に扱う必要はない。しかしながら、断片サイズがより小さい場合、(画素レベルではなくクラスタレベルで)さらなるレベルのクラスタリングを実行し、同じ物理的表面からの潜在的断片を関連づける必要がある。
言い換えると、単一のより大きなクラスタを、最小物体サイズを越える物体と関連づけるのではなく、物体が、複数のより小さなクラスタとして表されるという状態となる。これらのより小さなクラスタが最小物体サイズ未満の物体サイズに対応する程度まで、画像処理回路36は、1つまたは複数の実施形態において、高機能な「クラスタのクラスタリング」を実行するよう構成される。実施例において、aは、最悪ケースで検知可能なクラスタ(分割前)のサイズを意味し、bは、最悪ケースで検知可能なクラスタ(分割後)のサイズを意味し、a>bである。
これらの状況下で、クラスタリングアルゴリズムは、最小クラスタサイズbを検知しなければならない。分割クラスタを結合する後処理ステップにおいて、画像処理回路36によって以下の判断がなされる。
Input:現在デプスマップ内のクラスタのリスト
Output:(断片化クラスタの連結後の)更新されたクラスタリスト
For 各クラスタ
IF
検知されたクラスタサイズがaより大きい場合、クラスタを受け入れる
ELSE
//a>Cluster.Size>b
このクラスタを、近傍(例えば、ユークリッド距離<400mm)の他のクラスタと結合し、単一クラスタを形成する
必要な統計情報を更新
最終サイズ>aの場合、このクラスタを保持、そうでなければ破棄
ENDIF
ENDFOR
さらに、クラスタ処理は時間的フィルタリングを組み込むか、時間的フィルタリングによって補うことができ、時間的フィルタリングは、物体検知イベントの何らかの最小残存または時間的条件を保証するための機構として動作する。そのような時間的整合性を求めることによって、保護領域内への潜在的侵入物を、雑音/一時的観測から区別することができる。すなわち、最小物体サイズを満たす検知クラスタ(マージされていてもいなくても)は、ある時間にわたってその残存を確認することによって検証することができる。IEC61494−3規格(および、規格原案IEC−61496−4−3)は、人間が保護領域に(歩いて/走って)アプローチすることが可能な最大速度は、1.6m/sに制限されると明記している。しかしながら、人間が床面を這う最大速度は、本明細書で上記したように、ほんの0.8m/sである。
Output:(断片化クラスタの連結後の)更新されたクラスタリスト
For 各クラスタ
IF
検知されたクラスタサイズがaより大きい場合、クラスタを受け入れる
ELSE
//a>Cluster.Size>b
このクラスタを、近傍(例えば、ユークリッド距離<400mm)の他のクラスタと結合し、単一クラスタを形成する
必要な統計情報を更新
最終サイズ>aの場合、このクラスタを保持、そうでなければ破棄
ENDIF
ENDFOR
さらに、クラスタ処理は時間的フィルタリングを組み込むか、時間的フィルタリングによって補うことができ、時間的フィルタリングは、物体検知イベントの何らかの最小残存または時間的条件を保証するための機構として動作する。そのような時間的整合性を求めることによって、保護領域内への潜在的侵入物を、雑音/一時的観測から区別することができる。すなわち、最小物体サイズを満たす検知クラスタ(マージされていてもいなくても)は、ある時間にわたってその残存を確認することによって検証することができる。IEC61494−3規格(および、規格原案IEC−61496−4−3)は、人間が保護領域に(歩いて/走って)アプローチすることが可能な最大速度は、1.6m/sに制限されると明記している。しかしながら、人間が床面を這う最大速度は、本明細書で上記したように、ほんの0.8m/sである。
本開示の状況において、これらのガイドラインを使用して、現在フレームFtで発見さ
れたクラスタと、直前フレームFt−1との間の対応関係を確立する。時間的関連性に対する閾値dthは、センサヘッド構成の関数である(例えば、光学、イメージャ解像度、フレームレートなど)。時間的検証のためのアルゴリズムを以下に要約する。
れたクラスタと、直前フレームFt−1との間の対応関係を確立する。時間的関連性に対する閾値dthは、センサヘッド構成の関数である(例えば、光学、イメージャ解像度、フレームレートなど)。時間的検証のためのアルゴリズムを以下に要約する。
Input:フレームFt...Ft−nにおけるクラスタのリスト。ここで、nは、事前に構成されたか、または動的に選択されたフィルタリング周期であり、mはフィルタリングパラメータであり、nのうちmをフィルタリングする(添え字は、フレームのタイムスタンプを意味する)。
Output:ブール侵入状態−検知された場合
Ftは、時間tでのフレームを意味する。
Ftは、時間tでのフレームを意味する。
フレームFtにおける任意のクラスタcに対し
1.現在クラスタk=cを設定
2.nskip=n−m、lastMatch=1を設定
3.Ft−1からFt−nにおけるFpに対し
a.フレームFpにおいて、現在クラスタkに最も近いクラスタjを発見
b.クラスタjおよびkの間の距離D(j,k)<lastMatch*dthの場合、k=jおよびlastMatch=1に設定
c.そうでなければ、nskip=nskip−1、lastMatch=lastMatch+1に設定
4.nskip>0の場合、tureを返す
5.そうでなければ、falseを返す
雑音距離データへの連結コンポーネントアルゴリズムの適用は、あるフレームから次のフレームへの大型物体の均一なクラスタリングをもたらすことができる。場合によっては、大型クラスタは、複数の小型クラスタに分割することができ、逆も成り立つ。時間的整合性要件は、分割およびマージが、あるフレームから次のフレームへクラスタ重心位置を変更する場合、侵害される可能性がある。したがって、本明細書で意図する検証アルゴリズムの一実施形態は、さらに、クラスタを解析し、それらクラスタが、複数のクラスタをマージした結果であるか、大型クラスタを直前フレームにおいて分割したのかを確認する。分割/マージ状況が検知されると、クラスタは、時間的整合性チェックの結果にかかわらず有効と見なされる。
1.現在クラスタk=cを設定
2.nskip=n−m、lastMatch=1を設定
3.Ft−1からFt−nにおけるFpに対し
a.フレームFpにおいて、現在クラスタkに最も近いクラスタjを発見
b.クラスタjおよびkの間の距離D(j,k)<lastMatch*dthの場合、k=jおよびlastMatch=1に設定
c.そうでなければ、nskip=nskip−1、lastMatch=lastMatch+1に設定
4.nskip>0の場合、tureを返す
5.そうでなければ、falseを返す
雑音距離データへの連結コンポーネントアルゴリズムの適用は、あるフレームから次のフレームへの大型物体の均一なクラスタリングをもたらすことができる。場合によっては、大型クラスタは、複数の小型クラスタに分割することができ、逆も成り立つ。時間的整合性要件は、分割およびマージが、あるフレームから次のフレームへクラスタ重心位置を変更する場合、侵害される可能性がある。したがって、本明細書で意図する検証アルゴリズムの一実施形態は、さらに、クラスタを解析し、それらクラスタが、複数のクラスタをマージした結果であるか、大型クラスタを直前フレームにおいて分割したのかを確認する。分割/マージ状況が検知されると、クラスタは、時間的整合性チェックの結果にかかわらず有効と見なされる。
図12Aは、時間t−1でのクラスタを、時間tで、2つ(またはそれ以上)のクラスタに分割することができる、典型的な状況を示す。同様に、図12Bに示すように、時間t−1での2つまたは複数のクラスタを結合/マージして、時間tでの単一クラスタを形成することができる。クラスタ分割/マージ試験により、以下の2つの状況をチェックする。
a.クラスタ分割:時間tでの所与の(新しい)クラスタが、(移動物体に対する許容差を考慮して)時間t−1でのより大きなクラスタ内に完全に包含されるか?
b.クラスタマージ:時間tでの所与の(新しい)クラスタが、(移動物体に対する許容差を考慮して)時間t−1でのクラスタの1つまたは複数を完全に包含するか?
クラスタを有効にするために、上記条件が真であるか、またはクラスタが時間的整合性試験を通過する必要がある。これらの試験は、画像処理回路36によって実行され、直前nフレーム中の少なくともmフレームで対応関係を確立する。
b.クラスタマージ:時間tでの所与の(新しい)クラスタが、(移動物体に対する許容差を考慮して)時間t−1でのクラスタの1つまたは複数を完全に包含するか?
クラスタを有効にするために、上記条件が真であるか、またはクラスタが時間的整合性試験を通過する必要がある。これらの試験は、画像処理回路36によって実行され、直前nフレーム中の少なくともmフレームで対応関係を確立する。
同じまたは他の実施形態において、さらなる処理により、誤検知の追加抑制をもたらす。そのような追加の処理の例では、画像処理回路36は、保護領域境界内にあると検知された距離画素をNCCベース検証ステップにかけるよう構成され、図13に示した差異ベ
ースの条件をもたらす。
ースの条件をもたらす。
NCCベースの検証に関連して、以下の記号を使用する可能性がある。
L(x,y)は、x列およびy行での左画像画素の輝度値を意味する。
L(x,y)は、x列およびy行での左画像画素の輝度値を意味する。
R(x,y)は、x列およびy行での右画像画素の輝度値を意味する。
L’は、左画像からの指定されたNCC枠の平均輝度である。
L’は、左画像からの指定されたNCC枠の平均輝度である。
R’は、右画像からの指定されたNCC枠の平均輝度である。
さらに、NCCベース「スコアリング」は、以下のように、数学的に表すことができる。
さらに、NCCベース「スコアリング」は、以下のように、数学的に表すことができる。
ここでは、NCC距離検証のための例示的擬似コードは、以下のようになる。
Input:左平行化画像、L(x,y)、右平行化画像、R(x,y)、およびデプスマップZ(x,y)
Output:更新済デプスマップ、Z(x,y)
FOR 各画素が保護領域内にある
x,yで、デプスマップから差異(dspty)を算出
dsptyを最も近い整数に丸める
Nccスコア(L(x,y),R(x−dspty−1,y))に対してNCCスコア(nsc1)を算出
Nccスコア(L(x,y),R(x−dspty,y))に対してNCCスコア(nsc2)を算出
Nccスコア(L(x,y),R(x−dspty+1,y))に対してNCCスコア(nsc3)を算出
Nccスコア(L(x,y),R(x−dspty+2,y))に対してNCCスコア(nsc4)を算出
max_nscにnsc1、nsc2、nsc3、nsc4の最大値を格納する
max_dsptyにおけるmax_nscに対応する右画像の差異を格納するIF
max_nscがnsclに等しい OR max_nscがnsc4に等しい THEN
x,yでのデプスマップをゼロに設定する
CONTINUE
ENDIF
パラボラフィッティングを使用して、NCC副画素の差異をmax_nscおよびmax_dspty+/−1に対応する2つのNCCスコアで補完するx,yでのデプスマップにおけるNCC副画素の差異を格納する
ENDFOR
さらなる態様において、1つまたは複数の実施形態における画像処理回路36は、エピポーラエラー抑制を実行するよう構成される。エピポーラエラー抑制の例示的実装態様は、4つの主要なステップを含む。(1)エッジ検知、(2)エッジの大きさおよび方向の推定、(3)エッジの大きさおよび方向の値から統計値を算出し、低信頼画素にフラグを立てる、および(4)クラスタ抑制
エッジ検知のため、さまざまな手法が可能である。一例において、画像処理回路36は、以下の数式によって表される処理を実行するよう構成される。
Input:左平行化画像、L(x,y)、右平行化画像、R(x,y)、およびデプスマップZ(x,y)
Output:更新済デプスマップ、Z(x,y)
FOR 各画素が保護領域内にある
x,yで、デプスマップから差異(dspty)を算出
dsptyを最も近い整数に丸める
Nccスコア(L(x,y),R(x−dspty−1,y))に対してNCCスコア(nsc1)を算出
Nccスコア(L(x,y),R(x−dspty,y))に対してNCCスコア(nsc2)を算出
Nccスコア(L(x,y),R(x−dspty+1,y))に対してNCCスコア(nsc3)を算出
Nccスコア(L(x,y),R(x−dspty+2,y))に対してNCCスコア(nsc4)を算出
max_nscにnsc1、nsc2、nsc3、nsc4の最大値を格納する
max_dsptyにおけるmax_nscに対応する右画像の差異を格納するIF
max_nscがnsclに等しい OR max_nscがnsc4に等しい THEN
x,yでのデプスマップをゼロに設定する
CONTINUE
ENDIF
パラボラフィッティングを使用して、NCC副画素の差異をmax_nscおよびmax_dspty+/−1に対応する2つのNCCスコアで補完するx,yでのデプスマップにおけるNCC副画素の差異を格納する
ENDFOR
さらなる態様において、1つまたは複数の実施形態における画像処理回路36は、エピポーラエラー抑制を実行するよう構成される。エピポーラエラー抑制の例示的実装態様は、4つの主要なステップを含む。(1)エッジ検知、(2)エッジの大きさおよび方向の推定、(3)エッジの大きさおよび方向の値から統計値を算出し、低信頼画素にフラグを立てる、および(4)クラスタ抑制
エッジ検知のため、さまざまな手法が可能である。一例において、画像処理回路36は、以下の数式によって表される処理を実行するよう構成される。
であり、さらに、
Iは、処理される立体画像ペアの左平行化画像である。
Iは、処理される立体画像ペアの左平行化画像である。
同様に、さまざまなアプローチが、エッジ方向の推定のために利用可能である。例示的構成において、画像処理回路36は、以下の数式に基づいて、エッジの方向を推定する。
上記は、画素制御のための、平均および標準偏差振幅−角度積のサポート算出を推定する。例示的実施形態において、画像処理回路36で実施されるそのような処理に対するアルゴリズムは、以下のようになる。
Input:エッジ方向マップ、θ、エッジ大きさマップ、M
Output:射影空間セルごとの非抑制画素の数
FOR 各画素が保護領域内にある
(NCC_WINSIZE × NCC_WINSIZE)近傍画素に対するΜ*θの平均を算出する
(NCC_WINSIZE × NCC_WINSIZE)近傍画素に対するΜ*θの標準偏差、STD、を算出する
IF 平均が平均閾値より大きい OR STDがSTD閾値より大きい
THEN
cell_idにこの画素のセルインデックスを格納する
inside_pixel_count[cell_id]++
ENDIF
ENDFOR
この時点で、画像処理回路36は、クラスタ抑制を実行するための基礎を有する。クラスタ画像処理のための例示的アルゴリズムは、以下の通りである。
Output:射影空間セルごとの非抑制画素の数
FOR 各画素が保護領域内にある
(NCC_WINSIZE × NCC_WINSIZE)近傍画素に対するΜ*θの平均を算出する
(NCC_WINSIZE × NCC_WINSIZE)近傍画素に対するΜ*θの標準偏差、STD、を算出する
IF 平均が平均閾値より大きい OR STDがSTD閾値より大きい
THEN
cell_idにこの画素のセルインデックスを格納する
inside_pixel_count[cell_id]++
ENDIF
ENDFOR
この時点で、画像処理回路36は、クラスタ抑制を実行するための基礎を有する。クラスタ画像処理のための例示的アルゴリズムは、以下の通りである。
Input:射影空間セルごとの非抑制画素の数
Output:抑制後の最終クラスタリスト
FOR 各クラスタ
FOR このクラスタ内の各セル
3×3近傍枠内のinside_pixel_countの合計を算出する
max_sumに最大合計値を保持する
ENDFOR
IF max_sumがinside_pixel_count閾値の合計より小さい THEN
このクラスタを削除する
ENDIF
ENDFOR
画像処理回路36の1つまたは複数の実施形態において実施される、上記で詳細に記したクラスタベース処理は、最小検知可能試験物体のサイズに直接関係し、選択された閾値は、装置の所望の検知能力に対応していることを実証する。画像処理回路402によって生成された、または、画像処理回路36内のデプスマップと関連したさまざまな物体検知パラメータの視点から、そのような処理を見ることはまた、有用である。物体検知閾値は、以下のように分類することができる。
− 量子化閾値:
− Δθ:HFOV(水平視野域)に対する角度量子化
− Δφ:VFOV(垂直視野域)に対する角度量子化
− 例えば、64°×44°のFOVおよび(0.5°×0.5°)の角度量子化に対し、量子化球状ヒストグラム内に合計128×88セルが存在する。
− クラスタリング閾値
− Tpix:画素/線の最小数セルは、(FOV、イメージャ解像度、最小サイズ物体などにより)クラスタリング対象にならなければならない
− Tcells:セルの最小数クラスタは、(FOV、イメージャ解像度、最小サイズ物体などにより)フィルタリング対象にならなければならない
− Note:この閾値は、クラスタごとの画素の総数に左右される可能性がある(例えば、Tpixの合計が、セル内でより大きい場合、Tcellはより小さくなる−この依存度は、指向性照明の場合に有用となる可能性がある)
− 時間的フィルタリング閾値
− Nfilt:検知結果をフィルタリングすべき画像フレームの数
図14は、例示的処理ステップ1402から1416を使用して、例示的フローダイアグラムで上記の処理を示す。図示するステップは、高ならびに低露光を交互に使用して、画像センサ18の立体視ペアから、未処理左ならびに右画像を取り込むステップ、および各そのようなセンサ18から高ならびに低露光画像の対応する画像を融合して、HDR立体画像を取得し、その後、平行化して、平行化されたHDR立体画像を取得するステップを含む。
Output:抑制後の最終クラスタリスト
FOR 各クラスタ
FOR このクラスタ内の各セル
3×3近傍枠内のinside_pixel_countの合計を算出する
max_sumに最大合計値を保持する
ENDFOR
IF max_sumがinside_pixel_count閾値の合計より小さい THEN
このクラスタを削除する
ENDIF
ENDFOR
画像処理回路36の1つまたは複数の実施形態において実施される、上記で詳細に記したクラスタベース処理は、最小検知可能試験物体のサイズに直接関係し、選択された閾値は、装置の所望の検知能力に対応していることを実証する。画像処理回路402によって生成された、または、画像処理回路36内のデプスマップと関連したさまざまな物体検知パラメータの視点から、そのような処理を見ることはまた、有用である。物体検知閾値は、以下のように分類することができる。
− 量子化閾値:
− Δθ:HFOV(水平視野域)に対する角度量子化
− Δφ:VFOV(垂直視野域)に対する角度量子化
− 例えば、64°×44°のFOVおよび(0.5°×0.5°)の角度量子化に対し、量子化球状ヒストグラム内に合計128×88セルが存在する。
− クラスタリング閾値
− Tpix:画素/線の最小数セルは、(FOV、イメージャ解像度、最小サイズ物体などにより)クラスタリング対象にならなければならない
− Tcells:セルの最小数クラスタは、(FOV、イメージャ解像度、最小サイズ物体などにより)フィルタリング対象にならなければならない
− Note:この閾値は、クラスタごとの画素の総数に左右される可能性がある(例えば、Tpixの合計が、セル内でより大きい場合、Tcellはより小さくなる−この依存度は、指向性照明の場合に有用となる可能性がある)
− 時間的フィルタリング閾値
− Nfilt:検知結果をフィルタリングすべき画像フレームの数
図14は、例示的処理ステップ1402から1416を使用して、例示的フローダイアグラムで上記の処理を示す。図示するステップは、高ならびに低露光を交互に使用して、画像センサ18の立体視ペアから、未処理左ならびに右画像を取り込むステップ、および各そのようなセンサ18から高ならびに低露光画像の対応する画像を融合して、HDR立体画像を取得し、その後、平行化して、平行化されたHDR立体画像を取得するステップを含む。
さらに、示した処理は、HDR立体画像で立体相関処理を実行し、直交座標で距離画素のデプスマップを取得するステップを備える。新しいデプスマップは、各(HDR)画像フレームで、すなわち、各新しい平行化HDR立体画像の取り込み/生成時に生成することができることが理解されるだろう。そのようなデプスマップは、センサ視野域14の射影空間を表す極座標にそれらを変換することによって処理される。(境界、表面、または他の輪郭を規定する射影空間内の立体角値または部分距離に対するラジアル距離のセット
として定義することができる)規定された保護境界内の距離画素は、フラグを立てられる。
として定義することができる)規定された保護境界内の距離画素は、フラグを立てられる。
フラグ立てされた画素について、処理を続ける。フラグ立てされた画素は、不信頼もしくは不良であるとしてフラグ立てされた緩和画素を含んでもよい。そのような処理は、例えば、NCC補正、ヒストグラミング(センサ視野域14がまたがる水平ならびに立体角範囲を量子化する各セルに、フラグ立てされた画素を廃棄)、エピポーラエラー抑制、および雑音フィルタリングなどを含む。
上記処理で使用される閾値の一例として、そのような閾値は、以下に想定する状況で導出または確立される。
− 光学系およびイメージャ
− FOV:64°H×44°V、ここで”H”および”V”は、水平および垂直を意味する(しかし、教示および処理は、本明細書では、他の参照フレームに等しく適用される)
− イメージャ解像度:740×468
− 焦点距離(f):609.384画素
− 最小物体サイズ:直径200mm
デプスマップから2Dヒストグラムデータを展開する射影ヒストグラム閾値は、以下のように設定される:
− 立体角範囲量子化:(Δθ,Δφ)=(0.5,0.5)、これらの角度量子化に対応する規定されたヒストグラムセルとして理解可能である
− セル寸法=128×88
− セルごとの最大画素/線
− (740/128)×(468/88)〜=5×5画素
上記量子化パラメータを用いて、最大距離で、最悪ケース物体によって射影ヒストグラム内に占めるセルの数を、以下により算出することができる。
− FOV:64°H×44°V、ここで”H”および”V”は、水平および垂直を意味する(しかし、教示および処理は、本明細書では、他の参照フレームに等しく適用される)
− イメージャ解像度:740×468
− 焦点距離(f):609.384画素
− 最小物体サイズ:直径200mm
デプスマップから2Dヒストグラムデータを展開する射影ヒストグラム閾値は、以下のように設定される:
− 立体角範囲量子化:(Δθ,Δφ)=(0.5,0.5)、これらの角度量子化に対応する規定されたヒストグラムセルとして理解可能である
− セル寸法=128×88
− セルごとの最大画素/線
− (740/128)×(468/88)〜=5×5画素
上記量子化パラメータを用いて、最大距離で、最悪ケース物体によって射影ヒストグラム内に占めるセルの数を、以下により算出することができる。
8mで200mm試験物体の射影は、
− 200/(8000/f)=200/(8000/609.384)〜=15×15画素〜=3×3セルとなる。
− 200/(8000/f)=200/(8000/609.384)〜=15×15画素〜=3×3セルとなる。
最後に、クラスタリング閾値が選択され、部分的に遮蔽された最悪ケース物体でさえ、検知可能となる。本明細書で教示する検知手法の少なくとも1つの実施形態において、不信頼欠陥画素、遮蔽物体射影などはまた、射影ヒストグラムに寄与する(すなわち、そのようなエラーに対してさらなる余地を持たせる必要はない)。言い換えると、ここでの保守的許容差は、単なる追加の安全性対策である。
クラスタリング閾値の一例において、画像処理回路36は、以下のように構成することができる。
− クラスタリングの対象とするために、各セルの少なくとも25%占有度を必要とする(物体をグリッドにより完璧に整列させることができず、最悪のケースでは、4×4グリッドを占める可能性があり、境界セルに対してほんの小さな占有度である)。
− したがって、Tpix=6である。
− 物体サイズの半分までの遮蔽を可能にするために、総占有度(3×3セル)の50%の最小クラスタ数を必要とし、ここで、この要件は、すでにフラグ立てられた遮蔽物体画素の上部になるにつれ、保守的になることに留意されたい。
− 物体サイズの半分までの遮蔽を可能にするために、総占有度(3×3セル)の50%の最小クラスタ数を必要とし、ここで、この要件は、すでにフラグ立てられた遮蔽物体画素の上部になるにつれ、保守的になることに留意されたい。
− したがって、Tcells=4である
上記の閾値は、クラスタリング閾値コンセプトの用途を示す例として機能すると理解すべきである。これらの閾値の値は、装置10の検知能力および感知解像度に関する。したがって、パラメータは、さまざまな光学構成に対して異なっていてもよく、または、異なる実装態様を選択した場合に、パラメータのわずかに異なるセットを使用してもよい。
上記の閾値は、クラスタリング閾値コンセプトの用途を示す例として機能すると理解すべきである。これらの閾値の値は、装置10の検知能力および感知解像度に関する。したがって、パラメータは、さまざまな光学構成に対して異なっていてもよく、または、異なる実装態様を選択した場合に、パラメータのわずかに異なるセットを使用してもよい。
上記を念頭に、方法1500は、図15に図示され、これは、本明細書で意図する画像処理および対応する物体侵入検知の一般的方法の一例である。方法1500は、図14に示した処理をカバーすることができること、およびあらゆる場合において、画像処理回路36の特定の構成、例えば、プログラム上の構成を示すことが理解されるだろう。
方法1500は、画像センサ18のペアから立体画像を取り込むステップを備える(ブロック1502)。ここで、立体画像は、未処理画像とすることができ、各画像は、(画像センサの視野域14がまたがる立体角によって規定される)対応する水平および垂直視野域にまたがる画素のセットを備える。しかしながら、立体画像は平行化された高ダイナミックレンジ立体画像であることが好ましく、例えば、事前に相関処理により処理される。1つまたは複数の実施形態において、新しい立体画像が、多数の画像フレームのそれぞれに取り込まれ、図15における処理の少なくともいくつかで、連続する立体画像に適用することができることもまた理解されるであろう。
あらゆる場合において、方法1500における処理は、(取り込まれた)立体画像を互いに関連づけ、3次元直交座標で表された距離画素を備えるデプスマップを取得するステップ(ブロック1504)、およびその距離画素を極座標に変換するステップ(ブロック1506)に続く。この変換の結果として、各距離画素は、極座標で、例えば、それぞれの画素線に沿ったラジアル距離、および立体画像の取得に関連した水平ならびに垂直視野域内の立体角値の対応するペアとして表される。
本明細書で上記したように、立体画像を取り込むために使われる画像センサ18に適用可能な同じ射影空間座標系を使用して、距離画素を表すことには利点がある。極座標で表された距離画素を用いて、処理は、監視領域12に対して規定された保護領域内にある距離画素をフラグ立てすることによって、フラグ立てされた画素のセットを取得するステップ(ブロック1508)に続く。言い換えると、既知であり、規定された保護境界は、さまざまな画素位置に対応するラジアル距離の点から表され、各画素位置での距離画素に対して決定したラジアル距離は、その画素位置での保護境界のラジアル距離と比較される。保護境界内の距離画素は、フラグを立てられる。
次いで、処理は、水平および垂直視野域の立体角範囲を量子化する2次元ヒストグラムの対応するセル内に、フラグ立てされた画素を蓄積するステップに続く(ブロック1510)。例示的なケースでは、センサ視野域14が水平にまたがる立体角は、等しく細分され、センサ視野域14が垂直にまたがる立体角に対しても細分され、それにより、セルのグリッドを形成し、各セルは、セルがまたがる立体角の範囲がまたがる射影空間内の領域を表す。したがって、画像処理回路36は、フラグ立てされた距離画素の所与の1つが、ヒストグラム内の所与のセル内にあるかどうかを、フラグ立てされた距離画素の立体角値と、そのセルの立体角範囲とを比較することによって判断する。
当然、緩和画素はまた、1つまたは複数の実施形態において、フラグ立てされた画素のセット内に含まれるとすると、緩和画素は、同様に、ヒストグラムのセル内に蓄積されることが理解されるだろう。したがって、ヒストグラム内の所与のセルに対する画素数は、そのセル内にある距離画素、そのセル内にある緩和画素、またはそのセル内にある距離画
素と緩和画素との両方の合計を表す。
素と緩和画素との両方の合計を表す。
蓄積後、処理は、ヒストグラム内のセルをクラスタリングし、最小物体サイズ閾値を満たす保護境界内の物体の侵入を検知するステップ(ブロック1512)に続く。この点に関して、画像処理回路36は、(立体角範囲における)セルサイズと最小物体サイズ閾値との間の既知の関係を使用して、最小物体サイズ閾値を満たす、感知の対象となるセルのクラスタを識別することが理解されるだろう。当然、対象クラスタに、雑音を引き起こすクラスタと、実際の物体侵入とを区別するための時間的フィルタリングなどの、追加処理を適用してもよい。
いくつかの実施形態において、方法1500は、少なくとも最小数のフラグ立てされた画素を蓄積したセルとして対象セルを識別すること、および最小物体サイズ閾値に対応する最小クラスタサイズを満たす対象セルのクラスタとして対象クラスタを識別することによって、ヒストグラム内のセルをクラスタリングする。言い換えると、セルは、何らかの最小数のフラグ立てされた画素を蓄積するまで、クラスタリングの候補として考慮されず、対象セルのクラスタは、最小物体サイズ閾値を満たす多数のセルを有するまで、対象クラスタであると見なされない。
少なくとも一例において、ヒストグラム内のセルをクラスタリングすることは、任意の対象クラスタが、定義された時間枠に残存するかどうかを判断し、そうであれば、物体侵入が発生したと判断することをさらに備える。この処理は、クラスタ処理の一部と考えられる、または多数の画像フレームのそれぞれにおいて検知された対象クラスタに適用された後処理動作と考えられる時間的フィルタリングの一例である。
例えば、一実装態様において、対象クラスタは、立体画像の1つが取り込まれた各画像フレームに取り込まれた立体画像に対して識別され、方法1500は、同じ対象クラスタが、定義された数の画像フレームにわたって残像するかどうかを判断し、そうであれば、物体侵入が発生したと判断することによって、ある時間にわたって、対象クラスタをフィルタリングすることを含む。そのような処理は、1つまたは複数の先行するもしくは連続する画像フレームに取り込まれた立体画像内で検知された対象クラスタを有する1つの画像フレーム内に取り込まれたとして立体画像内で検知された対象クラスタ間の対応関係を評価するものとして理解することができる。同じ対象クラスタが、−任意選択的に、許容差が適用され、セルメンバーシップの点から、「同じ」が必ずしも「同一」を意味しない−いくつかの画像フレームにわたって検知された場合、永続的であり、雑音ではなく、実際の物体侵入に対応する。
フィルタリングのさらなる態様において、方法1500は、同等の対象クラスタが、定義した数の画像フレームにわたって残存するかどうかを判断し、そうであれば、物体侵入が発生したと判断することを含む。ここで、「同等の」対象クラスタは、定義された数の画像フレームにわたって、ヒストグラムの同じ領域(セルの同じグループ全体)内で分割またはマージする対象クラスタである。したがって、1フレームの立体画像内で検知された2つの対象クラスタは、そのようなクラスタが、ヒストグラム内で同じセルを含む場合、先行する、または連続するフレーム内で検知された単一対象クラスタと同等と考えることができる。この場合も、許容差を適用することができ、その結果、「同じ」は、分割またはマージされたクラスタに対するセルについて必ずしも同一であることを意味しない。
方法1500の別の態様において、および設計安全要件または他の欠陥安全要件を満たす点から有意性を生じる態様において、方法1500は、緩和画素の1つまたは複数のセットを立体画像から生成することを含み、その緩和画素は、障害もしくは不信頼であるとしてフラグ立てされた立体画像内の画素を意味する。方法1500は、緩和画素の1つま
たは複数のセットを、クラスタリングで使用するためにフラグ立てされた画素のセットに統合することをさらに含み、その結果、クラスタリング中に検知された任意の所与の対象クラスタは、距離検知処理に基づいてフラグ立てされた距離画素、もしくは障害検知処理に基づいてフラグ立てされた緩和画素、または両方の組み合わせを備える。
たは複数のセットを、クラスタリングで使用するためにフラグ立てされた画素のセットに統合することをさらに含み、その結果、クラスタリング中に検知された任意の所与の対象クラスタは、距離検知処理に基づいてフラグ立てされた距離画素、もしくは障害検知処理に基づいてフラグ立てされた緩和画素、または両方の組み合わせを備える。
緩和画素の1つまたは複数のセットを生成することは、スタックされた立体画像内の画素、雑音である立体画像内の画素、および監視領域12の遮蔽領域に対応すると識別された立体画像内の画素の少なくとも1つを検知することを備える。そのような処理は、名前が意味するように、不信頼(例えば、遮蔽のため)画素または不良画素が無視されるか、もしくは保証無く使用された場合に生じる、安全重視検知問題を効果的に緩和する。代わりに、意図した緩和策を用いることで、不良もしくは不信頼画素は、クラスタ処理において使用されるフラグ立てされた画素のセット内に単純に入れられ、それらが、規定された保護領域内にあるとしてフラグ立てされた距離画素と同じに扱われることを意味する。
精度および信頼性を向上する意図した画像処理の他の有利な態様が存在する。例示的ケースにおいて、立体画像は、エピポーラ幾何に対応するよう平行化される。そのような処理は、立体相関処理の前に行われ、それによって、相関処理を実行する前に、エピポーラエラーを補正する。
そのような向上のためのさらなる拡張において、立体画像は、対応する高露光および低露光立体画像として取り込まれ、高ダイナミックレンジ立体画像が、対応する高および低露光立体画像から形成される。ここで、「高」および「低」露光は、相対的な意味で定義され、高露光画像は、低露光画像より露光時間が長いことを意味する。次いで、高ダイナミックレンジ立体画像について平行化を実行し、その結果、平行化された高ダイナミックレンジ立体画像について相関処理を実行する。
この点に関して、緩和画素と距離画素との間の幾何学的対応関係における整合性は、有利には、デプスマップ生成に対して使用したのと同じ平行化高ダイナミックレンジ立体画像での緩和処理(立体相関処理)を実行することによって保護されると、本明細書では認識される。このように、方法1500の1つまたは複数の実施形態は、平行化高ダイナミックレンジ立体画像内の不良もしくは不信頼画素を緩和画素としてフラグ立てすることを含み、さらに、緩和画素を、フラグ立てされた画素のセットに加えることを備え、クラスタリングは、距離画素と緩和画素との両方を想定する。
さらなる関連した実施形態において、方法1500は、高ダイナミックレンジ立体画像に対する、または平行化高ダイナミックレンジ立体画像に対する輝度統計を評価することを含む。それに対応して、方法1500は、輝度統計に応じて、低および高露光立体画像を取り込むために使用される露光タイミングを制御することを含む。
さらに、少なくとも1つの実施形態において、方法1500は、第1のベースラインを用いて動作する画像センサ18の第1のペアを使用して、第1の立体画像として、立体画像を取り込むことを含み、さらに、第2のベースラインを用いて動作する画像センサ18の第2のペアを使用して、重複した第2の立体画像を取り込むことを備える。それに対応して、相関ステップ1504(ブロック1504)、変換ステップ(ブロック1506)、取得ステップ(ブロック1508)、蓄積ステップ(ブロック1510)、およびクラスタリングステップ(ブロック1512)の方法ステップが、第1および第2の立体画像に対して独立して実行され、第1および第2の立体画像のそれぞれの両方に対するクラスタリングが、同じ物体侵入を検知した場合のみ、物体侵入が発生したと判断する。
さらに注目すべきは、図2を再び参照すると、装置10は、第1の一次ベースライン3
2−1で動作する画像センサ18−1および18−2の第1のペア、および第2の一次ベースライン32−2で動作する画像センサ18−3および18−4の第2のペアに対して上記処理を実施するよう構成することができる。少なくともいくつかの実施形態において、画像センサ18のこれらの第1および第2のペアは、同じシーンを見ており、立体画像の重複ペアを取り込む。
2−1で動作する画像センサ18−1および18−2の第1のペア、および第2の一次ベースライン32−2で動作する画像センサ18−3および18−4の第2のペアに対して上記処理を実施するよう構成することができる。少なくともいくつかの実施形態において、画像センサ18のこれらの第1および第2のペアは、同じシーンを見ており、立体画像の重複ペアを取り込む。
そのような実施形態において、画像処理回路36は、第1のベースライン32−1で動作する画像センサ18−1および18−2の第1のペアを使用して、1つまたは複数の画像フレーム内の第1の立体画像を取り込むよう構成され、さらに、第2のベースライン32−2で動作する画像センサ18−3および18−4の第2のペアを使用して、1つまたは複数の画像フレーム内の重複する第2の立体画像を取り込むよう構成される。画像処理回路36は、上記した、立体画像を関連づけてデプスマップを取得するステップ、デプスマップを極座標に変換するステップ、フラグ立てされた画素のセットを取得するステップ、(2D)ヒストグラム内にフラグ立てされた画素を蓄積するステップ、および物体検知のためにヒストグラムセルをクラスタリングするステップを、第1および第2の立体画像に対して独立して実行するようさらに構成される。
そのような手法は、第1の立体画像に対するクラスタベース物体検知結果および第2の立体画像に対するクラスタベース物体検知結果を生じる。したがって、実際の物体侵入が発生したと判断する論理的動作は、第1の立体画像に対して取得された物体検知結果と、第2の立体画像に対して取得された物体検知結果との間の対応関係を評価することによって、より精巧なものにすることができる。例示的構成において、画像処理回路36は、第1の立体画像に対して検知された物体侵入と、第2の立体画像に対して検知された物体侵入との間の対応関係の閾値レベルが存在する場合、物体侵入が発生したと判断する。
概して、画像処理回路36は、投票ベース手法(voting−based approach)を使用するよう構成することができ、その場合、第1および第2のベースライン32−1および32−2に対して取得された物体検知結果は、正確に一致する必要はないが、最小レベルで一致する必要がある。例えば、画像処理回路36は、侵入が、例えば、8/12検知サイクル(各ベースライン32−1および32−2に対して6検知サイクル)で検知された場合、実際の物体侵入が発生したと判断することができる。
とりわけ、開示した発明の変形例および他の実施形態は、前述の説明および関連した図面で提示した教示の利点を有する当業者には明らかである。したがって、本発明は、開示した特定の実施形態に限定されず、変形例および他の実施形態が、本開示の範囲に含まれることが意図されることが理解されよう。特定の用語を本明細書で使用したが、それらは、一般的で説明的な意味のみで使用され、限定する目的ではない。
Claims (5)
- 這っている人間および歩いている人間の監視領域内への侵入に対する保護の方法であって、
床面上の定義された高さで始まる第1の監視領域、および前記第1の監視領域の下側にあり、人間が歩くか、もしくは這うことができる床面もしくは他の表面に向けて下向きに延在する第2の監視領域の立体画像を取得するステップと、
距離画素を取得するために前記立体画像を処理するステップと、
歩いているか、もしくは走っている人間の検知に対して調整される第1の物体検知パラメータを使用して、前記第1の監視領域に対応する距離画素を処理することによって、前記第1の監視領域内の物体侵入を検知するステップと、
這っているか、もしくは伏せている人間の前記検知に対して調整される第2の物体検知パラメータを使用して、前記第2の監視領域に対応する距離画素を処理することによって前記第2の監視領域の物体侵入を検知するステップとを備える、方法。 - 前記第1の物体検知パラメータは、前記第1の監視領域内の検知可能な物体に対する最小サイズを定義する第1の最小物体サイズ閾値を備え、さらに、前記第1の監視領域内の検知可能な物体に対する最大速度を定義する第1の最大物体速度を備え、前記第2の物体検知パラメータは、前記第1の最小物体サイズ閾値より大きな第2の最小物体サイズ閾値を備え、さらに、前記第1の最大物体速度より遅い第2の最大物体速度を備える、請求項1に記載の方法。
- 前記第1の監視領域は、前記床面もしくは他の表面上約420mmで始まり、前記第2の監視領域は、前記床面もしくは他の表面上300mmから、前記第1の監視領域の開始地点まで、または規定された保護領域の開始地点まで延在する、請求項2に記載の方法。
- 前記第1の最小物体サイズ閾値は、断面で200mmもしくは約200mmであり、前記第2の最小物体サイズ閾値は、断面で200mm超であり、前記第1の最大物体速度は、約1.6m/sであり、前記第2の最大物体速度は、約0.8m/sである、請求項2または3に記載の方法。
- 這っている人間および歩いている人間の監視領域内への侵入に対する保護のシステムであって、
床面上の定義された高さで始まる第1の監視領域、および前記第1の監視領域の下側にあり、人間が歩くか、もしくは這うことができる床面もしくは他の表面に向けて下向きに延在する第2の監視領域の立体画像を取得するための手段と、
距離画素を取得するために前記立体画像を処理するための手段と、
歩いているか、もしくは走っている人間の検知に対して調整される第1の物体検知パラメータを使用して、前記第1の監視領域に対応する距離画素を処理することによって、前記第1の監視領域内の物体侵入を検知するための手段と、
這っているか、もしくは伏せている人間の前記検知に対して調整される第2の物体検知パラメータを使用して、前記第2の監視領域に対応する距離画素を処理することによって前記第2の監視領域の物体侵入を検知するための手段とを備える、システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161547251P | 2011-10-14 | 2011-10-14 | |
US61/547,251 | 2011-10-14 | ||
US13/541,399 US9532011B2 (en) | 2011-07-05 | 2012-07-03 | Method and apparatus for projective volume monitoring |
US13/541,399 | 2012-07-03 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014535911A Division JP6102930B2 (ja) | 2011-10-14 | 2012-10-12 | 射影空間監視のための方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017085653A JP2017085653A (ja) | 2017-05-18 |
JP6264477B2 true JP6264477B2 (ja) | 2018-01-24 |
Family
ID=47146691
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014535911A Active JP6102930B2 (ja) | 2011-10-14 | 2012-10-12 | 射影空間監視のための方法および装置 |
JP2017005132A Active JP6264477B2 (ja) | 2011-10-14 | 2017-01-16 | 射影空間監視のための方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014535911A Active JP6102930B2 (ja) | 2011-10-14 | 2012-10-12 | 射影空間監視のための方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9501692B2 (ja) |
EP (1) | EP2754125B1 (ja) |
JP (2) | JP6102930B2 (ja) |
WO (1) | WO2013056016A1 (ja) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012060434A (ja) * | 2010-09-09 | 2012-03-22 | Fuji Xerox Co Ltd | 画素補間装置、画像読取装置、及び画素補間プログラム |
JP5163971B1 (ja) * | 2011-09-12 | 2013-03-13 | オプテックス株式会社 | レーザースキャンセンサ |
US10289924B2 (en) * | 2011-10-17 | 2019-05-14 | Sharp Laboratories Of America, Inc. | System and method for scanned document correction |
KR101981685B1 (ko) * | 2012-10-04 | 2019-08-28 | 삼성전자주식회사 | 디스플레이 장치, 사용자 단말 장치, 외부 장치, 디스플레이 방법, 데이터 수신 방법 및 데이터 전송 방법 |
US9025868B2 (en) * | 2013-02-27 | 2015-05-05 | Sony Corporation | Method and system for image processing to determine a region of interest |
US9652860B1 (en) * | 2013-03-15 | 2017-05-16 | Puretech Systems, Inc. | System and method for autonomous PTZ tracking of aerial targets |
JP5929849B2 (ja) * | 2013-07-08 | 2016-06-08 | 株式会社デンソー | 画像生成装置、画像生成方法及び画像生成プログラム |
JP6265370B2 (ja) * | 2013-08-21 | 2018-01-24 | 国立大学法人富山大学 | 対象物追跡方法及び対象物追跡システム |
US9595125B2 (en) * | 2013-08-30 | 2017-03-14 | Qualcomm Incorporated | Expanding a digital representation of a physical plane |
DE102013017264A1 (de) | 2013-10-17 | 2015-04-23 | Dräger Medical GmbH | Verfahren für die Überwachung eines Patienten innerhalb eines medizinischen Überwachungsbereichs |
FR3013489B1 (fr) * | 2013-11-19 | 2015-12-04 | Sysnav | Procede d'estimation du mouvement d'un objet |
JP6299879B2 (ja) * | 2014-03-21 | 2018-04-11 | オムロン株式会社 | 光学システムにおける光学性能劣化の検出および緩和のための方法および装置 |
US9813601B2 (en) | 2014-05-06 | 2017-11-07 | Urugus S.A. | Imaging device for scenes in apparent motion |
US9921300B2 (en) | 2014-05-19 | 2018-03-20 | Rockwell Automation Technologies, Inc. | Waveform reconstruction in a time-of-flight sensor |
US11243294B2 (en) | 2014-05-19 | 2022-02-08 | Rockwell Automation Technologies, Inc. | Waveform reconstruction in a time-of-flight sensor |
US20150334371A1 (en) * | 2014-05-19 | 2015-11-19 | Rockwell Automation Technologies, Inc. | Optical safety monitoring with selective pixel array analysis |
US9696424B2 (en) | 2014-05-19 | 2017-07-04 | Rockwell Automation Technologies, Inc. | Optical area monitoring with spot matrix illumination |
CN106461387B (zh) | 2014-05-28 | 2020-11-20 | 京瓷株式会社 | 立体相机设备和设置有立体相机的车辆 |
DE102015215211B4 (de) | 2014-08-11 | 2021-10-21 | Scm Group S.P.A. | Verfahren zur Sicherheitssteuerung einer Anlage und entsprechendes Sicherheitssystem |
AU2015318810B2 (en) * | 2014-09-15 | 2021-04-22 | Dti Group Limited | Arcing filtering using multiple image capture devices |
US10670185B2 (en) | 2014-09-19 | 2020-06-02 | Illinois Tool Works Inc. | Configurable user detection system |
US9625108B2 (en) | 2014-10-08 | 2017-04-18 | Rockwell Automation Technologies, Inc. | Auxiliary light source associated with an industrial application |
US9978135B2 (en) * | 2015-02-27 | 2018-05-22 | Cognex Corporation | Detecting object presence on a target surface |
US10269257B1 (en) | 2015-08-11 | 2019-04-23 | Gopro, Inc. | Systems and methods for vehicle guidance |
US11244434B2 (en) * | 2015-08-24 | 2022-02-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-aperture imaging device |
DE102015216140A1 (de) * | 2015-08-24 | 2017-03-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | 3D-Multiaperturabbildungsvorrichtung |
US9892488B1 (en) * | 2015-08-28 | 2018-02-13 | Amazon Technologies, Inc. | Multi-camera frame stitching |
EP3138721B1 (en) * | 2015-09-03 | 2018-11-14 | Continental Automotive GmbH | A method and apparatus for glare detection |
US10297020B2 (en) * | 2015-09-18 | 2019-05-21 | Datalogic Ip Tech S.R.L. | Stereoscopic system and method for quality inspection of cigarettes in cigarette packer machines |
US11008735B2 (en) * | 2015-09-30 | 2021-05-18 | Komatsu Ltd. | Image pick-up apparatus |
CN105451235A (zh) * | 2015-11-13 | 2016-03-30 | 大连理工大学 | 基于背景更新的无线传感器网络入侵检测方法 |
JP6651814B2 (ja) * | 2015-11-30 | 2020-02-19 | 富士通株式会社 | 領域抽出装置、領域抽出プログラム、及び領域抽出方法 |
US20170171525A1 (en) | 2015-12-14 | 2017-06-15 | Sony Corporation | Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method |
US10257393B2 (en) | 2016-02-12 | 2019-04-09 | Contrast, Inc. | Devices and methods for high dynamic range video |
US10264196B2 (en) | 2016-02-12 | 2019-04-16 | Contrast, Inc. | Systems and methods for HDR video capture with a mobile device |
JP6642280B2 (ja) * | 2016-05-30 | 2020-02-05 | アイシン精機株式会社 | 画像表示システム |
EP3252364B1 (en) * | 2016-05-31 | 2019-03-27 | Inxpect S.p.A. | Radar apparatus for forming a protection linear barrier and related system |
KR102529119B1 (ko) * | 2016-06-27 | 2023-05-04 | 삼성전자주식회사 | 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체 |
US9860429B1 (en) | 2016-06-30 | 2018-01-02 | Apple Inc. | Scaling of image data in sensor interface based on detection of defective pixels |
EP3497925B1 (en) | 2016-08-09 | 2022-11-23 | Contrast, Inc. | Real-time hdr video for vehicle control |
US9883112B1 (en) * | 2016-09-22 | 2018-01-30 | Pinnacle Imaging Corporation | High dynamic range imaging |
CN110226325B (zh) * | 2017-02-01 | 2022-04-15 | 索尼半导体解决方案公司 | 摄像系统和摄像装置 |
JP6953274B2 (ja) | 2017-02-01 | 2021-10-27 | ソニーセミコンダクタソリューションズ株式会社 | 撮像システム及び撮像装置 |
US10084805B2 (en) * | 2017-02-20 | 2018-09-25 | Sas Institute Inc. | Computer system to identify anomalies based on computer-generated results |
EP3388863A1 (en) * | 2017-04-10 | 2018-10-17 | Bea S.A. | Sensor for controlling an automatic door |
JP2019015553A (ja) * | 2017-07-05 | 2019-01-31 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法および個体撮像装置 |
US11265530B2 (en) | 2017-07-10 | 2022-03-01 | Contrast, Inc. | Stereoscopic camera |
DE102017129609A1 (de) * | 2017-12-12 | 2019-06-13 | Sick Ag | Erkennen von Veränderungen in einem Erfassungsbereich |
GB201802808D0 (en) * | 2018-02-21 | 2018-04-04 | Ev Offshore Ltd | Depth and speed correction of logging data |
EP3534293A1 (de) * | 2018-02-28 | 2019-09-04 | Johannes Plapp | Verfahren und vorrichtung zur ermittlung der position von objekten |
US11037316B2 (en) | 2018-03-30 | 2021-06-15 | Canon Kabushiki Kaisha | Parallax calculation apparatus, parallax calculation method, and control program of parallax calculation apparatus |
EP3572971B1 (de) * | 2018-05-22 | 2021-02-24 | Sick Ag | Absichern eines überwachungsbereichs mit mindestens einer maschine |
US10951888B2 (en) | 2018-06-04 | 2021-03-16 | Contrast, Inc. | Compressed high dynamic range video |
EP3578320B1 (de) * | 2018-06-07 | 2021-09-15 | Sick Ag | Konfigurieren einer von einem 3d-sensor überwachten gefahrenstelle |
EP3588365A1 (de) | 2018-06-25 | 2020-01-01 | Sick AG | Optoelektronischer sensor und verfahren zum sicheren auswerten von messdaten |
US10867395B2 (en) * | 2018-09-28 | 2020-12-15 | Glo Big Boss Ltd. | Systems and methods for real-time rigid body motion prediction |
CN109671236A (zh) * | 2018-12-28 | 2019-04-23 | 广东美电贝尔科技集团股份有限公司 | 周界目标物体的检测方法及其系统 |
JP2020181105A (ja) * | 2019-04-25 | 2020-11-05 | キヤノン株式会社 | 投影装置およびその制御方法 |
US11841438B2 (en) | 2019-09-30 | 2023-12-12 | Zoox, Inc. | Power control of sensors using multiple exposures |
US11726186B2 (en) * | 2019-09-30 | 2023-08-15 | Zoox, Inc. | Pixel filtering using multiple exposures |
CN112116617A (zh) * | 2020-08-19 | 2020-12-22 | 吉旗物联科技(上海)有限公司 | 不规则物体阴影检测方法及装置 |
US11373511B2 (en) | 2020-09-14 | 2022-06-28 | PureTech Systems Inc. | Alarm processing and classification system and method |
CN113247720A (zh) * | 2021-06-02 | 2021-08-13 | 浙江新再灵科技股份有限公司 | 基于视频的智能梯控方法及系统 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5625408A (en) * | 1993-06-24 | 1997-04-29 | Canon Kabushiki Kaisha | Three-dimensional image recording/reconstructing method and apparatus therefor |
JPH10143659A (ja) | 1996-11-06 | 1998-05-29 | Komatsu Ltd | 物体検出装置 |
US6177958B1 (en) * | 1998-03-11 | 2001-01-23 | Flashpoint Technology, Inc. | System and method for the automatic capture of salient still images |
US7483049B2 (en) * | 1998-11-20 | 2009-01-27 | Aman James A | Optimizations for live event, real-time, 3D object tracking |
US6829371B1 (en) * | 2000-04-29 | 2004-12-07 | Cognex Corporation | Auto-setup of a video safety curtain system |
US7006950B1 (en) * | 2000-06-12 | 2006-02-28 | Siemens Corporate Research, Inc. | Statistical modeling and performance characterization of a real-time dual camera surveillance system |
JP3795810B2 (ja) * | 2002-02-12 | 2006-07-12 | 株式会社東芝 | 物体検出方法及び装置 |
US7397929B2 (en) * | 2002-09-05 | 2008-07-08 | Cognex Technology And Investment Corporation | Method and apparatus for monitoring a passageway using 3D images |
US7400744B2 (en) * | 2002-09-05 | 2008-07-15 | Cognex Technology And Investment Corporation | Stereo door sensor |
US7623674B2 (en) | 2003-11-05 | 2009-11-24 | Cognex Technology And Investment Corporation | Method and system for enhanced portal security through stereoscopy |
US8345918B2 (en) * | 2004-04-14 | 2013-01-01 | L-3 Communications Corporation | Active subject privacy imaging |
EP2784722A1 (en) * | 2004-07-26 | 2014-10-01 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
EP2200313A1 (en) | 2004-11-12 | 2010-06-23 | Saab Ab | Image-based movement tracking |
US8432448B2 (en) * | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
US8073196B2 (en) * | 2006-10-16 | 2011-12-06 | University Of Southern California | Detection and tracking of moving objects from a moving platform in presence of strong parallax |
DE102006057605A1 (de) | 2006-11-24 | 2008-06-05 | Pilz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Überwachen eines dreidimensionalen Raumbereichs |
EP2161695A4 (en) * | 2007-06-07 | 2011-06-08 | Univ Electro Communications | OBJECT DETECTION DEVICE AND THEREFORE USING TOWER DEVICE |
EP2312858B1 (en) * | 2008-06-18 | 2012-09-26 | Panasonic Corporation | Image processing apparatus, imaging apparatus, image processing method, and program |
US8885879B2 (en) * | 2009-04-28 | 2014-11-11 | Nec Corporation | Object position estimation device, object position estimation method and program |
EP2275990B1 (de) * | 2009-07-06 | 2012-09-26 | Sick Ag | 3D-Sensor |
JP5776173B2 (ja) | 2010-03-01 | 2015-09-09 | 株式会社リコー | 撮像装置及び距離測定装置 |
EP2386876B1 (de) * | 2010-05-04 | 2013-07-10 | Sick AG | Entfernungsmessender optoelektronischer Sicherheitssensor und Verfahren zur Überwachung eines Überwachungsbereichs |
US8427324B2 (en) * | 2010-07-30 | 2013-04-23 | General Electric Company | Method and system for detecting a fallen person using a range imaging device |
DE102010037744B3 (de) * | 2010-09-23 | 2011-12-08 | Sick Ag | Optoelektronischer Sensor |
JP5694834B2 (ja) * | 2011-04-12 | 2015-04-01 | グローリー株式会社 | 物体認識方法及び物体認識装置 |
-
2012
- 2012-10-12 EP EP12783749.0A patent/EP2754125B1/en active Active
- 2012-10-12 JP JP2014535911A patent/JP6102930B2/ja active Active
- 2012-10-12 US US13/650,461 patent/US9501692B2/en active Active
- 2012-10-12 WO PCT/US2012/059906 patent/WO2013056016A1/en active Application Filing
-
2016
- 2016-03-24 US US15/079,954 patent/US20160203371A1/en not_active Abandoned
-
2017
- 2017-01-16 JP JP2017005132A patent/JP6264477B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015501578A (ja) | 2015-01-15 |
US20130094705A1 (en) | 2013-04-18 |
EP2754125A1 (en) | 2014-07-16 |
JP2017085653A (ja) | 2017-05-18 |
US20160203371A1 (en) | 2016-07-14 |
EP2754125B1 (en) | 2017-01-18 |
US9501692B2 (en) | 2016-11-22 |
WO2013056016A1 (en) | 2013-04-18 |
JP6102930B2 (ja) | 2017-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6264477B2 (ja) | 射影空間監視のための方法および装置 | |
JP6237809B2 (ja) | 射影空間監視のための方法および装置 | |
US10404971B2 (en) | Optoelectronic sensor and method for safe detection of objects of a minimum size | |
JP6554169B2 (ja) | 物体認識装置及び物体認識システム | |
JP7136507B2 (ja) | 深度感知コンピュータビジョンシステム | |
CN104902246B (zh) | 视频监视方法和装置 | |
US10969762B2 (en) | Configuring a hazard zone monitored by a 3D sensor | |
JP2017188046A (ja) | 画像処理装置及びその制御方法、画像処理システム | |
JP6544257B2 (ja) | 情報処理システム、情報処理方法及び情報処理プログラム | |
US11067717B2 (en) | Optoelectronic sensor and method for a safe evaluation of measurement data | |
JP2010206404A (ja) | 画像監視装置 | |
JP2019164837A (ja) | 情報処理システム、情報処理方法及び情報処理プログラム | |
US20220036057A1 (en) | Capturing apparatus | |
US20240078697A1 (en) | Localizing an optical marker | |
JP2021193634A (ja) | 情報処理システム、情報処理方法及び情報処理プログラム | |
JP2015179065A (ja) | 情報処理システム、情報処理方法、プログラム、および情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6264477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |