JP2023528407A - グローバルシャッタ同期式カラーステレオカメラシステム - Google Patents
グローバルシャッタ同期式カラーステレオカメラシステム Download PDFInfo
- Publication number
- JP2023528407A JP2023528407A JP2022573729A JP2022573729A JP2023528407A JP 2023528407 A JP2023528407 A JP 2023528407A JP 2022573729 A JP2022573729 A JP 2022573729A JP 2022573729 A JP2022573729 A JP 2022573729A JP 2023528407 A JP2023528407 A JP 2023528407A
- Authority
- JP
- Japan
- Prior art keywords
- stereo imaging
- module
- imaging module
- imaging system
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001360 synchronised effect Effects 0.000 title description 5
- 238000003384 imaging method Methods 0.000 claims abstract description 235
- 238000012545 processing Methods 0.000 claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 5
- 239000012636 effector Substances 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 11
- 238000010438 heat treatment Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000003252 repetitive effect Effects 0.000 claims description 3
- 230000007175 bidirectional communication Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 25
- 230000001133 acceleration Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 206010017367 Frequent bowel movements Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000003306 harvesting Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241001124569 Lycaenidae Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 235000021028 berry Nutrition 0.000 description 2
- 230000005494 condensation Effects 0.000 description 2
- 238000009833 condensation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Endoscopes (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Accessories Of Cameras (AREA)
- Manipulator (AREA)
Abstract
ステレオ撮像システム及びデバイスが開示される。ステレオ撮像システムは、1又は2以上のステレオ撮像モジュールと、双方向通信信号を伝送し、画像処理モジュールからステレオ撮像モジュールに電力を伝達する同軸ケーブルにより1又は2以上のステレオ撮像モジュールに接続された画像処理モジュールと、を含むことができる。ステレオ画像処理モジュールの各々は、少なくとも部分的に重複する視野の画像を取り込むように位置決めされた複数の画像センサと、取り込んだ画像を、同軸ケーブルを介してステレオ撮像モジュールに送信するように構成された処理回路とを含む。処理モジュールは、取り込まれた画像を受信して処理するように構成された処理回路と、同軸ケーブルを介してステレオ撮像モジュールに電力を供給するように構成された電力回路とを含む。複数の画像センサは、ステレオ画像処理のためにカラー画像を収集するように構成されたカラー画像センサとすることができる。
【選択図】 図1
【選択図】 図1
Description
(関連出願の相互参照)
本出願は、2020年6月4日出願の米国特許仮出願第63/034566号「グローバルシャッタ同期式カラーステレオカメラシステム」の利益を主張するものであり、その開示内容全体はあらゆる目的で参照により本明細書に組み込まれる。
本出願は、2020年6月4日出願の米国特許仮出願第63/034566号「グローバルシャッタ同期式カラーステレオカメラシステム」の利益を主張するものであり、その開示内容全体はあらゆる目的で参照により本明細書に組み込まれる。
(技術分野)
本開示は、カメラシステムに関し、より詳細には、堅牢なステレオカメラシステムに関する。
本開示は、カメラシステムに関し、より詳細には、堅牢なステレオカメラシステムに関する。
2又は3以上の画像取込みデバイスを含むステレオ撮像システムは、様々な用途で有用である。例えば、ステレオ撮像システムは、立体画像又は映像の生成において、コンピュータステレオビジョン用途で、或いは、1又は2以上の画像において3次元情報を取り込むのに有用とすることができる他の用途で使用することができる。一部の実施態様では、プロセスの監視及び/又は制御のために、ロボットなどの自動化又は半自動化システム内にステレオ撮像を実装することが望ましい場合がある。しかしながら、既存のステレオカメラシステムには、特に、頻繁な動きを経験するデバイスと併せて使用する場合、多くの不備がある。例えば、一部のステレオカメラは、撮像素子間の相対運動に耐えるだけの構造的堅牢性を持たず、信頼できない3次元情報をもたらす。既存のステレオカメラは、グレースケール撮像機能だけを提供することが多く、つまり、カラー撮像機能を提供するために第3の撮像素子に依存する。さらに、既存のステレオカメラにおけるシャッタ同期は、多くの場合、頻繁な動きを伴う実施態様で使用するには信頼性が十分でない。
本開示のシステム及び方法は、各々が複数の革新的な態様を有し、その1つだけが望ましい特性に単独で関与するものではない。以下の特許請求の範囲で表される範囲を限定することなく、そのより顕著な特徴について、ここで簡単に説明する。
第1の態様において、ステレオ撮像システムは、ステレオ撮像モジュールと処理モジュールとを含む。ステレオ撮像モジュールは、少なくとも部分的に重複する視野の画像を取り込むように位置決めされた複数の画像センサと、取り込まれた画像を、ステレオ撮像モジュールに接続された同軸ケーブルを介して送信するように構成された処理回路と、を含む。処理モジュールは、取り込まれた画像を、ステレオ撮像モジュールから同軸ケーブルを介して受信するように構成される。処理モジュールは、取り込まれた画像を受信して処理するように構成された処理回路と、同軸ケーブルを介してステレオ撮像モジュールに電力を供給するように構成された電力回路とを含む。
一部の実施形態では、複数の画像センサはカラー画像センサである。一部の実施形態では、画像処理モジュールは、カラー画像センサが取り込んだカラー画像に少なくとも部分的に基づいて、部分的に重複する視野の少なくとも一部で深度マッピングを生成するように構成される。一部の実施形態では、画像処理モジュールはさらに、カラー画像に基づいて1又は2以上のグレースケール画像を生成するように構成され、深度マッピングは、1又は2以上のグレースケール画像に少なくとも部分的に基づいて生成される。
一部の実施形態では、処理モジュールの処理回路は、複数の画像センサに画像を同時に取り込ませるタイミング信号を、同軸ケーブルを介して、ステレオ撮像モジュールに送信するようにさらに構成される。一部の実施形態では、タイミング信号は、複数の画像センサに一連の時間同期した画像を取り込ませる反復的な時間変動信号である。一部の実施形態では、ステレオ撮像システムはさらに、第2の同軸ケーブルで処理モジュールに接続された少なくとも1つの第2のステレオ撮像モジュールを含み、第2のステレオ撮像モジュールは第2の複数の画像センサを含み、処理モジュールの処理回路は、複数の画像センサと第2の複数の画像センサが同時に画像を取り込むように、同軸ケーブル及び第2の同軸ケーブルを介してタイミング信号を同時に送信するよう構成される。
一部の実施形態では、ステレオ撮像モジュールは、処理モジュールに対して相対移動するように構成された機械的構成要素に取り付けられ、同軸ケーブルのステレオ撮像モジュール端は、機械的構成要素に固定された同軸コネクタに結合され、同軸コネクタは、同軸ケーブルから同軸コネクタに加わる力が、ステレオ撮像モジュールの処理回路に又は複数の画像センサに伝達されないように、ステレオ撮像モジュールの処理回路に屈曲自在に結合される。一部の実施形態では、機械的構成要素はピッキングデバイスのエンドエフェクタを含む。一部の実施形態では、処理モジュールは、第2の同軸ケーブルで第2のステレオ撮像モジュールに接続される。一部の実施形態では、第2のステレオ撮像モジュールは、ピッキングデバイスの第2のエンドエフェクタ又は固定構成要素に取り付けられる。一部の実施形態では、ピッキングデバイスは可動式ピッキングデバイスであり、第2のステレオ撮像モジュールは可動式ピッキングデバイスのシャーシに対して固定される。
一部の実施形態では、ステレオ撮像モジュールはさらに、ステレオ撮像モジュールの温度を決定するように構成された温度センサと、温度センサと通信し、温度センサが所定の閾値よりも低い温度を検出した時に作動するように構成された加熱素子とを含む。
一部の実施形態では、複数の画像センサは、5mm以上50mm以下の基準線距離だけ離間している。一部の実施形態では、複数の画像センサは、10mm以上40mm以下の基準線距離だけ離間している。一部の実施形態では、複数の画像センサは、15mm以上30mm以下の基準線距離だけ離間している。一部の実施形態では、複数の画像センサは、20mm以上25mm以下の基準線距離だけ離間している。
一部の実施形態では、ステレオ撮像モジュールの処理回路は、取り込んだ画像を、同軸ケーブルを介して画像処理モジュールのデシリアライザに送信するように構成されたシリアライザを含む。
一部の実施形態では、ステレオ撮像モジュールの処理回路はさらに、画像処理モジュールへ送信する前に、複数の画像センサが同時に取り込んだ個々の画像のペアを結合するように構成される。
一部の実施形態では、ステレオ撮像モジュールは、ピッキングデバイスのエンドエフェクタに取り付けられ、複数の画像センサは、20mm以上25mm以下の基準線距離だけ離間している。
上記の態様、並びに本技術の他の特徴、態様、及び利点を、添付図面を参照して様々な実施態様に関連して説明する。示される実施態様は単なる例示であり、限定することを意図していない。図面を通じて、同様の記号は、文脈上他を意味しない限り、一般的には同様の構成要素を特定する。
本技術の実施形態は、高品質のステレオ撮像システムをもたらすステレオ撮像システム及びデバイスを提供する。特定の実施形態は、改善された同期、色処理、堅牢な構造、構成要素の有利な分散配置、軽量、及び/又は簡素化された構造を備えたステレオ撮像システムを提供する。本技術の一部のステレオ撮像システムは、ステレオ撮像モジュール及びケーブルで接続された画像処理モジュールなどの2又は3以上の構成要素を含む。ケーブルは、本明細書に記載する耐力結合でステレオ撮像モジュールに接続することができ、これは、ケーブルからステレオ撮像モジュール構成要素への荷重伝達を防止する。以下の説明を通じて、様々な実施形態は、ロボット工学の例示的な実施態様を参照しながら説明することになる。しかしながら、本明細書に記載するシステム、デバイス、又は方法のいずれも、ステレオ撮像が望まれる他の用途に同様に適用できることを理解されたい。
既存のステレオカメラは、典型的には2つのレンズを有し、3次元情報を取り込むことができる。しかしながら、既存のステレオカメラは、撮像素子の間の相対運動に耐えるだけの構造的堅牢性を持たないことが多く、信頼できない3次元情報をもたらす。既存のステレオカメラは、多くの場合、グレースケール撮像機能だけを提供する、つまり、カラー撮像機能を提供するために第3の撮像素子に依存する。
さらに、既存のステレオカメラにおけるシャッタ同期は、多くの場合、頻繁な動きを伴う実施態様で使用するには信頼性が十分でない。既存のステレオカメラは一般的に、2つの撮像素子の一方がマスタとして動作し、他方の撮像素子がスレーブモードで動作する、マスタ-スレーブ同期構成で動作する。マスタ撮像素子は、マスタ撮像素子が画像を取り込むのとほぼ同時にスレーブ撮像素子が画像を取り込むようにさせることが意図されたタイミング信号を生成し、マルチ画像レジストレーションに基づく深度マッピング又は他の処理を実行できるようになっている。しかしながら、既存のマスタ-スレーブ同期技法は、不正確な場合がある。加えて、既存の同期化技法は、複数のステレオカメラの同期を可能にするものではない。以下でより詳細に説明するように、本技術のステレオ撮像システムは、既存のステレオカメラ技術のこれらの短所に対処する改善を提供する。
本技術のステレオ撮像システムが特に有利となり得る1つの特定の実施態様は、自律型組立ラインロボット又は農業用収穫機などのピッキングデバイスの分野である。多くの実施態様において、このようなデバイスでは、ピッキングデバイスのエンドエフェクタ又は他の可動部品に1又は2以上のカメラが取り付けられる、アイ・イン・ハンド(eye-in-hand)構成を使用することができる。一部の農業用実施態様では、液果又は他の果実を茎から切り離すためなど、比較的高い加速度(例えば、3g~5gの範囲又はそれ以上)を必要とする場合がある。このような素早い動き及び/又は加速度は、既存のステレオカメラをアイ・イン・ハンド構成で使用する場合に、問題を引き起こす可能性がある。例えば、エンドエフェクタの動き又は加速度によって、ステレオカメラの筐体が撓むこと又は捩れることで、ステレオカメラの撮像素子が互いに相対移動してしまう可能性がある。ステレオカメラがケーブルコネクタで他のシステムに接続されている場合、ケーブルコネクタがステレオカメラ又はその構成要素に力を及ぼして、損傷をもたらす可能性がある。従って、本技術のステレオ撮像システムは、激しい動き及び高加速度の用途で経験するような動き及び加速度に耐えるのに適することができる。
ここで図面を参照すると、図1は、例示的なステレオ撮像システム100の構成要素を概略的に示している。ステレオ撮像システム100は、ステレオ撮像モジュール200と、画像処理モジュール300とを含む。ステレオ撮像モジュール200と画像処理モジュール300は、同軸ケーブル又は他の導電性コネクタなどのケーブル110によって電気的に接続される。より詳細に説明するように、ステレオ撮像モジュール200及び画像処理モジュール300は、異なる場所に配置された及び/又は別々の筐体内に少なくとも部分的に収容された、別々の構成要素とすることができる。一部の実施形態では、ステレオ撮像システム100は、個別の画像処理モジュール300に接続された2又は3以上のステレオ撮像モジュール200を含むことができ、個別のステレオ撮像モジュール200に接続された2又は3以上の画像処理モジュール300を含むことができ、及び/又は複数のステレオ撮像モジュール200と複数の画像処理モジュール300とを含むことができる。従って、ステレオ撮像モジュール200及び/又は画像処理モジュール300は、そのような組み合わせを可能にするために、複数のケーブル110を個別に受け入れるように構成することができる。
ステレオ撮像モジュール200は、2又は3以上の撮像素子10と、撮像素子210と通信する処理回路220とを含む。例えばケーブル110が同軸ケーブルである実施形態の一部の実施形態では、ステレオ撮像モジュール200は、ケーブル110を介して画像処理モジュール300に送信するために、画像データをシリアル化するシリアライザ230をさらに含む。撮像素子210は、いずれかの適切なタイプのカメラ、画像センサなどとすることができ、場合により、有利にはカラー撮像素子とすることができる。一部の実施形態では、撮像素子210は、レンズ又は他の光学部品などの関連部品、並びに撮像素子210で受けた光に基づいてデジタル画像データを生成する画像センサ及び読出し電子機器をさらに含む。処理回路220は、1又は2以上のコントローラ、フィールド・プログラマブル・ゲートアレイ(FPGA)、電気的に消去可能なプログラマブル読出し専用メモリ(EEPROM)などのメモリデバイスといった、いずれかの1又は2以上の適切な処理構成要素を含むことができる。動作中、撮像素子210は、同時に又はほぼ同時に画像を取り込み、取り込んだ画像をデジタル画像データの形態で処理回路220に送ることができる。処理回路220は、いくつかの初期処理を行い、処理した画像データをシリアライザ230に送り、シリアライザ230は、ケーブル110を介して画像処理モジュール300に画像データを送信することができる。ステレオ撮像モジュール200については、図2及び図4A~5を参照してより詳細に説明する。
画像処理モジュール300は、ステレオ撮像モジュール200から又は複数のステレオ撮像モジュール200から受信した画像データに対してさらなる画像処理を実行するように構成された処理回路310を含む。ステレオ撮像モジュール200がシリアライザ230を含む実施形態では、画像処理モジュール300は、ケーブル110からシリアル化データを受け取って、シリアルデータを変換して処理回路310に適した形式に戻すデシリアライザ320をさらに含むことができる。通信デバイス330は、イーサネット又は何らかの他の適切なコンピュータネットワーク技術などによって、1又は2以上の他の構成要素と通信することができる。画像処理モジュール300については、図3を参照してより詳細に説明する。
図2は、図1に示したステレオ撮像システム100のステレオ撮像モジュール200など、ステレオ撮像システムの例示的なステレオ撮像モジュール200の構成要素を概略的に示す。ステレオ撮像モジュール200は、図3に示すような1又は2以上の画像処理モジュール300と共に実装することができる。本技術の様々な実施形態は、本開示の精神又は範囲から逸脱することなく、図2に示すものよりも多い又は少ない構成要素、或いは異なる構成要素を有するステレオ撮像モジュール200を同様に含むことができることを理解されたい。
ステレオ撮像モジュール200は、図1を参照して説明したように、処理回路220及びシリアライザ230と通信する2又は3以上の撮像素子210を含む。ステレオ撮像モジュール200は、メモリデバイス225、フィルタ及び/又はDC-DCコンバータ245などの電力回路、温度センサ及び/又は加熱素子255などの温度制御構成要素、及び/又は照明コントローラ260及び/又は照明インタフェース265などの照明構成要素をさらに含むことができる。ステレオ撮像モジュール200をケーブル110に接続するために、SubMiniatureバージョンA(SubMiniature version A)(SMA)又は他の同軸コネクタ(例えば、SMB、SMC、又は他のRFコネクタタイプ)などのコネクタ235が設けられる。
ステレオ撮像を実行するために、撮像素子210は、少なくとも部分的に重複する視野を有する2つの撮像素子210を含むことが好ましい。一般的にグレースケール撮像素子を用いてステレオ撮像を行い、カラーを提供するために第3の撮像素子に依存する既存のステレオ撮像システムとは対照的に、撮像素子210は、カラー画像を取り込むことができるカラー撮像素子とすることができる。ステレオ撮像のためにカラー画像を使用することは、液果収穫用途などの色検出を必要とする実施態様において、ステレオ撮像に必要な処理量を減らすことで特に有利となる場合がある。このような用途では、グレースケール画像に別個のカラー画像を位置合わせする付加的な処理ステップを必要とせずに、色に基づく標的の検出のために、撮像素子210が取り込んだ画像を直ちに使用することができる。色に基づく標的検出のためのこのような画像の即時使用は、標的を認識する及び/又はピッキングするためにピッキングデバイスが限られたウィンドウの時間及び/又は空間を有する場合に(例えば、コンベア上で静止したピッキングデバイスを通過する標的、収穫される静止した標的ベッドの上を移動する収穫機など)、特に有利となる場合がある。このような実施態様では、画像処理速度のいかなる改善も、作業効率を著しく向上させることができる。
撮像素子210の各々は、外部ソースから受信したタイミング信号によって画像を取り込むために動作させることができる。一部の実施形態では、タイミング信号は、例えば、信号を受信した時に撮像素子210に画像を取り込ませる制御信号、或いは所定の時間又は間隔で1又は2以上の画像を取り込むために撮像素子210が使用できるクロック信号とすることができる。一例では、タイミング信号は、撮像素子210に一連の時間同期した画像及び/又は映像を取り込ませる、クロック信号などの反復的な時間変動信号とすることができる。一部の実施形態では、有利には、同期型「グローバルシャッタ」方式に従って撮像素子210を制御することができ、撮像素子210は、厳密に同時に画像を取り込み、ステレオ画像処理の精度を向上させるようになっている。一部の実施形態では、タイミング信号は、撮像素子210を同期させるためにステレオ撮像モジュール200で生成することができる。別の実施形態では、タイミング信号は、画像処理モジュール300又は他の制御モジュールなど、ステレオ撮像モジュールの外部で生成して、ケーブル110を介してステレオ撮像モジュール200に送信することができる。
処理回路220は、撮像素子210が取り込んだ画像を受け取り、その画像を画像処理モジュール300に送る前に1又は2以上の画像信号処理演算を実行することができる。一部の実施形態では、処理回路220は、2つの同時に取り込まれた画像を撮像素子210から受け取り(例えば、各撮像素子210から1つの画像を受け取ることによって)、送信に先立って2つの同時画像を結合するようにプログラムされる。画像のペアの結合は、例えば、送信効率を改善することで、及び/又は画像レジストレーション及び/又は画像処理モジュール300で実行される画像処理の他の態様を簡略化することで、様々な利点を有することができる。
ステレオ撮像モジュール200は、ケーブル110を介して画像処理モジュール300から電力を受け取ることができる。同軸ケーブル110の場合、ステレオ撮像モジュール200用の電力は、ステレオ撮像モジュール200と画像処理モジュール300との間の信号送信に使用される同軸ケーブル110の同じ中心導体によって供給することができる。例えば、電力は、低周波信号として同軸ケーブル110を介して送ることができ、一方、ステレオ撮像モジュール200と画像処理モジュール300との間の通信情報は、電力伝送が通信に干渉しないように高周波領域で送ることができる。
電力は、比較的に高電圧(例えば、24V)かつ低電流で送ることができる。従って、ステレオ撮像モジュール200は、低周波電力信号を選択してステレオ撮像モジュールの構成要素で使用するのに適したレベルまで電圧を下げるように動作する、電力信号フィルタ240及びコンバータ245を含むことができる。
一部の用途では、低い温度は、ステレオ撮像モジュール200のレンズ又は他の構成要素の外面又は内面に大気からの水の結露を引き起こすことによって、撮像素子210の動作に支障を来たす場合がある。さらに、温度変化は、材料の膨張及び/又は収縮を引き起こし、撮像素子のマウント及び光学系に変形又は他の変化をもたらし、取得したステレオ画像に基づいて実行される演算に誤差をもたらす可能性がある。従って、ステレオ撮像モジュール200は、低閾値温度より高い温度に及び/又は比較的一定の温度に保つことが望ましい場合がある。従って、一部の実施形態では、ステレオ撮像モジュール200は、温度センサ250と、抵抗発熱体などの加熱素子255とを含む。温度センサ250及び加熱素子255と通信する制御回路は、設定された低閾値未満の温度が温度センサ250で検出された時に、加熱素子255の作動をもたらすことができる。低閾値は、例えば、所定の一定閾値、調整可能な閾値、或いは水の結露に関連する、報告された露点又は他の既知の大気条件などの雰囲気条件に基づいて決定された閾値とすることができる。
図3は、図1に示したステレオ撮像システム100の画像処理モジュール300など、ステレオ撮像システムの例示的な画像処理モジュール300の構成要素を概略的に示す。画像処理モジュール300は、図2の1又は2以上のステレオ撮像モジュール200と共に実装することができる。本技術の様々な実施形態は、本開示の精神又は範囲から逸脱することなく、図2に示すものよりも多い又は少ない構成要素、或いは異なる構成要素を有する画像処理モジュール300を同様に含むことができることを理解されたい。
画像処理モジュール300は、図1を参照して説明したように、処理回路310と、デシリアライザ320と、イーサネットポートなどの通信デバイス330とを含む。画像処理モジュール300は、パワーインジェクタ340と、ユーザインタフェース350などの1又は2以上のインタフェース、及び/又はメモリデバイスポート360とをさらに含むことができる。
処理回路310は、CPU、コントローラ、システムオンモジュール(SoM)又はシステムオンチップ(SoC)デバイス、又は他の処理構成要素など、何らかの1又は2以上のコンピュータ処理デバイスを含むことができる。処理回路310の例示的な機能は、画像処理モジュール300の制御、ステレオ撮像モジュール200から受け取った画像の処理及び/又は解析、並びにステレオ撮像モジュール200の撮像素子に対するタイミング信号の生成及び/又は制御などのステレオ撮像モジュール200に関連した制御機能を含むことができるが、これらに限定されない。
一部の実施形態では、デシリアライザ320は、ステレオ撮像モジュール200のシリアライザ230が送信したシリアル化データを受信し、そのシリアルデータを変換して処理回路310に適した形式に戻す。図3に示すように、画像処理モジュール300は2又は3以上のコネクタ325を含むことができ、画像処理モジュール300は、複数のステレオカメラと共に同時に使用することができる。このような実施形態では、単一のデシリアライザ320は、コネクタ325の全てと通信することができる。別の実施形態では、画像処理モジュール300は、2又は3以上のデシリアライザを含むことができる。
一部の実施形態では、デシリアライザ320は、例えば複数の撮像素子にわたるローバルシャッタ・タイミングを実行するために、ステレオ撮像モジュール200にデータを送信することもできる。このような実施形態では、デシリアライザ320は、ケーブル110を介してステレオ撮像モジュール200の全てに同期タイミング信号を送信することができる。例えば、一部の実施形態では、デシリアライザ320は、個々のステレオ撮像モジュール200の撮像素子210が使用することのできる、シャッタタイミング信号、クロック信号などの撮像素子制御信号を生成することができる。別の例では、タイミング信号は、処理回路310で生成することができる。従って、本技術は、個々のステレオ撮像モジュール200の撮像素子間で、及び/又は画像処理モジュール300に接続された複数のステレオ撮像モジュール200にわたって、高度に同期した画像を取り込むために使用することができる、改善されたグローバルシャッタ機能を提供する。
図4A~4Dは、本技術によるステレオ撮像モジュールの例示的な実施態様を示す。図4A及び図4Bは、それぞれステレオ撮像モジュール400の前方及び後方斜視図である。図4Cは、ステレオ撮像モジュール400の内部構成要素を示す、筐体が見えない前方斜視図である。図4Dは、ステレオ撮像モジュール400の後方立面図である。ステレオ撮像モジュール400は、図1~3に概略的に示したステレオ撮像モジュール200の実施態様とすることができる。ステレオ撮像モジュール400は、ステレオ撮像モジュール200の非限定的な一例であり、他の例も本技術に従って好適に実装できることを理解されたい。ステレオ撮像モジュール400は、本明細書に開示する画像処理モジュール300及び/又はステレオ撮像システム100のいずれかと併せて実装することができる。
ステレオ撮像モジュール400は、ステレオ撮像モジュール基板404を少なくとも部分的に取り囲む筐体402を含む。撮像素子410、処理回路420、シリアライザ430、及びコネクタ435は、ステレオ撮像モジュール基板404に結合すことができる。レンズ406は、筐体402に結合されるか又は筐体402と一体的に成形され、環境からの光を撮像素子410の光検出器415に導くために、筐体402の前面に間隔を置いた構成で配置される。一部の実施形態では、レンズ406、筐体402、及び筐体402が結合される構成要素は、埃又は他の粒子状物質が侵入してステレオ撮像モジュール400の光学部品又は電気部品を損傷するのを防ぐために、環境汚染物質に対して十分に密閉された完全な筐体を形成することができる。環境的に密閉された実施形態は、ステレオ撮像モジュール400が、収穫作業によって土及び埃が蹴立てられる場合がある農業用収穫機と併せて実装される場合に、特に有利となる場合がある。
レンズ406の間隔、及び撮像素子410の光検出器415の対応する間隔は、ステレオ撮像モジュール400の中心間基準線距離を規定する。一部の実施形態では、ステレオ撮像モジュール400の基準線距離は、例えば、5mmから50mmの間、10mmから40mmの間、15mmから30mmの間、20mmから25mmの間、又はステレオ撮像モジュール400の意図する用途に適したいずれか他の範囲とすることができる。特定の一実施態様では、20mm以上25mm以下の基準線距離は、ステレオ撮像モジュール400が収穫用ロボットのエンドエフェクタに取り付けられるアイ・イン・ハンド用途に、特に有利となる可能性がある。具体的には、20mm~25mmの基準線距離は、対象物を接近して(例えば、ステレオ撮像モジュール400から約150mm~500mmの距離で)見るために、さらに、イチゴ苗などの植物の葉又は他の部分或いは他の作物が撮像素子410及び/又はレンズ406を塞がないようにするために望ましいことが分かっている。一部の例では、撮像素子10のうちの1つの視野の一部が植物で塞がれた場合でも、その塞がれた領域は、標的検出用のステレオ撮像モジュール400の他の撮像素子410が撮像することができる(塞がれたことで、視野のその部分について信頼できる深度マッピングが妨げられるとしても)。
筐体402は、硬質プラスチック、金属、木材などの適切に剛性のある材料から一体成形された単一部品を含むことができる。筐体402は、意図する用途に応じて、最大3g、5g、10g、又はそれを超える加速度でも撓み又は捩れに耐えるだけの剛性を有することが好ましく、その理由は、このような撓み又は捩れが、基準線距離又は撮像素子410の相対角度に僅かな変化をもたらし、ステレオ撮像品質に有害な影響を与える可能性があるからである。例えば、自律型農業用収穫機で使用するステレオ撮像モジュール400は、5g以上の加速力での撮像素子410の相対運動を防止するのに十分な厚さの硬質プラスチック筐体402を有することができる。
さらに、ステレオ撮像モジュール400は、その取付け位置に対して望まれるような動き又は加速を妨害又は抑制しないように、有利には小型及び/又は軽量とすることができる。例えば、ロボットが操作するエンドエフェクタと併せてステレオ撮像モジュール400を取り付ける場合、ステレオ撮像モジュール400は、エンドエフェクタ又はロボットの動きを妨害しないように十分に小型であることが望ましい場合がある。エンドエフェクタの意図された動きを達成するために必要な力の量を実質的に増加させないように、ステレオ撮像モジュール400は十分に軽いことがさらに望ましい場合がある。
一部の実施形態では、ステレオ撮像モジュール400は、500g未満、200g未満、100g未満などの総重量を有する。一部の実施形態では、ステレオ撮像モジュール400は、100mm未満の全長(図4Bのx方向に沿って)、30mm未満の全幅(図4Bのy方向に沿って)、20mm未満の筐体厚、及び/又はレンズ406を含めて30mm未満の総厚を有する。一例では、ステレオ撮像モジュール400は、約75gの重量(例えば、74gから76gの間)、約77mmの長さ(例えば、76mmから78mmの間)、約27mmの幅(例えば、26mmから28mmの間)、約13mmの筐体厚(例えば、12mmから14mmの間)、約27mmの総厚(例えば、26mmから28mmの間)を有する。これらは例示的な重量及び寸法であり、他の例も本技術に従って適切に実装できることを理解されたい。
撓み又は捩れの力に加えて、同軸ケーブル接続は、ステレオ撮像モジュール400及びその構成要素に対する位置ずれ又は損傷のリスクももたらす。例えば、同軸ケーブル110(図1~3)はステレオ撮像モジュール400にしっかりと取り付けられるため、コネクタ435にかなりの力が加わる可能性がある(例えば、ケーブル110がぴんと張るようにステレオ撮像モジュール400が画像処理モジュール300から離れた極端な位置に移動された場合、及び/又はケーブル110が1又は2以上の他の物体に絡むか又はそれで遮られた場合)。
従って、図5は、本明細書に開示する実施形態のいずれかに従って実装することのできる動き及び力に耐える同軸コネクタ配置の例を示す。動き及び力に耐えるコネクタ配置は、コネクタ435を第2コネクタ445と接続する中間ケーブル440を含む。第2コネクタ445は、ステレオ撮像モジュール400を画像処理モジュール300(図1~3)に接続するケーブル110(図1~3)を受け入れるのに適したコネクタである。この構成では、ステレオ撮像モジュール400の筐体402を画像処理モジュール300に対して可動な機械的構成要素(例えば、ピッキングデバイス又は収穫機のロボット又はエフェクタの構成要素)に取り付けることができる。第2コネクタ445は同じ機械的構成要素の一部に又はそれにしっかりと固定された別の構成要素に取り付けることができるので、第2コネクタ445は、筐体402及びステレオ撮像モジュール基板404に対して固定される。従って、動き又は力は中間ケーブル440又はコネクタ435に伝達されず、従って、第2コネクタ445に接続されたケーブル110が付与する何らかの動き又は力は、主としてステレオ撮像モジュール400及び第2コネクタ445が取り付けられる機械的構成要素に伝達されることになる。ステレオ撮像モジュール400の内部構成要素への損傷又はその位置ずれが回避される。
本開示によるステレオ撮像システムの適用例
上述のように、本技術によるステレオ撮像システムは、収穫機及び他のピッキングデバイス又は他のロボットの適用例など、自律型デバイスと併せて使用するのに有利に適切とすることができる。図6及び7は、本開示のステレオ撮像システムを実装することのできる例示的なシステムを示す。
上述のように、本技術によるステレオ撮像システムは、収穫機及び他のピッキングデバイス又は他のロボットの適用例など、自律型デバイスと併せて使用するのに有利に適切とすることができる。図6及び7は、本開示のステレオ撮像システムを実装することのできる例示的なシステムを示す。
図6は、本技術のステレオ撮像システムと併せて使用できる例示的なロボット600を示す。例示的なロボット600は、エンドエフェクタ610を支持し、収穫機作業セル又は他のピッキング区域内でエンドエフェクタ610を要望通りに動かすように構成されたt型ロボット600として示してある。ロボット600は、一般に、半径方向部材620と、キャリッジ630と、長手方向部材640とを含む。長手方向部材640は、ガントリ又は他の概して直線的な構成要素とすることができ、図7の収穫機700などの収穫機に取り付けることができる。
図7は、図6のロボット600と一致する2つのロボットを含む、本開示による例示的な収穫機700の構成要素を概略的に示す断面図である。収穫機700は、架台710を支持する複数の車輪705を含む。収穫機700は、圃場内を移動するように構成される。従って、架台710は、車輪705に対して位置決めされ、架台710は、車輪705が列55を囲む溝50の底部に沿って移動する間に列55の上方に支持されるようになっている。
様々な実施形態において、本明細書に開示するステレオ撮像モジュール200及び画像処理モジュール300は、ロボット600及び/又は収穫機700の上又は周りの様々な位置に取り付けることができる。例えば、アイ・イン・ハンド構成では、各ロボット600は、その上に配置されたステレオ撮像モジュール200を有することができる。ステレオ撮像モジュール200は、ロボットのエンドエフェクタ610、半径方向部材620、キャリッジ630、又は長手方向部材640に取り付けることができる。さらに、1又は2以上のステレオ撮像モジュール200は、収穫機700の架台710に取り付けられたグローバルカメラとすることができる。特定の1つの構成では、図7に示すように、収穫機700は、ロボット600又はエンドエフェクタ610に取り付けられた1つのステレオ撮像モジュール200と、収穫機700の車台に対して静止した、ピッキング区域の俯瞰視野を提供するために架台710に取り付けられた第2のステレオ撮像モジュール200とを含めて、ロボット600ごとに2つのステレオ撮像モジュール200を含むことができる。一部の実施形態では、各ロボットは、ロボット特有の画像処理モジュール300を含むそれ自体のステレオ撮像システムを有することができる。別の実施形態では、画像処理モジュール300は、3以上のステレオ撮像モジュールに接続することができる(例えば、図7に示す例示的な構成は、合計4つのステレオ撮像モジュール200と1つの画像処理モジュール300とを含むことができる)。他の組み合わせも可能である。
再び図6を参照すると、ロボット600は、複数の軸に沿う及び複数の軸に関する動きに適応するように構成されている。例えば、長手方向部材640は、その長手方向軸(図6に示すy軸に平行)の周りに回転させることができる。キャリッジ630は、長手方向部材640に沿ってy方向に直線移動することができる。半径方向部材620は、長手方向部材640の回転方向に依存しているx-z平面内の方向に沿って、y軸に垂直な方向に直線移動することができる。さらに、エンドエフェクタ610は、半径方向部材620に対して回転可能とすることができる。このように、ロボット600は、ロボット600に取り付けられたステレオ撮像モジュール200に応力又は力を作用させる可能性のある多数の軸に沿って移動可能である。従って、図5を参照して論じた動き及び力に耐える同軸コネクタ配置は、これらの実施態様において望ましい場合がある。非限定的な1つの実施形態において、ステレオ撮像モジュール200は、収穫機が1時間又は2時間以上にわたって動作可能である場合に、継続的に5gを超える加速度に耐える。
図8A~8Cは、図6に示したエンドエフェクタ610などのエンドエフェクタと併せたステレオ撮像モジュール400(図4A~5)の例示的な1つの実施態様を示す。図8Aは、エンドエフェクタ610の側面図であり、図8B及び8Cは、ステレオ撮像モジュール400及び第2コネクタ445が取り付けられるベースプレート612及び付加的な剛性構成要素615の斜視図である。図8A~8Cに示すように、ステレオ撮像モジュール400の筐体402は、エンドエフェクタ610の実質的に剛性のある平面状ベースプレート612の下面に取り付けられる。中間ケーブル440は、ベースプレート612を(例えば、縁の周りで、或いはスロット614又は開口を通って)通過し、構成要素615の表面616に剛性的に取り付けられた第2コネクタ445に接続される。一部の実施形態では、第2コネクタ445は、中間ケーブル440に伝わる力を低減するために適当に剛性のある、ベースプレート612の上面に又はステレオ撮像モジュール400に近接する何らかの他の構成要素に、直接結合することができる。
図8A~8Cに示す構成において、同軸ケーブルの第1端は、第2コネクタ445に接続することができ、同軸ケーブルの第2端は、関連する画像処理モジュール300(例えば、図6及び7に示すように長手方向部材640に又はロボット600の外部で収穫機の構成要素に取り付けられる)に接続することができ、ステレオ撮像システムは、ステレオ撮像モジュール400又はその構成要素に対する損傷のリスクを冒すことなく、ロボット600の動きによって操作することができる。
システムの実装及び用語
システムの実装及び用語
本明細書に開示する実施態様は、ステレオ撮像用のシステム、方法、及びデバイスを提供する。当業者は、これらの実施形態が、ハードウェア、又はハードウェアとソフトウェア及び/又はファームウェアの組み合わせで実装可能であることを認識することができる。
本開示によるステレオ撮像システムの実施形態は、1又は2以上のセンサ(例えば、画像センサ)と、1又は2以上の信号プロセッサ(例えば、画像信号プロセッサ)と、上述の処理を実行するための命令又はモジュールを含むメモリとを含むことができる。本システムはさらに、データ、メモリから命令及び/又はデータをロードするプロセッサ、1又は2以上の通信インタフェース、1又は2以上の入力デバイス、表示デバイスなどの1又は2以上の出力デバイス、及び電源/インタフェースを有することができる。このデバイスはさらに、送信機及び受信機を含むことができる。送信機と受信機を併せて、トランシーバと呼ぶ場合がある。トランシーバは、無線信号を送信及び/又は受信するために1又は2以上のアンテナに接続することができる。
本明細書に記載する機能は、プロセッサ可読媒体又はコンピュータ可読媒体上の1又は2以上の命令として格納することができる。用語「コンピュータ可読媒体」とは、コンピュータ又はプロセッサがアクセスできるいずれかの利用可能な媒体を指す。非限定的な例として、このような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD-ROM又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶デバイス、或いは、命令又はデータ構造の形態で所望のプログラムコードを格納するために使用でき、コンピュータがアクセスできる何らかの他の媒体を備えることができる。コンピュータ可読媒体は、有形で非一時的なものでよいことに留意されたい。用語「コンピュータプログラム製品」は、コンピューティングデバイス又はプロセッサが実行、処理又は計算することのできるコード又は命令(例えば、「プログラム」)と組み合わせたコンピューティングデバイス又はプロセッサを指す。本明細書で使用する場合、用語「コード」は、コンピューティングデバイス又はプロセッサによって実行可能であるソフトウェア、命令、コード又はデータを指す場合がある。
本明細書に開示する実施形態に関連して記載した様々な例示的な論理ブロック及びモジュールは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブル・ゲートアレイ(FPGA)又は他のプログラマブル論理デバイス、個別のゲート又はトランジスタ論理、個別ハードウェア部品、或いは本明細書に記載した機能を実行するために設計された、それらの何らかの組み合わせなどのマシンで実装又は実行することができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代わりに、コントローラ、マイクロコントローラ、又はステートマシン、これらの組み合わせなどとすることができる。プロセッサは、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと併せた1又は2以上のマイクロプロセッサ、或いはいずれか他のそのような構成として実装することもできる。本明細書では主にデジタル技術に関して説明するが、プロセッサは、主としてアナログ部品を含むこともできる。例えば、本明細書に記載する信号処理アルゴリズムのいずれも、アナログ回路で実装することができる。コンピューティング環境には、いくつか例を挙げれば、マイクロプロセッサに基づくコンピュータシステム、メインフレームコンピュータ、デジタル信号プロセッサ、携帯型コンピューティングデバイス、電子手帳、デバイスコントローラ、及び家電製品内の計算エンジンを含むがこれらに限定されない、あらゆるタイプのコンピュータシステムを含めることができる。
当業者であれば、記載した技術の範囲から逸脱することなく、様々な修正及び変更が可能であることを理解することができる。そのような修正及び変更は、実施形態の範囲に入ることが意図されている。また、当業者であれば、1つの実施形態に含まれる部品を他の実施形態と置き換えることができ、描写された1つの実施形態に由来する1又は2以上の部品を、何らかの組み合わせで他の描写された実施形態に含めることができることも理解することができる。例えば、本明細書に記載され、及び/又は図に描写された様々な構成要素のいずれも、他の実施形態と組み合わせる、置き換える、又は除外することができる。
一般に、当業者であれば、本明細書で使用する用語が「オープン」な用語として意図されることを理解することができる(例えば、用語「含んでいる」は「含んでいるが限定されない」と解釈すべきである、用語「有する」は「少なくとも有する」と解釈すべきである、用語「含む」は「含むが限定されない」と解釈すべきである、など)。さらに、本明細書で使用する用語「備える」は、「含む」、「包含する」、又は「を特徴とする」と同義であり、包括的又は非限定的であって、付加的な、列挙されていない要素又は方法ステップを排除しない。従って、特許請求の範囲で使用する用語「備える」は、その後に列挙する手段に限定されるとして解釈すべきではなく、他の要素又はステップを排除するものではない。従ってそれは、言及した場合に、記載した特徴、完全体、ステップ又は構成要素の存在を明示するものと解釈されることになるが、1又は2以上の他の特徴、完全体、ステップ又は構成要素、或いはそれらの群の存在又は追加を排除するものではない。従って、「手段A及びBを備えるデバイス」という表現の範囲を、構成要素A及びBのみから成るデバイスに限定すべきではない。さらに、当業者であれば、明細書、特許請求の範囲、又は図面のいずれであろうとも、2又は3以上の代替用語を提示する実質的にあらゆる離接的単語及び/又は言い回しは、用語の内の1つ、用語のいずれか、又は両方の用語を含む可能性を企図しているものと理解すべきであることを理解できる。例えば、「A又はB」という言い回しは、「A」又は「B」又は「A及びB」の可能性を含むと理解することができる。
本明細書で使用する用語「結合する」、「結合している」、「結合された」、又は単語「結合する」の他の変形形態は、間接接続又は直接接続のいずれか示すことに留意されたい。例えば、第1の構成要素が第2の構成要素に「結合」されている場合、第1の構成要素は、第2の構成要素に間接的に接続すること又は第2の構成要素に直接的に接続することができる。本明細書で使用する場合、用語「複数」は2又は3以上を意味する。例えば、複数の構成要素は、2又は3以上の構成要素を表す。
上記の説明は、本開示のいくつかのシステム及びデバイスを開示する。本開示の実施形態は、方法及び材料における変更と共に、製造方法及び機器における改変に影響されやすい。そのような変更は、本開示の考察又は本開示の実践から当業者には明らかになるはずである。結果として、本開示は、本明細書に開示する特定の実施形態に限定されるようには意図されず、添付の特許請求の範囲で具体化される本開示の真の範囲及び精神に入る全ての変更形態及び代替形態を網羅するものとする。
Claims (20)
- ステレオ撮像モジュールと、
処理モジュールと、
を備えるステレオ撮像システムであって、
前記ステレオ撮像モジュールは、
少なくとも部分的に重複する視野の画像を取り込むように位置決めされた複数の画像センサと、
前記取り込まれた画像を、前記ステレオ撮像モジュールに接続された同軸ケーブルを介して送信するように構成された処理回路と、
を備え、
前記処理モジュールは、前記取り込まれた画像を、前記ステレオ撮像モジュールから前記同軸ケーブルを介して受信するように構成されており、さらに、
前記取り込まれた画像を受信して処理するように構成された処理回路と、
前記同軸ケーブルを介して前記ステレオ撮像モジュールに電力を供給するように構成された電力回路と、
を備える、ステレオ撮像システム。 - 前記複数の画像センサはカラー画像センサである、請求項1に記載のステレオ撮像システム。
- 前記画像処理モジュールは、前記カラー画像センサが取り込んだカラー画像に少なくとも部分的に基づいて、前記部分的に重複する視野の少なくとも一部で深度マッピングを生成するように構成される、請求項2に記載のステレオ撮像システム。
- 前記画像処理モジュールはさらに、前記カラー画像に基づいて1又は2以上のグレースケール画像を生成するように構成され、前記深度マッピングは、前記1又は2以上のグレースケール画像に少なくとも部分的に基づいて生成される、請求項3に記載のステレオ撮像システム。
- 前記処理モジュールの前記処理回路はさらに、前記複数の画像センサに画像を同時に取り込ませるタイミング信号を、前記同軸ケーブルを介して、前記ステレオ撮像モジュールに送信するように構成される、請求項1に記載のステレオ撮像システム。
- 前記タイミング信号は、前記複数の画像センサに一連の時間同期した画像を取り込ませる反復的な時間変動信号である、請求項5に記載のステレオ撮像システム。
- 第2の同軸ケーブルで前記処理モジュールに接続された少なくとも1つの第2のステレオ撮像モジュールをさらに備え、前記第2のステレオ撮像モジュールは第2の複数の画像センサを備え、前記処理モジュールの前記処理回路は、前記複数の画像センサと前記第2の複数の画像センサが同時に画像を取り込むように、前記同軸ケーブル及び前記第2の同軸ケーブルを介して前記タイミング信号を同時に送信するよう構成される、請求項5に記載のステレオ撮像システム。
- 前記ステレオ撮像モジュールは、前記処理モジュールに対して相対移動するように構成された機械的構成要素に取り付けられ、前記同軸ケーブルのステレオ撮像モジュール端は、前記機械的構成要素に固定された同軸コネクタに結合され、前記同軸コネクタは、前記同軸ケーブルから前記同軸コネクタに加わる力が前記ステレオ撮像モジュールの前記処理回路に又は前記複数の画像センサに伝達されないように、前記ステレオ撮像モジュールの前記処理回路に屈曲自在に結合される、請求項1に記載のステレオ撮像システム。
- 前記機械的構成要素は、ピッキングデバイスのエンドエフェクタを備える、請求項8に記載のステレオ撮像システム。
- 前記処理モジュールは、第2の同軸ケーブルで第2のステレオ撮像モジュールに接続される、請求項9に記載のステレオ撮像システム。
- 前記第2のステレオ撮像モジュールは、前記ピッキングデバイスの第2のエンドエフェクタ又は固定構成要素に取り付けられる、請求項10に記載のステレオ撮像システム。
- 前記ピッキングデバイスは、可動式ピッキングデバイスであり、前記第2のステレオ撮像モジュールは、前記可動式ピッキングデバイスのシャーシに対して固定される、請求項10に記載のステレオ撮像システム。
- 前記ステレオ撮像モジュールはさらに、
前記ステレオ撮像モジュールの温度を決定するように構成された温度センサと、
前記温度センサと通信し、前記温度センサが所定の閾値よりも低い温度を検出した時に作動するように構成された加熱素子と、
を備える、請求項1に記載のステレオ撮像システム。 - 前記複数の画像センサは、5mm以上50mm以下の基準線距離だけ離間している、請求項1に記載のステレオ撮像システム。
- 前記複数の画像センサは、15mm以上30mm以下の基準線距離だけ離間している、請求項14に記載のステレオ撮像システム。
- 前記複数の画像センサは、20mm以上25mm以下の基準線距離だけ離間している、請求項15に記載のステレオ撮像システム。
- 前記ステレオ撮像モジュールは、100g未満の重量を有する、請求項1に記載のステレオ撮像システム。
- 前記ステレオ撮像モジュールの前記処理回路は、前記取り込まれた画像を、前記同軸ケーブルを介して前記画像処理モジュールのデシリアライザに送信するように構成されたシリアライザを備える、請求項1に記載のステレオ撮像システム。
- 前記ステレオ撮像モジュールの前記処理回路はさらに、前記画像処理モジュールへ送信する前に、前記複数の画像センサが同時に取り込んだ個々の画像のペアを結合するように構成される、請求項1に記載のステレオ撮像システム。
- 前記ステレオ撮像モジュールは、ピッキングデバイスのエンドエフェクタに取り付けられ、前記複数の画像センサは、20mm以上25mm以下の基準線距離だけ離間しており、前記ステレオ撮像モジュールは100g未満の重量を有する、請求項1から19のいずれか1項に記載のステレオ撮像システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063034566P | 2020-06-04 | 2020-06-04 | |
US63/034,566 | 2020-06-04 | ||
PCT/US2021/034833 WO2021247406A1 (en) | 2020-06-04 | 2021-05-28 | Color stereo camera systems with global shutter synchronization |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023528407A true JP2023528407A (ja) | 2023-07-04 |
Family
ID=78829859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022573729A Pending JP2023528407A (ja) | 2020-06-04 | 2021-05-28 | グローバルシャッタ同期式カラーステレオカメラシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230239452A1 (ja) |
EP (1) | EP4162231A4 (ja) |
JP (1) | JP2023528407A (ja) |
KR (1) | KR20230021005A (ja) |
WO (1) | WO2021247406A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11637977B2 (en) * | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6392698B1 (en) * | 1996-12-06 | 2002-05-21 | Canon Kabushiki Kaisha | Camera head-detachable image sensing apparatus, image processing apparatus, and image sensing system constituted therewith |
US6437824B1 (en) * | 1997-02-07 | 2002-08-20 | Canon Kabushiki Kaisha | Image pickup apparatus and system |
US9565419B2 (en) * | 2007-04-13 | 2017-02-07 | Ari M. Presler | Digital camera system for recording, editing and visualizing images |
JP2011139296A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 映像信号処理装置及び映像信号処理方法 |
US8988504B2 (en) * | 2010-06-03 | 2015-03-24 | Semiconductor Components Industries, Llc | Imaging systems with integrated stereo imagers |
DE112012003931T5 (de) * | 2011-09-21 | 2014-07-10 | Magna Electronics, Inc. | Bildverarbeitungssystem für ein Kraftfahrzeug mit Bilddatenübertragung undStromversorgung über ein Koaxialkabel |
JP5929358B2 (ja) * | 2012-03-15 | 2016-06-01 | ソニー株式会社 | 画像伝送システムおよび画像伝送方法 |
US9197885B2 (en) * | 2014-03-20 | 2015-11-24 | Gopro, Inc. | Target-less auto-alignment of image sensors in a multi-camera system |
US9762893B2 (en) * | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
US11703326B2 (en) * | 2016-02-25 | 2023-07-18 | Kyocera Corporation | Stereo camera apparatus, vehicle, and parallax calculation method |
DE102016223709A1 (de) * | 2016-11-29 | 2018-05-30 | Conti Temic Microelectronic Gmbh | Kamerasystem in oder für ein Kraftfahrzeug, Fahrerassistenzsystem |
DE102017210408A1 (de) * | 2017-06-21 | 2018-12-27 | Conti Temic Microelectronic Gmbh | Kamerasystem mit unterschiedlichen Shuttermodi |
US10972637B2 (en) * | 2018-03-13 | 2021-04-06 | Lyft, Inc. | Systems and methods for synchronizing sensor capture |
KR20210074324A (ko) * | 2018-10-08 | 2021-06-21 | 어드밴스드 팜 테크놀로지스, 인크. | 자율 작물 수확기 |
CA3130626C (en) * | 2019-02-22 | 2023-11-21 | Dexterity, Inc. | Robotic handling of soft products in non-rigid packaging |
US11257272B2 (en) * | 2019-04-25 | 2022-02-22 | Lucid VR, Inc. | Generating synthetic image data for machine learning |
JP7229129B2 (ja) * | 2019-09-05 | 2023-02-27 | 京セラ株式会社 | 物体検出装置、物体検出システム、移動体及び物体検出方法 |
EP4037553A4 (en) * | 2019-10-02 | 2023-10-25 | Blaze Bioscience, Inc. | VASCULAR AND STRUCTURAL IMAGING SYSTEMS AND METHODS |
US11893787B2 (en) * | 2021-12-29 | 2024-02-06 | Dish Network, L.L.C. | Methods, devices, and systems for identifying potential obstructions of antennae |
-
2021
- 2021-05-28 EP EP21816695.7A patent/EP4162231A4/en active Pending
- 2021-05-28 US US18/007,620 patent/US20230239452A1/en not_active Abandoned
- 2021-05-28 JP JP2022573729A patent/JP2023528407A/ja active Pending
- 2021-05-28 WO PCT/US2021/034833 patent/WO2021247406A1/en unknown
- 2021-05-28 KR KR1020227044546A patent/KR20230021005A/ko active Search and Examination
Also Published As
Publication number | Publication date |
---|---|
EP4162231A1 (en) | 2023-04-12 |
US20230239452A1 (en) | 2023-07-27 |
EP4162231A4 (en) | 2024-06-19 |
WO2021247406A1 (en) | 2021-12-09 |
KR20230021005A (ko) | 2023-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI617277B (zh) | 姿勢估計裝置及吸塵器系統 | |
JP7047249B2 (ja) | 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム | |
JP2690603B2 (ja) | 視覚センサのキャリブレーション方法 | |
US11908162B2 (en) | Line scanner having target-tracking and geometry-tracking modes | |
CN109444773B (zh) | 一种固连外部磁体和磁传感器阵列的磁源检测装置 | |
US10052767B2 (en) | Robot, control device, and control method | |
US10425562B2 (en) | Three-dimensional image sensing module with a low z-height | |
JP2015174172A (ja) | ロボット、ロボットシステム、及び制御装置 | |
JP7180074B2 (ja) | 撮像装置 | |
JP2023528407A (ja) | グローバルシャッタ同期式カラーステレオカメラシステム | |
US20240281003A1 (en) | Systems and methods for enhancing performance and mapping of robots using modular devices | |
WO2021039775A1 (ja) | 画像処理装置、撮像装置、ロボット及びロボットシステム | |
US10517199B2 (en) | Methods of positioning a component in a desired position on a board, pick and place machines, and sensors for such pick and place machines | |
CN114359394A (zh) | 一种双目视觉的定位方法、装置、电子设备及存储介质 | |
US11854219B2 (en) | Photosensor processing for improved line scanner performance | |
WO2018212008A1 (ja) | 撮像装置及び画像合成装置 | |
CN112770045B (zh) | 摄像模组和电子设备 | |
CN112060083B (zh) | 用于机械臂的双目立体视觉系统及其测量方法 | |
CN105806336A (zh) | 一种用于微小型星敏感器的电子学系统及其实现方法 | |
JP2014233806A (ja) | ロボットおよびロボットシステム | |
CN207802192U (zh) | 一种监控装置 | |
JP2022021367A (ja) | 撮像システム、製造システム、情報処理方法、物品の製造方法、プログラム及び記録媒体 | |
CN210518586U (zh) | 一种三维虚拟场景实时成像的拍摄设备 | |
WO2022013979A1 (ja) | ステレオカメラ | |
KR101256861B1 (ko) | 칼리브레이션을 위한 체커 보드 장치 및 이를 이용한 칼리브레이션 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240523 |