JP6657500B2 - モバイルプラットフォームの制御方法およびシステム - Google Patents

モバイルプラットフォームの制御方法およびシステム Download PDF

Info

Publication number
JP6657500B2
JP6657500B2 JP2017512756A JP2017512756A JP6657500B2 JP 6657500 B2 JP6657500 B2 JP 6657500B2 JP 2017512756 A JP2017512756 A JP 2017512756A JP 2017512756 A JP2017512756 A JP 2017512756A JP 6657500 B2 JP6657500 B2 JP 6657500B2
Authority
JP
Japan
Prior art keywords
mobile platform
distance
measurement
determining
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017512756A
Other languages
English (en)
Other versions
JP2017529616A (ja
Inventor
ザオ、ツン
タン、ケタン
ゾウ、グユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2017529616A publication Critical patent/JP2017529616A/ja
Application granted granted Critical
Publication of JP6657500B2 publication Critical patent/JP6657500B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Measurement Of Optical Distance (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Acoustics & Sound (AREA)

Description

本発明は、一般的に、モバイルプラットフォーム操作に関し、より詳細には、距離及び速度検出を使用してモバイルプラットフォームを操作するシステム及び方法に関するが、それに限定されない。
自律または自動誘導式の障害物回避は、モバイルプラットフォームの重要な特徴である。モバイルプラットフォームがその空間環境で潜在的障害物を検出できるようにする技術は、例えば、超音波、飛行時間型、及び、他の方法を含む。しかしながら、個々の方法には、それぞれ、自動誘導式の障害物回避にとって理想的とはいえないある種の欠点がある。例えば、超音波ベースの障害物検出は、検出距離に制限があり（通常、５メートル未満）、また、小さい物体に対する感度に制限がある。このように、超音波ベースの装置は、検出距離が限られているので、モバイルプラットフォームまたは輸送機に減速して障害物を回避するように警告を与えるには不十分であり、よって、動きの速い物体（例えば、毎秒１０メートルより速く動く物体）の障害物回避に使用するには不適当である。
代替技術である飛行時間型（ＴｏＦ）検出では、照射光の障害物までの飛行時間と、照射光の障害物からの飛行時間に基づいて障害物の距離を取得できる。飛行時間型検出の長所は、検出距離の長さと解像度の高さを含む。しかし、飛行時間型検出は、モバイルプラットフォームの障害物検出にとってある種の欠点を有する。例えば、周辺光が強いと、飛行時間型センサの信号対ノイズ比が低くなることがある。さらに、飛行時間型信号は、特に、ガラス面または水面等の鏡のような物体では、撮像される物体の反射特性に基づいて変わり得る。
上記を考えると、個々の距離検出方法の短所を克服する障害物回避のためのモバイルプラットフォーム操作のシステム及び方法が必要である。
本明細書に開示の第１の態様によると、モバイルプラットフォームを操作する方法が記載されている。当該方法は、
モバイルプラットフォームと障害物の間の距離を検出するステップと、
モバイルプラットフォームの速度を検出するステップと、を含む。
本明細書に開示の別の態様によると、モバイルプラットフォームを操作するシステムが記載されている。当該システムは、
モバイルプラットフォームの操作環境を検出する飛行時間型センサと、
当該操作環境を検出する超音波センサと、
モバイルプラットフォームの操作環境と速度に従ってモバイルプラットフォームを制御するプロセッサと、
を備える。
本明細書に開示の別の態様によると、モバイルプラットフォームの操作環境と速度に従って、モバイルプラットフォームを制御するプロセッサが記載されている。当該プロセッサは、
飛行時間型センサから操作環境の第１測定値を受信し、
超音波センサから操作環境の第２測定値を受信し、
第１測定値及び第２測定値に従って、モバイルプラットフォームを制御する制御信号を生成する。
本明細書に開示の別の態様によると、モバイルプラットフォームの制御信号を生成するための処理方法が記載されている。当該処理方法は、
モバイルプラットフォームと障害物の間の距離を決定するステップと、
モバイルプラットフォームの速度を決定するステップと、
距離と速度に基づいて制御信号を生成するステップと、
を含む。
モバイルプラットフォームに搭載されたモバイルプラットフォーム制御システムを障害物との関連で示した実施形態を例示する図である。 図１のモバイルプラットフォーム制御システムの実施形態を例示するトップレベルブロック図である。 図１のモバイルプラットフォーム制御システムを用いてモバイルプラットフォームを自動で操作する方法の実施形態を例示するトップレベルフローチャートである。 飛行時間型検出と超音波検出の１つ以上に基づいて、図１のモバイルプラットフォーム制御システムを使ってモバイルプラットフォームと障害物の間の距離を決定する方法の実施形態を例示するフローチャートである。 距離決定のための飛行時間型センサの実施形態を例示する図である。 距離決定のための超音波センサの実施形態を例示する図である。 位相シフト処理を用いて距離を決定する図３の方法の実施形態を例示するフローチャートである。 位相シフト処理を用いて生成した深度マップ及び振幅マップを例示する図である。 深度マップを用いて距離を決定する図３の方法の実施形態を例示するフローチャートである。 立体視を用いて速度を決定するプロセスの実施形態を例示する図である。 三角測量を用いて速度を決定する図１０のプロセスの実施形態を例示する図である。 両眼視差を決定する図３の方法の実施形態を例示するフローチャートである。 距離を決定する方法の実施形態を例示するフローチャートである。 速度及び距離のいずれかまたは両方に従って、モバイルプラットフォームを制御する方法の実施形態を例示するフローチャートである。
図が縮尺通りに描かれていないこと、及び類似する構造または機能の要素が、概して図の全体を通じて例示的な目的のために類似する参照番号で示されることに留意すべきである。また、図が好ましい実施形態の説明を容易にすることだけを目的としていることにも留意すべきである。図は説明される実施形態のあらゆる態様を示すわけではなく、本開示の範囲を制限しない。
本開示は、モバイルプラットフォームの障害物検出と回避のために飛行時間型と超音波検出のいずれかまたは両方を用いて、以前のシステム及び方法の欠点を克服するシステム及び方法を記載する。
図１において、モバイルプラットフォーム制御システム１００は、モバイルプラットフォーム２００に搭載されている。モバイルプラットフォーム２００は、障害物２５０と関連付けて示されている。モバイルプラットフォーム２００は、障害物２５０から距離ｄに位置し、障害物２５０に対して速度ｖで移動している。モバイルプラットフォーム制御システム１００は、距離ｄを決定し、かつ、速度ｖに基づいて、モバイルプラットフォーム２００の移動を制御して障害物２５０との衝突を回避する。
例示のモバイルプラットフォーム２００は、自転車、自動車、トラック、船、ボート、列車、ヘリコプタ、航空機、それらの様々なハイブリッド等を含むが、それらに限定されない。ある実施形態においては、モバイルプラットフォーム２００は、口語では、「ドローン」と呼ばれる無人航空機（ＵＡＶ）である。ＵＡＶは、機体に人間のパイロットが乗らず、飛行を自動で、もしくは、遠隔パイロットにより（または、時には、その両方で）制御する航空機である。ＵＡＶは、データ収集または配送等の様々な空中での操作を伴う民生用の使用が増加している。本制御システム及び方法は、クワッドコプタ（クワッドロータヘリコプタもしくはクワッドロータとも呼ばれる)、シングルロータ、デュアルロータ、トリロータ、ヘクサロータ、及び、オクトロータの回転翼ＵＡＶ、固定翼ＵＡＶ、並びに、回転翼と固定翼のハイブリッドＵＡＶを含むが、それらに限らない多くの種類のＵＡＶに適する。
図２において、例示のモバイルプラットフォーム制御システム１００は、複数のセンサ１１０を備えている。モバイルプラットフォーム制御システム１００は、必要に応じて、例えば、１、２、３、４、５、６、または、それ以上の任意の数のセンサ１１０を備え得る。センサ１１０は、任意の所望の方法でモバイルプラットフォーム制御システム１００に配置でき、撮像の用途に応じてセンサ１１０を具体的に配置してよい。センサ１１０は、軽量で、リアルタイムの障害物検出と回避を容易にするように、高頻度でデータ収集を行うことができる、という利点がある。モバイルプラットフォーム制御システム１００での使用に適した例示のセンサ１１０は、カラーセンサ、白黒センサ、電気光学センサ、熱／赤外線センサ、飛行時間型センサ、超音波センサ、マルチスペクトルイメージングセンサ、分光光度計、分光計、温度計、照度計、マイクロフォン／音響変換器等を含むが、それらに限定されない。
図２に示すように、センサ１１０は、１つ以上のプロセッサ１２０と接続して機能し得る。各プロセッサ１２０は、１つ以上の汎用マイクロプロセッサ（例えば、シングルコアもしくはマルチコアプロセッサ）、特定用途集積回路、特定用途命令セット（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｓｔｒｕｃｔｉｏｎ−ｓｅｔ）プロセッサ、グラフィックスプロセッシングユニット、フィジックスプロセッシングユニット、デジタル信号処理ユニット、コプロセッサ、ネットワーク処理ユニット、オーディオ処理ユニット、暗号化処理ユニット等を含むが、それらに限らない。プロセッサ１２０は、障害物検出及び回避に関する様々な操作を含むが、それらに限らない、本明細書に記載の方法のいずれかを行い得る。ある実施形態においては、プロセッサ１２０は、障害物検出及び回避に関する特定の操作を処理する専用ハードウェアを備え得る。特定の操作の処理とは、例えば、飛行時間型データの処理、超音波データの処理、収集したデータに基づいた障害物の距離の決定、及び、決定した距離に基づいたモバイルプラットフォーム（図示せず）の制御である。
ある実施形態においては、プロセッサ１２０は、センサ１１０に物理的に近接して配置される。このような場合、プロセッサ１２０及びセンサ１１０は、例えば、ハードウェアコネクタ及びバスを用いて、ローカルに通信し得る。ローカル通信の長所は、伝送遅延を低減して、リアルタイムの障害物検出及び回避を容易にできることである。
他の実施形態においては、障害物データは、処理のため、遠隔端末（図示せず）に送信でき、ユーザフィードバック、及び他のデータ（例えば、他のモバイルプラットフォームの位置、天候条件、全地球測位システム（ＧＰＳ）信号等）との統合を容易にできる、という利点がある。このような場合、プロセッサ１２０は、センサ１１０から離れて配置できる。一実施形態においては、モバイルプラットフォーム２００の距離ｄ及び速度ｖは、処理のために遠隔端末に送信できる。処理後、遠隔端末は、距離ｄ及び速度ｖに基づいて制御信号を生成し、制御信号をモバイルプラットフォーム２００に返信できる。様々な無線通信方法をセンサ１１０とプロセッサ１２０間の遠隔通信に使用できる。適切な通信方法は、例えば、無線、ワイヤレスフィデリティ（Ｗｉ‐Ｆｉ）、セルラー、衛星、及び、ブロードキャストを含む。
図２に示すように、モバイルプラットフォーム制御システム１００は、必要に応じて、１つ以上の追加のハードウェア構成要素（図示せず）を備え得る。例示の追加のハードウェア構成要素は、メモリ１３０（例えば、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ、ダイナミックＲＡＭ、リードオンリメモリ（ＲＯＭ）、プログラム可能ＲＯＭ、消去可能プログラム可能ＲＯＭ、電気的消去可能プログラム可能ＲＯＭ、フラッシュメモリ、セキュアデジタル（ＳＤ）カード等）と、１つ以上の入力／出力インタフェース（例えば、ユニバーサルシリアルバス（ＵＳＢ）、デジタルビジュアルインタフェース（ＤＶＩ）、ディスプレイポート、シリアルＡＴＡ（ＳＡＴＡ）、ＩＥＥＥ１３９４インタフェース（ファイヤーワイヤとしても知られる）、シリアルビデオグラフィックスアレイ（ＶＧＡ）、スーパービデオグラフィックスアレイ（ＳＶＧＡ）、小型コンピュータシステムインタフェース（ＳＣＳＩ）、高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））、オーディオポート、独自の入力／出力インタフェースの少なくとも１つ）と、のいずれかまたは両方を含むが、それらに限らない。１つ以上の入力／出力装置１４０（例えば、ボタン、キーボード、キーパッド、トラックボール、ディスプレイ、及び、モニタ）も、必要に応じて、モバイルプラットフォーム制御システム１００に備えられてよい。
図３において、検出した距離ｄと速度ｖに基づいてモバイルプラットフォーム２００を操作する方法３００の一実施形態が示されている。ステップ３０１で、モバイルプラットフォーム２００の速度ｖを測定する。ある実施形態においては、速度ｖは、モバイルプラットフォーム２００に搭載されたセンサ１１０(図２に示す)を用いて測定できる。速度ｖを測定する例示のセンサ１１０は、慣性測定ユニット（ＩＭＵ）である。あるいは、または、追加で、速度ｖは、１つ以上のカメラ（例えば、従来型のＲＧＢセンサと（図５に示す)飛行時間型センサ５００のいずれかまたは両方)を用いて立体視を通して測定できる。これに関しては、図１０〜１２を参照して以下にさらに記載する。ステップ３０２において、モバイルプラットフォーム２００と障害物２５０の間の距離ｄを取得する。本明細書に記載するように、距離ｄは、飛行時間型センサ５００、超音波センサ６００（図６に示す)、他のセンサ１１０、または、それらの組み合わせを用いて、測定できる。ステップ３０３において、速度ｖと距離ｄを測定し、モバイルプラットフォーム２００を操作して、障害物２５０を回避する。
図４において、モバイルプラットフォーム２００と障害物２５０の間の距離ｄ(図１に示す)を決定する方法は、飛行時間型測定値（本明細書では第１測定値ともいう)と超音波測定値（本明細書では第２測定値ともいう)の少なくとも１つを用いるとして例示されている。障害物２５０までの距離ｄの測定に複数のセンサと複数のセンサタイプのいずれかまたは両方を使用する利点は、測定が冗長性のためにより正確になり、測定が特定のセンサの限界と特定のセンサタイプの限界のいずれかまたは両方に対してよりロバストになることである。ステップ４０１において、距離ｄは、飛行時間型センサ５００(図５に示す)を用いて測定できる。ステップ４０２において、距離ｄは、超音波センサ６００(図６に示す)を用いて測定できる。ステップ４０３において、距離ｄは、飛行時間型と超音波のいずれかまたは両方を用いて取得された測定値の少なくとも１つに基づいて決定できる。
図５において、例示のセンサ１１０は、飛行時間型センサ５００として示されている。飛行時間型センサ５００は、所定の周波数領域内の光(本明細書では、「照明」と同等に用いられる)を生成できる光源５１０を備え得る。一好適実施形態においては、光源５１０は、固体レーザまたは発光ダイオード（ＬＥＤ）である。別の好適実施形態においては、光源は、赤外領域の照明を生成する。さらに別の実施形態においては、照明は、近赤外領域にある。光源５１０は、パルス信号と連続波のいずれかまたは両方として、光を発し得る。
光は、光源５１０によって生成されると、障害物２５０に向かって照射され得る。障害物２５０から反射した光は、１つ以上の光センサ５２０を用いた飛行時間型センサ５００によって検出できる。１つ以上の光センサ５２０は、反射光を検出して、検出した光を電子信号に変換できる。飛行時間型センサ５００の各光センサ５２０は、例えば、電荷結合素子（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）、Ｎ型金属酸化物半導体（ＮＭＯＳ）撮像素子、及び、それらのハイブリッド／変形であってよい。光センサは、二次元アレイ（図示せず）に配置でき、それぞれ、画像情報の１ピクセルを取得でき、集合的に、画像深度マップ８０１（図８に示す）を構築できる。飛行時間型センサ５００は、クオータービデオグラフィックスアレイ（ＱＶＧＡ）、または、それより高い解像度、例えば、少なくとも０．０５メガピクセル、０．１メガピクセル、０．５メガピクセル、１メガピクセル、２メガピクセル、５メガピクセル、１０メガピクセル、２０メガピクセル、５０メガピクセル、１００メガピクセル、または、それ以上の数のピクセルの解像度を有することが好ましい。さらに、光センサ５２０は、障害物２５０からの反射光と周辺光の両方を検出できる。飛行時間型センサ５００は、反射光（信号)と周辺光（ノイズ)とを区別できる、という利点がある。反射光が検出されると、障害物２５０までの距離ｄは、光信号の飛行時間に従って測定できる。これについては、図７を参照して以下にさらに記載する。
図６において、センサ１１０が、超音波センサ６００として例示されている。超音波センサ６００は、高周波の超音波を発し、障害物２５０によって反射されて戻ってきた超音波エコーを受信して評価できる。超音波信号送信とエコー受信の間の時間差に基づいて、障害物２５０までの距離ｄを決定できる。超音波センサ６００は、超音波送信機６１０と少なくとも１つの超音波受信機６２０とを備えてよい。超音波送信機６１０と超音波受信機６２０のいずれかまたは両方は、それぞれ、電気信号を超音波に、または、超音波を電気信号に変える超音波変換器であってよい。例示の超音波変換器は、圧電変換器及び容量性変換器を含む。ある実施形態においては、超音波センサ６００は、一次元または二次元の構成で配列された超音波変換器を備えてよく、超音波深度マップの構築を可能にする。
説明の目的で個別の装置を示したが、モバイルプラットフォーム制御システム１００のセンサ１１０は、一部または全体を単一の装置に統合でき、ハウジング、マイクロチップ、光センサ、検出器、通信ポート等の重複した物理的構成要素を共有できる。例えば、ある実施形態においては、飛行時間型センサ５００は、プロセッサ１２０（図２に示す）を超音波センサ６００と共有できる。他の実施形態においては、センサ１１０は、交換の容易さ及びモジュール性のために、物理的に別個の装置であってよい。
図７において、距離ｄと速度ｖの測定に飛行時間型センサ５００を使う方法７００が例示されている。ステップ７０１において、飛行時間型センサ５００の光源５１０（図５に示す）は、障害物２５０に対して光波を照射できる。一実施形態においては、照射光は、短い時間に光源５１０から発せられるパルスである。別の実施形態においては、光は、連続波（例えば、正弦波または方形波）として、光源５１０から発せられる。
障害物２５０によって反射された後、ステップ７０２で、反射光が検出される。反射光は、飛行時間型センサ５００の１つ以上の光センサ５２０（図５に示す)を用いて検出できる。光検出プロセスは、光が照射されるプロセスに応じて決まる。光が連続波として照射されると、位相シフト処理を用いて照射光を検出でき、それによって、光の飛行時間の測定、よって、距離ｄの測定が可能になる。
位相シフト処理の例示の実施形態は、飛行時間型センサ５００が正弦波信号としての光波を発するプロセスを以下のように時間の関数ｇ（ｔ）として示す。
ｇ（ｔ） ＝ ｃｏｓ（ωｔ）・・・式（１）
ここで、ｔは時間を表し、ωは、照射光の変調周波数を表す。光波が反射した後、反射光波は、光センサ５２０によって検出され、以下の関数ｈ（ｔ）として表すことができる。
ｈ（ｔ） ＝ ｂ ＋ａ ｃｏｓ（ωｔ＋φ）・・・式（２）
ここで、ｔは時間、ａは反射光波の振幅、ｂは反射光波の一定のバイアス、φは照射光波に対する反射光波の位相シフトを表す。
ステップ７０３において、照射光波と反射光波の間の位相シフトφを測定する。例示の方法においては、測定は、以下のように、照射光波ｇ（ｔ）と反射光波ｈ（ｔ）の間の相互相関関数ｃ(τ)をサンプリングすることによって行うことができる。
ここで、τは、相互相関関数の計算のための内部オフセットを表す。相互相関関数は、以下のように単純化できる。
ｃ（τ） ＝ ａ／２ｃｏｓ（ωτ＋φ）＋ｂ式・・・（４）
相互相関関数ｃ(τ)は、例えば、それぞれ異なる内部オフセットを用いて、４回続けてサンプリングできる。例えば、τのサンプル値は、角度０、π/２、π、３π／２であってよく、それぞれ、相互相関関数の４つの値Ａ１、Ａ２、Ａ３、Ａ４となる。反射光波の所望のパラメータ、振幅ａ、一定のバイアスｂ、及び、位相シフトφは、Ａ１、Ａ２、Ａ３、Ａ４から以下のように取得できる。
φ = ａｒｃｔａｎ（（Ａ１−Ａ３）／（Ａ２−Ａ４））・・・式（５）
ｂ ＝ （Ａ１＋Ａ２＋Ａ３＋Ａ４）／４・・・式（７）
最後に、ステップ７０４において、距離ｄは、測定した位相シフトφに従って決定できる。一実施形態においては、距離ｄは、位相シフトφに線形に比例する。一実施形態においては、距離ｄは、以下の等式に従って、位相シフトφから決定できる。
ｄ ＝ ｃφ／４πｆｍｏｄ・・・式（８）
ここで、ｃは光速、ｆｍｏｄは変調周波数である。
図８において、飛行時間型センサ５００による特定の物体の撮像に基づいた深度マップ８０１及び例示の振幅マップ８０２が例示されている。例えば、深度マップ８０１は、二次元アレイの各光センサ５２０の距離ｄに従って求めることができる。よって、深度マップ８０１は、飛行時間型センサ５００と、飛行時間型センサ５００が搭載されたモバイルプラットフォーム２００との周辺の操作環境を表す。遠くの物体は暗い色調で表され、近くの物体は明るい色調で表される。振幅マップ８０２は、二次元アレイの各光センサ３２０の振幅ａ（図８には示さず）を表すことによって、グレースケールで操作環境を示す。深度マップ８０１と振幅マップ８０２の構築に用いられる値ｄ及びａは、それぞれ、上記の位相シフト法を用いて取得できる。最後に、光センサ５２０が検出した周辺光の量を反映する一定のバイアスｂ（図８には示さず）は、図７に示す例示の深度マップ８０１にも例示の振幅マップ８０２にも示していないが、本明細書に記載のシステム及び方法の他の態様で使用できる。
ある実施形態においては、深度マップ８０１と振幅マップ８０２のいずれかまたは両方は、複数のセンサ１１０からのデータを用いて形成された組み合わせ（または合成）マップを生成できる。例えば、飛行時間型センサ５００によって生成された深度マップは、超音波センサ６００によって生成された深度マップと（例えば、アレイ変換器を用いて）組み合わせることができる。組み合わせ深度マップを用いてモバイルプラットフォーム２００と障害物２５０の間の距離ｄを決定できる。
図９において、モバイルプラットフォーム２００（図１に示す）と障害物２５０（図１に示す）の間の距離ｄを、深度マップ８０１を用いて決定する方法が例示されている。ステップ９０１において、深度マップ８０１は、本明細書に記載の方法のいずれかを用いて生成される。例えば、距離決定に適した深度マップ８０１は、図７を参照して上述したように、飛行時間型センサ５００を用いて生成できる。あるいは、または、追加で、距離決定に適した深度マップ８０１は、超音波センサ６００（図６に示す)を用いて、または、他の距離決定方法もしくは深度決定方法を用いて、生成できる。
ステップ９０２において、深度マップは、任意でフィルタリングすることにより、正確な距離決定に悪影響を与え得るデータのアーチファクトまたはノイズを取り除くことができる。例えば、飛行時間型センサ５００（図３に示す）の光センサ５１０が誤作動すると、暗すぎるまたは明るすぎるピクセルが生成され得る。深度マップ８０１の各ピクセルに対して誤差分散を決定することに基づいて、フィルタリングすることもできる。例えば、飛行時間型センサ５００が生成した深度マップ８０１の所与のピクセルの誤差分散ｄＲは、等式（９）に従って測定できる。
ここで、ｋｔｏｔは、センサの特性である変調コントラスト、Ｓは反射光強度、Ｎは周辺光強度、λｍｏｄは光の波長、Ｎｐｈａｓｅは取得した測定値の数である。ここで、誤差分散ｄＲは、多数の測定値を取得してサンプリングサイズを大きくすることによって、低減できる。各ピクセルに対して誤差分散ｄＲを決定した後、深度マップ８０１の１つ以上のピクセルは、フィルタリング中に除去することができる。例えば、所定の閾値より大きい誤差分散ｄＲを有するピクセルは、フィルタリング中、除去することができる。ある実施形態においては、フィルタリングの所定の閾値は、ピクセル強度の所定のパーセンテージ、例えば、１パーセント、２パーセント、５パーセント、１０パーセント、２０パーセント、または、それ以上であってよい。
ステップ９０３において、深度マップ８０１は、潜在的な撮像アーチファクトとノイズのいずれかまたは両方を取り除くために、任意で平滑化できる。深度マップ８０１の平滑化に適した例示の方法は、例えば、加算平滑化、デジタルフィルタの適用、カルマンフィルタの適用、カーネル平滑化、ラプラシアン平滑化、ガウス平滑化、ローパスフィルタの適用、ハイパスフィルタの適用、曲線適合に基づいた平滑化、回帰、移動平均の使用、指数平滑化、及び、他の方法を含む。
ステップ９０４において、モバイルプラットフォーム２００と障害物２５０の間の距離ｄを、深度マップ８０１を用いて決定できる。障害物２５０は、任意の所望の方法で深度マップ８０１を用いて識別できる。例えば、障害物２５０の視覚プロファイルを事前に設定でき、視覚プロファイルに基づいて、障害物２５０の位置を求めて深度マップ８０１をスキャンできる。障害物２５０は、機械視覚法、人工知能法等の少なくとも１つに基づいて識別できる。適切な方法は、特徴の検出技術、抽出技術、及び、照合技術の少なくとも１つを含む。それらの技術は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ：ＲＡＮｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）、Ｓｈｉ＆Ｔｏｍａｓｉコーナー検出、スピードアップロバスト特徴（ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）ブロブ検出、ＭＳＥＲ（Ｍａｘｉｍａｌｌｙ Ｓｔａｂｌｅ Ｅｘｔｒｅｍａｌ Ｒｅｇｉｏｎｓ）ブロブ検出、スピードアップロバスト特徴（ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）記述子、スケール不変特徴変換（ＳＩＦＴ：Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）記述子、ＦＲＥＡＫ（Ｆａｓｔ ＲＥｔｉｎＡ Ｋｅｙｐｏｉｎｔ）記述子、ＢＲＩＳＫ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｖａｒｉａｎｔ Ｓｃａｌａｂｌｅ Ｋｅｙｐｏｉｎｔｓ）記述子、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）記述子等である。あるいは、障害物２５０が分からない場合、モバイルプラットフォーム２００に最も近い深度マップ８０１内の物体のセットを潜在的障害物とみなしてよい。必要に応じて、大きさ及び形による制限を適用して、潜在的障害物を取り除き、偽の障害物読み取りを回避できる。
深度マップ８０１内で障害物２５０が識別されると、モバイルプラットフォーム操作のために、関連する距離ｄを決定できる。例えば、障害物２５０の質量中心への距離ｄは、モバイルプラットフォームのナビゲーション及び障害物回避の目的で用いられてよい。別の実施例としては、モバイルプラットフォーム２００に最も近い障害物２５０上の点までの距離ｄが、操作距離として用いられてよい。複数の障害物２５０を考える実施形態においては、各障害物２５０に関する距離ｄのセットを、モバイルプラットフォームの制御とナビゲーションのために総合的に考えることができる。
図１０において、モバイルプラットフォーム２００（図１に示す)の速度ｖを、立体視を用いて決定する方法が示されている。モバイルプラットフォーム２００は、最初の時点ｔ１（モバイルプラットフォーム２００は参照番号２００ａで表される)と次の時点ｔ２（モバイルプラットフォーム２００は参照番号２００ｂで表される）という２つの時点で示されている。最初の時点ｔ１で、モバイルプラットフォーム２００ａのセンサ１１０ａは、基準点１０５０に視線１０３０ａを向けている。この視線に基づいて、センサ１１０ａは、時点ｔ１で第１の画像１０２０ａを撮影する。次の時点ｔ２で、センサ（ここでは、参照番号１１０ｂとして指定される)は、異なる視線１０３０ｂを基準点１０５０に向けている。この次の視線に基づいて、センサ１１０ｂは、時点ｔ２で第２の画像１０２０ｂを撮影する。センサ１１０の変位Δ、つまり、モバイルプラットフォーム２００の変位Δは、第１の画像１０２０ａと第２の画像１０２０ｂの間の両眼視差（本明細書では視差ともいう)ｂを用いて求めることができる。これに関しては、図１０を参照して以下にさらに記載する。変位Δを求めた後、速度ｖは、変位Δと、時点ｔ１と時点ｔ２の間の時間差とに基づいて決定できる。
基準点１０５０は、モバイルプラットフォーム２００の操作環境内の任意の点であってよい。ある実施形態においては、基準点１０５０は、モバイルプラットフォームの下の操作環境内の点である。モバイルプラットフォーム２００が航空機（例えば、無人航空機または「ＵＡＶ」）である実施形態においては特に、他の基準点１０５０が使用できない場合に、モバイルプラットフォーム２００の下の基準点１０５０を使用できる。
図１１を参照すると、三角測量法を用いて、時点ｔ１で撮影された第１の画像１０２０ａを、時点ｔ２で撮影された第２の画像１０２０ｂと比べて変位Δを確認できる。詳細には、変位Δは、以下のように取得できる。
Δ＝ｂｄ／ｆ・・・式（１０）
ここで、ｂは、第１の画像１０２０ａと第２の画像１０２０ｂの間の両眼視差、ｆは、センサ１１０の焦点距離、ｄは、センサ１１０と基準点１０５０の間の距離である。ここで、時点ｔ１と時点ｔ２の差が小さければ、時点ｔ１と時点ｔ２間の距離ｄの変化は無視できるほど小さいと見なしてよい。最後に、両眼視差ｂは、第１の画像１０２０ａと第２の画像１０２０ｂの基準点１０５０の位置の相違に基づいて求めることができる。図８を参照して上述したように、様々な特徴の検出技術、抽出技術、及び、照合技術の少なくとも１つを用いて、第１の画像１０２０ａと第２の画像１０２０ｂの対応する基準点１０５０を識別できる。
ある実施形態においては、立体視を用いた速度ｖの検出に使用されるセンサ１１０は、飛行時間型センサ５００（図５に示す）であってよい。飛行時間型センサ５００は、基準点１０５０を有する振幅マップ８０２（図８に示す)を取得できる。振幅マップ８０２は、グレースケール画像である。振幅マップ８０２は、上記三角測量法を用いて変位Δを決定するために、第１の画像１０２０ａと第２の画像１０２０ｂとして使用できる。
図１２において、第１の画像１０２０ａと第２の画像１０２０ｂの両方に現れる複数の基準点１０５０を用いて、第１の画像１０２０ａと第２の画像１０２０ｂの間の両眼視差ｂを決定する方法１２００を例示する。ステップ１２０１において、複数の基準点１０５０を選択できる。基準点１０５０は、様々な異なる方法を用いて選択できる。例示の一実施形態においては、基準点１０５０は、予め決められた形として選択される。別の実施形態においては、基準点１０５０は、特定の色または強度を有するとして選択される。別の実施形態においては、基準点１０５０は、第１の画像１０２０ａまたは第２の画像１０２０ｂの互いに重なり合うランダムな部分として選択される。別の実施形態においては、基準点１０５０は、例えば、ピクセル毎、１ピクセルおき、３ピクセルおき、４ピクセルおき等、規則的な間隔を置いて選択される。基準点１０５０は、必要に応じて、様々な形及び大きさをとってよい。ある実施形態においては、上記方法の組み合わせを用いて、基準点１０５０を選択できる。
ステップ１２０２において、選択した基準点１０５０に対応する第２の画像１０２０ｂの点の位置を特定する。再度、特徴の様々な検出技術、抽出技術、及び、照合技術の少なくとも１つを用いて、第１の画像１０２０ａと第２の画像１０２０ｂの間の対応する基準点１０５０を識別できる。
ステップ１２０３において、両眼視差ｂは、第１の画像１０２０ａと第２の画像１０２０ｂの間の基準点１０５０のそれぞれの位置変化に基づいて決定できる。様々な方法のいずれかを用いて、個々の基準点１０５０の位置変化に基づいて、両眼視差ｂを決定できる。一実施形態においては、両眼視差ｂは、位置変化の平均に基づいて求められる。例示の平均の種類は、算術平均、幾何平均、中央値、または、モードを含み得る。別の実施形態においては、両眼視差ｂは、基準点１０５０のサブセットに基づいて求められる。両眼視差ｂを基準点１０５０のサブセットから計算する利点は、例えば、ノイズを除去できること、遠すぎる（または近すぎる）基準点１０５０を除去できること、または、強度に基づいて基準点１０５０を除去できることを含み得る。
図１３において、モバイルプラットフォーム２００（図１に示す)と障害物２５０（図１に示す）の間の距離ｄを複数のセンサと複数のセンサタイプのいずれかまたは両方に基づいて決定する方法１３００を示す。方法１３００は、説明だけを目的としており、飛行時間型センサ５００（第１測定値ともいう)による測定値及び超音波センサ６００による測定値（第２測定値ともいう)に関して示している。しかし、方法は、このようなセンサに限定されない。
ステップ１３０１において、第１測定値と第２測定値の両方が不明確か否かを決定できる。不明確な距離測定値は、幾つかの状況で生じ得る。例えば、障害物２５０の距離ｄが、センサ１１０の検出距離を超えることがある。超音波センサは、有効距離が限られている（例えば、１０メートル以下）ので、遠くの物体に関しては、得られる超音波距離測定値は不明確となり得る。別の例としては、不明確な距離測定値は、発せられた信号（例えば、照射光または超音波)の干渉により障害物２５０から反射した信号の受信が妨げられた場合に生じ得る。別の例としては、不明確な距離測定値は、信号対ノイズ比が低い場合、例えば、飛行時間型センサが強い周辺光の下で動作している場合に生じ得る。両方の測定値が不明確な場合、距離ｄを決定する情報が不十分なので、方法１３００は終了する。そうでない場合、方法１３００はステップ１３０２に進む。ステップ１３０２において、第１測定値または第２測定値が不明確か否かを決定する。１つの測定値が不明確な場合、ステップ１３０３において、第２測定値が不明確だと決定されると、距離ｄは第１測定値を使用する。同様に、ステップ１３０３で、第１測定値が不明確だと決定されると、距離ｄは第２測定値を使用する。
第１測定値も第２測定値も不明確でない場合、方法１３００はステップ１３０４に進む。ステップ１３０４において、異なる測定値を解いて１つの距離ｄを決定する幾つかの方法を使用できる。一実施形態においては、距離ｄは、第１測定値と第２測定値の短い方に決定できる。この実施形態は、１つのセンサ１１０が近くの障害物２５０を正確に検出していると見なし、他方のセンサ１１０が距離を正確に測定できない、または、誤作動した時に、衝突を回避する、という利点がある。最短の距離測定に依存するこの原理は、一般的に、３つ以上のセンサを用いる検出に適用できる。
別の実施形態においては、距離ｄは、第１測定値の誤差分散と第２測定値の誤差分散のいずれかまたは両方に従って決定できる。例えば、第１測定値の誤差分散が所定の閾値を超える時、距離ｄは、第２測定値に決定できる。同様に、第２測定値の誤差分散が所定の閾値を超えるとき、距離ｄは、第１測定値に決定できる。ある実施形態においては、所定の閾値は、測定値の所定のパーセンテージ、例えば、１パーセント、２パーセント、５パーセント、１０パーセント、または、それ以上であってよい。第１測定値と第２測定値の両方の誤差分散が閾値内である場合、距離は、誤差分散に重み付けすることによって決定できる。例えば、距離は、第１測定値と第２測定値の重み付け平均として決定でき、ここで、重みは、測定値の誤差分散に反比例する。センサ１１０の誤差分散は、様々な方法で決定できる。例えば、飛行時間型センサ５００の誤差分散は、等式（９）を用いて求めることができる。
別の実施形態においては、飛行時間型センサ５００が取得した測定値の相対的重みは、飛行時間型センサ５００の周囲の周辺光のレベルに従って決定できる。周辺光のレベルは、様々な方法で測定できる。例えば、周辺光は、飛行時間型センサ５００自体によって、または、別個のセンサ１１０を用いて測定できる。飛行時間型センサ５００によって周辺光を測定する場合、周辺光は、図７と等式（７）に関して上述したように、照射光波と対応する受信した光波との相互相関の一定のバイアスｂとして測定できる。
別の実施形態においては、あるセンサ２１０、または、あるタイプのセンサ２１０に、当該センサまたはセンサタイプに固有の正確性または信頼性に基づいて、より高い相対的重みを与えることができる。ある実施形態においては、飛行時間型センサ５００に、超音波センサ６００に対してより大きい重みを付けることができる。ある実施形態においては、飛行時間型センサ５００に超音波センサ６００に対してより小さい重みを付けることができる。ある実施形態においては、モバイルプラットフォーム制御システム１００は、特定のセンサまたはセンサタイプがより信頼できるので、他方が明確な場合でさえ、飛行時間型センサ５００または超音波センサ６００のいずれかを使用するデフォルト設定を有し得る。
図１４において、モバイルプラットフォーム２００を制御する方法１４００が例示されている。ここでは、モバイルプラットフォーム制御システム１００は、モバイルプラットフォーム２００の速度と方向のいずれかまたは両方を調整して障害物２５０との衝突を回避できる。モバイルプラットフォーム２００の制御は、例えば、センサ１１０が検出した距離ｄ及び速度ｖによって決まり得る。モバイルプラットフォーム制御システム１００のプロセッサ１２０は、モバイルプラットフォームのナビゲーション及び障害物回避のために任意の操作を行うことができるが、それに限らない。
ステップ１４０１において、モバイルプラットフォーム制御システム１００は、モバイルプラットフォーム２００が目的地まで利用可能な経路があるか否かを、周囲の障害物２５０の位置に従って、決定できる。現在入手している情報が、経路が利用可能なことを示していない場合、ステップ１４０２において、モバイルプラットフォーム２００は、定位置に留まる（例えば、航空機に関してはホバリングする)ように制御できる。選択した期間、定位置に留まった後、モバイルプラットフォーム２００は、向きの調整と、使用可能な経路の探索のいずれかまたは両方を行うよう制御できる。経路が利用可能な場合、ステップ１４０３において、モバイルプラットフォーム制御システム１００は、その情報に基づいて最適の経路を決定でき、それに従って、モバイルプラットフォーム２００の速度と方向のいずれかまたは両方を調整できる。場合によっては、現在の経路を妨害する障害物２５０がなく、モバイルプラットフォーム２００は速度の調整も方向の調整も必要としない。
ある実施形態においては、モバイルプラットフォーム制御システム１００を用いてモバイルプラットフォーム２００を制御する方法１４００は、距離ｄと速度ｖのいずれかまたは両方の検出に使用するセンサ１１０のタイプによって決まってよい。例えば、飛行時間型センサ５００は、典型的には、超音波センサ６００より有効距離が長いので、モバイルプラットフォーム２００は、飛行時間型センサ５００が検出した障害物２５０に応答して徐々に減速でき、超音波センサ６００が検出した障害物２５０に応答して急に減速できる。
開示の実施形態は、様々な修正及び代替形態が可能であり、実施形態の特定の例を、一例として図面に示し、本明細書に詳細に記載した。しかしながら、理解されるように、開示の実施形態は、開示した特定の形態または方法に限定されず、むしろ、開示の実施形態は、あらゆる修正、均等物、代替の形態を含むものとする。
［項目１］
モバイルプラットフォームを操作する方法において、
上記モバイルプラットフォームと障害物の間の距離を検出するステップと、
上記モバイルプラットフォームの速度を検出するステップと、
を含む、方法。
［項目２］
上記距離の上記検出は、飛行時間型検出または超音波検出によって上記距離を検出するステップを含む、項目１に記載の方法。
［項目３］
上記距離の上記検出は、
上記飛行時間型検出によって上記距離を測定して第１測定値を取得するステップと、
上記超音波検出によって上記距離を測定して第２測定値を取得するステップと、
上記第１測定値と上記第２測定値の１つ以上に基づいて上記距離を決定するステップと、
を含む、項目２に記載の方法。
［項目４］
上記飛行時間型検出による上記距離の上記測定は、赤外線によって上記距離を測定することを含む、項目３に記載の方法。
［項目５］
上記飛行時間型検出による上記距離の上記測定は、位相シフト処理によって上記距離を測定することを含む、項目３または４に記載の方法。
［項目６］
上記飛行時間型検出による上記距離の上記測定は、
上記障害物に対して光波を照射するステップと、
上記障害物によって反射後、上記光波を反射光波として検出するステップと、
上記照射光波と上記反射光波の間の位相シフトを測定するステップと、
上記測定した位相シフトに従って上記距離を決定するステップと、
を含む、項目３〜５のいずれかの項目に記載の方法。
［項目７］
飛行時間型検出による上記距離の上記測定は、上記モバイルプラットフォームの操作環境の飛行時間型深度マップを生成するステップと、上記飛行時間型深度マップに従って上記距離を測定するステップとを含む、項目３〜６のいずれかの項目に記載の方法。
［項目８］
上記距離の上記測定に先立って、上記飛行時間型深度マップをフィルタリングするステップをさらに含む、項目７に記載の方法。
［項目９］
上記フィルタリングは、上記飛行時間型深度マップの１つ以上のピクセルのそれぞれに対して誤差分散を決定することと、上記誤差分散に従って１つ以上の選択したピクセルを除去することとを含む、項目８に記載の方法。
［項目１０］
上記１つ以上の選択したピクセルの上記除去は、選択したピクセルの上記誤差分散を所定の閾値と比較することと、上記比較に基づいて上記選択したピクセルを除去することとを含む、項目９に記載の方法。
［項目１１］
上記距離の上記測定に先立って、上記飛行時間型深度マップを平滑化するステップをさらに含む、項目７〜１０のいずれかの項目に記載の方法。
［項目１２］
上記距離の上記決定は、上記第１測定値及び上記第２測定値の短い方を上記距離に決定することを含む、項目３〜１１のいずれかの項目に記載の方法。
［項目１３］
上記距離の上記決定は、上記第２測定値が不明確であることを決定するステップと、上記第２測定値が不明確であるという上記決定に基づいて、上記第１測定値を上記距離に決定するステップとを含む、項目３〜１１のいずれかの項目に記載の方法。
［項目１４］
上記第２測定値が不明確であるという上記決定は、上記第２測定値の誤差分散が所定の閾値を超えると決定することを含む、項目１３に記載の方法。
［項目１５］
上記距離の上記決定は、上記第１測定値が不明確であることを決定するステップと、上記第１測定値が不明確であるという上記決定に基づいて、上記第２測定値を上記距離に決定するステップとを含む、項目３〜１１のいずれかの項目に記載の方法。
［項目１６］
上記第１測定値が不明確であるという上記決定は、上記第１測定値の誤差分散が所定の閾値を超えると決定することを含む、項目１５に記載の方法。
［項目１７］
上記距離の上記決定は、上記第１測定値の誤差分散に重み付けをすることと、上記第２測定値の誤差分散に重み付けをすることとを含む、項目３〜１６のいずれかの項目に記載の方法。
［項目１８］
上記距離の上記決定は、上記第１測定値及び上記第２測定値の重み付け平均を求めることを含む、項目１７に記載の方法。
［項目１９］
上記距離の上記決定は、
上記モバイルプラットフォームの近くの周辺光のレベルを測定することと、
上記周辺光のレベルに従って上記第２測定値に対して上記第１測定値に重み付けをすることによって上記距離を決定することと、
をさらに含む、項目３〜１８のいずれかの項目に記載の方法。
［項目２０］
上記周辺光の上記測定は、飛行時間型検出によって上記周辺光を測定することを含む、項目１９に記載の方法。
［項目２１］
飛行時間型検出による上記周辺光の測定は、照射光波と対応する受信した光波との相互相関の一定のバイアスを決定することを含む、項目２０に記載の方法。
［項目２２］
飛行時間型検出による上記距離の上記測定は、上記モバイルプラットフォームの周囲の飛行時間型深度マップを生成することを含み、
超音波検出による上記距離の上記測定は、上記周囲の超音波深度マップを生成することを含み、
上記距離の上記決定は、上記飛行時間型深度マップと上記超音波深度マップを組み合わせて組み合わせ深度マップにすることと、上記組み合わせ深度マップによって上記距離を検出することとを含む、
項目３〜２１のいずれかの項目に記載の方法。
［項目２３］
上記速度の上記検出は、立体視によって上記速度を検出することを含む、項目１〜２２のいずれかの項目に記載の方法。
［項目２４］
立体視による上記速度の上記検出は、
上記モバイルプラットフォームの操作環境の第１画像を取得することと、
上記第１画像の上記取得に続いて、上記操作環境の第２画像を取得することと、
上記第１画像及び上記第２画像に基づいて上記速度を検出することと、
を含む、項目２３に記載の方法。
［項目２５］
上記モバイルプラットフォームの上記操作環境は、上記モバイルプラットフォームの下のエリアを含む、項目２４に記載の方法。
［項目２６］
上記第１画像の上記取得は、飛行時間型検出によって第１のグレースケール画像マップを取得することを含み、
上記第２画像の上記取得は、飛行時間型検出によって第２のグレースケール画像マップを取得することを含む、
項目２４または２５に記載の方法。
［項目２７］
上記第１画像及び上記第２画像に基づいた上記速度の上記検出は、
上記第１画像と上記第２画像の間の視差を決定することと、
上記視差に従って上記第１画像と上記第２画像の間の変位を決定することと、
上記変位に従って上記速度を決定することと、
を含む、項目２６に記載の方法。
［項目２８］
上記視差の上記決定は、
上記第１画像の複数の基準点を選択するステップと、
上記基準点に対応する上記第２画像の複数の点の位置を特定するステップと、
上記基準点の位置変化に従って上記視差を決定するステップと、
を含む、項目２７に記載の方法。
［項目２９］
上記速度の上記検出は、慣性測定ユニット（ＩＭＵ）によって上記速度を検出することを含む、項目１〜２８のいずれかの項目に記載の方法。
［項目３０］
上記検出した距離と上記検出した速度に従って上記モバイルプラットフォームを制御することをさらに含む、項目１〜２９のいずれかの項目に記載の方法。
［項目３１］
上記モバイルプラットフォームの上記制御は、上記検出した距離と上記検出した速度に従って、上記モバイルプラットフォームの速度を自動で調整して、上記障害物を回避することを含む、項目３０に記載の方法。
［項目３２］
上記モバイルプラットフォームの上記制御は、上記モバイルプラットフォームを制御して定位置に留めるステップを含む、項目３０または３１に記載の方法。
［項目３３］
上記モバイルプラットフォームの上記制御は、
上記検出した距離と上記検出した速度を遠隔端末に送信することと、
上記検出した距離と上記検出した速度に基づいて、上記遠隔端末から制御信号を受信することと、
を含む、項目３０〜３２のいずれかの項目に記載の方法。
［項目３４］
モバイルプラットフォームを操作するシステムにおいて、
上記モバイルプラットフォームの操作環境を検出する飛行時間型センサと、
上記操作環境を検出する超音波センサと、
上記モバイルプラットフォームの上記操作環境と速度に従って上記モバイルプラットフォームを制御するプロセッサと、
を備える、ことを特徴とするシステム。
［項目３５］
上記プロセッサは、上記飛行時間型センサまたは上記超音波センサを用いて、上記モバイルプラットフォームと障害物の間の距離を検出する、ことを特徴とする項目３４に記載のシステム。
［項目３６］
上記プロセッサは、
上記飛行時間型センサによって上記距離を測定して第１測定値を取得し、
上記超音波センサによって上記距離を測定して第２測定値を取得し、かつ、
上記第１測定値及び上記第２測定値の少なくとも１つに基づいて上記距離を決定することによって、
上記距離を検出する、ことを特徴とする項目３５に記載のシステム。
［項目３７］
上記飛行時間型センサによる上記距離の上記測定は、赤外線によって上記距離を測定することを含む、ことを特徴とする項目３６に記載のシステム。
［項目３８］
上記飛行時間型センサによる上記距離の上記測定は、位相シフト処理によって上記距離を測定することを含む、ことを特徴とする項目３６または３７に記載のシステム。
［項目３９］
上記飛行時間型検出による上記距離の上記測定は、
光波を上記障害物に対して照射することと、
上記障害物によって反射後、上記光波を反射光波として検出することと、
上記照射光波と上記反射光波の間の位相シフトを測定することと、
上記測定した位相シフトに従って上記距離を決定することと、
を含む、ことを特徴とする項目３６〜３８のいずれかの項目に記載のシステム。
［項目４０］
上記飛行時間型センサによる上記距離の上記測定は、上記モバイルプラットフォームの操作環境の飛行時間型深度マップを生成することと、上記飛行時間型深度マップに従って上記距離を測定することとを含む、ことを特徴とする項目３６〜３９のいずれかの項目に記載のシステム。
［項目４１］
上記プロセッサは、上記距離の上記測定に先立って、上記飛行時間型深度マップのフィルタリングを行う、ことを特徴とする項目４０に記載のシステム。
［項目４２］
上記フィルタリングは、上記飛行時間型深度マップの１つ以上のピクセルのそれぞれの誤差分散を決定することと、上記誤差分散に従って１つ以上の選択したピクセルを除去することとを含む、ことを特徴とする項目４１に記載のシステム。
［項目４３］
上記１つ以上の選択したピクセルの上記除去は、選択したピクセルの上記誤差分散を所定の閾値と比較することと、上記比較に基づいて上記選択したピクセルを除去することとを含む、ことを特徴とする項目４２に記載のシステム。
［項目４４］
上記プロセッサは、上記距離の上記測定に先立って、上記飛行時間型深度マップを平滑化する、ことを特徴とする項目４１〜４３のいずれかの項目に記載のシステム。
［項目４５］
上記距離の上記決定は、上記第１測定値と上記第２測定値の短い方を上記距離に決定することを含む、ことを特徴とする項目３６〜４４のいずれかの項目に記載のシステム。
［項目４６］
上記距離の上記決定は、上記第２測定値が不明確であることを決定することと、上記第２測定値が不明確であるという上記決定に基づいて、上記第１測定値を上記距離に決定することとを含む、ことを特徴とする項目３６〜４４のいずれかの項目に記載のシステム。
［項目４７］
上記第２測定値が不明確であるという上記決定は、上記第２測定値の誤差分散が所定の閾値を超えると決定することを含む、ことを特徴とする項目４６に記載のシステム。
［項目４８］
上記距離の上記決定は、上記第１測定値が不明確であると決定することと、上記第１測定値が不明確であるという上記決定に基づいて、上記第２測定値を上記距離に決定することとを含む、ことを特徴とする項目３６〜４４のいずれかの項目に記載のシステム。
［項目４９］
上記第１測定値が不明確であるという上記決定は、上記第１測定値の誤差分散が所定の閾値を超えると決定することを含む、ことを特徴とする項目４８に記載のシステム。
［項目５０］
上記距離の上記決定は、上記第１測定値の誤差分散の重み付けと、上記第２測定値の誤差分散の重み付けを比較することを含む、ことを特徴とする項目３６〜４９のいずれかの項目に記載のシステム。
［項目５１］
上記距離の上記決定は、上記第１測定値と上記第２測定値との重み付け平均を求めることを含む、ことを特徴とする項目５０に記載のシステム。
［項目５２］
上記距離の上記決定は、
上記モバイルプラットフォームの近くの周辺光のレベルを測定することと、
上記周辺光のレベルに従って、上記第１測定値を上記第２測定値に対して重み付けすることによって、上記距離を決定することを、
さらに含む、ことを特徴とする項目３６〜５１のいずれかの項目に記載のシステム。
［項目５３］
上記周辺光の上記測定は、上記飛行時間型センサによって上記周辺光を測定することを含む、ことを特徴とする項目５２に記載のシステム。
［項目５４］
上記飛行時間型センサによる上記周辺光の測定は、照射光波と対応する受信した光波との相互相関の一定のバイアスを決定することを含む、ことを特徴とする項目５３に記載のシステム。
［項目５５］
上記飛行時間型センサによる上記距離の上記測定は、上記モバイルプラットフォームの周辺の飛行時間型深度マップを生成することを含み、
上記超音波センサによる上記距離の上記測定は、上記周辺の超音波深度マップを生成することを含み、
上記距離の上記決定は、上記飛行時間型深度マップと上記超音波深度マップを組み合わせて、組み合わせ深度マップを作ることと、上記組み合わせ深度マップによって上記距離を検出することとを含む、
ことを特徴とする項目３６〜５４のいずれかの項目に記載のシステム。
［項目５６］
上記プロセッサは、立体視によって上記モバイルプラットフォームの上記速度を検出する、ことを特徴とする項目３４〜５５のいずれかの項目に記載のシステム。
［項目５７］
立体視による上記速度の上記検出は、
上記モバイルプラットフォームの操作環境の第１画像を取得することと、
上記第１画像の上記取得に続いて、上記操作環境の第２画像を取得することと、
上記第１画像及び上記第２画像に基づいて、上記速度を決定することと、
を含む、ことを特徴とする項目５６に記載のシステム。
［項目５８］
上記モバイルプラットフォームの上記操作環境は、上記モバイルプラットフォームの下のエリアを含む、ことを特徴とする項目５７に記載のシステム。
［項目５９］
上記第１画像の上記取得は、上記飛行時間型センサによって第１のグレースケール画像マップを取得することを含み、
上記第２画像の上記取得は、上記飛行時間型センサによって第２のグレースケール画像マップを取得することを含む、
ことを特徴とする項目５７または５８に記載のシステム。
［項目６０］
上記第１画像及び上記第２画像に基づいた上記速度の上記決定は、
上記第１画像と上記第２画像の間の視差を決定することと、
上記視差に従って、上記第１画像と上記第２画像の間の変位を決定することと、
上記変位に従って上記速度を決定することと、
を含む、ことを特徴とする項目５７〜５９のいずれかの項目に記載のシステム。
［項目６１］
上記視差の上記決定は、
上記第１画像の複数の基準点を選択することと、
上記基準点に対応する上記第２画像の複数の点の位置を特定することと、
上記基準点の位置変化に従って、上記視差を決定することと、
を含む、ことを特徴とする項目６０に記載のシステム。
［項目６２］
上記速度を検出する慣性測定ユニット（ＩＭＵ）をさらに備える、ことを特徴とする項目３４〜６１のいずれかの項目に記載のシステム。
［項目６３］
上記プロセッサは、上記モバイルプラットフォームと上記障害物の間の距離と、上記モバイルプラットフォームの上記速度とに従って、上記モバイルプラットフォームを制御する、ことを特徴とする項目３４〜６２のいずれかの項目に記載のシステム。
［項目６４］
上記プロセッサは、上記モバイルプラットフォームの上記速度を自動で調整することによって上記モバイルプラットフォームを制御して、上記障害物を回避する、ことを特徴とする項目６３に記載のシステム。
［項目６５］
上記プロセッサは、上記モバイルプラットフォームを制御して定位置に留める、ことを特徴とする項目６３または６４に記載のシステム。
［項目６６］
上記プロセッサは、
上記距離と上記速度を遠隔端末に送信することと、
上記距離と上記速度とに基づいて、上記遠隔端末からの制御信号を受信することと、
によって、上記モバイルプラットフォームを制御する、ことを特徴とする項目６３〜６５のいずれかの項目に記載のシステム。
［項目６７］
上記飛行時間型センサ及び上記超音波センサは、上記モバイルプラットフォームに搭載される、ことを特徴とする項目３４〜６６のいずれかの項目に記載のシステム。
［項目６８］
上記モバイルプラットフォームは無人航空機（ＵＡＶ）である、ことを特徴とする項目３４〜６７のいずれかの項目に記載のシステム。
［項目６９］
上記モバイルプラットフォームの操作環境と速度に従ってモバイルプラットフォームを制御するプロセッサにおいて、
飛行時間型センサから上記操作環境の第１測定値を受信し、
超音波センサから上記操作環境の第２測定値を受信し、かつ、
上記第１測定値及び上記第２測定値に従って、上記モバイルプラットフォームを制御する制御信号を生成する、
ことを特徴とするプロセッサ。
［項目７０］
上記プロセッサは、上記モバイルプラットフォームと障害物の間の距離を、上記第１測定値及び上記第２測定値の少なくとも１つを用いて決定する、ことを特徴とする項目６９に記載のプロセッサ。
［項目７１］
上記飛行時間型センサによる上記距離の上記決定は、赤外線によって上記距離を測定することを含む、ことを特徴とする項目７０に記載のプロセッサ。
［項目７２］
上記飛行時間型センサによる上記距離の上記決定は、位相シフト処理によって上記距離を測定することを含む、ことを特徴とする項目７０または７１に記載のプロセッサ。
［項目７３］
上記飛行時間型検出による上記距離の上記決定は、
光波を上記障害物に照射することと、
上記障害物によって反射後、上記光波を反射光波として検出することと、
上記照射された光波と上記反射光波の間の位相シフトを測定することと、
上記測定した位相シフトに従って上記距離を決定することと、
を含む、ことを特徴とする項目７０〜７２のいずれかの項目に記載のプロセッサ。
［項目７４］
上記飛行時間型センサによる上記距離の上記決定は、上記モバイルプラットフォームの操作環境の飛行時間型深度マップを生成することと、上記飛行時間型深度マップに従って上記距離を測定することとを含む、ことを特徴とする項目７０〜７３のいずれかの項目に記載のプロセッサ。
［項目７５］
上記プロセッサは、上記距離の上記測定に先立って、上記飛行時間型深度マップをフィルタリングする、ことを特徴とする項目７４に記載のプロセッサ。
［項目７６］
上記フィルタリングは、上記飛行時間型深度マップの上記１つ以上のピクセルのそれぞれの誤差分散を決定することと、上記誤差分散に従って１つ以上の選択したピクセルを除去することとを含む、ことを特徴とする項目７５に記載のプロセッサ。
［項目７７］
上記１つ以上の選択したピクセルの上記除去は、選択したピクセルの上記誤差分散を所定の閾値と比較することと、上記比較に基づいて、上記選択したピクセルを除去することとを含む、ことを特徴とする項目７６に記載のプロセッサ。
［項目７８］
上記プロセッサは、上記距離の上記測定に先立って、上記飛行時間型深度マップを平滑化する、ことを特徴とする項目７４〜７７のいずれかの項目に記載のプロセッサ。
［項目７９］
上記距離の上記決定は、上記第１測定値及び上記第２測定値の短い方を上記距離に決定することを含む、ことを特徴とする項目７０〜７８のいずれかの項目に記載のプロセッサ。
［項目８０］
上記距離の上記決定は、上記第２測定値が不明確であると決定することと、上記第２測定値が不明確であるという上記決定に基づいて、上記第１測定値を上記距離に決定することとを含む、ことを特徴とする項目７０〜７９のいずれかの項目に記載のプロセッサ。
［項目８１］
上記第２測定値が不明確であるという上記決定は、上記第２測定値の誤差分散が所定の閾値を超えると決定することを含む、ことを特徴とする項目８０に記載のプロセッサ。
［項目８２］
上記距離の上記決定は、上記第１測定値が不明確であると決定することと、上記第１測定値が不明確であるという上記決定に基づいて、上記第２測定値を上記距離に決定することとを含む、ことを特徴とする項目７０〜７９のいずれかの項目に記載のプロセッサ。
［項目８３］
上記第１測定値が不明確であるという上記決定は、上記第１測定値の誤差分散が所定の閾値を超えると決定することを含む、ことを特徴とする項目８２に記載のプロセッサ。
［項目８４］
上記距離の上記決定は、上記第１測定値の誤差分散及び上記第２測定値の誤差分散に重み付けすることを含む、ことを特徴とする項目７０〜８３のいずれかの項目に記載のプロセッサ。
［項目８５］
上記距離の上記決定は、上記第１測定値及び上記第２測定値の重み付け平均を求めることを含む、ことを特徴とする項目８４に記載のプロセッサ。
［項目８６］
上記距離の上記決定は、
上記モバイルプラットフォームの近くの周辺光のレベルを測定することと、
上記周辺光のレベルに従って、上記第２測定値に対して上記第１測定値を重み付けすることによって、上記距離を決定することと、
をさらに含む、ことを特徴とする項目７０〜８５のいずれかの項目に記載のプロセッサ。
［項目８７］
上記周辺光の上記測定は、上記飛行時間型センサによって上記周辺光を測定することを含む、ことを特徴とする項目８６に記載のプロセッサ。
［項目８８］
上記飛行時間型センサによる上記周辺光の測定は、照射光波と対応する受信された光波との相互相関の一定のバイアスを決定することを含む、ことを特徴とする項目８７に記載のプロセッサ。
［項目８９］
上記プロセッサは、上記モバイルプラットフォームの上記速度を立体視によって検出する、ことを特徴とする項目６９〜８８のいずれかの項目に記載のプロセッサ。
［項目９０］
立体視による上記速度の上記検出は、
上記モバイルプラットフォームの操作環境の第１画像を取得することと、
上記第１画像の上記取得に続いて、上記操作環境の第２画像を取得することと、
上記第１画像及び上記第２画像に基づいて、上記速度を決定することと、
を含む、ことを特徴とする項目８９に記載のプロセッサ。
［項目９１］
上記モバイルプラットフォームの上記操作環境は、上記モバイルプラットフォームの下のエリアを含む、ことを特徴とする項目９０に記載のプロセッサ。
［項目９２］
上記第１画像の上記取得は、上記飛行時間型センサによって第１のグレースケール画像マップを取得することを含み、
上記第２画像の上記取得は、上記飛行時間型センサによって第２のグレースケール画像マップを取得することを含む、
ことを特徴とする項目９０または９１に記載のプロセッサ。
［項目９３］
上記第１画像及び上記第２画像に基づいた上記速度の上記決定は、
上記第１画像と上記第２画像の間の視差を決定することと、
上記視差に従って、上記第１画像と上記第２画像の間の変位を決定することと、
上記変位に従って上記速度を決定することと、
を含む、ことを特徴とする項目９０〜９２のいずれかの項目に記載のプロセッサ。
［項目９４］
上記視差の上記決定は、
上記第１画像の複数の基準点を選択することと、
上記基準点に対応する上記第２画像の複数の点の位置を特定することと、
上記基準点の位置変化に従って上記視差を決定することと、
を含む、ことを特徴とする項目９３に記載のプロセッサ。
［項目９５］
上記プロセッサは、慣性測定ユニット（ＩＭＵ）から上記モバイルプラットフォームの速度を受信する、ことを特徴とする項目６９〜９４のいずれかの項目に記載のプロセッサ。
［項目９６］
上記プロセッサは、上記モバイルプラットフォームと上記障害物の間の距離と、上記モバイルプラットフォームの上記速度に従って、上記モバイルプラットフォームを制御する、ことを特徴とする項目６９〜９５のいずれかの項目に記載のプロセッサ。
［項目９７］
上記プロセッサは、上記モバイルプラットフォームの上記速度を自動で調整することによって上記モバイルプラットフォームを制御して、上記障害物を回避する、ことを特徴とする項目９６に記載のプロセッサ。
［項目９８］
上記プロセッサは、上記モバイルプラットフォームを制御して、定位置に留める、ことを特徴とする項目９６または９７に記載のプロセッサ。
［項目９９］
上記プロセッサは、
上記距離と上記速度を遠隔端末に送信することと、
上記距離と上記速度に基づいて、上記遠隔端末から制御信号を受信することとによって、
上記モバイルプラットフォームを制御する、ことを特徴とする項目９６〜９８のいずれかの項目に記載のプロセッサ。
［項目１００］
モバイルプラットフォームの制御信号を生成する処理方法において、
上記モバイルプラットフォームと障害物の間の距離を決定するステップと、
上記モバイルプラットフォームの速度を決定するステップと、
上記距離と上記速度に基づいて、上記制御信号を生成するステップと、
を含む、処理方法。
［項目１０１］
上記距離の上記決定は、飛行時間型検出または超音波検出によって上記距離を決定するステップを含む、項目１００に記載の処理方法。
［項目１０２］
上記距離の上記決定は、
上記飛行時間型検出によって上記距離を測定して第１測定値を取得するステップと、
上記超音波検出によって上記距離を測定して第２測定値を取得するステップと、
上記第１測定値及び上記第２測定値の少なくとも１つに基づいて、上記距離を決定するステップと、
を含む、項目１００または１０１に記載の処理方法。
［項目１０３］
上記飛行時間型検出による上記距離の上記測定は、赤外線によって上記距離を測定することを含む、項目１０２に記載の処理方法。
［項目１０４］
上記飛行時間型検出による上記距離の上記測定は、位相シフト処理によって上記距離を測定することを含む、項目１０２または１０３に記載の処理方法。
［項目１０５］
上記飛行時間型検出による上記距離の上記測定は、
光波を上記障害物に照射するステップと、
上記障害物によって反射後、上記光波を反射光波として検出するステップと、
上記照射光波と上記反射光波の間の位相シフトを測定するステップと、
上記測定した位相シフトに従って、上記距離を決定するステップと、
を含む、項目１０２〜１０４のいずれかの項目に記載の処理方法。
［項目１０６］
飛行時間型検出による上記距離の上記測定は、上記モバイルプラットフォームの操作環境の飛行時間型深度マップを生成するステップと、上記飛行時間型深度マップに従って上記距離を測定するステップとを含む、項目１０２〜１０５のいずれかの項目に記載の処理方法。
［項目１０７］
上記距離の上記測定に先立って、上記飛行時間型深度マップをフィルタリングするステップをさらに含む、項目１０６に記載の処理方法。
［項目１０８］
上記フィルタリングは、上記飛行時間型深度マップの上記１つ以上のピクセルのそれぞれに対する誤差分散を決定することと、上記誤差分散に従って１つ以上の選択したピクセルを除去することと、
を含む、項目１０７に記載の処理方法。
［項目１０９］
上記１つ以上の選択したピクセルの上記除去は、選択したピクセルの上記誤差分散を所定の閾値と比較することと、上記比較に基づいて、上記選択したピクセルを除去することと、
を含む、項目１０８に記載の処理方法。
［項目１１０］
上記距離の上記測定に先立って、上記飛行時間型深度マップを平滑化するステップをさらに含む、項目１０６〜１０９のいずれかの項目に記載の処理方法。
［項目１１１］
上記距離の上記決定は、上記第１測定値及び上記第２測定値の短い方を上記距離に決定することを含む、項目１０２〜１１０のいずれかの項目に記載の処理方法。
［項目１１２］
上記距離の上記決定は、上記第２測定値が不明確であると決定するステップと、上記第２測定値が不明確であるという上記決定に基づいて、上記第１測定値を上記距離に決定するステップとを含む、項目１０２〜１１０のいずれかの項目に記載の処理方法。
［項目１１３］
上記第２測定値が不明確であるという上記決定は、上記第２測定値の誤差分散が所定の閾値を超えると決定することを含む、項目１１２に記載の処理方法。
［項目１１４］
上記距離の上記決定は、上記第１測定値が不明確であると決定するステップと、上記第１測定値が不明確であるという上記決定に基づいて、上記第２測定値を上記距離に決定するステップとを含む、項目１０２〜１１０のいずれかの項目に記載の処理方法。
［項目１１５］
上記第１測定値が不明確であるという上記決定は、上記第１測定値の誤差分散が所定の閾値を超えると決定することを含む、項目１１４に記載の処理方法。
［項目１１６］
上記距離の上記決定は、上記第１測定値の誤差分散と上記第２測定値の誤差分散を重み付けすることを含む、項目１１２〜１１５のいずれかの項目に記載の処理方法。
［項目１１７］
上記距離の上記決定は、上記第１測定値と上記第２測定値の重み付け平均を求めることを含む、項目１１６に記載の処理方法。
［項目１１８］
上記距離の上記決定は、
上記モバイルプラットフォームの近くの周辺光のレベルを測定することと、
上記周辺光のレベルに従って、上記第２測定値に対して上記第１測定値を重み付けすることによって、上記距離を決定することと、
をさらに含む、項目１０２〜１１７のいずれかの項目に記載の処理方法。
［項目１１９］
上記周辺光の上記測定は、飛行時間型検出によって上記周辺光を測定することを含む、項目１１８に記載の処理方法。
［項目１２０］
飛行時間型検出による上記周辺光の測定は、照射された光波と対応する受信された光波との相互相関の一定のバイアスを決定することを含む、項目１１９に記載の処理方法。
［項目１２１］
飛行時間型検出による上記距離の上記測定は、上記モバイルプラットフォームの周囲の飛行時間型深度マップを生成することを含み、
超音波検出による上記距離の上記測定は、上記周囲の超音波深度マップを生成することを含み、
上記距離の上記決定は、上記飛行時間型深度マップと上記超音波深度マップを組み合わせて組み合わせ深度マップを作ることと、上記組み合わせ深度マップによって上記距離を検出することとを含む、
項目１０２〜１２０のいずれかの項目に記載の処理方法。
［項目１２２］
上記速度の上記検出は、立体視によって上記速度を検出することを含む、項目１００〜１２１のいずれかの項目に記載の処理方法。
［項目１２３］
立体視による上記速度の上記検出は、
上記モバイルプラットフォームの操作環境の第１画像を取得することと、
上記第１画像の上記取得に続いて、上記操作環境の第２画像を取得することと、
上記第１画像及び上記第２画像に基づいて、上記速度を検出することと、
を含む、項目１２２に記載の処理方法。
［項目１２４］
上記モバイルプラットフォームの上記操作環境は、上記モバイルプラットフォームの下のエリアを含む、項目１２３に記載の処理方法。
［項目１２５］
上記第１画像の上記取得は、飛行時間型検出によって第１のグレースケール画像マップを取得することを含み、
上記第２画像の上記取得は、飛行時間型検出によって第２のグレースケール画像マップを取得することを含む、
項目１２３または１２４に記載の処理方法。
［項目１２６］
上記第１画像及び上記第２画像に基づいた上記速度の上記検出は、
上記第１画像と上記第２画像の間の視差を決定することと、
上記視差に従って上記第１画像と上記第２画像の間の変位を決定することと、
上記変位に従って上記速度を決定することと、
を含む、項目１２５に記載の処理方法。
［項目１２７］
上記視差の上記決定は、
上記第１画像の複数の基準点を選択するステップと、
上記基準点に対応する上記第２画像の複数の点の位置を特定するステップと、
上記基準点の位置変化に従って上記視差を決定するステップと、
を含む、項目１２６に記載の処理方法。
［項目１２８］
上記速度の上記決定は、慣性測定ユニット（ＩＭＵ）によって速度を決定することを含む、項目１００〜１２７のいずれかの項目に記載の処理方法。
［項目１２９］
上記制御信号は、上記距離と上記速度に従って、上記モバイルプラットフォームの速度を調整して上記障害物を回避する制御信号を含む、項目１００〜１２８のいずれかの項目に記載の処理方法。
［項目１３０］
上記制御信号は、上記モバイルプラットフォームを定位置に留める制御信号を含む、項目１２９に記載の処理方法。

Claims (29)

  1. モバイルプラットフォームの制御方法において、
    第１センサから第１測定値を取得するステップと、
    第２センサから第２測定値を取得するステップと、
    前記第１測定値及び前記第２測定値の少なくとも一方に基づいて、前記モバイルプラットフォームと障害物の間の距離を検出するステップと、
    検出された前記距離が予め定められた距離である場合、前記モバイルプラットフォームがホバリングするように制御するステップと、
    前記モバイルプラットフォームが所定の期間で前記ホバリングを実施した後、前記モバイルプラットフォームの向きを制御するステップと
    を含み、
    前記第１測定値は、飛行時間型検出によって取得され、前記第２測定値は超音波検出によって取得され、
    前記距離の前記検出は、
    前記モバイルプラットフォームの近くの周辺光のレベルを測定することと、
    前記第１測定値に前記周辺光のレベル及び前記第１測定値の誤差分散に基づく重み付けをし、前記第２測定値に前記第２測定値の誤差分散に基づく重み付けをし、前記第１測定値及び前記第２測定値の重み付け平均により前記距離を決定することを含む、方法。
  2. 前記モバイルプラットフォームは、前記モバイルプラットフォームの経路に障害物がない方向に進むステップをさらに含む、請求項１に記載の方法。
  3. 前記飛行時間型検出は、赤外線による、請求項１または２に記載の方法。
  4. 前記飛行時間型検出による前記距離の前記検出は、位相シフト処理に基づく、請求項１から請求項３の何れか１項に記載の方法。
  5. 前記飛行時間型検出による前記距離の前記検出は、
    前記障害物に対して光波を照射するステップと、
    前記障害物によって反射後、前記光波を反射光波として検出するステップと、
    前記照射された光波と前記反射光波の間の位相シフトを測定するステップと、
    前記測定した位相シフトに従って前記距離を検出するステップと、
    を含む、請求項１から請求項４の何れか１項に記載の方法。
  6. 前記飛行時間型検出による前記距離の前記検出は、前記モバイルプラットフォームの操作環境の飛行時間型深度マップを生成するステップと、前記飛行時間型深度マップに従って前記距離を測定するステップとを含む、請求項１から請求項５の何れか１項に記載の方法。
  7. 前記距離の前記検出に先立って、前記飛行時間型深度マップをフィルタリングするステップをさらに含む、請求項６に記載の方法。
  8. 前記フィルタリングは、前記飛行時間型深度マップの１つ以上のピクセルのそれぞれに対して誤差分散を決定することと、前記誤差分散に従って１つ以上の選択したピクセルを除去することとを含む、請求項７に記載の方法。
  9. 前記１つ以上の選択したピクセルの前記除去は、選択したピクセルの前記誤差分散を所定の閾値と比較することと、前記比較に基づいて前記選択したピクセルを除去することとを含む、請求項８に記載の方法。
  10. 前記距離の前記検出は、前記第２測定値が不明確であることを決定するステップと、前記第２測定値が不明確であるという前記決定に基づいて、前記第１測定値を前記距離に決定するステップとを含む、請求項１から請求項９の何れか１項に記載の方法。
  11. 前記第２測定値が不明確であるという前記決定は、前記第２測定値の誤差分散が所定の閾値を超えると決定することを含む、請求項１０に記載の方法。
  12. 前記距離の前記検出は、前記第１測定値が不明確であることを決定するステップと、前記第１測定値が不明確であるという前記決定に基づいて、前記第２測定値を前記距離に決定するステップとを含む、請求項１から請求項１１の何れか１項に記載の方法。
  13. 前記第１測定値が不明確であるという前記決定は、前記第１測定値の誤差分散が所定の閾値を超えると決定することを含む、請求項１２に記載の方法。
  14. 前記周辺光の前記測定は、飛行時間型検出によって前記周辺光を測定することを含む、請求項１から１３の何れか１項に記載の方法。
  15. 前記モバイルプラットフォームの速度を測定するステップをさらに含み、
    前記モバイルプラットフォームがホバリングするように制御するステップは、前記第２測定値により前記距離が決定された場合の前記モバイルプラットフォームの減速の度合いが、前記第１測定値により前記距離が決定された場合の前記モバイルプラットフォームの減速の度合いよりも大きくなるように前記モバイルプラットフォームを制御することを含む、請求項１から請求項１４の何れか１項に記載の方法。
  16. 前記速度の前記測定は、立体視によって前記速度を測定することを含む、請求項１５に記載の方法。
  17. 前記立体視による前記速度の前記測定は、
    前記モバイルプラットフォームの操作環境の第１画像を取得することと、
    前記第１画像の前記取得に続いて、前記操作環境の第２画像を取得することと、
    前記第１画像及び前記第２画像に基づいて前記速度を測定することと、
    を含む、請求項１６に記載の方法。
  18. 前記モバイルプラットフォームの前記操作環境は、前記モバイルプラットフォームの下のエリアを含む、請求項１７に記載の方法。
  19. 前記第１画像の前記取得は、飛行時間型検出によって第１のグレースケール画像マップを取得することを含み、
    前記第２画像の前記取得は、飛行時間型検出によって第２のグレースケール画像マップを取得することを含む、
    請求項１７又は請求項１８に記載の方法。
  20. 前記第１画像及び前記第２画像に基づいた前記速度の前記測定は、
    前記第１画像と前記第２画像の間の視差を決定することと、
    前記視差に従って前記第１画像と前記第２画像の間の変位を決定することと、
    前記変位に従って前記速度を決定することと、
    を含む、請求項１７に記載の方法。
  21. 前記視差の前記決定は、
    前記第１画像の複数の基準点を選択するステップと、
    前記複数の基準点に対応する前記第２画像の複数の点の位置を特定するステップと、
    前記複数の基準点の位置変化に従って前記視差を決定するステップと、
    を含む、請求項２０に記載の方法。
  22. 前記速度の前記測定は、慣性測定ユニット（ＩＭＵ）によって前記速度を測定することを含む、請求項１５から請求項２１の何れか１項に記載の方法。
  23. 前記検出した距離と前記測定した速度に従って前記モバイルプラットフォームを制御することをさらに含む、請求項１５から２２の何れか１項に記載の方法。
  24. 前記モバイルプラットフォームの前記制御は、前記検出した距離と前記測定した速度に従って、前記モバイルプラットフォームの速度を自動で調整して、前記障害物を回避することを含む、請求項２３に記載の方法。
  25. 前記モバイルプラットフォームの前記制御は、前記モバイルプラットフォームを制御して定位置に留めるステップを含む、請求項２１又は請求項２４に記載の方法。
  26. 前記モバイルプラットフォームの前記制御は、
    前記検出した距離と前記測定した速度を遠隔端末に送信することと、
    前記遠隔端末から、前記検出した距離と前記測定した速度に基づく制御信号を受信することと、
    を含む、請求項２３から請求項２５の何れか１項に記載の方法。
  27. 前記モバイルプラットフォームは無人航空機である請求項１から請求項２６の何れか１項に記載の方法。
  28. モバイルプラットフォームを制御するシステムにおいて、
    前記モバイルプラットフォームと障害物の間の距離を検出する検出部と、
    検出された前記距離が予め定められた距離である場合、前記モバイルプラットフォームがホバリングするように制御する制御部と
    を備え、
    前記制御部は、前記モバイルプラットフォームが所定の期間で前記ホバリングを実施した後、前記モバイルプラットフォームの向きを制御し、
    前記検出部は、
    飛行時間型センサから第１測定値を取得し、
    超音波センサから第２測定値を取得し、
    前記モバイルプラットフォームの近くの周辺光のレベルを測定し、
    前記第１測定値に前記周辺光のレベル及び前記第１測定値の誤差分散に基づく重み付けをし、
    前記第２測定値に前記第２測定値の誤差分散に基づく重み付けをし、
    前記第１測定値及び前記第２測定値の重み付け平均により前記距離を決定することで、前記距離を検出する、システム。
  29. 前記制御部は、前記モバイルプラットフォームの経路に障害物がない方向に進むように、前記モバイルプラットフォームを制御する、請求項２８に記載のシステム。
JP2017512756A 2015-03-31 2015-03-31 モバイルプラットフォームの制御方法およびシステム Expired - Fee Related JP6657500B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/075437 WO2016154869A1 (en) 2015-03-31 2015-03-31 System and method for mobile platform operation

Publications (2)

Publication Number Publication Date
JP2017529616A JP2017529616A (ja) 2017-10-05
JP6657500B2 true JP6657500B2 (ja) 2020-03-04

Family

ID=57003817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017512756A Expired - Fee Related JP6657500B2 (ja) 2015-03-31 2015-03-31 モバイルプラットフォームの制御方法およびシステム

Country Status (5)

Country Link
US (1) US10048687B2 (ja)
EP (1) EP3198350B1 (ja)
JP (1) JP6657500B2 (ja)
CN (2) CN106233219B (ja)
WO (1) WO2016154869A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911344B2 (en) * 2015-07-24 2018-03-06 Honeywell International Inc. Helicopter landing system using a camera for obstacle detection
EP3367130A1 (en) * 2017-02-22 2018-08-29 STMicroelectronics (Research & Development) Limited Integration of depth map device for adaptive lighting control
US11120104B2 (en) * 2017-03-01 2021-09-14 Stmicroelectronics (Research & Development) Limited Method and apparatus for processing a histogram output from a detector sensor
JP6473888B2 (ja) * 2017-03-06 2019-02-27 株式会社Ｓｐｉｒａｌ 飛行体の制御システム、その制御装置および目印部
CN108513640B (zh) * 2017-03-21 2022-01-11 深圳市大疆创新科技有限公司 一种可移动平台的控制方法以及可移动平台
GB2550286B (en) * 2017-04-21 2018-04-25 Integrated Design Ltd Optical system for monitoring the movement of people through a passageway
USD825381S1 (en) 2017-07-13 2018-08-14 Fat Shark Technology SEZC Unmanned aerial vehicle
USD848383S1 (en) 2017-07-13 2019-05-14 Fat Shark Technology SEZC Printed circuit board
US10179647B1 (en) 2017-07-13 2019-01-15 Fat Shark Technology SEZC Unmanned aerial vehicle
CN108107914B (zh) * 2017-11-14 2020-07-28 北京臻迪科技股份有限公司 浮游移动体、跟随系统及控制方法
GB201800028D0 (en) 2018-01-02 2018-02-14 Sintef Tto As Velocity detection in autonomous devices
US10764562B2 (en) * 2018-01-28 2020-09-01 Eys3D Microelectronics, Co. Depth generation system with adjustable light intensity
CN108445905A (zh) * 2018-03-30 2018-08-24 合肥赛为智能有限公司 一种无人机智能化避障调控系统
US11582402B2 (en) 2018-06-07 2023-02-14 Eys3D Microelectronics, Co. Image processing device
CN110770668A (zh) * 2018-08-22 2020-02-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台及可读存储介质
CN109696920B (zh) * 2018-12-13 2021-06-15 广州极飞科技股份有限公司 作业设备及其控制方法和装置
JP7059956B2 (ja) * 2019-02-08 2022-04-26 コベルコ建機株式会社 建設機械の障害物検出装置
CN109885091B (zh) * 2019-03-21 2021-08-24 华北电力大学（保定） 一种无人机自主飞行控制方法及系统
US11467270B2 (en) * 2019-03-27 2022-10-11 Asmpt Singapore Pte. Ltd. Apparatus and method for calibrating or testing an imaging device
WO2021087775A1 (zh) * 2019-11-05 2021-05-14 深圳市大疆创新科技有限公司 可移动平台对障碍物的处理方法、装置及计算机存储介质
CN114761825A (zh) * 2019-12-16 2022-07-15 索尼半导体解决方案公司 飞行时间成像电路、飞行时间成像系统、飞行时间成像方法
WO2021166008A1 (ja) * 2020-02-17 2021-08-26 株式会社ナイルワークス ドローン及びドローンの制御方法
CN113597590A (zh) * 2020-04-27 2021-11-02 深圳市大疆创新科技有限公司 可移动平台及其避障方法和装置
CN114846295A (zh) * 2020-12-17 2022-08-02 深圳市大疆创新科技有限公司 一种可移动平台的控制方法、装置及可移动平台

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7421321B2 (en) * 1995-06-07 2008-09-02 Automotive Technologies International, Inc. System for obtaining vehicular information
JP3880702B2 (ja) * 1997-09-11 2007-02-14 富士重工業株式会社 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
US6055042A (en) * 1997-12-16 2000-04-25 Caterpillar Inc. Method and apparatus for detecting obstacles using multiple sensors for range selective detection
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7574067B2 (en) * 2003-10-03 2009-08-11 General Electric Company Surface reconstruction and registration with a helmholtz reciprocal image pair
US8532862B2 (en) * 2006-11-29 2013-09-10 Ryan A. Neff Driverless vehicle
BRPI0815036B1 (pt) * 2007-08-07 2022-09-20 Chugai Seiyaku Kabushiki Kaisha Métodos para produção de um polipeptídeo e para preparação de um produto farmacêutico
KR100937096B1 (ko) * 2008-02-27 2010-01-15 성균관대학교산학협력단 센서융합 시스템 및 센서융합 방법
ES2400310T3 (es) * 2008-06-18 2013-04-09 Saab Ab Verificación de la validez de la información de posición de un vehículo
US8818567B2 (en) * 2008-09-11 2014-08-26 Deere & Company High integrity perception for machine localization and safeguarding
IL196276A (en) * 2008-12-30 2013-04-30 Elbit Systems Ltd Independent navigation system and method for maneuverable platform
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
CN102175882B (zh) * 2010-12-30 2013-02-27 清华大学 基于自然地标的无人直升机视觉测速方法
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US9091762B2 (en) * 2011-10-27 2015-07-28 Gulfstream Aerospace Corporation Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle
CN202400085U (zh) * 2011-12-20 2012-08-29 河南科技大学 一种汽车防追尾系统
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
FR2988618B1 (fr) * 2012-03-30 2014-05-09 Parrot Estimateur d'altitude pour drone a voilure tournante a rotors multiples
JP5724955B2 (ja) * 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法
CN102749927A (zh) * 2012-07-20 2012-10-24 常州大学 无人飞机自动规避障碍物的系统及其规避方法
CN103744429B (zh) * 2013-02-07 2016-05-25 山东英特力光通信开发有限公司 一种小型无人直升机飞行控制系统
CN103744430B (zh) * 2013-02-07 2016-08-24 山东英特力光通信开发有限公司 一种小型无人直升机飞行控制方法
JP6132659B2 (ja) * 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
CN103592947B (zh) * 2013-11-19 2015-11-11 华南农业大学 一种农用飞行器安全作业飞行监控装置及其控制算法
CN103926933A (zh) * 2014-03-29 2014-07-16 北京航空航天大学 一种无人飞行器室内同时定位与环境建模方法

Also Published As

Publication number Publication date
EP3198350A1 (en) 2017-08-02
CN111273690A (zh) 2020-06-12
EP3198350A4 (en) 2017-10-11
US20160291594A1 (en) 2016-10-06
CN106233219A (zh) 2016-12-14
WO2016154869A1 (en) 2016-10-06
US10048687B2 (en) 2018-08-14
EP3198350B1 (en) 2021-11-10
CN106233219B (zh) 2020-03-17
JP2017529616A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6657500B2 (ja) モバイルプラットフォームの制御方法およびシステム
US11725956B2 (en) Apparatus for acquiring 3-dimensional maps of a scene
US10353053B2 (en) Object detection using radar and machine learning
US11019322B2 (en) Estimation system and automobile
US9823340B2 (en) Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
CN107710091B (zh) 用于选择移动平台的操作模式的系统和方法
US20170132808A1 (en) Method and system for inertial measurement
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
US20220404496A1 (en) Techniques for doppler point set registration
EP3203266A1 (en) Stereo range with lidar correction
WO2017047873A1 (ko) 고속 스캐닝 장치를 이용한 스캐닝 방법
EP3845922A1 (en) Calibration system for combined depth and texture sensor
US11555915B2 (en) Determining relevant signals using multi-dimensional radar signals
US9906733B2 (en) Hardware and system for single-camera stereo range determination
JP2019132701A (ja) 地図情報作成方法
Rodríguez-Jiménez et al. A-contrario detection of aerial target using a time-of-flight camera
US11294059B1 (en) Techniques for doppler point set registration
WO2019151109A1 (ja) 路面情報取得方法
Junkins et al. Digital Pulse Processing Methods for Range Refinement of LADAR Systems
CN114689029A (zh) 距离测量方法以及用于对距离进行测量的系统
Rodri et al. A-contrario detection of aerial target using a time-of-flight camera
CN116794675A (zh) 多对象定位装置、定位方法及机器人集群
JP2021135061A (ja) ３次元情報推定システム、３次元情報推定方法、及びコンピュータが実行可能なプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180704

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180712

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200109

R150 Certificate of patent or registration of utility model

Ref document number: 6657500

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees