JP7325264B2 - 無人航空機を着地させる装置および方法 - Google Patents

無人航空機を着地させる装置および方法 Download PDF

Info

Publication number
JP7325264B2
JP7325264B2 JP2019153831A JP2019153831A JP7325264B2 JP 7325264 B2 JP7325264 B2 JP 7325264B2 JP 2019153831 A JP2019153831 A JP 2019153831A JP 2019153831 A JP2019153831 A JP 2019153831A JP 7325264 B2 JP7325264 B2 JP 7325264B2
Authority
JP
Japan
Prior art keywords
hand
unmanned aerial
aerial vehicle
landing
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019153831A
Other languages
English (en)
Other versions
JP2020187716A (ja
Inventor
正方 羅
勇介 黄
建銘 紹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Geosat Aerospace and Technology Inc
Original Assignee
Geosat Aerospace and Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Geosat Aerospace and Technology Inc filed Critical Geosat Aerospace and Technology Inc
Publication of JP2020187716A publication Critical patent/JP2020187716A/ja
Application granted granted Critical
Publication of JP7325264B2 publication Critical patent/JP7325264B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/10—Launching, take-off or landing arrangements for releasing or capturing UAVs by hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/30—Launching, take-off or landing arrangements for capturing UAVs in flight by ground or sea-based arresting gear, e.g. by a cable or a net
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G05D1/0684—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing on a moving platform, e.g. aircraft carrier
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Description

本開示は、無人航空機（ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ；ＵＡＶ）に関し、より特定的には、無人航空機を着地させる装置および方法に関する。
ユーザは、一般に、リモートコントローラで無人航空機（ＵＡＶ）を制御することにより、ＵＡＶの離陸および着地を達成する。従来の着地操作（ｌａｎｄｉｎｇ ｏｐｅｒａｔｉｏｎ）は手動のプロセスであり、ユーザは、着地プロセス全体に参加し、リモートコントローラでＵＡＶを制御する必要がある。着地操作は、ユーザの操作能力に重大に依存し、ＵＡＶの安全で成功する着地を達成するためには、著しい学習と訓練を必要とする。
さらに、地面（ｇｒｏｕｎｄ）の状態は、常に着地に適しているとは限らない。例えば、地面の上には、ＵＡＶに害を及ぼすかもしれない土壌、泥、岩石または水があるかもしれず、地面は不均一であるかもしれず、または、着地を実行するためには安全でないかもしれない。これらの状況は、ＵＡＶ着地プロセスにおける困難をもたらす。そのため、上記の欠点を克服し、より良いユーザエクスペリエンス（ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅ）を提供するために、ＵＡＶの着地操作を単純化し、改善する必要がある。
本開示は、無人航空機に無人航空機を着地させる方法を実行させるために、無人航空機のプロセッサにより実行可能な一組の命令を記憶（ｓｔｏｒｉｎｇ）する非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）コンピュータ可読媒体を提供する。無人航空機を着地させる方法は、手の第１のジェスチャ（ｇｅｓｔｕｒｅ）を認識することと、第１のジェスチャの認識に応じて、手の上方でホバリングする（ｈｏｖｅｒ）ように無人航空機を移動させることと、無人航空機と手との間の距離を検出することと、距離がある範囲のなかにあるとの判断に応じて、手を監視して手の第２のジェスチャを認識することと、第２のジェスチャの認識に応じて、無人航空機を手の上に着地させることと、を含む。
本開示はまた、無人航空機を着地させる方法も提供する。無人航空機を着地させる方法は、手の第１のジェスチャを認識することと、第１のジェスチャの認識に応じて、無人航空機を手の上方でホバリングするように移動させることと、無人航空機と手との間の距離を検出することと、距離がある範囲のなかにあるとの判断に応じて、手を監視して手の第２のジェスチャを認識することと、第２のジェスチャの認識に応じて、無人航空機を手の上に着地させることと、を含む。
本開示はさらに、１つ以上のプロセッサと、命令を記憶するメモリとを含む無人航空機（ＵＡＶ）を提供する。１つ以上のプロセッサにより実行されると、命令は、無人航空機に、手の第１のジェスチャを認識することと、第１のジェスチャの認識に応じて、手の上方でホバリングするように無人航空機を移動させることと、無人航空機と手との間の距離を検出することと、距離がある範囲のなかにあるとの判断に応じて、手を監視して手の第２のジェスチャを認識することと、第２のジェスチャの認識に応じて、無人航空機を手の上に着地させることと、を含む動作を実行させる。
前述の一般的な説明および以下の詳細な説明は、例示的で説明的なものにすぎず、特許請求の範囲に記載されているように本開示を限定するものではないことを理解されたい。
本明細書に組み込まれてその一部を構成する添付の図面は、いくつかの実施形態を示し、明細書とともに、開示された原理を説明するために役立つ。
図１Ａは、本開示のいくつかの実施形態と整合する（ｃｏｎｓｉｓｔｅｎｔ ｗｉｔｈ）例示的な無人航空機（ＵＡＶ）を示す図である。 図１Ｂは、本開示のいくつかの実施形態と整合する例示的なＵＡＶおよび例示的な制御システムを示す図である。 図２は、本開示のいくつかの実施形態と整合する例示的な統合ユニット（ｉｎｔｅｇｒａｔｅｄ ｕｎｉｔ）を示す図である。 図３は、本開示のいくつかの実施形態と整合するＵＡＶを着地させる例示的な方法のフロー図である。 図４Ａは、本開示のいくつかの実施形態と整合する画像センサにより取り込まれた例示的な画像を示す図である。 図４Ｂは、本開示のいくつかの実施形態と整合する画像センサにより取り込まれた例示的な画像を示す図である。 図５Ａ、本開示のいくつかの実施形態と整合する画像センサにより取り込まれた例示的な画像を示す図である。 図５Ｂは、本開示のいくつかの実施形態と整合する画像センサにより取り込まれた例示的な画像を示す図である。 図６は、本開示のいくつかの実施形態と整合する図３の例示的な方法の１つのステップをより詳細に示すフロー図である。 図７は、本開示のいくつかの実施形態と整合する画像センサにより取り込まれた画像を示す図である。 図８は、本開示のいくつかの実施形態と整合する距離センサの例示的な動作を示す図である。
以下の説明は、添付の図面を参照し、異なる図面中の同じ番号は、特記なき限り、同じか類似の要素を表す。以下の例示的な実施形態の説明に記載される実施態様は、本開示と整合する全ての実施態様を表さない。むしろ、それらは、添付の特許請求の範囲に記載されているような開示に関連する態様と整合する装置および方法の単なる例である。
図１Ａは、本開示のいくつかの実施形態と整合する例示的な無人航空機（ＵＡＶ）１００を示す図である。ＵＡＶ１００は、１つ以上のモータ１１０ａ～１１０ｄ、１つ以上のプロペラ１２０ａ～１２０ｄ、統合ユニット１３０、画像センサ１４０および距離センサ１５０を含む。いくつかの実施形態では、ＵＡＶ１００はまた、ＵＡＶ１００がピッチング（ｐｉｔｃｈ）、ロール（ｒｏｌｌ）またはヨーイング（ｙａｗ）できるようにするロール運動を生成するエルロン（ａｉｌｅｒｏｎｓ）を含んでよい。モータ１１０ａ～１１０ｄは、それぞれプロペラ１２０ａ～１２０ｄに連結され、ＵＡＶ１００に推進力を提供するように構成される。様々な実施形態において、モータ１１０ａ～１１０ｄとプロペラ１２０ａ～１２０ｄとの数は異なっていてよく、図１に示されるＵＡＶ１００は、単に１つの例であり、本開示を限定することを意味しない。例えば、ＵＡＶ１００は、それぞれプロペラと連結された１，２，３，４，５，６，７，８または任意の数のモータを有してよい。
統合ユニット１３０は、モータ１１０ａ～１１０ｄに通信可能に連結され、モータ１１０ａ～１１０ｄを制御して、上昇、下降、ほぼホバリングまたは横断といった様々な飛行動作において揚力（ｌｉｆｔ）および推進力（ｐｒｏｐｕｌｕｓｉｏｎ）を提供するように構成される。例えば、統合ユニット１３０は、駆動モータ１１０ａ～１１０ｄそれぞれに駆動信号を送信して、モータ１１０ａ～１１０ｄの回転速度を制御するように構成されてよい。
画像センサ１４０は、統合ユニット１３０と通信可能に連結され、１つ以上の画像を取り込むように構成される。より特定的には、画像センサ１４０は、光信号を、取り込まれた画像の情報を含む電気信号に変換し、画像処理および認識のために、変換された電気信号を統合ユニット１３０に送信するように構成される。いくつかの実施形態において、画像センサ１４０は、可視光ＣＭＯＳ画像センサなどのＣＭＯＳ画像センサを含み得るが、本開示はそれに限定されない。
距離センサ１５０は、統合ユニット１３０に通信可能に連結され、ＵＡＶ１００と、ＵＡＶ１００の近くの障害物または対象物との間の距離を検出するように構成される。距離センサ１５０は、レーザビームを放射し、障害物または対象物から反射された対応するレーザビームを検出することにより対象物または障害物を検出できるレーザ近接センサにより実施されてよい。距離センサ１５０により放射されるレーザビームの波長は、実際の設計に基づいて選択されてよい。例えば、距離センサ１５０は、可視光レーザビームを放射してよいが、本開示はそれに限定されない。
図１Ｂは、本開示のいくつかの実施形態と整合するＵＡＶ１００および例示的な制御システム２００を示す図である。ユーザは、飛行操作を実行し、制御システム２００を介してＵＡＶ１００の１つ以上の動作パラメータを設定するようにＵＡＶ１００を制御してよい。例えば、制御システム２００は、地上制御ステーション（ｇｒｏｕｎｄ ｃｏｎｔｒｏｌ ｓｔａｔｉｏｎ；ＧＣＳ）またはリモートコントローラを含んでよい。いくつかの実施形態において、ＧＣＳは、デスクトップコンピュータ、ラップトップ、タブレット、スマートフォンまたは他の任意の電子機器上で実行されうる。ユーザは、１つ以上の指示を制御システム２００に入力できる。命令を受信した後、制御システム２００は、通信回路を介して通信信号２１０をＵＡＶ１００に送信してよい。
図１Ｂに示されるように、いくつかの実施形態において、画像センサ１４０は、ＵＡＶ１００の底部側（例えば、ＵＡＶ１００がホバリングしたときに地面に面する側）に配置される。その結果、画像センサ１４０は、画像を取り込み、ＵＡＶ１００の下の１つ以上の対象物に関する情報、例えば対象物のサイズ、形状または色などを得ることができる。画像センサ１４０と同様に、いくつかの実施形態において、距離センサ１５０もまたＵＡＶ１００の底部側に配置される。結果として、距離センサ１５０は、ＵＡＶ１００と、ＵＡＶ１００の下の対象物との間の距離、または、ＵＡＶ１００と地面との間の距離を検出することができる。
ＵＡＶ１００が、制御システム２００からハンドランディング命令（ｈａｎｄ ｌａｎｄｉｎｇ ｉｎｓｔｒｕｃｔｉｏｎ）を受信すると、ＵＡＶ１００のためのハンドランディングモード（ｈａｎｄ ｌａｎｄｉｎｇ ｍｏｄｅ）がトリガされる（ｔｒｉｇｇｅｒｄ）。ハンドランディングモードの間、ＵＡＶ１００は、ユーザの手ＵＨ１が認識された場合に、ユーザの手ＵＨ１に着地でき、動作は、画像センサ１４０により取り込まれた画像および距離センサ１５０により検出された距離により促進される。ハンドランディングモードにおける動作の詳細は後述されるであろう。
図２は、本開示のいくつかの実施形態と整合する例示的な統合ユニット１３０を示す図である。図２に示されるように、いくつかの実施形態において、統合ユニット１３０は、飛行制御コンピュータ（ｆｌｉｇｈｔ ｃｏｎｔｒｏｌ ｃｏｍｐｕｔｅｒ；ＦＣＣ）１３２、姿勢および方位参照システム（ａｔｔｉｔｕｄｅ ａｎｄ ｈｅａｄｉｎｇ ｒｅｆｅｒｎｃｅ ｓｙｓｔｅｍ；ＡＨＲＳ）１３４、通信回路１３６およびアンテナ１３８を含み、これらは全てＵＡＶ１００を制御するためのものである。
ＦＣＣ１３２は、命令を記憶し、ＵＡＶ１００を制御するように構成されたプロセッサ１３２１およびメモリ１３２２を含む。例えば、ＦＣＣ１３２は、ＵＡＶ１００を加速または減速するようにモータ１１０ａ～１１０ｄを制御するように構成されてよい。いくつかの実施形態において、ＦＣＣ１３２は、モータ１１０ａ～１１０ｄのうちの１つ以上の回転速度を増やし、または、減らしてよい。例えば、統合ユニット１３０は、飛行の間に、モータ１１０ａ～１１０ｄそれぞれの毎分回転数（ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｉｔｅ；ＲＰＭ）を独立して制御できる。
より特定的には、メモリ１３２２は、開示された実施形態と整合する動作を実行するために、データおよび／またはプロセッサ１３２１により実行されるソフトウェア命令を記憶できる。例えば、プロセッサ１３２１は、メモリ１３２２に記憶された一組の命令を実行し、ユーザから着地命令を受信したときに、ＵＡＶ１００を、自動的にユーザの手といった人間の手の上に着地させる方法を、ＵＡＶ１００に実行させるように構成され得る。この方法は、詳細に後述される。
プロセッサ１３２１は、例えば、１つ以上のセントラルプロセッサ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｏｒｓ）またはマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）であり得る。メモリ１３２２は、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータといった情報の記憶のための任意の方法または技術により実施される様々なコンピュータ可読媒体であり得る。メモリ１３２２は、バスを介してプロセッサ１３２１と通信可能に連結され得る。いくつかの実施形態において、メモリ１３２２は、プロセッサ１３２１による命令の実行の間に一時的な変数または他の中間情報を記憶するために使用され得るメインメモリを含んでよい。このような命令は、統合ユニット１３０にアクセス可能な非一時的記憶媒体に記憶された後、ＵＡＶ１００が命令において指定された動作を実行できるようにする。
本明細書で使用される「非一時的媒体」との用語は、マシン（ｍａｃｈｉｎｅ）を特定の方法で動作させるデータまたは命令を記憶する任意の非一時的媒体を指す。このような非一時的媒体は、不揮発性媒体および／または揮発性媒体を含み得る。非一時的媒体は、例えば、光または磁気ディスク、ダイナミックメモリ、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気カセット、磁気テープまたは他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、ディジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋｓ；ＤＶＤ）または他の任意の光学データ記憶媒体、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＲＡＭ）、読出専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ；ＲＯＭ）、プログラム可能読出専用メモリ（Ｐｒｏｇｒａｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ；ＰＲＯＭ）、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、ＮＶＲＡＭ、フラッシュメモリまたは他のメモリ技術、および／または、本開示が関連する分野の当業者により企図され得る同じ機能を有する任意の他の記憶媒体を含む。開示された実施形態と整合する情報を処理、送信、提供、および受信するために、当業者に知られている他の構成要素がＵＡＶ１００に含まれてよい。
ＡＨＲＳ１３４は、ＵＡＶ１００のロール角、ピッチ角、および／またはヨー角などの姿勢情報を提供する３つの軸上の１つ以上のセンサを含む。ＡＨＲＳ１３４のセンサは、磁気、角速度および重力（ＭＡＲＧ）センサとも呼ばれ得て、固体または微小電気機械システム（ＭＥＭＳ）ジャイロスコープ、加速度計および磁力計のいずれかを含む。ＡＨＲＳ１３４は、姿勢および機首方位情報を提供する機内（ｏｎ－ｂｏａｒｄ）処理システムを含んでよい。いくつかの実施形態において、ＡＨＲＳ１３４は、ＵＡＶ１００の姿勢決定を提供してよく、ＵＡＶ１００の慣性航法システム（ｉｎｔｅｒｔｉａｌ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ）の一部を形成してよい。
ＵＡＶ１００は、他の電子装置にデータを送信し、通信回路１３６およびアンテナ１３８を介して他の電子装置と通信できる。例えば、ＵＡＶ１００は、制御システム、通信回路１３６およびアンテナ１３８により、例えば図１Ｂの制御システム２００から通信信号を受信できる。さらに、ＵＡＶ１００はまた、無線周波数（ＲＦ）信号または任意の種類の無線ネットワークを介して、通信回路１３６およびアンテナ１３８により、ディスプレイ装置、サーバ、コンピュータシステム、データセンターまたは他のＵＡＶと通信できる。
図３は、本開示のいくつかの実施形態と整合するＵＡＶ１００を着地させるための例示的な方法３００のフロー図である。方法３００は、ＵＡＶ（例えば、図１Ａ，図１ＢのＵＡＶ１００）により実行されうるが、本開示はそれに限定されない。いくつかの実施形態において、プロセッサ１３２１は、メモリ１３２２に記憶される命令を実行し、ＵＡＶ１００を着地させるための方法３００のステップを、ＵＡＶ１００に実行させるように構成され得る。
ステップＳ３１０において、ＵＡＶ１００は、ＵＡＶ１００に対してハンドランディングモードがトリガされたかを判断する。ユーザは、制御システム２００から対応する信号をハンドランディング命令としてＵＡＶ１００に送信できる。プロセッサ１３２１が通信回路１３６を介してハンドランディング命令を受信すると、プロセッサ１３２１は、ハンドランディングモードを選択し、トリガする。選択されたハンドランディングモードに応じて、ＵＡＶ１００は、ユーザの近くの位置の予め決められた高度でホバリングする。例えば、ＵＡＶ１００は、約１メートルおよび約２メートルの間の範囲のなかの任意の値のホバリング高度を維持してよい。
ステップＳ３２０において、ＵＡＶ１００は、手の第１のジェスチャを認識する。ステップＳ３３０において、第１のジェスチャの認識に応じて、ＵＡＶ１００は手の上方でホバリングするように移動する。例えば、ＵＡＶ１００がホバリングするとき、ユーザは、ＵＡＶ１００の下方で、掌を上に向けて開いて手を伸ばしてよい。画像センサ１４０は、画像情報をプロセッサ１３２１に送信し、手および手のジェスチャを認識するための画像処理および認識を実行し得る（ステップＳ３２０）。いくつかの実施形態において、ＵＡＶ１００により認識される第１のジェスチャは、指（親指以外の指）を閉じた手を含み得る。これに関連して、「指を閉じた」手（ｈａｎｄ ｗｉｔｈ "ｃｌｏｓｅｄ ｆｉｎｇｅｒｓ"）とは、指が隙間なく互いに隣接している手のジェスチャをいい、これについては、図５Ａに関連してさらに詳細に後述されるであろう。このように、ＵＡＶ１００が指を閉じた手を認識すると、ＦＣＣ１３２は、モータ１１０ａ～１１０ｄを制御して、ＵＡＶ１００の位置を手の上方でホバリングするように調整してよい（ステップＳ３３０）。
図４Ａ，図４Ｂは、それぞれ本開示のいくつかの実施形態と整合する画像センサ１４０により取り込まれた例示的な画像４００ａ，４００ｂを示す図である。図４Ａに示されるように、手検出および追跡アルゴリズムを実行することにより、ＵＡＶ１００は、画像４００ａのなかの中心点４１２によって手領域（ｈａｎｄ ｒｅｇｉｏｎ）４１０を識別できる。例えば、手領域４１０は、画像４００ａのなかの色情報に基づいて識別されてよい。１つ以上の肌色（ｓｋｉｎ ｔｏｎｅ）を有する候補領域が選択されてよい。そして、人間の手に対応する手領域４１０が存在するかを判断するために、１つ以上の候補領域の形状およびサイズがさらに分析される。いくつかの実施形態において、手領域４１０は、図４Ａ，図４Ｂに示されるように矩形領域である。ＵＡＶ１００は、中心点４１２と画像４００ａの中心点４２０との間の距離Ｄ１を計算して、画像４００ａの中心領域４３０のなかに手があるかを判断する。
いくつかの実施形態において、中心領域４３０は、ピクセルと中心点４２０との間の距離が閾値距離ＴＤ１のなかにある一組のピクセルとして定義することができるが、本開示はそれに限定されない。中心点４１２と中心点４２０との間の距離Ｄ１が閾値距離ＴＤ１より大きい場合、ＵＡＶ１００は、距離Ｄ１がＴＤ１以下になるまでＵＡＶ１００を中心４２０に向かって移動させると判断された方向に、ＵＡＶ１００の位置を調整するように、モータ１１０ａ～１１０ｄを制御する。例えば、図４Ａに示されるように、画像４００ａのなかの距離Ｄ１は、閾値距離ＴＤ１より大きい。結果として、ＵＡＶ１００は、図４Ｂにおける画像センサ１４０により取り込まれた画像４００ｂに示されるように、距離Ｄ１が閾値距離ＴＤ１以下になるまでＵＡＶ１００の位置を調整するようにモータ１１０ａ～１１０ｄを制御する。中心領域４３０はまた、物理的世界（ｐｈｙｓｉｃａｌ ｗｏｒｌｄ）におけるＵＡＶ１００の下の空間に対応する画像４００ａ，４００ｂのなかの領域として定義され得る。ＵＡＶ１００のサイズおよび画像センサ１４０の異なる配置に基づいて、中心領域は、異なる実施形態における実際の必要性に従って設定されてよい。
あるいは、ＵＡＶ１００はまた、画像４００ａおよび４００ｂの中心領域４３０の範囲を事前に定義し、手領域４１０の中心点４１２がその範囲のなかにあるかを判断してよい。同様に、ＵＡＶ１００は、その位置を、中心領域４３０のなかの中心点４１２を追跡するように調整できる。言い換えれば、ＵＡＶ１００は、画像センサ１４０により得られた画像４００ａのなかの手を監視し、手の１つ以上の特徴に従って手の中心を識別し、手領域４１０の中心点４１２が、画像４００ｂの中心領域４３０において追跡されるまでＵＡＶ１００を移動させることができる。このように、ＵＡＶ１００は手の上方でホバリングするために移動できる。
図３に戻ると、手が画像の中心領域のなかで追跡され、ＵＡＶ１００が手の上方でホバリングするために移動した後、ステップＳ３４０において、ＵＡＶ１００は、ＵＡＶ１００と手との間の距離を検出する。いくつかの実施形態において、飛行時間原理（ｔｉｍｅ－ｏｆ－ｆｒｉｇｈｔ ｐｒｉｎｃｉｐｌｅ）を用いて距離を測定するために、距離センサ１５０が適用され得る。つまり、距離センサ１５０は、光パルスが目標対象物までの間を行き来するために要した時間を記録できる。既知の光速および得られた時間測定値を用いて、距離センサ１５０と目標対象物との間の距離が計算され得る。距離センサ１５０は、平均距離値を得るために、順次、複数の光パルスを出射できる。より特定的には、距離センサ１５０は、手に向かう方向に沿って１つ以上のレーザビームを送信し、１つ以上のレーザビームの１つ以上の反射を受信するように構成され得る。このように、ＵＡＶ１００は、１つ以上のレーザビームを送信することと、１つ以上の反射を受信することとの間の時間差に基づいて、距離を計算できる。
ステップＳ３５０において、ＵＡＶ１００は、検出された距離が予め決められた範囲（例えば、約１０ｃｍ～２０ｃｍ）のなかにあるかを判断する。検出された距離が範囲のなかにあるという判断に応じて（ステップＳ３５０－Ｙｅｓ）、ＵＡＶ１００はステップＳ３７０を実行する。一方、検出された距離が範囲より上または下にあるという判断に応じて（ステップＳ３５０－ｎｏ）、ＵＡＶ１００はステップＳ３６０を実行し、飛行高度を調整するようにモータ１１０ａ～１１０ｄを制御し、ステップＳ３４０およびＳ３５０を繰り返す。このように、ＵＡＶ１００は、範囲のなかにある距離（例えば、約１５ｃｍ）で手の上方でホバリングでき、ステップＳ３７０の実行を続ける。
ステップＳ３７０において、ＵＡＶ１００は、ユーザからのコマンドをＵＡＶ１００が待っていることを示すための通知信号を提供する。通知信号は、視覚信号、音声信号またはこれらの任意の組み合わせを含んでよい。例えば、ＵＡＶ１００は、１つ以上の発光ダイオード（ＬＥＤ）または他の発光デバイス（ｉｌｌｕｍｉｎａｔｉｎｇ ｄｅｖｉｃｅｓ）を通知信号として用い、特定の色の光、明滅する光または光パターンのシーケンス（ｓｅｑｕｅｎｃｅ）を放射できる。ＵＡＶ１００はまた、予め決められた音色（例えば、ビープ音（ｂｅｅｐ ｓｏｕｎｄ）またはバズ音（ｂｕｚｚ ｓｏｕｎｄ））、音色もしくは音楽のシーケンス、または録音された音声メッセージを通知信号として提供するために、ビーパー（ｂｅｅｐｅｒ）、ブザーまたは他の任意の音声出力装置を使用し得るが、本開示はこれに限定されない。
ＵＡＶ１００により提供された通知信号を見たまたは聞いた後、ユーザは、手のジェスチャを、第１のジェスチャから第１のジェスチャとは異なる第２のジェスチャに変更してよい。例えば、着地動作をトリガするために、ユーザは、少なくとも２本の指が離れるように手の形を変えられる。つまり、第２のジェスチャは、指（親指以外の指）を開いた手（ｈａｎｄ ｗｉｔｈ ｏｐｅｎ ｆｉｎｇｅｒｓ）を含んでよい。これに関連して、「指を開いた」手は、少なくとも２本の指が隙間を空けて分離されている手のジェスチャを呼び、これは、図５Ｂに関連して以下でさらに説明されるであろう。
ステップＳ３８０において、ＵＡＶ１００は手を監視し、手の第２のジェスチャを認識する。第２のジェスチャの認識に応じて、ＵＡＶ１００はステップＳ３９０を実行して手の上に着地する。より特定的には、ステップＳ３２０における動作と同様に、ＵＡＶ１００は、画像センサ１４０を用いて画像情報をプロセッサ１３２１に送信し、画像の処理および認識を実行し、手を監視して手のジェスチャを認識する。このように、第１のジェスチャから第２のジェスチャへの遷移を識別すると、ＵＡＶ１００は、着地を実行するための以下の動作を続ける。
ステップＳ３２０およびＳ３８０におけるジェスチャ認識をさらに理解するために、本開示のいくつかの実施形態と整合する画像センサ１４０により取り込まれた例示的な画像５００ａ，５００ｂをそれぞれ示す図である図５Ａ，図５Ｂが参照される。画像センサ１４０が、画像５００ａおよび５００ｂを取り込んだ後、プロセッサ１３２１は、様々な画像処理技術を画像５００ａ，５００ｂに適用できる。例えば、プロセッサ１３２１は、手の皮膚領域を取り込むために、皮膚検出プロセスを実行できる。プロセッサ１３２１はまた、画像５００ａ，５００ｂのなかのノイズ信号を低減または除去するためにノイズ除去プロセスを実行できる。このように、プロセッサ１３２１は手輪郭（ｈａｎｄ ｃｏｎｔｏｕｒ）５１０を検出できる。いくつかの実施形態において、プロセッサ１３２１はさらに、手輪郭５１０を画像５００ａ，５００ｂのなかの１つ以上の多角形で近似する近似処理を実行でき、この場合、望ましくない凸点は、近似処理で除去またはフィルタリングされる。
手輪郭５１０が得られた後、プロセッサ１３２１は、手および手のジェスチャを認識するために、凸包アルゴリズム（ｃｏｎｖｅｘ ｈｕｌｌ ａｌｇｏｒｉｔｈｍ）および凸包欠陥アルゴリズム（ｃｏｎｖｅｘｉｔｙ ｈｕｌｌ ｄｅｆｅｃｔｓ ａｌｇｏｒｉｔｈｍ）を適用できる。より特定的には、プロセッサ１３２１は、様々な凸包アルゴリズムのうちの１つを適用することにより、近似多角形の凸包５２０を見つけることができる。ここで用いられる用語「凸包（ｃｏｎｖｅｘｉｔｙ ｈｕｌｌ）」は、凹多角形の頂点５２５を含む凹多角形の凸包絡線多角形（ｃｏｎｖｅｘ ｅｍｖｅｌｏｐｅ ｐｏｌｙｇｏｎ；例えば、手輪郭５１０に関連する近似多角形）を指す。凸包５２０が定義された後、プロセッサ１３２１は、１つ以上の凸包欠陥が存在するかを判断できる。
図５Ａに示されるように、ユーザの４本の指（すなわち、親指を除くすべての指）が隙間なく互いに隣接していると、凸包５２０のなかに１つの凸包欠陥５３２（例えば、パリキュー（ｐｕｒｌｉｃｕｅ）、または、親指と人差し指との間の隙間）がある。一方、図５Ｂに示されるように、着地動作をトリガするために、ユーザが指を開いて手を離したとき、凸包５２０のなかに２以上の凸包欠陥５３２，５３４，５３６，５３８がある。図５Ａ，図５Ｂにおいて、明確さおよび説明のために、凸包欠陥５３２，５３４，５３６，５３８は、手輪郭５１０から離れて間隔を空けられる。凸包欠陥５３２，５３４，５３６，５３８は、手輪郭５１０の近似多角形の頂点により画定される三角形の領域であってよい。例えば、始点（例えば始点ＳＰ１）、深度点（ｄｅｐｔｈ ｐｏｉｎｔ；例えば深度点ＤＰ１）および終点（例えば終点ＥＰ１）は、凸包欠陥（例えば凸包欠陥５３２）を画定する。始点ＳＰ１は、欠陥が始まる近似多角形の点を示し、終点ＥＰ１は、欠陥が終わる近似多角形の点を示し、深度点ＤＰ１は、凸包５２０から離れた近似多角形の点である。指が開いた手には、凸包欠陥の始点および終点が指先であり得、凸包欠陥の深度点は、指の谷（ｆｉｎｇｅｒ－ｖａｌｌｅｙｓ）に配置され得る。
そのため、ＵＡＶ１００は、手輪郭５１０を抽出し、画像５００ａ，５００ｂのなかの手輪郭５１０に関連する凸包欠陥５３２，５３４，５３６，５３８を得ることができる。指の間の間隔を示すために、凸包欠陥５３２，５３４，５３６，５３８が用いられ得る。相対的な指の位置に変化が生じるか、または指の動きが生じると、それに応じて、欠陥５３２，５３４，５３６，５３８の変化が検出され得る。凸包欠陥の数が変化したとの検出に応じて、ＵＡＶ１００は、第２のジェスチャが認識されたと判断し、着地のためにステップＳ３９０の実行を続ける。つまり、ユーザは、閉じられた指を開くことにより、着地を実行するようにコマンドを直感的に提供し、ＵＡＶ１００をトリガできる。
本開示のいくつかの実施形態と整合する例示的な方法３００のステップＳ３９０をより詳細に示すフロー図である図６が参照される。ステップＳ３９１において、第２のジェスチャが認識されると、ＵＡＶ１００は、ＵＡＶ１００の飛行高度を下げる。より特定的には、ＦＣＣ１３２は、対応する制御信号を提供して、モータ１１０ａ～１１０ｄの回転速度を徐々に低下させてよい。ステップＳ３９２において、飛行高度を下げながら、ＵＡＶ１００は、手に位置合わせされる。より特定的には、画像センサ１４０は、画像のなかの手を追跡し、手の１つ以上の特徴に従って、手の中心または掌の中心を識別する。そのため、ＦＣＣ１３２は、対応する制御信号を制御モータ１１０ａ～１１０ｄに提供して、画像の中心領域のなかの手の中心または掌の中心を追跡するようにＵＡＶ１００を動かしてよい。いくつかの実施形態において、手の中心を識別するための特徴は、２つの隣接する指先により画定される少なくとも１つの三角形の領域、および、隣接する２本の指の間の間隙を含む。
ステップＳ３９２のさらなる理解のために、本開示のいくつかの実施形態と整合する画像センサ１４０により取り込まれた画像５００ｂを示す図である図７への参照がなされる。図７に示されるように、プロセッサ１３２１は、凸包５２０をカバーできる最小円７１０を見つけ、最小円７１０の中心により手の中心（ｈａｎｄ ｃｅｎｔｅｒ）ＨＣを推定できる。いくつかの実施形態において、プロセッサ１３２１は、代わりに、凸包５２０をカバーできる矩形の枠（ｂｏｘ）を見つけ、それに応じて、手の中心ＨＣを推定してよい。同様に、プロセッサ１３２１は、深度点をカバーできる最小円７２０を見つけ、最小円７２０の中心により掌の中心（ｐａｌｍ ｃｅｎｔｅｒ）ＰＣを推定できる。いくつかの実施形態において、プロセッサ１３２１はまた、後の使用のために最小円７１０，７２０の半径Ｒ１，Ｒ２を記録できる。
上述の画像処理技術を適用することにより、プロセッサ１３２１は、画像５００ｂのなかの手輪郭５１０を検出し、手輪郭５１０を抽出し、凸包５２０および少なくとも１つの三角形領域を含む１つ以上の凸包欠陥５３２，５３４，５３６，５３８を得、画像５００ｂにおいて手の中心ＨＣまたは掌の中心ＰＣを推定することができる。上述した実施形態は単なる例であり、本開示を限定することは意図されない。様々な実施形態において、画像５００ｂのなかの手輪郭５１０の１つ以上の手の特徴（ｈａｎｄ ｆｅａｔｕｒｅｓ）を抽出し、それに応じて、手の中心ＨＣまたは掌の中心ＰＣを推定するために、他の画像処理技術が適用されてよい。手の特徴は、手輪郭５１０の凸包５２０および／または凸包欠陥５３２，５３４，５３６，５３８を含んでよい。
このように、飛行高度の下降の間、ＦＣＣ１３２はモータ１１０ａ～１１０ｄを制御してＵＡＶ１００の位置を調整でき、ＵＡＶ１００を移動させて、図７における画像５００ｂの中心領域で、手の中心ＨＣまたは掌の中心ＰＣを追跡する。そのため、ＦＣＣ１３２の制御の下で、飛行高度の下降の間に、ＵＡＶ１００が手と位置合わせされ得る。
図６に戻り、ステップＳ３９３において、ＵＡＶ１００は、飛行高度の下降の間にＵＡＶ１００と手との間の距離を検出する。ステップＳ３９３における距離検出のさらなる理解のために、本開示のいくつかの実施形態と整合する距離センサ１５０の例示的な動作を示す図である図８への参照がなされる。いくつかの実施形態において、スペキュラーアレイラジオメトリックキャリブレーション（ｓｐｅｃｕｌａｒ ａｒｒａｙ ｒａｄｉｏｍｅｔｒｉｃ ｃａｌｉｂｒａｔｉｏｎ；ＳＰＡＲＣ）方法が、キャリブレーションのために距離センサ１５０において適用されうる。図８に示されるように、距離センサ１５０は、マトリクス８１０のなかの複数の検出点Ｐ（１，１）～Ｐ（ｍ，ｎ）を検出するために、順次または同時にレーザビームのマトリクスを生成できる。検出点のうちの１つ（例えば検出点Ｐ（３、４））が手領域８２０のなかにある場合、距離センサ１５０から放射された対応するレーザビームは、ユーザの手に向かう方向に沿って進み、距離センサ１５０のなかの検出器に反射される。
そのため、ＵＡＶ１００と手との間の距離は、上述されたように、飛行時間原理を用いて測定されうる。あるいは、検出点のうちのもう１つ（例えば検出点Ｐ（１，１））が手領域８２０のなかにない場合、距離センサ１５０から放射された対応するレーザビームは、他の障害物に到達するまで反射されない。そのため、距離センサ１５０は、レーザビームの飛行時間に従って、検出領域をスキャンし、いずれの検出点が手領域８２０のなかにあるかを判断できる。
いくつかの実施形態において、ＵＡＶ１００がユーザの手の上方に位置するかを判断するために、マトリクス８１０における手領域８２０のなかの検出点対検出点の総数の比を計算することにより、許容値が判断されうる。許容値が閾値（例えば、約５０％）より大きい場合、ＵＡＶ１００がユーザの手の上方に位置していると判断される。
図６に戻り、ステップＳ３９４において、ＵＡＶ１００は、検出された距離が閾値（例えば、約３ｃｍ）未満であるかを判断する。検出された距離が閾値より小さいとの判断に応じて（ステップＳ３９４－Ｙｅｓ）、ＵＡＶ１００は、ステップＳ３９５を実行し、モータ１１０ａ～１１０ｄをオフにする。そうでなければ（ステップＳ３９４－Ｎｏ）、ステップＳ３９１～Ｓ３９４が繰り返される。そのため、ＵＡＶ１００と手との間の距離が閾値よりも小さいことに応じて、モータ１１０ａ～１１０ｄがオフにされるまで、ＵＡＶ１００は制御の元に下降する。モータ１１０ａ～１１０ｄがオフにされると、モータ１１０ａ～１１０ｄに連結されたプロペラ１２０ａ～１２０ｄは回転を停止し、ＵＡＶ１００は重力により落下してユーザの手の上に着地する。このように、ＵＡＶ１００は、ハンドランディングを達成する。いくつかの実施形態において、プロペラ１２０ａ～１２０ｄの回転を止めるために、モータ１１０ａ～１１０ｄの全てがオフにされる。いくつかの実施形態において、モータ１１０ａ～１１０ｄのうちの１つ以上がオフにされ、ＵＡＶ１００に提供される推進力はホバリング高度を維持するのに十分ではなく、ＵＡＶ１００もまた、重力のために下降してユーザの手の上に着地する。
上の観点から、本開示の様々な実施形態において、ＵＡＶ１００は、上記の画像認識および距離検出プロセスによりユーザの手のジェスチャを検出し、ハンドランディングを達成できる。そのため、直感的な動作で改良されたヒューマン－マシンインタラクションデザイン（ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｏｎ ｄｅｓｉｇｎ）が達成される。
ここでの様々な例示的な実施形態は、方法ステップまたはプロセスの一般的な文脈（ｃｏｎｔｅｘｔ）で説明され、一態様において、ネットワーク環境におけるコンピュータにより実行されるプログラムコードといったコンピュータ実行可能命令を含む一時的または非一時的なコンピュータ可読媒体において実施されるコンピュータプログラム製品により実施されてよい。コンピュータ可読媒体は、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク（ＣＤ）、ディジタル多用途ディスク（ＤＶＤ）などを含む取り外し可能および取り外し不可能な記憶装置を含んでよいが、これらに限定されない。一般に、プログラムモジュールは、特定のタスクまたは特定の抽象データ型を実行するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含んでよい。コンピュータ実行可能命令、関連データ構造およびプログラムモジュールは、ここに開示された方法のステップを実行するプログラムコードの例を表す。このような実行可能命令または関連するデータ構造の特定的なシーケンスは、このようなステップまたはプロセスにおいて記載された機能を実施するための対応する動作の例を表す。
前述の明細書において、実施形態は、実施態様ごとに異なり得る多数の特定の詳細を参照して記載されてきた。記載された実施形態の特定の適応および修正がなされ得る。また、図に示されている一連のステップは、例示を目的とするのみであり、いかなる特定のステップのシーケンスに限定されることを意図されない。このように、当業者は、これらのステップが同じ方法を実施しつつ異なる順序で実行され得ることを理解できる。
ここで用いられる場合、特記しない限り、、用語「または」は、実行不可能な場合を除いて、すべての可能な組み合わせを包含する。例えば、データベースがＡまたはＢを含んでよいと述べられている場合、特記しない限り、または実行不可能な場合を除いて、データベースは、ＡまたはＢ、または、ＡおよびＢを含んでよい。第２の例として、データベースがＡ，ＢまたはＣを含んでよいと述べられている場合、特記しない限り、または実行不可能な場合を除いて、データベースは、Ａ、ＢもしくはＣ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、または、Ａ、ＢおよびＣを含んでよい。
図面および明細書において、例示的な実施形態が開示されてきた。当業者には、開示されたシステムおよび関連する方法に様々な修正および変更を加えられ得ることは明らかであろう。当業者には、他の実施形態は、明細書の考察、開示されたシステムおよび関連方法の実施から明らかであろう。明細書および実施例は例示のみとして考えられ、真の範囲（ｔｒｕｅ ｓｃｏｐｅ）は特許請求の範囲およびそれらの均等物により示されることが意図される。
（付記）
（付記１）
無人航空機に、前記無人航空機のプロセッサにより実行可能な、前記無人航空機を着地させる方法を実行させる一組の命令を記憶する非一時的コンピュータ可読媒体であって、
前記方法は、
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように前記無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える、非一時的コンピュータ可読媒体。
（付記２）
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記１に記載の非一時的コンピュータ可読媒体。
（付記３）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える付記２に記載の非一時的コンピュータ可読媒体。
（付記４）
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記３に記載の非一時的コンピュータ可読媒体。
（付記５）
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える付記２に記載の非一時的コンピュータ可読媒体。
（付記６）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第２のジェスチャを認識することと、
をさらに備える付記１に記載の非一時的コンピュータ可読媒体。
（付記７）
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記１に記載の非一時的コンピュータ可読媒体。
（付記８）
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える無人航空機を着地させる方法。
（付記９）
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記８に記載の無人航空機を着地させる方法。
（付記１０）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
を備える付記９に記載の無人航空機を着地させる方法。
（付記１１）
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記１０に記載の無人航空機を着地させる方法。
（付記１２）
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える付記９に記載の無人航空機を着地させる方法。
（付記１３）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記第２のジェスチャが認識されたと判断することと、
を備える付記８に記載の無人航空機を着地させる方法。
（付記１４）
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記８に記載の無人航空機を着地させる方法。
（付記１５）
１つ以上のプロセッサと、
前記１つ以上のプロセッサにより実行されると、
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える動作を前記無人航空機に実行させる命令を記憶するメモリと、
を備える無人航空機。
（付記１６）
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記１５に記載の無人航空機。
（付記１７）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える付記１６に記載の無人航空機。
（付記１８）
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記１７に記載の無人航空機。
（付記１９）
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える付記１６に記載の無人航空機。
（付記２０）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第２のジェスチャを認識することと、
をさらに備える付記１５に記載の無人航空機。
（付記２１）
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記１５に記載の無人航空機。

Claims (21)

  1. 無人航空機に、前記無人航空機のプロセッサにより実行可能な、前記無人航空機を着地させる方法を実行させる一組の命令を記憶する非一時的コンピュータ可読媒体であって、
    前記方法は、
    手の第１のジェスチャを認識することと、
    前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように前記無人航空機を移動させることと、
    前記無人航空機と前記手との間の距離を検出することと、
    前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
    前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
    を備える、非一時的コンピュータ可読媒体。
  2. 前記手の上に前記無人航空機を着地させることは、
    前記無人航空機の飛行高度を下降させることと、
    前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
    をさらに備える請求項１に記載の非一時的コンピュータ可読媒体。
  3. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手に前記無人航空機を位置合わせすることは、
    前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
    前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
    をさらに備える請求項２に記載の非一時的コンピュータ可読媒体。
  4. 前記手の前記中心を識別することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
    前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
    をさらに備える請求項３に記載の非一時的コンピュータ可読媒体。
  5. 前記手の上に前記無人航空機を着地させることは、
    前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
    前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
    をさらに備える請求項２に記載の非一時的コンピュータ可読媒体。
  6. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手の前記第２のジェスチャを認識することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
    前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第２のジェスチャを認識することと、
    をさらに備える請求項１に記載の非一時的コンピュータ可読媒体。
  7. 前記距離を検出することは、
    前記手に向かう方向に沿ってレーザビームを送信することと、
    前記レーザビームの反射を受信することと、
    前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
    をさらに備える請求項１に記載の非一時的コンピュータ可読媒体。
  8. 手の第１のジェスチャを認識することと、
    前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
    前記無人航空機と前記手との間の距離を検出することと、
    前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
    前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
    を備える無人航空機を着地させる方法。
  9. 前記手の上に前記無人航空機を着地させることは、
    前記無人航空機の飛行高度を下降させることと、
    前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
    をさらに備える請求項８に記載の無人航空機を着地させる方法。
  10. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手に前記無人航空機を位置合わせすることは、
    前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
    前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
    を備える請求項９に記載の無人航空機を着地させる方法。
  11. 前記手の前記中心を識別することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
    前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
    をさらに備える請求項１０に記載の無人航空機を着地させる方法。
  12. 前記手の上に前記無人航空機を着地させることは、
    前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
    前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
    をさらに備える請求項９に記載の無人航空機を着地させる方法。
  13. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手の前記第２のジェスチャを認識することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
    前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記第２のジェスチャが認識されたと判断することと、
    を備える請求項８に記載の無人航空機を着地させる方法。
  14. 前記距離を検出することは、
    前記手に向かう方向に沿ってレーザビームを送信することと、
    前記レーザビームの反射を受信することと、
    前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
    をさらに備える請求項８に記載の無人航空機を着地させる方法。
  15. １つ以上のプロセッサと、
    前記１つ以上のプロセッサにより実行されると、
    手の第１のジェスチャを認識することと、
    前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
    前記無人航空機と前記手との間の距離を検出することと、
    前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
    前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
    を備える動作を前記無人航空機に実行させる命令を記憶するメモリと、
    を備える無人航空機。
  16. 前記手の上に前記無人航空機を着地させることは、
    前記無人航空機の飛行高度を下降させることと、
    前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
    をさらに備える請求項１５に記載の無人航空機。
  17. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手に前記無人航空機を位置合わせすることは、
    前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
    前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
    をさらに備える請求項１６に記載の無人航空機。
  18. 前記手の前記中心を識別することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
    前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
    をさらに備える請求項１７に記載の無人航空機。
  19. 前記手の上に前記無人航空機を着地させることは、
    前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
    前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
    をさらに備える請求項１６に記載の無人航空機。
  20. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手の前記第２のジェスチャを認識することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
    前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第２のジェスチャを認識することと、
    をさらに備える請求項１５に記載の無人航空機。
  21. 前記距離を検出することは、
    前記手に向かう方向に沿ってレーザビームを送信することと、
    前記レーザビームの反射を受信することと、
    前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
    をさらに備える請求項１５に記載の無人航空機。
JP2019153831A 2019-05-09 2019-08-26 無人航空機を着地させる装置および方法 Active JP7325264B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/407,627 US11106223B2 (en) 2019-05-09 2019-05-09 Apparatus and methods for landing unmanned aerial vehicle
US16/407,627 2019-05-09

Publications (2)

Publication Number Publication Date
JP2020187716A JP2020187716A (ja) 2020-11-19
JP7325264B2 true JP7325264B2 (ja) 2023-08-14

Family

ID=73045783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019153831A Active JP7325264B2 (ja) 2019-05-09 2019-08-26 無人航空機を着地させる装置および方法

Country Status (4)

Country Link
US (1) US11106223B2 (ja)
JP (1) JP7325264B2 (ja)
CN (1) CN111913493A (ja)
TW (1) TWI711560B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190031B (zh) * 2021-04-30 2023-03-24 成都思晗科技股份有限公司 基于无人机的森林火灾自动拍照跟踪方法、装置及系统
TWI802115B (zh) 2021-11-30 2023-05-11 仁寶電腦工業股份有限公司 無人機的控制裝置及其控制方法
WO2023211690A1 (en) * 2022-04-27 2023-11-02 Snap Inc. Landing an autonomous drone with gestures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502879A (ja) 2013-12-13 2017-01-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人機を発射および着陸させるための方法
JP2017185928A (ja) 2016-04-07 2017-10-12 カシオ計算機株式会社 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム
WO2018023727A1 (en) 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. Methods and associated systems for communicating with/controlling moveable devices by gestures
WO2018128788A1 (en) 2017-01-04 2018-07-12 Nanotek Instruments, Inc. Flexible and shape-conformal rope-shape supercapacitors

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2430615A2 (en) * 2009-05-08 2012-03-21 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
CN102236409A (zh) * 2010-04-30 2011-11-09 宏碁股份有限公司 基于影像的动作手势辨识方法及系统
KR101558031B1 (ko) * 2012-10-30 2015-10-06 삼성에스디에스 주식회사 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법
CN102938060A (zh) * 2012-12-07 2013-02-20 上海电机学院 动态手势识别系统及方法
US10139906B1 (en) * 2014-01-29 2018-11-27 Guiyu Bai Ring human-machine interface
CN104866083B (zh) * 2014-02-25 2020-03-17 中兴通讯股份有限公司 手势识别方法、装置和系统
US20160062473A1 (en) * 2014-08-29 2016-03-03 Hand Held Products, Inc. Gesture-controlled computer system
EP3101511A1 (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
US9836056B2 (en) * 2015-06-05 2017-12-05 Bao Tran Smart vehicle
EP3115926A1 (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Method for control using recognition of two-hand gestures
WO2017201697A1 (en) * 2016-05-25 2017-11-30 SZ DJI Technology Co., Ltd. Techniques for image recognition-based aerial vehicle navigation
EP3485462B1 (en) * 2016-07-12 2020-11-25 SZ DJI Technology Co., Ltd. Processing images to obtain environmental information
US10866631B2 (en) * 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
CN108121350B (zh) 2016-11-29 2021-08-24 腾讯科技（深圳）有限公司 一种控制飞行器降落的方法以及相关装置
CN114879720A (zh) * 2017-04-28 2022-08-09 深圳市大疆创新科技有限公司 无人飞行器的控制方法、设备及无人飞行器
US10591605B2 (en) * 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
WO2019144295A1 (zh) 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 一种飞行控制方法、设备、飞行器、系统及存储介质
CN109085885A (zh) * 2018-08-14 2018-12-25 李兴伟 智能戒指

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502879A (ja) 2013-12-13 2017-01-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人機を発射および着陸させるための方法
JP2017185928A (ja) 2016-04-07 2017-10-12 カシオ計算機株式会社 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム
WO2018023727A1 (en) 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. Methods and associated systems for communicating with/controlling moveable devices by gestures
WO2018128788A1 (en) 2017-01-04 2018-07-12 Nanotek Instruments, Inc. Flexible and shape-conformal rope-shape supercapacitors

Also Published As

Publication number Publication date
JP2020187716A (ja) 2020-11-19
TWI711560B (zh) 2020-12-01
CN111913493A (zh) 2020-11-10
US20200356113A1 (en) 2020-11-12
US11106223B2 (en) 2021-08-31
TW202041424A (zh) 2020-11-16

Similar Documents

Publication Publication Date Title
US11726498B2 (en) Aerial vehicle touchdown detection
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
JP7325264B2 (ja) 無人航空機を着地させる装置および方法
US11749124B2 (en) User interaction with an autonomous unmanned aerial vehicle
US11584525B2 (en) Deep learning-based localization of UAVs with respect to nearby pipes
US20240203139A1 (en) Systems and methods for depth map sampling
US10019907B2 (en) Unmanned aerial vehicle obstacle detection and avoidance
US10671066B2 (en) Scanning environments and tracking unmanned aerial vehicles
JP6029446B2 (ja) 自律飛行ロボット
CN111615677B (zh) 一种无人机的安全降落方法、装置、无人机及介质
JP5990453B2 (ja) 自律移動ロボット
WO2018058307A1 (en) Systems and methods for initialization of target object in a tracking system
EP2366131A1 (en) Method and system for facilitating autonomous landing of aerial vehicles on a surface
JP6140458B2 (ja) 自律移動ロボット
JP2021039744A (ja) 航空機をナビゲートするための飛行経路を生成するためのシステムと方法
KR20200027087A (ko) 로봇 및 그의 제어 방법
JP6014484B2 (ja) 自律移動ロボット
Prates et al. Vision-based UAV detection and tracking using motion signatures
Saripalli et al. An experimental study of the autonomous helicopter landing problem
WO2019067083A1 (en) PROPELLER CONTACT AVOIDANCE IN AN AIR VEHICLE WITHOUT PILOT
US20220214700A1 (en) Control method and device, and storage medium
KR102270715B1 (ko) 무인 비행체 및 그 자동 착륙 방법
US20180365854A1 (en) Information processing apparatus, moving object, information processing method, and computer program product
JP7226553B2 (ja) 情報処理装置、データ生成方法、及びプログラム
Abdulov et al. Problems solved during AEROBOT-2021 UAV challenge

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230801

R150 Certificate of patent or registration of utility model

Ref document number: 7325264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150