JP7296554B2 - 無人飛行体、情報処理方法およびプログラム - Google Patents

無人飛行体、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7296554B2
JP7296554B2 JP2021501539A JP2021501539A JP7296554B2 JP 7296554 B2 JP7296554 B2 JP 7296554B2 JP 2021501539 A JP2021501539 A JP 2021501539A JP 2021501539 A JP2021501539 A JP 2021501539A JP 7296554 B2 JP7296554 B2 JP 7296554B2
Authority
JP
Japan
Prior art keywords
target
sound
person
quality
flying object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021501539A
Other languages
English (en)
Other versions
JPWO2020170489A1 (ja
Inventor
俊介 久原
一暢 小西
ステファン ウィリアム ジョン
勝彦 浅井
和夫 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020170489A1 publication Critical patent/JPWO2020170489A1/ja
Application granted granted Critical
Publication of JP7296554B2 publication Critical patent/JP7296554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/01Noise reduction using microphones having different directional characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2440/00Bending wave transducers covered by H04R, not provided for in its groups

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本開示は、無人飛行体、情報処理方法およびプログラムに関する。
特許文献1には、バックグラウンドマイクロフォンによって収集された音声データからバックグラウンドノイズを除去する処理を行う無人航空機が開示されている。
特表2017-502568号公報
しかしながら、特許文献1の技術では、音源への安全性が考慮されていないため、安全性を確保した上で収音品質を向上することが難しい場合がある。
そこで本開示では、音源への安全性を確保した上で収音品質を向上することができる無人飛行体、情報処理方法およびプログラムを提供する。
本開示に係る無人飛行体は、無人飛行体であって、音データを生成するマイクロフォンを少なくとも含むセンサと、プロセッサと、を備え、前記プロセッサは、前記マイクロフォンが生成する音データを用いて、ターゲット音の品質を特定し、前記センサが生成するデータを用いて、前記無人飛行体と前記ターゲット音の音源との位置関係を取得し、前記ターゲット音の品質と前記位置関係とに基づいて、前記音源の目標とする移動先を決定し、前記音源に前記移動先へ移動を促すターゲット移動情報を提示する。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示に係る無人飛行体、情報処理方法およびプログラムは、音源への安全性を確保した上で収音品質を向上することができる。
図1は、実施の形態に係る無人飛行体の構成の一例を示すブロック図である。 図2は、実施の形態に係る無人飛行体の動作の一例を示すフローチャートである。 図3は、実施の形態に係る無人飛行体の動作の具体例を示すフローチャートである。 図4は、移動先の決定方法を説明するための図である。 図5Aは、移動先の一例を示す図である。 図5Bは、移動先の他の一例を示す図である。 図6は、ターゲット移動情報としてターゲット音の品質が目標品質以上となり、かつ、音源への安全性が確保された領域を示す情報の一例を示す図である。 図7は、ターゲット移動情報としてターゲット音の品質が目標品質以上となり、かつ、音源への安全性が確保された領域の境界を示す情報の一例を示す図である。 図8は、ターゲット移動情報としてターゲット音の品質が目標品質以上となり、かつ、音源への安全性が確保された領域の境界を示す情報の他の一例を示す図である。 図9は、ターゲット移動情報として移動先への移動方向を示す情報の一例を示す図である。 図10は、ターゲット移動情報として移動先への移動ルートを示す情報の一例を示す図である。 図11Aは、ターゲット移動情報として移動先への移動が完了したか否かを示す情報(音)の一例を示す図である。 図11Bは、ターゲット移動情報として移動先への移動が完了したか否かを示す情報(音)の他の一例を示す図である。 図12Aは、ターゲット移動情報として移動先への移動が完了したか否かを示す情報(光)の一例を示す図である。 図12Bは、ターゲット移動情報として移動先への移動が完了したか否かを示す情報(光)の他の一例を示す図である。 図13Aは、人の位置に応じたターゲット移動情報の提示方法の第一例を説明するための図である。 図13Bは、人の位置に応じたターゲット移動情報の提示方法の第一例を説明するための図である。 図13Cは、人の位置に応じたターゲット移動情報の提示方法の第一例を説明するための図である。 図14Aは、人の位置に応じたターゲット移動情報の提示方法の第二例を説明するための図である。 図14Bは、人の位置に応じたターゲット移動情報の提示方法の第二例を説明するための図である。 図15Aは、人の位置に応じたターゲット移動情報の提示方法の第三例を説明するための図である。 図15Bは、人の位置に応じたターゲット移動情報の提示方法の第三例を説明するための図である。 図15Cは、人の位置に応じたターゲット移動情報の提示方法の第三例を説明するための図である。 図16Aは、人の位置に応じたターゲット移動情報の提示方法の第四例を説明するための図である。 図16Bは、人の位置に応じたターゲット移動情報の提示方法の第四例を説明するための図である。 図17は、人の位置に応じたターゲット移動情報の提示方法の第五例を説明するための図である。 図18Aは、人の位置に応じたターゲット移動情報の提示方法の第六例を説明するための図である。 図18Bは、人の位置に応じたターゲット移動情報の提示方法の第六例を説明するための図である。 図19Aは、人の位置に応じたターゲット移動情報の提示方法の第七例を説明するための図である。 図19Bは、人の位置に応じたターゲット移動情報の提示方法の第七例を説明するための図である。 図20は、人の位置に応じたターゲット移動情報の提示方法の第八例を説明するための図である。 図21は、マイクロフォンの指向範囲に応じたターゲット移動情報の提示方法の一例を説明するための図である。 図22Aは、実施の形態に係る無人飛行体が発音量変更情報を提示する際の状況の一例を示す図である。 図22Bは、実施の形態に係る無人飛行体が発音量変更情報を提示する際の状況の他の一例を示す図である。
(本開示の基礎となった知見)
特許文献1に記載されている無人航空機は、上述したように、無人航空機が有する回転翼などの推進ユニットから生じるバックグラウンドノイズを、収集された音声データから除去する処理を行っている。しかしながら、この無人航空機は、音声データを収集する対象となる音源との間の相対的な位置関係を考慮していない。このため、無人航空機が備える、音源からのターゲット音声を検出する音源収集マイクロフォンが、効果的に収音することができる収音範囲内に、音源が含まれていない場合が生じる。このように、音源収集マイクロフォンの収音範囲内に、音源が含まれていない場合、ターゲット音声を音源収集マイクロフォンによって効率よく収音することができないため、相対的にバックグラウンドノイズの方を大きく収集することになる。これにより、音源収集マイクロフォンで得られる音声データのノイズ成分が相対的に大きくなるため、収音品質(例えば、収音データのSN(Signal Noise)比)が低下する。よって、得られた音声データに、バックグラウンドノイズを除去する処理を行ったとしても、高品質な音声データを得ることは難しい。
そこで、音源からのターゲット音をバックグラウンドノイズよりも相対的に大きく収集するために、無人航空機を音源に近づけて音声データを収集することが考えられる。無人航空機を音源に近づける方向に移動させ、音源に近い位置で音声データを収集させる場合、無人航空機が制御不能となったり、無人航空機の推進力を発生させているアクチュエータに不具合が発生したりすれば、音源に向かって無人航空機が落下するおそれがある。このため、例えば音源を防護ネットで囲うなどの安全対策をすることで、音源の安全を確保する必要がある。つまり、防護ネットを製造し、設置するためのエネルギーまたはコストを余分に費やさないと、音源の安全性の確保が難しい。また、無人航空機は、その飛行音が大きく、また、回転翼が高速で回転していることから、人に威圧感を与え得る。このため、音源(例えば人)は、無人航空機がどれくらい接近してくるのかがわからないため、無人航空機が接近してくる際に不安に感じる場合がある。
このような問題を解決するために、本開示の一態様に係る無人飛行体は、無人飛行体であって、音データを生成するマイクロフォンを少なくとも含むセンサと、プロセッサと、を備え、前記プロセッサは、前記マイクロフォンが生成する音データを用いて、ターゲット音の品質を特定し、前記センサが生成するデータを用いて、前記無人飛行体と前記ターゲット音の音源との位置関係を取得し、前記ターゲット音の品質と前記位置関係とに基づいて、前記音源の目標とする移動先を決定し、前記音源に前記移動先へ移動を促すターゲット移動情報を提示する。
例えば、ターゲット音の品質が悪い場合に、無人飛行体が音源に対して、単に無人飛行体に接近するように促すだけだと、音源はどの程度無人飛行体に接近してよいかわからず、音源と無人飛行体とが衝突するような距離にまで接近してしまうおそれがある。もしくは、音源はどの程度無人飛行体に接近してよいかわからず、収音品質を向上できる距離の手前で接近を終えてしまう可能性がある。これに対して、本開示によれば、ターゲット音の品質と、無人飛行体と音源との位置関係とに基づいて、音源の目標とする移動先が決定され、音源は当該移動先へ移動を促される。つまり、音源に対して、単に無人飛行体に接近するように促すのではなく、特定の目標移動先に向けて移動するように促されるため、音源が無人飛行体に接近し過ぎて危険な状態になったり、音源が無人飛行体にあまり接近せず収音品質が低下したりすることを抑制できる。このように、音源への安全性を確保した上で収音品質を向上することができる。
また、前記プロセッサは、前記ターゲット音の品質が予め定められた目標品質よりも低い場合に、前記音源を前記無人飛行体に接近させることを示す前記ターゲット移動情報を提示するとしてもよい。
これによれば、ターゲット音の品質が予め定められた目標品質よりも低い場合に、音源が無人飛行体に接近するようにして移動先への移動が促されるため、収音品質を向上することができる。
また、前記プロセッサは、さらに、前記無人飛行体からの所定距離を示す距離情報を取得し、前記距離情報と前記ターゲット音の品質とに基づいて、前記無人飛行体から前記所定距離離れた位置よりも前記無人飛行体に近づかないように前記ターゲット移動情報を決定するとしてもよい。
これによれば、距離情報が示す所定距離を超えて音源が無人飛行体に接近しないように促すことができ、音源への安全性を確保できる。
また、前記プロセッサは、前記ターゲット音の品質と前記位置関係と前記距離情報とに基づいて、前記無人飛行体に対して前記所定距離よりも離れた前記移動先を決定するとしてもよい。
これによれば、無人飛行体に対して所定距離よりも近くに移動先が決定されないため、音源への安全性を確保できる。
また、前記無人飛行体は、さらに、前記マイクロフォンの向き、および、前記無人飛行体から外向きへの前記マイクロフォンの突出量の少なくとも一方を変更するアクチュエータを備え、前記プロセッサは、さらに、前記音源が移動した後も前記ターゲット音の品質が前記目標品質よりも低い場合、前記アクチュエータを制御することで、前記マイクロフォンの向きおよび前記突出量の少なくとも一方を変更するとしてもよい。
これによれば、マイクロフォンの向きまたは突出量を変更することで、例えば、音源にさらに移動を促したり、発音量を変更するように促したりすることなく、収音品質を向上することができる。
また、前記プロセッサは、前記音源が前記移動先に移動した後も前記ターゲット音の品質が予め定められた目標品質よりも低い場合、または前記音源が前記移動先へ移動できない場合、前記音源に発音量の変更を促す発音量変更情報を提示するとしてもよい。
これによれば、音源が移動先に移動したにも関わらず収音品質が低い場合、または、音源が移動先に移動できずに収音品質が低い場合であっても、音源に発音量を変更するように促す(具体的には声を大きくするように促す)ことで、収音品質を向上することができる。
また、前記プロセッサは、前記ターゲット音の品質が予め定められた目標品質よりも高い場合、前記音源を前記無人飛行体から遠ざけることを示す前記ターゲット移動情報を提示するとしてもよい。
これによれば、安全性の観点から音源は無人飛行体からなるべく離れていることが好ましい。このため、ターゲット音の品質が目標品質よりも高く収音品質が十分な場合には、音源を無人飛行体から遠ざけることで、安全性をより高めることができる。
また、前記移動先は、前記音源が移動した後の前記ターゲット音の品質が予め定められた目標品質以上となる位置または領域を含むとしてもよい。
これによれば、音源が移動先へ移動を促されて移動先に移動することで、ターゲット音の品質を予め定められた目標品質以上とすることができ、収音品質を向上することができる。
また、前記移動先は、前記音源が移動した後の前記ターゲット音の品質が予め定められた目標品質以上となり、かつ、前記無人飛行体から所定距離離れた位置または領域を含むとしてもよい。
これによれば、移動先には、無人飛行体から無人飛行体に対する接近が禁止される距離内の位置または領域が含まれないため、安全性を確保しつつ、収音品質を向上することができる。
また、前記ターゲット移動情報は、前記音源を前記移動先に誘導する情報を含むとしてもよい。
これによれば、音源は、移動先に迷わず移動することができる。
また、前記ターゲット移動情報は、前記音源の現在位置から前記移動先への移動方向を示す情報を含むとしてもよい。
これによれば、音源は、提示された移動方向を示す情報に誘導されて、移動先に迷わず移動することができる。
また、前記ターゲット移動情報は、前記音源の前記移動先への移動ルートを示す情報を含むとしてもよい。
これによれば、音源は、提示された移動ルートを示す情報に誘導されて、移動先に迷わず移動することができる。
また、前記ターゲット移動情報は、前記音源の前記移動先への移動が完了したか否かを示す情報を含むとしてもよい。
これによれば、音源は、音源の移動先への移動が完了したか否かを示す情報に誘導されて、移動先への移動が完了したか否かを認識することができる。
また、前記プロセッサは、通信を介して前記無人飛行体の外部の提示装置に前記ターゲット移動情報を提示するとしてもよい。
これによれば、音源は、例えば音源が有する携帯端末等の提示装置を確認しながら移動先へ移動できる。
また、前記プロセッサは、環境を認識し、前記環境に応じた提示手段を用いて前記ターゲット移動情報を提示するとしてもよい。
これによれば、環境によっては音源が認識しにくい提示手段があるため、環境に適した提示手段によってターゲット移動情報が提示されることで、音源はターゲット移動情報を認識しやすくなる。
また、前記センサはさらに、画像データを生成するイメージセンサを含み、前記プロセッサは、前記画像データを用いて前記位置関係を取得するとしてもよい。
これによれば、画像データによって、精度が高い位置関係を取得することができる。
また、前記センサはさらに、測距データを生成する測距センサを含み、前記プロセッサは、前記測距データを用いて前記位置関係を取得するとしてもよい。
これによれば、測距データによって、精度が高い位置関係を取得することができる。
また、前記位置関係は、前記無人飛行体と前記音源と間の距離および前記無人飛行体に対する前記音源の位置の少なくともいずれか1つであるとしてもよい。
また、本開示の一態様に係る情報処理方法は、音データを生成するマイクロフォンを少なくとも含むセンサと、プロセッサと、を備える無人飛行体の前記プロセッサが行う情報処理方法であって、前記マイクロフォンが生成する音データを用いて、ターゲット音の品質を判定し、前記センサが生成するデータを用いて、前記無人飛行体と前記ターゲット音の音源との位置関係を取得し、前記ターゲット音の品質と前記位置関係とに基づいて、前記音源の目標とする移動先を決定し、前記音源に前記移動先へ移動を促すターゲット移動情報を提示する。
これによれば、音源への安全性を確保した上で収音品質を向上することができる情報処理方法を提供できる。
また、本開示の一態様に係るプログラムは、上記の情報処理方法を前記プロセッサに実行させるためのプログラムである。
これによれば、音源への安全性を確保した上で収音品質を向上することができるプログラムを提供できる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る無人飛行体について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
以下、図1から図22Bを用いて実施の形態について説明する。
[1.構成]
図1は、実施の形態に係る無人飛行体100の構成の一例を示すブロック図である。
図1に示されるように、無人飛行体100は、プロセッサ101、発光部106a、スピーカ106b、通信IF109、発生器110、センサ120およびメモリ130を備える。なお、図1には、1つの発生器110を示しているが、無人飛行体100は、例えば、2つ以上の発生器110を備えていてもよい。
無人飛行体100は、ドローン、無人航空機またはUAV(Unmanned Aerial Vehicle)とも表現される。無人飛行体100は、例えば、コミュニケーションツールとして活用される。無人飛行体100は、例えば、人等が発した音声の収音が可能であり、さらに、人等の撮影が可能であってもよい。無人飛行体100は、コントローラ(例えばプロポ等)へのユーザによる操作に応じた操作信号をコントローラから受信し、受信した操作信号に応じて飛行する。また、無人飛行体100は、飛行している状態において、受信した操作信号に応じて無人飛行体100が備えるイメージセンサ107を用いて撮像してもよい。イメージセンサ107により生成された画像データは、後述する携帯端末等の無人飛行体100の外部の提示装置に送信されてもよい。
発生器110は、無人飛行体100を飛行させる力を発生させる。発生器110は、具体的には、気流を発生させることで無人飛行体100を飛行させる力を発生させる。発生器110は、回転することで気流を発生させる回転翼111と、回転翼111を回転させるアクチュエータ112とを有する。回転翼111およびアクチュエータ112は、無人飛行体100が水平面に設置されている状態において鉛直方向に略平行な回転軸を有し、上方から下方に向かって流れる気流を発生させる。これにより、発生器110は、無人飛行体100が上方に浮上する推力を発生し、無人飛行体100を飛行させる力を発生させる。アクチュエータ112は、例えば、モータである。
プロセッサ101は、無人飛行体100の制御のための情報処理を行う電気回路であり、例えば、マイクロプロセッサ等であってもよい。プロセッサ101は、加速度センサ103、ジャイロセンサ104、マイクロフォン105、イメージセンサ107、測距センサ108などにより検出された検出結果、GPS(Global Positioning System)受信機102または通信IF109による受信結果などを取得し、取得した検出結果または受信結果に対して、ROM、RAM等のメモリ130に記憶されている所定のプログラムを実行することで各種処理を実行する。これにより、プロセッサ101は、発生器110、発光部106aおよびスピーカ106bのうちの少なくとも1つを制御する。また、メモリ130は、後述する接近禁止距離情報を記憶している。なお、説明上、1つのメモリ130を示しているが、無人飛行体100は、複数のメモリを備えていてもよい。つまり、例えば、所定のプログラムが記憶されるメモリと接近禁止距離情報が記憶されるメモリとは同じメモリでなくてもよい。
GPS受信機102は、GPS衛星を含む人工衛星から当該GPS受信機102の位置を示す情報を受信する。つまり、GPS受信機102は、無人飛行体100の現在位置を検出する。GPS受信機102は、検出された無人飛行体100の現在位置をプロセッサ101またはメモリ130に逐次出力する。
加速度センサ103は、無人飛行体100の異なる3方向のそれぞれにかかる加速度を検出するセンサである。
ジャイロセンサ104は、無人飛行体100の異なる3方向を軸とした3軸周りそれぞれの回転における角速度を検出するセンサである。
マイクロフォン105は、例えば、特定の方向を基準とする所定の角度範囲である収音範囲において、収音範囲以外の角度範囲よりも高品質な音を収音することができる特性の指向性を有するマイクロフォンであり、センサ120に含まれる。所定の角度範囲は、例えば、90°以下の角度範囲であり、マイクロフォン105の位置を基準とした広がりを有する3次元的な角度範囲である。マイクロフォン105は、複数のマイクロフォン素子を有するマイクロフォンアレイであってもよい。マイクロフォン105は、収音することで音データを逐次生成し、逐次生成された音データをプロセッサ101またはメモリ130に逐次出力する。メモリ130に音データが出力された場合、メモリ130は、出力された音データを逐次記憶する。このとき、メモリ130は、例えば、現在時刻を示す時刻情報と対応付けて音データを記憶してもよい。
イメージセンサ107は、レンズなどの光学系と共にカメラを構成し、センサ120に含まれる。イメージセンサ107は、撮像することで画像データを逐次生成し、逐次生成された画像データをプロセッサ101またはメモリ130に逐次出力する。メモリ130に画像データが出力された場合、メモリ130は、出力された画像データを逐次記憶する。このとき、メモリ130は、例えば、現在時刻を示す時刻情報と対応付けて画像データを記憶してもよい。
測距センサ108は、測距センサ108から周囲の物体までの距離を検出し、センサ120に含まれる。測距センサ108は、例えば、超音波センサ、TOF(Time Of Flight)カメラ、LIDAR(Light Detection and Ranging)などである。測距センサ108により生成される測距データは、測距センサ108を基準とした方向と、当該方向における周囲の物体までの距離とが対応付けられたデータであってもよい。測距センサ108は、無人飛行体100の規定の位置に固定されている。このため、当該規定の位置と、無人飛行体100の本体の中心の位置などのような無人飛行体100の基準位置との位置関係は、固定された関係にある。よって、測距センサ108の検出結果を用いることで、無人飛行体100は、無人飛行体100の基準位置と周囲の物体との間の位置関係を算出することができる。測距センサ108は、測距することで測距データを逐次生成し、生成された測距データをプロセッサ101またはメモリ130に逐次出力する。メモリ130に測距データが出力された場合、メモリ130は、出力された測距データを逐次記憶する。このとき、メモリ130は、例えば、現在時刻を示す時刻情報と対応付けて測距データを逐次記憶してもよい。なお、無人飛行体100には、複数の測距センサ108が無人飛行体100の異なる複数の位置に配置されていてもよい。これにより、複数の測距センサ108は、無人飛行体100から異なる複数の方向にある物体までの距離を検出することができる。
発光部106aは、例えばLEDであってもよく、光を出力して発光する。また、例えば、発光部106aは、地面等に光を照射するプロジェクタ等であってもよく、照射された光によって地面に画像または文字等が描かれてもよい。
スピーカ106bは、音を出力する。
通信IF109は、コントローラまたは携帯端末等との間で通信する通信インタフェースである。通信IF109は、例えば、コントローラが発する送信信号を受信するための通信インタフェースを含む。また、通信IF109は、携帯端末との間で無線通信するための通信インタフェース、つまり、通信IF109は、例えば、IEEE802.11a、b、g、n、ac、ax規格に適合した無線LAN(Local Area Network)インタフェースを含んでいてもよい。
プロセッサ101は、機能構成要素として、収音処理部101a、品質特定部101b、位置関係取得部101c、移動先決定部101d、飛行制御部101e、移動誘導部101fを備える。なお、上記各処理部は、センサ120から逐次検出された検出データ、他の処理部により逐次実行された処理結果などを用いて処理を逐次実行し、得られた処理結果を予め定められた出力先に逐次出力する。
収音処理部101aは、マイクロフォン105が収音することで生成した音データを取得し、取得された音データに対して所定の音処理を実行する。収音処理部101aは、ノイズ処理部101aaと、騒音レベル演算部101abとを有する。ノイズ処理部101aaは、取得された音データに対して、音源分離処理を行うことで、無人飛行体100の飛行に関わる騒音と、ターゲット音とを分離する。無人飛行体100の飛行に関わる騒音(以下、「騒音」という。)とは、例えば、無人飛行体100の発生器110が駆動することにより生じる騒音である。ノイズ処理部101aaは、例えば、任意の方向への指向性を得るための指向性フィルタを、マイクロフォン105が有するマイクロフォン素子から得られた音声信号に適用することで、騒音、または、ターゲット音を抽出する。これにより、騒音と、ターゲット音とが分離される。次に、騒音レベル演算部101abは、ノイズ処理部101aaにより分離された騒音の音圧レベルと、ノイズ処理部101aaにより分離されたターゲット音の音圧レベルとを算出する。これにより、収音処理部101aでは、マイクロフォン105が収音することで生成した音データについて、当該音データに含まれる騒音と、ターゲット音とが抽出される。なお、騒音レベル演算部101abは、所定の周波数帯の音成分をフィルタリングする所定の音処理を実行することで、音データに含まれる騒音を低減してもよい。所定の周波数帯の音成分は、例えば、発生器110の回転翼111が回転することで発生する騒音の周波数帯である。
品質特定部101bは、マイクロフォン105が生成する音データを用いて、ターゲット音の品質を特定する。品質特定部101bは、収音処理部101aにより得られた騒音の音圧レベルと、ターゲット音の音圧レベルとを用いて、ターゲット音の品質を特定する。具体的には、品質特定部101bは、ターゲット音の品質が予め定められた目標品質よりも高いか低いかを判定する。より具体的には、品質特定部101bは、騒音の音圧レベルと、ターゲット音の音圧レベルとを用いて、ターゲット音の騒音に対するSN比を、ターゲット音の品質を判定するための指標として算出する。そして、品質特定部101bは、予め定められた目標品質として、ターゲット音と騒音とを用いて算出されるSN比を用いて算出された目標SN比を取得し、取得された目標SN比と算出されたSN比とを比較することで、ターゲット音の品質を判定する。ここで、目標SN比は、基準SN比を基準としたSN比の範囲であってもよい。例えば、目標SN比は、基準SN比を基準とする±1dBの範囲であってもよい。なお、目標SN比は、メモリ130に予め記憶されていてもよいし、外部装置に記憶されていてもよい。つまり、品質特定部101bは、メモリ130から目標SN比を読み出すことで取得してもよいし、通信IF109を介して外部装置から目標SN比を取得してもよい。
品質特定部101bは、SN比が目標SN比より高いか低いかを判定し、SN比が目標SN比より高い場合、つまり、SN比が当該目標SN比の範囲の上限より高い場合、品質が高いと判定する。品質特定部101bは、SN比が目標SN比より低い場合、つまり、SN比が当該目標SN比の下限より低い場合、品質が低いと判定する。
位置関係取得部101cは、センサ120が生成するデータを用いて、無人飛行体100とターゲット音の音源(以下、「音源」という)との位置関係を取得する。具体的には、位置関係取得部101cは、マイクロフォン105により出力された音データ、イメージセンサ107により出力された画像データ、および、測距センサ108により出力された測距データのうちの少なくとも1つを用いて、当該位置関係を取得する。当該位置関係は、無人飛行体100と音源と間の距離および無人飛行体100に対する音源の位置の少なくともいずれか1つである。位置関係取得部101cは、取得された位置関係を移動先決定部101dに出力する。
位置関係取得部101cは、マイクロフォン105(例えばマイクロフォンアレイ)により生成された音データを用いて位置関係を取得する場合、当該音データを用いて、無人飛行体100を基準とする、音源の位置、および、音源までの距離のうちの少なくとも1つを位置関係として取得する。無人飛行体100を基準とする音源の位置とは、無人飛行体100に対する音源の相対位置である。無人飛行体100を基準とする音源までの距離とは、無人飛行体100から音源までの距離である。
また、位置関係取得部101cは、イメージセンサ107により生成された画像データを用いて位置関係を取得する場合、当該画像データを用いて、無人飛行体100を基準とする、音源の位置、および、音源までの距離のうちの少なくとも1つを取得する。例えば、位置関係取得部101cは、画像データへの画像処理により予め定められた音源の色、形状、種類などを認識することで、音源の位置、音源までの距離、および、音源方向の少なくとも一つを取得してもよい。
また、位置関係取得部101cは、測距センサ108により生成された測距データを用いて位置関係を取得する場合、当該測距データを用いて、無人飛行体100を基準とする、音源の位置、および、音源までの距離のうちの少なくとも1つを取得する。例えば、位置関係取得部101cは、測距データを用いて三次元モデルを構成し、構成された三次元モデルから音源の三次元形状を認識することで、音源の位置、音源までの距離、および、音源方向の少なくとも1つを取得してもよい。
音源は、例えば、人であってもよいし、人によって位置を変更できるスピーカであってもよいし、人によって位置を変更できる車両であってもよい。
移動先決定部101dは、品質特定部101bによって特定されたターゲット音の品質と位置関係取得部101cによって取得された位置関係とに基づいて、音源の目標とする移動先を決定する。具体的には、移動先決定部101dは、ターゲット音の品質と位置関係と距離情報(後述する接近禁止距離情報)とに基づいて、無人飛行体100に対して所定距離(後述する接近禁止距離)よりも離れた移動先を決定する。移動先は、例えば、一定の広さを有する領域であってもよいし、特定の位置(点)であってもよい。移動先は、音源が移動した後のターゲット音の品質が予め定められた目標品質以上となる位置または領域を含む。具体的には、移動先は、音源が移動した後のターゲット音の品質が予め定められた目標品質以上となり、かつ、無人飛行体100から所定距離離れた位置または領域を含む。
移動誘導部101fは、音源に移動先へ移動を促すターゲット移動情報を提示する。移動誘導部101fは、発光部106a、スピーカ106b、または、通信IF109を介して無人飛行体100と通信する外部の提示装置を用いてターゲット移動情報を提示する。ターゲット移動情報は、発光部106aから出力される光により実現されたり、スピーカ106bから出力される音声により実現されたり、外部の提示装置の表示パネル等に表示される文字もしくは画像等により実現されたりする。なお、無人飛行体100は表示パネル等を備えていてもよく、ターゲット移動情報は、当該表示パネル等に表示される文字または画像等により実現されてもよい。例えば、ターゲット移動情報は、音源を無人飛行体100に接近させることを示し、これにより音源に移動先へ移動を促す。例えば、ターゲット移動情報は、音源が移動した後のターゲット音の品質が予め定められた目標品質以上となる位置または領域を示す情報、または、音源を移動先に誘導する情報を含む。また、例えば、ターゲット移動情報は、音源を無人飛行体100から遠ざけることを示す場合があってもよい。
飛行制御部101eは、GPS受信機102による検出結果を取得して、無人飛行体100の現在位置を検出し、無人飛行体100の現在位置と、加速度センサ103およびジャイロセンサ104による検出結果から得られる無人飛行体100の飛行速度および飛行姿勢と、通信IF109により受信されたコントローラからの操作信号とに応じて、発生器110のアクチュエータ112の回転数を制御することにより、無人飛行体100の飛行状態を制御する。つまり、飛行制御部101eは、ユーザによるコントローラへの操作に応じて、無人飛行体100の飛行状態を制御する制御を行う。
[2.動作]
次に、実施の形態に係る無人飛行体100の動作について説明する。
図2は、実施の形態に係る無人飛行体100の動作の一例を示すフローチャートである。なお、以下では、プロセッサ101の各機能構成要素の動作を、プロセッサ101の動作として説明する。
上述したように、プロセッサ101は、マイクロフォン105が生成する音データを用いて、ターゲット音の品質を特定し(ステップS11)、センサ120が生成するデータを用いて、無人飛行体100と音源との位置関係を取得し(ステップS12)、ターゲット音の品質と当該位置関係とに基づいて、音源の目標とする移動先を決定し(ステップS13)、音源に当該移動先へ移動を促すターゲット移動情報を提示する(ステップS14)。
以下では、無人飛行体100(プロセッサ101)の動作の具体例について説明する。
図3は、実施の形態に係る無人飛行体100の動作の具体例を示すフローチャートである。以下では、音源を人200とし、ターゲット音を人200の声として説明する。
まず、プロセッサ101は、人200の音声を収音するために予め決められた収音位置に無人飛行体100を移動させる(ステップS21)。収音位置は、例えば、人200から予め定められた距離(例えば5m~10m等)離れた位置であり、人200の声を収音できる距離である。予め定められた距離は、例えば、マイクロフォン105の感度等に応じて決定される。また、収音位置において収音される人200の声は、騒音と区別できる声であればよく、当該声がどのような内容であるかを認識できるレベルの声でなくてもよい。つまり、収音位置において、人200の声が収音されていると認識されればよい。
次に、プロセッサ101は、収音位置において収音を開始する(ステップS22)。なお、無人飛行体100が収音位置に到達する前から収音が開始されてもよい。例えば、無人飛行体100は、巡回をしながら収音をしてもよい。
次に、プロセッサ101は、人200の声を検知したか否かを判定する(ステップS23)。上述したように、プロセッサ101は、人200の声がどのような内容であるかを認識できなくてもよく、人200の声が収音されたか否かを判定する。例えば、プロセッサ101は、特定の人200の声を区別して検知してもよく、その場合、プロセッサ101は、音声認識機能を有していてもよい。
プロセッサ101は、人200の声を検知していないと判定した場合(ステップS23でNo)、例えば、収音位置において人200の声が検知されるまで待つ。なお、人200が声を発してはいるが、その声が小さすぎてプロセッサ101が人200の声を検知できていない場合もある。そこで、プロセッサ101は、例えば所定時間経過しても人200の声を検知できない場合には、人200に発音量の変更を促す発音量変更情報を提示してもよい。例えば、プロセッサ101は、スピーカ106bから人200に発音量を大きくするように促す音声を出力させてもよいし、発光部106aから人200に発音量を大きくするように促す文字等を示す光を地面に照射させてもよいし、外部の提示装置に発音量を大きくする旨の表示等をさせてもよい。
プロセッサ101は、人200の声を検知したと判定した場合(ステップS23でYes)、人200の声の品質を特定する(ステップS24)。
具体的には、プロセッサ101は、人200の声の品質が目標品質以上であるか否かを判定する(ステップS25)。なお、プロセッサ101は、ある瞬間の人200の声の品質が目標品質以上であるか否かを判定しなくてもよい。例えば、プロセッサ101は、人200が声を発し始めてからその発話が終わるまでの期間の人200の声の品質の平均が目標品質以上であるか否かを判定してもよい。人の声の音圧レベルにはゆらぎがあり、ある一瞬の人200の声の品質が目標品質よりも低くなったからといって、必ずしも人200の声の品質が悪いとは限らないためである。また、ある一瞬の人200の声の品質が目標品質よりも低くなった場合に、他の期間における品質が目標品質よりも高ければ、人200の発話の内容を補完できるためである。
プロセッサ101は、人200の声の品質が目標品質以上であると判定した場合(ステップS25でYes)、引き続き収音を続け、人の声の品質が目標品質よりも低くなったときに対応できるように、ステップS24およびステップS25での処理を繰り返す。
プロセッサ101は、人200の声の品質が目標品質よりも低いと判定した場合(ステップS25でNo)、人200と無人飛行体100との距離を測定し(ステップS26)、人200の目標とする移動先を決定する(ステップS27)。ここで、移動先の決定方法について図4を用いて説明する。
図4は、移動先の決定方法を説明するための図である。
図4に示されるように、例えば収音位置において、人200の声の音圧レベルが50dBと算出されたとする。また、例えば、騒音(例えば無人飛行体100の飛行音)が70dBであり、騒音に対する目標SN比が-14dBであった場合、目標品質として人200の声の収音に必要な音圧レベルは56dBとなる。このため、この場合、人200の声の品質が目標品質よりも低いと判定される。そして、図4に示されるように、人200と無人飛行体100との距離が4mと測定される。
プロセッサ101は、移動先として、人200の声の品質が目標品質以上となる位置または領域を決定する。つまり、プロセッサ101は、人200が移動先において声を発したときにその声の品質が目標品質以上となるような移動先を決定する。例えば、プロセッサ101は、距離が2倍になると音圧レベルが6dB減衰するという音の特性を利用して、移動先を決定する。つまり、人200の声の音圧レベルが無人飛行体100の位置において56dBとなるには人200と無人飛行体100とがどれくらい接近していればよいかを算出する。具体的には、人200が移動先に移動したときの人200と無人飛行体100との距離を以下の式1により算出できる。式1では人200と無人飛行体100との測定された距離をd、無人飛行体100が収音位置において収音した人200の声の音圧レベルをs、目標とする音圧レベル(目標品質)をTs、人200の声の品質が目標品質となるときの人200と無人飛行体100との距離(以下、目標収音距離ともいう)をTdとしている。
Figure 0007296554000001
d=4、s=50、Ts=56より、Td=2と算出される。つまり、移動先は、無人飛行体100から目標収音距離2m以内の位置または領域と決定される。
なお、無人飛行体100の位置で取得された人200の声の音圧レベルに基づいて移動先が計算されたが、計算方法はこれに限らない。例えば、人200の位置での人200が発した声の音圧レベルを推定して、人200の位置における人200の声の音圧レベルと音の減衰特性とから移動先が計算されてもよい。
このように、プロセッサ101は、人200の声の品質と人200と無人飛行体100との位置関係とに基づいて、人200の目標とする移動先を決定する。なお、プロセッサ101は、さらに、無人飛行体100から所定距離を示す距離情報を取得し、当該距離情報と人200の声の品質とに基づいて、無人飛行体100から所定距離離れた位置よりも無人飛行体100に近づかないようにターゲット移動情報を決定してもよい。そして、プロセッサ101は、人200の声の品質と上記位置関係と当該距離情報とに基づいて、無人飛行体100に対して所定距離よりも離れた移動先を決定してもよい。所定距離とは、無人飛行体100に対する接近が禁止される距離であり、言い換えると、無人飛行体100が制御不能となったときに、人200への安全性を確保できないような距離であり、例えば法規制等により定められる距離である。以下では、所定距離を接近禁止距離ともいい、所定距離(つまり接近禁止距離)を示す距離情報を接近禁止距離情報ともいう。
図3での説明に戻り、プロセッサ101は、目標収音距離が接近禁止距離より大きいか否かを判定する(ステップS28)。
プロセッサ101は、目標収音距離が接近禁止距離より大きいと判定した場合(ステップS28でYes)、人200を、無人飛行体100に対して接近禁止距離よりも離れており、かつ、無人飛行体100から目標収音距離内の移動先へ誘導する(ステップS29)。この場合の移動先について、図5Aを用いて説明する。
図5Aは、移動先の一例を示す図である。目標収音距離が接近禁止距離より大きい場合、移動先は、無人飛行体100に対して接近禁止距離よりも離れており、かつ、無人飛行体100から目標収音距離内の位置または領域となる。図5Aでは、このような移動先を領域で示しているが、移動先は当該領域内の任意の位置(点)であってもよい。
プロセッサ101は、目標収音距離が接近禁止距離以下であると判定した場合(ステップS28でNo)、人200を無人飛行体100から接近禁止距離離れた移動先へ誘導する(ステップS30)。この場合の移動先について、図5Bを用いて説明する。
図5Bは、移動先の他の一例を示す図である。目標収音距離が接近禁止距離以下である場合、移動先は、無人飛行体100に対して接近禁止距離離れた位置となる。この場合、人200が移動先に移動したとしても、無人飛行体100から目標収音距離内の位置にいないため、人200の声の品質は目標品質以上にはならないと予想される。この場合、人200の声の品質をなるべく高めつつも、人200が無人飛行体100から接近禁止距離内に進入しないようにして人200への安全性を優先させている。
プロセッサ101は、人200に移動先へ移動を促すターゲット移動情報を提示することで人200を移動先へ誘導するが、その誘導の方法については後述する。
ステップS25からステップS30での処理によって、プロセッサ101は、人200の声の品質が目標品質よりも低い場合に、人200を無人飛行体100に接近させることを示すターゲット移動情報を提示する。これにより、人200の声の品質が目標品質よりも低い場合に、人200が無人飛行体100に接近するようにして移動先への移動が促されるため、収音品質を向上することができる。ここでの収音品質は、例えば音圧レベルやSN比、音声認識の認識率を指す。
また、移動先として無人飛行体100から少なくとも接近禁止距離離れた位置または領域が決定されるため、接近禁止距離を超えて人200が無人飛行体100に接近しないように促すことができ、人200への安全性を確保できる。
以上のように本開示によれば、人200が無人飛行体100に接近し過ぎて危険な状態になったり、人200が無人飛行体100にあまり接近せず収音品質が低下したりすることを抑制でき、人200への安全性を確保した上で収音品質を向上することができる。
[3.誘導方法]
次に、人200を移動先へ誘導する方法について説明する。人200を移動先へ誘導する方法としては、ターゲット移動情報を、発光部106aに提示させる方法、スピーカ106bに提示させる方法、および、外部の提示装置に提示させる方法等がある。なお、無人飛行体100が表示パネル等を備えている場合には、ターゲット移動情報を表示パネルに提示させてもよい。以下、図6から図12Bを用いて誘導方法の様々なバリエーションについて説明する。
ターゲット移動情報は、例えば、人200が移動したときに人200の声の品質が目標品質以上となる位置または領域を示す情報を含む。具体的には、位置または領域は、無人飛行体100に対する接近が禁止される距離から人200の声の品質が目標品質以上となる距離までの位置または領域である。これについて、図6から図8を用いて説明する。
図6は、ターゲット移動情報としてターゲット音(人200の声)の品質が目標品質以上となり、かつ、音源(人200)への安全性が確保された領域を示す情報の一例を示す図である。
図6に示されるように、ターゲット移動情報300aは、人200の声の品質が目標品質以上となり、かつ、人200への安全性が確保された移動先に対応する領域の地面等に、発光部106aによって照射された光(光によって表された文字または画像等でもよい)である。つまり、プロセッサ101は、発光部106aに対して、無人飛行体100に対して接近禁止距離よりも離れており、かつ、無人飛行体100から目標収音距離内の領域の地面等に光を照射させることで、人200にターゲット移動情報300aを提示する。人200は、提示されたターゲット移動情報300aを見て、移動先として光が照射された領域に移動すればよいことを認識できる。
図7は、ターゲット移動情報としてターゲット音(人200の声)の品質が目標品質以上となり、かつ、音源(人200)への安全性が確保された領域の境界の位置を示す情報の一例を示す図である。なお、図7から後述する図10は人200および無人飛行体100を上空から見たときの図となっている。
図7に示されるように、ターゲット移動情報300bおよび300cは、人200の声の品質が目標品質以上となり、かつ、人200への安全性が確保された移動先に対応する領域の境界の位置の地面等に、発光部106aによって照射された例えば線状の光である。例えば、ターゲット移動情報300bは、無人飛行体100から目標収音距離離れた位置(目標収音距離の位置とも呼ぶ)上に照射された光であり、ターゲット移動情報300cは、無人飛行体100から接近禁止距離離れた位置(接近禁止距離の位置とも呼ぶ)上に照射された光である。つまり、プロセッサ101は、発光部106aに対して、接近禁止距離の位置、および、目標収音距離の位置に光を照射させることで、人200にターゲット移動情報300bおよび300cを提示する。人200は、提示されたターゲット移動情報300bを見て、移動先として光が照射された位置(ライン)よりも無人飛行体100側に移動すればよく、提示されたターゲット移動情報300cを見て、光が照射された位置(ライン)よりも無人飛行体100側に移動してはならないことを認識できる。
なお、ターゲット移動情報300bとターゲット移動情報300cとは、人200が目標収音距離および接近禁止距離のいずれを示すものであるかを区別できるように、異なる態様であってもよい。例えば、ターゲット移動情報300bとターゲット移動情報300cとで、照射される光の色が変えられたりライン幅が変えられたりしてもよい。また、発光部106aがターゲット移動情報300bおよび300cを同時に提示できない場合、ターゲット移動情報300bとターゲット移動情報300cとが交互に提示されたり、特定の条件に応じて、提示されるターゲット移動情報が切り替えられたりしてもよい(詳細は後述する図15Aから図15Cで説明する)。
図8は、ターゲット移動情報としてターゲット音(人200の声)の品質が目標品質以上となり、かつ、音源(人200)への安全性が確保された領域の境界を示す情報の他の一例を示す図である。
図8に示されるように、ターゲット移動情報300dおよび300eは、人200の声の品質が目標品質以上となり、かつ、人200への安全性が確保された移動先に対応する領域の境界の位置の地面等に、発光部106aによって照射された円状の光である。例えば、ターゲット移動情報300eは、無人飛行体100から目標収音距離離れた円周上に照射された光であり、ターゲット移動情報300dは、無人飛行体100から接近禁止距離離れた円周上に照射された光である。つまり、プロセッサ101は、発光部106aに対して、無人飛行体100に対して接近禁止距離離れている円周上、および、無人飛行体100に対して目標収音距離離れている円周上に光を照射させることで、人200にターゲット移動情報300dおよび300eを提示する。人200は、提示されたターゲット移動情報300eを見て、移動先として光が照射された円周よりも無人飛行体100側(内側)に移動すればよく、提示されたターゲット移動情報300dを見て、光が照射された円周よりも無人飛行体100側(内側)に移動してはならないことを認識できる。
なお、ターゲット移動情報300bおよび300cと同じように、ターゲット移動情報300dとターゲット移動情報300eとは、異なる態様であってもよいし、ターゲット移動情報300dとターゲット移動情報300eとが交互に提示されたり、特定の条件に応じて、提示されるターゲット移動情報が切り替えられたりしてもよい。また、ターゲット移動情報300dおよび300eは、無人飛行体100の周囲360度に提示されなくてもよく、無人飛行体100に対して人200が存在する方向に対応する部分にだけ提示されてもよい。無人飛行体100に対して人200が存在しない方向に対応する部分にターゲット移動情報が提示されたとしても、人200はあえて人200が存在しない方向に対応する部分まで移動する可能性が低いためである。
このように、ターゲット移動情報は、人200が移動したときに人200の声の品質が予め定められた目標品質以上となる位置または領域を示す情報を含む場合、人200の声の品質が目標品質以上となる位置または領域が提示されることで、人200は直感的に当該位置または領域に移動することができる。
また、上記位置または領域は、無人飛行体100に対する接近が禁止される距離から人200の声の品質が予め定められた目標品質以上となる距離までの位置または領域であることで、人200は、安全性を確保しつつ、収音品質を向上することができる位置または領域に直感的に移動することができる。
なお、プロセッサ101は、通信を介して無人飛行体100の外部の提示装置にターゲット移動情報を提示してもよい。例えば、プロセッサ101は、無人飛行体100から人200への方向であって、無人飛行体100の斜め下方向をイメージセンサ107によって撮影した画像に、目標収音距離の位置および接近禁止距離の位置を示すライン等を重畳した画像を外部の提示装置に提示してもよい。また、例えば、プロセッサ101は、無人飛行体100に設けられた表示パネル等にこのような画像を提示してもよい。
また、ターゲット移動情報は、例えば、人200を移動先に誘導する情報を含む。具体的には、ターゲット移動情報は、人200の現在位置から移動先への移動方向を示す情報、人200の移動先への移動ルートを示す情報、または、人200の移動先への移動が完了したか否かを示す情報を含む。これについて、図9から図12Bを用いて説明する。
まず、ターゲット移動情報が、人200の現在位置から移動先への移動方向を示す情報を含む場合について説明する。
図9は、ターゲット移動情報として移動先への移動方向を示す情報の一例を示す図である。
図9に示されるように、ターゲット移動情報300fは、人200の現在位置から移動先への移動方向を示し、人200と無人飛行体100との間の地面等に、発光部106aによって照射された光(光によって表された文字または画像等でもよい)である。人200は、提示された移動先に誘導するためのターゲット移動情報300fを見て、照射された光(矢印)が示す方向へ移動すればよいことを認識できる。なお、図9では、ターゲット移動情報300bおよび300cが提示されているが、提示されなくてもよい。ただし、ターゲット移動情報300bおよび300cも提示されることで、人200は最終的にどこまで移動すればよいか、また、どれ以上接近してはいけないかを認識しやすくなり、人200を移動先へより誘導しやすくなる。
次に、ターゲット移動情報が、人200の移動先への移動ルートを示す情報を含む場合について説明する。
図10は、ターゲット移動情報として移動先への移動ルートを示す情報の一例を示す図である。
図10に示されるように、ターゲット移動情報300gは、人200の移動先への移動ルートを示し、人200と無人飛行体100との間の地面等に、発光部106aによって照射された光(光によって表された文字または画像等でもよい)である。人200は、提示された移動先に誘導するためのターゲット移動情報300gを見て、照射された光に沿って移動すればよいことを認識できる。なお、移動ルートを示すターゲット移動情報300gは、人200から無人飛行体100へ向けて光が流れるように照射されてもよい。また、図10では、ターゲット移動情報300bおよび300cが提示されているが、提示されなくてもよい。ただし、ターゲット移動情報300bおよび300cも提示されることで、人200は最終的にどこまで移動すればよいか、また、どれ以上接近してはいけないかを認識しやすくなり、人200を移動先へより誘導しやすくなる。
なお、人200が移動しても人200の目の前にターゲット移動情報300fおよび300gが照射されるように、ターゲット移動情報300fおよび300gは、人200の位置に応じて照射される位置が調整される。
次に、ターゲット移動情報が、人200の移動先への移動が完了したか否かを示す情報を含む場合について説明する。
図11Aは、ターゲット移動情報として移動先への移動が完了したか否かを示す情報(音)の一例を示す図である。
ターゲット移動情報は、例えば、スピーカ106bによって出力された音であり、図11Aの左側に示されるように人200が移動先に到達していない場合には音が出力され、図11Aの右側に示されるように人200が移動先に到達した場合には音の出力が停止される。例えば、音が鳴っている間は無人飛行体100に接近するというルールが予め決められており、人200は、提示された移動先に誘導するためのターゲット移動情報(音)を聞いて、音が鳴っている間は移動先に到達できていないことを認識でき、無人飛行体100に接近する。人200は、無人飛行体100へ接近していき、音の出力が止まった時点で移動先に到達できたことを認識できる。なお、人200が接近禁止距離を超えて無人飛行体100に接近したときには、移動先に到達する前に出力された音とは音色または音程等の態様の異なる音が出力されてもよい。これにより、人200は、無人飛行体100に接近し過ぎていることを認識できる。
図11Bは、ターゲット移動情報として移動先への移動が完了したか否かを示す情報(音)の他の一例を示す図である。
ターゲット移動情報は、例えば、図11Aと同じように、スピーカ106bによって出力された音であるが、本例では、図11Bの左側に示されるように人200が移動先に到達していない場合には音が出力されず、図11Bの右側に示されるように人200が移動先に到達した場合には音が出力される。例えば、音が鳴っていない間は無人飛行体100に接近するというルールが予め決められており、人200は、移動先に誘導するためのターゲット移動情報(音)が鳴ったときに移動先に到達できたことを認識できる。なお、人200が接近禁止距離を超えて無人飛行体100に接近したときには、移動先に到達したときに出力された音とは音色または音程等の態様の異なる音が出力されてもよい。これにより、人200は、無人飛行体100に接近し過ぎていることを認識できる。
なお、図11Aおよび図11Bで説明した例では、音が出力されていないことが、移動先への移動が完了したか否かの判断に用いられたが、音が出力されていないことが当該判断に用いられなくてもよい。例えば、人200が移動先に到達していないとき、移動先に到達したとき、および、無人飛行体100に接近し過ぎたときのそれぞれにおいて互いに態様の異なる音が出力されてもよい。
図12Aは、ターゲット移動情報として移動先への移動が完了したか否かを示す情報(光)の一例を示す図である。
ターゲット移動情報は、例えば、発光部106a(例えばLED等)によって出力された光であり、図12Aの左側に示されるように人200が移動先に到達していない場合には光が出力され、図12Aの右側に示されるように人200が移動先に到達した場合には光の出力が停止される。例えば、発光している間は無人飛行体100に接近するというルールが予め決められており、人200は、提示された移動先に誘導するためのターゲット移動情報(光)を見て、発光している間は移動先に到達できていないことを認識でき、無人飛行体100に接近する。人200は、無人飛行体100へ接近していき、光の出力が止まった時点で移動先に到達できたことを認識できる。なお、人200が接近禁止距離を超えて無人飛行体100に接近したときには、移動先に到達する前に出力された光とは色または点滅の仕方等の態様の異なる光が出力されてもよい。これにより、人200は、無人飛行体100に接近し過ぎていることを認識できる。
図12Bは、ターゲット移動情報として移動先への移動が完了したか否かを示す情報(光)の他の一例を示す図である。
ターゲット移動情報は、例えば、図12Aと同じように、発光部106aによって出力された光であるが、本例では、図12Bの左側に示されるように人200が移動先に到達していない場合には光が出力されず、図12Bの右側に示されるように人200が移動先に到達した場合には光が出力される。例えば、発光していない間は無人飛行体100に接近するというルールが予め決められており、人200は、提示された移動先に誘導するためのターゲット移動情報(光)を見て、発光したときに移動先に到達できたことを認識できる。なお、人200が接近禁止距離を超えて無人飛行体100に接近したときには、移動先に到達したときに出力された光とは色または点滅の仕方等の態様の異なる光が出力されてもよい。これにより、人200は、無人飛行体100に接近し過ぎていることを認識できる。
なお、図12Aおよび図12Bで説明した例では、光が出力されていないことが、移動先への移動が完了したか否かの判断に用いられたが、光が出力されていないことが当該判断に用いられなくてもよい。例えば、人200が移動先に到達していないとき、移動先に到達したとき、および、無人飛行体100に接近し過ぎたときのそれぞれにおいて互いに態様の異なる光が出力されてもよい。
このように、ターゲット移動情報は、人200を移動先に誘導する情報を含むことで、人200は、移動先に迷わず移動することができる。
具体的には、ターゲット移動情報は、人200の現在位置から移動先への移動方向を示す情報を含むことで、人200は、提示された移動方向を示す情報に誘導されて、移動先に迷わず移動することができる。また、具体的には、ターゲット移動情報は、人200の移動先への移動ルートを示す情報を含むことで、人200は、提示された移動ルートを示す情報に誘導されて、移動先に迷わず移動することができる。また、具体的には、ターゲット移動情報は、人200の移動先への移動が完了したか否かを示す情報を含むことで、人200は、人200の移動先への移動が完了したか否かを示す情報に誘導されて、移動先への移動が完了したか否かを認識することができる。
なお、プロセッサ101は、人200に移動させる具体的な距離または歩数を示す音声をスピーカ106bから出力することで、人200を移動先へ誘導してもよい。例えば、「50cm無人飛行体の方に移動してください」、「3歩無人飛行体の方に近づいてください」といった音声が出力されてもよい。なお、プロセッサ101は、イメージセンサ107等を用いることで人200の身長を認識し、認識した身長から人200の歩幅を推定して、歩数を算出してもよい。
また、プロセッサ101は、移動先が重畳された地図もしくは画像、移動方向を示す画像もしくは音声、移動先までの距離を示す画像もしくは音声を外部の提示装置に提示させてもよい。また、プロセッサ101は、人200が移動先に到達したときに、人200が有する外部の提示装置から音もしくは光を出力させたり、外部の提示装置自身を振動させたりしてもよい。
このように、プロセッサ101は、通信を介して無人飛行体100の外部の提示装置にターゲット移動情報を提示すことで、人200は、例えば人200が有する携帯端末等の提示装置を確認しながら移動先へ移動できる。
なお、ターゲット移動情報は、人200の位置に応じて提示のされ方が変更されてもよい。人200の位置に応じたターゲット移動情報の提示方法について、第一例から第八例をあげて図13Aから図20を用いて説明する。なお、図13Aから図20は人200および無人飛行体100を上空から見たときの図となっている。
図13Aから図13Cは、人200の位置に応じたターゲット移動情報の提示方法の第一例を説明するための図である。なお、図13Aから図13Cにおいて、破線で示されるターゲット移動情報300bおよび300cは、表示されていないことを意味し、破線で表示されていることを意味しない。
例えば、人200の後方(人200に対して無人飛行体100とは反対側)の地面に光が照射された場合、人200は自身の後方に照射された光を視認することができないため、人200の後方に光を照射しても意味がない場合がある。また、そもそも、人200の後方に光を照射しようとしても、人200が障害となって人200の後方に光を照射できない場合がある。そこで、人200の位置に応じて人200の後方にはターゲット移動情報が提示されなくてもよい。
図13Aに示されるように、人200と無人飛行体100との距離が大きい場合には、目標収音距離の位置および接近禁止距離の位置は、人200と無人飛行体100との間に位置することになるため、ターゲット移動情報300bおよび300cは、人200の前方に提示される。
図13Bに示されるように、人200が目標収音距離の位置と接近禁止距離の位置との間の移動先へ到達した場合、目標収音距離の位置が人200の後方に位置するようになるため、ターゲット移動情報300bは提示されない。なお、人200が現在適切な移動先に位置していることを示すターゲット移動情報がさらに提示されてもよい。例えば、人200の手前の地面に「OK」と表示されるように光が照射されてもよい。
図13Cに示されるように、人200が無人飛行体100と、接近禁止距離の位置との間へ移動した場合、目標収音距離の位置および接近禁止距離の位置が人200の後方に位置するようになるため、ターゲット移動情報300bおよび300cは提示されない。なお、人200は、無人飛行体100に接近し過ぎており安全性を確保できないおそれがあるため、プロセッサ101は、人200を無人飛行体100から遠ざけることを示すターゲット移動情報300hを提示してもよい。図13Cに示されるように、ターゲット移動情報300hは、例えば、人200が無人飛行体100から離れる方向を示す矢印であり、人200は、ターゲット移動情報300hを見て、無人飛行体100から離れなければならないことを認識できる。
図14Aおよび図14Bは、人200の位置に応じたターゲット移動情報の提示方法の第二例を説明するための図である。
図6において説明したように、ターゲット移動情報300aは、人200の声の品質が目標品質以上となり、かつ、人200への安全性が確保された移動先に対応する領域の地面等に、発光部106aによって照射された光である。また、図13Aから図13Cでの説明と同じように、ターゲット移動情報が領域を示す情報であっても、人200の位置に応じて人200の後方にはターゲット移動情報が提示されなくてもよい。
図14Aに示されるように、人200と無人飛行体100との距離が大きい場合には、無人飛行体100から接近禁止距離離れ、かつ、目標収音距離以内の領域は、人200と無人飛行体100との間に位置することになるため、ターゲット移動情報300aは、人200の前方に提示される。
人200が目標収音距離の位置と接近禁止距離の位置との間の移動先へ到達した場合、図14Bに示されるように、ターゲット移動情報300aのうちの一部分は、人200の後方に位置するようになるため、当該一部分は提示されない。なお、人200が現在適切な移動先に位置していることがわかるように、人200が移動先に到達していないときと、移動先に到達しているときとでターゲット移動情報300aの態様が異なっていてもよい。
図15Aから図15Cは、人200の位置に応じたターゲット移動情報の提示方法の第三例を説明するための図である。なお、図15Aから図15Cにおいて、破線で示されるターゲット移動情報300bおよび300cは、表示されていないことを意味し、破線で表示されていることを意味しない。
例えば、ターゲット移動情報300bおよび300cの両方が提示されると、人200は、どちらに向かって移動すればよいのかわからなくなる場合がある。そこで、人200の位置に応じてターゲット移動情報300bおよび300cのいずれかが提示されてもよい。
図15Aに示されるように、人200と無人飛行体100との距離が大きい場合には、少なくともターゲット移動情報300bが提示された位置へ人200が移動すれば人200への安全性を確保した上で収音品質を向上することができる。このため、この場合、ターゲット移動情報300cは提示されない。これにより、人200が誤ってターゲット移動情報300cが提示された位置へ移動することを抑制できる。なお、ターゲット移動情報300bが提示された位置(つまり、目標収音距離の位置)よりも収音品質を向上でき、かつ、安全性を確保できる位置があれば、当該位置にターゲット移動情報が提示されてもよい。
図15Bに示されるように、人200が目標収音距離の位置と接近禁止距離の位置との間の移動先へ到達した場合、人200が接近禁止距離を超えて無人飛行体100に接近しないように、ターゲット移動情報300cが提示される。また、このとき、ターゲット移動情報300bは提示されなくなる。
なお、人200が目標収音距離の位置と接近禁止距離の位置との間の移動先へ到達した場合であっても、ターゲット移動情報300cが提示されなくてもよい。人200が目標収音距離の位置を超えた後すぐに新たなターゲット移動情報300cが提示されれば、人200は誤解してターゲット移動情報300cが示す位置を超えて移動しようとする可能性があるためである。このため、例えば、図15Cに示されるように、人200がさらに無人飛行体100に接近していき、接近禁止距離の位置付近に接近したときにターゲット移動情報300cが提示されてもよい。これにより、ターゲット移動情報300cが提示されにくくなるため、小電力化を図ることができる。
図16Aおよび図16Bは、人200の位置に応じたターゲット移動情報の提示方法の第四例を説明するための図である。
例えば、人200は、ターゲット移動情報が提示されたとしても、現在位置から必ずしも直進して無人飛行体100に接近するとは限らない。例えば、人200と無人飛行体100との間に障害物があったり、人が移動できるような動線がなかったりする場合には、人200は、迂回等して無人飛行体100に接近する場合がある。そこで、人200の位置に応じてターゲット移動情報が提示される場所が変えられてもよい。
図16Aに示されるように、ターゲット移動情報300bおよび300cは、人200と無人飛行体100との間に提示されているとする。
そして、図16bに示されるように、人200が無人飛行体100に向かって直進せずに無人飛行体100への方向とは異なる方向へ移動した場合、ターゲット移動情報300bおよび300cは、人200の移動後の位置と無人飛行体100との間に提示され直される。これにより、移動後の人200の位置に対して最適なターゲット移動情報を提示できるようになる。
図17は、人200の位置に応じたターゲット移動情報の提示方法の第五例を説明するための図である。
例えば、人200と無人飛行体100との間に障害物210(壁または溝等)がある場合、人200は、迂回等して無人飛行体100に接近する場合がある。そこで、人200の位置に応じてターゲット移動情報が提示される態様が変えられてもよい。
図17に示されるように、人200が障害物210によって無人飛行体100へ直進できない位置にいる場合、プロセッサ101は、例えば、人200が障害物210を避けて無人飛行体100へ至るルートを生成する。そして、プロセッサ101は、図17に示されるように、ターゲット移動情報300bおよび300cが当該ルート上にも提示されるように、ターゲット移動情報300bおよび300cの態様を変更する。具体的には、プロセッサ101は、ターゲット移動情報300bおよび300cを広範囲に提示する。これにより、人200が障害物210を避けて移動することを見越してターゲット移動情報を提示できるようになる。
図18Aおよび図18Bは、人200の位置に応じたターゲット移動情報の提示方法の第六例を説明するための図である。なお、図18Aおよび図18Bにおいて、破線で示されるターゲット移動情報300bおよび300cは、表示されていないことを意味し、破線で表示されていることを意味しない。
例えば、人200と目標収音距離の位置および接近禁止距離の位置との距離が大きい場合(例えば数10m以上等の場合)、人200はターゲット移動情報300bおよび300cを視認できない可能性がある。
そこで、図18Aに示されるように、人200と目標収音距離の位置との距離が大きい場合には、ターゲット移動情報300bおよび300cが提示されない。ただし、この場合、人200がどのように移動すればよいかわからない可能性があるため、図9において説明した、人200の現在位置から移動先への移動方向を示すターゲット移動情報300fが提示される。そして、図18Bに示されるように、人200が目標収音距離の位置に近づいて、人200と目標収音距離の位置との距離が所定距離(例えば数m)内になった場合に、ターゲット移動情報300bが提示される。なお、このとき、ターゲット移動情報300fが提示されなくなってもよい。これにより、人200はターゲット移動情報300fによって移動先へ誘導され、移動先に近づいたときには、ターゲット移動情報300bが提示されて移動先を認識できる。
図19Aおよび図19Bは、人200の位置に応じたターゲット移動情報の提示方法の第七例を説明するための図である。
例えば、人200と無人飛行体100との距離が大きいほど、人200が無人飛行体100に接近するための経路の選択肢が増える。言い換えると、人200と無人飛行体100との距離が小さいほど、人200が無人飛行体100に接近するための経路の選択肢が減る。
そこで、図19Aに示されるように、人200と無人飛行体100との距離が小さい場合には、ターゲット移動情報300bおよび300cが狭く提示され、一方で、図19Bに示されるように、人200と無人飛行体100との距離が大きい場合には、ターゲット移動情報300bおよび300cが広く提示される。これにより、人200と無人飛行体100との距離が大きい場合に、人200が様々な経路で無人飛行体100に接近したとしても、広範囲に提示されたターゲット移動情報300bおよび300cによって人200を移動先へ誘導できる。
図20は、人200の位置に応じたターゲット移動情報の提示方法の第八例を説明するための図である。
例えば、人200が接近禁止距離の位置を超えて無人飛行体100に接近していない場合であっても、安全性の観点から人200は無人飛行体100からなるべく離れていることが好ましい。
そこで、図20に示されるように、プロセッサ101は、人200の声の品質が予め定められた目標品質よりも高い場合、図13Cで説明した、人200を無人飛行体100から遠ざけることを示すターゲット移動情報300hを提示する。これにより、人200の声の品質が目標品質よりも高く収音品質が十分な場合には、人200を無人飛行体100から遠ざけることで、安全性をより高めることができる。なお、図20では、ターゲット移動情報300bおよび300cが提示されているが、提示されなくてもよい。例えば、人200の声の品質が目標品質よりも高い場合に、さらに無人飛行体100へ接近してきたときに、ターゲット移動情報300cが提示されてもよい。
なお、ターゲット移動情報は、マイクロフォン105の指向範囲に応じて提示のされ方が変更されてもよい。これについて、図21を用いて説明する。なお、図21は人200および無人飛行体100を上空から見たときの図となっている。
図21は、マイクロフォン105の指向範囲220に応じたターゲット移動情報の提示方法の一例を説明するための図である。
例えば、人200が無人飛行体100に接近したとしても、人200の移動先がマイクロフォン105の指向範囲220外であれば、収音品質を向上することが難しい。そこで、人200がマイクロフォン105の指向範囲220内であって、目標収音距離の位置と接近禁止距離の位置との間に移動できるように、図21に示されるように、ターゲット移動情報300bおよび300cが指向範囲220内に提示される。これにより、収音品質を向上できる。
なお、人200を移動先へ誘導する方法として地面に照射された光または音等が用いられるが、光または音は無人飛行体100の周囲の環境によっては、人200に認識されにくい場合がある。そこで、プロセッサ101は、環境を認識し、環境に応じた提示手段を用いてターゲット移動情報を提示してもよい。
例えば、人200は、明るい場所では地面に照射された光が見えにくい場合がある。そこで、例えば、プロセッサ101は、イメージセンサ107によって環境(光)を認識し、地面に光を照射した状態で当該光を認識できるか否かを判定する。プロセッサ101は、当該光を認識できる場合には、地面への光の照射によって人200を移動先へ誘導し、当該光を認識できない場合には、例えば、スピーカ106bによる音または発光部106a(LED)による光によって人200を移動先へ誘導する。なお、プロセッサ101は、照度センサによって環境(照度)を認識し、光が照射される地面の照度が所定の閾値よりも大きいか否かを判定してもよい。プロセッサ101は、当該照度が所定の閾値以下の場合には、地面への光の照射によって人200を移動先へ誘導し、当該照度が所定の閾値よりも大きい場合には、例えば、スピーカ106bによる音または発光部106a(LED)による光によって人200を移動先へ誘導する。
また、例えば、人200は、騒音の大きい場所では出力された音が聞こえにくい場合がある。そこで、例えば、プロセッサ101は、マイクロフォン105によって環境(騒音)を認識し、騒音が所定の閾値よりも大きいか否かを判定する。プロセッサ101は、騒音が所定の閾値以下の場合には、スピーカ106bによる音の出力によって人200を移動先へ誘導し、騒音が所定の閾値よりも大きい場合には、例えば、発光部106aによる光または地面への光の照射によって人200を移動先へ誘導する。
なお、場所または時刻等に応じて提示手段が予め決められていてもよい。つまり、例えば、場所として屋内で無人飛行体100が使用される場合または時刻として夜に無人飛行体100が使用される場合等には、地面へ光を照射する提示手段が予め決められてもよい。また、例えば、場所として屋外で無人飛行体100が使用される場合または時刻として昼に無人飛行体100が使用される場合には、発光部106a(LED)による光またはスピーカ106bによる音を出力する提示手段が予め決められてもよい。
このように、環境によっては人200が認識しにくい提示手段があるため、環境に適した提示手段によってターゲット移動情報が提示されることで、人200はターゲット移動情報を認識しやすくなる。
[4.発音量変更]
例えば、プロセッサ101は、人200に移動先へ移動を促すターゲット移動情報を提示する他に、人200に発音量(つまり声の大きさ)の変更を促す発音量変更情報を提示してもよい。これについて、図22Aおよび図22Bを用いて説明する。
図22Aは、実施の形態に係る無人飛行体100が発音量変更情報を提示する際の状況の一例を示す図である。図22Bは、実施の形態に係る無人飛行体100が発音量変更情報を提示する際の状況の他の一例を示す図である。
例えば、人200の声が小さいために、目標禁止距離が接近禁止距離よりも小さい場合がある。この場合、人200が移動先に移動した後も人200の声の品質が目標品質よりも低い可能性が高い。そこで、プロセッサ101は、人200が移動先に移動した後も人200の声の品質が目標品質よりも低い場合、人200に発音量の変更を促す発音量変更情報を提示する。発音量変更情報は、例えば、「声を大きくしてください」といった音声である。例えば、発音量変更情報が提示されるタイミングは、ターゲット移動情報が提示され、人200が移動先に到達した後に収音品質が十分でないと判断されたタイミングであるが、これに限らない。例えば、発音量変更情報が提示されるタイミングは、ターゲット移動情報が提示されると同時であってもよい。また、人200の声が小さい場合、ターゲット移動情報が提示される前にいったん発音量変更情報が提示され、発音量の変更後の人200の声に応じて目標収音距離が算出されて移動先が改めて決定され直してもよい。
また、例えば、目標禁止距離が接近禁止距離よりも大きい場合であっても、人200が無人飛行体100を脅威に感じる等して人200が移動先に到達する前に移動をやめてしまう場合がある。この場合、人200の声の品質が目標品質よりも低い可能性が高い。そこで、プロセッサ101は、人200が移動先に移動できない場合、人200に発音量の変更を促す発音量変更情報を提示する。ただし、人200は、移動先に到達できておらず発音量を大きくしなければ収音品質を向上できないことを理解している可能性がある。この場合、発音量を大きくしなければならないことを理解しているのに、発音量変更情報が提示されると、人200は煩わしく感じる場合がある。このため、人200が移動をやめた後に収音された人200の声の品質が目標品質よりも低い場合に、プロセッサ101は、発音量変更情報を提示してもよい。
このように、人200が移動先に移動したにも関わらず収音品質が低い場合、または、人200が移動先に移動できずに収音品質が低い場合、人200に発音量を変更するように促すことで、収音品質を向上することができる。
(その他の実施の形態)
以上、本開示の一つまたは複数の態様に係る無人飛行体100について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、無人飛行体100が接近してくると人200は無人飛行体100を脅威に感じることがあるため、人200が移動先へ移動している間には、無人飛行体100は、移動をしないようにしてもよい。例えば、人200が移動先へ移動している間には、無人飛行体100は、コントローラからの移動指示を無視してもよい。これにより、人200は、安心して移動先へ移動できる。
また、例えば、人200が接近禁止距離の位置を超えて無人飛行体100へ接近してきた場合、無人飛行体100は、人200との距離を大きくするように後退してもよい。そして、後退した位置に対して接近禁止距離よりも遠ざかるように人200を誘導してもよい。
また、例えば、上記実施の形態では、無人飛行体100は、発光部106aおよびスピーカ106bの両方を備えたが、いずれか一方のみを備えていてもよい。また、無人飛行体100は、発光部106aおよびスピーカ106bの両方を備えていなくてもよい。例えば、無人飛行体100が発光部106aおよびスピーカ106bを備えない場合、プロセッサ101は、通信を介して無人飛行体100の外部の提示装置にターゲット移動情報を提示してもよいし、無人飛行体100に設けられた表示パネル等にターゲット移動情報を提示してもよい。
また、例えば、上記実施の形態では、無人飛行体100は、イメージセンサ107および測距センサ108の両方を備えたが、両方備えていなくてもよく、いずれか一方のみを備えていてもよい。
また、例えば、無人飛行体100は、さらに、マイクロフォン105の向き、および、無人飛行体100から外向きへのマイクロフォン105の突出量の少なくとも一方を変更するアクチュエータを備えていてもよい。そして、プロセッサ101は、さらに、音源(人200)が移動した後もターゲット音(人200の声)の品質が目標品質よりも低い場合、アクチュエータを制御することで、マイクロフォン105の向きおよび突出量の少なくとも一方を変更してもよい。
これによれば、マイクロフォン105の向きまたは突出量を変更することで、例えば、人200にさらに移動を促したり、発音量を変更するように促したりすることなく、収音品質を向上することができる。マイクロフォン105を外向きに突出させることにより、騒音源となるモータやプロペラから、マイクロフォン105の距離が遠くなることで、SN比を向上することができる。
また、例えば、移動先の決定には、風の強さや方向、障害物など周囲の環境を考慮してもよい。周囲の環境に応じて、接近禁止距離をより長くしたり、音源に接近を促さず発音量の増加を促したり、無人飛行体100が風上にならないように移動先を決定することで、より安全に収音できる。
また、例えば、ターゲット音の音源に移動を促す前に、無人飛行体100の高度を下げてもよい。これによりターゲット音の音源の移動先への移動に対する恐怖心をなくすことができる。
また、例えば、ターゲット音の音源に移動先への移動を促した後、無人飛行体100が移動しないことを音声や光を用いてターゲット音の音源に報知してもよい。これにより、ターゲット音の音源は、安心感をもって移動をすることができる。
また、例えば、本開示は、無人飛行体100として実現できるだけでなく無人飛行体100を構成する各構成要素が行うステップ(処理)を含む情報処理方法として実現できる。
図2に示すように、情報処理方法は、音データを生成するマイクロフォン105を少なくとも含むセンサ120と、プロセッサ101と、を備える無人飛行体100のプロセッサ101が行う情報処理方法であって、マイクロフォン105が生成する音データを用いて、ターゲット音の品質を判定し(ステップS11)、センサ120が生成するデータを用いて、無人飛行体100とターゲット音の音源との位置関係を取得し(ステップS12)、ターゲット音の品質と位置関係とに基づいて、音源の目標とする移動先を決定し(ステップS13)、音源に移動先へ移動を促すターゲット移動情報を提示する(ステップS14)。
そして、本開示は、当該情報処理方法に含まれるステップを、プロセッサ101に実行させるためのプログラムとして実現できる。さらに、本開示は、そのプログラムを記録したCD-ROM等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
例えば、本開示が、プログラム(ソフトウェア)で実現される場合には、コンピュータのCPU、メモリおよび入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、CPUがデータをメモリまたは入出力回路等から取得して演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各ステップが実行される。
なお、上記各実施の形態において、無人飛行体100に含まれる各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
上記各実施の形態に係る無人飛行体100の機能の一部または全ては典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。また、集積回路化はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、またはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態に係る無人飛行体100の機能の一部または全てを、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
また、上記各実施の形態に係る無人飛行体100の機能の一部または全てを、外部サーバが実行することにより実現してもよい。
また、上記各実施の形態に係る無人飛行体100は、予め決められたプログラムに従って、自律飛行をしてもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
また、上記各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(例えば並列)に実行されてもよい。
さらに、本開示の主旨を逸脱しない限り、本開示の各実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本開示に含まれる。
本開示は、例えば、コミュニケーションツールとして用いられる無人飛行体に適用できる。
100 無人飛行体
101 プロセッサ
101a 収音処理部
101aa ノイズ処理部
101ab 騒音レベル演算部
101b 品質特定部
101c 位置関係取得部
101d 移動先決定部
101e 飛行制御部
101f 移動誘導部
102 GPS受信機
103 加速度センサ
104 ジャイロセンサ
105 マイクロフォン
106a 発光部
106b スピーカ
107 イメージセンサ
108 測距センサ
109 通信IF
110 発生器
111 回転翼
112 アクチュエータ
120 センサ
130 メモリ
200 人(音源)
300a、300b、300c、300d、300e、300f、300g、300h ターゲット移動情報
210 障害物
220 指向範囲

Claims (19)

  1. 無人飛行体であって、
    音データを生成するマイクロフォンを少なくとも含むセンサと、
    プロセッサと、を備え、
    前記プロセッサは、
    前記マイクロフォンが生成する音データを用いて、ターゲット音の品質を特定し、
    前記センサが生成するデータを用いて、前記無人飛行体と前記ターゲット音の音源との位置関係を取得し、
    前記ターゲット音の品質と前記位置関係とに基づいて、前記音源の目標とする移動先を決定し、
    前記ターゲット音の品質が予め定められた目標品質よりも低い場合に、前記音源を前記無人飛行体に接近させるために前記音源に前記移動先へ移動を促すターゲット移動情報を提示し、
    前記プロセッサは、さらに、
    前記無人飛行体からの所定距離を示す距離情報を取得し、
    前記距離情報と前記ターゲット音の品質とに基づいて、前記無人飛行体から前記所定距離離れた位置よりも前記無人飛行体に近づかないように前記ターゲット移動情報を決定する
    無人飛行体。
  2. 前記プロセッサは、前記ターゲット音の品質と前記位置関係と前記距離情報とに基づいて、前記無人飛行体に対して前記所定距離よりも離れた前記移動先を決定する
    請求項に記載の無人飛行体。
  3. 前記無人飛行体は、さらに、前記マイクロフォンの向き、および、前記無人飛行体から外向きへの前記マイクロフォンの突出量の少なくとも一方を変更するアクチュエータを備え、
    前記プロセッサは、さらに、前記音源が移動した後も前記ターゲット音の品質が前記目標品質よりも低い場合、前記アクチュエータを制御することで、前記マイクロフォンの向きおよび前記突出量の少なくとも一方を変更する
    請求項1または2に記載の無人飛行体。
  4. 前記プロセッサは、前記音源が前記移動先に移動した後も前記ターゲット音の品質が予め定められた目標品質よりも低い場合、または前記音源が前記移動先へ移動できない場合、前記音源に発音量の変更を促す発音量変更情報を提示する
    請求項1~のいずれか1項に記載の無人飛行体。
  5. 前記プロセッサは、前記ターゲット音の品質が予め定められた目標品質よりも高い場合、前記音源を前記無人飛行体から遠ざけることを示す前記ターゲット移動情報を提示する
    請求項1~のいずれか1項に記載の無人飛行体。
  6. 前記移動先は、前記音源が移動した後の前記ターゲット音の品質が予め定められた目標品質以上となる位置または領域を含む
    請求項1~のいずれか1項に記載の無人飛行体。
  7. 前記移動先は、前記音源が移動した後の前記ターゲット音の品質が予め定められた目標品質以上となり、かつ、前記無人飛行体から所定距離離れた位置または領域を含む
    請求項に記載の無人飛行体。
  8. 前記ターゲット移動情報は、前記音源を前記移動先に誘導する情報を含む
    請求項1~のいずれか1項に記載の無人飛行体。
  9. 前記ターゲット移動情報は、前記音源の現在位置から前記移動先への移動方向を示す情報を含む
    請求項に記載の無人飛行体。
  10. 前記ターゲット移動情報は、前記音源の前記移動先への移動ルートを示す情報を含む
    請求項またはに記載の無人飛行体。
  11. 前記ターゲット移動情報は、前記音源の前記移動先への移動が完了したか否かを示す情報を含む
    請求項10のいずれか1項に記載の無人飛行体。
  12. 前記プロセッサは、通信を介して前記無人飛行体の外部の提示装置に前記ターゲット移動情報を提示する
    請求項1~11のいずれか1項に記載の無人飛行体。
  13. 前記プロセッサは、環境を認識し、前記環境に応じた提示手段を用いて前記ターゲット移動情報を提示する
    請求項1~12のいずれか1項に記載の無人飛行体。
  14. 前記センサはさらに、画像データを生成するイメージセンサを含み、
    前記プロセッサは、前記画像データを用いて前記位置関係を取得する
    請求項1~13のいずれか1項に記載の無人飛行体。
  15. 前記センサはさらに、測距データを生成する測距センサを含み、
    前記プロセッサは、前記測距データを用いて前記位置関係を取得する
    請求項1~14のいずれか1項に記載の無人飛行体。
  16. 前記位置関係は、前記無人飛行体と前記音源と間の距離および前記無人飛行体に対する前記音源の位置の少なくともいずれか1つである
    請求項1~15のいずれか1項に記載の無人飛行体。
  17. 前記無人飛行体は、さらに、光を発光する発光部を備え、
    前記プロセッサは、前記音源が前記移動先に移動するまでの間、前記発光部により発光した光を前記音源の前記移動先に対応する領域へ照射させることで、前記ターゲット移動情報を提示する
    請求項1に記載の無人飛行体。
  18. 音データを生成するマイクロフォンを少なくとも含むセンサと、プロセッサと、を備える無人飛行体の前記プロセッサが行う情報処理方法であって、
    前記マイクロフォンが生成する音データを用いて、ターゲット音の品質を判定し、
    前記センサが生成するデータを用いて、前記無人飛行体と前記ターゲット音の音源との位置関係を取得し、
    前記ターゲット音の品質と前記位置関係とに基づいて、前記音源の目標とする移動先を決定し、
    前記ターゲット音の品質が予め定められた目標品質よりも低い場合に、前記音源を前記無人飛行体に接近させるために前記音源に前記移動先へ移動を促すターゲット移動情報を提示し、
    前記プロセッサは、さらに、
    前記無人飛行体からの所定距離を示す距離情報を取得し、
    前記距離情報と前記ターゲット音の品質とに基づいて、前記無人飛行体から前記所定距離離れた位置よりも前記無人飛行体に近づかないように前記ターゲット移動情報を決定する
    情報処理方法。
  19. 請求項18に記載の情報処理方法を前記プロセッサに実行させるためのプログラム。
JP2021501539A 2019-02-19 2019-09-20 無人飛行体、情報処理方法およびプログラム Active JP7296554B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019027617 2019-02-19
JP2019027617 2019-02-19
PCT/JP2019/036903 WO2020170489A1 (ja) 2019-02-19 2019-09-20 無人飛行体、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020170489A1 JPWO2020170489A1 (ja) 2021-12-16
JP7296554B2 true JP7296554B2 (ja) 2023-06-23

Family

ID=72143377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021501539A Active JP7296554B2 (ja) 2019-02-19 2019-09-20 無人飛行体、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US20210200201A1 (ja)
EP (1) EP3929691A4 (ja)
JP (1) JP7296554B2 (ja)
CN (1) CN112771463A (ja)
WO (1) WO2020170489A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7452940B2 (ja) 2022-06-20 2024-03-19 三菱ロジスネクスト株式会社 誘導システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006167838A (ja) 2004-12-14 2006-06-29 Honda Motor Co Ltd 自律移動ロボット
JP2006181651A (ja) 2004-12-24 2006-07-13 Toshiba Corp 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
US20170220036A1 (en) 2016-01-28 2017-08-03 Qualcomm Incorporated Drone flight control
US20180234612A1 (en) 2016-10-17 2018-08-16 Dolby Laboratories Licensing Corporation Audio Capture for Aerial Devices
WO2018230539A1 (ja) 2017-06-16 2018-12-20 本田技研工業株式会社 案内システム
WO2020170510A1 (ja) 2019-02-19 2020-08-27 パナソニックIpマネジメント株式会社 無人飛行体、情報処理方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4220856B2 (ja) * 2003-08-18 2009-02-04 本田技研工業株式会社 携帯端末機器を用いた移動ロボットの画像撮影装置及びその方法
JP2007329702A (ja) * 2006-06-08 2007-12-20 Toyota Motor Corp 受音装置と音声認識装置とそれらを搭載している可動体
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
JP6622801B2 (ja) * 2015-06-22 2019-12-18 株式会社Fuji 案内装置及び案内システム
JP6239567B2 (ja) * 2015-10-16 2017-11-29 株式会社プロドローン 情報伝達装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006167838A (ja) 2004-12-14 2006-06-29 Honda Motor Co Ltd 自律移動ロボット
JP2006181651A (ja) 2004-12-24 2006-07-13 Toshiba Corp 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
US20170220036A1 (en) 2016-01-28 2017-08-03 Qualcomm Incorporated Drone flight control
JP2019505047A (ja) 2016-01-28 2019-02-21 クアルコム,インコーポレイテッド ドローン飛行制御
US20180234612A1 (en) 2016-10-17 2018-08-16 Dolby Laboratories Licensing Corporation Audio Capture for Aerial Devices
WO2018230539A1 (ja) 2017-06-16 2018-12-20 本田技研工業株式会社 案内システム
WO2020170510A1 (ja) 2019-02-19 2020-08-27 パナソニックIpマネジメント株式会社 無人飛行体、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2020170489A1 (ja) 2021-12-16
WO2020170489A1 (ja) 2020-08-27
CN112771463A (zh) 2021-05-07
US20210200201A1 (en) 2021-07-01
EP3929691A1 (en) 2021-12-29
EP3929691A4 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
US10945070B2 (en) Unmanned aircraft, information processing method, and recording medium
WO2016170766A1 (ja) 光照射装置および光照射システム
CN108353150A (zh) 用于产生视频数据的电子装置
US11281234B2 (en) Methods and systems for crashing unmanned aircraft
US20220027772A1 (en) Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
JP5395716B2 (ja) 車外音提供装置、車外音提供方法およびプログラム
US11928974B2 (en) Unmanned aircraft, information processing method, and recording medium
JP7296554B2 (ja) 無人飛行体、情報処理方法およびプログラム
US11521515B2 (en) Stereophonic apparatus for blind and visually-impaired people
WO2018230539A1 (ja) 案内システム
US20200262071A1 (en) Mobile robot for recognizing queue and operating method of mobile robot
EP3950498A1 (en) Unmanned moving body and information processing method
WO2021014805A1 (ja) 無人飛行体および情報処理方法
US11656639B2 (en) Information processing method, unmanned aerial vehicle, and unmanned aerial vehicle control system
CN110281950B (zh) 基于三维声像传感器的载运工具控制与可视化环境体验
CN110737277B (zh) 无人飞行体、信息处理方法以及程序记录介质
CN110775269B (zh) 无人飞行体、信息处理方法以及程序记录介质
JP6174114B2 (ja) 音声入力装置およびその音声入力装置を備えた画像表示装置
CN110775269A (zh) 无人飞行体、信息处理方法以及程序记录介质
CN118131792A (zh) 基于电力大数据的运维方法、系统、设备及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230530

R151 Written notification of patent or utility model registration

Ref document number: 7296554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151