JPWO2020166178A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JPWO2020166178A1
JPWO2020166178A1 JP2020572093A JP2020572093A JPWO2020166178A1 JP WO2020166178 A1 JPWO2020166178 A1 JP WO2020166178A1 JP 2020572093 A JP2020572093 A JP 2020572093A JP 2020572093 A JP2020572093 A JP 2020572093A JP WO2020166178 A1 JPWO2020166178 A1 JP WO2020166178A1
Authority
JP
Japan
Prior art keywords
sound
directional microphone
orientation
camera
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020572093A
Other languages
English (en)
Other versions
JP7391053B2 (ja
Inventor
勝彦 浅井
一暢 小西
ステファン ウィリアム ジョン
和夫 井上
俊介 久原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2020166178A1 publication Critical patent/JPWO2020166178A1/ja
Application granted granted Critical
Publication of JP7391053B2 publication Critical patent/JP7391053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/025—Transducer mountings or cabinet supports enabling variable orientation of transducer of cabinet

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Traffic Control Systems (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

コントローラ（２００）は、プロセッサ（２０２）とメモリ（２０３）とを備え、メモリ（２０３）は、無人飛行体（１００）のカメラ（１０３）が出力する撮像画像および無人飛行体（１００）の指向性マイクロフォン（１０５）が出力する音声を記憶し、カメラの位置および姿勢ならびに指向性マイクロフォンの位置および姿勢を記憶し、プロセッサは、メモリから撮像画像、音声、カメラの位置および姿勢、ならびに指向性マイクロフォンの位置および姿勢を取得し、カメラの位置および姿勢ならびに指向性マイクロフォンの位置および姿勢を用いて、指向性マイクロフォンの収音方向を算出し、撮像画像上の、算出された収音方向に対応する位置に、収音方向を示すオブジェクトを重畳し、オブジェクトが重畳された撮像画像を表示装置に表示させる。

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
特許文献１には、地上にいる人が操作する無人ヘリコプタに搭載された撮影装置が撮影した映像に、撮影装置の光学系の向きを示す角度情報を重ねた画像を、地上装置に表示させる遠隔操作システムが開示されている。
特開２００１−３０９２３３号公報
しかしながら、特許文献１の技術では、音を取得するマイクロフォンが無人飛行体に搭載されることは想定されていない。音は視覚で認識することができないため、映像が提供されても品質の良いターゲット音を収音できるように人が無人飛行体を操作することは難しい。
そこで本開示では、人が操作する無人飛行体を用いた収音の品質を向上させることができる情報処理装置、情報処理方法及びプログラムを提供する。
本開示に係る情報処理装置は、プロセッサとメモリとを備え、前記メモリは、無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を記憶し、前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を記憶し、前記プロセッサは、前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、前記オブジェクトが重畳された撮像画像を表示装置に表示させる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示に係る情報処理装置、情報処理方法およびプログラムは、人が操作する無人飛行体を用いた収音の品質を向上させることができる。
図１は、実施の形態に係る無人飛行体およびコントローラの外観を示す図である。 図２は、実施の形態に係る無人飛行体の上面図である。 図３は、無人飛行体のカメラの撮像範囲、および、指向性マイクロフォンの収音方向を示す図である。 図４は、実施の形態に係る無人飛行体およびコントローラの構成を示すブロック図である。 図５は、収音処理が実行されている場合に、方向変換部により変換される操作について説明するための図である。 図６は、収音方向の速度指示を、上下動成分と前後動成分とに分解する処理を説明するための図である。 図７は、音源としての人が映っている撮像画像の一例を示す図である。 図８は、オブジェクトが重畳された撮像画像の一例を示す図である。 図９は、第１の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。 図１０は、第２の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。 図１１は、第３の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。 図１２は、第４の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。 図１３は、第５の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。 図１４は、第６の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。 図１５は、第７の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。 図１６は、第８の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。 図１７は、実施の形態に係る収音処理における無人飛行体およびコントローラの動作例を示すシーケンス図である。 図１８は、実施の形態に係るコントローラにおける画像処理の詳細を示すフローチャートである。 図１９は、実施の形態に係る無人飛行体の操作の変換処理における無人飛行体およびコントローラの動作例を示すシーケンス図である。
（本開示の基礎となった知見）
近年、飛行する推進力を得るためのプロペラを有する無人飛行体に収音させることで、無人飛行体を移動可能なコミュニケーションツールとして活用することが検討されている。このような無人飛行体に搭載したマイクロフォンで収音する場合、ターゲット音だけでなく、無人飛行体のプロペラによる風切り音を主とする、無人飛行体自身で発生する騒音も収音してしまう。このため、騒音が収音されることを低減するために、指向性マイクロフォンを用いて収音することが考えられる。
無人飛行体に指向性マイクロフォンを搭載する場合、無人飛行体は上空を飛行するため、指向性マイクロフォンの収音範囲をターゲット音の音源に向けるために、指向性マイクロフォンは、無人飛行体の機体から斜め下方を向いた状態で機体に固定されることが望ましい。また、無人飛行体を軽量化する観点から、少数の指向性マイクロフォンを配置することが考えられる。このため、無人飛行体に搭載される指向性マイクロフォンの収音範囲は、特定の範囲に限定されてしまう。よって、指向性マイクロフォンの収音範囲内に音源が入る位置に機体を移動させる必要がある。
ところで特許文献１の技術では、撮像装置により撮像された映像に撮像装置の光学系の向きを示す角度情報が重畳された画像を、地上装置に表示させている。このように角度情報が重畳された画像を表示することで、撮影装置の操作性や移動体の操縦性の向上を図っている。
しかしながら、特許文献１の技術では、音を取得するマイクロフォンが無人飛行体に搭載されることは想定されていない。このため、音源が指向性マイクロフォンの収音範囲内に入っているか否かを判断することが難しく、音源が指向性マイクの収音範囲内に入る位置に無人飛行体を移動させることは難しい。
このような問題を解決するために、本開示の一態様に係る無人飛行体は、プロセッサとメモリとを備え、前記メモリは、無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を記憶し、前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を記憶し、前記プロセッサは、前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、前記オブジェクトが重畳された撮像画像を表示装置に表示させる。
これによれば、無人飛行体のカメラにより出力された撮像画像上の、算出された収音方向の対応する位置に、指向性マイクロフォンの収音方向を示すオブジェクトが重畳された撮像画像を表示装置に表示させるため、ユーザに指向性マイクロフォンの収音方向の撮像画像上における位置を伝えることができる。すなわち、指向性マイクロフォンの収音方向を可視化することができる。このため、ユーザは、表示装置に表示された画像を見ながらオブジェクトがターゲット音の音源に合うように無人飛行体を操作することで、指向性マイクロフォンの収音方向を音源に向けることが容易にできる。よって、人が操作する無人飛行体を用いた収音の品質を向上させることができる。
また、前記プロセッサは、前記指向性マイクロフォンの収音における基準となる方向を前記収音方向として算出してもよい。
このため、ユーザは、表示装置に表示された画像を見ながらオブジェクトが音源に合うように無人飛行体を操作することで、指向性マイクロフォンの収音における基準となる方向を音源に向けることが容易にできる。よって、人が操作する無人飛行体を用いた収音の品質を向上させることができる。
また、前記プロセッサは、前記撮像画像に映る物体までの測定距離をさらに取得し、算出された収音方向、および、取得された前記測定距離を用いて、前記物体の位置における前記指向性マイクロフォンの収音範囲をさらに算出し、算出された前記収音範囲を示すオブジェクトを、前記収音方向を示す前記オブジェクトとして前記撮像画像に重畳してもよい。
このため、ユーザは、表示装置に表示された画像を見ながらオブジェクトが音源に合うように無人飛行体を操作することで、音源を指向性マイクロフォンの収音範囲内に収めることが容易にできる。よって、人が操作する無人飛行体を用いた収音の品質を向上させることができる。
また、前記プロセッサは、前記無人飛行体の移動方向と前記収音方向とを対応付け、対応付けた結果に基づいて前記無人飛行体の移動を制御してもよい。
このため、無人飛行体は、収音方向を基準とした方向に移動が制御されるため、指向性マイクロフォンの収音方向を音源に合わせたまま移動することができる。
また、前記プロセッサは、前記無人飛行体の移動に関する操作入力を受け付け、前記操作入力を前記対応付けた結果に基づいて変換することにより、前記無人飛行体の移動を制御してもよい。
これによれば、ユーザは、収音方向を基準とした方向に無人飛行体を移動させることが容易にできるため、指向性マイクロフォンの収音方向を音源に合わせたまま無人飛行体を移動することができる。
また、前記プロセッサは、算出された前記収音方向が前記カメラの撮像範囲から外れる場合、前記撮像範囲から前記収音方向への向きを示すオブジェクトを前記撮像画像に重畳してもよい。
このため、ユーザは、表示装置に表示された画像を見ながらオブジェクトが示す方向に向くように無人飛行体を操作することで、指向性マイクロフォンの収音方向を音源に向けることが容易にできる。よって、収音の品質を向上させることができる。
また、前記プロセッサは、前記指向性マイクロフォンの収音品質に応じた設定距離をさらに取得し、取得された前記撮像画像に映る物体までの測定距離と、取得された前記設定距離との差分に基づいて、前記収音方向を示す前記オブジェクトの表示態様を制御してもよい。
このため、例えば、物体から指向性マイクロフォンまでの距離に応じて収音品質が高品質であると予測される場合と、低品質であると予測される場合とで異なる表示態様のオブジェクトを表示装置に表示することができる。よって、ユーザは、表示装置に表示された画像を見ながらオブジェクトが高品質の表示態様になるように無人飛行体を操作することで、指向性マイクロフォンから得られるターゲット音の収音の品質を向上させることができる。
また、前記プロセッサは、前記差分が閾値以上である場合又は前記測定距離の測定可能範囲に物体が存在しない場合、前記収音方向を示す前記オブジェクトの表示態様を固定してもよい。
これによれば、収音品質が所定の品質以下である場合、オブジェクトの表示態様を固定するため、表示態様を変更するための処理負荷を低減することができる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る無人飛行体について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
以下、実施の形態を説明する。
［１．構成］
図１は、実施の形態に係る無人飛行体およびコントローラの外観を示す図である。図２は、実施の形態に係る無人飛行体の上面図である。
図１および図２に示されるように、無人飛行体１００は、コントローラ２００へのユーザによる操作入力（以下、「操作」とも言う。）に応じた操作信号をコントローラ２００から受信し、受信した操作信号に応じて飛行する。また、無人飛行体１００は、飛行している状態において、受信した操作信号に応じて無人飛行体１００が備えるカメラ１０３を用いた撮像を行ってもよい。カメラ１０３により撮像された撮像画像は、コントローラ２００に送信されてもよいし、スマートフォンなどの携帯端末に送信されてもよい。
コントローラ２００は、ユーザからの操作を受け付けて、受け付けた操作に応じた操作信号を無人飛行体１００に送信する。コントローラ２００は、ディスプレイ２０４を備える。ディスプレイ２０４は、例えば、無人飛行体１００から受信した撮像画像を表示する。なお、コントローラ２００は、スマートフォンなどの携帯端末と接続されることで、携帯端末のディスプレイをディスプレイ２０４として利用してもよい。
これにより、ユーザは、無人飛行体１００のカメラ１０３に撮像させた撮像画像を、コントローラ２００のディスプレイ２０４でリアルタイムに確認しながら、コントローラ２００を操作することで、無人飛行体１００の飛行中における位置および姿勢の少なくとも一方である飛行状態を変更することができる。このため、ユーザは、無人飛行体１００のカメラ１０３によって撮像する撮像範囲を自由に変更することができる。
無人飛行体１００は、４つの発生器１１０と、機体１２０と、４つのアーム１２１とを備える。
４つの発生器１１０のそれぞれは、無人飛行体１００を飛行させる力を発生させる。４つの発生器１１０のそれぞれは、具体的には、気流を発生させることで無人飛行体１００を飛行させる力を発生させる。４つの発生器１１０のそれぞれは、回転することで気流を発生させる回転翼１１１と、回転翼１１１を回転させるアクチュエータ１１２とを有する。回転翼１１１およびアクチュエータ１１２は、鉛直方向に略平行な回転軸を有し、回転翼１１１の上方から下方に向かって流れる気流を発生させる。これにより、４つの発生器１１０は、無人飛行体１００が上方に浮上する推力を発生させ、無人飛行体１００を飛行させる力を発生させる。アクチュエータ１１２は、例えば、回転翼１１１の回転軸で回転するモータである。
４つの発生器１１０は、上方から見た場合、機体１２０の重心を中心として、９０度の角度間隔でそれぞれ配置されている。つまり、４つの発生器１１０は、機体１２０を囲うように環状に並んで配置されている。
なお、４つの発生器１１０のそれぞれが有する回転翼１１１は、１つのプロペラで構成される例を図示しているが、これに限らずに、２つのプロペラが同一の回転軸において互いに逆回転する二重反転プロペラで構成されていてもよい。また、発生器１１０は、飛行可能であれば、４つ未満であってもよいし、５つ以上であってもよい。
機体１２０は、例えば、円柱形状の箱状の部材、つまり、筐体であり、内部に、プロセッサ、メモリ、バッテリ、各種センサなどの電子機器が配置されている。なお、機体１２０の形状は、円柱形状に限らずに、四角柱など他の形状の箱状の形状であってもよい。
また、機体１２０の外部には、カメラ１０３および指向性マイクロフォン１０５が配置されている。例えば、指向性マイクロフォン１０５は、無人飛行体１００を上方から見た場合、環状に並ぶ４つの発生器１１０のうち互いに隣接する２つの発生器１１０の間の方向を向いて機体１２０に固定されている。つまり、指向性マイクロフォン１０５は、機体１２０を中心として、一の発生器１１０に向かう方向を基準に４５°ずれた方向を向いて配置されている。指向性マイクロフォン１０５は、例えば、無人飛行体１００の前方を向いて機体１２０に固定されている。また、指向性マイクロフォン１０５は、無人飛行体１００を水平方向から見た場合、斜め下方を向いて機体１２０に固定されている。
また、４つのアーム１２１は、それぞれ、機体１２０から４つの発生器１１０に向かって延び、先端に４つの発生器１１０が固定されている部材である。つまり、４つのアーム１２１の一端は、機体１２０に固定されており、４つのアームの他端には、それぞれ、４つの発生器１１０が固定されている。
図３は、無人飛行体のカメラの撮像範囲、および、指向性マイクロフォンの収音方向を示す図である。
図３に示されるように、カメラ１０３は、水平方向よりも斜め下方の撮像範囲１３０を撮像するように、機体１２０に固定されている。撮像範囲１３０は、例えば、カメラ１０３の位置を頂点とする略四角錐形状の範囲である。撮像範囲１３０は、水平方向からの平面視において、範囲上限１３１から範囲下限１３２までの角度範囲により規定される。また、指向性マイクロフォン１０５は、水平方向から角度θだけ斜め下方の収音方向１５３を向いて機体１２０に固定されている。指向性マイクロフォン１０５の収音範囲１５０は、収音方向１５３を中心軸とし、指向性マイクロフォン１０５の位置を頂点とする略円錐形状の範囲である。収音範囲１５０は、水平方向からの平面視において、範囲上限１５１から範囲下限１５２までの角度範囲により規定される。水平方向からの平面視において、収音範囲１５０の角度範囲は、カメラ１０３の撮像範囲を規定する画角よりも小さい角度範囲であってもよい。
図４は、実施の形態に係る無人飛行体およびコントローラの構成を示すブロック図である。具体的には、図４は、無人飛行体１００およびコントローラ２００のそれぞれが備えるハードウェア構成と、プロセッサ１０１、２０２による機能とについて説明するためのブロック図である。
まず、無人飛行体１００について説明する。無人飛行体１００は、プロセッサ１０１と、センサ１０２と、カメラ１０３と、測距センサ１０４と、指向性マイクロフォン１０５と、メモリ１０６と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０７と、４つの発生器１１０とを備える。
プロセッサ１０１は、センサ１０２、カメラ１０３が有するイメージセンサ、測距センサ１０４、指向性マイクロフォン１０５などを含む各種センサにより検出された検出結果、通信ＩＦ１０７による受信結果などを取得し、取得された検出結果または受信結果に対して、メモリ１０６または図示しないストレージに記憶されている所定のプログラムを実行することで各種処理を実行する。これにより、プロセッサ１０１は、４つの発生器１１０、カメラ１０３および通信ＩＦ１０７のうちの少なくとも１つを制御する。
センサ１０２は、例えば、加速度センサ、ジャイロセンサ、気圧センサ、地磁気センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機などを含むセンサである。
加速度センサは、無人飛行体１００の異なる３方向のそれぞれにかかる加速度を検出するセンサである。加速度センサは、無人飛行体１００の姿勢を検出する姿勢センサの一例である。
ジャイロセンサは、無人飛行体１００の異なる３方向を軸とした３軸周りそれぞれの回転における角速度を検出するセンサである。ジャイロセンサは、無人飛行体１００の姿勢を検出する姿勢センサの一例である。
気圧センサは、無人飛行体１００の周囲の環境の気圧を検出するセンサである。
地磁気センサは、無人飛行体１００の基準となる方向が向いている方角を検出するセンサである。基準となる方向は、例えば、無人飛行体１００の前方であってもよい。地磁気センサは、無人飛行体１００の姿勢を検出する姿勢センサの一例である。
ＧＰＳ受信機は、ＧＰＳ衛星を含む人工衛星から当該ＧＰＳ受信機の位置を示す情報を受信する。つまり、ＧＰＳ受信機は、無人飛行体１００の現在位置を検出する。なお、ＧＰＳ受信機が受信する情報を発信する人工衛星は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）に対応する衛星であればよく、ＧＰＳ衛星に限らない。
カメラ１０３は、レンズなどの光学系およびイメージセンサを有する機器である。カメラ１０３は、機体１２０に対する相対的な向きが固定されていてもよいし、機体１２０に対する相対的な向きの変更が自在であってもよい。後者の場合、カメラ１０３は、カメラ１０３の三軸方向周りの姿勢を一定に保つためのジンバル（図示せず）で支持されていてもよい。ジンバルは、無人飛行体１００の姿勢が変化しても、カメラ１０３の姿勢を、例えば、地球座標系に対して所望の姿勢に維持するための機器である。ここで所望の姿勢とは、コントローラ２００から受信した操作信号に含まれるカメラ１０３の撮像方向によって定まる姿勢であってもよい。
測距センサ１０４は、測距センサ１０４から周囲の物体までの距離を検出するセンサである。測距センサ１０４は、例えば、カメラ１０３のイメージセンサの各画素に設けられていてもよい。この場合、カメラ１０３は、例えば、デプスカメラである。また、測距センサ１０４は、超音波センサ、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などであってもよい。
指向性マイクロフォン１０５は、特定の方向（以下、「収音方向」と言う。）を基準とする所定の角度範囲である収音範囲において、収音範囲以外の角度範囲よりも高品質な音を収音することができる特性、つまり、指向性を有するマイクロフォンである。所定の角度範囲は、例えば、９０°以下の角度範囲であり、指向性マイクロフォン１０５の位置を基準とした広がりを有する３次元的な角度範囲である。３次元的な角度範囲は、例えば、収音方向を軸として、指向性マイクロフォン１０５の位置から離れるほど広がる略円錐形状を有する。指向性マイクロフォン１０５は、複数のマイクロフォン素子を有するマイクロフォンアレイにより構成されていてもよい。指向性マイクロフォン１０５は、収音することで音データを生成し、生成した音データを出力する。
メモリ１０６は、無人飛行体１００の機体１２０に対するカメラ１０３の位置および姿勢を示す情報、機体１２０に対する指向性マイクロフォン１０５の位置および姿勢を示す情報、指向性マイクロフォン１０５の収音方向、収音範囲および収音推奨距離を示す情報、機体１２０に対する測距センサ１０４の位置及び姿勢を示す情報などを記憶している。メモリ１０６は、プロセッサ１０１により実行されるプログラムを記憶していてもよい。メモリ１０６は、例えば、不揮発性メモリにより実現される。
通信ＩＦ１０７は、コントローラ２００または通信端末との間で通信する通信インタフェースである。通信ＩＦ１０７は、例えば、コントローラ２００が発する送信信号を受信するための通信インタフェースを含む。また、通信ＩＦ１０７は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ａｃ、ａｘ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合したインタフェースであってもよい。
４つの発生器１１０は、上述により説明しているため、詳細な説明を省略する。
プロセッサ１０１は、機能構成として、飛行制御部１０１ａと、画像取得部１０１ｂと、収音部１０１ｃとを有する。つまり、飛行制御部１０１ａ、画像取得部１０１ｂおよび収音部１０１ｃによる各機能は、プロセッサ１０１がメモリ１０６に記憶されているプログラムを実行することで実現される。
飛行制御部１０１ａは、センサ１０２により検出された無人飛行体１００の現在位置、飛行速度および飛行姿勢と、通信ＩＦ１０７により受信されたコントローラ２００からの操作信号とに応じて、発生器１１０のアクチュエータ１１２の回転数を制御する。これにより、飛行制御部１０１ａは、無人飛行体１００の飛行状態を制御する。つまり、飛行制御部１０１ａは、ユーザによるコントローラ２００への操作に応じてコントローラ２００から出力された操作信号に応じて、無人飛行体１００の飛行状態を制御する。つまり、飛行制御部１０１ａは、例えば、フライトコントローラとして機能する。
画像取得部１０１ｂは、カメラ１０３により撮像された撮像画像を取得する。画像取得部１０１ｂは、第１のサンプリング周期で撮像画像をカメラ１０３から逐次取得する。このとき、画像取得部１０１ｂは、画像に、当該撮像画像がカメラ１０３により撮像されたタイミングを対応付けてもよい。また、画像取得部１０１ｂは、測距センサ１０４により測定された、無人飛行体１００から無人飛行体１００の周囲の物体までの測定距離を取得する。画像取得部１０１ｂは、第２のサンプリング周期で、上記測定距離を測距センサ１０４から逐次取得する。このとき、画像取得部１０１ｂは、測定距離に、当該測定距離が測距センサ１０４により測定されたタイミングを対応付けてもよい。画像取得部１０１ｂは、互いに対応するタイミングで取得された、撮像画像および測定距離を用いて、撮像画像および測定距離を対応付ける。具体的には、画像取得部１０１ｂは、撮像画像上の複数の領域のそれぞれについて、当該領域と、当該領域に映り込んでいる物体までの測定距離とを対応付ける。撮像画像上の複数の領域は、例えば、撮像画像を構成する複数の画素であってもよいし、撮像画像を構成する複数のブロックであってもよい。
カメラ１０３および測距センサ１０４が一体化されているデプスカメラにより構成されている場合には、第１のサンプリング周期と第２のサンプリング周期とは、同じサンプリング周期であり、互いにサンプリングするタイミングが一致する。また、この場合、撮像画像の各画素に対応付けられている測定距離が取得されるため、撮像画像および測定距離を用いて容易に撮像画像および測定距離を対応付けることができる。
一方で、カメラ１０３および測距センサ１０４が別体である場合には、第１のサンプリング周期と第２のサンプリング周期とは異なるサンプリング周期であり、サンプリングするタイミングが一致しないことが多い。このため、画像取得部１０１ｂは、例えば、カメラ１０３により撮像された撮像画像と、当該撮像画像が撮像されたタイミングに最も近いタイミングで測距センサ１０４により測定された測定距離とを対応付けてもよい。なお、第１のサンプリング周期と第２のサンプリング周期とが同期されている場合には、この限りではなく、同期されたタイミングで、カメラ１０３により撮像された撮像画像と、測距センサ１０４により測定された測定距離とが対応付けられる。
画像取得部１０１ｂは、カメラ１０３で撮像された撮像画像と、測距センサ１０４により測定された物体までの測定距離と、メモリ１０６に記憶されている、カメラ１０３の位置および姿勢を示す情報、並びに、測距センサ１０４の位置および姿勢を示す情報とを用いて、撮像画像および測定距離を対応付ける。
画像取得部１０１ｂは、撮像画像および測定距離を対応付けた結果である距離画像を、通信ＩＦ１０７を介してコントローラ２００へ出力する。画像取得部１０１ｂは、逐次取得した撮像画像および測定距離を用いて、距離画像を逐次生成し、逐次生成された距離画像を逐次コントローラ２００へ出力してもよい。これにより、無人飛行体１００は、リアルタイムに距離画像をコントローラ２００へ出力することができる。
なお、画像取得部１０１ｂは、距離画像に、当該距離画像の元になった撮像画像がカメラ１０３により撮像されたタイミングをさらに対応付けてもよい。また、画像取得部１０１ｂによりカメラ１０３から取得された撮像画像は、メモリ１０６に記憶されてもよい。また、画像取得部１０１ｂにより取得された測定距離は、メモリ１０６に記憶されてもよい。また、画像取得部１０１ｂにより対応付けられた結果である距離画像は、メモリ１０６に記憶されてもよい。
収音部１０１ｃは、通信ＩＦ１０７によりコントローラ２００から受信された収音指示に従って、指向性マイクロフォン１０５を用いた収音処理を実行し、指向性マイクロフォン１０５により逐次生成された音データを取得する。収音部１０１ｃは、音データに、当該音データが指向性マイクロフォン１０５により生成されたタイミングを対応付けてもよい。収音部１０１ｃにより取得された音データは、メモリ１０６に記憶されてもよいし、通信ＩＦ１０７を介してコントローラ２００へ出力されてもよい。
次に、コントローラ２００について説明する。コントローラ２００は、入力ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０１と、プロセッサ２０２と、メモリ２０３と、ディスプレイ２０４と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０５とを備える。コントローラ２００は、情報処理装置の一例である。
入力ＩＦ２０１は、ユーザによる操作を受け付け、受け付けられた操作に応じた操作信号をプロセッサ２０２に出力する。入力ＩＦ２０１は、ユーザから、無人飛行体１００の移動に関する操作を受け付ける。無人飛行体１００の移動に関する操作は、例えば、無人飛行体１００の移動する方向と、当該方向への移動速度とを指示する操作であり、指定された方向に指定された移動速度で無人飛行体１００を移動させるための操作である。なお、無人飛行体１００の移動に関する操作は、例えば、無人飛行体１００の移動する方向と、当該方向への移動距離とを指示する操作であってもよい。入力ＩＦ２０１は、例えば、無人飛行体１００が移動する方向を示す操作、回転を示す操作などを受け付ける方向キーまたはレバー、各種機能を実行する操作を受け付けるボタンなどを有するコントロールパッドである。
プロセッサ２０２は、入力ＩＦ２０１により受け付けられた操作に応じた操作信号、通信ＩＦ２０５による受信結果などを取得し、取得された操作信号または受信結果に対して、メモリ２０３または図示しないストレージに記憶されている所定のプログラムを実行することで各種処理を実行する。これにより、プロセッサ２０２は、ディスプレイ２０４および通信ＩＦ２０５のうちの少なくとも１つを制御する。
メモリ２０３は、プロセッサ２０２より実行されるプログラムを記憶している。また、メモリ２０３は、無人飛行体１００により出力され、通信ＩＦ２０５を介して取得された、距離画像および音データを記憶する。また、メモリ２０３は、無人飛行体１００の機体１２０に対するカメラ１０３の位置および姿勢を示す情報、機体１２０に対する指向性マイクロフォン１０５の位置および姿勢を示す情報、指向性マイクロフォン１０５の収音方向、収音範囲および収音推奨距離を示す情報、機体１２０に対する測距センサ１０４の位置及び姿勢を示す情報などを記憶してもよいし、これらの情報を無人飛行体１００から通信ＩＦ２０５を介して取得し、取得されたこれらの情報を記憶してもよい。メモリ２０３は、例えば、不揮発性メモリにより実現される。
ディスプレイ２０４は、プロセッサ２０２により出力された撮像画像を表示する。ディスプレイ２０４は、表示装置の一例である。ディスプレイ２０４は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどにより実現される。
通信ＩＦ２０５は、無人飛行体１００との間で通信する通信インタフェースである。通信ＩＦ２０５は、例えば、無人飛行体１００に送信信号を送信するための通信インタフェース、および、無人飛行体１００が発する送信信号を受信するための通信インタフェースを含む。また、通信ＩＦ２０５は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ａｃ、ａｘ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合したインタフェースであってもよい。
プロセッサ２０２は、機能構成として、方向変換部２０２ａと、画像処理部２０２ｂとを有する。つまり、方向変換部２０２ａおよび画像処理部２０２ｂによる各機能は、プロセッサ２０２がメモリ２０３に記憶されているプログラムを実行することで実現される。
図５は、収音処理が実行されている場合に、方向変換部により変換される操作について説明するための図である。図６は、収音方向の速度指示を、上下動成分と前後動成分とに分解する処理を説明するための図である。
方向変換部２０２ａは、収音処理が実行されている場合、入力ＩＦ２０１から操作信号を取得し、操作信号により示されるユーザによる操作のうち前後方向の移動速度の速度指示を、指向性マイクロフォン１０５の収音方向１５３への移動速度の速度指示に置き換える。そして、方向変換部２０２ａは、無人飛行体１００の移動方向と指向性マイクロフォン１０５の収音方向１５３とを対応付けた結果に基づいて無人飛行体１００の移動を制御する。方向変換部２０２ａは、例えば、無人飛行体１００の前後方向（つまり、水平方向）に対する、指向性マイクロフォン１０５の収音方向の角度の差を用いて、無人飛行体１００の移動方向と収音方向１５３とを対応付けてもよい。
例えば、方向変換部２０２ａは、置き換えられた収音方向への移動速度の速度指示を、収音方向が水平方向から角度θだけ下方を向いている対応関係を用いて、図６に示されるように、水平方向への移動速度の成分と上下方向への移動速度の成分とに分解する。方向変換部２０２ａは、図５に示されるように、分解後の水平方向への移動速度の成分を無人飛行体１００の前後方向への移動速度の速度指示として生成し、分解後の上下方向への移動速度の成分を操作信号により示される操作のうち上下方向の移動速度に加算し、加算後の移動速度を上下方向の移動速度の速度指示として生成する。なお、方向変換部２０２ａは、上下方向の上方向への移動速度を正とし、下方向への移動速度を負として、移動速度の加算を行う。また、方向変換部２０２ａは、左右方向の移動速度の速度指示、および、回転の移動速度の速度指示については、変換せずにそのまま出力する。
このように、方向変換部２０２ａは、入力された操作を、対応付けた結果に基づいて変換することにより、無人飛行体１００の移動を操作する。これにより、収音処理が実行されている場合、収音方向を前後方向として無人飛行体１００を移動させることが容易にでき、ユーザは、無人飛行体１００を音源に近づけたり遠ざけたりする操作を行うことが容易にできる。
なお、上記では、指向性マイクロフォン１０５が無人飛行体１００を上方からみた場合に、無人飛行体１００の前方を向いて固定されているため、方向変換部２０２ａは、前後方向の移動速度の速度指示を、収音方向１５３への移動速度の速度指示に置き換えるとしたが、これに限らない。
例えば、方向変換部２０２ａは、指向性マイクロフォン１０５が無人飛行体１００の前方に対して無人飛行体１００の右下に傾いて固定されている場合に、入力ＩＦ２０１から取得したユーザによる操作のうち前後方向の移動速度の速度指示を、収音方向への移動速度の速度指示に置き換えるとともに、左右方向の移動速度の速度指示を、収音方向と水平面上で直交した方向への移動速度の速度指示に置き換えてもよい。この場合、前後方向の移動速度の速度指示が無人飛行体１００の前後方向、上下方向、左右方向への移動速度成分に分解され、左右方向の移動速度の速度指示が無人飛行体１００の前後方向、左右方向の成分に分解される。そして、分解された上下方向の移動速度の成分が上下方向の速度指示として統合され、分解された前後方向の移動速度の成分が前後方向の速度指示として統合され、分解された左右方向の移動速度の成分が左右方向の速度指示として統合される。
また、収音方向１５３への移動速度の速度指示に置き換えられる速度指示の方向は、カメラ１０３の撮像方向に応じて決定されてもよい。例えば、カメラ１０３の撮像方向が前方である場合は前後方向の速度指示が収音方向１５３の速度指示に置き換えられてもよく、カメラ１０３の撮像方向が右方である場合は左右方向の速度指示が収音方向１５３の速度指示に置き換えられてもよい。
また、無人飛行体１００が複数の指向性マイクロフォンを備えている場合に、前後方向の移動速度の速度指示を置き換える収音方向は、カメラ１０３の撮像方向に応じて決定されてもよい。例えば、カメラ１０３の撮像方向が前方である場合は前後方向の速度指示が前方に向かって配置された指向性マイクロフォンの収音方向の速度指示に置き換えられてもよく、カメラ１０３の撮像方向が右方である場合は右方に向かって配置された指向性マイクロフォンの収音方向への速度指示に置き換えられてもよい。
また、収音処理が実行されていない場合には、入力ＩＦ２０１から出力された操作信号は、変換されずに通信ＩＦ２０５を介して、無人飛行体１００に出力される。これにより、収音処理が実行されていない場合には、無人飛行体１００は、操作信号に応じた方向および移動速度で、移動の制御が行われる。
画像処理部２０２ｂは、メモリ２０３から距離画像、音データ、カメラ１０３の位置および姿勢、ならびに指向性マイクロフォン１０５の位置および姿勢を取得する。画像処理部２０２ｂは、カメラ１０３の位置および姿勢ならびに指向性マイクロフォン１０５の位置および姿勢を用いて、指向性マイクロフォン１０５の収音方向１５３を算出する。
また、画像処理部２０２ｂは、取得された距離画像を用いて、撮像画像に映る物体までの測定距離もメモリ２０３から取得する。画像処理部２０２ｂは、算出された収音方向１５３、および、取得された測定距離を用いて、撮像画像に映る物体の位置における指向性マイクロフォン１０５の収音範囲１５０をさらに算出する。
そして、画像処理部２０２ｂは、図７および図８に示されるように、距離画像のうちの撮像画像３１０上の、算出された収音方向１５３に対応する位置に、収音方向１５３を示すオブジェクト３１２、および、収音範囲１５０を示すオブジェクト３１３を含むオブジェクト３１１を重畳する。なお、オブジェクト３１２は、指向性マイクロフォン１０５の収音における基準となる方向を示す。例えば、画像処理部２０２ｂは、オブジェクト３１２及びオブジェクト３１３を、収音範囲１５０と撮像画像３１０に映る被写体との距離に応じて算出する。画像処理部２０２ｂは、メモリ２０３から指向性マイクロフォン１０５の収音範囲を読み出し、算出された収音方向１５３を軸とする位置に読み出された収音範囲を適用することで、撮像画像３１０上の指向性マイクロフォン１０５の収音範囲１５０を特定する。画像処理部２０２ｂは、取得された距離画像を用いて、特定された収音範囲１５０内にある直近の物体までの距離を算出し、算出された距離に対応するオブジェクト３１２およびオブジェクト３１３を算出する。この場合、画像処理部２０２ｂは、距離画像を複数のエリアに分割して、分割されたエリア毎に距離を算出する。そして、収音範囲１５０において、複数のエリアのそれぞれで算出された複数の距離のうち所定の条件を満たす距離に対応するオブジェクトをオブジェクト３１２およびオブジェクト３１３として算出する。オブジェクト３１３は、例えば、楕円形状を有する。
複数の距離のうち所定の条件を満たす距離とは、例えば、最短の距離であってもよいし、最も多い距離であってもよいし、複数の距離が最も多く分布している距離範囲に基づいて算出される距離であってもよい。また、収音範囲１５０において、特定の距離に対応するオブジェクトは、例えば、無人飛行体１００から特定の距離だけ離れた位置における、撮像範囲１３０および収音範囲１５０のサイズおよび位置関係から算出されてもよい。具体的には、オブジェクト３１３は、略四角錐形状の撮像範囲１３０と、略円錐形状の収音範囲１５０とを、無人飛行体１００から特定の距離だけ離れた位置において、撮像方向または収音方向１５３に略垂直な平面で切断した場合における撮像範囲１３０および収音範囲１５０のサイズおよび位置関係から算出されてもよい。
エリア毎の距離は、例えば、対象エリア内の複数の画素でそれぞれ測定されている複数の距離の平均値、中央値などの代表値であってもよいし、複数の画素でそれぞれ測定されている複数の距離そのものであってもよい。また、測距センサ１０４がデプスカメラではなく、他のセンサにより構成される場合、測距センサ１０４は、カメラ１０３の撮像範囲１３０をカメラ１０３の光軸に交差する平面で複数のエリアに分割し、分割された複数のエリア毎に物体までの距離を測定してもよい。この場合、無人飛行体１００は、カメラ１０３により撮像された撮像画像と、撮像画像において上記複数のエリアのそれぞれで測定された複数の距離とを、コントローラ２００に送信しているものとする。
なお、画像処理部２０２ｂは、上記の方法でオブジェクト３１２、３１３を算出することに限らない。例えば、画像処理部２０２ｂは、先にオブジェクト３１２の画像上の位置を決定し、決定された位置に映る物体までの距離を用いて、当該距離に対応するオブジェクトをオブジェクト３１３として生成してもよい。この場合、測距センサ１０４は、収音方向１５３における物体までの距離を計測すればよい。オブジェクト３１３は、例えば、楕円形状を有する。なお、この場合では、後述する図１４に示されるように、音源４００が収音範囲１５０内にあっても収音方向１５３が音源４００から外れている場合には、無人飛行体１００から音源４００よりも奥側の物体までの距離が計測される。
また、画像処理部２０２ｂは、例えば、撮像画像３１０と対応付けられた収音範囲１５０と距離画像における画素毎の距離情報とを用いて、各画素が収音範囲１５０内にあるか否かをそれぞれ判定し、収音範囲１５０内（又は境界線上）にある画素の領域をオブジェクト３１３として算出してもよい。同様に、画像処理部２０２ｂは、各画素が収音方向１５３に対応する位置にあるか否かをそれぞれ判定し、収音方向１５３上にある画素にオブジェクト３１２が表示されるようにオブジェクト３１２を算出してもよい。この場合、画素毎に距離が異なるため、算出されるオブジェクト３１３の形状は滑らかな曲線になりにくくなる。代わりに、収音範囲がより正確に表示される。また、収音範囲１５０が複数の物体に跨る場合には、各物体との距離に応じてオブジェクト３１３の表示形態が異なることになる。
なお、図７および図８において、撮像画像３１０に映る物体は、例えば、音源の一例である人である。ここで、図７は、音源としての人が映っている撮像画像の一例を示す図である。図８は、オブジェクトが重畳された撮像画像の一例を示す図である。
なお、本実施の形態では、撮像画像３１０に映る物体が音源か否かは無人飛行体を操作するユーザが判断し、ユーザが収音対象と考える音源に収音方向を合わせることが想定される。そのため、当然ながら音源でない物体に対しても本実施の形態における表示態様の制御が行われる場合がある。さらに、無人飛行体は、撮像画像３１０に映る物体が音源であるか否かを判定し、物体が音源であると判定された場合に、本実施の形態における画像処理部２０２ｂによる表示態様の制御及び方向変換部２０２ａによる方向変換処理が行われてもよい。例えば、画像処理部２０２ｂは、撮像画像３１０を画像解析することにより撮像画像３１０に映る物体を認識し、認識された物体が音源であるか否かを判定する。認識された物体が音源であると判定された場合、画像処理部２０２ｂによる表示態様の制御及び方向変換部２０２ａによる操作の方向変換処理が行われる。
また、コントローラ２００のディスプレイ２０４が起動された場合、又はオブジェクトの重畳がユーザから指示された場合に、本実施の形態における画像処理部２０２ｂによる表示態様の制御及び方向変換部２０２ａによる方向変換処理が行われてもよい。また、無人飛行体１００は、音源である物体と無人飛行体１００との距離が所定距離内であるかを判定し、当該距離が所定距離内であると判定された場合に、本実施の形態における画像処理部２０２ｂによる表示態様の制御及び方向変換部２０２ａによる方向変換処理が行われてもよい。
画像処理部２０２ｂは、オブジェクト３１１が重畳された撮像画像（以下、「重畳後画像」という。）３１４をディスプレイ２０４に出力し、ディスプレイ２０４に重畳後画像３１４を表示させる。
次に、各場面において、画像処理部２０２ｂにより生成される重畳後画像の一例について図９〜図１６を用いて説明する。
図９は、第１の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１０は、第２の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１１は、第３の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１２は、第４の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１３は、第５の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１４は、第６の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１５は、第７の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１６は、第８の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。なお、図９〜図１１および図１４〜図１６は、無人飛行体の側面図である。また、図１２および図１３は、無人飛行体の上面図である。
第１の場面は、図３および図８と同様であるため説明を省略する。
第２の場面は、無人飛行体１００が第１の場面における位置から上昇した後の場面である。第２の場面では、図１０に示されるように、無人飛行体１００の上昇に伴い、撮像範囲１３０および収音範囲１５０が音源４００の上方に移動する。このため、重畳後画像３２４に映っている音源４００は、第１の場面の重畳後画像３１４と比較して、重畳後画像３２４の下方に移動する。無人飛行体１００は、水平方向及び前後方向に移動していないため、重畳後画像３２４に重畳されるオブジェクト３１１には、第１の場面から変化はない。
第３の場面は、無人飛行体１００が第１の場面における位置から水平方向において音源４００に近づく方向、つまり、前方に移動した後の場面である。第３の場面では、図１１に示されるように、無人飛行体１００の前方への移動に伴い、音源４００に対する撮像範囲１３０および収音範囲１５０が変化する。このため、重畳後画像３３４に映っている音源４００は、第１の場面の重畳後画像３１４と比較して、大きく映る。また、オブジェクト３３１のうちの収音範囲１５０を示すオブジェクト３３３は、音源４００に追従して大きくなるように計算される一方で、音源４００までの距離が接近することに伴って音源４００上における収音範囲１５０のエリアが小さくなる。そのため、結果として、重畳後画像３１４上のオブジェクト３１３と、重畳後画像３３４上のオブジェクト３３３との大きさはそれほど変わらない。なお、収音方向１５３を示すオブジェクト３３２は、カメラ１０３に対する相対的な姿勢が変化していないため、オブジェクト３１２と同じ位置を指している。
第４の場面は、カメラ１０３が回転自在に機体１２０に接続されている場合の例であり、カメラ１０３が無人飛行体１００の前方よりも左側の角度範囲を撮像している場面である。第４の場面は、図１２に示されるように、撮像範囲１３０内に収音範囲１５０が含まれる場合であって、音源４００が収音範囲１５０外にある場合である。このため、重畳後画像３４４に映っている音源４００と重ならない位置に、収音方向１５３を示すオブジェクト３４２と、収音範囲１５０を示すオブジェクト３４３とを含むオブジェクト３４１が重畳される。よって、ユーザは、カメラ１０３による撮像範囲を固定したままで、無人飛行体１００を左回転方向または左方向に移動させる操作をコントローラ２００に対して行うことで、指向性マイクロフォン１０５の収音範囲１５０を音源４００に向けることが容易にできる。
第５の場面は、第４の場面と同様にカメラ１０３が回転自在に機体１２０に接続されている場合の例であり、第４の場面よりもさらに左側の角度範囲を撮像している場面である。第５の場面は、図１３に示されるように、撮像範囲１３０よりも右側に外れた位置に収音範囲１５０が存在する。このため、画像処理部２０２ｂは、撮像範囲１３０から収音方向１５３への向きを示すオブジェクト３５１が重畳されている重畳後画像３５４を生成する。オブジェクト３５１は、例えば、右方を指す三角形状である。つまり、オブジェクト３５１は、右方に指向性マイクロフォン１０５の収音範囲１５０が存在することを示している。なお、オブジェクト３５１は、右方を指す矢印の形状であってもよい。また、オブジェクト３５１は、撮像画像において近い方向側の辺周辺の領域に重畳される。よって、ユーザは、第４の場面と同様に、カメラ１０３による撮像範囲を固定したままで、無人飛行体１００を左回転方向または左方向に移動させる操作をコントローラ２００に対して行うことで、指向性マイクロフォン１０５の収音範囲１５０を音源４００に向けることが容易にできる。なお、オブジェクト３５１は、指向性マイクロフォン１０５の収音方向１５３が近い方の向きを示す。
第６〜第８の場面は、音源４００が指向性マイクロフォン１０５の収音範囲１５０内に入っている場合において、無人飛行体１００から音源４００までの距離に応じて、オブジェクトの表示態様を制御する場合の例である。
第６の場面は、図１４に示されるように、音源４００が、指向性マイクロフォン１０５の収音範囲１５０内に入っており、かつ、指向性マイクロフォン１０５の収音品質が最も高い第１の品質となる第１の距離ｄ１の位置までの間の第１の範囲に入っている場面である。なお、第１の範囲とは、例えば、指向性マイクロフォン１０５の位置を起点としたときの第１の距離ｄ１の位置までの間の範囲である。このため、画像処理部２０２ｂは、第１の距離ｄ１と無人飛行体１００から音源４００までの測定距離との差分に基づいて、オブジェクト３６１の表示態様を第１の品質を示す表示態様とした重畳後画像３６４を生成する。例えば、画像処理部２０２ｂは、オブジェクト３６１に含まれる収音範囲を示すオブジェクト３６３を示す線を太線とする。
第７の場面は、図１５に示されるように、音源４００が、指向性マイクロフォン１０５の収音範囲１５０内に入っており、かつ、指向性マイクロフォン１０５の収音品質が２番目に高い第２の品質となる第２の距離ｄ２の位置までの間の第２の範囲に入っている場面である。なお、第２の範囲とは、例えば、指向性マイクロフォン１０５の位置を起点としたときの、第１の距離ｄ１の位置から第２の距離ｄ２の位置までの間の範囲である。このため、画像処理部２０２ｂは、第２の距離ｄ２と無人飛行体１００から音源４００までの測定距離との差分に基づいて、オブジェクト３７１の表示態様を第２の品質を示す表示態様とした重畳後画像３７４を生成する。例えば、画像処理部２０２ｂは、オブジェクト３７１に含まれる収音範囲を示すオブジェクト３７３を示す線を二重線とする。
第８の場面は、図１６に示されるように、音源４００が、指向性マイクロフォン１０５の収音範囲１５０内に入っており、かつ、指向性マイクロフォン１０５の収音品質が低い第３の品質となる第２の距離ｄ２の位置よりも遠い第３の範囲に入っている場面である。なお、第３の範囲とは、例えば、指向性マイクロフォン１０５の位置を起点としたときの、第２の距離ｄ２の位置よりも遠い範囲である。このため、画像処理部２０２ｂは、第２の距離ｄ２と無人飛行体１００から音源４００までの測定距離との差分に基づいて、オブジェクト３８１の表示態様を第３の品質を示す表示態様とした重畳後画像３８４を生成する。例えば、画像処理部２０２ｂは、オブジェクト３８１に含まれる収音範囲を示すオブジェクト３８３を示す線を破線とする。
なお、画像処理部２０２ｂは、差分が閾値以上である場合、オブジェクトの表示態様を変更せずに固定したままとしてもよい。また、収音品質の代わりに、測定距離の測定可能範囲に物体が存在するか否かに基づいて、オブジェクトの表示態様が固定されてもよい。例えば、指向性マイクロフォン１０５とカメラ１０３の位置が十分に近いと仮定できる場合、画像上のオブジェクト３８２及びオブジェクト３８３の位置及び大きさはオブジェクト３８２の対象物までに距離に対してそれほど変化しないはずである。そのため、対象物が測距センサの範囲外にある場合には、画像処理部２０２ｂは、対象物が測距センサの最大距離にあるとして計算したオブジェクト３８２及びオブジェクト３８３の位置及びサイズを表示させる。
なお、第４の場面において、画像処理部２０２ｂは、上述した第６〜第８の場面のように無人飛行体１００から音源４００までの距離に応じてオブジェクトの表示態様を制御してもよい。第４の場面は、音源４００ではない物体５００が収音範囲１５０内にある。なお、物体５００は、例えば看板である。
この場合、画像処理部２０２ｂは、指向性マイクロフォン１０５の収音範囲１５０内に物体５００があることが測距センサ１０４による測定距離から検出されても、オブジェクト３４３の表示態様を変化させない。つまり、画像処理部２０２ｂは、収音範囲１５０外にある物体５００が収音範囲１５０内に入った場合に、収音範囲１５０内に物体５００が入る前の表示態様のままのオブジェクト３４３を撮像画像に重畳する。このため、画像処理部２０２ｂは、無人飛行体１００から、収音範囲１５０内の物体５００までの距離が第２の距離ｄ２の位置よりも遠い第３の範囲に入っていたとしても、第３の範囲に音源４００が位置するときの表示態様に変更しない。なお、物体が音源であるか否かは、上述したように、例えば、撮像画像を画像解析することで判定される。
なお、画像処理部２０２ｂは、収音範囲１５０内に音源４００が入っていない場合には、オブジェクト３４３の表示態様を初期状態の表示態様のままとしてもよい。つまり、この場合、第４の場面では、画像処理部２０２ｂは、初期状態の表示態様でオブジェクト３４３を撮像画像に重畳する。
なお、画像処理部２０２ｂは、第６〜第８の場面において線種を変更することで、収音品質に応じた表示態様を変更するとしたが、収音範囲を示すオブジェクトの線種を変更することに限らずに、当該オブジェクトの色を変更することで表示態様を変更してもよいし、オブジェクトの色の濃度を変更することで表示態様を変更してもよい。また、画像処理部２０２ｂは、収音範囲を示すオブジェクトの表示態様を変更することに限らずに、収音方向を示すオブジェクトの表示態様を変更してもよい。画像処理部２０２ｂは、例えば、収音方向を示すオブジェクトの大きさを変更してもよいし、当該オブジェクトを点滅させ、点滅させる速さを変更してもよい。
また、画像処理部２０２ｂは、音源４００が予め定められた距離または安全範囲よりも近い位置に位置する場合に、警告表示を重畳した画像を重畳後画像として生成し、生成された重畳後画像をディスプレイ２０４に表示してもよい。
なお、以上の実施の形態では収音範囲を示すオブジェクトを線で表現していたが、これに限るものではなく、画像上で収音範囲内外の色味を異ならせて識別できるようにしてもよい。
［２．動作］
次に、実施の形態に係る無人飛行体１００およびコントローラ２００の動作について説明する。まず、収音処理における動作例について説明する。
図１７は、実施の形態に係る収音処理における無人飛行体およびコントローラの動作例を示すシーケンス図である。
無人飛行体１００の画像取得部１０１ｂは、カメラ１０３から撮像画像を取得し、測距センサ１０４から測定距離を取得する（Ｓ１１）。
次に、画像取得部１０１ｂは、取得された撮像画像および測定距離を用いて距離画像を生成する（Ｓ１２）。ステップＳ１１およびＳ１２の処理の詳細は、画像取得部１０１ｂの機能の説明において記載したため、省略する。
収音部１０１ｃは、指向性マイクロフォン１０５により逐次生成された音データを取得する（Ｓ１３）。ステップＳ１３の処理の詳細は、収音部１０１ｃの機能の説明において記載したため、省略する。
プロセッサ１０１は、生成された距離画像および音データを、通信ＩＦ１０７を用いて、コントローラ２００に送信する（Ｓ１４）。ここで、プロセッサ１０１は、メモリ１０６に記憶されているカメラ１０３の位置および姿勢、並びに、指向性マイクロフォン１０５の位置、姿勢および収音方向を示す情報を、通信ＩＦ１０７を用いて、コントローラ２００に送信してもよい。
次に、コントローラ２００は、距離画像および音データを受信すると、画像処理を実行する（Ｓ１５）。画像処理の詳細は、図１８を用いて説明する。
図１８は、実施の形態に係るコントローラにおける画像処理の詳細を示すフローチャートである。
コントローラ２００の画像処理部２０２ｂは、カメラ１０３の位置および姿勢、並びに、指向性マイクロフォン１０５の位置、姿勢および収音方向を示す情報を取得する（Ｓ２１）。画像処理部２０２ｂは、通信ＩＦ１０７を介して、無人飛行体１００から上記情報を取得してもよいし、上記情報が予めメモリ２０３に記憶されている場合にはメモリ２０３から上記情報を取得してもよい。
画像処理部２０２ｂは、取得されたカメラ１０３の位置および姿勢ならびに指向性マイクロフォン１０５の位置および姿勢を用いて、取得された距離画像のうちの撮像画像における収音方向に対応する位置を算出する（Ｓ２２）。
画像処理部２０２ｂは、撮像画像上の、算出された収音方向に対応する位置に、収音方向を示すオブジェクトを重畳する（Ｓ２３）。なお、ステップＳ２１〜Ｓ２３の処理の詳細は、画像処理部２０２ｂの機能の説明において記載したため、省略する。
図１７の説明に戻り、プロセッサ２０２は、画像処理によって生成された重畳後画像を、ディスプレイ２０４に表示する（Ｓ１６）。
次に、収音処理時における操作の変換処理について説明する。
図１９は、実施の形態に係る無人飛行体の操作の変換処理における無人飛行体およびコントローラの動作例を示すシーケンス図である。
コントローラ２００の方向変換部２０２ａは、無人飛行体１００の指向性マイクロフォン１０５の収音方向を取得する（Ｓ３１）。方向変換部２０２ａは、通信ＩＦ１０７を介して、無人飛行体１００から上記収音方向を取得してもよいし、上記収音方向が予めメモリ２０３に記憶されている場合にはメモリ２０３から上記収音方向を取得してもよい。
方向変換部２０２ａは、入力ＩＦ２０１により受け付けられた操作を、取得された収音方向を前後方向として受け付ける（Ｓ３２）。
方向変換部２０２ａは、操作を無人飛行体の各方向への移動指示を示す操作信号に変換し（Ｓ３３）、変換後の操作信号を、通信ＩＦ２０６を介して無人飛行体１００に出力する（Ｓ３４）。なお、ステップＳ３１〜Ｓ３３の処理の詳細は、方向変換部２０２ａの機能の説明において記載したため、省略する。
無人飛行体１００は、受信した操作信号に応じて飛行制御を行う（Ｓ３５）。
［３．効果など］
本実施の形態に係るコントローラ２００によれば、無人飛行体１００のカメラ１０３により出力された撮像画像上の、算出された収音方向１５３の対応する位置に、指向性マイクロフォン１０５の収音方向１５３を示すオブジェクト３１１が重畳された重畳後画像３１４をディスプレイ２０４に表示させる。このため、ユーザに指向性マイクロフォン１０５の収音方向１５３の重畳後画像３１４上における位置を伝えることができる。すなわち、指向性マイクロフォン１０５の収音方向１５３を可視化することができる。このため、ユーザは、表示された重畳後画像３１４を見ながらオブジェクト３１１がターゲット音の音源に合うように無人飛行体１００を操作することで、指向性マイクロフォン１０５の収音方向１５３を音源４００に向けることが容易にできる。よって、人が操作する無人飛行体１００を用いた収音の品質を向上させることができる。
また、本実施の形態に係るコントローラ２００において、画像処理部２０２ｂは、撮像画像に映る物体までの測定距離をさらに取得し、算出された収音方向、および、取得された測定距離を用いて、物体の位置における指向性マイクロフォン１０５の収音範囲１５０をさらに算出し、算出された収音範囲１５０を示すオブジェクト３１３を撮像画像に重畳する。このため、ユーザは、表示された重畳後画像３１４を見ながらオブジェクト３１３が音源４００に合うように無人飛行体１００を操作することで、音源４００を指向性マイクロフォン１０５の収音範囲１５０内に収めることが容易にできる。よって、人が操作する無人飛行体１００を用いた収音の品質を向上させることができる。
また、本実施の形態に係るコントローラ２００において、方向変換部２０２ａは、無人飛行体１００の移動方向と収音方向１５３とを対応付け、対応付けた結果に基づいて無人飛行体１００の移動を制御する。このため、無人飛行体１００は、収音方向１５３を基準とした方向に移動が制御されるため、指向性マイクロフォン１０５の収音方向１５３を音源４００に合わせたまま移動することが容易にできる。
また、本実施の形態に係るコントローラ２００において、方向変換部２０２ａは、無人飛行体１００の移動に関する操作入力を受付け、操作入力を対応付けた結果に基づいて変換することにより、無人飛行体１００の移動を制御する。これによれば、ユーザは、収音方向１５３を基準とした方向に無人飛行体１００を移動させることが容易にできるため、指向性マイクロフォン１０５の収音方向１５３を音源４００に合わせたまま無人飛行体１００を移動することが容易にできる。
また、本実施の形態に係るコントローラ２００において、画像処理部２０２ｂは、算出された収音方向１５３がカメラ１０３の撮像範囲１３０から外れる場合、撮像範囲１３０から収音方向１５３への向きを示すオブジェクト３５１を撮像画像に重畳する。このため、ユーザは、表示された重畳後画像３１４を見ながらオブジェクト３５１が示す方向に向くように無人飛行体１００を操作することで、指向性マイクロフォン１０５の収音方向１５３を音源４００に向けることが容易にできる。よって、収音の品質を向上させることができる。
また、本実施の形態に係るコントローラ２００において、画像処理部２０２ｂは、指向性マイクロフォン１０５の収音品質に応じた設定距離をさらに取得し、取得された撮像画像に映る物体までの測定距離と、取得された設定距離との差分に基づいて、オブジェクトの表示態様を制御する。このため、音源４００の物体から指向性マイクロフォン１０５までの距離に応じて収音品質が高品質であると予測される場合と、低品質であると予測される場合とで異なる表示態様でオブジェクトを表示することができる。よって、ユーザは、表示された重畳後画像を見ながらオブジェクトが高品質の表示態様になるように無人飛行体１００を操作することで、指向性マイクロフォン１０５から得られるターゲット音の収音の品質を向上させることができる。
また、本実施の形態に係るコントローラ２００において、画像処理部２０２ｂは、差分が閾値以上である場合、オブジェクトの表示態様を固定する。これによれば、収音品質が所定の品質以下である場合、オブジェクトの表示態様を固定するため、表示態様を変更するための処理負荷を低減することができる。
［４．変形例］
上記実施の形態に係るコントローラ２００において、指向性マイクロフォン１０５の収音方向または収音範囲を示すオブジェクトを表示するか、表示しないかをユーザによる操作によって選択的に切り替えることができてもよい。
上記実施の形態に係るコントローラ２００では、収音処理が実行されている場合に、指向性マイクロフォン１０５の収音方向に移動するように、入力された操作を、対応付けた結果に基づいて変換することにより、無人飛行体１００の移動を操作するとしたが、これに限らない。コントローラ２００では、収音処理が実行されている場合に操作しても、通常の無人飛行体１００の移動制御となるように、上記変換をしないように切り替えることができてもよい。
上記実施の形態では、オブジェクトとして楕円形の枠を重畳する例を示しているが、オブジェクトは、楕円形の枠に限らずに、中が塗りつぶされた楕円形のオブジェクトであってもよいし、楕円形の外側が塗りつぶされたオブジェクトであってもよい。
上記実施の形態に係るコントローラ２００では、指向性マイクロフォン１０５が複数のマイクロフォン素子を有するマイクロフォンアレイにより構成されている場合には、画像処理部２０２ｂは、マイクロフォンアレイにより出力された結果を用いて特定された、撮像画像上における音源の位置を重畳した画像を重畳後画像として生成してもよい。そして、生成された重畳後画像をディスプレイ２０４に表示してもよい。
上記実施の形態に係るコントローラ２００では、撮像画像を画像認識することで撮像画像上の人の形状を識別し、識別された人の形状における人の口を特定し、特定された人の口の位置に音源であることを示すオブジェクトを重畳した画像を重畳後画像として生成してもよい。そして、生成された重畳後画像をディスプレイ２０４に表示してもよい。
上記実施の形態に係る無人飛行体１００は、４つの発生器１１０を備える構成としたが、無人飛行体１００が備える発生器の数は、４つに限らずに、１〜３つであってもよいし、５つ以上であってもよい。
上記実施の形態に係る無人飛行体１００は、機体１２０と４つの発生器１１０とが４つのアーム１２１により接続される構成としたが、これに限らずに、４つの発生器１１０が機体１２０に接続されている構成であれば、４つのアーム１２１を備えていない構成であってもよい。つまり、無人飛行体は、機体１２０に直接４つの発生器１１０が接続されている構成であってもよい。
上記実施の形態に係る無人飛行体１００は、１つの指向性マイクロフォン１０５を備える構成としたが、無人飛行体１００が備える指向性マイクロフォンの数は、１つに限らずに、２つ以上であってもよい。無人飛行体が２つ以上の指向性マイクロフォンを備える場合には、２つ以上の指向性マイクロフォンのそれぞれについて、１つの指向性マイクロフォンの収音方向を算出する処理と同様の処理を実行すればよい。このように、無人飛行体が２つ以上の指向性マイクロフォンを備える場合、コントローラ２００は、それぞれの指向性マイクロフォンの収音方向を示すオブジェクトを表示してもよい。表示するオブジェクトには、２つ以上の指向性マイクロフォンのうちのどのマイクロフォンの収音方向であるかを示す識別子をオブジェクトと共に表示してもよい。
上記実施の形態では、コントローラ２００が画像処理部２０２ｂを有するとしたが、これに限らずに、無人飛行体１００が画像処理部２０２ｂと同様の機能を有してもよい。つまり、無人飛行体１００が重畳後画像を生成し、生成した重畳後画像をコントローラ２００に送信してもよい。この場合、コントローラ２００は、無人飛行体１００から受信した重畳後画像をディスプレイ２０４に表示する。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態のコントローラ２００、情報処理方法などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、プロセッサおよびメモリを備える少なくとも１つの情報処理装置により実行される情報処理方法であって、無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を前記メモリに記憶し、前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を前記メモリに記憶し、前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、前記オブジェクトが重畳された撮像画像を表示装置に表示させる情報処理方法を実行させる。
以上、本開示の一つまたは複数の態様に係る情報処理装置、情報処理方法およびプログラムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、指向性マイクロフォンの収音範囲は可変であってもよい。例えば、マイクロフォンの指向性が変更された場合、変更後の指向性に基づいて収音範囲が取得される。この場合、取得された収音範囲を用いてオブジェクトが重畳される。
なお、プロセッサ１０１またはプロセッサ２０２で行う処理には、機械学習を用いてもよい。機械学習には、例えば、入力情報に対してラベル（出力情報）が付与された教師データを用いて入力と出力との関係を学習する教師あり学習、ラベルのない入力のみからデータの構造を構築する教師なし学習、ラベルありとラベルなしのどちらも扱う半教師あり学習、状態の観測結果から選択した行動に対するフィードバック（報酬）を得ることにより、最も多く報酬を得ることができる連続した行動を学習する強化学習などが挙げられる。また、機械学習の具体的な手法として、ニューラルネットワーク（多層のニューラルネットワークを用いた深層学習を含む）、遺伝的プログラミング、決定木、ベイジアン・ネットワーク、サポート・ベクター・マシン（ＳＶＭ）などが存在する。本開示においては、以上で挙げた具体例のいずれかを用いればよい。
本開示は、人が操作する無人飛行体を用いた収音の品質を向上させることができる情報処理装置、情報処理方法およびプログラムなどとして有用である。
１００ 無人飛行体
１０１ プロセッサ
１０２ センサ
１０３ カメラ
１０４ 測距センサ
１０５ 指向性マイクロフォン
１０６ メモリ
１０７ 通信ＩＦ
１１０ 発生器
１１１ 回転翼
１１２ アクチュエータ
１２０ 機体
１２１ アーム
１３０ 撮像範囲
１３１ 上限
１３２ 下限
１５０ 収音範囲
１５１ 上限
１５２ 下限
１５３ 収音方向
２００ コントローラ
２０１ 入力ＩＦ
２０２ プロセッサ
２０２ａ 方向変換部
２０２ｂ 画像処理部
２０３ メモリ
２０４ ディスプレイ
２０５ 通信ＩＦ
３１０ 撮像画像
３１１〜３１３、３３１〜３３３、３４１〜３４３、３５１、３６１〜３６３、３７１〜３７３、３８１〜３８３ オブジェクト
３１４、３２４、３３４、３４４、３５４、３６４、３７４、３８４ 重畳後画像
４００ 音源

Claims (10)

  1. プロセッサとメモリとを備え、
    前記メモリは、
    無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を記憶し、
    前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を記憶し、
    前記プロセッサは、
    前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、
    前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、
    前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、
    前記オブジェクトが重畳された撮像画像を表示装置に表示させる
    情報処理装置。
  2. 前記プロセッサは、前記指向性マイクロフォンの収音における基準となる方向を前記収音方向として算出する
    請求項１に記載の情報処理装置。
  3. 前記プロセッサは、
    前記撮像画像に映る物体までの測定距離をさらに取得し、
    算出された収音方向、および、取得された前記測定距離を用いて、前記物体の位置における前記指向性マイクロフォンの収音範囲をさらに算出し、
    算出された前記収音範囲を示すオブジェクトを、前記収音方向を示す前記オブジェクトとして前記撮像画像に重畳する
    請求項１または２に記載の情報処理装置。
  4. 前記プロセッサは、
    前記無人飛行体の移動方向と前記収音方向とを対応付け、
    対応付けた結果に基づいて前記無人飛行体の移動を制御する
    請求項１〜３のいずれか１項に記載の情報処理装置。
  5. 前記プロセッサは、
    前記無人飛行体の移動に関する操作入力を受け付け、
    前記操作入力を前記対応付けた結果に基づいて変換することにより、前記無人飛行体の移動を制御する
    請求項４に記載の情報処理装置。
  6. 前記プロセッサは、
    算出された前記収音方向が前記カメラの撮像範囲から外れる場合、前記撮像範囲から前記収音方向への向きを示すオブジェクトを前記撮像画像に重畳する
    請求項１〜５のいずれか１項に記載の情報処理装置。
  7. 前記プロセッサは、
    前記指向性マイクロフォンの収音品質に応じた設定距離をさらに取得し、
    取得された前記撮像画像に映る物体までの測定距離と、取得された前記設定距離との差分に基づいて、前記収音方向を示す前記オブジェクトの表示態様を制御する
    請求項１〜６のいずれか１項に記載の情報処理装置。
  8. 前記プロセッサは、前記差分が閾値以上である場合又は前記測定距離の測定可能範囲に物体が存在しない場合、前記収音方向を示す前記オブジェクトの表示態様を固定する
    請求項７に記載の情報処理装置。
  9. プロセッサおよびメモリを備える少なくとも１つの情報処理装置により実行される情報処理方法であって、
    無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を前記メモリに記憶し、
    前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を前記メモリに記憶し、
    前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、
    前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、
    前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、
    前記オブジェクトが重畳された撮像画像を表示装置に表示させる
    情報処理方法。
  10. プロセッサおよびメモリを備える少なくとも１つの情報処理装置により実行される情報処理方法であって、
    無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を前記メモリに記憶し、
    前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を前記メモリに記憶し、
    前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、
    前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、
    前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、
    前記オブジェクトが重畳された撮像画像を表示装置に表示させる
    情報処理方法を前記情報処理装置に実行させるためのプログラム。
JP2020572093A 2019-02-15 2019-12-04 情報処理装置、情報処理方法およびプログラム Active JP7391053B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019025843 2019-02-15
JP2019025843 2019-02-15
PCT/JP2019/047314 WO2020166178A1 (ja) 2019-02-15 2019-12-04 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020166178A1 true JPWO2020166178A1 (ja) 2021-12-23
JP7391053B2 JP7391053B2 (ja) 2023-12-04

Family

ID=72045310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572093A Active JP7391053B2 (ja) 2019-02-15 2019-12-04 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US12024284B2 (ja)
EP (1) EP3926976B1 (ja)
JP (1) JP7391053B2 (ja)
CN (1) CN112703748B (ja)
WO (1) WO2020166178A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213198A1 (ja) * 2019-04-18 2020-10-22 パナソニックＩｐマネジメント株式会社 無人飛行体、制御方法及びプログラム
JP7457949B2 (ja) * 2019-05-15 2024-03-29 パナソニックＩｐマネジメント株式会社 情報処理方法、無人飛行体及び無人飛行体制御システム
JP6883628B2 (ja) * 2019-09-06 2021-06-09 Kddi株式会社 操縦装置、情報処理方法、及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309233A (ja) 2000-04-19 2001-11-02 Japan Aviation Electronics Industry Ltd 撮影装置の遠隔操作システム
US20080247567A1 (en) * 2005-09-30 2008-10-09 Squarehead Technology As Directional Audio Capturing
JP5240832B2 (ja) * 2008-06-04 2013-07-17 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 音入力装置、音入力方法およびプログラム
JP5141392B2 (ja) * 2008-06-20 2013-02-13 カシオ計算機株式会社 撮像装置、周音範囲表示方法及びプログラム
JP5358843B2 (ja) * 2008-07-09 2013-12-04 シャープ株式会社 音出力制御装置、音出力制御方法、及び音出力制御プログラム
JP2010154259A (ja) * 2008-12-25 2010-07-08 Victor Co Of Japan Ltd 画像音声処理装置
JP5353316B2 (ja) * 2009-03-06 2013-11-27 ヤマハ株式会社 音場可視化装置
JP5246790B2 (ja) * 2009-04-13 2013-07-24 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 音データ処理装置、及び、プログラム
KR101155610B1 (ko) * 2010-04-30 2012-06-13 주식회사 에스원 음원 위치 표시 장치 및 그 방법
JP2014033332A (ja) * 2012-08-03 2014-02-20 Jvc Kenwood Corp 撮像装置及び撮像方法
US9264797B2 (en) * 2012-12-21 2016-02-16 Panasonic Intellectual Property Management Co., Ltd. Directional microphone device, acoustic signal processing method, and program
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
US9414153B2 (en) * 2014-05-08 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
DE102015210405A1 (de) * 2015-06-05 2016-12-08 Sennheiser Electronic Gmbh & Co. Kg Audioverarbeitungssystem und Verfahren zum Verarbeiten eines Audiosignals
JP6493860B2 (ja) * 2015-07-23 2019-04-03 パナソニックＩｐマネジメント株式会社 監視制御システム及び監視制御方法
US10379534B2 (en) * 2016-01-28 2019-08-13 Qualcomm Incorporated Drone flight control
JP6664119B2 (ja) 2016-03-24 2020-03-13 パナソニックＩｐマネジメント株式会社 モニタリングシステム及びモニタリング方法
WO2017163688A1 (en) 2016-03-24 2017-09-28 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
US10067736B2 (en) 2016-09-30 2018-09-04 Sony Interactive Entertainment Inc. Proximity based noise and chat
US10979613B2 (en) * 2016-10-17 2021-04-13 Dolby Laboratories Licensing Corporation Audio capture for aerial devices
CN106653041B (zh) * 2017-01-17 2020-02-14 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
CN107509026A (zh) * 2017-07-31 2017-12-22 深圳市金立通信设备有限公司 一种录音区域的显示方法及其终端

Also Published As

Publication number Publication date
US12024284B2 (en) 2024-07-02
EP3926976A4 (en) 2022-03-23
US20210221505A1 (en) 2021-07-22
EP3926976B1 (en) 2024-05-08
CN112703748B (zh) 2024-06-04
CN112703748A (zh) 2021-04-23
JP7391053B2 (ja) 2023-12-04
WO2020166178A1 (ja) 2020-08-20
EP3926976A1 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
US20220374010A1 (en) User Interaction Paradigms For A Flying Digital Assistant
US10648809B2 (en) Adaptive compass calibration based on local field conditions
CN107087427B (zh) 飞行器的控制方法、装置和设备以及飞行器
CN107340777B (zh) 一种水下无人船控制系统及方法
CN108351574B (zh) 用于设置相机参数的系统、方法和装置
CN107531322B (zh) 空中捕获平台
CA3107720C (en) Systems and methods for controlling operations of marine vessels
JP7391053B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018178756A1 (en) System and method for providing autonomous photography and videography
CN108521812A (zh) 无人机的控制方法、无人机以及机器可读存储介质
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2014062789A (ja) 写真計測用カメラ及び航空写真装置
CN108021145A (zh) 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统
CN107205111B (zh) 摄像装置、移动装置、摄像系统、摄像方法和记录介质
JP6912281B2 (ja) 飛行体、飛行制御システム、飛行制御方法、プログラム及び記録媒体
WO2019093282A1 (ja) 環境取得システム
KR20170086482A (ko) 플라잉 봇의 제어 장치 및 제어 방법
JP6583840B1 (ja) 検査システム
JP2019185689A (ja) 検出対象位置特定システム
CN109032184A (zh) 飞行器的飞行控制方法、装置、终端设备及飞行控制系统
WO2023173307A1 (zh) 可移动平台及其控制方法、信息提示方法、装置、电子设备、计算机可读存储介质
JP6482856B2 (ja) 監視システム
CN110785720A (zh) 信息处理装置、信息提示指示方法、程序以及记录介质
JP6681101B2 (ja) 検査システム
JP7452543B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231121

R150 Certificate of patent or registration of utility model

Ref document number: 7391053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150