本出願に係る複数の実施形態を、図面を参照しつつ詳細に説明する。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。また、本出願に係る実施形態を説明する上で密接に関連しない事項は、説明及び図示を省略することがある。
図1は、実施形態に係る飛行体の外観構成の一例を示す図である。図1は、実施形態に係る飛行体100の平面図V1及び正面図V2を含む。以下の説明において、飛行体100は、モータなどの動力機構により駆動する回転翼が生み出す揚力及び推進力により飛行する。飛行体100は、「飛行装置」の一例である。
図1に示すように、飛行体100は、本体110と、連結フレーム130と、回転翼150a〜150dと、脚部170a,170bと、カメラ190とを備える。飛行体100は、複数の連結フレーム130が、本体110及び回転翼150a〜150dとの間を相互に連結して構成される。本体110は端末装着ユニット111を有する。飛行体100は、飛行中ではないとき、脚部170a,170bを接地させた状態で待機する。
図1に示す飛行体100の外観構成は一例であって、本体110、連結フレーム130、回転翼150a〜150d、及び脚部170a,170bにより形作られる外観、及び連結フレーム130及び回転翼150a〜150dなどの構成部品の数など、必ずしも図1に示す例に限定される必要はない。
図2は、実施形態に係る飛行体に対する携帯端末の装着方法の一例を示す図である。図2に示すように、携帯端末1は、例えば、携帯端末1の正面が、飛行体100の平面側(z軸プラス方向)を向くように、端末装着ユニット111に着脱可能に装着される。携帯端末1が端末装着ユニット111に装着されたとき、携帯端末1の筐体(以下、「ハウジング」と表記する)の一部(以下に説明するサイドフェイス1Cの一部)は、端末装着ユニット111が有する突起部111a,111bと隙間なく接触する。突起部111a,111bは、適度な弾性を有する弾性材料で構成されてよい。
携帯端末1の正面は、携帯端末1を利用するユーザと対面する、あるいはユーザに接する面であり、以下の説明おいて「正面」又は「表示面」と記載する場合がある。以下の説明において、「正面」とは逆側の面を「背面」と記載する場合がある。携帯端末1は、「携帯電子機器」の一例である。
図3から図5は、実施形態に係る携帯端末の外観構成の一例を示す図である。図3から図5に示すように、携帯端末1は、ハウジング1Hを有する。ハウジング1Hの表面をなす面には、フロントフェイス1Aと、フロントフェイス1Aの背面に相当するバックフェイス1Bと、フロントフェイス1Aとバックフェイス1Bとを接続するサイドフェイス1C1〜1C4とが含まれる。なお、以下では、サイドフェイス1C1〜1C4を、どの面であるかを特定することなく、サイドフェイス1Cと総称することがある。
携帯端末1は、タッチスクリーン2Bと、ボタン3A〜3Cと、照度センサ4と、近接センサ5と、レシーバ7と、マイク8と、カメラ12とをフロントフェイス1Aに有する。携帯端末1は、スピーカ11と、カメラ13とをバックフェイス1Bに有する。携帯端末1は、ボタン3D〜3Fと、コネクタ14とをサイドフェイス1Cに有する。以下の説明において、ボタン3A〜3Fを、どのボタンであるかを特定することなく、ボタン3と総称することがある。
携帯端末1は、サイドフェイス1C3及びサイドフェイス1C4に沿って配置された圧力センサ19を有する。圧力センサ19は、サイドフェイス1C3及びサイドフェイス1C4に対する圧力を検知できる。圧力センサ19は、例えば、携帯端末1が飛行体100の端末装着ユニット111に装着されたときに、突起部111a,111bがサイドフェイス1C3及びサイドフェイス1C4に対して及ぼす圧力を感知できる。
図6は、実施形態に係る携帯端末の機能構成の一例を示す図である。図6に示すように、携帯端末1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ(インカメラ)12と、カメラ(アウトカメラ)13と、コネクタ14と、加速度センサ15と、方位センサ16と、角速度センサ17と、気圧センサ18と、圧力センサ19と、GPS受信機20とを含む。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2A及びタッチスクリーン2Bは、例えば、重なって位置してよいし、並んで位置してよいし、離れて位置してよい。ディスプレイ2Aとタッチスクリーン2Bとが重なって位置する場合、例えば、ディスプレイ2Aの1ないし複数の辺は、タッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを含む。ディスプレイ2Aは、文字、画像、記号、及び図形等のオブジェクトを画面内に表示する。ディスプレイ2Aが表示するオブジェクトを含む画面は、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面を含む。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触又は近接を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触又は近接したときのタッチスクリーン2B上の位置を検出することができる。以下の説明において、タッチスクリーン2Bが検出する複数の指、ペン、及びスタイラスペン等がタッチスクリーン2Bに接触又は近接した位置を「検出位置」と表記する。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触又は近接を、検出位置とともにコントローラ10に通知する。タッチスクリーン2Bは、検出位置の通知をもって接触又は近接の検出をコントローラ10に通知してよい。タッチスクリーン2Bが行える動作を、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2は実行できる。言い換えると、タッチスクリーン2Bが行う動作は、タッチスクリーンディスプレイ2が行ってもよい。
コントローラ10は、タッチスクリーン2Bにより検出された接触又は近接、検出位置、検出位置の変化、接触又は近接が継続した時間、接触又は近接が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別する。コントローラ10が行える動作を、コントローラ10を有する携帯端末1は実行できる。言い換えると、コントローラ10が行う動作は、携帯端末1が行ってもよい。ジェスチャは、指を用いて、タッチスクリーン2Bに対して行われる操作である。タッチスクリーン2Bに対して行われる操作は、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2により行われてもよい。コントローラ10が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。
「タッチ」は、タッチスクリーン2Bに指が触れるジェスチャである。携帯端末1は、タッチスクリーン2Bに指が接触するジェスチャをタッチとして判別する。「ロングタッチ」は、タッチスクリーン2Bに指が一定時間より長く触れるジェスチャである。携帯端末1は、タッチスクリーン2Bに指が一定時間より長く接触するジェスチャをロングタッチとして判別する。
「リリース」は、指がタッチスクリーン2Bから離れるジェスチャである。携帯端末1は、指がタッチスクリーン2Bから離れるジェスチャをリリースとして判別する。「スワイプ」は、指がタッチスクリーン2Bに接触したままで移動するジェスチャである。携帯端末1は、指がタッチスクリーン2Bに接触したままで移動するジェスチャをスワイプとして判別する。
「タップ」は、タッチに続いてリリースをするジェスチャである。携帯端末1は、タッチに続いてリリースをするジェスチャをタップとして判別する。「ダブルタップ」は、タッチに続いてリリースをするジェスチャが2回連続するジェスチャである。携帯端末1は、タッチに続いてリリースをするジェスチャが2回連続するジェスチャをダブルタップとして判別する。
「ロングタップ」は、ロングタッチに続いてリリースをするジェスチャである。携帯端末1は、ロングタッチに続いてリリースをするジェスチャをロングタップとして判別する。「ドラッグ」は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャである。携帯端末1は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャをドラッグとして判別する。
「フリック」は、指が、タッチスクリーン2Bに触れた後移動しながらタッチスクリーン2Bから離れるジェスチャである。すなわち、「フリック」は、タッチに続いて指が移動しながらリリースが行われるジェスチャである。携帯端末1は、指が、タッチスクリーン2Bに触れた後移動しながらタッチスクリーン2Bから離れるジェスチャをフリックとして判別する。フリックは、指が一方方向へ移動しながら行われることが多い。フリックは、指が画面の上方向へ移動する「上フリック」、指が画面の下方向へ移動する「下フリック」、指が画面の右方向へ移動する「右フリック」、指が画面の左方向へ移動する「左フリック」等を含む。フリックにおける指の移動は、スワイプにおける指の移動よりも素早いことが多い。
「ピンチイン」は、複数の指が互いに近付く方向にスワイプするジェスチャである。携帯端末1は、タッチスクリーン2Bにより検出されるある指の位置と他の指の位置との間の距離が短くなるジェスチャをピンチインとして判別する。「ピンチアウト」は、複数の指が互いに遠ざかる方向にスワイプするジェスチャである。携帯端末1は、タッチスクリーン2Bにより検出されるある指の位置と他の指の位置との間の距離が長くなるジェスチャをピンチアウトとして判別する。
以下の説明では、1本の指により行われるジェスチャを「シングルタッチジェスチャ」と呼び、2本以上の指により行われるジェスチャを「マルチタッチジェスチャ」と呼ぶことがある。マルチタッチジェスチャは、例えば、ピンチインおよびピンチアウトを含む。タップ、フリックおよびスワイプ等は、1本の指で行われればシングルタッチジェスチャであり、2本以上の指で行われればマルチタッチジェスチャである。
コントローラ10は、タッチスクリーン2Bを介して判別するこれらのジェスチャに従って動作を行う。このため、利用者にとって直感的で使いやすい操作性が実現される。判別されるジェスチャに従ってコントローラ10が行う動作は、ディスプレイ2Aに表示されている画面に応じて異なることがある。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。
ボタン3は、ユーザからの操作入力を受け付ける。ボタン3は、例えば、ボタン3A〜ボタン3Fを有する。ボタン3の数は、任意の数であってよい。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、及びマルチプッシュを含むが、これらに限定されない。
ボタン3A〜3Cは、例えば、ホームボタン、バックボタンまたはメニューボタンである。ボタン3Dは、例えば、スマートフォン1のパワーオン/オフボタン(電源ボタン)である。ボタン3Dは、スリープ/スリープ解除ボタンを兼ねてもよい。ボタン3E及び3Fは、例えば、音量ボタンである。
照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、赤外線を照射する発光素子と、発光素子から照射された赤外線の反射光を受光する受光素子を有する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G、5G等のセルラーフォンの通信規格と、近距離無線の通信規格とが含まれる。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(登録商標)(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、WiMAX(登録商標)(Worldwide interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(登録商標)(Near Field Communication)、WPAN(Wireless Personal Area Network)等が含まれる。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
レシーバ7は、コントローラ10から送出される音信号を音として出力する。マイク8は、入力されるユーザの声等を音信号へ変換してコントローラ10へ送信する。
ストレージ9は、プログラム及びデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域として利用されてもよい。ストレージ9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する支援プログラム(図示略)とが含まれる。アプリケーションは、例えば、フォアグランドで実行される場合、当該アプリケーションに係る画面を、ディスプレイ2Aに表示する。支援プログラムには、例えば、OS(Operating System)が含まれる。プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
ストレージ9は、制御プログラム9A、飛行体連携プログラム9B、ユーザ探索用データ9C、画像認証用データ9D、音声認証用データ9E、及び設定データ9Zなどを記憶できる。
制御プログラム9Aは、携帯端末1の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム9Aが提供する機能は、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する機能を含む。制御プログラム9Aが提供する機能は、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする機能を含む。制御プログラム9Aが提供する機能は、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる機能を含む。制御プログラム9Aが提供する機能は、カメラ12、及びカメラ13の撮影処理を制御する機能を含む。制御プログラム9Aが提供する機能は、コネクタ14を介して接続される外部機器との間の通信を制御する機能を含む。制御プログラム9Aが提供する機能は、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能を含む。制御プログラム9Aが提供する機能は、加速度センサ15の検出結果に基づいて、携帯端末1を携帯するユーザの移動、停止等を検出する機能を含む。制御プログラム9Aが提供する機能は、GPS受信機20より取得する信号に基づいて、現在位置に基づく処理を実行する機能を含む。
制御プログラム9Aは、飛行体100に携帯端末1(以下、適宜「自機」と表記する)が装着されたかを判定する機能を提供できる。制御プログラム9Aは、例えば、圧力センサ19の検出結果に基づいて、飛行体100に自機が装着されたかを判定できる。制御プログラム9Aは、例えば、サイドフェイス1Cに作用する圧力の範囲(例えば、圧力の分布)が、端末装着ユニット111の突起部111aとサイドフェイス1C3との接触面積、及び突起部111bとサイドフェイス1C4との接触面積と略一致する場合、飛行体100に自機が装着されたという判定結果を導出してもよい。
制御プログラム9Aは、飛行体100との通信が可能な状態にペアリングするための機能を提供できる。制御プログラム9Aは、飛行体100に対する自機の装着を確認できると、飛行体連携プログラム9Bに対して、飛行体100との自機とのペアリング指示を送出する。制御プログラム9Aから飛行体100に対する指示及びデータの送信は、以下に説明する飛行体連携プログラム9Bを介して実行される。
制御プログラム9Aは、気圧センサ18の検出結果に基づいて、自機が装着されている飛行体100が飛行中であるかを判定するための機能を提供できる。制御プログラム9Aは、自機が飛行体100に装着されたときに、気圧センサ18のゼロ点調整を実行するための機能を提供できる。制御プログラム9Aは、気圧センサ18の検出結果の代替的、或いは補助的に、動力制御部124の制御状況を参照して、自機が装着されている飛行体100が飛行中であるかを判定するための機能を提供してもよい。
制御プログラム9Aは、電話着信が検出されると、ユーザへの接近指示を送信するための機能を提供できる。接近指示は、ユーザまでの所定距離範囲内まで接近することを指示するものを含む。制御プログラム9Aは、接近指示を送信する際、ユーザ探索用データ9Cに含まれる識別子のデータを併せて送信できる。制御プログラム9Aは、通話の終了が検出されると、飛行体100に帰還指示を送信するための機能を提供できる。
制御プログラム9Aは、電話着信に対し、飛行体100に対する所定の操作が検出されたことを示す通知を飛行体100から受信していることを条件として、通常通話を開始するための機能を提供できる。通常通話は、マイク8で送話音声の入力を受け付けて、レシーバ7から受話音声を出力する通話に該当する。
制御プログラム9Aは、画像認証用データ9Dを参照して、画像認識を実行する機能を提供できる。制御プログラム9Aは、例えば、飛行体100から受信する画像データ、若しくは携帯端末1が取得する画像データの画像認識を実行し、画像認識の結果に基づいて、携帯端末1のユーザにより行われたジェスチャが所定のジェスチャであるかを認識できる。所定のジェスチャは、電話着信に対して応答する意思表示として、携帯端末1のユーザが飛行体100に向かって行うハンドサインなどに該当し、タッチスクリーンディスプレイ2に対して実行される上述した各ジェスチャとは異なる。
制御プログラム9Aは、音声認証用データ9Eを参照して、音声認識を実行する機能を提供できる。制御プログラム9Aは、例えば、飛行体100から受信する音声データ、若しくは自機が取得する音声データの音声認識を実行し、音声認識の結果に基づいて、携帯端末1のユーザにより入力された音声が所定の音声であるかを認識できる。所定の音声は、電話着信に対して応答する意思表示として、携帯端末1のユーザが飛行体100に向かって発声するセリフなどに該当する。
制御プログラム9Aは、電話着信に対して、上記所定のジェスチャが認識された場合、又は上記所定の音声が認識された場合、スピーカ通話を開始する機能を提供できる。スピーカ通話は、マイク8で送話音声の入力を受け付けて、スピーカ11から受話音声を出力する通話に該当する。
飛行体連携プログラム9Bは、制御プログラム9Aと連携することにより、飛行体100と協働して各種処理を実現するための機能を提供できる。なお、飛行体連携プログラム9Bは、例えば、制御プログラム9Aにおいて生成された飛行体100に対する指示を飛行体100自身が翻訳して実行可能な制御信号などに変換して飛行体100に送信できる。
飛行体連携プログラム9Bは、例えば、制御プログラム9Aからの指示を受けて、例えば、Bluetooth(登録商標)を用いて、飛行体100との間の近距離無線接続を確立することにより、自機と飛行体100とをペアリングできる。飛行体連携プログラム9Bは、例えば、飛行体100との間に確立された近距離無線通信により、飛行体100との間で各種データを送受信することができる。
ユーザ探索用データ9Cは、自機のユーザを認証する際に参照される。ユーザ探索用データ9Cは、例えば、自機のユーザが装着するウェアラブル端末などに一意に付与される識別子のデータを含む。
画像認証用データ9Dは、自機のユーザが着信に対する応答の意思表示として実行する所定のジェスチャを認識するための参照用データである。画像認識用データ9Dは、例えば、パターンマッチングにより所定のハンドサインを認識するためのテンプレート、或いは所定のハンドサインを認識することを目的として多層ニューラルネットワークを利用した機械学習によって予め構築されたデータベースなどを含む。
音声認識用データ9Eは、自機のユーザが着信に対する応答の意思表示として入力する所定の音声を認識するための参照用データである。音声認識用データ9Eは、例えば、携帯端末1のユーザ自身の音声情報である。音声情報は、どのようなセリフを発話するものであってもよいし、特定のセリフを発話するものであってもよい。
設定データ9Zは、携帯端末1の動作に関する各種設定の情報を含む。設定データ9Zは、例えば、所定のジェスチャが認識されたとき、又は所定の音声が認識されたときに実行するコマンド(例えば、スピーカ通話による着信への応答)を含む。
携帯端末1は、通信ユニット6を介してクラウドストレージと連携し、当該クラウドストレージが記憶するファイル及びデータにアクセスしてもよい。クラウドストレージは、ストレージ9に記憶されるプログラム及びデータの一部又は全部を記憶してもよい。
コントローラ10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。コントローラ10は、携帯端末1の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、スピーカ11及びGPS受信機20を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、加速度センサ15、方位センサ16、角速度センサ17、気圧センサ18及び圧力センサ19を含むが、これらに限定されない。
コントローラ10は、制御プログラム9Aを実行することにより、自機の動作に関する各種制御を実現できる。コントローラ10は、例えば、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する処理を実現できる。コントローラ10は、例えば、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする処理を実現できる。コントローラ10は、例えば、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる処理を実現できる。コントローラ10は、例えば、カメラ12及びカメラ13の撮影処理を制御する処理を実現できる。コントローラ10は、例えば、コネクタ14を介して接続される外部機器との間の通信を制御する処理を実現できる。コントローラ10は、例えば、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う処理を実現できる。コントローラ10は、例えば、加速度センサ15の検出結果に基づいて、自機を携帯するユーザの移動、停止等を検出する処理を実現できる。コントローラ10は、例えば、GPS受信機20より取得する信号に基づいて、現在位置に基づく処理を実現できる。
コントローラ10は、制御プログラム9Aを実行することにより、圧力センサ19の検出結果に基づいて、飛行体100に自機が装着されたかを判定する処理を実現できる。
コントローラ10は、制御プログラム9A及び飛行体連携プログラム9Bを実行することにより、飛行体100との通信が可能な状態にペアリングする処理を実現できる。
コントローラ10は、制御プログラム9A及び飛行体連携プログラム9Bを実行することにより、電話着信の発生に応じて、一定距離までユーザに接近することを指示する接近指示及びユーザ探索用データ9Cに含まれる識別子を飛行体100に送信する処理を実現できる。
コントローラ10は、制御プログラム9Aを実行することにより、ユーザが着信に対して応答することを指示する所定のジェスチャが行われたかを判定する画像認識処理を実現できる。
コントローラ10は、制御プログラム9Aを実行することにより、ユーザが着信に対して応答することを指示する音声入力が行われたかを判定する音声認識処理を実現できる。
スピーカ11は、コントローラ10から送出される音信号を音として出力する。スピーカ11は、例えば、着信音及び音楽を出力するために用いられる。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。
カメラ12及びカメラ13は、撮影した画像を電気信号へ変換する。カメラ12は、ディスプレイ2Aに面している物体を撮影するインカメラである。カメラ13は、ディスプレイ2Aの反対側の面に面している物体を撮影するアウトカメラである。カメラ12及びカメラ13は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとして、機能的及び物理的に統合された状態で携帯端末1に実装されてもよい。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、MHL(Mobile High−difinition Link)、ライトピーク(Light Peak)、サンダーボルト(登録商標)(Thunderbolt)、LANコネクタ(Local Area Network connector)、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用に設計された端子でもよい。コネクタ14に接続される装置は、例えば、飛行体、充電器、外部ストレージ、スピーカ、通信装置、及び情報処理装置を含むが、これらに限定されない。
加速度センサ15は、携帯端末1に作用する加速度の方向及び大きさを検出できる。実施形態の1つの例として、X軸方向、Y軸方向、及びZ軸方向の加速度を検出する3軸型の加速度センサ15を採用できる。加速度センサ15は、ピエゾ抵抗型、静電容量型、圧電素子型(圧電式)、熱検知型によるMEMS(Micro Electro Mechanical Systems)式、動作させた可動コイルをフィードバック電流により元に戻すサーボ式、あるいは歪みゲージ式などにより構成することができる。加速度センサ15は、検出結果をコントローラ10に送出する。コントローラ10は、加速度センサ15の検出結果に基づいて各種制御を実行できる。例えば、携帯端末1に作用している重力が加速度として加速度センサ15から出力されると、コントローラ10は、携帯端末1に作用する重力方向を反映した制御を実行できる。
方位センサ16は、地磁気の向きを検出できる。方位センサ16は、検出結果をコントローラ10に送出する。コントローラ10は、方位センサ16の検出結果に基づいて各種制御を実行できる。例えば、コントローラ10は、地磁気の向きから携帯端末1の向き(方位)を特定し、特定した携帯端末1の方位を反映した制御を実行できる。
角速度センサ17は、携帯端末1の角速度を検出できる。角速度センサ17は、検出結果をコントローラ10に送出する。コントローラ10は、角速度センサ17の検出結果に基づいて各種制御を実行できる。例えば、コントローラ10は、角速度センサ17から出力される角速度の有無に基づいて、携帯端末1の回転を反映した制御を実現できる。
コントローラ10は、加速度センサ15、方位センサ16、及び角速度センサ17の各検出結果を個別に利用する場合に限定されず、各検出結果を組み合わせて利用することもできる。
気圧センサ18は、携帯端末1に作用する気圧を検出できる。気圧センサ18の検出結果は、単位時間あたりの気圧変化量を含んでよい。気圧変化量は、絶対値もしくはスカラー量を累積した値であってよい。単位時間は、任意の時間を設定してよい。気圧センサ18は、検出結果をコントローラ10に送出する。
圧力センサ19は、携帯端末1に作用する圧力を検出できる。圧力センサ19は、複数の感圧素子を備えてよい。圧力センサ19は、コントローラ10が、圧力センサ19の検出結果に基づいて、携帯端末1に作用している圧力の範囲(例えば、分布)を特定するための情報を取得することもできる。
GPS受信機20は、GPS衛星からの所定の周波数帯の電波信号を受信できる。GPS受信機は、受信した電波信号の復調処理を行って、処理後の信号をコントローラ10に送出する。
携帯端末1は、バイブレータを備えてもよい。バイブレータは、携帯端末1の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。携帯端末1は、上述のセンサの他、温度センサ、湿度センサなどを備えてもよい。携帯端末1は、バッテリなど、携帯端末1の機能を維持するために当然に用いられる機能部、及び携帯端末1の制御を実現するために当然に用いられる検出部を実装する。
図7は、実施形態に係る飛行体が有する機能構成の一例を示す図である。図7に示すように、飛行体100の本体110は、通信部121と、接続部122と、撮影制御部123と、動力制御部124と、センサユニット125と、記憶部126と、制御ユニット127とを備える。
通信部121は、携帯端末1との間で各種データのやり取りに関する通信を実行する。通信部121は、例えば、携帯端末1との間で確立される近距離無線接続を介して通信する。
接続部122は、他の装置が接続される端子である。接続部122は、USBのような汎用的な端子であってよい。
撮影制御部123は、カメラ190を用いた画像の撮影を制御する。撮影制御部123による制御は、カメラ190の撮影方向の制御を含む。
動力制御部124は、モータ140a〜140dの駆動力を制御する。モータ140aは回転翼150aの回転数を制御し、モータ140bは回転翼150bの回転数を制御し、モータ140cは回転翼150cの回転数を制御し、モータ140dは回転翼150dの回転数を制御する。
センサユニット125は、飛行体100の飛行及び飛行体100に備えられる機器の制御などに用いるデータを検知する複数のセンサを含む。センサユニット125は、タッチセンサ125a及び距離画像センサ125bを含む。
タッチセンサ125aは、静電容量方式、抵抗膜方式、表面弾性波方式、超音波方式、赤外線方式、電磁誘導方式、又は荷重検出方式等の任意の方式のセンサを含む。飛行体100は、例えば、タッチセンサ125aの検出結果に基づいて、連結フレーム130が携帯端末1のユーザに掴まれたことを検知できる。タッチセンサ125aは、連結フレーム130の他、例えば、飛行装置100の本体110の外周部分など、携帯端末1のユーザが直接掴む可能性がある位置に配設してもよい。また、携帯端末1のユーザが飛行装置100を掴むための取手を飛行装置100に設け、当該取手にタッチセンサ125aを配設してもよい。タッチセンサ125aは、飛行体100に設けられるタッチセンサ125aの設置部分を挟みこむようにして配設されてよい。例えば、タッチセンサ125aは、シート状のタッチセンサ125aを上記設置部分に巻きつける方法、若しくは上記設置部分を挟みこむ位置に少なくとも2つのタッチセンサ125aを別々に固定する方法により配設されてよい。飛行体100は、タッチセンサ125aの検出結果に基づいて、例えば、上記設置部分を挟みこむそれぞれの位置でユーザの接触を検出すると、ユーザに掴まれたことを検知できる。
距離画像センサ125bは、対象物に対して照射されるレーザ光などの光が対象物に反射して戻るまでの時間に基づいて対象物との距離を計測できる。距離画像センサ125bは、レーザ光を放射状に照射して、飛行体100の周囲にある物体の方向及び物体までの距離を計測してもよい。
記憶部126は、プログラム及びデータを記憶できる。記憶部126は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。記憶部126は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部126は、RAMなどの一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部126は、制御プログラム126a、制御用データ126b及び識別子データ126cを記憶できる。制御プログラム126aは、飛行体100の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム126aにより提供される機能は、飛行体100に備えられる機器の制御に関する機能を含む。機器の制御に関する機能は、通信部121と携帯端末1との間で近距離無線接続を確立してペアリングする機能、通信部121を介して携帯端末1と通信するための機能、撮影制御部123を介してカメラ190の画像撮影を制御するための機能を含む。携帯端末1と通信するための機能は、飛行体100に対して所定の接触が検出されたことを携帯端末1に通知することを含む。
制御プログラム126aにより提供される機能は、飛行体100の飛行制御に関する各種機能を含む。飛行制御に関する機能は、センサユニット125の検出結果に基づいてモータ140a〜140dの駆動力を制御するための機能を含む。例えば、モータ140a〜140dの駆動力を制御するための機能は、タッチセンサ125aの検出結果に基づいて、飛行体100に対する所定の操作が検出された場合、モータ140a〜140dを停止させることを含む。所定の操作は、例えば、連結フレーム130の少なくとも1箇所を掴むことを含む。飛行制御に関する機能は、センサユニット125の検出結果に基づいて飛行体100の飛行姿勢を調整するための機能を含む。飛行制御に関する機能は、携帯端末1から指示に従い、識別子データ126cに基づいて携帯端末1のユーザを探索し、距離画像センサ125bの計測結果に基づいて携帯端末1のユーザから所定距離範囲内まで接近する機能を含む。飛行制御に関する機能は、携帯端末1から指示に従い、待機ステーションに帰還する機能を含む。
飛行制御に関する機能は、距離画像センサ125bの計測結果に基づいて、飛行体100の周囲にある物体との位置関係を示す情報を取得する機能、センサユニット125の検出結果に基づいて飛行体100の機首が向く方向のなす角度(方位)に関する方位情報、回転翼150a〜150dの中心位置を通る鉛直線を中心とする回転角に関する回転角度情報などを検出する機能を含んでよい。これらの機能に基づいて、制御プログラム126aは、飛行体100の飛行を制御できる。
制御用データ126bは、飛行体100の各種動作に関する処理を実行するために参照される。
識別子データ126cは、携帯端末1のユーザがウェアラブル端末に一意に割り当てられる識別子のデータである。識別子データ126cは、携帯端末1が記憶するユーザ探索用データ9Cに含まれる識別子のデータに対応する。識別子データ126cは、携帯端末1から受信され、記憶部126に格納される。
制御ユニット127は、1又は複数の演算装置を含む。演算装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。制御ユニット127は、制御プログラム126aを演算装置に実行させることにより、飛行体100の各種動作に関する処理を実現する。制御ユニット127は、制御プログラム126aにより提供される機能の少なくとも一部を専用のIC(Integrated Circuit)により実現してもよい。
図8は、実施形態に係る携帯端末の処理の一例を示すフローチャートである。図8に示す処理は、コントローラ10が、制御プログラム9A及び飛行体連携プログラム9Bを実行することにより実現される。
図8に示すように、コントローラ10は、自機が飛行体100に装着されたかを判定する(ステップS101)。
コントローラ10は、判定の結果、自機が飛行体100に装着された場合(ステップS101,Yes)、飛行体100と自機とをペアリングする(ステップS102)。
ペアリング後、コントローラ10は、電話着信を検出したかを判定する(ステップS103)。
コントローラ10は、判定の結果、電話着信を検出しない場合(ステップS103,No)、上記ステップS101の判定に戻る。すなわち、電話着信前に、ユーザが飛行体100から取り外すことを想定したものである。
一方、コントローラ10は、判定の結果、電話着信を検出した場合(ステップS103,Yes)、ユーザへの接近指示を飛行体100に送信する(ステップS104)。ユーザへの接近指示は、所定距離範囲内までユーザに接近することを指示する命令及びユーザ探索用データ9Cに含まれる識別子のデータを含む。ユーザ探索用データ9Cに含まれる識別子のデータは、携帯端末1のユーザが装着しているウェアラブル端末の識別子に該当する。
ユーザへの接近指示を飛行体100に送信後、コントローラ10は、気圧センサ18の検出結果に基づいて、自機が装着されている飛行体100が飛行中であるかを判定する(ステップS105)。
コントローラ10は、判定の結果、飛行体100が飛行中である場合(ステップS105,Yes)、飛行体100に対する所定の接触が検出されたかを判定する(ステップS106)。
コントローラ10は、判定の結果、飛行体100に対する所定の接触が検出された場合(ステップS106,Yes)、通常通話を開始して(ステップS107)、図8に示す処理を終了する。通常通話は、レシーバ7から受話音声を出力する通話に該当する。すなわち、携帯端末1のユーザは、飛行体100を手に取った状態のときに通話が開示される。
一方、コントローラ10は、判定の結果、飛行体100に対する所定の接触が検出されない場合(ステップS106,No)、スピーカ通話の開始操作を認識したかを判定する(ステップS108)。コントローラ10は、例えば、画像認識により所定のジェスチャが行われたかを認識すること、又は音声認識により所定の音声を認識することによって、スピーカ通話の開始操作であるかを判定できる。
コントローラ10は、判定の結果、スピーカ通話の開始操作を認識した場合(ステップS108,Yes)、スピーカ通話を開始する(ステップS109)。すなわち、携帯端末1のユーザは、飛行体100に装着された携帯端末1を手に取らずに、飛行体100が浮遊している状態(その場にホバリングしている状態)のままで、ハンズフリーの通話を行うことができる。
コントローラ10は、通話を終了したかを判定する(ステップS110)。コントローラ10は、通話が終了していない場合(ステップS110,No)、ステップS110の判定を繰り返す。
一方、コントローラ10は、判定の結果、通話が終了した場合(ステップS110,Yes)、飛行体100に帰還指示を送信して(ステップS111)、図8に示す処理を終了する。
上記ステップS108において、コントローラ10は、判定の結果、スピーカ通話の開始操作が認識されない場合(ステップS108,No)、着呼が終了したかを判定する(ステップS112)。
コントローラ10は、判定の結果、着呼が終了した場合(ステップS112,Yes)、図8に示す処理を終了する。すなわち、電話着信に対する応答に失敗したことを意味する。
一方、コントローラ10は、判定の結果、着呼が終了していない場合(ステップS112,No)、上記ステップS106の判定に戻る。
上記ステップS105において、コントローラ10は、判定の結果、飛行体100が飛行中ではない場合(ステップS105,No)、上記ステップS104に戻る。
上記ステップS101において、コントローラ10は、判定の結果、自機が飛行体100に装着されていない場合(ステップS101,No)、図8に示す処理を終了する。
図9は、実施形態に係る飛行体の処理の一例を示すフローチャートである。図10は、実施形態に係る飛行体の処理の概要を示す図である。図9及び図10に示す処理は、制御ユニット127が、制御プログラム126aを実行することにより実現される。図9に示す処理は、例えば、飛行体100の電源投入後、携帯端末1が装着されている間、繰り返し実行される。
図9に示すように、制御ユニット127は、ユーザへの接近指示を受信したかを判定する(ステップS201)。接近指示に含まれる識別子のデータは、記憶部126に識別子データ126cとして格納される。
制御ユニット127は、判定の結果、ユーザへの接近指示を受信した場合(ステップS201,Yes)、モータ140a〜140dを起動する(ステップS202)。
制御ユニット127は、携帯端末1のユーザの所在方向を特定する(ステップS203)。制御ユニット127は、携帯端末1のユーザから所定距離範囲内に接近する(ステップS204)。
図10は、図9に示すステップS201〜ステップS204の処理の概要を例示する。図10に示すように、例えば、携帯端末1のユーザU1は、携帯端末1を飛行体100に取り付けた後、飛行体100から離れた位置でゲストG1と会話している。
携帯端末1が装着された飛行体100は、待機ステーション200で待機中である。ここで、携帯端末1において電話着信が発生し、携帯端末1から飛行体100にユーザU1への接近指示が送信されると、飛行体100は、待機ステーション200から離陸し、携帯端末1のユーザが装着するウェアラブル端末300から発信される電波に基づいて、ユーザU1を探索する。具体的には、飛行体100は、無線電波を発信する機器の中から、識別子データ126cに対応する識別子を有するウェアラブル端末300を検出し、受信する電波の強さからユーザU1の所在方向を特定する。ユーザU1の所在方向を特定した後、図10に示すように、飛行体100は、ユーザU1から所定距離範囲内まで接近する。具体的には、飛行体100は、距離画像センサ125bによってユーザU1との距離を継続して計測し、ユーザU1から所定距離範囲内まで接近する。
図9の説明に戻り、携帯端末1のユーザから所定距離範囲内まで接近した後、制御ユニット127は、所定の操作が検出されたかを判定する(ステップS205)。
制御ユニット127は、判定の結果、所定の操作が検出された場合(ステップS205,Yes)、所定の操作が検出されたことを示す通知を携帯端末1に送信する(ステップS206)。所定の操作は、例えば、連結フレーム130を掴むことを含む。
制御ユニット127は、モータ140a〜140dを停止して(ステップS207)、図9に示す処理を終了する。
制御ユニット127は、判定の結果、所定の操作が検出されない場合(ステップS205,No)、帰還指示を受信したかを判定する(ステップS208)。すなわち、所定の操作が検出されない場合、ハンズフリーの状態でスピーカ通話が行われている蓋然性が高いので、通話終了後に携帯端末1から送信される帰還指示が受信されるのを待機する趣旨である。
制御ユニット127は、判定の結果、帰還指示を受信した場合(ステップS208,Yes)、待機ステーション200に帰還して(ステップS209)、上記ステップS207の処理手順に移る。例えば、飛行体100は、待機ステーション200が発信する特定の周波数帯の電波に基づいて、待機ステーション200まで帰還する。
一方、制御ユニット127は、判定の結果、帰還指示を受信していない場合(ステップS208,No)、上記ステップS205の判定に戻る。
上記ステップ201において、制御ユニット127は、判定の結果、ユーザへの接近指示を受信していない場合(ステップS201,No)、図9に示す処理を終了する。
上記の実施形態において、携帯端末1が搭載された飛行体100が、携帯端末1における電話着信の発生を契機として、携帯端末1のユーザの近傍に自動的に飛行して接近するので、携帯端末1のユーザは、携帯端末1から離れていても電話着信を察知できる。
上記の実施形態において、飛行体100に対する所定の操作が検出されることにより、通話が開始されるので、携帯端末1のユーザはスムーズに通話に移行できる。
上記の実施形態において、携帯端末1は所定のジェスチャ若しくは所定の音声を認識することにより、スピーカ通話を開始するので、飛行体100に搭載された携帯端末1を手にとることなく、携帯端末1のユーザは、手が離せない状態であっても、ハンズフリーな状態で通話を開始できる。
上記の実施形態では、携帯端末1が、飛行体100に対する所定の操作を検出することにより、通常通話を開始する例を説明したが、この例には限定されない。例えば、携帯端末1が、タッチスクリーン2Bに対するタッチ、スライド、フリックなどの操作を検出することにより通常通話を開始してもよい。
上記の実施形態では、飛行体100が飛行中であるとき、携帯端末1が飛行体100に対する所定の操作を検出することにより、通常通話を開始する例を説明したが、この例には限定されない。例えば、飛行体100が飛行中ではなくても、携帯端末1が飛行体100に対する所定の操作を検出することにより通常通話を開始してもよい。例えば、携帯端末1が飛行体100に装着された状態でユーザの手元にあるとき、電話着信に対して携帯端末1を直接操作するのではなく、飛行体100の連結フレーム130を掴んで電話着信に応答する場合が想定される。
上記の実施形態では、飛行体100が飛行中であるとき、携帯端末1が所定のジェスチャ若しくは所定の音声を認識することにより、スピーカ通話を開始する例を説明したが、この例には限定されない。例えば、飛行体100が飛行中ではなくても、携帯端末1が所定のジェスチャ若しくは所定の音声を認識することによりスピーカ通話を開始してもよい。例えば、携帯端末1が飛行体100に装着された状態でユーザの手元にあるが、手が離せない状態であるとき、電話着信に対して携帯端末1を直接操作したり、飛行体100を掴んだりするのではなく、ハンズフリーの状態で電話着信に応答する場合が想定される。
上述してきたように、上記の実施形態は、飛行体100が有する飛行性能を応用する技術の改善手法の一例を提案できる。すなわち、上記の実施形態によれば、携帯端末1を飛行体100に搭載することにより、電話着信への応答に関して、ユーザの利便性に寄与する様々な付加価値をユーザに提供できる。
上記の実施形態において、携帯端末1は、電話着信等に対する通知設定が振動により報知を行うマナーモードである場合、飛行体100への装着を検知することにより、マナーモードを解除してもよい。振動により報知は、飛行体100の振動に埋もれてユーザに気づかれにくいことに対処する趣旨である。
上記の実施形態において、携帯端末1は、飛行体100への装着を検知することにより、音量が大きくなるように調整してもよい。音により通知を行う場合、飛行体100が発生するノイズに埋もれて気づかれにくいことに対処する趣旨である。
上記の実施形態において、携帯端末1が、飛行体100が有するセンサユニット125の検出結果を利用できるようにしてもよい。例えば、携帯端末1は、タッチセンサ125aの検出結果に基づいて、飛行体100の連結フレーム130に対する操作を直接検出してもよい。例えば、携帯端末1は、距離画像センサ125bの計測結果に基づいて、ユーザから所定距離範囲に接近したかを直接判定してもよい。上記の実施形態において、携帯端末1が有するコントローラ10が、飛行体100の飛行動力の制御を実行できるようにしてもよい。上記実施形態において、飛行体100は、携帯端末1が備える各センサの検出結果を利用できるようにしてもよい。例えば、飛行体100は、携帯端末1が備える方位センサ16の検出結果に基づいて、飛行体100の機首が向く方向のなす角度を計測してもよい。
上記の実施形態では、携帯端末1と飛行体100とを近距離無線接続を確立してペアリングすることにより、携帯端末1と飛行体100との間の通信が可能な状態に接続される例を説明したが、携帯端末1と飛行体100とをケーブルなどによって電気的に接続することにより通信可能な状態としてもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。