JP6696118B2 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP6696118B2
JP6696118B2 JP2015092356A JP2015092356A JP6696118B2 JP 6696118 B2 JP6696118 B2 JP 6696118B2 JP 2015092356 A JP2015092356 A JP 2015092356A JP 2015092356 A JP2015092356 A JP 2015092356A JP 6696118 B2 JP6696118 B2 JP 6696118B2
Authority
JP
Japan
Prior art keywords
control unit
electronic device
tracking
drone
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015092356A
Other languages
English (en)
Other versions
JP2016212465A (ja
Inventor
暢彦 岩村
暢彦 岩村
井上 尚
尚 井上
岩根 透
透 岩根
聖生 中島
聖生 中島
仁 西本
仁 西本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2015092356A priority Critical patent/JP6696118B2/ja
Publication of JP2016212465A publication Critical patent/JP2016212465A/ja
Application granted granted Critical
Publication of JP6696118B2 publication Critical patent/JP6696118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Details Of Cameras Including Film Mechanisms (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、電子機器に関する。
従来、セルフ撮影機能を有する、カメラ機能付きの携帯電話機が知られている(例えば特許文献1)。
特開2009−33566号公報
従来技術には、ユーザがカメラを自分の手で持って操作しなければならず、使い勝手が悪いという問題があった。
本発明の第1の態様による電子機器は、移動可能な対象物に追随する電子機器であって、前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、前記対象物を撮像し、画像データを生成する撮像部と、前画像データの構図が所定の構図になった場合に、前記追随制御部による追随を停止させる追随停止部と、を備える。
本発明の第2の態様による電子機器は、移動可能な対象物に追随する電子機器であって、前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、前記追随制御部による追随を停止させる追随停止部と、前追随制御部によって所定の位置に移動してから所定時間が経過した後に、前記対象物を撮像して画像データを生成する撮像部と、を備える。
本発明の第3の態様による電子機器は、移動可能な対象物に追随する電子機器であって、前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、前記追随制御部による追随を停止させる追随停止部と、を備え、前記追随制御部は、前記対象物を屋外で追随する最高速度屋内で追随する速度より速くする
第1の実施の形態に係る撮像システムの模式図である。 ドローン4の外観を示す模式図である。 ドローン4の構成を模式的に示すブロック図である。 ドローン4が有するカメラ42の可動範囲を示す模式図である。 撮像システムを用いて撮像可能な構図を例示する模式図である。 顔を認識できなかった場合の説明図である。 顔を認識できた場合の説明図である。 制御部40が実行する処理のフローチャートである。 図8のステップS190で呼び出される本撮像サブルーチンのフローチャートである。
(第1の実施の形態)
第1の実施の形態では、カメラを備えた移動体と、携帯端末とで構成される撮像システムについて説明する。第1実施の形態では、カメラを備えた移動体として、ドローン、あるいは車や船のように、陸上や水上を移動する装置を用いる。以下では、カメラを備えた移動体として、ドローンを例として説明する。図1は、第1の実施の形態に係る撮像システムの模式図である。撮像システムは、ドローン4、および携帯端末5を備える。
ドローン4は、自律的に飛行可能な小型の無人飛行機(UAV)である。ドローン4の直径は、例えば数cm〜十数cm程度である。ドローン4には、チルティング可能なカメラが搭載されている。
携帯端末5は、ドローン4との間で無線通信を行うことができる携帯型の情報端末であり、たとえば、スマートフォン、携帯電話、PDA、タブレットなどである。携帯端末5は、ドローン4により撮像された画像データを表示したり、ドローン4の動作に予め必要な情報を、ドローン4に入力したりするために用いられる。
(ドローン4の構成の説明)
図2は、ドローン4の外観を示す模式図である。ドローン4は、4翼のヘリコプターである。ドローン4は、4つのローター41により飛行する。4つのローター41は、同一平面上に設けられる。4つのローター41は、周知の航法姿勢制御システムにより、各々が独立して制御される。この制御によって、ドローン4は、ピッチ軸102を中心として旋回したり、ロール軸103を中心として旋回したり、ヨー軸104を中心として回転したり、下方向100または上方向101に並進したりすることができる。
ドローン4は、4つのローター41の周囲を保護する筐体Bを有する。筐体Bによって、ローター41は、水平方向から接近した周囲の障害物に直接接触しないよう保護される。障害物とは、ドローン4が飛行するときに飛行の妨げになるものである。障害物とは、具体的には、例えば、他のドローン、電柱、電線、壁、家具、移動体(人物、動物、車両等)などである。
ドローン4の前面には、カメラ42がチルティング可能に設けられる。カメラ42の近傍には、LED50が設けられる。撮影の対象となるユーザを撮像するために、ドローン4がカメラ42をユーザに向けると、ユーザはLED50を視認することができる。
図3は、ドローン4の構成を模式的に示すブロック図である。ドローン4は、制御部40、4つのローター41、カメラ42、慣性センサ43、近接センサ44、標識信号受信部45、無線通信部46、バッテリー47、着脱部48、およびLED50を備える。
バッテリー47は、ドローン4の各部に電力を供給する。着脱部48は、例えば、外部の充電機器に着脱可能となっている。着脱部48には、電気接点49が設けられている。ドローン4は、着脱部48に外部の充電機器が接続されると、電気接点49を介して、外部の充電機器から充電用の電力を受電する。バッテリー47は、例えばリチウムイオン電池等の二次電池である。ドローン4が外部の充電機器に接続されているとき、バッテリー47には、電気接点49を介して外部の重電機器から受電した電力が供給される。この電力によって、バッテリー47は充電される。
制御部40は、不図示のマイクロプロセッサおよびメモリを含む周辺回路から構成され、所定の制御プログラムを実行することによりドローン4の各部を制御する。制御部40は、追随制御部40aと、追随停止部40bと、撮影制御部40cと、判断部40dとを備える。慣性センサ43は、加速度センサやジャイロスコープ等を有し、ドローン4の加速度、角速度、姿勢角等、ドローン4の姿勢制御を行うために必要な種々の情報を検出する。制御部40は、慣性センサ43により検出されたそれらの情報に基づき、ドローン4の姿勢制御を行う。
近接センサ44は、ドローン4の筐体B(図2)への障害物の近接を検知する。制御部40は、近接センサ44を用いて、障害物への衝突を回避する。制御部40は、ドローン4が障害物と衝突しないように、障害物を回避するための制御を行う。ドローン4の飛行中、近接センサ44によって、障害物がドローン4に近接したことが検知される。制御部40は、所定の制限距離まで障害物が近接すると、ドローン4がその障害物に衝突しないよう、その障害物とは反対方向に一定距離だけドローン4を移動させる。この制限距離は、ドローン4の動作モードによって変化する。ドローン4の動作モードごとの制限距離については後に詳述する。
標識信号受信部45は、携帯端末5からから発信された標識信号を受信して、ドローン4から見たユーザ(携帯端末5)の方向(ドローン4に対するユーザの方向)を検知する方向検知部として機能する。カメラ42は、単焦点レンズと撮像素子とを備え、被写体像を撮像して撮像信号を出力する撮像部として機能する。制御部40は、この撮像信号に種々の画像処理を施して画像データを作成する。無線通信部46は、携帯端末5との間で無線によるデータ通信を行う。制御部40は、作成した画像データを、無線通信部46を介して携帯端末5に送信する。また、無線通信部46は、携帯端末5から動作開始の指示信号を受け付ける。ユーザがドローン4の電源を投入した後、携帯端末5に所定の操作をすることにより、携帯端末5からドローン4へ動作開始の指示信号が送信される。なお、上記の説明では、標識信号を受信する標識信号受信部45と、無線通信部46とを分けて説明したが、無線通信部46が、標識信号受信部45の役割を兼ねていてもよい。LED50は、ユーザに現在の撮像状況を報知する報知部として機能する。制御部40は、撮像状況に応じて、例えばLED50を異なる周期で点滅させることにより、ユーザに現在の撮像状況を報知する。
図4は、ドローン4が有するカメラ42の可動範囲を示す模式図である。カメラ42は、チルティング可能に構成されている。例えば図4に示したカメラ42の位置(a)は、カメラ42のチルト角が、ローター41が位置する平面に対して平行な位置である。カメラ42は、下方向を向く位置(b)や、上方向を向く位置(c)に可動である。制御部40は、ドローン4の現在の高さや被写体であるユーザ2の位置等に基づき、カメラ42のチルト角を変更する。
(撮像可能な構図の説明)
図5は、撮像システムを用いて撮像する構図を例示する模式図である。撮像システムは、ユーザの画像を、構図A、構図B、構図C、の3パターンの構図で撮像する構成とされている。構図Aは、ユーザの全身を撮像範囲に含める構図である。構図Bは、ユーザの上半身全体を撮像範囲に含める構図である。構図Cは、ユーザの胸から上を撮像範囲に含める構図(いわゆるバストショット)である。
ユーザは、撮像したい構図を、例えば携帯端末5を用いて、予めドローン4に設定しておく。このとき、構図A〜Cのうち1つの構図だけを設定してもよいし、例えば構図Aと構図Cのように、複数の構図を設定してもよい。
図5に示すように、構図Aを設定すると、ドローン4はユーザの全身を撮像領域の左側に収めた画像を撮影する。また、ドローン4は、ユーザの全身を撮像領域の中央に収めた画像、またはユーザの全身を撮像領域の右側に収めた画像を撮影してもよい。さらに、ドローン4は、ユーザの全身を撮像領域の、左側、中央、右側に収めた画像のうちの2つを撮影してもよいし、3つすべてを撮影してもよい。構図Bを設定すると、ドローン4はユーザの上半身を撮像領域の左側に収めた画像を撮影する。また、ドローン4は、ユーザの上半身を撮像領域の中央に収めた画像、またはユーザの上半身を撮像領域の右側に収めた画像を撮影してもよい。さらに、ドローン4は、ユーザの上半身を撮像領域の、左側、中央、右側に収めた画像のうちの2つを撮影してもよいし、3つすべてを撮影してもよい。構図Cを設定すると、ドローン4はユーザの胸から上を撮像領域の左側に収めた画像を撮影する。また、ドローン4は、ユーザの胸から上を撮像領域の中央に収めた画像、またはユーザの胸から上を撮像領域の右側に収めた画像を撮影してもよい。さらに、ドローン4は、ユーザの胸から上を撮像領域の、左側、中央、右側に収めた画像のうちの2つを撮影してもよいし、3つすべてを撮影してもよい。このように、ドローン4は、撮影した画像からユーザの位置及び大きさから構図を決定する。なお、ドローン4は、撮影した画像からユーザの位置及び大きさの少なくともいずれか一方から構図を決定してもよい。
(ドローン4の追随飛行機能の説明)
ドローン4は、追随飛行機能を有する。追随飛行機能とは、カメラ42がユーザの顔の正面を向くように、ユーザの顔を追随し、移動して飛行する機能である。追随飛行機能がオンのとき、制御部40は、カメラ42による撮像と、撮像結果に対するユーザの顔認識とを繰り返し実行する。制御部40は、撮像結果からユーザの顔を認識できなかった場合、カメラ42がユーザの顔の正面以外の面を向いていると判断し、カメラ42がユーザの顔を別方向から捉えるようにドローン4を回転させる。
(撮像システムを用いた撮像処理の説明)
以下、本実施の形態に係る撮像システムによる撮像処理を説明する。
(1)撮像システムの利用に際し、ユーザは、予め前述した構図A〜Cのうち、撮像したい構図をドローン4に設定しておく。以下の説明では、構図Aと構図Cとが設定された状態を仮定する。さらに、各構図について、ドローン4は、ユーザを左側、中央、右側のそれぞれに収めた画像を撮影するものとして説明する。構図の設定は、例えば携帯端末5を用いて行うことができる。携帯端末5は、ユーザにより構図の指示が入力されると、無線によるデータ通信でドローン4に入力された構図の指示を送信する。ユーザは、更に、顔認識に必要な、自身の顔に関する情報を、予めドローン4に登録しておく。例えば携帯端末5のカメラ機能を用いて自身の顔を撮像し、顔画像を携帯端末5からドローン4に送信する。
(2)ユーザは、不図示の電源スイッチを操作することにより、ドローン4の電源を投入する。このとき、ドローン4のローター41は停止したままである。制御部40は、電源の投入に応じて動作を開始する。上述した携帯端末5は、ドローン4の電源投入後に標識信号の発信を開始してもよい。
(3)ドローン4の電源が投入され、ドローン4が、携帯端末5を介して開始の指示を受け付けると、ローター41の駆動を開始し、ドローン4の航法姿勢制御を行う。この制御により、ドローン4はユーザの上方で静止する。
(4)制御部40は、標識信号受信部45により受信された標識信号に基づき、ユーザが位置する方向を検出する。制御部40は、カメラ42がユーザの方向を向くようにヨー軸104を中心としてドローン4を回転させる。制御部40は、カメラ42の撮像画面にユーザの顔が確実に収まるように、ドローン4をユーザの方向とは反対の方向に所定距離(例えば2〜3m)だけ水平移動させる。
(5)制御部40は、カメラ42による撮像を行う。制御部40は、カメラ42による撮像結果から、光源の種別を判別する。制御部40は、光源が太陽光であった場合には、ドローン4を屋外モードに設定する。それ以外の場合には、制御部40は、ドローン4を屋内モードに設定する。屋外モードは、屋内モードよりもドローン4の飛行速度の最高速度が高速なモードである。また、屋外モードでは、屋内モードよりも、障害物とドローン4との距離をより大きく取るようにする。例えば、屋内モードでは前述した制限距離を数cm程度に設定する。つまり、屋内モードでは障害物への接近を数cm程度まで許容する。これに対し、屋外モードでは前述した制限距離を20〜30cm程度に設定する。つまり、屋外モードでは障害物への接近を20〜30cm程度までしか許容しない。
(6)制御部40は、追随飛行機能をオンする。これにより、カメラ42による撮像と、撮像結果に対する周知の顔認識処理とが繰り返し実行されるようになる。ユーザの顔を認識できなかった場合、制御部40は、カメラ42がユーザの顔の正面を向いていないと判断して、撮像結果からユーザの顔を認識できるようになるまで、ユーザの推定位置を中心に円を描くように移動する。
図6(a)は、顔を認識できなかった場合のユーザ2とカメラ42との位置関係を模式的に示す図である。図6(b)は、このときのカメラ42による撮像結果111を模式的に示す図である。このような場合、制御部40は、ドローン4を矢印110で示すように円弧状に移動させる。
図7(a)は、移動したことにより顔を認識できるようになったときのユーザ2とカメラ42との位置関係を模式的に示す図である。図7(b)は、このときのカメラ42による撮像結果112を模式的に示す図である。
(7)ユーザの顔を認識すると、制御部40の追随制御部40aは、カメラ42の撮像画面が(1)で設定された構図Aの状態になる所定位置に、ドローン4(筐体)を移動する制御を行う。構図Aの状態とは、ユーザの全身が撮像画面に含まれ、かつ、ユーザが撮像画面の左側に位置する状態である。例えば、ユーザの全身のうちの一部しか撮像画面に含まれていない場合、追随制御部40aは、ドローン4(筐体)をユーザから遠ざける。また、ユーザの全身が撮像画面の右側に位置している場合、追随制御部40aは、ドローン4を左方向に移動させたり、ドローン4を左方向に旋回させたりする。なお、この移動の間も、追随飛行機能は働いている。従って、この移動の間にユーザが移動したりユーザの顔の向きが変化すると、追随制御部40aは、カメラ42がユーザの顔の正面を向くようにドローン4を回転させ始める。
(8)ドローン4が所定位置に移動し、カメラ42の撮像画面が構図Aの状態になると、ドローン4はその位置で静止する。制御部40は、所定時間(例えば5秒間)のカウントダウンを開始する。制御部40は、このカウントダウンの開始時、LED50を点灯し、1秒が経過する度にLED50を点滅させる。追随停止部40bは、カウントダウンを開始すると、追随飛行機能をオフ(追随を停止)する。追随停止部40bが追随を停止したため、ユーザ(対象物)が移動しても追随しなくなる。つまり追随停止部40bは、制御部40がカウントダウンを開始すると、ドローン4を現在の位置で静止状態にさせる。なお、ここで言う静止状態とは、ドローン4が厳密に静止して全く動かなくなることを意味しない。実際にはローター41の動作上、微少な動きが存在するが、ここでは便宜上、静止状態と称している。ユーザは、LED50が点灯したことに応じて、撮像の準備を行う。例えば、顔をドローン4とは別の方向に向けたり、ポーズを取ったりする。追随飛行機能がオフになっているので、顔の向きを変えたりポーズを取ったりしても、ドローン4がその所作に応じて移動することはない。ここで、追随停止部40bは、カウントダウンを開始すると、追随飛行機能をオフ(追随を停止)するとしたが、追随飛行機能をオフ(追随を停止)してカウントダウンを行ってもよい。また、追随停止部40bは、所定のユーザを所定の構図に収めた時に追随飛行機能をオフすることとしてもよい。
(9)撮影制御部40cは、制御部40が所定時間のカウントダウンが完了すると、カメラ42による本撮像を行う。本撮像に際し、撮影制御部40cは、周知の露出制御を行う。このとき、屋内モードが設定されていれば、撮影制御部40cは、屋内に適した露出制御を行う。例えば、ホワイトバランスを蛍光灯に適したものに設定したり、ISO感度を高めに設定したりする。屋外モードが設定されていた場合、撮影制御部40cは、屋外に適した露出制御を行う。例えば、ホワイトバランスを太陽光に適したものに設定したり、ISO感度を低めに設定したりする。撮影制御部40cは、本撮像により作成された、ユーザの全身が撮像画面の左側に位置する画像データを、無線通信部46を介した無線のデータ通信により、携帯端末5に送信する。
(10)撮影制御部40cは、カメラ42の向きが所定角度だけ変化するように、ヨー軸104を中心としてドローン4を所定角度だけ左方向に回転させる。これにより、ユーザの全身は撮像画面の中央に位置するようになる。なお、ここでドローン4を回転させる所定角度は、カメラ42の焦点距離やカメラ42の設置位置等に基づき、構図A、構図B、構図Cごとに予め決定される。
(11)撮影制御部40cは、カメラ42により再度本撮像を行う。これにより、ユーザの全身が撮像画面の中央に位置する画像データが作成される。撮影制御部40cは、この画像データを、無線通信部46を介した無線のデータ通信により、携帯端末5に送信する。
(12)撮影制御部40cは、(10)と同様に、カメラ42の向きが所定角度だけ変化するように、ヨー軸104を中心としてドローン4を所定角度だけ左方向に回転させる。これにより、ユーザの全身は撮像画面の右側に位置するようになる。
(13)撮影制御部40cは、(11)と同様に、カメラ42により本撮像を行う。これにより、ユーザの全身が撮像画面の右側に位置する画像データが作成される。制御部40は、この画像データを、無線通信部46を介した無線のデータ通信により、携帯端末5に送信する。
(14)制御部40及び撮影制御部40cは、(6)〜(13)の処理を、次の構図Cについて再度実行する。これにより、構図Cに対応する3つの画像データが作成され、携帯端末5に送信される。
(15)設定された全ての構図に関する本撮像が終了したので、制御部40は、ドローン4(筐体)をユーザの上方(頭上)に向けて移動させる。制御部40は、ドローン4(筐体)がユーザの上方に移動したら、高度を下げていく。そして、制御部40は、ドローン4(筐体)が地面についたら、ローター41の駆動を停止する。
なお、上述した(5)〜(14)の処理中にバッテリー47の残量が所定量(例えば全容量の20%)以下になった場合、制御部40は、通常の処理を中止して、直ちに(15)の処理に移る。これは、撮像中にバッテリー47が切れてしまうことによるトラブルを防止するためである。また、ローター41等の異常が検知されたり、障害物と衝突したことが検知された場合には、制御部40はローター41の回転を直ちに停止する。これは、異常な状態のままで飛行を継続することによるトラブルを防止するためである。
図8は、制御部40が実行する処理のフローチャートである。ステップS100で、ドローン4の電源が投入される。ステップS110で、制御部40は、携帯端末5から動作開始の指示信号を受け付けたか否かを判断する。制御部40は、動作開始の指示信号を受け付けたと判断すると、制御部40は、処理をステップS120に進める。
ステップS120で、制御部40は、ローター41を駆動し、航法姿勢制御を開始する。ステップS130で、制御部40は、標識信号受信部45により受信された標識信号に基づき、ユーザの方向を検出する。ステップS140で、制御部40は、カメラ42がユーザの方向を向くようにドローン4を回転させると共に、カメラ42の画角にユーザの顔が入るようドローン4を水平移動させる。
ステップS150で、制御部40は、カメラ42にユーザを撮像させる。ステップS160で、制御部40は、ステップS150での撮像結果から、光源が太陽光であるか否かを判定する。光源が太陽光であると判定された場合、制御部40は処理をステップS170に進める。ステップS170で、制御部40は、ドローン4に屋外モードを設定し、処理をステップS190に進める。他方、光源が太陽光ではないと判定された場合、制御部40は処理をステップS180に進める。ステップS180で、制御部40は、ドローン4に屋内モードを設定し、処理をステップS190に進める。
ステップS190で、制御部40は、後述する本撮像サブルーチンを実行する。ステップS200で、制御部40は、ドローン4をユーザの上方に移動させる。ステップS210で、制御部40は、障害物回避の制限距離を屋外モードや屋内モードで設定される距離よりも短い距離に設定する。
ステップS220で、制御部40は、ドローン4(筐体)の高度を徐々に下げていく。ステップS230で、制御部40は、ドローン4(筐体)が地面についたか否かを判断する。地面についていなかった場合には、制御部40は、処理をステップS220に進める。他方、地面についたと判断した場合、制御部40は処理をステップS240に進める。
ステップS240で、制御部40が、ローター41の駆動を停止する。その後、制御部40により、ドローン4の電源が切断される。
図9は、図8のステップS190で呼び出される本撮像サブルーチンのフローチャートである。ステップS300で、制御部40は、構図A〜Cのうちの予め設定された構図から、未処理の構図を1つ選択する。ステップS310で、制御部40は、カメラ42にユーザを撮像させる。ここで、撮像とは、最終的に画像を記録媒体に記録するための撮像ではなく、後述する顔の認識のため、あるいは表示部に表示するため、撮像素子から逐次出力される画像を一時的に記憶させるための撮像である。ここで、「一時的に記憶」とは、たとえば、所定時間の経過後、あるいはメモリ(記録媒体)に所定枚数記録された後に削除される場合である。しかし、制御部40は、画像を記録媒体に記録することとしてもよい。ステップS320で、制御部40は、ステップS310の撮像結果からユーザの顔を認識できたか否かを判定する。ユーザの顔を認識できなかった場合、追随制御部40aは、カメラ42がユーザの顔の正面に向いていないと判断し、処理をステップS360に進める。ステップS360で、追随制御部40aは、ユーザの現在位置を中心としてドローン4を回転させる。ここで、ドローン4を回転させるとは、ドローン4がその場で移動をせずに、撮像する方向を回転させることである。また、ステップS360の処理では、追随制御部40aは、ドローン4の筺体を被写体が撮像される行きに移動させてもよい。その後、制御部40は処理をステップS310に進める。
ステップS320で、ユーザの顔を認識できた場合、追随制御部40aは処理をステップS330に進める。ステップS330で、追随制御部40aは、撮像画面がステップS300で選択された構図に合うようにドローン4を移動させる。ステップS340で、制御部40は、カメラ42にユーザを撮像させる。ここで撮像とは、ステップS310の場合と同様で、最終的に画像を記録媒体に記録するための撮像ではなく、後述する顔の認識のため、あるいは表示部に表示するため、撮像素子から逐次出力される画像を一時的に記憶させるための撮像である。ここで、「一時的に記憶」とは、たとえば、所定時間の経過後、あるいはメモリ(記録媒体)に所定枚数記録された後に削除される場合である。しかし、制御部40は、画像を記録媒体に記録することとしてもよい。ステップS350で、追随制御部40aは、ユーザの顔を認識できたか否かを判定する。ユーザの顔を認識できなかった場合、制御部40は、カメラ42がユーザの顔の正面を向いていないと判断し、処理をステップS360に進める。ステップS360で、追随制御部40aは、ユーザの現在位置を中心としてドローン4を回転させる。その後、制御部40は処理をステップS310に進める。
ステップS350で、ユーザの顔を認識できた場合、制御部40は処理をステップS370に進める。ステップS370で、制御部40(追随制御部40a)は、ステップS340の撮像結果がステップS300で選択された構図に合っているか否かを判定する。現在の撮像画面の構図が選択された構図と一致していない場合、制御部40は処理をステップS330に進める。他方、現在の撮像画面の構図が選択された構図と一致していた場合、制御部40は処理をステップS380に進める。
ステップS380で、制御部40は、所定時間(例えば5秒間)のカウントダウンを開始する。カウントダウンの開始に伴い、LED50が点灯され、追随停止部40bにより追随飛行機能はオフされる。ステップS390で、制御部40は、所定時間のカウントダウンが完了したか否かを判定する。制御部40は、ステップS380の処理から所定時間が経過するまで、ステップS390を繰り返し実行する。所定時間が経過すると、制御部40は処理をステップS400に進める。
ステップS400で、撮影制御部40cは、周知の露出制御処理を実行する。撮影制御部40cは、屋内モードと屋外モードとで、異なる内容の露出制御処理を実行する。ステップS410で、撮影制御部40cは、カメラ42に本撮像を行わせる。これにより、第1の画像データが得られる。制御部40は、第1の画像データを携帯端末5に送信する。
ステップS420で、制御部40(追随制御部40a)は、ドローン4を所定角度だけ左方向に回転させる。これにより、撮像画面内におけるユーザの位置が左側から中央に変化する。ステップS430で、撮影制御部40cは、カメラ42に本撮像を行わせる。これにより、第2の画像データが得られる。制御部40は、第2の画像データを携帯端末5に送信する。
ステップS440で、制御部40(追随制御部40a)は、ドローン4を所定角度だけ左方向に回転させる。これにより、撮像画面内におけるユーザの位置が中央から右側に変化する。ステップS450で、撮影制御部40cは、カメラ42に本撮像を行わせる。これにより、第3の画像データが得られる。制御部40は、第3の画像データを携帯端末5に送信する。
ステップS460で、制御部40は、構図A〜Cのうちの予め設定された構図に、未処理のものが残っているか否かを判定する。未処理の構図が残っていた場合、制御部40は、処理をステップS300に進める。他方、全ての構図について処理が完了していた場合、制御部40は図9に示す本撮像処理を終了する。
上述した実施の形態によれば、次の作用効果が得られる。
(1)追随制御部40aは、移動可能な目標物であるユーザの顔が移動したとき、ユーザの顔に対してドローン4を追随飛行させる。追随停止部40bは、ユーザが移動しても追随制御部40aによる追随を停止させる。このようにしたので、ユーザが位置合わせを行う必要のない、使い勝手のよい電子機器を提供することができる。この電子機器を用いると、構図が決まった後に撮像を行う前に、ユーザが自身の写り方(ポーズ)を変更することができる。
(2)撮影制御部40cは、ドローン4が所定の位置に移動してから所定時間が経過した後に、ドローン4が有する撮像装置であるカメラ42によるユーザの撮像を開始させる。このようにしたので、ユーザが手動で位置合わせを行う必要なく、所望の構図の自撮り画像を得ることができる。
(3)追随制御部40aは、標識信号受信部45により受信された標識信号により検出したユーザの方向と、カメラ42によるユーザを撮像した画像とに基づき、追随させる。このようにしたので、いずれか一方のみを用いた場合に比べ、ユーザをより確実に追随させることができる。
(4)判断部40dは、ドローン4が屋内にあるか屋外にあるかを判断する。追随制御部40aは、判断部40dによりドローン4が屋外にあると判断された場合には、ドローン4が屋内にあると判断された場合に比べて、ドローン4の最高速度を高くする。このようにしたので、空間に余裕のある屋外では、ドローン4を素早く目標位置まで移動させることができる。また、空間に余裕のない屋内では、障害物との衝突をより確実に回避することができる。
(5)追随制御部40aは、判断部40dによりドローン4が屋内にあると判断された場合には、ドローン4が屋外にあると判断された場合に比べて、ドローン4と障害物との間の距離がより短くなることを許容する。このようにしたので、空間に制約の大きい屋内においても、ドローン4をより確実に目標位置まで移動させることができる。
(6)判断部40dは、カメラ42による撮像結果に基づき、ドローン4が屋内にあるか屋外にあるかを判断する。このようにしたので、ユーザが手動で屋内と屋外とを切り替える必要のない、使い勝手のよい撮像システムを提供することができる。
(7)LED50は、追随停止部40bにより追随が停止されたことをユーザに対して報知する報知部として機能する。このようにしたので、ユーザは顔が正面を向いた画像だけでなく、任意の方向を向いた画像をも、容易に得ることができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
ドローン4の追随飛行機能やカメラ42による撮像等を行う制御部40は、ドローン4とは異なる装置に設けてもよい。例えば、携帯端末5がドローン4の追随飛行機能やカメラ42の撮像制御を司ってもよい。この場合、携帯端末5は、無線によるデータ通信によってドローン4を制御する。
(変形例2)
ドローン4のカメラ42によって逐次出力される画像を携帯端末5によりで閲覧することができるようにしてもよい。
(変形例3)
上述の実施の形態では、ドローン4は、ユーザによる電源の投入により、制御が開始されたが、他の方法であってもよい。たとえば、ドローン4を着脱可能なホルダーから取られたときに電源をオンすることとしてもよい。
(変形例4)
上述の実施の形態では、制御部40は、ドローン4(筐体)がユーザの上方に移動した後に、高度を下げていく。その後、制御部40は、ドローン4(筐体)が地面についた時点で、ローター41の駆動を停止していた。制御部40がこれとは異なる制御を行うようにしてもよい。例えば、ドローン4(筐体)がユーザの上方に移動した後に、高度を下げていく。その後、制御部40は、ユーザを認識しながら、ユーザに対して所定の位置にきたときに高度を下げることを停止するようにしてもよい。ユーザの認識は、たとえば、カメラ42によりにより行うことができる。また、所定の位置は、たとえば、ユーザの手が届く位置とすることができる。これにより、ユーザは、撮影が終了したドローン4を自分の手でとらえることができる。
(変形例5)
上述した実施の形態では、ドローン4への屋内モードと屋外モードの設定は、制御部40が自動的に行っていた。屋内モードと屋外モードの設定は、ユーザが手動で行うようにしてもよい。例えば、構図等と同様に、携帯端末5を用いて予めドローン4に屋内モードと屋外モードのいずれかを設定するようにしてもよい。
(変形例6)
LED50とは異なる手段でユーザにカウントダウンを報知してもよい。例えば、ビープ音等によりユーザにカウントダウンを報知してもよい。
(変形例7)
上述の実施の形態では、ドローン4がユーザの上方に移動した後に高度を下げる例を説明したが、ドローン4がユーザの上方に移動した後に撮像部がユーザの所定のジェスチャーを認識した後に高度を下げる構成としてもよい。さらに、ドローン4をユーザの近傍に降下させるきっかけは、ユーザによるジェスチャーに限定されない。例えば、ドローン4を着脱可能なホルダーに設けたボタンを押下すると、ボタンの押下に対応する無線信号がドローン4に送られ、これに応じてドローン4が降下を開始するようにしてもよい。また、携帯端末5からの無線によるデータ通信で降下を指示してもよい。
(変形例8)
本撮像による画像データは、携帯端末5に送信するのではなく、ドローン4の内部に設けた記録媒体に記録するようにしてもよい。
(変形例9)
上述した実施の形態では、ユーザの方向を検出するために、携帯端末5がアクティブに標識信号を発信していた。これを、携帯端末5がパッシブに標識信号を発信するようにしてもよい。例えば、携帯端末5にRFID等のICタグを埋め込んでおく。そして、ICタグの情報を読み取るための情報を、ドローン4から周囲に向けて送信する。ドローン4は、携帯端末5のICタグから返ってきた反射波を受信することにより、ユーザの方向を検出することができる。
(変形例10)
カメラ42が単焦点レンズではなく、いわゆるズームレンズを備えるようにしてもよい。この場合、構図の変更に、ドローン4の移動だけでなく、ズームレンズのズーミングを併用することができる。
(変形例11)
ユーザの背景に写り込む背景被写体を識別し、背景被写体の種類によって、本撮像時のドローン4の高度(カメラ42のチルト角)を調節してもよい。つまり、背景被写体に合わせて、ユーザを高い視点から見下ろして撮像するのか、低い視点から見上げて撮像するのかを切り替えてもよい。例えば背景が山等の遠景であれば、高い視点から見下ろして撮像する。また、背景が寺社仏閣等の建築物であれば、低い視点から見上げて撮像する。なお、背景被写体の識別は、例えばカメラ42の撮像結果に対して周知のシーン認識を行ったり、ドローン4にGPS受信器を搭載して検出した現在位置と地図情報とを照合したりすることにより可能である。
(変形例12)
1つの構図について撮像した3枚の画像をパノラマ合成して、パノラマ画像を作成してもよい。
(変形例13)
図5に示した構図A〜Cは一例であり、これとは異なる構図を撮像可能にしてもよい。たとえば、撮像アングルに関する3種類の選択肢を設けてもよい。撮像アングルに関する3種類の選択肢とは、正面から撮像するか、ユーザの上方から下向きに撮像するか、ユーザの下方から上向きに撮像するか、の3つである。また、ユーザの全身のうちの撮像画面に含める部分に関する3種類の選択肢を設けてもよい。ユーザの全身のうちの撮像画面に含める部分に関する3種類の選択肢とは、全身を撮像画面に含めるか、上半身だけを撮像画面に含めるか、胸から上だけを撮像画面に含めるか、の3つである。
(変形例14)
ユーザの顔を認識する以外の方法でユーザの追随飛行機能を実現してもよい。例えば、予め用意された顕著な特徴を有する標識をユーザが身に付けておき、制御部40が撮像結果からその標識を認識するようにしてもよい。また、追随飛行機能の目標物は、ユーザの顔とは異なる被写体であってもよい。
(変形例15)
上述した実施の形態では、静止画を撮像する場合について説明を行った。ドローン4が動画を撮像するようにしてもよい。例えば、ユーザが撮像画面の左側にいる状態から動画の撮像を開始し、ドローン4が所定時間(例えば数秒〜数十秒)かけて左方向に回転し、ユーザが撮像画面の右側にいる状態に至る動画を撮像するようにすればよい。また、動画の撮像中にユーザが動いて予定していた撮像範囲から外れてしまう場合は、顔認識やテンプレートマッチングなどの周知の追尾技術によりユーザを追尾して、撮影する方向を変更してもよい。
(変形例16)
ステップS400の本撮像では画像データを1枚撮像しているが、連続して複数の画像データを撮像して、それら複数の画像から最も良い画像を1枚選択して第1の画像データとしてもよい。ステップS420およびステップS440でもステップS400と同様に連続して複数の画像データを撮像して、それら複数の画像から最も良い画像をそれぞれ1枚選択して第2の画像データおよび第3の画像データとしてもよい。
(変形例17)
ユーザと他の人物の2名を撮影する場合は、他の人物にも標識信号発信機を所持させて、この標識信号発信機から発信する標識信号にも基づいてドローン4が追随するように制御してもよい。この場合は、顔認識に用いる顔画像としてユーザの顔画像と他の人物の顔画像の2つを用いる。なお、他の人物がユーザの近くにいるのであれば、他の人物には標識信号発信機を所持させずに顔認識に用いる顔画像の登録のみを行うようにしてもよい。また、他の人物は1名だけでなく2名以上であってもよい。
(変形例18)
ユーザ以外の人物に別の標識信号発信機を所持させて、この別の標識信号発信機から発信する標識信号に基づきドローン4が追随するように制御してもよい。この場合は、顔認識に用いる顔画像として別の標識信号発信機を所持している人物の顔画像とする。
(変形例19)
上記実施の形態では、ドローン4にカメラ42を設けていたが、ドローン4ではなく、車や船のように、陸上や水上を移動する装置にカメラ42を設けてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
4…ドローン、5…携帯端末、40…制御部、40a…追随制御部、40b…追随停止部、40c…撮影制御部、40d…判断部

Claims (11)

  1. 移動可能な対象物に追随する電子機器であって、
    前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、
    前記対象物を撮像し、画像データを生成する撮像部と、
    画像データの構図が所定の構図になった場合に、前記追随制御部による追随を停止させる追随停止部と、
    を備える電子機器。
  2. 移動可能な対象物に追随する電子機器であって、
    前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、
    前記追随制御部による追随を停止させる追随停止部と、
    追随制御部によって所定の位置に移動してから所定時間が経過した後に、前記対象物を撮像して画像データを生成する撮像部と、
    を備える電子機器。
  3. 請求項1又は請求項2に記載の電子機器において、
    前記追随制御部は、前記対象物に対して所定の位置に移動して追随させる電子機器。
  4. 請求項1から請求項3の何れか1項に記載の電子機器において、
    前記追随制御部は、前記撮像部の撮像領域に、前記対象物の顔が入る範囲に移動させる電子機器。
  5. 請求項1から請求項4の何れか1項に記載の電子機器において、
    前記追随停止部は、前記撮像部が撮像した前記対象物の位置及び大きさの少なくとも一方に基づいて、追随を停止させる電子機器。
  6. 請求項1から請求項5の何れか1項に記載の電子機器において、
    前記追随制御部は、前記撮像部の撮像領域において前記対象物が所定の構図で写り込む位置に移動させる電子機器。
  7. 移動可能な対象物に追随する電子機器であって、
    前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、
    前記追随制御部による追随を停止させる追随停止部と、
    を備え、
    前記追随制御部は、前記対象物を屋外で追随する最高速度屋内で追随する速度より速くする電子機器。
  8. 請求項7に記載の電子機器において、
    前記追随制御部は、前記対象物を屋内で追随する場合には、屋外で追随する場合に比べて、障害物との間の距離がより短くなることを許容する電子機器。
  9. 請求項7又は請求項に記載の電子機器において、
    前記対象物を撮像し、画像データを生成する撮像部を備え、
    前記撮像部による撮像結果に基づき、屋内であるか屋外であるかを判断する電子機器。
  10. 請求項1から請求項6の何れか1項に記載の電子機器において、
    標識信号発信機から発信される標識信号を受信する標識信号受信部を更に備え、
    前記追随制御部は、前記受信した標識信号により検出した対象物の方向と、前記撮像部による前記対象物を撮像した画像データとに基づき、追随させる電子機器。
  11. 請求項1から請求項10の何れか1項に記載の電子機器において、
    前記追随停止部により前記追随が停止されたことを前記対象物に対して報知する報知部を更に備える電子機器。
JP2015092356A 2015-04-28 2015-04-28 電子機器 Active JP6696118B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015092356A JP6696118B2 (ja) 2015-04-28 2015-04-28 電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015092356A JP6696118B2 (ja) 2015-04-28 2015-04-28 電子機器

Publications (2)

Publication Number Publication Date
JP2016212465A JP2016212465A (ja) 2016-12-15
JP6696118B2 true JP6696118B2 (ja) 2020-05-20

Family

ID=57551778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015092356A Active JP6696118B2 (ja) 2015-04-28 2015-04-28 電子機器

Country Status (1)

Country Link
JP (1) JP6696118B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018133749A (ja) * 2017-02-16 2018-08-23 オリンパス株式会社 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム
JP6844385B2 (ja) * 2017-03-31 2021-03-17 日本電気株式会社 照合システム、管理装置、照合方法、及びプログラム
KR20190009103A (ko) 2017-07-18 2019-01-28 삼성전자주식회사 외부 객체와의 거리에 기반하여 이동 되는 전자 장치 및 그 제어 방법
WO2019093016A1 (ja) 2017-11-08 2019-05-16 パナソニックIpマネジメント株式会社 撮影システム、撮影方法、及びプログラム
JP7023492B2 (ja) * 2017-12-02 2022-02-22 学校法人早稲田大学 移動体の追従画像提示システム
WO2019175982A1 (ja) * 2018-03-13 2019-09-19 株式会社ドローンネット 小型無人飛行体
JP7207586B2 (ja) * 2018-04-19 2023-01-18 サクサ株式会社 撮像制御装置及び撮像システム
JP7277695B2 (ja) * 2018-06-22 2023-05-19 キヤノンマーケティングジャパン株式会社 航空機、その制御方法、プログラム及び記憶媒体
JP2020119124A (ja) * 2019-01-22 2020-08-06 本田技研工業株式会社 同行移動体
WO2021014752A1 (ja) * 2019-07-19 2021-01-28 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム
WO2023195401A1 (ja) * 2022-04-07 2023-10-12 富士フイルム株式会社 撮像制御装置、撮像制御方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP2006134221A (ja) * 2004-11-09 2006-05-25 Matsushita Electric Ind Co Ltd 追従移動装置
JP2006191524A (ja) * 2004-12-09 2006-07-20 Nikon Corp 自動フレーミング装置および撮影装置
JP4697164B2 (ja) * 2007-03-22 2011-06-08 トヨタ自動車株式会社 移動ロボット及びロボット移動制御方法
JP6470024B2 (ja) * 2014-11-27 2019-02-13 みこらった株式会社 浮揚移動台

Also Published As

Publication number Publication date
JP2016212465A (ja) 2016-12-15

Similar Documents

Publication Publication Date Title
JP6696118B2 (ja) 電子機器
US20220083078A1 (en) Method for controlling aircraft, device, and aircraft
CN109074101B (zh) 使用多个无人机的成像
JP6308238B2 (ja) 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム
WO2018209702A1 (zh) 无人机的控制方法、无人机以及机器可读存储介质
US20200346753A1 (en) Uav control method, device and uav
CN108351650B (zh) 一种对飞行器的飞行控制方法、装置及飞行器
US20160124435A1 (en) 3d scanning and imaging method utilizing a self-actuating compact unmanned aerial device
CN107205111B (zh) 摄像装置、移动装置、摄像系统、摄像方法和记录介质
JP2020194590A (ja) 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム
KR101914179B1 (ko) 무인비행체의 충전위치 탐지 장치
WO2019227333A1 (zh) 集体照拍摄方法和装置
JP2017183852A (ja) 表示装置および表示制御方法
CN109121434B (zh) 无人机交互拍摄系统及方法
WO2016068354A1 (ko) 무인비행기, 타겟 자동 촬영 장치 및 방법
JP6475568B2 (ja) 撮像装置および飛行制御方法
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
KR102365931B1 (ko) 배터리 교체형 드론의 공중 배터리 교체 방법 및 이를 위한 장치
JP7081198B2 (ja) 撮影システム及び撮影制御装置
KR20180000110A (ko) 드론 및 그 제어방법
CN111031202A (zh) 基于四旋翼的智能拍照无人机、智能拍照系统及其方法
JP2020188326A (ja) 撮像管理システム
CN111373735A (zh) 拍摄控制方法、可移动平台与存储介质
WO2023123254A1 (zh) 无人机的控制方法、装置、无人机及存储介质
CN114600024A (zh) 装置、摄像装置、摄像系统及移动体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190612

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200406

R150 Certificate of patent or registration of utility model

Ref document number: 6696118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250