JP6696118B2 - 電子機器 - Google Patents
電子機器 Download PDFInfo
- Publication number
- JP6696118B2 JP6696118B2 JP2015092356A JP2015092356A JP6696118B2 JP 6696118 B2 JP6696118 B2 JP 6696118B2 JP 2015092356 A JP2015092356 A JP 2015092356A JP 2015092356 A JP2015092356 A JP 2015092356A JP 6696118 B2 JP6696118 B2 JP 6696118B2
- Authority
- JP
- Japan
- Prior art keywords
- control unit
- electronic device
- tracking
- drone
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 100
- 239000000203 mixture Substances 0.000 claims description 67
- 239000003550 marker Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 24
- 238000012986 modification Methods 0.000 description 22
- 230000004048 modification Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明の第2の態様による電子機器は、移動可能な対象物に追随する電子機器であって、前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、前記追随制御部による追随を停止させる追随停止部と、前記追随制御部によって所定の位置に移動してから所定時間が経過した後に、前記対象物を撮像して画像データを生成する撮像部と、を備える。
本発明の第3の態様による電子機器は、移動可能な対象物に追随する電子機器であって、前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、前記追随制御部による追随を停止させる追随停止部と、を備え、前記追随制御部は、前記対象物を屋外で追随する最高速度を屋内で追随する速度より速くする。
第1の実施の形態では、カメラを備えた移動体と、携帯端末とで構成される撮像システムについて説明する。第1実施の形態では、カメラを備えた移動体として、ドローン、あるいは車や船のように、陸上や水上を移動する装置を用いる。以下では、カメラを備えた移動体として、ドローンを例として説明する。図1は、第1の実施の形態に係る撮像システムの模式図である。撮像システムは、ドローン4、および携帯端末5を備える。
図2は、ドローン4の外観を示す模式図である。ドローン4は、4翼のヘリコプターである。ドローン4は、4つのローター41により飛行する。4つのローター41は、同一平面上に設けられる。4つのローター41は、周知の航法姿勢制御システムにより、各々が独立して制御される。この制御によって、ドローン4は、ピッチ軸102を中心として旋回したり、ロール軸103を中心として旋回したり、ヨー軸104を中心として回転したり、下方向100または上方向101に並進したりすることができる。
図5は、撮像システムを用いて撮像する構図を例示する模式図である。撮像システムは、ユーザの画像を、構図A、構図B、構図C、の3パターンの構図で撮像する構成とされている。構図Aは、ユーザの全身を撮像範囲に含める構図である。構図Bは、ユーザの上半身全体を撮像範囲に含める構図である。構図Cは、ユーザの胸から上を撮像範囲に含める構図(いわゆるバストショット)である。
ドローン4は、追随飛行機能を有する。追随飛行機能とは、カメラ42がユーザの顔の正面を向くように、ユーザの顔を追随し、移動して飛行する機能である。追随飛行機能がオンのとき、制御部40は、カメラ42による撮像と、撮像結果に対するユーザの顔認識とを繰り返し実行する。制御部40は、撮像結果からユーザの顔を認識できなかった場合、カメラ42がユーザの顔の正面以外の面を向いていると判断し、カメラ42がユーザの顔を別方向から捉えるようにドローン4を回転させる。
以下、本実施の形態に係る撮像システムによる撮像処理を説明する。
(1)撮像システムの利用に際し、ユーザは、予め前述した構図A〜Cのうち、撮像したい構図をドローン4に設定しておく。以下の説明では、構図Aと構図Cとが設定された状態を仮定する。さらに、各構図について、ドローン4は、ユーザを左側、中央、右側のそれぞれに収めた画像を撮影するものとして説明する。構図の設定は、例えば携帯端末5を用いて行うことができる。携帯端末5は、ユーザにより構図の指示が入力されると、無線によるデータ通信でドローン4に入力された構図の指示を送信する。ユーザは、更に、顔認識に必要な、自身の顔に関する情報を、予めドローン4に登録しておく。例えば携帯端末5のカメラ機能を用いて自身の顔を撮像し、顔画像を携帯端末5からドローン4に送信する。
ステップS220で、制御部40は、ドローン4(筐体)の高度を徐々に下げていく。ステップS230で、制御部40は、ドローン4(筐体)が地面についたか否かを判断する。地面についていなかった場合には、制御部40は、処理をステップS220に進める。他方、地面についたと判断した場合、制御部40は処理をステップS240に進める。
(1)追随制御部40aは、移動可能な目標物であるユーザの顔が移動したとき、ユーザの顔に対してドローン4を追随飛行させる。追随停止部40bは、ユーザが移動しても追随制御部40aによる追随を停止させる。このようにしたので、ユーザが位置合わせを行う必要のない、使い勝手のよい電子機器を提供することができる。この電子機器を用いると、構図が決まった後に撮像を行う前に、ユーザが自身の写り方(ポーズ)を変更することができる。
ドローン4の追随飛行機能やカメラ42による撮像等を行う制御部40は、ドローン4とは異なる装置に設けてもよい。例えば、携帯端末5がドローン4の追随飛行機能やカメラ42の撮像制御を司ってもよい。この場合、携帯端末5は、無線によるデータ通信によってドローン4を制御する。
ドローン4のカメラ42によって逐次出力される画像を携帯端末5によりで閲覧することができるようにしてもよい。
上述の実施の形態では、ドローン4は、ユーザによる電源の投入により、制御が開始されたが、他の方法であってもよい。たとえば、ドローン4を着脱可能なホルダーから取られたときに電源をオンすることとしてもよい。
上述の実施の形態では、制御部40は、ドローン4(筐体)がユーザの上方に移動した後に、高度を下げていく。その後、制御部40は、ドローン4(筐体)が地面についた時点で、ローター41の駆動を停止していた。制御部40がこれとは異なる制御を行うようにしてもよい。例えば、ドローン4(筐体)がユーザの上方に移動した後に、高度を下げていく。その後、制御部40は、ユーザを認識しながら、ユーザに対して所定の位置にきたときに高度を下げることを停止するようにしてもよい。ユーザの認識は、たとえば、カメラ42によりにより行うことができる。また、所定の位置は、たとえば、ユーザの手が届く位置とすることができる。これにより、ユーザは、撮影が終了したドローン4を自分の手でとらえることができる。
上述した実施の形態では、ドローン4への屋内モードと屋外モードの設定は、制御部40が自動的に行っていた。屋内モードと屋外モードの設定は、ユーザが手動で行うようにしてもよい。例えば、構図等と同様に、携帯端末5を用いて予めドローン4に屋内モードと屋外モードのいずれかを設定するようにしてもよい。
LED50とは異なる手段でユーザにカウントダウンを報知してもよい。例えば、ビープ音等によりユーザにカウントダウンを報知してもよい。
上述の実施の形態では、ドローン4がユーザの上方に移動した後に高度を下げる例を説明したが、ドローン4がユーザの上方に移動した後に撮像部がユーザの所定のジェスチャーを認識した後に高度を下げる構成としてもよい。さらに、ドローン4をユーザの近傍に降下させるきっかけは、ユーザによるジェスチャーに限定されない。例えば、ドローン4を着脱可能なホルダーに設けたボタンを押下すると、ボタンの押下に対応する無線信号がドローン4に送られ、これに応じてドローン4が降下を開始するようにしてもよい。また、携帯端末5からの無線によるデータ通信で降下を指示してもよい。
本撮像による画像データは、携帯端末5に送信するのではなく、ドローン4の内部に設けた記録媒体に記録するようにしてもよい。
上述した実施の形態では、ユーザの方向を検出するために、携帯端末5がアクティブに標識信号を発信していた。これを、携帯端末5がパッシブに標識信号を発信するようにしてもよい。例えば、携帯端末5にRFID等のICタグを埋め込んでおく。そして、ICタグの情報を読み取るための情報を、ドローン4から周囲に向けて送信する。ドローン4は、携帯端末5のICタグから返ってきた反射波を受信することにより、ユーザの方向を検出することができる。
カメラ42が単焦点レンズではなく、いわゆるズームレンズを備えるようにしてもよい。この場合、構図の変更に、ドローン4の移動だけでなく、ズームレンズのズーミングを併用することができる。
ユーザの背景に写り込む背景被写体を識別し、背景被写体の種類によって、本撮像時のドローン4の高度(カメラ42のチルト角)を調節してもよい。つまり、背景被写体に合わせて、ユーザを高い視点から見下ろして撮像するのか、低い視点から見上げて撮像するのかを切り替えてもよい。例えば背景が山等の遠景であれば、高い視点から見下ろして撮像する。また、背景が寺社仏閣等の建築物であれば、低い視点から見上げて撮像する。なお、背景被写体の識別は、例えばカメラ42の撮像結果に対して周知のシーン認識を行ったり、ドローン4にGPS受信器を搭載して検出した現在位置と地図情報とを照合したりすることにより可能である。
1つの構図について撮像した3枚の画像をパノラマ合成して、パノラマ画像を作成してもよい。
図5に示した構図A〜Cは一例であり、これとは異なる構図を撮像可能にしてもよい。たとえば、撮像アングルに関する3種類の選択肢を設けてもよい。撮像アングルに関する3種類の選択肢とは、正面から撮像するか、ユーザの上方から下向きに撮像するか、ユーザの下方から上向きに撮像するか、の3つである。また、ユーザの全身のうちの撮像画面に含める部分に関する3種類の選択肢を設けてもよい。ユーザの全身のうちの撮像画面に含める部分に関する3種類の選択肢とは、全身を撮像画面に含めるか、上半身だけを撮像画面に含めるか、胸から上だけを撮像画面に含めるか、の3つである。
ユーザの顔を認識する以外の方法でユーザの追随飛行機能を実現してもよい。例えば、予め用意された顕著な特徴を有する標識をユーザが身に付けておき、制御部40が撮像結果からその標識を認識するようにしてもよい。また、追随飛行機能の目標物は、ユーザの顔とは異なる被写体であってもよい。
上述した実施の形態では、静止画を撮像する場合について説明を行った。ドローン4が動画を撮像するようにしてもよい。例えば、ユーザが撮像画面の左側にいる状態から動画の撮像を開始し、ドローン4が所定時間(例えば数秒〜数十秒)かけて左方向に回転し、ユーザが撮像画面の右側にいる状態に至る動画を撮像するようにすればよい。また、動画の撮像中にユーザが動いて予定していた撮像範囲から外れてしまう場合は、顔認識やテンプレートマッチングなどの周知の追尾技術によりユーザを追尾して、撮影する方向を変更してもよい。
ステップS400の本撮像では画像データを1枚撮像しているが、連続して複数の画像データを撮像して、それら複数の画像から最も良い画像を1枚選択して第1の画像データとしてもよい。ステップS420およびステップS440でもステップS400と同様に連続して複数の画像データを撮像して、それら複数の画像から最も良い画像をそれぞれ1枚選択して第2の画像データおよび第3の画像データとしてもよい。
ユーザと他の人物の2名を撮影する場合は、他の人物にも標識信号発信機を所持させて、この標識信号発信機から発信する標識信号にも基づいてドローン4が追随するように制御してもよい。この場合は、顔認識に用いる顔画像としてユーザの顔画像と他の人物の顔画像の2つを用いる。なお、他の人物がユーザの近くにいるのであれば、他の人物には標識信号発信機を所持させずに顔認識に用いる顔画像の登録のみを行うようにしてもよい。また、他の人物は1名だけでなく2名以上であってもよい。
ユーザ以外の人物に別の標識信号発信機を所持させて、この別の標識信号発信機から発信する標識信号に基づきドローン4が追随するように制御してもよい。この場合は、顔認識に用いる顔画像として別の標識信号発信機を所持している人物の顔画像とする。
上記実施の形態では、ドローン4にカメラ42を設けていたが、ドローン4ではなく、車や船のように、陸上や水上を移動する装置にカメラ42を設けてもよい。
Claims (11)
- 移動可能な対象物に追随する電子機器であって、
前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、
前記対象物を撮像し、画像データを生成する撮像部と、
前記画像データの構図が所定の構図になった場合に、前記追随制御部による追随を停止させる追随停止部と、
を備える電子機器。 - 移動可能な対象物に追随する電子機器であって、
前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、
前記追随制御部による追随を停止させる追随停止部と、
前記追随制御部によって所定の位置に移動してから所定時間が経過した後に、前記対象物を撮像して画像データを生成する撮像部と、
を備える電子機器。 - 請求項1又は請求項2に記載の電子機器において、
前記追随制御部は、前記対象物に対して所定の位置に移動して追随させる電子機器。 - 請求項1から請求項3の何れか1項に記載の電子機器において、
前記追随制御部は、前記撮像部の撮像領域に、前記対象物の顔が入る範囲に移動させる電子機器。 - 請求項1から請求項4の何れか1項に記載の電子機器において、
前記追随停止部は、前記撮像部が撮像した前記対象物の位置及び大きさの少なくとも一方に基づいて、追随を停止させる電子機器。 - 請求項1から請求項5の何れか1項に記載の電子機器において、
前記追随制御部は、前記撮像部の撮像領域において前記対象物が所定の構図で写り込む位置に移動させる電子機器。 - 移動可能な対象物に追随する電子機器であって、
前記対象物が移動したとき、前記対象物に対して追随させる追随制御部と、
前記追随制御部による追随を停止させる追随停止部と、
を備え、
前記追随制御部は、前記対象物を屋外で追随する最高速度を屋内で追随する速度より速くする電子機器。 - 請求項7に記載の電子機器において、
前記追随制御部は、前記対象物を屋内で追随する場合には、屋外で追随する場合に比べて、障害物との間の距離がより短くなることを許容する電子機器。 - 請求項7又は請求項8に記載の電子機器において、
前記対象物を撮像し、画像データを生成する撮像部を備え、
前記撮像部による撮像結果に基づき、屋内であるか屋外であるかを判断する電子機器。 - 請求項1から請求項6の何れか1項に記載の電子機器において、
標識信号発信機から発信される標識信号を受信する標識信号受信部を更に備え、
前記追随制御部は、前記受信した標識信号により検出した対象物の方向と、前記撮像部による前記対象物を撮像した画像データとに基づき、追随させる電子機器。 - 請求項1から請求項10の何れか1項に記載の電子機器において、
前記追随停止部により前記追随が停止されたことを前記対象物に対して報知する報知部を更に備える電子機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015092356A JP6696118B2 (ja) | 2015-04-28 | 2015-04-28 | 電子機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015092356A JP6696118B2 (ja) | 2015-04-28 | 2015-04-28 | 電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016212465A JP2016212465A (ja) | 2016-12-15 |
JP6696118B2 true JP6696118B2 (ja) | 2020-05-20 |
Family
ID=57551778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015092356A Active JP6696118B2 (ja) | 2015-04-28 | 2015-04-28 | 電子機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6696118B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018133749A (ja) * | 2017-02-16 | 2018-08-23 | オリンパス株式会社 | 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム |
JP6844385B2 (ja) * | 2017-03-31 | 2021-03-17 | 日本電気株式会社 | 照合システム、管理装置、照合方法、及びプログラム |
KR20190009103A (ko) | 2017-07-18 | 2019-01-28 | 삼성전자주식회사 | 외부 객체와의 거리에 기반하여 이동 되는 전자 장치 및 그 제어 방법 |
WO2019093016A1 (ja) | 2017-11-08 | 2019-05-16 | パナソニックIpマネジメント株式会社 | 撮影システム、撮影方法、及びプログラム |
JP7023492B2 (ja) * | 2017-12-02 | 2022-02-22 | 学校法人早稲田大学 | 移動体の追従画像提示システム |
WO2019175982A1 (ja) * | 2018-03-13 | 2019-09-19 | 株式会社ドローンネット | 小型無人飛行体 |
JP7207586B2 (ja) * | 2018-04-19 | 2023-01-18 | サクサ株式会社 | 撮像制御装置及び撮像システム |
JP7277695B2 (ja) * | 2018-06-22 | 2023-05-19 | キヤノンマーケティングジャパン株式会社 | 航空機、その制御方法、プログラム及び記憶媒体 |
JP2020119124A (ja) * | 2019-01-22 | 2020-08-06 | 本田技研工業株式会社 | 同行移動体 |
WO2021014752A1 (ja) * | 2019-07-19 | 2021-01-28 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理プログラム |
WO2023195401A1 (ja) * | 2022-04-07 | 2023-10-12 | 富士フイルム株式会社 | 撮像制御装置、撮像制御方法、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004299025A (ja) * | 2003-04-01 | 2004-10-28 | Honda Motor Co Ltd | 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム |
JP2006134221A (ja) * | 2004-11-09 | 2006-05-25 | Matsushita Electric Ind Co Ltd | 追従移動装置 |
JP2006191524A (ja) * | 2004-12-09 | 2006-07-20 | Nikon Corp | 自動フレーミング装置および撮影装置 |
JP4697164B2 (ja) * | 2007-03-22 | 2011-06-08 | トヨタ自動車株式会社 | 移動ロボット及びロボット移動制御方法 |
JP6470024B2 (ja) * | 2014-11-27 | 2019-02-13 | みこらった株式会社 | 浮揚移動台 |
-
2015
- 2015-04-28 JP JP2015092356A patent/JP6696118B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016212465A (ja) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6696118B2 (ja) | 電子機器 | |
US20220083078A1 (en) | Method for controlling aircraft, device, and aircraft | |
CN109074101B (zh) | 使用多个无人机的成像 | |
JP6308238B2 (ja) | 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム | |
WO2018209702A1 (zh) | 无人机的控制方法、无人机以及机器可读存储介质 | |
US20200346753A1 (en) | Uav control method, device and uav | |
CN108351650B (zh) | 一种对飞行器的飞行控制方法、装置及飞行器 | |
US20160124435A1 (en) | 3d scanning and imaging method utilizing a self-actuating compact unmanned aerial device | |
CN107205111B (zh) | 摄像装置、移动装置、摄像系统、摄像方法和记录介质 | |
JP2020194590A (ja) | 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム | |
KR101914179B1 (ko) | 무인비행체의 충전위치 탐지 장치 | |
WO2019227333A1 (zh) | 集体照拍摄方法和装置 | |
JP2017183852A (ja) | 表示装置および表示制御方法 | |
CN109121434B (zh) | 无人机交互拍摄系统及方法 | |
WO2016068354A1 (ko) | 무인비행기, 타겟 자동 촬영 장치 및 방법 | |
JP6475568B2 (ja) | 撮像装置および飛行制御方法 | |
WO2022188151A1 (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
KR102365931B1 (ko) | 배터리 교체형 드론의 공중 배터리 교체 방법 및 이를 위한 장치 | |
JP7081198B2 (ja) | 撮影システム及び撮影制御装置 | |
KR20180000110A (ko) | 드론 및 그 제어방법 | |
CN111031202A (zh) | 基于四旋翼的智能拍照无人机、智能拍照系统及其方法 | |
JP2020188326A (ja) | 撮像管理システム | |
CN111373735A (zh) | 拍摄控制方法、可移动平台与存储介质 | |
WO2023123254A1 (zh) | 无人机的控制方法、装置、无人机及存储介质 | |
CN114600024A (zh) | 装置、摄像装置、摄像系统及移动体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190612 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6696118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |