JP7247904B2 - ドローンシステム及びドローンによる車両撮影方法 - Google Patents

ドローンシステム及びドローンによる車両撮影方法 Download PDF

Info

Publication number
JP7247904B2
JP7247904B2 JP2020004196A JP2020004196A JP7247904B2 JP 7247904 B2 JP7247904 B2 JP 7247904B2 JP 2020004196 A JP2020004196 A JP 2020004196A JP 2020004196 A JP2020004196 A JP 2020004196A JP 7247904 B2 JP7247904 B2 JP 7247904B2
Authority
JP
Japan
Prior art keywords
vehicle
drone
scene
information
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020004196A
Other languages
English (en)
Other versions
JP2021110692A (ja
Inventor
賢治 佐藤
啓 山本
崇 西本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020004196A priority Critical patent/JP7247904B2/ja
Priority to US17/145,753 priority patent/US11490056B2/en
Priority to CN202110030204.XA priority patent/CN113126641B/zh
Publication of JP2021110692A publication Critical patent/JP2021110692A/ja
Application granted granted Critical
Publication of JP7247904B2 publication Critical patent/JP7247904B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両と、車両を撮影するドローンとで構成されるドローンシステム、並びに、ドローンにより車両の走行シーンを撮影する車両撮影方法に関する。
近年、ドローンを用いた様々なサービスが提案されている。一方、車両の自動運転の技術が向上してきている。そこで、自動運転車の行動計画を取得し、これに基づいてドローンを飛行させるドローン連携装置が提案されている（例えば、特許文献１参照）。
国際公開第２０１８／２３０６８０号
ところで、近年、車両を運転しているシーンを撮影させたい等の要望がある。このためには、車両の様々な角度、例えば、車両の側方、前方等から走行中の車両を撮影することが必要となる。しかし、特許文献１に記載された装置では、車両を追尾、或いは追従して走行中の車両を後方から撮影することは可能であるが、走行中の車両の側方や前方に回り込んで車両を撮影することは困難であった。
そこで、本発明は、走行中の車両を様々な角度から撮影することを目的とする。
本発明のドローンシステムは、車両と、前記車両を撮影するドローンと、を含むドローンシステムであって、前記車両は、前記ドローンと通信回線で接続され、前記車両の走行情報と、前記車両のナビ情報とを含む車両情報を前記ドローンに発信し、前記ドローンは、自律飛行が可能であり、撮影用のカメラと、飛行制御と前記カメラの制御とを行う制御装置と、を含み、前記制御装置は、動画のシーンを撮影する際の前記車両に対する相対位置と、前記シーンの継続時間とを関連付けたシーン情報セットを、撮影する動画の時系列に沿って順番に複数並べて格納したシーン情報データベースを収容する記憶部と、前記車両から前記車両情報を受信する車両情報取得部と、受信した前記車両情報に基づいて前記車両の未来の走行位置を予測する走行位置予測部と、前記走行位置予測部で予測した前記車両の未来の走行位置と前記シーン情報データベースとに基づいて、前記シーンごとに前記車両に対する各前記相対位置を通過するような飛行経路を算出する飛行経路算出部と、を備えることを特徴とする。
このように、ドローンは、動画のシーンごとに動画の各シーンを撮影する際の車両に対する各相対位置を通過するように飛行して車両を撮影するので、車両の側方や前方等を飛行しながら、動画の各シーンに合わせて走行中の車両を様々な方向から撮影することができる。
本発明のドローンシステムにおいて、前記制御装置は、前記シーン情報データベースに格納された前記車両に対する前記相対位置に基づいて前記カメラの方向を調整しながら動画を撮影するカメラ制御部を備えてもよい。
これにより、より細かく動画の各シーンに合わせて走行中の車両を様々な方向から撮影することができる。
本発明のドローンシステムにおいて、前記シーン情報データベースは、撮影する動画のシーンと、前記シーンを撮影する際の前記車両に対する相対位置と、前記シーンの継続時間とを関連付けたシーン情報セットを、撮影する動画の時系列に沿って順番に複数並べて格納したものであり、前記カメラ制御部は、前記カメラで撮像した画像と前記シーンとに基づいて、前記カメラの方向と画角とを調整しながら動画を撮影してもよい。
これにより、シーン情報データベースに格納された複数のシーンの間がスムースにつながるように動画を撮影することができる。
本発明のドローンシステムにおいて、前記制御装置の前記飛行経路算出部は、前記走行位置予測部で予測した前記車両の未来の走行位置と前記シーン情報データベースに格納された前記車両に対する各前記相対位置とに基づいて、前記シーン情報データベースに格納された各前記シーンを撮影するための各前記相対位置の地表に対する各絶対位置をそれぞれ算出し、前記シーン情報データベースに格納された前記シーンごとに各前記絶対位置を通過するような飛行航路を算出してもよい。
このように、ドローンは、地表に対する絶対位置を算出してシーンごとに各絶対位置を通過するような飛行経路を算出し、その飛行経路に従って飛行するので、より確実に走行中の車両を様々な角度から撮影することができる。
本発明のドローンシステムにおいて、前記車両の発信する走行情報は、速度情報と、アクセル情報と、ブレーキ情報と、ステアリング情報と、を含んでもよい。
これにより、素早く車両の将来の走行位置を算出でき、車両の走行速度が速い場合でも、ドローンが確実に動画の各シーンを撮影する際の車両に対する各相対位置あるいは絶対位置を通過するように飛行することができる。
本発明のドローンシステムにおいて、前記ドローンは、撮影した動画の画像データをリアルタイムで発信し、前記車両は、前記画像データを受信して、車内のディスプレイに動画を表示してもよい。
これにより、車両の中の搭乗者は自分が鳥になって走行中の自分の車両を見ているように感じることができる。
本発明の車両撮影方法は、ドローンで車両を撮影する車両撮影方法であって、前記車両は、前記ドローンと通信回線で接続され、前記車両の走行情報と、前記車両のナビ情報とを含む車両情報を前記ドローンに発信し、前記ドローンは、自律飛行が可能であり、撮影用のカメラと、飛行制御と前記カメラの制御とを行う制御装置と、を含み、前記制御装置は、情報処理を行うプロセッサと、動画のシーンを撮影する際の前記車両に対する相対位置と、前記シーンの継続時間とを関連付けたシーン情報セットを、撮影する動画の時系列に沿って順番に複数並べて格納したシーン情報データベースを収容する記憶部と、を含み、前記プロセッサが、前記車両から前記車両情報を受信し、受信した前記車両情報に基づいて前記車両の未来の走行位置を予測し、予測した前記車両の未来の走行位置と前記シーン情報データベースとに基づいて、前記シーンごとに前記車両に対する各前記相対位置を通過するような飛行経路を算出し、前記算出した前記飛行経路に基づいて前記ドローンを飛行させて前記カメラで前記車両を撮影すること、を特徴とする。
これにより、ドローンを動画のシーンごとに動画の各シーンを撮影する際の車両に対する各相対位置を通過するように飛行させて車両を撮影するので、車両の側方や前方等を飛行しながら、動画の各シーンに合わせて走行中の車両を様々な方向から撮影することができる。
本発明のドローンシステムは、車両と、前記車両を撮影するドローンと、前記ドローンの運用を行うドローン運用センタと、を含むドローンシステムであって、前記車両は、前記ドローン運用センタと通信回線で接続され、前記車両の走行情報と、前記車両のナビ情報とを含む車両情報を前記ドローン運用センタに発信し、前記ドローンは、自律飛行が可能であり、撮影用のカメラと、飛行制御と前記カメラの制御とを行う制御装置と、を含み、前記ドローン運用センタと通信回線で接続され、現在の飛行位置を前記ドローン運用センタに発信し、前記ドローン運用センタはサーバを含み、前記サーバは、動画のシーンを撮影する際の前記車両に対する相対位置と、前記シーンの継続時間とを関連付けたシーン情報セットを、撮影する動画の時系列に沿って順番に複数並べて格納したシーン情報データベースを収容する記憶部と、前記車両から前記車両情報を受信する車両情報取得部と、受信した前記車両情報に基づいて前記車両の未来の走行位置を予測する走行位置予測部と、前記ドローンから受信した前記ドローンの現在の飛行位置と、前記走行位置予測部で予測した前記車両の未来の走行位置と、前記シーン情報データベースと、に基づいて、前記シーンごとに前記車両に対する各前記相対位置を通過するような飛行経路を算出して前記ドローンに発信する飛行経路算出部と、を備え、前記ドローンは、前記サーバから受信した飛行経路に従って自律飛行を行いながら前記カメラで前記車両を撮影すること、を特徴とする。
このように、ドローン運用センタのサーバで飛行航路を算出するので、飛行航路の算出を高速で行い、動画の各シーンに合わせて走行中の車両を様々な方向から撮影することができる。また、ドローンに搭載する電子機器を小さくできるので、ドローンの重量を低減してコンパクトなシステムとすることができる。
本発明は、走行中の車両を様々な角度から撮影することができる。
実施形態のドローンシステムの構成を示す系統図である。 実施形態のドローンシステムを構成する車両の機能ブロック図である。 実施形態のドローンシステムを構成するドローンの機能ブロック図である。 図２に示す車両の車両制御装置、ナビゲーション装置、図３に示すドローンの制御装置を構成するコンピュータのハードウェア構成図である。 図３に示す記憶部に収容されているシーン情報データベースのデータ構造を示す図である。 図５に示すシーン画像データベースの番号００１のシーン７１の画像である。 図５に示すシーン画像データベースの番号００２のシーン７２の画像である。 図５に示すシーン画像データベースの番号００３のシーン７３の画像である。 図５に示すシーン画像データベースの番号００４のシーン７４の画像である。 図５に示すシーン画像データベースの番号００５のシーン７５の画像である。 図５に示すシーン画像データベースにおいて、各番号における車両との各相対位置を示す平面図である。 実施形態のドローンシステムの動作を示すフローチャートである。 実施形態のドローンシステムの動作を示すフローチャートである。 図１２，１３に示すフローチャートを実行した際の車両の予測位置とドローンの地表に対する絶対位置の時間変化を示す平面図である。 他の実施形態のドローンシステムの構成を示す系統図である。 他の実施形態のドローンシステムを構成するドローンの機能ブロック図である。 他の実施形態のドローンシステムを構成するドローン運用センタの機能ブロック図である。 実施形態のドローンシステム或いは他の実施形態のドローンシステムに用いるドローンの斜視図である。
以下、図面を参照しながら実施形態のドローンシステム１００について説明する。図１に示すように、ドローンシステム１００は、車両１０と、ドローン３０とで構成されている。車両１０とドローン３０とはインターネット等の通信回線６０で接続されている。車両１０は、車両１０の走行情報と、車両１０のナビ情報とを含む車両情報をドローン３０に発信する。ドローン３０は、自律飛行が可能であり、撮影用のカメラ５２を搭載している。なお、各図において、ＦＲ，ＲＲは車両１０の前方、後方をそれぞれ示し、ＬＨ，ＲＨは車両１０の左側、右側を示す。また、以下の説明では、ドローン３０は、モータによってプロペラを駆動して飛行するものとして説明するが、自律飛行可能な無人飛行体であれば、例えば、エンジンでモータを駆動してもよいし、ジェットエンジン、ロケットエンジン等を推進機構とする飛行機でもよい。
＜車両の構成＞
図２に示すように、車両１０は、車両１０の走行制御を行う車両制御装置１１と、車両１０の現在位置を特定すると共に、車両１０の目的地に対しての経路案内を行うナビゲーション装置２１と、車両制御装置１１とナビゲーション装置２１とに接続されて通信回線６０との間で通信を行う通信装置１６とを含んでいる。
車両制御装置１１は、速度センサ１２、アクセル開度センサ１３、ブレーキ踏込量センサ１４、ステアリング角度センサ１５の各計測データが入力され、車両１０のエンジン或いはモータ、操舵装置を制御して、車両１０の加速、減速、操舵等の走行制御を行う装置である。車両制御装置１１は、速度センサ１２、アクセル開度センサ１３、ブレーキ踏込量センサ１４、ステアリング角度センサ１５から入力された速度情報、アクセル情報、ブレーキ情報、ステアリング情報を含む車両１０の走行情報を通信装置１６に出力する。
ナビゲーション装置２１は、ＧＰＳユニット２２と、位置特定ユニット２３と、位置推定ユニット２４と、地図データ記憶部２５と、経路案内ユニット２６の５つの機能ブロックと、ディスプレイ２７とを含んでいる。
ＧＰＳユニット２２は、複数の衛星から複数の電波を受信し、受信した電波に基づいて現在位置の緯度、経度の情報を出力するものである。
位置推定ユニット２４は、車両１０に取付けられている加速度センサ２８、角速度センサ２９の各計測値と、地図データ記憶部２５に格納されている地図情報とから、車両１０の現在位置の緯度、経度を推定して位置特定ユニット２３に出力するものである。
位置特定ユニット２３は、ＧＰＳユニット２２が複数の衛星からの電波を受信できており、正確な緯度、経度の情報が出力されている場合には、ＧＰＳユニット２２から入力された緯度、経度を車両１０の現在位置の緯度、経度情報として出力する。一方、ＧＰＳユニット２２が複数の衛星からの電波を受信できない場合には、位置推定ユニット２４から入力された緯度、経度を車両１０の現在位置の緯度、経度情報として通信装置１６と経路案内ユニット２６とに出力する。また、位置特定ユニット２３は、現在位置の緯度、経度の時間変化から車両１０の走行方向を算出して通信装置１６と経路案内ユニット２６とに出力する。位置特定ユニット２３が出力する現在位置の緯度、経度の情報と走行方向の情報とはナビ情報を構成する。
経路案内ユニット２６は、地図データ記憶部２５に格納された地図情報と、位置特定ユニット２３から出力された車両１０の現在位置の緯度、経度情報と、走行方向の情報と、ユーザが入力した目的地の情報とから、目的地までの経路を算出し、その結果をディスプレイ２７の上に現在位置近傍の地図データに重ね合わせて表示する。また、ディスプレイ２７は通信装置１６から入力された画像データを表示する。
通信装置１６は、車両制御装置１１から入力された速度情報、アクセル情報、ブレーキ情報、ステアリング情報を含む走行情報、及び、ナビゲーション装置２１から入力された車両１０の現在位置の緯度、経度データ、走行方向データを含むナビ情報を、通信回線６０を介してドローン３０に発信する。
＜ドローンの構成＞
ドローン３０は、モータによって複数のプロペラを駆動して自律飛行する飛行体であり、複数のプロペラの回転数、角度を変化させて上下及び前後左右に飛行可能である。図３に示すように、ドローン３０は、飛行制御を行うと共にカメラ５２の制御を行う制御装置３１と、制御装置３１に接続されて通信回線６０との間で通信を行う通信装置４５と、を含んでいる。制御装置３１は、車両情報取得部３２と、走行位置予測部３３と、飛行経路算出部３４と、記憶部３５と、飛行制御部３７と、カメラ制御部３８と、航法部４０と、画像記憶部３９の８つの機能ブロックを含んでいる。
制御装置３１の車両情報取得部３２は、通信装置４５が通信回線６０を介して車両１０から受信した車両１０の速度情報、アクセル情報、ブレーキ情報、ステアリング情報を含む走行情報と、現在位置の緯度、経度データ、走行方向データを含むナビ情報とを含む車両情報を通信装置４５から取得して走行位置予測部３３に出力する。
走行位置予測部３３は、車両情報取得部３２から入力された車両情報に基づいて、車両１０の未来の走行位置を予測して、予測走行位置の緯度、経度情報を飛行経路算出部３４に出力する。
記憶部３５は、飛行制御用、カメラ制御用のデータを収容している。また、記憶部３５は、シーン情報データベース３６を収容している。シーン情報データベース３６は、図５に示すように、動画のシーンと、そのシーンを撮影する際の車両１０に対する相対位置と、そのシーンの継続時間とを関連付けたシーン情報セット３６ａを、撮影する動画の時系列に沿って順番に複数並べて格納したものである。シーン情報データベース３６については、後で図５から図１１を参照して説明する。なお、シーン情報データベース３６は動画のシーンのデータを含まず、動画のシーンを撮影する際の車両１０に対する相対位置と、シーンの継続時間とを関連付けたシーン情報セット３６ａを、撮影する動画の時系列に沿って順番に複数並べて格納したものとしてもよい。
飛行経路算出部３４は、走行位置予測部３３で予測した車両１０の未来の予想走行位置とシーン情報データベース３６とに基づいて、シーン情報データベース３６に格納している車両１０に対するドローン３０の相対位置を通過するような飛行経路を算出する。飛行経路算出部３４の動作については、後で図１２～図１４を参照して説明する。
航法部４０は、先に説明した車両１０のナビゲーション装置２１と同様、ＧＰＳユニット４１と、位置推定ユニット４３と、位置特定ユニット４２とを含んでいる。ＧＰＳユニット４１は、複数の衛星から複数の電波を受信し、受信した電波に基づいて現在位置の緯度、経度の情報を出力するものである。位置推定ユニット４３は、ドローン３０に取付けられている加速度センサ４６、角速度センサ４７の各計測値に基づいて、ドローン３０の現在位置の緯度、経度を推定して位置特定ユニット４２に出力するものである。位置特定ユニット４２は、車両１０のナビゲーション装置２１の位置特定ユニット２３と同様、ＧＰＳユニット４１と位置推定ユニット４３とからの入力された現在位置に基づいて、ドローン３０の現在飛行位置の緯度、経度を特定して現在飛行位置の緯度、経度のデータを飛行経路算出部３４と飛行制御部３７とに出力するものである。
飛行制御部３７は、航法部４０の位置特定ユニット４２から入力された現在飛行位置の緯度、経度のデータと、飛行経路算出部３４から入力された飛行経路と、加速度センサ４６、角速度センサ４７、速度センサ４８、高度センサ４９、方位センサ５０で測定した加速度データ、角速度データ、速度データ、高度データ、方位データとに基づいて、プロペラ駆動部５１を調整してドローン３０の飛行の制御を行うものである。
カメラ制御部３８は、飛行制御部３７から入力される速度データと高度データと方位データを含む飛行情報と記憶部３５に格納されたシーン情報データベース３６のシーン情報セット３６ａとに基づいて、カメラ５２の方向、画角を制御する。カメラ制御部３８の動作については、後で、図１２～図１４を参照しながら説明する。
以上説明した図２に示す車両制御装置１１と、ナビゲーション装置２１のＧＰＳユニット２２、位置特定ユニット２３、位置推定ユニット２４、地図データ記憶部２５、経路案内ユニット２６、及び、図３に示す制御装置３１の車両情報取得部３２、走行位置予測部３３、飛行経路算出部３４、記憶部３５、飛行制御部３７、カメラ制御部３８、航法部４０、画像記憶部３９の各機能ブロックは、それぞれ図４に示す汎用コンピュータ８０により実現することができる。
図４に示すように、汎用コンピュータ８０は、情報処理を行うプロセッサであるＣＰＵ８１と、情報処理の際にデータを一時的に記憶するＲＯＭ８２、ＲＡＭ８３と、プログラムやユーザのデータ等を格納するハードディスクドライブ（ＨＤＤ）８４と、これらを接続するデータバス８５と、データバス８５に接続されたネットワークコントローラ８６と、入出力コントローラ８７とを含んでいる。入出力コントローラ８７には、センサやディスプレイ等の外部装置８９が接続される。
車両１０の車両制御装置１１、ナビゲーション装置２１のＧＰＳユニット２２、位置特定ユニット２３、位置推定ユニット２４、経路案内ユニット２６、及び、ドローン３０の車両情報取得部３２、走行位置予測部３３、飛行経路算出部３４、飛行制御部３７、カメラ制御部３８、航法部４０は、それぞれ、図４に示す汎用コンピュータ８０のハードウェアとＣＰＵ８１で動作するプログラムとの協調動作により実現される。また、ナビゲーション装置２１の地図データ記憶部２５、ドローン３０の制御装置３１の記憶部３５、画像記憶部３９は、それぞれ図４に示す汎用コンピュータ８０のＨＤＤ８４によって実現される。なお、ＨＤＤ８４に代えてＳＳＤ等のストレージを用いてもよいし、外部の記憶手段をネットワーク経由で利用してもよい。
＜シーン情報データベース＞
次に、図５を参照しながらシーン情報データベース３６について説明する。シーン情報データベース３６は、撮影する動画のシーンと、そのシーンを撮影する際の車両１０に対する相対位置と、そのシーンの継続時間とを関連付けたシーン情報セット３６ａを、撮影する動画の時系列に沿って順番に複数並べて格納したものである。ここで、車両１０に対する相対位置は、ドローン３０の車両１０に対する車両前後方向の相対位置、車両左右方向の相対位置、車両高さ方向の相対位置の組であり、図５に示すように、各シーン情報セット３６ａは、番号、シーン、そのシーンを撮影する際のドローン３０の車両１０に対する車両前後方向の相対位置、車両左右方向の相対位置、車両高さ方向の相対位置、そのシーンの継続時間を一つのセットとしたものである。番号は、撮影する動画のシーンの時系列に従って順番に付されている。
以下、シーン情報データベース３６の具体的な例について説明する。ここでは、図６～図１０に示すような５つのシーン７１～７５を含む動画を撮影する場合について説明する。動画は、図６に示すように道路７０を走って来る車両１０の前方の上空から道路７０と車両を俯瞰するシーン７１から、図７に示すように車両１０が近づいてくるシーン７２に移り、その後、図８～図１０に示すように、走行中の車両１０の側方から車両１０を撮影したシーン７３から次第に車両１０の前方に回り込んで撮影したシーン７４，７５に移るように構成される。
このような各シーン７１～７５を撮影するためのドローン３０の車両１０に対する相対位置の時間変化を図１１に示す。図１１に示す白丸は、ドローン３０の車両１０に対する相対位置を示す。最初、図６に示すシーン７１は、道路７０を走って来る車両１０の前方の上空から道路７０と車両１０を俯瞰するシーンであり、ドローン３０は、車両１０の中央の前方１００ｍの位置で、道路７０からの高度が１０ｍの相対位置ｄ１を飛行して車両１０を撮影する。ここで、車両１０からの前後、左右方向の距離は、図１１に示すように、車両１０の平面の中心からの距離である。次に、図７に示すシーン７２を撮影する場合には、ドローン３０は、相対位置ｄ１よりも車両１０の前方に近づいた相対位置ｄ２を飛行して車両１０を撮影する。相対位置ｄ２は、車両１０の中央の前方３０ｍの位置で、道路７０からの高度が１０ｍの位置である。この際、シーン７１の撮影開始からシーン７２のように画像が変化するまでの時間がシーン７１の継続時間である。
また、図８に示すシーン７３は、走行中の車両１０の側方から車両１０を撮影するので、ドローン３０は、図１１の相対位置ｄ３に示すように、車両１０の前方３ｍ、左側５ｍで高度が１．５ｍの位置を飛行して車両１０を左側面から撮影する。その後、図９に示すシーン７４、図１０に示すシーン７５を撮影するために、ドローン３０は、高度１．５ｍで車両１０の前方で車両１０の左側から前方に向かって回り込むように相対位置ｄ３から，ｄ４，ｄ５のように飛行して、シーン７４，７５を撮影する。撮影は、シーン７３～７５がそれぞれ所定の継続時間だけあけて続くように連続して撮影される。ここで、相対位置ｄ４は、車両１０の前方１２ｍ、左側に１ｍ、高度１．５ｍの位置であり、相対位置ｄ５は、車両１０の中央の前方１３ｍ、高度１．５ｍの位置である。
このように、ドローン３０の車両１０に対する相対位置ｄ１～ｄ５をそれぞれのシーン７１～７５の継続時だけあけて通過するようにドローン３０を飛行させると、図６～図１０に示すシーン７１からシーン７５が連続するような動画を撮影することができる。
このような動画を撮影する場合の図５に示すシーン情報データベース３６の番号００１のシーン情報セット３６ａは、図６に示すシーン７１と、図１１に示す相対位置ｄ１を構成する車両前後方向の相対位置、車両左右方向の相対位置、車両高さ方向の相対位置と、シーン７１の継続時間ＡＡ秒が格納されている。相対位置ｄ１を構成する各方向の相対位置には、車両前後方向の相対位置が車両１０の前方１００ｍ、車両左右方向の相対位置が車両１０の中央、車両高さ方向の相対位置が路面から１０ｍのデータが格納されている。同様に、番号００２のシーン情報セット３６ａは、図７に示すシーン７２と、図１１に示す相対位置ｄ２を構成する車両前後方向の相対位置、車両左右方向の相対位置、車両高さ方向の相対位置と、シーン７２の継続時間ＢＢ秒が格納されている。相対位置ｄ２を構成する各方向の相対位置には、車両前後方向の相対位置が車両１０の前方３０ｍ、車両左右方向の相対位置が車両１０の中央、車両高さ方向の相対位置が路面から１０ｍのデータが格納されている。以下、同様に番号００３～００５のシーン情報セット３６ａは、図８～１０に示すシーン７３～７５と、図１１に示す相対位置ｄ３～ｄ５を構成する車両前後方向の相対位置、車両左右方向の相対位置、車両高さ方向の相対位置と、シーン７３～７５の継続時間ＣＣ秒～ＥＥ秒が格納されている。
＜走行中の車両の動画の撮影動作＞
次に、図１２、図１４を参照しながら実施形態のドローンシステム１００による走行中の車両１０の動画の撮影動作について説明する。
図１２のステップＳ１０１に示すように、ドローン３０の制御装置３１は、カウンタＮを初期値の１にセットする。制御装置３１の飛行経路算出部３４は、図１２のステップＳ１０２において、記憶部３５に収容されているシーン情報データベース３６の番号００１と番号００２の各シーン情報セット３６ａを読み出す。そして、図１２のステップＳ１０３で飛行経路算出部３４は、動画の撮影を開始する時刻ｔ１を設定し、時刻ｔ１に番号００１の継続時間ＡＡ秒を加えた時刻ｔ２を算出し、走行位置予測部３３に出力する。ここで、時刻ｔ２はシーン７１の終了或いはシーン７２の開始時刻であり、時刻ｔ１，ｔ２は走行位置を予測する時刻である。
図１２のステップＳ１０４において、車両情報取得部３２は、車両１０から速度情報、アクセル情報、ブレーキ情報、ステアリング情報を含む走行情報と、現在位置の緯度、経度データ、走行方向データを含むナビ情報と、を含む車両情報を取得し、走行位置予測部３３に出力する。
図１２のステップＳ１０５において、制御装置３１の走行位置予測部３３は、車両情報取得部３２から入力された走行情報とナビ情報とを含む車両情報に基づいて、図１４に示す時刻ｔ１，ｔ２における車両１０の走行位置ｃ１，ｃ２の緯度、経度を算出して飛行経路算出部３４に出力する。
飛行経路算出部３４は、図１２のステップＳ１０６において、時刻ｔ１における車両１０の走行位置ｃ１の緯度、経度と番号００１のシーン情報セット３６ａのドローン３０の車両１０に対する車両前後方向の相対位置、車両左右方向の相対位置、車両高さ方向の相対位置、すなわち、図１１に示す相対位置ｄ１の情報とに基づいて、図１４に示すように図１１に示す相対位置ｄ１に対応する地表に対する絶対位置ａｄ１を算出する。ここで、絶対位置ａｄ１は緯度、経度で規定される。同様に、飛行経路算出部３４は、時刻ｔ２における車両１０の走行位置ｃ２の緯度、経度と番号００２のシーン情報セット３６ａのドローン３０の車両１０に対する車両前後方向の相対位置、車両左右方向の相対位置、車両高さ方向の相対位置、すなわち、図１１に示す相対位置ｄ２の情報とに基づいて、図１４に示すように、相対位置ｄ２に対応する地表に対する絶対位置ａｄ２を算出する。そして、飛行経路算出部３４は、絶対位置ａｄ１とａｄ２との間を番号００１の継続時間ＡＡ秒で移動するようにドローン３０の飛行経路を算出して飛行制御部３７に出力する。この飛行経路は、番号００１のシーン７１から番号００２のシーン７２までの間の動画を撮影するための飛行経路である。ここで、飛行経路は、絶対位置ａｄ１とａｄ２とを直線で結んだものでもよい。
ドローン３０の制御装置３１の飛行経路算出部３４は、図１２のステップＳ１０７に示すように番号００１の継続時間ＡＡ秒よりも所定時間前になるまで待機し、所定時間が経過したらステップＳ１０８でカウンタＮを１だけインクレメントしてステップＳ１０９に進む。そして、図１２のステップＳ１０９で飛行経路算出部３４は、カウンタＮが最終番号であるＮｅｎｄ以上となっているかを判断し、ステップＳ１０９でＮＯと判断した場合には、ステップＳ１０２に戻ってステップＳ１０２～１０８を実行し、時刻ｔ２にシーン７２の継続時間ＢＢ秒を足してシーン７３が開始される時刻ｔ３を算出し、時刻ｔ３における相対位置ｄ３に対応する地表に対する絶対位置ａｄ３を算出し、番号００２のシーン７２から番号００３のシーン７３までの間の動画を撮影するための飛行経路を算出して飛行制御部３７に出力する。ここで、所定時間は、ドローン３０が飛行経路に沿って飛行可能な時間であればよく、例えば、５～１０秒に設定してもよい。
以下、同様に飛行経路算出部３４は、番号００３～番号００５の各継続時間の終了する所定時間前に番号００３のシーン７３から番号００４のシーン７４までの間の動画を撮影するための飛行経路、番号００４のシーン７４から番号００５のシーン７５までの間の動画を撮影するための飛行経路を算出して飛行制御部３７に出力する。そして、飛行経路算出部３４は、ステップＳ１０９でＹＥＳと判断した場合には、飛行経路の算出を終了する。
一方、飛行制御部３７は、図１３のステップＳ２０１に示すように、カウンタＮを１に設定した後、ステップＳ２０２において飛行経路算出部３４からシーン情報データベース３６の番号００１のシーン７１から番号００２のシーン７２までの間の動画を撮影するための飛行経路のデータを受信する。そして、飛行制御部３７は、ステップＳ２０３においてプロペラ駆動部５１を調整して飛行経路算出部３４から入力された飛行経路に従ってドローン３０を飛行させる。
カメラ制御部３８は、図１３のステップＳ２０３において、飛行制御部３７から入力されたドローン３０の飛行方向、飛行速度等の飛行情報と、シーン情報データベース３６に格納された車両１０に対する相対位置ｄ１，ｄ２の情報に基づいてカメラ５２の方向を車両１０の方向に向けて調整しながら走行中の車両１０のシーン７１からシーン７２の間の動画を撮影する。
また、カメラ制御部３８は、図１２のステップＳ２０４において、カメラ５２が撮影したシーン７１からシーン７２の間の動画のデータを画像記憶部３９に格納すると共に、リアルタイムで画像データを通信装置１６，４５、通信回線６０を介して車両１０に送信する。
図１３のステップＳ２０５に示すように、車両１０のナビゲーション装置２１はドローン３０から送信された動画の画像データをディスプレイ２７に動画として表示する。ディスプレイ２７にはシーン７１からシーン７２の間の動画がリアルタイムで表示される。
そして、飛行制御部３７は、図１３のステップＳ２０６で番号００１のシーン７１の継続時間ＡＡ秒が経過したかを判断し、ステップＳ２０６でＮＯと判断した場合には、図１３のステップＳ２０３に戻る。そして、飛行制御部３７とカメラ制御部３８とナビゲーション装置２１は、ステップＳ２０３～Ｓ２０５の実行を継続する。
一方、飛行制御部３７は、ステップＳ２０６でＹＥＳと判断した場合には、ステップＳ２０７に進んでカウンタＮを１だけインクレメントして図１３のステップＳ２０８に進む。そして、飛行制御部３７は、ステップＳ２０８でカウンタＮが最終番号であるＮｅｎｄ以上となっているかを判断する。
飛行制御部３７は、ステップＳ２０８でＮＯと判断した場合には、ステップＳ２０２に戻ってシーン情報データベース３６の番号００２のシーン７２から番号００３のシーン７３までの間の動画を撮影するための飛行経路のデータを受信する。そして、飛行制御部３７は、ステップＳ２０３においてプロペラ駆動部５１を調整して飛行経路算出部３４から入力された飛行経路に従ってドローン３０を飛行させる。
そして、カメラ制御部３８は、図１３のステップＳ２０３において、カメラ５２の方向を車両１０の方向に向けて調整しながら走行中の車両１０のシーン７２からシーン７３の間の動画を撮影し、ステップＳ２０４でカメラ５２が撮影したシーン７２からシーン７３の間の動画のデータを画像記憶部３９に格納すると共に、画像データを車両１０にリアルタイムで送信する。車両１０のナビゲーション装置２１は、ステップＳ２０５において、シーン７２からシーン７３の間の動画をディスプレイ２７にリアルタイムで表示する。
以下、同様に、飛行制御部３７がステップＳ２０８でＮＯと判断した場合には、飛行制御部３７とカメラ制御部３８と車両１０のナビゲーション装置２１は、図１３のステップＳ２０２～Ｓ２０７を繰り返して実行し、飛行経路算出部３４からシーン情報データベース３６の番号００３のシーン７３から番号００４のシーン７４までの間の動画を撮影するための飛行経路、番号００４のシーン７４から番号００５のシーン７５までの間の動画を撮影するための飛行経路のデータを受信し、それぞれのシーンの間の動画を撮影して車両１０のディスプレイ２７にリアルタイムで表示する。
そして、飛行制御部３７は、図１３のステップＳ２０８でＹＥＳと判断した場合には、動画の撮影を終了する。
以上、説明したように、実施形態のドローンシステム１００は、車両１０の側方や前方等を飛行しながら、動画の各シーンに合わせて走行中の車両１０を様々な方向から撮影することができる。
また、実施形態のドローンシステム１００は、車両１０から速度情報と、アクセル情報と、ブレーキ情報と、ステアリング情報を取得し、これにより未来の車両１０の走行位置 を予測するので、素早く車両１０の未来の走行位置を算出でき、車両１０の走行速度が速い場合でも、ドローン３０が確実に動画の各シーンを撮影する際の車両１０に対する各相対位置ｄ１～ｄ５あるいは絶対位置ａｄ１～ａｄ５を通過するように飛行することができる。
また、実施形態のドローンシステム１００では、ドローン３０は、撮影した動画の画像データをリアルタイムで発信し、車両１０は、画像データを受信して、車内のディスプレイ２７に動画を表示するので、車両１０の中の搭乗者は自分が鳥になって走行中の自分の車両１０を見ているように感じることができる。
また、以上の説明では、ドローン３０の各機能ブロックの動作として説明したが、先に説明したように各機能ブロックは、汎用コンピュータ８０の情報処理を行うプロセッサであるＣＰＵ８１がプログラムを実行することにより実現される。従って、先に説明したドローン３０の動作は、ドローン３０の制御装置３１を構成するプロセッサの動作でもある。
ドローン３０を動作させる制御装置３１のプロセッサの動作は次のようなものである。すなわち、プロセッサは、車両１０から車両情報を受信し、受信した車両情報に基づいて車両１０の未来の走行位置を予測し、予測した車両１０の未来の走行位置とシーン情報データベース３６とに基づいて、シーンごとに車両１０に対する各相対位置を通過するような飛行経路を算出し、算出した飛行経路に基づいてドローン３０を飛行させてカメラ５２で車両１０を撮影する。また、飛行経路算出部３４が飛行経路を算出する動作は、次のようなプロセッサの動作である。すなわち、プロセッサは、予測した車両１０の未来の走行位置とシーン情報データベース３６に格納された車両１０に対する各相対位置とに基づいて、シーン情報データベース３６に格納された各シーンを撮影するための各相対位置ｄ１～ｄ５の地表に対する各絶対位置ａｄ１～ａｄ５をそれぞれ算出し、シーン情報データベース３６に格納されたシーンごとに各絶対位置ａｄ１～ａｄ５を通過するような飛行航路を算出する。
以上、説明した実施形態のドローンシステム１００では、カメラ制御部３８は、シーン情報データベース３６に格納された車両１０に対する相対位置ｄ１～ｄ５の情報に基づいてカメラ５２の方向を車両１０の方向に向けて調整しながら走行中の車両１０の動画を撮影することとして説明した。この場合には、シーン情報データベース３６は、シーンのデータを格納していなくてもよい。シーン情報データベース３６のシーンのデータが格納されている場合には、以下のように車両１０を撮影してもよい。
シーン情報データベース３６は、図６～図１０を参照して説明した撮影する動画のシーン７１～７５のデータと、車両１０に対する相対位置ｄ１～ｄ５の情報と、シーンの継続時間とを関連付けたものであり、カメラ制御部３８は、カメラ５２で撮像した画像とシーン情報データベース３６に格納した各シーン７１～７５の画像とに基づいて、カメラ５２の方向と画角とを調整しながら動画を撮影してもよい。この場合、例えば、各シーン７１～７５の画像とカメラ５２が撮影した画像との大小を比較してカメラ５２の画角を調整するようにしてもよい。また、画像中の車両１０の位置を比較してカメラ５２の方向を調整するようにしてもよい。
＜他の実施形態のドローンシステム＞
次に、図１５～図１７を参照しながら他の実施形態のドローンシステム２００について説明する。先に図１～図１４を参照して説明したドローンシステム１００と同様の部位には同様の符号を付して説明は省略する。
図１５に示すように、ドローンシステム２００は、車両１０と、ドローン１３０と、ドローン運用センタ１９０とで構成されている。車両１０の構成は、ドローンシステム１００の車両１０の構成と同一なので、説明は省略する。
図１６、１７に示すように、ドローンシステム２００は、ドローン運用センタ１９０のサーバ１９１がシーン情報データベース３６を収容する記憶部１９５を備え、サーバ１９１の飛行経路算出部１９４が車両１０から取得した車両情報とシーン情報データベース３６とに基づいて飛行経路を算出してドローン１３０に送信し、ドローン１３０はサーバ１９１から送信された飛行経路に従って飛行しながら走行する車両１０の動画を撮影するものである。
図１６に示すように、ドローン１３０の制御装置１３１は、図３に示すドローン３０の制御装置３１から車両情報取得部３２と、走行位置予測部３３と、飛行経路算出部３４と、記憶部３５とを削除したものである。ドローン１３０の制御装置１３１は、飛行制御部１３７、カメラ制御部１３８、画像記憶部１３９、航法部１４０の４つの機能ブロックを備えている。飛行制御部１３７は加速度センサ１４６、角速度センサ１４７、速度センサ１４８、高度センサ１４９、方位センサ１５０からの各測定データと飛行経路とドローン１３０の現在飛行位置とに基づいて、ドローン３０の飛行制御部３７の動作と同様の動作を行うが、飛行経路データが通信装置１４５から入力される点が異なっている。また、カメラ制御部１３８の動作もドローン３０のカメラ制御部３８の動作と同様であるが、シーン情報セット３６ａが通信装置４５から入力される点が異なっている。また、航法部１４０は、ＧＰＳユニット１４１、位置特定ユニット１４２、位置推定ユニット１４３を備え、ドローン３０の航法部４０と同様の動作を行うが、現在の飛行位置を通信装置４５に出力する点で異なっている。
図１７に示すように、ドローン運用センタ１９０のサーバ１９１は、車両情報取得部１９２と、走行位置予測部１９３と、飛行経路算出部１９４と、記憶部１９５と、通信装置１９６の４つの機能ブロックを備えている。車両情報取得部１９２と、走行位置予測部１９３と、飛行経路算出部１９４との動作は、図３に示すドローン３０の車両情報取得部３２、走行位置予測部３３、飛行経路算出部３４と同様の動作を行う。ただし、飛行経路算出部１９４はドローン１３０の現在の飛行位置のデータが通信装置１９６から入力され、算出した飛行経路のデータを通信装置１９６に出力する点が異なっている。また、記憶部１９５は、ドローン３０の記憶部３５と同様、シーン情報データベース３６を格納するが、シーン情報セット３６ａを通信装置１９６に出力する点で異なっている。
ドローン１３０の制御装置１３１とサーバ１９１とは、図３に示すドローン３０の制御装置３１と同様、図４を参照して説明したプロセッサであるＣＰＵ８１を含む汎用コンピュータ８０により実現することができる。
＜他の実施形態のドローンシステムの撮影動作＞
ドローンシステム２００では、図１２に示すステップＳ１０２～Ｓ１０６の動作はドローン運用センタ１９０のサーバ１９１の飛行経路算出部１９４、車両情報取得部１９２、走行位置予測部１９３の各機能ブロックが実行し、サーバ１９１は図１２のステップＳ１０６で飛行経路算出部１９４が算出した飛行経路をドローン１３０に送信する。ドローン１３０は、サーバ１９１から受信した飛行経路に基づいて飛行制御部１３７によってドローン１３０を飛行させ、図１２のステップＳ１０７でカメラ制御部１３８とカメラ１５２によって車両１０の動画を撮影し、ステップＳ１０９で画像記憶部１３９に記憶すると共に画像データを車両１０に送信する。車両１０のナビゲーション装置２１は、図１２のステップＳ１０９でドローン１３０から受信した画像データをディスプレイ２７に動画として表示する。
以上の説明では、サーバ１９１、ドローン１３０の動作は、サーバ１９１の各機能ブロックとドローン１３０の各機能ブロックの動作として説明したが、先に説明したように各機能ブロックは、汎用コンピュータ８０の情報処理を行うプロセッサであるＣＰＵ８１がプログラムを実行することにより実現される。従って、先に説明したドローンシステム２００のサーバ１９１の動作はサーバ１９１を構成するプロセッサの動作である。
サーバ１９１を構成するプロセッサの動作は次のようなものである。サーバ１９１のプロセッサは、車両１０から車両情報を受信し、受信した車両情報に基づいて車両１０の未来の走行位置を予測し、ドローン１３０から受信したドローン１３０の現在の飛行位置と、予測した車両１０の未来の走行位置と、シーン情報データベース３６と、に基づいて、シーンごとに車両１０に対する各相対位置を通過するような飛行経路を算出してドローン１３０に発信する。
以上説明したドローンシステム２００は、飛行経路の算出をドローン運用センタ１９０のサーバ１９１が行うので、飛行航路の算出を高速で行い、動画の各シーンに合わせて走行中の車両１０を様々な方向から撮影することができる。また、ドローン１３０に搭載する電子機器を小さくできるので、ドローン１３０の重量を低減してコンパクトなシステムとすることができる。
以上説明したドローンシステム１００，２００では、ドローン３０は、モータによって複数のプロペラを駆動して自律飛行する飛行体であると説明したが、例えば、図１８に示すように、中央に上下方向に延びる棒状の本体３０１と、プロペラと駆動モータとを含むプロペラ組立体３０２と、４つのプロペラ組立体３０２がアーム３０４を介して取付けられた円環状のアクチュエータ３０３とで構成されたドローン３００を用いてもよい。アクチュエータ３０３は、本体３０１の外側に本体３０１に対して傾斜可能に取付けられており、本体３０１に対するプロペラ組立体３０２の傾斜角度を調整する。また、本体３０１の下端にはカメラ５２が取付けられている。
ドローン３００は、本体３０１を垂直方向に保持し、アクチュエータ３０３で本体３０１に対するプロペラ組立体３０２の傾斜角度を調整することによって、前後左右に飛行する。このため、飛行中に本体３０１を傾斜させることなく飛行でき、カメラ５２の位置、方向を安定させることができる。これにより、よりスムースで安定した動画を撮影することができる。
１０ 車両、１１ 車両制御装置、１２，４８，１４８ 速度センサ、１３ アクセル開度センサ、１４ ブレーキ踏込量センサ、１５ ステアリング角度センサ、１６，４５，１４５，１９６ 通信装置、２１ ナビゲーション装置、２２ ＧＰＳユニット、２３ 位置特定ユニット、２４ 位置推定ユニット、２５ 地図データ記憶部、２６ 経路案内ユニット、２７ ディスプレイ、２８，４６，１４６ 加速度センサ、２９，４７，１４７ 角速度センサ、３０，１３０，３００ ドローン、３１，１３１ 制御装置、３２，１９２ 車両情報取得部、３３，１９３ 走行位置予測部、３４，１９４ 飛行経路算出部、３５，１９５ 記憶部、３６ シーン情報データベース、３６ａ シーン情報セット、３７，１３７ 飛行制御部、３８，１３８ カメラ制御部、３９，１３９ 画像記憶部、４０，１４０ 航法部、４１，１４１ ＧＰＳユニット、４２，１４２ 位置特定ユニット、４３，１４３ 位置推定ユニット，４９，１４９ 高度センサ、５０，１５０ 方位センサ、５１，１５１ プロペラ駆動部、５２，１５２ カメラ、６０ 通信回線、７０ 道路、７１～７５ シーン、８０ 汎用コンピュータ、８１ ＣＰＵ、８２ ＲＯＭ、８３ ＲＡＭ、８４ ＨＤＤ、８５ データバス、８６ ネットワークコントローラ、８７ 入出力コントローラ、８９ 外部装置、１００，２００ ドローンシステム、１９０ ドローン運用センタ、１９１ サーバ、３０１ 本体、３０２ プロペラ組立体、３０３ アクチュエータ、３０４ アーム。

Claims (8)

  1. 車両と、前記車両を撮影するドローンと、を含むドローンシステムであって、
    前記車両は、前記ドローンと通信回線で接続され、前記車両の走行情報と、前記車両のナビ情報とを含む車両情報を前記ドローンに発信し、
    前記ドローンは、自律飛行が可能であり、撮影用のカメラと、飛行制御と前記カメラの制御とを行う制御装置と、を含み、
    前記制御装置は、
    動画のシーンを撮影する際の前記車両に対する相対位置と、前記シーンの継続時間とを関連付けたシーン情報セットを、撮影する動画の時系列に沿って順番に複数並べて格納したシーン情報データベースを収容する記憶部と、
    前記車両から前記車両情報を受信する車両情報取得部と、
    受信した前記車両情報に基づいて前記車両の未来の走行位置を予測する走行位置予測部と、
    前記走行位置予測部で予測した前記車両の未来の走行位置と前記シーン情報データベースとに基づいて、前記シーンごとに前記車両に対する各前記相対位置を通過するような飛行経路を算出する飛行経路算出部と、を備えること、
    を特徴とするドローンシステム。
  2. 請求項１に記載のドローンシステムであって
    前記制御装置は、前記シーン情報データベースに格納された前記車両に対する前記相対位置に基づいて前記カメラの方向を調整しながら動画を撮影するカメラ制御部を備えること、
    を特徴とするドローンシステム。
  3. 請求項２に記載のドローンシステムであって、
    前記シーン情報データベースは、撮影する動画のシーンと、前記シーンを撮影する際の前記車両に対する相対位置と、前記シーンの継続時間とを関連付けたシーン情報セットを、撮影する動画の時系列に沿って順番に複数並べて格納したものであり、
    前記カメラ制御部は、前記カメラで撮像した画像と前記シーンとに基づいて、前記カメラの方向と画角とを調整しながら動画を撮影すること、
    を特徴とするドローンシステム。
  4. 請求項１から３のいずれか１項に記載のドローンシステムであって、
    前記制御装置の前記飛行経路算出部は、
    前記走行位置予測部で予測した前記車両の未来の走行位置と前記シーン情報データベースに格納された前記車両に対する各前記相対位置とに基づいて、前記シーン情報データベースに格納された各前記シーンを撮影するための各前記相対位置の地表に対する各絶対位置をそれぞれ算出し、
    前記シーン情報データベースに格納された前記シーンごとに各前記絶対位置を通過するような飛行航路を算出すること、
    を特徴とするドローンシステム。
  5. 請求項１から４のいずれか１項に記載のドローンシステムであって、
    前記車両の発信する走行情報は、速度情報と、アクセル情報と、ブレーキ情報と、ステアリング情報と、を含むこと、
    を特徴とするドローンシステム。
  6. 請求項１から５のいずれか１項に記載のドローンシステムであって、
    前記ドローンは、撮影した動画の画像データをリアルタイムで発信し、
    前記車両は、前記画像データを受信して、車内のディスプレイに動画を表示すること、
    を特徴とするドローンシステム。
  7. ドローンで車両を撮影する車両撮影方法であって、
    前記車両は、前記ドローンと通信回線で接続され、前記車両の走行情報と、前記車両のナビ情報とを含む車両情報を前記ドローンに発信し、
    前記ドローンは、自律飛行が可能であり、撮影用のカメラと、飛行制御と前記カメラの制御とを行う制御装置と、を含み、
    前記制御装置は、
    情報処理を行うプロセッサと、
    動画のシーンを撮影する際の前記車両に対する相対位置と、前記シーンの継続時間とを関連付けたシーン情報セットを、撮影する動画の時系列に沿って順番に複数並べて格納したシーン情報データベースを収容する記憶部と、を含み、
    前記プロセッサが、
    前記車両から前記車両情報を受信し、
    受信した前記車両情報に基づいて前記車両の未来の走行位置を予測し、
    予測した前記車両の未来の走行位置と前記シーン情報データベースとに基づいて、前記シーンごとに前記車両に対する各前記相対位置を通過するような飛行経路を算出し、
    前記算出した前記飛行経路に基づいて前記ドローンを飛行させて前記カメラで前記車両を撮影すること、
    を特徴とする車両撮影方法。
  8. 車両と、前記車両を撮影するドローンと、前記ドローンの運用を行うドローン運用センタと、を含むドローンシステムであって、
    前記車両は、前記ドローン運用センタと通信回線で接続され、前記車両の走行情報と、前記車両のナビ情報とを含む車両情報を前記ドローン運用センタに発信し、
    前記ドローンは、自律飛行が可能であり、撮影用のカメラと、飛行制御と前記カメラの制御とを行う制御装置と、を含み、前記ドローン運用センタと通信回線で接続され、現在の飛行位置を前記ドローン運用センタに発信し、
    前記ドローン運用センタはサーバを含み、
    前記サーバは、
    動画のシーンを撮影する際の前記車両に対する相対位置と、前記シーンの継続時間とを関連付けたシーン情報セットを、撮影する動画の時系列に沿って順番に複数並べて格納したシーン情報データベースを収容する記憶部と、
    前記車両から前記車両情報を受信する車両情報取得部と、
    受信した前記車両情報に基づいて前記車両の未来の走行位置を予測する走行位置予測部と、
    前記ドローンから受信した前記ドローンの現在の飛行位置と、前記走行位置予測部で予測した前記車両の未来の走行位置と、前記シーン情報データベースと、に基づいて、前記シーンごとに前記車両に対する各前記相対位置を通過するような飛行経路を算出して前記ドローンに発信する飛行経路算出部と、を備え、
    前記ドローンは、前記サーバから受信した飛行経路に従って自律飛行を行いながら前記カメラで前記車両を撮影すること、
    を特徴とするドローンシステム。
JP2020004196A 2020-01-15 2020-01-15 ドローンシステム及びドローンによる車両撮影方法 Active JP7247904B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020004196A JP7247904B2 (ja) 2020-01-15 2020-01-15 ドローンシステム及びドローンによる車両撮影方法
US17/145,753 US11490056B2 (en) 2020-01-15 2021-01-11 Drone system and method of capturing image of vehicle by drone
CN202110030204.XA CN113126641B (zh) 2020-01-15 2021-01-11 无人机系统以及由无人机实施的车辆拍摄方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020004196A JP7247904B2 (ja) 2020-01-15 2020-01-15 ドローンシステム及びドローンによる車両撮影方法

Publications (2)

Publication Number Publication Date
JP2021110692A JP2021110692A (ja) 2021-08-02
JP7247904B2 true JP7247904B2 (ja) 2023-03-29

Family

ID=76763729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004196A Active JP7247904B2 (ja) 2020-01-15 2020-01-15 ドローンシステム及びドローンによる車両撮影方法

Country Status (3)

Country Link
US (1) US11490056B2 (ja)
JP (1) JP7247904B2 (ja)
CN (1) CN113126641B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017221940A1 (de) * 2017-12-05 2019-06-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Fahrerassistenzsystem zum Steuern eines Kraftfahrzeugs und Kraftfahrzeug
KR20220140944A (ko) * 2021-04-12 2022-10-19 현대자동차주식회사 도심 항공 모빌리티를 위한 비행체의 제어 방법
CN114898236B (zh) * 2022-07-14 2022-10-14 深圳联和智慧科技有限公司 一种基于无人机的渣土车监测方法、系统及云平台

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019176418A (ja) 2018-03-29 2019-10-10 井関農機株式会社 作業車両の管理システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270404A (ja) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp 撮影制御装置、撮影制御方法および撮影制御プログラム
EP3246776B1 (en) * 2014-05-30 2020-11-18 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
US9798324B2 (en) * 2014-07-18 2017-10-24 Helico Aerospace Industries Sia Autonomous vehicle operation
JP2016153337A (ja) 2015-02-20 2016-08-25 矢継　正信 ドローンを使った配送システム
CN204697171U (zh) * 2015-05-27 2015-10-07 杨珊珊 一种智能多模式飞行拍摄设备
JP2017011469A (ja) * 2015-06-22 2017-01-12 カシオ計算機株式会社 撮影装置、撮影方法、およびプログラム
CN105120146B (zh) * 2015-08-05 2018-06-26 普宙飞行器科技（深圳）有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法
CN108068697A (zh) * 2016-11-11 2018-05-25 法乐第(北京)网络科技有限公司 基于汽车的摄像系统、方法及汽车
US10562398B2 (en) 2016-11-22 2020-02-18 Walmart Apollo, Llc System and method for autonomous battery replacement
CN110119154A (zh) * 2016-11-30 2019-08-13 深圳市大疆创新科技有限公司 飞行器的控制方法、装置和设备以及飞行器
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US10133281B1 (en) * 2017-05-05 2018-11-20 Pinnacle Vista, LLC Leading drone system
CN110770811A (zh) 2017-06-16 2020-02-07 本田技研工业株式会社 无人机协同装置、车辆管理装置、无人机协同方法及程序
CN107343153A (zh) * 2017-08-31 2017-11-10 王修晖 一种无人设备的拍摄方法、装置及无人机
JP7021900B2 (ja) * 2017-10-24 2022-02-17 Ｍ－Ｓｏｌｕｔｉｏｎｓ株式会社 画像提供方法
US20200385116A1 (en) * 2019-06-06 2020-12-10 Motorola Solutions, Inc. System and Method of Operating a Vehicular Computing Device to Selectively Deploy a Tethered Vehicular Drone for Capturing Video
CN110147122A (zh) * 2019-06-14 2019-08-20 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机
US11557211B2 (en) * 2020-08-06 2023-01-17 Capital One Services, Llc System and method for remote viewing of vehicles using drones

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019176418A (ja) 2018-03-29 2019-10-10 井関農機株式会社 作業車両の管理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
jr0dney，Pursuit Systems Demo，YOUTOUBE, LLC，2008年06月19日，https://www.youtube.com/watch?v=IWwKK9zQnaQ

Also Published As

Publication number Publication date
US20210218935A1 (en) 2021-07-15
US11490056B2 (en) 2022-11-01
JP2021110692A (ja) 2021-08-02
CN113126641A (zh) 2021-07-16
CN113126641B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
JP7247904B2 (ja) ドローンシステム及びドローンによる車両撮影方法
US10670407B2 (en) Systems and methods for auto-return
US10816967B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
CN108323190B (zh) 一种避障方法、装置和无人机
EP3123260B1 (en) Selective processing of sensor data
US20180024557A1 (en) Autonomous system for taking moving images, comprising a drone and a ground station, and associated method
JP2010202178A5 (ja)
CN110300706B (zh) 飞行器-地面车辆协调
US20200304719A1 (en) Control device, system, control method, and program
CN113795805B (zh) 无人机的飞行控制方法和无人机
CN111886854B (zh) 曝光控制装置、曝光控制方法、程序、成像装置和移动体
CN116830057A (zh) 无人机(uav)集群控制
CN111897356A (zh) 一种避障方法、装置及无人飞行器
EP3380892B1 (en) Aerial photography camera system
WO2017203646A1 (ja) 撮像制御装置、影位置特定装置、撮像システム、移動体、撮像制御方法、影位置特定方法、及びプログラム
WO2021014752A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP2017010445A (ja) 運転支援制御装置
CN113491100A (zh) 无人机系统及其控制方法和装置
CN110799922A (zh) 拍摄控制方法和无人机
WO2020170534A1 (ja) 飛行体、情報処理方法及びプログラム
US10969786B1 (en) Determining and using relative motion of sensor modules
CN110312978B (zh) 飞行控制方法、装置和机器可读存储介质
US20210218879A1 (en) Control device, imaging apparatus, mobile object, control method and program
KR102571330B1 (ko) 피사체 추적 촬영제어장치, 드론 및 그것의 동작 방법
KR20180025655A (ko) 무인 비행체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R151 Written notification of patent or utility model registration

Ref document number: 7247904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151