JP6956132B2 - 撮影システム、サーバ、制御方法およびプログラム - Google Patents

撮影システム、サーバ、制御方法およびプログラム Download PDF

Info

Publication number
JP6956132B2
JP6956132B2 JP2019068002A JP2019068002A JP6956132B2 JP 6956132 B2 JP6956132 B2 JP 6956132B2 JP 2019068002 A JP2019068002 A JP 2019068002A JP 2019068002 A JP2019068002 A JP 2019068002A JP 6956132 B2 JP6956132 B2 JP 6956132B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
shooting
photographing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019068002A
Other languages
English (en)
Other versions
JP2020166691A (ja
Inventor
真冬 小関
真冬 小関
秀和 新谷
秀和 新谷
敬明 石川
敬明 石川
直秀 相沢
直秀 相沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019068002A priority Critical patent/JP6956132B2/ja
Priority to CN202010197870.8A priority patent/CN111746789B/zh
Publication of JP2020166691A publication Critical patent/JP2020166691A/ja
Application granted granted Critical
Publication of JP6956132B2 publication Critical patent/JP6956132B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、車両の走行シーンを撮影する撮影システム、サーバ、制御方法およびプログラムに関する。
近年では、車両間の連携のみならず、車両とドローンとを連携させることにより、車両の運転者に対して有用な機能を提供することが行われている。特許文献1には、遠隔地にドローンを移動させて、渋滞状況や混雑状況等を撮影させ、その撮影した映像データを車両が取得することが記載されている。
特開2018−77652号公報
しかしながら、運転者が自車両が走行している動画や、遠距離からの撮影を容易に実行することは困難である。特許文献1では、自車両の走行シーンの撮影を容易に実行することについては言及されていない。
本発明は、自車両の走行シーンの撮影を容易に実行する撮影システム、サーバ、制御方法およびプログラムを提供することを目的とする。
本発明に係る撮影システムは、サーバと、前記サーバと通信可能な撮影機と、車両もしくは前記車両と共に移動可能な移動通信機器と、を含む撮影システムであって、前記サーバは、前記車両もしくは前記移動通信機器から前記車両の撮影の要求、および該撮影の開始地点および終了地点として設定される経路情報を受信する受信手段と、前記受信手段により受信された前記経路情報、および道路網を含む地図情報に基づいて、前記車両に追従して前記車両を撮影するための追従経路を生成する生成手段と、道路に関する属性情報と撮影の対象となるエリアの環境情報とに基づいて、前記生成手段により生成された追従経路を補正する補正手段と、前記車両もしくは前記移動通信機器が前記開始地点に接近した場合、前記補正手段により補正された追従経路に沿って、前記車両に対して所定の条件で位置して前記車両に追従するよう前記撮影機を制御する移動制御手段と、前記移動制御手段による前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御手段と、を備えることを特徴とする。
本発明に係るサーバは、車両もしくは前記車両と共に移動可能な移動通信機器から、前記車両の撮影の要求、および該撮影の開始地点および終了地点として設定される経路情報を受信する受信手段と、前記受信手段により受信された前記経路情報、および道路網を含む地図情報に基づいて、前記車両に追従して前記車両を撮影するための追従経路を生成する生成手段と、道路に関する属性情報と撮影の対象となるエリアの環境情報とに基づいて、前記生成手段により生成された追従経路を補正する補正手段と、前記車両もしくは前記移動通信機器が前記開始地点に接近した場合、前記補正手段により補正された追従経路に沿って、前記車両に対して所定の条件で位置して前記車両に追従するよう撮影機を制御する移動制御手段と、前記移動制御手段による前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御手段と、を備えることを特徴とする。
本発明に係る制御方法は、サーバと、前記サーバと通信可能な撮影機と、車両もしくは前記車両と共に移動可能な移動通信機器と、を含む撮影システムにおいて実行される制御方法であって、前記サーバにおいて、前記車両もしくは前記移動通信機器から前記車両の撮影の要求、および該撮影の開始地点および終了地点として設定される経路情報を受信する受信工程と、前記受信工程において受信された前記経路情報、および道路網を含む地図情報に基づいて、前記車両に追従して前記車両を撮影するための追従経路を生成する生成工程と、道路に関する属性情報と撮影の対象となるエリアの環境情報とに基づいて、前記生成工程において生成された追従経路を補正する補正工程と、前記車両もしくは前記移動通信機器が前記開始地点に接近した場合、前記補正工程において補正された追従経路に沿って、前記車両に対して所定の条件で位置して前記車両に追従するよう前記撮影機を制御する移動制御工程と、前記移動制御工程における前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御工程と、を有することを特徴とする。
本発明に係る制御方法は、サーバにおいて実行される制御方法であって、車両もしくは前記車両と共に移動可能な移動通信機器から、前記車両の撮影の要求、および該撮影の開始地点および終了地点として設定される経路情報を受信する受信工程と、前記受信工程において受信された前記経路情報、および道路網を含む地図情報に基づいて、前記車両に追従して前記車両を撮影するための追従経路を生成する生成工程と、道路に関する属性情報と撮影の対象となるエリアの環境情報とに基づいて、前記生成工程において生成された追従経路を補正する補正工程と、前記車両もしくは前記移動通信機器が前記開始地点に接近した場合、前記補正工程において補正された追従経路に沿って、前記車両に対して所定の条件で位置して前記車両に追従するよう撮影機を制御する移動制御工程と、前記移動制御工程における前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御工程と、を有することを特徴とする。
本発明に係るプログラムは、車両もしくは前記車両と共に移動可能な移動通信機器から、前記車両の撮影の要求、および該撮影の開始地点および終了地点として設定される経路情報を受信する受信手段、前記受信手段により受信された前記経路情報、および道路網を含む地図情報に基づいて、前記車両に追従して前記車両を撮影するための追従経路を生成する生成手段、道路に関する属性情報と撮影の対象となるエリアの環境情報とに基づいて、前記生成手段により生成された追従経路を補正する補正手段、前記車両もしくは前記移動通信機器が前記開始地点に接近した場合、前記補正手段により補正された追従経路上を前記車両に追従するよう撮影機を制御する移動制御手段、前記移動制御手段による前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御手段、としてコンピュータを機能させる。
本発明によれば、自車両の走行シーンの撮影を容易に実行することができる。
撮影システムの構成を示す図である。 車両用制御装置の構成を示す図である。 制御ユニットの機能ブロックを示す図である。 サーバの構成を示す図である。 撮影機の構成を示す図である。 本実施形態の動作を説明するための図である。 撮影機の挙動について説明するための図である。 撮影システムの全体シーケンスを示す図である。 ユーザインタフェース画面を示す図である。 追従・撮影制御を開始するまでの処理を示すフローチャートである。 追従・撮影制御の処理を示すフローチャートである。 追従・撮影制御の処理を示すフローチャートである。 回避制御の処理を示すフローチャートである。 迂回制御の処理を示すフローチャートである。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
図1は、本実施形態における撮影システム100の構成を示す図である。撮影システム100は、車両102の運転者に対して、車両102の走行シーンを撮影し、その撮影データを提供する撮影サービスを実現するシステムである。図1に示すように、撮影システム100は、サーバ101と、車両102と、撮影機群104とを含む。サーバ101は、上記のサービスを提供するためのサーバである。車両102は、撮影サービスによる撮影対象となる車両である。また、車両102は、その形態について限定されるものではなく、サーバ101との通信が可能であれば、四輪車両でも良いし、鞍乗り型の二輪車両でも良い。本実施形態では、四輪車両として説明する。また、本実施形態では、車両102の車内110にいる、若しくは、鞍乗り型の二輪車両であれば該二輪車両の搭乗者112(運転者含む)は、スマートフォンなどの移動通信機器111を保有している場合がある。その場合、移動通信機器111は、車両102の移動と共に移動することとなる。撮影機群104は、複数の撮影機103を含んでおり、各撮影機103は、車両102と例えば並走することにより、車両102の走行シーンを撮影可能である。本実施形態では、例えば、撮影機103は、撮影用のカメラを搭載したドローンである。なお、撮影機103は、無人で且つ車両102を追従しながら撮影可能であれば、ドローンのような飛行物に限られず、例えば、車両102に追従する無人走行車両であっても良い。
基地局106は、例えばサーバ101が撮影サービスを提供可能な領域内に設けられた基地局であり、車両102もしくは移動通信機器111と相互に通信可能である。また、サーバ101は、ネットワーク107を介して基地局106と相互に通信可能に構成されている。そのような構成により、例えば、車両102は、位置情報等の車両情報をサーバ101に送信可能であり、サーバ101は、車両102に対して車内機器(例えば、カメラ)を制御するための指示を送信可能である。また、サーバ101及び車両102は、図1に示すネットワーク107以外のネットワークにも接続可能であり、例えば、インターネットに接続することができる。本実施形態では、車両102が位置情報等の車両情報をサーバ101に送信する構成を説明するが、移動通信機器111が位置情報等の車両情報をサーバ101に送信する構成であっても良い。その場合、車両102は、必ずしも基地局106及びサーバ101と通信可能に構成されていなくても良い。
通信機105は、例えば道路沿いに設けられた路側機であり、例えばDSRC(Dedicated Short Range Communication)により、車両102との路車間通信が可能である。通信機は、車両102の車両情報をサーバ101に送信するために用いられる場合や、路面の状態情報(凍結具合など)を、サーバ101に送信するために用いられる場合がある。また、その場合、車両101は、基地局106及びサーバ101と必ずしも通信可能に構成されていなくても良い。
制御局108は、サーバ101と相互に通信可能に構成され、撮影機103を制御する送信機として機能する。また、複数の撮影機103それぞれは識別情報が割り当てられており、サーバ101は、複数の撮影機103を各個別に制御可能である。
図1では、撮影機103が複数示されているが、車両102の走行経路において1つの撮影機103が車両102を撮影する場合、走行経路内の一定区間ごとに1つの撮影機103が車両102を撮影し、走行経路全体としては、複数の撮影機103が車両102を撮影する場合、がある。また、図1では、車両102は、1台のみ示されているが、複数含まれていても良く、例えば、複数の車両102それぞれについて、別個の撮影機103が割り当てられる場合がある。
図1において、エリア109は、サーバ101により撮影サービスが提供可能なエリアを示している。本実施形態では、撮影機103による車両の走行シーンの撮影は、そのような撮影が許可されている所定領域(サービス提供エリア)で行われる。図1に示すように、サーバ101は、サービス提供エリア外に設けられていても良い。また、図1では、サービス提供エリアは、1つのみ示されているが、サーバ101が複数のサービス提供エリアを管理するようにしても良い。
図2は、本発明の一実施形態に係る車両用制御装置(走行制御装置)のブロック図であり、車両1を制御する。図2の車両1は、図1の車両102に対応する。図2において、車両1はその概略が平面図と側面図とで示されている。車両1は一例としてセダンタイプの四輪の乗用車である。
図2の走行制御装置は、制御ユニット2を含む。制御ユニット2は車内ネットワークにより通信可能に接続された複数のECU20〜29を含む。各ECUは、CPUに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ECUはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。
以下、各ECU20〜29が担当する機能等について説明する。なお、ECUの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合することが可能である。
ECU20は、車両1の自動運転に関わる制御を実行する。自動運転においては、車両1の操舵と、加減速の少なくともいずれか一方を自動制御する。
ECU21は、電動パワーステアリング装置3を制御する。電動パワーステアリング装置3は、ステアリングホイール31に対する運転者の運転操作(操舵操作)に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置3は、操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両1の運転状態が自動運転の場合、ECU21は、ECU20からの指示に対応して電動パワーステアリング装置3を自動制御し、車両1の進行方向を制御する。
ECU22および23は、車両の周囲状況を検知する検知ユニット41〜43の制御および検知結果の情報処理を行う。検知ユニット41は、車両1の前方を撮影するカメラであり(以下、カメラ41と表記する場合がある。)、本実施形態の場合、車両1のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ41が撮影した画像の解析により、例えば、物標の輪郭抽出や、道路上の車線の区画線(白線等)を抽出可能である。
検知ユニット42は、Light Detection and Ranging(LIDAR)であり、車両1の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、検知ユニット42は5つ設けられており、車両1の前部の各隅部に1つずつ、後部中央に1つ、後部各側方に1つずつ設けられている。検知ユニット43は、ミリ波レーダであり(以下、レーダ43と表記する場合がある)、車両1の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、レーダ43は5つ設けられており、車両1の前部中央に1つ、前部各隅部に1つずつ、後部各隅部に一つずつ設けられている。
ECU22は、一方のカメラ41と、各検知ユニット42の制御および検知結果の情報処理を行う。ECU23は、他方のカメラ41と、各レーダ43の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラやレーダ等、種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。
ECU24は、ジャイロセンサ5、GPSセンサ24b、通信装置24cの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ5は、車両1の回転運動を検知する。ジャイロセンサ5の検知結果や、車輪速等により車両1の進路を判定することができる。GPSセンサ24bは、車両1の現在位置を検知する。通信装置24cは、地図情報や交通情報、気象情報を提供するサーバと無線通信を行い、これらの情報を取得する。ECU24は、記憶デバイスに構築された地図情報のデータベース24aにアクセス可能であり、ECU24は、現在地から目的地へのルート探索等を行う。なお、データベース24aには、上記の交通情報や気象情報などのデータベースが構築されても良い。
ECU25は、車車間通信用の通信装置25aを備える。通信装置25aは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。通信装置25aは、各種の通信機能を有し、例えば、専用狭域通信(DSRC:Dedicated Short Range Communication)機能やセルラー通信機能を有する。通信装置25aは、送受信アンテナを含むTCU(Telematics Communication Unit)として構成されても良い。
ECU26は、パワープラント6を制御する。パワープラント6は、車両1の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ECU26は、例えば、アクセルペダル7Aに設けた操作検知センサ7aにより検知した運転者の運転操作(アクセル操作あるいは加速操作)に対応してエンジンの出力を制御したり、車速センサ7cが検知した車速等の情報に基づいて変速機の変速段を切り替える。車両1の運転状態が自動運転の場合、ECU26は、ECU20からの指示に対応してパワープラント6を自動制御し、車両1の加減速を制御する。
ECU27は、方向指示器8(ウィンカ)を含む灯火器(ヘッドライト、テールライト等)を制御する。図2の例の場合、方向指示器8は、車両1の前部、ドアミラーおよび後部に設けられている。
ECU28は、入出力装置9の制御を行う。入出力装置9は、運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置91は、運転者に対して音声により情報を報知する。表示装置92は、運転者に対して画像の表示により情報を報知する。表示装置92は例えば運転席正面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル(例えば緊急度)に応じて、組み合わせを異ならせたり、報知態様を異ならせてもよい。また、表示装置92は、ナビゲーション装置を含んでも良い。
入力装置93は、運転者が操作可能な位置に配置され、車両1に対する指示を行うスイッチ群であるが、マイク等の音声入力装置も含まれてもよい。
ECU29は、ブレーキ装置10やパーキングブレーキ(不図示)を制御する。ブレーキ装置10は、例えばディスクブレーキ装置であり、車両1の各車輪に設けられ、車輪の回転に抵抗を加えることで車両1を減速あるいは停止させる。ECU29は、例えば、ブレーキペダル7Bに設けた操作検知センサ7bにより検知した運転者の運転操作(ブレーキ操作)に対応してブレーキ装置10の作動を制御する。車両1の運転状態が自動運転の場合、ECU29は、ECU20からの指示に対応してブレーキ装置10を自動制御し、車両1の減速および停止を制御する。ブレーキ装置10やパーキングブレーキは、車両1の停止状態を維持するために作動することができる。また、パワープラント6の変速機がパーキングロック機構を備える場合、これを車両1の停止状態を維持するために作動することもできる。
ECU20が実行する車両1の自動運転に関わる制御について説明する。ECU20は、運転者により目的地と自動運転が指示されると、ECU24により探索された案内ルートにしたがって、目的地へ向けて車両1の走行を自動制御する。自動制御の際、ECU20はECU22および23から車両1の周囲状況に関する情報(外界情報)を取得して認識を行い、取得した情報及び認識結果に基づきECU21、ECU26および29に指示して、車両1の操舵、加減速を制御する。
図3は、制御ユニット2の機能ブロックを示す図である。制御部200は、図2の制御ユニット2に対応し、外界認識部201、自己位置認識部202、車内認識部203、行動計画部204、駆動制御部205、デバイス制御部206を含む。各ブロックは、図2に示す1つのECU、若しくは、複数のECUにより実現される。
外界認識部201は、外界認識用カメラ207及び外界認識用センサ208からの信号に基づいて、車両1の外界情報を認識する。ここで、外界認識用カメラ207は、例えば図2のカメラ41であり、外界認識用センサ208は、例えば図2の検知ユニット42、43である。外界認識部201は、外界認識用カメラ207及び外界認識用センサ208からの信号に基づいて、例えば、交差点や踏切、トンネル等のシーン、路肩等のフリースペース、他車両の挙動(速度や進行方向等)を認識する。自己位置認識部202は、GPSセンサ211からの信号に基づいて車両1の現在位置を認識する。ここで、GPSセンサ211は、例えば、図2のGPSセンサ24bに対応する。
車内認識部203は、車内認識用カメラ209及び車内認識用センサ210からの信号に基づいて、車両1の搭乗者を識別し、また、搭乗者の状態を認識する。車内認識用カメラ209は、例えば、車両1の車内の表示装置92上に設置された近赤外カメラであり、例えば、搭乗者の視線の方向を検出する。また、車内認識用センサ210は、例えば、搭乗者の生体信号を検知するセンサである。車内認識部203は、それらの信号に基づいて、搭乗者の居眠り状態、運転以外の作業中の状態、であることなどを認識する。
行動計画部204は、外界認識部201、自己位置認識部202による認識の結果に基づいて、最適経路、リスク回避経路など、車両1の行動を計画する。行動計画部204は、例えば、交差点や踏切等の開始点や終点に基づく進入判定、他車両の挙動の予測結果に基づく行動計画を行う。駆動制御部205は、行動計画部204による行動計画に基づいて、駆動力出力装置212、ステアリング装置213、ブレーキ装置214を制御する。ここで、駆動力出力装置212は、例えば、図2のパワープラント6に対応し、ステアリング装置213は、図2の電動パワーステアリング装置3に対応し、ブレーキ装置214は、ブレーキ装置10に対応する。
デバイス制御部206は、制御部200に接続されるデバイスを制御する。例えば、デバイス制御部206は、スピーカ215を制御し、警告やナビゲーションのためのメッセージ等、所定の音声メッセージを出力させる。また、例えば、デバイス制御部206は、表示装置216を制御し、所定のインタフェース画面を表示させる。表示装置216は、例えば表示装置92に対応する。また、例えば、デバイス制御部206は、ナビゲーション装置217を制御し、ナビゲーション装置217での設定情報を取得する。
制御部200は、図3に示す以外の機能ブロックを適宜含んでも良く、例えば、通信装置24cを介して取得した地図情報に基づいて目的地までの最適経路を算出する最適経路算出部を含んでも良い。また、制御部200が、図3に示すカメラやセンサ以外から情報を取得しても良く、例えば、通信装置25aを介して他の車両の情報を取得するようにしても良い。また、制御部200は、GPSセンサ211だけでなく、車両1に設けられた各種センサからの検知信号を受信する。例えば、制御部200は、車両1のドア部に設けられたドアの開閉センサやドアロックの機構センサの検知信号を、ドア部に構成されたECUを介して受信する。それにより、制御部200は、ドアのロック解除や、ドアの開閉動作を検知することができる。
図4は、サーバ101のブロック構成を示す図である。制御部301は、CPUやGPU、ROMやRAM等のメモリを含むコントローラであり、サーバ101を統括的に制御する。サーバ101は、本発明を実行するコンピュータとなり得る。CPUは、例えば、ROMに記憶された制御プログラムをRAMにロードして実行することにより、本実施形態の動作を実現する。表示部302は、例えば、ディスプレイであって、各種ユーザインタフェース画面を表示する。操作部303は、例えば、キーボードやポインティングデバイスであって、ユーザ操作を受け付ける。通信インタフェース(I/F)304は、ネットワーク107との通信を可能にするためのインタフェースである。また、通信I/F304は、制御局108との通信を可能にするためのインタフェースを含む。
制御部301は、車両情報解析部306、撮影機制御部307、撮影機情報解析部308、撮影データ解析部309を含む。車両情報解析部306は、車両102からの車両情報、例えば、GPS位置情報、速度情報を取得して挙動を解析する。撮影機制御部307は、複数の撮影機103それぞれの挙動を制御する。つまり、本実施形態では、サーバ101は、撮影機103の送信機として機能する。撮影機103の挙動については後述する。また、撮影機制御部307は、撮影機103の挙動のみならず、撮影機103に搭載されたカメラの遠隔操作を行う。カメラの遠隔操作とは、例えば、カメラの角度やズームの変更操作である。撮影機情報解析部308は、撮影機103に関する情報を取得して挙動を解析する。撮影機情報解析部308は、例えば、撮影機103に搭載されたセンサからの情報を撮影機情報として取得する。撮影データ解析部309は、撮影機103のカメラが撮影した撮影データを取得して画像解析する。画像解析は、例えば、静止画像や動画像の解析であって、物体の認識をGPUにより行う。追従経路生成部310は、地図情報311、属性情報312、環境情報313に基づいて、車両102に追従して車両102を撮影するための追従経路を生成する。
記憶部305は、本実施形態に用いられる各種プログラムやデータを記憶する。地図情報311は、道路網や道路に関連する施設等の情報であり、例えば、ナビゲーション機能等に用いられる地図データベースが用いられても良い。属性情報312は、道路に関する属性情報であり、例えば、路面状態(アスファルト舗装や、非舗装など)、道路幅、カーブ曲率、勾配の情報である。属性情報312は、例えば、通信機105に設けられたセンサからの検出情報を含んでも良い。環境情報313は、環境に関する情報であり、例えば、施設情報(建物高さ、トンネル長さなど)、植樹情報、気象情報(気温、湿度、天候、風速、濃霧や降雨、降雪等による視界情報など)である。ユーザ情報314は、車両102の運転者に関連付けられており、撮影システム100により撮影された撮影データ315、その撮影の際に取得された車両情報316を含む。地図情報311、属性情報312、環境情報313は、例えば、外部のデータベースサーバより取得しても良いし、ドローンによる測量により定期的に更新されるようにしても良い。また、制御部301は、記憶部305に蓄積されたユーザ情報314を学習に用いるようにしても良い。例えば、車両情報316の各パラメータの傾向を学習するようにしても良い。
図5は、撮影機103のブロック構成を示す図である。制御部401は、CPU、ROMやRAM等のメモリを含み、撮影機103を統括的に制御するフライトコントローラである。
通信部402は、ドローン制御用の無線通信を可能とするインタフェースである。カメラ405は、外界を撮影するためのカメラであり、本実施形態では、主に、車両102の走行シーンを撮影するために用いられる。機構制御部403は、サーボモータ404を制御することにより、カメラ405の角度やズームを調整可能である。また、制御部401は、カメラ405で撮影された撮影データを取得し、通信部402を介してサーバ101に送信する。なお、図5では、カメラ406は、1つのみ示されているが、複数設けられても良い。
記憶部406は、撮影機103を制御するための各種プログラムやデータを記憶する。センサ群407は、撮影機103の各部に設けられたセンサを含み、例えば、姿勢制御に用いられるジャイロセンサや加速度センサ、撮影機103の高度を検出するための気圧センサや超音波センサ、方位を検出するための磁気方位センサ、位置情報を検出するためのGPSセンサ、を含む。また、例えば、撮影機103の周辺の障害物を回避するための超音波センサが設けられる。
プロペラ410は、撮影機103に揚力を発生させるためのプロペラであり、モータ409によって駆動する。駆動制御部408は、バッテリ411から電力を供給されると、モータ409を制御してプロペラ410を動作させ、撮影機103に揚力を発生させる。
図6(a)は、本実施形態の動作を説明するための図である。図6(a)において、位置502、503、504、505は、図1の車両102の各位置に対応しており、車道501を上記の位置の順序で移動していることを示している。図6(a)に示す車道501は、例えば、なだらかな勾配が続く丘陵地帯であり、その一帯は、車両の走行シーンの追従撮影が許可されているサービス提供エリアである。車両102の運転者は、そのサービス提供エリア内において、サーバ101から提供される撮影サービスを享受することができる。図6(a)は、車両102が、サービス提供エリア内の撮影開始地点508近傍に入り、撮影終了地点512近傍から出るまでを示している。
待機場所506は、撮影機103の待機場所であり、撮影機103は、サーバ101からの追従・撮影制御の開始により始動すると、ステップ507において、撮影開始地点508まで移動する。そして、ステップ509において、撮影機103は、位置502から位置503まで走行する車両102に並走しながら、定点撮影地点510まで移動する。
定点撮影地点510は、撮影機103が静止した状態におけるカメラ405の操作で、車両102の走行シーンを撮影するための地点である。定点撮影は、例えば、図6(a)に示すようなカーブの内側地点で行われ、扇形の矢印の範囲内でカメラ405の向きを変更することにより車両102の走行シーンの撮影が行われる。
車両102が位置503を通過し、位置504、505に進むに伴って、撮影機103は、ステップ511において、位置503〜504〜505を走行する車両102に並走しながら、撮影終了地点512まで移動する。撮影機103は、基本的には、車道501に沿って移動するが、撮影ポジションの変更等により、車両102に対して上下、左右、前後方向に位置を変えるので、若しくは、地形状況によっては迂回することがあるので、撮影機103の追従経路と車両102の走行経路は一致するとは限らない。
撮影機103は、撮影終了地点512に到達すると、ステップ513において、待機場所514まで移動する。そして、撮影機103は、サーバ101からの追従・撮影制御の終了により停止する。
図6(a)に示すサービス提供エリアには、車道501の近傍に、退避場所516が設けられており、撮影機103のカメラ405の故障等により、追従・撮影制御の続行が困難で且つ待機場所506、514への帰還が天候等により困難である場合には、ステップ515により、緊急の退避が可能である。
図6(b)、図6(c)は、撮影機103の基本となる追従位置を示す図である。本実施形態では、撮影機103は、車両102の後方から距離521(例えば5m)離れた位置であり、且つ、車両102の隣接車線から側方に対して距離520(例えば5m)離れた位置を水平方向の基準位置とする。また、地面からの距離522(例えば10m)の高さを垂直方向の基準位置とする。基本的には、撮影機103は、車両102に対するその位置を維持するよう追従するが、撮影条件の変更(撮影ポジションの変更など)、回避物の回避、迂回のために、図7(a)〜図7(c)のような車両102に対する挙動(周回動作)が可能である。本実施形態では、図6(b)に示すように、撮影機103は、車道より外側の領域で追従することを基準として説明するが、車道内の領域で追従することを基準としても良い。
図7(a)〜図7(c)は、撮影機103の挙動について説明するための図である。図7(a)に示すように、撮影機103は、車両102に対して上下方向に移動可能である。また、図7(b)に示すように、撮影機103は、車両102に対して水平方向に移動可能である。また、図7(c)に示すように、車両102の車幅方向に移動可能である。また、図7(a)〜図7(c)に示す各動作が組み合わされた動作も可能である。
図8は、本実施形態における車両102、サーバ101、撮影機103間の全体シーケンスを示す図である。まず、車両102の運転者は、サーバ101から予め提供(ダウンロード)されたアプリケーションを起動し、走行したい経路を設定する。そして、S101において、その経路情報が車両102からサーバ101に送信される。
S102において、サーバ101は、車両102から経路情報を受信すると、その経路情報に基づいて、撮影機103による追従経路を計画する。車両102から送信される経路情報は、車両102の撮影の要求の一例となる。ここで、追従経路とは、例えば、図6(b)及び図6(c)の基準位置を維持するように車両102を追従するための飛行経路である。また、本実施形態では、車両102の撮影の要求の一例として、車両102から後述する図9(a)の設定画面600で設定された設定内容を受信する構成を説明するが、そのような構成に限られない。例えば、ユーザ情報314に、従前に行われた要求に対応する設定画面600の設定内容が蓄積されるようにする。そして、制御部301がユーザ情報314(例えば撮影開始希望地点および撮影終了希望地点)に基づいて、車両102の運転者が撮影を要望する確度が高いと判断できるエリア(ユーザニーズ)を学習しておく。そして、車両102がその学習したエリアの近辺に接近したことを車両102の撮影の要求としても良い。
なお、S101及びS102の時点では、車両102は、サーバ101のサービス提供エリア外に存在している。S103において、サーバ101は、車両102の位置情報等、車両情報を取得し、サービス提供エリアに接近したことを認識すると、S104において、サーバ101は、追従・撮影制御を開始する。すると、S106において、撮影機103は、待機場所506から始動(離陸)する。また、サーバ101は、追従・撮影制御を開始するとともに、S105において、車両102に対して、追従・撮影制御を開始した旨を通知する。
撮影機103は、始動後、S107において、車両102の走行シーンを並走しながら撮影し、その撮影データをサーバ101に送信する。その後、撮影機103が撮影終了地点512に到達すると、S108において、サーバ101は、追従・撮影制御を終了する。すると、S110において、撮影機103は、待機場所514まで誘導され、着陸の後、停止する。また、サーバ101は、追従・撮影制御を終了するとともに、S109において、車両102に対して、追従・撮影制御を終了した旨を通知する。
以上の撮影機103による撮影の終了の後、S111において、サーバ101は、撮影データを所定の形式に編集し、編集した撮影データを車両102に送信する。若しくは、その送信先は、車両102でなく、車両102の運転者が指定した送信先(PC等)であっても良い。若しくは、サーバ101に、編集した撮影データを保持しておき、車両102の運転者が適宜ダウンロード可能なように、URL等の情報を送信するようにしても良い。
図9(a)及び図9(b)は、S101で車両102の運転者が、サーバ101から提供されたアプリケーションにより経路設定を行うための設定画面の一例を示す図である。設定画面600は、例えば、車両102の表示装置216、車両102の運転者の携帯端末の画面上、若しくは移動通信機器111の画面上に表示される。車両102の運転者は、項目601により、サーバ101の撮影サービスを希望する日付を設定する。また、車両102の運転者は、項目602により、撮影開始希望地点を入力し、項目603により、撮影終了希望地点を入力する。項目602には、例えば、住所の一部が入力されるようにしても良い。
項目604は、撮影ポジションの変更の頻度を設定可能とするためのスライドバーである。右へスライドさせるほど、撮影ポジションの変更は多くなり、左へスライドさせるほど、撮影ポジションの変更は少なくなる。なお、最も左にスライドさせた場合には、基本的に、図6(b)及び図6(c)に示すような基準の追従経路による撮影ポジションとなる。OKボタン605が押下されると、設定画面600の内容が確定し、その設定内容がサーバ101に送信される。キャンセルボタン606が押下されると、設定内容がクリアされる。
図10は、サーバ101により実行される追従経路計画の処理を示すフローチャートである。図10の処理は、例えば、制御部301のCPUがROMに記憶されたプログラムをRAMにロードして実行することにより実現される。
S201において、制御部301は、経路情報を取得する。ここで、経路情報とは、図9(a)の設定画面600で設定された設定内容である。S202において、制御部301は、その設定内容に含まれる撮影開始希望地点から撮影終了希望地点までの経路がサーバ101のサービス提供可能エリア(追従可能領域)を含むか否かを判定する。ここで、追従可能領域を含むと判定された場合、S203に進み、追従可能領域を含まないと判定された場合、S209に進む。S209において、制御部301は、撮影が不可である旨を車両102に通知し、その後、図10の処理を終了する。S209の通知が行われると、例えば、車両102の表示装置216に撮影不可である旨のメッセージが表示される。
S203において、制御部301は、S201で取得した経路情報に基づいて、撮影機103を割り当てる。例えば、撮影開始希望地点から撮影終了希望地点までの経路が連続してサービス提供エリアの中に含まれていれば、1つの撮影機103が車両102に追従して撮影が可能となるので、1つの撮影機103を割り当てる。また、撮影開始希望地点から撮影終了希望地点までの経路内でサービス提供エリアでない部分が存在する場合もある。例えば、長距離のトンネルや、撮影機103の落下を懸念して飛行を禁止としている領域(ダム近辺など)がある。そのような場合には、撮影開始希望地点から撮影終了希望地点までの経路を、禁止領域以外の複数の区分に分け、複数の撮影機103を割り当てる。
S204において、制御部301は、環境情報、車道501の属性情報を取得する。例えば、制御部301は、日付情報に基づいて、記録部305から環境情報313を取得し、撮影開始希望地点から撮影終了希望地点までの経路に基づいて、記憶部305から属性情報312を取得する。ここで取得される環境情報とは、例えば、施設情報(建物高さ、トンネル長さなど)、植樹情報、気象情報(温度、湿度、天候、風速、濃霧や降雨、降雪等による視界情報など)である。また、取得される属性情報とは、例えば、路面状態(アスファルト舗装や、非舗装など)、道路幅、カーブ曲率、勾配の情報である。
S205において、制御部301は、S201で取得した経路情報に基づいて追従撮影が可能であるか否かを判定する。ここで、制御部301は、S204で取得された環境情報に基づいて判定しても良い。例えば、風速、降雨量、降雪量、濃霧等の視界情報、季節ごとの所定の時間帯、が条件を満たすのであれば(例えば、風速5m/s以下)、撮影可能と判定する。また、工事等のイベント情報に基づいて判定するようにしても良い。S205で撮影可能であると判定された場合、S206に進み、撮影可能でないと判定された場合、S209に進む。
S206において、制御部301は、S204で取得された環境情報、属性情報に基づいて、撮影機103の追従経路を計画する。まず、制御部301は、S201で取得された経路情報および記憶部305の地図情報311に基づいて、基準の追従経路を設定する。基準の追従経路とは、図6(b)及び図6(c)で示すような、車両102に対する相対位置を維持するような飛行経路である。そして、制御部301は、S204で取得された環境情報および属性情報に基づいて、基準の追従経路を補正する。例えば、基準の追従経路上に植樹されている場合には、図6(c)で定められた基準高さ以上の高度に変更する。基準の追従経路上の障害物を回避するための補正は、基本的には、高度を上げるように補正するものとする。
さらに、制御部301は、S201で取得された経路情報に含まれる項目604の設定内容「撮影ポジションのバリエーション」に基づいて、基準の追従経路を補正する。例えば、項目604において最も左にスライドされていた場合には、基準の追従経路に上記の補正を行った追従経路を実際に行う追従経路として決定する。一方、項目604において右にスライドされていくほど、そのスライド位置に対応した変更回数で撮影ポジションを変更するよう、さらに追従経路の補正を行う。
例えば、スライド位置に対応した変更回数が3回である場合、撮影機103のカメラ405のアングルの変更が3回行われるように、追従経路の補正を行う。追従経路の補正は、撮影機103の位置を、図7(a)、図7(b)、図7(c)に示すような周回動作を適宜行わせるように行う。例えば、撮影機103を、基準の追従経路上ランダムな位置で、車両102を挟んで反対車線方向へ水平移動させるようにしても良いし、車両102の前方から撮影するようにしても良い。また、撮影機103の高度を最大限まで上昇させるようにしても良い。それらの補正方法をランダムな順番に行うように、追従経路の補正を行うことで、車両102の運転者に対して、バリエーションの豊富な撮影画像を提供することができる。また、制御部301がユーザ情報314として蓄積された撮影データ315の学習結果を用いるようにしても良い。例えば、本撮影サービスの終了後、車両102の運転者からの撮影データに関するアンケート等の情報を取得するようにし、撮影データに関し、良いと判断された点や改善すべきと判断された点を、例えば撮影アングルなどについて学習するようにしても良い。
S207において、制御部301は、撮影が可能である旨を車両102に通知する。S207では、制御部301は、図9(b)の設定画面610を表示するための画面データを生成して車両102に送信する。画面データ610の撮影開始地点611は、図6(a)の位置502に対応し、撮影終了地点612は、図6(a)の位置505に対応する。また、点線で示された経路613は、図6(a)の車道501の位置502〜505の移動経路に対応する。車両102の運転者は、設定画面610の内容でよい場合には、OKボタン614を押下し、設定画面610の内容で撮影サービスを実行しない場合には、キャンセルボタン615を押下する。キャンセルボタン615が押下されると、例えば、設定画面600に戻るようにしても良い。OKボタン614、キャンセルボタン615のいずれかが押下されると、その情報がサーバ101に送信される。S208において、制御部301は、OKボタン614、キャンセルボタン615のいずれかのボタンの押下情報を受信する。S208の後、図10の処理を終了するが、S208でOKボタン614の押下情報を受信していた場合には、図11の処理が行われる。
図11は、図10の処理の後、サーバ101により実行される追従・撮影制御の処理を示すフローチャートである。図10の処理は、例えば、制御部301のCPUがROMに記憶されたプログラムをRAMにロードして実行することにより実現される。
S301において、制御部301は、GPS位置情報や速度情報等の車両情報を車両102から取得し、車両102の位置をモニタする。S302において、制御部301は、車両102は、撮影開始地点508に接近しているか否かを判定する。ここでの判定は、例えば、車両102の位置が撮影開始地点508から所定時間分の距離に位置すると判定された場合に、接近していると判定する。ここで、所定時間分とは、例えば、撮影機103を待機場所506から撮影開始地点508に誘導するまでの時間に基づいて決定される。S302で接近していないと判定された場合、S301からの処理を繰り返し、接近していると判定された場合、S303に進む。
S303において、制御部301は、待機場所506にある撮影機103を始動し、S304において、撮影機103を撮影開始地点508まで移動する。撮影機103が撮影開始地点508に到達すると、カメラ405を駆動させ、車道501の位置502付近を撮影させた状態で待機させる。その際、カメラ405により撮影された撮影データは、サーバ101にリアルタイムで送信されている。
S305において、制御部301は、車両102が撮影開始地点508に到達したか否かを判定する。ここでの判定は、例えば、車両102のGPS位置情報に基づいて判定する。車両102が撮影開始地点508に到達したと判定された場合、S306に進み、車両102が撮影開始地点508に到達していないと判定された場合、S305の処理を繰り返す。
S306において、制御部301は、撮影機103から送信される撮影データにおいて車両102を認識すると、S307において、撮影機103による追従・撮影制御を開始する。追従・撮影制御を開始すると、制御部301は、図10のS206で計画された追従経路に沿って移動するよう撮影機103を制御する。
図12は、サーバ101により実行される追従・撮影制御の処理を示すフローチャートである。なお、カメラ405により撮影された撮影データと、撮影機情報は、撮影機103からサーバ101にリアルタイムで送信されている。
S401において、制御部301は、撮影機103から送信された撮影データを解析し、S402において、撮影機103から送信された撮影機情報を解析する。ここで、撮影機情報は、撮影機103に搭載された各種センサからの情報であり、例えば、姿勢制御情報、高度情報、位置情報、障害物検出情報を検出可能である。
S401及びS402の後、S403において、制御部301は、追従撮影を継続可能であるか否かを判定する。例えば、制御部301は、撮影データが表す撮影画像が空間輝度分布に基づいて所定の画質を満たさない場合、追従撮影を継続可能でないと判定する。通常、撮影開始地点508では、カメラ405が視界不良になるということはないと考えられるが、追従撮影を行っていくうちに、天候悪化等により、撮影データの画質が低下するということがあり得る。その場合には、S403で追従撮影を継続可能でないと判定される。また、例えば、制御部301は、撮影機情報の解析結果に基づいて、撮影機103の故障を検出した場合、S403で追従撮影を継続可能でないと判定する。また、例えば、制御部301は、撮影データの解析結果に基づいて、車両102が車道501から離脱した場合、S403で追従撮影を継続可能でないと判定する。S403で追従撮影を継続可能でないと判定された場合、S411に進み、制御部301は、撮影機103を退避領域516へ誘導する。制御部301は、退避領域516への誘導後は、撮影機103を停止し、その後、図11及び図12の処理を終了する。その際、制御部301は、車両102へ追従撮影の中止の旨を通知するようにしても良い。
S403で撮影データが表す撮影画像が条件を満たすと判定された場合、S404に進み、制御部301は、撮影データの解析結果及び障害物検出情報に基づいて、回避対象物を検出したか否かを判定する。回避対象物とは、図10のS204で取得された環境情報のみでは認識することができなかった、追従経路上の障害物である。S404で回避対象物を検出したと判定された場合、S412に進み、図13の回避処理が行われる。一方、S404で回避対象物を検出していないと判定された場合、S405に進む。
図13は、S412の回避制御の処理を示すフローチャートである。S501において、制御部301は、撮影データの解析結果及び障害物検出情報に基づいて、検出された回避対象物の位置を特定する。
S502において、制御部301は、S501で特定された回避対象物の位置に基づいて、撮影機103の回避方向を決定する。例えば、S501で特定された回避対象物の位置が追従経路上における前方、言い換えると車両102の前方側方である場合には、制御部301は、撮影機103の高度を上昇させるように回避方向を決定する。また、S501で特定された回避対象物の位置が追従経路上における上方である場合には、制御部301は、撮影機103を車両102の後方で且つ車幅内の空間内に移動させるように回避方向を決定する。S503において、制御部301は、S502で決定された回避方向に撮影機103を誘導し、回避対象物を回避する。このときには、撮影機103は、回避動作のために追従経路から離脱している状態である。
S504において、制御部301は、撮影データの解析結果及び障害物検出情報に基づいて、回避対象物を検出したか否かを判定する。S504の処理は、S404の処理と同じである。ここで、回避対象物を検出したと判定された場合には、S501からの処理を繰り返す。回避対象物を検出していないと判定された場合、S505において、制御部301は、撮影機103を追従経路へ復帰させる。S505の後、図12のS405に進む。
再び、図12を参照する。S405において、制御部301は、撮影機103が撮影不可領域に接近しているか否かを判定する。ここで、撮影不可領域とは、追従撮影が不可能な領域であり、例えば、ダム等、撮影機103の落下が懸念される領域や、トンネルである。撮影不可領域が接近していると判定された場合、S406に進み、図14の迂回制御が行われる。一方、撮影不可領域が接近していないと判定された場合、S407に進み、制御部301は、撮影機103が撮影終了地点512に到達したか否かを判定する。撮影機103が撮影終了地点512に到達したと判定された場合、S408に進み、サーバ101は、追従・撮影制御を終了する。そして、制御部301は、撮影機103を退避場所514まで誘導し、誘導後、撮影機103を停止し、図12及び図11の処理を終了する。
S407で撮影終了地点512に到達していないと判定された場合には、S409において、制御部301は、撮影モードを変更するか否かを判定する。ここでの判定は、撮影機103が定点撮影を行う地点に到達したか否かに基づいて判定され、例えば、撮影機103が定点撮影地点510に到達したと判定された場合、S410に進む。なお、定点撮影地点510での定点撮影も、S206で追従経路として計画されている。S410において、制御部301は、撮影機103の位置を静止させ、カメラ405の向きを制御することで車両102の走行シーンの撮影を行う。その後、S401及びS402の処理を繰り返す。S409で撮影モードを変更しないと判定された場合、S401及びS402の処理を繰り返す。
なお、定点撮影を行うようS410で撮影モードが変更された後のS409では、車両102の位置が所定の位置まで走行した場合、即ち、車両102の位置が定点撮影の範囲外となった場合に、撮影モードを変更すると判定する。その場合、S410において、制御部301は、撮影機103を車両102に並走させながら追従撮影を行う。
図14は、S406の迂回制御の処理を示すフローチャートである。S601において、制御部301は、追従・撮影制御を中断し、S602において、車両102への撮影動作を指示する。S602では、制御部301は、例えば、車内認識用カメラ209を用いて車内を撮影するよう指示する。つまり、S602の処理により、例えば車両102がトンネルに入り、撮影機103による追従撮影を行うことができない場合には、一旦、追従撮影を中断し、車両102に車内撮影を指示する。そのような構成により、撮影データの途切れを防ぐことができる。また、このような車両102への撮影動作指示の可否は、図9(a)の設定画面600上で設定するようにしても良い。その場合、図10のS201で取得した設定内容から、撮影動作指示が可であると設定されていた場合には、S602の処理が実行される。一方、撮影動作指示が否であると設定されていた場合には、S602の処理はスキップされる。
S603において、制御部301は、撮影機103の引継ぎがあるか否かを判定する。ここでの判定は、例えば、図10のS203での撮影機103の割り当て結果に基づいて判定するようにしても良い。つまり、現在、追従撮影を行っている撮影機103は、撮影不可領域の開始点までで、撮影不可領域の終点からは別の撮影機103が割り当てられている場合には、その別の撮影機103への引継ぎがあると判定する。その場合、S605に進み、制御部301は、現在まで追従撮影を行っていた撮影機103を退避場所516に退避させる。そして、制御部301は、別の撮影機103を起動し、撮影不可領域の終点位置まで誘導し待機させる。その後、S606へ進む。一方、S603で撮影機103の引継ぎがないと判定された場合、S604において、制御部301は、迂回経路に沿って、撮影機103を撮影不可領域の終点まで移動させて待機させる。その後、S606へ進む。
S606において、制御部301は、車両102からのGPS位置情報に基づいて、車両102が撮影不可領域の終点位置に到達したと判定した場合、追従・撮影制御を再開する。S607において、制御部301は、車両102に対して、撮影動作を停止し、撮影データをサーバ101へ送信するよう指示する。S608において、制御部301は、車両102から撮影データを取得する。S608の後、図14の処理を終了し、図12のS409に進む。
再び、図11を参照する。図11のS308において、制御部301は、撮影機103が撮影終了地点512に到達したか否かを判定する。ここで、撮影機103が撮影終了地点512に到達していないと判定された場合、S307の処理を繰り返す。一方、撮影機103が撮影終了地点512に到達したと判定された場合、S309に進む。
S309において、制御部301は、追従・撮影制御を終了し、S310において、撮影機103を待機場所514まで誘導する。そして、S311において、制御部301は、撮影機103を停止させる。その後、図11の処理を終了する。
以上のように、本実施形態によれば、自車両の走行シーンの撮影を容易に実行することができる。
<実施形態のまとめ>
本実施形態における撮影システムは、サーバ(101)と、前記サーバと通信可能な撮影機(103)と、車両(102)もしくは前記車両と共に移動可能な移動通信機器と、を含む撮影システムであって、前記サーバは、前記車両もしくは前記移動通信機器から前記車両の撮影の要求を受け付けた場合、前記車両の走行経路に基づいて、前記撮影機の追従経路を生成する生成手段と(301)、前記生成手段により生成された前記追従経路上を前記車両に追従するよう前記撮影機を制御する移動制御手段(307)と、前記移動制御手段による前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御手段(307)とを備えることを特徴とする。
そのような構成により、自車両の走行シーンの撮影を容易に実行することができる。
また、撮影システムは、前記走行経路の経路情報(310)と、前記走行経路の属性情報(311)を取得する第1取得手段、をさらに備え、前記生成手段は、第1取得手段により取得された前記経路情報と前記属性情報に基づいて、前記追従経路を生成し、前記属性情報は、前記走行経路の路面状態、道路幅、カーブ曲率、勾配、についての情報を含むことを特徴とする。また、前記経路情報は、前記撮影機による撮影を開始する地点と、前記撮影機による撮影を終了する地点とを含むことを特徴とする。
そのような構成により、例えば、撮影開始地点、撮影終了地点、道路の情報に基づいて、撮影機の追従経路を生成することができる。
また、撮影システムは、環境情報(312)を取得する第2取得手段、をさらに備え、前記生成手段はさらに、前記第2取得手段により取得された前記環境情報に基づいて、前記追従経路を生成し、前記環境情報は、施設情報、気象情報、についての情報を含むことを特徴とする。
そのような構成により、例えば、道路沿いの施設の高さに基づいて、撮影機の追従経路を生成することができる。
また、前記生成手段は、少なくとも一部が前記走行経路上の路上の外側になるよう前記追従経路を生成することを特徴とする。
そのような構成により、走行経路の外側、内側を追従経路として生成することができる。
また、前記生成手段により生成された前記追従経路において、前記撮影機は、前記車両と並走しながら前記車両を撮影可能である(509、511)ことを特徴とする。また、前記生成手段により生成された前記追従経路において、前記撮影機は、静止した状態で前記車両を撮影可能である(510)ことを特徴とする。また、前記生成手段により生成された前記追従経路において、前記撮影機は、前記車両の周辺で前記車両に対する相対位置を変更可能である(図7)ことを特徴とする。
そのような構成により、撮影機を車両と並走させながら、又は、静止した状態で、又は、車両の周辺で位置を変えながら、撮影を行うことができる。
また、前記移動制御手段は、前記生成手段により生成された前記追従経路上を前記車両に追従するよう、複数の撮影機を制御し(S203)、前記車両を順に撮影するように前記複数の撮影機を制御することを特徴とする。
そのような構成により、複数の撮影機により撮影を行うことができる。
また、撮影システムは、前記制御手段により前記撮影機を制御しているときに、前記撮影機の周囲の障害物を検出する第1検出手段(S401、S402)、をさらに備え、前記移動制御手段は、前記撮影機が前記障害物を回避するよう前記撮影機を制御する(図13)ことを特徴とする。また、前記移動制御手段は、前記障害物の位置に応じて前記撮影機を所定の方向に移動させることで、前記障害物を回避させ、前記所定の方向は、高度を上げる方向、前記車両の後方の空間へ移動する方向、を含むことを特徴とする。また、前記車両の後方の空間は、前記車両の後方で且つ前記車両の車幅内の空間であることを特徴とする。
そのような構成により、撮影機の周辺に障害物を検出した際には、その障害物を回避するよう制御することができる。
また、前記移動制御手段は、前記撮影機が前記障害物を回避した後、前記撮影機を前記追従経路に戻すように制御することを特徴とする。
そのような構成により、障害物の回避後、撮影機を追従経路に戻すことができる。
また、撮影システムは、前記車両の位置を取得する第3取得手段と、前記第3取得手段により取得された前記車両の位置に基づいて、前記車両が前記撮影機による撮影が不可である領域へ入ることと、該領域から出ることの少なくともいずれかを検出する第2検出手段(S405、S606)とをさらに備えることを特徴とする。また、前記検出手段により前記車両が前記撮影が不可である領域に入ることを検出された場合、前記移動制御手段は、前記撮影機を迂回するよう制御する(S604)ことを特徴とする。
そのような構成により、車両が撮影不可領域に入った場合には、撮影機を迂回させることができる。
また、前記検出手段により前記車両が前記撮影が不可である領域に入ることが検出された場合、前記撮影機に撮影の終了を指示し、前記検出手段により前記車両が前記撮影が不可である領域から出ることが検出された場合、前記撮影機に撮影を行うよう指示する指示手段(S601、S606)をさらに備えることを特徴とする。
そのような構成により、車両が撮影不可領域に入っている間、撮影を中断することができる。
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
100 撮影システム: 101 サーバ: 102 車両: 103 撮影機: 301 制御部

Claims (19)

  1. サーバと、前記サーバと通信可能な撮影機と、車両もしくは前記車両と共に移動可能な移動通信機器と、を含む撮影システムであって、
    前記サーバは、
    前記車両もしくは前記移動通信機器から前記車両の撮影の要求、および該撮影の開始地点および終了地点として設定される経路情報を受信する受信手段と、
    前記受信手段により受信された前記経路情報、および道路網を含む地図情報に基づいて、前記車両に追従して前記車両を撮影するための追従経路を生成する生成手段と、
    道路に関する属性情報と撮影の対象となるエリアの環境情報とに基づいて、前記生成手段により生成された追従経路を補正する補正手段と、
    前記車両もしくは前記移動通信機器が前記開始地点に接近した場合、前記補正手段により補正された追従経路に沿って、前記車両に対して所定の条件で位置して前記車両に追従するよう前記撮影機を制御する移動制御手段と、
    前記移動制御手段による前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御手段と、
    を備えることを特徴とする撮影システム。
  2. 記属性情報は、道路の路面状態、道路幅、カーブ曲率、勾配、のいずれかについての情報を含む、
    ことを特徴とする請求項1に記載の撮影システム。
  3. 前記環境情報を取得する第取得手段、をさらに備え、
    前記補正手段は、前記第1取得手段により取得された前記環境情報に基づいて、前記生成手段により生成された追従経路を補正し、
    前記環境情報は、施設情報、気象情報、のいずれかについての情報を含む、
    ことを特徴とする請求項1又は2に記載の撮影システム。
  4. 前記生成手段は、少なくとも一部が道路上の外側になるよう前記追従経路を生成することを特徴とする請求項1乃至のいずれか1項に記載の撮影システム。
  5. 前記補正手段により補正された追従経路において、前記撮影機は、前記車両と並走しながら前記車両を撮影可能であることを特徴とする請求項1乃至のいずれか1項に記載の撮影システム。
  6. 前記補正手段により補正された追従経路において、前記撮影機は、静止した状態で前記車両を撮影可能であることを特徴とする請求項1乃至のいずれか1項に記載の撮影システム。
  7. 前記補正手段により補正された追従経路において、前記撮影機は、前記車両の周辺で前記車両に対する相対位置を変更可能であることを特徴とする請求項1乃至のいずれか1項に記載の撮影システム。
  8. 前記移動制御手段は、前記補正手段により補正された追従経路上を前記車両に追従するよう、複数の撮影機を制御し、前記車両を順に撮影するように前記複数の撮影機を制御する、ことを特徴とする請求項1乃至のいずれか1項に記載の撮影システム。
  9. 前記移動制御手段により前記撮影機を制御しているときに、前記撮影機の周囲の障害物を検出する第1検出手段、をさらに備え、
    前記移動制御手段は、前記撮影機が前記障害物を回避するよう前記撮影機を制御することを特徴とする請求項1乃至8のいずれか1項に記載の撮影システム。
  10. 前記移動制御手段は、前記障害物の位置に応じて前記撮影機を所定の方向に移動させることで、前記障害物を回避させ、
    前記所定の方向は、高度を上げる方向、前記車両の後方の空間へ移動する方向、のずれかを含む、
    ことを特徴とする請求項に記載の撮影システム。
  11. 前記車両の後方の空間は、前記車両の後方で且つ前記車両の車幅内の空間であることを特徴とする請求項10に記載の撮影システム。
  12. 前記移動制御手段は、前記撮影機が前記障害物を回避した後、前記撮影機を前記追従経路に戻すように制御することを特徴とする請求項乃至11のいずれか1項に記載の撮影システム。
  13. 前記車両の位置を取得する第取得手段と、
    前記第取得手段により取得された前記車両の位置に基づいて、前記車両が前記撮影機による撮影が不可である領域へ入ることと、該領域から出ることの少なくともいずれかを検出する第2検出手段と、
    をさらに備えることを特徴とする請求項1乃至12のいずれか1項に記載の撮影システム。
  14. 前記第2検出手段により前記車両が前記撮影が不可である領域に入ることを検出された場合、前記移動制御手段は、前記撮影機が前記撮影が不可である領域を迂回するよう制御することを特徴とする請求項13に記載の撮影システム。
  15. 前記第2検出手段により前記車両が前記撮影が不可である領域に入ることが検出された場合、前記撮影機に撮影の終了を指示し、前記第2検出手段により前記車両が前記撮影が不可である領域から出ることが検出された場合、前記撮影機に撮影を行うよう指示する指示手段、をさらに備えることを特徴とする請求項13又は14に記載の撮影システム。
  16. 車両もしくは前記車両と共に移動可能な移動通信機器から、前記車両の撮影の要求、および該撮影の開始地点および終了地点として設定される経路情報を受信する受信手段と、
    前記受信手段により受信された前記経路情報、および道路網を含む地図情報に基づいて、前記車両に追従して前記車両を撮影するための追従経路を生成する生成手段と、
    道路に関する属性情報と撮影の対象となるエリアの環境情報とに基づいて、前記生成手段により生成された追従経路を補正する補正手段と、
    前記車両もしくは前記移動通信機器が前記開始地点に接近した場合、前記補正手段により補正された追従経路に沿って、前記車両に対して所定の条件で位置して前記車両に追従するよう撮影機を制御する移動制御手段と、
    前記移動制御手段による前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御手段と、
    を備えることを特徴とするサーバ。
  17. サーバと、前記サーバと通信可能な撮影機と、車両もしくは前記車両と共に移動可能な移動通信機器と、を含む撮影システムにおいて実行される制御方法であって、
    前記サーバにおいて、
    前記車両もしくは前記移動通信機器から前記車両の撮影の要求、および該撮影の開始地点および終了地点として設定される経路情報を受信する受信工程と、
    前記受信工程において受信された前記経路情報、および道路網を含む地図情報に基づいて、前記車両に追従して前記車両を撮影するための追従経路を生成する生成工程と、
    道路に関する属性情報と撮影の対象となるエリアの環境情報とに基づいて、前記生成工程において生成された追従経路を補正する補正工程と、
    前記車両もしくは前記移動通信機器が前記開始地点に接近した場合、前記補正工程において補正された追従経路に沿って、前記車両に対して所定の条件で位置して前記車両に追従するよう前記撮影機を制御する移動制御工程と、
    前記移動制御工程における前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御工程と、
    を有することを特徴とする制御方法。
  18. サーバにおいて実行される制御方法であって、
    車両もしくは前記車両と共に移動可能な移動通信機器から、前記車両の撮影の要求、および該撮影の開始地点および終了地点として設定される経路情報を受信する受信工程と、
    前記受信工程において受信された前記経路情報、および道路網を含む地図情報に基づいて、前記車両に追従して前記車両を撮影するための追従経路を生成する生成工程と、
    道路に関する属性情報と撮影の対象となるエリアの環境情報とに基づいて、前記生成工程において生成された追従経路を補正する補正工程と、
    前記車両もしくは前記移動通信機器が前記開始地点に接近した場合、前記補正工程において補正された追従経路に沿って、前記車両に対して所定の条件で位置して前記車両に追従するよう撮影機を制御する移動制御工程と、
    前記移動制御工程における前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御工程と、
    を有することを特徴とする制御方法。
  19. 車両もしくは前記車両と共に移動可能な移動通信機器から、前記車両の撮影の要求、および該撮影の開始地点および終了地点として設定される経路情報を受信する受信手段、
    前記受信手段により受信された前記経路情報、および道路網を含む地図情報に基づいて、前記車両に追従して前記車両を撮影するための追従経路を生成する生成手段、
    道路に関する属性情報と撮影の対象となるエリアの環境情報とに基づいて、前記生成手段により生成された追従経路を補正する補正手段、
    前記車両もしくは前記移動通信機器が前記開始地点に接近した場合、前記補正手段により補正された追従経路上を前記車両に追従するよう撮影機を制御する移動制御手段、
    前記移動制御手段による前記撮影機の制御の間、前記車両を撮影するよう前記撮影機を制御する撮影制御手段、
    としてコンピュータを機能させるためのプログラム。
JP2019068002A 2019-03-29 2019-03-29 撮影システム、サーバ、制御方法およびプログラム Active JP6956132B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019068002A JP6956132B2 (ja) 2019-03-29 2019-03-29 撮影システム、サーバ、制御方法およびプログラム
CN202010197870.8A CN111746789B (zh) 2019-03-29 2020-03-19 拍摄系统、服务器、控制方法以及存储程序的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019068002A JP6956132B2 (ja) 2019-03-29 2019-03-29 撮影システム、サーバ、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020166691A JP2020166691A (ja) 2020-10-08
JP6956132B2 true JP6956132B2 (ja) 2021-10-27

Family

ID=72673060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019068002A Active JP6956132B2 (ja) 2019-03-29 2019-03-29 撮影システム、サーバ、制御方法およびプログラム

Country Status (2)

Country Link
JP (1) JP6956132B2 (ja)
CN (1) CN111746789B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347351A (zh) * 2021-05-19 2021-09-03 重庆长安汽车股份有限公司 风景区沿途摄像方法
CN114363575B (zh) * 2022-01-11 2023-04-11 河北德冠隆电子科技有限公司 一种重点车辆自动追踪快速定位持续监视的系统及方法
CN114268728B (zh) * 2022-02-28 2022-07-08 杭州速玛科技有限公司 一种无人作业车辆协同记录被破坏现场的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102527245B1 (ko) * 2015-05-20 2023-05-02 주식회사 윌러스표준기술연구소 드론 및 그 제어 방법
CN105318888B (zh) * 2015-12-07 2018-08-14 北京航空航天大学 基于无人机感知的无人驾驶车辆路径规划方法
KR101870761B1 (ko) * 2016-10-18 2018-06-25 한국항공대학교산학협력단 항공통합시뮬레이션을 이용한 드론영상촬영 지원시스템 및 방법
US20190026961A1 (en) * 2017-07-18 2019-01-24 Ford Global Technologies, Llc Drone-based diagnostic system for active grille shutters of a vehicle
CN107343153A (zh) * 2017-08-31 2017-11-10 王修晖 一种无人设备的拍摄方法、装置及无人机
CN108183770A (zh) * 2017-12-29 2018-06-19 南京奇蛙智能科技有限公司 一种无人机自动飞行许可管理方法

Also Published As

Publication number Publication date
CN111746789A (zh) 2020-10-09
CN111746789B (zh) 2024-04-30
JP2020166691A (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
CN109760676B (zh) 显示系统、显示方法及存储介质
JP6677817B2 (ja) 遠隔操作システム、交通システム、および遠隔操作方法
JP7043450B2 (ja) 車両制御装置、車両制御方法、及びプログラム
EP3705846A1 (en) Object location indicator system and method
JP6561357B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US20180128635A1 (en) Information display device, information display method, and information display program
JP2021012709A (ja) 検出された障壁に基づく車両のナビゲーション
US20190315348A1 (en) Vehicle control device, vehicle control method, and storage medium
CN113728210A (zh) 到目标的自主和用户控制的车辆召唤
JP5459137B2 (ja) 交差点案内システム
JP6956132B2 (ja) 撮影システム、サーバ、制御方法およびプログラム
JP6827378B2 (ja) 車両制御システム、車両制御方法、およびプログラム
KR20210013594A (ko) 이동식 센서를 사용하여 차량 동작을 개선시키기 위한 시스템 및 방법
JP7190393B2 (ja) 車両制御装置、車両管理装置、車両制御方法、およびプログラム
US10564000B2 (en) Information display device, information display method, and information display program
US11345365B2 (en) Control device, getting-into/out facility, control method, and storage medium
US11137264B2 (en) Display system, display method, and storage medium
JP2020052559A (ja) 車両制御装置、車両制御方法、及びプログラム
KR20220083533A (ko) LiDAR 정보와 카메라 정보의 병합
US11475690B2 (en) Vehicle control system and vehicle control method
JP6840035B2 (ja) 車両制御システム
JP7315101B2 (ja) 障害物情報管理装置、障害物情報管理方法、車両用装置
JP7452650B2 (ja) 駐停車地点管理装置、駐停車地点管理方法、車両用装置
JP6663343B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP7210394B2 (ja) 情報提供装置、情報提供方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191210

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211004

R150 Certificate of patent or registration of utility model

Ref document number: 6956132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150