JP7171938B2 - 撮影システム、制御装置、制御方法、プログラム及び記憶媒体 - Google Patents

撮影システム、制御装置、制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP7171938B2
JP7171938B2 JP2021548848A JP2021548848A JP7171938B2 JP 7171938 B2 JP7171938 B2 JP 7171938B2 JP 2021548848 A JP2021548848 A JP 2021548848A JP 2021548848 A JP2021548848 A JP 2021548848A JP 7171938 B2 JP7171938 B2 JP 7171938B2
Authority
JP
Japan
Prior art keywords
photographing
subject
signal
control
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548848A
Other languages
English (en)
Other versions
JPWO2021060113A1 (ja
Inventor
崇雄 藤原
誠 三ツ川
克幸 大久保
博昭 吉田
洪太 中内
成章 渡邊
瞬 藤津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2021060113A1 publication Critical patent/JPWO2021060113A1/ja
Application granted granted Critical
Publication of JP7171938B2 publication Critical patent/JP7171938B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は撮影システム、制御装置、制御方法、プログラム及び記憶媒体に関するもので、特に、予め登録した被写体を無人航空機により撮影するための技術に関する。
特許文献1には、自律飛行ロボットを用いて複数の移動物体を撮影する技術か開示されている。
特開2017-182690号公報
しかしながら、特許文献1の技術は、防犯を目的として、監視空間に侵入した不特定多数の侵入者や車両等の移動物体を自律飛行ロボットのカメラで撮影するものである。
予め登録した被写体を無人航空機により撮影する場合には、予め登録した被写体の情報を用いて撮影することが必要となり得る。
本発明の目的は、予め登録した被写体を無人航空機により撮影することが可能な技術を提供する。
本発明の第1の態様にかかる撮影システムは、飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と、前記被写体の端末及び前記無人航空機と通信可能な制御装置と、を有する撮影システムであって、
前記制御装置は、
前記被写体を撮影対象として設定した被写体情報を登録する記憶手段と、
前記端末との通信により取得した当該被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定手段と、
前記判定手段の判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成手段と、
前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御手段と、を備え、
前記無人航空機は、
前記被写体の端末から配信される被写体情報と前記通信制御手段から送信された前記被写体情報とに基づいて、前記被写体を特定する特定手段と、
前記制御信号に基づいて前記撮影手段を制御して、前記特定手段により特定された前記被写体の撮影を制御する撮影制御手段と、
を備えることを特徴とする。
本発明の第2の態様にかかる撮影システムでは、前記記憶手段は、前記被写体を構成する複数の車両のユーザーを撮影対象のグループとして設定したグループ情報を、前記被写体情報として登録し、
前記判定手段は、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアを走行しているか否かを判定することを特徴とする。
本発明の第3の態様にかかる撮影システムでは、前記判定手段が、前記グループとして設定された前記複数の車両のうち少なくとも一台が前記撮影エリアに入ったと判定した場合に、前記複数の車両が前記撮影エリアを走行中であると判定し、
前記信号生成手段は撮影開始を指示する制御信号を生成し、
前記撮影制御手段は、当該制御信号に基づいて前記撮影手段を制御して、前記複数の車両のグループの撮影を開始することを特徴とする。
本発明の第4の態様にかかる撮影システムでは、前記判定手段が、前記複数の車両のうち少なくとも一台が前記撮影エリアを走行していると判定した場合に、
前記信号生成手段は撮影継続を指示する制御信号を生成し、
前記撮影制御手段は、当該制御信号に基づいて前記撮影手段を制御して、前記撮影を継続し、
前記判定手段が、前記複数の車両のすべてが前記撮影エリアから出たと判定した場合に、
前記信号生成手段は撮影終了を指示する制御信号を生成し、
前記撮影制御手段は、当該制御信号に基づいて前記撮影手段を制御して、前記撮影を終了することを特徴とする。
本発明の第5の態様にかかる撮影システムでは、前記判定手段が、前記グループとして設定された前記複数の車両の全てが前記撮影エリアに入ったと判定した場合に、前記複数の車両が前記撮影エリアを走行中であると判定し、
前記信号生成手段は撮影開始を指示する制御信号を生成し、
前記撮影制御手段は、当該制御信号に基づいて前記撮影手段を制御して、前記複数の車両のグループの撮影を開始することを特徴とする。
本発明の第6の態様にかかる撮影システムでは、前記判定手段は、前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアに前記複数の車両のうち少なくとも一台が入ったと判定した場合に、
前記信号生成手段は、当該撮影エリアまたは準備エリアに入ったことを前記ユーザーに報知するエリア報知信号を生成し、
前記通信制御手段は、前記複数の車両に前記エリア報知信号を送信することを特徴とする。
本発明の第7の態様にかかる撮影システムでは、前記制御装置は、
前記撮影手段で撮影された画像データから前記ユーザーの顔を抽出する画像処理を行う画像処理手段と、
前記画像処理の結果と前記グループ情報とに基づいて、前記グループとして設定された人数分のユーザーの顔が撮影されたか否かを判定する画像判定手段と、を更に備え、
前記信号生成手段は、
前記設定された人数分のユーザーの顔が撮影されなかった場合に、前記設定された人数分のユーザーの顔を撮影できるように、前記撮影手段の撮影パラメータを制御するパラメータ制御信号を生成し、
前記無人航空機の前記撮影制御手段は、
前記パラメータ制御信号に基づいて前記撮影手段を制御して前記撮影を行う
ことを特徴とする。
本発明の第8の態様にかかる撮影システムでは、前記画像判定手段の判定により、前記設定された人数分のユーザーの顔が撮影されなかった場合に、
前記信号生成手段は、前記撮影のやり直しを前記ユーザーに案内する撮影案内信号を生成し、
前記通信制御手段は、前記複数の車両に前記撮影案内信号を送信することを特徴とする。
本発明の第9の態様にかかる撮影システムでは、前記判定手段は、
前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアを走行する前記複数の車両の車間距離を前記位置情報に基づいて取得し、前記車間距離が所定の基準距離範囲の上限の距離を超えていると判定する場合に、
前記信号生成手段は、
前記車間距離が前記基準距離範囲の上限の距離を超えていることを前記ユーザーに報知する距離報知信号を生成し、
前記通信制御手段は、前記複数の車両に前記距離報知信号を送信することを特徴とする。
本発明の第10の態様にかかる撮影システムでは、前記判定手段は、
前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアを走行する前記複数の車両の車間距離を前記位置情報に基づいて取得し、前記車間距離が所定の基準距離範囲の下限の距離以下と判定する場合に、
前記信号生成手段は、
前記車間距離が前記基準距離範囲の下限の距離以下であることを前記ユーザーに報知する接近報知信号を生成し、
前記通信制御手段は、前記複数の車両に前記接近報知信号を送信することを特徴とする。
本発明の第11の態様にかかる撮影システムでは、前記複数の車両は、
車両の位置情報を取得する取得手段と、
前記車両の位置情報を送信する車両通信手段と、
前記車両の速度情報を検出する検出手段を更に備え、
前記車両通信手段は前記速度情報を前記制御装置に送信し、
前記制御装置の前記判定手段は、
前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアを走行する前記複数の車両の速度差を前記速度情報に基づいて取得し、前記速度差が所定の基準速度を超えると判定した場合に、
前記信号生成手段は、
前記速度差が前記基準速度を超えることを前記ユーザーに報知する速度報知信号を生成し、
前記通信制御手段は、前記複数の車両に前記速度報知信号を送信することを特徴とする。
本発明の第12の態様にかかる撮影システムでは、前記制御装置は、
前記撮影手段により撮影された画像データに基づいて、撮影状態が逆光か否かを判定する逆光判定手段を更に備え、
前記信号生成手段は、前記撮影状態が逆光と判定された場合に、前記逆光を回避するように前記無人航空機の飛行位置の変更を指示する飛行制御信号を生成し、
前記通信制御手段は、前記無人航空機に前記飛行制御信号を送信し、
前記無人航空機の飛行制御手段は、
前記飛行制御信号に基づいて前記飛行位置を変更することを特徴とする。
本発明の第13の態様にかかる撮影システムでは、前記信号生成手段は、前記撮影状態が逆光と判定された場合に、前記撮影手段の画角を水平方向に移動させる制御、または前記撮影手段の画角を垂直方法に移動させる制御を行うようにパラメータ制御信号を生成し、
前記通信制御手段は、前記無人航空機に前記パラメータ制御信号を送信し、
前記無人航空機の撮影制御手段は、
前記パラメータ制御信号に基づいて前記撮影手段の画角を変更することを特徴とする。
本発明の第14の態様にかかる撮影システムでは、前記記憶手段は、前記被写体を構成する、歩行者または単独の車両のユーザーを撮影対象として設定したユーザー情報を、前記被写体情報として登録し、
前記判定手段は、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに入ったか否かを判定する
ことを特徴とする。
本発明の第15の態様にかかる撮影システムでは、
前記判定手段が、前記撮影対象として設定された前記被写体が前記撮影エリアに入ったと判定した場合に、
前記信号生成手段は撮影開始を指示する制御信号を生成し、
前記撮影制御手段は、当該制御信号に基づいて前記撮影手段を制御して、前記被写体の撮影を開始することを特徴とする。
本発明の第16の態様にかかる撮影システムでは、
前記判定手段は、前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアに前記被写体が入ったと判定した場合に、
前記信号生成手段は、当該撮影エリアまたは準備エリアに入ったことを前記被写体に報知するエリア報知信号を生成し、
前記通信制御手段は、前記被写体に前記エリア報知信号を送信することを特徴とする。
本発明の第17の態様にかかる撮影システムでは、前記制御装置は、
前記撮影手段で撮影された画像データから前記被写体の顔を抽出する画像処理を行う画像処理手段と、
前記画像処理の結果に基づいて、前記被写体の顔が撮影されたか否かを判定する画像判定手段と、を更に備え、
前記信号生成手段は、
前記被写体の顔が撮影されなかった場合に、前記被写体の顔を撮影できるように、前記撮影手段の撮影パラメータを制御するパラメータ制御信号を生成し、
前記無人航空機の前記撮影制御手段は、
前記パラメータ制御信号に基づいて前記撮影手段を制御して前記撮影を行う
ことを特徴とする。
本発明の第18の態様にかかる撮影システムでは、前記画像判定手段の判定により、前記被写体の顔が撮影されなかった場合に、
前記信号生成手段は、前記撮影のやり直しを前記被写体に案内する撮影案内信号を生成し、
前記通信制御手段は、前記被写体に前記撮影案内信号を送信することを特徴とする。
本発明の第19の態様にかかる制御装置は、飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置であって、
前記被写体を撮影対象として設定した被写体情報を登録する記憶手段と、
前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定手段と、
前記判定手段の判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成手段と、
前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御手段と、を備えることを特徴とする。
本発明の第20の態様にかかる制御方法は、飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置における制御方法であって、
前記被写体を撮影対象として設定した被写体情報を記憶手段に登録する記憶工程と、
判定手段が、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定工程と、
信号生成手段が、前記判定工程での判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成工程と、
通信制御手段が、前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御工程と、を有することを特徴とする。
本発明の第21の態様にかかるプログラムは、コンピュータに、飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置における制御方法の各工程を実行させるプログラムであって、当該制御方法が、
前記被写体を撮影対象として設定した被写体情報を記憶手段に登録する記憶工程と、
判定手段が、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定工程と、
信号生成手段が、前記判定工程での判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成工程と、
通信制御手段が、前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御工程と、を有することを特徴とする。
本発明の第22の態様にかかる記憶媒体は、コンピュータに、飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置における制御方法の各工程を実行させるプログラムを記憶したコンピュータ可読の記憶媒体であって、当該制御方法が、
前記被写体を撮影対象として設定した被写体情報を記憶手段に登録する記憶工程と、
判定手段が、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定工程と、
信号生成手段が、前記判定工程での判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成工程と、
通信制御手段が、前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御工程と、を有することを特徴とする。
本発明の第1の態様の撮影システムによれば、予め登録した被写体を無人航空機により撮影することが可能な技術を提供することができる。
本発明の第2の態様の撮影システムによれば、グループとして予め登録した複数の車両のユーザーを被写体として、車両で走行中のユーザーを無人航空機により撮影することが可能な技術を提供することができる。
本発明の第3の態様の撮影システムによれば、撮影開始のタイミングを制御することができ、撮影エリアが小さい、もしくはグループの車両の車間距離が開いているなどの場合でも、最初に撮影エリアに入った車両を撮影することができる。
本発明の第4の態様の撮影システムによれば、撮影終了のタイミングを制御することができ、グループとして設定された複数の車両をもれなく撮影することが可能になる。
本発明の第5の態様の撮影システムによれば、撮影開始のタイミングを制御することができ、グループとして設定されたすべての複数の車両が撮影エリアに入っている場合に撮影を行うことができ、ユーザーのニーズを満たす映像のみを撮影することが可能になる。
本発明の第6の態様の撮影システムによれば、撮影前にエリア報知信号をユーザーに報知することでグループの車両同士の隊列を整える等、撮影に備えた走行を行うことが可能になる。
本発明の第7の態様の撮影システムによれば、パラメータ制御信号に基づいて撮影部を制御することにより、グループ全員の顔を撮影することが可能となる。
本発明の第8の態様の撮影システムによれば、ユーザーの全員の顔を撮影できなかった場合であっても、撮影のやり直しをユーザーに案内する撮影案内信号を生成し、複数の車両に撮影案内信号を送信することにより、撮影エリアにおいてすぐに撮り直しを行うことが可能になる。
本発明の第9の態様の撮影システムによれば、車間距離が開きすぎている場合には、撮影エリアを走行する際に複数のユーザーを同時に撮影できない可能性があるため、車間距離が基準距離範囲の上限の距離を超えていることを報知する距離報知信号を複数の車両に送信してユーザーに報知することで車間距離を詰めるよう促すことが可能になる。
本発明の第10の態様の撮影システムによれば、車間距離が近づきすぎている場合には撮影エリアを走行する際に複数のユーザーが重なり同時に撮影できない可能性があるため、車間距離が基準距離範囲の下限の距離以下であることを報知する接近報知信号を複数の車両に送信してユーザーに報知することで車間距離を開けるよう促すことが可能になる。
本発明の第11の態様の撮影システムによれば、速度差が基準速度を超える場合には、撮影エリアを走行する際に複数のユーザーを同時に撮影できない可能性があるため、速度差が基準速度を超えることを報知する速度報知信号を複数の車両に送信してユーザーに報知することで速度差を小さくするよう促すことが可能になる。
本発明の第12の態様の撮影システムによれば、撮影された画像データに基づいて、逆光の撮影状態と判断された場合に、無人航空機の飛行位置を変更することにより逆光を回避した状態で撮影を行うことが可能になる。
本発明の第13の態様の撮影システムによれば、撮影された画像データに基づいて、逆光の撮影状態と判断された場合に、撮影部の画角を変更することにより逆光を回避した状態で撮影を行うことが可能になる。
本発明の第14の態様の撮影システムによれば、予め登録した歩行者または単独の車両のユーザーを被写体として、歩行者または単独の車両のユーザーを無人航空機により撮影することが可能な技術を提供することができる。
本発明の第15の態様の撮影システムによれば、撮影開始のタイミングを制御することが可能になる。これにより、撮影エリアが小さい場合であっても、撮影のタイミングを逃すことなく被写体の撮影を行うことが可能になる。
本発明の第16の態様の撮影システムによれば、撮影前にエリア報知信号を被写体に報知することで、被写体は撮影の事前準備を行うことが可能になる。
本発明の第17の態様の撮影システムによれば、パラメータ制御信号に基づいて撮影部を制御することにより、被写体である歩行者の顔、あるいは、単独の車両で走行中であるユーザーの顔を撮影することが可能となる。
本発明の第18の態様の撮影システムによれば、被写体の顔を撮影できなかった場合であっても、撮影のやり直しを被写体に案内する撮影案内信号を生成し、被写体の端末に撮影案内信号を送信することにより、撮影エリアにおいてすぐに撮り直しを行うことが可能になる。
本発明の第19の態様の制御装置、第20の態様の制御方法、第21の態様のプログラム及び第22の態様にかかる記憶媒体によれば、予め登録した被写体を無人航空機により撮影するための制御技術を提供することができる。
第1実施形態に係る撮影システムの一例を説明するためのブロック図。 ST21は無人航空機の機能構成を例示するブロック図、ST22は処理部の機能構成を例示するブロック図。 判定部の処理を模式的に説明する図。 記憶部及び処理部の処理の流れを説明する図。 画像処理部及び画像判定部の処理の流れを説明する図。 複数の車両の車間距離の調整処理の流れを説明する図。 複数の車両の速度差の調整処理の流れを説明する図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。
[第1実施形態]
(撮影システムの構成)
図1は、第1実施形態にかかる撮影システムSTMの構成の一例を示す図である。撮影システムSTMは、無人航空機DRNと、被写体の端末及び無人航空機DRNと通信可能な制御装置CNT(制御サーバ)とを有する。無人航空機DRNは、飛行状態で複数の車両を撮影可能な撮影部200(カメラ)を有する。被写体には、例えば、歩行者、または、単独の車両のユーザー、または、複数の車両のユーザーが含まれる。第1実施形態では、被写体を構成する複数の車両のユーザーを撮影対象のグループとして説明する例について説明する。
制御装置CNTは、ネットワークNTを介して、複数の車両1A、1B及び無人航空機DRNと遠隔で通信することができ、無人航空機DRNを制御する信号を、ネットワークNTを介して出力することが可能である。
情報処理装置18は、車両の貸し出し(車両利用サービス)を管理する外部端末であり、ユーザーに車両が貸し出されると、ユーザーを特定するユーザー情報(例えば、ユーザーの端末情報を含む)や貸し出された車両を識別する車両情報はネットワークNTを介して制御装置CNTに送信される。情報処理装置18(外部端末)は、例えば、ホテルやレンタカー業者、車両の販売や保守サービスを提供するディーラー等の外部拠点(代理店)に設置可能である。
外部拠点(代理店)は、車両を貸し出した複数のユーザーA、BをグループGRとして、車両1A、1Bで走行中のユーザーA、Bを無人航空機DRNで撮影するサービスを提供することが可能である。
制御装置CNTは、情報処理装置18(外部端末)から送信された情報(ユーザー情報(ユーザーの端末情報を含む)や車両情報)を、通信インタフェース部23(通信I/F)を介して取得すると、被写体を撮影対象として設定した被写体情報を記憶部22のデータベースDBに登録する。被写体を構成する複数の車両のユーザーを撮影対象のグループとする場合、制御装置CNTは、複数の車両1A、1BのユーザーA、Bを一つのグループGRとして設定したグループ情報を記憶部22のデータベースDBに登録する。そして、制御装置CNTの処理部21はグループとして設定された複数の車両が所定の撮影エリアを走行中である場合に、無人航空機DRNの撮影部200を制御する制御信号を生成し、ネットワークNTを介して無人航空機DRNに送信する。
無人航空機DRNの撮影部200は制御装置CNTから送信された制御信号に基づいて撮影を行うことが可能である。撮影部200により撮影された画像は、ネットワークNTを介して制御装置CNTに送信され、記憶部22のデータベースDBに保存される。撮影された画像は、貸し出された車両の返却時に、情報処理装置18(外部端末)または複数のユーザーA、Bの端末、例えば、携帯型端末SP(例えば、スマートフォン)でプレビュー表示により確認(閲覧)することができ、ユーザーA、Bが撮影画像を気に入った場合、画像データを購入することが可能である。画像データを購入する場合、複数のユーザーA、Bの携帯型端末SP(スマートフォン)に画像データをダウンロードしてもよいし、CD-ROM、DVDなどの記憶媒体に画像データを保存してユーザーに提供することも可能である。制御装置CNTの処理部21及び無人航空機DRNの具体的な機能構成については後に詳細に説明する。
実施形態において、複数の車両の例として、車両1A、1Bは、例えば、鞍乗型車両などの電動型の二輪車両を用いることが可能である。尚、鞍乗型車両は運転者が車体を跨いで乗車する型のものを指し、その概念には、スクータ型の二輪車等も含まれる。
車両A、車両Bは同様の構成を有するもので、以下の説明では代表として車両1Aの構成について説明する。尚、複数の車両の例として、図1では二台の車両1A、1Bの例を示しているが、この例に限定されず、三台以上の車両によりグループを構成することも可能である。
車両1Aは、動力源11、車両に電力を供給するバッテリ12(電源装置)、操作機構13、車両を制御する車両制御装置14および通信装置15を備える。実施形態では動力源11は電動モータであり、バッテリ12は、動力源11及び車両1を構成する各要素に電力を供給することが可能である。バッテリ12には、例えば、充電可能な二次電池が用いられ、その例としては、鉛蓄電池、リチウムイオン電池、ニッケル水素電池等が挙げられる。バッテリ12は所定の電圧を供給可能な電源にケーブルを介して接続することにより充電可能である。また、走行経路の途中に設けられているバッテリ交換所で充電済のバッテリと交換し、充電済のバッテリ12を車両に装着してもよい。
操作機構13は、動力源11を制御するための操作を入力可能に構成され、例えば、ユーザーにより入力された操作に基づいて所定の信号を後述の車両制御装置14に出力する。操作機構13への操作入力の例としては、車両に対応する所定のキー(イグニッションキー、リモートキー等)を用いた回動操作、押圧式スイッチ(スタートスイッチ等)を用いた押圧操作等が挙げられる。
車両制御装置14は、車両1A全体の動作制御を行うことが可能なECU(電子制御ユニット)であり、例えば、所定の信号線を介して車両1Aの各構成要素との間で信号の送受信を行うことが可能である。一例として、車両制御装置14は、操作機構13への操作入力に応じた信号を受け取り、動力源11を始動させるように制御することが可能である。
車両制御装置14の機能は、ハードウェアおよびソフトウェアの何れによっても実現可能である。例えば、車両制御装置14の機能は、CPU(中央演算装置)がメモリを用いて所定のプログラムを実行することにより実現されてもよい。或いは、車両制御装置14の機能は、PLD(プログラマブルロジックデバイス)、ASIC(特定用途向け半導体集積回路)等、公知の半導体装置により実現されてもよい。また、ここでは車両制御装置14を単一の要素として示すが、車両制御装置14は必要に応じて2以上の要素に分けられてもよい。
通信装置15は、ネットワークNTを介して制御装置CNTとの通信を実現するためのアンテナを有する。また、通信装置15は、ネットワークNTを介して制御装置CNTとの通信を実現するための信号処理を行うTCU(テレマティクス制御ユニット)等を含む。
TCUは、バッテリ12からバッテリ12の電圧値を示す電圧情報を取得することが可能であり、また、TCUは、車両制御装置14(ECU)から車両1の制御状態を示す制御情報を取得することが可能である。TCUは、取得したバッテリ12の電圧情報および車両制御装置14(ECU)の制御情報を、ネットワークNTを介して制御装置CNTに送信する。また、TCUは、制御装置CNTから受信した情報に基づいて、車両制御装置14における車両制御に介入することが可能である。
通信装置15は、グループGRを構成する複数の車両間で車車間通信を行うことが可能であり、車両1Aの通信装置15は、グループGRを構成する他の車両1Bと無線通信を行い、車両間で情報交換を行うことが可能である。車両制御装置14は、車両間での車車間通信により撮影エリアを走行する際の速度や車距離をグループGR内で調整するように制御することか可能である。
検出装置16には、車両1Aの各種状態を検出する種々のセンサが含まれ、例えば、ジャイロセンサ、GPSセンサ、車速情報を検出する車速センサ等が含まれる。車両制御装置14は検出装置16で検出された情報に基づいて車両1Aを制御することが可能であり、通信装置15は検出装置16の検出結果を、ネットワークNTを介して制御装置CNTに送信することが可能である。
ジャイロセンサは車両1Aの回転運動を検知する。車両制御装置14は、ジャイロセンサの検知結果や、車速センサ等により車両1Aの進路を判定することができる。GPSセンサは、車両1Aの現在位置を検知する。また、通信装置15は、地図情報や交通情報を提供するサーバ装置と無線通信を行い、車両1Aの現在位置の情報を取得することも可能である。
実施形態において、通信装置15及び検出装置16は、車両の位置情報を取得する取得部と機能し、通信装置15は、ネットワークNTを介して、車両の位置情報を送信する車両通信部として機能する。
表示装置17は、車速メータやタコメータと共に、バッテリ12のバッテリ残量や、制御装置CNTから受信した報知情報を表示可能に構成されている。撮影エリアを走行する際に、グループGRにおける車両間で車速や車間距離に関する報知情報を制御装置CNTから受信すると、表示装置17は報知情報をユーザーに表示して、車速や車間距離に関する調整をユーザーに促すことが可能である。これにより、撮影を行う際の撮影準備として、車速及び車間距離をグループGR内で調整した状態で撮影エリアを走行することが可能になる。
制御装置CNTは、処理部21、記憶部22および通信インタフェース部23(通信I/F)を有しており、例えば、車両利用サービスを行う管理会社に設置されている。処理部21は、CPU及びメモリを備えるプロセッサにより構成され、記憶部22は、プログラムの処理領域となるRAMや、種々のプログラムやデータを記憶するROMや比較的大容量のHDD(ハードディスクトライブ)により構成される。また、クラウド上に分散配置されてもよい。
例えば、処理部21は、通信インタフェース部23によりネットワークNTを介して、車両1A、1B、無人航空機DRNと通信を行い、車両1A、1B、無人航空機DRNについての情報を記憶部22に格納し又は記憶部22から車両1A、1B、無人航空機DRNについての情報を読み出すことが可能である。また、無人航空機DRNの撮影部200で撮影された画像データを記憶部22に格納することが可能である。
ユーザーに車両が貸し出されると、ユーザーを特定するユーザー情報や貸し出された車両を識別する車両情報はネットワークNTを介して制御装置CNTに送信される。記憶部22は、被写体を撮影対象として設定した被写体情報を登録する。ここで、被写体情報には、ユーザーの端末情報やユーザーが使用する車両の車両情報が含まれる。複数の車両のユーザーを被写体とする場合、記憶部22は、複数の車両のユーザーを一つのグループGRとして設定したグループ情報を登録することが可能である。図1の例では、グループGRは、車両1Aを使用するユーザーAと、車両1Bを使用するユーザーBにより構成される。尚、図1の例では、グループGRは一つであるが、記憶部22は、複数のグループに関するグループ情報を登録することも可能である。
(無人航空機DRNの機能構成)
次に、無人航空機DRNの機能構成を説明する。図2のST21は無人航空機DRNの機能構成を例示するブロック図である。撮影部200は、無人航空機DRNに搭載されているカメラであり、撮影部200は、無人航空機DRNの飛行状態で複数の車両を撮影可能に構成されている。無人航空機DRNの撮影部200は静止画または動画撮影を行うことが可能である。
通信インタフェース部201(通信I/F)は、ネットワークNTを介して、車両1A、1Bや制御装置CNTと通信を行うことが可能である。通信インタフェース部201は、撮影部200で撮影された画像データを制御装置CNTに送信する。
特定部202は、被写体の端末(携帯型端末SP)から配信される被写体情報と制御装置CNT(通信制御部230)から送信された被写体情報とに基づいて、被写体を特定する。尚、被写体の特定に用いられる情報は、被写体の端末から配信される被写体情報に限られず、複数の車両1A、1Bから配信される車両情報と、制御装置CNTから送信される被写体情報(グループ情報)に含まれる車両情報とに基づいて、グループGRを構成する複数の車両を特定することも可能である。
無人航空機DRNが撮影を行う際に、グループGRを特定する情報として、車両を識別する車両情報を含むグループ情報が制御装置CNTの通信インタフェース部23から無人航空機DRNに送信される。また、複数の車両1A、1Bは走行中において、車両を識別する車両情報を通信装置15から配信しており、車両情報を照合することにより、特定部202は、制御装置CNTの通信インタフェース部23から送信されたグループ情報に基づいて、グループGRを構成する複数の車両を特定することができる。
撮影制御部203は、制御信号に基づいて撮影部200を制御して、特定部202により特定された複数の車両の撮影を制御する。撮影制御部203は、制御装置CNTから送信された制御信号(パラメータ制御信号)を受信すると、制御信号に基づいて、撮影部200の画角を水平方向に移動させる制御(Pan制御)、撮影部200の画角を垂直方法に移動させる制御(Tilt制御)、画角を拡大(ズームアップ)または縮小(ズームアウト)して撮影する制御を行うことが可能である。
ロータ204はモータ205を駆動源として回転し、無人飛行体DRNの推進力は発生させる。飛行状態における姿勢を制御するために、無人航空機DRNには、少なくとも4つのロータ204及びモータ205が設けられており、飛行制御部207は各モータ205の出力を制御することが可能である。飛行制御部207は、制御装置CNTから送信された制御信号に基づいて、旋回して飛行位置を変更したり、飛行高度を変更することが可能である。
センサ206は、例えば、距離センサであり、特定部202により特定された複数の車両と、無人航空機DRNとの距離を検出する。
(処理部21の機能構成)
次に、制御装置CNTの処理部21の具体的な機能構成を説明する。図2のST22は処理部21の機能構成を例示するブロック図である。図3は判定部210の処理を模式的に説明する図である。
判定部210は、種々の判定処理を行うことが可能であり、被写体の端末との通信により取得した被写体の位置情報と地図情報とに基づいて、被写体が所定の撮影エリアに存在するか判定する。例えば、複数の車両のユーザーを被写体とする場合、判定部210は、グループGRとして設定された複数の車両1A、1Bの位置情報と地図情報とに基づいて、複数の車両1A、1Bが所定の撮影エリアを走行中であるか判定する。判定部210は記憶部22に構築された地図情報のデータベースにアクセス可能であり、判定部210は複数の車両の位置情報と地図情報とを比較して、設定された撮影エリアを走行中であるか否かを判定する。
例えば、図3のST31に示すように、撮影エリアが基準となるエリアに比べて小さい(距離が短い)場合や、グループGRの車両1A、1Bの車間距離が開いている場合など、判定部210は、グループGRとして設定された複数の車両1A、1Bのうち少なくとも一台(車両1A)が撮影エリアに入ったと判定した場合に、判定部210は、複数の車両1A、1Bが撮影エリアを走行中であると判定する。
また、図3のST32に示すように、撮影エリアが基準となるエリアに比べて大きい(距離が長い)場合など、グループGRとして設定された複数の車両1A、1Bの全てが撮影エリアに入ったと場合に、判定部210は複数の車両が撮影エリアを走行中であると判定する。
信号生成部220は、判定部210の判定に基づいて種々の信号を生成することが可能であり、例えば、判定部210の判定に基づいて無人航空機DRNの撮影部200を制御する制御信号を生成する。
撮影を開始していない状態で、判定部210が複数の車両が撮影エリアを走行中であると判定した場合、信号生成部220は撮影開始を指示する制御信号を生成する。
また、撮影開始後において、判定部210が、複数の車両のうち少なくとも一台が撮影エリアを走行していると判定した場合に、信号生成部220は撮影継続を指示する制御信号を生成する。
そして、図3のST33に示すように、複数の車両1A、1Bのすべてが撮影エリアから出たと判定部210が判定した場合に、信号生成部220は撮影終了を指示する制御信号を生成する。
通信制御部230は、信号生成部220により生成された信号を、通信インタフェース部23を介して送信することが可能であり、例えば、信号生成部220により生成された制御信号を、通信インタフェース部23を介して無人航空機DRNに送信する。
撮影を開始する際には、通信制御部230は、被写体情報および制御信号を無人航空機DRNに送信する。複数の車両のユーザーを被写体とする場合、記憶部22は、被写体を構成する複数の車両のユーザーを撮影対象のグループとして設定したグループ情報を、被写体情報の一部として登録する。この場合、通信制御部230は、被写体情報(グループ情報を含む)および制御信号を無人航空機DRNに送信する。これにより、無人航空機DRNの特定部202は、グループ情報に基づいて、グループGRを構成する複数の車両を特定することができ、特定された複数の車両を撮影部200で撮影することが可能になる。
尚、判定部210は、撮影エリアまたは撮影エリアの手前に設定された所定の準備エリアに複数の車両のうち少なくとも一台が入ったと判定した場合に、信号生成部220は、撮影エリアまたは準備エリアに入ったことをユーザーに報知するエリア報知信号を生成し、通信制御部230は、複数の車両にエリア報知信号を送信することも可能である。
撮影前にエリア報知信号をユーザーに報知することでグループGRの車両同士の隊列を整える等、撮影に備えた走行を行うことが可能になる。
撮影継続、または撮影を終了する場合、通信制御部230は、信号生成部220により生成された撮影継続を指示する制御信号、または、撮影終了を指示する制御信号を無人航空機DRNに送信する。
無人航空機DRNの撮影制御部203は、撮影継続を指示する制御信号に基づいて撮影部200を制御して、撮影を継続するように制御する。また、無人航空機DRNの撮影制御部203は、撮影終了を指示する制御信号に基づいて撮影部200を制御して、撮影を終了するように制御する。
画像処理部240は、無人航空機DRNの撮影部200で撮影された画像データからユーザーの顔を抽出する画像処理を行うことが可能である。画像データが動画像である場合、画像処理部240は、各フレームの画像に画像処理を行う。また、画像処理部240は、所定のフレームレートでサンプリングした画像に対して画像処理を行うことも可能である。
画像判定部250は、画像処理の結果とグループ情報とに基づいて、グループGRとして設定された人数分のユーザーの顔が撮影されたか否かを判定する。例えば、グループGRとして設定されたユーザーA、B、二人分のユーザーの顔が画像処理により抽出された場合、すなわち、グループGRの設定数(N1)と画像処理に抽出された抽出数(N2)とが等しい場合(N1=N2)、画像判定部250はグループGRを構成するユーザー全員の顔が撮影されたと判定する。
一方、画像処理の結果により抽出されたユーザーの顔が一人分の場合、すなわち、グループGRの設定数(N1=2)と画像処理に抽出された抽出数(N2=1)とが等しくない場合(この場合はN1>N2)、画像判定部250はグループGRとして設定された人数分のユーザーの顔が撮影されなかったと判定する。
逆光判定部260は撮影部200により撮影された画像データに基づいて、逆光か否かを判定する。例えば、撮影部200により撮影された画像データにおいて、画素値が局所的に基準画素値を超える領域が含まれているとき、逆光判定部260は逆光の撮影状態で撮影された画像と判定することが可能である。この場合、信号生成部220は逆光を回避するように無人航空機DRNの飛行位置の変更を指示する飛行制御信号を生成したり、撮影部200の画角を変更するように制御信号を生成する。具体的な処理については、図5のステップS570の後の逆光判定に関する追加処理で説明する。
(処理フロー)
図4は記憶部22および処理部21(判定部210、信号生成部220、通信制御部230)の処理の流れを説明する図である。
ステップS400において、記憶部22はグループGRの情報を登録する。制御装置CNTが、情報処理装置18(外部端末)から送信された情報(ユーザー情報や車両情報)を、通信インタフェース部23を介して取得すると、記憶部22は、複数の車両1A、1BのユーザーA、Bを一つのグループGRとして設定したグループ情報をデータベースDBに登録する。
ステップS405において、判定部210は記憶部22に構築された地図情報のデータベースから地図情報を取得する。
ステップS410において、判定部210は複数の車両の位置情報を取得し、ステップS415において、判定部210はグループGRとして設定された複数の車両1A、1Bの位置情報と地図情報とに基づいて、複数の車両1A、1Bが所定の撮影エリアを走行中であるか判定する。
ステップS415の判定で、車両が撮影エリアを走行していない場合(S415-No)、判定部210は処理をステップS410に戻し同様の処理を繰り返す。
一方、ステップS415の判定で、車両が撮影エリアを走行している場合(S415-Yes)、処理はステップS420に進められる。
ステップS420において、信号生成部220は、判定部210の判定に基づいて無人航空機DRNの撮影部200を制御する制御信号として、撮影開始を指示する制御信号を生成する。
そして、ステップS425において、通信制御部230は登録されたグループGRの情報および生成された制御信号を無人航空機DRNに送信する。
無人航空機DRNの特定部202は、グループ情報に基づいて、グループGRを構成する複数の車両を特定し、特定された複数の車両を撮影部200で撮影する。
ステップS430において、判定部210は、複数の車両1A、1Bのすべてが撮影エリアから出たか判定し、すべての車両が撮影エリアから出ていない場合(S430-No)、すなわち、複数の車両のうち少なくとも一台が撮影エリアを走行していると判定部210が判定した場合に、ステップS435に処理は進められる。
ステップS435において、信号生成部220は撮影継続を指示する制御信号を生成し、ステップS440において、通信制御部230は、信号生成部220により生成された撮影継続を指示する制御信号を無人航空機DRNに送信する。撮影継続を指示する制御信号を受信すると、無人航空機DRNの撮影制御部203は、撮影継続を指示する制御信号に基づいて撮影部200を制御して、撮影を継続するように制御する。
一方、ステップS430の判定で、複数の車両1A、1Bのすべてが撮影エリアから出たと判定部210が判定した場合に(S430-Yes)、ステップS445において、信号生成部220は撮影終了を指示する制御信号を生成する。
そして、ステップS450において、通信制御部230は、信号生成部220により生成された撮影終了を指示する制御信号を無人航空機DRNに送信する。撮影終了を指示する制御信号を受信すると、無人航空機DRNの撮影制御部203は、撮影終了を指示する制御信号に基づいて撮影部200を制御して、撮影を終了するように制御する。
(画像処理部および画像判定部の処理フロー)
図5は画像処理部240及び画像判定部250の処理の流れを説明する図である。ステップS500において、画像処理部240は、無人航空機DRNの撮影部200で撮影された画像データを取得する。
ステップS510において、画像処理部240は画像データからユーザーの顔を抽出する画像処理を行う。
ステップS520において、画像判定部250は、ステップS510で取得された画像処理の結果と予め登録されたグループ情報とに基づいて、グループGRとして設定された人数分のユーザーの顔が撮影されたか否かを画像判定する。
ステップS520の判定で、設定された人数分のユーザーの顔が撮影された場合(S520-Yes)、処理はステップS530に進められる。
そして、ステップS530において、記憶部22は撮影された画像データをデータベースに記憶して処理を終了する。
データベースに記憶された画像データは、貸し出された車両の返却時に、情報処理装置18(外部端末)または複数のユーザーA、Bの携帯型端末SPでのプレビュー表示に提供することが可能である。ユーザーA、Bが撮影画像を気に入った場合、画像データを購入することが可能であり、この場合、複数のユーザーA、Bの携帯型端末SP(スマートフォン)に画像データをダウンロードすることが可能である。また、記憶媒体に画像データを保存してユーザーに提供することも可能である。
一方、ステップS520の判定で、設定された人数分のユーザーの顔が撮影されなかった場合(S520-No)、処理はステップS540に進められる。
ステップS540において、信号生成部220は撮影パラメータを制御するパラメータ制御信号を生成する。信号生成部220は、設定された人数分のユーザーの顔が撮影されなかった場合に、設定された人数分のユーザー(全員)の顔を撮影できるように、撮影部200の撮影パラメータを制御するパラメータ制御信号を生成する。信号生成部220は、Pan制御用の撮影パラメータとして、撮影部200の画角を水平方向に移動させるパラメータ制御信号、または、Tilt制御用の撮影パラメータとして、撮影部200の画角を垂直方法に移動させるパラメータ制御信号を生成することが可能である。更に、画角を拡大(ズームアップ)または縮小(ズームアウト)して撮影するパラメータ制御信号を生成することが可能である。
ステップS550において、通信制御部230は信号生成部220により生成されたパラメータ制御信号を無人航空機DRNに送信する。パラメータ制御信号を受信すると、無人航空機DRNの撮影制御部203は、パラメータ制御信号に基づいて撮影部200を制御して、無人航空機DRNで移動しながら撮影を行う。パラメータ制御信号に基づいて撮影部200の画角を制御することにより、グループ全員の顔を撮影することができる。
ステップS560において、信号生成部220は撮影のやり直しを案内する撮影案内信号を生成する。画像判定部250の判定により、設定された人数分のユーザーA、Bの顔が撮影されなかった場合に、信号生成部220は、撮影のやり直しをユーザーA、Bに案内する撮影案内信号を生成する。
そして、ステップS570において、通信制御部230は、複数の車両1A,1Bに撮影案内信号を送信する。撮影案内信号を受信すると、各車両の表示装置17は撮影案内信号に基づく表示をユーザーに示し、再度の撮影を案内する。これにより、ユーザーの全員の顔を撮影できなかった場合であっても、撮影案内信号を生成し、複数の車両に撮影案内信号を送信することにより、撮影エリアにおいてすぐに撮り直しを行うことが可能になる。
ステップS570の後、処理はステップS500に戻され、以降同様の処理が繰り返し実行される。
(逆光判定に関する追加処理)
尚、ステップS570の後、逆光判定に関する追加処理を行うことも可能である。逆光判定部260は、撮影部200により撮影された画像データに基づいて、撮影状態が逆光か否かを判定する。例えば、撮影部200により撮影された画像データにおいて、画素値が局所的に基準画素値を超える領域が含まれているとき、逆光判定部260は逆光の撮影状態で撮影された画像と判定する。
信号生成部220は、撮影状態が逆光と判定された場合に、逆光を回避するように無人航空機DRNの飛行位置の変更を指示する飛行制御信号を生成する。例えば、信号生成部220は、撮影部の視野角の範囲内に太陽が入らないように無人航空機DRNに旋回を指示する飛行制御信号を生成する。
通信制御部230は、無人航空機DRNに飛行制御信号を送信する。飛行制御信号を受信すると、無人航空機の飛行制御部207は、飛行制御信号に基づいて飛行位置を変更する。
また、信号生成部220は、撮影状態が逆光と判定された場合に、撮影部200の画角を水平方向に移動させる制御(Pan制御)、または撮影部200の画角を垂直方法に移動させる制御(Tilt制御)を行うように制御信号(パラメータ制御信号)を生成することも可能である。
通信制御部230は、無人航空機DRNにパラメータ制御信号を送信する。パラメータ制御信号を受信すると、無人航空機DRNの撮影制御部203はパラメータ制御信号に基づいて撮影部200の画角を変更する。
撮影された画像データに基づいて、逆光の撮影状態と判断された場合に、無人航空機の飛行位置を変更、または撮影部200の画角を変更することにより逆光を回避した状態で撮影を行うことが可能になる。
(複数の車両の車間距離の調整処理)
制御装置CNTは、複数の車両1A、1Bが撮影エリアまたは撮影エリアの手前に設定された所定の準備エリアを走行する際の車間距離をチェックして、撮影に適した車間距離(所定の基準距離範囲に収まる距離)になるように報知情報を複数の車両に送信する。
例えば、車両間の車間距離が、所定の基準距離範囲の上限の距離を超えている場合、車間距離が開きすぎていることを報知する距離報知信号を複数の車両1A、1Bに送信して各車両のユーザーに報知する。
また、車両間の車間距離が、所定の基準距離範囲の下限の距離以下の場合、車間距離が接近しすぎていることを報知する接近報知信号を複数の車両1A、1Bに送信して各車両のユーザーに報知する。
図6は複数の車両の車間距離の調整処理の流れを説明する図である。ステップS600において、判定部210は、撮影エリアまたは撮影エリアの手前に設定された所定の準備エリアを走行する複数の車両1A、1Bの位置情報を取得する。ステップS610において、判定部210は複数の車両1A、1Bの車間距離を位置情報に基づいて取得する。例えば、判定部210は位置情報の差分に基づいて、車間距離を取得することが可能である。
ステップS620において、判定部210は取得した車間距離が所定の基準距離範囲の上限の距離を超えていると判定する場合に(S620-Yes)、処理をステップS630に進める。
ステップS630において、信号生成部220は、車間距離が基準距離範囲の上限の距離を超えていることをユーザーに報知する距離報知信号を生成する。そして、ステップS640において、通信制御部230は、複数の車両1A、1Bに距離報知信号を送信する。車間距離が開きすぎている場合には、撮影エリアを走行する際に複数のユーザーを同時に撮影できない可能性があるため、車間距離が基準距離範囲の上限の距離を超えていることを報知する距離報知信号を複数の車両に送信してユーザーに報知することで車間距離を詰めるよう促すことが可能になる。
また、ステップS620の判定で、取得した車間距離が所定の基準距離範囲の上限の距離を超えていない場合に(S620-No)、判定部210は処理をステップS650に進める。
ステップS650において、取得した車間距離が基準距離範囲の下限の距離以下でないと判定部210が判定する場合(S650-No)、判定部210は処理をステップS600に戻し、同様の処理を繰り返し実行する。この場合、複数の車両1A、1Bの車間距離は、撮影に適した車間距離(所定の基準距離範囲に収まる距離)であり、報知信号(距離報知信号、接近報知信号)を生成することなく、車間距離のチェック処理を継続して実行する。
一方、ステップS650の判定で、取得した車間距離が所定の基準距離範囲の下限の距離以下となる場合(S650-Yes)、判定部210は処理をステップS660に進める。
ステップS660において、信号生成部220は、車間距離が基準距離範囲の下限の距離以下であることをユーザーに報知する接近報知信号を生成する。
そして、ステップS670において、通信制御部230は、複数の車両に接近報知信号を送信する。車間距離が近づきすぎている場合には撮影エリアを走行する際に複数のユーザーが重なり同時に撮影できない可能性があるため、車間距離が基準距離範囲の下限の距離以下であることを報知する接近報知信号を複数の車両に送信してユーザーに報知することで車間距離を開けるよう促すことが可能になる。
(複数の車両の速度差の調整処理)
制御装置CNTは、複数の車両1A、1Bが撮影エリアまたは撮影エリアの手前に設定された所定の準備エリアを走行する際の車両間の速度差をチェックして、撮影に適した速度差(所定の基準速度以下)になるように速度報知信号を複数の車両に送信する。
図7は複数の車両の速度差の調整処理の流れを説明する図である。ステップS700において、判定部210は、撮影エリアまたは撮影エリアの手前に設定された所定の準備エリアを走行する複数の車両1A、1Bの速度情報を取得する。ステップS710において、判定部210は複数の車両1A、1Bの速度差を複数の車両1A、1Bの速度情報に基づいて取得する。例えば、判定部210は速度情報の差分に基づいて、車両間の速度差を取得することが可能である。
ステップS720において、取得した速度差が基準速度を超えない場合(S720-No)、判定部210は処理をステップS700に戻し、同様の処理を繰り返し実行する。この場合、複数の車両1A、1Bの速度差は、撮影に適した速度差(所定の基準速度以下)であり、速度報知信号を生成することなく、速度差のチェック処理を継続して実行する。
一方、ステップS720の判定で、速度差が所定の基準速度を超える場合(S720-Yes)、判定部210は処理をステップS730に進める。
ステップS730において、信号生成部220は、速度差が基準速度を超えることをユーザーに報知する速度報知信号を生成する。
そして、ステップS740において、通信制御部230は、複数の車両1A、1Bに速度報知信号を送信する。
速度差が基準速度を超える場合には、撮影エリアを走行する際に複数のユーザーを同時に撮影できない可能性があるため、速度差が基準速度を超えることを報知する速度報知信号を複数の車両に送信してユーザーに報知することで速度差を小さくするよう促すことが可能になる。
[第2実施形態]
先に説明した第1実施形態では、被写体を構成する複数の車両のユーザーを撮影対象のグループとして説明したが、被写体の構成はこの例に限られず、例えば、歩行者、または、単独の車両のユーザーであってもよい。第2実施形態では、歩行者、または、単独の車両のユーザーを撮影対象とする構成について説明する。撮影システムSTMの構成及び車両、制御装置CNT、無人航空機DRNの機能構成は、図1、図2と同様である。以下、第1実施形態と相違する部分について、以下説明する。
第2実施形態では、制御装置CNTの記憶部22は、被写体を構成する、単独または複数の歩行者または単独の車両のユーザーを撮影対象として設定したユーザー情報を、被写体情報として登録する。ここで、被写体情報には、ユーザーの端末情報やユーザーが使用する車両の車両情報が含まれる。被写体が歩行者の場合、被写体情報には、歩行者の端末情報が被写体情報として記憶部22に登録される。
判定部210は、被写体の端末(例えば、図1のSP)との通信により取得した被写体の位置情報と地図情報とに基づいて、被写体が所定の撮影エリアに存在するか判定する。すなわち、判定部210は、被写体の位置情報と地図情報とに基づいて、被写体が所定の撮影エリア(図3)に入ったか否かを判定する。判定部210が、撮影対象として設定された被写体が撮影エリアに入ったと判定した場合に、信号生成部220は撮影開始を指示する制御信号を生成し、通信制御部230は、信号生成部220により生成された制御信号及び被写体情報を無人航空機DRNに送信する。
無人航空機DRNの特定部202は、被写体の端末から配信される被写体情報と通信制御部230から送信された被写体情報とに基づいて、被写体を特定し、無人航空機DRNの撮影制御部203は、制御信号に基づいて撮影部200を制御して、被写体の撮影を開始する。
また、判定部210は、撮影エリアまたは撮影エリアの手前に設定された所定の準備エリアに被写体が入ったと判定した場合に、信号生成部220は、撮影エリアまたは準備エリアに入ったことを被写体に報知するエリア報知信号を生成し、通信制御部230は、被写体にエリア報知信号を送信する。
また、制御装置CNTは、機能構成として、撮影手段で撮影された画像データから被写体の顔を抽出する画像処理を行う画像処理部240と、画像処理の結果に基づいて、被写体の顔が撮影されたか否かを判定する画像判定部260とを備える。
画像判定部260の判定により被写体の顔が撮影されなかった場合に、信号生成部220は、被写体の顔を撮影できるように、撮影部200の撮影パラメータを制御するパラメータ制御信号を生成し、通信制部230は生成されたパラメータ制御信号を無人航空機DRNに送信する。
無人航空機DRNの撮影制御部203は、パラメータ制御信号に基づいて撮影部200を制御して被写体の撮影を行う。また、画像判定部の判定により、被写体の顔が撮影されなかった場合に、信号生成部220は、撮影のやり直しを被写体に案内する撮影案内信号を生成し、通信制御部230は、被写体の端末に撮影案内信号を送信する。撮影案内信号を受信すると、被写体の端末は撮影案内信号に基づく表示をユーザーに示し、再度の撮影を案内する。
また、被写体が単独の車両のユーザーである場合は、通信制御部230は、被写体であるユーザーの車両に撮影案内信号を送信することも可能である。撮影案内信号を受信すると、車両の表示装置17は撮影案内信号に基づく表示をユーザーに示し、再度の撮影を案内する。これにより、ユーザーの顔を撮影できなかった場合であっても、撮影案内信号を生成し、車両に撮影案内信号を送信することにより、撮影エリアにおいてすぐに撮り直しを行うことが可能になる。
<実施形態のまとめ>
上記実施形態は、少なくとも以下の構成を開示する。
構成1.上記実施形態の撮影システムは、飛行状態で被写体を撮影可能な撮影手段(例えば、図1の200)を有する無人航空機(例えば、図1のDRN)と、前記被写体の端末(例えば、図1のSP)及び前記無人航空機と通信可能な制御装置(例えば、図1のCNT)と、を有する撮影システム(例えば、図1のSTM)であって、
前記制御装置(CNT)は、
前記被写体を撮影対象として設定した被写体情報を登録する記憶手段(例えば、図1の22)と、
前記端末との通信により取得した当該被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定手段(例えば、図2の210)と、
前記判定手段の判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成手段(例えば、図2の220)と、
前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御手段(例えば、図2の230)と、を備え、
前記無人航空機(DRN)は、
前記被写体の端末から配信される被写体と前記通信制御手段から送信された前記被写体情報とに基づいて、前記被写体を特定する特定手段(例えば、図2の202)と、
前記制御信号に基づいて前記撮影手段を制御して、前記特定手段により特定された前記被写体の撮影を制御する撮影制御手段(例えば、図2の203)と、を備える。
構成1の撮影システムによれば、予め登録した被写体を無人航空機により撮影することが可能な技術を提供することができる。
構成2.上記実施形態の撮影システムでは、前記記憶手段は、前記被写体を構成する複数の車両のユーザーを撮影対象のグループとして設定したグループ情報を、前記被写体情報として登録し、
前記判定手段は、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアを走行しているか否かを判定する。
構成2の撮影システムによれば、グループとして予め登録した複数の車両のユーザーを被写体として、車両で走行中のユーザーを無人航空機により撮影することが可能になる。すなわち、構成1の撮影システムによれば、予め設定したグループ情報に基づき、複数の車両で走行中のユーザーを同時に無人航空機によって撮影することが可能になり、グループで同時に撮影を行ってほしいユーザーのニーズに対応した撮影システムを提供することができる。
構成3.上記実施形態の撮影システムでは、前記判定手段(210)が、前記グループとして設定された前記複数の車両のうち少なくとも一台が前記撮影エリアに入ったと判定した場合に、前記複数の車両が前記撮影エリアを走行中であると判定し、
前記信号生成手段(220)は撮影開始を指示する制御信号を生成し、
前記撮影制御手段(230)は、当該制御信号に基づいて前記撮影手段(200)を制御して、前記複数の車両(1A、1B)のグループの撮影を開始する。
構成3の撮影システムによれば、撮影開始のタイミングを制御することができ、撮影エリアが小さい、もしくはグループの車両の車間距離が開いているなどの場合でも、最初に撮影エリアに入った車両を撮影することができる。
構成4.上記実施形態の撮影システムでは、前記判定手段(210)が、前記複数の車両(1A、1B)のうち少なくとも一台が前記撮影エリアを走行していると判定した場合に、
前記信号生成手段(220)は撮影継続を指示する制御信号を生成し、
前記撮影制御手段(230)は、当該制御信号に基づいて前記撮影手段を制御して、前記撮影を継続し、
前記判定手段(210)が、前記複数の車両のすべてが前記撮影エリアから出たと判定した場合に、
前記信号生成手段(220)は撮影終了を指示する制御信号を生成し、
前記撮影制御手段(230)は、当該制御信号に基づいて前記撮影手段を制御して、前記撮影を終了する。
構成4の撮影システムによれば、撮影終了のタイミングを制御することができ、グループとして設定された複数の車両をもれなく撮影することが可能になる。
構成5.上記実施形態の撮影システムでは、前記判定手段(210)が、前記グループとして設定された前記複数の車両(1A、1B)の全てが前記撮影エリアに入ったと判定した場合に、前記複数の車両(1A、1B)が前記撮影エリアを走行中であると判定し、
前記信号生成手段(220)は撮影開始を指示する制御信号を生成し、
前記撮影制御手段(230)は、当該制御信号に基づいて前記撮影手段を制御して、前記複数の車両のグループの撮影を開始する。
構成5の撮影システムによれば、撮影開始のタイミングを制御することができ、グループとして設定されたすべての複数の車両が撮影エリアに入っている場合に撮影を行うことができ、ユーザーのニーズを満たす映像のみを撮影することが可能になる。
構成6.上記実施形態の撮影システムでは、前記判定手段(210)は、前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアに前記複数の車両(1A、1B)のうち少なくとも一台が入ったと判定した場合に、
前記信号生成手段(220)は、当該撮影エリアまたは準備エリアに入ったことを前記ユーザーに報知するエリア報知信号を生成し、
前記通信制御手段(230)は、前記複数の車両に前記エリア報知信号を送信する。
構成6の撮影システムによれば、撮影前にエリア報知信号をユーザーに報知することでグループの車両同士の隊列を整える等、撮影に備えた走行を行うことが可能になる。
構成7.上記実施形態の撮影システムでは、前記制御装置(CNT)は、
前記撮影手段で撮影された画像データから前記ユーザーの顔を抽出する画像処理を行う画像処理手段(例えば、図2の240)と、
前記画像処理の結果と前記グループ情報とに基づいて、前記グループとして設定された人数分のユーザーの顔が撮影されたか否かを判定する画像判定手段(例えば、図2の250)と、を更に備え、
前記信号生成手段(220)は、
前記設定された人数分のユーザーの顔が撮影されなかった場合に、前記設定された人数分のユーザーの顔を撮影できるように、前記撮影手段の撮影パラメータを制御するパラメータ制御信号を生成し、
前記無人航空機(DRN)の前記撮影制御手段(203)は、
前記パラメータ制御信号に基づいて前記撮影手段を制御して前記撮影を行う。
構成7の撮影システムによれば、パラメータ制御信号に基づいて撮影部を制御することにより、グループ全員の顔を撮影することが可能となる。
構成8.上記実施形態の撮影システムでは、前記画像判定手段(250)の判定により、前記設定された人数分のユーザーの顔が撮影されなかった場合に、
前記信号生成手段(220)は、前記撮影のやり直しを前記ユーザーに案内する撮影案内信号を生成し、
前記通信制御手段(230)は、前記複数の車両(1A、1B)に前記撮影案内信号を送信する。
構成8の撮影システムによれば、ユーザーの全員の顔を撮影できなかった場合であっても、撮影のやり直しをユーザーに案内する撮影案内信号を生成し、複数の車両に撮影案内信号を送信することにより、撮影エリアにおいてすぐに撮り直しを行うことが可能になる。
構成9.上記実施形態の撮影システムでは、前記判定手段(210)は、
前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアを走行する前記複数の車両(1A、1B)の車間距離を前記位置情報に基づいて取得し、前記車間距離が所定の基準距離範囲の上限の距離を超えていると判定する場合に、
前記信号生成手段(220)は、
前記車間距離が前記基準距離範囲の上限の距離を超えていることを前記ユーザーに報知する距離報知信号を生成し、
前記通信制御手段(230)は、前記複数の車両(1A、1B)に前記距離報知信号を送信する。
構成9の撮影システムによれば、車間距離が開きすぎている場合には、撮影エリアを走行する際に複数のユーザーを同時に撮影できない可能性があるため、車間距離が基準距離範囲の上限の距離を超えていることを報知する距離報知信号を複数の車両に送信してユーザーに報知することで車間距離を詰めるよう促すことが可能になる。
構成10.上記実施形態の撮影システムでは、前記判定手段(210)は、
前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアを走行する前記複数の車両(1A、1B)の車間距離を前記位置情報に基づいて取得し、前記車間距離が所定の基準距離範囲の下限の距離以下と判定する場合に、
前記信号生成手段(220)は、
前記車間距離が前記基準距離範囲の下限の距離以下であることを前記ユーザーに報知する接近報知信号を生成し、
前記通信制御手段(230)は、前記複数の車両(1A、1B)に前記接近報知信号を送信する。
構成10の撮影システムによれば、車間距離が近づきすぎている場合には撮影エリアを走行する際に複数のユーザーが重なり同時に撮影できない可能性があるため、車間距離が基準距離範囲の下限の距離以下であることを報知する接近報知信号を複数の車両に送信してユーザーに報知することで車間距離を開けるよう促すことが可能になる。
構成11.上記実施形態の撮影システムでは、前記複数の車両(1A、1B)は、
車両の位置情報を取得する取得手段(例えば、図1の通信装置15及び検出装置16)と、
前記車両の位置情報を送信する車両通信手段(例えば、図1の通信装置15)と、
前記車両の速度情報を検出する検出手段(例えば、図1の16)と、を備え、
前記車両通信手段(15)は前記速度情報を前記制御装置に送信し、
前記制御装置(CNT)の前記判定手段(210)は、
前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアを走行する前記複数の車両(1A、1B)の速度差を前記速度情報に基づいて取得し、前記速度差が所定の基準速度を超えると判定した場合に、
前記信号生成手段(220)は、
前記速度差が前記基準速度を超えることを前記ユーザーに報知する速度報知信号を生成し、
前記通信制御手段(230)は、前記複数の車両に前記速度報知信号を送信する。
構成11の撮影システムによれば、速度差が基準速度を超える場合には、撮影エリアを走行する際に複数のユーザーを同時に撮影できない可能性があるため、速度差が基準速度を超えることを報知する速度報知信号を複数の車両に送信してユーザーに報知することで速度差を小さくするよう促すことが可能になる。
構成12.上記実施形態の撮影システムでは、前記制御装置(CNT)は、
前記撮影手段により撮影された画像データに基づいて、撮影状態が逆光か否かを判定する逆光判定手段(例えば、図2の260)を更に備え、
前記信号生成手段(220)は、前記撮影状態が逆光と判定された場合に、前記逆光を回避するように前記無人航空機の飛行位置の変更を指示する飛行制御信号を生成し、
前記通信制御手段(230)は、前記無人航空機に前記飛行制御信号を送信し、
前記無人航空機(DRN)の飛行制御手段(例えば、図2の207)は、
前記飛行制御信号に基づいて前記飛行位置を変更する。
構成12の撮影システムによれば、撮影された画像データに基づいて、逆光の撮影状態と判断された場合に、無人航空機の飛行位置を変更することにより逆光を回避した状態で撮影を行うことが可能になる。
構成13.上記実施形態の撮影システムでは、前記信号生成手段(220)は、前記撮影状態が逆光と判定された場合に、前記撮影手段(200)の画角を水平方向に移動させる制御、または前記撮影手段(200)の画角を垂直方法に移動させる制御を行うようにパラメータ制御信号を生成し、
前記通信制御手段(230)は、前記無人航空機に前記パラメータ制御信号を送信し、
前記無人航空機(DRN)の撮影制御手段(203)は、
前記パラメータ制御信号に基づいて前記撮影手段(200)の画角を変更する。
構成13の撮影システムによれば、撮影された画像データに基づいて、逆光の撮影状態と判断された場合に、撮影部の画角を変更することにより逆光を回避した状態で撮影を行うことが可能になる。
構成14.上記実施形態の撮影システムでは、前記記憶手段(22)は、前記被写体を構成する、歩行者または単独の車両のユーザーを撮影対象として設定したユーザー情報を、前記被写体情報として登録し、
前記判定手段(210)は、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに入ったか否かを判定する。
構成14の撮影システムによれば、予め登録した歩行者または単独の車両のユーザーを被写体として、歩行者または単独の車両のユーザーを無人航空機により撮影することが可能な技術を提供することができる。
構成15.上記実施形態の撮影システムでは、前記判定手段(210)が、前記撮影対象として設定された前記被写体が前記撮影エリアに入ったと判定した場合に、
前記信号生成手段(220)は撮影開始を指示する制御信号を生成し、
前記撮影制御手段(203)は、当該制御信号に基づいて前記撮影手段(200)を制御して、前記被写体の撮影を開始する。
構成15の撮影システムによれば、撮影開始のタイミングを制御することが可能になる。これにより、撮影エリアが小さい場合であっても、撮影のタイミングを逃すことなく被写体の撮影を行うことが可能になる。
構成16.上記実施形態の撮影システムでは、前記判定手段(200)は、前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアに前記被写体が入ったと判定した場合に、
前記信号生成手段(220)は、当該撮影エリアまたは準備エリアに入ったことを前記被写体に報知するエリア報知信号を生成し、
前記通信制御手段(230)は、前記被写体に前記エリア報知信号を送信する。
構成16の撮影システムによれば、撮影前にエリア報知信号を被写体に報知することで、被写体は撮影の事前準備を行うことが可能になる。
構成17.上記実施形態の撮影システムでは、前記制御装置(CNT)は、
前記撮影手段(200)で撮影された画像データから前記被写体の顔を抽出する画像処理を行う画像処理手段(例えば、図2の240)と、
前記画像処理の結果に基づいて、前記被写体の顔が撮影されたか否かを判定する画像判定手段と(例えば、図2の250)、を更に備え、
前記信号生成手段(220)は、
前記被写体の顔が撮影されなかった場合に、前記被写体の顔を撮影できるように、前記撮影手段(200)の撮影パラメータを制御するパラメータ制御信号を生成し、
前記無人航空機(DRN)の前記撮影制御手段(203)は、
前記パラメータ制御信号に基づいて前記撮影手段(200)を制御して前記撮影を行う。
構成17の撮影システムによれば、パラメータ制御信号に基づいて撮影部を制御することにより、被写体の顔を撮影することが可能となる。
構成18.上記実施形態の撮影システムでは、前記画像判定手段(250)の判定により、前記被写体の顔が撮影されなかった場合に、
前記信号生成手段(220)は、前記撮影のやり直しを前記被写体に案内する撮影案内信号を生成し、
前記通信制御手段(230)は、前記被写体に前記撮影案内信号を送信する。
構成18の撮影システムによれば、被写体の顔を撮影できなかった場合であっても、撮影のやり直しを被写体に案内する撮影案内信号を生成し、被写体に撮影案内信号を送信することにより、撮影エリアにおいてすぐに撮り直しを行うことが可能になる。
構成19.上記実施形態の制御装置は、飛行状態で被写体を撮影可能な撮影手段(例えば、図2の200)を有する無人航空機(例えば、図1のDRN)と通信可能な制御装置(例えば、図1のCNT)であって、
前記被写体を撮影対象として設定した被写体情報を登録する記憶手段(例えば、図1の22)と、
前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定手段(例えば、図2の210)と、
前記判定手段の判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成手段(例えば、図2の220)と、
前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御手段(例えば、図2の230)と、を備える。
構成20.上記実施形態の制御方法は、飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置における制御方法であって、
前記被写体を撮影対象として設定した被写体情報を記憶手段(22)に登録する記憶工程(例えば、図4のS400)と、
判定手段(210)が、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定工程(例えば、図4のS415)と、
信号生成手段(220)が、前記判定工程での判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成工程(例えば、図4のS420)と、
通信制御手段(230)が、前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御工程(例えば、図4のS425)と、を有する。
構成21.上記実施形態のプログラムは、コンピュータに、飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置における制御方法の各工程を実行させるプログラムであって、当該制御方法が、
前記被写体を撮影対象として設定した被写体情報を記憶手段(22)に登録する記憶工程(例えば、図4のS400)と、
判定手段(210)が、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定工程(例えば、図4のS415)と、
信号生成手段(220)が、前記判定工程での判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成工程と(例えば、図4のS420)、
通信制御手段(230)が、前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御工程(例えば、図4のS425)と、を有する。
構成22.上記実施形態の記憶媒体は、
コンピュータに、飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置における制御方法の各工程を実行させるプログラムを記憶したコンピュータ可読の記憶媒体であって、当該制御方法が、
前記被写体を撮影対象として設定した被写体情報を記憶手段(22)に登録する記憶工程(例えば、図4のS400)と、
判定手段(210)が、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定工程(例えば、図4のS415)と、
信号生成手段(220)が、前記判定工程での判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成工程(例えば、図4のS420)と、
通信制御手段(230)が、前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御工程(例えば、図4のS425)と、を有する。
構成19の制御装置、構成20の制御方法、構成21のプログラム及び構成22の記憶媒体によれば、予め登録した被写体を無人航空機により撮影するための制御技術を提供することができる。
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
本願は、2019年9月27日提出の日本国特許出願特願2019-177692を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
1A、1B:車両、DRN:無人航空機、200:撮影部、201:通信インタフェース部(通信I/F)、202:特定部、203:撮影制御部、207:飛行制御部、CNT:制御装置(制御サーバ)、210:判定部、220:信号生成部、230:通信制御部、240:画像処理部、250:画像判定部、260:逆光判定部

Claims (22)

  1. 飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と、前記被写体の端末及び前記無人航空機と通信可能な制御装置と、を有する撮影システムであって、
    前記制御装置は、
    前記被写体を撮影対象として設定した被写体情報を登録する記憶手段と、
    前記端末との通信により取得した当該被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定手段と、
    前記判定手段の判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成手段と、
    前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御手段と、を備え、
    前記無人航空機は、
    前記被写体の端末から配信される被写体情報と前記通信制御手段から送信された前記被写体情報とに基づいて、前記被写体を特定する特定手段と、
    前記制御信号に基づいて前記撮影手段を制御して、前記特定手段により特定された前記被写体の撮影を制御する撮影制御手段と、
    を備えることを特徴とする撮影システム。
  2. 前記記憶手段は、前記被写体を構成する複数の車両のユーザーを撮影対象のグループとして設定したグループ情報を、前記被写体情報として登録し、
    前記判定手段は、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアを走行しているか否かを判定する
    ことを特徴とする請求項1に記載の撮影システム。
  3. 前記判定手段が、前記グループとして設定された前記複数の車両のうち少なくとも一台が前記撮影エリアに入ったと判定した場合に、前記複数の車両が前記撮影エリアを走行中であると判定し、
    前記信号生成手段は撮影開始を指示する制御信号を生成し、
    前記撮影制御手段は、当該制御信号に基づいて前記撮影手段を制御して、前記複数の車両のグループの撮影を開始することを特徴とする請求項2に記載の撮影システム。
  4. 前記判定手段が、前記複数の車両のうち少なくとも一台が前記撮影エリアを走行していると判定した場合に、
    前記信号生成手段は撮影継続を指示する制御信号を生成し、
    前記撮影制御手段は、当該制御信号に基づいて前記撮影手段を制御して、前記撮影を継続し、
    前記判定手段が、前記複数の車両のすべてが前記撮影エリアから出たと判定した場合に、
    前記信号生成手段は撮影終了を指示する制御信号を生成し、
    前記撮影制御手段は、当該制御信号に基づいて前記撮影手段を制御して、前記撮影を終了することを特徴とする請求項3に記載の撮影システム。
  5. 前記判定手段が、前記グループとして設定された前記複数の車両の全てが前記撮影エリアに入ったと判定した場合に、前記複数の車両が前記撮影エリアを走行中であると判定し、
    前記信号生成手段は撮影開始を指示する制御信号を生成し、
    前記撮影制御手段は、当該制御信号に基づいて前記撮影手段を制御して、前記複数の車両のグループの撮影を開始することを特徴とする請求項2に記載の撮影システム。
  6. 前記判定手段は、前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアに前記複数の車両のうち少なくとも一台が入ったと判定した場合に、
    前記信号生成手段は、当該撮影エリアまたは準備エリアに入ったことを前記ユーザーに報知するエリア報知信号を生成し、
    前記通信制御手段は、前記複数の車両に前記エリア報知信号を送信することを特徴とする請求項2乃至5のいずれか1項に記載の撮影システム。
  7. 前記制御装置は、
    前記撮影手段で撮影された画像データから前記ユーザーの顔を抽出する画像処理を行う画像処理手段と、
    前記画像処理の結果と前記グループ情報とに基づいて、前記グループとして設定された人数分のユーザーの顔が撮影されたか否かを判定する画像判定手段と、を更に備え、
    前記信号生成手段は、
    前記設定された人数分のユーザーの顔が撮影されなかった場合に、前記設定された人数分のユーザーの顔を撮影できるように、前記撮影手段の撮影パラメータを制御するパラメータ制御信号を生成し、
    前記無人航空機の前記撮影制御手段は、
    前記パラメータ制御信号に基づいて前記撮影手段を制御して前記撮影を行う
    ことを特徴とする請求項2乃至6のいずれか1項に記載の撮影システム。
  8. 前記画像判定手段の判定により、前記設定された人数分のユーザーの顔が撮影されなかった場合に、
    前記信号生成手段は、前記撮影のやり直しを前記ユーザーに案内する撮影案内信号を生成し、
    前記通信制御手段は、前記複数の車両に前記撮影案内信号を送信することを特徴とする請求項7に記載の撮影システム。
  9. 前記判定手段は、
    前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアを走行する前記複数の車両の車間距離を前記位置情報に基づいて取得し、前記車間距離が所定の基準距離範囲の上限の距離を超えていると判定する場合に、
    前記信号生成手段は、
    前記車間距離が前記基準距離範囲の上限の距離を超えていることを前記ユーザーに報知する距離報知信号を生成し、
    前記通信制御手段は、前記複数の車両に前記距離報知信号を送信することを特徴とする請求項2乃至8のいずれか1項に記載の撮影システム。
  10. 前記判定手段は、
    前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアを走行する前記複数の車両の車間距離を前記位置情報に基づいて取得し、前記車間距離が所定の基準距離範囲の下限の距離以下と判定する場合に、
    前記信号生成手段は、
    前記車間距離が前記基準距離範囲の下限の距離以下であることを前記ユーザーに報知する接近報知信号を生成し、
    前記通信制御手段は、前記複数の車両に前記接近報知信号を送信することを特徴とする請求項2乃至8のいずれか1項に記載の撮影システム。
  11. 前記複数の車両は、
    車両の位置情報を取得する取得手段と、
    前記車両の位置情報を送信する車両通信手段と、
    前記車両の速度情報を検出する検出手段と、を備え、
    前記車両通信手段は前記速度情報を前記制御装置に送信し、
    前記制御装置の前記判定手段は、
    前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアを走行する前記複数の車両の速度差を前記速度情報に基づいて取得し、前記速度差が所定の基準速度を超えると判定した場合に、
    前記信号生成手段は、
    前記速度差が前記基準速度を超えることを前記ユーザーに報知する速度報知信号を生成し、
    前記通信制御手段は、前記複数の車両に前記速度報知信号を送信することを特徴とする請求項2乃至10のいずれか1項に記載の撮影システム。
  12. 前記制御装置は、
    前記撮影手段により撮影された画像データに基づいて、撮影状態が逆光か否かを判定する逆光判定手段を更に備え、
    前記信号生成手段は、前記撮影状態が逆光と判定された場合に、前記逆光を回避するように前記無人航空機の飛行位置の変更を指示する飛行制御信号を生成し、
    前記通信制御手段は、前記無人航空機に前記飛行制御信号を送信し、
    前記無人航空機の飛行制御手段は、
    前記飛行制御信号に基づいて前記飛行位置を変更することを特徴とする請求項2乃至11のいずれか1項に記載の撮影システム。
  13. 前記信号生成手段は、前記撮影状態が逆光と判定された場合に、前記撮影手段の画角を水平方向に移動させる制御、または前記撮影手段の画角を垂直方法に移動させる制御を行うようにパラメータ制御信号を生成し、
    前記通信制御手段は、前記無人航空機に前記パラメータ制御信号を送信し、
    前記無人航空機の撮影制御手段は、
    前記パラメータ制御信号に基づいて前記撮影手段の画角を変更することを特徴とする請求項12に記載の撮影システム。
  14. 前記記憶手段は、前記被写体を構成する、歩行者または単独の車両のユーザーを撮影対象として設定したユーザー情報を、前記被写体情報として登録し、
    前記判定手段は、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに入ったか否かを判定する
    ことを特徴とする請求項1に記載の撮影システム。
  15. 前記判定手段が、前記撮影対象として設定された前記被写体が前記撮影エリアに入ったと判定した場合に、
    前記信号生成手段は撮影開始を指示する制御信号を生成し、
    前記撮影制御手段は、当該制御信号に基づいて前記撮影手段を制御して、前記被写体の撮影を開始することを特徴とする請求項14に記載の撮影システム。
  16. 前記判定手段は、前記撮影エリアまたは前記撮影エリアの手前に設定された所定の準備エリアに前記被写体が入ったと判定した場合に、
    前記信号生成手段は、当該撮影エリアまたは準備エリアに入ったことを前記被写体に報知するエリア報知信号を生成し、
    前記通信制御手段は、前記被写体に前記エリア報知信号を送信することを特徴とする請求項14または15に記載の撮影システム。
  17. 前記制御装置は、
    前記撮影手段で撮影された画像データから前記被写体の顔を抽出する画像処理を行う画像処理手段と、
    前記画像処理の結果に基づいて、前記被写体の顔が撮影されたか否かを判定する画像判定手段と、を更に備え、
    前記信号生成手段は、
    前記被写体の顔が撮影されなかった場合に、前記被写体の顔を撮影できるように、前記撮影手段の撮影パラメータを制御するパラメータ制御信号を生成し、
    前記無人航空機の前記撮影制御手段は、
    前記パラメータ制御信号に基づいて前記撮影手段を制御して前記撮影を行う
    ことを特徴とする請求項14乃至16のいずれか1項に記載の撮影システム。
  18. 前記画像判定手段の判定により、前記被写体の顔が撮影されなかった場合に、
    前記信号生成手段は、前記撮影のやり直しを前記被写体に案内する撮影案内信号を生成し、
    前記通信制御手段は、前記被写体に前記撮影案内信号を送信することを特徴とする請求項17に記載の撮影システム。
  19. 飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置であって、
    前記被写体を撮影対象として設定した被写体情報を登録する記憶手段と、
    前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定手段と、
    前記判定手段の判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成手段と、
    前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御手段と、
    を備えることを特徴とする制御装置。
  20. 飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置における制御方法であって、
    前記被写体を撮影対象として設定した被写体情報を記憶手段に登録する記憶工程と、
    判定手段が、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定工程と、
    信号生成手段が、前記判定工程での判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成工程と、
    通信制御手段が、前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御工程と、
    を有することを特徴とする制御方法。
  21. コンピュータに、飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置における制御方法の各工程を実行させるプログラムであって、当該制御方法が、
    前記被写体を撮影対象として設定した被写体情報を記憶手段に登録する記憶工程と、
    判定手段が、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定工程と、
    信号生成手段が、前記判定工程での判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成工程と、
    通信制御手段が、前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御工程と、を有することを特徴とするプログラム。
  22. コンピュータに、飛行状態で被写体を撮影可能な撮影手段を有する無人航空機と通信可能な制御装置における制御方法の各工程を実行させるプログラムを記憶したコンピュータ可読の記憶媒体であって、当該制御方法が、
    前記被写体を撮影対象として設定した被写体情報を記憶手段に登録する記憶工程と、
    判定手段が、前記被写体の位置情報と地図情報とに基づいて、当該被写体が所定の撮影エリアに存在するか判定する判定工程と、
    信号生成手段が、前記判定工程での判定に基づいて前記撮影手段を制御する制御信号を生成する信号生成工程と、
    通信制御手段が、前記被写体情報および前記制御信号を前記無人航空機に送信する通信制御工程と、
    を有することを特徴とする記憶媒体。
JP2021548848A 2019-09-27 2020-09-16 撮影システム、制御装置、制御方法、プログラム及び記憶媒体 Active JP7171938B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019177692 2019-09-27
JP2019177692 2019-09-27
PCT/JP2020/035124 WO2021060113A1 (ja) 2019-09-27 2020-09-16 撮影システム、制御装置、制御方法、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2021060113A1 JPWO2021060113A1 (ja) 2021-04-01
JP7171938B2 true JP7171938B2 (ja) 2022-11-15

Family

ID=75165718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548848A Active JP7171938B2 (ja) 2019-09-27 2020-09-16 撮影システム、制御装置、制御方法、プログラム及び記憶媒体

Country Status (5)

Country Link
US (1) US20220212787A1 (ja)
EP (1) EP4037305A4 (ja)
JP (1) JP7171938B2 (ja)
CN (1) CN114401895B (ja)
WO (1) WO2021060113A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023078640A (ja) * 2021-11-26 2023-06-07 トヨタ自動車株式会社 車両撮影システムおよび車両撮影方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124176A (ja) 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 自動撮影システム
JP2018038029A (ja) 2016-05-11 2018-03-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 撮影制御方法、撮影制御システム及び撮影制御サーバ
JP2019145947A (ja) 2018-02-19 2019-08-29 大日本印刷株式会社 撮影システム及び撮影制御装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3101889A3 (en) * 2015-06-02 2017-03-08 LG Electronics Inc. Mobile terminal and controlling method thereof
CN108431863B (zh) * 2015-12-29 2022-07-26 乐天集团股份有限公司 物流系统、包裹运送方法和记录介质
JP6758068B2 (ja) 2016-03-31 2020-09-23 セコム株式会社 自律移動ロボット
JP2018092237A (ja) * 2016-11-30 2018-06-14 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、無人航空機制御システムの制御方法、およびプログラム
JP2019177692A (ja) 2018-12-17 2019-10-17 住友ベークライト株式会社 多層フィルム及び包装体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124176A (ja) 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 自動撮影システム
JP2018038029A (ja) 2016-05-11 2018-03-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 撮影制御方法、撮影制御システム及び撮影制御サーバ
JP2019145947A (ja) 2018-02-19 2019-08-29 大日本印刷株式会社 撮影システム及び撮影制御装置

Also Published As

Publication number Publication date
CN114401895A (zh) 2022-04-26
EP4037305A4 (en) 2022-11-16
WO2021060113A1 (ja) 2021-04-01
EP4037305A1 (en) 2022-08-03
JPWO2021060113A1 (ja) 2021-04-01
CN114401895B (zh) 2024-06-14
US20220212787A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
US20190164431A1 (en) Movable body, dispatch system, server, and method for dispatching movable body
KR101783982B1 (ko) 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법
WO2017063201A1 (zh) 一种路况信息分享方法
KR101473866B1 (ko) 차량용 영상처리 시스템 및 이를 이용한 영상처리방법
CN112544071B (zh) 视频拼接的方法、装置及系统
JP6711631B2 (ja) 監視システム
KR101708037B1 (ko) 드론 연결형 cctv 장치 및 이에 의한 영상 촬영 방법
CN109781124B (zh) 一种无人机救援方法、装置、无人机及车辆
WO2012137367A1 (ja) 画像蓄積システム
JP5932850B2 (ja) 情報処理システム、情報処理方法、情報処理装置、情報処理端末、情報処理用プログラム、および、記録媒体
JP2018190199A (ja) 監視装置及び防犯システム
JP7171938B2 (ja) 撮影システム、制御装置、制御方法、プログラム及び記憶媒体
CN110741631A (zh) 车辆的图像提供系统、服务器系统及车辆的图像提供方法
KR20150061160A (ko) 차량 위치 제공 로봇, 그리고 그를 이용한 주차 위치 안내 시스템 및 주차 위치 안내 방법
US20190138023A1 (en) Movable body, image capture system using movable body, server, and image capturing method using movable body
JP7210394B2 (ja) 情報提供装置、情報提供方法、およびプログラム
WO2020137398A1 (ja) 操作制御装置、撮像装置、操作制御方法
CN110301133B (zh) 信息处理装置、信息处理方法和计算机可读记录介质
KR20190007277A (ko) 무인 비행체를 이용한 차량용 블랙박스 영상 촬영 장치 및 그 방법
JP7346365B2 (ja) 撮影管理システム、撮影管理装置、運営装置、撮影管理装置の制御方法、運営装置の制御方法、及びプログラム
CN114866989A (zh) 用于车辆的联网相机系统
JP7285942B2 (ja) ナビゲーションシステム、経路設定装置、経路設定方法、プログラム及び記憶媒体
JP7208114B2 (ja) 情報提供装置、情報提供方法、およびプログラム
JP2021026457A (ja) 画像配信装置及び方法並びに画像配信システム
CN114868167A (zh) 安全系统和监控方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221102

R150 Certificate of patent or registration of utility model

Ref document number: 7171938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150