JP6305579B1 - 撮影情報生成装置、撮影情報生成方法、撮像装置、フレームデータ検索装置及び自動追尾撮影システム - Google Patents

撮影情報生成装置、撮影情報生成方法、撮像装置、フレームデータ検索装置及び自動追尾撮影システム Download PDF

Info

Publication number
JP6305579B1
JP6305579B1 JP2017000001A JP2017000001A JP6305579B1 JP 6305579 B1 JP6305579 B1 JP 6305579B1 JP 2017000001 A JP2017000001 A JP 2017000001A JP 2017000001 A JP2017000001 A JP 2017000001A JP 6305579 B1 JP6305579 B1 JP 6305579B1
Authority
JP
Japan
Prior art keywords
data
value
imaging
altitude
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017000001A
Other languages
English (en)
Other versions
JP2018110320A (ja
Inventor
賀昭 柴田
賀昭 柴田
鎌田 信夫
信夫 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Soliton Systems KK
Original Assignee
Soliton Systems KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Soliton Systems KK filed Critical Soliton Systems KK
Priority to JP2017000001A priority Critical patent/JP6305579B1/ja
Priority to US15/908,518 priority patent/US10547777B2/en
Application granted granted Critical
Publication of JP6305579B1 publication Critical patent/JP6305579B1/ja
Publication of JP2018110320A publication Critical patent/JP2018110320A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】拡張UMIDデータに撮影方位を記述すると共に、従来の拡張UMIDデータとの互換性を保持する。【解決手段】 送信部10Bは、拡張UMIDデータの高度に対して、GPS衛星の数が2つ以下であることを示す固定値を第7のニブルに設定し、従来、高度の最上位桁を表していたニブルに、撮影方位検出部16により検出された撮影方位の値を設定し、高度の最上位桁を表すニブルを除く5ニブルに、撮影位置検出部15により検出された撮影位置に含まれる海抜高度の値を設定し、各値が設定された拡張UMIDデータを生成するUMIDデータ生成部18と、を備える。【選択図】図4

Description

本発明は、撮影情報生成装置、撮影情報生成方法、撮像装置、フレームデータ検索装置及び自動追尾撮影システムに関する。
映像データ、音声データ、あるいはそれらが同期した映像音声データからなる素材データを一意に識別するために、各素材データに固有の識別子を付与する様々な技術が提案されている。素材データに固有の識別子を付与する技術の1つとして、SMPTE(Society of Motion Picture & Television Engineers)によって、国際標準規格として策定されたUMID(Unique Material Identifier)データがある(非特許文献1参照)。
非特許文献1では、素材データの固有識別子として構成される基本UMIDデータ、及び基本UMIDデータを拡張した拡張UMIDデータのそれぞれのフォーマット仕様が規定されている。拡張UMIDデータは、基本UMIDデータで記述可能な情報だけでなく、素材データが、「いつ」、「どこで」、「だれが」撮影することで最初に生成されたたものであるかの情報も記述可能である。
拡張UMIDデータの「どこで」情報を利用して、外部から取得した高度情報及び識別情報を記述する技術が開示されている(特許文献1参照)。特許文献1の技術は、拡張UMIDデータの「どこで」情報として、撮影時の緯度、経度情報に加えて高度情報を記述すると共に、高度情報の一部に、上記高度情報が地球の中心からの距離であるか、又は上記高度情報が所定の測地座標系を用いて測位された地球楕円体の表面からの距離であるかを識別可能とする識別情報を記述する。
また、動画の撮像中に定期的に撮像位置を取得し、取得した撮像位置が前回取得した撮像位置から所定距離離れている場合に、取得した撮像位置情報及び、当該撮像位置における動画の縮小画像(サムネイル)をメタデータとして記録する技術が開示されている(特許文献2参照)。
SMPTE ST330
特開2002−271395号公報 特開2012−151873号公報
特許文献1の技術により生成される拡張UMIDデータには、撮影位置検出の際に信号を受信したGPS衛星の数、補助的な測位機器の使用の有無、測位精度を示すPDOP(Position Dilution Of Precision)の値は記述されるが、カメラの撮影方位等に関しては何ら考慮されていない。このため、特許文献1の技術により生成された拡張UMIDデータでは、カメラの撮影方位等を把握できない問題があった。
特許文献2の技術では、撮像されている画像の方位である画像方位は考慮されているものの、撮像されている画像の仰角に関しては何ら考慮されていない。さらに特許文献2の技術は、定期的に取得される撮像位置が前回の撮像位置から所定距離離れていた場合に、取得した撮像位置をサムネイルと共に記録する。このため、高速移動中の撮影の場合、記録データのサイズが膨大になる問題がある。あるいは、記録データのサイズが膨大になるのを回避するため、上記の所定距離を大きな値に設定した場合、撮影中の細かな撮影位置の変化が記録されない問題がある。
本発明は、このような実情を鑑みて提案されたものであり、SMPTEで国際標準規格として策定された従来の拡張UMIDデータとの互換性を保持しつつ、少なくとも撮影方位を追加的に記述可能な拡張UMIDデータを生成する撮影情報生成装置、撮影情報生成方法、撮像装置、フレームデータ検索装置及び自動追尾撮影システムを提供することを目的とする。
本発明に係る撮影情報生成装置は、素材データを大域的一意に識別する固有識別子である基本UMIDデータと、高度、経度及び緯度についてそれぞれ8ニブルの情報を含んだソースパックと、を有する拡張UMIDデータであって、前記高度の第1から第5のニブルは、海抜高度の下5桁を表し、前記高度の第8のニブルは、前記海抜高度の正負及び前記ソースパックの記述対象を表し、前記高度の第7のニブルは、撮像装置の撮影位置検出の際に受信した信号の発信元であるGPS衛星の数、前記撮影位置検出の際の補助測位機器の使用の有無、及び、前記高度の第6のニブルの値が前記海抜高度の最上位桁又は検出された撮影位置の精度劣化度のいずれであるかを示し、前記第6のニブルは、前記海抜高度の最上位桁又は前記精度劣化度を表す前記拡張UMIDデータを生成する撮影情報生成装置であって前記第7のニブルに、前記GPS衛星の数が以下の値であり、かつ、前記第6のニブルの値が前記精度劣化度であることを示す値であって、前記拡張UMIDデータの書式仕様において用いられている値を除いた第1の固定値を設定することにより、前記第6のニブルの前記精度劣化度の値を無効にする固定値設定部と、前記第6のニブルに、前記撮像装置の撮影方位の値を設定する撮影方位設定部と、前記海抜高度の値を設定する海抜高度設定部と、前記固定値設定部、前記撮影方位設定部、及び前記海抜高度設定部により各値が設定された拡張UMIDデータを生成する拡張UMIDデータ生成部と、を備えている。
本発明に係る撮影情報生成方法は、素材データを大域的一意に識別する固有識別子である基本UMIDデータと、高度、経度及び緯度についてそれぞれ8ニブルの情報を含んだソースパックと、を有する拡張UMIDデータであって、前記高度の第1から第5のニブルは、海抜高度の下5桁を表し、前記高度の第8のニブルは、前記海抜高度の正負及び前記ソースパックの記述対象を表し、前記高度の第7のニブルは、撮像装置の撮影位置検出の際に受信した信号の発信元であるGPS衛星の数、前記撮影位置検出の際の補助測位機器の使用の有無、及び、前記高度の第6のニブルの値が前記海抜高度の最上位桁又は検出された撮影位置の精度劣化度のいずれであるかを示し、前記高度の第6のニブルは、前記海抜高度の最上位桁又は前記精度劣化度を表す前記拡張UMIDデータを生成する撮影情報生成方法であって前記第7のニブルに、前記GPS衛星の数が以下の値であり、かつ、前記第6のニブルの値が前記精度劣化度であることを示す値であって、前記拡張UMIDデータの書式仕様において用いられている値を除いた第1の固定値を設することにより、前記第6のニブルの前記精度劣化度の値を無効にし、前記第6のニブルに、前記撮像装置の撮影方位の値を設定し、前記海抜高度の値を設定し、前記第1の固定値、前記撮影方位の値及び前記海抜高度の値が設定された拡張UMIDデータを生成する。
本発明に係る撮像装置は、被写体を撮像して複数のフレームを有するフレームシーケンスデータを生成する撮像部と、前記撮影情報生成装置と、前記撮影情報生成装置により生成された拡張UMIDデータを、前記撮像部により生成された前記フレームシーケンスデータの各フレームに重畳して出力するデータ重畳部と、を備えている。
本発明に係るフレーム検索装置は、前記撮影情報生成装置により生成された前記拡張UMIDデータから、前記ソースパックに含まれる時刻情報を抽出する時刻情報抽出部と、前記拡張UMIDデータに含まれる撮影方位の値及び撮影仰角の値に基づいて、当該拡張UMIDデータが付与されたフレームを生成した撮像装置の撮影方向パラメータを算出する撮影方向パラメータ算出部と、前記撮影方向パラメータ算出部により算出された撮影方向パラメータと、前記時刻情報抽出部により抽出された時刻情報と、前記撮像装置より撮影された被写体の位置の時系列データと、に基づいて、前記被写体の位置から前記撮像装置の撮影方向を示す直線までの距離を算出する距離算出部と、前記撮像装置により生成されたフレームシーケンスデータが有する複数のフレームのうち、前記距離算出部により算出された距離が前記撮像装置の撮影画角に基づく所定の範囲内にある場合に該当するフレームに前記被写体が写っていると判定する判定部と、を備えている。
本発明に係る自動追尾撮影システムは、被写体を撮像して複数のフレームを有するフレームシーケンスデータを生成する撮像装置と、前記撮影情報生成装置と、を有する撮像システムと、撮影方向制御データに基づいて、前記撮像装置の撮影方位及び撮影仰角を制御する撮影方向制御装置と、前記撮影情報生成装置により生成された拡張UMIDデータに含まれる撮影方位の値及び撮影仰角の値に基づいて、前記撮像装置の撮影方向を示す撮影方向ベクトルを算出する撮影方向ベクトル算出部と、前記撮影情報生成装置により生成された拡張UMIDデータに含まれる高度、経度及び緯度と、被写体の位置情報と、に基づいて、前記撮像装置の撮影位置を基準にした前記被写体の位置方向を示す位置方向ベクトルを算出する位置方向ベクトル算出部と、算出された前記撮影方向ベクトルと算出された前記位置方向ベクトルの差分が減少するように前記撮像装置の撮影方位及び撮影仰角を制御するための前記撮影方向制御データを生成し、生成した前記撮影方向制御データを前記撮影方向制御装置に供給する撮影方向制御データ生成供給部と、を有する撮影情報解析制御装置と、を備えている。

本発明は、SMPTEで国際標準規格として策定された拡張UMIDデータとの互換性を保持しつつ、少なくとも撮影方位を追加的に記述可能な拡張UMIDデータを生成することができる。
映像撮影・記録システムの概略構成図である。 素材データに重畳される拡張UMIDデータの構造を示す図である。 フレームシーケンスとして構成された素材データと拡張UMIDデータとの関係を模式的に示す図である。 無線カメラの構成を示すブロック図である。 無線映像受信装置の構成を示すブロック図である。 SMPTE ST330の仕様に従ったソースパックの「Spatial Co−ordinates」を構成する要素の1つである「高度」の記述例を示す図である。 ニブルN6が3hである場合の「高度」の記述例を示す図である。 撮影方位の割当て値を示す図である ニブルN6が5hである場合の「高度」の記述例を示す図である。 撮影仰角の割当て値を示す図である 拡張UMIDデータ生成ルーチンの動作を示すフローチャートである。 本発明の第2の実施形態に係る画像検索システムの概略的な構成を示す図である。 飛行物体が写ったフレームの検索手法を説明するための図である。 画像検索装置の演算部によって実行される画像検索ルーチンの動作を示すフローチャートである。 本発明の第3の実施形態に係る自動追尾撮影システムの概略的な構成を示す図である。 解析制御装置の構成を示すブロック図である。 解析制御装置による制御データ生成ルーチンの動作を示すフローチャートである。
本発明の実施形態について、図面を参照しながら詳細に説明する。
[第1の実施形態]
図1は、映像撮影・記録システム1の概略構成図である。映像撮影・記録システム1は、移動しながら被写体を撮影して素材データを無線送信する無線カメラ10と、無線カメラ10からの素材データを受信する無線映像受信装置30と、無線映像受信装置30から送信されるSDI(Serial Digital Interface)データをMXF(Material eXchange Format)ファイルとして記録する映像素材記録装置40と、を備えている。
無線カメラ10は、被写体を撮影して素材データを生成すると共に、当該素材データを一意に識別するための識別子である拡張UMIDデータを生成する。無線カメラ10は、生成した素材データに拡張UMIDデータを重畳して、無線映像受信装置30に無線送信する。
無線映像受信装置30は、無線カメラ10からの素材データを受信して、その素材データをフレーム単位のSDIデータとして出力する。映像素材記録装置40は、フレーム単位のSDIデータを受信して、得られたフレームシーケンスの所望の位置を切り出してMXFファイルとして記録する。
図2は、素材データに重畳される拡張UMIDデータの構造を示す図である。拡張UMIDデータは、SMPTE(Society of Motion Picture & Television Engineers)ST330によって国際標準規格として策定されたものであり、当該拡張UMIDデータが付与された素材データを一意に識別する。拡張UMIDデータは、具体的には、64バイトのデータであり、32バイトの基本UMIDデータと、32バイトのソースパックと、により構成される。
基本UMIDデータは、素材データを大域的(時間的及び空間的)一意に識別するための固有識別子である。
ソースパックは、素材データの生成時の状況を示しており、素材データを「いつ」、「どこで」、「だれが」撮影することで最初に生成したかを表す3つの要素で構成される。具体的には、ソースパックは、「いつ」を表す「Time/Date(8バイト)」、「どこで」を表す「Spatial Co−ordinates(12バイト)」、「だれが」を表す「Country/Org/User(12バイト)」の各要素で構成される。「Spatial Co−ordinates」は、「高度(4バイト)」、「経度(4バイト)」、「緯度(4バイト)」の3つの要素で構成される。
図3は、フレームシーケンスとして構成された素材データと拡張UMIDデータとの関係を模式的に示す図である。
素材データが映像の場合、UMIDデータの識別対象である素材データは、有限の複数フレームで構成された有界フレームシーケンスとして定義される。拡張UMIDデータは、有界フレームシーケンスに含まれる全てのフレームに付与される。
拡張UMIDデータに含まれる基本UMIDデータは、有界フレームシーケンス全体を1つの素材データとして大域的一意に識別するものであり、有界フレームシーケンス内の全てのフレームに対して同一の値(例えばU1)が設定される。このため、基本UMIDデータは、有界フレームシーケンスが異なれば、異なる値に設定される。
一方、ソースパックは、ある有界フレームシーケンスに含まれる任意のフレームを識別するためのものであり、フレーム毎に異なる値となる。例えば、ソースパックの「Time/Date」には、フレーム速度の逆数より小さな時間分解能で「いつ」を表す時刻情報が設定される。さらに、高速移動する無線カメラ10によって素材データが生成された場合、ソースパックの「Spatial Co−ordinates」には、フレーム毎に異なった値の「どこで」を表す情報が設定される。
このように、拡張UMIDデータは、階層構造を有する。すなわち、有界フレームシーケンス全体として構成される素材データを一意に識別する場合には、基本UMIDデータが用いられる。一方、素材データを構成する任意のフレームを一意に識別する場合には、基本UMIDデータとソースパックとの組み合わせ、つまり拡張UMIDデータが用いられる。
なお、図3では、素材データに拡張UMIDデータが付与される例について説明したが、拡張UMIDデータの代わりに基本UMIDデータのみを用いてもよい。この場合、基本UMIDデータは、有界フレームシーケンス全体として構成される素材データを一意に識別可能であるものの、素材データを構成する任意のフレームを一意に識別することはできない。
上述のように構成された拡張UMIDデータを生成するために、図1に示す無線カメラ10は、各種センサなどを有する。無線カメラ10は、例えば複数回の撮影開始/終了の操作が実行されると、操作される毎に、複数のフレームで構成される有界フレームシーケンスを生成すると共に、各種センサから検出される情報等に基づいて拡張UMIDデータを生成する。無線カメラ10は、フレームシーケンスの各フレームに対して拡張UMIDデータを重畳して、無線映像受信装置30へ伝送する。
無線カメラ10は、撮影開始/終了の操作毎に生成される各有界フレームシーケンスを独立した素材データとみなし、それぞれを大域的一意に識別するために、各々の撮影開始操作の時点で新規生成された異なる基本UMIDデータを付与する。
なお、基本UMIDデータの付与は、上記の例に限定されるものではない。例えば、無線カメラ10は、厳密な意味では、有界フレームシーケンスとして予め定義される素材データを生成するのではなく、非撮影期間(前回の撮影終了から次の撮影開始までの間)も含めて終端が定まっていない連続したフレームシーケンスを生成するとみなすこともできる。この場合、無線カメラ10は、基本UMIDデータUpとして、例えば、無線カメラ10の電源が投入された時点で新規生成された値、あるいは無線カメラ10が最初に撮影を開始した時点で新規生成された値を用いてもよい。
さらには、無線カメラ10が、非電源投入期間(前回、撮影終了後に電源を落としてから次の撮影のために電源を投入するまでの間)も含めて終端が定まっていない連続した単一のフレームシーケンスを生成するとみなすこともできる。この場合、無線カメラ10は、基本UMIDデータUpとして、当該無線カメラ10を大域的一意に識別するために予め割り当てられた固定値を用いてもよい。
拡張UMIDデータのソースパックSpは、詳しくは後述するように、無線カメラ10の各種センサから検出される情報等に基づいて生成される。
無線映像受信装置30は、無線カメラ10から無線通信によりフレームシーケンスを受信し、受信したフレームシーケンスをSDI仕様に基づいて整形する。具体的には、無線映像受信装置30は、フレームシーケンスの各フレームに付与された拡張UMIDデータを、SDI出力フレームの各フレーム内に設けられたVANC(Vertical ANCillary data)領域にそのままのかたちで格納して、SDIデータを出力する。
映像素材記録装置40は、無線映像受信装置30から入力されたSDIデータの任意の範囲を切り出し、切り出したSDIデータをMXFファイルに変換して記録する。映像素材記録装置40に記録されたMXFファイルは、新たに生成された1つの素材データとみなされる。
映像素材記録装置40に記録されたMXFファイルは、所定のファイル書式に基づいて映像音声データを格納した映像音声ファイルであり、ヘッダとボディから構成される。
MXFファイルのヘッダには、当該MXFファイル全体をまとめて1つの素材データとして大域的一意に識別するために新規生成された基本UMIDデータ(図1の場合はU3)が格納される。
MXFファイルのボディには、当該MXFファイルとして記録するために入力SDIデータから切り出された有界フレームシーケンスを構成する各フレームと、各フレームに付与される拡張UMIDデータと、が格納される。
ボディに格納される拡張UMIDデータ内の基本UMIDデータは、ヘッダに格納された基本UMIDデータと同じ値である。その理由は次の通りである。
ボディに格納される拡張UMIDデータ内の基本UMIDデータの識別対象は、MXFファイルに格納される有界フレームシーケンス全体として構成される素材データである。これに対して、ヘッダに格納された基本UMIDデータの識別対象は、MXFファイルとして構成される1つの素材データである。つまり、ヘッダ及びボディにそれぞれ格納される基本UMIDデータは、事実上、同一の素材データを識別対象としているので、同じ値になる。
ボディに格納される拡張UMIDデータ内のソースパックは、SDIデータのフレームシーケンスの各フレームに付与されたソースパックの値をそのまま継承する。その理由は、ソースパックは、対応するフレームのオリジナルデータについて、「いつ」、「どこで」、「だれが」撮影することで最初に生成されたかを示す情報であることから、フレームのデータ書式が変更された場合もそのまま継承する必要があるためである。
例えば図1に示すように、無線カメラ10によって、あるフレームデータに拡張UMIDデータUpSp1(基本UMIDデータUp、ソースパックSp1)が付与された場合、映像素材記録装置40は、当該フレームデータに対して拡張UMIDデータU3Sp1(基本UMIDデータU3、ソースパックSp1)を付与して、MXFファイルのボディに格納する。
図4は、無線カメラ10の構成を示すブロック図である。無線カメラ10は、撮像部10Aと送信部10Bとを備えている。
撮像部10Aは、光学ユニット11と、撮像素子12と、画像処理部13と、駆動部14と、を有する。送信部10Bは、撮影位置検出部15と、撮影方位検出部16と、撮影仰角検出部17と、UMIDデータ生成部18と、データ重畳部19と、無線送信部20と、操作部21と、ディスプレイ22と、記憶部23と、制御部24と、を有する。無線カメラ10の各部には、図示しないバッテリーから電力が供給される。
光学ユニット11は、撮像素子12の撮像面に被写体像を結像させるものであり、図示しないレンズ、絞り等の光学部品を含む。駆動部14は、制御部24による制御に従って、レンズの位置、絞りの開口量などを制御する。撮像素子12は、画素に対応する多数の光電変換素子を備えたイメージセンサであって、撮像面に結像された被写体像の明るさに応じた画像信号を出力する。画像処理部13は、撮像素子12から出力された画像信号に対して、ゲイン調整、圧縮符号化処理等の信号処理を実行して、信号処理済みの画像信号を画像データとして送信部10Bに供給する。
撮影位置検出部15は、例えばGPS(Global Positioning System)受信ユニットであり、無線カメラ10の撮影位置(高度、緯度及び経度)をリアルタイムで測定して、得られた撮影位置情報をUMIDデータ生成部18に供給する。撮影方位検出部16は、例えば電子コンパスであり、無線カメラ10の撮影方位をリアルタイムで測定して、得られた撮影方位情報をUMIDデータ生成部18に供給する。撮影仰角検出部17は、例えばジャイロセンサであり、無線カメラ10の撮影仰角をリアルタイムで測定して、得られた撮影仰角情報をUMIDデータ生成部18に供給する。
UMIDデータ生成部18は、フレーム毎に付与すべき拡張UMIDデータを生成する。具体的には、UMIDデータ生成部18は、撮影位置検出部15から供給される撮影位置情報を用いて、ソースパックの「どこで」情報を生成する。さらに、UMIDデータ生成部18は、図示しない内部クロック及び無線カメラ10に予め設定されたユーザ情報を用いて、ソースパックの「いつ」、「だれが」情報をそれぞれ生成する。そして、UMIDデータ生成部18は、ソースパックの「いつ」、「どこで」、「だれが」情報と、無線カメラ10に予め割り当てられた又は無線カメラ10の電源投入時などに生成された基本UMIDデータと、を組み合わせることで拡張UMIDデータを生成し、当該拡張UMIDデータをデータ重畳部19に供給する。
データ重畳部19は、画像処理部13から供給される画像データと、UMIDデータ生成部18から供給される拡張UMIDデータと、を重畳する。具体的には、データ重畳部19は、画像処理部13により圧縮符号化されたフレームシーケンスの各々のフレームに対して対応する拡張UMIDデータを付与して、無線送信部20へ供給する。
無線送信部20は、制御部24による制御に基づいて無線映像受信装置30と無線で接続し、データ重畳部19から供給された画像データを無線映像受信装置30へ伝送する。
操作部21は、図示しないレリーズスイッチや、メニュー設定ボタンなどを有し、ユーザの操作に基づく操作入力情報を制御部24へ供給する。
ディスプレイ22は、撮影の際の電子ファインダとして機能し、画像処理部13から供給される画像データに基づいて被写体像をリアルタイム表示する。さらに、ディスプレイ22は、タッチスクリーンとしても機能し、ユーザインターフェース用の表示画面に対するユーザのタッチ操作に応じた操作入力情報を制御部24へ供給する。
記憶部23には、制御部24の制御プログラムが記憶されている。また、記憶部23には、制御部24を介して、画像処理部13から出力された画像データが記録されてもよい。
制御部24は、記憶部23から制御プログラムを読み出し、読み出した制御プログラム、及び操作部21又はディスプレイ22からの操作入力情報に基づいて、画像処理部13、駆動部14及びUMIDデータ生成部18などの各部の制御を実行する。
図5は、無線映像受信装置30の構成を示すブロック図である。無線映像受信装置30は、無線受信部31と、データ分離部32と、画像処理部33と、データ重畳部34と、出力部35と、記憶部36と、制御部37と、を有する。
無線受信部31は、制御部37による制御に従って無線カメラ10と無線で接続し、無線カメラ10から伝送された画像データを受信し、データ分離部32へ供給する。
データ分離部32は、無線受信部31から供給される画像データから拡張UMIDデータを分離し、分離された拡張UMIDデータをデータ重畳部34へ供給し、拡張UMIDデータが分離された画像データを画像処理部33へ供給する。
画像処理部33は、データ分離部32から供給された画像データを伸長復号化処理によって非圧縮のフレームシーケンスに変換し、各フレームデータに対して、SDI仕様に基づいて出力するために必要なデータ変換を施してデータ重畳部34へ供給する。
データ重畳部34は、データ分離部32から供給された拡張UMIDデータと、画像処理部33から供給された画像データと、を重畳する。具体的には、データ重畳部34は、画像処理部33から供給されたSDI仕様に基づく非圧縮フレームシーケンスに含まれる各々のフレームデータに対して、データ分離部32から供給された各フレームに対応する拡張UMIDデータを、当該フレームデータ内に規定されたVANC領域に挿入する。
出力部35は、データ重畳部34から供給されたSDI仕様に基づく拡張UMIDデータ付非圧縮フレームシーケンスを外部へ出力する。
記憶部36には、制御部37の制御プログラムが記憶されている。また、記憶部36には、制御部37を介して、無線受信部31で受信された画像データが記録されてもよい。
制御部37は、記憶部36から制御プログラムを読み出し、読み出した制御プログラムに基づいて、無線映像受信装置30内の各部の制御を実行する。
つぎに、拡張UMIDデータのソースパックについて詳細に説明する。
図6は、SMPTE ST330の仕様に従ったソースパックの「Spatial Co−ordinates」を構成する要素の1つである「高度」の記述例を示す図である。
「高度」は、4バイトであり、4ビット単位で分割された8つのニブル(Nibble)N0,N1,N2,・・・,N7で構成される。各ニブルNには、基本的には、二進化十進符号(Binary Coded Decimal:以下、BCDコードと呼ぶ)に基づく0h〜9hのいずれかの値が設定される。
「高度」を含む拡張UMIDデータでは、バイトオーダー(Byte−order)として、リトルエンディアン(Little−Endian)方式が用いられる。したがって、例えば、「高度」の最下位2桁が先頭(左端)バイトに配置される。
「高度」の最上位ニブルN7には、当該「高度」が海抜高度であることを表すAh〜Fhのいずれかの値が指定される。具体的には、最上位ニブルN7には、海抜高度の正負及びソースパックの記述対象に応じて、Ah〜Fhのいずれかの値が選択される。例えば、ソースパックの記述対象が撮影中のカメラ(撮影位置)である場合、海抜高度が正の値であれば最上位ニブルN7にはAhが指定され、海抜高度が負の値であれば最上位ニブルN7にはDhが指定される。
最上位ニブルN7に続くニブルN6は、上位(左端)から順にb27,b26,b25,b24の4ビットで構成される。ニブルN6の最上位2ビットb27,b26は、撮影位置検出の際に信号を受信したGPS衛星の数(から1を減じた値)を表す。ニブルN6のビットb25は、撮影位置検出における補助的な測位機器(例えばジャイロスコープ)の使用の有無を表す。ニブルN6の最下位ビットb24は、当該ニブルN6に続くニブルN5に設定された値が海抜高度の最上位桁か(b24=0bの場合)、あるいは本撮影位置検出におけるPDOP(Position Dilution Of Precision:位置精度劣化度)値か(b24=1bの場合)を示す。
PDOP値とは、撮影位置の測位精度を表す値である。撮影位置の測位精度は、PDOP=1のときに最も高く、PDOP値が1から増加するに従って低下する。
そしてニブルN4〜N0は、BCDコードに基づく海抜高度の下5桁を表す。
例えば、4つ(3次元空間座標及び信号受信時刻の正確な値を得るのに最小限必要となる(GPS衛星の)数)のGPS衛星からの信号に基づいて撮影位置が検出され、補助的な測位機器は使用されず(b25=0b)、ニブルN5が海抜高度の最上位桁として用いられる(b24=0b)場合、ニブルN6にはCh(=1100b)が指定される。この場合、ニブルN5が海抜高度の最上位桁に用いられることから、海抜高度を表す「高度」は、−999,999m〜+999,999mの範囲の値になる。
他方、例えば、3つ(3次元空間座標のおおよその値を得るのに最小限必要となる(GPS衛星の)数)のGPS衛星からの信号に基づいて撮影位置が検出され、測位精度の向上のために補助的な測位機器が使用され(b25=1b)、ニブルN5がPDOP値として用いられる(b24=1b)場合、ニブルN6にはBh(=1011b)が指定される。この場合、ニブルN5がPDOP値に用いられることから、海抜高度を表す「高度」は、−99,999m〜+99,999mの範囲の値になる。
ところで、前述のように、撮影位置を検出するためには、少なくとも3つのGPS衛星からの信号を受信する必要がある。PDOP値は、そのような状況下で使用されることに意味がある。
一方、信号を受信したGPS衛星の数が2つ以下(b27b26=00bあるいは01b)の場合、ニブルN5がPDOP値として用いられても(b24=1b)、そのPDOP値に意味はない(無効である)。換言すれば、ニブルN6は、上述したビット割当に従う限り、決して、1h(=0001b)、3h(=0011b)、5h(=0101b)、7h(=0111b)のいずれの値にもならない。但し、ニブルN6が1hの場合については、当該ニブルN6を含む「Spatial Co−ordinates」全体が、「前回正しく測位された時の撮影位置を継承したものである」ことを意味する旨、SMPTE ST330で規定済みである。
そこで、本実施形態では、ニブルN6が3h又は5hの値になる場合、以下のような設定が行われる。
図7は、ニブルN6が3hである場合の「高度」の記述例を示す図である。図8は、撮影方位の割当て値を示す図である。
ニブルN6が3hの場合、ニブルN5には、撮影方位に応じた割当て値(図8参照)が記述される。例えば、ニブルN5には、撮影方位が北(N)の場合は0h、撮影方位が北東(NE)の場合は2hが記述される。このように、ソースパックの「高度」には、−99,999m〜+99,999mの範囲の海抜高度、及び撮影方位が同時に記述される。
図8では、代表的な撮影方位(16方位)のそれぞれに対して、所定の割当て値が対応付けられている。実際には、各割当て値は、対応付けられた撮影方位を基準にして±11.25度の範囲に含まれる撮影方位に対して同じ値になる。例えば、撮影方位が北方位を基準に時計回り方向の回転角度で定義される場合、−11.25度〜11.25度の範囲にある撮影方位に対して、割当て値は一律的に‘0h’となる。なお、撮影方位(16方位)毎の範囲と割当て値との対応関係を示す撮影方位テーブルデータは、UMIDデータ生成部18に記憶されている。
図9は、ニブルN6が5hである場合の「高度」の記述例を示す図である。図10は、撮影仰角の割当て値を示す図である。
ニブルN6が5hの場合、ニブルN5には、上記と同様に、撮影方位に応じた割当て値が記述される。さらに、ニブルN4の上位3ビット(b19−b17)には、撮影仰角に応じた割当て値(図10参照)が記述され、ニブルN4の最下位ビット(b16)には、海抜高度の最上位桁が記述される。このように、ニブルN6が5hの場合、ソースパックの「高度」には、−19,999m〜+19,999mの範囲の海抜高度、撮影方位、及び撮影仰角が同時に記述される。
図10では、代表的な撮影仰角のそれぞれに対して、所定の割当て値が対応付けられている。実際には、各割当て値は、対応付けられた撮影仰角を基準にして所定の範囲に含まれる撮影仰角に対して同じ値になる。例えば、撮影仰角が水平方向を基準に反時計回り方向の回転角度で定義される場合、−11.25度〜11.25度の範囲にある撮影仰角に対して、割当て値は一律的に‘0h’となる。なお、撮影仰角毎の範囲と割当て値との対応関係を示す撮影仰角テーブルデータは、UMIDデータ生成部18に記憶されている。
なお、ニブルN6が5hの場合、海抜高度は、上述のように−19,999m〜+19,999mの範囲内に限定されるが、実務上の問題はない。その理由は、メートル単位の精度が求められる地上において、世界最高峰の山であるエベレストの標高が8,848mであること、メートル単位の精度が必要とされない空中においても、一般の旅客機の巡航高度が高々9,000m〜12,000mであることから、実際の海抜高度は上記の範囲内に収まるからである。したがって、図9に示すように定義(−19,999m〜+19,999mの範囲内に限定)された海抜高度は、地上での撮影時や、あるいは無線カメラ10を空撮に用いた場合であっても、実務上の問題はない。
他方、ソースパックの「緯度」及び「経度」には、BCDコードに基づき、0.00001度単位の分解能で測定値が記述される。この分解能は、赤道付近の直線距離において約1.1mの分解能に相当する。よって、「高度」にメートル単位の精度を与えたことは、「緯度」及び「経度」の分解能との比較からも、妥当であると言える。
以上のように構成された映像撮影・記録システム1において、被写体の撮影が開始されると、無線カメラ10の撮像部10Aが、被写体の画像信号を送信部10Bに供給する。送信部10Bは、拡張UMIDデータを生成して、当該拡張UMIDデータを画像信号に重畳して、外部へ送信する。拡張UMIDデータの生成の際には、次の処理が実行される。
図11は、拡張UMIDデータ生成ルーチンの動作を示すフローチャートである。本ルーチンは、対象フレーム毎に実行される。
ステップS1では、撮影位置検出部15が、無線カメラ10の撮影位置(高度、緯度及び経度)をリアルタイムで測定して、得られた撮影位置情報をUMIDデータ生成部18に供給する。そして、ステップS2へ進む。
ステップS2では、UMIDデータ生成部18は、撮影位置情報から海抜高度を示す「高度」を抽出し、海抜高度が0m以上であるか否かを判定する。海抜高度が0m以上である場合はステップS3へ進み、海抜高度が0m以上でない場合はステップS4へ進む。
ステップS3では、UMIDデータ生成部18は、「高度」を構成するニブルN0〜N7のうちのニブルN7に、海抜高度が正値であることを示す‘Ah’をセットする。そして、ステップS5へ進む。
ステップS4では、UMIDデータ生成部18は、「高度」を構成するニブルN0〜N7のうちのニブルN7に、海抜高度が負値であることを示す‘Dh’をセットする。そして、ステップS5へ進む。
ステップS5では、撮影方位検出部16が、無線カメラ10の撮影方位をリアルタイムで測定して、得られた撮影方位情報をUMIDデータ生成部18に供給する。そして、ステップS6へ進む。
ステップS6では、UMIDデータ生成部18は、上述した撮影方位テーブルデータを参照して、撮影方位検出部16により検出された撮影方位に対応する割当て値を求め、当該割当て値を「高度」のニブルN5にセットする。そして、ステップS7へ進む。
ステップS7では、UMIDデータ生成部18は、撮影仰角が検出可能であるか否かを判定する。撮影仰角が検出可能である場合はステップS8へ進み、撮影仰角が検出可能でない場合はステップS11へ進む。
ステップS8では、UMIDデータ生成部18は、「高度」のニブルN6に‘5h’をセットする。そして、ステップS9へ進む。
ステップS9では、撮影仰角検出部17が、無線カメラ10の撮影仰角をリアルタイムで測定して、得られた撮影仰角情報をUMIDデータ生成部18に供給する。そして、ステップS10へ進む。
ステップS10では、UMIDデータ生成部18は、上述した撮影仰角テーブルデータを参照して、撮影仰角検出部17により検出された撮影仰角に対応する割当て値を求め、当該割当て値を「高度」のニブルN4の上位3ビット(b19−b17)にセットする。そして、ステップS12へ進む。
ステップS11では、UMIDデータ生成部18は、「高度」のニブルN6に‘3h’をセットする。そして、ステップS12へ進む。
ステップS12では、UMIDデータ生成部18は、「高度」のニブルN0−N4に、ステップS1で検出された海抜高度をBCDコードに基づいてセットする。なお、撮影仰角が検出可能であった場合、UMIDデータ生成部18は、「高度」のニブルN4の上位3ビット(b19−b17)にステップS10でセットされた値を保持する。UMIDデータ生成部18は、海抜高度が10,000mを超える場合にはニブルN4の最下位1ビット(b16)に‘1b’をセットし、海抜高度が10,000mを超えない場合はニブルN4の最下位ビットに‘0b’をセットする。これにより、海抜高度が10,000mを超える場合、海抜高度の最上位桁(10000の位)の値がニブルN4に記述される。そして、ステップS13へ進む。
ステップS13では、UMIDデータ生成部18は、ステップS1で検出された撮影位置情報から緯度及び経度情報を抽出し、抽出した緯度及び経度情報を図6に示す「Spatial Co−ordinates」内の「緯度」及び「経度」要素にセットする。これにより、拡張UMIDデータの「Spatial Co−ordinates」要素が生成される。そして、ステップS14へ進む。
ステップS14では、UMIDデータ生成部18は、内部クロックに基づいて「Time/Date」要素を生成し、無線カメラ10に予め設定されたユーザ情報に基づいて「Country/Org/User」要素を生成する。この結果、図2に示すソースパックが生成される。そして、ステップS15へ進む。
ステップS15では、UMIDデータ生成部18は、無線カメラ10に予め割り当てられた、又は無線カメラ10の電源投入時などに生成された基本UMIDデータを抽出する。UMIDデータ生成部18は、抽出した基本UMIDデータと上記で得られたソースパックとを連結することにより、拡張UMIDデータを生成し、当該拡張UMIDデータをデータ重畳部19へ供給する。そして、対象フレームについて本ルーチンが終了すると、次のフレームが対象フレームとなり、再びステップS1以降が実行される。
データ重畳部19は、無線カメラ10の撮像部10Aより供給された各フレームデータに拡張UMIDデータを重畳して、拡張UMIDデータが重畳されたフレームデータを無線送信部20へ供給する。無線送信部20は、拡張UMIDデータが重畳されたフレームデータを無線映像受信装置30へ送信する。
なお、撮影位置検出部15により検出される撮影位置の更新頻度は、一般的には、高々1秒である。このため、拡張UMIDデータの「撮影位置」は、フレームデータに対して、フレーム単位の厳密な精度は要求されていない。
一方、拡張UMIDデータの「Time/Date」は、各フレームを一意に区別できるように、フレーム毎に異なる値(フレーム速度の逆数より小さな時間分解能の値)が要求される。
図11に示す拡張UMIDデータ生成ルーチンの動作において、UMIDデータ生成部18は、フレーム毎に、撮影仰角が検出可能であるか否かを判定して(ステップS7)、判定結果に応じた処理(ステップS8〜S11)を実行したが、このような例に限定されるものではない。
UMIDデータ生成部18は、例えば、ステップS7〜ステップS10を省略して、ニブルN6に‘3h’をセット(固定)することによって(ステップS11)、撮影仰角のセットを省略して、撮影方位のみをセットしてもよい。
また、UMIDデータ生成部18は、例えば、ステップS7及びステップS11を省略して、ニブルN6に‘5h’をセット(固定)することによって(ステップS8)、常に撮影方位及び撮影仰角をセットしてもよい。なお、撮影仰角が検出されなかった場合は、UMIDデータ生成部18は、過去(例えば1フレーム前)の撮影仰角をそのままセットしてもよい。
以上のように、無線カメラ10は、SMPTEによって策定された拡張UMIDデータの「高度」のニブルN6に対して、GPS衛星の数、補助測位機器の有無、及び位置精度劣化度(PDOP値)の3要素の測定値をセットせずに、3要素が無効であることを示す値をセットする。そして、無線カメラ10は、「高度」のニブルN0−N4に海抜高度の測定値、「高度」のニブルN5に撮影方位の測定値、「高度」のニブルN4の一部に撮影仰角の測定値をそれぞれセットする。
これにより、無線カメラ10は、GPS衛星の数、補助測位機器の有無、及び位置精度劣化度の替わりに、素材データの検索や仕分けの際により有効となる撮影方位、撮影仰角の記述が付与されたフレームデータを出力することができる。さらに、無線カメラ10は、拡張UMIDデータの「高度」のニブルN6に対して、GPS衛星の数、補助測位機器の有無、及び位置精度劣化度の3要素が無効であることを示す値を、当該フレーム毎の撮影方位、撮影仰角の記述を示す識別情報として用いることにより、従来の拡張UMIDデータとの互換性を完全に保持することができる。
[第1の実施形態の変形例]
本発明は、上述した実施形態に限定されるものではなく、特許請求の範囲に記載された事項の範囲内で設計変更されたものにも適用される。
例えば、無線映像受信装置30がSDI仕様他に従って拡張UMIDデータが重畳されたフレームシーケンスを出力する制限の下では、無線カメラ10と無線映像受信装置30との間のデータ通信は、非公開の技術を用いたものでもよい。換言すれば、上記の制限の下では、無線カメラと30の間のデータのやり取りの詳細は不問となる。
この場合、無線映像受信装置30が、SDI仕様に基づくフレームシーケンス出力の際に、拡張UMIDデータを生成、重畳すればよい。すなわち、無線映像受信装置30は、無線カメラ10から無線送信されたデジタル映像データ並びに拡張UMIDデータの生成に必要な情報(撮影位置、撮影方位、撮影仰角など)を受信し、各フレームに付与すべき拡張UMIDデータを生成し、当該拡張UMIDデータをSDI出力フレームのVANC領域に挿入すればよい。
無線映像受信装置30と映像素材記録装置40の間の伝送は、SDIを前提としたが、両者が対応可能な共通プロトコルであればSDIに限定されるものではなく、例えばVoIP (Video over Internet Protocol)ベースでもよい。
図4に示す無線カメラ10は、撮像部10Aと送信部10Bとが一体に構成されたものであるが、このような構成に限定されるものではない。例えば、撮像部10Aと送信部10Bは、独立に構成されたものでもよい。
また、撮影位置検出部15、撮影方位検出部16及び撮影仰角検出部17は、送信部10Bの任意構成要素であり、必須構成要素ではない。例えば、送信部10Bは、外部から撮影位置、撮影方位及び撮影仰角の情報を受信し、受信した情報を用いて拡張UMIDデータを生成して、別途入力されたフレームシーケンスに拡張UMIDデータを重畳してもよい。
[第2の実施形態]
つぎに、本発明の第2の実施形態について説明する。なお、第1の実施形態と同一のものには同一の符号を付し、重複する説明は省略する。
図12は、本発明の第2の実施形態に係る画像検索システム100の構成を示す図である。
画像検索システム100は、MXFファイルが記録された映像素材記録装置40と、映像素材記録装置40に記録されたMXFファイルの中から飛行物体が写った画像(フレーム)を検索する画像検索装置50と、飛行物体の位置の時系列データを記憶する位置サーバ60と、を備えている。但し、画像検索装置50が、飛行物体の位置の時系列データを常に使用することができれば、位置サーバ60は省略可能である。
画像検索装置50は、通信回線を介して、映像素材記録装置40等の外部機器とデータの送受信を行う送受信部51と、受信したデータを記憶するデータ記憶部52と、ユーザの操作情報が入力される操作部53と、フレーム検索やその他の演算処理を行う演算部54と、を備えている。
画像検索装置50は、映像素材記録装置40に記録されているMXFファイル形式の様々な素材データ(フレームシーケンス)から、飛行物体が写ったフレームを検索する。
図13は、飛行物体が写ったフレームの検索手法を説明するための図である。図13では、飛行物体を撮影するカメラの位置を原点Oとしたxyz軸からなる左手系3次元直交座標系において、x軸に北(N)方向、y軸に東(E)方向、z軸に高さ方向が設定されている。ある時刻tでは、カメラの撮影方向は直線L=(vl,vl,vl)(l:任意の定数)で記述され、飛行物体は位置A=(x,y,z)に存在する。
飛行物体は、GPS受信ユニットを備え、地理座標系の位置Aをリアルタイムで測定して、測定結果を位置サーバ60に送信する。このため、位置サーバ60には、地理座標系の位置A及びその時刻を表す時系列データが記憶されている。画像検索装置50は、位置サーバ60にアクセス可能であり、飛行物体の位置Aに関する時系列データを利用することができる。
ここで、直線Lの(v,v,v)は、時刻tでのカメラの撮影方向を示す単位ベクトル(以下、撮影方向ベクトルという。)であり、「撮影方位」と「撮影仰角」を含んだ概念である。
時刻tにおいてカメラが飛行物体を撮影していたか否かは、時刻tにおいて飛行物体がカメラの撮影画角内にあったか否かによって、判定可能である。換言すれば、時刻tにおいて、飛行物体の位置Aとカメラの撮影方向を記述した直線Lとの間の距離dが、撮影画角で決まる所定の閾値Dthより小さい値であれば、飛行物体がカメラの撮影画角内にあったと判定され、カメラが当該飛行物体を撮影していたと判定される。
いま、位置Aから直線Lへ下げた垂線の交点をB=(v,v,v)と定義すると、ピタゴラスの定理から、|AB|=dは、
=(x +y +z )−l ・・・(1)
となる。
線分ABが撮影方向ベクトル(v,v,v)と垂直であることから、lは、
=v+v+v
となる。
また、撮影方向ベクトル(v,v,v)は、3次元直交座標の原点Oを共有する極座標(θ,φ)で表現すると
=cosφ・cosθ
=cosφ・sinθ
=sinφ
となる。以下、上記の3式を座標変換式という。
したがって、時刻tにおいて、飛行物体の位置A=(x,y,z)とカメラの撮影方向(θ,φ)が与えられれば、上記の式(1)に基づいて距離dが求められる。そして、距離dが閾値Dthより小さい場合に、時刻tにおいてカメラが飛行物体を撮影していた、つまり、時刻tのフレームに飛行物体が写っていると、判定することができる。
なお、時刻tは、映像素材記録装置40に記録されたMXFファイル(素材データ)内の拡張UMIDデータの「Time/Date」(図2参照)に設定された値である。また、カメラの撮影方向を示す極座標(θ,φ)の値は、拡張UMIDデータの「高度」内の「撮影方位」及び「撮影仰角」に設定された割当て値(図8及び図10に示す16進数値)から、当該割当て値に対応付けられた代表的な値(例えば「撮影方位」の場合、0度、22.5度、45度、〜、337.5度のいずれか)に換算されたものである。
本実施形態では、撮影方位θ及び撮影仰角φは、図8及び図10に示す「撮影方位」及び「撮影仰角」の割当て値から求められた代表的な値である。したがって、図13に示すように、極座標(θ,φ)において、θは、一般の極座標系(反時計回りを正方向とする右手系3次元直交座標系に基づく)とは異なる左手系3次元直交座標系に基づくものを採用し、時計回りを正方向とする。またφは、xy平面を基準に反時計回りを正方向とする。
飛行物体の位置A=(x,y,z)は、カメラの撮影位置を基準とした場合の相対位置である。一方、実際のカメラの撮影位置は、図2に示すように、地理座標系である「高度」、「経度」、「緯度」で表される。したがって、飛行物体の位置Aは、時刻tにおいて実際に測定された地理座標系の飛行物体の位置を、3次元直交座標系の原点O(カメラの撮影位置)を基準にして補正したものである。なお、カメラの撮影位置の座標系変換を含む飛行物体の位置の補正方法は、公知であるので詳細な説明は省略する。
閾値Dthは、カメラの撮影画角で決まる値である。標準レンズを用いたカメラの場合、撮影画角は、一般に、25°〜50°になる。このため、閾値Dthは、
Dth=|OA|・sin(12.5°)〜|OA|・sin(25°)
となる。例えば、カメラと飛行物体との間の距離|OA|が10メートルの場合、閾値Dthは2〜4メートルとなる。
以上のように構成された画像検索システム100において、画像検索装置50は、様々な素材データの中から飛行物体が写ったフレームを検索する。
図14は、画像検索装置50の演算部54によって実行される画像検索ルーチンの動作を示すフローチャートである。
ステップS21では、演算部54は、飛行物体が映っている可能性のある複数の素材データをまとめて、検索対象素材群を生成する。具体的には、演算部54は、送受信部51を介して映像素材記録装置40にアクセスして、映像素材記録装置40内の素材データの撮影時刻、撮影場所などの情報(例えば、素材データの先頭フレームに付与された拡張UMIDデータに含まれるソースパックの「Time/Date」、「Spatial Co−ordinates」など)と、ユーザの操作によって操作部52に入力された情報(飛行物体の想定出現時刻、想定出現場所など)と、を比較する。演算部54は、その比較結果に基づき、明らかに飛行物体が写っている可能性のない素材データを排除し、残りの素材データをまとめて検索対象素材群とする。
ステップS22では、演算部54は、検索対象素材群の素材データの中から、未選択の1つの素材データを選択する。以下、本ステップで選択された素材データを対象素材データという。
ステップS23では、演算部54は、対象素材データのフレームシーケンスの中から、未選択の1つのフレーム(初めてフレームを選択する場合は先頭フレーム)を選択する。以下、本ステップで選択されたフレームを対象フレームという。
ステップS24では、演算部54は、対象フレームに付与された拡張UMIDデータに含まれる「Time/Date」から、対象フレームの撮影時刻情報tを抽出する。
ステップS25では、演算部54は、対象フレームに付与された拡張UMIDデータに含まれる「Spatial Co−ordinates」から、対象フレームの撮影位置情報(図13の原点O)及び撮影方向情報(撮影方向ベクトル)を抽出する。
「Spatial Co−ordinates」から得られる撮影方向情報は、カメラの撮影方位θと撮影仰角φである。よって、撮影方向ベクトルは、前出の、当該極座標から当該3次元直交座標への座標変換式に基づいて算出される。
ステップS26では、演算部54は、ステップS24で抽出した撮影時刻情報tを用いて、位置サーバ60から時刻tにおける飛行物体の地理座標系の位置Aを抽出する。 演算部54は、対象フレームのソースパックに記述された高度、緯度及び経度(地理座標系のカメラの撮影位置)を用いて、抽出した飛行物体の地理座標系の位置Aを、カメラの撮影位置を原点Oとした3次元直交座標系における位置に補正する。飛行物体の位置A及びカメラの撮影位置の地理座標系から3次元直交座標系への変換並びに飛行物体の位置の補正は、公知技術であり、詳細な説明は省略する。
ステップS27では、演算部54は、ステップS25で算出された撮影方向ベクトルと、カメラの撮影位置を原点Oとした3次元直交座標系における飛行物体の位置Aと、を用いて、前出の式(1)に基づき距離dを算出する。
ステップS28では、演算部54は、距離dと、予め定められた閾値Dthとを比較する。そして、d<Dthである場合はステップS29へ進み、d<Dthではない場合はステップS30へ進む。
ステップS29では、演算部54は、対象フレームに飛行物体が写っていると判定し、対象フレームにマーキングを施す。
ステップS30では、演算部54は、対象素材データの中に未選択のフレーム(次のフレーム)があるか否かを判定する。次のフレームがある場合は、ステップS23に戻る。次のフレームがない場合は、対象素材データ内のフレーム検索(ステップS23〜ステップS30)を終了して、ステップS31へ進む。
ステップS31では、演算部54は、検索対象素材群の中に未選択の素材データ(次の対象素材データ)があるか否かを判定する。次の対象素材データがある場合は、ステップS22へ戻る。次の対象素材データがない場合は、検索対象素材群の全ての素材データのフレーム検索(ステップS22〜ステップS31)を終了して、ステップS32へ進む。
ステップS32では、演算部54は、1つでもフレームがマーキングされた素材データ、すなわち飛行物体が写ったフレームが1つでも含まれる素材データを選択し、選択した素材データをリスト化する。
ステップS33では、演算部54は、リスト化された各素材データに対して、マーキングされたフレームすなわち飛行物体が写ったフレームを同定し、同定したフレームをまとめてディスプレイへ一覧表示する。これにより、様々な素材データの中から、飛行物体が写ったフレームのみがユーザへ提示される。
ディスプレイには、例えば、マーキングされたフレームのサムネイル(縮小画像)が、素材データ毎に配列されて表示される。マーキングされたフレームが連続する場合は、代表的なフレーム、例えば最初にマーキングされたフレームのサムネイルが表示される。
なお、図13では、カメラの撮影位置が固定されているが、本実施形態はこれに限定されるものではない。つまり、カメラの撮影位置は移動可能であってもよい。
図2及び図3に示すように、ソースパックには、フレーム毎に、異なる値の「Spatial Co−ordinates」(カメラの撮影位置)が記述可能である。このため、カメラの撮影位置が常に移動する場合でも、ソースパックには、フレーム毎に、カメラの撮影位置が記述される。また、画像検索装置50の演算部54は、フレーム毎に、カメラの撮影位置情報を抽出して(図14のステップS25)、当該カメラ撮影位置を原点Oとした3次元直交座標系に基づく飛行物体の位置を求める(図14のステップS26)。このため、画像検索装置50は、カメラの撮影位置の移動の有無に影響を受けることなく、飛行物体が写ったフレームを検索することができる。
ところで、第2の実施形態では、飛行物体の位置情報が既知であることを前提にしている。実際には、飛行物体の位置情報は不明である場合が多い。この場合、本実施形態をそのまま適用することはできない。
しかし、何らかの手段によって飛行物体が写ったフレームを含む素材データが1つでも見つけ出された場合、当該フレームに付与されたソースパックと閾値Dthとの比較から、撮影によって当該フレームが生成された時刻における飛行物体の存在位置の範囲を推測することができる。これより、推測された飛行物体の存在位置の範囲を用いて、閾値Dthを比較的大きく設定して本実施形態を繰り替えし適用することで、所望の素材データ候補を絞り込むことが可能となる。
[第3の実施形態]
つぎに、本発明の第3の実施形態について説明する。なお、上述した実施形態と同一のものには同一の符号を付し、重複する説明は省略する。
図15は、本発明の第3の実施形態に係る自動追尾撮影システム200の概略的な構成を示す図である。
自動追尾撮影システム200は、飛行物体を撮影する(設置型)無線カメラ10と、無線カメラ10の撮影方向を制御する撮影方向制御装置70と、無線カメラ10が飛行物体を自動追尾するように撮影方向制御装置70を制御する解析制御装置80と、を備えている。
図15では、第2の実施形態と同様の3次元極座標系における、無線カメラ10及び飛行物体の様子が示されている。ある時刻tにおいて、無線カメラ10の撮影方向ベクトルvは(θ,φ)、飛行物体の位置方向ベクトルuは(θ,φ)である。ここで、位置方向ベクトルとは、原点Oより飛行物体の位置Aに向けた単位ベクトルをいう。
無線カメラ10は、飛行物体を撮影して、拡張UMIDデータが重畳されたフレームシーケンスデータを解析制御装置80へ無線送信する。飛行物体は、GPS受信ユニットを備え、地理座標系の位置情報をリアルタイムで測定して、測定結果を解析制御装置80へ無線送信する。
解析制御装置80は、無線カメラ10からフレームシーケンスデータ、飛行物体から位置情報をそれぞれ受信し、データ解析を実施して撮影方向制御データを生成し、当該撮影方向制御データを撮影方向制御装置70へ送信する。
撮影方向制御装置70は、解析制御装置80から受信した撮影方向制御データに基づいて、無線カメラ10が飛行物体を自動追尾して撮影するように、無線カメラ10の撮影方位θ及び撮影仰角φを制御する。
図16は、解析制御装置80の構成を示すブロック図である。
解析制御装置80は、フレームシーケンスデータ受信部81と、データ分離部82と、位置情報受信部83と、データ解析部84と、制御データ生成部85と、制御データ送信部86と、を備えている。
フレームシーケンスデータ受信部81は、拡張UMIDデータが重畳されたフレームシーケンスデータを無線カメラ10からリアルタイムで受信し、受信したフレームシーケンスデータをデータ分離部82に供給する。データ分離部82は、フレームシーケンスデータから拡張UMIDデータを分離して、分離した拡張UMIDデータをデータ解析部84に供給する。位置情報受信部83は、飛行物体から現在位置情報をリアルタイムで受信し、受信した現在位置情報をデータ解析部84に供給する。
データ解析部84は、拡張UMIDデータと飛行物体の位置情報とを用いて、無線カメラ10の撮影方向ベクトル並びに飛行物体の位置方向ベクトルをそれぞれ算出する。制御データ生成部85は、無線カメラ10の撮影方向ベクトル及び飛行物体の位置方向ベクトルを用いて、無線カメラ10が飛行物体を自動追尾しながら撮影するための撮影方向制御データを生成する。制御データ送信部86は、制御データ生成部85により生成された撮影方向制御データを撮影方向制御装置70へ送信する。
図17は、解析制御装置80による制御データ生成ルーチンの動作を示すフローチャートである。
ステップS41では、フレームシーケンスデータ受信部81は、無線カメラ10から、拡張UMIDデータが重畳されたフレームシーケンスデータをリアルタイムで受信し、受信したフレームシーケンスデータをデータ分離部82に供給する。
ステップS42では、データ分離部82は、フレームシーケンスデータから拡張UMIDデータを分離し、さらに、当該拡張UMIDデータからソースパックを分離して、分離したソースパックをデータ解析部84に供給する。
ステップS43では、データ解析部84は、データ分離部82から供給されたソースパックに含まれる「Time/Date」から、フレームの撮影時刻情報(例えば時刻t)を抽出する。さらに、データ解析部84は、「Spatial Co−ordinates」から、撮影位置情報(高度、緯度、経度)と、撮影方向情報(撮影方位、撮影仰角)を抽出する。
ステップS44では、データ解析部84は、抽出した撮影方向情報から撮影方向ベクトル(θ,φ)を算出する。ここでは、第2の実施形態(図13)と同様に、左手系3次元直交座標系に基づく極座標が用いられる。このため、撮影方向ベクトル(θ,φ)は、図9に示すソースパックの「高度」内の「撮影方位」及び「撮影仰角」に設定された割当て値(図8及び図10に示す16進数値)から、当該割当て値に対応付けられた代表的な値(例えば「撮影方位」の場合、0度、22.5度、45度、〜、337.5度のいずれか)に換算されたものである。
ステップS45では、データ解析部84は、位置情報受信部83で受信された位置情報の時系列データから、時刻tにおける飛行物体の地理座標系の位置情報を抽出する。そして、データ解析部84は、データ分離部82で分離された(時刻tにおける)ソースパックに記述された高度、緯度及び経度(地理座標系の無線カメラ10の撮影位置)を用いて、抽出した飛行物体の地理座標系の位置情報を、無線カメラ10の撮影位置を原点Oとした3次元直交座標系における位置Aに補正する。
ステップS46では、データ解析部84は、飛行物体の3次元直交座標系における位置Aから位置方向ベクトルを算出する。
ここで、飛行物体の位置Aを(x,y,z)、位置方向ベクトルを(θ,φ)とすると、位置方向ベクトルは以下の式にて算出される。
ステップS47では、制御データ生成部85は、ステップS44で算出された撮影方向ベクトル(θ,φ)とステップS46で算出された位置方向ベクトル(θ,φ)とを用いて、2つのベクトルとの差分である差分ベクトル(Δθ,Δφ)=(θ−θ,φ−φ)を算出する。
ステップS48では、制御データ生成部85は、差分ベクトル(Δθ,Δφ)に従って無線カメラ10の撮影方位及び撮影仰角を制御するための撮影方向制御データを生成する。制御データ送信部86は、生成された撮影方向制御データを撮影方向制御装置70へ送信する。これにより、撮影方向制御装置70は、無線カメラ10が飛行物体を自動追尾して撮影するように、無線カメラ10の撮影方位及び撮影仰角を制御する。
ステップS49では、データ解析部84は、無線カメラ10による飛行物体の自動追尾撮影の完了の指示があったか否かを判定する。自動追尾撮影の完了の指示がなかった場合は、ステップS41へ戻り、次に受信したフレームについて、ステップS42からステップS48までの一連の処理を実施する。自動追尾撮影の完了の指示があった場合は、本ルーチンは終了する。
以上のように、解析制御装置80は、拡張UMIDデータのソースパックに記述された「撮影方位」及び「撮影仰角」を用いて無線カメラ10の撮影方向ベクトルを算出し、ソースパックに記述された「Spatial Co−ordinates」(無線カメラ10の撮影位置)を用いて飛行物体の位置方向ベクトルを算出する。そして、解析制御装置80は、撮影方向ベクトルと飛行物体の位置方向ベクトルとの差分ベクトルに基づいて、無線カメラ10が飛行物体を自動追尾して撮影するための撮影方向制御データを生成することができる。
なお、図15では、無線カメラ10の撮影位置が固定されているが、本実施形態はこれに限定されるものではない。つまり、無線カメラ10の撮影位置は移動可能であってもよい。
図2及び図3に示すように、ソースパックには、フレーム毎に、異なる値の「Spatial Co−ordinates」(無線カメラ10の撮影位置)が記述可能である。このため、無線カメラ10の撮影位置が常に移動する場合でも、ソースパックには、フレーム毎に、無線カメラ10の撮影位置が記述される。また、解析制御装置80のデータ解析部84は、フレーム毎に、無線カメラ10の撮影位置情報を抽出して(図17のステップS43)、当該無線カメラ10の撮影位置を原点Oとした3次元直交座標系に基づく飛行物体の位置Aを求める(図17のステップS45)。このため、撮影方向制御装置70は、無線カメラ10の撮影位置の移動の有無に影響を受けることなく、無線カメラ10が飛行物体を自動追尾して撮影するように、撮影方向制御装置70を制御することができる。
1 映像撮影・記録システム
10 無線カメラ
10A 撮像部
10B 送信部
12 撮像素子
15 撮影位置検出部
16 撮影方位検出部
17 撮影仰角検出部
18 UMIDデータ生成部
19 データ重畳部
24 制御部
30 無線映像受信装置
40 映像素材記録装置
50 画像検索装置
54 演算部
60 位置サーバ
70 撮影方向制御装置
80 解析制御装置
84 データ解析部
85 制御データ生成部
100 画像検索システム
200 自動追尾撮影システム



Claims (7)

  1. 素材データを大域的一意に識別する固有識別子である基本UMIDデータと、高度、経度及び緯度についてそれぞれ8ニブルの情報を含んだソースパックと、を有する拡張UMIDデータであって、前記高度の第1から第5のニブルは、海抜高度の下5桁を表し、前記高度の第8のニブルは、前記海抜高度の正負及び前記ソースパックの記述対象を表し、前記高度の第7のニブルは、撮像装置の撮影位置検出の際に受信した信号の発信元であるGPS衛星の数、前記撮影位置検出の際の補助測位機器の使用の有無、及び、前記高度の第6のニブルの値が前記海抜高度の最上位桁又は検出された撮影位置の精度劣化度のいずれであるかを示し、前記第6のニブルは、前記海抜高度の最上位桁又は前記精度劣化度を表す前記拡張UMIDデータを生成する撮影情報生成装置であって
    前記第7のニブルに、前記GPS衛星の数が以下の値であり、かつ、前記第6のニブルの値が前記精度劣化度であることを示す値であって、前記拡張UMIDデータの書式仕様において用いられている値を除いた第1の固定値を設定することにより、前記第6のニブルの前記精度劣化度の値を無効にする固定値設定部と、
    前記第6のニブルに、前記撮像装置の撮影方位の値を設定する撮影方位設定部と、
    前記海抜高度の値を設定する海抜高度設定部と、
    前記固定値設定部、前記撮影方位設定部、及び前記海抜高度設定部により各値が設定された拡張UMIDデータを生成する拡張UMIDデータ生成部と、
    を備えた撮影情報生成装置。
  2. 前記撮像装置の撮影仰角の値を設定する撮影仰角設定部をさらに備え、
    前記固定値設定部は、前記第7のニブルに、前記GPS衛星の数が2以下の値であり、かつ、前記第6のニブルの値が前記精度劣化度であることを示す値であって、前記拡張UMIDデータの書式仕様において用いられている値を除いた、前記第1の固定値とは異なる第2の固定値を設定することにより、前記第6のニブルの前記精度劣化度の値を無効にし、
    前記海抜高度設定部は、2万メートル未満の前記海抜高度の値を設定し、
    前記撮影仰角設定部は、前記第5のニブルにおける前記海抜高度の1万の位の2から9までの数値を表す上位3ビットに、前記撮影仰角を設定し、
    前記拡張UMIDデータ生成部は、前記固定値設定部、前記撮影方位設定部、前記海抜高度設定部、及び前記撮影仰角設定部により各値が設定された拡張UMIDデータを生成する
    請求項1に記載の撮影情報生成装置。
  3. 前記撮影方位を検出する撮影方位検出部と、
    GPS衛星からの信号に基づいて前記海抜高度を検出する海抜高度検出部と、
    前記撮影仰角を検出する撮影仰角検出部と、をさらに備え、
    前記撮影方位設定部は、前記撮影方位検出部により検出された前記撮影方位の値を設定し、
    前記海抜高度設定部は、前記海抜高度検出部により検出された前記海抜高度の値を設定し、
    前記撮影仰角設定部は、前記撮影仰角検出部により検出された前記撮影仰角の値を設定する
    請求項2に記載の撮影情報生成装置。
  4. 素材データを大域的一意に識別する固有識別子である基本UMIDデータと、高度、経度及び緯度についてそれぞれ8ニブルの情報を含んだソースパックと、を有する拡張UMIDデータであって、前記高度の第1から第5のニブルは、海抜高度の下5桁を表し、前記高度の第8のニブルは、前記海抜高度の正負及び前記ソースパックの記述対象を表し、前記高度の第7のニブルは、撮像装置の撮影位置検出の際に受信した信号の発信元であるGPS衛星の数、前記撮影位置検出の際の補助測位機器の使用の有無、及び、前記高度の第6のニブルの値が前記海抜高度の最上位桁又は検出された撮影位置の精度劣化度のいずれであるかを示し、前記高度の第6のニブルは、前記海抜高度の最上位桁又は前記精度劣化度を表す前記拡張UMIDデータを生成する撮影情報生成方法であって
    前記第7のニブルに、前記GPS衛星の数が以下の値であり、かつ、前記第6のニブルの値が前記精度劣化度であることを示す値であって、前記拡張UMIDデータの書式仕様において用いられている値を除いた第1の固定値を設することにより、前記第6のニブルの前記精度劣化度の値を無効にし、
    前記第6のニブルに、前記撮像装置の撮影方位の値を設定し、
    前記海抜高度の値を設定し、
    前記第1の固定値、前記撮影方位の値及び前記海抜高度の値が設定された拡張UMIDデータを生成する
    撮影情報生成方法。
  5. 被写体を撮像して複数のフレームを有するフレームシーケンスデータを生成する撮像部と、
    請求項1から請求項3のいずれか1項に記載の撮影情報生成装置と、
    前記撮影情報生成装置により生成された拡張UMIDデータを、前記撮像部により生成された前記フレームシーケンスデータの各フレームに重畳して出力するデータ重畳部と、
    を備えた撮像装置。
  6. 請求項2又は請求項3に記載の撮影情報生成装置により生成された前記拡張UMIDデータから、前記ソースパックに含まれる時刻情報を抽出する時刻情報抽出部と、
    前記拡張UMIDデータに含まれる撮影方位の値及び撮影仰角の値に基づいて、当該拡張UMIDデータが付与されたフレームを生成した撮像装置の撮影方向パラメータを算出する撮影方向パラメータ算出部と、
    前記撮影方向パラメータ算出部により算出された撮影方向パラメータと、前記時刻情報抽出部により抽出された時刻情報と、前記撮像装置より撮影された被写体の位置の時系列データと、に基づいて、前記被写体の位置から前記撮像装置の撮影方向を示す直線までの距離を算出する距離算出部と、
    前記撮像装置により生成されたフレームシーケンスデータが有する複数のフレームのうち、前記距離算出部により算出された距離が前記撮像装置の撮影画角に基づく所定の範囲内にある場合に該当するフレームに前記被写体が写っていると判定する判定部と、
    を備えたフレームデータ検索装置。
  7. 被写体を撮像して複数のフレームを有するフレームシーケンスデータを生成する撮像装置と、請求項2又は請求項3に記載の撮影情報生成装置と、を有する撮像システムと、
    撮影方向制御データに基づいて、前記撮像装置の撮影方位及び撮影仰角を制御する撮影方向制御装置と、
    前記撮影情報生成装置により生成された拡張UMIDデータに含まれる撮影方位の値及び撮影仰角の値に基づいて、前記撮像装置の撮影方向を示す撮影方向ベクトルを算出する撮影方向ベクトル算出部と、前記撮影情報生成装置により生成された拡張UMIDデータに含まれる高度、経度及び緯度と、被写体の位置情報と、に基づいて、前記撮像装置の撮影位置を基準にした前記被写体の位置方向を示す位置方向ベクトルを算出する位置方向ベクトル算出部と、算出された前記撮影方向ベクトルと算出された前記位置方向ベクトルの差分が減少するように前記撮像装置の撮影方位及び撮影仰角を制御するための前記撮影方向制御データを生成し、生成した前記撮影方向制御データを前記撮影方向制御装置に供給する撮影方向制御データ生成供給部と、を有する撮影情報解析制御装置と、
    を備えた自動追尾撮影システム。
JP2017000001A 2017-01-01 2017-01-01 撮影情報生成装置、撮影情報生成方法、撮像装置、フレームデータ検索装置及び自動追尾撮影システム Active JP6305579B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017000001A JP6305579B1 (ja) 2017-01-01 2017-01-01 撮影情報生成装置、撮影情報生成方法、撮像装置、フレームデータ検索装置及び自動追尾撮影システム
US15/908,518 US10547777B2 (en) 2017-01-01 2018-02-28 Camera shooting information generation apparatus, camera shooting information generation method, imaging apparatus, frame data search apparatus, and automatic tracking camera shooting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017000001A JP6305579B1 (ja) 2017-01-01 2017-01-01 撮影情報生成装置、撮影情報生成方法、撮像装置、フレームデータ検索装置及び自動追尾撮影システム

Publications (2)

Publication Number Publication Date
JP6305579B1 true JP6305579B1 (ja) 2018-04-04
JP2018110320A JP2018110320A (ja) 2018-07-12

Family

ID=61828590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017000001A Active JP6305579B1 (ja) 2017-01-01 2017-01-01 撮影情報生成装置、撮影情報生成方法、撮像装置、フレームデータ検索装置及び自動追尾撮影システム

Country Status (2)

Country Link
US (1) US10547777B2 (ja)
JP (1) JP6305579B1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803634B2 (en) 2016-07-19 2020-10-13 Image Recognition Technology, Llc Reconstruction of three dimensional model of an object compensating for object orientation changes between surface or slice scans
US20230001282A1 (en) * 2019-11-25 2023-01-05 Pu Huang Exercise equipment with interactive real road simulation
CN111476150B (zh) * 2020-04-03 2024-03-08 中南林业科技大学 基于uav近景拍摄技术的崖壁群植物多样性调查方法
CN114327838B (zh) * 2022-03-07 2022-05-24 中电云数智科技有限公司 一种基于分布式管理的视频调度引擎装置与方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4529304B2 (ja) 2001-03-09 2010-08-25 ソニー株式会社 データ伝送装置及びデータ伝送方法
JP2012151873A (ja) 2012-03-06 2012-08-09 Sony Corp 画像処理装置、画像処理装置の制御方法、および、プログラム

Also Published As

Publication number Publication date
US20180255233A1 (en) 2018-09-06
US10547777B2 (en) 2020-01-28
JP2018110320A (ja) 2018-07-12

Similar Documents

Publication Publication Date Title
US11367158B2 (en) Image capturing method and display method for recognizing a relationship among a plurality of images displayed on a display screen
US10636150B2 (en) Subject tracking systems for a movable imaging system
JP6305579B1 (ja) 撮影情報生成装置、撮影情報生成方法、撮像装置、フレームデータ検索装置及び自動追尾撮影システム
KR101423928B1 (ko) 전자지도에 포함된 이미지 파일을 이용한 이미지 재생장치, 이의 재생 방법 및 상기 방법을 실행하기 위한프로그램을 기록한 기록매체.
KR101285360B1 (ko) 증강현실을 이용한 관심 지점 표시 장치 및 방법
US20140300762A1 (en) Information processing apparatus and control method therefor
CN103002208A (zh) 电子装置和图像拾取设备
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
JP6292915B2 (ja) 表示制御装置及びその制御方法、プログラム
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
JP6741498B2 (ja) 撮像装置、表示装置、及び撮像表示システム
US20120203506A1 (en) Information processing apparatus, control method therefor, and non-transitory computer readable storage medium
JP6412400B2 (ja) 画像合成装置および画像合成プログラム
KR20100060472A (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
JP2010129032A (ja) 画像検索装置および画像検索プログラム
JP2005038021A (ja) 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム
JP2011188054A (ja) 位置情報利用可能な画像撮影装置、画像撮影方法およびプログラム
KR101308745B1 (ko) 지리공간정보가 적용된 멀티 기능 기반의 수치지도 시스템
JP2008152374A (ja) 画像システム、撮影方位特定装置、撮影方位特定方法、プログラム
CA3063007A1 (en) Human-aided geo-rectification of geospatial metadata in video using a graphical interface
JP5969062B2 (ja) 画像処理装置及び画像処理方法
JP2014180036A (ja) 撮影装置、その制御方法、及びプログラム
JP2004317715A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2020167499A (ja) 写真撮影支援装置
JP2006352480A (ja) 撮影装置および撮影対象案内システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170131

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170131

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180306

R150 Certificate of patent or registration of utility model

Ref document number: 6305579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250