WO2022201825A1 - 情報処理装置、情報処理方法、及び、情報処理システム - Google Patents

情報処理装置、情報処理方法、及び、情報処理システム Download PDF

Info

Publication number
WO2022201825A1
WO2022201825A1 PCT/JP2022/002503 JP2022002503W WO2022201825A1 WO 2022201825 A1 WO2022201825 A1 WO 2022201825A1 JP 2022002503 W JP2022002503 W JP 2022002503W WO 2022201825 A1 WO2022201825 A1 WO 2022201825A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
information processing
deviation
imaging
imaging direction
Prior art date
Application number
PCT/JP2022/002503
Other languages
English (en)
French (fr)
Inventor
大資 田原
慧 柿谷
浩二 神谷
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022201825A1 publication Critical patent/WO2022201825A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Abstract

本技術は、所定の機能を備える器具を用いずに、カメラの撮像方向の検出精度を向上させることができるようにする情報処理装置、情報処理方法、及び、情報処理システムに関する。 情報処理装置は、撮像画像の撮像を行う撮像装置により検出され、前記撮像画像に対応付けられている前記撮像装置の撮像方向である第１の撮像方向のズレを、前記撮像画像に基づいて検出するズレ検出部を備える。本技術は、例えば、撮像装置の制御を行うＣＣＵ（Camera Control Unit）に適用できる。

Description

情報処理装置、情報処理方法、及び、情報処理システム
　本技術は、情報処理装置、情報処理方法、及び、情報処理システムに関し、特に、カメラの撮像方向の検出精度を向上させるようにした情報処理装置、情報処理方法、及び、情報処理システムに関する。
　従来、カメラが雲台に装着された場合、雲台がパン回転又はチルト回転の基点となるホームポジションの検出動作を含むイニシャル処理を行い、カメラの撮像方向を正確に制御する技術が提案されている（例えば、特許文献１参照）。
特開２００７－１２１５７５号公報
　しかしながら、特許文献１に記載の発明では、カメラの撮像方向の検出精度を向上させるために所定の機能を備える雲台が必要になる。
　本技術は、このような状況に鑑みてなされたものであり、所定の機能を備える雲台等の器具を用いずに、撮像装置の撮像方向の検出精度を向上させるようにするものである。
　本技術の第１の側面の情報処理装置は、撮像画像の撮像を行う撮像装置により検出され、前記撮像画像に対応付けられている前記撮像装置の撮像方向である第１の撮像方向のズレを、前記撮像画像に基づいて検出するズレ検出部を備える。
　本技術の第１の側面の情報処理方法は、情報処理装置が、撮像画像の撮像を行う撮像装置により検出され、前記撮像画像に対応付けられている前記撮像装置の撮像方向のズレを、前記撮像画像に基づいて検出する。
　本技術の第１の側面においては、撮像画像の撮像を行う撮像装置により検出され、前記撮像画像に対応付けられている前記撮像装置の撮像方向のズレが、前記撮像画像に基づいて検出される。
　本技術の第２の側面の情報処理システムは、撮像画像の撮像を行う撮像装置と、前記撮像装置の制御を行う情報処理装置とを備え、前記撮像装置は、前記撮像装置の撮像方向を検出する撮像方向検出部と、前記撮像方向検出部により検出された前記撮像方向を含むメタデータを生成し、前記メタデータを前記撮像画像に対応付けて前記情報処理装置に出力するメタデータ生成部とを備え、前記情報処理装置は、前記メタデータに含まれる前記撮像方向のズレを、前記撮像画像に基づいて検出するズレ検出部を備える。
　本技術の第２の側面においては、撮像装置の撮像方向が検出され、検出された前記撮像方向を含むメタデータが生成され、前記メタデータが前記撮像画像に対応付けられて前記情報処理装置に出力され、前記メタデータに含まれる前記撮像方向のズレが、前記撮像画像に基づいて検出される。
本技術を適用した情報処理システムの一実施の形態を示すブロック図である。 カメラのＣＰＵの機能構成例を示すブロック図である。 ＣＣＵのＣＰＵの機能構成例を示すブロック図である。 ＣＣＵの情報処理部の機能構成例を示すブロック図である。 特徴点マップの例を示す図である。 特徴点マップの生成方法を説明するための図である。 カメラの処理を説明するためのフローチャートである。 ＣＣＵの処理を説明するためのフローチャートである。 撮像方向ズレ検出処理の詳細を説明するためのフローチャートである。 映像フレームの例を示す図である。 特徴点の検出結果の例を示す図である。 再投影された特徴点の例を示す図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．カメラの撮像方向の検出方法の例
　２．実施の形態
　３．変形例
　４．その他
　＜＜１．カメラの撮像方向の検出方法の例＞＞
　まず、カメラの撮像方向（姿勢）の検出方法の例について説明する。
　例えば、三脚に取り付けられた雲台の角度を計測するエンコーダを内蔵する三脚システムを用いて、カメラの撮像方向を検出し、映像と一緒に伝送する方法がある。
　しかし、この方法では、エンコーダ付きの三脚システムが必要になる。
　例えば、カメラに内蔵されたジャイロセンサにより角速度を検出し、検出した角速度に基づいて角度の変化量を算出し、所定の基準方向を基準にして、角度の変化量を累積計算することにより、カメラの撮像方向を検出する方法がある。
　しかし、この方法では、いわゆる「ドリフト」と呼ばれる現象が発生する。すなわち、ノイズ等によるジャイロセンサの誤差が蓄積されることにより、カメラの撮像方向の検出結果が徐々にずれていく現象が発生する。この撮像方向のズレは、実質的に基準方向のズレとみなすことができる。
　例えば、カメラ本体の動き、並びに、レンズのフォーカスリング及びズームリングの動きを検出する外付けシステムを用いる方法がある。
　具体的には、例えば、天井に貼付した専用マーカ、外部の広角カメラ、及び広角カメラにより撮影した専用マーカの位置をカメラの姿勢情報へ変換する映像処理システムを用いる方法がある。
　例えば、ＶＲ（Virtual Reality）用のヘッドマウントディスプレイ・コントローラの赤外カメラシステムをカメラに装着して、赤外カメラシステムの動き情報に基づいて、カメラの撮像方向を算出する方法がある。
　例えば、ＬｉＤＡＲ（Light Detection and Ranging）や複眼カメラシステムを用いた測位システム（例えば、Intel RealSenseカメラ）をカメラに装着する方法がある。
　しかし、これらの外付けシステムを用いる場合、専門技術が必要になるとともに、外付けシステムの設置や調整といった煩雑な作業が必要になる。
　また、適用可能な範囲が制約される。例えば、専用マーカを用いる場合、適用可能な範囲が、専用マーカを貼付することが可能な天井や地面を有する空間に限定される。例えば、赤外カメラシステムを用いる場合、赤外カメラの撮像範囲の制約により、適用可能な範囲が部屋サイズ程度の空間に限定される。例えば、測距システムを用いる場合、アクティブ測距やステレオ測距に伴う距離の制約が生じる。
　例えば、画像処理とジャイロセンサを組み合わせた技術であるVisual Inertial OdometryやVisual Inertial SLAMを用いる方法がある。
　しかし、例えば、放送コンテンツ、特にスポーツ中継等においては、ズームレンズを用いたズーム操作が多用されたり、放送用の映像に選択されていないカメラが素早くパンニングされたりする。そのため、撮像範囲が頻繁かつ高速に変化する。また、スポーツ選手や演者を大写しにして、周囲をぼかすような寄りのシーンが撮像される。このようなカメラの操作や映像の特殊性から、Visual Inertial OdometryやVisual Inertial SLAMを直接適用することは困難である。
　＜＜２．実施の形態＞＞
　次に、図１乃至図１２を参照して、本技術の実施の形態について説明する。
　　＜情報処理システムの構成例＞
　図１は、本技術を適用した情報処理システム１一実施の形態を示すブロック図である。
　情報処理システム１は、カメラ１１、三脚１２、雲台１３、カメラケーブル１４、及び、ＣＣＵ（Camera Control Unit）１５を備える。カメラ１１は、三脚１２に取り付けられた雲台１３の上に、パン方向、チルト方向、及び、ロール方向に回転し、並進方向に移動しないように設置されている。ここでＣＣＵ１５とは、カメラ１１の制御を行ったり、カメラ１１で撮像した映像の処理を行ったりする外部装置のことであり、カメラ１１とＣＣＵ１５とは、カメラケーブル１４により接続されている。また、カメラ１１とＣＣＵ１５とは、必ずしも物理的なケーブルで接続する必要はなく、例えば、無線通信により接続してもよい。
　カメラ１１は、本体部２１及びレンズ２２を備える。レンズ２２は、本体部２１に装着されている。本体部２１は、信号処理部３１、モーションセンサ３２、及び、ＣＰＵ３３を備える。
　レンズ２２は、レンズ２２に関するレンズ情報をＣＰＵ３３に供給する。レンズ情報は、例えば、焦点距離、合焦距離、及び、アイリス値等のレンズ２２の制御値や仕様等を含む。
　信号処理部３１は、ＣＣＵ１５の信号処理部５１と映像信号処理を分担して行う。例えば、信号処理部３１は、イメージセンサ（不図示）がレンズ２２を介して被写体を撮像することにより得られる映像信号に対して所定の信号処理を行い、イメージセンサにより撮像された撮像画像からなる映像フレームを生成する。信号処理部３１は、カメラケーブル１４を介して、ＣＣＵ１５の信号処理部５１に映像フレームを出力する。
　モーションセンサ３２は、例えば、角速度センサ及び加速度センサを備え、カメラ１１の角速度及び加速度を検出する。モーションセンサ３２は、カメラ１１の角速度及び加速度の検出結果を示すデータをＣＰＵ３３に供給する。
　ＣＰＵ３３は、カメラ１１の各部の処理を制御する。例えば、ＣＰＵ３３は、ＣＣＵ１５から入力される制御信号に基づいて、カメラ１１の制御値を変更したり、制御値に関する情報を図示せぬビューファインダに表示したりする。
　ＣＰＵ３３は、カメラ１１の角速度の検出結果に基づいて、カメラ１１の姿勢（パン角、チルト角、ロール角）、すなわち、カメラ１１の撮像方向を検出する。例えば、ＣＰＵ３３は、事前に基準方向を設定し、基準方向を基準にして、カメラ１１の向き（角度）の変化量を累積計算（積算）することにより、カメラ１１の撮像方向（姿勢）を検出する。なお、ＣＰＵ３３は、必要に応じてカメラ１１の加速度の検出結果も用いて、カメラ１１の撮像方向を検出する。
　ここで、カメラ１１の基準方向とは、カメラ１１のパン角、チルト角、及び、ロール角を０度とする方向である。ＣＰＵ３３は、後述するように、ＣＣＵ１５から出力される補正データに基づいて、内部に保持している基準方向を補正する。
　ＣＰＵ３３は、カメラ１１の撮像方向を含む情報（以下、撮像方向情報と称する）及びレンズ情報を含むカメラメタデータを生成する。ＣＰＵ３３は、カメラケーブル１４を介して、カメラメタデータをＣＣＵ１５のＣＰＵ５２に出力する。
　ＣＣＵ１５は、信号処理部５１、ＣＰＵ５２、情報処理部５３、及び、出力部５４を備える。
　信号処理部５１は、カメラ１１の信号処理部３１により生成された映像フレームに対して、所定の映像信号処理を行う。信号処理部５１は、映像信号処理後の映像フレームを情報処理部５３及び出力部５４に供給する。
　ＣＰＵ５２は、カメラ１１の各部の処理を制御する。ＣＰＵ５２は、カメラ１１から取得したカメラメタデータを情報処理部５３に供給する。ＣＰＵ５２は、カメラメタデータに基づいて、出力信号に埋め込むための付帯メタデータを生成し、出力部５４に供給する。ＣＰＵ５２は、情報処理部５３から供給される基準方向の補正値（オフセット値）及びその信頼度を示すデータに基づいて、カメラ１１の基準方向を補正するための補正データを生成する。ＣＰＵ５２は、カメラケーブル１４を介して、補正データをカメラ１１に出力する。
　情報処理部５３は、映像フレームに対して、コンピュータビジョン、ＡＩ（Artificial Intelligence）、機械学習等を用いた各種の認識処理を行う。例えば、情報処理部５３は、映像フレーム及びカメラメタデータに基づいて、カメラ１１により検出された撮像方向のズレ（誤差）を検出する。情報処理部５３は、検出した撮像方向のズレに基づいて、基準方向の補正値を算出するとともに、基準方向の補正値の信頼度を算出する。情報処理部５３は、基準方向の補正値及びその信頼度を示すデータをＣＰＵ５２に供給する。
　出力部５４は、所定の形式の出力信号（例えば、ＳＤＩ（Serial Digital Interface）信号）に、映像フレーム及び付帯メタデータを配置して、後段の装置に出力する。
　なお、以下、カメラ１１とＣＣＵ１５との間の信号やデータの伝送処理において、カメラケーブル１４の記載を適宜省略する。例えば、カメラ１１が、カメラケーブル１４を介して、映像フレームをＣＣＵ１５に出力する場合、カメラケーブル１４の記載を省略して、単にカメラ１１が映像フレームをＣＣＵ１５に出力すると記載する場合がある。
　　＜ＣＰＵ３３の機能構成例＞
　図２は、カメラ１１のＣＰＵ３３により実現される機能の構成例を示している。例えば、ＣＰＵ３３が所定の制御プログラムを実行することにより、制御部７１、撮像方向検出部７２、及び、カメラメタデータ生成部７３を含む機能が実現される。
　制御部７１は、カメラ１１の各部の処理の制御を行う。
　撮像方向検出部７２は、モーションセンサ３２によるカメラ１１の角速度の検出結果に基づいて、カメラ１１の撮像方向を検出する。なお、撮像方向検出部７２は、必要に応じて、カメラ１１の加速度の検出結果も用いる。また、撮像方向検出部７２は、ＣＣＵ１５から出力される補正データに基づいて、カメラ１１の基準方向を補正する。
　カメラメタデータ生成部７３は、カメラ１１の撮像方向情報及びレンズ情報を含むカメラメタデータを生成する。カメラメタデータ生成部７３は、カメラメタデータをＣＣＵ１５のＣＰＵ５２に出力する。
　　＜ＣＰＵ５２の機能構成例＞
　図３は、ＣＣＵ１５のＣＰＵ５２により実現される機能の構成例を示している。例えば、ＣＰＵ５２が所定の制御プログラムを実行することにより、制御部１０１、補正データ生成部１０２、及び、付帯メタデータ生成部１０３を含む機能が実現される。
　制御部１０１は、ＣＣＵ１５の各部の処理の制御を行う。
　補正データ生成部１０２は、情報処理部５３から供給されるカメラ１１の基準方向の補正値に基づいて、補正データを生成する。補正データ生成部１０２は、補正データをカメラ１１のＣＰＵ３３に出力する。
　付帯メタデータ生成部１０３は、カメラ１１から取得したカメラメタデータに基づいて、付帯メタデータを生成する。付帯メタデータ生成部１０３は、付帯メタデータを出力部５４に供給する。
　　＜情報処理部５３の構成例＞
　図４は、ＣＣＵ１５の情報処理部５３の構成例を示している。情報処理部５３は、特徴点検出部１３１、被写体・領域認識部１３２、特徴点選択部１３３、バッファ１３４、カメラ状態判定部１３５、映像状態判定部１３６、カメラ投影情報生成部１３７、再投影部１３８、特徴点マッチング部１３９、ズレ検出部１４０、カメラ投影情報生成部１４１、特徴点マップ更新部１４２、及び、特徴点マップ記憶部１４３を備える。
　特徴点検出部１３１は、信号処理部５１から供給される映像フレームの特徴点を検出し、検出した各特徴点の特徴量ベクトルを算出する。特徴点検出部１３１は、検出した各特徴点の位置及び特徴量ベクトルを示すデータを特徴点選択部１３３及び映像状態判定部１３６に供給する。
　被写体・領域認識部１３２は、信号処理部５１から供給される映像フレームの被写体及び領域の認識処理を行う。被写体・領域認識部１３２は、映像フレームの被写体及び領域の認識結果を示すデータを特徴点選択部１３３及び映像状態判定部１３６に供給する。
　特徴点選択部１３３は、映像フレームの被写体及び領域の認識結果に基づいて、特徴点検出部１３１により検出された特徴点の中から、特徴点マッチングに用いる特徴点を選択する。特徴点選択部１３３は、選択した各特徴点の位置及び特徴量ベクトルを示すデータを特徴点マッチング部１３９に供給する。
　バッファ１３４は、ＣＰＵ５２から供給されるカメラメタデータを一時的に記憶する。ここで、映像フレームの画像処理（特徴点の検出、被写体認識、領域認識、特徴点マッチング、及び、撮像方向のズレの検出）には、ある程度の時間を要する。バッファ１３４は、カメラメタデータの出力を映像フレームの画像処理に要する時間分だけ遅延させて、映像フレームと同期させるために用いられる。
　カメラ状態判定部１３５は、バッファ１３４に記憶されているカメラメタデータに含まれる撮像方向情報及びレンズ情報に基づいて、カメラ１１の状態を判定する。すなわち、カメラ状態判定部１３５は、映像フレームの撮像時のカメラ１１の状態が、撮像方向のズレの検出に適した状態であったか否かを判定する。カメラ状態判定部１３５は、判定結果を示すカメラ状態フラグを映像状態判定部１３６に供給する。
　映像状態判定部１３６は、特徴点の検出結果、並びに、被写体及び領域の認識結果に基づいて、映像フレームの状態を判定する。すなわち、映像状態判定部１３６は、映像フレームが撮像方向のズレの検出に適した状態であるか否かを判定する。映像状態判定部１３６は、判定結果を示す映像状態フラグ、及び、カメラ状態判定部１３５から取得したカメラ状態フラグを特徴点マッチング部１３９に供給する。
　カメラ投影情報生成部１３７は、バッファ１３４に記憶されている撮像方向情報及びレンズ情報に基づいて、特徴点マップ記憶部１４３に記憶されている特徴点マップの特徴点を、カメラ１１の視野に再投影するためのカメラ投影情報を生成する。カメラ投影情報生成部１３７は、カメラ投影情報を再投影部１３８に供給する。
　再投影部１３８は、カメラ投影情報生成部１３７により生成されたカメラ投影情報に基づいて、特徴点マップ記憶部１４３に記憶されている特徴点マップの特徴点をカメラ１１の視野に再投影する。再投影部１３８は、再投影した特徴点の位置及び特徴量ベクトルを示すデータを特徴点マッチング部１３９に供給する。
　特徴点マッチング部１３９は、カメラ状態フラグ及び映像状態フラグに基づいて、撮像方向のズレの検出が可能であるか否かを判定する。特徴点マッチング部１３９は、撮像方向のズレの検出が可能であると判定した場合、映像フレームから検出された特徴点群（以下、検出特徴点群と称する）と、特徴点マップから再投影された特徴点群（以下、再投影特徴点群と称する）とのマッチングを行う。特徴点マッチング部１３９は、特徴点マッチングの結果を示すデータをズレ検出部１４０及び特徴点マップ更新部１４２に供給する。
　ズレ検出部１４０は、検出特徴点群と再投影特徴点群とのマッチング結果に基づいて、カメラ１１により検出された撮像方向のズレ（誤差）を検出するとともに、ズレが補正されたカメラ１１の撮像方向を検出する。また、ズレ検出部１４０は、検出した撮像方向のズレに基づいて、カメラ１１の基準方向の補正値を算出する。さらに、ズレ検出部１４０は、映像フレームの特徴点の検出結果、及び、特徴点マッチングの結果等のうち１つ以上に基づいて、基準方向の補正値の信頼度を算出する。
　ズレ検出部１４０は、検出したカメラ１１の撮像方向を示すデータをカメラ投影情報生成部１４１に供給する。ズレ検出部１４０は、カメラ１１の基準方向の補正値及びその信頼度を示すデータをＣＰＵ５２に供給する。
　カメラ投影情報生成部１４１は、カメラ１１のレンズ情報をバッファ１３４から取得する。カメラ投影情報生成部１４１は、ズレ検出部１４０により検出されたカメラ１１の撮像方向、及び、取得したレンズ情報に基づいて、カメラ投影情報を生成する。カメラ投影情報生成部１４１は、生成したカメラ投影情報を特徴点マップ更新部１４２に供給する。
　特徴点マップ更新部１４２は、特徴点マッチングの結果、及び、カメラ投影情報生成部１４１により生成されたカメラ投影情報に基づいて、カメラ１１の周囲の特徴点の分布を示す特徴点マップを生成及び更新する。特徴点マップ更新部１４２は、特徴点マップを特徴点マップ記憶部１４３に記憶させる。
　ここで、図５及び図６を参照して、特徴点マップの例について説明する。
　図５は、特徴点マップの例を示している。図内のバツ印は、特徴点の位置を示している。
　例えば、特徴点マップ更新部１４２は、カメラ１１の周囲を撮像した映像フレームの特徴点の検出結果を繋ぎ合わせることにより、カメラ１１の周囲のシーンの特徴点の位置及び特徴量ベクトルを示す特徴点マップを生成及び更新する。この特徴点マップでは、特徴点の位置が、例えば、カメラ１１の基準方向を基準とする方向、及び、奥行方向の距離により表される。
　ここで、上述したように、情報処理システム１では、カメラ１１が並進方向に移動しないように設置されている。すなわち、カメラ１１の移動に、回転成分のみが含まれ、並進成分が含まれない。従って、特徴点マップ更新部１４２は、奥行方向の距離を用いずに、特徴点マップを生成及び更新することが可能になる。
　具体的には、例えば、特徴点マップ更新部１４２は、図６のＡ及びＢに示されるように、カメラ１１の光学中心Ｐ１を中心にして、イメージセンサ２０１上の特徴点を放射状に３次元の球面Ｓ１上に投影した特徴点マップを生成及び更新する。この特徴点マップでは、例えば、特徴点の位置が球面Ｓ１上の位置（緯度及び経度）のみで表され、奥行方向の距離が不要となる。これにより、特徴点マップの管理が容易になる。
　　＜情報処理システム１の処理＞
　次に、情報処理システム１の処理について説明する。
　　　＜カメラ１１の処理＞
　まず、図７のフローチャートを参照して、カメラ１１の処理について説明する。
　この処理は、例えば、カメラ１１に対して撮像を開始する操作が行われたとき開始される。
　ステップＳ１において、カメラ１１は、撮像及び撮像方向の検出処理を開始する。
　具体的には、イメージセンサ２０１は、撮像を行い、得られた映像信号を信号処理部３１に供給する処理を開始する。
　信号処理部３１は、イメージセンサ２０１から供給される映像信号に対して所定の映像信号処理を行い、映像フレームを生成する処理を開始する。
　モーションセンサ３２は、カメラ１１の角速度及び加速度を検出し、検出結果を示すデータをＣＰＵ３３に供給する処理を開始する。
　撮像方向検出部７２は、カメラ１１の基準方向を設定し、メモリ（不図示）に記憶させる。そして、撮像方向検出部７２は、カメラ１１の角速度の検出結果に基づいて、カメラ１１の向きの変化量を累積計算することにより、カメラ１１の基準方向に対するパン角、チルト角、及び、ロール角を計算する処理を開始する。
　レンズ２２は、ＣＰＵ３３へのレンズ情報の供給を開始する。上述したように、レンズ情報は、例えば、レンズ２２の焦点距離、合焦距離、及び、アイリス値を含む。
　ステップＳ２において、カメラ１１は、映像フレーム及びカメラメタデータの出力を開始する。
　具体的には、信号処理部３１は、ＣＣＵ１５に映像フレームを出力する処理を開始する。
　カメラメタデータ生成部７３は、カメラ１１の撮像方向情報及びレンズ情報を含むカメラメタデータを生成する処理を開始する。また、カメラメタデータ生成部７３は、信号処理部３１による映像フレームの出力に同期して、ＣＣＵ１５にカメラメタデータを出力する処理を開始する。これにより、映像フレームと、映像フレームの撮像時刻付近のカメラ１１の撮像方向情報及びレンズ情報を含むカメラメタデータとが対応付けられる。
　ステップＳ３において、撮像方向検出部７２は、基準方向を補正する条件を満たしたか否かを判定する。
　ここで、後述するＣＣＵ１５による撮像方向のズレの検出処理は、ある程度の時間を要する。従って、撮像方向のズレの検出処理の周期は、カメラ１１の撮像周期（フレーム周期）より長くなる。換言すれば、撮像方向のズレの検出頻度（例えば、１０Ｈｚ）は、カメラ１１のフレームレート（例えば、６０Ｈｚ）より小さくなる。また、後述するように、ＣＣＵ１５は、カメラ１１により検出される撮像方向のズレが所定の閾値以上になった場合に、補正データを生成し、出力する。そのため、カメラ１１により検出される撮像方向のズレが生じてから、その撮像方向のズレに基づく補正データがカメラ１１に入力されるまでの間に、ある程度の時間差が生じる。
　従って、例えば、撮像方向検出部７２が、ＣＣＵ１５から補正データを取得してすぐに基準方向を補正した場合、撮像方向が急激に変化し、映像を見るユーザ（例えば、ＶＥ（Video Engineer等）に不自然な印象を与える恐れがある。
　これに対して、撮像方向検出部７２は、ＣＣＵ１５から補正データを取得しても、所定の条件を満たすまで、基準方向を補正しない。例えば、撮像方向検出部７２は、カメラ１１の撮像方向の移動速度（例えば、パン角及びチルト角のうち少なくとも一方の変化速度）が、所定の閾値以上であり、かつ、未使用の補正データを保持している場合、基準方向を補正する条件を満たしたと判定し、処理はステップＳ４に進む。
　ステップＳ４において、撮像方向検出部７２は、補正データに基づいて、基準方向を補正する。
　このとき、撮像方向検出部７２は、例えば、αブレンド（ＩＩＲ（Infinite impulse response）処理）を用いて、複数回に分けて連続的に基準方向を補正する。これにより、基準方向が徐々に滑らかに変化するようになり、ステップＳ３の判定処理とあわせて、画角が不連続に変化し、映像を見るユーザに不自然な印象を与えることを防止する効果が生じる。
　その後、処理はステップＳ５に進む。
　一方、ステップＳ３において、撮像方向検出部７２は、例えば、カメラ１１の撮像方向の移動速度が所定の閾値未満である場合、又は、未使用の補正データを保持していない場合、基準方向を補正する条件を満たしていないと判定し、ステップＳ４の処理はスキップされ、処理はステップＳ５に進む。
　ステップＳ５において、制御部７１は、撮像の停止が指示されたか否かを判定する。撮像の停止が指示されていないと判定された場合、処理はステップＳ３に戻る。
　その後、ステップＳ５において、撮像の停止が指示されたと判定されるまで、ステップＳ３乃至ステップＳ５の処理が繰り返し実行される。
　一方、ステップＳ５において、撮像の停止が指示されたと判定された場合、カメラ１１の処理は終了する。
　　　＜ＣＣＵ１５の処理＞
　次に、図８のフローチャートを参照して、図７のカメラ１１の処理に対応して実行されるＣＣＵ１５の処理について説明する。
　この処理は、例えば、カメラ１１からの映像フレーム及びカメラメタデータの出力が開始されたとき開始される。
　ステップＳ５１において、ＣＣＵ１５は、映像フレーム及び付帯メタデータの出力を開始する。
　具体的には、信号処理部５１は、カメラ１１から取得した映像フレームに対する所定の映像信号処理を開始する。また、信号処理部５１は、映像信号処理を行った映像フレームを情報処理部５３の特徴点検出部１３１及び被写体・領域認識部１３２、並びに、出力部５４に供給する処理を開始する。
　付帯メタデータ生成部１０３は、カメラ１１から取得したカメラメタデータを整形することにより、付帯メタデータを生成する処理を開始する。そして、付帯メタデータ生成部１０３は、信号処理部５１から出力部５４に映像フレームが供給されるのに同期して、付帯メタデータを出力部５４に供給する処理を開始する。これにより、映像フレームと、映像フレームの撮像時刻付近のカメラ１１の撮像方向及びレンズ２２の状態を示す付帯メタデータが同期して、出力部５４に供給される。また、付帯メタデータ生成部１０３は、カメラ１１から取得したカメラメタデータを、情報処理部５３のバッファ１３４に蓄積する処理を開始する。
　出力部５４は、所定の形式の出力信号に映像フレーム及び付帯メタデータを配置し、後段の装置に出力する処理を開始する。これにより、映像フレームと、映像フレームの撮影時刻付近のカメラ１１の撮像方向及びレンズ２２の状態を示す付帯メタデータとが、出力信号に埋め込まれ、互いに対応付けられる。
　ステップＳ５２において、情報処理部５３は、撮像方向ズレ検出処理を開始する。撮像方向ズレ検出処理の詳細は後述するが、情報処理部５３は、映像フレーム及びカメラメタデータに基づいて、カメラ１１により検出された撮像方向のズレを検出する処理を開始する。また、情報処理部５３は、検出した撮像方向のズレを補正するための基準方向の補正値、及び、その信頼度を算出し、ＣＰＵ５２に供給する処理を開始する。基準方向の補正値は、例えば、基準方向のパン角、チルト角、及び、ロール角のそれぞれの方向の補正値を含む。
　ステップＳ５３において、補正データ生成部１０２は、基準方向の補正値が算出されたか否かを判定する。補正データ生成部１０２は、情報処理部５３から基準方向の補正値及びその信頼度を示すデータが供給された場合、基準方向の補正値が算出されたと判定し、処理はステップＳ５４に進む。
　ステップＳ５４において、補正データ生成部１０２は、基準方向の補正値が所定の条件を満たしているか否かを判定する。例えば、補正データ生成部１０２は、基準方向の補正値に基づいて、基準方向の補正量を算出する。基準方向の補正量は、補正前の基準方向と補正後の基準方向との間の回転角の大きさにより表される。補正データ生成部１０２は、基準方向の補正量が所定の閾値以上、かつ、基準方向の補正値の信頼度が所定の閾値以上である場合、基準方向の補正値が所定の条件を満たしていると判定し、処理はステップＳ５５に進む。
　ステップＳ５５において、補正データ生成部１０２は、基準方向の補正データを出力する。具体的には、補正データ生成部１０２は、基準方向の補正値に基づいて（間接的に、検出された撮像方向のズレに基づいて）、補正データを生成する。補正データは、例えば、カメラ１１の基準方向のパン角、チルト角、及び、ロール角の各方向の補正値を含む。補正データ生成部１０２は、補正データをカメラ１１に出力する。
　その後、処理はステップＳ５６に進む。
　一方、ステップＳ５４において、例えば、補正データ生成部１０２は、基準方向の補正量が所定の閾値未満、又は、基準方向の補正値の信頼度が所定の閾値未満である場合、基準方向の補正値が所定の条件を満たしていないと判定する。そして、ステップＳ５５の処理はスキップされ、処理はステップＳ５６に進む。
　すなわち、この場合、基準方向の補正データは、カメラ１１に出力されない。これにより、基準方向が小刻みに補正されたり、補正後の基準方向に誤差が生じたりすることが防止される。
　また、ステップＳ５３において、基準方向の補正値が算出されていないと判定された場合、ステップＳ５４及びステップＳ５５の処理はスキップされ、処理はステップＳ５６に進む。
　ステップＳ５６において、制御部１０１は、カメラ１１の撮像が停止されたか否かを判定する。カメラ１１の撮像が停止されていないと判定された場合、処理はステップＳ５３に戻る。
　その後、ステップＳ５６において、カメラ１１の撮像が停止されたと判定されるまで、ステップＳ５３乃至ステップＳ５６の処理が繰り返し実行される。
　一方、ステップＳ５６において、制御部１０１は、カメラ１１からの映像フレーム及びカメラメタデータの出力が停止した場合、カメラ１１の撮像が停止されたと判定し、ＣＣＵ１５の処理は終了する。
　　　＜撮像方向ズレ検出処理＞
　次に、図９のフローチャートを参照して、撮像方向ズレ検出処理の詳細について説明する。
　ステップＳ１０１において、特徴点検出部１３１は、特徴点を検出する。具体的には、特徴点検出部１３１は、所定の方法により、信号処理部５１から供給された映像フレーム（以下、現在の映像フレームとも称する）の特徴点を検出し、検出した各特徴点の特徴量ベクトルを算出する。特徴点検出部１３１は、各特徴点の画像フレーム内の位置及び特徴量ベクトルを示すデータを特徴点選択部１３３及び映像状態判定部１３６に供給する。
　なお、特徴点の検出方法は、特に限定されない。例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＡＫＡＺＥ、又は、Deep Learningを用いた方法（例えば、LF-Net等）等が用いられる。
　ステップＳ１０２において、被写体・領域認識部１３２は、被写体及び領域の認識処理を行う。例えば、被写体・領域認識部１３２は、映像フレームに対してオブジェクト検出及びセマンティックセグメンテーションを行い、映像フレーム内の被写体の位置、及び、映像フレーム内の各領域の種別（セマンティックラベル）を認識する。被写体・領域認識部１３２は、映像フレームの被写体及び領域の認識結果を示すデータを特徴点選択部１３３及び映像状態判定部１３６に供給する。
　なお、オブジェクト検出及びセマンティックセグメンテーションの方法は、特に限定されない。例えば、オブジェクト検出には、Faster R-CNN、YOLO等が用いられる。例えば、セマンティックセグメンテーションには、Mask R-CNN等が用いられる。
　ステップＳ１０３において、特徴点選択部１３３は、特徴点を選択する。具体的には、特徴点選択部１３３は、映像フレームの被写体及び領域の認識結果に基づいて、特徴点検出部１３１により検出された映像フレームの特徴点のうち、特徴点マッチングに用いる特徴点を選択する。例えば、特徴点選択部１３３は、検出された特徴点から、動物体の領域内に存在する特徴点を削除する。これにより、特徴点マッチングに用いる特徴点が選択される。
　ここで、動物体には、例えば、人、車両、ボール等の動いている物体だけでなく、動く可能性がある物体も含まれる。動く可能性がある物体としては、例えば、一時的に静止している動物体等が想定される。
　特徴点選択部１３３は、選択した各特徴点の映像フレーム内の位置及び特徴量ベクトルを示すデータを特徴点マッチング部１３９に供給する。
　ステップＳ１０４において、カメラ投影情報生成部１３７は、カメラ１１により検出された撮像方向に基づいて、カメラ投影情報を生成する。具体的には、カメラ投影情報生成部１３７は、現在の映像フレームに対応する撮像方向情報及びレンズ情報をバッファ１３４から取得する。カメラ投影情報生成部１４１は、撮像方向情報に示されるカメラ１１の撮像方向、及び、レンズ情報に示されるレンズ２２の焦点距離（すなわち、画角）に基づいて、カメラ投影情報としてカメラ投影行列を生成する。
　カメラ投影行列は、球面Ｓ１上の特徴点をカメラ１１の視野に投影するための行列である。すなわち、カメラ投影行列は、特徴点マップの座標系（以下、球面座標系と称する）を映像フレームの座標系（以下、画像座標系と称する）に変換する行列である。カメラ投影情報生成部１３７は、生成したカメラ投影行列を再投影部１３８に供給する。
　ステップＳ１０５において、再投影部１３８は、特徴点マップの特徴点を再投影する。例えば、再投影部１３８は、カメラ投影行例を用いて、特徴点マップの特徴点を、カメラ１１により検出された撮像方向、及び、レンズ２２の焦点距離に基づく画角により規定されるカメラ１１の視野に投影する。これにより、当該視野（カメラ１１により検出された撮像方向）に対応する映像フレーム内の特徴点が抽出され、画像座標系に配置される。再投影部１３８は、抽出した特徴点の画像座標系における位置及び特徴量ベクトルを示すデータを特徴点マッチング部１３９に供給する。
　ステップＳ１０６において、カメラ状態判定部１３５は、カメラ１１の状態を判定する。具体的には、カメラ状態判定部１３５は、現在の映像フレームに対応するカメラ１１の撮像方向情報及びレンズ情報を、バッファ１３４から取得する。カメラ状態判定部１３５は、撮像方向情報及びレンズ情報に基づいて、カメラ１１が撮像方向のズレの検出処理に適した状態であるか否かを判定する。
　例えば、カメラ状態判定部１３５は、撮像方向情報に基づいて、カメラ１１の撮像方向の移動速度（回転速度）を算出する。カメラ状態判定部１３５は、カメラ１１の撮像方向の移動速度が所定の閾値未満である場合、カメラ１１が撮像方向のズレの検出処理に適した状態であると判定する。一方、カメラ状態判定部１３５は、カメラ１１の撮像方向の移動速度が所定の閾値以上である場合、カメラ１１が撮像方向のズレの検出処理に適した状態でないと判定する。これは、カメラ１１の撮像方向の移動速度が速い場合、映像フレームのボケが生じ、特徴点の検出精度が低下するおそれがあるからである。
　例えば、カメラ状態判定部１３５は、レンズ情報に基づいて、カメラ１１のズームを変更中であるか否かを判定する。カメラ状態判定部１３５は、カメラ１１のズームを変更中でない場合、カメラ１１が撮像方向のズレの検出処理に適した状態であると判定する。一方、カメラ状態判定部１３５は、カメラ１１のズームを変更中である場合、カメラ１１が撮像方向のズレの検出処理に適した状態でないと判定する。これは、カメラ１１のズームを変更中の場合、映像フレームが放射状にぶれ、特徴点の検出精度が低下するおそれがあるからである。
　例えば、カメラ状態判定部１３５は、レンズ情報に基づいて、カメラ１１のフォーカスを変更中であるか否かを判定する。カメラ状態判定部１３５は、カメラ１１のフォーカスを変更中でない場合、カメラ１１が撮像方向のズレの検出処理に適した状態であると判定する。一方、カメラ状態判定部１３５は、カメラ１１のフォーカスを変更中である場合、カメラ１１が撮像方向のズレの検出処理に適した状態でないと判定する。これは、カメラ１１のフォーカスを変更中の場合、映像フレームの特徴点の位置が変化し、特徴点の検出精度が低下するおそれがあるからである。
　例えば、カメラ状態判定部１３５は、レンズ情報に基づいて、カメラ１１のアイリスを変更中であるか否かを判定する。カメラ状態判定部１３５は、カメラ１１のアイリスを変更中でない場合、カメラ１１が撮像方向のズレの検出処理に適した状態であると判定する。一方、カメラ状態判定部１３５は、カメラ１１のアイリスを変更中である場合、カメラ１１が撮像方向のズレの検出処理に適した状態でないと判定する。これは、カメラ１１のアイリスを変更中の場合、映像フレームの背景がぼけ、特徴点の検出精度が低下するおそれがあるからである。
　例えば、カメラ状態判定部１３５は、レンズ情報に基づいて、カメラ１１の焦点距離を検出する。カメラ状態判定部１３５は、カメラ１１の焦点距離が所定の閾値未満である場合、すなわち、カメラ１１の画角のサイズが所定の閾値以上である場合、カメラ１１が撮像方向のズレの検出処理に適した状態であると判定する。一方、カメラ状態判定部１３５は、カメラ１１の焦点距離が所定の閾値以上である場合、すなわち、カメラ１１の画角のサイズが所定の閾値未満である場合、カメラ１１が撮像方向のズレの検出処理に適した状態でないと判定する。これは、映像フレームが大写しの場合（画角が狭い場合）、特徴点の誤検出が発生しやすくなるからである。
　例えば、カメラ状態判定部１３５は、レンズ情報に示されるレンズ２２の焦点距離、合焦距離、及び、アイリス値に基づいて、カメラ１１の後方被写界深度を計算する。カメラ状態判定部１３５は、カメラ１１の後方被写界深度が所定の閾値以上である場合、カメラ１１が撮像方向のズレの検出処理に適した状態でないと判定する。一方、カメラ状態判定部１３５は、カメラ１１の後方被写界深度が所定の閾値未満である場合、カメラ１１が撮像方向のズレの検出処理に適した状態でないと判定する。これは、後方被写界深度が小さい場合、映像フレームの背景のボケが強くて、特徴点の検出精度が低下するおそれがあるためである。
　例えば、カメラ状態判定部１３５は、全ての条件で、カメラ１１が撮像方向のズレの検出処理に適した状態であると判定した場合、カメラ１１が撮像方向の検出処理に適した状態であることを示すカメラ状態フラグを生成する。一方、カメラ状態判定部１３５は、少なくとも１つの条件で、カメラ１１が撮像方向のズレの検出処理に適した状態でないと判定した場合、カメラ１１が撮像方向の検出処理に適した状態でないことを示すカメラ状態フラグを生成する。カメラ状態判定部１３５は、カメラ状態フラグを映像状態判定部１３６に供給する。
　ステップＳ１０７において、映像状態判定部１３６は、映像フレームの状態を判定する。具体的には、映像状態判定部１３６は、映像フレームの被写体及び領域の認識結果、並びに、特徴点の検出結果に基づいて、映像フレームが撮像方向のズレの検出処理に適した状態であるか否かを判定する。
　例えば、映像状態判定部１３６は、映像フレーム内の特徴点の分布を検出する。例えば、映像状態判定部１３６は、特徴点検出部１３１により検出された特徴点群の包絡ポリラインを生成し、包絡ポリラインにより囲まれる領域（以下、包絡領域と称する）の面積を計算する。映像状態判定部１３６は、映像フレームにおける包絡領域の面積の比率が所定の閾値以上である場合、映像フレームが撮像方向のズレの検出処理に適した状態であると判定する。一方、映像状態判定部１３６は、映像フレームにおける包絡領域の面積の比率が所定の閾値未満である場合、映像フレームが撮像方向のズレの検出処理に適した状態でないと判定する。これは、映像フレームの特徴点の分布が偏っており、特徴点マッチングの精度が低下するおそれがあるためである。
　例えば、図１０に示されるように、映像フレーム内において空が大部分を占めている場合、特徴点の分布が偏り、かつ、特徴点の数も少なくなり、特徴点マッチングの精度が低下するおそれがある。従って、この映像フレームは、撮像方向のズレの検出処理に適した状態でないと判定される。
　例えば、映像状態判定部１３６は、映像フレームにおいて動物体が存在する領域（以下、動物体領域と称する）の面積を計算する。映像状態判定部１３６は、映像フレームにおける動物体領域の面積の比率が所定の閾値未満である場合、映像フレームが撮像方向のズレの検出処理に適した状態であると判定する。一方、映像状態判定部１３６は、映像フレームにおける動物体領域の面積の比率が所定の閾値以上である場合、映像フレームが撮像方向のズレの検出処理に適した状態でないと判定する。これは、映像フレーム内に移動する可能性がある特徴点が多く、特徴点マッチングの精度が低下するおそれがあるためである。
　例えば、映像状態判定部１３６は、全ての条件で、映像フレームが撮像方向のズレの検出処理に適した状態であると判定した場合、映像フレームが撮像方向の検出処理に適した状態であることを示す映像状態フラグを生成する。一方、映像状態判定部１３６は、少なくとも１つの条件で、映像フレームが撮像方向のズレの検出処理に適した状態でないと判定した場合、映像フレームが撮像方向の検出処理に適した状態でないことを示す映像状態フラグを生成する。映像状態判定部１３６は、映像情報フラグ及びカメラ状態フラグを特徴点マッチング部１３９に供給する。
　ステップＳ１０８において、特徴点マッチング部１３９は、撮像方向のズレを検出できるか否かを判定する。特徴点マッチング部１３９は、カメラ状態フラグ及び映像状態フラグに基づいて、カメラ１１及び映像フレームがともに撮像方向のズレの検出処理に適した状態であるか否かを判定する。特徴点マッチング部１３９は、カメラ１１及び映像フレームがともに撮像方向のズレの検出処理に適した状態である場合、撮像方向のズレを検出できると判定し、処理はステップＳ１０９に進む。
　ステップＳ１０９において、特徴点マッチング部１３９は、特徴点マッチングを行う。すなわち、特徴点マッチング部１３９は、映像フレームから検出された検出特徴点群と、特徴点マップから再投影された再投影特徴点群との間で特徴点マッチングを行い、特徴点の対応付けを行う。特徴点マッチング部１３９は、特徴点マッチングの結果を示すデータをズレ検出部１４０及び特徴点マップ更新部１４２に供給する。
　なお、特徴点マッチングの方法は、特に限定されない。例えば、RANSAC、や総当たり探索、又は、Deep Learningによるマッチング（例えば、SuperGlue）等が用いられる。
　ステップＳ１１０において、ズレ検出部１４０は、撮像方向のズレを検出する。
　例えば、図１１は、特徴点検出部１３１による特徴点の検出結果の例を示している。具体的には、カメラ１１が基準方向を向いている場合に撮像された映像フレームの特徴点の検出結果の例を示している。
　例えば、図１２は、再投影部１３８により再投影された特徴点の例を示している。この例では、カメラ１１により検出された撮像方向が、基準方向に対してパン方向に－７度（パン方向に半時計周りに７度）の方向であり、検出された撮像方向の特徴点が再投影されている。
　従って、この場合、カメラ１１により検出された撮像方向と、カメラ１１の実際の撮像方向（図１１）との差、すなわち、撮像方向のズレは、－７度となる。
　ズレ検出部１４０は、所定の方法により、この撮像方向のズレを検出する。すなわち、ズレ検出部１４０は、カメラ１１により検出された撮像方向のズレを、映像フレームに基づく撮像方向に基づいて検出する。
　撮像方向のズレの検出方法は、特に限定されない。例えば、ズレ検出部１４０は、Kabschアルゴリズムを用いて、撮像方向のズレを検出する。Kabschアルゴリズムは、３次元空間の対応済みの２つの点群の間のＲＳＭＤ（二乗平均平方根偏差）を最小にする回転行列を算出する方法である。
　ここで、Kabschアルゴリズムを用いた撮像方向のズレの検出方法の例について説明する。
　例えば、特徴点マッチングにより対応付けられたＮ組の特徴点のうち、映像フレームから検出された特徴点群（検出特徴点群）の画像座標系における座標を（ｘｎ，ｙｎ）とする。一方、特徴点マップから再投影された特徴点群（再投影特徴点群）の画像座標系における座標を（Ｘｎ，Ｙｎ）とする。なお、ｎ＝１、２、・・・、Ｎである。
　また、現在の映像フレームの撮像時のレンズ２２の焦点距離をｆとする。なお、厳密には、焦点距離ｆは、カメラ１１のイメージセンサのサイズと画素数に基づいて、画像座標系と同じ単位系に換算されたものである。
　まず、３×Ｎの行列Ｐ及び行列Ｑを、次の式（１）乃至式（８）に示されるように定義する。
Figure JPOXMLDOC01-appb-M000001
　ズレ検出部１４０は、次の式（９）及び式（１０）に示される３×３の行列Ｈを計算する。
Figure JPOXMLDOC01-appb-M000002
　次に、ズレ検出部１４０は、次式（１１）に示さるように、行列Ｈの特異値分解を行う。
Ｈ＝ＵＳＶＴ　・・・（１１）
　Ｕ、Ｓ、Ｖは、３×３の行列である。行列Ｓは、対角要素に特異値が設定されている対角行列である。
　次に、ズレ検出部１４０は、行列Ｕ及び行列Ｖを用いて、次式（１２）の行列式ｄを計算する。
ｄ＝ｄｅｔ（ＶＵＴ）　・・・（１２）
　次に、ズレ検出部１４０は、次式（１３）の３×３の行列Ｒを計算する。
Figure JPOXMLDOC01-appb-M000003
　行列Ｒは、撮像方向のズレを表す回転行列である。
　また、ズレ検出部１４０は、検出した撮像方向のズレに基づいて、基準方向の補正値を算出するともに、基準方向の補正値の信頼度を算出する。例えば、ズレ検出部１４０は、検出された特徴点の数や特徴点マッチングの誤差を、シグモイド関数を用いて０．０～１．０の値域に正規化した値を、基準方向の補正値の信頼度として算出する。
　さらに、ズレ検出部１４０は、検出した撮像方向のズレに基づいて、撮像方向を補正する。例えば、ズレ検出部１４０は、現在の映像フレームに対応する撮像方向情報をバッファ１３４から取得する。ズレ検出部１４０は、検出した撮像方向のズレに基づいて、撮像方向情報に示されるカメラ１１により検出された撮像方向を補正する。
　なお、例えば、ズレ検出部１４０は、特徴点マッチングの結果に基づいて、映像フレームの特徴点群（検出特徴点群）の特徴点マップにおける位置を検出することにより、ズレを補正した撮像方向を直接検出するようにしてもよい。
　ズレ検出部１４０は、基準方向の補正値、及び、その信頼度を示すデータをＣＰＵ５２に供給する。ズレ検出部１４０は、補正した撮像方向を示すデータをカメラ投影情報生成部１４１に供給する。
　ステップＳ１１１において、カメラ投影情報生成部１４１は、ズレが補正された撮像方向に基づいて、カメラ投影情報を生成する。具体的には、カメラ投影情報生成部１４１は、現在の映像フレームに対応するレンズ情報をバッファ１３４から取得する。カメラ投影情報生成部１４１は、ズレ検出部１４０により補正された撮像方向、及び、取得したレンズ情報に含まれるレンズ２２の焦点距離（すなわち、画角）に基づいて、カメラ投影行列を算出する。カメラ投影情報生成部１４１は、カメラ投影情報を特徴点マップ更新部１４２に供給する。
　なお、上述したステップＳ１０４では、カメラ１１により検出され、ズレを含む撮像方向に基づいてカメラ投影情報が生成されるのに対し、ここでは、ズレが補正された撮像方向に基づいてカメラ投影情報が生成される。
　ステップＳ１１２において、特徴点マップ更新部１４２は、特徴点マップを更新する。具体的には、特徴点マップ更新部１４２は、特徴点マッチングの結果に基づいて、映像フレームにおいて検出された特徴点のうち、特徴点マップの特徴点と対応が取れなかった特徴点を抽出する。すなわち、特徴点マップ更新部１４２は、特徴点マップに登録されていない新たな特徴点を抽出する。特徴点マップ更新部１４２は、カメラ投影情報生成部１４１により生成されたカメラ投影行列を用いて、抽出した特徴点を球面Ｓ１に投影した場合の方向（緯度及び経度）を算出する。特徴点マップ更新部１４２は、抽出した特徴点の方向及び特徴量ベクトルを含む特徴点データを特徴点マップに追加することにより、特徴点マップを更新する。
　なお、特徴点マップ更新部１４２は、例えば、特徴点マップの特徴点の数が所定の閾値を超えた場合、特徴点を間引くようにしてもよい。この場合、特徴点マップ更新部１４２は、できるだけ特徴点が球面Ｓ１上に均等に分布するように、特徴点の密度が高い領域から特徴点を間引く。
　その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
　一方、ステップＳ１０８において、特徴点マッチング部１３９は、カメラ１１及び映像フレームの少なくとも一方が撮像方向のズレの検出処理に適した状態でない場合、撮像方向のズレを検出できないと判定する。その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。すなわち、この場合、撮像方向のズレの検出処理は行われない。
　以上のように、エンコーダ付きのような所定の機能を備える雲台等の器具を用いずに、映像フレームの画像処理のみを用いて、カメラ１１の基準方向を補正し、撮像方向の検出精度を向上させることができる。
　また、カメラ１１の状態や映像フレームの状態が、撮像方向のズレの検出処理に適していない場合、撮像方向のズレの検出処理が行われず、基準方向が補正されない。これにより、基準方向の補正処理の信頼度が向上し、カメラ１１の撮像方向の検出精度がより向上する。
　さらに、所定の条件を満たした場合に、カメラ１１の基準方向が徐々に滑らかに変化するように補正される。これにより、カメラ１１の映像を見るユーザに違和感を与えることなく、基準方向を補正することができる。
　また、高速かつ即時に行われるモーションセンサ３２を用いた撮像方向の検出処理が、カメラ１１で行われる。一方、処理負荷、処理時間、及び、処理の周期が大きい画像処理が、ＣＣＵ１５で行われる。これにより、カメラ１１を小型化したり、カメラ１１の消費電力を低減したりすることができる。
　＜＜３．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　　＜処理の分担に関する変形例＞
　例えば、カメラ１１とＣＣＵ１５の処理の分担を変更することが可能である。例えば、カメラ１１が、ＣＣＵ１５のＣＰＵ５２及び情報処理部５３の処理の一部又は全部を実行するようにしてもよい。
　　＜カメラ１１が並進移動する場合の処理＞
　以上の説明では、カメラ１１が並進移動しないことを前提にした処理について説明した。一方、本技術は、カメラ１１が、例えばクレーンに載せられたり、ワイヤで吊り下げられたりした状態で、並進移動する場合にも適用できる。
　カメラ１１が並進移動する場合も、情報処理システム１の基本的な構成は、上述した構成と同様である。以下、主に上述した処理と異なる部分について説明する。
　例えば、カメラ１１の撮像方向検出部７２は、モーションセンサ３２により検出される加速度に基づいて、カメラ１１の並進方向の位置を検出する。具体的には、例えば、撮像方向検出部７２は、モーションセンサ３２により検出される加速度を累積計算し、カメラ１１の起動時の位置を基準原点とする並進方向の移動量を累積計算することにより、並進方向の位置（以下、撮像位置と称する）を検出する。
　カメラ１１のカメラメタデータ生成部７３は、カメラ１１の撮像方向情報及び撮像位置情報、並びに、レンズ情報を含むカメラメタデータを生成し、ＣＣＵ１５に出力する。
　ここで、モーションセンサ３２により検出された加速度からカメラ１１の並進方向の移動量を算出する場合、加速度が２回積分される（加速度→速度→距離）。従って、カメラ１１の撮像位置もモーションセンサ３２の誤差による累積誤差が発生する。この撮像位置の累積誤差により、基準原点のドリフトが発生する。
　これに対して、上述した基準方向の補正と同様に、基準原点の補正が行われる。
　この場合、上述した球面Ｓ１上の特徴点の位置により表される特徴点マップの代わりに、３次元空間における特徴点の位置により表される特徴点マップが用いられる。例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）で用いられるような特徴点マップが用いられる。
　ＣＣＵ１５のズレ検出部１４０は、例えば、ＳＬＡＭやＳｆＭ（Structure from Motion）で用いられるような並進と角度の両方を計算する方法、すなわち、三角測量と回転検出を同時に行う方法を用いる。これにより、ズレ検出部１４０は、カメラ１１の撮像方向及び撮像位置を検出するとともに、撮像方向及び撮像位置のズレを検出する。
　ＣＣＵ１５の補正データ生成部１０２は、検出された撮像方向及び撮像位置のズレに基づいて、カメラ１１の基準方向及び基準位置を補正するための補正データを生成する。
　カメラ１１の撮像方向検出部７２は、補正データに基づいて、カメラ１１の基準方向及び基準位置を補正する。このとき、カメラ１１は、図７のステップＳ３で用いた条件と同様の条件に基づいて、基準方向及び基準位置を補正する。また、撮像方向検出部７２は、例えば、αブレンドを用いて、徐々に滑らかに変化するように基準方向及び基準位置を補正する。
　ＣＣＵ１５のカメラ投影情報生成部１３７は、カメラ１１により検出された撮像方向及び撮像位置、並びに、レンズ２２の焦点距離に基づいて、３次元空間の特徴点マップの特徴点を、カメラ１１の視野に再投影するためのカメラ投影情報を生成する。
　ＣＣＵ１５のカメラ投影情報生成部１４１は、ズレ検出部１４０により補正された撮像方向及び撮像位置、並びに、レンズ２２の焦点距離に基づいて、３次元空間の特徴点マップの特徴点を、カメラ１１の視野に再投影するためのカメラ投影情報を生成する。
　他の処理は、上述した処理と同様である。例えば、撮像方向及び撮像位置のズレの検出処理を実行する条件となるカメラ１１及び映像フレームの状態の判定条件も同様である。
　　＜補正データに関する変形例＞
　例えば、ＣＣＵ１５の補正データ生成部１０２は、基準方向の補正値の代わりに、ズレ検出部１４０により検出された撮像方向のズレを示す補正データを生成し、カメラ１１に出力するようにしてもよい。
　この場合、カメラ１１の撮像方向検出部７２は、検出された撮像方向に基づいて基準方向を補正する。また、例えば、ＣＣＵ１５のズレ検出部１４０は、基準方向の補正値の信頼度の代わりに、検出した撮像方向のズレの信頼度を算出し、ＣＰＵ５２に供給する。補正データ生成部１０２は、撮像方向のズレの信頼度に基づいて、補正データをカメラ１１に出力するか否かを判定する。なお、基準方向の補正値の信頼度と、撮像方向のズレの信頼度とは、実質的に同じものである。
　例えば、補正データ生成部１０２が、ズレ検出部１４０により検出された撮像方向のズレに基づいて、基準方向の補正値を算出するようにしてもよい。
　　＜その他の変形例＞
　例えば、出力部５４が、付帯メタデータを出力信号に埋め込まずに、出力信号と対応付けて出力するようにしてもよい。
　例えば、付帯メタデータ生成部１０３は、基準方向及び基準位置の補正データを付帯メタデータに追加するようにしてもよい。そして、ＣＣＵ１５後段の装置が、補正データに基づいて、カメラ１１により検出された撮像方向及び撮像位置を補正するようにしてもよい。
　＜＜４．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　撮像画像の撮像を行う撮像装置により検出され、前記撮像画像に対応付けられている前記撮像装置の撮像方向である第１の撮像方向のズレを、前記撮像画像に基づいて検出するズレ検出部を
　備える情報処理装置。
（２）
　検出された前記ズレに基づいて、前記第１の撮像方向の基準となる基準方向を補正するための補正データを生成する補正データ生成部を
　さらに備える前記（１）に記載の情報処理装置。
（３）
　前記補正データ生成部は、前記撮像装置に前記補正データを出力する
　前記（２）に記載の情報処理装置。
（４）
　前記補正データ生成部は、前記ズレが所定の閾値以上の場合、前記撮像装置に前記補正データを出力する
　前記（３）に記載の情報処理装置。
（５）
　前記ズレ検出部は、検出した前記ズレ又は前記ズレに基づく前記基準方向の補正値の信頼度を算出し、
　前記補正データ生成部は、前記信頼度が所定の閾値以上である場合、前記撮像装置に前記補正データを出力する
　前記（３）又は（４）に記載の情報処理装置。
（６）
　前記撮像画像を含む所定の出力信号を生成し、前記出力信号に含まれる前記撮像画像に前記補正データを対応付けて出力する出力部を
　さらに備える前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記第１の撮像方向は、前記基準方向を基準にして前記撮像装置の向きの変化量を積算することにより検出される
　前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記第１の撮像方向は、前記撮像装置から出力され、前記撮像画像に対応付けられているメタデータに含まれる
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記メタデータは、前記撮像装置のレンズに関する情報であるレンズ情報をさらに含む
　前記（８）に記載の情報処理装置。
（１０）
　前記メタデータに基づいて、前記撮像装置の状態を検出する撮像装置状態検出部を
　さらに備え、
　前記ズレ検出部は、前記撮像装置の状態が所定の条件を満たす場合、前記ズレの検出を行わない
　前記（９）に記載の情報処理装置。
（１１）
　前記ズレ検出部は、前記第１の撮像方向の移動速度が所定の閾値以上である場合、前記撮像装置がズーム、フォーカス、若しくは、アイリスを変更中である場合、前記レンズの焦点距離が所定の閾値未満である場合、又は、前記レンズの被写界深度が所定の閾値未満である場合、前記ズレの検出を行わない
　前記（１０）に記載の情報処理装置。
（１２）
　前記ズレ検出部は、前記撮像画像が所定の条件を満たす場合、前記ズレの検出を行わない
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記ズレ検出部は、前記撮像画像の特徴点の分布が偏っている場合、又は、前記撮像画像内の動物体の領域の比率が所定の閾値以上である場合、前記ズレの検出を行わない
　前記（１２）に記載の情報処理装置。
（１４）
　前記ズレ検出部は、前記第１の撮像方向と、前記撮像画像に基づいて検出される前記撮像装置の撮像方向である第２の撮像方向との差を前記ズレとして検出する
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記撮像画像の特徴点を検出する特徴点検出部と、
　前記撮像装置の周囲の特徴点の分布を示す特徴点マップの特徴点と前記撮像画像の特徴点とのマッチングを行う特徴点マッチング部と
　を備え、
　前記ズレ検出部は、前記特徴点マップの特徴点と、前記撮像画像の特徴点とをマッチングした結果に基づいて、前記ズレを検出する
　前記（１４）に記載の情報処理装置。
（１６）
　前記特徴点マッチング部は、前記第１の撮像方向に対応する前記特徴点マップの特徴点と、前記撮像画像の特徴点とのマッチングを行う
　前記（１５）に記載の情報処理装置。
（１７）
　前記特徴点マッチング部は、前記特徴点マップの特徴点と、前記撮像画像の特徴点のうち動物体の領域内の特徴点を除いた特徴点とのマッチングを行う
　前記（１５）又は（１６）に記載の情報処理装置。
（１８）
　前記撮像画像の特徴点に基づいて、前記特徴点マップを更新する特徴点マップ更新部を
　さらに備える前記（１５）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　前記ズレ検出部は、前記特徴点マップの特徴点と前記撮像画像の特徴点とをマッチングした結果に基づいて、前記第２の撮像方向を検出する
　前記（１５）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
　前記ズレ検出部は、前記撮像画像の撮像周期より長い周期で、前記ズレの検出処理を行う
　前記（１）乃至（１９）のいずれかに記載の情報処理装置。
（２１）
　情報処理装置が、
　撮像画像の撮像を行う撮像装置により検出され、前記撮像画像に対応付けられている前記撮像装置の撮像方向のズレを、前記撮像画像に基づいて検出する
　情報処理方法。
（２２）
　撮像画像の撮像を行う撮像装置と、
　前記撮像装置の制御を行う情報処理装置と
　を備え、
　前記撮像装置は、
　　前記撮像装置の撮像方向を検出する撮像方向検出部と、
　　前記撮像方向検出部により検出された前記撮像方向を含むメタデータを生成し、前記メタデータを前記撮像画像に対応付けて前記情報処理装置に出力するメタデータ生成部と
　を備え、
　前記情報処理装置は、
　　前記メタデータに含まれる前記撮像方向のズレを、前記撮像画像に基づいて検出するズレ検出部を
　備える
　情報処理システム。
（２３）
　前記情報処理装置は、
　　検出された前記ズレに基づいて、前記撮像方向の基準となる基準方向を補正するための補正データを生成し、前記撮像装置に出力する補正データ生成部を
　さらに備え、
　前記撮像方向検出部は、前記補正データに基づいて前記基準方向を補正する
　前記（２２）に記載の情報処理システム。
（２４）
　前記撮像方向検出部は、前記撮像方向の移動速度が所定の閾値以上である場合、前記基準方向を補正する
　前記（２３）に記載の情報処理システム。
（２５）
　前記撮像方向検出部は、複数回に分けて連続的に前記基準方向を補正する
　前記（２３）又は（２４）に記載の情報処理システム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１　情報処理システム，　１１　カメラ，　１５　ＣＣＵ，　２１　本体部，　２２　レンズ，　３１　信号処理部，　３２　モーションセンサ，　３３　ＣＰＵ，　５１　信号処理部，　５２　ＣＰＵ，　５３　情報処理部，　５４　出力部，　７１　制御部，　７２　撮像方向検出部，　７３　カメラメタデータ生成部，　１０１　制御部，　１０２　補正データ生成部，　１０３　付帯メタデータ生成部，　１３１　特徴点検出部，　１３２　被写体・領域認識部，　１３３　特徴点選択部，　１３５　カメラ状態判定部，　１３６　映像状態判定部，　１３７　カメラ投影情報生成部，　１３８　再投影部，　１３９　特徴点マッチング部，　１４０　ズレ検出部，　１４１　カメラ投影情報生成部，　１４２　特徴点マップ更新部，　２０１　イメージセンサ

Claims (25)

  1. 　撮像画像の撮像を行う撮像装置により検出され、前記撮像画像に対応付けられている前記撮像装置の撮像方向である第１の撮像方向のズレを、前記撮像画像に基づいて検出するズレ検出部を
    　備える情報処理装置。
  2. 　検出された前記ズレに基づいて、前記第１の撮像方向の基準となる基準方向を補正するための補正データを生成する補正データ生成部を
    　さらに備える請求項１に記載の情報処理装置。
  3. 　前記補正データ生成部は、前記撮像装置に前記補正データを出力する
    　請求項２に記載の情報処理装置。
  4. 　前記補正データ生成部は、前記ズレが所定の閾値以上の場合、前記撮像装置に前記補正データを出力する
    　請求項３に記載の情報処理装置。
  5. 　前記ズレ検出部は、検出した前記ズレ又は前記ズレに基づく前記基準方向の補正値の信頼度を算出し、
    　前記補正データ生成部は、前記信頼度が所定の閾値以上である場合、前記撮像装置に前記補正データを出力する
    　請求項３に記載の情報処理装置。
  6. 　前記撮像画像を含む所定の出力信号を生成し、前記出力信号に含まれる前記撮像画像に前記補正データを対応付けて出力する出力部を
    　さらに備える請求項２に記載の情報処理装置。
  7. 　前記第１の撮像方向は、前記基準方向を基準にして前記撮像装置の向きの変化量を積算することにより検出される
    　請求項２に記載の情報処理装置。
  8. 　前記第１の撮像方向は、前記撮像装置から出力され、前記撮像画像に対応付けられているメタデータに含まれる
    　請求項１に記載の情報処理装置。
  9. 　前記メタデータは、前記撮像装置のレンズに関する情報であるレンズ情報をさらに含む
    　請求項８に記載の情報処理装置。
  10. 　前記メタデータに基づいて、前記撮像装置の状態を検出する撮像装置状態検出部を
    　さらに備え、
    　前記ズレ検出部は、前記撮像装置の状態が所定の条件を満たす場合、前記ズレの検出を行わない
    　請求項９に記載の情報処理装置。
  11. 　前記ズレ検出部は、前記第１の撮像方向の移動速度が所定の閾値以上である場合、前記撮像装置がズーム、フォーカス、若しくは、アイリスを変更中である場合、前記レンズの焦点距離が所定の閾値未満である場合、又は、前記レンズの被写界深度が所定の閾値未満である場合、前記ズレの検出を行わない
    　請求項１０に記載の情報処理装置。
  12. 　前記ズレ検出部は、前記撮像画像が所定の条件を満たす場合、前記ズレの検出を行わない
    　請求項１に記載の情報処理装置。
  13. 　前記ズレ検出部は、前記撮像画像の特徴点の分布が偏っている場合、又は、前記撮像画像内の動物体の領域の比率が所定の閾値以上である場合、前記ズレの検出を行わない
    　請求項１２に記載の情報処理装置。
  14. 　前記ズレ検出部は、前記第１の撮像方向と、前記撮像画像に基づいて検出される前記撮像装置の撮像方向である第２の撮像方向との差を前記ズレとして検出する
    　請求項１に記載の情報処理装置。
  15. 　前記撮像画像の特徴点を検出する特徴点検出部と、
    　前記撮像装置の周囲の特徴点の分布を示す特徴点マップの特徴点と前記撮像画像の特徴点とのマッチングを行う特徴点マッチング部と
    　を備え、
    　前記ズレ検出部は、前記特徴点マップの特徴点と、前記撮像画像の特徴点とをマッチングした結果に基づいて、前記ズレを検出する
    　請求項１４に記載の情報処理装置。
  16. 　前記特徴点マッチング部は、前記第１の撮像方向に対応する前記特徴点マップの特徴点と、前記撮像画像の特徴点とのマッチングを行う
    　請求項１５に記載の情報処理装置。
  17. 　前記特徴点マッチング部は、前記特徴点マップの特徴点と、前記撮像画像の特徴点のうち動物体の領域内の特徴点を除いた特徴点とのマッチングを行う
    　請求項１５に記載の情報処理装置。
  18. 　前記撮像画像の特徴点に基づいて、前記特徴点マップを更新する特徴点マップ更新部を
    　さらに備える請求項１５に記載の情報処理装置。
  19. 　前記ズレ検出部は、前記特徴点マップの特徴点と前記撮像画像の特徴点とをマッチングした結果に基づいて、前記第２の撮像方向を検出する
    　請求項１５に記載の情報処理装置。
  20. 　前記ズレ検出部は、前記撮像画像の撮像周期より長い周期で、前記ズレの検出処理を行う
    　請求項１に記載の情報処理装置。
  21. 　情報処理装置が、
    　撮像画像の撮像を行う撮像装置により検出され、前記撮像画像に対応付けられている前記撮像装置の撮像方向のズレを、前記撮像画像に基づいて検出する
    　情報処理方法。
  22. 　撮像画像の撮像を行う撮像装置と、
    　前記撮像装置の制御を行う情報処理装置と
    　を備え、
    　前記撮像装置は、
    　　前記撮像装置の撮像方向を検出する撮像方向検出部と、
    　　前記撮像方向検出部により検出された前記撮像方向を含むメタデータを生成し、前記メタデータを前記撮像画像に対応付けて前記情報処理装置に出力するメタデータ生成部と
    　を備え、
    　前記情報処理装置は、
    　　前記メタデータに含まれる前記撮像方向のズレを、前記撮像画像に基づいて検出するズレ検出部を
    　備える
    　情報処理システム。
  23. 　前記情報処理装置は、
    　　検出された前記ズレに基づいて、前記撮像方向の基準となる基準方向を補正するための補正データを生成し、前記撮像装置に出力する補正データ生成部を
    　さらに備え、
    　前記撮像方向検出部は、前記補正データに基づいて前記基準方向を補正する
    　請求項２２に記載の情報処理システム。
  24. 　前記撮像方向検出部は、前記撮像方向の移動速度が所定の閾値以上である場合、前記基準方向を補正する
    　請求項２３に記載の情報処理システム。
  25. 　前記撮像方向検出部は、複数回に分けて連続的に前記基準方向を補正する
    　請求項２３に記載の情報処理システム。
PCT/JP2022/002503 2021-03-26 2022-01-25 情報処理装置、情報処理方法、及び、情報処理システム WO2022201825A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021053268 2021-03-26
JP2021-053268 2021-03-26

Publications (1)

Publication Number Publication Date
WO2022201825A1 true WO2022201825A1 (ja) 2022-09-29

Family

ID=83395332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002503 WO2022201825A1 (ja) 2021-03-26 2022-01-25 情報処理装置、情報処理方法、及び、情報処理システム

Country Status (1)

Country Link
WO (1) WO2022201825A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312281A (ja) * 2003-04-04 2004-11-04 Sony Corp 映像編集装置，映像編集装置の処理方法
JP2010258801A (ja) * 2009-04-24 2010-11-11 Kyocera Corp 動き補正装置およびその方法
JP2019161444A (ja) * 2018-03-13 2019-09-19 シャープ株式会社 撮像装置およびそれを備えた自律走行装置、撮像方法
KR102219843B1 (ko) * 2020-11-10 2021-02-25 (주)뉴빌리티 자율주행을 위한 위치 추정 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312281A (ja) * 2003-04-04 2004-11-04 Sony Corp 映像編集装置，映像編集装置の処理方法
JP2010258801A (ja) * 2009-04-24 2010-11-11 Kyocera Corp 動き補正装置およびその方法
JP2019161444A (ja) * 2018-03-13 2019-09-19 シャープ株式会社 撮像装置およびそれを備えた自律走行装置、撮像方法
KR102219843B1 (ko) * 2020-11-10 2021-02-25 (주)뉴빌리티 자율주행을 위한 위치 추정 장치 및 방법

Similar Documents

Publication Publication Date Title
CN107990899B (zh) 一种基于slam的定位方法和系统
US10506217B2 (en) Head-mounted display tracking system
US10594941B2 (en) Method and device of image processing and camera
US5706419A (en) Image capturing and processing apparatus and image capturing and processing method
US9729788B2 (en) Image generation apparatus and image generation method
WO2021227359A1 (zh) 一种无人机投影方法、装置、设备及存储介质
JP5769813B2 (ja) 画像生成装置および画像生成方法
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
US9894272B2 (en) Image generation apparatus and image generation method
US20210082149A1 (en) Real-time calibration of wide-baseline outside-in multi-camera systems
JP2019522851A (ja) ３次元空間内の姿勢推定
US11776142B2 (en) Structuring visual data
JPH11306363A (ja) 画像入力装置及び画像入力方法
WO2019171984A1 (ja) 信号処理装置、信号処理方法、及び、プログラム
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
JP2020053774A (ja) 撮像装置および画像記録方法
JPWO2018235300A1 (ja) 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
CN112207821A (zh) 视觉机器人的目标搜寻方法及机器人
WO2020092051A1 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to sfm/slam with rolling shutter images/videos
US10540809B2 (en) Methods and apparatus for tracking a light source in an environment surrounding a device
JP2019121945A (ja) 撮像装置、その制御方法及びプログラム
US20160127617A1 (en) System for tracking the position of the shooting camera for shooting video films
CN110036411B (zh) 生成电子三维漫游环境的装置和方法
WO2022201825A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
JP2008203991A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22774627

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022774627

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022774627

Country of ref document: EP

Effective date: 20231026