JP7048764B2 - パノラマビデオのターゲット追跡方法及びパノラマカメラ - Google Patents

Description

本発明は、パノラマカメラの分野に属し、特に、パノラマビデオのターゲット追跡方法及びパノラマカメラに関する。

ターゲット追跡は、コンピュータビジョン研究における古典的な問題であり、コンピュータやビデオカメラなどが、あるアルゴリズムによってターゲットを追跡し位置決めするとともに、ターゲットの位置と動きによって対応する戦略を採用するものである。近年、ターゲット追跡は、ビデオ監視、ビデオエンコーディング、及び軍事工学などのさまざまな分野に広範に適用されている。従来技術のパノラマカメラは、周囲の３６０°ビデオ情報を撮影することができる。例えば、出願公開番号CN107315992Aに公開された「電子雲台に基づく追跡方法及び装置」のように、パノラマビデオにターゲット追跡することを実現できる技術的手段も幾つかある。ところが、当該方法は、特徴点に基づく追跡であり、テクスチャ領域が単色で、特徴点が豊富でないシーンを追跡することができない。

本発明の目的は、パノラマビデオのターゲット追跡方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラを提供することであり、従来技術のパノラマカメラはテクスチャ領域が単色で、特徴点が豊富でないシーンを追跡することができないという問題を解決することを目的とする。

第１の態様では、本発明は、パノラマビデオのターゲット追跡方法を提供し、前記方法は、
球面座標系における追跡ターゲットの位置とスケール（scale）を初期化し、電子雲台のパラメータを計算し、パノラマ画像を電子雲台の現在の視角画像にマッピングするS２０１と、
電子雲台の現在の視角画像にマルチスケール（multi-scale）関連フィルタに基づいて、ターゲットを追跡し、新しい追跡ターゲットの位置とスケールを取得するS２０２と、
新しい追跡ターゲットの位置をパノラマ球面方位座標にマッピングするS２０３と、
パノラマ球面方位座標とスケールに従って電子雲台のパラメータを計算し、電子雲台の現在の視角画像にマッピングし、新しいビデオフレームを取得し、次に、その後S２０１に戻り、パノラマビデオが終了するまでに行うS２０４と、を含む。

第２の態様では、本発明は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、上記のパノラマビデオのターゲット追跡方法のステップを実現する。

第３の態様では、本発明は、パノラマカメラを提供し、前記パノラマカメラは、
１つ又は複数のプロセッサーと、
記憶装置と、及び、
１つ又は複数のプログラムと、を含むパノラマカメラであって、前記プロセッサーは、前記プログラムを実行する場合、上記のパノラマビデオのターゲット追跡方法のステップを実現する。

本発明では、マルチスケール相関フィルタに基づいているので、パノラマビデオのターゲットを追跡するために、追跡のロバスト性がより高く、より多くの追跡シーンに適応でき、処理速度もより速い。また、自動電子雲台技術によって、追跡ターゲットを常に画面の中心に位置させることができる。

図１は、本発明の第１の実施例によって提供されるパノラマビデオのターゲット追跡方法のフローチャートである。 図２は、本発明の第３の実施例によって提供されるパノラマカメラの構造図である。

本発明の目的、技術的解決策、及び有益な効果をより明確にさせるために、以下、図面及び実施例を参照して、本発明を更に詳細に説明する。ここで説明する具体的な実施例は、本発明を解釈するためにのみ使用され、本発明を限定するものではないことを理解されたい。

本発明に記載される技術的解決策を説明するために、以下、具体的な実施例によって説明する。

第１の実施例：
図１を参照すると、本発明の第１の実施例によって提供されるパノラマビデオのターゲット追跡方法は、以下のステップを含む。留意する必要があるのは、実質的に結果が同じであれば、本発明のパノラマビデオのターゲット追跡方法は、図１に示すステップの順に限定されないことである。

S２０１：球面座標系における追跡ターゲットの位置とスケールを初期化し、電子雲台のパラメータを計算し、パノラマ画像を電子雲台の現在の視角画像、即ち、現在の局部の透視図にマッピングする。

S２０２：電子雲台の現在の視角画像にマルチスケール関連フィルタに基づいて、ターゲットを追跡し、新しい追跡ターゲットの位置とスケールを取得する。

S２０３：新しい追跡ターゲットの位置をパノラマ球面方位座標にマッピングする。

S２０４：パノラマ球面方位座標とスケールに従って電子雲台のパラメータを計算し、電子雲台の現在の視角画像にマッピングし、新しいビデオフレームを取得し、その後S２０１に戻り、パノラマビデオが終了するまでに行う。

本発明の第１の実施例において、新しいビデオフレームを取得した後、前記方法は、以下のステップを更に含む。

S２０５：カルマンフィルタを用いてビデオフレームの中心の座標点を平滑化し、出力するパノラマビデオをより安定にする。

本発明の第１の実施例において、S２０１は、具体的には、以下のステップを更に含むことができる。

S２０１１：球面座標系における追跡ターゲットの位置とスケールを初期化する。

電子雲台技術は、プログラム設定によって、ビデオカメラ内部でレンズの視角とズームを制御する技術である。電子雲台技術は、PTZカメラをシミュレートすることができ、カメラの左右移動、上下傾斜、及びズームを実現する。電子雲台技術は、追跡位置でカメラ運動の平滑化と予測を含む。

S２０１３：初期電子雲台のパラメータによってパノラマ画像を再投影して電子雲台の現在の視角画像に変換する。

本発明の第１の実施例において、S２０１３は、具体的には、以下のようであってもよい。

S２０１４：電子雲台の現在の視角画像において、ユーザが手動で選択する追跡ターゲットの位置を受信する。

S２０１５：電子雲台の現在の視角画像における追跡ターゲットの位置によって球面座標系における追跡ターゲットの位置とスケールを計算する。

本発明の第１の実施例において、S２０１５は、具体的には、以下のようであってもよい。

本発明の第１の実施例において、S２０２は、具体的には、以下のステップを含み得る。

S２０２１：追跡ターゲットの隣接領域では、追跡ターゲットを平行移動する矩形フレームを選択して、予定数量のトレーニングサンプルとし、これにより、位置追跡モデルをトレーニングする。

本発明の第１の実施例において、S２０２１は、具体的には、以下のステップを含み得る。

本発明の第１の実施例において、S２０２２は、具体的には、以下のステップを含み得る。

S２０２３：電子雲台の現在の出力する位置とスケール、及び位置追跡モデルのパラメータによって追跡ターゲットの平行移動位置を予測する。

本発明の第１の実施例において、S２０２３は、具体的には、以下のステップを含み得る。

S２０２４：スケール変化によって、追跡ターゲットが置かれる矩形フレームのサイズを拡大又は縮小して、追跡モデルのトレーニングサンプルを取得し、S２０２１ ～ S２０２３を繰り返して相関フィルタのスケールを取得する。

本発明の第１の実施例において、S２０２４は、具体的には、以下のステップを含み得る。

第２の実施例：
本発明の第２の実施例は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、本発明の第１の実施例で提供されるようなパノラマビデオのターゲット追跡方法のステップを実現する。

第３の実施例：
図２は、本発明の第３の実施例に提供されたパノラマカメラの構造図を示す。1つのパノラマカメラ１００は、１つ又は複数のプロセッサー１０１、記憶装置１０２、及び１つ又は複数のプログラムを含む。前記プロセッサー１０１と前記記憶装置１０２は、バスによって電気的に接続される。前記１つ又は複数のプログラムは、前記記憶装置１０２に記憶され、且つ、前記１つ又は複数のプロセッサー１０１によって実行されるように配置される。前記プロセッサー１０１は、前記プログラムを実行する場合、本発明の第１の実施例で提供されるようなパノラマビデオのターゲット追跡方法のステップを実現する。

本発明では、パノラマビデオのターゲットを追跡するためにマルチスケール相関フィルタに基づいているので、追跡のロバスト性がより高く、より多くの追跡シーンに対応でき、処理速度も速い。また、自動電子雲台技術により、追跡ターゲットを常に画面の中心に位置させることができる。

当業者であれば、上記の実施例に記載された方法の全て又は一部のステップが、プログラムによって関連するハードウェアを命令して完了できることを理解することができる。当該プログラムは、コンピュータ読み取り可能な記録媒体に記憶することができ、記憶媒体は、ROM/RAM、磁気ディスク、又は光ディスクを含むことができる。

上記は、本発明の好ましい実施例に過ぎず、本発明を制限するものではない。本発明の精神と原則を逸脱することなく行われる、いかなる修正、同等の変更及び改善なども、本発明の保護範囲内に属するべきである。

Claims (11)

1. パノラマビデオのターゲット追跡方法であって、前記方法は、
   球面座標系における追跡ターゲットの位置とスケールを初期化し、電子雲台のパラメータを計算し、パノラマ画像を電子雲台の現在の視角画像にマッピングするS２０１と、
   電子雲台の現在の視角画像にマルチスケール関連フィルタに基づいて、ターゲットを追跡し、新しい追跡ターゲットの位置とスケールを取得するS２０２と、
   新しい追跡ターゲットの位置をパノラマ球面方位座標にマッピングするS２０３と、
   パノラマ球面方位座標とスケールに従って電子雲台のパラメータを計算し、電子雲台の現在の視角画像にマッピングし、新しいビデオフレームを取得し、その後S２０１に戻り、パノラマビデオが終了するまでに行うS２０４と、を含む、
   ことを特徴とする方法。
2. 前記新しいビデオフレームを取得した後、前記方法は、
   カルマンフィルタを用いてビデオフレームの中心の座標点を平滑化し、出力するパノラマビデオをより安定にするS２０５、を更に含む、
   ことを特徴とする請求項１に記載の方法。
3. S２０１は、具体的には、
   球面座標系における追跡ターゲットの位置とスケールを初期化するS２０１１と、
   電子雲台によって追跡ターゲットが位置する視角に仮想カメラを回転させ、
   

   

   初期電子雲台のパラメータによってパノラマ画像を再投影して電子雲台の現在の視角画像に変換するS２０１３と、
   電子雲台の現在の視角画像において、ユーザが手動で選択する追跡ターゲットの位置を受信するS２０１４と、
   電子雲台の現在の視角画像における追跡ターゲットの位置によって球面座標系における追跡ターゲットの位置とスケールを計算するS２０１５と、を含む、
   ことを特徴とする請求項１又は請求項２に記載の方法。
4. S２０２は、具体的には、
   追跡ターゲットの隣接領域では、追跡ターゲットを平行移動する矩形フレームを選択して、予定数量のトレーニングサンプルとし、これにより、位置追跡モデルをトレーニングするS２０２１と、
   

   

   
5. 

   

   

   

   
6. 
7. 
8. 

   
9. 

   
10. コンピュータ読み取り可能な記録媒体であって、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、請求項１～９の何れかに記載のパノラマビデオのターゲット追跡方法のステップを実現する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
11. １つ又は複数のプロセッサーと、
    記憶装置と、及び、
    １つ又は複数のプログラムと、を含むパノラマカメラであって、
    前記プロセッサーは、前記プログラムを実行する場合、請求項１～９の何れかに記載のパノラマビデオのターゲット追跡方法のステップを実現する、
    ことを特徴とするパノラマカメラ。

Images