JP6600335B2 - 映像処理装置、映像処理方法および映像処理プログラム - Google Patents

Description

本発明は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置、映像処理方法および映像処理プログラムに関する。

近年、複数のカメラで撮影した映像データをつなぎ合わせて、一つのパノラマ映像や全天球型の映像として再構成する画像処理が普及している。このような技術において、大きいスクリーンで迫力のある映像を出力することが可能になるため、映像の品質の向上が求められる（例えば非特許文献１参照）。非特許文献１は、画像のパノラマ合成の技術に関して、被写体を多層平面で表現する信頼度マッピング法と２次元画像処理を施して、映像の美しさは向上することを開示する。

しかしながら、映像品質の向上に伴い、画像処理における計算コストが負担となり、計算コストの削減が期待されている。非特許文献１に記載の技術では、計算機負荷が非常に高くなり処理速度が低下してしまう場合がある。

具体的には、複数の４Ｋ映像（３８４０×２１６０ｐ、６０ｆｐｓ）を処理する場合、１映像につき１秒間に処理しなければならないデータ量は、６Ｇｂｉｔｓに及ぶ。複数のカメラで撮影した映像を繋ぎ合せてライブ配信したいと考えた場合、その画像処理システムには大きな負荷がかかり、ライブ配信が実現できないような処理時間がかかってしまう場合が考えられる。

そこで、ライブ配信可能な実用性を担保するために、繋ぎ目の自然さに加えて高速処理（ライブ配信用の実時間処理）を実現する技術が開示されている（非特許文献２参照。）。非特許文献１においては、各映像データのフレームデータを縮小して、つなぎ目を算出する技術を開示する。

磯貝 愛、國田 豊、木全 英明、"画像領域に適応したパノラマ映像生成技術の提案"、IPSJ SIG Technical report Vol. 2009-AVM-66 No.9 2009/9/24 菊地 由実、小野 朗、"4K×N パノラマコンテンツのリアルタイム生成および評価"、信学技報, vol. 116, no. 73, MVE2016-2, pp. 23-28, 2016年6月

しかしながら、非特許文献２に記載されるように高速処理を実行している場合でも、映像処理装置の処理能力や、入力される映像データ量などによっては、リアルタイムに映像データを処理することが難しくなる場合が考えられる。従って、複数の映像データを連結して出力する処理において、さらに高速化が求められる場合がある。

そこで本発明は、複数の映像データを連結する処理の高速化を実現することが可能な映像処理装置、映像処理方法および映像処理プログラムを提供することである。

上記課題を解決するために、本発明の第１の特徴は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置に関する。本発明の第１の特徴に係る映像処理装置は、複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、互いに隣接するフレームデータとのつなぎ目を算出するシーム算出手段と、シーム算出手段が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する連結フレーム出力手段と、シーム算出手段がつなぎ目を算出する周期を設定する周期設定手段を備える。シーム算出手段は、周期設定手段が設定した周期で、同時に撮影された複数のフレームデータを取得して、取得した複数のフレームデータのつなぎ目を算出する。

周期設定手段は、映像処理装置が、単位時間あたりに処理可能な情報量と、複数の映像データから、単位時間あたりの映像データの情報量を算出し、単位時間あたりの映像データの情報量に対する単位時間あたりに処理可能な情報量の割合に基づいて、同時に撮影された複数のフレームデータを取得する周期を算出しても良い。

映像データ内のオブジェクトの動きベクトルの方向変化量および大きさと、方向変化量および大きさに対応するつなぎ目を算出する周期を対応づけた周期定義データを記憶した記憶装置を備え、周期設定手段は、単位時間あたりに処理可能な情報量が、単位時間あたりの映像データの情報量より大きい場合、複数の映像データから、オブジェクトの動きベクトルの方向変化量および大きさを算出するとともに、周期定義データを参照して、算出された方向変化量および大きさから、つなぎ目を算出する周期を設定しても良い。

また、映像データ内のオブジェクトの動きベクトルの方向変化量および大きさと、方向変化量および大きさに対応するつなぎ目を算出する周期を対応づけた周期定義データを記憶した記憶装置を備え、周期設定手段は、複数の映像データから、オブジェクトの動きベクトルの方向変化量および大きさを算出するとともに、周期定義データを参照して、算出された方向変化量および大きさから、つなぎ目を算出する周期を設定しても良い。

さらに、周期定義データは、方向変化量または大きさが大きくなると、周期が低くなるように設定されても良い。

本発明の第２の特徴は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法に関する。本発明の第２の特徴に係る映像処理方法は、コンピュータが、複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、コンピュータが、互いに隣接するフレームデータとのつなぎ目を算出するステップと、コンピュータが、算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力するステップと、コンピュータが、つなぎ目を算出する周期を設定するステップを備える。つなぎ目を算出するステップにおいて、設定した周期で、同時に撮影された複数のフレームデータを取得して、取得した複数のフレームデータのつなぎ目を算出する。

コンピュータに、請求項１ないし請求項５のいずれか１項に記載の映像処理装置として機能させるための映像処理プログラム。

本発明の第３の特徴は、コンピュータに、本発明の第１の特徴に記載の映像処理装置として機能させるための映像処理装置プログラムに関する。

本発明によれば、複数の映像データを連結する処理の高速化を実現することが可能な映像処理装置、映像処理方法および映像処理プログラムを提供することができる。

本発明の実施の形態に係る映像処理装置のハードウエア構成および機能ブロックを説明する図である。 本発明の実施の形態に係る映像処理装置における重複フレームデータを説明する図である。 本発明の実施の形態に係る映像処理装置が算出するつなぎ目を説明する図である。 本発明の実施の形態に係る映像処理装置がつなぎ目で連結した連結フレームデータを説明する図である。 本発明の実施の形態に係る映像処理装置がつなぎ目を算出する周期を説明する図である。 本発明の実施の形態に係る周期定義データのデータ構造とデータの一例を説明する図である。 本発明の実施の形態に係る周期設定処理を説明するフローチャートである。 本発明の実施の形態に係るシーム算出処理を説明するフローチャートである。 本発明の実施の形態に係る連結フレーム出力処理を説明するフローチャートである。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

（概要）
図１に示す本発明の実施の形態に係る映像処理装置１は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ。映像処理装置１は、各映像データから同時に撮影されたフレームデータにおいて、適切なつなぎ目（シーム）を探索して、探索されたつなぎ目で各フレームデータを繋いで、映像データを再構成する。

本発明の実施の形態において、映像処理装置１に入力される複数の映像データは、縦方向および横方向に撮影領域を重ねて撮影された複数の映像データである場合を説明するが、これに限らない。複数の映像データは、縦方向または横方向の一方向に撮影領域を重ねて撮影された複数の映像データであっても良い。なお、各映像データおよび各映像データを出力するカメラは、厳密な意味で、縦方向または横方向（垂直方向または水平方向）に隣接していなくとも良い。

図１に示す映像処理装置１は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４から入力される複数の映像データを連結して、一つの映像データを出力する。本発明の実施の形態においては、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４が、それぞれ縦２行および横２列に配列される場合を説明するが、これに限るものではない。映像処理装置１に入力される映像データを撮影するカメラの数は、例えば６個で、縦２行および横３列に配列される、縦方向または横方向に３つ配列されるなど、任意のカメラの数に適用することができる。

図２ないし図４を参照して、本発明の実施の形態に係る映像処理装置１が、映像データをつなぐ処理の概要を説明する。

映像処理装置１は、複数の映像データから、同時に撮影されたフレームデータを取得する。例えば図２に示すように、同時に撮影された左上フレームデータＦ１、右上フレームデータＦ２、左下フレームデータＦ３および右下フレームデータＦ４を考える。左上フレームデータＦ１の撮影領域の右上側と、右上フレームデータＦ２の撮影領域の左上側は、重複する。左下フレームデータＦ３の撮影領域の右下側と、右下フレームデータＦ４の撮影領域の左下側は、重複する。左上フレームデータＦ１の撮影領域の左下側と、左下フレームデータＦ３の撮影領域の左上側は、重複する。右上フレームデータＦ２の撮影領域の右下側と、右下フレームデータＦ４の撮影領域の右上側は、重複する。また、左上フレームデータＦ１の撮影領域の右下側と、右上フレームデータＦ２の撮影領域の左下側と、左下フレームデータＦ３の撮影領域の右上側と、右下フレームデータＦ４の撮影領域の左上側は、重複する。

左上フレームデータＦ１の撮影領域の右上側で撮影された特徴点と、右上フレームデータＦ２の撮影領域の左上側で撮影された特徴点とが一致するように、左上フレームデータＦ１と右上フレームデータＦ２とを重ねる。同様に、左下フレームデータＦ３の撮影領域の右下側で撮影された特徴点と、右下フレームデータＦ４の撮影領域の左下側で撮影された特徴点とが一致するように、左下フレームデータＦ３と右下フレームデータＦ４とを重ねる。左上フレームデータＦ１の撮影領域の左下側で撮影された特徴点と、左下フレームデータＦ３の撮影領域の左上側で撮影された特徴点とが一致するように、左上フレームデータＦ１と左下フレームデータＦ３とを重ねる。右上フレームデータＦ２の撮影領域の右下側で撮影された特徴点と、右下フレームデータＦ４の撮影領域の右上側で撮影された特徴点とが一致するように、右上フレームデータＦ２と右下フレームデータＦ４とを重ねる。さらに、左上フレームデータＦ１の撮影領域の右下側で撮影された特徴点と、右上フレームデータＦ２の撮影領域の左下側で撮影された特徴点と、左下フレームデータＦ３の撮影領域の右上側で撮影された特徴点と、右下フレームデータＦ４の撮影領域の左上側で撮影された特徴点とが一致するように、左上フレームデータＦ１、右上フレームデータＦ２、左下フレームデータＦ３および右下フレームデータＦ４とを重ねる。

この結果、図２の中央に記載するように、十字状に重複部分が形成される重複フレームデータＦ０が得られる。なお図２に示す各フレームデータは、重複フレームデータＦ０が矩形になるように模式的に示しているが、各カメラの角度が異なるなど場合、一部のフレームデータが斜めに配設される場合もある。

映像処理装置１は、重複フレームデータＦ０のうち重複する部分において、各フレームデータのつなぎ目を決定する。図３に示すように映像処理装置１は、縦つなぎ目ＳＥＬおよび横つなぎ目ＳＥＷを決定する。縦つなぎ目ＳＥＬは、左上フレームデータＦ１および左下フレームデータＦ３の右端と、右上フレームデータＦ２および右下フレームデータＦ４の左端とのつなぎ目である。横つなぎ目ＳＥＷは、左上フレームデータＦ１および右上フレームデータＦ２の下端と、左下フレームデータＦ３および右下フレームデータＦ４の上端とのつなぎ目である。

映像処理装置１は、各フレームデータのつなぎ目を決定すると、図４に示すように、各フレームデータを決定したつなぎ目で切り離して連結し、連結フレームデータ１６を生成する。映像処理装置１は、左上フレームデータＦ１、右上フレームデータＦ２、左下フレームデータＦ３および右下フレームデータＦ４をそれぞれ横つなぎ目ＳＥＷおよび縦つなぎ目ＳＥＬで切断して、左上フレームデータｆ１、右上フレームデータｆ２、左下フレームデータｆ３および右下フレームデータｆ４を生成する。映像処理装置１は、左上フレームデータｆ１、右上フレームデータｆ２、左下フレームデータｆ３および右下フレームデータｆ４をつなぎ合わせて、連結フレームデータ１６を生成する。

ここで本発明の実施の形態に係る映像処理装置１は、映像データの各フレームデータについてつなぎ目を算出する場合もあれば、所定のフレームデータを間引いてつなぎ目を算出する場合もある。映像データの内容や量によって、映像処理装置１の処理負荷が高い場合、所定のフレームデータを間引いてつなぎ目を算出することにより、映像処理装置１が遅延無く映像データを出力することを可能にする。あるいは、映像データの内容によって、各フレームデータについてつなぎ目を設定すると画質の低下が予見される場合、所定のフレームデータを間引いてつなぎ目を算出することにより、映像処理装置１は、高品質な映像データを出力することを可能にする。

例えば図５に示すように、第１の映像データ、第２の映像データ、第３の映像データおよび第４の映像データがあり、それぞれ、１、２、３…と時間に従ってフレームデータが存在する場合を説明する。図５は、例えば、第２の映像データの５番目のフレームデータを、「Ｆ２−５」と表記している。

映像処理装置１が全てのフレームデータについてつなぎ目を算出する際、映像処理装置１は、Ｆ１−１、Ｆ２−１、Ｆ３−１およびＦ４−１の各フレームデータからつなぎ目を算出すると、Ｆ１−１、Ｆ２−１、Ｆ３−１およびＦ４−１の各フレームデータを算出したつなぎ目でつなぎ、連結フレームデータ１６を出力する。次に、Ｆ１−２、Ｆ２−２、Ｆ３−２およびＦ４−２の各フレームデータからつなぎ目を算出すると、Ｆ１−２、Ｆ２−２、Ｆ３−２およびＦ４−２の各フレームデータを算出したつなぎ目でつなぎ、連結フレームデータ１６を出力する。後続のフレームについても同様に処理する。

一方、所定のフレームデータを間引いてつなぎ目を算出する場合、映像処理装置１は、図５に示すように、例えば、３つのフレームデータのうちの１つのフレームデータについてつなぎ目を算出する。

映像処理装置１は、Ｆ１−１、Ｆ２−１、Ｆ３−１およびＦ４−１の各フレームデータからつなぎ目を算出すると、Ｆ１−１、Ｆ２−１、Ｆ３−１およびＦ４−１の各フレームデータを算出したつなぎ目でつなぎ、連結フレームデータ１６を出力する。また映像処理装置１は、Ｆ１−１、Ｆ２−１、Ｆ３−１およびＦ４−１の各フレームデータから算出したつなぎ目を用いて、Ｆ１−２、Ｆ２−２、Ｆ３−２およびＦ４−２の各フレームデータを連結し、Ｆ１−３、Ｆ２−３、Ｆ３−３およびＦ４−３の各フレームデータを連結する。映像処理装置１は、同様に、Ｆ１−４、Ｆ２−４、Ｆ３−４およびＦ４−４の各フレームデータからつなぎ目を算出し、Ｆ１−７、Ｆ２−７、Ｆ３−７およびＦ４−７の各フレームデータからつなぎ目を算出する。つなぎ目を算出したフレームデータ以外のフレームデータを連結する際、映像処理装置１は、直近で算出したつなぎ目を用いる。

本発明の実施の形態において、映像データの単位時間あたりのフレーム数に対して、つなぎ目を算出するために用いるフレームの割合（つなぎ目を算出する頻度）を、周期と称する。周期は、単位時間あたりにつなぎ目を算出するために用いるフレーム数として表記しても良い。

（映像処理装置）
図１に示す映像処理装置１は、記憶装置１０、処理装置２０および入出力インタフェース３０を備える一般的なコンピュータである。一般的なコンピュータが映像処理プログラムを実行することにより、図１に示す機能を実現する。

記憶装置１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、ハードディスク等であって、処理装置２０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置２０は、ＣＰＵ（Central Processing Unit）であって、記憶装置１０に記憶されたデータを読み書きしたり、入出力インタフェース３０とデータを入出力したりして、映像処理装置１における処理を実行する。

入出力インタフェース３０は、キーボード、マウスなどの入力装置Ｉ、および複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４からの入力を受付、入力されたデータを処理装置２０に入力する。入出力インタフェース３０は、さらに、処理装置２０による処理結果をディスプレイなどの出力装置Ｏに出力する。入力装置Ｉ、複数のカメラＣ１、Ｃ２、Ｃ３、Ｃ４、および出力装置Ｏは、通信インタフェースおよび通信ネットワークを介して、映像処理装置１に接続されても良い。また複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４に代わって、予め撮影された複数の撮影データを記憶した録画機や記憶装置を、映像処理装置１に接続して、映像処理データを処理させても良い。

記憶装置１０は、映像処理プログラムを記憶するとともに、設定データ１１、フレーム情報データ１２、周期定義データ１３、算出周期データ１４、シームデータ１５および連結フレームデータ１６を記憶する。

設定データ１１は、本発明の実施の形態に係る映像処理装置１が処理するために必要なパラメータを記憶する。設定データ１１は、例えば、映像処理装置１に入力される映像データの数およびその配列、処理リソースと画質向上のいずれを優先させるかなどの各パラメータを含む。本発明の実施の形態においては、処理リソースを優先させる場合と、画質向上を優先させる場合とで、つなぎ目を算出する頻度を設定する手法を切り替える。

フレーム情報データ１２は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４から取得される映像データの各フレームデータの情報を保持する。フレーム情報データ１２は、カメラの識別子に、フレーム番号、画素値、フレームレート、輝度値などの情報を対応づけたデータである。

周期定義データ１３は、本発明の実施の形態において、つなぎ目を算出するための周期を決定するためのテーブルである。周期定義データ１３は、図３に示すように、映像データ内のオブジェクトの動きベクトルの方向変化量および大きさと、方向変化量および大きさに対応するつなぎ目を算出する周期を対応づけたデータである。図３に示す各値は一例であって、映像処理装置１のリソース、入力される映像データの属性、映像処理装置１が出力する映像データの視聴環境等に応じて適宜設定される。

ここで、周期定義データ１３は、例えば、方向変化量または大きさが大きくなると、周期が低くなるように設定される場合を説明するが、これに限るものではない。

算出周期データ１４は、後述する周期設定手段２３において、算出された周期が設定される。算出周期データ１４は、少なくとも直近に算出された周期が設定されていればよく、逐次周期を蓄積したログデータであっても良い。

シームデータ１５は、後述するシーム算出手段２４によって各フレームデータのつなぎ目を算出した結果のデータである。

連結フレームデータ１６は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４が出力する複数の映像データのそれぞれから、同時に撮影された複数のフレームデータを、シームデータ１５に従ってつないで生成される。連結フレームデータ１６は、映像処理装置１が出力する映像データを構成する一つのフレームデータとなる。

処理装置２０は、設定取得手段２１、フレーム取得手段２２、周期設定手段２３、シーム算出手段２４および連結フレーム出力手段２５を備える。

（設定取得手段）
設定取得手段２１は、本発明の実施の形態に係る映像処理装置１が処理するために必要なパラメータを取得して、取得したパラメータを含む設定データ１１を記憶する。設定取得手段２１は、ユーザが、入力装置Ｉから入力した情報に従ってパラメータを取得する。或いは設定取得手段２１は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４から入力された各映像データ等を解析することによって、映像処理装置１が処理するために必要なパラメータを取得する。

（フレーム取得手段）
フレーム取得手段２２は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４から入力された各映像データから、同時に撮影された複数のフレームデータを取得する。フレーム取得手段２２は、取得した複数の各フレームデータについて、フレーム情報データ１２を生成して記憶する。

（周期設定手段）
周期設定手段２３は、シーム算出手段２４がつなぎ目を算出する周期を設定する。周期設定手段２３は、シーム算出手段２４がつなぎ目を算出する際に、つなぎ目を算出する元となるフレームデータの、単位時間あたりの数を特定して、算出周期データ１４に設定する。

本発明の実施の形態において、周期設定を行う際の２つのモードを提案する。２つのモードは、処理リソースの確保を優先するための処理リソース確保モードと、画質向上を優先させるための画質向上モードである。これらのモードは、ユーザによる入力装置Iからの入力により指定され、設定データ１１に設定されても良い。或いは、映像処理装置１が、映像処理装置１のリソース、入力される映像データの属性、映像処理装置１が出力する映像データの視聴環境等に応じて、いずれのモードで動作するかを判定しても良い。

まず、処理リソース確保モードについて説明する。処理リソース確保モードにおいて周期設定手段２３は、映像処理装置１が、単位時間あたりに処理可能な情報量と、複数の映像データから、単位時間あたりの映像データの情報量を算出し、単位時間あたりに処理可能な情報量と、単位時間あたりの映像データの情報量を比較する。周期設定手段２３は、単位時間あたりの映像データの情報量に対する単位時間あたりに処理可能な情報量の割合に基づいて、同時に撮影された複数のフレームデータを取得する周期を算出する。

周期設定手段２３は、例えば、連結フレーム出力手段２５が出力する連結フレームデータ１６の情報量に基づいて、「映像処理装置１が、単位時間あたりに処理可能な情報量」を設定する。また、周期設定手段２３は、複数のカメラから入力される映像データの数（カメラ数）と、各カメラが出力する映像データの画素数から、「単位時間あたりの映像データの情報量」を算出する。

周期設定手段２３は、単位時間あたりに処理可能な情報量が、単位時間あたりの映像データの情報量よりも低い場合、入力される映像データの各フレームデータのうち、所定フレームを間引いてシームを算出する。例えば、２台のカメラで撮影した４Ｋ／６０ｐの映像の情報量は、大凡１２Ｇｂｐｓとなる。一方、映像処理装置１が処理可能な情報量が６Ｇｂｐｓの場合、単位時間あたりの映像データの情報量に対する単位時間あたりに処理可能な情報量の割合は、６Ｇｂｐｓ／１２Ｇｂｐｓとなる。従って周期設定手段２３は、２つのフレームデータのうちの１つのフレームデータについて、つなぎ目を算出すれば良いと判断する。ここで、入力された映像データは、６０ｐであるので、６０ｐ×６Ｇｂｐｓ／１２Ｇｂｐｓ＝３０ｐとなる。従って周期設定手段２３は、つなぎ目を算出する周期として、３０ｆｐｓ（frames per second）を、算出周期データ１４に設定する。

この処理リソース確保モードにおいて、処理リソースに余裕を持たせたいなどの各種状況に応じて周期を設定する場合も考えられる。その場合、周期設定手段２３は、「単位時間あたりの映像データの情報量に対する単位時間あたりに処理可能な情報量の割合」に、さらに任意の要素を付加して、周期を算出しても良い。

上記の例で、入力される映像データの情報量が１２Ｇｂｐｓで、処理可能なリソースの情報量が、１２Ｇｂｐｓ以上の場合、探索周期は、撮影した映像と同じ６０ｆｐｓとなる。ここで、単位時間あたりに処理可能な情報量が、単位時間あたりの映像データの情報量より大きい場合、周期設定手段２３は、後述する画質向上モードで動作するように制御されても良いし、周期を６０ｆｐｓと決定してもよい。

入力される映像データの情報量が、処理可能なリソースの情報量を上回る場合に、画質向上モードで動作させるか否かは、予め設定データ１１に設定されても良いし、映像処理装置１が映像データ等から判断しても良い。

処理リソース確保モードは、ライブ映像をリアルタイムに画像処理する際に、入力される映像データの情報量に対して、処理リソースが不足する事態が生じたとしても、つなぎ目を算出する頻度を下げることで、処理リソースを確保することが可能になる。またライブ開始前に処理リソースの不足が予想される場合のみならず、ライブ開始後に急遽カメラが増設される場合や画質を向上させる場合にも、対応することが可能になる。本発明の実施の形態に係る周期設定手段２３は、撮影された映像の情報量と処理リソースの両方を分析して、入力される映像データの全てのフレームのうち、所定のタイミングのフレームを間引いて処理項数を減らすことができる。これにより周期設定手段２３は、処理リソースの不足を補い、リアルタイムに画像処理して映像データを出力することを可能にする。

次に、画質向上モードについて説明する。画質向上モードにおいて周期設定手段２３は、複数の映像データから、オブジェクトの動きベクトルの方向変化量および大きさを算出する。さらに周期設定手段２３は、周期定義データ１３を参照して、算出された方向変化量および大きさから、つなぎ目を算出する周期を設定する。

周期設定手段２３は、映像データにおける任意のオブジェクトについて、動きベクトルＭＶを取得する。この任意のオブジェクトは、例えば、「動きの速いオブジェクト」、「複雑な動きをするオブジェクト」などの、つなぎ目の位置を特定する際に影響を与えるオブジェクトであるか否かの基準で選択される。さらに「目立つオブジェクト」などの、つなぎ目の位置がぶれた場合に画質に影響をあたえるオブジェクトであるか否かの基準が付加されても良い。

周期設定手段２３は、動きベクトルＭＶの方向変化量ＭＶＣと、動きベクトルＭＶの大きさＭＶＭを算出する。動きベクトルＭＶの方向変化量ＭＶＣは、オブジェクトの動きの複雑さの指標である。方向変化量ＭＶＣは、所定の長さの映像データのフレームにおいて、動きベクトルのフレーム毎の座標値から、前後のフレーム間のベクトルの角度を算出し、この角度の値の変化を算出することで、角度が大きく動く点を抽出することで特定される。このため方向変化量ＭＶＣは、角度情報を用いたパラメータとなる。一方動きベクトルＭＶの大きさＭＶＭは、動きベクトルのフレーム毎の動きの絶対値を用いたパラメータである。

周期設定手段２３は、このように、動きベクトルＭＶの方向変化量ＭＶＣと、動きベクトルＭＶの大きさＭＶＭを算出すると、周期定義データ１３を参照して、算出した方向変化量ＭＶＣと大きさＭＶＭに対応する周期を特定する。本発明の実施の形態において周期定義データ１３は、方向変化量または大きさが大きくなると、周期が低くなるように設定される。

各フレームデータにおいてつなぎ目を算出する際、処理対象のフレームデータの内容が大きく依存すると考えられる。従って動きベクトルＭＶの方向変化量ＭＶＣまたは大きさＭＶＭに対応が大きい場合、すなわち、動きベクトルＭＶの向きが頻繁に変化するまたはその動きが大きい場合、各フレームデータにおけるつなぎ目は、各フレームデータの内容に基づいて大きく変化する可能性がある。このようにつなぎ目が大きく変化する結果、複数の映像データをつなぎ合わせた映像データを視聴した際に、つなぎ目の変化（ブレ）が、映像データの画質の悪化を招く場合がある。

従って本発明の実施の形態において、動きベクトルの方向変化量または大きさが大きく、つなぎ目のブレが予想される場合に、つなぎ目を算出する頻度を抑え、つなぎ目のブレを抑制することで、映像データの画質を向上させることが可能である。

また処理リソース確保モードで動作していても、入力される映像データの情報量が、処理可能なリソースの情報量を上回ることが判明すると、本発明の実施の形態においては、画質向上モードで動作する。周期設定手段２３は、映像処理装置１が充分な処理リソースを有する場合でも、映像データにおいて、動きベクトルの方向変化量または大きさが大きい場合、つなぎ目を算出する頻度を下げることで、映像データの画質を向上させることができる。

図７を参照して、周期設定手段２３による周期設定処理を説明する。

まずステップＳ１０１において周期設定手段２３は、設定データ１１で設定されたモードを選択する。処理リソース確保モードが設定されている場合、ステップＳ１１１に進み、画質向上モードが設定されている場合、ステップＳ１２１に進む。

処理リソース確保モードで動作する場合、ステップＳ１１１において周期設定手段２３は、単位時間あたりに映像処理装置１が処理可能な情報量を取得する。ステップＳ１１２において周期設定手段２３は、映像処理装置１に入力される映像データについて、単位時間あたりの情報量を算出する。ここで周期設定手段２３は、入力された映像データの数（カメラの数）と、各映像データの画素数から、単位時間あたりの情報量を算出する。

ステップＳ１１３において周期設定手段２３は、ステップＳ１１１で算出した処理可能な情報量が、ステップＳ１１２で算出した映像データの情報量を上回っていると判断した場合、ステップＳ１２１に進み、画像向上モードの処理を進める。なお、設定データ１１による設定などにより、ステップＳ１２１に進むことなく、処理を終了させても良い。

ステップＳ１１３において周期設定手段２３は、ステップＳ１１１で算出した処理可能な情報量が、ステップＳ１１２で算出した映像データの情報量を上回っていないと判断した場合、ステップＳ１１４に進む。ステップＳ１１４において周期設定手段２３は、処理可能な情報量の範囲内で、つなぎ目（シーム）を探索する周期（単位時間あたりのフレーム数）を算出する。

ステップＳ１３１において周期設定手段２３は、算出周期データ１４に、ステップＳ１１４で算出した周期を設定して、算出周期データ１４を更新する。

画質向上モードで動作する場合、ステップＳ１２１において周期設定手段２３は、映像データにおけるオブジェクトの動きベクトルＭＶを抽出する。ステップＳ１２２において周期設定手段２３は、ステップＳ１２１で抽出した動きベクトルＭＶについて、方向変化量ＭＶＣと大きさＭＶＭを算出する。ステップＳ１２３において周期設定手段２３は、周期定義データ１３を参照して、ステップＳ１２２で算出した方向変化量ＭＶＣと大きさＭＶＭから、つなぎ目（シーム）を探索する周期（単位時間あたりのフレーム数）を算出する。

ステップＳ１３１において周期設定手段２３は、算出周期データ１４に、ステップＳ１２３で算出した周期を設定して、算出周期データ１４を更新する。

（シーム算出手段）
シーム算出手段２４は、周期設定手段２３が設定した周期で、同時に撮影された複数のフレームデータを取得して、取得した複数のフレームデータのつなぎ目を算出する。シーム算出手段２４は、次の周期が到達するまで、つなぎ目を算出しないように制御される。シーム算出手段２４は、各フレームデータについて、互いに隣接するフレームデータとのつなぎ目を算出しても良い。

例えば、図５に示すように、３つのフレームデータのうち１つのフレームデータについてつなぎ目を算出する際、シーム算出手段２４は、各映像データの１番目、４番目、７番目…のフレームデータに基づいて、つなぎ目を算出する。シーム算出手段２４は、１番目、４番目、７番目…以外のフレームデータについては、つなぎ目を算出しない。

図８を参照して、シーム算出手段２４によるシーム算出処理を説明する。まずステップＳ２０１において、つなぎ目を算出する周期に到達したか否かを判定する。

ステップＳ２０１においてつなぎ目を算出する周期に到達した場合、ステップＳ２０２において、フレーム情報データ１２から処理対象のフレームデータの情報を取り出して、各フレームデータのつなぎ目を算出する。その後、シーム算出手段２４は、ステップＳ２０１に戻り、次につなぎ目を算出する周期を待機する。

一方、ステップＳ２０１においてつなぎ目を算出する周期に到達していない場合、シーム算出手段２４は、つなぎ目を算出することなくステップＳ２０１に戻り、次につなぎ目を算出する周期を待機する。

（連結フレーム出力手段）
連結フレーム出力手段２５は、シーム算出手段２４が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータ１６を出力する。シーム算出手段２４によってつなぎ目が算出された対象のフレームデータを連結する場合、連結フレーム出力手段２５は、このフレームデータから算出されたつなぎ目に従って、各フレームデータを連結する。一方、シーム算出手段２４によってつなぎ目が算出された対象のフレームデータ以外のフレームデータを連結する場合、連結フレーム出力手段２５は、シーム算出手段２４が直近で算出したつなぎ目に従って、各フレームデータを連結する。

例えば、図５に示すように、シーム算出手段２４が、各映像データの１番目、４番目、７番目…のフレームデータに基づいて、つなぎ目を算出する場合を説明する。連結フレーム出力手段２５は、１番目の各フレームデータについて、１番目の各フレームデータに基づいてシーム算出手段２４が算出したつなぎ目を用いて、１番目の各フレームデータを連結フレームデータ１６に連結する。連結フレーム出力手段２５は、２番目および３番目のフレームデータについて、１番目の各フレームデータに基づいてシーム算出手段２４が算出したつなぎ目を用いて、２番目の各フレームデータを連結フレームデータ１６に連結して、３番目の各フレームデータを連結フレームデータ１６に連結する。その後も同様に、連結フレーム出力手段２５は、シーム算出手段２４が４番目の各フレームデータに基づいてつなぎ目を算出した結果に基づいて、４番目、５番目および６番目の各フレームデータを連結して、それぞれ連結フレームデータ１６を出力する。

図９を参照して、連結フレーム出力手段２５による連結フレーム出力処理を説明する。まずステップＳ３０１において、処理対象のフレームデータについて、シーム算出手段２４がつなぎ目を算出したか否かを判定する。

ステップＳ３０１において、シーム算出手段２４がつなぎ目を算出した場合、ステップＳ３０２において連結フレーム出力手段２５は、処理対象のフレームデータについてシーム算出手段２４が算出したつなぎ目に基づいて、処理対象のフレームデータを連結して、連結フレームデータ１６を出力する。

一方、ステップＳ３０１において、シーム算出手段２４がつなぎ目を算出していない場合、ステップＳ３０３において連結フレーム出力手段２５は、シーム算出手段２４が直近に算出したつなぎ目に基づいて、処理対象のフレームデータを連結して、連結フレームデータ１６を出力する。

なお、図９に示す処理は、一例であって、これに限るものではない。例えばシームデータ１５に最新のつなぎ目の情報が設定される場合、連結フレーム出力手段２５は、図９のように処理する必要はなく、シームデータ１５に設定されたつなぎ目の情報に従って、連結フレームデータ１６を出力するように構成されても良い。

以上説明したように、本発明の実施の形態に係る映像処理装置１は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ処理において、映像データのうちの所定のタイミングのフレームについてつなぎ目を算出して、つなぎ目の算出に関する処理項数を低減することができる。これにより映像処理装置１は、複数の映像データを連結する処理の高速化を実現することができる。

（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

例えば、本発明の実施の形態に記載した映像処理装置は、図１に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の映像処理システム上に実現されても良い。

また本発明の実施の形態に係る映像処理方法は、非特許文献２で提案されたように、縮小フレームデータを用いて、各フレームデータのつなぎ目を算出して、連結フレームデータを出力しても良い。これにより、処理の高速化が期待できる。

さらに本発明の実施の形態において、映像処理装置１が算出する対象となるフレームデータが縦方向および横方向に重ねられる場合を説明したが、これに限られるものではなく、いわゆるパノラマ映像のように、フレームデータを横方向のみ重ねる場合にも適用することができる。具体的には本発明の実施の形態に係る映像処理方法は、横方向のみに撮影領域が重ねられた複数のカメラから取得された複数のフレームデータを連結するつなぎ目を、算出する処理に適用されても良い。同様に、本発明の実施の形態に係る映像処理方法は、縦方向のみに撮影領域が重ねられた複数のカメラから取得された複数のフレームデータを連結するつなぎ目を、算出する処理に適用されても良い。

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１ 映像処理装置
１０ 記憶装置
１１ 設定データ
１２ フレーム情報データ
１３ 周期定義データ
１４ 算出周期データ
１５ シームデータ
１６ 連結フレームデータ
２０ 処理装置
２１ 設定取得手段
２２ フレーム取得手段
２３ 周期設定手段
２４ シーム算出手段
２５ 連結フレーム出力手段
３０ 入出力インタフェース
Ｃ１、Ｃ２、Ｃ３、Ｃ４ カメラ
Ｉ 入力装置
Ｏ 出力装置

Claims (7)

1. 撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、
   前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、
   互いに隣接するフレームデータとのつなぎ目を算出するシーム算出手段と、
   前記シーム算出手段が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する連結フレーム出力手段と、
   前記シーム算出手段が前記つなぎ目を算出する周期を設定する周期設定手段を備え、
   前記シーム算出手段は、前記周期設定手段が設定した周期で、前記同時に撮影された複数のフレームデータを取得して、取得した前記複数のフレームデータの前記つなぎ目を算出し、
   前記連結フレーム出力手段は、前記シーム算出手段によってつなぎ目が算出されたフレームデータ以外のフレームデータを連結する場合、前記シーム算出手段が直近で算出したつなぎ目に従って、各フレームデータを連結する
   ことを特徴とする映像処理装置。
2. 前記周期設定手段は、
   前記映像処理装置が、単位時間あたりに処理可能な情報量と、前記複数の映像データから、単位時間あたりの映像データの情報量を算出し、
   前記単位時間あたりの映像データの情報量に対する前記単位時間あたりに処理可能な情報量の割合に基づいて、前記同時に撮影された複数のフレームデータを取得する周期を算出する
   ことを特徴とする請求項１に記載の映像処理装置。
3. 映像データ内のオブジェクトの動きベクトルの方向変化量および大きさと、前記方向変化量および大きさに対応する前記つなぎ目を算出する周期を対応づけた周期定義データを記憶した記憶装置を備え、
   前記周期設定手段は、
   前記単位時間あたりに処理可能な情報量が、前記単位時間あたりの映像データの情報量より大きい場合、
   前記複数の映像データから、オブジェクトの動きベクトルの方向変化量および大きさを算出するとともに、前記周期定義データを参照して、算出された方向変化量および大きさから、前記つなぎ目を算出する周期を設定する
   ことを特徴とする請求項２に記載の映像処理装置。
4. 映像データ内のオブジェクトの動きベクトルの方向変化量および大きさと、前記方向変化量および大きさに対応する前記つなぎ目を算出する周期を対応づけた周期定義データを記憶した記憶装置を備え、
   前記周期設定手段は、
   前記複数の映像データから、オブジェクトの動きベクトルの方向変化量および大きさを算出するとともに、前記周期定義データを参照して、算出された方向変化量および大きさから、前記つなぎ目を算出する周期を設定する
   ことを特徴とする請求項１に記載の映像処理装置。
5. 前記周期定義データは、前記方向変化量または大きさが大きくなると、前記周期が低くなるように設定される
   ことを特徴とする請求項３または４に記載の映像処理装置。
6. 撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法であって、
   コンピュータが、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、
   前記コンピュータが、互いに隣接するフレームデータとのつなぎ目を算出するステップと、
   前記コンピュータが、算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力するステップと、
   前記コンピュータが、前記つなぎ目を算出する周期を設定するステップを備え、
   前記つなぎ目を算出するステップにおいて、設定した周期で、前記同時に撮影された複数のフレームデータを取得して、取得した前記複数のフレームデータの前記つなぎ目を算出し、
   前記連結フレームデータを出力するステップにおいて、前記つなぎ目を算出するステップにおいてつなぎ目が算出されたフレームデータ以外のフレームデータを連結する場合、前記つなぎ目を算出するステップが直近で算出したつなぎ目に従って、各フレームデータを連結する
   ことを特徴とする映像処理方法。
7. コンピュータを、請求項１ないし請求項５のいずれか１項に記載の映像処理装置として機能させるための映像処理プログラム。

Images