JP6715217B2 - 映像処理装置、映像処理方法および映像処理プログラム - Google Patents

Description

本発明は、縦方向および横方向に互いに隣接して、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置、映像処理方法および映像処理プログラムに関する。

近年、複数のカメラで撮影した映像データをつなぎ合わせて、一つのパノラマ映像や全天球型の映像として再構成する画像処理が普及している。このような技術において、大きいスクリーンで迫力のある映像を出力することが可能になるため、映像の品質の向上が求められる（例えば非特許文献１参照）。非特許文献１は、画像のパノラマ合成の技術に関して、被写体を多層平面で表現する信頼度マッピング法と２次元画像処理を施して、映像の美しさは向上することを開示する。

しかしながら、映像品質の向上に伴い、画像処理における計算コストが負担となり、計算コストの削減が期待されている。非特許文献１に記載の技術では、計算機負荷が非常に高くなり処理速度が低下してしまう場合がある。

具体的には、複数の４Ｋ映像（３８４０×２１６０ｐ、６０ｆｐｓ）を処理する場合、１映像につき１秒間に処理しなければならないデータ量は、６Ｇｂｉｔｓに及ぶ。複数のカメラで撮影した映像を繋ぎ合せてライブ配信したいと考えた場合、その画像処理システムには大きな負荷がかかり、ライブ配信が実現できないような処理時間がかかってしまう場合が考えられる。

そこで、ライブ配信可能な実用性を担保するために、繋ぎ目の自然さに加えて高速処理（ライブ配信用の実時間処理）を実現する技術が開示されている（非特許文献２参照。）。

磯貝 愛、國田 豊、木全 英明、"画像領域に適応したパノラマ映像生成技術の提案"、IPSJ SIG Technical report Vol. 2009-AVM-66 No.9 2009/9/24 菊地 由実、小野 朗、"4K×N パノラマコンテンツのリアルタイム生成および評価"、信学技報, vol. 116, no. 73, MVE2016-2, pp. 23-28, 2016年6月

しかしながら、上述の非特許文献１および２は、映像データを横方向のみにつなげたパノラマ映像について言及するものの、映像データを横方向のみならず縦方向にもつなげた場合の映像処理については充分に検討されていない。

そこで本発明は、複数の映像データを縦方向および横方向に連結する処理の高速化を実現することが可能な映像処理装置、映像処理方法および映像処理プログラムを提供することである。

上記課題を解決するために、本発明の第１の特徴は、縦方向および横方向に互いに隣接して、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置に関する。本発明の第１の特徴に係る映像処理装置は、複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、互いに隣接するフレームデータについて特徴点を一致させて、複数のフレームデータを重ねた重複フレームデータから、縦方向にのみ隣接するフレームデータが重複する縦重複領域と、横方向にのみ隣接するフレームデータが重複する横重複領域と、縦方向および横方向に隣接するフレームデータが重複するクロス重複領域を設定する領域設定手段と、縦重複領域、横重複領域およびクロス重複領域の各重複領域において、互いに隣接するフレームデータとのつなぎ目を算出するシーム算出手段と、シーム算出手段が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する連結フレーム出力手段を備える。

シーム算出手段は、縦重複領域、横重複領域およびクロス重複領域の各重複領域において、フレームデータとの隣接方向のラインから一つのつなぎ目を決定する処理を、隣接方向に直交する方向に繰り返し、隣接方向のラインの検索範囲の各画素のうち、直前に算出されたつなぎ目の画素との特徴値の差分が最も少ない画素を、ラインにおけるつなぎ目として算出しても良い。

縦重複領域および横重複領域の各重複領域の中心を起点として、所定方向につなぎ目を算出し、クロス重複領域の縦方向および横方向にそれぞれ隣接する各重複領域の終端のつなぎ目に対応する位置を起点として、クロス重複領域のつなぎ目を算出し、縦重複領域および横重複領域の各重複領域において、つなぎ目を算出する処理を並列に行っても良い。

クロス重複領域の中心を起点として、所定方向につなぎ目を算出し、クロス重複領域の終端まで到着すると、所定方向に隣接する他の重複領域において、クロス重複領域の終端におけるつなぎ目に対応する位置を起点として、それぞれつなぎ目を算出し、縦重複領域および横重複領域の各重複領域において、つなぎ目を算出する処理を並列に行っても良い。

連結フレーム出力手段が出力する連結フレームデータについて遅延が生じていない場合、シーム算出手段は、縦重複領域および横重複領域の各重複領域において、つなぎ目を算出する処理を並列に行い、連結フレーム出力手段が出力する連結フレームデータについて遅延が生じている場合、シーム算出手段は、縦重複領域、横重複領域、およびクロス重複領域において、それぞれつなぎ目を算出する処理を並列に行っても良い。

重複される各フレームデータにおける対応する各画素について、輝度差の大きい画素を、つなぎ目から回避する補正要素に基づいて、シーム算出手段が算出したつなぎ目を補正するシーム補正手段を備え、連結フレーム出力手段は、シーム補正手段によって補正されたつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力しても良い。

エッジ部分を、つなぎ目から回避する補正要素に基づいて、シーム算出手段が算出したつなぎ目を補正するシーム補正手段を備え、連結フレーム出力手段は、シーム補正手段によって補正されたつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力しても良い。

処理対象のフレームデータの一つ前のフレームデータにおけるつなぎ目から遠い画素を、つなぎ目から回避する補正要素に基づいて、シーム算出手段が算出したつなぎ目を補正するシーム補正手段を備え、連結フレーム出力手段は、シーム補正手段によって補正されたつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力しても良い。

予め設定された禁止画素を、つなぎ目から回避する補正要素に基づいて、シーム算出手段が算出したつなぎ目を補正するシーム補正手段を備え、連結フレーム出力手段は、シーム補正手段によって補正されたつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力しても良い。

本発明の第２の特徴は、縦方向および横方向に互いに隣接して、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法に関する。本発明の第２の特徴に係る映像処理方法は、複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得ステップと、互いに隣接するフレームデータについて特徴点を一致させて、複数のフレームデータを重ねた重複フレームデータから、縦方向にのみ隣接するフレームデータが重複する縦重複領域と、横方向にのみ隣接するフレームデータが重複する横重複領域と、縦方向および横方向に隣接するフレームデータが重複するクロス重複領域を設定する領域設定ステップと、縦重複領域、横重複領域およびクロス重複領域の各重複領域において、互いに隣接するフレームデータとのつなぎ目を算出するシーム算出ステップと、シーム算出ステップで算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する連結フレーム出力ステップを備える。

本発明の第３の特徴は、コンピュータに、本発明の第１の特徴に記載の映像処理装置として機能させるための映像処理装置プログラムに関する。

本発明によれば、複数の映像データを縦方向および横方向に連結する処理の高速化を実現することが可能な映像処理装置、映像処理方法および映像処理プログラムを提供することができる。

本発明の実施の形態に係る映像処理装置のハードウエア構成および機能ブロックを説明する図である。 本発明の実施の形態に係る映像処理装置の処理を説明するフローチャートである。 本発明の実施の形態に係る映像処理装置における重複フレームデータを説明する図である。 本発明の実施の形態に係る映像処理装置がつなぎ目を算出する際に用いる重複領域を説明する図である。 本発明の実施の形態に係る映像処理装置が算出するつなぎ目を説明する図である。 本発明の実施の形態に係る映像処理装置が各ラインのつなぎ目を算出する処理を説明する図である。 本発明の実施の形態に係る映像処理装置が経路パスを設定する処理を説明する図である。 本発明の実施の形態に係るシーム算出手段によるシーム算出処理において、周辺から中央方向につなぎ目を算出する処理を説明するフローチャートである。 本発明の実施の形態に係るシーム算出手段によるシーム算出処理において、周辺から中央方向につなぎ目を算出する処理を説明する図である。 本発明の実施の形態に係るシーム算出手段によるシーム算出処理において、中央から周辺方向につなぎ目を算出する処理を説明するフローチャートである。 本発明の実施の形態に係るシーム算出手段によるシーム算出処理において、中央から周辺方向につなぎ目を算出する処理を説明する図である。 本発明の実施の形態に係るシーム補正手段によるシーム補正処理を説明するフローチャートである。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

（概要）
図１に示す本発明の実施の形態に係る映像処理装置１は、縦方向および横方向に互いに隣接して、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ。映像処理装置１は、各映像データから同時に撮影されたフレームデータにおいて、適切なつなぎ目（シーム）を探索して、探索されたつなぎ目で各フレームデータを繋いで、映像データを再構成する。

ここで、「縦方向および横方向に互いに隣接」は、ある映像データが、他の映像データと縦方向に隣接して、撮影領域の一部を重ねて撮影されるとともに、さらに他の映像データと横方向に隣接して、撮影領域の一部を重ねて撮影されることを意味する。また「縦方向および横方向に互いに隣接」は、ある映像データが、他の映像データと縦方向および横方向、すなわち斜め方向にも隣接して、撮影領域の一部を重ねて撮影される場合も含む。本発明の実施の形態に係る映像処理装置１は、縦Ｍ行および横Ｎ列に配列された複数のカメラから得られる映像データを再構成する。なお、各映像データおよび各映像データを出力するカメラは、厳密な意味で、縦方向または横方向に隣接していなくとも良い。

図１に示す映像処理装置１は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４から入力される複数の映像データを連結して、一つの映像データを出力する。本発明の実施の形態においては、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４が、それぞれ縦２行および横２列に配列される場合を説明するが、これに限るものではない。映像処理装置１に入力される映像データを撮影するカメラの数は、例えば６個で、縦２行および横３列に配列されるなど、任意のカメラの数に適用することができる。

図２を参照して、本発明の実施の形態に係る映像処理装置１による映像処理方法を説明する。映像処理方法は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４のそれぞれから出力される映像データのうち、同時に撮影された各フレームデータについて、ステップＳ１ないしステップＳ８の処理を繰り返す。

まずステップＳ１において映像処理装置１は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４のそれぞれから出力される映像データから、同時刻に撮影された各フレームデータを取得する。

ステップＳ２において映像処理装置１は、ステップＳ１で取得した各フレームデータから、特徴点を対応づけて、図３に示す重複フレームデータＦ０を生成する。

例えば図３に示すように、同時に撮影された左上フレームデータＦ１、右上フレームデータＦ２、左下フレームデータＦ３および右下フレームデータＦ４を考える。左上フレームデータＦ１の撮影領域の右上側と、右上フレームデータＦ２の撮影領域の左上側は、重複する。左下フレームデータＦ３の撮影領域の右下側と、右下フレームデータＦ４の撮影領域の左下側は、重複する。左上フレームデータＦ１の撮影領域の左下側と、左下フレームデータＦ３の撮影領域の左上側は、重複する。右上フレームデータＦ２の撮影領域の右下側と、右下フレームデータＦ４の撮影領域の右上側は、重複する。また、左上フレームデータＦ１の撮影領域の右下側と、右上フレームデータＦ２の撮影領域の左下側と、左下フレームデータＦ３の撮影領域の右上側と、右下フレームデータＦ４の撮影領域の左上側は、重複する。

左上フレームデータＦ１の撮影領域の右上側で撮影された特徴点と、右上フレームデータＦ２の撮影領域の左上側で撮影された特徴点とが一致するように、左上フレームデータＦ１と右上フレームデータＦ２とを重ねる。同様に、左下フレームデータＦ３の撮影領域の右下側で撮影された特徴点と、右下フレームデータＦ４の撮影領域の左下側で撮影された特徴点とが一致するように、左下フレームデータＦ３と右下フレームデータＦ４とを重ねる。左上フレームデータＦ１の撮影領域の左下側で撮影された特徴点と、左下フレームデータＦ３の撮影領域の左上側で撮影された特徴点とが一致するように、左上フレームデータＦ１と左下フレームデータＦ３とを重ねる。右上フレームデータＦ２の撮影領域の右下側で撮影された特徴点と、右下フレームデータＦ４の撮影領域の右上側で撮影された特徴点とが一致するように、右上フレームデータＦ２と右下フレームデータＦ４とを重ねる。さらに、左上フレームデータＦ１の撮影領域の右下側で撮影された特徴点と、右上フレームデータＦ２の撮影領域の左下側で撮影された特徴点と、左下フレームデータＦ３の撮影領域の右上側で撮影された特徴点と、右下フレームデータＦ４の撮影領域の左上側で撮影された特徴点とが一致するように、左上フレームデータＦ１、右上フレームデータＦ２、左下フレームデータＦ３および右下フレームデータＦ４とを重ねる。

この結果、図３の中央に記載するように、十字状に重複部分が形成される重複フレームデータＦ０が得られる。なお図２に示す各フレームデータは、重複フレームデータＦ０が矩形になるように模式的に示しているが、各カメラの角度が異なるなど場合、一部のフレームデータが斜めに配設される場合もある。

図２のステップＳ３において映像処理装置１は、ステップＳ２で生成した重複フレームデータＦ０において、縦重複領域、横重複領域およびクロス重複領域を設定する。

図４を参照して、重複フレームデータＦ０の各重複領域を説明する。映像処理装置１は、図４に示すように、左上フレームデータＦ１および左下フレームデータＦ３が縦方向にのみ重複する重複領域を、左側縦重複領域Ｒ１と定義する。映像処理装置１は、左側縦重複領域Ｒ１の位置情報を、領域設定データ１３に設定する。映像処理装置１は、右上フレームデータＦ２および右下フレームデータＦ４が縦方向にのみ重複する重複領域を、右側縦重複領域Ｒ２と定義する。映像処理装置１は、右側縦重複領域Ｒ２の位置情報を、領域設定データ１３に設定する。映像処理装置１は、左上フレームデータＦ１および右上フレームデータＦ２が横方向にのみ重複する重複領域を、上側横重複領域Ｒ３と定義する。映像処理装置１は、上側横重複領域Ｒ３の位置情報を、領域設定データ１３に設定する。映像処理装置１は、左下フレームデータＦ３および右下フレームデータＦ４が横方向にのみ重複する重複領域を、下側横重複領域Ｒ４と定義する。映像処理装置１は、下側横重複領域Ｒ４の位置情報を、領域設定データ１３に設定する。映像処理装置１は、左上フレームデータＦ１、右上フレームデータＦ２、左下フレームデータＦ３および右下フレームデータＦ４が縦方向および横方向に重複する重複領域を、クロス重複領域Ｒ５と定義する。映像処理装置１は、クロス重複領域Ｒ５の位置情報を、領域設定データ１３に設定する。

なお、縦にＮ台のカメラを配設し、横にＭ台のカメラを配設した場合、縦重複領域の数は、Ｍ（Ｎ−１）となり、横重複領域の数は、Ｎ（Ｍ−１）となる。またクロス重複領域のかずは、（Ｎ＋１）（Ｍ＋１）−２（Ｍ＋Ｎ）となる。

図２のステップＳ４において映像処理装置１は、図４に示す横つなぎ目ＳＥＷおよび縦つなぎ目ＳＥＬを算出する。横つなぎ目ＳＥＷおよび縦つなぎ目ＳＥＬは、各フレームデータをつないだフレームデータを作成する際のつなぎ目である。

ステップＳ５においてシーム補正指示がないと判定された場合、ステップＳ７に進む。一方ステップＳ５においてシーム補正指示があると判定された場合、ステップＳ６において、ステップＳ４で算出した横つなぎ目ＳＥＷおよび縦つなぎ目ＳＥＬを補正し、ステップＳ７に進む。

ステップＳ７において映像処理装置１は、つなぎ目に従って、各フレームデータを連結する。具体的に映像処理装置１は、左上フレームデータＦ１、右上フレームデータＦ２、左下フレームデータＦ３および右下フレームデータＦ４をそれぞれ横つなぎ目ＳＥＷおよび縦つなぎ目ＳＥＬで切断して、左上フレームデータｆ１、右上フレームデータｆ２、左下フレームデータｆ３および右下フレームデータｆ４を生成する。映像処理装置１は、左上フレームデータｆ１、右上フレームデータｆ２、左下フレームデータｆ３および右下フレームデータｆ４をつなぎ合わせて、連結フレームデータ１６を生成する。

ステップＳ８において映像処理装置１は、ステップＳ７で生成した連結フレームデータ１６を出力する。この連結フレームデータ１６は、映像処理装置１が出力する映像データのフレームデータとなる。

（映像処理装置）
図１に示す映像処理装置１は、記憶装置１０、処理装置２０および入出力インタフェース３０を備える一般的なコンピュータである。一般的なコンピュータが映像処理プログラムを実行することにより、図１に示す機能を実現する。

記憶装置１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、ハードディスク等であって、処理装置２０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置２０は、ＣＰＵ（Central Processing Unit）であって、記憶装置１０に記憶されたデータを読み書きしたり、入出力インタフェース３０とデータを入出力したりして、映像処理装置１における処理を実行する。

入出力インタフェース３０は、キーボード、マウスなどの入力装置Ｉ、および複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４からの入力を受付、入力されたデータを処理装置２０に入力する。入出力インタフェース３０は、さらに、処理装置２０による処理結果をディスプレイなどの出力装置Ｏに出力する。入力装置Ｉ、複数のカメラＣ１、Ｃ２、Ｃ３、Ｃ４、および出力装置Ｏは、通信インタフェースおよび通信ネットワークを介して、映像処理装置１に接続されても良い。また複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４に代わって、予め撮影された複数の撮影データを記憶した録画機や記憶装置を、映像処理装置１に接続して、映像処理データを処理させても良い。

記憶装置１０は、映像処理プログラムを記憶するとともに、設定データ１１、フレーム情報データ１２、領域設定データ１３、シームデータ１４、補正シームデータ１５および連結フレームデータ１６を記憶する。

設定データ１１は、本発明の実施の形態に係る映像処理装置１が処理するために必要なパラメータを記憶する。設定データ１１は、例えば、映像処理装置１に入力される映像データの数およびその配列、高品質なつなぎ目を算出するか否かなどの各パラメータを含む。

フレーム情報データ１２は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４が出力する複数の映像データにおいて、同時に撮影された各フレームデータの情報である。フレーム情報データ１２は、カメラの識別子に、画素値、フレームレート、輝度値などの情報を対応づけたデータである。

領域設定データ１３は、重複フレームデータにおける各フレームデータの重複状態に応じて、縦重複領域、横重複領域およびクロス重複領域を設定した際の、各重複領域の位置情報を定義するデータである。図４に示す例の場合、領域設定データ１３は、左側縦重複領域Ｒ１、右側縦重複領域Ｒ２、上側横重複領域Ｒ３、下側横重複領域Ｒ４およびクロス重複領域Ｒ５の各重複領域の一を定義する。

シームデータ１４は、領域設定データ１３およびフレーム情報データ１２に基づいて、各フレームデータのつなぎ目を算出した結果のデータである。

補正シームデータ１５は、シームデータ１４を、種々の観点から補正をしたものである。補正シームデータ１５は、シームデータ１４よりもより高精度な映像データを得るために用いられる。

連結フレームデータ１６は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４が出力する複数の映像データのそれぞれから、同時に撮影された複数のフレームデータを、シームデータ１４または補正シームデータ１５に従ってつないで生成される。連結フレームデータ１６は、映像処理装置１が出力する映像データを構成する一つのフレームデータとなる。

処理装置２０は、設定取得手段２１、フレーム取得手段２２、領域設定手段２３、シーム算出手段２４、シーム補正手段２５および連結フレーム出力手段２６を備える。

（設定取得手段）
設定取得手段２１は、本発明の実施の形態に係る映像処理装置１が処理するために必要なパラメータを取得して、取得したパラメータを含む設定データ１１を記憶する。設定取得手段２１は、ユーザが、入力装置Ｉから入力した情報に従ってパラメータを取得する。或いは設定取得手段２１は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４から入力された各映像データ等を解析することによって、映像処理装置１が処理するために必要なパラメータを取得する。

（フレーム取得手段）
フレーム取得手段２２は、複数のカメラＣ１、Ｃ２、Ｃ３およびＣ４から入力された各映像データから、同時に撮影された複数のフレームデータを取得する。フレーム取得手段２２は、取得した複数の各フレームデータについて、フレーム情報データ１２を生成して記憶する。

（領域設定手段）
領域設定手段２３は、同時に撮影された複数のフレームデータにおいて、互いに隣接するフレームデータについて特徴点を一致させて、同時に撮影された複数のフレームデータを重ねた重複フレームデータを生成する。図３および図４に示す例において領域設定手段２３は、生成した重複フレームデータに基づいて、縦方向にのみ隣接するフレームデータが重複する縦重複領域Ｒ１およびＲ２と、横方向にのみ隣接するフレームデータが重複する横重複領域Ｒ３およびＲ４と、縦方向および横方向に隣接するフレームデータが重複するクロス重複領域Ｒ５を設定する。領域設定手段２３は、各重複領域の位置情報を、領域設定データ１３に記憶する。

（シーム算出手段）
シーム算出手段２４は、縦重複領域、横重複領域およびクロス重複領域の各重複領域において、フレームデータとの隣接方向のラインから一つのつなぎ目を決定する処理を、隣接方向に直交する方向に繰り返す。シーム算出手段２４は、縦重複領域において横方向にフレームデータのつなぎ目を探索し、横重複領域において縦方向にフレームデータのつなぎ目を探索し、クロス重複領域において縦方向および横方向の各方向にフレームデータのつなぎ目を探索する。シーム算出手段２４は、隣接方向のラインの検索範囲の各画素のうち、直前に算出されたつなぎ目の画素との特徴値の差分が最も少ない画素を、このラインにおけるつなぎ目として算出する。

図４に示すように、シーム算出手段２４は、左上フレームデータＦ１、右上フレームデータＦ２、左下フレームデータＦ３および右下フレームデータＦ４の各フレームを滑らかに接続するための、横つなぎ目ＳＥＷおよび縦つなぎ目ＳＥＬを算出する。横つなぎ目ＳＥＷは、左側縦重複領域Ｒ１、クロス重複領域Ｒ５および右側縦重複領域Ｒ２において略水平方向（図４に示す紙面の左右方向）に設けられる。縦つなぎ目ＳＥＬは、上側横重複領域Ｒ３、クロス重複領域Ｒ５および下側横重複領域Ｒ４において略垂直方向（図４に示す紙面の上下方向）に設けられる。

（シーム算出処理）
シーム算出手段２４は、フレームデータの隣接方向のラインから一つのつなぎ目を決定し、隣接方向に直交する方向に順次つなぎ目を決定する。例えば、左側縦重複領域Ｒ１は、フレームデータが縦方向に隣接するので、シーム算出手段２４は、左側縦重複領域Ｒ１の縦のラインから一つの画素をつなぎ目として決定する。さらにシーム算出手段２４は、横方向に順次つなぎ目を算出して、横つなぎ目ＳＥＷを形成する画素を特定する。同様に、上側横重複領域Ｒ３は、フレームデータが横方向に隣接するので、シーム算出手段２４は、上側横重複領域Ｒ３の横のラインから一つの画素をつなぎ目として決定する。さらにシーム算出手段２４は、縦方向に順次つなぎ目を算出して、縦つなぎ目ＳＥＬを形成する画素を特定する。またクロス重複領域Ｒ５においては、横方向につなぎ目を検索して横つなぎ目ＳＥＷを形成する画素を特定するとともに、縦方向につなぎ目を検索して縦つなぎ目ＳＥＬを形成する画素を特定する。

図６および図７を参照して、シーム算出手段２４がつなぎ目を特定する処理を説明する。図６および図７に示す例は、フレームデータが横方向に重複する横重複領域において、下のラインから上のラインへとつなぎ目を探索する。

シーム算出手段２４は、横重複領域において、横方向に検索範囲を決定する。この検索範囲は、５画素や７画素等の奇数の画素により構成される。つなぎ目の検索範囲を限定することにより、処理の高速化が期待できる。また他の例として、横重複領域の横方向の一ライン全ての画素を、検索範囲としても良い。

シーム算出手段２４は、検索範囲の各画素について、累積コストを算出し、最も累積コストの低い画素を、その検索範囲におけるつなぎ目の画素と決定する。具体的には、図６に示す前のラインの検索範囲において、最も累積コストの低い画素が、前のラインのつなぎ目の最適な経路として記録される。注目ラインにおけるつなぎ目を探索する際、注目ラインの検索範囲の各画素のうち、その前のラインのつなぎ目の特徴量と最も近い特徴量を有する画素が、注目ラインのつなぎ目の最適な経路として記録される。

ここで、注目ラインにおける注目画素ｐ（ｎ）の累積コストＣｐ（ｎ）を説明する。注目画素ｐ（ｎ）の累積コストＣｐ（ｎ）は、直前に決定されたつなぎ目の画素Ｐ（ｎ−１）と注目画素ｐ（ｎ）との特徴値の差分Ｄと、直前に決定されたつなぎ目の画素における累積コストＣＰ（ｎ−１）の和である。ここで特徴値は、画素の特徴量に基づいて算出され、例えば色差であっても良いし、輝度差であっても良いし、色差および輝度差を混合した値であっても良い。

各ラインにおいて、つなぎ目を構成する画素を特定すると、図７に示すように、つなぎ目を構成する画素を辿って、つなぎ目を構成する。図６に示すように、下から上方向に累積コストが最小となるつなぎ目を特定した場合、図７に示すように、上から下につなぎ目を構成しても良い。

さらに処理を簡略化するために、前のラインで特定されたつなぎ目の画素と、注目ラインの検索範囲を構成する各画素について、特徴値の差分を算出し、最も差分の小さい検索範囲に属する画素を、そのラインのつなぎ目の画素と特定しても良い。また、各ラインでつなぎ目を特定する度に、直前に特定したつなぎ目と連結して、つなぎ目を構成するようにしても良い。なお、縦重複領域においてつなぎ目を探索する場合の処理も同様である。

図８ないし図１１を参照して、本発明の実施の形態において、処理の高速化および映像の品質向上を実現するための処理順序を説明する。

（周辺から中心に向かって処理する場合）
まず図８および図９を参照して、クロス重複領域以外の重複領域においてつなぎ目を算出し、その後、クロス重複領域においてつなぎ目を算出する処理を説明する。シーム算出手段２４は、縦重複領域および横重複領域の各重複領域の中心を起点として、所定方向につなぎ目を算出し、クロス重複領域の縦方向および横方向にそれぞれ隣接する各重複領域の終端のつなぎ目に対応する位置を起点として、クロス重複領域のつなぎ目を算出する。シーム算出手段２４は、縦重複領域および横重複領域の各重複領域において、つなぎ目を算出する処理を並列に行う。

図８に示すように、シーム算出手段２４は、ステップＳ１０１において縦重複領域の中心を起点として、横方向に累積コストを算出してつなぎ目を構成する画素を探索する。ステップＳ１０１の処理は、ステップＳ１０２に示すように、縦重複領域の端部に到達するまで繰り返される。

またステップＳ１０１およびステップＳ１０２の処理に並行して、シーム算出手段２４は、ステップＳ１０３において横重複領域の中心を起点として、縦方向に累積コストを算出してつなぎ目を構成する画素を探索する。ステップＳ１０３の処理は、ステップＳ１０４に示すように、横重複領域の端部に到達するまで繰り返される。

縦重複領域および横重複領域においてそれぞれ端部までつなぎ目が探索されると、より具体的には、縦重複領域および横重複領域におけるつなぎ目の探索処理が、クロス重複領域との境界まで達すると、ステップＳ１０５に進む。

ステップＳ１０５においてシーム算出手段２４は、縦重複領域および横重複領域のクロス重複領域と接する各端部の累積コストを、クロス重複領域の各端部の累積コストに設定する。シーム算出手段２４は、縦重複領域および横重複領域の算出結果から設定された累積コストに基づいて、クロス重複領域の中心方向に向かってつなぎ目を探索する。

ステップＳ１０５において、クロス重複領域の中心方向に累積コストが算出され、各ラインについてつなぎ目が決定すると、ステップＳ１０６において、各ラインにおいて算出されたコストが最小の画素を選択してつなぎ目を決定する。

具体的には図９の（１）に示すようにシーム算出手段２４は、左側縦重複領域Ｒ１および右側縦重複領域Ｒ２のそれぞれの中心を起点として、左右方向につなぎ目を探索する。またこれに並列してシーム算出手段２４は、上側横重複領域Ｒ３および下側横重複領域Ｒ４のそれぞれの中心を起点として、上下方向につなぎ目を探索する。

左右上下の重複領域において、クロス重複領域Ｒ５に接する端部まで探索されると、図９の（２）に示すように、クロス重複領域Ｒ５においてつなぎ目を探索する。左側縦重複領域Ｒ１において右端までつなぎ目が探索されると、左側縦重複領域Ｒ１の右端のつなぎ目の累積コストを、クロス重複領域Ｒ５の左端の累積コストに設定して、中心方向につなぎ目を探索する。右側縦重複領域Ｒ２において左端までつなぎ目が探索されると、右側縦重複領域Ｒ２の左端のつなぎ目の累積コストを、クロス重複領域Ｒ５の右端の累積コストに設定して、中心方向につなぎ目を探索する。上側横重複領域Ｒ３において下端までつなぎ目が探索されると、上側横重複領域Ｒ３の下端のつなぎ目の累積コストを、クロス重複領域Ｒ５の上端の累積コストに設定して、中心方向につなぎ目を探索する。下側横重複領域Ｒ４において上端までつなぎ目が探索されると、下側横重複領域Ｒ４の上端のつなぎ目の累積コストを、クロス重複領域Ｒ５の下端の累積コストに設定して、中心方向につなぎ目を探索する。

図８および図９に示す例によれば、縦重複領域および横重複領域の各重複領域においてつなぎ目の探索を並列して処理することができるので、処理の高速化が期待できる。またクロス重複領域において、縦重複領域および横重複領域の計算結果の制約を受けるので、クロス重複領域において単独でつなぎ目を探索する場合と比べて、他の領域との関連を考慮して、なめらかなつなぎ目を設定することが可能になる。

（中心から周辺に向かって処理する場合）
次に図１０および図１１を参照して、クロス重複領域においてつなぎ目を算出し、その後、クロス重複領域以外の重複領域においてつなぎ目を算出する処理を説明する。シーム算出手段２４は、クロス重複領域の中心を起点として、所定方向につなぎ目を算出し、クロス重複領域の終端まで到着すると、所定方向に隣接する他の重複領域において、クロス重複領域の終端におけるつなぎ目に対応する位置を起点として、それぞれつなぎ目を算出する。シーム算出手段２４は、縦重複領域および横重複領域の各重複領域において、つなぎ目を算出する処理を並列に行う。

図９に示すように、シーム算出手段２４は、ステップＳ２０１においてクロス重複領域の中心を起点として、縦方向および横方向に累積コストを算出してつなぎ目を構成する画素を探索する。ステップＳ２０１の処理は、ステップＳ２０２に示すように、クロス重複領域の端部に到達するまで繰り返される。

クロス重複領域において端部までつなぎ目が探索されると、より具体的には、クロス重複領域に置けるつなぎ目の探索処理が、縦重複領域との境界まで達すると、ステップＳ２０３に進む。

ステップＳ２０３においてシーム算出手段２４は、クロス重複領域の縦重複領域と接する各端部の累積コストを、縦重複領域の各端部の累積コストに設定する。シーム算出手段２４は、クロス重複領域の算出結果から設定された累積コストに基づいて、左右の周辺方向に向かってつなぎ目を探索する。ステップＳ２０３の処理は、ステップＳ２０４に示すように、縦重複領域の端部に到達するまで繰り返される。

またステップＳ２０３およびステップＳ２０４の処理に並行して、シーム算出手段２４は、ステップＳ２０５において、クロス重複領域の横重複領域と接する各端部の累積コストを、横重複領域の各端部の累積コストに設定する。シーム算出手段２４は、クロス重複領域の算出結果から設定された累積コストに基づいて、上下の周辺方向に向かってつなぎ目を探索する。ステップＳ２０５の処理は、ステップＳ２０６に示すように、横重複領域の端部に到達するまで繰り返される。

ステップＳ１０５において、クロス重複領域の端部まで累積コストが算出されると、ステップＳ１０６において、各ラインにおいて算出されたコストが最小の画素を選択してつなぎ目を決定する。

具体的には図１１の（１）に示すようにシーム算出手段２４は、クロス重複領域Ｒ５の中心を起点として、上下左右方向につなぎ目を探索する。

クロス重複領域Ｒ５において、左右上下の重複領域に接する端部まで探索されると、図１１の（２）に示すように、左右上下の重複領域においてつなぎ目を探索する。クロス重複領域Ｒ５において左端までつなぎ目が探索されると、クロス重複領域Ｒ５の左端のつなぎ目の累積コストを、左側縦重複領域Ｒ１の右端の累積コストに設定して、左方向につなぎ目を探索する。クロス重複領域Ｒ５において右端までつなぎ目が探索されると、クロス重複領域Ｒ５の右端のつなぎ目の累積コストを、右側縦重複領域Ｒ２の左端の累積コストに設定して、右方向につなぎ目を探索する。クロス重複領域Ｒ５において上端までつなぎ目が探索されると、クロス重複領域Ｒ５の上端のつなぎ目の累積コストを、上側横重複領域Ｒ３の下端の累積コストに設定して、上方向につなぎ目を探索する。クロス重複領域Ｒ５において下端までつなぎ目が探索されると、クロス重複領域Ｒ５の下端のつなぎ目の累積コストを、下側横重複領域Ｒ４の上端の累積コストに設定して、下方向につなぎ目を探索する。

図１０および図１１に示す例によれば、縦重複領域および横重複領域の各重複領域においてつなぎ目の探索を並列して処理することができるので、処理の高速化が期待できる。また縦重複領域および横重複領域の各重複領域において、クロス重複領域の計算結果の制約を受けるので、縦重複領域および横重複領域において単独でつなぎ目を探索する場合と比べて、他の領域との関連を考慮してなめらかなつなぎ目を設定することが可能になる。

（並列に処理する場合）
上記の「周辺から中心に向かって処理する場合」および「中心から周辺に向かって処理する場合」では、既に処理したつなぎ目の情報を伝播させて、後続の処理で参照する場合を説明した。このような処理は、各重複領域における処理順序を拘束するため、ライブ配信するシステムにおいて映像処理装置１における処理量が増えると、映像処理装置１が出力する映像データにコマ落ちが生じ、画質が乱れる場合がある。

例えば、静止している風景の映像を複数のカメラで撮影してつなぐ場合を考える。この風景内で突風が吹き、映像中に枯葉や桜の花びらなどの多くのオブジェクトが早い速度で飛び交い始めると、映像処理装置１の処理量は突然に増えることになる。従って、映像処理装置１の処理が、元の映像のフレームレートに追いつかず、遅延が生じる場合がある。

そこで、連結フレーム出力手段２６が出力する連結フレームデータについて遅延が生じていない場合、シーム算出手段２４は、縦重複領域および横重複領域の各重複領域において、つなぎ目を算出する処理を並列に行う。ここで、遅延が生じていない場合とは、連結フレーム出力手段２６が出力する連結フレームデータによって構成される映像データの周波数が、フレーム取得手段２２が取得する映像データの周波数と同じ場合である。

映像処理装置１における負荷が高くなく、入力映像と同じ周波数で映像を出力出来る場合、縦重複領域および横重複領域の各重複領域においてのみ、つなぎ目を算出する処理を並列に行い、その前後で、クロス重複領域においてつなぎ目を算出して、先行する処理の計算結果を、後の処理の計算結果に反映させる。具体的には、周辺から中心に向かって処理する場合、シーム算出手段２４は、縦重複領域および横重複領域におけるつなぎ目の算出処理を並列して行い、縦重複領域および横重複領域の端部のつなぎ目の情報を、クロス重複領域に伝播させる。中心から周辺に向かって処理する場合、クロス重複領域におけるつなぎ目の算出処理を行い、クロス重複領域の端部のつなぎ目の情報を、縦重複領域および横重複領域に伝播させる。これにより、映像処理装置１における負荷が低い場合に、映像の品質を向上させることができる。

一方、連結フレーム出力手段２６が出力する連結フレームデータについて遅延が生じている場合、シーム算出手段２４は、縦重複領域、横重複領域、およびクロス重複領域において、それぞれつなぎ目を算出する処理を並列に行う。ここで、遅延が生じている場合とは、連結フレーム出力手段２６が出力する連結フレームデータによって構成される映像データの周波数が、フレーム取得手段２２が取得する元の映像データの周波数よりも低い場合である。

映像処理装置１における負荷が高く、入力映像の周波数よりも低い周波数で映像を出力している場合、シーム算出手段２４は、縦重複領域、横重複領域、およびクロス重複領域の各重複領域において、一斉につなぎ目を算出する処理を行い、他の重複領域に処理結果を伝播させない。つなぎ目を他の重複領域に伝播させないので、つなぎ目の滑らかさは劣る可能性があるものの、映像処理装置１における処理負荷を軽減できるので、遅延が生じることなく、映像データを出力することが可能になる。

なお、映像処理装置１における負荷は逐次変化するので、シーム算出手段２４は、映像処理装置１の負荷に応じて、つなぎ目の情報を他の重複領域に伝播させたり伝播させなかったりして、映像処理装置１の負荷を調整することも可能である。また、映像処理装置１の処理量が突然増えない映像データであることがわかっている場合、その情報を設定データ１１に設定することにより、映像処理の負荷に応じてシーム算出手段２４の処理の変更を適用しないようにしても良い。

（シーム補正手段）
シーム補正手段２５は、シーム算出手段２４が算出したつなぎ目を補正して、さらに高精細な映像出力を可能にする。シーム補正手段２５は、いくつかの補正要素に基づいて、つなぎ目を補正するが、本発明の実施の形態においては、以下の４つの補正要素を対応する。なおシーム補正手段２５は、４つの補正要素の全ての要素を用いてつなぎ目を補正しても良いし、任意の補正要素を用いてつなぎ目を補正しても良いし、さらに、下記に示す他の要素を用いてつなぎ目を補正しても良い。

本発明の実施の形態において、各補正要素は、０から１の値を取り、１に近いほど、つなぎ目として選択されにくいように設計される。

（１）重複される各フレームデータにおける対応する各画素について、輝度差の大きい画素を、つなぎ目から回避する第１の補正要素
第１の補正要素は、例えば、左側縦重複領域Ｒ１において、結合対象の左上フレームデータＦ１および左下フレームデータＦ３について、対応する画素のペアで輝度が大きく異なるような画素のペアを避けて、つなぎ目を設定するための補正要素である。第１の補正要素は、縦重複領域、横重複領域およびクロス重複領域の各重複領域において重複される各フレームデータの対応する各画素の輝度差に着目する。

シーム補正手段２５は、つなぐ対象となる各画素のペアについてローパスフィルタを適用し、その結果得られる画素のペアの輝度差の絶対値を算出する。シーム補正手段２５は、輝度差の絶対値を累積し、その結果の最大が１．０になるように正規化して、各画素ペアについて、第１の補正要素を算出する。

（２）エッジ部分を、つなぎ目から回避する第２の補正要素
第２の補正要素は、画像にエッジ領域が含まれている場合に、このエッジ領域を避けてつなぎ目を設定するための補正要素である。第２の補正要素は、縦重複領域、横重複領域およびクロス重複領域の各重複領域において重複される各フレームデータの色差の大きいエッジ部分に着目する。

シーム補正手段２５は、画像に対して、横方向および縦方向にＳｃｈａｒｒフィルタなどのエッジ検出フィルタを適用し、その結果の対応する画素のペアのＬ１ノルムを算出する。シーム補正手段２５は、画素のペア毎に算出されたＬ１ノルムを累積し、結果の最大が１．０になるように正規化して、各画素ペアについて、第２の補正要素を算出する。

（３）処理対象のフレームデータの一つ前のフレームデータにおけるつなぎ目から遠い画素を、つなぎ目から回避する第３の補正要素
第３の補正要素は、シーム算出手段２４によって得られたつなぎ目を、時間方向にローパスフィルタを適用したものであり、時間経過に伴うつなぎ目の変動を抑制し、滑らかに変化するための補正要素である。

シーム算出手段２４によって得られたつなぎ目により生成された画像をＷとし、任意のラインにおけるつなぎ目の位置をＳｅａｍ（ｙ）とした場合、シーム補正手段２５は、Ｓｅａｍ（ｙ）から任意の距離Ｗｓ以上離れた画素の第３の補正要素を１．０と設定して、Ｓｅａｍ（ｙ）の第３の補正要素を０．０と設定し、Ｗｓが１．０となるように、重み付けをする。さらに、シーム算出手段２４によって得られたつなぎ目により生成された画像Ｗが時系列で式（１）となるようにローパルフィルタを適用して、第３の補正要素Ｗｌｐｆを算出する。

Wlpf(n)＝W(n-1)×a＋Wlpf×(1-a) ・・・・式（１）
Wlpf(n)：つなぎ目を算出する対象のフレームデータにおける第３の補正要素
W：シーム算出手段２４によって得られたつなぎ目により生成された画像
Wlpf：直前のフレームデータにおける第３の補正要素
a：任意の係数

（４）予め設定された禁止領域を、つなぎ目から回避する第４の補正要素
第４の補正要素は、フレームデータ内の目立つ場所などを予め禁止領域に設定し、この禁止領域がつなぎ目として選択されないようにする補正要素である。

シーム補正手段２５は、禁止領域の画素の第４の補正要素を１．０に設定し、禁止領域以外の画素の第４の補正要素を０．０に設定して、各画素について第４の補正要素を設定する。禁止領域は、任意の画素に対して設定することができる。

図１２を参照して、シーム補正手段２５によるシーム補正処理を説明する。

まずステップＳ３０１においてシーム補正手段２５は、各画素について、輝度差の大きい画素を回避する第1の補正要素を算出する。ステップＳ３０２においてシーム補正手段２５は、各画素について、エッジ部分を回避する第２の補正要素を算出する。ステップＳ３０３においてシーム補正手段２５は、各画素について、一つ前のフレームデータのつなぎ目と遠い画素を回避する第３の補正要素を算出する。ステップＳ３０４においてシーム補正手段２５は、各画素について、予め設定された禁止領域を回避する第４の補正要素を算出する。

ステップＳ３０５においてシーム補正手段２５は、ステップＳ３０１ないしステップＳ３０４において算出した第１ないし第４の補正要素のいずれか一つ以上を用いて、つなぎ目を補正する。

ステップＳ３０１ないしステップＳ３０４において、各補正要素は、各ラインの検索対象を構成する各画素について、算出される。また他の実施例として、各重複領域で、各ラインを構成する全ての画素について算出されても良い。なお、ステップＳ３０５で参照しない補正要素については、算出されなくとも良い。

（連結フレーム出力手段）
連結フレーム出力手段２６は、シーム算出手段２４が算出したつなぎ目、またはシーム補正手段２５が補正したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータ１６を出力する。連結フレーム出力手段２６は、連結フレームデータ１６を断続的に出力し、映像データとして出力装置Ｏに出力する。

このように本発明の実施の形態に係る映像処理装置１は、処理の高速化を実現しつつ、同時に、つなぎ合わせを行うフレームデータ対のつなぎ目を適正に算出し画像の品質を向上させることができるので、「速くて美しい合成映像」を生成することができる。

（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

例えば、本発明の実施の形態に記載した映像処理装置は、図１に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の映像処理システム上に実現されても良い。

また本発明の実施の形態に係る映像処理方法は、非特許文献２で提案されたように、縮小フレームデータを用いて、各フレームデータのつなぎ目を算出して、連結フレームデータを出力しても良い。これにより、処理の高速化が期待できる。

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１ 映像処理装置
１０ 記憶装置
１１ 設定データ
１２ フレーム情報データ
１３ 領域設定データ
１４ シームデータ
１５ 補正シームデータ
１６ 連結フレームデータ
２０ 処理装置
２１ 設定取得手段
２２ フレーム取得手段
２３ 領域設定手段
２４ シーム算出手段
２５ シーム補正手段
２６ 連結フレーム出力手段
３０ 入出力インタフェース
Ｃ１、Ｃ２、Ｃ３、Ｃ４ カメラ
Ｉ 入力装置
Ｏ 出力装置

Claims (11)

1. 縦方向および横方向に互いに隣接して、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、
   前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、
   互いに隣接するフレームデータについて特徴点を一致させて、前記複数のフレームデータを重ねた重複フレームデータから、縦方向にのみ隣接するフレームデータが重複する縦重複領域と、横方向にのみ隣接するフレームデータが重複する横重複領域と、縦方向および横方向に隣接するフレームデータが重複するクロス重複領域を設定する領域設定手段と、
   前記縦重複領域、前記横重複領域および前記クロス重複領域の各重複領域において、互いに隣接するフレームデータとのつなぎ目を算出するシーム算出手段と、
   前記シーム算出手段が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する連結フレーム出力手段
   を備え、
   前記シーム算出手段は、
   前記縦重複領域および前記横重複領域の各重複領域の前記つなぎ目を算出し、前記クロス重複領域の前記縦方向および横方向にそれぞれ隣接する各重複領域の終端のつなぎ目に対応する位置を起点として、前記クロス重複領域のつなぎ目を算出する
   ことを特徴とする映像処理装置。
2. 前記シーム算出手段は、
   前記縦重複領域、前記横重複領域および前記クロス重複領域の各重複領域において、フレームデータとの隣接方向のラインから一つのつなぎ目を決定する処理を、前記隣接方向に直交する方向に繰り返し、
   前記隣接方向のラインの検索範囲の各画素のうち、直前に算出されたつなぎ目の画素との特徴値の差分が最も少ない画素を、前記ラインにおけるつなぎ目として算出する
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記縦重複領域および前記横重複領域の各重複領域の中心を起点として、所定方向に前記つなぎ目を算出し、
   前記縦重複領域および前記横重複領域の各重複領域において、前記つなぎ目を算出する処理を並列に行う
   ことを特徴とする請求項２に記載の映像処理装置。
4. 前記クロス重複領域の中心を起点として、所定方向に前記つなぎ目を算出し、前記クロス重複領域の終端まで到着すると、前記所定方向に隣接する他の重複領域において、前記クロス重複領域の終端におけるつなぎ目に対応する位置を起点として、それぞれつなぎ目を算出し、
   前記縦重複領域および前記横重複領域の各重複領域において、前記つなぎ目を算出する処理を並列に行う
   ことを特徴とする請求項２に記載の映像処理装置。
5. 前記連結フレーム出力手段が出力する連結フレームデータについて遅延が生じていない場合、
   前記シーム算出手段は、前記縦重複領域および前記横重複領域の各重複領域において、前記つなぎ目を算出する処理を並列に行い、
   前記連結フレーム出力手段が出力する連結フレームデータについて遅延が生じている場合、
   前記シーム算出手段は、前記縦重複領域、前記横重複領域、および前記クロス重複領域において、それぞれつなぎ目を算出する処理を並列に行う
   ことを特徴とする請求項３または４に記載の映像処理装置。
6. 重複される各フレームデータにおける対応する各画素について、輝度差の大きい画素を、つなぎ目から回避する補正要素に基づいて、前記シーム算出手段が算出したつなぎ目を補正するシーム補正手段を備え、
   前記連結フレーム出力手段は、前記シーム補正手段によって補正されたつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する
   ことを特徴とする請求項１に記載の映像処理装置。
7. エッジ部分を、つなぎ目から回避する補正要素に基づいて、前記シーム算出手段が算出したつなぎ目を補正するシーム補正手段を備え、
   前記連結フレーム出力手段は、前記シーム補正手段によって補正されたつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する
   ことを特徴とする請求項１に記載の映像処理装置。
8. 処理対象のフレームデータの一つ前のフレームデータにおけるつなぎ目から遠い画素を、つなぎ目から回避する補正要素に基づいて、前記シーム算出手段が算出したつなぎ目を補正するシーム補正手段を備え、
   前記連結フレーム出力手段は、前記シーム補正手段によって補正されたつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する
   ことを特徴とする請求項１に記載の映像処理装置。
9. 予め設定された禁止画素を、つなぎ目から回避する補正要素に基づいて、前記シーム算出手段が算出したつなぎ目を補正するシーム補正手段を備え、
   前記連結フレーム出力手段は、前記シーム補正手段によって補正されたつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する
   ことを特徴とする請求項１に記載の映像処理装置。
10. 縦方向および横方向に互いに隣接して、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法であって、
    前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得ステップと、
    互いに隣接するフレームデータについて特徴点を一致させて、前記複数のフレームデータを重ねた重複フレームデータから、縦方向にのみ隣接するフレームデータが重複する縦重複領域と、横方向にのみ隣接するフレームデータが重複する横重複領域と、縦方向および横方向に隣接するフレームデータが重複するクロス重複領域を設定する領域設定ステップと、
    前記縦重複領域、前記横重複領域および前記クロス重複領域の各重複領域において、互いに隣接するフレームデータとのつなぎ目を算出するシーム算出ステップと、
    前記シーム算出ステップで算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する連結フレーム出力ステップ
    を備え、
    前記シーム算出ステップは、
    前記縦重複領域および前記横重複領域の各重複領域の前記つなぎ目を算出し、前記クロス重複領域の前記縦方向および横方向にそれぞれ隣接する各重複領域の終端のつなぎ目に対応する位置を起点として、前記クロス重複領域のつなぎ目を算出する
    ことを特徴とする映像処理方法。
11. コンピュータを、請求項１ないし請求項９のいずれか１項に記載の映像処理装置として機能させるための映像処理プログラム。

Images