JP6758265B2 - 映像処理装置、映像処理方法及び映像処理プログラム - Google Patents

Description

本発明は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ技術に関する。

近年、複数のカメラで撮影した映像データをつなぎ合わせて、一つのパノラマ映像や全天球型の映像として再構成する画像処理が普及している。このような技術において、大きいスクリーンで迫力のある映像を出力することが可能になるため、映像の品質の向上が求められる（例えば非特許文献１参照）。非特許文献１は、画像のパノラマ合成の技術に関して、被写体を多層平面で表現する信頼度マッピング法と２次元画像処理を施して映像の美しさを向上する技術を開示する。

しかしながら、映像品質の向上に伴い、画像処理における計算コストが負担となり、計算コストの削減が期待されている。非特許文献１に記載の技術では、計算機負荷が非常に高くなり処理速度が低下してしまう場合がある。具体的には、複数の４Ｋ映像（３８４０×２１６０ｐ、６０ｆｐｓ）を処理する場合、１映像につき１秒間に処理しなければならないデータ量は、６Ｇｂｉｔｓに及ぶ。複数のカメラで撮影した映像をつなぎ合せてライブ配信したいと考えた場合、その画像処理システムには大きな負荷がかかり、ライブ配信が実現できないような処理時間がかかってしまう場合が考えられる。

そこで、ライブ配信可能な実用性を担保するために、つなぎ目の自然さに加えて高速処理（ライブ配信用の実時間処理）を実現する技術が開示されている（非特許文献２参照）。非特許文献２は、各映像データのフレームデータを縮小して、つなぎ目を算出する技術を開示する。

磯貝 愛、國田 豊、木全 英明、"画像領域に適応したパノラマ映像生成技術の提案"、IPSJ SIG Technical report Vol. 2009-AVM-66 No.9 2009/9/24 菊地 由実、小野 朗、"4K×N パノラマコンテンツのリアルタイム生成および評価"、信学技報, vol. 116, no. 73, MVE2016-2, pp. 23-28, 2016年6月

しかしながら、画像の明るい部分をつなぎ目が通るとつなぎ目の存在に気付かれやすいという問題があった。

さらに、非特許文献２に記載されるように高速処理を実行している場合でも、映像処理装置の処理能力や、入力される映像データ量などによっては、リアルタイムに映像データを処理することが難しくなる場合が考えられる。従って、複数の映像データを連結して出力する処理において、さらに高速化が求められる場合がある。

本発明は、上記に鑑みてなされたものであり、複数の映像データを連結する際のつなぎ目を目立たなくするとともに、処理の高速化を実現することを目的とする。

本発明に係る映像処理装置は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、互いに隣接する前記フレームデータに設定するつなぎ目を通さない禁止領域を設定する禁止領域設定手段と、前記禁止領域を計算対象から外して前記つなぎ目を算出するシーム算出手段と、前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力する連結フレーム出力手段とを備え、前記禁止領域設定手段は、前記フレームデータの画素を任意のブロックに分割し、前記ブロックに含まれる画素の輝度最大値と輝度最小値の差が閾値以上の前記ブロックを禁止領域と設定することを特徴とする。

本発明に係る映像処理装置は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、互いに隣接する前記フレームデータに設定するつなぎ目を通さない禁止領域を設定する禁止領域設定手段と、前記禁止領域を計算対象から外して前記つなぎ目を算出するシーム算出手段と、前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力する連結フレーム出力手段とを備え、前記禁止領域設定手段は、前記フレームデータの画素を任意のブロックに分割し、前記ブロックに含まれる画素の輝度最大値と輝度最小値の差が閾値以上の前記ブロックを禁止領域と設定することを特徴とする。

本発明に係る映像処理方法は、コンピュータが実行する、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法であって、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、互いに隣接する前記フレームデータに設定するつなぎ目を通さない禁止領域を設定するステップと、前記禁止領域を計算対象から外して前記つなぎ目を算出するステップと、前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力するステップを有し、前記禁止領域を設定するステップは、前記フレームデータにおいて輝度値が閾値以上の画素の分布に基づいて前記禁止領域を設定することを特徴とする。

本発明に係る映像処理方法は、コンピュータが実行する、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法であって、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、互いに隣接する前記フレームデータに設定するつなぎ目を通さない禁止領域を設定するステップと、前記禁止領域を計算対象から外して前記つなぎ目を算出するステップと、前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力するステップを有し、前記禁止領域を設定するステップは、前記フレームデータの画素を任意のブロックに分割し、前記ブロックに含まれる画素の輝度最大値と輝度最小値の差が閾値以上の前記ブロックを禁止領域と設定することを特徴とする。

本発明に係る映像処理プログラムは、上記映像処理装置の各手段としてコンピュータを動作させることを特徴とする。

本発明によれば、複数の映像データを連結する際のつなぎ目を目立たなくするとともに、処理の高速化を実現することができる。

本実施形態の映像処理装置のハードウエア構成および機能ブロックを説明する図である。 本実施形態の映像処理装置の処理の流れを示すフローチャートである。 重複フレームデータの例を示す図である。 フレームデータをつなぎ目で連結した連結フレームデータの例を示す図である。 禁止領域を設定する処理の流れを示すフローチャートである。 禁止領域を設定する別の方法の処理の流れを示すフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

（映像処理装置の構成）
図１に示す映像処理装置１は、複数のカメラＣ１〜Ｃ４により撮影領域の一部を重ねて撮影された複数の映像データを連結して１つの映像データを生成し、連結した映像データを表示装置Ｄに出力する装置である。映像処理装置１は、各映像データから同時に撮影されたフレームデータにおいて、適切なつなぎ目（シーム）を探索して、探索されたつなぎ目で各フレームデータをつないで、映像データを再構成する。

画像の明るい部分は注目される場合が多く、目立つという特徴が知られている。画像の明るい部分をつなぎ目が通るとつなぎ目の存在に気付きやすく、つなぎ目が暗い部分を通るとつなぎ目の存在に気付き難いという特性がある。そこで、本実施形態では、フレームデータ中で輝度値の比較的高い領域をつなぎ目を通さない禁止領域とすることで、人がつなぎ目の存在に気付き難い映像データを生成する。

図１に示す映像処理装置１は、記憶装置１０、処理装置２０および入出力インタフェース３０を備える一般的なコンピュータである。一般的なコンピュータが映像処理プログラムを実行することにより、図１に示す機能を実現する。

記憶装置１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、ハードディスク等であって、処理装置２０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。

処理装置２０は、ＣＰＵ（Central Processing Unit）であって、記憶装置１０に記憶されたデータを読み書きしたり、入出力インタフェース３０とデータを入出力したりして、映像処理装置１における処理を実行する。

入出力インタフェース３０は、キーボード、マウスなどの入力装置Ｉ、および複数のカメラＣ１〜Ｃ４からの入力を受付、入力されたデータを処理装置２０に入力する。入出力インタフェース３０は、さらに、処理装置２０による処理結果をディスプレイなどの表示装置Ｄに出力する。入力装置Ｉ、複数のカメラＣ１〜Ｃ４、および表示装置Ｄは、通信インタフェースおよび通信ネットワークを介して、映像処理装置１に接続されても良い。また複数のカメラＣ１〜Ｃ４に代わって、予め撮影された複数の撮影データを記憶した録画機や記憶装置を、映像処理装置１に接続して、映像処理データを処理させても良い。

記憶装置１０は、映像処理プログラムを記憶するとともに、設定データ１１、フレーム情報データ１２、禁止領域データ１３、シームデータ１４、および連結フレームデータ１５を記憶する。

設定データ１１は、映像処理装置１が処理するために必要なパラメータを記憶する。設定データ１１は、例えば、映像処理装置１に入力される映像データの数およびその配列、禁止領域データ１３の算出に用いるパラメータを含む。

フレーム情報データ１２は、複数のカメラＣ１〜Ｃ４が出力する複数の映像データにおいて、同時に撮影された各フレームデータの情報である。フレーム情報データ１２は、カメラの識別子に、画素値、フレームレート、輝度値などの情報を対応づけたデータである。

禁止領域データ１３は、つなぎ目算出の際に計算対象としない禁止領域を示すデータである。禁止領域は、フレームデータの輝度値に基づいて算出してもよいし、ユーザが画像を見て手動で設定してもよい。

シームデータ１４は、後述するシーム算出手段２４によって各フレームデータのつなぎ目を算出した結果のデータである。

連結フレームデータ１５は、シームデータ１４に従って、同時に撮影された複数のフレームデータをつないで生成される。連結フレームデータ１５は、映像処理装置１が出力する映像データを構成する一つのフレームデータとなる。

処理装置２０は、設定取得手段２１、フレーム取得手段２２、禁止領域設定手段２３、シーム算出手段２４および連結フレーム出力手段２５を備える。

設定取得手段２１は、映像処理装置１が処理するために必要なパラメータを取得して、設定データ１１に記憶させる。設定取得手段２１は、ユーザが、入力装置Ｉから入力した情報に従ってパラメータを取得する。あるいは設定取得手段２１は、複数のカメラＣ１〜Ｃ４から入力された各映像データ等を解析することによってパラメータを取得してもよい。

設定取得手段２１が取得するパラメータとして、禁止領域の設定処理に必要なパラメータがある。設定取得手段２１は、禁止領域の設定処理に必要なパラメータとして、輝度の閾値、禁止領域数、およびＷｉｎｄｏｗ幅数を取得する。ユーザが手動で禁止領域を設定する場合は、設定取得手段２１は、禁止領域を示す情報を取得する。

フレーム取得手段２２は、複数のカメラＣ１〜Ｃ４から入力された各映像データから、同時に撮影された複数のフレームデータを取得する。フレーム取得手段２２は、取得した複数の各フレームデータについて、フレーム情報データ１２を生成して記憶する。

禁止領域設定手段２３は、フレームデータの輝度値に基づいて禁止領域データ１３を生成して記憶する。

シーム算出手段２４は、同時に撮影された複数のフレームデータを取得し、禁止領域データ１３が示す禁止領域に含まれる画素をシーム算出の計算対象としないで、互いに隣接するフレームデータのつなぎ目であるシームデータ１４を算出する。より具体的には、シーム算出手段２４は、隣接方向のラインの検索範囲の各画素のうち、直前に算出されたつなぎ目の画素との特徴値の差分が最も少ない画素を、このラインにおけるつなぎ目として算出する。このとき、シーム算出手段２４は、禁止領域に含まれる画素を探索範囲に含めない。なお、シーム算出手段２４は、非特許文献２で提案されたように、縮小フレームデータを用いてつなぎ目を算出してもよい。非特許文献２の方法を用いる場合も、禁止領域を縮小して適用できる。

連結フレーム出力手段２５は、シーム算出手段２４が算出したシームデータ１４に従って、複数のフレームデータをつないで、重複のない連結フレームデータ１５を出力する。

（映像処理装置の動作）
次に、図２を参照して、本実施形態の映像処理装置１による映像処理方法を説明する。複数のカメラＣ１〜Ｃ４のそれぞれから出力される映像データにおいて、同時に撮影された各フレームデータについて、以下のステップＳ１〜Ｓ７の処理を繰り返す。

ステップＳ１においてフレーム取得手段２２は、複数のカメラＣ１〜Ｃ４のそれぞれから出力される映像データから、同時刻に撮影された各フレームデータを取得する。

ステップＳ２においてフレーム取得手段２２は、ステップＳ１で取得した各フレームデータの特徴点を対応づけて、重複フレームデータを生成する。

図３に重複フレームデータの例を示す。図３では、簡単のために、２台のカメラで同時に撮影されたフレームデータＦ１，Ｆ２のみを示している。フレームデータを３つ以上連結してもよいし、縦方向に連結してもよい。フレームデータＦ１の撮影領域の右側とフレームデータＦ２の撮影領域の左側は重複する。フレーム取得手段２２は、フレームデータＦ１の撮影領域の右側の特徴点とフレームデータＦ２の撮影領域の左側の特徴点とが一致するように、フレームデータＦ１，Ｆ２を重ねて重複フレームデータを生成する。なお、図３では、重複フレームデータが矩形になるようにフレームデータＦ１，Ｆ２を重ねているが、各カメラＣ１〜Ｃ４の角度が異なる場合はフレームデータが斜めに配設されることもある。

ステップＳ３においてフレーム取得手段２２は、ステップＳ２で生成した重複フレームデータにおいて重複領域を設定する。図３では、フレームデータＦ１，Ｆ２が重複する領域が重複領域Ｒ１である。

ステップＳ４において禁止領域設定手段２３は、フレームデータの輝度値に基づいて禁止領域を設定する。図３では、２つの禁止領域Ｕｐ１，Ｕｐ２を図示している。禁止領域を設定する処理の詳細については後述する。

ステップＳ５においてシーム算出手段２４は、禁止領域に含まれる画素をシーム算出の計算対象としないで、フレームデータの隣接方向に直交する方向につなぎ目を形成する画素を順次特定してつなぎ目を算出する。例えば、図３の重複領域Ｒ１は、フレームデータＦ１，Ｆ２が横方向に隣接するので、シーム算出手段２４は、禁止領域Ｕｐ１，Ｕｐ２に含まれる画素をシーム算出の計算対象としないで、重複領域Ｒ１の横のラインから１つの画素をつなぎ目として決定し、縦方向に順次つなぎ目を形成する画素を算出してつなぎ目ＳＥＬを求める。

ステップＳ６において連結フレーム出力手段２５は、つなぎ目に従って、各フレームデータを連結し、連結フレームデータ１５を生成する。図４にフレームデータをつなぎ目で連結した連結フレームデータの例を示す。図４では、フレームデータＦ１をつなぎ目ＳＥＬで切り離したフレームデータｆ１と、フレームデータＦ２をつなぎ目ＳＥＬで切り離したフレームデータｆ２をつなぎ合わせて、連結フレームデータを生成している。

ステップＳ７において連結フレーム出力手段２５は、ステップＳ６で生成した連結フレームデータ１５を出力する。この連結フレームデータ１５は、映像処理装置１が出力する映像データのフレームデータとなる。

（禁止領域の設定）
次に、禁止領域を設定する処理について説明する。

図５は、本実施形態の禁止領域を設定する処理の流れを示すフローチャートである。

ステップＳ１１において禁止領域設定手段２３は、フレームデータ内の全ての画素の輝度値を測定する。ステップＳ１１は繰り返して実行されるので、以下のステップＳ１２，Ｓ１３で設定される禁止領域は動的に変化する。なお、つなぎ目はフレームデータの重複領域内で探索されるので、重複領域内の全ての画素について輝度値を測定し、重複領域内に禁止領域を設定してもよい。

ステップＳ１２において禁止領域設定手段２３は、輝度値を閾値と比較し、輝度値が閾値以上の禁止画素を設定する。

禁止画素の分布は、画像によってはバラバラでまとまりがなく、禁止画素をそのまま禁止領域に設定すると、シーム算出処理の算出コストが非常に高くなる場合もある。

そこで、ステップＳ１３において禁止領域設定手段２３は、禁止画素の分布を求めて、禁止画素の分布に基づいて禁止領域を設定する。例えば、禁止領域設定手段２３は、Ｗｉｎｄｏｗ（例えば４×４画素）を設定して禁止画素の移動平均を算出し、禁止画素の分布がある程度の大きさの領域としてまとまるように禁止領域を設定する。この場合、設定される禁止領域の数が予め設定した禁止領域数に従うようにＷｉｎｄｏｗ幅数を拡縮する。例えば、図３の例では、禁止領域Ｕｐ１，Ｕｐ２の数は２である。なお、禁止領域数は事前に設定してもよいし、画像の状態をユーザが確認しながら事後に変更してもよい。

図６は、禁止領域を設定する別の方法の処理の流れを示すフローチャートである。

ステップＳ２１において禁止領域設定手段２３は、フレームデータ内の全ての画素の輝度値を測定する。ステップＳ２１は繰り返して実行されるので、以下のステップＳ２２，Ｓ２３で設定される禁止領域は動的に変化する。

ステップＳ２２において禁止領域設定手段２３は、各画素を任意のブロックに分割する。

ステップＳ２３において禁止領域設定手段２３は、各ブロックについて、ブロック内の画素の輝度最大値と輝度最小値の差を求め、求めた輝度差分値が閾値よりも大きい場合、そのブロックを禁止領域と設定する。設定される禁止領域の数が予め設定した禁止領域数に従うように分割するブロックの大きさを変更する。

なお、禁止領域を設定するさらに別の方法として、画像の状態をユーザが確認しながら、禁止領域を手動で設定してもよい。カメラＣ１〜Ｃ４を専用のリグなどに固定し、カメラＣ１〜Ｃ４を動かさずに撮影する場合、明らかに周囲よりも輝度値の高い領域は映像内で動かないことが多い。例えば、背景の空、光を反射するガラス窓などが輝度値の高い部分であると想定される。禁止領域はシーム算出処理を複雑にしないために、ある程度まとまった領域であることが望ましい。以上のことから、ユーザが画像の状態を確認しながら、禁止領域を設定しても画質の向上を図ることができる場合がある。

以上説明したように、本実施の形態によれば、フレーム取得手段２２が、入力した各映像データから同時に撮影された複数のフレームデータを取得し、禁止領域設定手段２３が、互いに隣接するフレームデータのつなぎ目を通さない禁止領域を設定し、シーム算出手段２４が、禁止領域に含まれる画素をシーム算出の計算対象としないで、互いに隣接するフレームデータのつなぎ目を算出し、連結フレーム出力手段２５が、つなぎ目に従って、各フレームデータをつないで連結フレームデータを出力することにより、つなぎ目を目立たなくするとともに、シーム算出の計算対象を減らすことで処理の高速化を図ることができる。

上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。例えば、本発明の実施の形態に記載した映像処理装置は、図１に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の映像処理システム上に実現されても良い。本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１…映像処理装置
１０…記憶装置
１１…設定データ
１２…フレーム情報データ
１３…禁止領域データ
１４…シームデータ
１５…連結フレームデータ
２０…処理装置
２１…設定取得手段
２２…フレーム取得手段
２３…禁止領域設定手段
２４…シーム算出手段
２５…連結フレーム出力手段
３０…入出力インタフェース

Claims (5)

1. 撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、
   前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、
   互いに隣接する前記フレームデータに設定するつなぎ目を通さない禁止領域を設定する禁止領域設定手段と、
   前記禁止領域を計算対象から外して前記つなぎ目を算出するシーム算出手段と、
   前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力する連結フレーム出力手段を備え、
   前記禁止領域設定手段は、前記フレームデータにおいて輝度値が閾値以上の画素の分布に基づいて前記禁止領域を設定する
   ことを特徴とする映像処理装置。
2. 撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、
   前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、
   互いに隣接する前記フレームデータに設定するつなぎ目を通さない禁止領域を設定する禁止領域設定手段と、
   前記禁止領域を計算対象から外して前記つなぎ目を算出するシーム算出手段と、
   前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力する連結フレーム出力手段を備え、
   前記禁止領域設定手段は、前記フレームデータの画素を任意のブロックに分割し、前記ブロックに含まれる画素の輝度最大値と輝度最小値の差が閾値以上の前記ブロックを禁止領域と設定する
   ことを特徴とする映像処理装置。
3. コンピュータが実行する、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法であって、
   前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、
   互いに隣接する前記フレームデータに設定するつなぎ目を通さない禁止領域を設定するステップと、
   前記禁止領域を計算対象から外して前記つなぎ目を算出するステップと、
   前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力するステップを有し、
   前記禁止領域を設定するステップは、前記フレームデータにおいて輝度値が閾値以上の画素の分布に基づいて前記禁止領域を設定する
   ことを特徴とする映像処理方法。
4. コンピュータが実行する、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法であって、
   前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、
   互いに隣接する前記フレームデータに設定するつなぎ目を通さない禁止領域を設定するステップと、
   前記禁止領域を計算対象から外して前記つなぎ目を算出するステップと、
   前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力するステップを有し、
   前記禁止領域を設定するステップは、前記フレームデータの画素を任意のブロックに分割し、前記ブロックに含まれる画素の輝度最大値と輝度最小値の差が閾値以上の前記ブロックを禁止領域と設定する
   ことを特徴とする映像処理方法。
5. 請求項１または２に記載の映像処理装置の各手段としてコンピュータを動作させることを特徴とする映像処理プログラム。

Images