JP5888899B2

JP5888899B2 - 映像処理装置、映像処理方法、及びプログラム

Info

Publication number: JP5888899B2
Application number: JP2011175150A
Authority: JP
Inventors: 剛史古川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-08-10
Filing date: 2011-08-10
Publication date: 2016-03-22
Anticipated expiration: 2031-08-10
Also published as: JP2013038706A

Description

本発明は、映像処理装置、映像処理方法、及びプログラムに関し、特に、空間分割された映像信号を合成するために用いて好適なものである。

近年、ＬＣＤやＰＤＰに代表される表示パネルの高解像度化が進み、現在普及しているＦＨＤ（１９２０×１０８０）を超える４ｋ２ｋ（３８４０×２１６０）の解像度を持つ高解像度表示パネルが製品化されている。このような高解像度表示パネルへの映像信号の入力は、ＦＨＤの映像信号を伝送することが可能な映像入力インタフェイスを複数本用いて実現されている。このような映像入力インタフェイスの代表的なものとしては、HD-SDI（High Definition Serial Digital Interface）やＤＶＩ（Digital Visual Interface）がある。各映像入力インタフェイスは、空間分割された映像領域の１領域の映像伝送を担っている。このように複数本の映像入力インタフェイスを用いて高解像度映像を伝送する場合、映像入力インタフェイスごとに遅延時間が異なる場合がある。このように高解像度表示パネルへ映像信号を伝送する際に伝送路の遅延時間が異なっても、空間分割された映像が正しく合成され出力される技術が開示されている。特許文献１によると、入力映像にフレーム番号を付与し、合成時に同じフレーム番号の映像を合成して表示パネルに出力する技術が開示されている。

特開２００３−２９９０４６号公報

しかしながら、空間分割された映像に付与されたフレーム番号を基に映像を合成する場合、送信側にフレーム番号を入れる機能が必須となる。したがって、フレーム番号を挿入する機能を持たない映像送信装置を用いると、各映像入力インタフェイスの遅延時間が大きい場合、空間分割されたフレームを、当該フレームと合成すべきフレームとは異なる（空間分割された）フレームと合成してしまう虞がある。そうすると、出力される映像が乱れる。
本発明は、このような問題点に鑑みてなされたものであり、汎用的な映像送信装置を用いても、映像送信装置からの空間分割された映像を正しく合成することを目的とする。

本発明の映像処理装置は、映像が複数の領域に空間分割された複数の映像信号を入力する入力手段と、前記複数の映像信号のうち第１映像信号の映像フレームと、前記複数の映像信号のうち第２映像信号の複数の映像フレームであって、時間的に異なる複数の映像フレームのそれぞれとの境界領域での連続性に関する評価値を画素データに基づいて算出する算出手段と、前記第１映像信号の映像フレームと共に表示させる前記第２映像信号の映像フレームを、前記複数の映像フレームの中から、前記算出された評価値を用いて１つ選択する選択手段と、前記第１映像信号の前記映像フレームと共に、前記選択手段により選択された前記第２映像信号の映像フレームを表示させる表示制御手段とを有し、前記算出手段は、前記連続性に関する評価が行われる前記複数の映像フレームの数を、前記第１映像信号と前記第２映像信号の入力の時間差に基づいて判定することを特徴とする。

本発明によれば、汎用的な映像送信装置を用いても、映像送信装置からの空間分割された映像を正しく合成することができる。

映像処理装置の構成の第１の例を示す図である。映像信号の入出力のタイミングを示す図である。映像処理装置で入出力される映像信号の内容を示す図である。境界比較部の処理手順を説明するフローチャートである。評価係数と映像入力信号の各画素の輝度値を示す図である。映像処理装置の構成の第２の例を示す図である。

以下に、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、映像処理装置１００の構成の一例を示す図である。
映像処理装置１００は、第１、第２の映像信号入力部１０１、１０２と、データ蓄積部１０３と、第１、第２の同期映像読み出し部１０４、１０５と、境界比較部１０６と、第１、第２の映像信号出力部１０７、１０８とを備えて構成される。また、映像処理装置１００は、第１、第２の映像信号出力部１０７、１０８を介して映像表示部１１０に接続される。映像表示部１１０は、映像処理装置１００から出力された映像を表示する。

第１、第２の映像信号入力部１０１、１０２は、ビデオ入力インタフェイスであり、外部から映像信号を入力する。第１、第２の映像信号入力部１０１、１０２は、例えば、ＨＤＭＩやＤＶＩ等のデジタルビデオ信号規格のインタフェイスで構成され、各種の映像コンテンツを入力する。本実施形態では、空間分割された２つの映像信号が、それぞれ第１、第２の映像信号入力部１０１、１０２に入力されるものとする。
データ蓄積部１０３は、第１、第２の映像信号入力部１０１、１０２から入力された映像信号を蓄積する。データ蓄積部１０３は、例えば、ＳＤＲＡＭ等のメモリで構成されるフレームメモリである。

第１、第２の同期映像読み出し部１０４、１０５は、境界比較部１０６から指定されたフレームをデータ蓄積部１０３から読み出し、第１、第２の映像信号出力部１０７、１０８に出力する。第１、第２の同期映像読み出し部１０４、１０５は、例えば、境界比較部１０６から指定されたアドレスのデータの読み出しを行うＤＭＡコントローラである。
境界比較部１０６は、データ蓄積部１０３に蓄積されている空間分割された映像信号の境界部分の連続性の算出と比較を行い、第１、第２の同期映像読み出し部１０４、１０５に、読み出すフレームを指定する。境界比較部１０６は、例えば、ＣＰＵがＲＯＭに記憶されたコンピュータプログラムを実行することにより実現することができる。

第１、第２の映像信号出力部１０７、１０８は、第１、第２の同期映像読み出し部１０４、１０５によって読み出された映像信号を表示パネルに出力するインタフェイスである。第１、第２の映像信号出力部１０７、１０８は、例えば、ＬＶＤＳ（Low Voltage Differential Signaling）に代表される表示パネルへの標準画像インタフェイスである。
映像表示部１１０は、空間分割された映像信号をそれぞれの表示領域に出力して映像を表示する。映像表示部１１０は、例えば、ＬＣＤ（液晶ディスプレイ）やＰＤＰ（プラズマディスプレイパネル）等に代表される表示パネルである。

図２は、映像処理装置１００に入力される映像信号と、映像処理装置１００から出力される映像信号の入出力のタイミングの一例を示す図である。具体的に図２（ａ）は、正しく合成される場合の各映像信号の入出力のタイミングの一例を示す図であり、図２（ｂ）は、誤って合成される場合の各映像信号の入出力のタイミングの一例を示す図である。また、図３は、映像処理装置１００で入出力される映像信号の内容の一例を示す図である。具体的に図３（ａ）は、映像処理装置１００に入力される１フレーム目の映像信号の一例を示す図であり、図３（ｂ）は、映像処理装置１００に入力される２フレーム目の映像信号の一例を示す図である。図３（ｃ）は、正しく映像処理装置１００から出力される２フレーム目の映像信号の一例を示す図であり、図３（ｄ）は、誤って映像処理装置１００から出力される２フレーム目の映像信号の一例を示す図である。

前述したように、本実施形態では、２つの領域に空間分割された映像信号が映像処理装置１００に入力される。尚、空間分割される領域の個数に限定はなく３つ以上であってもよい。この場合、映像信号入力部、同期映像読み出し部、及び映像信号出力部を、空間分割される領域の数と同数、映像処理装置１００に設けるようにするのが好ましい。

図２に示す例では、２つの領域に空間分割された映像の映像信号である「第１、第２の映像入力信号」として、３フレーム分の映像信号が映像処理装置１００で受信されていることを示す。
図２において、２１１、２１２、２１３は、それぞれ第１の映像入力信号の第１、第２、第３のフレームである。また、２２１、２２２、２２３は、それぞれ第２の映像入力信号の第１、第２、第３のフレームである。また、２１５、２２５は、それぞれ第１、第２の映像入力信号に対する垂直同期信号を示す。
一方、２３１、２３２、２３３は、それぞれ第１の映像出力信号の第１、第２、第３のフレームである。また、２４１、２４２、２４３は、それぞれ第２の映像出力信号の第１、第２、第３のフレームである。また、２３５、２４５は、それぞれ第１、第２の映像出力信号に対する垂直同期信号を示す。

図３（ａ）において、３００は、第１、第２の映像入力信号の第１のフレームの内容を示す映像である。図３（ｂ）において、３１０は、第１、第２の映像入力信号の第２のフレームの内容を示す映像である。映像の中央で空間分割され、図に向かって左側が、第１の映像入力信号に基づく画像であり、右側が、第２の映像入力信号に基づく映像である。
また、図２に示すように、第１の映像入力信号と第２の映像入力信号は、外部の映像信号伝送路等の影響により、映像信号入力スキュー（skew）Ｔの期間を持って映像処理装置１００に入力される。映像信号入力スキューＴは、第１、第２の映像信号入力部１０１、１０２が、第１、第２の映像入力信号を入力するタイミングの時間差に対応するものである。

この映像入力スキューＴが、１フレームの垂直同期信号の期間の半分を超えていない場合、図２（ａ）に示すように、垂直同期信号が近いフレームを同期させて映像を出力すると、入力時に空間分割されたフレームと同じフレームと同期して映像が出力される。このため、図３（ｃ）に示す映像３２０のように、各領域の映像が正しく合成され、映像が乱れずに表示される。
一方、この映像入力スキューＴが、１フレームの垂直同期信号の期間の半分を超えてしまった場合、図２（ｂ）に示すように、第２の映像入力信号の第１のフレーム２２１と、第１の映像入力信号の第２のフレーム２１２の垂直同期信号が接近する。このような場合に垂直同期信号が近いフレームを同期させて映像を出力すると、入力時に空間分割されたフレームとは異なったフレームと同期して映像が出力される。このため、図３（ｄ）に示す映像３３０のように、各領域の画像が誤って合成され、映像が乱れて表示されてしまう場合がある。

本実施形態では、このような場合においても、図３（ｃ）に示すように、同一の映像入力信号のフレームから空間分割されたフレームを読み出し、それらを同期して表示することができるようにする。そのために、本実施形態では、境界比較部１０６が、空間分割された映像信号の境界の連続性を評価する。このようにするための処理手順の一例を以下に詳細に示す。

図４は、境界比較部１０６の処理手順の一例を説明するフローチャートである。また、図５は、境界領域の連続性の評価するための評価係数（図５（ａ））と、映像入力信号の各画素の輝度値（図５（ｂ）、（ｃ））の一例を示す図である。図５（ｂ）、（ｃ）では、各画素の輝度値を量子化し、０〜９の値にして示している。尚、図５では、説明を簡単にするために、量子化した輝度値を用いて、空間分割された映像の境界領域の連続性の評価する場合を例に挙げて示す。しかしながら、空間分割された映像の境界領域の連続性の評価するための用いる情報は、これらに限定されるものではない。空間分割された映像領域の連続性を映像信号から判断できるデータであれば、どのような情報を用いて、空間分割された映像の境界領域の連続性を評価してもよい。例えば、ＲＧＢ各色の値を用いて境界領域の連続性を評価してもよい。

図４のフローチャートと、図５の各画素の輝度値（の量子化値）とを用いて、空間分割された映像の境界領域の連続性を評価する方法の一例を説明する。また、以下の説明では、第１、第２の映像信号入力部１０１、１０２は、すでに２フレーム分の映像信号を受信しており、データ蓄積部１０３には、空間分割された映像信号が２フレーム分ある状態（図２（ａ）の時刻ｔの状態）であるものとする。

図４のステップＳ４０１において、境界比較部１０６は、基準映像入力信号の境界領域の映像データ（境界領域にあたる基準映像入力信号）の読み出しを行う。基準映像入力信号とは、複数の領域に空間分割された映像入力信号のうちの１つを指す。本実施形態では、２つの領域に空間分割された映像に対応する、第１、第２の映像入力信号が映像処理装置１００に入力されている。したがって、これら第１、第２の映像入力信号の何れかが基準映像入力信号となる。ここでは、第１の映像入力信号が基準映像入力信号であるとする。さらに、時刻ｔでは、基準映像入力信号である第１の映像入力信号の第２のフレーム２１２（２フレーム目）を処理対象とする。

ここでは、境界比較部１０６は、図５に示す境界５１０から当該境界５１０に垂直な方向（水平方向）に２画素分の領域５２０の映像データを、基準映像入力信号である第１の映像入力信号の第２のフレーム２１２から読み出すものとする。前述したように、本実施形態では、この映像データは、輝度値を量子化した値である。
次に、ステップＳ４０２において、境界比較部１０６は、合成対象の映像入力信号のフレームの境界領域の映像データ（境界領域にあたる合成対象の映像入力信号）のうち、未だ読み出していないフレームの映像データの読み出しを行う。合成対象の映像入力信号とは、基準映像入力信号以外の映像入力信号であり、本実施形態では、第２の映像入力信号である。

本実施形態では、境界比較部１０６は、合成対象である第２の映像入力信号のフレームの映像入力スキューＴに依存した数だけ複数のフレームの比較を行う。ここでは、境界比較部１０６は、合成対象の候補である第２の映像入力信号の第１のフレーム２２１の境界領域のデータの読み出しを行うものとする。また、境界比較部１０６は、図５（ｂ）に示す境界５１０から当該境界５１０に垂直な方向（水平方向）に２画素分の領域５２２の映像データを読み出すものとする。

次に、ステップＳ４０３において、境界比較部１０６は、基準映像入力信号と合成対象の映像入力信号との境界領域の連続性の評価を行う。本実施形態では、この境界領域の連続性の評価に、図５（ａ）に示す評価係数５００を用いる。評価係数５００は、ステップＳ４０２、Ｓ４０３で読み出した映像データの「境界５１０に垂直な方向（水平方向）の画素」のそれぞれに対応する係数を有する。具体的に、評価係数５００は、境界５１０を境に一方の領域の映像データの「境界５１０に垂直な方向（水平方向）の画素」に対応する値を正の係数とし、他方の領域の映像データの「境界５１０に垂直な方向（水平方向）の画素」に対応する値を負の係数とする。さらに、評価係数５００の絶対値は、境界５１０に隣接している画素に対応する係数である程、大きな値を有している。

境界比較部１０６は、ステップＳ４０１、Ｓ４０２で読み出した映像データと、当該映像データに対応する評価係数５００の値とを乗算した値の和の絶対値を、境界５１０に垂直な方向のライン（水平ライン）毎に求め、求めた絶対値の和を評価値とする。例えば、境界５１０に隣接する左右２画素の映像データの値が全て同じだった場合には、評価値は０となる。また、境界５１０を境に左右どちらかの領域の映像データの値が高く、他方の映像データの値が０に近い場合、評価値は大きな値となる。すなわち、ラプラシアンフィルタ等を用いてエッジ（画像の中の領域の境界）を検出する計算と同様の処理を行う。よって、評価値が０に近い方がより連続した領域であると判定される。
ステップＳ４０１とステップＳ４０２において読み出した境界領域の映像データ５２０、５２２に、当該映像データ５２０、５２２に対応する評価係数５００の値を乗算した結果を以下に示す。境界領域の映像データ５２０の１ライン目の値は０と０である。同じく境界領域の映像データ５２２の１ライン目の値は０と０となる。よって、評価係数５００を用いた評価値の演算により、（式１）に示される値が得られる。

｜（−３×０）＋（−５×０）＋（５×０）＋（３×０）｜＝０・・・（式１）

同様に、境界領域の映像データ５２０の２ライン目の値は０と９である。一方、境界領域の映像データ５２２の２ライン目の値は０と０である。よって、評価係数５００を用いた評価値の演算により、（式２）に示される値が得られる。

｜（−３×０）＋（−５×９）＋（５×０）＋（３×０）｜＝４５・・・（式２）

境界比較部１０６は、これらの演算を全てのラインに対して行って得られた全ての評価値を加算する。１ライン目の評価値は０となり、２ライン目の評価値は４５となり、３ライン目の評価値は２７となり全てのラインの評価値の和は１４２となる。

次に、ステップＳ４０４において、境界比較部１０６は、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数が、評価対象のフレームの数に達したか否かを判定する。評価対象のフレーム数は、映像入力スキューＴに依存するものであり、基準映像入力信号のフレームと、合成対象の映像入力信号の複数のフレームとの比較が行われる。映像入力スキューＴが長いほど、評価対象のフレーム数は多くなる。本実施形態では、評価対象のフレームの数は２であるとする。尚、評価対象のフレーム数は２に限定されることなく２以上の数であればよい。これまでの説明では、ステップＳ４０２とステップＳ４０３において、映像データの読み出しと連続性の評価とを行ったのは１フレームである（評価値を算出するために使用された「合成対象の映像入力信号のフレーム」は、フレーム２２１だけである）。よって、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数は、評価対象のフレームの数に達していないので、ステップＳ４０２に戻る。

ステップＳ４０２に戻ると、境界比較部１０６は、合成対象の映像入力信号のフレームの境界領域の映像データのうち、未だ読み出していないフレームの映像データの読み出しを行う。前回のステップＳ４０２では、合成対象の映像入力信号のフレームの候補である「第２の映像入力信号の第１のフレーム２２１」の境界領域の映像データの読み出しを行った。そこで、本ステップでは、境界比較部１０６は、第２の映像入力信号の第２のフレーム２２２の境界領域の映像データの読み出しを行う。ここでは、境界比較部１０６は、図５（ｃ）に示す境界５１０から当該境界５１０に垂直な方向（水平方向）に２画素分の領域５２１の映像データを読み出す。

次に、ステップＳ４０３において、境界比較部１０６は、基準映像入力信号と合成対象の映像入力信号との境界領域の連続性の評価を行う。前述したように、ここでは、ステップＳ４０２、Ｓ４０３で読み出した映像データと、当該映像データに対応する評価係数５００の値とを乗算した値の和の絶対値を、境界５１０に垂直な方向のライン（水平ライン）毎に求め、求めた絶対値の和を評価値とする。１ライン目の評価値は０となり、２ライン目の評価値は０となり、３ライン目の評価値は１５となり、全てのラインの評価値の和は５５となる。

次に、ステップＳ４０４において、境界比較部１０６は、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数が、評価対象のフレームの数に達したか否かを判定する。前述したように、本実施形態では、評価対象のフレーム数は２であり、すでに２フレーム分の評価を行っている。よって、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数が、評価対象のフレームの数に達したと判定され、ステップＳ４０５に進む。

ステップ４０５に進むと、境界比較部１０６は、基準映像入力信号のフレームの境界部分との連続性の高いフレームを合成対象の映像入力信号のフレームの中から選択する。前述したように、ステップＳ４０４で演算された評価値が０に近い「合成対象の映像入力信号のフレーム」が基準映像信号のフレームの境界部分との連続性が高いと判断される。ステップＳ４０４で演算された「合成対象の映像入力信号の評価値」は、第１のフレーム２２１で「１４２」、第２のフレーム２２２で「５５」である。したがって、合成対象の映像入力信号の第２のフレーム２２２の評価値の方が、第１のフレーム２２１の評価値よりも０に近い。よって、合成対象の映像入力信号の第２のフレーム２２２が、基準映像入力信号のフレームの境界部分との連続性が高いフレームとして選択される。

次に、ステップ４０６において、境界比較部１０６は、選択したフレームの番号（フレーム番号）を第１、第２同期映像読み出し部１０４、１０５に通知する。ここでは、境界比較部１０６は、基準映像入力信号である第１の映像入力信号の第２のフレーム２１２の番号を第１の同期映像信号読み出し部１０４に出力する。そして、第１の同期映像信号読み出し部１０４は、第１の映像入力信号の第２のフレーム２１２の映像データをデータ蓄積部１０３から読み出す。また、境界比較部１０６は、合成対象の映像入力信号である第２の映像入力信号の第２のフレーム２２２の番号を第２の同期映像信号読み出し部１０５に出力する。そして、第２の同期映像信号読み出し部１０５は、第２の映像入力信号の第２のフレーム２２２の映像データをデータ蓄積部１０３から読み出す。
第１、第２同期映像信号読み出し部１０４、１０５で読み出された映像データは、それぞれ第１、第２の映像信号出力部１０７、１０８を介して映像表示部１１０に出力される。その結果、映像表示部１１０は、図３に示す映像３２０を表示する。

次に、再びステップＳ４０１に戻り、境界比較部１０６は、基準映像入力信号の境界領域の映像データの読み出しを行う。境界比較部１０６は、前回、ステップＳ４０１で読み出したフレームの次のフレームの読み出しを行う。前回は、第２のフレーム２１１の映像データが読み出されたので、本ステップでは、第３のフレーム２１３の映像データの読み出しが行われる。その後、境界比較部１０６は、ステップＳ４０２〜Ｓ４０６の処理を繰り返し、基準映像入力信号の各フレームに対応するフレームを、合成対象の映像入力信号から決定する。

以上のように本実施形態では、複数の領域に空間分割された基準映像入力信号と合成対象の映像入力信号の夫々の境界部分の輝度値と評価係数５００とを用いて、当該一方の映像入力信号と他方の映像入力信号との境界の連続性を評価するための評価値を算出する。この評価値に基づき、基準映像入力信号の境界と連続している合成対象の映像入力信号を決定し、これらを合成して表示する。したがって、空間分割された映像データのフレームにフレーム番号を付与する等の特殊な機能を持たない映像送信装置によって送信された映像信号であっても、空間分割された映像データを正しく合成して表示することができる。よって、汎用的な映像送信装置を用いても、映像処理装置１００は、高解像度の映像を提供することが可能である。

尚、合成対象の映像入力信号のフレームを特定する処理は、映像入力スキューＴが安定していれば、基準映像入力信号のフレームが出力されるたびに行わなくてもよい。この場合、例えば、第１、第２同期映像読み出し部１０４、１０５は、境界比較部１０６で特定された「合成対象の映像入力信号のフレーム番号」を記録し、インクリメントして読み出すようにすることができる。このようにすれば、合成対象の映像入力信号のフレームを特定する処理を、最初の１回しか行わないようにしてもよい。
また、評価値を算出するための評価係数は、図５（ａ）に示した評価係数５００に限定されるものではない。例えば、単に境界に隣接している画素同士を比較し、その結果として得られる値を評価値としてもよい。このようにして得られる評価値は、評価係数５００の値を「０、１、−１、０」とした場合の評価値に包含される。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、境界比較部１０６が、データ蓄積部１０３に蓄積された第１、第２の映像入力信号の境界領域を読み出す場合を例に挙げて説明した。これに対し、本実施形態では、境界比較部６０６が、第１、第２の映像信号入力部６０１、６０２から、第１、第２の映像入力信号の境界領域を直接取得するようにする。このように、第１の実施形態と本実施形態では、境界比較部６０６による、第１、第２の映像入力信号の取得方法が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。

図６は、本実施形態の映像処理装置６００の構成の一例を示す図である。
本実施形態の映像処理装置６００の境界比較部６０６は、第１、第２の映像信号入力部６０１、６０２から映像入力信号を受信している。第１、第２の映像信号出力部１０７、１０８及び境界比較部１０６のその他の処理は、第１の実施形態と同じである。また、データ蓄積部１０３、及び第１、第２の同期映像読み出し部１０４、１０５も第１の実施形態と同じである。

第１、第２の映像信号入力部６０１、６０２は、入力された映像入力信号をデータ蓄積部１０３に出力すると同時に、当該映像入力信号の境界領域の映像データ（境界領域にあたる映像入力信号）を境界比較部６０６に出力する。境界比較部６０６は、第１、第２の映像信号入力部６０１、６０２から入力された「境界領域にあたる映像信号入力信号」を蓄積（保持）する機能を有する。または、第１、第２の映像信号入力部６０１、６０２は、入力された映像入力信号の全てを境界比較部６０６に出力し、境界比較部６０６が、当該映像入力信号の境界領域の映像データのみを蓄積しても良い。

境界比較部６０６の処理手順としては、第１の実施形態とほぼ同様であるので、図４のフローチャートを用いて説明を行う。まず、本実施形態では、ステップＳ４０１とステップＳ４０２のデータ蓄積部１０３からの境界領域の映像データの読み出しが不要になる。その代りに、境界領域の内部に蓄積している境界領域の映像データを演算に用いる。基準映像入力信号の各フレームに対応するフレームを、合成対象の映像入力信号から決定する方法は第１の実施形態と同じである。

以上のように本実施形態では、境界比較部６０６は、第１、第２の映像信号入力部６０１、６０２から直接、境界領域の映像データを取得して、出力するフレームの選択を行う。したがって、第１の実施の形態と同様に、同一の映像入力信号のフレームから空間分割されたフレームを読み出し、それらを同期して表示することができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１００映像処理装置、１０６境界比較部、１１０映像表示部

Claims

映像が複数の領域に空間分割された複数の映像信号を入力する入力手段と、
前記複数の映像信号のうち第１映像信号の映像フレームと、前記複数の映像信号のうち第２映像信号の複数の映像フレームであって、時間的に異なる複数の映像フレームのそれぞれとの境界領域での連続性に関する評価値を画素データに基づいて算出する算出手段と、
前記第１映像信号の映像フレームと共に表示させる前記第２映像信号の映像フレームを、前記複数の映像フレームの中から、前記算出された評価値を用いて１つ選択する選択手段と、
前記第１映像信号の前記映像フレームと共に、前記選択手段により選択された前記第２映像信号の映像フレームを表示させる表示制御手段とを有し、
前記算出手段は、前記連続性に関する評価が行われる前記複数の映像フレームの数を、前記第１映像信号と前記第２映像信号の入力の時間差に基づいて判定することを特徴とする映像処理装置。
前記算出手段は、前記空間分割における境界から所定範囲の画素データに基づいて前記評価値を算出することを特徴とする請求項１に記載の映像処理装置。
前記算出手段は、前記第１映像信号の映像フレームと前記第２映像信号の複数の映像フレームのそれぞれの画素値のうち、前記空間分割における境界から所定範囲の画素値を取得し、前記取得された画素データに対して前記境界からの距離に応じた係数を乗算することで前記評価値を算出することを特徴とする請求項１又は２に記載の映像処理装置。
前記算出手段は、前記第１映像信号の映像フレームと前記第２映像信号の複数の映像フレームのそれぞれの画素データとして輝度値を用いて前記評価値を算出することを特徴とする請求項１乃至３の何れか１項に記載の映像処理装置。
前記算出手段は、前記第１映像信号の映像フレームと前記第２映像信号の複数の映像フレームのそれぞれの画素データとして量子化された輝度値を用いて前記評価値を算出することを特徴とする請求項１乃至３の何れか１項に記載の映像処理装置。
映像処理装置が行う映像処理方法であって、
映像が複数の領域に空間分割された複数の映像信号を入力する入力工程と、
前記複数の映像信号のうち第１映像信号の映像フレームと、前記複数の映像信号のうち第２映像信号の複数の映像フレームであって、時間的に異なる複数の映像フレームのそれぞれとの境界領域での連続性に関する評価値を画素データに基づいて算出する算出工程と、
前記第１映像信号の映像フレームと共に表示させる前記第２映像信号の映像フレームを、前記複数の映像フレームの中から、前記算出された評価値を用いて１つ選択する選択工程と、
前記第１映像信号の前記映像フレームと共に、前記選択工程により選択された前記第２映像信号の映像フレームを表示させる表示制御工程とを有し、
前記算出工程は、前記連続性に関する評価が行われる前記複数の映像フレームの数を、前記第１映像信号と前記第２映像信号の入力の時間差に基づいて判定することを特徴とする映像処理方法。
前記算出工程は、前記空間分割における境界から所定範囲の画素データに基づいて前記評価値を算出することを特徴とする請求項６に記載の映像処理方法。
前記算出工程は、前記第１映像信号の映像フレームと前記第２映像信号の複数の映像フレームのそれぞれの画素値のうち、前記空間分割における境界から所定範囲の画素値を取得し、前記取得された画素データに対して前記境界からの距離に応じた係数を乗算することで前記評価値を算出することを特徴とする請求項６又は７に記載の映像処理方法。
コンピュータを請求項１乃至５の何れか１項に記載の映像処理装置の各手段として機能させることを特徴とするプログラム。