JP5896642B2

JP5896642B2 - 映像処理装置、映像処理方法、及びプログラム

Info

Publication number: JP5896642B2
Application number: JP2011175151A
Authority: JP
Inventors: 剛史古川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-08-10
Filing date: 2011-08-10
Publication date: 2016-03-30
Anticipated expiration: 2031-08-10
Also published as: JP2013037286A

Description

本発明は、映像処理装置、映像処理方法、及びプログラムに関し、特に、空間分割された映像信号を合成するために用いて好適なものである。

近年、ＬＣＤやＰＤＰに代表される表示パネルの高解像度化が進み、現在普及しているＦＨＤ（１９２０×１０８０）を超える４ｋ２ｋ（３８４０×２１６０）の解像度を持つ高解像度表示パネルが製品化されている。このような高解像度表示パネルへの映像信号の入力は、ＦＨＤの映像信号を伝送することが可能な映像入力インタフェイスを複数本用いて実現されている。このような映像入力インタフェイスの代表的なものとしては、HD-SDI（High Definition Serial Digital Interface）やＤＶＩ（Digital Visual Interface）がある。各映像入力インタフェイスは、空間分割された映像領域の１領域の映像伝送を担っている。このように複数本の映像入力インタフェイスを用いて高解像度映像を伝送する場合、映像入力インタフェイスごとに遅延時間が異なる場合がある。このように高解像度表示パネルへ映像信号を伝送する際に伝送路の遅延時間が異なっても、空間分割された映像が正しく合成され出力される技術が開示されている。特許文献１によると、入力映像にフレーム番号を付与し、合成時に同じフレーム番号の映像を合成して表示パネルに出力する技術が開示されている。

特開２００３−２９９０４６号公報

しかしながら、空間分割された映像に付与されたフレーム番号を基に映像を合成する場合、送信側にフレーム番号を入れる機能が必須となる。したがって、フレーム番号を挿入する機能を持たない映像送信装置を用いると、各映像入力インタフェイスの遅延時間が大きい場合、空間分割されたフレームを、当該フレームと合成すべきフレームとは異なる（空間分割された）フレームと合成してしまう虞がある。そうすると、出力される映像が乱れる。
本発明は、このような問題点に鑑みてなされたものであり、汎用的な映像送信装置を用いても、映像送信装置からの空間分割された映像を正しく合成できるようにすることを目的とする。

本発明の映像処理装置は、複数の映像信号を入力する入力手段と、前記複数の映像信号のそれぞれについて、前記映像信号に対応する映像を構成する映像フレームの複数の領域のそれぞれの輝度値と、当該映像フレームに時間的に隣接する映像フレームの複数の領域のそれぞれの輝度値との比較を行なう比較手段と、前記複数の映像信号のうち第１映像信号の第１映像フレームの前記複数の領域のそれぞれの輝度値と、前記第１映像信号において前記第１映像フレームに時間的に隣接する第２映像フレームの前記複数の領域のそれぞれの輝度値との差の合計が閾値以上であり、且つ、前記複数の映像信号のうち第２映像信号の第３映像フレームであって、前記第２映像信号の映像フレームのうち、前記第１映像フレームの入力タイミングに対応するタイミングに入力された映像フレームから所定フレーム内に入力された前記第３映像フレームの前記複数の領域のそれぞれの輝度値と、前記第２映像信号において前記第３映像フレームに時間的に隣接する第４映像フレームの前記複数の領域のそれぞれの輝度値との差の合計が前記閾値以上である場合、前記第１映像信号の第２映像フレームと前記第２映像信号の第４映像フレームとが同期して表示されるように前記第２映像フレームと共に表示させる前記第２映像信号の第４映像フレームを、前記比較手段による比較の結果に基づいて決定する決定手段と、前記決定手段により決定された前記第２映像信号の前記第４映像フレームを、前記第１映像信号の前記第２映像フレームと共に表示させる表示制御手段とを有することを特徴とする。

本発明によれば、汎用的な映像送信装置を用いても、映像送信装置からの空間分割された映像を正しく合成することができる。

映像処理装置の構成を示す図である。映像信号の入出力のタイミングを示す図である。映像信号に基づく映像を示す図である。映像同期判定部の処理手順を説明するフローチャートである。映像信号の統計量を示す図である。

以下に、図面を参照しながら、本発明の一実施形態を説明する。
図１は、映像処理装置１００の構成の一例を示す図である。
映像処理装置１００は、第１および第２の映像信号入力部１０１、１０２と、第１および第２のシーンチェンジ検出部１０３、１０４と、データ蓄積部１０５と、第１および第２の同期映像読み出し部１０６、１０７と、第１および第２の映像信号出力部１０８、１０９と、映像同期判定部１１０と、を備えて構成される。また、映像処理装置１００は、第１および第２の映像信号出力部１０８、１０９を介して映像表示部１２０に接続される。映像表示部１２０は、映像処理装置１００から出力された映像を表示する。

第１および第２の映像信号入力部１０１、１０２は、ビデオ入力インタフェイスであり、外部から映像信号を入力する。第１および第２の映像信号入力部１０１、１０２は、例えば、ＨＤＭＩ（登録商標）やＤＶＩ等のデジタルビデオ信号規格のインタフェイスで構成され、各種の映像コンテンツを入力する。本実施形態では、空間分割された２つの映像信号が、それぞれ第１、第２の映像信号入力部１０１、１０２に入力されるものとする。

第１および第２のシーンチェンジ検出部１０３、１０４は、第１および第２の映像信号入力部１０１、１０２から入力された映像信号のシーンの変化の有無を検出する。本実施形態では、第１、第２のシーンチェンジ検出部１０３、１０４は、それぞれ第１、第２の映像信号入力部１０１、１０２から入力された映像信号の統計量を算出する。そして、第１および第２のシーンチェンジ検出部１０３、１０４は、連続する２つのフレームの統計量の差分が閾値以上になった場合に、シーンの変化があることを検出する。ただし、シーンの変化を検出する方法は、このような方法に限定されるものではない。例えば、次のようにしてもよい。まず、連続する２つのフレームの動きベクトルの検出を行う。そして、その動きベクトルの検出結果に基づいて、連続する２つのフレームの相関（例えば、相関の程度を表す指標である相関値）を算出し、算出した相関と閾値とを比較した結果に基づいて、シーンの変化の有無を検出する。

データ蓄積部１０５は、第１および第２の映像信号入力部１０１、１０２から入力された映像信号を蓄積する。データ蓄積部１０５は、例えば、ＳＤＲＡＭなどのメモリで構成されるフレームメモリである。
第１および第２の同期映像読み出し部１０６、１０７は、後述する映像同期判定部１１０から指定されたフレームの映像信号を、データ蓄積部１０５から読み出す。第１、第２の同期映像読み出し部１０６、１０７は、読み出した映像信号を、第１、第２の映像信号出力部１０８、１０９に出力する。第１および第２の同期映像読み出し部１０６、１０７は、例えば、映像同期判定部１１０から指定されたアドレスのデータの読み出しを行うＤＭＡコントローラである。

映像同期判定部１１０は、第１および第２のシーンチェンジ検出部１０３、１０４におけるシーンの変化の有無の検出結果に基づいて、第１および第２の同期映像読み出し部１０６、１０７に対して、読み出すフレームを指定する。
第１、第２の映像信号出力部１０８、１０９は、それぞれ第１、第２の同期映像読み出し部１０６、１０７によって読み出された映像信号を表示パネルに出力するインタフェイスである。第１および第２の映像信号出力部１０８、１０９は、例えば、ＬＶＤＳ（Low Voltage Differential Signaling）に代表される表示パネルへの標準画像インタフェイスである。
映像表示部１２０は、空間分割された映像信号をそれぞれの表示領域に出力して映像を表示する。映像表示部１２０は、例えば、ＬＣＤ（液晶ディスプレイ）やＰＤＰ（プラズマディスプレイパネル）等に代表される表示パネルである。

図２は、映像処理装置１００に入力される映像信号と、映像処理装置１００から出力される映像信号の入出力タイミングの一例を示す図である。具体的に図２（ａ）は、正しく合成される場合の各映像信号の入出力のタイミングの一例を示す図であり、図２（ｂ）は、誤って合成される場合の各映像信号の入出力のタイミングの一例を示す図である。また、図３は、映像処理装置１００で入出力される映像信号に基づく映像の一例を示す図である。具体的に図３（ａ）は、映像処理装置１００に入力される第１のフレーム〜第３のフレームの映像信号の一例を示す図であり、図３（ｂ）は、映像処理装置１００から出力される第１のフレーム〜第３のフレームの映像信号の一例を示す図である。

本実施形態では、２つの領域に空間分割された映像信号が映像処理装置１００に入力される。ただし、空間分割される領域の個数に限定はなく３つ以上の領域に空間分割された映像信号が映像処理装置１００に入力されてもよい。この場合、各処理部（映像信号入力部、シーンチェンジ検出部、同期映像読出し部、および映像信号出力部）を、空間分割される領域の数と同数、映像処理装置１００に設けるようにするのが好ましい。ただし、必ずしもこのようにする必要はない。例えば、空間分割される領域の数が、処理部の数を超える場合には、当該処理部が、時分割で処理を行うことにより、各領域の映像信号を処理してもよい。

図２に示す例では、２つの領域に空間分割された映像の映像信号を、それぞれ第１の映像入力信号、第２の映像入力信号として示す。また、図２に示す例では、第１および第２の映像入力信号として、それぞれ３フレーム分の映像信号が映像処理装置１００で受信されていることを示す。
図２において、２１１、２１２、２１３は、それぞれ第１の映像入力信号の第１、第２、第３のフレームである。また、２２１、２２２、２２３は、それぞれ第２の映像入力信号の第１、第２、第３のフレームである。また、２１５、２２５は、それぞれ第１、第２の映像入力信号に対する垂直同期信号を示す。
一方、２３１、２３２、２３３は、それぞれ第１の映像出力信号の第１、第２、第３のフレームである。また、２４１、２４２、２４３は、それぞれ第２の映像出力信号の第１、第２、第３のフレームである。また、２３５、２４５は、それぞれ第１、第２の映像出力信号に対する垂直同期信号を示す。

図３（ａ）において、３００、３１０、３２０は、それぞれ第１、第２、第３のフレームの内容を示す映像である。映像の中央で空間分割された２つの領域のうち、図に向かって左側の領域の映像信号が、第１の映像入力信号として第１の映像信号入力部１０１に入力され、右側の領域の映像信号が、第２の映像入力信号として第２の映像信号入力部１０２に入力される。また、図３（ａ）に示す第２のフレームと第３のフレームで、シーンの変化が発生している。

また、図２に示すように、第１の映像入力信号と第２の映像入力信号は、外部の映像信号伝送路等の影響により、映像信号入力スキュー（skew）Ｔの期間を持って映像処理装置１００に入力される。映像信号入力スキューＴは、第１、第２の映像信号入力部１０１、１０２が、第１、第２の映像入力信号を入力するタイミングの時間差に対応するものである。

この映像入力スキューＴが、１フレームの垂直同期信号の期間の半分を超えていないとする。この場合、垂直同期信号が近いフレームを同期させて出力すると、図２（ａ）に示すように、入力時に空間分割されたフレームと同じフレームが同期して出力される。このため、図３（ａ）に示す映像３００のように、各領域の映像が正しく合成され、映像が乱れずに表示される。
一方、この映像信号入力スキューＴが、１フレームの垂直同期信号の期間の半分を超えてしまったとする。この場合、図２（ｂ）に示すように、第２の映像入力信号の第１のフレーム２２１と、第１の映像入力信号の第２のフレーム２１２の垂直同期信号が接近する。このような場合に垂直同期信号が近い複数のフレームを同期させて出力すると、入力時に空間分割されたフレームとは異なったフレームが同期して出力される。このため、図３（ｂ）に示す映像３５０のように、各領域の画像が誤って合成され、映像が乱れて表示されてしまう場合がある（図２（ｂ）の破線内のフレーム２３２、２４１を参照）。

本実施形態では、映像処理装置１００は、空間分割されたフレームのそれぞれにおいてシーンの変化の有無を検出する。そして、映像処理装置１００は、空間分割されたフレームのそれぞれにおいてシーンの変化を検出すると、シーンの変化のあった直後のフレーム（変化したシーンの最初のフレーム）を空間分割されたフレームのそれぞれについて選択する。そして、映像処理装置１００は、選択したフレームの映像を同期して映像表示部１２０に出力させる。そのため、前述のような場合においても、図３（ａ）に示す映像３２０のように、同一の映像入力信号のフレームから空間分割されたフレームを読み出し、それらを同期して表示することができる。このようにするための処理手順の一例を以下に詳細に示す。

図４は、映像同期判定部１１０の処理手順の一例を説明するフローチャートである。また、図５は、映像信号の統計量の一例を示す図である。具体的に図５（ａ）は、第１のフレームの映像３００と、第１のフレームの映像入力信号の統計量の一例を示す図である。図５（ｂ）は、第２のフレームの映像３１０と、第２のフレームの映像入力信号の統計量の一例を示す図である。図５（ｃ）は、第３のフレームの映像３２０と、第３のフレームの映像入力信号の統計量の一例を示す図である。

本実施形態では、空間分割された各領域の映像入力信号を複数の領域にさらに分割する。そして、分割された複数の領域の輝度の平均値を０〜９の値に量子化する。本実施形態では、分割された複数の領域の輝度の平均値を０〜９の値に量子化した値が、映像信号の統計量である場合を例に挙げて説明する。以後の説明では、「分割された複数の領域ごとの輝度の平均値を０〜９の値に量子化した値」を必要に応じて「統計量」と称する。本実施形態では、この統計量のフレーム間の差分の絶対値を取り、その差分の絶対値の総和に基づいて、シーンの変化の有無を検出する。ただし、シーンの変化の有無を検出する方法は、このような方法に限定されるものではない。シーンの変化を検出し、検出した結果に基づいて、同期して表示させるフレームを特定する方法であれば、どのような方法でシーンの変化の有無を検出してもよい。

図４のフローチャートと、図５の映像信号の統計量とを用いて、空間分割された２つの領域の映像（フレーム）を同期させて表示するための方法の一例を説明する。
図４のステップＳ４０１において、映像同期判定部１１０は、第１および第２のシーンチェンジ検出部１０３、１０４による検出結果に基づいて、シーンの変化が検出されたか否かを確認する。第１、第２のシーンチェンジ検出部１０３、１０４は、それぞれ第１、第２の映像信号入力部１０１、１０２から入力された映像信号について、シーンの変化の発生の有無を検出する。図２（ａ）に示す時刻ｔ１においては、第１の映像信号入力部１０１から、第１の映像入力信号の第１のフレーム２１１と第２のフレーム２１２とが入力されている。図５を用いて、時刻ｔ１における第１および第２のシーンチェンジ検出部１０３、１０４のシーンチェンジ検出処理の一例を詳細に説明する。

第１のシーンチェンジ検出部１０３は、第１の映像信号入力部１０１から入力された「第１の映像入力信号の第１のフレーム２１１」の統計量５１１を算出する。同様に、第１のシーンチェンジ検出部１０３は、第１の映像入力信号の第２のフレーム２１２の統計量５１２を算出する。映像入力信号の「連続した２つのフレーム」の統計量には相関がある。そのため、第１のシーンチェンジ検出部１０３は、これらの統計量５１１、５１２の差分の絶対値の総和を演算する。統計量５１１、５１２の差分は、フレームの相互に対応する画素における統計量の差分である。

そして、第１のシーンチェンジ検出部１０３は、統計量５１１、５１２の差分の絶対値の総和が閾値未満であれば、フレーム間に相関があるため、シーンの変化は発生していないと判断する。一方、第１のシーンチェンジ検出部１０３は、統計量５１１、５１２の差分の絶対値の総和が閾値以上であれば、フレーム間に相関がないため、シーンの変化が発生していると判断する。本実施形態では、この閾値を１００とする。すなわち、第１および第２のシーンチェンジ検出部１０３、１０４は、統計量の差分の総和が１００以上であれば、シーンの変化の発生を検出する。図５（ａ）及び図５（ｂ）に示す統計量５１１、５１２の差分の絶対値の総和は３５となる。よって、第１のシーンチェンジ検出部１０３によりシーンの変化は検出されない。また、図２（ａ）に示す時刻ｔ１においては、第２の映像信号入力部１０１から２フレーム分の映像入力信号が入力されていない。このため、第２のシーンチェンジ検出部１０４によりシーンの変化は検出されない。

次に、ステップＳ４０２において、映像同期判定部１１０は、ステップＳ４０１における確認の結果に基づいて、空間分割された２つの映像入力信号の何れかで、シーンの変化があるか否かを判断する。図２（ａ）に示す時刻ｔ１では、シーンの変化が発生していない。このため、ステップＳ４０１に遷移する。
次に、ステップＳ４０１において、映像同期判定部１１０は、第１および第２のシーンチェンジ検出部１０３、１０４による検出結果に基づいて、シーンの変化が検出されたか否かを再び確認する。

図２（ａ）の時刻ｔ２においては、第１のシーンチェンジ検出部１０３は、第１の映像信号入力部１０１から、第１の映像入力信号の第３のフレーム２１３を入力している。そのため、第１のシーンチェンジ検出部１０３は、第１の映像入力信号の第２のフレーム２１２の統計量５１２と、第１の映像入力信号の第３のフレーム２１３の統計量５１３との差分の絶対値の総和を演算する。第１の映像入力信号の第２のフレーム２１２の統計量５１２と、第１の映像入力信号の第３のフレーム２１３の統計量５１３との差分の絶対値の総和は１５７であり、閾値である１００以上の大きさの値である。よって、第１のシーンチェンジ検出部１０３は、シーンの変化を検出する。映像同期判定部１１０は、第１のシーンチェンジ検出部１０３から、シーンの変化が発生したフレーム番号を取得する。ここでは、映像同期判定部１１０は、第１の映像入力信号の第３のフレーム２１３のフレーム番号を取得する。

また、図２（ａ）の時刻ｔ２においては、第２のシーンチェンジ検出部１０３は、第２の映像信号入力部１０２から、第２の映像入力信号の第１のフレーム２２１と第２のフレーム２２２を入力している。そのため、第２のシーンチェンジ検出部１０４は、第２の映像入力信号の第１のフレーム２２１の統計量５２１と、第２の映像入力信号の第２のフレーム２２２の統計量５２２との差分の絶対値の総和を演算する。第２の映像入力信号の第１のフレーム２２１の統計量５２１と、第２の映像入力信号の第２のフレーム２２２の統計量５２２との差分の絶対値の総和は２３であり、閾値である１００未満の大きさの値である。よって、第２のシーンチェンジ検出部１０４は、シーンの変化を検出しない。

次に、ステップＳ４０２において、映像同期判定部１１０は、ステップＳ４０１における確認の結果に基づいて、空間分割された２つの映像入力信号の何れかで、シーンの変化があるか否かを再び判断する。図２（ａ）に示す時刻ｔ２において、第１のシーンチェンジ検出部１０３がシーンの変化を検出している。すなわち、図３（ｂ）に示す映像３５０、３６０のように、第１の映像出力信号の第２のフレーム２３２と第３のフレーム２３３とでシーンが変化している。このため、ステップＳ４０３に遷移する。
次に、ステップＳ４０３において、映像同期判定部１１０は、第１および第２のシーンチェンジ検出部１０３、１０４による検出結果に基づいて、次の処理を行う。すなわち、映像同期判定部１１０は、シーンの変化を検出したシーンチェンジ検出部以外のシーンチェンジ検出部でもシーンの変化が検出されたか否かを確認する。図２（ａ）に示す時刻ｔ２では、第２のシーンチェンジ検出部１０４でシーンの変化が検出されていない。

次に、ステップＳ４０４において、映像同期判定部１１０は、ステップＳ４０３における確認の結果に基づいて、シーンの変化を検出したシーンチェンジ検出部以外のシーンチェンジ検出部でもシーンの変化が検出されたか否かを判断する。図２（ａ）に示す時刻ｔ２では、第２のシーンチェンジ検出部１０４でシーンの変化が検出されていない。このため、ステップＳ４０７に遷移する。
ステップＳ４０７に遷移すると、映像同期判定部１１０は、何れかの映像入力信号でシーンの変化が検出されてから、他の映像入力信号におけるシーンの変化の有無の検出を、所定の回数（所定のフレーム数）だけ行ったか否かを判断する。
ここで、本実施形態では、所定のフレーム数を３とする。ただし、所定のフレーム数は３に限定されず、１でも複数でもよい。所定のフレーム数は、例えば、映像処理装置１００が有するバッファメモリの容量に応じて決めることができる。また、何れかの映像入力信号でのシーンの変化が誤検出であると見なせるフレーム数を所定のフレーム数とすることもできる。また、ステップＳ４０４において、シーンの変化を検出したシーンチェンジ検出部以外のシーンチェンジ検出部でシーンの変化が検出されていない場合には、ステップＳ４０７の処理を行わずに、ステップＳ４０３の処理に遷移してもよい。すなわち、図４のフローチャートにおけるステップＳ４０７の処理を必ずしも行う必要はない。

何れかの映像入力信号でシーンの変化が検出されてから、他の映像入力信号におけるシーンの変化の有無の検出を、所定の回数（所定のフレーム数）だけ行った場合には、ステップＳ４０１に進む。そして、ステップＳ４０１以降の処理を再び行う。
一方、何れかの映像入力信号でシーンの変化が検出されてから、他の映像入力信号におけるシーンの変化の有無の検出を、所定の回数（所定のフレーム数）だけ行っていない場合には、ステップＳ４０３に遷移する。この場合、空間分割される前の映像入力信号のシーンの変化が発生している可能性があるため、同期処理を行わずに、他の映像入力信号でのシーンの変化の検出を再び待つ。図２（ａ）に示す時刻ｔ２では、第１の映像入力信号のシーンの変化があってから、第２の映像入力信号のシーンの変化の有無の検出を１回も行っていない。よって、ステップＳ４０３に遷移する。

ステップＳ４０３に遷移すると、映像同期判定部１１０は、第２のシーンチェンジ検出部１０４による検出結果に基づいて、第２のシーンチェンジ検出部１０４でシーンの変化が検出されたか否かを確認する。図２（ａ）に示す時刻ｔ３において、第２のシーンチェンジ検出部１０３は、第２の映像信号入力部１０２から、第２の映像入力信号の第３のフレーム２２３を入力している。そのため、第２のシーンチェンジ検出部１０４は、第２の映像入力信号の第２のフレーム２２２の統計量５２２と、第２の映像入力信号の第３のフレーム２２３の統計量５２３の差分の絶対値の総和を演算する。第２の映像入力信号の第２のフレーム２２２の統計量５２２と、第２の映像入力信号の第３のフレーム２２３の統計量５２３の差分の絶対値の総和は１５４であり、閾値である１００以上の大きさの値である。よって、第２のシーンチェンジ検出部１０４は、シーンの変化を検出する。映像同期判定部１１０は、第２のシーンチェンジ検出部１０４から、シーンの変化が発生したフレーム番号を取得する。ここでは、映像同期判定部１１０は、第２の映像入力信号の第３のフレーム２２３のフレーム番号を取得する。

そして、ステップＳ４０４において、映像同期判定部１１０は、ステップＳ４０３における確認の結果に基づいて、シーンの変化を検出したシーンチェンジ検出部以外のシーンチェンジ検出部でもシーンの変化が検出されたか否かを再び判断する。図２（ａ）に示す時刻ｔ３では、第２のシーンチェンジ検出部１０４でシーンの変化が検出される。すなわち、図３（ｂ）に示す映像３６０、３７０のように、第２の映像出力信号の第２のフレーム２４２と第３のフレーム２４３とでシーンが変化している。よって、ステップＳ４０５に遷移する。
ステップＳ４０５に遷移すると、映像同期判定部１１０は、シーンの変化のあった直後のフレームのフレーム番号を選択する。前述したように、図２（ａ）に示す例では、第１および第２のシーンチェンジ検出部１０３、１０４でシーンの変化が検出された直後のフレームは、第３のフレーム２１３、２２３である。よって、映像同期判定部１１０は、これらの第３のフレーム２１３、２２３のフレーム番号を選択する。

次に、ステップＳ４０６において、映像同期判定部１１０は、ステップＳ４０５で選択したフレーム番号を、第１、第２の同期映像読み出し部１０６、１０７に通知する。ここでは、映像同期判定部１１０は、第１の同期映像読み出し部１０６に対して、第１の映像信号の第３のフレーム２１３のフレーム番号を通知することにより、第１の映像信号の第３のフレーム２１３を読み出すことを通知する。また、映像同期判定部１１０は、第２の同期映像読み出し部１０７に対して、第２の映像信号の第３のフレーム２２３のフレーム番号を通知することにより、第２の映像信号の第３のフレーム２２３を読み出すことを通知する。第１、第２同期映像信号読み出し部１０６、１０７は、それぞれ第１の映像入力信号の第３のフレーム２１３、第２の映像入力信号の第３のフレーム２２３をデータ蓄積部１０５から読み出す。
第１、第２同期映像信号読み出し部１０６、１０７が読み出した映像入力信号は、それぞれ第１、第２の映像信号出力部１０８、１０９を介して映像表示部１２０に出力される。すなわち、図２（ａ）に示す時刻ｔ４において、第１の映像出力信号の第３のフレーム２３３と、第２の映像出力信号の第３のフレーム２４３とが出力される。その結果、映像表示部１２０は、図３（ｂ）に示す映像３７０を表示する。このようにして、空間分割前の映像入力信号におけるシーンの変化に対応して、映像出力信号を正しく合成することができる。
次に、再びステップＳ４０１に遷移し、映像同期判定部１１０は、シーンの変化が検出されたか否かを確認する。

以上のように本実施形態では、空間分割された複数の映像入力信号のそれぞれにおいて、シーンの変化の有無を検出する。映像入力信号においてシーンの変化があることが検出された後、シーンの変化の有無の検出が所定の回数だけ行われる前に全ての映像入力信号でシーンの変化があることが検出されると、シーンの変化があることが検出された直後のフレームを同期して出力する。したがって、空間分割された映像入力信号を正しく合成して出力することができる。これにより、空間分割された映像入力信号にフレーム番号を付与するなどの特殊な機能を持たない映像送信装置によって送信された映像入力信号であっても、映像入力信号を正しく合成することが可能となる。よって、汎用的な映像送信装置を用いても、映像送信装置からの空間分割された映像入力信号を正しく合成し、高解像度の映像を提供することができる。

映像信号入力スキューＴが安定していれば、合成対象となるフレームを特定する際に、シーンの変化の検出を毎フレーム行わなくても良い。例えば、第１および第２同期映像読み出し部１０６、１０７は、映像同期判定部１１０により特定された合成対象のフレームのフレーム番号を記録する。そして、第１および第２同期映像読み出し部１０６、１０７は、そのフレーム番号のフレームを読み出した後、記録したフレーム番号をインクリメントする。そして、第１および第２同期映像読み出し部１０６、１０７は、インクリメントしたフレーム番号のフレームを読み出し、記録したフレーム番号をインクリメントすることを繰り返し行う。このようにすれば、シーンの変化を検出して合成対象のフレームを特定する処理の回数を１回にすることができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１００映像処理装置、１０３、１０４シーンチェンジ検出部、１１０映像同期判定部

Claims

複数の映像信号を入力する入力手段と、
前記複数の映像信号のそれぞれについて、前記映像信号に対応する映像を構成する映像フレームの複数の領域のそれぞれの輝度値と、当該映像フレームに時間的に隣接する映像フレームの複数の領域のそれぞれの輝度値との比較を行なう比較手段と、
前記複数の映像信号のうち第１映像信号の第１映像フレームの前記複数の領域のそれぞれの輝度値と、前記第１映像信号において前記第１映像フレームに時間的に隣接する第２映像フレームの前記複数の領域のそれぞれの輝度値との差の合計が閾値以上であり、且つ、前記複数の映像信号のうち第２映像信号の第３映像フレームであって、前記第２映像信号の映像フレームのうち、前記第１映像フレームの入力タイミングに対応するタイミングに入力された映像フレームから所定フレーム内に入力された前記第３映像フレームの前記複数の領域のそれぞれの輝度値と、前記第２映像信号において前記第３映像フレームに時間的に隣接する第４映像フレームの前記複数の領域のそれぞれの輝度値との差の合計が前記閾値以上である場合、前記第１映像信号の第２映像フレームと前記第２映像信号の第４映像フレームとが同期して表示されるように前記第２映像フレームと共に表示させる前記第２映像信号の第４映像フレームを、前記比較手段による比較の結果に基づいて決定する決定手段と、
前記決定手段により決定された前記第２映像信号の前記第４映像フレームを、前記第１映像信号の前記第２映像フレームと共に表示させる表示制御手段とを有することを特徴とする映像処理装置。
前記比較手段が比較する輝度値は、量子化済みの輝度値であることを特徴とする請求項１に記載の映像処理装置。
前記比較手段が比較する輝度値は、前記複数の領域のそれぞれの領域内の画素の輝度の平均値であることを特徴とする請求項１に記載の映像処理装置。
映像処理装置が行なう映像処理方法であって、
複数の映像信号を入力する入力工程と、
前記複数の映像信号のそれぞれについて、前記映像信号に対応する映像を構成する映像フレームの複数の領域のそれぞれの輝度値と、当該映像フレームに時間的に隣接する映像フレームの複数の領域のそれぞれの輝度値との比較を行なう比較工程と、
前記複数の映像信号のうち第１映像信号の第１映像フレームの前記複数の領域のそれぞれの輝度値と、前記第１映像信号において前記第１映像フレームに時間的に隣接する第２映像フレームの前記複数の領域のそれぞれの輝度値との差の合計が閾値以上であり、且つ、前記複数の映像信号のうち第２映像信号の第３映像フレームであって、前記第２映像信号の映像フレームのうち、前記第１映像フレームの入力タイミングに対応するタイミングに入力された映像フレームから所定フレーム内に入力された前記第３映像フレームの前記複数の領域のそれぞれの輝度値と、前記第２映像信号において前記第３映像フレームに時間的に隣接する第４映像フレームの前記複数の領域のそれぞれの輝度値との差の合計が前記閾値以上である場合、前記第１映像信号の第２映像フレームと前記第２映像信号の第４映像フレームとが同期して表示されるように前記第２映像フレームと共に表示させる前記第２映像信号の第４映像フレームを、前記比較工程による比較の結果に基づいて決定する決定工程と、
前記決定工程により決定された前記第２映像信号の前記第４映像フレームを、前記第１映像信号の前記第２映像フレームと共に表示させる表示制御工程とを有することを特徴とする映像処理方法。
前記比較工程が比較する輝度値は、量子化済みの輝度値であることを特徴とする請求項４に記載の映像処理方法。
前記比較工程が比較する輝度値は、前記複数の領域のそれぞれの領域内の画素の輝度の平均値であることを特徴とする請求項４に記載の映像処理方法。
コンピュータを請求項１乃至３の何れか１項に記載の映像処理装置の各手段として機能させることを特徴とするプログラム。