JP3739274B2

JP3739274B2 - ２系統映像の位置ずれ補正装置

Info

Publication number: JP3739274B2
Application number: JP2000332666A
Authority: JP
Inventors: 亮一川田; 正裕和田; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2000-10-31
Filing date: 2000-10-31
Publication date: 2006-01-25
Anticipated expiration: 2020-10-31
Also published as: EP1202562A2; JP2002142131A; US20020071054A1; EP1202562A3; US6909468B2; EP1202562B1

Description

【０００１】
【発明の属する技術分野】
この発明は２系統映像の位置ずれ補正装置に関し、特に、２本の経路に同じ映像を伝送して、伝送の高信頼性を図るようにしたシステムに使用して好適な２系統映像の位置ずれ補正装置に関する。
【０００２】
【従来の技術】
高信頼性を目的とした画像の２重化伝送においては、同一画像を２本の経路に分けて伝送し、受信側では、人がそれらの２系統の映像を監視するシステムが、従来から実施されている。このシステムにおいては、前記２本の経路のうちのいずれかの経路で障害が発生した場合には、該２系統の映像の監視員が該障害を察知し、手動によりスイッチを正常な経路を選択するように切り替えるようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記した従来技術では、映像障害の発見および正常な経路を選択するためのスイッチの切り替えを人手に頼っているため、映像障害が発生した場合に、正常な系統に切り替えるまでに、２〜３秒以上の時間を要し、該２〜３秒以上の間は、障害をもつ画像が出力されてしまうという問題があった。
【０００４】
そこで、本出願人は映像障害の発見および正常な経路への切り替えを自動化する装置を発明し、特許出願した（特願平１１−１５６４３２号「冗長２重化伝送における画像障害検出装置」）。この発明では、該画像障害検出装置に入力されてくる２系統の映像は、既に画面の位置が合致し、また処理遅延ずれがない状態にあることを前提としている。
【０００５】
しかし、２重化伝送においては、２系統が地理的に別の場所を通って行くことが多く、伝送遅延差があることが普通である。また、各系統に含まれる伝送装置、例えば画像圧縮符号化装置、復号装置等の種類が異なる場合、装置によっては、１枚々々の映像中の有効画面の位置が、上下、左右方向（垂直、水平方向）にわずかにずれているものも場合によってはありうる。あるいは、前記２系統のうち一方の系統が衛星回線であった場合、両系統の伝送時間に１秒程度の差（時間軸方向のずれ）が出て、２系統の映像間には３０枚程度の画面差が出ることもありうる。
【０００６】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、２系統の映像間に、水平、垂直および時間軸方向のずれが生じないようにする２系統映像の位置ずれ補正装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、第１系統の受信映像が入力する第１の可変遅延手段、および第２系統の受信映像が入力する第２の可変遅延手段と、該第１および第２の可変遅延手段の各々に接続され、少なくともフレーム遅延画像、ライン遅延画像、および画素遅延画像を生ずるフレームメモリ、ラインメモリおよび画素メモリと、該フレーム遅延画像、ライン遅延画像、および画素遅延画像の所定の組み合わせの位置ずれまたは遅延ずれを、前記第１、第２系統間で比較する比較手段と、前記比較手段により得られた最小の位置ずれまたは遅延ずれを補正する位置ずれ補正制御信号を生成する補正制御信号生成手段とを具備し、該補正制御信号生成手段で得られた位置ずれ補正信号を前記第１または第２の可変遅延手段に供給して、前記位置ずれまたは遅延ずれを補正し、該補正された前記第１又は第２の受信映像を再度前記フレームメモリ、ラインメモリおよび画素メモリに供給して、フレーム遅延画像、ライン遅延画像、および画素遅延画像を生じ、以降前記の各手段および各メモリを用いて前記と同じ処理を繰り返すことにより、位置ずれまたは遅延ずれを漸次補正するようにした点に特徴がある。
【０００８】
この特徴によれば、第１、第２系統で受信した画像の位置ずれまたは遅延ずれを補正することができるようになる。
【０００９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の原理を説明する。
【００１０】
本発明は、２系統の映像の画素値の比較や特徴量の比較を、入力画像をわずかずつずらしたもの同士で行うことにより、位置補正を漸次行い、最終的に正確に２系統の映像の位置合わせを行う。２系統の映像では、圧縮符号化装置、および復号装置が、系統間で別種類である場合があり、その場合には、符号化雑音が２系統では異なるものとなる。しかし、この場合においても、主たる元の映像信号が支配的であるから、２系統の映像の比較は自己相関と言える。
【００１１】
以上のように、２系統の映像のずれが小さくなる程、漸次、相関が大きくなっていくという性質を利用して、漸次２系統の映像の位置合わせを行うというのが、本発明の原理である。
【００１２】
次に、本発明の一実施形態を、図１を参照して説明する。図示されているように、２系統（以下、Ａ、Ｂ系統と呼ぶ）の映像信号が、それぞれ、可変遅延手段の一つである読出し位置を変更可能な第１、第２のＦＩＦＯ型フレームメモリ１、２に入力する。該メモリ１、２は、一例として、２フレーム分の記憶容量をもつのが好適であるが、これに限定されるものでははなく、もっと大きな記憶容量のメモリを使用することができる。該メモリ１、２は第３、４のフレームメモリ３、４に接続されており、該メモリ１、２から読み出された信号は、それぞれ、第３、４のフレームメモリ３、４に入力する。該第３のフレームメモリ３は比較部１０と第５のフレームメモリ５に接続され、一方第４のフレームメモリ４は比較部１０と第６のフレームメモリ６に接続されている。このため、前記第３のフレームメモリ３から出力された信号は、比較部１０と第５のフレームメモリ５に入力し、第４のフレームメモリ４から出力された信号は比較部１０と第６のフレームメモリ６に入力する。ここに、前記第３〜６のフレームメモリ３〜６は、それぞれ、１フレーム分の遅延を生ずることは、明らかである。
【００１３】
図１における第３のフレームメモリ３の出力信号をＡ、第４のフレームメモリ４の出力信号をＢ、第５のフレームメモリ５の出力信号をＡＦ、および第６のフレームメモリ６の出力信号をＢＦとして、前記比較部１０の具体例を図２を参照して説明する。
【００１４】
該比較部１０は、前記出力信号Ａ、ＡＦ、Ｂ、およびＢＦを１画素遅延する１画素遅延部１１、１３、１５、および１７と、該出力信号Ａ、ＡＦ、Ｂ、およびＢＦを１ライン遅延する１ライン遅延部１２、１４、１６、および１８と、相関計算部１９とから構成されている。
【００１５】
該相関計算部１９には、前記出力信号Ａと、該信号Ａの１画素遅延信号ＡＤと、該信号Ａの１ライン遅延信号ＡＬと、該出力信号Ａの１フレーム遅延信号ＡＦと、該信号ＡＦの１画素遅延信号ＡＦＤと、該信号ＡＦの１ライン遅延信号ＡＦＬとのＡ系統に関する６種類の信号と、前記出力信号Ｂと、該信号Ｂの１画素遅延信号ＢＤと、該信号Ｂの１ライン遅延信号ＢＬと、該出力信号Ｂの１フレーム遅延信号ＢＦと、該信号ＢＦの１画素遅延信号ＢＦＤと、該信号ＢＦの１ライン遅延信号ＢＦＬとのＢ系統に関する６種類の信号とが入力する。
【００１６】
次に、前記相関計算部１９の一具体例を、図３を参照して説明する。該相関計算部１９は、画素値差分絶対値和演算部（ＳＡＤ）２１〜３５と、該画素値差分絶対値和演算部２１〜３５の各出力が入力する最小値比較器４０と、該最小値比較器４０の出力Ｒをデコードしてメモリ制御信号４２、４３を出力するデコーダ４１とから構成されている。
【００１７】
例えば、画素値差分絶対値和演算部２１には、図２の信号Ａ，Ｂ（すなわち、画素値Ａi 、Ｂi ）が入力する。そこで、該画素値差分絶対値和演算部２１は、下記の演算により、画素値差分絶対値和Ｓ0 を求める。

ここに、Ｎは１画面の画素数である。
【００１８】
以下同様に、画素値差分絶対値和演算部２２〜３５は、信号（Ａ，ＡＤ，ＡＬ，ＡＦ，ＡＦＤ，ＡＦＬ）と信号（Ｂ，ＢＤ，ＢＬ，ＢＦ，ＢＦＤ，ＢＦＬ）との組合わせから画素値差分絶対値和Ｓ1 〜Ｓ14を求める。そして、該画素値差分絶対値和演算部２１〜３５の１５個の出力信号Ｓ0 〜Ｓ14は、最小値比較器４０に入力する。該最小値比較器４０は、該出力信号Ｓ0 〜Ｓ14から最小となる値を求め、該最小値となった端子の番号（インデックス）０〜１４を、その出力Ｒとしてデコーダ４１に通知する。デコーダ４１は、例えば、図４に示されているような、どちらの方向に補正すれば２系統の画像の差異がより小さくなるかを示すテーブルをもっており、該テーブルを参照して、前記ＳＡＤが最小値となる端子番号０〜１４をＡ，Ｂメモリ制御信号に変換する。例えば、端子番号“１”が最小値であれば、Ｂメモリを「Ｄ（＝１画素）」だけ遅延させる制御信号４３が、デコーダ４１から出力される。なお、該端子番号“１”が最小値になるということは、Ｂ系統がＡ系統に比べて、１画素だけ進んでいることを意味する。
【００１９】
該デコーダ４１からＡメモリ制御信号４２またはＢメモリ制御信号４３が出力されると、前記第１または第２のＦＩＦＯ型フレームメモリ１、２（図１参照）は該制御信号４２、４３により遅延量を制御される。例えば、Ｂメモリを「Ｄ（＝１画素）」だけ遅延させる制御信号４３が、デコーダ４１から出力されると、前記第２のＦＩＦＯ型フレームメモリ２が１画素だけ遅延量を増加する。これにより、Ａ，Ｂ系統の画像のずれが、より相関が高くなるように補正されたことになる。
【００２０】
以上の処理を繰り返し行い、これに応じて前記第１または第２のＦＩＦＯ型フレームメモリ１、２の遅延量を制御する。そうすると、Ａ系統とＢ系統の画像の位置ずれまたは遅延ずれは、相関がより高くなるように漸次補正され、最終的には、該位置ずれまたは遅延ずれ（水平、垂直および時間軸方向のずれ）は完全に補正される。すなわち、前記Ａ，Ｂメモリ制御信号４２、４３が共に０になるまで、前記の補正処理が繰り返され、該Ａ，Ｂメモリ制御信号４２、４３が共に０になると、該補正処理を終了する。なお、前記水平ずれは画素ずれ、垂直ずれはラインずれ、時間軸方向のずれはフレームずれを意味する。
【００２１】
この結果、第１または第２のＦＩＦＯ型フレームメモリ１、２の出力４４、４５（図１参照）の位置ずれはなくなり、該出力４４、４５は例えば本出願人による特願平１１−１５６４３２号に記されている画像障害検出装置の入力映像信号として利用することができるようになる。
【００２２】
次に、前記相関計算部１９の他の具体例を、図５を参照して説明する。この具体例は、差分絶対値和演算部（ＳＡＤ）５１〜６５と、その前段に、画質特徴量計算部５１ａ，５１ｂ〜６５ａ，６５ｂとを設けた点に特徴がある。なお、図３と同一の符号は同一または同等物を示すので、その動作説明は省略する。
【００２３】
該画質特徴量計算部２１ａ，２１ｂ〜３５ａ，３５ｂの各々は、Ａ，Ｂ各系統の画面をブロック分割して形成された各ブロック（例えば、１６画素×１６ライン）内の画質特徴量を計算する。該画質特徴量の例としては、ブロック内の画素値の平均値や、ブロック内の画素値の分散値を上げることができる。差分絶対値和演算部（ＳＡＤ）５１〜６５は、該画質特徴量のＡ，Ｂ各系統間での差分絶対値の和を計算する。すなわち、該差分絶対値はブロックに１個出るので、差分絶対値和演算部（ＳＡＤ）５１〜６５はこれを全画面で合計する。この差分絶対値和が小さい程、Ａ，Ｂ両系統の画像同士の相関が大きいことになる。
【００２４】
次に、本発明の第２実施形態を、図６を参照して説明する。この実施形態は、第１実施形態（図１）に比べて、第７、第８のフレームメモリ７、８を、それぞれ第５、第６のフレームメモリ５、６の後段にさらに接続して、第１実施形態よりさらに１フレーム分遅延させた信号を作成し、これらを比較部１０に供給できるようにした点である。この実施形態によれば、回路の部品数は増加するが、Ａ系統とＢ系統の画像の位置ずれの補正を高速に行うことができるようになる。
【００２５】
次に、本発明の第３実施形態を、図７を参照して説明する。この実施形態は、第１、第２のＦＩＦＯ型フレームメモリ１、２と並列に、第３、第４のＦＩＦＯ型フレームメモリ７０、７１を回路に並列に設け、第１、第２のＦＩＦＯ型フレームメモリ１、２による画像の位置ずれの補正量が最終的に決定してから、該第３、第４のＦＩＦＯ型フレームメモリ７０、７１による位置ずれを行うようにした点に特徴がある。なお、図１と同一の符号は、同一または同等物を示す。
【００２６】
制御信号記憶部７２は、第１、第２のＦＩＦＯ型フレームメモリ１、２を用いた画像の位置ずれ補正が行われている間、Ａ，Ｂメモリ制御信号４２、４３を記憶する。位置ずれ補正完了信号７３（つまり、Ａ，Ｂメモリ制御信号４２、４３が共に０の信号）が比較部１０から出力されると、スイッチ７４が閉じて、該制御信号記憶部７２に記憶されていたＡ，Ｂメモリ制御信号４２ａ、４２ｂがまとめて第３、第４のＦＩＦＯ型フレームメモリ７０、７１に送られる。
【００２７】
この実施形態によれば、Ａ、Ｂ両系統の画像の位置ずれを完全に補正した時点から、該位置ずれを完全に補正した画像を、出力４４、４５として出力できるようになる。
【００２８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、２系統の受信画像間において、画面の位置ずれまたは伝送処理遅延による遅延ずれ（水平、垂直および時間軸方向のずれ）があっても、該位置ずれまたは遅延ずれの補正処理を繰り返すことにより、最終的にはこれらのずれを完全に補正することができるようになる。また、本発明は、少ない容量のメモリを用いて、前記補正処理を行うことができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】図１の比較器の一具体的構成を示すブロック図である。
【図３】図２の相関計算部の一具体的構成を示すブロック図である。
【図４】図３のデコーダがもつテーブルの一例を示す図である。
【図５】前記相関計算部の他の具体的構成を示すブロック図である。
【図６】本発明の第２実施形態の概略の構成を示すブロック図である。
【図７】本発明の第３実施形態の概略の構成を示すブロック図である。
【符号の説明】
１、２…第１、第２のＦＩＦＯ型フレームメモリ（可変遅延手段）、３〜６…第３〜６のフレームメモリ、１０…比較部、１１、１３、１５、１７…１画素遅延部、１２、１４、１６、１８…１ライン遅延部、１９…相関計算部、２１〜３５…画素値差分絶対値和演算部（ＳＡＤ）、４０…最小値比較部、４１…デコーダ、４２…Ａメモリ制御信号、４３…Ｂメモリ制御信号、５１〜６５…差分絶対値和演算部、５１ａ〜６５ａ，５１ｂ〜６５ｂ…画質特徴量計算部。

Claims

第１系統の受信映像が入力する第１の可変遅延手段、および第２系統の受信映像が入力する第２の可変遅延手段と、
該第１および第２の可変遅延手段の各々に接続され、少なくともフレーム遅延画像、ライン遅延画像、および画素遅延画像を生ずるフレームメモリ、ラインメモリおよび画素メモリと、
該フレーム遅延画像、ライン遅延画像、および画素遅延画像の所定の組み合わせの位置ずれまたは遅延ずれを、前記第１、第２系統間で比較する比較手段と、
前記比較手段により得られた最小の位置ずれまたは遅延ずれを補正する位置ずれ補正制御信号を生成する補正制御信号生成手段とを具備し、
該補正制御信号生成手段で得られた位置ずれ補正信号を前記第１または第２の可変遅延手段に供給して、前記位置ずれまたは遅延ずれを補正し、該補正された前記第１又は第２の受信映像を再度前記フレームメモリ、ラインメモリおよび画素メモリに供給して、フレーム遅延画像、ライン遅延画像、および画素遅延画像を生じ、以降前記の各手段および各メモリを用いて前記と同じ処理を繰り返すことにより、位置ずれまたは遅延ずれを漸次補正するようにしたことを特徴とする２系統映像の位置ずれ補正装置。
請求項１に記載の２系統映像の位置ずれ補正装置において、前記フレームメモリをＮ個（Ｎは、正の整数）直列に接続して、１〜Ｎフレーム遅延画像を生成すると共に、各フレームメモリに前記ラインメモリと画素メモリを並列に接続して、１〜Ｎフレーム遅延画像に対して、ライン遅延画像、および画素遅延画像を生成し、前記比較手段に入力するようにしたことを特徴とする２系統映像の位置ずれ補正装置。
請求項１または２に記載の２系統映像の位置ずれ補正装置において、
前記比較手段は、前記フレーム遅延画像、ライン遅延画像、および画素遅延画像の前記所定の組み合わせの相関値を求める相関計算手段を具備し、
該相関計算手段で求められた相関値の大きい２つの画像を、最小の位置ずれまたは遅延ずれ画像と判定することを特徴とする２系統映像の位置ずれ補正装置。
請求項３に記載の２系統映像の位置ずれ補正装置において、前記相関計算手段は、画像の画素値差分絶対値和を演算することを特徴とする２系統映像の位置ずれ補正装置。
請求項３に記載の２系統映像の位置ずれ補正装置において、前記相関計算手段は、画像の画質特徴量を演算することを特徴とする２系統映像の位置ずれ補正装置。
請求項５に記載の２系統映像の位置ずれ補正装置において、前記相関手段は、前記第１、第２系統間の画像のブロック毎の特徴量を計算し、その特徴量の各系統間での差分を取ることにより、画像間の相関を求めることを特徴とする２系統映像の位置ずれ補正装置。
請求項１に記載の２系統映像の位置ずれ補正装置において、前記第１、第２系統の受信映像に対して、前記第１、第２の可変遅延手段と並列に第３、第４の可変遅延手段を設け、前記第１、第２の可変遅延手段を用いて前記位置ずれまたは遅延ずれを最終的に補正した制御信号を、前記第３、第４の可変遅延手段に供給して、前記受信画像の前記位置ずれまたは遅延ずれを補正して出力するようにしたことを特徴とする２系統映像の位置ずれ補正装置。