JP4447679B2

JP4447679B2 - 映像信号処理装置および映像信号処理方法

Info

Publication number: JP4447679B2
Application number: JP20934698A
Authority: JP
Inventors: 哲二郎近藤; 隆也星野; 賢井上
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-07-24
Filing date: 1998-07-24
Publication date: 2010-04-07
Anticipated expiration: 2018-07-24
Also published as: JP2000041268A

Description

【０００１】
【発明の属する技術分野】
この発明は、マルチメディア対応の映像表示機器やビデオプリンタ等に用いて好適な映像信号処理装置および映像信号処理方法に関する。
【０００２】
【従来の技術】
一例として、画像内容の確認・検索等を行ったり、或いはビデオプリンタで画像を出力することなどを目的として、小サイズの画像に圧縮して表示あるいは出力する場合においては、小サイズに画像を圧縮する簡単な方法として、画像を間引くという方法が一般的に用いられる。
【０００３】
しかしながら、コンポジット映像信号による画像を間引きによって圧縮して表示する場合においては、コンポジット映像信号には、色副搬送波を変調して得られる搬送色信号が輝度信号に重畳されているので、そのまま画像を間引いて圧縮すると、輝度信号に重畳されている搬送色信号Ｃが欠落して画質が大幅に損なわれ、圧縮された画像の内容が識別しにくくなる。
【０００４】
図１は、ＮＴＳＣ方式における隣接する走査線における色副搬送波の位相関係を示す。色副搬送波周波数が水平周波数の４５５／２倍に選定されているため、色副搬送波の位相は、図１Ａおよび図１Ｂにおいて実線の波形で示すように各フィールド内で走査線毎に反転し、また、同一走査線では、１フレーム毎に反転する。搬送色信号は、このような色副搬送波を色差信号ＩおよびＱで直交二相変調したものであり、コンポジット映像信号は、輝度信号に対して搬送色信号が重畳されたものである。また、コンポジット映像信号をディジタル化する際には、例えば、図１Ｃに示すように副搬送波の周波数ｆsc（＝３．５８ＭHz）に対してサンプリング周波数が４ｆscに選定され、そのサンプリングクロックによりＩＱ軸の位相でそれぞれサンプリングされてＡ／Ｄ変換される。従って、サンプリング点は、図１Ａおよび図１Ｂにおいて丸印で示すものとなる。
【０００５】
従って、小サイズに画像を圧縮し、且つ画質の劣化を防ぐ方法として、フィルタ処理或いはＹ／Ｃ分離を施した後、画像を間引き処理によって圧縮するという方法が考えられる。図２は、このような方法を実現する映像信号処理装置の一例を示す。図２において１で示す入力端子１にディジタルのコンポジット映像信号が供給される。
【０００６】
コンポジット映像信号がＹ／Ｃ分離回路２に供給される。Ｙ／Ｃ分離回路２において輝度信号Ｙと搬送色信号Ｃとが分離され、輝度信号Ｙが画像メモリ３に供給される。Ｙ／Ｃ分離回路２と関連して画像メモリ５が設けられ、例えば３次元処理によってＹ／Ｃ分離がなされる。メモリコントロール部６は、画像メモリ３，５の書き込み／読み出し動作を選択する。
【０００７】
画像メモリ３において、輝度信号Ｙが一度書き込まれた後、所定のアドレスのみのデータが読み出されることで、間引き処理がなされる。画像メモリ３の出力がディスプレイ装置４に供給される。そして、ディスプレイ装置４では、白黒の圧縮画像が表示される。Ｙ／Ｃ分離回路２の代わりにフィルタ回路が使用されることもある。
【０００８】
【発明が解決しようとする課題】
このように、フィルタ処理あるいはＹ／Ｃ分離処理を施した後、画像を間引く方法、または装置では、フィルタ処理あるいはＹ／Ｃ分離処理のために、メモリ等の専用のハードウェアが必要とされ、回路規模が大規模になる問題点を有する。
【０００９】
従って、この発明の目的は、小規模の構成によって、画質を劣化させることなく画像圧縮することができ、また、Ｙ／Ｃ分離処理も同時に行うことができる映像信号処理装置および映像信号処理方法を提供することにある。
【００１０】
【課題を解決するための手段】
以上の問題を解決するために、請求項１の発明は、輝度信号と搬送色信号とを含み、色副搬送波と同期した所定周波数のサンプリング信号でサンプリングされることで形成されたコンポジット映像信号を最下位階層データとして記憶する記憶手段と、
最下位階層データの隣接する複数の画素値を演算することにより、コンポジット映像信号から輝度信号を上位階層データとして分離する生成手段と、
生成された上位階層データを輝度信号として出力する出力手段と
を有することを特徴とする映像信号処理装置である。
【００１１】
また、請求項４の発明は、輝度信号と搬送色信号とを含み、色副搬送波と同期した所定周波数のサンプリング信号でサンプリングされることで形成されたコンポジット映像信号を最下位階層データとして記憶するステップと、
最下位階層データの隣接する複数の画素値を演算することにより、コンポジット映像信号から輝度信号を上位階層データとして分離する生成ステップと、
生成された上位階層データを輝度信号として出力する出力ステップと
を有することを特徴とする映像信号処理方法である。
【００１２】
この発明では、階層メモリが用いられ、コンポジット映像信号が階層メモリの最下位階層（第１階層）に書き込まれる。そして、第１階層の（２×２画素）の隣接する４個の画素毎に画素値の合計値が算出され、得られた合計値が新たなデータとして第２階層のメモリに書き込まれる。第２階層のデータは、第１階層の入力画像に対して縦横それぞれ１／２の大きさ（面積では１／４）とされ、然も、その演算過程においてＣ成分が相殺されたＹ成分のみの白黒画像データである。必要に応じてコンポジット映像信号から第２階層のデータを減算することにより搬送色信号Ｃを得られる。さらに、同様に第２階層データから第３階層データが生成される。第３階層データは、第１階層の入力画像に対して縦横それぞれ１／４の大きさ（面積では１／１６）とされ、然も、その演算過程において第２階層で残っていたドット妨害がさらに除去された画像データである。
【００１３】
【発明の実施の形態】
先ず、この発明の一実施形態について図３を参照して説明する。１１で示す入力端子には、ＮＴＳＣ方式のディジタルコンポジット映像信号が供給される。コンポジット映像信号が階層メモリ１２に供給される。階層メモリ１２と関連してメモリコントロール部１３が設けられている。階層メモリ１２には、メモリコントロール部１３からのアドレス制御情報等が供給され、階層メモリ１２において所定の演算処理と書き込み／読み出し制御がなされる。階層メモリ１２は、Ｙ／Ｃ分離出力（輝度信号）および圧縮された画像データを出力する。図示せずも、階層メモリ１２の出力がディスプレイ装置１４に供給される。階層メモリ１２の出力がＤ／Ａ変換された後、復調され、ディスプレイ装置１４において、白黒画像として表示される。この表示画像は、画質が損なわれることなく所定の比率で圧縮されたものである。
【００１４】
上述した階層メモリ１２の動作について詳細に説明する。階層メモリ１２は、演算機能を有しており、一度書き込んだ空間的に近接した複数個の画像データを読み出し、読み出した画像データに基づいて演算処理により一つ上位階層となる一つの画像データを生成して再度書き込むことを繰り返し行うことで画像データを階層化し、その階層化された画像データのそれぞれを所定の領域に保持する構成とされている。
【００１５】
図４に階層メモリ１２においてなされる処理を概念的に示す。階層メモリ１２の最下位階層（第１階層）のメモリには、入力されるコンポジット映像信号の各画素のデータが書き込まれる。図４の下段に第１階層のメモリに書き込まれる各画素による部分的画像（４×４画素）を示す。なお、各画素には、画素番号が図４に示すように付されている。第１階層のメモリにコンポジット映像信号の各画素のデータが書き込まれると、先ず、（２×２画素）の４個の隣接する画素毎に画素値の和が算出され、得られた合計値が新たなデータとして第２階層のメモリに書き込まれる。
【００１６】
具体的には、図４に示すように第１階層のメモリの（２×２画素）であるＡ11, Ａ12, Ａ13, Ａ14の画素値の和が第２階層のＢ11のデータとされ、Ａ21, Ａ22, Ａ23, Ａ24の画素値の和が第２階層のＢ12のデータとされ、Ａ31, Ａ32, Ａ33, Ａ34の画素値の和が第２階層のＢ13のデータとされ、Ａ41, Ａ42, Ａ43, Ａ44の画素値の和が第２階層のＢ14のデータとされる。以下、同様に第１階層の全ての（２×２画素）のデータに対して処理がなされ、画素値の和のそれぞれが第２階層のメモリに書き込まれる。
【００１７】
上述のように形成されたデータからなる第２階層の画像（図４において中段に示される）は、第１階層の入力画像に対して縦横それぞれ１／２の大きさ（面積では１／４）の圧縮画像となる。なお、第２階層の各データは、第１階層の４画素のデータの和であるため、第１階層のデータのビット数より２ビット多い１０ビットとされる。
【００１８】
次に、上述した処理と同様に、第２階層の（２×２画素）の４個の画素毎に画素値の和が算出され、得られた合計値が新たなデータとして第３階層のメモリに書き込まれる。図４に示すように、第２階層のメモリに格納された（２×２画素）であるＢ11, Ｂ12, Ｂ13, Ｂ14の画素値の和が第３階層のメモリのＣ11のデータとされる。以下、同様に第２階層のメモリの全ての（２×２画素）に対して処理がなされ、画素値の和のそれぞれが第３階層のメモリに書き込まれる。
【００１９】
上述したように形成されたデータからなる第３階層の画像（図４において上段に示される）は、第２階層の入力画像に対して縦横それぞれ１／２の大きさ（面積では１／４）、第１階層の入力画像に対して縦横それぞれ１／４の大きさ（面積では１／１６）の圧縮画像となる。なお、第３階層のデータは、第２階層の４画素のデータの和であるため、第２階層のデータのビット数より２ビット多い１２ビットとされる。
【００２０】
さらに、上述した処理と同様に、第ｎ階層（ｎは正の整数）のメモリまでの階層データが形成される。第ｎ階層の画像は、第１階層の入力画像に対して縦横それぞれ２の（ｎ−１）乗分の１の大きさの圧縮画像となる。従って、階層メモリ１２を用い、任意の階層のデータを読み出すことで、所望のサイズの画像を出力することが可能となる。
【００２１】
なお、各階層のデータを形成し、階層メモリに書き込む場合に、４画素の内の１画素を、一つ上の上位階層の１画素のデータに置き換え、データ量を圧縮するようにしても良い。すなわち、置き換えられた画素データは、上位階層の画素データ（合計値）から読み出された３画素の合計値を減算することによって復元することができる。例えば図４に示す例の場合には、第２階層のＢ11, Ｂ12, Ｂ13, Ｂ14の内、例えばＢ14以外のＢ11, Ｂ12, Ｂ13のデータと、第３階層の画素であるＣ11とが書き込まれる。そして、読み出し時には、Ｃ11のデータから（Ｂ11, Ｂ12, Ｂ13）のデータの合計値を減算することでＢ14を復元できる。
【００２２】
また、上述した階層メモリ１２の説明においては、合計値を用いて上位層のデータを形成する場合について説明したが、平均値を用いたり、加重平均値を用いても良い。さらに、上位階層となるほど、ビット数を拡張せずに、丸めるようにしても良い。
【００２３】
上述した階層メモリ１２によりなされるＹ／Ｃ分離の動作について説明する。コンポジット映像信号としてＮＴＳＣ方式の信号が供給されるものとする。ＮＴＳＣ方式のコンポジット映像信号では、９０°位相のずれた色副搬送波を２つの色差信号（Ｉ，Ｑ）で直交二相変調して得られる搬送色信号Ｃが輝度信号に重畳されている。この映像信号を副搬送波の周波数ｆsc（＝３．５８ＭHz）の４倍のサンプリング周波数４ｆscにてＩＱ軸の位相でサンプリングしたディジタルデータが階層メモリ１２に供給される。
【００２４】
図５は、階層メモリ１２の第１階層のメモリに格納されたデータ（入力データ）の一部を示す。図５において、丸にて示されるのが各画素を示し、Ｙは、輝度信号を示し、±Ｉ，±Ｑは、色差信号Ｉ，Ｑの位相を表す。なお、図４に対応する部分には、同一の画素番号が付されている。
【００２５】
図５に示すように第１階層のメモリの各画素値は、Ａ11の画素値＝Ｙ11−Ｉ11，Ａ12の画素値＝Ｙ12−Ｑ12，Ａ13の画素値＝Ｙ21＋Ｉ21，Ａ14の画素値＝Ｙ22＋Ｑ22，以下、図５に示す値とされている。つまり、隣接する走査線間においては、色差信号Ｉ，Ｑの位相が１８０°ずれると共に、水平方向に関しては色差信号Ｉ，Ｑが９０°位相毎に交互に抽出されている。
【００２６】
図６は、階層メモリ１２の第２階層のメモリに格納されたデータ（入力データ）の一部を示す。図６に示すように第２階層のメモリの各データの値は、

である。
【００２７】
ここで、色エッジがなく、色相関が強い部分であると想定すると、
Ｉ11＝Ｉ21 ・・・(2)
Ｑ12＝Ｑ22 ・・・(3)
であるから、(1) 式は、Ｂ11の画素値＝Ｙ11＋Ｙ12＋Ｙ21＋Ｙ22となり、さらに、画像の性質（近傍画像の相関性）から一般的に、
Ｙ11＝Ｙ12＝Ｙ21＝Ｙ22＝Ｙ（Ｙは画素Ａ11近辺の輝度値）・・・(4)
が近似的に成り立つ。従って、(1) 式は、Ｂ11の画素値＝４×Ｙとなる。他のデータも同様であり、Ｉ，Ｑ信号に関しては相殺され、第２階層のメモリからは、Ｙ／Ｃ分離されたＹ信号が得られる。このように、階層メモリ１２を用いることで、階層メモリ１２の第２階層にＹ／Ｃ分離され、縦横それぞれ１／２の大きさに圧縮された白黒画像データを得ることができる。
【００２８】
また、コンポジット信号は、輝度信号Ｙおよび搬送色信号Ｃにより構成されているため、第１階層の各データから第２階層のデータを減算することにより搬送色信号Ｃを算出することができる。
【００２９】
上述した説明においては、色相関が強いことを想定したが、色の垂直非相関部、すなわち、水平方向の色エッジが存在する場合についも説明する。一例として、図５において、点線で示すように、第１階層の画素のＡ11とＡ13との間に水平方向の色エッジがあるとすると、前述した(2),(3) 式が成立しない。この場合においては、第２階層のデータＢ11、Ｂ12、Ｂ13、Ｂ14、・・・には、搬送色信号ＣからＹ信号へのクロストーク( Ｙ／Ｃ分離エラー）であるドット妨害が発生する。
【００３０】
つまり、前述した(1),(4) 式より、
Ｂ11の画素値＝４×Ｙ−Ｉ11＋Ｉ21−Ｑ12＋Ｑ22 ・・・(5)
となり、(5) 式中の（−Ｉ11＋Ｉ21−Ｑ12＋Ｑ22）がドット妨害成分となる。なお、ドット妨害は、色副搬送波周波数ｆsc（＝３．５８ＭHz）の成分を持つ信号である。同様に、
Ｂ12の画素値＝４×Ｙ−Ｉ13＋Ｉ23−Ｑ14＋Ｑ24 ・・・(6)
となる。ここで、色の垂直非相関部、すなわち、水平方向の色エッジを想定しているため、色の水平方向相関が存在する。従って、(5),(6) 式中のドット妨害成分に関して、下記(7) 式の関係が成立する。
【００３１】
−Ｉ11＋Ｉ21−Ｑ12＋Ｑ22＝−（Ｉ13−Ｉ23＋Ｑ14−Ｑ24）・・・(7)
従って、上記(5),(6),(7) 式より、第３階層のデータのＣ11の値は、
Ｃ11の画素値＝画素Ｂ11＋Ｂ12＋Ｂ13＋Ｂ14の画素値＝１６×Ｙ
となる。このように色の垂直非相関部、すなわち、水平方向の色エッジが存在する場合には、第３階層では、第２階層で発生していたドット妨害成分が除去されて良好なＹ信号が得られ、画質が向上する。なお、色の垂直非相関部、即ち水平方向の色エッジが存在する場合と異なり、色の水平非相関部、すなわち、垂直方向の色エッジ部分では、前述したように第２階層においてドット妨害が発生せず、第２階層において良好なＹ信号が得られる。
【００３２】
上述した階層メモリ１２の処理過程と、その過程において得られる画像データの関係を図７に示す。先ず、ステップＳ１で、ディジタルのＮＴＳＣ方式のコンポジット映像信号が階層メモリ１２に供給され、ステップＳ２で、最下位階層（第１階層）に書き込まれる。そして、ステップＳ３で、第１階層の（２×２画素）の４個の画素毎に画素値の和が算出され、得られた合計値が新たなデータとして第２階層のメモリに書き込まれる。
【００３３】
階層メモリ１２の第２階層のデータを読み出すことによって、ステップＳ４で示すように、第１階層の入力画像に対して縦横それぞれ１／２の大きさ（面積では１／４）の圧縮画像が得られる。また、この圧縮画像のデータは、その演算過程においてＣ成分が相殺されており、Ｙ／Ｃ分離されてＹ成分のみとされた白黒画像データである。さらに、入力コンポジット映像信号から第２階層のデータを減算することにより、搬送色信号Ｃも算出することもできる。この場合、入力コンポジット映像信号の隣接する４画素に対する減算のために、第２階層のデータは、４回ずつ使用される。
【００３４】
次に、ステップＳ５で、第２階層の（２×２画素）の４個の画素毎に画素値の和が算出され、得られた合計値が新たなデータとして第３階層のメモリに書き込まれる。階層メモリ１２の第３階層のデータを読み出すことによって、ステップＳ６で示すように、第１階層の入力画像に対して縦横それぞれ１／４の大きさ（面積では１／１６）の圧縮画像が得られる。また、この圧縮画像のデータは、その演算過程において第２階層で残っていたドット妨害がさらに除去されたもので、良好な白黒画像データである。
【００３５】
そして、ステップＳ７で示すように、第（ｎ−１）階層の（２×２画素）の４個の画素毎に画素値の和が算出され、得られた合計値が新たなデータとして第ｎ階層のメモリに書き込まれる。階層メモリ１２の第ｎ階層のデータを読み出すことによって、ステップＳ８で示すように、第１階層の入力画像に対して縦横それぞれ２の（ｎ−１）乗分の１の大きさの圧縮画像が得られる。また、この圧縮画像のデータは、その演算過程において階層が上がるにつれてドット妨害がさらに軽減・改善されたもので、良好な白黒画像データである。
【００３６】
このようにこの発明では、階層メモリ１２を用いることによって、専用のハードウェアを設けることなくＹ／Ｃ分離された高画質な圧縮画像を得ることができ、例えば、ビデオプリンタで画像を出力する場合や小画面での画像内容確認および画像検索等を行う場合に有効利用することができる。
【００３７】
なお、上述した一実施形態の説明においては、ＮＴＳＣ方式のコンポジット映像信号の場合について説明したが、ＮＴＳＣ方式以外の他の方式のコンポジット信号に同様にこの発明を適用することができる。
【００３８】
【発明の効果】
この発明に依れば、階層メモリを用いることで、画質を劣化させることなく、上位階層にＹ／Ｃ分離され、且つ高画質な圧縮白黒画像を得ることができ、装置の小型化および低価格化を図ることができる。また、この発明に依れば、輝度信号のみならず、色信号も分離することができ、また、階層が上がるにつれて下位階層に生じていたドット妨害を軽減することができる。
【図面の簡単な説明】
【図１】コンポジット映像信号の説明に用いる波形図である。
【図２】従来の画像処理装置の説明に用いるブロック図である。
【図３】この発明の一実施形態の全体構成を示すブロック図である。
【図４】この発明の一実施形態の階層構造の説明に用いる略線図である。
【図５】この発明の一実施形態の動作説明に用いる略線図である。
【図６】この発明の一実施形態の動作説明に用いる略線図である。
【図７】この発明の一実施形態の動作説明に用いるフローチャートである。
【符号の説明】
１１・・・入力端子、１２・・・階層メモリ、１３・・・メモリコントロール部、１４・・・ディスプレイ装置

Claims

輝度信号と搬送色信号とを含み、色副搬送波と同期した所定周波数のサンプリング信号でサンプリングされることで形成されたコンポジット映像信号を最下位階層データとして記憶する記憶手段と、
上記最下位階層データの隣接する複数の画素値を演算することにより、上記コンポジット映像信号から輝度信号を上位階層データとして分離する生成手段と、
生成された上位階層データを輝度信号として出力する出力手段と
を有することを特徴とする映像信号処理装置。
請求項１において、
上記コンポジット映像信号から上記上位階層データの輝度信号を減算し、搬送色信号を得る減算手段を有し、
上記搬送色信号を出力することを特徴とする映像信号処理装置。
請求項１において、
上記生成手段は、上記上位階層データを演算することにより、上記上位階層データに残っているドット妨害を除去した上記上位階層のさらに上位階層のデータを生成することを特徴とする映像信号処理装置。
輝度信号と搬送色信号とを含み、色副搬送波と同期した所定周波数のサンプリング信号でサンプリングされることで形成されたコンポジット映像信号を最下位階層データとして記憶するステップと、
上記最下位階層データの隣接する複数の画素値を演算することにより、上記コンポジット映像信号から輝度信号を上位階層データとして分離する生成ステップと、
生成された上位階層データを輝度信号として出力する出力ステップと
を有することを特徴とする映像信号処理方法。
請求項４において、
上記コンポジット映像信号から上記上位階層データの輝度信号を減算し、搬送色信号を得るステップを有し、
上記搬送色信号を出力することを特徴とする映像信号処理方法。
請求項４において、
上記生成ステップは、上記上位階層データを演算することにより、上記上位階層データに残っているドット妨害を除去した上記上位階層のさらに上位階層のデータを生成することを特徴とする映像信号処理方法。