JP3988738B2 - 画像変換装置および画像変換方法 - Google Patents

Description

この発明は、データ圧縮における間引き画素の補間、標準解像度のテレビジョン信号を高解像度のテレビジョン信号に変換するアップコンバージョン等に適用可能な画像変換装置および画像変換方法に関する。

標準解像度あるいは低解像度（これらをＳＤと略称する）画像を高解像度（ＨＤと略称する）画像に変換するアップコンバージョン、電子ズーム、または画像の拡大においては、補間フィルタによって、不足している画素のデータを補償することがなされている。さらに、伝送データ量を圧縮するために、サブサンプリングによって画素を間引き、受信側でこの間引き画素を補間フィルタによって補間することがなされている。

しかしながら、フィルタによる補間で得られた出力画像の解像度が劣化する問題がある。例えばＳＤのビデオ信号をフィルタで補間してＨＤのテレビジョン信号を形成しても、入力ＳＤ信号中に存在していないＨＤ成分（高周波成分）が復元されない。その結果、出力画像の空間的解像度が低下する。

従って、この発明の目的は、高解像度成分を復元することが可能な画像変換装置および画像変換方法を提供することにある。

上述した課題を解決するために、この発明は、第１の画像をより高品質な第２の画像に変換する画像変換装置において、
第１の画像に対応する画像を構成する複数の画素データのパターンに応じてクラスタリングされるクラス毎に、第１の画像を第２の画像に変換する係数であるクラスデータが予め格納されている格納手段と、
第２の画像における生成対象画素である注目画素の位置に対応する第１の画像における位置周辺の複数の画素データを入力とし、当該入力される複数の入力画素データを複数のクラスのうちいずれかにクラスタリングするクラスタリング手段と、
当該入力される複数の入力画素データのクラスに対応したクラスデータを格納手段から読み出す読み出し手段と、
読み出し手段から読み出されたクラスデータと入力される複数の入力画素データとの積和演算処理を行うことによって、注目画素データを生成する画像データ生成手段と、
生成された第２の画像のデータを出力する出力手段と、を有し、
クラスタリング手段は、
入力される複数の入力画素データを高能率符号化し、高能率符号化された当該データのパターンをクラス情報として入力される第１の画像の複数の入力データを複数のクラスにクラスタリングすることを特徴とする画像変換装置である。

また、この発明は、第１の画像をより高品質な第２の画像に変換する画像変換方法において、
第２の画像における生成対象画素である注目画素の位置に対応する第１の画像における位置周辺の複数の画素データを入力とし、当該入力される複数の入力画素データを複数のクラスのうちいずれかにクラスタリングするクラスタリング行程と、
第１の画像に対応する画像を構成する複数の画素データのパターンに応じてクラスタリングされるクラス毎に、第１の画像を第２の画像に変換する係数であるクラスデータが予め格納されている格納手段から当該入力される複数の入力画素データのクラスに対応したクラスデータを読み出す読み出し行程と、
読み出し行程から読み出されたクラスデータと入力される複数の入力画素データとの積和演算処理を行うことによって、注目画素データを生成する画像データ生成行程と、
生成された第２の画像のデータを出力する出力行程と、を有し、
クラスタリング行程は、
入力される複数の入力画素データを高能率符号化し、高能率符号化された当該データのパターンをクラス情報として入力される第１の画像の複数の入力データを複数のクラスにクラスタリングすることを特徴とする画像変換方法である。

複数の入力データの分布状態に応じたクラス分けがされ、各クラスに関するデータ変換、すなわち、クラス情報を出力データへ変換、またはクラス情報を出力データを形成するためのパラメータに変換するマッピング表が使用される。このマッピング表は、トレーニング用の種々の絵柄の源画像を用いて予め形成されている。この発明によれば、間引き方式で伝送されたデータを受信し、間引き画素を解像度の劣化を殆ど伴わずに補間することができる。画像を拡大するときに不足する画素データを補間する場合にも、同様にこの発明を適用できる。また、標準解像度のビデオ信号を高解像度のビデオ信号に変換し、高解像度の画像をモニタに表示できる。

以下、この発明の一実施形態について説明する。この一実施形態は、間引き圧縮されたデータを伝送し、受信側で間引き画素を復元するものである。図１は、かかかる伝送システムを全体的に示す。図１中で、１は、伝送すべきディジタルビデオデータの入力端子である。

入力ディジタルビデオデータがサブサンプリング回路２に供給され、水平方向に一つおきの画素データが間引かれる。図２に示すように、元の画素の配列で×で示す画素が間引き画素を示している。従って、この間引き処理によって、伝送する必要があるデータ量が半分に減少する。

サブサンプリング回路２の出力データが高能率符号化のエンコーダ３に供給される。高能率符号化としては、ＤＣＴ（Discrete Cosine Transform)等の直交変換符号化、ＡＤＲＣ（ダイナミックレンジ適応型符号化）等の既知のものを採用できる。このエンコーダ３によって、伝送されるデータ量がより低減される。

エンコーダ３の出力データが送信処理回路４に供給される。送信処理回路４は、エラー訂正符号化、フレーム化、チャンネル符号化等の処理を行なう。送信処理回路４の出力端子５に送信データが発生し、この送信データが伝送路６を介して送信される。伝送路６は、通信路に限らず、磁気記録および再生のプロセスをも意味的に含むものである。

受信データが入力端子７から受信処理回路８に供給される。受信処理回路８は、チャンネル符号化の復号、フレーム分解、エラー訂正等の処理を行なう。受信処理回路８の出力が高能率符号化のデコーダ９に供給される。デコーダ９の復号出力が合成回路１０および同時化回路１１に供給される。

同時化回路１１は、図２に示すように、補間すべき間引き画素ｘの上下左右に位置する伝送画素データａ、ｂ、ｃ、ｄを同時にクラスタリング回路１２および補間データ作成回路１４に対して出力する。クラスタリング回路１２からの出力データ、すなわち、クラス情報がメモリ１３にアドレス信号として供給される。

このメモリ１３には、後述のように形成されたデータ変換用のマッピング表が格納されている。この例では、メモリ１３には、データ変換のための複数のパラメータを含むマッピング表が格納されている。クラスタリング回路１２の出力データと対応するアドレスから読み出されたパラメータが補間データ作成回路１４に供給される。補間データ作成回路１４は、同時化回路１１からの伝送画素データａ、ｂ、ｃ、ｄとメモリ１４からのパラメータｗ１、ｗ２、ｗ３、ｗ４とを使用して、
ｘ＝ｗ１ａ＋ｗ２ｂ＋ｗ３ｃ＋ｗ４ｄ
の演算によって補間データｘを形成する。

この補間データｘが合成回路１０に供給される。合成回路１０は、伝送画素が存在する時にデコーダ９の出力を選択し、間引き画素の位置では、補間データ作成回路１４からの補間データを選択する。従って、合成回路１０の出力端子１５には、受信データと対応する復号ビデオデータが得られる。

メモリ１３には、トレーニングによって予め作成されたマッピング表が格納されている。図３は、この発明によるパラメータ生成装置、すなわち、マッピング表を作成するための構成を示す。図３において、入力端子２１には、ディジタルビデオ信号が供給され、これが同時化回路２２に供給される。このディジタルビデオ信号は、マッピング表の作成を考慮した標準的な信号であることが好ましく、例えば種々の絵柄の静止画像からなる信号を採用できる。図２に示すように、同時化回路２２は、注目画素のデータｘとその上下左右の画素データａ、ｂ、ｃ、ｄとを同時にデータメモリ２３およびクラスタリング回路２４に供給する。但し、図３に示すトレーニング時では、注目画素ｘに関しては、間引きされておらず、実際の値が存在している。

クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、画素データをクラスタリングし、クラス情報を発生する。クラスタリングとしては、階調によるクラスタリング、パターンによるクラスタリング等を使用できる。階調を使用する時には、画素データが８ビットであると、クラスの個数が極めて多くなるので、各画素のビット数をＡＤＲＣ等の高能率符号化で減少させることが好ましい。パターンを使用する時には、４画素で構成される複数のパターン（例えば平坦、右上に値が上昇、右下に値が減少、等）を用意し、同時化回路２２の出力データを複数のパターンのいずれかにクラス分けする。

クラスタリング回路２４の出力がスイッチング回路２５の一方の入力端子２５ａに供給される。スイッチング回路２５の他方の入力端子２５ｂには、カウンタ２６の出力が供給される。カウンタ２６は、クロックＣＫを計数することによって、順次変化するアドレスを発生する。このスイッチング回路２５の出力がデータメモリ２３およびパラメータ用のメモリ２８に対して、それらのアドレスとして供給される。

データメモリ２３には、クラス情報であるアドレスに対して、画素データａ、ｂ、ｃ、ｄおよびｘのサンプル値が書き込まれる。例えばデータメモリ２３のあるアドレスＡＤ０には、画素データａに関して（ａ₁₀、ａ₂₀、・・・、ａ_n0）、画素データｂに関して（ｂ₁₀、ｂ₂₀、・・・、ｂ_n0）、画素データｃに関して（ｃ₁₀、ｃ₂₀、・・・、ｃ_n0）、画素データｄに関して（ｄ₁₀、ｄ₂₀、・・・、ｄ_n0）、画素データｘに関して（ｘ₁₀、ｘ₂₀、・・・、ｘ_n0）が蓄えられる。クラスタリング回路２４からの他のアドレスについても、同様に画素データがデータメモリ２３に蓄えられる。

次に、スイッチング回路２５が入力端子２５ａから２５ｂに切り換えられ、データメモリ２３の内容がカウンタ２６からのアドレスによって順次読み出される。データメモリ２３の読み出し出力が最小自乗法の演算回路２７に供給される。演算回路２７は、最小自乗法によって、誤差を最小とするパラメータｗ１〜ｗ４を求めるものである。

一つのアドレスに注目すると、このアドレスに関しては、下記の連立方程式が成り立つ。
ｘ１＝ｗ１ａ１＋ｗ２ｂ１＋ｗ３ｃ１＋ｗ４ｄ１
ｘ２＝ｗ１ａ２＋ｗ２ｂ２＋ｗ３ｃ２＋ｗ４ｄ２
・
・
・
ｘｎ＝ｗ１ａｎ＋ｗ２ｂｎ＋ｗ３ｃｎ＋ｗ４ｄｎ

ここで、ｘ１〜ｘｎ、ａ１〜ａｎ、ｂ１〜ｂｎ、ｃ１〜ｃｎ、ｄ１〜ｄｎが既知であるので、ｘ１〜ｘｎ（実際の値）に対する誤差の自乗を最小とするようなパラメータｗ１〜ｗ４が求められる。他のアドレスについても同様である。

演算回路２７で求められたパラメータｗ１〜ｗ４がメモリ２８に書き込まれる。このメモリ２８に書き込まれているマッピング表が図１のメモリ１３に対して記憶される。従って、図１の構成において、間引き画素であるｘの値がメモリ１３から出力されるパラメータｗ１〜ｗ４を使用して補間データ作成回路１４で形成できる。

マッピング表としては、上述のパラメータに限らず、出力データの値そのものが得られるものを使用しても良い。この場合には、図１中の補間データ作成回路１４を省略できる。図４は、かかるマッピング表を形成するための構成を示す。図３の構成と同様に同時化された複数の画素データがクラスタリング回路に供給され、クラスタリング回路の出力がデータメモリ３０および度数メモリ３１に対してアドレスとして供給される。

度数メモリ３１の読み出し出力が加算器３２に供給され、＋１され、加算器３２の出力がメモリ３１の同一アドレスに書き込まれる。メモリ３０および３１は、初期状態として各アドレスの内容がゼロにクリアされる。

データメモリ３０から読み出されたデータが乗算器３３に供給され、度数メモリ３１から読み出された度数と乗算される。乗算器３３の出力が加算器３４に供給され、加算器３４にて入力データｘと加算される。加算器３４の出力が割算器３５に被除数として供給される。割算器３５には、加算器３２の出力が除数として供給される。この割算器３５の出力（商）がデータメモリ３０の入力データとされる。

上述の図４の構成では、あるアドレスが最初にアクセスされる時には、メモリ３０および３１の読み出し出力が０であるため、データｘ１がそのままメモリ３０に書き込まれ、メモリ３１の対応するアドレスの値が１とされる。若し、その後で、このアドレスが再びアクセスされると、加算器３２の出力が２であり、加算器３４の出力が（ｘ１＋ｘ２）である。従って、割算器３５の出力が（ｘ１＋ｘ２）／３であり、これがメモリ３０に書き込まれる。一方、度数メモリ３１には、度数２が書き込まれる。更に、その後で、上述のアドレスがアクセスされると、同様の動作によって、メモリ３０のデータが（ｘ１＋ｘ２＋ｘ３）／３に更新され、度数も３に更新される。

上述の動作を所定期間で行うことによって、メモリ３０には、クラスタリング回路の出力によってクラスが指定されると、そのときのデータが出力されるようなマッピング表が蓄えられる。言い換えれば、入力ビデオ信号の複数の画素データが与えられた時に、それをクラスタリングしたものと平均的に対応が取れたデータを出力するマッピング表が形成できる。

図５に示すこの発明の他の実施形態は、ＳＤビデオ信号をＨＤビデオ信号にアップコンバージョンするものである。図５において、４１で示す入力端子にディジタルのＳＤビデオ信号が供給される。このＳＤビデオ信号の例は、ＳＤＶＴＲの再生信号、放送信号等である。このＳＤビデオ信号が同時化回路４２に供給され、同時化回路４２の出力データがクラスタリング回路４３に供給される。クラスタリング回路４３の出力がマッピング表Ｍ１〜Ｍ４がそれぞれ蓄えられたメモリ４４ａ〜４４ｄにアドレス信号として供給される。

図６は、ＳＤ画像およびＨＤ画像の関係を部分的に示す。図６において、○の画素データがＳＤ画像のもので、×の画素データがＨＤ画像のものである。例えば１２個のＳＤ画像の画素データａ〜ｌから４個のＨＤ画像の画素データｙ１〜ｙ４が生成される。メモリ４４ａのマッピング表Ｍ１は、画素データｙ１を発生するためのもので、メモリ４４ｂ、４４ｃ、４４ｄのマッピング表Ｍ２、Ｍ３、Ｍ４は、画素データｙ２、ｙ３、ｙ４をそれぞれ発生するためのものである。

メモリ４４ａ〜４４ｄの読み出し出力がセレクタ４５に供給される。セレクタ４５は、セレクト信号発生回路４６の出力によって制御される。セレクト信号発生回路４６には、ＨＤ画像のサンプルクロックが入力端子４７から供給される。セレクタ４５によって、４個の画素データｙ１〜ｙ４が順番に選択され、これらの画素データが走査変換回路４８に供給される。走査変換回路４８は、ＨＤ画像の画素データをラスター走査の順に出力端子４９に発生する。この出力端子４９には、Ｄ／Ａ変換器（図示せず）を介してＨＤ用モニタが接続される。出力画像の画素数は、入力ＳＤビデオ信号の画素数の４倍であって、ＨＤ用モニタによって、ＨＤ画像を再生できる。

この発明によるパラメータ生成装置、すなわち、メモリ４４ａ〜４４ｄに格納されるマッピング表Ｍ１〜Ｍ４の作成のための構成の一例を図７に示す。図７中で、５１で示す入力端子にディジタルのＨＤビデオ信号が供給される。このＨＤビデオ信号は、マッピング表の作成を考慮した標準的な信号であることが好ましい。実際には、標準的な画像をＨＤビデオカメラにより撮像することによって、あるいは撮像信号をＨＤＶＴＲに記録することによって、ＨＤビデオ信号を得ることができる。

このＨＤビデオ信号が同時化回路５２に供給される。この同時化回路５２は、図６に示す位置関係を有する画素データａ〜ｌとｙ１〜ｙ４とを同時に出力する。画素データａ〜ｌがクラスタリング回路５３に供給される。クラスタリング回路５３は、上述の一実施形態と同様に、階調、パターン等でクラス分けを行なう。このクラスタリング回路５３の出力がマッピング表作成回路５４ａ〜５４ｄに対して共通に供給される。

同時化回路５２からの画素データｙ１〜ｙ４がマッピング表作成回路５４ａ〜５４ｄに対して供給される。マッピング表作成回路５４ａ〜５４ｄは、同一の構成を有している。上述の図４に示される平均値を求める構成と同様のものをマッピング表作成回路５４ａ〜５４ｄとして採用することができる。マッピング表作成回路５４ａの場合には、図４中で画素データｘに代えてｙ１が供給される。この入力以外は、図４と同一の構成をマッピング表作成回路５４ａとして採用できる。さらに、パラメータを使用する図３と同様の構成をマッピング表作成回路５４ａ〜５４ｄとして採用しても良い。

マッピング表作成回路５４ａ〜５４ｄにそれぞれ設けられたメモリには、ＨＤビデオ信号とＳＤビデオ信号との間の相関を示すマッピング表が蓄えられる。言い換えれば、ＳＤビデオ信号の複数のデータが与えられた時に、この複数のデータをクラスタリングしたものと平均的に対応が取れたＨＤビデオ信号の画素データを出力するマッピング表が形成できる。このマッピング表が図５の構成のメモリ４４ａ〜４４ｄ内に格納される。

なお、上述の一実施形態は、ＳＤビデオ信号をＨＤビデオ信号にアップコンバージョンする例であるが、これ以外に、画像の拡大に対しても、この発明は、同様に適用できる。

この発明が適用された伝送システムの概略的なブロック図である。 画素の位置関係を示す略線図である。 マッピング表を作成するための構成の一例のブロック図である。 マッピング表を作成するための構成の他の例のブロック図である。 この発明の他の実施形態のブロック図である。 ＳＤ画像とＨＤ画像の画素の位置関係を示す略線図である。 マッピング表を作成するための構成の一例のブロック図である。

符号の説明

６ 伝送路
１２ クラスタリング回路
１３ マッピング表が記憶されているメモリ
１４ 補間データ作成回路
４１ ＳＤビデオ信号の入力端子
４４ａ〜４４ｄ マッピング表が格納されているメモリ
４９ ＨＤビデオ信号の出力端子

Claims (4)

1. 第１の画像をより高品質な第２の画像に変換する画像変換装置において、
   上記第１の画像に対応する画像を構成する複数の画素データのパターンに応じてクラスタリングされるクラス毎に、上記第１の画像を上記第２の画像に変換する係数であるクラスデータが予め格納されている格納手段と、
   上記第２の画像における生成対象画素である注目画素の位置に対応する上記第１の画像における位置周辺の複数の画素データを入力とし、当該入力される複数の入力画素データを複数のクラスのうちいずれかにクラスタリングするクラスタリング手段と、
   当該入力される複数の入力画素データのクラスに対応した上記クラスデータを上記格納手段から読み出す読み出し手段と、
   上記読み出し手段から読み出された上記クラスデータと入力される上記複数の入力画素データとの積和演算処理を行うことによって、上記注目画素データを生成する画像データ生成手段と、
   生成された上記第２の画像のデータを出力する出力手段と、を有し、
   上記クラスタリング手段は、
   入力される上記複数の入力画素データを高能率符号化し、高能率符号化された当該データのパターンをクラス情報として入力される上記第１の画像の複数の入力データを複数のクラスにクラスタリングすることを特徴とする画像変換装置。
2. 請求項１に記載の画像変換装置において、
   上記高能率符号化は、ＡＤＲＣであることを特徴とする画像変換装置。
3. 第１の画像をより高品質な第２の画像に変換する画像変換方法において、
   上記第２の画像における生成対象画素である注目画素の位置に対応する上記第１の画像における位置周辺の複数の画素データを入力とし、当該入力される複数の入力画素データを複数のクラスのうちいずれかにクラスタリングするクラスタリング行程と、
   上記第１の画像に対応する画像を構成する複数の画素データのパターンに応じてクラスタリングされるクラス毎に、上記第１の画像を上記第２の画像に変換する係数であるクラスデータが予め格納されている格納手段から当該入力される複数の入力画素データのクラスに対応した上記クラスデータを読み出す読み出し行程と、
   上記読み出し行程から読み出された上記クラスデータと入力される上記複数の入力画素データとの積和演算処理を行うことによって、上記注目画素データを生成する画像データ生成行程と、
   生成された上記第２の画像のデータを出力する出力行程と、を有し、
   上記クラスタリング行程は、
   入力される上記複数の入力画素データを高能率符号化し、高能率符号化された当該データのパターンをクラス情報として入力される上記第１の画像の複数の入力データを複数のクラスにクラスタリングすることを特徴とする画像変換方法。
4. 請求項３に記載の画像変換方法において、
   上記高能率符号化は、ＡＤＲＣであることを特徴とする画像変換方法。

Images