JP3608544B2

JP3608544B2 - パラメータ生成装置および方法

Info

Publication number: JP3608544B2
Application number: JP2001334305A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-10-31
Filing date: 2001-10-31
Publication date: 2005-01-12
Anticipated expiration: 2020-01-12
Also published as: JP2002199352A

Description

【０００１】
【発明の属する技術分野】
この発明は、データ圧縮における間引き画素の補間、標準解像度のテレビジョン信号を高解像度のテレビジョン信号に変換するアップコンバージョン等に適用可能なパラメータ生成装置および方法に関する。
【０００２】
【従来の技術】
標準解像度あるいは低解像度（これらをＳＤと略称する）画像を高解像度（ＨＤと略称する）画像に変換するアップコンバージョン、電子ズーム、または画像の拡大においては、補間フィルタによって、不足している画素のデータを補償することがなされている。さらに、伝送データ量を圧縮するために、サブサンプリングによって画素を間引き、受信側でこの間引き画素を補間フィルタによって補間することがなされている。
【０００３】
【発明が解決しようとする課題】
しかしながら、フィルタによる補間で得られた出力画像の解像度が劣化する問題がある。例えばＳＤのビデオ信号をフィルタで補間してＨＤのテレビジョン信号を形成しても、入力ＳＤ信号中に存在していないＨＤ成分（高周波成分）が復元されない。その結果、出力画像の空間的解像度が低下する。
【０００４】
従って、この発明の目的は、高解像度成分を復元することが可能なパラメータ生成装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、データの分布に応じてクラスタリングされたパラメータであるクラスデータが格納される格納手段と、入力される入力画像の複数の入力データを複数のクラスにクラスタリングするクラスタリング手段と、入力される入力画像の複数の入力データのクラスに対応したクラスデータを格納手段から読み出す読出手段と、
読出手段から読み出されたクラスデータと入力される入力画像の複数の入力データとを用いて演算処理を行うことによって、出力画像のデータ全てを生成する画像データ生成手段と、生成された出力画像のデータを出力する画像データ出力手段とを有する画像変換装置のためのパラメータを生成するパラメータ生成装置であって、
入力される複数の入力データの分布に応じて入力される複数の入力データを複数のクラスにクラスタリングし、入力される複数の入力データに対応した複数のクラス情報を出力するクラスタリング手段と、
注目データと注目データの周辺の周辺データとを用いた演算処理によって、出力画像のデータ全てを生成するためのクラス情報に対応した複数のパラメータを求めるパラメータ生成手段と、
クラス情報と複数のパラメータとを格納する格納手段と、を有することを特徴とするパラメータ生成装置である。
【０００６】
請求項５の発明は、入力される入力画像の複数の入力データを複数のクラスにクラスタリングするクラスタリング工程と、データ分布に応じてクラスタリングされたパラメータであるクラスデータが格納されている格納手段から、入力される入力画像の複数の入力データのクラスに対応したクラスデータを読み出す読出工程と、読出工程で読み出されたクラスデータと入力される入力画像の複数の入力データとを用いて演算処理を行うことによって、出力画像のデータ全てを生成する画像データ生成工程と、生成された出力画像のデータを出力する画像データ出力工程とを有する画像変換方法のためのパラメータを生成するパラメータ生成方法であって、
入力される複数の入力データの分布に応じて入力される複数の入力データを複数のクラスにクラスタリングし、入力される複数の入力データに対応した複数のクラス情報を出力するクラスタリング工程と、
注目データと注目データの周辺の周辺データとを用いた演算処理によって、出力画像のデータ全てを生成するためのクラス情報に対応した複数のパラメータを求めるパラメータ生成工程と、
クラス情報と複数のパラメータとを格納する格納工程と、を有することを特徴とするパラメータ生成方法である。
【０００７】
複数の入力データの分布状態に応じたクラス分けがされ、各クラスに関するデータ変換、すなわち、クラス情報を出力データへ変換、またはクラス情報を出力データを形成するためのパラメータに変換するマッピング表が使用される。このマッピング表は、トレーニング用の種々の絵柄の源画像を用いて予め形成されている。従って、このマッピング表によって、入力画像信号に含まれない高解像度成分を復元することができる。
【０００８】
【発明の実施の形態】
以下、この発明の説明の参考のために、間引き圧縮されたデータを伝送し、受信側で間引き画素を復元する伝送システムについて説明する。図１は、かかかる伝送システムを全体的に示す。図１中で、１は、伝送すべきディジタルビデオデータの入力端子である。
【０００９】
入力ディジタルビデオデータがサブサンプリング回路２に供給され、水平方向に一つおきの画素データが間引かれる。図２に示すように、元の画素の配列で×で示す画素が間引き画素を示している。従って、この間引き処理によって、伝送する必要があるデータ量が半分に減少する。
【００１０】
サブサンプリング回路２の出力データが高能率符号化のエンコーダ３に供給される。高能率符号化としては、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）等の直交変換符号化、ＡＤＲＣ（ダイナミックレンジ適応型符号化）等の既知のものを採用できる。このエンコーダ３によって、伝送されるデータ量がより低減される。
【００１１】
エンコーダ３の出力データが送信処理回路４に供給される。送信処理回路４は、エラー訂正符号化、フレーム化、チャンネル符号化等の処理を行なう。送信処理回路４の出力端子５に送信データが発生し、この送信データが伝送路６を介して送信される。伝送路６は、通信路に限らず、磁気記録および再生のプロセスをも意味的に含むものである。
【００１２】
受信データが入力端子７から受信処理回路８に供給される。受信処理回路８は、チャンネル符号化の復号、フレーム分解、エラー訂正等の処理を行なう。受信処理回路８の出力が高能率符号化のデコーダ９に供給される。デコーダ９の復号出力が合成回路１０および同時化回路１１に供給される。
【００１３】
同時化回路１１は、図２に示すように、補間すべき間引き画素ｘの上下左右に位置する伝送画素データａ、ｂ、ｃ、ｄを同時にクラスタリング回路１２および補間データ作成回路１４に対して出力する。クラスタリング回路１２からの出力データ、すなわち、クラス情報がメモリ１３にアドレス信号として供給される。
【００１４】
このメモリ１３には、後述のように形成されたデータ変換用のマッピング表が格納されている。この例では、メモリ１３には、データ変換のための複数のパラメータを含むマッピング表が格納されている。クラスタリング回路１２の出力データと対応するアドレスから読み出されたパラメータが補間データ作成回路１４に供給される。補間データ作成回路１４は、同時化回路１１からの伝送画素データａ、ｂ、ｃ、ｄとメモリ１４からのパラメータｗ１、ｗ２、ｗ３、ｗ４とを使用して、
ｘ＝ｗ１ａ＋ｗ２ｂ＋ｗ３ｃ＋ｗ４ｄ
の演算によって補間データｘを形成する。
【００１５】
この補間データｘが合成回路１０に供給される。合成回路１０は、伝送画素が存在する時にデコーダ９の出力を選択し、間引き画素の位置では、補間データ作成回路１４からの補間データを選択する。従って、合成回路１０の出力端子１５には、受信データと対応する復号ビデオデータが得られる。
【００１６】
メモリ１３には、トレーニングによって予め作成されたマッピング表が格納されている。図３は、この発明によるパラメータ生成装置、すなわち、マッピング表を作成するための構成を示す。図３において、入力端子２１には、ディジタルビデオ信号が供給され、これが同時化回路２２に供給される。このディジタルビデオ信号は、マッピング表の作成を考慮した標準的な信号であることが好ましく、例えば種々の絵柄の静止画像からなる信号を採用できる。図２に示すように、同時化回路２２は、注目画素のデータｘとその上下左右の画素データａ、ｂ、ｃ、ｄとを同時にデータメモリ２３およびクラスタリング回路２４に供給する。但し、図３に示すトレーニング時では、注目画素ｘに関しては、間引きされておらず、実際の値が存在している。
【００１７】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、画素データをクラスタリングし、クラス情報を発生する。クラスタリングとしては、階調によるクラスタリング、パターンによるクラスタリング等を使用できる。階調を使用する時には、画素データが８ビットであると、クラスの個数が極めて多くなるので、各画素のビット数をＡＤＲＣ等の高能率符号化で減少させることが好ましい。パターンを使用する時には、４画素で構成される複数のパターン（例えば平坦、右上に値が上昇、右下に値が減少、等）を用意し、同時化回路２２の出力データを複数のパターンのいずれかにクラス分けする。
【００１８】
クラスタリング回路２４の出力がスイッチング回路２５の一方の入力端子２５ａに供給される。スイッチング回路２５の他方の入力端子２５ｂには、カウンタ２６の出力が供給される。カウンタ２６は、クロックＣＫを計数することによって、順次変化するアドレスを発生する。このスイッチング回路２５の出力がデータメモリ２３およびパラメータ用のメモリ２８に対して、それらのアドレスとして供給される。
【００１９】
データメモリ２３には、クラス情報であるアドレスに対して、画素データａ、ｂ、ｃ、ｄおよびｘのサンプル値が書き込まれる。例えばデータメモリ２３のあるアドレスＡＤ０には、画素データａに関して（ａ_１０、ａ_２０、・・・、ａ_ｎ０）、画素データｂに関して（ｂ_１０、ｂ_２０、・・・、ｂ_ｎ０）、画素データｃに関して（ｃ_１０、ｃ_２０、・・・、ｃ_ｎ０）、画素データｄに関して（ｄ_１０、ｄ_２０、・・・、ｄ_ｎ０）、画素データｘに関して（ｘ_１０、ｘ_２０、・・・、ｘ_ｎ０）が蓄えられる。クラスタリング回路２４からの他のアドレスについても、同様に画素データがデータメモリ２３に蓄えられる。
【００２０】
次に、スイッチング回路２５が入力端子２５ａから２５ｂに切り換えられ、データメモリ２３の内容がカウンタ２６からのアドレスによって順次読み出される。データメモリ２３の読み出し出力が最小自乗法の演算回路２７に供給される。演算回路２７は、最小自乗法によって、誤差を最小とするパラメータｗ１〜ｗ４を求めるものである。
【００２１】
一つのアドレスに注目すると、このアドレスに関しては、下記の連立方程式が成り立つ。
ｘ１＝ｗ１ａ１＋ｗ２ｂ１＋ｗ３ｃ１＋ｗ４ｄ１
ｘ２＝ｗ１ａ２＋ｗ２ｂ２＋ｗ３ｃ２＋ｗ４ｄ２
・
・
・
ｘｎ＝ｗ１ａｎ＋ｗ２ｂｎ＋ｗ３ｃｎ＋ｗ４ｄｎ
【００２２】
ここで、ｘ１〜ｘｎ、ａ１〜ａｎ、ｂ１〜ｂｎ、ｃ１〜ｃｎ、ｄ１〜ｄｎが既知であるので、ｘ１〜ｘｎ（実際の値）に対する誤差の自乗を最小とするようなパラメータｗ１〜ｗ４が求められる。他のアドレスについても同様である。
【００２３】
演算回路２７で求められたパラメータｗ１〜ｗ４がメモリ２８に書き込まれる。このメモリ２８に書き込まれているマッピング表が図１のメモリ１３に対して記憶される。従って、図１の構成において、間引き画素であるｘの値がメモリ１３から出力されるパラメータｗ１〜ｗ４を使用して補間データ作成回路１４で形成できる。
【００２４】
マッピング表としては、上述のパラメータに限らず、出力データの値そのものが得られるものを使用しても良い。この場合には、図１中の補間データ作成回路１４を省略できる。図４は、かかるマッピング表を形成するための構成を示す。図３の構成と同様に同時化された複数の画素データがクラスタリング回路に供給され、クラスタリング回路の出力がデータメモリ３０および度数メモリ３１に対してアドレスとして供給される。
【００２５】
度数メモリ３１の読み出し出力が加算器３２に供給され、＋１され、加算器３２の出力がメモリ３１の同一アドレスに書き込まれる。メモリ３０および３１は、初期状態として各アドレスの内容がゼロにクリアされる。
【００２６】
データメモリ３０から読み出されたデータが乗算器３３に供給され、度数メモリ３１から読み出された度数と乗算される。乗算器３３の出力が加算器３４に供給され、加算器３４にて入力データｘと加算される。加算器３４の出力が割算器３５に被除数として供給される。割算器３５には、加算器３２の出力が除数として供給される。この割算器３５の出力（商）がデータメモリ３０の入力データとされる。
【００２７】
上述の図４の構成では、あるアドレスが最初にアクセスされる時には、メモリ３０および３１の読み出し出力が０であるため、データｘ１がそのままメモリ３０に書き込まれ、メモリ３１の対応するアドレスの値が１とされる。若し、その後で、このアドレスが再びアクセスされると、加算器３２の出力が２であり、加算器３４の出力が（ｘ１＋ｘ２）である。従って、割算器３５の出力が（ｘ１＋ｘ２）／３であり、これがメモリ３０に書き込まれる。一方、度数メモリ３１には、度数２が書き込まれる。更に、その後で、上述のアドレスがアクセスされると、同様の動作によって、メモリ３０のデータが（ｘ１＋ｘ２＋ｘ３）／３に更新され、度数も３に更新される。
【００２８】
上述の動作を所定期間で行うことによって、メモリ３０には、クラスタリング回路の出力によってクラスが指定されると、そのときのデータが出力されるようなマッピング表が蓄えられる。言い換えれば、入力ビデオ信号の複数の画素データが与えられた時に、それをクラスタリングしたものと平均的に対応が取れたデータを出力するマッピング表が形成できる。
【００２９】
図５に示すこの発明の一実施形態は、ＳＤビデオ信号をＨＤビデオ信号にアップコンバージョンするものである。図５において、４１で示す入力端子にディジタルのＳＤビデオ信号が供給される。このＳＤビデオ信号の例は、ＳＤＶＴＲの再生信号、放送信号等である。このＳＤビデオ信号が同時化回路４２に供給され、同時化回路４２の出力データがクラスタリング回路４３に供給される。クラスタリング回路４３の出力がマッピング表Ｍ１〜Ｍ４がそれぞれ蓄えられたメモリ４４ａ〜４４ｄにアドレス信号として供給される。
【００３０】
図６は、ＳＤ画像およびＨＤ画像の関係を部分的に示す。図６において、○の画素データがＳＤ画像のもので、×の画素データがＨＤ画像のものである。例えば１２個のＳＤ画像の画素データａ〜ｌから４個のＨＤ画像の画素データｙ１〜ｙ４が生成される。メモリ４４ａのマッピング表Ｍ１は、画素データｙ１を発生するためのもので、メモリ４４ｂ、４４ｃ、４４ｄのマッピング表Ｍ２、Ｍ３、Ｍ４は、画素データｙ２、ｙ３、ｙ４をそれぞれ発生するためのものである。
【００３１】
メモリ４４ａ〜４４ｄの読み出し出力がセレクタ４５に供給される。セレクタ４５は、セレクト信号発生回路４６の出力によって制御される。セレクト信号発生回路４６には、ＨＤ画像のサンプルクロックが入力端子４７から供給される。セレクタ４５によって、４個の画素データｙ１〜ｙ４が順番に選択され、これらの画素データが走査変換回路４８に供給される。走査変換回路４８は、ＨＤ画像の画素データをラスター走査の順に出力端子４９に発生する。この出力端子４９には、Ｄ／Ａ変換器（図示せず）を介してＨＤ用モニタが接続される。出力画像の画素数は、入力ＳＤビデオ信号の画素数の４倍であって、ＨＤ用モニタによって、ＨＤ画像を再生できる。
【００３２】
この発明によるパラメータ生成装置、すなわち、メモリ４４ａ〜４４ｄに格納されるマッピング表Ｍ１〜Ｍ４の作成のための構成の一例を図７に示す。図７中で、５１で示す入力端子にディジタルのＨＤビデオ信号が供給される。このＨＤビデオ信号は、マッピング表の作成を考慮した標準的な信号であることが好ましい。実際には、標準的な画像をＨＤビデオカメラにより撮像することによって、あるいは撮像信号をＨＤＶＴＲに記録することによって、ＨＤビデオ信号を得ることができる。
【００３３】
このＨＤビデオ信号が同時化回路５２に供給される。この同時化回路５２は、図６に示す位置関係を有する画素データａ〜ｌとｙ１〜ｙ４とを同時に出力する。画素データａ〜ｌがクラスタリング回路５３に供給される。クラスタリング回路５３は、上述の構成例と同様に、階調、パターン等でクラス分けを行なう。このクラスタリング回路５３の出力がマッピング表作成回路５４ａ〜５４ｄに対して共通に供給される。
【００３４】
同時化回路５２からの画素データｙ１〜ｙ４がマッピング表作成回路５４ａ〜５４ｄに対して供給される。マッピング表作成回路５４ａ〜５４ｄは、同一の構成を有している。上述の図４に示される平均値を求める構成と同様のものをマッピング表作成回路５４ａ〜５４ｄとして採用することができる。マッピング表作成回路５４ａの場合には、図４中で画素データｘに代えてｙ１が供給される。この入力以外は、図４と同一の構成をマッピング表作成回路５４ａとして採用できる。さらに、パラメータを使用する図３と同様の構成をマッピング表作成回路５４ａ〜５４ｄとして採用しても良い。
【００３５】
マッピング表作成回路５４ａ〜５４ｄにそれぞれ設けられたメモリには、ＨＤビデオ信号とＳＤビデオ信号との間の相関を示すマッピング表が蓄えられる。言い換えれば、ＳＤビデオ信号の複数のデータが与えられた時に、この複数のデータをクラスタリングしたものと平均的に対応が取れたＨＤビデオ信号の画素データを出力するマッピング表が形成できる。このマッピング表が図５の構成のメモリ４４ａ〜４４ｄ内に格納される。
【００３６】
なお、上述の一実施形態は、ＳＤビデオ信号をＨＤビデオ信号にアップコンバージョンする例であるが、これ以外に、画像の拡大に対しても、この発明は、同様に適用できる。
【００３７】
【発明の効果】
この発明によれば、標準解像度（ＳＤ）のビデオ信号を高解像度（ＨＤ）のビデオ信号に変換し、高解像度の画像をモニタに表示できる。この発明では、ＳＤ画素の間のＨＤ画素だけを生成するだけではなく、元のＳＤ画素の位置の画素も演算によって生成している。このようにＨＤ画素を生成する理由は、ＳＤからＨＤにアップコンバージョンする際にもとのＳＤ画像は、解像度が低い画像であるので、ＳＤ画像の画素と新たに生成したＨＤ画素とが混在した画像は、ＨＤ画像の画質としては不十分となる問題を避けるためである。
【図面の簡単な説明】
【図１】この発明が適用された伝送システムの概略的なブロック図である。
【図２】画素の位置関係を示す略線図である。
【図３】マッピング表を作成するための構成の一例のブロック図である。
【図４】マッピング表を作成するための構成の他の例のブロック図である。
【図５】この発明の一実施形態のブロック図である。
【図６】ＳＤ画像とＨＤ画像の画素の位置関係を示す略線図である。
【図７】マッピング表を作成するための構成の一例のブロック図である。
【符号の説明】
６・・・伝送路、１２・・・クラスタリング回路、１３・・・マッピング表が記憶されているメモリ、１４・・・補間データ作成回路、４１・・・ＳＤビデオ信号の入力端子、４４ａ〜４４ｄ・・・マッピング表が格納されているメモリ、４９・・・ＨＤビデオ信号の出力端子

Claims

データの分布に応じてクラスタリングされたパラメータであるクラスデータが格納される格納手段と、入力される入力画像の複数の入力データを複数のクラスにクラスタリングするクラスタリング手段と、入力される上記入力画像の複数の入力データのクラスに対応した上記クラスデータを上記格納手段から読み出す読出手段と、
上記読出手段から読み出された上記クラスデータと入力される上記入力画像の複数の入力データとを用いて演算処理を行うことによって、出力画像のデータ全てを生成する画像データ生成手段と、生成された上記出力画像のデータを出力する画像データ出力手段とを有する画像変換装置のためのパラメータを生成するパラメータ生成装置であって、
入力される複数の入力データの分布に応じて上記入力される複数の入力データを複数のクラスにクラスタリングし、上記入力される複数の入力データに対応した複数のクラス情報を出力するクラスタリング手段と、
注目データと上記注目データの周辺の周辺データとを用いた演算処理によって、上記出力画像のデータ全てを生成するための上記クラス情報に対応した複数のパラメータを求めるパラメータ生成手段と、
上記クラス情報と上記複数のパラメータとを格納する格納手段と、を有することを特徴とするパラメータ生成装置。
請求項１記載のパラメータ生成装置において、
上記複数の入力データはそれぞれ画像データであって、上記クラスタリング手段は、上記複数の入力データの階調に基づいて、上記複数の入力データを複数のクラスにクラスタリングすることを特徴とするパラメータ生成装置。
請求項１記載のパラメータ生成装置において、
上記複数の入力データはそれぞれ画像データであって、上記クラスタリング手段は、上記複数の入力データのパターンに基づいて、上記複数の入力データを複数のクラスにクラスタリングすることを特徴とするパラメータ生成装置。
請求項１記載のパラメータ生成装置において、
上記パラメータ生成手段は、最小自乗法によって上記複数のパラメータを求めることを特徴とするパラメータ生成装置。
入力される入力画像の複数の入力データを複数のクラスにクラスタリングするクラスタリング工程と、データ分布に応じてクラスタリングされたパラメータであるクラスデータが格納されている格納手段から、入力される上記入力画像の複数の入力データのクラスに対応した上記クラスデータを読み出す読出工程と、上記読出工程で読み出された上記クラスデータと入力される上記入力画像の複数の入力データとを用いて演算処理を行うことによって、出力画像のデータ全てを生成する画像データ生成工程と、生成された上記出力画像のデータを出力する画像データ出力工程とを有する画像変換方法のためのパラメータを生成するパラメータ生成方法であって、
入力される複数の入力データの分布に応じて上記入力される複数の入力データを複数のクラスにクラスタリングし、上記入力される複数の入力データに対応した複数のクラス情報を出力するクラスタリング工程と、
注目データと上記注目データの周辺の周辺データとを用いた演算処理によって、上記出力画像のデータ全てを生成するための上記クラス情報に対応した複数のパラメータを求めるパラメータ生成工程と、
上記クラス情報と上記複数のパラメータとを格納する格納工程と、を有することを特徴とするパラメータ生成方法。
請求項６記載のパラメータ生成方法において、
上記複数の入力データはそれぞれ画像データであって、上記複数の入力データは、上記複数の入力データの階調に基づいて、複数のクラスにクラスタリングされることを特徴とするパラメータ生成方法。
請求項６記載のパラメータ生成方法において、
上記複数の入力データはそれぞれ画像データであって、上記複数の入力データは、上記複数の入力データのパターンに基づいて、複数のクラスにクラスタリングされることを特徴とするパラメータ生成方法。
請求項６記載のパラメータ生成方法において、
上記複数のパラメータは、最小自乗法によって求めることを特徴とするパラメータ生成方法。