JP3780633B2 - 画像信号処理装置及び方法並びに画素移動パターンの学習方法 - Google Patents
画像信号処理装置及び方法並びに画素移動パターンの学習方法 Download PDFInfo
- Publication number
- JP3780633B2 JP3780633B2 JP15886797A JP15886797A JP3780633B2 JP 3780633 B2 JP3780633 B2 JP 3780633B2 JP 15886797 A JP15886797 A JP 15886797A JP 15886797 A JP15886797 A JP 15886797A JP 3780633 B2 JP3780633 B2 JP 3780633B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- pixel
- resolution
- movement pattern
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、標準解像度の画像信号を画素移動により高解像度の画像信号に変換する画像信号処理装置及び方法並びに画素移動のパターンを学習する画素移動パターンの学習方法に関する。
【０００２】
【従来の技術】
従来、画像信号としては、標準解像度（standard definition; SD）のテレビジョン受像器に対応するＳＤ信号と共に、高解像度（high definition; HD）のテレビジョン受像器（以下、ＨＤＴＶと称する。）に対応するＨＤ信号が提供されている。
【０００３】
ところで、上記ＨＤＴＶに対してＳＤ信号が与えられる場合がある。このような場合には、ＳＤ信号をＨＤ信号に変換する信号変換、いわゆるアップコンバートが施される。
【０００４】
【発明が解決しようとする課題】
このアップコンバートの際には、線形補間によって画素を増やす処理を行っていた。しかし、線形補間によるアップコンバートによっては、解像度を向上させることは不可能であった。
【０００５】
この発明は、上述の課題に鑑みてなされるものであって、解像度を向上させる画像信号処理装置及び方法並びに解像度を向上させる際に用いられる予測パラメータを学習する予測パラメータの学習方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像処理装置は、第１の解像度の第１の画像信号を第１の解像度よりも高解像度の第２の解像度の第２の画像信号に変換する画像信号処理装置において、上記第１の画像信号から所定時間毎にブロック化して抽出する領域抽出手段と、上記領域抽出手段にて抽出された上記第１の画像信号のブロックをこのブロック化された信号の波形パターンに基づいて分類する分類手段と、上記分類手段にて取得した分類に対応した上記第１の解像度から上記第２の解像度への変換を行う際の画像信号の時間軸パターンの変換を画素の位置の移動により行う画素移動パターンが読み出される変換テーブルと、上記変換テーブルから読み出した画素移動パターンに基づいて上記第１の画像信号の画素を移動する画素移動手段と、上記画素移動手段にて画素が移動された各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めることにより上記第２の解像度の画像信号を生成する生成手段とを有することを特徴としている。
【０００７】
また、本発明に係る画像処理方法は、第１の解像度の第１の画像信号を第１の解像度よりも高解像度の第２の解像度の第２の画像信号に変換する画像信号処理方法において、
上記第１の画像信号から所定時間毎にブロック化して抽出する領域抽出工程と、上記領域抽出工程にて抽出された上記第１の画像信号のブロックをこのブロック化された信号の波形パターンに基づいて分類する分類工程と、上記分類工程にて取得した分類に対応した上記第１の解像度から上記第２の解像度への変換を行う際の画像信号の時間軸パターンの変換を画素の位置の移動により行う画素移動パターンを変換テーブルから読み出す読み出し工程と、上記変換テーブルから読み出した画素移動パターンに基づいて上記第１の画像信号の画素を移動する画素移動工程と、上記画素移動工程にて画素が移動された各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めることにより上記第２の解像度の画像信号を生成する生成工程とを有することを特徴としている。
【０００８】
この発明に係る画像移動パターンの学習方法は、第１の画像信号から領域を抽出する領域抽出工程と、上記領域抽出工程にて抽出された上記第１の画像信号を分類する分類工程と、上記分類工程にて取得した上記第１の画像信号の分類に応じて、上記第１の画像信号と同一の対象を撮像した、上記第１の画像信号よりも高解像度の第２の画像信号を基準として、上記第１の画像信号の画素移動パターンを算出する算出工程とを有するものである。
【０００９】
【発明の実施の形態】
以下、この発明に係る画像信号処理装置及び方法並びに画素移動パターンの学習方法について、図面を参照しながら詳細に説明する。
【００１０】
画像信号処理装置は、図１に示すように、入力する画像信号を時間軸方向にブロック化する領域抽出手段であるブロック化部１を有している。
【００１１】
このブロック化部１は、例えば５２５本の走査線を有する標準テレビジョン受像機相当の画素数及び画質を有する標準解像度の画像信号であるＳＤ信号を、例えば所定時間毎に抽出したり、或いはトランジェント部分のような変化部分を抽出することによりブロック化する。ここでは、このブロック化部１は、図２中のＢに示すＳＤ信号から、点ａ１、点ｂ１及び点ｃ１にて構成されるトランジェント部を抽出している。なお、点ａ１、点ｂ１及び点ｃ１にて構成されるＳＤ信号のトランジェント部は、対応するＨＤ信号にあっては同図中Ａに示す点ａ０、点ｂ０及び点ｃ０にて構成されるトランジェント部に対応している。
【００１２】
ここで、説明を簡略化するために、図中ＢのＳＤ信号のサンプリング周期は、図中Ａに示す例えば１１２５本の走査線を有するハイビジョンのテレビジョン受像器に対応するＨＤ信号のサンプリング周期の２倍となっている。
【００１３】
また、上記画像信号処理装置は、上記ブロック化部１にてブロック化された画像信号を波形パターンによりクラス分類してクラスを導出する分類部２と、上記クラスに対応する画素移動パターンを読み出される変換テーブル３と、上記画素移動パターンに応じて画像信号の画素を移動する画素移動部４とを有している。
【００１４】
上記分類部２は、上記ブロック化部１からブロック化された信号を与えられ、このブロック化された信号を波形パターンによりクラス分類する。
【００１５】
本発明に係る画素移動パターンの学習方法は、第１の解像度の第１の画像信号から第１の解像度よりも高解像度の第２の解像度の第２の画像信号への変換を第１の画像信号の画素の位置の移動により行う画素移動パターンを学習する画素移動パターンの学習方法であって、上記第１の画像信号から所定時間毎にブロック化して抽出する領域抽出工程と、上記領域抽出工程にて抽出された上記第１の画像信号のブロックをこのブロック化された信号の波形パターンに基づいて分類する分類工程と、上記分類工程にて取得した上記第１の画像信号の分類毎に、上記第１の画像信号と同一の対象を撮像した上記第２の画像信号と、上記第１の画像信号の画素を全ての画素移動パターンにより移動された各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めることにより生成された上記第２の解像度の信号との誤差を計算し、この誤差が最小となる画素移動パターンのカウント値をインクリメントし、上記第１の画像信号の分類毎に計算した全ての画素移動パターンのカウント値が最大値をとる画素移動パターンを当該分類における画素移動パターンとする計算工程とを有することを特徴としている。
【００１６】
このＡＤＲＣによるクラス分類は、本来ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であり、信号レベルの局所的なパターンを短い語長で効率的に表現することができる。
【００１７】
ここで、１ビットＡＤＲＣを例に取って、ＡＤＲＣを説明する。ＡＤＲＣ回路の一例を図３に示す。このＡＤＲＣ回路は、図４に示すように、第１行に図中左から右に画素Ｐ１〜Ｐ３、第２行に同じく画素Ｐ４〜Ｐ６、第３行に同じく画素Ｐ７〜Ｐ９の（３×３）の計９個の画素が配置されたブロックＢに対しＡＤＲＣを施すものである。
【００１８】
即ち、上記ＡＤＲＣ回路は、入力端子１０１からのブロックの順序に変換されたデータに関して、検出回路１０２がブロック毎に最大値ＭＡＸ、最小値ＭＩＮを検出する。減算回路１０３に対してＭＡＸ及びＭＩＮが供給され、その出力にダイナミックレンジＤＲが発生する。入力データ及びＭＩＮが減算回路１０４に供給され、減算回路１０４から最小値が除去されることで、正規化された画素データが発生する。
【００１９】
ダイナミックレンジＤＲが減算回路１０５に供給され、正規化された画素データがダイナミックレンジＤＲで割算され、割算回路１０５の出力データが比較回路１０６に供給される。比較回路１０６では、中央画素Ｐ５以外の８個の画素の割算出力が０．５を基準として、より大きいか、より小さいかが判断される。この結果に応じて、“０”又は“１”のデータＤＴが発生する。この比較出力ＤＴが出力端子１０７に取り出される。この１ビットＡＤＲＣを用いてクラス分割を行えば（３×３）のブロックＢが９ビットのクラスコードで表現される。
【００２０】
上記変換テーブル３は、ＳＤ信号の波形パターンをクラス分類することにより取得したクラスと、画素移動パターンとの対応関係を保持するテーブルである。この変換テーブル３は、後述するように、ＳＤ信号を波形パターンによりクラス分類することにより取得したクラスと、ＳＤ信号をこのＳＤ信号を同一の対象を撮像したＨＤ信号を比較することにより取得した画素移動パターンとの対応関係を解析することにより予め設定される。
【００２１】
上記画素移動部４は、上記変換テーブル３から読み出した画素移動パターンに応じて、上記ブロック化部１から与えられる画像信号の画素を時間軸上で移動させる。
【００２２】
画像信号の画素の時間軸上での移動は、図５中のＢの上側に示す時間軸上での時刻ｔ０１、時刻ｔ０２及び時刻ｔ０３に見られる一様なサンプリング周期を、同図中のＢの下側の時刻ｔ１１、時刻ｔ１２及び時刻ｔ１３に見られるように時間軸パターンを変換することにより達成される。即ち、同図中Ｂの上側の時間のサンプリング周期を単位にすると、時刻ｔ０１は１周期進んで時刻ｔ１１に、時刻ｔ０２は半周期進んで時刻ｔ１２にそれぞれ移動している。時刻ｔ０３は、移動しないまま時刻ｔ１３に留まっている。
【００２３】
この時間パターンの変換により、図中Ａのトランジェント部の画素である点ｕ０、点ｖ０及び点ｗ０は、図中Ｃのトランジェント部の点ｕ１、点ｖ１及び点ｗ１にそれぞれ移動される。その結果、画素移動後の図中Ｃのトランジェント部の傾斜は画素移動前の図中Ａのトランジェント部の傾斜よりも急峻になっている。
【００２４】
このように、上記画素移動部４は、画像信号のトランジェント部の傾斜がより急峻に変化するように画素を移動することにより、この画像信号の解像度を向上させている。
【００２５】
上記図２の例では、ＳＤ信号の画素である同図中の点ａ１、点ｂ１及び点ｃ１にて構成するトランジェント部を含むブロックにおいて、上記変換テーブル３から読み出した画素移動パターンに応じて上記点ａ１、点ｂ１及び点ｃ１を、図中Ｃに示す点ａ２、点ｂ２及び点ｃ２にそれぞれ時間軸上で移動させる。
【００２６】
ここで、図中Ｃにおいては、図中Ｂのサンプリング周期の中点に新たにサンプリング点を設けている。従って、図中Ｃのサンプリング周期は、図中Ｂにおけるサンプリング周期の１／２倍となっている。この結果、図中Ｃに示す画素が移動されたＳＤ信号のサンプリング周期は、図中ＡのＨＤ信号と同じになった。
【００２７】
そして、画素の時間軸方向の位置については、図中Ｂ及びＣを比較すると、図中Ｃにおいて、点ａ１は１サンプリング周期進んで点ａ２に、点ｂ１は１サンプリング周期進んで点ｂ２にそれぞれ移動されるが、点ｃ１は移動されずに点ｃ２として留まり、同様に他の点も元の位置に留まっている。なお、この画素移動部４においては、サンプリング周期を１／２倍して、元のサンプリングの間に新たなサンプリング点を挿入したため、画素が存在しないサンプリング点がある。
【００２８】
さらに、上記画像信号処理装置は、上記ブロック部１から与えられる画像信号と、上記画素移動部４から与えられる画像信号とに基づいて画像信号を補間する補間部５とを有している。
【００２９】
上記補間部５は、上記画素移動部４から与えられる画像信号を補間する。即ち、上記画素移動部４から与えられる画像信号は、上述のように、画素の存在しないサンプリング点を含んでいる。この補間部５においては、画素の存在しないサンプリング点に対して、他のサンプリング点の画素を同じレベルで時間軸方向に複写することにより画像信号の補間を行う。
【００３０】
例えば、図２中のＤの点ｐ０は１サンプリング周期進んだ点ｐ１に、点ｑ０は１サンプリング周期進んだ点ｑ１及び２サンプリング周期進んだ点ｑ２に、点ａ３は１サンプリング周期進んだ点ａ４に、点ｒ０は１サンプリング周期遅れた点ｒ１に、点ｓ０は１サンプリング周期遅れた点ｓ１に、それぞれレベルを保ったまま時間軸方向に複写されている。点ｂ３及び点ｃ３は、時間軸上にて複写されてはいない。なお、図中の点ａ３、ｂ３及びｃ３は図中Ｄの点ａ２、点ｂ２及び点ｃ２にそれぞれ対応している。
【００３１】
このように、画素移動及び補間を施されたＳＤ信号は、図中Ｄに示すように、図中ＡのＨＤ信号にほぼ同じ形となっている。従って、この画像信号処理装置によって、ＳＤ信号からＨＤ信号に解像度の向上を図ることができる。
【００３２】
続いて、画像信号処理方法に係る一連の工程について、図６を参照しながら説明する。この一連の工程は、ステップＳ１からステップＳ５までの５工程から構成される。
【００３３】
ステップＳ１においては、入力するＳＤ信号を、例えば所定時間毎に１ブロックとすることがある。或いは、図２中のＢに示すような、点ａ１、点ｂ１及び点ｃ１をが構成するトランジェント部分を含むＳＤ信号から、このトランジェント部を含む領域を取り出してブロック化することもある。そして、これに続くステップＳ２に進む。
【００３４】
ステップＳ２においては、ステップＳ１にてブロック化された画像信号を与えられ、この画像信号を波形パターンにより、例えばＡＤＲＣによりクラス分類し、ステップＳ３に進む。上記クラス分類については、上述の画像信号処理装置において詳述したので説明を省略する。
【００３５】
ステップＳ３においては、変換テーブル３を参照する。この変換テーブル３は、ＳＤ信号の波形パターンをクラス分類することにより取得したクラスと、画素移動パターンとの対応関係を保持するテーブルである。このステップＳ３では、上記ステップＳ２にて画像信号の波形パターンをクラス分類することにより取得したクラスに対応する画素移動パターンを、上記変換テーブルから読み出し、次のステップＳ４に進む。
【００３６】
ステップＳ４においては、ステップＳ３にて変換テーブルから読み出した画素移動パターンに応じて、上記ステップＳ１にてブロック化された画像信号の画素を移動し、ステップＳ５に進む。この画像信号の画素の移動については、上述の画像信号処理装置にて詳述したので、ここでの説明を省略する。
【００３７】
ステップＳ５においては、ステップＳ５にて画素を移動された画像信号の画素の存在しない区間について、画素のレベルは維持したままで時間軸方向に複写することによって、上記画像信号を補間し、この一連の工程を終了する。
【００３８】
以上説明したように、上記画像信号処理装置及び方法は、ＳＤ信号を波形パターンによるクラス分類により導出したクラスに対応する画素移動パターンを変換テーブルから読み出し、上記ＳＤ信号の画素を上記画素移動パターンに応じて移動させ、この画素を移動させたＳＤ信号にさらに補間処理を施すことにより、ＨＤ信号を出力している。このように、この画像信号処理装置及び方法は、入力されたＳＤ信号より解像度を向上させた画像信号を得ることができる。この画像信号の処理により、ＳＤ信号より高解像度でより細かい表現をすることができるＨＤ信号を、ＳＤ信号から生成することが可能になる。ここでは、入力するＳＤ信号から、トランジェント部分を抽出し、このトランジェント部分を改善した画像信号を出力している。
【００３９】
続いて、上記変換テーブル３を学習により設定する画素移動パターンの学習方法について説明する。上述したように、この変換テーブル３は、クラスと画素移動パターンの対応関係を保持するテーブルである。
【００４０】
この変換テーブル３を作成するための一連の手順は、図７に示すように、ＳＤ信号をブロック化部１にて領域を抽出してブロック化した後に分類部２にてクラス分類すると共に、画素移動パターン計算部１３にて、上記ＳＤ信号と同一の対象を撮像したＨＤ信号を基準として最小二乗法にて画素移動パターンを計算し、この画素移動パターンを判断部１４にて判断した後にメモリ１５に記憶するものである。
【００４１】
ここで、上記ブロック化部１に入力するＳＤ信号はＳＤカメラにて、上記画素移動パターン計算部１３に入力するＨＤ信号はＨＤカメラにて、同一の対象をそれぞれ撮像したものである。但し、上記ＨＤ信号にサブサンプリングやローパスフィルタを用いて処理することによって、同一の対象をＳＤカメラにて撮像したものと同等のＳＤ信号を得ることができる。
【００４２】
上記ブロック化部１は、入力するＳＤ信号を、例えば所定時間毎に抽出したり、或いは、トランジェント部分のような変化部分を抽出して１ブロックとする。
【００４３】
上記信号分類部２は、上記ブロック化部１からブロック化された信号を与えられ、このブロック化された信号２を波形パターンに基づいて、例えばＡＤＲＣによってクラス分類する。
【００４４】
上記画素移動パターン計算部１３は、上記ブロック化部からはブロック化されたＳＤ信号を、上記分類部２からはクラス分類のクラスを、また、上記ＳＤ信号と同一の対象を撮像したＨＤ信号を与えられ、これらに基づいて画素移動パターンを計算する。
【００４５】
即ち、この画素移動パターン計算部１３は、上記分類部２から与えられるクラスに応じて、上記ブロック部１から与えられるブロック化されたＳＤ信号の可能な画素移動を調べ、この画素を移動されたブロック化されたＳＤ信号のＨＤ信号を基準とした最小二乗法を利用して画素移動パターンを導出する。
【００４６】
このような画素移動パターンを導出する一連の工程について、図８を参照しながら説明する。この一連の工程は、ステップＳ１１からステップＳ２０までの１０個の工程から構成される。
【００４７】
最初のステップＳ１１においては、画像パターン番号ｉを１とする。ここで、画像パターンはｍ通り存在するとすると、上記画像パターン番号ｉは１からｍまでの整数値を取る。画像パターン番号ｉを１に設定すると、次のステップＳ１２に進む。
【００４８】
ステップＳ１２においては、画素移動番号ｊを１とする。ここで、画素移動番号ｊは、画素移動のパターンの数がｎ通り存在する場合には、１からｎまでの整数値を取る。また、上記画素移動のパターンの数に対応して存在するメモリを初期化する。即ち、画素移動番号ｈに対応するメモリＭ（ｈ）を、ｈについて１からｎまで０に設定する。そして、これに続くステップＳ１３に進む。
【００４９】
ここで、ＳＤ信号の波形パターンを構成する画素数をｋとすると、対応するＨＤ信号の画素数は２ｋ−１であるから、画素順序を変えないような画素移動のパターンの数ｎは、
【００５０】
【数１】
【００５１】
にて与えられる。
【００５２】
ステップＳ１３においては、画素移動番号ｊについての最小二乗誤差の和を計算する。即ち、画素移動番号ｊに応じて画素を移動したＳＤ信号と、このＳＤ信号と同一の対象を撮像したＨＤ信号との二乗誤差を算出し、次のステップＳ１４に進む。
【００５３】
ステップＳ１４においては、画素移動番号ｊが１であるか否かについて判断する。そして、画素移動番号ｊが１場合には“ＹＥＳ”としてステップＳ１６に進み、そうでない場合には“ＮＯ”としてステップＳ１５に進む。
【００５４】
ステップＳ１５においては、ステップＳ１５で算出した画素移動番号ｊについての最小二乗誤差Ｘｊが、最小二乗誤差の最小値Ｘｍｉｎよりも小さいか否かについて判断する。そして、画素移動番号ｊについての最小二乗誤差Ｘｊが最小二乗誤差の最小値Ｘｍｉｎよりも小さい場合には“ＹＥＳ”としてステップＳ１６に進み、そうでない場合には“ＮＯ”としてステップＳ１７に進む。
【００５５】
ステップＳ１６においては、最小二乗誤差の最小値Ｘｍｉｎを画素移動番号ｊについての最小二乗誤差Ｘｊに設定し、上記Ｘｍｉｎに対応する画素移動番号Ｊｍｉｎを上記画素移動番号ｊに設定する。
【００５６】
ステップＳ１７においては、全ての画素移動が終了したか否かについて判断する。即ち、画素移動番号ｊが画素移動のパターンの総数ｎとに等しいか否かについて判断する。そして、画素移動番号ｊが画素移動のパターンの総数ｎに等しい場合には“ＹＥＳ”としてステップＳ１７に進み、そうでない場合には“ＮＯ”として画素移動番号ｊを１増加させてステップＳ１３に戻る。
【００５７】
ステップＳ１８においては、ステップＳ１６にて求めた最小二乗誤差の最小値Ｘｍｉｎの画素移動番号Ｊｍｉｎに対応するメモリＭ（Ｊｍｉｎ）に１を加算して、ステップＳ１９に進む。
【００５８】
ステップＳ１９においては、画像パターン番号ｉが画像パターンの総数ｍに等しいか否かについて判断する。そして、画像パターン番号ｉが画像パターンの総数ｍに等しい場合には“ＹＥＳ”としてステップＳ２０に進み、そうでない場合には“ＮＯ”として画像パターン番号ｉに１を加算してステップＳ１２に戻る。
【００５９】
ステップＳ２０においては、上記メモリＭについて最大値を検索する。そして、最大値を取る移動パターンを、その分類における移動パターンとする。
【００６０】
このように、上記画素移動パターン計算部１３は、画素移動パターンをＨＤ信号を基準として最小二乗法を利用して計算している。
【００６１】
上記図７中の判断部１４は、上記図７中の画素移動パターン算出部１３にて算出された、クラスと画素移動パターンとの対応関係について判断を行う。そして、所定の基準を充足するものを上記メモリ１５に送る。
【００６２】
上記メモリ１５は、上記判断部１４にて決定されたクラスと画素移動パターンの対応関係を記憶する。このメモリ１４に記憶されたクラスと画素移動パターンとの対応関係は、必要な場合に読み出されて上記変換テーブル３に設定される。
【００６３】
以上説明したように、クラスと画素移動パターンとの対応関係は、ＳＤ信号から導出した、例えばＡＤＲＣのようなクラス分類によるクラスと、上記ＳＤ信号と同一の対象を撮像したＨＤ信号から最小二乗法を利用して導出した画素移動パターンとから学習によって得ることができる。
【００６４】
このような学習により、ＳＤ信号に対応するクラスと、このクラスに応じてＳＤ信号をＨＤに変換する画素移動パターンが得られ、この対応関係を利用することにより、ＳＤ信号をＨＤ信号に変換することが可能になる。
【００６５】
なお、この具体例においては、ＳＤ信号からＨＤ信号へのアップコンバージョンについて説明したが、この発明はこれに限定されない。例えば、ＳＤ信号からＳＤ信号への変換において、水平画素数を向上させることもできる。
【００６６】
また、上述の説明においては、水平方向についての変換について説明したが、この発明は水平方向への変換に限定されずに、水平方向及び垂直方向について提供することができる。
【００６７】
そして、上述の説明においては、ＳＤ信号の解像度を向上させてＨＤ信号に変換する具体例について述べたが、この発明はこの具体例に限られず、画像信号の解像度を高めて画質を向上させる用途に広く利用することができる。
【００６８】
【発明の効果】
上述したように、上記画像信号処理装置は、ＳＤ信号を波形パターンによりクラス分類して導出したクラスについて、このクラスに対応する画素移動パターンを変換テーブルから読み出し、この画素移動パターンに応じてＳＤ信号を画素移動して補間することにより、ＨＤ信号に変換している。従って、この画像信号処理装置は、入力されたＳＤ信号から、このＳＤ信号よりも解像度の高いＨＤ信号を得ることができる。
【００６９】
また、上記画像信号処理方法は、ＳＤ信号を波形パターンによりクラス分類して導出したクラスについて、このクラスに対応する画素移動パターンに応じてＳＤ信号を画素移動して補間することにより、ＨＤ信号に変換している。従って、この画像信号処理方法は、入力されたＳＤ信号から、このＳＤ信号よりも解像度の高いＨＤ信号を得ることができる。
【００７０】
さらに、上記画素移動パターンの学習方法は、同一の対象を撮像したＳＤ信号及びＨＤ信号について、上記ＳＤ信号の画素移動パターンと上記ＨＤ信号との最小二乗誤差を算出することにより、画素移動パターンを決定している。従って、この学習方法は実際の撮像信号に基づいて、ＳＤ信号からＨＤ信号に変換する画素移動パターンを導出することができる。
【図面の簡単な説明】
【図１】画像信号処理装置の概略的な構造を示すブロック図である。
【図２】画像信号の画素移動の一例を示すタイムチャートである。
【図３】適応型ダイナミックレンジ符号化（ADRC）回路の回路図である。
【図４】画像信号のブロックの一例を示すブロック図である。
【図５】時間軸パターンの変換を示す概念図である。
【図６】画像信号処理方法の一連の手順を示すフローチャートである。
【図７】画素移動パターンの学習方法の手順を示すブロック図である。
【図８】画素移動パターンの学習方法における画像信号から画素移動を導出する一連の手順を示すフローチャートである。
【符号の説明】
２ 分類部、３ 変換テーブル、４ 画素移動部、５ 補間部
【発明の属する技術分野】
この発明は、標準解像度の画像信号を画素移動により高解像度の画像信号に変換する画像信号処理装置及び方法並びに画素移動のパターンを学習する画素移動パターンの学習方法に関する。
【０００２】
【従来の技術】
従来、画像信号としては、標準解像度（standard definition; SD）のテレビジョン受像器に対応するＳＤ信号と共に、高解像度（high definition; HD）のテレビジョン受像器（以下、ＨＤＴＶと称する。）に対応するＨＤ信号が提供されている。
【０００３】
ところで、上記ＨＤＴＶに対してＳＤ信号が与えられる場合がある。このような場合には、ＳＤ信号をＨＤ信号に変換する信号変換、いわゆるアップコンバートが施される。
【０００４】
【発明が解決しようとする課題】
このアップコンバートの際には、線形補間によって画素を増やす処理を行っていた。しかし、線形補間によるアップコンバートによっては、解像度を向上させることは不可能であった。
【０００５】
この発明は、上述の課題に鑑みてなされるものであって、解像度を向上させる画像信号処理装置及び方法並びに解像度を向上させる際に用いられる予測パラメータを学習する予測パラメータの学習方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像処理装置は、第１の解像度の第１の画像信号を第１の解像度よりも高解像度の第２の解像度の第２の画像信号に変換する画像信号処理装置において、上記第１の画像信号から所定時間毎にブロック化して抽出する領域抽出手段と、上記領域抽出手段にて抽出された上記第１の画像信号のブロックをこのブロック化された信号の波形パターンに基づいて分類する分類手段と、上記分類手段にて取得した分類に対応した上記第１の解像度から上記第２の解像度への変換を行う際の画像信号の時間軸パターンの変換を画素の位置の移動により行う画素移動パターンが読み出される変換テーブルと、上記変換テーブルから読み出した画素移動パターンに基づいて上記第１の画像信号の画素を移動する画素移動手段と、上記画素移動手段にて画素が移動された各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めることにより上記第２の解像度の画像信号を生成する生成手段とを有することを特徴としている。
【０００７】
また、本発明に係る画像処理方法は、第１の解像度の第１の画像信号を第１の解像度よりも高解像度の第２の解像度の第２の画像信号に変換する画像信号処理方法において、
上記第１の画像信号から所定時間毎にブロック化して抽出する領域抽出工程と、上記領域抽出工程にて抽出された上記第１の画像信号のブロックをこのブロック化された信号の波形パターンに基づいて分類する分類工程と、上記分類工程にて取得した分類に対応した上記第１の解像度から上記第２の解像度への変換を行う際の画像信号の時間軸パターンの変換を画素の位置の移動により行う画素移動パターンを変換テーブルから読み出す読み出し工程と、上記変換テーブルから読み出した画素移動パターンに基づいて上記第１の画像信号の画素を移動する画素移動工程と、上記画素移動工程にて画素が移動された各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めることにより上記第２の解像度の画像信号を生成する生成工程とを有することを特徴としている。
【０００８】
この発明に係る画像移動パターンの学習方法は、第１の画像信号から領域を抽出する領域抽出工程と、上記領域抽出工程にて抽出された上記第１の画像信号を分類する分類工程と、上記分類工程にて取得した上記第１の画像信号の分類に応じて、上記第１の画像信号と同一の対象を撮像した、上記第１の画像信号よりも高解像度の第２の画像信号を基準として、上記第１の画像信号の画素移動パターンを算出する算出工程とを有するものである。
【０００９】
【発明の実施の形態】
以下、この発明に係る画像信号処理装置及び方法並びに画素移動パターンの学習方法について、図面を参照しながら詳細に説明する。
【００１０】
画像信号処理装置は、図１に示すように、入力する画像信号を時間軸方向にブロック化する領域抽出手段であるブロック化部１を有している。
【００１１】
このブロック化部１は、例えば５２５本の走査線を有する標準テレビジョン受像機相当の画素数及び画質を有する標準解像度の画像信号であるＳＤ信号を、例えば所定時間毎に抽出したり、或いはトランジェント部分のような変化部分を抽出することによりブロック化する。ここでは、このブロック化部１は、図２中のＢに示すＳＤ信号から、点ａ１、点ｂ１及び点ｃ１にて構成されるトランジェント部を抽出している。なお、点ａ１、点ｂ１及び点ｃ１にて構成されるＳＤ信号のトランジェント部は、対応するＨＤ信号にあっては同図中Ａに示す点ａ０、点ｂ０及び点ｃ０にて構成されるトランジェント部に対応している。
【００１２】
ここで、説明を簡略化するために、図中ＢのＳＤ信号のサンプリング周期は、図中Ａに示す例えば１１２５本の走査線を有するハイビジョンのテレビジョン受像器に対応するＨＤ信号のサンプリング周期の２倍となっている。
【００１３】
また、上記画像信号処理装置は、上記ブロック化部１にてブロック化された画像信号を波形パターンによりクラス分類してクラスを導出する分類部２と、上記クラスに対応する画素移動パターンを読み出される変換テーブル３と、上記画素移動パターンに応じて画像信号の画素を移動する画素移動部４とを有している。
【００１４】
上記分類部２は、上記ブロック化部１からブロック化された信号を与えられ、このブロック化された信号を波形パターンによりクラス分類する。
【００１５】
本発明に係る画素移動パターンの学習方法は、第１の解像度の第１の画像信号から第１の解像度よりも高解像度の第２の解像度の第２の画像信号への変換を第１の画像信号の画素の位置の移動により行う画素移動パターンを学習する画素移動パターンの学習方法であって、上記第１の画像信号から所定時間毎にブロック化して抽出する領域抽出工程と、上記領域抽出工程にて抽出された上記第１の画像信号のブロックをこのブロック化された信号の波形パターンに基づいて分類する分類工程と、上記分類工程にて取得した上記第１の画像信号の分類毎に、上記第１の画像信号と同一の対象を撮像した上記第２の画像信号と、上記第１の画像信号の画素を全ての画素移動パターンにより移動された各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めることにより生成された上記第２の解像度の信号との誤差を計算し、この誤差が最小となる画素移動パターンのカウント値をインクリメントし、上記第１の画像信号の分類毎に計算した全ての画素移動パターンのカウント値が最大値をとる画素移動パターンを当該分類における画素移動パターンとする計算工程とを有することを特徴としている。
【００１６】
このＡＤＲＣによるクラス分類は、本来ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であり、信号レベルの局所的なパターンを短い語長で効率的に表現することができる。
【００１７】
ここで、１ビットＡＤＲＣを例に取って、ＡＤＲＣを説明する。ＡＤＲＣ回路の一例を図３に示す。このＡＤＲＣ回路は、図４に示すように、第１行に図中左から右に画素Ｐ１〜Ｐ３、第２行に同じく画素Ｐ４〜Ｐ６、第３行に同じく画素Ｐ７〜Ｐ９の（３×３）の計９個の画素が配置されたブロックＢに対しＡＤＲＣを施すものである。
【００１８】
即ち、上記ＡＤＲＣ回路は、入力端子１０１からのブロックの順序に変換されたデータに関して、検出回路１０２がブロック毎に最大値ＭＡＸ、最小値ＭＩＮを検出する。減算回路１０３に対してＭＡＸ及びＭＩＮが供給され、その出力にダイナミックレンジＤＲが発生する。入力データ及びＭＩＮが減算回路１０４に供給され、減算回路１０４から最小値が除去されることで、正規化された画素データが発生する。
【００１９】
ダイナミックレンジＤＲが減算回路１０５に供給され、正規化された画素データがダイナミックレンジＤＲで割算され、割算回路１０５の出力データが比較回路１０６に供給される。比較回路１０６では、中央画素Ｐ５以外の８個の画素の割算出力が０．５を基準として、より大きいか、より小さいかが判断される。この結果に応じて、“０”又は“１”のデータＤＴが発生する。この比較出力ＤＴが出力端子１０７に取り出される。この１ビットＡＤＲＣを用いてクラス分割を行えば（３×３）のブロックＢが９ビットのクラスコードで表現される。
【００２０】
上記変換テーブル３は、ＳＤ信号の波形パターンをクラス分類することにより取得したクラスと、画素移動パターンとの対応関係を保持するテーブルである。この変換テーブル３は、後述するように、ＳＤ信号を波形パターンによりクラス分類することにより取得したクラスと、ＳＤ信号をこのＳＤ信号を同一の対象を撮像したＨＤ信号を比較することにより取得した画素移動パターンとの対応関係を解析することにより予め設定される。
【００２１】
上記画素移動部４は、上記変換テーブル３から読み出した画素移動パターンに応じて、上記ブロック化部１から与えられる画像信号の画素を時間軸上で移動させる。
【００２２】
画像信号の画素の時間軸上での移動は、図５中のＢの上側に示す時間軸上での時刻ｔ０１、時刻ｔ０２及び時刻ｔ０３に見られる一様なサンプリング周期を、同図中のＢの下側の時刻ｔ１１、時刻ｔ１２及び時刻ｔ１３に見られるように時間軸パターンを変換することにより達成される。即ち、同図中Ｂの上側の時間のサンプリング周期を単位にすると、時刻ｔ０１は１周期進んで時刻ｔ１１に、時刻ｔ０２は半周期進んで時刻ｔ１２にそれぞれ移動している。時刻ｔ０３は、移動しないまま時刻ｔ１３に留まっている。
【００２３】
この時間パターンの変換により、図中Ａのトランジェント部の画素である点ｕ０、点ｖ０及び点ｗ０は、図中Ｃのトランジェント部の点ｕ１、点ｖ１及び点ｗ１にそれぞれ移動される。その結果、画素移動後の図中Ｃのトランジェント部の傾斜は画素移動前の図中Ａのトランジェント部の傾斜よりも急峻になっている。
【００２４】
このように、上記画素移動部４は、画像信号のトランジェント部の傾斜がより急峻に変化するように画素を移動することにより、この画像信号の解像度を向上させている。
【００２５】
上記図２の例では、ＳＤ信号の画素である同図中の点ａ１、点ｂ１及び点ｃ１にて構成するトランジェント部を含むブロックにおいて、上記変換テーブル３から読み出した画素移動パターンに応じて上記点ａ１、点ｂ１及び点ｃ１を、図中Ｃに示す点ａ２、点ｂ２及び点ｃ２にそれぞれ時間軸上で移動させる。
【００２６】
ここで、図中Ｃにおいては、図中Ｂのサンプリング周期の中点に新たにサンプリング点を設けている。従って、図中Ｃのサンプリング周期は、図中Ｂにおけるサンプリング周期の１／２倍となっている。この結果、図中Ｃに示す画素が移動されたＳＤ信号のサンプリング周期は、図中ＡのＨＤ信号と同じになった。
【００２７】
そして、画素の時間軸方向の位置については、図中Ｂ及びＣを比較すると、図中Ｃにおいて、点ａ１は１サンプリング周期進んで点ａ２に、点ｂ１は１サンプリング周期進んで点ｂ２にそれぞれ移動されるが、点ｃ１は移動されずに点ｃ２として留まり、同様に他の点も元の位置に留まっている。なお、この画素移動部４においては、サンプリング周期を１／２倍して、元のサンプリングの間に新たなサンプリング点を挿入したため、画素が存在しないサンプリング点がある。
【００２８】
さらに、上記画像信号処理装置は、上記ブロック部１から与えられる画像信号と、上記画素移動部４から与えられる画像信号とに基づいて画像信号を補間する補間部５とを有している。
【００２９】
上記補間部５は、上記画素移動部４から与えられる画像信号を補間する。即ち、上記画素移動部４から与えられる画像信号は、上述のように、画素の存在しないサンプリング点を含んでいる。この補間部５においては、画素の存在しないサンプリング点に対して、他のサンプリング点の画素を同じレベルで時間軸方向に複写することにより画像信号の補間を行う。
【００３０】
例えば、図２中のＤの点ｐ０は１サンプリング周期進んだ点ｐ１に、点ｑ０は１サンプリング周期進んだ点ｑ１及び２サンプリング周期進んだ点ｑ２に、点ａ３は１サンプリング周期進んだ点ａ４に、点ｒ０は１サンプリング周期遅れた点ｒ１に、点ｓ０は１サンプリング周期遅れた点ｓ１に、それぞれレベルを保ったまま時間軸方向に複写されている。点ｂ３及び点ｃ３は、時間軸上にて複写されてはいない。なお、図中の点ａ３、ｂ３及びｃ３は図中Ｄの点ａ２、点ｂ２及び点ｃ２にそれぞれ対応している。
【００３１】
このように、画素移動及び補間を施されたＳＤ信号は、図中Ｄに示すように、図中ＡのＨＤ信号にほぼ同じ形となっている。従って、この画像信号処理装置によって、ＳＤ信号からＨＤ信号に解像度の向上を図ることができる。
【００３２】
続いて、画像信号処理方法に係る一連の工程について、図６を参照しながら説明する。この一連の工程は、ステップＳ１からステップＳ５までの５工程から構成される。
【００３３】
ステップＳ１においては、入力するＳＤ信号を、例えば所定時間毎に１ブロックとすることがある。或いは、図２中のＢに示すような、点ａ１、点ｂ１及び点ｃ１をが構成するトランジェント部分を含むＳＤ信号から、このトランジェント部を含む領域を取り出してブロック化することもある。そして、これに続くステップＳ２に進む。
【００３４】
ステップＳ２においては、ステップＳ１にてブロック化された画像信号を与えられ、この画像信号を波形パターンにより、例えばＡＤＲＣによりクラス分類し、ステップＳ３に進む。上記クラス分類については、上述の画像信号処理装置において詳述したので説明を省略する。
【００３５】
ステップＳ３においては、変換テーブル３を参照する。この変換テーブル３は、ＳＤ信号の波形パターンをクラス分類することにより取得したクラスと、画素移動パターンとの対応関係を保持するテーブルである。このステップＳ３では、上記ステップＳ２にて画像信号の波形パターンをクラス分類することにより取得したクラスに対応する画素移動パターンを、上記変換テーブルから読み出し、次のステップＳ４に進む。
【００３６】
ステップＳ４においては、ステップＳ３にて変換テーブルから読み出した画素移動パターンに応じて、上記ステップＳ１にてブロック化された画像信号の画素を移動し、ステップＳ５に進む。この画像信号の画素の移動については、上述の画像信号処理装置にて詳述したので、ここでの説明を省略する。
【００３７】
ステップＳ５においては、ステップＳ５にて画素を移動された画像信号の画素の存在しない区間について、画素のレベルは維持したままで時間軸方向に複写することによって、上記画像信号を補間し、この一連の工程を終了する。
【００３８】
以上説明したように、上記画像信号処理装置及び方法は、ＳＤ信号を波形パターンによるクラス分類により導出したクラスに対応する画素移動パターンを変換テーブルから読み出し、上記ＳＤ信号の画素を上記画素移動パターンに応じて移動させ、この画素を移動させたＳＤ信号にさらに補間処理を施すことにより、ＨＤ信号を出力している。このように、この画像信号処理装置及び方法は、入力されたＳＤ信号より解像度を向上させた画像信号を得ることができる。この画像信号の処理により、ＳＤ信号より高解像度でより細かい表現をすることができるＨＤ信号を、ＳＤ信号から生成することが可能になる。ここでは、入力するＳＤ信号から、トランジェント部分を抽出し、このトランジェント部分を改善した画像信号を出力している。
【００３９】
続いて、上記変換テーブル３を学習により設定する画素移動パターンの学習方法について説明する。上述したように、この変換テーブル３は、クラスと画素移動パターンの対応関係を保持するテーブルである。
【００４０】
この変換テーブル３を作成するための一連の手順は、図７に示すように、ＳＤ信号をブロック化部１にて領域を抽出してブロック化した後に分類部２にてクラス分類すると共に、画素移動パターン計算部１３にて、上記ＳＤ信号と同一の対象を撮像したＨＤ信号を基準として最小二乗法にて画素移動パターンを計算し、この画素移動パターンを判断部１４にて判断した後にメモリ１５に記憶するものである。
【００４１】
ここで、上記ブロック化部１に入力するＳＤ信号はＳＤカメラにて、上記画素移動パターン計算部１３に入力するＨＤ信号はＨＤカメラにて、同一の対象をそれぞれ撮像したものである。但し、上記ＨＤ信号にサブサンプリングやローパスフィルタを用いて処理することによって、同一の対象をＳＤカメラにて撮像したものと同等のＳＤ信号を得ることができる。
【００４２】
上記ブロック化部１は、入力するＳＤ信号を、例えば所定時間毎に抽出したり、或いは、トランジェント部分のような変化部分を抽出して１ブロックとする。
【００４３】
上記信号分類部２は、上記ブロック化部１からブロック化された信号を与えられ、このブロック化された信号２を波形パターンに基づいて、例えばＡＤＲＣによってクラス分類する。
【００４４】
上記画素移動パターン計算部１３は、上記ブロック化部からはブロック化されたＳＤ信号を、上記分類部２からはクラス分類のクラスを、また、上記ＳＤ信号と同一の対象を撮像したＨＤ信号を与えられ、これらに基づいて画素移動パターンを計算する。
【００４５】
即ち、この画素移動パターン計算部１３は、上記分類部２から与えられるクラスに応じて、上記ブロック部１から与えられるブロック化されたＳＤ信号の可能な画素移動を調べ、この画素を移動されたブロック化されたＳＤ信号のＨＤ信号を基準とした最小二乗法を利用して画素移動パターンを導出する。
【００４６】
このような画素移動パターンを導出する一連の工程について、図８を参照しながら説明する。この一連の工程は、ステップＳ１１からステップＳ２０までの１０個の工程から構成される。
【００４７】
最初のステップＳ１１においては、画像パターン番号ｉを１とする。ここで、画像パターンはｍ通り存在するとすると、上記画像パターン番号ｉは１からｍまでの整数値を取る。画像パターン番号ｉを１に設定すると、次のステップＳ１２に進む。
【００４８】
ステップＳ１２においては、画素移動番号ｊを１とする。ここで、画素移動番号ｊは、画素移動のパターンの数がｎ通り存在する場合には、１からｎまでの整数値を取る。また、上記画素移動のパターンの数に対応して存在するメモリを初期化する。即ち、画素移動番号ｈに対応するメモリＭ（ｈ）を、ｈについて１からｎまで０に設定する。そして、これに続くステップＳ１３に進む。
【００４９】
ここで、ＳＤ信号の波形パターンを構成する画素数をｋとすると、対応するＨＤ信号の画素数は２ｋ−１であるから、画素順序を変えないような画素移動のパターンの数ｎは、
【００５０】
【数１】
にて与えられる。
【００５２】
ステップＳ１３においては、画素移動番号ｊについての最小二乗誤差の和を計算する。即ち、画素移動番号ｊに応じて画素を移動したＳＤ信号と、このＳＤ信号と同一の対象を撮像したＨＤ信号との二乗誤差を算出し、次のステップＳ１４に進む。
【００５３】
ステップＳ１４においては、画素移動番号ｊが１であるか否かについて判断する。そして、画素移動番号ｊが１場合には“ＹＥＳ”としてステップＳ１６に進み、そうでない場合には“ＮＯ”としてステップＳ１５に進む。
【００５４】
ステップＳ１５においては、ステップＳ１５で算出した画素移動番号ｊについての最小二乗誤差Ｘｊが、最小二乗誤差の最小値Ｘｍｉｎよりも小さいか否かについて判断する。そして、画素移動番号ｊについての最小二乗誤差Ｘｊが最小二乗誤差の最小値Ｘｍｉｎよりも小さい場合には“ＹＥＳ”としてステップＳ１６に進み、そうでない場合には“ＮＯ”としてステップＳ１７に進む。
【００５５】
ステップＳ１６においては、最小二乗誤差の最小値Ｘｍｉｎを画素移動番号ｊについての最小二乗誤差Ｘｊに設定し、上記Ｘｍｉｎに対応する画素移動番号Ｊｍｉｎを上記画素移動番号ｊに設定する。
【００５６】
ステップＳ１７においては、全ての画素移動が終了したか否かについて判断する。即ち、画素移動番号ｊが画素移動のパターンの総数ｎとに等しいか否かについて判断する。そして、画素移動番号ｊが画素移動のパターンの総数ｎに等しい場合には“ＹＥＳ”としてステップＳ１７に進み、そうでない場合には“ＮＯ”として画素移動番号ｊを１増加させてステップＳ１３に戻る。
【００５７】
ステップＳ１８においては、ステップＳ１６にて求めた最小二乗誤差の最小値Ｘｍｉｎの画素移動番号Ｊｍｉｎに対応するメモリＭ（Ｊｍｉｎ）に１を加算して、ステップＳ１９に進む。
【００５８】
ステップＳ１９においては、画像パターン番号ｉが画像パターンの総数ｍに等しいか否かについて判断する。そして、画像パターン番号ｉが画像パターンの総数ｍに等しい場合には“ＹＥＳ”としてステップＳ２０に進み、そうでない場合には“ＮＯ”として画像パターン番号ｉに１を加算してステップＳ１２に戻る。
【００５９】
ステップＳ２０においては、上記メモリＭについて最大値を検索する。そして、最大値を取る移動パターンを、その分類における移動パターンとする。
【００６０】
このように、上記画素移動パターン計算部１３は、画素移動パターンをＨＤ信号を基準として最小二乗法を利用して計算している。
【００６１】
上記図７中の判断部１４は、上記図７中の画素移動パターン算出部１３にて算出された、クラスと画素移動パターンとの対応関係について判断を行う。そして、所定の基準を充足するものを上記メモリ１５に送る。
【００６２】
上記メモリ１５は、上記判断部１４にて決定されたクラスと画素移動パターンの対応関係を記憶する。このメモリ１４に記憶されたクラスと画素移動パターンとの対応関係は、必要な場合に読み出されて上記変換テーブル３に設定される。
【００６３】
以上説明したように、クラスと画素移動パターンとの対応関係は、ＳＤ信号から導出した、例えばＡＤＲＣのようなクラス分類によるクラスと、上記ＳＤ信号と同一の対象を撮像したＨＤ信号から最小二乗法を利用して導出した画素移動パターンとから学習によって得ることができる。
【００６４】
このような学習により、ＳＤ信号に対応するクラスと、このクラスに応じてＳＤ信号をＨＤに変換する画素移動パターンが得られ、この対応関係を利用することにより、ＳＤ信号をＨＤ信号に変換することが可能になる。
【００６５】
なお、この具体例においては、ＳＤ信号からＨＤ信号へのアップコンバージョンについて説明したが、この発明はこれに限定されない。例えば、ＳＤ信号からＳＤ信号への変換において、水平画素数を向上させることもできる。
【００６６】
また、上述の説明においては、水平方向についての変換について説明したが、この発明は水平方向への変換に限定されずに、水平方向及び垂直方向について提供することができる。
【００６７】
そして、上述の説明においては、ＳＤ信号の解像度を向上させてＨＤ信号に変換する具体例について述べたが、この発明はこの具体例に限られず、画像信号の解像度を高めて画質を向上させる用途に広く利用することができる。
【００６８】
【発明の効果】
上述したように、上記画像信号処理装置は、ＳＤ信号を波形パターンによりクラス分類して導出したクラスについて、このクラスに対応する画素移動パターンを変換テーブルから読み出し、この画素移動パターンに応じてＳＤ信号を画素移動して補間することにより、ＨＤ信号に変換している。従って、この画像信号処理装置は、入力されたＳＤ信号から、このＳＤ信号よりも解像度の高いＨＤ信号を得ることができる。
【００６９】
また、上記画像信号処理方法は、ＳＤ信号を波形パターンによりクラス分類して導出したクラスについて、このクラスに対応する画素移動パターンに応じてＳＤ信号を画素移動して補間することにより、ＨＤ信号に変換している。従って、この画像信号処理方法は、入力されたＳＤ信号から、このＳＤ信号よりも解像度の高いＨＤ信号を得ることができる。
【００７０】
さらに、上記画素移動パターンの学習方法は、同一の対象を撮像したＳＤ信号及びＨＤ信号について、上記ＳＤ信号の画素移動パターンと上記ＨＤ信号との最小二乗誤差を算出することにより、画素移動パターンを決定している。従って、この学習方法は実際の撮像信号に基づいて、ＳＤ信号からＨＤ信号に変換する画素移動パターンを導出することができる。
【図面の簡単な説明】
【図１】画像信号処理装置の概略的な構造を示すブロック図である。
【図２】画像信号の画素移動の一例を示すタイムチャートである。
【図３】適応型ダイナミックレンジ符号化（ADRC）回路の回路図である。
【図４】画像信号のブロックの一例を示すブロック図である。
【図５】時間軸パターンの変換を示す概念図である。
【図６】画像信号処理方法の一連の手順を示すフローチャートである。
【図７】画素移動パターンの学習方法の手順を示すブロック図である。
【図８】画素移動パターンの学習方法における画像信号から画素移動を導出する一連の手順を示すフローチャートである。
【符号の説明】
２ 分類部、３ 変換テーブル、４ 画素移動部、５ 補間部
Claims (5)
- 第１の解像度の第１の画像信号を第１の解像度よりも高解像度の第２の解像度の第２の画像信号に変換する画像信号処理装置において、
上記第１の画像信号から所定時間毎にブロック化して抽出する領域抽出手段と、
上記領域抽出手段にて抽出された上記第１の画像信号のブロックをこのブロック化された信号の波形パターンに基づいて分類する分類手段と、
上記分類手段にて取得した分類に対応した上記第１の解像度から上記第２の解像度への変換を行う際の画像信号の時間軸パターンの変換を画素の位置の移動により行う画素移動パターンが読み出される変換テーブルと、
上記変換テーブルから読み出した画素移動パターンに基づいて上記第１の画像信号の画素を移動する画素移動手段と、
上記画素移動手段にて画素が移動された各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めることにより上記第２の解像度の画像信号を生成する生成手段と
を有することを特徴とする画像信号処理装置。 - 上記変換テーブルは、上記分類手段にて取得した上記第１の画像信号の分類毎に、上記第１の画像信号と同一の対象を撮像した上記第２の画像信号と、上記第１の画像信号の画素を全ての画素移動パターンにより移動された各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めることにより生成された上記第２の解像度の信号との誤差を計算し、この誤差が最小となる画素移動パターンのカウント値をインクリメントし、上記第１の画像信号の分類毎に計算した全ての画素移動パターンのカウント値が最大値をとる画素移動パターンを当該分類における画素移動パターンとすることにより取得した、上記第１の画像信号から上記第２の画像信号への変換に用いる画素移動パターンを保持することを特徴とする請求項１記載の画像信号処理装置。
- 第１の解像度の第１の画像信号を第１の解像度よりも高解像度の第２の解像度の第２の画像信号に変換する画像信号処理方法において、
上記第１の画像信号から所定時間毎にブロック化して抽出する領域抽出工程と、
上記領域抽出工程にて抽出された上記第１の画像信号のブロックをこのブロック化された信号の波形パターンに基づいて分類する分類工程と、
上記分類工程にて取得した分類に対応した上記第１の解像度から上記第２の解像度への変換を行う際の画像信号の時間軸パターンの変換を画素の位置の移動により行う画素移動パターンを変換テーブルから読み出す読み出し工程と、
上記変換テーブルから読み出した画素移動パターンに基づいて上記第１の画像信号の画素を移動する画素移動工程と、
上記画素移動工程にて画素が移動された各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めることにより上記第２の解像度の画像信号を生成する生成工程と
を有することを特徴とする画像信号処理方法。 - 第１の解像度の第１の画像信号から第１の解像度よりも高解像度の第２の解像度の第２の画像信号への変換を第１の画像信号の画素の位置の移動により行う画素移動パターンを学習する画素移動パターンの学習方法であって、
上記第１の画像信号から所定時間毎にブロック化して抽出する領域抽出工程と、
上記領域抽出工程にて抽出された上記第１の画像信号のブロックをこのブロック化された信号の波形パターンに基づいて分類する分類工程と、
上記分類工程にて取得した上記第１の画像信号の分類毎に、上記第１の画像信号と同一の対象を撮像した上記第２の画像信号と、上記第１の画像信号の画素を全ての画素移動パターンにより移動された各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めることにより生成された上記第２の解像度の信号との誤差を計算し、この誤差が最小となる画素移動パターンのカウント値をインクリメントし、上記第１の画像信号の分類毎に計算した全ての画素移動パターンのカウント値が最大値をとる画素移動パターンを当該分類における画素移動パターンとする計算工程と
を有することを特徴とする画素移動パターンの学習方法。 - 上記計算工程は、画素が移動された第１の画像信号の各画素に基づいて上記第２の解像度の各サンプリング位置の画素を補間により求めた信号と、第２の画像信号との二乗誤差が最小になる画素移動パターンのカウント値を上記分類毎に計算することを特徴とする請求項４記載の画素移動パターンの学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15886797A JP3780633B2 (ja) | 1997-06-16 | 1997-06-16 | 画像信号処理装置及び方法並びに画素移動パターンの学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15886797A JP3780633B2 (ja) | 1997-06-16 | 1997-06-16 | 画像信号処理装置及び方法並びに画素移動パターンの学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH118840A JPH118840A (ja) | 1999-01-12 |
| JP3780633B2 true JP3780633B2 (ja) | 2006-05-31 |
Family
ID=15681144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15886797A Expired - Fee Related JP3780633B2 (ja) | 1997-06-16 | 1997-06-16 | 画像信号処理装置及び方法並びに画素移動パターンの学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3780633B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4752088B2 (ja) * | 2000-05-09 | 2011-08-17 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| JP6645864B2 (ja) * | 2016-02-22 | 2020-02-14 | 日本電気株式会社 | トラフィック最適化装置およびトラフィック最適化方法 |
-
1997
- 1997-06-16 JP JP15886797A patent/JP3780633B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH118840A (ja) | 1999-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0395293B1 (en) | Motion estimator | |
| US4890161A (en) | Decoding apparatus | |
| KR100254958B1 (ko) | 디지탈 비디오 신호 변환 장치 | |
| KR100204442B1 (ko) | 동체 검출방법 | |
| US20010024525A1 (en) | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, and medium | |
| GB2136995A (en) | Method and Apparatus for Locating the Boundary of an Object | |
| JP3780633B2 (ja) | 画像信号処理装置及び方法並びに画素移動パターンの学習方法 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| GB2277002A (en) | Selecting motion vectors in video signal processing; global motion vectors. | |
| US5282256A (en) | Binary image data coding method having the function of correcting errors derived from coding | |
| JPH08317346A (ja) | ディジタルビデオ信号変換装置及び変換方法 | |
| JP3490142B2 (ja) | 動画像符号化方法及び装置 | |
| JP2667938B2 (ja) | 画素補間装置 | |
| JP4143880B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、並びに記録媒体 | |
| JP3783815B2 (ja) | 画像処理装置 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP4470282B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4213739B2 (ja) | 動きベクトル検出装置 | |
| JP3834014B2 (ja) | 動画像符号化方法及び装置 | |
| JPH0573316B2 (ja) | ||
| JP3608228B2 (ja) | ディジタル画像信号の変換装置 | |
| JP2006311603A (ja) | 動画像符号化方法と装置及び動画像復号化方法と装置 | |
| JP3458412B2 (ja) | 量子化ビット数変換装置および変換方法、並びに量子化ビット数学習装置および学習方法 | |
| JP4120095B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3704730B2 (ja) | クラス分類装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060227 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140317 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |