JPH118840A - 画像信号処理装置及び方法並びに画素移動パターンの学習方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像信号の画質を向上させる。 【解決手段】 画像信号処理装置は、入力された標準解
像度の画像信号をブロック化部１にてブロック化した後
に分類し、この分類に対応した画素移動パターンを変換
テーブル３から読み出し、画素移動部４にて上記画素移
動パターンに従って上記画像信号の画素を時間軸上で移
動することにより、当該画像信号を、標準解像度より解
像度を向上させた高解像度の画像信号に変換して出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、標準解像度の画
像信号を画素移動により高解像度の画像信号に変換する
画像信号処理装置及び方法並びに画素移動のパターンを
学習する画素移動パターンの学習方法に関する。

【０００２】

【従来の技術】従来、画像信号としては、標準解像度
（standard definition; SD）のテレビジョン受像器に
対応するＳＤ信号と共に、高解像度（high definition;
HD）のテレビジョン受像器（以下、ＨＤＴＶと称す
る。）に対応するＨＤ信号が提供されている。

【０００３】ところで、上記ＨＤＴＶに対してＳＤ信号
が与えられる場合がある。このような場合には、ＳＤ信
号をＨＤ信号に変換する信号変換、いわゆるアップコン
バートが施される。

【０００４】

【発明が解決しようとする課題】このアップコンバート
の際には、線形補間によって画素を増やす処理を行って
いた。しかし、線形補間によるアップコンバートによっ
ては、解像度を向上させることは不可能であった。

【０００５】この発明は、上述の課題に鑑みてなされる
ものであって、解像度を向上させる画像信号処理装置及
び方法並びに解像度を向上させる際に用いられる予測パ
ラメータを学習する予測パラメータの学習方法を提供す
ることを目的とする。

【０００６】

【発明を解決するための手段】上述の課題を解決するた
めに、この発明に係る画像信号処理装置は、画像信号か
ら領域を抽出する領域抽出手段と、上記領域抽出手段に
て抽出された画像信号を分類する分類手段と、上記分類
手段にて取得した分類に対応した画素移動パターンが読
み出される変換テーブルと、上記変換テーブルから読み
出した画素移動パターンに基づいて上記画像信号の画素
を移動する画素移動手段と、上記画素移動手段にて画素
が移動された画像信号を補間する補間手段とを有するも
のである。

【０００７】また、この発明に係る画像信号処理方法
は、画像信号から領域を抽出する領域抽出工程と、上記
領域抽出手段にて抽出された画像信号を分類する分類工
程と、上記分類手段にて取得した分類に対応した画素移
動パターンを変換テーブルから読み出す読み出し工程
と、上記変換テーブルから読み出した画素移動パターン
に基づいて上記画像信号の画素を移動する画素移動工程
と、上記画素移動手段にて画素が移動された画像信号を
補間する補間工程とを有するものである。

【０００８】さらに、この発明に係る画素移動パターン
の学習方法は、第１の画像信号から領域を抽出する領域
抽出工程と、上記領域抽出工程にて抽出された上記第１
の画像信号を分類する分類工程と、上記分類工程にて取
得した上記第１の画像信号の分類に応じて、上記第１の
画像信号と同一の対象を撮像した、上記第１の画像信号
よりも高解像度の第２の画像信号を基準として、上記第
１の画像信号の画素移動パターンを算出する算出工程と
を有するものである。

【０００９】

【発明の実施の形態】以下、この発明に係る画像信号処
理装置及び方法並びに画素移動パターンの学習方法につ
いて、図面を参照しながら詳細に説明する。

【００１０】画像信号処理装置は、図１に示すように、
入力する画像信号を時間軸方向にブロック化する領域抽
出手段であるブロック化部１を有している。

【００１１】このブロック化部１は、例えば５２５本の
走査線を有する標準テレビジョン受像機相当の画素数及
び画質を有する標準解像度の画像信号であるＳＤ信号
を、例えば所定時間毎に抽出したり、或いはトランジェ
ント部分のような変化部分を抽出することによりブロッ
ク化する。ここでは、このブロック化部１は、図２中の
Ｂに示すＳＤ信号から、点ａ１、点ｂ１及び点ｃ１にて
構成されるトランジェント部を抽出している。なお、点
ａ１、点ｂ１及び点ｃ１にて構成されるＳＤ信号のトラ
ンジェント部は、対応するＨＤ信号にあっては同図中Ａ
に示す点ａ０、点ｂ０及び点ｃ０にて構成されるトラン
ジェント部に対応している。

【００１２】ここで、説明を簡略化するために、図中Ｂ
のＳＤ信号のサンプリング周期は、図中Ａに示す例えば
１１２５本の走査線を有するハイビジョンのテレビジョ
ン受像器に対応するＨＤ信号のサンプリング周期の２倍
となっている。

【００１３】また、上記画像信号処理装置は、上記ブロ
ック化部１にてブロック化された画像信号を波形パター
ンによりクラス分類してクラスを導出する分類部２と、
上記クラスに対応する画素移動パターンを読み出される
変換テーブル３と、上記画素移動パターンに応じて画像
信号の画素を移動する画素移動部４とを有している。

【００１４】上記分類部２は、上記ブロック化部１から
ブロック化された信号を与えられ、このブロック化され
た信号を波形パターンによりクラス分類する。

【００１５】ここで、クラス分類としては、例えば、ベ
クトル量子化、圧縮符号化、及び適応型ダイナミックレ
ンジ符号化（adaptive dynamic range coding; ADRC）
による波形分類を挙げることができる。

【００１６】このＡＤＲＣによるクラス分類は、本来Ｖ
ＴＲ向け高能率符号化用に開発された適応的再量子化法
であり、信号レベルの局所的なパターンを短い語長で効
率的に表現することができる。

【００１７】ここで、１ビットＡＤＲＣを例に取って、
ＡＤＲＣを説明する。ＡＤＲＣ回路の一例を図３に示
す。このＡＤＲＣ回路は、図４に示すように、第１行に
図中左から右に画素Ｐ１〜Ｐ３、第２行に同じく画素Ｐ
４〜Ｐ６、第３行に同じく画素Ｐ７〜Ｐ９の（３×３）
の計９個の画素が配置されたブロックＢに対しＡＤＲＣ
を施すものである。

【００１８】即ち、上記ＡＤＲＣ回路は、入力端子１０
１からのブロックの順序に変換されたデータに関して、
検出回路１０２がブロック毎に最大値ＭＡＸ、最小値Ｍ
ＩＮを検出する。減算回路１０３に対してＭＡＸ及びＭ
ＩＮが供給され、その出力にダイナミックレンジＤＲが
発生する。入力データ及びＭＩＮが減算回路１０４に供
給され、減算回路１０４から最小値が除去されること
で、正規化された画素データが発生する。

【００１９】ダイナミックレンジＤＲが減算回路１０５
に供給され、正規化された画素データがダイナミックレ
ンジＤＲで割算され、割算回路１０５の出力データが比
較回路１０６に供給される。比較回路１０６では、中央
画素Ｐ５以外の８個の画素の割算出力が０．５を基準と
して、より大きいか、より小さいかが判断される。この
結果に応じて、“０”又は“１”のデータＤＴが発生す
る。この比較出力ＤＴが出力端子１０７に取り出され
る。この１ビットＡＤＲＣを用いてクラス分割を行えば
（３×３）のブロックＢが９ビットのクラスコードで表
現される。

【００２０】上記変換テーブル３は、ＳＤ信号の波形パ
ターンをクラス分類することにより取得したクラスと、
画素移動パターンとの対応関係を保持するテーブルであ
る。この変換テーブル３は、後述するように、ＳＤ信号
を波形パターンによりクラス分類することにより取得し
たクラスと、ＳＤ信号をこのＳＤ信号を同一の対象を撮
像したＨＤ信号を比較することにより取得した画素移動
パターンとの対応関係を解析することにより予め設定さ
れる。

【００２１】上記画素移動部４は、上記変換テーブル３
から読み出した画素移動パターンに応じて、上記ブロッ
ク化部１から与えられる画像信号の画素を時間軸上で移
動させる。

【００２２】画像信号の画素の時間軸上での移動は、図
５中のＢの上側に示す時間軸上での時刻ｔ０１、時刻ｔ
０２及び時刻ｔ０３に見られる一様なサンプリング周期
を、同図中のＢの下側の時刻ｔ１１、時刻ｔ１２及び時
刻ｔ１３に見られるように時間軸パターンを変換するこ
とにより達成される。即ち、同図中Ｂの上側の時間のサ
ンプリング周期を単位にすると、時刻ｔ０１は１周期進
んで時刻ｔ１１に、時刻ｔ０２は半周期進んで時刻ｔ１
２にそれぞれ移動している。時刻ｔ０３は、移動しない
まま時刻ｔ１３に留まっている。

【００２３】この時間パターンの変換により、図中Ａの
トランジェント部の画素である点ｕ０、点ｖ０及び点ｗ
０は、図中Ｃのトランジェント部の点ｕ１、点ｖ１及び
点ｗ１にそれぞれ移動される。その結果、画素移動後の
図中Ｃのトランジェント部の傾斜は画素移動前の図中Ａ
のトランジェント部の傾斜よりも急峻になっている。

【００２４】このように、上記画素移動部４は、画像信
号のトランジェント部の傾斜がより急峻に変化するよう
に画素を移動することにより、この画像信号の解像度を
向上させている。

【００２５】上記図２の例では、ＳＤ信号の画素である
同図中の点ａ１、点ｂ１及び点ｃ１にて構成するトラン
ジェント部を含むブロックにおいて、上記変換テーブル
３から読み出した画素移動パターンに応じて上記点ａ
１、点ｂ１及び点ｃ１を、図中Ｃに示す点ａ２、点ｂ２
及び点ｃ２にそれぞれ時間軸上で移動させる。

【００２６】ここで、図中Ｃにおいては、図中Ｂのサン
プリング周期の中点に新たにサンプリング点を設けてい
る。従って、図中Ｃのサンプリング周期は、図中Ｂにお
けるサンプリング周期の１／２倍となっている。この結
果、図中Ｃに示す画素が移動されたＳＤ信号のサンプリ
ング周期は、図中ＡのＨＤ信号と同じになった。

【００２７】そして、画素の時間軸方向の位置について
は、図中Ｂ及びＣを比較すると、図中Ｃにおいて、点ａ
１は１サンプリング周期進んで点ａ２に、点ｂ１は１サ
ンプリング周期進んで点ｂ２にそれぞれ移動されるが、
点ｃ１は移動されずに点ｃ２として留まり、同様に他の
点も元の位置に留まっている。なお、この画素移動部４
においては、サンプリング周期を１／２倍して、元のサ
ンプリングの間に新たなサンプリング点を挿入したた
め、画素が存在しないサンプリング点がある。

【００２８】さらに、上記画像信号処理装置は、上記ブ
ロック部１から与えられる画像信号と、上記画素移動部
４から与えられる画像信号とに基づいて画像信号を補間
する補間部５とを有している。

【００２９】上記補間部５は、上記画素移動部４から与
えられる画像信号を補間する。即ち、上記画素移動部４
から与えられる画像信号は、上述のように、画素の存在
しないサンプリング点を含んでいる。この補間部５にお
いては、画素の存在しないサンプリング点に対して、他
のサンプリング点の画素を同じレベルで時間軸方向に複
写することにより画像信号の補間を行う。

【００３０】例えば、図２中のＤの点ｐ０は１サンプリ
ング周期進んだ点ｐ１に、点ｑ０は１サンプリング周期
進んだ点ｑ１及び２サンプリング周期進んだ点ｑ２に、
点ａ３は１サンプリング周期進んだ点ａ４に、点ｒ０は
１サンプリング周期遅れた点ｒ１に、点ｓ０は１サンプ
リング周期遅れた点ｓ１に、それぞれレベルを保ったま
ま時間軸方向に複写されている。点ｂ３及び点ｃ３は、
時間軸上にて複写されてはいない。なお、図中の点ａ
３、ｂ３及びｃ３は図中Ｄの点ａ２、点ｂ２及び点ｃ２
にそれぞれ対応している。

【００３１】このように、画素移動及び補間を施された
ＳＤ信号は、図中Ｄに示すように、図中ＡのＨＤ信号に
ほぼ同じ形となっている。従って、この画像信号処理装
置によって、ＳＤ信号からＨＤ信号に解像度の向上を図
ることができる。

【００３２】続いて、画像信号処理方法に係る一連の工
程について、図６を参照しながら説明する。この一連の
工程は、ステップＳ１からステップＳ５までの５工程か
ら構成される。

【００３３】ステップＳ１においては、入力するＳＤ信
号を、例えば所定時間毎に１ブロックとすることがあ
る。或いは、図２中のＢに示すような、点ａ１、点ｂ１
及び点ｃ１をが構成するトランジェント部分を含むＳＤ
信号から、このトランジェント部を含む領域を取り出し
てブロック化することもある。そして、これに続くステ
ップＳ２に進む。

【００３４】ステップＳ２においては、ステップＳ１に
てブロック化された画像信号を与えられ、この画像信号
を波形パターンにより、例えばＡＤＲＣによりクラス分
類し、ステップＳ３に進む。上記クラス分類について
は、上述の画像信号処理装置において詳述したので説明
を省略する。

【００３５】ステップＳ３においては、変換テーブル３
を参照する。この変換テーブル３は、ＳＤ信号の波形パ
ターンをクラス分類することにより取得したクラスと、
画素移動パターンとの対応関係を保持するテーブルであ
る。このステップＳ３では、上記ステップＳ２にて画像
信号の波形パターンをクラス分類することにより取得し
たクラスに対応する画素移動パターンを、上記変換テー
ブルから読み出し、次のステップＳ４に進む。

【００３６】ステップＳ４においては、ステップＳ３に
て変換テーブルから読み出した画素移動パターンに応じ
て、上記ステップＳ１にてブロック化された画像信号の
画素を移動し、ステップＳ５に進む。この画像信号の画
素の移動については、上述の画像信号処理装置にて詳述
したので、ここでの説明を省略する。

【００３７】ステップＳ５においては、ステップＳ５に
て画素を移動された画像信号の画素の存在しない区間に
ついて、画素のレベルは維持したままで時間軸方向に複
写することによって、上記画像信号を補間し、この一連
の工程を終了する。

【００３８】以上説明したように、上記画像信号処理装
置及び方法は、ＳＤ信号を波形パターンによるクラス分
類により導出したクラスに対応する画素移動パターンを
変換テーブルから読み出し、上記ＳＤ信号の画素を上記
画素移動パターンに応じて移動させ、この画素を移動さ
せたＳＤ信号にさらに補間処理を施すことにより、ＨＤ
信号を出力している。このように、この画像信号処理装
置及び方法は、入力されたＳＤ信号より解像度を向上さ
せた画像信号を得ることができる。この画像信号の処理
により、ＳＤ信号より高解像度でより細かい表現をする
ことができるＨＤ信号を、ＳＤ信号から生成することが
可能になる。ここでは、入力するＳＤ信号から、トラン
ジェント部分を抽出し、このトランジェント部分を改善
した画像信号を出力している。

【００３９】続いて、上記変換テーブル３を学習により
設定する画素移動パターンの学習方法について説明す
る。上述したように、この変換テーブル３は、クラスと
画素移動パターンの対応関係を保持するテーブルであ
る。

【００４０】この変換テーブル３を作成するための一連
の手順は、図７に示すように、ＳＤ信号をブロック化部
１にて領域を抽出してブロック化した後に分類部２にて
クラス分類すると共に、画素移動パターン計算部１３に
て、上記ＳＤ信号と同一の対象を撮像したＨＤ信号を基
準として最小二乗法にて画素移動パターンを計算し、こ
の画素移動パターンを判断部１４にて判断した後にメモ
リ１５に記憶するものである。

【００４１】ここで、上記ブロック化部１に入力するＳ
Ｄ信号はＳＤカメラにて、上記画素移動パターン計算部
１３に入力するＨＤ信号はＨＤカメラにて、同一の対象
をそれぞれ撮像したものである。但し、上記ＨＤ信号に
サブサンプリングやローパスフィルタを用いて処理する
ことによって、同一の対象をＳＤカメラにて撮像したも
のと同等のＳＤ信号を得ることができる。

【００４２】上記ブロック化部１は、入力するＳＤ信号
を、例えば所定時間毎に抽出したり、或いは、トランジ
ェント部分のような変化部分を抽出して１ブロックとす
る。

【００４３】上記信号分類部２は、上記ブロック化部１
からブロック化された信号を与えられ、このブロック化
された信号２を波形パターンに基づいて、例えばＡＤＲ
Ｃによってクラス分類する。

【００４４】上記画素移動パターン計算部１３は、上記
ブロック化部からはブロック化されたＳＤ信号を、上記
分類部２からはクラス分類のクラスを、また、上記ＳＤ
信号と同一の対象を撮像したＨＤ信号を与えられ、これ
らに基づいて画素移動パターンを計算する。

【００４５】即ち、この画素移動パターン計算部１３
は、上記分類部２から与えられるクラスに応じて、上記
ブロック部１から与えられるブロック化されたＳＤ信号
の可能な画素移動を調べ、この画素を移動されたブロッ
ク化されたＳＤ信号のＨＤ信号を基準とした最小二乗法
を利用して画素移動パターンを導出する。

【００４６】このような画素移動パターンを導出する一
連の工程について、図８を参照しながら説明する。この
一連の工程は、ステップＳ１１からステップＳ２０まで
の１０個の工程から構成される。

【００４７】最初のステップＳ１１においては、画像パ
ターン番号ｉを１とする。ここで、画像パターンはｍ通
り存在するとすると、上記画像パターン番号ｉは１から
ｍまでの整数値を取る。画像パターン番号ｉを１に設定
すると、次のステップＳ１２に進む。

【００４８】ステップＳ１２においては、画素移動番号
ｊを１とする。ここで、画素移動番号ｊは、画素移動の
パターンの数がｎ通り存在する場合には、１からｎまで
の整数値を取る。また、上記画素移動のパターンの数に
対応して存在するメモリを初期化する。即ち、画素移動
番号ｈに対応するメモリＭ（ｈ）を、ｈについて１から
ｎまで０に設定する。そして、これに続くステップＳ１
３に進む。

【００４９】ここで、ＳＤ信号の波形パターンを構成す
る画素数をｋとすると、対応するＨＤ信号の画素数は２
ｋ−１であるから、画素順序を変えないような画素移動
のパターンの数ｎは、

【００５０】

【数１】

【００５１】にて与えられる。

【００５２】ステップＳ１３においては、画素移動番号
ｊについての最小二乗誤差の和を計算する。即ち、画素
移動番号ｊに応じて画素を移動したＳＤ信号と、このＳ
Ｄ信号と同一の対象を撮像したＨＤ信号との二乗誤差を
算出し、次のステップＳ１４に進む。

【００５３】ステップＳ１４においては、画素移動番号
ｊが１であるか否かについて判断する。そして、画素移
動番号ｊが１場合には“ＹＥＳ”としてステップＳ１６
に進み、そうでない場合には“ＮＯ”としてステップＳ
１５に進む。

【００５４】ステップＳ１５においては、ステップＳ１
５で算出した画素移動番号ｊについての最小二乗誤差Ｘ
ｊが、最小二乗誤差の最小値Ｘｍｉｎよりも小さいか否
かについて判断する。そして、画素移動番号ｊについて
の最小二乗誤差Ｘｊが最小二乗誤差の最小値Ｘｍｉｎよ
りも小さい場合には“ＹＥＳ”としてステップＳ１６に
進み、そうでない場合には“ＮＯ”としてステップＳ１
７に進む。

【００５５】ステップＳ１６においては、最小二乗誤差
の最小値Ｘｍｉｎを画素移動番号ｊについての最小二乗
誤差Ｘｊに設定し、上記Ｘｍｉｎに対応する画素移動番
号Ｊｍｉｎを上記画素移動番号ｊに設定する。

【００５６】ステップＳ１７においては、全ての画素移
動が終了したか否かについて判断する。即ち、画素移動
番号ｊが画素移動のパターンの総数ｎとに等しいか否か
について判断する。そして、画素移動番号ｊが画素移動
のパターンの総数ｎに等しい場合には“ＹＥＳ”として
ステップＳ１７に進み、そうでない場合には“ＮＯ”と
して画素移動番号ｊを１増加させてステップＳ１３に戻
る。

【００５７】ステップＳ１８においては、ステップＳ１
６にて求めた最小二乗誤差の最小値Ｘｍｉｎの画素移動
番号Ｊｍｉｎに対応するメモリＭ（Ｊｍｉｎ）に１を加
算して、ステップＳ１９に進む。

【００５８】ステップＳ１９においては、画像パターン
番号ｉが画像パターンの総数ｍに等しいか否かについて
判断する。そして、画像パターン番号ｉが画像パターン
の総数ｍに等しい場合には“ＹＥＳ”としてステップＳ
２０に進み、そうでない場合には“ＮＯ”として画像パ
ターン番号ｉに１を加算してステップＳ１２に戻る。

【００５９】ステップＳ２０においては、上記メモリＭ
について最大値を検索する。そして、最大値を取る移動
パターンを、その分類における移動パターンとする。

【００６０】このように、上記画素移動パターン計算部
１３は、画素移動パターンをＨＤ信号を基準として最小
二乗法を利用して計算している。

【００６１】上記図７中の判断部１４は、上記図７中の
画素移動パターン算出部１３にて算出された、クラスと
画素移動パターンとの対応関係について判断を行う。そ
して、所定の基準を充足するものを上記メモリ１５に送
る。

【００６２】上記メモリ１５は、上記判断部１４にて決
定されたクラスと画素移動パターンの対応関係を記憶す
る。このメモリ１４に記憶されたクラスと画素移動パタ
ーンとの対応関係は、必要な場合に読み出されて上記変
換テーブル３に設定される。

【００６３】以上説明したように、クラスと画素移動パ
ターンとの対応関係は、ＳＤ信号から導出した、例えば
ＡＤＲＣのようなクラス分類によるクラスと、上記ＳＤ
信号と同一の対象を撮像したＨＤ信号から最小二乗法を
利用して導出した画素移動パターンとから学習によって
得ることができる。

【００６４】このような学習により、ＳＤ信号に対応す
るクラスと、このクラスに応じてＳＤ信号をＨＤに変換
する画素移動パターンが得られ、この対応関係を利用す
ることにより、ＳＤ信号をＨＤ信号に変換することが可
能になる。

【００６５】なお、この具体例においては、ＳＤ信号か
らＨＤ信号へのアップコンバージョンについて説明した
が、この発明はこれに限定されない。例えば、ＳＤ信号
からＳＤ信号への変換において、水平画素数を向上させ
ることもできる。

【００６６】また、上述の説明においては、水平方向に
ついての変換について説明したが、この発明は水平方向
への変換に限定されずに、水平方向及び垂直方向につい
て提供することができる。

【００６７】そして、上述の説明においては、ＳＤ信号
の解像度を向上させてＨＤ信号に変換する具体例につい
て述べたが、この発明はこの具体例に限られず、画像信
号の解像度を高めて画質を向上させる用途に広く利用す
ることができる。

【００６８】

【発明の効果】上述したように、上記画像信号処理装置
は、ＳＤ信号を波形パターンによりクラス分類して導出
したクラスについて、このクラスに対応する画素移動パ
ターンを変換テーブルから読み出し、この画素移動パタ
ーンに応じてＳＤ信号を画素移動して補間することによ
り、ＨＤ信号に変換している。従って、この画像信号処
理装置は、入力されたＳＤ信号から、このＳＤ信号より
も解像度の高いＨＤ信号を得ることができる。

【００６９】また、上記画像信号処理方法は、ＳＤ信号
を波形パターンによりクラス分類して導出したクラスに
ついて、このクラスに対応する画素移動パターンに応じ
てＳＤ信号を画素移動して補間することにより、ＨＤ信
号に変換している。従って、この画像信号処理方法は、
入力されたＳＤ信号から、このＳＤ信号よりも解像度の
高いＨＤ信号を得ることができる。

【００７０】さらに、上記画素移動パターンの学習方法
は、同一の対象を撮像したＳＤ信号及びＨＤ信号につい
て、上記ＳＤ信号の画素移動パターンと上記ＨＤ信号と
の最小二乗誤差を算出することにより、画素移動パター
ンを決定している。従って、この学習方法は実際の撮像
信号に基づいて、ＳＤ信号からＨＤ信号に変換する画素
移動パターンを導出することができる。

【図面の簡単な説明】

【図１】画像信号処理装置の概略的な構造を示すブロッ
ク図である。

【図２】画像信号の画素移動の一例を示すタイムチャー
トである。

【図３】適応型ダイナミックレンジ符号化（ADRC）回路
の回路図である。

【図４】画像信号のブロックの一例を示すブロック図で
ある。

【図５】時間軸パターンの変換を示す概念図である。

【図６】画像信号処理方法の一連の手順を示すフローチ
ャートである。

【図７】画素移動パターンの学習方法の手順を示すブロ
ック図である。

【図８】画素移動パターンの学習方法における画像信号
から画素移動を導出する一連の手順を示すフローチャー
トである。

【符号の説明】 ２ 分類部、３ 変換テーブル、４ 画素移動部、５
補間部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 星野 隆也 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (12)

【特許請求の範囲】
1. 【請求項１】 画像信号から領域を抽出する領域抽出手
   段と、 上記領域抽出手段にて抽出された画像信号を分類する分
   類手段と、 上記分類手段にて取得した分類に対応した画素移動パタ
   ーンが読み出される変換テーブルと、 上記変換テーブルから読み出した画素移動パターンに基
   づいて上記画像信号の画素を移動する画素移動手段と、 上記画素移動手段にて画素が移動された画像信号を補間
   する補間手段とを有することを特徴とする画像信号処理
   装置。
2. 【請求項２】 上記領域抽出手段は、画像信号の波形パ
   ターンの変化部分を抽出することを特徴とする請求項１
   記載の画像信号処理装置。
3. 【請求項３】 上記分類手段は、波形パターンに基づい
   て分類を行うことを特徴とする請求項１記載の画像信号
   処理装置。
4. 【請求項４】 上記分類手段は、適応型ダイナミックレ
   ンジ符号化を用いることを特徴とする請求項１記載の画
   像信号処理装置。
5. 【請求項５】 上記変換テーブルは、学習によって解像
   度を高めるように決定された画素移動パターンを保持す
   ることを特徴とする請求項１記載の画像信号処理装置。
6. 【請求項６】 画像信号から領域を抽出する領域抽出工
   程と、 上記領域抽出手段にて抽出された画像信号を分類する分
   類工程と、 上記分類手段にて取得した分類に対応した画素移動パタ
   ーンを変換テーブルから読み出す読み出し工程と、 上記変換テーブルから読み出した画素移動パターンに基
   づいて上記画像信号の画素を移動する画素移動工程と、 上記画素移動手段にて画素が移動された画像信号を補間
   する補間工程とを有することを特徴とする画素信号処理
   方法。
7. 【請求項７】 上記変換テーブルは、学習によって解像
   度を高めるように決定された画素移動パターンを保持す
   ることを特徴とする請求項６記載の画像信号処理方法。
8. 【請求項８】 第１の画像信号から領域を抽出する領域
   抽出工程と、 上記領域抽出工程にて抽出された上記第１の画像信号を
   分類する分類工程と、 上記分類工程にて取得した上記第１の画像信号の分類に
   応じて、上記第１の画像信号と同一の対象を撮像した、
   上記第１の画像信号よりも高解像度の第２の画像信号を
   基準として、上記第１の画像信号の画素移動パターンを
   算出する算出工程とを有することを特徴とする画素移動
   パターンの学習方法。
9. 【請求項９】 上記領域抽出工程は、画像信号の波形パ
   ターンの変化部分を抽出することを特徴とする請求項８
   記載の画素移動パターンの学習方法。
10. 【請求項１０】 上記分類手段は、波形パターンに基づ
    いて分類を行うことを特徴とする請求項８記載の画素移
    動パターンの学習方法。
11. 【請求項１１】 上記分類手段は、適応型ダイナミック
    レンジ符号化を用いることを特徴とする請求項８記載の
    画素移動パターンの学習方法。
12. 【請求項１２】 上記算出工程は、画素が移動された第
    １の画像信号と、第２の画像信号との二乗誤差が最小に
    なる画素移動パターンを算出することを特徴とする請求
    ８記載の画素移動パターンの学習方法。