JP4310697B2 - 信号処理装置および方法、記録媒体、並びにプログラム - Google Patents

信号処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4310697B2
JP4310697B2 JP2004124270A JP2004124270A JP4310697B2 JP 4310697 B2 JP4310697 B2 JP 4310697B2 JP 2004124270 A JP2004124270 A JP 2004124270A JP 2004124270 A JP2004124270 A JP 2004124270A JP 4310697 B2 JP4310697 B2 JP 4310697B2
Authority
JP
Japan
Prior art keywords
difference
image signal
pixel
average value
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004124270A
Other languages
English (en)
Other versions
JP2005311588A (ja
Inventor
哲二郎 近藤
志津男 近岡
岳志 宮井
芳晃 中村
崇 中西
継彦 芳賀
大介 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004124270A priority Critical patent/JP4310697B2/ja
Priority to US11/110,129 priority patent/US7609324B2/en
Publication of JP2005311588A publication Critical patent/JP2005311588A/ja
Application granted granted Critical
Publication of JP4310697B2 publication Critical patent/JP4310697B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Description

本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、より高品質の画像を生成することができるようにした、信号処理装置および方法、記録媒体、並びにプログラムに関する。
最近、テレビジョン受像機の表示画面の大型化に伴い、画像信号の画素数を多くして表示させることが多くなってきた。このため、例えばSD（Standard Definition）画像からHD（High Definition）画像へ変換するために、画素数を４倍密度に変換する処理が提案されている（例えば、特許文献１）。
これにより、視聴者は、より高品質の画像を大型の画面で視聴することが可能となる。
特開２０００−７８５３６公報
しかしながら、出力画像を線形予測係数によって生成する場合、出力画像が入力画像によって一義的に決定されてしまう。また、例えば、ADRC（Adaptive Dynamic Range Coding）によってクラス分類を行い、このクラスによって予め学習した予測係数の中から最適な予測係数を読み出し、その予測係数に基づいて出力画像を生成する方法によっても、入力画像が決まると出力画像も一義的に決定される。入力画像と出力画像との誤差が少なくなるように予め多くの教師画像を学習することで予測係数が生成されるのであるが、入力画像によっては、やはり、この誤差が充分小さくできない場合がある。
従来、このような場合においても、生成された高解像度の画像は、そのまま出力されていた。例えば、４倍密度変換の場合、１画素からそれぞれ独立した線形予測係数によって４画素が生成されるが、その４画素間と、別の入力画素から得られる別の４画素との間で、異なる特性を持つ処理になるため、不連続が生じる場合があった。
その結果、ユーザは、必ずしも充分な高品位の画像を視聴できなくなる場合があった。
本発明はこのような状況に鑑みてなされたものであり、より高品位の画像を提供できるようにするものである。
本発明の信号処理装置は、第１の画像信号をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と第１の画像信号とを一次線形結合式に適用することで、第２の画像信号を生成する生成手段と、第２の画像信号の画素のうちの注目画素と注目画素を含むブロックであって、第１の画像信号のそれぞれの画素に対応するブロック内の他の画素との差分である第１の差分のフレーム内の平均値である第１の平均値の、注目画素とブロック外の他の画素との差分である第２の差分のフレーム内の平均値である第２の平均値に対する割合を１から減算して得られた差に、第２の差分を２で除した商を乗じることにより得られる積である補正量を演算する演算手段と、第２の画像信号から補正量を減算することで第２の画像信号を補正する補正手段とを備えることを特徴とする。
本発明の信号処理方法は、第１の画像信号をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と第１の画像信号とを一次線形結合式に適用することで、第２の画像信号を生成する生成ステップと、第２の画像信号の画素のうちの注目画素と注目画素を含むブロックであって、第１の画像信号のそれぞれの画素に対応するブロック内の他の画素との差分である第１の差分のフレーム内の平均値である第１の平均値の、注目画素とブロック外の他の画素との差分である第２の差分のフレーム内の平均値である第２の平均値に対する割合を１から減算して得られた差に、第２の差分を２で除した商を乗じることにより得られる積である補正量を演算する演算ステップと、第２の画像信号から補正量を減算することで第２の画像信号を補正する補正ステップとを含むことを特徴とする。
本発明の記録媒体のプログラムは、第１の画像信号をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と第１の画像信号とを一次線形結合式に適用することで、第２の画像信号を生成する生成ステップと、第２の画像信号の画素のうちの注目画素と注目画素を含むブロックであって、第１の画像信号のそれぞれの画素に対応するブロック内の他の画素との差分である第１の差分のフレーム内の平均値である第１の平均値の、注目画素とブロック外の他の画素との差分である第２の差分のフレーム内の平均値である第２の平均値に対する割合を１から減算して得られた差に、第２の差分を２で除した商を乗じることにより得られる積である補正量を演算する演算ステップと、第２の画像信号から補正量を減算することで第２の画像信号を補正する補正ステップとを含むことを特徴とする。
本発明のプログラムは、第１の画像信号をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と第１の画像信号とを一次線形結合式に適用することで、第２の画像信号を生成する生成ステップと、第２の画像信号の画素のうちの注目画素と注目画素を含むブロックであって、第１の画像信号のそれぞれの画素に対応するブロック内の他の画素との差分である第１の差分のフレーム内の平均値である第１の平均値の、注目画素とブロック外の他の画素との差分である第２の差分のフレーム内の平均値である第２の平均値に対する割合を１から減算して得られた差に、第２の差分を２で除した商を乗じることにより得られる積である補正量を演算する演算ステップと、第２の画像信号から補正量を減算することで第２の画像信号を補正する補正ステップとをコンピュータに実行させることを特徴とする。
本発明においては、第１の画像信号をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と第１の画像信号とを一次線形結合式に適用することで、第２の画像信号が生成され、第２の画像信号の画素のうちの注目画素と注目画素を含むブロックであって、第１の画像信号のそれぞれの画素に対応するブロック内の他の画素との差分である第１の差分のフレーム内の平均値である第１の平均値の、前記注目画素と前記ブロック外の他の画素との差分である第２の差分のフレーム内の平均値である第２の平均値に対する割合を１から減算して得られた差に、前記第２の差分を２で除した商を乗じることにより得られる積である補正量が演算され、第２の画像信号から補正量を減算することで第２の画像信号が補正される。
本発明によれば、高解像度の画像信号を生成することができる。特に、本発明によれば、より高品位の高解像度の画像を生成することが可能となる。
以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。
［請求項１］
第１の画像信号（例えば、SD画像信号）をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と第１の画像信号とを一次線形結合式に適用することで、第２の画像信号（例えば、HD画像信号）を生成する生成手段（例えば、図１のHD予測部１１）と、
前記第２の画像信号の画素（例えば、図８のHD画素データ）のうちの注目画素（例えば、図８の画素ｍ０）と前記注目画素を含むブロックであって、第１の画像信号のそれぞれの画素に対応するブロック（例えば、図８のモードブロック）内の他の画素（例えば、図８の画素ｍ１乃至ｍ３）との差分である第１の差分（例えば、モード内差分）のフレーム内の平均値である第１の平均値（例えば、平均値Ｄinav）の、前記注目画素と前記ブロック外の他の画素（例えば、図８の画素ｓ１乃至ｓ３）との差分である第２の差分（例えば、モード間差分）のフレーム内の平均値である第２の平均値（例えば、平均値Ｄoutav）に対する割合（例えば、補正係数Ｋ）を１から減算して得られた差に、前記第２の差分（例えば、ｄout）を２で除した商を乗じることにより得られる積である補正量（例えば、補正量Ｅ）を演算する演算手段（例えば、図１の予測値評価部１２）と、
前記第２の画像信号から前記補正量を減算することで前記第２の画像信号を補正する補正手段（例えば、図１の予測値補正部１３）と
を備えることを特徴とする信号処理装置。
［請求項２］
第１の画像信号（例えば、SD画像信号）をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と第１の画像信号とを一次線形結合式に適用することで、第２の画像信号（例えば、HD画像信号）を生成する生成ステップ（例えば、図２のステップＳ1）と、
前記第２の画像信号の画素（例えば、図８のHD画素データ）のうちの注目画素（例えば、図８の画素ｍ０）と前記注目画素を含むブロックであって、第１の画像信号のそれぞれの画素に対応するブロック（例えば、図８のモードブロック）内の他の画素（例えば、図８の画素ｍ１乃至ｍ３）との差分である第１の差分（例えば、モード内差分）のフレーム内の平均値である第１の平均値（例えば、平均値Ｄinav）の、前記注目画素と前記ブロック外の他の画素（例えば、図８の画素ｓ１乃至ｓ３）との差分である第２の差分（例えば、モード間差分）のフレーム内の平均値である第２の平均値（例えば、平均値Ｄoutav）に対する割合（例えば、補正係数Ｋ）を１から減算して得られた差に、前記第２の差分（例えば、ｄout）を２で除した商を乗じることにより得られる積である補正量（例えば、補正量Ｅ）を演算する演算ステップ（例えば、図１２のステップＳ66）と、
前記第２の画像信号から前記補正量を減算することで前記第２の画像信号を補正する補正ステップ（例えば、図２のステップＳ3）と
を含むことを特徴とする信号処理方法。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した信号処理装置の機能的構成例を表している。この信号処理装置１は、HD予測部１１、予測値評価部１２、および予測値補正部１３により構成されている。
HD予測部１１には、入力画像信号が入力されている。HD予測部１１は、例えば、この入力画像信号がSD画像信号であるとき、これをHD画像信号に変換して、信号Ｙ1として、予測値評価部１２と予測値補正部１３に出力する。予測値評価部１２は、HD予測部１１から入力された予測値としてのHD画像信号を評価し、補正量Ｅを演算して、予測値補正部１３に供給する。予測値補正部１３は、HD予測部１１から入力されたHD画像信号を、予測値評価部１２より供給された補正量Ｅに基づいて補正し、信号Ｙ2としての出力画像信号を出力する。
次に、図２のフローチャートを参照して、図１の信号処理装置の画像信号生成処理について説明する。
ステップＳ１において、HD予測部１１は、入力画像信号からHD予測値を生成する。即ち、入力されたSD画像信号からHD予測値としてのHD画像信号を生成し、予測値評価部１２と予測値補正部１３に出力する。このHD予測値生成処理の詳細については、図３と図４を参照して後述する。
ステップＳ２において、予測値評価部１２は、HD予測部１１より入力されたHD予測値を評価する。この予測値評価部１２の動作の詳細については、図６と図１２を参照して後述するが、これにより、HD予測部１１により生成された予測値が評価され、その評価に基づいた補正量Ｅが演算される。
ステップＳ３において、予測値補正部１３は、HD予測値を補正する。即ち、HD予測部１１より供給されたHD画像信号である予測値Ｙ1から、予測値評価部１２より供給された補正量Ｅを次式に基づいて減算することで、補正されたHD画像信号としての信号Ｙ2が演算される。
Figure 0004310697
図３は、HD予測部１１の機能的構成を表すブロック図である。同図に示されるように、HD予測部１１は、予測タップ抽出部３１、クラスタップ抽出部３２、クラス分類部３３、係数記憶部３４、および適応予測部３５により構成されている。
予測タップ抽出部３１は、入力画像信号としてのSD画像信号から予測タップを抽出し、適応予測部３５に供給する。クラスタップ抽出部３２は、入力されたSD画像信号からクラスタップを抽出し、クラス分類部３３に出力する。予測タップ抽出部３１が抽出する予測タップと、クラスタップ抽出部３２が抽出するクラスタップとして、入力されたSD画像信号のどの位置の画素が抽出されるかは、予め定められている。
クラス分類部３３は、クラスタップ抽出部３２より入力されたクラスタップを構成する画素の値に基づいてクラスを決定し、そのクラスに対応するコードを係数記憶部３４に出力する。係数記憶部３４には、多くの画像を予め学習することにより生成されたクラス毎の予測係数が記憶されている。係数記憶部３４は、クラス分類部３３より入力されたクラスに対応する予測係数を読み出し、適応予測部３５に出力する。適応予測部３５は、予測タップ抽出部３１により抽出された予測タップを構成する画素の画素値と、係数記憶部３４より供給された予測係数を一次線形結合式に適用して、HD予測値としてのHD画像信号を生成する。
次に、図４のフローチャートを参照して、HD予測部１１のHD予測値生成処理について説明する。
ステップＳ３１において、クラスタップ抽出部３２は、入力されたSD画像信号からクラスタップを抽出する。抽出されたクラスタップは、クラス分類部３３に供給され、ステップＳ３２において、クラス分類部３３はクラス分類する。即ちクラスタップ抽出部３２より入力されたクラスタップの値を、例えば１ビットADRC処理することでクラスが決定される。このクラスは、入力されたSD画像信号の特徴に対応したものとなる。係数記憶部３４は、ステップＳ３３において、予測係数を読み出す。具体的には、クラス分類部３３より入力されたクラスコードに対応する予測係数が読み出され、適応予測部３５に供給される。このクラスコードは、入力されたSD画像信号の特徴に対応したものであるため、予測係数はその特徴に対応した予測係数となる。
ステップＳ３４において、予測タップ抽出部３１は予測タップを抽出する。抽出された予測タップは、適応予測部３５に供給される。適応予測部３５は、ステップＳ３５において、HD予測値を生成する。即ち、予め定められている一次線形予測式に、予測タップ抽出部３１より供給された予測タップの画素値と、係数記憶部３４より読み出された予測係数を適応することで、HD予測値が演算される。
以上のようにして、例えば、図５に示されるように、図中丸印で示されるSD画素データから４倍の画素密度の図中四角形で示すHD画素データが生成される。同図に示されるように、この場合、例えば１個のSD画素データｐ１が、その周囲の４個のHD画素データｑ１乃至ｑ４に対応する。
以上のようにして、SD画像信号から生成されたより高密度のHD画像信号が予測値評価部１２と予測値補正部１３に供給される。
図６は、予測値評価部１２の機能的構成例を表している。この予測値評価部１２は、モード内差分計算部６１、平均値計算部６２、補正係数計算部６３、補正量演算部６４、モード間差分計算部６５、および平均値計算部６６により構成されている。
モード内差分計算部６１は、HD予測部１１の適応予測部３５より供給されたHD予測値のモード内差分値を計算する。同様に、モード間差分計算部６５は、入力されたHD予測値からモード間差分を計算する。この実施の形態においては、図７に示されるように、SD画素データのうちの１つの注目画素に対して、その周囲の４個のHD画素がモード０乃至モード３とされる。図７の例においては、注目画素の左上のHD画素がモード０、右上の画素がモード１、左下の画素がモード２、そして右下の画素がモード３とされる。
図８に示されるように、モード０乃至モード３の画素m０乃至ｍ３の４個の画素によりモードブロックが構成される。そして、画素m０乃至ｍ３のうちの１つが注目画素とされ、１つの注目画素とそれ以外のモードブロック内の他の画素との差分がモード内差分とされる。図８の例の場合、モードブロックの左上のモード０の画素ｍ０が注目画素とされているので、モード１の画素ｍ１、モード２の画素ｍ２、およびモード３の画素ｍ３との差分がモード内差分とされる。即ち、モード内差分Dinは、次式で表される。
Figure 0004310697
式（２）から明らかなように、この例においては、注目画素とその他の３個のモードの画素の差分の絶対値和がモード内差分Dinとされる。
そして、モードブロック内における注目画素の位置に対応する位置のモードブロック外の画素と注目画素との差分がモード間差分とされる。即ち、図８の例の場合、注目画素ｍ０は、モードブロックの左上の画素であるため、注目画素ｍ０の左上の３個の画素ｓ１乃至ｓ３との差分がモード間差分とされる。即ち、モード間差分Doutは、注目画素ｍ０と、その左側の画素ｓ１、上側の画素ｓ２、および斜め左上の画素ｓ３との差分の絶対値の和として次式により演算される。
Figure 0004310697
注目画素の位置が、例えば図９に示されるように、モードブロックの右上に位置する場合、その右側の画素ｓ１、上側の画素ｓ２、および右斜め上の画素ｓ３との差分の絶対値和が、モード間差分とされる。
モード内差分は、図８の場合と同様に、モードブロック内の注目画素ｍ０と他の３つの画素ｍ１乃至ｍ３との差分の絶対値和である。
図１０に示されるように、注目画素がモードブロックの左下の位置にある場合、注目画素ｍ０の左側の画素ｓ１、下側の画素ｓ２、および斜め左下の画素ｓ３との差分の絶対値和がモード間差分Doutとされる。モード内差分は、注目画素ｍ０とその他のモードブロック内の３つの画素ｍ１乃至ｍ３との差分の絶対値和である。
さらに、図１１に示されるように、注目画素ｍ０がモードブロックの右下に位置する場合、注目画素ｍ０の右側の画素ｓ１、下側の画素ｓ２、および右下の画素ｓ３との差分の絶対値和がモード間差分とされる。モード内差分は、注目画素ｍ０とモードブロック内のその他の３つの画素ｍ１乃至ｍ３との差分の絶対値和とされる。
図６に戻って、平均値計算部６２は、モード内差分計算部６１により計算されたモード内差分のそのフレーム内の平均値Dinavを計算する。平均値計算部６６は、モード間差分計算部６５により計算されたモード間差分Ｄoutのフレーム内の平均値Doutavを演算する。
補正係数計算部６３は、平均値計算部６２により計算されたモード内差分の平均値Dinavと、平均値計算部６６により計算されたモード間差分の平均値Ｄoutavとに基づいて、次式から補正係数Ｋを演算する。
Figure 0004310697
補正量演算部６４は、補正係数計算部６３により計算された補正係数Ｋと、モード間差分計算部６５により計算されたモード間差分doutから、次式に基づいて補正量Ｅを演算する。
Figure 0004310697
なお、上記式のモード間差分doutは、次式で表される値である。
Figure 0004310697
次に、図１２のフローチャートを参照して、予測値評価部１２の補正量演算処理について説明する。
ステップＳ６１において、モード内差分計算部６１は、モード内差分を計算する。具体的には、HD画素データで構成されるフレームの所定の位置にモードブロックを配置し、そのモードブロックの４個の画素のうちの１つの画素を注目画素として、上述した式（２）に基づいて、モード内差分Ｄinが演算される。ステップＳ６２において、モード間差分計算部６５は、式（３）に基づいてモード間差分Ｄoutを演算する。
モード内差分計算部６１によるモード内差分の計算と、モード間差分計算部６５によるモード間差分の計算は、モードブロックをフレーム内の位置に順次移動することで、１フレーム内の全ての画素について、同様に行われる。
そして、ステップＳ６３において、平均値計算部６２は、モード内差分計算部６１により計算されたモード内差分Dinの１フレーム分の平均値Dinavを演算する。同様に、ステップＳ６４において、平均値計算部６６は、モード間差分計算部６５により計算されたモード間差分Doutの１フレーム分の平均値Doutavを演算する。
補正係数計算部６３は、ステップＳ６５において補正係数Ｋを演算する。即ち、補正係数計算部６３は、平均値計算部６２により計算された平均値Dinavを、平均値計算部６６により計算された平均値Doutavで割り算することで、式（４）に基づいて、補正係数Ｋを演算する。
ステップＳ６６において、補正量演算部６４は、補正係数計算部６３により計算された補正係数Ｋと、モード間差分計算部６５により計算された式（６）で表されるモード間差分doutに基づいて、式（５）で表される補正量Ｅを演算する。
ここで、補正係数Ｋと補正量Ｅの意味について説明すると、次のようになる。
即ち、一般的な自然画像では、モード内差分の平均値Dinavとモード間差分の平均値Doutavは、次式で表されるように、等しい。
Figure 0004310697
この式（７）は、画素レベル勾配の方向依存性がないことを意味する。
しかしながら、本実施の形態のように、画素密度を４倍に変換すると、変換後の画像では、４画素のブロック毎に隔たりができ、次式で表されるように、モード間差分の平均値Doutavは、モード内差分の平均値Dinavより大きくなる。
Figure 0004310697
つまり、モード内差分よりもモード間差分の方が、平均的に大きくなる。これは、１個のSD画素から４個のHD画素を生成しているために、４画素毎に独立な出力になっているためである。
このように、本来、式（７）に示されるように、平均的に等しくなるべき値が、画素変換後の画像では、式（８）に示されるように、等しくなくなっているので、この値が等しくなるように補正することで、本来出力したい画像（より高品位の画像）に演算結果を近づけることができる。
画素変換をしない本来の画像では、式（７）に表されるように、モード内差分Dinavとモード間差分Doutavの値は等しくなるので、式（４）で表される補正係数Ｋは、本来の画像のモード間差分が４倍密処理の出力結果におけるモード間差分に較べて、どれくらい小さいかを表していることになる。そこで、４倍密処理出力結果画像のモード間差分Doutをモード内差分Dinに近づけてやれば、画像を正しい方向に補正することができる。
この処理を概念的に表すと、図１３に示されるようになる。ある注目画素ｍ０に対してモードブロック境界をまたいだ左側の画素をｓ１としたとき、図１３の最も左側に示されるように、注目画素ｍ０と画素ｓ１との差分はｄ０となっている。
この画像を４倍密処理して画素変換すると、図１３の中央に示されるように、注目画素ｍ０と画素ｓ１との差分は、ｄ０からｄ１に平均的に拡大することになる。この状態がHD予測部１１より出力されたHD予測値としての信号Ｙ1の状態である。
そこで、この差分ｄ１に対して、本来平均的にどれくらい小さいかを表す補正係数Ｋを乗算することで、補正後の差分ｄ２を、本来の差分ｄ０に近づけることができる。このための補正量がＥである。
なお、注目画素ｍ０と画素ｓ１との差分補正処理は、両側から行われるため（画素ｍ０が注目画素とされている場合の補正と、画素ｓ1が注目画素とされた場合の補正が行われるため）、式（５）においては、補正量Ｅの値が２で割り算されている。
予測値補正部１３により、上記した式（１）に基づいて、HD予測部１１より出力された信号Ｙ1から補正量Ｅを減算することで、補正されたHD画像信号としての信号Ｙ2を演算することができる。これにより、画面全体で平均的にモード間差分平均がモード内差分平均に近づき、画面全体でモードブロック毎の隔たりがなくなった画像が得られる。
以上においては、画素変換を４倍密度としたが、その値は、それに限られるものではなく、また、画素密度をｎ倍にする場合だけでなく、１／ｎ倍にする場合にも本発明は適用することが可能である。
本発明は、テレビジョン受像機、ハードディスクレコーダ、その他の画像信号を処理する装置に適用することができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、信号処理装置は、図１４に示されるようなパーソナルコンピュータにより構成される。
図１４において、CPU（Central Processing Unit）２２１は、ROM（Read Only Memory）２２２に記憶されているプログラム、または記憶部２２８からRAM（Random Access Memory）２２３にロードされたプログラムに従って各種の処理を実行する。RAM２２３にはまた、CPU２２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU２２１、ROM２２２、およびRAM２２３は、バス２２４を介して相互に接続されている。このバス２２４にはまた、入出力インタフェース２２５も接続されている。
入出力インタフェース２２５には、キーボード、マウスなどよりなる入力部２２６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部２２７、ハードディスクなどより構成される記憶部２２８、モデムなどより構成される通信部２２９が接続されている。通信部２２９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース２２５にはまた、必要に応じてドライブ２３０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２３１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２２８にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図１４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２２や、記憶部２２８に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
本発明は、画像処理を行うパーソナルコンピュータに適応することが可能である。
本発明を適用した信号処理装置の機能的構成例を示すブロック図である。 図１の信号処理装置の画像生成処理を説明するフローチャートである。 図１のHD予測部の機能的構成例を示すブロック図である。 HD予測値生成処理を説明するフローチャートである。 SD画素データとHD画素データの関係を説明する図である。 図１の予測値評価部の機能的構成例を示すブロック図である。 モードを説明する図である。 モード内差分とモード間差分を説明する図である。 モード内差分とモード間差分を説明する図である。 モード内差分とモード間差分を説明する図である。 モード内差分とモード間差分を説明する図である。 補正量演算処理を説明するフローチャートである。 補正の原理を説明する図である。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
１ 信号処理装置， １１ HD予測部， １２ 予測値評価部， １３ 予測値補正部， ３１ 予測タップ抽出部， ３２ クラスタップ抽出部， ３３ クラス分類部， ３４ 係数記憶部， ３５ 適応予測部， ６１ モード内差分計算部， ６２ 平均値計算部， ６３ 補正係数計算部， ６４ 補正量演算部， ６５ モード間差分計算部， ６６ 平均値計算部

Claims (4)

  1. 第１の画像信号をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と前記第１の画像信号とを一次線形結合式に適用することで、第２の画像信号を生成する生成手段と、
    前記第２の画像信号の画素のうちの注目画素と前記注目画素を含むブロックであって、前記第１の画像信号のそれぞれの画素に対応するブロック内の他の画素との差分である第１の差分のフレーム内の平均値である第１の平均値の、前記注目画素と前記ブロック外の他の画素との差分である第２の差分のフレーム内の平均値である第２の平均値に対する割合を１から減算して得られた差に、前記第２の差分を２で除した商を乗じることにより得られる積である補正量を演算する演算手段と、
    前記第２の画像信号から前記補正量を減算することで前記第２の画像信号を補正する補正手段と
    を備えることを特徴とする信号処理装置。
  2. 第１の画像信号をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と前記第１の画像信号とを一次線形結合式に適用することで、第２の画像信号を生成する生成ステップと、
    前記第２の画像信号の画素のうちの注目画素と前記注目画素を含むブロックであって、前記第１の画像信号のそれぞれの画素に対応するブロック内の他の画素との差分である第１の差分のフレーム内の平均値である第１の平均値の、前記注目画素と前記ブロック外の他の画素との差分である第２の差分のフレーム内の平均値である第２の平均値に対する割合を１から減算して得られた差に、前記第２の差分を２で除した商を乗じることにより得られる積である補正量を演算する演算ステップと、
    前記第２の画像信号から前記補正量を減算することで前記第２の画像信号を補正する補正ステップと
    を含むことを特徴とする信号処理方法。
  3. 第１の画像信号をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と前記第１の画像信号とを一次線形結合式に適用することで、第２の画像信号を生成する生成ステップと、
    前記第２の画像信号の画素のうちの注目画素と前記注目画素を含むブロックであって、前記第１の画像信号のそれぞれの画素に対応するブロック内の他の画素との差分である第１の差分のフレーム内の平均値である第１の平均値の、前記注目画素と前記ブロック外の他の画素との差分である第２の差分のフレーム内の平均値である第２の平均値に対する割合を１から減算して得られた差に、前記第２の差分を２で除した商を乗じることにより得られる積である補正量を演算する演算ステップと、
    前記第２の画像信号から前記補正量を減算することで前記第２の画像信号を補正する補正ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  4. 第１の画像信号をクラス分類し、予め学習することにより生成されたクラス毎の予測係数と前記第１の画像信号とを一次線形結合式に適用することで、第２の画像信号を生成する生成ステップと、
    前記第２の画像信号の画素のうちの注目画素と前記注目画素を含むブロックであって、前記第１の画像信号のそれぞれの画素に対応するブロック内の他の画素との差分である第１の差分のフレーム内の平均値である第１の平均値の、前記注目画素と前記ブロック外の他の画素との差分である第２の差分のフレーム内の平均値である第２の平均値に対する割合を１から減算して得られた差に、前記第２の差分を２で除した商を乗じることにより得られる積である補正量を演算する演算ステップと、
    前記第２の画像信号から前記補正量を減算することで前記第２の画像信号を補正する補正ステップと
    をコンピュータに実行させることを特徴とするプログラム。
JP2004124270A 2004-04-20 2004-04-20 信号処理装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4310697B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004124270A JP4310697B2 (ja) 2004-04-20 2004-04-20 信号処理装置および方法、記録媒体、並びにプログラム
US11/110,129 US7609324B2 (en) 2004-04-20 2005-04-20 Signal processing apparatus and method for generating a corrected image having a large number of pixels from an image having a lesser number of pixels, and recording medium having a program recorded thereon for performing such method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004124270A JP4310697B2 (ja) 2004-04-20 2004-04-20 信号処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2005311588A JP2005311588A (ja) 2005-11-04
JP4310697B2 true JP4310697B2 (ja) 2009-08-12

Family

ID=35136483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004124270A Expired - Fee Related JP4310697B2 (ja) 2004-04-20 2004-04-20 信号処理装置および方法、記録媒体、並びにプログラム

Country Status (2)

Country Link
US (1) US7609324B2 (ja)
JP (1) JP4310697B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
PL3849186T3 (pl) * 2011-06-24 2024-01-03 Mitsubishi Electric Corporation Urządzenie do kodowania obrazu ruchomego, urządzenie do dekodowania obrazu ruchomego, sposób kodowania obrazu ruchomego i sposób dekodowania obrazu ruchomego
US8813156B1 (en) * 2012-05-22 2014-08-19 Google Inc. Resolution recommendation for displaying content items
TWI692980B (zh) * 2019-01-17 2020-05-01 瑞昱半導體股份有限公司 影像處理方法及影像處理系統

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2585957B2 (ja) * 1992-08-18 1997-02-26 富士通株式会社 ビデオデータ変換処理装置とビデオデータ変換装置を有する情報処理装置
FR2700090B1 (fr) * 1992-12-30 1995-01-27 Thomson Csf Procédé de désentrelacement de trames d'une séquence d'images animées.
EP0701760B1 (en) * 1993-06-01 1997-09-17 THOMSON multimedia Method and apparatus for motion compensated interpolation
US5625421A (en) * 1994-01-14 1997-04-29 Yves C. Faroudja Suppression of sawtooth artifacts in an interlace-to-progressive converted signal
TW377431B (en) * 1995-04-14 1999-12-21 Hitachi Ltd Method and apparatus for changing resolution
US5786866A (en) * 1996-10-15 1998-07-28 Fairchild Semiconductor Corporation Video color subcarrier signal generator
US6297847B1 (en) * 1998-08-03 2001-10-02 S3 Graphics Co., Ltd. Removal of interpolation artifacts in a non-interlaced video stream
JP4099553B2 (ja) 1998-09-02 2008-06-11 ソニー株式会社 予測係数生成方法及び信号処理装置
US6545719B1 (en) * 2000-03-31 2003-04-08 Matsushita Electric Industrial Co., Ltd. Apparatus and method for concealing interpolation artifacts in a video interlaced to progressive scan converter

Also Published As

Publication number Publication date
US7609324B2 (en) 2009-10-27
JP2005311588A (ja) 2005-11-04
US20050238247A1 (en) 2005-10-27

Similar Documents

Publication Publication Date Title
US8913822B2 (en) Learning apparatus and method, image processing apparatus and method, program, and recording medium
US7881539B2 (en) Image processing apparatus and method, program recording medium, and program
KR100746839B1 (ko) 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체
US8331710B2 (en) Image processing apparatus and method, learning apparatus and method, and program
US8264600B2 (en) Image processing apparatus for converting a lower resolution image into a higher resolution image using cyclic coefficients
JP4915341B2 (ja) 学習装置および方法、画像処理装置および方法、並びにプログラム
JP2013021635A (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4310697B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP4470898B2 (ja) 画像処理装置および方法、並びに、プログラム
US20100039517A1 (en) Film cadence detection
JP4650683B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JP2010118940A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5029869B2 (ja) 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4716086B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP2009253873A (ja) 画像処理装置及び方法、並びにプログラム
JP4182574B2 (ja) 画像情報変換装置および変換方法
JP7133351B2 (ja) 生成方法、生成プログラムおよび生成装置
JP4561401B2 (ja) データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム
JP5131534B2 (ja) 情報処理装置および方法、並びにプログラム
JP2005318096A (ja) 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
US8311963B2 (en) Signal processing apparatus, signal processing method, signal processing program and learning apparatus
JP2009278554A (ja) 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
JP2009284207A (ja) 画像処理装置および方法、プログラム、並びに学習装置および方法
JP2011216967A (ja) 画像処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090416

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090429

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees