JP3826495B2 - Image signal processing apparatus and method - Google Patents

Image signal processing apparatus and method Download PDF

Info

Publication number
JP3826495B2
JP3826495B2 JP16156997A JP16156997A JP3826495B2 JP 3826495 B2 JP3826495 B2 JP 3826495B2 JP 16156997 A JP16156997 A JP 16156997A JP 16156997 A JP16156997 A JP 16156997A JP 3826495 B2 JP3826495 B2 JP 3826495B2
Authority
JP
Japan
Prior art keywords
polynomial
signal
parameter
image signal
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16156997A
Other languages
Japanese (ja)
Other versions
JPH118837A (en
Inventor
哲二郎 近藤
秀雄 中屋
靖 立平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP16156997A priority Critical patent/JP3826495B2/en
Publication of JPH118837A publication Critical patent/JPH118837A/en
Application granted granted Critical
Publication of JP3826495B2 publication Critical patent/JP3826495B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、画像信号の解像度を向上させる処理を行う画像信号処理装置及び方法に関する。
【0002】
【従来の技術】
従来、画像信号としては、例えば525本の走査線を有する標準解像度(standard definition; SD)のテレビジョン受像器に対応するSD信号と共に、例えば1125本の走査線を有する高解像度(high definition; HD)のテレビジョン受像器(以下、HDTVと称する。)に対応するHD信号が提供されている。
【0003】
ところで、上記HDTVに対してSD信号が与えられる場合がある。このような場合には、SD信号をHD信号に変換する信号変換、いわゆるアップコンバートが施される。
【0004】
【発明が解決しようとする課題】
このアップコンバートの際には、線形補間によって画素を増やす処理を行っていた。しかし、この線形補間によるアップコンバートによっては、解像度を向上させることは不可能であった。
【0005】
この発明は、上述の課題に鑑みてなされるものであって、アップコンバートの際に、解像度を向上させる画像信号処理装置及び方法を提供することを目的とする。
【0006】
【課題を解決するための手段】
上述の課題を解決するために、発明に係る画像処理装置は、第1の画像信号を時間軸方向にブロック化するブロック化手段と、このブロック化された第1の画像信号に対して第1の多項式であるn次多項式についてn次曲面フィッティングにより信号当てはめを行い、この第1の多項式であるn次多項式を特定する第1のパラメータを導出する信号解析手段と、上記第1の画像信号に上記第1の多項式を当てはめることにより取得した上記第1のパラメータと、上記第1の画像信号と同一の対象についての上記第1の画像信号より解像度の高い第2の画像信号に第2の多項式であるn+m次多項式を(n+m)次曲面フィッティングにより当てはめることにより取得した上記n+m次多項式を特定する第2のパラメータとについて統計的な処理を行い対応関係を抽出することにより設定され、上記第1のパラメータに対応した上記第2のパラメータが読み出されるパラメータテーブルと、上記第2のパラメータにて特定される、上記第2の多項式である上記n+m次多項式にて信号を生成する信号生成手段と、上記第1の画像信号と、上記信号生成手段にて生成された信号とを合成して画像信号とする信号合成手段とを有することを特徴としている。
【0007】
また、発明に係る画像処理方法は、第1の画像信号を時間軸方向にブロック化するブロック化工程と、このブロック化された第1の画像信号に対して第1の多項式であるn次多項式についてn次曲面フィッティングにより信号当てはめを行い、この第1の多項式であるn次多項式を特定する第1のパラメータを導出する信号解析工程と、上記第1の画像信号に上記第1の多項式を当てはめることにより取得した上記第1のパラメータと、上記第1の画像信号と同一の対象についての上記第1の画像信号より解像度の高い第2の画像信号に第2の多項式であるn+m次多項式を(n+m)次曲面フィッティングにより当てはめることにより取得した上記n+m次多項式を特定する第2のパラメータとについて統計的な処理を行い対応関係を抽出することにより設定されたパラメータテーブルから、上記第1のパラメータに対応した第2のパラメータ読み出す読み出し工程と、上記第2のパラメータにて特定される、上記第2の多項式である上記n+m次多項式にて信号を生成する信号生成工程と、上記第1の画像信号と、上記信号生成工程にて生成された信号とを合成して画像信号とする信号合成工程とを有することを特徴としている。
【0010】
【発明の実施の形態】
以下、この発明に係る画像信号処理装置及び方法を、図面を参照しながら詳細に説明する。
【0011】
画像信号処理装置の一例は、図1に示すように、画像信号を時間軸方向にブロック化するブロック化部1を有している。このブロック化部1は、例えば525本の走査線を有する標準テレビジョン受像機相当の画素数及び画質を有する標準解像度のSD信号を、ブロックに分割するものである。このブロック化部1は、例えば、入力するSD信号の2次元画素を分割してブロックとする。
【0012】
また、上記画像信号処理装置は、ブロック化された画像信号に対して信号当てはめを行う信号解析手段である信号当てはめ部2と、この信号当てはめ部2の結果に応じてパラメータが読み出されるパラメータテーブル3と、このパラメータテーブル3から取得したパラメータにて特定される多項式にて信号を生成する信号生成部4とを有している。
【0013】
上記信号当てはめ部2は、上記ブロック化部1からブロック化された信号を与えられ、このブロック化された信号に対して信号当てはめを行う。ここでは、第1の多項式であるn次多項式についていわゆるn次曲面フィッティングにより当てはめを行い、このn次多項式を特定するパラメータを第1のパラメータとする。この第1のパラメータとしては、例えば上記n次多項式の係数を用いることができる。ここで、上記nとは1以上の整数である。
【0014】
上記パラメータテーブル3は、第1の多項式であるn次多項式を特定する第1のパラメータと、第2の多項式であるn+m次多項式を特定する第2のパラメータとの対応関係を保持するテーブルである。ここで、上記mは1以上の整数であるので、上記第2の多項式は第1の多項式よりも次数が高い。なお、この第2のパラメータとしては、例えば上記n+m次多項式の係数を用いることができる。なお、上記パラメータテーブル3としては、ROMテーブルをアドレッシングすることにより実現できる。
【0015】
このパラメータテーブル3は、例えば、図2に示すように、第1の多項式であるn次多項式を特定する第1パラメータA1、A2、A3、・・・と、第2の多項式であるn+m次多項式を特定する第2のパラメータB1、B2、B3、・・・との対応関係を保持している。図中では、第1のパラメータの内のA4と、第2のパラメータの内のB4とがリンクする対応関係が示されている。
【0016】
上記パラメータテーブルは、後述するように、同一の対象を撮像した、SD信号に当てはめた上記第1のパラメータと、例えば1125本の走査線を有する高解像度のテレビジョン受像器等に対応する画素数及び画質を有する高解像度のHD信号に当てはめた上記第2のパラメータとの対応関係を解析することにより予め設定される。
【0017】
上記図1に示す信号生成部4は、第2の多項式であるn+m次多項式を特定する第2のパラメータを受け取り、このn+m多項式に基づいて信号を生成する。即ち、この信号生成部4は、上記信号解析部2にて導出した上記第1のパラメータに対応して上記パラメータテーブル3から読み出され第2のパラメータにより特定されるn+m次多項式に基づいて画像信号を生成する。
【0018】
さらに、上記画像信号処理装置は、画像信号を合成する信号合成部5を有している。この信号合成部5は、上記ブロック化部1から得られる画像信号と、上記信号生成部4にて生成された信号とを合成し、この合成により得られた画像信号をHD信号として出力する。
【0019】
ここで、信号の合成とは、上記ブロック化部1から与えられる画像信号と、上記信号生成部4から得られた信号とを、例えば重み付け乗算したり、貼り付けたりすることが挙げられる。なお、上記貼り付けとは、上記画像信号に上記信号を貼り付ける、いわゆるマッピングの意味である。また、信号の合成の際のタイミング調整のために信号が遅延される場合がある。
【0020】
続いて、画像信号処理方法の一例について説明する。この画像信号処理方法に係る一連の手順は、図3のフローチャートに示される。
【0021】
最初のステップS1においては、入力するSD信号をブロック化する。例えば、SD信号を所定期間毎に1ブロックとする。そして、これに続くステップS2に進む。
【0022】
ステップS2においては、ステップS1にてブロック化された画像信号に対して信号当てはめを行う。即ち、ブロック化された信号に対して第1の多項式であるn次多項式を当てはめ、例えば上記n次多項式の係数を、第1のパラメータとして決定する。但し、上記nとは1以上の整数である。そして、次のステップS3に進む。
【0023】
ステップS3においては、パラメータテーブルを参照する。即ち、ステップS2にて得られた第1のパラメータに対応する第2のパラメータをパラメータテーブルから読み出す。
【0024】
ここで、上記パラメータテーブルとは、第1の多項式である上記n次多項式を特定する第1のパラメータと、第2の多項式であるn+m次多項式を特定する第2のパラメータとの対応関係を保持するテーブルである。但し、上記mは1以上の整数であるので、上記第2の多項式は上記第1の多項式より次数が高い。なお、この第2のパラメータとしては、例えば上記n+m次多項式の係数を用いることができる。上記パラメータテーブルから第2のパラメータの読み出しを終えると、次のステップS4に進む。
【0025】
ステップS4においては、ステップS3において得られた第2のパラメータにて特定される第2の多項式であるn+m次多項式に基づいて信号を生成する。そして、これに続くステップS5に進む。
【0026】
ステップS5においては、ステップS1にてブロック化された画像信号と、ステップS4にて生成された信号とを合成し、この合成により得られた画像信号をHD信号として出力する。ここで、信号の合成とは、上記信号生成部4から得られた信号と、上記ブロック化部1から与えられる信号とを、例えば重み付け乗算したり、貼り付けたりすることが挙げられる。
【0027】
以上において説明したように、上記画像信号処理装置及び方法は、SD信号に対して当てはめた第1の多項式であるn次多項式よりも次数の高い第2の多項式であるn+m次多項式から信号を生成し、この画像信号と、元のSD信号を合成した画像信号をHD信号として出力している。画像信号に対応する多項式の次数は、第1の多項式のn次から第2の多項式のn+m次までm次向上しているので、解像度を向上させた画像信号が得られる。この画像信号の処理により、SD信号より高解像度でより細かい表現をすることができるHD信号を、SD信号から生成することが可能になる。
【0028】
続いて、上記パラメータテーブル3を学習により作成する方法について説明する。このパラメータテーブル3は、上述したように、第1の多項式であるn次多項式を特定する第1のパラメータと、第2の多項式であるn+m次多項式を特定する第2のパラメータとの対応関係を保持するものである。
【0029】
このパラメータテーブル3を作成するための一連の手順は、図4に示すように、同一の対象をSD信号を出力するSDカメラ11と、HD信号を出力するHDカメラ14でそれぞれ撮像して得られたSD信号及びHD信号に対し、それぞれ第1の信号当てはめ部13及び第2の信号当てはめ部15にて第1のパラメータ及び第2のパラメータを導出し、これら第1のパラメータ及び第2のパラメータを度数テーブル17に記録して、これら第1のパラメータと第2のパラメータとの対応関係を判断部18にて解析することにより、その結果の対応表をメモリ19に記録するものである。
【0030】
即ち、SDカメラ11にて得られた画像信号であるSD信号は、第1のブロック化部12にて時間軸方向にブロック化される。この第1のブロック化部12におけるブロック化としては、例えば、入力する画像信号の2次元画素を分割してブロック化することが挙げられる。このブロック化されたSD信号は、第1の信号当てはめ部13にて第1の多項式であるn次多項式にフィッティグにより当てはめられ、このn次多項式を特定する第1のパラメータが導出される。この第1のパラメータとしては、例えば上記n次多項式の係数を用いることができる。
【0031】
一方、上記SDカメラ11と同一の対象を撮像するHDカメラ14にて得られたHD信号は、第2のブロック化部15にてブロック化される。この第2のブロック化部15におけるブロック化としては、例えば、上記第1のブロック化部12に同期してブロック化することができる。
【0032】
このブロック化されたHD信号は第2の信号当てはめ部14にていわゆる(n+m)次曲面フィッティングにより第2の多項式であるn+m次多項式に当てはめられ、このn+m次多項式を特定する第2のパラメータが導出される。この第2のパラメータとしては、例えば上記n+m次多項式の係数を利用することができる。
【0033】
なお、ここではSDカメラ11及びHDカメラ14で同一の対象を撮像してそれぞれSD信号及びHD信号を得ているが、HDカメラ14にて撮像したHD信号に対してローパスフィルタ又はサブサンプリングの処理を施すことにより、このHD信号から同一対象物を撮像したSD信号と同等な信号が得られる。
【0034】
これら第1の信号当てはめ部13及び第2の信号当てはめ部16にて得られた第1のパラメータと第2のパラメータとの対は、度数テーブル17に記録される。この度数テーブル17には、例えば、上記第1のパラメータと第2のパラメータの対が所定量蓄積されるまで記録が続けられる。
【0035】
上記判断部18は、上記度数テーブル17に蓄積された第1のパラメータと第2のパラメータの対に基づいて判断を行う。例えば、統計的な処理を行い有効な対応関係を抽出する。そして、第1のパラメータと第2のパラメータとの対応関係を決定する。
【0036】
上記メモリ19は、上記判断部18にて決定された上記第1のパラメータと第2のパラメータの対応関係を記憶する。このメモリ19に記憶された上記第1のパラメータと上記第2のパラメータとの対応関係は、必要な場合に読み出されて上記パラメータテーブル3に設定される。また、このメモリ19に記憶された上記第1のパラメータと第2のパラメータの対応関係は、上記画像信号処理方法においても利用される。
【0037】
以上説明したように、第1のパラメータと第2のパラメータとの対応関係は、SD信号から導出した第1の多項式であるn次多項式を特定する第1のパラメータと、上記SD信号と同一の対象を撮像したHD信号から導出した第2の多項式であるn+m次多項式を特定する第2のパラメータとの対を度数テーブル17に記録して、この度数テーブル17の記録を判断部18にて解析するという、学習に係る一連の手順によって得ることができる。
【0038】
このような学習により、SD信号に対応する第1のパラメータと、HD信号に対応する第2のパラメータの対応関係が得られ、この対応関係を利用することにより、SD信号からHD信号を生成することが可能になる。
【0039】
次に、画像信号処理装置の他の例について説明する。
この画像信号処理装置は、図5に示すように、画像信号を時間軸方向にブロック化するブロック化部1を有している。このブロック化部1は、上述した画像信号処理装置の備えるブロック化部1と同じく、入力されるSD信号を時間軸方向にブロック化する。例えば、このブロック化部1は、入力する画像信号を所定時間毎にブロック化することがある。
【0040】
また、上記画像信号処理装置は、ブロック化された画像信号を波形パターンによりクラス分類する信号解析手段であるクラス分類部6と、このクラス分類部2における結果に応じてパラメータを読み出されるパラメータテーブル3と、このパラメータテーブル3にて得たパラメータに対応して画像信号を生成する信号生成部4とを有している。
【0041】
上記クラス分類部6は、上記ブロック化部1からブロック化された信号を与えられ、このブロック化された信号2を波形パターンによりクラス分類する。
【0042】
ここで、クラス分類としては、例えば、ベクトル量子化、圧縮符号化、及び適応型ダイナミックレンジ符号化(adaptive dynamic range coding; ADRC)による波形分類を挙げることができる。
【0043】
このADRCによるクラス分類は、本来VTR向け高能率符号化用に開発された適応的再量子化法であり、信号レベルの局所的なパターンを短い語長で効率的に表現することができる。
【0044】
ここで、1ビットARDCを例に取って、ARDCを説明する。ARDC回路の一例を図6に示す。このADRC回路は、図7に示すように、第1行に図中左から右に画素P1〜P3、第2行に同じく画素P4〜P6、第3行に同じく画素P7〜P9の(3×3)の計9個の画素が配置されたブロックBに対しADRCを施すものである。
【0045】
即ち、上記ADRC回路は、入力端子101からのブロックの順序に変換されたデータに関して、検出回路102がブロック毎に最大値MAX、最小値MINを検出する。減算回路103に対してMAX及びMINが供給され、その出力にダイナミックレンジDRが発生する。入力データ及びMINが減算回路104に供給され、減算回路104から最小値が除去されることで、正規化された画素データが発生する。
【0046】
ダイナミックレンジDRが減算回路105に供給され、正規化された画素データがダイナミックレンジDRで割算され、割算回路105の出力データが比較回路106に供給される。比較回路106では、中央画素P5以外の8個の画素の割算出力が0.5を基準として、より大きいか、より小さいかが判断される。この結果に応じて、“0”又は“1”のデータDTが発生する。この比較出力DTが出力端子107に取り出される。この1ビットADRCを用いてクラス分割を行えば(3×3)のブロックBが9ビットのクラスコードで表現される。
【0047】
上記パラメータテーブル3は、上記クラス分類部6の与えるクラスと、k次多項式を特定するパラメータとの対応関係を保持するテーブルである。ここで、上記kは1以上の整数である。なお、上記パラメータとしては、例えば上記k次多項式の係数を用いることができる。ここで、このパラメータテーブル3は、例えばROMテーブルをアドレッシングすることにより実現できる。
【0048】
このパラメータテーブル3は、例えば、上記図2を用いて説明すると、上記クラス分類部6から与えられるクラスA1、A2、A3、・・・と、上記k次多項を特定するパラメータB1、B2、B3、・・・との対応関係を保持している。図中では、クラスA4と、パラメータB4とがリンクする対応関係が示されている。
【0049】
この図5中のパラメータテーブル3は、後述するように、SD信号をクラス分類することにより導出したクラスと、上記SD信号を同一の対象を撮像したHD信号に当てはめたk次多項式を特定するパラメータとの対応関係を解析することにより予め設定される。
【0050】
上記信号生成部4は、上記パラメータテーブル3から与えられるパラメータにより特定されるk多項式から信号を生成するものである。即ち、この信号生成部4は、上記クラス分類部2にて導出されたクラスに対応して上記パラメータテーブル3から読み出されたパラメータにより特定されるk次多項式に基づいて信号を生成する。
【0051】
さらに、上記画像信号処理装置は、画像信号を合成する信号合成部5を有している。この信号合成部5は、上記ブロック化部1から得られる画像信号と、上記信号生成部4にて生成された信号とを合成し、この合成により得られた画像信号をHD信号として出力する。
【0052】
ここで、信号の合成とは、例えば、上記ブロック化部1から与えられる信号と、上記信号生成部4から得られた信号とを重み付け乗算したり、貼り付けたりすることが挙げられる。なお、上記貼り付けとは、マッピングの意味である。また、信号の合成の際のタイミング調整のために、信号が遅延される場合がある。
【0053】
続いて、画像信号処理方法の他の例について説明する。この画像信号処理方法に係る一連の手順は、図8のフローチャートに示される。
【0054】
最初のステップS11においては、入力するSD信号をブロック化する。このブロック化としては、例えば、SD信号を所定時間毎に1ブロックとすることが挙げられる。そして、これに続くステップS12に進む。
【0055】
ステップS12においては、ステップS11にてブロック化された画像信号を波形パターンに基づいてクラス分類する。このクラス分類としては、例えばADRCを利用することができる。クラス分類については上で詳述したので、ここでの説明を省略する。そして、次のステップS13に進む。
【0056】
ステップS13においては、パラメータテーブルを参照する。即ち、ステップS12にて得られたクラスに対応するパラメータを、パラメータテーブルから読み出す。
【0057】
ここで、上記パラメータテーブルは、ブロック化された画像信号の波形パターンに基づいたクラス分類により得られたクラスと、k次多項式を特定するパラメータとの対応関係を保持するテーブルである。なお、上記パラメータとしては、例えば上記k次多項式の係数を用いることができる。上記パラメータテーブルからパラメータの読み出しを終えると、次のステップS14に進む。
【0058】
ステップS14においては、ステップS13において得られたパラメータにて特定されるk次多項式に基づいて信号を生成する。そして、これに続くステップS15に進む。
【0059】
ステップS15においては、ステップS11にてブロック化された画像信号と、ステップS14にて生成された信号とを合成し、この合成により得られた画像信号をHD信号として出力する。ここで、信号の合成とは、上記信号生成部から得られた信号と、上記ブロック化部から与えられる信号とを、例えば重み付け乗算することが挙げられる。
【0060】
以上説明したように、上記画像信号処理装置及び方法は、SD信号の波形パターンによるクラス分類により導出したクラスに対応するk次多項式に基づいて信号を生成し、この信号と、ブロック化されたSD信号を合成した画像信号をHD信号として出力している。従って、この画像信号処理装置及び方法においては、上記k次多項式の次数kを適当に選択することにより、入力されたSD信号からHD信号を得ることができる。即ち、この画像信号の処理装置及び方法は、SD信号より高解像度であり、より細かい表現ができるHD信号を、SD信号から生成することができる。
【0061】
続いて、上記パラメータテーブル3を学習により作成する学習方法の他の例について説明する。このパラメータテーブル3は、上述したように、入力されるSD信号のクラス分類によるクラスと、上記k次多項式を特定するパラメータとの対応関係を保持するものである。
【0062】
このパラメータテーブル3を作成するための一連の手順は、図9に示すように、同一の対象をSDカメラ11及びHDカメラ14でそれぞれ撮像して得られたSD信号及びHD信号を第1のブロック化部12及び第2のブロック化部15にてそれぞれブロック化した後に、クラス分類部21及び信号当てはめ部22にてクラス及びパラメータをそれぞれ導出し、これらクラス及びパラメータを度数テーブル17に記録して、この度数テーブル17に記録された対応関係を判断部18にて解析することにより、その解析の結果の対応表をメモリ19に記録するものである。
【0063】
即ち、SDカメラ11にて得られた画像信号であるSD信号は、第1のブロック化部12にて時間軸方向にブロック化される。このブロック化としては、入力する画像信号を例えば所定時間毎にブロック化することが挙げられる。この第1のブロック化部12にてブロック化された画像信号は、クラス分類部21にて波形パターンによりクラス分類される。このクラス分類については、上で詳述したので、ここでの説明を省略する。
【0064】
一方、上記SDカメラ11と同一の対象を撮像するHDカメラ14にて得られた画像信号であるHD信号は、第2のブロック化部15にてブロック化される。このブロック化としては、例えば、上記第1のブロック化部12に同期してブロック化することが挙げられる。このブロック化された画像信号には、信号当てはめ部22にていわゆるk次曲面フィッティングによりk次多項式が当てはめられ、このk次多項式を特定するパラメータが導出される。このパラメータとしては、例えば、上記k次多項式の係数を利用することができる。
【0065】
なお、ここではSDカメラ11及びHDカメラ14で同一の対象を撮像してそれぞれSD信号及びHD信号を得ているが、HDカメラ14にて撮像したHD信号に対してローパスフィルタ又はサブサンプリングの処理を施すことにより、このHD信号から同一対象物を撮像したSD信号と同等の信号が得られる。
【0066】
これらクラス分類部21及び信号当てはめ部22にて得られた、クラスとパラメータとの対は、度数テーブル17に記録される。この度数テーブル17には、例えば、上記クラスとパラメータの対が所定量蓄積されるまで記録が続けられる。
【0067】
上記判断部18は、上記度数テーブル17に蓄積されたクラスとパラメータの対について解析し、この解析に基づいて判断する。例えば、上記判断部18は、上記度数テーブル17に記録されたクラスとパラメータとの対について統計的な処理を施し、有効な対応関係を抽出する。そして、上記クラスとパラメータとの対応関係を決定する。
【0068】
上記メモリ19は、上記判断部18にて決定された上記クラスとパラメータの対応関係を記憶する。このメモリ19に記憶された上記クラスとパラメータとの対応関係は、必要な場合に読み出されて上記パラメータテーブル3に設定される。また、このメモリ19に記憶された上記クラスとパラメータの対応関係は、上記画像信号処理方法においても利用される。
【0069】
以上説明したように、上記クラスとパラメータとの対応関係は、SD信号の波形パターンから導出したクラスと、上記SD信号と同一の対象を撮像したHD信号から導出したk次多項式を特定するパラメータとから度数テーブル17を作成することにより、学習によって得ることができる。
【0070】
このような学習により、SD信号に対応するクラスと、HD信号に対応するパラメータの対応関係が得られ、この対応関係を利用することにより、SD信号からHD信号を生成することが可能になる。
【0071】
なお、この具体例においてはSD信号からHD信号への変換について説明したが、この発明はこれに限定されず、画像信号の解像度を高めて画質を向上させる用途に広く利用することができる。
【0072】
【発明の効果】
上述したように、画像信号処理装置の一例は、入力されたSD信号に当てはめたn次多項式を特定する第1のパラメータから、この第1のパラメータの対応する第2のパラメータの特定するn+m次多項式に基づいて信号を生成し、この信号と入力されたSD信号とを合成することによりHD信号を得ている。従って、この画像信号処理装置は、入力されたSD信号から解像度の高いHD信号を与えることができる。
【0073】
また、画像信号処理方法の一例は、上記画像信号処理装置の一例と同じく入力されたSD信号に当てはめたn次多項式を特定する第1のパラメータから、この第1のパラメータの対応する第2のパラメータの特定するn+m次多項式に基づいて信号を作成し、この信号と入力されたSD信号とを合成することによりHD信号を得ている。従って、この画像信号処理方法は、入力されたSD信号から解像度の高いHD信号を与えることができる。
【0074】
さらに、画像信号処理装置の他の一例は、入力されたSD信号の波形パターンのクラス分類により得たクラスと、このクラスに対応するパラメータの特定するk次多項式に基づいて信号を生成し、この信号と入力されたSD信号とを合成することによりHD信号を得ている。従って、この画像信号処理装置は、入力されたSD信号から解像度の高いHD信号を与えることができる。
【0075】
そして、画像信号処理方法の他の一例は、上記画像信号処理装置の他の一例と同じく、入力されたSD信号の波形パターンのクラス分類により得たクラスと、このクラスに対応するパラメータの特定するk次多項式に基づいて信号を生成し、この信号と入力されたSD信号とを合成することによりHD信号を得ている。従って、この画像信号処理方法は、入力されたSD信号から解像度の高いHD信号を与えることができる。
【図面の簡単な説明】
【図1】画像信号処理装置の一例の概略的な構成を示すブロック図である。
【図2】上記画像信号処理装置のパラメータテーブルを説明する図である。
【図3】画像信号処理方法の一例の一連の工程を示すブロック図である。
【図4】上記パラメータテーブルの学習方法の一例を概略的に示すブロック図である。
【図5】画像信号処理装置の他の例の概略的な構造を示すブロック図である。
【図6】適応型ダイナミックレンジ符号化(ADRA)回路の回路図である。
【図7】画像信号の画素をブロックに分割した1ブロックを示す図である。
【図8】画像信号処理方法の他の例の一連の手順を示すフローチャートである。
【図9】上記画像信号処理装置のパラメータテーブルの学習方法の他の例を概略的に示すブロック図である。
【符号の説明】
1 ブロック化部、2 信号当てはめ部、3 パラメータテーブル、4 信号生成部、5 信号合成部、17 度数テーブル
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal processing apparatus and method for performing processing for improving the resolution of an image signal.
[0002]
[Prior art]
Conventionally, as an image signal, for example, a high definition (HD) having, for example, 1125 scanning lines, together with an SD signal corresponding to a standard definition (SD) television receiver having, for example, 525 scanning lines. HD signals corresponding to television receivers (hereinafter referred to as HDTV) are provided.
[0003]
By the way, an SD signal may be given to the HDTV. In such a case, signal conversion for converting an SD signal into an HD signal, so-called up-conversion is performed.
[0004]
[Problems to be solved by the invention]
At the time of this up-conversion, a process for increasing pixels by linear interpolation has been performed. However, it has been impossible to improve the resolution by this up-conversion by linear interpolation.
[0005]
The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an image signal processing apparatus and method for improving resolution at the time of up-conversion.
[0006]
[Means for Solving the Problems]
  In order to solve the above problems,BookAn image processing apparatus according to the invention includes:Blocking means for blocking the first image signal in the time axis direction, and the blocked firstFor image signalforFirst polynomialFor nth-order polynomialFittingPerform, This first polynomialN-th order polynomialSignal analysis means for deriving a first parameter to be identified;The first parameter acquired by applying the first polynomial to the first image signal, and a second resolution higher than the first image signal for the same object as the first image signal. A statistical process is performed on the second parameter for specifying the n + m degree polynomial obtained by fitting an n + m degree polynomial, which is a second polynomial, to the image signal by (n + m) degree curved surface fitting, and a correspondence relationship is extracted. Set byCorresponding to the first parameterthe aboveSpecified by the parameter table from which the second parameter is read and the second parameter,the aboveSecond polynomialN + m degree polynomialA signal generating means for generating a signal atFirstSignal combining means for combining the image signal and the signal generated by the signal generating means into an image signal;It is characterized by that.
[0007]
  Also,BookAn image processing method according to the invention includes:A blocking step of blocking the first image signal in the time axis direction, and the blocked first stepFor image signalforFirst polynomialFor nth-order polynomialFittingPerform, This first polynomialN-th order polynomialA signal analysis step for deriving a first parameter to be identified;The first parameter acquired by applying the first polynomial to the first image signal, and a second resolution higher than the first image signal for the same object as the first image signal. A statistical process is performed on the second parameter for specifying the n + m degree polynomial obtained by fitting an n + m degree polynomial, which is a second polynomial, to the image signal by (n + m) degree curved surface fitting, and a correspondence relationship is extracted. From the parameter table set bySecond parameter corresponding to the first parameterTheIt is specified by the reading process to read and the second parameter.the aboveSecond polynomialN + m degree polynomialA signal generation step of generating a signal atFirstA signal synthesis step of synthesizing the image signal and the signal generated in the signal generation step into an image signal;It is characterized by that.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image signal processing apparatus and method according to the present invention will be described in detail with reference to the drawings.
[0011]
As shown in FIG. 1, the example of the image signal processing apparatus includes a blocking unit 1 that blocks an image signal in the time axis direction. This blocking unit 1 divides a standard resolution SD signal having a pixel number and image quality equivalent to a standard television receiver having, for example, 525 scanning lines into blocks. For example, the blocking unit 1 divides a two-dimensional pixel of an input SD signal into a block.
[0012]
The image signal processing apparatus includes a signal fitting unit 2 that is a signal analysis unit that performs signal fitting on a blocked image signal, and a parameter table 3 from which parameters are read according to the result of the signal fitting unit 2. And a signal generation unit 4 that generates a signal using a polynomial specified by the parameters acquired from the parameter table 3.
[0013]
The signal fitting unit 2 is supplied with the blocked signal from the blocking unit 1, and performs signal fitting on the blocked signal. Here, the n-th order polynomial that is the first polynomial is fitted by so-called n-th order curved surface fitting, and a parameter that specifies the n-th order polynomial is set as the first parameter. As the first parameter, for example, the coefficient of the n-th order polynomial can be used. Here, n is an integer of 1 or more.
[0014]
The parameter table 3 is a table that holds a correspondence relationship between a first parameter that specifies an n-th order polynomial that is a first polynomial and a second parameter that specifies an n + m-order polynomial that is a second polynomial. . Here, since m is an integer of 1 or more, the second polynomial has a higher degree than the first polynomial. As the second parameter, for example, a coefficient of the n + m degree polynomial can be used. The parameter table 3 can be realized by addressing a ROM table.
[0015]
For example, as shown in FIG. 2, the parameter table 3 includes first parameters A1, A2, A3,... That specify an nth order polynomial that is a first polynomial, and an n + mth order polynomial that is a second polynomial. Are held in correspondence with the second parameters B1, B2, B3,. In the figure, a correspondence relationship in which A4 in the first parameter is linked to B4 in the second parameter is shown.
[0016]
As will be described later, the parameter table captures the same target, the first parameter applied to the SD signal, and the number of pixels corresponding to, for example, a high-resolution television receiver having 1125 scanning lines And a correspondence relationship with the second parameter applied to the high-resolution HD signal having the image quality is set in advance.
[0017]
The signal generator 4 shown in FIG. 1 receives a second parameter that specifies an n + m-th order polynomial that is a second polynomial, and generates a signal based on the n + m polynomial. That is, the signal generator 4 reads the image based on the n + m degree polynomial that is read from the parameter table 3 and specified by the second parameter corresponding to the first parameter derived by the signal analyzer 2. Generate a signal.
[0018]
Further, the image signal processing apparatus includes a signal synthesis unit 5 that synthesizes image signals. The signal synthesis unit 5 synthesizes the image signal obtained from the blocking unit 1 and the signal generated by the signal generation unit 4 and outputs the image signal obtained by the synthesis as an HD signal.
[0019]
Here, the signal synthesis includes, for example, multiplying or pasting the image signal given from the blocking unit 1 and the signal obtained from the signal generating unit 4 by weighting. Note that the pasting means so-called mapping in which the signal is pasted on the image signal. In addition, the signal may be delayed for timing adjustment during signal synthesis.
[0020]
Subsequently, an example of an image signal processing method will be described. A series of procedures relating to this image signal processing method is shown in the flowchart of FIG.
[0021]
In the first step S1, the input SD signal is blocked. For example, the SD signal is set to one block every predetermined period. And it progresses to step S2 following this.
[0022]
In step S2, signal fitting is performed on the image signal blocked in step S1. That is, an n-th order polynomial that is a first polynomial is applied to the blocked signal, and for example, the coefficient of the n-th order polynomial is determined as the first parameter. However, n is an integer of 1 or more. Then, the process proceeds to the next step S3.
[0023]
In step S3, the parameter table is referred to. That is, the second parameter corresponding to the first parameter obtained in step S2 is read from the parameter table.
[0024]
Here, the parameter table holds a correspondence relationship between the first parameter that specifies the n-th order polynomial that is the first polynomial and the second parameter that specifies the n + m-order polynomial that is the second polynomial. It is a table to do. However, since m is an integer of 1 or more, the second polynomial has a higher degree than the first polynomial. As the second parameter, for example, a coefficient of the n + m degree polynomial can be used. When the reading of the second parameter from the parameter table is completed, the process proceeds to the next step S4.
[0025]
In step S4, a signal is generated based on the n + m-th order polynomial that is the second polynomial specified by the second parameter obtained in step S3. And it progresses to step S5 following this.
[0026]
In step S5, the image signal blocked in step S1 and the signal generated in step S4 are combined, and the image signal obtained by the combination is output as an HD signal. Here, the signal synthesis includes, for example, weighting multiplication or pasting the signal obtained from the signal generation unit 4 and the signal provided from the blocking unit 1.
[0027]
As described above, the image signal processing apparatus and method generates a signal from an n + m-order polynomial that is a second polynomial having a higher order than the n-order polynomial that is the first polynomial applied to the SD signal. Then, an image signal obtained by synthesizing the image signal and the original SD signal is output as an HD signal. Since the order of the polynomial corresponding to the image signal is improved from the nth order of the first polynomial to the n + mth order of the second polynomial, an image signal with improved resolution can be obtained. By processing this image signal, it is possible to generate an HD signal from the SD signal that can be expressed with higher resolution and finer resolution than the SD signal.
[0028]
Next, a method for creating the parameter table 3 by learning will be described. As described above, the parameter table 3 shows the correspondence relationship between the first parameter that specifies the n-th order polynomial that is the first polynomial and the second parameter that specifies the n + m-order polynomial that is the second polynomial. It is to hold.
[0029]
As shown in FIG. 4, a series of procedures for creating the parameter table 3 is obtained by imaging the same target with the SD camera 11 that outputs the SD signal and the HD camera 14 that outputs the HD signal. The first signal fitting unit 13 and the second signal fitting unit 15 derive the first parameter and the second parameter for the SD signal and the HD signal, respectively. The first parameter and the second parameter are derived from the first parameter fitting unit 13 and the second signal fitting unit 15, respectively. Is recorded in the frequency table 17 and the correspondence between the first parameter and the second parameter is analyzed by the determination unit 18, and a corresponding table of the result is recorded in the memory 19.
[0030]
That is, the SD signal which is an image signal obtained by the SD camera 11 is blocked in the time axis direction by the first blocking unit 12. Examples of the blocking in the first blocking unit 12 include dividing the two-dimensional pixels of the input image signal into blocks. The blocked SD signal is fitted by fitting to an n-th order polynomial which is a first polynomial in the first signal fitting unit 13, and a first parameter specifying the n-order polynomial is derived. As the first parameter, for example, the coefficient of the n-th order polynomial can be used.
[0031]
On the other hand, the HD signal obtained by the HD camera 14 that captures the same target as the SD camera 11 is blocked by the second blocking unit 15. As the blocking in the second blocking unit 15, for example, the blocking can be performed in synchronization with the first blocking unit 12.
[0032]
This blocked HD signal is applied to a second polynomial n + m degree polynomial by so-called (n + m) degree curved surface fitting in the second signal fitting unit 14, and a second parameter specifying this n + m degree polynomial is provided. Derived. As the second parameter, for example, the coefficient of the n + m degree polynomial can be used.
[0033]
Here, the SD camera 11 and the HD camera 14 capture the same target to obtain the SD signal and the HD signal, respectively, but the HD signal captured by the HD camera 14 is processed by a low-pass filter or subsampling. As a result, a signal equivalent to the SD signal obtained by imaging the same object is obtained from this HD signal.
[0034]
A pair of the first parameter and the second parameter obtained by the first signal fitting unit 13 and the second signal fitting unit 16 is recorded in the frequency table 17. Recording is continued in the frequency table 17 until, for example, a predetermined amount of the first parameter and second parameter pairs is accumulated.
[0035]
The determination unit 18 makes a determination based on a pair of the first parameter and the second parameter accumulated in the frequency table 17. For example, statistical processing is performed to extract an effective correspondence. Then, the correspondence relationship between the first parameter and the second parameter is determined.
[0036]
The memory 19 stores a correspondence relationship between the first parameter and the second parameter determined by the determination unit 18. The correspondence between the first parameter and the second parameter stored in the memory 19 is read out and set in the parameter table 3 when necessary. The correspondence between the first parameter and the second parameter stored in the memory 19 is also used in the image signal processing method.
[0037]
As described above, the correspondence between the first parameter and the second parameter is the same as that of the SD signal and the first parameter that specifies the n-th order polynomial that is the first polynomial derived from the SD signal. A pair with a second parameter for specifying an n + m degree polynomial that is a second polynomial derived from the HD signal obtained by imaging the object is recorded in the frequency table 17, and the record in the frequency table 17 is analyzed by the determination unit 18. It can be obtained by a series of procedures related to learning.
[0038]
By such learning, the correspondence between the first parameter corresponding to the SD signal and the second parameter corresponding to the HD signal is obtained, and the HD signal is generated from the SD signal by using this correspondence. It becomes possible.
[0039]
Next, another example of the image signal processing apparatus will be described.
As shown in FIG. 5, the image signal processing apparatus includes a blocking unit 1 that blocks an image signal in the time axis direction. This blocking unit 1 blocks the input SD signal in the time axis direction, similarly to the blocking unit 1 included in the image signal processing apparatus described above. For example, the blocking unit 1 may block an input image signal every predetermined time.
[0040]
The image signal processing apparatus includes a class classification unit 6 that is a signal analysis unit that classifies a blocked image signal according to a waveform pattern, and a parameter table 3 from which parameters are read according to the result of the class classification unit 2. And a signal generation unit 4 that generates an image signal corresponding to the parameters obtained in the parameter table 3.
[0041]
The class classification unit 6 is supplied with the blocked signal from the blocking unit 1 and classifies the blocked signal 2 according to the waveform pattern.
[0042]
Here, examples of the class classification include waveform classification based on vector quantization, compression coding, and adaptive dynamic range coding (ADRC).
[0043]
This class classification by ADRC is an adaptive requantization method originally developed for high-efficiency coding for VTRs, and can efficiently express a local pattern of signal level with a short word length.
[0044]
Here, ARDC will be described by taking 1-bit ARDC as an example. An example of the ARDC circuit is shown in FIG. As shown in FIG. 7, the ADRC circuit includes pixels P1 to P3 in the first row from the left to the right in the drawing, pixels P4 to P6 in the second row, and pixels (3 × 3) in the third row. 3) ADRC is applied to the block B in which a total of nine pixels are arranged.
[0045]
That is, in the ADRC circuit, regarding the data converted into the block order from the input terminal 101, the detection circuit 102 detects the maximum value MAX and the minimum value MIN for each block. MAX and MIN are supplied to the subtraction circuit 103, and a dynamic range DR is generated at the output. The input data and MIN are supplied to the subtraction circuit 104, and the minimum value is removed from the subtraction circuit 104, thereby generating normalized pixel data.
[0046]
The dynamic range DR is supplied to the subtraction circuit 105, the normalized pixel data is divided by the dynamic range DR, and the output data of the division circuit 105 is supplied to the comparison circuit 106. In the comparison circuit 106, it is determined whether the percent calculation power of the eight pixels other than the central pixel P5 is larger or smaller with reference to 0.5. Depending on this result, data DT of “0” or “1” is generated. This comparison output DT is taken out to the output terminal 107. If class division is performed using this 1-bit ADRC, a (3 × 3) block B is represented by a 9-bit class code.
[0047]
The parameter table 3 is a table that holds a correspondence relationship between a class given by the class classification unit 6 and a parameter for specifying a k-th order polynomial. Here, k is an integer of 1 or more. As the parameter, for example, the coefficient of the k-th order polynomial can be used. Here, the parameter table 3 can be realized, for example, by addressing a ROM table.
[0048]
For example, the parameter table 3 will be described with reference to FIG. 2. The classes A1, A2, A3,... Given from the class classification unit 6 and the parameters B1, B2, B3 for specifying the k-th order polynomial ,... Are retained. In the figure, a correspondence relationship in which the class A4 and the parameter B4 are linked is shown.
[0049]
As will be described later, the parameter table 3 in FIG. 5 is a parameter that specifies a class derived by classifying an SD signal and a k-order polynomial in which the SD signal is applied to an HD signal obtained by imaging the same target. Is set in advance by analyzing the correspondence relationship between
[0050]
The signal generation unit 4 generates a signal from a k polynomial specified by a parameter given from the parameter table 3. That is, the signal generation unit 4 generates a signal based on the k-th order polynomial specified by the parameter read from the parameter table 3 corresponding to the class derived by the class classification unit 2.
[0051]
Further, the image signal processing apparatus includes a signal synthesis unit 5 that synthesizes image signals. The signal synthesis unit 5 synthesizes the image signal obtained from the blocking unit 1 and the signal generated by the signal generation unit 4 and outputs the image signal obtained by the synthesis as an HD signal.
[0052]
Here, the signal synthesis includes, for example, weighting multiplication and pasting of the signal given from the blocking unit 1 and the signal obtained from the signal generating unit 4. Note that the pasting means mapping. In addition, the signal may be delayed for timing adjustment when the signals are combined.
[0053]
Next, another example of the image signal processing method will be described. A series of procedures relating to this image signal processing method is shown in the flowchart of FIG.
[0054]
In the first step S11, the input SD signal is blocked. As this blocking, for example, the SD signal is made one block every predetermined time. And it progresses to step S12 following this.
[0055]
In step S12, the image signals blocked in step S11 are classified into classes based on the waveform pattern. As this classification, for example, ADRC can be used. Since the classification has been described in detail above, the description thereof is omitted here. Then, the process proceeds to the next step S13.
[0056]
In step S13, the parameter table is referred to. That is, the parameter corresponding to the class obtained in step S12 is read from the parameter table.
[0057]
Here, the parameter table is a table that holds a correspondence relationship between a class obtained by class classification based on a waveform pattern of a blocked image signal and a parameter that specifies a k-th order polynomial. As the parameter, for example, the coefficient of the k-th order polynomial can be used. When reading of the parameters from the parameter table is completed, the process proceeds to the next step S14.
[0058]
In step S14, a signal is generated based on the k-th order polynomial specified by the parameter obtained in step S13. And it progresses to step S15 following this.
[0059]
In step S15, the image signal blocked in step S11 and the signal generated in step S14 are combined, and the image signal obtained by the combination is output as an HD signal. Here, the signal synthesis includes, for example, weighted multiplication of the signal obtained from the signal generation unit and the signal provided from the blocking unit.
[0060]
As described above, the image signal processing apparatus and method generates a signal based on a kth order polynomial corresponding to a class derived by class classification based on a waveform pattern of the SD signal, and this signal and the blocked SD An image signal obtained by combining the signals is output as an HD signal. Therefore, in this image signal processing apparatus and method, the HD signal can be obtained from the input SD signal by appropriately selecting the order k of the k-order polynomial. In other words, the image signal processing apparatus and method can generate an HD signal having higher resolution than the SD signal and capable of finer expression from the SD signal.
[0061]
Next, another example of a learning method for creating the parameter table 3 by learning will be described. As described above, the parameter table 3 holds a correspondence relationship between a class based on the classification of the input SD signal and a parameter for specifying the k-th order polynomial.
[0062]
As shown in FIG. 9, a series of procedures for creating the parameter table 3 includes a first block of SD signals and HD signals obtained by imaging the same target with the SD camera 11 and the HD camera 14, respectively. After classifying by the converting unit 12 and the second blocking unit 15, the class classification unit 21 and the signal fitting unit 22 derive classes and parameters, respectively, and record these classes and parameters in the frequency table 17. The correspondence relationship recorded in the frequency table 17 is analyzed by the determination unit 18 so that a correspondence table as a result of the analysis is recorded in the memory 19.
[0063]
That is, the SD signal which is an image signal obtained by the SD camera 11 is blocked in the time axis direction by the first blocking unit 12. As the blocking, for example, the input image signal is blocked every predetermined time. The image signal blocked by the first blocking unit 12 is classified by the class classification unit 21 according to the waveform pattern. Since this classification has been described in detail above, a description thereof is omitted here.
[0064]
On the other hand, an HD signal that is an image signal obtained by the HD camera 14 that captures the same object as the SD camera 11 is blocked by the second blocking unit 15. As this blocking, for example, it is possible to block in synchronization with the first blocking unit 12. A k-th order polynomial is fitted to the blocked image signal by so-called k-th order curved surface fitting in the signal fitting unit 22, and a parameter specifying this k-th order polynomial is derived. As this parameter, for example, the coefficient of the k-th order polynomial can be used.
[0065]
Here, the SD camera 11 and the HD camera 14 capture the same target to obtain the SD signal and the HD signal, respectively, but the HD signal captured by the HD camera 14 is processed by a low-pass filter or subsampling. As a result, a signal equivalent to the SD signal obtained by imaging the same object is obtained from the HD signal.
[0066]
The class / parameter pairs obtained by the class classification unit 21 and the signal fitting unit 22 are recorded in the frequency table 17. Recording is continued in the frequency table 17 until, for example, a predetermined amount of the class and parameter pairs are accumulated.
[0067]
The determination unit 18 analyzes the class and parameter pairs stored in the frequency table 17 and makes a determination based on the analysis. For example, the determination unit 18 performs a statistical process on the class / parameter pairs recorded in the frequency table 17 and extracts an effective correspondence. Then, the correspondence between the class and the parameter is determined.
[0068]
The memory 19 stores the correspondence between the class and parameters determined by the determination unit 18. The correspondence relationship between the class and parameters stored in the memory 19 is read out and set in the parameter table 3 when necessary. The correspondence between the class and parameters stored in the memory 19 is also used in the image signal processing method.
[0069]
As described above, the correspondence relationship between the class and the parameter is as follows: the class derived from the waveform pattern of the SD signal, and the parameter specifying the kth order polynomial derived from the HD signal obtained by imaging the same object as the SD signal. Thus, the frequency table 17 can be created by learning.
[0070]
By such learning, the correspondence relationship between the class corresponding to the SD signal and the parameter corresponding to the HD signal is obtained, and the HD signal can be generated from the SD signal by using this correspondence relationship.
[0071]
In this specific example, the conversion from the SD signal to the HD signal has been described. However, the present invention is not limited to this, and can be widely used for the purpose of improving the image quality by increasing the resolution of the image signal.
[0072]
【The invention's effect】
As described above, an example of the image signal processing apparatus uses an n + m-th order that specifies the second parameter corresponding to the first parameter from the first parameter that specifies the n-order polynomial that is applied to the input SD signal. A signal is generated based on a polynomial, and an HD signal is obtained by synthesizing this signal and the input SD signal. Therefore, this image signal processing apparatus can provide a high resolution HD signal from the input SD signal.
[0073]
An example of the image signal processing method is the same as the example of the image signal processing apparatus described above. From the first parameter that specifies the nth order polynomial applied to the input SD signal, the second parameter corresponding to this first parameter is used. An HD signal is obtained by creating a signal based on the n + m degree polynomial specified by the parameter and synthesizing this signal and the input SD signal. Therefore, this image signal processing method can provide a high-resolution HD signal from the input SD signal.
[0074]
Furthermore, another example of the image signal processing apparatus generates a signal based on a class obtained by class classification of the waveform pattern of the input SD signal and a k-th order polynomial specified by a parameter corresponding to the class, The HD signal is obtained by combining the signal and the input SD signal. Therefore, this image signal processing apparatus can provide a high resolution HD signal from the input SD signal.
[0075]
Another example of the image signal processing method specifies the class obtained by classifying the waveform pattern of the input SD signal and the parameter corresponding to this class, as in the other example of the image signal processing apparatus. An HD signal is obtained by generating a signal based on the k-th order polynomial and synthesizing this signal and the input SD signal. Therefore, this image signal processing method can provide a high-resolution HD signal from the input SD signal.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an example of an image signal processing apparatus.
FIG. 2 is a diagram for explaining a parameter table of the image signal processing apparatus.
FIG. 3 is a block diagram showing a series of steps of an example of an image signal processing method.
FIG. 4 is a block diagram schematically showing an example of the parameter table learning method;
FIG. 5 is a block diagram showing a schematic structure of another example of an image signal processing apparatus.
FIG. 6 is a circuit diagram of an adaptive dynamic range coding (ADRA) circuit.
FIG. 7 is a diagram illustrating one block obtained by dividing a pixel of an image signal into blocks.
FIG. 8 is a flowchart showing a series of procedures of another example of the image signal processing method.
FIG. 9 is a block diagram schematically showing another example of a parameter table learning method of the image signal processing apparatus.
[Explanation of symbols]
1 Blocking unit, 2 signal fitting unit, 3 parameter table, 4 signal generating unit, 5 signal synthesis unit, 17 frequency table

Claims (6)

第1の画像信号を時間軸方向にブロック化するブロック化手段と、
このブロック化された第1の画像信号に対して第1の多項式であるn次多項式についてn次曲面フィッティングにより信号当てはめを行い、この第1の多項式であるn次多項式を特定する第1のパラメータを導出する信号解析手段と、
上記第1の画像信号に上記第1の多項式を当てはめることにより取得した上記第1のパラメータと、上記第1の画像信号と同一の対象についての上記第1の画像信号より解像度の高い第2の画像信号に第2の多項式であるn+m次多項式を(n+m)次曲面フィッティングにより当てはめることにより取得した上記n+m次多項式を特定する第2のパラメータとについて統計的な処理を行い対応関係を抽出することにより設定され、上記第1のパラメータに対応した上記第2のパラメータが読み出されるパラメータテーブルと、
上記第2のパラメータにて特定される、上記第2の多項式である上記n+m次多項式にて信号を生成する信号生成手段と、
上記第1の画像信号と、上記信号生成手段にて生成された信号とを合成して画像信号とする信号合成手段とを有すること
を特徴とする画像信号処理装置。
Blocking means for blocking the first image signal in the time axis direction;
Performs fitting signal by n-th order Surface Fitting for the n-th order polynomial is a first polynomial for the first image signal this which is blocked, a first parameter identifying a polynomial of degree n is a first polynomial Signal analysis means for deriving
The first parameter acquired by applying the first polynomial to the first image signal, and a second resolution higher than the first image signal for the same object as the first image signal. A statistical process is performed on the second parameter for specifying the n + m degree polynomial obtained by fitting an n + m degree polynomial, which is a second polynomial, to the image signal by (n + m) degree curved surface fitting, and a correspondence relationship is extracted. a parameter table is set, the said second parameter corresponding to the first parameter is read by,
Identified by the second parameter, and signal generating means for generating a signal at the n + m order polynomial is the second polynomial,
An image signal processing apparatus comprising: a signal synthesis unit that synthesizes the first image signal and the signal generated by the signal generation unit into an image signal.
上記第1のパラメータは、上記第1の多項式であるn次多項式の係数であり、上記第2のパラメータは、上記第2の多項式であるn+m次多項式の係数であることを特徴とする請求項1記載の画像信号処理装置。 The first parameter is a coefficient of an n-th order polynomial that is the first polynomial, and the second parameter is a coefficient of an n + m-order polynomial that is the second polynomial. The image signal processing apparatus according to 1. 上記統計処理は、上記第1の多項式であるn次多項式を特定する第1のパラメータと、上記第2の多項式であるn+m次多項式を特定する第2のパラメータとの対を度数テーブルに記録して、この度数テーブルの記録を解析することを特徴とする請求項1記載の画像信号処理装置。In the statistical processing, a pair of a first parameter that specifies an n-th order polynomial that is the first polynomial and a second parameter that specifies an n + m-order polynomial that is the second polynomial is recorded in a frequency table. The image signal processing apparatus according to claim 1, wherein the record of the frequency table is analyzed. 第1の画像信号を時間軸方向にブロック化するブロック化工程と、
このブロック化された第1の画像信号に対して第1の多項式であるn次多項式についてn次曲面フィッティングにより信号当てはめを行い、この第1の多項式であるn次多項式を特定する第1のパラメータを導出する信号解析工程と、
上記第1の画像信号に上記第1の多項式を当てはめることにより取得した上記第1のパラメータと、上記第1の画像信号と同一の対象についての上記第1の画像信号より解像度の高い第2の画像信号に第2の多項式であるn+m次多項式を(n+m)次曲面フィッティングにより当てはめることにより取得した上記n+m次多項式を特定する第2のパラメータとについて統計的な処理を行い対応関係を抽出することにより設定されたパラメータテーブルから、上記第1のパラメータに対応した第2のパラメータ読み出す読み出し工程と、
上記第2のパラメータにて特定される、上記第2の多項式である上記n+m次多項式にて信号を生成する信号生成工程と、
上記第1の画像信号と、上記信号生成工程にて生成された信号とを合成して画像信号とする信号合成工程とを有すること
を特徴とする画像信号処理方法。
A blocking step of blocking the first image signal in the time axis direction;
Performs fitting signal by n-th order Surface Fitting for the n-th order polynomial is a first polynomial for the first image signal this which is blocked, a first parameter identifying a polynomial of degree n is a first polynomial A signal analysis process for deriving
The first parameter acquired by applying the first polynomial to the first image signal, and a second resolution higher than the first image signal for the same object as the first image signal. A statistical process is performed on the second parameter for specifying the n + m degree polynomial obtained by fitting an n + m degree polynomial, which is a second polynomial, to the image signal by (n + m) degree curved surface fitting, and a correspondence relationship is extracted. A step of reading out the second parameter corresponding to the first parameter from the parameter table set by
Said specified by the second parameter, a signal generating step of generating a signal at the n + m order polynomial is the second polynomial,
An image signal processing method comprising: a signal synthesis step of synthesizing the first image signal and the signal generated in the signal generation step into an image signal.
上記第1のパラメータは、上記第1の多項式であるn次多項式の係数であり、上記第2のパラメータは、上記第2の多項式であるn+m次多項式の係数であることを特徴とする請求項4記載の画像信号処理方法。The first parameter is a coefficient of an n-th order polynomial that is the first polynomial, and the second parameter is a coefficient of an n + m-order polynomial that is the second polynomial. 5. The image signal processing method according to 4. 上記統計処理は、上記第1の多項式であるn次多項式を特定する第1のパラメータと、上記第2の多項式であるn+m次多項式を特定する第2のパラメータとの対を度数テーブルに記録して、この度数テーブルの記録を解析することを特徴とする請求項4記載の画像信号処理方法。In the statistical processing, a pair of a first parameter that specifies an n-th order polynomial that is the first polynomial and a second parameter that specifies an n + m-order polynomial that is the second polynomial is recorded in a frequency table. 5. The image signal processing method according to claim 4, wherein the recording of the frequency table is analyzed.
JP16156997A 1997-06-18 1997-06-18 Image signal processing apparatus and method Expired - Fee Related JP3826495B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16156997A JP3826495B2 (en) 1997-06-18 1997-06-18 Image signal processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16156997A JP3826495B2 (en) 1997-06-18 1997-06-18 Image signal processing apparatus and method

Publications (2)

Publication Number Publication Date
JPH118837A JPH118837A (en) 1999-01-12
JP3826495B2 true JP3826495B2 (en) 2006-09-27

Family

ID=15737615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16156997A Expired - Fee Related JP3826495B2 (en) 1997-06-18 1997-06-18 Image signal processing apparatus and method

Country Status (1)

Country Link
JP (1) JP3826495B2 (en)

Also Published As

Publication number Publication date
JPH118837A (en) 1999-01-12

Similar Documents

Publication Publication Date Title
KR100282504B1 (en) An apparatus for generating a noise reduction image signal from an input image signal
US6515698B1 (en) Image recording apparatus
US6614473B1 (en) Image sensor having a margin area, located between effective pixel and optical black areas, which does not contribute to final image
CN101472048A (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
WO2008150017A1 (en) Signal processing method and signal processing device
US5161015A (en) System for peaking a video signal with a control signal representative of the perceptual nature of blocks of video pixels
JPH0767028A (en) Device and method for restoring image
JPH0497681A (en) Video encoding and decoding device
JPH0795475A (en) Signal converting device
JP5691374B2 (en) Data compression device
JP2007104623A (en) Video signal transmission system, imaging apparatus, signal processor and video signal transmission method
US5627916A (en) Image processing method and apparatus
JPH1175181A (en) Converter and conversion method for digital image signal
JPH0795591A (en) Digital picture signal processing unit
JP3826495B2 (en) Image signal processing apparatus and method
JPH07154642A (en) Digital picture signal processor
JPH0846934A (en) Processor for digital picture signal
JPH08317346A (en) Device and method for converting digital video signal
JP3302091B2 (en) Encoding device and encoding method
JPS61170876A (en) Video processor and video processing system having at least two thereof
JPH07143333A (en) A/d converter circuit for image signal
US20090231345A1 (en) Electronic image processing method and device with linked random generators
JPH02141880A (en) Copy body separating and extracting device
JP4691762B2 (en) Image signal processing apparatus, image signal processing method, learning apparatus, learning method, and recording medium
KR20060023150A (en) Spatial signal conversion

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060626

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees