JP2975691B2 - 離散コサイン変換を用いる画像のサンプルレート変換のシステムおよび方法 - Google Patents

離散コサイン変換を用いる画像のサンプルレート変換のシステムおよび方法

Info

Publication number
JP2975691B2
JP2975691B2 JP8534788A JP53478896A JP2975691B2 JP 2975691 B2 JP2975691 B2 JP 2975691B2 JP 8534788 A JP8534788 A JP 8534788A JP 53478896 A JP53478896 A JP 53478896A JP 2975691 B2 JP2975691 B2 JP 2975691B2
Authority
JP
Japan
Prior art keywords
cosine transform
segment
image data
rate conversion
sampling rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP8534788A
Other languages
English (en)
Other versions
JPH11502349A (ja
Inventor
イー． サンシャイン，ロン
エル． レイシュ，マイケル
エイ． ウオバー，マニブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HORAROIDO CORP
Original Assignee
HORAROIDO CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HORAROIDO CORP filed Critical HORAROIDO CORP
Publication of JPH11502349A publication Critical patent/JPH11502349A/ja
Application granted granted Critical
Publication of JP2975691B2 publication Critical patent/JP2975691B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147—Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Complex Calculations (AREA)

Description

【発明の詳細な説明】 発明の背景 本発明は、一般的には、改良された画像処理システム
および、このシステムにおいて用いる方法に関する。特
に、本発明は、画像を異なるサンプリングレートで再サ
ンプリングするシステムおよび、そのための方法に関す
る。
画像は、空間および／または時系列に分布した、ある
視覚的実体の２次元表現と考えられる。通常、画像は、
人の視覚系が、明るさ、色、および時には深度キュー
（depth cue）のような外部刺激の変化として知覚する
ものである。多年にわたり、画像を捕獲し、また再生す
るために多くの技術が発展してきたが、コンピュータま
たは他の専用電子ハードウェアの使用により操作され、
処理され、またはディスプレイされうる、連続信号、離
散信号、またはディジタル信号によるそれらの画像の表
現は、最も最近の技術である。現在では十分に確立され
ている、この最新の技術は、さまざまな有益な応用を有
する。例えば、電子的形態にあるときに、画像は特殊な
視覚効果を作りだすために高度化され、復元され、遠い
場所への送信のためにコーディングされ（CDROM、DAT、
フロッピーディスク、などのような）メモリ内に記憶さ
れ、再構成され、ディスプレイされ、または、ある他の
実体的な形式に変換されうる。
画像処理は、空間領域または周波数領域内において行
われうる。画像は、その画像を記述するために用いられ
る明るさなどのパラメータ値が、空間的位置と直接対応
している時に、空間領域に存在すると言われる。周波数
領域においては、空間領域の画像は、三角関数の形式の
一連の周波数成分によって表され、該周波数成分は、空
間領域の各画像データ点（すなわちピクセル）について
加算された時に、空間領域内のその特定の画像データ点
の画像の特徴を表すために用いられるパラメータの値を
与え、そのような表現は、画像の全ての画像データ点を
カバーするように拡張されうる。
空間領域においては、原画像データは、２次元の場合
にはsc（y,x）によって示される空間的位置の連続関数
として表されうる。多くの応用においては、この連続的
な空間画像を、水平および垂直方向に沿って、ｘ＝iTh
およびｙ＝jTvにおいてサンプリングすることが、認め
られかつ有利である。ここで、ｉおよびｊは整数であ
り、ThおよびTvはそれぞれ、水平方向および垂直方向に
おけるサンプリング周期である。これは点のマトリック
ス、sc（jTv,iTh）を与え、これは低次元の２次元の場
合にｓ（j,i）として示される離散信号で表される。こ
こで、小文字のｓは空間領域を示し、ｉは行のインデッ
クスであり、ｊは列のインデックスであり、ｉおよびｊ
はゼロから始まるように初期化されうる。周波数領域に
おいては、画像を１組の変換係数（周波数係数とも呼ば
れる）として数学的に記述すために、マトリックスを用
いることができ、それらの係数は、従来からＳ（v,u）
で示される変換マトリックスにおける周波数データを表
す。ここで、大文字のＳは周波数領域を示し、ｕは行の
インデックスであり、ｖは列のインデックスである。
空間画像データ点は、フーリエ変換または離散コサイ
ン変換のような変換を用いて、周波数領域へ変換されう
る。画像圧縮のための、離散コサイン変換および逆離散
コサイン変換の使用は、本技術分野において公知であ
り、事実、その実施は、国際電信電話諮問委員会（Cons
ultative Committee on International Telegraphy and
Telephony）（CCITT）および国際標準機構（The Inter
national Standards Organization）（ISO）の共同の研
究の一部として作られた、共同写真専門家集団（Joint
Photographic Experts Group）（JPEG）および動画専門
家集団（MPEG）により、産業における規格として採用さ
れている。
離散イーブンコサイン変換（discrete even cosine t
ransformation）（今後DCT）が用いられる時、周波数領
域はDCT領域と呼ばれ、周波数係数はDCT係数と呼ばれ
る。従来から、空間領域から周波数領域へのデータの変
換は、順変換と呼ばれ、周波数領域から空間領域へのデ
ータの変換は、逆変換と呼ばれている。従って、順離散
コサイン変換は、画像を、空間領域内の原画像データ点
ｓ（j,i）から、順DCTの基底関数により、DCT領域内のD
CT係数Ｓ（v,u）へマップする変換として定義され、一
方、逆離散イーブンコサイン変換（すなわちIDCT）は、
DCT領域からDCT係数Ｓ（v,u）を、IDCTの基底関数によ
り、空間領域内の再構成された画像データ点（j,i）
へマップする変換として定義される。
画像処理システムにおいて電子的に得られた画像の処
理は、時にはサンプルレート変換、すなわち、原画像の
サンプルレートの再サンプリングを含む。画像が再サン
プリングされる時は、画像の解像度またはサイジングが
変更される。
1992年12月１日にレイシュ（Reisch）外に対して発行
された米国特許第5,168,375号には、JPEG圧縮システム
において用いられているようなアレイ変換プロセッサを
用いて、デシメーション（decimation）、補間、および
鮮明化の諸機能の１つまたはそれ以上を提供するため
に、画像データサンプルのフィールドを処理する方法が
説明されている。デシメーションおよび補間プロセスの
双方において、データのブロックは離散イーブンコサイ
ン変換（discrete even cosine transformation）によ
り変換され、その後周波数項の数が変更される。デシメ
ーションの場合には、周波数項の数は減少せしめられ、
それに続いて逆変換により、原ブロックのデータを表す
サンプル点の、縮小されたサイズのマトリックスが発生
せしめられる。補間の場合には、値ゼロの追加周波数成
分が、周波数成分のアレイ内へ挿入され、その後逆変換
により、スペクトルの帯域幅を増加させることなく、拡
大されたデータのサンプリング集合が発生せしめられ
る。
1992年９月24日の、エレクトロニックス・レターズ
（Electronics Letters）、第28巻、第20号に所載の、
J.I.アグビニャ（J.I.Agbinya）著「離散コサイン変換
を用いる補間（Interpolation Using The Discrete Cos
ine Transform）」には、任意の２つの隣り合った、２
の整数乗の長さＮを有するサンプルシーケンスの間のサ
ンプルを予測するために適切な、離散コサイン変換に基
づく離散補間アルゴリズムが説明されている。この離散
コサイン変換は変形されていない。この補間プロセス
は、親シーケンスのナイキスト点の間にゼロを挿入する
ズーミング（zooming）アルゴリズムを用いる。第２方
法においては、サンプルシーケンスを拡大するために、
変換係数にゼロパディングを行う。
エレクトロニクス、通信、およびコンピュータ科学の
基礎に関するIEICE会報（IEICE Transaction on Fundam
entals of Electronics,Communications and Computer
Sciences）76a（1993年）７月、第７号、日本国東京、
に所載の、ムラマツ（Muramatsu）外著「直交変換に基
づく解像度変換のスケールファクタ（Scale Factor Of
Resolution Conversion Based On Orthogonal Transfor
ms）」には、原画像から変換された画像の輝度を変更す
るために直交変換を用いる、デシメーション方法が説明
されている。特に、変換された画像の輝度を補正するた
めに必要なスケールファクタが説明されている。
1995年６月８日に発行されたインタナショナル・パブ
リケーション（International Publication）第WO95/15
538号には、空間領域内の画像を、離散コサイン変換の
使用により周波数領域内に表しうる、画像処理方法およ
び装置が説明されており、その画像は、周波数領域内に
ある間にスケーリングおよびフィルタリング効果を実現
し、次に空間領域へ再変換され、または記憶され、ディ
スプレイされ、再生され、または後の再使用のために遠
くの場所へ送信されるよう、便利に操作される。スケー
リング技術は、補間による画像拡大のため、またはデシ
メーションによる画像縮小のために用いられうる。デシ
メーションの場合には、デシメーションプロセスにおけ
るアーティファクトを避けるために、周波数領域におい
て好ましくはまずフィルタリング動作が行われる。補間
およびデシメーションプロシージャの双方において、混
成逆離散コサイン変換が用いられ、この変換において
は、コサイン項の級数の引数が、通常のサンプリングイ
ンデックスの増加ではなく、スケーリング比の考慮によ
り、到着した値で評価される。結果として、空間領域内
の原画像データ以外の画像点が、周波数空間内における
画像点の表現を含む近似技術により、原画像データのサ
ンプリングインデックスの範囲に対応するサンプリング
インデックスの範囲にわたり連続であると考えられうる
項の級数によって作られ、また置換されうる。
本発明の主な目的は、現存のシステムよりも効率的で
あり、かつ国際標準機構、統合写真専門家集団により設
定されたISO/IEC10918−１、A.3.3項のような国際圧縮
規格、および動画専門家集団により承認された同様の規
格を補足する、画像のサンプルレート変換のためのシス
テムを提供することである。本発明のその他の目的は、
部分的には今後において現れ、また部分的には以下の詳
細な説明を図面と併せて読む時に明らかになる。
発明の要約 複数のピクセルから成る画像を表す画像信号のサンプ
ルレートを、第１サンプルレートから第２サンプルレー
トへ変換する、サンプルレート変換用画像処理システム
は、画像信号源からの画像信号を第１サンプルレートで
獲得する画像獲得装置と、該画像信号をバッファリング
（記憶）する第１メモリと、所定の離散コサイン変換係
数を記憶するための第２メモリと、前記画像信号に前記
所定係数を乗算して第２再サンプリングレートで出力信
号を発生するドット積乗算器と、前記出力信号をバッフ
ァリングする第３メモリと、前記画像処理システムの動
作を制御する制御シーケンサ論理と、前記出力信号から
前記第２サンプリングレートで再サンプリングされた画
像を与える出力装置と、を含む。
本発明による前記画像処理システムは、前記画像を複
数の画像データ点のセグメントに分割することにより、
サンプルレート変換を容易ならしめ、その場合、別個の
異なるオフセットがそれぞれのセグメントのために決定
される。離散コサイン変換は、複数の画像データ点のそ
れぞれのセグメントに対して行われて、対応するDCT係
数が発生せしめられる。その後、再サンプリングされた
複数の画像データ点が、サンプリングレート変換比およ
び／またはオフセットに依存する、変形IDCT基底マトリ
ックスを用い、DCT係数の変形IDCTを取り出すことによ
り発生される。
図面の簡単な説明 本発明の前述の特徴および他の特徴を、添付図面を参
照しつつ詳細に説明するが、添付図面において、同じ参
照番号は一貫して対応する要素を示すために用いられ、
添付図面において、 図１は、本発明による電子撮像システムのブロック図
である。
図2Aは、図１の電子撮像システムの詳細ブロック図で
ある。
図2Bは、図2Aのドット積乗算器アレイ200の論理図で
ある。
図2Cおよび図2Dは、図2Aのサンプルレート変換器によ
り用いられ、また発生される信号の、連続的タイミング
図である。
図2Eは、入力画像内のサンプリングされた画像データ
点と、4/3の再サンプリングレートでアップサンプリン
グされた画像データ点と、の間の相関を示す図である。
図3Aは、再サンプリングレート変換比δおよびオフセ
ットγの双方により、画像の行を再サンプリングする、
本発明による方法のフローチャートである。
図3Bは、行内の全ての画像データ点をセグメントに含
ませる、図3Aのブロック364の諸ステップのブロック図
である。
図3Cは、行内の総数より少ない画像データ点をセグメ
ントに含ませる、図3Aのブロック364の諸ステップのブ
ロック図である。
図4Aは、再サンプリングレート変換比δおよびオフセ
ットγの双方により、画像の列を再サンプリングする、
本発明による方法のフローチャートである。
図4Bは、列内の全ての画像データ点をセグメントに含
ませる、図4Aのブロック404の諸ステップのブロック図
である。
図4Cは、列内の総数より少ない画像データ点をセグメ
ントに含ませる、図4Aのブロック404の諸ステップのブ
ロック図である。
図5Aは、図3Aまたは図4Aの再サンプリング方法により
再サンプリングされる１次元信号ｓ（ｊ）のグラフで、
ｓ（ｊ）はサンプリング周期T1に関してプロットされ
る。
図5Bは、図5Aの離散信号ｓ（ｊ）の連続的表示である
１次元信号sc（ｙ）のグラフで、T1の周期におけるS
c（ｙ）のサンプルが、ｓ（ｊ）のサンプルに対応す
る。
図5Cは、図5Bと同じ連続信号sc（ｙ）のグラフで、サ
ンプルはT2の周期において示される。
図5Dは、sc（ｙ）をT2のサンプリング周期においてサ
ンプリングすることにより得られた離散時間信号s
1（ｙ）のグラフで、s1（ｙ）の実際のインデックス
は、図5Aにおけるｓ（ｊ）のサンプルに対する時間的関
係を示す。
図5Eは、整数のインデックスを有する離散時間信号s2
（ｙ）のグラフで、そのサンプルはs1（ｙ）と同じであ
る。
実施例の詳細な説明 本発明は、情景の画像をサンプリングする、画像処理
システムおよび関連する画像処理方法に関する。図１
は、そのようなシステムの１つの典型的な実施例を示
す。図１は、図からわかるように、電子画像処理システ
ムを示しており、そこでは、カメラ10またはスキャナ12
のような画像信号源が、対象（図示せず）の画像を表す
電子画像信号を発生する。コンピュータ18は、画像信号
源から電子信号を受取り、その後その画像信号を電子的
に処理して、再サイジング、鮮明化、雑音除去、反射ま
たはエッジ検出のような、いくつかの公知の画像処理機
能を行う。処理された画像は、ディスケット16、ユーザ
モニタ20、プリンタ14、または遠隔モニタ26のような、
任意の宛先装置または宛先アプリケーションへ送信、す
なわち出力される。オペレータの、システムの操作は、
キーボード22またはマウス24の使用により容易に行われ
る。もちろん、図１に示されている装置は、単に代表的
なものであり、当業者に公知の多くの等価の装置の全て
を含んではいない。例えば、画像信号源は、電子カメ
ラ、スキャナ、カムコーダー（camcorder）、電荷結合
デバイス、電荷注入デバイス、などのような、画像信号
源として作用するどのような装置をも含みうる。また、
画像の処理は、必ずしもコンピュータ18内のみにおいて
行われる必要はない。実際、画像処理のさまざまな段階
または特徴が、画像信号源、コンピュータ、または宛先
出力装置内において行われうる。
1.DCTの数学 本項では、順および逆離散コサイン変換に関する基本
概念を提示する。
画像は、典型的には、ピクセルまたは画像データ点と
呼ばれるディスクリプタの２次元Ｐ×Ｑアレイから作ら
れ、ここで、Ｐは画像を表す行の数であり、Ｑは列の数
である。画像は、空間領域内の画像データ点により、ま
たは周波数領域内の対応するDCT係数により表されう
る。順DCTは、画像データ点の離散イーブンコサイン変
換（DECT、省略形はDCT）を行うことにより、DCT係数を
発生する。逆に、逆離散イーブンコサンイン変換（IDEC
T、省略形はIDCT）は、DCT係数の逆離散コサイン変換を
行うことにより、IDCT係数（すなわち、再構成された画
像データ点）を発生する。
DCT変換は、当業者により理解されるように、任意数
の次元内において行われうる。以下の１次元の例におい
ては、Ｎ個の画像データ点ｓ（ｊ）の行（さらに一般的
にはセグメントと呼ばれる）が、空間領域から、周波数
領域内の対応する複数のDCT係数Ｓ（ｖ）へ、方程式
（１）により変換されうる。
ただし、０≦ｙ≦（Ｎ−１）、ｖは整数 ｓ（ｊ）はセグメント内の画像データ点のマトリック
スを表し、 Ｓ（ｖ）はDCT係数の対応するマトリックスを表し、 Ｎはセグメント内の画像データ点の数を表し、 ｖ＝０に対しては ｖ≠０に対してはCv＝１、 DCT係数Ｓ（ｖ）は、Ｎ個の画像データ点を有するセ
グメントのために正規化されたコサイン基底項が得られ
る場合には、方程式（１）から決定される。Ｓ（０）の
値は、ｖ＝０において、それぞれの画像データ点ｓ
（ｊ）を０≦ｊ≦（Ｎ−１）について加算することによ
り決定される。Ｓ（１）の値は、画像データ点ｓ（ｊ）
にｖ＝１におけるコサイン項を乗じたものの和として決
定される。最初ｖについて、次にｊについてインデック
ス作業を行うこの処理は、Ｓ（０）からＳ（Ｎ−１）ま
でのDCT係数を得るために繰返される。
変形逆離散コサイン変換は、方程式（２）により数学
的に定義され、そこでは、DCT係数の１次元マトリック
スＳ（ｖ）が、再構成された画像データ点の再構成され
たマトリックス（ｙ）へ変換され、ｙは一定の範囲内
の実数として定義される。
ただし、０≦ｙ≦（Ｎ−１）、ｙは実数 Ｓ（ｖ）はDCT係数のマトリックスを表し、 （ｙ）は再構成された画像データ点の空間的マトリッ
クスを表し、 Ｎはセグメント内の画像データ点の数を表し、 ｖ＝０に対しては ｖ≠０に対してはCv＝１、 もし方程式（１）のDCT係数Ｓ（ｖ）が、画像データ
点ｓ（ｊ）の集合から計算され、また方程式（２）の再
構成された画像データ点（ｙ）が、対応するDCT係数
Ｓ（ｖ）から計算されれば、ｙ＝ｊの時はｓ（ｊ）≡
（ｙ）となり、このプロセスは、再構成された画像デー
タ（ｙ）が、限度内において原画像データ点のｓ
（ｊ）と同じであるため、可逆的または１対１マッピン
グであると称される。方程式（２）内のｙを、０≦ｙ≦
（Ｎ−１）の条件下で他の（整数でない）値において評
価することにより、変形IDCTが得られ、これは、画像を
表す離散画像データ点の間に来る値の補間などの、さま
ざまのプロセスのために用いられうる。
方程式（２）を用いて再構成された画像データ点
（ｙ）を表す値の決定において、（０）は、それぞれ
のDCT係数Ｓ（ｖ）に、ｙ＝０における逆基底関数のコ
サイン項を乗じたものを加算することにより決定され
る。例えば、（0.5）の値は、DCT係数Ｓ（ｖ）に、ｙ
＝0.5におけるコサイン項を乗じたものの和として決定
される。最初ｙについて、次にｖについてインデックス
作業を行うこの処理は、０≦ｙ≦（Ｎ−１）の条件下で
全ての所望の再構成された画像データ点（ｙ）を得る
ために繰返される。
前述のように、以上の演算は、当業者にとって公知の
ように、容易に多次元へ拡張されうる。例えば、画像
は、空間領域において２次形成で表すことができ、その
場合は、ｓ（y,x）が、空間領域における実数値ｙおよ
びｘにおける画像データ点を表し、Ｓ（v,u）が、周波
数領域における対応するDCT係数を表し、ｘは０から
（Ｐ−１）までの範囲にあり、ｙは０から（Ｑ−１）ま
での範囲にあり、Ｐは行の総数を表し、Ｑは列の総数を
表す。画像データ点ｓ（y,x）は、明るさ、輝度、色、
または色相などのパラメータを表しうるが、これらに限
定されるわけではない。
方程式（１）および（２）の双方は、代わりにマトリ
ックス記号で表されうる。方程式（１）に対する、（イ
ンデックスのない）マトリックス表記は、 Ｓ＝FB・ｓ （３） となり、ここで、ＳはDCT係数のマトリックスを表し、
ｓは空間領域内の画像データ点のマトリックスを表し、
FBは順DCT基底マトリックスを表す。方程式（２）に対
するマトリックス表記は、 ＝IB・Ｓ （４） となり、ここで、は再構成された画像データ点の空間
的マトリックスを表し、IBは、所望の出力点（すなわち
再構成される画像データ点）のための逆DCT基底マトリ
ックスを表す。マトリックス方程式（３）および（４）
を組合わせると、前述のように２つの異なるステップに
よりマトリックス代数を行うこととは対照的に、演算処
理の数を減少させうる。マトリックス方程式（３）およ
び（４）を組合わせると、 ＝IB・（FB・ｓ）＝MB・ｓ （５） が得られ、ここで、MBは、順TDCT基底マトリックスFB
に、逆DCT基底マトリックスIBを乗ずるマトリックス乗
算から得られる、組合せDCT基底マトリックスである。
組合せDCT基底マトリックスMBは、方程式（５）を解く
のと同時に計算することができ、あるいはMBは、あらか
じめ計算してルックアップテーブル内に記憶させておく
こともできる。
2.再サンプリングハードウェア 図2Aに示されている、画像を再サンプリングする画像
処理システムの実施例は、画像獲得装置207と、ドット
積乗算器（DPM）200と、ランダムアクセスメモリRAM208
およびRAM210と、係数読取り専用メモリROM202、ROM20
4、およびROM206と、マスタクロック214と、制御シーケ
ンサ論理（CSL）212と、画像発生器221と、を含む。マ
スタクロック214はマスタクロック信号217を発生し、こ
の信号は、クロック信号CK1およびCK2を発生させるため
に、制御シーケンサ論理212により用いられる。画像獲
得装置355は、入力ポート、A/D変換器、などのような信
号源250から画像を獲得する、どのようなハードウェア
であってもよい。同様にして、画像発生器221は、RAM20
8または210内に記憶されている係数から画像を発生する
プリンタ、ブラウン管、などような、任意の装置または
システムであってもよい。全体的なハードウェアの構成
は、さまざまなマトリックス積の乗算に用いられる汎用
性を有する。
サンプルレート変換器201は、１クロックサイクル内
に（３×１）ベクトルに（１×３）ベクトルを乗算した
ドット積を計算しうる固定小数点演算プロセッサとして
のDPM200と、入力データおよび処理されたデータを記憶
し、またバッファリングするランダムアクセスメモリと
してのRAM208およびRAM210と、あらかじめ計算された変
形IDCT基底マトリックス係数を記憶するROM202、ROM20
4、およびROM206と、諸メモリおよびDPM200の制御およ
びタイミングを処理する制御シーケンサ論理212と、を
備えている。
図2Bに詳細に示されているDPM200は、３固定小数点乗
算器アレイであり、２つのオンボート加算器216および2
18と、入力ラッチ220、222、224と、出力ラッチ227と、
データシフトレジスタ226と、双方向性バス209および21
1に沿ってのデータの伝送方向を制御するバス伝送論理2
42と、制御論理240と、を有する。双方向性バス209およ
び211は、メモリアクセスのオーバラップを許容し、そ
れらは、もしDPM200の１回より多くの通過が必要とされ
る場合は、特に有利である。バス209および211は、通過
モードにおいて、RAM208とRAM210との間で直接データを
伝送するように、あるいは、プロセスモードにおいて、
信号I0およびI1により制御されるようバス209および211
の機能を定める真理値表Ｉに従って処理を行うドット積
乗算器へデータを伝送するように、構成されうる。以下
の例においては、全てのDCT係数データは所定のもの
で、RAM208に記憶されており、データバス209を経て入
力され、DPM200において処理され、次にデータバス211
を経てRAM210へ転送される。しかし、双方向性バス20
9、211は、ここでは詳述しないが、当業者が明らかに認
識しうる他の演算（例えば、空間領域の画像データ点か
らの、DCT係数の決定）を実行しうるように、DPMに対し
て汎用性を与える。
３点サンプルセグメントのための所定のDCT係数は、
シフトレジスタ226のレジスタSR0、SR1、およびSR2内に
記憶され、所定の変形基底ベクトルIBmodの値は、ラッ
チ220、222、および224にそれぞれ記憶される。乗算器2
30、232、および234は、それぞれ、レジスタSR2、SR1、
SR0内に記憶されているデータに、入力ラッチ220、22
2、224内に記憶されているデータを乗じた積を形成す
る。加算器216は、乗算器232および234の積の和を発生
する。加算器216の和は、次に乗算器230の積に加算され
て、最後のドット積を発生し、それは出力ラッチ227内
に記憶されて、次のCK2クロックサイクル中に、選択さ
れた出力バス209または211上のデータを安定化する。
制御シーケンサ論理212は、メモリのアドレス指定を
制御し、データバス機能を制御し、またDPM200のための
適切なタイミング信号を発生する。詳述すると、制御シ
ーケンサ論理212は、RAM208へのアドレスデータ203と、
RAM210へのアドレスデータ205と、RAM208への読み書き
（R/W）制御信号213と、RAM210への読み書き制御信号21
5と、シフトレジスタ226へのクロック信号CK1と、ラッ
チ220、222、224、226へのクロック信号CK2と、バス方
向制御のための信号I0およびI1と、ROM202、204、およ
び206へのアドレスデータ219と、を供給する。制御シー
ケンサ論理212は、マイクロコントローラまたはプログ
ラム可能論理アレイ（図示せず）により容易に実現され
うる。選択は、アプリケーションに依存する。マイクロ
コントローラは、プログラム可能論理アレイよりも、プ
ログラミングの見地からは一般に柔軟性が大きいが、コ
スト的にはいくぶん高くなる。
図2Cおよび図2Dは、８つのDCTデータ点Ｓ（０）、Ｓ
（１）、Ｓ（２）、Ｓ（３）、Ｓ（４）、Ｓ（５）、Ｓ
（６）、Ｓ（７）の行を処理するための、図2Aおよび図
2Bのハードウェアを用いる例における、サンプルレート
変換器200内の多数の信号のタイミング関係を示す。こ
の例においては、再サンプリング比δは4/3に等しくセ
ットされ、これは前述のようにアップサンプリングを生
じる。再サンプリングの連続性を保証するために１点オ
ーバラップを用いる、方程式（９）による３点DCT処理
が、例において用いられるが、処理のためのデータ点の
数は可変である。一般的に言って、サンプル毎のデータ
点が多い処理は、より正確な結果を与えるが、より長い
処理時間を必要とし、一方、サンプル枚のデータ点が少
ない処理は、正確さの劣る結果を与え、短い処理時間し
か必要としない。経験的には、３および４点サンプル
が、処理時間と正確さとの間の最良の妥協を与えること
が分かった。現在の例においては、８つのDCTデータ点
は、４つの３点セグメントにち分割され、すなわち、方
程式（９）においてＮ＝３であり、これは｛Ｓ（０）,S
（１）,S（２）｝、｛Ｓ（２）,S（３）,S（４）｝、
｛Ｓ（４）,S（５）,S（６）｝、および｛Ｓ（６）,S
（７）,S（８）｝を与える。前述のように、メモリアド
レスのアクセスは、制御シーケンサ論理212により制御
される。
DCTデータは、最初はRAM208内に記憶され、セグメン
トをなしてバス209を経てDPM200へ送られる。第１セグ
メントの、３つのDCT係数Ｓ（０）,S（１）,S（２）
は、RAM208から読取られ、時刻T0、T2、およびT4におけ
るCK1の立上り端において、シフトレジスタ226のそれぞ
れレジスタSR0、SR1、およびSR2内へ転送される。簡単
にするために、タイミング図には、マスタクロック信号
217、読み書き信号213、215、バス方向信号I0および
I1、またはアドレス信号203、205、および219を示して
ない。時刻T4におけるCK2の立上り端においては、IDCT
基底係数C0（０）、C0（１）、C0（２）の変形ベクトル
が、ROM206、204、および202のそれぞれから、線路23
6、238、240を経て、入力ラッチ224、222、および220へ
転送される。時刻T5において、乗算器234は積C0（０）
＊Ｓ（０）を発生し、乗算器272は積C0（１）＊Ｓ
（０）を発生し、乗算器230は積C0（２）＊Ｓ（０）を
発生する。加算器216は、乗算器232および234の積の和
を発生する。加算器216の和は、次に乗算器230の積に加
算されて、最後のドット積O0を発生し、これは出力バッ
ファ227内に一時的に記憶される。時刻T5におけるCK2の
立下り端の後、ドット積O0は、出力バッファ227から、
バス伝送論理228を通り、バス211を経てRAM210へ転送さ
れる。
時刻T6におけるCK2の立上り端において、IDCT基底係
数C1（０）、C1（１）、C1（２）の変形ベクトルが、RO
M206、204、および202のそれぞれから、線路236、238、
240を経て、入力ラッチ224、222、および220へ転送され
る。時刻T7において、乗算器234は積C1（０）＊Ｓ
（１）を発生し、乗算器232は積C1（１）＊Ｓ（１）を
発生し、乗算器230は積C1（２）＊Ｓ（１）を発生す
る。加算器216は、乗算器232および234の積の和を発生
する。加算器216の和は、次に乗算器230の積に加算され
て、最後のドット積O1を発生し、これは出力バッファ22
7内に一時的に記憶される。時刻T7におけるCK2の立下り
の端の後、ドット積O1は、出力バッファ227から、バス
伝送論理228を通り、バス211を経てRAM210へ転送され
る。
時刻T8におけるCK2の立上り端において、IDCT基底係
数C2（０）、C2（１）、C2（２）の変形ベクトルが、RO
M206、204、および202のそれぞれから、線路236、238、
240を経て、入力ラッチ224、222、および220へ転送され
る。時刻T9において、乗算器234は積C2（０）＊Ｓ
（２）を発生し、乗算器232は積C2（１）＊Ｓ（２）を
発生し、乗算器230は積C2（２）＊Ｓ（２）を発生す
る。加算器216は、乗算器232および234の積の和を発生
する。加算器216の和は、次に乗算器230の積に加算され
て、最後のドット積O2を発生し、これは出力バッファ22
7内に一時的に記憶される。時刻T9におけるCK2の立下り
端の後、ドット積O2は、出力バッファ227から、バス伝
送論理228を通り、バス211を経てRAM210へ転送される。
もしセグメントサイズが拡大されれば、4/3だけアッ
プサンプリングするための処理シーケンスは、図2Eに示
されているパターンに従う。詳述すると、第１セグメン
トはベクトル係数C0、C1、C2を用い、第２セグメントは
ベクトル係数C3、C4、C5を用い、第３セグメントはベク
トル係数C6、C7、C8を用い、第４セグメントはベクトル
係数C1、C2を用い、第５セグメントはベクトル係数C3、
C4、C5を用い、第６セグメントはベクトル係数C6、C7、
C8を用い、第７セグメントはベクトル係数C1、C2を用
い、第８セグメントはベクトル係数C3、C4、C5を用い、
などとなる。
上述のプロセスは、画像のそれぞれの行に対して繰返
される。従って、現在の例の画像を水平方向に処理する
ためには、９つの係数ベクトルのみが記憶される必要が
ある。全ての行が処理され終わった時は、画像は水平方
向においてアップサンプリングされ終わっている。上述
のハードウェアは、δ＝4/3の同じ再サンプリング比を
用いて画像を垂直方向において再サンプリングするため
にも、同様に適用可能である。垂直方向の再サンプリン
グのための変形DCT基底ベクトルは、上述の水平方向の
再サンプリングのために用いられたものと同じである
が、それぞれのセグメントに対するDCT係数ベクトル
は、画像の行の代わりに列に沿って取られなければなら
ない。
3.サンプルレート変換の方法論 サンプルレート変換のタスクは、信号処理および画像
処理のアプリケーションにおいて頻繁に生じる。写真撮
像の場合には、サンプルはピクセルとして表され、それ
らはまた画像データ点とも呼ばれる。
サンプルレート変換に対する通常のアプローチは、ア
ップサンプリング、すなわち、より速いレートでのサン
プリングが所望されるか、またはダウンサンプリング、
すなわち、より遅いレートでのサンプリングがが所望さ
れるか、に依存する。整数因子によるダウンサンプリン
グの場合は、典型的にエイリアス除去のための低域フィ
ルタが用いられ、次にデシメーション（detcimation）
が行われる。整数因子によるアップサンプリングは、通
常、サンプルの間にゼロを挿入した後に低域フィルタを
用いるか、または、等価のポリフェーズ（polyphase）
アプローチを用いるか、により行われる。ゼロオーダー
ホールド（zero−order−hold）および線形補間は、特
定の低域フィルタを用いるアップサンプリングの特別の
場合である。サンプルレート変換が有理数因子を用いる
場合は、アップサンプリングとダウンサンプリングとの
組合せがしばしば用いられる。さらに、無理数因子を用
いるサンプルレート変換は、アルゴリズムの複雑さのた
めに、しばしば実行されない。
本発明による、離散コサイン変換を用いる画像サンプ
ルレート変換用システムは、整数、有理数、または無理
数のサンプリングレート変換比を用いる、アップサンプ
リングおよびダウンサンプリング双方のために動作しう
る。さらに、従来のポリフェーズアプローチは、アップ
サンプリングレートに依存する、アップサンプリングの
ための多くの異なるフィルタの生成を必要としうる。一
方、DCTアプローチは、多くの異なるフィルタの生成の
必要を回避する。
図2Aは画像処理システムは、図3Aのフローチャートに
示されているように、水平方向における画像のDCTに基
づくサンプルレート変換の方法を用いて動作する。この
システムはまた、図4Aに示されているように、垂直方向
におけるサンプルレート変換の同様の方法を用いても動
作する。
水平方向におけるサンプルレート変換を考察すると、
図3Aのブロック360において、画像は、Ｐ行Ｑ列を有す
る画像データ点の２次元アレイｓ（j,i）として表され
る。行インデックスｒはゼロに初期化され、それにより
行インデックスｒはｉに対応し、列インデックスｃはｊ
に対応する。行ｒは、ｊ＝０、１、２、・・・、（Ｑ−
１）とするとき、ピクセルの１次元アレイｓ（ｊ）とし
て表され、ここでｓ（ｊ）は、ｊを上に与えた整数イン
デックス、またT1を水平方向のサンプリング周期とし
て、ｙ＝jT1においてサンプリングされた連続１次元信
号sc（ｙ）の離散表現である。ブロック362において
は、所望のサンプリングレート変換比δが、原サンプリ
ング周期T1の、所望のサンプリング周期T2に対する比に
セットされ、オフセットγがゼロにセットされる。
DCTの可逆性により、変形IDCTの方程式（２）は、ｙ
＝（yT1）/T1の置換を行い、以下のように方程式（６）
においてｙの整数値に対して評価することにより、書き
換えられる。
ただし、ｊ＝０、１、２、・・・、（Ｎ−１）とする
とき、sc（ｙ）｜ｙ＝jT1は上記方程式（６）により与
えられる。方程式（６）の波形は、図5Aないし図5Eに示
されている。再サンプリングの後のsc（ｙ）の所望のサ
ンプルは、ｙ＝jT2において生じるので、 となり、以下の結果が得られる。
方程式（８）においては、ｊは整数値０≦ｊ≦（Ｎ−
１）δの場合に有効であり、図5Eにおける出力信号s
2（ｊ）は、サンプリングレート変換比δ＝4/3の場合
の、入力信号ｓ（ｊ）のアップサンプリング（すなわち
δ＞１）バージョンである。
ブロック364においては、画像の行ｒのそれぞれのピ
クセルがアップサンプリングされる。これは、方程式
（１）におけるDCT処理のためのセグメントサイズとし
て行の長さを用いる時は、図3Bの諸ステップにより行わ
れるが、好ましい方法は、図3Cに示されているように、
それぞれのラインを小さい、サイズＮのオーバラップす
るセグメントにセグメント化することにより、実行され
る。セグメント化の、１つの好結果を与える選択は、１
点だけオーバラップする３点セグメントを使用すること
である（すなわち、方程式（１）および図3CにおいてＮ
＝３）。もしセグメント化が、このように行われれば、
ｓ（ｊ）の第１セグメントは画像データ点｛ｓ（０）,s
（１）,s（２）｝を含み、ｓ（ｊ）の第２セグメントは
画像データ点｛ｓ（２）,s（３）,s（４）｝を含み、ｓ
（ｊ）の第３セグメントは画像データ点｛ｓ（４）,s
（５）,s（６）｝を含む。これらのセグメントは、連続
信号sc（ｙ）のサンプルに対応し、すなわち、｛ｓ
（０）,s（１）,s（２）｝≡｛sc（0T1）,sc（1T1）,sc
（2T1）｝；｛ｓ（２）,s（３）,s（４）｝≡｛sc（2
T1）,sc（3T1）,sc（4T1）；および｛ｓ（４）,s
（５）,s（６）｝≡｛sc（4T1）,sc（5T1）,sc（6
T1）｝となる。
図3Cのブロック376においては、列インデックスｃが
ゼロにセットされ、セグメントサイズＮが３にセットさ
れる。ブロック378においては、最初の３点セグメント
に対して離散コサイン変換を行う時、DCT係数に対して
計算される。ブロック380においては、ブロック378のDC
T係数に対して変形IDCTが行われて、出力信号s2（ｙ）
が決定される。画像データ点がDCT係数から再構成され
る時に出力信号がひずまないように、入力信号ｓ（ｊ）
と出力信号s2（ｙ）との間には、適正な対応が維持され
なければならない。適正な対応を維持するためには、基
礎的な連続信号sc（ｙ）におけるｓ（ｊ）のセグメント
境界が、s1（ｙ）およびs2（ｙ）において矛盾なく維持
されなければならない。換言すれば、ｓ（ｊ）のｊ＝
｛0,2,4,6｝にあるセグメント境界は、ｙ＝｛0,2T1,4
T1,6T1｝≡｛0,2δT2,4δT2,6δT2｝である時のs
c（ｙ）の点に対応すべきであり、あるいは、ｙ＝｛0,2
δ,4δ,6δ｝である時のs2（ｙ）の点に対応すべきであ
る。従って、与えられたセグメントのために信号を補間
する時は、方程式（８）を次の方程式（９）に書き直す
と有用である。
ただし、γは、セグメント内の最初に再構成された画
像データ点の、セグメント境界の初めからのオフセット
である。オフセットγは、ブロック382において更新さ
れ、第（ｋ−１）セグメントが、前に第ｋセグメントが
開始された正確な場所であるs1（（ｋ−１）（Ｎ−１）
δ）において終わるので、第ｋセグメントに対し容易に
決定されうる。従って、０≦ｊ≦（ｋ−１）（Ｎ−１）
δの範囲内のｊに対するs1（ｊ）の値は、全てが最初の
（ｋ−１）セグメント内において再構成され、第ｋセグ
メント内において再構成されるべき最初の点は、jkを
（ｋ−１）（Ｎ−１）δより大きい最小の整数とし、γ
ｋ＝jk−（ｋ−１）（Ｎ−１）δとするとき、s1（jk）
となる。δ＝4/3かつＮ＝３である現在の例において
は、s1（ｙ）の最初の３セグメントのセグメント境界
は、ｙ＝｛0,8/3,16/3｝にあり、この場合（Ｎ−１）δ
＝8/3である。最初のセグメントは常に０から始まり、
γ１＝１である特殊な場合として扱われる。２つのゼロ
でない境界点よりも大きい最小の整数は、ｙ＝｛3,6｝
にあり、γ２＝1/3およびγ３＝2/3のオフセット値を与
え、すなわち、 γｋ＝jk−（ｋ−１）（Ｎ−１）δ jk＝int［（ｋ−１）（Ｎ−１）δ］＋１ 従って、 γ２＝「（２−１）（３−１）4/3−（２−１）（３−１）4/3＝1/3. 行γのそれぞれのピクセルは、ブロック384におい
て、３点セグメントが１点オーバラップを有することを
容易ならしめるように、列インデックスｃを増加させる
ことにより処理される。判断ボックス386において、も
し列インデックスｃが列Ｑの総数に等しければ、プロセ
スはセグメント再サンプリングブロック364から脱出
し、そうでない場合は、行ｒ内のことごとくのピクセル
が処理され終わるまで、ｃの増加せしめられた値に対し
て、もう１つのセグメントが、ブロック378からブロッ
ク386までにおいて処理される。
行インデックスｒは、ブロック366において増加せし
められ、次にブロック368において行の数Ｐに対してテ
ストされる。もしｒ＝Ｐならば、画像は完全に再サンプ
リングされ終わっており、再サンプリングプロセスはブ
ロック370において終了する。しかし、もしｒ≠Ｐなら
ば、画像データ点の増加せしめられた行は、前述のよう
にブロック364において再サンプリングされる。
DCTに基づく画像のサンプルレート変換の上述の方法
は、図4Aのフローチャートにより、垂直方向においても
適用されうる。垂直方向におけるサンプルレート変換を
考察すると、図4Aのブロック400において、画像は、Ｐ
行Ｑ列を有する画像データ点の２次元アレイｓ（j,i）
として表される。行インデックスｙはゼロに初期化さ
れ、それにより行インデックスｒはｉに対応し、列イン
デックスｃはｉに対応する。行ｒは、ｊ＝０、１、２、
・・・、（Ｑ−１）とするとき、ピクセルの１次元アレ
イｓ（ｊ）として表され、ここでｓ（ｊ）は、ｊを上に
与えた整数インデックス、またT1を水平方向のサンプリ
ング周期として、ｙ＝jT1においてサンプリングされた
連続１次元信号sc（ｙ）の離散表現である。ブロック40
2においては、所望のサンプリングレート変換比δが、
原サンプリング周期T1の、所望サンプリング周期T2に対
する比にセットされ、オフセットγがゼロにセットされ
る。方程式（６）、（７）、および（８）に関する上述
の解析は、ここでも当てはまる。
ブロック404においては、画像のそれぞれの列のそれ
ぞれのピクセルがアップサンプリングされる。これは、
方程式（１）におけるDCT処理のためのセグメントサイ
ズとして列の長さを用いる時は、図4Bの諸ステップのよ
り行われるが、好ましい方法は、図4Cに示されているよ
うに、それぞれのラインを小さい、サイズＮのオーバラ
ップするセグメントにセグメント化することにより、実
行される。上述の水平方向におけるサンプルレート変換
の例のおけると同様に、図4Cの例におけるセグメントサ
イズもＮ＝３に選択されている。
図4Cのブロック416においては、行インデックスｒが
ゼロにセットされ、セグメントサイズＮが３にセットさ
れる。ブロック418においては、最初の３点セグメント
に対し離散コサンイン変換を行う時、DCT係数が計算さ
れる。ブロック420においては、ブロック418のDCT係数
に対し変形IDCTが行われて、出力信号s2（ｙ）が決定さ
れる。画像データ点がDCT係数から再構成される時に出
力信号がひずまないように、入力信号ｓ（ｊ）と出力信
号s2（ｙ）との間には適正な対応が、前述のように維持
されなければならない。
ブロック424においては、３点セグメントが１点オー
バラップを有することを容易ならしめるように、行イン
デックスｒが増加せしめられる。判断ボックス426にお
いて判断されるように、もし行番号が行の総数に等しけ
れば、プロセスはセグメント再サンプリングブロック40
4から脱出し、そうでない場合は、行ｒ内のもう１つの
セグメントが、ブロック418からブロック426までにおい
て処理される。
上述のサンプルレート変換方法は、図示されているδ
＞１の時のアップサンプリング、およびδ＜１の時のダ
ウンサンプリング、の双方において適用されうる。それ
は、サンプリングレート変換比δが、整数、有理数、ま
たは無理数である時に、同様に良好に動作する。さら
に、本発明の方法の数学は、マトリックス代数学の使用
により簡単化される。例えば、方程式（２）の変形IDCT
は、３点サンプルセグメント、すなわちＮ＝３に対し、
次のように表される。
この場合、出力信号s1（ｙ）のそれぞれの再サンプリ
ングされる点は、（ｉ）オフセット補償を行った変形ID
CT基底マトリックスを転置したものと、（ii）DCT係数
のマトリックスと、の内積から決定される。
サンプルレート変換は、マトリックスを用いて表され
うるので、DCT方程式（１）はＳ＝FB・ｓと表され、方
程式（10）の変形IDCTは、＝IB・Ｓと表される。従っ
て、＝IB・FB・ｓ＝MB・ｓとなり、ここで、ＳはDCT
係数のマトリックスを表し、ｓは空間領域内の画像デー
タ点のマトリックスを表し、FBは順DCT基底マトリック
スを表し、IBは変形逆DCT基底マトリックスを表し、MB
は順DCT基底マトリックスに変形逆DCT基底マトリックス
を乗じた積から得られる組合わされた変形基底マトリッ
クスを表し、は再構成された画像データ点の空間的マ
トリックスを表す。
コサインの引数は任意の数値をとりうるので、変形逆
DCT基底マトリックスIB、または組合わされた変形基底
マトリックスMBmod、のコサインは、それぞれのセグメ
ントに対し別個に計算されなければならない。換言すれ
ば、方程式（20）において、δおよびγｎに依存する再
サンプルリング画像データ点（ｙ）は、実行時におい
て計算されるか、または、あらかじめ計算され、量子化
され、かつルックアップテーブル内に記憶されなければ
ならない。量子化の粗さは実行時に指定することがで
き、またＭ×Ｎテーブルは係数を記憶するためにあらか
じめ計算することができ、従って、画像のサイズとは無
関係な、あるオーバヘッド計算が必要とされる。Ｍは
｛（Ｎ＋１）／Ψ｝＋１に等しく、ここでΨは、出力信
号（ｙ）のサンプリング位置が指定される精度を表
す。例えば、もしΨ＝0.01ならば、（ｙ）の真のサン
プリング位置は、ｊを整数として、最も近い1/100に丸
められたｙ（j/δ）の値となる。この場合は、テーブル
サイズは、｛（100（Ｎ−１）＋１）＋１×Ｎ｝として
決定される。
上述の実施例は、本発明の単なる説明用のものであ
り、本発明の原理の応用を提供しうる限られた数の可能
な特定の実施例を示している。当業者は、請求の範囲に
記載されている本発明の精神および範囲から逸脱するこ
となく、これらの原理により、多数のさまざまな他の構
成を容易に考案しえよう。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ウオバー，マニブ エイ. アメリカ合衆国 01832 マサチューセ ッツ州 ハバーヒル，クリフ アベニュ ー ６ (56)参考文献 特開 平６−121299（ＪＰ，Ａ) 特開 平３−44270（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 3/40 H04N 1/393 H04N 5/262

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項１】空間領域における所定の第１サンプリング
    レートを有するピクセルから成る入力画像を表す画像信
    号を再サンプリングするためのサンプルレート変換方法
    であって、該方法が、前記入力画像の列および行にそれ
    ぞれ対応する、列インデックスおよび行インデックスの
    １つを初期化するステップ（360、400）と、あらかじめ
    選択された第２サンプリングレートにより除算された前
    記第１サンプリングレートとして定義される、サンプリ
    ングレート変換比δを選択するステップ（362、402）
    と、前記列インデックスおよび前記行インデックスの前
    記１つに関連する、前記画像信号のセグメントの離散イ
    ーブンコサイン変換係数を、該セグメントの離散イーブ
    ンコサイン変換を行う（378、418）ことにより発生する
    ステップ（364、404）と、を含み、前記方法が、前記離
    散コサイン変換係数に関連する再構成された画像データ
    点を、前記サンプリングレート変換比およびオフセット
    の双方に依存する変形逆離散イーブンコサイン変換基底
    マトリックスを用いて、前記セグメントの前記離散コサ
    イン変換係数の変形逆離散イーブンコサイン変換を行う
    （380、420）ことにより発生するステップであって、前
    記オフセットが前記サンプリングレート変換比と、前記
    列インデックスおよび前記行インデックスの前記１つ
    と、に依存しており、前記再構成された画像データ点が
    前記再サンプリングされた画像信号を表し、前記変形逆
    離散イーブンコサイン変換が次式のように表される、前
    記再構成された画像データ点を発生する前記ステップを
    特徴とする、前記サンプルレート変換方法。 ただし、０≦ｙ≦（Ｎ−１）、 Ｎは前記それぞれのセグメント内の前記ピクセルの数で
    あり、 ｖ、ｙ、およびｊは整数であり、 ｋは整数のセグメント番号であり、 Ｓ（ｖ）は前記離散イーブンコサイン変換係数を表し （ｙ）は前記再構成された画像データ点を表し、 δはサンプリングレート変換比であり、 ｖ＝０に対しては ｖ≠０に対してはCv＝１、 γｋはγｋ＝jk−（ｋ−１）（Ｎ−１）δとして定義さ
    れる前記オフセットであり、 jkは（ｋ−１）（Ｎ−１）δより大きい最小の整数であ
    る。
  2. 【請求項２】空間領域における所定の第１サンプリング
    レートを有するピクセルから成る入力画像を表す画像信
    号を再サンプリングするためのサンプルレート変換シス
    テムであって、該システムが、前記入力画像の列および
    行にそれぞれ対応する、列インデックスおよび行インデ
    ックスの１つを初期化する手段（212）と、あらかじめ
    選択された第２サンプリングレートにより除算された前
    記第１サンプリングレートとして定義される、サンプリ
    ングレート変換比δを選択する手段（22）と、前記列イ
    ンデックスおよび前記行インデックスの前記１つに関連
    する、前記画像信号のセグメントの離散イーブンコサイ
    ン変換係数を、該セグメントの離散イーブンコサイン変
    換を行うことにより発生する手段（201）と、を含み、
    前記システムが、前記離散コサイン変換係数に関連する
    再構成された画像データ点を、前記サンプリングレート
    変換比およびオフセットの双方に依存する変形逆離散イ
    ーブンコサイン変換基底マトリックスを用いて、前記セ
    グメントの前記離散イーブンコサイン変換係数の変形逆
    離散イーブンコサイン変換を行うことにより発生する手
    段（201）であって、前記オフセットが前記サンプリン
    グレート変換比と、前記列インデックスおよび前記行イ
    ンデックスの前記１つと、に依存しており、前記再構成
    された画像データ点が前記再サンプリングされた画像信
    号を表し、前記変形逆離散イーブンコサイン変換が次式
    のように定義される、前記再構成された画像データ点を
    発生する前記手段（201）を特徴とする、前記サンプル
    レート変換システム。 ただし、０≦ｙ≦（Ｎ−１）、 Ｎは前記それぞれのセグメント内の前記ピクセルの数で
    あり、 ｖ、ｙ、およびｊは整数であり、 ｋは整数のセグメント番号であり、 Ｓ（ｖ）は前記離散イーブンコサイン変換係数を表し （ｙ）は前記再構成された画像データ点を表し、 δはサンプリングレート変換比であり、 ｖ＝０に対しては ｖ≠０に対してはCv＝１、 γｋはγｋ＝jk−（ｋ−１）（Ｎ−１）δとして定義さ
    れる前記オフセットであり、 jkは（ｋ−１）（Ｎ−１）δより大きい最小の整数であ
    る。
JP8534788A 1995-05-15 1996-01-26 離散コサイン変換を用いる画像のサンプルレート変換のシステムおよび方法 Expired - Lifetime JP2975691B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US440,631 1989-11-22
US08/440,631 US5774598A (en) 1993-11-30 1995-05-15 System and method for sample rate conversion of an image using discrete cosine transforms
US08/440,631 1995-05-15
PCT/US1996/001154 WO1996036939A1 (en) 1995-05-15 1996-01-26 A system and method for sample rate conversion of an image using discrete cosine transforms

Publications (2)

Publication Number Publication Date
JPH11502349A JPH11502349A (ja) 1999-02-23
JP2975691B2 true JP2975691B2 (ja) 1999-11-10

Family

ID=23749541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8534788A Expired - Lifetime JP2975691B2 (ja) 1995-05-15 1996-01-26 離散コサイン変換を用いる画像のサンプルレート変換のシステムおよび方法

Country Status (6)

Country Link
US (1) US5774598A (ja)
EP (1) EP0826192B1 (ja)
JP (1) JP2975691B2 (ja)
CA (1) CA2215133A1 (ja)
DE (1) DE69601175T2 (ja)
WO (1) WO1996036939A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400680B1 (en) * 1997-12-30 2002-06-04 Koninklijke Philips Electronics N.V. Data transformation of the inverse-fourier type
DE19812118A1 (de) * 1998-03-19 1999-09-23 Coin Inst Fuer Computer Integr Verfahren zur Erhöhung der Auflösung eines Bildes
US6456745B1 (en) * 1998-09-16 2002-09-24 Push Entertaiment Inc. Method and apparatus for re-sizing and zooming images by operating directly on their digital transforms
US6288794B1 (en) * 1998-11-16 2001-09-11 Conexant Systems, Inc. Variable sample rate converter adaptable to rational ratios
SE519885C2 (sv) * 2000-03-27 2003-04-22 Ericsson Telefon Ab L M Förfarande och anordning för omvandling av samplingsfrekvens
US20040152418A1 (en) * 2002-11-06 2004-08-05 Engim, Inc. Unified digital front end for IEEE 802.11g WLAN system
US7298925B2 (en) * 2003-09-30 2007-11-20 International Business Machines Corporation Efficient scaling in transform domain
KR100594267B1 (ko) * 2004-03-29 2006-06-30 삼성전자주식회사 샘플링 레이트 변환 방법, 샘플링 레이트 변환 장치, 및그 장치를 포함하는 오디오 재생 시스템
AU2015202988B2 (en) * 2010-04-05 2016-05-19 Samsung Electronics Co., Ltd. Method and apparatus for performing interpolation based on transform and inverse transform
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US8873884B2 (en) * 2010-10-06 2014-10-28 International Business Machines Corporation Method and system for resizing an image
CN112015929B (zh) * 2019-05-30 2024-07-05 阿里云计算有限公司 栅格数据访问方法、装置、电子设备及计算机存储介质
CN113219224B (zh) * 2021-04-22 2022-02-01 电子科技大学 一种获取可变时钟波形发生器最佳采样率的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5028995A (en) * 1987-10-28 1991-07-02 Hitachi, Ltd. Picture signal processor, picture signal coder and picture signal interpolator
US5036281A (en) * 1990-03-16 1991-07-30 The Regents Of The University Of California Resizing MRI images using fourier transformation
US5459823A (en) * 1990-07-05 1995-10-17 Canon Kabushiki Kaisha Graphics engine for true colour 2D graphics
US5199046A (en) * 1991-09-09 1993-03-30 Codex Corporation First and second digital rate converter synchronization device and method
US5168375A (en) * 1991-09-18 1992-12-01 Polaroid Corporation Image reconstruction by use of discrete cosine and related transforms
JPH05261982A (ja) * 1992-03-23 1993-10-12 Seiko Epson Corp プリント装置
JPH05316357A (ja) * 1992-05-14 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 解像度変換方法
JPH09506193A (ja) * 1993-11-30 1997-06-17 ポラロイド コーポレイション 離散的コサイン変換を利用して画像をスケーリング（拡大縮小）しフィルタリングするためのコーディング方法および装置
US5534925A (en) * 1994-05-02 1996-07-09 Cognitech Inc. Image compression by optimal reconstruction

Also Published As

Publication number Publication date
US5774598A (en) 1998-06-30
EP0826192A1 (en) 1998-03-04
CA2215133A1 (en) 1996-11-21
EP0826192B1 (en) 1998-12-16
WO1996036939A1 (en) 1996-11-21
DE69601175T2 (de) 1999-05-12
DE69601175D1 (de) 1999-01-28
JPH11502349A (ja) 1999-02-23

Similar Documents

Publication Publication Date Title
Ramponi Warped distance for space-variant linear image interpolation
US5740284A (en) Coding method and apparatus for resampling and filtering images using discrete cosine transforms
EP0864135B1 (en) Storage and retrieval of large digital images
JP3266273B2 (ja) 離散コサイン変換を用いて画像をリサイズする方法および装置
JP2612939B2 (ja) イメージ表示システム用補間装置およびイメージ表示システム
EP0731600B1 (en) Creating a high resolution image from a sequence of lower resolution motion images
JP2975691B2 (ja) 離散コサイン変換を用いる画像のサンプルレート変換のシステムおよび方法
EP0685800B1 (en) Method and apparatus for digital signal processing
JPH09107464A (ja) 圧縮されたデータ形式で与えられる画像を変倍する方法
JP2000216682A (ja) 信号処理装置およびその方法
JPH08294001A (ja) 画像処理方法および画像処理装置
US5848199A (en) Apparatus and method for performing fast and precise spatial transformations of images
EP1304650B1 (en) Image scaling system and method
JP4019201B2 (ja) ディスクリートコサイン変換を用いた色調回復のためのシステムおよび方法
EP0826194B1 (en) Image skewing and rotation using discrete cosine transforms
EP0700016B1 (en) Improvements in and relating to filters
JPH07193789A (ja) 画像情報変換装置
JP2916607B2 (ja) 画像拡大装置
CA2236943C (en) Storage and retrieval of large digital images
KR100695916B1 (ko) 큐빅 스프라인 보간을 이용한 이미지 스케일러 장치
Huang et al. Cubic B-spline approximation in scalers: efficient design and implementation
Prasantha et al. Fast Computation of Image Scaling Algorithms Using Frequency Domain Approach
JPS63102469A (ja) 画像デ−タ解像度変換装置
JPH0812689B2 (ja) デ−タ処理装置
JPH01243678A (ja) 画像補間回路

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070903

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110903

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110903

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120903

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term