JPH11238121A

JPH11238121A - 画像補間方法および画像補間装置

Info

Publication number: JPH11238121A
Application number: JP10039043A
Authority: JP
Inventors: Kunio Ikuta; 国男生田
Original assignee: Dainippon Screen Manufacturing Co Ltd
Current assignee: Dainippon Screen Manufacturing Co Ltd
Priority date: 1998-02-20
Filing date: 1998-02-20
Publication date: 1999-08-31

Abstract

(57)【要約】【課題】原画像を座標変換した仮想的な画像の全部ま
たは一部を出力画像として得るにあたって、隣接する出
力画素間の画素値の連続性を確保しつつ、出力画像中の
各出力画素の画素値を補間によって得る画像補間方法お
よび画像補間装置を提供する。【解決手段】各出力画素値２０１ａ、２０１ｂ、２０
１ｃに対して、原画像から対応するブロック２０３ａ、
２０３ｂ、２０３ｃ内の画素を抽出する。各抽出ブロッ
クにおいて、各出力画素は、そのほぼ中央に位置する。
このようなブロック画素に対して直交変換および逆直交
変換によって各出力画素の画素値を求める。これによ
り、隣接出力画素間での画素値の連続性が確保され、ブ
ロック歪みの発生を防止できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、原画像に対して、
変倍、回転、平行移動などの座標変換を施した仮想的な
画像の全部または一部を出力画像として得るために、補
間によって出力画素の画素値を得る技術に関する。

【０００２】

【従来の技術】原画像を変倍した画像を出力画像として
得るためには、原画像には存在しない位置の出力画素の
画素値を求める必要がある。そのため、原画像を補間す
ることによって出力画素の画素値を求めることが行われ
る。

【０００３】従来、変倍画像を補間によって決定する方
法としては、直交変換を利用する方法、バイリニア法、
キュービックコンボリューションなどが知られている。
特に、直交変換を利用する方法は、高い品質の補間画像
が得られる。

【０００４】この直交変換を利用する方法としては、特
開平５−１０８８１３に記載される先行技術が存在す
る。これは、原画像をブロックに分割して、ブロックご
とに直交変換および逆直交変換を行うことによって、補
間値を求めるものである。たとえば、原画像を１０／８
に変倍した画像を得るにあたっては、原画像を８画素×
８画素のサイズを有するブロックに分割し、直交変換で
ある離散コサイン変換（ＤＣＴ）を各ブロックにおいて
行い、同一サイズである８×８のＤＣＴ係数行列を求め
る。そして、高次側の要素として０を追加することによ
ってブロックサイズが８×８から１０×１０へと拡大さ
れたＤＣＴ係数行列を作成する。この拡大されたＤＣＴ
係数行列を利用して逆変換することによって、１０画素
×１０画素の画素ブロックの各画素値を補間値として求
める。このようなブロック毎の拡大動作を複数のブロッ
クに対して行うことによって、全体として、原画像の１
０／８倍の画像を得るものである。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
方法を用いた場合、互いに異なるブロックに属する複数
の出力画素のそれぞれは、対応する異なるブロックに対
してＤＣＴ、ＩＤＣＴを行うことにより補間される。し
たがって、ブロック境界近辺では、隣接する画素間にお
いて画像データの連続性が損なわれてブロック歪みが発
生するという問題がある。

【０００６】さらに、原画像を回転した画像を出力する
際には、上記の方法を用いることはできない。また回転
を伴う座標変換を行う場合に、直交変換および逆直交変
換を利用した補間方法については、知られていない。

【０００７】そこで、本発明は前記問題点に鑑み、原画
像を座標変換した仮想的な画像の全部または一部を出力
画像として得るにあたって、隣接する出力画素間の画素
値の連続性を確保しつつ、出力画像中の各出力画素の画
素値を補間によって得る画像補間方法および画像補間装
置を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の画像補間方法は、原画像を座標変
換した仮想的な画像の全部または一部を出力画像として
得るにあたって、前記出力画像中の出力画素の画素値を
補間によって得る画像補間方法であって、(a)前記座標
変換の関係式を利用して、前記原画像における前記出力
画素の対応位置を求めるステップと、(b)当該対応位置
をほぼ中央とする領域に含まれる複数の参照画素を前記
原画像から抽出するステップと、(c)前記複数の参照画
素のそれぞれの画素値を基礎とした直交変換を利用して
前記出力画素の画素値を補間により求めるステップと、
を含むことを特徴とする。

【０００９】請求項２に記載の画像補間方法は、請求項
１に記載の画像補間方法において、前記ステップ(c)
は、(c-1)前記複数の参照画素のそれぞれの画素値を基
礎とした直交変換を行うステップと、(c-2)直交変換に
より得られるデータを前記出力画素の前記対応位置にお
ける位相角で逆変換することにより前記出力画素の画素
値を求めるステップと、を含むことを特徴とする。

【００１０】請求項３に記載の画像補間方法は、請求項
１に記載の画像補間方法において、前記ステップ(a)で
求めた前記対応位置は、前記原画像における第１方向の
位置と第２方向の位置とで特定され、前記ステップ(c)
は、(c-1)前記複数の参照画素のそれぞれの画素値を基
礎として、前記第１方向についての１次元の直交変換を
利用した補間を行うことによって、第１方向補間済の画
素値配列を得るステップと、(c-2)前記第１方向補間済
の画素値配列を基礎として、前記第２方向についての１
次元の直交変換を利用した補間を行うことによって、前
記出力画素の画素値を求めるステップと、を含むことを
特徴とする。

【００１１】請求項４に記載の画像補間方法は、請求項
３に記載の画像補間方法において、前記ステップ(c-1)
および(c-2)における１次元の直交変換を利用した補間
は、直交変換と逆直交変換とを合成した式を補間式とし
て用いるものであることを特徴とする。

【００１２】請求項５に記載の画像補間方法は、請求項
４に記載の画像補間方法において、前記ステップ(c-1)
および(c-2)における１次元の直交変換を利用した補間
を行う際に、記憶手段にあらかじめ記憶された所定の計
算結果を用いることを特徴とする。

【００１３】請求項６に記載の画像補間方法は、請求項
１に記載の画像補間方法において、前記ステップ(b)
は、(b-1)前記原画像の行方向および列方向のそれぞれ
において、前記原画像における前記出力画素の位置に対
して相反する側に位置する画素を同数ずつ抽出するステ
ップと、を含むことを特徴とする。

【００１４】請求項７に記載の画像補間方法は、請求項
１に記載の画像補間方法において、前記複数の参照画素
を含む前記領域の形状は、前記原画像の画素配列の行方
向および列方向のいずれにも折返し対称性を有する形状
であることを特徴とする。

【００１５】請求項８に記載の画像補間方法は、請求項
１に記載の画像補間方法において、前記座標変換は、回
転を伴うものであることを特徴とする。

【００１６】上記目的を達成するため、請求項９に記載
の画像補間装置は、原画像を座標変換した仮想的な画像
の全部または一部を出力画像として得るにあたって、前
記出力画像中の出力画素の画素値を補間によって得る画
像補間装置であって、(a)前記座標変換の関係式を利用
して、前記原画像における前記出力画素の対応位置を求
める座標変換手段と、(b)当該対応位置をほぼ中央とす
る領域に含まれる複数の参照画素を前記原画像から抽出
する参照画素抽出手段と、(c)前記複数の参照画素のそ
れぞれの画素値を基礎とした直交変換を利用して前記出
力画素の画素値を補間により求める補間手段と、を備え
ることを特徴とする。

【００１７】請求項１０に記載の画像補間装置は、請求
項９に記載の画像補間装置において、前記補間手段は、
(c-1)前記複数の参照画素のそれぞれの画素値を基礎と
した直交変換を行う直交変換手段と、(c-2)直交変換に
より得られるデータを前記出力画素の前記対応位置にお
ける位相角で逆変換することにより前記出力画素の画素
値を求める逆直交変換手段と、を有することを特徴とす
る。

【００１８】請求項１１に記載の画像補間装置は、請求
項９に記載の画像補間装置において、前記座標変換手段
で求めた前記対応位置は、前記原画像における第１方向
の位置と第２方向の位置とで特定され、前記補間手段
は、(c-1)前記複数の参照画素のそれぞれの画素値を基
礎として、前記第１方向についての１次元の直交変換を
利用した補間を行うことによって、第１方向補間済の画
素値配列を得る第１方向補間手段と、(c-2)前記第１方
向補間済の画素値配列を基礎として、前記第２方向につ
いての１次元の直交変換を利用した補間を行うことによ
って、前記出力画素の画素値を求める第２方向補間手段
と、を有することを特徴とする。

【００１９】請求項１２に記載の画像補間装置は、請求
項１１に記載の画像補間装置において、前記第１方向補
間手段および前記第２方向補間手段における１次元の直
交変換を利用した補間は、直交変換と逆直交変換とを合
成した式を補間式として用いるものであることを特徴と
する。

【００２０】請求項１３に記載の画像補間装置は、請求
項１２に記載の画像補間装置において、前記第１方向補
間手段および前記第２方向補間手段における１次元の直
交変換を利用した補間を行う際に、記憶手段にあらかじ
め記憶された所定の計算結果を用いることを特徴とす
る。

【００２１】請求項１４に記載の画像補間装置は、請求
項９に記載の画像補間装置において、前記参照画素抽出
手段は、前記原画像の行方向および列方向のそれぞれに
おいて、前記原画像における前記出力画素の位置に対し
て相反する側に位置する画素を同数ずつ抽出することを
特徴とする。

【００２２】請求項１５に記載の画像補間装置は、請求
項９に記載の画像補間装置において、前記複数の参照画
素を含む前記領域の形状は、前記原画像の画素配列の行
方向および列方向のいずれにも折返し対称性を有する形
状であることを特徴とする。

【００２３】請求項１６に記載の画像補間装置は、請求
項９に記載の画像補間装置において、前記座標変換は、
回転を伴うものであることを特徴とする。

【００２４】

【用語の定義】本明細書において、「行方向」および
「列方向」は画像平面内で画素の並びの直交する２方向
を表わしており、いずれを行方向としていずれを列方向
とするかは任意である。

【００２５】また、「直交変換を利用した補間」とは、
直交変換して逆直交変換することによる補間、およびそ
れに等価な補間を意味する。

【００２６】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。

【００２７】＜Ａ．第１実施形態＞図１は、原画像１０
０と、変換後の出力画像２００との関係を示す図であ
る。本実施形態では、図１に示すように、原画像１００
に対して、変倍（拡大、縮小）、回転、平行移動などの
座標変換を行うことによって、原画像の一部または全部
を出力画像２００として得るための画像補間装置および
画像補間方法について説明する。

【００２８】上記の出力画像を得るため、まず、原画像
に対して、アフィン変換などの座標変換を施した仮想的
な画像を想定する。ここで、アフィン変換は、正則な線
形変換と平行移動との合成変換を意味し、また正則な線
形変換は、変倍（拡大、縮小）、回転を含む。

【００２９】そして、この仮想的な画像の全部または一
部を抽出することによって出力画像を得る。このとき、
原画像と出力画像との対応関係は、座標変換式によって
求めることができる。つまり、出力画像中の出力画素
は、原画像中においてどの位置に相当するものであるか
を求めることができる。

【００３０】以下では、この位置情報を利用することに
より、当該位置をほぼ中央とする領域に含まれる所定数
の参照画素を前記原画像から抽出し、これらの参照画素
に基づいて直交変換を利用して出力画素の画素値を補間
により求めることができることを説明する。

【００３１】＜Ａ１．装置概要＞図２は、本発明の実施
形態に係る画像補間装置１の機能ブロック図である。画
像補間装置１は、原画像記憶部１１、座標変換部１３、
参照画素抽出部１５、補間部２０、出力画像記憶部３
１、および出力部３３を備える。

【００３２】原画像記憶部１１は、原画像１００を有し
ている。原画像１００は、後に詳述するように、座標変
換、直交変換および逆直交変換が施された後に、出力画
像２００としてその一部または全部が出力される。

【００３３】座標変換部１３は、原画像に対して座標変
換を行った後の仮想的な画像が配置されるＵＶ座標系
と、出力画像が配置されるＸＹ座標系との対応付けを行
い、出力画像中の各出力画素のＵＶ座標系における座標
値を求める（図３参照）。

【００３４】参照画素抽出部１５は、得られた座標値に
基づいて、当該位置をほぼ中央とする領域に含まれる所
定数の参照画素を前記原画像から抽出する。

【００３５】補間部２０は、ＤＣＴ部２１およびＩＤＣ
Ｔ部２３を有する。ＤＣＴ部２１は、参照画素に対して
離散コサイン変換（以下、「ＤＣＴ」と称する）を行
い、得られたＤＣＴ係数を求める。そして、ＩＤＣＴ部
２３は、得られたＤＣＴ係数を用いて、出力画素のブロ
ック内位置に対応する位相角で逆離散コサイン変換（以
下、「ＩＤＣＴ」と称する）を行う。これによって、出
力画素の画素値を補間によって得ることができる。得ら
れた画素値は、出力画像記憶部３１に記憶される。

【００３６】そして、出力画像の全ての出力画素につい
て上記と同様の補間動作を繰り返すことによって、出力
画像の全体を補間によって得ることができる。得られた
出力画像は、出力部３３において、出力される。

【００３７】以上の構成を有する装置において、出力画
像中の出力画素の画素値を補間によって求めることがで
きる。

【００３８】＜Ａ２．動作概要＞＜両座標間の関係＞図３は、原画像１００に対してアフ
ィン変換を施した仮想的な画像が配置されるＵＶ座標系
と、出力画像２００が配置されるＸＹ座標系との対応関
係を示す図である。ＸＹ座標系において座標値（Ｐ，
Ｑ）で表される出力画素の位置は、ＵＶ座標系において
は座標値（Ｕ_PQ，Ｖ_PQ）で表される。

【００３９】ここでは、原画像をＵ軸方向にＭ_u倍、Ｖ
軸方向にＭ_v倍した後、θ回転して、さらに（−Ｕ₀，−
Ｖ₀）だけ平行移動するアフィン変換を想定する。この
とき、座標値（Ｐ，Ｑ）と、座標値（Ｕ_PQ，Ｖ_PQ）とは
次式に示すような関係を有する。

【００４０】

【数１】

【００４１】変倍率Ｍ_u，Ｍ_v、回転角度θ、平行移動量
Ｕ₀，Ｖ₀は、作業者によって、指定されており、ここで
は既知の値となっている。したがって、数１によれば、
ＸＹ座標系における座標値（Ｐ，Ｑ）は、ＵＶ座標系に
おける座標値（Ｕ_PQ，Ｖ_PQ）に変換され得る。

【００４２】ここで、数１は、アフィン変換のうち、変
倍、回転、および平行移動の合成変換を表現するもので
ある。なお、アフィン変換は、一般的には次式で表され
る。

【００４３】

【数２】

【００４４】ただし、線形変換は正則であることから、
ａｄ−ｂｃは０でないことを条件とする。この数２によ
って表現される座標変換を行う場合には、数１の代わり
に数２を用いることによって、出力画素の原画像中の位
置をＵＶ座標系における座標値（Ｕ_PQ，Ｖ_PQ）として求
めることができる。これらの座標変換は、座標変換部１
３において行われる。

【００４５】なお、上記において、θ＝０とすれば、回
転を伴わない変倍の変換を実現できることはいうまでも
ない。

【００４６】＜参照画素抽出＞以上において求められた
座標値（Ｕ_PQ，Ｖ_PQ）について、各要素値Ｕ_PQ，Ｖ_PQの
それぞれの整数部をＥ，Ｆ、および小数部をｅ，ｆとす
る。このとき、行方向（Ｕ軸方向）にＥ−３からＥ＋４
までの画素と、列方向（Ｖ軸方向）にＦ−３からＦ＋４
までの画素とを含む正方形の領域から８画素×８画素の
合計６４画素をブロックとして原画像から抽出する。

【００４７】図４は、原画像から抽出されたブロックを
示す図である。図４に示すように、ブロックは、出力画
素のそれぞれに対して抽出されるものである。図中にお
いては、出力画素２０１ａに対してはブロック２０３ａ
が抽出され、別の出力画素２０１ｂに対してはブロック
２０３ｂ、出力画素２０１ｃに対してはブロック２０３
ｃが抽出されることが示されている。すなわち、以下に
詳述するように、各ブロックは、出力画素がほぼ中央に
位置するように、各出力画素に対して抽出される。

【００４８】また、図５は、図４の当該ブロックを拡大
した図である。図中において、原画像の画素は、ＵＶ座
標系の格子点上に存在し、出力画像の画素は、ＸＹ座標
系の格子点上に存在する。図中においては、黒丸で示さ
れる出力画素の座標値（Ｕ_PQ，Ｖ_PQ）が、上記の座標変
換式によって（２１．６，２６．５）として得られる場
合が例示されている。この場合、Ｅ＝２１、Ｆ＝２６で
ある。したがって、この出力画素に対して抽出するブロ
ックは次のようになる。すなわち、Ｕ軸方向においては
Ｅ−３＝１８からＥ＋４＝２５までの位置に対応し、か
つ、Ｖ軸方向においてはＦ−３＝２３からＦ＋４＝３０
までの位置に対応する画素を包含する矩形領域である。

【００４９】この矩形領域は、図６において、点線で囲
まれる領域Ｒとして示されている。ここで、図６は、原
画像から抽出されたブロックを示す図であり、図５と同
様の状態を示す。ただし、図５においてＵＶ座標系の格
子点上の点として示されていた原画像の画素は、図６に
おいて白丸で示されている。また、出力画素は、黒丸で
表されている。この出力画素に対して抽出される参照画
素は、行方向（Ｕ軸方向）にＥ−３からＥ＋４まで、お
よび列方向（Ｖ軸方向）にＦ−３からＦ＋４までに対応
する位置に存在する画素である。つまり、原画像の行方
向において、出力画素位置の左側（−側）から４つの画
素と、出力画素位置の右側（−側）から４つの画素とを
同数ずつ抽出することになる。これは、原画像の列方向
においても同様である。すなわち、原画像の行方向およ
び列方向のそれぞれにおいて、原画像における出力画素
の位置に対して相反する側に位置する画素が同数ずつ抽
出される。このようにすれば、出力画素をほぼ中央に位
置するようにして、その周辺領域の画素を抽出すること
ができる。このような抽出動作は、参照画素抽出部１５
によって行われる。

【００５０】なお、原画像の端点近傍において画素を抽
出する場合に、抽出すべき画素が原画像中に存在しない
ときには、端点画素をダミー画像データとして使用すれ
ばよい。

【００５１】また、図中において、０から７までの数字
が、Ｕ軸座標値の上側およびＶ軸座標値の左側に記され
ている。これらの数字は、ブロック内の位置を示す値で
ある。たとえば、ＵＶ座標値で（Ｅ，Ｆ＋１）で表され
る位置は、ブロック内の位置を表す座標値（３，４）と
して表される。

【００５２】＜直交変換を利用した補間＞次に、参照画
素抽出部１５によって抽出された参照画素に対して、直
交変換を利用した補間によって出力画素の画素値を得
る。この動作は補間部２０によって行われる。

【００５３】まず、ＤＣＴ部２１は、抽出されたブロッ
ク内の画像データに対してＤＣＴを行い、ブロック内の
画像データを２次元の周波数成分に一旦変換する。ＤＣ
Ｔ係数Ｆ_KLは、次式によって求められる。

【００５４】

【数３】

【００５５】図７は、数３に基づいて、８×８画素のブ
ロックの画像データが、同一サイズのＤＣＴ係数行列へ
と変換される様子を示す図である。図７のＳ_ijはブロッ
ク内の格子点位置（ｉ，ｊ）における画素の画素値を表
す。ここで、（ｉ，ｊ）はブロック内の位置を表す座標
値であり、各要素値ｉ，ｊは、それぞれ、０から７まで
の整数のいずれかである。またＦ_KLは、これらの８×８
画素ブロックをＤＣＴ変換した際のＤＣＴ係数行列の各
要素を表し、各次数ＫおよびＬに対するＤＣＴ係数であ
る。

【００５６】次に、上記のようにして得られた位置情報
に基づいて、ＤＣＴ変換によって求められたＤＣＴ係数
行列Ｆ_KLを利用して、その逆変換であるＩＤＣＴを行
う。これにより、出力画素の補間値を求める。そして、
この逆変換（ＩＤＣＴ）時の位相角は、ブロック内での
画素位置を表す数ｅ’（＝ｅ＋３）およびｆ’（＝ｆ＋
３）に対応する位相角を用いる。このようなＩＤＣＴに
よって、出力画素の画素値Ｓ_PQを求める。Ｓ_PQは、次式
で表される。

【００５７】

【数４】

【００５８】たとえば、上記の例の場合には、（ｅ’，
ｆ’）として（３．６，３．５）を用いて、これらの値
に相当する位相角でＩＤＣＴすることによって、対応す
る位置における画素値を補間により求めることができ
る。

【００５９】以上のようにして、出力画素の画素値を補
間によって求めることができる。さらに、出力画像内の
全ての出力画素について、同様の動作を行うことによっ
て所望の出力画像を得ることができる。

【００６０】＜原理説明＞各出力画素の画素値を補間に
より求める際に利用される参照画素は、各出力画素がほ
ぼ中央に位置するようにして各出力画素毎に抽出され
る。したがって、補間画素相互間での連続性が確保され
るため、ブロック歪みの発生を防止することが可能であ
る。この原理について、図８を用いて説明する。

【００６１】図８は、出力画素値生成の概念図である。
図８では図６の１列分の各画素位置における画素値（階
調値）を線の高さで表しており、いわば図６の断面図の
ようなものとなっている。

【００６２】従来においては、原画像のブロック分割は
一定であり、各出力画素毎にその分割の仕方が変更され
ることはなかった。そのため、図８（ａ）に示されるよ
うに、互いに隣接するブロックの境界近辺に存在する隣
接補間画素の補間画素値には、ギャップが存在すること
があった。図中において、階調値ＣaとＣbとして示され
る両画素値間には大きなギャップが存在することが示さ
れている。これは、ブロックＧaの位置Ａaに存在する画
素の画素値は、図中の曲線Ｂaで示される補間曲線に基
づいて補間され、ブロックＧbの位置Ａbに存在する画素
の画素値は、図中の曲線Ｂbで示される補間曲線に基づ
いて補間されることに基づく。これらの両ブロックＧ
a、Ｇbの補間関数は、境界点において不連続となること
が多い。したがって、ブロック境界における不連続性に
基づいて、隣接補間画素の相互間に大きなギャップが存
在することがあり、これがブロック歪みの原因となって
いた。特に、ブロック境界において急激な画素値の変化
を伴う場合などにおいては、不連続性が原因となって、
十分な性能を有する補間を行うことができなかった。

【００６３】一方、本発明による画像補間方法および画
像補間装置によれば、図８（ｂ）に示すように、出力画
素がほぼ中央に位置するように原画像から抽出したブロ
ック画素に基づいて補間が行われる。図８（ｂ）は、位
置Ａaおよび位置Ａbに存在する画素に対して、これらの
画素をほぼ中央に含むブロックＧc内の画素に対して、
ＤＣＴおよびＩＤＣＴが行われることを示した図であ
る。このブロックＧcに対してＤＣＴおよびＩＤＣＴを
施すことは、両位置ＡaおよびＡbを含むブロック範囲内
における連続曲線Ｂcに基づいて、両画素の画素値を補
間により得ることを意味する。これにより、両位置Ａa
およびＡbにおける補間画素値Ｃa’およびＣb’の間の
ギャップは小さくなる。したがって、不連続性に基づく
ブロック歪みの発生を防止することができ、十分な性能
を有する補間を実現することができる。

【００６４】＜Ｂ．第２実施形態＞＜Ｂ１．装置概要＞第１実施形態においては、原画像か
ら抽出した参照画素に基づいて、２次元のＤＣＴおよび
ＩＤＣＴを順次行うことによって、各出力画素の補間値
を求めた。一方、本実施形態では、２次元のＤＣＴおよ
びＩＤＣＴを行うのではなく、行方向に１次元のＤＣＴ
およびＩＤＣＴを行った後に、列方向に１次元のＤＣＴ
およびＩＤＣＴを行うことによって、補間画素値を求め
る。これにより、計算量を削減することができる。ま
た、後述するように、本実施形態における方法は、第１
実施形態における方法と等価である。

【００６５】図９は、本発明の実施形態に係る画像補間
装置１Ｂの機能ブロック図である。画像補間装置１は、
原画像記憶部１１、座標変換部１３、参照画素抽出部１
５、補間部２０Ｂ、出力画像記憶部３１、および出力部
３３を備える。

【００６６】画像補間装置１Ｂの構成は、第１実施形態
の補間部２０（図第２参照）の代わりに、補間部２０Ｂ
を有する点で異なる。補間部２０Ｂは、行方向補間部２
５と、列方向補間部２７とを有する。この補間部２０Ｂ
によって、出力画素の画素値を補間によって得ることが
できる。また、その他の構成については、第１実施形態
と同様である。

【００６７】＜Ｂ２．動作概要＞以下において、第２実
施形態における画像補間装置１Ｂの動作について説明す
る。

【００６８】まず、第１実施形態と同様に、各出力画素
に対して、原画像から参照画素が抽出される。すなわ
ち、座標変換により、出力画素の原画像中の位置をＵＶ
座標系における座標値（Ｕ_PQ，Ｖ_PQ）として求めること
ができ、行方向（Ｕ軸方向）にＥ−３からＥ＋４まで、
および列方向（Ｖ軸方向）にＦ−３からＦ＋４までに対
応する位置に存在する画素を含む正方形の領域から８画
素×８画素の合計６４画素をブロックとして原画像から
抽出する。なお、各座標値Ｕ_PQ，Ｖ_PQのそれぞれの整数
部をＥ，Ｆ、および小数部をｅ，ｆとする。

【００６９】図１０は、原画像から抽出されたブロック
を示す図である。図１０は、第１実施形態の図６に対応
する図である。参照されるブロック画素は、行方向にＥ
−３からＥ＋４まで、および列方向（Ｖ軸方向）にＦ−
３からＦ＋４までに対応する位置に存在する画素であ
る。図においては、白丸で示される画素のうち、点線の
各矩形領域内に存在する画素である。また、図中におい
て、Ｕ軸座標値の上側およびＶ軸座標値の左側に記され
ている、０から７までの数字は、ブロック内の位置を示
す値である。たとえば、ＵＶ座標値で（Ｅ，Ｆ＋１）で
表される位置は、ブロック内の位置を表す座標値（３，
４）として表される。

【００７０】図１０を参照しながら、ブロック内の参照
画素を利用して１次元の直交変換を行および列の２つの
方向に施すことによって、黒丸で示される出力画素の画
素値を、補間により求める動作について説明する。

【００７１】＜行方向補間動作＞本実施形態において
は、まず行方向（Ｕ軸方向）に配置される複数の参照画
素に対して補間を行い、座標値（Ｕ_PQ，Ｊ）における仮
想的な画素（図中において「＋」で示す）の補間値を得
る。ここで、Ｊは、Ｆ−３からＦ＋４までの整数値であ
る。すなわち、Ｆ−３からＦ＋４までの列方向（Ｖ軸方
向）位置Ｊに対応する各矩形領域Ｒ_J毎に、それぞれの
領域に含まれる画素を参照して、出力画素の行方向位置
Ｕ_PQにおける位置における補間値を求める。

【００７２】そのため、各矩形領域Ｒ_jに対して以下の
処理を行う。

【００７３】まず、出力画素の左右に位置するＵ座標
値Ｅ−３からＥ＋４までの位置に存在する画素、言い換
えると、ブロック内における行方向の画素位置で０から
７までの数字で表される位置に存在する画素を参照す
る。すなわち、出力画素のＵ座標値Ｕ_PQの左側および右
側からそれぞれ４画素ずつ、合計８画素を参照する。そ
して、これらの画素の画素値Ｓ_0j〜Ｓ_7jを得る。ここ
で、添字jは、ブロック内における列方向の画素位置を
表し、例えば、j＝０はＶ座標値のＦ−３に対応する。

【００７４】次に、これらの画素値Ｓ_0j〜Ｓ_7jに対し
て、１次元ＤＣＴを施す。結果として得られるＤＣＴ係
数Ｆ_Kjは、次式で表される。

【００７５】

【数５】

【００７６】そして、得られたＤＣＴ係数Ｆ_Kjを用い
て、ブロック内における画素位置を表す数ｅ’（＝ｅ＋
３）に対応する位相角で、ＩＤＣＴを施す。これによっ
て、Ｕ座標位置Ｕ_PQにおける画素の補間値を求める。Ｉ
ＤＣＴによって得られる出力画素の仮の画像データＳ_Hj
は、次式で与えられる。

【００７７】

【数６】

【００７８】上記からまでの動作を、Ｆ−３からＦ
＋４までのＶ座標位置に対応する各矩形領域Ｒ₀〜Ｒ₇に
対して行う。この段階で、図中において「＋」で示す位
置に存在する８つの仮想的な補間画素の画素値Ｓ_Hjが求
められる。

【００７９】また、さらに上記１次元ＤＣＴおよびＩＤ
ＣＴは、実際には、別個の動作として行わないようにす
ることができる。

【００８０】数６に数５を代入して変形すると、次式が
得られる。

【００８１】

【数７】

【００８２】数７によって、画素値を求めれば、ＤＣＴ
およびＩＤＣＴを別個に行う必要がない。つまり、実際
には、ＤＣＴおよびＩＤＣＴを行うことなく、それと等
価な結果を得ることができる。したがって、数７を利用
することによって、さらに計算量を削減することができ
る。

【００８３】また、数７において、

【００８４】

【数８】

【００８５】数８で示される、各i（０〜７）に対する
値をＶ_iとすれば、数７は、次式に変形される。

【００８６】

【数９】

【００８７】したがって、Ｖ_iの値をあらかじめ計算し
ておくことによって、さらに計算量を削減することがで
きる。たとえば、小数部ｅを８ビットの２５６種類の値
に限定することとすれば、ｅ’についても２５６種類の
値に限定される。したがって、Ｖ0〜Ｖ7までの値につい
ても２５６種類に限定される。これらの値をあらかじめ
数８を用いて計算しておき、補間部２０Ｂに備えられる
メモリ２９に記憶しておくことによって、上記補間演算
のスループットを向上させることが可能である。

【００８８】図１１は、メモリ２９に記憶される値を示
す図である。２５６種類のｅ’の値のそれぞれに対応し
て、数８にしたがってあらかじめ計算された値Ｖ_iが、
メモリ２９に記憶されている。この記憶動作は上記の補
間動作を行う前にあらかじめ行われている。図中におい
て、「＊」は、対応する各Ｖ_iの値を表す。メモリ２９
に記憶される値を利用して、ｅ’に対するＶ_iを求める
ことによって、実行時に数８の計算を行わなくて済む。
したがって、補間動作のスループットを向上させること
ができる。なお、画素の補間値は、得られた各Ｖ_iに基
づいて、数９により求めることができる。

【００８９】＜列方向補間動作＞次に、行方向について
の１次元の直交変換を利用した補間により得られたこれ
らの仮想的な画素の画素値配列を基礎として、さらに列
方向に１次元の直交変換を利用した補間を行うことによ
って、出力画素の補間画素値を得る。すなわち、上記で
得られた列方向に配列された８画素に対して、上記と同
様の１次元の直交変換を利用した補間を行うことによっ
て、補間画素値を得ることができる。

【００９０】具体的には、座標値（Ｕ_PQ，Ｊ）における
仮想的な画素の画素値Ｓ_Hjを用いて、数１０から数１４
までの式を用いて行うことが可能である。これらの式
は、それぞれ数５から数９までに対応するものである。

【００９１】まず、出力画素の上下に位置するＶ座標値
Ｆ−３からＦ＋４までの位置に存在する仮想的な画素を
参照する。すなわち、出力画素のＶ座標値Ｖ_PQの上側お
よび下側からそれぞれ４画素ずつ、合計８画素を参照す
る。そして、これらの画素の画素値Ｓ_H0〜Ｓ_H7を得る。
次に、これらの画素値Ｓ_H0〜Ｓ_H7に対して、１次元Ｄ
ＣＴを施す。結果として得られるＤＣＴ係数Ｆ_Lは、次
式で表される。

【００９２】

【数１０】

【００９３】そして、得られたＤＣＴ係数Ｆ_Lを用い
て、ブロック内における画素位置を表す数ｅ’（＝ｅ＋
３）に対応する位相角で、ＩＤＣＴを施す。これによっ
て、Ｕ座標位置Ｕ_PQにおける画素の補間値を求める。Ｉ
ＤＣＴによって得られる出力画素の画素値Ｓ_Hは、次式
で与えられ、目的が達成される。

【００９４】

【数１１】

【００９５】また、上述したように、さらに上記１次元
ＤＣＴおよびＩＤＣＴは、実際には、別個の動作として
行わないようにすることができる。

【００９６】数１１に数１０を代入して変形すると、次
式が得られる。

【００９７】

【数１２】

【００９８】数１２によって、画素値を求めれば、ＤＣ
ＴおよびＩＤＣＴを別個に行う必要がない。つまり、実
際には、ＤＣＴおよびＩＤＣＴを行うことなく、それら
を合成した補間式を用いて出力画素の位相角での値を計
算することにより、ＤＣＴとＩＤＣＴとを順次に行った
ものと等価な結果を得ることができる。したがって、数
１２を利用することによって、さらに計算量を削減する
ことができる。

【００９９】また、数１２において、

【０１００】

【数１３】

【０１０１】数１３で示される各i（０〜７）に対する
値をＷ_iとすれば、数７は、次式に変形される。

【０１０２】

【数１４】

【０１０３】したがって、Ｗ_iの値をあらかじめ計算し
ておくことによって、さらに計算量を削減することがで
きる。前述したメモリ２９を利用することができる。ｅ
およびＶ_iを、ｆおよびＷ_iにそれぞれ置き換えて、適用
することができる。実行時に数１３の計算を行わなくて
済むため、補間動作のスループットを向上させることが
できる。

【０１０４】このように、１次元ＤＣＴおよびＩＤＣＴ
を行方向に行った後に、列方向に対して行うことによっ
て、２次元ＤＣＴおよびＩＤＣＴを行って得られる補間
値と同様の精度の補間値を得ることができる。また、数
４のＳ_PQと数１４のＳ_Hとは、数学的には等価であるこ
とが証明できる。したがって、本実施形態の方法および
装置を用いれば、２次元ＤＣＴおよびＩＤＣＴを行う場
合に比べて、計算量を格段に削減した上で、第１実施形
態と同様の精度の補間を行うことができる。

【０１０５】＜Ｃ．その他の変形例＞上記実施形態にお
いては、各出力画素に対して８画素×８画素のブロック
画素を抽出したが、ブロックサイズはこれに限定されな
い。ブロックサイズは、出力画像の画質の計算量の得失
を考慮して、適宜のサイズを決定することができる。

【０１０６】また、抽出する画素が形成する領域の形状
は、矩形に限定されない。たとえば、円形や楕円形、そ
れに菱形などのように画素配列における行方向および列
方向のいずれについても折返し対称性を有する領域に含
まれる画素を抽出してもよい。

【０１０７】さらに、上記実施形態においては、出力位
置を基準にして、左右方向および上下方向に同数ずつの
画素を抽出していた。連続性を十分に確保するために
は、同数ずつ抽出することが望ましいが、必ずしも同数
ずつであることは必要なく、多少のズレを許容すること
も可能である。

【０１０８】本実施形態において、上記の画素値は階調
値を備えるものであるが、これはモノトーンの画像デー
タはもちろん、ＲＧＢ等の色成分を有するものとしても
よい。その場合には原画像および出力画像などの各種画
像データは、色成分を有するものとし、ＤＣＴやＩＤＣ
Ｔについては各色成分について並列に行うものとすれば
よい。

【０１０９】上記実施形態では直交変換としてＤＣＴを
例示したが、本発明はこれに限られず、アダマール変
換、フーリエ変換等のその他の直交変換にも適用するこ
とができる。この場合、逆変換としては、それぞれに対
応する逆変換を用いることができる。

【０１１０】さらに、上記実施形態においては、座標変
換としてアフィン変換を用いていたが、アフィン変換に
限定されない。たとえば、画面の端にいくほど倍率を大
きくするなどの処理を施すような非線形変換を含む座標
変換でも良く、変換の前後の関係が明確な関係式で表さ
れるものであればよい。この場合には、数１および数２
の代わりにその関係式を用いて座標値（Ｕ_PQ，Ｖ_PQ）を
求めればよい。

【０１１１】

【発明の効果】以上のように、請求項１ないし請求項８
に記載の画像補間方法、ならびに請求項９ないし請求項
１６に記載の画像補間装置によれば、座標変換の関係式
を利用して原画像における出力画素の対応位置を求め、
その対応位置をほぼ中央とする領域に含まれる複数の参
照画素を前記原画像から抽出する。そして、前記複数の
参照画素のそれぞれの画素値を基礎とした直交変換を利
用した補間を用いることによって、原画像を座標変換し
た仮想的な画像の全部または一部として得られる出力画
像中の各出力画素の画素値を得ることができる。したが
って、隣接画素間の連続性を確保することができるの
で、ブロック歪みの発生を防止して原画像を変換するこ
とができる。

【０１１２】特に、請求項３に記載の画像補間方法、お
よび請求項１１に記載の画像補間装置によれば、複数の
参照画素のそれぞれの画素値を基礎として、第１方向に
ついての１次元の直交変換を利用した補間を行うことに
よって、第１方向補間済の画素値配列を求め、第１方向
補間済の画素値配列を基礎として、第２方向についての
１次元の直交変換を利用した補間を行うことによって、
出力画素の画素値を求めることができる。したがって、
２次元の直交変換および逆直交変換を行う場合に比べて
計算量を削減することができるので、補間動作における
スループットの低下を抑制することが可能である。

【０１１３】また、請求項４に記載の画像補間方法、お
よび請求項１２に記載の画像補間装置によれば、１次元
の直交変換を利用した補間は、直交変換と逆直交変換と
を合成した式を補間式として用いて行われるので、計算
量をさらに削減することができる。

【０１１４】請求項５に記載の画像補間方法、および請
求項１３に記載の画像補間装置によれば、１次元の直交
変換を利用した補間を行う際に、メモリにあらかじめ記
憶された所定の計算結果を用いるので、計算量をさらに
削減することができる。

【０１１５】さらに、請求項８に記載の画像補間方法、
および請求項１６に記載の画像補間装置によれば、回転
を伴った座標変換後の出力画像における出力画素の画素
値を、直交変換を利用した補間によって得ることができ
る。したがって、画素の補間値を高速に、かつ精度良く
求めることができる。

【図面の簡単な説明】

【図１】原画像１００と、変換後の出力画像２００との
関係を示す図である。

【図２】本発明の第１実施形態に係る画像補間装置１の
機能ブロック図である。

【図３】ＵＶ座標系と、ＸＹ座標系との対応関係を示す
図である。

【図４】原画像から抽出されたブロックを示す図であ
る。

【図５】図４のブロックを拡大した図である。

【図６】図４のブロックを拡大した図である。

【図７】ＤＣＴ変換において、８×８画素のブロックの
画像データが、同一サイズのＤＣＴ係数行列へと変換さ
れる様子を示す図である。

【図８】出力画素値生成の概念図である。

【図９】第２実施形態に係る画像補間装置１Ｂの機能ブ
ロック図である。

【図１０】原画像から抽出されたブロックを示す図であ
る。

【図１１】メモリ２９に記憶される値を示す図である。

【符号の説明】

１、１Ｂ画像補間装置１１原画像記録部１３座標変換部１５参照画素抽出部２０、２０Ｂ補間部２１ＤＣＴ部２３ＩＤＣＴ部２５行方向補間部２７列方向補間部２９メモリ３１出力画像記憶部３３出力部１００原画像２００出力画像２０１ａ，２０１ｂ，２０１ｃ出力画素２０３ａ，２０３ｂ，２０３ｃブロック（参照画素）

Claims

【特許請求の範囲】

【請求項１】原画像を座標変換した仮想的な画像の全
部または一部を出力画像として得るにあたって、前記出
力画像中の出力画素の画素値を補間によって得る画像補
間方法であって、 (a)前記座標変換の関係式を利用して、前記原画像にお
ける前記出力画素の対応位置を求めるステップと、 (b)当該対応位置をほぼ中央とする領域に含まれる複数
の参照画素を前記原画像から抽出するステップと、 (c)前記複数の参照画素のそれぞれの画素値を基礎とし
た直交変換を利用して前記出力画素の画素値を補間によ
り求めるステップと、を含むことを特徴とする画像補間
方法。
【請求項２】請求項１に記載の画像補間方法におい
て、前記ステップ(c)は、 (c-1)前記複数の参照画素のそれぞれの画素値を基礎と
した直交変換を行うステップと、 (c-2)直交変換により得られるデータを前記出力画素の
前記対応位置における位相角で逆変換することにより前
記出力画素の画素値を求めるステップと、を含むことを
特徴とする画像補間方法。
【請求項３】請求項１に記載の画像補間方法におい
て、前記ステップ(a)で求めた前記対応位置は、前記原画像
における第１方向の位置と第２方向の位置とで特定さ
れ、前記ステップ(c)は、 (c-1)前記複数の参照画素のそれぞれの画素値を基礎と
して、前記第１方向についての１次元の直交変換を利用
した補間を行うことによって、第１方向補間済の画素値
配列を得るステップと、 (c-2)前記第１方向補間済の画素値配列を基礎として、
前記第２方向についての１次元の直交変換を利用した補
間を行うことによって、前記出力画素の画素値を求める
ステップと、を含むことを特徴とする画像補間方法。
【請求項４】請求項３に記載の画像補間方法におい
て、前記ステップ(c-1)および(c-2)における１次元の直交変
換を利用した補間は、直交変換と逆直交変換とを合成し
た式を補間式として用いるものであることを特徴とする
画像補間方法。
【請求項５】請求項４に記載の画像補間方法におい
て、前記ステップ(c-1)および(c-2)における１次元の直交変
換を利用した補間を行う際に、記憶手段にあらかじめ記
憶された所定の計算結果を用いることを特徴とする画像
補間方法。
【請求項６】請求項１に記載の画像補間方法におい
て、前記ステップ(b)は、 (b-1)前記原画像の行方向および列方向のそれぞれにお
いて、前記原画像における前記出力画素の位置に対して
相反する側に位置する画素を同数ずつ抽出するステップ
と、を含むことを特徴とする画像補間方法。
【請求項７】請求項１に記載の画像補間方法におい
て、前記複数の参照画素を含む前記領域の形状は、前記原画
像の画素配列の行方向および列方向のいずれにも折返し
対称性を有する形状であることを特徴とする画像補間方
法。
【請求項８】請求項１に記載の画像補間方法におい
て、前記座標変換は、回転を伴うものであることを特徴とす
る画像補間方法。
【請求項９】原画像を座標変換した仮想的な画像の全
部または一部を出力画像として得るにあたって、前記出
力画像中の出力画素の画素値を補間によって得る画像補
間装置であって、 (a)前記座標変換の関係式を利用して、前記原画像にお
ける前記出力画素の対応位置を求める座標変換手段と、 (b)当該対応位置をほぼ中央とする領域に含まれる複数
の参照画素を前記原画像から抽出する参照画素抽出手段
と、 (c)前記複数の参照画素のそれぞれの画素値を基礎とし
た直交変換を利用して前記出力画素の画素値を補間によ
り求める補間手段と、を備えることを特徴とする画像補
間装置。
【請求項１０】請求項９に記載の画像補間装置におい
て、前記補間手段は、 (c-1)前記複数の参照画素のそれぞれの画素値を基礎と
した直交変換を行う直交変換手段と、 (c-2)直交変換により得られるデータを前記出力画素の
前記対応位置における位相角で逆変換することにより前
記出力画素の画素値を求める逆直交変換手段と、を有す
ることを特徴とする画像補間装置。
【請求項１１】請求項９に記載の画像補間装置におい
て、前記座標変換手段で求めた前記対応位置は、前記原画像
における第１方向の位置と第２方向の位置とで特定さ
れ、前記補間手段は、 (c-1)前記複数の参照画素のそれぞれの画素値を基礎と
して、前記第１方向についての１次元の直交変換を利用
した補間を行うことによって、第１方向補間済の画素値
配列を得る第１方向補間手段と、 (c-2)前記第１方向補間済の画素値配列を基礎として、
前記第２方向についての１次元の直交変換を利用した補
間を行うことによって、前記出力画素の画素値を求める
第２方向補間手段と、を有することを特徴とする画像補
間装置。
【請求項１２】請求項１１に記載の画像補間装置にお
いて、前記第１方向補間手段および前記第２方向補間手段にお
ける１次元の直交変換を利用した補間は、直交変換と逆
直交変換とを合成した式を補間式として用いるものであ
ることを特徴とする画像補間装置。
【請求項１３】請求項１２に記載の画像補間装置にお
いて、前記第１方向補間手段および前記第２方向補間手段にお
ける１次元の直交変換を利用した補間を行う際に、記憶
手段にあらかじめ記憶された所定の計算結果を用いるこ
とを特徴とする画像補間装置。
【請求項１４】請求項９に記載の画像補間装置におい
て、前記参照画素抽出手段は、前記原画像の行方向および列
方向のそれぞれにおいて、前記原画像における前記出力
画素の位置に対して相反する側に位置する画素を同数ず
つ抽出することを特徴とする画像補間装置。
【請求項１５】請求項９に記載の画像補間装置におい
て、前記複数の参照画素を含む前記領域の形状は、前記原画
像の画素配列の行方向および列方向のいずれにも折返し
対称性を有する形状であることを特徴とする画像補間装
置。
【請求項１６】請求項９に記載の画像補間装置におい
て、前記座標変換は、回転を伴うものであることを特徴とす
る画像補間装置。