JP4879084B2 - 画像処理装置 - Google Patents

Description

この発明は、画像を拡大又は縮小するための画像処理装置に関しており、例えば、家庭用テレビ等の表示装置に画像又は映像を表示するときに入力画像の解像度を表示装置の解像度に合わせる様にするための画像処理装置に関する。

従来の画像処理装置は、ニアレストネイバー（最近傍）法、バイリニア法、又はバイキュービック法の何れかの補間法を用いて、画像の拡大又は縮小を行っていた（例えば非特許文献１参照）。

これらの方法の内で、ニアレストネイバー補間法は、画像の拡大処理により新しく増えた補間画素Ｐ_u,v に最も近い位置にある画素Ｐ_i,j+1の輝度値及び色差値ないしRGB値などの色情報を示す値（以下、それらを画素値として総称する。）をそのまま補間画素Ｐ_u,vの画素値として用いる手法である。ニアレストネイバー法は、最も単純な方法のため、高速に処理出来ると言う利点を有する。又、同方法は、画像の拡大後に於けるコントラストが高いと言う利点も有する。しかしながら、同方法では、斜め線にジャギーが発生するため、画質は非常に悪くなる。

又、バイリニア補間法は、補間画素Ｐ_u,vの周囲の４画素Ｐ_i,j、Ｐ_i,j+1、Ｐ_i+1,j、Ｐ_i+1,j+1の画素値を用いて平面的な補間を行う手法である。この手法では、ニアレストネイバー法の様な斜め線にジャギーは発生せず、画像のスムージングの効果が得られる。しかし、エッジ部の様な急激に画素値が変化している部分がボヤケてしまうと言う問題点がある。

又、バイキュービック法は、補間画素Ｐ_u,vの周囲の１６画素Ｐ_i,jからＰ_i+3,j+3までの画素値を用いて３次関数による曲面的な補間を行う手法である。この手法では、エッジ強調効果が得られ、ボヤケ感も少なく、斜め線のジャギーも発生しにくい。しかし、上記２種の補間方法と比較して、計算量が多くかかると言う問題点がある。

そこで、これらの古典手法の改善策として、人間の視覚特性を考慮して適応的にエッジ部を修正する手段を搭載している画像処理装置が提唱されている（例えば、特許文献１参照。）。又、古典手法を発展させたマルチレート処理部と、拡大しようとしている対象画素とその隣接画素との拡大前の関係から拡大又は縮小可能かを適応的に判断し拡大又は縮小を行う処理部とを備えている画像処理装置も、提案されている（例えば、特許文献２参照。）。

特開２００４−１３３５９２号公報（第８頁〜第１２頁、図２、図３） 特開２００１−２５１５００号公報（第７頁〜第１４頁、図１） 高木幹雄著、「画像解析ハンドブック」東京大学出版会、１９９１年１月１７日、ｐ．４４１−４４４

上記の古典手法を用いた場合には、拡大率が大きいとき、又は、縮小率が小さいときに、ボヤケ感が増加したり、画像のエッジ周辺にリンギングやジャギー等のアーチファクトが発生すると言う問題点がある。又、これらのアーチファクトを低減するために、古典手法に適応処理を追加しても、得られる最大倍率は２倍しかならず、効果に制限があると言う問題点がある。しかも、適応処理を導入したために、演算コストが古典手法よりも大幅に増大すると言う問題点もある。

又、画素を点として捉えて画素の面積を全く考慮しないか、あるいは、画素の面積を考慮する場合であっても斜め線と画素との重なりを考慮していないために、ジャギーやリンギング等のアーチファクトを発生させていると言う問題点もある。

又、従来手法（特許文献２）では、拡大・縮小アルゴリズムに古典手法を発展させたマルチレート処理を導入していることから、この点だけでも、少なくとも古典手法と同程度かそれよりも多くの演算コストがかかると言う問題点がある。加えて、特許文献１や特許文献２の様に、画像内容に適応的な処理を加える場合には、古典手法と比較すると、演算コストは大幅に増大すると言う問題点がある。この様に、従来手法は演算コストの増加を招くという問題点を有している。

本発明は斯かる技術的状況に鑑みて成されたものであり、その目的は、画素の面積及び映像を構成する斜め線成分の面積を考慮した画像補間方法を用いて、演算コストを古典手法と同程度に抑えつつ、ボヤケ感を抑え、リンギング等のアーチファクトを軽減することが可能な、画像拡大又は画像縮小を行うための画像処理装置を提供することにある。

この発明の主題に係る画像処理装置は、所望の画像の拡大率に合わせて、画像拡大処理後の出力画像の各出力画素の位置座標を決定する出力画素位置決定部と、前記出力画素位置決定部から出力される出力画素の位置座標に基づいて、前記出力画素の色情報を示す値より成る画素値を求めるために必要な入力画像の画素群、及び、当該入力画素群に属する各入力画素の座標を決定する入力画像画素座標決定部と、前記入力画像の各入力画素の色情報を示す値より成る画素値を保有している入力画像用記憶部と、前記入力画像画素座標決定部から出力される前記入力画素群内の各入力画素の座標に基づいて、前記入力画像用記憶部から、前記入力画素群内の各入力画素の前記画素値を取得する入力画像取得部と、前記入力画像画素座標決定部から出力される前記入力画素群に属する各入力画素の座標と、前記入力画像取得部から出力される前記入力画素群に属する各入力画素の前記画素値とから、前記入力画素群に属する各入力画素を１個の点として捉えた場合に於いて、拡大対象となった前記出力画素の所定次元近傍で定まる前記入力画素群に属する全入力画素の内で前記画素値が相関関係にある２個の入力画素を通る斜め線を検出し、また斜め線が存在しない場合には、垂直方向ないしは水平方向に延びた斜め線が検出されたものとして、前記斜め線の情報を出力する斜め線方向判定部と、前記入力画素群に属する各入力画素及び前記出力画素は点ではなくて面積を持った２次元体であると捉えた上で、前記出力画素位置決定部から送信される拡大対象となった前記出力画素の前記位置座標と、前記斜め線方向判定部から出力される前記斜め線情報とに基づいて、（１）前記斜め線情報で与えられる前記斜め線を、前記斜め線の方向に垂直な方向に、各画素の形状の寸法に基づき定まる、前記所定次元近傍で定まる前記入力画素群の幅よりも狭い所定の幅を有する帯状の斜め線帯を構成し、（２）前記斜め線帯が、前記出力画素の前記位置座標に存在し且つ各画素の形状の寸法と同一寸法の領域を有する２次元体としての出力画素と交差するか否かを判定し、（３）前記斜め線帯が前記２次元体としての出力画素と交差するときには、前記斜め線帯は有効な斜め線帯であると判定し、また交差しないときには、交差が検出されるまで前記線方向判定部による斜め線の検出および斜め線帯の構成を反復実行した上で、前記斜め線帯と交差する２次元体の各入力画素と前記斜め線帯との交差部分の面積を算出し、各交差部分の面積の面積比を更に算出した上で、少なくとも前記面積比に基づき、補間係数を算出する係数算出部と、前記入力画像取得部から出力される前記入力画素群内の各入力画素の前記画素値と、前記係数算出部から出力される前記補間係数とに基づき、前記出力画素の画素値を補間する補間部と、前記出力画素座標決定部から出力される前記出力画素の前記位置座標と、前記補間部から出力される補間された前記出力画素の前記画素値とを出力する出力部とを備えることを特徴とする。

以下、この発明の主題の様々な具体化を、添付図面を基に、その効果・利点と共に、詳述する。

本発明の主題によれば、画素は点ではなくて面積を持つ２次元体であるとして取り扱い、画像の拡大又は縮小時に於ける画像補間を行う様にしているので、補間時に斜め線部に発生するジャギーの発生原因を根本的に捉え直すことが出来る様になった結果、演算コストの増大を招く事無く、ジャギーを抑制出来ると言う効果がある。しかも、補間時にエッジ部に発生するリンギングをも抑制出来ると言う効果がある。

（実施の形態１）
本実施の形態の特徴点は、「画像拡大・縮小後の出力画素の近傍に位置する入力画素群の中の各入力画素（点）の位置座標及び画素値の情報に基づいて当該入力画素群の中で画素値が相間関係のある２つの入力画素（２点）を通り当該入力画像データ内に存在する直線（水平方向又は垂直方向に延びた直線に該当。）、斜め線分、又は斜め線（以下、単に斜め線とも言う。）を検出し、次に、画素は点ではなくて面積を持った２次元体であると捉えて、面積を持つ画素で以って、検出した直線、斜め線分、又は斜め線が所定の幅を有する斜め線状の帯（以下、斜め線帯と言う。）を構成し、当該斜め線帯が面積を持つ当該出力画素の領域と交差するか否かを判断し、交差するときには、上記入力画素群に属し且つ当該斜め線帯と交差する各入力画素と当該斜め線帯との交差部分の面積を求め且つそれらの交差部分の面積の比（以下、単に面積比と言う。）に基づき補間係数を算出して、算出した補間係数に基づき当該出力画素の画素値の補間を行うようにした」点にある。その結果、斜め線部に発生するジャギー（ジャギーは、対象画素とその周辺画素との画素値のガタツキが原因で発生する。）、及び、エッジ部に発生するリンギングを抑制する機能を実現している。以下、図面を参照しつつ、本実施の形態の特徴点を詳述する。

図１は、本実施の形態に係る画像処理装置の構成例を示すブロック図である。この画像処理装置は、デジタル画像を有理数倍又は整数倍に拡大又は縮小する機能を有している。以下、縮小に関しては、１倍以下の拡大、例えば、１／２倍拡大、と考えられるので、「縮小」も「拡大」という言葉に統一する。又、本実施の形態では、従来例等の様に画素を理想的な点（面積を持たない）として捉えるのではなくて、図３に例示する様に、面積を持つ２次元体として、画素を考える。図３では、各画素は長さ１の単位正方形であり、各画素の面積も１となる。ここで、画素の形状は図３の様に正方形である必然性はなく、長方形等の多角形や、円形や、楕円形の様に、任意の形状であって良い。但し、画素の面積を定義出来る様な形状である必要性がある。又、画素をなす長さも１でなくても良い。当然、面積も１でなくとも良い。以下、説明の便宜上、画素の形状は長さ１の単位正方形であるとする。加えて、画素（入力画素及び出力画素）の座標は、出力画像の座標軸を基準に設定されるものとする。

図１に於いて、出力画素位置決定部１０１は、所望する画像の拡大率に合わせて、拡大処理後の画像（出力画像）の各画素位置（出力画素位置）を決定する。入力画像画素座標決定部１０２は、出力画素位置決定部１０１から出力される出力画素座標に基づいて、出力画素の画素値を求めるために必要な、入力画像の画素群及び当該入力画素群に属する各入力画素の座標を決定する。入力画像用フレームメモリ１０９は、ＴＶのチューナー等に接続されており、予め、入力画像の座標軸で定まる各入力画像の座標位置に対応した各アドレスに、ＴＶのチューナー等から送信されて来る各入力画素の画素値を、１フレーム分だけ、保有している。入力画像取得部１０３は、入力画像画素座標決定部１０２から出力される入力画素群内の各入力画素の座標に基づいて（この場合、入力画像画素座標決定部１０２から出力された各入力画素の座標に対して、出力画像の座標軸から入力画像の座標軸に変換する座標変換を施すことにより、各入力画素の座標を入力画像用フレームメモリ１０９のアドレスに対応付け可能とする。）、入力画像用フレームメモリ１０９から、当該入力画素群内の各入力画素の画素値（輝度値及び色差値などの色情報値）を取得する。

又、斜め線方向判定部１０４は、入力画像画素座標決定部１０２から出力される入力画素群に属する各入力画素の座標と入力画像取得部１０３から出力される入力画素群に属する各入力画素の画素値とから、この段階では各入力画素を１個の点として捉えた場合に於いて、拡大対象となった出力画素（１個の点）の所定次元近傍で定まる入力画素群に属する全入力画素の内で画素値が相間関係にある２個の入力画素（２点）を通る直線、斜め線分又は斜め線（斜め線）を検出して、当該斜め線の情報（上記２点の位置座標あるいは斜め線の方程式等）を出力する。

又、係数算出部１０５は、この段階では、各画素は点ではなくて面積ないしは領域を持った２次元体であると捉えて、出力画素位置決定部１０１から送信される拡大対象となった出力画素の位置座標と、斜め線方向判定部１０４から出力される斜め線情報とに基づいて、先ず、（１）斜め線情報で与えられる斜め線を、当該斜め線の方向に垂直な方向に、各画素の形状の寸法に基づき定まる所定の幅を有する帯状の斜め線帯を構成し、（２）当該斜め線帯が、出力画素の位置座標に存在し且つ各画素の形状の寸法と同一寸法の領域ないしは当該寸法から決まる面積を有する２次元体としての出力画素と交差するか否かを判定し、（３）交差するときには、構成された斜め線帯は有効な斜め線帯であると判定した上で、当該斜め線帯に含まれる各入力画素（２次元体）と当該斜め線帯との交差部分の面積を算出し、各交差部分の面積の面積比を更に算出した上で、当該面積比に基づき補間係数を算出する。

又、補間部１０６は、入力画像取得部１０３から出力される当該入力画素群内の各入力画素の画素値と、係数算出部１０５から出力される補間係数とに基づき、当該出力画素の画素値を補間する。

又、出力部１０７は、出力画素座標決定部１０１から出力される当該出力画素の位置座標と、補間部１０６から出力される補間された当該出力画素の画素値とを、フレームメモリ１０８内の対応するアドレスに出力する。フレームメモリ１０８は、送信されて来た当該出力画素の位置座標及び画素値を、対応するアドレスに保存する。

次に、図１の画像処理装置の機能ないしは動作について記載する。

先ず、出力画素位置決定部１０１は、所望する倍率に合わせて、入力画像サイズから出力画像サイズを算出し、ラスタースキャン順に出力画素位置を決定する。ラスタースキャン順とは、図２に示す様に、画像の左上から右に向かって順番をつける方式でＴＶ等の走査線方式に使われている。出力サイズの算出は、出力画素位置を決定する際、毎回計算する必要性はなく、初回に１度だけ出力サイズを算出しても良い。又、出力画素位置は、ラスタースキャン順に配列されている必要性はなく、任意の順番で配列されていても良い。但し、以下の記載では、便宜上、各出力画素はラスタースキャン順に配列しているものとする。

次に、入力画像画素座標決定部１０２は、出力画素位置決定部１０１で決定された各出力画素位置の画素値を計算ないしは補間するために必要な入力画素位置群を決定する。ここで、出力画素値を計算するために必要な入力画像位置群に含まれる入力画素の画素数は、選択する補間手法により変わる。例えば、図３に示す様に、入力画素をＸ，出力画素をＹと定義する。縦横同時に画像の拡大を行う場合で、１次近傍まで考える場合には、入力画像画素座標決定部１０２は、４個の入力画素Ｘ_m,n、Ｘ_m+1,n、Ｘ_m,n+1、Ｘ_m+1,n+1から成る入力画像位置群を決定し、当該入力画像位置群に属する各入力画素Ｘ_m,n、Ｘ_m+1,n、Ｘ_m,n+1、Ｘ_m+1,n+1の座標を決定し、出力する。同様に、２次近傍まで考慮する場合には、Ｘ_m-1,n-1、Ｘ_m,n-1、Ｘ_m+1,n-1、Ｘ_m+2,n-1、Ｘ_m-1,n、・・・Ｘ_m+2,n+2の１６画素の座標を決定し、出力する。このとき、拡大率に従って、出力画素Ｙ_i,jの座標軸を基準にしたＸ_i,j座標の距離も計算する。例えば、図３の場合では、入力画素Ｘ_i,jと入力画素Ｘ_i+1,jの距離は２となる。又、入力画像位置群の範囲も２次近傍よりも大きくても良いし、縦方向及び横方向で異なるアルゴリズムを使う場合には、例えば、縦方向には２次近傍で、横方向には１次近傍で以って入力画像位置群の範囲を決定する様なときには、入力画像位置群として長方形から成る領域を考えても良い。

又、拡大は、縦横独立に行っても良い。その場合、図１のシステムを縦横独立に用意するか、あるいは、画像を回転させる機能を追加して縦横２回同じシステムを使用することとなる。

図３に示した場合以外に、入力画素と出力画素との位置関係は倍率によって異なる。又、倍率によって、入力画素と出力画素とが重なることもある。図４に、入力画素と出力画素との重なりがある場合の例を示す。図４に示す様に、入力画素と出力画素とが全く重ならない場合、出力画素が１個の入力画素と重なる場合、出力画素が２個の入力画素と重なる場合、及び、出力画素が４個の入力画素と重なる場合がある。

又、出力画素位置が画面の端に位置する場合には、近似操作を行う。例えば、１６個分の入力画素が存在し得ない場合もある。入力画像画素座標決定部１０２は、画面端の検出も同時に行う。特に、画面端の場合、入力画像画素座標決定部１０２は、２次近傍領域が存在しない箇所に対しては、その画素を無視する（有効画素でのみ補間を行う）、又は、０値を入れる、又は、存在する画素を画面端で折り返す等の２次近傍の近似操作を行う。以下では、２次近傍まで考慮し、画面端に於いては、有効画素でのみ出力画素の画素値を補間する例を示す。

入力画像取得部１０３は、入力画像画素座標決定部１０２で決定された入力画素位置群内に属する各入力画素の画素値（輝度値及び色差値などの色情報値）を、入力画像用フレームメモリ１０９の対応するアドレスから、既述した座標変換を施す事で、取得する。

次に、斜め線方向判定部１０４は、入力画像画素座標決定部１０２及び入力画像取得部１０３から、それぞれ入力画素群内の各入力画素の位置座標及び画素値を取得する。この段階では、各画素は１個の点として捉えているので、例えば、入力画素群と出力画素との位置関係が図５に示す様な関係であったものとする（図５の各入力画素の正方形は、後述する様に、各入力画素が面積を持つ２次元体と考えたときの場合を参考として示すものである。図６でも同様である。）。この場合、斜め線方向判定部１０４は、出力画素Ｙ_i,jの入力画素群を成す１６個の入力画素Ｘ_m-1,n-1、Ｘ_m,n-1、Ｘ_m+1,n-1、Ｘ_m+2,n-1、Ｘ_m-1,n、・・・Ｘ_m+2,n+2の内で、画素値同士の間に一定の相関関係が成立する２個の入力画素を通る斜め線を検出する。例えば、図６に示す様に、斜め線方向判定部１０４は、２個の入力画素Ｘ_m-1,n+1、Ｘ_m+1,nを通る斜め線ＤＬを、検出する。尚、ここで言う「斜め線」は、水平方向又は垂直方向に延びた直線をも含む。斜め線方向判定部１０４は、この斜め線ＤＬを検出した後、係数算出部１０５に、斜め線情報（例えば、２個の入力画素Ｘ_m-1,n+1、Ｘ_m+1,nの位置座標や斜め線ＤＬの方程式の様なベクトル情報に該当。）を送信する。尚、斜め線は、２次近傍内にのみに存在する線分であっても良い。

尚、斜め線方向判定部１０４が、設定された入力画素群中に斜め線が存在しないと判定する場合には、同部１０４は、垂直方向ないしは水平方向に延びた斜め線が検出されたものとする。このとき、垂直方向ないしは水平方向のどちらの直線を同部１０４が選択するかは、それぞれの入力画素の直線度の高い方（例えば、入力画素群中の各入力画素の内で画素値が近い入力画素同士が垂直方向及び水平方向の何れに近いかで判定される。）を選ぶ方法もある。とは言え、本実施の形態では、この場合に於ける斜め線検出方法を規定することはしない。

次に、係数算出部１０５は、斜め線方向判定部１０４及び出力画素位置決定部１０１からそれぞれ斜め線情報及び拡大後の出力画素Ｙ_i,jの位置座標を受け取り、この段階で、各画素は点ではなくて所定の面積を有する２次元体であるものとして取り扱う画像処理を、次の通りに実行する。即ち、出力画素Ｙ_i,j及び各入力画素は所定の形状及び面積を有する２次元体であるので、係数算出部１０５は、斜め線情報に基づき定まる斜め線を、当該斜め線の延在方向に直交する方向に対して、各画素の寸法に応じて定まる所定の幅寸法を有する帯状の斜め線帯を構成する。そして、構成された斜め線帯が、所定の２次元的形状及び面積を有する出力画素Ｙ_i,jの領域と交差するか否かを判断する。若し、交差する場合には、斜め線方向判定部１０４によって検出された「斜め線」は適当であったことになる。これに対して交差しないことを検出した場合には、再度、斜め線方向判定部１０４の動作及び係数算出部１０５の上記判定動作が、交差を検出するまで、反復実行される。

交差する場合には、その後、係数算出部１０５は、構成された斜め線帯中に含まれる各入力画素の領域と当該斜め線帯との交差部分の面積を順次に算出し、これらの交差部分の面積の面積比を算出する。そして、係数算出部１０５は、算出した面積比に基づいて、補間係数を計算する。例えば、出力画素Ｙ_i,jの領域とその入力画素領域内の各入力画素との位置関係が図７の様に与えられる場合を考える。この場合、係数算出部１０５は、図６の斜め線ＤＬの情報から、入力画素Ｘ_m-1,n+1、Ｘ_m+1,nの領域及び出力画素Ｙ_i,jの領域と交差する、幅寸法が１の斜め線帯ＤＬＢを構成する。即ち、斜め線帯ＤＬＢは、単位正方形と同じ線幅を持つ長方形状となる。そして、この場合、斜め線帯ＤＬＢは出力画素Ｙ_i,jの領域と交差するので、係数算出部１０５は、入力画素Ｘ_m-1,n+1の領域と斜め線帯ＤＬＢとの交差部分（図７中に斜線のハッチングを施した斜線部）の面積、及び、入力画素Ｘ_m+1,nの領域と斜め線帯ＤＬＢとの交差部分（図７中に斜線のハッチングを施した斜線部）の面積を求める。その上で、係数算出部１０５は、求めた両面積の比を算出し、その面積比に従って補間係数を計算する。尚、図７の場合では、求めた斜め線帯ＤＬＢ上に２画素しか存在しないが、斜め線の傾きや出力画素位置によっては、構成した斜め線帯がより多くの入力画素の領域と重なる場合も有り得る。又、係数算出部１０５が構成した斜め線帯は、出力画素Ｙ_i,jの領域と少しでも交差していれば良い。

今、係数算出部１０５の具体的動作例を示すために、且つ、簡単に説明するために、１次近傍まで考えた２倍拡大の場合を考える。縦横を同時に拡大縮小する場合や縦のみの場合、倍率が変わる場合でも、２倍拡大の場合の補間係数を同じ様に計算することが出来る。図８に、１次近傍まで考えた２倍拡大の例を示す。図８に太字で示す様な補助線を斜め線として斜め線方向判定部１０４が検出したものとすると、係数算出部１０５が構成する斜め線帯は、出力画素Ｙ_i,jの領域と交差すると共に、各入力画素Ｘ_m,n、Ｘ_m,n+1、Ｘ_m+1,n、Ｘ_m+1,n-1の領域と交差し、各交差部分の面積を求めることが出来る。それぞれの交差部分の面積をＡ，Ｂ，Ｃ，Ｄと定義するとし、出力画素Ｙ_i,jの中心を原点とすると、補助線の方程式は、数１の（１）式となる。

一方、斜め線帯の幅は１であるので、斜め線帯の上下ラインの方程式（数２の（２）式，数３の（３）式）と、入力画素の境界線とから、積分により、各交差部分の面積を計算することが出来る。

以上より、面積は、Ａ＝Ｄ＝√２−１／２≒０．９１、Ｂ＝Ｃ＝０．２５と求められる。正規化によって、最終的な補間係数は、Ａ＝Ｄ＝０．３９、Ｂ＝Ｃ＝０．１１である。

補間部１０６は、入力画像取得部１０３から出力される入力画素の画素値の内で、斜め線帯と交差する入力画素の画素値と、係数算出部１０５から出力される補間係数の情報とより、補間された出力画素Ｙ_i,jの画素値を算出する。図８の例の場合では、出力画素Ｙ_i,jの画素値は、以下の（４）式により算出される。

出力部１０７は、出力画素位置決定部１０１からの出力画素座標情報と、補間部１０６からの出力画素値とを受けとり、出力画素座標情報及び出力画素値をフレームメモリ１０８の所定のアドレスへ保存する。

上記の通り、本実施の形態によれば、各画素が有する面積を考慮して補間を実行するので、斜め線部で発生するジャギーの根本原因である画素のガタツキの発生を抑制することが出来る。又、本実施の形態によれば、斜め線に対して適応処理（斜め線帯の構成・斜め線帯と面積を持つ出力画素の領域との交差の有無の検出・交差部分の面積の算出・面積比に基づく補間係数の算出・補間係数に基づく補間処理）を行うため、本来的に斜め線以外の部分を誤って斜め線と誤判定してしまうことにより発生するノイズの影響を抑制することが出来る。

（実施の形態２）
図９は、本実施の形態に係る画像処理装置の構成例を示すブロック図である。図９に於いて、実施の形態１の図１の画像処理装置と構成的に相違する点は、係数算出部２０５であり、その他の構成要素は実施の形態１の図１の対応する構成要素と同一である。

係数算出部２０５には、図１の係数算出部１０５に於ける既述した補間係数計算処理に対して、斜め線帯に含まれる各入力画素Ｘ_m,nと出力画素Ｙ_i,jの中心間距離をも考慮するアルゴリズムが付加されている。具体的には、以下の通りである。

図８に示す様な場合には、入力画素Ｘ_m,n+1及び入力画素Ｘ_m+1,n-1は、出力画素Ｙ_i,jから等距離にある。しかしながら、既述した図７に示す一例に於いては、斜め線帯ＤＬＢに含まれる２個の入力画素Ｘ_m-1,n+1、Ｘ_m+1,nに関して、入力画素Ｘ_m-1,n+1と出力画素Ｙ_i,jとの中心間距離と、入力画素Ｘ_m+1,nと、出力画素Ｙ_i,jとの中心間距離とは、異なっている。従って、この様な場合に於いては、既述した面積比のみに基づいて補間係数を算出するのみならず、面積比に加えて、斜め線帯に含まれる各入力画素と出力画素Ｙ_i,jとの中心間距離の逆比をも考慮して補間係数を算出するならば、実際の斜め線帯上の画素配列の状況を反映した精密度のより高い補間係数を得ることが出来る。そこで、係数算出部２０５は、出力画素位置決定部１０１から送信される出力画素Ｙ_i,jの位置座標のデータと、入力画像画素座標決定部１０２から送信される入力画素の位置座標のデータとに基づいて、入力画素Ｘ_m-1,n+1と出力画素Ｙ_i,jの中心間距離ｄ１、及び、入力画素Ｘ_m+1,nと出力画素Ｙ_i,jの中心間距離ｄ２を算出する。その上で、係数算出部２０５は、係数算出部１０５と同様に、斜め線方向判定部１０４より出力される斜め線情報に基づき構成した斜め線帯ＤＬＢと当該斜め線ＤＬＢに含まれる各入力画素Ｘ_m-1,n+1、Ｘ_m+1,nとの交差部分に於ける面積を算出した上で、両面積の面積比を算出し、この面積比に加えて更に算出した上記中心間距離ｄ１、ｄ２の逆比をも考慮して、補間係数を算出する。今、面積を持つ入力画素Ｘ_m-1,n+1と斜め線帯ＤＬＢとの交差部分（斜線部分）の面積をＳ１、面積を持つ他方の入力画素Ｘ_m+1,nと斜め線帯ＤＬＢとの交差部分（斜線部分）の面積をＳ２として表示すると、係数算出部２０５は、入力画素Ｘ_m-1,n+1に対する補間係数をＡとして表示し、他方で入力画素Ｘ_m+1,nに対する補間係数をＢとして表すものとすると、補間係数を正規化したときには、それぞれ、以下の（５）式及び（６）式に基づいて、各入力画素に対する補間係数を算出することが出来る。

尚、（５）式及び（６）式に於いて、ｄ１＝ｄ２＝１とすれば、正規化された補間係数Ａ，Ｂは、共に、実施の形態１の場合と同様に、交差部分の面積Ｓ１、Ｓ２の面積比のみに基づいて算出されることになる。

又、倍率如何によっては、図１０に例示する様に、出力画素Ｙ_i,jと入力画素Ｘ_m,nが部分的に重なり合う場合が生じ得る。図１０の例は、横方向のみ５／２倍拡大の例である。このとき、図７の一例に基づき本実施の形態の前半部分で既述した上記手法では、入力画素と出力画素との重なり合いを中心間距離で考慮するのみである。

そこで、次の手法として、係数算出部２０５は、重なり部分の面積をも新たに考慮に加えて、補間係数を算出することとする。図１０の場合では、出力画素Ｙ_i,jと入力画素Ｘ_m,nでは、半分の面積（０．５）の重なりがある。そこで、係数算出部２０５は、この重なっている面積分は入力画素Ｘ_m,nの寄与と考え、残りの面積部分を斜め線帯と中心間距離とから補間する。例えば、図１１に示す様な斜め線帯が係数算出部２０５によって検出されたものとする。このとき、図１１に示す様に、当該斜め線帯と入力画素群の各入力画素との重なりの面積を求めた結果を、それぞれ、Ａ，Ｂ，Ｃ，Ｄとして表示する。又、出力画素Ｙ_i,jと各入力画素Ｘ_m,n、Ｘ_m,n+1、Ｘ_m+1,n―1、Ｘ_m+1,nとの中心間距離を、それぞれ、ｄ１、ｄ２、ｄ３、ｄ４として表す。そして、面積比と中心間距離と重なりの面積を全て考慮する場合には、係数算出部２０５によって算出・出力される係数値Ａ‘，Ｂ’，Ｃ‘，Ｄ’は、以下の（７）式〜（１０）式で与えられる。

尚、面積比と中心間距離と重なりの面積とを考える場合には、前記の様に全ての要素を考慮して補間係数を算出しても良いし、あるいは、面積比と中心間距離のみを考慮して補間係数を算出しても良いし、あるいは、面積と重なりの面積だけを考慮して補間係数を算出しても良い。

上記の通り、本実施の形態によれば、画素の持つ面積と画素間の中心間距離と重なり合いの面積を考慮するので、斜め線部で発生するジャギーの根本原因である画素のガタツキの発生を抑制することが出来ると共に、ある画素とその近傍の画素との間では相関が強いと言う一般性質をも保証しながら出力画素の画素値を補間することが出来る。加えて、斜め線に対して適応処理を行うため、斜め線以外の部分の誤判定により生ずるノイズを抑制することも出来る。

（実施の形態３）
図１２は、本実施の形態に係る画像処理装置の構成例を示すブロック図である。図１２に於いて、実施の形態１及び２の図１又は図９に示した画像処理装置と相違する点は、斜め線方向判定部３０４及び係数算出部３０５の構成・機能にあり、その他の構成要素は図１又は図９に示した画像処理装置の対応する構成要素と同一である。即ち、実施の形態１及び２では、２次元体としての出力画素Ｙ_i,jの位置毎に合わせて、係数算出部で構成された斜め線帯の有効性の判定を行っていた。しかしながら、本実施の形態では、計算量削減化のために、２次元体としての出力画素Ｙ_i,jの位置が係数算出部で構成された斜め線帯に含まれる様にするのではなく、図１３に示す様に、出力画素Ｙ_i,jの1次近傍に位置する入力画素Ｘ_m,n、Ｘ_m+1,n、Ｘ_m,n+1、Ｘ_m+1,n+1の画像の重心または中心位置（図１３の重心Ｙｃの位置）を代表位置として、斜め線帯の有効性の検出を行う。

先ず、斜め線方向判定部３０４は、この段階では各画素を点として捉えた場合に於ける、入力画素Ｘ_m,n、Ｘ_m+1,n、Ｘ_m,n+1、Ｘ_m+1,n+1の重心Ｙｃ（この段階では重心Ｙｃも点である。）の座標を求めて、重心Ｙｃの座標を係数算出部３０５に出力する。又、斜め線方向判定部３０４は、実施の形態１で既述した図１の斜め線方向判定部１０４と同様の処理を行って斜め線を検出し、検出された斜め線情報を係数算出部３０５に送信する。ここで、斜め線方向判定部３０４は、入力画素群の重心Ｙｃの位置座標が拡大処理後の対象とする新たな出力画素Ｙ_i,j+1に関しても同じであれば、その新たな出力画素Ｙ_i,j+1の補間された画素値を新たに求めるに際して、同じ斜め線情報を係数算出部３０５に送れば良いこととなるので、毎回、斜め線の検出を行う必要性が無くなる。

係数算出部３０５は、斜め線方向判定部３０４から送られて来た入力画素群の重心Ｙｃの位置座標及び斜め線情報に基づいて、以下の処理を行う。先ず、係数算出部３０５は、斜め線情報に基づいて既述した様に斜め線帯を構成し、次に、構成した斜め線帯が、各入力画素と同一形状・同一寸法を有する、面積を持った２次元体としての重心Ｙｃの領域と交差するか否かを、検出する。交差しない場合には、交差する斜め線帯が検出されるまで、上記の処理を各部３０４，３０５は行う。交差することを検出すると、係数算出部３０５は、実施の形態１で既述した通りに、斜め線帯と交差する各入力画素と当該斜め線帯との交差部分の面積を求め、更にそれらの面積比を算出する。ここで、斜め線方向判定部３０４と同様に、重心Ｙｃの座標が変わらない限り、斜め線情報も変更にならないので、係数算出部３０５は、新たな出力画素Ｙ_i,j+1に関する面積比の計算も、重心Ｙｃ毎に１度計算するだけで良い。

又、係数算出部３０５は、面積比のみならず、実施の形態２の係数算出部２０５と同様に、斜め線帯と交差する各入力画素と出力画素Ｙ_i,jの中心間距離と、重なり面積とをも考慮して補間計数を算出する。この中心間距離と重なり面積とは、重心Ｙｃの位置によらずに、毎回計算する必要がある。

ここでは、係数算出部３０５が面積比と入力画素値と出力画素Ｙ_i,j間の中心間距離と重なり面積とを考慮して補間計数を算出する例を示したが、これに代えて、面積比と中心間距離とのみを考慮して補間計数を算出する様にしても良いし、あるいは、面積比と重なり面積とのみを考慮して補間計数を算出する様にしても良い。

上記の通り、本実施の形態によれば、画素の持つ面積と画素の距離と重なりの面積とを考慮するので、斜め線部で発生するジャギーの根本原因である画素のガタツキの発生を抑制することが出来ると共に、画素の近傍の相関が強いという一般性質をも保証しながら補間することが出来る。又、斜め線に対して適応処理を行うため、斜め線以外の部分の誤判定によるノイズの発生をも抑制することが出来る。特に本実施の形態によれば、斜め線方向判定部及び係数算出部の計算量を削減することが出来ると言う利点がある。

（実施の形態４）
図１４は、本実施の形態に係る画像処理装置の構成例を示すブロック図である。本実施の形態は、実施の形態１（図１）及び実施の形態２（図９）との比較では、入力画像取得部４０３、係数算出部４０５及び補間部４０６の機能を異にする。その他の構成要素は、図１及び図９の対応する構成要素と同一である。

本実施の形態は、斜め線方向判定部１０４の斜め線方向情報に基づいて斜め線帯として垂直方向ないしは水平方向の直線帯が係数算出部４０５に於いて構成された場合、例えば、図１５に示す様な垂直方向に延在した直線帯が斜め線帯として検出された場合に関している。このとき、検出された斜め線帯と当該斜め線帯と交差する各入力画素とが成す各交差部分の面積は１となる。このとき、面積比と中心間距離比とを考慮しても、出力画素値の補間は線形補間となる。そこで、本実施の形態では、特殊な斜め線である垂直方向ないしは水平方向に延在した斜め線の場合への適応処理（アルゴリズム）を追加する。

入力画像取得部４０３は、入力画像用フレームメモリ１０９より、出力画素Ｙ_i,jの２次近傍以上の範囲に属する入力画素の画素値を取得する。ここで、係数算出部４０５又は補間部４０６に於いてバイキュービック法を用いる場合には、入力画像取得部４０３は、出力画素Ｙ_i,jの３次近傍までの範囲に属する入力画素の画素値を取得しても良い。又、それよりも高次な補間方法を用いる場合には、３次近傍以上の範囲に属する入力画素の画素値を取得しても良い。ここで、斜め線方向判定部１０４内のバッファ部（図示せず。）のメモリ容量を削減するために、入力画像取得部４０３は、出力画素Ｙ_i,jの２次近傍以上の範囲に属する画素を取り扱う場合には、水平方向及び垂直方向に関してのみ高次近傍範囲に属する画素の画素値を取得する様にしても良い。その様な一例を図１６に示す。図１６に於いては、入力画像取得部４０３は、４隅部分の画素の画素値を取得する必要性がないため、斜め線方向判定部１０４のバッファ部内のメモリ容量を削減することが可能である。

先ず、係数算出部４０５が高次補間の係数計算を行う一例を示す。斜め線方向判定部１０４で斜め線が垂直方向ないしは水平方向に延在する特殊な斜め線であると判断され、その斜め線情報が係数算出部４０５に送られて来た場合には、係数算出部４０５が上記斜め線情報に基づき構成する斜め線帯は出力画素Ｙ_i,jの２次元領域と交差するか否かを判定し、交差する場合には、係数算出部４０５は、既述した様な面積比や距離比や面積のかさなりを考慮して補間係数を算出する手法を行うのではなくて、その代わりに、バイキュービック法の様な高次補間法に基づき補間係数を算出し、その補間係数を補間部４０６へ送信する。補間部４０６は、係数算出部４０５が上記高次補間法に基づき求めた補間係数に基づき、出力画素Ｙ_i,jの画素値の補間を行う。

次に、補間部４０６が垂直方向又は水平方向に延在した斜め線の補間を行う場合を記載する。係数算出部４０５は、斜め線方向判定部１０４から垂直方向ないしは水平方向に延在した斜め線に関する斜め線情報が送られてきた場合には、係数算出部４０５が上記斜め線情報に基づき構成する斜め線帯は出力画素Ｙ_i,jの２次元領域と交差するか否かを判定し、交差することを確認した場合には、補間部４０６に対して、斜め線が垂直方向ないしは水平方向に延在した斜め線であるという斜め線情報を単に送信する。補間部４０６は、垂直方向ないしは水平方向に延在した斜め線の情報を受信した場合には、バイキュービック法の様な高次補間法を用いて補間係数を求めた上で出力画素Ｙ_i,jの画素値の補間を行う。他方、係数算出部４０５から既述した様な面積比等の補間係数値が送られて来た場合には、補間部４０６は受信した係数値に従って実施の形態１で記載した様に出力画素Ｙ_i,jの画素値の補間を行う。

ここでは、高次補間法としてバイキュービック法を取り上げたが、スプライン法等の高次補間法でも良く、それ以外の手法であっても良い。

又、垂直方向にのみ既述した高次補間法によって出力画素Ｙ_i,jの画素値の補間を行う様にしても良く、あるいは、水平方向にのみ既述した高次補間法を用いて出力画素Ｙ_i,jの画素値の補間を行っても良い。

上記の通り、本実施の形態によれば、斜め線部では画素のガタツキの発生を抑制すると共に、画素の近傍の相関が強いという一般性質をも保証しながら出力画素の画素値を補間することが出来る。特に本実施の形態によれば、垂直方向ないしは水平方向に延在した斜め線帯に対しては高次補間を行い、画像の詳細な情報を保存しつつ出力画素の画素値を補間することが出来ると言う特徴があり、又、斜め線以外の線を斜め線と誤判定した場合により生ずるノイズをも抑制することが出来る。

（実施の形態５）
図１７は、本実施の形態の特徴点を実施の形態１で示した図１の画像処理装置に適用した一例に該当する、本実施の形態に係る画像処理回路を示すブロック図である。図１７に於ける中核的構成要素である入力画像用ラインメモリ５０９は、ＴＶのチューナー等の入力画像供給部（図示せず。）に接続されている。

既述した各実施の形態１〜４では、入力画像の各画素の画素値をフレームメモリに蓄えてから既述した処理を行っていた。本実施の形態では、フレームメモリに代えて、ラインメモリ５０９を使用することにより、処理の遅延時間を減らすことを目的とする。

入力画像用ラインメモリ５０９は、出力画素Ｙ_i,jの２次近傍まで考慮する場合（図５）には、入力画素４ライン分の、各画素の画素値を記憶可能なラインメモリを搭載すれば良い。図１８に示す様に、出力画素Ｙ_i,jの画素値の補間処理が完了し、次の出力画素Ｙ_i,j'が処理対象となった時には最も上のラインに属する各画素の画素値データが捨てられ、次の新しいラインに属する各画素の画素値データが入力画像用ラインメモリ５０９に取り込まれる。このとき、出力画素Ｙ_i,jの処理順はラスタースキャン順で行うのが簡易であるが、ラスタースキャン順でなくとも良い。但し、ラインを飛ばして処理を行う場合には、ラインメモリの容量が多くなるので、構成は可能であるが、好ましくはない。

出力画素Ｙ_i,jの３次近傍以上を考慮する場合であっても、ラインメモリ数は増えるが、フレームメモリよりもメモリ容量を少なく構成することが出来る。この様に出力画素Ｙ_i,jの３次近傍以上で補間する場合にも、本実施の形態は対応可能である。

又、本実施の形態に於ける入力画像用ラインメモリ５０９は、実施の形態１への適用のみならず、その他の実施の形態２，３，４の何れの補間方法にも適用可能である。

上記の通り、本実施の形態によれば、入力画素用のメモリにラインメモリを搭載することにより、入力画素の画素値のメモリ容量を削減することが出来、斜め線部では画素のガタツキの発生を抑制すると共に、画素の近傍の相関が強いという一般性質をも保証しながら補間することが出来る。

（付記）
以上、本発明の実施の形態を詳細に開示し記述したが、以上の記述は本発明の適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲から逸脱することの無い範囲内で考えることが可能である。

この発明に係る画像処理装置は、例えば、デジタルＴＶに用いられる画像処理用マイクロプロセッサや、パーソナルコンピューターに適用して好適なるものである。

この発明の実施の形態１に係る画像処理装置を示すブロック図である。 ラスタースキャン順を示す図である。 画素が面積を持った場合の入力画素と出力画素の位置関係を示す図である。 入力画素と出力画素とが位置的に重なる場合の例を示す図である。 実施の形態１に於ける各入力画素と出力画素との位置関係を示す図である。 斜め線と入力画素と出力画素との位置関係を示す図である。 斜め線帯と各入力画素との交差部分の面積を示す図である。 斜め線帯と各入力画素との交差部分の面積から補間係数を算出することを説明する図である。 この発明の実施の形態２に係る画像処理装置を示すブロック図である。 入力画素と出力画素とが重なっている場合を示す図である。 入力画素と出力画素とで重なりがある場合の補間係数の計算を示す図である。 この発明の実施の形態３に係る画像処理装置を示すブロック図である。 斜め方向判定を出力画素の一次近傍で行う場合を示す図である。 この発明の実施の形態４に係る画像処理装置を示すブロック図である。 垂直方向の斜め線帯が検出された場合を示す図である。 入力画素の画素値を垂直方向及び水平方向にのみ３次近傍まで取得することを説明する図である。 この発明の実施の形態５に係る画像処理装置を示すブロック図である。 入力画像用ラインメモリの動作を示す図である。

符号の説明

１０１ 出力画素位置決定部、１０２ 入力画像画素座標決定部、１０３ 入力画像取得部、１０４ 斜め線方向判定部、１０５ 係数算出部、１０６ 補間部、１０７ 出力部、１０８ フレームメモリ、１０９ 入力画像用フレームメモリ、２０５ 実施の形態２での係数算出部、３０４ 実施の形態３での斜め線方向判定部、３０５ 実施の形態３での係数算出部、４０３ 実施の形態４での入力画像取得部、４０５ 実施の形態４での係数算出部、４０６ 実施の形態４での補間部、５０９ 実施の形態５での入力画像用ラインメモリ。

Claims (7)

1. 所望の画像の拡大率に合わせて、画像拡大処理後の出力画像の各出力画素の位置座標を決定する出力画素位置決定部と、
   前記出力画素位置決定部から出力される出力画素の位置座標に基づいて、前記出力画素の色情報を示す値より成る画素値を求めるために必要な入力画像の画素群、及び、当該入力画素群に属する各入力画素の座標を決定する入力画像画素座標決定部と、
   前記入力画像の各入力画素の色情報を示す値より成る画素値を保有している入力画像用記憶部と、
   前記入力画像画素座標決定部から出力される前記入力画素群内の各入力画素の座標に基づいて、前記入力画像用記憶部から、前記入力画素群内の各入力画素の前記画素値を取得する入力画像取得部と、
   前記入力画像画素座標決定部から出力される前記入力画素群に属する各入力画素の座標と、前記入力画像取得部から出力される前記入力画素群に属する各入力画素の前記画素値とから、前記入力画素群に属する各入力画素を１個の点として捉えた場合に於いて、拡大対象となった前記出力画素の所定次元近傍で定まる前記入力画素群に属する全入力画素の内で前記画素値が相関関係にある２個の入力画素を通る斜め線を検出し、また斜め線が存在しない場合には、垂直方向ないしは水平方向に延びた斜め線が検出されたものとして、前記斜め線の情報を出力する斜め線方向判定部と、
   前記入力画素群に属する各入力画素及び前記出力画素は点ではなくて面積を持った２次元体であると捉えた上で、前記出力画素位置決定部から送信される拡大対象となった前記出力画素の前記位置座標と、前記斜め線方向判定部から出力される前記斜め線情報とに基づいて、（１）前記斜め線情報で与えられる前記斜め線を、前記斜め線の方向に垂直な方向に、各画素の形状の寸法に基づき定まる、前記所定次元近傍で定まる前記入力画素群の幅よりも狭い所定の幅を有する帯状の斜め線帯を構成し、（２）前記斜め線帯が、前記出力画素の前記位置座標に存在し且つ各画素の形状の寸法と同一寸法の領域を有する２次元体としての出力画素と交差するか否かを判定し、（３）前記斜め線帯が前記２次元体としての出力画素と交差するときには、前記斜め線帯は有効な斜め線帯であると判定し、また交差しないときには、交差が検出されるまで前記線方向判定部による斜め線の検出および斜め線帯の構成を反復実行した上で、前記斜め線帯と交差する２次元体の各入力画素と前記斜め線帯との交差部分の面積を算出し、各交差部分の面積の面積比を更に算出した上で、少なくとも前記面積比に基づき、補間係数を算出する係数算出部と、
   前記入力画像取得部から出力される前記入力画素群内の各入力画素の前記画素値と、前記係数算出部から出力される前記補間係数とに基づき、前記出力画素の画素値を補間する補間部と、
   前記出力画素座標決定部から出力される前記出力画素の前記位置座標と、前記補間部から出力される補間された前記出力画素の前記画素値とを出力する出力部とを備えることを特徴とする、
   画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記係数算出部は、前記斜め線帯と交差する２次元体の各入力画素と前記２次元体の出力画素との中心間距離を入力画素毎に算出し、算出した各中心間距離と前記面積比とに基づき、前記補間係数を算出することを特徴とする、
   画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記２次元体の出力画素が前記入力画素群に属する２次元体の何れかの入力画素と重なり合う場合には、
   前記係数算出部は、前記入力画素群に属する２次元体の各入力画素の内で前記２次元体の出力画素と重なり合う全ての入力画素の各々について、当該入力画素と前記出力画素との重なり合う部分の面積を算出し、
   前記係数算出部は、前記出力画素における前記入力画素と重なり合う面積部分については当該入力画素の寄与とした上で、残りの面積部分については前記各中心間距離と前記面積比とに基づき、前記補間係数を算出することを特徴とする、
   画像処理装置。
4. 所望の画像の拡大率に合わせて、画像拡大処理後の出力画像の各出力画素の位置座標を決定する出力画素位置決定部と、
   前記出力画素位置決定部から出力される出力画素の位置座標に基づいて、前記出力画素の色情報を示す値より成る画素値を求めるために必要な入力画像の画素群、及び、当該入力画素群に属する各入力画素の座標を決定する入力画像画素座標決定部と、
   前記入力画像の各入力画素の色情報を示す値より成る画素値を保有している入力画像用記憶部と、
   前記入力画像画素座標決定部から出力される前記入力画素群内の各入力画素の座標に基づいて、前記入力画像用記憶部から、前記入力画素群内の各入力画素の前記画素値を取得する入力画像取得部と、
   前記入力画像画素座標決定部から出力される前記入力画素群に属する各入力画素の座標と、前記入力画像取得部から出力される前記入力画素群に属する各入力画素の前記画素値とから、前記入力画素群に属する各入力画素を１個の点として捉えた場合に於いて、（１）前記入力画素群に属する各入力画素の重心の位置座標を求めて出力すると共に、（２）拡大対象となった前記出力画素の所定次元近傍で定まる前記入力画素群に属する全入力画素の内で前記画素値が相関関係にある２個の入力画素を通る斜め線を検出し、また斜め線が存在しない場合には、垂直方向ないしは水平方向に延びた斜め線が検出されたものとして、前記斜め線の情報を出力する斜め線方向判定部と、
   前記入力画素群に属する各入力画素、前記重心及び前記出力画素は点ではなくて面積を持った２次元体であると捉えた上で、前記斜め線方向判定部から出力される前記重心の前記位置座標と前記斜め線情報とに基づいて、（１）前記斜め線情報で与えられる前記斜め線を、前記斜め線の方向に垂直な方向に、各画素の形状の寸法に基づき定まる、前記所定次元近傍で定まる前記入力画素群の幅よりも狭い所定の幅を有する帯状の斜め線帯を構成し、（２）前記斜め線帯が、前記重心の前記位置座標に存在し且つ各画素の形状の寸法と同一寸法の領域を有する２次元体としての重心領域と交差するか否かを判定し、（３）前記斜め線帯が前記２次元体としての重心領域と交差するときには、前記斜め線帯は有効な斜め線帯であると判定し、また交差しないときには、交差が検出されるまで前記線方向判定部による斜め線の検出および斜め線帯の構成を反復実行した上で、前記斜め線帯と交差する２次元体の各入力画素と前記斜め線帯との交差部分の面積を算出し、各交差部分の面積の面積比を更に算出した上で、少なくとも前記面積比に基づき、補間係数を算出する係数算出部と、
   前記入力画像取得部から出力される前記入力画素群内の各入力画素の前記画素値と、前記係数算出部から出力される前記補間係数とに基づき、前記出力画素の画素値を補間する補間部と、
   前記出力画素座標決定部から出力される前記出力画素の前記位置座標と、前記補間部から出力される補間された前記出力画素の前記画素値とを出力する出力部とを備えることを特徴とする、
   画像処理装置。
5. 請求項１乃至３の何れか１項に記載の画像処理装置であって、
   前記所定次元近傍は、２次近傍以上であり、
   前記出力画素の前記所定次元近傍で定まる範囲内に属する各入力画素及び前記出力画素は点ではなくて面積を持った２次元体であると捉えた上で、前記斜め線が垂直方向又は水平方向に延在した直線であることを前記斜め線情報が示す場合には、
   前記係数算出部は、前記直線を前記直線の方向に垂直な方向に、各画素の形状の寸法に基づき定まる、前記所定次元近傍で定まる前記入力画素群の幅よりも狭い所定の幅を有する帯状の直線帯を構成し、前記直線帯が、前記出力画素の前記位置座標に存在し且つ各画素の形状の寸法と同一寸法の領域を有する２次元体としての出力画素と交差するか否かを判定し、交差する場合には、高次補間方法に基づき、補間係数を算出し、交差しない場合には、交差が検出されるまで前記線方向判定部による斜め線の検出および斜め線帯の構成を反復実行し、
   前記補間部は、前記入力画像取得部から出力される前記出力画素の前記所定次元近傍で定まる範囲内に属する各入力画素の前記画素値と、前記係数算出部から出力される前記補間係数とに基づき、前記出力画素の画素値を補間する、
   画像処理装置。
6. 請求項１乃至３の何れか１項に記載の画像処理装置であって、
   前記所定次元近傍は、２次近傍以上であり、
   前記出力画素の前記所定次元近傍で定まる範囲内に属する各入力画素及び前記出力画素は点ではなくて面積を持った２次元体であると捉えた上で、前記斜め線が垂直方向又は水平方向に延在した直線であることを前記斜め線情報が示す場合には、
   前記係数算出部は、前記直線を前記直線の方向に垂直な方向に、各画素の形状の寸法に基づき定まる、前記所定次元近傍で定まる前記入力画素群の幅よりも狭い所定の幅を有する帯状の直線帯を構成し、前記直線帯が、前記出力画素の前記位置座標に存在し且つ各画素の形状の寸法と同一寸法の領域を有する２次元体としての出力画素と交差するか否かを判定し、交差する場合には、前記斜め線情報をそのまま出力し、交差しない場合には、交差が検出されるまで前記線方向判定部による斜め線の検出および斜め線帯の構成を反復実行し、
   前記補間部は、前記係数算出部から出力される前記斜め線情報に基づき高次補間方法によって補間係数を算出し、前記入力画像取得部から出力される前記出力画素の前記所定次元近傍で定まる範囲内に属する各入力画素の前記画素値と、算出した前記補間係数とに基づき、前記出力画素の画素値を補間する、
   画像処理装置。
7. 請求項１乃至６の何れか１項に記載の画像処理装置であって、
   前記入力画像用記憶部は、前記出力画素の画素値を補間するのに必要なライン数分の入力画素の画素値を保有しているラインメモリより成ることを特徴とする、
   画像処理装置。

Images