JP4880172B2 - 画像処理方法及び画像処理装置 - Google Patents
画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP4880172B2 JP4880172B2 JP2001579289A JP2001579289A JP4880172B2 JP 4880172 B2 JP4880172 B2 JP 4880172B2 JP 2001579289 A JP2001579289 A JP 2001579289A JP 2001579289 A JP2001579289 A JP 2001579289A JP 4880172 B2 JP4880172 B2 JP 4880172B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- conversion
- line segment
- input
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 279
- 238000000034 method Methods 0.000 claims description 114
- 239000000470 constituent Substances 0.000 claims description 93
- 230000002093 peripheral effect Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 88
- 238000010586 diagram Methods 0.000 description 20
- 238000003708 edge detection Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101100457843 Schizosaccharomyces pombe (strain 972 / ATCC 24843) tit1 gene Proteins 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/005—Adapting incoming signals to the display format of the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Editing Of Facsimile Originals (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本発明は、原画像を入力し、異なる画素数の画像に変換する画像処理方法及び画像処理装置に関する。
背景技術
パーソナルコンピュータ(以下、パソコンと記載する。)やTV受像器等において、画像源からディスプレイに画像を送って画面に表示する際に、画像処理装置を用いて所望の変換率で画素数変換する場合がある。
この種の画像処理装置に用いる画素数変換法の代表的なものとして、変換前の画素のまわりの複数画素の輝度値を使って補間するCubic補間法や線形補間法、変換前の画素座標に最も近い座標位置にある画素の階調値をそのまま用いる最近傍補間法などが知られている。
ところで、パソコンやTVにおいて、自然画像及び文字画像のいずれも表示する場合があり、いずれのタイプの画像においても画素数変換した後に見やすく表示する必要性が高まっている。
ここで、上記Cubic補間法や線形補間法によれば、階調の重心位置が変換前後において保持されるので、自然画像に対しては、自然画像らしさを維持し且つ全体として画像ぼけが少ない良好な変換画像を得ることが出来るが、文字画像(文字や図形のように急峻なエッジ部を持つ画像)に対してはエッジ部がぼけてしまう点で適さない。
一方、最近傍補間法は、自然画像を変換すると自然画像らしさが失われやすいので適さないが、文字画像を変換すると変換後もエッジ部がぼけない点で適している。しかし、文字画像を最近傍補間法で画素数変換すると、線幅のバランスが崩れるという問題、即ち、変換前には線幅が互いに同一であったものが、線の位置によって、変換後には異なった線幅になってしまうという問題がある。
特に、パソコンで扱う画像においては、原画像において文字や図表といった線幅が1画素の細線で構成されるものが多いので、最近傍補間法で画素数変換すると、変換後の画像において、見た目に線幅の不均一さが目立って違和感が感じられることとなる。
また、自然画像と文字画像の双方を画面表示することを考慮して、上記のCubic補間法と最近傍補間法とを選択的に用いる画像処理装置も開発されている。
例えば、特開平11−203467号公報には、図23に示すように、波形識別回路31、セレクタ32、Cubic補間処理回路33、最近傍補間処理回路34で構成された画像処理装置が開示されている。
この装置においては、入力画像信号35を波形識別回路31によって識別し、セレクタ32では、その結果によって、通常はCubic補間処理回路33を選択するが、階段波形と識別されるエッジ部分については最近傍補間処理回路34を選択するようになっており、これによって、自然画像に対してはCubic補間法を用いて自然画に適した画素像を得ると共に、エッジ部分の画像に対しては最近傍補間法を用いてぼけを低減した画像を得ることが可能となる。
しかし、この場合も、文字画像において線幅バランスが崩れるという問題が生じる点は同様である。
上述した課題について、図24を参照しながら説明する。
図24では、(a),(c)では最近傍補間法、(b)ではcubic補間法を用い、水平方向に補間する場合を示している。当図では、入力画像が、水平方向に並ぶ5つの画素座標H1〜H5で構成され、そして、この入力画像が水平方向に並ぶ画素座標D1〜D6…に変換される様子が示されている。
図24において、白塗り画素は高輝度(輝度値255)、黒塗り画素は低輝度(輝度値0)、斜線網掛け画素は、やや低輝度(輝度値64)、黒点網掛け画素は中間輝度(輝度値128)であることを示している。
図24(a),(b)では、入力画像中のH3は低輝度,その他の画素H1,H2,H4,H5は高輝度であって、この場合、H3が線分を構成する画素である。一方、図24(c)では、入力画像中のH4が線分を構成する画素である。
先ず、図24(b)のようにCubic補間を施す場合、変換後の各画素D2,D3,D4,D5の各々は、変換前の4つの画素から補間される(例えば出力側の座標D3は、入力画像側の座標H1〜H4から補間される)。
この場合、入力された画像では一画素(H3)の幅であったものが、変換後には4画素(D2〜D5)に広がると共に周囲の画素(D1,D6)との輝度差も少なくなるので、線がぼけてしまう。
次に、図24(a),(c)ではどちらも最近傍補間を施しているが、(a)のようにH3が線分構成画素の場合は、出力側ではD3,D4の2つが線分構成画素となる一方、(b)のようにH4が線分構成画素の場合は、出力側ではD5だけが線分構成画素となる。このように入力側で線幅が同じ1画素であったものが、最近傍補間法で変換した後には、(a)では2画素幅、(c)では1画素幅となっている。
発明の開示
本発明は、細線を含む文字画像を画素数変換する際に、ぼけがなく且つ見た目に違和感の少ない良質の画像を得ることのできる画像処理方法及び画像処理装置を提供することを目的とする。
そのため、本発明は、マトリックス表示用の原画像を入力し、行方向及び列方向の少なくとも一つの指定された方向に対して所定の画素数変換率で画素数変換する際に、当該指定された方向に対して、入力される原画像中の線分構成画素の連続数に関連する特徴情報を獲得し、獲得した特徴情報に基づいて、線分構成画素に対応する変換後の線分構成画素が、画素数変換率に基づいて定められる一定数だけ連続するよう調整することとした。
上記の「線分構成画素」は、文字や罫線などにおける線分を構成する画素のことである。
ここで、変換後の線分構成画素の位置は、基本的にできるだけ入力される線分構成画素の近傍となるよう調整することが好ましい。
従来技術で説明したように最近傍補間法で画素数変換する場合、上記のように変換前には文字や罫線の線幅が同一であったものが、変換後には線幅が異なってしまうことによって見た目に違和感が生じてしまうが、上記本発明のように画素数変換する際に、入力画像における文字や罫線等の線分(特に線幅が1画素,2画素といった細線)の線幅を保持することを優先する画素数変換することによって、最近傍補間法で画素数変換する場合と比べると線分の位置は多少ずれることもあるが、変換後における線幅の均一性が保持されるので、違和感はかなり低減される。
このように線幅の均一性を優先することによって違和感を低減できるのは、一般的に、画像中の文字や罫線といった線分(特に線幅が1画素,2画素といった細線)については、線分の位置が多少ずれるか否かよりも、線幅が均一であるか否かということが、画像を見たときに違和感を感じるか否かに大きな影響を与えるためと考えられる。
上記の線幅の均一性を保持しながら画素数変換するための具体的方法としては、以下に示すものが挙げられる。
・入力される原画像に含まれる線分構成画素を検出し、検出される線分構成画素に対応する変換後の線分構成画素が、指定された方向に対して、画素数変換率に基づいて定められる一定数だけ連続するよう調整する方法。
・入力される原画像に含まれるエッジ構成画素を検出し、検出されたエッジ構成画素について、指定された方向に対して、画素数変換率に基づいて一意に定まる整数を乗じた画素数だけ変換後のエッジ構成画素が連続するよう調整する方法。
・画素数変換率に基づいて定められる一定数だけ、入力画素の近傍に変換後の画素を出力する第1補間法と、入力される原画像に含まれる線分構成画素のパターンを、あらかじめ定められた変換表とパターンマッチングすることによって、入力画素に対応する変換後の画素を出力する第2補間法とを組み合わせることによって画素数変換する方法。
本発明においては更に、入力される画像が文字画像としての特徴を有するか否かを判定し、特徴を有する場合には上記の線幅優先補間法で変換し、文字画像としての特徴を有さない場合には、線形補間法あるいはCubic補間法といった重心保持補間法で変換するようにした。
これによって、自然画像に対しては、自然画像らしさを維持しながら変換すると共に、文字画像に対しては、線幅の均一性を保持しながら変換することができる。
また、画素数変換率が整数倍に近い値の場合だけ、上記の線幅優先補間法で変換するようにしてもよい。
発明を実施するための最良の形態
(実施の形態1)
図1は、実施の形態1にかかる画像処理装置のブロック図である。
この画像処理装置100は、パソコン10から出力される画像信号(画像データ)を入力し、操作者が設定する画素数変換率Xで画素数変換を行ない、PDP,LCDなどのマトリックス型表示装置20に出力するのに用いられるものであって、特に、自然画像と文字画像とを含む画像信号が入力される場合に用いられるものである。
図1に示すように、画像処理装置100は、重心保持補間回路101、線幅優先補間回路102、特徴・線分検出回路103、選択回路104、座標判定部120などから構成されている。
パソコン10から画像処理装置100に対して、画素データ(画面のマトリックス座標に対応する輝度値)が順次送られてくるが、説明上、画素座標ごとの輝度値(0〜255)を示す8bitの画素データが、行毎に順次送られてくるものとする。即ち、パソコン10からは1ライン目について座標(1,1),(2,1),(3,1)…の順、次に2ライン目について座標(1,2),(2,2),(3,2)…の順で画素データが入力されるものとする。
座標判定部120では、画素データが入力されるごとに、当該画素データが画面上のどの座標に相当するものであるかを示す画素座標(P,Q)を求め(Pは水平座標、Qは垂直座標を表す)、これを特徴・線分検出回路103などに送る。
この座標判定部120による座標判定は、例えば、水平座標Pは、ラインの始まりを示す信号が入力されてから入力されてから画素データが入力されるごとにカウントすることによって、垂直座標は、1枚分の画像信号の始まりの信号が入力されてからラインの始まりを示す信号をカウントすることによって求めることができる。
説明の便宜上、先ず水平方向だけに画素数変換する場合について説明する。
画像処理装置100には、操作者から変換率指示を受け付ける受付部(不図示)が設けられており、当該受付部がら各部に画素数変換率Xが送られるようになっている。
特徴・線分検出回路103は、画像信号が入力されるごとに、注目画素を中心とする一定範囲の画素データに基づいて、当該注目画素が文字画像としての特徴を有する特徴部分であるか否か、並びに、当該注目画素が「線分構成画素」であるか「周辺画素(線分構成画素でない画素)」であるかを判定する。また、線分構成画素が水平方向に連続する数W(このWは線分の水平方向長さに相当する)も測定する。
重心保持補間回路101及び線幅優先補間回路102は、共に入力される画素データを変換率Xで画素数変換処理を行うものであり、この中、重心保持補間回路101は、輝度値(「階調値」でも同様。)の重心位置が変換後も保持されるように画素数変換する方法を用いており、具体的には、線形補間法やCubic補間法等がこれに相当する。
線幅優先補間回路102は、基本的には、最近傍補間法と同様に、変換前の画素座標に最も近い座標位置にある画素の輝度値をそのまま変換後も用いて補間するが、入力される画素データが線分構成画素の部分においては、出力する線分構成画素の数が、「入力される線分構成画素の連続数Wに画素数変換率Xを乗じた数」を整数化した数となるように、且つ画面全体としては画素数変換率Xに基づいた適切な画素数を持つ変換画像になるように調整する点が最近傍補間法と異なっている。
ここで、「入力される線分構成画素の連続数Wに画素数変換率Xを乗じた数」を整数化する際に、小数点以下を切り捨ててもよいし切り上げてもよいが、本実施形態では小数点以下を四捨五入し、[入力される線分構成画素の連続数W×画素数変換率X](本明細書中において、記号[ ]は、[ ]内の小数点以下を四捨五入して整数化した値を示すこととする。)を用いることとする。
また、本実施形態においては、入力座標(P,Q)と最近傍の位置関係にある出力座標(p,q)は、下記数1,2の条件を満たすものがこれに相当するとする(但し、ここでは垂直方向の変換率は1であってq=Qなので、数1の条件だけを満たせば良い)。
[(P−1)×X]<p≦[P×X]…数1
[(Q−1)×X]<q≦[Q×X]…数2
重心保持補間回路101と線幅優先補間回路102の各々から出力される画像信号は、共に、画素数変換処理された画素データが、ラインごとに順次出力されるようになっている。なお、当該画素数変換後の画像信号は、画像信号が入力される速度に対して、変換率X倍の速度で出力されるように出力タイミングが調整されている。
選択回路104は、重心保持補間回路101及び線幅優先補間回路102から並行して順次出力される画素データからいずれか一方を選択する。即ち、特徴・線分検出回路103が「特徴部分である」と検出した画素データに対応する出力画素データに対しては、線幅優先補間回路102からの出力を選択し、特徴・線分検出回路103が「特徴部分でない」として検出した画素データに対応する出力画素データに対しては、重心保持補間回路101で処理することを選択する。 なお、図示はしていないが、特徴・線分検出回路103における検出を可能とするため、特徴・線分検出回路103には、数ライン分の画素データを一時的に記憶する画素データ用ラインメモリが設けられており、重心保持補間回路101及び線幅優先補間回路102には、4ライン分遅延させて画像信号が送られるようになっている。また、選択回路104から出力される画像信号に対して、1枚分の画像信号の始まりとライン毎の始まりを示す信号を付与するようになっている。
(特徴・線分検出回路103の動作)
先ず、特徴・線分検出回路103による特徴部分判定及び線分判定動作について、その一例を説明する。
特徴部分検出回路103は、入力された画素の座標(P,Q)の3ライン分だけ前に入力された画素(P,Q−3)を注目画素として、以下のように、注目画素を中心とする一定範囲の画素データに基づいて、当該注目画素が、特徴部分(文字画像としての特徴を有する部分)であるか否か、また、線分構成画素であるか線分周辺画素であるかを判定する。
図2は、特徴・線分検出回路103による特徴部分検出及び線分検出動作についてのフローチャートである。画素データが入力されるごとに、特徴・線分検出回路103は、このフローチャートに示す処理を行う。
先ず、画素データ用ラインメモリを参照して、注目画素(P,Q−3)を中心とする3×3画素枠内について平均輝度MAを算出する。
また、3×3画素枠内の画素群を、輝度が平均輝度MA以上の画素グループと、輝度が平均輝度MA未満の輝度の画素グループとに分け、注目画素が含まれる画素グループをグループAとし、他方のグループをグループBとする(ステップS1)。
グループAの輝度平均値MA及び変動係数DAを算出する。また、グループBの輝度平均値MB及び変動係数DBも算出する(ステップS2)。
グループAの変動係数DA及びグループBの変動係数DBが共に3%以下であり、且つグループAの輝度平均値MAとグループBの輝度平均値MBとの差が64以上であるか否かを調べる(ステップS3,S4)。
そして、上記ステップS3,S4の条件を両方満たす場合は、注目画素が特徴部分であるものと判定する(S5)。
一方、S3,S4の条件を満たさない場合は、注目画素が特徴部分ではないと判定する(S6)。
注目画素が特徴部分であると判定された場合は、更に、以下のようにして、注目画素が線分周辺画素であるか否かを判定する。
注目画素を中心として、上記ステップS1で判定に用いた範囲より広い範囲(5×5画素)において、輝度がMA±3%の範囲内にある画素の数αと、輝度がMB±3%の範囲内にある画素の数βをカウントする(ステップS7)。
そして、画素数αが、画素数β未満であるならば、注目画素は線分構成画素であると判定し(S8→S9)、画素数αが、画素数β以上であるならば、注目画素は線分周辺画素であると判定する(S8〜S10)。
上記のステップS7〜S10のようにαとβを比較し、α<βであればα側が文字を構成する画素群であろうと判定できるのは、一般的に、一定の部分を切り出した場合、文字を構成する画素の総数よりも背景を構成する画素の総数の方が多いと考えられるからである。線分構成画素か否かを判定するのに上記の方法を用いると、特にアルファベットなどではかなり高い確率で線分が検出されるものと考えられる。
また、上記説明では5×5画素枠をとって判定したが、経験的に、画面に含まれる文字のポイント数以上の窓で判定を行なうと、高い精度で検出できると考えられ、更に広い範囲(例えば13×13画素)をとって検出することにより、検出精度の向上が望まれる。
なお、特徴・線分検出回路103で特徴部分であるが否かを判定する方法としては、上記の方法に限られず、例えば注目画素を中心とする一定領域の空間周波数を測定し、測定した空間周波数が高い場合に特徴部分と判定する方法なども用いることができる。
また、特徴・線分検出回路103で線分構成画素を判定する方法についても、例えば、実施の形態3で説明するように、水平方向に隣接する画素との輝度値の差が大きいエッジ部分を検出し、エッジ間の画素の輝度値が小さい場合に、当該エッジ間の画素が線分構成画素と判定する方法も考えられる。
また、例えば、パソコンのグラフィックドライバが画素数変換を行う場合などについては、パソコンのOSと連携して直接的に線分構成画素か否かを知る回路を設けて、それによって線分構成画素か否かを検出する方法も考えられる。
特徴・線分検出回路103には、この検出結果(即ち、各画素データが特徴部分であるか否かを示す特徴情報、各画素データが線分構成画素であるか否かを示す線分情報)を一時的に記憶する検出結果用ラインメモリも設けられており、現在入力されている画素データから4ライン前までの特徴情報と線分情報を、当該検出結果用ラインメモリに記憶させておく。
そして、特徴・線分検出回路103によって検出した上記結果は、線幅優先補間回路102及び選択回路104に送る。
具体的には、線幅優先補間回路102で処理される画素データは、現在入力されている(P,Q)の画素データに対して4ライン前に入力されたものなので、特徴・線分検出回路103は、検出結果用ラインメモリから(P,Q−4)の線分情報を線幅優先補間回路102に送る。このとき、出力する特徴情報の個数が画素数変換率X倍になるように変換して送る。これによって、選択回路104では、画素数変換後の画素データを逐次判別するとができるようになる。
ここで、入力画像信号の具体例に基づいて上記判定動作を説明する。
図3は、入力画像信号の一例について、注目画素を中心とする5×5画素枠を当てはめた図であって、当図における(3,3)が注目画素である(ここで座標(a,b)は、5×5画素枠中で、水平位置がa,垂直位置がbであることを表す)。
図3(a)及び(b)において、各画素座標の模様は、画素の輝度値を示しており、黒塗り画素は低輝度(輝度値0付近)、斜線網掛け画素はやや低輝度(輝度値64付近)、黒点網掛け画素は中間輝度(輝度値128付近)、白塗り画素は高輝度(輝度値255付近)である。
例えば、注目画素を中心とする5×5画素枠内が、図3(a)に示すような画像となっている場合、各画素を中心とする3×3の画素グループにおいて変動係数DAまたはDBが大きな値をとるため特徴部分ではないと判定される。
一方、注目画素を中心とする5×5画素枠内が、図3(b)のような画像の場合には、(2,1)、(3,1)、(4,1)、(2,2)、(2,3)、(3,3)、(4,3)、(2,4)、(2,5)の9画素を画素グループA、それ以外の16画素を画素グループBとすると、画素グループAの変動係数DA及び画素グループBの変動係数DBは共に0に近く、線分構成画素群の輝度平均値MAと周辺画素群の輝度平均値MBとの差も255に近いので、この場合は注目画素が特徴部分であるものと判定されることになり、画素グループAは線分構成画素群と判断され、画素グループBは線分周囲画素群と判断される。
次に、特徴・線分検出回路103による線幅算出動作について説明する。
図4は、特徴・線分検出回路103による線幅算出のフローチャートである。特徴・線分検出回路103は、画素データが入力されるごとに、このフローチャートに示す処理も行う。
特徴・線分検出回路103は、線幅優先補間回路102に現在入力されている座標(P,Q−4)の画素データが、線分構成画素が始まる箇所であるか否かを調べる(S11)。
直前の座標(P−1,Q−4)の線分情報が「周辺画素」であって、座標(P,Q−4)の線分情報が「線分構成画素」であれば、水平方向について線分構成画素が始まる箇所であることになる。
そして、線分構成画素が始まる箇所である場合には、その後、水平方向に線分構成画素が連続する個数(線分画素連続数W)を求める(S11→S12)。
上記ステップS11の検出は、例えば、検出結果用ラインメモリに記憶されている画素座標(P,Q−4)とその前後の座標の線分情報を、パターンマッチング法で調べることによって求めることができる。
そして、求めた線分画素連続数Wを、線幅優先補間回路102に送る(S13)。
更に、特徴・線分検出回路103は、画素データ用ラインメモリを参照して、座標(P,Q−4)の次に続く座標(P+1,Q−4)の画素データも線幅優先補間回路102に送る(なお、この信号は、後述する線幅優先補間回路102のステップS28で用いられる。)。
(線幅優先補間回路102の動作)
線幅優先補間回路102には、線分構成画素が入力されるときに、線分構成画素の始まりから画素データが何個出力されたかをカウントするためのカウンタTが備えられている。
図5は、線幅優先補間回路102の動作の一例を示すフローチャートである。
線幅優先補間回路102は、画素データが入力されるごとに、当該図5に示す処理を行う。
特徴・線分検出回路103から入力される線分情報が「周辺画素である」場合、(S21でNoの場合)は、線幅優先補間回路102に現在入力されている(P,Q−4)の画素データが「周辺画素」であることになるので、この場合は最近傍補間処理を行う(ステップS21→S22)。
一方、特徴・線分検出回路103から入力される線分情報が「線分構成画素」であって、且つ特徴・線分検出回路103から「線分画素連続数W」の信号が入力される場合は、線幅優先補間回路102に現在入力されている画素データは、水平方向に線分構成画素が始まる箇所であるので、この線分画素連続数Wを元に、変換後の線分構成画素を連続して何個出力すべきか示す線分補間個数wを算出する。この線分画素出力個数wは、(線分画素連続数W)×(変換率X)を整数化したものであって、数式w=[W×X]で求められる(S23→S24)。そして、カウンタTを初期化して(S25)、カウンタTに、現在入力されている(P,Q−4)の画素データに対して最近傍の位置関係にある出力画素数C(上記数1式を満たすpの数)を加える(S26)。
一方、特徴・線分検出回路103から送られてくる線分情報が「線分構成画素」であるが、特徴・線分検出回路103から「線分画素連続数W」の信号が入力されない場合は、先行する線分構成画素に続く箇所であることになるので、カウンタTを初期化せずに、現在入力されている(P,Q−4)の画素データに対して最近傍の位置関係にある出力画素数Cを加える(S23→S26)。
次に、以下のステップS27〜S30の処理を行うことによって、[線分画素連続数W×変換率X]に相当する個数だけ線分構成画素を連続して出力する。カウンタTの値がwの値を越えていれば、C個の変換画素データを出力する際に、最初の(C−T+w)個については最近傍補間法で出力し、残りの(T−w)個については、次の座標(P+1,Q−4)の画素データ(これは特徴・線分検出回路103から送られてくる。)の輝度値を当てはめて出力する(S27→S28)。
一方、カウンタTの値がwの値以下であって、現在入力されている(P,Q−4)の画素データがW個目ではない場合(W個連続する途中の画素である場合)には、最近傍補間を行う(S27→S29→S22)。
また、カウンタTの値がwの値以下であって、現在入力されている(P,Q−4)の画素データがW個目である場合(W個連続する最後の画素である場合)には、最近傍補間を行う共に、更に(w−T)個の画素データを同じ輝度で出力する。なお、この場合は、次に入力される(P+1,Q−4)の画素データについては、ステップS22の最近傍補間する際に、最近傍位置にある出力座標の中、先頭の(w−T)個をとばして、その次の座標から最近傍補間を行うようにする(S27→S29→S30)。
線幅優先補間回路102が、上記ステップS27〜S30のような処理を行うことによって、線分構成画素が1個だけ入力される場合でも2個以上連続して入力される場合でも、[線分画素連続数W×変換率X]に相当する個数だけ線分構成画素が連続して出力されることになる。
(選択回路104の動作)
選択回路104には、重心保持補間回路101及び線幅優先補間回路102から変換後の画素データが並行して入力されると共に、これと同期して特徴・線分検出回路103から判定結果(注目画素が特徴部分であるか否か)が送られてくるので、以下のように、特徴・線分検出回路103からの判定結果に基づいて、どちらが一方の画素データを選択して出力する。
即ち、選択回路104は、画素データが入力されるごとに図6のフローチャートに示す処理を行う。
そして、特徴・線分検出回路103からの判定結果が「特徴部分ではない」場合には、線幅優先補間回路102から出力される画素データを選択し(ステップS31→S32)、「特徴部分である」場合には、重心保持補間回路101から出力される画素データを選択する(ステップS31→S33)。
(垂直方法にも画素数変換する場合について)
上では水平方向だけ画素数変換する場合について説明したが、上記のようにして水平方向変換率XHで水平方向について変換した後、垂直方向についても同様に画素数変換率XVで変換することによって、水平・垂直両方向の変換も可能となる。
例えば、上記のようにして水平方向変換率XHで水平方向について変換した後、その出力画像信号について、画素データの順序をラインと列とで変換した後、上で説明したのと同様の装置で、今度は垂直方向変換率XVで変換する。そして、その出力画像信号について、再度、画素データの順序をラインと列とで変換することによって、水平方向変換率XH,垂直両方向変換率XVで画素数変換されることになる。
或は、特徴・線分検出回路103の検出結果を用いて、上記のように水平方向の変換を行うと共に垂直方向の変換も行うことによって、水平・垂直両方向の変換が可能となる。
この場合、特徴・線分検出回路103は、垂直方向についても線分画素連続数Wを測定し、選択回路104に特徴情報を送るときに、出力する特徴情報の個数が(画素数変換率XH×画素数変換率XV)倍になるように変換し、特徴・線分検出回路103は、上記図4のフローチャートと同様の処理を垂直方向についても行う。また、線幅優先補間回路102は、上記図5のフローチャートと同様の処理を垂直方向についても行う。但し、垂直方向のカウンタTvを1ラインの画素数分だけ設けて、各カウンタTvでは1ラインおきにカウントするという変更は必要である。
(本実施形態の効果について)
先ず、入力画像の具体例について、重心保持補間法、線幅優先補間法、最近傍補間法を比較してみる。
図7は、水平方向変換率XH=2.25、垂直方向変換率XV=1で画素数変換する場合であって、入力画像(8画素×4画素)が出力画像(4画素×18画素)に変換される様子を示している。図7の(a)〜(c)に示される入力画像は、いずれも左から3番目(H3)と6番目(H6)の座標が線分構成画素であって、文字画像としての特徴を有する部分である。
(a)は、この入力画像を重心保持補間法で変換した場合を示しており、この場合、変換後の各出力画素は、変換前の4画素から補間される。輝度の重心位置は変換後も保持されているが、変換後に線分のエッジ部はぼやけてしまう。
(b)は、上記線幅優先補間回路102で変換した場合を示しており、この場合、入力座標におけるH3の線分(線分幅1画素)は、出力座標でD6,D7の線分(線分幅2画素)に変換されており、入力座標におけるH6の線分(線分幅1画素)も、出力座標でD12,D13の線分(線分幅2画素)に変換されている。
(c)は、最近傍補間法で変換した場合を示しており、この場合、入力座標におけるH3の線分(線分幅1画素)は、出力座標でD6,D7の線分(線分幅2画素)に変換されているが、入力座標におけるH6の線分(線分幅1画素)は、出力座標でD12,D13,D14の線分(線分幅3画素)に変換されている。
このように、文字画像としての特徴を有する部分に対して、線幅優先補間回路102が用いて補間されると、線分のエッジ部分がぼけることなく、且つ入力画像中において水平方向に同一の幅である線分については、画素数変換後も同一に保持され、またエッジ位置も変換前の近傍位置にあることがわかる。
なお、垂直方向に変換する場合は、垂直方向においても同様に、画素数変換後の線幅の均一性が保持される。従って、水平方向・垂直方向・斜め方向のいずれの方向に対しても、入力画像中において同一の幅である線分については、画素数変換後も同一に保持されることになる。
また、曲線は、長さの短い線分が連続したものと見ることができるので、入力画像中において同一の幅である曲線も、画素数変換後に同一幅に保持されることになる。
なお、線幅優先補間法で変換すると、変換率によっては、最近傍補間法と比べて線の位置がずれてしまう箇所も生じ、その点では多少違和感が生じる可能性もある。しかし、文字画像において、一般的には、線の位置がすれることよりも線幅が不均一になる方が、見た目に違和感を生じると考えられる。
特に罫線などを含む画像は線分幅のバランスが崩れるとかなり違和感が感じられることを考慮すると、本実施形態における線幅優先補間法のように、画像変換後にも線分幅が均一に保たれることによる実用的な効果は大きい。
また、本実施形態では、注目画素が文字画像としての特徴部分であるか否かによって、線幅優先補間回路102と、重心保持補間回路101とを切り替えているので、文字画像(文字や罫線を主とする画像)に相当する部分に対しては、線幅優先補間回路102によって、線分部分がぼけることなく、且つ入力画像中における同一の幅であって線分について、画素数変換後も線幅が同一に保持される一方、自然画像に相当する部分に対しては、重心位置保持補間方法が選択されるため、自然画像として違和感のない出力画像が得られる。
(実施の形態2)
図8は、実施の形態2にかかる画像処理装置のブロック図である。本実施の形態の画像処理装置200は、実施の形態1の画像処理装置100と同様に、パソコン)10から出力される画像信号を、画素数変換率X(水平方向変換率XH,垂直方向変換率XV)で画素数変換を行ない表示装置20に出力するものであるが、画素数変換率Xが整数に近い場合には線幅優先補間を用いて変換し、画素数変換率Xが整数に近くない場合には重心保持補間を用いて変換を行う点が異なっている。
本実施形態でも、説明の便宜上、先ず水平方向だけに画素数変換する場合について説明する。
この画像処理装置200は、重心保持補間回路201、線幅優先補間回路202、線分検出回路203、選択回路204、座標判定部220などから構成される。
この中、重心保持補間回路201,線幅優先補間回路202及び座標判定部220は、実施の形態1で説明した重心保持補間回路101,線幅優先補間回路102及び座標判定部120と同様のものである。
線分検出回路203も、実施の形態1の特徴・線分検出回路103と同様ものである。但し、本実施形態では、選択回路204は、画素数変換率Xに基づいて選択を行うので、線分検出回路203は、「注目画素が特徴部分であるか否か」を示す特徴情報を選択回路204に送らず、その代わり、受付部から画素数変換率Xの信号が選択回路204に送られるようになっている。
(選択回路204の動作)
図9は、選択回路204の動作を示すフローチャートであって、画素データが入力されるごとに当図に示す処理を行う。
選択回路204は、特徴・線分検出回路103から判定結果(注目画素が特徴部分であるか否か)が送られてくると、重心保持補間回路101及び線幅優先補間回路102から変換後の画素データが並行して入力されるごとに、特徴・線分検出回路103から入力される判定結果に基づいて、どちらか一方を選択して出力する。
この選択動作は、図9のフローチャートに示すように、受付部から送られてくる画素数変換率Xの値が「整数に近い」場合には、線幅優先補間回路102から重出力される画素データを選択し(ステップS41→S42)、「整数に近くない」場合には、重心保持補間回路101が出力される画素データを選択する(ステップS41→S43)。
画素数変換率Xが整数値に近いか否かを判定する方法としては、具体的には、変換率Xと[X]との差が、所定の値Δ以下の場合(|X−[X]|≦Δの場合)には「画素数変換率Xが整数値に近い」と判定し(この所定の値Δは、0.5よりも小さい0.3,0.2或は0.1といった値である。)、所定の値Δより大きい場合(以下|X−[X]|>Δの場合)には「画素数変換率Xが整数値に近くない」と判定するという方法を挙げることができる。
なお、上では水平方向だけ画素数変換する場合について説明したが、実施の形態1で説明したのと同様にして、水平方向の変換と垂直方向の変換とを組み合わせれば、水平・垂直両方向の変換も可能となる。
(本実施形態の効果)
本実施形態の画素数変換によれば、画素数変換率Xが整数に近い値の場合には、入力画像において同一の線幅を持った線分群が変換後も互いに同一の線幅を保持する画素数変換方法が選択されることになる。
この場合、文字画像部分に対しては、線分部分がぼけることなく、且つ入力画像中における同一の幅であって線分については、画素数変換後も線幅が同一に保持される。また、自然画像に対しても、線幅優先補間方法が選択されることになるが、画素数変換率Xが整数値に近い場合には、自然画像に線幅優先補間方法を適用しても、それほど違和感がないことがわかっている。
一方、画素数変換率Xが整数に近くない場合は、Cubic補間法や線形補間法等の重心位置保持補間方法が選択されることになる。
この場合、自然画像部分に対して適した変換がなされ、文字画像部分に対しても重心保持補間方法で変換されることになる。
線幅優先補間方法においては、画素数変換率Xが整数に近くない場合に線の位置ずれが比較的大きくなることによる違和感が生じやすいが、本実施形態のように、画素数変換率Xが整数に近くない場合に重心位置保持補間方法で変換すると、線ぼけは生じるものの線の位置ずれによる違和感は抑えることができる。
(本実施形態の変形例について)
本実施の形態2と実施の形態1とを組み合せることも可能である。
例えば、線分検出回路203で上記実施形態1のように画素データが特徴部分であるか否かを検出することも行ない、画素数変換率Xが整数に近い場合は、無条件に線幅優先補間回路202の出力を選択する一方、画素数変換率Xが整数に近くない場合には、実施の形態1と同様に、画素データが特徴部分であれば選択回路204で線幅優先補間回路202の出力を選択し、画素数変換率Xが整数に近くない場合は重心保持補間回路201の出力を選択するという選択方法をとることも可能である。
(実施の形態3)
図10は、実施の形態3にかかる画像処理装置のブロック図である。本実施の形態の画像処理装置300も、実施の形態1の画像処理装置100と同様に、パソコン10から出力される画像信号を、画素数変換率X(水平方向変換率XH,垂直方向変換率XV)で画素数変換を行ない表示装置20に出力するものである。但し、本実施形態では、エッジ部分に相当する画素データについては、画素数変換率Xに最も近い整数倍に画素数変換する一方、エッジ部分以外の画素データに対しては、画素数変換率Xに対し大きく離れない範囲で、且つ、出力画像全体としては画素数変換率Xで画素数変換されるように調整することによって線幅優先補間を行うようになっている。
この画像処理装置300は、エッジ部検出回路303、線幅優先補間回路310、座標判定部320から構成され、この中、座標判定部320は、実施の形態1の座標判定部120と同様のものである。
エッジ部検出回路303は、注目画素の輝度と隣接する画素の輝度差に基づいて当該注目画素がエッジ構成画素に相当するか否かを判定し、その判定結果をエッジ情報として線幅優先補間回路310に送る。
線幅優先補間回路310は、基本的には最近傍補間法に基づいて補間を行うが、エッジ部検出回路303から送られるエッジ情報に基づいて、入力される画素データがエッジ構成画素である場合には、出力するエッジ構成画素の数が整数[画素数変換率X]となるように調整する。また、出力画像信号全体として画素数変換率Xとなるように、入力される画素データがエッジ構成画素でないところで出力画素数を調整する。
このような線幅優先補間回路310は、図10に示すように、線幅優先補間回路310に、整数倍拡大部311と任意数倍拡大部312と選択部313を設けておいて、入力される画素データがエッジ構成画素である場合には、入力される画素データと同じ輝度値で出力画素を[画素数変換率X]個生成する整数倍拡大部311を用い、入力される画素データがエッジ構成画素である場合には、出力画素数を調整しながら出力する任意数倍拡大部312を用いるように、選択部313で切り替え制御することによって可能であるが、以下に示すようなエッジ部検出回路303及び線幅優先補間回路310の動作の具体例によっても、同様の機能が実現できる。
(エッジ部検出回路303の動作)
図示はしていないが、エッジ部検出回路303における検出を可能とするため、エッジ部検出回路303には、数ライン分の画素データを一時的に記憶する画素データ用ラインメモリが設けられており、線幅優先補間回路310には、2ライン分遅延させて画像信号が送られるようになっている。
エッジ部検出回路303は、注目画素がエッジ部であるかを判定すると共に、エッジ構成画素が水平方向に連続する数Zも測定する。
先ずエッジ部検出回路303によるエッジ部判定動作について説明する。
エッジ部検出回路303は、入力された画素の座標(P,Q)の1ライン分だけ前に入力された画素(P,Q−1)を注目画素として、以下のように、注目画素の前後に入力された画素データと比較することにより、当該注目画素がエッジ構成画素であるか否かを判定する。
具体的には、注目画素の前後に隣接する画素との輝度値の差が所定の値以上(例えば64以上、或は32以上)である場合にはエッジ部分であると判定し、当該輝度値の差が上記所定の値未満である場合にはエッジ部分でないと判定する方法を用いることができる。
またこの他にも、注目画素を中心とする近傍領域の空間周波数が所定の値以上であるか否かによって判定したり、輝度値の差と空間周波数の両方の条件を満たした場合だけエッジ部分であると判定する手法を用いることもできる。
この判定によって、水平方向について、図形,文字,罫線などのエッジ部分を形成する画素がエッジ構成画素として検出されることになる。
なお、エッジ部検出回路303には、この検出結果(即ち、各画素データがエッジ構成画素であるか否かを示すエッジ情報)を一時的に記憶する検出結果用ラインメモリも設けられており、現在入力されている画素データから2ライン前までのエッジ情報を、当該検出結果用ラインメモリに記憶させておく。
次に、エッジ部検出回路303によるエッジ連続数算出動作について説明する。
図11は、エッジ部検出回路303によるエッジ連続数算出のフローチャートである。エッジ部検出回路303は、画素データが入力されるごとに、このフローチャートに示す処理も行う。
この処理は、実施の形態1で説明した特徴・線分検出回路103による線幅算出動作とほぼ同様であるので、以下に簡単に説明する。
現在、線幅優先補間回路310に入力されている座標(P,Q−2)の画素データが、最終エッジ画素(エッジ構成画素が終了する箇所)であるか否かを調べる(S51)。
座標(P,Q−2)のエッジ情報が「エッジ構成画素」であって、次の座標(P+1,Q−2)の線分情報が「エッジ構成画素でない」場合、水平方向についてエッジ構成画素が終わる箇所であることになる。
そして、エッジ構成画素が終わる箇所である場合には、それまで水平方向にエッジ構成画素が連続していた個数(エッジ画素連続数Z)を求める(S51→S52)。
上記ステップS51の検出は、例えば、検出結果用ラインメモリに記憶されている画素座標(P,Q−2)とその前後の座標のエッジ情報を、パターンマッチング法で調べることによって求めることができる。
そして、求めたエッジ画素連続数Zを、線幅優先補間回路310に送る(S53)。
更に、特徴・線分検出回路103は、画素データ用ラインメモリを参照して、座標(P,Q−2)の次に続く座標(P+1,Q−2)の画素データも線幅優先補間回路310に送る。
(線幅優先補間回路310の動作)
線幅優先補間回路102には、エッジ構成画素が入力されるときに、エッジ構成画素の始まりから画素データが何個出力されたかをカウントするためのカウンタTが備えられている。
図12は、線幅優先補間回路310の動作の一例を示すフローチャートであって、線幅優先補間回路310は、画素データが入力されるごとに、当該図12に示す処理を行う。この動作は以下の通りである。
エッジ部検出回路303から入力されるエッジ情報が「エッジ構成画素でない」場合は、基本的に最近傍補間処理を行う(ステップS61→S62)。
一方、特徴・線分検出回路103から入力されるエッジ情報が「エッジ構成画素」であれば、変換画素データを整数M個づつ出力する(Mは変換率Xを整数化した値)。ここでは、M=[変換率X](但し、0<X<0.5の時にはM=1)とする(S61→S63)。
カウンタTに、現在入力されている(P,Q−2)の画素データに対して最近傍の位置関係にある出力画素数C(上記数1式を満たすpの数)を加算していく(S65)。
次に、「エッジ画素連続数Z」の信号が入力されていない場合(ステップS65でNoの場合)は、次にもエッジ構成画素が続く箇所であるのでそのまま終わる。
一方、「エッジ画素連続数Z」の信号が入力される場合は、水平方向についてエッジ構成画素が終わる箇所であるので、以下のステップS66〜S68ように調整する。
カウンタTの値が(M×Z)以上であれば、(T−MZ)個だけ、次の座標(P+1,Q−2)の画素データの輝度値を当てはめて出力する(S66→S67)。
一方、カウンタTの値が(M×Z)未満の値以下であれば、次に入力される(P+1,Q−2)の画素データについては、ステップS62の最近傍補間する際に、最近傍位置にある出力座標の中、先頭の(MZ−T)個をとばして、その次の座標から最近傍補間を行うようにする(S66→S68)。
線幅優先補間回路310が、上記のような処理を行うことによって、エッジ構成画素については[変換率X]に相当する個数だけ出力され、エッジ構成画素以外については、出力画像全体が変換率Xとなるように、出力画素数が調整されることになる。
ところで、入力画像の中で線分構成画素と周辺画素とが1画素又は2画素の細かいピッチで並んでいるような箇所では、エッジ画素連続数Zがかなり大きくなることもある。
このようにエッジ画素連続数Zが大きい場合で且つ変換率Xの値が整数から離れている場合に、上記の処理を行うと、入力画像におけるエッジ位置と出力画像におけるエッジ位置がかなりずれてしまい、見た目に違和感が生じることもあると考えられる。
従って、上記の不都合を避けるために、特徴・線分検出回路103では、エッジ画素連続数Zの最大値を4とし、5個以上エッジ構成画像が連続する場合には、5個目について例外的にエッジ構成画素でないものとして処理するようにしてもよい。
(垂直方向への変換)
上では水平方向だけ画素数変換する場合について説明したが、実施の形態1で説明したのと同様、水平方向の変換と垂直方向の変換とを組み合わせれば、エッジ部検出回路303で垂直方向についてもエッジ画素連続数Zを測定するなどの設計変更は必要ではあるが、水平・垂直両方向の変換も可能となる。
以下、入力画像の具体例について、本実施形態の画素数変換法について説明する。
図13は、水平方向変換率XH=2.25、垂直方向変換率XV=1で画素数変換する場合であって、入力座標(H1からH8)の入力画像信号を、上記方法に基づいて水平方向に画素数変換し、出力座標(D1〜D18)に出力した様子を示している。
当図において、白塗り表示した入力座標(H1,H2,H6,H7,H8)はいずれも画素データの輝度値が255付近であり、黒塗りした入力座標(H3,H4,H5)は、いずれも画素データの輝度値が0付近である。
この場合、4つの入力座標H2,H3,H5,H6の画素データがエッジ構成画素として検出されることななる。
変換率X=2.25の場合、M=[2.25]=2であるので、図13に示すように、入力座標(H2、H3、H5、H6)の入力画素データは、等しく2倍の画素数で、比較的近い位置に出力されることになる(整数倍拡大部311の機能)。
一方、H1、H4、H7、H8の画素データについては、基本的には最近傍補間法で変換されて出力されるが、全体の出力画素数が18となるように調整され、全体の変換率は2.25となる。
(本実施形態の効果について)
以上のように本実施形態の画素数変換法によれば、入力画像のエッジ部分は変換後もぼけることなくエッジ部分となる。また、入力される画像や変換率Xによっては、変換後のエッジ部の位置がずれる可能性はあるが、通常はあまり大きくずれることはない。
また、線幅が1画素または2画素の画像部分については、変換率Xによって定まる一定の拡大率Mで変換されることになる。
即ち、入力画像において線分構成画素の連続数が1(線幅が1画素の画像部分)の場合は、エッジ画素連続数Zが通常3となるが、この場合、変換後の線分構成画素がM個だけ連続して出力されることになる。また、線分構成画素の連続数が2の場合は、エッジ画素連続数Zが通常4となるが、この場合、変換後には線分構成画素が2M個だけ連続して出力されることになる。
よって、パソコンなどに多く使われる細線文字や細い図形を含む画像について、細線幅のバランスが崩れることなく、見た目に違和感の少ない変換画像が得られる。
なお、本実施形態の画素数変換法において、線分構成画素の連続数が3以上の場合は、線分構成画素の始まりの部分でエッジ画素連続数Zが通常2となり、この場合、変換後の線幅が一定なるとは限らないが、線幅が大きいものについては、線幅のバランスが多少崩れても違和感は少ないので、1画素・2画素の細線について線幅のバランスが維持できるだけでも十分に実用的である。
また、水平方向のみならず、同様に垂直方向においても、細い線幅の画像部分については、画素数変換後も線幅が一定に保持される。即ち、水平方向・垂直方向・斜め方向のいずれの方向に対しても、入力画像中において同一の幅である細い線分については、画素数変換後も同一に保持されることになるし、入力画像中において同一の幅である曲線についても、画素数変換後も同一幅に保持されることになる。
(本実施形態の変形例について)
上記説明では、基本的に、入力画素データの輝度値をそのまま変換後の画素データに当てはめる方法をとっているが、図14の例に示すように、エッジ部分については基本的に上記と同様に整数倍拡大による補間を行ない、エッジ部分から離れたところでは線形補間法を併用した補間を行うことも可能である。
即ち、図14の例では、出力座標の中で、エッジ部分の近傍位置にあるD4〜D7、D11〜D14については、整数倍拡大による補間(図14中実線矢印で表記)が行われ、且つ輝度値がそのまま割り当てられているが、出力座標の中でエッジ部分から離れた位置にあるD1〜D3,D8〜D10,D15〜D18については、2タップの線形補間(図14中点線矢印で表記)に基づいて補間されている。
このような画素数変換は、例えば、以下のようにして行うことができる。
上述した画像処理装置300において、線幅優先補間回路310と並列に線形補間回路を設けると共に、線幅優先補間回路310からの出力と当該線形補間回路からの出力とを選択する選択回路を設ける。そして、当該選択回路に、エッジ部検出回路303からエッジ情報を送り、エッジ情報が「エッジ部分である」場合には線幅優先補間回路310からの出力を選択し、エッジ情報が「エッジ部分でない」場合には、線形補間回路からの出力を選択する。
なお、上記図14の例では、2タップの線形補間で作成されているが、ハード的な制限がなければタップ数は任意で良いのはもちろんのこと、Cubic補間でも可能なのは言うまでもない。
このように、線形補間法やCubic補間法を併用することによって、上述した線ぼけがなく線幅の均一性が維持されるという効果に加えて、更に変換後の画像の画質が向上される。即ち、エッジ部分以外については滑らかさが増すため、画質に自然感が高められる。この効果は一般に、線形補間よりもCubic補間の方が大きく、タップ数が多いほど大きいものと考えられる。
(実施の形態4)
図15は、実施の形態4にかかる画像処理装置のブロック図である。
この画像処理装置400は、重心保持補間回路401、特徴部分検出回路404、B選択回路406、線幅優先補間回路410、座標変換部420などから構成されている。
この中、重心保持補間回路401、座標変換部420については、実施の形態1で説明した重心保持補間回路101,線幅優先補間回路102及び座標判定部120と同様のものである。
特徴部分検出回路404も、実施の形態1で説明した特徴・線分検出回路103と同様、画像信号が入力されるごとに、注目画素を中心とする一定範囲の画素データに基づいて、当該注目画素が特徴部分であるか否か、並びに、当該注目画素が「線分構成画素」であるか「周辺画素(線分構成画素でない画素)」であるかを判定して、その判定結果を線幅優先補間回路410及びB選択回路406に送る。
線幅優先補間回路410には、最近傍補間回路411,パターンマッチング補間回路412及びA選択回路413が備えられ、画素数変換率信号Xに基づいて、最近傍補間回路411とパターンマッチング補間回路412とを用いて補間処理を行う。
最近傍補間回路411は、変換後の画素と最も近い座標位置にある入力画素の輝度値を、そのまま変換後の画素の輝度値とする方法で補間を行うものである。パターンマッチング補間回路412は、入力画像信号の各画素を中心とする一定の領域において、線分構成画素であるか否かの情報に基づいてパターンマッチングを行う手法で補間を行う回路である。なお、詳しくは後述するが、パターンマッチング補間回路412は、様々な画素数変換率Xごとに設定されている補間テーブルを有しており、この補間テーブルを参照することによって補間を行う。A選択回路413には、最近傍補間回路411で画素数変換した後の画像信号またはパターンマッチング補間回路412で画素数変換した後の画素データを、一時的に記憶できるようにラインメモリが備えられている。そして、当該ラインメモリに一時記憶された画素数変換後の画像信号を順次出力するようになっている。
上記重心保持補間回路401から出力される変換後の画像信号、及びA選択回路413から出力される変換後の画像信号は、共に、変換後の画素ごとにB選択回路406に送られる。なお、当該画素数変換後の画像信号は、画像信号が入力される速度に対して、(水平方向変換率XH)×(垂直方向変換率XV)倍の速度で出力されるように出力タイミングが調整されている。
B選択回路406は、特徴部分検出回路404から送られてくる判定結果(特徴部分否かについての判定結果)に基づいて、重心保持補間回路401及び線幅優先補間回路410から並列的に出力される画素データのいずれが一方を選択する。
(パターンマッチング補間回路412の補間テーブルについて)
図16は、線幅優先補間回路410が用いる補間テーブルの一例を示す図であって、当図に例示した補間テーブルは、画素数変換率Xが(水平方向の変換率XH=1.2倍、垂直方向の変換率XV=1.4倍)のときに用いるものである。
パターンマッチング補間回路412は、最も近い位置関係もしくはその近傍位置にある変換前の画素データを元にして、変換後の画素データを生成する点については、最近傍補間回路と同様であるが、補間元画素の輝度値をすべての近傍位置の変換後画素座標に当てはめるのではなく、パターンマッチングに基づいて選択された画素座標にだけ当てはめる点が異なっており、この方式で補間することによって、線幅の均一性を変換後も維持し、且つ線が切れたりすることなく画素数変換を行うことができるようになっている。
入力画像とそれに対応する出力画像の画素数の比率は、画素数変換率Xによって決まる。この画素数変換率Xが(水平方向の変換率XH=1.2倍、垂直方向の変換率XV=1.4倍)である場合、入力される5画素×5画素の画像データ(25画素データ)は、6画素×7画素の画素(42画素データ)に変換されることなる。
図17は、上記補間テーブルを説明するための図であって、図16の補間テーブルと同じ入力画像座標枠とそれと画面上で同等の位置にある出力画像座標枠が示されている。
当図において、入力画像座標枠(25画素)の各画素座標について、出力画像座標枠(42画素)の中で近傍位置にある画素座標と1対1で対応させるとき、出力画像座標の中で、1対1で対応するもののない「残り画素座標」が(42−25)=17画素分生じる(図17の出力画像座標中において、「残り画素座標」は、斜線で網掛け表示している。)。
(入力画素座標(R,S)に1対1で対応する出力画素座標(r,s)は、数式r=[R×XH]、s=[S×XV]によって求められる。
例えば、入力画素座標(3,3)に1対1対応する出力画素座標は、水平座標が[3×1.2]=4で垂直座標も[3×1.4]=4なので、(4,4)となる。
そして、この「残り画素座標」の各々に対して、補間元の入力画素座標として選ばれているのが、(1,1)、(2,1)、(4,1)、(5,1)、(6,1)、(2,3)、(1,4)、(2,4)、(4,4)、(5,4)、(6,4)、(2,6)、(2,7)の計13の画素座標であって図17の入力画素枠において、横線で編みかけ表示している。
図16の補間テーブルにおいても、この補間元の座標に対応する画素データに対して、パターンマッチングを適用するように定められている。
即ち、図16の補間テーブルにおいて、テーブル参照座標(R,S)に相当する座標枠のところに、「垂直」「水平」或は「2方向」と記載されている場合は、パターンマッチング補間回路412において、「垂直方向」「水平方向」或は「2方向」に拡大することによって、座標枠内に記されている出力画素座標を補間処理を選択することを意味し、図16の補間テーブルにおいて、テーブル参照座標(R,S)に相当する座標枠がブランクの場合は、最近傍補間回路411からの出力を選択することを意味する。
なお、図17の出力画素座標枠において、補間元の画素座標と1対1で対応する座標(縦線網掛けで表示している。)は、「残り画素座標」に対して左または上に隣接している。
また、図17の出力画像座標枠に示されるように、2ライン目及び5ライン目は全て「残り画素座標」に相当しており、これらは入力画素座標枠の1ライン目及び3ライン目の画素座標に当てはまる入力画素データが補間元となる。
以上のように、上記補間テーブルは、補間元となる入力画素から、1対1で対応する出力画素座標を補間すると共にその近傍(右,下,或は右下)に位置する「残り座標」も補間できるようにすることを考慮して設定されている。
なお、ここでは、水平方向の変換率XH=1.2倍、垂直方向の変換率XV=1.4倍についての補間テーブルについて説明したが、任意の変換率について、同様にして補間テーブルを設定することができる。
(特徴部分検出回路404の動作について)
特徴部分検出回路404は、入力された画素の座標(P,Q)の3ラインに相当する時間だけ前に入力された画素(P,Q−3)を注目画素として、注目画素を中心とする一定範囲の画素データに基づいて、当該注目画素が、特徴部分内にあるか否か、また、線分構成画素であるか線分周辺画素であるかを判定する。
この特徴部分検出回路404による特徴部分判定及び線分判定動作については、実施の形態1において図2のフローチャートを参照しながら説明した特徴部分検出回路103の動作と同様なので、ここでは説明を省略する。
なお、この検出を可能とするため、実施の形態1と同様に、特徴部分検出回路404には、数ライン分の画素データを一時的に記憶する画素データ用ラインメモリが設けられており、また、重心保持補間回路401及び線幅優先補間回路410には、特徴部分検出回路404よりも5ライン分遅延させて画像信号が送られる。
特徴部分検出回路404によって検出された結果は、パターンマッチング補間回路403及びB選択回路406に送られる。
具体的には、パターンマッチング補間回路403で処理される画素データは、現在入力されている(P,Q)の画素データに対して5ライン分前に入力されたものなので、検出結果用ラインメモリ用ラインから(P,Q−5)を中心とする3×3画素枠の線分情報を、パターンマッチングの対象パターン情報としてパターンマッチング補間回路403に送る。それと共に、線分構成画素群の輝度平均値MAと周辺画素群の輝度平均値MBも、パターンマッチング補間回路403に送る。
また、B選択回路406には、検出結果用ラインメモリ用ラインから(P,Q−5)の特徴情報を読み出して送る。
なお、B選択回路406に特徴情報を送る際には、画素数変換率Xに応じて(水平方向変換率XH)×(垂直方向変換率XV)倍に、特徴情報の個数を変換して送る。即ち、B選択回路406に送られ判定結果情報の数は(水平方向変換率XH)倍とし、上記図17の入力画像座標中において補間元となった1ライン目及び3ライン目の画素座標に相当する判定信号については、2回繰り返してB選択回路406に送るようにする。これによって、B選択回路406では、画素数変換後の画素データを逐次判別するとができる。
(線幅優先補間回路410の動作について)
ここでは、説明の便宜上、操作者によって指定される画素数変換率Xが(水平方向変換率XH=1.2、垂直方向変換率XV=1.4)であって、特徴部分検出回路404で検出される線分構成画素の幅が1画素幅である場合(即ち、線分構成画素における水平方向連続数又は垂直方法連続数のいずれかが1である場合)について説明する。
図18〜図20は、特徴部分検出回路404で検出される線分幅が1画素である場合に、パターンエッチング補間回路412が使用する変換表を示す図である。なお、この変換表について詳しくは後述する。
線幅優先補間回路410は、画素データが入力されるごとに、図21のフローチャートに示す処理を行う。
特徴部分検出回路404から送られてくる線分情報が「線分構成画素でない」という情報である場合(S71でNoの場合)は、最近傍補間回路411からの出力を選択する(S72)。
一方、特徴部分検出回路404から送られてくる線分情報が「線分構成画素である」場合、注目画素の座標(P,Q−5)に基づいて、図16の補間テーブルを循環的に参照して補間方法を決定する。
そのために、先ず、図16の補間テーブルを参照する際に用いる注目画素のテーブル参照座標(R,S)を算出する(S73)。
図16の補間テーブルでは水平方向の画素数が5で、垂直画素数も5であるので、この場合、テーブル参照座標(R,S)は、R=(P−1)mod5+1、S=(Q−6)mod5+1という数式によって算出することができる。
そして、上記ステップS71で求めたテーブル参照座標(R,S)に基づいて、図16の補間テーブルを参照することによって補間方法を決定する(S74)。
即ち、図16の補間テーブルにおいて、テーブル参照座標(R,S)に相当する座標枠のところに記載されている方向に拡大して、当該座標枠に記されている出力画素座標の画素データを生成するよう指示する。また、この場合は、パターンマッチング補間回路412の出力を選択するようA選択回路に指示する。
一方、図16の補間テーブルにおいて、テーブル参照座標(R,S)に相当する座標のところがブランクの場合は、最近傍補間回路411からの出力を選択するようA選択回路に指示する。
そして、選択した補間方法に従って、以下のように補間を行う(S75)。
(パターンマッチング補間回路412の動作についての説明)
図18〜図20は、入力画像における線分幅が1画素である場合に共通して使用するパターンマッチング変換表である。当該変換表において、矢印の左側にある3×3画素枠がマッチングに用いるパターンであって、矢印の右側にある枠は、太線内が出力画素座標を示し、出力する画素データのパターンが示されている。
また、図18〜図20において、黒塗りの画素枠は線分構成画素であることを示し、白塗り画素枠は線分の周辺画素であることを示す。また、斜線で網掛けをしている複数の画素枠は、その少なくとも1つの画素枠が線分構成画素であり、横線で網掛けをしている画素枠部分は、線分構成画素でもそれ以外の画素でも構わないことを示している。
パターンマッチング補間回路412は、上記ステップS74で決定した補間方法に従い、図18〜図20のパターンマッチング変換表を参照する。そして、図18〜図20の入力パターンの中で、上記特徴部分検出回路404から送られる線分情報(3×3画素枠の線分情報)と合致する入力パターンを選択し、選択した入力パターンに対応する出力パターンに従って出力画素データを生成する。なお、図18〜図20における出力パターンの黒塗り画素に対しては、線分構成画素の輝度平均値MAを当てはめ、白塗り画素に対しては、周辺画素の輝度平均値MBを当てはめる。
具体的には以下のように行う。
(1)水平方向に拡大する場合
水平方向に拡大する場合は、図18のパターンマッチング変換表を参照してパターンマッチングを行う。
先ず、注目画素を中心とする3×3画素中に、線分構成画素が1画素のみの場合、図18(a)の▲1▼のパターンマッチング変換表に従って水平方向に拡大する。
注目画素を中心とする3×3画素中に線分構成画素が2以上ある場合、次のようにパターンマッチングする。
先ず、▲2▼と▲3▼のいずれかに該当するパターンがある場合は、そのパターンマッチング変換表を用いる。
一方、▲2▼,▲3▼の両方の条件を満たす場合には、先ず、図18(b)に示す例外のいずれかに該当するか否かを判断し、該当するものがある場合には、当該パターンマッチング変換表を用い、該当するものがない場合には、▲2▼と▲3▼の両方のパターンマッチング変換表を適用する。この場合、出力画像信号も▲2▼と▲3▼の双方を加えたものとする。
なお、例外と例外、もしくは例外と基本パターンとの組み合わせはないものとする。
(2)垂直方向に拡大する場合については、上記(1)の水平方向拡大する場合と全く同様であって、図19のパターンマッチング変換表を参照してパターンマッチングを行う。
(3)2方向に拡大する場合は、図20のパターンマッチング変換表を参照してパターンマッチングを行う。
注目画素を中心とする3×3画素中に、線分構成画素が1画素のみの場合は、図20(a)における▲1▼のパターンマッチング変換表に従って2方向に拡大する。
注目画素を中心とする3×3画素枠内に、線分構成画素が2以上ある場合、(a)における▲2▼,▲3▼,▲4▼,▲5▼のいずれかに該当するものがあれば、それを用いてパターンマッチングを行う。
一方、(a)における▲2▼,▲3▼,▲4▼,▲5▼の中の2以上の条件を満たす場合には、先ず、図20(b)に示す例外のいずれかに該当するか否かを判断し、該当するものがある場合には、当該パターンマッチング変換表を用い、該当するものがない場合には、図20(a)▲2▼,▲3▼,▲4▼,▲5▼のパターンマッチング変換表の中から選択された2以上を組み合わせて適用する。この場合、出力画像信号も、▲2▼,▲3▼,▲4▼,▲5▼から選択されたものを加えたものとする。
上記パターンマッチングによる補間の具体例として、図22の画像(図3(b)と同じ)が入力され、且つ、そのテーブル参照座標(R,S)が図22の入力画像に示すものと一致する場合について考察してみる。
例えば入力画像の座標(2,3)について見ると、2方向拡大に相当するので、図20の変換表を用い、図22の出力画像の中の4つの画素(2,4)、(3,4)、(2,5)、(3,5)を補間することになる。
入力座標(2,3)の画素データは、それ自体が線分構成画素であり且つ上と右と下にも線分構成画素が存在する。この場合、図20(b)の例外には当てはまらず、図20(a)の▲2▼、▲3▼、▲4▼を組み合わせた場合に相当するので、変換後の出力画像において(2,4)、(3,4)、(2,5)は線分構成画素(黒)となり、(3,5)は周辺画素(白)となる。
次に入力座標(2,4)について見ると、水平方向拡大に相当するので、図18の変換表を用いて、図22の出力画像の中の2つの座標(2,6)、(3,6)を補間することになる。
この座標(2,4)の画素データは、それ自体が線分構成画素であり且つ上と下と右上にも線分構成画素が存在する。この場合、例外である図18(b)の▲3▼に当てはまるので、変換後の出力画像において、(2,6)が線分構成画素(黒)、(3,6)が周辺画素(白)となる。
このようにパターンマッチングを繰り返すことで、図22に示すように線幅が一定(1画素)の出力画像が形成されることになる。
A選択回路では、上記ステップS74における指示に従って、最近傍補間回路411から出力される画素データ及びパターンマッチング補間回路412から出力される変換後の画素データのいずれかを選択する。
なお、上記図17の出力画像座標枠における1ライン目と2ライン目の画素データ、並びに4ライン目と5ライン目の画素データは、同時にA選択回路405に入力されることになる。従って、入力される1ライン目,2ライン目の中、2ライン目の信号を一旦ラインメモリに記憶しておき、1ライン目の出力が終了してから2ライン目の信号を出力し(4ライン目と5ライン目についても同様)、これによって、A選択回路405で変換後の画像信号をライン順に並べ替え、B選択回路406にに送るようにする。
但し、上記方式の他に、線幅優先補間回路410にラインメモリを設けておいて、線幅優先補間回路410で変換後の画像信号をライン順に並べ変えてからA選択回路405に送るようにしてもよい。
(B選択回路406の動作)
B選択回路406は、特徴部分検出回路404から判定結果(注目画素が特徴部分であるか否か)が送られてくると、重心保持補間回路401及び線幅優先補間回路410から変換後の画素データが並行して入力されるごとに、特徴部分検出回路404から入力される判定結果に基づいて、どちらか一方を選択して出力する。
この選択動作は、実施の形態1で説明した図6のフローチャートに示すように、特徴部分検出回路404から入力される判定結果が、特徴部分であるか否に基づき、「特徴部分ではない」場合には、重心保持補間回路401か出力される画素データを選択し(ステップS31→S32)、「特徴部分である」場合には、A選択回路405から出力される画素データを選択する(ステップS31→S33)。
以上の動作により、変換前の注目画素が特徴部分ではない場合には、それと対応する重心保持補間回路401からの画素データが選択され、一方、変換前の注目画素信号が特徴部分である場合には、それと対応する410からの画素データが選択されることになる。
具体例として、注目画素の周辺画像が上記図3(a)のような場合は、重心保持補間回路401により変換されることになる。
一方、注目画素の周辺画像が上記図3(b)の場合は、線幅優先補間回路410による画素数変換がなされることになる。
(本実施形態の効果について)
以上のように画素数変換処理をすることによって、1対1で補間された箇所(図17で白塗りの座標)については、水平・垂直両方向に対して、原画像で線分構成画素が1画素幅だった場合には変換後にも1画素幅が維持される。また、図18〜図20の変換表は、原画像で1画素の幅だった場合には変換後にも1画素幅が維持されるように設定されているので、パターンマッチングによって補間された箇所についても(図17で網掛け表示した座標)についても、原画像で1画素幅の線分は線幅が維持される。
従って、文字画像については、水平・水平のいずれの方向についても、細線がぼけたりせず、また線幅のバランスが崩れたり線が切れたりすることなく変換される。
特に、本実施形態では、線幅優先補間を行うのにパターンマッチング法を用いているので、斜線や線の交差が多い領域、例えば線分画像の精細な部分についても再現性よく画素数変換され、精細な文字についても読みやすさが維持される。
一方、自然画像については、自然画像らしさが失われることなく変換される。また、特徴部分と特徴部分以外の境界においても比較的スムーズな出力画像が得られ、文字と画像の混在するような入力画像においても良好な画質で変換画像を得ることが出来る。
(本実施形態の変形例などについて)
上記説明では、水平方向変換率が1.2倍、垂直方向変換率が1.4倍の場合について説明したが、水平・垂直の各変換率が1倍以上で2倍未満であれば、上述した方法と同じ方法によって画素数変換を行い、良好な画素数変換結果を得ることが可能である。
上記説明では、特徴部分検出回路によって検出される線分幅が1画素である場合について説明したが、より画素数の多いブロックを対象とした参照パターンを多く備えておけば、対応可能な線分の画素幅が広範囲になるので、線分構成画素の幅が2画素以上の場合にも、各線幅に応じた参照パターンを参照することによって、良好な変換結果を得ることができる。
また、画素数変換率が2倍以上である場合についても、入力画像座標と出力画像座標を1対1で対応させる代りに、1対(画素数変換率Xの小数以下を切り捨てた整数)で対応させ、パターンマッチングに用いるブロックの画素数も増やすことによって実施可能と考えられる。
(上記実施の形態1〜4についての変形例など)
*上記実施の形態では、操作者によって画素数変換率が入力されるものとしたが、この他に例えば、入力画像信号のフォーマトを判定し、表示装置20の画素数に合わせて画素数変換率を自動算出するようにしてもよい。
*上記実施の形態1〜4では、画素数変換率が画面全体で一律であるものとして説明したが、画面の領域ごとに画素数変換率が異なる場合においても、同様にして実施することは可能である。
*上記実施の形態1,3,4では、画素データが入力されるごとに特徴部分であるか否かを判定し、選択回路ではその判定結果に基づいて選択するようにしたが、一画面を分割した領域ごとに、文字画像の特徴を有する部分であるか否か(自然画像部分である)かを判定し、選択回路では、その判定結果に基づいて選択するようにしても良い。
例えば、特徴・線分検出回路において一旦一画面分の画像信号を記憶して、画面を分割した領域毎に、文字画像の特徴を有するか否かを判定してもよいし、パソコン10のOSが管理している管理情報から、画面の自然画像領域と文字画像領域とを判別できる場合(具体的には、例えばグラフィックドライバが画素数変換を行う場合など、領域ごとに文字情報があるか否かが管理情報からわかる場合)には、その管理情報を画像処理装置に送るようにすれば、文字画像部分であるか自然画像部分であるかを画面分割領域ごとに判定することも可能である。
*実施の形態1に示した変換方法と,実施形態3に示した変換方法とを組み合わせてもよい。例えば、水平方向については実施形態1の変換方法を、垂直方向については実施形態3の変換方法を組み合わせることも可能である。
*実施の形態3,4においても、実施の形態2のように変換率Xが整数に近い場合だけに限って線幅優先補間法を適用することもできる。
*上記実施の形態1〜4においては、画素データを順次入力するごとに補間処理して出力する例を示したが、同様にして、画面を分割した領域単位で補間処理を行うことも可能である。
*上記実施の形態1〜4において説明した画像処理装置における処理(図2,4,5,6,9,11,12,21のフローチャートで示す処理)は、ソストウエアによって実現することも可能であり、コンピュータに適用することができる。
産業上の利用可能性
本発明は、画像信号源からPDP,LCDなどのマトリックス型表示装置に画像信号を送る途中に介在させる画像処理装置に利用できる。或はマトリックス型表示装置に内蔵させる画像処理装置にも利用できる。
【図面の簡単な説明】
図1は、実施の形態1にかかる画像処理装置のブロック図である。
図2は、実施の形態1にかかる特徴部分検出及び線分検出動作についてのフローチャートである。
図3は、入力画像信号の一例について一定領域枠を当てはめたときの図である。
図4は、実施の形態1にかかる線幅算出のフローチャートである。
図5は、実施の形態1にかかる線幅優先補間回路の動作を示すフローチャートである。
図6は、実施の形態1にかかる選択回路の動作を示すフローチャートである。
図7は、線幅優先補間法と他の補間方法の比較図である。
図8は、実施の形態2にかかる画像処理装置のブロック図である。
図9は、画像処理装置の選択回路の動作を示すフローチャートである。
図10は、実施の形態3にかかる画像処理装置のブロック図である。
図11は、実施の形態3にかかるエッジ連続数算出のフローチャートである。
図12は、実施の形態3にかかる線幅優先補間回路の動作の一例を示すフローチャートである。
図13は、実施の形態3にかかる画素数変換法の説明図である。
図14は、実施の形態3にかかる画素数変換法の説明図である。
図15は、実施の形態4にかかる画像処理装置のブロック図である。
図16は、実施の形態4にかかる補間テーブルの一例を示す図である。
図17は、実施の形態4にかかる画像処理の説明に用いる図である。
図18は、実施の形態4にかかるパターンマッチング変換表である。
図19は、実施の形態4にかかるパターンマッチング変換表である。
図20は、実施の形態4にかかるパターンマッチング変換表である。
図21は、実施の形態4にかかる線幅優先補間回路の動作を示すフローチャートである。
図22は、実施の形態4にかかる画像補間を説明するための画像例である。
図23は、従来例にかかる画像処理装置のブロック図である。
図24は、最近傍補間法とCubic補間法による画素数変換を示す図である。
Claims (17)
- マトリックス表示用の原画像を入力し、行方向及び列方向の少なくとも一つの指定された方向に対して所定の画素数変換率で画素数変換する画像処理方法であって、
画素数変換率に基づいて定められる一定倍率で、入力画像に対応する変換後の画像を出力する第1補間法と、
入力される原画像に含まれる線分構成画素のパターンを、あらかじめ定められた変換表とパターンマッチングすることによって、入力画素に対応する変換後の画素を出力する第2補間法とを、
選択的に用いることによって画素数変換することを特徴とする。 - 前記変換表は、複数の入力パターン及び前記複数の入力パターンに対応する複数の出力パターンを有し、
前記第2補間法では、前記複数の入力パターンの中から、前記入力される原画像に含まれる線分構成画素のパターンと合致する入力パターンを選択することによって前記パターンマッチングを行い、前記複数の出力パターンのうち、前記選択された入力パターンに対応する出力パターンに従って前記変換後の画素を生成する、
請求項1に記載の画像処理方法。 - 前記第2補間法においては、原画像内の直線または斜線を含む線分群を、変換の前後において、前記線分群の配置および幅および長さを変換率に応じて変化させるが、
前記線分群のうち交点を持つ線分同士は変換後も変換前と同じ線分同士で交点を持ち、前記線分群に含まれる個々の線分が変換後も途中で切断されることなく、且つ、原画像内の互いに同一の幅を持つ直線または斜線を含む線分群のうち所定の幅以下の線分群が変換後も互いに同一の線幅を保持する、
請求項1または2に記載の画像処理方法。 - マトリックス表示用の原画像を入力し、行方向及び列方向の少なくとも一つの指定された方向に対して所定の画素数変換率で画素数変換する画像処理方法であって、
画素数変換率に基づいて定められる一定倍率で、入力画像に対応する変換後の画像を出力する第1補間ステップと、
入力される原画像に含まれる線分構成画素のパターンを、あらかじめ定められた変換表とパターンマッチングすることによって、入力画素に対応する変換後の画素を出力する第2補間ステップと、
前記第1補間ステップ及び第2補間ステップのいずれかの出力を選択する選択ステップとを備える。 - 請求項4記載の画像処理方法において、
原画像の領域ごとに特徴部分であるか否かを判定する特徴判定ステップを備え、
前記選択ステップでは、
前記特徴判定ステップで、特徴部分であると判定された画像部分については、入力される原画像中における同一の幅を持った線分については変換後も互いに同一の線幅が保持されるように画素数変換する第一の画素数変換方法を選択し、特徴部分でないと判定された画像部分については、変換の前後で重心位置が保持されるよう画素数変換する第二の画素数変換方法を選択し、
前記第一の画素数変換方法では、前記第1補間ステップ及び第2補間ステップのいずれかの出力を選択する。 - 請求項5記載の画像処理方法において、
前記特徴判定ステップでは、
原画像に含まれる線分についての情報を基にして、原画像の部分ごとに特徴部分であるか否かを判定する。 - 請求項5記載の画像処理方法において、
前記特徴判定ステップでは、
入力画像における注目画素を中心とする一定の領域において、所定幅以下の線分構成画素が含まれ、且つ、線分構成画素群の輝度値および周辺画素群の輝度値の変動係数がそれぞれ所定の値以下であって、前記線分構成画素群の階調値の平均値と、前記周辺画素群の階調値の平均値との差が所定の値以上である場合に特徴部分と判定する。 - 請求項7記載の画像処理方法において、
前記所定の幅は1画素である。 - 請求項5記載の画像処理方法において、
前記特徴判定ステップでは、
原画像の一画面分を分割した領域ごとに特徴部分であるか否かを判定する。 - 前記変換表は、複数の入力パターン及び前記複数の入力パターンに対応する複数の出力パターンを有し、
前記第2補間ステップでは、前記複数の入力パターンの中から、前記入力される原画像に含まれる線分構成画素のパターンと合致する入力パターンを選択することによって前記パターンマッチングを行い、前記複数の出力パターンのうち、前記選択された入力パターンに対応する出力パターンに従って前記変換後の画素を生成する、
請求項4〜9のいずれか1項に記載の画像処理方法。 - 前記第2補間ステップにおいては、原画像内の直線または斜線を含む線分群を、変換の前後において、前記線分群の配置および幅および長さを変換率に応じて変化させるが、
前記線分群のうち交点を持つ線分同士は変換後も変換前と同じ線分同士で交点を持ち、
前記線分群に含まれる個々の線分が変換後も途中で切断されることなく、且つ、原画像内の互いに同一の幅を持つ直線または斜線を含む線分群のうち所定の幅以下の線分群が変換後も互いに同一の線幅を保持する、
請求項4〜10のいずれか1項に記載の画像処理方法。 - マトリックス表示用の原画像を入力し、行方向及び列方向の少なくとも一つの指定された方向に対して所定の画素数変換率で画素数変換する画像処理装置であって、
画素数変換率に基づいて定められる一定倍率で、入力画像に対応する変換後の画像を出力する第1補間法と、
入力される原画像に含まれる線分構成画素のパターンを、あらかじめ定められた変換表とパターンマッチングすることによって、入力画素に対応する変換後の画素を出力する第2補間法とを、
選択的に用いることによって画素数変換することを特徴とする。 - 前記変換表は、複数の入力パターン及び前記複数の入力パターンに対応する複数の出力パターンを有し、
前記第2補間法では、前記複数の入力パターンの中から、前記入力される原画像に含まれる線分構成画素のパターンと合致する入力パターンを選択することによって前記パターンマッチングを行い、前記複数の出力パターンのうち、前記選択された入力パターンに対応する出力パターンに従って前記変換後の画素を生成する、
請求項12に記載の画像処理装置。 - 前記第2補間法においては、原画像内の直線または斜線を含む線分群を、変換の前後において、前記線分群の配置および幅および長さを変換率に応じて変化させるが、
前記線分群のうち交点を持つ線分同士は変換後も変換前と同じ線分同士で交点を持ち、
前記線分群に含まれる個々の線分が変換後も途中で切断されることなく、且つ、原画像内の互いに同一の幅を持つ直線または斜線を含む線分群のうち所定の幅以下の線分群が変換後も互いに同一の線幅を保持する、
請求項12または13に記載の画像処理装置。 - マトリックス表示用の原画像を入力し、行方向及び列方向の少なくとも一つの指定された方向に対して所定の画素数変換率で画素数変換する画像処理装置であって、
画素数変換率に基づいて定められる一定倍率で、入力画像に対応する変換後の画像を出力する第1補間部と、
入力される原画像に含まれる線分構成画素のパターンを、あらかじめ定められた変換表とパターンマッチングすることによって、入力画素に対応する変換後の画素を出力する第2の補間部と、
前記第1補間部及び第2補間部のいずれかの出力を選択する選択部とを備える。 - 前記変換表は、複数の入力パターン及び前記複数の入力パターンに対応する複数の出力パターンを有し、
前記第2補間部は、前記複数の入力パターンの中から、前記入力される原画像に含まれる線分構成画素のパターンと合致する入力パターンを選択することによって前記パターンマッチングを行い、前記複数の出力パターンのうち、前記選択された入力パターンに対応する出力パターンに従って前記変換後の画素を生成する、
請求項15に記載の画像処理装置。 - 前記第2補間部は、原画像内の直線または斜線を含む線分群を、変換の前後において、
前記線分群の配置および幅および長さを変換率に応じて変化させるが、
前記線分群のうち交点を持つ線分同士は変換後も変換前と同じ線分同士で交点を持ち、
前記線分群に含まれる個々の線分が変換後も途中で切断されることなく、且つ、原画像内の互いに同一の幅を持つ直線または斜線を含む線分群のうち所定の幅以下の線分群が変換後も互いに同一の線幅を保持する、
請求項15または16に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001579289A JP4880172B2 (ja) | 2000-04-21 | 2001-04-20 | 画像処理方法及び画像処理装置 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000121712 | 2000-04-21 | ||
JP2000121712 | 2000-04-21 | ||
JP2000253744 | 2000-08-24 | ||
JP2000253744 | 2000-08-24 | ||
PCT/JP2001/003397 WO2001082286A1 (fr) | 2000-04-21 | 2001-04-20 | Procede et dispositif de traitement de l'image |
JP2001579289A JP4880172B2 (ja) | 2000-04-21 | 2001-04-20 | 画像処理方法及び画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP4880172B2 true JP4880172B2 (ja) | 2012-02-22 |
Family
ID=26590606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001579289A Expired - Fee Related JP4880172B2 (ja) | 2000-04-21 | 2001-04-20 | 画像処理方法及び画像処理装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7116842B2 (ja) |
JP (1) | JP4880172B2 (ja) |
KR (1) | KR100820507B1 (ja) |
CN (1) | CN1262986C (ja) |
TW (1) | TWI229842B (ja) |
WO (1) | WO2001082286A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050226538A1 (en) * | 2002-06-03 | 2005-10-13 | Riccardo Di Federico | Video scaling |
JP4065155B2 (ja) * | 2002-07-12 | 2008-03-19 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
US7437018B1 (en) | 2003-09-26 | 2008-10-14 | Adobe Systems Incorporated | Image resampling using variable quantization bins |
JP3833212B2 (ja) * | 2003-11-19 | 2006-10-11 | シャープ株式会社 | 画像処理装置、画像処理プログラムおよび可読記録媒体 |
US7212214B2 (en) * | 2004-09-03 | 2007-05-01 | Seiko Epson Corporation | Apparatuses and methods for interpolating missing colors |
US7242412B2 (en) * | 2005-02-09 | 2007-07-10 | Seiko Epson Corporation | Method and apparatus for expanding a source pixel in a digital image |
WO2006098038A1 (ja) * | 2005-03-17 | 2006-09-21 | Mitsubishi Denki Kabushiki Kaisha | 画像処理装置 |
CN101814283B (zh) | 2005-04-04 | 2012-10-24 | 三星电子株式会社 | 图像处理方法 |
US20070153024A1 (en) | 2005-12-29 | 2007-07-05 | Samsung Electronics Co., Ltd. | Multi-mode pixelated displays |
JP2007264748A (ja) * | 2006-03-27 | 2007-10-11 | Casio Comput Co Ltd | 画像処理装置および画像処理方法 |
US20070236739A1 (en) * | 2006-03-30 | 2007-10-11 | Kabushiki Kaisha Toshiba | Method and apparatus for image processing |
TWM328624U (en) * | 2007-10-05 | 2008-03-11 | Princeton Technology Corp | Image processing apparatus and image display system |
US8749703B2 (en) * | 2008-02-04 | 2014-06-10 | Broadcom Corporation | Method and system for selecting interpolation as a means of trading off judder against interpolation artifacts |
JP5219651B2 (ja) * | 2008-06-26 | 2013-06-26 | キヤノン株式会社 | 表示装置 |
JP5166156B2 (ja) * | 2008-07-25 | 2013-03-21 | 株式会社東芝 | 解像度変換装置、方法およびプログラム |
EP2426638B1 (en) * | 2009-04-30 | 2013-09-18 | Huawei Device Co., Ltd. | Image conversion method, conversion device and display system |
CN101887520B (zh) * | 2009-05-12 | 2013-04-17 | 华为终端有限公司 | 一种图像中的文字定位方法和装置 |
EP2264483B1 (en) * | 2009-06-01 | 2017-11-29 | Samsung Medison Co., Ltd. | Ultrasound system and method for providing a motion vector |
US8411324B2 (en) * | 2010-02-03 | 2013-04-02 | Xerox Corporation | Selection of exposure intensity and cleaning field intensity setpoints for optimum line width using sensor reading |
KR101353090B1 (ko) * | 2012-05-30 | 2014-01-20 | 삼성전기주식회사 | Osd 장치 및 osd 방법 |
CN112313935B (zh) * | 2018-06-29 | 2023-04-04 | 三菱电机株式会社 | 摄像装置和线变动噪声降低装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06309452A (ja) * | 1993-04-27 | 1994-11-04 | Oki Electric Ind Co Ltd | 解像度変換処理装置 |
JPH0795394A (ja) * | 1993-09-20 | 1995-04-07 | Hitachi Ltd | 画像縮小装置および画像縮小方法 |
JPH07226837A (ja) * | 1994-02-14 | 1995-08-22 | Canon Inc | 出力方法及び装置 |
JPH10171982A (ja) * | 1996-12-12 | 1998-06-26 | Minolta Co Ltd | 画像処理装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5347599A (en) * | 1991-06-14 | 1994-09-13 | Matsushita Electric Industrial Co., Ltd. | Adaptive interpolation method and apparatus using correlation detection |
JPH05314250A (ja) * | 1992-05-11 | 1993-11-26 | Fuji Xerox Co Ltd | 拡大画像の平滑方法及び装置 |
ES2118173T3 (es) * | 1992-11-19 | 1998-09-16 | Thomson Multimedia Sa | Metodo y aparato para conversion ascendente de frecuencia de campo. |
JPH0750752A (ja) * | 1993-08-06 | 1995-02-21 | Fuji Xerox Co Ltd | 画像密度変換方法及び装置 |
US6310919B1 (en) * | 1998-05-07 | 2001-10-30 | Sarnoff Corporation | Method and apparatus for adaptively scaling motion vector information in an information stream decoder |
US6704463B1 (en) * | 1998-11-10 | 2004-03-09 | Sony Corporation | Interpolation/decimation apparatus, interpolation/decimation method and image display apparatus |
US6496608B1 (en) * | 1999-01-15 | 2002-12-17 | Picsurf, Inc. | Image data interpolation system and method |
JP3614324B2 (ja) * | 1999-08-31 | 2005-01-26 | シャープ株式会社 | 画像の補間システムおよび画像の補間方法 |
US6707937B1 (en) * | 2000-07-14 | 2004-03-16 | Agilent Technologies, Inc. | Interpolation of edge portions of a digital image |
-
2001
- 2001-04-20 KR KR1020027014143A patent/KR100820507B1/ko not_active IP Right Cessation
- 2001-04-20 US US10/258,153 patent/US7116842B2/en not_active Expired - Fee Related
- 2001-04-20 WO PCT/JP2001/003397 patent/WO2001082286A1/ja active Application Filing
- 2001-04-20 CN CNB018113346A patent/CN1262986C/zh not_active Expired - Fee Related
- 2001-04-20 TW TW090109560A patent/TWI229842B/zh not_active IP Right Cessation
- 2001-04-20 JP JP2001579289A patent/JP4880172B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06309452A (ja) * | 1993-04-27 | 1994-11-04 | Oki Electric Ind Co Ltd | 解像度変換処理装置 |
JPH0795394A (ja) * | 1993-09-20 | 1995-04-07 | Hitachi Ltd | 画像縮小装置および画像縮小方法 |
JPH07226837A (ja) * | 1994-02-14 | 1995-08-22 | Canon Inc | 出力方法及び装置 |
JPH10171982A (ja) * | 1996-12-12 | 1998-06-26 | Minolta Co Ltd | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20030099410A1 (en) | 2003-05-29 |
CN1441944A (zh) | 2003-09-10 |
US7116842B2 (en) | 2006-10-03 |
TWI229842B (en) | 2005-03-21 |
CN1262986C (zh) | 2006-07-05 |
WO2001082286A1 (fr) | 2001-11-01 |
KR20020089517A (ko) | 2002-11-29 |
KR100820507B1 (ko) | 2008-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4880172B2 (ja) | 画像処理方法及び画像処理装置 | |
US6389180B1 (en) | Resolution conversion system and method | |
JP6523638B2 (ja) | 表示パネルドライバ、表示装置、画像処理装置及び画像処理方法 | |
JPH10319898A (ja) | 解像度変換方法およびこれを用いた表示制御装置 | |
KR100818718B1 (ko) | 화상 처리 장치, 및 화상 처리 프로그램이 기록된 컴퓨터판독가능한 기록 매체 | |
US6369787B1 (en) | Method and apparatus for interpolating a digital image | |
JP2837339B2 (ja) | 画像生成方法 | |
US7050077B2 (en) | Resolution conversion device and method, and information processing apparatus | |
JP3065021B2 (ja) | 画像混色処理装置 | |
US6392660B2 (en) | Apparatus and method for displaying zoomed version of stored image by displaying and shifting based on pixel overlap | |
JP3449142B2 (ja) | 画像縮小装置およびその制御方法 | |
JPH08147493A (ja) | アニメーション画像生成方法 | |
JP5868048B2 (ja) | 制御装置及びその制御方法 | |
US6577778B1 (en) | Method and apparatus for interpolating a digital image | |
JPH1063828A (ja) | イメージ処理方法および装置 | |
JP2005038046A (ja) | シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、シェーディング補正装置に用いる補間演算装置、補間演算方法、補間演算プログラム、並びにその応用装置 | |
US6775418B1 (en) | Image processing device and processing method | |
JP3519186B2 (ja) | 画像中間調処理装置 | |
US20030187613A1 (en) | Method of data interpolation using midpoint slope control scaling | |
US20040246377A1 (en) | Scaling method and apparatus using approximate simplified scaling factors | |
JP3582540B2 (ja) | 解像度変換装置および解像度変換方法 | |
US20030187893A1 (en) | Method of data interpolation with bi-switch slope control scaling | |
JP2000184189A (ja) | 画像補間方法および画像補間装置 | |
JPH0588653A (ja) | 画面合成表示領域決定装置 | |
JP4150171B2 (ja) | 画像生成装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111108 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111201 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141209 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |