JPWO2004057534A1 - 画像処理装置、画像表示装置、画像処理方法、及び画像表示方法 - Google Patents

画像処理装置、画像表示装置、画像処理方法、及び画像表示方法 Download PDF

Info

Publication number
JPWO2004057534A1
JPWO2004057534A1 JP2004562013A JP2004562013A JPWO2004057534A1 JP WO2004057534 A1 JPWO2004057534 A1 JP WO2004057534A1 JP 2004562013 A JP2004562013 A JP 2004562013A JP 2004562013 A JP2004562013 A JP 2004562013A JP WO2004057534 A1 JPWO2004057534 A1 JP WO2004057534A1
Authority
JP
Japan
Prior art keywords
contour
magnification
control amount
conversion
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004562013A
Other languages
English (en)
Other versions
JP4001601B2 (ja
Inventor
好章 奥野
好章 奥野
染谷 潤
潤 染谷
長瀬 章裕
章裕 長瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2004057534A1 publication Critical patent/JPWO2004057534A1/ja
Application granted granted Critical
Publication of JP4001601B2 publication Critical patent/JP4001601B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Picture Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

画像データ(DI)の輪郭部を検出し、検出された輪郭部の輪郭幅(W)を出力する輪郭幅検出回路(1)と、輪郭幅(W)に基づいて倍率制御量(ZC)を生成する倍率制御量生成回路(2)と、倍率制御量(ZC)に基づいて変換倍率(Z)を生成する倍率生成回路(3)と、変換倍率(Z)を用いて画像データ(DI)の画素数を変換する画素数変換回路(4)とを有し、輪郭部の鮮鋭度を過不足なく強調する。

Description

本発明は、デジタル画像を任意の倍率で画素数変換する画像処理装置及びこの画像処理装置を含む画像表示装置、並びに、デジタル画像を任意の倍率で画素数変換する画像処理方法及びこの画像処理方法が適用された画像表示方法に関し、特に、デジタル画像の輪郭部における画素数変換に関する。
画像の輪郭部における画像処理方法として、例えば、特開2002−16820号公報に開示されたものがある。この画像処理方法は、入力画像信号の微分値の絶対値を計算し、この絶対値の平均値を計算し、計算された絶対値から平均値を差し引いた差分値を計算し、この差分値に応じて入力画像信号の拡大縮小率を制御するものである。
また、画像の輪郭部における他の画像処理方法として、例えば、特開2000−101870号公報に開示されたものがある。この画像処理方法は、入力画像信号の高域成分から制御信号を生成し、この制御信号により補間画素の位相を制御するものである。
しかしながら、上記した従来の画像処理方法においては、入力画像信号の高域成分の量に基づいて輪郭部の鮮鋭度を改善しているため、画像信号のレベルの変化が大きい輪郭部に比べて、画像信号のレベルの変化が小さい輪郭部では鮮鋭度が改善されにいという問題があった。このため、画像全体について過不足なく鮮鋭度を向上することが困難であった。
そこで、本発明は、画像の輪郭部の鮮鋭度を適切に向上させることができる画像処理装置、画像表示装置、画像処理方法、及び画像表示方法を提供することを目的とする。
本発明の画像処理装置は、画像データの輪郭部を検出し、上記検出された輪郭部の輪郭幅を出力する輪郭幅検出回路と、上記輪郭幅に基づいて倍率制御量を生成する倍率制御量生成回路と、上記倍率制御量に基づいて変換倍率を生成する倍率生成回路と、上記変換倍率を用いて上記画像データの画素数を変換する画素数変換回路とを有するものである。
図1(a),(b)は、本発明の実施の形態1に係る画像処理方法(拡大変換の場合)を説明するための図であり、
図2(a),(b)は、本発明の実施の形態1に係る画像処理方法(縮小変換の場合)を説明するための図であり、
図3は、本発明の実施の形態1に係る画像処理装置の構成(垂直方向又は水平方向に画素数を変換する場合の構成)を示すブロック図であり、
図4(a)〜(d)は、図3の画像処理装置における輪郭幅検出回路、倍率制御量生成回路、及び倍率生成回路の動作を説明するための図であり、
図5(a1)〜(d1)及び図5(a2)〜(d2)は、本発明の実施の形態1における変換倍率の制御方法(輪郭幅及び輪郭部の差分量と、倍率制御量との関係)を説明するための図であり、
図6(a1)〜(d1)及び図6(a2)〜(d2)は、本発明の実施の形態1における変換倍率の制御方法(倍率制御量の振幅と、出力画像における輪郭部の変化の急峻さとの関係)を説明するための図であり、
図7(a1)〜(d1)及び図7(a2)〜(d2)は、本発明の実施の形態1における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の振幅を変化させる場合)を説明するための図であり、
図8(a1)〜(d1)及び図8(a2)〜(d2)は、本発明の実施の形態1における変換倍率の制御方法(倍率制御量の生成期間と、出力画像における輪郭部の急峻さとの関係)を説明するための図であり、
図9(a)〜(d)は、本発明の実施の形態1に係る画像処理方法を説明するための図であり、
図10(a1)〜(d1)及び図10(a2)〜(d2)は、本発明の実施の形態1における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の生成期間を変化させる場合)を説明するための図であり、
図11(a1)〜(d1)及び図11(a2)〜(d2)は、本発明の実施の形態1における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の生成期間と振幅の両方を変化させる場合)を説明するための図であり、
図12(a1)〜(d1)、図12(a2)〜(d2)、及び図12(a3)〜(d3)は、本発明の実施の形態1における変換倍率の制御方法(予め定められた基準変換倍率と、倍率制御量データ数との関係)を説明するための図であり、
図13は、本発明の実施の形態1に係る画像処理装置の変形例の構成を示すブロック図であり、
図14は、本発明の実施の形態1に係る画像処理装置の構成(垂直方向及び水平方向に画素数を変換する場合の構成)を示すブロック図であり、
図15は、本発明の実施の形態2に係る画像表示装置の構成を示すブロック図であり、
図16は、本発明の実施の形態3に係る画像表示方法を示すフローチャートであり、
図17は、本発明の実施の形態4に係る画像処理装置の構成(垂直方向又は水平方向に画素数を変換する場合の構成)を示すブロック図であり、
図18(a)〜(e)は、図17の画像処理装置における輪郭幅検出回路、輪郭基準位置検出回路、倍率制御量生成回路、及び倍率生成回路の動作を説明するための図であり、
図19は、本発明の実施の形態4における変換倍率の制御方法(輪郭基準位置と、倍率制御量の積分値との関係)を説明するための図であり、
図20は、本発明の実施の形態4における輪郭幅検出回路の動作を説明するための図であり、
図21は、本発明の実施の形態4における輪郭幅検出回路の動作を説明するための図であり、
図22は、本発明の実施の形態4における輪郭幅検出回路の動作を説明するための図であり、
図23(a),(b)は、本発明の実施の形態4における輪郭幅検出回路の動作を説明するための図であり、
図24は、本発明の実施の形態4における輪郭基準位置検出回路の動作を説明するための図であり、
図25(a),(b)は、本発明の実施の形態4における輪郭基準位置検出回路の動作を説明するための図であり、
図26(a1)〜(e1)及び図26(a2)〜(e2)は、本発明の実施の形態4における変換倍率の制御方法(輪郭幅及び輪郭部の差分量と、倍率制御量との関係)を説明するための図であり、
図27(a1)〜(e1)及び図27(a2)〜(e2)は、本発明の実施の形態5における変換倍率の制御方法(倍率制御量の振幅と、出力画像における輪郭部の変化の急峻さとの関係)を説明するための図であり、
図28(a1)〜(e1)及び図28(a2)〜(e2)は、本発明の実施の形態6における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の振幅を変化させる場合)を説明するための図であり、
図29(a1)〜(e1)及び図29(a2)〜(e2)は、本発明の実施の形態7における変換倍率の制御方法(倍率制御量の生成期間と、出力画像における輪郭部の急峻さとの関係)を説明するための図であり、
図30(a1)〜(e1)及び図30(a2)〜(e2)は、本発明の実施の形態8における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の生成期間を変化させる場合)を説明するための図であり、
図31(a1)〜(e1)及び図31(a2)〜(e2)は、本発明の実施の形態9における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の生成期間と振幅の両方を変化させる場合)を説明するための図であり、
図32(a1)〜(e1)、図32(a2)〜(e2)、及び図32(a3)〜(e3)は、本発明の実施の形態10における変換倍率の制御方法(予め定められた基準変換倍率と、倍率制御量データ数との関係)を説明するための図であり、
図33は、本発明の実施の形態11における輪郭幅検出回路の動作を説明するための図であり、
図34は、本発明の実施の形態11における輪郭幅検出回路の動作を説明するための図であり、
図35は、本発明の実施の形態12における輪郭幅検出回路の動作を説明するための図であり、
図36は、本発明の実施の形態13における輪郭幅検出回路の動作を説明するための図であり、
図37は、本発明の実施の形態13における輪郭幅検出回路の動作を説明するための図であり、
図38(a),(b)は、本発明の実施の形態13における輪郭幅検出回路の動作を説明するための図であり、
図39(a)〜(c)は、本発明の実施の形態14における輪郭基準位置検出回路の動作を説明するための図であり、
図40(a1)〜(c1)及び図40(a2)〜(c2)は、本発明の実施の形態14における輪郭基準位置検出回路の動作を説明するための図であり、
図41は、本発明の実施の形態15に係る画像処理装置の構成(垂直方向又は水平方向に画素数を変換する場合の構成)を示すブロック図であり、
図42は、図41の輪郭幅検出回路の動作を説明するための図であり、
図43(a)〜(c)は、本発明の実施の形態15における輪郭幅検出回路の動作(輪郭外部の平坦度と画像データの関係)を説明するための図であり、
図44は、本発明の実施の形態15における変換倍率の制御方法(輪郭外部の平坦度と制御係数の関係)を説明するための図であり、
図45(a)〜(d)は、本発明の実施の形態15における変換倍率の制御方法(制御係数と倍率制御量の関係)を説明するための図であり、
図46は、本発明の実施の形態16に係る画像処理装置の構成(垂直方向及び水平方向に画素数を変換する場合の構成)を示すブロック図であり、
図47は、本発明の実施の形態17に係る画像表示装置の構成を示すブロック図であり、
図48は、本発明の実施の形態18に係る画像表示方法を示すフローチャートである。
実施の形態1.
図1(a),(b)は、本発明の実施の形態1に係る画像処理方法(拡大変換の場合)を説明するための図であり、図1(a)は入力画像データを示し、図1(b)は入力画像データを拡大変換することによって得られる出力画像データを示す。図1(a),(b)において、横軸は画像の水平位置又は垂直位置を示し、縦軸は画像データのレベル(明るさ)を示す。
また、図2(a),(b)は、本発明の実施の形態1に係る画像処理方法(縮小変換の場合)を説明するための図であり、図2(a)は入力画像データを示し、図2(b)は入力画像データを縮小変換することによって得られる出力画像データを示す。図2(a),(b)において、横軸は画像の水平位置又は垂直位置を示し、縦軸は画像データのレベル(明るさ)を示す。
以下に、図1(a),(b)及び図2(a),(b)を参照しながら、水平画素数の拡大変換又は縮小変換のための画素数変換について説明する。なお、垂直画素数の拡大変換又は縮小変換は、水平画素数の拡大変換又は縮小変換と同様の手順によって実現できる。
水平画素数の変換においては、先ず、入力画像データのレベルの変化を検出し、入力画像データにおける輪郭部(輪郭期間)teを検出する。
次に、輪郭部teに基づいて、輪郭部teの少なくとも一部を含む期間(図1(a),(b)又は図2(a),(b)にいては、(tb+tc+td)の期間であり、「倍率制御量の生成期間」と言う。)を定める。倍率制御量の生成期間は、例えば、輪郭部teの輪郭幅に、調節可能な一定値を掛けることによって得られる。この一定値は、表示する画像の種類(例えば、映画、スポーツ、美術、自然など)、表示装置の設置環境、及び使用者の好みなどの各種要因に基づいて、使用者の操作により又は自動的に設定される。倍率制御量の生成期間は、画像データのレベルが変化する3つの領域、即ち、生成期間前部tb、生成期間中央部tc、及び生成期間後部tdから構成される。一方、倍率制御量の生成期間(tb+tc+td)以外の領域を平坦部(平坦期間)taとする。
画像の平坦部taでは、一定の変換倍率Z0で画素数が変換される。この一定の変換倍率Z0は、画像のフォーマット変換又は画像を任意の倍率で拡大又は縮小するために必要な任意の倍率である。図1(a),(b)に示される拡大変換の場合にはZ0>1であり、図2(a),(b)に示される縮小変換の場合にはZ0<1である。例えば、パーソナルコンピュータ(PC)の出力フォーマットの1つである640画素×480ラインの画像を1024画素×768ラインの画像に変換する場合には、変換倍率Z0は1.6である。また、画像の平坦部taの拡大・縮小を行わずに(Z0=1)、画像データの輪郭部teの鮮鋭度を向上させることもできる。
一方、倍率制御量の生成期間では、輪郭部teに基づいて定められる変換倍率の制御パターンによって、変換倍率が変動制御される。具体的に言えば、倍率制御量の生成期間を構成するそれぞれの領域tb,tc,tdでは、画像データを生成するときの変換倍率が異なる。なお、以降の説明では、一定の変換倍率Z0と、一定の変換倍率Z0に上記制御パターンが重畳された変換倍率(倍率が変動する期間を含むもの)とを区別するために、一定の変換倍率Z0を「基準変換倍率」と言う。より具体的には、図1(a),(b)に示される拡大変換の場合、及び、図2(a),(b)に示される縮小変換の場合のいずれにおいても、生成期間前部tb及び生成期間後部tdでは、平坦部taより高い変換倍率で画素数が変換され、生成期間中央部tcでは、平坦部taより低い変換倍率で画素数が変換される。
以上の説明においては、水平方向の画素数変換の場合を説明したが、垂直方向の画素数変換の場合にも上記と同様の手順を施すことによって画素数変換を実現できる。上記のような手順を、入力画像データの水平方向と垂直方向にそれぞれ実施することで、入力画像データの画素数を変換することができる。また、水平方向の画素数変換と垂直方向の画素数変換は、順次実施することも、同時に実施することもできる。また、水平方向の変換倍率と垂直方向の変換倍率を異なる倍率にすることもできる。
なお、画素数の変換において垂直画素数の変換と水平画素数の変換は同様の動作によって実現できるので、水平画素数の変換を例として、以降の説明を行う。
図3は、本発明の実施の形態1に係る画像処理装置(即ち、実施の形態1に係る画像処理方法を実施する装置)の構成を示すブロック図である。図3には、水平方向(又は垂直方向)に画素数を変換する場合の構成が示されている。図3に示されるように、実施の形態1の画像処理装置5は、輪郭幅検出回路1と、倍率制御量生成回路2と、倍率生成回路3と、画素数変換回路4とを備えている。
入力画像データDIは、輪郭幅検出回路1及び画素数変換回路4に入力される。輪郭幅検出回路1は、例えば、入力画像データDIの画像レベルが水平方向に変化(増加又は減少)している期間を輪郭幅Wとして検出し、この輪郭幅Wを出力する。ここで、輪郭幅検出回路1は、画像レベルが変化している期間が所定範囲内にあるものを輪郭幅Wとして検出する。例えば、輪郭部とみなす部分についてその幅の最小値Wmin及び最大値Wmaxを予め設定し、画像レベルが変化している期間が最大値Wmaxを越える場合、又は、画像レベルが変化している期間が最小値Wminに満たない場合には、輪郭部と判別せず、輪郭幅Wの検出を行わない。輪郭幅検出回路1から出力された輪郭幅Wは、倍率制御量生成回路2に入力される。
なお、以上の説明においては、入力画像データDIの画像レベルが水平方向に変化(増加又は減少)している期間を輪郭幅Wとして検出する場合を説明したが、輪郭幅Wの検出方法は上記方法には限定されない。輪郭幅Wの検出方法として、後述する図20〜図23(a),(b)、図33〜図38(a),(b)、及びそれらの説明に記載された方法などのような他の方法を採用してもよい。
倍率制御量生成回路2は、輪郭幅Wに基づいて、変換陪率を制御するための倍率制御量ZCを生成し、この倍率制御量ZCを出力する。倍率制御量生成回路2から出力された倍率制御量ZCは、倍率生成回路3に入力される。
倍率生成回路3は、倍率制御量ZC及び予め与えられた任意の基準変換倍率Z0に基づいて、変換倍率Zを生成し、この変換倍率Zを出力する。倍率生成回路3から出力された変換倍率Zは、画素数変換回路4に入力される。
画素数変換回路4は、変換倍率Zを用いて入力画像データDIの水平方向の画素数を変換し、変換結果の画像データを出力画像データDOとして出力する。
図4(a)〜(d)は、実施の形態1に係る画像処理装置における輪郭幅検出回路1、倍率制御量生成回路2、及び倍率生成回路3の動作を説明するための図である。図4(a)〜(d)において、横軸は画像の水平位置を示している。また、図4(a)の縦軸は入力画像データDIのレベル、図4(b)の縦軸は倍率制御量ZC、図4(c)の縦軸は変換倍率Z、図4(d)の縦軸は出力画像データDOのレベルを示している。
輪郭幅検出回路1は、入力画像データDIのレベルが変化している期間の幅(輪郭幅)Wを検出する(図4(a)参照)。ここで、入力画像データDIのレベルが変化している期間とは、例えば、レベルが増加又は減少している期間である。
倍率制御量生成回路2は、検出された輪郭幅Wに基づいて、生成期間前部tbで正、生成期間中央部tcで負、生成期間後部tdで正、それ以外の部分でゼロとなるような倍率制御量ZCを生成する(図4(b)参照)。
倍率生成回路3は、予め与えられた任意の基準変換倍率Z0に倍率制御量ZCを重畳して、変換倍率Zを生成する。この変換倍率Zは、例えば、次式(1)により算出することができる。
Z=Z0×(1+ZC) …(1)
その結果、生成期間前部tb及び生成期間後部tdでは基準変換倍率Z0よりも高い変換倍率で、生成期間中央部tcでは基準変換倍率Z0よりも低い変換倍率で、画素数が変換されることになる(図4(c)参照)。
生成期間中央部tcでの変換倍率Zが基準変換倍率Z0よりも低いため、出力画像データの輪郭幅を入力画像データの輪郭幅Wよりも小さくすることができる(図4(d)参照)。このように、基準変換倍率(一定の変換倍率)Z0に倍率制御量ZCを重畳して変換倍率Zを生成することにより、輪郭部の画像データをより急峻に変化させることができるため、画像の鮮鋭度を向上させることができる。
検出された輪郭幅Wに基づいて生成される倍率制御量ZCは、倍率制御量の生成期間(tb,tc,tdの合計期間)において倍率制御量ZCの総和がゼロとなるように生成される。図4(b)において期間tb,tc,tdに斜線部で示した部分の面積をそれぞれSb,Sc,Sdとすると、Sb+Sd=Scとなるように、倍率制御量ZCの信号が生成される。そのため、画像の変換倍率Zは局部的に上下するが、画像全体での変換倍率Zの平均値は、基準変換倍率Z0と同じである。このように、倍率制御量ZCの総和をゼロにすることにより、ライン単位で画像の輪郭部にずれが生じないようにできる。
図5(a1)〜(d1)及び図5(a2)〜(d2)は、本発明の実施の形態1における変換倍率の制御方法(輪郭幅及び輪郭部の差分量と、倍率制御量との関係)を説明するための図である。図5(a1),(a2)は入力画像データDI、図5(b1),(b2)は倍率制御量ZC、図5(c1),(c2)は変換倍率Z、図5(d1),(d2)は出力画像データDOを示している。
また、図5(a1)〜(d1)は入力画像データDIの輪郭部の輪郭幅がWで輪郭部の差分量がD1である場合を示しており、図5(a2)〜(d2)は入力画像データDIの輪郭部の輪郭幅がWで輪郭部の差分量がD2である場合を示している。ここでは、図5(a1)〜(d1)における輪郭部の差分量D1は、図5(a2)〜(d2)における輪郭部の差分量D2より大きい(図5(a1),(a2)参照)。
図5(a1)〜(d1)と図5(a2)〜(d2)では輪郭部の差分量が異なるが、いずれの場合も同じ輪郭幅Wに基づいて倍率制御量ZCが生成される。このため、図5(b1),(b2)から分かるように、輪郭部の差分量が異なっても、同様な倍率制御量ZCが生成される。そのため、輪郭部の差分量が異なっても、変換倍率Zが同様に変化し(図5(c1),(c2)参照)、出力画像データDOの輪郭幅も同程度に小さくすることができる(図5(d1),(d2)参照)。このように、図5(a1)〜(d1)及び図5(a2)〜(d2)に示す例においては、倍率制御量ZCは、入力画像データDIの輪郭幅Wに基づいて定められ、輪郭部の差分量には依存していない。
輪郭部の差分量が大きいほど輪郭部の変化をより急峻にするように変換倍率を制御する場合には、差分量が小さい輪郭部では、倍率制御量が小さいため、十分な鮮鋭度の向上を得にくい。また、差分量が小さい輪郭部で十分な鮮鋭度向上の効果が得られる程度まで倍率制御量を大きくすると、差分量の大きな輪郭部で過度な鮮鋭度を持つギラギラした画像となってしまう。
これに対して、実施の形態1では、検出した輪郭幅に基づいて変換倍率を制御するため、輪郭部の差分量の大小に影響されることなく、輪郭部の鮮鋭度の向上を過不足なく実施することができる。
図6(a1)〜(d1)及び図6(a2)〜(d2)は、実施の形態1における変換倍率の制御方法(倍率制御量の振幅と、出力画像における輪郭部の変化の急峻さとの関係)を説明するための図である。図6(a1),(a2)は入力画像データDI、図6(b1),(b2)は倍率制御量ZC、図6(c1),(c2)は変換倍率Z、図6(d1),(d2)は出力画像データDOを示している。
図6(a1)〜(d1)及び図6(a2)〜(d2)において、共通の画像データが入力され、輪郭幅Wが検出される(図6(a1),(a2)参照)。輪郭幅Wに基づいて倍率制御量ZCが生成されるが、図6(a1)〜(d1)では倍率制御量の振幅(最大値と最小値の差)がG1であり、図6(a2)〜(d2)では倍率制御量の振幅がG2であるような、それぞれ異なる振幅の倍率制御量が生成されるものとする。倍率制御量の振幅G1とG2は、G1<G2であるとする(図6(b1),(b2)参照)。そして、図6(a1)〜(d1)及び図6(a2)〜(d2)において、予め与えられた基準変換倍率Z0に倍率制御量ZCが重畳され、ぞれぞれの変換倍率Zが生成され(図6(c1),(c2)参照)、これらの変換倍率Zに基づいてそれぞれ画素数の変換がなされる(図6(d1),(d2)参照)。
図6(c1),(c2)に示されるように、生成期間前部tb及び生成期間後部tdにおいては、図6(a1)〜(d1)の場合よりも図6(a2)〜(d2)の場合の方が、より大きな変換倍率で画素数変換が実施され、生成期間中央部tcにおいては、図6(a1)〜(d1)の場合よりも図6(a2)〜(d2)の場合の方が、より小さな変換倍率で画素数変換が実施される。これにより、図6(a1)〜(d1)の場合よりも図6(a2)〜(d2)の場合の方が出力画像の輪郭幅が小さく変換されるため、図6(a1)〜(d1)の場合よりも図6(a2)〜(d2)の場合の方が、出力画像の輪郭部が急峻になるように変換され、鮮鋭度の高い画像を得ることができる。
このように、倍率制御量ZCの振幅(最大値及び最小値)を任意に制御(可変制御)することにより、出力画像の輪郭部の急峻さ及び鮮鋭度を自由に制御することができる。例えば、倍率制御量に任意の係数を乗じることによって、倍率制御量の振幅を可変制御できる。
図7(a1)〜(d1)及び図7(a2)〜(d2)は、実施の形態1における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の振幅を変化させる場合)を説明するための図である。図7(a1),(a2)は入力画像データDI、図7(b1),(b2)は倍率制御量ZC、図7(c1),(c2)は変換倍率Z、図7(d1),(d2)は出力画像データDOを示している。
図7(a1)〜(d1)は輪郭幅W1である画像データが入力された場合、図7(a2)〜(d2)は輪郭幅W2である画像データが入力された場合を示している。輪郭幅W1とW2は、W1<W2である(図7(a1),(a2)参照)。図7(a1)〜(d1)に示される輪郭幅W1の場合と図7(a2)〜(d2)に示される輪郭幅W2の場合とで、それぞれ異なる振幅G1及びG2を有する倍率制御量ZCが生成される(図7(b1),(b2)参照)。
既に説明した図6(a1)〜(d1)及び図6(a2)〜(d2)の場合と同様に、倍率制御量の振幅が大きい場合の方が、輪郭部をより急峻に変換させことができる。例えば、図7(a1)〜(d1)及び図7(a2)〜(d2)において、倍率制御量の振幅G1及びG2を適当に調整すれば、図7(a1)〜(d1)及び図7(a2)〜(d2)におけるそれぞれの出力画像データの輪郭幅を、同じ輪郭幅になるように変換することもできる。より具体的には、G1<G2として、より小さい輪郭幅W1の場合には、より小さい振幅G1の倍率制御量が生成され、より大きい輪郭幅W2の場合には、より大きい振幅G2の倍率制御量が生成されるような制御をすればよい。
なお、倍率制御量の振幅G1とG2を適当に調整することにより、図7(a1)〜(d1)の場合における出力画像の輪郭幅より図7(a2)〜(d2)の場合における出力画像の輪郭幅を大きくするように制御することも可能である。また、図7(a2)〜(d2)の場合より図7(a1)〜(d1)の場合における出力画像の輪郭幅を大きくするように制御することも可能である。
このように、検出される輪郭幅ごとに、それぞれ対応する倍率制御量の振幅を任意に設定することにより、入力画像の任意の輪郭幅の輪郭部を、それぞれ所望の輪郭幅の輪郭部に自由に変換することができる。
図8(a1)〜(d1)及び図8(a2)〜(d2)は、実施の形態1における変換倍率の制御方法(倍率制御量の生成される期間と、出力画像における輪郭部の急峻さとの関係)を説明するための図である。図8(a1),(a2)は入力画像データDI、図8(b1),(b2)は倍率制御量ZC、図8(c1),(c2)は変換倍率Z、図8(d1),(d2)は出力画像データDOを示している。
図8(a1)〜(d1)及び図8(a2)〜(d2)において、入力画像データの輪郭幅は、ともに同じWであるとする(図8(a1),(a2)参照)。このとき、図8(a1)〜(d1)の場合では、期間ZCW1において倍率制御量ZCが生成されるものとする。以降の説明では、図8(a1)〜(d1)においてZCW1として示されている倍率制御量が生成される期間(即ち、倍率制御量が変動している期間)を「倍率制御量の生成期間」とする。一方、図8(a2)〜(d2)では、倍率制御量の生成期間はZCW2である。このとき、ZCW1<ZCW2とする(図8(b1),(b2)参照)。
予め定められた任意の基準変換倍率Z0に、生成された倍率制御量ZCを重畳することにより、図8(a1)〜(d1)及び図8(a2)〜(d2)のそれぞれの変換倍率が生成される(図8(c1),(c2)参照)。生成期間前部tb及び生成期間後部tdでは、基準変換倍率Z0より大きな変換倍率で画素数変換され、生成期間中央部tcでは、基準変換倍率Z0より小さな変換倍率で画素数変換される(図8(d1),(d2)参照)。つまり、輪郭前部tb及び生成期間後部tdでは平坦部よりも高い補間密度で補間演算が行われ、生成期間中央部tcでは平坦部よりも低い補間密度で補間演算が行われる。
図9(a)〜(d)は、画像データDI、変換倍率Z、補間画素位置、及び出力画像データDOの関係を示す。ここで、図9(a)〜(d)は基準変換倍率Z0を1とした場合を示している。図9(c)において、各補間画素位置はX印により表されており、変換倍率Zが高い生成期間前部tb及び生成期間後部tdでは補間密度が高くなり、変換倍率Zが低い生成期間中央部tcでは補間密度が低くなることが分かる。なお、図9(c)に示す各補間画素位置は、図9(b)に示す画像データDIの各画素位置における変換倍率Zに基づいて求めることができる。具体的には、変換倍率Zの逆数を累積加算することにより算出することができる。画素数変換回路4は、各補間画素位置に隣接する画像データDIの画素データを用いて補間演算を行ない、出力画像データDOを算出する。
図8(a1)〜(d1)と図8(a2)〜(d2)とを比較すると、図8(a2)〜(d2)の場合の方が、生成期間中央部tcでの基準変換倍率Z0より小さな変換倍率で変換される期間が長いため、図8(a1)〜(d1)の場合よりも図8(a2)〜(d2)の場合の方が、出力画像の輪郭部がより急峻になるように変換され、鮮鋭度の高い画像を得ることができる。このように、倍率制御量の生成期間を任意に制御(可変制御)することにより、出力画像の輪郭部の急峻さ及び鮮鋭度を自由に制御することができる。
図10(a1)〜(d1)及び図10(a2)〜(d2)は、実施の形態1における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の生成期間を変化させる場合)を説明するための図である。図10(a1),(a2)は入力画像データDI、図10(b1),(b2)は倍率制御量ZC、図10(c1),(c2)は変換倍率Z、図10(d1),(d2)は出力画像データDOを示す。
図10(a1)〜(d1)は輪郭幅W1である画像の輪郭部が入力された場合を示し、図10(a2)〜(d2)は輪郭幅W2である画像の輪郭部が入力された場合を示す。輪郭幅W1及びW2は、W1<W2である(図10(a1),(a2)参照)。図10(a1)〜(d1)の輪郭幅W1と図10(a2)〜(d2)の輪郭幅W2の場合とで、それぞれ異なる生成期間ZCW1及びZCW2を有する倍率制御量が生成される(図10(b1),(b2)参照)。
図10(a1)〜(d1)及び図10(a2)〜(d2)の場合においても、図8(a1)〜(d1)及び図8(a2)〜(d2)の場合と同様に、倍率制御量の生成期間が大きい方が、より輪郭部を急峻に変換する。例えば、図10(a1)〜(d1)及び図10(a2)〜(d2)において、倍率制御量の生成期間ZCW1及びZCW2を適当に調整すれば、図10(a1)〜(d1)の場合及び図10(a2)〜(d2)の場合におけるそれぞれの出力画像データの輪郭幅を、同様の輪郭幅になるように変換することもできる。より具体的には、ZCW1<ZCW2として、より小さい輪郭幅W1の場合には、より小さい生成期間ZCW1の倍率制御量が生成され、より大きい輪郭幅W2の場合には、より大きい生成期間ZCW2の倍率制御量が生成されるような制御をすればよい。
なお、倍率制御量の生成期間ZCW1とZCW2を適当に調整することにより、図10(a1)〜(d1)の場合における出力画像の輪郭幅よりも図10(a2)〜(d2)の場合における出力画像の輪郭幅を大きくするように制御することも可能である。また、図10(a2)〜(d2)の場合よりも図10(a1)〜(d1)の場合における出力画像の輪郭幅を大きくするように制御することも可能である。
このように、検出される輪郭幅ごとに、それぞれ対応する倍率制御量の生成期間を任意に設定することにより、入力画像の任意の輪郭幅の輪郭部を、それぞれ所望の輪郭幅の輪郭部に自由に変換することができる。
図11(a1)〜(d1)及び図11(a2)〜(d2)は、実施の形態1における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の生成期間と振幅の両方を変化させる場合)を説明するための図である。図11(a1),(a2)は入力画像データDI、図11(b1),(b2)は倍率制御量ZC、図11(c1),(c2)は変換倍率Z、図11(d1),(d2)は出力画像データDOを示している。
図11(a1)〜(d1)は輪郭幅W1である画像の輪郭部が入力された場合を示しており、図11(a2)〜(d2)は輪郭幅W2である画像の輪郭部が入力された場合を示している。輪郭幅W1及びW2は、W1<W2である(図11(a1),(a2)参照)。図11(a1)〜(d1)の輪郭幅W1と図11(a2)〜(d2)の輪郭幅W2の場合とで、それぞれ生成期間も振幅も異なるような倍率制御量を生成する(図11(b1),(b2)参照)。
既に説明した通り、倍率制御量の振幅が大きい方が、そして倍率制御量の生成期間が大きい方が、より輪郭部を急峻に変換する。例えば、図11(a1)〜(d1)及び図11(a2)〜(d2)において、倍率制御量の生成期間ZCW1及びZCW2並びに倍率制御量の振幅G1及びG2を適当に調整すれば、図11(a1)〜(d1)及び図11(a2)〜(d2)の場合における出力画像の輪郭幅を同様になるように変換することもできる。より具体的には、G1<G2、ZCW1<ZCW2として、より小さい輪郭幅W1の場合には、より小さい生成期間ZCW1及びより小さい振幅G1の倍率制御量が生成され、より大きい輪郭幅W2の場合には、より大きい生成期間ZCW2及びより大きい振幅G2の倍率制御量が生成されるような制御をすればよい。
なお、倍率制御量の振幅G1及びG2、並びに、倍率制御量の生成期間ZCW1及びZCW2を適当に調整することにより、図11(a1)〜(d1)の場合における出力画像の輪郭幅より図11(a2)〜(d2)の場合における出力画像の輪郭幅を大きくするように制御することも可能である。また、図11(a2)〜(d2)の場合より図11(a1)〜(d1)の場合における出力画像の輪郭幅を大きくするように制御することも可能である。
このように、検出される輪郭幅ごとに、それぞれ対応する倍率制御量の振幅及び生成期間を任意に設定することにより、入力画像における任意の輪郭幅の輪郭部を、所望の輪郭幅の輪郭部に自由に変換することができる。
図12(a1)〜(d1)、図12(a2)〜(d2)、及び図12(a3)〜(d3)は、実施の形態1における変換倍率の制御方法(予め定められた基準変換倍率と倍率制御量のデータ数との関係)を説明するための図である。図12(a1)〜(a3)は入力画像データDI、図12(b1)〜(b3)は倍率制御量ZC、図12(c1)〜(c3)は変換倍率Z、図12(d1)〜(d3)は出力画像データDOを示している。
図12(a1)〜(d1)は入力画像と出力画像の画素数が同じ場合(基準変換倍率Z0=1の場合)を示しており、図12(a2)〜(d2)は画像の拡大変換の場合(基準変換倍率Z0>1の場合)を示しており、図12(a3)〜(d3)は画像の縮小変換の場合(基準変換倍率Z0<1)を示している。
また、図12(a1)〜(a3)における黒丸は入力画像の画素データを示しており、図12(d1)〜(d3)における白丸は出力画像の画素データを示している。図12(b1)〜(b3)における白丸は出力画像の画素データに対する倍率制御量ZCのデータを示しており、図12(c1)〜(c3)における白丸は出力画像の画素データに対する変換倍率Zのデータを示している。
図12(a1)〜(d1)では、基準変換倍率Z0=1であり、入力画像と出力画像の間で画素数が同じ(即ち、画素密度が同じ)であるため、黒丸の間隔と白丸の間隔とは等しく示されている。図12(a2)〜(d2)では、拡大変換(基準変換倍率Z0>1)であり、入力画像より出力画像の画素密度が高くなるように変換されるため、黒丸の間隔よりも白丸の間隔が密に示されている。図12(a3)〜(d3)では、縮小変換(基準変換倍率Z0<1)であり、入力画像より出力画像の画素密度が低くなるように変換されるため、黒丸の間隔よりも白丸の間隔が疎に示される。
図12(a1)〜(d1)、図12(a2)〜(d2)、及び図12(a3)〜(d3)のそれぞれにおいて、共通の画像データが入力され、それぞれ輪郭幅Wが検出される(図12(a1)〜(a3)参照)。そして、輪郭幅Wに基づいて生成期間ZCWの倍率制御量ZCがそれぞれ生成される(図12(b1)〜(b3)参照)。既に説明した通り、倍率制御量の生成期間を図12(a1)〜(d1)の場合、図12(a2)〜(d2)の場合、及び図12(a3)〜(d3)の場合のそれぞれにおいて等しくすると、出力画像の輪郭部の急峻さを同様に制御することができる。しかし、図12(a1)〜(d1)の場合、図12(a2)〜(d2)の場合、及び図12(a3)〜(d3)の場合では画素密度が異なるため、倍率制御量の生成期間ZCWにおいての倍率制御量データの数は互いに異なる。以降の説明では、倍率制御量の生成期間ZCWの間に生成される倍率制御量のデータの数を「倍率制御量データ数」とする。
図12(a2)〜(d2)の場合は拡大変換であって画素密度が図12(a1)〜(d1)の場合より高いので、図12(a2)〜(d2)の場合において倍率制御量の生成期間ZCW中に生成される倍率制御量データ数ZCN2は、図12(a1)〜(d1)の場合において倍率制御量の生成期間ZCW中に生成される倍率制御量データ数ZCN1よりも多く、ZCN1<ZCN2である。同様に、図12(a3)〜(d3)の場合は縮小変換であって画素密度が図12(a1)〜(d1)の場合より低いので、図12(a3)〜(d3)の場合において倍率制御量の生成期間ZCW中に生成される倍率制御量データ数ZCN3は、図12(a1)〜(d1)の場合において倍率制御量の生成期間ZCW中に生成される倍率制御データ数ZCN1よりも少なく、ZCN3<ZCN1である。
このように、画像全体の変換倍率(基準変換倍率Z0)に基づいて倍率制御量のデータ数を変化させることにより、画像全体の変換倍率が変更されても、出力画像の輪郭部の急峻さを同様に維持することができる。つまり、検出された輪郭幅に基づいて倍率制御量を生成するとともに、画像全体の変換倍率に基づいて倍率制御量のデータ数を変化させることにより、画像全体の変換倍率を変更した場合でも、所望の鮮鋭度の出力画像を得ることができる。
以上の説明においては、水平方向の画素数変換を例に説明したが、垂直方向の画素数変換についても同様の動作によって実現することができ、同様の効果を得ることができる。垂直方向の画素数変換と水平方向の画素数変換を順次又は同時に施すことにより、垂直方向及び水平方向の両方について上記のような効果を得ることができる。
図13は、本発明の実施の形態1における画像処理装置の変形例の構成を示すブロック図である。図13において、図3の構成と同一又は対応する構成には、同じ符号を付す。図13に示す画像処理装置は図3に示す画素数変換回路4を画素数変換部(第1の画素数変換部)40及び輪郭強調部(第2の画素数変換部)41に分割して構成した点が、図3に示す画像処理装置と相違している。画素数変換部40は、画像データDIの画素数を基準変換倍率Z0を用いて変換し、変換後画像データDnを輪郭幅検出回路1及び輪郭強調部41に送る。輪郭幅検出回路1は、変換後画像データDnから輪郭幅Wを検出し、倍率制御量生成回路2は輪郭幅Wに基づいて図4に示すような倍率制御量ZCを生成する。倍率生成回路3は倍率制御量ZCに基づいて変換倍率Z1を出力する。この変形例においては、画素数変換部40にて基準変換倍率Z0での画素数変換が既に行なわれているので、変換倍率Z1は式(1)におけるZ0を1とすることによって得られる次式(2)により算出される。
Z1=1+ZC …(2)
変換倍率Z1は、平坦部で1となり、生成期間前部tb及び生成期間後部tdでは1よりも大きく、生成期間中央部tcでは1よりも小さい値となる。輪郭強調部41は、変換倍率Z1に基づいて補間演算を行なうことにより、変換後画像データDnの輪郭部を強調する。つまり、変換倍率Z1が1以外の値をとる生成期間前部tb、生成期間後部td、及び生成期間中央部tcにおいて、変換倍率Z1に基づいて算出される補間画素位置での補間演算が行なわれる(図9(a)〜(d)参照)。これにより、輪郭部が強調された出力画素データDOが算出される。
図14は、本発明の実施の形態1に係る画像処理装置の構成(垂直方向及び水平方向に画素数を変換する場合の構成)を示すブロック図である。図14に示されるように、画像処理装置14は、垂直輪郭幅検出回路6と、垂直倍率制御量生成回路7と、垂直倍率生成回路8と、垂直画素数変換回路9と、水平輪郭幅検出回路10と、水平倍率制御量生成回路11と、水平倍率生成回路12と、水平画素数変換回路13とを備えている。
図14において、垂直輪郭幅検出回路6、垂直倍率制御量生成回路7、垂直倍率生成回路8、及び垂直画素数変換回路9は、垂直方向の画素数変換をする画像処理部を構成しており、水平輪郭幅検出回路10、水平倍率制御量生成回路11、水平倍率生成回路12、及び水平画素数変換回路13は、水平方向の画素数変換をする画像処理部を構成している。また、垂直輪郭幅検出回路6及び水平輪郭幅検出回路10は、それぞれ図3の輪郭幅検出回路1に相当し、垂直倍率制御量生成回路7及び水平倍率制御量生成回路11は、それぞれ図3の倍率制御量生成回路2に相当し、垂直倍率生成回路8及び水平倍率生成回路12は、それぞれ図3の倍率生成回路回路3に相当し、垂直画素数変換回路9及び水平画素数変換回路13は、それぞれ図3の画素数変換回路4に相当している。
入力画像データDIは、垂直輪郭幅検出回路6及び垂直画素数変換回路9に入力される。垂直輪郭幅検出回路6は、入力された画像データDIの画像レベルが垂直方向に変化している期間を垂直輪郭幅WVとして検出し、この垂直輪郭幅WVを出力する。垂直輪郭幅検出回路6から出力された垂直輪郭幅WVは、垂直倍率制御量生成回路7に入力される。
垂直倍率制御量生成回路7は、垂直輪郭幅WVに基づいて、垂直方向の変換倍率を制御するための垂直倍率制御量ZCVを生成し、この垂直倍率制御量ZCVを出力する。垂直倍率制御量生成回路7から出力された垂直倍率制御量ZCVは垂直倍率生成回路8に入力される。
垂直倍率生成回路8は、垂直倍率制御量ZCV及び予め与えられた垂直方向の任意の基準変換倍率ZV0に基づいて、垂直方向の変換倍率(垂直変換倍率)ZVを生成し、この垂直変換倍率ZVを出力する。垂直倍率生成回路8から出力された垂直変換倍率ZVは垂直画素数変換回路9に入力される。
垂直画素数変換回路9は、垂直変換倍率ZVに基づいて、入力画像データDIの垂直方向の画素数を変換し、変換結果の画像データDVを出力する。垂直画素数変換回路9から出力された画像データDVは、水平輪郭幅検出回路10及び水平画素数変換回路13に入力される。
水平輪郭幅検出回路10は、入力された画像データDVの画像レベルが水平方向に変化している期間を水平輪郭幅WHとして検出し、この水平輪郭幅WHを出力する。水平輪郭幅検出回路10から出力された水平輪郭幅WHは、水平倍率制御量生成回路11に入力される。
水平倍率制御量生成回路11は、水平輪郭幅WHに基づいて、水平方向の変換倍率を制御するための水平倍率制御量ZCHを生成し、この水平倍率制御量ZCHを出力する。水平倍率制御量生成回路11から出力された水平倍率制御量ZCHは水平倍率生成回路12に入力される。
水平倍率生成回路12は、水平倍率制御量ZCH及び予め与えられた水平方向の任意の基準変換倍率ZH0に基づいて、水平方向の変換倍率(水平変換倍率)ZHを生成し、この水平変換倍率ZHは水平倍率生成回路12から出力された水平変換倍率ZHは水平画素数変換回路13に入力される。
水平画素数変換回路13は、水平方変換倍率ZHに基づいて、画像データDVの水平方向の画素数を変換し、変換結果の画像データを出力画像データDOとして出力する。
なお、画像処理装置14内のそれぞれ回路の詳しい動作は、図4から図14までを用いて既に説明した内容と同様である。また、垂直画素数変換回路9及び水平画素数変換回路13は、一般にはメモリのような、画像データを一時記憶できる回路を備えることによって実現される。また、水平の基準変換倍率ZH0=1、且つ、垂直の基準変換倍率ZV0=1のときは、画像全体の拡大変換及び縮小変換はなされず、輪郭部の鮮鋭度のみが制御される。
このように、水平方向の基準変換倍率ZH0、垂直方向の基準変換倍率ZV0、水平倍率制御量ZCH、垂直倍率制御量ZCVを、それぞれ独立且つ、任意に設定することにより、水平方向の変換倍率と水平方向の輪郭部の鮮鋭度を独立に制御することができ、且つ、垂直方向の変換倍率と垂直方向の輪郭部の鮮鋭度とを独立に制御することができる。これにより、水平方向には入力画像の水平方向の輪郭幅ごとにそれぞれ所望の鮮鋭度に制御でき、且つ、垂直方向には垂直方向の輪郭幅ごとにそれぞれ所望の鮮鋭度に制御できる。
例えば、垂直方向の基準変換倍率ZV0=2に設定し、水平方向の基準変換倍率ZH0=1に設定することで、インタレース画像からノンインタレース画像に変換(走査線変換)することができ、水平方向と垂直方向の輪郭部を独立に所望の鮮鋭度に制御できる。
なお、上記の画像処理装置14の動作の説明では、画素数変換の動作として垂直方向の画素数変換と水平方向の画素数変換の動作を順次実施する場合について説明したが、水平方向の画素数を変換した後に垂直方向の画素数を変換しても、又は、垂直方向の画素数変換と水平方向の画素数変換を同時に実施しても、同様の効果を得ることができる。
以上に説明したように、実施の形態1によれば、入力画像データの輪郭幅を検出し、この輪郭幅に基づいて倍率制御量を生成し、この倍率制御量に基づいて変換倍率を生成し、この変換倍率に基づいて入力画像データの画素を補間演算して画素数変換をすることにより、任意の幅(期間)の輪郭部を所望の幅(期間)の輪郭部に変換することができるので、出力画像の鮮鋭度を向上することができ、任意の基準変換倍率において所望の鮮鋭度の輪郭部が得られる。また、上記の倍率制御量が輪郭部の振幅に依存しないので、画像全体に過不足なく鮮鋭度を向上することができる。
実施の形態2.
図15は、本発明の実施の形態2に係る画像表示装置の構成を示すブロック図である。実施の形態2の画像表示装置では、画像データ入力回路15の後段に上記実施の形態1において説明された画像処理装置14(構成については図14参照)が配置され、さらにその後段に表示装置16が配置されている。
画像信号は、画像データ入力回路15に入力される。ここで、画像信号は、画像データ信号と同期信号の両方を含むものとする。画像データ入力回路15は、画像信号のフォーマットに基づいて画像データDIを出力する。例えば、画像信号がアナログ信号である場合、画像データ入力回路15は、A/D変換器により構成され、同期信号によって定められる周期でサンプリングされた画像データを出力する。また、画像信号がエンコードされたデジタル信号である場合、画像データ入力回路15は、デコーダ回路により構成され、デコードされた画像データを出力する。
画像データ入力回路15から出力された画像データDIは、画像処理装置14に入力される。画像処理装置14(構成については図14参照)は、上記実施の形態1において詳しく説明したように、画像の輪郭部において、輪郭幅に基づいて変換倍率を制御しながら垂直方向及び水平方向の画素数を変換し、変換結果の画像データDOを出力する。画像処理装置14で画素数変換された画像データDOは、表示装置16に入力され、画像データDOに基づく画像が表示装置16に表示される。
以上に説明したように、実施の形態2によれば、上記実施の形態1の画像処理装置を含む画像表示装置を構成することにより、任意の幅(期間)の輪郭部を所望の幅(期間)の輪郭部に変換することができるので、所望の鮮鋭度の画像を表示することができ、任意の基準変換倍率において輪郭部の鮮鋭度を保持した画像を表示することができる。また、輪郭部の差分量に依存することがないので、画像全体に過不足なく鮮鋭度を向上した画像を表示することができる。
実施の形態3.
上記実施の形態1及び2では、ハードウェアによって画素数を変換する構成について説明したが、ソフトウェアによって画素数を変換することもできる。実施の形態3では、ソフトウェアによって画素数を変換する例について説明する。
図16は、本発明の実施の形態3に係る画像表示方法を示すフローチャートである。図16は、ソフトウェア処理(ソフトウェアとハードウェアが混在していている場合を含む)によって画素数を変換して表示する動作(画像処理方法及び画像表示方法)を説明する。図16において、処理101は垂直方向のデータ生成手順(画素数変換手順)、処理102は水平方向のデータ生成手順(画素数変換手順)である。なお、図16では、垂直方向及び水平方向の両方向に対して画素数変換をする場合について説明するが、水平方向又は垂直方向のそれぞれについて独立に画素数変換することも可能であり、また、いずれかの方向にのみ画素数変換することも可能である。
まず、図16の処理101の垂直方向のデータ生成動作を開始する。ステップS1では、画素数を変換する画像データ(図14のDIに相当)から、着目画素に対する垂直方向の輪郭幅の検出及びフィルタ演算に必要な複数の画素データを抽出する。次のステップS2では、上記ステップS1で抽出された複数の画素データから、垂直方向の輪郭幅(図14のWVに相当)を検出する。次のステップS3では、上記ステップS2で検出された垂直方向の輪郭幅に基づいて、垂直方向の倍率制御量(図14のZCVに相当)を生成する。次のステップS4では、上記ステップS3で生成された倍率制御量と予め与えられた垂直方向の基準変換倍率(図14のZV0に相当)とを重畳して、垂直方向の変換倍率(図14のZVに相当)を生成する。次のステップS5では、上記ステップS4で生成された垂直方向の変換倍率と上記ステップS1で抽出された複数の画素データから、垂直方向のフィルタ演算を実施し、演算結果を保存する。上記ステップS1からS5までの手順を、着目画素が画像の端に達するまで繰り返す(ステップS6)。ここで、画像の端とは、例えば画像の左端から演算する場合は、画像の右端を示す。
上記ステップS6で着目画素が画像の端に達した場合は、着目画素を次のラインに移動し、上記ステップS1からS6までの手順を、最終ラインに達するまで繰り返す(ステップS7)。このような手順を全画素に実施することで、垂直方向の画素数の変換が完了する。
上記垂直方向のデータ生成を完了したら、次に図16の処理102の水平方向のデータ生成動作の開始する。ステップS8では、垂直方向の画素数が変換された画像データ(図14のDVに相当)から、着目画素に対する水平方向の輪郭幅の検出及び水平方向のフィルタ演算に必要な複数の画素データを抽出する。次のステップS9では、上記ステップS8で抽出された複数の画素データから、水平方向の輪郭幅(図14のWHに相当)を検出される。次のステップS10では、上記ステップS9で検出された水平方向の輪郭幅に基づいて、水平方向の倍率制御量(図14のZCHに相当)を生成する。次のステップS11では、上記ステップS10で生成された倍率制御量と予め与えられた水平方向の基準変換倍率(図14のZH0に相当)とを重畳して、水平方向の変換倍率(図14のZHに相当)を生成する。次のステップS12では、上記ステップS11で生成された変換倍率と上記ステップS8で抽出された複数の画素データから、水平方向のフィルタ演算を実施し、演算結果を保存する。上記ステップS8からS12までの手順を、着目画素が画像の端に達するまで繰り返す(ステップS13)。
上記ステップS13で着目画素が画像の端に達した場合は、着目画素を次のラインに移動し、上記ステップS8からS13までの手順を、最終ラインに達するまで繰り返す(ステップS14)。このような手順を全画素に実施することで、水平方向の画素数の変換が完了する。
上記垂直方向のデータ生成及び上記水平方向のデータ生成を完了したら、最後にステップS15において、画素数変換された画像を表示する。
なお、図16のそれぞれのステップの処理内容については、上記実施の形態1で既に詳しく説明している。
また、図16では、垂直方向の画素数を変換した後に水平方向の画素数を変換しているが、水平方向の画素数を変換した後に垂直方向の画素数を変換することも可能である。つまり、図16の処理102のフローを実施した後に図16の処理101のフローを実施することも可能である。また、図16の処理101のフローと図16の処理102のフローのいずれか一方のみを実施することも可能である。
また、図16では、垂直方向及び水平方向の画素数変換において着目画素を画像の左から右、上から下の順で演算しているが、この順番はこの限りではなく、任意の方向から演算しても同様の結果を得ることができる。
また、図16のステップS4,S11の変換倍率(図14のZV,ZHに相当)の1ラインでの平均値は、上記実施の形態1の図4において説明したように、画像全体の変換倍率(図14のZV0,ZH0に相当)と同じになるようにする。つまり、図16のステップS3,S10の倍率制御量(図14のZCV,ZCHに相当)の1ラインでの総和がゼロになるようにする。
以上に説明したように実施の形態3によれば、上記実施の形態1及び2の画像処理方法及び画像表示方法をソフトウェア処理によって実施することにより、任意の幅(期間)の輪郭部を所望の幅(期間)の輪郭部に変換することができるので、所望の鮮鋭度の画像を表示することができ、任意の基準変換倍率において輪郭部の鮮鋭度を保持した画像を表示することができる。また、輪郭部の差分量に依存することがないので、画像全体に過不足なく鮮鋭度を向上した画像を表示することができる。
実施の形態4.
図17は、本発明の実施の形態4に係る画像処理装置(即ち、実施の形態4に係る画像処理方法を実施する装置)の構成を示すブロック図である。図17には、水平方向(又は垂直方向)に画素数を変換する場合の構成が示されている。図17に示されるように、実施の形態4の画像処理装置56は、輪郭幅検出回路51と、輪郭基準位置検出回路52と、倍率制御量生成回路53と、倍率生成回路54と、画素数変換回路55とを備えている。
入力画像データDIは、輪郭幅検出回路51、輪郭基準位置検出回路52及び画素数変換回路55に入力される。輪郭幅検出回路51は、入力された画像データDIの画像レベルが水平方向に変化(増加又は減少)している期間を輪郭幅Wとして検出し、この輪郭幅Wを出力する。ここで、輪郭幅検出回路51は、画像レベルが変化している期間が所定期間内にあるものを輪郭幅Wとして検出する。例えば、輪郭部とみなす部分について、その輪郭幅の最小値Wmin及び最大値Wmaxを予め設定し、画像レベルが変化している期間が最大値Wmaxを越える場合、又は、画像レベルが変化している期間が最小値Wminに満たない場合には、輪郭部と判別せず、輪郭幅Wの検出を行わない。輪郭幅検出回路51から出力された輪郭幅Wは、輪郭基準位置検出回路52及び倍率制御量生成回路53に入力される。
なお、以上の説明においては、入力画像データDIの画像レベルが水平方向に変化(増加又は減少)している期間を輪郭幅Wとして検出する場合を説明したが、輪郭幅Wの検出方法は上記方法には限定されない。輪郭幅Wの検出方法として、後述する図20〜図23(a),(b)、図33〜図38(a),(b)、及びそれらの説明に記載された方法などのような他の方法を採用してもよい。
輪郭基準位置検出回路52は、画像データDIと輪郭幅Wに基づいて、輪郭部の基準位置PMを検出し、この輪郭基準位置PMを出力する。輪郭基準位置検出回路52から出力された輪郭基準位置PMは倍率制御量生成回路53に入力される。
倍率制御量生成回路53は、輪郭幅Wと輪郭基準位置PMに基づいて、変換倍率を制御するための倍率制御量RZCを生成し、この倍率制御量RZCを出力する。倍率制御量生成回路53から出力された倍率制御量RZCは、倍率生成回路54に入力される。
倍率生成回路54は、倍率制御量RZC及び予め与えられた任意の基準変換倍率情報RZ0に基づいて、変換倍率情報RZを生成し、この変換倍率情報RZを出力する。倍率生成回路54から出力された変換倍率情報RZは、画素数変換回路55に入力される。
画素数変換回路55は、変換倍率情報RZを用いて、入力画像データDIの水平方向の画素数を変換し、変換結果の画像データを出力画像データDOとして出力する。
図18(a)〜(e)は、実施の形態4の画像処理装置における輪郭幅検出回路51、輪郭基準位置検出回路52、倍率制御量生成回路53、及び倍率生成回路54の動作を説明するための図である。図18(a)〜(e)において、横軸は画像の水平位置を示している。また、図18(a)の縦軸は入力画像データDIのレベル、図18(b)の縦軸は倍率制御量RZC、図18(c)の縦軸は変換倍率情報RZ、図18(d)の縦軸は変換倍率Z、図18(e)の縦軸は出力画像データDOのレベルを示している。ここで、図18(c)の変換倍率情報RZは、図18(d)の変換倍率Zの逆数を示す(即ち、RZ=1/Z)。例えば、変換倍率Zが1.25である場合には、変換倍率情報RZはZの逆数である0.8となる。
輪郭幅検出回路51は、入力画像データDIのレベルが変化している期間の幅(輪郭幅)Wを検出する(図18(a)参照)。ここで、入力画像データDIのレベルが変化している期間とは、例えば、レベルが増加又は減少している期間である。
輪郭基準位置検出回路52は、輪郭幅Wと入力画像データDIの変化の様子に応じて定められる輪郭基準位置PMを検出する。ここで、輪郭基準位置PMにおける画像データのレベルはDMであるとする(図18(a)参照)。
倍率制御量生成回路53は、検出された輪郭幅Wと輪郭基準位置PMに基づいて、生成期間前部tbで負、生成期間中央部tcで正、生成期間後部tdで負、それ以外の部分でゼロとなるような倍率制御量RZCを生成する(図18(b)参照)。
倍率生成回路54は、予め与えられた任意の基準変換倍率情報RZ0に倍率制御量RZCを重畳して、変換倍率情報RZを生成する(図18(c)参照)。
図18(d)において、Z0は予め定められた基準変換倍率であり、基準変換倍率情報RZ0の逆数(即ち、Z0=1/RZ0)である。
RZとZは逆数の関係にあるため、生成期間前部tb及び生成期間後部tdのように、変換倍率情報RZが基準変換倍率情報RZ0よりも小さい場合(RZ<RZ0、図18(c)参照)には、変換倍率Zは基準変換倍率Z0よりも大きくなる(Z>Z0、図18(d)参照)。一方、生成期間中央部tcのように、変換倍率情報RZが基準変換倍率情報RZ0より大きい(RZ>RZ0、図18(c)参照)場合には、変換倍率Zは基準変換倍率Z0より小さくなる(Z<Z0、図18(d)参照)。つまり、生成期間前部tb及び生成期間後部tdでは基準変換倍率Z0よりも高い変換倍率で、生成期間中央部tcでは基準変換倍率Z0よりも低い変換倍率で、画素数が変換されることになる(図18(d)参照)。
生成期間中央部tcでの変換倍率Zが基準変換倍率Z0よりも低いため、出力画像データの輪郭幅を入力画像データの輪郭幅Wよりも小さくすることができる(図18(e)参照)。このように、一定の基準変換倍率RZ0に倍率制御量RZCを重畳して変換倍率情報RZを生成することにより、輪郭部の画像データをより急峻に変化させることができるため、画像の鮮鋭度を向上させることができる。
検出された輪郭幅Wに基づいて生成される倍率制御量RZCは、倍率制御量の生成期間(tb,tc,tdの合計期間)において倍率制御量RZCの総和がゼロとなるように生成される。図18(b)の期間tb,tc,tdに斜線部で示した部分の面積をそれぞれSb,Sc,Sdとすると、Sb+Sd=Scとなるように、倍率制御量RZCの信号が生成される。そのため、画像の変換倍率情報RZは局部的に変動するが、画像全体での変換倍率情報RZの平均値は、基準変換倍率情報RZ0と同じである。このように、倍率制御量RZCの総和をゼロにすることにより、ライン単位で画像の輪郭部にずれが生じないようにできる。
図18(a),(e)に示されるように、輪郭基準位置PMにおいて、入力画像データと出力画像データの値が変化していない(DMのままである)。ここでは、輪郭基準位置において入力画像データと出力画像データの値が変化しないように、倍率制御量を生成する方法について説明する。
図19は、輪郭基準位置PMと倍率制御量RZCの関係を補足的に説明するための図である。図19において、横軸は画像の水平位置を示し、縦軸は、図18(b)に示した倍率制御量RZCを積分した値を示す。この倍率制御量RZCの積分値は、入力画像に対して出力画像の画素データが水平方向にどれだけずれているかを表している。逆に言えば、積分値ゼロの場合には、入力画像と出力画像の画素データが一致していることを表している。
次に、図19を参照しながら、倍率制御量の積分値、即ち、入力画像と出力画像のずれが、水平位置に関してどのように変化しているかを説明する。まず、生成期間前部tbよりも前方の期間では、入力画像と出力画像のずれはない。また、生成期間前部tbの期間では、出力画像のマイナス方向のずれが大きくなっていく。また、生成期間中央部tcの期間では、出力画像のマイナス方向のずれが小さくなっていき、一旦ゼロになり、さらにその後プラス方向のずれが大きくなっていく。また、生成期間後部tdの期間では出力画像のプラス方向のずれが小さくなっていき、再びゼロに戻る。生成期間後部tdより後方の期間では、入力画像と出力画像にずれはない。
上記のように、生成期間中央部tcで一旦倍率制御量の積分値がゼロになる点がある。この点では、入力画像データのレベルと出力画像データのレベルが一致する。即ち、この点が輪郭基準位置PMと一致するように倍率制御量を生成することにより、輪郭基準位置PMにおいて出力画像データを入力画像データと一致させることができる。
このようにして、倍率制御量RZCは輪郭基準位置PMに基づいて制御することにより、輪郭部の鮮鋭度を向上させることができ、しかも、画素数変換の前後で輪郭部の位置を移動させないことができる。
次に、輪郭幅検出回路51の動作を説明する。図20は、実施の形態4における輪郭幅検出回路51の動作を説明するための図であって、画像データ(縦軸)と輪郭幅(横軸)の関係を示す図である。図20において、D1、D2、D3及びD4は、所定のサンプリング周期Wsでサンプリングされた画像データである。ここで、D1とD2の差分量をa、D2とD3の差分量をb、D3とD4の差分量をcとする。即ち、a=D2−D1、b=D3−D2、c=D4−D3とする。また、図20において、aは輪郭前部のデータ変化、bは輪郭中央部のデータ変化、cは輪郭後部のデータ変化を示している。輪郭前部、輪郭中央部、及び輪郭後部の合計の期間の和は、輪郭幅Wである。
輪郭幅検出回路51は、画像データが単調増加又は単調減少しており、且つ、輪郭前部及び輪郭後部が輪郭中央部に比べて平坦であるような部分を、輪郭部として検出する。このとき、輪郭部を検出する条件は、a、b、cのそれぞれの正負の符号が同じであるかゼロであり、且つ、aの絶対値とcの絶対値の両方がbの絶対値より小さいことである。この条件を以下に、式(3a)及び式(3b)として示す。
(a≧0且つb≧0且つc≧0)又は(a≦0且つb≦0且つc≦0)
…(3a)
|b|>|a|且つ|b|>|c| …(3b)
式(3a)と式(3b)とを同時に満たす場合に、図20におけるD1からD4までの期間を輪郭部とみなし、その間隔を輪郭幅Wとして出力する。このとき、輪郭幅W=3×Wsである。
図20を用いた説明では、1サンプリング周期で抽出された画像データをもとに輪郭幅を検出する方法を説明したが、別の周期で得られる画像データを用いて輪郭幅を検出してもよい。
図21は、2サンプリング周期ごとに抽出された画像データを用いて輪郭幅の検出を行う例を示す図である。図21において、D1〜D7は所定のサンプリング周期Wsでサンプリングされた画像データである。これらのうち、2サンプリング周期ごとに抽出された画像データD1、D3、D5及びD7(図21において、白丸で示す)を用いて輪郭幅の検出を行ってもよい。図21において、a、b及びcは2サンプリング周期で隣り合う画像データの差分量であり、a=D3−D1、b=D5−D3、c=D7−D5である。既に説明したものと同様に、a,b,cが式(3a)及び式(3b)を満たす場合に、D1からD7までの期間を輪郭部とみなし、その間隔を輪郭幅Wとして出力する。この場合、輪郭幅W=3×2×Wsとなるため、1サンプリング周期で抽出された画素データを用いる場合よりも、2倍広い輪郭幅を検出することができる。そのため、サンプリングクロックに比べて画像データの帯域が低いような場合にも、画像の輪郭幅を検出できる。
図22は、Nサンプリング周期(Nは正の整数)ごとに抽出された画像データを用いて輪郭幅の検出を行う例を示す図である。図22において、白丸及びX印で示した画素データは所定のサンプリング周期Wsでサンプリングされた画像データである。これらのうち、白丸で示した画素データは、Nサンプリング周期ごとに抽出した画像データであり、これらを用いて輪郭幅の検出を行ってもよい。図22において、a、b及びcは、Nサンプリング周期で隣り合う画素データ(白丸)の差分量を示し、式(3a)及び式(3b)を満たすとき輪郭幅Wを出力する。この場合、輪郭幅W=3×N×Wsとなるので、1サンプリング周期で抽出された画素データを用いる場合よりも、N倍広い輪郭幅を検出することができる。
上記では、サンプリング周期の整数倍で抽出した画素データを用いて輪郭幅を検出する方法について説明したが、サンプリング周期の非整数倍の周期で再サンプリングした画素データを用いてもよい。
図23(a),(b)は、サンプリング周期のK倍の周期毎に再サンプリングした画像データを用いる例を示す図である。ここで、Kは正の実数である。図23(a)において、D1〜D5は所定のサンプリング周期Wsでサンプリングされた画像データである(白丸で示す)。サンプリング周期Wsでサンプリングされた画像データD1〜D5を、新たなサンプリング周期K×Wsで再サンプリングすることにより、図23(b)に示すような再サンプリングされた画像データDR1、DR2、DR3、及びDR4を得ることができる。例えば、画像データDR2は、画像データD2及びD3を適当な比率で補間することにより求められる。
図23(b)において、a,b,cは、隣接する再サンプリングされた画像データの差分量であり、a=DR2−DR1、b=DR3−DR2、c=DR4−DR3である。a,b,cが式(3a)及び式(3b)を満たす場合に、点DR1から点DR4までの期間を輪郭幅Wとして出力する。このようにして、再サンプリングにより求められた画像データを用いて、輪郭幅の検出を行ってもよい。この場合、1サンプリング周期で抽出された画素データを用いる場合よりも、K倍広い輪郭幅を検出することができる。
次に、輪郭基準位置検出回路52の動作を説明する。図24は、輪郭基準位置検出回路52の動作を説明するための図であって、輪郭基準位置と画像データ及び輪郭幅の関係を示す図である。図24において、横軸は画像の水平位置を示し、縦軸は入力画像データDIのレベルを示している。また、図24には、輪郭幅検出回路51において検出された輪郭幅がWであるような画像の輪郭部が示されており、このとき輪郭部の差分量をDWとしている。輪郭基準位置検出回路52は、差分量DWを2等分する画像レベルDMに対応して定められる水平位置PMを輪郭部の基準位置PMとして検出する。
図25(a),(b)は、輪郭部の形状と輪郭基準位置の関係を示す図である。図25(a)は、輪郭幅Wに対して前寄りとなるような形状の輪郭部を示している。この場合、差分量DWを2等分する画像レベルDMに対応する水平位置PM、即ち、輪郭基準位置PMは、輪郭幅Wに対して前寄りの位置として検出される。一方、図25(b)は輪郭幅Wに対して後ろ寄りな形状の輪郭部を示しており、この場合も同様に、輪郭基準位置は輪郭幅Wに対して後ろ寄りの位置として検出される。このような輪郭基準位置検出回路52の動作により、輪郭基準位置検出回路52は輪郭部の形状に応じて適切な輪郭基準位置を検出することができる。
なお、上記説明においては、輪郭部の差分量を、0.5:0.5の比で分ける画像レベルに対応する水平位置を輪郭基準位置とした場合を説明したが、輪郭部の差分量をα:(1−α)の比で分けるような画像レベルに対応する水平位置であってもよい。ここで、0≦α<1であるとする。この場合、αを調節することで、視感度やユーザの好みに応じて適当に輪郭基準位置を調節することができる。
図26(a1)〜(e1)及び図26(a2)〜(e2)は、実施の形態4における変換倍率情報の制御方法を説明するための図である。図26(a1),(a2)は入力画像データDI、図26(b1),(b2)は倍率制御量RZC、図26(c1),(c2)は変換倍率情報RZ、図26(d1),(d2)は変換倍率Z、図26(e1),(e2)は出力画像データDOを示している。なお、変換倍率情報RZは変換倍率Zの逆数(即ち、RZ=1/Z)である。また、図26(a1)〜(e1)は入力画像データDIの輪郭部が輪郭幅W、輪郭基準位置PM、輪郭部の差分量D1である場合を示しており、図26(a2)〜(e2)は入力画像データDIの輪郭部が輪郭幅W、輪郭基準位置PM、輪郭部の差分量D2である場合を示している。なお、図26(a1)〜(e1)における輪郭部の差分量D1は、図26(a2)〜(e2)における輪郭部の差分量D2より大きい場合を示している。また、図26(a1)〜(e1)における輪郭基準位置PMにおける画像データDM1は、図26(a2)〜(e2)における画像データDM2より大きい場合を示している(図26(a1),(a2)参照)。
図26(a1)〜(e1)と図26(a2)〜(e2)では輪郭部の差分量が異なるが、いずれの場合も同じ輪郭幅Wに基づいて倍率制御信号RZCが生成される。このため、図26(b1),(b2)から分かるように、輪郭部の差分量が異なっても、同様な倍率制御信号RZCが生成される。そのため、輪郭部の差分量が異なっても、変換倍率情報RZ及び変換倍率Zが同様に変化し、出力画像データDOの輪郭幅も同程度に小さくすることができる(図26(c1)〜(e1)及び図26(c2)〜(e2)参照)。
また、既に説明したように、輪郭基準位置において入力画像データと出力画像データが変化しないように、倍率制御信号が生成される(図26(a1),(e1)及び図26(a2),(e2)参照)。このように、倍率制御量は、輪郭幅W及び輪郭基準位置PMに基づいて定められ、輪郭部の差分量には依存しない。
輪郭部の差分量に基づいて倍率制御量が生成された場合、例えば、輪郭部の差分量が大きいほど輪郭部の変化をより急峻にするように変換倍率が制御される場合には、差分量が小さい輪郭部では、倍率制御量が小さいため、十分な鮮鋭度の向上を得にくい。また、差分量が小さい輪郭部で十分な鮮鋭度向上の効果が得られる程度まで倍率制御量を大きくすると、今度は、差分量の大きな輪郭部で過度な鮮鋭度のギラギラした画像となってしまう。これに対して、実施の形態4では、検出した輪郭幅に基づいて変換倍率を制御するため、輪郭部の差分量の大小に影響されることなく、輪郭部の鮮鋭度の向上を過不足なく実施することができる。
実施の形態5.
実施の形態5は、実施の形態4の変形例である。図27(a1)〜(e1)及び図27(a2)〜(e2)は、本発明の実施の形態5における変換倍率の制御方法(倍率制御量の振幅と出力画像における輪郭部の変化の急峻さとの関係)を説明するための図である。図27(a1),(a2)は入力画像データDI、図27(b1),(b2)は倍率制御量RZC、図27(c1),(c2)は変換倍率情報RZ、図27(d1),(d2)は変換倍率Z、図27(e1),(e2)は出力画像データDOを示す。ここで、RZはZの逆数(即ち、RZ=1/Z)である。
図27(a1)〜(e1)と図27(a2)〜(e2)において、共通の画像データが入力され、輪郭幅Wが検出される(図27(a1),(a2)参照)。輪郭幅Wに基づいて倍率制御量ZCが生成されるが、図27(a1)〜(e1)では倍率制御量の振幅(最大値と最小値の差)がG1であり、図27(a2)〜(e2)では倍率制御量の振幅がG2であるような、それぞれ異なる振幅の倍率制御量が生成されるものとする。倍率制御量の振幅G1とG2は、G1<G2であるとする(図27(b1),(b2)参照)。そして、図27(a1)〜(e1)の場合及び図27(a2)〜(e2)の場合のそれぞれにおいて、予め与えられた基準変換倍率RZ0に倍率制御量RZCが重畳され、ぞれぞれの変換倍率情報RZが生成される(図27(c1),(c2)参照)。このとき、変換倍率Z=1/RZは、図27(d1),(d2)のようになる。このような変換倍率RZに基づいて、それぞれ画素数の変換がなされる(図27(e1),(e2)参照)。
図27(d1),(d2)に示されるように、生成期間前部tb及び生成期間後部tdにおいては、図27(a1)〜(e1)の場合よりも図27(a2)〜(e2)の場合の方が、より大きな変換倍率で画素数変換が実施され、生成期間中央部tcにおいては、図27(a1)〜(e1)の場合よりも図27(a2)〜(e2)の場合の方が、より小さな変換倍率で画素数変換が実施される。これにより、図27(a1)〜(e1)の場合より図27(a2)〜(e2)の場合の方が出力画像の輪郭幅が小さく変換されるため、図27(a1)〜(e1)の場合よりも図27(a2)〜(e2)の場合の方が、出力画像の輪郭部が急峻になるように変換され、鮮鋭度の高い画像を得ることができる。
このように、倍率制御量の振幅(最大値及び最小値)を任意に制御(可変制御)することにより、出力画像の輪郭部の急峻さ及び鮮鋭度を自由に制御することができる。例えば、倍率制御量に任意の係数を乗じることによって、倍率制御量の振幅を可変制御できる。
実施の形態6.
実施の形態6は、実施の形態4の変形例である。図28(a1)〜(e1)及び図28(a2)〜(e2)は、本発明の実施の形態6における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の振幅を変化させる場合)を説明するための図である。図28(a1),(a2)は入力画像データDI、図28(b1),(b2)は倍率制御量RZC、図28(c1),(c2)は変換倍率情報RZ、図28(d1),(d2)は変換倍率Z、図28(e1),(e2)は出力画像データDOを示している。ここで、RZはZの逆数(即ち、RZ=1/Z)である。
図28(a1)〜(e1)は輪郭幅W1である画像データが入力された場合、図28(a2)〜(e2)は輪郭幅W2である画像データが入力された場合を示している。輪郭幅W1とW2は、W1<W2である(図28(a1),(a2)参照)。図28(a1)〜(e1)に示される輪郭幅W1の場合と図28(a2)〜(e2)に示される輪郭幅W2の場合とで、それぞれ異なる振幅G1及びG2を有する倍率制御量が生成される(図28(b1),(b2)参照)。上記実施の形態5で説明した通り、倍率制御量の振幅が大きい方が、より輪郭部を急峻に変換する。
例えば、図28(a1)〜(e1)及び図28(a2)〜(e2)に示され倍率制御量の振幅G1及びG2を適当に調整すれば、図28(a1)〜(e1)及び図28(a2)〜(e2)におけるそれぞれの出力画像データの輪郭幅を、同様の輪郭幅になるように変換することもできる。より具体的には、G1<G2として、より小さい輪郭幅W1の場合には、より小さい振幅G1の倍率制御量が生成され、より大きい輪郭幅W2の場合には、より大きい振幅G2の倍率制御量が生成されるような制御をすればよい。
なお、倍率制御量の振幅G1とG2を適当に調整することにより、図28(a1)〜(e1)の出力画像の輪郭幅より図28(a2)〜(e2)の出力画像の輪郭幅を大きくするように制御することも可能である。また、図28(a2)〜(e2)の場合より図28(a1)〜(e1)の場合の出力画像の輪郭幅を大きくするように制御することも可能である。
このように、検出される輪郭幅ごとに、それぞれ対応する倍率制御量の振幅を任意に設定することにより、入力画像における任意の輪郭幅の輪郭部を、それぞれ所望の輪郭幅の輪郭部に自由に変換することができる。
実施の形態7.
実施の形態7は、実施の形態4の変形例である。図29(a1)〜(e1)及び図29(a2)〜(e2)は、本発明の実施の形態7における変換倍率の制御方法(倍率制御量の生成される期間と、出力画像における輪郭部の急峻さとの関係)を説明するための図である。図29(a1),(a2)は入力画像データDI、図29(b1),(b2)は倍率制御量RZC、図29(c1),(c2)は変換倍率情報RZ、図29(d1),(d2)は変換倍率Z、図29(e1),(e2)は出力画像データDOを示している。ここで、RZ=1/Zである。
図29(a1)〜(e1)及び図29(a2)〜(e2)において、入力画像データの輪郭幅は、ともに同じWであるとする(図29(a1),(a2)参照)。このとき、図29(a1)〜(e1)では、期間ZCW1において倍率制御量ZCが生成されるとする。図29(a1)〜(e1)にZCW1として示されている倍率制御量が生成される期間を「倍率制御量の生成期間」とする。一方、図29(a2)〜(e2)では、倍率制御量の生成期間はZCW2である。このとき、ZCW1<ZCW2とする(図29(b1),(b2)参照)。
予め定められた任意の基準変換倍率情報RZ0に、生成された倍率制御量RZCを重畳することにより、図29(a1)〜(e1)及び図29(a2)〜(e2)のそれぞれの変換倍率が生成される(図29(c1),(c2)参照)。このとき、変換倍率Z(=1/RZ)は図29(d)のようになる。生成期間前部tb及び生成期間後部tdでは、基準変換倍率Z0より大きな変換倍率で画素数変換され、生成期間中央部tcでは、基準変換倍率Z0より小さな変換倍率で画素数変換される(図29(e1),(e2)参照)。
図29(a1)〜(e1)と図29(a2)〜(e2)を比較すると、図29(a2)〜(e2)の場合の方が生成期間中央部tcでの基準変換倍率Z0より小さな変換倍率で変換される期間が長いため、図29(a1)〜(e1)の場合よりも図29(a2)〜(e2)の場合の方が、出力画像の輪郭部がより急峻になるように変換され、鮮鋭度の高い画像を得ることができる。このように、倍率制御量の生成期間を任意に制御(可変制御)することにより、出力画像の輪郭部の急峻さ及び鮮鋭度を自由に制御することができる。
実施の形態8.
実施の形態8は、実施の形態4の変形例である。図30(a1)〜(e1)及び図30(a2)〜(e2)は、本発明の実施の形態8における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の生成期間を変化させる場合)を説明するための図である。図30(a1),(a2)は入力画像データDI、図30(b1),(b2)は倍率制御量RZC、図30(c1),(c2)は変換倍率情報RZ、図30(d1),(d2)は変換倍率Z、図30(e1),(e2)は出力画像データDOを示している。ここで、RZ=1/Zである。
図30(a1)〜(e1)は輪郭幅W1である画像の輪郭部が入力された場合を示しており、図30(a2)〜(e2)は輪郭幅W2である画像の輪郭部が入力された場合を示している。輪郭幅W1及びW2は、W1<W2の関係を持つ(図30(a1),(a2)参照)。図30(a1)〜(e1)に示される輪郭幅W1の場合と、図30(a2)〜(e2)に示される輪郭幅W2の場合とで、それぞれ異なる生成期間ZCW1及びZCW2を有する倍率制御量が生成される(図30(b1),(b2)参照)。
実施の形態7で説明した通り、倍率制御量の生成期間が大きい場合の方が、より輪郭部を急峻に変換することができる。例えば、図30(a1)〜(e1)及び図30(a2)〜(e2)において、倍率制御量の生成期間ZCW1及びZCW2を適当に調整すれば、図30(a1)〜(e1)及び図30(a2)〜(e2)におけるそれぞれの出力画像データの輪郭幅を、同様の輪郭幅になるように変換することもできる。より具体的に言えば、ZCW1<ZCW2として、より小さい輪郭幅W1の場合には、より小さい生成期間ZCW1の倍率制御量が生成され、より大きい輪郭幅W2の場合には、より大きい生成期間ZCW2の倍率制御量が生成されるような制御をすればよい。
なお、倍率制御量の生成期間ZCW1とZCW2を適当に調整することにより、図30(a1)〜(e1)の場合の出力画像の輪郭幅より図30(a2)〜(e2)の場合の出力画像の輪郭幅を大きくするように制御することも可能である。また、図30(a2)〜(e2)の場合より図30(a1)〜(e1)の場合の出力画像の輪郭幅を大きくするように制御することも可能である。
このように、検出される輪郭幅ごとに、それぞれ対応する倍率制御量の生成期間を任意に設定することにより、入力画像における任意の輪郭幅の輪郭部を、それぞれ所望の輪郭幅の輪郭部に自由に変換することができる。
実施の形態9.
実施の形態9は、実施の形態4の変形例である。図31(a1)〜(e1)及び図31(a2)〜(e2)は、本発明の実施の形態9における変換倍率の制御方法(入力画像の輪郭幅に基づいて倍率制御量の生成期間と振幅の両方を変化させる場合)を説明するための図である。図31(a1),(a2)は入力画像データDI、図31(b1),(b2)は倍率制御量RZC、図31(c1),(c2)は変換倍率情報RZ、図31(d1),(d2)は変換倍率Z、図31(e1),(e2)は出力画像データDOを示している。ここで、RZ=1/Zである。
図31(a1)〜(e1)は輪郭幅W1である画像の輪郭部が入力された場合を示しており、図31(a2)〜(e2)は輪郭幅W2である画像の輪郭部が入力された場合を示している。輪郭幅W1及びW2は、W1<W2である(図31(a1),(a2)参照)。図31(a1)〜(e1)の輪郭幅W1と図31(a2)〜(e2)の輪郭幅W2の場合とで、それぞれ生成期間も振幅も異なるような倍率制御量を生成する(図31(b1),(b2)参照)。
既に実施の形態5と実施の形態7で説明した通り、倍率制御量の振幅が大きい場合の方が、そして倍率制御量の生成期間が大きい場合の方が、より輪郭部を急峻に変換する。
例えば、図31(a1)〜(e1)及び図31(a2)〜(e2)において、倍率制御量の生成期間ZCW1及びZCW2、並びに、倍率制御量の振幅G1及びG2を適当に調整すれば、図31(a1)〜(e1)及び図31(a2)〜(e2)の出力画像の輪郭幅を同様になるように変換することもできる。より具体的に言えば、G1<G2、ZCW1<ZCW2として、より小さい輪郭幅W1の場合には、より小さい生成期間ZCW1及びより小さい振幅G1の倍率制御量が生成され、より大きい輪郭幅W2の場合には、より大きい生成期間ZCW2及びより大きい振幅G2の倍率制御量が生成されるような制御をすればよい。
なお、振幅G1及びG2、並びに、生成期間ZCW1及びZCW2を適当に調整することにより、図31(a1)〜(e1)の場合における出力画像の輪郭幅より図31(a2)〜(e2)の場合における出力画像の輪郭幅を大きくするように制御することも可能である。また、図31(a2)〜(e2)の場合より図31(a1)〜(e1)の場合における出力画像の輪郭幅を大きくするように制御することも可能である。
このように、検出される輪郭幅ごとに、それぞれ対応する倍率制御量の振幅及び生成期間を任意に設定することにより、入力画像における任意の輪郭幅の輪郭部を、所望の輪郭幅の輪郭部に自由に変換することができる。
実施の形態10.
実施の形態10は、実施の形態4の変形例である。図32(a1)〜(e1)、図32(a2)〜(e2)及び図32(a3)〜(e3)は、本発明の実施の形態10における変換倍率の制御方法(予め定められた基準変換倍率と倍率制御量のデータ数との関係)を説明するための図ある。図32(a1)〜(a3)は入力画像データDI、図32(b1)〜(b3)は倍率制御量RZC、図32(c1)〜(c3)は変換倍率情報RZ、図32(d1)〜(d3)は変換倍率Z、図32(e1)〜(e3)は出力画像データDOを示している。
図32(a1)〜(e1)は入力画像と出力画像の画素数が同じ場合(基準変換倍率Z0=1の場合)を示しており、図32(a2)〜(e2)は画像の拡大変換の場合(基準変換倍率Z0>1の場合)を示しており、図32(a3)〜(e3)は画像の縮小変換の場合(基準変換倍率Z0<1)を示している。
また、図32(a1)〜(a3)における黒丸は入力画像の画素データを示しており、図32(d1)〜(d3)における白丸は出力画像の画素データを示している。図32(b1)〜(b3)における白丸は出力画像の画素データに対する倍率制御量RZCのデータを示している。また、図32(c1)〜(c3)における白丸は出力画像データに対する変換倍率情報RZのデータを示している。また、図32(d1)〜(d3)における白丸は、出力画像の画素データに対する変換倍率Zのデータを示している。
図32(a1)〜(e1)では、基準変換倍率Z0=1であり、入力画像と出力画像の間で画素数が同じ(即ち、画素密度が同じ)であるため、黒丸の間隔と白丸の間隔は等しく示されている。図32(a2)〜(e2)では、拡大変換(基準変換倍率Z0>1)であり、入力画像より出力画像の画素密度が高くなるように変換されるため、黒丸の間隔よりも白丸の間隔が密に示されている。図32(a3)〜(e3)では、縮小変換(基準変換倍率Z0<1)であり、入力画像より出力画像の画素密度が低くなるように変換されるため、黒丸の間隔よりも白丸の間隔が疎に示されている。
図32(a1)〜(e1)、図32(a2)〜(e2)、及び図32(a3)〜(e3)のそれぞれにおいて、共通の画像データが入力され、それぞれ輪郭幅W及び輪郭基準位置PMが検出される(図32(a1)〜(a3)参照)。そして、輪郭幅W及び輪郭基準位置PMに基づいて生成期間ZCWの倍率制御量RZCがそれぞれ生成される(図32(b1)〜(b3)参照)。既に説明した通り、倍率制御量の生成期間ZCWを図32(a1)〜(e1)、図32(a2)〜(e2)、及び図32(a3)〜(e3)で等しくすると、出力画像の輪郭部の急峻さを同様に制御することができる。しかし、図32(a1)〜(e1)、図32(a2)〜(e2)、図32(a3)〜(e3)では画素密度が異なるため、倍率制御量の生成期間ZCWにおいての倍率制御量データの数は図32(a1)〜(e1)、図32(a2)〜(e2)、図32(a3)〜(e3)で互いに異なる。以降の説明では、倍率制御量の生成期間ZCWの間に生成される倍率制御量のデータの数を「倍率制御量データ数」とする。
図32(a2)〜(e2)は拡大変換であって画素密度が図32(a1)〜(e1)の場合より高いので、図32(a2)〜(e2)において倍率制御量の生成期間ZCW中に生成される倍率制御量データ数ZCN2は、図32(a1)〜(e1)において倍率制御量の生成期間ZCW中に生成される倍率制御量データ数ZCN1よりも多く、ZCN1<ZCN2である。同様に、図32(a3)〜(e3)は縮小変換であって画素密度が図25(a1)〜(e1)の場合より低いので、図32(a3)〜(e3)において倍率制御量の生成期間ZCW中に生成される倍率制御量データ数ZCN3は、図32(a1)〜(e1)において倍率制御量の生成期間ZCW中に生成される倍率制御データ数ZCN1よりも少なく、ZCN3<ZCN1である。
このように、画像全体の変換倍率(基準変換倍率Z0)に基づいて倍率制御量のデータ数を変化させることにより、画像全体の変換倍率が変更されても、出力画像の輪郭部の急峻さを同様に維持することができる。つまり、検出された輪郭幅と輪郭基準位置に基づいて倍率制御量を生成するとともに、画像全体の変換倍率に基づいて倍率制御量のデータ数を変化させることにより、画像全体の変換倍率を変更した場合でも、所望の鮮鋭度の出力画像を得ることができる。
実施の形態11.
実施の形態11は、実施の形態1又は実施の形態4の変形例である。図33は、本発明の実施の形態11における輪郭幅検出回路51の動作を説明するための図であって、画像データDIと輪郭幅Wの関係を説明するための図である。図33において、D1、D2、D3、D4及びD5は、所定のサンプリング周期Wsでサンプリングされた画像データである。また、図33において、a,b,c及びdは、隣接する画像データの差分量であって、a=D2−D1、b=D3−D2、c=D4−D3、d=D5−D4である。言い換えれば、図33において、aは輪郭前部における画像データの変化、b及びcは輪郭中央部における画像データの変化、dは輪郭後部における画像データの変化を示している。
実施の形態11の輪郭幅検出回路51は、画像データが単調増加又は単調減少しており、且つ、輪郭前部及び輪郭後部が輪郭中央部に比べて平坦であるような部分を輪郭部として検出する。このとき、輪郭部を検出する条件は、a、b、c、dのそれぞれの正負の符号が同じであるか又はゼロであり、且つ、|b|と|c|の両方が、|a|及び|d|の両方よりも大きいことである。この条件を式で表現すれば、以下の式(4a)及び式(4b)のようになる。
(a≧0且つb≧0且つc≧0且つd≧0)又は
(a≦0且つb≦0且つc≦0且つd≦0) …(4a)
|b|>|a|且つ|b|>|d|且つ|c|>|a|且つ|c|>|d|
…(4b)
式(4a)及び式(4b)を同時に満たす場合に、図33におけるD1からD5までの期間を輪郭部とみなし、D1からD5までの間隔を輪郭幅Wとして出力する。また、このときの輪郭幅W=4×Wsとなる。このようにして、輪郭幅検出回路51は輪郭幅を検出することができる。
図34は、実施の形態11における輪郭幅検出回路51の動作を説明するための図であり、画像データDIと輪郭幅Wの関係を説明するための図である。図34においては、1つの輪郭部について、2種類の異なる輪郭幅が検出された場合の動作を説明する。
図34において、D1〜D5は、所定のサンプリング周期Wsでサンプリングされた画像データである。また、図34において、a、b、c及びdは、隣接する画素間の差分量を示しており、それぞれ、a=D2−D1、b=D3−D2、c=D4−D3、d=D5−D4である。
図34に示されるように、a,b,cが上記式(3a)及び式(3b)を満たすと同時に、a,b,c,dが上記式(4a)及び式(4b)を満たす場合がある。このとき、D1からD4までの期間が輪郭幅W1=3×Wsとして検出され、D1からD5までの期間が輪郭幅W2=4×Wsとして検出される。このように、W1<W2なる2種類の異なる輪郭幅が同時に検出される場合、輪郭幅検出回路51はより広い輪郭幅Wを検出結果として優先的に出力する。
2種類以上の異なる輪郭幅が同時に検出されるとき、より小さい輪郭幅で検出される輪郭部は、より大きい輪郭幅で検出される輪郭部の一部分である。このようなより小さい輪郭幅を検出結果とした場合、より大きな輪郭部の途中が部分的に急峻に変換されるため、不要な偽輪郭が発生し、ざらついた画像となってしまう。
これに対して、実施の形態11における輪郭幅検出回路51では、複数の異なる輪郭幅が同時に検出される場合に、より広い輪郭幅を検出結果とするため、上記のような画像の劣化を防ぐことができる。
実施の形態12.
実施の形態12は、実施の形態1又は実施の形態4の変形例である。図35は、本発明の実施の形態12における輪郭幅検出回路51の動作を説明するための図であって、画像データDIと輪郭幅Wの関係を説明するための図である。図35において、D1、D2、D3、D4、D5及びD6は、所定のサンプリング周期Wsでサンプリングされた画像データである。また、図35において、a、b、c、d及びeは隣接する画素間の差分量を示しており、それぞれ、a=D2−D1、b=D3−D2、c=D4−D3、d=D5−D4、e=D6−D5である。図35において、bは輪郭前部における画像データの変化、cは輪郭中央部における画像データの変化、dは輪郭後部における画像データの変化を示しており、aは輪郭部よりさらに前方の画像データの変化、eは輪郭部よりさらに後方の画像データの変化を示している。
実施の形態12の輪郭幅検出回路51は、画像データが単調増加又は単調減少しており、且つ、輪郭前部(D2〜D3)及び輪郭後部(D4〜D5)が輪郭中央部(D3〜D4)に比べて平坦であると同時に、さらに、輪郭部(D2〜D5)の前後に輪郭前平坦部(D1〜D2)と輪郭後平坦部(D3〜D4)が存在するような部分を輪郭部(D2〜D5)として検出する。
画像データが単調増加又は単調減少していることから、式(5a)に示すように、b、c、dのそれぞれの正負の符号が同じであるかゼロであることを検出する。さらに、輪郭前部及び輪郭後部が、輪郭中央部に比べて平坦であることから、式(5b)に示すように、|c|が、|b|及び|d|の両方よりも大きいことを検出する。さらにまた、輪郭部の前後に輪郭前平坦部と輪郭後平端部が存在することから、式(5c)に示すように、輪郭部よりも前方にある部分の変化|a|が輪郭前部の変化|b|よりも小さく、且つ、輪郭部よりも後方にある部分の変化|e|が輪郭後部の変化|d|よりも小さいことを検出する。
(b≧0且つc≧0且つd≧0)又は(b≦0且つc≦0且つd≦0)
…(5a)
|c|>|b|且つ|c|>|d| …(5b)
|a|<|b|且つ|e|<|d| …(5c)
式(5a),(5b),(5c)をすべて満たす場合に、図35におけるD2からD5までの期間を輪郭部とみなし、その間隔を輪郭幅Wとして出力する。このときの輪郭幅はW=3×Wsとなる。上記のように輪郭幅検出回路51は動作するため、輪郭部の前後がより平坦であるような輪郭部の輪郭幅を検出することができる。
上記では、輪郭部の前後に輪郭前平坦部と輪郭後平坦部が存在する条件として、式(5c)で表される例を示したが、式(5c)に代えて、次式(6)で示した条件を用いてもよい。
|a|<0.5×|b|且つ|e|<0.5|d| …(6)
この場合、輪郭部よりも前方にある部分の変化|a|が輪郭前部の変化|b|の1/2よりも小さく、且つ、輪郭部よりも後方にある部分の変化|e|が輪郭後部の変化|d|の1/2よりも小さいことを検出する。つまり、|a|及び|e|が、式(5c)の場合の1/2となるときに輪郭幅の検出がなわれるので、輪郭部の前後の部分がより平坦な輪郭部について輪郭幅を検出することができる。
式(6)では、|b|及び|d|の係数を0.5としたが、次式(7)に示すように実数Kとしてもよい(0≦K<1)。
|a|<K×|b|且つ|e|<K×|d| …(7)
係数Kを0に近づけるほど、輪郭部の前後にある部分の変化|a|及び|e|がより小さい場合、即ち、輪郭部の前後にある部分がより平坦であるような場合を検出することができる。係数Kを適当に調整することによって、検出対象とする輪郭部の前後の平坦さを任意に変更することができる。
実施の形態13.
実施の形態13は、実施の形態1又は実施の形態4の変形例である。図36は、本発明の実施の形態13における輪郭幅検出回路51の動作を説明するための図であって、画像データと輪郭幅の関係を説明するための図である。図20を用いた説明では、所定のサンプリング周期でサンプリングされた画素データに基づいて輪郭幅の検出を行ったが、図36では不均等なサンプリング周期でサンプリングされた画像データに基づいて輪郭幅を検出する例について説明する。
図36において、D1、D2、D3及びD4は、異なるサンプリング周期Wa、Wb、Wcでサンプリングされた画像データである。ここで、Wa>Wb、Wc>Wbであるとする。図36において、a、b及びcは、隣接する画素データ間の差分量を示しており、それぞれ、a=D2−D1、b=D3−D2、c=D4−D3である。aは輪郭前部おける画像データの変化、bは輪郭中央部おける画像データの変化、cは輪郭後部における画像データの変化を示している。
画像データの変化が単調増加又は単調減少しており、且つ、輪郭前部及び輪郭後部が輪郭中央部に比べて平坦であるような部分を輪郭部として検出する。輪郭部を検出する条件は、図20を用いて説明した式(3a)及び式(3b)の条件と同じとする。式(3a)及び式(3b)をすべて満たす場合に、図36におけるD1からD4までの期間を輪郭部とみなし、その間隔を輪郭幅Wとして出力するものである。
輪郭中央部の間隔Wbが間隔Wa及びWcよりも小さいため、式(3a)及び式(3b)を満たす場合であっても、輪郭前部及び輪郭後部の変化に対して、輪郭中央部の変化がより急峻であるような輪郭部について輪郭幅を検出することができる。逆に言うと、輪郭中央部の変化に対して、輪郭前部及び輪郭後部の変化がよりなだらかな輪郭部について輪郭幅を検出することができる。
図37は、本発明の実施の形態13における輪郭幅検出回路51の他の動作を説明するための図であり、不均等なサンプリング周期で画像データをサンプリングする方法の例を示す図である。図37において、白丸及びX印で示したD1〜D6は所定のサンプリング周期Wsでサンプリングされた画像データである。これらのうち、X印で示した画像データD2及びD5を間引き、白丸で示した画像データD1、D3、D4、D6を用いて輪郭幅Wの検出を行う。このとき、D2とD3の間隔は元のサンプリング周期Wsであるのに対して、D1とD2の間隔及びD3とD4の間隔は、所定のサンプリング周期Wsの2倍(2×Ws)となる。
図37において、a,b,cは白丸で示した画像データにおける隣接する画素間の差分量であり、a=D3−D1、b=D4−D3、c=D6−D4である。これら、a,b,cが、式(3a)及び式(3b)を満たすとき、D1からD6までの期間を輪郭幅Wとして検出する。式(3a)及び式(3b)については、既に説明済みである。
このようにして、所定サンプリング周期でサンプリングされた画像データを一部間引くことによって、不均等な間隔でサンプリングした画像データを得ることができる。このように得られた画像データに基づいて、輪郭幅の検出を行ってもよい。
図38(a),(b)は、本発明の実施の形態13における輪郭幅検出回路51の動作を説明するための図であり、不均等なサンプリング周期で画像データをサンプリングする方法の別の例を示す図である。図38(a)において、D1〜D4は所定のサンプリング周期Wsでサンプリングされた画像データである(白丸で示す)。図38(b)では、サンプリング周期Wsでサンプリングされた画像データD1〜D4を、新しい不均等なサンプリング周期Wa、Wb及びWcで再サンプリングすることにより、再サンプリングされた画像データDR1、DR2、DR3及びDR4を得ることができる。ここで、Wb<Wa、Wb<Wcとする。例えば、再サンプリングされた画像データDR2は、画像データD2及びD3を適当な比率で補間することにより求められる。
図38(b)において、a,b,cは再サンプリングにより得られた画像データにおける隣接する画素間の差分量であり、a=DR2−D1、b=DR3−DR2、c=DR4−DR3である。これら、a,b,cが式(3a)及び式(3b)を満たすとき、DR1からDR4までの期間を輪郭幅Wとして検出する。式(3a)及び式(3b)については、既に説明済みである。
このようにして、所定サンプリング周期でサンプリングされた画像データを別の不均等なサンプリング周期で再サンプリングすることによって、不均等な間隔でサンプリングした画像データを得ることができる。このように得られた画像データに基づいて、輪郭幅の検出を行ってもよい。
実施の形態14.
実施の形態14は、実施の形態4の変形例である。図39(a)〜(c)は、本発明の実施の形態14における輪郭基準位置検出回路52の動作を説明するための図であって、輪郭基準位置と画像データの関係を説明するための図である。図39(a)〜(c)は輪郭幅検出回路51において検出された輪郭幅がWであるような画像の輪郭部を示している。図39(a)〜(c)において、横軸は画像の水平位置を示し、図39(a)の縦軸は入力画像データDIのレベル(明るさ)、図39(b)の縦軸は入力画像データDIの1次微分の値、図39(c)の縦軸は入力画像データDIの2次微分の値を示す。
輪郭基準位置検出回路52は、図39(c)に示すように、2次微分の値がゼロであり、その前後で2次微分の正負の符号が切り替わる位置(「2次微分のゼロクロス点」と呼ぶ。)を輪郭基準位置PMとして検出する。
図40(a1)〜(c1)及び図40(a2)〜(c2)は、本発明の実施の形態14における輪郭基準位置検出回路52の動作を説明するための図である。図40(a1)〜(c1)及び図40(a2)〜(c2)において、横軸は画像の水平位置を示しており、図40(a1),(a2)の縦軸は入力画像データのレベル(明るさ)、図40(b1),(b2)の縦軸は上記入力画像データの1次微分の値、図40(c1),(c2)の縦軸は上記入力画像データの2次微分の値を示す。
図40(a1)〜(c1)は、入力画像データの急な立ち上がりが輪郭幅Wで示される範囲内における前寄りにあるような形状の輪郭部を示している。この場合、図40(c1)に示すように2次微分が変化するので、2次微分のゼロクロス点は輪郭幅に対して前寄りの位置となる。つまり、輪郭基準位置PMは輪郭幅Wで示される範囲内において前寄りの位置として検出される。一方、図40(a2)〜(c2)は、入力画像データの急な立ち上がりが輪郭幅Wで示される範囲内における後ろ寄りにあるような形状の輪郭部を示している。この場合、図40(c2)に示すように、輪郭基準位置PMは輪郭幅Wで示される範囲内において後ろ寄りの位置として検出される。
上記のように輪郭基準位置検出回路52は動作するため、輪郭部の形状に応じて適切な輪郭基準位置を検出することができる。
実施の形態15.
実施の形態15は、実施の形態4の変形例である。実施の形態4において、図20を用いて行った説明では、式(3a)及び式(3b)に示した条件(a、b、cの関係)を満たす場合に、D1からD4までの期間を輪郭部とみなして、その間隔を輪郭幅Wとして出力した。実施の形態15においては、輪郭部の前後の部分における平坦さを検出し、検出された平坦さに基づいて倍率制御量を可変制御する方法について説明する。
図41は、本発明の実施の形態15における画像処理装置の構成を示すブロック図であり、水平方向に画素数を変換する場合の構成を示す図である。図41の画像処理装置59は、輪郭幅検出回路57と、輪郭基準位置検出回路52と、倍率制御量生成回路58と、倍率生成回路54と、画素数変換回路55とを備えている。
入力画像データDIは、輪郭幅検出回路57、輪郭基準位置検出回路52及び画素数変換回路55に入力される。輪郭幅検出回路57は、入力された画像データDIの画像レベルが水平方向に変化している期間を輪郭幅Wとして検出し、この輪郭幅Wを出力するとともに、輪郭部の前後の部分の平坦さを検出し、輪郭外部の平坦度Lとして出力する。輪郭幅検出回路57から出力された輪郭幅Wは、輪郭基準位置検出回路52及び倍率制御量生成回路53に入力される。また、輪郭外部の平坦度Lは、倍率制御量生成回路53に入力される。
輪郭基準位置検出回路52は、画像データDIと輪郭幅Wに基づいて、輪郭部の基準位置PMを検出し、この輪郭基準位置PMを出力する。輪郭基準位置検出回路52から出力された輪郭基準位置PMは、倍率制御量生成回路58に入力される。
倍率制御量生成回路58は、輪郭幅W、輪郭外部の平坦度L及び輪郭基準位置PMに基づいて、変換倍率を制御するための倍率制御量RZCを生成し、この倍率制御量RZCを出力する。倍率制御量生成回路58から出力された倍率制御量RZCは倍率生成回路54に入力される。
倍率生成回路54は、倍率制御量RZC及び予め与えられた任意の基準変換倍率情報RZ0に基づいて、変換倍率情報RZを生成し、この変換倍率情報RZを出力する。倍率生成回路54から出力された変換倍率情報RZは画素数変換回路55に入力される。
画素数変換回路55は、変換倍率情報RZを用いて入力画像データDIの水平方向の画素数を変換し、変換結果の画像データを出力画像データDOとして出力する。
輪郭基準位置検出回路52、倍率生成回路54及び画素数変換回路55については既に説明した内容と同じである。ここでは、輪郭幅検出回路57と倍率制御量生成回路58について詳しく説明する。
まず、輪郭幅検出回路57の動作の説明を行う。図42は、実施の形態15における輪郭幅検出回路57の動作を説明するための図であって、画像データと輪郭幅の関係を説明するための図である。図42において、D0〜D5は、所定のサンプリング周期でサンプリングされた画像データである。また、図42において、a、b、cは、隣接する画像データ間の差分量を示しており、a=D2−D1、b=D3−D2、c=D4−D3である。言い換えれば、aは輪郭前部における画像データの変化、bは輪郭中央部における画像データの変化、cは輪郭後部における画像データの変化を示している。また、図42において、DWiは輪郭部W14の差分量、DWeは輪郭部の前後の部分間の差分量を示しており、それぞれ、DWi=D4−D1、DWe=D5−D0である。以降では、DWeを「輪郭外部の差分量」、DWiを「輪郭内部の差分量」と呼ぶ。
輪郭幅検出回路57は、実施の形態4において既に説明した輪郭幅検出回路51と同様に、例えば式(3a)及び式(3b)を満たすときに輪郭幅Wを出力する。
さらに、輪郭幅検出回路57は、輪郭外部の差分量DWeと輪郭内部の差分量DWiとから、輪郭外部の平坦度L=(DWe−DWi)/DWiを算出して出力する。
図43(a)〜(c)は、輪郭外部の平坦度と画像データの関係を示した図である。図43(a)は|DWi|>|DWe|の場合、即ち、L<0の場合を示す。図43(b)は|DWi|=|DWe|の場合、即ち、L=0の場合を示す。図43(c)は|DWi|<|DWe|の場合、即ち、L>0の場合を示す。
図43(a)のL<0の場合では、輪郭部より前方の部分D0〜D1及び後方の部分D4〜D5で、輪郭部D1〜D4に対して画像データの変化の傾斜が逆の符号となっており、D0からD5にかけての領域が、画像データが短い周期で変化しているような、高い周波数成分からなる画像領域であることを示している。一方、図43(b)のL=0の場合では、輪郭部より前方の部分D0〜D1及び後方の部分D4〜D5で、画像データに変化のないような、平坦な画像領域であることを示している。また、図43(c)のL>0の場合では、輪郭部より前方の部分D0〜D1及び後方の部分D4〜D5で、輪郭部D1〜D4に対して画像データの変化の傾斜が同じ符号となっており、D0からD5にかけての領域が、画像データがなだらかに変化しているような、低い周波数成分からなる画像領域であることを示している。
輪郭外部の平坦度Lがゼロに近いほど、輪郭部の外側部分が平坦であることを示し、平坦度Lがゼロから大きく離れるほど、輪郭部の外側部分が平坦でないことを示している。このようにして、輪郭幅検出回路57は輪郭幅Wと輪郭外部の平坦度Lを出力する。
次に、倍率制御量生成回路58の動作の説明を行う。図44は、倍率制御量の制御方法を説明するための図である。図44において、横軸は輪郭外部の平坦度Lを示し、縦軸は倍率制御量に乗じる制御係数KLを示し、TH1、TH2、TH3及びTH4はそれぞれ閾値を示す。
図44に示すように、L<TH1及びTH4<Lの範囲では、制御係数KL=0である。また、TH1≦L<TH2の範囲では、Lに比例してKLが増加する。また、TH2≦L<TH3の範囲では、KL=1である。また、TH3≦L<TH4の範囲では、Lに比例してKLが減少する。また、TH4<Lの範囲では、KL=0である。つまり、Lがゼロに近いほど、KLは大きな値をとり、Lがゼロから大きく離れるほど、KLは小さな値をとる。このように、輪郭外部の平坦度Lと閾値TH1〜TH4に基づいて、制御係数KLが発生される。
図45(a)〜(d)は、本発明の実施の形態15における変換倍率の制御方法(制御係数KLと倍率制御量の関係)を説明するための図である。図45(a)〜(d)において、横軸は画像の水平位置を示し、縦軸は倍率制御量を示す。図45(a)〜(d)は制御係数KLを変化させた場合の倍率制御量RZCの変化の様子を例示した図である。図45(a)はKL=1の場合、図45(b)はKL=0.5の場合、図45(c)はKL=0.25の場合、図45(d)はKL=0の場合を示す。図45(a)〜(d)において、Gは倍率制御量の振幅(最大値と最小値の差)である。図45(a)に示されるKL=1の場合にG=G1であるとすると、図45(b)に示されるKL=0.5の場合にはG=0.5×G1であり、図45(c)に示されるKL=0.25の場合にはG=0.25×G1であり、図45(d)に示されるKL=0の場合にはG=0となり、KLの値が小さいほど、倍率制御量の振幅が小さくなる。また、実施の形態6で説明したように、倍率制御量の振幅が小さいほど、輪郭部の鮮鋭度改善の効果は小さくなる。
既に述べたように、輪郭部の外側部分が平坦であるほど制御係数KLは大きな値をとり、輪郭部の外側部分が平坦でなくなるほど制御係数KLは小さな値をとる。したがって、輪郭外部の平坦度Lがゼロに近いほど倍率制御量の振幅は大きくなり、逆に、輪郭外部の平坦度Lがゼロから大きく離れるほど倍率制御量の振幅が小さくなる。即ち、輪郭部の外側部分が平坦である場合には輪郭部の鮮鋭度を改善するように働くが、輪郭部の外側部分が平坦でない場合には、変換倍率を局所的に変動させないように働く。
輪郭部を含む近傍領域が高周波成分からなるような場合には、変換倍率を局所的に変動させることによって、高周波成分を劣化させてしまうという問題がある。また、輪郭部を含む近傍領域が低周波成分からなるような場合には、変換倍率を局所的に変動させることによって、不要な偽輪郭を発生させてしまう。しかし、実施の形態15における画像処理装置は、輪郭部の外側部分が平坦でない場合には、変換倍率を局所的に変動させないように働くため、上記のような画質劣化を防ぐことができる。
実施の形態16.
上記実施の形態4〜15までにおいては、水平方向の画素数変換を例に説明したが、垂直方向の画素数変換についても同様の動作によって実現することができ、同様の効果を得ることができる。垂直方向の画素数変換と水平方向の画素数変換を順次又は同時に施すことにより、垂直方向及び水平方向の両方についても同様の効果を得ることができる。
図46は、本発明の実施の形態16に係る画像処理装置の構成(垂直方向及び水平方向に画素数を変換する場合の構成)を示すブロック図である。図46の画像処理装置70は、垂直輪郭幅検出回路60と、垂直輪郭基準位置検出回路61と、垂直倍率制御量生成回路62と、垂直倍率生成回路63と、垂直画素数変換回路64と、水平輪郭幅検出回路65と、水平輪郭幅検出回路66と、水平倍率制御量生成回路67と、水平倍率生成回路68と、水平画素数変換回路69とを備えている。
図46において、垂直輪郭幅検出回路60、垂直輪郭基準位置検出回路61、垂直倍率制御量生成回路62、垂直倍率生成回路63、及び垂直画素数変換回路64は、垂直方向の画素数変換をする画像処理部を構成しており、水平輪郭幅検出回路65、水平輪郭基準位置検出回路66、水平倍率制御量生成回路67、水平倍率生成回路68、及び水平画素数変換回路69は、水平方向の画素数変換をする画像処理部を構成している。また、垂直輪郭幅検出回路60及び水平輪郭幅検出回路65は、それぞれ図17の輪郭幅検出回路51に相当し、垂直輪郭基準位置検出回路61及び水平輪郭基準位置検出回路66は、それぞれ図17の輪郭基準位置検出回路52に相当し、垂直倍率制御量生成回路62及び水平倍率制御量生成回路67は、それぞれ図17の倍率制御量生成回路53に相当し、垂直倍率生成回路63及び水平倍率生成回路68は、それぞれ図17の倍率生成回路54に相当し、垂直画素数変換回路64及び水平画素数変換回路69は、それぞれ図17の画素数変換回路55に相当している。
入力画像データDIは、垂直輪郭幅検出回路60、垂直輪郭基準位置検出回路61及び垂直画素数変換回路64に入力される。垂直輪郭幅検出回路60は、入力された画像データDIの画像レベルが垂直方向に変化している期間を垂直輪郭幅WVとして検出し、この垂直輪郭幅WVを出力する。垂直輪郭幅検出回路60から出力された垂直輪郭幅WVは、垂直輪郭基準位置検出回路61及び垂直倍率制御量生成回路62に入力される。
垂直輪郭基準位置検出回路61は、画像データDIと垂直輪郭幅WVに基づいて、垂直方向の輪郭部の基準位置PMVを検出し、この垂直輪郭基準位置PMVを出力する。垂直輪郭基準位置検出回路61から出力された垂直輪郭基準位置PMVは垂直倍率制御量生成回路62に入力される。
垂直倍率制御量生成回路62は、垂直輪郭幅WVと垂直輪郭基準位置PMVに基づいて、垂直方向の変換倍率を制御するための垂直倍率制御量RZCVを生成し、この垂直倍率制御量RZCVを出力する。垂直倍率制御量生成回路62から出力された垂直倍率制御量RZCVは垂直倍率生成回路63に入力される。
垂直倍率生成回路63は、垂直倍率制御量RZCV及び予め与えられた垂直方向の任意の基準変換倍率情報RZV0に基づいて、垂直方向の変換倍率情報(垂直変換倍率情報)RZVを生成し、この垂直変換倍率情報RZVを出力する。垂直倍率生成回路63から出力された垂直変換倍率情報RZVは垂直画素数変換回路64に入力される。
垂直画素数変換回路64は、垂直変換倍率情報RZVに基づいて、入力画像データDIの垂直方向の画素数を変換し、変換結果の画像データDVを出力する。垂直画素数変換回路64から出力された画像データDVは、水平輪郭幅検出回路65、水平輪郭基準位置検出回路66及び水平画素数変換回路69に入力される。
水平輪郭幅検出回路65は、入力された画像データDVの画像レベルが水平方向に変化している期間を水平輪郭幅WHとして検出し、この水平輪郭幅WHを出力する。水平輪郭幅検出回路65から出力された水平輪郭幅WHは、水平輪郭基準位置検出回路66及び水平倍率制御量生成回路67に入力される。
水平輪郭基準位置検出回路66は、画像データDVと水平輪郭幅WHに基づいて、水平方向の輪郭部の基準位置PMHを検出し、この水平輪郭基準位置PMHを出力する。水平輪郭基準位置検出回路66から出力された水平輪郭基準位置PMHは水平倍率制御量生成回路67に入力される。
水平倍率制御量生成回路67は、水平輪郭幅WHと水平輪郭基準位置PMHに基づいて、水平方向の変換倍率を制御するための水平倍率制御量RZCHを生成し、この水平倍率制御量RZCHを出力する。水平倍率制御量生成回路67から出力された水平倍率制御量RZCHは水平倍率生成回路68に入力される。
水平倍率生成回路68は、水平倍率制御量RZCH及び予め与えられた水平方向の任意の基準変換倍率清報RZH0に基づいて、水平方向の変換倍率情報(水平変換倍率情報)RZHを生成し、この水平変換倍率情報RZHは水平倍率生成回路68から出力された水平変換倍率情報RZHは水平画素数変換回路69に入力される。
水平画素数変換回路69は、水平方変換倍率情報RZHに基づいて、画像データDVの水平方向の画素数を変換し、変換結果の画像データを出力画像データDOとして出力する。
なお、画像処理装置70内のそれぞれ回路の詳しい動作は、これまで既に説明した内容と同様である。また、垂直画素数変換回路64及び水平画素数変換回路69は、一般にはメモリのような、画像データを一時記憶できる回路を備えることによって実現される。また、水平の基準変換倍率情報RZH0=1、且つ、垂直の基準変換倍率情報RZV0=1のときは、画像全体の拡大変換及び縮小変換はなされず、輪郭部の鮮鋭度のみが制御される。
このように、水平方向の基準変換倍率情報RZH0、垂直方向の基準変換倍率情報RZV0、水平倍率制御量RZCH、垂直倍率制御量RZCVを、それぞれ独立且つ、任意に設定することにより、水平方向の変換倍率と水平方向の輪郭部の鮮鋭度を独立に制御することができ、且つ、垂直方向の変換倍率と垂直方向の輪郭部の鮮鋭度とを独立に制御することができる。これにより、水平方向には入力画像の水平方向の輪郭幅ごとにそれぞれ所望の鮮鋭度に制御でき、且つ、垂直方向には垂直方向の輪郭幅ごとにそれぞれ所望の鮮鋭度に制御できる。
例えば、垂直方向の基準変換倍率情報RZV0=1/2(変換倍率は2倍)に設定し、水平方向の基準変換倍率情報RZH0=1(変換倍率は1倍)に設定することで、インタレース画像からノンインタレース画像に変換(走査線変換)することができ、水平方向と垂直方向の輪郭部を独立に所望の鮮鋭度に制御できる。
なお、上記の画像処理装置70の動作の説明では、画素数変換の動作として垂直方向の画素数変換と水平方向の画素数変換の動作を順次実施する場合について説明したが、水平方向の画素数を変換した後に垂直方向の画素数を変換しても、又は垂直方向の画素数変換と水平方向の画素数変換を同時に実施しても、同様の効果を得ることができる。
以上に説明したように、実施の形態16によれば、入力画像データの輪郭幅と輪郭基準位置を検出し、この輪郭幅と輪郭基準位置に基づいて倍率制御量を生成し、この倍率制御量に基づいて変換倍率情報を生成し、この変換倍率情報に基づいて入力画像データの画素を補間演算して画素数変換をすることにより、任意の幅(期間)の輪郭部を所望の幅(期間)の輪郭部に変換することができるので、出力画像の鮮鋭度を向上することができ、任意の基準変換倍率において所望の鮮鋭度の輪郭部が得られる。また、上記の倍率制御量が輪郭部の振幅に依存しないので、画像全体に過不足なく鮮鋭度を向上することができる。
実施の形態17.
図47は、本発明の実施の形態17に係る画像表示装置の構成を示すブロック図である。実施の形態17の画像表示装置では、画像データ入力回路21の後段に上記実施の形態16の画像処理装置70(構成については図46参照)が配置され、さらにその後段に表示装置22が配置されている。
画像信号は、画像データ入力回路21に入力される。ここで、画像信号は、画像データ信号と同期信号の両方を含むものとする。画像データ入力回路21は、画像信号のフォーマットに基づいて画像データDIを出力する。
例えば、画像信号がアナログ信号である場合、画像データ入力回路21は、A/D変換器により構成され、同期信号によって定められる周期でサンプリングされた画像データを出力する。又は、画像信号がエンコードされたデジタル信号である場合、画像データ入力回路21は、デコーダ回路により構成され、デコードされた画像データを出力する。
画像データ入力回路21から出力された画像データDIは、画像処理装置70に入力される。画像処理装置70は、上記実施の形態16において詳しく説明したように、画像の輪郭部において、輪郭幅及び輪郭基準位置に基づいて変換倍率を制御しながら垂直方向及び水平方向の画素数を変換し、変換結果の画像データDOを出力する。
画像処理装置70で画素数変換された画像データDOは、表示装置22に入力され、画像データDOに基づく画像が表示装置22に表示される。
以上に説明したように、実施の形態17によれば、上記実施の形態16の画像処理装置を設けて画像表示装置を構成することにより、任意の幅(期間)の輪郭部を所望の幅(期間)の輪郭部に変換することができるので、所望の鮮鋭度の画像を表示することができ、任意の基準変換倍率において輪郭部の鮮鋭度を保持した画像を表示することができる。また、輪郭部の差分量に依存することがないので、画像全体に過不足なく鮮鋭度を向上した画像を表示することができる。
実施の形態18.
上記実施の形態4〜17では、ハードウェアによって画素数を変換する構成について説明したが、ソフトウェアによって画素数を変換することもできる。実施の形態18では、ソフトウェアによって画素数を変換する例について説明する。
図48は、本発明の実施の形態18における画像表示動作のフローチャートであって、ソフトウェア処理(ソフトウェアとハードウェアが混在していている場合を含む)によって画素数を変換して表示する動作(画像処理方法及び画像表示方法)を説明するフローチャートである。図48において、処理201は垂直方向のデータ生成手順(画素数変換手順)、処理202は水平方向のデータ生成手順(画素数変換手順)である。
なお、図48では、垂直方向及び水平方向の両方向に対して画素数変換をする場合について説明するが、水平方向又は垂直方向のそれぞれについて独立に画素数変換することや、いずれかの方向にのみ画素数変換するも可能である。
まず、図48の処理201の垂直方向のデータ生成動作を開始する。ステップS21では、画素数を変換する画像データ(図46のDIに相当)から、着目画素に対する垂直方向の輪郭幅の検出及びフィルタ演算に必要な複数の画素データを抽出する。次のステップS22では、上記ステップS21で抽出された複数の画素データから、垂直方向の輪郭幅(図46のWVに相当)を検出する。次のステップS23では、上記ステップS21で抽出された複数の画素データと上記ステップS22で検出された垂直方向の輪郭幅に基づいて、垂直方向の輪郭基準位置(図46のPMVに相当)を検出する。次のステップS24では、上記ステップS22で検出された垂直方向の輪郭幅とステップS23で検出された垂直方向の輪郭基準位置とに基づいて、垂直方向の倍率制御量(図46のRZCVに相当)を生成する。次のステップS25では、上記ステップS24で生成された垂直方向の倍率制御量と予め与えられた垂直方向の基準変換倍率情報(図46のRZV0に相当)とを重畳して、垂直方向の変換倍率情報(図46のRZVに相当)を生成する。次のステップS26では、上記ステップS25で生成された垂直方向の変換倍率情報と上記ステップS21で抽出された複数の画素データから、垂直方向のフィルタ演算を実施し、演算結果を保存する。上記ステップS21からS26までの手順を、着目画素が画像の端に達するまで繰り返す(ステップS27)。ここで、画像の端とは、例えば画像の左端から演算する場合は、画像の右端を示す。
上記ステップS27で着目画素が画像の端に達した場合は、着目画素を次のラインに移動し、上記ステップS21からS27までの手順を、最終ラインに達するまで繰り返す(ステップS28)。このような手順を全画素に実施することで、垂直方向の画素数の変換が完了する。
上記垂直方向のデータ生成を完了したら、次に図48の処理202の水平方向のデータ生成動作の開始する。ステップS29では、垂直方向の画素数が変換された画像データ(図46のDVに相当)から、着目画素に対する水平方向の輪郭幅の検出及び水平方向のフィルタ演算に必要な複数の画素データを抽出する。次のステップS30では、上記ステップS29で抽出された複数の画素データから、水平方向の輪郭幅(図46のWHに相当)を検出する。次のステップS31では、上記ステップS30で抽出された複数の画素データと上記ステップS32で検出された水平方向の輪郭幅に基づいて、水平方向の輪郭基準位置(図46のPMHに相当)を検出する。次のステップS32では、上記ステップS30で検出された水平方向の輪郭幅とステップS31で検出された水平方向の輪郭基準位置とに基づいて、水平方向の倍率制御量(図46のRZCHに相当)を生成する。次のステップS33では、上記ステップS32で生成された倍率制御量と予め与えられた水平方向の基準変換倍率情報(図46のRZH0に相当)とを重畳して、水平方向の変換倍率情報(図46のRZHに相当)を生成する。次のステップS34では、上記ステップS33で生成された変換倍率と上記ステップS29で抽出された複数の画素データから、水平方向のフィルタ演算を実施し、演算結果を保存する。上記ステップS29からS34までの手順を、着目画素が画像の端に達するまで繰り返す(ステップS15)。
上記ステップS35で着目画素が画像の端に達した場合は、着目画素を次のラインに移動し、上記ステップS29からS35までの手順を、最終ラインに達するまで繰り返す(ステップS36)。このような手順を全画素に実施することで、水平方向の画素数の変換が完了する。
上記垂直方向のデータ生成及び上記水平方向のデータ生成を完了したら、最後にステップS37において、画素数変換された画像を表示する。
なお、図48におけるそれぞれのステップの処理内容については、上記実施の形態4〜17で既に詳しく説明した。
また、図48では、垂直方向の画素数を変換した後に水平方向の画素数を変換しているが、水平方向の画素数を変換した後に垂直方向の画素数を変換することも可能である。つまり、図48の処理202のフロー実施した後に図48処理201のフローを実施することも可能である。又は、図48の処理201のフローと図48の処理202のフローのいずれか一方のみを実施することも可能である。
また、図48では、垂直方向及び水平方向の画素数変換において着目画素を画像の左から右、上から下の順で演算しているが、この順番はこの限りではなく、任意の方向から演算しても同様の結果を得ることができる。
また、図48のステップS25,S33の変換倍率情報(図46のRZV,RZHに相当)の1ラインでの平均値は、上記実施の形態4の図18において説明したように、画像全体の変換倍率(図46のRZV0,RZH0に相当)と同じになるようにする。つまり、図48のステップS24,S32の倍率制御量(図46のRZCV,RZCHに相当)の1ラインでの総和がゼロになるようにする。
以上に説明したように、実施の形態18によれば、上記実施の形態4〜17の画像処理方法及び画像表示方法をソフトウェア処理によって実施することにより、任意の幅(期間)の輪郭部を所望の幅(期間)の輪郭部に変換することができるので、所望の鮮鋭度の画像を表示することができ、任意の基準変換倍率において輪郭部の鮮鋭度を保持した画像を表示することができる。また、輪郭部の差分量に依存することがないので、画像全体に過不足なく鮮鋭度を向上した画像を表示することができる。さらに、輪郭基準位置のデータレベルを変えていないので、輪郭部の画素数変換処理によって輪郭部の位置が移動するといった事態をを防ぐことができる。

Claims (19)

  1. 画像データの輪郭部を検出し、上記検出された輪郭部の輪郭幅を出力する輪郭幅検出回路と、
    上記輪郭幅に基づいて倍率制御量を生成する倍率制御量生成回路と、
    上記倍率制御量に基づいて変換倍率を生成する倍率生成回路と、
    上記変換倍率を用いて上記画像データの画素数を変換する画素数変換回路と
    を有することを特徴とする画像処理装置。
  2. 上記輪郭幅検出回路は、所定のサンプリング周期でサンプリングされた上記画像データの差分量を計算し、上記画像データの差分量に基づいて上記輪郭部の検出を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 上記倍率制御量生成回路は、上記輪郭幅に調節可能な一定値を掛けることによって上記倍率制御量の生成期間を決定することを特徴とする請求項1に記載の画像処理装置。
  4. 上記倍率制御量の生成期間のそれぞれにおいて、上記倍率制御量の総和がゼロであることを特徴とする請求項3に記載の画像処理装置。
  5. 上記倍率生成回路に一定の基準変換倍率が入力され、
    上記倍率生成回路により生成される上記変換倍率は、上記基準変換倍率と上記倍率制御量とを用いた計算により得られる
    ことを特徴とする請求項1に記載の画像処理装置。
  6. 上記画素数変換回路が、第1の画素数変換部と、第2の画素数変換部とを有し、
    上記第1の画素数変換部は、一定の基準変換倍率と入力画像データとを受け取り、上記基準変換倍率を用いて上記入力画像データの画素数を変換して上記輪郭幅検出回路と上記第2の画素数変換部とに入力される上記画像データを出力し、
    上記第2の画素数変換部は、上記変換倍率と上記画像データとを受け取り、上記変換倍率を用いて上記倍率制御量の生成期間における上記画像データの画素数を変換する
    ことを特徴とする請求項1に記載の画像処理装置。
  7. 上記画像データ及び上記輪郭幅を受け取り、上記輪郭部の輪郭基準位置を検出する輪郭基準位置検出回路をさらに有し、
    上記倍率制御量生成回路は、上記輪郭幅に加えて上記輪郭基準位置を受け取り、上記輪郭幅と上記輪郭基準位置とに基づいて上記倍率制御量を生成する
    ことを特徴とする請求項1に記載の画像処理装置。
  8. 上記輪郭基準位置検出回路は、上記輪郭部の差分量を2等分するレベルに対応する位置を上記輪郭基準位置とすることを特徴とする請求項7に記載の画像処理装置。
  9. 上記輪郭基準位置検出回路は、上記画像データの2次微分値の符号が切り替わる位置を上記輪郭基準位置とすることを特徴とする請求項7に記載の画像処理装置。
  10. 上記倍率制御量生成回路は、上記倍率制御量の生成期間を可変制御できることを特徴とする請求項3に記載の画像処理装置。
  11. 上記倍率制御量生成回路は、上記倍率制御量の最大値及び最小値を可変制御できることを特徴とする請求項1に記載の画像処理装置。
  12. 上記倍率制御量生成回路は、上記倍率制御量の最大値、最小値、及び生成期間を可変制御できることを特徴とする請求項3に記載の画像処理装置。
  13. 上記倍率制御量生成回路は、上記輪郭幅に応じて上記倍率制御量の生成期間を任意に設定できることを特徴とする請求項3に記載の画像処理装置。
  14. 上記倍率制御量生成回路は、上記輪郭幅に応じて上記倍率制御量の最大値及び最小値を任意に設定できることを特徴とする請求項1に記載の画像処理装置。
  15. 上記倍率制御量生成回路は、上記輪郭幅に応じて上記倍率制御量の最大値、最小値、及び生成期間を任意に設定できることを特徴とする請求項1に記載の画像処理装置。
  16. 上記倍率制御量生成回路は、上記基準変換倍率に基づいて倍率制御量のデータ数を制御できることを特徴とする請求項5に記載の画像処理装置。
  17. 画像データの輪郭部を検出し、上記検出された輪郭部の輪郭幅を出力する輪郭幅検出回路と、
    上記輪郭幅に基づいて倍率制御量を生成する倍率制御量生成回路と、
    上記倍率制御量に基づいて変換倍率を生成する倍率生成回路と、
    上記変換倍率を用いて上記画像データの画素数を変換する画素数変換回路と、
    上記画素数変換された画像データに基づく画像を表示する表示装置と
    を有することを特徴とする画像表示装置。
  18. 画像データの輪郭部を検出し、上記検出された輪郭部の輪郭幅を出力するステップと、
    上記輪郭幅に基づいて倍率制御量を生成するステップと、
    上記倍率制御量に基づいて変換倍率を生成するステップと、
    上記変換倍率を用いて上記画像データの画素数を変換するステップと
    を有することを特徴とする画像処理方法。
  19. 画像データの輪郭部を検出し、上記検出された輪郭部の輪郭幅を出力するステップと、
    上記輪郭幅に基づいて倍率制御量を生成するステップと、
    上記倍率制御量に基づいて変換倍率を生成するステップと、
    上記変換倍率を用いて上記画像データの画素数を変換するステップと
    上記画素数変換された画像データに基づく画像を表示するステップと
    を有することを特徴とする画像表示方法。
JP2004562013A 2002-12-20 2003-10-27 画像処理装置、画像表示装置、画像処理方法、及び画像表示方法 Expired - Lifetime JP4001601B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002369479 2002-12-20
JP2002369479 2002-12-20
PCT/JP2003/013726 WO2004057534A1 (ja) 2002-12-20 2003-10-27 画像処理装置、画像表示装置、画像処理方法、及び画像表示方法

Publications (2)

Publication Number Publication Date
JPWO2004057534A1 true JPWO2004057534A1 (ja) 2006-04-27
JP4001601B2 JP4001601B2 (ja) 2007-10-31

Family

ID=32677141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004562013A Expired - Lifetime JP4001601B2 (ja) 2002-12-20 2003-10-27 画像処理装置、画像表示装置、画像処理方法、及び画像表示方法

Country Status (7)

Country Link
US (1) US7616838B2 (ja)
EP (1) EP1580692A4 (ja)
JP (1) JP4001601B2 (ja)
KR (1) KR100705150B1 (ja)
CN (1) CN1330166C (ja)
TW (1) TWI226191B (ja)
WO (1) WO2004057534A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4001601B2 (ja) * 2002-12-20 2007-10-31 三菱電機株式会社 画像処理装置、画像表示装置、画像処理方法、及び画像表示方法
US7627172B2 (en) * 2004-06-07 2009-12-01 Sony Corporation Image processing apparatus and method, and program
JP3781050B1 (ja) * 2005-02-22 2006-05-31 三菱電機株式会社 画像処理装置、画像処理方法、および画像表示装置
JP4574457B2 (ja) * 2005-06-08 2010-11-04 キヤノン株式会社 画像処理装置およびその方法
JP4677376B2 (ja) * 2006-07-07 2011-04-27 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
US8442344B2 (en) * 2006-08-07 2013-05-14 Qualcomm Incorporated Adaptive spatial image filter for filtering image information
JP5424534B2 (ja) * 2007-01-31 2014-02-26 日立コンシューマエレクトロニクス株式会社 画像処理装置および画像表示装置
WO2009022274A2 (en) * 2007-08-16 2009-02-19 Nxp B.V. Method and device for improving the visibility especially of thin lines
WO2009110328A1 (ja) * 2008-03-03 2009-09-11 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置及び方法
JP4994400B2 (ja) * 2009-01-22 2012-08-08 三菱電機株式会社 画像処理装置及び方法並びに画像表示装置
JP5477964B2 (ja) * 2010-09-13 2014-04-23 株式会社沖データ 画像処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101870A (ja) 1998-09-22 2000-04-07 Toshiba Corp デジタル信号処理回路
JP3692942B2 (ja) * 2001-01-23 2005-09-07 三菱電機株式会社 画像処理装置、画像表示装置、および画像処理方法
JP3695291B2 (ja) * 2000-06-20 2005-09-14 三菱電機株式会社 画像処理装置、画像表示装置、および画像処理方法
US6724398B2 (en) * 2000-06-20 2004-04-20 Mitsubishi Denki Kabushiki Kaisha Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing
JP3719385B2 (ja) * 2000-11-21 2005-11-24 三菱電機株式会社 画像処理装置、画像処理方法、および画像表示装置
JP3719389B2 (ja) * 2001-03-06 2005-11-24 三菱電機株式会社 画像処理装置、画像表示装置、および画像処理方法
JP2002016820A (ja) 2000-06-29 2002-01-18 Victor Co Of Japan Ltd 画質改善回路
JP4001601B2 (ja) * 2002-12-20 2007-10-31 三菱電機株式会社 画像処理装置、画像表示装置、画像処理方法、及び画像表示方法
JP2005309560A (ja) * 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US20050244077A1 (en) * 2004-04-22 2005-11-03 Fuji Photo Film Co., Ltd. Method, apparatus and program for image processing
JP2006074155A (ja) * 2004-08-31 2006-03-16 Mitsubishi Electric Corp 画像処理装置および画像処理方法ならびに画像表示装置
JP3781050B1 (ja) * 2005-02-22 2006-05-31 三菱電機株式会社 画像処理装置、画像処理方法、および画像表示装置

Also Published As

Publication number Publication date
JP4001601B2 (ja) 2007-10-31
KR20050085743A (ko) 2005-08-29
TW200420117A (en) 2004-10-01
TWI226191B (en) 2005-01-01
US20060045375A1 (en) 2006-03-02
EP1580692A1 (en) 2005-09-28
WO2004057534A1 (ja) 2004-07-08
CN1330166C (zh) 2007-08-01
US7616838B2 (en) 2009-11-10
KR100705150B1 (ko) 2007-04-09
CN1703726A (zh) 2005-11-30
EP1580692A4 (en) 2007-07-18

Similar Documents

Publication Publication Date Title
JP4001601B2 (ja) 画像処理装置、画像表示装置、画像処理方法、及び画像表示方法
US8189941B2 (en) Image processing device, display device, image processing method, and program
JP4577621B2 (ja) 画像補正処理システム及び画像補正処理方法
JP4912398B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
US7483040B2 (en) Information processing apparatus, information processing method, recording medium, and program
TWI485646B (zh) 圖轉換方法、圖轉換設備、及用於圖轉換的電腦程式產品
JP2008508750A (ja) 適応性3dノイズ減少装置及び方法
US8577167B2 (en) Image processing system and spatial noise reducing method
JP2006013558A (ja) 画像処理装置、画像処理プログラム
KR100611179B1 (ko) 영상처리장치
US6961479B1 (en) Image processing device, image processing method, image-processing program recorded medium
EP2053557A1 (en) Image processing device, image processing program, and image processing method
JP4872508B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US20110298972A1 (en) System and process for image rescaling using adaptive interpolation kernel with sharpness and de-ringing control
JP5159651B2 (ja) 画像処理装置、画像処理方法、及び画像表示装置
US20040257475A1 (en) Methods, interpolator circuits, and computer program products for generating interpolated display data using remote pixel data
JP2005312030A (ja) 半画像の中間列画像点の補間のための方法および装置
JP2005124202A (ja) デジタル映像補間方法およびデジタル映像補間装置
JP2006048037A (ja) 映像レンダリング装置、映像レンダリング方法、及び映像レンダリングプログラムを保存するコンピュータで読み取り可能な記録媒体
JP3695291B2 (ja) 画像処理装置、画像表示装置、および画像処理方法
JP5024112B2 (ja) 画像信号処理装置および画像信号処理プログラム
US20040207633A1 (en) Mixed 2D and 3D de-interlacer
CN109978766B (zh) 图像放大方法及图像放大装置
JP3692942B2 (ja) 画像処理装置、画像表示装置、および画像処理方法
JP3719389B2 (ja) 画像処理装置、画像表示装置、および画像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070814

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4001601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term