JP4364874B2 - 画像表示装置および方法 - Google Patents

画像表示装置および方法 Download PDF

Info

Publication number
JP4364874B2
JP4364874B2 JP2006046195A JP2006046195A JP4364874B2 JP 4364874 B2 JP4364874 B2 JP 4364874B2 JP 2006046195 A JP2006046195 A JP 2006046195A JP 2006046195 A JP2006046195 A JP 2006046195A JP 4364874 B2 JP4364874 B2 JP 4364874B2
Authority
JP
Japan
Prior art keywords
control signal
selection control
image data
white line
smoothing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006046195A
Other languages
English (en)
Other versions
JP2007228207A (ja
Inventor
章裕 長瀬
潤 染谷
好章 奥野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006046195A priority Critical patent/JP4364874B2/ja
Priority to US11/709,172 priority patent/US20070195110A1/en
Publication of JP2007228207A publication Critical patent/JP2007228207A/ja
Application granted granted Critical
Publication of JP4364874B2 publication Critical patent/JP4364874B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本発明は、入力される画像データに対してデジタル的に画像処理して表示する画像表示装置および画像表示方法に関し、特に、入力される画像データの画像における輪郭や細線等を見やすくするための輪郭補正処理を実施する画像処理装置および方法に関する。
入力される画像データの画像における輪郭や細線部を見やすくするための画像表示装置として、下記の特許文献1に開示されたものがある。特許文献1に開示された画像表示装置は、入力される画像データに対して選択的に平滑化処理を施す平滑化手段と、入力される画像データから画像の明部と暗部を判別するとともに、暗部に隣接する明部の画像データに施す平滑化処理を選択する制御信号を生成して、平滑化手段に送出する手段と、平滑化手段から出力された画像データに基づいて画像を表示する表示手段を有し、暗部に隣接する明部のみに平滑化処理を実施することで、明るい背景中に暗い文字や線を表示しても線が細く見えないようにしたものである。
特開2002−41025号公報
上記特許文献1に開示された従来の画像表示装置においては、暗部に隣接する明部の画像データに対して一様に平滑化処理を行うため、暗い背景中にある輝度の高い細線(以降、便宜上白細線と呼ぶ)に対しても平滑化が行われてしまい、白線が見えなくなってしまうことがある。
本発明は、上記課題を解決するためになされたものであり、明るい背景中に暗い文字や線を表示しても線が細く見えず、かつ暗い背景中にある白線が見えなくなってしまうことがないようにすることを目的とする。
本発明は、
入力される画像データ中の、暗部に隣接する明部を検出し、第1の選択制御信号を生成する特徴検出手段と、
前記入力される画像データ中の両側において暗部に隣接する明部を白線部として検出し、白線検出信号を生成する白線検出手段と、
前記白線検出信号に基づいて、前記第1の選択制御信号を補正して第2の選択制御信号を出力する制御信号補正手段と、
前記入力される画像データに対して、前記第2の選択制御信号に応じて選択的に平滑化処理を施す平滑化手段と、
前記平滑化手段から出力された画像データに基づいて画像を表示する表示手段と
を備え
前記制御信号補正手段は、前記第1の選択制御信号が、暗部に隣接する明部が検出されたことを示すものであり、かつ前記白線検出信号が、白線を検出したことを示すものではないときには、前記平滑化手段に、第1のフィルタ特性により前記入力される画像データを処理させ、前記第1の選択制御信号が、暗部に隣接する明部が検出されたことを示すものであり、かつ前記白線検出信号が、白線を検出したことを示すものであるときには、前記平滑化手段に、前記第1のフィルタ特性よりも平滑化の程度の小さい第2のフィルタ特性により、前記入力される画像データを処理させるように前記第2の選択制御信号の値を定めることを特徴とする画像表示装置を提供する。
本発明に係る画像処理装置は、入力される画像データに対して、暗い背景中にある白細線部を除く、暗部に隣接する明部に対して選択的に平滑化をおこなうので、明るい背景中に暗い文字や線を表示しても線が細く見えることがない。また暗い背景中にある白細線が見えなくなることがない。
実施の形態1.
図1は、本発明の実施の形態1の画像表示装置の構成を示すブロック図である。図1に示す画像表示装置は、第1、第2及び第3のA/D変換手段1r、1g及び1bと、特徴検出手段2と、白線検出手段3と、制御信号補正手段4と、第1、第2及び第3の平滑化手段5r、5g及び5bと、表示手段6とを有する。
上記のうち、第1、第2及び第3のA/D変換手段1r、1g及び1bと、特徴検出手段2と、白線検出手段3と、制御信号補正手段4と、第1、第2及び第3の平滑化手段5r、5g及び5bとで、画像処理装置81が構成されている。
A/D変換手段1r、1g及び1bは、それぞれ、3原色、即ち赤、緑、青の色毎のアナログ画像信号SR1、SG1、SB1を、信号の形式に対応した所定の周波数でサンプリングしてA/D変換し、各々画素に対応する相連続した、色毎のデジタル画像データ(色データ)SR2、SG2、SB2を生成する。
特徴検出手段2は、画像データSR2、SG2、SB2中の、暗部に隣接する明部を検出し、検出結果を示す第1の選択制御信号CR1、CG1、CB1を出力する。
白線検出手段3は、画像データSR2、SG2、SB2中の、両側において暗部に隣接する明部、即ち白線部分を検出し、検出結果を示す白線検出信号WDを出力する。
制御信号補正手段4は、白線検出手段3から出力される白線検出信号WDに基づき、特徴検出手段4から出力される第1の選択制御信号CR1、CG1、CB1を補正して、第2の選択制御信号CR2、CG2、CB2を生成し、出力する。
平滑化手段5r、5g及び5bは、それぞれ赤、緑、青の画像データSR2、SG2、SB2に対し、第2の選択制御信号CR2、CG2、CB2に応じて、選択的に平滑化処理を施して、画像データSR3、SG3、SB3を出力する。
表示手段6は、平滑化手段5r、5g及び5bからの画像データSR3、SG3、SB3に基づいて画像を表示する。
表示手段6は、液晶表示装置(LCD)、プラズマディスプレイパネル(PDP)などで構成され、マトリクス状に配列された複数の画素を有し、該複数の画素の各々が赤(R)、緑(G)、青(B)の3原色のセル(表示素子)の組合せ(セルセット)から成り、各画素内において、R、G、Bのセルは例えば水平方向に、左からR、G、Bの順に配置されている。
入力された画像信号SR1、SG1、SB1は、画素ピッチに対応した周波数でサンプリングされ、A/D変換により得られる画像データ(各画素データ)SR2、SG2、SB2は、それぞれ各画素の色毎の明るさを示すものである。
特徴検出手段2は、例えば、画像データSR2、SG2、SB2に基づき、各画素の各セルが「暗部に隣接する明部」であるかどうかの判定を行い、「暗部に隣接する明部」であると判定したときは、第1の選択制御信号CR1、CG1、CB1を第1の値「1」とし、そうでないときは第2の値「0」とする。この場合、例えば、各セルにつき(各色の画像データSR2、SG2、SB2につき)別個に判定が行われる。
図2は特徴検出手段2の内部構成を示す図である。図2に示す特徴検出手段2は、比較手段21、23、25と、しきい値記憶手段22、24、26と、選択制御信号生成手段27とを有する。
しきい値記憶手段22、24、26は予め設定されたしきい値を記憶したものであり、比較手段21、23、25は、それぞれ赤、緑、青の画像データSR2、SG2、SB2を受け、しきい値記憶手段22、24、26に記憶されたしきい値と比較し、比較結果を示す信号を出力する。即ち、画像データSR2、SG2、SB2がしきい値以下であれば、「暗部」と判定し、しきい値よりも大きければ、「明部」と判定する。
選択制御信号生成手段27は、比較手段21、23、25からの比較結果を示す信号に基づいて、所定の演算などを行って、第1の選択制御信号CR1、CG1、CB1を生成して出力するものであり、例えばメモリ、マイクロプロセッサ等から成り、各画素についての比較結果を記憶し、各画素についての比較結果と、その画素に隣接する他の画素についての比較結果とに基づき、当該画素が「暗部に隣接する明部」かどうかの判定を行う。
白線検出手段3は、例えば画像データSR2、SG2、SB2に基づき、各画素がその、両側において、暗部に隣接する明部、即ち「白線部」であるかどうかの判定を行い、「白線部」であると判定したときは、白線検出信号WDを第1の値「1」とし、そうでないときは第2の値とする。この場合、1個の画素が両側において暗部に隣接している場合にのみ白線部であると判定するとしても良く、所定数以下の相連続した画素が、両側において、暗部に隣接している場合に白線部であると判定することとしても良い。例えば、2以下の相連続した画素が両側において暗部に隣接している場合に白線部であると判定する。
図3は白線検出手段3の内部構成を示す図である。図3に示される白線検出手段3は、輝度算出手段31と、二次微分手段32と、しきい値記憶手段35と、比較手段33とを有する。
輝度算出手段31は、3色の画像データSR2、SG2、SB2を予め定められた比率で足し合わせることで、各画素の輝度を算出する。この比率は簡易的には、1/4:1/2:1/4であり、この場合輝度SY0は、
SY0=(SR2+2×SG2+SB2)/4
により求められる。
二次微分手段32は、輝度算出手段31にて求められた輝度に、任意の特性で二次微分を施す。各画素についての二次微分値は、例えば当該画素についての階調値から、その両側の(前後の)画素の階調の平均値を差し引くことにより得られる。この場合、各画素の輝度をYi、その前後の画素の輝度をY(i−1)、Y(i+1)で表すと、二次微分値Y”は、
Y”=Yi−{Y(i−1)+Y(i+1)}/2
により求められる。
比較手段35は、二次微分手段32の出力を、予め設定され、しきい値記憶手段35に記憶されたしきい値TWと比較し、しきい値TWよりも高ければ第1の値「1」となり、しきい値以下であれば第2の値「0」となる白線検出信号WDを出力する。白線部においては、輝度Y=Yiが例えば図4(a)に示すように変化するが、この場合二次微分値Y”は図4(b)に示すように変化する。そこで、二次微分値Y”がしきい値TWよりも高ければ、白線部と判断する。
白線検出手段3における上記のような処理の結果、例えば、後述の図9(c)のセルセットST12が「白線部」と判定される。
制御信号補正手段4は、各画素についての白線検出信号WDに基づいて、当該画素内の3つのセルについての第1の選択制御信号CR1、CG1、CB1を補正して、当該3つのセルについての第2の選択制御信号CR2、CG2、CB2を生成する。
図5は制御信号補正手段4の内部構成を示す図である。図5に示される制御信号補正手段4は、演算手段41、42、43を備える。
演算手段41、42、43は、それぞれ第1の選択制御信号CR1、CG1、CB1を受けるとともに、白線検出手段3から出力された白線検出信号WDを受けて、これらに基づいて所定の演算を行って、第2の選択制御信号CR2、CG2、CB2を第1の値「1」または第2の値「0」にする。
図示の演算手段41、42、43は、それぞれNOT回路41a、42a、43aと、AND回路41b、42b、43bとで構成されており、NOT回路41a、42a、43aが白線検出信号WDを反転し、AND回路41b、42b、43bで、NOT回路41a、42a、43aの出力と、第1の選択制御信号CR1、CG1、CB1との論理積を求めることにより、第2の選択制御信号CR2、CG2、CB2を出力する。
このような構成のため、白線検出信号WDが第2の値「0」のとき(白線が検出されないとき)は、第1の選択制御信号CR1、CG1、CB1がそのまま第2の選択制御信号CR2、CG2、CB2となる一方、白線検出信号WDが「1」のとき(白線が検出されたとき)は、第1の選択制御信号CR1、CG1、CB1の値の如何を問わず、第2の選択制御信号CR2、CG2、CB2は第2の値「0」となる。
図6は図1の平滑化手段5rの内部構成を示す図である。図示の平滑化手段5rは、選択手段51と、第1のフィルタ手段52と、第2のフィルタ手段53とを有する。
選択手段51は、例えば1入力2出力切り替えスイッチで構成され、赤の画像データSR2が入力端子51cに供給される。
第1のフィルタ手段52と、第2のフィルタ手段53とは、それぞれ選択手段51の第1及び第2の出力端子51a、51bに接続されている。
第1のフィルタ手段52は第1のフィルタ特性Aを有し、第2のフィルタ手段53は、第2のフィルタ特性Bを有する。第2のフィルタ特性Bは、第1のフィルタ特性Aよりも平滑化の程度が小さい。例えば第2のフィルタ特性Bは、平滑化を行わず、入力がそのまま出力となる特性である。即ち、平滑化度がゼロである。
選択手段51は、制御信号補正手段4からの第2の選択制御信号CR2により制御される。例えば、選択手段51は、第2の選択制御信号CR2が第1の値「1」のときに第1のフィルタ手段52を選択し、第2の選択制御信号CR2が第2の値「0」のときに第2のフィルタ手段53を選択するように制御される。
各画素の画像データSR2が選択手段51に入力されるタイミングに合わせて、対応する第2の選択制御信号CR2が選択手段51に供給され、選択手段51は、入力される画像データSR2に対応する第2の選択制御信号CR2によって制御される。
図7は、平滑化手段5rの第1のフィルタ手段52及び第2のフィルタ手段53として用い得るフィルタの一例を示す図である。
図示のフィルタは、画像データSR2を受ける入力端子101と、入力端子からのデータを受けて1画素に対応する期間遅延させる第1の1ドット遅延手段102と、第1の1ドット遅延手段102の出力を受けて1画素に対応する期間遅延させる第2の1ドット遅延手段103と、入力端子101、第1及び第2の1ドット遅延手段102及び103の出力端子に現われる画像データに重み付け係数を乗算する第1、第2及び第3の係数乗算器104、105及び106と、第1、第2及び第3の係数乗算部104、105、及び106の出力の総和を求める総和演算器107とを有する。
第1、第2及び第3の係数乗算部104、105及び106で乗算される係数は、それぞれy、(1−x−y)、xで表される。ここで、x、yはともに1よりも小さく、0以上であり、かつxとyの和も1より小さい。
図8は、このようなフィルタによるフィルタ特性Fを表す。同図で縦軸は重み付け係数を表し、横軸は画素位置PPを表し、処理対象画素の画素位置が(n+1)で示され、その前後(左右)の画素の画素位置がn、(n+2)で表される。処理対象画素(n+1)のデータが図7の第1の遅延手段102から出力されるとき、その前後(左右)の画素n、(n+2)のデータがそれぞれ第2の遅延手段103、入力端子101から出力される。
平滑化手段5g及び5bも平滑化手段5rと同様に構成されており、平滑化手段5g及び5bの制御のための第2の選択制御信号CG2及びCB2により同様に制御される。
図9(a)〜(c)は、暗部と明部の境界(輪郭)を含む画像データを、そのまま平滑化しないで表示手段6で表示した場合のセル毎の明るさを表す階調値の一例を示す図である。図9(a)〜(c)において、縦軸は明るさを表す階調値を表し、横軸は表示手段6の画面上の水平位置PPを示す。またR0a〜R14aは赤色のセル、G0a〜G14aは緑色のルス、B0a〜B14aは青色のセルを示す。図9(a)は、左側が明部で右側が暗部の画像を表示した場合の階調値を示し、図9(b)は、左側が暗部で右側が明部の画像を表示した場合の階調を示す。また図9(c)は暗部の中に孤立した一画素(3セル)幅の明部が存在する画像を表示した場合の階調値を示したものである。それぞれ相連続する3つのセルにより、セルセット(ST0〜ST14の各々)が構成されており、各セルセットは、各画素に相当する。
図9(a)の例では、特徴検出手段2が、セルセットST0内のセルR0a、G0a、B0a)、セルセットST1内のセルR1a、G1a、B1a、セルセットST2内のセルR2a、G2a、B2aについては明部と判定し、セルセットST3内のセルR3a、G3a、B3a)、セルセットST4内のセルR4a、G4a、B4aについては暗部と判定し、さらにセルセットST2内のセルR2a、G2a、B2aについては、「暗部に隣接する明部」と判定する。この結果、第1の選択制御信号CR1、CG1、CB1は、セルセットST2のセルR2a、G2a、B2aについては第1の値「1」となり、それ以外のセルセットのセルについては第2の値「0」となる。
図9(b)の例では、特徴検出手段2が、セルセットST5内のセルR5a、G5a、B5a、セルセットST6内のセルR6a、G6a、B6a、セルセットST7内のセルR7a、G7a、B7aについては暗部と判定し、セルセットST8内のセルR8a、G8a、B8a、セルセットST9内のセルR9a、G9a、B9aについては明部と判定し、さらにセルセットST8内のセルR8a、G8a、B8aについては、「暗部に隣接する明部」と判定する。この結果、第1の選択制御信号CR1、CG1、CB1は、セルセットST8のセルR8a、G8a、B8aについては第1の値「1」となり、それ以外のセルセットのセルについては第2の値「0」となる。
図9(c)の例では、特徴検出手段2が、セルセットST10内のセルR10a、G10a、B10a、セルセットST11内のセルR11a、G11a、B11a、セルセットST13内のセルR13a、G13a、B13a、セルセットST14内のセルR14a、G14a、B14aについては暗部と判定し、セルセットST12内のセルR12a、G12a、B12a)については明部と判定し、さらにセルセットST12内のセルR12a、G12a、B12a)については「暗部に隣接する明部」と判定する。この結果、第1の選択制御信号CR1、CG1、CB1は、セルセットST12のセルR12a、G12a、B12aについては第1の値「1」となり、それ以外のセルセットのセルについては第2の値「0」となる。
さらに、明部である図9(c)のセルセットST12(R12a、G12a、B12a)については、隣接する暗部であるセルセットST11(R11a、G11a、B11a)およびST13(R13a、G13a、B13a)との階調差が大きく、二次微分手段32によって求められる二次微分結果Y”がしきい値記憶手段35に記憶されているしきい値TWと比べて大きいため、白線検出手段3において白線部と検出される。その結果白線検出手段3から出力される白線検出信号WDは、セルセットST12については、第1の値「1」となりそれ以外のセルセットについては第2の値「0」となる。
上記のように、図9(a)に示す例ではセルセットST2内のセルR2a、G2a、B2a)、図9(b)に示す例ではセルセットST8内のセルR8a、G8a、B8aはそれぞれ特徴検出手段2において、「暗部に隣接する明部」として検出され、そのため第1の選択制御信号CR1、CG1、CB1が、第1の値「1」となり、これらは制御信号補正手段4に入力されて、そのまま第2の選択制御信号CR2、CG2、CB2として出力され、平滑化手段5r、5g及び5bに入力される。
一方、図9(c)のセルセットST12内のセルR12a、G12a、B12aに関しては、特徴検出手段2で「暗部に隣接する明部」として検出され、第1の選択制御信号CR1、CG1、CB1が第1の値「1」となるが、白線検出手段3で白線部として検出され、白線検出信号WDが第1の値「1」となる。その結果、制御信号補正手段4から出力される第2の選択制御信号CR2、CG2、CB2は第2の値「0」となる。
このように、白線部においては、特徴検出手段2から出力された第1の選択制御信号CR1、CG1、CB1が、第1のフィルタ特性Aを選択させるための第1の値「1」を有するものであっても、平滑化手段5r、5g及び5bに供給される第2の選択制御信号CR2、CG2、CB2は、第2のフィルタ特性Bを選択させるための第2の値「0」を有するものとなる。
図10(a)、(b)は、図8(a)、(b)のフィルタ特性を赤、緑、青のセルのそれぞれについて示すものであり、縦軸は重み付け係数を表し、横軸は、水平方向上の画素位置を示し、それぞれ画素位置n、(n+1)、(n+2)のセルセットがSTn、STn+1、STn+2で表されている。
また、赤の画像データSR2を平滑化する平滑化手段5r中の第1及び第2のフィルタ手段52及び53のフィルタ特性A及びBが符号FRa、FRbで表され、緑の画像データSG2を平滑化する平滑化手段5g中の第1及び第2のフィルタ手段52及び53のフィルタ特性A及びBが符号FGa、FGbで表され、青の画像データSB2を平滑化する平滑化手段5b中の第1及び第2のフィルタ手段52及び53のフィルタ特性A及びBが符号FBa、FBbで表されている。
x>0、y>0、x=yである第1のフィルタ特性Aの場合には、例えばセルセットSTn+1の画素が白点(明部)であり、セルセットSTn及びSTn+2の画素が黒点(暗部)である場合には、セルセットSTn+1(明部)中の各セルのデータの階調値はフィルタ特性Aにより平滑化されて減少する。逆に、セルセットSTn+1の画素が黒点(暗部)であり、セルセットSTn及びSTn+2の画素が白点(明部)である場合には、セルセットSTn+1(暗部)中の各セルのデータの階調値はフィルタ特性Aにより平滑化されて増加する。
x=0、y=0である第2のフィルタ特性Bの場合には、平滑化は行われず、入力されたデータSR2がそのまま出力SR3となる。例えばセルセットSTn+1の画素が白点(明部)であり、セルセットSTn及びSTn+2の画素が黒点(暗部)である場合にも、セルセットSTn+1(明部)の階調値が減少しない。また、セルセットSTn+1の画素が黒点(暗部)であり、セルセットSTn及びSTn+2の画素が白点(明部)である場合にも、セルセットSTn+1(暗部)の階調値が増加しない。
図9の平滑化手段5rの第1のフィルタ手段52として図10(a)に示されるフィルタ特性FRa(第1のフィルタ特性A)のものを用い、第2のフィルタ手段53として図10(b)に示されるフィルタ特性FRb(第2のフィルタ特性B)のものを用いる。同様に、平滑化手段5g及び5bの第1のフィルタ手段52として図10(a)に示されるフィルタ特性FGa、FBa(第1のフィルタ特性A)のものを用い、第2のフィルタ手段53として図10(b)に示されるフィルタ特性FGb、FBb(第2のフィルタ特性B)のものを用いる。そして、入力された画像の特徴に応じて、第2の選択制御信号CR2、CG2、CB2によって選択手段51を制御し、これにより、第1のフィルタ手段52及び第2のフィルタ手段53のいずれかを選択する。
図11(a)〜(c)は、図9(a)〜(c)に示す画像データに対して、特徴検出手段2、白線検出手段3及び制御信号補正手段4により制御される平滑化手段5r、5g及び5bによる選択的平滑化処理を行った結果を示す図である。
図11(a)〜(c)においても、図9(a)〜(c)と同様に、縦軸は階調値を表し、横軸は表示手段6の画面上の水平位置PPを示す。またR0b〜R14bは赤色のセル、G0b〜G14bは緑色のセル、B0b〜B14bは青色のセルを示す。
符号Faは、それぞれその下部に示されるセルセットのデータが第1のフィルタ手段52(第1のフィルタ特性A)で処理されたことを示し、符号Fbは、それぞれその下部に示されるセルセットのデータが第2のフィルタ手段53(第2のフィルタ特性B)で処理されたことを示す。
図9(a)、(b)、(c)の画像データが入力された場合には、上記のように、セルセットST2内のセルR2a、G2a、B2a、セルセットST8内のセルR8a、G8a、B8aについては、制御信号補正手段4から出力される第2の選択制御信号CR2、CG2、CB2が第1の値「1」となる結果、選択手段51により第1のフィルタ特性Aを有する第1のフィルタ手段52が選択され、画像データが平滑化される。
他のセルセットST0、ST1、ST3〜ST7、ST9〜ST14については、制御信号補正手段4から出力される第2の選択制御信号CR2、CG2、CB2が第2の値「0」となる結果、選択手段51により第2のフィルタ手段52が選択され、画像データの平滑化が行われない。
このような選択的平滑化を行う結果、図11(a)、(b)に示すように、セルセットST2内のセルR2b、G2b、B2b、セルセットST8内のセルR8b、G8b、B8bの画像データにおいては、階調値が減少する。図には、減少分が符号R2c、G2c、B2c、R8c、G8c、B8cで表されている。
一方、図11(c)に示すように、セルセットST12内のセルR12b、G12b、B12bの画像データは減少していない。仮に白線検出手段3を用いずに、特徴検出手段2から出力される第1の選択制御信号CR1、CG1、CB1により選択手段51を制御すれば、図11(c)に符号R12c、G12c、B12cで示す分だけ減少するが、本発明では白線検出手段3を用いることにより、このような減少が起きるのを回避している。これにより、暗い背景中の白線が見えにくくなるのを避けている。
以上のように、本実施の形態では、図9に示した各画像データに対して、制御信号補正手段4より出力される第2の選択制御信号CR2、CG2、CB2に基づいて、平滑化手段5r、5g及び5bで選択的に平滑化処理を実施する。これにより、画像の明部と暗部の境界部において、白線部を除く、画像の暗部に隣接する明部にのみ選択的に平滑化処理を実施できるようになるので、明るい背景中に暗い文字や線を表示しても線が細く見えず、同時に暗い背景中の明るい文字や線の部分は平滑化されず、さらに文字や線の鮮鋭度が劣化しないようにすることができる。
以下、上記した特徴検出手段2、白線検出手段3、制御信号補正手段4および制御信号補正手段4よる、平滑化手段5r、5g及び5bの制御の手順を、図12のフローチャートに沿って説明する。なお、これらの制御はソフトウエアにより、即ちプログラムされたコンピュータにより実現することもできる。
特徴検出手段2では、入力された画像データ(SR2、SG2、SB2)が有効画像期間内のものかどうか判定され(ステップS1)、有効画像期間内の画像データでなければ、即ち、ブランキング期間内の画像データである場合には、ステップS7に進む。有効画像期間内の画像データであれば、ステップS2に進む。
ステップS2では、比較手段21、23、25により、しきい値記憶手段22、24、26内のしきい値と比較することにより、各入力画像データが画像の暗部であるか否かを判断する。
入力画像データSR2がしきい値よりも大きく画像の暗部でない(すなわち明部である)場合(ステップS2でNO)には、ステップS4に進み、その入力画像データSR2の前後の画像データを調べることにより「暗部に隣接する明部」であるか否かが判断される。入力画像データSR2、SG2、SB2が「暗部に隣接する明部」である場合(ステップS4でYES)には、ステップS5に進む。
ステップS5では、白線検出手段3が、入力された画像データSR2、SG2、SB2から輝度算出手段31を用いて輝度データSY0を取得し、二次微分手段32により得られる二次微分値Y”を、しきい値記憶手段35内のしきい値TWと、比較手段33にて比較することで、入力画像データが白線であるか否かを判断する。
入力画像データが白線でない場合(ステップS5でNO)には、ステップS6に進み、第1のフィルタ手段52(第1のフィルタ特性A)が選択される。即ち、入力画像データが「暗部に隣接する明部」である(ステップS4でYES)ために、特徴検出手段2から出力された第1の値を持つ第1の選択制御信号CR1、CG1、CB1が、そのまま、第2の選択制御信号CR2、CG2、CB2として制御信号補正手段4から平滑化手段5r、5g、5bに供給され、この第2の選択制御信号CR2、CG2、CB2により平滑化手段5r、5g、5b内の選択手段51が第1のフィルタ手段52(第1のフィルタ特性A)の側に切り替えられる(ステップS6)。そして、第1のフィルタ手段52による処理結果としての画像データSR3、SG3、SB3が表示手段6に供給される。
ステップS2で、入力画像データSR2、SG2、SB2が画像の暗部である場合(ステップS2でYES)、あるいはステップS4で、入力画像データSR2、SG2、SB2が「暗部に隣接する明部」でない場合(ステップS4でNO)の場合には、ステップS3に進み、特徴検出手段2から出力される第1の選択制御信号CR1、CG1、CB1が第2の値「0」となり、この第1の選択制御信号CR1、CG1、CB1が制御信号補正手段4で補正されることなくそのまま第2の選択制御信号CR2、CG2、CB2として平滑化手段5r、5g、5bに供給され、平滑化手段5r、5g、5b内の選択手段51が第2のフィルタ手段53(第2のフィルタ特性B)の側に切り替えられ(ステップS3)、第2のフィルタ手段53(第2のフィルタ特性B)による処理結果となる画像データSR3、SG3、SB3が平滑化手段5から表示手段6に出力される。
ステップS5で、入力画像データが白線である場合(ステップS5でYES)にもステップS3に進む。この場合には、特徴検出手段2から出力される第1の選択制御信号CR1、CG1、CB1が第1の値「1」となるが、白線検出信号WDが第1の値「1」であるので、第2の選択制御信号CR2、CG2、CB2が第2の値「0」となり、この第2の選択制御信号CR2、CG2、CB2が平滑化手段5r、5g、5bに供給され、平滑化手段5r、5g、5b内の選択手段51が第2のフィルタ手段53(第2のフィルタ特性B)の側に切り替えられ(ステップS3)、第2のフィルタ手段53(第2のフィルタ特性B)による処理結果となる画像データSR3、SG3、SB3が平滑化手段5から表示手段6に出力される。
ステップS3またはステップS6の後、画像データが終了したか否かが判断され(ステップS7)、画像データが終了した場合(ステップS7でYES)には処理を終了し、画像データが終了しない場合(ステップ7でNO)には再びステップS1に戻って画像データの検出が行われる。
本実施の形態では、上記のように動作するので、白線部を除く「暗部に隣接する明部」の画像データのみに対して平滑化処理を実施することができ、その結果、明るい背景中に暗い文字や線を表示しても線が細く見えず、また暗い背景中の明るい文字や線の部分は平滑化されず、文字や線の鮮鋭度が劣化しないようにすることができる。
上記した実施の形態では、平滑化手段5r、5g及び5bが2つのフィルタ手段52、53を有し、選択手段51でその一方を選択しているが、平滑化手段5r、5g及び5bの各々が3つ以上のフィルタ手段を有し、その画像の特性に応じてその一つを選択する場合にも本発明を適用することができる。
その場合、例えば特徴検出手段2で検出された画像の特性に応じて、3つ以上の(N個の)フィルタ手段のいずれかを選択するためのN値の第1の選択制御信号CR1、CG1、CB1を生成し、白線検出手段3で白線部が検出されたときは、制御信号補正手段4から発生されるN値の第2の選択制御信号CR2、CG2、CB2の値を、第1の選択制御信号CR1、CG1、CG1の値の如何を問わず、平滑化を行わない(或いは平滑化の程度が最も少ない)フィルタ特性のフィルタ手段を選択するための値にする。
また、平滑化手段5r、5g及び5bとして複数のフィルタ手段を有し、選択手段でフィルタ手段の一つを選択するものの代わりに、複数のフィルタ特性間で切換可能な1個のフィルタを有し、第2の選択制御信号CR2、CG2、CB2により上記1個のフィルタのフィルタ特性を切換えることができる平滑化手段を用いても良い。このようなフィルタ特性の切換は、例えば図7の係数乗算部の係数を切換えることで実現可能である。
さらに、上記の例では、特徴検出手段2において入力される各セルセットの3つのセルの画像データSR2、SG2、SB2の各々について、しきい値記憶手段22、23、24に記憶されたしきい値以下である場合に暗部と判定したが、代わりに各セルセットの3つのセルの画像データSR2、SG2、SB2の中の最小のものの値を所定のしきい値と比較してしきい値以下であれば、当該セルセットの3つのセルの画像データはすべて暗部の画像データであると判定し、そうでなければ当該セルセットの3つのセルの画像データはすべて明部の画像データであると判定することとしても良い。さらにまた、各セルセットの3つのセルの画像データSR2、SG2、SB2の中の最大のものの値を所定のしきい値と比較してしきい値よりも大きければ、当該セルセットの3つのセルの画像データはすべて明部の画像データであると判定し、そうでなければ当該セルセットの3つのセルの画像データはすべて暗部の画像データであると判定することとしても良い。
さらにまた、各画素の緑の画像データSG2のみに基づいて、各画素についての、「暗部に隣接する明部」であるかどうかの判定を行い、その判定結果を当該画素の3つのセルの画像データSR2、SG2、SB2についての判定結果として用いても良い。
さらにまた、明部かどうかの判定のためのしきい値と暗部かどうかの判定のためのしきい値とを互いに異なる値としても良い。
実施の形態2.
図13は本発明の実施の形態2の画像表示装置82を示す図である。図13の画像表示装置82は、図1の画像表示装置81と概して同じであるが、図1の赤、緑、青の画像信号SR1、SG1、SB1の代わりに、輝度信号SY1と色差信号SC1(BY及びRY)からなる2信号を入力画像信号として受け、図1のA/D変換手段1r、1g及び1bの代わりに、第1及び第2のA/D変換手段1y及び1cを備え、さらに、マトリクス手段12が追加されている。また、図1の白線検出手段3の代わりに、白線検出手段13が設けられている。
第1のA/D変換手段1yは、アナログ輝度信号SY1をA/D変換してデジタル輝度データSY2を出力する。
第2のA/D変換手段1cは、アナログ色差信号SC1をA/D変換して、デジタル色差データSC2を出力する。
マトリクス手段12は、輝度データSY2および色差データSC2を受けて、赤、緑、青の色毎の画像データ(色データ)SR2、SG2、SB2を出力する。
図1の白線検出手段3は、赤、緑、青の画像データSR2、SG2、SB2を入力とするが、図13の白線検出手段13は、輝度データSY2を入力とする。
図14は画像表示装置82内の白線検出手段13の構成を示す。図14の白線検出手段13には、図3の輝度算出手段31が設けられておらず、入力される輝度データSY2が二次微分手段32に直接入力されている。それ以外の点では、図14の白線検出手段13は、図3の白線検出手段と同じである。
図13に示す画像表示装置82の動作は、図1の画像表示装置81と概して同じであるが、以下の点で異なる。輝度信号SY1がA/D変換手段1yに入力され、色差信号SC1がA/D変換手段1cに入力される。A/D変換手段1yおよび1cは、入力された輝度信号SY1と色差信号SC1を所定の周波数でサンプリングし、各々画素に対応する相連続した、デジタル輝度データSY2と色差データSC2に変換する。A/D変換手段1yから出力される輝度データSY2はマトリクス手段12および白線検出手段13に送出される。またA/D変換手段1cら出力される色差データSC2はマトリクス手段12に送出される。
マトリクス手段12では入力され輝度データSY2と色差データSC2から赤、緑、青の画像データSR2、SG2、SB2を生成する。赤、緑、青の画像データSR2、SG2、SB2は特徴検出手段2と平滑化手段5r、5g及び5bに入力される。上記以外の動作は図1の画像表示装置81の動作と同様である。本実施の形態についても、図1の画像表示装置8について述べたのと同様の変形を加えることが可能である。
このように本発明は、入力信号が3原色の画像信号SR1、SG1、SB1である場合に限らず、輝度信号SY1と色差信号SC1が入力される場合にも適用できる。
実施の形態3.
図15は実施の形態3の画像表示装置83を示す図である。図15の画像表示装置83は、図13の画像表示装置82と概して同じであるが、入力画像信号として、図13の輝度信号SY1及び色差信号SC1の代わりに、コンポジット信号(複合映像信号)SP1を受けるものであり、A/D変換手段1y及び1cの代わりに、A/D変換手段1pが設けられ、輝度・色度分離手段(Y/C分離手段)16が追加されている点で異なる。
A/D変換手段1pは、アナログのコンポジット信号SP1を受けて、デジタルのコンポジットデータSP2に変換する。
YC分離手段16は、コンポジットデータSP2から輝度データSY2と色差データSC2を分離する。
輝度データSY2は、図13と同様のマトリクス手段12及び白線検出手段13に供給される。色差データSC2は、マトリクス手段12に供給される。
図15に示す画像表示装置83の動作は、図13の画像表示装置82と概して同じであるが、以下の点で異なる。
コンポジット信号SP1がA/D変換手段1pに入力され、A/D変換手段1pはコンポジット信号SP1を所定の周波数でサンプリングし、デジタルコンポジットデータSP2に変換する。A/D変換手段1pで変換されたコンポジットデータSP2はY/C分離手段16に入力され、輝度データSY2と色差データSC2に分離される。Y/C分離手段16から出力される輝度データSY2はマトリクス手段12および白線検出手段13に送出され、色差データSC2はマトリクス手段12に入力される。上記以外の動作は図13の画像表示装置82と同様である。
このように本発明は、コンポジット信号SP1が入力される場合にも適用できる。
実施の形態4.
実施の形態1〜3では、アナログ画像信号が入力される、本発明はデジタル画像データが入力される場合にも適用できる。図16は本発明の実施の形態4の画像表示装置84を示す図である。図16の画像表示装置84は、図1の画像表示装置81と概して同じであるが、図1のA/D変換手段1r、1g及び1bが設けられておらず、赤、緑、青の画像データSR2、SG2、SB2を受ける入力端子9r、9g、9bを有する。
デジタルの画像データSR2、SG2、SB2は、平滑化手段5r、5g及び5b及び白線検出手段10及び特徴検出手段2に供給される。上記以外の動作は、図1の画像表示装置81と同様である。本実施の形態についても、図1の画像表示装置81について述べたのと同様の変形を加えることが可能である。
以上のように、本発明は、アナログ画像信号が入力される場合に限らず、デジタルの画像データが入力される場合にも適用できる。
実施の形態5.
上記実施の形態1では、特徴検出手段2が、赤、緑、青の画像データSR2、SG2、SB2から画像の「暗部に隣接する明部」を検出するが、本発明はこれに限らず、例えば、画像データ中の輝度データから画像の「暗部に隣接する明部」を検出するように構成しても良い。
図17は本発明の実施の形態5の画像表示装置85を示す図である。図17の画像表示装置85は、図1の画像表示装置と概して同じであるが、輝度算出手段17が追加され、図1の特徴検出手段2及び白線検出手段3の代わりに、特徴検出手段18及び白線検出手段13が設けられている。
輝度算出手段17は、画像データSR2、SG2、SB2に基づいて輝度を算出し、輝度データSY2を出力する。輝度算出手段17は、例えば図3の輝度算出手段31と同様に構成され、例えば
SY2=(SR2+2×SG2+SB2)/4
により輝度SY2を求める。
白線検出手段13は、例えば図14の白線検出手段13と同様に構成される。
特徴検出手段18は、例えば図18に示すように構成されている。図18に示す特徴検出手段18は、図1の特徴検出手段2と概して同じであるが、以下の点で異なる。即ち、図1の特徴検出手段2は、赤、緑、青の画像データSR2、SG2、SB2に基づいて画像の明部か暗部かを判定していたが、図17の特徴検出手段18は、輝度データSY2に基づいて、各セルの画像が明部か暗部かを判定する。
図18に示される特徴検出手段18は、比較手段61と、しきい値記憶手段62と、選択制御信号生成手段67とを有する。
しきい値記憶手段62は、予め設定されたしきい値THを記憶したものであり、比較手段62は、輝度データSY2を受け、しきい値記憶手段62に記憶されたしきい値と比較し、比較結果を示す信号を出力する。即ち、輝度データSY2がしきい値より大きければ、「明部」と判定し、そうでなければ「暗部」と判定する。
特徴検出手段18は、例えば、各画素の輝度データSY2に基づき、各画素が「暗部に隣接する明部」であるかどうかの判定を行い、「暗部に隣接する明部」であると判定したときは、当該画素の3つのセルについての第1の選択制御信号CR1、CG1、CB1を第1の値「1」とし、そうでないときは第2の値「0」とする。
図17の実施の形態の画像表示装置の動作は、概して実施の形態1の画像表示装置と同じであるが、以下の点で異なる。
図18の特徴検出手段18において、輝度データSY2が比較手段61の一方の入力端子に入力される。比較手段61の他方の入力端子には、しきい値記憶手段62が接続されており、輝度データSY2に対応するしきい値THが入力される。比較手段61では、輝度データSY2としきい値記憶手段62に記憶されたしきい値と比較し、輝度データSY2がしきい値以下であれば「暗部」と判定し、しきい値よりも大きければ、「明部」と判定する。
選択制御信号生成手段67は、比較手段61からの比較結果を示す信号に基づいて、所定の演算などを行って、第1の選択制御信号CR1、CG1、CB1を出力するものであり、例えばメモリ、マイクロプロセッサ等から成り、各画素についての比較結果を記憶し、各画素についての比較結果と、その画素に隣接する他の画素についての比較結果とに基づき、当該画素が「暗部に隣接する明部」かどうかの判定を行う。
白線検出手段13は、図14の白線検出手段13と同様に動作する。
上記以外の点では、図17の実施の形態の動作は、図1の実施の形態の動作と同様である。本実施の形態についても、図1の実施の形態について述べたのと同様の変形を加えることが可能である。
実施の形態6.
図19は、実施の形態6の画像表示装置を示す。図19の画像表示装置86は、図17の画像表示装置85と概して同じであるが、図17の赤、緑、青の画像信号SR1、
SG1、 SB1の代わりに、輝度信号SY1と色差信号SCY(BY及びRY)からなる2信号を入力画像信号として受け、図17のA/D変換手段1r、1g及び1bの代わりに、第1及び第2のA/D変換手段1y及び1cを備え、さらに、マトリクス手段12が追加され、さらに輝度算出手段17が設けられていない。
図19の画像表示装置86は、図13を参照して説明したのと同様の変形を加えたものであり、A/D変換手段1y及び1c、マトリクス手段12及び白線検出手段13は、図13に示すものと同じである。
実施の形態7.
図20は、実施の形態7の画像表示装置を示す。図20に示す画像表示装置87は、図19の画像表示装置86と概して同じであるが、入力画像信号として、図19の輝度信号SY1及び色差信号SC1の代わりに、コンポジット信号(複合映像信号)SP1を受けるものであり、A/D変換手段1y及び1cの代わりに、A/D変換手段1pが設けられ、輝度・色度分離手段(Y/C分離手段)16が追加されている点で異なる。
図20の画像表示装置87は、図15を参照して説明したのと同様の変形を加えたものであり、Y/C分離手段16、マトリクス手段12及び白線検出手段13は、図15に示すものと同じである。
実施の形態8.
実施の形態1〜7では、特徴検出手段2、18が予め設定されたしきい値を基に画像の明部か暗部かを判定して、画像の「暗部に隣接する明部」を検出しているが、本発明はこれに限らず、例えば、隣接する画素との輝度の大小関係を検出し、輝度の高い方の画素が「暗部に隣接する明部」であると判定する構成にしても良い。
図21は、本発明の実施の形態8の画像表示装置88を示す図である。図21の画像表示装置88は、図17の画像表示装置85と概して同じであるが、図17の特徴検出手段18の代わりに特徴検出手段19が設けられている。
図22は、本発明の実施の形態8における画像表示装置中の特徴検出手段19を示す図である。図22の特徴検出手段19は、概して図18に示した特徴検出手段18と同じであるが、一次微分手段63が追加されており、選択制御信号生成手段67の動作が異なる。
図22の特徴検出手段19において、輝度データSY2が一次微分手段63に入力される。一次微分手段63にて求められた輝度データSY2の一次微分結果は選択制御信号生成手段67に入力される。
輝度データSY2はまた、図18の特徴検出手段18と同様に、比較手段61において、しきい値記憶手段62からのしきい値THと比較され、比較結果が選択制御信号生成手段67に入力される。比較手段61から出力される比較結果は、各画素の輝度がしきい値よりも低いかどうかを示すものである。
選択制御信号生成手段67は、一次微分手段63の一次微分結果と比較手段61の比較結果に対して所定の演算等を行って、第1の選択制御信号CR1、CG1、CB1を出力するものであり、例えばメモリ、マイクロプロセッサ等から成る。
選択制御信号生成手段67は、比較手段63からの比較結果と一次微分手段63の一次微分結果に基づき、第1の選択制御信号CR1、CG1、CB1を第1の値「1」または第2の値「0」とするものであり、一次微分手段63の一次微分結果に基づき、当該画素の輝度が隣接する画素のいずれか一方よりも高いかどうかの判定(いずれよりも低くないかどうかの判定)を行う。一次微分手段63の一次微分結果に基づき、隣接する画素との輝度の高低を判断する場合、例えば各画素の階調値からその左側(前側)の画素の階調値を差し引くことにより得られる一次微分値が正であれば、当該画素がその左側(前側)の画素よりも輝度が高いと判定され、各画素の階調値を、その画素の右側(後側)の画素の階調値から差引くことにより得られる一次微分値が負であれば、当該画素がその右側(後側)の画素よりも輝度が高いと判定される。
そして、当該画素の輝度が隣接する画素のいずれか一方よりも高く、かつ比較手段63からの比較結果に基づき、当該画素の輝度がしきい値よりも低いと判定されたときは、第1の選択制御信号CR1、CG1、CB1を第1の値「1」にする。
一方、当該画素の輝度が隣接する画素のいずれよりも高くない(いずれと比較しても低い)ときは、第1の選択制御信号CR1、CG1、CB1を第2の値「0」にする。また、比較手段63からの比較結果に基づき当該画素の輝度がしきい値よりも高いときも、第1の選択制御信号CR1、CG1、CB1を第2の値「0」にする。
白線検出手段13の動作は、実施の形態5について説明したのと同様であり、また制御信号補正手段4、平滑化手段5r、5g及び5bの動作は、実施の形態1について説明したのと同様である。
図23(a)〜(c)は、明部と明部の境界(輪郭)を含む画像データを、そのまま平滑化しないで表示手段6で表示した場合のセル毎の明るさを表す階調値の一例を示す図である。図23(a)〜(c)において、縦軸は明るさを表す階調値を表し、横軸は表示手段6の画面上の水平位置PPを示す。またR0d〜R14dは赤色のセル、G0d〜G14dは緑色のセル、B0d〜B14dは青色のセルを示す。図23(a)は、左側が明部で右側が暗部の画像を表示した場合の階調を示し、図23(b)は、左側が暗部で右側が明部の画像を表示した場合の階調値を示す。また図23(c)は暗部の中に孤立した一画素(3セル)幅の明部が二箇所に存在する画像を表示した場合のセル毎の階調値を示したものである。それぞれ相連続する3つのセルにより、セルセット(ST0〜ST14の各々)が構成されており、各セルセットは、各画素に相当する。
図24(a)〜(c)は、それぞれ図23(a)〜(c)のセルセットのセルの画像データより算出される輝度(輝度データSY2が表す輝度)を示す。図24(a)〜(c)中のしきい値THは、図22に示される、特徴検出手段19中のしきい値記憶手段62に記憶されている値であり、輝度データSY2との比較に用いられる。
図25(a)〜(c)は、図23(a)〜(c)に示す画像データに対して、特徴検出手段19、白線検出手段13及び制御信号補正手段4により制御される平滑化手段5r、5g及び5bによる選択的平滑化処理を行った結果を示す図である。図25(a)〜(c)においても、図24(a)〜(c)と同様に、縦軸は階調値を表し、横軸は表示手段6の画面上の水平位置PPを示す。またR0e〜R14eは赤色のセル、G0e〜G14eは緑色のセル、B0e〜B14eは青色のセルを示す。
符号Faは、それぞれその下部に示されるセルセットのデータが第1のフィルタ手段52(第1のフィルタ特性A)で処理されたことを示し、符号Fbは、それぞれその下部に示されるセルセットのデータが第2のフィルタ手段53(第2のフィルタ特性B)で処理されたことを示す。
図23(a)、図24(a)ではセルセットST0内のセルR0d、G0d、B0d、及びセルセットST1内のセルR1d、G1d、B1dの画像データより算出される輝度SY2はしきい値THよりも高く、それ以外のセルセットST2、ST3、ST4のセルの画像データより算出される輝度はしきい値よりも低い。
またセルセットST2内のセルR2d、G2d、B2dの画像データより算出される輝度は、セルセットST3内のセルR3d、G3d、B3dの画像データより算出される輝度よりも高く、またセルセットST3内のセルR3d、G3d、B3dの画像データより算出される輝度は、セルセットST4内のセルR4d、G4d、B4dの画像データより算出される輝度より高い。
このため、セルセットST2及びST3については、特徴検出手段67から出力される第1の選択制御信号CR1、CG1、CB1は第1の値「1」であるが、他のセルセットST0、ST1、ST4については、第1の選択制御信号CR1、CG1、CB1は第2の値「0」となる。
図23(b)、図24(b)ではセルセットST9内のセルR9d、G9d、B9dの画像データより算出される輝度SY2はしきい値THよりも高く、それ以外のセルセットST5〜ST8の画像データより算出される輝度は、しきい値THよりも低い。
またセルセットST8内のセルR8d、G8d、B8dの画像データより算出される輝度は、セルセットST7内のセルR7d、G7d、B7dの画像データより算出される輝度よりも高く、セルセットST7内のセルR7d、G7d、B7dの画像データより算出される輝度はセルセットST6内のセルR6d、G6d、B6dの画像データより算出される輝度より高い。
このため、セルセットST7及びST8については、特徴検出手段67から出力される第1の選択制御信号CR1、CG1、CB1は第1の値「1」であるが、他のセルセットST5、ST6、ST9については、第1の選択制御信号CR1、CG1、CB1は第2の値「0」となる。
図23(c)、図24(c)では、セルセットST11内のセルR11d、G11d、B11dの画像データより算出される輝度SY2は、隣接するセルセットST10、ST12内のセルの画像データより算出される輝度よりも高く、セルセットST13内のセルR13d、G13d、B13dの画像データより算出される輝度SY2は、隣接するセルセットST12、ST14内のセルの画像データより算出される輝度よりも高い。また、セルセットST13内のセルR13d、G13d、B13dの画像データより算出される輝度SY2はしきい値THよりも高く、それ以外のセルセットST10〜ST12、ST14のセルの画像データより算出される輝度は、しきい値THよりも低い。
このため、セルセットST11については、特徴検出手段67から出力される第1の選択制御信号CR1、CG1、CB1は第1の値「1」であるが、他のセルセットST10、ST12〜ST14については、第1の選択制御信号CR1、CG1、CB1は第2の値「0」となる。このため、第2の選択制御信号CR2、CG2、CB2も第2の値「0」となる。
以上のようにして特徴検出手段19から出力される第1の選択制御信号CR1、CG1、CB1が第1の値「1」であっても、実施の形態1、実施の形態5で説明したのと同様に、白線検出手段13により白線部であることが検出されたときは、第1の選択制御信号CR1、CG1、CB1が白線検出信号WDにより補正されて、制御信号補正手段4から出力される第2の選択制御信号CR2、CG2、CB2は第2の値「0」となる。
図23(a)〜(c)、図24(a)〜(c)で示す例の場合には、セルセットST2、ST3、ST7、ST8は白線部とは検出されないため、第2の選択制御信号CR2、CG2、CB2が第1の値「1」となって、第1のフィルタ手段52(第1のフィルタ特性A)で平滑化される。
セルセットST11、ST13は白線部と検出されるため、白線検出信号WDが第1の値「1」となる。そのため、セルセットST11については、特徴検出手段67から出力される第1の選択制御信号CR1、CG1、CB1が第1の値「1」であるが、制御信号補正手段3から出力される第2の選択制御信号CR2、CG2、CB2は第2の値「0」となる。
一方、セルセットST13は、白線部と検出されて、白線検出信号WDが第1の値「1」となるが、第1の選択信号CR1、CG1、CB1が第2の値「0」であるため、第2の線選択制御信号CR2、CG2、CB2も第2の値「0」となる。このため、第2のフィルタ手段53(第2のフィルタ特性B)が選択され、平滑化が実施されない。
他のセルセットST0、ST1、ST4、ST5、ST6、ST9、ST10、ST12、ST14については、第1の選択制御信号CR1、CG1、CB1が第2の値「0」となり、第2の選択制御信号CR2、CG2、CB2が第2の値「0」となって、第2のフィルタ手段53(第1のフィルタ特性B)が選択され、平滑化が実施されない。
以下、上記した特徴検出手段19、白線検出手段13、制御信号補正手段4および制御信号補正手段4よる平滑化手段5r、5g及び5bの制御の手順を、図26のフローチャートに沿って説明する。なお、これらの制御はソフトウエアにより、即ちプログラムされたコンピュータにより実現することもできる。
特徴検出手段19では、入力した輝度データSY2から画像データが有効画像期間内のものかどうかが判定され(ステップS1)、有効画像期間内の画像データでなければ、即ち、ブランキング期間内の画像データである場合には、ステップS7に進む。有効画像期間内の画像データであれば、ステップS12に進む。
ステップS12では、一次微分手段63の一次微分結果より、隣接する画素の少なくとも一方よりも輝度が高いか否かを判断する。
ステップS12で、注目画素の輝度が隣接する画素のいずれか一方よりも輝度が高い場合(ステップS12でYES)には、ステップS14に進む。
ステップS14では、比較手段61により、画像データがしきい値よりも低いかどうかの判定が行われる。画像データがしきい値よりも低ければ、ステップS5に進む。
ステップS5では、白線検出手段13により、画像データが白線部かどうかの判定が行われる。画像データが白線部ではないと判定されたステップS6に進む。
ステップS6では、第2の選択制御信号CR2、CG2、CB2を第1の値「1」とすることで、第1のフィルタ手段52を選択して、第1のフィルタ手段52による処理結果としての画像データSR3を表示手段6に供給する。
ステップS12で、注目画素の輝度SY2が隣接する画素のいずれよりも輝度が高くない場合(ステップS12でNO)、ステップS14で、画像データがしきい値よりも低くない場合(ステップS14でNO)、及びステップS5で、画像データが白線部であると判定され場合(ステップS5でYES)には、ステップS3に進む。
ステップS3では、第2の選択制御信号CR2、CG2、CB2を第2の値「0」とすることで、第2のフィルタ手段53を選択して、第2のフィルタ手段53による処理結果としての画像データSR3を表示手段6に供給する。
ステップS3またはステップS6の後、画像データが終了したか否かが判断され(ステップS7)、画像データが終了した場合(ステップS7でYES)には処理を終了し、画像データが終了しない場合(ステップ7でNO)には再びステップS1に戻って画像データの検出が行われる。
上記のような処理の結果、セルセットST2、ST3、ST7、ST8については、隣接する画素の少なくとも一方より輝度が高いと判定され(ステップS12でYES)、画像データがしきい値より低いと判定され(ステップS14でYES)、白線検出手段13において白線部として検出されない(ステップS5でNO)ため、特徴検出手段19から出力される第1の選択制御信号CR1、CG1、CB1が第1の値「1」となり、白線検出信号WDが第2の値「0」となるため、第1の選択制御信号CR1、CG1、CB1の値が、そのまま第2の選択制御信号CR2、CG2、CB2の値となり、第1のフィルタ特性Aが選択され、第1のフィルタ手段53による平滑化が実施される。
セルセットST11については、隣接する画素の少なくとも一方より輝度が高いと判定され(ステップS12でYES)、画像データがしきい値より低いと判定される(ステップS14でYES)ため、特徴検出手段19から出力される第1の選択制御信号CR1、CG1、CB1が第1の値「1」となるが、白線検出信号WDが第1の値「1」となるため、第2の選択制御信号CR2、CG2、CB2が第2の値「0」となり、第2のフィルタ手段(第2のフィルタ特性B)が選択され、平滑化が実施されない。
セルセットST13については、隣接する画素の少なくとも一方より輝度が高いと判定され(ステップS12でYES)、画像データがしきい値より高いと判定される(ステップS14でYES)ため、特徴検出手段19から出力される第1の選択制御信号CR1、CG1、CB1が第2の値「0」となる。また、白線検出信号WDが第1の値「1」となる。このため、第2の選択制御信号CR2、CG2、CB2が第2の値「0」となり、第2のフィルタ手段(第2のフィルタ特性B)が選択され、平滑化が実施されない。
その他のセルセットST0、ST1、ST4、ST5、ST6、ST9、ST10、ST12、ST14については、画像データがしきい値より高いと判定され(ステップS14でNO)、又は隣接する画素の少なくとも一方よりも輝度が高いとは判定されない(ステップS12でNO)ため、第1の選択制御信号CR1、CG1、CB1が第2の値「0」となり、第2の選択制御信号CR2、CG2、CB2が第2の値「0」となり、第2のフィルタ手段(第2のフィルタ特性B)が選択され、平滑化が実施されない。
以上のような選択的平滑化を行う結果、図25(a)、(b)のセルセットST2、ST3、ST7、ST8のセルR2e、G2e、B2e、R3e、G3e、B3e、R7e、G7e、B7e、R8e、G8e、B8eの画像データにおいては、輝度が減少する。図25(a)、(b)には、減少分が符号R2f、G2f、B2f、R3f、G3f、B3f、R7f、G7f、B7f、R8f、G8f、B8fなどで表されている。
一方、図25(c)のセルセットST11内のセルR11e、G11e、B11e及びセルセットST13内のセルR13e、G13e、B13eの画像データは減少してない。仮に白線検出手段13を用いずに、特徴検出手段19から出力される第1の選択制御信号CR1、CG1、CB1により選択手段51を制御すれば、図25(c)に符号R11f、G11f、B11f、R13f、G13f、B13fで示す分だけ減少するが、本発明では白線検出手段13を用いることにより、このような減少が起きるのを回避している。これにより、暗い背景中の白線が見えにくくなるのを避けている。
また図25(a)や(b)に示すように、白線部以外で、暗部から明部に変化するところでは、隣接する画素間で輝度の高い方の画素が平滑化されることで、画像の暗部の階調値(明るさ)は上がらず、暗部に隣接する明部のみ階調値(明るさ)が低くなる。
このようにして、実施の形態8の画像表示装置は、特徴検出手段を、隣接する画素との輝度の大小関係を検出する構成にした場合でも、暗い背景中の白線部を除き、画像の暗部の輝度を上げることなく隣接した明部の輝度を低下させることができるので、明るい背景に暗い文字や線を表示した場合に、線が細くなる現象を改善することができる。また暗い背景に白線がある場合には、さらにこの白線が暗部に見えなくなってしまうことはない。
なお、図21の実施の形態では、図17と同様の画像表示装置の特徴検出手段18を図22の特徴検出手段19で置き換えているが、図19、図20の画像表示装置においても、特徴検出手段18を、図22の特徴検出手段で置き換えることとしても良い。
また、図1、図13、図15、図16と同様の画像表示装置の特徴検出手段2にように、色毎に第1の選択制御信号CR1、CG1、CB1においても上記と同様に、隣接する画素との輝度の大小関係を検出し、輝度の高い方の画素が「暗部に隣接する明部」であると判定する構成にしても良い。
以上説明したように、この発明によれば、暗い背景中の白線部を除き、画像の暗部の階調値(明るさ)を上げることなく隣接した明部の階調値(明るさ)を低下させることができるので、明るい背景に暗い文字や線を表示した場合に線が細くなる現象を改善することができる。また暗い背景に白線がある場合には、この白線が平滑化され見えなくなってしまうことはない。
本発明の実施の形態1の画像表示装置を示すブロック図である。 図1の特徴検出手段の構成例を示すブロック図である。 図1の白線検出手段の構成例を示すブロック図である。 (a)及び(b)は、図3の二次微分手段及び比較手段の動作を示す図である。 図1の制御信号補正手段の構成例を示すブロック図である。 図1の平滑化手段の構成例を示すブロック図である。 図6の平滑化手段で用いられるフィルタ手段の構成例を示す図である。 図7のフィルタ手段のフィルタ特性を示す図である。 (a)、(b)、(c)は、平滑化前の画像データを用いて表示手段で画像を表示した場合のそれぞれのセルの階調値の例を示す図である。 (a)及び(b)は、図8と同様のフィルタ特性をR、G、Bのセルのそれぞれについて示すものであり、 (a)、(b)、(c)は、図9(a)、(b)、(c)の画像データを選択的に平滑化した結果得られる画像データの例を示す図である。 実施の形態1の画像表示装置の動作を示すフローチャートである。 本発明の実施の形態2の画像表示装置を示すブロック図である。 図13の白線検出手段の構成例を示すブロック図である。 本発明の実施の形態3の画像表示装置を示すブロック図である。 本発明の実施の形態4の画像表示装置を示すブロック図である。 本発明の実施の形態5の画像表示装置を示すブロック図である。 図17の特徴検出手段の構成例を示すブロック図である。 実施の形態6の画像表示装置を示すブロック図である。 実施の形態7の画像表示装置を示すブロック図である。 本発明の実施の形態8の画像表示装置を示すブロック図である。 図21の特徴検出手段の構成例を示すブロック図である。 (a)、(b)、(c)は、平滑化前の画像データを用いて表示手段で画像を表示した場合のそれぞれのセルの階調値の例を示す図である。 (a)、(b)、(c)は、それぞれ図23(a)〜(c)のセルセットのセルの画像データより算出される輝度を示す図である。 (a)、(b)、(c)は、図23(a)、(b)、(c)の画像データを選択的に平滑化した結果得られる画像データの例を示す図である。 実施の形態8の画像表示装置の動作を示すフローチャートである。
符号の説明
1r、1g、1c、1y、1c、1p A/D変換手段、 2 特徴検出手段、 3 白線検出手段、 4 特徴検出手段、 5r、5g、5b 平滑化手段、 6 表示手段、 9r、9g、9b 入力端子、 12 マトリクス手段、 13 白線検出手段、 16 Y/C分離手段、 17 輝度算出手段、 18 特徴検出手段、 19 特徴検出手段、 21、23、25 比較手段、 22、24、26 記憶手段、 27 選択制御信号生成手段、 31 輝度算出手段、 32 二次微分手段、 33 比較手段、 35 しきい値記憶手段、 41〜43 演算手段、 51 選択手段、 52 第1のフィルタ手段、 53 第2のフィルタ手段、 61 比較手段、 62 しきい値記憶手段、 63 一次微分手段、 67 選択制御信号生成手段、 81〜88 画像表示装置。

Claims (14)

  1. 入力される画像データ中の、暗部に隣接する明部を検出し、第1の選択制御信号を生成する特徴検出手段と、
    前記入力される画像データ中の両側において暗部に隣接する明部を白線部として検出し、白線検出信号を生成する白線検出手段と、
    前記白線検出信号に基づいて、前記第1の選択制御信号を補正して第2の選択制御信号を出力する制御信号補正手段と、
    前記入力される画像データに対して、前記第2の選択制御信号に応じて選択的に平滑化処理を施す平滑化手段と、
    前記平滑化手段から出力された画像データに基づいて画像を表示する表示手段と
    を備え
    前記制御信号補正手段は、前記第1の選択制御信号が、暗部に隣接する明部が検出されたことを示すものであり、かつ前記白線検出信号が、白線を検出したことを示すものではないときには、前記平滑化手段に、第1のフィルタ特性により前記入力される画像データを処理させ、前記第1の選択制御信号が、暗部に隣接する明部が検出されたことを示すものであり、かつ前記白線検出信号が、白線を検出したことを示すものであるときには、前記平滑化手段に、前記第1のフィルタ特性よりも平滑化の程度の小さい第2のフィルタ特性により、前記入力される画像データを処理させるように前記第2の選択制御信号の値を定めることを特徴とする画像表示装置。
  2. 前記特徴検出手段は、前記入力される画像データの3原色の色毎に前記第1の選択制御信号を生成し、
    前記制御信号補正手段は、前記色毎の前記第1の選択制御信号を、前記白線検出信号により補正することにより、前記3原色の色毎に前記第2の選択制御信号を生成し、
    前記平滑化手段は、前記3原色の色毎に前記第2の選択制御信号に応じて選択的に平滑化処理を施すものである
    ことを特徴とする請求項1に記載の画像表示装置。
  3. 前記特徴検出手段は前記入力される画像データの輝度データに基づいて、前記第1の選択制御信号を生成し、
    前記制御信号補正手段は、前記第1の選択制御信号を、前記白線検出信号により補正することにより、前記第2の選択制御信号を生成し、
    前記平滑化手段は、前記第2の選択制御信号に応じて選択的に平滑化処理を施すものである
    ことを特徴とする請求項1に記載の画像表示装置。
  4. 前記白線検出手段は前記入力される画像データの輝度データに基づいて、前記白線検出信号を生成する
    ことを特徴とする請求項1に記載の画像表示装置。
  5. 前記特徴検出手段は、入力される画像データ中の、所定のしきい値よりも暗い部分に隣接する、前記所定のしきい値よりも明るい部分を、前記暗部に隣接する明部として検出することを特徴とする請求項1に記載の画像表示装置。
  6. 前記特徴検出手段は、入力される画像データ中の、隣接する部分よりも輝度が高い部分を前記暗部に隣接する明部として検出することを特徴とする請求項1に記載の画像表示装置。
  7. 前記第2のフィルタ特性は、平滑化の程度がゼロであることを特徴とする請求項1に記載の画像表示装置。
  8. 入力される画像データ中の、暗部に隣接する明部を検出し、第1の選択制御信号を生成する特徴検出ステップと、
    前記入力される画像データ中の両側において暗部に隣接する明部を白線部として検出し、白線検出信号を生成する白線検出ステップと、
    前記白線検出信号に基づいて、前記第1の選択制御信号を補正して第2の選択制御信号を出力する制御信号補正ステップと、
    前記入力される画像データに対して、前記第2の選択制御信号に応じて選択的に平滑化処理を施す平滑化ステップと、
    前記平滑化ステップから出力された画像データに基づいて画像を表示する表示ステップと
    を備え
    前記制御信号補正ステップは、前記第1の選択制御信号が、暗部に隣接する明部が検出されたことを示すものであり、かつ前記白線検出信号が、白線を検出したことを示すものではないときには、前記平滑化ステップに、第1のフィルタ特性により前記入力される画像データを処理させ、前記第1の選択制御信号が、暗部に隣接する明部が検出されたことを示すものであり、かつ前記白線検出信号が、白線を検出したことを示すものであるときには、前記平滑化ステップに、前記第1のフィルタ特性よりも平滑化の程度の小さい第2のフィルタ特性により、前記入力される画像データを処理させるように前記第2の選択制御信号の値を定めることを特徴とする画像表示方法。
  9. 前記特徴検出ステップは、前記入力される画像データの3原色の色毎に前記第1の選択制御信号を生成し、
    前記制御信号補正ステップは、前記色毎の前記第1の選択制御信号を、前記白線検出信号により補正することにより、前記3原色の色毎に前記第2の選択制御信号を生成し、
    前記平滑化ステップは、前記3原色の色毎に前記第2の選択制御信号に応じて選択的に平滑化処理を施すものである
    ことを特徴とする請求項8に記載の画像表示方法。
  10. 前記特徴検出ステップは前記入力される画像データの輝度データに基づいて、前記第1の選択制御信号を生成し、
    前記制御信号補正ステップは、前記第1の選択制御信号を、前記白線検出信号により補正することにより、前記第2の選択制御信号を生成し、
    前記平滑化ステップは、前記第2の選択制御信号に応じて選択的に平滑化処理を施すものである
    ことを特徴とする請求項8に記載の画像表示方法。
  11. 前記白線検出ステップは前記入力される画像データの輝度データに基づいて、前記白線検出信号を生成する
    ことを特徴とする請求項8に記載の画像表示方法。
  12. 前記特徴検出ステップは、入力される画像データ中の、所定のしきい値よりも暗い部分に隣接する、前記所定のしきい値よりも明るい部分を、前記暗部に隣接する明部として検出することを特徴とする請求項8に記載の画像表示方法。
  13. 前記特徴検出手段は、入力される画像データ中の、隣接する部分よりも輝度が高い部分を前記暗部に隣接する明部として検出することを特徴とする請求項8に記載の画像表示方法。
  14. 前記第2のフィルタ特性は、平滑化の程度がゼロであることを特徴とする請求項8に記載の画像表示方法。
JP2006046195A 2006-02-23 2006-02-23 画像表示装置および方法 Expired - Fee Related JP4364874B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006046195A JP4364874B2 (ja) 2006-02-23 2006-02-23 画像表示装置および方法
US11/709,172 US20070195110A1 (en) 2006-02-23 2007-02-22 Image display apparatus and method employing selective smoothing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006046195A JP4364874B2 (ja) 2006-02-23 2006-02-23 画像表示装置および方法

Publications (2)

Publication Number Publication Date
JP2007228207A JP2007228207A (ja) 2007-09-06
JP4364874B2 true JP4364874B2 (ja) 2009-11-18

Family

ID=38427720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006046195A Expired - Fee Related JP4364874B2 (ja) 2006-02-23 2006-02-23 画像表示装置および方法

Country Status (2)

Country Link
US (1) US20070195110A1 (ja)
JP (1) JP4364874B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5228310B2 (ja) * 2006-11-06 2013-07-03 コニカミノルタ株式会社 映像表示装置
KR102439146B1 (ko) * 2017-09-26 2022-09-02 삼성전자주식회사 디스플레이 장치 및 그 제어방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP128498A0 (en) * 1998-01-12 1998-02-05 Canon Kabushiki Kaisha A method for smoothing jagged edges in digital images
US6894699B2 (en) * 2000-07-21 2005-05-17 Mitsubishi Denki Kabushiki Kaisha Image display device employing selective or asymmetrical smoothing

Also Published As

Publication number Publication date
JP2007228207A (ja) 2007-09-06
US20070195110A1 (en) 2007-08-23

Similar Documents

Publication Publication Date Title
JP4702132B2 (ja) 画像処理装置、液晶表示装置および色補正方法
KR100710965B1 (ko) 화상 처리 장치, 화상 표시 장치, 화상 처리 방법 및 화상처리 프로그램을 기록한 기록 매체
KR100885820B1 (ko) 적응형 컬러 보간
JP4869959B2 (ja) 映像信号処理装置及び映像表示装置
JP3107260B2 (ja) カラー表示装置
JP5588650B2 (ja) シャープネス補正装置及びその方法
JPH07170420A (ja) カラー画像処理装置
JP3741212B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸張処理方法
JP2007259242A (ja) 映像信号処理
JP2008107507A (ja) 映像データ変換装置および映像表示装置
US20080180455A1 (en) Image processing apparatus and image displaying device
JP5558240B2 (ja) 画像処理装置
JP3852561B2 (ja) 画像表示装置および画像表示方法
JP3709981B2 (ja) 階調補正装置及び方法
JP4364874B2 (ja) 画像表示装置および方法
JP4467416B2 (ja) 階調補正装置
JP3807903B2 (ja) 画像表示装置および画像処理方法
KR100700017B1 (ko) 조정 가능한 임계값을 이용한 컬러 보간 장치
JP2006308665A (ja) 画像処理装置
JP2003046807A (ja) 画像表示装置および画像表示方法
JP2006330094A (ja) カラー画像表示装置、カラー画像表示方法、プログラムおよび記録媒体
JP4853524B2 (ja) 画像処理装置
JP2008219290A (ja) 信号変換装置、映像表示装置及び信号変換方法
JP2008197437A (ja) 画像表示装置
JP4946379B2 (ja) 画像表示装置、画像表示方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090819

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4364874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees