JP4105378B2 - 画像変換装置及び画像変換方法 - Google Patents

画像変換装置及び画像変換方法 Download PDF

Info

Publication number
JP4105378B2
JP4105378B2 JP2000308693A JP2000308693A JP4105378B2 JP 4105378 B2 JP4105378 B2 JP 4105378B2 JP 2000308693 A JP2000308693 A JP 2000308693A JP 2000308693 A JP2000308693 A JP 2000308693A JP 4105378 B2 JP4105378 B2 JP 4105378B2
Authority
JP
Japan
Prior art keywords
pixel
value
unit
image
averaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000308693A
Other languages
English (en)
Other versions
JP2002118737A (ja
Inventor
康一 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2000308693A priority Critical patent/JP4105378B2/ja
Publication of JP2002118737A publication Critical patent/JP2002118737A/ja
Application granted granted Critical
Publication of JP4105378B2 publication Critical patent/JP4105378B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像変換装置及び画像変換方法に関する。特に本発明は、画像に特殊効果を与えて絵画調画像とする画像変換装置及び画像変換方法に関する。
【0002】
【従来の技術】
写真などの自然画像を高精度に印刷するプリンタの普及に伴い、自然画像のデジタル画像に種々の特殊効果を施し、特殊効果画像を得ることが可能となった。例えば写真のデジタル画像を絵画調に変換する試みがなされている。例えば特公平8−16928号公報、特公平7−21829号公報、特開平10−84520号公報、特開平10−11569号公報、特開平11−134491号公報は、そうした技術またはその関連技術を開示する。
【0003】
【発明が解決しようとする課題】
上記特公平8−16928号公報は、筆様のパターンなどを画像内のランダムな位置に発生させる方法を開示する。特公平7−21829号公報は、画像内の画素をブロック単位で処理する方法を開示する。特開平10−84520号公報は、画像内のエッジ成分を検出して反転させる方法を開示する。しかし、これらの方法では、変換後の画像にブロックが残る等して不自然な感じが否めず、また特殊効果も十分発揮されない。さらに、特開平10−11569号公報及び特開平11−134491号公報は、いわゆる領域分割により絵画調画像を得る方法を開示するが、領域分割による方法では、複雑なアルゴリズムが必要であり、処理時間が膨大となる。
【0004】
よって、より簡単な方法で、効果的かつ迅速に自然画像を絵画調画像となるように特殊効果を施す技術が望まれる。
【0005】
そこで本発明は、上記の課題を解決することのできる画像変換装置及び画像変換方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【0006】
【課題を解決するための手段】
上記課題を解決するために、本発明の第1の形態においては、画像に特殊効果を与えて絵画調画像とする画像変換装置であって、所定の画素を含む画素群が並ぶ複数の方向から、輪郭成分を形成する画素群が並ぶ方向を選択する方向選択部と、選択された方向に並ぶ画素群の画素値を平均化する平均化部と、画像内で、周辺の画素より画素値の低い画素の画素値をさらに低くする暗度強調部とを備える。
【0007】
方向選択部は、複数の方向にそれぞれ並ぶ複数の画素群に含まれる画素の画素値差が最も小さい方向を選択してもよい。
【0008】
平均化部は、所定の画素の画素値と、選択された方向に並ぶ画素群に含まれる所定の画素以外の画素の画素値との平均値を求め、所定の画素の画素値を平均値に変換してもよい。
【0009】
暗度強調部は、基準画素の画素値と基準画素に隣接する周囲画素の画素値を比較し、基準画素の画素値が周囲画素の画素値の平均値よりも低い場合に、基準画素の画素値をさらに低くしてもよい。
【0010】
画素値は、各画素の輝度、色差又はRGB信号の各成分の少なくとも一つに関する値であってもよい。
【0011】
方向選択部による方向選択処理と平均化部による平均化処理とを所定の回数繰り返す第1繰返し手段をさらに備えてもよい。
【0012】
暗度強調部による暗度強調処理を所定の回数繰り返す第2繰返し手段をさらに備えてもよい
【0013】
画像のRGB信号の各成分に関する値を輝度及び色差に関する値に変換する第1画素値変換部と、方向選択部による方向選択処理と平均化部による平均化処理とを所定の回数繰り返す第1繰返し手段と、暗度強調部による暗度強調処理を所定の回数繰り返す第2繰返し手段と、第1繰返し手段及び第2繰返し手段とに輝度に関する値と色差に関する値とを用いて繰り返し処理を行わせる処理制御部と、輝度に関する値と色差に関する値とをRGB信号の各成分に再度変換させる第2画素値変換部とを備え、処理制御部は、第1繰返し手段及び第2繰返し手段とにRGB信号の各成分に関する値を用いて繰り返し処理を行わせてもよい。
【0014】
本発明の第2の形態によると、画像データを入力する入力部と、画像を印刷する印刷部と、画像に特殊効果を与えて絵画調画像とする画像変換装置と、を含むプリンタであって、画像変換装置は、画素群が並ぶ複数の方向から、輪郭成分を形成する画素群を含む方向を選択する方向選択部と、選択された方向に並ぶ画素群の画素値を平均化する平均化部と、画像内で、周辺の画素より画素値の低い画素の画素値をさらに低くする暗度強調部とを備える。暗度強調部は、基準画素の画素値と基準画素に隣接する周囲画素の画素値を比較し、基準画素の画素値が周囲画素の画素値の平均値よりも低い場合に、基準画素の画素値をさらに低くしてもよい。画像変換装置は、暗度強調部による暗度強調処理を所定の回数繰り返す第2繰返し手段をさらに備えてもよい。
【0015】
本発明の第3の形態によると、画像に特殊効果を与えて絵画調画像とする画像変換方法であって、所定の画素を含む画素群が並ぶ複数の方向から、輪郭成分を形成する画素群が並ぶ方向を選択するステップと、選択された方向に並ぶ画素群の画素値を平均化するステップと、画像内で周辺の画素より画素値の低い画素の画素値をさらに低くするステップとを備える。画像内で周辺の画素より画素値の低い画素の画素値をさらに低くするステップは、基準画素の画素値と基準画素に隣接する周囲画素の画素値を比較し、基準画素の画素値が周囲画素の画素値の平均値よりも低い場合に、基準画素の画素値をさらに低くしてもよい。画像内で周辺の画素より画素値の低い画素の画素値をさらに低くするステップを所定の回数繰り返すステップをさらに備えてもよい。
【0016】
本発明の第4の形態によると、画像に特殊効果を与えて絵画調画像とする、コンピュータにて実行可能なプログラムを格納した記録媒体であって、プログラムは、画素群が並ぶ複数の方向から、輪郭成分を形成する画素群を含む方向を選択する方向選択処理と、選択された方向に並ぶ画素群の画素値を平均化する平均化処理と、画像内で、周辺の画素より画素値の低い画素の画素値をさらに低くする暗度強調処理とをコンピュータに実行せしめる。暗度強調処理は、基準画素の画素値と基準画素に隣接する周囲画素の画素値を比較し、基準画素の画素値が周囲画素の画素値の平均値よりも低い場合に、基準画素の画素値をさらに低くしてもよい。プログラムは、暗度強調処理を所定の回数繰り返す第2繰返し処理をさらに備えてもよい。
【0018】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【0019】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0020】
図1は、本発明の実施形態に係るプリンタを示す。本実施形態におけるプリンタ50は、写真などの自然画像に特殊効果を与えて絵画調画像に変換する画像変換機能を有する。
【0021】
プリンタ50は、プリンタ制御部40と、印刷部42と、表示部44とを含む。プリンタ制御部40は、画像変換装置10を含む。画像変換装置10は、処理制御部12と、画素値変換部13と、繰返し手段16と、方向選択部22と、平均化部24と、記憶部26と、暗度強調部28と、更新部30とを含む。
【0022】
プリンタ50は、図示していないが、画像入力部を含み、画像データなどのデータを外部から入力する。プリンタ50は、メモリカードスロット(図示していない。)を含み、メモリカードに記録された画像データを入力してもよい。また、フロッピーディスク、PCカード、スマートメディアなどから画像を入手してもよく、例えばEEPROMなどの半導体メモリや小型のハードディスクから画像を入手してもよい。画像データは磁気的、電気的、光学的にデータを記録するどのような媒体から入力されてもよい。
【0023】
印刷部42は、紙等の媒体に画像データのカラー印刷を行う。印刷部42は、例えばサーマルヘッドを備えている。表示部44は、印刷に関する情報を表示する。印刷に関する情報には、印刷しようとする画像データが含まれる。表示部44は、プリンタ50に備え付けられていてもよく、プリンタ50に接続されたテレビモニタや、コンピュータディスプレイなどの外部装置であってもよい。プリンタ制御部12は、プリンタ50の制御を行う。プリンタ50の図示していない入力端子から入力された画像データは、プリンタ制御部40の制御のもと、印刷部42から印刷され、又は表示部44に表示される。
【0024】
画像変換装置10は、画像に特殊効果を与えて絵画調画像とする。処理制御部12は、画像入力部から画像データを受け取り、画像変換装置10の各構成部の処理を制御する。画素値変換部13は、画像データのRGB信号の各成分に関する値を輝度及び色差に関する値に変換する第1画素値変換部14を有する。ここで、第1画素値変換部14は、色差に関する値Cr及びCbが0〜255階調の間の値となるように変換するのが好ましい。また、画素値変換部13は、画像データの輝度及び色差に関する値をRGB信号の各成分に変換する第2画素値変換部15を有する。ここで、第2画素値変換部15は、輝度に関する値(Y)が零の時は、RGB信号の各成分に関する値を零とするのが好ましい。画素値変換部13は、画素値の補正を行う。画素値とは、例えば、各画素の輝度、色差又はRGB信号の各成分である。
【0025】
繰返し手段16は、第1繰返し手段18と第2繰返し手段20とを有する。第1繰返し手段18は、方向選択部22による方向選択処理と平均化部24による平均化処理とを所定の回数繰り返す。第2繰返し手段20は、暗度強調部28による暗度強調処理を所定の回数繰り返す。
【0026】
方向選択部22は、所定の画素を含む画素群が並ぶ複数の方向から、輪郭成分を形成する画素群が並ぶ方向を選択する。輪郭成分とは、例えば互いに画素値差が小さい画素群を含む成分である。複数の方向とは、横方向、縦方向及び斜め方向であってよく、方向選択部22は、所定の画素と、当該所定の画素の横方向、縦方向及び斜め方向にそれぞれ隣接する複数の画素とから構成される画素群の画素値に応じて方向を選択してもよい。例えば、方向選択部22は、所定の画素と、所定の画素に隣接する画素との画素値差が最も小さい方向を選択するのが好ましい。方向選択部22は、所定の画素と、複数の方向にそれぞれ並ぶ複数の画素群に含まれる所定の画素以外の画素との画素値差が最も小さい方向を選択してもよい。
【0027】
平均化部24は、選択された方向に並ぶ画素群の画素値を平均化する。平均化部24は、所定の画素の画素値と、選択された方向に並ぶ画素群に含まれる所定の画素以外の画素の画素値との平均値を求め、当該平均値を所定の画素の画素値としてもよい。ここで画素値は、各画素の輝度、色差又はRGB信号の各成分の少なくとも一つに関する値であってよい。
【0028】
暗度強調部28は、画像内で、周辺の画素より画素値の低い画素の画素値をさらに低くする。暗度強調部28は、基準画素の画素値と当該基準画素に隣接する周囲画素の画素値を比較し、基準画素の画素値が周囲画素の画素値の平均値よりも低い場合に、基準画素の画素値をさらに低くしてもよい。ここで画素値は、例えば、各画素の輝度、色差又はRGB信号の各成分の少なくとも一つに関する値であってよい。特に画素値は、輝度又はRGB信号の各成分に関する値の少なくとも一つであることが好ましい。
【0029】
記憶部26は、平均化部24又は暗度強調部28により算出された所定の画素又は基準画素の画素値を記憶する。更新部30は、平均化部24又は暗度強調部28が画像内の全ての画素を所定の画素又は基準画素としてそれぞれ平均化処理又は暗度強調処理を行ったときに、画像データの画素値を更新する。
【0030】
処理制御部12は、第1繰返し手段18及び第2繰返し手段20とに第1画素値変換部14により変換された輝度に関する値と色差に関する値とを用いて繰り返し処理を行わせる。処理制御部12は、輝度に関する値及び色差に関する値を用いた繰り返し処理が終了すると、第2画素値変換部15に輝度に関する値と色差に関する値とをRGB信号の各成分に変換させる。さらに、処理制御部12は、第1繰返し手段18及び第2繰返し手段20とに第2画素置変換部15により変換されたRGB信号の各成分に関する値を用いて繰り返し処理を行わせる。
【0031】
本実施形態における画像変換装置10は、汎用コンピュータで実現してもよい。 記録媒体に格納されて提供されるプログラムは、機能構成として、画素群が並ぶ複数の方向から、輪郭成分を形成する画素群を含む方向を選択する方向選択処理と、選択された前記方向に並ぶ画素群の画素値を平均化する平均化処理とを有する。
【0032】
図2は、画像変換装置10による画像変換処理を示すフローチャートである。
第1画素値変換部14は、原画像の各画素を、RGB信号の各成分に関する値から輝度に関する値(Y)と色差に関する値(Cr、Cb)に変換する(S200)。画素値変換部13は、輝度に関する値と色差に関する値をそれぞれ補正する(S210)。例えば、画像の各画素の輝度に関する値を、後述するように、図6に示すテーブルに従って補正する。また、例えば、画像の各画素の色差に関する値Crを[Cr’=((Cr−128)×1320/1024)+128]に、Cbを[Cb’=((Cb−128)×1320/1024)+128]となるように補正する。ここで、画素値変換部13は、Cr’及び Cb’が0〜255階調の間の値となるように補正するのが好ましい。
【0033】
方向選択部22及び平均化部24は、輝度に関する値を用いて平均化処理を行う(以下「輝度平均化処理」とよぶ)(S220)。第1繰返し手段18は、輝度平均化処理が所定回数行われたか否かを判断する(S230)。輝度平均化処理が所定回数行われていなければ、ステップ220に戻る。輝度平均化処理が所定回数行われていれば、次のステップ240に進む。
【0034】
暗度強調部28は、輝度に関する値を用いて暗度強調処理を行う(S240)。第2繰返し手段20は、暗度強調処理が所定回数行われたか否かを判断する(S250)。暗度強調処理が所定回数行われていなければ、ステップ240に戻る。輝度処理が所定回数行われていれば、次のステップ260に進む。処理制御部12は、輝度に関する値への処理が終了したか否かを判断する(S260)。輝度に関する値への処理が終了していなければ、ステップ220に戻る。輝度に関する値への処理が終了していれば、次のステップ270に進む。
【0035】
方向選択部22及び平均化部24は、色差に関する値を用いて平均化処理を行う(以下「色差平均化処理」とよぶ)(S270)。第1繰返し手段18は、色差平均化処理が所定回数行われたか否かを判断する(S280)。色差平均化処理が所定回数行われていなければ、ステップ260に戻る。色差平均化処理が所定回数行われていれば、次のステップ290に進む。本実施形態においては、暗度強調部28は、色差に関する値への暗度強調処理を行わない。
【0036】
処理制御部12は、第2画素値変換部15に、輝度に関する値(Y)と色差に関する値(Cr、Cb)とをRGB信号の各成分に関する値に変換させる(S290)。方向選択部22及び平均化部24は、RGB信号の各成分に関する値を用いて平均化処理を行う(以下「RGB平均化処理」とよぶ)(S300)。第1繰返し手段18は、RGB平均化処理が所定回数行われたか否かを判断する(S310)。RGB平均化処理が所定回数行われていなければ、ステップ300に戻る。RGB平均化処理が所定回数行われていれば、次のステップ320に進む。
【0037】
暗度強調部28は、RGB信号の各成分に関する値を用いて暗度強調処理を行う(S320)。第2繰返し手段20は、暗度強調処理が所定回数行われたか否かを判断する(S330)。暗度強調処理が所定回数行われていなければ、ステップ320に戻る。暗度強調処理が所定回数行われていれば、次のステップ340に進む。処理制御部12は、RGB信号の各成分に関する値への処理が終了したか否かを判断する(S340)。RGB信号の各成分に関する値への処理が終了していなければ、ステップ300に戻る。RGB信号の各成分に関する値への処理が終了していれば、画像変換処理を終了する。処理制御部12は、絵画調画像を印刷部42又は表示部44に出力する。
【0038】
本実施形態における画像変換処理によれば、領域分割による方法のように、領域を特定するような複雑な処理は必要ないため、簡単な処理で迅速に画像変換を行うことができる。
【0039】
図3は、画像変換処理を行う画像の部分拡大図である。この画像は縦方向に1〜7…行、横方向にa〜k…列の複数の画素を持つ。各画素はa1、b1、c1…と表す。また、各画素はそれぞれ画素値を持つ。画素値とは、輝度(Y)又は色差(Cr、Cb)に関する値でもよく、RGB信号の各成分に関する値でもよい。
【0040】
<平均化処理>
図4は、図2におけるステップ220、ステップ270及びステップ300の平均化処理を詳細に示すフローチャートである。図3及び図4を参照して、方向選択部22及び平均化部24が行う平均化処理を説明する。
【0041】
本実施形態における平均化処理では、まず所定の画素を設定する(S400)。図3では、b2を所定の画素とし、b2の画素値をx4とする。方向選択部22は、所定の画素b2と、当該b2に隣接するa1、b1、c1、a2、c2、a3、b3、c3とを含む画素群が並ぶ複数の方向から輪郭成分を形成する画素群が並ぶ方向を選択する。
【0042】
方向選択部22は、複数の方向に並ぶ画素群の画素値差を算出する(S402)。具体的には、方向選択部22は、所定の画素b2と複数の方向に並ぶb2以外の画素との画素値差を算出する。図3では、方向選択部22が選択する複数の方向は、(a1、b2、c3)からなる右下がり斜め方向と、(b1、b2、b3)からなる縦方向と、(a3、b2、c1)からなる右上がり斜め方向と、(a2、b2、c2)からなる横方向とを含む。b2に隣接する各画素a1、b1、c1、a2、c2、a3、b3、c3の画素値をそれぞれx0、x1、x2、x3、x5、x6、x7、x8とする。このとき、例えば、右下がり斜め方向に並ぶ画素群の画素値差は、y0=|x0−x4|+|x8−x4|、縦方向に並ぶ画素群の画素値差は、y1=|x1−x4|+|x7−x4|、右上がり斜め方向に並ぶ画素群の画素値差は、y2=|x6−x4|+|x2−x4|、横方向に並ぶ画素群の画素値差は、y3=|x3−x4|+|x5−x4|の式に従って算出される。
【0043】
方向選択部22は、画素値差y0、y1、y2及びy3のうち、最小値となる方向を選択する(S404)。本実施形態において、最小値となる方向が複数ある場合、方向選択部22は、いずれの方向を選択してもよい。また別の実施形態において、最小値がある所定の値以上であれば、いずれの方向をも選択しなくてもよい。
【0044】
本実施形態においては、図3で斜線で示すように、(a1、b2、c3)からなる右下がり斜め方向に並ぶ画素群が輪郭を形成するものとする。この場合、a1、b2、c3の画素値x0、x4、x8は、例えば他の画素に比べて画素値が高い。従って、高い画素値を持つb2と、同様に高い画素値を持つa1及びc3との画素値差は小さくなる。一方、例えば、高い画素値を持つb2と、低い画素値を持つb1及びb3との画素値差は大きくなる。そのため、本実施形態において、右下がり斜め方向に並ぶ画素群の画素値差y0が最小値となり、方向選択部22は、輪郭成分を形成する画素群が並ぶ方向として右下がり斜め方向を選択する。
【0045】
平均化部24は、方向選択部22が選択した方向に並ぶ画素群の画素値を平均化して、所定の画素の画素値とする(S406)。例えば、方向選択部22が、図2における右下がり斜め方向を選択した場合、平均化部24は、所定の画素b2の画素値をx4’=(x0+x4+x8)/3として四捨五入する。また、x4’=(x0+x4+x8+1)/3として、小数点以下を切り捨ててもよい。
【0046】
記憶部26は、平均化部24により平均化された所定の画素の画素値を記憶する(S408)。平均化部24は、全ての画素を所定の画素として平均化処理が終了したか否かを判断する(S410)。全画素の平均化処理が終了していない場合、ステップ400に戻り、方向選択部22は、次の所定の画素を設定する。方向選択部22は、c2を次の所定の画素として、c2と、c2に隣接する画素を含む画素群が並ぶ複数の方向から輪郭成分を形成する画素群が並ぶ方向を選択する。ここで、方向選択部22は、c2を所定の画素として方向を選択する場合に、b2の画素値として平均化前の画素値x4を用いて画素値差を算出するのが好ましい。平均化部24は、方向選択部22が選択した方向に並ぶ画素群の画素値を平均化した値を所定の画素の画素値とする。ここで、平均化部24は、b2の画素値として平均化前の画素値x4を用いて平均化した値を求めるのが好ましい。
【0047】
方向選択部22及び平均化部24は、このようにして画像中の全ての画素を所定の画素として平均化処理を行っていく。2列目の全ての画素を所定画素として平均化処理が終了すると、次に3列目のa3又はb3を所定の画素とする。
【0048】
本実施形態においては、方向選択部22は、例えばa1などの画像内の角に位置する画素を所定の画素とする場合は、所定の画素a1と、a1に隣接するb1、a2、b2とを含む画素群が並ぶ複数の方向から輪郭成分を形成する画素群が並ぶ方向を選択してもよい。図3では、方向選択部22が選択する複数の方向は、(a1、b2)からなる右下がり斜め方向と、(a1、a2)からなる縦方向と、(a1、b1)からなる横方向とを含む。例えば、右下がり斜め方向に並ぶ画素群の画素値差はy0=|x0−x4|、縦方向に並ぶ画素群の画素値差はy1=|x0−x3|、横方向に並ぶ画素群の画素値差はy3=|x0−x1|の式に従って算出される。方向選択部22は、画素値差y0、y1及びy3のうち、最小値となる方向を選択する。
【0049】
方向選択部22はまた、例えばb1、c1、d1…、又はa2、a3、a4…などの画像内の端に位置する画素を所定の画素とする場合は、例えばb1を所定の画素とするとき、b1とb1に隣接する画素a1、c1、a2、b2、c2とを含む画素群が並ぶ複数の方向から輪郭成分を形成する画素群が並ぶ方向を選択してもよい。図3では、方向選択部22が選択する複数の方向は、(b1、c2)からなる右下がり斜め方向と、(b1、b2)からなる縦方向と、(b1、a2)からなる右上がり斜め方向と、(a1、b1、c1)からなる横方向とを含む。例えば、右下がり斜め方向に並ぶ画素群の画素値差はy0=|x1−x5|×2、縦方向に並ぶ画素群の画素値差はy1=|x1−x4|×2、右上がり斜め方向に並ぶ画素群の画素値差はy2=|x1−x3|×2、横方向に並ぶ画素群の画素値差はy3=|x0−x1|+|x1−x2|の式に従って算出される。方向選択部22は、画素値差y0、y1、y2及びy3のうち、最小値となる方向を選択する。
【0050】
また別の実施形態においては、方向選択部22は、例えばa1、b1、c1…、又はa1、a2、a3…などの、画像内の端に位置する画素の平均化処理を行わなくてもよい。
【0051】
ステップ410で、全ての画素を所定の画素として平均化処理が終了した場合、ステップ412に進む。ここで、更新部30は、各画素の画素値を記憶部26が記憶する平均化平均化後の画素値に更新する。従って、平均化処理中は、原画像の画素値を用いることができる。
【0052】
平均化処理を行うことにより、原画像が、徐々に滑らかになり、滑らかな模様を有する画像を得ることができる。また、平均化処理を行うことにより、原画像の輪郭成分の画素値が平均化されて直線状となる。絵画では、輪郭を直線状に描く傾向があるので、平均化処理により、絵画調画像を得ることができる。
【0053】
尚、輝度に関する値と色差に関する値はそれぞれ独立しているので、ステップ220〜260における輝度に対する処理とステップ270及び280の色差に対する処理とは同時に行ってもよく、いずれか一方を先に行ってもよい。例えば、ステップ270及び280の色差に対する処理を行った後に、ステップ220〜260における輝度に対する処理を行ってもよい。
【0054】
本実施形態における平均化処理によれば、輪郭成分の方向性を保ったままで、平均化することができる。また、所定の画素の画素値を順次変換していくため、領域分割による方法のように、領域を特定するような複雑な処理は必要でない。従って、簡単な処理で迅速に、また少ないハードウェアで画像変換を行うことができる。
【0055】
<暗度強調処理>
図5は、図2におけるステップ240及びステップ320の暗度強調処理を詳細に示すフローチャートである。図3及び図5を参照して、暗度強調部28が行う暗度強調処理を説明する。
【0056】
本実施形態における暗度強調処理では、まず基準画素を設定する(S420)。図3では、b2を基準画素とし、b2の画素値をx4とする。暗度強調部28は、基準画素b2に隣接するa1、b1、c1、a2、c2、a3、b3、c3を周囲画素とし、各画素a1、b1、c1、a2、c2、a3、b3、c3の画素値をそれぞれx0、x1、x2、x3、x5、x6、x7、x8とする。
【0057】
暗度強調部28は、基準画素と周囲画素の暗度をそれぞれ算出する(S422)。具体的には、暗度強調部28は、基準画素の画素値と周囲画素の画素値の平均画素値とを算出する。図3において、基準画素の画素値はx4である。周囲画素の画素値は、a1、b1、c1、a2、c2、a3、b3、c3のそれぞれの画素値x0、x1、x2、x3、x5、x6、x7、x8の平均値である。つまり周囲画素の平均画素値は、[(x0+x1+x2+x3+x5+x6+x7+x8)/8]となる。
【0058】
暗度強調部28は、基準画素の画素値と周囲画素の平均画素値とを比較する(S424)。基準画素の画素値が周囲画素の平均画素値よりも高ければ、暗度強調処理を行わず、ステップ400に戻り、次の基準画素を設定する。ステップ424において、基準画素の画素値が周囲画素の平均画素値よりも低ければ、ステップ426に進む。暗度強調部28は、基準画素の画素値を低くして、暗度を強調する(S426)。図3では、暗度強調部28は、基準画素b2の画素値をx4’’=x4×9−(x0+x1+x2+x3+x5+x6+x7+x8)とする。
【0059】
記憶部26は、暗度強調部28により暗度が強調された基準画素の画素値を記憶する(S428)。暗度強調部28は、全ての画素を基準値として暗度強調処理が終了したか否かを判断する(S430)。全画素の暗度強調処理が終了していない場合、ステップ420に戻り、暗度強調部28は、次の基準画素を設定する。暗度強調部28は、c2を次の基準画素として、c2と、c2に隣接する周囲画素の暗度をそれぞれ算出する。ここで、暗度強調部28は、c2を基準画素として周囲画素の暗度を算出する場合に、b2の画素値として暗度強調処理前の画素値x4を用いて暗度を算出するのが好ましい。
【0060】
暗度強調部28は、このようにして画像中の全ての画素を基準画素として暗度強調処理を行っていく。2列目の全ての画素を基準画素として暗度強調処理が終了すると、次に3列目のa3又はb3を基準画素とする。本実施形態においては、暗度強調部28は、例えばa1、b1、c1…、又はa1、a2、a3…などの画像内の端に位置する画素の暗度強調処理を行わなくてもよい。
【0061】
ステップ430で、全ての画素を基準画素として暗度強調処理が終了した場合、ステップ432に進む。ここで、更新部30は、各画素の画素値を記憶部26が記憶する暗度強調処理後の画素値に更新する。従って、暗度強調部28は、暗度強調処理中は、暗度強調処理前の画像の画素値を用いることができる。
【0062】
暗度強調処理を行うことにより、画像中の暗い部分がより強調される。絵画では、影がある暗い部分はより暗く描く傾向があるので、暗度強調処理により、絵画調画像を得ることができる。
【0063】
<輝度補正処理>
図6は、0〜255階調で表される各画素の輝度の階調を変換する階調変換テーブルである。この階調変換テーブルは、中間調を少なくするように設定する。つまり、入力階調が階調0〜40まで及び階調215〜255までの間は、階調の下限及び上限付近であるため、緩やかな傾きで変換して出力階調とする。一方、入力階調が階調40〜215までの間は、急な傾きで変換して出力階調とする。階調0の画素は、階調変換により階調15とされる。同様に階調40の画素は階調30に、階調215の画素は階調225に、階調255の画素は階調240に、それぞれ階調変換される。
【0064】
図6の階調変換テーブルは、中間調を少なくするように設定されているため、画像の濃淡の差を強調することができ、その後の平均化及び暗度強調処理により絵画調の画像を得ることができる。
【0065】
図2に戻り、本実施形態における実施例を説明する。
図7に、本実施形態における実施例に用いる原画像をディスプレイ上に表示した中間調画像の写真を参考として示す。
【0066】
<第1実施例>
第1実施例においては、画像変換装置10は、ステップ200のRGB信号の各成分に関する値を輝度(Y)及び色差(Cr、Cb)に変換する処理を行う。
【0067】
画像変換装置10は、輝度(Y)に関する値にステップ220の輝度平均化処理を9回行い、次いでステップ240の暗度強調処理を2回行い、さらにステップ220の輝度平均化処理を9回行う。画像変換装置10は、その後、ステップ240の暗度強調処理を1回行った後にステップ220の輝度平均化処理を9回行う処理を4回繰り返す。この処理で輝度への画像変換処理が終了する。
【0068】
画像変換装置10は、色差(Cr、Cb)に関する値にステップ210の補正を行う。画像変換装置10は、その後、ステップ270の色差平均化処理をCr及びCbそれぞれに5回ずつ行う。この処理で色差への画像変換処理が終了する。
【0069】
輝度に関する値と色差に関する値はそれぞれ独立しているので、方向選択部22及び平均化部24は、輝度に関する値と色差に関する値への平均化処理を同時に行ってもよく、どちらか一方を先に行ってもよい。
【0070】
画像変換装置10は、ステップ290の輝度(Y)及び色差(Cr、Cb)に関する値をRGB信号の各成分に関する値に変換する処理を行う。次に、画像変換装置10は、RGB信号の各成分それぞれに、ステップ300のRGB平均化処理を9回行い、次いでステップ320の暗度強調処理を1回行い、さらにステップ300のRGB平均化処理を9回行う。
【0071】
図8は、以上の第1実施例の処理により得られた絵画調画像をディスプレイ上に表示した中間調画像の写真を示す。本実施例では、輝度に関する値への輝度平均化処理と暗度強調処理により、輪郭成分に黒い線ができる。その後のRGB信号の各成分それぞれへのRGB平均化処理及び暗度強調処理により、輪郭成分の黒い線を保存したまま原画像の色が変化するため、より絵画らしく変換される。
【0072】
<第2実施例>
第2実施例においては、画像変換装置10は、ステップ200で、RGB信号の各成分に関する値を輝度(Y)及び色差(Cr、Cb)に変換する。
【0073】
画像変換装置10は、輝度(Y)に関する値にステップ220の輝度平均化処理を8回行う。画像変換装置10は、その後、ステップ240の暗度強調処理を1回行った後にステップ220の輝度平均化処理を8回行う処理を6回繰り返す。この処理で輝度への画像変換処理が終了する。
【0074】
画像変換装置10は、色差(Cr、Cb)に関する値にステップ210の補正を行う。画像変換装置10は、その後、ステップ270の色差平均化処理をCr及びCbそれぞれに5回ずつ行う。この処理で色差への画像変換処理が終了する。
【0075】
図9は、以上の第2実施例の処理により得られた絵画調画像をディスプレイ上に表示した中間調画像の写真を示す。本実施例では、原画像の雰囲気を保ったまま原画像を適度に壊し、元々微細な部分は滑らかになり、元々平坦だった部分は適度に不規則に分割された模様ができる。そのため、変換後の画像は絵画調となる。
【0076】
<第3実施例>
第3実施例においては、画像変換装置10は、ステップ200で、RGB信号の各成分に関する値を輝度(Y)及び色差(Cr、Cb)に変換する。
【0077】
画像変換装置10は、輝度(Y)に関する値にステップ220の輝度平均化処理を9回行い、次いでステップ240の暗度強調処理を2回行い、さらにステップ220の輝度平均化処理を9回行う。画像変換装置10は、その後、ステップ240の暗度強調処理を1回行った後にステップ220の輝度平均化処理を9回行う処理を4回繰り返す。この処理で輝度への画像変換処理が終了する。
【0078】
画像変換装置10は、色差(Cr、Cb)に関する値にステップ210の補正を行う。画像変換装置10は、その後、ステップ270の色差平均化処理をCr及びCbそれぞれに5回ずつ行う。この処理で色差への画像変換処理が終了する。
【0079】
図10は、以上の第3実施例の処理により得られた絵画調画像をディスプレイ上に表示した中間調画像の写真を示す。本実施例では、原画像の雰囲気を保ったまま原画像を適度に壊し、元々微細な部分は滑らかになり、元々平坦だった部分は適度に不規則に分割された模様ができる。また、輪郭成分には黒い線ができ、より絵画らしく変換される。
このように平均化処理と暗度強調処理を複数回繰り返すと、程良く絵画調に変換された画像を得ることができる。
【0080】
ただし、写真などの自然画像を絵画調画像に変換する場合、もとの自然画像をどの程度変換するかは、ユーザの好みによる。従って、平均化処理及び暗度強調処理を何回行うかをユーザが選択できるようにしてもよい。ユーザは、表示部44に表示された変換後の画像を見ながら、平均化処理及び暗度強調処理をさらに行うか否かを決定してもよい。
【0081】
以上に本実施形態の具体例を説明したが、本実施形態は、以下のような利点を有する。
本実施形態では、平均化処理を行うので、原画像が滑らかになり、実際に画家が描いたように感じられる所望の絵画調画像を得ることができる。所定の画素の画素値を変換していくため、元の画像の情報は損なわれるが、ここでは特殊効果を施すことを目的としているため問題とはならない。領域分割による方法のように、領域を特定するような複雑な処理は必要ない。従って、簡単な処理で迅速に画像変換を行うことができる。
また、平均化処理と暗度強調処理を輝度、色差及びRGB信号の各成分に関する値それぞれに複数回繰り返すため、絵画調に変換する特殊効果が増大する。
【0082】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0083】
【発明の効果】
上記説明から明らかなように、本発明によれば自然画像を簡単な方法で迅速に好適な絵画調画像に変換することができる。
【図面の簡単な説明】
【図1】 本発明の実施形態に係るプリンタを示す機能ブロック図である。
【図2】 画像変換装置による画像変換処理を示すフローチャートである。
【図3】 画像変換装置により絵画調画像に変換される画像の部分拡大図である。
【図4】 平均化処理を示すフローチャートである。
【図5】 暗度強調処理を示すフローチャートである。
【図6】 平均化処理に先立ち、画像の各画素に対して行う画素値変換用のテーブルを示す図である。
【図7】 本実施形態の実施例で用いられる変換前の原画像をディスプレイ上に表示した中間調画像の写真である。
【図8】 本実施形態の第1実施例により得られた画像をディスプレイ上に表示した中間調画像の写真である。
【図9】 本実施形態の第2実施例により得られた画像をディスプレイ上に表示した中間調画像の写真である。
【図10】 本実施形態の第3実施例により得られた画像をディスプレイ上に表示した中間調画像の写真である。
【符号の説明】
10 画像変換装置
12 処理制御部
13 画素値変換部
14 第1画素値変換部
15 第2画素値変換部
16 繰返し手段
18 第1繰返し手段
20 第2繰返し手段
22 方向選択部
24 平均化部
26 記憶部
28 暗度強調部
30 更新部
40 プリンタ制御部
42 印刷部
44 表示部

Claims (19)

  1. 画像において、所定の画素を含む画素群が並ぶ複数の方向から、輪郭成分を形成する画素群が並ぶ方向を選択する方向選択部と、
    選択された前記方向に並ぶ画素群の画素値を平均化する平均化部と、
    前記画像のRGB信号の各成分に関する値を輝度及び色差に関する値に変換する第1画素値変換部と、
    前記輝度に関する値と色差に関する値とをRGB信号の各成分に再度変換させる第2画素値変換部と、
    前記第1画素値変換部による変換処理をおこなわせた後に、前記輝度に関する値を用いて方向選択部による方向選択処理と前記平均化部による平均化処理とをおこなわせ、前記色差に関する値を用いて方向選択部による方向選択処理と前記平均化部による平均化処理とをおこなわせ、前記第2画素値変換部による変換処理をおこなわせた後に、前記RGB信号の各成分に関する値を用いて前記方向選択部による方向選択処理と前記平均化部による平均化処理とをおこなわせる処理制御部と
    を備える画像変換装置。
  2. 前記方向選択部は、前記複数の方向にそれぞれ並ぶ複数の前記画素群に含まれる画素の画素値差が最も小さい方向を選択する請求項1に記載の画像変換装置。
  3. 前記平均化部は、前記所定の画素の画素値と、選択された前記方向に並ぶ画素群に含まれる前記所定の画素以外の画素の画素値との平均値を求め、前記所定の画素の画素値を前記平均値に変換する請求項1又は請求項2に記載の画像変換装置。
  4. 前記画像内で、周辺の画素より画素値の低い画素の画素値をさらに低くする暗度強調部をさらに備える請求項1乃至請求項3のいずれか一項に記載の画像変換装置。
  5. 前記暗度強調部は、基準画素の画素値と前記基準画素に隣接する周囲画素の画素値を比較し、前記基準画素の画素値が前記周囲画素の画素値の平均値よりも低い場合に、前記基準画素の画素値をさらに低くする請求項4に記載の画像変換装置。
  6. 前記暗度強調部による暗度強調処理を所定の回数繰り返す第2繰返し手段をさらに備える請求項4又は請求項5に記載の画像変換装置。
  7. 前記方向選択部による方向選択処理と前記平均化部による平均化処理とを所定の回数繰り返す第1繰返し手段をさらに備える請求項1乃至請求項6のいずれか一項に記載の画像変換装置。
  8. 画像データを入力する入力部と、画像を印刷する印刷部と、画像変換装置とを含むプリンタであって、
    前記画像変換装置は、
    画像において、所定の画素を含む画素群が並ぶ複数の方向から、輪郭成分を形成する画素群が並ぶ方向を選択する方向選択部と、
    選択された前記方向に並ぶ画素群の画素値を平均化する平均化部と、
    前記画像のRGB信号の各成分に関する値を輝度及び色差に関する値に変換する第1画素値変換部と、
    前記輝度に関する値と色差に関する値とをRGB信号の各成分に再度変換させる第2画素値変換部と、
    前記第1画素値変換部による変換処理をおこなわせた後に、前記輝度に関する値を用いて方向選択部による方向選択処理と前記平均化部による平均化処理とをおこなわせ、前記 色差に関する値を用いて方向選択部による方向選択処理と前記平均化部による平均化処理とをおこなわせ、前記第2画素値変換部による変換処理をおこなわせた後に、前記RGB信号の各成分に関する値を用いて前記方向選択部による方向選択処理と前記平均化部による平均化処理とをおこなわせる処理制御部と
    を備えるプリンタ。
  9. 前記画像変換装置は、前記画像内で、周辺の画素より画素値の低い画素の画素値をさらに低くする暗度強調部をさらに備える請求項8に記載のプリンタ。
  10. 前記暗度強調部は、基準画素の画素値と前記基準画素に隣接する周囲画素の画素値を比較し、前記基準画素の画素値が前記周囲画素の画素値の平均値よりも低い場合に、前記基準画素の画素値をさらに低くする請求項9に記載のプリンタ。
  11. 前記画像変換装置は、前記暗度強調部による暗度強調処理を所定の回数繰り返す第2繰返し手段をさらに備える請求項9又は請求項10に記載のプリンタ。
  12. 画像において、所定の画素を含む画素群が並ぶ複数の方向から、輪郭成分を形成する画素群が並ぶ方向を選択する方向選択工程と、
    選択された前記方向に並ぶ画素群の画素値を平均化する平均化工程と、
    前記画像のRGB信号の各成分に関する値を輝度及び色差に関する値に変換する第1画素値変換工程と、
    前記輝度に関する値と色差に関する値とをRGB信号の各成分に再度変換させる第2画素値変換工程と、
    前記第1画素値変換工程による変換処理をおこなわせた後に、前記輝度に関する値を用いて方向選択工程による方向選択処理と前記平均化工程による平均化処理とをおこなわせ、前記色差に関する値を用いて方向選択工程による方向選択処理と前記平均化工程による平均化処理とをおこなわせ、前記第2画素値変換工程による変換処理をおこなわせた後に、前記RGB信号の各成分に関する値を用いて前記方向選択工程による方向選択処理と前記平均化工程による平均化処理とをおこなわせる処理制御工程と
    を備える画像変換方法。
  13. 前記画像内で、周辺の画素より画素値の低い画素の画素値をさらに低くする暗度強調工程をさらに備える請求項12に記載の画像変換方法。
  14. 前記暗度強調工程は、基準画素の画素値と前記基準画素に隣接する周囲画素の画素値を比較し、前記基準画素の画素値が前記周囲画素の画素値の平均値よりも低い場合に、前記基準画素の画素値をさらに低くする請求項13に記載の画像変換方法。
  15. 前記暗度強調工程による暗度強調処理を所定の回数繰り返す第2繰返し工程をさらに備える請求項13又は請求項14に記載の画像変換方法。
  16. 画像において、所定の画素を含む画素群が並ぶ複数の方向から、輪郭成分を形成する画素群が並ぶ方向を選択する方向選択工程と、
    選択された前記方向に並ぶ画素群の画素値を平均化する平均化工程と、
    前記画像のRGB信号の各成分に関する値を輝度及び色差に関する値に変換する第1画素値変換工程と、
    前記輝度に関する値と色差に関する値とをRGB信号の各成分に再度変換させる第2画素値変換工程と、
    前記第1画素値変換工程による変換処理をおこなわせた後に、前記輝度に関する値を用いて方向選択工程による方向選択処理と前記平均化工程による平均化処理とをおこなわせ 、前記色差に関する値を用いて方向選択工程による方向選択処理と前記平均化工程による平均化処理とをおこなわせ、前記第2画素値変換工程による変換処理をおこなわせた後に、前記RGB信号の各成分に関する値を用いて前記方向選択工程による方向選択処理と前記平均化工程による平均化処理とをおこなわせる処理制御工程と
    をコンピュータに実行させるためのプログラムを記録したコンピュータにて読取可能な記録媒体。
  17. 前記画像内で、周辺の画素より画素値の低い画素の画素値をさらに低くする暗度強調工程をさらにコンピュータに実行させるためのプログラムを記録したコンピュータにて読取可能な請求項16に記載の記録媒体。
  18. 前記暗度強調工程は、基準画素の画素値と前記基準画素に隣接する周囲画素の画素値を比較し、前記基準画素の画素値が前記周囲画素の画素値の平均値よりも低い場合に、前記基準画素の画素値をさらに低くする請求項17に記載の記録媒体。
  19. 前記暗度強調工程による暗度強調処理を所定の回数繰り返す第2繰返し工程をさらにコンピュータに実行させるためのプログラムを記録した請求項17又は請求項18に記載の記録媒体。
JP2000308693A 2000-10-10 2000-10-10 画像変換装置及び画像変換方法 Expired - Fee Related JP4105378B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000308693A JP4105378B2 (ja) 2000-10-10 2000-10-10 画像変換装置及び画像変換方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000308693A JP4105378B2 (ja) 2000-10-10 2000-10-10 画像変換装置及び画像変換方法

Publications (2)

Publication Number Publication Date
JP2002118737A JP2002118737A (ja) 2002-04-19
JP4105378B2 true JP4105378B2 (ja) 2008-06-25

Family

ID=18788960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000308693A Expired - Fee Related JP4105378B2 (ja) 2000-10-10 2000-10-10 画像変換装置及び画像変換方法

Country Status (1)

Country Link
JP (1) JP4105378B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058800A (ja) * 2010-09-06 2012-03-22 Spray Art Exin Co Ltd 絵画風原画の作成方法
JP5645072B2 (ja) * 2010-12-20 2014-12-24 カシオ計算機株式会社 画像印刷装置、画像印刷方法および画像印刷プログラム
KR101207084B1 (ko) * 2011-02-08 2012-12-04 포항공과대학교 산학협력단 이미지 처리 방법 및 이를 위한 장치
JP5418791B2 (ja) * 2011-03-02 2014-02-19 カシオ計算機株式会社 画像加工装置、画像加工方法及びプログラム
JP5510366B2 (ja) * 2011-03-08 2014-06-04 カシオ計算機株式会社 画像表示制御装置及びプログラム
JP5594282B2 (ja) 2011-03-31 2014-09-24 カシオ計算機株式会社 画像処理装置
JP6028485B2 (ja) * 2012-09-19 2016-11-16 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
KR102366232B1 (ko) * 2017-08-30 2022-02-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법

Also Published As

Publication number Publication date
JP2002118737A (ja) 2002-04-19

Similar Documents

Publication Publication Date Title
JP4924264B2 (ja) 画像処理装置、画像処理方法、および、コンピュータプログラム
JP2002016818A (ja) 色補正方法および装置並びに記録媒体
JP3715719B2 (ja) 画像処理装置及びその方法及びコンピュータ可読メモリ
JP2002016939A (ja) 画像処理方法および装置並びに記録媒体
JP4877074B2 (ja) 画像処理装置、画像処理方法、および、コンピュータプログラム
JP4105378B2 (ja) 画像変換装置及び画像変換方法
JPH04336870A (ja) カラー画像記録装置
JP3689607B2 (ja) 画像処理方法、装置および記憶媒体
US8633943B2 (en) Image display apparatus, image display method, and program storage medium for arranging and displaying images of a plurality of tones
JP4392082B2 (ja) 彫版風ハーフトーン画像生成方法・装置
JP4186558B2 (ja) 画像処理方法およびその装置
JP2001285638A (ja) 画像処理方法
JPH11134491A (ja) 画像処理装置及びその方法
JP4321698B2 (ja) 画像出力方法および装置並びに記録媒体
JPH10208038A (ja) 画像処理方法および画像処理装置
JP5689090B2 (ja) 画像形成方法及び画像形成装置
JPH10191090A (ja) 色変換テーブルの製造装置及び製造方法並びに記録媒体
JPH09294208A (ja) 画像処理方法及び装置
JP2005235238A (ja) 画像処理方法、装置および記憶媒体
JP2007165989A (ja) 画像処理装置
JPH02291773A (ja) 画像処理装置
JP2001245135A (ja) 画像変換装置及び画像変換方法
JP2009081631A (ja) 画像処理装置、方法、および、プログラム
JP4386870B2 (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体
JP2001313839A (ja) 画像処理方法および装置並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050909

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080327

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees