JPH10134178A - 画像処理方法および装置および記憶媒体 - Google Patents

画像処理方法および装置および記憶媒体

Info

Publication number
JPH10134178A
JPH10134178A JP8290006A JP29000696A JPH10134178A JP H10134178 A JPH10134178 A JP H10134178A JP 8290006 A JP8290006 A JP 8290006A JP 29000696 A JP29000696 A JP 29000696A JP H10134178 A JPH10134178 A JP H10134178A
Authority
JP
Japan
Prior art keywords
image
brightness
conversion
pixel
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8290006A
Other languages
English (en)
Other versions
JP3950501B2 (ja
Inventor
Megumi Yoshimura
めぐみ 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP29000696A priority Critical patent/JP3950501B2/ja
Publication of JPH10134178A publication Critical patent/JPH10134178A/ja
Application granted granted Critical
Publication of JP3950501B2 publication Critical patent/JP3950501B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 カラー画像や多値の白黒画像に対して、より
見映えの良い表現力のある白黒画像に変換したり、ま
た、ペンで描いたような効果を持たせるような加工処理
を、画像の構成や色に関する知識を持たない一般ユーザ
でも簡単に行なうことができるようにする。 【解決手段】 RAM3の元画像領域3a1に記憶され
た2次元カラー画像を白黒多値画像に変換して、加工用
画像領域3a2に記憶し、記憶された白黒多値画像のヒ
ストグラムを作成し、また、記憶された白黒多値画像の
明るさのピークを検出して、作成されたヒストグラムと
検出された明るさのピークとに基づいて、白黒多値画像
の明るさを、明るさ平均化変換テーブル3cや明るさ変
換テーブル3dを利用して変換する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、メモリ上に展開さ
れた、2次元カラー画像または白黒多値画像に対して、
加工処理を行なう画像処理方法および装置および該方法
を実現するためのコンピュータプログラムを記憶した記
憶媒体に関するものである。
【0002】
【従来の技術】従来、2次元カラー画像または白黒多値
画像に対して、ユーザの好みに合わせた加工処理を行な
う場合には、いくつかの処理を重ね合わせたり、パラメ
ータを指定したりするなどしていた。
【0003】
【発明が解決しようとする課題】しかしながら、上記従
来の技術では、見映えの良い加工結果を得るためには、
多くの指示を必要とするので、画像処理の知識がそれほ
ど多くない一般ユーザが、好みに合わせた思い通りの加
工画像を得ることは、非常に困難であった。つまり、一
般ユーザが、見映えの良い加工画像を得たいと思った場
合には、ある程度、画像処理の知識を学んだり、試行錯
誤を繰り返したりしなければならなかった。
【0004】本発明は上記問題点を解決するためになさ
れたもので、特に、ユーザの簡単な指示により、入力さ
れた2次元カラー画像または白黒多値画像から、その明
るさなどの性質には依存せずに、より見映えの良い、効
果的な白黒画像を得ることができる画像処理方法および
装置および記憶媒体を提供することを目的とする。
【0005】
【課題を解決するための手段】上記目的を達成するため
に、本発明に係る画像処理装置は、白黒多値画像を記憶
する画像記憶手段と、前記画像記憶手段に記憶された白
黒多値画像のヒストグラムを作成するヒストグラム作成
手段と、前記画像記憶手段に記憶された白黒多値画像の
明るさのピークを検出するピーク検出手段と、前記ヒス
トグラム作成手段により作成されたヒストグラムと、前
記ピーク検出手段により検出された明るさのピークとに
基づいて、前記白黒多値画像の明るさを変換する明るさ
変換手段とを設けた。
【0006】また好ましくは、2次元カラー画像を白黒
多値画像に変換するグレー変換手段を含み、前記画像記
憶手段は、前記グレー変換手段により変換された白黒多
値画像を記憶する。
【0007】また好ましくは、前記明るさ変換手段は、
前記白黒多値画像の明るさを平均化する変換を行う平均
化変換手段を有する。
【0008】また好ましくは、前記明るさ変換手段は、
前記白黒多値画像の明るさに強弱を付ける変換を行う強
弱変換手段を有する。
【0009】また好ましくは、前記明るさ変換手段は、
前記白黒多値画像を二値データに変換する二値化変換手
段と、前記二値化変換手段により変換された画像の画素
と、該画素の近傍の画素とに、ペンによる描画を模した
ブラシパターンを配置するブラシパターン配置手段とを
有する。
【0010】また好ましくは、前記明るさ変換手段は、
前記ブラシパターン配置手段により配置されるブラシパ
ターンを、与えられた複数のブラシパターンから選択す
るブラシパターン選択手段を有する。
【0011】また好ましくは、前記明るさ変換手段は、
前記ブラシパターン配置手段によるブラシパターンの配
置の際に、ある画素に対して、与えられたブラシパター
ンの各要素を配置するか否かを判定する配置判定手段を
有する。
【0012】また好ましくは、前記配置判定手段は、前
記グレー変換手段により変換された画像の注目画素の明
るさと、該注目画素に隣接する画素の明るさとの差に基
づいて、前記ブラシパターン配置手段によるブラシパタ
ーンの配置を行う。
【0013】また好ましくは、前記配置判定手段は、前
記グレー変換手段により変換された画像の各画素の明る
さの値に基づいて、前記ブラシパターン配置手段による
ブラシパターンの配置を行う。
【0014】また、上記目的を達成するために、本発明
に係る画像処理方法は、画像記憶手段に記憶された白黒
多値画像のヒストグラムを作成するヒストグラム作成工
程と、前記画像記憶手段に記憶された白黒多値画像の明
るさのピークを検出するピーク検出工程と、前記ヒスト
グラム作成工程で作成されたヒストグラムと、前記ピー
ク検出工程で検出された明るさのピークとに基づいて、
前記白黒多値画像の明るさを変換する明るさ変換工程と
を設けた。
【0015】また好ましくは、2次元カラー画像を白黒
多値画像に変換するグレー変換工程を含み、前記画像記
憶手段は、前記グレー変換工程で変換された白黒多値画
像を記憶する。
【0016】また好ましくは、前記明るさ変換工程は、
前記白黒多値画像の明るさを平均化する変換を行う平均
化変換工程を有する。
【0017】また好ましくは、前記明るさ変換工程は、
前記白黒多値画像の明るさに強弱を付ける変換を行う強
弱変換工程を有する。
【0018】また好ましくは、前記明るさ変換工程は、
前記白黒多値画像を二値データに変換する二値化変換工
程と、前記二値化変換工程で変換された画像の画素と、
該画素の近傍の画素とに、ペンによる描画を模したブラ
シパターンを配置するブラシパターン配置工程とを有す
る。
【0019】また好ましくは、前記明るさ変換工程は、
前記ブラシパターン配置工程で配置されるブラシパター
ンを、与えられた複数のブラシパターンから選択するブ
ラシパターン選択工程を有する。
【0020】また好ましくは、前記明るさ変換工程は、
前記ブラシパターン配置工程におけるブラシパターンの
配置の際に、ある画素に対して、与えられたブラシパタ
ーンの各要素を配置するか否かを判定する配置判定工程
を有する。
【0021】また好ましくは、前記配置判定工程におい
て、前記グレー変換工程で変換された画像の注目画素の
明るさと、該注目画素に隣接する画素の明るさとの差に
基づいて、前記ブラシパターン配置工程でのブラシパタ
ーンの配置を行う。
【0022】また好ましくは、前記配置判定工程におい
て、前記グレー変換工程で変換された画像の各画素の明
るさの値に基づいて、前記ブラシパターン配置工程での
ブラシパターンの配置を行う。
【0023】また、上記目的を達成するために、本発明
に係る画像処理方法を実現するためのコンピュータプロ
グラムを格納し、コンピュータにより呼び出し可能な記
憶媒体は、画像記憶手段に記憶された白黒多値画像のヒ
ストグラムを作成するヒストグラム作成工程と、前記画
像記憶手段に記憶された白黒多値画像の明るさのピーク
を検出するピーク検出工程と、前記ヒストグラム作成工
程で作成されたヒストグラムと、前記ピーク検出工程で
検出された明るさのピークとに基づいて、前記白黒多値
画像の明るさを変換する明るさ変換工程とを有する。
【0024】
【発明の実施の形態】
(実施形態1)以下、図面を参照して本発明の実施形態
1を説明する。
【0025】図1は、本発明の実施形態1に係るデータ
処理装置の概略構成を示すブロック図である。
【0026】本実施形態1に係るデータ処理装置は、C
PU(中央処理装置)1、ROM(リードオンリメモ
リ)2、RAM(ランダムアクセスメモリ)3、キーボ
ード4、マウス5、表示器6、および外部記憶装置7に
より構成され、これら各構成要素はバスライン8により
互いに接続されている。なお、システム構成によって
は、後述するシステムプログラムや画像加工処理プログ
ラムなどは、ROM2のかわりにハードディスクなどの
ような外部記憶装置に格納されていてもよい。
【0027】CPU1は、例えばマイクロプロセッサ形
態であり、本装置各部の動作を制御する。ROM2は、
システムプログラム2a、並びに本発明による画像加工
処理プログラム2b1を含み、その他の各種処理を指示
したりするための画像アプリケーションプログラム2b
を格納する。
【0028】RAM3は、加工する元になる元画像を格
納するための元画像領域3a1、加工する前の元画像を
後まで残しておく場合に、加工した結果の画像を格納す
るための加工用画像領域3a2、本発明による加工処理
で必要となるヒストグラムテーブル3b、明るさの平均
化変換テーブル3c、明るさ変換テーブル3d、および
その他の管理・ワーク領域3f等により構成されてい
る。
【0029】元画像領域3a1は、加工を行なう元にな
る画像の領域である。外部記憶装置7から画像を読み込
むと、まずここに格納される。何らかの加工処理などを
行なったが加工結果が気にいらなかった場合などに元に
戻す場合などにこの元画像を用いる。また何らかの加工
を行なう場合には、この元画像を元に、これに対して加
工を行ない、加工結果の画像は加工用画像領域3a2に
格納する。本実施形態1ではこの流れで説明している
が、いったん加工を行なった画像に対して再び同じ、あ
るいは別の加工を行なう仕様やモードの場合には、元画
像領域3a1の元画像ではなく、加工処理がすでに行な
われた加工用画像領域3a2の加工用画像に対して加工
を行なう。その場合、最初の画像を記憶しておく必要が
なく、また復元用の画像領域も必要がないなどの条件が
揃えば、元画像領域3a1と加工用画像領域3a2が同
じ領域を使用するようにして使用メモリの削減を図るこ
とも可能である。
【0030】画像が全体的に明るい(白っぽい)場合
や、逆に暗い(黒っぽい)場合には、何らかの加工処理
を行なうと、ぼやけてしまったり、さらに明るい、ある
いは暗い方に片寄って加工されてしまったりするなど、
元の画像の印象が薄れたり壊れてしまったりする場合も
ある。そのような場合には、本実施形態1で行なってい
るように、画像全体の明るさを平均的になるように変換
する処理が有効となる。その場合に、ヒストグラムテー
ブル3bを利用することになる。
【0031】ヒストグラムテーブル3bとは、明るさを
白から黒までの間の何段階かに分割し、ある画像につい
て、1画素1画素がそれぞれどの段階に収まるかを検出
してそれぞれの段階の画素数の和を求めたものである。
このヒストグラムテーブル3bによるヒストグラムの形
状により、その画像が全体的に明るい、あるいは暗いな
どの性質を定量的に見ることが可能となる。このヒスト
グラムテーブル3bを元に、加工する画像の明るさの性
質を判定し、画像全体の明るさを平均化するために作成
・参照するテーブルが明るさ平均化変換テーブル3cで
ある。
【0032】本実施形態1では、加工後の画像の見映え
をさらに良くするために、明るさの平均化に加えて、さ
らに明るさのメリハリを付けるために、もう一度異なる
明るさの変換処理を行なう。そのために用いるのが明る
さ変換テーブル3dである。本実施形態1で説明する明
るさ変換テーブル3dは、少しでも明るい部分はさらに
明るく、逆に少しでも暗い部分はさらに暗く変換するこ
とにより、明るさに強弱を付ける処理を行なう。
【0033】その他の各種情報やデータを管理したり、
ワークとして使用したりするための領域がその他の管理
・ワーク領域3fである。
【0034】キーボード4は、ユーザが文字・数字・記
号等のデータの入力、及びCPU1に対する各種指示を
行なうためのものである。マウス5は、表示器6上に表
示されている各種情報を指示することにより、CPU1
に対して各種指示を行なう。マウスの代わりにトラック
ボール、ペン、またはタッチパネル等の方式を用いても
良い。表示器6は、LCD等により構成され、CPU1
の制御により各種データの表示を行なう。外部記憶装置
7は、例えばフロッピーディスク等のメディアからな
り、該外部記憶装置7からCPU1の制御により読み出
された各種データは、バスライン8を介してRAM3上
で展開される。
【0035】以上の構成の下で、本実施形態1の動作を
図8〜11のフローチャートと図2〜7の各種データ・
テーブル構成および処理概要の例を参照して説明する。
図8に示すフローチャートは、本実施形態1による画像
加工処理の全体の流れを示している。図9に示すフロー
チャートは、入力画像をグレーの画像に変換し、明るさ
のヒストグラムを作成する手法の一例を示している。図
10に示すフローチャートは、グレーに変換した画像の
明るさを平均化するための処理の流れを示している。図
11に示すフローチャートは、作成された明るさ平均化
変換テーブルと3cと、明るさ変換テーブル3dを用い
て画像を変換する処理の流れを示している。
【0036】図2は、本実施形態1で説明する画像の構
造の例を示す。
【0037】この図2において、画像の1画素は、赤を
示す「R」、緑を示す「G」、青を示す「B」それぞれ
1バイト(=8ビット)の、計3バイトから構成され、
RとGとBのセットで、カラー画像の1画素を表す。こ
こで、R、G、Bはそれぞれ0〜255の値を持つこと
ができ、255に近いほど赤、緑、青の原色に近く、0
に近いほど白に近い色になる。また、R=G=B=0の
場合に黒になり、R=G=B=255の場合には白にな
る。
【0038】そして、このような構成を持つ画像は、2
56の3乗である1670万色を表現できる。
【0039】ところで、本実施形態1では、画像をまず
グレーに変換するが、カラーの入力画像から白黒画像を
得るために、ここでは「グレー画素値=0.3*(Rの
値)+0.6*(Gの値)+0.1*(Bの値)」の式
で求める。すべての画素に対して、得られた「グレー画
素」を変換後のR、G、Bの値とすることにより、グレ
ーに変換された画像を得ることができる。図26の画像
4が、元画像である画像3をグレー変換した例である。
グレー値が0の画素は黒、255の画素は白であり、0
に近いほど黒っぽい色に、255に近いほど白っぽい色
になる。本実施形態1の説明では、黒っぽい色を「暗
い」、白っぽい色を「明るい」という表現も用いてい
る。説明を簡単にするために、図3以降の説明では、グ
レー値を0〜23の24段階で説明する部分もある。
【0040】次に、図3、図4に、画像ごとに異なるヒ
ストグラムの例を示す。全体的に黒っぽい(暗い)画像
になるのは、図3のように黒に近い所に画素が多い場合
であり、また、全体的に白っぽい(明るい)画像になる
のは、図4のように白に近い所に画素が多い場合であ
る。
【0041】また、図5は、得られたヒストグラムか
ら、画像の明るさを平均化するための明るさ平均化テー
ブルの例を示している。
【0042】次に、図6に、さらに明るさのメリハリを
付けるために使用する明るさ変換テーブルの例を示す。
ここでは、ガンマ変換による変換を行っている。この図
6を見ればわかるように、少しでも暗いところは、より
暗く変換され、また、少しでも明るいところは、より明
るく変換される。したがって、変換対象となる画像は、
明るさと暗さの差が大きい、メリハリのある画像に変換
される。
【0043】また、図7は、明るさ変換テーブルの他の
例を示す図であり、ここでは、結果となる画像の明るさ
が段階的になる。ここでは、全体的な明るさにはそれほ
ど差がでないが、ある範囲の間の明るさのところが一定
の明るさに変換される。
【0044】以下、図8〜11のフローチャートと、先
程説明した図2〜7を用いて、処理の流れを説明する。
ただし、画像アプリケーションなどを起動し、各種初期
処理を行なうフローや、画像を呼び出したりするなどの
処理のフローは、図8のフローチャートでは省略する。
【0045】まず、画像アプリケーションが起動される
と、ROM2から画像アプリケーションプログラム2b
や本実施形態1のように画像を加工するための画像加工
処理プログラム2b1が読み出される。ただし、画像加
工処理プログラム2b1は、画像アプリケーションから
画像加工処理が起動された時に読み出されるようにすれ
ば、無駄な領域を使わないために効果的である。
【0046】画像の加工に必要となる各種情報や領域
は、RAM3上に確保される。画像を外部記憶装置7な
どから呼び出すために必要となる元画像データ領域3a
1や、画像の加工処理で必要となる加工用画像データ領
域3a2は、起動時に確保しても良いが、それぞれが必
要となった時点で確保するようにすれば、やはり無駄な
領域を使わないため、他にメモリ領域を使用する他の処
理を行なう際などに効果的である。
【0047】ヒストグラムテーブル3bは、明るさの段
階数だけの要素数を必要とする。本実施形態1では、0
〜255の256段階であるため、256の要素数を持
つ配列をあらかじめ確保しておくか、または、必要とな
った時に確保する。ヒストグラムテーブル3bの各要素
には、それぞれの明るさにはいくつの画素があるかの画
素数が格納される。明るさ平均化変換テーブル3c、明
るさ変換テーブル3dもヒストグラムテーブル3bと同
様に、明るさの段階数だけの要素数を必要とする。これ
らの変換テーブルは、注目している画素の明るさを入力
とし、その明るさの場合はどの明るさに変換されるかを
出力としている。
【0048】これらの領域も、あらかじめ確保しておく
か、または、必要となった時に確保しても良い。ただ
し、明るさ平均化テーブル3cは入力となる画像によっ
てテーブルの値が異なるので、入力画像(元画像)が変
わって画像加工処理が呼ばれたりする度に計算して構築
しなければならないが、明るさ変換テーブル3dは入力
となる画像には依存しないものであるため、あらかじめ
作成しておき、プログラム内に値を固定したテーブルと
して格納しておけば、画像アプリケーションが起動され
たり、または画像加工処理が起動されたりする度にテー
ブル構築のための計算をせずに済むため、効率的であ
る。その他の管理・ワーク領域3fも、アプリケーショ
ン起動時にあらかじめ確保するか、または、必要となっ
た時に確保しても良い。
【0049】画像アプリケーションで加工したい画像を
呼び出し、本実施形態1における画像加工処理を画像ア
プリケーションで指示すると、図8のフローチャートの
ステップS1以降の処理に入る。この時、元画像データ
領域3a1には、呼び出された画像データが格納されて
いる。ステップS1では、呼び出されている画像を元に
して、これから加工処理を行なうための加工用画像を作
成する。ただし、画像アプリケーションを起動し、画像
を呼び出した時点で、表示器に表示したりするために呼
び出した画像を加工用画像領域3a2に予め複写するな
どにより、すでに加工する元となるデータが加工用画像
領域3a2に作成されている場合は、このステップは行
なわなくても良い。また、例えば加工結果の画像は元の
画像を拡大・縮小などのように変倍したものとするよう
な場合には、ここで加工用画像を作成する場合にあらか
じめ変倍しても良い。
【0050】加工用画像領域3a2にこれから加工処理
を行なう画像が作成されると、ステップS2で、これか
ら加工処理を行なうために必要となる情報やテーブルな
どの初期化などを行なう初期処理を行なう。本実施形態
1では、ヒストグラムテーブル3bのクリアなどを行な
う。
【0051】ステップS2までで加工処理の準備が整う
と、ステップS4で、加工する元となるデータをグレー
に変換し(ステップS4−1)、ヒストグラムを作成す
る処理を行なう(ステップS4−2)。ただし、入力と
なる画像が白黒多値画像の場合は、グレーに変換する処
理は省略することができる。
【0052】このステップS4の処理を、図9のフロー
チャートを用いて、更に詳しく説明する。このステップ
S4では、加工用画像領域3a2の画像のすべての画素
について処理を行なう。まず、ステップS4−01、ス
テップS4−02、ステップS4−03、ステップS4
−04、ステップS4−05、およびステップS4−0
6は、すべての画素について処理を行なうための行およ
び桁のループを示すものであるため、詳しい説明は省略
する。また、ステップS4−11、ステップS4−21
は、すべての画素に対して行なう、グレー変換とヒスト
グラム作成のための処理である。
【0053】ステップS4−11では、注目している画
素をグレーに変換する(ただし前述のように、入力とな
る画像が白黒多値画像の場合は、このグレー変換処理は
省略することができる)。グレーの値は、本実施形態1
では、「グレー画素値=0.3*(Rの値)+0.6*
(Gの値)+0.1*(Bの値)」の式で求める。この
グレー画素値は0から255までのいずれかの値を持つ
ことになる。0が黒、255が白であり、0に近いほど
暗く、255に近いほど明るい。その値をR、G、Bに
代入したものが、元の画素をグレーに変換した後の色と
して見ることができる。その画像において、元の画像で
明るく見えている画素は明るいグレーで、暗く見えてい
る画素は暗いグレーで表現されることになる。すべての
画素に対してこのグレー画素値を計算し、R、G、Bの
それぞれに代入すると、元の画像と同じ構造の、グレー
に変換された画像を得ることができる。ただし、元の画
像が白黒多値画像の場合は、その構造にしたがうものと
する。
【0054】すべての画素についてグレー変換を行なっ
て元の画像に対するグレー画像を得た後で、その画像の
ヒストグラムを求めても良いが、本実施形態1では、処
理時間を短縮するために、ステップS4−21でグレー
に変換するのと同じループ内でヒストグラムテーブル3
bの作成を行なう。ヒストグラムとは、本実施形態1で
使用している画像の明るさのものを求める場合には、明
るさを数段階(本実施形態1の場合は0〜255の25
6段階)に分割し、各段階にいくつの画素が含まれるか
を算出するものである。したがって、あらかじめ確保
し、ステップS2ですべての要素を0に初期化したヒス
トグラムテーブル3bの、注目している画素の明るさ
(ステップS4−11で求めたグレー画素値)番目の値
に+1する。このようにして、すべての画素について明
るさを求め、その明るさの画素数を計上することによ
り、ヒストグラムテーブル3bが作成できる。
【0055】次に、先程説明した図3および図4のヒス
トグラムの例を示しながら説明を行う。ここでは、説明
を簡単にするために、明るさを0から23までの24段
階として説明している。また、画像の大きさは、例えば
横10画素、縦8画素というように、総画素数を80と
している。図3のヒストグラムの例では、0の明るさを
持つ画素数は1、1の明るさを持つ画素数は4、22の
明るさを持つ画素数は0である。このヒストグラムで
は、3の明るさを持つ画素数が最も多く、また、全体的
に0の明るさに近い方が画素数が多いという分布を持っ
ていることから、全体的に暗い画像であることが分か
る。同様に、図4のヒストグラムの例では、0の明るさ
を持つ画素数は0、22の明るさを持つ画素数は1、2
3の明るさを持つ画素数は1であり、また画素数が最も
多いのは18の明るさを持ち、全体的に24の明るさに
近い方が画素数が多いという分布を持っていることか
ら、全体的に明るい画像であることが分かる。
【0056】ステップS4の処理が終わると、加工用画
像領域3a2には、元画像領域3a1の元画像をグレー
に変換した画像が出来、またヒストグラムテーブル3b
には、その画像の明るさのヒストグラムが出来上がる。
加工用画像領域3a2の画像は、ステップS4の説明で
述べたように、元画像の性質によって、全体的に暗い、
または明るいなど、明るさに関して片寄った画像である
場合がある。本実施形態1では、グレーに変換された画
像の明るさを平均化することにより、画像の劣化を最小
限にとどめ、見映えの良い加工結果を得るために、ステ
ップS5以降で明るさの変換を行なう。
【0057】ステップS5では、ステップS4で求めた
ヒストグラムを元にして、明るさを平均化する際のパラ
メータとなる、明るさ平均化変換後に中心となる明るさ
を求める。その流れを、図10のフローチャートで示
す。
【0058】ステップS5−1では、明るさの中心とす
る画素数の割合をセットする。ここで、変換後の画像の
明るさとして、明るい部分と暗い部分を同じ程度にした
い場合には1/2を、少し暗くしたい場合には1/2よ
りも大きく、少し明るくしたい場合には1/2よりも小
さく割合をセットすれば良い(例えば、総画素数の2/
5に達したところの明るさを変換後の明るさの中心とす
る場合は2/5)。1/2よりも大きくすると、変換後
の明るさの中心よりも暗い部分に総画素数の1/2より
も多い数の画素が、逆に1/2よりも小さくすると、変
換後の明るさの中心よりも明るい部分に総画素数の1/
2よりも多い数の画素が割り当てられるからである。ま
た、この画像アプリケーションでその割合を固定する場
合には、ここでセットせず、あらかじめプログラムにそ
の値を定数で記述しておけば良い。
【0059】ステップS5−2では、画素数の合計を格
納するカウンタに0をセットして初期化する。またステ
ップS5−3では、画素数を合計していく明るさを示す
明るさポインタを0に初期化する。ステップS5−4以
降で、求める明るさが求まるまで、各明るさの画素数を
カウンタに加えていく。求める明るさは、総画素数にス
テップS5−1でセットした割合を掛けることによって
得られた画素数に、カウンタ値が達した時に求めること
ができる(ステップS5−5、ステップS5−6、ステ
ップS5−7)。
【0060】図3のヒストグラムを例にして説明する。
まず、変換後の画像の明るさとして、明るい部分と暗い
部分を同じ程度にすると仮定し、ステップS5−1で割
合を1/2とすると、80/2=40画素目の画素が含
まれる明るさを求めることになる。ステップS5−2、
ステップS5−3でカウンタと明るさポインタを0に初
期化する。ステップS5−4で、最初に、0の明るさを
持つ画素の数をカウンタに加える。図3の場合は1であ
るので、カウンタの値は1となる。ステップS5−5で
は、カウンタの値が求めるべき画素数(この場合は40
画素)を超えたかどうかを判定しているが、まだ超えな
いので、ステップS5−6に進み、明るさポインタに1
加え、次に注目する明るさへポインタを移動する。再び
ステップS5−4で、カウンタに明るさポインタの指す
明るさ1を持つ画素数を加える。明るさ1を持つ画素数
は4であるので4をカウンタに加えると、カウンタの値
は5となる。
【0061】このようにしてステップS5−4、ステッ
プS5−5、ステップS5−6を繰り返すと、明るさポ
インタが5の時にカウンタが40画素を超えることか
ら、元の画像の明るさ5を、明るさ平均化変換後の明る
さの11(明るさの中心)とすれば良いことが分かる。
その値を元に、ステップS6で、明るさの平均化変換テ
ーブル3cを作成する。
【0062】明るさの平均化変換テーブル3cは、本実
施形態1では、単純に線形関数で変換後の明るさを求め
ている。すなわち、上の例で、元のグレー画像の明るさ
0から5までを、変換後の画像の明るさ0から11まで
に変換するのであるから、元のグレー画像の0から5ま
での明るさにそれぞれ11/5を掛けた値が変換後の値
となる。元のグレー画像の明るさ6から23までも、同
様に変換後の12から23までの値に線形に変換する。
その結果得られた明るさ平均化変換テーブルの例が図5
である。また他の求め方として、ヒストグラムで画素数
が0以外である明るさのうちの最小値(図3では明るさ
0)を変換後の明るさの最小値である0に、画素数が0
以外である明るさのうち最大値(図3では20)を変換
後の明るさの最大値である23に合わせるようにした
り、明るさの平均をとって変換後の明るさのピーク値と
したりするなどの方法がある。
【0063】さらに、本実施形態1では、少しでも暗い
ところはより暗く、少しでも明るいところはより明るく
変換するために、明るさ変換テーブル3dをステップS
7で作成する。この明るさ変換テーブル3dとして、本
実施形態1では、ガンマ変換を用いたものを使用してい
る。ガンマ変換とは、y=xa,0≦x≦1という式を
満たす もので、a<1の場合は図6のグラフの右上部
分のような軌跡を、a>1の場合は図6のグラフの左下
のような軌跡を描く。本実施形態1では、明るさ0から
真ん中の明るさまでをa>1のガンマ変換による軌跡
で、真ん中の明るさから最大の明るさまでをa<1のガ
ンマ変換による軌跡で変換した値を変換後の明るさとし
ているが、もちろんグラフの形状はこの他にも任意に定
義することが可能である。この明るさ変換テーブル3d
は入力となる画像には依存しないので、あらかじめ明る
さ変換テーブル3dをプログラムの外で作成し、プログ
ラムに定数として記述しておく方が、明るさ変換テーブ
ル3dを作成するための計算時間の削減につながり、効
率的である。
【0064】ここまでの処理で得られた、加工用画像領
域3a2上のグレー画像、ヒストグラムテーブル3b、
明るさ平均化変換テーブル3c、明るさ変換テーブル3
dを用いて、画像の明るさを調整し、より見映えの良い
画像を得る処理が、ステップS8の明るさ変換処理であ
る。ステップS8の明るさ変換処理を、図11のフロー
チャートで説明する。この処理も、図9のフローチャー
トのステップS4の処理で説明したのと同じように、加
工用画像領域3a2の画像のすべての画素について処理
を行なうため、ステップS8−01、ステップS8−0
2、ステップS8−03、ステップS8−04、ステッ
プS8−05、ステップS8−07で示している行・桁
のループの部分の詳しい説明は省略する。
【0065】ステップS8−11、S8−12は、明る
さに対する変換を行なう処理である。ステップS8−1
1、ステップS8−12はそれぞれ、ステップS6、ス
テップS7で作成された明るさ平均化変換テーブル3c
と明るさ変換テーブル3dによって、元のグレー画像の
明るさを変換する処理である。いったんすべての画素に
ついて、まずステップS8−11の明るさ平均化変換テ
ーブル3cによって明るさを平均化し、その画像のすべ
ての画素について、ステップS8−12の明るさ変換テ
ーブル3dによって明るさを変換しても良いが、本実施
形態1では、処理時間を短縮するために、ステップS8
−11で明るさを平均化するのと同じループ内でステッ
プS8−12の明るさ変換処理も行なっている。
【0066】図26の画像5と画像6は、処理結果を分
かりやすくするためにステップS8−11とステップS
8−12の処理を分けて行ない、それぞれの処理によっ
て得られた結果の画像である。画像5は、元画像をグレ
ーに変換した画像4に対してステップS8−11の明る
さ平均化変換処理を行なった結果の画像である。元のグ
レー画像は、全体的に黒っぽい画像であり、ヒストグラ
ムをとると図3に近い形状をしているが、明るさの平均
化を行なうと、少し明るい部分がさらに明るく変換さ
れ、全体的な明るさが明るくなっているのが分かる。画
像6は、明るさが平均化された画像5に対して、さらに
少しでも明るい部分はより明るく、逆に少しでも暗い部
分はより暗く変換するという、ステップS8−12の明
るさ変換処理を行なった結果の画像である。画像5と比
較して、明るい部分はさらに明るく、暗い部分はさらに
暗くなっていることが分かる。
【0067】以上の一連の処理は、ユーザから受け付け
るただ一つの指示によって、連鎖的に実現できるもので
ある。ただし、例えば明るさの平均化変換テーブル3c
の作成時(ステップS6)や明るさ変換テーブル3dの
作成時(ステップS7)のように、パラメータを変える
ことにより違った結果を得ることができる箇所では、ユ
ーザの指示を受けつけるようなユーザインタフェースに
することも可能である。
【0068】このように、編集しようとしている画像が
白黒多値データでない場合にはその画像を白黒多値デー
タに変換するグレー変換処理(ステップS4−1)と、
画像のヒストグラムを作成するヒストグラム作成処理
(ステップS4−2)と、ヒストグラム作成処理(ステ
ップS4−2)によって作成されたヒストグラムテーブ
ル3bと、グレー画像において明るさのピークと考えら
れる明るさを検出するグレー画像の明るさピーク検出処
理(ステップS5)と、ヒストグラムテーブル3bとグ
レー画像の明るさピーク検出処理(ステップS5)か
ら、グレー画像の明るさを平均化する変換テーブルを作
成する明るさ平均化変換テーブル作成処理(ステップS
6)と、明るさ平均化変換テーブル作成処理(ステップ
S6)によって得られる明るさ平均化変換テーブル3c
と、明るい部分をより明るく、暗い部分をより暗く変換
するための明るさ変換テーブルを作成するための明るさ
変換テーブル作成処理(ステップS7)と、明るさ変換
テーブル作成処理(ステップS7)によって得られる明
るさ変換テーブル3dとを有する画像処理方法によっ
て、画像6、画像7の変換例に示したように、見映えの
良い白黒画像を得ることができる。
【0069】(実施形態2)上記実施形態1で説明した
画像加工処理を利用し、結果として得られた白黒画像に
他の加工処理を加えることにより、上記実施形態1で得
られた画像の性質をさらに生かし、ペンで絵を描画した
かのような、よりアピール力のある画像を得ることがで
きる。
【0070】本実施形態2におけるペン画処理につい
て、図12と図13を用いて詳しく説明する。
【0071】図12は、上記実施形態1で説明したデー
タ処理装置の概略構成を示すブロック図である、図1と
ほぼ同じものであるので、異なる部分についてのみ説明
する。RAM3には、加工する元になるもと画像を格納
するための元画像領域3a1、加工した結果の画像を格
納するための加工用画像領域3a2の他に、ワーク用画
像領域として3a3をも確保している。加工処理によっ
ては、ワークとしてさらにもう1枚またはそれ以上の画
像を格納するためのワーク用画像領域3a3を必要とす
る場合もあるが、本実施形態2によるペン画処理でも、
後述するように、いったんある加工を行なった画素の、
加工前の元画像の情報を再び参照しなければならない処
理を含むような場合がそれにあたる。本実施形態2によ
る処理では、ワーク用画像として加工用画像1枚分のワ
ーク用画像を使用する。
【0072】本実施形態2におけるペン画処理において
は、ペンによって描かれたとする線を置く画素を、誤差
拡散法により二値化して求めている。誤差拡散法は、種
々の二値化処理の中でも階調性が良い、解像度が高い、
モアレが出にくいなどの長所があるために、本実施形態
2ではこの方法を用いているが、もちろん他の二値化処
理によって求めても良い。この誤差拡散法ではワーク領
域を必要とするが、それは図12のシステム構成図の3
eに確保するものとする。
【0073】また、本実施形態2では、ブラシパターン
用の領域3gを確保している。ブラシパターンとは、あ
る画素に対して、その画素を含み、その近傍の複数の画
素に対して、ある定められたパターンの画素にある値を
置いていくことにより、結果として入力画像とは趣の異
なる画像を得るために設定されるパターンである。その
説明を図22に示す。
【0074】加工処理の種類によっては、このブラシパ
ターン3gを用いて何らかの計算を行なってから出力画
像に対してパターンを置いていくような方法も考えられ
るが、本実施形態2の場合は、ブラシパターンに重なる
位置に、あらかじめ設定された色の画素を置く処理を行
なう。
【0075】図13は、本実施形態2の処理の流れを示
すフローチャートである。ステップS8−2の二値化処
理とステップS8−4のブラシ配置処理は、本実施形態
2、および、それ以降に示すその他の実施形態における
ペン画処理の基本となる処理である。
【0076】図21は、上記実施形態2において変換し
た白黒画像に対して、二値化処理によって生じた画素に
対してペン画のブラシを配置していく処理の流れを示す
フローチャートである。
【0077】画像アプリケーションで加工したい画像を
呼び出し、本実施形態2における画像加工処理を画像ア
プリケーションで指示すると、図13のフローチャート
のステップS1以降の処理に入る。この時、元画像デー
タ領域3a1には、呼び出された画像データが格納され
ている。ステップS1では、呼び出されている画像を元
にして、これから加工処理を行なうための加工用画像を
作成する。ただし、画像アプリケーションを起動し、画
像を呼び出した時点で、表示器に表示したりするために
呼び出した画像を加工用画像領域3a2に複写するなど
して、すでに加工する元となるデータが既に加工用画像
領域3a2に作成されている場合には、このステップは
行なわなくても良い。また、例えば加工結果の画像は元
の画像を拡大・縮小などのように変倍したものとするよ
うな場合には、ここで加工用画像を作成する場合にあら
かじめ変倍しても良い。
【0078】加工用画像領域3a2にこれから加工処理
を行なう画像が作成されると、ステップS2で、これか
ら加工処理を行なうために必要となる情報やテーブルな
どの初期化などを行なう初期処理を行なう。本実施形態
2では、ヒストグラムテーブル3bのクリアの他に、ペ
ン画を模すためのパターンブラシデータの設定、その色
の設定、ペン画の下地となる色の設定、といった初期処
理を行なっている。ただし、パターンブラシデータやそ
の色、ペン画の下地となる色の設定などがあらかじめプ
ログラムで固定的に定められている場合は、ここでの設
定は不要である。
【0079】ステップS2の初期処理が終了すると、ス
テップS3で、ワークとして使用するワーク用画像領域
3a3を作成する。本実施形態2の画像加工処理の場合
は、このワーク用画像領域3a3に、加工結果の画像が
生成される。以降に処理の詳細を説明するが、加工用画
像領域3a2を元に、ブラシを配置する画素を求め、ワ
ーク用画像領域3a3上の対応する画素にブラシパター
ン3gを配置していくことになるため、ステップS3で
は、加工用画像領域3a2と同じサイズ(横画素数、縦
画素数)の、同じデータ構造を持つ画像データ領域を作
成する。また、このワーク用画像領域3a3にブラシパ
ターン3gを上書きしていくため、あらかじめワーク用
画像領域3a3を初期処理S2で設定した下地の色で塗
りつぶしておく。内部的には、例えば下地の色を白とし
た場合、白という色を表すデータ(R=255、G=2
55、B=255)をワーク用画像領域全体に書き込む
ことになる。
【0080】ステップS4からステップS7では、上記
実施形態1で行なった明るさの変換処理を行なう。処理
内容は上記実施形態1と同じであるので、説明は省略す
る。
【0081】ステップS7で明るさ変換テーブル3dの
作成処理までの処理が終了した時点では、加工用画像領
域3a2には元画像をグレーに変換した画像が格納され
ている。ステップS8の流れは、図21のフローチャー
トを用いて説明する。ステップS8−01、ステップS
8−02、ステップS8−03、ステップS8−04、
ステップS8−05、ステップS8−08に関しては、
すべての画素についてのループであり、上記実施形態1
と同じであるので説明を省略する。またステップS8−
11、ステップS8−12も上記実施形態1で説明した
のと同じ内容であるので、説明を省略する。ステップS
8−06は、本実施形態2を含むその他の実施形態で行
なっている、ブラシ判定および配置処理を示している
が、実施形態ごとにその内容は異なる。
【0082】ステップS8−21では、注目している画
素がブラシパターン3gを配置する画素であるか否かを
判定するために、誤差拡散法により値を求めている。誤
差拡散法は一般的に用いられている方法であるので、説
明は省略する。誤差拡散法では、計算により求められた
値がしきい値を超えたならばそこに黒(白・黒二値の場
合)の値を置くことにより、画像全体を白または黒の二
値の画像に変換することができるので、黒を置くべき画
素であれば、ブラシパターン3gを配置するという方法
を本実施形態2ではとっている。その判定を行なうのが
ステップS8−22である。
【0083】ここで述べたように、しきい値よりも値が
大きければ、ステップS8−06のブラシパターン判定
及び配置処理で、ワーク用画像領域3a3にブラシパタ
ーン3gを配置する。本実施形態2では、ステップS8
−06のブラシ判定及び配置処理では、注目画素に対し
て与えられたブラシパターン3gをそのままの形で配置
するという基本的な処理であるステップS8−4のブラ
シパターン配置処理を行なっている。ステップS8−4
のブラシパターン配置処理は、図22で説明しているよ
うに、画像の加工結果を出力する画像(ここではワーク
用画像領域3a3)上に、元となる画像(ここでは加工
用画像領域3a2)において注目している画素にブラシ
パターンの中心を合わせて上書きする(ステップS2の
初期処理で設定したブラシパターンの色が黒である場
合、黒を示す0の値をその画素に書き込む)。この処理
が終了すると、誤差拡散法の計算の一部であるステップ
S8−07を行なう。この際、図22の(3)と(4)
を見ればわかるように、画像からはみ出す部分は無視
し、誤差拡散で発生したすべての画素に対してブラシを
置く。
【0084】すべての画素について以上の処理を行なう
と、ワーク用画像領域3a3には、ペンで描いたような
効果を持った画像が作成される。ここで、本画像加工処
理を呼び出した元のプロセスに対して、ワーク用画像領
域3a3以外の領域に加工結果を返す仕様の場合には、
その領域にワーク用画像領域3a3の内容を複写する
(ステップS9)。
【0085】このようにして、以上のような処理を画像
の全画素に対して行なうことにより、画像にペンで描い
たような効果を持たせることができる。
【0086】(実施形態3)実施形態2で述べたブラシ
パターンは、複数種類準備し、画素の明るさの度合いに
よってどのパターンを使用するかを分類することも可能
である。その処理の流れを示したものが、図14のフロ
ーチャートである。本実施形態3では、あらかじめ図2
5に示すようなブラシパターン1を準備しておく。処理
の流れにおいて実施形態2と異なる部分はステップS8
−3のブラシパターン選択処理を追加したことのみであ
るので、それに関する部分だけを説明する。実際にこの
処理が実行されるのは、図21のフローチャートで示さ
れるステップS8の中のステップS8−06の部分であ
る。
【0087】実施形態2と同じように、注目している画
素がブラシを配置するべき画素である場合に、ステップ
S8−3のブラシパターン選択処理を行なう。ステップ
S8−3のブラシパターン選択処理では、注目している
画素の元のグレー画像(ここでは囲う用画像3a2)の
明るさを調べ、図25に示しているように、黒〜白を0
〜255段階に分けた場合に、その明るさによって各画
素に配置するブラシパターン3gを変えることにより、
結果として得られる画像がより見映えが良くなる。
【0088】そして、その明るさが0〜50(暗い)で
あればブラシAを、51〜200であればブラシBを、
201〜255(明るい)であればブラシCを採用し、
実施形態2におけるステップS8−4のブラシパターン
配置処理と同じように、出力用画像(ここではワーク用
画像領域3a3)に描き込む。このような処理を画像の
全画素に対して行なうことにより、暗い部分は太いペン
で、あるいは力強く描いたように、明るい部分はペンの
ピッチを短く描いたように見せることができ、よりペン
画を模倣したような結果を得ることができる。
【0089】また、ブラシのパターンの角度を変えるな
ど変化を持たせることにより、異なる画風を生み出すこ
とができる。ブラシパターン3gとして図26の(2)
のようなブラシパターンを準備し、ある所定の計算方法
によっていずれかのパターンを採用すると、いろいろな
方向からペンで描いたような結果を得ることもできる。
その計算方法としては、元の画像の画素の明るさや、ブ
ラシを配置してきたカウント数、乱数などさまざまな方
法が考えられる。
【0090】これらのブラシを、例えば(画素の明る
さ)mod(3)=0ならば、(2)のブラシパターン
1を、1ならばブラシパターン2を、2ならばブラシパ
ターン3を使用したり、どのパターンを使用するかを乱
数を発生させることにより決定したり、二値化で発生し
た画素に順にブラシパターン1、2、3の順に使用した
りできる。
【0091】(実施形態4)実施形態2、及び3で説明
した処理の場合、ブラシを置くどの画素に対しても、
(ブラシパターンの横幅/2)、(ブラシパターンの縦
幅/2)の近傍の画素には、ブラシパターン3gによる
値(色)が置かれてしまう。したがって、元の画像の中
に、明暗の差が激しい画素が隣り合ったり近くにあった
りした場合、その境界部分にも画素が置かれてしまうた
めに、その輪郭とも言える明暗の差がぼやけてしまう可
能性がある。例えば、人物と背景部分の輪郭線が分かり
にくくなってしまうようなことが考えられる。
【0092】本実施形態4では、そのような問題を解決
するための方法について説明する。図15のフローチャ
ートで示しているステップS8−5のブラシ配置位置判
定処理(1)がそれに当たる。ただし実際の処理はステ
ップS8−4でブラシパターン3gを出力画像に描き込
む時に行なっているが、処理を分かりやすくするために
ステップS8−4、ステップS8−5として分けて記述
している。この処理は、実際には図21のフローチャー
トのステップS8−06の中で行なわれている。
【0093】本実施形態4の処理の説明は、図23で行
なう。
【0094】図21のフローチャートのステップS8−
21、ステップS8−22によって、注目画素がブラシ
パターン3gを配置する画素であると判定された時に、
グレー変換された元画像(ここでは加工用画像領域3a
2の画像)における注目画素の明るさを取得しておく。
本実施形態4の図23の例の場合は「0」である。次
に、配置するブラシパターン3gの、色を置く画素の位
置の対応する、グレー変換された元画像の画素の明るさ
を取得する。図23の例では、斜線を引いた画素がそれ
に当たる。注目画素とそれらの明るさの値の差をそれぞ
れ求め、それがあらかじめ定められた(初期処理ステッ
プS2で設定するか、あるいはプログラムで固定的に指
定されている、またはユーザの操作により指定される)
値よりも大きい(明るさの差が激しい)場合には、その
色は置かないようにする。
【0095】図23に示す例では、注目している画素の
元画像の色の値が「0」であり、ブラシパターン3gの
もっとも右上と、そのすぐ左下に当たる位置の元画像の
明るさの値は「23」である。ここで「明るさの差が1
2以上であれば色を置かない」という指定がしてあれ
ば、「0」と「23」との差は23であり、12よりも
大きいので、それら2つの画素は出力画像上に配置しな
いで、注目画素に対してブラシパターン3gを置いた結
果は図23の(4)のようになる。また、ブラシパター
ンのもっとも左下に当たる位置のもと画像の明るさの値
は「10」であり、注目している画素との明るさの値の
差は10で、12よりも小さいので、その画素は出力画
像上に配置することになる。注目画素のすぐ左下に当た
る位置の元画像の明るさは「0」であり、注目している
画素との明るさの差は0(注目している画素の明るさと
同じ)で、12よりも小さいので、その画素も出力画像
上に配置する。
【0096】このような処理を画像の全画素に対して行
なうことにより、明るさの差が激しい輪郭線のような部
分はそのまま残り、実施形態2よりも、元画像の性質を
残したペン画風の処理結果を得ることができる。この処
理を行なった画像の例が、図26の画像8である。
【0097】(実施形態5)実施形態2〜4で説明した
ペン画処理では、二値化処理によって生じた画素に対し
てブラシパターン3gを配置しているが、明るい(白に
近い)部分をより明るくしたい場合には、本実施形態5
で説明するような方法が有効である。本実施形態5もこ
れまでに説明した実施形態2〜4と同様に、ステップS
8(図21のフローチャート)に示すステップS16の
処理だけが異なるため、その処理だけを説明する。この
全体の流れを示すものが図16のフローチャートであ
る。図16のフローチャートのステップS8−6のブラ
シ配置位置判定処理(2)が、本実施形態5で説明する
手段である。このステップS8−6のブラシ配置位置判
定処理(2)によって、注目している画素に対してブラ
シを配置するか否かを判定するが、ここで「配置する」
と判定された場合だけステップS8−4のブラシパター
ン配置処理へ進む。「配置しない」と判定された場合
は、次の画素へ注目画素を移す。
【0098】ステップS8−6のブラシ配置位置判定処
理(2)を、図24で説明する。図24の例では、明る
さの値は0(黒)〜23(白)としている。この処理
は、注目している画素のグレー変換された元画像(ここ
では加工用画像領域3a2の画像)の明るさの値が、あ
らかじめ定められた(初期処理ステップS2で設定する
か、あるいはプログラムで固定的に指定されている、ま
たはユーザの操作により指定される)値(図25の例で
は18)以上(明るい)の場合には、その条件を満た
す、二値化によって発生した画素の2(もしくはそれ以
上)画素のうち1画素にだけブラシパターン3gを置く
というものである。2(もしくはそれ以上)画素のうち
1画素にだけブラシパターン3gを置く方法は、上記条
件を満たす画素に関して、カウンタを1つ準備してお
き、2(もしくはそれ以上)を超えるまで、上記条件を
満たす画素がある度に1を加えていき、超える時にブラ
シパターン3gを置いていけば良い。
【0099】この図24を見ればわかるように、(1)
における、この範囲でブラシを置く画素の元画像の明る
さがすべて20であり、18以上の明るさを持つ画素の
場合は、2画素のうちの1画素にしかブラシを置かない
とすると、実際にブラシを置く画素は(2)のようにな
る。そして、これらの画素にブラシを置くと、(3)の
ように、この判定を行なわないよりも明るい結果が得ら
れる。
【0100】このような処理を画像の全画素に対して行
なうことにより、明るい部分はより明るく表現されたペ
ン画風の処理結果を得ることができる。
【0101】(実施形態6)実施形態3〜5で説明した
各処理は、組み合わせて使用することにより、さらに効
果的な結果を生み出すことができる。
【0102】実施形態2で説明したペン画加工処理の基
本処理に加え、実施形態4で説明した、ステップS8−
5のブラシ配置位置判定処理(1)と、実施形態5で説
明した、ステップS8−6のブラシ配置位置判定処理
(2)を組み合わせ(図17のフローチャート)ること
により、明るさの差の激しい部分はその性質が残り、明
るい部分はより明るく表現されるという効果を得ること
ができる。
【0103】(実施形態7)実施形態2で説明したペン
画加工処理の基本処理に加え、実施形態3で説明した、
ステップS8−3のブラシパターン選択処理と、実施形
態5で説明した、ステップS8−6のブラシ配置位置判
定処理(2)を組み合わせ(図18のフローチャート)
ることにより、強弱を持ったペン画風の効果と、明るい
部分はより明るく表現されるという効果を得ることがで
きる。
【0104】(実施形態8)実施形態2で説明したペン
画加工処理の基本処理に加え、実施形態3で説明した、
ステップS8−3のブラシパターン選択処理と、実施形
態4で説明した、ステップS8−6のブラシ配置位置判
定処理(1)を組み合わせ(図19のフローチャート)
ることにより、明るさの差の激しい部分はその性質が残
り、明るい部分はより明るく表現されるという効果を得
ることができる。
【0105】(実施形態9)実施形態2で説明したペン
画加工処理の基本処理に加え、実施形態3で説明した、
ステップS8−3のブラシパターン選択処理と、実施形
態4で説明した、ステップS8−6のブラシ配置位置判
定処理(1)と、実施形態5で説明した、ステップS8
−6のブラシ配置位置判定処理(2)を組み合わせ(図
20のフローチャート)ることにより、強弱を持ったペ
ン画風の効果と、明るさの差の激しい部分はその性質が
残り、明るい部分はより明るく表現されるという効果を
得ることができる。
【0106】(実施形態10)上記の各実施形態では、
明るさ変換テーブル3dとしてガンマ変換を用い、明る
い部分はより明るく、暗い部分はより暗く変換する方法
について説明した。しかし、変換テーブルは、例えば図
7に示すように段階的に明るさを変換することにより、
ある範囲の明るさのところは一定の明るさに変換される
(ポスタリゼーション)ように作成することもできる。
図7の例では、明るさを0から23の24段階とした場
合に、元の画像の明るさ3から8までの画素は、すべて
3の明るさに変換され、元の画像の明るさ14から20
までの画素は、すべて15の明るさに変換される。図2
6の画像7が、この例である。明るさが、等高線で塗り
分けられたように、数段階に分かれていることが分か
る。このように、明るさ変換テーブル3dを数段階に設
定することにより、イラスト風の効果を得ることができ
る。
【0107】その他にも、上記各実施形態の明るさ変換
テーブル3dは、ガンマ変換を用いる場合でも、ガンマ
値の値によっては、明るさと暗さに大きく差が出たり、
また、あまり差が出なかったりするなど、さまざまな結
果が得られる。
【0108】最後に、図26の各画像について、まとめ
て説明する。
【0109】まず、画像1は、画像3の元画像をグレー
に変換し、ガンマ<1のガンマ変換により全体的に明る
く変換した画像に対して、ブラシ配置位置判定処理
(1)を用いたペン画処理を行なった画像である。
【0110】本発明で説明しているように、グレー画像
のピーク明るさ検出処理、明るさの平均化変換テーブル
作成処理、明るさ変換テーブル作成処理、明るさ変換処
理、ヒストグラムテーブル、明るさ平均化変換テーブ
ル、明るさ変換テーブルを用いない場合には、このよう
に非常に劣化した画像に変換されてしまう。
【0111】次に、画像2は、画像3の元画像に対し
て、本発明による処理を行なった画像である。この例
は、実施形態4によるものである。画像1に比較して
も、元画像の性質をよく残しながら、美しくペン画調に
加工されていることが分かる。
【0112】次に、画像3は、画像1、2、及び4〜8
に対して加工処理を行なう前の、元画像である。
【0113】次に、画像4は、元画像3に対し、グレー
に変換した(ステップS4−1)画像の例である。
【0114】次に画像5は、画像4に対し、明るさの平
均化(ステップS8−11)を行なった画像の例であ
る。
【0115】次に、画像6は、画像5に対し、ガンマ変
換を用いた明るさ変換テーブルにしたがって明るさを変
換した(ステップS8−12)画像の例である。
【0116】次に、画像7は、画像5に対し、段階的に
明るさを変換する明るさ変換テーブル2にしたがって明
るさを変換した(ステップS8−12)画像の例であ
る。
【0117】最後に、画像8は、画像7に対し、ブラシ
配置位置判定処理(1)を用いてペン画調に加工した画
像の例である。
【0118】
【発明の効果】以上説明したように、本発明によれば、
入力画像の明るさなどに依存せずに、カラー画像や白黒
多値画像の明暗を見映え良く表現したり、ペン画風の加
工結果をほどこしたりするなど、画像をよりアピールし
たり、表現力を増したりすることができるので、画像や
その扱い方、色などの知識をあまり持ち合わせていない
一般ユーザであっても、簡単に画像処理を行うことがで
き、また、さらには画像処理により親しみが持てるとい
った効果を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施形態1に係るデータ処理装置の概
略構成を示すブロック図である。
【図2】本実施形態1で扱うカラー画像データの構成例
を示す図である。
【図3】本実施形態1で扱うヒストグラムの例を示す図
である。
【図4】本実施形態1で扱うヒストグラムの例を示す図
である。
【図5】本実施形態1で扱う明るさの平均化変換テーブ
ルの例を示す図である。
【図6】本実施形態1で扱う明るさ変換テーブルの例を
示す図である。
【図7】本実施形態1で扱う明るさ変換テーブルの例を
示す図である。
【図8】本実施形態1の動作を説明するためのフローチ
ャートである。
【図9】本実施形態1の動作を説明するためのフローチ
ャートである。
【図10】本実施形態1の動作を説明するためのフロー
チャートである。
【図11】本実施形態1の動作を説明するためのフロー
チャートである。
【図12】本発明のその他の実施形態に係るデータ処理
装置の概略構成を示すブロック図である。
【図13】本発明の実施形態2の動作を説明するための
フローチャートである。
【図14】本発明の実施形態3の動作を説明するための
フローチャートである。
【図15】本発明の実施形態4の動作を説明するための
フローチャートである。
【図16】本発明の実施形態5の動作を説明するための
フローチャートである。
【図17】本発明の実施形態6の動作を説明するための
フローチャートである。
【図18】本発明の実施形態7の動作を説明するための
フローチャートである。
【図19】本発明の実施形態8の動作を説明するための
フローチャートである。
【図20】本発明の実施形態9の動作を説明するための
フローチャートである。
【図21】本発明の実施形態10の動作を説明するため
のフローチャートである。
【図22】本発明のその他の実施形態で扱うブラシの配
置を説明するための図である。
【図23】本発明のその他の実施形態で扱うブラシの配
置位置判定を説明するための図である。
【図24】本発明のその他の実施形態で扱うブラシの配
置位置判定を説明するための図である。
【図25】本発明のその他の実施形態で扱うブラシパタ
ーンの種類を説明するための図である。
【図26】本発明の各実施形態で処理される画像をまと
めて示した図である。
【符号の説明】
1 CPU 2 ROM 3 RAM 4 キーボード 5 マウス 6 表示器 7 外部記憶装置 8 バスライン

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】 白黒多値画像を記憶する画像記憶手段
    と、 前記画像記憶手段に記憶された白黒多値画像のヒストグ
    ラムを作成するヒストグラム作成手段と、 前記画像記憶手段に記憶された白黒多値画像の明るさの
    ピークを検出するピーク検出手段と、 前記ヒストグラム作成手段により作成されたヒストグラ
    ムと、前記ピーク検出手段により検出された明るさのピ
    ークとに基づいて、前記白黒多値画像の明るさを変換す
    る明るさ変換手段とを具備したことを特徴とする画像処
    理装置。
  2. 【請求項2】 2次元カラー画像を白黒多値画像に変換
    するグレー変換手段を含み、前記画像記憶手段は、前記
    グレー変換手段により変換された白黒多値画像を記憶す
    ることを特徴とする請求項1記載の画像処理装置。
  3. 【請求項3】 前記明るさ変換手段は、前記白黒多値画
    像の明るさを平均化する変換を行う平均化変換手段を有
    することを特徴とする請求項1記載の画像処理装置。
  4. 【請求項4】 前記明るさ変換手段は、前記白黒多値画
    像の明るさに強弱を付ける変換を行う強弱変換手段を有
    することを特徴とする請求項1または請求項3記載の画
    像処理装置。
  5. 【請求項5】 前記明るさ変換手段は、前記白黒多値画
    像を二値データに変換する二値化変換手段と、前記二値
    化変換手段により変換された画像の画素と、該画素の近
    傍の画素とに、ペンによる描画を模したブラシパターン
    を配置するブラシパターン配置手段とを有することを特
    徴とする請求項1または請求項2または請求項3または
    請求項4記載の画像処理装置。
  6. 【請求項6】 前記明るさ変換手段は、前記ブラシパタ
    ーン配置手段により配置されるブラシパターンを、与え
    られた複数のブラシパターンから選択するブラシパター
    ン選択手段を有することを特徴とする請求項5記載の画
    像処理装置。
  7. 【請求項7】 前記明るさ変換手段は、前記ブラシパタ
    ーン配置手段によるブラシパターンの配置の際に、ある
    画素に対して、与えられたブラシパターンの各要素を配
    置するか否かを判定する配置判定手段を有することを特
    徴とする請求項5または請求項6記載の画像処理装置。
  8. 【請求項8】 前記配置判定手段は、前記グレー変換手
    段により変換された画像の注目画素の明るさと、該注目
    画素に隣接する画素の明るさとの差に基づいて、前記ブ
    ラシパターン配置手段によるブラシパターンの配置を行
    うことを特徴とする請求項7記載の画像処理装置。
  9. 【請求項9】 前記配置判定手段は、前記グレー変換手
    段により変換された画像の各画素の明るさの値に基づい
    て、前記ブラシパターン配置手段によるブラシパターン
    の配置を行うことを特徴とする請求項7記載の画像処理
    装置。
  10. 【請求項10】 画像記憶手段に記憶された白黒多値画
    像のヒストグラムを作成するヒストグラム作成工程と、 前記画像記憶手段に記憶された白黒多値画像の明るさの
    ピークを検出するピーク検出工程と、 前記ヒストグラム作成工程で作成されたヒストグラム
    と、前記ピーク検出工程で検出された明るさのピークと
    に基づいて、前記白黒多値画像の明るさを変換する明る
    さ変換工程とを具備したことを特徴とする画像処理方
    法。
  11. 【請求項11】 2次元カラー画像を白黒多値画像に変
    換するグレー変換工程を含み、前記画像記憶手段は、前
    記グレー変換工程で変換された白黒多値画像を記憶する
    ことを特徴とする請求項10記載の画像処理方法。
  12. 【請求項12】 前記明るさ変換工程は、前記白黒多値
    画像の明るさを平均化する変換を行う平均化変換工程を
    有することを特徴とする請求項10記載の画像処理方
    法。
  13. 【請求項13】 前記明るさ変換工程は、前記白黒多値
    画像の明るさに強弱を付ける変換を行う強弱変換工程を
    有することを特徴とする請求項10または請求項12記
    載の画像処理方法。
  14. 【請求項14】 前記明るさ変換工程は、前記白黒多値
    画像を二値データに変換する二値化変換工程と、前記二
    値化変換工程で変換された画像の画素と、該画素の近傍
    の画素とに、ペンによる描画を模したブラシパターンを
    配置するブラシパターン配置工程とを有することを特徴
    とする請求項10または請求項11または請求項12ま
    たは請求項13記載の画像処理方法。
  15. 【請求項15】 前記明るさ変換工程は、前記ブラシパ
    ターン配置工程で配置されるブラシパターンを、与えら
    れた複数のブラシパターンから選択するブラシパターン
    選択工程を有することを特徴とする請求項14記載の画
    像処理方法。
  16. 【請求項16】 前記明るさ変換工程は、前記ブラシパ
    ターン配置工程におけるブラシパターンの配置の際に、
    ある画素に対して、与えられたブラシパターンの各要素
    を配置するか否かを判定する配置判定工程を有すること
    を特徴とする請求項14または請求項15記載の画像処
    理方法。
  17. 【請求項17】 前記配置判定工程において、前記グレ
    ー変換工程で変換された画像の注目画素の明るさと、該
    注目画素に隣接する画素の明るさとの差に基づいて、前
    記ブラシパターン配置工程でのブラシパターンの配置を
    行うことを特徴とする請求項16記載の画像処理方法。
  18. 【請求項18】 前記配置判定工程において、前記グレ
    ー変換工程で変換された画像の各画素の明るさの値に基
    づいて、前記ブラシパターン配置工程でのブラシパター
    ンの配置を行うことを特徴とする請求項16記載の画像
    処理方法。
  19. 【請求項19】 画像記憶手段に記憶された白黒多値画
    像のヒストグラムを作成するヒストグラム作成工程と、 前記画像記憶手段に記憶された白黒多値画像の明るさの
    ピークを検出するピーク検出工程と、 前記ヒストグラム作成工程で作成されたヒストグラム
    と、前記ピーク検出工程で検出された明るさのピークと
    に基づいて、前記白黒多値画像の明るさを変換する明る
    さ変換工程とを具備したことを特徴とする画像処理方法
    を実現するためのコンピュータプログラムを格納し、コ
    ンピュータにより呼び出し可能な記憶媒体。
JP29000696A 1996-10-31 1996-10-31 画像処理方法および装置および記憶媒体 Expired - Fee Related JP3950501B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29000696A JP3950501B2 (ja) 1996-10-31 1996-10-31 画像処理方法および装置および記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29000696A JP3950501B2 (ja) 1996-10-31 1996-10-31 画像処理方法および装置および記憶媒体

Publications (2)

Publication Number Publication Date
JPH10134178A true JPH10134178A (ja) 1998-05-22
JP3950501B2 JP3950501B2 (ja) 2007-08-01

Family

ID=17750567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29000696A Expired - Fee Related JP3950501B2 (ja) 1996-10-31 1996-10-31 画像処理方法および装置および記憶媒体

Country Status (1)

Country Link
JP (1) JP3950501B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000007144A1 (fr) * 1998-07-31 2000-02-10 Seiko Epson Corporation Dispositif de conversion monotone, procede de conversion monotone et milieu sur lequel un programme de conversion monotone est enregistre
US7038810B1 (en) 1998-12-14 2006-05-02 Canon Kabushiki Kaisha Image processing method and apparatus, image processing system, and storage medium
US7203357B2 (en) 2002-09-05 2007-04-10 Sanyo Electric Co., Ltd. Image data processor and image data processing method
US7280258B2 (en) 2001-01-05 2007-10-09 Seiko Epson Corporation Logo data generating system, logo data generating method, and data storage medium
US7283275B2 (en) 2000-12-28 2007-10-16 Seiko Epson Corporation Logo data generating apparatus, logo data generating method, and data storage medium
US7292369B2 (en) 2000-12-28 2007-11-06 Seiko Epson Corporation Logo data generating method and system
US7375844B2 (en) 2000-12-22 2008-05-20 Seiko Epson Corporation Method for generating a print data file, method for storing print data, a data storage medium therefor, and an apparatus for generating a data storage file
US7428074B2 (en) 2000-12-28 2008-09-23 Seiko Epson Corporation Logo data generating apparatus, logo data generating method, and data storage medium
JP2012094052A (ja) * 2010-10-28 2012-05-17 Lapis Semiconductor Co Ltd 指紋認証装置及び指紋認証用プログラム
JP2017139678A (ja) * 2016-02-05 2017-08-10 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
JP2017216003A (ja) * 2017-08-09 2017-12-07 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
JP2018116753A (ja) * 2018-05-08 2018-07-26 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
JP2018116752A (ja) * 2018-05-08 2018-07-26 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000007144A1 (fr) * 1998-07-31 2000-02-10 Seiko Epson Corporation Dispositif de conversion monotone, procede de conversion monotone et milieu sur lequel un programme de conversion monotone est enregistre
US7027088B1 (en) 1998-07-31 2006-04-11 Seiko Epson Corporation Color to monotone conversion apparatus, color to monotone conversion method and a medium recording thereon a color to monotone conversion program
US7038810B1 (en) 1998-12-14 2006-05-02 Canon Kabushiki Kaisha Image processing method and apparatus, image processing system, and storage medium
US7375844B2 (en) 2000-12-22 2008-05-20 Seiko Epson Corporation Method for generating a print data file, method for storing print data, a data storage medium therefor, and an apparatus for generating a data storage file
US7283275B2 (en) 2000-12-28 2007-10-16 Seiko Epson Corporation Logo data generating apparatus, logo data generating method, and data storage medium
US7292369B2 (en) 2000-12-28 2007-11-06 Seiko Epson Corporation Logo data generating method and system
US7428074B2 (en) 2000-12-28 2008-09-23 Seiko Epson Corporation Logo data generating apparatus, logo data generating method, and data storage medium
US8289566B2 (en) 2000-12-28 2012-10-16 Seiko Epson Corporation Logo data generating method, data storage medium recording the logo data generating method, a computer program product containing commands executing the steps of the logo data generating logo data generating method, and a logo data generating system
US7280258B2 (en) 2001-01-05 2007-10-09 Seiko Epson Corporation Logo data generating system, logo data generating method, and data storage medium
US7203357B2 (en) 2002-09-05 2007-04-10 Sanyo Electric Co., Ltd. Image data processor and image data processing method
JP2012094052A (ja) * 2010-10-28 2012-05-17 Lapis Semiconductor Co Ltd 指紋認証装置及び指紋認証用プログラム
US8885895B2 (en) 2010-10-28 2014-11-11 Lapis Semiconductor Co., Ltd. Fingerprint authentication device and computer readable medium
JP2017139678A (ja) * 2016-02-05 2017-08-10 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
US11080831B2 (en) 2016-02-05 2021-08-03 Nec Platforms, Ltd. Image data conversion device, image data conversion method, image data conversion program, POS terminal device, and server
CN111787182B (zh) * 2016-02-05 2022-06-10 Nec平台株式会社 图像数据转换设备、图像数据转换方法、图像数据转换程序、pos终端设备和服务器
CN111787181B (zh) * 2016-02-05 2022-06-10 Nec平台株式会社 图像数据转换设备、图像数据转换方法、图像数据转换程序、pos终端设备和服务器
US11138705B2 (en) 2016-02-05 2021-10-05 Nec Platforms, Ltd. Image data conversion device, image data conversion method, image data conversion program, POS terminal device, and server
CN108476272A (zh) * 2016-02-05 2018-08-31 Nec平台株式会社 图像数据转换设备、图像数据转换方法、图像数据转换程序、pos终端设备和服务器
US10643318B2 (en) 2016-02-05 2020-05-05 Nec Platforms, Ltd. Image data conversion device, image data conversion method, image data conversion program, POS terminal device, and server
CN108476272B (zh) * 2016-02-05 2020-06-09 Nec平台株式会社 图像数据转换设备、图像数据转换方法、pos终端设备和服务器
CN111787182A (zh) * 2016-02-05 2020-10-16 Nec平台株式会社 图像数据转换设备、图像数据转换方法、图像数据转换程序、pos终端设备和服务器
CN111787181A (zh) * 2016-02-05 2020-10-16 Nec平台株式会社 图像数据转换设备、图像数据转换方法、图像数据转换程序、pos终端设备和服务器
WO2017134717A1 (ja) * 2016-02-05 2017-08-10 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
JP2017216003A (ja) * 2017-08-09 2017-12-07 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
JP2018116752A (ja) * 2018-05-08 2018-07-26 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
JP2018116753A (ja) * 2018-05-08 2018-07-26 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ

Also Published As

Publication number Publication date
JP3950501B2 (ja) 2007-08-01

Similar Documents

Publication Publication Date Title
EP0586082B1 (en) Palettized fuzzy mask
KR100369909B1 (ko) 원영상을수정하는장치및방법
US7817159B2 (en) Digital painting
EP0740270B1 (en) Image output device
US7064864B2 (en) Method and apparatus for compressing reproducible color gamut
JPH10134178A (ja) 画像処理方法および装置および記憶媒体
JP5318587B2 (ja) グラデーション作成方法、プログラムおよび装置
KR20030005277A (ko) 형상 프로세서
EP0369702A2 (en) Image processing apparatus and method
JP5939154B2 (ja) 画像処理装置およびコンピュータプログラム
JPH07283942A (ja) イメージ印字方法
JP2006031688A (ja) 画像加工装置、画像加工方法及び画像加工プログラム
US6744440B1 (en) Image processing apparatus, recording medium, and program
JP4146506B1 (ja) モザイク画像生成装置、方法及びプログラム
US5682505A (en) Method and apparatus for generating an image
CN111338627B (zh) 前端网页主题颜色调节方法及装置
Rizani Image quality improvement using image processing method image brightness contrast and image sharpening
KR100275056B1 (ko) 데이타 처리 시스템 및 화상 축소 방법
JP4343315B2 (ja) 不透明度に基づいて干渉されるテクスチュア
JP2973710B2 (ja) 限定色決定方法及び限定色決定装置
CN116578798B (zh) 一种页面对比度自动校准优化的方法
KR970049862A (ko) 화상 처리를 이용한 화상 생성 장치 및 그 방법
US6278438B1 (en) Method of displaying digital photograph based bitmaps
JP2891318B2 (ja) ビットマップフォント作成方法
JP3585036B2 (ja) 画像生成方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070423

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110427

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130427

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130427

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140427

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees