JP4112187B2 - 画像処理方法および装置並びにプログラム - Google Patents

画像処理方法および装置並びにプログラム Download PDF

Info

Publication number
JP4112187B2
JP4112187B2 JP2001056779A JP2001056779A JP4112187B2 JP 4112187 B2 JP4112187 B2 JP 4112187B2 JP 2001056779 A JP2001056779 A JP 2001056779A JP 2001056779 A JP2001056779 A JP 2001056779A JP 4112187 B2 JP4112187 B2 JP 4112187B2
Authority
JP
Japan
Prior art keywords
image data
image processing
capacity
input
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001056779A
Other languages
English (en)
Other versions
JP2002262058A (ja
Inventor
隆志 津江
直樹 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2001056779A priority Critical patent/JP4112187B2/ja
Priority to EP02002991A priority patent/EP1237122A3/en
Priority to US10/078,499 priority patent/US20020122198A1/en
Publication of JP2002262058A publication Critical patent/JP2002262058A/ja
Application granted granted Critical
Publication of JP4112187B2 publication Critical patent/JP4112187B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像データに対して拡大縮小処理、色変換処理、シャープネス強調処理、階調処理等の画像処理を施して処理済み画像データを得る画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラム関するものである。
【0002】
【従来の技術】
デジタルカメラ等の撮像デバイスにより取得された画像データや、写真フイルムに記録された画像をスキャナにより読取ることにより得られた画像データを、プリンタやモニタのような出力デバイスを用いて再生するシステムが知られている。このようなシステムにおいては、再生される画像の画質を向上させるために、画像データに対して、拡大縮小処理、シャープネス強調処理、階調補正処理、回転等様々な画像処理が施される。
【0003】
図8は従来の画像処理の概略を示す概略ブロック図である。なお、図8に示す画像処理は、画像データS100により表される画像の解像度を300dpiから600dpiに変換する解像度変換処理とし、解像度変換された処理済み画像データS110をプリント出力するものとする。また、画像処理は、パーソナルコンピュータ(パソコンとする)において行われるものとする。
【0004】
画像処理が施される画像データS100は、多様な入力装置において得られることから、JPEG形式、ビットマップ形式、ウィンドウズのようなOSが標準で扱う画像形式であるDIB形式、あるいは画像処理を行うための標準ファイル形式であるRAW形式等様々なファイル形式のものが存在する。ここで、DIB形式は画像データの左下隅を読み出しの起点とし、RAW形式は画像データの左上隅を画像データの読み出しの起点とするものである。画像処理を行う際にはこのような種々のファイル形式の画像データS100がパソコンに入力される。なお、ここでは画像データS100はA4サイズの画像を300dpiの解像度で再現可能なものとし、データ容量を25MBとする。まず、画像入力処理において画像データS100の入力を受け付け、入力された画像データS100をDIB形式の画像データS101に変換する画像入力処理を行う。なお、入力される画像データがDIB形式であればこの変換は必要ない。これにより、DIB形式の画像データS101がメモリ上に展開される。なお、図8においてはメモリに展開された画像データを破線で示す。
【0005】
次いで、DIB形式の画像データS101を画像処理の標準ファイル形式であるRAW形式の画像データS102に変換するためのDIB−RAW変換を行い、RAW形式の画像データS102を得る。そして、このRAW形式の画像データS102に対して解像度変換処理を施して処理済みの画像データS103を得る。なお、処理済みの画像データS103は、画像データS100の4倍の100MBの容量を有するものとなる。そして、この処理済みの画像データS103を画像出力処理が扱うファイル形式であるDIB形式に変換するためのRAW−DIB変換を行い、DIB形式の画像データS104を得る。
【0006】
次いで、画像データS104をプリンタに適したファイル形式に変換する画像出力処理が行われる。ここで、プリンタは多様な機種(図8においてはプリンタA〜C)が使用されることから、画像出力処理は、OSに標準のAPI(Application Program Interface)およびプリンタA〜Cのドライバにより、プリンタA〜Cの特性に応じて行われる。
【0007】
なお、パソコンによる解像度変換処理ではなく、プリンタにおいて解像度変換処理を行う場合があるが、この場合もプリンタにおいて上記DIB−RAW変換、拡大縮小処理およびRAW−DIB変換が行われて処理済み画像データS110が得られる。
【0008】
【発明が解決しようとする課題】
上述した解像度変換処理等の画像処理は、高画質の画像を得るためには非常に多くの演算を実行する必要があることから、処理に長時間を要する。とくに一般ユーザ向けのパソコンでは、メモリ容量に限界があることから、高画質の処理済み画像を得るための画像処理を行うと、演算に非常に長い時間を要することとなる。
【0009】
また、プリンタ等の出力デバイスのドライバを用いて画像処理を行う場合、出力デバイス毎に異なるドライバを使用するが、得られる画質がドライバ毎に異なることから、出力デバイスに拘わらす一定の画質を有する処理済み画像を得ることは困難であった。また、高解像の画像を再生可能な大容量の画像データについては、出力デバイスに一括して出力することができないことから、分割して出力する必要がある。しかしながら、画像データを分割するためには、大量のテンポラリーファイルをパソコンのハードディスク上に大量に生成させる必要があるため、パソコンのパーフォーマンスが大幅に低下し、処理に長時間を要するものとなる。
【0010】
さらに、画像処理を施す画像データは、その画像データが生成されるデバイスに応じて多種多様な形式のものが存在するため、画像処理を施すには、入力された画像データを画像処理に標準のRAW形式の画像データに変換する必要がある。しかしながら、このような変換を行うためには、画像データをメモリに一時的に記憶する必要があるため、画像データの容量が大きいと多量のメモリを消費し、変換処理に長時間を要するものとなってしまう。とくに、一般ユーザのパソコンはメモリ容量がそれほど多くないため、画像処理を行う場合にテンポラリーファイルが大量に生成され、さらに処理速度が低下するという問題がある。
【0011】
一方、簡易な演算による画像処理を行えば処理速度を向上させることも可能であるが、その場合は高度な演算による画像処理を行う場合と比較して、処理済み画像の画質が劣化してしまうという問題がある。
【0012】
本発明は上記事情に鑑みなされたものであり、多様な画像データに対して高画質な処理済み画像を得る画像処理を高速に施すことができる画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【0013】
【課題を解決するための手段】
本発明による画像処理方法は、入力画像データに対して画像処理を施して出力する画像処理方法において、
前記入力画像データを前記画像処理の特性に応じた容量の小容量画像データに順次分割し、
該小容量画像データに対して順次前記画像処理を施して処理済み小容量画像データを順次取得し、
該処理済み小容量画像データを出力先に順次出力することを特徴とするものである。
【0014】
「入力画像データ」は、メモリカードやFD、CD−ROM等の記録媒体に記録されたもの、スキャナやデジタルカメラ等の入力デバイスから直接入力されるもの、本発明を実施するための装置とネットワーク接続された外部装置から入力されるもの等、どのようなものをも用いることができる。なお、入力デバイスや外部装置からの画像データに対して画像処理を施す場合には、画像データはこれらから直接入力されるものであってもよく、入力デバイスあるいは外部装置のドライバを制御することにより入力されるものであってもよい。
【0015】
「画像処理の特性に応じた容量」とは、入力画像データにより表される画像のある1画素に対して処理を施すために必要な容量のことをいう。例えば、画像処理が解像度変換処理であり、解像度変換後の1画素の画素値を求めるために入力画像データの4ライン分のデータが必要な場合には、「画像処理の特性に応じた容量」としては入力画像データの4ライン分のデータ容量となる。なお、小容量データの容量は、本発明を実施する装置(具体的にはパソコン)の処理能力により異なるものである。また、本発明においては、複数種類の画像処理を行うようにしてもよく、この場合、パイプライン的に、複数の画像処理を連続して行うようにすればよい。
【0016】
「順次分割する」とは、入力画像データの全体に対して画像処理が施されるように、入力画像データにより表される入力画像を複数の小領域に分割し、それぞれの小領域の画像を表す画像データを小容量画像データとして取得することを意味する。
【0017】
「順次画像処理を施す」とは、入力画像データを順次分割することにより取得された小容量画像データに対して、取得された順に画像処理を施すことを意味する。
【0018】
処理済み小容量画像データの出力先としては、メモリカードやFD、CD−R等の記録媒体、プリンタ、ディスプレイ、ネットワーク接続された外部装置等いかなるものをも適用することができる。
【0019】
なお、本発明による画像処理方法においては、前記入力画像データのアクセス特性にも応じて前記入力画像データを前記小容量画像データに分割することが好ましい。
【0020】
ここで、入力画像データは、そのファイル形式に応じて、データ単位(すなわちライン単位で画像データが形成されているか、ブロック単位で画像データが形成されているか)、圧縮/非圧縮、データの読み出しの起点(DIB形式のような左下隅か、RAW形式のように左上隅か)等が異なる。「入力画像データのアクセス特性」とは、入力画像データのファイル形式に応じたデータ単位、圧縮の有無、データの読み出しの起点等を表すものである。
【0021】
「入力画像データのアクセス特性にも応じて入力画像データを小容量画像データに分割する」とは、入力画像データを入力画像データのアクセス特性および画像処理の特性に応じた容量の小容量画像データに分割することを意味する。例えば、入力画像データの読み出しの起点が左上隅である場合には、左上隅からデータから順に画像処理の特性に応じた容量の小容量画像データを取得すればよい。また、入力画像データのアクセス特性がライン単位であり、画像処理の特性が8×8画素で画像処理を行うというものである場合、8ラインが小容量画像データの容量となる。さらに、入力画像データのアクセス特性が8×8画素のブロック単位であり、画像処理の特性が4ラインを用いて画像処理を行うというものである場合、8ラインが小容量画像データの容量となる。なお、装置の処理能力に余裕がある場合には、小容量画像データの容量をこれよりも大きくすることができる。
【0022】
また、本発明による画像処理方法においては、前記入力画像データをキャッシュし、
該キャッシュされた入力画像データを前記小容量画像データに分割することが好ましい。
【0023】
さらに、本発明による画像処理方法においては、前記処理済み小容量画像データを順次キャッシュし、
該キャッシュされた処理済み小容量画像データから、前記出力先の特性に応じた出力データを出力することが好ましい。
【0024】
「出力先の特性」とは、出力先において一度に処理可能なデータ容量、出力先が扱う画像データの形式(DIB形式、RAW形式等)、1画素当たりのチャンネル数(RGB3チャンネルか、RGB+透明度を表すチャンネルαの4チャンネルか等)、画像データの形式に応じた余白の有無(画素数が必ず4の倍数となるファイル形式の画像データにおいては画像部分のみで4の倍数とならない場合には、余白を設けて全画素数が4の倍数となるようにしている)等を表すものである。
【0025】
また、本発明による画像処理方法においては、前記画像処理は、前記入力画像データの特性および/または前記出力先の特性に応じた画像処理であることが好ましい。
【0026】
「入力画像データの特性」とは、画像データの形式(DIB形式、RAW形式等)、1画素当たりのチャンネル数、画像データの形式に応じた余白の有無等を表すものである。
【0027】
「入力画像データの特性に応じて画像処理を施す」とは、入力画像データがどのような特性であっても、その特性に拘わらず一律の画像処理を施すことを意味する。例えば、画像データの形式によっては、画像の読み出しの起点が左上隅あるいは左下隅のように異なるため、この場合は、小容量画像データの読み出しの起点から順に画像処理が施される。また、1画素当たりのチャンネル数によっては、各画素についてのデータの取得の順序が異なるものとなる。例えば、RGB3チャンネルの場合には、各画素においては、R,G,B,R,G,B…の順序でデータが取得されるが、RGBα4チャンネルの場合には、R,G,B,α,R,G,B,α…の順序でデータが取得される。ここで、画像処理に用いられるのは、R,G,Bのチャンネルのみであるため、αチャンネルについては画像処理を施す必要はない。したがって、入力画像データがRGBαの4チャンネルの画像データの場合には、αチャンネルをスキップさせるように画像処理が施される。さらに、画像中に余白が存在する場合、その余白については画像処理を行わないため、余白の部分をスキップして画像処理が行われる。
【0028】
「出力先の特性に応じて画像処理を施す」とは、出力先が処理可能な処理済み小容量画像データが得られるように画像処理を施すことを意味する。例えば、出力先によっては、出力の基準位置が画像の左上隅あるいは左下隅のように異なるため、この場合は、基準位置を開始位置として画像処理が行われる。また、出力先に応じて1画素当たりのチャンネル数が異なる場合がある。例えば、画像処理においてはRGB3チャンネルを用いて処理が行われるが、出力先においてはRGBα4チャンネルの情報が必要な場合がある。したがって、この場合には、αチャンネルの情報を加える処理が行われる。さらに、出力先が扱うデータの形式が例えば4の倍数の画素数である必要がある場合、出力される処理済み画像データの画素数を4の倍数とする必要がある。したがって、この場合には処理済み画像データにより表される画像の縁部に余白を加える処理が行われて画素数が4の倍数とされる。
【0029】
さらに、本発明による画像処理方法においては、前記入力画像データの入力先の特性および前記出力先の出力特性に基づいて、前記出力先に基づく画像処理が有効であるか否かを判断し、
前記出力先に基づく画像処理が有効な場合は、前記画像処理に代えて該出力先に基づく画像処理を行うことが好ましい。
【0030】
「入力画像データの入力先の特性」とは、入力画像データが生成されたデバイスのメーカー、機種、解像度、有効画素数、色空間等を意味する。
【0031】
「出力先の出力特性」とは、処理済み画像データを出力するデバイスのメーカー、機種、解像度、有効画素数、色空間、画像処理能力、画像処理特性等を意味する。
【0032】
「出力先に基づく画像処理」とは、プリンタ等の出力先のデバイスのドライバが実行する画像処理を意味する。ここで、入力画像データを生成したデバイスの特性と出力先の出力特性とが一致する場合には、出力先に基づく画像処理を行った方が高画質の画像を得られる場合が多い。したがって、「出力先に基づく画像処理が有効である」とは、出力先に基づく画像処理を行うことにより、一層高画質の画像を再生可能な小容量処理済み画像データが得られることを意味する。そして、これにより、より高画質の画像を再現可能な処理済み画像データを得ることができる。
【0033】
本発明による画像処理装置は、入力画像データに対して画像処理を施して出力する画像処理装置において、
前記入力画像データを前記画像処理の特性に応じた容量の小容量画像データに順次分割する入力手段と、
該小容量画像データに対して順次前記画像処理を施して処理済み小容量画像データを順次取得する処理手段と、
該処理済み小容量画像データを出力先に順次出力する出力手段とを備えたことを特徴とするものである。
【0034】
なお、本発明による画像処理装置においては、前記入力手段は、前記入力画像データのアクセス特性にも応じて該入力画像データを前記小容量画像データに分割する手段であることが好ましい。
【0035】
また、本発明による画像処理装置においては、前記入力画像データをキャッシュする入力キャッシュ手段をさらに備えるものとし、
前記入力手段は、該キャッシュされた入力画像データを前記小容量画像データに分割する手段であることが好ましい。
【0036】
さらに、本発明による画像処理装置においては、前記処理済み小容量画像データを順次キャッシュする出力キャッシュ手段をさらに備えるものとし、
前記出力手段は、該キャッシュされた処理済み小容量画像データから、前記出力先の特性に応じた出力データを出力する手段とすることが好ましい。
【0037】
また、本発明による画像処理装置においては、前記処理手段は、前記入力画像データの特性および/または前記出力先の特性に応じた画像処理を行う手段であることが好ましい。
【0038】
さらに、本発明による画像処理装置においては、前記入力画像データの入力先の特性および前記出力先の出力特性に基づいて、前記出力先に基づく画像処理が有効であるか否かを判断し、
前記出力先に基づく画像処理が有効な場合は、前記画像処理に代えて該出力先に基づく画像処理を行うよう前記処理手段を制御する制御手段をさらに備えることが好ましい。
【0039】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【0040】
【発明の効果】
本発明によれば、画像処理の特性に応じた容量の小容量画像データに入力画像データを順次分割し、小容量画像データに対して順次画像処理を施して処理済み小容量画像データを得、これを出力するようにしたものである。このため、本発明を実施するための装置(例えばパソコン)のメモリ容量が少なくても、従来のように画像の全体に対して一度に画像処理を施す場合と比較して、高画質の処理済み画像を得ることが可能な画像処理を高速に行うことができる。また、小容量画像データを順次取得して画像処理を施して出力しているため、大量なテンポラリーファイルの発生を防止でき、本発明を実施する装置のパフォーマンスの低下を防止することができる。さらに、従来は画像処理を行うための標準形式の画像データへの変換が必要な場合には、変換時に多量のメモリを消費し、さらに変換のための処理時間を必要としていたが、本発明によれば、小容量画像データに対して画像処理を行っているため、画像データを変換する必要がある場合にも多量のメモリを必要としない。また、小容量画像データに分割すれば、画像データを変換する必要がある場合にも、画像データの変換と画像処理とを並列させて実行することができるため、画像データの全体を変換した後に画像処理を行う場合と比較して、処理時間を短縮することができる。
【0041】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【0042】
図1は本発明の第1の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図である。図1に示すように、第1の実施形態による画像出力システムは、メモリカード、FD、CD−R等のメディア1に記録された画像データS0に対して画像処理を施すためのものであり、画像データS0に画像処理を施して処理済み画像データS1を得る画像処理装置としてのパソコン2と、処理済み画像データS1をプリント出力するプリンタ3とを備える。
【0043】
パソコン2は、CPU、ハードディスク、メモリ、キーボードやマウス等の入力手段、メディアから画像データS0を読み出す読出装置、およびプリンタとのインターフェースを備え、画像処理を実行するためのアプリケーションソフトおよびプリンタドライバがインストールされてなるものである。なお、画像処理を実行するためのアプリケーションソフトは、画像入力処理を行うアプリケーション、画像処理を行うアプリケーション、画像出力処理を行うアプリケーションおよびこれらのアプリケーションを動作させるための上位アプリケーションとからなる。また、パソコン2には3台のプリンタ3A〜3Cが接続されているものとし、これらに対応してプリンタドライバA〜Cがインストールされているものとする。
【0044】
また、第1の実施形態においては、画像処理として拡大縮小処理を行うものとする。この拡大縮小処理は、画像データS0により表される画像上にXY座標を設定し、まずX方向についての拡大縮小処理を行い、続いてY方向についての拡大縮小処理を行うものとする。なお、X方向についての拡大縮小処理は例えばm1ライン分同時に行われ、Y方向についての拡大縮小処理はm2ライン分のデータを用いて行われるものとする。
【0045】
次いで、第1の実施形態の動作について説明する。図2は第1の実施形態の動作を示すフローチャートである。まず、メディア1に記録された画像データS0を読出装置において読み出す(ステップS1)。ここで、画像データS0にはJPEG形式、ビットマップ形式、RAW形式等そのアクセス特性が異なるものがあるため、アクセス特性および後述する画像処理の特性に応じた画像入力処理が行われる(ステップS2)。ここで、画像データS0は、そのファイル形式に応じてデータ単位(すなわちライン単位で画像データS0が形成されているか、ブロック単位で画像データS0が形成されているか)、圧縮/非圧縮、あるいはデータの読み出しの起点(DIB形式のような左下隅か、RAW形式のように左上隅か)等が異なる。画像データS0のアクセス特性とは、画像データS0のファイル形式に応じたデータ単位、圧縮の有無、データの読み出しの起点等を表すものである。
【0046】
ここで、例えば、画像データS0の読み出しの起点が左上隅である場合には、左上隅からデータを取得するよう画像入力処理が行われる。また、画像データS0のアクセス特性がライン単位である場合、ライン単位でデータを取得するよう画像入力処理が行われる。さらに、画像データS0のアクセス特性が8×8画素のブロック単位である場合、8×8画素のブロック単位でデータを取得するよう画像入力処理が行われる。また、画像データS0がJPEG形式であれば解凍する画像入力処理が行われる。
【0047】
したがって、画像入力処理には、画像データS0のアクセス特性に応じた処理モジュールが用意されている。具体的には、JPEG形式の画像データS0のアクセス特性に応じた処理モジュール、ビットマップ形式の画像データS0のアクセス特性に応じた処理モジュール、RAW形式の画像データのアクセス特性に応じた処理モジュール等が用意され、入力される画像データS0のアクセス特性に応じた処理モジュールが上位アプリケーションにおいて選択されて画像入力処理が行われる。
【0048】
本実施形態においては、画像データS0のアクセス特性が1ライン単位であり、画像データS0に対してX方向に延在する1ライン毎に画像入力処理が行われるものとする。これにより、先読み用キャッシュバッファB1にnライン分(n>m1)のデータが一時的に保管される(ステップS3)。この際、入力される画像データS0のアクセス特性に応じて順次先読み用キャッシュバッファB1にデータが保管される。例えば、RAW形式の画像データは画像の左下隅が読み出し起点となるため、画像の左下隅の画素からデータが読み出されて先読み用キャッシュバッファB1に保管される。
【0049】
次いで、画像処理において、先読みキャッシュバッファB1からX方向拡大縮小処理に必要なm1ライン分の画像データSm1(小容量画像データ)が読み出され、この画像データSm1に対してX方向に拡大縮小処理が施されて(ステップS4)、処理が施された画像データSm1が画像シフトバッファB2に一時的に保管される(ステップS5)。画像シフトバッファB2にY方向拡大縮小処理に必要なm2ライン分のデータが保管されると、m2ライン分の画像データSm2が読み出されてY方向拡大縮小処理が施される(ステップS6)。
【0050】
なお、画像処理においては、画像データS0のファイル形式、1画素当たりのチャンネル数、余白の有無に応じた処理が行われる。例えば、画像データの形式によっては、画像の読み出しの起点が左上隅あるいは左下隅のように異なるため、この場合は、先読み用キャッシュバッファB1に保管されたデータの読み出しの起点から画像処理が施される。また、1画素当たりのチャンネル数によっては、各画素についてのデータの取得の順序が異なるものとなる。例えば、RGB3チャンネルの場合には、各画素においては、R,G,B,R,G,B…の順序でデータが取得されるが、RGBα4チャンネルの場合には、R,G,B,α,R,G,B,α…の順序でデータが取得される。ここで、画像処理に用いられるのは、R,G,Bのチャンネルのみであるため、αチャンネルについては画像処理を施す必要はない。したがって、画像データS0がRGBαの4チャンネルの画像データの場合には、αチャンネルをスキップさせるように画像処理が施される。さらに、画像中に余白が存在する場合、その余白については画像処理を行わないため、余白の部分をスキップしてデータに対して画像処理を施せばよい。
【0051】
なお、画像処理においては、プリンタ3の特性に応じて画像処理を施してもよい。例えば、出力する画像の基準位置はプリンタ3の種類に応じて画像の左上隅あるいは左下隅のように異なるため、基準位置を画像処理の開始位置とすればよい。また、プリンタ3の種類に応じて1画素当たりのチャンネル数が異なる場合もある。例えば、画像処理においてはRGB3チャンネルを用いて処理が行われるが、ある種類のプリンタ3においてはRGBα4チャンネルの情報が必要となる場合がある。したがって、この場合には、αチャンネルの情報を加える処理を行えばよい。さらに、プリンタ3が扱うデータの形式が例えば4の倍数の画素数である必要がある場合、出力画像の画素数を4の倍数とする必要がある。したがって、この場合には処理済み画像データS1により表される画像の縁部に余白を加える処理を行って処理済み画像データS1の画素数を4の倍数とすればよい。
【0052】
処理が施されたデータは1ライン毎に画像出力処理が施される(ステップS7)。この画像出力処理は、OSに標準のAPIおよびいずれかのプリンタA〜Cに対応したプリンタドライバを用いてプリンタに適合した形式の処理済み画像データS1となるようにY方向拡大縮小処理が施されたデータを変換する処理である。したがって、画像出力処理には、プリンタドライバAを用いた処理モジュール、プリンタドライバBを用いた処理モジュール、およびプリンタドライバCを用いた処理モジュールが存在し、上位アプリケーションにおいて処理済み画像データS1を出力するプリンタに応じた処理モジュールが選択されて画像出力処理が行われる。画像出力処理が施された画像データS1′は、画像バッファB3に一時的に保管される(ステップS8)。
【0053】
そして、出力するプリンタに対応したライン数の画像データS1′が画像バッファB3に保管されると、パソコン2のOSに標準のAPIおよびプリンタのドライバによりpライン単位(プリンタ3において処理可能なライン単位)で処理済み画像データS1をプリンタに入力するとともにプリント出力が行われ(ステップS9)、処理を終了する。
【0054】
なお、本実施形態においては、画像入力処理、画像処理および画像出力処理を並列に行うことも可能である。
【0055】
このように、第1の実施形態においては、画像データS0の全体ではなく、画像データS0を小容量の画像データに順次分割して画像処理を施すようにしたため、パソコン2のメモリ容量が少なくても、従来のように画像の全体に対して一度に画像処理を施す場合と比較して、高画質の処理済み画像を得ることが可能な画像処理を高速に行うことができる。また、小容量の画像データSm1,Sm2を順次取得して画像処理を施して出力しているため、大量なテンポラリーファイルの発生を防止でき、パソコン2のパフォーマンスの低下を防止することができる。さらに、従来は画像処理を行うための標準形式の画像データへの変換が必要な場合には、変換時に多量のメモリを消費し、さらに変換のための処理時間を必要としていたが、本実施形態によれば、小容量の画像データSm1,Sm2に対して画像処理を行っているため、画像データを変換する必要がある場合にも多量のメモリを必要としない。また、画像データS0を変換する必要がある場合にも、画像データS0の変換と画像処理とを並列させて実行することができるため、画像データの全体を変換した後に画像処理を行う場合と比較して、処理時間を短縮することができる。
【0056】
次いで、本発明の第2の実施形態について説明する。図3は本発明の第2の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図である。図3に示すように、第2の実施形態による画像出力システムは、スキャナ5Aやデジタルカメラ5B等の入力デバイス5において取得された画像データS0に対して画像処理を施し、処理済み画像データS1を画像ファイルとしてメディア6に記録するようにした点が第1の実施形態と異なるものである。なお、第2の実施形態においては、画像処理は色空間変換処理および解像度変換処理を行うものとする。
【0057】
第2の実施形態においては、パソコン2への画像データS0の入力は、パソコン2のOSに標準のAPIおよび入力デバイス5のドライバにより行われる。なお、入力デバイス5に応じてTWAINドライバ、SCSIドライバおよびUSBドライバからいずれかのドライバが選択されて用いられる。入力された画像データS0は上記第1の実施形態と同様に画像入力処理が行われ、色空間変換処理および解像度変換処理が施され、さらに画像出力処理が施されてメディア6に記録される。なお、ドライバを介することなく直接パソコン2に画像データS0を入力してもよい。
【0058】
次いで、本発明の第3の実施形態について説明する。図4は本発明の第3に実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図である。図4に示すように、第3の実施形態による画像出力システムは、メディア1に記録された画像データS0に対して画像処理を施し、処理済み画像データS1をディスプレイ7に表示するようにした点が第1の実施形態と異なるものである。なお、第3の実施形態においては、画像処理は解像度変換処理および色補正処理を行うものとする。また、パソコン2には3台のディスプレイ7A〜7Cが接続され、各ディスプレイ7A〜7Cに対応したドライバA〜Cがインストールされているものとする。
【0059】
第3の実施形態においては、第1の実施形態と同様に画像入力処理が行われ、解像度変換処理および色補正処理が行われて、画像出力処理が行われる。さらに、パソコン2のOSに標準のAPIおよびディスプレイ7のドライバによりpライン単位で処理済み画像データS1をいずれかのディスプレイ7A〜7Cに入力することにより処理済み画像データS1が表示されることとなる。
【0060】
次いで、本発明の第4の実施形態について説明する。図5は本発明の第4の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図である。図5に示すように、第4の実施形態による画像出力システムは、パソコン2とネットワーク9を介して接続されたサーバ8から取得された画像データS0に対して画像処理を施してプリンタ3からプリント出力するようにした点が第1の実施形態と異なるものである。なお、第4の実施形態においては、画像処理は色空間変換処理および解像度変換処理を行うものとする。また、パソコン2には第1の実施形態と同様に3台のプリンタ3A〜3Cが接続されているものとする。
【0061】
第4の実施形態においては、パソコン2への画像データS0の入力は、パソコン2のOSに標準のAPIおよびネットワークドライバにより行われる。入力された画像データS0は画像入力処理が行われるが、この際、ネットワーク9の負荷、プロトコルあるいはパケットサイズ等に応じた画像入力処理が行われる。次いで、色空間変換処理および解像度変換処理が行われ、さらに第1の実施形態と同様に画像出力処理が行われて、さらにパソコン2のOSに標準のAPIおよびプリンタ3のドライバによりpライン単位で画像データをいずれかのプリンタ3A〜3Cに入力することにより処理済み画像データS1がプリント出力されることとなる。
【0062】
次いで、本発明の第5の実施形態について説明する。図6は本発明の第5に実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図である。図6に示すように、第5の実施形態による画像出力システムは、スキャナ5Aやデジタルカメラ5B等の入力デバイス5において取得された画像データS0に対して画像処理を施し、ネットワーク9を介してサーバ8に処理済み画像データS1を出力するようにした点が第1の実施形態と異なるものである。なお、第4の実施形態においては、画像処理は色空間変換処理および解像度変換処理を行うものとする。
【0063】
第5の実施形態においては、パソコン2への画像データS0の入力は、パソコン2のOSに標準のAPIおよび入力デバイス5のドライバ(TWAINドライバ、SCSIドライバ、USBドライバ)により行われる。入力された画像データS0は上記第1の実施形態と同様に画像入力処理が行われる。次いで、色空間変換処理および解像度変換処理が施され、さらに画像出力処理が施される。そして、パソコン2のOSに標準のAPIおよびネットワークドライバにより、処理済み画像データS1がネットワーク9を経由してサーバ8に入力される。
【0064】
なお、上記第1から第5の実施形態においては、画像データS0の入力先として、メディア1、入力デバイス5、サーバ8を、出力先としてプリンタ3、メディア6、ディスプレイ7、サーバ8を用いているが、これに限定されるものではなく、任意のデバイスにおいて生成された、あるいは保管された画像データS0に対して画像処理を施し、処理済み画像データS1を何らかの出力先に出力するものであれば、本発明を適用できる。また、入力先および出力先の組み合わせとしても、上記実施形態に限定されるものではない。
【0065】
さらに、上記第1から第5の実施形態においては、先読み用キャッシュバッファB1および画像バッファB3を用いて、画像データS0および画像出力処理が出力した画像データを一時的に保管しているが、これらのバッファB1,B3を設けることなく処理を行うことも可能である。この場合、画像入力処理が施された画像データS0は順次画像処理が施され、さらに順次画像出力処理が施されて出力されることとなる。
【0066】
また、上記実施形態においては、パソコン2にインストールされたアプリケーションにおいて画像データS0に対して画像処理を施しているが、画像データS0の入力先の特性(入力画像データを生成したデバイスのメーカー、機種、解像度、有効画素数、色空間等)および出力先の特性(処理済み画像データを出力するデバイスのメーカー、機種、解像度、有効画素数、色空間、画像処理能力、画像処理特性等)に基づいて、出力先に基づく画像処理が有効であるか否かを判断し、有効である場合には、出力先に基づく画像処理を行うことが好ましい。以下、これを第6の実施形態として説明する。なお、第6の実施形態においては、第1の実施形態と同様に、画像データS0はメディア1に記録されており、処理済み画像データS1の出力先はプリンタ3とする。したがって、第6の実施形態における画像処理システムは第1の実施形態における画像処理システムと同一の構成を有する。
【0067】
次いで、第6の実施形態の動作について説明する。図7は第6の実施形態の動作を示すフローチャートである。なお、第6の実施形態においては、画像データS0が生成された入力デバイスのメーカーが既知であり、入力デバイスのメーカーおよび3台のプリンタ3A〜3Cのうち、プリント出力を行うプリンタのメーカーに基づいて、プリンタドライバA〜Cにおいて画像処理を行うか、パソコン2にインストールされたアプリケーションにおいて画像処理を行うかを判断するようにしたものである。
【0068】
まず、パソコン2にインストールされた上位アプリケーションにおいて、入力される画像データS0が生成されたデバイスのメーカーおよびプリント出力を行うプリンタのメーカーが比較される(ステップS11)。そして、メーカーが同一であるか否かが判断され(ステップS12)、メーカーが同一である場合には、プリンタドライバによる画像処理を行うようにパソコン2を設定する(ステップS13)。一方、メーカーが異なる場合には、アプリケーションによる画像処理を行うようにパソコン2を設定する(ステップS14)。
【0069】
そして、ステップS15からステップS23において、第1の実施形態のステップS1〜ステップS9と同様に画像入力処理、画像処理および画像出力処理を行い、処理を終了する。なお、ステップS12が肯定された場合は、ステップS18およびステップS20の処理はプリンタドライバにより行われ、ステップS12が否定された場合はステップS18およびステップS20の処理はアプリケーションにより行われる。
【0070】
ここで、画像データS0を生成した入力デバイスの特性(ここではメーカー)と出力先の出力特性(メーカー)とが一致する場合には、出力先に基づく画像処理(プリンタドライバによる画像処理)を行った方が高画質の画像を得られる場合が多い。したがって、ステップS12が肯定された場合には、プリンタドライバによる画像処理を行うことにより、一層高画質の画像を再生可能な小容量処理済み画像データが得られることとなる。
【0071】
なお、上記各実施形態においては、パソコン2に画像入力処理、画像処理および画像出力処理を行うアプリケーションをインストールして各処理を行っているが、画像入力処理、画像処理および画像出力処理を行うハードウェア(すなわち、画像入力手段、画像処理手段および画像出力手段)を設け、各手段において画像入力処理、画像処理および画像出力処理を行うようにしてもよい。
【図面の簡単な説明】
【図1】本発明の第1の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図
【図2】第1の実施形態の動作を示すフローチャート
【図3】本発明の第2の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図
【図4】本発明の第3の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図
【図5】本発明の第4の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図
【図6】本発明の第5の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図
【図7】本発明の第6の実施形態において行われる処理を示すフローチャート
【図8】従来の画像処理装置の構成を示す概略ブロック図
【符号の説明】
1,6 メディア
2 パソコン
3 プリンタ
5 入力デバイス
7 ディスプレイ
8 サーバ
9 ネットワーク

Claims (15)

  1. 入力画像データに対して画像処理を施して出力する画像処理方法において、
    前記入力画像データを前記画像処理の特性に応じた容量の小容量画像データに順次分割し、
    該小容量画像データに対して順次前記画像処理を施して処理済み小容量画像データを順次取得し、
    該処理済み小容量画像データを出力先に順次出力するに際し、
    前記入力画像データの入力先の特性および前記出力先の出力特性に基づいて、前記出力先に基づく画像処理が有効であるか否かを判断し、
    前記出力先に基づく画像処理が有効な場合は、前記画像処理に代えて該出力先に基づく画像処理を行うことを特徴とする画像処理方法。
  2. 前記入力画像データのアクセス特性にも応じて該入力画像データを前記小容量画像データに分割することを特徴とする請求項1記載の画像処理方法。
  3. 前記入力画像データをキャッシュし、
    該キャッシュされた入力画像データを前記小容量画像データに分割することを特徴とする請求項1または2記載の画像処理方法。
  4. 前記処理済み小容量画像データを順次キャッシュし、
    該キャッシュされた処理済み小容量画像データから、前記出力先の特性に応じた出力データを出力することを特徴とする請求項1から3のいずれか1項記載の画像処理方法。
  5. 前記画像処理は、前記入力画像データの特性および/または前記出力先の特性に応じた画像処理であることを特徴とする請求項1から4のいずれか1項記載の画像処理方法。
  6. 入力画像データに対して画像処理を施して出力する画像処理装置において、
    前記入力画像データを前記画像処理の特性に応じた容量の小容量画像データに順次分割する入力手段と、
    該小容量画像データに対して順次前記画像処理を施して処理済み小容量画像データを順次取得する処理手段と、
    該処理済み小容量画像データを出力先に順次出力する出力手段と
    前記入力画像データの入力先の特性および前記出力先の出力特性に基づいて、前記出力先に基づく画像処理が有効であるか否かを判断し、前記出力先に基づく画像処理が有効な場合は、前記画像処理に代えて該出力先に基づく画像処理を行うよう前記処理手段を制御する制御手段とを備えたことを特徴とする画像処理装置。
  7. 前記入力手段は、前記入力画像データのアクセス特性にも応じて前記入力画像データを前記小容量画像データに分割する手段であることを特徴とする請求項記載の画像処理装置。
  8. 前記入力画像データをキャッシュする入力キャッシュ手段をさらに備え、
    前記入力手段は、該キャッシュされた入力画像データを前記小容量画像データに分割する手段であることを特徴とする請求項または記載の画像処理装置。
  9. 前記処理済み小容量画像データを順次キャッシュする出力キャッシュ手段をさらに備え、
    前記出力手段は、該キャッシュされた処理済み小容量画像データから、前記出力先の特性に応じた出力データを出力する手段であることを特徴とする請求項からのいずれか1項記載の画像処理装置。
  10. 前記処理手段は、前記入力画像データの特性および/または前記出力先の特性に応じた画像処理を行う手段であることを特徴とする請求項からのいずれか1項記載の画像処理装置。
  11. 入力画像データに対して画像処理を施して出力する画像処理方法をコンピュータに実行させるためのプログラムおいて、
    記入力画像データを前記画像処理の特性に応じた容量の小容量画像データに順次分割する手順と、
    該小容量画像データに対して順次前記画像処理を施して処理済み小容量画像データを順次取得する手順と、
    該処理済み小容量画像データを出力先に順次出力する手順と
    前記入力画像データの入力先の特性および前記出力先の出力特性に基づいて、前記出力先に基づく画像処理が有効であるか否かを判断する手順と、
    前記出力先に基づく画像処理が有効な場合は、前記画像処理に代えて該出力先に基づく画像処理を行う手順とをコンピュータに実行させることを特徴とするプログラム
  12. 前記入力画像データを前記小容量画像データに分割する手順は、前記入力画像データのアクセス特性にも応じて前記入力画像データを前記小容量画像データに分割する手順であることを特徴とする請求項11記載のプログラム
  13. 記入力画像データをキャッシュする手順をさらに有し、
    前記入力画像データを前記小容量画像データに分割する手順は、該キャッシュされた入力画像データを前記小容量画像データに分割する手順であることを特徴とする請求項11または12記載のプログラム
  14. 記処理済み小容量画像データを順次キャッシュする手順をさらに有し、
    前記処理済み小容量画像データを出力する手順は、該キャッシュされた処理済み小容量画像データから、前記出力先の特性に応じた出力データを出力する手順であることを特徴とする請求項11から13のいずれか1項記載のプログラム
  15. 前記処理済み小容量画像データを得る手順は、前記入力画像データの特性および/または前記出力先の特性に応じた画像処理を行う手順であることを特徴とする請求項11から14のいずれか1項記載のプログラム
JP2001056779A 2001-03-01 2001-03-01 画像処理方法および装置並びにプログラム Expired - Lifetime JP4112187B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001056779A JP4112187B2 (ja) 2001-03-01 2001-03-01 画像処理方法および装置並びにプログラム
EP02002991A EP1237122A3 (en) 2001-03-01 2002-02-11 Method and apparatus for image processing
US10/078,499 US20020122198A1 (en) 2001-03-01 2002-02-21 Method and apparatus for image processing, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001056779A JP4112187B2 (ja) 2001-03-01 2001-03-01 画像処理方法および装置並びにプログラム

Publications (2)

Publication Number Publication Date
JP2002262058A JP2002262058A (ja) 2002-09-13
JP4112187B2 true JP4112187B2 (ja) 2008-07-02

Family

ID=18916748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001056779A Expired - Lifetime JP4112187B2 (ja) 2001-03-01 2001-03-01 画像処理方法および装置並びにプログラム

Country Status (3)

Country Link
US (1) US20020122198A1 (ja)
EP (1) EP1237122A3 (ja)
JP (1) JP4112187B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035653A1 (en) * 2001-08-20 2003-02-20 Lyon Richard F. Storage and processing service network for unrendered image data
US20040066536A1 (en) * 2002-08-08 2004-04-08 Kouichi Takamine Data control apparatus, and printing method and system
JP2004165733A (ja) * 2002-11-08 2004-06-10 Matsushita Electric Ind Co Ltd 画像変換装置及び画像変換方法並びに記録媒体
JP4245139B2 (ja) * 2003-03-31 2009-03-25 株式会社メガチップス 画像処理装置
JP4109151B2 (ja) * 2003-04-23 2008-07-02 オリンパス株式会社 画像処理装置
US20060125922A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation System and method for processing raw image files
EP1686536B1 (en) 2005-02-01 2012-07-25 Ricoh Company, Ltd. Applying edge enhancement based on image characteristics
US8773469B2 (en) * 2008-04-09 2014-07-08 Imagine Communications Corp. Video multiviewer system with serial digital interface and related methods
US9013750B2 (en) * 2009-06-25 2015-04-21 Canon Kabushiki Kaisha Image processing for processing image data in correspondence with each pixel of an image
US8976411B2 (en) 2009-07-01 2015-03-10 Canon Kabushiki Kaisha Image processing in correspondence with each pixel of an image
US8934134B2 (en) * 2009-07-02 2015-01-13 Canon Kabushiki Kaisha Image processing based on pixel and attribute values
US9635218B2 (en) * 2009-07-03 2017-04-25 Canon Kabushiki Kaisha Image processing based on a pixel value in image data
US20120306926A1 (en) * 2011-06-06 2012-12-06 Apple Inc. Inline scaling unit for mirror mode
JP6318459B2 (ja) * 2012-12-04 2018-05-09 株式会社リコー 画像形成装置および画像形成方法
WO2019053915A1 (ja) * 2017-09-15 2019-03-21 富士ゼロックス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661987A (en) * 1985-06-03 1987-04-28 The United States Of America As Represented By The Secretary Of The Navy Video processor
DE69028075T2 (de) * 1989-06-16 1997-03-13 Eastman Kodak Co Digitaler bildinterpolator
US5381163A (en) * 1990-06-13 1995-01-10 Canon Kabushiki Kaisha Image processing apparatus
JPH0660173A (ja) * 1992-06-11 1994-03-04 Internatl Business Mach Corp <Ibm> 画像を縮小する方法および装置
EP0574245A3 (en) * 1992-06-11 1994-05-18 Ibm Method and apparatus for variable expansion and variable shrinkage of an image
US6173082B1 (en) * 1997-03-28 2001-01-09 Canon Kabushiki Kaisha Image processing apparatus and method for performing image processes according to image change and storing medium storing therein image processing programs
JP3554177B2 (ja) * 1997-04-23 2004-08-18 キヤノン株式会社 出力制御装置、出力制御方法、記憶媒体
JP4745478B2 (ja) * 1999-01-29 2011-08-10 キヤノン株式会社 ネットワークプリントシステム及び情報処理装置及びその制御方法
JP3532781B2 (ja) * 1999-02-12 2004-05-31 株式会社メガチップス 画像入力装置の画像処理回路
JP4386216B2 (ja) * 1999-03-09 2009-12-16 キヤノン株式会社 カラープリントシステム及びその制御方法
US6778698B1 (en) * 1999-06-11 2004-08-17 Pts Corporation Method and apparatus for digital image segmentation
JP2001061052A (ja) * 1999-08-20 2001-03-06 Nec Corp 電子すかしデータ挿入方法及びその装置と電子すかしデータ検出装置
US20050190400A1 (en) * 1999-08-31 2005-09-01 Redd Jarret L. Image printing for multiple recipients
US7365873B2 (en) * 2000-01-27 2008-04-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2002103700A (ja) * 2000-09-28 2002-04-09 Matsushita Electric Ind Co Ltd 画像処理装置

Also Published As

Publication number Publication date
JP2002262058A (ja) 2002-09-13
EP1237122A3 (en) 2005-08-10
EP1237122A2 (en) 2002-09-04
US20020122198A1 (en) 2002-09-05

Similar Documents

Publication Publication Date Title
JP4112187B2 (ja) 画像処理方法および装置並びにプログラム
JP3861964B2 (ja) プリンタ及び該プリンタにおける画像データの処理方法
US8218911B2 (en) Image processing apparatus and image processing method
US7809199B2 (en) Image processing apparatus
JP3733759B2 (ja) プリンタ制御装置及び方法並びにプリンタ制御プログラムを記録した記録媒体及びプリンタシステム
US8125680B2 (en) Image processing apparatus and control method thereof
US8208167B2 (en) Information processing apparatus, image forming apparatus, print-data generation method, map-information generation method, and computer program product
JPH099082A (ja) カラー画像処理方法及びそのシステム
JP4136825B2 (ja) 画像処理装置および画像処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
US20110205591A1 (en) Image processing device and image processing method
US20040257611A1 (en) Print order receipt unit
JP4802853B2 (ja) 画像処理装置および画像処理プログラム
JP5441676B2 (ja) 画像処理装置及びその処理方法
JP2001169120A (ja) 画像処理装置及びその方法、及び画像処理システム
JP4379571B2 (ja) 画像処理装置及び画像処理方法
JP2009130590A (ja) プリンタ及びその制御方法
JP2001325129A (ja) ファイルシステム
JP2002236566A (ja) ページ印刷システム及び印刷データ生成装置
JP2000011161A (ja) 画像処理装置
JP2000324331A (ja) 画像処理装置及びその方法
JP5200890B2 (ja) 画像処理装置及びその制御方法
JP3920122B2 (ja) 画像処理方法および装置、画像処理システム並びにプログラム
JP2010245610A (ja) 画像読取装置及び画像読取装置の制御方法
JP2006094109A (ja) 画像処理装置および画像処理方法
JP2009060486A (ja) 画像処理装置およびこれを備えるプリンタ、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060113

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080409

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140418

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250