JP4173647B2 - 画像データ生成方法および装置、画像処理方法および装置並びに記録媒体 - Google Patents

画像データ生成方法および装置、画像処理方法および装置並びに記録媒体 Download PDF

Info

Publication number
JP4173647B2
JP4173647B2 JP2001096143A JP2001096143A JP4173647B2 JP 4173647 B2 JP4173647 B2 JP 4173647B2 JP 2001096143 A JP2001096143 A JP 2001096143A JP 2001096143 A JP2001096143 A JP 2001096143A JP 4173647 B2 JP4173647 B2 JP 4173647B2
Authority
JP
Japan
Prior art keywords
image data
processing
image
sharpness
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001096143A
Other languages
English (en)
Other versions
JP2002300376A (ja
Inventor
淳 加賀谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2001096143A priority Critical patent/JP4173647B2/ja
Priority to US10/108,366 priority patent/US20020154320A1/en
Publication of JP2002300376A publication Critical patent/JP2002300376A/ja
Application granted granted Critical
Publication of JP4173647B2 publication Critical patent/JP4173647B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18Conditioning data for presenting it to the physical printing elements
    • G06K15/1801Input data handling means
    • G06K15/181Receiving print data characterized by its formatting, e.g. particular page description languages

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理が施された画像データを生成する画像データ生成方法および装置、画像データ生成方法および装置により生成された画像データに対して画像処理を施す画像処理方法および装置、並びに画像データ生成方法および画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【0002】
【従来の技術】
ユーザが撮影した写真画像をデジタル化することにより得られた画像データを画像サーバに蓄積したり、CD−R等のメディアに記録してユーザに提供したり、ユーザがデジタルカメラにより撮影した画像をプリントしたり、写真の焼き増し注文に応じる等、写真に関する種々のデジタルフォトサービスを行うデジタルフォトサービスシステムが知られている。
【0003】
とくに、CD−R等のメディアに画像データを記録してユーザに提供するサービスにおいては、ユーザは自分が撮影した写真画像をパソコンのモニタに再生することができ、さらには気に入った写真をホームページに掲載したり、E-mailに添付して友人に送付等することができるため、好ましいものである。また、メディアに記録された画像データをユーザが有するプリンタにおいてプリント出力することも可能である。
【0004】
一方、画像データは、メディアに記録されるに際して、再生時の画質を向上させるために、シャープネス処理、階調処理、回転等様々な画像処理が施される。このため、ユーザはメディアに記録された画像データを再生するのみで、高画質の画像を観察することができる。
【0005】
【発明が解決しようとする課題】
ところで、画像データを再生するモニタやプリンタのような出力デバイスは、その種類に応じて再生画像の解像度が異なる。ここで、画像データに対してシャープネス処理を施した場合、処理後の画像データを再生する出力デバイスの解像度に応じて、再生画像のシャープ感や粒状感が異なるものとなる。例えば解像度が72dpiのモニタに再生するのに適したシャープネス処理が施された画像データを、解像度が300dpiのプリンタにおいてプリント出力すると、ボケた感じの再生画像となる。逆に、解像度が300dpiのプリンタにおいてプリント出力するのに適したシャープネス処理が施された画像データを、解像度が72dpiのモニタにおいて再生すると、シャープネス感が強くかつ粒状が目立った再生画像となる。このため、出力デバイスの解像度に拘わらず適切なシャープネス処理が施された再生画像を得るためには、ユーザが出力デバイスの解像度に応じたシャープネス処理を画像データに対して行う必要がある。しかしながら、このようなシャープネス処理は熟練した技術を要するため、容易に実行できるものではない。
【0006】
また、モニタにおいて再生するのに適したシャープネス処理が施された画像データと、プリント出力するのに適したシャープネス処理が施された画像データとをメディアに記録してユーザに渡すことも考えられる。しかしながら、画像データは容量が大きいため、このように2種類の画像データを記録したのでは、メディアの消費容量が大きくなってしまう。
【0007】
本発明は上記事情に鑑みなされたものであり、出力デバイスの解像度に応じた画像処理を容易に行うことができるようにすることを目的とするものである。
【0008】
また、本発明は出力デバイスの解像度に応じた画質の画像を再生可能な画像処理を行うことを目的とするものである。
【0009】
【課題を解決するための手段】
本発明による画像データ生成方法は、所定の解像度にて再生するのに適した所定の画像処理が施された画像データを生成する画像データ生成方法において、
前記所定の画像処理に関する画像処理情報を前記画像データに付与することを特徴とするものである。
【0010】
「画像処理情報」としては、画像データに施した所定の画像処理を特定することができる情報等、所定の画像処理に関するものであればいかなる情報をも用いることができる。例えば、所定の画像処理を行った際のパラメータ(所定の画像処理がシャープネス処理であれば、シャープネス処理の強調度等)を画像処理情報として用いることができる。また、パラメータそのものではなく、画像データを所定の解像度とは異なる解像度にて再生する際に画像データに対して施す他の画像処理のためのパラメータ、他の画像処理のパラメータを算出するために用いられる情報、複数の他の画像処理のためのパラメータについてのテーブルやグラフ、テーブルやグラフを指定するための記号や数値等の識別子、所定の解像度そのもの等を画像処理情報として用いることができる。
【0011】
「画像処理情報を画像データに付与する」とは、例えば画像データのファイル形式がExifである場合には、そのタグ情報に画像処理条件を記録すること、あるいは画像処理情報を画像データとは別ファイルとして、画像データと関連付けること等を意味する。
【0012】
なお、生成された画像データは、FD、CD−R、DVD、MO、ZIP等のメディアに記録してユーザに提供すればよい。また、画像サーバのハードディスクに保管し、ネットワーク経由でユーザにダウンロードさせることにより、ユーザに提供してもよい。
【0013】
また、本発明による画像データ生成方法においては、前記所定の画像処理は、シャープネス処理であることが好ましい。この場合、前記画像処理情報は、前記シャープネス処理の強調度に関連する情報であることが好ましい。
【0014】
「強調度に関連する情報」としては、例えば、強調度の値そのもののみならず、画像データを所定の解像度とは異なる解像度にて再生する際に画像データに対して施す他のシャープネス処理のための強調度、他のシャープネス処理のための強調度を算出するために必要な情報、複数の他のシャープネス処理のための強調度についてのテーブルやグラフ、テーブルやグラフを指定するための記号や数値等の識別子、所定の解像度そのもの等を用いることができる。
【0015】
本発明による第1の画像処理方法は、本発明による画像データ生成方法により生成された前記画像データに対して、前記所定の画像処理とは異なる他の画像処理を施す画像処理方法であって、
前記画像データを前記所定の解像度とは異なる解像度にて再生する場合、前記画像処理情報に基づいて、前記画像データに対して前記他の画像処理を施すことを特徴とするものである。
【0016】
「他の画像処理」としては、所定の画像処理と同一種類の処理であるがその処理の程度が異なる画像処理を意味する。例えば、画像処理がシャープネス処理の場合、所定の画像処理と他の画像処理とでは、シャープネス処理の強調度が異なるものとなる。
【0017】
本発明による第2の画像処理方法は、本発明による画像データ生成方法における所定の画像処理が、シャープネス処理である場合に適したものであり、本発明による画像データ生成方法により生成された前記画像データに対してシャープネス処理を施す画像処理方法であって、
前記画像データを前記所定の解像度とは異なる解像度にて再生する場合、前記画像処理情報に基づいて、前記画像データに対して前記強調度とは異なる強調度によるシャープネス処理を施すことを特徴とするものである。
【0018】
本発明による画像データ生成装置は、所定の解像度にて再生するのに適した所定の画像処理が施された画像データを生成する画像データ生成装置において、
前記所定の画像処理に関する画像処理情報を前記画像データに付与する付与手段を備えたことを特徴とするものである。
【0019】
なお、画像データ生成装置においては、前記所定の画像処理は、シャープネス処理であることが好ましく、この場合、前記画像処理情報は、前記シャープネス処理の強調度に関連する情報であることが好ましい。
【0020】
本発明による第1の画像処理装置は、本発明による画像データ生成装置により生成された前記画像データに対して、前記所定の画像処理とは異なる他の画像処理を施す処理手段を備えた画像処理装置であって、
前記処理手段は、前記画像データを前記所定の解像度とは異なる解像度にて再生する場合、前記画像処理情報に基づいて、前記画像データに対して前記他の画像処理を施す手段であることを特徴とするものである。
【0021】
本発明による第2の画像処理装置は、本発明による画像データ生成装置における画像処理が、シャープネス処理である場合に適したものであり、本発明による画像データ生成装置により生成された前記画像データに対してシャープネス処理を施す処理手段を備えた画像処理装置であって、
前記処理手段は、前記画像データを前記所定の解像度とは異なる解像度にて再生する場合、前記画像処理情報に基づいて、前記画像データに対して前記強調度とは異なる強調度によるシャープネス処理を施す手段であることを特徴とするものである。
【0022】
なお、本発明による画像データ生成方法および画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【0023】
【発明の効果】
本発明による画像データ生成方法および装置によれば、所定の画像処理に関する画像処理情報を画像データに付与するようにしたため、この画像処理情報を参照すれば、画像データに施された所定の画像処理がどのようなものであるかを知ることができる。
【0024】
また、本発明による画像処理方法および装置によれば、所定の解像度とは異なる解像度にて画像データを再生する際に、画像データに付与された画像処理情報に基づいて画像データに対して画像処理を施すようにしたため、熟練した技術を要することなく、所定の解像度とは異なる解像度で再生するのに適した画像処理を画像データに対して施すことができる。したがって、出力デバイスの解像度に拘わらず高画質の画像を再生することができることとなる。また、出力デバイスの解像度に応じて異なる画像処理が施された複数の画像データを用意する必要もなくなり、画像データを記録するメディアの記憶容量の消費量を低減することができる。
【0025】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【0026】
図1は本発明の実施形態による画像データ生成装置および画像処理装置を適用した画像出力システムの構成を示す概略ブロック図である。図1に示すように、本実施形態による画像出力システムは、写真店1においてCD−R等のメディアMに画像データを記録し、画像データが記録されたメディアMをユーザに渡し、ユーザがメディアMに記録された画像データをパソコン2を用いて再生するようにしたものである。
【0027】
写真店1には、ユーザが撮影したフイルムに記録された画像を読取って読取り画像データS0を得るスキャナ11と、読取り画像データS0に対して画像処理を施して処理済みの画像データS1を得る画像処理手段12と、画像処理手段12における種々の画像処理条件を記憶した画像処理条件記憶手段13と、画像処理条件記憶手段13に記憶された画像処理条件から後述するように画像データS0に施す画像処理のための画像処理条件を選択する画像処理条件選択手段14と、画像データS1にタグ情報を付与してタグ情報が付与された画像データS11を生成し、この画像データS11をメディアMに記録して画像データS11の記録済みメディアMを作成する、本発明の画像データ生成装置の付与手段としてのメディア作成手段15と、画像データS1に基づいてプリントあるいはインデックスプリントを得るプリンタ16とを備える。なお、プリンタ16の出力解像度は300dpiとする。
【0028】
ここで、画像処理手段12においては、読取り画像データS0に対してシャープネス処理が施されるものとする。処理済みの画像データS1はシャープネス処理に関する付帯情報Fとともにメディア作成手段15に入力され、タグ情報が付与された画像データS11のタグ情報に付帯情報Fが記録される。
【0029】
ユーザのパソコン2には、72dpiの解像度で画像データS11を再生するモニタ21と、300dpi、600dpiおよび1200dpiの解像度で画像データS11をそれぞれプリント出力するプリンタ22,23,24とが出力デバイスとして接続されている。そして、パソコン2において、画像データS11に対して、出力デバイスの解像度に応じた画像処理を、付帯情報Fに基づいて行うものである。
【0030】
次いで、本実施形態の動作について説明する。図2は本実施形態において写真店1において行われる処理を示すフローチャートである。まず、写真店1のオペレータが、スキャナ11を用いてフイルムをスキャンし、フイルムに記録された画像を読取って読取り画像データS0を得る(ステップS1)。読取り画像データS0は画像処理手段12において画像処理が施されて処理済みの画像データS1が得られる(ステップS2)。この際、ユーザによる画像データS11(メディアMに記録された画像データ)の用途に応じて、画像処理条件選択手段14により画像処理条件記憶手段13に記憶された画像処理条件が読み出され、読み出された画像処理条件により、画像データS0に対してシャープネス処理が施される。
【0031】
例えば、ユーザの画像データS11の主たる用途が、モニタ21における再生である場合には、モニタ21に再生するのに適した強調度により画像データS0に対してシャープネス処理が施されて処理済みの画像データS1が得られる。なお、ユーザの主たる用途に拘わらず、予め定められた強調度(例えばプリンタ16においてプリントするのに適した強調度)によりシャープネス処理を行うようにしてもよい。本実施形態においては、画像処理として、解像度が72dpiのモニタ21に再生するのに適した強調度によるシャープネス処理を行うものとする。
【0032】
ここで、ユーザは、メディアMに記録された画像データS11をモニタ21以外の出力デバイスで再生する場合に、より高画質の再生画像を得るためには、パソコン2において画像データS11に対してシャープネス処理を施す必要がある。本実施形態においては、パソコン2において画像データS11に施されるシャープネス処理の強調度の算出に必要なパラメータが付帯情報Fとして画像データS1とともにメディア作成手段15に入力され、ここでタグ情報が付与された画像データS11が生成され、さらにタグ情報に付帯情報Fが記録されて画像データS11がメディアMに記録される(ステップS3)。なお、ユーザが有するプリンタ22,23,24の解像度は、それぞれ300dpi、600dpiおよび1200dpiであるため、画像データS11に対して300dpi、600dpiおよび1200dpiの解像度でプリント出力するのに適したシャープネス処理を行うための強調度の算出に必要なパラメータが付帯情報Fとして用いられる。具体的には、図3(a)に示すように、再生する解像度とパラメータとの関係を表すテーブルが付帯情報Fとして用いられる。なお、図3(b)に示すような解像度とパラメータとの関係を表すグラフを付帯情報Fとしてもよい。
【0033】
以下、メディア作成手段15において行われる処理について詳細に説明する。ここで、本実施形態においては、画像データS1のファイル形式は4BaseのJPEG形式とし、メディア作成手段15において、画像データS1から4BaseのExif形式の画像データS11および4Baseよりも小さいサイズの画像を表す1BaseのExif形式の画像データS12が生成されて、メディアMに記録されるものとする。また、メディア作成手段15においては、インデックスプリントの作成に用いられるインデックスデータも生成されるものとする。
【0034】
図4はメディア作成手段15において行われる処理を説明するための図である。まず、4BaseのJPEG形式の画像データS1に対して、回転判定手段31において、画像を正立させて観察するために回転が必要であるか否かが判断される。すなわち、ユーザがカメラを用いて撮影を行う場合には、撮影シーンの構図に応じてカメラを縦横に回転させて撮影を行うため、フイルムには横長の状態で被写体を観察可能な正立状態の画像と、横長の画像を90度回転させて縦長の状態とすることにより被写体を正立させて観察可能な横向き状態の画像とが混在して記録されている。
【0035】
ここで、スキャナ11においては、フイルムに記録された画像を横長の状態で読取るため、横向き状態の画像を表す画像データS1を回転することなく画像データS11を生成してメディアMに記録すると、ユーザがメディアMに記録された画像データS11を再生したときには横向きの状態の画像がそのまま再生されてしまうこととなる。このため、本実施形態においては、横向き状態の画像を90度回転させて正立状態の画像としてメディアMに記録するために、回転判定手段31において画像の回転が必要であるか否かを判定し、回転が必要である場合には回転するようにしたものである。
【0036】
続いて、画素数判定手段32において、画像データS1により表される画像の縦横の画素数がともに16の倍数であるか否かが判定される。ここで、JPEG形式の画像データは、ハフマン符号化、逆量子化、逆DCT変換およびYCC−RGB変換を行うことにより復号化してRGBデータに変換しないと回転することができない。しかしながら、JPEG形式であっても画像データにより表される画像の縦横の画素数がともに16の倍数である場合には、RGBデータまで復号化しなくとも、ハフマン符号化により得られる量子化DCT係数の段階で回転を行うことができることが知られている。このため、本実施形態においては、回転が必要であると判定された画像データS1について、画素数判定手段32において、画像データS1により表される画像の縦横の画素数が16の倍数であるか否かを判定し、16の倍数であると判定された場合には、RGBデータまで復号化することなく回転を行うようにして演算時間を短縮するようにしたものである。
【0037】
そして、回転判定手段31において回転が必要であると判定された場合において、画素数判定手段32にて、画像データS1により表される画像の縦横の画素数が16の倍数であると判定された場合には、図4における(1)の処理に進み、16の倍数でないと判定された場合には、図4における(2)の処理に進む。なお、回転判定手段31において回転が不要であると判定された場合にも(1)の処理に進む。次いで、(1)の処理について説明する。
【0038】
まず、4BaseのJPEG形式の画像データS1はハフマン復号化されて、4Baseの量子化DCT係数に変換される。ここで、回転が必要な場合には回転され、回転された量子化DCT係数が得られる。そして、4BaseのExif形式の画像データS11を作成する場合、回転された量子化DCT係数がハフマン符号化されて、回転された4BaseのJPEG形式の画像データが得られる。さらにこの4BaseのJPEG形式の画像データにタグ情報が付与されて4BaseのExif形式の画像データS11が生成される。一方、回転が不要な場合は、4BaseのJPEG形式の画像データS1にタグ情報が付与されて、4BaseのExif形式の画像データS11が生成される。なお、タグ情報には付帯情報Fが記録される。
【0039】
一方、1BaseのExif形式の画像データS12およびインデックスデータを作成する場合には、回転されたあるいは回転されていない量子化DCT係数が逆量子化されて4BaseのDCT係数が得られる。そして、DCT係数が第1縮小手段33において縮小されつつ逆DCT変換され、1BaseのExif形式の画像データS12により表される画像と同一の画素数を有するYCC画像を表す1BaseのYCCデータ、4BaseのExif形式の画像データS12および1BaseのExif形式の画像データS12のタグ情報として記録するためのサムネイルデータにより表されるサムネイル画像と同一の画素数を有するYCCサムネイル画像を表すサムネイル用のYCCデータ、およびインデックスデータにより表されるインデックス画像と同一の画素数を有するYCCインデックス画像を表すインデックス用のYCCデータが得られる。なお、以下の説明において、「画像データ、YCCデータ、DCT係数等の画素数」は、「画像データ、YCCデータ、DCT係数等により表される画像の画素数」と同義であるものとする。
【0040】
図5は第1縮小手段33の構成を示す概略ブロック図である。図5に示すように、第1縮小手段33は、4BaseのDCT係数から1BaseのExif形式の画像データS12、サムネイルデータおよびインデックスデータのそれぞれと同一画素数のYCCデータを得るために、4BaseのDCT係数をサンプリングして縮小するとともに逆DCT変換するものであり、サンプリング判定手段41と、サンプリング逆DCT手段42と、任意倍率縮小手段43とを備える。
【0041】
サンプリング逆DCT手段42は、4BaseのDCT係数をサンプリングしつつ逆DCT変換するものであり、画素数を1/2にサンプリングする1/2逆DCT変換、画素数を1/4にサンプリングする1/4逆DCT変換、画素数を1/8にサンプリングする1/8逆DCT変換、および画素数を変更しない1/1逆DCT変換を実行することが可能である。ここで、4BaseのDCT係数の画素数と、1BaseのExif形式の画像データS12、サムネイルデータおよびインデックスデータの画素数(以下ターゲット画素数とする)とに応じて最適なサンプリング数が異なるものとなる。したがって、サンプリング判定手段41は、4BaseのDCT係数の画素数とターゲット画素数とに基づいて、サンプリング逆DCT手段42において行われる逆DCT変換の際のサンプリング数を判定するものである。
【0042】
なお、サンプリング逆DCT手段42においては、そのサンプリング数に応じた画素数のYCCデータが得られるが、その画素数は4BaseのDCT係数の1/1,1/2,1/4,1/8でありターゲット画素数とは異なる。したがって、任意倍率縮小手段43において、YCCデータをターゲット画素数となるように縮小処理することにより、1BaseのYCCデータ、サムネイル用のYCCデータおよびインデックス用のYCCデータが得られる。
【0043】
図6は、第1縮小手段33において行われる処理を模式的に示す図である。なお、図6においては、4BaseのDCT係数の画素数を1840×1232とし、1BaseのExif形式の画像データS12の画素数を600×401、サムネイルデータの画素数を160×120、インデックスデータの画素数を190×157とする。また、図6に示す処理おいては、ターゲット画素数のYCCデータを求めるに際し、ターゲット画素数に最も近い画素数となるようにサンプリング数を設定し、さらにサムネイルデータとインデックスデータとは共通のYCCデータを使用するというルールを設定したものとする。これにより、サンプリング判定手段41においては、1BaseのExif形式の画像データS12を得るためには1/2逆DCT変換を行い、サムネイルデータおよびインデックスデータを得るためには1/4逆DCT変換を行うべきと判定する。したがって、4BaseのDCT係数に対して、1/2逆DCT変換および1/4逆DCT変換が並列して施され、1/2サンプリングのYCCデータ(画素数920×616)および1/4サンプリングのYCCデータ(画素数460×308)が得られる。
【0044】
次いで、1/2サンプリングのYCCデータに対して、画素数を600×401とする任意倍率縮小処理が施されて、1BaseのYCCデータ(画素数600×401)が得られる。また、1/4サンプリングのYCCデータに対して、画素数を160×120とする任意倍率縮小処理および画素数を190×157とする任意倍率縮小処理が施されて、サムネイル用のYCCデータ(画素数160×120)およびインデックス用のYCCデータ(画素数190×157)が得られる。
【0045】
なお、第1縮小手段33において行われる処理としては、図6に示すものに限定されるものではなく、図7に示すように処理を行ってもよい。なお、図7に示す処理においては、ターゲット画素数のYCCデータを求めるに際し、ターゲット画素数の2倍までサンプリング逆DCTを行ってもよいというルールを設定したものである。これにより、サンプリング判定手段41においては、1BaseのExif形式の画像データS12を得るためには1/1逆DCT変換を行い、サムネイルデータを得るためには1/4逆DCT変換を行い、インデックスデータを得るためには1/2逆DCT変換を行うべきと判定する。したがって、4BaseのDCT係数に対して、1/1逆DCT変換、1/4逆DCT変換および1/2逆DCT変換が並列して施され、1/1サンプリングのYCCデータ(画素数1840×1232)、1/4サンプリングのYCCデータ(画素数460×308)、および1/2サンプリングのYCCデータ(画素数920×616)が得られる。
【0046】
次いで、1/1サンプリングのYCCデータに対して画素数を600×401とする任意倍率縮小処理が施されて1BaseのYCCデータ(画素数600×401)が得られる。また、1/4サンプリングのYCCデータに対して、画素数を160×120とする任意倍率縮小処理が施されて、サムネイル用のYCCデータ(画素数160×120)が得られる。さらに、1/2サンプリングのYCCデータに対して、画素数を190×157とする任意倍率縮小処理が施されて、インデックス用のYCCデータ(画素数190×157)が得られる。
【0047】
また、図8に示すように処理を行ってもよい。なお、図8に示す処理においては、ターゲット画素数のYCCデータを求めるに際し、ターゲット画素数の2倍までサンプリング逆DCTを行ってもよく、サムネイルデータとインデックスデータとは共通のYCCデータを使用するというルールを設定したものとする。これにより、サンプリング判定手段41においては、1BaseのExif形式の画像データS12を得るためには1/1逆DCT変換を行い、サムネイルデータおよびインデックスデータを得るためには1/2逆DCT変換を行うべきと判定する。したがって、4BaseのDCT係数に対して、1/1逆DCT変換および1/2逆DCT変換が並列して施され、1/1サンプリングのYCCデータ(画素数1840×1232)および1/2サンプリングのYCCデータ(画素数920×616)が得られる。
【0048】
次いで、1/1サンプリングのYCCデータに対して画素数を600×401とする任意倍率縮小処理が施されて1BaseのYCCデータ(画素数600×401)が得られる。また、1/2サンプリングのYCCデータに対して、画素数を160×120とする任意倍率縮小処理および画素数を190×157とする任意倍率縮小処理が施されて、サムネイル用のYCCデータ(画素数160×120)およびインデックス用のYCCデータ(画素数190×157)が得られる。
【0049】
さらに、図9に示すように処理を行ってもよい。なお、図9に示す処理においては、ターゲット画素数のYCCデータを求めるに際し、1/2逆DCTしたYCCデータのみを使用するというルールを設定したものとする。これにより、サンプリング判定手段41においては、1BaseのExif形式の画像データS12、サムネイルデータおよびインデックスデータを得るためには1/2逆DCT変換を行うべきと判定する。したがって、4BaseのDCT係数に対して、1/2逆DCT変換が施され、1/2サンプリングのYCCデータ(画素数920×616)が得られる。
【0050】
次いで、1/2サンプリングのYCCデータに対して画素数を600×401とする任意倍率縮小処理、画素数を160×120とする任意倍率縮小処理および画素数を190×157とする任意倍率縮小処理が施されて、1BaseのYCCデータ(画素数600×401)、サムネイル用のYCCデータ(画素数160×120)およびインデックス用のYCCデータ(画素数190×157)が得られる。
【0051】
以上のようにして1BaseのYCCデータ、サムネイル用のYCCデータおよびインデックス用のYCCデータが得られる。そして1BaseのYCCデータは、符号化(DCT変換、量子化およびハフマン符号化を含む)されて1BaseのJPEG形式の画像データが得られ、さらにタグ情報が付与されて1BaseのExif形式の画像データS12が生成される。また、タグ情報には付帯情報Fが記録される。
【0052】
一方、サムネイル用のYCCデータは、符号化(DCT変換、量子化およびハフマン符号化を含む)されてサムネイル用のJPEG形式の画像データが生成され、これが4Baseおよび1BaseのExif形式の画像データS11,S12のタグ情報に記録される。
【0053】
また、インデックス用のYCCデータは、RGB色空間に変換され、インデックス用のRGB画像データS13が生成される。画像データS13はプリンタ16に入力され、インデックスプリントの作成に用いられる。
【0054】
次いで、(2)の処理について説明する。(2)の処理は、画像データS1により表される画像の縦横の画素数が16の倍数ではなく、かつ回転が必要な場合に行われるものである。まず、4BaseのJPEG形式の画像データS1は復号化(ハフマン復号化、逆量子化、逆DCT変換およびYCC−RGB変換を含む)されて、4BaseのRGBデータに変換される。4BaseのRGBデータは回転され、回転された4BaseのRGBデータが得られる。そして、4BaseのExif形式の画像データS11を作成する場合、回転された4BaseのRGBデータが符号化(RGB−YCC変換、DCT変換、量子化およびハフマン符号化を含む)されて、回転された4BaseのJPEG形式の画像データが得られる。さらにこの4BaseのJPEG形式の画像データにタグ情報が付与されて4BaseのExif形式の画像データS11が生成される。なお、タグ情報には付帯情報Fが記録される。また、サムネイルデータは上記(1)の処理と同様に作成され、タグ情報に記録される。
【0055】
一方、1BaseのExif形式の画像データS12およびインデックスデータを作成する場合には、上記4BaseのRGBデータが第2縮小手段34において縮小される。第2縮小手段は、4BaseのRGBデータを、1BaseのExif形式の画像データS12およびインデックスデータの画素数となるように縮小するものであり、これにより、1BaseのRGBデータとインデックスRGBデータが得られる。ここで得られたインデックスRGBデータはそのままプリンタ16に入力され、インデックスプリントの作成に用いられる。
【0056】
1BaseのRGBデータは、符号化(RGB−YCC変換、DCT変換、量子化およびハフマン符号化を含む)されて、1BaseのJPEG形式の画像データが得られる。さらにこの1BaseのJPEG形式の画像データにタグ情報が付与されて1BaseのExif形式の画像データS12が生成される。また、タグ情報には付帯情報Fが記録される。
【0057】
以上のようにして得られた4BaseのExif形式の画像データS11および1BaseのExif形式の画像データS12は、メディアMに記録される。そして、複数の画像データS1についての画像データS11,S12がメディアMに記録され、複数の画像データS11,S12が記録されたメディアMがユーザに渡されて再生に供される。
【0058】
ユーザは渡されたメディアMをパソコン2のメディアドライブ(不図示)にセットし、モニタ21等において画像を再生することができる。なお、本実施形態では、画像データS11,S12のうち、画像データS11のみが再生に使用されるものとする。ここで、本実施形態においてメディアMに記録されている画像データS11は、解像度が72dpiのモニタ21に再生するのに適したシャープネス処理が施されているため、画像データS11をモニタ21に再生する場合には、何ら処理を施すことなく高画質の画像を観察することができる。
【0059】
一方、画像データS11は、解像度が72dpiのモニタ21に再生するのに適したシャープネス処理が施されているため、画像データS11を300dpi、600dpiあるいは1200dpiのプリンタ22,23,24においてプリント出力すると、ボケた画像しか再生することができない。このため、画像データS11をプリンタ22,23,24のいずれかにおいてプリント出力する場合には、パソコン2において下記のようにシャープネス処理が行われる。
【0060】
図10はパソコン2において行われるシャープネス処理を示すフローチャートである。ユーザは、本実施形態のようにしてメディアMに記録された画像データS11、すなわち付帯情報Fがタグ情報に記録された画像データS11のみならず、タグ情報に付帯情報Fが含まれていない画像データをプリント出力する場合もあるため、ユーザが再生しようとする画像データのタグ情報に付帯情報Fが記録されているか否かがまず判断される(ステップS11)。ステップS11が肯定されるとユーザが再生しようとする画像データは、付帯情報Fが付与された画像データS11であるとして、画像データS11を再生するプリンタの種類が判別される(ステップS12)。
【0061】
そして、プリンタの解像度に応じて画像データS11に対してシャープネス処理を施す際の強調度が算出される(ステップS13)。このシャープネス処理の強調度の算出は、付帯情報Fに基づいて下記の式(1)により行われる。
【0062】
β=(100/p−1)×100 (1)
但し、β:強調度(%)
p:パラメータ
例えば、解像度が300dpiのプリンタ22において画像データS11を再生する場合には、パラメータpとして83が用いられる(図3(a)参照)。この場合、強調度βは約20.5%となる。そして、算出された強調度βにより画像データS11に対してシャープネス処理が行われて、処理済みの画像データS20が得られる(ステップS14)。そして、画像データS20をプリントサイズとなるように拡大縮小処理し(ステップS15)、さらにいずれかのプリンタ22,23,24において拡大縮小処理後の画像データS20をプリント出力し(ステップS16)、処理を終了する。
【0063】
ここで、画像データS20を解像度が300dpiのプリンタ22で再生した場合には、画像データS20はシャープネス処理の強調度が画像データS11よりも約20.5%大きいため、画像データS11をそのままプリンタ22において再生する場合と比較して、シャープネスが強調されたものとなる。
【0064】
なお、ステップS11が否定された場合には、画像データS11はステップS15においてプリントサイズとなるように拡大縮小処理が施され、ステップS16においてプリント出力される。
【0065】
このように、本実施形態によれば、シャープネス処理の強調度の算出に必要なパラメータを、付帯情報Fとして画像データS11のタグ情報に記録するようにしたため、再生画像の解像度がモニタ21とは異なるプリンタ22,23,24において画像データS11を再生する際にも、付帯情報Fに基づいて再生するプリンタ22,23,24の解像度に適したシャープネス処理を、熟練した技術を要することなく画像データS11に対して施すことができる。したがって、ユーザを煩わせることなく、出力デバイスの解像度に拘わらず高画質の画像を再生することができることとなる。また、出力デバイスの解像度に応じて異なるシャープネス処理が施された複数の画像データを用意する必要もなくなり、メディアMの記憶容量の消費量を低減することができる。
【0066】
なお、上記実施形態においては、図3(a)、(b)に示すパラメータを付帯情報Fとしてタグ情報に記録しているが、パソコン2において図3(a)、(b)に示すグラフあるいはテーブルを記憶しておき、画像データS11に施されているシャープネス処理がいずれの解像度にて出力するのに適したものかを表す情報(例えば解像度を表す72dpi等の数値)を付帯情報Fとしてタグ情報に記録してもよい。これにより、付帯情報Fを参照すれば、どの出力デバイスで出力するのに適したシャープネス処理が画像データS11に施されているかを容易に認識することができ、画像データS11に施されたシャープネス処理がユーザが再生しようとする出力デバイスの解像度に適したものでない場合には、グラフあるいはテーブルを参照してその出力デバイスの解像度に適したシャープネス処理を容易に行うことができる。
【0067】
さらに、スキャナ11において画像を読取るフイルムとしてはAPSフイルム、35mmフイルム、ネガフイルム、リバーサルフイルム等種々のものがあり、フイルム種に応じて最適なシャープネス処理の強調度も異なるものとなる。したがって、図3(a)、(b)に示すグラフあるいはテーブルを、フイルム種に応じて複数用意しておき、フイルム種に応じたグラフあるいはテーブルを付帯情報Fとしてタグ情報に記録してもよい。
【0068】
また、図3(a)、(b)に示すグラフあるいはテーブルに代えて、図11に示すように、出力デバイスの解像度に応じたマスクおよび強調度を求めるテーブルを用いてシャープネス処理を行ってもよい。ここでマスクはシャープネス処理を行う際に必要な画像データS11のボケ画像データを求めるために必要なマスクである。また、テーブルは画像データS11とボケ画像データとの差(コントラスト)に対する強調度の関係を表すものである。
【0069】
この場合、マスクおよびテーブルをパソコン2に記憶しておき、画像データS11に施されているシャープネス処理がいずれの解像度にて再生するのに適したものかを表す情報(例えば解像度を表す72dpi等の数値)を付帯情報Fとしてタグ情報に記録すればよい。また、ユーザが有する出力デバイスが、解像度が72dpiのモニタ21と300dpiのプリンタ22のみである場合には、300dpiのプリンタについてのマスクおよびテーブルを参照するアルファベット、数値等の識別子を予め定めておき、その識別子を付帯情報Fとして用いるようにしてもよい。これにより、ユーザがプリンタで画像データS11を再生する場合には、識別子に対応するマスクおよびテーブルを参照して、シャープネス処理を行うことができる。なお、マスクおよびテーブル自体を付帯情報Fとしてタグ情報に記録してもよい。
【0070】
さらに、上記実施形態において、写真店1の画像処理手段12において行われるシャープネス処理と、ユーザのパソコン2において行われるシャープネス処理とが異なる種類のものである場合がある。この場合は、パソコン2において付帯情報Fをパソコン2のシャープネス処理に適したものに変更してシャープネス処理を行えばよい。
【0071】
また、上記実施形態においては、タグ情報に付帯情報Fを記録しているが、付帯情報Fを画像データS11,S12とは別ファイルとしてもよい。この場合、付帯情報Fのファイルは画像データS11,S12のファイルと互いに関連付けられてメディアに記録される。
【0072】
さらに、上記実施形態においては、画像処理としてシャープネス処理を行っているが、これに限定されるものではなく、出力デバイスの解像度に応じた階調変換処理、色変換処理等他の画像処理を行うようにしてもよい。
【図面の簡単な説明】
【図1】本発明の実施形態による画像データ生成装置および画像処理装置を適用した画像出力システムの構成を示す概略ブロック図
【図2】写真店において行われる処理を示すフローチャート
【図3】(a)は再生する解像度とパラメータとの関係を示すテーブル、(b)は再生する解像度とパラメータとの関係を示すグラフ
【図4】メディア作成手段において行われる処理を説明するための図
【図5】第1縮小手段の構成を示す概略ブロック図
【図6】第1縮小手段において行われる処理を模式的に示す図(その1)
【図7】第1縮小手段において行われる処理を模式的に示す図(その2)
【図8】第1縮小手段において行われる処理を模式的に示す図(その3)
【図9】第1縮小手段において行われる処理を模式的に示す図(その4)
【図10】ユーザのパソコンにおいて行われる処理を示すフローチャート
【図11】解像度に応じたマスクおよびテーブルを示す図
【符号の説明】
1 写真店
2 パソコン
11 スキャナ
12 画像処理手段
13 画像処理条件記憶手段
14 画像処理条件選択手段
15 メディア作成手段
16,22,23,24 プリンタ
21 モニタ
31 回転判定手段
32 画素数判定手段
33 第1縮小手段
34 第2縮小手段
41 サンプリング判定手段
42 サンプリング逆DCT手段
43 任意倍率縮小手段

Claims (6)

  1. 処理対象の画像データに対して、所定の解像度にて再生するのに適した所定の強調度によるシャープネス処理を施し、
    前記シャープネス処理の強調度に関連する画像処理情報であって、前記所定の解像度とは異なる複数種類の解像度で出力するのに適したシャープネス処理を行うための強調度の算出に必要な画像処理情報を前記シャープネス処理が施された画像データに付与することにより、処理済みの単一サイズの画像データを生成することを特徴とする画像データ生成方法。
  2. 請求項1記載の画像データ生成方法により生成された前記画像データに対してシャープネス処理を施す画像処理方法であって、
    前記画像データを前記所定の解像度とは異なる解像度にて再生する場合、前記画像処理情報に基づいて、前記画像データに対して前記所定の強調度とは異なる強調度によるシャープネス処理を施すことを特徴とする画像処理方法。
  3. 処理対象の画像データに対して、所定の解像度にて再生するのに適した所定の強調度によるシャープネス処理を施す画像処理手段と、
    前記シャープネス処理の強調度に関連する画像処理情報であって、前記所定の解像度とは異なる複数種類の解像度で出力するのに適したシャープネス処理を行うための強調度の算出に必要な画像処理情報を前記シャープネス処理が施された画像データに付与することにより、処理済みの単一サイズの画像データを生成する付与手段を備えたことを特徴とする画像データ生成装置。
  4. 請求項3記載の画像データ生成装置により生成された前記画像データに対してシャープネス処理を施す処理手段を備えた画像処理装置であって、
    前記処理手段は、前記画像データを前記所定の解像度とは異なる解像度にて再生する場合、前記画像処理情報に基づいて、前記画像データに対して前記所定の強調度とは異なる強調度によるシャープネス処理を施す手段であることを特徴とする画像処理装置。
  5. 処理対象の画像データに対して、所定の解像度にて再生するのに適した所定の強調度によるシャープネス処理を施す手順と、
    前記シャープネス処理の強調度に関連する画像処理情報であって、前記所定の解像度とは異なる複数種類の解像度で出力するのに適したシャープネス処理を行うための強調度の算出に必要な画像処理情報を前記シャープネス処理が施された画像データに付与することにより、処理済みの単一サイズの画像データを生成する手順を有する画像データ生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
  6. 請求項1記載の画像データ生成方法により生成された前記画像データに対してシャープネス処理を施す画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、
    前記プログラムは、前記画像データを前記所定の解像度とは異なる解像度にて再生する場合、前記画像処理情報に基づいて、前記画像データに対して前記所定の強調度とは異なる強調度によるシャープネス処理を施す手順をコンピュータに実行させるものであることを特徴とするコンピュータ読取り可能な記録媒体。
JP2001096143A 2001-03-29 2001-03-29 画像データ生成方法および装置、画像処理方法および装置並びに記録媒体 Expired - Lifetime JP4173647B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001096143A JP4173647B2 (ja) 2001-03-29 2001-03-29 画像データ生成方法および装置、画像処理方法および装置並びに記録媒体
US10/108,366 US20020154320A1 (en) 2001-03-29 2002-03-29 Image data generation method, image data generation apparatus, image processing method, image processing apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001096143A JP4173647B2 (ja) 2001-03-29 2001-03-29 画像データ生成方法および装置、画像処理方法および装置並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2002300376A JP2002300376A (ja) 2002-10-11
JP4173647B2 true JP4173647B2 (ja) 2008-10-29

Family

ID=18950095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001096143A Expired - Lifetime JP4173647B2 (ja) 2001-03-29 2001-03-29 画像データ生成方法および装置、画像処理方法および装置並びに記録媒体

Country Status (2)

Country Link
US (1) US20020154320A1 (ja)
JP (1) JP4173647B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408715B (zh) * 2007-10-09 2010-06-02 诺日士钢机株式会社 输送装置以及具备该输送装置的照片处理装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302500A (ja) * 2003-03-28 2004-10-28 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
WO2004111932A1 (ja) * 2003-06-10 2004-12-23 Fujitsu Limited 画像登録装置、表示制御装置、画像サーバ
CN100458910C (zh) * 2003-10-28 2009-02-04 松下电器产业株式会社 图像显示装置及图像显示方法
JP4559976B2 (ja) * 2005-01-17 2010-10-13 株式会社東芝 映像合成装置、映像合成方法及び映像合成プログラム
JP5448576B2 (ja) * 2008-06-03 2014-03-19 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0327107B1 (en) * 1988-02-05 1994-07-13 Dainippon Screen Mfg. Co., Ltd. Method and processor for enhancing image sharpness for image reproduction with scanner
US5500923A (en) * 1992-02-28 1996-03-19 Canon Kabushiki Kaisha Image processing apparatus utilizing the JBIG method, having a compression/expansion circuit to manage memory more effectively
GB9711024D0 (en) * 1997-05-28 1997-07-23 Rank Xerox Ltd Image enhancement and thresholding of images
US6459430B1 (en) * 1999-02-17 2002-10-01 Conexant Systems, Inc. System and method for implementing multi-level resolution conversion using modified linear interpolation
JP3809742B2 (ja) * 1999-03-29 2006-08-16 コニカミノルタビジネステクノロジーズ株式会社 コントラスト補正を行う画像処理装置および方法
US7139099B2 (en) * 2000-02-23 2006-11-21 Fuji Xerox Co., Ltd. Image processing device and image processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408715B (zh) * 2007-10-09 2010-06-02 诺日士钢机株式会社 输送装置以及具备该输送装置的照片处理装置

Also Published As

Publication number Publication date
JP2002300376A (ja) 2002-10-11
US20020154320A1 (en) 2002-10-24

Similar Documents

Publication Publication Date Title
US7706011B2 (en) Image sensing apparatus and control method therefor
US20070052819A1 (en) Imaging apparatus, image processing apparatus, image processing method, and computer program
JP4919743B2 (ja) デジタルイメージでサムネイルを生成する方法及び装置
JP2004194338A (ja) スライドショーの制作方法およびシステム
JP4881210B2 (ja) 撮像装置、画像処理装置及びそれらの制御方法
JP2007336467A (ja) 画像圧縮装置およびそれを備えた画像読取装置、画像圧縮装置を備えた画像処理装置並びにそれを備えた画像形成装置、画像圧縮処理方法、そのコンピュータプログラム及び記録媒体
JP2007210108A (ja) 印刷装置
JP4173647B2 (ja) 画像データ生成方法および装置、画像処理方法および装置並びに記録媒体
TW200929078A (en) Method of compressing for a static image and computer readable data structure and storage media
JPH1132287A (ja) 画像ファイル作成方法および装置
JP2009147743A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2009152672A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
US7403655B2 (en) Moving picture system and moving picture extraction method
JP5083180B2 (ja) 画像処理装置およびプログラム並びに画像処理方法
JP3921767B2 (ja) 画像表示方法及び画像表示装置
JP3635622B2 (ja) 画像処理方法および装置並びに記録媒体
JP3642946B2 (ja) 画像データの暗号化出力装置および画像再生装置並びにデジタルフォトサービスシステム
JP4854344B2 (ja) 画像処理装置及び画像処理方法
JP3790944B2 (ja) 画像情報記録媒体およびその記録媒体に記録された画像を再生する方法並びにシステム
JP2000059612A (ja) 画像処理装置及びその方法
JP3606771B2 (ja) 画像ファイル作成方法および装置、画像再生方法および装置並びに記録媒体
JP3813306B2 (ja) フォトフィニッシングシステム
JPH1139466A (ja) 画像情報記録媒体およびその記録媒体に記録された画像を再生する方法並びにシステム
JP3459474B2 (ja) 画像ファイル記録方法および画像記録システム
JP4223223B2 (ja) 画像処理方法および装置並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060113

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080812

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080814

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4173647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term