JP4168610B2 - 処理制御データ付き画像ファイルの生成装置 - Google Patents

処理制御データ付き画像ファイルの生成装置 Download PDF

Info

Publication number
JP4168610B2
JP4168610B2 JP2001217929A JP2001217929A JP4168610B2 JP 4168610 B2 JP4168610 B2 JP 4168610B2 JP 2001217929 A JP2001217929 A JP 2001217929A JP 2001217929 A JP2001217929 A JP 2001217929A JP 4168610 B2 JP4168610 B2 JP 4168610B2
Authority
JP
Japan
Prior art keywords
image
control data
data
information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001217929A
Other languages
English (en)
Other versions
JP2003032618A (ja
Inventor
靖雅 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2001217929A priority Critical patent/JP4168610B2/ja
Publication of JP2003032618A publication Critical patent/JP2003032618A/ja
Application granted granted Critical
Publication of JP4168610B2 publication Critical patent/JP4168610B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Facsimiles In General (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像データと、画像データの処理に関する情報を含む制御データとを関連付けて格納した画像ファイルを用いて、制御データに基づいた柔軟な画像処理を行う技術に関する。
【0002】
【従来の技術】
近年、デジタルスチルカメラやデジタルビデオカメラ、スキャナなどの画像データ生成装置が普及している。画像データの出力装置に関しては、汎用のパーソナルコンピュータのモニタや、プリンタなどの様々な画像出力装置が用いられている。出力に際し、レタッチソフトなどによって、画質調整が行われることもあった。
【0003】
【発明が解決しようとする課題】
しかし、こうした画質調整は高度な技術を要する画像処理であり、画像データ生成装置の特性、生成時の意図を十分に反映させることは困難であった。また、画像出力のたびにかかる処理を施すことは煩雑であり、デジタルスチルカメラ等の利便性を損ねる恐れがあった。
【0004】
かかる負担を軽減し、適切な画像処理を簡易に行わせる方法として、デジタルスチルカメラでの撮影時等に画像処理を制御する設定情報を画像データに添付する方法が考えられる。デジタルカメラ等にユーザが任意に制御データを登録可能とすることにより、ユーザの好みに応じた画像処理が容易に実現可能となる。
【0005】
しかしながら、制御データを登録することは、非常に手間のかかる作業である。ユーザは通常、ユーザ設定の調製、出力結果の作成、その評価というサイクルを何度も繰り返して、微調整を行うことになるが、この手間はとりわけ大きな課題となっていた。
【0006】
本発明は、かかる課題を解決するためになされたものであり、ユーザの好みに応じた制御データの設定負担を軽減することによって、ユーザの好みに応じた画像処理を容易に実現可能とする技術を提供することを目的とする。
【0007】
【課題を解決するための手段およびその作用・効果】
上記課題の少なくとも一部を解決するために、本発明では、次の構成を適用した。
本発明の画像ファイル生成装置は、
画像データと、画像データに施される画像処理の内容を制御する制御データとを、関連付けて格納した画像ファイルを生成する、画像ファイル生成装置であって、
前記画像データを入力する画像データ入力部と、
前記画像処理を多義的に特定する前記制御データを入力する機能を備えた制御データ生成部と、
前記入力された画像データと前記生成された制御データとを関連付けて格納した画像ファイルを生成する画像ファイル生成部と、
を備え、
前記制御データ生成部は、該制御データとして、複数の画像処理に共通的に用いられる共通情報と、少なくとも記憶色およびγ補正に関するパラメータを含み、前記複数の画像処理ごとに選択可能に設定され選択情報とを有する制御データであり、前記選択情報における選択の組合わせの数の画像処理を制御する制御データを生成すことを要旨とする。
【0008】
このようにすることによって、一つの画像ファイルで画像データに施される画像処理の内容を多義的に設定することができる。つまり、一つの画像ファイルで、多数の画像処理を施した画像出力を得ることが可能となる。この結果、画像処理の効果の比較等を容易に行うことができる。
【0009】
本発明の画像ファイル生成装置において、前記制御データ生成部は、
前記画像データの処理内容を一義的に特定する設定情報を、複数組含む制御データを生成する機能を備えることが望ましい。
【0010】
このようにすることによって、独立に設定された複数組の設定情報を含む画像ファイルを実現することができる。
【0011】
ユーザ設定の作成にあたってユーザは多くの場合、ユーザ設定の調製、出力結果の作成、評価というサイクルを何度も繰り返して、微調整を行う。複数の設定情報を含む画像ファイルを用いて、それら複数の設定情報に基づく処理の結果を一度に得ることができるならば、上記サイクルにおける手間を減少することができる。
【0012】
本発明の画像ファイル生成装置において、前記制御データ生成部は、
複数の画像処理に共通的に用いられる共通情報と、複数の画像処理ごとに設定された複数の選択情報とを有する制御データ
を生成する機能を備えることが望ましい。
【0013】
このようにすることによって、制御データの情報の冗長性を減少させることができる。含ませたい複数の設定情報は、互いに共通部分のある設定情報の集まりである場合が多い。共通部分を複数回記述してしまう冗長性を避けることが可能となる。
【0014】
例えば設定情報がパラメータの値の集まりである場合ならば、選択情報となるパラメータに対して、それぞれ複数の値を制御データに含む。この時、各パラメータ値の組み合わせの個数だけの設定情報が、多義的に特定されることになる。
【0015】
本発明の画像ファイル生成装置において、
前記制御データはパラメータを含み、
前記制御データ生成部は、少なくとも一部のパラメータについて、一定の範囲を特定する可変情報を含む制御データ
を生成する機能を備えることが望ましい。
【0016】
このようにすることによって、一部のパラメータが一定範囲の値を持つ一定範囲の処理を、制御データにおいて指定することが可能となる。
【0017】
ここで、可変データには、数値データのように本質的に可変データであるものの他にも、都道府県名のように本質的には可変データではないが、特に所定の整数値等を割り当てて、可変とできる場合もある。さらに、数値データでも個数のように離散値しかとらないものもあれば、γ補正の値のように本質的には連続値をとり得る場合も存在する。また、範囲の指定においては、「0〜1および4〜6」のように一つの可変データの二つの分離した範囲を指定する可変情報も考えられる。
【0018】
ここで「1〜2」という可変情報について考える。様々な解釈が可能である。例えば数学における記述法を用いれば、{1,2}、{実数x|1<x<2}、{実数x|1<x≦2}などが解釈される場合が考えられる。可変情報には、所定の取り決めに従う場合の他に、解釈方法の情報を含めてもよい。
【0022】
本発明の画像ファイル処理装置は、
画像データと、所定の制御データとを関連付けて格納した画像ファイルに含まれる該制御データの情報に基づいて、該画像データに対する画像処理を施した結果を出力する画像ファイル処理装置であって、
前記制御データは、前記画像データの画像処理を多義的に特定する情報を含んだ制御データであり、かつ複数の画像処理に共通的に用いられる共通情報と、少なくとも記憶色およびγ補正に関するパラメータを含み、前記複数の画像処理ごとに選択可能に設定され複数の選択情報とを有し、前記選択情報における選択の組合わせの数の画像処理を制御する制御データであり
前記画像ファイルを入力する画像ファイル入力部と、
前記画像ファイルから前記共通情報と前記制選択情報とを含む前記御データを抽出する制御データ抽出部と、
前記制御データに含まれる前記共通情報と前記制選択情報とに基づいて特定される複数の処理をそれぞれ前記画像データに施す処理部と、
前記複数の画像処理の結果をそれぞれ出力する出力部と、
を備えることを要旨とする。
【0023】
このようにすることによって、多義的に設定された制御データから特定される複数の画像処理を一括して施すことができる。ユーザは、複数の処理の結果を参照して、設定情報を評価することができる。
【0024】
本発明の画像ファイル処理装置において、
出力部は、前記処理の結果と併せて、それぞれ、該処理を特定するための識別情報を出力することが望ましい。
【0025】
このようにすることによって、識別情報に基づき、設定情報を容易に特定することができる。また、ユーザは他の装置等、特に本発明の画像ファイル生成装置に識別情報を入力することにより、設定情報の登録等を比較的容易に実現することができる。
【0026】
識別情報は、画像ファイル生成装置において、設定情報毎に制御データ内に付される方法などが考えられる。この場合に様々な態様が可能であることは、前述の通りである。
【0029】
本発明は、上述の画像ファイル生成装置、画像ファイル処理装置、画像ファイル編集装置、としての構成の他、それぞれ、画像ファイルの生成・処理・編集の方法の発明として構成することもできる。また、それらを実現するコンピュータプログラム、およびそれらのプログラムを記録した記録媒体、それらのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。
【0030】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合、記録媒体としては、フレキシブルディスクやCD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置などコンピュータが読みとり可能な種々の媒体を利用できる。
【0031】
【発明の実施の形態】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
A.画像出力システムの構成:
B.画像ファイル生成装置:
B1.全体構成:
B2.画像ファイル:
B2.制御データの入力:
C.画像ファイル処理装置:
C1.画像処理:
C2.複数の処理結果の出力:
D.変形例:
【0032】
A.画像出力システムの構成:
図1は、画像出力システムの概略構成を示す説明図である。本実施例の画像出力システムは、画像ファイル生成装置としてのデジタルスチルカメラ10と、画像処理装置および画像出力装置としてカラープリンタ11とから構成される。
【0033】
デジタルスチルカメラ10は画像ファイル内に印刷制御データPIMを設定する機能を備えている。印刷制御データPIMは、Exif形式画像ファイルの付属データに含まれて、カラープリンタ11での画像処理を含む印刷処理を制御するためのデータとなる。印刷制御データPIMには、プリントコマンドおよび画像処理に用いられる設定情報、その他の情報が含まれる。デジタルスチルカメラ10は撮影(画像データ生成)を行い、画像データと付属データとを関連付けて格納した画像ファイルを生成する。生成した画像ファイルはメモリカードMCに格納される。
【0034】
カラープリンタ11は、メモリカードMCを介して、あるいは、図示しないケーブルなどを介して画像ファイルを入力し、画像ファイルに含まれる印刷制御データPIMを解析する。印刷制御データPIMには、画像処理の設定に関する情報が含まれる。カラープリンタ11はこれを取得して、画像データに対して画像処理を施してから、印刷を実行する。
【0035】
以上のように、本実施例の画像出力システムでは、デジタルスチルカメラ10側からカラープリンタ11の印刷処理を制御して、デジタルスチルカメラ(撮影者)の意図を反映した印刷を行うことができる。デジタルスチルカメラ、画像ファイル、カラープリンタについての詳細は後述する。
【0036】
なお、以下で示す実施例では、画像ファイル生成装置としてデジタルスチルカメラ10を用いて説明するが、この他にもスキャナ、デジタルビデオカメラ等を用いることが可能である。スキャナを用いる場合には、別の管理コンピュータを伴ってもよいし、予め設定情報が割り当てられているプリセットボタン、任意設定のための表示画面および設定用ボタンをスキャナに備えておき、スキャナ単独で実行可能にしてもよい。また、デジタルビデオカメラなどの、動画である画像データを生成する機能を備えた画像ファイル生成装置を利用する場合、画像ファイルに付される画像データの形式としては、MPEG等の形式を利用することが可能である。動画である画像データに制御データを付した画像ファイルを利用することで、動画の全部又は一部のフレームに対して、出力時等に行う画像処理の内容を制御することができる。
【0037】
また、画像ファイルとしてExif形式の画像ファイルを例にとるが、本発明に係る画像ファイルの形式はこれに限られない。即ち、画像データと、制御データとを含むことの可能な画像ファイルであれば良い。
【0038】
B.画像ファイル生成装置:
B1.全体構成:
図2は、デジタルスチルカメラ10の概略構成を示すブロック図である。デジタルスチルカメラ10は光の情報をデジタルデバイス(CCDや光電子倍増管)に結像させることにより画像を取得するカメラである。デジタルスチルカメラ10は光情報を収集するためのCCD等を備える光学回路30と、光学回路30を制御して画像を取得するための画像取得回路31と、取得したデジタル画像を加工処理するための画像処理回路32と、制御回路33とを備えている。制御回路33には、CPUと、ROMと、RAMとが備えられている。
【0039】
デジタルスチルカメラ10は取得した画像をデジタルデータとして記憶装置としてのメモリカードMCに保存する。デジタルスチルカメラ10における画像データの保存形式としては、JPEG形式が一般的であるが、この他にもPNG形式、TIFF形式、GIF形式、BMP形式等の保存形式が用いられ得る。
【0040】
また、デジタルスチルカメラ10は設定情報に関する各種設定での用途などのために、選択・決定ボタン34や、撮影画像をプレビューしたり、各種設定画面を表示したりするための液晶ディスプレイ35を備えている。「設定情報」の内容は、コントラスト、明るさ、カラーバランス等の画像出力に関するデータであり、カラープリンタ11での画像処理に用いられる。本実施例では、デジタルスチルカメラ10の製造者による規定設定である設定情報が、処理モードに対応して用意されている。
【0041】
デジタルスチルカメラ10は、印刷制御データPIMと、画像データとを関連付けて備える画像ファイルを生成する。印刷制御データPIMは、選択・決定ボタン34を用いてユーザが設定することができる。画像データは、先に説明したとおり、光学回路30等によって生成することができる。なお、設定情報には、先に示したものの他に、デジタルスチルカメラ10のγ値、撮影時に使用された色空間を表す色空間パラメータなどが含まれる。制御データにはこの他、撮影時に設定された露出時間、ホワイトバランス、絞り、シャッタースピード、レンズの焦点距離等の撮影条件も含まれる。
【0042】
ここで色空間パラメータについて説明する。デジタルスチルカメラ10では、通常、CCDの電圧信号から一旦、RGBの色空間で定義された画像データを得る。色空間は、カメラの機種によって、sRGBまたはNTSCと呼ばれる色空間が使い分けられている。いずれの空間もRGBの座標系で色を定義する点では共通しているが、NTSCの方がsRGBよりも色再現範囲が広い座標系である。sRGBの色空間については、通常、8ビット(0〜255)の範囲で定義されるが、この範囲を負値または256以上の値に拡張した色空間(ここでは「拡張sRGB空間」と称する)が用いられる場合もある。撮影時に利用された色空間の情報が、デジタルスチルカメラ10の色再現特性を表す情報として、色空間パラメータに含まれて画像データに添付される。
【0043】
図3は、画像ファイル生成装置であるデジタルスチルカメラ10の機能ブロック間のデータ授受を示す説明図である。
【0044】
制御データ入力部22は、選択・決定ボタン34のユーザ入力に基づく情報などを入力する。他に、外部記憶装置(パーソナルコンピュータPCのハードディスクやサーバSV)や記録媒体からも制御データに関する情報を入力することができる。画像ファイル生成部24は、入力された画像データと、ユーザによって設定あるいは選択された設定情報及びその他のデータとを所定のフォーマットで格納した制御データとを一体として備えた画像ファイルを生成する。制御データ記憶部25については後述する。
【0045】
B1.画像ファイル:
図4は、画像ファイルの構成を概念的に示す説明図である。画像ファイルは、デジタルスチルカメラ用の画像ファイルフォーマット規格(Exif形式)に従ったファイル構造を有している。Exif形式画像ファイルの仕様は、日本電子工業振興協会(JEIDA)によって定められている。
【0046】
画像ファイルは、画像データを格納する画像データ格納領域41と、格納されている画像データに関する各種付属情報を格納する付属情報格納領域42とを備えている。画像データ格納領域41には、画像データがJPEG形式で格納される。付属情報格納領域42には、付属情報が格納される。付属情報格納領域42はMakerNoteデータ格納領域43を備えている。MakerNoteデータ格納領域43はデジタルスチルカメラメーカーに開放されている未定義領域である。なお、当業者にとって周知であるように、Exif形式のファイルでは、各データを特定するためにタグが用いられており、MakerNoteデータ格納領域43に格納されているデータに対してはタグ名としてMakerNoteが割り当てられ、MakerNoteタグと呼ばれている。
【0047】
図5は、画像ファイルの詳細な階層構造の一例を示す説明図である。図5(a)は、MakerNoteデータ格納領域43のデータ構造を示している。画像ファイルのMakerNoteデータ格納領域43もまた、タグによって、格納されているデータを識別できる構成を備えており、印刷制御データPIMにはPrintMatchingのタグが割り当てられている。MakerNoteデータ格納領域43の各タグは、MakerNoteデータ格納領域43のトップアドレスからのオフセット値で指定される。MakerNoteデータ格納領域43には、トップアドレスにメーカー名(6バイト)、続いて予約領域(2バイト)、ローカルタグのエントリ数(2バイト)、各ローカルタグオフセット(12バイト)の情報が格納されている。メーカー名の後には、文字終端列を示す0x00の終端コードが付されている。
【0048】
図5(b)は、MakerNoteデータ格納領域43内に定義されているPrintMatchingデータ格納領域50を示している。これには大きく分けて、PrintMatchingパラメータが格納されていることを示すPrintMatching識別子等の領域と、記録された設定情報の個数等を含むデータ構造の記述領域と、設定情報に関する記録領域822の各部からなる。さらに、ここでは設定情報に関する記録領域822の内部は複数組の設定情報に対応した領域に分けられている。記録領域822の内部には、処理装置への画像処理内容を一義的に特定するため、通常は一組の設定情報が記憶されている。本実施例では、デジタルスチルカメラ10にユーザ固有の設定情報を登録する際の便宜を図り、記憶領域822の内部に複数組の設定情報を含め得るものとした。
【0049】
図6は一組の設定情報を記録する領域の構成例を概念的に示す説明図である。これは図5(b)における設定情報1〜4を記録した部分の内部構成の例と見ることがそれぞれ可能である。図6では設定情報を構成する、ガンマ値、色空間、コントラスト、明るさ、カラーバランス、彩度などのパラメータの値が格納される領域が配置されている。ここでは所定のパラメータ番号であるタグ名とパラメータ値を組にして列記する態様で、一つの設定情報を構成している。例えばここでパラメータ番号は、2バイトの領域に格納される情報であり、パラメータ設定値は、4バイトの領域に格納される情報である。
【0050】
なお、図6は一組の設定情報を記録する領域について、一例を示したものであり、本発明の実施においては他にも様々な方法を用いることが可能であり、例えば所定のパラメータ順で、単にそのパラメータ値を列挙する方法などが可能である。また、この例ではγ値、色空間、明るさ、シャープネスなどのパラメータを用いているが、どのパラメータを設定情報に用いるかは任意の決定事項であり、本発明を限定するものではない。さらに、図6の表で例示する各パラメータの値は、あくまでも例示に過ぎず、この値によって本願に係る発明が制限されることもない。これは以後の記述も同様である。
【0051】
B2.制御データの入力:
デジタルスチルカメラ10では、上述した画像ファイルを生成する前に制御データの調製を行う。この調製にあたっては、様々な方法が考えられるが、以下では、処理モードの設定を基本とした方法の例を示す。
【0052】
図7は、処理モードを設定する時に、液晶ディスプレイ35に表示されるインタフェースを示す説明図である。図7(a)に示す画面で「OK」を選択すると、処理モードの設定を行うことができる。処理モードは、図7(b)に示すように、「1.標準」や「2.人物」、「3.風景」など複数が用意されている。ここでは「ユーザ設定1」〜「ユーザ設定3」を選択することも可能である。これは、先立ってユーザが定義した処理モードである。ここでの処理モードの選択に従って、画像ファイルの生成時には選択されたモードに対応した制御データが調製されて、画像ファイルが生成される。
【0053】
図8は、設定情報を構成するパラメータとその設定内容を示す説明図である。図示するように、11種類の撮影シーンにそれぞれ適した既定設定が予め用意されている。設定情報は、図8に示したように「コントラスト」、「明るさ」、「カラーバランス」、「彩度」、「シャープネス」、「記憶色」、「ノイズ除去」の7種類のパラメータから構成されている。デジタルスチルカメラ10のメーカーは、それぞれの既定設定に応じたパラメータの値の組を、図8のPreset1〜Preset11のように調製して、デジタルスチルカメラ10に備えられたROMに記憶している。なお、図7に示した「ユーザ設定1」〜「ユーザ設定3」については、同様のデータがRAMに記憶されており、ユーザはこれらユーザ設定のデータを、適宜更新することができる。
【0054】
図9は、各処理モードに対応したパラメータ値を確認・編集してモードの選択を行う場合のインタフェースを示す説明図である。
【0055】
図7(b)の画面で「人物」→「確認」を選択すると、図9上段の図で示すように、図8の「人物」に対応してROMに記憶されたパラメータ値の内容が表示される。ユーザはここで確認を行ってから、図9上段の図における「決定」を選択することにより、「人物」の処理モードの選択を行うことができる。
【0056】
図9下段の図は、上段の図で「編集」を選択して、パラメータ値の修正を行う場合のインタフェースを示す説明図である。ここではパラメータ値の編集を行うことが可能である。ここで初めは、先に選択した「人物」モードでのパラメータ設定が示されており、各パラメータについて変更を加えることができる。また「戻す」を選択することによって、初めの「人物」モードでの値に、全てのパラメータ値を戻すことができる。なお図9の下段の図では「記憶色」パラメータの値が「黄」に変更されている。パラメータ値は、「登録」を選択することにより、「ユーザ設定」の一つに登録される。「ユーザ設定」の一つとして登録される設定情報は、デジタルスチルカメラ10に備えられたRAMに記憶される。
【0057】
図10は、順次選択により複数の設定情報を指定するインタフェースの例を示す説明図である。図10上段は、図9の上段の画面で「多義設定」を選択した場合に続く画面である。図9下段において編集を行った場合と同様にして、「人物」での設定情報をベースとした編集を行う。しかしここでは編集終了後、「追加」を選択することによって、追加で指定する2個目の設定情報の編集を始めることができる。図10の下段の図では「γ補正」のパラメータが「1.1」に変更されて新たな設定情報が指定されている。ここで「OK」を選択することにより、これまでに指定された2個の設定情報からなるデータが「ユーザ設定」の一つに登録される。
【0058】
C.画像ファイル処理装置:
C1.画像処理:
図11は、設定情報に基づいた画像処理の流れの例を示すフロチャートである。ここで、制御データの情報に基づいた処理については、図中で2重線を付した。
【0059】
カラープリンタ11のCPUは、読み出した画像ファイルから画像データを取り出し(ステップS10)、JPEG形式のYCbCr色空間に基づく画像データを撮影時のRGB色空間に基づく画像データに変換するための第1のマトリクス演算を実行する(ステップS14)。この変換は、デジタルスチルカメラ10でRGB空間からYCbCr空間への変換に使用されたマトリクスの逆マトリクスを用いて行われる。この変換により、画像データは、撮影時の色空間、即ちNTSC、sRGB,拡張sRGBのいずれかに変換される。拡張sRGB色空間に変換された場合には、この時点では、負値および256以上の値が含まれることになる。
【0060】
CPUは、こうして得られた画像データに対して、ガンマ補正を実行する。
【0061】
ガンマ補正を実行する際には、デジタルスチルカメラ10側のガンマ値を用いる。このガンマ値は、デジタルスチルカメラ10の特性を表す情報として、制御データに含まれている。
【0062】
ガンマ補正が完了すると、次に画像データの色空間をsRGBよりも広い色再現範囲で定義されたwRGB色空間に変換する処理を行う。NTSC色空間や拡張sRGB色空間で撮影された画像データを、色再現範囲が狭いsRGB色空間で処理すると、被写体の色を忠実に再現できない場合があるからである。かかる観点から、sRGB空間で撮影された画像データについては、以下で説明する処理をスキップするものとしてもよい。本実施例では、制御データに含まれるカラースペース情報は、sRGB空間と拡張sRGB空間とを区別していないため、sRGB空間で撮影された画像データについてもwRGB空間への変換処理を行うものとした。かかる場合でも、拡張sRGB空間では、画像データに負値または256以上の値が含まれるため、これらの階調値の有無によって拡張sRGB空間とsRGB空間とを識別することは可能である。
【0063】
wRGBへの色空間の変換処理は、マトリクス演算によって行われる。先に説明した通り、画像ファイル処理装置は、sRGB色空間または拡張sRGB色空間で定義された画像データと、NTSC色空間で定義された画像データとを扱う。それぞれの色空間からwRGB色空間に直接変換するマトリクスを定義することも可能ではあるが、本実施例では、標準的なXYZ色空間を介して変換を行うものとした。
【0064】
即ち、画像ファイル処理装置は、まず、RGB色空間からXYZ色空間への変換を行う(ステップS20)。この変換処理は、画像データを定義する色空間によって相違する。つまり、sRGB色空間または拡張sRGB色空間用の変換マトリクスTM1と、NTSC色空間用の変換マトリクスTM2の2種類を予め用意し、これらを使い分けることで撮影時の色空間に応じた変換処理を実現する。この変換により、個別の色空間で撮影された画像データが、標準的なXYZ色空間に統一されることになる。
【0065】
色空間の変換処理が完了すると、画像ファイル処理装置は、逆ガンマ補正を行う(ステップS22)。ここで用いられるガンマ値は、画像ファイル処理装置の出力における色再現特性に基づいて設定された値である。
【0066】
ここでさらに、撮影時の意図を反映させるため、画像画質の自動調整処理を実行する(ステップS24)。本実施例では、制御データに色補正パラメータとしてコントラスト等の調整パラメータが含まれている。画像処理システム100は、このパラメータに基づいて、画質の自動調整を行う。各パラメータに基づく画質調整方法は、周知であるため、詳細な説明を省略する。
【0067】
以上の処理により、デジタルスチルカメラ10の色再現特性および撮影時の意図を反映した画像データの補正処理が完了する。以降は、出力装置でそのまま出力可能な形式への変換の流れを示した部分である。
【0068】
まず、RGBの画像データに対し、機種に応じた色変換処理を行う(ステップS26)。RGBの表色系をプリンタで使用されるCMYKの表色系に変換する処理である。この変換は、両者の色を対応づける変換用ルックアップテーブル(LUT)を参照することで行われる。本実施例の場合、wRGB色空間からCMYKへの変換用のテーブルLUTwが通常使用されることになる。但し、sRGB空間で定義された画像データも取扱可能とするため、画像ファイル処理装置には、sRGB色空間の変換用テーブルLUTsも備え、画像データが定義されている色空間に応じてこれらのテーブルを使い分けるものとした。LUTsは、例えば、sRGB空間で撮影された画像データについてステップS18、S20の色空間変換処理をスキップした場合、画像データに対し、画質を調整するための処理を一切施すことなく出力する場合などに適用することができる。
【0069】
こうしてCMYKの階調値に変換された画像データに対し、画像ファイル処理装置は、ハーフトーン処理を行う(ステップS28)。ハーフトーン処理は、画像データの階調値を、プリンタで形成されるドットの密度によって表現するための処理であり、例えば、誤差拡散法、組織的ディザ法などの周知の方法によって行うことができる。
【0070】
これらの処理に加えて、画像ファイル処理装置では、画像データの解像度をプリンタの解像度に適合させる解像度変換処理、プリンタでインタレース記録を行うようデータ配列および副走査の送り量などを設定するインタレースデータ生成処理などを行うものとしてもよい。
【0071】
以上のステップS26、S28で説明した変換処理により、画像データは、プリンタで直ちに出力可能な印刷データの形式に変換される。画像ファイル処理装置は、こうして変換されたデータに基づき印刷を実行する。
【0072】
C2.画像処理装置:
図12は、画像ファイル処理装置900の機能ブロック間のデータ授受を示す説明図である。画像ファイル処理装置900には画像ファイル入力部と、制御データ抽出部と、処理部と、出力部とが備えられている。画像ファイル入力部の入力する画像ファイルから、制御データ抽出部によって制御データが抽出される。抽出された制御データには、画像処理を特定する設定情報が含まれている。制御データ抽出部から送られる画像データに対して、この設定情報をもとに処理が行われ、処理結果が出力部へと送られる。この時、特定される処理が複数ならば、複数の処理が行われて出力される。
【0073】
C3.複数の処理結果の出力:
図13は、一つの画像データに対して、複数の設定情報に基づいて複数の処理を行った結果を、併せて出力した結果の例を示す説明図である。ここで、「出力結果1」などの表示は、画像ファイルにおいて、それぞれの設定情報に付された識別情報である数字を表示しているものである。なお例示の便宜上、出力結果1〜4の内容はここでは同じものであるが、実際は、異なる処理がされれば異なる結果が表示される。
【0074】
識別情報は処理の設定情報の内容そのものであって、例えばパラメータを列挙したものなどでもよい。さらに、識別情報は、制御データ内において明示的に示してもよいし、制御データ内のデータ構造から明らかになるものとしてもよい。なお、図13では、一枚の紙に全ての処理結果を出力しているが、複数枚の紙に出力することも可能である。
【0075】
図14は、出力結果に付された識別情報を画像ファイル生成装置に入力するためのインタフェースの例を示す説明図である。上段の「出力結果NO.」の欄で番号を一つ選択すると、それに対応した設定情報の内容が下段に表示される。ここで識別情報である番号は、先に図13の処理結果表示の中で、出力毎に付された番号に対応している。「決定」を選択することによって、その設定情報はユーザ設定の一つとして登録することができる。
【0076】
ここで、入力される識別情報は一つには限られずに、複数の入力によって、複数の設定情報が指定されてもよい。また、識別情報が処理のパラメータそのものの列挙である場合やその他の場合には、それぞれに対応した入力インタフェースを用意する必要がある。
【0077】
識別情報と設定情報の対応関係は、制御データ記憶部25に記憶されている。制御データ記憶部25には、対応した処理そのものに関する情報も記憶されており、制御データ生成部23から参照される(図3参照)。
【0078】
D.変形例:
図15は、複数の設定情報を指定するインタフェースの第ニの例を示す説明図である。これは第一の例(図10)と同様に、図9の上段の画面で既定設定の一つである「人物」モードを設定して「多義設定」を選択した時を想定した画面である。この画面中では、各パラメータについて複数の値を選択することができる。全パラメータに関する、選択された値の組み合わせの個数だけの設定情報が一度に指定される。ここでパラメータ「γ補正」については、γ補正の値の指定部分841に示されたように、最高で4個までの値が指定できるインタフェースとされており、「1.0」、「1.1」、「1.2」の3個の値が選択されている。また、記憶色については、「黄」と「青」が選択されている。
【0079】
図16は、設定情報を共通情報と選択情報とに分けて構成する態様を概念的に示す説明図である。この場合、PrintMatchingデータ格納領域50はPrintMatching識別子やデータ構造の記録の他に、設定情報内容の直接の記録として、共通情報の記録832と選択情報の記録領域833との部分を持つ。選択情報の記録領域833の部分はさらに設定情報の幾つかのカテゴリーに応じた領域に分かれて、ここでは、「記憶色」と「γ補正」のパラメータというそれぞれのカテゴリーのための領域をそれぞれ備えている。
【0080】
選択情報に含まれる各カテゴリーの内容は、それぞれ複数組備えられている。ここでは、「記憶色」カテゴリーのために「黄」と「青」が、「γ補正」カテゴリーのために「1.0」と「1.1」及び「1.2」が、それぞれ備えられている。これらは、全体として、その組み合わせの個数だけの選択情報の内容を表す。この例では「記憶色」カテゴリーの内容が2組、「γ補正」カテゴリーの内容が3組あるので、全体として6組の選択情報の内容が表される。一方で、共通情報の内容は一通りであり、図16の例は6組の選択情報と1組の共通情報から、全体として、6組の設定情報を記憶している。
【0081】
なお、選択情報と共通情報による構成は図16の例に限定されず、様々な態様が考えられる。例えば、図16で「記憶色」と「γ補正」の値を組にした情報が一つのカテゴリーとなる場合や、共通情報が空の場合なども考えられる。
【0082】
図17は可変情報を用いて設定情報を多義的に記録する場合の例を示す説明図である。γ補正のパラメータは可変データであったが、図15の例では、その値を列挙する記憶方法を用いていた。ここでは、γ補正のパラメータ値の範囲を特定する可変情報を用いて、設定情報の集合を指定する場合の例を考える。
【0083】
図15におけるγ補正の値の指定部分841を図17(a)に例示したように変更することで、γ補正のパラメータについて可変情報を指定することが可能となる。なお、ここでは、連続した一つの範囲を指定するのみであるが、図15(a)のインタフェースを並べるなどの方法により、2つ以上の範囲が指定できる態様を構成することなども可能である。
【0084】
図17(b)は、可変情報を含む設定情報の記録の態様の例を概念的に示す説明図である。これは、他のパラメータを図15の指定のままで、γ補正パラメータを「1.0〜1.2」という可変情報に変更した場合での例である。可変情報は、可変情報の記録領域842に含まれている。この例の場合には、共通情報と選択情報との部分に分ける方式も併せて用いている。γ補正パラメータの「1.0〜1.2」という可変情報を含む共通情報と、2組の選択情報が記憶されており、全体としては2組の設定情報の集合が表されている。
【0085】
なお、ここで可変情報は、事前の取り決めや制御データ中に含むその他の情報に基づいて、可変情報を用いて示された設定情報の集合中の一定個数の標本点を指示するものと考えることもできる。例えば、一定のステップを事前に設定しておくか、制御データに含める等して、上限と下限の数値の組で与えられる可変情報に適用する場合が考えられる。
【0086】
図18は、画像ファイル編集装置の機能ブロック間のデータ授受を示す説明図である。画像ファイル編集装置860は、画像ファイル入力部と、制御データ抽出部と、制御データ入力部と、制御データ編集部と、画像ファイル生成部とを備える。
【0087】
画像ファイル入力部は、編集の対象となる画像ファイルを入力する。入力された画像ファイルから、制御データ抽出部によって制御データが抽出される。抽出された制御データと制御データ入力部の入力するユーザ入力の情報を参照して、制御データ編集部は、新制御データを作成する。新制御データと、制御データ抽出部に残された画像データとから、画像ファイル生成部が新画像ファイルを生成する。新画像ファイルは、入力された元の画像ファイルと、編集された新制御データとを関連付けて格納している。
【0088】
画像ファイル編集装置により、画像ファイル中の制御データに含む画像処理に関わる情報は、修正したり新しく書き換えたりすることができる。なおここで、画像ファイル編集装置でもある画像ファイル生成装を置構成することも可能である。
【0089】
図19は、画像出力システムのバリエーションを示す説明図である。画像出力システムは、図1に示したデジタルスチルカメラ10とカラープリンタ11の他に、画像処理機能を内蔵したパーソナルコンピュータPCやサーバSV、画像出力装置としてのモニタディスプレイ装置を含むことができる。これらは、ケーブルCVあるいは無線通信で、直接あるいはネットワークを介して接続され、データのやり取りを行う。画像ファイル生成装置としてスキャナやデジタルビデオカメラを接続することも可能である。
【0090】
本実施例に従って、画像ファイル中の制御データに設定情報の集合の情報を含めて用いれば、ユーザ設定を作成する手間を小さくすることができる。ユーザは複数の設定情報の処理結果を簡便に評価して、ユーザ設定の作成に反映することができるようになる。従来の技術では、ユーザはユーザ設定の調製、出力結果の作成・評価というサイクルを何度も繰り返して、微調整を行うことが多かったが、この手間は特に小さくなる。このような効果などに基づいて、本発明は、画像データに付された制御データの設定を利用した、柔軟な画像処理を行う技術の実用性の向上を実現している。
【0091】
以上、実施例に基づき本発明に係る画像生成・処理・編集装置、画像出力システム等を説明してきたが、上述した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。
【図面の簡単な説明】
【図1】画像出力システムの概略構成を示す説明図である。
【図2】デジタルスチルカメラの概略構成を示すブロック図である。
【図3】デジタルスチルカメラの機能ブロック間のデータ授受を示す説明図である。
【図4】画像ファイルの構成の一例を概念的に示す説明図である。
【図5】画像ファイルの詳細な階層構造の一例を示す説明図である。
【図6】一組の設定情報を記録する領域の構成例を概念的に示す説明図である。
【図7】処理モードを設定するためのインタフェースの例を示す説明図である。
【図8】設定情報を構成するパラメータとその設定内容を示す説明図である。
【図9】パラメータ値を確認・編集する場合のインタフェース例を示す説明図である。
【図10】順次選択により複数の設定情報を指定するインタフェースの例を示す説明図である。
【図11】設定情報に基づいた画像処理の流れの例を示すフロチャートである。
【図12】画像ファイル処理装置の機能ブロック間のデータ授受を示す説明図である。
【図13】複数の設定情報に基づいて複数の処理を行った結果を、併せて出力した結果の例を示す説明図である。
【図14】識別情報を画像ファイルに入力するためのインタフェースの例を示す説明図である。
【図15】複数の設定情報を指定するインタフェースの第ニの例を示す説明図である。
【図16】設定情報を共通情報と選択情報とに分けて構成する態様を示す説明図である。
【図17】可変情報を用いて設定情報を多義的に記録する場合の例を示す説明図である。
【図18】画像ファイル編集装置の機能ブロック間のデータ授受を示す説明図である。
【図19】画像出力システムのバリエーションを示す説明図である。
【符号の説明】
10…デジタルスチルカメラ
11…カラープリンタ
21…画像データ生成部
22…制御データ入力部
23…制御データ生成部
24…画像ファイル生成部
25…制御データ記憶部
30…光学回路
31…画像取得回路
32…画像処理回路
33…制御回路
34…選択・決定ボタン
35…液晶ディスプレイ
40…画像ファイル(Exifファイル)
41…画像データ格納領域
42…付属情報格納領域
43…MakerNoteデータ格納領域
50…PrintMatchingデータ格納領域
822…設定情報に関する記録領域
832…共通情報の記録領域
833…選択情報の記録領域
841…γ補正の値の指定部分
842…可変情報の記録領域
850…複数の処理の結果を印刷したもの
860…画像ファイル編集装置
861…画像ファイル入力部
862…制御データ抽出部
863…制御データ入力部
864…制御データ編集部
865…画像ファイル生成部
900…画像ファイル処理装置
901…画像ファイル入力部
902…制御データ抽出部
903…処理部
904…出力部

Claims (6)

  1. 画像データと、画像データに施される画像処理の内容を制御する制御データとを、関連付けて格納した画像ファイルを生成する、画像ファイル生成装置であって、
    前記画像データを入力する画像データ入力部と、
    前記画像処理を多義的に特定する前記制御データを入力する機能を備えた制御データ生成部と、
    前記入力された画像データと前記生成された制御データとを関連付けて格納した画像ファイルを生成する画像ファイル生成部と、
    を備え、
    前記制御データ生成部は、該制御データとして、複数の画像処理に共通的に用いられる共通情報と、少なくとも記憶色およびγ補正に関するパラメータを含み、前記複数の画像処理ごとに選択可能に設定され選択情報とを有する制御データであり、前記選択情報における選択の組合わせの数の画像処理を制御する制御データを生成する画像ファイル生成装置。
  2. 画像データと、所定の制御データとを関連付けて格納した画像ファイルに含まれる該制御データの情報に基づいて、該画像データに対する画像処理を施した結果を出力する画像ファイル処理装置であって、
    前記制御データは、前記画像データの画像処理を多義的に特定する情報を含んだ制御データであり、かつ複数の画像処理に共通的に用いられる共通情報と、少なくとも記憶色およびγ補正に関するパラメータを含み、前記複数の画像処理ごとに選択可能に設定され複数の選択情報とを有し、前記選択情報における選択の組合わせの数の画像処理を制御する制御データであり
    前記画像ファイルを入力する画像ファイル入力部と、
    前記画像ファイルから前記共通情報と前記制選択情報とを含む前記御データを抽出する制御データ抽出部と、
    前記制御データに含まれる前記共通情報と前記制選択情報とに基づいて特定される複数の処理をそれぞれ前記画像データに施す処理部と、
    前記複数の画像処理の結果をそれぞれ出力する出力部と、
    を備えた画像ファイル処理装置。
  3. 画像データと、画像データに施される画像処理の内容を制御する制御データとを、関連付けて格納した画像ファイルを生成する方法であって、
    前記画像データを入力する工程と、
    前記画像処理を多義的に特定する前記制御データであり、複数の画像処理に共通的に用いられる共通情報と、少なくとも記憶色およびγ補正に関するパラメータを含み、前記複数の画像処理ごとに選択可能に設定され複数の選択情報とを有し、前記選択情報における選択の組合わせの数の画像処理を制御する制御データを入力する工程と、
    前記入力された画像データと前記生成された制御データとを関連付けて格納した画像ファイルを生成する工程と、
    を備えた方法。
  4. 画像データと、所定の制御データとを関連付けて格納した画像ファイルに含まれる該制御データの情報に基づいて、該画像データに対する画像処理を施した結果を出力する方法であって、
    前記制御データは、前記画像データの画像処理を多義的に特定する情報を含んだ制御データであり、かつ複数の画像処理に共通的に用いられる共通情報と、少なくとも記憶色およびγ補正に関するパラメータを含み、前記複数の画像処理ごとに選択可能に設定され複数の選択情報とを有し、前記選択情報における選択の組合わせの数の画像処理を制御する制御データであり、
    前記画像ファイルを入力する工程と、
    前記画像ファイルから前記共通情報と前記制選択情報とを含む前記制御データを抽出する工程と、
    前記制御データに含まれる前記共通情報と前記制選択情報とに基づいて特定される複数の処理をそれぞれ前記画像データに施す工程と、
    前記複数の画像処理の結果をそれぞれ出力する工程と、
    を備えた方法。
  5. 画像ファイル生成装置を用いて、画像データと、画像データに施される画像処理の内容を制御する制御データとを、関連付けて格納した画像ファイルを生成するためのコンピュータプログラムであって、
    前記画像データを入力する機能と、
    前記画像処理を多義的に特定する前記制御データであり、複数の画像処理に共通的に用いられる共通情報と、少なくとも記憶色およびγ補正に関するパラメータを含み、前記複数の画像処理ごとに選択可能に設定され複数の選択情報とを有し、前記選択情報における選択の組合わせの数の画像処理を制御する制御データを入力する機能と、
    前記入力された画像データと前記生成された制御データとを関連付けて格納した画像ファイルを生成する機能と、
    を前記画像ファイル生成装置に実現させるためのコンピュータプログラム。
  6. 画像処理装置を用いて、画像データと、所定の制御データとを関連付けて格納した画像ファイルに含まれる該制御データの情報に基づいて、該画像データに対する画像処理を施した結果を出力するためのコンピュータプログラムであって、
    前記制御データは、前記画像データの画像処理を多義的に特定する情報を含んだ制御データであり、かつ複数の画像処理に共通的に用いられる共通情報と、少なくとも記憶色およびγ補正に関するパラメータを含み、前記複数の画像処理ごとに選択可能に設定され複数の選択情報とを有し、前記選択情報における選択の組合わせの数の画像処理を制御する制御データであり、
    前記画像ファイルを入力する機能と、
    前記画像ファイルから前記共通情報と前記制選択情報とを含む前記制御データを抽出する機能と、
    前記制御データに含まれる前記共通情報と前記制選択情報とに基づいて特定される複数の処理をそれぞれ前記画像データに施す機能と、
    前記複数の画像処理の結果をそれぞれ出力する機能と、
    を前記画像処理装置に実現させるためのコンピュータプログラム。
JP2001217929A 2001-07-18 2001-07-18 処理制御データ付き画像ファイルの生成装置 Expired - Fee Related JP4168610B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001217929A JP4168610B2 (ja) 2001-07-18 2001-07-18 処理制御データ付き画像ファイルの生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001217929A JP4168610B2 (ja) 2001-07-18 2001-07-18 処理制御データ付き画像ファイルの生成装置

Publications (2)

Publication Number Publication Date
JP2003032618A JP2003032618A (ja) 2003-01-31
JP4168610B2 true JP4168610B2 (ja) 2008-10-22

Family

ID=19052178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001217929A Expired - Fee Related JP4168610B2 (ja) 2001-07-18 2001-07-18 処理制御データ付き画像ファイルの生成装置

Country Status (1)

Country Link
JP (1) JP4168610B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4862720B2 (ja) * 2007-03-27 2012-01-25 セイコーエプソン株式会社 情報処理方法、情報処理装置、プログラム、及び記憶媒体
JP2008271058A (ja) * 2007-04-18 2008-11-06 Seiko Epson Corp 情報処理方法、情報処理装置及びプログラム
JP5125299B2 (ja) * 2007-08-06 2013-01-23 株式会社ニコン 電子カメラ
US20090290038A1 (en) 2007-08-06 2009-11-26 Nikon Corporation Electronic camera

Also Published As

Publication number Publication date
JP2003032618A (ja) 2003-01-31

Similar Documents

Publication Publication Date Title
US7924472B2 (en) Update control of image processing control data
JP3520859B2 (ja) 画像ファイルの出力画像調整
JP3826741B2 (ja) 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、画像処理方法、コンピュータプログラム、および、記録媒体
US7327490B2 (en) Image processing system via network
JP4576770B2 (ja) 画像ファイルの生成
JP4193378B2 (ja) 画像ファイル生成装置
JP2003030670A (ja) 画像処理およびレイアウトの指定が可能な画像ファイルの生成
JP4168610B2 (ja) 処理制御データ付き画像ファイルの生成装置
JP4696411B2 (ja) 画像ファイル生成装置、画像ファイル生成方法、コンピュータプログラム、および、記録媒体
JP4128759B2 (ja) 色変換装置および色変換プログラム
US20040042025A1 (en) Image processing method, image processing apparatus, image recording apparatus, program and recording medium
JP2003052002A (ja) 画像ファイルの出力画像調整
JP4496817B2 (ja) ネットワークを介した画像処理
JP2002051225A (ja) 画像処理装置及び方法
JP2004297390A (ja) 出力画像の色再現調整
JP3900871B2 (ja) 画像ファイル生成装置および画像データ出力装置
JP3858859B2 (ja) 画像データの出力調整
JP2004236201A (ja) 画像処理装置およびその方法
JP2003032609A (ja) 画像データの画像処理に用いられる画像処理制御データの設定
JP4735678B2 (ja) 画像ファイルの生成
JP2005202749A (ja) 画像処理方法、画像処理装置及び画像記録装置
JP2002016821A (ja) 画像処理方法および装置並びにそのためのプログラムを記録した記録媒体
JP2007306610A (ja) デジタルカメラ
JP2004242232A (ja) 記録媒体及び画像記録装置並びに画像記録方法
JP2005079951A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および像構造プロファイル

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071225

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080728

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120815

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees