JP4509499B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4509499B2
JP4509499B2 JP2003196197A JP2003196197A JP4509499B2 JP 4509499 B2 JP4509499 B2 JP 4509499B2 JP 2003196197 A JP2003196197 A JP 2003196197A JP 2003196197 A JP2003196197 A JP 2003196197A JP 4509499 B2 JP4509499 B2 JP 4509499B2
Authority
JP
Japan
Prior art keywords
shooting
image
image processing
scene
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003196197A
Other languages
English (en)
Other versions
JP2005033502A (ja
Inventor
孝彦 小泉
育央 早石
敏恵 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003196197A priority Critical patent/JP4509499B2/ja
Publication of JP2005033502A publication Critical patent/JP2005033502A/ja
Application granted granted Critical
Publication of JP4509499B2 publication Critical patent/JP4509499B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Record Information Processing For Printing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮影時の撮影条件を記述する撮影情報を用いて画像データに対する画像処理を実行する画像処理技術に関する。
【0002】
【従来の技術】
ポートレート、夜景といった撮影シーンに応じた撮影モードを備えるディジタルスチルカメラ(DSC)が実用化されている。これらDSCでは、撮影モードが選択されると、シャッター速度、露出等の複数の撮影パラメータの値は対応する撮影シーンに応じて予め設定された値に設定される。したがって、撮影者は、撮影パラメータを個別に設定する必要がなく、簡易に撮影シーンに応じた撮影条件にて被写体を撮影することができる。選択された撮影モードは、DSCのファイルフォーマット規格であるExif2.2に準拠する画像データでは、シャッター速度、露出モード、光源等の他の撮影条件と共に撮影シーン情報として画像データのヘッダ相当部に撮影情報として記述される(特許文献1参照)。
【0003】
【特許文献1】
特開2002−344989号公報
【0004】
【発明が解決しようとする課題】
しかしながら、パーソナルコンピュータ、プリンタといった画像処理装置における画像処理時に、撮影情報が有効に活用されなければ、撮影シーンに適した画像処理を実行することができず、DSCにおいて撮影シーン(撮影モード)を設定する意味がなくなってしまう。
【0005】
また、撮影モードは、必ずしも撮影シーン(撮影環境)に応じて切り換えられるとは限らず、例えば、常に「標準」のまま撮影されることが少なくない。したがって、撮影モードに依存することなく、あるいはユーザによる撮影条件の設定に依存することなく撮影時の撮影シーンに適した画像処理を実行することが望まれる。
【0006】
本発明は、上記課題を解決するためになされたものであり、より多くの画像データに対して撮影時の撮影シーンに適した画像処理を実行することを目的とする。
【0007】
【課題を解決するための手段および作用・効果】
上記課題を解決するために本発明の第1の態様は、撮影時における撮影情報を含む画像データに対して、撮影時の撮影シーンに適した画像処理を実行する画像処理装置を提供する。本発明の第1の態様に係る画像処理装置は、画像データを取得する画像データ取得手段と、撮影シーンに適した複数のシーン別画像処理条件を記憶する記憶手段と、前記撮影情報を用いて前記撮影時の撮影シーンを判定する撮影シーン判定手段と、前記判定された撮影シーンに適切な前記シーン別画像処理条件を前記記憶手段から取得するシーン別画像処理条件取得手段と、前記取得されたシーン別画像処理条件を用いて前記画像データに対する画質調整処理を実行する画質調整手段とを備えることを特徴とする。
【0008】
本発明の第1の態様に係る画像処理装置によれば、撮影時の撮影シーンに適したシーン別画像処理条件を取得し、取得したシーン別画像処理条件を用いて画質調整処理を実行することができる。したがって、撮影時の撮影情報を有効に活用して、多くの画像データに対して撮影時の撮影シーン(撮影環境、撮影場面)に適した画質調整処理を実行することができる。
【0009】
本発明の第1の態様に係る画像処理装置において、前記撮影シーンの判定は、前記撮影情報に設定された撮影シーンの情報が含まれている場合には、撮影シーンの情報を用いて実行されても良い。かかる場合には、撮影時の撮影シーン情報を用いるので、より適切に撮影シーンに適した画質調整処理を実行することができる。
【0010】
本発明の第1の態様に係る画像処理装置において、前記撮影シーンの判定は、前記撮影情報に含まれる露出時間、Fナンバー、レンズ焦点距離、撮影時間、露出プログラム、絞り値、シャッター速度、被写体距離レンジ、ISOスピードレート、フラッシュの情報を用いて実行されても良い。これら撮影情報は、一般的に、撮像装置によって測定、演算されるパラメータであり、撮像装置によって撮影者の意図とは無関係に撮影情報に常に書き込まれる情報である。したがって、これら情報を用いることにより、常に撮影シーンを推定し、撮影シーンに適した画質調整処理を実行することができる。
【0011】
本発明の第1の態様に係る画像処理装置において、前記撮影シーンの判定は、前記撮影情報に設定された撮影シーンの情報が含まれていない場合には、前記撮影情報に含まれる露出時間、Fナンバー、レンズ焦点距離、撮影時間、露出プログラム、絞り値、シャッター速度、被写体距離レンジ、ISOスピードレート、フラッシュの情報を用いて実行されても良い。かかる場合には、撮影シーンの情報を利用することができない場合であっても、これら情報を用いることにより、撮影シーンを推定し、撮影シーンに応じた画質調整処理を実行することができる。
【0012】
本発明の第1の態様に係る画像処理装置において、前記シーン別画像処理条件は、個々の撮影シーンに応じて予め用意された複数の画質に関わるパラメータ値の組み合わせであっても良い。かかる場合には、画質調整処理の結果を、より精度良く撮影シーンに適合させることができる。
【0013】
本発明の第1の態様は、撮影時における撮影情報を含む画像データに対して、撮影シーンに応じて用意された複数のシーン別画像処理条件を用いて撮影シーンに適した画像処理方法としても実現され得る。本発明の第1の態様に係る画像処理方法は、前記撮影情報を用いて前記選択された撮影シーンを判定し、撮影シーンに適した複数のシーン別画像処理条件を記憶する記憶装置から、前記判定した撮影シーンに適切なシーン別画像処理条件を選択し、前記選択したシーン別画像処理条件を用いて前記画像データに対する画質調整処理を実行することを特徴とする。
【0014】
本発明の第1の態様に係る画像処理方法によれば、本発明の第1の態様に係る画像処理装置と同様の作用効果を得ることができると共に、本発明の第1の態様に係る画像処理方法は、本発明の第1の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。
【0015】
本発明の第1の態様は、撮影時における撮影情報を含む画像データに対して、撮影シーンに応じて用意された複数のシーン別画像処理条件を用いて撮影シーンに適した画像処理を実行するプログラムとしても実現され得る。本発明の第1の態様に係る画像処理プログラムは、前記撮影情報を用いて前記選択された撮影シーンを判定する機能と、撮影シーンに適した複数のシーン別画像処理条件を記憶する記憶装置から、前記判定した撮影シーンに適切なシーン別画像処理条件を選択する機能と、前記選択したシーン別画像処理条件を用いて前記画像データに対する画質調整処理を実行する機能とをコンピュータによって実行させることを特徴とする。
【0016】
本発明の第1の態様に係る画像処理プログラムによれば、本発明の第1の態様に係る画像処理装置と同様の作用効果を得ることができると共に、本発明の第1の態様に係る画像処理プログラムは、本発明の第1の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。また、画像処理プログラムは記録媒体に格納されても良い。
【0017】
本発明の第2の態様は、撮影時における撮影情報を含む画像データに対して画像処理を実行する画像処理装置を提供する。本発明の第2の態様に係る画像処理装置は、前記画像データに対する複数の異なる画像処理条件を記憶する記憶手段と、前記撮影情報を用いて撮影時の撮影条件に適した画像処理条件を前記記憶手段から選択する選択手段と、前記選択された画像処理条件を用いて前記画像データに対する画質調整処理を実行する画質調整手段とを備えることを特徴とする。
【0018】
本発明の第2の態様に係る画像処理装置によれば、画像データに対する複数の異なる画像処理条件を記憶する記憶手段から、撮影情報を用いて撮影時の撮影条件に適した画像処理条件を選択し、選択した画像処理条件を用いて画質調整処理を実行することができる。したがって、撮影時の撮影情報を有効に活用して、多くの画像データに対して撮影時の撮影条件(撮影場面)に適した画質調整処理を実行することができる。
【0019】
本発明の第2の態様に係る画像処理装置において、前記画像処理条件の選択は、前記撮影情報に撮影時の撮影シーンの情報が含まれている場合には、撮影シーンの情報を用いて実行されても良い。かかる場合には、撮影時の撮影シーン情報を用いるので、総合的に撮影条件に適した画質調整処理を実行することができる。
【0020】
本発明の第2の態様に係る画像処理装置において、前記画像処理条件の選択は、少なくとも前記撮影情報に含まれる露出時間、Fナンバー、レンズ焦点距離、撮影時間、露出プログラム、絞り値、シャッター速度、被写体距離レンジ、ISOスピードレート、フラッシュの情報を用いて実行されても良い。これら撮影情報は、一般的に、撮像装置によって測定、演算されるパラメータであり、撮像装置によって撮影情報に常に書き込まれる情報である。したがって、これら情報を用いることにより、常に、撮影条件に適した画質調整処理を実行することができる。
【0021】
本発明の第2の態様に係る画像処理装置において、前記画像処理条件の選択は、前記撮影情報に撮影時の撮影シーンの情報が含まれていない場合には、少なくとも前記撮影情報に含まれる露出時間、Fナンバー、レンズ焦点距離、撮影時間、露出プログラム、絞り値、シャッター速度、被写体距離レンジ、ISOスピードレート、フラッシュの情報を用いて実行されるても良い。かかる場合には、撮影シーンの情報を利用することができない場合であっても、これら情報を用いることにより、撮影条件に応じた画質調整処理を実行することができる。
【0022】
本発明の第2の態様に係る画像処理装置において、前記画像処理条件は、個々の撮影シーンに応じて予め用意された複数の画質に関わるパラメータ値の組み合わせであっても良い。かかる場合には、画質調整処理の結果を、より精度良く総括的に撮影条件に適合させることができる。
【0023】
本発明の第2の態様は、撮影時における撮影情報を含む画像データに対して画像処理を実行する画像処理方法としても実現され得る。本発明の第2の態様に係る画像処理方法は、前記撮影情報を用いて撮影時の撮影条件に適した画像処理条件を、予め用意された前記画像データに対する複数の異なる画像処理条件の中から選択し、前記選択した画像処理条件を用いて前記画像データに対する画質調整処理を実行することを特徴とする。
【0024】
本発明の第2の態様に係る画像処理方法によれば、本発明の第2の態様に係る画像処理装置と同様の作用効果を得ることができると共に、本発明の第2の態様に係る画像処理方法は、本発明の第2の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。
【0025】
本発明の第2の態様は。撮影時における撮影情報を含む画像データに対して画像処理を実行する画像処理プログラムとしても実現される。本発明の第2の態様に係る画像処理プログラムは、前記撮影情報を用いて撮影時の撮影条件に適した画像処理条件を、予め用意された前記画像データに対する複数の異なる画像処理条件の中から選択する機能と、前記選択した画像処理条件を用いて前記画像データに対する画質調整処理を実行する機能とをコンピュータによって実行させることを特徴とする。
【0026】
本発明の第2の態様に係る画像処理プログラムによれば、本発明の第2の態様に係る画像処理装置と同様の作用効果を得ることができると共に、本発明の第2の態様に係る画像処理プログラムは、本発明の第2の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。また、画像処理プログラムは記録媒体に格納されても良い。
【0027】
本発明の第3の態様は、撮影時の撮影シーンに適した画像処理が施された、撮影時における撮影情報を含む画像データを用いて画像を出力する画像出力装置を提供する。本発明の第3の態様に係る画像出力装置は、画像データを取得する画像データ取得手段と、撮影シーンに適した複数のシーン別画像処理条件を記憶する記憶手段と、前記撮影情報を用いて前記撮影時の撮影シーンを判定する撮影シーン判定手段と、前記判定された撮影シーンに適切な前記シーン別画像処理条件を前記記憶手段から取得するシーン別画像処理条件取得手段と、前記取得されたシーン別画像処理条件を用いて前記画像データに対する画質調整処理を実行する画質調整手段と、前記画質調整処理が施された画像データを用いて画像を出力する画像出力手段とを備えることを特徴とする。
【0028】
本発明の第3の態様に係る画像出力装置によれば、撮影時の撮影シーンに適したシーン別画像処理条件を用いて画質調整処理が施された画像データを用いて画像を出力することができる。したがって、撮影時の撮影シーン(撮影環境、撮影場面)に適した出力画像を得ることができる。
【0029】
本発明の第4の態様は、撮影時の撮影シーンに適した画像処理が施された、撮影時における撮影情報を含む画像データを用いて画像を出力する画像出力装置を提供する。本発明の第5の態様に係る画像出力装置は、前記画像データに対する複数の異なる画像処理条件を記憶する記憶手段と、前記撮影情報を用いて撮影時の撮影条件に適した画像処理条件を前記記憶手段から選択する選択手段と、前記選択された画像処理条件を用いて前記画像データに対する画質調整処理を実行する画質調整手段と、前記画質調整処理が施された画像データを用いて画像を出力する画像出力手段とを備えることを特徴とする。
【0030】
本発明の第4の態様に係る画像出力装置によれば、撮影時の撮影条件に適した画像処理条件を用いて画質調整処理が施された画像データを用いて画像を出力することができる。したがって、撮影時の撮影条件(撮影場面)に適した出力画像を得ることができる。
【0031】
本発明の第4および第5の態様は、この他にも方法、プログラム、プログラムを記録した記録媒体の形態を取り得ると共に、方法、プログラム、プログラムを記録した記録媒体の形態を取る場合には、画像出力装置と同様の作用効果を得ることができる。また、方法、プログラム、プログラムを記録した記録媒体の形態を取る場合にも画像出力装置の場合と同様にして種々の態様を取り得る。
【0032】
【発明の実施の形態】
以下、本発明に係る画像処理装置について図面を参照しつつ、実施例に基づいて説明する。
【0033】
A.画像処理システムの構成:
第1の実施例に係る画像処理装置を適用可能な画像処理システムの構成について図1〜図4を参照して説明する。図1は本発明に係る画像処理装置を適用可能な画像処理システムの一例を示す説明図である。図2は画像ファイル(画像データ)を生成可能なディジタルスチルカメラの概略構成を示すブロック図である。図3はディジタルスチルカメラにおける撮影モードの選択場面を示す説明図である。図4は本実施例に係る画像処理装置として機能するカラープリンタの概略構成を示すブロック図である。
【0034】
画像処理システムは、画像ファイルを生成する入力装置としてのディジタルスチルカメラ12、ディジタルスチルカメラ12にて生成された画像ファイルに基づいて画像処理を実行し、印刷用画像データを出力する画像処理装置としてのパーソナルコンピュータPC、印刷用画像データを用いて画像を出力する出力装置としてのカラープリンタ20を備えている。なお、カラープリンタ20は、パーソナルコンピュータPCが備える画像処理機能を備えていても良く、かかる場合には、スタンドアローンにて画像処理、画像出力を実行することができる。また、出力装置としては、プリンタ20の他に、CRTディスプレイ、LCDディスプレイ等のモニタ14、プロジェクタ等が用いられ得る。以下の説明では、パーソナルコンピュータPCと接続されて用いられるカラープリンタ20を出力装置として用いるものとする。
【0035】
パーソナルコンピュータPCは、一般的に用いられているタイプのコンピュータであり、本発明に係る画像処理プログラムを実行するCPU150、CPU150における演算結果、画像データ等を一時的に格納するRAM151、画像処理プログラムを格納するハードディスクドライブ(HDD)152を備えている。パーソナルコンピュータPCは、メモリカードMCを装着するためのカードスロット153、ディジタルスチルカメラ12等からの接続ケーブルを接続するための入出力端子154を備えている。
【0036】
ディジタルスチルカメラ12は、光の情報をディジタルデバイス(CCDや光電子倍増管)に結像させることにより画像を取得するカメラであり、図2に示すように光情報を収集するためのCCD等を備える光学回路121、光学回路121を制御して画像を取得するための画像取得回路122、取得したディジタル画像を加工処理するための画像処理回路123、メモリを備えると共に各回路を制御する制御回路124を備えている。ディジタルスチルカメラ12は、取得した画像をディジタルデータとして記憶装置としてのメモリカードMCに保存する。ディジタルスチルカメラ12における画像データの保存形式としては、非可逆圧縮保存方式としてJPEGデータ形式、可逆圧縮保存方式としてTIFFデータ形式が一般的であるが、この他にもRAWデータ形式、GIFデータ形式、BMPデータ形式等の保存形式が用いられ得る。
【0037】
ディジタルスチルカメラ12はまた、図3にも示すように、選択・決定ボタン126と、撮影画像をプレビューしたり、選択・決定ボタン126を用いた選択・決定を実行するための液晶ディスプレイ127とを備えている。選択・決定ボタン126は、シャッター速度、露出プログラム、ISOスピードレート等の撮影条件、夕景、夜景、ポートレートといった撮影シーンに応じて予め複数の撮影パラメータの値が設定されている撮影モードを設定するために用いられても良い。
【0038】
ディジタルスチルカメラ12は、画像データ撮影時における撮影情報(Exif情報)と画像データとを関連づけて画像ファイルGFとしてメモリカードMCに格納する。ユーザによって、人物、夜景、風景といった撮影条件に適した撮影モード(撮影シーン)が選択された場合には、選択された撮影モードが撮影情報として画像データに関連づけられてメモリカードMCに格納される。なお、撮影情報のパラメータ値には、露光補正量、ホワイトバランス等といった個別に指定可能なパラメータ値も含まれ得ることはいうまでもない。
【0039】
ディジタルスチルカメラ12において生成された画像ファイルGFは、例えば、ケーブルCV、コンピュータPCを介して、あるいは、ケーブルCVを介してカラープリンタ20に送出される。あるいは、ディジタルスチルカメラ12にて画像ファイルGFが格納されたメモリカードMCが、メモリカード・スロットに装着されたコンピュータPCを介して、あるいは、メモリカードMCをプリンタ20に対して直接、接続することによって画像ファイルがカラープリンタ20に送出される。なお、以下の説明では、撮影情報を用いた画像データに対する画像処理がパーソナルコンピュータPCにて実行され、処理済みの画像データがカラープリンタ20に対して出力される場合について説明する。
【0040】
図4に示すカラープリンタ20は、カラー画像の出力が可能なプリンタであり、例えば、シアン(C)、マゼンタ(M)、イエロー(Y)、ブラック(K)の4色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記4色に加えて、ライトシアン(薄いシアン、LC)、ライトマゼンタ(薄いマゼンタ、LM)、ダークイエロ(暗いイエロ、DY)を用いても良い。
【0041】
カラープリンタ20は、図示するように、キャリッジ30に搭載された印字ヘッドIH1〜IH4を駆動してインクの吐出およびドット形成を行う機構と、このキャリッジ30をキャリッジモータ31によってプラテン32の軸方向に往復動させる機構と、紙送りモータ33によって印刷用のカット紙40を搬送する機構と、制御回路50とから構成されている。キャリッジ30をプラテン32の軸方向に往復動させる機構は、プラテン32の軸と並行に架設されたキャリッジ30を摺動可能に保持する摺動軸34と、キャリッジモータ31との間に無端の駆動ベルト35を張設するプーリ36等から構成されている。
【0042】
制御回路50は、パーソナルコンピュータPCから送出された印刷コマンドに従い、紙送りモータ33やキャリッジモータ31、印字ヘッドIH1〜IH4の動きを適切に制御して、パーソナルコンピュータPCから送られてきた画像データを印刷媒体上に画像として出力する。キャリッジ30にはインクカートリッジINC1とインクカートリッジINC2とが装着される。インクカートリッジINC1には黒(K)インクが収容され、インクカートリッジINC2には他のインク、すなわち、シアン(C),マゼンタ(M),イエロ(Y)の3色インクが収納されている。ライトシアン(LC),ライトマゼンタ(LM),ダークイエロ(DY)のインクも収納可能であることは既述の通りである。
【0043】
B.画像ファイルの構成:
本実施例に係る画像ファイルGFは、例えば、電子情報技術産業協会(JEITA)によってディジタルスチルカメラ用画像ファイルフォーマットの規格として提唱されているExifフォーマットに従うファイル構造(Exifファイル)、C-Cube Microsystems社, Xing Technology社, Digital Origin(Radius)社の3社によって策定された、JPEGデータファイルの互換性を目的とした規格であるJFIFフォーマットに従うファイル構造(JFIFファイル)、画像データに関するパラメータをタグ形式にて指定するTIFFフォーマットに従うファイル構造(TIFFファイル)を備えることができる。Exifファイルは、格納する画像データの種類によって、非可逆圧縮タイプのJPEG画像データを格納するJPEG-Exifファイル、可逆圧縮タイプのTIFF画像データを格納するTIFF-Exifファイルに区別することができる。
【0044】
図5〜図7を参照して本実施例にて用いられ得るJPEGデータ格納ファイルとしてのExif画像ファイルの概略構成について説明する。図5はExif画像ファイルのファイル構成を模式的に示す説明図である。図6は本実施例において用いられ得るExif画像フォーマットにおける撮影条件タグの概略的な内部構造を詳細に示す説明図である。図7はパーソナルコンピュータPCのHDD152(またはROM)に格納されている、撮影情報に基づき決定される撮影シーンに対応する画像処理モードGMを構成する複数の画質に関するパラメータが取り得る値の一例を示す説明図である。なお、本実施例中におけるファイルの構造、データの構造、格納領域といった用語は、ファイルまたはデータ等が記憶装置内に格納された状態におけるファイルまたはデータのイメージを意味するものである。
【0045】
画像ファイルGFは、JPEG画像データGD、JPEG画像データGDに対する付属情報を格納するアプリケーション・マーカセグメントAPPを備えている。アプリケーション・マーカセグメントAPP(IFD)では、各情報を特定するためにタグが用いられており、各情報はタグ名によって呼ばれることがある。図5に示すアプリケーション・マーカセグメントAPPには、画像処理制御情報GIを格納するタグ(領域)、Exif情報(撮影情報)を格納するタグ(領域)、サムネイル画像データが含まれている。
【0046】
Exif情報には、ユーザ情報を格納するタグ、撮影条件を格納するタグ等が含まれている。撮影条件タグには、図6に示すように、露出時間、Fナンバー、レンズ焦点距離、原画像データ生成日時、露出プログラム、シャッター速度、撮影モードを始めとする撮影条件に関する各種パラメータの値が記述されている。
【0047】
画像処理モードGMは、例えば、図7に示すようにコントラスト、彩度等の複数の画質に関連するパラメータによって構成され、各画質に関するパラメータの値は画像処理モードGM(撮影モード)によってそれぞれ異なる値を取る。また、各画像処理モードGMには、番号が割り振られており、撮影情報に基づいて撮影シーンが判定される場合には、判定された撮影シーンに対応する各画像処理モードGMは番号によって指定される。
【0048】
C.パーソナルコンピュータPCにおける画像処理:
以下、図8〜図10を参照してパーソナルコンピュータPCにて実行される画像処理について説明する。図8は本実施例に係る画像処理装置(パーソナルコンピュータPC)における画像処理の処理ルーチンを示すフローチャートである。図9は本実施例に係る画像処理装置(パーソナルコンピュータPC)における撮影情報を用いた画質調整処理の処理ルーチンを示すフローチャートである。図10は撮影情報と画像処理モードGMとを対応付けるテーブル例を示す説明図である。
【0049】
パーソナルコンピュータPCのCPU150は、スロット153にメモリカードMCが差し込まれると、あるいは、ディジタルスチルカメラ12に接続されている接続ケーブルCVが入出力端子154に接続されると本画質調整処理のプログラムを起動する。CPU150は、ユーザの指示に従ってメモリカードMCから画像ファイルGFを読み出し、読み出した画像ファイルGFをRAM151に一時的に格納する(ステップS100)。
【0050】
CPU150は、画像ファイルGFを検索して撮影情報が含まれているか否かを判定する(ステップS110)。CPU150は、画像ファイルGFから撮影情報を発見(検出)することができた場合には(ステップS110:Yes)、撮影情報を取得して(ステップS120)、撮影情報を用いた画像処理(画質調整処理)を実行する(ステップS130)。
【0051】
撮影情報を用いた画像処理について図9を参照して説明する。CPU150は、読み出した画像ファイルGFに含まれる画像データGDを伸張し、伸張した画像データGDに対してマトリクスSを用いたマトリクス演算を実行してYCbCr→RGB色変換処理を実行する(ステップS200)。本フローチャートにて処理される画像ファイルGFは、JPEG画像データを格納しており、JPEGデータはYCbCrデータを圧縮したデータである。また、現在のパーソナルコンピュータPC、プリンタにおける画像処理では一般的にRGBデータが用いられている。したがって、JPEGデータの伸張(デコード)、YCbCrデータのRGBデータへの色変換処理が必要となる。マトリクスSは、JFIF規格において、YCbCrデータをRGBデータへと変換する際に一般的に用いられるマトリクスであり、当業者にとって周知のマトリクスであるから詳細な説明は省略する。
【0052】
CPU150は、撮影情報中にポートレート、風景、夜景等のといった撮影時における撮影モードを示す撮影シーン(情報)が記述されているか否かを判定する(ステップS210)。CPU150は、撮影情報中に撮影シーンを検出した場合には(ステップS210:Yes)、撮影情報に記述された撮影シーンに対応する画像処理モードGMを選択・取得し(ステップS220)、取得した画像処理モードGMを用いた画質調整処理を実行する(ステップS230)。本実施例を含めて一般的に、撮影情報として記述され得る撮影シーンは、画像処理モードGMよりも少ないので、撮影情報と画像処理モードGMとの対応付けに問題はない。また、撮影情報として記述される撮影シーン数が画像処理モードGM数を上回る場合には、画像処理モードGM数を増加させれば良い。
【0053】
画像処理モードGMを用いた画質調整処理について具体的に説明する。CPU150は、撮影情報に基づき選択された番号に対応する、図7に示す1〜11までのいずれかの画像処理モードGMにより規定される各画質に関するパラメータの値を用いて画質調整処理を実行する。画質調整処理について詳細に説明すると、CPU150は、画像データGDを画素単位にて解析して画像データGDの特性を示す各種の特性パラメータ値、例えば、輝度最小値、輝度最大値、明度代表値といった画像統計値を取得する。CPU150は、HDD152に格納されている各特性パラメータに対して予め定められた基準値と、解析により得られた画像統計値との差を解消または低減させるように補正量を求め、画像データGDのRGB値を補正する。画像データGDの補正は、例えば、求めた補正値を入力値に対する出力値の関係を規定するトーンカーブに適用して修正し、かかるトーンカーブに対して画像データGDを入力値として適用することにより実行される。
【0054】
画像処理モードGMにより指定された各パラメータ値は、基準値と画像統計値との差の解消の度合いまたは低減の度合い(補正量)を変更するために用いられると共に、直接、補正量(補正値)に反映される。
【0055】
例えば、画像処理モードGMとして、風景モードに対応する「3」が指定されている場合には、基準値に対する補正の度合いは、コントラストについてはやや硬調(やや強めに)、明るさおよびカラーバランスについては標準に、彩度についてはやや高く(やや強めに)、シャープネスについてはやや強めに設定される。また記憶色として空色および緑色が指定されているので、HDD152に予め格納されている空色および緑色データ(RGB値)が用いられ、ノイズ除去処理はオフされる。このように、撮影シーンに応じた画像処理モードに従って画質調整処理が実行されるので、撮影シーンとして風景モードが選択された場合には、コントラストの高い硬調でメリハリの効いた画像となり、撮影シーンとして夕景モードが選択されている場合に赤色の色かぶりが除去されたり、撮影シーンとして夜景モードが選択されている場合に明度補正によって明るく補正されてしまうことはなく、撮影者の意図に沿った画質調整処理を実行することができる
【0056】
一方、CPU150は、撮影情報中に撮影シーンを検出できなかった場合には(ステップS210:No)、撮影情報に記述された他の撮影条件に基づいて対応する画像処理モードGMを選択・取得し(ステップS240)、取得した画像処理モードGMを用いた画質調整処理を実行する(ステップS230)。
【0057】
各撮影条件と画像処理モードGMとの対応付けは、例えば、以下のように行われる。先ず、撮影者が設定を意識することなく、カメラ側にて測定、演算処理等することによって撮影情報として記述されるパラメータ、すなわち、撮影者が意図的に設定することなくディジタルスチルカメラ12によって自動的に撮影情報に記述される情報について説明する。
【0058】
(1)撮影情報に記述されている露出時間が1/30以上の場合には、手ぶれが起こりやすい夜景、室内といった暗い撮影環境において生成された画像データであると判定(推定)することができる。したがって、画像処理モードGMの5と対応付け、画質調整処理においてノイズリダクション効果により画像の鮮鋭度を向上させる。
【0059】
(2)撮影情報に記述されているFナンバーが8以上であり、レンズ焦点距離が5.6の場合には、パンフォーカスを期待する風景や、集合写真(記念写真、団体写真)と判定することができる。したがって、画像処理モードGMの3または11と対応付け、画質調整処理においてシャープさを上げてメリハリをつけることにより見栄えの良い画像とする。
【0060】
(3)撮影情報に記述されている原画像データの生成日時の内、時刻が16:30〜17:30の場合には夕方における撮像画像であると判定することができる。したがって、画像処理モードGMの10と対応付け、画質調整処理において赤フィルタ効果によって夕景を損なわない画像処理を実行する。
【0061】
(4)撮影情報に記述されている露出時間が1/500以下、Fナンバーが8以上、レンズ焦点距離が10mm以上の場合には、動きの速い被写体を撮影した画像であると判定することができる。したがって、画像処理モードGMの8と対応付け、画質調整処理において被写体にメリハリをつけた画像処理を実行する。
【0062】
以上の場合には、ユーザ(撮影者)の設定を伴わないディジタルスチルカメラ12において自動的に設定される撮影条件のみに基づいて画像処理モードGMを選択したが、ユーザの設定した撮影条件も考慮して図10に示すテーブルを用いて実行されても良い。本実施例において用いられる撮影条件としては、露出、シャッター速度のいずれの撮影パラメータを優先させるかを設定する露出プログラム、CCDに対する露光量の設定値を示す絞り値(Fナンバー)、CCDに対する露光時間の設定値を示すシャッター速度、被写体距離レンジ、増感量を示すISOスピードレート、発光禁止、強制発光といったフラッシュの動作状態を示すフラッシュの組み合わせである。なお、これら撮影条件は例示に過ぎず、この他にもホワイトバランス、ゲイン制御、撮影コントラスト・彩度・シャープネス、ディジタルズーム倍率、露出時間、光源、被写体領域等の撮影条件を適宜、上記組み合わせに加え、あるいは、別の組み合わせとして用いてもよい。
【0063】
CPU150は、画像処理モードGMを用いた画質調整処理が施された画像データ(RGBデータ)をCMYKデータに変換する色変換処理を実行して(ステップS250)、図8に示す画像処理ルーチンにリターンする。すなわち、画像データの表色系をカラープリンタ20が印刷処理を実行する際に用いる表色系であるCMYK表色系に変換する。具体的には、HDD152(ROM)に格納されているRGB表色系とCMYK表色系とを対応付けたルックアップデーブルを用いて実行される。
【0064】
CPU150は、以上の画像処理を終えて図8に示す画像処理ルーチンにリターンすると、得られた画像データを用いて印刷出力処理を実行し(ステップS140)、本処理ルーチンを終了する。印刷出力処理では、CPU150は、ハーフトーン処理、解像度変換処理を実行して、印刷用データと印刷制御コマンドとを含むラスタデータとしてカラープリンタ20の制御回路50に送出する。
【0065】
CPU150は、ステップS110にて画像ファイルGFから撮影情報を発見(検出)することができなかった場合には(ステップS110:No)、撮影情報を用いることなく、撮影情報とは関連性のない、予め用意された画像処理条件にしたがって、画像処理を実行する(ステップS180)。CPU150は、処理された画像データを出力して(ステップS140)、本処理ルーチンを終了する。なお、通常画像処理においても、基準値を用いた画質調整処理が実行され得ることはいうまでもない。
【0066】
以上説明したように、本実施例に係る画像処理装置としてのパーソナルコンピュータPCによれば、撮影情報に基づいて選択した画像処理モードGMを用いて画像処理(画質調整処理)を実行するので、撮影時の撮影シーン(撮影環境)に適した画質調整処理を、より多くの撮像画像に対して実行することができる。
【0067】
また、本実施例に係るパーソナルコンピュータPCは、撮影情報のうち、一般的に、撮像装置によって測定、演算されるパラメータであり、撮像装置によって撮影情報に常に書き込まれる情報を用いて画質調整処理を実行することができるので、常に撮影シーンを推定し、撮影シーンに適した画質調整処理を実行することができる。すなわち、撮影者による撮影条件の設定に依存することなく、ディジタルスチルカメラ12によって書き込まれる撮影条件(固有の仕様、測定結果、演算結果)を用いて画像データに対する画質調整を実行することができる。
【0068】
さらに、撮影情報として撮影モードが記述されてる場合には、撮影モードに対応する画像処理モードGMを選択し、選択した画像処理モードGMを用いて画質調整処理を実行することができるので、より的確に撮影時の撮影シーンに対応した画像処理、すなわち、撮影者が望んだ画質調整処理を実行することができる。
【0069】
また、画像処理制御情報GIに画像処理モードGMを指定する情報が含まれていない場合には、撮影情報として記述された撮影モードを用いて選択した画像処理モードGMを用いて画質調整処理を実行することができるので、撮影時に選択された撮影モードに対応する画質調整処理、すなわち、撮影者が意図した画像処理を実行することができる。
【0070】
上記実施例では、画像処理装置としてのパーソナルコンピュータPCによって全ての画像処理を実行し、処理が施された画像データをカラープリンタ20に出力しているが、パーソナルコンピュータPCを介することなく、画像処理の全て、または、一部をカラープリンタ20において実行し、処理が施された画像データGDに従って、ドットパターンを印刷媒体上に形成するようにしても良い。コンピュータ上で実行するようにしても良い。この場合には、カラープリンタ20に図8〜10を参照して説明した画像処理機能を持たせることによって実現される。ディジタルスチルカメラ12にて生成された画像ファイルGFは、ケーブルを介して、あるいは、メモリカードMCを介してカラープリンタ20に対して直接提供される。画像処理プログラムは、例えば、メモリカードMCの差込を検知することによって、あるいは、ケーブルの差込を検知することによって自動的に起動し、画像ファイルGFの読み込み、撮影情報の検索、画像データGDの変換、調整が自動的になされても良い。あるいは、カラープリンタ20の操作パネル上に画質自動調整ボタンを供え、かかる画質自動調整ボタンによって選択された画質自動調整が選択されている場合にだけ、上記実施例の画質自動調整処理を実行するようにしても良い。
【0071】
さらに、パーソナルコンピュータPCで実行される画像処理の全て、または、一部をディジタルスチルカメラ12において実行しても良い。この場合には、ディジタルスチルカメラ12のROM等に格納されている、レタッチアプリケーション、プリンタドライバといった画像データ処理アプリケーションに図4〜8を参照して説明した画像処理機能を持たせることによって実現される。ディジタルスチルカメラ12において生成された印刷制御コマンドと印刷用画像データとを含む印刷用データは、ケーブルを介して、あるいは、メモリカードMCを介してプリンタ20に提供される。印刷用データを受けたプリンタ20は、印刷用画像データに従って、ドットパターンを印刷媒体上に形成して画像を出力する。なお、ディジタルスチルカメラ12は、印刷用画像データ(画像処理済み画像データ)をパーソナルコンピュータPCまたはプリンタ20に提供しても良い。かかる場合には、パーソナルコンピュータPCまたはプリンタ20において印刷用画像データに対して印刷制御コマンドが与えられる。
【0072】
上記実施例では、出力装置としてカラープリンタ20を用いているが、出力装置にはCRT、LCD、プロジェクタ等の表示装置を用いることもできる。かかる場合には、出力装置としての表示装置によって、例えば、図8〜図10を参照して説明した画像処理を実行する画像処理プログラム(ディスプレイドライバ)が実行される。あるいは、CRT等がコンピュータの表示装置として機能する場合には、コンピュータ側にて画像処理プログラムが実行される。ただし、最終的に出力される画像データは、CMYK色空間ではなくRGB色空間を有している。
【0073】
かかる場合には、カラープリンタ20を介した印刷結果に撮影情報を反映できたのと同様にして、CRT等の表示装置における表示結果に撮影情報を反映することができる。したがって、ディジタルスチルカメラ12によって生成された画像データGDをより正確に表示させることができる。
【0074】
上記実施例では、画像ファイルGFの具体例としてExifファイルフォーマットの画像ファイルを例にとって説明したが、本発明に係る画像処理装置によって処理可能な画像ファイルの形式はこれに限られず、例えば、この他にもJFIF、TIFFファイルフォーマットの画像ファイルGFが用いられ得る。すなわち、画像データGDと、少なくとも画像データGDに関連付けられた撮影情報を含む画像ファイルであれば良い。
【0075】
上記実施例において用いたパーソナルコンピュータPC、カラープリンタ20はあくまで例示であり、その構成は各実施例の記載内容に限定されるものではない。パーソナルコンピュータPC、カラープリンタ20にあっては、少なくとも、撮影情報を格納し得る画像ファイルGFから撮影情報を検索し、検索された撮影情報を用いて画像処理モードGMを選択し、選択した画像処理モードGMを用いて画質を自動調整し、画像を出力(印刷)できればよい。
【0076】
上記実施例では、画像データGDと撮影情報とが同一の画像ファイルGFに含まれる場合を例にとって説明したが、画像データGDと撮影情報とは、必ずしも同一のファイル内に格納される必要はない。すなわち、画像データGDと撮影情報とが関連付けられていれば良く、例えば、画像データGDと撮影情報とを関連付ける関連付けデータを生成し、1または複数の画像データGDと撮影情報とをそれぞれ独立したファイルに格納し、画像データGDを処理する際に関連付けられた撮影情報を参照しても良い。かかる場合には、撮影情報を利用する画像処理の時点では、画像データおよび撮影情報とが一体不可分の関係にあり、実質的に同一のファイルに格納されている場合と同様に機能するからである。さらに、CD−ROM、CD−R、DVD−ROM、DVD−RAM等の光ディスクメディアに格納されている動画像ファイルも含まれる。
【0077】
以上、実施例に基づき本発明に係る画像処理装置、画像処理方法、画像出力装置を説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。
【図面の簡単な説明】
【図1】 本発明に係る画像処理装置を適用可能な画像処理システムの一例を示す説明図である。
【図2】 画像ファイル(画像データ)を生成可能なディジタルスチルカメラの概略構成を示すブロック図である。
【図3】 ディジタルスチルカメラにおける撮影モードの選択場面を示す説明図である。
【図4】 本実施例に係る画像処理装置として機能するカラープリンタの概略構成を示すブロック図である。
【図5】 Exif画像ファイルのファイル構成を模式的に示す説明図である。
【図6】 本実施例において用いられ得るExif画像フォーマットにおける撮影条件タグの概略的な内部構造を詳細に示す説明図である。
【図7】 パーソナルコンピュータPCのHDD152(またはROM)に格納されている、撮影情報に対応する画像処理モードGMを構成する複数の画質に関するパラメータが取り得る値の一例を示す説明図である
【図8】 本実施例に係る画像処理装置(パーソナルコンピュータPC)における画像処理の処理ルーチンを示すフローチャートである。
【図9】 本実施例に係る画像処理装置(パーソナルコンピュータPC)における撮影情報を用いた画質調整処理の処理ルーチンを示すフローチャートである。
【図10】撮影情報と画像処理モードGMとを対応付けるテーブル例を示す説明図である。
【符号の説明】
12…ディジタルスチルカメラ
121…光学回路
122…画像取得回路
123…画像処理回路
124…制御回路
126…選択・決定ボタン
127…液晶ディスプレイ
14…ディスプレイ
150…演算処理装置(CPU)
151…ランダムアクセスメモリ(RAM)
152…ハードディスクドライブ(HDD)
153…メモリカードスロット
154…入出力端子
20…カラープリンタ
30…キャリッジ
31…キャリッジモータ
32…プラテン
33…紙送りモータ
34…摺動軸
35…駆動ベルト
36…プーリ
50…制御回路
IH1〜IH4…印字ヘッド
GF…画像ファイル
GD…画像データ
GI…画像処理制御情報
GM…画像処理モード
MC…メモリカード

Claims (3)

  1. 画像データ生成装置において、撮影時における撮影情報が関連付けられた画像データに対して、撮影時の撮影シーンに適した画像処理を実行する画像処理装置であって、
    画像データを取得する画像データ取得手段と、
    撮影シーン毎に対応付けられている複数のシーン別画像処理条件を記憶する記憶手段と、
    前記撮影情報に、撮影時に設定された撮影シーンを示す撮影シーン情報が含まれているか否かを判定する撮影シーン情報判定手段と、
    前記撮影シーン情報が前記撮影情報に含まれていない場合には、前記撮影情報に含まれる露出時間、Fナンバー、レンズ焦点距離、撮影時間、露出プログラム、絞り値、シャッター速度、被写体距離レンジ、ISOスピードレート、フラッシュの情報の中から少なくとも2種類の情報を用いて前記撮影時の撮影シーンを判定する撮影シーン判定手段であって、露出プログラムが露出優先であり、Fナンバーが小であり、被写体距離レンジが近景または遠景であり、フラッシュが強制発光の場合には撮影シーンは逆光のポートレートであると判定し、露出プログラムが露出優先であり、Fナンバーが大であり、被写体距離レンジが遠景であり、フラッシュが発光禁止の場合には撮影シーンは風景であると判定する撮影シーン判定手段と、
    前記判定された撮影シーンに対応する前記シーン別画像処理条件を前記記憶手段から取得するシーン別画像処理条件取得手段と、
    前記取得されたシーン別画像処理条件を用いて前記画像データに対する画質調整処理を実行する画質調整手段とを備える画像処理装置。
  2. 画像データ生成装置において、撮影時における撮影情報が関連付けられた画像データに対して、撮影シーンに応じて用意された複数のシーン別画像処理条件を用いて撮影シーンに適した画像処理方法であって、
    前記撮影情報に、撮影時に設定された撮影シーンを示す撮影シーン情報が含まれているか否かを判定し、
    前記撮影シーン情報が前記撮影情報に含まれていない場合には、前記撮影情報に含まれる露出時間、Fナンバー、レンズ焦点距離、撮影時間、露出プログラム、絞り値、シャッター速度、被写体距離レンジ、ISOスピードレート、フラッシュの情報の中から少なくとも2種類の情報を用いて、露出プログラムが露出優先であり、Fナンバーが小であり、被写体距離レンジが近景または遠景であり、フラッシュが強制発光の場合には撮影シーンは逆光のポートレートであり、また、露出プログラムが露出優先であり、Fナンバーが大であり、被写体距離レンジが遠景であり、フラッシュが発光禁止の場合には撮影シーンは風景であると、前記撮影時の撮影シーンを判定し、
    撮影シーン毎に対応付けられている複数のシーン別画像処理条件を記憶する記憶装置から、前記判定した撮影シーンに対応するシーン別画像処理条件を選択し、
    前記選択したシーン別画像処理条件を用いて前記画像データに対する画質調整処理を実行する画像処理方法。
  3. 画像データ生成装置において、撮影時における撮影情報が関連付けられた画像データを用いて、撮影時の撮影シーンに適した画像処理が施された画像を出力する画像出力装置であって、
    請求項1に記載の画像処理装置と、
    前記画像処理装置によって前記画質調整処理が施された画像データを用いて画像を出力する画像出力手段とを備える画像出力装置。
JP2003196197A 2003-07-14 2003-07-14 画像処理装置 Expired - Fee Related JP4509499B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003196197A JP4509499B2 (ja) 2003-07-14 2003-07-14 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003196197A JP4509499B2 (ja) 2003-07-14 2003-07-14 画像処理装置

Publications (2)

Publication Number Publication Date
JP2005033502A JP2005033502A (ja) 2005-02-03
JP4509499B2 true JP4509499B2 (ja) 2010-07-21

Family

ID=34206773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003196197A Expired - Fee Related JP4509499B2 (ja) 2003-07-14 2003-07-14 画像処理装置

Country Status (1)

Country Link
JP (1) JP4509499B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4572345B2 (ja) 2006-03-28 2010-11-04 セイコーエプソン株式会社 印刷装置、画像データファイル処理装置、画像データファイルの選択方法、画像データファイルの選択を補助する方法、およびコンピュータプログラム
JP5254822B2 (ja) * 2009-01-26 2013-08-07 キヤノン株式会社 撮像装置及びその制御方法
JP6197062B2 (ja) * 2016-03-14 2017-09-13 オリンパス株式会社 撮像装置及び撮像方法並びに表示装置及び表示方法
CN113992850B (zh) * 2021-10-20 2023-06-20 上海闻泰电子科技有限公司 基于isp的图像处理方法及装置、存储介质和摄像设备

Also Published As

Publication number Publication date
JP2005033502A (ja) 2005-02-03

Similar Documents

Publication Publication Date Title
US7932928B2 (en) Method, apparatus, and computer program product for image processing with scene-dependent image processing condition
US7375848B2 (en) Output image adjustment method, apparatus and computer program product for graphics files
JP5131313B2 (ja) 画像データの出力画像調整
US20080174677A1 (en) Graphics data generation device and graphics data generation method
WO2002065757A1 (fr) Procede et appareil de reglage d'une image de sortie a partir de donnees d'image
JP2004072488A (ja) 画像データの出力画像調整
JP4045929B2 (ja) 被写体の大きさに応じた画質の自動調整
JP4010306B2 (ja) 画像ファイルの出力画像調整
JP4509499B2 (ja) 画像処理装置
JP2002314809A (ja) 画像データの出力画像調整
JP4015066B2 (ja) 画像ファイルの出力画像調整
JP4266716B2 (ja) 画像ファイルの出力画像調整
JP4205320B2 (ja) 画像ファイルの出力画像調整
JP5045808B2 (ja) 画像ファイルの出力画像調整
JP3922223B2 (ja) 画像データの出力画像調整
JP3999157B2 (ja) 画像ファイルの出力画像調整
JP2002314834A (ja) 画像データの出力画像調整
JP2004343610A (ja) 暗背景画像に対する画像処理
JP5206741B2 (ja) 画像ファイルの生成および出力
JP2003102033A (ja) 画像データの出力画像調整
JP2003037815A (ja) 画像ファイルの生成および出力
JP2007135225A (ja) 画像データの出力画像調整

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070410

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070808

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070829

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100308

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100428

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4509499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees