JP4347105B2 - 画像処理方法および装置並びにデータベース並びにプログラム - Google Patents

画像処理方法および装置並びにデータベース並びにプログラム Download PDF

Info

Publication number
JP4347105B2
JP4347105B2 JP2004089393A JP2004089393A JP4347105B2 JP 4347105 B2 JP4347105 B2 JP 4347105B2 JP 2004089393 A JP2004089393 A JP 2004089393A JP 2004089393 A JP2004089393 A JP 2004089393A JP 4347105 B2 JP4347105 B2 JP 4347105B2
Authority
JP
Japan
Prior art keywords
correction
digital camera
image
group
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004089393A
Other languages
English (en)
Other versions
JP2004318851A (ja
Inventor
達也 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2004089393A priority Critical patent/JP4347105B2/ja
Priority to US10/816,194 priority patent/US20040257455A1/en
Publication of JP2004318851A publication Critical patent/JP2004318851A/ja
Application granted granted Critical
Publication of JP4347105B2 publication Critical patent/JP4347105B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32122Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate device, e.g. in a memory or on a display separate from image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information
    • H04N2201/3276Storage or retrieval of prestored additional information of a customised additional information profile, e.g. a profile specific to a user ID

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は画像処理、より具体的にはデジタルカメラにより取得した画像データに対して補正を行う画像処理方法および装置、そのためのデータベース並びにプログラムに関するものである。
近年、デジタル画像データ(以下画像データという)に対してサービスを提供する様々なシステムが出現している。例えば、デジタルカメラにより撮影して得た画像データなどの保存サービス(閲覧サービスを含む)、管理サービスを行うシステムや、画像データに対して、望ましい画質になるように画質補正処理を行ってプリントするプリントサービスシステムなどがある。
例えば、上述したプリントサービスシステムとしては、ユーザが端末装置を用いてサーバ装置にアップロードした画像データに対して画質補正処理を行ってからネットワークにより接続されたミニラボなどのプリンタに出力してプリントアウトさせるシステムや、画質補正処理を施した画像データをサーバ装置において保持して、保持場所を示すURLなどのアドレスだけをミニラボなどに送信し、ミニラボからアクセスされた時に、プリント対象となる画像データをダウンロードさせてプリントアウトさせるシステムなどがある。
画像データに対して画質補正処理を行う方法としては、従来より、画像データの特徴や、撮像シーンなどを解析して、その特徴や、撮像シーンなどに応じて画質補正処理を行うことが行われている。
一方、デジタルカメラは光学系(絞り、シャッター、ストロボ)、撮像系(CCD、信号処理系)、制御系(AE、AWB、AF)、記録/再生系(圧縮/伸長、メモリ制御、表示)などの要素から構成されている。そして、これらの要素のうち再生される画像の画質に影響を与える要因としては、ストロボ光の色温度、AE(オート露出制御)処理、AWB(オートホワイトバランス調整)処理、CCD色分解カラーフィルタ、画素数、階調変換、輝度/色差信号を得るマトリクス演算処理などが挙げられ、デジタルカメラにおいてはこれらの要因を制御して高画質な再生画像となるようなデジタル画像データを取得するようにしている。
このように、デジタルカメラの機種間は、光学系、撮像系の性能の差に加え、制御系、記録/再生系の処理の違いもあり、異なる機種のデジタルカメラにより取得した画像データは、色特性、階調特性、シャープネス特性、およびノイズ特性などの画像特性が夫々異なり、これらの画像データに対して画質補正処理を行う際に、機種間の差を無くし、高品質な画質を有する処理済み画像データを得ることが望まれている。
特許文献1には、デジタルカメラにより取得した画像データに対して画質補正処理を施す際に、デジタルカメラの機種毎に画像処理条件を設定し、設定された画像処理条件を用いてその機種のデジタルカメラにより取得した画像データに対する画質補正処理を行うシステムが提案されている。
特許文献2には、医療画像の分野において、画像入力モダリティ、すなわちCR、CT、MRIなど、医療画像の撮像機器やシステムの種類(メーカ、型式なども含む)毎に画像処理条件を設定して画像処理を行う方法が提案されている。
また、移動通信の分野においては、通信技術の発展および移動通信網の整備に伴って、カメラ付きの携帯電話器などの携帯端末の急速な普及に伴って、携帯端末を対象とする画像サービスも盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、色補正や、階調補正や、シャープネス補正などの画質補正処理を行ってから受信側の携帯端末に送信したり、受信側の携帯端末が添付ファイルを受信できない場合、画質補正処理を施した画像データを保持して、該画像データの保持場所を示すURLなどのアドレスだけを受信側の携帯端末に送信して、後に受信側の携帯端末からのアクセスを受け付けたときダウンロードさせたりするなど、画質補正機能を有する通信中継サーバ装置がある。勿論、これらのサーバ装置は、ネットワークを介して携帯端末と画像データの受渡しを行う。
ネットワークを介して画像データを受渡しする際、通信時間の短縮など、端末装置およびネットワークの負担を軽減するように、これらの画像データは圧縮して送信される。特に携帯電話器などの携帯端末の場合には、携帯端末付属のカメラで撮影して得た画像データの殆どは他の携帯端末装置またはコンピュータなどに送信されるので、容量制限が厳しいため、高圧縮されてから携帯電話器の記憶部に保存されるようになっている。このように高圧縮された画像データは、圧縮に起因するノイズが目立つため、画像処理を行う際に、上述の各処理に加え、ノイズを抑制することが望まれる。
特開平11−220687号公報 特開平11−161770号公報
しかしながら、携帯電話器の機種が急激に増え、それに伴って携帯電話器に付属するカメラの機種も多種多様となり、機種間の画質、すなわち、異なる機種のカメラにより取得した画像データ間の画質の差が大きくなっている。通常のデジタルカメラにより取得した画像データは、撮影条件や、デジタルカメラ内部で行った処理の詳細を示す情報などが付属情報としてヘッダ情報に含まれている場合が多く、そのような画像データに対して画質向上の画像処理を行う際に、機種情報以外に、または機種情報を使用せずに、画像データを解析した結果と付属情報に応じて画像処理条件を設定するようにしても機種間の画質の差を抑制することが可能であるが、携帯電話器付属のカメラの場合は、付属情報は乏しく、画質向上の画像処理に利用できる情報は機種情報しかない場合が多い。このような背景において、携帯電話器付属のカメラにより取得した画像データに対して画像処理を行う際に、従来のように画像データを解析することによって画像処理を行うのでは機種間での画質差を抑えることが困難となっている。
また、特許文献1に記載されたように、カメラの機種毎に画像処理条件を設定して画像処理を行う方法も、携帯電話器に付属するカメラの場合には対応しきれない。次々に新しい機種の携帯電話器が発売されるのに伴って、それに付属するカメラが多様となると共に、機種が頻繁に更新されるためである。
特許文献2に記載された方法についても同様である。
本発明は、上記事情に鑑みてなされたものであり、デジタルカメラにより取得した画像データに対して、機種間の画質の差を抑え、効率良く画像処理を行うことができる画像処理方法および装置並びにそのためのデータベース並びにプログラムを提供することを目的とするものである。
本発明による画像処理方法は、デジタルカメラの機種特性に起因する、該デジタルカメラにより取得した画像データの画像特性のレベルに応じて、前記デジタルカメラの機種を、所定のレベル範囲に対応した複数のグループに分類し、
各前記グループ毎に、該グループのレベル範囲に応じた補正を施す画像処理条件を設定し、
設定された前記画像処理条件を用いて、該当するグループに属する機種のデジタルカメラにより取得した画像データに対して前記補正を施すことを特徴とするものである。
ここで、デジタルカメラの機種に起因する、該デジタルカメラにより取得した画像データの画像特性とは、デジタルカメラにより取得した画像データに現れたこのデジタルカメラの機種特性を意味する。そのため、本発明の説明において、デジタルカメラの機種特性と、該デジタルカメラにより取得した画像データの、該デジタルカメラの機種に起因する画像特性とを同じ意味として説明を行う。
また、前記画像特性は、本発明における補正に対応した画像特性のことを意味し、例えば、前記補正が色補正であれば、前記画像特性が色特性となり、前記補正が階調補正であれば、前記画像特性が階調特性となる一方、前記補正が色補正と階調補正であれば、前記画像特性が色特性と階調特性となる。
また、デジタルカメラの機種特性のレベルに応じて、デジタルカメラの機種を所定のレベル範囲に対応した複数のグループに分類することとは、機種特性の可能なレベルを複数の所定の範囲(レベル範囲)に分け、各々のデジタルカメラのうち、機種特性のレベルが同じレベル範囲に合致するデジタルカメラが同じグループになるようにデジタルカメラの機種を分類することを意味する。
前記「グループのレベル範囲に応じた補正を施す画像処理条件を設定」することとは、該グループが対応するレベル範囲に応じて、画質補正を施すための画像処理条件を設定することを意味する。なお、ここで、「画像処理条件を設定する」とは、同じ処理方法における処理用パラメータを変えるように設定することは勿論、グループのレベル範囲に応じた処理方法の選択や、処理方法の選択とパラメータの設定の組み合わせであってもよい。
すなわち、本発明は、デジタルカメラの機種毎に画像処理条件を設定して補正を施す従来の画像処理方法と異なり、機種特性が近い、すなわち機種特性のレベルが同じ前記レベル範囲に合致する機種のデジタルカメラを同じグループに分類し、グループ毎に画像処理条件を設定し、同じグループに属する機種のデジタルカメラにより取得した画像データに対して、該グループに対して設定された画像処理条件で補正を施すものである。
また、デジタルカメラの機種特性は様々な種類があり、例えば、色特性、階調特性、シャープネス特性、ノイズ特性などを例として挙げることができる。例えば階調特性が「柔らかめ」で、ノイズ特性が「ノイズ多」であるデジタルカメラ(デジタルカメラ1とする)と、同じく階調特性が「柔らかめ」であるが、ノイズ特性が「ノイズ少」であるデジタルカメラ(デジタルカメラ2とする)とを、階調特性とノイズ特性との両方が合さった分類方法で分類すると、夫々「柔らかめ・ノイズ多」グループと、「柔らかめ・ノイズ少」グループに分類されるように、各グループが複数の種類の機種特性のレベル範囲に対応する必要があるため、グループの数が多くなると共に、グループに対する画像処理条件の設定も複雑になり、効率が良くないという問題が生じる。そのため、本発明において、デジタルカメラに対して複数の種類の補正を行う場合、すなわち、処理対象となる機種特性の種類が複数ある場合、機種特性の種類毎に、前記分類、前記画像処理条件の設定、前記補正を行うことが好ましい。機種特性の種類毎に分類するとは、デジタルカメラの1つの種類の機種特性に対して、該種類の機種特性の可能なレベルを複数のレベル範囲に分け、各々のデジタルカメラのうち、この種類の機種特性のレベルが同じレベル範囲に合致するデジタルカメラが同じグループになるようにデジタルカメラの機種を分類することを各種類の機種特性に対して行うことを意味する。例えば、画像データに対して階調補正、ノイズ補正を行うものであれば、機種特性の種類としては、階調特性、ノイズ特性の2種類となる。この場合、例えば、階調特性に対して、レベル範囲として「柔らかめ」、「中間」、「硬め」を用いれば、前述の例のデジタルカメラ1とデジタルカメラ2のような軟調な階調特性の機種のデジタルカメラは「柔らかめ」グループに、硬調な階調特性の機種のデジタルカメラは「硬め」グループに、中間の階調特性の機種のデジタルカメラは「中間」グループに分類され、ノイズ特性に対して、レベル範囲として「ノイズ少」、「中間」、「ノイズ多」を用いれば、前述の例のデジタルカメラ2のようなノイズが少ない機種のデジタルカメラは「ノイズ少」グループに、ノイズが多い機種のデジタルカメラは「ノイズ多」グループに、ノイズの量が中間程度のデジタルカメラは「中間」グループに分類される。すなわち、1つの機種特性、例えば階調特性において同じグループに分類されたデジタルカメラ(例えばデジタルカメラ1とデジタルカメラ2)は、他の種類の機種特性、例えばノイズ特性においては同じグループに分類されるとは限らないので、デジタルカメラを、その機種特性の種類毎にグループ分類することによって、グループの構成が単純であり、各グループに対する画像処理条件の設定も単純で効率が良い。
また、このように機種特性の種類毎にデジタルカメラをグループ分類する場合において、各々のグループに対する画像処理条件の設定は、該当するグループが対応する種類の機種特性のレベル範囲に応じた補正を施す画像処理条件を設定することを意味し、該グループが対応する機種特性の種類に応じて、同じ処理方法における処理用パラメータを変えるように設定することは勿論、グループのレベル範囲に応じた処理方法の選択や、処理方法の選択とパラメータの設定の組み合わせであってもよい。
例えば、機種特性としてのシャープネス特性に対して、「シャープネス低い」、「普通」、「シャープネス高い」の3つのレベル範囲に対応したグループにデジタルカメラの機種を分類した場合、各々のグループに対して、同じシャープネス補正の方法に用いるパラメータを、グループが対応するレベルに範囲に応じてシャープネスを強く補正する、シャープネスを普通に補正する、シャープネスを弱く補正する値に設定するようにして同じシャープネス補正方法におけるパラメータを変えるように設定するようにしてもよいし、シャープネスを強く補正する方法、シャープネスを普通に補正する方法、シャープネスを弱く補正する方法を選択するようにしてもよい。
本発明の画像処理装置は、デジタルカメラの機種特性に起因する、該デジタルカメラにより取得した画像データの画像特性のレベルに応じて、所定のレベル範囲に対応した複数のグループに分類されたデジタルカメラの機種と、前記グループと、各前記グループ毎に設定された、該グループのレベル範囲に応じた補正を施す画像処理条件とを対応付けて記憶する記憶手段と、
前記記憶手段により記憶された内容を参照し、処理対象となる画像データを取得したデジタルカメラの機種から、該機種のデジタルカメラが属する前記グループを判定するとともに、判定されたグループに対して設定された前記画像処理条件を読み出す検索手段と、
該検索手段により得られた前記画像処理条件を用いて、該画像データに対して前記補正を施す補正実行手段とを備えてなることを特徴とするものである。
本発明の画像処理装置は、複数の種類の画像特性に対して補正を行う場合、前記記憶手段が、前記画像特性の種類毎に、前記機種と、前記グループと、前記画像処理条件とを対応付けて記憶するものであり、
前記検索手段、前記補正実行手段が、前記画像特性の種類毎に夫々の処理を行うものであることが好ましい。
本発明の画像処理方法および装置は、携帯電話器付属のデジタルカメラに適用することができる。
本発明の第1のデータベースは、デジタルカメラの機種特性に起因する、該デジタルカメラにより取得した画像データの画像特性のレベルに応じて、所定のレベル範囲に対応した複数のグループに分類されたデジタルカメラの機種と、
前記グループと、
各前記グループ毎に設定された、該グループのレベル範囲に応じた補正を施す画像処理条件とを対応付けて記録してなることを特徴とするものである。
前記画像特性が複数の種類がある場合に対応して、本発明の第2のデータベースは、前記画像特性の種類毎に、前記機種と、前記グループ、前記画像処理条件とを対応付けて記録してなることを特徴とするものである。
本発明の第1のプログラムは、前記第1のデータベースを参照し、処理対象となる画像データを取得したデジタルカメラの機種から、該機種のデジタルカメラが属する前記グループを判定するとともに、判定されたグループに対して設定された前記画像処理条件を読み出す検索処理と、
該検索処理により得られた前記画像処理条件を用いて、該画像データに対して前記補正を施す補正実行処理とをコンピュータに実行させることを特徴とするものである。
本発明の第2のプログラムは、本発明の第2のデータベースを参照し、処理対象となる画像データを取得したデジタルカメラの機種から、前記画像特性の種類毎に、該機種のデジタルカメラが属する前記グループを判定するとともに、判定されたグループに対して設定された前記画像処理条件を読み出す検索処理と、
該検索処理により得られた前記画像特性の種類毎の前記画像処理条件を用いて、該画像データに対して前記補正を施す補正実行処理とをコンピュータに実行させることを特徴とするものである。
本発明の画像処理方法および装置によれば、機種特性の可能なレベルを、所定の幅を持った複数のレベル範囲に分け、同じレベル範囲に合致する機種特性を有するデジタルカメラの機種が同じグループに属するようにデジタルカメラの機種を分類し、各グループに対して設定された画像処理条件で該グループに属するデジタルカメラにより取得した画像データに対して画質補正を施すようにしているので、デジタルカメラの機種に応じた画質補正ができ、機種間の画質差を抑えることができると共に、デジタルカメラの機種毎に画像処理条件を設定することを必要としないので、効率が良い。
また、デジタルカメラの機種を分類する際に、所定の幅を持ったレベル範囲に合致することを条件にしているので、新しい機種のデジタルカメラへの対応も容易である。新しい機種のデジタルカメラに対して、その機種特性が合致するグループさえ分かれば、このグループに対して既に画像処理条件が設定されているので、新しい機種のデジタルカメラにより取得した画像データに対する画質補正処理を簡単に行うことができる。
また、複数の種類の画像特性に対して補正処理を行う場合、画像特性の種類毎にデジタルカメラの機種の分類、画像処理条件の設定、画質補正を行うようにすることによって、グループの構成および画像処理条件の設定を単純にすることができ、処理の効率化を図ることができる。また、画像処理の内容に応じて、補正する画像特性の種類の増減が簡単であり、柔軟な構成が可能となる。
また、本発明の画像処理方法および装置は、機種更新が頻繁で、画質が比較的低いのに画質補正用の付属情報として機種情報程度しか取得できない携帯電話器付属のデジタルカメラには特にその効果を発揮することできる。
本発明のデータベースは、本発明の画像処理方法および画像処理装置を可能にする。
以下、図面を参照しながら、本発明の実施形態について説明する。
図1には本発明の実施形態となる画像処理装置1の構成を示す概略図である。本実施形態の画像処理装置1は、デジタルカメラにより取得した画像データに対して色補正、階調補正、シャープネス補正、ノイズ補正を施すものであり、図示のように、画像データS0(原画像データ)を撮像したデジタルカメラの機種情報aを取得する機種情報取得手段10と、データベース25を記憶した記憶手段20と、機種情報取得手段10により取得したデジタルカメラの機種情報aに基づいて、記憶手段20のデータベース25から、原画像データS0に対する色補正条件、階調補正条件、シャープネス補正条件、ノイズ補正条件を検索する検索手段50と、検索手段50により得られた上記各補正条件を用いて原画像データS0に対して各補正を行って補正済み画像データS1を得る補正手段60とを備えてなるものである。
機種情報取得手段10は、原画像データS0付属のヘッダ情報から原画像データS0を撮像したデジタルカメラの機種情報aを取得するものである。
データベース25は、予め記憶手段20に記憶されたものであり、図2は
その詳細を示すものである。図示のように、データベース25は、本実施形態の画像処理装置1が行う補正処理の種類(色補正、階調補正、シャープネス補正、ノイズ補正)に応じて4つの部分(25a〜25d)からなり、デジタルカメラの機種特性である色特性、階調特性、シャープネス特性、ノイズ特性毎に、所定のレベル範囲に対応した複数のグループと、そのグループのレベル範囲に合致するレベルの特性を有する機種と、各グループに対して設定された、このグループのレベル範囲に応じた補正を施すための補正条件とを対応付けて記録してなるものである。
25aは、色特性補正用データベースであり、図示の例ように、デジタルカメラの色特性は3つのレベル範囲:「赤め」、「中間」、「青め」に分けられており、夫々のレベル範囲に対応したグループが夫々IG1、IG2、IG3となる。IG1に属するデジタルカメラ、すなわち色特性において「赤め」の機種特性を有するデジタルカメラの機種は、A、B、Cがあり、IG1に対して設定された画像処理条件(ここでは色補正条件)はI1であり、「赤め」の色特性を有するデジタルカメラにより取得した画像データの色補正を施すためのものである。同様にIG2に属するデジタルカメラ、すなわち色特性において「中間」の機種特性を有するデジタルカメラの機種は、D、E、Fがあり、IG2に対して設定された色補正条件はI2であり、「中間」の色特性を有するデジタルカメラにより取得した画像データの色補正を施すためのものである一方、IG3に属するデジタルカメラ、すなわち色特性において「青め」の機種特性を有するデジタルカメラの機種は、G、H、Iがあり、IG3に対して設定された色補正条件はI3であり、「青め」の色特性を有するデジタルカメラにより取得した画像データの色補正を施すためのものである
25bは階調補正用のデータベースである。図示のように、デジタルカメラの階調特性は3つのレベル範囲:「柔らかめ」、「中間」、「硬め」に分けられており、夫々のレベル範囲に対応したグループが夫々KG1、KG2、KG3となる。KG1に属するデジタルカメラ、すなわち階調特性において「柔らかめ」の機種特性を有するデジタルカメラの機種は、A、D、Eがあり、KG1に対して設定された画像処理条件(ここでは階調補正条件)はK1であり、「柔らかめ」の階調特性を有するデジタルカメラにより取得した画像データの階調補正を施すためのものである。同様にKG2に属するデジタルカメラ、すなわち階調特性において「中間」の機種特性を有するデジタルカメラの機種は、B、F、Gがあり、KG2に対して設定された階調補正条件はK2であり、「中間」の階調特性を有するデジタルカメラにより取得した画像データの階調補正を施すためのものである一方、KG3に属するデジタルカメラ、すなわち階調特性において「硬め」の階調特性を有するデジタルカメラの機種は、C、H、Iがあり、KG3に対して設定された階調補正条件はK3であり、「硬め」の階調特性を有するデジタルカメラにより取得した画像データの階調補正を施すためのものである。
25cはシャープネス補正用のデータベースである。図示のように、デジタルカメラのシャープネス特性は3つのレベル範囲:「低い」(シャープネス低い)、「中間」、「高い」(シャープネス高い)に分けられており、夫々のレベル範囲に対応したグループが夫々SG1、SG2、SG3となる。SG1に属するデジタルカメラ、すなわちシャープネス特性において「低い」の機種特性を有するデジタルカメラの機種は、D、Eがあり、SG1に対して設定された画像処理条件(ここではシャープネス補正条件)はS1であり、「低い」のシャープネス特性を有するデジタルカメラにより取得した画像データのシャープネス補正を施すためのものである。同様にSG2に属するデジタルカメラ、すなわちシャープネス特性において「中間」の機種特性を有するデジタルカメラの機種は、A、B、H、Iがあり、SG2に対して設定されたシャープネス補正条件はS2であり、「中間」のシャープネス特性を有するデジタルカメラにより取得した画像データのシャープネス補正を施すためのものである一方、SG3に属するデジタルカメラ、すなわちシャープネス特性において「高い」の機種特性を有するデジタルカメラの機種は、C、F、Gがあり、SG3に対して設定されたシャープネス補正条件はS3であり、「高い」のシャープネス特性を有するデジタルカメラにより取得した画像データのシャープネス補正を施すためのものである。
25dはノイズ補正用のデータベースである。図示のように、デジタルカメラのノイズ特性は3つのレベル範囲:「少」(ノイズ少)、「中間」、「多」(ノイズ多)に分けられており、夫々のレベル範囲に対応したグループが夫々NG1、NG2、NG3となる。NG1に属するデジタルカメラ、すなわちノイズ特性において「少」の機種特性を有するデジタルカメラの機種は、C、Iがあり、NG1に対して設定された画像処理条件(ここではノイズ補正条件)はN1であり、「少」のノイズ特性を有するデジタルカメラにより取得した画像データのノイズ補正を施すためのものである。同様にNG2に属するデジタルカメラ、すなわちノイズ特性において「中間」の機種特性を有するデジタルカメラの機種は、A、B、E、Fがあり、NG2に対して設定されたノイズ補正条件はN2であり、「中間」のノイズ特性を有するデジタルカメラにより取得した画像データのノイズ補正を施すためのものである一方、NG3に属するデジタルカメラ、すなわちノイズ特性において「多」の機種特性を有するデジタルカメラの機種は、D、G、Hがあり、NG3に対して設定されたノイズ補正条件はN3であり、「多」のノイズ特性を有するデジタルカメラにより取得した画像データのノイズ補正を施すためのものである。
このように、デジタルカメラは機種特性の種類ごとに、レベルの近い(同じレベル範囲)機種が同じグループになるように分類される。なお、デジタルカメラを分類する際に、各々のデジタルカメラで被写体を撮像して得た画像に対して目視などによる主観評価を行ってそのレベルを把握して分類するようにしてもよいし、特性のチャートを撮像して得た画像を解析することによってそのレベルを取得して分類するようにしてもよい。例えば、マクベスチャート(カラーチャート)を撮像して得た画像を目視またはカラーパッチを測ることによってデジタルカメラの色特性のレベルを把握することができ、グレーチャートを撮像して得た画像を目視または解析することによってデジタルカメラの階調特性のレベルを把握することができる。
ノイズ特性については、例えばグレーチャートを撮影して得た画像データのWS(ウィナースベクトル)や、RMS(画素値のちらつきの標準偏差)を計算することによってそのレベルを把握することができる。
シャープネス特性については、例えばISO12233で規定された、傾いたエッジを撮影してシャープネスを測定する方法を用いてもよいし、携帯電話器付属カメラのような解像度の低いデジタルカメラでは、より解析しやすいチャート、具体的には図3に示すようなチャートを撮影して得た画像からエッジ検出を行い、このエッジ特性をフーリエ変換することで周波数レスポンスの分布を求め、レスポンスの分布に基づいてシャープネス特性を取得する方法を用いればよい。図4は、この方法により各々のデジタルカメラに対して求めたレスポンスの分布の例を示している。図示のレスポンスから、各々のデジタルカメラのシャープネス特性は、シャープネスの高い順からC、F(シャープネス高い)、A、B(シャープネス中間)、D、E(シャープネス低い)のように取得することができる。
データベース25はこのようにして作成されるものである。
本発明の実施形態の画像処理装置1の検索手段50は、機種情報取得手段10により取得した機種情報aに基づいて、データベース25を検索して、色特性、階調特性、シャープネス特性、ノイズ特性毎にこの機種のデジタルカメラが属するグループを判定すると共に、判定された各グループに対して設定された補正条件も取得して補正手段60に供する。図5は、例として機種Aのデジタルカメラに対する検索結果を示すものである。図示のように、このデジタルカメラは
色特性においてIG1(赤め)グループに、階調特性においてKG1(柔らかめ)グループに、シャープネス特性においてSG2(中間)グループに、ノイズ特性においてNG2(中間)グループに属するため、色補正条件、階調補正条件、シャープネス補正条件およびノイズ補正条件は、属するグループに応じて夫々I1、K1、S2、N2となる。
補正手段60は、検索手段50により供された機種特性毎の補正条件を用いて原画像データS0に対して補正処理を行って補正済み画像データS1を得る。なお、補正手段60は、補正を行う際に、各補正を順(例えば色補正、階調補正、シャープネス補正、ノイズ補正の順)に行うようにしてもよく、色補正条件、階調補正条件、シャープネス補正条件、ノイズ補正条件を用いて統合的な補正条件(例えば上記各補正条件を含めたLUTテーブル)を作成して、この統合的な補正条件により一度に各補正を行うようにしてもよい。
図6は、本実施形態の画像処理装置1の動作を示すフローチャートである。図示のように、本実施形態の画像処理装置1は、デジタルカメラにより取得した画像データS0に対して画質補正を行うのに当たって、まず、機種情報取得手段10により画像データS0を取得したデジタルカメラの機種情報aを得る(S10)。次に検索手段50は、機種情報aに基づいて記憶手段20に記憶されたデータベース25を検索し、この機種のデジタルカメラが属するグループおよびこのグループに対して設定された補正条件を色特性、階調特性、シャープネス特性、ノイズ特性毎に取得する(S15)。補正手段60は、検索手段50により得られた色補正条件、階調補正条件、シャープネス補正条件、ノイズ補正条件を用いて原画像データに対して色補正、階調補正、シャープネス補正およびノイズ補正を行って補正済み画像データS1を得て(S20)、処理を終了する。
このように、本実施形態の画像処理装置1によれば、デジタルカメラの機種特性の種類毎に、可能な機種特性のレベルを、所定の幅を持った複数のレベル範囲に分け、同じレベル範囲に合致する機種特性を有するデジタルカメラの機種が同じグループに属するようにデジタルカメラの機種を分類し、各グループに対して設定された画像処理条件で該グループに属するデジタルカメラにより取得した画像データに対して画質補正を施すようにしているので、デジタルカメラの機種に応じた画質補正ができ、機種間の画質差を抑えることができると共に、デジタルカメラの機種毎に画像処理条件を設定することを必要としないので、効率が良い。
また、デジタルカメラの機種を分類する際に、所定の幅を持ったレベル範囲に合致することを条件にしているので、新しい機種のデジタルカメラへの対応も容易である。新しい機種のデジタルカメラに対して、その機種特性が合致するグループさえ分かれば、このグループに対して既に画像処理条件が設定されているので、新しい機種のデジタルカメラにより取得した画像データに対する画質補正処理が簡単にできる。
また、画像特性の種類毎にデジタルカメラの機種の分類、画像処理条件の設定、画質補正を行うようにしているので、画像処理の内容に応じて、補正する画像特性の種類の増減が簡単であり、柔軟な構成が可能となる。
また、データベースを作成する際に、補正する画像特性の種類毎にデジタルカメラの分類、グループごとの画像処理条件の設定を行うようにしているので、開発者の分業が可能となる。例えば、図1に示すような画像処理装置1の開発を行うときに、開発者を色特性チーム、階調特性チーム、...のように分けて作業を進めるようにすれば、開発の時間の短縮や、開発者を、得意とする分野のチームに配属することなどができるため、開発を効率良く行うことができる。
以上、本発明の望ましい実施形態について説明したが、本発明は、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、様々な増減、変更を加えることができる。
例えば、上述の画像処理装置1は、一例として画像データに対して色補正、階調補正、シャープネス補正、ノイズ補正を行うものであるが、補正の種類を増減してもよい。その場合、補正の種類に応じた種類の機種特性に対応する上述のようなデータベースを用いればよい。例えば、ノイズ補正を行わない場合は、データベースにノイズ補正用のものの有無に関係なく、ノイズ特性についての検索などを行わなくてよいし、上記補正に加え、コントラスト補正も行う場合、図2に示すデータベースにコントラスト特性についてのデータベースを追加し、補正を行う際に、機種情報からコントラスト特性において対象となるデジタルカメラの属するグループおよびこのグループに対して設定されたコントラスト補正条件を検索して補正手段に供するようにすればよい。また、補正の処理方法に対応して上述の機種特性の種類を組み合わせた分類方法を用いてもよい。例えば、画像データの中周波数成分におけるエッジらしさに応じて高周波成分に対する強調度(ゲイン)を修正し、修正されたゲインを用いて高周波成分を調整することによってシャープネス補正とノイズ補正(主にモスキートノイズ)との両方が同時に行われる、すなわち1つのパラメータの設定で複数の種類の特性の補正ができるような場合、これらの複数の種類の機種特性の組み合わせを1つの種類の機種特性にしてデジタルカメラの機種をグループ分けするようにしてもよい。上記の例では、シャープネス特性およびノイズ特性を1つの種類の機種特性にしてデジタルカメラの機種をグループ分けし、各々のグループに対して高周波数成分用ゲインを設定して補正を行えばよい。さらに、上記の例において、ノイズ補正は主にモスキートノイズの補正となるので、シャープネス特性とモスキートノイズ特性とを1つの種類の機種特性にすると共に、他のノイズ特性を他の種類の機種特性としてグループの分類、や画像処理条件の設定、補正などを行うようにしてもよいことは言うまでもない。
また、画像特性のレベル範囲の幅、レベル範囲の数に関しても変更を加えてよい。例えば、上述の実施形態の画像処理装置1において、色特性に関して、レベル範囲を「赤め」、「中間」、「青め」の3つに分けているが、より細かく分けるようにしてもよい。それに応じてグループの数も変更される。
また、データベースの具体的な構成も、図2に示すような、画質特性(例えば色特性、諧調特性)毎にその画質特性におけるレベル範囲と機種と補正条件とを対応付けてなるデータベース25の態様に限らず、例えば複数の画質特性の夫々におけるレベル範囲とそれらに対応する補正条件を夫々まとめて複合分類と複合補正条件にし、これらの複合分類と複合補正条件とを、機種に対応付けた態様であってもよい。具体的には、例えば図2に示す例のデータベース25を、「IG1、KG1、SG1、NG1」、「IG1、KG1、SG1、NG2」、・・・「IG3、KG3、SG3、NG3」の3×3×3×3の81組の複合分類と、これらの複合分類に夫々対応する「I1、K1、S1、N1」、・・・「I3、K3、S3、N3」の81組の複合補正条件と機種とを対応付けたデータベースにしてもよい。このようなデータベースの場合、機種Bは、複合分類としては「IG1、KG2、SG2、NG2」、複合補正条件としては「I1、K2、S2、N2」に対応することとなる。なお。複合分類および複合補正条件をまとめる際に、全ての画質特性および補正条件についてまとめてもよいし、画質特性の任意の組合せおよび画質特性の組合せに対応した補正条件をまとめるようにしてもよい。例えば、図2に示すデータベース25を、色、階調特性について色階調複合分類および色階調複合補正条件を、シャープネス特性、ノイズ特性についてシャープネス特性ノイズ特性複合分類およびシャープネス補正ノイズ補正複合補正条件を夫々まとめるようにしてもよい。図7は、図2に示すデータベース25の色補正用データベース25aと、階調補正用データベース25bとを色特性、階調特性についてまとめた場合の例を示している。このようなデータベースを用いた場合においても、図2に示すデータベース25を用いた場合と同じように、補正を実行する際には、各補正を順に行うようにしてもよいし、複合補正条件に基づいて一度に各補正を行うようにしてもよい。勿論、前述したような、色、階調特性について色階調複合分類および色階調複合補正条件を、シャープネス特性、ノイズ特性についてシャープネス特性ノイズ特性複合分類およびシャープネス補正ノイズ補正複合補正条件を夫々まとめたデータベースを用いた場合には、同じ複合補正条件毎に、この複合補正条件が対応する複数種類の補正(例えば色階調複合補正条件に対応する色補正、階調補正)を一度に行うようにしてもよいし、各補正を順に行うようにしてもよい。
また、上述の説明において、本発明の主旨が分かり易いように、補正条件の設定の詳細、補正手段による補正処理の詳細について説明を行っていないが、これらには従来公知の種々の技術を適用すればよい。また、補正条件は、直接補正手段による補正処理にそのまま用いられるものであってもよく、補正手段が原画像データの解析を行う場合には、補正手段により画像データの解析結果に基づいて設定した補正条件を修正するもの(修正条件)であってもよい。例えば、色特性において、IG1(赤め)グループに対して設定された色補正条件は、赤めの機種特性を有するデジタルカメラにより取得した画像データに対する色補正条件そのものであってもよく、この場合、補正手段はこの色補正条件を直接用いて色補正を施すようにすればよい。一方、補正手段は、画像データに対して解析を行って色補正条件を設定する場合、データベースにあるIG1(赤め)グループに対して設定された色補正条件は補正手段により設定された色補正条件の修正条件とすればよく、例えば補正手段により設定した色補正条件に対して赤みを抑える修正を加えるものとすることができる。
また、グループが対応するレベル範囲は、所定の幅を有するものであるので
各グループに対して補正条件を設定する際に、夫々のレベル範囲内の所定のレベルの値を代表値として設定を行うことが考えられる。この際、この代表値は、該当するグループのレベル範囲の中間値とすることが通常であるが、これに限定されるものではなく、該当するレベル範囲内の値であればよい。
また、上述の実施形態の画像処理装置1において、処理対象の画像データを取得したデジタルカメラは、各種類の画像特性において、必ずデータベース25のいずれかのグループに属することを前提としているが、1つまたは複数ないし全部の種類の画像特性においてデータベースのどのグループにも属しない機種のカメラの場合、通常の画像特性の範囲から離れすぎる理由から補正を行わないようにしたり、所定のデフォルト補正条件(例えば「中間」グループに対して設定された補正条件)を用いて補正したり、画像の解析のみにより補正条件を設定して補正を行ったりするなどのようにすればよい。
また、本発明による画像処理装置は、例えば写真店などで使用されるようなスタンドアロンの形態であってもよいし、携帯電話の中継サーバのようにネットワークに位置する形態であってもよい。
本発明の実施形態となる画像処理装置1の構成を示す概略ブロック図 図1に示す画像処理装置1に使用されるデータベース25を示す図 デジタルカメラのシャープネス特性を取得するためのチャート デジタルカメラのシャープネス特性の例を示す図 機種Aのデジタルカメラに対する検索結果を示す図 図1に示す画像処理装置1の動作を示すフローチャート 他のデータベースの例を示す図
符号の説明
1 画像処理装置
10 機種情報取得手段
20 記憶手段
25 データベース
50 検索手段
60 補正手段
a 機種情報
S0 原画像データ
S1 補正済み画像データ

Claims (6)

  1. デジタルカメラの機種特性に起因する、該デジタルカメラにより取得した画像データの画像特性のレベルに応じて、前記デジタルカメラの機種を所定のレベル範囲に対応した複数のグループに分類し、
    各前記グループ毎に、該グループのレベル範囲に応じた補正を施す画像処理条件を設定し、
    設定された前記画像処理条件を用いて、該当するグループに属する機種のデジタルカメラにより取得した画像データに対して前記補正を施す画像処理方法であって、
    前記画像特性が複数の種類があり、
    前記分類、前記設定および前記補正を、前記画像特性の種類毎に行うことを特徴とする画像処理方法。
  2. 前記デジタルカメラが、携帯電話器付属のものであることを特徴とする請求項記載の画像処理方法。
  3. デジタルカメラの機種特性に起因する、該デジタルカメラにより取得した画像データの画像特性のレベルに応じて、所定のレベル範囲に対応した複数のグループに分類されたデジタルカメラの機種と、前記グループと、各前記グループ毎に設定された、該グループのレベル範囲に応じた補正を施す画像処理条件とを対応付けて記憶する記憶手段と、
    前記記憶手段により記憶された内容を参照し、処理対象となる画像データを取得したデジタルカメラの機種から、該機種のデジタルカメラが属する前記グループを判定するとともに、判定されたグループに対して設定された前記画像処理条件を読み出す検索手段と、
    該検索手段により得られた前記画像処理条件を用いて、該画像データに対して前記補正を施す補正実行手段とを備えてなる画像処理装置であって、
    前記画像特性が複数の種類があり、
    前記記憶手段が、前記画像特性の種類毎に、前記機種と、前記グループと、前記画像処理条件とを対応付けて記憶するものであり、
    前記検索手段、前記補正実行手段が、前記画像特性の種類毎に夫々の処理を行うものであることを特徴とする画像処理装置。
  4. 前記デジタルカメラが、携帯電話器付属のものであることを特徴とする請求項記載の画像処理装置
  5. デジタルカメラの機種特性に起因する、該デジタルカメラにより取得した画像データの画像特性のレベルに応じて、所定のレベル範囲に対応した複数のグループに分類されたデジタルカメラの機種と、
    前記グループと、
    各前記グループ毎に設定された、該グループのレベル範囲に応じた補正を施す画像処理条件とを対応付けて記録してなるデータベースであって、
    前記画像特性が複数の種類があり、
    前記画像特性の種類毎に、前記機種と、前記グループ、前記画像処理条件とを対応付けて記録してなることを特徴とするデータベース。
  6. 請求項記載のデータベースを参照し、処理対象となる画像データを取得したデジタルカメラの機種から、前記画像特性の種類毎に、該機種のデジタルカメラが属する前記グループを判定するとともに、判定されたグループに対して設定された前記画像処理条件を読み出す検索処理と、
    該検索処理により得られた前記画像特性の種類毎の前記画像処理条件を用いて、該画像データに対して前記補正を施す補正実行処理とをコンピュータに実行させることを特徴とするプログラム。
JP2004089393A 2003-04-03 2004-03-25 画像処理方法および装置並びにデータベース並びにプログラム Expired - Fee Related JP4347105B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004089393A JP4347105B2 (ja) 2003-04-03 2004-03-25 画像処理方法および装置並びにデータベース並びにプログラム
US10/816,194 US20040257455A1 (en) 2003-04-03 2004-04-02 Method, apparatus, database, and program for image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003100139 2003-04-03
JP2004089393A JP4347105B2 (ja) 2003-04-03 2004-03-25 画像処理方法および装置並びにデータベース並びにプログラム

Publications (2)

Publication Number Publication Date
JP2004318851A JP2004318851A (ja) 2004-11-11
JP4347105B2 true JP4347105B2 (ja) 2009-10-21

Family

ID=33478855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004089393A Expired - Fee Related JP4347105B2 (ja) 2003-04-03 2004-03-25 画像処理方法および装置並びにデータベース並びにプログラム

Country Status (2)

Country Link
US (1) US20040257455A1 (ja)
JP (1) JP4347105B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005006415A1 (ja) 2003-07-09 2005-01-20 Nikon Corporation 露光装置及びデバイス製造方法
JP4002599B2 (ja) * 2003-12-01 2007-11-07 学校法人日本工業大学 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置
US7580061B2 (en) * 2004-01-26 2009-08-25 Olympus Corporation Image sensing apparatus which determines white balance correction information before photographing
JP3949684B2 (ja) * 2004-04-30 2007-07-25 三菱電機株式会社 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ
US7893975B2 (en) * 2006-10-13 2011-02-22 Apple Inc. System and method for processing images using predetermined tone reproduction curves
US7773127B2 (en) * 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
US7835569B2 (en) * 2006-10-13 2010-11-16 Apple Inc. System and method for raw image processing using conversion matrix interpolated from predetermined camera characterization matrices
US20080267524A1 (en) * 2007-04-30 2008-10-30 Doron Shaked Automatic image enhancement
JP2012074894A (ja) * 2010-09-28 2012-04-12 Sanyo Electric Co Ltd 電子カメラ

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11220687A (ja) * 1998-01-30 1999-08-10 Fuji Photo Film Co Ltd 画像処理方法および装置
JP4343373B2 (ja) * 2000-01-14 2009-10-14 富士フイルム株式会社 写真サービスシステム及びデジタルカメラ
JP4238053B2 (ja) * 2002-03-22 2009-03-11 株式会社リコー 画像ファイル管理システム及び画像ファイル管理プログラム

Also Published As

Publication number Publication date
JP2004318851A (ja) 2004-11-11
US20040257455A1 (en) 2004-12-23

Similar Documents

Publication Publication Date Title
US7426316B2 (en) Method and apparatus for image improvement
US8675980B2 (en) Method and system for reducing update frequency of image-processing means
JP3991196B2 (ja) 画像処理システム及び画像処理サーバ
US8238689B2 (en) Development server, development client, development system, and development method
US7181091B2 (en) Method, apparatus, and recording medium for correcting appreciation data
US20060204124A1 (en) Image processing apparatus for correcting contrast of image
US20050219608A1 (en) Image processing method, image processing apparatus and image processing program
JP4066737B2 (ja) 画像処理システム
JP4347105B2 (ja) 画像処理方法および装置並びにデータベース並びにプログラム
JP4328956B2 (ja) デジタルカメラの制御方法及び装置
JP4344628B2 (ja) 画像処理方法、画像処理システム及び画像処理装置並びに画像処理プログラム
JP2007184888A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
JP4400315B2 (ja) 学習機能付きカメラ
US8289413B2 (en) Image processing apparatus, image processing method and program
JP5552795B2 (ja) 撮像装置、画像処理装置およびプログラム
US11825186B2 (en) Program, information processing device, and information processing system
JP4006590B2 (ja) 画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラム
JP4341526B2 (ja) 画像処理装置
JP4338563B2 (ja) 画像処理装置、画像処理システム及び画像処理方法並びに画像処理プログラム
JP3967162B2 (ja) 画像処理方法および装置並びにプログラム
JP2007150491A (ja) カメラ、および画像管理プログラム
JP4115416B2 (ja) 画像処理方法、及び画像処理装置、及び画像処理システム、及び画像処理プログラム
JP2006525746A (ja) 保存された好みに基づいて画像を向上させる画質向上方法及び装置
JP2007081549A (ja) 撮像システム
JP2007188464A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060518

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090715

R150 Certificate of patent or registration of utility model

Ref document number: 4347105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees