JPH11284837A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH11284837A JPH11284837A JP10080910A JP8091098A JPH11284837A JP H11284837 A JPH11284837 A JP H11284837A JP 10080910 A JP10080910 A JP 10080910A JP 8091098 A JP8091098 A JP 8091098A JP H11284837 A JPH11284837 A JP H11284837A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- synthesizing
- data
- same scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 28
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 22
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 92
- 238000007906 compression Methods 0.000 description 40
- 230000006835 compression Effects 0.000 description 38
- 230000006870 function Effects 0.000 description 18
- 239000000463 material Substances 0.000 description 15
- 230000015654 memory Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
- Record Information Processing For Printing (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
した際でも、十分なダイナミックレンジを確保でき、ま
た、同シーンを異なる露光条件で撮影した複数画像から
合成に最適な画像を選択でき、また、高画質な画像が再
生されたプリントを得られる画像データを得ることがで
きる画像処理装置を提供する。 【解決手段】複数画像の画像データを合成して1つの画
像とする合成手段と、同シーンを異なる露光条件で撮影
した複数の画像の画像データを得て、合成に最適な複数
画像を選択する選択手段、および/または前記合成手段
によって合成された画像データに覆い焼き処理を施す画
像処理手段とを有することにより、前記課題を解決す
る。
Description
リンタに好適に利用されるデジタルの画像処理の技術分
野に属する。
ム等の写真フィルム(以下、フィルムとする)に撮影さ
れた画像の感光材料(印画紙)への焼き付けは、フィル
ムの画像を感光材料に投影して感光材料を面露光する、
いわゆる直接露光(アナログ露光)が主流である。
用する焼付装置、すなわち、フィルムに記録された画像
を光電的に読み取って、読み取った画像をデジタル信号
とした後、種々の画像処理を施して記録用の画像データ
とし、この画像データに応じて変調した記録光によって
感光材料を走査露光して画像(潜像)を記録し、(仕上
り)プリントとするデジタルフォトプリンタが実用化さ
れた。
タルの画像データとして、画像データ処理によって焼付
時の露光条件を決定することができるので、逆光やスト
ロボ撮影等に起因する画像の飛びやツブレの補正、シャ
ープネス(鮮鋭化)処理等を好適に行って、従来の直接
露光では得られなかった高品位なプリントを得ることが
できる。また、画像の合成や分割、文字の合成等も画像
データ処理で行うことができ、用途に応じて自由に編集
/処理したプリントも出力可能である。しかも、デジタ
ルフォトプリンタによれば、画像をプリント(写真)と
して出力するのみならず、画像データをコンピュータ等
に供給したり、フロッピーディスク等の記録媒体に保存
しておくこともできるので、画像データを、写真以外の
様々な用途に利用することができる。さらに、デジタル
フォトプリンタによれば、フィルムに撮影された画像以
外にも、デジタルカメラやデジタルビデオカメラ等の撮
像デバイスで撮影された画像(画像データ)も、プリン
トとして出力することができる。
本的に、フィルムに読取光を入射して、その投影光を読
み取ることによって、フィルムに記録された画像を光電
的に読み取るスキャナ(画像読取装置)と、スキャナに
よって読み取られた画像データやデジタルカメラ等から
供給された画像データに所定の画像処理を施し、画像記
録のための画像データすなわち露光条件とする画像処理
装置と、画像処理装置から出力された画像データに応じ
て、例えば光ビーム走査によって感光材料を走査露光し
て潜像を記録するプリンタ(画像記録装置)と、プリン
タによって露光された感光材料に現像処理を施して、画
像が再生された(仕上り)プリントとするプロセサ(現
像装置)とを有して構成される。
を光学的に撮影する際に、そのシーンが高コントラスト
シーンである場合には、撮影媒体の有するダイナミック
レンジの関係で、そのシーンの持つ情報(画像)をすべ
て記録することができず、プリントとして再生するため
に十分な画像データが得られない場合がある。特に、デ
ジタルカメラは、撮影ラチチュード(露光寛容度)が狭
いので、高度な技術を持たない一般アマチュアでは、最
適な条件で撮影を行うのが困難であり、高コントラスト
シーンでは、画像のハイライト(最低濃度)の白とびや
シャドー(最高濃度)黒のつぶれが発生して、著しく画
質の低い画像となってしまうことが多々ある。
タルカメラによって、同じシーンを異なる露光条件、例
えば、CCDセンサの蓄積時間を変えて低露光量と高露
光量の2条件で撮影して、画像シーンのハイライトから
シャドーまでの画像データを白とびや黒つぶれなく得、
得られた2つの画像(画像データ)を合成する方法や装
置が提案されており、例えば、特開平6−141229
号、同7−131704号、同7−131718号の各
公報に開示されている。これらによれば、撮影ラチチュ
ードの狭いデジタルカメラでも、十分な画像データのダ
イナミックレンジを確保して、高コントラストシーンで
も白とびや黒つぶれのない好適な画像データを得ること
ができる。
ルカメラのコストが向上してしまう場合があり、また、
あらかじめ合成を目的とした最適な2画像を撮影する必
要がある。さらに、前述のデジタルフォトプリンタによ
ってプリントを作成する際には、必ずしも最適な画像デ
ータが得られない。
解決することにあり、撮影ラチチュードの狭いデジタル
カメラ等で高コントラストシーンを撮影した際でも、十
分な画像データのダイナミックレンジを確保することが
でき、また、同シーンを異なる露光条件で撮影した複数
の画像から合成に最適な画像を選択でき、また、デジタ
ルフォトプリンタにおいて、高画質な画像が再生された
プリント(写真)を得られる画像データを得ることがで
きる画像処理装置を提供することにある。
に、本発明の画像処理装置の第1の態様は、同シーンを
異なる露光条件で撮影した複数の画像の画像データを得
て、この画像データを合成して1つの画像とするする合
成手段と、前記合成手段によって合成された画像データ
に覆い焼き処理を施す画像処理手段とを有することを特
徴とする画像処理装置を提供する。
は、同シーンを異なる露光条件で撮影した複数の画像の
画像データを得て、合成に最適な複数画像を選択する選
択手段と、前記選択手段が選択した複数画像の画像デー
タを合成して1つの画像とする合成手段とを有すること
を特徴とする画像処理装置を提供する。
様は、同シーンを異なる露光条件で撮影した複数の画像
の画像データを得て、合成に最適な複数画像を選択する
選択手段と、前記選択手段が選択した複数画像の画像デ
ータを合成して1つの画像とする合成手段と、前記合成
手段によって合成された画像データに覆い焼き処理を施
す画像処理手段とを有することを特徴とする画像処理装
置を提供する。
て、前記合成手段による合成条件を、画像の撮影情報お
よび画像データの少なくとも一方を用いて設定するのが
好ましく、画像データに応じて、前記画像合成の際の各
画像の重み付け決定するのが好ましく、前記画像がデジ
タルカメラで撮影されたものであるのが好ましく、前記
選択手段が、画像データおよび撮影時刻の少なくとも一
方を用いて合成に最適な画像を選択するのが好ましい。
いて、添付の図面に示される好適実施例を基に詳細に説
明する。
デジタルフォトプリンタの一例のブロック図が示され
る。図1に示されるデジタルフォトプリンタ(以下、フ
ォトプリンタ10とする)は、基本的に、フィルムFに
撮影された画像を光電的に読み取るスキャナ(画像読取
装置)12と、読み取られた画像データ(画像情報)の
画像処理やフォトプリンタ10全体の操作および制御等
を行う、本発明にかかる画像処理装置14と、画像処理
装置14から出力された画像データに応じて変調した光
ビームで感光材料(印画紙)を画像露光し、現像処理し
て(仕上り)プリントとして出力するプリンタ16と、
画像処理装置14から出力された画像データを画像ファ
イルとしてフロッピーディスク等の記録媒体に記録し、
あるいは記録媒体に記録された画像データを読み取って
画像処理装置14等に供給する記録手段26とを有して
構成される。また、画像処理装置14には、様々な条件
の入力(設定)、処理の選択や指示、色/濃度補正など
の指示等を入力するためのキーボード18aおよびマウ
ス18bを有する操作系18と、スキャナ12で読み取
られた画像、各種の操作指示、条件の設定/登録画面等
を表示するディスプレイ20が接続される。
た画像を1コマずつ光電的に読み取る装置で、光源22
と、可変絞り24と、フィルムFに入射する読取光をフ
ィルムFの面方向で均一にする拡散ボックス28と、結
像レンズユニット32と、R(赤)、G(緑)およびB
(青)の各画像読取に対応するラインCCDセンサを有
するイメージセンサ34と、アンプ(増幅器)36と、
A/D(アナログ/デジタル)変換器38とを有して構
成される。
写真システム(Advanced Photo System)や135サイズ
のネガ(あるいはリバーサル)フィルム等のフィルムの
種類やサイズ、ストリップスやスライド等のフィルムの
形態等に応じて、スキャナ12の本体に装着自在な専用
のキャリアが用意されており、キャリアを交換すること
により、各種のフィルムや処理に対応することができ
る。フィルムに撮影され、プリント作成に供される画像
(コマ)は、このキャリアによって所定の読取位置に搬
送される。このようなスキャナ12において、フィルム
Fに撮影された画像を読み取る際には、光源22から射
出され、可変絞り24によって光量調整された読取光
が、キャリアによって所定の読取位置に位置されたフィ
ルムFに入射して、透過することにより、フィルムFに
撮影された画像を担持する投影光を得る。
よってフィルムに撮影された画像を読み取るものであ
り、フィルムFは、キャリア30によって読取位置に位
置されて長手方向(副走査方向)に搬送されつつ、読取
光を入射される。フィルムFを透過した投影光は、読取
位置に配置された、前記副走査方向と直交する主走査方
向に延在するスリットによって規制される。これによ
り、結果的にフィルムFが主走査方向に延在するスリッ
トによって2次元的にスリット走査され、フィルムFに
撮影された各コマの画像が読み取られる。
ムFを透過して画像を担持する投影光となり、この投影
光は、結像レンズユニット32によってイメージセンサ
34の受光面に結像される。イメージセンサ34は、R
画像の読み取りを行うラインCCDセンサ、G画像の読
み取りを行うラインCCDセンサ、B画像の読み取りを
行うラインCCDセンサを有する、いわゆる3ラインの
カラーCCDセンサで、各ラインCCDセンサは、主走
査方向に延在している。フィルムFの投影光は、イメー
ジセンサ34によって、R、GおよびBの3原色に分解
されて光電的に読み取られる。イメージセンサ34の出
力信号は、アンプ36で増幅され、A/D変換器38で
デジタル信号とされて、画像処理装置14に送られる。
0において、スキャナは、このようなスリット走査によ
るものに限定はされず、1コマの画像の全面を一度に読
み取る、面露光を利用するものであってもよい。また、
本発明を利用するフォトプリンタ10においては、スキ
ャナ12によって読み取ったフィルムFの画像以外に
も、反射原稿の画像を読み取るスキャナ、デジタルカメ
ラやデジタルビデオカメラ等の撮像デバイス、インター
ネット等のコンピュータ通信、フロッピーディスクやM
Oディスク(光磁気記録媒体)等の画像データ供給源R
から画像データを受け取って、これを再生したプリント
を作成してもよい。
メラ等から出力されたデジタル信号は、画像処理装置1
4(以下、処理装置14とする)に出力される。処理装
置14は、データ処理部40、画像合成部42、および
画像処理部44を有して構成される。なお、処理装置1
4には、これ以外にも、処理装置14を含むフォトプリ
ンタ10全体の制御や管理を行うCPU、フォトプリン
タ10の作動等に必要な情報を記憶するメモリ等が配置
され、また、操作系18やディスプレイ20は、このC
PU等(CPUバス)を介して各部位に接続される。
Bの各デジタル信号は、データ処理部40において、暗
時補正、欠陥画素補正、シェーディング補正等の所定の
データ処理を施され、さらに、Log変換されて、デジ
タルの画像データ(濃度データ)とされる。また、画像
データがデジタルカメラ等の画像データ供給源Rから供
給された場合には、その画像データは、データ処理部4
0においてフォトプリンタ10に対応する画像データに
変換され、必要な処理を施される。
は、次いで、画像合成部42に送られる。画像合成部4
2は、合成すべき画像データ、すなわち同シーンを異な
る露光条件で撮影した複数の画像の画像データが処理装
置14に供給された際に、データ処理部40で処理され
た画像データから、合成する画像データを選択して合成
する部位である。従って、露光条件の異なる同シーンが
他にない画像データは、画像合成部42で何の処理もさ
れずに、画像処理部44に送られる。なお、本発明にお
いて、データ処理部40で処理された画像データは、必
ずしも画像合成部42に供給されるのに限定はされず、
例えば、画像合成を行う際には、オペレータが指示を出
して、対応する画像データのみを画像合成部42に送る
ようにし、それ以外の画像データは、画像合成部42を
通らずに画像処理部44に送るようにしてもよい。
件で撮影した複数の画像とは、異なる露光量で撮影した
同じシーンの画像であり、例えば、フィルムFの画像で
あれば、カメラの絞りやシャッタースピードを変えて撮
影した同シーンの画像であり、デジタルカメラの画像で
あれば、CCDセンサの蓄積時間(電子シャッタスピー
ド)や絞りを変えて撮影した同シーンの画像である。特
に、スキャナ12での光電的な読み取りが不要であり、
画像合成の際の位置合わせが容易である等の点で、露光
条件の異なる同一シーンの画像は、デジタルカメラで撮
影された画像、中でもAEブラケティング機能を用いて
撮影された画像が好適である。また、高速連写が可能な
デジタルカメラであれば、動被写体にも対応可能である
点でも好ましい。
される。画像合成部42は、合成画像選択部46と、D
(フレーム)メモリ48と、L(フレーム)メモリ50
と、合成部52とを有して構成される。
像データの少なくとも一方を用いて、供給された画像デ
ータから、露光条件の異なる同シーンの複数の画像デー
タを検出し、合成に最適な画像データ(コマ)を選択す
る部位で、図示例は、好ましい態様として撮影情報と画
像データの両者を用い、合成に最適な2つの画像データ
を選択する。
情報としては、撮影時刻が例示される。例えば、画像デ
ータとして、以下に示すim1〜im5の画像データが
供給されたとする。 画像データ名 撮 影 時 刻 日付(年:月:日) 時刻(時:分:秒) im1 98:04:01 08:05:35.00 im2 98:04:01 08:10:00.45 im3 98:04:01 08:10:00.52 im4 98:04:01 08:10:01.01 im5 98:04:01 08:13:00.22
像データを同シーンの画像データとして選択する。すな
わち、この例では、im2、im3およびim4が同シ
ーンの画像データと判定され、im1およびim5は、
他に同シーンのない画像データ、すなわち合成を行う必
要のない画像データと判定される。なお、撮影時刻から
同シーンの画像データを判断する際において、同シーン
と判断する撮影時刻差には特に限定はないが、一般的
に、撮影時刻の差が2秒以下、より確実には、1秒以下
であれば、同シーンと判断することができる。
ータに、同シーンである旨の情報を付加してもよい。 画像データ名 im1 同シーンoff im2 同シーンon 1 im3 同シーンon 2 im4 同シーンon 3 im5 同シーンoff
定はなく、例えば、新写真システムのフィルムであれ
ば、フィルムの磁気記録媒体に記録された撮影時間の情
報を用いればよく、デジタルカメラで撮影された画像デ
ータや各種の記録媒体から供給された画像データであれ
ば、画像ファイルのヘッダやタグにこれらの情報を記録
しておき、これを読み取ればよい。さらに、オペレータ
がキーボード18a等を用いて撮影情報を入力してもよ
い。また、同シーンの情報としては、新写真システムで
磁気記録されるシーン情報も利用可能であり、デジタル
カメラ等の撮像デバイスに、同シーンであることを示す
情報を画像ファイル(記録媒体)に記録する機能を付け
てもよい。
同シーンの画像データから、合成に最適な2画像を選択
する。なお、合成を行う必要のない画像データと判定さ
れたim1およびim5は、合成画像選択部46から、
そのまま画像処理部44に出力される。
図3(A)〜(C)に示されるように、同シーンと判断
した画像データim2、im3およびim4の濃度ヒス
トグラムを作成し、ハイライト(最低濃度)の飛びもし
くはシャドー(最高濃度)のつぶれがなく、かつ、画像
シーンのハイライトからシャドーまでをすべて再現で
き、かつ画像データのダイナミックレンジができるだけ
広くなる2つの画像データを合成に最適な画像データと
して選択する。なお、図示例の画像データは、デジタル
カメラで撮影された画像データであり、小さい方が高濃
度の画像データとなる。すなわち、この例では、画像デ
ータim2およびim3が選択される。
ず、3以上の画像データを合成するようにしてもよい。
また、同シーンの画像データのうち、合成に使用されな
い画像データは不要であるので、合成するデータを選択
した時点で、破棄してもよい。なお、初めから合成すべ
き画像データが選択されて供給された場合には、合成画
像選択部46での処理は不要であり、また、常に合成す
べき画像データが選択されて供給される処理装置であれ
ば、合成画像選択部46は不要である。
件の異なる同シーンの2つの画像データのうち、高濃度
の画像データ(図示例では、露光量の低いim2=fd
1)はDメモリ48に、低濃度の画像データ(図示例では
露光量の高いim3=fl 1)はLメモリ50に、それぞ
れ出力され、記憶される。
れた画像データfd 1 およびfl 1は、共に、合成部5
2に読み出され、合成されて、1つ(1画像)の画像デ
ータfとされる。合成部52は、D−ルックアップテー
ブル(LUT)54と、L−LUT56と、乗算器58
および60と、加算器62および64とを有して構成さ
れる。
に、画像データをLogスケールの被写体輝度データf
d 2 およびfl 2 に変換するLUTである。次いで、加
算器64において、D−LUT54で得られた被写体輝
度データf d 2 にΔLogEを加算し、被写体輝度デー
タfd 3 を得る。被写体輝度データfd 2 およびfl 2
は、被写体輝度が一定値シフトしたデータで、ΔLog
Eは、そのシフト量である。
影情報を用いる方法と、画像データを用いる方法とがあ
る。撮影情報からΔLogEを算出する方法としては、
高濃度の画像データfd 1を撮影した際のシャッター速
度td および絞りSd と、低濃度の画像データfl 1 を
撮影した際のシャッター速度tl および絞りSl とを用
い、下記式 ΔLogE=(Logtl −LogSl 2)−(Logt
d −LogSd 2) で算出する方法が例示される。他方、画像データからΔ
LogEを算出する方法としては、高濃度および低濃度
の画像データから、飛びやつぶれのない画素を選択し、
その集合をRとして、集合Rにおける平均値の差をΔL
ogEとする方法が例示される。すなわち、下記式で算
出される。 ΔLogE=(集合Rのfl 2 の平均値)−(集合Rの
fd 2 の平均値) 画像データを用いる方法の方が、誤差を好適にキャンセ
ルできるので、精度的には好ましいが、撮影情報を用い
る方法の方が、演算が容易であるという利点もある。な
お、これらの撮影情報は、先の撮影時刻に準じた方法で
取得することができる。
換した後に合成を行っているが、2つの画像を滑らかに
つなぐという目的に対しては、被写体輝度に変換するL
UTを省略してもよい。また、このような露光条件の違
いの補正方法として、高濃度あるいは低濃度の画像デー
タの一方を基準として、他方の画像データを合わせ込む
方法も利用できる。この場合には、D−LUT54およ
びL−LUT56のうち、基準となる画像データに対応
するLUTによる露光条件補正は不要にできる。通常、
デジタルカメラ等で撮影され、記録媒体に記録された画
像信号はCRTモニタ等に表示した際に画像が好ましく
見えるように、γ(階調)変換されているものが多い。
そこで、カメラのγ変換特性を知見して、被写体輝度へ
の変換LUTで、その逆変換を行うのが好ましい。例え
ば、カメラの機種ごとのγ特性をあらかじめ記憶してお
き、カメラの機種を前述の撮影情報と同様に取得して、
それに応じたγ特性を読み出し、その逆特性をLUTに
セットすればよい。また、例示では、ΔLogEのシフ
トは加算器64を用いているが、画像データfd 1 等を
被写体輝度へ変換するLUTと統合することにより、加
算器64を省略することができる。
fd 3 は乗算器58で、L−LUT56で処理された画
像データfl 2 は乗算器60で、それぞれ処理され、加
算器62で加算されて、1つの画像データfとされる。
乗算器58および60は、両データfd 3 およびfl 2
に、重み付け係数WdおよびWlを乗算することによ
り、両画像データのつなぎ目における偽輪郭の発生等を
防止するものである。この重み付け係数は、一例とし
て、図4に示されるようなテーブルを用い、式『Wd+
Wl=0』を用いて算出される。この例では、高濃度領
域はシャドーのつぶれのない画像データfd 3 を用い、
定濃度領域ではハイライトの飛びのない画像データfl
2 を用い、両者のつなぎ目では、画像データに応じた重
み付けを行って、画像データの合成を行っている。
は、画像処理部44に送られる。画像処理部44は、デ
ータ処理部40で処理されたデジタルの画像データに所
定の画像処理を施し、さらに、画像処理済の画像データ
を3D(三次元)−LUT等を用いて変換して、プリン
タ16による画像記録やディスプレイ22への表示に対
応する画像データとする部位である。画像処理部44で
施される画像処理には特に限定はなく、公知の各種の画
像処理が例示されるが、例えば、LUTを用いたグレイ
バランス調整、階調補正、および濃度調整、マトリクス
(MTX)演算による撮影光源種補正や画像の彩度調
整、その他、ローパスフィルタ(LPF)、加算器、L
UT、MTX等を用いた、また、これらを適宜組み合わ
せた平均化処理や補間演算等を用いた、電子変倍処理、
覆い焼き処理、シャープネス(鮮鋭化)処理等が例示さ
れる。なお、画像処理部44での各種の処理条件は、例
えば、出力用の画像データを得るための本読み(本スキ
ャン)に先立って行われる、画像を粗に読み取るプレス
キャンの画像データや、プリンタ16への出力用の画像
データに対応する画像データを間引いた画像データを用
いて設定すればよい。
いては、露光条件の異なる同シーンの画像データを合成
して得られた画像データは、覆い焼き処理を行うのが好
ましい。この覆い焼き処理とは、処理する画像をボカし
たボケ画像データを生成して、このボケ画像データを用
いて元の画像データを処理することによって、中間濃度
部分の階調を維持して、画像のハイライト領域およびシ
ャドー領域を独立に圧縮する、画像データのダイナミッ
クレンジ圧縮処理である。
れた画像データは、非常に広いダイナミックレンジを持
ち、場合によっては、この画像データを可視像化するプ
リンタ等で再現できるダイナミックレンジを超えてしま
う。従って、適正な可視像を得るためには、画像データ
のダイナミックレンジを、プリンタ等で再現可能な範囲
に圧縮する必要があり、前述の特開平7−131704
号や同7−131718号公報でも、画像合成後の画像
データのダイナミックレンジの圧縮処理が行われてい
る。しかしながら、両公報に開示されるダイナミックレ
ンジの圧縮処理では、フォトプリンタ10で作成するプ
リントすなわち写真として高画質な画像が得られる画像
データを得ることは困難である。これに対し、上記覆い
焼き処理によれば、デジタル露光を行うフォトプリンタ
10において、通常の直接露光による覆い焼きと同様の
効果を、より高い自由度や画像補正能力で得ることがで
き、露光条件の異なる同シーンの画像データを合成した
画像データから、高画質な画像を再生したプリントを安
定して作成することが可能である。
て、下記の方法が例示される。まず、グレイバランス調
整、階調補正、濃度調整、彩度調整等の所定の画像処理
を終えた画像データ(以下、原画像データとする)を加
算器とMTX演算器とに並列に送る。MTX演算器は、
R、GおよびBの原画像データから、YIQ規定を用い
て原画像の明暗画像データを生成するものであり、例え
ば、下記式により、YIQ規定のY成分のみを、R、G
およびBの画像データから算出する Y=0.3R+0.59G+0.11B
像データをLPFで処理して、低周波数成分を取り出す
ことにより、明暗画像を2次元的にボカして、読み取っ
た画像のボケ画像データを得る。このLPFとしては、
ボケ画像データの生成に通常用いられるFIR(FiniteI
mpulse Respones) 型のLPFを用いてもよいが、小型
の回路で大きく画像をボカしたボケ画像データを生成で
きる点で、IIR(Infinite Impulse Respones)型のL
PFを用いるのが好ましい。また、LPFの代わりに、
メディアンフィルタ(MF)を用いてもよい。MFを用
いることにより、エッジを保存して、平坦部のノイズ
(高周波成分)をカットしたボケ画像データが得られる
という点で好ましい。また、MFの前記利点を生かした
上で、大きく画像をボカしたボケ画像データを生成でき
るという点で、MFとLPFとを併用して、両者で得ら
れた画像を重み付け加算するのが、特に好ましい。
クレンジ圧縮テーブル(以下、圧縮テーブルとする)に
よって処理する。この覆い焼き処理では、前述の加算器
において、原画像データに、この圧縮テーブルで処理さ
れたボケ画像データを加算することにより、画像データ
のダイナミックレンジを非線形に圧縮して覆い焼き処理
を行い、出力画像データのダイナミックレンジおよび明
部/暗部の階調や濃度を適正なものとして、人が原シー
ン(撮影シーン)を見た時と同じ印象を受ける、高画質
な画像が再現されたプリントを得られる出力画像データ
とする。すなわち、圧縮テーブルとは、前記ボケ画像デ
ータを処理して、原画像データのダイナミックレンジ等
を適切に圧縮する処理用画像データを得るためのテーブ
ルである。
ように作成される。まず、全体的な(ダイナミックレン
ジ)圧縮率αを算出して、これを用いる圧縮関数f
(α)を設定する。画像処理部44には、例えば、図5
に示されるような関数が設定されており、この関数を用
いて、画像データのダイナミックレンジ(DR)から、
圧縮率αを算出する。この関数では、ダイナミックレン
ジが閾値DRthよりも小さい場合には圧縮率αが0にな
っており、ダイナミックレンジが小さい画像の場合に
は、ダイナミックレンジの圧縮処理を行わないようにな
っている。これは、ダイナミックレンジが小さい画像に
圧縮処理を施すと、画像のコントラストが小さくなり、
逆に画質低下を招くからである。また、画像中に存在す
る電灯等、スポット的な最明部の画像は、ダイナミック
レンジ圧縮処理によって階調を出すよりもプリント上の
最低濃度に飛ばしたほうが良好な画像が得られる。その
ため、図5に示される関数では、ダイナミックレンジが
閾値DRmax よりも大きくなっても、それ以上は圧縮率
αは下限値αmaxより小さくならないように設定されて
いる。
f(α)を作成する。この圧縮関数f(α)は、図6
(A)に示されるように、ある信号値を基準値Y0 すな
わち横軸(出力0)との交点として、傾きが圧縮率αと
なる単純減少関数である。この基準値Y0 は基準濃度で
あって、主被写体等の画像の中心となる濃度に応じて適
宜設定すればよい。例えば、人物が主被写体である場合
には、肌色と略同一の濃度であるプリント濃度で0.5
〜0.7の間が例示され、好ましくは0.6程度であ
る。
縮率αlight 、および暗部の(ダイナミックレンジ)圧
縮率αdarkを設定して、明部の圧縮関数flight ( α
light) 、および暗部の圧縮関数fdark(αdark) を作
成する。明部の圧縮関数flight ( αlight ) は、図6
(B)に示されるように、前記基準値Y0 より明部側に
おいて横軸(出力0)よりも下方(マイナス側)となる
減少関数で、直線部分の傾きが、明部の圧縮率αlight
となる関数で、基準値Y 0 よりも暗部側の出力は0であ
る。この圧縮率αlight は、濃度ヒストグラムやハイラ
イト等の画像特徴量に応じて、覆い焼き処理によって得
られた明部の画像データがプリントの画像再現域の画像
データとなるように設定される。他方、暗部の圧縮関数
fdark(αdark) は、図6(C)に示されるように、前
記基準値Y0 より暗部側において横軸よりも上方となる
減少関数で、直線部分の傾きが、暗部の圧縮率αdarkと
なる関数で、基準値Y0 よりも明部側の出力は0であ
る。この圧縮率αdarkも、同様に、濃度ヒストグラムや
シャドー等の画像特徴量に応じて、暗部の画像データが
プリントの画像再現域の画像データとなるように設定さ
れる。
(α)、明部の圧縮関数flight ( αli ght ) 、および
暗部の圧縮関数fdark(αdark) を算出した後、下記式
に示されるように、これらを加算して圧縮関数ftotal
(α)を作成し、この圧縮関数f total (α)を用い
て、圧縮テーブルを作成する。ftotal (α)=f
(α)+flight ( αlight ) +fdark(αdark)
準値Y0 を固定して、明部および暗部の圧縮率を独立で
設定することにより、ダイナミックレンジ圧縮が中間濃
度部分の階調に変化を与えることなく、明部および暗部
のみを調整してダイナミックレンジ圧縮を行うことがで
きる。
は、この圧縮テーブルによって処理され、加算器に送ら
れる。前述のように、加算器には原画像データが送られ
ており、原画像データと、圧縮テーブルで処理されたボ
ケ画像データ(明暗画像データ)とが加算される。これ
により、原画像データのダイナミックレンジを圧縮す
る、覆い焼き処理が行われる。より詳細には、圧縮テー
ブルで処理されたボケ画像データは、図6から明らかな
ように、明部がマイナスで、暗部がプラスの画像データ
となる。従って、原画像データに、このボケ画像データ
を加算することにより、主たる画像データの明部は小さ
く、暗部は嵩挙げされ、すなわち画像データのダイナミ
ックレンジが圧縮される。また、ボケ画像データの生成
に使われたLPFの通過帯域は大面積コントラストに相
当し、局所的なコントラストはLPFの通過帯域よりも
高周波成分であるので、この成分は、LPFを通過した
ボケ画像データでは圧縮されない。従って、加算器で加
算されて得られた画像は、局所的なコントラストを維持
した状態でダイナミックレンジを圧縮された、高画質な
画像となる。
た画像(画像データ)は、ディスプレイ20やプリンタ
16に出力されて可視像化され、また、記録手段26に
出力され、画像ファイルとして記録媒体に記録される。
プリンタ16は、供給された画像データに応じて感光材
料(印画紙)を露光して潜像を記録するプリンタ(焼付
装置)と、露光済の感光材料に所定の処理を施してプリ
ントとして出力するプロセサ(現像装置)とを有して構
成される。プリンタでは、例えば、感光材料をプリント
に応じた所定長に切断した後に、バックプリントを記録
し、次いで、感光材料の分光感度特性に応じたR露光、
G露光およびB露光の3種の光ビームを処理装置14か
ら出力された画像データに応じて変調して主走査方向に
偏向すると共に、主走査方向と直交する副走査方向に感
光材料を搬送することにより、前記光ビームで感光材料
を2次元的に走査露光して潜像を記録し、プロセサに供
給する。感光材料を受け取ったプロセサは、発色現像、
漂白定着、水洗等の所定の湿式現像処理を行い、乾燥し
てプリントとし、フィルム1本分等の所定単位に仕分し
て集積する。
に、処理装置14が処理した画像データを画像ファイル
としてを記録し、あるいは記録媒体から画像ファイルを
読み取るものである。ここで、本発明の処理装置14が
画像データ(画像ファイル)を出力し、読み取る記録媒
体には特に限定はなく、フロッピーディスク、リムーバ
ブルハードディスク(Zip,Jaz等)、DAT(デ
ジタルオーディオテープ)等の磁気記録媒体、MO(光
磁気)ディスク、MD(ミニディスク)、DVD(デジ
タルビデオディスク)等の光磁気記録媒体、CD−R等
の光記録媒体、PCカードやスマートメディア等のカー
ドメモリ等が例示される。
に説明したが、本発明は上記実施例に限定はされず、本
発明の要旨を逸脱しない範囲において、各種の改良およ
び変更を行ってもよいのはもちろんである。
よれば、撮影ラチチュードの狭いデジタルカメラ等で高
コントラストシーンを撮影した際でも、十分な画像デー
タのダイナミックレンジを確保でき、また、同シーンを
異なる露光条件で撮影した複数の画像から合成に最適な
画像を選択でき、また、デジタルフォトプリンタにおい
て、高画質な画像が再生されたプリントを得ることがで
きる。
ォトプリンタのブロック図である。
像合成部のブロック図である。
れる画像合成部における合成画像の選択を説明するため
のグラフである。
の重み係数を算出するためのグラフである。
像処理における覆い焼き処理を説明するためのグラフで
ある。
れるデジタルフォトプリンタの画像処理における覆い焼
き処理を説明するためのグラフである。
Claims (7)
- 【請求項1】同シーンを異なる露光条件で撮影した複数
の画像の画像データを得て、この画像データを合成して
1つの画像とするする合成手段と、 前記合成手段によって合成された画像データに覆い焼き
処理を施す画像処理手段とを有することを特徴とする画
像処理装置。 - 【請求項2】同シーンを異なる露光条件で撮影した複数
の画像の画像データを得て、合成に最適な複数画像を選
択する選択手段と、 前記選択手段が選択した複数画像の画像データを合成し
て1つの画像とする合成手段とを有することを特徴とす
る画像処理装置。 - 【請求項3】同シーンを異なる露光条件で撮影した複数
の画像の画像データを得て、合成に最適な複数画像を選
択する選択手段と、 前記選択手段が選択した複数画像の画像データを合成し
て1つの画像とする合成手段と、 前記合成手段によって合成された画像データに覆い焼き
処理を施す画像処理手段とを有することを特徴とする画
像処理装置。 - 【請求項4】前記合成手段による合成条件を、画像の撮
影情報および画像データの少なくとも一方を用いて設定
する請求項1〜3のいずれかに記載の画像処理装置。 - 【請求項5】画像データに応じて、前記画像合成の際の
各画像の重み付け決定する請求項1〜4のいずれかに記
載の画像処理装置。 - 【請求項6】前記画像がデジタルカメラで撮影されたも
のである請求項1〜5のいずれかに記載の画像処理装
置。 - 【請求項7】前記選択手段が、画像データおよび撮影時
刻の少なくとも一方を用いて合成に最適な画像を選択す
る請求項2〜6のいずれかに記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08091098A JP3726223B2 (ja) | 1998-03-27 | 1998-03-27 | 画像処理装置 |
US10/680,261 US20040070778A1 (en) | 1998-03-27 | 2003-10-08 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08091098A JP3726223B2 (ja) | 1998-03-27 | 1998-03-27 | 画像処理装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004129492A Division JP3970261B2 (ja) | 2004-04-26 | 2004-04-26 | 画像処理装置及び画像処理方法 |
JP2005108036A Division JP4011072B2 (ja) | 2005-04-04 | 2005-04-04 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11284837A true JPH11284837A (ja) | 1999-10-15 |
JP3726223B2 JP3726223B2 (ja) | 2005-12-14 |
Family
ID=13731553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08091098A Expired - Lifetime JP3726223B2 (ja) | 1998-03-27 | 1998-03-27 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20040070778A1 (ja) |
JP (1) | JP3726223B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005117635A (ja) * | 2003-09-16 | 2005-04-28 | Fuji Photo Film Co Ltd | カメラシステム、カメラ制御方法、及びプログラム |
US7075569B2 (en) | 2001-03-26 | 2006-07-11 | Minolta Co., Ltd. | Image processing apparatus for performing shading correction on synthesized images |
JP2006211247A (ja) * | 2005-01-27 | 2006-08-10 | Canon Inc | 画像処理装置およびその方法 |
AU2003235661B2 (en) * | 2002-01-11 | 2007-07-26 | Portrait Innovations, Inc. | Systems and methods for producing portraits |
JP2012093965A (ja) * | 2010-10-27 | 2012-05-17 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2018033745A (ja) * | 2016-08-31 | 2018-03-08 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3945974B2 (ja) * | 2000-11-13 | 2007-07-18 | 富士フイルム株式会社 | 画像送信装置および画像送信方法 |
US8331621B1 (en) * | 2001-10-17 | 2012-12-11 | United Toll Systems, Inc. | Vehicle image capture system |
US7725348B1 (en) * | 2001-10-17 | 2010-05-25 | United Toll Systems, Inc. | Multilane vehicle information capture system |
US7734500B1 (en) * | 2001-10-17 | 2010-06-08 | United Toll Systems, Inc. | Multiple RF read zone system |
US20030086002A1 (en) * | 2001-11-05 | 2003-05-08 | Eastman Kodak Company | Method and system for compositing images |
US20030112339A1 (en) * | 2001-12-17 | 2003-06-19 | Eastman Kodak Company | Method and system for compositing images with compensation for light falloff |
US8804028B2 (en) * | 2004-01-30 | 2014-08-12 | Hewlett-Packard Development Company, L.P. | Digital image production method and apparatus |
US7652717B2 (en) * | 2005-01-11 | 2010-01-26 | Eastman Kodak Company | White balance correction in digital camera images |
US20070127909A1 (en) * | 2005-08-25 | 2007-06-07 | Craig Mowry | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
JP2007201985A (ja) * | 2006-01-30 | 2007-08-09 | Matsushita Electric Ind Co Ltd | 広ダイナミックレンジ撮像装置 |
US7843493B2 (en) * | 2006-01-31 | 2010-11-30 | Konica Minolta Holdings, Inc. | Image sensing apparatus and image processing method |
JP4872508B2 (ja) * | 2006-07-28 | 2012-02-08 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US7952021B2 (en) | 2007-05-03 | 2011-05-31 | United Toll Systems, Inc. | System and method for loop detector installation |
JP5231284B2 (ja) * | 2008-03-31 | 2013-07-10 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
US20090278014A1 (en) * | 2008-05-06 | 2009-11-12 | Jim Allen | Overhead track system for roadways |
TWI462595B (zh) * | 2009-04-17 | 2014-11-21 | Mstar Semiconductor Inc | 用以消除影像誤差之濾波器與方法以及相關之顯示電路 |
JP2012019392A (ja) * | 2010-07-08 | 2012-01-26 | Nikon Corp | 画像処理装置、電子カメラおよび画像処理プログラム |
JP6217185B2 (ja) * | 2013-07-02 | 2017-10-25 | 株式会社ニデック | 眼科撮影装置及び眼科画像処理プログラム |
US9807372B2 (en) * | 2014-02-12 | 2017-10-31 | Htc Corporation | Focused image generation single depth information from multiple images from multiple sensors |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5012333A (en) * | 1989-01-05 | 1991-04-30 | Eastman Kodak Company | Interactive dynamic range adjustment system for printing digital images |
JP2938123B2 (ja) * | 1990-03-30 | 1999-08-23 | 株式会社東芝 | 多機能デジタルカメラ |
US5420635A (en) * | 1991-08-30 | 1995-05-30 | Fuji Photo Film Co., Ltd. | Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device |
JP3074967B2 (ja) * | 1992-10-27 | 2000-08-07 | 松下電器産業株式会社 | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 |
US5801773A (en) * | 1993-10-29 | 1998-09-01 | Canon Kabushiki Kaisha | Image data processing apparatus for processing combined image signals in order to extend dynamic range |
US5724456A (en) * | 1995-03-31 | 1998-03-03 | Polaroid Corporation | Brightness adjustment of images using digital scene analysis |
US6160579A (en) * | 1995-08-01 | 2000-12-12 | Canon Kabushiki Kaisha | Image processing apparatus and method |
US5828793A (en) * | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
US6219097B1 (en) * | 1996-05-08 | 2001-04-17 | Olympus Optical Co., Ltd. | Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined |
US5982951A (en) * | 1996-05-28 | 1999-11-09 | Canon Kabushiki Kaisha | Apparatus and method for combining a plurality of images |
EP0813336B1 (en) * | 1996-06-12 | 2007-08-08 | FUJIFILM Corporation | Image processing method and apparatus |
US5818975A (en) * | 1996-10-28 | 1998-10-06 | Eastman Kodak Company | Method and apparatus for area selective exposure adjustment |
US5994050A (en) * | 1997-10-03 | 1999-11-30 | Eastman Kodak Company | Method for use of light colored undeveloped photographic element |
JPH11205648A (ja) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | 画像合成装置 |
EP0933924B1 (en) * | 1998-01-28 | 2004-03-24 | Konica Corporation | Image processing apparatus |
-
1998
- 1998-03-27 JP JP08091098A patent/JP3726223B2/ja not_active Expired - Lifetime
-
2003
- 2003-10-08 US US10/680,261 patent/US20040070778A1/en not_active Abandoned
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7075569B2 (en) | 2001-03-26 | 2006-07-11 | Minolta Co., Ltd. | Image processing apparatus for performing shading correction on synthesized images |
AU2003235661B2 (en) * | 2002-01-11 | 2007-07-26 | Portrait Innovations, Inc. | Systems and methods for producing portraits |
JP2005117635A (ja) * | 2003-09-16 | 2005-04-28 | Fuji Photo Film Co Ltd | カメラシステム、カメラ制御方法、及びプログラム |
JP2006211247A (ja) * | 2005-01-27 | 2006-08-10 | Canon Inc | 画像処理装置およびその方法 |
JP4612845B2 (ja) * | 2005-01-27 | 2011-01-12 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP2012093965A (ja) * | 2010-10-27 | 2012-05-17 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2018033745A (ja) * | 2016-08-31 | 2018-03-08 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
US10430930B2 (en) | 2016-08-31 | 2019-10-01 | Fujifilm Corporation | Image processing apparatus, image processing method, and image processing program for performing dynamic range compression process |
Also Published As
Publication number | Publication date |
---|---|
US20040070778A1 (en) | 2004-04-15 |
JP3726223B2 (ja) | 2005-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3726223B2 (ja) | 画像処理装置 | |
US7742653B2 (en) | Image processing apparatus and image processing method | |
US6798921B2 (en) | Method for image designating and modifying process | |
US6480300B1 (en) | Image processing apparatus, image processing method and recording medium on which software for executing the image processing is recorded | |
US20030031375A1 (en) | Image processing method and apparatus | |
JP2001298619A (ja) | 画像処理方法及び画像処理装置 | |
US6219129B1 (en) | Print system | |
JP3907816B2 (ja) | 画像処理方法 | |
JP3696345B2 (ja) | 画像処理方法及び装置 | |
JP3913356B2 (ja) | 画像処理方法 | |
JP2006246200A (ja) | 画像処理装置および画像処理方法 | |
JP3408770B2 (ja) | 画像処理装置 | |
JP2000156785A (ja) | 画像処理方法および画像処理装置 | |
JPH11191871A (ja) | 画像処理装置 | |
JPH11289447A (ja) | 画像処理方法および画像処理装置 | |
JP4011072B2 (ja) | 画像処理装置 | |
JP3970261B2 (ja) | 画像処理装置及び画像処理方法 | |
JPH11225270A (ja) | 画像処理方法および画像処理装置 | |
JP3939428B2 (ja) | 画像処理方法および装置 | |
JP4667072B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JPH11234514A (ja) | 画像記録方法および画像記録装置 | |
JPH11234510A (ja) | 画像入力装置 | |
JPH11298722A (ja) | プリントシステム | |
JPH11341275A (ja) | 画像処理装置 | |
JP2000041183A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050914 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101007 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111007 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121007 Year of fee payment: 7 |