JP3783817B2 - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP3783817B2 JP3783817B2 JP05945498A JP5945498A JP3783817B2 JP 3783817 B2 JP3783817 B2 JP 3783817B2 JP 05945498 A JP05945498 A JP 05945498A JP 5945498 A JP5945498 A JP 5945498A JP 3783817 B2 JP3783817 B2 JP 3783817B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- aberration
- correction
- image data
- aberration correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 title claims description 181
- 238000003672 processing method Methods 0.000 title claims description 14
- 230000004075 alteration Effects 0.000 claims description 274
- 238000012937 correction Methods 0.000 claims description 199
- 238000001514 detection method Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 14
- 239000000463 material Substances 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 13
- 239000003086 colorant Substances 0.000 description 9
- 230000010354 integration Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000012888 cubic function Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、フィルムに撮影された画像を光電的に読み取り、または、被写体の画像を撮影して直接デジタル画像データを得、このデジタル画像データに基づいて、画像が再現されたプリント（写真）を得るデジタルフォトプリンタ等において、レンズ付きフィルム等で撮影された画像で発生する倍率色収差や歪曲収差を補正する画像処理方法および画像処理装置の技術分野に属する。
【０００２】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）によって行われている。
【０００３】
これに対して、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上り）プリントとするデジタルフォトプリンタが実用化されている。
【０００４】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。しかも、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理したプリントも出力可能である。
しかも、デジタルフォトプリントによれば、画像をプリント（写真）として出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーデイスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【０００５】
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的によみとるスキャナ（画像読取装置）、読み取った画像を画像処理して記録用の画像データ（露光条件）とする画像処理装置、および、この画像データに応じて感光材料を走査露光して現像処理を施してプリントとするプリンタ（画像記録装置）より構成される。
【０００６】
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を旦持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの画像データ（画像データ信号）として画像処理装置に送る。
画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定し、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、感光材料を二次元的に走査露光（焼付け）して潜像を形成し、次いで、所定の現像処理等を施して、フィルムに撮影された画像が再生されたプリント（写真）とする。
【０００７】
【発明が解決しようとする課題】
ところで、プリントに再生された画像の画質劣化の原因として、画像を撮影したカメラに装着されるレンズの性能に起因する倍率色収差および歪曲収差が挙げられる。
カラー画像は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色によって形成されるが、レンズの屈曲率（結像倍率）は波長によって微妙に異なるため、Ｒ、ＧおよびＢの光の結像倍率が異なり、すなわち倍率色収差が生じる。その結果、フィルムに撮影された画像を再生すると、得られた画像に色ずれが生じてしまう。
また、良好な撮影画像を得るためには、光軸に対して垂直な平面は、結像面でそれに対応して結像される必要があるが、通常のレンズでは、結像位置が光軸方向にズレを生じ、結像画像に歪（デイストーション）すなわち歪曲収差を生じる。そのため、フィルムに撮影された画像を再生すると、得られた画像が歪んだものとなってしまう。
【０００８】
一眼レフ等のように、ある程度のコストを掛けられるカメラであれば、精度の高いレンズを用い、さらに複数枚のレンズを組み合わせることにより、倍率色収差や歪曲収差を補正して、フィルムに適正画像を撮影することができる。
しかしながら、レンズ付きフィルムや安価なコンパクトカメラでは、レンズにコストを掛けることができないため、フィルムに撮影された画像に倍率色収差や歪曲収差が生じてしまう。その結果、プリントとして再生された画像が、色ずれや歪を有するものとなってしまう。
【０００９】
従来の画像処理装置においては、被写体の撮影を行った撮影レンズの情報や撮影レンズのレンズ特性が既知であれば、これらの撮影レンズのレンズ特性に応じて倍率色収差や歪曲収差などを補正することも考えられるが、撮影レンズの情報や撮影レンズのレンズ特性がわからない場合、これらの収差の補正を行うのは困難であり、最良の補正状態の画像を得るのは、極めて困難であるという問題があった。
【００１０】
本発明の目的は、上記従来技術の問題点を解消し、レンズ付きフィルム等の安価なカメラで光学的に撮影された画像や、安価なデジタルカメラによって撮影された画像について、撮影したレンズ情報や撮影フィルム情報より収差特性が得られない場合でも、撮影画像のデータに基づいて、例えばこの画像データを用いて画像表示装置に表示された画像に基づいて、収差特性を検出することができ、その収差特性を利用した画像処理によって倍率色収差や歪曲収差を補正して、最良の収差補正状態の色ずれや歪のない高画質な画像を、プリント画像として再現することを可能にする画像処理方法、および画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
前記目的を達成するために、本発明は、撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得る際、前記入力画像データに基づいて前記画像を画像表示装置に表示し、この画像表示装置の表示画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定する、被写体のエッジの位置情報を少なくとも２点得、この少なくとも２点から前記収差補正対象被写体を前記入力画像データに基づいて抽出し、前記収差補正対象被写体の収差補正前の前記エッジの位置情報を収得するとともに、前記少なくとも２点間で予め予測される前記収差補正対象被写体の収差補正後の前記エッジの位置情報を収得し、前記収差補正前のエッジの位置情報と前記収差補正後のエッジの位置情報から、収差補正式を算出することによって、前記撮影レンズの倍率色収差特性および歪曲収差特性の少なくとも一つの収差特性を検出し、検出された収差特性および前記画像の位置情報に基づいて、前記倍率色収差および歪曲収差の少なくとも一つの収差を前記画像全体に亘って補正することを特徴とする画像処理方法を提供する。
【００１２】
又、本発明は、撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得るための画像処理装置であって、前記入力画像データに基づいて前記画像を表示する画像表示装置と、前記画像表示装置の表示画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定する、被写体のエッジの位置情報を少なくとも２点得、この少なくとも２点から前記収差補正対象被写体を前記入力画像データに基づいて抽出し、前記収差補正対象被写体の収差補正前のエッジの位置情報を収得するとともに、前記少なくとも２点間で予め予測される前記収差補正対象被写体の収差補正後のエッジの位置情報を収得し、前記収差補正前のエッジの位置情報と前記収差補正後のエッジの位置情報から、収差補正式を算出する検出手段と、この検出手段によって検出された前記収差特性および前記画像の位置情報から前記撮影画像の倍率色収差特性および歪曲収差の少なくとも一つの収差を補正する補正手段とを有することを特徴とする画像処理装置を提供する。
【００１３】
【課題を解決するための手段】
又、本発明は、撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得るための画像処理装置であって、前記入力画像データに基づいて前記画像を表示する画像表示装置と、
前記画像表示装置に表示された画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定し、この収差補正対象被写体から前記撮影レンズに起因する倍率色収差特性および歪曲収差特性の少なくとも一つの収差特性を検出して取得する取得手段と、この取得手段によって取得された前記少なくとも一つの収差特性、および前記画像の位置情報から、前記撮影画像の倍率色収差および歪曲収差の少なくとも一つの収差を補正する補正手段と、この補正手段で用いられる前記少なくとも一つの収差特性の補正強度または収差パターンを調整する調整手段とを有し、前記取得手段では、前記画像表示装置の表示画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定する少なくとも２点の位置情報を得、この少なくとも２点から前記収差補正対象被写体を前記入力画像データに基づいて抽出し、前記被写体の収差補正前の位置情報を収得するとともに、前記少なくとも２点間で予め予測される前記被写体の収差補正後の位置情報を収得し、前記収差補正前の位置情報と前記収差補正後の位置情報から、収差補正式を算出することで、前記少なくとも一つの収差特性を検出し、前記画像表示装置に、前記補正手段によって前記少なくとも一つの収差が補正された画像であって、前記調整手段によって調整された、異なる複数の補正強度または収差パターンによって前記補正手段で補正された複数の画像を表示し、この複数の画像の中から、出力用画像の補正状態を、外部入力手段を用いた入力に応じて決定し、この決定された補正状態の収差補正画像データを前記出力画像データとして出力することを特徴とする画像処理装置を提供する。
【００１４】
その際、前記画像表示装置には、前記補正手段による収差補正画像を少なくとも一つ表示し、前記調整手段による前記補正強度または収差パターンの調整ごとに前記補正手段によって補正された収差補正画像を前記画像表示装置に表示することを、複数の前記補正強度および収差パターンについて繰り返し、前記出力用画像の補正状態を決定することが好ましい。
【００１５】
あるいは、前記画像表示装置には、前記調整手段による前記補正強度または収差パターンの調整ごとに前記補正手段によって補正された複数の収差補正画像を同時に表示し、表示された複数の収差補正画像の中から出力用画像の補正状態を決定することも好ましい。
【００１６】
その際、前記収差補正対象被写体の位置情報は、前記収差補正対象被写体のエッジの位置情報であることが好ましい。
【００１８】
【発明の実施の形態】
以下、本発明の画像処理方法および画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【００１９】
図１に、本発明の画像処理方法を実施する本発明の画像処理装置を利用したデジタルフォトプリンタの一例のブロック図が示される。
図１に示されるデジタルフォトプリンタ１０（以下、フォトプリンタ１０とする）は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料を画像露光し、現像処理して（仕上り）プリントとして出力するプリンタ１６とを有して構成される。
また、画像処理装置１４には、様々な条件の入力（設定）、処理の選択や支持、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示するモニタ２０とを含んでいる。
【００２０】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、画像をＲ（赤）、Ｇ（緑）、およびＢ（青）の三原色に分解するためのＲ、ＧおよびＢの３枚の色フィルタを有し、回転して任意の色フィルタを光路に作用する色フィルタ板２６と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、フィルムの１コマの画像を読み取るエリアセンサーであるＣＣＤセンサ３４と、アンプ（増幅器）３６とを有して構成される。
【００２１】
なお、図示例のフォトプリンタ１０においては、新写真システム（Advanced Photo Sysytem）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態、トリミング等の処理の種類等に応じて、スキャナ１２の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送、保持される。
【００２２】
このようなスキャナ１２においては、光源２２から射出され、可変絞り２４によって光量調整され、色フィルタ２６を通過して色調整され、拡散ボックス２８で拡散された読み取り光が、キャリアによって所定の読み取り位置に保持されたフィルムＦの１駒に入射して、透過することにより、フィルムＦに撮影されたこのコマの画像を担持する投影光を得る。
フィルムＦの投影光は、結像レンズユニット３２によってＣＣＤセンサ３４の受光面に結像され、ＣＣＤセンサ３４によって光電的に読み取られ、その出力信号がアンプ３６で増幅されて、画像処理装置１４に送られる。ＣＣＤセンサ３４は、例えば、１３８０×９２０画素のエリアＣＣＤセンサである。
【００２３】
スキャナ１２においては、このような画像読取を、色フィルタ板２６の各色フィルタを順次挿入して３回行うことにより、１コマの画像をＲ、ＧおよびＢの３原色に分解して読み取る。
ここで、フォトプリンタ１０においては、プリントを出力するための画像読み取り（本スキャン）に先立ち、画像処理条件等を決定するために、画像を低解像度で読み取るプレスキャンを行う。したがって、１コマで、合計６回の画像読み取りが行われる。
【００２４】
スキャナ１２は、エリアＣＣＤセンサを用い、色フィルタ板２６によって投影光を３原色に分解して画像を読み取っているが、本発明に利用されるスキャナとしては、Ｒ、ＧおよびＢの３原色のそれぞれの読み取りに対応する３つのラインＣＣＤセンサを用い、フィルムＦをキャリアで走査搬送しつつ画像を読み取るスリット走査によって画像読み取りを行うものであってもよい。
【００２５】
図示例のフォトプリンタ１０は、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ１２を画像処理装置１４の画像データ供給源としているが、画像処理装置１４に画像データを供給する画像データ供給源としては、スキャナ１２以外にも、反射原稿の画像を読み取る画像読取装置、デジタルカメラ、デジタルビデオカメラ、ＬＡＮ（Local Area Network）やコンピュータ通信ネットワーク等の通信手段、メモリーカードやＭＯ（光磁気記録媒体）等のメデイア（記録媒体）等の、各種の画像読取手段や撮影手段、画像データの記憶手段等が各種使用可能である。
【００２６】
前述のように、スキャナ１２からの出力信号（画像データ）は、画像処理装置１４に出力される。
図２に本発明の実施例である画像処理装置１４（以下、処理装置１４とする）のブロック図を示す。処理装置１４は、データ処理部３８、プレスキャン（フレーム）メモリ４０、本スキャン（フレーム）メモリ４２、プレスキャン画像処理部４４、本スキャン画像処理部４６、条件設定部４８および画像表示装置部２０を有して構成される。
【００２７】
データ処理部３８では、スキャナ１２から出力されたＲ，ＧおよびＢの各出力信号は、Ａ／Ｄ（アナログ／デジタル）変換、Ｌｏｇ変換、ＤＣオフセット補正、暗時補正、シェーディング補正等を行い、得られたプレスキャン（画像）データはプレスキャンメモリ４０に、本スキャン（画像）データは本スキャンメモリ４２に、それぞれ記憶（格納）される。
なお、スキャナ１２によって読み取られるプレスキャンデータと本スキャンデータは、解像度（画素密度）と信号レベルが異なる以外は、基本的に同様のデータである。
【００２８】
プレスキャンメモリ４０および本スキャンメモリ４２には、データ処理部３８で処理されたデジタル化されたデータが記憶され、必要に応じて、画像処理を施し出力するために、プレスキャン画像処理部４４、または、本スキャン画像処理部４６に呼び出される。
【００２９】
プレスキャン画像処理部４４は、後述する倍率色収差や歪曲色収差の収差特性を検出し、またその補正強度を調整して収差を補正する、収差特性検出部４７と収差特性調整部４９と収差補正部５１を有するほか、画像処理ブロック５０Ａと５０Ｂ、さらに画像データ変換部５２とを有している。収差特性検出部４７と収差特性調整部４９と収差補正部５１は、本発明の画像処理装置を特徴付ける収差特性の検出手段と収差特性の調整手段および収差の補正手段を実施する部分であり、また、収差特性検出部４７および収差補正部５１において、本発明である画像処理方法が行われている。
【００３０】
画像処理ブロック５０Ａでは、色バランス調整、コントラスト補正（階調処理）、明るさ補正が図示しないＬＵＴ（ルックアップテーブル）による処理、および、彩度補正が図示しないＭＴＸ演算によって公知の方法で行われる。画像処理部ブロック５０Ｂにおいては、シャープネス処理や覆い焼き処理等が、オペレータによる指示や画像データ等に応じて行われる。
画像データ変換部５２では、画像処理部５０で画像処理の施された画像データを、モニタ２０による表示に対応する画像データに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて変換する。
【００３１】
本スキャン画像処理部４６は、本スキャンデータの収差を補正する収差補正部５６、特性データ供給部６０、画像処理ブロック５４Ａ、５４Ｂおよび画像データ変換部５８から構成される。
画像処理ブロック５４Ａでは、画像処理ブロック５０Ａと同様に、本スキャンデータについて、色バランス調整、コントラスト補正（階調処理）、明るさ補正が図示しないＬＵＴ（ルックアップテーブル）による処理によって、また、彩度補正が図示しないＭＴＸ演算によって、公知の方法で行われる。画像処理部ブロック５４Ｂにおいては、シャープネス処理や覆い焼き処理等が、オペレータによる指示や画像データ等に応じて行われる。
画像データ変換部５８では、画像処理部５４で画像処理の施された画像データを、プリンタ１６にプリント出力する画像データに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて変換する。
【００３２】
特性データ供給部６０では、検出された収差特性の補正強度を収差特性調整部４９で調整したものを記憶しており、本スキャンデータについて収差補正部５６で収差の補正を行う際にデータを供給する。
収差補正部５６では、特性データ供給部６０から供給された補正強度の調整された収差特性でもって収差を補正し、さらに、プリント出力される画像のサイズに応じて電子変倍処理が所定の方法で行われる。
【００３３】
条件設定部４８は、（画像処理条件）設定部７２、キー補正部７４、およびパラメータ統合部７６から構成される。
設定部７２では、プレスキャンデータがプレスキャンメモリ４０から読み出され、画像処理条件を決定するのに用いられる。
具体的には、設定部７２は、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出等を行い、加えて、必要に応じて行われるオペレータによる指示に応じて、前述のグレイバランス調整等のテーブル（ＬＵＴ）や彩度補正を行うマトリクス演算の作成等の画像処理条件を決定する。決定された画像処理条件は、 パラメータ統合部７６に送られる。
なお、歪曲収差を補正する場合には、電子変倍処理の変倍率が通常と異なるので、それに応じて各種の画像処理条件、例えば、シャープネス処理の係数や各種のフィルタに掛ける係数、各種の補正係数等を変更してもよい。
【００３４】
キー補正部７４は、キーボード１８ａに設定された明るさ、色、コントラスト、シャープネス、彩度調等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量（例えば、ＬＵＴの補正量等）を算出し、パラメータ統合部７６に供給するものである。
パラメータ統合部７６は、設定部７２が設定した画像処理条件を受け取り、供給された画像処理条件をプレスキャン画像処理部４４の処理部５０および本スキャン画像処理部４６の処理部５４に設定し、さらに、キー補正部７４で算出された調整量に応じて、各部位に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００３５】
なお、図２は、主に画像処理関連の部位を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ、本スキャンの際の可変絞り２４の絞り値やＣＣＤセンサ３４の蓄積時間を決定する手段等が配置される。
【００３６】
モニタ２０は、後述するように、補正処理前の画像をモニタ２０に表示し、それを見ながら画像の被写体を特定し、その画像データに基づいて収差特性を検出し、またモニタ２０に表示された画像を見ながら収差特性の補正強度を調整するために用いられる。
【００３７】
さて、プレスキャンメモリ４０に記憶されたプレスキャンデータは、色バランス調整、明るさ補正およびコントラスト補正や彩度補正が画像処理ブロック５０Ａで行われた後、収差特性検出部４７、収差特性調整部４９、および収差補正部５１を経由することなく、画像データ変換部５２に送られ、３Ｄ（三次元）−ＬＵＴ等を用いて、モニタ２０による表示に対応する画像データに加工された後、モニタ２０に表示される。ユーザは、図３（ａ）に示すように、モニタ２０に表示された画像の中から本来直線と考えられる被写体７０（例えば、柱）について注目し、その注目した被写体の本来あるべき直線からの歪みである歪曲収差が許容されるかどうかを判断する。歪曲収差を補正する必要があると認めた場合、表示画像上の注目した被写体７０をキーボード１８ａやマウス１８ｂで目印を２箇所以上つける。例えば、図３（ａ）においては、２個の目印７０ａ、７０ｂが指示されている。被写体７０への目印は、被写体のエッジ部でかつ端部に設けるのが好ましい。その理由は、被写体の画像データを精度良く抽出できるからである。付けられた２箇所以上の目印を直線で結んだ直線７０ｃが本来の被写体であると考えられる。
【００３８】
注目した被写体７０についての画像データ上の座標を取り出す場合、オペレータがマウス１８ｂ等で被写体７０を直接トレースしても良いし、また被写体７０を含む一定領域を指定して、その中で画像の濃度変化を用いて被写体７０の画像データ上の座標を自動的に取り出しても良い。そして、取り出された被写体７０の画像データの座標値を本来あるべき直線７０ｃの画像データの座標値に補正するための補正式を算出する。補正式の算出は、画像データの位置情報（例えば、画像の中心からの座標位置ｘ−ｙ）から、 位置情報をパラメータとする３次関数の各次係数を決定することにより、歪曲収差特性を検出することができる。一般的に、レンズの歪曲収差特性は、レンズの光軸すなわちフィルムＦに撮影された画像の中心からの距離（例えば、ｘ−ｙで示される）をパラメータとする３次関数である程度まで近似することができることを利用したものである。
尚、上記検出される歪曲収差特性は、通常Ｒ、ＧおよびＢの３原色の基準となる色Ｇの画像データによって行われる。
【００３９】
また、倍率色収差特性の検出は、倍率色収差による色ずれについてＲおよびＢの画像をＧ画像に合わせる倍率色収差の補正式を算出することにより行われるが、上述した注目する被写体７０の色ずれを用いて行う。補正式は画像データの位置情報（例えば、画像の中心からの座標位置ｘ−ｙ）から、歪曲収差特性の検出方法と同様に、位置情報をパラメータとする３次関数の各次係数を決定することで、倍率色収差特性の検出を行う。これは、レンズの倍率色収差特性も、歪曲収差特性同様に、一般的に、レンズの光軸すなわちフィルムＦに撮影された画像の中心からの距離（例えば、ｘ−ｙで示される）をパラメータとする３次関数である程度まで近似することができることを利用したものである。
【００４０】
上記検出した収差特性を用いて、Ｒ、ＧおよびＢの３原色の基準となる色、通常はＧを基準として、ＲおよびＢの像倍率を変換して、ＲおよびＢの画像をＧ画像に合わせることで倍率色収差を補正し、その後、歪曲収差を補正する。これにより、各画素の適正位置を算出し、これを用いて、各画素の画像データを補間演算することによって、フィルムに撮影された画像の倍率色収差および歪曲収差を補正した画像データを得ることができる。
上記実施例では、収差特性の検出および収差の補正は、歪曲収差および倍率色収差についてであるが、歪曲収差または倍率色収差のみであってもかまわない。
【００４１】
収差特性調整部４９において、ユーザがモニタ２０に表示した画像に基づいて検出した収差特性の補正強度を調整する。検出した収差特性を調整し、収差を補正した前記被写体７０を含んだ画像をモニタ２０に表示するが、被写体７０に基づいて検出した収差特性の補正が強すぎたり弱すぎたりするため、検出した収差特性の補正強度を３〜５段階に変えて変更して収差補正をした被写体を含んだ画像を表示し、ユーザが最適と思う収差特性を選択する手段を設けている。
ユーザが画面を見ながら、キーボード１８ａやマウス１８ｂや補正キー（図示せず）による入力により、補正強度、強、中、弱の中から、また、＋２、＋１、Ｎ、ー１、ー２の中から補正強度が最適と判断されるものを選択できるようにしている。
【００４２】
また、図示していないが、倍率色収差特性についても、被写体７０の色ずれをモニタ２０で確認し、ユーザがそれを見ながら、キーボード１８ａによる入力により、補正強度、強、中、弱の中から、また、＋２、＋１、Ｎ、ー１、ー２の中から補正強度が最適と判断されるものを選択できるようにしている。なお、本発明において、補正強度の段階は３〜５段階に限定されるものでない。
【００４３】
図３（ｂ）において、収差特性調整手段としての収差特性調整部４９における、モニタ２０に表示される一例を示す。収差特性検出部４７で検出された収差特性によって被写体７０が７０ｃに補正されているが、被写体７０が補正により直線となる上記検出された収差特性（Ｎ）を中心に補正強度を強めたプラス側（＋１、＋２）と、補正強度を弱めたマイナス側（ー１、ー２）に水準を振って収差を補正した複数の画像の中からユーザが最良と判断する画像を選択することができる。図３（ｃ）においては、補正強度を弱めて収差を補正した画像（ー１）が表示されている。選択は、各補正強度ごとに補正された画像のモニタ２０の画面下部の＋２、＋１、Ｎ、ー１、ー２の中から、キーボード１８ａによる入力により選択される。尚、収差特性は、撮影レンズの特性によっては、糸巻型の特性の他、樽型の特性を示すことがあるため、ユーザが画像によってどちらも選択することができるようにするのが好ましい。また、収差特性検出部４７で検出された収差特性によって補正した画像および、その補正強度を変えて補正した画像の中から選択する場合に限られず、代表的な収差特性をあらかじめ設定し、それによって補正された画像の中から選択するようにしてもよい。
【００４４】
ここでユーザは、収差の補正をされた画像を見て収差特性を調整するが、モニタ２０への表示は、収差補正部５１で収差の補正をされた画像が表示される。
収差の補正は、Ｒ、ＧおよびＢの３原色の基準となる色、通常はＧを基準として、ＲおよびＢの像倍率を変換して、ＲおよびＢの画像をＧ画像に合わせることで倍率色収差を補正し、その後、歪曲収差を補正する。これにより、各画素の適正位置を算出し、これを用いて、各画素の画像データを補間演算することによって、フィルムに撮影された画像の倍率色収差および歪曲収差を補正した画像データを得ることができる。
収差を補正したプレスキャン画像データは、さらに、シャープネス処理や覆い焼き処理等をユーザによる指示や画像データ等に応じたブロック５０Ａで行われ、モニタ２０に表示するため画像データ変換部５２で画像変換される。
【００４５】
また、収差特性調整部４９においては、図３（ｄ）に示す様に、検出された収差特性による補正後の画像と、その補正特性の補正強度を予め３〜５段階に変えて収差を補正をした複数の画像とを、モニタ２０を分割して複数の画像を同時に表示させてもよい。
【００４６】
このようにユーザがモニタ２０を見て確認するのは、歪曲収差の補正を行った矩形画像は、歪曲収差の補正により、画像周辺部において画像のない、いわゆるケラレを生じてしまう場合があるからである。ケラレの生じた画像をプリント出力することは好ましくないことから、ケラレの生じない矩形画像を指定した出力プリントサイズに合わせて出力するためには、画像をわずかに拡大し、画像周辺領域を切り落として、ケラレの生じない、指定した出力プリントサイズの矩形画像を作る必要がある。しかし、上記の画像周辺領域を切り落とす作業において、切り落とされた画像周辺領域に本来切り落としてはならない被写体が含まれている可能性もある。特に、ケラレの生じない矩形画像を指定した出力プリントサイズに合わせるための切り落とす画像周辺領域は、歪曲収差補正の補正強度によって変化するため、ユーザは切り落としてはならない被写体が含まれていないか、確認する必要がある。
【００４７】
例えば、図３（ｄ）において、表示されている（ａ）〜（ｄ）の画像は、収差特性検出部４７で検出された収差特性に基づいて予め水準を設定した補正強度に応じて収差を補正した画像である。
また、プリント出力すべきプリント出力枠７１を設定し、その範囲外に重要と思われる被写体が含まれていないか、調べることができる。ユーザはこの表示画面を見ながら上述の被写体の切り落としや画像の色ずれや歪みを総合的に判断し、出力すべき画像を決定する。
【００４８】
ユーザが収差特性調整部４９で収差特性を調整すると、その収差特性は特性データ供給部６０に送られメモリーに記憶される。本スキャンメモリ４２に記憶された本スキャンデータは本スキャン画像処理部４６において、処理が開始される。本スキャンデータの処理部５４における画像処理としては、色バランス調整、コントラスト補正（階調処理）、明るさ補正、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、彩度補正、シャープネス（鮮鋭化）処理等が例示される。これらは、演算、ＬＵＴ（ルックアップテーブル）による処理、マトリクス（ＭＴＸ）演算、フィルタによる処理等を適宜組み合わせた、公知の方法で行われるものであり、色バランス調整、明るさ補正およびコントラスト補正、また彩度補正が画像処理ブロック５４Ａで行われる。また、これ以外のシャープネス処理や覆い焼き処理等は、オペレータによる指示や画像データ等に応じて、画像処理ブロック５４Ｂで行われる。画像処理ブロック５４Ａで各処理が行なわれた後、収差補正部５６に送られる。
【００４９】
収差補正部５６では、歪曲収差および倍率色収差の補正、ならびに電子変倍処理を行う。また、収差補正部５６には、検出した収差特性をユーザが収差特性調整部４９で調整した特性を記憶した特性データ供給部６０が接続されており、上記特性のデータが収差補正部５６に供給される。図２に示す処理装置１４においては、この収差補正部５６において、収差特性および画像データの画素位置（その画像の中心（すなわち光軸）からの距離）とを用いて、画像処理によってフィルムＦに撮影された画像の歪曲色収差および倍率色収差の補正を、上述したプレスキャンデータの倍率色収差補正、歪曲収差補正と同様に行う。これにより歪や色ズレのない、高画質な画像が再現されたプリントを安定して出力することを実現している。
【００５０】
ここで、選択された収差特性と画像の位置情報（以下、画素位置とする）とを用いた倍率色収差および歪曲収差の補正を別々に行うと、演算に時間がかかり、また、補間演算も複数回行う必要が生じるため、画質が劣化するという問題がある。
そのため、好ましくは、Ｒ、ＧおよびＢの３原色の基準となる色、通常はＧを基準として、ＲおよびＢの像倍率を変換して、ＲおよびＢの画像をＧ画像に合わせることで倍率色収差を補正し、その後、歪曲収差を補正する。これにより、各画素の適正位置を算出し、これを用いて、各画素の画像データを補間演算することによって、フィルムに撮影された画像の倍率色収差および歪曲収差を補正した画像データを得ることができる。
従って、歪曲収差についてはＧ画像に対する演算のみを行えばよいので、演算量や補間演算を減らして、より好適な倍率色収差および歪曲収差の補正を行うことができる。
【００５１】
また、画像処理装置では、通常、画像データ処理による画像の拡大もしくは縮小、すなわち、画像の電子変倍を行って、画像（画像データ）を出力画像に応じたサイズにして出力する。この電子変倍処理は、通常、画像データを補間演算することにより行われる。
ところが、前記倍率色収差および歪曲収差の補正でも補間演算が行われているため、結果的に、２回の補間が行われる結果となり、画質が劣化してしまう場合もある。
【００５２】
そのため、本発明においては、より好ましくは、前記収差特性と画像データの画素位置とを用いて、倍率色収差に起因する基準色（Ｇ）に対するＲおよびＢの画素位置のずれ量と、歪曲収差に起因する基準色の画素位置のずれ量とから、各画素毎の適正位置を算出し、算出された各画素の適正位置の情報を用いて、画像データを補間して画像の電子変倍処理を行う。言い換えれば、倍率色収差および歪曲収差による画素位置のずれ量を算出することにより、各画素が本来どの位置にあるべきであるかを知見し、この適正な位置に応じて画像データの補間演算を行って電子変倍処理を行う。
これにより、１回の補間演算で、歪曲収差および倍率色収差の補正と、電子変倍処理とを行うことができる。
電子変倍処理の方法には特に限定はなく、公知の方法が各種利用可能であり、例えば、バイリニア補間を用いる方法、スプライン補間を用いる方法等が例示される。
【００５３】
画像処理部５４で処理された後、シャープネス処理や覆い焼き処理等が、オペレータによる指示や画像データ等に応じて、ブロック５４Ｂで行われ、画像データ変換部５８でプリンタ１６の画像データに変換され、プリンタ１６に出力される。
【００５４】
ここにおいて、処理装置１４で処理された画像データは、プリンタ１６に送られる。
プリンタ１６は、感光材料（印画紙）を画像データに応じて露光して潜像を記録し、感光材料に応じた現像処理を施して（仕上り）プリントとして出力するものである。例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントの記録、感光材料（印画紙）の分光感度特性に応じた、赤（Ｒ）露光、緑（Ｇ）露光および青（Ｂ）露光の３種の光ビームを画像データ（記録画像）に応じて変調すると共に、主走査方向に偏向し、主走査方向と直交する副走査方向に感光材料を搬送することによる潜像の記録等を行い、潜像を記録した感光材料に、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとした後に、仕分けして集積する。
【００５５】
図２に示す画像処理装置１４においては、収差特性検出部４７や収差特性調整部４９において処理される画像データは、スキャナ１２によりプレスキャンを行って得られるプレスキャン画像データを用いるものであった。しかし、本発明は、これに限定されず、図４に示すように、本スキャン画像データ（ファインスキャン画像データ）のみを用いて、収差特性を検出し調整し、その後収差の補正を行ってもよい。その場合、モニタ２０に画像を表示する際、本スキャン画像データは高解像度のデータであるため、補正画像データを間引いてモニタ２０の出力画素密度に合わせ、また画像サイズを縮小し、モニタ２０に表示するものであってもよい。
【００５６】
図５に示す画像処理装置１５は、上述の本スキャン画像データで収差特性を検出し、調整する本発明の別の実施例を示し、図２に示す画像処理装置１４と比較して、プレスキャンメモリ４０およびプレスキャン画像処理部４４の画像処理部５０における画像処理ブロック５０Ａを有しておらず、一方、収差補正された本スキャン画像データを間引き・縮小するため、間引き・縮小処理部５９を介してモニタ用画像データ変換部５２にも接続されている点を除いて同一であるので、同一の構成要素には同一の参照符号を付し、その詳細な説明は省略する。
【００５７】
図５に示す画像処理装置１５においては、図２に示す画像処理装置１４と同様に、まずスキャナ１２で読み取られた高解像度ファインスキャン画像データ（本スキャン画像データ）は、データ処理部３８で種々のデータ処理を行った後、ファインスキャン用メモリ４２に格納される。ついで、条件設定部４８の設定部７２によってこの画像データがフレームメモリ４２から読み出され、画像処理条件が設定され、操作部１８からのキー入力による指示や情報とともにパラメータ統合部７６に送られる。さらに、パラメータ統合部７６から本スキャン処理部４６の画像処理部５４に送られる。次に、フレームメモリ４２に格納されている画像データが読み出されて、処理ユニット５４に送られ、パラメータ統合部７６から送られた画像処理条件によって所定の画像処理が施された後、収差特性検出部４７に送られる。
【００５８】
ここで、図２の画像処理装置１４で述べたように、収差特性を収差特性検出部４７で検出し、モニタ２０を見ながら収差特性調整部４９で収差特性を調整する。モニタ２０への表示の際には、本スキャン画像データは、高解像度画像データであるので、画像データ変換部５２でモニタ画像のデータに変換する前に、間引き・縮小処理部５９へ送られ、間引きや縮小の処理がおこなわれ、モニタ表示に合う画像サイズおよび画素密度を持つ低解像度画像データにされた後、画像データ変換部５２に出力される。画像データ変換部５２では、この収差補正済み低解像度画像データをモニタ表示用画像データに変換し、モニタ２０に出力する。
図５で示す画像処理装置１５の収差特性検出部４７、収差特性調整部４９、収差補正部５１は、図２の画像処理装置１４で説明した作用を有するので省略する。
【００５９】
ユーザが収差特性調整部４９で検出された収差特性を調整すると、調整した収差特性は、特性データ供給部６０に送られメモリーに記憶される。一方、本スキャンメモリ４２に記憶された本スキャンデータは本スキャン画像処理部４６において、処理が開始され、処理部５４における画像処理として、色バランス調整、コントラスト補正（階調処理）、明るさ補正、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、彩度補正、シャープネス（鮮鋭化）処理等が開始される。これらは、演算、ＬＵＴ（ルックアップテーブル）による処理、マトリクス（ＭＴＸ）演算、フィルタによる処理等を適宜組み合わせた、公知の方法で行われるものであり、色バランス調整、明るさ補正およびコントラスト補正、さらに彩度補正が画像処理ブロック５４Ａで行われる。また、これ以外のシャープネス処理や覆い焼き処理等は、オペレータによる指示や画像データ等に応じて、画像処理ブロック５４Ｂで行われる。画像処理ブロック５４Ａで画像処理が行われた後、収差補正部５６に送られる。
【００６０】
収差補正部５６では、歪曲収差および倍率色収差の補正、ならびに電子変倍処理を行う。また、収差補正部５６には、ユーザが調整した収差特性を記憶した特性データ供給部６０が接続されており、上記調整した収差特性のデータが収差補正部５６に供給される。図５に示す処理装置１５においては、この収差補正部５６において、調整した収差特性および画像データの画素位置（その画像の中心（すなわち光軸）からの距離）とを用いて、画像処理によってフィルムＦに撮影された画像の歪曲色収差および倍率色収差を、上述したプレスキャンデータの倍率色収差補正、歪曲収差補正と同様の補正をする。これにより歪や色ズレのない、高画質な画像が再現されたプリントを安定して出力することを実現している。収差補正部５６で補正された本スキャン画像データは、シャープネス処理や覆い焼き処理等が、オペレータによる指示や画像データ等に応じて、ブロック５４Ｂで行われ、画像データ変換部５８でプリンタ１６の画像データに変換され、プリンタ１６に出力される。
これにより、収差特性調整部４９で調整した収差特性によって収差の補正をした画像をプリント出力することが可能となる。
【００６１】
以上、本発明の画像処理方法および画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。例えば、倍率色収差および歪曲収差の少なくとも一つの収差を、本発明の画像処理方法および画像処理装置によって補正するのみならず、レンズに起因する周辺光量低下やピントボケ等も同時に補正してもよい。
【００６２】
【発明の効果】
以上、本発明によれば、レンズ付きフィルムや安価なコンパクトカメラ等で撮影された画像であって、撮影されたレンズや撮影したフィルム情報がなく、収差特性が判らなくても、ユーザが最適と判断した撮影画像の歪曲収差特性、倍率色収差特性に基づいて収差の補正をすることができ、また、最適と判断した歪、色ずれのない高画質な画像を、ユーザが画像表示装置に表示した画像を見ながら、プリンタに高画質のプリントを出力することができる。
【図面の簡単な説明】
【図１】 本発明の画像処理方法を実施する画像処理装置を利用するデジタルフォトプリンタの一実施例のブロック図である。
【図２】 本発明に係る画像処理装置の一実施例のブロック図である。
【図３】 （ａ）、（ｂ）および（ｃ）は、それぞれ本発明の画像処理方法の一実施形態の収差補正被写体画像の一例を示すモニタ表示画面であり、（ｄ）は、本発明の画像処理方法の他の実施形態の収差補正画像のモニタ表示画面の一例である。
【図４】 本発明の画像処理方法のフローの一例を示すブロック図である。
【図５】 図１に示されるデジタルフォトプリンタの画像処理装置の他の一実施例のブロック図である。
【符号の説明】
１０ （デジタル）フォトプリンタ
１２ スキャナ
１４，１５ （画像）処理装置
１６ プリンタ
１８ 操作系
１８ａ キーボード
１８ｂ マウス
２０ モニタ
２２ 光源
２４ 可変絞り
２６ 色フィルタ板
２８ 拡散ボックス
３２ 結像レンズユニット
３４ ＣＣＤセンサ
３６ アンプ
３８ データ処理部
４０ プレスキャン（フレーム）メモリ
４２ 本スキャン（フレーム）メモリ
４４ プレスキャン画像処理部
４６ 本スキャン画像処理部
４８ 条件設定部
４７ 収差特性検出部
４９ 収差特性調整部
５０，５４ （画像）処理部
５１，５６ 収差補正部
５２，５８ 画像データ変換部
５９ 間引き・縮小データ処理部
６０ 特性データ供給部
７２ （画像処理条件）設定部
７４ キー補正部
７６ パラメータ統合部
【発明の属する技術分野】
本発明は、フィルムに撮影された画像を光電的に読み取り、または、被写体の画像を撮影して直接デジタル画像データを得、このデジタル画像データに基づいて、画像が再現されたプリント（写真）を得るデジタルフォトプリンタ等において、レンズ付きフィルム等で撮影された画像で発生する倍率色収差や歪曲収差を補正する画像処理方法および画像処理装置の技術分野に属する。
【０００２】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）によって行われている。
【０００３】
これに対して、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上り）プリントとするデジタルフォトプリンタが実用化されている。
【０００４】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。しかも、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理したプリントも出力可能である。
しかも、デジタルフォトプリントによれば、画像をプリント（写真）として出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーデイスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【０００５】
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的によみとるスキャナ（画像読取装置）、読み取った画像を画像処理して記録用の画像データ（露光条件）とする画像処理装置、および、この画像データに応じて感光材料を走査露光して現像処理を施してプリントとするプリンタ（画像記録装置）より構成される。
【０００６】
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を旦持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの画像データ（画像データ信号）として画像処理装置に送る。
画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定し、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、感光材料を二次元的に走査露光（焼付け）して潜像を形成し、次いで、所定の現像処理等を施して、フィルムに撮影された画像が再生されたプリント（写真）とする。
【０００７】
【発明が解決しようとする課題】
ところで、プリントに再生された画像の画質劣化の原因として、画像を撮影したカメラに装着されるレンズの性能に起因する倍率色収差および歪曲収差が挙げられる。
カラー画像は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色によって形成されるが、レンズの屈曲率（結像倍率）は波長によって微妙に異なるため、Ｒ、ＧおよびＢの光の結像倍率が異なり、すなわち倍率色収差が生じる。その結果、フィルムに撮影された画像を再生すると、得られた画像に色ずれが生じてしまう。
また、良好な撮影画像を得るためには、光軸に対して垂直な平面は、結像面でそれに対応して結像される必要があるが、通常のレンズでは、結像位置が光軸方向にズレを生じ、結像画像に歪（デイストーション）すなわち歪曲収差を生じる。そのため、フィルムに撮影された画像を再生すると、得られた画像が歪んだものとなってしまう。
【０００８】
一眼レフ等のように、ある程度のコストを掛けられるカメラであれば、精度の高いレンズを用い、さらに複数枚のレンズを組み合わせることにより、倍率色収差や歪曲収差を補正して、フィルムに適正画像を撮影することができる。
しかしながら、レンズ付きフィルムや安価なコンパクトカメラでは、レンズにコストを掛けることができないため、フィルムに撮影された画像に倍率色収差や歪曲収差が生じてしまう。その結果、プリントとして再生された画像が、色ずれや歪を有するものとなってしまう。
【０００９】
従来の画像処理装置においては、被写体の撮影を行った撮影レンズの情報や撮影レンズのレンズ特性が既知であれば、これらの撮影レンズのレンズ特性に応じて倍率色収差や歪曲収差などを補正することも考えられるが、撮影レンズの情報や撮影レンズのレンズ特性がわからない場合、これらの収差の補正を行うのは困難であり、最良の補正状態の画像を得るのは、極めて困難であるという問題があった。
【００１０】
本発明の目的は、上記従来技術の問題点を解消し、レンズ付きフィルム等の安価なカメラで光学的に撮影された画像や、安価なデジタルカメラによって撮影された画像について、撮影したレンズ情報や撮影フィルム情報より収差特性が得られない場合でも、撮影画像のデータに基づいて、例えばこの画像データを用いて画像表示装置に表示された画像に基づいて、収差特性を検出することができ、その収差特性を利用した画像処理によって倍率色収差や歪曲収差を補正して、最良の収差補正状態の色ずれや歪のない高画質な画像を、プリント画像として再現することを可能にする画像処理方法、および画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
前記目的を達成するために、本発明は、撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得る際、前記入力画像データに基づいて前記画像を画像表示装置に表示し、この画像表示装置の表示画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定する、被写体のエッジの位置情報を少なくとも２点得、この少なくとも２点から前記収差補正対象被写体を前記入力画像データに基づいて抽出し、前記収差補正対象被写体の収差補正前の前記エッジの位置情報を収得するとともに、前記少なくとも２点間で予め予測される前記収差補正対象被写体の収差補正後の前記エッジの位置情報を収得し、前記収差補正前のエッジの位置情報と前記収差補正後のエッジの位置情報から、収差補正式を算出することによって、前記撮影レンズの倍率色収差特性および歪曲収差特性の少なくとも一つの収差特性を検出し、検出された収差特性および前記画像の位置情報に基づいて、前記倍率色収差および歪曲収差の少なくとも一つの収差を前記画像全体に亘って補正することを特徴とする画像処理方法を提供する。
【００１２】
又、本発明は、撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得るための画像処理装置であって、前記入力画像データに基づいて前記画像を表示する画像表示装置と、前記画像表示装置の表示画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定する、被写体のエッジの位置情報を少なくとも２点得、この少なくとも２点から前記収差補正対象被写体を前記入力画像データに基づいて抽出し、前記収差補正対象被写体の収差補正前のエッジの位置情報を収得するとともに、前記少なくとも２点間で予め予測される前記収差補正対象被写体の収差補正後のエッジの位置情報を収得し、前記収差補正前のエッジの位置情報と前記収差補正後のエッジの位置情報から、収差補正式を算出する検出手段と、この検出手段によって検出された前記収差特性および前記画像の位置情報から前記撮影画像の倍率色収差特性および歪曲収差の少なくとも一つの収差を補正する補正手段とを有することを特徴とする画像処理装置を提供する。
【００１３】
【課題を解決するための手段】
又、本発明は、撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得るための画像処理装置であって、前記入力画像データに基づいて前記画像を表示する画像表示装置と、
前記画像表示装置に表示された画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定し、この収差補正対象被写体から前記撮影レンズに起因する倍率色収差特性および歪曲収差特性の少なくとも一つの収差特性を検出して取得する取得手段と、この取得手段によって取得された前記少なくとも一つの収差特性、および前記画像の位置情報から、前記撮影画像の倍率色収差および歪曲収差の少なくとも一つの収差を補正する補正手段と、この補正手段で用いられる前記少なくとも一つの収差特性の補正強度または収差パターンを調整する調整手段とを有し、前記取得手段では、前記画像表示装置の表示画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定する少なくとも２点の位置情報を得、この少なくとも２点から前記収差補正対象被写体を前記入力画像データに基づいて抽出し、前記被写体の収差補正前の位置情報を収得するとともに、前記少なくとも２点間で予め予測される前記被写体の収差補正後の位置情報を収得し、前記収差補正前の位置情報と前記収差補正後の位置情報から、収差補正式を算出することで、前記少なくとも一つの収差特性を検出し、前記画像表示装置に、前記補正手段によって前記少なくとも一つの収差が補正された画像であって、前記調整手段によって調整された、異なる複数の補正強度または収差パターンによって前記補正手段で補正された複数の画像を表示し、この複数の画像の中から、出力用画像の補正状態を、外部入力手段を用いた入力に応じて決定し、この決定された補正状態の収差補正画像データを前記出力画像データとして出力することを特徴とする画像処理装置を提供する。
【００１４】
その際、前記画像表示装置には、前記補正手段による収差補正画像を少なくとも一つ表示し、前記調整手段による前記補正強度または収差パターンの調整ごとに前記補正手段によって補正された収差補正画像を前記画像表示装置に表示することを、複数の前記補正強度および収差パターンについて繰り返し、前記出力用画像の補正状態を決定することが好ましい。
【００１５】
あるいは、前記画像表示装置には、前記調整手段による前記補正強度または収差パターンの調整ごとに前記補正手段によって補正された複数の収差補正画像を同時に表示し、表示された複数の収差補正画像の中から出力用画像の補正状態を決定することも好ましい。
【００１６】
その際、前記収差補正対象被写体の位置情報は、前記収差補正対象被写体のエッジの位置情報であることが好ましい。
【００１８】
【発明の実施の形態】
以下、本発明の画像処理方法および画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【００１９】
図１に、本発明の画像処理方法を実施する本発明の画像処理装置を利用したデジタルフォトプリンタの一例のブロック図が示される。
図１に示されるデジタルフォトプリンタ１０（以下、フォトプリンタ１０とする）は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料を画像露光し、現像処理して（仕上り）プリントとして出力するプリンタ１６とを有して構成される。
また、画像処理装置１４には、様々な条件の入力（設定）、処理の選択や支持、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示するモニタ２０とを含んでいる。
【００２０】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、画像をＲ（赤）、Ｇ（緑）、およびＢ（青）の三原色に分解するためのＲ、ＧおよびＢの３枚の色フィルタを有し、回転して任意の色フィルタを光路に作用する色フィルタ板２６と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、フィルムの１コマの画像を読み取るエリアセンサーであるＣＣＤセンサ３４と、アンプ（増幅器）３６とを有して構成される。
【００２１】
なお、図示例のフォトプリンタ１０においては、新写真システム（Advanced Photo Sysytem）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態、トリミング等の処理の種類等に応じて、スキャナ１２の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送、保持される。
【００２２】
このようなスキャナ１２においては、光源２２から射出され、可変絞り２４によって光量調整され、色フィルタ２６を通過して色調整され、拡散ボックス２８で拡散された読み取り光が、キャリアによって所定の読み取り位置に保持されたフィルムＦの１駒に入射して、透過することにより、フィルムＦに撮影されたこのコマの画像を担持する投影光を得る。
フィルムＦの投影光は、結像レンズユニット３２によってＣＣＤセンサ３４の受光面に結像され、ＣＣＤセンサ３４によって光電的に読み取られ、その出力信号がアンプ３６で増幅されて、画像処理装置１４に送られる。ＣＣＤセンサ３４は、例えば、１３８０×９２０画素のエリアＣＣＤセンサである。
【００２３】
スキャナ１２においては、このような画像読取を、色フィルタ板２６の各色フィルタを順次挿入して３回行うことにより、１コマの画像をＲ、ＧおよびＢの３原色に分解して読み取る。
ここで、フォトプリンタ１０においては、プリントを出力するための画像読み取り（本スキャン）に先立ち、画像処理条件等を決定するために、画像を低解像度で読み取るプレスキャンを行う。したがって、１コマで、合計６回の画像読み取りが行われる。
【００２４】
スキャナ１２は、エリアＣＣＤセンサを用い、色フィルタ板２６によって投影光を３原色に分解して画像を読み取っているが、本発明に利用されるスキャナとしては、Ｒ、ＧおよびＢの３原色のそれぞれの読み取りに対応する３つのラインＣＣＤセンサを用い、フィルムＦをキャリアで走査搬送しつつ画像を読み取るスリット走査によって画像読み取りを行うものであってもよい。
【００２５】
図示例のフォトプリンタ１０は、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ１２を画像処理装置１４の画像データ供給源としているが、画像処理装置１４に画像データを供給する画像データ供給源としては、スキャナ１２以外にも、反射原稿の画像を読み取る画像読取装置、デジタルカメラ、デジタルビデオカメラ、ＬＡＮ（Local Area Network）やコンピュータ通信ネットワーク等の通信手段、メモリーカードやＭＯ（光磁気記録媒体）等のメデイア（記録媒体）等の、各種の画像読取手段や撮影手段、画像データの記憶手段等が各種使用可能である。
【００２６】
前述のように、スキャナ１２からの出力信号（画像データ）は、画像処理装置１４に出力される。
図２に本発明の実施例である画像処理装置１４（以下、処理装置１４とする）のブロック図を示す。処理装置１４は、データ処理部３８、プレスキャン（フレーム）メモリ４０、本スキャン（フレーム）メモリ４２、プレスキャン画像処理部４４、本スキャン画像処理部４６、条件設定部４８および画像表示装置部２０を有して構成される。
【００２７】
データ処理部３８では、スキャナ１２から出力されたＲ，ＧおよびＢの各出力信号は、Ａ／Ｄ（アナログ／デジタル）変換、Ｌｏｇ変換、ＤＣオフセット補正、暗時補正、シェーディング補正等を行い、得られたプレスキャン（画像）データはプレスキャンメモリ４０に、本スキャン（画像）データは本スキャンメモリ４２に、それぞれ記憶（格納）される。
なお、スキャナ１２によって読み取られるプレスキャンデータと本スキャンデータは、解像度（画素密度）と信号レベルが異なる以外は、基本的に同様のデータである。
【００２８】
プレスキャンメモリ４０および本スキャンメモリ４２には、データ処理部３８で処理されたデジタル化されたデータが記憶され、必要に応じて、画像処理を施し出力するために、プレスキャン画像処理部４４、または、本スキャン画像処理部４６に呼び出される。
【００２９】
プレスキャン画像処理部４４は、後述する倍率色収差や歪曲色収差の収差特性を検出し、またその補正強度を調整して収差を補正する、収差特性検出部４７と収差特性調整部４９と収差補正部５１を有するほか、画像処理ブロック５０Ａと５０Ｂ、さらに画像データ変換部５２とを有している。収差特性検出部４７と収差特性調整部４９と収差補正部５１は、本発明の画像処理装置を特徴付ける収差特性の検出手段と収差特性の調整手段および収差の補正手段を実施する部分であり、また、収差特性検出部４７および収差補正部５１において、本発明である画像処理方法が行われている。
【００３０】
画像処理ブロック５０Ａでは、色バランス調整、コントラスト補正（階調処理）、明るさ補正が図示しないＬＵＴ（ルックアップテーブル）による処理、および、彩度補正が図示しないＭＴＸ演算によって公知の方法で行われる。画像処理部ブロック５０Ｂにおいては、シャープネス処理や覆い焼き処理等が、オペレータによる指示や画像データ等に応じて行われる。
画像データ変換部５２では、画像処理部５０で画像処理の施された画像データを、モニタ２０による表示に対応する画像データに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて変換する。
【００３１】
本スキャン画像処理部４６は、本スキャンデータの収差を補正する収差補正部５６、特性データ供給部６０、画像処理ブロック５４Ａ、５４Ｂおよび画像データ変換部５８から構成される。
画像処理ブロック５４Ａでは、画像処理ブロック５０Ａと同様に、本スキャンデータについて、色バランス調整、コントラスト補正（階調処理）、明るさ補正が図示しないＬＵＴ（ルックアップテーブル）による処理によって、また、彩度補正が図示しないＭＴＸ演算によって、公知の方法で行われる。画像処理部ブロック５４Ｂにおいては、シャープネス処理や覆い焼き処理等が、オペレータによる指示や画像データ等に応じて行われる。
画像データ変換部５８では、画像処理部５４で画像処理の施された画像データを、プリンタ１６にプリント出力する画像データに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて変換する。
【００３２】
特性データ供給部６０では、検出された収差特性の補正強度を収差特性調整部４９で調整したものを記憶しており、本スキャンデータについて収差補正部５６で収差の補正を行う際にデータを供給する。
収差補正部５６では、特性データ供給部６０から供給された補正強度の調整された収差特性でもって収差を補正し、さらに、プリント出力される画像のサイズに応じて電子変倍処理が所定の方法で行われる。
【００３３】
条件設定部４８は、（画像処理条件）設定部７２、キー補正部７４、およびパラメータ統合部７６から構成される。
設定部７２では、プレスキャンデータがプレスキャンメモリ４０から読み出され、画像処理条件を決定するのに用いられる。
具体的には、設定部７２は、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出等を行い、加えて、必要に応じて行われるオペレータによる指示に応じて、前述のグレイバランス調整等のテーブル（ＬＵＴ）や彩度補正を行うマトリクス演算の作成等の画像処理条件を決定する。決定された画像処理条件は、 パラメータ統合部７６に送られる。
なお、歪曲収差を補正する場合には、電子変倍処理の変倍率が通常と異なるので、それに応じて各種の画像処理条件、例えば、シャープネス処理の係数や各種のフィルタに掛ける係数、各種の補正係数等を変更してもよい。
【００３４】
キー補正部７４は、キーボード１８ａに設定された明るさ、色、コントラスト、シャープネス、彩度調等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量（例えば、ＬＵＴの補正量等）を算出し、パラメータ統合部７６に供給するものである。
パラメータ統合部７６は、設定部７２が設定した画像処理条件を受け取り、供給された画像処理条件をプレスキャン画像処理部４４の処理部５０および本スキャン画像処理部４６の処理部５４に設定し、さらに、キー補正部７４で算出された調整量に応じて、各部位に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００３５】
なお、図２は、主に画像処理関連の部位を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ、本スキャンの際の可変絞り２４の絞り値やＣＣＤセンサ３４の蓄積時間を決定する手段等が配置される。
【００３６】
モニタ２０は、後述するように、補正処理前の画像をモニタ２０に表示し、それを見ながら画像の被写体を特定し、その画像データに基づいて収差特性を検出し、またモニタ２０に表示された画像を見ながら収差特性の補正強度を調整するために用いられる。
【００３７】
さて、プレスキャンメモリ４０に記憶されたプレスキャンデータは、色バランス調整、明るさ補正およびコントラスト補正や彩度補正が画像処理ブロック５０Ａで行われた後、収差特性検出部４７、収差特性調整部４９、および収差補正部５１を経由することなく、画像データ変換部５２に送られ、３Ｄ（三次元）−ＬＵＴ等を用いて、モニタ２０による表示に対応する画像データに加工された後、モニタ２０に表示される。ユーザは、図３（ａ）に示すように、モニタ２０に表示された画像の中から本来直線と考えられる被写体７０（例えば、柱）について注目し、その注目した被写体の本来あるべき直線からの歪みである歪曲収差が許容されるかどうかを判断する。歪曲収差を補正する必要があると認めた場合、表示画像上の注目した被写体７０をキーボード１８ａやマウス１８ｂで目印を２箇所以上つける。例えば、図３（ａ）においては、２個の目印７０ａ、７０ｂが指示されている。被写体７０への目印は、被写体のエッジ部でかつ端部に設けるのが好ましい。その理由は、被写体の画像データを精度良く抽出できるからである。付けられた２箇所以上の目印を直線で結んだ直線７０ｃが本来の被写体であると考えられる。
【００３８】
注目した被写体７０についての画像データ上の座標を取り出す場合、オペレータがマウス１８ｂ等で被写体７０を直接トレースしても良いし、また被写体７０を含む一定領域を指定して、その中で画像の濃度変化を用いて被写体７０の画像データ上の座標を自動的に取り出しても良い。そして、取り出された被写体７０の画像データの座標値を本来あるべき直線７０ｃの画像データの座標値に補正するための補正式を算出する。補正式の算出は、画像データの位置情報（例えば、画像の中心からの座標位置ｘ−ｙ）から、 位置情報をパラメータとする３次関数の各次係数を決定することにより、歪曲収差特性を検出することができる。一般的に、レンズの歪曲収差特性は、レンズの光軸すなわちフィルムＦに撮影された画像の中心からの距離（例えば、ｘ−ｙで示される）をパラメータとする３次関数である程度まで近似することができることを利用したものである。
尚、上記検出される歪曲収差特性は、通常Ｒ、ＧおよびＢの３原色の基準となる色Ｇの画像データによって行われる。
【００３９】
また、倍率色収差特性の検出は、倍率色収差による色ずれについてＲおよびＢの画像をＧ画像に合わせる倍率色収差の補正式を算出することにより行われるが、上述した注目する被写体７０の色ずれを用いて行う。補正式は画像データの位置情報（例えば、画像の中心からの座標位置ｘ−ｙ）から、歪曲収差特性の検出方法と同様に、位置情報をパラメータとする３次関数の各次係数を決定することで、倍率色収差特性の検出を行う。これは、レンズの倍率色収差特性も、歪曲収差特性同様に、一般的に、レンズの光軸すなわちフィルムＦに撮影された画像の中心からの距離（例えば、ｘ−ｙで示される）をパラメータとする３次関数である程度まで近似することができることを利用したものである。
【００４０】
上記検出した収差特性を用いて、Ｒ、ＧおよびＢの３原色の基準となる色、通常はＧを基準として、ＲおよびＢの像倍率を変換して、ＲおよびＢの画像をＧ画像に合わせることで倍率色収差を補正し、その後、歪曲収差を補正する。これにより、各画素の適正位置を算出し、これを用いて、各画素の画像データを補間演算することによって、フィルムに撮影された画像の倍率色収差および歪曲収差を補正した画像データを得ることができる。
上記実施例では、収差特性の検出および収差の補正は、歪曲収差および倍率色収差についてであるが、歪曲収差または倍率色収差のみであってもかまわない。
【００４１】
収差特性調整部４９において、ユーザがモニタ２０に表示した画像に基づいて検出した収差特性の補正強度を調整する。検出した収差特性を調整し、収差を補正した前記被写体７０を含んだ画像をモニタ２０に表示するが、被写体７０に基づいて検出した収差特性の補正が強すぎたり弱すぎたりするため、検出した収差特性の補正強度を３〜５段階に変えて変更して収差補正をした被写体を含んだ画像を表示し、ユーザが最適と思う収差特性を選択する手段を設けている。
ユーザが画面を見ながら、キーボード１８ａやマウス１８ｂや補正キー（図示せず）による入力により、補正強度、強、中、弱の中から、また、＋２、＋１、Ｎ、ー１、ー２の中から補正強度が最適と判断されるものを選択できるようにしている。
【００４２】
また、図示していないが、倍率色収差特性についても、被写体７０の色ずれをモニタ２０で確認し、ユーザがそれを見ながら、キーボード１８ａによる入力により、補正強度、強、中、弱の中から、また、＋２、＋１、Ｎ、ー１、ー２の中から補正強度が最適と判断されるものを選択できるようにしている。なお、本発明において、補正強度の段階は３〜５段階に限定されるものでない。
【００４３】
図３（ｂ）において、収差特性調整手段としての収差特性調整部４９における、モニタ２０に表示される一例を示す。収差特性検出部４７で検出された収差特性によって被写体７０が７０ｃに補正されているが、被写体７０が補正により直線となる上記検出された収差特性（Ｎ）を中心に補正強度を強めたプラス側（＋１、＋２）と、補正強度を弱めたマイナス側（ー１、ー２）に水準を振って収差を補正した複数の画像の中からユーザが最良と判断する画像を選択することができる。図３（ｃ）においては、補正強度を弱めて収差を補正した画像（ー１）が表示されている。選択は、各補正強度ごとに補正された画像のモニタ２０の画面下部の＋２、＋１、Ｎ、ー１、ー２の中から、キーボード１８ａによる入力により選択される。尚、収差特性は、撮影レンズの特性によっては、糸巻型の特性の他、樽型の特性を示すことがあるため、ユーザが画像によってどちらも選択することができるようにするのが好ましい。また、収差特性検出部４７で検出された収差特性によって補正した画像および、その補正強度を変えて補正した画像の中から選択する場合に限られず、代表的な収差特性をあらかじめ設定し、それによって補正された画像の中から選択するようにしてもよい。
【００４４】
ここでユーザは、収差の補正をされた画像を見て収差特性を調整するが、モニタ２０への表示は、収差補正部５１で収差の補正をされた画像が表示される。
収差の補正は、Ｒ、ＧおよびＢの３原色の基準となる色、通常はＧを基準として、ＲおよびＢの像倍率を変換して、ＲおよびＢの画像をＧ画像に合わせることで倍率色収差を補正し、その後、歪曲収差を補正する。これにより、各画素の適正位置を算出し、これを用いて、各画素の画像データを補間演算することによって、フィルムに撮影された画像の倍率色収差および歪曲収差を補正した画像データを得ることができる。
収差を補正したプレスキャン画像データは、さらに、シャープネス処理や覆い焼き処理等をユーザによる指示や画像データ等に応じたブロック５０Ａで行われ、モニタ２０に表示するため画像データ変換部５２で画像変換される。
【００４５】
また、収差特性調整部４９においては、図３（ｄ）に示す様に、検出された収差特性による補正後の画像と、その補正特性の補正強度を予め３〜５段階に変えて収差を補正をした複数の画像とを、モニタ２０を分割して複数の画像を同時に表示させてもよい。
【００４６】
このようにユーザがモニタ２０を見て確認するのは、歪曲収差の補正を行った矩形画像は、歪曲収差の補正により、画像周辺部において画像のない、いわゆるケラレを生じてしまう場合があるからである。ケラレの生じた画像をプリント出力することは好ましくないことから、ケラレの生じない矩形画像を指定した出力プリントサイズに合わせて出力するためには、画像をわずかに拡大し、画像周辺領域を切り落として、ケラレの生じない、指定した出力プリントサイズの矩形画像を作る必要がある。しかし、上記の画像周辺領域を切り落とす作業において、切り落とされた画像周辺領域に本来切り落としてはならない被写体が含まれている可能性もある。特に、ケラレの生じない矩形画像を指定した出力プリントサイズに合わせるための切り落とす画像周辺領域は、歪曲収差補正の補正強度によって変化するため、ユーザは切り落としてはならない被写体が含まれていないか、確認する必要がある。
【００４７】
例えば、図３（ｄ）において、表示されている（ａ）〜（ｄ）の画像は、収差特性検出部４７で検出された収差特性に基づいて予め水準を設定した補正強度に応じて収差を補正した画像である。
また、プリント出力すべきプリント出力枠７１を設定し、その範囲外に重要と思われる被写体が含まれていないか、調べることができる。ユーザはこの表示画面を見ながら上述の被写体の切り落としや画像の色ずれや歪みを総合的に判断し、出力すべき画像を決定する。
【００４８】
ユーザが収差特性調整部４９で収差特性を調整すると、その収差特性は特性データ供給部６０に送られメモリーに記憶される。本スキャンメモリ４２に記憶された本スキャンデータは本スキャン画像処理部４６において、処理が開始される。本スキャンデータの処理部５４における画像処理としては、色バランス調整、コントラスト補正（階調処理）、明るさ補正、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、彩度補正、シャープネス（鮮鋭化）処理等が例示される。これらは、演算、ＬＵＴ（ルックアップテーブル）による処理、マトリクス（ＭＴＸ）演算、フィルタによる処理等を適宜組み合わせた、公知の方法で行われるものであり、色バランス調整、明るさ補正およびコントラスト補正、また彩度補正が画像処理ブロック５４Ａで行われる。また、これ以外のシャープネス処理や覆い焼き処理等は、オペレータによる指示や画像データ等に応じて、画像処理ブロック５４Ｂで行われる。画像処理ブロック５４Ａで各処理が行なわれた後、収差補正部５６に送られる。
【００４９】
収差補正部５６では、歪曲収差および倍率色収差の補正、ならびに電子変倍処理を行う。また、収差補正部５６には、検出した収差特性をユーザが収差特性調整部４９で調整した特性を記憶した特性データ供給部６０が接続されており、上記特性のデータが収差補正部５６に供給される。図２に示す処理装置１４においては、この収差補正部５６において、収差特性および画像データの画素位置（その画像の中心（すなわち光軸）からの距離）とを用いて、画像処理によってフィルムＦに撮影された画像の歪曲色収差および倍率色収差の補正を、上述したプレスキャンデータの倍率色収差補正、歪曲収差補正と同様に行う。これにより歪や色ズレのない、高画質な画像が再現されたプリントを安定して出力することを実現している。
【００５０】
ここで、選択された収差特性と画像の位置情報（以下、画素位置とする）とを用いた倍率色収差および歪曲収差の補正を別々に行うと、演算に時間がかかり、また、補間演算も複数回行う必要が生じるため、画質が劣化するという問題がある。
そのため、好ましくは、Ｒ、ＧおよびＢの３原色の基準となる色、通常はＧを基準として、ＲおよびＢの像倍率を変換して、ＲおよびＢの画像をＧ画像に合わせることで倍率色収差を補正し、その後、歪曲収差を補正する。これにより、各画素の適正位置を算出し、これを用いて、各画素の画像データを補間演算することによって、フィルムに撮影された画像の倍率色収差および歪曲収差を補正した画像データを得ることができる。
従って、歪曲収差についてはＧ画像に対する演算のみを行えばよいので、演算量や補間演算を減らして、より好適な倍率色収差および歪曲収差の補正を行うことができる。
【００５１】
また、画像処理装置では、通常、画像データ処理による画像の拡大もしくは縮小、すなわち、画像の電子変倍を行って、画像（画像データ）を出力画像に応じたサイズにして出力する。この電子変倍処理は、通常、画像データを補間演算することにより行われる。
ところが、前記倍率色収差および歪曲収差の補正でも補間演算が行われているため、結果的に、２回の補間が行われる結果となり、画質が劣化してしまう場合もある。
【００５２】
そのため、本発明においては、より好ましくは、前記収差特性と画像データの画素位置とを用いて、倍率色収差に起因する基準色（Ｇ）に対するＲおよびＢの画素位置のずれ量と、歪曲収差に起因する基準色の画素位置のずれ量とから、各画素毎の適正位置を算出し、算出された各画素の適正位置の情報を用いて、画像データを補間して画像の電子変倍処理を行う。言い換えれば、倍率色収差および歪曲収差による画素位置のずれ量を算出することにより、各画素が本来どの位置にあるべきであるかを知見し、この適正な位置に応じて画像データの補間演算を行って電子変倍処理を行う。
これにより、１回の補間演算で、歪曲収差および倍率色収差の補正と、電子変倍処理とを行うことができる。
電子変倍処理の方法には特に限定はなく、公知の方法が各種利用可能であり、例えば、バイリニア補間を用いる方法、スプライン補間を用いる方法等が例示される。
【００５３】
画像処理部５４で処理された後、シャープネス処理や覆い焼き処理等が、オペレータによる指示や画像データ等に応じて、ブロック５４Ｂで行われ、画像データ変換部５８でプリンタ１６の画像データに変換され、プリンタ１６に出力される。
【００５４】
ここにおいて、処理装置１４で処理された画像データは、プリンタ１６に送られる。
プリンタ１６は、感光材料（印画紙）を画像データに応じて露光して潜像を記録し、感光材料に応じた現像処理を施して（仕上り）プリントとして出力するものである。例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントの記録、感光材料（印画紙）の分光感度特性に応じた、赤（Ｒ）露光、緑（Ｇ）露光および青（Ｂ）露光の３種の光ビームを画像データ（記録画像）に応じて変調すると共に、主走査方向に偏向し、主走査方向と直交する副走査方向に感光材料を搬送することによる潜像の記録等を行い、潜像を記録した感光材料に、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとした後に、仕分けして集積する。
【００５５】
図２に示す画像処理装置１４においては、収差特性検出部４７や収差特性調整部４９において処理される画像データは、スキャナ１２によりプレスキャンを行って得られるプレスキャン画像データを用いるものであった。しかし、本発明は、これに限定されず、図４に示すように、本スキャン画像データ（ファインスキャン画像データ）のみを用いて、収差特性を検出し調整し、その後収差の補正を行ってもよい。その場合、モニタ２０に画像を表示する際、本スキャン画像データは高解像度のデータであるため、補正画像データを間引いてモニタ２０の出力画素密度に合わせ、また画像サイズを縮小し、モニタ２０に表示するものであってもよい。
【００５６】
図５に示す画像処理装置１５は、上述の本スキャン画像データで収差特性を検出し、調整する本発明の別の実施例を示し、図２に示す画像処理装置１４と比較して、プレスキャンメモリ４０およびプレスキャン画像処理部４４の画像処理部５０における画像処理ブロック５０Ａを有しておらず、一方、収差補正された本スキャン画像データを間引き・縮小するため、間引き・縮小処理部５９を介してモニタ用画像データ変換部５２にも接続されている点を除いて同一であるので、同一の構成要素には同一の参照符号を付し、その詳細な説明は省略する。
【００５７】
図５に示す画像処理装置１５においては、図２に示す画像処理装置１４と同様に、まずスキャナ１２で読み取られた高解像度ファインスキャン画像データ（本スキャン画像データ）は、データ処理部３８で種々のデータ処理を行った後、ファインスキャン用メモリ４２に格納される。ついで、条件設定部４８の設定部７２によってこの画像データがフレームメモリ４２から読み出され、画像処理条件が設定され、操作部１８からのキー入力による指示や情報とともにパラメータ統合部７６に送られる。さらに、パラメータ統合部７６から本スキャン処理部４６の画像処理部５４に送られる。次に、フレームメモリ４２に格納されている画像データが読み出されて、処理ユニット５４に送られ、パラメータ統合部７６から送られた画像処理条件によって所定の画像処理が施された後、収差特性検出部４７に送られる。
【００５８】
ここで、図２の画像処理装置１４で述べたように、収差特性を収差特性検出部４７で検出し、モニタ２０を見ながら収差特性調整部４９で収差特性を調整する。モニタ２０への表示の際には、本スキャン画像データは、高解像度画像データであるので、画像データ変換部５２でモニタ画像のデータに変換する前に、間引き・縮小処理部５９へ送られ、間引きや縮小の処理がおこなわれ、モニタ表示に合う画像サイズおよび画素密度を持つ低解像度画像データにされた後、画像データ変換部５２に出力される。画像データ変換部５２では、この収差補正済み低解像度画像データをモニタ表示用画像データに変換し、モニタ２０に出力する。
図５で示す画像処理装置１５の収差特性検出部４７、収差特性調整部４９、収差補正部５１は、図２の画像処理装置１４で説明した作用を有するので省略する。
【００５９】
ユーザが収差特性調整部４９で検出された収差特性を調整すると、調整した収差特性は、特性データ供給部６０に送られメモリーに記憶される。一方、本スキャンメモリ４２に記憶された本スキャンデータは本スキャン画像処理部４６において、処理が開始され、処理部５４における画像処理として、色バランス調整、コントラスト補正（階調処理）、明るさ補正、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、彩度補正、シャープネス（鮮鋭化）処理等が開始される。これらは、演算、ＬＵＴ（ルックアップテーブル）による処理、マトリクス（ＭＴＸ）演算、フィルタによる処理等を適宜組み合わせた、公知の方法で行われるものであり、色バランス調整、明るさ補正およびコントラスト補正、さらに彩度補正が画像処理ブロック５４Ａで行われる。また、これ以外のシャープネス処理や覆い焼き処理等は、オペレータによる指示や画像データ等に応じて、画像処理ブロック５４Ｂで行われる。画像処理ブロック５４Ａで画像処理が行われた後、収差補正部５６に送られる。
【００６０】
収差補正部５６では、歪曲収差および倍率色収差の補正、ならびに電子変倍処理を行う。また、収差補正部５６には、ユーザが調整した収差特性を記憶した特性データ供給部６０が接続されており、上記調整した収差特性のデータが収差補正部５６に供給される。図５に示す処理装置１５においては、この収差補正部５６において、調整した収差特性および画像データの画素位置（その画像の中心（すなわち光軸）からの距離）とを用いて、画像処理によってフィルムＦに撮影された画像の歪曲色収差および倍率色収差を、上述したプレスキャンデータの倍率色収差補正、歪曲収差補正と同様の補正をする。これにより歪や色ズレのない、高画質な画像が再現されたプリントを安定して出力することを実現している。収差補正部５６で補正された本スキャン画像データは、シャープネス処理や覆い焼き処理等が、オペレータによる指示や画像データ等に応じて、ブロック５４Ｂで行われ、画像データ変換部５８でプリンタ１６の画像データに変換され、プリンタ１６に出力される。
これにより、収差特性調整部４９で調整した収差特性によって収差の補正をした画像をプリント出力することが可能となる。
【００６１】
以上、本発明の画像処理方法および画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。例えば、倍率色収差および歪曲収差の少なくとも一つの収差を、本発明の画像処理方法および画像処理装置によって補正するのみならず、レンズに起因する周辺光量低下やピントボケ等も同時に補正してもよい。
【００６２】
【発明の効果】
以上、本発明によれば、レンズ付きフィルムや安価なコンパクトカメラ等で撮影された画像であって、撮影されたレンズや撮影したフィルム情報がなく、収差特性が判らなくても、ユーザが最適と判断した撮影画像の歪曲収差特性、倍率色収差特性に基づいて収差の補正をすることができ、また、最適と判断した歪、色ずれのない高画質な画像を、ユーザが画像表示装置に表示した画像を見ながら、プリンタに高画質のプリントを出力することができる。
【図面の簡単な説明】
【図１】 本発明の画像処理方法を実施する画像処理装置を利用するデジタルフォトプリンタの一実施例のブロック図である。
【図２】 本発明に係る画像処理装置の一実施例のブロック図である。
【図３】 （ａ）、（ｂ）および（ｃ）は、それぞれ本発明の画像処理方法の一実施形態の収差補正被写体画像の一例を示すモニタ表示画面であり、（ｄ）は、本発明の画像処理方法の他の実施形態の収差補正画像のモニタ表示画面の一例である。
【図４】 本発明の画像処理方法のフローの一例を示すブロック図である。
【図５】 図１に示されるデジタルフォトプリンタの画像処理装置の他の一実施例のブロック図である。
【符号の説明】
１０ （デジタル）フォトプリンタ
１２ スキャナ
１４，１５ （画像）処理装置
１６ プリンタ
１８ 操作系
１８ａ キーボード
１８ｂ マウス
２０ モニタ
２２ 光源
２４ 可変絞り
２６ 色フィルタ板
２８ 拡散ボックス
３２ 結像レンズユニット
３４ ＣＣＤセンサ
３６ アンプ
３８ データ処理部
４０ プレスキャン（フレーム）メモリ
４２ 本スキャン（フレーム）メモリ
４４ プレスキャン画像処理部
４６ 本スキャン画像処理部
４８ 条件設定部
４７ 収差特性検出部
４９ 収差特性調整部
５０，５４ （画像）処理部
５１，５６ 収差補正部
５２，５８ 画像データ変換部
５９ 間引き・縮小データ処理部
６０ 特性データ供給部
７２ （画像処理条件）設定部
７４ キー補正部
７６ パラメータ統合部
Claims (6)
- 撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得る際、
前記入力画像データに基づいて前記画像を画像表示装置に表示し、
この画像表示装置の表示画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定する、被写体のエッジの位置情報を少なくとも２点得、この少なくとも２点から前記収差補正対象被写体を前記入力画像データに基づいて抽出し、前記収差補正対象被写体の収差補正前の前記エッジの位置情報を収得するとともに、前記少なくとも２点間で予め予測される前記収差補正対象被写体の収差補正後の前記エッジの位置情報を収得し、
前記収差補正前のエッジの位置情報と前記収差補正後のエッジの位置情報から、収差補正式を算出することによって、前記撮影レンズの倍率色収差特性および歪曲収差特性の少なくとも一つの収差特性を検出し、検出された収差特性および前記画像の位置情報に基づいて、前記倍率色収差および歪曲収差の少なくとも一つの収差を前記画像全体に亘って補正することを特徴とする画像処理方法。 - 撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得るための画像処理装置であって、
前記入力画像データに基づいて前記画像を表示する画像表示装置と、
前記画像表示装置の表示画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定する、被写体のエッジの位置情報を少なくとも２点得、この少なくとも２点から前記収差補正対象被写体を前記入力画像データに基づいて抽出し、前記収差補正対象被写体の収差補正前のエッジの位置情報を収得するとともに、前記少なくとも２点間で予め予測される前記収差補正対象被写体の収差補正後のエッジの位置情報を収得し、前記収差補正前のエッジの位置情報と前記収差補正後のエッジの位置情報から、収差補正式を算出する検出手段と、
この検出手段によって検出された前記収差特性および前記画像の位置情報から前記撮影画像の倍率色収差特性および歪曲収差の少なくとも一つの収差を補正する補正手段とを有することを特徴とする画像処理装置。 - 撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得るための画像処理装置であって、
前記入力画像データに基づいて前記画像を表示する画像表示装置と、
前記画像表示装置に表示された画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定し、この収差補正対象被写体から前記撮影レンズに起因する倍率色収差特性および歪曲収差特性の少なくとも一つの収差特性を検出して取得する取得手段と、
この取得手段によって取得された前記少なくとも一つの収差特性、および前記画像の位置情報から、前記撮影画像の倍率色収差および歪曲収差の少なくとも一つの収差を補正する補正手段と、
この補正手段で用いられる前記少なくとも一つの収差特性の補正強度または収差パターンを調整する調整手段とを有し、
前記取得手段では、前記画像表示装置の表示画像から、外部入力手段を用いた入力に応じて選択された被写体を収差補正対象被写体として特定する少なくとも２点の位置情報を得、この少なくとも２点から前記収差補正対象被写体を前記入力画像データに基づいて抽出し、前記被写体の収差補正前の位置情報を収得するとともに、前記少なくとも２点間で予め予測される前記被写体の収差補正後の位置情報を収得し、前記収差補正前の位置情報と前記収差補正後の位置情報から、収差補正式を算出することで、前記少なくとも一つの収差特性を検出し、
前記画像表示装置に、前記補正手段によって前記少なくとも一つの収差が補正された画像であって、前記調整手段によって調整された、異なる複数の補正強度または収差パターンによって前記補正手段で補正された複数の画像を表示し、この複数の画像の中から、出力用画像の補正状態を、外部入力手段を用いた入力に応じて決定し、この決定された補正状態の収差補正画像データを前記出力画像データとして出力することを特徴とする画像処理装置。 - 前記画像表示装置には、前記補正手段による収差補正画像を少なくとも一つ表示し、前記調整手段による前記補正強度または収差パターンの調整ごとに前記補正手段によって補正された収差補正画像を前記画像表示装置に表示することを、複数の前記補正強度および収差パターンについて繰り返し、前記出力用画像の補正状態を決定する請求項３に記載の画像処理装置。
- 前記画像表示装置には、前記調整手段による前記補正強度または収差パターンの調整ごとに前記補正手段によって補正された複数の収差補正画像を同時に表示し、表示された複数の収差補正画像の中から出力用画像の補正状態を決定する請求項３に記載の画像処理装置。
- 前記収差補正対象被写体の位置情報は、前記収差補正対象被写体のエッジの位置情報である請求項３〜５のいずれか１項に記載の画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05945498A JP3783817B2 (ja) | 1998-03-11 | 1998-03-11 | 画像処理方法および画像処理装置 |
| DE19855885A DE19855885A1 (de) | 1997-12-04 | 1998-12-03 | Bildverarbeitungsverfahren und -vorrichtung |
| US09/205,292 US6323934B1 (en) | 1997-12-04 | 1998-12-04 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05945498A JP3783817B2 (ja) | 1998-03-11 | 1998-03-11 | 画像処理方法および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11261832A JPH11261832A (ja) | 1999-09-24 |
| JP3783817B2 true JP3783817B2 (ja) | 2006-06-07 |
Family
ID=13113775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05945498A Expired - Lifetime JP3783817B2 (ja) | 1997-12-04 | 1998-03-11 | 画像処理方法および画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3783817B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7092584B2 (en) | 2002-01-04 | 2006-08-15 | Time Warner Entertainment Company Lp | Registration of separations |
| JP4709649B2 (ja) * | 2002-12-20 | 2011-06-22 | ワーナー ブラザーズ エンターテイメント インコーポレーテッド | 分離色の解像度差の低減 |
| JP4207125B2 (ja) * | 2003-12-25 | 2009-01-14 | ノーリツ鋼機株式会社 | 画像補正決定方法とその方法を用いた画像処理装置 |
| JP2006172275A (ja) * | 2004-12-17 | 2006-06-29 | Noritsu Koki Co Ltd | 画像処理方法及び画像処理装置 |
| JP5076240B2 (ja) | 2008-02-05 | 2012-11-21 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
| JP5336798B2 (ja) * | 2008-09-16 | 2013-11-06 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
| JP5783445B2 (ja) * | 2011-03-18 | 2015-09-24 | 株式会社ニコン | 撮像装置 |
| US9241128B2 (en) | 2013-02-14 | 2016-01-19 | Warner Bros. Entertainment Inc. | Video conversion technology |
-
1998
- 1998-03-11 JP JP05945498A patent/JP3783817B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11261832A (ja) | 1999-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7433089B2 (en) | Image processor | |
| JP4081219B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP2000083157A (ja) | 画像処理方法および画像処理装置 | |
| JP3998369B2 (ja) | 画像処理方法および画像処理装置 | |
| JP3451202B2 (ja) | 画像処理方法 | |
| JP3783817B2 (ja) | 画像処理方法および画像処理装置 | |
| JPH10233919A (ja) | 画像処理装置 | |
| JPH11191871A (ja) | 画像処理装置 | |
| JP3549413B2 (ja) | 画像処理方法および画像処理装置 | |
| JP3631370B2 (ja) | 画像処理方法および画像処理装置 | |
| JP3667929B2 (ja) | 画像読取装置 | |
| JP3862198B2 (ja) | 証明写真撮影装置と画像処理装置及び証明写真作成システム | |
| JP2001223891A (ja) | 画像処理方法 | |
| JP2001086332A (ja) | 画像処理装置 | |
| JP3625370B2 (ja) | 画像処理方法および画像処理装置 | |
| JP3653661B2 (ja) | 画像処理装置 | |
| JP4204673B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2000324339A (ja) | 画像処理方法および画像処理装置 | |
| JP3576812B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3434716B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2002300390A (ja) | 画像再生方法及び画像再生装置 | |
| JP2000092309A (ja) | 画像処理方法および画像処理装置 | |
| JP3667930B2 (ja) | 画像読取装置 | |
| JP3894250B2 (ja) | 画像処理装置 | |
| JP3819194B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040528 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050218 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060308 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090324 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140324 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |