JP3549413B2 - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP3549413B2 JP3549413B2 JP30187098A JP30187098A JP3549413B2 JP 3549413 B2 JP3549413 B2 JP 3549413B2 JP 30187098 A JP30187098 A JP 30187098A JP 30187098 A JP30187098 A JP 30187098A JP 3549413 B2 JP3549413 B2 JP 3549413B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- magnification
- distortion
- chromatic aberration
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Projection-Type Copiers In General (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、フィルムに撮影された画像を光電的に読み取り、この画像が再現されたプリント（写真）を得るデジタルフォトプリンタ等において、レンズ付きフィルム、安価なコンパクトカメラやデジタルカメラ等で撮影された画像で発生する、倍率色収差や歪曲収差等の収差を補正する画像処理方法、およびこの画像処理方法を利用する画像処理装置の技術分野に属する。
【０００２】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）によって行われている。
【０００３】
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上り）プリントとするデジタルフォトプリンタが実用化された。
【０００４】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。しかも、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理したプリントも出力可能である。
しかも、デジタルフォトプリンタによれば、デジタルカメラ等で撮影された画像（画像データ）からプリントを作成することもでき、さらに、画像をプリント（写真）として出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【０００５】
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）、読み取った画像を画像処理して記録用の画像データ（露光条件）とする画像処理装置、および、この画像データに応じて感光材料を走査露光して現像処理を施してプリントとするプリンタ（画像記録装置）より構成される。
【０００６】
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの画像データ（画像データ信号）として画像処理装置に送る。
画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定して、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、感光材料を二次元的に走査露光（焼付け）して潜像を形成し、次いで、所定の現像処理等を施して、フィルムに撮影された画像が再生されたプリント（写真）とする。
【０００７】
【発明が解決しようとする課題】
ところで、プリントに再生された画像の画質劣化の原因として、画像を撮影したカメラに装着されるレンズの性能に起因する倍率色収差、歪曲収差、周辺光量低下、画像ピントボケ等のレンズの収差が挙げられる。
カラー画像は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色によって形成されるが、レンズの屈折率（結像倍率）は波長によって微妙に異なるため、Ｒ、ＧおよびＢの光の結像倍率が異り、すなわち倍率色収差が生じる。その結果、フィルムに撮影された画像を再生すると、得られた画像に色ずれが生じてしまう。
また、適正な撮影画像を得るためには、シーン中の光軸に垂直な平面は、光軸に対して垂直な同一平面上に結像される必要がある。ところが、通常のレンズでは、結像面が光軸方向にずれる、いわゆる歪曲収差を生じて結像画像が歪み（ディストーションを生じ）、フィルムに撮影された画像を再生すると、得られた画像が歪みを有するものとなってしまう。
さらに、レンズの性能に応じて生じる、中心部よりも周辺部の方が画像が暗くなってしまう周辺光量の低下や、ピント位置がフィルムの面方向で異なることに起因する画像ボケすなわちピントボケ等も、画質劣化の原因となっている。
【０００８】
一眼レフ等のように、ある程度のコストを掛けられるカメラであれば、精度の高いレンズを用い、さらに複数枚のレンズを組み合わせることにより、倍率色収差や歪曲収差を補正して、フィルムに適正画像を撮影することができる。
しかしながら、レンズ付きフィルムや安価なコンパクトカメラでは、レンズにコストを掛けることができないため、フィルムに撮影された画像に倍率色収差や歪曲収差が生じてしまう。その結果、プリントとして再生された画像が、色ずれや歪を有するものとなってしまう。
【０００９】
本発明の目的は、レンズ付きフィルム、安価なコンパクトカメラやデジタルカメラによって撮影された画像であっても、画像処理によって、倍率色収差、歪曲収差、周辺光量低下、ピントボケ等の収差を補正して、色ずれや歪等のない高画質な画像を出力することを可能にする画像処理方法、およびこの画像処理方法を利用する画像処理装置を提供することにある。
【００１０】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像処理方法は、光学的に撮影された画像から画像データを得、前記画像データを可視像として再現する際における、前記光学的に撮影された画像の倍率色収差、歪曲収差、周辺光量、および画像ボケの少なくとも一つを補正する画像処理方法であって、
前記画像を撮影したレンズの特性と、前記画像の位置情報とから、前記倍率色収差および歪曲収差の少なくとも一つを補正した画像位置を算出し、
前記倍率色収差および歪曲収差の少なくとも一つが補正された前記画像位置を用いて電子変倍処理を行うことにより、前記倍率色収差および歪曲収差の少なくとも一つの補正のための補間演算処理と前記電子変倍処理のための補間演算処理とを一回の補間演算処理で行うことを特徴とする画像処理方法を提供する。
ここで、前記画像の位置情報は、撮影時のレンズの光軸を基準とするものであるのが好ましく、
また、前記レンズの特性は、複数のレンズに対応する補正式および前記複数のレンズの各々に対応する、前記補正式の補正係数を含み、
前記補正は、前記補正式と、前記画像を撮影したレンズに応じた前記補正式の補正係数と、前記画像の位置情報とから行われるものであるのが好ましく、
また、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量から、前記３原色の各色の画像の倍率色収差を補正した画像位置を算出して前記画像の倍率色収差を補正し、
あるいは、前記歪曲収差に起因する画像のずれ量から、前記各色の画像の歪曲収差を補正した画像位置を算出して前記画像の歪曲収差を補正し、
あるいは、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量と、前記歪曲収差に起因する前記基準となる色の画像のずれ量とから、前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を算出して、前記画像の倍率色収差および歪曲収差を補正するものであるのが好ましく、
また、前記３原色の各色の画像の倍率色収差を補正した画像位置、もしくは前記各色の画像の歪曲収差を補正した画像位置、もしくは前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を用いて、前記電子変倍処理を行うことにより、前記倍率色収差の補正と電子変倍処理、あるいは前記歪曲収差の補正と電子変倍処理、あるいは前記倍率色収差および歪曲収差の補正と電子変倍処理のための各補間演算処理を一回の補間演算処理で行うのが好ましく、
また、前記画像を撮影したレンズの特性は、フィルムに光学的もしくは磁気的に記録されているレンズに関する情報、および／または、フィルムカートリッジに電気的に記録されているレンズに関する情報を、前記画像を撮影したレンズの判別情報として取得し、この判別情報に応じて、複数のレンズに応じたレンズ特性をそれぞれ前記判別情報に対応付けて記憶する記憶手段から受け取られるものであるのが好ましく、
さらに、可視像として再現したプリントとするために、前記補正が行われた画像データを出力するのが好ましい。
【００１１】
また、本発明の画像処理装置は、光学的に撮影された画像から得られた画像データに所定の画像処理を施し、出力用の画像データとする画像処理装置であって、
前記画像を撮影した撮影レンズの判別情報を取得する取得手段、撮影レンズ種に応じたレンズ特性を記憶する記憶手段、および前記取得手段が取得した判別情報に応じて、前記記憶手段から対応する撮影レンズのレンズ特性を受け取り、画像の位置情報とレンズ特性とから、画像の倍率色収差および歪曲収差の少なくとも一つを補正した画像位置を算出し、前記倍率色収差および歪曲収差の少なくとも一つを補正した画像位置を用いて電子変倍処理を行うことにより、前記倍率色収差および歪曲収差の少なくとも一つの補正のための補間演算処理と前記電子変倍処理のための補間演算処理とを一回の補間演算処理で行う補正手段を有することを特徴とする画像処理装置を提供する。
【００１２】
ここで、前記補正手段は、前記倍率色収差および歪曲収差の少なくとも一つに加え、さらに、前記画像の周辺光量および画像ボケの少なくとも一つを補正するのが好ましく、
また、前記画像の位置情報は、撮影時のレンズの光軸を基準とするものであるのが好ましく、
また、複数の撮影レンズ種に対応する補正式を有し、前記記憶手段は、前記レンズ特性として、この補正式の補正係数を記憶するのが好ましく、
また、前記補正手段が、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量から、前記３原色の各色の画像の倍率色収差を補正した画像位置を算出して前記画像の倍率色収差を補正する、
あるいは、前記歪曲収差に起因する画像のずれ量から、前記各色の画像の歪曲収差を補正した画像位置を算出して前記画像の歪曲収差を補正する、
あるいは、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量と、前記歪曲収差に起因する前記基準となる色の画像のずれ量とから、前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を算出して、前記画像の倍率色収差および歪曲収差を補正するのが好ましく、
また、前記補正手段が、前記３原色の各色の画像の倍率色収差を補正した画像位置、もしくは前記各色の画像の歪曲収差を補正した画像位置、もしくは前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を用いて、前記電子変倍処理を行うことにより、前記倍率色収差の補正と電子変倍処理、あるいは前記歪曲収差の補正と電子変倍処理、あるいは前記倍率色収差および歪曲収差の補正と電子変倍処理のための各補間演算処理を一回の補間演算処理で行うのが好ましく、
また、前記取得手段は、フィルムに光学的もしくは磁気的に記録されているレンズに関する情報、および／または、フィルムカートリッジに電気的に記録されているレンズに関する情報を、判別情報として取得するのが好ましく、
さらに、画像処理を施した出力用の画像データを可視像として再現したプリントを出力する装置に接続されるのが好ましい。
【００１３】
【発明の実施の形態】
以下、本発明の画像処理方法および画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【００１４】
図１に、本発明の画像処理方法を実施する本発明の画像処理装置を利用するデジタルフォトプリンタの一例のブロック図が示される。
図１に示されるデジタルフォトプリンタ（以下、フォトプリンタ１０とする）は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上り）プリントとして出力するプリンタ１６とを有して構成される。
また、画像処理装置１４には、様々な条件の入力（設定）、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示するディスプレイ２０が接続される。
【００１５】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、画像をＲ（赤）、Ｇ（緑）およびＢ（青）の三原色に分解するためのＲ、ＧおよびＢの３枚の色フィルタを有し、回転して任意の色フィルタを光路に作用する色フィルタ板２６と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、フィルムの１コマの画像を読み取るエリアセンサであるＣＣＤセンサ３４と、アンプ（増幅器）３６とを有して構成される。
【００１６】
なお、図示例のフォトプリンタ１０においては、新写真システム（Ａｄｖａｎｃｅｄ Ｐｈｏｔｏ Ｓｙｓｔｅｍ）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態、トリミング等の処理の種類等に応じて、スキャナ１２の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送、保持される。
また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジＩＤやフィルム種等が記録されており、また、撮影時や現像時等に、撮影日時、撮影に使用したカメラ、現像機の種類等の各種のデータが記録可能である。新写真システムのフィルム（カートリッジ）に対応するキャリアには、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、前記各種の情報が画像処理装置１４に送られる。
【００１７】
このようなスキャナ１２においては、光源２２から射出され、可変絞り２４によって光量調整され、色フィルタ板２６を通過して色調整され、拡散ボックス２８で拡散された読取光が、キャリアによって所定の読取位置に保持されたフィルムＦの１コマに入射して、透過することにより、フィルムＦに撮影されたこのコマの画像を担持する投影光を得る。
フィルムＦの投影光は、結像レンズユニット３２によってＣＣＤセンサ３４の受光面に結像され、ＣＣＤセンサ３４によって光電的に読み取られ、その出力信号がアンプ３６で増幅されて、画像処理装置１４に送られる。ＣＣＤセンサ３４は、例えば、１３８０×９２０画素のエリアＣＣＤセンサである。
【００１８】
スキャナ１２においては、このような画像読取を、色フィルタ板２６の各色フィルタを順次挿入して３回行うことにより、１コマの画像をＲ，ＧおよびＢの３原色に分解して読み取る。
ここで、フォトプリンタ１０においては、プリントを出力するための画像読み取り（本スキャン）に先立ち、画像処理条件等を決定するために、画像を低解像度で読み取るプレスキャンを行う。従って、１コマで、合計６回の画像読み取りが行われる。
【００１９】
スキャナ１２は、エリアＣＣＤセンサを用い、色フィルタ板２６によって投影光を３原色に分解して画像を読み取っているが、本発明に利用されるスキャナとしては、３原色のそれぞれの読み取りに対応する３種のラインＣＣＤセンサを用い、フィルムＦをキャリアで走査搬送しつつ画像を読み取るスリット走査によって画像読み取りを行うものであってもよい。
【００２０】
図示例のフォトプリンタ１０は、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ１２を画像処理装置１４の画像データ供給源としているが、画像処理装置１４に画像データを供給する画像データ供給源としては、スキャナ１２以外にも、反射原稿の画像を読み取る画像読取装置、デジタルカメラやデジタルビデオカメラ等の撮像デバイス、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やコンピュータ通信ネットワーク等の通信手段、メモリカードやＭＯ（光磁気記録媒体）等のメディア（記録媒体）等の、各種の画像読取手段や撮像手段、画像データの記憶手段等が各種使用可能である。すなわち、本発明は、デジタルカメラ等の撮像デバイスで光学的に撮影された画像（画像データ）にも好適に利用可能である。
【００２１】
前述のように、スキャナ１２からの出力信号（画像データ）は、画像処理装置１４に出力される。
図２に画像処理装置（以下、処理装置１４とする）のブロック図を示す。処理装置１４は、データ処理部３８、プレスキャン（フレーム）メモリ４０、本スキャン（フレーム）メモリ４２、プレスキャン画像処理部４４、本スキャン画像処理部４６、および条件設定部４８を有して構成される。
なお、図２は、主に画像処理関連の部位を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ、本スキャンの際の可変絞り２４の絞り値やＣＣＤセンサ３４の蓄積時間を決定する手段等が配置され、また、操作系１８やディスプレイ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部位に接続される。
【００２２】
スキャナ１２から出力されたＲ，ＧおよびＢの各出力信号は、Ａ／Ｄ（アナログ／デジタル）変換、Ｌｏｇ変換、ＤＣオフセット補正、暗時補正、シェーディング補正等を行うデータ処理部３８で処理されてデジタルの画像データとされ、プレスキャン（画像）データはプレスキャンメモリ４０に、本スキャン（画像）データは本スキャンメモリ４２に、それぞれ記憶（格納）される。
なお、プレスキャンデータと本スキャンデータは、解像度（画素密度）と信号レベルが異なる以外は、基本的に同じデータである。
【００２３】
プレスキャンメモリ４０に記憶されたプレスキャンデータはプレスキャン画像処理部４４において、本スキャンメモリ４２に記憶された本スキャンデータは本スキャン画像処理部４６において、それぞれ処理される。
プレスキャン画像処理部４４は、画像処理部５０および画像データ変換部５２を有して構成される。他方、本スキャン画像処理部４６は、画像処理部５４および画像データ変換部５８を有して構成される。
【００２４】
プレスキャン画像処理部４４の画像処理部５０（以下、処理部５０とする）と、本スキャン画像処理部４６の画像処理部５４（以下、処理部５４とする）は、共に、後述する条件設定部４８が設定した画像処理条件に応じて、スキャナ１２によって読み取られた画像（画像データ）に所定の画像処理を施す部位である。両者は、処理する画像データの画素密度が異なり、また、プレスキャン画像処理部４４の処理部５０が収差補正部を有さない以外は、基本的に、同様の処理を行う。
処理部５０および処理部５４における画像処理としては、色バランス調整、コントラスト補正（階調処理）、明るさ補正、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、彩度補正、シャープネス（鮮鋭化）処理等が例示される。これらは、演算、ＬＵＴ（ルックアップテーブル）による処理、マトリクス（ＭＴＸ）演算、フィルタによる処理等を適宜組み合わせた、公知の方法で行われるものであり、図示例においては、色バランス調整、明るさ補正およびコントラスト補正がＬＵＴで行われ、彩度補正がＭＴＸで行われる。また、これ以外のシャープネス処理や覆い焼き処理等は、オペレータによる指示や画像データ等に応じて、ブロック５０Ａおよびブロック５４Ａで行われる。
【００２５】
ここで、本スキャンデータを処理する処理部５４のＭＴＸとブロック５４Ａとの間には、倍率色収差および歪曲収差の補正、ならびに電子変倍処理を行う、収差補正部５６が配置される。また、収差補正部５６には、レンズ特性データ供給部６０が接続される。
本発明にかかる処理装置１４においては、必要に応じて、この収差補正部５６において、レンズ特性および画像の位置情報を用いて、画像処理によってフィルムＦに撮影された画像の倍率色収差および歪曲収差を補正しており、これにより色ズレや歪のない、高画質な画像が再現されたプリントを安定して出力することを実現している。
【００２６】
なお、本発明においては、プレスキャン処理部４４の処理部５０にも収差補正部を配置し、ディスプレイ２０に表示する画像にも、倍率色収差や歪曲収差等の補正を行ってもよいのはもちろんである。
【００２７】
レンズ特性データ供給部６０（以下、特性データ供給部６０とする）は、フィルムＦを撮影したカメラを判別する判別情報を取得し、得られた判別情報に対応する撮影カメラに応じたレンズ特性を収差補正部５６に供給する部位である。
【００２８】
カメラ（すなわち撮影レンズ）を判別する判別情報、およびその取得手段には特に限定はなく、各種の方法が利用可能である。
例えば、フィルムＦが前述の新写真システムのレンズ付きフィルムである場合には、フィルムＦに記録された磁気情報をスキャナ１２のキャリアで読み取り、磁気記録されたカートリッジＩＤやフィルム種等を利用してレンズ付きフィルムの機種すなわちカメラを判別してもよく、フィルムに光学的に記録されている拡張ＤＸコードの「ＳＳＵ ＩＮＤＩＣＡＴＯＲ」をキャリアで光学的に読み取り、これを利用してもよい。また、新写真システムに対応するカメラには、フィルムＦにカメラの機種を磁気記録する機能を有する機種もあるので、これを利用してフィルムＦを撮影したカメラを判別してもよい。
また、受け付け時に、レンズ付きフィルムの機種や、あるいは撮影カメラの機種を顧客から聞いて、メモ、パッケージ、パトローネ、カートリッジ等に記録しておき、プリント作成時にオペレータがこれを見てキーボード１８ａでカメラの機種を入力してもよく、カメラの機種に代えてファンクションキー等とカメラとの対応を決定しておき、これを用いて入力してもよい。
さらに、撮影時にフィルムにカメラの機種を光学的に焼き付け、これを読み取ってカメラの機種を判別してもよい。レンズ付きフィルムであれば、製造時等にレンズ付きフィルムの機種をＤＸコード等のように光学的に焼付けておき、あるいは磁気記録しておき、これらを用いて機種を判別してもよい。
また、ＩＣメモリ付きのフィルムカートリッジであれば、このＩＣメモリにカメラの機種等を電気的に記録しておき、これを用いて機種を判別してもよい。
【００２９】
特性データ供給部６０はメモリを有し、このメモリには、各種のカメラの機種に応じたレンズ特性の情報、具体的には、各種のレンズの倍率色収差および歪曲収差の特性の情報が記憶されている。
特性データ供給部６０は、取得したカメラの判別情報から、それに応じたレンズ特性の情報をメモリから読み出し、これを収差補正部５６に供給する。なお、レンズ特性は特性データ供給部６０が有するメモリに記憶されるのに限定はされず、例えば、プリンタ１０に接続されるデータベースに記憶しておき、此所にアクセスして読み出してもよく、あるいは、フィルムＦの読み取り時にフィルムに対応するレンズの情報として外部から入力されてもよい。
【００３０】
レンズ特性としては、特に限定はないが、倍率色収差や歪曲収差を行うための各レンズ種に対応する補正関数や補正係数であってもよい。あるいは、複数のレンズ種、好ましくは、プリンタ１０で処理する主たるレンズ種に対応する、倍率色収差や歪曲収差補正を行うための基本的な補正関数（補正式）を記憶しておき、この補正式にかかる補正関数や補正係数を各レンズに対応するレンズ特性として記憶してもよい。
また、一般的に、レンズの倍率色収差の特性や歪曲収差の特性は、レンズの光軸すなわちフィルムＦに撮影された画像の中心からの距離（例えば、ｘ−ｙで示される）をパラメータとする３次関数である程度まで近似することができるので、倍率色収差や歪曲収差の補正が必要な各種のカメラに対応して、それに応じた倍率色収差の特性を示す関数および歪曲収差の特性を示す関数を、レンズ特性として記憶してもよい。なお、この関数を、４次、５次…とより高次にすることにより、それに従って、より高精度な補正を行うことができるが、ハードウェアにかかる負担が大きくなり、また、処理時間も増大するので、要求される補正精度やフォトプリンタに要求される処理能力等に応じて決定すればよい。
【００３１】
収差補正部５６は、特性データ供給部６０から供給されたフィルムＦの撮影レンズ特性と、画像データ（画素）の位置の情報、例えば、画像の中心（撮影レンズの光軸の中心）からの座標位置（中心の画素から何画素目か）とを用いて、倍率色収差および歪曲収差の補正、ならびに電子変倍処理を行う。なお、この際において、マスク等によって切り出された画像の中心が、ほぼ撮影時のレンズの光軸の中心と考えられる場合には、切り出された画像の中心の画素をレンズの光軸の中心として、各種の収差（歪曲収差、倍率色収差、周辺光量低下、画像ボケ）を補正してもよい。
【００３２】
この場合の座標は、ｘ−ｙ座標でも極座標でもよい。また、画像データの位置の情報は画像の中心を基準とするのに限定はされず、各種のものが利用可能であり、例えば、画像の角部（左上角等）や、ある画素（例えば画素番号１番の画素）等を基準としてもよく、さらに画像の外部、例えばフィルムＦのパーフォレーション等を基準としてもよい。すなわち、本発明では画像（画素）の位置が相対的に検出できれば、各種の位置情報が利用可能である。
【００３３】
ここで、レンズ特性と画像の位置情報（以下、画素位置とする）とを用いた倍率色収差および歪曲収差の補正を別々に行うと、演算に時間がかかり、また、補間演算も複数回行う必要が生じるため、画質が劣化するという問題がある。
そのため、本発明においては、好ましくは、Ｒ、ＧおよびＢの３原色の基準となる色、通常はＧを基準として、ＲおよびＢの像倍率を変換して、ＲおよびＢの画像をＧ画像に合わせることで倍率色収差を補正し、その後、Ｇ画像に対応して歪曲収差を補正する。これにより、収差を補正した各画素の適正位置を算出し、これを用いて、各画素の画像データを補間演算することによって、フィルムに撮影された画像の倍率色収差および歪曲収差を補正した画像データを得ることができる。
従って、歪曲収差についてはＧ画像に対する演算のみを行えばよいので、演算量や補間演算を減らして、より好適な倍率色収差および歪曲収差の補正を行うことができる。
【００３４】
また、画像処理装置では、通常、画像データ処理による画像の拡大もしくは縮小、すなわち、画像の電子変倍を行って、画像（画像データ）を出力画像に応じたサイズにして出力する。この電子変倍処理は、通常、画像データを補間演算することにより行われる。
ところが、前記倍率色収差および歪曲収差の補正でも補間演算が行われているため、結果的に、２回の補間が行われる結果となり、画質が劣化してしまう場合もある。
【００３５】
そのため、本発明においては、より好ましくは、前記レンズ特性と画像データの画素位置とを用いて、倍率色収差に起因する基準色（Ｇ）に対するＲおよびＢの画素位置のずれ量と、歪曲収差に起因する基準色の画素位置のずれ量とから、各画素毎の適正位置を算出し、算出された各画素の適正位置の情報を用いて、画像データを補間して画像の電子変倍処理を行う。言い換えれば、倍率色収差および歪曲収差による画素位置のずれ量を算出することにより、各画素が本来どの位置にあるべきであるかを知見し、この適正な位置に応じて画像データの補間演算を行って電子変倍処理を行う。
これにより、１回の補間演算で、倍率色収差および歪曲収差の補正と、電子変倍処理を行うことができる。
【００３６】
図示例の収差補正部５６は、上記方法を用いて、倍率色収差および歪曲収差の補正と、電子変倍処理とを行う部位であり、図３の概念図に示されるように、座標変換処理部５６Ａと、拡大縮小処理部５６Ｂとを有して構成される。
なお、図３において、ｉｒ，ｉｇおよびｉｂは、それぞれＭＴＸから供給された画像データ（入力画像データ）の画素位置（アドレス）を；
Ｉｒ，ＩｇおよびＩｂは、倍率色収差および歪曲収差を補正された画像データの画素位置を；
ΔｒおよびΔｂは、それぞれ倍率色収差によるＧの画素位置に対するＲおよびＢの画素位置のずれ量（すなわち補正量）を；
Ｄは、歪曲収差によるＧの画素位置のずれ量を； それぞれ示す。
【００３７】
収差補正部５６においては、ＭＴＸから画像データが供給されると、座標変換処理部５６Ａにおいて、特性データ供給部６０から供給されたレンズ特性を用いて、ＲおよびＢの画像データの各画素位置ｉｒおよびｉｂにおける、Ｇの画像データｉｇに対する倍率色収差によるずれ量ΔｒおよびΔｂを算出し、さらに、Ｇの入力画像データｉｇの歪曲収差によるずれ量Ｄを算出する。
【００３８】
次いで、図３に示されるように、Ｒの入力画像データの各画素位置ｉｒに前記ΔｒとＤを加えて、倍率色収差および歪曲収差を補正されたＲの画像データの画素位置Ｉｒを算出し、Ｂの入力画像データの各画素位置ｉｂに前記ΔｂとＤを加えて、倍率色収差および歪曲収差を補正されたＢの画像データの画素位置Ｉｂを算出し、Ｇの入力画像データの各画素位置ｉｇに前記Ｄを加えて、歪曲収差を補正されたＧの画像データの画素位置Ｉｇを算出する。すなわち、この計算では、Ｇ画像を基準として、Ｒ画像およびＢ画像の倍率色収差を補正して、全画像をＧ画像に位置合わせして、Ｇ画像の歪曲収差によるずれ量Ｄを用いて、全体の歪曲収差を補正して、Ｒ，ＧおよびＢの各画像の倍率色収差および歪曲収差を補正された画素位置を算出している。
【００３９】
次いで、拡大縮小処理部５６Ｂにおいて、この倍率色収差および歪曲収差を補正された画素位置Ｉｒ，ＩｇおよびＩｂを用いて、拡大／縮小倍率に応じた画像データの補間処理（Ｎ倍補間）を行うことにより画像の変倍を行い、倍率色収差および歪曲収差を補正され、かつ電子変倍処理を行われた画像データとして、ブロック５４Ａに出力する。
電子変倍処理の方法には特に限定はなく、公知の方法が各種利用可能であり、例えば、バイリニア補間を用いる方法、スプライン補間を用いる方法等が例示される。
【００４０】
なお、特性データ供給部６０がカメラの判別情報を取得しなかった場合、および特性データ供給部６０が取得したカメラの判別情報に対応するレンズ特性が無かった場合、さらに、倍率色収差および歪曲収差補正のキャンセルが指示された場合には、収差補正部５６は、拡大縮小処理部５６Ｂにおける電子変倍処理のみを行って画像データをブロック５４Ａに供給する。
【００４１】
図示例の装置においては、好ましい態様として、収差補正部５６において歪曲収差および倍率色収差の両者を補正しているが、本発明はこれに限定はされず、レンズ特性として倍率色収差もしくは歪曲収差のいずれか一方の特性のみを記憶しておき、これと画素位置とを用いて、いずれか一方の収差のみを補正してもよい。
この場合は、例えば、倍率色収差もしくは歪曲収差に起因するズレ量を補正した適正位置を算出し、これを用いて対応する収差を補正した後に、公知の方法で電子変倍処理を行ってもよいが、好ましくは、前述の方法と同様に、倍率色収差もしくは歪曲収差に起因するズレ量を補正した適正位置を算出し、この適正位置の情報を用いて画像データの補間を行って電子変倍処理を行い、収差の補正と電子変倍とを行うのが好ましい。これにより、同様に、補間演算を減らし、補間に起因する画質の劣化を低減することができる。
【００４２】
さらに、本発明においては、歪曲収差および／または倍率色収差のみならず、レンズに起因するピントボケ（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）や、周辺光量低下等の収差を補正するためのレンズ特性も記憶しておき、歪曲収差および／または倍率色収差に加え、あるいは、これに変えて、ピントボケおよび／または周辺光量低下を補正してもよい。
【００４３】
処理部５０および５４で処理された画像データは、画像データ変換部５２および５８に送られる。
プレスキャン画像処理部４４の画像データ変換部５２は、処理部５０によって処理された画像データを、３Ｄ（三次元）−ＬＵＴ等を用いて変換して、ディスプレイ２０による表示に対応する画像データにする。他方、本スキャン画像処理部４６の画像データ変換部５８は、同様に、処理部５４によって処理された画像データを３Ｄ−ＬＵＴを用いて変換し、プリンタ１６による画像記録に対応する画像データとしてプリンタ１６に供給する部位である。
【００４４】
なお、本発明においては、画像処理を施した画像データを、プリンタ１６以外にも、フロッピーディスクやＭＯ等の記録媒体、コンピュータ、通信ネットワーク等に出力することも可能である。
また、プレスキャン画像処理部４４にも収差補正部を設け、収差補正を施した画像をディスプレイ２０に表示してもよいのは前述のとおりであり、あるいは、本スキャン画像処理部４６で処理した収差補正を施した画像データを、必要に応じて間引いてディスプレイ２０あるいは他の表示手段に表示してもよい。
【００４５】
プレスキャン画像処理部４４および本スキャン画像処理部４６による各種の処理条件は、条件設定部４８によって設定される。
この条件設定部４８は、画像処理条件設定部７２、キー補正部７４およびパラメータ統合部７６を有して構成される。
【００４６】
画像処理条件設定部７２（以下、設定部７２とする）は、施す画像処理を選択すると共に、プレスキャンデータを用いて、処理部５０および６０における画像処理条件を設定し、パラメータ統合部７６に供給する。
具体的には、設定部７２は、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出等を行い、加えて、必要に応じて行われる操作系１８を用いたオペレータによる指示に応じて、前述のグレイバランス調整、明るさ補正、およびコントラスト補正のテーブル（ＬＵＴ）の作成、彩度補正を行うマトリクス演算の作成等の画像処理条件を決定する。
【００４７】
キー補正部７４は、キーボード１８ａに設定された明るさ、色、コントラスト、シャープネス、彩度調等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量（例えば、ＬＵＴの補正量等）を算出し、パラメータ統合部７６に供給するものである。
パラメータ統合部７６は、設定部７２が設定した画像処理条件を受け取り、供給された画像処理条件をプレスキャン画像処理部４４の処理部５０および本スキャン画像処理部４６の処理部５４に設定し、さらに、キー補正部７４で算出された調整量に応じて、各部位に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００４８】
以下、処理装置１４の作用を説明する。
前述のように、プレスキャンメモリ４０にプレスキャンデータが記憶されると、設定部７２がこれを読み出し、濃度ヒストグラムの作成や画像特徴量の算出等を行い、これを用いて、画像処理条件を設定（ＬＵＴやＭＴＸの作成）してパラメータ統合部７６に送る。
これと平行して、可変絞り２４の絞り値決定等の本スキャンの読取条件が設定されてスキャナ１２が調整され、次いで、スキャナ１２では本スキャンが行われ、本スキャンデータが、順次、本スキャンメモリ４２に転送・記憶される。
【００４９】
また、処理装置１４には、キーボード１８ａやマウス１８ｂによって入力された各種の指示や情報、スキャナ１２（キャリア）で読み取られたフィルムＦの磁気情報が送られており、前述のようにしてカメラの判別情報が入力された場合には、これが特性データ供給部６０に送られる。
【００５０】
画像処理条件を受け取ったパラメータ統合部７６は、これを、プレスキャン画像処理部４４の処理部５０、および本スキャン画像処理部４６の処理部５４の所定部位（ハードウエア）に設定する。
次いで、プレスキャンメモリ４０からプレスキャンデータが読み出され、処理部５０において設定された画像処理条件で処理されて、画像データ変換部５２で変換されて、所定の処理を施されたプレスキャン画像が、ディスプレイ２０に表示される。この際、ディスプレイ２０に表示する画像にも、先と同様にして倍率色収差や歪曲収差の補正を行ってもよい。
【００５１】
オペレータは、ディスプレイ２０の表示を見て、画像すなわち処理結果の確認（検定）を行い、必要に応じて、キーボード１８ａに設定された前記各キー等を用いて色／濃度、階調等を調整する。
この調整の入力は、キー補正部７４に送られ、キー補正部７４は調整入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部７６に送る。パラメータ統合部７６は、送られた補正量に応じて、前述のように、処理部５０および処理部５４のＬＵＴやＭＴＸを補正し、この補正すなわちオペレータによる調整入力に応じて、ディスプレイ２０に表示される画像も変化する。
【００５２】
オペレータは、ディスプレイ２０に表示される画像が適正である判定（検定ＯＫ）すると、キーボード１８ａ等を用いてプリント開始を指示する。これにより、画像処理条件が確定し、本スキャンメモリ４２から本スキャンデータが読み出され、本スキャン画像処理部４６の処理部５４に送られる。
【００５３】
処理部５４において、画像データは、ＬＵＴおよびＭＴＸで処理された後、収差補正部５６に送られる。一方、特性データ供給部６０は、取得したカメラの判別情報から、対応するレンズ特性を読み出し、これを収差補正部５６に送る。
収差補正部５６は、レンズ特性と画像データの画素位置とから、前述のようにして、座標変換処理部５６Ａにおいて、倍率色収差および歪曲収差を補正した画素位置Ｉｒ，ＩｇおよびＩｂを算出して、これを拡大縮小処理部５６Ｂに送り、拡大縮小処理部５６Ｂでは、この画素位置Ｉｒ，ＩｇおよびＩｂを用いて、拡大／縮小率に応じた画像データのＮ倍補間を行って画像の電子変倍を行い、倍率色収差および歪曲収差の補正、ならびに電子変倍処理を施された画像データとしてブロック５４Ａに出力する。
なお、座標変換処理部５６Ａでの画素位置Ｉｒ，ＩｇおよびＩｂの算出は、画像データの供給に先立ち、特性データ供給部６０からレンズ特性の情報を受けた時点で行ってもよい。
【００５４】
画像データは、さらに、ブロック５４Ａにおいてシャープネス処理や覆い焼き処理等の必要な画像処理を施され、画像データ変換部５８に送られ、画像データ変換部５８においてプリンタ１６による画像記録に応じた画像データに変換され、プリンタ１６に送られる。
なお、検定を行わない場合には、パラメータ統合部７６による本スキャン画像処理部４６の処理部５４への画像処理条件の設定を終了した時点で画像処理条件が確定し、自動的に本スキャンデータの処理を行って、プリンタ１６に送る。
これらは、作業モード等で選択できるようにするのが好ましい。
【００５５】
前述のように、処理装置１４で処理された画像データは、プリンタ１６に送られる。
プリンタ１６は、感光材料（印画紙）を画像データに応じて露光して潜像を記録し、感光材料に応じた現像処理を施して（仕上り）プリントとして出力するものである。例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントの記録、感光材料（印画紙）の分光感度特性に応じた、赤（Ｒ）露光、緑（Ｇ）露光および青（Ｂ）露光Ｇの３種の光ビームを画像データ（記録画像）に応じて変調すると共に、主走査方向に偏向し、主走査方向と直交する副走査方向に感光材料を搬送することによる潜像の記録等を行い、潜像を記録した感光材料に、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとした後に、仕分けして集積する。
【００５６】
以上、本発明の画像処理方法および画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００５７】
【発明の効果】
以上、詳細に説明したように、本発明によれば、レンズ付きフィルム、安価なコンパクトカメラやデジタルカメラ等で撮影された画像であっても、画像処理によって撮影画像の倍率色収差や歪曲収差等を補正することができるので、色ずれや歪等のない高画質な画像を安定して出力することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置を利用するデジタルフォトプリンタの一例のブロック図である。
【図２】図１に示されるデジタルフォトプリンタの画像処理装置の一例のブロック図である。
【図３】図２に示される画像処理装置の収差補正部の概念図である。
【符号の説明】
１０ （デジタル）フォトプリンタ
１２ スキャナ
１４ （画像）処理装置
１６ プリンタ
１８ 操作系
１８ａ キーボード
１８ｂ マウス
２０ ディスプレイ
２２ 光源
２４ 可変絞り
２６ 色フィルタ板
２８ 拡散ボックス
３２ 結像レンズユニット
３４ ＣＣＤセンサ
３６ アンプ
３８ データ処理部
４０ プレスキャン（フレーム）メモリ
４２ 本スキャン（フレーム）メモリ
４４ プレスキャン画像処理部
４６ 本スキャン画像処理部
４８ 条件設定部
５０，５４ （画像）処理部
５２，５８ 画像データ変換部
５６ 収差補正部
５６Ａ 座標変換処理部
５６Ｂ 拡大縮小処理部
６０ （レンズ）特性データ供給部
７２ （画像処理条件）設定部
７４ キー補正部
７６ パラメータ統合部
【発明の属する技術分野】
本発明は、フィルムに撮影された画像を光電的に読み取り、この画像が再現されたプリント（写真）を得るデジタルフォトプリンタ等において、レンズ付きフィルム、安価なコンパクトカメラやデジタルカメラ等で撮影された画像で発生する、倍率色収差や歪曲収差等の収差を補正する画像処理方法、およびこの画像処理方法を利用する画像処理装置の技術分野に属する。
【０００２】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）によって行われている。
【０００３】
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上り）プリントとするデジタルフォトプリンタが実用化された。
【０００４】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。しかも、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理したプリントも出力可能である。
しかも、デジタルフォトプリンタによれば、デジタルカメラ等で撮影された画像（画像データ）からプリントを作成することもでき、さらに、画像をプリント（写真）として出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【０００５】
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）、読み取った画像を画像処理して記録用の画像データ（露光条件）とする画像処理装置、および、この画像データに応じて感光材料を走査露光して現像処理を施してプリントとするプリンタ（画像記録装置）より構成される。
【０００６】
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの画像データ（画像データ信号）として画像処理装置に送る。
画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定して、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、感光材料を二次元的に走査露光（焼付け）して潜像を形成し、次いで、所定の現像処理等を施して、フィルムに撮影された画像が再生されたプリント（写真）とする。
【０００７】
【発明が解決しようとする課題】
ところで、プリントに再生された画像の画質劣化の原因として、画像を撮影したカメラに装着されるレンズの性能に起因する倍率色収差、歪曲収差、周辺光量低下、画像ピントボケ等のレンズの収差が挙げられる。
カラー画像は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色によって形成されるが、レンズの屈折率（結像倍率）は波長によって微妙に異なるため、Ｒ、ＧおよびＢの光の結像倍率が異り、すなわち倍率色収差が生じる。その結果、フィルムに撮影された画像を再生すると、得られた画像に色ずれが生じてしまう。
また、適正な撮影画像を得るためには、シーン中の光軸に垂直な平面は、光軸に対して垂直な同一平面上に結像される必要がある。ところが、通常のレンズでは、結像面が光軸方向にずれる、いわゆる歪曲収差を生じて結像画像が歪み（ディストーションを生じ）、フィルムに撮影された画像を再生すると、得られた画像が歪みを有するものとなってしまう。
さらに、レンズの性能に応じて生じる、中心部よりも周辺部の方が画像が暗くなってしまう周辺光量の低下や、ピント位置がフィルムの面方向で異なることに起因する画像ボケすなわちピントボケ等も、画質劣化の原因となっている。
【０００８】
一眼レフ等のように、ある程度のコストを掛けられるカメラであれば、精度の高いレンズを用い、さらに複数枚のレンズを組み合わせることにより、倍率色収差や歪曲収差を補正して、フィルムに適正画像を撮影することができる。
しかしながら、レンズ付きフィルムや安価なコンパクトカメラでは、レンズにコストを掛けることができないため、フィルムに撮影された画像に倍率色収差や歪曲収差が生じてしまう。その結果、プリントとして再生された画像が、色ずれや歪を有するものとなってしまう。
【０００９】
本発明の目的は、レンズ付きフィルム、安価なコンパクトカメラやデジタルカメラによって撮影された画像であっても、画像処理によって、倍率色収差、歪曲収差、周辺光量低下、ピントボケ等の収差を補正して、色ずれや歪等のない高画質な画像を出力することを可能にする画像処理方法、およびこの画像処理方法を利用する画像処理装置を提供することにある。
【００１０】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像処理方法は、光学的に撮影された画像から画像データを得、前記画像データを可視像として再現する際における、前記光学的に撮影された画像の倍率色収差、歪曲収差、周辺光量、および画像ボケの少なくとも一つを補正する画像処理方法であって、
前記画像を撮影したレンズの特性と、前記画像の位置情報とから、前記倍率色収差および歪曲収差の少なくとも一つを補正した画像位置を算出し、
前記倍率色収差および歪曲収差の少なくとも一つが補正された前記画像位置を用いて電子変倍処理を行うことにより、前記倍率色収差および歪曲収差の少なくとも一つの補正のための補間演算処理と前記電子変倍処理のための補間演算処理とを一回の補間演算処理で行うことを特徴とする画像処理方法を提供する。
ここで、前記画像の位置情報は、撮影時のレンズの光軸を基準とするものであるのが好ましく、
また、前記レンズの特性は、複数のレンズに対応する補正式および前記複数のレンズの各々に対応する、前記補正式の補正係数を含み、
前記補正は、前記補正式と、前記画像を撮影したレンズに応じた前記補正式の補正係数と、前記画像の位置情報とから行われるものであるのが好ましく、
また、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量から、前記３原色の各色の画像の倍率色収差を補正した画像位置を算出して前記画像の倍率色収差を補正し、
あるいは、前記歪曲収差に起因する画像のずれ量から、前記各色の画像の歪曲収差を補正した画像位置を算出して前記画像の歪曲収差を補正し、
あるいは、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量と、前記歪曲収差に起因する前記基準となる色の画像のずれ量とから、前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を算出して、前記画像の倍率色収差および歪曲収差を補正するものであるのが好ましく、
また、前記３原色の各色の画像の倍率色収差を補正した画像位置、もしくは前記各色の画像の歪曲収差を補正した画像位置、もしくは前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を用いて、前記電子変倍処理を行うことにより、前記倍率色収差の補正と電子変倍処理、あるいは前記歪曲収差の補正と電子変倍処理、あるいは前記倍率色収差および歪曲収差の補正と電子変倍処理のための各補間演算処理を一回の補間演算処理で行うのが好ましく、
また、前記画像を撮影したレンズの特性は、フィルムに光学的もしくは磁気的に記録されているレンズに関する情報、および／または、フィルムカートリッジに電気的に記録されているレンズに関する情報を、前記画像を撮影したレンズの判別情報として取得し、この判別情報に応じて、複数のレンズに応じたレンズ特性をそれぞれ前記判別情報に対応付けて記憶する記憶手段から受け取られるものであるのが好ましく、
さらに、可視像として再現したプリントとするために、前記補正が行われた画像データを出力するのが好ましい。
【００１１】
また、本発明の画像処理装置は、光学的に撮影された画像から得られた画像データに所定の画像処理を施し、出力用の画像データとする画像処理装置であって、
前記画像を撮影した撮影レンズの判別情報を取得する取得手段、撮影レンズ種に応じたレンズ特性を記憶する記憶手段、および前記取得手段が取得した判別情報に応じて、前記記憶手段から対応する撮影レンズのレンズ特性を受け取り、画像の位置情報とレンズ特性とから、画像の倍率色収差および歪曲収差の少なくとも一つを補正した画像位置を算出し、前記倍率色収差および歪曲収差の少なくとも一つを補正した画像位置を用いて電子変倍処理を行うことにより、前記倍率色収差および歪曲収差の少なくとも一つの補正のための補間演算処理と前記電子変倍処理のための補間演算処理とを一回の補間演算処理で行う補正手段を有することを特徴とする画像処理装置を提供する。
【００１２】
ここで、前記補正手段は、前記倍率色収差および歪曲収差の少なくとも一つに加え、さらに、前記画像の周辺光量および画像ボケの少なくとも一つを補正するのが好ましく、
また、前記画像の位置情報は、撮影時のレンズの光軸を基準とするものであるのが好ましく、
また、複数の撮影レンズ種に対応する補正式を有し、前記記憶手段は、前記レンズ特性として、この補正式の補正係数を記憶するのが好ましく、
また、前記補正手段が、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量から、前記３原色の各色の画像の倍率色収差を補正した画像位置を算出して前記画像の倍率色収差を補正する、
あるいは、前記歪曲収差に起因する画像のずれ量から、前記各色の画像の歪曲収差を補正した画像位置を算出して前記画像の歪曲収差を補正する、
あるいは、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量と、前記歪曲収差に起因する前記基準となる色の画像のずれ量とから、前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を算出して、前記画像の倍率色収差および歪曲収差を補正するのが好ましく、
また、前記補正手段が、前記３原色の各色の画像の倍率色収差を補正した画像位置、もしくは前記各色の画像の歪曲収差を補正した画像位置、もしくは前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を用いて、前記電子変倍処理を行うことにより、前記倍率色収差の補正と電子変倍処理、あるいは前記歪曲収差の補正と電子変倍処理、あるいは前記倍率色収差および歪曲収差の補正と電子変倍処理のための各補間演算処理を一回の補間演算処理で行うのが好ましく、
また、前記取得手段は、フィルムに光学的もしくは磁気的に記録されているレンズに関する情報、および／または、フィルムカートリッジに電気的に記録されているレンズに関する情報を、判別情報として取得するのが好ましく、
さらに、画像処理を施した出力用の画像データを可視像として再現したプリントを出力する装置に接続されるのが好ましい。
【００１３】
【発明の実施の形態】
以下、本発明の画像処理方法および画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【００１４】
図１に、本発明の画像処理方法を実施する本発明の画像処理装置を利用するデジタルフォトプリンタの一例のブロック図が示される。
図１に示されるデジタルフォトプリンタ（以下、フォトプリンタ１０とする）は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上り）プリントとして出力するプリンタ１６とを有して構成される。
また、画像処理装置１４には、様々な条件の入力（設定）、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示するディスプレイ２０が接続される。
【００１５】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、画像をＲ（赤）、Ｇ（緑）およびＢ（青）の三原色に分解するためのＲ、ＧおよびＢの３枚の色フィルタを有し、回転して任意の色フィルタを光路に作用する色フィルタ板２６と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、フィルムの１コマの画像を読み取るエリアセンサであるＣＣＤセンサ３４と、アンプ（増幅器）３６とを有して構成される。
【００１６】
なお、図示例のフォトプリンタ１０においては、新写真システム（Ａｄｖａｎｃｅｄ Ｐｈｏｔｏ Ｓｙｓｔｅｍ）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態、トリミング等の処理の種類等に応じて、スキャナ１２の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送、保持される。
また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジＩＤやフィルム種等が記録されており、また、撮影時や現像時等に、撮影日時、撮影に使用したカメラ、現像機の種類等の各種のデータが記録可能である。新写真システムのフィルム（カートリッジ）に対応するキャリアには、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、前記各種の情報が画像処理装置１４に送られる。
【００１７】
このようなスキャナ１２においては、光源２２から射出され、可変絞り２４によって光量調整され、色フィルタ板２６を通過して色調整され、拡散ボックス２８で拡散された読取光が、キャリアによって所定の読取位置に保持されたフィルムＦの１コマに入射して、透過することにより、フィルムＦに撮影されたこのコマの画像を担持する投影光を得る。
フィルムＦの投影光は、結像レンズユニット３２によってＣＣＤセンサ３４の受光面に結像され、ＣＣＤセンサ３４によって光電的に読み取られ、その出力信号がアンプ３６で増幅されて、画像処理装置１４に送られる。ＣＣＤセンサ３４は、例えば、１３８０×９２０画素のエリアＣＣＤセンサである。
【００１８】
スキャナ１２においては、このような画像読取を、色フィルタ板２６の各色フィルタを順次挿入して３回行うことにより、１コマの画像をＲ，ＧおよびＢの３原色に分解して読み取る。
ここで、フォトプリンタ１０においては、プリントを出力するための画像読み取り（本スキャン）に先立ち、画像処理条件等を決定するために、画像を低解像度で読み取るプレスキャンを行う。従って、１コマで、合計６回の画像読み取りが行われる。
【００１９】
スキャナ１２は、エリアＣＣＤセンサを用い、色フィルタ板２６によって投影光を３原色に分解して画像を読み取っているが、本発明に利用されるスキャナとしては、３原色のそれぞれの読み取りに対応する３種のラインＣＣＤセンサを用い、フィルムＦをキャリアで走査搬送しつつ画像を読み取るスリット走査によって画像読み取りを行うものであってもよい。
【００２０】
図示例のフォトプリンタ１０は、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ１２を画像処理装置１４の画像データ供給源としているが、画像処理装置１４に画像データを供給する画像データ供給源としては、スキャナ１２以外にも、反射原稿の画像を読み取る画像読取装置、デジタルカメラやデジタルビデオカメラ等の撮像デバイス、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やコンピュータ通信ネットワーク等の通信手段、メモリカードやＭＯ（光磁気記録媒体）等のメディア（記録媒体）等の、各種の画像読取手段や撮像手段、画像データの記憶手段等が各種使用可能である。すなわち、本発明は、デジタルカメラ等の撮像デバイスで光学的に撮影された画像（画像データ）にも好適に利用可能である。
【００２１】
前述のように、スキャナ１２からの出力信号（画像データ）は、画像処理装置１４に出力される。
図２に画像処理装置（以下、処理装置１４とする）のブロック図を示す。処理装置１４は、データ処理部３８、プレスキャン（フレーム）メモリ４０、本スキャン（フレーム）メモリ４２、プレスキャン画像処理部４４、本スキャン画像処理部４６、および条件設定部４８を有して構成される。
なお、図２は、主に画像処理関連の部位を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ、本スキャンの際の可変絞り２４の絞り値やＣＣＤセンサ３４の蓄積時間を決定する手段等が配置され、また、操作系１８やディスプレイ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部位に接続される。
【００２２】
スキャナ１２から出力されたＲ，ＧおよびＢの各出力信号は、Ａ／Ｄ（アナログ／デジタル）変換、Ｌｏｇ変換、ＤＣオフセット補正、暗時補正、シェーディング補正等を行うデータ処理部３８で処理されてデジタルの画像データとされ、プレスキャン（画像）データはプレスキャンメモリ４０に、本スキャン（画像）データは本スキャンメモリ４２に、それぞれ記憶（格納）される。
なお、プレスキャンデータと本スキャンデータは、解像度（画素密度）と信号レベルが異なる以外は、基本的に同じデータである。
【００２３】
プレスキャンメモリ４０に記憶されたプレスキャンデータはプレスキャン画像処理部４４において、本スキャンメモリ４２に記憶された本スキャンデータは本スキャン画像処理部４６において、それぞれ処理される。
プレスキャン画像処理部４４は、画像処理部５０および画像データ変換部５２を有して構成される。他方、本スキャン画像処理部４６は、画像処理部５４および画像データ変換部５８を有して構成される。
【００２４】
プレスキャン画像処理部４４の画像処理部５０（以下、処理部５０とする）と、本スキャン画像処理部４６の画像処理部５４（以下、処理部５４とする）は、共に、後述する条件設定部４８が設定した画像処理条件に応じて、スキャナ１２によって読み取られた画像（画像データ）に所定の画像処理を施す部位である。両者は、処理する画像データの画素密度が異なり、また、プレスキャン画像処理部４４の処理部５０が収差補正部を有さない以外は、基本的に、同様の処理を行う。
処理部５０および処理部５４における画像処理としては、色バランス調整、コントラスト補正（階調処理）、明るさ補正、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、彩度補正、シャープネス（鮮鋭化）処理等が例示される。これらは、演算、ＬＵＴ（ルックアップテーブル）による処理、マトリクス（ＭＴＸ）演算、フィルタによる処理等を適宜組み合わせた、公知の方法で行われるものであり、図示例においては、色バランス調整、明るさ補正およびコントラスト補正がＬＵＴで行われ、彩度補正がＭＴＸで行われる。また、これ以外のシャープネス処理や覆い焼き処理等は、オペレータによる指示や画像データ等に応じて、ブロック５０Ａおよびブロック５４Ａで行われる。
【００２５】
ここで、本スキャンデータを処理する処理部５４のＭＴＸとブロック５４Ａとの間には、倍率色収差および歪曲収差の補正、ならびに電子変倍処理を行う、収差補正部５６が配置される。また、収差補正部５６には、レンズ特性データ供給部６０が接続される。
本発明にかかる処理装置１４においては、必要に応じて、この収差補正部５６において、レンズ特性および画像の位置情報を用いて、画像処理によってフィルムＦに撮影された画像の倍率色収差および歪曲収差を補正しており、これにより色ズレや歪のない、高画質な画像が再現されたプリントを安定して出力することを実現している。
【００２６】
なお、本発明においては、プレスキャン処理部４４の処理部５０にも収差補正部を配置し、ディスプレイ２０に表示する画像にも、倍率色収差や歪曲収差等の補正を行ってもよいのはもちろんである。
【００２７】
レンズ特性データ供給部６０（以下、特性データ供給部６０とする）は、フィルムＦを撮影したカメラを判別する判別情報を取得し、得られた判別情報に対応する撮影カメラに応じたレンズ特性を収差補正部５６に供給する部位である。
【００２８】
カメラ（すなわち撮影レンズ）を判別する判別情報、およびその取得手段には特に限定はなく、各種の方法が利用可能である。
例えば、フィルムＦが前述の新写真システムのレンズ付きフィルムである場合には、フィルムＦに記録された磁気情報をスキャナ１２のキャリアで読み取り、磁気記録されたカートリッジＩＤやフィルム種等を利用してレンズ付きフィルムの機種すなわちカメラを判別してもよく、フィルムに光学的に記録されている拡張ＤＸコードの「ＳＳＵ ＩＮＤＩＣＡＴＯＲ」をキャリアで光学的に読み取り、これを利用してもよい。また、新写真システムに対応するカメラには、フィルムＦにカメラの機種を磁気記録する機能を有する機種もあるので、これを利用してフィルムＦを撮影したカメラを判別してもよい。
また、受け付け時に、レンズ付きフィルムの機種や、あるいは撮影カメラの機種を顧客から聞いて、メモ、パッケージ、パトローネ、カートリッジ等に記録しておき、プリント作成時にオペレータがこれを見てキーボード１８ａでカメラの機種を入力してもよく、カメラの機種に代えてファンクションキー等とカメラとの対応を決定しておき、これを用いて入力してもよい。
さらに、撮影時にフィルムにカメラの機種を光学的に焼き付け、これを読み取ってカメラの機種を判別してもよい。レンズ付きフィルムであれば、製造時等にレンズ付きフィルムの機種をＤＸコード等のように光学的に焼付けておき、あるいは磁気記録しておき、これらを用いて機種を判別してもよい。
また、ＩＣメモリ付きのフィルムカートリッジであれば、このＩＣメモリにカメラの機種等を電気的に記録しておき、これを用いて機種を判別してもよい。
【００２９】
特性データ供給部６０はメモリを有し、このメモリには、各種のカメラの機種に応じたレンズ特性の情報、具体的には、各種のレンズの倍率色収差および歪曲収差の特性の情報が記憶されている。
特性データ供給部６０は、取得したカメラの判別情報から、それに応じたレンズ特性の情報をメモリから読み出し、これを収差補正部５６に供給する。なお、レンズ特性は特性データ供給部６０が有するメモリに記憶されるのに限定はされず、例えば、プリンタ１０に接続されるデータベースに記憶しておき、此所にアクセスして読み出してもよく、あるいは、フィルムＦの読み取り時にフィルムに対応するレンズの情報として外部から入力されてもよい。
【００３０】
レンズ特性としては、特に限定はないが、倍率色収差や歪曲収差を行うための各レンズ種に対応する補正関数や補正係数であってもよい。あるいは、複数のレンズ種、好ましくは、プリンタ１０で処理する主たるレンズ種に対応する、倍率色収差や歪曲収差補正を行うための基本的な補正関数（補正式）を記憶しておき、この補正式にかかる補正関数や補正係数を各レンズに対応するレンズ特性として記憶してもよい。
また、一般的に、レンズの倍率色収差の特性や歪曲収差の特性は、レンズの光軸すなわちフィルムＦに撮影された画像の中心からの距離（例えば、ｘ−ｙで示される）をパラメータとする３次関数である程度まで近似することができるので、倍率色収差や歪曲収差の補正が必要な各種のカメラに対応して、それに応じた倍率色収差の特性を示す関数および歪曲収差の特性を示す関数を、レンズ特性として記憶してもよい。なお、この関数を、４次、５次…とより高次にすることにより、それに従って、より高精度な補正を行うことができるが、ハードウェアにかかる負担が大きくなり、また、処理時間も増大するので、要求される補正精度やフォトプリンタに要求される処理能力等に応じて決定すればよい。
【００３１】
収差補正部５６は、特性データ供給部６０から供給されたフィルムＦの撮影レンズ特性と、画像データ（画素）の位置の情報、例えば、画像の中心（撮影レンズの光軸の中心）からの座標位置（中心の画素から何画素目か）とを用いて、倍率色収差および歪曲収差の補正、ならびに電子変倍処理を行う。なお、この際において、マスク等によって切り出された画像の中心が、ほぼ撮影時のレンズの光軸の中心と考えられる場合には、切り出された画像の中心の画素をレンズの光軸の中心として、各種の収差（歪曲収差、倍率色収差、周辺光量低下、画像ボケ）を補正してもよい。
【００３２】
この場合の座標は、ｘ−ｙ座標でも極座標でもよい。また、画像データの位置の情報は画像の中心を基準とするのに限定はされず、各種のものが利用可能であり、例えば、画像の角部（左上角等）や、ある画素（例えば画素番号１番の画素）等を基準としてもよく、さらに画像の外部、例えばフィルムＦのパーフォレーション等を基準としてもよい。すなわち、本発明では画像（画素）の位置が相対的に検出できれば、各種の位置情報が利用可能である。
【００３３】
ここで、レンズ特性と画像の位置情報（以下、画素位置とする）とを用いた倍率色収差および歪曲収差の補正を別々に行うと、演算に時間がかかり、また、補間演算も複数回行う必要が生じるため、画質が劣化するという問題がある。
そのため、本発明においては、好ましくは、Ｒ、ＧおよびＢの３原色の基準となる色、通常はＧを基準として、ＲおよびＢの像倍率を変換して、ＲおよびＢの画像をＧ画像に合わせることで倍率色収差を補正し、その後、Ｇ画像に対応して歪曲収差を補正する。これにより、収差を補正した各画素の適正位置を算出し、これを用いて、各画素の画像データを補間演算することによって、フィルムに撮影された画像の倍率色収差および歪曲収差を補正した画像データを得ることができる。
従って、歪曲収差についてはＧ画像に対する演算のみを行えばよいので、演算量や補間演算を減らして、より好適な倍率色収差および歪曲収差の補正を行うことができる。
【００３４】
また、画像処理装置では、通常、画像データ処理による画像の拡大もしくは縮小、すなわち、画像の電子変倍を行って、画像（画像データ）を出力画像に応じたサイズにして出力する。この電子変倍処理は、通常、画像データを補間演算することにより行われる。
ところが、前記倍率色収差および歪曲収差の補正でも補間演算が行われているため、結果的に、２回の補間が行われる結果となり、画質が劣化してしまう場合もある。
【００３５】
そのため、本発明においては、より好ましくは、前記レンズ特性と画像データの画素位置とを用いて、倍率色収差に起因する基準色（Ｇ）に対するＲおよびＢの画素位置のずれ量と、歪曲収差に起因する基準色の画素位置のずれ量とから、各画素毎の適正位置を算出し、算出された各画素の適正位置の情報を用いて、画像データを補間して画像の電子変倍処理を行う。言い換えれば、倍率色収差および歪曲収差による画素位置のずれ量を算出することにより、各画素が本来どの位置にあるべきであるかを知見し、この適正な位置に応じて画像データの補間演算を行って電子変倍処理を行う。
これにより、１回の補間演算で、倍率色収差および歪曲収差の補正と、電子変倍処理を行うことができる。
【００３６】
図示例の収差補正部５６は、上記方法を用いて、倍率色収差および歪曲収差の補正と、電子変倍処理とを行う部位であり、図３の概念図に示されるように、座標変換処理部５６Ａと、拡大縮小処理部５６Ｂとを有して構成される。
なお、図３において、ｉｒ，ｉｇおよびｉｂは、それぞれＭＴＸから供給された画像データ（入力画像データ）の画素位置（アドレス）を；
Ｉｒ，ＩｇおよびＩｂは、倍率色収差および歪曲収差を補正された画像データの画素位置を；
ΔｒおよびΔｂは、それぞれ倍率色収差によるＧの画素位置に対するＲおよびＢの画素位置のずれ量（すなわち補正量）を；
Ｄは、歪曲収差によるＧの画素位置のずれ量を； それぞれ示す。
【００３７】
収差補正部５６においては、ＭＴＸから画像データが供給されると、座標変換処理部５６Ａにおいて、特性データ供給部６０から供給されたレンズ特性を用いて、ＲおよびＢの画像データの各画素位置ｉｒおよびｉｂにおける、Ｇの画像データｉｇに対する倍率色収差によるずれ量ΔｒおよびΔｂを算出し、さらに、Ｇの入力画像データｉｇの歪曲収差によるずれ量Ｄを算出する。
【００３８】
次いで、図３に示されるように、Ｒの入力画像データの各画素位置ｉｒに前記ΔｒとＤを加えて、倍率色収差および歪曲収差を補正されたＲの画像データの画素位置Ｉｒを算出し、Ｂの入力画像データの各画素位置ｉｂに前記ΔｂとＤを加えて、倍率色収差および歪曲収差を補正されたＢの画像データの画素位置Ｉｂを算出し、Ｇの入力画像データの各画素位置ｉｇに前記Ｄを加えて、歪曲収差を補正されたＧの画像データの画素位置Ｉｇを算出する。すなわち、この計算では、Ｇ画像を基準として、Ｒ画像およびＢ画像の倍率色収差を補正して、全画像をＧ画像に位置合わせして、Ｇ画像の歪曲収差によるずれ量Ｄを用いて、全体の歪曲収差を補正して、Ｒ，ＧおよびＢの各画像の倍率色収差および歪曲収差を補正された画素位置を算出している。
【００３９】
次いで、拡大縮小処理部５６Ｂにおいて、この倍率色収差および歪曲収差を補正された画素位置Ｉｒ，ＩｇおよびＩｂを用いて、拡大／縮小倍率に応じた画像データの補間処理（Ｎ倍補間）を行うことにより画像の変倍を行い、倍率色収差および歪曲収差を補正され、かつ電子変倍処理を行われた画像データとして、ブロック５４Ａに出力する。
電子変倍処理の方法には特に限定はなく、公知の方法が各種利用可能であり、例えば、バイリニア補間を用いる方法、スプライン補間を用いる方法等が例示される。
【００４０】
なお、特性データ供給部６０がカメラの判別情報を取得しなかった場合、および特性データ供給部６０が取得したカメラの判別情報に対応するレンズ特性が無かった場合、さらに、倍率色収差および歪曲収差補正のキャンセルが指示された場合には、収差補正部５６は、拡大縮小処理部５６Ｂにおける電子変倍処理のみを行って画像データをブロック５４Ａに供給する。
【００４１】
図示例の装置においては、好ましい態様として、収差補正部５６において歪曲収差および倍率色収差の両者を補正しているが、本発明はこれに限定はされず、レンズ特性として倍率色収差もしくは歪曲収差のいずれか一方の特性のみを記憶しておき、これと画素位置とを用いて、いずれか一方の収差のみを補正してもよい。
この場合は、例えば、倍率色収差もしくは歪曲収差に起因するズレ量を補正した適正位置を算出し、これを用いて対応する収差を補正した後に、公知の方法で電子変倍処理を行ってもよいが、好ましくは、前述の方法と同様に、倍率色収差もしくは歪曲収差に起因するズレ量を補正した適正位置を算出し、この適正位置の情報を用いて画像データの補間を行って電子変倍処理を行い、収差の補正と電子変倍とを行うのが好ましい。これにより、同様に、補間演算を減らし、補間に起因する画質の劣化を低減することができる。
【００４２】
さらに、本発明においては、歪曲収差および／または倍率色収差のみならず、レンズに起因するピントボケ（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）や、周辺光量低下等の収差を補正するためのレンズ特性も記憶しておき、歪曲収差および／または倍率色収差に加え、あるいは、これに変えて、ピントボケおよび／または周辺光量低下を補正してもよい。
【００４３】
処理部５０および５４で処理された画像データは、画像データ変換部５２および５８に送られる。
プレスキャン画像処理部４４の画像データ変換部５２は、処理部５０によって処理された画像データを、３Ｄ（三次元）−ＬＵＴ等を用いて変換して、ディスプレイ２０による表示に対応する画像データにする。他方、本スキャン画像処理部４６の画像データ変換部５８は、同様に、処理部５４によって処理された画像データを３Ｄ−ＬＵＴを用いて変換し、プリンタ１６による画像記録に対応する画像データとしてプリンタ１６に供給する部位である。
【００４４】
なお、本発明においては、画像処理を施した画像データを、プリンタ１６以外にも、フロッピーディスクやＭＯ等の記録媒体、コンピュータ、通信ネットワーク等に出力することも可能である。
また、プレスキャン画像処理部４４にも収差補正部を設け、収差補正を施した画像をディスプレイ２０に表示してもよいのは前述のとおりであり、あるいは、本スキャン画像処理部４６で処理した収差補正を施した画像データを、必要に応じて間引いてディスプレイ２０あるいは他の表示手段に表示してもよい。
【００４５】
プレスキャン画像処理部４４および本スキャン画像処理部４６による各種の処理条件は、条件設定部４８によって設定される。
この条件設定部４８は、画像処理条件設定部７２、キー補正部７４およびパラメータ統合部７６を有して構成される。
【００４６】
画像処理条件設定部７２（以下、設定部７２とする）は、施す画像処理を選択すると共に、プレスキャンデータを用いて、処理部５０および６０における画像処理条件を設定し、パラメータ統合部７６に供給する。
具体的には、設定部７２は、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出等を行い、加えて、必要に応じて行われる操作系１８を用いたオペレータによる指示に応じて、前述のグレイバランス調整、明るさ補正、およびコントラスト補正のテーブル（ＬＵＴ）の作成、彩度補正を行うマトリクス演算の作成等の画像処理条件を決定する。
【００４７】
キー補正部７４は、キーボード１８ａに設定された明るさ、色、コントラスト、シャープネス、彩度調等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量（例えば、ＬＵＴの補正量等）を算出し、パラメータ統合部７６に供給するものである。
パラメータ統合部７６は、設定部７２が設定した画像処理条件を受け取り、供給された画像処理条件をプレスキャン画像処理部４４の処理部５０および本スキャン画像処理部４６の処理部５４に設定し、さらに、キー補正部７４で算出された調整量に応じて、各部位に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００４８】
以下、処理装置１４の作用を説明する。
前述のように、プレスキャンメモリ４０にプレスキャンデータが記憶されると、設定部７２がこれを読み出し、濃度ヒストグラムの作成や画像特徴量の算出等を行い、これを用いて、画像処理条件を設定（ＬＵＴやＭＴＸの作成）してパラメータ統合部７６に送る。
これと平行して、可変絞り２４の絞り値決定等の本スキャンの読取条件が設定されてスキャナ１２が調整され、次いで、スキャナ１２では本スキャンが行われ、本スキャンデータが、順次、本スキャンメモリ４２に転送・記憶される。
【００４９】
また、処理装置１４には、キーボード１８ａやマウス１８ｂによって入力された各種の指示や情報、スキャナ１２（キャリア）で読み取られたフィルムＦの磁気情報が送られており、前述のようにしてカメラの判別情報が入力された場合には、これが特性データ供給部６０に送られる。
【００５０】
画像処理条件を受け取ったパラメータ統合部７６は、これを、プレスキャン画像処理部４４の処理部５０、および本スキャン画像処理部４６の処理部５４の所定部位（ハードウエア）に設定する。
次いで、プレスキャンメモリ４０からプレスキャンデータが読み出され、処理部５０において設定された画像処理条件で処理されて、画像データ変換部５２で変換されて、所定の処理を施されたプレスキャン画像が、ディスプレイ２０に表示される。この際、ディスプレイ２０に表示する画像にも、先と同様にして倍率色収差や歪曲収差の補正を行ってもよい。
【００５１】
オペレータは、ディスプレイ２０の表示を見て、画像すなわち処理結果の確認（検定）を行い、必要に応じて、キーボード１８ａに設定された前記各キー等を用いて色／濃度、階調等を調整する。
この調整の入力は、キー補正部７４に送られ、キー補正部７４は調整入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部７６に送る。パラメータ統合部７６は、送られた補正量に応じて、前述のように、処理部５０および処理部５４のＬＵＴやＭＴＸを補正し、この補正すなわちオペレータによる調整入力に応じて、ディスプレイ２０に表示される画像も変化する。
【００５２】
オペレータは、ディスプレイ２０に表示される画像が適正である判定（検定ＯＫ）すると、キーボード１８ａ等を用いてプリント開始を指示する。これにより、画像処理条件が確定し、本スキャンメモリ４２から本スキャンデータが読み出され、本スキャン画像処理部４６の処理部５４に送られる。
【００５３】
処理部５４において、画像データは、ＬＵＴおよびＭＴＸで処理された後、収差補正部５６に送られる。一方、特性データ供給部６０は、取得したカメラの判別情報から、対応するレンズ特性を読み出し、これを収差補正部５６に送る。
収差補正部５６は、レンズ特性と画像データの画素位置とから、前述のようにして、座標変換処理部５６Ａにおいて、倍率色収差および歪曲収差を補正した画素位置Ｉｒ，ＩｇおよびＩｂを算出して、これを拡大縮小処理部５６Ｂに送り、拡大縮小処理部５６Ｂでは、この画素位置Ｉｒ，ＩｇおよびＩｂを用いて、拡大／縮小率に応じた画像データのＮ倍補間を行って画像の電子変倍を行い、倍率色収差および歪曲収差の補正、ならびに電子変倍処理を施された画像データとしてブロック５４Ａに出力する。
なお、座標変換処理部５６Ａでの画素位置Ｉｒ，ＩｇおよびＩｂの算出は、画像データの供給に先立ち、特性データ供給部６０からレンズ特性の情報を受けた時点で行ってもよい。
【００５４】
画像データは、さらに、ブロック５４Ａにおいてシャープネス処理や覆い焼き処理等の必要な画像処理を施され、画像データ変換部５８に送られ、画像データ変換部５８においてプリンタ１６による画像記録に応じた画像データに変換され、プリンタ１６に送られる。
なお、検定を行わない場合には、パラメータ統合部７６による本スキャン画像処理部４６の処理部５４への画像処理条件の設定を終了した時点で画像処理条件が確定し、自動的に本スキャンデータの処理を行って、プリンタ１６に送る。
これらは、作業モード等で選択できるようにするのが好ましい。
【００５５】
前述のように、処理装置１４で処理された画像データは、プリンタ１６に送られる。
プリンタ１６は、感光材料（印画紙）を画像データに応じて露光して潜像を記録し、感光材料に応じた現像処理を施して（仕上り）プリントとして出力するものである。例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントの記録、感光材料（印画紙）の分光感度特性に応じた、赤（Ｒ）露光、緑（Ｇ）露光および青（Ｂ）露光Ｇの３種の光ビームを画像データ（記録画像）に応じて変調すると共に、主走査方向に偏向し、主走査方向と直交する副走査方向に感光材料を搬送することによる潜像の記録等を行い、潜像を記録した感光材料に、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとした後に、仕分けして集積する。
【００５６】
以上、本発明の画像処理方法および画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００５７】
【発明の効果】
以上、詳細に説明したように、本発明によれば、レンズ付きフィルム、安価なコンパクトカメラやデジタルカメラ等で撮影された画像であっても、画像処理によって撮影画像の倍率色収差や歪曲収差等を補正することができるので、色ずれや歪等のない高画質な画像を安定して出力することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置を利用するデジタルフォトプリンタの一例のブロック図である。
【図２】図１に示されるデジタルフォトプリンタの画像処理装置の一例のブロック図である。
【図３】図２に示される画像処理装置の収差補正部の概念図である。
【符号の説明】
１０ （デジタル）フォトプリンタ
１２ スキャナ
１４ （画像）処理装置
１６ プリンタ
１８ 操作系
１８ａ キーボード
１８ｂ マウス
２０ ディスプレイ
２２ 光源
２４ 可変絞り
２６ 色フィルタ板
２８ 拡散ボックス
３２ 結像レンズユニット
３４ ＣＣＤセンサ
３６ アンプ
３８ データ処理部
４０ プレスキャン（フレーム）メモリ
４２ 本スキャン（フレーム）メモリ
４４ プレスキャン画像処理部
４６ 本スキャン画像処理部
４８ 条件設定部
５０，５４ （画像）処理部
５２，５８ 画像データ変換部
５６ 収差補正部
５６Ａ 座標変換処理部
５６Ｂ 拡大縮小処理部
６０ （レンズ）特性データ供給部
７２ （画像処理条件）設定部
７４ キー補正部
７６ パラメータ統合部
Claims (15)
- 光学的に撮影された画像から画像データを得、前記画像データを可視像として再現する際における、前記光学的に撮影された画像の倍率色収差、歪曲収差、周辺光量、および画像ボケの少なくとも一つを補正する画像処理方法であって、
前記画像を撮影したレンズの特性と、前記画像の位置情報とから、前記倍率色収差および歪曲収差の少なくとも一つを補正した画像位置を算出し、
前記倍率色収差および歪曲収差の少なくとも一つが補正された前記画像位置を用いて電子変倍処理を行うことにより、前記倍率色収差および歪曲収差の少なくとも一つの補正のための補間演算処理と前記電子変倍処理のための補間演算処理とを一回の補間演算処理で行うことを特徴とする画像処理方法。 - 前記画像の位置情報は、撮影時のレンズの光軸を基準とするものである請求項１に記載の画像処理方法。
- 前記レンズの特性は、複数のレンズに対応する補正式および前記複数のレンズの各々に対応する、前記補正式の補正係数を含み、
前記補正は、前記補正式と、前記画像を撮影したレンズに応じた前記補正式の補正係数と、前記画像の位置情報とから行われるものである請求項１または２に記載の画像処理方法。 - 前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量から、前記３原色の各色の画像の倍率色収差を補正した画像位置を算出して前記画像の倍率色収差を補正し、
あるいは、前記歪曲収差に起因する画像のずれ量から、前記各色の画像の歪曲収差を補正した画像位置を算出して前記画像の歪曲収差を補正し、
あるいは、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量と、前記歪曲収差に起因する前記基準となる色の画像のずれ量とから、前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を算出して、前記画像の倍率色収差および歪曲収差を補正するものである請求項１〜３のいずれかに記載の画像処理方法。 - 前記３原色の各色の画像の倍率色収差を補正した画像位置、もしくは前記各色の画像の歪曲収差を補正した画像位置、もしくは前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を用いて、前記電子変倍処理を行うことにより、前記倍率色収差の補正と電子変倍処理、あるいは前記歪曲収差の補正と電子変倍処理、あるいは前記倍率色収差および歪曲収差の補正と電子変倍処理のための各補間演算処理を一回の補間演算処理で行う請求項４に記載の画像処理方法。
- 前記画像を撮影したレンズの特性は、フィルムに光学的もしくは磁気的に記録されているレンズに関する情報、および／または、フィルムカートリッジに電気的に記録されているレンズに関する情報を、前記画像を撮影したレンズの判別情報として取得し、この判別情報に応じて、複数のレンズに応じたレンズ特性をそれぞれ前記判別情報に対応付けて記憶する記憶手段から受け取られるものである請求項１〜５のいずれかに記載の画像処理方法。
- 可視像として再現したプリントとするために、前記補正が行われた画像データを出力する請求項１〜６のいずれかに記載の画像処理方法。
- 光学的に撮影された画像から得られた画像データに所定の画像処理を施し、出力用の画像データとする画像処理装置であって、
前記画像を撮影した撮影レンズの判別情報を取得する取得手段、撮影レンズ種に応じたレンズ特性を記憶する記憶手段、および前記取得手段が取得した判別情報に応じて、前記記憶手段から対応する撮影レンズのレンズ特性を受け取り、画像の位置情報とレンズ特性とから、画像の倍率色収差および歪曲収差の少なくとも一つを補正した画像位置を算出し、前記倍率色収差および歪曲収差の少なくとも一つを補正した画像位置を用いて電子変倍処理を行うことにより、前記倍率色収差および歪曲収差の少なくとも一つの補正のための補間演算処理と前記電子変倍処理のための補間演算処理とを一回の補間演算処理で行う補正手段を有することを特徴とする画像処理装置。 - 前記補正手段は、前記倍率色収差および歪曲収差の少なくとも一つに加え、さらに、前記画像の周辺光量および画像ボケの少なくとも一つを補正する請求項８に記載の画像処理装置。
- 前記画像の位置情報は、撮影時のレンズの光軸を基準とするものである請求項８または９に記載の画像処理装置。
- 複数の撮影レンズ種に対応する補正式を有し、前記記憶手段は、前記レンズ特性として、この補正式の補正係数を記憶する請求項８〜１０のいずれかに記載の画像処理装置。
- 前記補正手段が、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量から、前記３原色の各色の画像の倍率色収差を補正した画像位置を算出して前記画像の倍率色収差を補正する、
あるいは、前記歪曲収差に起因する画像のずれ量から、前記各色の画像の歪曲収差を補正した画像位置を算出して前記画像の歪曲収差を補正する、
あるいは、前記倍率色収差に起因する３原色の基準となる色に対する他の色の画像のずれ量と、前記歪曲収差に起因する前記基準となる色の画像のずれ量とから、前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を算出して、前記画像の倍率色収差および歪曲収差を補正する、請求項８〜１１のいずれかに記載の画像処理装置。 - 前記補正手段が、前記３原色の各色の画像の倍率色収差を補正した画像位置、もしくは前記各色の画像の歪曲収差を補正した画像位置、もしくは前記各色の画像の倍率色収差および歪曲収差を補正した画像位置を用いて、前記電子変倍処理を行うことにより、前記倍率色収差の補正と電子変倍処理、あるいは前記歪曲収差の補正と電子変倍処理、あるいは前記倍率色収差および歪曲収差の補正と電子変倍処理のための各補間演算処理を一回の補間演算処理で行う請求項１２に記載の画像処理装置。
- 前記取得手段は、フィルムに光学的もしくは磁気的に記録されているレンズに関する情報、および／または、フィルムカートリッジに電気的に記録されているレンズに関する情報を、判別情報として取得する請求項８〜１３のいずれかに記載の画像処理装置。
- 画像処理を施した出力用の画像データを可視像として再現したプリントを出力する装置に接続される請求項８〜１４のいずれかに記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30187098A JP3549413B2 (ja) | 1997-12-04 | 1998-10-23 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-333943 | 1997-12-04 | ||
| JP33394397 | 1997-12-04 | ||
| JP30187098A JP3549413B2 (ja) | 1997-12-04 | 1998-10-23 | 画像処理方法および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11225270A JPH11225270A (ja) | 1999-08-17 |
| JP3549413B2 true JP3549413B2 (ja) | 2004-08-04 |
Family
ID=26562906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30187098A Expired - Fee Related JP3549413B2 (ja) | 1997-12-04 | 1998-10-23 | 画像処理方法および画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3549413B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8089535B2 (en) | 2007-02-07 | 2012-01-03 | Nikon Corporation | Image processing device and image processing method |
| US8106973B2 (en) | 2008-03-10 | 2012-01-31 | Ricoh Company, Ltd. | Image processing method, image processing device, and image capturing device |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7433089B2 (en) | 2001-09-27 | 2008-10-07 | Fujifilm Corporation | Image processor |
| JP4378994B2 (ja) * | 2003-04-30 | 2009-12-09 | ソニー株式会社 | 画像処理装置、画像処理方法ならびに撮像装置 |
| JP2007304525A (ja) * | 2006-05-15 | 2007-11-22 | Ricoh Co Ltd | 画像入力装置および電子機器および画像入力方法 |
| JP2009020894A (ja) * | 2008-08-04 | 2009-01-29 | Olympus Corp | 画像処理装置 |
| JP2012134951A (ja) | 2010-11-30 | 2012-07-12 | Canon Inc | 撮像装置及びその制御方法 |
| CN115136579B (zh) * | 2020-02-27 | 2023-08-04 | 株式会社富士 | 图像校正方法、拍摄装置及检查装置 |
-
1998
- 1998-10-23 JP JP30187098A patent/JP3549413B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8089535B2 (en) | 2007-02-07 | 2012-01-03 | Nikon Corporation | Image processing device and image processing method |
| US8106973B2 (en) | 2008-03-10 | 2012-01-31 | Ricoh Company, Ltd. | Image processing method, image processing device, and image capturing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11225270A (ja) | 1999-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3766308B2 (ja) | カメラおよび画像形成システム | |
| US6646760B1 (en) | Image processing method and apparatus | |
| US6507704B2 (en) | Pseudo-zoom camera and image processing system using the pseudo-zoom camera | |
| JPH11261797A (ja) | 画像処理方法 | |
| US6324345B1 (en) | Photographic film with recorded information, method of acquiring the information recorded on photographic film, image processing method using the acquired information, and print system using the same | |
| JP3998369B2 (ja) | 画像処理方法および画像処理装置 | |
| US6584287B2 (en) | Camera and image forming system using the camera | |
| JP3451202B2 (ja) | 画像処理方法 | |
| JP3549413B2 (ja) | 画像処理方法および画像処理装置 | |
| JP3783817B2 (ja) | 画像処理方法および画像処理装置 | |
| US6639690B1 (en) | Print system | |
| JP3631370B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2001086332A (ja) | 画像処理装置 | |
| JP3808742B2 (ja) | 擬似ズームカメラ | |
| JPH1169277A (ja) | 画像処理方法および装置 | |
| JP3862198B2 (ja) | 証明写真撮影装置と画像処理装置及び証明写真作成システム | |
| JP3625370B2 (ja) | 画像処理方法および画像処理装置 | |
| JP4204673B2 (ja) | 画像処理方法および画像処理装置 | |
| JP3434716B2 (ja) | 画像処理方法および画像処理装置 | |
| JP3653661B2 (ja) | 画像処理装置 | |
| JPH11352601A (ja) | 画像処理方法および画像処理装置 | |
| JP2004120480A (ja) | 画像処理方法および画像処理装置 | |
| JP2000092309A (ja) | 画像処理方法および画像処理装置 | |
| JP3819194B2 (ja) | 画像処理装置 | |
| JP2000067209A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040204 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040420 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100430 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110430 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120430 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |