JP4063971B2

JP4063971B2 - Image processing method and apparatus

Info

Publication number: JP4063971B2
Application number: JP26130698A
Authority: JP
Inventors: 淳榎本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1998-09-16
Filing date: 1998-09-16
Publication date: 2008-03-19
Anticipated expiration: 2018-09-16
Also published as: JP2000090258A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および装置に係り、特に、画像データの補間により画像の拡縮を行う電子変倍処理を含む画像処理技術に関する。
【０００２】
【従来の技術】
従来、ネガフィルム、リバーサルフィルム等の写真フィルム原稿に撮影された画像の、印画紙等の感光材料への焼き付けは、フィルム原稿の画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光によって行われていた。
【０００３】
これに対し、近年では、デジタル露光を利用する焼き付けシステム、すなわち、フィルムに記録された画像情報を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像情報とし、この画像情報に応じて変調した記録光によって、感光材料を走査露光して画像（潜像）を記録し、現像してプリントとするデジタルプリントシステムが提案され、このシステムを具体的に実施するデジタルフォトプリンタの開発が進んでいる。
【０００４】
デジタルプリントシステムでは、複数画像の合成や画像の分割等の編集や文字と画像との編集等のプリント画像の編集レイアウトや、色／濃度調整、電子変倍、輪郭の鮮鋭度強調（シャープネス強調）等の各種の画像処理も自由に行うことができ、用途に応じて自由に編集および画像処理した仕上がりプリントを出力することができる。また、従来の直接露光によるプリントシステムでは、濃度分解能、空間分解能、色／濃度再現性等の点で、フィルム等に記録されている画像濃度情報をすべて再生することはできないが、デジタルフォトプリンタによれば、フィルムに記録されている画像濃度情報をほぼ１００％再生したプリントが出力可能である。
【０００５】
このとき、出力画像のサイズに応じて、画像を拡縮する必要がある。あるいは特にその画像の一部を拡大して再生する場合もある。このようなとき、電子変倍処理が行われる。電子変倍により画像を拡大する場合、通常は、補間により画像データを増やすようにしている。そのため、従来様々な補間方法が提案されている。
「画像解析ハンドブック」（東京大学出版会）には、各種の補間方法が記載されている。例えば、ニヤレストネイバー（Nearest Neighbor) 補間、バイリニヤ（bi-linear)補間、３次畳み込み（cubic convolution あるいはcubic sincともいう) 補間等である。
【０００６】
ニヤレストネイバー補間法とは、補間したい点に最も近いサンプル点の画像データを、求める画像データとするものである。すなわち、図８に示すように、補間点Ｐ（ｕ，ｖ）に対して、格子点Ｐ（ｉ，ｊ）に対する画像データをＰij、実数ｘの整数部分を［ｘ］（ガウス記号）で表すとき、ｒ＝［ｕ＋０．５］、ｓ＝［ｖ＋０．５］として、求める画像データＰを、Ｐ＝Ｐrsとする。いま、ｉ＝［ｕ］、ｊ＝［ｖ］とすると、図の場合、ｒ＝ｉ、ｓ＝ｊ＋１となる。
【０００７】
バイリニヤ補間法とは、補間したい点の周囲のサンプル点４点の画像データを用いて、双一次式により、求める画像データを算出するものである。すなわち、図９に示すように、補間点Ｐ（ｕ，ｖ）の周囲のサンプル点４点の画像データ、Ｐij、Ｐi+1,j 、Ｐi,j+1 、Ｐi+1,j+1 を用いて、次式により求める画像データＰを算出する。
Ｐ＝（１−ａ）・（１−ｂ）・Ｐij＋ａ・（１−ｂ）・Ｐi+1,j
＋（１−ａ）・ｂ・Ｐi,j+1 ＋ａ・ｂ・Ｐi+1,j+1
【０００８】
３次畳み込み補間法（cubic sinc) とは、補間したい点の周囲のサンプル点１６点の画像データを用いて、３次畳み込み関数により、求める画像データを算出するものである。すなわち、図１０に示すように、補間点の周囲のサンプル点１６点の画像データＰij（ｉ＝１〜４，ｊ＝１〜４）を用いて、次式により、求める画像データＰを算出する。
【数１】

ここで、ｘi(ｉ＝１〜４）およびｙi(ｉ＝１〜４）は、それぞれ次のように計算される。
ｘ１＝１＋（ｕ−［ｕ］）
ｘ２＝ｕ−［ｕ］
ｘ３＝１−（ｕ−［ｕ］）
ｘ４＝２−（ｕ−［ｕ］）
ｙ１＝１＋（ｖ−［ｖ］）
ｙ２＝ｖ−［ｖ］
ｙ３＝１−（ｖ−［ｖ］）
ｙ４＝２−（ｖ−［ｖ］）
また、ｆは次の式によって定義される関数ｆ(t）である。
【数２】

【０００９】
また、これら以外にも、３次スプライン（cubic spline) 補間や３次Ｂスプライン（cubic B-spline) 補間等が知られている。
３次スプライン補間も上記３次畳み込み補間（cubic sinc) と同様、補間点の周囲のサンプル点１６点の画像データを用いるものである。例えば、１次元方向において、４点Ｐk-1 、Ｐk 、Ｐk+1 、Ｐk+2 のうちＰk とＰk+1 の間に補間点Ｐ’があるとき、次の３次スプライン補間演算式によって、求める画像データＰ’が算出される。
Ｐ’＝ａk-1 ・Ｐk-1 ＋ａk ・Ｐk ＋ａk+1 ・Ｐk+1 ＋ａk+2 ・Ｐk+2
ここで、補間係数ａi は、例えば次の式で与えられる。
ａk-1 ＝−（α／２）・ｔ・（ｔ−１）²
ａk ＝（２−α／２）・ｔ³−（３−α／２）・ｔ²＋１
ａk+1 ＝（α／２−２）・ｔ³＋（３−α）・ｔ²＋（α／２）・ｔ
ａk+2 ＝（α／２）・ｔ²・（ｔ−１）
ただし、αは補間画像データに基づいて算出される画像データの鮮鋭度を決定するパラメータであり、ｔ（０＜ｔ＜１）は原画像データの格子間隔を１とし、画素Ｐk を基準としたときの補間点Ｐ’の画素Ｐk+1 方向への位置を示す。
実際の画像は、画素が２次元に配列されて形成されているため、上記補間式に用いたパラメータｔを、その配列方向のうち、一方向についてはｔx とし、他の方向についてはｔy に置き換えて、各方向ごとの補間係数を定めて計算が行われる。
また、３次Ｂスプライン補間法は、上記補間係数ａi を変えたものである。
【００１０】
また、特開平９−３２１９８１号公報においては、補間点が、原画像データの変化が急峻な画像のエッジ部に属するか、または変化が緩慢な画像の平坦部に属するかを判定し、その結果によって補間方法を切り換えるようにしたものが開示されている。
【００１１】
【発明が解決しようとする課題】
しかしながら、従来のように、画像データがエッジ部か平坦部のどちらに属するかによって補間方法を切り換える方法は、それなりに効果はあるが、エッジの延びる方向の判定が難しく、エッジ部の検出精度があまり高くない場合には、それほどの効果を上げる事はできない。また、エッジ部を正確に検出できたとしても、単に、エッジ部か平坦部か、という相違に応じて補間方法を切り換えるだけでは、最適な再生画像を得ることはできないという問題があった。
【００１２】
本発明は、前記従来の問題に鑑みてなされたものであり、絵柄、画像出力先、画像処理速度、画像使用用途等に応じて最適な再生画像を得ることのできる画像処理方法および装置を提供することを課題とする。
【００１３】
【課題を解決するための手段】
前記課題を解決するために、本発明は、所定の間隔で格子状に配列された原画像データの画素数を増減し、画像を拡縮する電子変倍処理を行った後、シャープネス強調処理を行い出力画像とする画像処理方法であって、絵柄、画像の出力先、画像処理速度または画像の使用用途に応じた最適な補間方法を選択して電子変倍処理を行い、その後に行われる前記シャープネス強調処理の強さを、前記選択され実行された補間方法の種類によって決定されたレベルに変更することを特徴とする画像処理方法を提供する。
【００１４】
また、前記画像の出力先は、画像が出力される記録媒体を含むことが好ましい。
【００１６】
また、前記シャープネス処理の強さは、補間方法が３次スプライン法の場合には、補間方法が３次畳み込み法の場合より強められることが好ましい。
【００１７】
同様に前記課題を解決するために、本発明は、所定の間隔で格子状に配列された原画像データの画素数を増減し、画像を拡縮する電子変倍処理を行う電子変倍処理手段と、該電子変倍処理を行った後、シャープネス強調処理を行い、出力画像とする画像処理手段とを有する画像処理装置であって、前記電子変倍処理手段は、絵柄、画像の出力先、画像処理速度または画像の使用用途に応じた最適な補間方法を選択して電子変倍処理を行い、前記画像処理手段は、前記電子変倍処理後に行われる前記シャープネス強調処理の強さを、前記選択され実行された補間方法の種類によって決定されたレベルに変更することを特徴とする画像処理装置を提供する。
【００２０】
【発明の実施の形態】
以下、本発明に係る画像処理方法および装置について、添付の図面に示される好適実施例を基に、詳細に説明する。
【００２１】
図１は、本発明の一実施形態に係る、画像処理方法を実施する画像処理装置を適用するデジタルフォトプリンタの概略を示すブロック図である。
図１に示すデジタルフォトプリンタ（以下、フォトプリンタという）１０は、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、このスキャナ１２で読み取られた画像データの電子変倍処理や、画像データのエッジ部の検出やシャープネス強調（鮮鋭度強調）、平滑化処理（粒状抑制）などの画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、この画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）画像をプリントとして出力する画像記録装置１６と、を有する。
また、画像処理装置１４には、様々な条件の入力、設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示するモニタ２０が接続される。
【００２２】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２６と、フィルムＦのキャリア２８と、結像レンズユニット３０と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色画像濃度の読取に対応する３ラインＣＣＤセンサを有するイメージセンサ３２と、アンプ（増幅器）３３と、Ａ／Ｄ（アナログ／デジタル）変換器３４とを有する。
【００２３】
フォトプリンタ１０においては、スキャナ１２の本体に装着自在な専用のキャリア２８が、新写真システム（Ａdvanced Ｐhoto Ｓystem)や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムＦの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて用意されており、キャリア２８の交換によって、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリア２８によって所定の読取位置に搬送される。
また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジＩＤやフィルムサイズ、ＩＳＯ感度等が記録されており、また、撮影時や現像時等に、撮影や現像日時、露出レベル、カメラや現像機の機種等の各種のデータが記録可能である。新写真システムのフィルム（カートリッジ）に対応するキャリア２８には、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、これらの各種の情報が画像処理装置１４に送られる。
【００２４】
このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４および拡散ボックス２６によって光量調整された均一な読取光が、キャリア２８によって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
なお、カラー画像信号は、このようにフィルムを透過した光を読み取ることによって入力されるものには限定されず、反射原稿でもよいし、あるいはデジタルカメラによって撮影された画像を用いてもよい。
【００２５】
図示例のキャリア２８は、２４枚取りの１３５サイズのフィルムや新写真システムのカートリッジ等の、長尺なフィルムＦ（ストリップス）に対応するものである。
フィルムＦは、このキャリア２８によって読取位置に位置されて、ＲＧＢの３ラインＣＣＤセンサの延在方向である主走査方向と直交する副走査方向に搬送されつつ、読取光を入射される。これにより、結果的に、フィルムＦが２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００２６】
フィルムＦの投影光は、結像レンズユニット３０によってイメージセンサ３２の受光面に結像される。
イメージセンサ３２から出力されたＲ、ＧおよびＢの各出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換器３４に送られ、Ａ／Ｄ変換器３４において、それぞれ、例えば１２ｂｉｔのＲＧＢデジタル画像データに変換された後、画像処理装置１４に出力される。
【００２７】
なお、スキャナ１２においては、フィルムＦに撮影された画像を読み取るに際し、低解像度で読み取るプレスキャン（第１回目の画像読取）と、出力画像の画像データを得るためのファインスキャン（第２回目の画像読取）との２回の画像読取を行う。
ここで、プレスキャンは、スキャナ１２が対象とするフィルムＦの全ての画像を、イメージセンサ３２が飽和することなく読み取れるように、予め設定されたプレスキャン読取条件で行われる。
一方、ファインスキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３２が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。なお、プレスキャンおよびファインスキャン出力画像信号は、解像度および出力画像信号レベルが異なる以外は、基本的に同様な画像データである。
【００２８】
なお、フォトプリンタ１０に用いられるスキャナ１２は、このようなスリット走査読取を行うものに限定されず、１コマのフィルム画像の全面を一度に読み取る面状読取を行うものであってもよい。
この場合には、例えばエリアＣＣＤセンサなどのエリアセンサを用い、光源２２とフィルムＦとの間にＲ、ＧおよびＢの各色フィルタの挿入手段を設け、光源２２からの射出光の光路に挿入して、色フィルタを透過した読取光をフィルムＦ全面に照射して、透過光をエリアＣＣＤセンサに結像させてフィルム全画像を読み取ることを、Ｒ、ＧおよびＢの各色フィルタを切り換えて順次行うことで、フィルムＦに撮影された画像を３原色に分解して読み取る。
【００２９】
前述したように、スキャナ１２から出力されるデジタル画像データ信号は、本発明の画像処理方法を実施する画像処理装置１４に出力される。
図２に、この画像処理装置（以下、処理装置という。）１４のブロック図を示す。
ここで、処理装置１４は、スキャナ補正部３６、ＬＯＧ変換器３８、プレスキャン（フレーム）メモリ４０、ファインスキャン（フレーム）メモリ４２、プレスキャンデータ処理部４４、本発明の特徴とする電子変倍処理およびその他の各種画像処理を行うファインスキャンデータ処理部４６および条件設定部４８を有する。
なお、図２は主に画像処理関連の部分を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記録するメモリ等が配設され、また、操作系１８やモニタ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部分に接続される。
【００３０】
スキャナ１２から処理装置１４に入力されたＲ、ＧおよびＢの画像信号、例えば１２ｂｉｔのデジタル画像データは、スキャナ補正部３６に入力される。
スキャナ補正部３６は、スキャナ１２のイメージセンサ３２のＲＧＢ３ラインＣＣＤセンサに起因する、ＲＧＢデジタル画像データの画素毎の感度ばらつきや暗電流を補正するためにＤＣオフセット補正、暗時補正、欠陥画素補正、シェーディング補正等の読取画像データのデータ補正を行うものである。スキャナ補正部３６で画素毎の感度ばらつきや暗電流の補正処理等が施されたデジタル画像信号は、ＬＯＧ変換処理器に出力される。
ＬＯＧ変換器３８は、対数変換処理してデジタル画像データを階調変換してデジタル画像濃度データに変換するものであって、例えば、ルックアップテーブル（ＬＵＴ）を用いて、スキャナ補正部３６で補正された１２ｂｉｔのデジタル画像データを、例えば１０ｂｉｔ（０〜１０２３）のデジタル画像濃度データに変換する。
【００３１】
ＬＯＧ変換器３８で変換されたデジタル画像濃度データは、プレスキャン画像データであればプレスキャンメモリ４０に、ファインスキャン画像データであればファインスキャンメモリ４２に、それぞれ記憶（格納）される。
プレスキャンメモリ４０は、スキャナ１２によるフィルムＦのプレスキャンによって得られ、各種のデータ補正および対数変換処理が施されたフィルムＦの１コマ全部の低解像度画像濃度データをＲＧＢの各色毎に格納または記憶するためのフレームメモリである。プレスキャンメモリ４０は、少なくともフィルムＦの１コマのＲＧＢ３色の画像濃度データを格納できる容量が必要であるが、複数コマ分の画像濃度データを格納できる容量を持つものであってもよいし、１コマ分の容量のメモリを多数備えるものであってもよい。
プレスキャンメモリ４０に記憶されたプレスキャン画像データは、プレスキャンデータ処理部４４に読みだされる。
【００３２】
一方、ファインスキャンメモリ４２は、スキャナ１２によるフィルムＦのファインスキャンによって得られ、各種のデータ補正および対数変換処理が施されたフィルムＦの１コマ全部の高解像度画像濃度データをＲＧＢの各色毎に格納または記憶するためのフレームメモリである。
ファインスキャンメモリ４２に記憶されたファインスキャン画像データは、ファインスキャンデータ処理部４６に読みだされる。
【００３３】
プレスキャンメモリ４０に記憶されたプレスキャン画像データに、モニタ２０に表示するのに必要な種々の画像処理を施すプレスキャンデータ処理部４４は、画像処理部５０と、画像データ変換部５２とを有する。
ここで、画像処理部５０は、後述する条件設定部４８が設定した画像処理条件に従って、スキャナ１２によって読み取られ、プレスキャンメモリ４０に記憶された画像データに、所望の画質で、後述するモニタ２０のＣＲＴ表示画面にカラー画像が再生可能なように、ルックアップテーブル（以下、ＬＵＴで代表させる）やマトリックス（以下、ＭＴＸで代表させる）演算により、階調補正、色変換、濃度変換等の所定の画像処理を施すためのものである。
画像データ変換部５２は、画像処理部５０によって処理された画像データを、モニタ２０の解像度に合わせるために必要に応じて間引いて、同様に、３Ｄ（３次元）ＬＵＴ等を用いて、モニタ２０による表示に対応する画像データに変換して、モニタ２０に表示させるためのものである。
なお、画像処理部５０における処理条件は、後述する条件設定部４８で設定される。
【００３４】
一方、ファインスキャンメモリ４２に記憶されたファインスキャン画像データに、画像記録装置１６からカラープリントとして出力するのに必要な種々の画像処理および本発明の画像処理方法を実行するファインスキャンデータ処理部４６は、画像処理部５４と、画像データ変換部５６とを有する。
ここで、画像処理部５４は、後述する条件設定部４８が設定した画像処理条件に従って、スキャナ１２によって読み取られファインスキャンメモリ４２に記憶された画像データに所定の画像処理を施し、カラープリントとして所望の濃度、階調および色調で、カラーペーパ上に、最適、高品質な画像を再生可能とするものである。このため画像処理部５４は、画像データに対して、ＬＵＴ，ＭＴＸ演算器、ローパスフィルタ、加減算器などにより、色バランス調整、階調調整、色調整、濃度調整、彩度調整、電子変倍やシャープネス強調（輪郭強調；鮮鋭化）などの種々の画像処理を施す。なお、その詳細については後述する。
【００３５】
画像データ変換部５６は、画像処理部５４によって処理された画像データを、例えば３ＤＬＵＴ等の標準階調ルックアップテーブルを用いて、画像記録装置１６による画像記録に対応する画像データに変換して、画像記録装置１６に供給する。
画像記録装置１６は、ファインスキャンデータ処理部４６から出力される画像データに基づいて、カラー画像が再現された仕上がりプリントとして出力するためのものである。
【００３６】
なお、画像処理部５４における処理条件は、条件設定部４８で設定される。
条件設定部４８は、ファインスキャンデータ処理部４６における各種の処理条件を設定する。この条件設定部４８は、セットアップ部５８、キー補正部６０およびパラメータ統合部６２を有する。
セットアップ部５８は、プレスキャン画像データ等を用いて、ファインスキャンの読取条件を設定してスキャナ１２に供給し、また、プレスキャンデータ処理部４４およびファインスキャンデータ処理部４６の画像処理条件を作成（演算）し、パラメータ統合部６２に供給する。
【００３７】
具体的には、セットアップ部５８は、プレスキャンメモリ４０からプレスキャン画像データを読み出し、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出を行う。
算出した画像特徴量から、その画像の最低濃度よりも若干低濃度でイメージセンサ３２が飽和するように、ファインスキャンの読取条件、例えば、光源２２の光量、可変絞り２４の絞り値、イメージセンサ３２の（各ＲＧＢ３ラインＣＣＤセンサの）蓄積時間等を設定する。なお、ファインスキャンの読取条件は、プレスキャンの読取条件に対して、イメージセンサ３２の出力レベルに対応する全ての要素を変更してもよく、前記絞り値等のいずれか１つの要素のみを変更するものでもよく、絞り値と蓄積時間等の複数の要素のみを変更するものでもよい。
さらに、セットアップ部５８は、濃度ヒストグラムや画像特徴量と、必要に応じて行われるオペレータによる指示等に応じて、前述の色バランス調整や階調調整等の画像処理条件を設定する。
【００３８】
キー補正部６０は、キーボード１８ａや操作系１８に設けられたキー（図示せず）によって設定された濃度（明るさ）、色、コントラスト、シャープネス、彩度等の調整量やマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量（例えば、ＬＵＴの補正量等）を算出し、パラメータを設定し、パラメータ統合部６２に供給するものである。
パラメータ統合部６２は、セットアップ部５８が設定した画像処理条件を受け取り、供給された画像処理条件を、プレスキャンデータ処理部４４の画像処理部５０およびファインスキャンデータ処理部４６の画像処理部５４に設定し、さらに、キー補正部６０で算出された調整量に応じて、各部分に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００３９】
続いて、電子変倍処理、シャープネス強調、粒状抑制等の画像処理を行う、ファインスキャンデータ処理部４６の画像処理部５４について詳細に説明する。
図３は、画像処理部５４の一実施例の概略を示すブロック図である。図に示すように、画像処理部５４は、画像データの濃度、色および階調を変換する色濃度階調変換手段６４、画像データの彩度を変換する彩度変換手段６６、補間により画像データの画素数を変換する電子変倍処理手段６８、シャープネス強調や粒状抑制等の各種画像処理を行う画像処理手段７０を備えている。
【００４０】
画像処理部５４において、色濃度階調変換手段６４は、ＬＵＴ等に従って、画像データから濃度データ、色データおよび階調データに変換するものである。また、彩度変換手段６６は、色濃度階調変換手段６４によって得られた画像データの彩度データをＭＴＸ演算等に従って変換するものである。また、電子変倍処理手段６８は、画像記録装置１６においてカラーペーパに出力するカラー画像のサイズに応じて、かつ出力画素密度に合わせて、画像データを補間したり、間引いたりして、画像データの画素データ数を増減するものである。画像処理手段７０は、シャープネス強調や粒状抑制等の画像処理を行う。
【００４１】
この電子変倍処理手段６８および画像処理手段７０における処理は、本発明の特徴とするところであり、後で詳述するように、電子変倍処理手段６８における補間方法は、絵柄、画像の出力先、画像処理速度、画像の使用用途に応じて最適な補間方法が選択され、どの補間方法が選択されたかにより画像処理手段７０における画像処理および画像処理の程度が変更される。
【００４２】
本発明に係る画像処理装置およびこれを用いるデジタルフォトプリンタは、基本的に以上のように構成される。以下、本実施形態の作用を説明する。
【００４３】
オペレータがフィルムＦ（読み取り対象コマ）に対応するキャリア２８をスキャナ１２に装填し、キャリア２８の所定位置にフィルムＦをセットし、仕上げ情報や作成するプリントサイズ等の必要な指示を入力した後に、プリントの作成開始を指示する。
これにより、スキャナ１２の可変絞り２４の絞り値やイメージセンサ３２の蓄積時間がプレスキャンの読取条件に応じて設定される。その後、キャリア２８がフィルムＦをプレスキャンに応じた速度で副走査方向に搬送して、プレスキャンが開始され、フィルムＦがスリット走査されて投影光がイメージセンサ３２に欠像して、フィルムＦに撮影された画像がＲ、Ｇ、Ｂに分解されて光電的に低解像度で読み取られる。
【００４４】
プレスキャンによるイメージセンサ３２の出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換器３４に送られ、デジタル画像データとされた後に、本発明の画像処理装置１４に出力される。
画像処理装置１４に入力されたデジタル画像データは、スキャナ補正部３６でイメージセンサ３２の暗電流等の所定の補正を施した後、ＬＯＧ変換器３８に送られ、プレスキャンに対応する濃度範囲で、例えば、濃度Ｄで４の濃度範囲を１０ｂｉｔのデータに割りつけるように、ＬＵＴを用いて変換され、プレスキャン画像データとされ、プレスキャン画像データは、プレスキャンメモリ４０に記憶される。
【００４５】
プレスキャンメモリ４０にプレスキャン画像データが記憶されると、条件設定部４８のセットアップ部５８がこれを読み出し、濃度ヒストグラムの作成、ハイライトやシャドー等の画像特徴量の算出等を行い、ファインスキャンの読取条件を設定して、スキャナ１２に供給し、また、階調調整やグレイバランス調整等の各種の画像処理条件を設定し、パラメータ統合部６２に供給する。
画像処理条件を受け取ったパラメータ統合部６２は、これをプレスキャンデータ処理部４４およびファインスキャンデータ処理部４６の所定部分（ハードウエアおよびソフトウエア）に設定する。
【００４６】
検定を行う場合には、プレスキャン画像データがプレスキャンデータ処理部４４によってプレスキャンメモリ４０から読みだされ、画像処理部５０において設定された画像処理条件で画像処理され、次いで、画像データ変換部５２で変換され、シュミレーション画像としてモニタ２０に表示される。
オペレータは、モニタ２０の表示を見て、画像すなわち処理結果の確認（検定）を行い、必要に応じてキーボード１８ａに設定された調整キー等を用いて色、濃度、階調等を調整する。
この調整の入力は、キー補正部６０に送られ、キー補正部６０は調整入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部６２に送る。パラメータ統合部６２は、送られた補正量に応じて、画像処理部５０および５４のＬＵＴやＭＴＸ等を補正する。このように、オペレータによる調整入力に応じて、モニタ２０に表示される画像が変化し、これを見て最適な画像処理条件が決定される。
【００４７】
画像処理条件が確定すると、スキャナ１２において可変絞り２４の絞り値等が、設定されたファインスキャンの読取条件に応じて設定されると共に、キャリア２８がファインスキャンに対応する速度でフィルムＦを搬送し、ファインスキャンが開始される。
ファインスキャンは、可変絞り２４の絞り値等の読取条件が異なる以外はプレスキャンと同様に行われ、イメージセンサ３２からの出力信号はアンプ３３で増幅されて、処理装置１４のＡ／Ｄ変換器３４でデジタル濃度データとされ、スキャナ補正部３６で所定の処理を施され、ＬＯＧ変換器３８に送られる。
ＬＯＧ変換器３８において、ファインスキャンデジタル画像データはプレスキャンよりも高い濃度分解能で処理され、例えば、濃度Ｄで２の濃度範囲を１０ｂｉｔのデータに割りつけるようにＬＵＴで変換され、ファインスキャン画像データとされた後、ファインスキャンメモリ４２に送られる。
【００４８】
画像処理部５４においては、色濃度階調変換手段６４により、ルックアップテーブルに従って、ファインスキャン画像データの濃度データ、色データおよび階調データが変換され、彩度変換手段６６によって、マトリックス演算にしたがって、画像信号の彩度データが変換される。次いで、カラーペーパに出力するカラー画像のサイズ等に応じて電子変倍処理手段６８により、画像データ信号の画素データ数が増減された後、画像信号は画像処理手段７０に入力され、シャープネス強調等の画像処理が施される。
【００４９】
ここで、実際の電子変倍処理は、例えば、図４に示すように、画像データをファインスキャン（フレーム）メモリ４２に格納する前後において、主走査方向および副走査方向それぞれについて一次元処理を施すようにすれば、ハード構成上も簡単に済む。
【００５０】
まず、ファインスキャン画像データをファインスキャンメモリ４２に書き込む際、一旦電子変倍処理手段６８を通し主走査方向について一次元方向の電子変倍処理を行う。例えば図５において、○を原画像データ、×を処理後の補間画像データとし、Ｘｊを補間画像データ×から第ｊ画像データまでの距離とするとき、バイリニヤ補間の場合は、補間画像データ×の両側の画像データｋ、ｋ＋１を用いて、次式により補間画像データｆout が算出される。
ｆout ＝ｆk ・Ｃ（Ｘk) ＋ｆk+1 ・Ｃ（Ｘk+1)
ここでＣ（Ｘ）は畳み込み関数（convolution function) であり、ｆk は例えば濃度値である。
また、３次畳み込み（cubic sinc) や3 次スプラインの場合には、補間点×を中心に含む４点ｋ−１、ｋ、ｋ＋１、ｋ＋２を用いて、次式により補間画像データｆout が算出される。

【００５１】
このようにして一次元（主走査）方向に拡縮処理された画像データは、図４のファインスキャン（フレーム）メモリ４２に、矢印Ｗ方向に書き込まれる。
次に、電子変倍処理手段６８は、ファインスキャンメモリ４２から、図に矢印Ｒで示される方向（すなわち副走査方向）に画像データを読み出し、同様に一次元処理を行う。その結果、２次元的に画像データの補間処理が行われることとなる。すなわち、バイリニヤの場合には、主方向および副方向それぞれ２点ずつ全部で４点を用いて補間が行われ、３次の場合は、主方向および副方向それぞれ４点ずつ全部で１６点を用いて補間が行われる。
【００５２】
本実施形態においては、補間方法は、絵柄、画像出力先、画像処理速度、画像の使用用途に応じた最適な補間方法が選択される。ここで、画像出力先とは、画像が出力される銀塩ペーパー等の感光材料といった出力媒体そのものの他、ＭＯ、リムーバブル・ハードディスク（Ｊａｚ、Ｚｉｐ）あるいはＦＤ等の各種記録媒体等をも含むものとする。
前述したように、補間方法には、（１）ニヤレストネイバー、（２）バイリニヤ、（３）３次畳み込み（cubic sinc) 、（４）３次スプラインおよび（５）３次Ｂスプラインがあり、これらの比較を図６に示す。
【００５３】
図６に示すように、補間に使用するサンプル点の数は、（１）が最も近い一点のみ、（２）が４点、（３）〜（５）はいずれも１６点である。ハードウエア構成は、（１）および（２）は規模が小さいが、（３）〜（５）は計算量が増えるため規模が大きくなる。周波数特性は、（２）と（５）が低く、（３）と（４）が高い。折り返しによるビート発生は、（２）においては視認されるが、（３）〜（５）においては視認されない。連続性については、（３）は、ルップルが発生し、問題があるが、他のものについては特に問題はない。
また、（１）にはオリジナルな画像データを壊さないという利点およびアルゴリズムが簡単であるという利点がある。
（２）には、オリジナルなデータが壊されるという欠点があるが、平均化のためにスムージングの効果がでる点で利点がある。
（３）には、オリジナルなデータが壊されるという欠点があるが、画像の平滑化と同時に鮮鋭化の効果がでる利点がある。
（４）は、オリジナルなデータが壊されるという欠点があるが、曲線表示の有効性の面でＣＧ（コンピュータ・グラフィックス）でよく使用される。
（５）は、オリジナルなデータが壊され、また、周波数特性が低く、シャープ感が損なわれる。
【００５４】
また、図７に、補間カーネルのフーリエ変換を示す。
補間カーネルの理想形を図に二点鎖線で示し、３次畳み込み（cubic sinc) による補間を破線で、３次スプラインによる補間を実線で、さらにバイリニヤによる補間を一点鎖線で示す。このとき、ｎ／ｍ補間を、ｎ倍の拡大と１／ｍの間引きの合成として扱うと、ｎ倍拡大の空間周波数特性を図のグラフのように表現することができる。このとき、１／ｍの間引きのとき、高域に残存する成分が、折り返しとなり、ビート要因となる。
図７からわかるように、この場合、３次スプラインが最もよいことがわかる。
【００５５】
これらのことを考慮すると、最適と思われる補間方法は、例えば、次のように例示される。
すなわち、まず絵柄については、風景の場合は、３次畳み込み（cubic sinc) 、人物およびＣＧの場合は、３次スプラインが適しており、２値画像の場合には、ニヤレストネイバー位で充分である。
また、画像処理速度については、処理速度を優先する場合には、バイリニヤやニヤレストネイバーが、適している。
使用用途については、ホームページ程度であれば、バイリニヤが良く、プリント用あるいはファイル出力用であれば、３次スプラインが適している。
【００５６】
これらの絵柄の種類や、銀塩ペーパー等の感光材料や記録媒体の種類といった出力先の違い、画像処理速度、画像の使用用途に応じて補間方法を選択するのは、前記検定時等においてオペレータが選択するようにしてもよいし、予め各場合毎に設定しておいてもよい。すなわち、注文情報（インターネット経由の注文時）等から指定された補間方法を（自動的に）読み取ってもよいし、カメラによる撮影情報（風景モード、ポートレートモード等）等から補間方法を決定してもよい。あるいは、さらに、絵柄を解析（判断）して、補間方法を切り換えるようにしてもよい。
また、どの補間方法を使用するかは、ファインスキャン前までに決定していればよい。例えば、自動で決定する場合においては、プレスキャン前に事前に行っておいてもよいし、また、モニタ等を見てオペレータが決定する場合などにおいては、プレスキャン後に行ってもよい。
【００５７】
電子変倍処理後の画像データを受け取った画像処理手段７０は、シャープネス強調等の画像処理を行う。
このとき行われる画像処理あるいは画像処理の程度は、前記電子変倍処理手段６８における補間演算の方法に応じて変更される。
例えば、補間方法が３次Ｂスプラインの場合には、シャープネス強調の程度が強められ、補間方法が３次畳み込みの場合には、シャープネス強調の程度は弱められ、補間方法が３次スプラインの場合には、シャープネス強調の程度は中ぐらいとされる。
【００５８】
画像処理済の画像データは、画像データ変換部５６に入力され、画像出力用画像データに変換された後、画像処理装置１４から画像記録装置１６に出力される。画像記録装置１６は、入力画像データに応じて感光材料（印画紙）を露光して潜像を記録し、露光済の感光材料に所定の処理を施してプリント（写真）として出力する。
【００５９】
本実施形態によれば、絵柄、画像出力先、画像処理速度、画像の使用用途等に応じて最適な補間方法を選択するとともに、選択された補間方法に応じて、その後の画像処理および画像処理の程度を変更するようにしたため、最適な出力画像を得ることができるようになった。
以上、本発明の画像処理方法および装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００６０】
【発明の効果】
以上、説明した通り、本発明によれば、絵柄、画像出力先、画像処理速度、画像の使用用途等に応じて最適な補間方法を選択するとともに、選択された補間方法に応じて、その後の画像処理および画像処理の程度を変更するようにしたため、最適な出力画像を得ることができるようになった。
【図面の簡単な説明】
【図１】本発明の画像処理方法を実施する画像処理装置を適用するデジタルフォトプリンタの一実施例を示すブロック図である。
【図２】図１に示されるデジタルフォトプリンタの画像処理装置の一例を示すブロック図である。
【図３】図２に示される画像処理装置のファインスキャン画像データ処理部の画像処理部の一例のブロック図である。
【図４】本実施形態における実際の電子変倍処理の一例を示すブロック線図である。
【図５】図４の電子変倍処理における一次元処理を示す説明図である。
【図６】各種補間方法を比較して示す図表である。
【図７】補間カーネルのフーリエ変換を示す線図である。
【図８】ニヤレストネイバー補間を示す説明図である。
【図９】バイリニヤ補間を示す説明図である。
【図１０】３次畳み込み（cubic sinc) 補間を示す説明図である。
【符号の説明】
１０デジタルフォトプリンタ
１２スキャナ
１４（画像）処理装置
１６画像記録装置
１８操作系
１８ａキーボード
１８ｂマウス
２０モニタ
２２光源
２４可変絞り
２６拡散ボックス
２８キャリア
３０結像レンズユニット
３２イメージセンサ
３４Ａ／Ｄ変換器
３６スキャナ補正部
３８ＬＯＧ変換器
４０プレスキャン（フレーム）メモリ
４２ファインスキャン（フレーム）メモリ
４４プレスキャンデータ処理部
４６ファインスキャンデータ処理部
４８条件設定部
５０、５４画像処理部
５２、５６画像データ変換部
５８セットアップ部
６０キー補正部
６２パラメータ統合部
６４色濃度階調変換手段
６６彩度変換手段
６８電子変倍処理手段
７０画像処理手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and apparatus, and more particularly to an image processing technique including an electronic scaling process that performs image scaling by image data interpolation.
[0002]
[Prior art]
Conventionally, an image taken on a photographic film original such as a negative film or a reversal film is printed on a photosensitive material such as a photographic paper, so that the image of the film original is projected onto the photosensitive material and the photosensitive material is surface-exposed. It was done by exposure.
[0003]
On the other hand, in recent years, a printing system using digital exposure, that is, image information recorded on a film is photoelectrically read and the read image is converted into a digital signal, and then subjected to various image processing for recording. A digital printing system has been proposed in which a photosensitive material is scanned and exposed by recording light modulated in accordance with the image information, an image (latent image) is recorded, developed and printed. The development of digital photo printers to be carried out is progressing.
[0004]
In the digital printing system, editing layout of printed images such as composition of multiple images, image division, character and image editing, color / density adjustment, electronic scaling, sharpness enhancement (sharpness enhancement) Various kinds of image processing such as the above can be freely performed, and a finished print that has been freely edited and processed according to the application can be output. Also, conventional direct exposure printing systems cannot reproduce all image density information recorded on film etc. in terms of density resolution, spatial resolution, color / density reproducibility, etc. According to this, it is possible to output a print reproducing almost 100% of the image density information recorded on the film.
[0005]
At this time, the image needs to be scaled according to the size of the output image. Or, in particular, a part of the image may be enlarged and reproduced. In such a case, an electronic scaling process is performed. When enlarging an image by electronic scaling, the image data is usually increased by interpolation. For this reason, various interpolation methods have been proposed.
Various interpolation methods are described in "Image Analysis Handbook" (The University of Tokyo Press). For example, Nearest Neighbor interpolation, bi-linear interpolation, cubic convolution (also called cubic convolution or cubic sinc) interpolation, and the like.
[0006]
In the nearest neighbor interpolation method, image data of a sample point closest to a point to be interpolated is used as image data to be obtained. That is, as shown in FIG. 8, with respect to the interpolation point P (u, v), the image data for the lattice point P (i, j) is represented by Pij, and the integer part of the real number x is represented by [x] (Gaussian symbol). When r = [u + 0.5] and s = [v + 0.5], the image data P to be obtained is P = Prs. Assuming that i = [u] and j = [v], r = i and s = j + 1 in the figure.
[0007]
In the bilinear interpolation method, image data to be obtained is calculated by a bilinear equation using image data of four sample points around a point to be interpolated. That is, as shown in FIG. 9, the image data Pij, Pi + 1, j, Pi, j + 1, Pi + 1, j + 1 of the four sample points around the interpolation point P (u, v) are obtained. Using this, the image data P obtained by the following equation is calculated.
P = (1-a). (1-b) .Pij + a. (1-b) .Pi + 1, j
+ (1-a) .b.Pi, j + 1 + a.b.Pi + 1, j + 1
[0008]
The cubic convolution interpolation method (cubic sinc) calculates image data to be obtained by a cubic convolution function using image data of 16 sample points around a point to be interpolated. That is, as shown in FIG. 10, image data P to be obtained is calculated by the following equation using image data Pij (i = 1 to 4, j = 1 to 4) of 16 sample points around the interpolation point. .
[Expression 1]

Here, xi (i = 1 to 4) and yi (i = 1 to 4) are respectively calculated as follows.
x1 = 1 + (u- [u])
x2 = u- [u]
x3 = 1− (u− [u])
x4 = 2− (u− [u])
y1 = 1 + (v− [v])
y2 = v- [v]
y3 = 1- (v- [v])
y4 = 2− (v− [v])
F is a function f (t) defined by the following equation.
[Expression 2]

[0009]
Besides these, cubic spline interpolation, cubic B-spline interpolation, and the like are known.
Cubic spline interpolation uses image data of 16 sample points around the interpolation point, similarly to the cubic convolution interpolation (cubic sinc). For example, when there is an interpolation point P ′ between Pk and Pk + 1 among the four points Pk−1, Pk, Pk + 1, and Pk + 2 in the one-dimensional direction, the following cubic spline interpolation equation is used. The required image data P ′ is calculated.
P '= ak-1 -Pk-1 + ak -Pk + ak + 1 -Pk + 1 + ak + 2 -Pk + 2
Here, the interpolation coefficient a i is given by the following equation, for example.
ak-1 =-(α / 2) · t · (t-1)²
ak = (2-α / 2) · t^Three-(3-α / 2) · t²+1
ak + 1 = (α / 2-2) · t^Three+ (3-α) · t²+ (Α / 2) · t
ak + 2 = (α / 2) · t²・ (T-1)
Here, α is a parameter for determining the sharpness of the image data calculated based on the interpolated image data, and t (0<t <1) indicates the position of the interpolation point P ′ in the pixel Pk + 1 direction when the grid interval of the original image data is 1, and the pixel Pk is used as a reference.
Since an actual image is formed by arranging pixels in a two-dimensional manner, the parameter t used in the above interpolation formula is replaced with tx in one direction and ty in the other direction. Thus, the calculation is performed by determining the interpolation coefficient for each direction.
In the cubic B-spline interpolation method, the interpolation coefficient ai is changed.
[0010]
In Japanese Patent Laid-Open No. 9-321981, it is determined whether an interpolation point belongs to an edge portion of an image having a sharp change in original image data or a flat portion of an image having a slow change. Is disclosed in which the interpolation method is switched.
[0011]
[Problems to be solved by the invention]
However, the conventional method of switching the interpolation method depending on whether the image data belongs to the edge portion or the flat portion is effective as it is, but it is difficult to determine the direction in which the edge extends, and the detection accuracy of the edge portion is high. If it's not too high, you can't get that much effect. Further, even if the edge portion can be detected accurately, there is a problem that an optimum reproduced image cannot be obtained simply by switching the interpolation method according to the difference between the edge portion and the flat portion.
[0012]
The present invention has been made in view of the above-described conventional problems, and provides an image processing method and apparatus capable of obtaining an optimal reproduced image according to a design, an image output destination, an image processing speed, an image use application, and the like. The task is to do.
[0013]
[Means for Solving the Problems]
  In order to solve the above problems, the present invention increases or decreases the number of pixels of the original image data arranged in a grid pattern at predetermined intervals, and after performing an electronic scaling process for scaling the image,Sharpness enhancementThis is an image processing method that performs processing to produce an output image, selects the optimal interpolation method according to the pattern, image output destination, image processing speed, or the intended use of the image, performs electronic scaling, and then SaidSharpness enhancementThe strength of processing, To a level determined by the type of interpolation method selected and performedThere is provided an image processing method characterized by changing.
[0014]
The output destination of the image preferably includes a recording medium on which the image is output.
[0016]
  Also,The strength of the sharpness processing is stronger when the interpolation method is a cubic spline method than when the interpolation method is a cubic convolution method.It is preferable.
[0017]
  Similarly, in order to solve the above-mentioned problem, the present invention increases or decreases the number of pixels of the original image data arranged in a grid at predetermined intervals,imageAn electronic scaling process means for performing an electronic scaling process for scaling, and after performing the electronic scaling process,Sharpness enhancementAn image processing apparatus including an image processing unit that performs processing and sets an output image, wherein the electronic scaling processing unit includes an optimum interpolation according to a pattern, an image output destination, an image processing speed, or an image use application An electronic scaling process is performed by selecting a method, and the image processing means includes:Electronic scaling processSaid done laterSharpness enhancementThe strength of processing, To a level determined by the type of interpolation method selected and performedThere is provided an image processing apparatus characterized by being changed.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image processing method and apparatus according to the present invention will be described in detail based on preferred embodiments shown in the accompanying drawings.
[0021]
FIG. 1 is a block diagram showing an outline of a digital photo printer to which an image processing apparatus that performs an image processing method according to an embodiment of the present invention is applied.
A digital photo printer (hereinafter referred to as a photo printer) 10 shown in FIG. 1 includes a scanner (image reading device) 12 that photoelectrically reads an image taken on a film F, and an electronic conversion of image data read by the scanner 12. An image processing device 14 that performs image processing such as double processing, edge detection of image data, sharpness enhancement (sharpness enhancement), smoothing processing (granularity suppression), and operation and control of the entire photo printer 10, and the like. An image recording device 16 that exposes a photosensitive material (photographic paper) with a light beam modulated in accordance with image data output from the image processing device 14, develops (finishes) the image, and outputs the image as a print; .
The image processing apparatus 14 includes an operation system 18 having a keyboard 18a and a mouse 18b for inputting various conditions, setting, processing selection and instructions, instructions for color / density correction, and the like. The monitor 20 is connected to display the image read in step 1, various operation instructions, various condition setting / registration screens, and the like.
[0022]
The scanner 12 is a device that photoelectrically reads an image shot on the film F one frame at a time. The light source 22, the variable aperture 24, and diffusion that makes the reading light incident on the film F uniform in the surface direction of the film F. An image sensor 32 having a box 26, a film F carrier 28, an imaging lens unit 30, and a three-line CCD sensor corresponding to reading of each color image density of R (red), G (green) and B (blue). And an amplifier 33 and an A / D (analog / digital) converter 34.
[0023]
In the photo printer 10, a dedicated carrier 28 that can be mounted on the main body of the scanner 12 includes the type and size of the film F such as a new photographic system (Advanced Photo System) and a 135-size negative (or reversal) film, strips, It is prepared according to the form of a film such as a slide, and various films and processing can be handled by exchanging the carrier 28. An image (frame) photographed on a film and used for print creation is conveyed to a predetermined reading position by the carrier 28.
As is well known, a film of the new photographic system is formed with a magnetic recording medium, and a cartridge ID, film size, ISO sensitivity, etc. are recorded. Various data such as date and time, exposure level, camera and developing machine model can be recorded. The carrier 28 corresponding to the film (cartridge) of the new photographic system is provided with this magnetic information reading means. When the film is conveyed to the reading position, the magnetic information is read, and these various kinds of information are processed by the image processing. Sent to the device 14.
[0024]
In such a scanner 12, when reading an image photographed on the film F, uniform reading light emitted from the light source 22 and adjusted in light quantity by the variable aperture 24 and the diffusion box 26 is read by the carrier 28. Projection light carrying an image photographed on the film F is obtained by being incident on and transmitted through the film F positioned at the position.
The color image signal is not limited to that input by reading the light transmitted through the film as described above, and may be a reflection original or an image taken by a digital camera.
[0025]
The carrier 28 in the illustrated example corresponds to a long film F (strips) such as a 24-sheet 135 size film or a cartridge of a new photographic system.
The film F is positioned at the reading position by the carrier 28, and the reading light is incident on the film F while being conveyed in the sub-scanning direction orthogonal to the main scanning direction which is the extending direction of the RGB three-line CCD sensor. As a result, the film F is two-dimensionally slit-scanned, and the image of each frame photographed on the film F is read.
[0026]
The projection light of the film F is imaged on the light receiving surface of the image sensor 32 by the imaging lens unit 30.
The R, G, and B output signals output from the image sensor 32 are amplified by an amplifier 33 and sent to an A / D converter 34, where the A / D converter 34, for example, each has a 12-bit RGB digital signal. After being converted to image data, it is output to the image processing device 14.
[0027]
In the scanner 12, when reading an image taken on the film F, a pre-scan (first image reading) for reading at a low resolution and a fine scan (second time reading) for obtaining image data of an output image are performed. Image reading is performed twice.
Here, the pre-scan is performed under pre-scan reading conditions set in advance so that the image sensor 32 can read all images of the film F targeted by the scanner 12 without saturation.
On the other hand, the fine scan is performed under the fine scan reading conditions set for each frame so that the image sensor 32 is saturated at a density slightly lower than the minimum density of the image (frame) from the pre-scan data. Note that the prescan and fine scan output image signals are basically the same image data except that the resolution and the output image signal level are different.
[0028]
The scanner 12 used in the photo printer 10 is not limited to the one that performs such slit scanning reading, and may be a surface reading that reads the entire surface of one frame of film image at a time.
In this case, for example, an area sensor such as an area CCD sensor is used, and means for inserting R, G, and B color filters are provided between the light source 22 and the film F, and inserted into the optical path of the light emitted from the light source 22. Then, the entire surface of the film F is irradiated with the reading light transmitted through the color filters, and the transmitted light is imaged on the area CCD sensor to read the entire film image by sequentially switching the R, G, and B color filters. Thus, the image photographed on the film F is separated into the three primary colors and read.
[0029]
As described above, the digital image data signal output from the scanner 12 is output to the image processing apparatus 14 that performs the image processing method of the present invention.
FIG. 2 shows a block diagram of the image processing apparatus (hereinafter referred to as a processing apparatus) 14.
Here, the processing device 14 includes a scanner correction unit 36, a LOG converter 38, a pre-scan (frame) memory 40, a fine-scan (frame) memory 42, a pre-scan data processing unit 44, and an electronic magnification characteristic of the present invention. It has a fine scan data processing unit 46 and a condition setting unit 48 that perform processing and other various image processing.
FIG. 2 mainly shows parts related to image processing. Besides, the processing device 14 includes a CPU for controlling and managing the entire photo printer 10 including the processing device 14 and the photo printer 10. A memory or the like for recording information necessary for operation or the like is provided, and the operation system 18 and the monitor 20 are connected to each part via the CPU or the like (CPU bus).
[0030]
R, G, and B image signals input from the scanner 12 to the processing device 14, for example, 12-bit digital image data, are input to the scanner correction unit 36.
The scanner correction unit 36 performs DC offset correction, dark correction, and defective pixel correction in order to correct sensitivity variations and dark current for each pixel of RGB digital image data caused by the RGB 3-line CCD sensor of the image sensor 32 of the scanner 12. Data correction of read image data such as shading correction is performed. The digital image signal that has been subjected to sensitivity variation for each pixel, dark current correction processing, and the like by the scanner correction unit 36 is output to a LOG conversion processor.
The LOG converter 38 performs logarithmic conversion processing to convert digital image data into gradation and convert it into digital image density data. For example, the LOG converter 38 performs correction by the scanner correction unit 36 using a look-up table (LUT). The 12-bit digital image data thus converted is converted into, for example, 10-bit (0 to 1023) digital image density data.
[0031]
The digital image density data converted by the LOG converter 38 is stored (stored) in the prescan memory 40 if it is prescan image data, and in the fine scan memory 42 if it is fine scan image data.
The pre-scan memory 40 stores low-resolution image density data of all frames of the film F obtained by pre-scanning of the film F by the scanner 12 and subjected to various data correction and logarithmic conversion processing for each color of RGB. It is a frame memory for storing. The pre-scan memory 40 needs to have a capacity capable of storing at least RGB three-color image density data of one frame of the film F, but may have a capacity capable of storing image density data for a plurality of frames. A large number of memories having a capacity for one frame may be provided.
The prescan image data stored in the prescan memory 40 is read by the prescan data processing unit 44.
[0032]
On the other hand, the fine scan memory 42 is obtained by fine scanning of the film F by the scanner 12, and the high-resolution image density data of all the frames of the film F subjected to various data corrections and logarithmic conversion processes are obtained for each color of RGB. A frame memory for storing or storing.
The fine scan image data stored in the fine scan memory 42 is read by the fine scan data processing unit 46.
[0033]
A prescan data processing unit 44 that performs various image processing necessary for displaying the prescan image data stored in the prescan memory 40 on the monitor 20 includes an image processing unit 50 and an image data conversion unit 52. Have.
Here, the image processing unit 50 reads the image data read by the scanner 12 according to the image processing conditions set by the condition setting unit 48 described later, and stores the image data stored in the prescan memory 40 with a desired image quality, which will be described later. In order to reproduce a color image on the CRT display screen, predetermined corrections such as tone correction, color conversion, density conversion, etc. are performed by a lookup table (hereinafter represented by LUT) or matrix (hereinafter represented by MTX) calculation. The image processing is performed.
The image data conversion unit 52 thins out the image data processed by the image processing unit 50 as necessary to match the resolution of the monitor 20, and similarly uses a 3D (three-dimensional) LUT or the like to monitor the monitor 20. Is converted into image data corresponding to the display by, and displayed on the monitor 20.
The processing conditions in the image processing unit 50 are set by a condition setting unit 48 described later.
[0034]
On the other hand, a fine scan data processing unit 46 for executing various image processing necessary for outputting the fine scan image data stored in the fine scan memory 42 as a color print from the image recording device 16 and the image processing method of the present invention. Includes an image processing unit 54 and an image data conversion unit 56.
Here, the image processing unit 54 performs predetermined image processing on the image data read by the scanner 12 and stored in the fine scan memory 42 in accordance with the image processing conditions set by the condition setting unit 48 described later, and a desired color print is obtained. It is possible to reproduce an optimal and high-quality image on color paper with the density, gradation and color tone. For this reason, the image processing unit 54 performs color balance adjustment, gradation adjustment, color adjustment, density adjustment, saturation adjustment, electronic scaling, and the like for image data by using an LUT, an MTX calculator, a low-pass filter, an adder / subtractor, and the like. Various image processing such as sharpness enhancement (outline enhancement; sharpening) is performed. Details thereof will be described later.
[0035]
The image data conversion unit 56 converts the image data processed by the image processing unit 54 into image data corresponding to image recording by the image recording device 16 using a standard gradation lookup table such as 3DLUT, for example. It is supplied to the image recording device 16.
The image recording device 16 is for outputting as a finished print in which a color image is reproduced based on the image data output from the fine scan data processing unit 46.
[0036]
The processing conditions in the image processing unit 54 are set by the condition setting unit 48.
The condition setting unit 48 sets various processing conditions in the fine scan data processing unit 46. The condition setting unit 48 includes a setup unit 58, a key correction unit 60, and a parameter integration unit 62.
The setup unit 58 sets fine scan reading conditions using prescan image data and the like and supplies them to the scanner 12, and creates image processing conditions for the prescan data processing unit 44 and the fine scan data processing unit 46. (Calculate) and supply to the parameter integration unit 62.
[0037]
Specifically, the setup unit 58 reads prescan image data from the prescan memory 40, creates density histograms from the prescan image data, average density, LATD (large area transmission density), and highlight (minimum density). ), Image feature values such as shadow (maximum density) are calculated.
Fine scanning reading conditions, for example, the light amount of the light source 22, the aperture value of the variable aperture 24, the image sensor 32, so that the image sensor 32 is saturated at a density slightly lower than the minimum density of the image based on the calculated image feature amount. The accumulation time (for each RGB 3-line CCD sensor) is set. Note that the fine scan reading condition may change all the elements corresponding to the output level of the image sensor 32 with respect to the pre-scan reading condition, or change only one element such as the aperture value. It is also possible to change only a plurality of factors such as aperture value and accumulation time.
Further, the setup unit 58 sets the image processing conditions such as the above-described color balance adjustment and gradation adjustment in accordance with the density histogram, the image feature amount, and an instruction given by the operator as necessary.
[0038]
The key correction unit 60 is input with an adjustment amount such as density (brightness), color, contrast, sharpness, saturation, or the like set by a key (not shown) provided on the keyboard 18a or the operation system 18 or the mouse 18b. In accordance with various instructions, the image processing condition adjustment amount (eg, LUT correction amount) is calculated, parameters are set, and the parameter integration unit 62 is supplied.
The parameter integration unit 62 receives the image processing conditions set by the setup unit 58, and sends the supplied image processing conditions to the image processing unit 50 of the pre-scan data processing unit 44 and the image processing unit 54 of the fine scan data processing unit 46. Further, according to the adjustment amount calculated by the key correction unit 60, the image processing conditions set for each portion are corrected (adjusted), or the image processing conditions are reset.
[0039]
Next, the image processing unit 54 of the fine scan data processing unit 46 that performs image processing such as electronic scaling processing, sharpness enhancement, and grain suppression will be described in detail.
FIG. 3 is a block diagram showing an outline of an embodiment of the image processing unit 54. As shown in the figure, the image processing unit 54 includes a color density gradation conversion means 64 for converting the density, color and gradation of image data, a saturation conversion means 66 for converting the saturation of the image data, and image data by interpolation. Electronic scaling processing means 68 for converting the number of pixels, and image processing means 70 for performing various image processing such as sharpness enhancement and grain suppression.
[0040]
In the image processing unit 54, the color density gradation conversion means 64 converts image data into density data, color data, and gradation data according to LUT or the like. The saturation conversion unit 66 converts the saturation data of the image data obtained by the color density gradation conversion unit 64 according to MTX calculation or the like. Further, the electronic scaling processing means 68 interpolates or thins out the image data in accordance with the size of the color image output to the color paper in the image recording device 16 and in accordance with the output pixel density, thereby obtaining the image data. The number of pixel data is increased or decreased. The image processing means 70 performs image processing such as sharpness enhancement and grain suppression.
[0041]
The processing in the electronic scaling processing means 68 and the image processing means 70 is a feature of the present invention. As will be described in detail later, the interpolation method in the electronic scaling processing means 68 is an output destination of a pattern and an image. The optimum interpolation method is selected according to the image processing speed and the usage of the image, and the degree of image processing and image processing in the image processing means 70 is changed depending on which interpolation method is selected.
[0042]
The image processing apparatus and the digital photo printer using the same according to the present invention are basically configured as described above. Hereinafter, the operation of the present embodiment will be described.
[0043]
After the operator loads the carrier 28 corresponding to the film F (the frame to be read) into the scanner 12, sets the film F at a predetermined position on the carrier 28, and inputs necessary instructions such as finishing information and a print size to be created, Instructs the start of print creation.
Thus, the aperture value of the variable aperture 24 of the scanner 12 and the accumulation time of the image sensor 32 are set according to the pre-scan reading conditions. Thereafter, the carrier 28 transports the film F in the sub-scanning direction at a speed corresponding to the pre-scan, the pre-scan is started, the film F is slit-scanned, and the projection light is lost to the image sensor 32, and the film F The image captured in (1) is decomposed into R, G, and B, and is read photoelectrically at a low resolution.
[0044]
The output signal of the image sensor 32 by the pre-scan is amplified by the amplifier 33, sent to the A / D converter 34, converted into digital image data, and then output to the image processing device 14 of the present invention.
The digital image data input to the image processing apparatus 14 is subjected to predetermined correction such as dark current of the image sensor 32 by the scanner correction unit 36, and then sent to the LOG converter 38, and in a density range corresponding to pre-scanning. For example, conversion is performed using LUT so that a density range of 4 in density D is assigned to 10-bit data, and the pre-scan image data is stored in the pre-scan memory 40.
[0045]
When pre-scan image data is stored in the pre-scan memory 40, the setup unit 58 of the condition setting unit 48 reads it, creates a density histogram, calculates image features such as highlights and shadows, etc., and performs fine scan. Are set and supplied to the scanner 12, and various image processing conditions such as gradation adjustment and gray balance adjustment are set and supplied to the parameter integration unit 62.
The parameter integration unit 62 that has received the image processing conditions sets it in predetermined portions (hardware and software) of the pre-scan data processing unit 44 and the fine scan data processing unit 46.
[0046]
When the test is performed, the prescan image data is read from the prescan memory 40 by the prescan data processing unit 44, subjected to image processing under the image processing conditions set in the image processing unit 50, and then the image data conversion unit. 52, and is displayed on the monitor 20 as a simulation image.
The operator looks at the display on the monitor 20 and checks (verifies) the image, that is, the processing result, and adjusts the color, density, gradation, and the like as necessary using the adjustment keys set on the keyboard 18a.
This adjustment input is sent to the key correction unit 60, and the key correction unit 60 calculates the correction amount of the image processing condition according to the adjustment input, and sends this to the parameter integration unit 62. The parameter integration unit 62 corrects the LUT, MTX, and the like of the

image processing units

50 and 54 according to the sent correction amount. In this way, the image displayed on the monitor 20 changes in accordance with the adjustment input by the operator, and an optimal image processing condition is determined by referring to this.
[0047]
When the image processing conditions are determined, the aperture value of the variable aperture 24 is set in the scanner 12 according to the set fine scanning reading conditions, and the carrier 28 transports the film F at a speed corresponding to the fine scanning. Fine scan starts.
The fine scan is performed in the same manner as the pre-scan except that the reading conditions such as the aperture value of the variable aperture 24 are different, and the output signal from the image sensor 32 is amplified by the amplifier 33 and the A / D converter of the processing device 14 34 is converted into digital density data, subjected to predetermined processing by the scanner correction unit 36, and sent to the LOG converter 38.
In the LOG converter 38, the fine scan digital image data is processed with a higher density resolution than the pre-scan. For example, the fine scan digital image data is converted by the LUT so that the density range of 2 is assigned to 10-bit data. Is sent to the fine scan memory 42.
[0048]
In the image processing unit 54, the density data, color data and gradation data of the fine scan image data are converted by the color density gradation conversion means 64 according to the lookup table, and the saturation conversion means 66 converts the density data, color data and gradation data according to the matrix calculation. The saturation data of the image signal is converted. Next, after the number of pixel data of the image data signal is increased or decreased by the electronic scaling processing unit 68 according to the size or the like of the color image output to the color paper, the image signal is input to the image processing unit 70 and sharpness enhancement etc. Image processing is performed.
[0049]
Here, as shown in FIG. 4, for example, as shown in FIG. 4, the actual electronic scaling process performs one-dimensional processing in each of the main scanning direction and the sub-scanning direction before and after storing the image data in the fine scan (frame) memory 42. By doing so, the hardware configuration can be simplified.
[0050]
First, when the fine scan image data is written in the fine scan memory 42, the electronic magnification processing in the one-dimensional direction is performed once in the main scanning direction through the electronic magnification processing means 68. For example, in FIG. 5, when ◯ is the original image data, x is the interpolated image data after processing, and Xj is the distance from the interpolated image data x to the jth image data, in the case of bilinear interpolation, the interpolated image data x Interpolated image data fout is calculated by the following equation using the image data k, k + 1 on both sides.
fout = fk * C (Xk) + fk + 1 * C (Xk + 1)
Here, C (X) is a convolution function, and fk is, for example, a density value.
In the case of cubic sinc or cubic spline, the interpolated image data fout is calculated by the following equation using four points k-1, k, k + 1, k + 2 including the interpolation point x as the center. The

[0051]
The image data scaled in the one-dimensional (main scanning) direction in this way is written in the direction of arrow W in the fine scan (frame) memory 42 of FIG.
Next, the electronic scaling processing means 68 reads the image data from the fine scan memory 42 in the direction indicated by the arrow R (that is, the sub-scanning direction) in the figure, and similarly performs one-dimensional processing. As a result, image data interpolation processing is performed two-dimensionally. That is, in the case of bilinar, interpolation is performed using 4 points in total, 2 points each in the main direction and sub direction, and in the third order, 16 points in total, 4 points each in the main direction and sub direction, are used. Is interpolated.
[0052]
In the present embodiment, as the interpolation method, an optimal interpolation method is selected according to the pattern, the image output destination, the image processing speed, and the use application of the image. Here, the image output destination includes not only an output medium such as a photosensitive material such as silver salt paper to which an image is output, but also various recording media such as MO, removable hard disk (Jaz, Zip), or FD. .
As described above, interpolation methods include (1) nearest neighbor, (2) bilinia, (3) cubic sinc, (4) cubic spline, and (5) cubic B spline, These comparisons are shown in FIG.
[0053]
As shown in FIG. 6, the number of sample points used for interpolation is (1) is the closest one point, (2) is 4 points, and (3) to (5) are all 16 points. The hardware configurations (1) and (2) are small in scale, but (3) to (5) are large in scale because the calculation amount increases. The frequency characteristics are low in (2) and (5) and high in (3) and (4). The occurrence of a beat due to folding is visually recognized in (2), but is not visually recognized in (3) to (5). As for continuity, (3) has a problem with the occurrence of ripples, but there is no particular problem with the others.
Further, (1) has the advantage that the original image data is not destroyed and the advantage that the algorithm is simple.
Although (2) has a drawback that the original data is destroyed, there is an advantage in that a smoothing effect can be obtained for averaging.
Although (3) has a disadvantage that the original data is destroyed, there is an advantage that a sharpening effect can be obtained simultaneously with smoothing of the image.
Although (4) has a drawback that the original data is destroyed, it is often used in CG (computer graphics) in terms of the effectiveness of curve display.
In (5), the original data is destroyed, the frequency characteristics are low, and the sharpness is impaired.
[0054]
FIG. 7 shows the Fourier transform of the interpolation kernel.
The ideal shape of the interpolation kernel is indicated by a two-dot chain line in the figure, cubic sinc interpolation is indicated by a broken line, cubic spline interpolation is indicated by a solid line, and bilinar interpolation is indicated by a one-dot chain line. At this time, if n / m interpolation is treated as a combination of n-fold enlargement and 1 / m decimation, the spatial frequency characteristics of n-fold enlargement can be expressed as shown in the graph of FIG. At this time, at the time of 1 / m decimation, the component remaining in the high frequency is turned back and becomes a beat factor.
As can be seen from FIG. 7, in this case, the cubic spline is best.
[0055]
Considering these things, the interpolation method considered to be optimal is exemplified as follows, for example.
That is, for the picture, first, cubic sinc is suitable for landscapes, and cubic spline is suitable for people and CG. Nearest neighbors are sufficient for binary images. is there.
As for the image processing speed, biline and nearest neighbors are suitable when priority is given to the processing speed.
With regard to usage, biline is good for homepages, and cubic splines are suitable for printing or file output.
[0056]
The operator selects the interpolation method according to the difference in the output destination such as the type of these patterns, the type of photosensitive material such as silver salt paper or the recording medium, the image processing speed, and the usage of the image. May be selected, or may be set in advance for each case. In other words, the interpolation method specified from the order information (when ordering via the Internet) may be read (automatically), or the interpolation method is determined from the camera information (landscape mode, portrait mode, etc.) May be. Alternatively, the interpolation method may be switched by analyzing (determining) the pattern.
In addition, which interpolation method is used may be determined before the fine scan. For example, when the automatic determination is performed, the determination may be performed in advance before the pre-scan, or when the operator determines the value by looking at a monitor or the like, the determination may be performed after the pre-scan.
[0057]
The image processing means 70 that has received the image data after the electronic scaling processing performs image processing such as sharpness enhancement.
The degree of image processing or image processing performed at this time is changed according to the interpolation calculation method in the electronic scaling processing means 68.
For example, when the interpolation method is a cubic B-spline, the degree of sharpness enhancement is strengthened. When the interpolation method is a cubic convolution, the degree of sharpness enhancement is weakened, and when the interpolation method is a cubic spline. The degree of sharpness enhancement is moderate.
[0058]
The image data that has undergone image processing is input to the image data conversion unit 56, converted into image data for image output, and then output from the image processing device 14 to the image recording device 16. The image recording device 16 exposes a photosensitive material (photographic paper) according to input image data to record a latent image, performs a predetermined process on the exposed photosensitive material, and outputs it as a print (photograph).
[0059]
According to the present embodiment, an optimal interpolation method is selected according to the design, image output destination, image processing speed, use application of the image, and the subsequent image processing and image processing are performed according to the selected interpolation method. As a result, the optimum output image can be obtained.
Although the image processing method and apparatus of the present invention have been described in detail above, the present invention is not limited to the above examples, and various improvements and modifications may be made without departing from the spirit of the present invention. Of course.
[0060]
【The invention's effect】
As described above, according to the present invention, the optimum interpolation method is selected according to the design, the image output destination, the image processing speed, the usage of the image, and the like, and the subsequent interpolation is performed according to the selected interpolation method. Since the image processing and the degree of image processing are changed, an optimum output image can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an embodiment of a digital photo printer to which an image processing apparatus that performs an image processing method of the present invention is applied.
FIG. 2 is a block diagram showing an example of an image processing apparatus of the digital photo printer shown in FIG.
3 is a block diagram of an example of an image processing unit of a fine scan image data processing unit of the image processing apparatus shown in FIG.
FIG. 4 is a block diagram showing an example of actual electronic scaling processing in the present embodiment.
FIG. 5 is an explanatory diagram showing a one-dimensional process in the electronic scaling process of FIG. 4;
FIG. 6 is a chart comparing various interpolation methods.
FIG. 7 is a diagram showing a Fourier transform of an interpolation kernel.
FIG. 8 is an explanatory diagram showing near neighbor interpolation.
FIG. 9 is an explanatory diagram showing bilinear interpolation.
FIG. 10 is an explanatory diagram showing cubic sinc interpolation.
[Explanation of symbols]
10 Digital photo printer
12 Scanner
14 (Image) processing device
16 Image recording device
18 Operation system
18a keyboard
18b mouse
20 Monitor
22 Light source
24 Variable aperture
26 Diffusion box
28 Career
30 Imaging lens unit
32 Image sensor
34 A / D converter
36 Scanner correction unit
38 LOG converter
40 Pre-scan (frame) memory
42 Fine scan (frame) memory
44 Pre-scan data processor
46 Fine Scan Data Processing Unit
48 Condition setting section
50, 54Image processing unit
52, 56 Image data converter
58 Setup section
60 Key correction part
62 Parameter integration unit
64 color density gradation conversion means
66 Saturation conversion means
68 Electronic scaling processing means
70 Image processing means

Claims

An image processing method that increases or decreases the number of pixels of original image data arranged in a grid pattern at predetermined intervals, performs an electronic scaling process to enlarge or reduce the image, and then performs sharpness enhancement processing to obtain an output image,
Select the optimal interpolation method according to the design, image output destination, image processing speed or image usage and perform electronic scaling, then select and execute the strength of the sharpness enhancement processing to be performed thereafter An image processing method characterized in that the level is changed to a level determined by the type of interpolation method performed .

The image processing method according to claim 1, wherein the output destination of the image processing includes a recording medium on which an image is output.

3. The image processing method according to claim 1, wherein the strength of the sharpness enhancement processing is stronger when the interpolation method is a cubic spline method than when the interpolation method is a cubic convolution method.

Electronic scaling processing means for performing electronic scaling processing for increasing / decreasing the number of pixels of the original image data arranged in a grid at predetermined intervals, and scaling the image , and sharpness enhancement processing after performing the electronic scaling processing And an image processing device having an image processing means for making an output image,
The electronic scaling processing means performs an electronic scaling process by selecting an optimal interpolation method according to a pattern, an image output destination, an image processing speed, or an image use application,
The image processing device is characterized in that the strength of the sharpness enhancement processing performed after the electronic scaling processing is changed to a level determined by the type of the selected and executed interpolation method .