JP4159766B2 - Image processing method - Google Patents

Image processing method Download PDF

Info

Publication number
JP4159766B2
JP4159766B2 JP2001291270A JP2001291270A JP4159766B2 JP 4159766 B2 JP4159766 B2 JP 4159766B2 JP 2001291270 A JP2001291270 A JP 2001291270A JP 2001291270 A JP2001291270 A JP 2001291270A JP 4159766 B2 JP4159766 B2 JP 4159766B2
Authority
JP
Japan
Prior art keywords
image processing
subject
image
information
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001291270A
Other languages
Japanese (ja)
Other versions
JP2003101935A (en
Inventor
金城  直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2001291270A priority Critical patent/JP4159766B2/en
Publication of JP2003101935A publication Critical patent/JP2003101935A/en
Application granted granted Critical
Publication of JP4159766B2 publication Critical patent/JP4159766B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理方法に係り、特に、カメラの撮影情報や撮影位置情報等を利用することにより撮影シーンに最適な画像処理を行うようにする画像処理方法に関する。
【0002】
【従来の技術】
従来、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光(アナログ露光)が主流であった。
【0003】
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、このデジタル画像データに対して種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像(潜像)を記録し、(仕上り)プリントとするデジタルフォトプリンタが実用化された。
【0004】
このデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ(画像読取装置)、および読み取った画像を画像処理して出力用の画像データ(露光条件)とする画像処理装置を有する画像入力装置と、画像入力装置から出力された画像データに応じて感光材料を走査露光して潜像を記録するプリンタ(画像記録装置)、および露光済の感光材料に現像処理を施してプリントとするプロセサ(現像装置)を有する画像出力装置とを有して構成される。
【0005】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス(鮮鋭化)処理、カラーあるいは濃度フェリアの補正等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。
【0006】
ところで、近年、撮影の際に様々な撮影情報を写真フィルムに記録するようにしたカメラや、人工衛星からの信号に基づいて現在位置を判定するグローバルポジショニングシステム(GPS)機能を有し、写真を撮影する際に日時や撮影場所も一緒に記録できるGPS機能内蔵カメラが開発されている。
これらの撮影情報や位置情報を利用して上記デジタル画像処理を行うことにより、撮影画像に適した画像処理を行うことができ、より高品質の画像を得ることが可能となる。
【0007】
また近年、例えばAdobe社製画像処理ソフト「Photoshop」を始めとして、デジタル画像処理を行うための様々な画像処理ソフトが開発され市販されている。これらの画像処理ソフトを用いてデジタル画像処理を行うことにより、平滑化や鮮鋭化等の画像の修正、あるいは濃度の調整や色階調の補正その他様々な画像処理を施すことができ、多少撮影に失敗したような画像であっても、画像品質を改善し、好みの画像に仕上げることができる。
【0008】
【発明が解決しようとする課題】
しかしながら、上述した画像処理ソフトは、平滑化や鮮鋭化等の画像の修正、あるいは濃度の調整や色階調の補正その他様々な画像処理をマニュアルで実行するものであり、撮影シーン(コマ)毎に試行錯誤で画像処理の種類やその修正の程度等を決めていかねばならず、特に初心者には難しいという問題があった。
【0009】
本発明は、前記従来の問題に鑑みてなされたものであり、撮影シーンや被写体に最適な画像処理を施し、高品質な画像を得ることができるように、各シーンや被写体毎に対応する最適な画像処理条件を蓄積し、誰でも利用することができるようにした画像処理方法を提供することを課題とする。
【0010】
【課題を解決するための手段】
前記課題を解決するために、本発明は、カメラにおいて撮影された被写体の撮影シーンのデジタル画像データを取得するとともに、前記被写体の撮影時に前記カメラにおいて取得または入力された前記撮影シーン毎に付属する撮影位置情報、または前記撮影シーン毎に付属する撮影位置情報及び撮影情報を取得し、前記撮影シーン毎に付属する撮影位置情報、または前記撮影シーン毎に付属する撮影位置情報及び撮影情報、に基づいて前記撮影シーン内の被写体の推定を行い、該推定された前記撮影シーン内の被写体に応じた画像処理内容を、各種被写体に対応する画像処理条件を含む画像処理内容が予め蓄積されているデータベースから、前記撮影シーン内の前記被写体に対し最適化された画像処理内容として選択し、選択された前記被写体に対し最適化された画像処理内容を、そのまま自動的に、または、修正を受けた後、最終的に前記被写体に対し最適化された画像処理内容として設定し、設定された前記被写体に対し最適化された画像処理内容を前記デジタル画像データに対して行うに際し、前記データベースにおいては、登録されている情報に加え、その利用頻度に応じてその出力順位が付けられ、その出力順位が更新されることを特徴とする画像処理方法を提供するものである。
【0011】
また、前記データベースに、最終的に設定された前記被写体に対し最適化された画像処理内容を登録されて蓄積され、前記推定された前記撮影シーン内の被写体に応じた画像処理内容を選択するのに供されるようにしたことが好ましい。
また、選択された前記被写体に対し最適化された画像処理内容が行われた前記デジタル画像データに基づく画像をモニタに表示し、表示された前記画像に基づいて、選択された前記被写体に対し最適化された画像処理内容が修正された後、最終的に前記被写体に対し最適化された画像処理内容として設定されることが好ましい。
また、前記データベースには、前記撮影シーン内の前記被写体に関する被写体情報および前記被写体に対し最適化された画像処理内容の情報が登録され、蓄積され、前記データベースに登録される前記画像処理内容の情報は、前記デジタル画像データに施す画像処理の種類および画像処理条件および/または画像処理パラメータであることが好ましい。
また、前記データベースに登録されている情報は、さらに、前記被写体に対し最適化された画像処理内容が行われた前記デジタル画像データを表示するモニタの表示出力制御に利用されることが好ましい。
また、前記データベースには、前記画像処理内容の情報に加え、さらに、前記被写体を撮影するための撮影テクニックを含む撮影に関する情報も登録されて蓄積され、選択に供されることが好ましい。
【0012】
【発明の実施の形態】
本発明に係る画像処理方法について、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
本発明は、被写体の撮影時に、カメラにおいて取得されるGPS情報を含むカメラの撮影情報等を用いて、撮影シーン内の被写体の推定を行い、該推定された被写体を含む撮影シーンに応じた最適な画像処理内容を、データベースを参照して決定し、撮影シーン毎に最適化された画像処理を行うとともに、撮影シーン毎に最適化された画像処理条件を前記データベースに登録して蓄積し、画像処理のノウハウを共有化するものである。
【0013】
まず、本発明の第1実施形態に係る画像処理方法について、好適な実施形態を挙げて説明する。本実施形態は、人工衛星を用いたGPSを利用し得るカメラを用いて取得されるGPS情報を含むカメラの撮影情報(カメラ情報)により、被写体シーンの推定(特定)を行い、被写体シーンに応じた色、階調制御を行うものである。しかし、本発明は本実施形態に限定されるものではない。
【0014】
図1は、本発明の画像処理方法を実施する画像処理装置を適用するデジタルフォトプリンタの一実施例のブロック図である。
図1に示されるデジタルフォトプリンタ10は、基本的に、(写真)フィルムFに撮影された画像を光電的に読み取るスキャナ(画像読取装置)12と、本発明の画像処理方法を実施するとともに、読み取られた画像データ(画像情報)の画像処理や種々のデータ処理やデジタルフォトプリンタ10全体の操作および制御等を行う画像処理装置14と、画像処理装置14から出力された画像データに応じて変調した光ビームで感光材料を画像露光し、現像処理して写真プリントとして出力するプリンタ16とを有する。
【0015】
なお、画像処理装置14から出力される本発明の画像処理方法によって画像処理された出力画像データは、写真プリントとして出力するためにプリンタ16に出力されるものに限定されず、各種の画像データ記録媒体(画像記録媒体)25に記録(および再生)するために出力されるものであっても良いし、スロット27を経由してインターネットなどの通信手段を介して配信されるもの、例えば、ネット転送サービス(および再生)であっても良い。
【0016】
また、画像処理装置14には、様々な条件の入力や設定、処理の選択や指示、色/濃度補正などの指示等を入力するためのキーボード18aおよびマウス18bを有する操作系18と、スキャナ12で読み取られた画像、各種の操作指示、様々な条件の設定/登録画面等を表示する画像表示装置(ディスプレイモニタ、以下、単にモニタという)20とが接続される。
スキャナ12は、フィルムFに撮影されたカラー画像を光電的に読み取る装置で、光源22と、可変絞り24と、フィルムFに入射する読取光をフィルムFの面方向で均一にする拡散ボックス28と、結像レンズユニット32と、フィルムの撮影画像を読み取るフォトセンサであるCCDセンサ34と、アンプ(増幅器)36と、A/D(アナログ/デジタル)変換器37とを有し、さらに、スキャナ12の本体に装着自在な専用のキャリア30から構成される。
【0017】
キャリア30は、例えば24枚取りの135サイズのフィルムや新写真システムフィルム(APSのカートリッジ)等の、長尺なフィルムに対応する各種専用のキャリアが用意されており、所定の読み取り位置にフィルムFを保持しつつ、CCDセンサ34のラインCCDセンサの延在方向(主走査方向)と直行する副走査方向に、フィルムFの長手方向を一致して搬送する、読み取り位置を副走査方向に挟んで配置される搬送ローラ対と、フィルムFの投影光を所定のスリット状に規制する、読み取り位置に対応して位置する主走査方向に延在するスリットを有するマスク、更に磁気読取書込装置とを有する。
フィルムFはこのキャリア30によって保持されて、副走査方向に搬送されつつこのフィルムFに読み取り光が入射される。これにより、フィルムFが主走査方向に延在するスリットによって2次元的にスリット走査され、フィルムFに撮影された各コマの画像が読み取られる。
【0018】
CCDセンサ34は、それぞれR画像、G画像およびB画像の読み取りを行う3つのラインCCDセンサを有するラインセンサで、ラインセンサは主走査方向に延在している。フィルムFの投影光は、このCCDセンサによってR、GおよびBの3原色に分解されて光電的に読み取られる。
光源22から射出され、可変絞り24によって光量調整され拡散ボックス28を通して均一にされた読み取り光が、キャリア30によって所定の読み取り位置に保持されつつ搬送されるフィルムFに入射して、透過することにより、フィルムFに撮影された画像を担持する投影光を得る。
フィルムFの投影光は、結像レンズユニット32によってCCDセンサ34の受光面に結像され、CCDセンサ34によって光電的に読み取られ、その出力信号は、アンプ36で増幅されて、A/D変換器37でデジタル画像データに変換され、入力画像データとして画像処理装置14に送られる。
【0019】
例えば、新写真システム(APS)のフィルムFの場合においては、周知のように、フィルムFの裏面(非乳化剤面)側で撮影シーンの画像、すなわち撮影画像を記録した各コマの画像記録領域の上部および下部の領域に磁気記録層が形成され、カートリッジIDやフィルム種等や撮影情報、例えば撮影日付や撮影時刻等の撮影日時や、撮影位置(カメラ位置)や撮影方位や撮影倍率等のGPS情報やデータや、さらにはこれらの撮影情報に基づくその他の付加情報等が記録されている。
【0020】
これらの記録された情報は、スキャナ12でフィルムFの画像が読み取られる際に、同時にスキャナ12内の磁気読取書込装置にて読み取られる。すなわち、新写真システムAPSのフィルム(カートリッジ)がそれに対応するキャリア30にセットされ、フィルムFがキャリア30によって副走査方向に搬送されてCCDセンサ34で読み取られる間に、磁気読取書込装置にて磁気記録された情報が読み取られ、撮影情報を含む各種の情報が画像処理装置14に送られる。場合によっては、磁気読取書込装置によって磁気記録層に撮影情報に基づく付加情報などの必要な情報が記録される。
【0021】
また、フィルムカートリッジがICメモリを装着したものである時、装着されたICメモリにカートリッジIDやフィルム種、また撮影日時、撮影位置や撮影(カメラ)方位や撮影倍率等の撮影情報のデータが記録されている場合は、その情報を読み取ることができる。また、必要な情報が場合に応じてICメモリに記録される。
撮影情報やこれに基づく付加情報の取得方法および記録方法は、APSフィルムの磁気記録層やICメモリ付きフィルムカートリッジのICメモリからの読み出しや記録に限定されないのはもちろんである。
【0022】
なお、デジタルフォトプリンタ10を構成するスキャナ12は、上述のスリット走査によるものに限定されず、1コマの画像の全面を一度に読み取る面露光を利用したCCDエリアセンサであってもよい。その場合、図1に示す可変絞り24と拡散ボックス28との間にR,GおよびBの色フィルタを設け、そこを通過してR、GおよびBに色調整された光を、フィルムFの1コマに入射して、透過することにより、フィルムFに撮影されたこのコマの画像を担持する投影光を得てもよい。この場合、色フィルタを順次R、GおよびBについて3回行う必要がある。
【0023】
また、スキャナ12における画像のCCDセンサでの読み取りは、写真プリントを出力するために画像を読み取るファインスキャンに先立ち、画像処理条件等を決定するために、画像を低解像度で読み取るプレスキャンを行ない画像処理条件を決定し、オペレータ(またはユーザ)がモニタ20で確認し調整した後、高解像度で画像を読み取るファインスキャンを行うため、スキャンはプレスキャンとファインスキャンの2回行われる。そのため、R、GおよびBの色フィルタを設け、面露光を利用したCCDエリアセンサを用いた場合、R、GおよびBの色フィルタを用いて3回スキャンする必要があるため、計6回のスキャンを行うことになる。ラインCCDセンサを用いる場合は、2回で済むことになるので、迅速な処理にとっては有利である。
また、プレスキャンは、フィルムFのすべての画像を一気にプレスキャンで取り込んで、画像処理条件を設定した後、ファインスキャンを行っているが、フィルムFを一コマごとにプレスキャンとファインスキャンを逐次行ってもよい。
【0024】
また、本発明では、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ12以外にも、反射原稿の画像を読み取る画像読取装置、コンピュータ通信等の通信手段(モデムを介するものも含む)、デジタルカメラやデジタルビデオカメラ等の撮像デバイスや内蔵メモリ、PCカードやスマートメディア等のデジタルカメラ用の画像記録媒体、FD(フレキシブルディスク)やMO(光磁気記録媒体)等の汎用の画像記録媒体などの各種の画像データ供給源を利用することができ、これらを直接またはその駆動装置を介して画像処理装置14に接続することができ、画像処理装置14は、これらの画像データ供給源からデジタル画像データやその撮影情報や付加情報を受け取ることができる。なお、これらの画像データ供給源は、本発明の画像処理方法による処理済画像データの出力先としても機能する。
【0025】
特に、図1に示されるフォトプリンタ10では、デジタルカメラ等で撮影して得られたデジタル画像データを記録したPCMCIA(PCカード)、ATAカード、コンパクトフラッシュ(登録商標)カード等のカードメモリやスマートメディア等のデジタルカメラ用画像記録媒体25や、FD(フレキシブルディスク)、CD−R(レコーダブルコンパクトディスク)、MO(マグネトオプティカルディスク)、DVD(ディジタルバーサタイルディスク)やZip等の汎用の画像記録媒体25から画像データやを読み出し取得するとともに画像記録媒体25に処理済画像データを記録して出力するためのドライブ装置26が画像処理装置14に接続されている。また、(パーソナル)コンピュータやデジタルカメラや他のデジタルフォトプリンタのスキャナや画像処理装置等の種々の画像データ供給源に直接ケーブル(例えば、RS232C)を介して接続して、あるいはインターネットなどの通信ネットワークを介して接続して、デジタル画像データやその付属情報である撮影情報や付加情報を取得するとともに処理済画像データを配信するためのスロット27等が画像処理装置14に配置される。
【0026】
なお、図示例では、入力信号(デジタル画像データおよび付属情報(撮影情報や付加情報))は、スキャナ12やドライブ装置26等の種々の画像データ供給源から画像処理装置14に入力されるが、以下の説明では、主としてスキャナ12から画像処理装置14にデジタル画像データが供給される場合を代表例として説明する。
【0027】
画像処理装置14は、スキャナ12で読み取られ、デジタルデータとして、画像処理装置14に送られてきた画像データに所定の画像処理を施し、プリンタ16またはモニタ20に出力するもので、そのブロック図が図2に示される。
同図に示すように、画像処理装置14は、データ処理部38、プレスキャンメモリ40、ファインスキャンメモリ42、プレスキャン画像処理部44、ファインスキャン画像処理部46、条件設定部48および撮影画像判定部62から構成される。
【0028】
データ処理部38では、スキャナ12から出力されたR、GおよびBのデジタル画像データ(入力画像データ信号)に、Log変換、DCオフセット補正、暗時補正、シェーディング補正等を行い、処理済プレスキャン(画像)データはプレスキャンメモリ40に、処理済ファインスキャン(画像)データはファインスキャンメモリ42に、それぞれ記憶(格納)される。なお、A/D変換は、スキャナ12で行わず、このデータ処理部38で行うようにしてもよい。
プレスキャンメモリ40およびファインスキャンメモリ42には、データ処理部38で処理されたデジタル画像データが記憶され、必要に応じて、画像処理を施し出力するために、プレスキャン画像処理部44、または、ファインスキャン画像処理部46に呼び出される。
【0029】
プレスキャン画像処理部44は、画像処理部50と画像データ変換部52とからなり、画像処理部50は、色バランス調整、コントラスト補正、明るさ補正、さらにシャープネス処理や覆い焼処理等の従来技術としての画像処理のほか、撮影レンズの収差特性に基づく歪曲収差や倍率色収差や周辺光量低下や画像ボケなどの収差の補正処理を実施する部分である。
画像データ変換部52では、画像処理部50で画像処理の施された画像データを、モニタ20による表示に対応する画像データに加工するため、3D(三次元)LUT等を用いて変換する。
【0030】
ファインスキャン画像処理部46は、画像処理部54および画像データ変換部58から構成される。
画像処理部54では、ファインスキャン画像データについて、プレスキャン画像データにおいて決定された画像処理条件下、色バランス調整、コントラスト補正(階調処理)、明るさ補正等が図示しないLUT(ルックアップテーブル)による処理によって、また、彩度補正が図示しないMTX演算によって公知の方法で行われ、さらに、オペレータの指示や画像データ等に応じて、シャープネス処理や覆い焼き処理等が行われる他、撮影レンズの特性による歪曲収差や倍率色収差などの補正および写真プリントの出力サイズに応じて画像を拡大縮小する電子変倍処理を行う。
【0031】
また、画像処理部54は、撮影シーン中において推定された被写体および推定された撮影状況に応じた画像処理を行う。このような画像処理としては、1コマ撮影シーンの画像の画面全体または特定された被写体領域に限定した、濃度または色の階調制御、幾何歪み補正、シャープネス強調または平滑化処理等がある。なお、これらの画像処理は、画像処理部54だけでなく、プレスキャン画像処理部44の画像処理部50でも行ってもよい。
画像データ変換部58では、画像処理部54で画像処理の施された処理済画像データを、プリンタ16からプリント出力する画像データに加工するため、3DLUT等を用いて変換する。
【0032】
なお、ここでは、画像処理の施された処理済画像データをプリンタ16からプリント出力しているが、本発明はこれに限定されず、画像データ変換部58で、画像記録媒体25に記録するための画像データに変換(例えば、媒体出力に応じたフォーマット変換など)を行って、ドライブ装置26に出力しても良いし、インターネットなどの通信網や通信手段等を介して配信するための画像データに変換(例えば、ネット出力に応じたフォーマット変換など)を行って、スロット27に出力しても良い。こうして、本発明においても、プリント出力のみならず、各種の画像記録媒体への記録や再生、各種のネット配信(転送)サービスや再生に処理画像データを利用することができる。
【0033】
条件設定部48においては、プレスキャン画像データがプレスキャンメモリ40から読み出され、画像処理条件を決定するのに用いられる。
具体的には、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、LATD(大面積透過濃度)、ハイライト(最低濃度)、シャドー(最高濃度)等の画像特徴量の算出等を行い、加えて、必要に応じて行われるオペレータによる指示に応じて、前述のグレイバランス調整等のテーブル(LUT)や彩度補正を行うマトリクス演算の作成等を行い、画像処理条件を決定する。決定された画像処理条件は、さらに、キーボード18aおよびマウス18bを有する操作系18で調整され、画像処理条件が再設定される。
なお、本実施形態においては、条件設定部48は、推定された被写体や推定された撮影状況等の情報に応じて画像処理条件の再設定や補正条件の設定を行うことができる。
【0034】
また、オペレータが撮影日時データや撮影位置などの撮影情報に関連する付加情報を選択する際に、ユーザの希望に応じて項目を指定するために、キーボード18aやマウス18bが用いられる。モニタ20は、プレスキャン画像データの画像処理が適切かどうか、オペレータが確認、検定するものであり、画像データ変換部52を介して画像処理装置14と接続される。
なお、図2は主に画像処理関連の部位を示すものであり、画像処理装置14には、これ以外にも、画像処理装置14を含むデジタルフォトプリンタ10全体の制御や管理を行うCPU、デジタルフォトプリンタ10の作動等に必要な情報を記憶するメモリ、ファインスキャンの際の可変絞り24の絞り値やCCDセンサ34の蓄積時間を決定する手段等が配置される。
【0035】
撮影画像判定部62は、被写体推定部62aとデータベース部62bとから構成される。被写体推定部62aは、撮影シーン毎に付属する撮影位置情報や撮影情報に基づいて、撮影シーン内の被写体を推定し、また撮影状況を推定するものである。また、データベース部62bは、推定された被写体あるいは撮影シーンの撮影状況に最適な画像処理内容を設定するために参照すべき画像処理条件が蓄積されている画像処理データベースや、撮影シーン内の被写体の推定に用いられる地図データベース、あるいは主要被写体となる著名な山や観光名所や有名な撮影スポットなどの撮影画像を蓄えた撮影画像(蓄積画像)データベース、あるいは各地の天候を記録した天候データベースや各地のイベント情報を記録したイベントデータベース等々の情報を含んでいる。
特に、本実施形態では、画像処理データベースには、ラボにおける特定の被写体または撮影シーン毎にベテランオペレータによる画像処理内容が蓄積され保管されているものとする。
【0036】
なお、データベース部62bは、このように、画像処理装置14の撮影画像判定部62に内蔵されているものに限定されず、外部記憶装置として画像処理装置14に接続されるものであってもよいし、また、その数も1つには限定されず、複数の記憶装置で構成されていてもよいし、さらには、フォトプリンタ10に備えられているものにも限定されず、インターネット等の通信手段を介して接続可能、あるいは検索可能なデータベースであってもよい。
【0037】
本発明の画像処理方法を実施する画像処理装置を適用するデジタルフォトプリンタは、基本的に以上のように構成されるが、以下、その作用及び本発明の第1実施形態に係る画像処理方法について、図3のフローチャートを参照して説明する。
【0038】
まず、GPS情報を利用することのできるカメラ66により、被写体を撮影するとともに、GPS情報及び各種撮影情報が記録される(S100)。例えばAPS(新写真システム)カメラの場合、APS対応フィルムFの各コマの画像記録領域の上部および下部の領域に磁気記録層が形成されており、ここにGPS情報及び撮影情報等のカメラ情報が記録される。さらに、方向探知機用方位指示器を付加すると、撮影した緯度、経度および高度さらには、水平面および垂直面に関する撮影方位角が記録される他、撮影時の撮影倍率などのカメラ情報も記録することができる。
この記録されたカメラ情報は、スキャナ12のキャリア30に設けられている磁気読取書込装置で読み込まれ、スキャナ12から画像データと別の経路で撮影画像判定部62へ送られる(S102)。
【0039】
撮影画像判定部62の被写体推定部62aは、送られてきたカメラ情報のGPS情報(撮影位置情報)や撮影情報からデータベース部62b内の地図データベースを検索して、撮影された画像の撮影地点や撮影シーン内の被写体を推定する(S104)。この被写体推定部62aにおける、被写体や撮影地点の推定は、以下のようにして行われる。
【0040】
例えば、撮影された被写体が山である場合、その山が何という山であるかとか、どの地点にあるかを特定するには、得られた撮影位置と方位から地図データベースを参照して特定する。複数の人工衛星からの信号をもとに位置を正確に知ることのできるGPSを利用することで、撮影した位置、すなわち経度、緯度および高度を得ることができる。これらの経度、緯度および高度の位置に関する測位精度は100m以内であり実用上問題はなく、方位角についても方向探知機用方位指示器を用いることで方位を精度よく測定できるので、撮影倍率データに依存して定まる地図上の所定の画角内に収まる対象物と撮影された被写体を照合することで、撮影被写体や撮影地点を地図データベース上の対象物として特定することができる。なお、撮影地点には、画面内に写っている、撮影画像内の被写体の位置、すなわち撮影された地点(位置)のみならず、撮影者またはカメラの位置などの撮影する位置、すなわち撮影位置を含めてもよい。こうすることにより、撮影画像の内の被写体だけでなく、撮影位置そのものに関する情報も付加情報として撮影画像に付加することができるからである。
【0041】
このようにして、撮影位置が推定され、例えば被写体が富士山であると推定された場合、また撮影情報により撮影時期が夏であるとわかった場合には、それにふさわしい画像処理条件が画像処理データベースから選択される。例えば、濃度/色味はd1〜d2、コントラストはc1、シャープネスはこの程度のパラメータ等々とされる。また、オペレータがモニタ20を見て検定を行い、これにさらに修正処理を加えるようにしてもよい。
最終的な画像処理条件は条件設定部48で設定され、この画像処理条件が画像処理部50及び54に送られて、推定された被写体に応じた画像処理が行われる(S106)。オペレータによって修正が加えられて最終的に設定された画像処理条件はデータベース部62bの画像処理データベースに登録され、蓄積される(S108)。このように、画像処理内容については、撮影シーンの状況や撮影媒体に応じて様々なノウハウがあることが望ましい。このように、ベテランオペレータによる画像処理内容が画像データベースに登録され、共用化されることが望ましい。
【0042】
また、画像処理内容の選定においては、このように被写体や撮影状況(撮影時期)を考慮するのみではなく、例えば、被写体サイズが大の場合には、シャープネス強調の係数はk1、被写体サイズが小の場合には、シャープネス強調の係数はk3等、被写体のサイズに応じてシャープネス強調の係数を変えるようにしてもよい。あるいは、デジタルカメラの画素数に応じて、平滑化処理の係数を変える等、画像処理に関する様々な細かいノウハウを画像処理データベースに保管しておくようにすることが好ましい。このように、画像処理のノウハウがデータベース化されていると、経験のないオペレータでも、これらのノウハウを利用することによりベテランオペレータと同様の画像を得ることができる。
【0043】
次に、本発明の第2実施形態について説明する。
上述した第1実施形態が特にベテランオペレータによる画像処理のノウハウをデータベース化して、このノウハウを共用化しようとするものであったが、本実施形態は、必ずしもオペレータによる操作を必要とせず、被写体の推定から画像処理内容の選定まですべて全自動で行うことを可能とするものである。
【0044】
本実施形態の画像処理方法も第1実施形態同様に、図1及び図2に示された画像処理装置14によって実施される。
ただ、本実施形態においては、データベース部62bの地図データベースは3D地図情報を含むものとし、さらに、各構成物別に、その材質や色味等のデータについてもデータベース化しておくものとする。これにより、被写体が特定されると、その材質や色味がわかるので、それに相応しい最適な画像処理を自動的に施すことが可能となる。
【0045】
本実施形態においても前記第1実施形態と同様に、まず、GPS情報を利用することのできるカメラにより、被写体を撮影するとともに、GPS情報及び各種撮影情報を記録する。撮影画像データ及びGPS情報等のカメラ情報は画像処理装置14内の撮影画像判定部62に送られる。被写体推定部62aでは、GPS情報及び3D地図情報あるいはさらに補助的に画像特徴量等を用いて、撮影シーン中の構成物(被写体)を推定する。
【0046】
このとき各構成物毎にその材質や色等がデータベース化されているので、画像特徴量を補助的に用いることにより構成物を推定する際の精度を向上させることができる。例えば、カメラの方位指示器(コンパス)の精度が悪く位置ずれを起こしていても、撮影コマに写っている建物の実際の色と、画像特徴量から抽出された色情報とを比較することにより、確かにその建物であると推定することができ、精度よく撮影エリアの補正(微調整)を行うことができる。
【0047】
撮影シーン中の構成物が推定されると、各構成物毎にデータベースから色や材質情報を参照して、最適化された画像処理パラメータを適用して、画像処理を行う。例えば、地面は土か、砂地か、アスファルトか、あるいは草地か等々、また建築物の壁面の素材は何か、森林であればその植物の種類は何か、等がデータベースを参照してわかるので、これらを再現するのに最も相応しい色を設定したり、シャープネスの設定を切り換えたり、これに最適な処理パラメータを適用するようにする。また、撮影倍率等他の撮影情報等を用いて、各処理パラメータを切り換えるようにしてもよい。
【0048】
本実施形態の場合、このように、被写体(シーン中の構成物)に対する色や材質等の情報がデータベース化されているため、この情報を用いることにより、自動的に処理パラメータを設定して、処理することが可能である。
もちろん、この場合でも、オペレータが見て修正するようにしてもよいのはもちろんである。修正した処理パラメータはデータベースに登録してデータを共用化することが好ましい。
【0049】
以上説明した各実施形態のように画像処理条件をデータベース化しておき、これを用いることにより、例えばベテランオペレータによってなされるような質のよい画像処理を施すことができ、高品質な画像を得ることが可能となる。
このとき、一般ユーザーが自宅の家庭用プリンタを用いてプリント出力する場合に、ラボ店(写真店)のデータベースにアクセスして、そのデータベースに蓄積されている各種のノウハウを利用することができるようにしてもよい。このとき、被写体エリア別に最適化パラメータを適用するので、素人でも手軽に画像加工を行うことができ、画質を向上させることができる。
また、データベースに登録しておくデータは最適なもの一種類のみでなく、お勧めのパラメータを複数パターン用意しておき、その中から選択できるようにしてもよい。また、登録されている情報を画像処理のみだけでなく、スキャナ入力やモニタ表示出力(CRTや液晶等の種類別)の制御に利用するようにしてもよい。
【0050】
また、画像処理条件をデータベース化しておき、これを利用して画像処理を行う他の例として、例えば、写真の同好会等で、各自の画像処理内容(こういう被写体の場合にこのような画像処理を施したら、このように良い結果が得られたというような、各自の経験による最適な被写体情報及び処理パラメータ情報のセット等)を登録して、自分たち独自のデータベースを作成して、同好会仲間でこれを利用するようにしてもよい。このとき、画像処理のみだけでなく被写体に応じた撮影テクニック等に関する情報も登録しておき、カメラがGPS機能や通信機能を有している場合には、撮影時にデータベースと交信してプロカメラマンや同好会メンバ等のお勧めポイントや撮影テクニックを被写体に応じて参照するようにすることもできる。
【0051】
また、データベース側では、登録されている情報の利用頻度(参照または採用率)に応じて、各登録データに、参照データとしての出力順位を付けて、これを常に更新するようにしてもよい。さらに、各データの利用頻度状況を各登録者に定期的に連絡するようにしてもよい。このようにすると、特にマニアにとっては、自身の登録した経験情報がどの程度役に立っているかがわかり、写真撮影の楽しみが増す。
【0052】
以上説明したように、各実施形態によれば、被写体エリア別にその被写体に最適な画像処理パラメータを適用することができ、画質を向上させることができる。また、このような各被写体毎の最適な画像処理内容を蓄積し、データベース化し、共用化することにより、誰でも質の高い画像処理テクニックを利用することができ、高画質の画像を得ることができる。
【0053】
以上、本発明の画像処理方法について詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【0054】
【発明の効果】
以上説明した通り本発明によれば、被写体エリア別にその被写体に最適な画像処理パラメータを適用することができ、撮影シーンや被写体に最適な画像処理を施し高品質な画像を得ることが可能となるとともに、被写体毎に最適な画像処理内容をデータベースに登録することで画像処理ノウハウを共用化することが可能となる。
【図面の簡単な説明】
【図1】 本発明の画像処理方法を実施する画像処理装置を適用するデジタルフォトプリンタの一実施例のブロック図である。
【図2】 図1のデジタルフォトプリンタに用いられる本発明の画像処理方法を実施する画像処理装置の一実施例の構成を示すブロック図である。
【図3】 本発明の第1実施形態の作用を示すフローチャートである。
【符号の説明】
10 (デジタル)フォトプリンタ
12 スキャナ
14 画像処理装置
16 プリンタ
18 操作系
18a キーボード
18b マウス
20 モニタ
22 光源
24 可変絞り
25 画像記録媒体
26 ドライブ装置
27 スロット
28 拡散ボックス
30 キャリア
32 結像レンズユニット
34 CCDセンサ
36 アンプ
37 A/D(アナログ/デジタル)変換器
40 プレスキャン(フレーム)メモリ
42 本スキャン(フレーム)メモリ
44 プレスキャン画像処理部
46 本スキャン画像処理部
48 条件設定部
50,54 (画像)処理部
52,58 画像データ変換部
62 撮影画像判定部
62a 被写体推定部
62b データベース部
66 カメラ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method, and more particularly to an image processing method that performs optimal image processing for a shooting scene by using shooting information, shooting position information, and the like of a camera.
[0002]
[Prior art]
Conventionally, images shot on a photographic film (hereinafter referred to as film) such as a negative film or a reversal film are printed on a photosensitive material (photographic paper) by projecting the film image onto the photosensitive material and exposing the photosensitive material to a surface. The so-called direct exposure (analog exposure) was the mainstream.
[0003]
In contrast, in recent years, a printing apparatus using digital exposure, that is, an image recorded on a film is photoelectrically read, and the read image is converted into a digital signal. A digital photo printer that prints (finished) images by scanning and exposing the photosensitive material with recording light modulated in accordance with the image data to record the image (latent image) is put into practical use. It was done.
[0004]
This digital photo printer basically has a scanner (image reading device) that photoelectrically reads an image recorded on a film, and image processing that processes the read image to output image data (exposure conditions). An image input device having a device, a printer (image recording device) that scans and exposes a photosensitive material in accordance with image data output from the image input device, and records a latent image, and develops the exposed photosensitive material And an image output device having a processor (developing device) for printing.
[0005]
In digital photo printers, the exposure conditions during printing can be determined by processing the image data as digital image data, so correction of image skipping and blurring caused by backlighting, flash photography, etc., sharpness (sharpening) ) Processing, color or density feria correction, etc. can be suitably performed to obtain a high-quality print that could not be obtained by conventional direct exposure.
[0006]
By the way, in recent years, it has a global positioning system (GPS) function that determines the current position based on a camera that records various shooting information on a photographic film at the time of shooting, and a signal from an artificial satellite. Cameras with a built-in GPS function that can record the date and time and shooting location when shooting are being developed.
By performing the above digital image processing using these shooting information and position information, it is possible to perform image processing suitable for the shot image, and to obtain a higher quality image.
[0007]
In recent years, various image processing software for performing digital image processing, such as image processing software “Photoshop” manufactured by Adobe, has been developed and marketed. By performing digital image processing using these image processing software, it is possible to perform image correction such as smoothing and sharpening, or to perform various image processing such as density adjustment and color gradation correction. Even if the image is unsuccessful, the image quality can be improved and the image can be finished as desired.
[0008]
[Problems to be solved by the invention]
However, the above-described image processing software manually executes various image processing such as image correction such as smoothing and sharpening, density adjustment, color gradation correction, and the like, for each shooting scene (frame). In addition, the type of image processing and the degree of correction must be determined by trial and error, which is difficult for beginners in particular.
[0009]
The present invention has been made in view of the above-described conventional problems, and is optimal for each scene and subject so that a high-quality image can be obtained by performing optimal image processing on the shooting scene and subject. It is an object of the present invention to provide an image processing method that accumulates various image processing conditions and enables anyone to use them.
[0010]
[Means for Solving the Problems]
  In order to solve the above problems, the present invention acquires digital image data of a shooting scene of a subject shot by a camera and is attached to each shooting scene acquired or input by the camera when shooting the subject. Based on the shooting position information or the shooting position information and shooting information attached to each shooting scene, and the shooting position information and shooting information attached to each shooting scene. A database in which the subject in the shooting scene is estimated, and the image processing content corresponding to the estimated subject in the shooting scene and the image processing content including image processing conditions corresponding to various subjects are stored in advance. To select image processing content optimized for the subject in the shooting scene, and select the selected subject. The image processing content optimized for the subject is automatically set as it is, or after being modified, and finally set as the image processing content optimized for the subject, and is optimized for the set subject. The processed image processing content is applied to the digital image dataAt the time, in the database, in addition to the registered information, the output order is given according to the usage frequency, and the output order is updated.An image processing method characterized by the above is provided.
[0011]
  Further, the image processing content optimized for the finally set subject is registered and stored in the database, and the image processing content corresponding to the estimated subject in the shooting scene is selected. It is preferable to be provided for.
  Further, an image based on the digital image data on which the image processing content optimized for the selected subject is performed is displayed on a monitor, and the optimum for the selected subject is displayed based on the displayed image. It is preferable that the processed image processing content is finally set as the image processing content optimized for the subject after the corrected image processing content is corrected.
  In addition, in the database, subject information related to the subject in the shooting scene and information on image processing content optimized for the subject are registered, stored, and information on the image processing content registered in the database. Are preferably the type of image processing applied to the digital image data, the image processing conditions, and / or the image processing parameters.
  Also, in the databaseThe registered information isFurthermore, for display output control of a monitor that displays the digital image data that has been subjected to image processing content optimized for the subject.UsedIt is preferable.
  Further, in the database, in addition to the information on the image processing contents, information related to photographing including photographing techniques for photographing the subject is also registered and accumulated, and can be used for selection.preferable.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
An image processing method according to the present invention will be described in detail below based on a preferred embodiment shown in the accompanying drawings.
The present invention estimates the subject in the shooting scene using the shooting information of the camera including GPS information acquired by the camera at the time of shooting the subject, and optimizes according to the shooting scene including the estimated subject. Image processing content is determined with reference to a database, image processing optimized for each shooting scene is performed, and image processing conditions optimized for each shooting scene are registered and stored in the database, It is to share processing know-how.
[0013]
First, the image processing method according to the first embodiment of the present invention will be described with reference to preferred embodiments. In the present embodiment, subject scene estimation (specification) is performed based on shooting information (camera information) of a camera including GPS information acquired using a camera that can use GPS using an artificial satellite, and according to the subject scene. Color and gradation control. However, the present invention is not limited to this embodiment.
[0014]
FIG. 1 is a block diagram of an embodiment of a digital photo printer to which an image processing apparatus that implements the image processing method of the present invention is applied.
A digital photo printer 10 shown in FIG. 1 basically executes a scanner (image reading device) 12 that photoelectrically reads an image taken on a (photo) film F, and the image processing method of the present invention. Image processing of the read image data (image information), various data processing, operation and control of the entire digital photo printer 10, and the like, and modulation according to the image data output from the image processing device 14 And a printer 16 that exposes the photosensitive material to an image with the light beam and develops it to produce a photographic print.
[0015]
Note that the output image data processed by the image processing method of the present invention output from the image processing device 14 is not limited to that output to the printer 16 for output as a photographic print, and various image data recording It may be output for recording (and reproduction) on the medium (image recording medium) 25, or distributed via a communication means such as the Internet via the slot 27, for example, net transfer It may be a service (and playback).
[0016]
Further, the image processing apparatus 14 includes an operation system 18 having a keyboard 18a and a mouse 18b for inputting various conditions input and settings, process selection and instructions, color / density correction instructions, and the like, and a scanner 12. Are connected to an image display device (display monitor, hereinafter simply referred to as a monitor) 20 that displays the image read in step 1, various operation instructions, various condition setting / registration screens, and the like.
The scanner 12 is a device that photoelectrically reads a color image photographed on the film F, and includes a light source 22, a variable aperture 24, and a diffusion box 28 that makes reading light incident on the film F uniform in the surface direction of the film F. , An imaging lens unit 32, a CCD sensor 34 which is a photosensor for reading a photographed image of a film, an amplifier 36, and an A / D (analog / digital) converter 37. Further, the scanner 12 It is comprised from the carrier 30 for exclusive use with which the main body can be mounted | worn.
[0017]
For the carrier 30, for example, a special carrier corresponding to a long film such as a 24-size 135-size film or a new photographic system film (APS cartridge) is prepared, and the film F is placed at a predetermined reading position. While the image sensor is being held, the longitudinal direction of the film F is conveyed in the sub-scanning direction perpendicular to the extending direction (main scanning direction) of the line CCD sensor of the CCD sensor 34, and the reading position is sandwiched in the sub-scanning direction. A pair of transport rollers arranged, a mask having a slit extending in the main scanning direction, which corresponds to the reading position, which restricts the projection light of the film F into a predetermined slit shape, and a magnetic reading / writing device Have.
The film F is held by the carrier 30 and the reading light is incident on the film F while being transported in the sub-scanning direction. Thereby, the film F is two-dimensionally slit-scanned by the slit extending in the main scanning direction, and the image of each frame photographed on the film F is read.
[0018]
The CCD sensor 34 is a line sensor having three line CCD sensors that respectively read an R image, a G image, and a B image, and the line sensor extends in the main scanning direction. The projection light of the film F is separated into the three primary colors R, G and B by this CCD sensor and is read photoelectrically.
Reading light emitted from the light source 22, adjusted in light quantity by the variable aperture 24 and made uniform through the diffusion box 28 is incident on the film F being conveyed while being held at a predetermined reading position by the carrier 30 and is transmitted therethrough. The projection light carrying the image photographed on the film F is obtained.
The projection light of the film F is imaged on the light receiving surface of the CCD sensor 34 by the imaging lens unit 32, is read photoelectrically by the CCD sensor 34, and the output signal is amplified by the amplifier 36 and A / D converted. The digital image data is converted by the device 37 and sent to the image processing apparatus 14 as input image data.
[0019]
For example, in the case of the film F of the new photographic system (APS), as is well known, the image of the photographic scene on the back surface (non-emulsifier surface) side of the film F, that is, the image recording area of each frame in which the photographic image is recorded. Magnetic recording layers are formed in the upper and lower areas, and the cartridge ID, film type, and shooting information, for example, shooting date and time such as shooting date and shooting time, GPS such as shooting position (camera position), shooting direction, and shooting magnification Information, data, and other additional information based on the photographing information are recorded.
[0020]
These recorded information are simultaneously read by the magnetic reading / writing device in the scanner 12 when the image of the film F is read by the scanner 12. That is, while the film (cartridge) of the new photographic system APS is set on the carrier 30 corresponding thereto, and the film F is conveyed in the sub-scanning direction by the carrier 30 and read by the CCD sensor 34, the magnetic reading / writing device The magnetically recorded information is read, and various information including shooting information is sent to the image processing device 14. In some cases, necessary information such as additional information based on photographing information is recorded on the magnetic recording layer by the magnetic reading / writing device.
[0021]
Also, when the film cartridge has an IC memory attached, data of shooting information such as a cartridge ID, film type, shooting date, shooting position, shooting (camera) direction, and shooting magnification is recorded in the mounted IC memory. If so, the information can be read. In addition, necessary information is recorded in the IC memory according to circumstances.
Needless to say, the acquisition method and recording method of shooting information and additional information based thereon are not limited to reading and recording from the magnetic recording layer of the APS film or the IC memory of the film cartridge with IC memory.
[0022]
The scanner 12 constituting the digital photo printer 10 is not limited to the one using the above-described slit scanning, and may be a CCD area sensor using surface exposure that reads the entire surface of one frame image at a time. In that case, R, G, and B color filters are provided between the variable aperture 24 and the diffusion box 28 shown in FIG. Projection light carrying an image of this frame photographed on the film F may be obtained by entering and transmitting one frame. In this case, it is necessary to sequentially perform the color filter for R, G, and B three times.
[0023]
Further, reading of an image by the CCD sensor in the scanner 12 is performed by performing a pre-scan for reading an image at a low resolution in order to determine image processing conditions and the like prior to fine scanning for reading an image to output a photographic print. After the processing conditions are determined and the operator (or user) confirms and adjusts them on the monitor 20, a fine scan for reading an image at a high resolution is performed. Therefore, the scan is performed twice: a pre-scan and a fine scan. Therefore, when a CCD area sensor using surface exposure is provided with R, G, and B color filters, it is necessary to scan three times using the R, G, and B color filters. A scan will be performed. In the case of using a line CCD sensor, since only two times are required, it is advantageous for rapid processing.
In pre-scanning, all images on film F are captured by pre-scanning at once and fine processing is performed after setting image processing conditions. However, pre-scanning and fine scanning are sequentially performed on film F frame by frame. You may go.
[0024]
Further, in the present invention, in addition to the scanner 12 that photoelectrically reads an image shot on a film such as a negative or a reversal, an image reading device that reads an image of a reflected original, or communication means such as computer communication (something via a modem) Image capturing devices such as digital cameras and digital video cameras, built-in memory, image recording media for digital cameras such as PC cards and smart media, and general-purpose images such as FD (flexible disks) and MO (magneto-optical recording media) Various image data supply sources such as a recording medium can be used, and these can be connected to the image processing device 14 directly or via a driving device thereof. The image processing device 14 is connected to these image data supply sources. Can receive digital image data, its photographing information and additional information. Note that these image data supply sources also function as output destinations of processed image data by the image processing method of the present invention.
[0025]
In particular, in the photo printer 10 shown in FIG. 1, a card memory such as a PCMCIA (PC card), an ATA card, a compact flash (registered trademark) card or the like on which digital image data obtained by photographing with a digital camera or the like is recorded or smart Image recording medium 25 for digital cameras such as media, and general-purpose image recording media such as FD (flexible disc), CD-R (recordable compact disc), MO (magnetic optical disc), DVD (digital versatile disc) and Zip A drive device 26 is connected to the image processing device 14 for reading out and acquiring image data from 25 and recording and outputting processed image data on the image recording medium 25. In addition, it is directly connected to various image data supply sources such as (personal) computers, digital cameras, scanners of other digital photo printers, image processing apparatuses, etc. via a cable (for example, RS232C), or a communication network such as the Internet. The image processing device 14 is provided with a slot 27 and the like for acquiring digital image data and photographing information and additional information which are attached information thereof and distributing processed image data.
[0026]
In the illustrated example, input signals (digital image data and attached information (shooting information and additional information)) are input to the image processing device 14 from various image data supply sources such as the scanner 12 and the drive device 26. In the following description, a case where digital image data is mainly supplied from the scanner 12 to the image processing apparatus 14 will be described as a representative example.
[0027]
The image processing device 14 is a block diagram of the image processing device 14 that performs predetermined image processing on the image data read by the scanner 12 and sent to the image processing device 14 as digital data, and outputs it to the printer 16 or the monitor 20. It is shown in FIG.
As shown in the figure, the image processing apparatus 14 includes a data processing unit 38, a prescan memory 40, a fine scan memory 42, a prescan image processing unit 44, a fine scan image processing unit 46, a condition setting unit 48, and a captured image determination. The unit 62 is configured.
[0028]
The data processing unit 38 performs log conversion, DC offset correction, dark correction, shading correction, and the like on the R, G, and B digital image data (input image data signal) output from the scanner 12 to perform processed prescans. The (image) data is stored (stored) in the pre-scan memory 40, and the processed fine scan (image) data is stored in the fine scan memory 42, respectively. The A / D conversion may be performed by the data processing unit 38 instead of the scanner 12.
The prescan memory 40 and the fine scan memory 42 store the digital image data processed by the data processing unit 38. If necessary, the prescan image processing unit 44 or the image processing unit 44 outputs the processed image. Called by the fine scan image processing unit 46.
[0029]
The pre-scan image processing unit 44 includes an image processing unit 50 and an image data conversion unit 52. The image processing unit 50 is a conventional technique such as color balance adjustment, contrast correction, brightness correction, sharpness processing, dodging processing, and the like. In addition to the image processing as described above, correction processing for aberrations such as distortion aberration, lateral chromatic aberration, peripheral light amount reduction, and image blur based on the aberration characteristics of the photographing lens is performed.
The image data conversion unit 52 converts the image data that has been subjected to the image processing by the image processing unit 50 into image data corresponding to the display on the monitor 20 using a 3D (three-dimensional) LUT or the like.
[0030]
The fine scan image processing unit 46 includes an image processing unit 54 and an image data conversion unit 58.
The image processing unit 54 performs an LUT (look-up table) on the fine scan image data that does not perform color balance adjustment, contrast correction (gradation processing), brightness correction, and the like under the image processing conditions determined in the pre-scan image data. In addition, the saturation correction is performed by a known method by MTX calculation (not shown), sharpness processing, dodging processing, and the like are performed according to an operator instruction, image data, and the like. Correction of distortion aberration and lateral chromatic aberration due to characteristics and electronic scaling processing for enlarging and reducing the image according to the output size of the photographic print are performed.
[0031]
Further, the image processing unit 54 performs image processing according to the estimated subject in the shooting scene and the estimated shooting situation. Examples of such image processing include density or color gradation control, geometric distortion correction, sharpness enhancement, or smoothing processing, which is limited to the entire screen of a single frame shooting scene image or a specified subject area. These image processes may be performed not only by the image processing unit 54 but also by the image processing unit 50 of the pre-scan image processing unit 44.
The image data conversion unit 58 converts the processed image data subjected to the image processing by the image processing unit 54 into image data to be printed out from the printer 16 using a 3DLUT or the like.
[0032]
Here, the processed image data subjected to the image processing is printed out from the printer 16, but the present invention is not limited to this, and is recorded on the image recording medium 25 by the image data conversion unit 58. Image data (for example, format conversion according to medium output) and output to the drive device 26, or image data for distribution via a communication network such as the Internet, communication means, or the like (For example, format conversion according to the net output) may be performed and output to the slot 27. Thus, also in the present invention, the processed image data can be used not only for print output but also for recording and reproduction on various image recording media, various net distribution (transfer) services and reproduction.
[0033]
In the condition setting unit 48, pre-scan image data is read from the pre-scan memory 40 and used to determine image processing conditions.
Specifically, density histograms are created from pre-scan image data, and image feature quantities such as average density, LATD (large area transmission density), highlight (lowest density), and shadow (highest density) are calculated. In addition, according to an instruction given by an operator as necessary, the above-described table (LUT) such as gray balance adjustment and matrix calculation for performing saturation correction are performed to determine image processing conditions. The determined image processing conditions are further adjusted by the operation system 18 having the keyboard 18a and the mouse 18b, and the image processing conditions are reset.
In the present embodiment, the condition setting unit 48 can reset the image processing conditions and set the correction conditions according to information such as the estimated subject and the estimated shooting situation.
[0034]
In addition, when an operator selects additional information related to shooting information such as shooting date / time data and shooting position, a keyboard 18a and a mouse 18b are used to specify items according to the user's wishes. The monitor 20 is for an operator to check and verify whether or not the image processing of the pre-scan image data is appropriate, and is connected to the image processing device 14 via the image data conversion unit 52.
FIG. 2 mainly shows parts related to image processing. In addition to this, the image processing apparatus 14 includes a CPU for controlling and managing the entire digital photo printer 10 including the image processing apparatus 14, digital A memory for storing information necessary for the operation of the photo printer 10, a means for determining the aperture value of the variable aperture 24 at the time of fine scanning, the accumulation time of the CCD sensor 34, and the like are arranged.
[0035]
The captured image determination unit 62 includes a subject estimation unit 62a and a database unit 62b. The subject estimation unit 62a estimates a subject in the shooting scene and estimates a shooting situation based on shooting position information and shooting information attached to each shooting scene. The database unit 62b also stores an image processing database in which image processing conditions to be referred to are set in order to set the optimal image processing content for the estimated subject or the shooting situation of the shooting scene, and the subject in the shooting scene. A map database used for estimation, a photographed image (accumulated image) database that stores photographed images of famous mountains, sightseeing spots, and famous photography spots that are the main subjects, or a weather database that records the weather in each region, It includes information such as an event database that records event information.
In particular, in the present embodiment, it is assumed that image processing contents by a veteran operator are accumulated and stored in the image processing database for each specific subject or shooting scene in the laboratory.
[0036]
Note that the database unit 62b is not limited to the built-in image capturing unit 62 of the image processing device 14 as described above, and may be connected to the image processing device 14 as an external storage device. In addition, the number is not limited to one, and may be configured by a plurality of storage devices. Furthermore, the number is not limited to that provided in the photo printer 10, and communication such as the Internet It may be a database that can be connected or searched via means.
[0037]
The digital photo printer to which the image processing apparatus for carrying out the image processing method of the present invention is applied is basically configured as described above. Hereinafter, the operation and the image processing method according to the first embodiment of the present invention will be described. This will be described with reference to the flowchart of FIG.
[0038]
First, the camera 66 capable of using GPS information captures a subject and records GPS information and various types of shooting information (S100). For example, in the case of an APS (New Photo System) camera, magnetic recording layers are formed in the upper and lower areas of the image recording area of each frame of the APS-compatible film F, and camera information such as GPS information and shooting information is provided here. To be recorded. In addition, if a direction indicator for a direction finder is added, the recorded latitude, longitude and altitude, as well as the shooting azimuth for the horizontal and vertical planes, as well as camera information such as the shooting magnification at the time of shooting will be recorded. Can do.
The recorded camera information is read by a magnetic reading / writing device provided on the carrier 30 of the scanner 12, and sent from the scanner 12 to the captured image determination unit 62 through a different path from the image data (S102).
[0039]
The subject estimation unit 62a of the photographed image determination unit 62 searches the map database in the database unit 62b from the GPS information (shooting position information) and the photographed information of the camera information that has been sent, The subject in the shooting scene is estimated (S104). The subject estimation unit 62a estimates the subject and the shooting point as follows.
[0040]
For example, when the photographed subject is a mountain, in order to identify what mountain the mountain is and at which point, the map is identified by referring to the map database from the obtained photographing position and direction. . By using GPS capable of accurately knowing the position based on signals from a plurality of artificial satellites, the photographed position, that is, the longitude, latitude, and altitude can be obtained. The positioning accuracy regarding the position of longitude, latitude and altitude is within 100 m, and there is no problem in practical use. Since the azimuth can be measured accurately by using the direction indicator for the direction detector, By comparing an object that is within a predetermined angle of view on a map that is determined depending on the object that has been photographed, it is possible to identify the object to be photographed and the photographing point as the object on the map database. Note that the shooting location includes not only the position of the subject in the captured image, that is, the shooting location (position), but also the shooting position such as the position of the photographer or camera, that is, the shooting position. May be included. By doing so, not only the subject in the photographed image but also information relating to the photographing position itself can be added to the photographed image as additional information.
[0041]
In this way, when the shooting position is estimated, for example, when it is estimated that the subject is Mt. Fuji, or when the shooting time is determined to be summer according to the shooting information, an image processing condition suitable for it is obtained from the image processing database. Selected. For example, the density / color is d1 to d2, the contrast is c1, the sharpness is such a parameter, and so on. Alternatively, the operator may perform a verification by looking at the monitor 20, and may further add a correction process.
The final image processing conditions are set by the condition setting unit 48, and the image processing conditions are sent to the image processing units 50 and 54, and image processing corresponding to the estimated subject is performed (S106). The image processing conditions that have been corrected and finally set by the operator are registered and stored in the image processing database of the database unit 62b (S108). As described above, it is desirable that the image processing contents have various know-how depending on the situation of the shooting scene and the shooting medium. As described above, it is desirable that image processing contents by experienced operators be registered in the image database and shared.
[0042]
In selecting the image processing contents, not only the subject and the shooting situation (shooting time) are taken into consideration in this way, but, for example, when the subject size is large, the sharpness enhancement coefficient is k1, and the subject size is small. In this case, the sharpness enhancement coefficient may be changed according to the size of the subject, such as k3. Alternatively, it is preferable to store various detailed know-how regarding image processing in the image processing database such as changing the coefficient of smoothing processing according to the number of pixels of the digital camera. As described above, when the image processing know-how is stored in a database, even an inexperienced operator can obtain the same image as an experienced operator by using these know-how.
[0043]
Next, a second embodiment of the present invention will be described.
In the first embodiment described above, the know-how of image processing by an experienced operator is made into a database and this know-how is to be shared. However, this embodiment does not necessarily require an operation by the operator, All processes from estimation to selection of image processing contents can be performed fully automatically.
[0044]
Similarly to the first embodiment, the image processing method of the present embodiment is also performed by the image processing apparatus 14 shown in FIGS. 1 and 2.
However, in this embodiment, the map database of the database unit 62b is assumed to include 3D map information, and further, the data on the material, color, etc. of each component is also stored in a database. As a result, when the subject is specified, the material and the color of the subject can be known, so that it is possible to automatically perform optimum image processing suitable for the subject.
[0045]
Also in the present embodiment, as in the first embodiment, first, a subject is photographed by a camera that can use GPS information, and GPS information and various types of photographing information are recorded. The captured image data and camera information such as GPS information are sent to the captured image determination unit 62 in the image processing apparatus 14. The subject estimation unit 62a estimates a constituent (subject) in a shooting scene using GPS information, 3D map information, or an image feature amount in addition.
[0046]
At this time, since the materials, colors, and the like are stored in a database for each constituent, the accuracy in estimating the constituent can be improved by using the image feature amount supplementarily. For example, even if the camera direction indicator (compass) is inaccurate and misaligned, the actual color of the building shown in the shot frame is compared with the color information extracted from the image features. Certainly, it can be estimated that the building, and the photographing area can be corrected (finely adjusted) with high accuracy.
[0047]
When the constituents in the shooting scene are estimated, the image processing is performed by referring to the color and material information from the database for each constituent and applying the optimized image processing parameters. For example, if the ground is soil, sand, asphalt, grassland, etc., what is the material of the wall of the building, what kind of plant if it is forest, etc. The color most suitable for reproducing these is set, the sharpness setting is switched, and the optimum processing parameter is applied to this. Further, each processing parameter may be switched using other shooting information such as a shooting magnification.
[0048]
In the case of the present embodiment, since information on the color, material, etc. for the subject (a constituent in the scene) is in the database as described above, processing parameters are automatically set by using this information, Can be processed.
Of course, even in this case, it is of course possible for the operator to see and correct it. It is preferable that the modified processing parameter is registered in a database to share the data.
[0049]
As in the above-described embodiments, the image processing conditions are stored in a database, and by using this, it is possible to perform high-quality image processing, for example, performed by an experienced operator, and obtain a high-quality image. Is possible.
At this time, when a general user prints out using a home printer at home, the user can access the database of the lab store (photo shop) and use various know-how accumulated in the database. It may be. At this time, since the optimization parameter is applied for each subject area, even an amateur can easily perform image processing and improve image quality.
In addition, the data to be registered in the database is not limited to one optimal type, and a plurality of recommended parameters may be prepared and selected from them. The registered information may be used not only for image processing but also for controlling scanner input and monitor display output (by type such as CRT and liquid crystal).
[0050]
In addition, as another example in which image processing conditions are stored in a database and image processing is performed using the database, for example, in a photo club, each image processing content (such image processing in the case of such a subject) If you apply, the best subject information and processing parameter information set based on your own experience that you have obtained such a good result, etc., and create your own database, You may make it use this with the friend. At this time, not only image processing but also information related to the shooting technique according to the subject is registered, and if the camera has a GPS function and a communication function, it communicates with the database at the time of shooting and It is also possible to refer to recommended points and shooting techniques of club members according to the subject.
[0051]
In addition, on the database side, according to the use frequency (reference or adoption rate) of the registered information, an output rank as reference data may be attached to each registered data, and this may be constantly updated. Furthermore, you may make it contact each registrant regularly about the utilization frequency condition of each data. In this way, especially for enthusiasts, it can be seen how useful the registered experience information is, and the enjoyment of photography increases.
[0052]
As described above, according to each embodiment, it is possible to apply image processing parameters that are optimal for each subject area, and improve image quality. Also, by accumulating such optimal image processing content for each subject, creating a database and sharing it, anyone can use high-quality image processing techniques and obtain high-quality images. it can.
[0053]
The image processing method of the present invention has been described in detail above. However, the present invention is not limited to the above embodiment, and various improvements and modifications can be made without departing from the gist of the present invention. Of course it is good.
[0054]
【The invention's effect】
As described above, according to the present invention, it is possible to apply image processing parameters that are optimum for each subject area, and it is possible to obtain a high-quality image by performing optimum image processing for a shooting scene or subject. At the same time, it is possible to share image processing know-how by registering optimal image processing content for each subject in the database.
[Brief description of the drawings]
FIG. 1 is a block diagram of an embodiment of a digital photo printer to which an image processing apparatus that performs an image processing method of the present invention is applied.
FIG. 2 is a block diagram showing a configuration of an embodiment of an image processing apparatus for implementing the image processing method of the present invention used in the digital photo printer of FIG.
FIG. 3 is a flowchart showing the operation of the first embodiment of the present invention.
[Explanation of symbols]
10 (Digital) Photo Printer
12 Scanner
14 Image processing device
16 Printer
18 Operation system
18a keyboard
18b mouse
20 Monitor
22 Light source
24 Variable aperture
25 Image recording media
26 Drive device
27 slots
28 Diffusion box
30 career
32 Imaging lens unit
34 CCD sensor
36 amplifiers
37 A / D (analog / digital) converter
40 Pre-scan (frame) memory
42 main scan (frame) memory
44 Pre-scan image processing unit
46 Scanned image processing unit
48 Condition setting section
50, 54 (image) processing unit
52, 58 Image data converter
62 Captured image determination unit
62a Subject estimation unit
62b Database section
66 Camera

Claims (6)

カメラにおいて撮影された被写体の撮影シーンのデジタル画像データを取得するとともに、前記被写体の撮影時に前記カメラにおいて取得または入力された前記撮影シーン毎に付属する撮影位置情報、または前記撮影シーン毎に付属する撮影位置情報及び撮影情報を取得し、
前記撮影シーン毎に付属する撮影位置情報、または前記撮影シーン毎に付属する撮影位置情報及び撮影情報、に基づいて前記撮影シーン内の被写体の推定を行い、
該推定された前記撮影シーン内の被写体に応じた画像処理内容を、各種被写体に対応する画像処理条件を含む画像処理内容が予め蓄積されているデータベースから、前記撮影シーン内の前記被写体に対し最適化された画像処理内容として選択し、
選択された前記被写体に対し最適化された画像処理内容を、そのまま自動的に、または、修正を受けた後、最終的に前記被写体に対し最適化された画像処理内容として設定し、
設定された前記被写体に対し最適化された画像処理内容を前記デジタル画像データに対して行うに際し、
前記データベースにおいては、登録されている情報に加え、その利用頻度に応じてその出力順位が付けられ、その出力順位が更新されることを特徴とする画像処理方法。
Acquires digital image data of a shooting scene of a subject photographed by the camera, and is attached to each photographing scene, or photographing position information attached to each photographing scene obtained or input by the camera at the time of photographing the subject. Get shooting position information and shooting information,
Based on the shooting position information attached to each shooting scene, or the shooting position information and shooting information attached to each shooting scene, the subject in the shooting scene is estimated,
The image processing content corresponding to the estimated subject in the shooting scene is optimized for the subject in the shooting scene from a database in which image processing content including image processing conditions corresponding to various subjects is stored in advance. Select as the processed image processing content,
The image processing content optimized for the selected subject is automatically set as it is or after being corrected, and finally set as the image processing content optimized for the subject,
When performing the image processing content optimized for the set subject on the digital image data ,
An image processing method characterized in that, in the database, in addition to registered information, an output order is assigned according to its use frequency, and the output order is updated .
前記データベースに、最終的に設定された前記被写体に対し最適化された画像処理内容を登録されて蓄積され、前記推定された前記撮影シーン内の被写体に応じた画像処理内容を選択するのに供されるようにした請求項1に記載の画像処理方法。  The image processing content optimized for the finally set subject is registered and stored in the database, and is used for selecting the image processing content corresponding to the estimated subject in the shooting scene. The image processing method according to claim 1, wherein the image processing method is performed. 選択された前記被写体に対し最適化された画像処理内容が行われた前記デジタル画像データに基づく画像をモニタに表示し、表示された前記画像に基づいて、選択された前記被写体に対し最適化された画像処理内容が修正された後、最終的に前記被写体に対し最適化された画像処理内容として設定される請求項1または2に記載の画像処理方法。  An image based on the digital image data on which the image processing content optimized for the selected subject has been performed is displayed on a monitor, and is optimized for the selected subject based on the displayed image 3. The image processing method according to claim 1, wherein after the image processing content is corrected, the image processing content is finally set as the image processing content optimized for the subject. 前記データベースには、前記撮影シーン内の前記被写体に関する被写体情報および前記被写体に対し最適化された画像処理内容の情報が登録され、蓄積され、
前記データベースに登録される前記画像処理内容の情報は、前記デジタル画像データに施す画像処理の種類および画像処理条件および/または画像処理パラメータである請求項1〜3のいずれかに記載の画像処理方法。
In the database, subject information related to the subject in the shooting scene and information of image processing content optimized for the subject are registered and accumulated,
The image processing method according to claim 1, wherein the information on the image processing content registered in the database is a type of image processing to be performed on the digital image data, an image processing condition, and / or an image processing parameter. .
前記データベースに登録されている情報は、さらに、前記被写体に対し最適化された画像処理内容が行われた前記デジタル画像データを表示するモニタの表示出力制御に利用される請求項1〜4のいずれかに記載記載の画像処理方法。 Information registered in the database, to be et al., Claims 1 to 4 optimized image processing contents with respect to the object is used to display output control of the monitor to display the digital image data has been performed An image processing method according to any one of the above. 前記データベースには、前記画像処理内容の情報に加え、さらに、前記被写体を撮影するための撮影テクニックを含む撮影に関する情報も登録されて蓄積され、選択に供される請求項1〜5のいずれかに記載の画像処理方法。  6. The database according to any one of claims 1 to 5, wherein information relating to photographing including photographing technique for photographing the subject is registered and accumulated in addition to information on the content of the image processing, and is used for selection. An image processing method described in 1.
JP2001291270A 2001-09-25 2001-09-25 Image processing method Expired - Fee Related JP4159766B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001291270A JP4159766B2 (en) 2001-09-25 2001-09-25 Image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001291270A JP4159766B2 (en) 2001-09-25 2001-09-25 Image processing method

Publications (2)

Publication Number Publication Date
JP2003101935A JP2003101935A (en) 2003-04-04
JP4159766B2 true JP4159766B2 (en) 2008-10-01

Family

ID=19113444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001291270A Expired - Fee Related JP4159766B2 (en) 2001-09-25 2001-09-25 Image processing method

Country Status (1)

Country Link
JP (1) JP4159766B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357449A (en) * 2015-11-26 2016-02-24 小米科技有限责任公司 Shooting method and device, and image processing method and apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357449A (en) * 2015-11-26 2016-02-24 小米科技有限责任公司 Shooting method and device, and image processing method and apparatus

Also Published As

Publication number Publication date
JP2003101935A (en) 2003-04-04

Similar Documents

Publication Publication Date Title
JP4152340B2 (en) Image processing system and method
US20040070778A1 (en) Image processing apparatus
JP2001238177A (en) Image processing method and image processing apparatus
JP2000050077A (en) Digital photograph finishing system containing digital picture processing of selective acquisition color photograph medium
JP3808662B2 (en) Image reproduction method and apparatus
JP4268612B2 (en) Image playback device
US7277598B2 (en) Image processing apparatus, certification photograph taking apparatus, and certification photograph creation system
US6639690B1 (en) Print system
JP4339730B2 (en) Image processing method and apparatus
JP3549413B2 (en) Image processing method and image processing apparatus
JP3783817B2 (en) Image processing method and image processing apparatus
JP4159766B2 (en) Image processing method
JP4829269B2 (en) Image processing system and method
JP3386373B2 (en) Method for determining similarity of captured images, image processing method and image processing apparatus using the same
JP3631370B2 (en) Image processing method and image processing apparatus
JP2001086332A (en) Image processor
JP2000059637A (en) Color correction device and image reader
JP3653661B2 (en) Image processing device
US6633650B1 (en) Image processing apparatus
JP3625370B2 (en) Image processing method and image processing apparatus
JP4399495B2 (en) Image photographing system and image photographing method
JP2000101833A (en) Print system
JP2004120480A (en) Image processing method and apparatus thereof
JP3819194B2 (en) Image processing device
JP2008102961A (en) Image processing system and method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060106

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080423

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080716

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees