JP4731695B2 - 多点測距カメラを利用した画像処理システム - Google Patents
多点測距カメラを利用した画像処理システム Download PDFInfo
- Publication number
- JP4731695B2 JP4731695B2 JP2001023263A JP2001023263A JP4731695B2 JP 4731695 B2 JP4731695 B2 JP 4731695B2 JP 2001023263 A JP2001023263 A JP 2001023263A JP 2001023263 A JP2001023263 A JP 2001023263A JP 4731695 B2 JP4731695 B2 JP 4731695B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- image processing
- distance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Projection-Type Copiers In General (AREA)
- Image Processing (AREA)
- Facsimile Scanning Arrangements (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理技術に係り、特に、多点測距カメラによる測距情報を利用して高品質な画像を得るための画像処理を行う画像処理システムに関する。
【０００２】
【従来の技術】
従来、ネガフィルムやリバーサルフィルム等の写真フィルム（以下、単にフィルムという。）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）が主流であった。
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上がり）プリントとするデジタルフォトプリンタが実用化された。
【０００３】
このデジタルフォトプリンタは、基本的にフィルムに読取光を入射して、その投影光を読み取ることによって、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）と、スキャナによって読み取られた画像データやデジタルカメラ等から供給された画像データに所定の処理を施し、画像記録のための画像データ、すなわち露光条件とする画像処理装置と、画像処理装置から出力された画像データに応じて、例えば光ビーム走査によって感光材料を走査露光して潜像を記録するプリンタ（画像記録装置）と、プリンタによって露光された感光材料に現像処理を施して、画像が再生された（仕上がり）プリントとするプロセサ（現像装置）とを有して構成される。
このようなデジタルフォトプリンタによれば、画像をデジタルの画像データとして、画像処理（画像データ処理）を行うことによって画像を調整することができるので、従来の直接露光では得られなかった高品位なプリントを得ることができる。
【０００４】
このような画像処理として主要なものに、画素毎の濃度値の細かな変動をなくし、滑らかな画像とすることで、粒状等のノイズを抑制する平滑化処理や、画像の濃度値の変化を強調することにより、輪郭をはっきりさせる鮮鋭化（シャープネス）処理がある。これら平滑化処理、鮮鋭化処理については、例えば、「画像解析ハンドブック」（東京大学出版会）に詳しく紹介されている。
通常これらの画像処理を実行するにあたり、画像中の所定領域のエッジの抽出が行われる。そして、例えば、エッジに対しては、鮮鋭化処理を行い、エッジ以外の部分に対しては、平滑化処理を行うようにして、ノイズを除去した高画質な画像を得るようにしている。
【０００５】
しかし、上に述べたように、デジタルフォトプリンタにおいて、フィルムに撮影された画像をスキャナで読み込む際、フィルム面にゴミや傷がある場合に、これらのゴミや傷を画像として扱ってしまう場合がある。例えば、線状のゴミや傷を画像として読み込み、これをエッジとして誤抽出して画像処理してしまうと、仕上がり画像の画質が劣化してしまう。
そこで、従来から、フィルム面上のゴミや傷の検出／消去方法がいろいろ開発されている。例えば、赤外線を用いて読み取りを行うフィルムスキャナ（例えば、ニコン社製等）が知られている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記画像処理において、空間フィルタ手法や周波数領域での処理手法は、被写体の区別なく処理をかけざるを得ないため、例えば以下のような弊害が発生するという問題がある。
例えば、鮮鋭化処理においては、人物の背景に従来のような白い縁取りが出て、主要被写体と背景との間に違和感を与える場合があるという問題がある。また、平滑化処理においては、本来のエッジとノイズの切りわけがないために、本来のエッジに平滑化処理を行い、エッジがぼけてしまい、ねぼけた画像になってしまうという問題がある。
【０００７】
また、フィルム上のゴミや傷をエッジと見なして、鮮鋭化処理を行い、逆にゴミや傷を強調してしまうという問題もある。
さらに、このゴミや傷の問題に関しては、上記赤外線を用いたフィルムスキャナによるゴミ、傷の検出／除去方法では、装置構成が増大するという問題があり、さらに、この方法では、かすかな傷については、除去しきれない場合もあるという問題もある。
【０００８】
本発明は、前記従来の問題に鑑みてなされたものであり、本来のエッジとノイズの切りわけを行い、スキャナの装置構成を増加させることなく、フィルム面上のゴミや傷の検出及び修正を行い、各種画像処理による画質の劣化を低減することのできる多点測距カメラを利用した画像処理システムを提供することを課題とする。
【０００９】
【課題を解決するための手段】
前記課題を解決するために、本発明は、多点測距カメラによって撮影された画像を読み取り、得られた画像データに所定の画像処理を施し、出力用の画像データとする多点測距カメラを利用した画像処理システムであって、前記多点測距カメラにより撮影された画像の測距情報を入力する第１の手段と、前記測距情報の連続性により、撮影画面上での各被写体領域の境界を推定し、領域分割を行う第２の手段と、前記測距情報により、各被写体の撮影距離及び向きを推定する第３の手段と、撮影画面上で、該画面上の各点の、前記各被写体領域の境界からの距離を算出する第４の手段と、前記各被写体の撮影距離または向きに応じて、あるいは、各被写体領域の境界からの画面上での距離に応じて、前記画像処理の内容または処理の強度を変更する第５の手段と、前記撮影画面上において、前記測距情報により領域分割された領域で、撮影距離の異なる少なくとも２以上の領域にまたがる線を、前記各被写体領域の境界に相当しない線であるとし、前記各被写体領域の境界に相当しない線を画像の欠陥として検出する傷検出手段と、前記画像の欠陥として検出された線を修復する補正手段とを有することを特徴とする多点測距カメラを利用した画像処理システムを提供する。
【００１１】
また、前記傷検出手段は、前記測距情報により領域分割された領域で、撮影距離の異なる少なくとも２以上の領域にまたがる線を、前記各被写体領域の境界に相当しない線であるとして、前記画像の欠陥として検出することが好ましい。
【００１２】
また、前記多点測距カメラを利用した画像処理システムであって、さらに、前記撮影画面上において、前記各被写体の撮影距離と該被写体領域の境界のエッジ強度の関係を用いて、該エッジ強度が所定の許容範囲を越える前記被写体領域をノイズとして検出するノイズ検出手段と、前記ノイズとして検出された被写体領域に対して補正処理を行う補正手段を有することが好ましい。
また、前記ノイズ検出手段は、前記第５の手段における前記画像処理の条件を、前記被写体の輪郭に近い画素領域については平滑化処理を行わない設定、前記被写体の輪郭に近い画素領域については平滑化処理の強度を弱くする設定、および、前記被写体の輪郭以外の画素領域については平滑化処理の強度を強くする設定のいずれか１以上の設定に変更することにより、ノイズとして検出された被写体領域に対して補正処理を行うことが好ましい。
さらに、被写体領域の距離または前記多点測距カメラの光軸に対する面の角度に応じて前記画像処理の条件を変更することが好ましい。
【００１３】
【発明の実施の形態】
以下、本発明に係る多点測距カメラを利用した画像処理システムについて、添付の図面に示される好適実施形態を基に、詳細に説明する。
【００１４】
図１は、本発明に係る多点測距カメラを利用した画像処理システムの一実施形態としてのデジタルフォトプリンタの概略構成を示すブロック図である。
図１に示されるデジタルフォトプリンタ（以下、フォトプリンタとする。）１０は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データを処理して出力用の画像データとし、また、フォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）プリントとして出力するプリンタ１６とを有する。
また、画像処理装置１４には、様々な条件の入力や設定、処理の選択や指示、色／濃度補正等の指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、条件の設定／登録画面等を表示するディスプレイ２０が接続される。
なお、本実施形態の画像処理装置１４には、さらに、多点測距カメラによる測距情報が所定の記録媒体に記録されている場合に、該記録媒体から測距情報を入力する測距情報入力手段４０も接続される。
【００１５】
スキャナ１２は、フィルムＦ等に撮影された画像を光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各画像読取に対応するラインＣＣＤセンサを有するイメージセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３８とを有している。
【００１６】
また、フォトプリンタ１０においては、新写真システム(Advanced Photo System、以下単にＡＰＳとする。）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ１２の本体に装着自在な専用のキャリア３０が用意されており、キャリア３０を交換することにより、各種のフィルムや処理に対応することができる。フィルムＦに撮影され、プリント作成に供される画像（コマ）は、このキャリア３０によって所定の読取位置に搬送される。
このような、スキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４によって光量調整された読取光が、キャリア３０によって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
【００１７】
キャリア３０は、フィルムＦを所定の読取位置に搬送する搬送ローラ対と、フィルムＦの投影光をラインＣＣＤセンサと同方向（主走査方向）の所定のスリット状に規制するスリットを有するマスクを有している。フィルムＦは、このキャリア３０によって読取位置に位置されて、主走査方向と直交する副走査方向にフィルムＦの長手方向を一致して搬送されつつ、読取光を入射される。これにより、結果的にフィルムＦが主走査方向に延在するスリットによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００１８】
ＡＰＳのフィルムには、磁気記録媒体が形成されており、ＡＰＳのフィルム（カートリッジ）に対応するキャリア３０には、この磁気記録媒体に情報の記録／読取を行う磁気ヘッドが配置されている。フィルムＦの磁気記録媒体に記録された情報は、この磁気ヘッドで読み取られて画像処理装置１４等に送られ、また、画像処理装置１４等からの情報がキャリア３０に転送され、磁気ヘッドによってフィルムＦの磁気記録媒体に記録される。
また、キャリア３０には、フィルムＦに光学的に記録されるＤＸコード、拡張ＤＸコード、ＦＮＳコード等のバーコードやフィルムＦに光学的に記録された各種の情報を読み取るためのバーコードリーダが配置されており、このバーコードリーダで読み取られた各種の情報が画像処理装置１４に送られる。
【００１９】
前述のように、読取光はキャリア３０に保持されたフィルムＦを透過して画像を担持する投影光となり、この投影光は、結像レンズユニット３２によってイメージセンサ３４の受光面に結像される。
イメージセンサ３４は、それぞれＲ画像、Ｇ画像及びＢ画像を読み取る３つのラインＣＣＤセンサを有するいわゆる３ラインのカラーＣＣＤセンサで、主走査方向に延在する。フィルムＦの投影光は、イメージセンサ３４によって、Ｒ、Ｇ、Ｂの３原色に分解されて光電的に読み取られる。
イメージセンサ３４の出力信号は、アンプ３６で増幅され、Ａ／Ｄ変換器３８でデジタル信号とされて、画像処理装置１４に送られる。
【００２０】
スキャナ１２においては、フィルムＦに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るためのファインスキャンとの２回の画像読取で行う。
プレスキャンは、スキャナ１２が対象とする全てのフィルムの画像を、入力画像としてイメージセンサ３４が飽和することなく読み取れるように設定されたプレスキャンの読取条件で行われる。一方、ファインスキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３４が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。従って、プレスキャンとファインスキャンの出力信号は、解像度と出力レベルが異なるのみである。
【００２１】
なお、本発明において、スキャナ１２は、このようなスリット走査によるものに限定はされず、１コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。この場合には、例えばエリアＣＣＤセンサを用い、光源とフィルムＦとの間に、Ｒ、Ｇ及びＢの各色フィルタを順次挿入してエリアＣＣＤセンサで画像を読み取ることにより、フィルムに撮影された画像を３原色に分解して順次読み取ればよい。
【００２２】
前述のように、スキャナ１２からの出力信号（画像データ）は、画像処理装置１４に出力される。
なお、本発明のプリントシステム１０においては、画像処理装置１４は、スキャナ１２によって読み取られたフィルムＦの画像以外にも、反射原稿の画像を読み取る画像読取装置、デジタルカメラやデジタルビデオカメラ等の撮像デバイス、ＬＡＮ（Local Area Network) やコンピュータ通信ネットワーク等の通信手段、メモリカードやＭＯ（光磁気記録媒体）やフォトＣＤ等のメディア（記録媒体）等の各種の画像読取手段や撮像手段、画像データの記憶手段等の、各種の画像データ供給源から画像データを受け取り、以下に示すような処理をしてもよい。
なお、この場合に、多点測距カメラによって撮影された画像データとともに、当該画像の測距情報も同時に送られてくるものとする。
【００２３】
図２に、本発明の一実施形態に係る画像処理装置１４の概略構成を示すブロック図を示す。画像処理装置１４は、データ処理部４２、プレスキャン（フレーム）メモリ４４、ファインスキャン（フレーム）メモリ４６、プレスキャンデータ処理部４８、ファインスキャンデータ処理部５０及び条件設定部５２から構成される。
なお、図２は、主に、画像処理関連の部位を示すものであり、これ以外にも本画像処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ等が配置され、また、操作系１８やディスプレイ２０は、このＣＰＵ等を介して各部位に接続される。
【００２４】
スキャナ１２から画像処理装置１４に入力されたＲ、Ｇ、Ｂの各出力信号は、データ処理部４２でＬｏｇ変換、ＤＣオフセット補正、暗示補正、シェーディング補正等の処理が施されてデジタルの画像データとしてプレスキャンデータはプレスキャンメモリ４４に、ファインスキャンデータはファインスキャンメモリ４６に、それぞれ格納される。
なお、プレスキャンデータとファインスキャンデータは、解像度と信号レベルが異なる以外は基本的に同じデータである。
【００２５】
プレスキャンメモリ４４に格納されたプレスキャンデータは、プレスキャンデータ処理部４８に読み出される。プレスキャンデータ処理部４８は、（プレスキャン）データ処理部５４とデータ変換部５６とから構成される。
一方、ファインスキャンメモリ４６に格納されたファインスキャンデータはファインスキャンデータ処理部５０に読み出される。ファインスキャンデータ処理部５０は、（ファインスキャン）データ処理部５８と補正手段６０とデータ変換部６２とから構成される。補正手段６０は、画像中にフィルムの傷やゴミ等による欠陥が検出された場合に、この欠陥を補正する処理を行うものである。
【００２６】
プレスキャンデータ処理部４８のデータ処理部５４とファインスキャンデータ処理部５０のデータ処理部５８は、スキャン１２によって読み取られた画像（画像データ）に所定の画像処理を施す部位である。各データ処理部５４、５８における処理は、解像度が異なる以外は基本的に同じ処理である。ここで行われる処理としては、例えば、色バランス調整、階調調整、濃度調整、彩度調整、電子変倍処理、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）及び鮮鋭化（シャープネス）処理、平滑化処理等がある。
【００２７】
ファインスキャンデータ処理部５０の補正手段６０は、後述する傷検出手段７８、ノイズ検出手段８０によって検出されたフィルムＦの傷やノイズに対応する画像の領域の画素（欠陥画素）を補正し、画像データをフィルムＦの傷やノイズを補正した画像データとする部位である。
欠陥画素の補正方法には、特に限定はなく、公知の方法が利用可能である。例えば、欠陥画素の周辺画素の画像データを用いて補正する方法が好適に例示される。具体的には、欠陥画素の画像データを周辺画素の画像データで置き換える方法や、欠陥画素の画像データを周辺画素の画像データを用いた補間演算で算出し、この画像データを用いる方法等がある。
【００２８】
プレスキャンデータ処理部４８のデータ変換部５６は、データ処理部５４によって処理された画像データを必要に応じて間引いて、３Ｄ−ＬＵＴ等を用いて変換して、ディスプレイ２０による表示に対応する画像データにしてディスプレイ２０に表示するものである。
【００２９】
条件設定部５２は、データ処理部５４及び５８による各種の処理条件を設定し、また、ファインスキャンの読取条件を設定するものである。条件設定部５２は、画像処理条件設定部６４、キー補正部６６、パラメータ統合部６８から構成される。画像処理条件設定部６４は、プレスキャンデータ等を用いて、画像処理部５４、５８における画像処理条件を作成し、パラメータ統合部６８に供給する。具体的には、画像処理条件設定部６４は、プレスキャンメモリ４４からプレスキャンデータを読み出し、プレスキャンデータから濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ、ハイライト、シャドー等の画像特徴量の算出を行い、これらとオペレータによる指示等に応じて、色バランス調整、階調調整等や鮮鋭化（シャープネス）、平滑化等の画像処理条件を設定する。
【００３０】
キー補正部６６は、キーボード１８ａに設定された濃度（明るさ）、色、コントラスト、シャープネス、彩度等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量を算出し、パラメータ統合部６８に供給する。
パラメータ統合部６８は、画像処理条件設定部６４が設定した画像処理条件を受け取り、供給された画像処理条件をプレスキャンデータ処理部４８のデータ処理部５４及びファインスキャンデータ処理部５０のデータ処理部５８に設定する。さらに、パラメータ統合部６８は、キー補正部６６で算出された調整量に応じて、前記設定された画像処理条件を補正する。
また、パラメータ統合部６８は、後述する欠陥検出部７０からの指示に応じて設定された画像処理条件（特に、鮮鋭化および平滑化の条件）を変更する。
【００３１】
本実施形態の画像処理装置１４は、以上の構成の他に、本フォトプリンタ１０に入力される画像データを撮影したカメラが多点測距カメラであり、撮影対象の測距情報をも入力される場合に、この測距情報等を用いてフィルム上の傷やゴミ等に起因する画像の欠陥を検出する欠陥検出部７０を有している。
欠陥検出部７０は、領域分割手段７２、撮影距離及び向き推定手段７４、処理内容／強度変更手段７６、傷検出手段７８及びノイズ検出手段８０とを有している。
【００３２】
領域分割手段７２は、プレスキャンメモリ４４からプレスキャンデータを受けとるとともに、測距情報入力手段４０より、多点測距カメラがフィルムに画像を撮影する際に取得した当該撮影画像の測距情報を受け取り、撮影画面上での各被写体領域の境界を推定し、これにより領域分割を行うものである。
なお、測距情報は、多点測距カメラが測距情報を所定の記録媒体に記録する場合には、前記測距情報入力手段４０は、この記録媒体から情報を読み出す手段であるが、特に限定されるものではない。例えば、多点測距カメラがＡＰＳシステムに対応しており、測距情報がＡＰＳフィルムに磁気情報として記録される場合には、スキャナ１２の磁気情報読み取り手段（磁気ヘッド）が測距情報入力手段となる。その他、測距情報は、フィルムやカートリッジにＩＣチップ等を貼り付けて、それに記録してもよいし、フィルムに光学的に記録してもよい。それぞれの記録方法に応じて、所定の測距情報入力手段４０（例えばバーコードリーダ等）が用意される。
【００３３】
領域分割手段７２は、公知の方法により被写体のエッジ（境界の候補）を抽出し、これに測距情報の連続性を加味して被写体の境界を推定する。抽出された線（エッジ）が、測距情報も連続しており確かにつながった１本の線である場合には、被写体の境界であるとする。被写体の境界が検出されると、その境界で囲まれた、あるいはある方向に区切られた領域を一つの被写体領域として、各被写体領域が例えば主要被写体と背景とに分割される。
【００３４】
撮影距離及び向き推定手段７４は、分割された各被写体領域の撮影距離及び向きを推定する。例えば、ある被写体領域の各点が同じ撮影距離の場合には、この被写体領域は、カメラの撮影光軸に対して垂直に面していると推定される。また、被写体領域内の点によって撮影距離が異なる場合には、その撮影距離の差によつて、その被写体領域の撮影光軸に対する向きが推定される。
【００３５】
処理内容／強度変更手段７６は、推定された各被写体の撮影距離及び向きに応じて、あるいは各被写体領域の境界からの画面上での距離に応じて、前記画像処理条件設定部６４によって、パラメータ統合部６８に設定された画像処理条件の内容または処理の強度を変更する。具体的には、例えば、主要被写体と背景領域に分割されている場合に、主要被写体のエッジを強調（鮮鋭化）するとともに背景領域については覆い焼き処理を行う等により、主要被写体の周囲に、いわゆる「後光」状の画質不良が発生するのを防止するようにする。
【００３６】
傷検出手段７８は、領域分割手段７２による領域分割結果及び撮影距離及び向き推定手段７４によって算出された距離及び向きのデータを得て、撮影画面上において、各被写体領域の境界に相当しない線をフィルム上の傷として検出するものである。傷を検出した場合には、傷検出信号が補正手段６０に送られ、補正手段６０において、傷によって画像中に生じた欠陥画素を、例えば周辺の画素を用いて補正する。
なお、境界に相当しない線を検出する方法としては、例えば、撮影距離の異なる少なくとも２以上の領域にまたがる測距情報の連続する線があった場合に、これは被写体領域の境界に相当しない線であるとする方法が考えられる。
【００３７】
ノイズ検出手段８０も、前記傷検出手段７８と同様に領域分割手段７２と撮影距離及び向き推定手段７４から所定のデータを得て、画面上のノイズを検出するものであり、ノイズを検出した場合には、ノイズ検出信号が補正手段６０に送られノイズによる画像の欠陥が補正される。
ノイズ検出手段８０は、各被写体の撮影距離と該被写体領域の境界のエッジ強度の関係を用いて、該エッジ強度が所定の許容範囲を越える場合には、フィルム上のゴミあるいはノイズであるとして検出する。
例えば、空を含む撮影画像において、空に白点があるときに、鳥や雲等のように実際に空に存在する被写体の場合には距離が遠いため、エッジがそれほど強くはない。これに対し、もしフィルム上にゴミ等がある場合には、スキャナ１２でこれを読み取るとエッジが強くでるため、撮影距離が大であるにもかかわらず強いエッジ強度であるから、ゴミであるとして検出することができる。
【００３８】
以下、本実施形態の作用を説明する。
まず、被写体を多点測距カメラを用いて撮影する。撮影時には、多点測距カメラにより、撮影画面上の各点の撮影距離についての測距情報が取得され、所定の記録媒体に記録される。この記録媒体は、例えばＡＰＳのフィルムの磁気記録媒体でもよいし、フィルムとは別体の所定の記録媒体でもよい。また、多点測距カメラの測距点数は、特に限定はされないが、点数が多く、高密度の多点測距機能を持つ方が精密な検出を行うことができて好ましい。
【００３９】
多点測距カメラによって撮影されたフィルムが（及び測距情報を記録した記録媒体がフィルムと別体の場合には当該記録媒体も一緒に）ラボに持ち込まれると、オペレータはフィルムを、このフィルムに対応するキャリア３０にセットしてスキャナ１２によりプレスキャンを行う。このとき、フィルムの磁気記録媒体に測距情報が記録されている場合にはフィルムから、また測距情報がフィルムとは別体の記録媒体に記録されている場合にはこの記録媒体から、所定の読み取り装置（測距情報入力手段４０）により測距情報を入力する。
【００４０】
プレスキャンデータは、プレスキャンメモリ４４に格納され、条件設定部５２の画像処理条件設定部６４がこれを読み出し、濃度ヒストグラムの作成や画像特徴量の算出等を行い、ファインスキャンの読取条件を設定し、さらに、各コマの画像処理条件を設定しパラメータ統合部６８に供給する。パラメータ統合部６８は、これをデータ処理部５４、５８に設定する。
【００４１】
一方、欠陥検出部７０においては、プレスキャンデータ及び各撮影コマごとの測距情報とから各画像の主要被写体と背景の境界を抽出する等して、画像処理条件の補正（変更）情報をパラメータ統合部６８に供給するとともに、欠陥の検出を行い、欠陥の補正を行うために、傷、ノイズ等の検出信号を補正手段６０に送る。この画像処理条件の変更や欠陥画素の補正の方法には、以下その一例を示すように様々な内容が含まれる。
【００４２】
領域分割手段７２は、プレスキャンメモリ４４よりプレスキャンデータを受け取るとともに測距情報入力手段４０より測距情報を受け取り、測距情報から主要被写体と背景の境界を抽出する。そして、この境界に絞って画素レベルの領域分割を、色、濃度の類似性を利用して行い、各被写体領域と背景を抽出する。
撮影距離及び向き推定手段７４は、各被写体領域及び画像中の所定の各点の撮影距離を測距情報から得て、各被写体のカメラの撮影光軸に対する向きを推定し、被写体の３次元構造を抽出する。このとき、例えば、各領域内の各点の撮影距離を比較することにより、該領域のカメラ撮影光軸に対する角度を算出する。
【００４３】
処理内容／強度変更手段７６は、前記領域分割、撮影距離及び向き等の情報を受け取り、これに応じて画像処理の内容あるいは処理の強度の変更をパラメータ統合部６８に対して指示する。具体的には、例えば、主要被写体（主に人物）の境界において、エッジ強調やその周辺の背景部の覆い焼き処理の程度等を制御して、被写体の周囲に、いわゆる後光状の白い縁取りが発生しないように画像処理内容あるいは処理の強度を変更する。このような画像処理条件の内容や処理の強度の変更はパラメータ統合部６８に送られる。
【００４４】
傷検出部７８では、例えば、上で算出された画像のエッジと、被写体の３次元構造のエッジとの整合性をチェックすることによりフィルムの傷を検出する。例えば、２つ以上の平面状の被写体領域の間にエッジ（線）がある場合には、これは領域の境界であるが、空間的配置の異なる２つ以上の平面を越えてエッジ（線）が存在する場合には、このような線は本来被写体中にはあり得ない線であり、傷であると推定される。傷検出信号は補正手段６０に送られる。
傷検出信号を受けた補正手段６０は、例えば周辺画素を利用してフィルムの傷に起因する画像の欠陥を修復する。
【００４５】
また、ノイズ検出手段８０においては、上で検出された領域の距離等の情報により、所定の許容範囲を越えるエッジ強度を有するエリアについては、ノイズと推定し、ノイズ検出信号を補正手段６０に送る。ノイズ検出信号を受けた補正手段６０では、ノイズによる欠陥画素を傷の場合と同様にその周辺の画素を用いて修復処理を行う。
あるいは、ノイズを有する領域に対して、画像処理そのものを変更するようにノイズ検出手段８０から処理内容／強度変更手段７６に信号を送るようにしてもよい。例えば、この場合、被写体の輪郭（境界）に近い画素領域については、平滑化処理をオフ（処理を行わない）としたり、またはその強度を弱くする。また、被写体の輪郭以外の画素領域については、平滑化を強くかけるようにしてノイズを除去するようにしてもよい。
【００４６】
その他の画像処理の変更としては、例えば、上で算出された被写体領域の距離やカメラ光軸に対する面の角度に応じて鮮鋭化あるいは平滑化の強度を変更することが挙げられる。
例えば、処理内容／強度変更手段７６において、撮影距離及び向き推定手段７４から受け取った被写体距離によりその距離が遠いと推定される被写体については、その被写体領域をぼかすようにしたり、あるいは、被写体領域のカメラ光軸に対する面の角度により、その被写体がカメラ光軸に対し平行に近い向きにあると推定される場合には、その被写体領域については、その線密度が高くなるため、その被写体領域はぼかさないようにする等が考えられる。
【００４７】
前述したように、条件設定部５２によって設定されたファインスキャンの読取条件にしたがってファインスキャンが行われ、読み取られたファインスキャンデータは、ファインスキャンメモリ４６に格納され、ファインスキャンデータ処理部５０のデータ処理部５８に読み出されて、条件設定部５２で設定され上で述べたように必要に応じて欠陥検出部７０によって変更された画像処理条件によって、データ処理部５８において画像処理が施される。
その後、画像処理後のデータは、補正手段６０において、所定の補正処理及び傷、ノイズ検出信号に応じて、傷やノイズの修復処理が施される。
処理後のデータはデータ変換部６２において変換され、プリンタ１６へ出力され、プリンタ１６より仕上がりプリントとして出力される。
【００４８】
このように、本実施形態によれば、多点測距カメラによる測距情報を利用することにより、被写体の撮影距離や向き等に応じて、画像処理条件の内容やその処理強度を変更し、また、上記情報を用いることにより、装置構成を増大させることなく、フィルムの傷やゴミあるいはノイズを検出することにより画像欠陥を修復することで、画質劣化を抑制し、高画質なプリントを得ることができる。
【００４９】
以上、本発明の多点測距カメラを利用した画像処理システムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００５０】
【発明の効果】
以上説明した通り、本発明によれば、多点測距カメラの測距情報を用いることにより、大がかりな装置を必要とすることなく、画質劣化を抑制し、高画質な画像を得ることが可能となった。
【図面の簡単な説明】
【図１】本発明に係る多点測距カメラを利用した画像処理システムの一実施形態としてのデジタルフォトプリンタの概略構成を示すブロック図である。
【図２】本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。
【符号の説明】
１０ デジタルフォトプリンタ（フォトプリンタ）
１２ スキャナ
１４ 画像処理装置
１６ プリンタ
１８ 操作系
２０ ディスプレイ
２２ 光源
２４ 可変絞り
２８ 拡散ボックス
３０ キャリア
３２ 結像レンズユニット
３４ イメージセンサ
３６ アンプ
３８ Ａ／Ｄ変換器
４０ 測距情報入力手段
４２ データ処理部
４４ プレスキャンメモリ
４６ ファインスキャンメモリ
４８ プレスキャンデータ処理部
５０ ファインスキャンデータ処理部
５２ 条件設定部
５４ （プレスキャン）データ処理部
５６、６２ データ変換部
５８ （ファインスキャン）データ処理部
６０ 補正手段
７０ 欠陥検出部
７２ 領域分割手段
７４ 撮影距離及び向き推定手段
７６ 処理内容／強度変更手段
７８ 傷検出手段
８０ ノイズ検出手段
【発明の属する技術分野】
本発明は、画像処理技術に係り、特に、多点測距カメラによる測距情報を利用して高品質な画像を得るための画像処理を行う画像処理システムに関する。
【０００２】
【従来の技術】
従来、ネガフィルムやリバーサルフィルム等の写真フィルム（以下、単にフィルムという。）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）が主流であった。
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上がり）プリントとするデジタルフォトプリンタが実用化された。
【０００３】
このデジタルフォトプリンタは、基本的にフィルムに読取光を入射して、その投影光を読み取ることによって、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）と、スキャナによって読み取られた画像データやデジタルカメラ等から供給された画像データに所定の処理を施し、画像記録のための画像データ、すなわち露光条件とする画像処理装置と、画像処理装置から出力された画像データに応じて、例えば光ビーム走査によって感光材料を走査露光して潜像を記録するプリンタ（画像記録装置）と、プリンタによって露光された感光材料に現像処理を施して、画像が再生された（仕上がり）プリントとするプロセサ（現像装置）とを有して構成される。
このようなデジタルフォトプリンタによれば、画像をデジタルの画像データとして、画像処理（画像データ処理）を行うことによって画像を調整することができるので、従来の直接露光では得られなかった高品位なプリントを得ることができる。
【０００４】
このような画像処理として主要なものに、画素毎の濃度値の細かな変動をなくし、滑らかな画像とすることで、粒状等のノイズを抑制する平滑化処理や、画像の濃度値の変化を強調することにより、輪郭をはっきりさせる鮮鋭化（シャープネス）処理がある。これら平滑化処理、鮮鋭化処理については、例えば、「画像解析ハンドブック」（東京大学出版会）に詳しく紹介されている。
通常これらの画像処理を実行するにあたり、画像中の所定領域のエッジの抽出が行われる。そして、例えば、エッジに対しては、鮮鋭化処理を行い、エッジ以外の部分に対しては、平滑化処理を行うようにして、ノイズを除去した高画質な画像を得るようにしている。
【０００５】
しかし、上に述べたように、デジタルフォトプリンタにおいて、フィルムに撮影された画像をスキャナで読み込む際、フィルム面にゴミや傷がある場合に、これらのゴミや傷を画像として扱ってしまう場合がある。例えば、線状のゴミや傷を画像として読み込み、これをエッジとして誤抽出して画像処理してしまうと、仕上がり画像の画質が劣化してしまう。
そこで、従来から、フィルム面上のゴミや傷の検出／消去方法がいろいろ開発されている。例えば、赤外線を用いて読み取りを行うフィルムスキャナ（例えば、ニコン社製等）が知られている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記画像処理において、空間フィルタ手法や周波数領域での処理手法は、被写体の区別なく処理をかけざるを得ないため、例えば以下のような弊害が発生するという問題がある。
例えば、鮮鋭化処理においては、人物の背景に従来のような白い縁取りが出て、主要被写体と背景との間に違和感を与える場合があるという問題がある。また、平滑化処理においては、本来のエッジとノイズの切りわけがないために、本来のエッジに平滑化処理を行い、エッジがぼけてしまい、ねぼけた画像になってしまうという問題がある。
【０００７】
また、フィルム上のゴミや傷をエッジと見なして、鮮鋭化処理を行い、逆にゴミや傷を強調してしまうという問題もある。
さらに、このゴミや傷の問題に関しては、上記赤外線を用いたフィルムスキャナによるゴミ、傷の検出／除去方法では、装置構成が増大するという問題があり、さらに、この方法では、かすかな傷については、除去しきれない場合もあるという問題もある。
【０００８】
本発明は、前記従来の問題に鑑みてなされたものであり、本来のエッジとノイズの切りわけを行い、スキャナの装置構成を増加させることなく、フィルム面上のゴミや傷の検出及び修正を行い、各種画像処理による画質の劣化を低減することのできる多点測距カメラを利用した画像処理システムを提供することを課題とする。
【０００９】
【課題を解決するための手段】
前記課題を解決するために、本発明は、多点測距カメラによって撮影された画像を読み取り、得られた画像データに所定の画像処理を施し、出力用の画像データとする多点測距カメラを利用した画像処理システムであって、前記多点測距カメラにより撮影された画像の測距情報を入力する第１の手段と、前記測距情報の連続性により、撮影画面上での各被写体領域の境界を推定し、領域分割を行う第２の手段と、前記測距情報により、各被写体の撮影距離及び向きを推定する第３の手段と、撮影画面上で、該画面上の各点の、前記各被写体領域の境界からの距離を算出する第４の手段と、前記各被写体の撮影距離または向きに応じて、あるいは、各被写体領域の境界からの画面上での距離に応じて、前記画像処理の内容または処理の強度を変更する第５の手段と、前記撮影画面上において、前記測距情報により領域分割された領域で、撮影距離の異なる少なくとも２以上の領域にまたがる線を、前記各被写体領域の境界に相当しない線であるとし、前記各被写体領域の境界に相当しない線を画像の欠陥として検出する傷検出手段と、前記画像の欠陥として検出された線を修復する補正手段とを有することを特徴とする多点測距カメラを利用した画像処理システムを提供する。
【００１１】
また、前記傷検出手段は、前記測距情報により領域分割された領域で、撮影距離の異なる少なくとも２以上の領域にまたがる線を、前記各被写体領域の境界に相当しない線であるとして、前記画像の欠陥として検出することが好ましい。
【００１２】
また、前記多点測距カメラを利用した画像処理システムであって、さらに、前記撮影画面上において、前記各被写体の撮影距離と該被写体領域の境界のエッジ強度の関係を用いて、該エッジ強度が所定の許容範囲を越える前記被写体領域をノイズとして検出するノイズ検出手段と、前記ノイズとして検出された被写体領域に対して補正処理を行う補正手段を有することが好ましい。
また、前記ノイズ検出手段は、前記第５の手段における前記画像処理の条件を、前記被写体の輪郭に近い画素領域については平滑化処理を行わない設定、前記被写体の輪郭に近い画素領域については平滑化処理の強度を弱くする設定、および、前記被写体の輪郭以外の画素領域については平滑化処理の強度を強くする設定のいずれか１以上の設定に変更することにより、ノイズとして検出された被写体領域に対して補正処理を行うことが好ましい。
さらに、被写体領域の距離または前記多点測距カメラの光軸に対する面の角度に応じて前記画像処理の条件を変更することが好ましい。
【００１３】
【発明の実施の形態】
以下、本発明に係る多点測距カメラを利用した画像処理システムについて、添付の図面に示される好適実施形態を基に、詳細に説明する。
【００１４】
図１は、本発明に係る多点測距カメラを利用した画像処理システムの一実施形態としてのデジタルフォトプリンタの概略構成を示すブロック図である。
図１に示されるデジタルフォトプリンタ（以下、フォトプリンタとする。）１０は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データを処理して出力用の画像データとし、また、フォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）プリントとして出力するプリンタ１６とを有する。
また、画像処理装置１４には、様々な条件の入力や設定、処理の選択や指示、色／濃度補正等の指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、条件の設定／登録画面等を表示するディスプレイ２０が接続される。
なお、本実施形態の画像処理装置１４には、さらに、多点測距カメラによる測距情報が所定の記録媒体に記録されている場合に、該記録媒体から測距情報を入力する測距情報入力手段４０も接続される。
【００１５】
スキャナ１２は、フィルムＦ等に撮影された画像を光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各画像読取に対応するラインＣＣＤセンサを有するイメージセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３８とを有している。
【００１６】
また、フォトプリンタ１０においては、新写真システム(Advanced Photo System、以下単にＡＰＳとする。）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ１２の本体に装着自在な専用のキャリア３０が用意されており、キャリア３０を交換することにより、各種のフィルムや処理に対応することができる。フィルムＦに撮影され、プリント作成に供される画像（コマ）は、このキャリア３０によって所定の読取位置に搬送される。
このような、スキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４によって光量調整された読取光が、キャリア３０によって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
【００１７】
キャリア３０は、フィルムＦを所定の読取位置に搬送する搬送ローラ対と、フィルムＦの投影光をラインＣＣＤセンサと同方向（主走査方向）の所定のスリット状に規制するスリットを有するマスクを有している。フィルムＦは、このキャリア３０によって読取位置に位置されて、主走査方向と直交する副走査方向にフィルムＦの長手方向を一致して搬送されつつ、読取光を入射される。これにより、結果的にフィルムＦが主走査方向に延在するスリットによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００１８】
ＡＰＳのフィルムには、磁気記録媒体が形成されており、ＡＰＳのフィルム（カートリッジ）に対応するキャリア３０には、この磁気記録媒体に情報の記録／読取を行う磁気ヘッドが配置されている。フィルムＦの磁気記録媒体に記録された情報は、この磁気ヘッドで読み取られて画像処理装置１４等に送られ、また、画像処理装置１４等からの情報がキャリア３０に転送され、磁気ヘッドによってフィルムＦの磁気記録媒体に記録される。
また、キャリア３０には、フィルムＦに光学的に記録されるＤＸコード、拡張ＤＸコード、ＦＮＳコード等のバーコードやフィルムＦに光学的に記録された各種の情報を読み取るためのバーコードリーダが配置されており、このバーコードリーダで読み取られた各種の情報が画像処理装置１４に送られる。
【００１９】
前述のように、読取光はキャリア３０に保持されたフィルムＦを透過して画像を担持する投影光となり、この投影光は、結像レンズユニット３２によってイメージセンサ３４の受光面に結像される。
イメージセンサ３４は、それぞれＲ画像、Ｇ画像及びＢ画像を読み取る３つのラインＣＣＤセンサを有するいわゆる３ラインのカラーＣＣＤセンサで、主走査方向に延在する。フィルムＦの投影光は、イメージセンサ３４によって、Ｒ、Ｇ、Ｂの３原色に分解されて光電的に読み取られる。
イメージセンサ３４の出力信号は、アンプ３６で増幅され、Ａ／Ｄ変換器３８でデジタル信号とされて、画像処理装置１４に送られる。
【００２０】
スキャナ１２においては、フィルムＦに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るためのファインスキャンとの２回の画像読取で行う。
プレスキャンは、スキャナ１２が対象とする全てのフィルムの画像を、入力画像としてイメージセンサ３４が飽和することなく読み取れるように設定されたプレスキャンの読取条件で行われる。一方、ファインスキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３４が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。従って、プレスキャンとファインスキャンの出力信号は、解像度と出力レベルが異なるのみである。
【００２１】
なお、本発明において、スキャナ１２は、このようなスリット走査によるものに限定はされず、１コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。この場合には、例えばエリアＣＣＤセンサを用い、光源とフィルムＦとの間に、Ｒ、Ｇ及びＢの各色フィルタを順次挿入してエリアＣＣＤセンサで画像を読み取ることにより、フィルムに撮影された画像を３原色に分解して順次読み取ればよい。
【００２２】
前述のように、スキャナ１２からの出力信号（画像データ）は、画像処理装置１４に出力される。
なお、本発明のプリントシステム１０においては、画像処理装置１４は、スキャナ１２によって読み取られたフィルムＦの画像以外にも、反射原稿の画像を読み取る画像読取装置、デジタルカメラやデジタルビデオカメラ等の撮像デバイス、ＬＡＮ（Local Area Network) やコンピュータ通信ネットワーク等の通信手段、メモリカードやＭＯ（光磁気記録媒体）やフォトＣＤ等のメディア（記録媒体）等の各種の画像読取手段や撮像手段、画像データの記憶手段等の、各種の画像データ供給源から画像データを受け取り、以下に示すような処理をしてもよい。
なお、この場合に、多点測距カメラによって撮影された画像データとともに、当該画像の測距情報も同時に送られてくるものとする。
【００２３】
図２に、本発明の一実施形態に係る画像処理装置１４の概略構成を示すブロック図を示す。画像処理装置１４は、データ処理部４２、プレスキャン（フレーム）メモリ４４、ファインスキャン（フレーム）メモリ４６、プレスキャンデータ処理部４８、ファインスキャンデータ処理部５０及び条件設定部５２から構成される。
なお、図２は、主に、画像処理関連の部位を示すものであり、これ以外にも本画像処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ等が配置され、また、操作系１８やディスプレイ２０は、このＣＰＵ等を介して各部位に接続される。
【００２４】
スキャナ１２から画像処理装置１４に入力されたＲ、Ｇ、Ｂの各出力信号は、データ処理部４２でＬｏｇ変換、ＤＣオフセット補正、暗示補正、シェーディング補正等の処理が施されてデジタルの画像データとしてプレスキャンデータはプレスキャンメモリ４４に、ファインスキャンデータはファインスキャンメモリ４６に、それぞれ格納される。
なお、プレスキャンデータとファインスキャンデータは、解像度と信号レベルが異なる以外は基本的に同じデータである。
【００２５】
プレスキャンメモリ４４に格納されたプレスキャンデータは、プレスキャンデータ処理部４８に読み出される。プレスキャンデータ処理部４８は、（プレスキャン）データ処理部５４とデータ変換部５６とから構成される。
一方、ファインスキャンメモリ４６に格納されたファインスキャンデータはファインスキャンデータ処理部５０に読み出される。ファインスキャンデータ処理部５０は、（ファインスキャン）データ処理部５８と補正手段６０とデータ変換部６２とから構成される。補正手段６０は、画像中にフィルムの傷やゴミ等による欠陥が検出された場合に、この欠陥を補正する処理を行うものである。
【００２６】
プレスキャンデータ処理部４８のデータ処理部５４とファインスキャンデータ処理部５０のデータ処理部５８は、スキャン１２によって読み取られた画像（画像データ）に所定の画像処理を施す部位である。各データ処理部５４、５８における処理は、解像度が異なる以外は基本的に同じ処理である。ここで行われる処理としては、例えば、色バランス調整、階調調整、濃度調整、彩度調整、電子変倍処理、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）及び鮮鋭化（シャープネス）処理、平滑化処理等がある。
【００２７】
ファインスキャンデータ処理部５０の補正手段６０は、後述する傷検出手段７８、ノイズ検出手段８０によって検出されたフィルムＦの傷やノイズに対応する画像の領域の画素（欠陥画素）を補正し、画像データをフィルムＦの傷やノイズを補正した画像データとする部位である。
欠陥画素の補正方法には、特に限定はなく、公知の方法が利用可能である。例えば、欠陥画素の周辺画素の画像データを用いて補正する方法が好適に例示される。具体的には、欠陥画素の画像データを周辺画素の画像データで置き換える方法や、欠陥画素の画像データを周辺画素の画像データを用いた補間演算で算出し、この画像データを用いる方法等がある。
【００２８】
プレスキャンデータ処理部４８のデータ変換部５６は、データ処理部５４によって処理された画像データを必要に応じて間引いて、３Ｄ−ＬＵＴ等を用いて変換して、ディスプレイ２０による表示に対応する画像データにしてディスプレイ２０に表示するものである。
【００２９】
条件設定部５２は、データ処理部５４及び５８による各種の処理条件を設定し、また、ファインスキャンの読取条件を設定するものである。条件設定部５２は、画像処理条件設定部６４、キー補正部６６、パラメータ統合部６８から構成される。画像処理条件設定部６４は、プレスキャンデータ等を用いて、画像処理部５４、５８における画像処理条件を作成し、パラメータ統合部６８に供給する。具体的には、画像処理条件設定部６４は、プレスキャンメモリ４４からプレスキャンデータを読み出し、プレスキャンデータから濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ、ハイライト、シャドー等の画像特徴量の算出を行い、これらとオペレータによる指示等に応じて、色バランス調整、階調調整等や鮮鋭化（シャープネス）、平滑化等の画像処理条件を設定する。
【００３０】
キー補正部６６は、キーボード１８ａに設定された濃度（明るさ）、色、コントラスト、シャープネス、彩度等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量を算出し、パラメータ統合部６８に供給する。
パラメータ統合部６８は、画像処理条件設定部６４が設定した画像処理条件を受け取り、供給された画像処理条件をプレスキャンデータ処理部４８のデータ処理部５４及びファインスキャンデータ処理部５０のデータ処理部５８に設定する。さらに、パラメータ統合部６８は、キー補正部６６で算出された調整量に応じて、前記設定された画像処理条件を補正する。
また、パラメータ統合部６８は、後述する欠陥検出部７０からの指示に応じて設定された画像処理条件（特に、鮮鋭化および平滑化の条件）を変更する。
【００３１】
本実施形態の画像処理装置１４は、以上の構成の他に、本フォトプリンタ１０に入力される画像データを撮影したカメラが多点測距カメラであり、撮影対象の測距情報をも入力される場合に、この測距情報等を用いてフィルム上の傷やゴミ等に起因する画像の欠陥を検出する欠陥検出部７０を有している。
欠陥検出部７０は、領域分割手段７２、撮影距離及び向き推定手段７４、処理内容／強度変更手段７６、傷検出手段７８及びノイズ検出手段８０とを有している。
【００３２】
領域分割手段７２は、プレスキャンメモリ４４からプレスキャンデータを受けとるとともに、測距情報入力手段４０より、多点測距カメラがフィルムに画像を撮影する際に取得した当該撮影画像の測距情報を受け取り、撮影画面上での各被写体領域の境界を推定し、これにより領域分割を行うものである。
なお、測距情報は、多点測距カメラが測距情報を所定の記録媒体に記録する場合には、前記測距情報入力手段４０は、この記録媒体から情報を読み出す手段であるが、特に限定されるものではない。例えば、多点測距カメラがＡＰＳシステムに対応しており、測距情報がＡＰＳフィルムに磁気情報として記録される場合には、スキャナ１２の磁気情報読み取り手段（磁気ヘッド）が測距情報入力手段となる。その他、測距情報は、フィルムやカートリッジにＩＣチップ等を貼り付けて、それに記録してもよいし、フィルムに光学的に記録してもよい。それぞれの記録方法に応じて、所定の測距情報入力手段４０（例えばバーコードリーダ等）が用意される。
【００３３】
領域分割手段７２は、公知の方法により被写体のエッジ（境界の候補）を抽出し、これに測距情報の連続性を加味して被写体の境界を推定する。抽出された線（エッジ）が、測距情報も連続しており確かにつながった１本の線である場合には、被写体の境界であるとする。被写体の境界が検出されると、その境界で囲まれた、あるいはある方向に区切られた領域を一つの被写体領域として、各被写体領域が例えば主要被写体と背景とに分割される。
【００３４】
撮影距離及び向き推定手段７４は、分割された各被写体領域の撮影距離及び向きを推定する。例えば、ある被写体領域の各点が同じ撮影距離の場合には、この被写体領域は、カメラの撮影光軸に対して垂直に面していると推定される。また、被写体領域内の点によって撮影距離が異なる場合には、その撮影距離の差によつて、その被写体領域の撮影光軸に対する向きが推定される。
【００３５】
処理内容／強度変更手段７６は、推定された各被写体の撮影距離及び向きに応じて、あるいは各被写体領域の境界からの画面上での距離に応じて、前記画像処理条件設定部６４によって、パラメータ統合部６８に設定された画像処理条件の内容または処理の強度を変更する。具体的には、例えば、主要被写体と背景領域に分割されている場合に、主要被写体のエッジを強調（鮮鋭化）するとともに背景領域については覆い焼き処理を行う等により、主要被写体の周囲に、いわゆる「後光」状の画質不良が発生するのを防止するようにする。
【００３６】
傷検出手段７８は、領域分割手段７２による領域分割結果及び撮影距離及び向き推定手段７４によって算出された距離及び向きのデータを得て、撮影画面上において、各被写体領域の境界に相当しない線をフィルム上の傷として検出するものである。傷を検出した場合には、傷検出信号が補正手段６０に送られ、補正手段６０において、傷によって画像中に生じた欠陥画素を、例えば周辺の画素を用いて補正する。
なお、境界に相当しない線を検出する方法としては、例えば、撮影距離の異なる少なくとも２以上の領域にまたがる測距情報の連続する線があった場合に、これは被写体領域の境界に相当しない線であるとする方法が考えられる。
【００３７】
ノイズ検出手段８０も、前記傷検出手段７８と同様に領域分割手段７２と撮影距離及び向き推定手段７４から所定のデータを得て、画面上のノイズを検出するものであり、ノイズを検出した場合には、ノイズ検出信号が補正手段６０に送られノイズによる画像の欠陥が補正される。
ノイズ検出手段８０は、各被写体の撮影距離と該被写体領域の境界のエッジ強度の関係を用いて、該エッジ強度が所定の許容範囲を越える場合には、フィルム上のゴミあるいはノイズであるとして検出する。
例えば、空を含む撮影画像において、空に白点があるときに、鳥や雲等のように実際に空に存在する被写体の場合には距離が遠いため、エッジがそれほど強くはない。これに対し、もしフィルム上にゴミ等がある場合には、スキャナ１２でこれを読み取るとエッジが強くでるため、撮影距離が大であるにもかかわらず強いエッジ強度であるから、ゴミであるとして検出することができる。
【００３８】
以下、本実施形態の作用を説明する。
まず、被写体を多点測距カメラを用いて撮影する。撮影時には、多点測距カメラにより、撮影画面上の各点の撮影距離についての測距情報が取得され、所定の記録媒体に記録される。この記録媒体は、例えばＡＰＳのフィルムの磁気記録媒体でもよいし、フィルムとは別体の所定の記録媒体でもよい。また、多点測距カメラの測距点数は、特に限定はされないが、点数が多く、高密度の多点測距機能を持つ方が精密な検出を行うことができて好ましい。
【００３９】
多点測距カメラによって撮影されたフィルムが（及び測距情報を記録した記録媒体がフィルムと別体の場合には当該記録媒体も一緒に）ラボに持ち込まれると、オペレータはフィルムを、このフィルムに対応するキャリア３０にセットしてスキャナ１２によりプレスキャンを行う。このとき、フィルムの磁気記録媒体に測距情報が記録されている場合にはフィルムから、また測距情報がフィルムとは別体の記録媒体に記録されている場合にはこの記録媒体から、所定の読み取り装置（測距情報入力手段４０）により測距情報を入力する。
【００４０】
プレスキャンデータは、プレスキャンメモリ４４に格納され、条件設定部５２の画像処理条件設定部６４がこれを読み出し、濃度ヒストグラムの作成や画像特徴量の算出等を行い、ファインスキャンの読取条件を設定し、さらに、各コマの画像処理条件を設定しパラメータ統合部６８に供給する。パラメータ統合部６８は、これをデータ処理部５４、５８に設定する。
【００４１】
一方、欠陥検出部７０においては、プレスキャンデータ及び各撮影コマごとの測距情報とから各画像の主要被写体と背景の境界を抽出する等して、画像処理条件の補正（変更）情報をパラメータ統合部６８に供給するとともに、欠陥の検出を行い、欠陥の補正を行うために、傷、ノイズ等の検出信号を補正手段６０に送る。この画像処理条件の変更や欠陥画素の補正の方法には、以下その一例を示すように様々な内容が含まれる。
【００４２】
領域分割手段７２は、プレスキャンメモリ４４よりプレスキャンデータを受け取るとともに測距情報入力手段４０より測距情報を受け取り、測距情報から主要被写体と背景の境界を抽出する。そして、この境界に絞って画素レベルの領域分割を、色、濃度の類似性を利用して行い、各被写体領域と背景を抽出する。
撮影距離及び向き推定手段７４は、各被写体領域及び画像中の所定の各点の撮影距離を測距情報から得て、各被写体のカメラの撮影光軸に対する向きを推定し、被写体の３次元構造を抽出する。このとき、例えば、各領域内の各点の撮影距離を比較することにより、該領域のカメラ撮影光軸に対する角度を算出する。
【００４３】
処理内容／強度変更手段７６は、前記領域分割、撮影距離及び向き等の情報を受け取り、これに応じて画像処理の内容あるいは処理の強度の変更をパラメータ統合部６８に対して指示する。具体的には、例えば、主要被写体（主に人物）の境界において、エッジ強調やその周辺の背景部の覆い焼き処理の程度等を制御して、被写体の周囲に、いわゆる後光状の白い縁取りが発生しないように画像処理内容あるいは処理の強度を変更する。このような画像処理条件の内容や処理の強度の変更はパラメータ統合部６８に送られる。
【００４４】
傷検出部７８では、例えば、上で算出された画像のエッジと、被写体の３次元構造のエッジとの整合性をチェックすることによりフィルムの傷を検出する。例えば、２つ以上の平面状の被写体領域の間にエッジ（線）がある場合には、これは領域の境界であるが、空間的配置の異なる２つ以上の平面を越えてエッジ（線）が存在する場合には、このような線は本来被写体中にはあり得ない線であり、傷であると推定される。傷検出信号は補正手段６０に送られる。
傷検出信号を受けた補正手段６０は、例えば周辺画素を利用してフィルムの傷に起因する画像の欠陥を修復する。
【００４５】
また、ノイズ検出手段８０においては、上で検出された領域の距離等の情報により、所定の許容範囲を越えるエッジ強度を有するエリアについては、ノイズと推定し、ノイズ検出信号を補正手段６０に送る。ノイズ検出信号を受けた補正手段６０では、ノイズによる欠陥画素を傷の場合と同様にその周辺の画素を用いて修復処理を行う。
あるいは、ノイズを有する領域に対して、画像処理そのものを変更するようにノイズ検出手段８０から処理内容／強度変更手段７６に信号を送るようにしてもよい。例えば、この場合、被写体の輪郭（境界）に近い画素領域については、平滑化処理をオフ（処理を行わない）としたり、またはその強度を弱くする。また、被写体の輪郭以外の画素領域については、平滑化を強くかけるようにしてノイズを除去するようにしてもよい。
【００４６】
その他の画像処理の変更としては、例えば、上で算出された被写体領域の距離やカメラ光軸に対する面の角度に応じて鮮鋭化あるいは平滑化の強度を変更することが挙げられる。
例えば、処理内容／強度変更手段７６において、撮影距離及び向き推定手段７４から受け取った被写体距離によりその距離が遠いと推定される被写体については、その被写体領域をぼかすようにしたり、あるいは、被写体領域のカメラ光軸に対する面の角度により、その被写体がカメラ光軸に対し平行に近い向きにあると推定される場合には、その被写体領域については、その線密度が高くなるため、その被写体領域はぼかさないようにする等が考えられる。
【００４７】
前述したように、条件設定部５２によって設定されたファインスキャンの読取条件にしたがってファインスキャンが行われ、読み取られたファインスキャンデータは、ファインスキャンメモリ４６に格納され、ファインスキャンデータ処理部５０のデータ処理部５８に読み出されて、条件設定部５２で設定され上で述べたように必要に応じて欠陥検出部７０によって変更された画像処理条件によって、データ処理部５８において画像処理が施される。
その後、画像処理後のデータは、補正手段６０において、所定の補正処理及び傷、ノイズ検出信号に応じて、傷やノイズの修復処理が施される。
処理後のデータはデータ変換部６２において変換され、プリンタ１６へ出力され、プリンタ１６より仕上がりプリントとして出力される。
【００４８】
このように、本実施形態によれば、多点測距カメラによる測距情報を利用することにより、被写体の撮影距離や向き等に応じて、画像処理条件の内容やその処理強度を変更し、また、上記情報を用いることにより、装置構成を増大させることなく、フィルムの傷やゴミあるいはノイズを検出することにより画像欠陥を修復することで、画質劣化を抑制し、高画質なプリントを得ることができる。
【００４９】
以上、本発明の多点測距カメラを利用した画像処理システムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００５０】
【発明の効果】
以上説明した通り、本発明によれば、多点測距カメラの測距情報を用いることにより、大がかりな装置を必要とすることなく、画質劣化を抑制し、高画質な画像を得ることが可能となった。
【図面の簡単な説明】
【図１】本発明に係る多点測距カメラを利用した画像処理システムの一実施形態としてのデジタルフォトプリンタの概略構成を示すブロック図である。
【図２】本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。
【符号の説明】
１０ デジタルフォトプリンタ（フォトプリンタ）
１２ スキャナ
１４ 画像処理装置
１６ プリンタ
１８ 操作系
２０ ディスプレイ
２２ 光源
２４ 可変絞り
２８ 拡散ボックス
３０ キャリア
３２ 結像レンズユニット
３４ イメージセンサ
３６ アンプ
３８ Ａ／Ｄ変換器
４０ 測距情報入力手段
４２ データ処理部
４４ プレスキャンメモリ
４６ ファインスキャンメモリ
４８ プレスキャンデータ処理部
５０ ファインスキャンデータ処理部
５２ 条件設定部
５４ （プレスキャン）データ処理部
５６、６２ データ変換部
５８ （ファインスキャン）データ処理部
６０ 補正手段
７０ 欠陥検出部
７２ 領域分割手段
７４ 撮影距離及び向き推定手段
７６ 処理内容／強度変更手段
７８ 傷検出手段
８０ ノイズ検出手段
Claims (4)
- 多点測距カメラによって撮影された画像を読み取り、得られた画像データに所定の画像処理を施し、出力用の画像データとする多点測距カメラを利用した画像処理システムであって、
前記多点測距カメラにより撮影された画像の測距情報を入力する第１の手段と、
前記測距情報の連続性により、撮影画面上での各被写体領域の境界を推定し、領域分割を行う第２の手段と、
前記測距情報により、各被写体の撮影距離及び向きを推定する第３の手段と、
撮影画面上で、該画面上の各点の、前記各被写体領域の境界からの距離を算出する第４の手段と、
前記各被写体の撮影距離または向きに応じて、あるいは、各被写体領域の境界からの画面上での距離に応じて、前記画像処理の内容または処理の強度を変更する第５の手段と、
前記撮影画面上において、前記測距情報により領域分割された領域で、撮影距離の異なる少なくとも２以上の領域にまたがる線を、前記各被写体領域の境界に相当しない線であるとし、前記各被写体領域の境界に相当しない線を画像の欠陥として検出する傷検出手段と、前記画像の欠陥として検出された線を修復する補正手段とを有することを特徴とする多点測距カメラを利用した画像処理システム。 - 請求項１に記載の多点測距カメラを利用した画像処理システムであって、さらに、前記撮影画面上において、前記各被写体の撮影距離と該被写体領域の境界のエッジ強度の関係を用いて、該エッジ強度が所定の許容範囲を越える前記被写体領域をノイズとして検出するノイズ検出手段と、前記ノイズとして検出された被写体領域に対して補正処理を行う補正手段を有する多点測距カメラを利用した画像処理システム。
- 前記ノイズ検出手段は、前記第５の手段における前記画像処理の条件を、前記被写体の輪郭に近い画素領域については平滑化処理を行わない設定、前記被写体の輪郭に近い画素領域については平滑化処理の強度を弱くする設定、および、前記被写体の輪郭以外の画素領域については平滑化処理の強度を強くする設定のいずれか１以上の設定に変更することにより、ノイズとして検出された被写体領域に対して補正処理を行う請求項２に記載の画像処理システム。
- 被写体領域の距離または前記多点測距カメラの光軸に対する面の角度に応じて前記画像処理の条件を変更する請求項１〜３のいずれかに記載の画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001023263A JP4731695B2 (ja) | 2001-01-31 | 2001-01-31 | 多点測距カメラを利用した画像処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001023263A JP4731695B2 (ja) | 2001-01-31 | 2001-01-31 | 多点測距カメラを利用した画像処理システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002230525A JP2002230525A (ja) | 2002-08-16 |
| JP2002230525A5 JP2002230525A5 (ja) | 2008-03-13 |
| JP4731695B2 true JP4731695B2 (ja) | 2011-07-27 |
Family
ID=18888568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001023263A Expired - Fee Related JP4731695B2 (ja) | 2001-01-31 | 2001-01-31 | 多点測距カメラを利用した画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4731695B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4151387B2 (ja) | 2002-11-15 | 2008-09-17 | セイコーエプソン株式会社 | 被写体の明るさに応じた画質の自動調整 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000259823A (ja) * | 1999-03-12 | 2000-09-22 | Canon Inc | 画像処理装置、画像処理方法及び記憶媒体 |
-
2001
- 2001-01-31 JP JP2001023263A patent/JP4731695B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000259823A (ja) * | 1999-03-12 | 2000-09-22 | Canon Inc | 画像処理装置、画像処理方法及び記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002230525A (ja) | 2002-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4056670B2 (ja) | 画像処理方法 | |
| US7433089B2 (en) | Image processor | |
| US20050276481A1 (en) | Particular-region detection method and apparatus, and program therefor | |
| US6646760B1 (en) | Image processing method and apparatus | |
| US6834127B1 (en) | Method of adjusting output image areas | |
| US7164496B2 (en) | Image correction apparatus | |
| JP3783817B2 (ja) | 画像処理方法および画像処理装置 | |
| US6512238B1 (en) | Method and apparatus for image reading capable of detecting scratches or foreign matter on film | |
| JP4731695B2 (ja) | 多点測距カメラを利用した画像処理システム | |
| JP2001223891A (ja) | 画像処理方法 | |
| JP3631370B2 (ja) | 画像処理方法および画像処理装置 | |
| JP3575976B2 (ja) | 主要被写体抽出方法 | |
| JPH11249241A (ja) | 画像処理方法及び画像処理装置 | |
| JP3386373B2 (ja) | 撮影画像の類似性判定方法およびこれを用いた画像処理方法および画像処理装置 | |
| JP4285868B2 (ja) | 主要被写体抽出方法、画像処理装置および撮像装置 | |
| US6560357B1 (en) | Color correcting method and image reading apparatus | |
| US7099048B2 (en) | Image reproducing method and image reproducing apparatus | |
| US6633650B1 (en) | Image processing apparatus | |
| JP3653661B2 (ja) | 画像処理装置 | |
| JP3576812B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2008146657A (ja) | 画像処理方法および画像処理装置 | |
| JP4317803B2 (ja) | 画像処理方法および画像処理装置 | |
| JPH11313214A (ja) | 画像処理方法および画像処理装置 | |
| JP2000092326A (ja) | 濃度特性補正方法および色補正方法 | |
| JPH11261822A (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080130 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080130 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080130 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080728 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100727 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110113 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110420 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |