JP4172663B2 - 画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像データに画像処理を施して写真プリントを作成するデジタルフォトシステムで適用される画像処理方法に関するものである。
【０００２】
【従来の技術】
従来より、ネガフィルムやリバーサルフィルム等の写真フィルム（以下、フィルムという）に撮影された画像の感光材料への焼き付けは、フィルムの画像を投影して感光材料を面露光する直接露光によって行われてきた。これに対し、現在では、例えばフィルムに撮影された画像情報を光電的に読み取り、これをデジタルデータ化して種々の画像処理を施した後、感光材料をデジタル的に露光するデジタルフォトシステムが実用化されている。
【０００３】
前述のデジタルフォトシステムは、基本的に、透過原稿や反射原稿等の原稿に記録された画像を読み取り、これに対応する画像データを発生するスキャナ等の画像読取装置、デジタルフォトシステム全体の動作を制御し管理しつつ、入力された画像データに各種の画像処理を施す画像処理装置、および、画像処理後の画像データに応じて感光材料をデジタル露光するプリンタ、露光済みの感光材料を現像するプロセサ等からなる画像記録装置を備えている。
【０００４】
デジタルフォトシステムでは、まず、スキャナで原稿画像が読み取られる。読み取られた画像はデジタル画像データ化され、画像処理装置において、この画像データから画像処理条件（露光条件）が決定されて各種の画像処理が施される。プリンタでは、画像処理後の画像データに応じて、感光材料が走査露光されて潜像が記録された後、プロセサにより感光材料に応じた現像処理が施されて、フィルムに撮影された画像が再生された仕上りプリントとされる。
【０００５】
デジタルフォトシステムによれば、露光時間が短時間で済み、迅速な露光を行うことができるし、仕上りプリントの画像情報を光磁気ディスク等の記録媒体に保存できるため、例えばフィルムを再読み取りする必要もなく、焼増し等の作業も迅速かつ容易である。しかも、画像合成や画像分割等の編集、色／濃度調整等の画像処理も自由に行うことができ、用途に応じて自由に編集、画像処理を施した仕上りプリントを出力できる等の利点がある。
【０００６】
ところで、ポートレート写真の画質を左右する大きな要因の１つは、例えば人間の目の部分の再現性である。その中でも、ストロボ発光等の影響によって目の部分が赤くなる赤目現象は重大な問題である。また、赤目現象がなく良く撮れた写真であっても、例えば目の中に光が反射して輝いていないと、すなわち、目の中のキャッチライトの写り込みが微弱であると、ポートレートとして冴えない写真になってしまうという問題点がある。
【０００７】
このような問題点を解決するために、本出願人は、例えば特開平１０−７５３７４号公報において、オペレータの指定による目を含む領域の中から目の領域を抽出した後、目の領域の赤目判定を行い、赤目であると判定したときには赤目消し処理を施し、同じく目の領域を抽出した後、キャッチライト判定を行い、キャッチライトが微弱であると判定したときにはキャッチライト強調処理を施す画像処理方法および装置を提案している。
【０００８】
しかし、同公報に開示の画像処理方法および装置では、例えば元来が黒目の場合であれば、目の領域の彩度を低下させ、無彩色に近づけることによって黒目に修正することができるが、例えば青目の場合には、あらかじめ所望の青色の色相を指定、格納しておき、色相変換を行うことによって青目に修正しているため、特に、目元がアップの写真になるほど、どうしても本人の目の色相との違いが認識されてしまい、違和感があるという問題点があった。
【０００９】
【発明が解決しようとする課題】
本発明の目的は、前記従来技術に基づく問題点をかえりみて、例えば赤目等のように、修正すべき画像の修正部分を違和感なく修正することができる画像処理方法を提供することにある。
【００１０】
上記目的を達成するために、本発明は、デジタル画像データに画像処理を施して写真プリントを作成するデジタルフォトシステムで適用される画像処理方法であって、前記写真プリントの作成を依頼された同一件の複数の画像の中から選定された、赤目になっている人物を含む修正すべき第１の画像およびこの第１の画像の修正部分となる赤目になっている人物と同一の人物を含むと共に、前記修正すべき第１の画像に含まれる前記赤目に相当する特徴部分である前記同一の人物の黒目を含み、前記第１の画像と異なる第２の画像を得、前記修正すべき第１の画像の修正部分となる赤目を含む領域および前記選定された第２の画像の特徴部分である黒目を含む領域がそれぞれ指定され、前記選定された第２の画像の特徴部分である黒目を含む領域から黒目の領域を検出して、検出した黒目を拡大もしくは縮小して、前記修正すべき第２の画像の修正部分となる赤目を含む領域に入れ込むことにより、前記修正すべき第１の画像の修正部分となる赤目を含む領域を修正する赤目消し処理を行うことを特徴とする画像処理方法を提供するものである。
【００１１】
ここで、前記修正すべき第１の画像を修正するに際し、前記デジタルフォトシステムの画像表示部上に、前記修正すべき第１の画像、前記選定した第２の画像、および、修正後の画像を並べて表示するのが好ましい。
【００１２】
【発明の実施の形態】
以下に、添付の図面に示す好適実施例に基づいて、本発明の画像処理方法を詳細に説明する。
【００１３】
図１は、本発明を適用するデジタルフォトシステムの一実施例の概念図である。図示例のデジタルフォトシステム１０は、基本的に、フィルムＦに撮影された画像を１コマずつ光電的に読み取るスキャナ（画像読取装置）１２、このデジタルフォトシステム１０全体の動作を制御しつつ、入力される画像データを画像処理する画像処理装置１４、および、画像処理後の画像データに応じて感光材料を露光し、現像処理する画像記録装置１６を有する。
【００１４】
また、同図には、例えば様々な条件の入力（設定）、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａやマウス１８ｂ等の入力部１８、例えばスキャナ１２で読み取られた画像、各種の操作指示、条件の設定／登録画面等を表示するＣＲＴやＬＣＤ等の表示部２０が示されており、これらの入力部１８および表示部２０は、いずれも画像処理装置１４の図示していない制御部に接続されている。
【００１５】
まず、スキャナ１２においては、例えば光源から射出された読取光が、可変絞りにより光量調整され、拡散ボックスによりフィルムＦの面方向に均一に拡散された後、フィルムＦへ入射される読取光を規制するマスクの主走査方向（フィルムＦの幅方向）に延在するスリットを通して、副走査方向（フィルムＦの長手方向）に搬送されるフィルムＦに入射される。これにより、結果的にフィルムＦは、マスクのスリットによって２次元的にスリット走査される。
【００１６】
読取光がフィルムＦを透過することにより、フィルムＦに撮影された画像を担持する投影光が、結像レンズによってイメージセンサのＲＧＢ（赤緑青）の各画像読取に対応する３つのラインＣＣＤセンサの受光面に結像され、ＲＧＢの３原色に分解されて光電的に読み取られる。その後、イメージセンサによって読み取られた画像データは、アンプによって増幅され、Ａ／Ｄ変換器でデジタル信号とされた後、画像処理装置１４へ供給される。
【００１７】
なお、スキャナ１２では、まず、フィルムＦに撮影された画像を低解像度で読み取るプレスキャンが行われた後、高解像度で読み取る本スキャンが行われる。詳しくは後述するが、画像処理装置１４において、プレスキャンで得られた画像データから本スキャンの読取条件や画像処理条件が設定され、この画像処理条件を用いて本スキャンの画像データが処理される。ここで、プレスキャンと本スキャンとの違いは、その読取画像の解像度が異なることだけである。
【００１８】
また、本発明を適用するフォトシステム１０において、原画像およびその供給源は、各種の写真フィルム等のような透過原稿の画像を読み取るスキャナ１２に限定されず、例えば各種の写真プリントや印刷物等の反射原稿を読み取るスキャナの他、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、インターネットやローカルエリアネットワーク等のコンピュータ通信、ＭＯディスク等の記録媒体（媒体の記録・読出手段）等が例示される。
【００１９】
前述のように、スキャナ１２から出力されるＲＧＢの各デジタル信号は、画像処理装置１４（以下、処理装置１４とする）に出力される。
ここで、図２に、処理装置１４の一実施例のブロック図を示す。図示例の処理装置１４は、データ処理部２２、Ｌｏｇ変換器２４、プレスキャン（フレーム）メモリ２６、本スキャン（フレーム）メモリ２８、プレスキャン処理部３０、本スキャン処理部３２および条件設定部３４を有する。
【００２０】
なお、説明を容易化するために、図２には、画像処理関連の部位だけを示しているが、処理装置１４は、例えばパーソナルコンピュータ等のように、入力部１８や表示部２０を介して、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行う制御部を備えている。
【００２１】
スキャナ１２から処理装置１４へ供給されたＲＧＢの各デジタル信号は、まず、データ処理部２２において、暗時補正、欠陥画素補正、シェーディング補正等の所定のデータ処理が施され、Ｌｏｇ変換器２４によってｌｏｇ変換されて濃度データとされた後、プレスキャンの場合には、プレスキャンデータとしてプレスキャンメモリ２６に記憶され、本スキャンの場合には、本スキャンデータとして本スキャンメモリ２８に記憶される。
【００２２】
続いて、プレスキャンメモリ２６に記憶されたプレスキャンデータは、プレスキャン処理部３０に、他方、本スキャンメモリ２８に記憶された本スキャンデータは、本スキャン処理部３２に読み出されて処理される。
プレスキャン処理部３０は、画像データ処理部３６および画像データ変換部３８を有し、同じく、本スキャン処理部３２は、画像データ処理部４０および画像データ変換部４２を有する。
【００２３】
プレスキャン処理部３０の処理部３６、および、本スキャン処理部３２の処理部４０は、後述の条件設定部３４によって設定される処理条件に応じて、スキャナ１２で読み取られた画像（画像データ）に所定の画像処理を施す部位で、両処理部３６，４０では、解像度が異なること以外、基本的に同じ処理が行われる。なお、両処理部３６，４０では、例えば赤目消し処理を含む、従来公知の各種の画像処理が施される。
【００２４】
なお、画像処理としては、赤目消し処理の他、例えばルックアップテーブル（ＬＵＴ）によるグレイバランス調整、階調補正および濃度（明るさ）調整、マトリクス（ＭＴＸ）による撮影光源種補正や画像の彩度調整（色調整）、ローパスフィルタ、加算器、ＬＵＴ、ＭＴＸ等を適宜組み合わせた平均化処理や補間演算等による電子変倍処理、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、シャープネス（鮮鋭化）処理等が例示される。
【００２５】
ここで、図３に、本発明の画像処理方法を適用して赤目消し処理を施す場合の一実施例の概念図を示す。
プリントの作成は、例えばフィルムＦに撮影された画像の場合であれば、フィルムＦの現像と同時に依頼（同時プリント）されたり、現像後のフィルムＦ、すなわち、長尺のロール状のフィルムＦや、４，５コマ毎に分断されたピース状のフィルムＦ等を用いて依頼（再プリント）される。
【００２６】
このように、プリントの作成を依頼された同一件の複数の画像の中には、あるコマの画像では赤目になっている人が、他のコマの画像では元来の黒目になっている場合がある。この場合、オペレータは、本発明にしたがって、これらの複数の画像の中から、赤目になっている修正すべき画像（赤目画像）、および、この赤目画像の修正部分となる赤目に相当する特徴部分である黒目を含んでいる画像（参照画像）を選定する。
【００２７】
ここで、赤目画像や参照画像は、いずれもプレスキャンした複数の画像のコマ画像をＣＲＴ等の表示部２０上に一覧表示し、一覧表示された複数のコマ画像の中から、オペレータが、キーボード１８ａを用いてコマ番号等を指定したり、マウス１８ｂ等を用いてコマ画像を指定し、表示部２０上に拡大表示して確認しながら視覚的に選定できるのが好ましい。オペレータによって選定された赤目画像および参照画像は表示部２０上に表示される。
【００２８】
続いて、オペレータは、マウス１８ｂ等を用いて、表示部２０上に表示された、赤目画像の修正部分となる赤目を含む領域、および、参照画像の特徴部分となる黒目を含む領域をそれぞれ指定する。なお、本実施例の場合、例えば両目を含む領域を同時に指定してもよいし、あるいは、片目ずつ順番に指定してもよい。両処理部３６，４０により、指定された領域の中から、それぞれ赤目の領域および黒目の領域が検出される。
【００２９】
その後、両処理部３６，４０では、例えば参照画像から検出した黒目を拡大もしくは縮小（拡縮）して赤目画像の赤目の領域に入れ込んだり、あるいは、キャッチライト部分を除く、赤目の領域だけを黒目の画像データで塗りつぶす等して、赤目が本人の黒目の情報によって修正される。このように、本発明の画像処理方法によれば、本人の黒目を利用して赤目を修正するため、赤目を違和感なく修正することができるし、キャッチライトも保持することができる。
【００３０】
ここで、図４に示すように、修正すべき画像である赤目画像、選択した画像である参照画像、および、修正後の画像（修正画像）を表示部２０上に並べて表示するのが好ましい。このように、赤目画像、参照画像および修正画像を表示部２０上に同時に並べて表示することにより、オペレータが、それぞれの画像を見比べて修正画像の最終的な良否を確認することができ、例えば赤目修正をやり直すこともできる。
【００３１】
なお、本発明の画像処理方法は、赤目消し処理だけに限定されず、例えばしわ、しみ、そばかす、にきび、傷痕、やけど痕等の修正にも適用可能であるし、人物の修正だけに限定されるものでもない。また、プリントの作成を依頼される同一件の画像は、フィルムＦに撮影された画像等の透過原稿に限定されず、写真プリント等の反射原稿、デジタルカメラやコンピュータ等から供給されるデジタル画像データ等でももちろんよい。また、修正方法も何ら限定されない。
【００３２】
また、参照画像は、必ずしも同一件の複数の画像の中から選定する必要はなく、別件の画像の中から選定してもよい。また、参照画像は、例えば修正画像の人物の片目だけが赤目の場合、修正画像の本人のもう一方の目を参照画像としてもよいし、両目が赤目の場合には、同一コマ内の別人の赤目になっていない目を参照画像としてもよいし、あるいは、他のコマ（画像）で赤目になっていない本人もしくは別人の目を参照画像としてもよいなど、赤目になっていない目であれば、何でも参照画像として利用可能である。この際、似たようなシーン、同一件内から参照画像とする画像を探すとさらに精度よく赤目等の修正部分を修正することができる。また、赤目の修正の際には、目の大きさ、形、方向などを留意して参照画像を見つけるとさらに良い。
【００３３】
一方、プレスキャン処理部３０の画像データ変換部３８は、処理部３６によって処理された画像データを、必要に応じて間引き、例えば３Ｄ（３次元）−ＬＵＴ等を用い、表示部２０による表示用の画像データに変換して表示部２０に供給する。同様に、本スキャン処理部３２の画像データ変換部４２は、処理部４０によって処理された画像データを、３Ｄ−ＬＵＴ等を用い、画像記録装置１６による画像記録用の画像データに変換して画像記録装置１６に供給する。
【００３４】
続いて、処理装置１４において、条件設定部３４は、プレスキャン処理部３０および本スキャン処理部３２における各種の処理条件や、本スキャンの読取条件等を設定するもので、セットアップ部４４、キー補正部４６およびパラメータ統合部４８を有する。
【００３５】
条件設定部３４において、まず、セットアップ部４４は、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出を行って本スキャンの読取条件を決定し、必要に応じて行われるオペレータからの指示等に応じて、グレイバランス調整、濃度調整、階調補正等を行うＬＵＴの作成、ＭＴＸ演算式の作成、鮮鋭度補正係数の算出を行い、プレスキャン処理部３０および本スキャン処理部３２における各種の画像処理条件を設定する。
【００３６】
続いて、キー補正部４６は、キーボード１８ａにあらかじめ設定されている濃度（明るさ）、色、コントラスト、シャープネス、彩度等を調整するキーや、マウス１８ｂ等の入力部１８から入力された各種の指示等に応じて、画像処理条件の調整量を算出し、これをパラメータ統合部４８に供給する。
【００３７】
また、パラメータ統合部４８は、セットアップ部４４によって設定された画像処理条件を受け取って、これをプレスキャン処理部３０および本スキャン処理部３２に設定し、さらに、キー補正部４６で算出された調整量に応じて、各部位に設定した画像処理条件を補正（調整）したり、再設定する。
【００３８】
以下、デジタルフォトプリンタ１０の動作について簡単に説明する。
フィルムＦのプリント作成開始が指示されると、まず、スキャナ１２ではプレスキャンが開始され、フィルムＦに撮影された画像がＲＧＢに分解され、光電的に読み取られてデジタル信号に変換される。スキャナ１２から出力されるＲＧＢのデジタル信号は処理装置１４に供給され、所定のデータ処理が施され、ｌｏｇ変換されて濃度データとされた後、プレスキャンメモリ２６に記憶される。
【００３９】
その後、プレスキャンデータは、プレスキャンメモリ２６から読み出され、条件設定部３４のセットアップ部４４、および、プレスキャン処理部３０の処理部３６に供給される。
【００４０】
まず、セットアップ部４４では、プレスキャンデータから、画像の濃度ヒストグラムの作成、画像特徴量の算出等が行われて本スキャンの読取条件が決定され、これらの濃度ヒストグラムや画像特徴量、さらには必要に応じて行われるオペレータの指示等に応じて、処理部３６，４０における各画像処理条件（露光条件）が決定され、パラメータ統合部４８に供給される。パラメータ統合部４８は、画像処理条件を各々プレスキャン処理部３０および本スキャン処理部３２の所定部位に設定する。
【００４１】
プレスキャンデータは、処理部３６で赤目消し処理を含む各種の画像処理が施され、画像データ変換部３８で表示用の画像データに変換され、図４に示すように、参照画像、赤目画像および修正画像が並べて表示部２０に表示される。オペレータは、表示部２０に表示された画像を見て、赤目消し処理後の修正画像の良否の判定や、処理結果の確認（検定）を行い、必要に応じて、キーボード１８ａに設定されている調整キー等を用いて色、濃度、階調等を調整する。
【００４２】
すなわち、修正画像が不良であると判定した場合、例えば再度赤目消し処理をやり直すこともできる。一方、修正画像が良好であると判定した場合、色、濃度、階調等の調整の入力がキー補正部４６に供給され、調整入力に応じた画像処理条件の補正量が算出され、これがパラメータ統合部４８に供給される。パラメータ統合部４８は、キー補正部４６からの補正量を受け取り、処理部３６および４０のＬＵＴやＭＴＸ等を補正する。この補正すなわちオペレータによる調整入力に応じて、表示部２０に表示される画像も変化する。
【００４３】
オペレータは、赤目消し処理を含む画像処理後のコマの画像が適正（検定ＯＫ）であると判定すると、キーボード１８ａやマウス１８ｂ等を用いてプリント開始を指示する。これにより、画像処理条件が確定し、本スキャンの読取条件がスキャナ１２に設定され、本スキャンが開始される。なお、検定を行わない場合には、パラメータ統合部４８による本スキャン処理部３２への画像処理条件の設定を終了した時点で画像処理条件が確定し、本スキャンが開始される。
【００４４】
本スキャンは、読取条件が本スキャンの読取条件となること以外はプレスキャンと同様に行われ、本スキャンデータは本スキャンメモリ２８に記憶される。
その後、本スキャンデータは、本スキャンメモリ２８から読み出され、本スキャン処理部３２の処理部４０に供給される。処理部４０では、本スキャンデータに、確定した画像処理条件で、赤目消し処理を含む各種の画像処理が施され、画像データ変換部４２で出力用の画像データに変換され、画像記録装置１６に供給される。
【００４５】
画像記録装置１６は、基本的に、供給された画像データに応じて感光材料（印画紙）を露光して潜像を記録するプリンタ（焼付装置）、および、露光済の感光材料に所定の処理を施してプリントとして出力するプロセサ（現像装置）を備えている。
【００４６】
プリンタでは、例えば感光材料をプリントに応じた所定長に切断した後に、バックプリントを記録し、次いで、感光材料の分光感度特性に応じたＲ露光、Ｇ露光およびＢ露光の３種の光ビームを処理装置１４から出力された画像データに応じて変調して主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、光ビームで感光材料を２次元的に走査露光して潜像を記録し、プロセサに供給する。
【００４７】
感光材料を受け取ったプロセサは、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとし、フィルム１本分等の所定単位に仕分して集積する。
以上、本発明の画像処理方法について詳細に説明したが、本発明は上記実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【００４８】
【発明の効果】
以上詳細に説明した様に、本発明の画像処理方法は、修正すべき画像およびこの修正すべき画像の修正部分に相当する特徴部分を含んでいる画像を選定し、修正すべき画像の修正部分を含む領域および選定した画像の特徴部分を含む領域をそれぞれ指定し、選定した画像の特徴部分を利用して、修正すべき画像の修正部分を修正するものである。
本発明の画像処理方法によれば、例えば本人の黒目の画像を利用して赤目の画像を修正するため、修正すべき画像の赤目、しわ、しみ、そばかす、にきび、傷痕、やけど痕等の修正部分を違和感なく修正することができる。
【図面の簡単な説明】
【図１】 本発明を適用するデジタルフォトシステムの一実施例の概念図である。
【図２】 画像処理装置の一実施例のブロック図である。
【図３】 本発明の画像処理方法を適用して赤目消し処理を施す場合の一実施例の概念図である。
【図４】 本発明の画像処理方法を適用して処理画像を表示する場合の一実施例の概念図である。
【符号の説明】
１０ デジタルフォトシステム
１２ スキャナ（画像読取装置）
１４ 画像処理装置
１６ 画像記録装置
１８ 入力部
１８ａ キーボード
１８ｂ マウス
２０ 表示部
２２ データ処理部
２４ Ｌｏｇ変換器
２６ プレスキャンメモリ
２８ 本スキャンメモリ
３０ プレスキャン処理部
３２ 本スキャン処理部
３４ 条件設定部
３６，４０ 画像データ処理部
３８，４２ 画像データ変換部
４４ セットアップ部
４６ キー補正部
４８ パラメータ統合部
Ｆ フィルム

Claims (2)

1. デジタル画像データに画像処理を施して写真プリントを作成するデジタルフォトシステムで適用される画像処理方法であって、
   前記写真プリントの作成を依頼された同一件の複数の画像の中から選定された、赤目になっている人物を含む修正すべき第１の画像およびこの第１の画像の修正部分となる赤目になっている人物と同一の人物を含むと共に、前記修正すべき第１の画像に含まれる前記赤目に相当する特徴部分である前記同一の人物の黒目を含み、前記第１の画像と異なる第２の画像を得、前記修正すべき第１の画像の修正部分となる赤目を含む領域および前記選定された第２の画像の特徴部分である黒目を含む領域がそれぞれ指定され、前記選定された第２の画像の特徴部分である黒目を含む領域から黒目の領域を検出して、検出した黒目を拡大もしくは縮小して、前記修正すべき第２の画像の修正部分となる赤目を含む領域に入れ込むことにより、前記修正すべき第１の画像の修正部分となる赤目を含む領域を修正する赤目消し処理を行うことを特徴とする画像処理方法。
2. 前記修正すべき第１の画像を修正するに際し、前記デジタルフォトシステムの画像表示部上に、前記修正すべき第１の画像、前記選定した第２の画像、および、修正後の画像を並べて表示することを特徴とする請求項１に記載の画像処理方法。

Images