JP3970261B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、デジタルフォトプリンタに好適に利用されるデジタルの画像処理の技術分野に属する。

現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）が主流である。

これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上り）プリントとするデジタルフォトプリンタが実用化された。

デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。また、画像の合成や分割、文字の合成等も画像データ処理で行うことができ、用途に応じて自由に編集／処理したプリントも出力可能である。
しかも、デジタルフォトプリンタによれば、画像をプリント（写真）として出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーディスク（登録商標）等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
さらに、デジタルフォトプリンタによれば、フィルムに撮影された画像以外にも、デジタルカメラやデジタルビデオカメラ等の撮像デバイスで撮影された画像（画像データ）も、プリントとして出力することができる。

このようなデジタルフォトプリンタは、基本的に、フィルムに読取光を入射して、その投影光を読み取ることによって、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）と、スキャナによって読み取られた画像データやデジタルカメラ等から供給された画像データに所定の画像処理を施し、画像記録のための画像データすなわち露光条件とする画像処理装置と、画像処理装置から出力された画像データに応じて、例えば光ビーム走査によって感光材料を走査露光して潜像を記録するプリンタ（画像記録装置）と、プリンタによって露光された感光材料に現像処理を施して、画像が再生された（仕上り）プリントとするプロセサ（現像装置）とを有して構成される。
ところで、あるシーンを光学的に撮影する際に、そのシーンが高コントラストシーンである場合には、撮影媒体の有するダイナミックレンジの関係で、そのシーンの持つ情報（画像）をすべて記録することができず、プリントとして再生するために十分な画像データが得られない場合がある。
特に、デジタルカメラは、撮影ラチチュード（露光寛容度）が狭いので、高度な技術を持たない一般アマチュアでは、最適な条件で撮影を行うのが困難であり、高コントラストシーンでは、画像のハイライト（最低濃度）の白とびやシャドー（最高濃度）の黒つぶれが発生して、著しく画質の低い画像となってしまうことが多々ある。

このような問題点を解決するために、デジタルカメラによって、同じシーンを異なる露光条件、例えば、ＣＣＤセンサの蓄積時間を変えて低露光量と高露光量の２条件で撮影して、画像シーンのハイライトからシャドーまでの画像データを白とびや黒つぶれなく得、得られた２つの画像（画像データ）を合成する方法や装置が提案されており、例えば、特許文献１、特許文献２、特許文献３の各公報に開示されている。
これらによれば、撮影ラチチュードの狭いデジタルカメラでも、十分な画像データのダイナミックレンジを確保して、高コントラストシーンでも白とびや黒つぶれのない好適な画像データを得ることができる。

特開平６−１４１２２９号公報 特開平７−１３１７０４号公報 特開平７−１３１７１８号公報

しかしながら、これらの方法では、デジタルカメラのコストが向上してしまう場合があり、また、あらかじめ合成を目的とした最適な２画像を撮影する必要がある。さらに、前述のデジタルフォトプリンタによってプリントを作成する際には、必ずしも最適な画像データが得られない。

本発明の目的は、前記従来技術の問題点を解決することにあり、撮影ラチチュードの狭いデジタルカメラ等で高コントラストシーンを撮影した際でも、十分な画像データのダイナミックレンジを確保することができ、また、同シーンを異なる露光条件で撮影した複数の画像から合成に最適な画像を選択でき、また、デジタルフォトプリンタにおいて、高画質な画像が再生されたプリント（写真）を得られる画像データを得ることができる画像処理装置及び画像処理方法を提供することにある。

前記目的を達成するために、本発明の第１の態様は、同シーンが異なる露光条件で外部装置によって撮影され、γ変換された第１の複数の画像の画像データの入力を受け、画像処理を行なう画像データとして取得する取得手段と、この取得手段によって得られた前記画像の画像データから１つの合成画像の画像データを生成する合成手段と、この合成手段によって合成された合成画像の画像データに覆い焼き処理を施す画像処理手段と、を有し、前記合成手段は、前記取得手段によって得られた前記画像データを、前記γ変換の逆変換である逆γ変換を行い、さらに対数変換する変換手段を有し、この変換手段を用いて、前記取得手段によって得られた前記画像データを、逆γ変換し、さらに対数変換して、逆γ変換された対数スケールの被写体輝度データである変換済被写体輝度データとし、その画像合成の合成条件を、前記変換済被写体輝度データを用いて設定し、設定された合成条件を用いて、前記変換済被写体輝度データを合成して前記１つの合成画像の画像データとすることを特徴とする画像処理装置を提供するものである。

また、本発明の第２の態様は、同シーンを異なる露光条件で撮影した第２の複数の画像の画像データを取得する取得手段と、この取得手段によって得られた第２の複数の画像の画像の中から合成に最適な第１の複数の画像を選択する選択手段と、この選択手段が選択した前記第１の複数の画像の画像データを合成して１つの合成画像の画像データとする合成手段とを有し、この合成手段は、その画像合成の合成条件を、前記第１の複数の画像の画像データを用いて設定し、設定された合成条件を用いて前記第１の複数の画像の画像データを対数スケールの被写体輝度データに変換して前記１つの合成画像の画像データとすることを特徴とする画像処理装置を提供するものである。

ここで、上記第１および第２の態様において、前記合成条件は、前記第１の複数の画像中の１つの画像の被写体輝度データに対する各画像の被写体輝度データのシフト量であり、前記合成手段は、前記１つの画像および前記各画像の被写体輝度データから、それぞれ、飛びもつぶれもない画素を選択し、それぞれ、選択された画素の集合の被写体輝度データの平均値を求め、求められた前記各画像の平均値と前記１つの画像の平均値との差を、それぞれ前記各画像のシフト量として算出するのが好ましい。

さらに、前記合成手段によって合成された前記合成画像の画像データに覆い焼き処理を施す画像処理手段とを有することが好ましく、前記第１の複数の画像の画像データに応じて、前記画像合成の際の各画像の重み付けを決定することが好ましい。
また、前記第１の複数の画像が、デジタルカメラで撮影されたものであり、前記合成手段または前記画像処理手段から出力される合成画像データは、写真プリントとして出力するための画像データを含むことが好ましい。

また、前記選択手段は、前記第２の複数の画像の画像データおよび撮影時刻の少なくとも一方を用いて合成に最適な前記第１の複数の画像を選択することが好ましく、この場合、前記選択手段が、前記第２の複数の画像の画像データおよび撮影時刻を用いて前記第１の複数の画像を選択することが好ましい。更には、前記選択手段が、前記第２の複数の画像の撮影時刻を用いて、同シーンが異なる露光条件で撮影された第３複数の画像であると判断し、この第３の複数の画像の画像データを用いて、各画像のヒストグラムを作成し、作成されたヒストグラムを用いて、合成に最適な前記第１の複数の画像を選択することが好ましい。

また、前記合成手段は、前記第１の複数の画像の画像データを記憶するメモリと、前記メモリから読み出された前記第１の複数の画像の画像データを対数スケールの被写体輝度データに変換する変換手段と、前記合成条件を前記第１の複数の画像中の１つの画像の被写体輝度データに対する各画像の被写体輝度データのシフト量として設定する設定手段と、前記各画像の被写体輝度データに設定された各シフト量をそれぞれ加算する第１の加算器と、前記１つの画像の被写体輝度データおよび前記加算された各画像の被写体輝度データにそれぞれ重み付けを行う乗算器と、前記重み付けされた前記１つの画像および前記加算された前記各画像の各被写体輝度データを加算する第２の加算器とを有することが好ましい。

また、前記第１の複数の画像の画像データは、更に、そのヘッダ及びタグの少なくとも一方に撮影情報を含み、前記合成手段は、更に、前記ヘッダ及びタグの少なくとも一方から前記撮影情報を取得して、取得した撮影情報を利用して合成することが好ましい。

さらに、本発明の第３の態様は、同シーンを異なる露光条件で撮影した、合成される第１の複数の画像の画像データを取得し、取得した前記第１の複数の画像の画像データを用いて画像合成の合成条件を設定し、設定された合成条件を用いて第１の複数の画像の画像データを対数スケールの被写体輝度データに変換して１つの合成画像の画像データとし、前記合成画像の画像データに覆い焼き処理を施すことを含む画像処理方法を提供するものである。

また、本発明の第４の態様は、同シーンを異なる露光条件で撮影した第２の複数の画像の画像データを取得する取得し、取得した前記第２の複数の画像の画像の中から合成に最適な第１の複数の画像を選択し、選択した前記第１の複数の画像の画像データを用いて画像合成の合成条件を設定し、設定された画像条件を用いて前記第１の複数の画像の画像データを対数スケールの被写体輝度データに変換して前記１つの合成画像の画像データとすることを含む画像処理方法を提供するものである。

本発明によれば、撮影ラチチュードの狭いデジタルカメラ等で高コントラストシーンを撮影した際でも、十分な画像データのダイナミックレンジを確保でき、また、同シーンを異なる露光条件で撮影した複数の画像から合成に最適な画像を選択でき、また、デジタルフォトプリンタにおいて、高画質な画像が再生されたプリントを得ることができる。

以下、本発明の画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。

図１に、本発明の画像処理装置を利用するデジタルフォトプリンタの一例のブロック図が示される。
図１に示されるデジタルフォトプリンタ（以下、フォトプリンタ１０とする）は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理やフォトプリンタ１０全体の操作および制御等を行う、本発明にかかる画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上り）プリントとして出力するプリンタ１６と、画像処理装置１４から出力された画像データを画像ファイルとしてフロッピーディスク（登録商標）等の記録媒体に記録し、あるいは記録媒体に記録された画像データを読み取って画像処理装置１４等に供給する記録手段２６とを有して構成される。
また、画像処理装置１４には、様々な条件の入力（設定）、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、条件の設定／登録画面等を表示するディスプレイ２０が接続される。

スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各画像読取に対応するラインＣＣＤセンサを有するイメージセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３８とを有して構成される。

また、フォトプリンタ１０においては、新写真システム(Advanced Photo System）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ１２の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送される。
このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４によって光量調整された読取光が、キャリアによって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。

図示例のスキャナ１２は、スリット走査によってフィルムに撮影された画像を読み取るものであり、フィルムＦは、キャリア３０によって読取位置に位置されて長手方向（副走査方向）に搬送されつつ、読取光を入射される。フィルムＦを透過した投影光は、読取位置に配置された、前記副走査方向と直交する主走査方向に延在するスリットによって規制される。これにより、結果的にフィルムＦが主走査方向に延在するスリットによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。

読取光はキャリア３０に保持されたフィルムＦを透過して画像を担持する投影光となり、この投影光は、結像レンズユニット３２によってイメージセンサ３４の受光面に結像される。
イメージセンサ３４は、Ｒ画像の読み取りを行うラインＣＣＤセンサ、Ｇ画像の読み取りを行うラインＣＣＤセンサ、Ｂ画像の読み取りを行うラインＣＣＤセンサを有する、いわゆる３ラインのカラーＣＣＤセンサで、各ラインＣＣＤセンサは、主走査方向に延在している。フィルムＦの投影光は、イメージセンサ３４によって、Ｒ、ＧおよびＢの３原色に分解されて光電的に読み取られる。
イメージセンサ３４の出力信号は、アンプ３６で増幅され、Ａ／Ｄ変換器３８でデジタル信号とされて、画像処理装置１４に送られる。

なお、本発明を利用するフォトプリンタ１０において、スキャナは、このようなスリット走査によるものに限定はされず、１コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。
また、本発明を利用するフォトプリンタ１０においては、スキャナ１２によって読み取ったフィルムＦの画像以外にも、反射原稿の画像を読み取るスキャナ、デジタルカメラやデジタルビデオカメラ等の撮像デバイス、インターネット等のコンピュータ通信、フロッピーディスク（登録商標）やＭＯディスク（光磁気記録媒体）等の画像データ供給源Ｒから画像データを受け取って、これを再生したプリントを作成してもよい。

前述のように、スキャナ１２やデジタルカメラ等から出力されたデジタル信号は、画像処理装置１４（以下、処理装置１４とする）に出力される。
処理装置１４は、データ処理部４０、画像合成部４２、および画像処理部４４を有して構成される。
なお、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ等が配置され、また、操作系１８やディスプレイ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部位に接続される。

スキャナ１２から出力されたＲ，ＧおよびＢの各デジタル信号は、データ処理部４０において、暗時補正、欠陥画素補正、シェーディング補正等の所定のデータ処理を施され、さらに、Ｌｏｇ変換されて、デジタルの画像データ（濃度データ）とされる。また、画像データがデジタルカメラ等の画像データ供給源Ｒから供給された場合には、その画像データは、データ処理部４０においてフォトプリンタ１０に対応する画像データに変換され、必要な処理を施される。

データ処理部４０で処理された画像データは、次いで、画像合成部４２に送られる。
画像合成部４２は、合成すべき画像データ、すなわち同シーンを異なる露光条件で撮影した複数の画像の画像データが処理装置１４に供給された際に、データ処理部４０で処理された画像データから、合成する画像データを選択して合成する部位である。従って、露光条件の異なる同シーンが他にない画像データは、画像合成部４２で何の処理もされずに、画像処理部４４に送られる。
なお、本発明において、データ処理部４０で処理された画像データは、必ずしも画像合成部４２に供給されるのに限定はされず、例えば、画像合成を行う際には、オペレータが指示を出して、対応する画像データのみを画像合成部４２に送るようにし、それ以外の画像データは、画像合成部４２を通らずに画像処理部４４に送るようにしてもよい。

本発明において、同シーンを異なる露光条件で撮影した複数の画像とは、異なる露光量で撮影した同じシーンの画像であり、例えば、フィルムＦの画像であれば、カメラの絞りやシャッタースピードを変えて撮影した同シーンの画像であり、デジタルカメラの画像であれば、ＣＣＤセンサの蓄積時間（電子シャッタスピード）や絞りを変えて撮影した同シーンの画像である。
特に、スキャナ１２での光電的な読み取りが不要であり、画像合成の際の位置合わせが容易である等の点で、露光条件の異なる同一シーンの画像は、デジタルカメラで撮影された画像、中でもＡＥブラケティング機能を用いて撮影された画像が好適である。また、高速連写が可能なデジタルカメラであれば、動被写体にも対応可能である点でも好ましい。

図２に、画像合成部４２のブロック図が示される。
画像合成部４２は、合成画像選択部４６と、Ｄ（フレーム）メモリ４８と、Ｌ（フレーム）メモリ５０と、合成部５２とを有して構成される。

合成画像選択部４６は、撮影情報および画像データの少なくとも一方を用いて、供給された画像データから、露光条件の異なる同シーンの複数の画像データを検出し、合成に最適な画像データ（コマ）を選択する部位で、図示例は、好ましい態様として撮影情報と画像データの両者を用い、合成に最適な２つの画像データを選択する。

合成する画像データを選択するための撮影情報としては、撮影時刻が例示される。
例えば、画像データとして、以下に示すｉｍ１〜ｉｍ５の画像データが供給されたとする。
画像データ名 撮 影 時 刻
日付（年：月：日） 時刻（時：分：秒）
ｉｍ１ ９８：０４：０１ ０８：０５：３５．００
ｉｍ２ ９８：０４：０１ ０８：１０：００．４５
ｉｍ３ ９８：０４：０１ ０８：１０：００．５２
ｉｍ４ ９８：０４：０１ ０８：１０：０１．０１
ｉｍ５ ９８：０４：０１ ０８：１３：００．２２

合成画像選択部４６は、撮影時刻が近い画像データを同シーンの画像データとして選択する。すなわち、この例では、ｉｍ２、ｉｍ３およびｉｍ４が同シーンの画像データと判定され、ｉｍ１およびｉｍ５は、他に同シーンのない画像データ、すなわち合成を行う必要のない画像データと判定される。
なお、撮影時刻から同シーンの画像データを判断する際において、同シーンと判断する撮影時刻差には特に限定はないが、一般的に、撮影時刻の差が２秒以下、より確実には、１秒以下であれば、同シーンと判断することができる。

また、以下に示すように、各コマの画像データに、同シーンである旨の情報を付加してもよい。
画像データ名
ｉｍ１ 同シーンｏｆｆ
ｉｍ２ 同シーンｏｎ １
ｉｍ３ 同シーンｏｎ ２
ｉｍ４ 同シーンｏｎ ３
ｉｍ５ 同シーンｏｆｆ

このような撮影情報の取得方法には特に限定はなく、例えば、新写真システムのフィルムであれば、フィルムの磁気記録媒体に記録された撮影時間の情報を用いればよく、デジタルカメラで撮影された画像データや各種の記録媒体から供給された画像データであれば、画像ファイルのヘッダやタグにこれらの情報を記録しておき、これを読み取ればよい。さらに、オペレータがキーボード１８ａ等を用いて撮影情報を入力してもよい。
また、同シーンの情報としては、新写真システムで磁気記録されるシーン情報も利用可能であり、デジタルカメラ等の撮像デバイスに、同シーンであることを示す情報を画像ファイル（記録媒体）に記録する機能を付けてもよい。

合成画像選択部４６は、次いで、判断した同シーンの画像データから、合成に最適な２画像を選択する。
なお、合成を行う必要のない画像データと判定されたｉｍ１およびｉｍ５は、合成画像選択部４６から、そのまま画像処理部４４に出力される。

選択方法には特に限定はないが、例えば、図３（Ａ）〜（Ｃ）に示されるように、同シーンと判断した画像データｉｍ２、ｉｍ３およびｉｍ４の濃度ヒストグラムを作成し、ハイライト（最低濃度）の飛びもしくはシャドー（最高濃度）のつぶれがなく、かつ、画像シーンのハイライトからシャドーまでをすべて再現でき、かつ画像データのダイナミックレンジができるだけ広くなる２つの画像データを合成に最適な画像データとして選択する。なお、図示例の画像データは、デジタルカメラで撮影された画像データであり、小さい方が高濃度の画像データとなる。
すなわち、この例では、画像データｉｍ２およびｉｍ３が選択される。

合成される画像データは２つに限定されず、３以上の画像データを合成するようにしてもよい。
また、同シーンの画像データのうち、合成に使用されない画像データは不要であるので、合成するデータを選択した時点で、破棄してもよい。
なお、初めから合成すべき画像データが選択されて供給された場合には、合成画像選択部４６での処理は不要であり、また、常に合成すべき画像データが選択されて供給される処理装置であれば、合成画像選択部４６は不要である。

合成画像選択部４６で選択された、露光条件の異なる同シーンの２つの画像データのうち、高濃度の画像データ（図示例では、露光量の低いｉｍ２＝ｆ_d ¹)はＤメモリ４８に、低濃度の画像データ（図示例では露光量の高いｉｍ３＝ｆ_l ¹)はＬメモリ５０に、それぞれ出力され、記憶される。

Ｄメモリ４８およびＬメモリ５０に記憶された画像データｆ_d ¹およびｆ_l ¹ は、共に、合成部５２に読み出され、合成されて、１つ（１画像）の画像データｆとされる。
合成部５２は、Ｄ−ルックアップテーブル（ＬＵＴ）５４と、Ｌ−ＬＵＴ５６と、乗算器５８および６０と、加算器６２および６４とを有して構成される。

Ｄ−ＬＵＴ５４とＬ−ＬＵＴ５６は、共に、画像データをＬｏｇスケールの被写体輝度データｆ_d ² およびｆ_l ² に変換するＬＵＴである。
次いで、加算器６４において、Ｄ−ＬＵＴ５４で得られた被写体輝度データｆ_d ² にΔＬｏｇＥを加算し、被写体輝度データｆ_d ³ を得る。被写体輝度データｆ_d ² およびｆ_l ² は、被写体輝度が一定値シフトしたデータで、ΔＬｏｇＥは、そのシフト量である。

なお、ΔＬｏｇＥの算出方法としては、撮影情報を用いる方法と、画像データを用いる方法とがある。
撮影情報からΔＬｏｇＥを算出する方法としては、高濃度の画像データｆ_d ¹ を撮影した際のシャッター速度ｔ_d および絞りＳ_d と、低濃度の画像データｆ_l ¹ を撮影した際のシャッター速度ｔ_l および絞りＳ_l とを用い、下記式
ΔＬｏｇＥ＝（Ｌｏｇｔ_l −ＬｏｇＳ_l ² )−（Ｌｏｇｔ_d −ＬｏｇＳ_d ²)
で算出する方法が例示される。
他方、画像データからΔＬｏｇＥを算出する方法としては、高濃度および低濃度の画像データから、飛びやつぶれのない画素を選択し、その集合をＲとして、集合Ｒにおける平均値の差をΔＬｏｇＥとする方法が例示される。すなわち、下記式で算出される。
ΔＬｏｇＥ＝（集合Ｒのｆ_l ² の平均値）−（集合Ｒのｆ_d ² の平均値）
画像データを用いる方法の方が、誤差を好適にキャンセルできるので、精度的には好ましいが、撮影情報を用いる方法の方が、演算が容易であるという利点もある。なお、これらの撮影情報は、先の撮影時刻に準じた方法で取得することができる。

図示例では、画像データを被写体輝度に変換した後に合成を行っているが、２つの画像を滑らかにつなぐという目的に対しては、被写体輝度に変換するＬＵＴを省略してもよい。
また、このような露光条件の違いの補正方法として、高濃度あるいは低濃度の画像データの一方を基準として、他方の画像データを合わせ込む方法も利用できる。この場合には、Ｄ−ＬＵＴ５４およびＬ−ＬＵＴ５６のうち、基準となる画像データに対応するＬＵＴによる露光条件補正は不要にできる。
通常、デジタルカメラ等で撮影され、記録媒体に記録された画像信号はＣＲＴモニタ等に表示した際に画像が好ましく見えるように、γ（階調）変換されているものが多い。そこで、カメラのγ変換特性を知見して、被写体輝度への変換ＬＵＴで、その逆変換を行うのが好ましい。例えば、カメラの機種ごとのγ特性をあらかじめ記憶しておき、カメラの機種を前述の撮影情報と同様に取得して、それに応じたγ特性を読み出し、その逆特性をＬＵＴにセットすればよい。
また、例示では、ΔＬｏｇＥのシフトは加算器６４を用いているが、画像データｆ_d ¹ 等を被写体輝度へ変換するＬＵＴと統合することにより、加算器６４を省略することができる。

加算器６４で処理された被写体輝度データｆ_d ³ は乗算器５８で、Ｌ−ＬＵＴ５６で処理された画像データｆ_l ² は乗算器６０で、それぞれ処理され、加算器６２で加算されて、１つの画像データｆとされる。
乗算器５８および６０は、両データｆ_d ³ およびｆ_l ² に、重み付け係数ＷｄおよびＷｌを乗算することにより、両画像データのつなぎ目における偽輪郭の発生等を防止するものである。
この重み付け係数は、一例として、図４に示されるようなテーブルを用い、式『Ｗｄ＋Ｗｌ＝０』を用いて算出される。この例では、高濃度領域はシャドーのつぶれのない画像データｆ_d ³ を用い、低濃度領域ではハイライトの飛びのない画像データｆ_l ² を用い、両者のつなぎ目では、画像データに応じた重み付けを行って、画像データの合成を行っている。

画像合成部４２から出力された画像データは、画像処理部４４に送られる。
画像処理部４４は、データ処理部４０で処理されたデジタルの画像データに所定の画像処理を施し、さらに、画像処理済の画像データを３Ｄ（三次元）−ＬＵＴ等を用いて変換して、プリンタ１６による画像記録やディスプレイ２２への表示に対応する画像データとする部位である。
画像処理部４４で施される画像処理には特に限定はなく、公知の各種の画像処理が例示されるが、例えば、ＬＵＴを用いたグレイバランス調整、階調補正、および濃度調整、マトリクス（ＭＴＸ）演算による撮影光源種補正や画像の彩度調整、その他、ローパスフィルタ（ＬＰＦ）、加算器、ＬＵＴ、ＭＴＸ等を用いた、また、これらを適宜組み合わせた平均化処理や補間演算等を用いた、電子変倍処理、覆い焼き処理、シャープネス（鮮鋭化）処理等が例示される。
なお、画像処理部４４での各種の処理条件は、例えば、出力用の画像データを得るための本読み（本スキャン）に先立って行われる、画像を粗に読み取るプレスキャンの画像データや、プリンタ１６への出力用の画像データに対応する画像データを間引いた画像データを用いて設定すればよい。

ここで、本発明にかかる処理装置１４においては、露光条件の異なる同シーンの画像データを合成して得られた画像データは、覆い焼き処理を行うのが好ましい。この覆い焼き処理とは、処理する画像をボカしたボケ画像データを生成して、このボケ画像データを用いて元の画像データを処理することによって、中間濃度部分の階調を維持して、画像のハイライト領域およびシャドー領域を独立に圧縮する、画像データのダイナミックレンジ圧縮処理である。

露光条件の異なる画像データの合成で得られた画像データは、非常に広いダイナミックレンジを持ち、場合によっては、この画像データを可視像化するプリンタ等で再現できるダイナミックレンジを超えてしまう。従って、適正な可視像を得るためには、画像データのダイナミックレンジを、プリンタ等で再現可能な範囲に圧縮する必要があり、前述の特開平７−１３１７０４号や同７−１３１７１８号公報でも、画像合成後の画像データのダイナミックレンジの圧縮処理が行われている。しかしながら、両公報に開示されるダイナミックレンジの圧縮処理では、フォトプリンタ１０で作成するプリントすなわち写真として高画質な画像が得られる画像データを得ることは困難である。
これに対し、上記覆い焼き処理によれば、デジタル露光を行うフォトプリンタ１０において、通常の直接露光による覆い焼きと同様の効果を、より高い自由度や画像補正能力で得ることができ、露光条件の異なる同シーンの画像データを合成した画像データから、高画質な画像を再生したプリントを安定して作成することが可能である。

覆い焼き処理の方法としては、一例として、下記の方法が例示される。
まず、グレイバランス調整、階調補正、濃度調整、彩度調整等の所定の画像処理を終えた画像データ（以下、原画像データとする）を加算器とＭＴＸ演算器とに並列に送る。
ＭＴＸ演算器は、Ｒ、ＧおよびＢの原画像データから、ＹＩＱ規定を用いて原画像の明暗画像データを生成するものであり、例えば、下記式により、ＹＩＱ規定のＹ成分のみを、Ｒ、ＧおよびＢの画像データから算出する
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ

次いで、ＭＴＸ演算器で生成された明暗画像データをＬＰＦで処理して、低周波数成分を取り出すことにより、明暗画像を２次元的にボカして、読み取った画像のボケ画像データを得る。
このＬＰＦとしては、ボケ画像データの生成に通常用いられるＦＩＲ(Finite Impulse Respones) 型のＬＰＦを用いてもよいが、小型の回路で大きく画像をボカしたボケ画像データを生成できる点で、ＩＩＲ(Infinite Impulse Respones) 型のＬＰＦを用いるのが好ましい。また、ＬＰＦの代わりに、メディアンフィルタ（ＭＦ）を用いてもよい。ＭＦを用いることにより、エッジを保存して、平坦部のノイズ（高周波成分）をカットしたボケ画像データが得られるという点で好ましい。また、ＭＦの前記利点を生かした上で、大きく画像をボカしたボケ画像データを生成できるという点で、ＭＦとＬＰＦとを併用して、両者で得られた画像を重み付け加算するのが、特に好ましい。

さらに、このボケ画像データをダイナミックレンジ圧縮テーブル（以下、圧縮テーブルとする）によって処理する。
この覆い焼き処理では、前述の加算器において、原画像データに、この圧縮テーブルで処理されたボケ画像データを加算することにより、画像データのダイナミックレンジを非線形に圧縮して覆い焼き処理を行い、出力画像データのダイナミックレンジおよび明部／暗部の階調や濃度を適正なものとして、人が原シーン（撮影シーン）を見た時と同じ印象を受ける、高画質な画像が再現されたプリントを得られる出力画像データとする。すなわち、圧縮テーブルとは、前記ボケ画像データを処理して、原画像データのダイナミックレンジ等を適切に圧縮する処理用画像データを得るためのテーブルである。

この圧縮テーブルは、一例として、下記のように作成される。
まず、全体的な（ダイナミックレンジ）圧縮率αを算出して、これを用いる圧縮関数ｆ（α）を設定する。
画像処理部４４には、例えば、図５に示されるような関数が設定されており、この関数を用いて、画像データのダイナミックレンジ（ＤＲ）から、圧縮率αを算出する。この関数では、ダイナミックレンジが閾値ＤＲthよりも小さい場合には圧縮率αが０になっており、ダイナミックレンジが小さい画像の場合には、ダイナミックレンジの圧縮処理を行わないようになっている。これは、ダイナミックレンジが小さい画像に圧縮処理を施すと、画像のコントラストが小さくなり、逆に画質低下を招くからである。
また、画像中に存在する電灯等、スポット的な最明部の画像は、ダイナミックレンジ圧縮処理によって階調を出すよりもプリント上の最低濃度に飛ばしたほうが良好な画像が得られる。そのため、図５に示される関数では、ダイナミックレンジが閾値ＤＲ_max よりも大きくなっても、それ以上は圧縮率αは下限値α_max より小さくならないように設定されている。

この圧縮率αを用いて、全体的な圧縮関数ｆ（α）を作成する。
この圧縮関数ｆ（α）は、図６（Ａ）に示されるように、ある信号値を基準値Ｙ₀ すなわち横軸（出力０）との交点として、傾きが圧縮率αとなる単純減少関数である。この基準値Ｙ₀ は基準濃度であって、主被写体等の画像の中心となる濃度に応じて適宜設定すればよい。例えば、人物が主被写体である場合には、肌色と略同一の濃度であるプリント濃度で０．５〜０．７の間が例示され、好ましくは０．６程度である。

次いで、明部の（ダイナミックレンジ）圧縮率α_light 、および暗部の（ダイナミックレンジ）圧縮率α_darkを設定して、明部の圧縮関数ｆ_light ( α_light ) 、および暗部の圧縮関数ｆ_dark （α_dark) を作成する。
明部の圧縮関数ｆ_light ( α_light ) は、図６（Ｂ）に示されるように、前記基準値Ｙ₀ より明部側において横軸（出力０）よりも下方（マイナス側）となる減少関数で、直線部分の傾きが、明部の圧縮率α_light となる関数で、基準値Ｙ₀ よりも暗部側の出力は０である。この圧縮率α_light は、濃度ヒストグラムやハイライト等の画像特徴量に応じて、覆い焼き処理によって得られた明部の画像データがプリントの画像再現域の画像データとなるように設定される。
他方、暗部の圧縮関数ｆ_dark （α_dark) は、図６（Ｃ）に示されるように、前記基準値Ｙ₀ より暗部側において横軸よりも上方となる減少関数で、直線部分の傾きが、暗部の圧縮率α_darkとなる関数で、基準値Ｙ₀ よりも明部側の出力は０である。この圧縮率α_darkも、同様に、濃度ヒストグラムやシャドー等の画像特徴量に応じて、暗部の画像データがプリントの画像再現域の画像データとなるように設定される。

このようにして、全体的な圧縮関数ｆ（α）、明部の圧縮関数ｆ_light ( α_light ) 、および暗部の圧縮関数ｆ_dark （α_dark) を算出した後、下記式に示されるように、これらを加算して圧縮関数ｆ_total （α）を作成し、この圧縮関数ｆ_total （α）を用いて、圧縮テーブルを作成する。
ｆ_total （α）＝ｆ（α）＋ｆ_light ( α_light ) ＋ｆ_dark （α_dark)

上記圧縮テーブルの作成方法によれば、基準値Ｙ₀ を固定して、明部および暗部の圧縮率を独立で設定することにより、ダイナミックレンジ圧縮が中間濃度部分の階調に変化を与えることなく、明部および暗部のみを調整してダイナミックレンジ圧縮を行うことができる。

前述のＬＰＦで生成されたボケ画像データは、この圧縮テーブルによって処理され、加算器に送られる。前述のように、加算器には原画像データが送られており、原画像データと、圧縮テーブルで処理されたボケ画像データ（明暗画像データ）とが加算される。これにより、原画像データのダイナミックレンジを圧縮する、覆い焼き処理が行われる。
より詳細には、圧縮テーブルで処理されたボケ画像データは、図６から明らかなように、明部がマイナスで、暗部がプラスの画像データとなる。従って、原画像データに、このボケ画像データを加算することにより、主たる画像データの明部は小さく、暗部は嵩上げされ、すなわち画像データのダイナミックレンジが圧縮される。
また、ボケ画像データの生成に使われたＬＰＦの通過帯域は大面積コントラストに相当し、局所的なコントラストはＬＰＦの通過帯域よりも高周波成分であるので、この成分は、ＬＰＦを通過したボケ画像データでは圧縮されない。従って、加算器で加算されて得られた画像は、局所的なコントラストを維持した状態でダイナミックレンジを圧縮された、高画質な画像となる。

前述のように、画像処理部４４で処理された画像（画像データ）は、ディスプレイ２０やプリンタ１６に出力されて可視像化され、また、記録手段２６に出力され、画像ファイルとして記録媒体に記録される。
プリンタ１６は、供給された画像データに応じて感光材料（印画紙）を露光して潜像を記録するプリンタ（焼付装置）と、露光済の感光材料に所定の処理を施してプリントとして出力するプロセサ（現像装置）とを有して構成される。
プリンタでは、例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントを記録し、次いで、感光材料の分光感度特性に応じたＲ露光、Ｇ露光およびＢ露光の３種の光ビームを処理装置１４から出力された画像データに応じて変調して主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、前記光ビームで感光材料を２次元的に走査露光して潜像を記録し、プロセサに供給する。感光材料を受け取ったプロセサは、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとし、フィルム１本分等の所定単位に仕分して集積する。

記録手段２６は、ＣＤ−Ｒ等の記録媒体に、処理装置１４が処理した画像データを画像ファイルとして記録し、あるいは記録媒体から画像ファイルを読み取るものである。
ここで、本発明の処理装置１４が画像データ（画像ファイル）を出力し、読み取る記録媒体には特に限定はなく、フロッピーディスク（登録商標）、リムーバブルハードディスク（Ｚｉｐ，Ｊａｚ等）、ＤＡＴ（デジタルオーディオテープ）等の磁気記録媒体、ＭＯ（光磁気）ディスク、ＭＤ（ミニディスク）、ＤＶＤ（デジタルビデオディスク）等の光磁気記録媒体、ＣＤ−Ｒ等の光記録媒体、ＰＣカードやスマートメディア等のカードメモリ等が例示される。

以上、本発明の画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。

本発明の画像処理装置を利用するデジタルフォトプリンタのブロック図である。 図１に示されるデジタルフォトプリンタの画像合成部のブロック図である。 （Ａ）、（Ｂ）および（Ｃ）は、図２に示される画像合成部における合成画像の選択を説明するためのグラフである。 図２に示される画像合成部における画像処理の重み係数を算出するためのグラフである。 図１に示されるデジタルフォトプリンタの画像処理における覆い焼き処理を説明するためのグラフである。 （Ａ）、（Ｂ）および（Ｃ）は、図１に示されるデジタルフォトプリンタの画像処理における覆い焼き処理を説明するためのグラフである。

符号の説明

１０ （デジタル）フォトプリンタ
１２ スキャナ
１４ （画像）処理装置
１６ プリンタ
１８ 操作系
２０ ディスプレイ
２２ 光源
２４ 可変絞り
２６ 記録手段
２８ 拡散ボックス
３０ キャリア
３２ 結像レンズユニット
３４ イメージセンサ
３６ アンプ
３８ Ａ／Ｄ変換器
４０ データ処理部
４２ 画像合成部
４４ 画像処理部
４６ 合成画像選択部
４８ Ｄメモリ
５０ Ｌメモリ
５２ 合成部
５４ Ｄ−ＬＵＴ
５６ Ｌ−ＬＵＴ
５８，６０ 乗算器
６２，６４ 加算器

Claims (10)

1. 同シーンが異なる露光条件で外部装置によって撮影され、γ変換された第１の複数の画像の画像データの入力を受け、画像処理を行なう画像データとして取得する取得手段と、
   この取得手段によって得られた前記画像の画像データから１つの合成画像の画像データを生成する合成手段と、
   この合成手段によって合成された合成画像の画像データに覆い焼き処理を施す画像処理手段と、を有し、
   前記合成手段は、前記取得手段によって得られた前記画像データを、前記γ変換の逆変換である逆γ変換を行い、さらに対数変換する変換手段を有し、この変換手段を用いて、前記取得手段によって得られた前記画像データを、逆γ変換し、さらに対数変換して、逆γ変換された対数スケールの被写体輝度データである変換済被写体輝度データとし、その画像合成の合成条件を、前記変換済被写体輝度データを用いて設定し、設定された合成条件を用いて、前記変換済被写体輝度データを合成して前記１つの合成画像の画像データとすることを特徴とする画像処理装置。
2. 同シーンが異なる露光条件で外部装置によって撮影され、γ変換された第２の複数の画像の画像データの入力を受け、画像処理を行なう画像データとして取得する取得手段と、
   この取得手段によって得られた第２の複数の画像の中から合成に最適な第１の複数の画像を選択する選択手段と、
   この選択手段が選択した前記第１の複数の画像の画像データから１つの合成画像の画像データを生成する合成手段と、を有し、
   前記合成手段は、前記取得手段によって得られた前記画像データを、前記γ変換の逆変換である逆γ変換を行い、さらに対数変換する変換手段を有し、この変換手段を用いて、前記取得手段によって得られた前記画像データを、逆γ変換し、さらに対数変換して、逆γ変換された対数スケールの被写体輝度データである変換済被写体輝度データとし、その画像合成の合成条件を、前記変換済被写体輝度データを用いて設定し、設定された合成条件を用いて、前記変換済被写体輝度データを合成して前記１つの合成画像の画像データとすることを特徴とする画像処理装置。
3. 前記選択手段が、前記第２の複数の画像が同シーンである旨の情報、および、前記第２の複数の画像の撮影時刻の少なくとも一方を用いて合成に最適な前記第１の複数の画像を選択する請求項２に記載の画像処理装置。
4. 前記第２の複数の画像が同シーンである旨の情報、および、前記第２の複数の画像の撮影時刻は、前記第２の複数の画像の画像データのヘッダ及びタグの少なくとも一方に含まれる請求項２または３に記載の画像処理装置。
5. 請求項２〜４のいずれかに記載の画像処理装置であって、
   さらに、前記合成手段によって合成された前記合成画像の画像データに覆い焼き処理を施す画像処理手段を有する画像処理装置。
6. 前記合成手段は、前記変換手段に加え、メモリと、設定手段と、第１の加算器を有し、
   前記メモリは、前記取得手段によって得られた前記第１の複数の画像の画像データを記憶し、
   前記変換手段は、前記メモリから読み出された前記第１の複数の画像の画像データを前記変換済被写体輝度データに変換し、
   前記設定手段は、前記第１の複数の画像の中から選ばれた１つの選択画像の変換済被写体輝度データに対する、前記第１の複数の画像の中の選択画像以外の非選択画像の変換済被写体輝度データのシフト量を前記合成条件として設定し、
   前記第１の加算器は、前記非選択画像の変換済被写体輝度データに、前記設定手段によって設定された画像毎の前記シフト量をそれぞれ加算する請求項１〜５のいずれかに記載の画像処理装置。
7. 前記合成手段において、
   前記設定手段は、前記シフト量を前記合成条件として設定する他に、さらに、変換済被写体輝度データ毎の重み付け係数を前記合成条件として設定し、
   さらに、前記合成手段は、
   前記選択画像の変換済被写体輝度データおよび前記シフト量が加算された非選択画像の変換済被写体輝度データに、前記設定手段によって設定された重み付け係数を乗算することによりそれぞれ重み付けを行う乗算器と、
   重み付けされた前記選択画像の変換済被写体輝度データと、重み付けされた前記シフト量が加算された非選択画像の変換済被写体輝度データとを加算する第２の加算器と、を有する請求項６に記載の画像処理装置。
8. 前記第１の複数の画像が、デジタルカメラで撮影されたものであり、前記合成手段または前記画像処理手段から出力される合成画像の画像データは、写真プリントとして出力するための画像データを含む請求項１〜７のいずれかに記載の画像処理装置。
9. 同シーンが異なる露光条件で外部装置によって撮影され、γ変換された第１の複数の画像の画像データの入力を受け、画像処理を行なう画像データとして取得し、
   取得された前記画像データを、前記γ変換の逆変換である逆γ変換を行い、さらに対数変換して、逆γ変換された対数スケールの被写体輝度データに変換することによって、変換済被写体輝度データとし、
   前記変換済被写体輝度データを用いて画像合成の合成条件を設定し、
   設定された前記合成条件を用いて前記変換済被写体輝度データを合成して１つの合成画像の画像データとし、
   合成された前記合成画像の画像データに覆い焼き処理を施すことを特徴とする画像処理方法。
10. 同シーンが異なる露光条件で外部装置によって撮影され、γ変換された第２の複数の画像の画像データの入力を受け、画像処理を行なう画像データとして取得し、
    取得された前記第２の複数の画像の中から合成に最適な第１の複数の画像を選択し、
    選択された前記画像データを、前記γ変換の逆変換である逆γ変換を行い、さらに対数変換して、逆γ変換された対数スケールの被写体輝度データに変換することによって、変換済被写体輝度データとし、
    前記変換済被写体輝度データを用いて画像合成の合成条件を設定し、
    設定された前記合成条件を用いて前記変換済被写体輝度データを合成して１つの合成画像の画像データとすることを特徴とする画像処理方法。

Images