JP4470172B2 - 画像処理装置 - Google Patents

Description

本発明は、取得された画像データに存在する欠陥領域を修正するための画像処理装置に関するものである。

デジタルカメラで撮影した画像を写真プリントにする場合は、次のような手順で行われる。画像データが格納されている記憶メディアをドライブ装置に装着し、画像データを読み出す。読み出された画像データは、所定枚数ごとにモニター画面に表示される。オペレータは、このモニター画面を見ながら各画像をチェックし必要に応じて画像データの補正を行う。例えば、色・濃度が適切となるように色・濃度の補正データの入力が行われる。また、プリントする範囲を規定するためのトリミングや、赤目補正、逆光補正などの特殊補正も行うことができる。そのほかに、画質の劣化状態（画像全体のボケや歪曲など）の補正やコサイン４乗則に基づく補正を行う技術も知られている（下記特許文献１，２）。

さらに、デジタルカメラ等で撮影した画像に見られるキズ（欠陥）を修正する技術も知られている。すなわち、デジタルカメラに使用される撮像素子の面上にゴミや埃が付着することがあり、そのゴミや埃が付着した撮像素子部分からは正常なデータが得られなくなり、モニター画面にはキズとして表示される。特に、レンズ交換式の一眼レフデジタルカメラの場合、レンズを交換する際にカメラ本体内にゴミや埃が入り込み、撮像素子にゴミ等が付着するという可能性がある。この状態で写真撮影を行うと、画質の良くない写真プリントとなる。これを回避するため、モニター画面上で欠陥を消去する修正作業を行うようにしている。その場合の作業手順を簡単に説明する。

まず、オペレータはモニター画面に表示されている画像を見て、キズがあるかどうかを確認する。そして、キズがある場合は、その領域をマウス等を用いて指定する。その後、フォトレタッチ・ソフトウェアの機能を用いて、キズを修正する。そして、他の画像についても同様のキズがあるかどうかを確認し、同じキズがあれば、同様に領域の指定とキズの修正を行う。

しかしながら、撮像素子にゴミが付着したような場合、常に同じ場所に欠陥が存在することになる。さらに、そのような欠陥が存在する画像は１枚だけに終わらず、多数枚に及ぶことが考えられる。従って、キズを修正するための領域の指定や確認を１枚ずつ行っていたのでは、オペレータの作業効率が低下するという問題がある。
特開平９−２８１６１３号公報 特開２００４−３８７２８号公報

本発明は上記実情に鑑みてなされたものであり、その課題は、画像に存在する欠陥を修正する場合の作業を効率よく行うことができる画像処理装置を提供することである。

上記課題を解決するため本発明に係る画像処理装置は、
取得された複数の画像データをモニター画面に表示させる画像表示手段と、
表示された画像に存在する欠陥領域を指定させる欠陥領域指定手段と、
指定された欠陥領域の修正を行うための画像修正手段と、
指定された欠陥領域を示す指標をモニター画面上に表示させる欠陥領域表示手段と、
指定された欠陥領域の画像中の位置情報を他の画像に対して複写する位置情報複写手段とを備え、
前記欠陥領域表示手段は、前記指標を当該他の画像に対しても画像中の対応する同じ場所に表示させることを特徴とするものである。

この構成による画像処理装置の作用・効果を説明する。画像データを取得すると、これをモニター画面に表示させる。表示させる態様については、例えば、６枚ずつ、８枚ずつという態様で複数の画像を表示させることができる。そして、この画像が表示されたモニター画面において、オペレータに欠陥領域を指定させることができる。指定する方法については、特に限定されるものではなく、例えば、マウスを用いて画面をなぞることで可能である。次に、指定された欠陥領域について画像の修正を行う。画像修正を行うための手段は、例えば、公知のフォトレタッチ・ソフトウェアにより行うことができる。また、指定された欠陥領域を示す指標をモニター画面に表示させる機能を有する。例えば、領域を丸で囲むようにすることができ、欠陥領域を容易に認識しやすくすることができる。この指定された欠陥領域の位置情報は、位置情報複写手段により、他の画像に対しても複写される。ここで、位置情報の複写とは、欠陥領域を指定していない他の画像についても、同じ欠陥領域が存在するものとして、欠陥領域の位置情報を他の画像に対しても付与することである。これにより、オペレータは同じ作業を繰り返し行わなくてすむ。また、欠陥領域を表す指標については、位置情報が複写された他の画像についても同じように表示され、オペレータに容易に欠陥領域を確認できるようにしている。その結果、画像に存在する欠陥を修正する場合の作業を効率よく行うことができる画像処理装置を提供することができる。

本発明において、複数の画像のうち、いずれか１つの画像において、画像の欠陥領域が指定されたとき、前記位置情報複写手段は、他の画像に対して位置情報を複写する機能を有することが好ましい。

他の画像に対する位置情報の複写は、好ましくは、次のようにして行われる。オペレータが、モニター画面に表示されている画像の中から任意の画像を１つ選び、欠陥領域を指定した場合、この欠陥領域の位置情報を他の画像に対して複写するように構成することができる。他のすべての画像に対して複写しても良いし、例えば、指定した画像よりもコマ番号の大きな画像のすべてについて複写するようにしても良い。

本発明において、複数の画像のうち、少なくとも２つ以上の画像において、画像中の同じ場所に存在する画像の欠陥領域の位置情報を比較する位置情報比較手段を備え、位置情報が同じとみなせる場合、前記位置情報複写手段は、他の画像に対して位置情報を複写する機能を有することが好ましい。

他の画像に対する位置情報の複写としては、次のように行うことも可能である。例えば、１枚目の画像の欠陥領域の位置情報と、２枚目の画像の位置情報とを比較する。これら２つの位置情報が同じであるとみなせた場合、同じ原因に基づく欠陥領域が他の画像にも存在すると考えられる。そこで、他の画像に対して位置情報を複写するようにすることで、より確実に欠陥領域の指定を行うことができる。２枚の画像の指定は、オペレータが任意に行うことができる。また、３枚以上の画像について欠陥領域が指定された場合も同様に考えることができる。このように、複数枚の画像について指定した欠陥領域について、これら位置情報が同じとみなせる場合、同じ原因に基づく欠陥領域が他の画像にも存在すると考えられる。そこで、他の画像に対して位置情報を複写するようにすることで、より確実に欠陥領域の指定を行うことができる。

本発明に係る画像処理装置の好適な実施形態を図面を用いて説明する。図１は、画像処理装置を備えた写真処理システムの構成を示す模式図である。この写真処理システムは、写真フィルムや記憶メディアから取得した画像データに基づいて、写真プリントを作成する機能を有する。なお、以下の説明において、電子化された画像を特に示す場合は「画像データ」と表記し、モニター画面や写真プリント等での視覚化された画像については、単に「画像」と表記する。

＜写真処理システムの構成＞
フィルムスキャナー１は、現像済み写真フィルムＦに形成されているコマ画像をスキャニングし、電子化された画像データを取得することができる。画像データ取得手段２は、デジタルカメラやその他の記憶メディアＭに格納されている画像データを取得する機能を有する。画像データ保存手段３は、ハードディスクや半導体メモリにより構成され、装置内に取り込んだ画像データを保存することができる。画像データは、オーダー単位で管理保存される。画像処理部４（画像処理装置に相当）は、主にソフトウェアの機能に基づいて画像データに対する画像処理（画像補正、画像修正を含む）を行う。

画像表示手段４０は、取得した画像データをモニター画面に表示させる機能を有する。画像データを表示させる場合は、サムネイル画像データを生成し、所定の表示フォーマットにて表示させる。サムネイル画像とすることで、モニター画面に例えば６枚、８枚といった複数枚表示をさせることができる。１コマ拡大画像表示手段４１は、モニター画面に表示されている複数の画像のうち、特定の選択した画像については、拡大した状態で表示させる機能を提供する。オペレータが画像処理作業を行う場合に１コマ拡大画像として表示させることで、作業を行いやすくなると共に、画像処理の内容を確認しやすくなる。モニター９は表示制御手段８により制御され、送られてきた表示データに基づいて、モニター画面に所望の表示画面を形成する。

画像修正手段４２は、画像に存在するキズ等の欠陥を修正する手段である。このような画像欠陥は、例えば、デジタルカメラの撮像素子（ＣＣＤセンサー）に付着したゴミや埃、フィルムスキャナー１のコマ画像読み取り用の撮像素子に付着したゴミや埃、写真フィルムに付着したゴミや埃、写真フィルムに存在するキズなどが原因で発生する。画像修正手段４２は、画像欠陥の領域が指定されると、その欠陥領域を修正してキズ等を消去する機能を有する。

欠陥領域指定手段４３は、オペレータがモニター画面に映し出されている画像を見てキズ等の欠陥を発見した場合、その欠陥領域を指定させる機能を有する。指定された欠陥領域に関する情報は、位置情報保存手段５に記憶保存される。すなわち、画像における欠陥領域の位置情報が記憶される。位置情報は、その欠陥領域が存在する画像データの識別データ（例えば、画像データのファイル名、オーダー番号、コマ番号）と共に記憶される。欠陥領域表示手段４４は、欠陥領域が指定された場合、その領域を表す指標をモニター画面上に表示させる。例えば、画像内に欠陥領域を取り囲むような丸枠を表示させる。

位置情報複写手段４５は、ある画像で指定した欠陥領域の位置情報を他の画像に対して複写する機能である。位置情報の複写とは、欠陥領域を指定していない他の画像についても、同じ欠陥領域が存在するものとして、欠陥領域の位置情報を他の画像に対しても付与することである。デジタルカメラで画像を撮影する場合、撮像素子面上にゴミ等が付着すると、画像の同じ場所に欠陥が現れることになるので、欠陥領域の位置情報を複写する機能を設けることで、オペレータの作業を簡素化することができる。

画像補正手段４７は、前述した欠陥の修正以外の画像補正を行う機能である。例えば、画像の色・濃度の補正、赤目補正や逆光補正などの特殊補正、トリミングなどである。これらの補正データは、オペレータの入力操作等により設定されるものであり、設定された補正データは、補正データ保存手段６に保存される。欠陥領域を修正した場合、その修正データについても、この補正データ保存手段６に保存される。また、モニター画面を見ながらオペレータが種々の操作、データ入力、指令等を行うための入力操作手段７が設けられており、これは、キーボード、マウス等により構成される。なお、位置情報保存手段５に保存される位置情報と、これに対応する補正データとは、対応付けられた状態で保存される。

プリント用画像データ生成手段１０は、露光エンジン１１に転送するプリント用画像データを生成する機能を有する。プリント用画像データは、画像データ保存手段３に保存されている画像データと、補正データ保存手段６に保存されている補正データ及び位置情報保存手段５の位置情報とに基づいて、画像データに対する画像処理を行い、プリント用画像データを生成する。露光エンジン１１は、画像データに基づいてペーパー（写真感光材料）の乳剤面に画像を焼付露光する機能を有する。露光エンジン１１は、例えば、レーザーエンジンであり、光変調されたレーザー光を走査露光することで、画像形成を行う。レーザーエンジン以外にも、ＣＲＴエンジン、ＰＬＺＴエンジンなどを使用しても良い。

ペーパーマガジン１２には、ペーパーがロール状に収容されており、ペーパーマガジン１２から引き出された長尺状のペーパーは、ペーパーカッター１３によりプリントサイズに切断される。切断されたペーパーが露光エンジン１１の位置に搬送され、画像（潜像）が形成される。このペーパーは、現像処理部１４と乾燥処理部１５で所定の処理が施された後、装置外部に仕上がりの写真プリントとして排出される。

＜プレジャッジ作業＞
次に、図１に示す画像処理部４の機能を用いて、オペレータがプレジャッジ作業を行う場合の手順などについて説明する。フィルムスキャナー１や画像データ取得手段２から画像データを取得した場合、これをモニター９に表示させる。図２には、６コマ分の画像が表示されている。これは、画像表示手段４０の機能に基づくものである。写真プリントの作成処理に移行する前に、モニター画面に画像を表示させて、適切な写真プリントが得られるかどうかを予め判断するものであり、この作業をプレジャッジと称している。プレジャッジの結果、画像の補正や修正を行う必要がある場合は、所定の修正作業等を行い、補正データの設定を行う。

６コマの画像のうちの作業対象となっている画像エリア２０は、太い黒枠２１で囲まれている。また、画像エリア２０の内側には、プリント領域をあらわすプリント枠２２が示されている。また、プリントサイズ表示エリア２３には、プリントサイズが表示されており、ここに表示されるプリントサイズに対応したプリント枠２２が示されることになる。図例では、プリントサイズとして「Ｃ」（クラシカルサイズ）が示されている。プリントサイズの設定変更も行うことができる。ファイル名表示エリア２５には、画像のファイル名が表示される。写真フィルムのコマ画像を読み取る場合、ファイル名は自動的に付与される。

色・濃度補正エリア２４には、Ｙ，Ｍ，Ｃの３色の補正データを入力するためのエリアと、濃度の補正データを入力するためのエリアとが設けられている。オペレータは、表示された画像を見ながら、補正を行った方がよい場合は、必要に応じて補正データの入力を行う。ボタン２６は、特殊な補正を行うための画面を起動させるためのもので、色・濃度の補正の他に画像修正手段４２の機能によるキズ修正や、赤目補正等の特殊補正を行いたい場合は、このボタン２６をクリックすれば１コマ拡大画面に移行する。プリント枚数表示エリア２７には、画像のプリント枚数が表示されており、デフォルトとしては１枚が設定されている。

また、先ほど述べたような画像欠陥を図２のモニター画面で確認することができる。図２の例では欠陥領域Ａとしてキズが画像に存在する例を示している。また、６コマのすべての画像の同じ場所に欠陥領域Ａが存在する例を示している。このキズを消去するための修正作業は、この図２の画面において行うことも可能であるが、次に説明する１コマ拡大画像表示画面で行うことが好ましい。

＜1コマ拡大画像表示＞
図３は、1コマ拡大画像の表示画面の構成例を示す図である。図２の左上の画像が拡大表示されている。画像には、欠陥領域Ａが存在しており、これを欠陥領域Ａとして画像処理部４に認識させるためには、その欠陥領域Ａを指定する必要がある。キズ領域指定ボタン３０（欠陥領域指定手段４３として機能する。）をクリックし、マウスで画像の欠陥領域Ａをなぞる（欠陥領域Ａをマウスで囲むなど）ことにより、欠陥領域Ａの位置情報が位置情報記憶手段５に記憶される。また、その欠陥領域Ａを取り囲むように丸い指標Ｂが自動的に表示される。これは、欠陥領域表示手段４４の機能に基づくものである。指標Ｂの大きさは、指定した欠陥領域Ａの大きさに応じて自動的に設定される。なお、指標Ｂの形状は丸でなくてもよく、四角形、三角形など適宜の形状にすることができる。また、指標Ｂは欠陥領域Ａを囲む態様でなくてもよく、欠陥領域Ａの近傍に、任意のマークを表示させるようにしても良い。なお、欠陥領域を指定する方法は、上記に限定されるものではない。

キズ修正ボタン３１をクリックすると、欠陥領域Ａに存在するキズを消去する処理を実行する。これは、画像修正手段４２の機能に基づくものである。キズ消去のアルゴリズムは、公知の手法を用いることができる。例えば、キズの周囲に存在する正常な画素情報に基づいて、欠陥領域Ａにおける画素情報を推定してデータを生成することができる。これは、一般的には補間処理と呼ばれる手法である。キズを修正する処理が終了すると、その修正後の画像は図３の画面に表示されるので、修正された画像（シミュレーション画像）を直ちに確認することができる。この修正処理を行うための補正データは、補正データ保存手段６に保存される。図３に示している画像は、シミュレーション画像であり、画像データ保存手段３に保存されているオリジナルの画像データに対して、修正が行われているものではない。実際にプリント処理を行うときに、オリジナルの画像データと、補正データとに基づいて、プリント用画像データ生成手段１０において補正された画像データが生成されることになる。

キズ情報複写ボタン３２をクリックすると、設定した欠陥領域Ａに関する位置情報を他の画像に対して複写することができる。これは、位置情報複写手段４５の機能に基づくものである。図２に示すように、欠陥領域Ａは、多数の画像の同じ場所に存在することがある。この場合、同じ作業を多数の画像について繰り返すのは、作業効率が悪いので、ある画像について設定したデータを他の画像に対して複写できるようにしている。具体的には、ある画像について指定した欠陥領域Ａの位置情報を他の画像に対しても自動指定（複写）できるように構成した。

キズ情報複写ボタン３２をクリックすると、図４に示すようなウィンドウが立ち上がる。ここでは複写対象となる画像を選択する。複写する場合の選択肢として４つ例示している。まず、他のすべての画像に複写することができる。また、最初に指定した画像に対して、コマ番号の大きな側の画像すべて、あるいは、コマ番号の小さな側の画像すべてに対して複写することができる。これは、ある画像でキズが発生した場合、それに引き続いて撮影された画像に関しても、キズが存在する確率が高いからである。また、コマ番号を具体的に指定して、その指定した画像のすべてに対して複写することができる。テキスト入力ボックス３３に、具体的なコマ番号を入力することができる。このようなコマ番号を指定させる手段を設けておく理由を説明する。すなわち、撮像素子にゴミ等が付着した場合でも、それが自然に除去されることもあるので、欠陥を有する画像をコマ番号で指定する方法を設けておくことが好ましい。例えば、デジタル一眼レフカメラの場合、撮像素子の前方に位置するミラーの移動による風圧でゴミが除去されることがある。

なお、一度位置情報を複写した場合でも、それをキャンセルすることができ、そのための選択肢も設定している。Ｙｅｓボタン３４をクリックすることで、選択した項目に関して位置情報の複写処理がなされる。Ｎｏボタン３５をクリックすると、複写は行わない。なお、複写されるのは欠陥領域Ａの位置情報のみである。図５は、位置情報をすべての画像に対して複写した場合の画面構成例を示す。すべての画像について、位置情報が複写されて、位置情報保存手段５に保存されるとともに、複写された画像については、指標Ｂも表示される。これにより、オペレータは、位置情報が複写されたことを確認することができる。また、実際に欠陥領域Ａが存在するか否かは、画面に表示された指標Ｂの中を見ることで確認することができる。欠陥領域Ａが実際に目視で確認できた画像については、個々の画像について１コマ拡大画像を表示させて、キズ修正を行うことができる。また、図２に示すように、個々の画像の下にボタン２９が設けられており、このボタン２９をクリックすることで、指標Ｂ内の欠陥領域Ａの修正を行うようにしてもよい。

位置情報の説明では、位置情報のみを複写しておき、実際の修正処理は個々の画像ごとに行う構成を説明した。これに代えて、あるいは、これに付加して、位置情報を複写した場合は、自動的にキズ修正処理を複写された画像のすべてに対して行うようにしても良い。あるいは、複写した画像のすべてに対してキズ修正処理を実行させるためのボタンを設けておき、これをクリックすることでキズ修正処理を実行するようにしても良い。

＜位置情報の複写手順＞
次に、位置情報の複写を行う場合の概略手順を図６に示す。画像データを取得し、画像データ保存手段３に保存する（＃１）。取得した画像データについて、図２に示すようにモニター画面に表示する（＃２）。キズ等の欠陥が存在する画像を見つけた場合、その画像をモニター画面上で選択する（＃３）。そして、その選択した画像について、１コマ拡大画像を表示させる（＃４）。

オペレータは、この拡大画像を見ながら、マウス等を操作して欠陥領域Ａを指定する（＃５）。欠陥領域Ａの指定が完了すると、位置情報を生成し、位置情報保存手段５に保存する（＃６）。また、欠陥領域Ａを指定することで、画面上に指標Ｂが表示される（＃７）。次に欠陥領域Ａの位置情報を複写するか否かを判断し（＃８）、複写する場合は、図４に示すウィンドウを立ち上げて、複写態様を選択する（＃９）。選択した後、複写処理を実行すると（＃１０）、複写対象となったすべての画像について位置情報の生成及び保存が行われる（＃１１）。次に、複写対象の画像について、指標Ｂの表示が行われる（＃１２）。

＜位置情報の複写手順の別実施形態＞
位置情報を他の画像に複写する場合の別実施形態を図７により説明する。まず、ある画像にキズ等の欠陥を見つけた場合、その画像について、欠陥領域Ａの指定を行う（＃２０）。これにより、最初の画像についての位置情報が保存される（＃２１）。次に、別の画像についても欠陥を見つけた場合、同じように欠陥領域Ａの指定を行う（＃２２）。これにより、２番目の画像についての位置情報が保存される（＃２３）。次に、画像処理部４の位置情報比較手段４６の機能に基づき、２つの位置情報の比較を行う。これらの位置情報が同じであるか（位置情報がほぼ同じであり、同じであるとみなせる場合も含む。）を判断する（＃２５）。同じであると判断した場合にが、他の画像に対して位置情報の複写を行い、その情報は位置情報保存手段５に保存される。また、モニター画面には、複写対象の画像について指標Ｂが表示される。

この実施形態では、複写処理は自動的に行われるものであるが、図４に示すようなウィンドウを一旦立ち上がらせて、オペレータに複写態様を選択させるようにしてもよい。

この実施形態では、２枚の画像について位置情報が同じであった場合に、他の画像に位置情報を複写する構成であるが、２枚ではなく、ｎ枚の画像について位置情報が同じであった場合に、位置情報を複写するようにしても良い。この場合の２枚あるいはｎ枚の画像の選択は、オペレータにより任意に行うことができる。

＜別実施形態＞
本実施形態で説明した位置情報を複写するときの具体的な手順は、一例を示すものであって、これに限定されるものではない。１コマ拡大画像を表示させることなく、欠陥領域の指定や位置情報の複写を行えるようにしてもよい。

本実施形態では、欠陥領域の指定は、オペレータが行っているが、これを自動的に検出して指定するようにしても良い。また、自動的に検出する構成と、オペレータが手動で指定する構成とを並存させても良い。

本実施形態では、写真プリントを作成する場合について説明したが、記憶メディアに画像データを書き込む処理の場合にも、本発明は応用することができる。また、写真フィルムのコマ画像をフィルムスキャナー１から読み取って写真処理を行う場合にも、本発明は適用できるものである。

写真処理システム及び画像処理装置の構成を示す模式図 プレジャッジ画面の構成例を示す図 1コマ拡大画像表示画面の構成例を示す図 位置情報の複写を行うときの画面構成例を示す図 位置情報を複写した場合のモニター画面の画面構成例を示す図 位置情報の複写手順を示すフローチャート 位置情報の複写手順の別実施形態を示すフローチャート

符号の説明

３ 画像データ保存手段
４ 画像処理部
５ 位置情報保存手段
６ 補正データ保存手段
７ 入力操作手段
８ 表示制御手段
９ モニター
３０ キズ領域指定ボタン
３１ キズ修正ボタン
３２ キズ情報複写ボタン
４０ 画像表示手段
４１ １コマ拡大画像表示手段
４２ 画像修正手段
４３ 欠陥領域指定手段
４４ 欠陥領域表示手段
４５ 位置情報複写手段
４６ 位置情報比較手段
４７ 画像補正手段
Ａ 欠陥領域
Ｂ 指標

Claims (3)

1. 取得された複数の画像データをモニター画面に表示させる画像表示手段と、
   表示された画像に存在する欠陥領域を指定させる欠陥領域指定手段と、
   指定された欠陥領域の修正を行うための画像修正手段と、
   指定された欠陥領域を示す指標をモニター画面上に表示させる欠陥領域表示手段と、
   指定された欠陥領域の画像中の位置情報を他の画像に対して複写する位置情報複写手段とを備え、
   前記欠陥領域表示手段は、前記指標を当該他の画像に対しても画像中の対応する同じ場所に表示させることを特徴とする画像処理装置。
2. 複数の画像のうち、いずれか１つの画像において、画像の欠陥領域が指定されたとき、前記位置情報複写手段は、他の画像に対して位置情報を複写する機能を有することを特徴とする請求項１に記載の画像処理装置。
3. 複数の画像のうち、少なくとも２つ以上の画像において、画像中の同じ場所に存在する画像の欠陥領域の位置情報を比較する位置情報比較手段を備え、位置情報が同じとみなせる場合、前記位置情報複写手段は、他の画像に対して位置情報を複写する機能を有することを特徴とする請求項１又は２に記載の画像処理装置。
   

Images