JP4433285B2 - 画像の不要領域を修正するための画像処理方法 - Google Patents

Description

本発明は、画像の不要領域を構成する不要画素を不要領域外に隣接する参照画素によって置き換えることで不要領域を修正するための画像処理技術に関する。

写真撮影された画像には、風景画像における電柱や電線、人物画像におけるシミやほこり、場合によってはしわやほくろ、といった不要領域が含まれていることが少なくない。これらの不要領域を構成する不要画素を周辺（不要領域外）の画素（これは参照画素と呼ばれる）で置き換える、いわゆるピクセルコピー処理アルゴリズムは、フォトレタッチソフトの重要なツールとして実装されており、オペレータはマウスを駆使して、マニュアルで所定の画素単位の置き換える作業を行う。しかしながら、マニュアルでのピクセルコピーでは、複数の不要領域が存在しているケースや、不要領域が広範囲に及ぶケースでは、一度置き換えた画素を参照画素としてさらに別の不要画素に置き換えるといったことが行われがちで、これが頻繁に生じると、修正領域が不自然な画像となってしまう。

また、最も簡単な自動ピクセルコピーでは、修正するべき不要画素と修正元となる参照画素との位置関係を一定に維持していることから、参照画素となる不要領域周辺の画像模様が修正された画素領域に写像されて、やはり修正画像が不自然になるため、所定のコピー元画素候補領域の画素データが順次コピー元画素領域として選択されてコピーされるとともに、以降のコピー先位置が変化する毎に同様の隣接順序でコピー元画素候補領域の画素データが順次コピーされることにより、つまりコピー元として与えられた複数の画素領域の位置をコピー先位置の変化に関係なく固定させることにより、コピー元画素領域の周辺の画像がそのままコピー先画像に移されることを防止する自動ピクセルコピー技術が知られている（例えば、特許文献１参照。）。しかし、この技術では、コピー元画素領域の周辺の画像がそのままコピー先画像に移されることは防止されるとしても、コピー元画素領域の選択によっては修正画像が不自然になるだけではなく、修正画像がぼけた感じとなり、特に周辺領域との輪郭の連続性はほとんど失ってしまう。
特開２０００−６７２１１号公報（段落番号０００３、００３１、００３２、図４）

上記実状に鑑み、本発明の課題は、画像の不要領域を構成する不要画素を不要領域外に隣接する参照画素によって置き換えることで不要領域を修正する際、一度置き換えた画素を参照画素としてさらに別の不要画素に置き換えるといったことや、参照画素を自由に選択することで修正領域が周辺領域との輪郭の連続性が完全に失ってしまうといったことが防止される画像処理技術を提供することである。

画像の不要領域を構成する不要画素を前記不要領域外に隣接する参照画素によって置き換えることで前記不要領域を修正するための画像処理方法において、上記目的を達成するため、本発明による方法では、入力された画像から前記不要領域を選択するステップと、前記選択された不要領域から順次注目画素を設定するステップと、前記注目画素を中心として放射状に延びる複数の方向線を設定するステップと、前記各方向線に沿って前記注目画素を挟んで両側に位置する前記参照画素を探索するステップと、前記探索された参照画素の画素値を用いて前記注目画素のための仮修正値を演算するステップと、前記方向線毎に沿って設定された参照画素の画素値を用いて各方向線のための重み係数を演算するステップと、前記探索ライン毎に求められた前記仮修正値と前記重み係数とを用いて前記注目画素の仮修正値の重み付き平均値を前記注目画素の最終修正値として演算するステップと、前記最終修正値を用いて前記不要領域を修正するステップとからなり、修正されるべき前記不要領域の大きさに応じて前記参照画素を探索するステップにおける探索間隔が調整される

この方法では、画像中の不要領域を選択さえすれば、後は自動的に、順次設定された各不要画素について複数方向の方向線に沿って存在する参照画素の画素値に基づく修正値としての仮修正値が求められ、更には、各方向線に沿って存在する参照画素の画素値に基づいて各方向線の重み係数を求め、それを用いた重み付き平均値を演算して不要画素を修正するので、不要画素の周囲の各方向線に存在する画像の輪郭に応じた最終修正値を求めることが可能となり、画像の輪郭を正確に反映した適切な修正処理を行うことが可能となる。従って、修正領域がその周辺領域との輪郭の連続性が完全に失ってしまうといったことが抑制される。また、参照画素を探索する際の各方向線に沿った探索間隔を修正されるべき不要領域の大きさ（画素数）によって調節することにより、不要領域の大きさに応じて輪郭の存在する方向の探索のための演算処理の演算量を抑えることが可能であり、処理速度を高めることができる。

本発明の好適な実施形態として、前記重み係数を、各方向線に沿って前記注目画素を挟んで一方側で検索された参照画素の画素値を用いた値と他方側で検索された参照画素の画素値を用いた値とのいずれか大きい側の値を分母に、小さい側の値を分子に用いた比率とすることが提案される。これによれば、方向線に沿って注目画素を挟んだ両側にそれぞれ位置する１又は２以上の参照画素の画素値が近いほど重み係数を重くすることができるので、適切な補間方向にある方向線についての重み係数を重くして注目画素（不要画素）の修正を行うことができる。

本発明の好適な実施形態として、前記仮修正値は、前記方向線に沿って前記注目画素を挟んだ一方側に検索された参照画素の画素値を用いた値と他方側に検索された参照画素の画素値を用いた値との間の線形補間により求められることが提案される。これによれば、各方向線に沿って対象画素を挟んだ両側にそれぞれ位置する１又は２以上の参照画素の画素値と、それらの両側に位置する参照画素間の距離とに基づいて、注目画素（不要画素）の適切な仮修正値を演算することができる。

本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

本発明による、不要領域を修正する画像処理機能を採用した画像処理ユニットを搭載した写真プリント装置を説明する。図１はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図２からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図１参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に画像データと略称する）を２０００ｄｐｉを超える解像度でもって取得することができるフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから画像データを取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図３に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ２０やメディアリーダ２１によって読み取られた画像データを取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された画像データに対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み画像データに基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の画像データや画像処理が完了した処理済み画像データなどをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ画像データにサムネイル画像データ（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出してサムネイル画像データとしてメモリ３０に送り込む。

プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット６０、メモリ３０に展開された画像データに対して各種画像処理を施す画像処理ユニット７０を備えている。

前述した画像処理ユニット７０には本発明による技術を採用した不要領域修正処理手段８０及び濃度補正や解像度変換などのフォトレタッチ機能を実現する手段が含まれている。この不要領域修正処理手段８０は、実質的にはプログラムとして画像処理ユニット７０に実装されているが、図４に示すように、メモリ３０に展開されるとともにモニタ２３に表示されている入力撮影画像を見ながらの風景画像における電柱や電線あるいは人物画像におけるほくろやしわなどを不要領域としてキーボード２４やマウス２５を用いて選択された領域の位置情報から不要領域と参照領域（正常領域）とを区画規定した処理用マップを作成する不要領域選択部８１と、前記選択された不要領域から順次注目画素を設定する注目画素設定部８２と、設定された注目画素を中心として放射状に延びる複数の方向線を設定する演算方向線設定部８３と、設定された各方向線に沿って注目画素を挟んで両側に位置する前記参照画素を探索する参照画素探索部８４と、探索された参照画素の画素値を用いて注目画素のための仮修正値を演算する仮修正値演算部８５と、各方向線に沿って設定された参照画素の画素値を用いて各方向線のための重み係数を演算する重み係数演算部８６と、方向線毎に求められた仮修正値と重み係数とを用いて注目画素の仮修正値の重み付き平均値を前記注目画素の最終修正値として演算する最終修正値演算部８７と、全ての不要画素のために求められた最終修正値を用いて不要領域を修正する不要領域修正部８８とを備えている。さらに、この実施形態では、修正されるべき不要領域の大きさ（画素数）に応じて参照画素を探索する際の探索画素間隔を調整する探索間隔調節部８９ａと、修正されるべき不要領域の大きさ（画素数）に応じて注目画素に設定される各方向線の角度間隔（つまり設定される方向線の数）を調整する探索角度調節部８９ｂも備えられている。

このように構成された不要領域修正処理手段８０による不要領域修正のための画像処理手順を以下に説明する。この画像処理の流れは、図５に示されているが、まず、フィルムスキャナ２０やメディアリーダ２１を通じて撮影画像、詳しくは撮影画像のデジタル画像データが取り込まれメモリ３０に展開される。一般にフィルム１本分やメモリカード１枚分の撮像コマが画像チェックのために、プレジャッジ画面と呼ばれている操作入力画面４０の撮影画像表示枠４１に順次表示される。図６では、６コマ表示画面が選択されている。各撮影画像表示枠４１の下側には色濃度補正設定エリア４２とプリント枚数設定エリア４３が配置されている。色濃度補正設定エリア４２には「イエロー」、「マゼンタ」、「シアン」、「濃度」の設定枠が設けられており、補正量の「Ｎ」はニュートラルを表し補正なしを意味している。プリント枚数設定エリア４３にはプリント枚数入力枠が設けられており、「パス」はプリントを行わないことを意味している。プレジャッジ画面４０の下方にはプリント条件表示欄４４が配置されており、この写真プリント出力に適用されたプリントチャンネル名称の表示や、このプリントチャンネルに含まれているプリントサイズやインデックスプリントの要否やメディア出力の要否などが示されている。プリントサイズは仕上がり写真プリントＰの大きさを示すものであり、この実施形態では印画紙幅と送り長さでプリントサイズが決定される。このプレジャッジ画面４０において各撮影コマ画像に対する各種補正設定やプリント枚数設定が完了すると、対応する撮影画像データはプリントデータ生成部３６に送られ、プリントデータに変換される。

モニタ２３に表示されている多数コマ中から不要領域修正が必要なコマを選択してダブルクリックすることで、図７に示すような補正メイン画面５０が表示される。補正メイン画面５０の中央には拡大画像表示エリア５１が配置されており、右端には、撮影コマ画像の内で拡大画像表示エリア５１で表示されている部分を枠線で示す表示確認エリア５２及び不要領域修正ボタン５３などの各種補正ボタンが配置されている。表示確認エリア５２の枠線をマウス２５を用いて移動させることにより拡大画像表示エリア５１に表示される部分を変更することができ、表示サイズエリア５２ａの拡大率を変更することにより拡大画像表示エリア５１に表示される画像を拡大・縮小することができる。この補正メイン画面５０においてマウス２５を用いながら不要領域を選択する。その際、複数の領域に分けて選択することも可能である。なお、この領域選択は、オペレータが全ての濃度不調領域の輪郭線をマウス等でドラッグする完全手動方式や、オペレータが濃度不調領域内の１点を指示するだけであとは所定のアルゴリズムで濃度不調領域を選択する半自動方式や、全てを自動的に行う完全自動方式のいずれで行われても良い（＃０１）。

モニタ画面上での不要領域の選択が終わると、選択された不要領域が複数あれば全て統合され単一の不要領域とされる。画面上のこの不要領域はそれ以外の参照領域とから、図８に示すような処理用マップが作成される（＃０２）。さらに、探索間隔調整部８９ａにおいて、不要領域に含まれる画素数に応じて、参照画素Ｐを探索する際の方向線Ｌに沿った探索間隔を決定し（＃０３）、探索角度調整部８９ｂにおいて、不要領域に含まれる画素数に応じて、参照画素を探索する際の隣接する方向線Ｌ間の角度間隔を決定する（＃０４）。つまり、処理対象の不要領域に含まれる画素数に応じて、その画素数が多いほど探索間隔を大きくし、その画素数が少ないほど探索間隔を小さくするように決定すると好適である。例えば、画素数が少ないものは探索間隔を「０」とし、方向線Ｌに沿った全ての画素を対象として参照画素Ｐの検索を行い、画素数が中間のものは探索間隔を「１」とし、方向線Ｌに沿って１画素置きに参照画素Ｐの検索を行い、画素数が多いものは探索間隔を「２」とし、方向線Ｌに沿って２画素置きに参照画素Ｐの検索を行うことができる。また、処理対象の不要領域の画素数と探索間隔とを一定の関係式により表し、修正処理の度に探索間隔を演算して決定することも可能である。また、参照画素を探索する際の隣接する方向線Ｌ間の角度間隔も、処理対象の不要領域に含まれる画素数に応じて、その画素数が多いほど角度間隔を小さくし、その画素数が少ないほど角度間隔を大きくするように決定すると好適である。例えば、上述した探索間隔の場合と同様に、画素数が多いものは隣接する方向線Ｌ間の角度間隔を「１０°」とし、画素数が中間のものは隣接する方向線Ｌ間の角度間隔を「２０°」とし、画素数が少ないものは隣接する方向線Ｌ間の角度間隔を「３０°」とすることができる。また、このようなテーブルを用いず、処理対象の不要領域の画素数と方向線Ｌ間の角度間隔とを一定の関係式により表し、修正処理の度に角度間隔を演算して決定することも可能である。

次に、注目画素設定部８２において、不要領域選択部８１において不要画素とみなされた画素の中から１つの注目画素Ｏ（図９において中央の間隔幅の大きな斜線で示された画素）を設定する（＃０５）。この注目画素Ｏとしては、処理用マップに不要画素として登録されている画素であって、未だ注目画素Ｏとして選択されていない画素の中から設定する。その際、未だ注目画素Ｏとして選択されていない不要画素の中から任意の画素を設定することが可能であるが、最終的には、不要領域に含まれる全ての不要画素が注目画素Ｏとして設定されるようにする。

次に、演算方向線設定部８３が注目画素Ｏを通る複数方向の方向線Ｌが設定する（＃０６）。その後、参照画素探索部８４において、設定された方向線Ｌに沿って注目画素Ｏを挟んだ両側にそれぞれ参照画素Ｐを探索する（＃０７）。図９に、注目画素Ｏを通る複数方向の方向線Ｌに沿って参照画素Ｐを探索する際の一例を示す。この図では、＃０３の処理において決定された探索間隔は「２」であり、＃０４の処理において決定された方向線Ｌ間の角度間隔は「１５°」である場合を示している。ここで、方向線Ｌは、対象画素を中心とする放射状の複数方向のうち、注目画素Ｏを挟んで直線上に存在する反対向きの２方向が１のラインである。

方向線Ｌに沿って参照画素Ｐを探索する際において、隣接する方向線Ｌ間の角度間隔が９０°又は４５°以外の場合には、方向線Ｌがすべての画素の中央を通るとは限らないことから、その場合には、方向線Ｌが通過する位置に対して中心位置が最も近い画素を方向線Ｌ上の画素とみなす。そして、参照画素Ｐの検索に際しては、そのようにみなされた画素を含む方向線Ｌ上の画素を対象として上記所定の探索間隔で検索を行う。図９においては、探索間隔は「２」であるので、注目画素Ｏから方向線Ｌに沿って外側に向かってそれぞれ１画素置きに不要画素か参照画素かを判断し、その中で注目画素Ｏから最も近い位置にある参照画素が、その方向線Ｌに沿って注目画素Ｏを挟んだ両側にそれぞれ位置する参照画素Ｐとして探索される。なお、本実施形態においては、方向線Ｌに沿って注目画素Ｏを挟んだ両側にそれぞれ１個ずつの参照画素Ｐを探索し、それらの参照画素Ｐの値を用いて後の注目画素Ｏの補間値としての仮修正値Ｈや重み係数Ｗの演算を行う構成としているが、注目画素Ｏを挟んだ両側にそれぞれ２個以上ずつの参照画素Ｐを探索し、これら２個以上の参照画素Ｐの平均値等を用いて後の注目画素Ｏの仮修正値Ｈや重み係数Ｗの演算を行う構成とすることも可能である。また、参照画素Ｐの検索は上記のような方向線Ｌ上に限定されるものではなく、方向線Ｌの近傍に位置する参照画素Ｐをも含めて検索する構成とすることも可能である。

そして、上記１つの方向線Ｌに沿って参照画素Ｐを探索した結果、注目画素Ｏを挟んだ両側共に所定距離内に参照画素Ｐが存在しているか否かについて判断する（＃０８）。これは、注目画素Ｏから遠く離れた位置にある参照画素Ｐの値は、注目画素Ｏの修正に用いるのに適しないことから、予め設定された所定距離内に参照画素が存在しない場合には、その方向の方向線Ｌについての参照画素Ｐの値を注目画素Ｏの仮修正値Ｈや重み係数Ｗの演算に用いないようにするためである。したがって、注目画素Ｏを挟んだ両側のうちのいずれか一方でも所定距離内に参照画素が存在しなかった場合には（＃０８：ＮＯ）、処理は＃０６へ戻り、次の１つの方向線Ｌに沿って参照画素Ｐを探索する処理が行われる。ここで、前記所定距離としては、例えば、「２５」画素等のように単純に距離（画素数）により表される一定値としてもよいし、「２５×（探索間隔）」画素のように処理対象の画像データに含まれる画素数に応じて変化する値としてもよい。

一方、注目画素Ｏを挟んだ両側共に所定距離内に参照画素Ｐが存在している場合には（＃０８：ＹＥＳ）、次に、仮修正値演算部８５において、＃０８で見つけ出された参照画素Ｐの画素値を用いて、当該参照画素Ｐを探索した方向線Ｌについての注目画素Ｏの仮修正値Ｈを演算する（＃０９）。この注目画素Ｏの仮修正値Ｈの演算方法としては、例えば、線形補間を適用することができる。具体的には、図９に示す１つの方向線Ｌ１に沿って注目画素Ｏを挟んだ両側に位置する参照画素をそれぞれＰ１、Ｐ２とし、これらの参照画素Ｐ１、Ｐ２の画素値を用いて注目画素Ｏの仮修正値Ｈ１を演算する際には、Ｒ、Ｇ、Ｂの各成分のそれぞれについて、図１０に示すように、参照画素Ｐ１の画素値と参照画素Ｐ２の画素値とを直線で結び、注目画素Ｏから参照画素Ｐ１又はＰ２までの距離の比に応じた前記直線上の値を線形補間により演算し、注目画素Ｏの仮修正値Ｈ１ｒ、Ｈ１ｇ、Ｈ１ｂとする。ここで、図１０のグラフの縦軸は各画素の画素値であり、横軸は方向線Ｌ１に沿って位置する各画素の位置関係を表す。本実施形態に係る注目画素Ｏの仮修正値Ｈの演算式を、Ｒ、Ｇ、Ｂの各成分のうちのＲを例として具体的に示すと、以下の式（１）のようになる。

ここで、Ｒdat１は注目画素Ｏを挟んで位置する一方の参照画素Ｐ１のＲ成分の画素値を対数変換した値、Ｒdat２は他方の参照画素Ｐ２のＲ成分の画素値を対数変換した値、ｒａｄ１は注目画素Ｏから参照画素Ｐ１までの距離の絶対値、ｒａｄ２は注目画素Ｏから参照画素Ｐ２までの距離の絶対値、（ｍ，ｎ）は注目画素Ｏの座標、aglは注目画素Ｏを通る複数の方向線Ｌの角度であって＃０５の処理において決定された方向線Ｌ間の角度間隔毎の値をとる。そして、Ｈｒagl,ｍ,ｎは方向線Ｌについての注目画素ＯのＲ成分の仮修正値である。参照画素Ｐ１及びＰ２のＲ成分の画素値を対数変換する際の対数の底は、ここでは「ｅ」として自然対数をとするが、常用対数を用いてもよい。なお、ここでは参照画素Ｐ１及びＰ２の画素値を対数変換した値を用いているが、これらの画素値をそのまま用いて以降の演算を行うことも可能である。

Ｇ成分及びＢ成分についても、同様の方法により、仮修正値Ｈ１ｇ及びＨ１ｂをそれぞれ演算することができる。なお、注目画素Ｏの仮修正値Ｈの演算方法は、線形補間に限定されるものではなく、その他の補間方法を用いることも可能である。

次に、重み係数演算部８６において、＃０７で探索された参照画素Ｐの画素値を用いて、当該参照画素Ｐを探索した方向線Ｌについての重み係数Ｗを演算する（＃１０）。１つの方向線Ｌ１についての重み係数Ｗ１は、＃０９の処理において１つの方向線Ｌ１について演算された注目画素Ｏの仮修正値Ｈ１を、後述するように他の方向の方向線Ｌについて演算された注目画素Ｏの仮修正値Ｈとの関係で、どの程度の割合（重み）で最終修正値（重み付き平均値Ａ）に対して用いるか、すなわち各方向線Ｌについての注目画素Ｏの仮修正値Ｈがどの程度適正な値であるかという信頼性を定める係数である。

一般的に、ある１の方向線Ｌに沿って注目画素Ｏを挟んだ両側に位置する参照画素Ｐ１の画素値と参照画素Ｐ２の画素値との値が離れている場合には、参照画素Ｐ１と参照画素Ｐ２との間に画像の境界、すなわち画像中の色彩の変わり目が存在する可能性が高く、逆に、参照画素Ｐ１の画素値と参照画素Ｐ２の画素値との値が近い場合には参照画素Ｐ１と参照画素Ｐ２との間に画像の境界が存在しない可能性が高い。このような場合において、画像の境界を跨ぐ方向に補間した不要画素の仮修正値Ｈよりも、画像の境界に沿う方向に補間した不要画素の仮修正値Ｈの方が適正な値である可能性が高いと考えられる。これは、画素値の変化が大きい方向に沿って参照画素の間に存在する注目画素Ｏ（不要画素）の画素値を線形補間等によって適正に推定することが困難であるのに対して、画素値の変化が少ない方向に沿った補間では注目画素Ｏの適正な仮修正値を容易に推定することが可能であることによる。

そこで、本実施形態においては、参照画素Ｐ１の画素値と参照画素Ｐ２の画素値のいずれか大きい方の値を分母とし、小さい方の値を分子とする比をＲ、Ｇ、Ｂの各成分のそれぞれについて演算し、重み係数Ｗｒ、Ｗｇ、Ｗｂとする。これにより、重み係数Ｗは、参照画素Ｐ１の画素値と参照画素Ｐ２の画素値とが近いほど重みが重くなるような係数としてそれぞれ演算される。本実施形態に係る重み係数Ｗの演算式を、Ｒ、Ｇ、Ｂの各成分のうちのＲを例として具体的に示すと、以下の式（２）のようになる。

ここで、ｍａｘ（Ｒdat１，Ｒdat２）は上記Ｒdat１又はＲdat２のいずれか大きい方の値、ｍｉｎ（Ｒdat１，Ｒdat２）は上記Ｒdat１又はＲdat２のいずれか小さい方の値、Ｗｒagl,ｍ,ｎは方向線Ｌについての重み係数である。なお、Ｒdat１及びＲdat２の両方の値が「０」である場合には、計算が不可能になることを避けるため、Ｗｒagl,ｍ,ｎは「１」とする処理を行う。Ｇ成分及びＢ成分についても、同様の方法により、重み係数Ｗｇ及びＷｂをそれぞれ演算することができる。

また、方向線Ｌについての重み係数Ｗの演算方法は、上記の方法に限定されるものではなく、参照画素Ｐ１の画素値と参照画素Ｐ２の画素値との差分の絶対値の所定値αに対する補数を所定値αで除した値をＲ、Ｇ、Ｂの各成分のそれぞれについて演算し、重み係数Ｗｒ、Ｗｇ、Ｗｂとすることも可能である。このような重み係数Ｗの演算式を、Ｒ、Ｇ、Ｂの各成分のうちのＲを例として具体的に示すと、以下の式（３）のようになる。

ここで、所定値αは、参照画素Ｐ１の画素値と参照画素Ｐ２の画素値との差分の絶対値がとり得る最大値に設定すると好適である。これにより、参照画素Ｐ１の画素値と参照画素Ｐ２の画素値が近いほど重み係数Ｗが重くなるようにできる。なお、所定値αの値はこれに限定されるものではなく、参照画素Ｐ１の画素値と参照画素Ｐ２の画素値との差分の絶対値がとり得る最大値以下の値に設定することも可能である。ただし、その場合には、前記補数が負の値になる場合が生じ得るので、前記補数が「０」以下となる場合には、重み係数Ｗを「０」とする等の条件が必要となる。また、ここでは、重み係数Ｗが「０」以上「１」以下の値となるようにするため、前記補数を所定値αにより除算することとしているが、前記補数を所定値αにより除算することなく、重み係数Ｗとすることも可能であ
る。

次に、＃０４の処理において決定された方向線Ｌ間の角度間隔に従って設定された、注目画素Ｏを通る複数方向の方向線Ｌの全てについて、＃０７〜＃１０の処理を終了したか否かについて判断する（＃１１）。そして、上記複数方向の方向線Ｌの全てについての＃０６〜＃０９の処理が終了していない場合（＃１１：ＮＯ）には、処理は＃０６へ戻り、既に処理が終了している方向線Ｌ以外の方向線Ｌを選択し、＃０７〜＃１０の処理を再度行う。

一方、上記複数方向の方向線Ｌの全てについての＃０７〜＃１０の処理が終了した場合（＃１１：ＹＥＳ）には、最終修正値演算部８７において、＃０５の処理において選択した１の注目画素Ｏについての重み付き平均値Ａを演算する（＃１２）。すなわち＃０５〜＃１０の処理において演算された各方向線Ｌについての注目画素Ｏの仮修正値Ｈと重み係数Ｗとを用いて、選択した１の注目画素Ｏの仮修正値Ｈの重み付き平均値Ａ（最終修正値）を演算する。具体的には、Ｒ、Ｇ、Ｂの各成分のそれぞれについて、各方向線Ｌについての仮修正値Ｈに当該方向線Ｌについての重み係数Ｗのｎ乗を乗算した乗算値を、当該注目画素Ｏを通る複数の方向線Ｌの全てについて総和し、この総和を前記乗算値の演算に用いた全ての重み係数Ｗのｎ乗の総和で除算することにより行う。この重み付き平均値Ａの演算式を、Ｒ、Ｇ、Ｂの各成分のうちのＲを例として具体的に示すと、以下の式（４）のようになる。

本実施形態においては、注目画素Ｏを通る方向線Ｌは、１５°間隔で１２本設定されており、そのそれぞれについてＲ、Ｇ、Ｂの各成分毎に、仮修正値Ｈｒ、Ｈｇ、Ｈｂと重み係数Ｗｒ、Ｗｇ、Ｗｂが演算されているので、重み付き平均値Ａは、これら１２個の仮修正値Ｈと重み係数Ｗのｎ乗の乗算値の和を、１２個の重み係数Ｗのｎ乗の和で除算することにより演算される。

ここで、重み係数Ｗは「０」以上「１」以下の値となるので、重み係数Ｗをｎ乗することにより、重み係数Ｗの値を強調することができる。これにより、注目画素Ｏの周囲の画像の境界の存在する方向に沿って演算された注目画素Ｏの仮修正値Ｈが上記重み付き平均値Ａに与える影響を大きくすることができ、画像の境界の方向を反映した適切な不要画素の修正を行うことが可能となる。ここで、ｎの値は、修正すべき画像の状態によって適切な値が異なることから、各種の画像の統計等から実験的に求めた値とするのが好適であるが、一般的には、このｎの値が小さすぎれば、修正後の画像は、像の境界がぼやけた状態となり、このｎの値が大きすぎれば、修正後の画像は、像の境界がはっきりしすぎた状態となる。具体的には、通常の写真であれば、ｎの値は１０〜３０程度が適している場合が多く、更には、肌色と黒色との境界が適切に修正されるようなｎの値としては２０程度が適している場合が多い。

次に、不要領域修正部８８において、＃１２の処理により演算された注目画素Ｏの重み付き平均値Ａを用いて注目画素Ｏの修正を行う（＃１３）。具体的には、Ｒ、Ｇ、Ｂの各成分のそれぞれについて演算された注目画素Ｏの重み付き平均値Ａｒ、Ａｇ、Ａｂを、逆
対数変換し、その値を当該注目画素Ｏの最終修正値Ｆｒ、Ｆｇ、Ｆｂとし、これらを注目画素ＯのＲ、Ｇ、Ｂの各成分の画素値に置き換えることにより行う。この最終修正値Ｆの演算式を、Ｒ、Ｇ、Ｂの各成分のうちのＲを例として具体的に示すと、以下の式（５）のようになる。

このように最終修正値Ｆの演算に際して、注目画素Ｏの重み付き平均値Ａを逆対数変換するのは、上記＃０８の処理において、注目画素Ｏの仮修正値Ｈを演算する際に、参照画素Ｐ１及びＰ２のＲ成分の画素値を対数変換していることによるものである。したがって、ここでは自然対数の底「ｅ」により逆対数変換を行う。なお、上記の式（１）において、参照画素Ｐ１及びＰ２の画素値を対数変換せずにそのまま用いた場合には、この逆対数変換の処理は行わないので、注目画素Ｏの重み付き平均値Ａｒ、Ａｇ、Ａｂがそのまま最終修正値となる。

次に、＃０２の処理において処理用マップに不要画素として登録された全ての不要画素について、注目画素Ｏとして選択して＃０５〜＃１３の処理を既に終了したか否かについて判断する（＃１４）。ここで、全ての不要画素を注目画素Ｏとして選択済みでない場合には（＃１４：ＮＯ）、処理は＃０５へ戻り、既に処理が終了している注目画素Ｏ以外の注目画素Ｏを選択し、＃０５〜＃１３の処理を繰り返し行う。そして、全ての不要画素を注目画素Ｏとして選択し、＃０５〜＃１３の処理を既に終了した場合には（＃１４：ＹＥＳ）、不要領域の修正処理を終了する。

本発明による不要領域修正画像処理技術を採用した画像処理ユニットを搭載した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 不要領域修正処理手段の機能構成を示す機能ブロック図 不要領域を修正する画像処理の手順を示すフローチャート プレジャッジ画面の画面図 補正メイン画面の画面図 処理用マップの説明図 不要画素の修正処理における、１つの対象画素を通る複数方向の探索ラインに沿って参照画素を探索する処理の一例を示す説明図 不要画素の修正処理における、対象画素の仮修正値の演算方法の一例を示すグラフ

８０ 不要領域修正処理手段
８１ 不要領域選択部
８２ 注目画素選択部
８３ 演算方向線設定部
８４ 参照画素探索部
８５ 仮修正値演算部
８６ 重み係数演算部
８７ 最終修正値演算部（重み付き平均値演算部）
８８ 不要領域修正部
８９ａ 探索間隔調節部
８９ｂ 検索角度調節部
Ｏ 対象画素
Ｐ 参照画素
Ｌ 方向線
Ｈ 対象画素の仮修正値
Ｗ 重み係数
Ａ 重み付き平均値（最終修正値）
Ｆ 最終修正値

Claims (3)

1. 画像の不要領域を構成する不要画素を前記不要領域外に隣接する参照画素によって置き換えることで前記不要領域を修正するための画像処理方法において、
   入力された画像から前記不要領域を選択するステップと、
   前記選択された不要領域から順次注目画素を設定するステップと、
   前記注目画素を中心として放射状に延びる複数の方向線を設定するステップと、
   前記各方向線に沿って前記注目画素を挟んで両側に位置する前記参照画素を探索するステップと、
   前記探索された参照画素の画素値を用いて前記注目画素のための仮修正値を演算するステップと、
   前記方向線毎に沿って設定された参照画素の画素値を用いて各方向線のための重み係数を演算するステップと、
   前記探索ライン毎に求められた前記仮修正値と前記重み係数とを用いて前記注目画素の仮修正値の重み付き平均値を前記注目画素の最終修正値として演算するステップと、
   前記最終修正値を用いて前記不要領域を修正するステップと、
   からなり、
   修正されるべき前記不要領域の大きさに応じて前記参照画素を探索するステップにおける探索間隔が調整されることを特徴とする画像処理方法。
2. 前記重み係数は、各方向線に沿って前記注目画素を挟んで一方側で検索された参照画素の画素値を用いた値と他方側で検索された参照画素の画素値を用いた値とのいずれか大きい側の値を分母に、小さい側の値を分子に用いた比率であることを特徴とする請求項１に記載の画像処理方法。
3. 前記仮修正値は、前記方向線に沿って前記注目画素を挟んだ一方側に検索された参照画素の画素値を用いた値と他方側に検索された参照画素の画素値を用いた値との間の線形補間により求められることを特徴とする請求項１又は２に記載の画像処理方法。