WO2015151279A1

WO2015151279A1 - フォーカス評価を補助するための装置、プログラム及び方法

Info

Publication number: WO2015151279A1
Application number: PCT/JP2014/059983
Authority: WO
Inventors: 伊藤　秀敏; 合志　清一
Original assignee: リーダー電子株式会社
Priority date: 2014-04-04
Filing date: 2014-04-04
Publication date: 2015-10-08
Also published as: JP6325656B2; JPWO2015152424A1; WO2015152424A1

Abstract

　小型で低解像度のモニタで撮影された画像を確認する場合にも、フォーカス評価が容易になるようなフォーカス評価補助装置を提供すること。　フォーカス評価本装置は、第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段とを備えている。なお、本装置は、エッジ成分生成手段への第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成されている。

Description

フォーカス評価を補助するための装置、プログラム及び方法

　本願発明は、カメラ等で動画又は静止画を撮影する際に、人間によるフォーカスが合っているかの確認（以下、「フォーカス評価」という。）を補助する技術に関する。

　従来，動画又は静止画をカメラ等で撮影するときのフォーカス評価は、一般的に、画像のエッジを表す画素（例えば、物体の輪郭を表す画素）に着目して評価されてきた。そのようなフォーカス評価を補助するために、輪郭強調処理を用いて、エッジを表す画素を強調する技術が存在する。

　例えば、特開平２０１０－１１４５５６号公報には、画像データを構成する輝度値を正規化し、正規化後の画像データに対してＨＰＦを用いたフィルタ演算を行って画素ごとのフィルタ演算値を取得し、エッジ閾値より大きなフィルタ演算値を有する画素を特定の色で色づけする技術が記載されている（当該文献の段落［００８０］～［００９２］及び図６～１１を参照）。ここで、エッジを表す画素は、一般的に、ＨＰＦを用いたフィルタ演算後に大きなフィルタ演算値を有する。

　また、フォーカス評価とは関わりなく、非線形処理を用いて入力画像信号に含まれない周波数成分を生成することにより、出力画像を強調する技術が存在する（特許５３２０５３８号公報及び特許５３９６６２６号公報を参照）。

特開平２０１０－１１４５５６号公報特許５３２０５３８号公報特許５３９６６２６号公報

　輪郭強調処理では、エッジを表す画素を強調している。従って、エッジがあまり存在せず、近隣画素から輝度が急激に変化する画素が少ない画像、即ち空間周波数成分として高周波成分が少ない画像に対しては、輪郭強調処理はフォーカス評価に対する十分な補助とならない。

　このような問題に対処するため、高周波成分の少ない画像に対して輪郭強調処理を行う際に、ＨＰＦのゲインを上げる、ＨＰＦの帯域を広げることが考えられる。しかしながら、単純にゲインを上げると、画像のノイズまで増加させてしまう。また、帯域を広げると、エッジである画素とエッジでない画素とをむしろ判別しづらくなる。なぜなら、例えば、特開平２０１０－１１４５５６号公報に記載の技術によると、高周波成分である画素のフィルタ演算値と、高周波成分でない画素のフィルタ演算値との差が小さくなるために、適切なエッジ閾値を設定しづらくなるためである。

　画像に十分な高周波成分が含まれない場合のほか、撮影環境により縮小して表示した場合も、輪郭強調処理ではフォーカス評価の十分な補助とならないときがある。例えば、特開平２０１０－１１４５５６号公報に記載の技術によると、特定の色が割り当てられた１画素が、縮小によりつぶれ、表示されなくなることがある。近年では４Ｋ（４０９６画素×２１６０画素）で画像が撮影されることもあり、そのような画像をカメラ搭載の小型で低解像度のモニタで確認する場合は画像を縮小表示せざるを得ず、とりわけ、従来技術の輪郭強調処理ではフォーカス評価の十分な補助とならない。そのため、４Ｋで映像を撮影する際には、わざわざ大型の４Ｋ対応モニタを持ち込んで、撮影された画像のフォーカス評価をしているのが実情である。

　出願人は、そもそも、エッジを表す画素は、フォーカスを評価する１つの指標になるかもしれないが、それのみをもってフォーカスの評価がなされるわけではないことに気付いた。エッジを表す画素でない画素にもフォーカス評価に有用な情報は含まれている。例えば、画面全体のエッジの雰囲気は、エッジを表す画素でない画素から確認することが可能である。しかしながら、従来技術の輪郭強調処理では、フォーカス評価の補助において、この情報が活用されてこなかった。

　本願発明は、上述の課題に鑑みてなされたものである。

　本発明の一実施形態は、フォーカス評価補助装置である。本装置は、第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段とを備えている。なお、本装置は、エッジ成分生成手段への第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成されている。

　エッジ成分生成手段は、エッジ成分の各要素の値に対して非線形処理を行う手段を備えていてもよい。非線形処理後のエッジ成分の要素の値は、非線形処理前のエッジ成分の要素の値を入力とする非線形関数の出力である。

　エッジ成分生成手段は、第１の画像に２次元ハイパスフィルタを適用して、第１の画像における空間周波数成分から少なくとも直流成分を除去する手段を備えていてもよい。あるいは、エッジ成分生成手段は、第１の画像に対する第１方向１次元ハイパスフィルタ手段と、第１の画像に対する第２方向１次元ハイパスフィルタ手段と、第１方向１次元ハイパスフィルタ手段の出力と第２方向１次元ハイパスフィルタ手段の出力とを合成する手段とを備えていてもよい。

　エッジ成分生成手段は、エッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更する手段、及び、エッジ成分の要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更する手段の一方又は双方を備えていてもよい。

　エッジ成分生成手段は、エッジ成分において、周囲の要素の値の絶対値より大きな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える孤立点除去フィルタ手段と、エッジ成分において、周囲の要素の値の絶対値より小さな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える広げフィルタ手段との一方または双方を備えていてもよい。ここで、孤立点除去フィルタ手段は、エッジ成分において３要素×３要素の連続した領域を特定し、領域の中央の要素を除く要素において、要素がとり得る最大値と第１の割合との積を閾値として、絶対値が閾値以下となる値を有する要素の数を求め、求められた要素の数が第１の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるように構成することができる。広げフィルタ手段は、エッジ成分において３要素×３要素の連続した領域を特定し、領域の中央の要素を除く要素において、要素がとり得る最大値と第２の割合との積を閾値として、絶対値が閾値以上となる値を有する要素の数を求め、求められた要素の数が第２の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるように構成することができる。

　本装置において、第１の画像は原画像から生成され、原画像は複数の画素を含み、第１の画像の各画素の値は、原画像の対応する画素の色から導出される。本装置は、原画像の少なくとも一部を第２の画像で置き換えること、及び、原画像と第２の画像とを重ね合わせることの一方または双方を行うことにより、表示手段へと出力される画像を生成する更なる画像生成手段を更に備えていてもよい。なお、画像生成手段は、原画像と第２の画像との重ね合わせを行う場合に、
　　Ｃ_ｏｕｔ＝αＣ_ｉｎ１＋βＣ_ｉｎ２
　　　　　　　　　（αは０≦α≦１なる実数、βは０≦β≦１なる実数）
により重ね合わせ後の画像のある画素の色を求めるよう構成することができる。ここで、Ｃ_ｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃ_ｉｎ１及びＣ_ｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である。また、更なる画像生成手段は、原画像を色調整する手段を備えていてもよい。

　本発明の別の一実施形態は、コンピュータをフォーカス評価補助装置として機能させるプログラムである。

　本発明のまた別の一実施形態は、フォーカス評価補助方法である。本方法は、エッジ成分生成手段により、第１の画像からエッジ成分を生成するステップであって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成ステップと、画像生成手段により、エッジ成分から第２の画像を生成するステップであって、第２の画像は複数の画素を含み、該ステップは、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求めるステップを含む、画像生成ステップと、画像出力手段により、第２の画像に基づく画像を表示手段へと出力する画像出力ステップとを含んでいる。なお、本方法において、第１の画像の新たな入力に応答して、エッジ成分生成ステップ，画像生成ステップ及び画像出力ステップは繰り返される。

　エッジ成分生成ステップは、エッジ成分の各要素の値に対して非線形処理を行うステップを含んでいてもよい。非線形処理後のエッジ成分の要素の値は、非線形処理前のエッジ成分の要素の値を入力とする非線形関数の出力である。

　エッジ成分生成ステップは、第１の画像に対する２次元ハイパスフィルタ適用ステップを含んでいてもよい。あるいは、エッジ成分生成ステップは、第１の画像に対する第１方向１次元ハイパスフィルタ適用ステップと、第１の画像に対する第２方向１次元ハイパスフィルタ適用ステップと、第１方向１次元ハイパスフィルタ適用ステップ及び第２方向１次元ハイパスフィルタ適用ステップにより得られた出力を合成するステップとを含んでいてもよい。

　エッジ成分生成ステップは、エッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更するステップ、及び、エッジ成分の要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更するステップの一方又は双方を含んでいてもよい。

　エッジ成分生成ステップは、エッジ成分において、周囲の要素の値の絶対値より大きな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える孤立点除去フィルタ適用ステップと、エッジ成分において、周囲の要素の値の絶対値より小さな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える広げフィルタ適用ステップとの一方または双方を含んでいてもよい。ここで、孤立点除去フィルタ適用ステップは、エッジ成分において３要素×３要素の連続した領域を特定するステップと、領域の中央の要素を除く要素において、要素がとり得る最大値と第１の割合との積を閾値として、絶対値が閾値以下となる値を有する要素の数を求めるステップと、求められた要素の数が第１の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるステップとを含んでいてもよい。また、広げフィルタ適用ステップは、エッジ成分において３要素×３要素の連続した領域を特定するステップと、領域の中央の要素を除く要素において、要素がとり得る最大値と第２の割合との積を閾値として、絶対値が閾値以上となる値を有する要素の数を求めるステップと、求められた要素の数が第２の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるステップとを含んでいてもよい。

　本方法において、第１の画像は原画像から生成され、原画像は複数の画素を含み、第１の画像の各画素の値は、原画像の対応する画素の色から導出される。本方法は、更なる画像生成手段により、原画像の少なくとも一部を第２の画像で置き換えること、及び、原画像と第２の画像とを重ね合わせることの一方または双方を行うことにより、表示手段へと出力される画像を生成する更なる画像生成ステップを更に含んでいてもよい。なお、更なる画像生成ステップは、原画像と第２の画像との重ね合わせを行う場合に、更なる画像生成手段により、
　　Ｃ_ｏｕｔ＝αＣ_ｉｎ１＋βＣ_ｉｎ２
　　　　　　　　　（αは０≦α≦１なる実数、βは０≦β≦１なる実数）
により重ね合わせ後の画像のある画素の色を求めるステップを含むことができる。ここで、Ｃ_ｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃ_ｉｎ１及びＣ_ｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である。また、更なる画像生成ステップは、更に、原画像を色調整するステップを含んでいてもよい。

　本発明によると、画像における画素間の輝度変化が、輝度変化に応じた色を用いて連続的な態様で表示される。従って、小さく解像度の低い画面においても、画像全体から把握されるエッジの雰囲気からフォーカス評価が比較的容易となる。なお、エッジの雰囲気とは、画像全体にわたる画素間の輝度変化の分布等のことを意味している。

　また、一実施形態によると、非線形関数により、非線形処理前のエッジ成分の空間周波数において存在しない周波数を生じさせることによって、エッジ成分に対して所望の強調を行うことできる。

　一実施形態によると、１次元ハイパスフィルタ又は２次元ハイパスフィルタにより、第１の画像における周波数成分からの少なくとも直流成分の除去を実現することができる。１次元ハイパスフィルタの動作速度はより高速であるため、１次元ハイパスフィルタを用いた場合には、第１の画像における周波数成分からの少なくとも直流成分の除去をより高速に実現することができる。

　一実施形態によると、エッジ成分の値を増幅し又はその値を制限することにより、エッジ成分の値を扱いやすい範囲に変換することができる。

　一実施形態によると、エッジ成分をスムージングすることにより、ノイズを低減することができる。

　更に、一実施形態によると、原画像と関連させて第２の画像を表示することにより、第２の画像からは認識できない原画像の特徴を同時に把握することができる。その際、原画像の色調整を行うことにより、原画像又は第２の画像を相対的に強調することができる。

本発明の一実施形態であるフォーカス評価補助方法のフローチャートを示している。図１ａにおけるエッジ成分生成ステップ１２０の代替構成を示している。第１の画像を示している。２次元ハイパスフィルタを示している。エッジ成分を示している。非線形関数ｆ（Ｅ）としてＥ^３を用いたときの非線形処理の効果を示している。１次元ハイパスフィルタを示している。第２の画像の画素の色を割り当てるための関数を示している。図１ａにおけるスムージングステップ１３１実行前のエッジ成分に対応する図を示している。図１ａにおけるスムージングステップ１３１実行後のエッジ成分に対応する図を示している。図４ａにおける孤立点４１１及び虫食い４１２を表したグラフを示している。図１ａにおける孤立点除去フィルタ適用ステップ１３２のフローチャートを示している。図１ａにおける広げフィルタ適用ステップ１３３のフローチャートを示している。エッジ成分において特定された領域を示している。原画像（第１の画像）を示している。第２の画像を示している。原画像と第２の画像とを重ね合わせることにより生成された表示画像を示している。原画像と第２の画像とを部分的に重ね合わせることにより生成された表示画像を示している。原画像と、図５ｂとは異なる関数を用いて画像化された第２の画像とを重ね合わせることにより生成された表示画像を示している。原画像と、図５ｂとは異なる関数を用いて画像化された第２の画像とを部分的に重ね合わせることにより生成された表示画像を示している。本発明の一実施形態であるフォーカス評価補助装置のブロック図を示している。図６ａにおけるエッジ成分生成手段６２０の代替構成を示している。

　まず、本発明の一実施形態である、フォーカス評価を補助するための方法について説明する。

　図１ａは、フォーカス評価を補助するための方法のフローチャートである。なお、このフローチャートに示された構成はあくまで一例であり、以下で説明されるように、幾つかのステップは必須でない。

　本方法は、まず、第１の画像を入力するステップ１１０から開始される。第１の画像は、例えば、カメラで現に撮影している動画（複数フレームから構成される。また、静止画を撮影するために、カメラのファインダーやモニタに表示される動画を含む。）の１フレームや、カメラで既に記録された動画の１フレーム等（以下、「原画像」という。）から導出されたものであってよい。

　第１の画像は複数の画素を含んでいる。第１の画像の各画素の値は、原画像の対応する画素の色から導出されるもので、以下の説明では、原画像の画素の輝度値であるものとする。なお、第１の画像の各画素の値は、原画像の画素の色のＲ、Ｇ又はＢの値やクロマ（彩度）値等、原画像の画素の色から導出可能な任意の値であってよい。また、第１の画像の画素の値として輝度値を用いる場合、第１の画像は色がグレースケールで表現された画像とみなせることから、原画像において色がグレースケールで表現されている場合、第１の画素の値の導出は、原画像の画素の色（値）を単に用いることであってよい。

　次に、本方法は、第１の画像からエッジ成分を生成するステップ１２０に続く。ここで、エッジ成分とは、少なくとも、第１の画像における空間周波数成分から少なくとも直流成分を除去したものである。エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する。本実施形態では、エッジ成分は、第１の画像の画素数と同じ数の要素を含む配列によって表されるものとする。

　第１の画像における空間周波数成分から少なくとも直流成分を除去する手法は任意であるが、本実施形態では、第１の画像に２次元ハイパスフィルタ（ＨＰＦ）を適用するステップ１２１を実行することによって実現している。代替として、図１ｂに関して後述するように、２つの１次元ハイパスフィルタ適用ステップ１２１ａ及び１２１ｂによって実現することもできる。また、ハイパスフィルタを適用する代わりに、第１の画像から、第１の画像にローパスフィルタを適用したものを減算することによっても、第１の画像から少なくとも直流成分を除去することができる。以下、図２ａ～２ｃを参照して、２次元ハイパスフィルタについて説明する。

　図２ａは第１の画像の例である。ここで、１つのマス目は１つの画素を表し、マス内の値Ｉ_ｘｙはその画素の値、以下の説明では原画像の対応する画素の輝度値を表すものとする。なお、ｘ及びｙは、それぞれ０≦ｘ＜ｗ及び０≦ｙ＜ｈである整数であり、ｗ及びｈは、それぞれ第１の画像の横方向及び縦方向の画素の数である。

　図２ｂは２次元ハイパスフィルタの例である。この例においては、大きさが３要素×３要素であるフィルタを用いているが、大きさは所望なものでよい。例示のハイパスフィルタの係数ｆ_ｉｊ（ｉ及びｊは、それぞれ０≦ｉ＜３及び０≦ｊ＜３である整数）は、以下のような値をとることができる。

　上記係数の値は例示であり、ハイパスフィルタとして機能する任意の係数を用いることができることは言うまでもない。

　図２ｃはエッジ成分の例である。このエッジ成分は、第１の画像に図２ｂに例示した二次元ハイパスフィルタを適用して得られたものであり、各要素の値は、以下の式により計算される。

　上式を用いる際、画像外の領域のＩ_ｘｙ（ｘ＜０，ｙ＜０，ｗ≦ｘ，ｈ≦ｙ）は任意の値、例えば０として計算してよい。なお、上式によって計算されるエッジ成分の要素の値Ｅ_ｘｙは、正負両方の値でありうる。

　エッジ成分生成ステップ１２０は、更に、非線形処理ステップ１２２を含んでいてもよい。この処理においては、以下の計算が行われる。
　　Ｅ２_ｘｙ＝ｆ（Ｅ１_ｘｙ）　（３）

　ここで、Ｅ１_ｘｙ及びＥ２_ｘｙは、それぞれ非線形処理前及び後のエッジ成分の要素の値であり、ｆ（Ｅ）は任意の非線形関数である。なお、Ｅのとり得る値が使用するｆ（Ｅ）の定義域を超える場合には、Ｅを有理数倍する、Ｅに有理数のオフセットを加える、Ｅの絶対値をとる等して得られた、ｆ（Ｅ）の定義域内である値をＥとしてｆ（Ｅ）を計算することができる。

　非線形関数としては、限定することなく例示すると、Ｅ^ｐ、ｓｉｎ^ｐ（Ｅ）及びｌｏｇ^ｐ（Ｅ）（ｐは有理数）なる関数、並びに、これら関数を有理数倍すること、これら関数に有理数のオフセットを加えること、及び、これら関数を組み合わせることのうちの１以上により得られた関数が挙げられる。具体的には、ｆ（Ｅ）は以下のような関数であることができる。

　非線形関数は、テーブルを用いて実現することもできる。例えば、Ｅ_ｘｙのとり得る全ての値と、各値に対応する予め定められた出力とをテーブルに記憶しておき、非線形処理を行う際に、このテーブルとしての関数を用いて出力を計算することができる。

　非線形関数は、所望する効果に応じて、適宜選択することができる。例えば、図２ｄは、ｆ（Ｅ）として式（４）を用いたときの非線形処理の効果を表すグラフであり、このグラフは、非線形処理前のエッジ成分の要素の値を表すプロットをつないだ曲線２１１と非線形処理後のエッジ成分の要素の値を表すプロットをつないだ曲線２１２とを含んでいる。ここで、グラフの横軸はエッジ成分のある連続した要素を表し、縦軸はその要素の値を表している。式（４）は、出力／入力の比が、入力が大きいほど大きくなる非線形関数である。そのために、非線形処理後の曲線２１２は、非線形処理前の曲線２１１に比べて、より鋭いピーク２１３を有するようになっている。このことは、ゲインを単純に上げる場合に比べて、より大きな値を有するエッジ成分の要素はより大きくなり、小さな値を有する要素との差異が強調されることを意味している。

　エッジ成分生成ステップ１２０は、更に、増幅／リミッタ適用ステップ１２３を含んでいてもよい。このステップでは、非線形処理ステップ１２２の後（非線形処理ステップ１２２を含まない場合には、２次元ハイパスフィルタ適用ステップ１２１の後）のエッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更すること、及び、要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更することの一方又は双方が行われる。

　図１ｂに示されるように、エッジ成分生成ステップ１２０は、２次元ハイパスフィルタを適用するステップ１２１の代わりに、ラインに垂直な方向（第１の画像の縦方向）に１次元ハイパスフィルタを適用するステップ１２１ａ及びラインに平行なサンプル方向（同横方向）に１次元ハイパスフィルタを適用するステップ１２１ｂを含むことができる。この場合には、２つの１次元ハイパスフィルタによりそれぞれ得られた第１エッジ成分Ｅ_Ｌｘｙ及び第２エッジ成分Ｅ_Ｓｘｙを合成するステップ１２４により、最終的なエッジ成分Ｅ_ｘｙを得ることができる。

　図２ｅは１次元ハイパスフィルタの例である。この例においては、大きさが３要素であるフィルタを用いているが、大きさは所望なものでよい。また、ラインに垂直な方向とラインに平行なサンプル方向とで異なる大きさのフィルタを用いてもよい。例示のハイパスフィルタの係数は、以下のような値をとることができる。

　上記係数の値は例示であり、ハイパスフィルタとして機能する任意の係数を用いることができ、係数はラインに垂直な方向とラインに平行なサンプル方向とで異なってもよいことは言うまでもない。

　ラインに垂直な方向のハイパスフィルタの適用は、以下の式により表される。

　ラインに平行なサンプル方向のハイパスフィルタの適用は、以下の式により表される。

　上式を用いる際、画像外の領域のＩ_ｘｙ（ｘ＜０，ｙ＜０，ｗ≦ｘ，ｈ≦ｙ）は任意の値、例えば０として計算してよい。

　エッジ成分合成ステップ１２４における合成手法は任意であるが、例えば、単純にＥ_ｘｙ＝Ｅ_Ｌｘｙ＋Ｅ_Ｓｘｙという計算により合成することができる。

　図１ｂにおいて示されているように、第１エッジ成分Ｅ_Ｌｘｙ及び第２エッジ成分Ｅ_Ｓｘｙに対して、それぞれ、非線形処理ステップ１２２ａ及び１２２ｂ並びに増幅／リミッタ適用ステップ１２３ａ及び１２３ｂの少なくとも１つを適用することができ、これらステップは、上述した非線形処理ステップ１２２及び増幅／リミッタ適用ステップ１２３と同様である。

　次に、本方法は、第２の画像を生成するステップ１３０に続く。このステップは、エッジ成分の要素の値に応じて色を割り当てることによって、エッジ成分を画像化するステップ１３４を含む。

　以下、図３を参照して、第２の画像を生成する手法を説明する。図３は、エッジ成分の要素の値Ｅ_ｘｙを横軸として、第２の画像の画素の、Ｒ、Ｇ及びＢ成分の値Ｊ_Ｒｘｙ、Ｊ_Ｇｘｙ及びＪ_Ｂｘｙをそれぞれ縦軸として有する３つのグラフを示している。

　第２の画像は、これらグラフのプロットに示される関係でエッジ成分の要素の値から第２の画像の画素の色を割り当てることによって生成することができる。即ち、図３に示されたプロットを上のグラフから順にそれぞれ関数ｒ（Ｅ_ｘｙ）、ｇ（Ｅ_ｘｙ）及びｂ（Ｅ_ｘｙ）とおくと、第２の画像の画素のＲＧＢ値（Ｊ_Ｒｘｙ，Ｊ_Ｇｘｙ，Ｊ_Ｂｘｙ）は、以下のように表すことができる。
　　Ｊ_Ｒｘｙ＝ｒ（Ｅ_ｘｙ）
　　Ｊ_Ｇｘｙ＝ｇ（Ｅ_ｘｙ）　（１０）
　　Ｊ_Ｂｘｙ＝ｂ（Ｅ_ｘｙ）

　なお、関数を定義すべき範囲は、エッジ成分の要素のとり得る値に応じて変化することは言うまでもない。

　代替手法として、第２の画素の値を以下の関数によって割り当てることにより、第２の画像を生成することができる。
　　Ｊ_Ｒｘｙ＝Ｅ_ｘｙ＋ｏｆｆｓｅｔ
　　Ｊ_Ｇｘｙ＝Ｅ_ｘｙ＋ｏｆｆｓｅｔ　（１１）
　　Ｊ_Ｂｘｙ＝Ｅ_ｘｙ＋ｏｆｆｓｅｔ

　ここで、ｏｆｆｓｅｔは任意のオフセット値である。この手法によると、第２の画像は白から黒までの濃淡により表されることになる。

　上述の手法は、例示に過ぎない。第２の画像は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める任意の手法によって生成することができる。

　第２の画像を生成するステップ１３０は、画像化ステップ１３４の前に、スムージングステップ１３１を含んでいてもよい。スムージングステップ１３１は、孤立点除去フィルタ適用ステップ１３２及び広げフィルタ適用ステップ１３３の一方又は双方を含んでいる。以下、図４ａ～４ｆを参照して、孤立点除去フィルタ適用ステップ１３２と広げフィルタ適用ステップ１３３について説明する。

　図４ａは、説明のために、エッジ成分を、適当な閾値によって各要素の値の絶対値を二値化することによって画像化した、孤立点４１１及び虫食い４１２を含む画像４１０を示している。図４ａ（及び後述の図４ｂ）において、白い画素は対応する要素の値の絶対値がある閾値以上であることを示し、黒い画素は対応する要素の値の絶対値がある閾値未満であることを示す。なお、本来、孤立点４１１とは、エッジ成分において、周囲の要素の値の絶対値より大きな、好ましくは周囲の要素の値の絶対値に対して著しく大きな絶対値である値を有する要素であり、虫食い４１２とは、周囲の要素の値の絶対値より小さな、好ましくは周囲の要素の値の絶対値に対して著しく小さな絶対値である値を有する要素である。なお、孤立点４１１及び虫食い４１２については、図４ｃにおいて、横軸をエッジ成分のある連続した要素、縦軸をその要素の値とするグラフを用いて、別の表現としても示している。このような孤立点４１１及び虫食い４１２は、第１の画像の性質によって発生することがある。孤立点除去フィルタの適用は孤立点４１１を、広げフィルタの適用は虫食い４１２をそれぞれ除去すること、言い換えると、孤立点４１１及び虫食い４１２である要素の値を周囲の要素の値から求められた値、例えば、周囲の要素の値の中央値、平均値、最大値又は最小値で置き換えることを目的とする。以下に孤立点除去フィルタと広げフィルタの一例について説明するが、上述の目的を達成できるフィルタであれば、任意のフィルタ、例えば突出した値を取り除くことが可能なメディアンフィルタ、を用いることができることは言うまでもない。

　図４ｄは、例示の孤立点除去フィルタのフローチャートである。このフィルタは、まず、エッジ成分において３要素×３要素の連続した領域４５０（図４ｆを参照）を特定するステップ４３１を実行する。ここで、中央要素４５１の値をＥ_ＸＹ、周囲要素４５２の値をＥ_ｘｙ、要素が取り得る最大値をＥ_ｍａｘとおくと、次に、特定された領域４５０の中央要素４５１を除く周囲要素４５２において、Ｅ_ｍａｘと第１の割合との積を閾値として、絶対値が閾値以下となる値Ｅ_ｘｙを有する要素の数を求めるステップ４３２を実行する。ここで、第１の割合は１０％であってよい。更に、求められた要素の数が第１の数以上であるかどうかを判定するステップ４３３を実行する。ここで、第１の数は３であってよい。そして、判定が真であれば、周囲要素４５２の値Ｅ_ｘｙの中央値で、中央要素４５１の値Ｅ_ＸＹを置き換えるステップ４３４を実行する。

　例えば、中央要素４５１の値Ｅ_ＸＹは１００であり、８つの周囲要素４５２の値Ｅ_ｘｙは｛３３，１０，１５，－２０，－５，５，－４２，１２｝であり、最大値Ｅ_ｍａｘ＝２５５であると仮定する。ここで、閾値は２５５×１０％＝２５．５であり、Ｅ_ｘｙの絶対値＝｛３３，１０，１５，２０，５，５，４２，１２｝であり、閾値２５．５以下となるＥ_ｘｙの絶対値は｛１０，１５，２０，５，５，１２｝であるから、値Ｅ_ｘｙの絶対値が閾値以下となる要素の数は６である。よって、求められた要素の数６は第１の数３以上であるから、中央要素４５１は孤立点であると判定され、その値Ｅ_ＸＹ＝１００は７．５（周囲画素４５２の中央値。ここで、周囲画素４５２の数が８であるため、中央に近い２つの値Ｅ_ｘｙ＝｛５，１０｝の算術平均として中央値を求めている）に置き換えられる。

　図４ｅは、例示の広げフィルタのフローチャートである。このフィルタは、まず、エッジ成分において３要素×３要素の連続した領域４５０（図４ｆを参照）を特定するステップ４４１を実行する。ここで、中央要素４５１の値をＥ_ＸＹ、周囲要素４５２の値をＥ_ｘｙ、要素が取り得る最大値をＥ_ｍａｘとおくと、次に、特定された領域４５０の中央要素４５１を除く周囲要素４５２において、Ｅ_ｍａｘと第２の割合との積を閾値として、絶対値が閾値以上となる値Ｅ_ｘｙを有する要素の数を求めるステップ４４２を実行する。ここで、第２の割合は１０％であってよい。更に、求められた要素の数が第２の数以上であるかどうかを判定するステップ４４３を実行する。ここで、第２の数は５であってよい。そして、判定が真であれば、周囲要素４５２の値Ｅ_ｘｙの中央値で、中央要素４５１の値Ｅ_ＸＹを置き換えるステップ４４４を実行する。広げフィルタに対する具体例は、孤立点除去フィルタに対するものと類似するため、省略する。

　スムージングステップ１３１が孤立点除去フィルタ適用ステップ１３２及び広げフィルタ適用ステップ１３３の双方を含む場合、これらステップはどちらを先に実行してもよいが、経験的には、孤立点除去フィルタ適用ステップ１３２を先に実行した方が好ましい結果が得られるようである。なお、上述した第１の割合と第２の割合とは異なっていてもよいし、また、第１の数と第２の数は同じであってもよい。

　本方法は、表示画像生成ステップ１４０を含むことができる。表示画像生成ステップ１４０は、画像合成ステップ１４２を含む。図５ａ及び５ｂには、合成後の画像と対比する目的で、それぞれ原画像（グレースケールで表現したため、実質的に第１の画像を示したものに相当する）及び第２の画像を示した。図５ｃは、原画像と第２の画像とを重ね合わせるように合成することにより生成された表示画像を示している。

　重ね合わせ後の画像のある画素の色は、当該色を特定する値（例えば、当該色のＲ、Ｇ及びＢの値のそれぞれ、又は、Ｒ、Ｇ及びＢの値が２４ビットカラー値や３２ビットカラー値等１つの値として格納されている場合にはその値）を以下の式により計算することによって求めることができる。
　　Ｃ_ｏｕｔ＝αＣ_ｉｎ１＋βＣ_ｉｎ２
　　　　（αは０≦α≦１なる実数、βは０≦β≦１なる実数）　（１２）

　ここで、Ｃ_ｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃ_ｉｎ１及びＣ_ｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である。

　重みα及びβは、ユーザが任意に指定することができる。例えば、α＝０．５、β＝１のとき、重ね合わせ後の画像において、第２の画像は原画像よりも強調して現れることになる。また、一般的に、原画像の各画素の色を特定する値は正の値をとることが前提となっているが、第２の画像の各画素の色を特定する値は、第２の画像の生成の際に用いる上述した関数によっては、正負両方の値をとり得ることがある。そのような場合に、例えば、白とび（画素の色を特定する値が表現しうる最大の明るさ以上の明るさを有するものを撮影したために、ある画素の色を特定する値がその値のとり得る最大値となってしまうこと）が生じている原画像と第２の画像とをα＝１、β＝１として重ね合わせると、原画像における白飛びした画素の色を特定する値が第２の画像における負の値である対応する画素の色を特定する値によって減算され、重ね合わせ後の画像においてエッジを表す画素の確認ができるようになることがある。なお、β＝１－αの関係を満たす場合、式（１２）は一般的なアルファブレンディングの式を表すことになる。

　表示画像は、原画像の一部を第２の画像で置き換えるように合成することにより生成することもできる。ここで、置き換えるべき部分の位置やサイズは、ユーザが任意に指定することができる。なお、画像の部分置き換えと重ね合わせとを同時に行うように合成することも可能である。図５ｄは、画像の部分置き換えと重ね合わせとを同時に行い、原画像と第２の画像との一部５１１を重ね合わせることにより生成された表示画像５１０を示している。

　第２の画像の画像化に用いる関数を変えることにより、合成後の画像の表現を調整することができる。図５ｅは、図５ａに示された原画像と、第２の画像とを重ね合わせるように合成することにより生成された表示画像を示しているが、図５ｅにおける第２の画像は、図５ｃにおける第２の画像（図５ｂに示された第２の画像）を生成した関数とは異なる関数を用いて、図５ａに示された原画像から画像化されたものである。図５ｅにおける第２の画像の生成に用いた関数は、図５ｃにおける第２の画像の生成に用いた関数に対して、ＲＧＢ各色の値にオフセットを更に加えるように構成されたものであり、より明るい第２の画像を生成可能である。図５ｆは、画像の部分置き換えを更に行った場合の図５ｅに対応する。

　表示画像生成ステップ１４０は、原画像の色調整を行うステップ１４１を含むことができる。このステップにより、合成前に原画像の色調整を行うことができ、例えば、色調整によって原画像のコントラストを下げることにより、エッジを表す画素がより目立つ表示画像を生成できる場合がある。

　そして、本方法は、表示手段、例えばカメラのファインダーやモニタに、第２の画像に基づく画像を出力するステップ１５０に進む。ここで、第２の画像に基づく画像とは、本方法が表示画像生成ステップ１４０を含む場合には生成された表示画像であり、含まない場合には第２の画像そのものである。

　以上、フォーカス評価を補助するための方法について説明してきた。フォーカスは、一般的に、撮影中にカメラ等のフォーカスリングを動かしながら評価される。フォーカスリングを動かすと、カメラのフォーカスは変化し、原画像も変化する。従って、入力される第１の画像は変化するため、表示のために用いられる第２の画像は更新されなければならない。従って、本方法が含むステップは、第１の画像の新たな入力に応答して、繰り返される。

　次に、本発明の一実施形態である、フォーカス評価を補助するための装置について説明する。

　図６ａは、フォーカス評価を補助するための装置のブロック図である。なお、このブロック図に示された構成はあくまで一例であり、以下で説明される幾つかの手段は必須ではない。なお、この図において、第１の画像、エッジ成分、第２の画像、色調整前の原画像及び色調整前の原画像に関連して示されたグラフは、説明のために、各手段の出力がどのようなものなのかを示すグラフである。これらグラフの横軸及び縦軸は、第１の画像、第２の画像、色調整前の原画像及び色調整後の原画像については、ある連続した画素及び画素から求まる輝度値を、エッジ成分については、ある連続した要素及び要素の値を、それぞれ表している。

　本装置は、第１の画像生成手段６１０を備えている。この手段は、原画像から第１の画像を生成するための手段である。

　本装置は、エッジ成分生成手段６２０を備えている。この手段は、エッジ成分生成ステップ１２０を実行する。従って、エッジ生成手段６２０は、少なくとも、第１の画像に含まれる空間周波数成分から少なくとも直流成分を除去できればよいが、本実施形態では、２次元ハイパスフィルタ適用ステップを実行する２次元ハイパスフィルタ手段６２１を備えることにより実現している。代替として、図６ｂに関して後述するように、２つの１次元ハイパスフィルタ手段６２４ａ及び６２４ｂを備えることにより実現することもできる。また、第１の画像から、第１の画像にローパスフィルタを適用したものを減算する手段を備えることによっても実現することができる。エッジ成分生成手段６２０は、更に、非線形処理ステップ１２２及び増幅／リミッタ適用ステップ１２３をそれぞれ実行する非線形処理手段６２２及び増幅／リミッタ手段６２３の一方又は双方を備えていてもよい。

　エッジ生成手段６２０は、フィルタ用バッファ手段６２４を備えている。フィルタ用バッファ手段６２４は、少なくとも、２次元ハイパスフィルタ手段６２１で一度に用いるデータ、例えば、第１の画像の連続した３画素×３画素（２次元ハイパスフィルタ手段６２１におけるフィルタの大きさに対応）を表すデータを一時的に格納し、２次元ハイパスフィルタ手段６２１に出力する手段である。なお、第１の画像の横方向の画素数をｗとおくと、フィルタ用バッファ手段６２４は、処理の効率を考え、一度に第１の画像の連続したｗ画素×３画素（２次元ハイパスフィルタ手段６２１の縦方向の大きさに対応）を表すデータを一時的に格納してもよい。

　図６ｂに示されるように、エッジ成分生成手段６２０は、２次元ハイパスフィルタ手段６２１の代わりに、ラインに垂直な方向の１次元ハイパスフィルタ手段６２１ａ及びラインに平行なサンプル方向の１次元ハイパスフィルタ手段６２１ｂを備えることができる。１次元ハイパスフィルタ手段６２１ａ及び６２１ｂは、それぞれ１次元ハイパスフィルタ適用ステップ１２１ａ及び１２１ｂを実行する。この図において示されているように、エッジ成分生成手段６２０は、ラインに垂直な方向及びラインに平行なサンプル方向の非線形処理手段６２２ａ及び６２２ｂ並びに増幅／リミッタ適用手段６２３ａ及び６２３ｂの少なくとも１つを備えることができる。これら手段は、第１エッジ成分Ｅ_Ｌｘｙ及び第２エッジ成分Ｅ_Ｓｘｙに対して非線形処理ステップ１２２及び増幅／リミッタ適用ステップ１２３を実行する（それぞれ、ステップ１２２ａ及び１２２ｂ並びにステップ１２３ａ及び１２３ｂを実行する）ものである。

　２つの１次元ハイパスフィルタ手段を用いる場合、エッジ生成手段６２０は、ラインバッファ手段６２４ａ、サンプルバッファ手段６２４ｂ及びエッジ合成手段６２６を備えている。ラインバッファ手段６２４ａは、第１の画像の１ライン×１次元ハイパスフィルタ手段６２１ａにおけるフィルタの大きさに相当するデータ、例えば、第１の画像の横方向の画素数がｗであり、フィルタの大きさが３である場合、連続したｗ×３画素を表すデータを一時的に格納する。そして、格納したデータから、１次元ハイパスフィルタ６２１ａには、ラインに垂直な方向の連続した画素を表すデータを逐次出力し、サンプルバッファ手段６２４ｂには、１次元ハイパスフィルタ６２１ｂで一度に用いるデータ、例えば、ラインに平行なサンプル方向の連続した３画素（１次元ハイパスフィルタ手段６２１ｂにおけるフィルタの大きさに対応）を逐次出力する。サンプルバッファ手段６２４ｂは、１次元ハイパスフィルタ手段６２１ｂで一度に用いるデータを一時的に格納し、１次元ハイパスフィルタ手段６２１ｂに出力する。また、エッジ成分合成手段６２６は、第１エッジ成分Ｅ_Ｌｘｙ及び第２エッジ成分Ｅ_Ｓｘｙを一時的に格納し、エッジ成分合成ステップ１２４を実行するものである。

　本装置は、第２の画像生成ステップ１３０を実行する第２の画像生成手段６３０を備えている。第２の画像生成手段６３０は、画像化ステップ１３４を実行する画像化手段６３４を備えている。第２の画像生成手段６３０は、更に、スムージングステップ１３１を実行するスムージング手段６３１を備えていてもよい。スムージング手段６３１は、孤立点除去フィルタ適用ステップ１３２及び広げフィルタ適用ステップ１３３をそれぞれ実行する孤立点除去フィルタ手段６３２及び広げフィルタ手段６３３の一方又は双方を備えている。

　本装置は、表示画像生成ステップ１４０を実行する表示画像生成手段６４０を備えることができる。表示画像生成手段６４０は、画像合成ステップ１４２を実行する画像合成手段６４２を備えている。表示画像生成手段６４０は、更に、原画像の色調整を行うステップ１４１を実行する色調整手段６４１を備えていてもよい。

　表示画像生成手段６４０には、原画像と第２の画像とが入力される。そのため、表示画像生成手段６４０は、原画像と第２の画像との入力タイミングが大幅にずれる場合に原画像を画像合成手段６４２（及び、存在する場合には色調整手段６４１）に渡すタイミング遅延させるための遅延調整手段６４３を含んでいる。

　本装置は、第２の画像に基づく画像を図示しない表示手段へと出力するように構成されている。ここで、第２の画像に基づく画像とは、本装置が表示画像生成手段６４０を含む場合には生成された表示画像であり、含まない場合には第２の画像そのものである。

　以上、フォーカス評価を補助するための装置について説明してきた。フォーカス評価を補助するための方法に関して上述したように、フォーカス評価の際には、入力される第１の画像は変化するため、表示のために用いられる第２の画像は更新されなければならない。従って、本装置は、エッジ成分生成手段６２０への第１の画像の新たな入力に応答して、少なくとも、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成される。

　本発明は、フォーカス評価を補助するためのプログラムとしても実施可能である。そのようなプログラムは、コンピュータを、上述したフォーカスを評価するための装置として機能させるものである。

　ここで「コンピュータ」とは、ハードウェア資源である演算・制御装置と、記憶装置と、入力装置と、出力装置とのうちの１以上を備えたシステムのことである。演算・制御装置はＣＰＵ及びＭＰＵ等を含む。記憶装置は、メモリ、ハードディスク及びＳＳＤ等を含む。入力装置は、チップのピン、マウス、キーボード、タッチパネル及びネットワーク・インターフェース等を含む。出力装置は、チップのピン、ネットワーク・インターフェース、ディスプレイ、プリンタ及びスピーカ等を含む。ＦＰＧＡやマイクロコンピュータ等を使用して、演算・制御装置と記憶装置と入力装置と出力装置とのうちの２以上を物理的に１つのものとすることもできる。これらハードウェア資源である演算・制御装置、記憶装置、入力装置及び出力装置のうちの１以上と、ソフトウェアであるプログラムとが協働して、本発明を実施することができることは、当業者には明らかであろう。

　以上、本発明の複数の実施形態について説明してきた。しかしながら、これら実施形態は本発明の例示に過ぎないことに注意されたい。本発明は、特許請求の範囲によってのみ特定され、上述の実施形態に対して様々な変形、修正、削除及び代替をした実施形態をも含んでいる。

Claims

　装置であって、
　第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、
　エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段と
を備え、第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成された装置。
　請求項１に記載の装置であって、エッジ成分生成手段は、エッジ成分の各要素の値に対して非線形処理を行う手段を備え、非線形処理後のエッジ成分の要素の値は、非線形処理前のエッジ成分の要素の値を入力とする非線形関数の出力である、装置。
　請求項１に記載の装置であって、エッジ成分生成手段は、第１の画像に２次元ハイパスフィルタを適用して、第１の画像における空間周波数成分から少なくとも直流成分を除去する手段を備えた、装置。
　請求項１に記載の装置であって、エッジ成分生成手段は、第１の画像に対する第１方向１次元ハイパスフィルタ手段と、第１の画像に対する第２方向１次元ハイパスフィルタ手段と、第１方向１次元ハイパスフィルタ手段の出力と第２方向１次元ハイパスフィルタ手段の出力とを合成する手段とを備えた、装置。
　請求項１に記載の装置であって、エッジ成分生成手段は、エッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更する手段、及び、エッジ成分の要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更する手段の一方又は双方を備えた、装置。
　請求項１に記載の装置であって、エッジ成分生成手段は、エッジ成分において、周囲の要素の値の絶対値より大きな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える孤立点除去フィルタ手段と、エッジ成分において、周囲の要素の値の絶対値より小さな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える広げフィルタ手段との一方または双方を備えた、装置。
　請求項６に記載の装置であって、孤立点除去フィルタ手段は、
　エッジ成分において３要素×３要素の連続した領域を特定し、
　領域の中央の要素を除く要素において、要素がとり得る最大値と第１の割合との積を閾値として、絶対値が閾値以下となる値を有する要素の数を求め、
　求められた要素の数が第１の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換える
ように構成され、広げフィルタ手段は、
　エッジ成分において３要素×３要素の連続した領域を特定し、
　領域の中央の要素を除く要素において、要素がとり得る最大値と第２の割合との積を閾値として、絶対値が閾値以上となる値を有する要素の数を求め、
　求められた要素の数が第２の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換える
ように構成された、装置。
　請求項１の装置であって、第１の画像は原画像から生成され、原画像は複数の画素を含み、第１の画像の各画素の値は、原画像の対応する画素の色から導出され、
　原画像の少なくとも一部を第２の画像で置き換えること、及び、原画像と第２の画像とを重ね合わせることの一方または双方を行うことにより、表示手段へと出力される画像を生成する更なる画像生成手段
を更に備えた装置。
　請求項８に記載の装置であって、画像生成手段は、原画像と第２の画像との重ね合わせを行う場合に、
　　Ｃ_ｏｕｔ＝αＣ_ｉｎ１＋βＣ_ｉｎ２
　　　　　　（αは０≦α≦１なる実数、βは０≦β≦１なる実数）
により重ね合わせ後の画像のある画素の色を求めるよう構成され、ここで、Ｃ_ｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃ_ｉｎ１及びＣ_ｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である、装置。
　請求項８又は９に記載の装置であって、更なる画像生成手段は、原画像を色調整する手段を備えた、装置。
　請求項１から１０の何れか一項に記載の装置としてコンピュータを機能させるプログラム。
　方法であって、
　エッジ成分生成手段により、第１の画像からエッジ成分を生成するステップであって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成ステップと、
　画像生成手段により、エッジ成分から第２の画像を生成するステップであって、第２の画像は複数の画素を含み、該ステップは、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求めるステップを含む、画像生成ステップと、
　画像出力手段により、第２の画像に基づく画像を表示手段へと出力する画像出力ステップと
を含み、第１の画像の新たな入力に応答して、エッジ成分生成ステップ，画像生成ステップ及び画像出力ステップは繰り返される、方法。
　請求項１２に記載の方法であって、エッジ成分生成ステップは、エッジ成分の各要素の値に対して非線形処理を行うステップを含み、非線形処理後のエッジ成分の要素の値は、非線形処理前のエッジ成分の要素の値を入力とする非線形関数の出力である、方法。
　請求項１２に記載の方法であって、エッジ成分生成ステップは、第１の画像に対する２次元ハイパスフィルタ適用ステップを含む、方法。
　請求項１２に記載の方法であって、エッジ成分生成ステップは、第１の画像に対する第１方向１次元ハイパスフィルタ適用ステップと、第１の画像に対する第２方向１次元ハイパスフィルタ適用ステップと、第１方向１次元ハイパスフィルタ適用ステップ及び第２方向１次元ハイパスフィルタ適用ステップにより得られた出力を合成するステップとを含む、方法。
　請求項１２に記載の方法であって、エッジ成分生成ステップは、エッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更するステップ、及び、エッジ成分の要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更するステップの一方又は双方を含む、方法。
　請求項１２に記載の方法であって、エッジ成分生成ステップは、エッジ成分において、周囲の要素の値の絶対値より大きな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える孤立点除去フィルタ適用ステップと、エッジ成分において、周囲の要素の値の絶対値より小さな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える広げフィルタ適用ステップとの一方または双方を含む、方法。
　請求項１７に記載の方法であって、孤立点除去フィルタ適用ステップは、
　エッジ成分において３要素×３要素の連続した領域を特定するステップと、
　領域の中央の要素を除く要素において、要素がとり得る最大値と第１の割合との積を閾値として、絶対値が閾値以下となる値を有する要素の数を求めるステップと、
　求められた要素の数が第１の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるステップと
を含み、広げフィルタ適用ステップは、
　エッジ成分において３要素×３要素の連続した領域を特定するステップと、
　領域の中央の要素を除く要素において、要素がとり得る最大値を引いた値と第２の割合との積を閾値として、絶対値が閾値以上となる値を有する要素の数を求めるステップと、
　求められた要素の数が第２の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるステップと
を含む、方法。
　請求項１２に記載の方法であって、第１の画像は原画像から生成され、原画像は複数の画素を含み、第１の画像の各画素の値は、原画像の対応する画素の色から導出され、
　更なる画像生成手段により、原画像の少なくとも一部を第２の画像で置き換えること、及び、原画像と第２の画像とを重ね合わせることの一方または双方を行うことにより、表示手段へと出力される画像を生成する更なる画像生成ステップを更に含む方法。
　請求項１９に記載の方法であって、更なる画像生成ステップは、原画像と第２の画像との重ね合わせを行う場合に、更なる画像生成手段により、
　　Ｃ_ｏｕｔ＝αＣ_ｉｎ１＋βＣ_ｉｎ２
　　　　　（αは０≦α≦１なる実数、βは０≦β≦１なる実数）
により重ね合わせ後の画像のある画素の色を求めるステップを含み、ここで、Ｃ_ｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃ_ｉｎ１及びＣ_ｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である、方法。
　請求項１９又は２０に記載の方法であって、更なる画像生成ステップは、更に、原画像を色調整するステップを含む、方法。