JPWO2011061940A1 - 画像処理方法および画像処理装置 - Google Patents

Abstract

画像処理装置は、第１画像において、画素値が所定しきい値以上の画素領域である飽和領域と当該飽和領域を少なくとも部分的に囲む隣接領域とを含む、拡大領域を検出する鏡面反射検出器（１１１０）と、鏡面反射検出器（１１１０）において検出された拡大領域のうちの少なくとも隣接領域に含まれる画素の画素値を、第２画像における拡大領域の対応位置の画素の画素値または当該対応位置の隣接画素の画素値を用いて置換する置換部（１１３０）とを含む。

Description

本発明は、画素値が飽和している領域または偽色が生じている領域を補正する画像処理方法および画像処理装置に関する。

撮像の様々な用途において、鏡面反射という影響により、撮像画像内にグレアスポット（輝点）が生じる可能性がある。このような輝点により撮像場面の構成が分からなくなってしまい、撮像画像の視認性は低下する。

このような撮像画像中の輝点は、画素値として考えると、値が飽和している。例えば、グレースケール画像の各画素を８ビットで表現する場合、画素値としては０〜２５５の値を取ることが可能であるが、輝点では２５５またはそれに近い値となっている。

撮像処理中に、撮像する場面から反射した光をセンサがとらえる。一般に、「光」という用語は必ずしも可視範囲の光をさすとは限らず、どんな電磁波でもかまわない。「鏡面反射」という用語は、通常、光の大部分が撮像された被写体の表面で原則的に同じ方向へ反射される、原則的に同じ方向からやってくる光の反射のことをさす。「反射」という用語は、波が表面に入射する角度とその波が表面で反射する角度とが等しい、異なる２つの物質の境界面における光線の波面方向の変化をさす。鏡面反射が生じるかどうかは、被写体の表面の性質と被写体の表面に対する光源の特性および位置に左右される。具体的には、光を広範囲に反射する、濡れた表面などの光沢のある物質は、撮像時に、グレアスポットの起因となる可能性がある。特に点状の光源の場合、光沢面にあたる強い光線が同じ方向に反射し、このような状況で撮像した画像に極度の輝点を生じさせる可能性がある。

鏡面反射が撮像画像の質を低下させるという例は多くある。例えば、鏡面反射の影響は、太陽光を反射する水面上で見られる場合がある。光沢紙に印刷されたドキュメントを撮影する場合、または、眼鏡をかけた顔や窓や鏡などのガラス面を撮影する場合にも鏡面反射は起こる。この鏡面反射の好ましくない結果は、輝点により塞がれた部分の情報が失われることである。このような情報の欠如により、この撮像画像を見ている人は不快に感じる場合もある。また、鏡面反射は、ドキュメント撮影などの用途における重大な問題を引き起こしかねない。具体的には、撮影されたドキュメントのテキストまたは図が鏡面反射によって塞がれてしまい、撮影されたドキュメントが不完全になる可能性がある。

また鏡面反射と同様な状況は、明るい箇所と暗い箇所とが混在する場面を撮影した際にも生じる。例えば、室内から室内の風景と窓の外の風景との両方が写るように撮影する場合、窓の外は室内と比べて非常に明るいため、窓の外を写した部分の画素値が飽和する。

鏡面反射が重大な問題につながりかねない分野は、医用画像分野である。よく知られる医用画像用途の１つは、内視鏡検査である。「内視鏡検査」という用語は、医学的理由のために体内領域を撮影することをさす。内視鏡検査の結果、つまり、撮像画像および／またはビデオシーケンスは、診断および手術をサポートするために用いられる。内視鏡検査は、通常、標準フレキシブルチューブと、見る対象の体内領域を照らす光源と、所望の領域を撮像するカメラなどの検出器とからなる内視鏡を用いて行われる。通常、光は、内視鏡に接続されている体外の光源から光ファイバを介して体内にもたらされる。内視鏡検査で撮像された画像は、鏡面反射の影響を特に受けやすい。これは、主に濡れているため高反射面である内視鏡の被写体が原因となる一方で、他方では、体内を照らす光源は点状であるという特徴を有するため、光線は、原則的に同一方向から表面を照らし、また、これとは別の原則的に同一方向に反射されることになるというのもその一因である。

内視鏡検査中に鏡面反射の結果生じる輝点は、画質を著しく低下させる。特に、過飽和の輝点領域には画像情報がないため、撮像画像の診断中に医師が異常を見落とす可能性もある。そして、通常、内視鏡は、撮像された被写体に対して相対的に動く。これは、内視鏡自身の起こりうるランダムなまたは制御された動き、および／または、例えば、患者の呼吸サイクルや心拍による撮像場面の動きが原因となる。この恒常的な動きに対応して、鏡面反射によって生じる輝点も動く。内視鏡検査装置のディスプレイ上で動く輝点は、診断および手術中に医師の邪魔となり、特に内視鏡を用いて行われる手術の場合には医師の注意をそらすかもしれない。

鏡面反射を補正するため、特許文献１には、子宮頸癌検出用の装置内に２つの光源を用いることを開示している。鏡面反射により生じる輝点は、光源によって画像内の異なる位置に生じる。よって、別個の光源を用いて撮像した画像を組み合わせることによって輝点が取り除かれる。

特許文献２は、別々に置かれた複数のカメラによる画像を組み合わせることによって撮影ドキュメントの鏡面反射を低減することに関するものである。

米国特許第６，０８８，６１２号 米国特許公開第２００８／０１６５２６６号

これらの先行技術の解決策における欠点の１つは、光源および光検出器が２倍になるため、このような装置にかかる費用および複雑性が増加することである。先行技術の解決策では、２つの光源または光検出器の位置が既知であるという前提がある。ゆえに、鏡面反射補正も、撮像システムに特有のものであり、その他のシステムで撮像された画像に適用することはできない。

本発明は、上述した課題に対処し、鏡面反射等の画素値が飽和している飽和領域の影響を効率的に低減することができる画像処理方法等を提供することを目的とする。

このことは、独立クレームに記載したような特徴により実現される。

好ましい実施の形態は従属クレームの主題である。

参照画像と鏡面反射領域周辺の画像領域とのマッチングに基づいて参照画像の鏡面反射領域の位置を推定することにより置換画像領域を決定する、参照画像の画像領域で対象画像の鏡面反射領域部分を少なくとも置き換える手法は、本発明に特有の手法である。

本発明の様態によると、画像処理方法は、第１画像において、画素値が所定しきい値以上の画素領域である飽和領域と当該飽和領域を少なくとも部分的に囲む隣接領域とを含む、拡大領域を検出する検出ステップと、前記検出ステップにおいて検出された前記拡大領域のうちの少なくとも前記隣接領域に含まれる画素の画素値を、第２画像における前記拡大領域の対応位置の画素の画素値または当該対応位置の隣接画素の画素値を用いて置換する置換ステップとを含む。

好ましくは、上述の画像処理方法は、さらに、前記検出ステップにおいて検出された前記拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を前記第２画像から探索することにより、前記拡大領域の前記第２画像における対応位置を推定する推定ステップを含み、前記置換ステップでは、前記検出ステップにおいて検出された前記拡大領域のうちの少なくとも前記隣接領域に含まれる画素の画素値を、前記推定ステップにおいて推定された前記拡大領域の前記第２画像における対応位置の画素の画素値で置換する。

本発明のその他の様態によると、画像処理装置は、第１画像において、画素値が所定しきい値以上の画素領域である飽和領域と当該飽和領域を少なくとも部分的に囲む隣接領域とを含む、拡大領域を検出する検出部と、前記検出部において検出された前記拡大領域のうちの少なくとも前記隣接領域に含まれる画素の画素値を、第２画像における前記拡大領域の対応位置の画素の画素値または当該対応位置の隣接画素の画素値を用いて置換する置換部とを含む。

ここで、「鏡面反射領域」という用語は、平面上の光の反射によって生じる、カメラにより撮像された画像内の輝点の領域を指している。「鏡面反射領域」は、飽和領域の一態様である。

第１画像および第２画像は、異なる時点で撮像された画像からなるビデオシーケンスの一部分であっても構わない。また、同じ時点で複数のカメラにより撮像された複数の画像でもよい。本発明は、本質的に同じ場面または被写体を撮像している画像セットに適用できる。例えば、ステレオカメラで撮られたビデオシーケンスなど、時間的および空間的に異なる画像を組み合わせてもよい。なお、第１画像および第２画像は同一の画像であってもよい。

前記推定ステップにより、第１画像において、検出された鏡面反射領域（拡大領域）を少なくとも部分的に囲んでいる画像領域として周辺領域を決定し、第２画像において、その周辺領域にマッチングし、かつ、第１画像の鏡面反射画像領域（拡大領域）を置き換えるのに適した画像領域を探索することが好ましい。この適合性は所定の基準で評価しても構わない。マッチングの後に、探索された画像領域の中から、鏡面反射画像領域（拡大領域）を置き換えるのにもっともよい候補が選択される。周辺領域は、検出された鏡面反射領域（拡大領域）の境界または境界の一部分などでもよい。その境界は、１以上の画素厚でもよく、矩形、三角形、六角形、または他の形など予め定義した幾何構造で一致するように選択しても構わない。また、例えば、鏡面反射画像領域（拡大領域）の形のコピーであって、予め定義した画素厚の境界からなる形を用いても構わない。

前記所定の基準は、具体的に、探索された画像領域の飽和画素量、探索された画像領域の平均輝度、探索された画像領域の空間情報量、探索された画像領域のノイズ量、探索された画像領域と検出された周辺領域との間の遷移領域の滑らかさ、または、第１画像と第２画像との時間距離もしくは第１画像の視点と第２画像の視点との間の射影距離（例えば、マルチビュー設定時の基線距離）という基準のうち少なくとも１つを含むことが好ましい。これらの基準は、対象画像の鏡面反射（拡大領域）を置き換える任意の参照画像として最も適した候補を選択するため、個別に用いても組み合わせて用いても構わない。空間情報とは、一般的に、画像のエッジ（構成）量のことを指し、探索された画像領域の分散手法もしくはエッジ検出手法または同様の方法により検出してもよい。この空間情報量は、周波数情報、構成量、および／またはテクスチャ量に相当するので、周波数情報、構成量、および／またはテクスチャ量として表現および／または評価することができる。鏡面反射（拡大領域）の相対的な動きや周辺領域の動きなど、置換領域の適合性に対してその他の基準を用いても構わない。

本発明の画像処理方法を適用して、有利に、対象画像（第１画像）において１以上の鏡面反射領域（拡大領域）をできる限り検出し、検出された各鏡面反射領域（拡大領域）に対して推定ステップおよび置換ステップも行うことができる。さらに、この推定ステップは、ビデオシーケンスの画像または複数のカメラで撮られた画像などの複数の参照画像（第２画像）に対して繰り返し行われることが好ましい。

前記鏡面反射画像領域（飽和領域）の検出は、第１画像における飽和画素を検出することにより行われることが好ましい。具体的には、第１画像の各画素を飽和または非飽和に分類することにより行っても構わない。画素値が予め定められた閾値を超えている場合、その画素は飽和に分類され、超えていない場合には非飽和に分類される。さらに、その検出は、飽和画素に分類された隣接画素をグループ化することによって１つまたは複数の鏡面反射画像領域（飽和領域）を特定するステップを含む。さらに、このグループ化ステップは、非飽和に分類された画素であっても、これが既定数の飽和に分類された画素で囲まれている場合は、飽和に分類された画素グループに含めるステップを備えてもよい。これにより、より圧縮して連続した鏡面反射領域（飽和領域）の検出が可能になる。さらに、特定された鏡面反射領域（飽和領域）を、鏡面反射境界近くで起こり得るコロナ状のアーチファクト（偽色領域）もカバーするために、拡大しても構わない。拡大化は、例えば、拡張の形態画像操作またはその他同様の操作／フィルタリングにより行ってもよい。例えば、境界を自動的に１または数画素拡張しても構わない。

前記鏡面反射の置換は、第１画像における鏡面反射画像領域を置き換える置換領域を置換領域候補セットの中から選択するステップと、選択された置換領域の輝度を第１画像の輝度に適合させるステップと、適合化した置換領域で鏡面反射画像領域を置き換えるステップとを備えることが好ましい。具体的には、候補セットは、異なる参照画像から最もよい置換候補を複数含んでもよい。輝度適合とは別に、対象画像と置換領域との間の遷移領域の平滑化を行っても構わない。

本発明は、鏡面反射が起こり得る撮像用途に適用できる。この用途は、スチル／ビデオカメラでの撮影、顕微鏡を用いた撮影、内視鏡検査などの医用画像、ドキュメントの撮影などでもよい。

本発明のさらなる他の様態によると、撮像対象の被写体を照らす少なくとも１つの光源と、照らされた被写体の複数の画像を撮像する少なくとも１つのカメラと、撮像対象の被写体近くにカメラの光学部分を少なくとも１つ位置付ける内視鏡と、撮像した複数の画像における鏡面反射を検出して低減する上述したような鏡面反射補正装置とを備える、内視鏡検査を行うシステムを提供する。前記内視鏡検査システムは、さらに、補正された画像を出力する出力部を備える。ここで、出力部は、ディスプレイまたは記憶装置でもよい。カメラの光学部分とは、光がカメラセンサに入る手段のことを指す。カメラセンサを内視鏡の前面に設置しても構わない。あるいは、光ファイバで光をカメラセンサに送ってもよい。

またさらに、本発明の他の様態によると、本発明を実行するように構成されたコンピュータ読み取り可能プログラムコードを実装したコンピュータ読み取り可能媒体を備えるコンピュータプログラム製品を提供する。

本発明によると、鏡面反射等の画素値が飽和している飽和領域の影響を効率的に低減することができる。

図１は、鏡面反射が起こった内視鏡画像例の写真である（出典：Ｗｉｋｉｐｅｄｉａ、ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｆｉｌｅ：Ａｍ＿ｕｌｃｅｒ．ｇｉｆ）。 図２は、本発明に係る、鏡面反射の低減方法のフロー図である。 図３は、本発明の実施の形態１に係る、画像の鏡面反射領域を検出する方法例のフロー図である。 図４は、本発明の実施の形態１に係る、変位推定を示す模式図である。 図５は、本発明の鏡面反射低減に適用可能な変位推定方法例のフロー図である。 図６は、鏡面反射領域を置き換える方法例のフロー図である。 図７は、本発明の実施の形態１に係る、鏡面反射領域の置き換えを示す模式図である。 図８は、（ｉ）参照画像における置換領域と（ｉｉ）対象領域における置換対象の鏡面反射周辺の領域との間の遷移領域を示す模式図である。 図９は、輝度補正を行う例を示す模式図である。 図１０は、鏡面反射領域を置き換える画像領域とその隣接領域との間の遷移領域の平滑化に適用される重み関数の例を示す模式図である。 図１１は、本発明に係る、鏡面反射補正装置の機能ブロックを示すブロック図である。 図１２は、本発明で用いる内視鏡検査システムを示す模式図である。 図１３は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１４は、本発明の実施の形態２に係る画像処理装置が実行する処理のフローチャートである。 図１５は、偽色領域の検出方法について説明するための図である。 図１６は、偽色領域の境界位置の決定方法について説明するための図である。 図１７は、第１画像に対する処理を説明するための図である。 図１８は、偽色領域の画素値補間処理について説明するための図である。 図１９は、偽色領域の補正処理の処理結果について説明するための図である。 図２０は、偽色領域の補正処理の他の処理結果について説明するための図である。 図２１は、第２画像に対する処理を説明するための図である。 図２２は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 図２３は、本発明の実施の形態３に係る画像処理装置が実行する処理のフローチャートである。 図２４は、第２画像の選択方法について説明するための図である。 図２５は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。 図２６は、本発明の実施の形態４に係る画像処理装置が実行する処理のフローチャートである。 図２７は、第２画像の選択方法について説明するための図である。

（実施の形態１）
図１は、内視鏡検査装置（内視鏡）を用いて撮像した画像１００の例である。画像１００で分かるように、領域１１０、１２０および１３０の部分といった、やや小さめの飽和画像領域が鏡面反射により形成される。このため、鏡面反射の位置では有効な情報が存在しない。

図２は、本発明に係る、撮像されたビデオシーケンスにおいて鏡面反射を検出および低減する方法のフロー図である。本発明の鏡面反射低減方法では、まず、撮像画像内の鏡面反射領域を検出する（Ｓ３００）。次のＳ５００において、撮像画像内の鏡面反射によりカバーされた画像領域に対応する領域をその他の画像または複数の画像から探索する。そして最後に、撮像画像内の鏡面反射を単体あるいは複数の画像からの情報で置き換える（Ｓ７００）。ここで、探索対象となる画像は、鏡面反射領域を検出した画像のフレームに対して時間的に前または後ろにある他のフレームの画像である。

図３は、本発明の実施の形態に従った、鏡面反射画像領域検出処理（Ｓ３００）である。

通常、鏡面反射の影響は、図１に示された領域１１０、１２０および１３０など飽和画素値の領域として画像内に現れるという知見に基づき、鏡面反射領域が検出される。このように、本発明の実施の形態に従って、まず、飽和画素が検出される（Ｓ３１０）。Ｓ３２０において、飽和していると特定された隣接画素を結合して鏡面反射領域を形成する。この領域は、今後、本書面においてσと表される。飽和画素の検出処理（Ｓ３１０）を、各画素値と所定の第１閾値との比較により行ってもよい。ゆえに、第１閾値以上の値の画素は、飽和に分類される。ここで、「画素」という用語は、任意の色空間における画像画素値を指している。鏡面反射の検出は、ＹＵＶまたはＹＣｂＣｒのような色空間の輝度チャネルなど単一の色チャネルにおいて行われてもよい。しかしながら、より多くの色チャネルを用いて飽和画素を検出すれば、よりよい結果に達する可能性があるので、その代わりとして、ＲＧＢ色空間のＲ、Ｇ、Ｂといった色成分画像の平均値を求めて得た平均画像において検出を行っても構わない。また、画像の各画素値を閾値化することにより、１が飽和に分類された画素を表し、０がそれ以外の画素を表す（または、その逆も同じ）、二値画像を得てもよい。輝度画像のコピーを格納するのに比べ、このような二値画像を格納するのに必要なメモリは少なくて済み、かつ、単純であるため、このような二値画像をさらに処理することは利点となり得る。

画像の画素を飽和または非飽和に分類した後に、飽和画像領域を特定する。このような飽和画像領域の特定は、飽和に分類された画素を単に結合することによって行われてもよい。できる限り連続した飽和領域を得るために、様々なルールが提供される。例えば、飽和に分類された画素が少なくともｋ個周囲にある場合は、非飽和に分類された画素を飽和領域σに付け加えても構わない。ここで、ｋは、範囲［１，８］のうちの整数値である。飽和に分類された画素で少なくとも３方向から囲まれている非飽和画素のみ含むためには、ｋは５より大きいことが好ましい。あるいは、飽和とすでに特定された隣接画素が少なくとも１つ（または、他の数）存在し、かつ、第２の閾値より大きな値を有する画素も飽和と特定するため、飽和画素を検出するＳ３１０において、第１の閾値より小さい第２の閾値を提供することも有益かもしれない。第２の閾値を提供すると、たとえ鏡面反射領域のテクスチャにわずかに暗い画素が存在したとしても、連続した鏡面反射領域を検出することができる。

また、鏡面反射領域の境界周辺では歪んだ画像ピクチャが存在し、ア―チファクトのようなコロナを形成する可能性もある。したがって、これらの周囲を検出された鏡面反射領域に含めることは有益であろう。これは、例えば、Ｓで表された対応する拡大した鏡面反射領域になる形態拡張操作（Ｓ３３０）を適用することによって行っても構わない。形態拡張操作は、画像の画素にその隣接領域の画素の最大値を割り当てる。通常、隣接領域とは、左右の画素、または、上下の画素と定義される。しかしながら、当該隣接領域は適宜定義され、より多くの近接画素、つまり、場合により８個全ての近接画素を含んでも構わない。

一般的に、全ての飽和画像が必ずしも鏡面反射から生じるというわけではない。例えば、内視鏡画像の場合、人体の脂肪は白色のため、鏡面反射と間違われるであろう。画像またはビデオシーケンスの白いものは何でも鏡面反射領域として誤って検出されるかもしれない。また、光源に近いものも過飽和と思われるかもしれない。画像内のこのような領域は補正する必要がなく、コンピュータの処理能力を無駄に費やすことはないので、このような領域を本当の鏡面反射と区別することが好ましい。しかしながら、本発明の変位推定および置換は、通常、候補を選択する条件および閾値を上手く設計すれば、誤った鏡面反射領域を置換することにはならない。画像の白い領域と本当の鏡面反射から生じた飽和領域とを区別するため、鏡面反射の動きの特徴を考慮してもよい。具体的には、場面に動きがある場合、鏡面反射は、通例、背景の手前で動く。動きが多少小さくて、隣接フレームのデータで反射を完全に補正できなかったとしても、その動きを検出することができる。鏡面反射とは対照的に、画像のコンテンツに属する白い領域は背景の手前で動かない。この種の動きを検出することにより、鏡面反射と白い領域とを区別する効率的な方法が可能になる。領域が鏡面反射領域へ確実に分類された（白い画像領域と区別された）時点で、その領域は時間的に追跡可能となるので、フレームごとに分類を繰り返す必要はない。

鏡面反射領域以外の飽和画像領域のその他の例は、テキスト、タイムスタンプ、ロゴなどの画像／ビデオの重ね合わせである。この重ねあわせに白色領域が含まれる場合、この領域が鏡面反射として誤って検出されるかもしれない。しかしながら、重ね合わせには特定の特徴がいくつかあり、本当の鏡面反射領域と区別するために用いられる。また、これらの特徴のいくつかは、画像の一般的な白い領域にも当てはまる。例えば、重ね合わせにおける白の画素数は、通常、鏡面反射の画素数よりかなり多い。また、重ね合わせは、鏡面反射と異なり、場面の動きに対して完全に独立している。このことを、上述したとおり、画像の白い領域を鏡面反射か画像コンテンツかへ確実に分類するために用いてもよい。この分類では、分類が行われた画像の次の（または、前の）画像において鏡面反射を追跡することができる。さらに、重ねあわせは、通常、特徴的な形状をしている。例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）のような画像の文字検出を適用して重ね合わせのタイプと鏡面反射と区別することができる。

検出されてできる限り拡大された飽和領域Ｓは、本発明の当該実施の形態を実装するシステムのデータフローに応じて、さらにそのまま処理しても（変位推定処理（Ｓ５００）および置換処理（Ｓ７００）を参照のこと）、または、今後の処理のためにバッファへ格納しても構わない。

図４（ａ）は、鏡面反射領域をこれから検出する撮像画像４００を示している。鏡面反射領域４１０は、飽和画素の検出処理（Ｓ３１０）および飽和領域の特定処理（Ｓ３２０）を行った後に取得した飽和領域σに対応する。

図４（ｂ）は、拡張操作（Ｓ３３０）により得られた拡大した鏡面反射領域４２０（拡大した鏡面反射領域Ｓ）を有する同じ撮像画像４００を示している。図４（ａ）および図４（ｂ）には、検出された鏡面反射領域４１０および結果として生じる拡大した鏡面反射領域４２０を１つのみ示している。しかしながら、通常、単一画像には、検出された後に順次または同時に処理される複数の鏡面反射が含まれる。なお、請求の範囲においては、拡大した鏡面反射領域４２０から鏡面反射領域４１０を除いた領域を隣接領域と定義している。

鏡面反射領域４２０が特定されるとすぐに、これらの領域および／または撮像画像４００内におけるこれらの領域の位置を格納する。具体的には、検出された鏡面反射領域は、撮像画像４００の画素全てを表し、かつ、どの鏡面反射領域にも属さない画素に対する２進値と鏡面反射領域に属する画素に対するもう一方の２進値とを有するビットマップ形式で格納されても構わない。または、撮像画像４００内の位置ならびに鏡面反射領域の形状および／またはサイズを格納してもよい。しかしながら、鏡面反射領域の特定を可能にするその他の情報を用いて同様に格納してもよい。

図５は、本発明に係る、変位推定処理（Ｓ５００）のフロー図である。Ｓ３００の処理により撮像画像の検出された鏡面反射領域ごとに変位推定は行われる（Ｓ５００）。変位推定では、検出された鏡面反射領域で塞がれた画像箇所に対応する、異なるフレームの画像領域を探索する。このことを容易にするため、任意の鏡面反射領域４２０に対し、この鏡面反射領域４２０より大きく、かつ、この鏡面反射領域４２０を十分に含む画像領域である被覆領域４３０を定義する。この被覆領域４３０は、

で表され、ブロック形状や三角形など他の幾何学形状をしている。検出された鏡面反射領域４２０を包含する矩形形状の被覆領域４３０を、図４（ｃ）に示す。しかしながら、本発明は、これらの形式の被覆領域４３０に制限されるものではない。一般的に、被覆領域４３０は、例えば、検出された鏡面反射領域の輪郭をコピーして所定の画素数の厚さを有する形状などの不定の形状でもよい。

図４（ｄ）は、周辺領域４４０を示している。この周辺領域は、Ｄで表され、鏡面反射領域４２０を含まない被覆領域４３０として得られる。周辺領域は、以下のように定義される。

言い換えると、周辺領域Ｄは、検出され拡大された鏡面反射領域Ｓ周辺の画素を表しており、被覆領域

に合致する。

鏡面反射領域４２０の周辺領域４４０を決定した後に（Ｓ５１０）、可能であれば、Ｓ５２０において参照画像（フレーム）を読み込む。参照フレームとは、現在の撮像画像（鏡面反射領域４１０を検出した画像）以外のフレームのことである。そして、撮像画像から切り取った周辺領域４４０に対し、最も適合するものを読み込まれた参照画像から探索する（Ｓ５３０）。

最も適合するものの探索処理（Ｓ５３０）は、現在多くのビデオ圧縮アルゴリズムの動き検出に対して行われるブロックマッチング手法と同様に行っても構わない。具体的には、周辺領域４４０が撮像画像において発生し、その撮像画像からその周辺領域４４０が参照画像と同様に切り出されると仮定する。内視鏡検査の診断または手術は、通例、内視鏡のフレキシブルアームが到達可能な人体の特定部位およびその近辺を対象にしたものであるため、この仮定は内視鏡検査画像にも通常当てはまる。また、この仮定は、場面が速く変化することのない自然なビデオシーケンスに対しても通常有効である。変位推定処理（Ｓ５００）の目的は、同じ場面に関する複数の画像から選択された参照画像から最も適合する領域を見つけることであり、この最も適合する領域は、鏡面反射置換の対象画像である撮像画像における鏡面反射の周辺領域４４０に最も適合する領域である。マッチング領域は、動き検出の手法で見つけても構わない。例えば光学フローに基づくなど、どんな手法で動き検出を行っても構わない。このような方法の例を、非特許文献：Ｎ．Ｐａｒａｇｉｏｓら（編者）の「Ｍａｔｈｅｍａｔｉｃａｌ Ｍｏｄｅｌｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：Ｔｈｅ Ｈａｎｄｂｏｏｋ」、第１５章、Ｄ．Ｊ．Ｆｌｅｅｔ、Ｙ．Ｗｅｉｓｓらの「Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｅｓｔｉｍａｔｉｏｎ」第２３９-２５８頁、Ｓｐｒｉｎｇｅｒ ２００５、ＩＳＢＮ０３８７２６３７１３からいくつか知ることができる。また、輝度差の２乗和もしくは輝度差の絶対値の総和を最小にすること、または、正規化相互相関を最大にすることによって行っても構わない。このことを容易にするため、参照画像では探索領域を定義し、その探索領域において鏡面反射の周辺領域を探索する。探索領域は、撮像画像内の鏡面反射位置に対応する位置を取り囲むことが好ましい。探索領域のサイズは、固定でも参照フレーム（参照画像）と対象フレーム（対象画像、撮影画像）との間の動き量に適応するものでもよい。通常、探索領域は、参照画像全域で形成される。しかしながら、位置推定に必要な計算の複雑性を削減するため、限定された探索領域はより有効である。最も適合するものを見つけるために、撮像画像の鏡面反射の周辺領域を参照画像においてシフトし、参照画像の重なり部分のコンテンツとその鏡面反射の周辺領域とをピクセル単位で比較する。マッチングを数値化するため、例えば、画素に関する差分の絶対値の総和に基づく類似性尺度が用いられる。実際、輝度差の絶対値の総和（ＳＡＤ）は相違性尺度である。比較したものの類似性が高いほど、差の絶対値の総和は小さくなる。類似性および相違性のその他の尺度を同様に用いても構わない。例えば、平均２乗誤差、随意に重み付けられた様々なノルム、相関係数、または、比較領域間の類似性（相違性）レベルを表現するその他の尺度などがある。そして、周辺領域４４０に最も適合するものが得られるシフト位置を、撮像画像の鏡面反射に対する置換候補として用いる。最も適合するものが見つかった後、最もマッチングする領域に関する情報を候補セットに格納する（Ｓ５４０）。

平均２乗誤差および輝度差の絶対値の総和は、動き検出を用いる周知のコーデックにおけるブロックマッチングに対して一般的に用いられる尺度である。しかしながら、いくつかの用途に対しては、ジャギーのある（ぎざぎざした）エッジにペナルティを科すことができるメトリック（測定基準）は有益である。これは、例えば、以下の加重和のように、ラプラスフィルタを適用した画像上で平均２乗誤差を算出し、その結果を平均２乗誤差基準と組み合わせることなどにより実現可能である。

ここで、ｈはハイパスフィルタのインパルス応答を表し、γは重みパラメータである。Ｄ´は周辺領域Ｄと比較した領域を表し、＊は畳み込み演算を表す。この例におけるハイパスフィルタはラプラスフィルタである。しかしながら、その他のハイパスフィルタも同様に適用可能である。ぎざぎざしたエッジの問題は、例えば、エイリアシングまたはインターレース走査により引き起こされる可能性がある。

通常、画像のエッジは実画像情報を持っている。この場合は、画像またはビデオカメラで撮像された典型的な場面および被写体が大多数なので、一般的に、エッジは連続的であると予想される。したがって、ジャギング（ぎざぎざしたエッジ）はアーチファクトとして困らせる（悪影響を与える）だけでなく、撮像情報までも歪曲してしまう。具体的には、内視鏡検査の画像で最も重要な構造は一般的に血管であり、これを撮像画像または画像列において主要なエッジとして際立たせることがあり得る。また、撮像テキストだけでなく、市街地のパノラマまたは幾何学的なテクスチャの被写体など細かく構成された場面を撮像した場合にも、これらのエッジは最も重要な情報を持っている。したがって、変位推定中にエッジの滑らかさを評価しておくことは重要である。ここで、エッジの滑らかさとは、エッジに沿った方向の滑らかさ、つまり、エッジの連続性を指している。

変位推定のロバスト性を向上するため、閾値δを定義してもよい。参照画像のマッチング領域Ｄ´に対する鏡面反射領域の周辺領域Ｄの検出変位が閾値δより大きい場合、つまり、ｄ（Ｄ，Ｄ´）＞δの場合は、このような変位は無効とみなされ、変位補正を考慮する必要はない。

数フレームでマッチング画像領域の探索を繰り返すと、鏡面反射を補正するのに用いる領域候補セットが得られる。

撮像されている被写体の動きに応じて、また、撮像対象の被写体とカメラと光源との相互位置関係に応じて、鏡面反射は連続的に動く可能性がある。ゆえに、鏡面反射領域がその周辺領域まで移動し、参照領域Ｄ´の一部分になる可能性もある。このような場合、Ｄ´の鏡面反射部分は、誤差メトリック計算から除かれなければならない。鏡面反射画像領域が参照画像においても検出された場合は、これが可能である。たとえ鏡面反射がマッチング周辺領域Ｄ´の一部分になったとしても、対応する置換領域Ｓ´は、対象画像の鏡面反射画像領域を少なくとも部分的に補正するのに適した候補のままと考えられる。

例えば、内視鏡検査画像の場合、撮像被写体は繰り返しパターンを有する。また、これは、その他の画像、例えば、晶質構造、顕微鏡画像、（波打っている水面などの）渦巻いて波状の被写体、または基本的に規則的なパターンのある被写体などの他の画像の場合でも当てはまる。ゆえに、鏡面反射は、ある種の繰り返しパターンでも起こり得る。このような場合、最も適合するものの探索において曖昧な結果がもたらされる可能性がある。例えば、類似しているが対応する鏡面反射領域ではない画像において、鏡面反射領域は適合するかもしれない。例えば、対象画像に３つの鏡面反射領域Ａ、Ｂ、Ｃが含まれ、それぞれは領域Ａ´、Ｂ´、Ｃ´として参照画像で見つかると仮定する。撮像した被写体とカメラと光源とは相互に動くため、対象画像の鏡面反射領域Ａに対し、参照画像の領域Ａ´よりも領域Ｂ´のほうが最もマッチングする領域として決定されるであろう。この種の曖昧さを防ぐため、可能な解決策は、ピクチャの繰り返し部分間の距離であるパターン周期よりも小さくなるように変位推定の探索領域サイズを制限することである。しかしながら、こうすると変位推定の質も低下する。

もう１つの方法として、この問題を防ぐため、同じフレーム内で最も適合するものを探索して繰り返しパターンを検出しても構わない。そして、検出されたパターンを参照画像の対応パターンと適合させ、曖昧さの問題を解決しても構わない。置換の正確性が重要な用途の場合は、対象画像と参照画像の両方のパターンを考慮しながら対象画像の鏡面反射領域を参照画像の鏡面反射領域と一致させることによって、変位推定のロバスト性を改善してもよい。

一方、知覚画質が置換の正確性より重要であれば、同じフレーム内で最も適合するものを見つけることによっても置換候補を得ることができる。このような場合、対象画像の鏡面反射領域を同じ対象画像内で見つけた置換領域で（少なくとも部分的に）置き換える。例えば、適した候補が他の画像にない場合には、このような置換を用いてもよい。しかしながら、これは、細部にこだわらない用途に対してのみ可能である。例えば、この手法を用いて、手術中に内視鏡検査画像内の鏡面反射領域を置き換えてもよい。ここでは、鏡面反射が邪魔であるため、細部を次の画像で更新することができる。しかしながら、診断目的で行う内視鏡検査撮影へこのような方法を応用するには適していない。また、この手法を用いて、例えば、プレビューや視聴を対象にした自然な画像の質を改善してもよい。しかしながら、この方法は、観察用途またはテキスト部分の置換には適していない。

特定の表面に対し、鏡面反射は、鏡面反射パターンが特殊になる場合がある。例えば、（波のような）周期的な構造の表面には鏡面反射があり、周期的に途切れている。つまり、途切れのある鏡面反射領域σが存在する（ρ⊂σ）。鏡面反射は動くため、相補的途切れ領域ρが鏡面反射で塞がれたり、途切れ領域の相補的部分Ｃρが見えたりするであろう。このような場合は、たとえ鏡面反射の動きがかなり小さかったとしても、鏡面反射を完全に補正してもよい。

変位推定処理（Ｓ５００）は、複数の画像の領域であって、Ｓ５１０で決定された鏡面反射の周辺領域に最もマッチングする領域の候補セットを供給している。候補セットが有効になった時点で、対象画像の鏡面反射領域は、候補セットに存在する領域の単体または組み合わせに置き換えられてもよい。

図６は、変位推定処理（Ｓ５００）の結果を用いて、Ｓ３００で検出された鏡面反射領域を置き換える処理（Ｓ７００）のフロー図である。第１ステップ（Ｓ７１０）として、鏡面反射を置き換える画像領域候補の適合性を評価し、最もよい候補（または、複数の候補）を選択する（Ｓ７２０）。必要であれば、参照画像からの置換領域と対象画像の周辺領域との間の遷移領域を平滑化する（Ｓ７３０）。そして、対象画像の鏡面反射領域は、適合化した最もよい置換領域（または複数の置換領域）に置き換えられる（Ｓ７４０）。

図７は、撮像（対象）画像の鏡面反射領域を参照画像の適した領域（置換領域）で置き換える手順を概略的に示している。参照画像６００の鏡面反射の周辺領域Ｄ´（周辺領域６１０）は、候補セットのうち対象画像の周辺領域Ｄに最もマッチングするとして特定されている。したがって、被覆領域

（被覆領域６３０）を特定する。この被覆領域６３０は、鏡面反射の周辺領域６１０とこの領域で囲まれた全ての画素を含む。被覆領域６３０はＤ´の凸包として定義され、以下のように表される。

被覆領域６３０を見つけた後、対象画像の鏡面反射領域を置き換えるためにさらに用いる参照領域（置換領域）Ｓ´を切り抜いても構わない。

通常、対象画像の鏡面反射領域を置き換えるため、まず、候補の適合性を評価する（Ｓ７１０）。単体または複数の参照画像の領域（置換領域）

による鏡面反射領域Ｓ（拡大した鏡面反射領域４２０）の置き換えに最もよい候補の決定、つまり、いくつかの基準を個別にまたは組み合わせて考慮してもよい。このような基準の例を以下に示す。

通例、鏡面反射は多くの連続フレームにおいて発生する。したがって、できる限り鏡面反射を含まないように、置換に最もよい参照領域を選択しなければならない。例えば、置換領域Ｓ´候補の飽和画素数をカウントしてもよい。もしカウント数が０であれば、参照領域（置換領域）Ｓ´を基準として用いることができる。しかしながら、飽和画素数が０でない場合でも、少なくとも置換領域の部分は使用できるかもしれない。最もよい領域候補を選択するために、飽和画素数が最も小さい領域Ｓ´を選択しても構わない。残りの飽和画素は、例えば、他の領域候補の画素に置き換えられても、空間的に補間されてもよい。

最もよい候補を、最もよい画像構造をもつものとして選択してもよい。このように候補を選択することで、鏡面反射に対応する撮像画像の細部の大部分を正常な状態に戻すことができる。置換領域Ｓ´候補の分散を、Ｓ´における構成量の尺度としても構わない。そして、鏡面反射領域Ｓを補正する領域として、分散が最大である領域候補を選択する。

さらに、Ｓ´の（平均）輝度を評価してもよい。参照画像からの置換領域Ｓ´の平均輝度が対象画像の鏡面反射領域の周辺領域Ｄの平均輝度と類似している場合、つまり、｜μ（Ｓ´）−μ（Ｄ）｜＜δである場合は、鏡面反射を補正する領域としてＳ´を選択する。いくつかの候補がこの基準を満たす場合は、Ｓに時間的に最も近い候補を選択する。しかしながら、この基準は全ての状況に適するわけではない。例えば、１点で静止していたカメラが動きによるブレ（被写体ブレ）となるような高速の動きをした後、同じ点までゆっくり戻るとする。このような場合は、代わりに、Ｓに空間的に最も近い候補を選択してもよい。例えば、これは、マルチビューカメラ設定において、鏡面反射のある画像を撮っているカメラから最も近い距離にあるカメラで撮った領域の可能性がある。また、周辺領域と鏡面反射領域との相対的な動きベクトルが最も小さい領域かもしれない。

また、最もよい候補として、置換領域の周辺領域Ｄ´と対象画像の周辺領域Ｄとの輝度差（つまり、｜μ（Ｄ）−μ（Ｄ´）｜）が最も小さい置換領域を選択しても、参照画像の周辺領域Ｄ´が対象画像の周辺領域Ｄに最も適合する候補、つまり

を選択してもよい。

鏡面反射の置き換えに最もよい領域候補を見つけるさらなる基準として、ノイズ量を用いてもよい。異なる参照画像における異なる置換領域候補Ｓ´のノイズを測定して比較しても構わない。このことは、自動ゲイン制御（ＡＧＣ）が有効である場合、特に、好ましい。自動ゲイン制御は、複数の画像における異なる画像（フレーム）、例えば、同じビデオシーケンスの輝度を自動的に調整できるメカニズムである。通常、画像はそれぞれ輝度が異なるため、このようなメカニズムは有益である。撮像した後で、かつ、本発明の鏡面反射領域補正を適用する前に、自動ゲイン制御をリアルタイムで行ってもよい。しかしながら、このような自動ゲイン制御の後では、異なるフレームの領域候補は、輝度が同じであってもノイズレベルは異なるかもしれない。これは、自動ゲイン制御が原因となって、異なる明るさでも同じ輝度が生成されるからである。最も正確な置換候補を選択するために、ノイズ量が最も小さい候補を選択することができる。

通常、輝度が増すとノイズも増加するため、鏡面反射補正の前に自動ゲイン制御がない場合は、今後の後処理において輝度が増すことを防ぐため、より暗い参照領域よりもより明るい参照領域を選ぶほうがよいかもしれない。

最もよい候補を選択するその他の基準は、対象画像の鏡面反射領域Ｓを置換する参照領域（置換領域）Ｓ´と周辺領域Ｄとの間の遷移領域の滑らかさでもよい。図８は、鏡面反射領域の置換領域８２０と周辺領域８１０とを含む画像８００を図示している。参照画像からの置換領域８２０と対象画像の鏡面反射領域の周辺領域８１０との間の滑らかさを、参照画像からの置換領域部分と対象画像の置換対象である鏡面反射領域の隣接領域部分とを含む遷移領域Ｔ（遷移領域８５０）にハイパスフィルタにかけることにより評価しても構わない。最もよい候補として、フィルタをかけられた遷移領域における遷移エネルギーが最も小さい参照領域（置換領域）Ｓ´を選択してもよい。これは、例えば、図８に示すような輝度の変化またはぎざぎざしたエッジ８３０が原因となる人工的な飛越しができる限りない領域を選択することに相当する。

さらに、または、代わりに、鏡面反射領域Ｓの変位ベクトルおよび周辺領域Ｄの変位ベクトルを算出かつ比較してもよい。変位ベクトルは、ある画像から別の画像への領域の変位量を示しており、言い換えると、対象画像の領域の位置と参照画像の対応（マッチング）領域の位置との距離を測ったものである。例えば、鏡面反射領域の（二値画像表示における）バイナリ変位探索によって変位ベクトルを取得してもよい。こうすることにより、必要とされるコンピュータの処理能力を削減することができる。鏡面反射領域の変位とその周辺領域の変位との差が鏡面反射領域の半径より大きい場合、鏡面反射領域はおそらく見えるようになり、鏡面反射補正に有利に用いることができる。利用可能な複数の画像いずれかにおいて鏡面反射領域が十分に見えていない場合は、少なくとも部分的に鏡面反射を補正できるよう最も大きな変位差がある画像を選択しても構わない。残りの画素は、空間的に補間しても、その他の参照画像から置き換えてもよい。つまり、それぞれが鏡面反射領域の異なる部分を覆ういくつかの参照領域によって鏡面反射領域を補正してもよい。例えば、光源が変化した場合の連続フレームにおいては、鏡面反射が探索領域外に移動したり、または、完全に消えたりすることも起こり得る。このような場合は、変位ベクトルの長さを最長に設定して、鏡面反射を対応画像領域により十分に補正することができる。

対象画像の鏡面反射領域Ｓの周辺領域と参照画像のマッチング周辺領域との間の時間的距離が大きい場合は、最もよい候補を評価するために、副条件として、ペナルティを科しても構わない。これにより、置換条件を更新し続けることができ、また、的外れな撮像画像／ビデオシーケンスを最もよい置換として選択することはない。

マッチング基準を満たしている、塞がれていない鏡面反射領域の置換領域が参照フレームに見つかるとすぐに、その置換領域を利用して現在の（対象）フレームの鏡面反射領域を置き換える。

置換領域をその新たな隣接領域に適応させるため、前処理メカニズムを用いてもよい。具体的には、エッジの方向と滑らかさを維持しながら、参照フレームから切り出された置換領域と対象（現在の）フレームにおけるその新たな隣接領域との間の遷移領域をできる限り滑らかにできれば好ましい。起こり得る回転を補正するために、例えば、アフィン変換を適用してもよい。

たとえ最も適合するものを選択する基準として輝度差が考慮されたとしても、置換領域の輝度は、鏡面反射領域の周辺領域の輝度とかなりわずかな差しかないかもしれない。この問題は、例えば、一定の輝度値を加える、または、双線形輝度関数を加えることにより置換領域の輝度を周辺領域に適応させることによって克服できるかもしれない。輝度差の補正例を図９に図示する。図９は、鏡面反射領域９２０のある対象画像９１０と、対応する置換鏡面反射領域９４０のある参照画像９３０とを示している。輝度補正は、例えば、対象画像の画素９１１および９１５ならびに参照画像の画素９３１および９３５の輝度を測定することによって行っても構わない。これらの画素は、対象画像の鏡面反射の被覆領域と参照画像の塞がれていない置換領域との境界の外側（図に示した）または内側でも構わない。対象画像９１０の破線矢印は、鏡面反射の被覆領域の輝度の空間的変化を表している。参照画像９３０の実線矢印は、対応する鏡面反射置換領域の輝度の空間的変化を表している。グラフ９５０は、測定した画素、ならびに、対象画像の破線矢印および参照画像の実線矢印に対応する破線の関係を示すライン９５１および実線の関係を示すライン９５２を示している。ライン９５１および９５２は測定した画素に基づいて補間してもよく、これらの補間した値に基づき、置換領域の画素全てに対して輝度補正を行っても構わない。

参照フレームからの置換領域と対象フレームの置換対象である鏡面反射の周辺領域との一体化を改善するその他の可能性はフィルタリングである。例えば、起こり得るサブピクセルの変位、ノイズ、および／または、動きによるブレを補正するために、最適化フィルタリングを用いてもよい。例えば、ウィーナーフィルタとしてフィルタを設計し、対応するウィーナーフィルタ係数を算出することにより、最適化フィルタリングを行ってもよい。具体的には、ウィーナーフィルタ係数ベクトルｗを、連立一次方程式Ｃ＝Ａｗの解として算出する。ここで、Ａは、鏡面反射領域の周辺領域Ｄの自己相関を表し、Ｃは対象の周辺領域Ｄと参照周辺領域Ｄ´との相互相関を表している。

さらに、または、代わりに、置換領域とその周辺領域との間の急激な遷移を防ぐために重み関数を適用してもよい。図１０は、参照画像からの置換領域の被覆領域

または置換領域に適用される重み関数１０３０と、対象画像の被覆領域

または周辺領域に適用される重み関数１０２０とを示している。重み関数１０２０および１０３０の横軸は画像における一方向（例えば、ｘ方向）の位置を示しており、縦軸は重みの値を示している。この図における囲まれた範囲１０１０は、幅が１０４０である鏡面反射領域σを表している。幅１０５０は、拡大した鏡面反射領域Ｓの幅を表し、幅１０６０は、鏡面反射領域の隣接領域を含む被覆領域

の幅を表している。この例では、重み関数は区分的線形関数（区分に分けた場合に各区分で線形となる関数）である。しかしながら、二乗余弦などの平滑化関数、または、その他の重み関数を同様に用いても構わない。

時間的に隣接する参照フレームによって鏡面反射が部分的にのみ補正されるということも起こり得る。このような場合、その他のフレームからの画像領域が、鏡面反射領域の残りの部分をカバーしてもよい。

本発明に係る鏡面反射補正は、通常、別の単一または複数の画像からの情報を持つ第１画像における鏡面反射の補正に基づく。ゆえに、このようなメカニズムは、ピクチャ間鏡面反射補正と呼ぶことができる。このメカニズムは、時間的補正メカニズムとして適用可能である。つまり、本質的に同じ被写体を撮像する画像列（ビデオシーケンス）における鏡面反射を検出かつ低減するために適用することができる。さらに、本発明は、異なるカメラで同時に撮った複数の画像における鏡面反射を検出かつ低減するためにも適用することができる。この２つの用途を組み合わせても構わない。例えば、ステレオカメラが一連の画像を撮ってもよい。同時に撮られた画像と対象画像の前後で撮られた画像との両方における鏡面反射を低減するために用いてもよい。

最近では、ステレオカメラは、映画制作者だけでなく一般人でも利用できるようになっている。さらに、ステレオカメラを内視鏡に設置してもよい。このような場合は、鏡面反射をかなり容易に補正することができる。なぜなら、同じ場面の異なる視点が２つ必ず存在するからである。また、通例、２つの撮像画像に対応する２つの視点間の構造は既知である。ステレオカメラにより提供された２つの視点を利用して、鏡面反射の運動特性に基づき、鏡面反射と画像内のその他の白い領域とを区別しても構わない。さらに、光源に対するカメラの相対的な位置が既知であれば、鏡面反射を利用して表面配向を決定することができる。一方、光源の位置が不明であれば、光源の位置を予測するために、奥行きと表面配向を推定しても構わない。光源の予測位置が全ての鏡面反射に対して同じ場合は、飽和領域が本当の鏡面反射を表すと思われる。

ある用途および状況においては、ピクチャ間鏡面反射補正をピクチャ内（空間的）鏡面反射補正と組み合わせることも有益かもしれない。空間的鏡面反射補正とは、鏡面反射領域の空間的補間などである。この補間は、（重み付けされた）線形、三次元、方向（エッジ依存）、または、その他の補間として行われても構わない。補間対象の画像の特性に応じて補間タイプを選択してもよい。このような空間的鏡面反射補正では、鏡面反射領域周辺の画素を用いて補間した画像で鏡面反射領域を置き換える。また、ピクチャ内鏡面反射補正とピクチャ間鏡面反射補正とを組み合わせてもよい。ピクチャ間補間とピクチャ内補正との切替は、鏡面反射の完全補正を目的とした用途に有益であり、これらは補間情報の真実性に重要なものではない。

特に、ピクチャ間鏡面反射領域補正から空間的補間への切替は、対象画像の鏡面反射領域を置き換えるのに利用可能な複数の参照画像から適切な参照領域（置換候補）が見つからない場合に有益かもしれない。また、空間的補間への切替は、鏡面反射領域の位置が多数のフレームにおいて変化しない期間で有利かもしれない。このような場合、所定の期間内で適切な置換領域をみつけることは到底できない。さらに、鏡面反射の画素数がかなり少ない場合、つまり、重要な細部を失うリスクも低い場合には、空間的補間への切替を適用してもよい。小さな空間的反射領域とは、数画素をカバーする領域などである。この文脈において、「小さい」と分類される厳密な尺度は、用途、重要性のある被写体について予想される最小サイズ、および解像度に応じて決められる。ピクチャ間補正からピクチャ内補正への切替が有益と考えられる上述の例の場合が、自動切替のきっかけとなるかもしれない。その他の場合も同様に考えてよい。さらに、または、その代わりに、空間的補間は、ユーザがオンオフを切り替え可能なオプションであってもよい。

上述の鏡面反射補正手法は、複数の撮像画像に対し、それらを撮像した方法に関係なく、かつ、画像撮像システムに関する情報がなくても、有効であろう。例えば、複数の撮像画像はビデオシーケンスの異なる画像でもよい。さらに、または、その代わりに、複数の撮像画像は、本質的に同じ場面／被写体を同時に撮影することによって撮像された画像でもよい。しかしながら、ビデオシーケンスの場合は、各フレームを個別に処理すると、そのビデオシーケンスの時間的滑らかさが乱れてしまう可能性もある。例えば、いくつかのビデオフレームで鏡面反射領域を検出かつ補正する一方で、その他のフレームでは補正に失敗して鏡面反射がまだ存在する場合があるかもしれない。これは、見て分かるちらつき感の原因になる。最悪の場合には、このような補正後の画質が補正しない画質よりも悪くなるであろう。また、隣接するビデオフレームにおいて、鏡面反射領域を削減するために異なる参照領域を選択した可能性があるか、もしくは、ビデオフレームによってわずかに異なる変位推定および／または置換処理を行ったのであろう。これもまた、見て分かるわずかなちらつき感となるであろう。例えば、隣接フレームには、変位補正（ピクチャ間）を用いて一度補正され、それとは別に空間的補間（ピクチャ内）で補正された、同じ鏡面反射領域が存在するかもしれない。

時間的滑らかさを改善するために、時間的画像シーケンスの知識を用いてもよい。例えば、各鏡面反射を時間で（フレームからフレームへ）追跡してもよい。そうすれば、少なくとも最小数の連続フレームの補正に対して同じ方法を適用することが保証されるであろう。最小数のフレームに同じ方法を適用できない場合は、ちらつきを防ぐため、補正を自動的に停止してもよい。例えば、時間的補正をいくつかのフレームに適用できない場合は、これらのフレームを空間的に補間してもよい。また、空間的補間もいくつかのフレームに適用できない場合は、鏡面反射補正を停止してもよい。ある方法が適用されるであろうフレームの最小数を予め定義しておいてもよい。通常、その最小数は、ちらつきの影響を防ぐよう表示フレームレートに関して選択されるであろう。例えば、フレームの表示時間が数秒に相当するようにフレームの最小数を設定しても構わない。

ビデオカメラで撮像したビデオシーケンスをインターレース方式にしても構わない。例えば、内視鏡で撮ったシーケンスも、現在は、通例、インターレース方式である。インターレース方式のビデオシーケンスが本発明に係る鏡面反射低減方法または装置への入力である場合、個々の画像フィールドを別個に処理することは有利かもしれない。通常、本発明は、フル解像度へアップサンプリングする前にフィールドに適用することができる。しかしながら、このような場合は、フィールドの縦方向ダウンサンプリングのため、ぎざぎざしたエッジに問題が生じるかもしれない。その代わりとして、フル解像度へアップサンプリングされたフィールドに鏡面反射低減方法を適用してもよい。このような場合の処理は、より計算コストが高くなる。

例えば、濡れた表面からの反射結果として、鏡面反射がよく起きる。濡れた表面および／またはガラス素材から反射された光は通常偏光する。したがって、鏡面反射を防ぐ、または、せめて低減するために、記録（画像撮像）前に偏光フィルタを用いてもよい。偏光フィルタは、例えば、光源の前、または、カメラの前にあってもよい。

さらに、３Ｄ（三次元）表示で用いられるものと類似の偏光板も、鏡面反射を防ぐ、または、低減するために用いることができるであろう。例えば、特許文献：米国特許第７２６５９０２号はこのような３Ｄ表示を開示している。具体的には、米国特許第７２６５９０２号に記載されている技術は、偏光板を用いて左目の視点と右目の視点とを分離している。偏向板は、光を屈折させる。ディスプレイの画素ごとに偏向素子が１つある。左目の画像および右目の画像が奇数の画素および偶数の画素で分けられるとすると、偏向素子は、奇数の画素のみを左目で、偶数の画素のみを右目でそれぞれ見る方法で、光線を制御することができる。本発明に加えて、または、本発明とは関係なく、このような偏向板を用いて、異なるビデオフレームにおける鏡面反射の異なる位置を確かにするために鏡面反射がわずかに動くよう光源の光線角度を制御することが好ましい。その一方で、これは、そのようなフレームを組み合わせることにより鏡面反射の補正を可能にする。

本発明に係る鏡面反射の補正は、オン／オフできることが好ましい。例えば、内視鏡で撮像したリアルタイムビデオに本発明を適用する場合は、たとえ補正が完全に行われたとしても、医師は、補正されたバージョンではなく元の画像データを見たいこともあるだろう。ゆえに、元の画像データはいつでも利用可能、つまり、いつでも補正をオン／オフできるべきである。

図１１は、本発明に係る、鏡面反射補正装置１１００の機能部を示す。装置に入力信号（画像信号１１０１）を入力する。この画像信号１１０１は、ステレオカメラもしくは複数のカメラ（例えば、カメラ配列）などにより、または、異なる時点かつ異なる設定（光条件など）で単一のカメラにより本質的に同じ被写体を撮像した複数の画像でもビデオシーケンスでもよい。鏡面反射補正装置１１００は、鏡面反射検出器１１１０と、変位推定器１１２０と、置換部１１３０とを備える。鏡面反射検出器１１１０は、画像信号１１０１内の鏡面反射を検出する。この検出は、図３で上述したように行ってもよい。その検出結果１１１１は、変位推定器１１２０に送られる。これは、例えば、検出した鏡面反射領域のビットマップでも、検出した鏡面反射領域の位置、形状およびサイズといったその他の指標でもよい。変位推定器１１２０は、例えば、図５で上述したように、利用可能な複数の参照フレームにおいて検出された鏡面反射領域に最も適合するものを探索する。ここで、利用可能な複数の画像とは、例えば、所定数の入力ビデオシーケンスの隣接フレーム（前または後でも）を指している。適切な候補セットを見つけるような目的用途に関し、また、探索の計算の複雑性および複数のフレームをバッファリングする必要メモリに関し、所定数（時間的探索範囲）を前もって設定しても構わない。しかしながら、さらに、または、代わりに、複数のフレームは、ステレオカメラもしくは複数のカメラなどで同じ瞬間に撮ったフレーム、または、本質的に同じ被写体および場面を撮ったその他の画像を含んでもよい。そして、変位推定器の出力１１２１は、置換部１１３０に渡される。この出力は異なる参照フレームからの置換領域候補セットであることが好ましい。置換部１１３０は、変位推定器１１２０が生成した置換領域候補セットのうち最もよい候補またはよりよい候補で対象画像における鏡面反射領域の置換を実際に行う。少なくとも部分的に置換された鏡面反射領域がある画像信号１１３１が装置から出力される。

図１２に、本発明に係る装置を用いるシステムの例を示す。これは内視鏡検査を行うシステムである。フレキシブルアーム１２１０は内視鏡本体１２５０に接続されている。光源１２２０は、光ファイバ１２２５を介して内視鏡本体に送られ、そしてフレキシブルアーム１２１０内の光ファイバを通じて内視鏡検査の被写体に送られる光を生成する。キセノンランプまたはＬＥＤなどにより生成される光を伝送する光ファイバで光を放出してもよい。しかしながら、光源は、フレキシブルアーム１２１０の先端１２１５に設置しても構わない（例えば、１以上のＬＥＤで光を放出してもよい）。フレキシブルアーム１２１０に医療器具を導入してもよく、その場合、その器具は、フレキシブルアームを通ってインターフェース１２５１経由で内視鏡検査の対象物に到達できる。水および吸引用に、コネクタ１２５２および１２５３を用いてもよい。カメラセンサは内視鏡の前面に設置することが好ましい。あるいは、カメラセンサは、内視鏡本体１２５０内部に設置しても、外部から接続してもよい。内視鏡の具体的な構成は、その目的用途次第である。本発明は、内視鏡のタイプおよび構造に限定されるものではなく、また、ソースが分からない撮像画像にも有効である。さらに、本発明は、内視鏡検査撮像により生成した鏡面反射に限定されるものではなく、どんな撮像画像の鏡面反射も低減できる。この例におけるカメラセンサは鏡面反射補正器に接続される。この鏡面反射補正器は多機能処理デバイス１２８０の一部であってもよい。鏡面反射補正で処理された内視鏡検査画像は、最終的に表示デバイス１２７０に表示され、かつ／または、多機能処理デバイス１２８０の記憶装置もしくは外部の記憶装置に格納される。内視鏡検査において、光源は、必ずしも内視鏡に直接取り付けなくともよい。例えば、腹腔鏡検査では、カメラを含む内視鏡とは関係ない腹腔内に挿入された光源があってもよい。このような場合は、場面に動きはないけれども光源は動いていることが起こり得る。このように、動き補正なしで隣接フレームにより鏡面反射を補正してもよい。

本実施の形態によると、画像における鏡面反射の影響を低減する方法および装置を提供することができる。つまり、対象画像の鏡面反射領域を検出し、検出した鏡面反射領域の周辺領域と、参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。また、検出した鏡面反射領域を、単一または複数の参照画像からの置換領域で置き換える。

なお、本実施の形態では、鏡面反射領域を置換する例について説明したが、置換の対象となる画像領域は鏡面反射領域に限定されるものではない。つまり、画素値が飽和している領域を置換するようにしてもよい。

（実施の形態２）
実施の形態１では、鏡面反射領域を置換の対象としていたが、実施の形態２では、画素値が飽和している画像領域である飽和領域と、飽和領域の周辺に位置する偽色領域とを置換の対象とする。偽色領域とは、画素値が飽和していることによりその周辺に青色の偽色が発生している領域のことである。

なお、以下の説明では、実施の形態１と異なる点を中心に説明し、同様の処理についてはその説明を適宜省略する。

実施の形態２が処理対象とする画像はＲＧＢ成分、ＹＵＶ成分またはＹＣｂＣｒ成分からなるカラー画像であるとする。

図１３は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。

実施の形態２に係る画像処理装置は、飽和領域検出部２５０１と、偽色領域検出部２５０２と、偽色補正部２５０３と、変位推定器２５０４と、置換部２５０５とを含む。

飽和領域検出部２５０１は、第１画像（対象画像）から画素値が飽和している画素領域（飽和領域）を検出する。なお、飽和画素は、とり得る最大の画素値を有する画素のみならず、所定しきい値以上の画素値を有する画素を飽和画素としてもよい。

偽色領域検出部２５０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する。

偽色補正部２５０３は、第１画像において、偽色領域に隣接する複数画素を用いて偽色領域に含まれる画素の青色成分（Ｂ成分、Ｕ成分またはＣｂ成分）の画素値を補間する。

変位推定器２５０４は、飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像（参照画像）から探索することにより、拡大領域の第２画像における対応位置を推定する。なお、第２画像は第１画像とは異なるフレームにおける画像である。

置換部２５０５は、飽和領域検出部２５０１により検出された飽和領域に含まれる画素の画素値を、変位推定器２５０４により推定された拡大領域の第２画像における対応位置の画素の画素値で置換する。

以下、画像処理装置が行う処理を、具体例を示しながら説明する。

図１４は、本発明の実施の形態２に係る画像処理装置が実行する処理のフローチャートである。

飽和領域検出部２５０１は、第１画像から画素値が飽和している画素領域である飽和領域を検出する（Ｓ２００１）。つまり、飽和領域検出部２５０１は、第１画像に含まれる画素のうち、取りうる最大の画素値を有する画素または所定しきい値以上の画素値を有する画素を飽和画素に分類し、飽和画素に分類された画素同士をグループ化することにより飽和領域を特定する。つまり、飽和領域検出部２５０１は、図３に示したＳ３１０およびＳ３２０と同様の処理を行なうことにより、飽和領域を検出する。

偽色領域検出部２５０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する（Ｓ２００２）。

図１５を参照して、偽色領域の検出方法について詳細に説明する。

図１５（ａ）に示すように、第１画像１３００の飽和領域１３０１の周囲には、本来、青色ではないにもかかわらず青色成分の画素値が大きくなり、青く見える偽色領域１３０２が生じているものとする。偽色領域検出部２５０２は、図１５（ｂ）に示すように飽和領域１３０１の中心を中心とする円１３０４を放射状に区切った複数の領域を第１画像１３００上に設定する。飽和領域１３０１の中心は、例えば、飽和領域１３０１の重心位置でも良い。図１５（ｃ）に示すように、偽色領域検出部２５０２は、各領域１３０５について、中心１３０３から放射方向１３０６（飽和領域１３０１の境界から遠ざかる方向）に向かって、各画素の青色成分の画素値を追跡する。偽色領域検出部２５０２は、青色成分の画素値を追跡した場合に、当該画素値が極大になった後に、当該画素値が所定値以下となる位置を偽色領域１３０２の境界位置と決定することにより、偽色領域１３０２を決定する。図１５（ｄ）は、決定された偽色領域１３０２の境界位置１３０７の一例を示している。

図１６は、偽色領域の境界位置の決定方法について説明するための図である。この図は、横軸が第１画像における一次元の画素位置を示しており、縦軸が画素値を示している。例えば、横軸は、第１画像１３００における飽和領域１３０１の中心１３０３を通る半径方向を示している。図１６に示すように、横軸の中心位置付近に飽和領域があり、飽和領域の周囲に偽色領域がある。さらに、偽色領域の周囲に周辺領域がある。実線で示されるように輝度成分１７１１の画素値は、飽和領域において飽和している。また、青色成分に対応するＣｂ成分１７１２（青色成分Ｂから輝度成分Ｙを引いた色差成分）は、飽和領域においては青色成分Ｂおよび輝度成分Ｙが飽和しているため０または０に近い値となる。さらに、偽色領域においては、青色の偽色が生じているためＣｂ成分１７１２の画素値が大きくなっている。偽色領域検出部２５０２は、飽和領域の境界から外側に向かってＣｂ成分１７１２の画素値を追跡する。偽色領域検出部２５０２は、Ｃｂ成分１７１２の画素値の極大値１７０３Ａまたは１７０３Ｂを検出する。その後に、偽色領域検出部２５０２は、Ｃｂ成分１７１２の画素値が所定値以下となる画素値１７０４Ａまたは１７０４Ｂの位置を検出し、当該位置を偽色領域の境界位置と決定する。

以上説明したＳ２００１およびＳ２００２の処理により、図１７（ａ）に示すような第１画像２３００において、飽和領域２３０１と偽色領域２３０２とが検出される。

再度図１４を参照して、偽色補正部２５０３は、第１画像において、偽色領域に隣接する複数画素を用いて偽色領域に含まれる画素の青色成分の画素値を補間する（Ｓ２００３）。

図１８を参照して、偽色領域の画素値補間処理（図１４のＳ２００３）について詳細に説明する。図１８（ａ）に示すように、第１画像１４００において、飽和領域１４０１および偽色領域１４０２と、偽色領域１４０２の境界１４０３が決定されているものとする。図１８（ｂ）に示すように、偽色補正部２５０３は、第１画像１４００において、互いに同一のｘ座標を有し、かつ境界１４０３に隣接する画素１４０４および１４０５を特定する。偽色補正部２５０３は、そのｘ座標上にある偽色領域１４０２に含まれる画素１４０６の青色成分の画素値を、画素１４０４および１４０５の青色成分の画素値を用いて内挿補間する。これにより、画素１４０６の青色成分の画素値を、置換する。内挿補間の方法は周知の技術を用いることができ、例えば、横軸をｙ座標、縦軸を青色成分の画素値とするグラフにおいて、画素１４０４の座標と画素１４０５の座標とを直線で結ぶことにより、画素１４０４と画素１４０５との間に位置する画素の青色成分の画素値を求めても良い。偽色補正部２５０３は、このような処理をすべてのｘ座標について行なうことにより偽色領域の補正を行う。図１８（ｃ）は、内挿補間後の第１画像１４００の一例を示しており、偽色領域がなくなり、飽和領域１４０１のみが残っている状態となる。

図１９は、偽色領域の補正処理（図１４のＳ２００３）の処理結果について説明するための図である。

図１９（ａ）に示すような対象画像の領域１８００を拡大した図が図１９（ｂ）である。領域１８０１および１８０２のように空の部分が飽和しており白く映っており、空と葉の境界領域１８０３において葉の色が青くなるという偽色が生じている。偽色領域の補正処理（図１４のＳ２００３）を実行することにより、図１９（ｃ）に示すような画像が得られる。領域１８０１および１８０２にそれぞれ対応する領域１８０４および１８０５において偽色が補正された。これにより、例えば、空と葉の境界領域１８０６において葉の色が緑色に補正されている。

なお、図１９（ａ）〜図１９（ｃ）に示す画像は、元々、カラー画像であるが、説明の都合上グレースケール表現している。このため、偽色領域の補正前と補正後の違いが分かりにくくなっているが、実際の処理においては上述したような処理結果が得られている。

図２０は、偽色領域の補正処理（図１４のＳ２００３）の他の処理結果について説明するための図である。

図２０（ａ）に示すような対象画像の領域１９００を拡大した図が図２０（ｂ）である。領域１９０１のように窓の部分が飽和しており白く映っており、窓と窓枠の境界領域１９０２において窓枠の色が青くなるという偽色が生じている。偽色領域の補正処理（図１４のＳ２００３）を実行することにより、図２０（ｃ）に示すような画像が得られる。領域１９０１に対応する領域１９０３において偽色が補正された。これにより、例えば、窓と窓枠の境界領域１９０４において窓枠の色が本来の色に補正されている。

なお、図２０（ａ）〜図２０（ｃ）に示す画像は、元々、カラー画像であるが、説明の都合上グレースケール表現している。このため、偽色領域の補正前と補正後の違いが分かりにくくなっているが、実際の処理においては上述したような処理結果が得られている。

再度図１４を参照して、変位推定器２５０４は、飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像から探索することにより、拡大領域の第２画像における対応位置を推定する（Ｓ２００４）。つまり、変位推定器２５０４は、図５に示したＳ５１０〜Ｓ５４０において、拡大された鏡面反射領域４２０の代わりに、図１７（ａ）に示した飽和領域２３０１および偽色領域２３０２からなる拡大領域を用いたのと同様の処理を行なう。つまり、図１７（ｂ）に示すように、変位推定器２５０４は、第１画像２３００において、拡大領域２３０３の被覆領域２３０４を決定する。また、変位推定器２５０４は、図１７（ｃ）に示すように、被覆領域２３０４から拡大領域２３０３を除いた周辺領域２３０５を決定する。変位推定器２５０４は、周辺領域２３０５にマッチングする画像領域を第２画像から探索することにより、周辺領域２３０５の第２画像における対応位置を推定する。図２１（ａ）は、第１画像２３００の周辺領域２３０５にマッチングする第２画像２４００の画像領域である周辺領域２４０１を示している。図２１（ｂ）に示すように、変位推定器２５０４は、周辺領域２４０１と周辺領域２４０１の内部に含まれる領域である拡大領域２４０２とからなる被覆領域２４０３を検出する。変位推定器２５０４は、図２１（ｃ）に示すように、被覆領域２４０３から、第２画像２４００の拡大領域２４０２を切り抜いても良い。図２１（ｄ）に示すように、変位推定器２５０４は、拡大領域２４０２のうち、飽和領域２３０１に対応する領域２４０４を決定する。

再度図１４を参照して、置換部２５０５は、Ｓ２００１の処理において検出された第１画像２３００の飽和領域２３０１に含まれる画素の画素値を、Ｓ２００４の処理により推定された領域２４０４に含まれる画素の画素値で置換する（Ｓ２００５）。なお、この処理は、図６に示した置換処理と同様の処理である。置換部２５０５は、実施の形態１と同様に、第１画像２３００の置換後の飽和領域２３０１と、偽色領域との間の遷移領域の画素値を平滑化する。

図１４に示した処理により、第１画像の拡大領域に含まれる偽色領域を第１画像内の他の画素の画素値を用いて補正し、上記拡大領域に含まれる飽和領域を第２画像の対応する領域の画素値で置換することができる。

以上説明したように、実施の形態２によると、飽和領域の周辺に位置する偽色領域を青色成分の画素値の変化に基づいて決定している。このため、青色成分の画素値をしきい値処理することのみを用いて偽色領域を決定する方法に比べて、正確に偽色領域の境界を特定することができる。

また、実施の形態２によると、偽色補正を第１画像（対象画像）内の画素値を用いて行っている。このため、フレーム間で被写体の見え方が極端に異なる場合などには、安定して偽色補正を行うことができる。

また、実施の形態２によると、実施の形態１と同様に、画像における画素値の飽和の影響を低減する方法および装置を提供することができる。つまり、対象画像の飽和領域および偽色領域を検出し、検出した飽和領域および偽色領域の周辺領域と、参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。また、検出した飽和領域を、単一または複数の参照画像からの置換領域で置き換える。

（実施の形態３）
実施の形態２では、偽色領域の補間を同一の画像内の画素値を用いて行っている。これに対して、実施の形態３では、偽色領域の補間を他の画像内の画素値を用いて行う。

なお、以下の説明では、実施の形態１および２と異なる点を中心に説明し、同様の処理についてはその説明を適宜省略する。

実施の形態３が処理対象とする画像はＲＧＢ成分、ＹＵＶ成分またはＹＣｂＣｒ成分からなるカラー画像であるとする。

図２２は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。

実施の形態３に係る画像処理装置は、飽和領域検出部２６０１と、偽色領域検出部２６０２と、変位推定器２６０３と、置換部２６０４とを含む。

飽和領域検出部２６０１は、第１画像（対象画像）から画素値が飽和している画素領域（飽和領域）を検出する。飽和領域検出部２６０１が実行する処理は、実施の形態２における飽和領域検出部２５０１が実行する処理と同様である。

偽色領域検出部２６０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する。偽色領域検出部２６０２が実行する処理は、実施の形態２における偽色領域検出部２５０２が実行する処理と同様である。

変位推定器２６０３は、飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像（参照画像）から探索することにより、拡大領域の第２画像における対応位置を推定する。変位推定器２６０３が実行する処理は、実施の形態２における変位推定器２５０４が実行する処理と同様である。ただし、実施の形態２では、偽色領域が補正された後の画像を第１画像としていたのに対して、実施の形態３では、偽色領域を補正する前の画像を第１画像としている点が異なる。

置換部２６０４は、第１画像の拡大領域に含まれる飽和領域の画素の画素値を、第２画像における拡大領域に含まれる飽和領域の対応位置の画素の画素値で置換し、第１画像の拡大領域に含まれる偽色領域の画素の青色成分の画素値を、第２画像における拡大領域に含まれる偽色領域の対応位置の画素の青色成分の画素値で置換する。

以下、画像処理装置が行なう処理について説明する。

図２３は、本発明の実施の形態３に係る画像処理装置が実行する処理のフローチャートである。

飽和領域検出部２６０１は、第１画像から画素値が飽和している画素領域である飽和領域を検出する（Ｓ２１０１）。Ｓ２１０１の処理は、図１４のＳ２００１の処理と同様である。

偽色領域検出部２６０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する（Ｓ２１０２）。Ｓ２１０２の処理は、図１４のＳ２００２の処理と同様である。

変位推定器２６０３は、第１画像において飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像から探索することにより、拡大領域の第２画像における対応位置を推定する（Ｓ２１０３）。Ｓ２１０３の処理は、図１４のＳ２００４の処理と同様である。ただし、実施の形態２では、偽色領域が補正された後の画像を第１画像としていたのに対して、実施の形態３では、偽色領域を補正する前の画像を第１画像としている点が異なる。Ｓ２１０３によると、図１７（ａ）に示した第１画像２３００の飽和領域２３０１および偽色領域２３０２に対応する第２画像における対応位置として、図２１（ｄ）に示すように、第２画像２４００における領域２４０４および領域２４０５が推定されたものとする。領域２４０４は、第１画像の拡大領域が拡大領域２４０２とマッチングしたとしたときの飽和領域２３０１に対応する位置の領域である。領域２４０５は、第１画像の拡大領域が拡大領域２４０２とマッチングしたとしたときの偽色領域２３０２に対応する位置の領域である。

置換部２６０４は、第１画像の拡大領域に含まれる飽和領域の画素の画素値を、第２画像における拡大領域に含まれる飽和領域の対応位置の画素の画素値で置換し、第１画像の拡大領域に含まれる偽色領域の画素の青色成分の画素値を、第２画像における拡大領域に含まれる偽色領域の対応位置の画素の青色成分の画素値で置換する（Ｓ２１０４）。つまり、置換部２６０４は、図１７（ａ）に示した第１画像２３００の飽和領域２３０１の画素値を、図２１（ｄ）に示した第２画像２４００の領域２４０４の画素値で置換する。また、置換部２６０４は、図１７（ａ）に示した第１画像２３００の偽色領域２３０２の画素値を、図２１（ｄ）に示した第２画像２４００の領域２４０５の画素値で置換する。

なお、置換部２６０４は、実施の形態１と同様に、第１画像２３００の置換後の飽和領域２３０１と置換後の偽色領域２３０２との間の遷移領域の画素値を平滑化する。

図２３に示した処理により、第１画像の拡大領域の画素値を、第２画像の対応する領域の画素値で置換することができる。

なお、第２画像の選択方法であるが、対象画像の前フレームの画像を第２画像としてもよいし、後フレームの画像を第２画像としてもよい。

図２４は、第２画像の選択方法について説明するための図である。

図２４（ａ）に示す対象画像１６００に対し、図２４（ｂ）に示す前フレーム画像１６０１と図２４（ｃ）に示す後フレーム画像１６０２とが得られているものとする。

対象画像１６００および前フレーム画像１６０１のそれぞれには、飽和領域１６０３および偽色領域１６０４が含まれているものとする。また、後フレーム画像１６０２には飽和領域および偽色領域は含まれていないものとする。図２４（ｄ）は、対象画像１６００の拡大領域１６０５の位置と、当該位置に対応する前フレーム画像１６０１の領域１６０６の位置とを示している。図２４（ｅ）は、対象画像１６００の拡大領域１６０５の位置を示している。図２４（ｆ）は、対象画像１６００の拡大領域１６０５に対応する後フレーム画像１６０２の領域１６０７の位置を示している。置換部２６０４は、拡大領域１６０５内の画素値を、領域１６０６の画素値または領域１６０７の画素値で置換することになる。その際、置換部２６０４は、拡大領域１６０５内の画素値を、領域１６０７の画素値で置換し、領域１６０６の画素値では置換しない。なぜならば、領域１６０６は飽和領域１６０３および偽色領域１６０４を含んでいるため、領域１６０６内の画素値を用いて拡大領域１６０５の画素値を置換しても、飽和領域および偽色領域の補正を適切に行うことができない。これに対して、領域１６０７は飽和領域１６０３および偽色領域１６０４のいずれの領域も含まない。このため、領域１６０７内の画素値を用いて拡大領域１６０５の画素値を置換することにより、飽和領域および偽色領域の補正を適切に行うことができる。置換部２６０４は、図２４（ｅ）に示す対象画像１６００の拡大領域１６０５の画素値を、図２４（ｆ）に示す後フレーム画像１６０２の領域１６０７の画素値で置換することにより、図２４（ｇ）に示すような飽和領域および偽色領域を含まない画像を得ることができる。なお、第２画像として用いるか否かの選択基準は、例えば、置換に用いられる領域内の飽和領域の画素数が所定の飽和画素しきい値以下であり、かつ、当該領域内の偽色領域の画素数が所定の偽色画素しきい値以下である場合に、第２画像として用いると判断しても良い。また、対象画像に隣接するフレームに第２画像が見つからなければ、さらに、２フレーム先、３フレーム先とフレーム数を増やしながら対象画像の前後のフレームの画像から第２画像を選択するようにしてもよい。

以上説明したように、実施の形態３によると、飽和領域の周辺に位置する偽色領域を青色成分の画素値の変化に基づいて決定している。このため、青色成分の画素値をしきい値処理することのみを用いて偽色領域を決定する方法に比べて、正確に偽色領域の境界を特定することができる。

また、実施の形態３によると、画像における画素値の飽和および偽色の影響を低減する方法および装置を提供することができる。つまり、対象画像の飽和領域および偽色領域を検出し、検出した飽和領域および偽色領域の周辺領域と、参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。また、検出した飽和領域および偽色領域を、単一または複数の参照画像からの置換領域で置き換える。

（実施の形態４）
実施の形態３では、飽和領域の補正と偽色領域の補正とを同時に行った。実施の形態４では、偽色領域の補正を行った後に、飽和領域の補正を行う点が実施の形態３と異なる。

なお、以下の説明では、実施の形態１〜３と異なる点を中心に説明し、同様の処理についてはその説明を適宜省略する。

実施の形態４が処理対象とする画像はＲＧＢ成分、ＹＵＶ成分またはＹＣｂＣｒ成分からなるカラー画像であるとする。

図２５は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。

実施の形態４に係る画像処理装置は、飽和領域検出部２７０１と、偽色領域検出部２７０２と、変位推定器２７０３と、置換部２７０４とを含む。

飽和領域検出部２７０１は、第１画像（対象画像）から画素値が飽和している画素領域（飽和領域）を検出する。飽和領域検出部２７０１が実行する処理は、実施の形態２における飽和領域検出部２５０１が実行する処理と同様である。

偽色領域検出部２７０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する。偽色領域検出部２７０２が実行する処理は、実施の形態２における偽色領域検出部２５０２が実行する処理と同様である。

変位推定器２７０３は、飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像（参照画像）から探索することにより、拡大領域の第２画像における対応位置を推定する。また、変位推定器２７０３は、飽和領域および当該飽和領域を拡大した隣接領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像（参照画像）から探索することにより、拡大領域の第２画像における対応位置を推定する。前者の処理は、実施の形態２における変位推定器２５０４が実行する処理と同様である。前者の処理は、偽色領域が補正される前の画像を第１画像として実行される。後者の処理は、実施の形態１における変位推定器１１２０が実行する処理と同様である。後者の処理は、偽色領域が補正された後の画像を第１画像として実行される。

置換部２７０４は、第１画像の拡大領域のうちの偽色領域に含まれる画素の青色成分の画素値を、第２画像における拡大領域の対応位置に含まれる偽色領域の対応位置の画素の青色成分の画素値で置換する。また、置換部２７０４は、当該置換後に、第１画像の拡大領域のうちの飽和領域に含まれる画素の画素値を、第２画像における拡大領域の対応位置に含まれる飽和領域の対応位置の画素の画素値で置換する。なお、１回目の置換処理は、偽色領域が補正される前の画像を第１画像として変位推定器２７０３が推定した推定結果に対して行われる。また、２回目の置換処理は、偽色領域が補正された後の画像を第１画像として変位推定器２７０３が推定した推定結果に対して行われる。

以下、画像処理装置が行う処理について説明する。

図２６は、本発明の実施の形態４に係る画像処理装置が実行する処理のフローチャートである。

飽和領域検出部２７０１は、第１画像から画素値が飽和している画素領域である飽和領域を検出する（Ｓ２２０１）。Ｓ２２０１の処理は、図１４のＳ２００１の処理と同様である。

偽色領域検出部２７０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する（Ｓ２２０２）。Ｓ２２０２の処理は、図１４のＳ２００２の処理と同様である。

変位推定器２７０３は、第１画像において飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像から探索することにより、拡大領域の第２画像における対応位置を推定する（Ｓ２２０３）。Ｓ２２０３の処理は、図２３のＳ２１０３の処理と同様である。

置換部２７０４は、第１画像の拡大領域のうちの偽色領域に含まれる画素の青色成分の画素値を、第２画像における拡大領域の対応位置に含まれる偽色領域の対応位置の画素の青色成分の画素値で置換する（Ｓ２２０４）。つまり、置換部２７０４は、図１７（ａ）に示した第１画像２３００の偽色領域２３０２の画素値を、図２１（ｄ）に示した第２画像２４００の領域２４０５の画素値で置換する。なお、置換部２７０４は、実施の形態１と同様に、第１画像２３００の飽和領域２３０１と置換後の偽色領域２３０２との間の遷移領域の画素値を平滑化する。

変位推定器２７０３は、Ｓ２２０４の処理で偽色領域の補正が行われた後の第１画像において飽和領域および飽和領域の隣接領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像から探索することにより、拡大領域の第２画像における対応位置を推定する（Ｓ２２０５）。Ｓ２２０５の処理は、偽色領域の補正が行われた後の画像を第１画像としていることと、拡大領域および周辺領域が異なること以外はＳ２２０３の処理と同様である。

置換部２７０４は、偽色領域の補正が行われた後の第１画像の拡大領域のうちの飽和領域に含まれる画素の画素値を、第２画像における拡大領域の対応位置に含まれる飽和領域の対応位置の画素の画素値で置換する（Ｓ２２０６）。つまり、置換部２７０４は、図１７（ａ）に示した第１画像２３００の飽和領域２３０１の画素値を、図２１（ｄ）に示した第２画像２４００の領域２４０４の画素値で置換する。なお、Ｓ２２０６の処理は、Ｓ２２０５での推定結果に対して行われる。なお、置換部２７０４は、実施の形態１と同様に、第１画像２３００の置換後の飽和領域２３０１と隣接領域との間の遷移領域の画素値を平滑化する。

図２６に示した処理により、第１画像の拡大領域の画素値を、第２画像の対応する領域の画素値で置換することができる。

なお、Ｓ２２０４の処理を実行する際の第２画像の選択方法であるが、対象画像の前フレームの画像を第２画像としてもよいし、後フレームの画像を第２画像としてもよい。

図２７は、第２画像の選択方法について説明するための図である。

図２７（ａ）に示す対象画像１７００に対し、図２７（ｂ）に示す前フレーム画像１７０１と図２７（ｃ）に示す後フレーム画像１７０２とが得られているものとする。

対象画像１７００および前フレーム画像１７０１のそれぞれには、飽和領域１７０３および偽色領域１７０４が含まれているものとする。また、後フレーム画像１７０２には飽和領域および偽色領域は含まれていないものとする。図２７（ｄ）は、対象画像１７００の拡大領域１７０５の位置と、当該位置に対応する前フレーム画像１７０１の領域１７０６の位置とを示している。図２７（ｅ）は、対象画像１７００の拡大領域１７０５（飽和領域１７０３および偽色領域１７０４）の位置を示している。図２７（ｆ）は、対象画像１７００の拡大領域１７０５、飽和領域１７０３および偽色領域１７０４にそれぞれ対応する後フレーム画像１７０２の領域１７０７、領域１７０８および領域１７０９の位置を示している。Ｓ２２０４の処理において、置換部２７０４は、偽色領域１７０４内の画素値を、領域１７０６内の偽色領域１７０４に対応する位置の画素値または領域１７０７内の偽色領域１７０４に対応する位置の画素値（領域１７０９の画素値）で置換することになる。その際、置換部２７０４は、偽色領域１７０４内の画素値を、領域１７０７内の画素値で置換し、領域１７０６内の画素値では置換しない。なぜならば、領域１７０６は飽和領域１７０３および偽色領域１７０４を含んでいるため、領域１７０６内の画素値を用いて偽色領域１７０４の画素値を置換しても、偽色領域の補正を適切に行うことができない。これに対して、領域１７０７は飽和領域１７０３および偽色領域１７０４のいずれの領域も含まない。このため、領域１７０７内の画素値を用いて偽色領域１７０４の画素値を置換することにより、偽色領域の補正を適切に行うことができる。置換部２７０４は、図２７（ｅ）に示す対象画像１７００の偽色領域１７０４の画素値を、図２７（ｆ）に示す後フレーム画像１７０２の領域１７０９の画素値で置換することにより、図２７（ｇ）に示すような偽色領域を含まない画像を得ることができる。なお、第２画像として用いるか否かの選択基準は、例えば、置換に用いられる領域内の飽和領域の画素数が所定の飽和画素しきい値以下であり、かつ、当該領域内の偽色領域の画素数が所定の偽色画素しきい値以下である場合に、第２画像として用いると判断しても良い。また、対象画像に隣接するフレームに第２画像が見つからなければ、さらに、２フレーム先、３フレーム先とフレーム数を増やしながら対象画像の前後のフレームの画像から第２画像を選択するようにしてもよい。

以上説明したように、実施の形態４によると、飽和領域の周辺に位置する偽色領域を青色成分の画素値の変化に基づいて決定している。このため、青色成分の画素値をしきい値処理することのみを用いて偽色領域を決定する方法に比べて、正確に偽色領域の境界を特定することができる。

また、実施の形態４によると、画像における画素値の飽和および偽色の影響を低減する方法および装置を提供することができる。つまり、対象画像の飽和領域および偽色領域を検出し、検出した飽和領域および偽色領域の周辺領域と、参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。また、検出した偽色領域を、単一または複数の参照画像からの置換領域で置き換える。また、偽色領域の置換処理後に、再度、対象画像の飽和領域を検出し、検出した飽和領域の周辺領域と、参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。また、検出した飽和領域を、単一または複数の参照画像からの置換領域で置き換える。

なお、上述の実施の形態２〜４では、偽色領域と飽和領域とを補正することとしたが、偽色領域のみを補正し、飽和領域を補正しないようにしてもよい。図１９の領域１８００のように空の部分を撮影した画像などでは、鏡面反射の場合のように飽和領域を補正するのではなく、飽和領域を補正しないほうが自然な場合があるからである。

なお、上述の実施の形態１に示した方法は、内視鏡で撮影された画像以外の通常のカメラで撮影された画像に対しても適用可能である。また、上述の実施の形態２〜４に示した方法は、内視鏡で撮影された画像に対しても適用可能である。

本発明のその他の実施の形態は、ハードウェアおよびソフトウェアを用いて上述した様々な実施の形態を実装することに関する。本発明の様々な実施の形態をコンピュータデバイス（プロセッサ）を用いて実装または実行してもよいはずである。コンピュータデバイスまたはプロセッサは、例えば、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、その他のプログラム論理デバイスなどでもよい。また、本発明の様々な実施の形態は、これらのデバイスの組み合わせによっても実行または実装してよい。

さらに、本発明の様々な実施の形態を、プロセッサでまたは直接ハードウェア内で実行されるソフトウェアモジュールの手段によっても実装して構わない。また、ソフトウェアモジュールとハードウェア実装との組み合わせも可能である。ソフトウェアモジュールは、例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、レジスタ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤなど、どの種類のコンピュータ読み取り可能記憶媒体に記憶してもよい。

まとめると、本発明は、画像における鏡面反射の影響を低減する方法および装置を提供する。具体的には、対象画像の鏡面反射領域を、検出し、かつ、単一または複数の参照画像からの画像領域で少なくとも部分的に置き換える。変位推定手法、つまり、検出した鏡面反射領域の周辺領域と参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。このような鏡面反射補正メカニズムには、画像撮像のセットアップが独立しているという利点がある。

本発明は、内視鏡で撮影された画像の鏡面反射を補正する鏡面反射補正装置、通常のカメラで撮影された鏡面反射領域、飽和領域または偽色領域を補正する画像処理装置等に適用できる。

１１００ 鏡面反射補正装置
１１０１、１１３１ 画像信号
１１１０ 鏡面反射検出器
１１１１ 検出結果
１１２０、２５０４、２６０３、２７０３ 変位推定器
１１２１ 出力
１１３０、２５０５、２６０４、２７０４ 置換部
１２１０ フレキシブルアーム
１２１５ 先端
１２２０ 光源
１２２５ 光ファイバ
１２５０ 内視鏡本体
１２５１ インターフェース
１２５２ コネクタ
１２７０ 表示デバイス
１２８０ 多機能処理デバイス
２５０１、２６０１、２７０１ 飽和領域検出部
２５０２、２６０２、２７０２ 偽色領域検出部
２５０３ 偽色補正部

本発明は、画素値が飽和している領域または偽色が生じている領域を補正する画像処理方法および画像処理装置に関する。

撮像の様々な用途において、鏡面反射という影響により、撮像画像内にグレアスポット（輝点）が生じる可能性がある。このような輝点により撮像場面の構成が分からなくなってしまい、撮像画像の視認性は低下する。

このような撮像画像中の輝点は、画素値として考えると、値が飽和している。例えば、グレースケール画像の各画素を８ビットで表現する場合、画素値としては０〜２５５の値を取ることが可能であるが、輝点では２５５またはそれに近い値となっている。

撮像処理中に、撮像する場面から反射した光をセンサがとらえる。一般に、「光」という用語は必ずしも可視範囲の光をさすとは限らず、どんな電磁波でもかまわない。「鏡面反射」という用語は、通常、光の大部分が撮像された被写体の表面で原則的に同じ方向へ反射される、原則的に同じ方向からやってくる光の反射のことをさす。「反射」という用語は、波が表面に入射する角度とその波が表面で反射する角度とが等しい、異なる２つの物質の境界面における光線の波面方向の変化をさす。鏡面反射が生じるかどうかは、被写体の表面の性質と被写体の表面に対する光源の特性および位置に左右される。具体的には、光を広範囲に反射する、濡れた表面などの光沢のある物質は、撮像時に、グレアスポットの起因となる可能性がある。特に点状の光源の場合、光沢面にあたる強い光線が同じ方向に反射し、このような状況で撮像した画像に極度の輝点を生じさせる可能性がある。

鏡面反射が撮像画像の質を低下させるという例は多くある。例えば、鏡面反射の影響は、太陽光を反射する水面上で見られる場合がある。光沢紙に印刷されたドキュメントを撮影する場合、または、眼鏡をかけた顔や窓や鏡などのガラス面を撮影する場合にも鏡面反射は起こる。この鏡面反射の好ましくない結果は、輝点により塞がれた部分の情報が失われることである。このような情報の欠如により、この撮像画像を見ている人は不快に感じる場合もある。また、鏡面反射は、ドキュメント撮影などの用途における重大な問題を引き起こしかねない。具体的には、撮影されたドキュメントのテキストまたは図が鏡面反射によって塞がれてしまい、撮影されたドキュメントが不完全になる可能性がある。

また鏡面反射と同様な状況は、明るい箇所と暗い箇所とが混在する場面を撮影した際にも生じる。例えば、室内から室内の風景と窓の外の風景との両方が写るように撮影する場合、窓の外は室内と比べて非常に明るいため、窓の外を写した部分の画素値が飽和する。

鏡面反射が重大な問題につながりかねない分野は、医用画像分野である。よく知られる医用画像用途の１つは、内視鏡検査である。「内視鏡検査」という用語は、医学的理由のために体内領域を撮影することをさす。内視鏡検査の結果、つまり、撮像画像および／またはビデオシーケンスは、診断および手術をサポートするために用いられる。内視鏡検査は、通常、標準フレキシブルチューブと、見る対象の体内領域を照らす光源と、所望の領域を撮像するカメラなどの検出器とからなる内視鏡を用いて行われる。通常、光は、内視鏡に接続されている体外の光源から光ファイバを介して体内にもたらされる。内視鏡検査で撮像された画像は、鏡面反射の影響を特に受けやすい。これは、主に濡れているため高反射面である内視鏡の被写体が原因となる一方で、他方では、体内を照らす光源は点状であるという特徴を有するため、光線は、原則的に同一方向から表面を照らし、また、これとは別の原則的に同一方向に反射されることになるというのもその一因である。

内視鏡検査中に鏡面反射の結果生じる輝点は、画質を著しく低下させる。特に、過飽和の輝点領域には画像情報がないため、撮像画像の診断中に医師が異常を見落とす可能性もある。そして、通常、内視鏡は、撮像された被写体に対して相対的に動く。これは、内視鏡自身の起こりうるランダムなまたは制御された動き、および／または、例えば、患者の呼吸サイクルや心拍による撮像場面の動きが原因となる。この恒常的な動きに対応して、鏡面反射によって生じる輝点も動く。内視鏡検査装置のディスプレイ上で動く輝点は、診断および手術中に医師の邪魔となり、特に内視鏡を用いて行われる手術の場合には医師の注意をそらすかもしれない。

鏡面反射を補正するため、特許文献１には、子宮頸癌検出用の装置内に２つの光源を用いることを開示している。鏡面反射により生じる輝点は、光源によって画像内の異なる位置に生じる。よって、別個の光源を用いて撮像した画像を組み合わせることによって輝点が取り除かれる。

特許文献２は、別々に置かれた複数のカメラによる画像を組み合わせることによって撮影ドキュメントの鏡面反射を低減することに関するものである。

米国特許第６，０８８，６１２号明細書 米国特許出願公開第２００８／０１６５２６６号明細書

これらの先行技術の解決策における欠点の１つは、光源および光検出器が２倍になるため、このような装置にかかる費用および複雑性が増加することである。先行技術の解決策では、２つの光源または光検出器の位置が既知であるという前提がある。ゆえに、鏡面反射補正も、撮像システムに特有のものであり、その他のシステムで撮像された画像に適用することはできない。

本発明は、上述した課題に対処し、鏡面反射等の画素値が飽和している飽和領域の影響を効率的に低減することができる画像処理方法等を提供することを目的とする。

このことは、独立クレームに記載したような特徴により実現される。

好ましい実施の形態は従属クレームの主題である。

参照画像と鏡面反射領域周辺の画像領域とのマッチングに基づいて参照画像の鏡面反射領域の位置を推定することにより置換画像領域を決定する、参照画像の画像領域で対象画像の鏡面反射領域部分を少なくとも置き換える手法は、本発明に特有の手法である。

本発明の様態によると、画像処理方法は、第１画像において、画素値が所定しきい値以上の画素領域である飽和領域と当該飽和領域を少なくとも部分的に囲む隣接領域とを含む、拡大領域を検出する検出ステップと、前記検出ステップにおいて検出された前記拡大領域のうちの少なくとも前記隣接領域に含まれる画素の画素値を、第２画像における前記拡大領域の対応位置の画素の画素値または当該対応位置の隣接画素の画素値を用いて置換する置換ステップとを含む。

好ましくは、上述の画像処理方法は、さらに、前記検出ステップにおいて検出された前記拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を前記第２画像から探索することにより、前記拡大領域の前記第２画像における対応位置を推定する推定ステップを含み、前記置換ステップでは、前記検出ステップにおいて検出された前記拡大領域のうちの少なくとも前記隣接領域に含まれる画素の画素値を、前記推定ステップにおいて推定された前記拡大領域の前記第２画像における対応位置の画素の画素値で置換する。

本発明のその他の様態によると、画像処理装置は、第１画像において、画素値が所定しきい値以上の画素領域である飽和領域と当該飽和領域を少なくとも部分的に囲む隣接領域とを含む、拡大領域を検出する検出部と、前記検出部において検出された前記拡大領域のうちの少なくとも前記隣接領域に含まれる画素の画素値を、第２画像における前記拡大領域の対応位置の画素の画素値または当該対応位置の隣接画素の画素値を用いて置換する置換部とを含む。

ここで、「鏡面反射領域」という用語は、平面上の光の反射によって生じる、カメラにより撮像された画像内の輝点の領域を指している。「鏡面反射領域」は、飽和領域の一態様である。

第１画像および第２画像は、異なる時点で撮像された画像からなるビデオシーケンスの一部分であっても構わない。また、同じ時点で複数のカメラにより撮像された複数の画像でもよい。本発明は、本質的に同じ場面または被写体を撮像している画像セットに適用できる。例えば、ステレオカメラで撮られたビデオシーケンスなど、時間的および空間的に異なる画像を組み合わせてもよい。なお、第１画像および第２画像は同一の画像であってもよい。

前記推定ステップにより、第１画像において、検出された鏡面反射領域（拡大領域）を少なくとも部分的に囲んでいる画像領域として周辺領域を決定し、第２画像において、その周辺領域にマッチングし、かつ、第１画像の鏡面反射画像領域（拡大領域）を置き換えるのに適した画像領域を探索することが好ましい。この適合性は所定の基準で評価しても構わない。マッチングの後に、探索された画像領域の中から、鏡面反射画像領域（拡大領域）を置き換えるのにもっともよい候補が選択される。周辺領域は、検出された鏡面反射領域（拡大領域）の境界または境界の一部分などでもよい。その境界は、１以上の画素厚でもよく、矩形、三角形、六角形、または他の形など予め定義した幾何構造で一致するように選択しても構わない。また、例えば、鏡面反射画像領域（拡大領域）の形のコピーであって、予め定義した画素厚の境界からなる形を用いても構わない。

前記所定の基準は、具体的に、探索された画像領域の飽和画素量、探索された画像領域の平均輝度、探索された画像領域の空間情報量、探索された画像領域のノイズ量、探索された画像領域と検出された周辺領域との間の遷移領域の滑らかさ、または、第１画像と第２画像との時間距離もしくは第１画像の視点と第２画像の視点との間の射影距離（例えば、マルチビュー設定時の基線距離）という基準のうち少なくとも１つを含むことが好ましい。これらの基準は、対象画像の鏡面反射（拡大領域）を置き換える任意の参照画像として最も適した候補を選択するため、個別に用いても組み合わせて用いても構わない。空間情報とは、一般的に、画像のエッジ（構成）量のことを指し、探索された画像領域の分散手法もしくはエッジ検出手法または同様の方法により検出してもよい。この空間情報量は、周波数情報、構成量、および／またはテクスチャ量に相当するので、周波数情報、構成量、および／またはテクスチャ量として表現および／または評価することができる。鏡面反射（拡大領域）の相対的な動きや周辺領域の動きなど、置換領域の適合性に対してその他の基準を用いても構わない。

本発明の画像処理方法を適用して、有利に、対象画像（第１画像）において１以上の鏡面反射領域（拡大領域）をできる限り検出し、検出された各鏡面反射領域（拡大領域）に対して推定ステップおよび置換ステップも行うことができる。さらに、この推定ステップは、ビデオシーケンスの画像または複数のカメラで撮られた画像などの複数の参照画像（第２画像）に対して繰り返し行われることが好ましい。

前記鏡面反射画像領域（飽和領域）の検出は、第１画像における飽和画素を検出することにより行われることが好ましい。具体的には、第１画像の各画素を飽和または非飽和に分類することにより行っても構わない。画素値が予め定められた閾値を超えている場合、その画素は飽和に分類され、超えていない場合には非飽和に分類される。さらに、その検出は、飽和画素に分類された隣接画素をグループ化することによって１つまたは複数の鏡面反射画像領域（飽和領域）を特定するステップを含む。さらに、このグループ化ステップは、非飽和に分類された画素であっても、これが既定数の飽和に分類された画素で囲まれている場合は、飽和に分類された画素グループに含めるステップを備えてもよい。これにより、より圧縮して連続した鏡面反射領域（飽和領域）の検出が可能になる。さらに、特定された鏡面反射領域（飽和領域）を、鏡面反射境界近くで起こり得るコロナ状のアーチファクト（偽色領域）もカバーするために、拡大しても構わない。拡大化は、例えば、拡張の形態画像操作またはその他同様の操作／フィルタリングにより行ってもよい。例えば、境界を自動的に１または数画素拡張しても構わない。

前記鏡面反射の置換は、第１画像における鏡面反射画像領域を置き換える置換領域を置換領域候補セットの中から選択するステップと、選択された置換領域の輝度を第１画像の輝度に適合させるステップと、適合化した置換領域で鏡面反射画像領域を置き換えるステップとを備えることが好ましい。具体的には、候補セットは、異なる参照画像から最もよい置換候補を複数含んでもよい。輝度適合とは別に、対象画像と置換領域との間の遷移領域の平滑化を行っても構わない。

本発明は、鏡面反射が起こり得る撮像用途に適用できる。この用途は、スチル／ビデオカメラでの撮影、顕微鏡を用いた撮影、内視鏡検査などの医用画像、ドキュメントの撮影などでもよい。

本発明のさらなる他の様態によると、撮像対象の被写体を照らす少なくとも１つの光源と、照らされた被写体の複数の画像を撮像する少なくとも１つのカメラと、撮像対象の被写体近くにカメラの光学部分を少なくとも１つ位置付ける内視鏡と、撮像した複数の画像における鏡面反射を検出して低減する上述したような鏡面反射補正装置とを備える、内視鏡検査を行うシステムを提供する。前記内視鏡検査システムは、さらに、補正された画像を出力する出力部を備える。ここで、出力部は、ディスプレイまたは記憶装置でもよい。カメラの光学部分とは、光がカメラセンサに入る手段のことを指す。カメラセンサを内視鏡の前面に設置しても構わない。あるいは、光ファイバで光をカメラセンサに送ってもよい。

またさらに、本発明の他の様態によると、本発明を実行するように構成されたコンピュータ読み取り可能プログラムコードを実装したコンピュータ読み取り可能媒体を備えるコンピュータプログラム製品を提供する。

本発明によると、鏡面反射等の画素値が飽和している飽和領域の影響を効率的に低減することができる。

図１は、鏡面反射が起こった内視鏡画像例の写真である（出典：Ｗｉｋｉｐｅｄｉａ、ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｆｉｌｅ：Ａｍ＿ｕｌｃｅｒ．ｇｉｆ）。 図２は、本発明に係る、鏡面反射の低減方法のフロー図である。 図３は、本発明の実施の形態１に係る、画像の鏡面反射領域を検出する方法例のフロー図である。 図４は、本発明の実施の形態１に係る、変位推定を示す模式図である。 図５は、本発明の鏡面反射低減に適用可能な変位推定方法例のフロー図である。 図６は、鏡面反射領域を置き換える方法例のフロー図である。 図７は、本発明の実施の形態１に係る、鏡面反射領域の置き換えを示す模式図である。 図８は、（ｉ）参照画像における置換領域と（ｉｉ）対象領域における置換対象の鏡面反射周辺の領域との間の遷移領域を示す模式図である。 図９は、輝度補正を行う例を示す模式図である。 図１０は、鏡面反射領域を置き換える画像領域とその隣接領域との間の遷移領域の平滑化に適用される重み関数の例を示す模式図である。 図１１は、本発明に係る、鏡面反射補正装置の機能ブロックを示すブロック図である。 図１２は、本発明で用いる内視鏡検査システムを示す模式図である。 図１３は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１４は、本発明の実施の形態２に係る画像処理装置が実行する処理のフローチャートである。 図１５は、偽色領域の検出方法について説明するための図である。 図１６は、偽色領域の境界位置の決定方法について説明するための図である。 図１７は、第１画像に対する処理を説明するための図である。 図１８は、偽色領域の画素値補間処理について説明するための図である。 図１９は、偽色領域の補正処理の処理結果について説明するための図である。 図２０は、偽色領域の補正処理の他の処理結果について説明するための図である。 図２１は、第２画像に対する処理を説明するための図である。 図２２は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 図２３は、本発明の実施の形態３に係る画像処理装置が実行する処理のフローチャートである。 図２４は、第２画像の選択方法について説明するための図である。 図２５は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。 図２６は、本発明の実施の形態４に係る画像処理装置が実行する処理のフローチャートである。 図２７は、第２画像の選択方法について説明するための図である。

（実施の形態１）
図１は、内視鏡検査装置（内視鏡）を用いて撮像した画像１００の例である。画像１００で分かるように、領域１１０、１２０および１３０の部分といった、やや小さめの飽和画像領域が鏡面反射により形成される。このため、鏡面反射の位置では有効な情報が存在しない。

図２は、本発明に係る、撮像されたビデオシーケンスにおいて鏡面反射を検出および低減する方法のフロー図である。本発明の鏡面反射低減方法では、まず、撮像画像内の鏡面反射領域を検出する（Ｓ３００）。次のＳ５００において、撮像画像内の鏡面反射によりカバーされた画像領域に対応する領域をその他の画像または複数の画像から探索する。そして最後に、撮像画像内の鏡面反射を単体あるいは複数の画像からの情報で置き換える（Ｓ７００）。ここで、探索対象となる画像は、鏡面反射領域を検出した画像のフレームに対して時間的に前または後ろにある他のフレームの画像である。

図３は、本発明の実施の形態に従った、鏡面反射画像領域検出処理（Ｓ３００）である。

通常、鏡面反射の影響は、図１に示された領域１１０、１２０および１３０など飽和画素値の領域として画像内に現れるという知見に基づき、鏡面反射領域が検出される。このように、本発明の実施の形態に従って、まず、飽和画素が検出される（Ｓ３１０）。Ｓ３２０において、飽和していると特定された隣接画素を結合して鏡面反射領域を形成する。この領域は、今後、本書面においてσと表される。飽和画素の検出処理（Ｓ３１０）を、各画素値と所定の第１閾値との比較により行ってもよい。ゆえに、第１閾値以上の値の画素は、飽和に分類される。ここで、「画素」という用語は、任意の色空間における画像画素値を指している。鏡面反射の検出は、ＹＵＶまたはＹＣｂＣｒのような色空間の輝度チャネルなど単一の色チャネルにおいて行われてもよい。しかしながら、より多くの色チャネルを用いて飽和画素を検出すれば、よりよい結果に達する可能性があるので、その代わりとして、ＲＧＢ色空間のＲ、Ｇ、Ｂといった色成分画像の平均値を求めて得た平均画像において検出を行っても構わない。また、画像の各画素値を閾値化することにより、１が飽和に分類された画素を表し、０がそれ以外の画素を表す（または、その逆も同じ）、二値画像を得てもよい。輝度画像のコピーを格納するのに比べ、このような二値画像を格納するのに必要なメモリは少なくて済み、かつ、単純であるため、このような二値画像をさらに処理することは利点となり得る。

画像の画素を飽和または非飽和に分類した後に、飽和画像領域を特定する。このような飽和画像領域の特定は、飽和に分類された画素を単に結合することによって行われてもよい。できる限り連続した飽和領域を得るために、様々なルールが提供される。例えば、飽和に分類された画素が少なくともｋ個周囲にある場合は、非飽和に分類された画素を飽和領域σに付け加えても構わない。ここで、ｋは、範囲［１，８］のうちの整数値である。飽和に分類された画素で少なくとも３方向から囲まれている非飽和画素のみ含むためには、ｋは５より大きいことが好ましい。あるいは、飽和とすでに特定された隣接画素が少なくとも１つ（または、他の数）存在し、かつ、第２の閾値より大きな値を有する画素も飽和と特定するため、飽和画素を検出するＳ３１０において、第１の閾値より小さい第２の閾値を提供することも有益かもしれない。第２の閾値を提供すると、たとえ鏡面反射領域のテクスチャにわずかに暗い画素が存在したとしても、連続した鏡面反射領域を検出することができる。

また、鏡面反射領域の境界周辺では歪んだ画像ピクチャが存在し、ア―チファクトのようなコロナを形成する可能性もある。したがって、これらの周囲を検出された鏡面反射領域に含めることは有益であろう。これは、例えば、Ｓで表された対応する拡大した鏡面反射領域になる形態拡張操作（Ｓ３３０）を適用することによって行っても構わない。形態拡張操作は、画像の画素にその隣接領域の画素の最大値を割り当てる。通常、隣接領域とは、左右の画素、または、上下の画素と定義される。しかしながら、当該隣接領域は適宜定義され、より多くの近接画素、つまり、場合により８個全ての近接画素を含んでも構わない。

一般的に、全ての飽和画像が必ずしも鏡面反射から生じるというわけではない。例えば、内視鏡画像の場合、人体の脂肪は白色のため、鏡面反射と間違われるであろう。画像またはビデオシーケンスの白いものは何でも鏡面反射領域として誤って検出されるかもしれない。また、光源に近いものも過飽和と思われるかもしれない。画像内のこのような領域は補正する必要がなく、コンピュータの処理能力を無駄に費やすことはないので、このような領域を本当の鏡面反射と区別することが好ましい。しかしながら、本発明の変位推定および置換は、通常、候補を選択する条件および閾値を上手く設計すれば、誤った鏡面反射領域を置換することにはならない。画像の白い領域と本当の鏡面反射から生じた飽和領域とを区別するため、鏡面反射の動きの特徴を考慮してもよい。具体的には、場面に動きがある場合、鏡面反射は、通例、背景の手前で動く。動きが多少小さくて、隣接フレームのデータで反射を完全に補正できなかったとしても、その動きを検出することができる。鏡面反射とは対照的に、画像のコンテンツに属する白い領域は背景の手前で動かない。この種の動きを検出することにより、鏡面反射と白い領域とを区別する効率的な方法が可能になる。領域が鏡面反射領域へ確実に分類された（白い画像領域と区別された）時点で、その領域は時間的に追跡可能となるので、フレームごとに分類を繰り返す必要はない。

鏡面反射領域以外の飽和画像領域のその他の例は、テキスト、タイムスタンプ、ロゴなどの画像／ビデオの重ね合わせである。この重ねあわせに白色領域が含まれる場合、この領域が鏡面反射として誤って検出されるかもしれない。しかしながら、重ね合わせには特定の特徴がいくつかあり、本当の鏡面反射領域と区別するために用いられる。また、これらの特徴のいくつかは、画像の一般的な白い領域にも当てはまる。例えば、重ね合わせにおける白の画素数は、通常、鏡面反射の画素数よりかなり多い。また、重ね合わせは、鏡面反射と異なり、場面の動きに対して完全に独立している。このことを、上述したとおり、画像の白い領域を鏡面反射か画像コンテンツかへ確実に分類するために用いてもよい。この分類では、分類が行われた画像の次の（または、前の）画像において鏡面反射を追跡することができる。さらに、重ねあわせは、通常、特徴的な形状をしている。例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）のような画像の文字検出を適用して重ね合わせのタイプと鏡面反射と区別することができる。

検出されてできる限り拡大された飽和領域Ｓは、本発明の当該実施の形態を実装するシステムのデータフローに応じて、さらにそのまま処理しても（変位推定処理（Ｓ５００）および置換処理（Ｓ７００）を参照のこと）、または、今後の処理のためにバッファへ格納しても構わない。

図４（ａ）は、鏡面反射領域をこれから検出する撮像画像４００を示している。鏡面反射領域４１０は、飽和画素の検出処理（Ｓ３１０）および飽和領域の特定処理（Ｓ３２０）を行った後に取得した飽和領域σに対応する。

図４（ｂ）は、拡張操作（Ｓ３３０）により得られた拡大した鏡面反射領域４２０（拡大した鏡面反射領域Ｓ）を有する同じ撮像画像４００を示している。図４（ａ）および図４（ｂ）には、検出された鏡面反射領域４１０および結果として生じる拡大した鏡面反射領域４２０を１つのみ示している。しかしながら、通常、単一画像には、検出された後に順次または同時に処理される複数の鏡面反射が含まれる。なお、請求の範囲においては、拡大した鏡面反射領域４２０から鏡面反射領域４１０を除いた領域を隣接領域と定義している。

鏡面反射領域４２０が特定されるとすぐに、これらの領域および／または撮像画像４００内におけるこれらの領域の位置を格納する。具体的には、検出された鏡面反射領域は、撮像画像４００の画素全てを表し、かつ、どの鏡面反射領域にも属さない画素に対する２進値と鏡面反射領域に属する画素に対するもう一方の２進値とを有するビットマップ形式で格納されても構わない。または、撮像画像４００内の位置ならびに鏡面反射領域の形状および／またはサイズを格納してもよい。しかしながら、鏡面反射領域の特定を可能にするその他の情報を用いて同様に格納してもよい。

図５は、本発明に係る、変位推定処理（Ｓ５００）のフロー図である。Ｓ３００の処理により撮像画像の検出された鏡面反射領域ごとに変位推定は行われる（Ｓ５００）。変位推定では、検出された鏡面反射領域で塞がれた画像箇所に対応する、異なるフレームの画像領域を探索する。このことを容易にするため、任意の鏡面反射領域４２０に対し、この鏡面反射領域４２０より大きく、かつ、この鏡面反射領域４２０を十分に含む画像領域である被覆領域４３０を定義する。この被覆領域４３０は、

で表され、ブロック形状や三角形など他の幾何学形状をしている。検出された鏡面反射領域４２０を包含する矩形形状の被覆領域４３０を、図４（ｃ）に示す。しかしながら、本発明は、これらの形式の被覆領域４３０に制限されるものではない。一般的に、被覆領域４３０は、例えば、検出された鏡面反射領域の輪郭をコピーして所定の画素数の厚さを有する形状などの不定の形状でもよい。

図４（ｄ）は、周辺領域４４０を示している。この周辺領域は、Ｄで表され、鏡面反射領域４２０を含まない被覆領域４３０として得られる。周辺領域は、以下のように定義される。

言い換えると、周辺領域Ｄは、検出され拡大された鏡面反射領域Ｓ周辺の画素を表しており、被覆領域

に合致する。

鏡面反射領域４２０の周辺領域４４０を決定した後に（Ｓ５１０）、可能であれば、Ｓ５２０において参照画像（フレーム）を読み込む。参照フレームとは、現在の撮像画像（鏡面反射領域４１０を検出した画像）以外のフレームのことである。そして、撮像画像から切り取った周辺領域４４０に対し、最も適合するものを読み込まれた参照画像から探索する（Ｓ５３０）。

最も適合するものの探索処理（Ｓ５３０）は、現在多くのビデオ圧縮アルゴリズムの動き検出に対して行われるブロックマッチング手法と同様に行っても構わない。具体的には、周辺領域４４０が撮像画像において発生し、その撮像画像からその周辺領域４４０が参照画像と同様に切り出されると仮定する。内視鏡検査の診断または手術は、通例、内視鏡のフレキシブルアームが到達可能な人体の特定部位およびその近辺を対象にしたものであるため、この仮定は内視鏡検査画像にも通常当てはまる。また、この仮定は、場面が速く変化することのない自然なビデオシーケンスに対しても通常有効である。変位推定処理（Ｓ５００）の目的は、同じ場面に関する複数の画像から選択された参照画像から最も適合する領域を見つけることであり、この最も適合する領域は、鏡面反射置換の対象画像である撮像画像における鏡面反射の周辺領域４４０に最も適合する領域である。マッチング領域は、動き検出の手法で見つけても構わない。例えば光学フローに基づくなど、どんな手法で動き検出を行っても構わない。このような方法の例を、非特許文献：Ｎ．Ｐａｒａｇｉｏｓら（編者）の「Ｍａｔｈｅｍａｔｉｃａｌ Ｍｏｄｅｌｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：Ｔｈｅ Ｈａｎｄｂｏｏｋ」、第１５章、Ｄ．Ｊ．Ｆｌｅｅｔ、Ｙ．Ｗｅｉｓｓらの「Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｅｓｔｉｍａｔｉｏｎ」第２３９-２５８頁、Ｓｐｒｉｎｇｅｒ ２００５、ＩＳＢＮ０３８７２６３７１３からいくつか知ることができる。また、輝度差の２乗和もしくは輝度差の絶対値の総和を最小にすること、または、正規化相互相関を最大にすることによって行っても構わない。このことを容易にするため、参照画像では探索領域を定義し、その探索領域において鏡面反射の周辺領域を探索する。探索領域は、撮像画像内の鏡面反射位置に対応する位置を取り囲むことが好ましい。探索領域のサイズは、固定でも参照フレーム（参照画像）と対象フレーム（対象画像、撮影画像）との間の動き量に適応するものでもよい。通常、探索領域は、参照画像全域で形成される。しかしながら、位置推定に必要な計算の複雑性を削減するため、限定された探索領域はより有効である。最も適合するものを見つけるために、撮像画像の鏡面反射の周辺領域を参照画像においてシフトし、参照画像の重なり部分のコンテンツとその鏡面反射の周辺領域とをピクセル単位で比較する。マッチングを数値化するため、例えば、画素に関する差分の絶対値の総和に基づく類似性尺度が用いられる。実際、輝度差の絶対値の総和（ＳＡＤ）は相違性尺度である。比較したものの類似性が高いほど、差の絶対値の総和は小さくなる。類似性および相違性のその他の尺度を同様に用いても構わない。例えば、平均２乗誤差、随意に重み付けられた様々なノルム、相関係数、または、比較領域間の類似性（相違性）レベルを表現するその他の尺度などがある。そして、周辺領域４４０に最も適合するものが得られるシフト位置を、撮像画像の鏡面反射に対する置換候補として用いる。最も適合するものが見つかった後、最もマッチングする領域に関する情報を候補セットに格納する（Ｓ５４０）。

平均２乗誤差および輝度差の絶対値の総和は、動き検出を用いる周知のコーデックにおけるブロックマッチングに対して一般的に用いられる尺度である。しかしながら、いくつかの用途に対しては、ジャギーのある（ぎざぎざした）エッジにペナルティを科すことができるメトリック（測定基準）は有益である。これは、例えば、以下の加重和のように、ラプラスフィルタを適用した画像上で平均２乗誤差を算出し、その結果を平均２乗誤差基準と組み合わせることなどにより実現可能である。

ここで、ｈはハイパスフィルタのインパルス応答を表し、γは重みパラメータである。Ｄ´は周辺領域Ｄと比較した領域を表し、＊は畳み込み演算を表す。この例におけるハイパスフィルタはラプラスフィルタである。しかしながら、その他のハイパスフィルタも同様に適用可能である。ぎざぎざしたエッジの問題は、例えば、エイリアシングまたはインターレース走査により引き起こされる可能性がある。

通常、画像のエッジは実画像情報を持っている。この場合は、画像またはビデオカメラで撮像された典型的な場面および被写体が大多数なので、一般的に、エッジは連続的であると予想される。したがって、ジャギング（ぎざぎざしたエッジ）はアーチファクトとして困らせる（悪影響を与える）だけでなく、撮像情報までも歪曲してしまう。具体的には、内視鏡検査の画像で最も重要な構造は一般的に血管であり、これを撮像画像または画像列において主要なエッジとして際立たせることがあり得る。また、撮像テキストだけでなく、市街地のパノラマまたは幾何学的なテクスチャの被写体など細かく構成された場面を撮像した場合にも、これらのエッジは最も重要な情報を持っている。したがって、変位推定中にエッジの滑らかさを評価しておくことは重要である。ここで、エッジの滑らかさとは、エッジに沿った方向の滑らかさ、つまり、エッジの連続性を指している。

変位推定のロバスト性を向上するため、閾値δを定義してもよい。参照画像のマッチング領域Ｄ´に対する鏡面反射領域の周辺領域Ｄの検出変位が閾値δより大きい場合、つまり、ｄ（Ｄ，Ｄ´）＞δの場合は、このような変位は無効とみなされ、変位補正を考慮する必要はない。

数フレームでマッチング画像領域の探索を繰り返すと、鏡面反射を補正するのに用いる領域候補セットが得られる。

撮像されている被写体の動きに応じて、また、撮像対象の被写体とカメラと光源との相互位置関係に応じて、鏡面反射は連続的に動く可能性がある。ゆえに、鏡面反射領域がその周辺領域まで移動し、参照領域Ｄ´の一部分になる可能性もある。このような場合、Ｄ´の鏡面反射部分は、誤差メトリック計算から除かれなければならない。鏡面反射画像領域が参照画像においても検出された場合は、これが可能である。たとえ鏡面反射がマッチング周辺領域Ｄ´の一部分になったとしても、対応する置換領域Ｓ´は、対象画像の鏡面反射画像領域を少なくとも部分的に補正するのに適した候補のままと考えられる。

例えば、内視鏡検査画像の場合、撮像被写体は繰り返しパターンを有する。また、これは、その他の画像、例えば、晶質構造、顕微鏡画像、（波打っている水面などの）渦巻いて波状の被写体、または基本的に規則的なパターンのある被写体などの他の画像の場合でも当てはまる。ゆえに、鏡面反射は、ある種の繰り返しパターンでも起こり得る。このような場合、最も適合するものの探索において曖昧な結果がもたらされる可能性がある。例えば、類似しているが対応する鏡面反射領域ではない画像において、鏡面反射領域は適合するかもしれない。例えば、対象画像に３つの鏡面反射領域Ａ、Ｂ、Ｃが含まれ、それぞれは領域Ａ´、Ｂ´、Ｃ´として参照画像で見つかると仮定する。撮像した被写体とカメラと光源とは相互に動くため、対象画像の鏡面反射領域Ａに対し、参照画像の領域Ａ´よりも領域Ｂ´のほうが最もマッチングする領域として決定されるであろう。この種の曖昧さを防ぐため、可能な解決策は、ピクチャの繰り返し部分間の距離であるパターン周期よりも小さくなるように変位推定の探索領域サイズを制限することである。しかしながら、こうすると変位推定の質も低下する。

もう１つの方法として、この問題を防ぐため、同じフレーム内で最も適合するものを探索して繰り返しパターンを検出しても構わない。そして、検出されたパターンを参照画像の対応パターンと適合させ、曖昧さの問題を解決しても構わない。置換の正確性が重要な用途の場合は、対象画像と参照画像の両方のパターンを考慮しながら対象画像の鏡面反射領域を参照画像の鏡面反射領域と一致させることによって、変位推定のロバスト性を改善してもよい。

一方、知覚画質が置換の正確性より重要であれば、同じフレーム内で最も適合するものを見つけることによっても置換候補を得ることができる。このような場合、対象画像の鏡面反射領域を同じ対象画像内で見つけた置換領域で（少なくとも部分的に）置き換える。例えば、適した候補が他の画像にない場合には、このような置換を用いてもよい。しかしながら、これは、細部にこだわらない用途に対してのみ可能である。例えば、この手法を用いて、手術中に内視鏡検査画像内の鏡面反射領域を置き換えてもよい。ここでは、鏡面反射が邪魔であるため、細部を次の画像で更新することができる。しかしながら、診断目的で行う内視鏡検査撮影へこのような方法を応用するには適していない。また、この手法を用いて、例えば、プレビューや視聴を対象にした自然な画像の質を改善してもよい。しかしながら、この方法は、観察用途またはテキスト部分の置換には適していない。

特定の表面に対し、鏡面反射は、鏡面反射パターンが特殊になる場合がある。例えば、（波のような）周期的な構造の表面には鏡面反射があり、周期的に途切れている。つまり、途切れのある鏡面反射領域σが存在する（ρ⊂σ）。鏡面反射は動くため、相補的途切れ領域ρが鏡面反射で塞がれたり、途切れ領域の相補的部分Ｃρが見えたりするであろう。このような場合は、たとえ鏡面反射の動きがかなり小さかったとしても、鏡面反射を完全に補正してもよい。

変位推定処理（Ｓ５００）は、複数の画像の領域であって、Ｓ５１０で決定された鏡面反射の周辺領域に最もマッチングする領域の候補セットを供給している。候補セットが有効になった時点で、対象画像の鏡面反射領域は、候補セットに存在する領域の単体または組み合わせに置き換えられてもよい。

図６は、変位推定処理（Ｓ５００）の結果を用いて、Ｓ３００で検出された鏡面反射領域を置き換える処理（Ｓ７００）のフロー図である。第１ステップ（Ｓ７１０）として、鏡面反射を置き換える画像領域候補の適合性を評価し、最もよい候補（または、複数の候補）を選択する（Ｓ７２０）。必要であれば、参照画像からの置換領域と対象画像の周辺領域との間の遷移領域を平滑化する（Ｓ７３０）。そして、対象画像の鏡面反射領域は、適合化した最もよい置換領域（または複数の置換領域）に置き換えられる（Ｓ７４０）。

図７は、撮像（対象）画像の鏡面反射領域を参照画像の適した領域（置換領域）で置き換える手順を概略的に示している。参照画像６００の鏡面反射の周辺領域Ｄ´（周辺領域６１０）は、候補セットのうち対象画像の周辺領域Ｄに最もマッチングするとして特定されている。したがって、被覆領域

（被覆領域６３０）を特定する。この被覆領域６３０は、鏡面反射の周辺領域６１０とこの領域で囲まれた全ての画素を含む。被覆領域６３０はＤ´の凸包として定義され、以下のように表される。

被覆領域６３０を見つけた後、対象画像の鏡面反射領域を置き換えるためにさらに用いる参照領域（置換領域）Ｓ´を切り抜いても構わない。

通常、対象画像の鏡面反射領域を置き換えるため、まず、候補の適合性を評価する（Ｓ７１０）。単体または複数の参照画像の領域（置換領域）

による鏡面反射領域Ｓ（拡大した鏡面反射領域４２０）の置き換えに最もよい候補の決定、つまり、いくつかの基準を個別にまたは組み合わせて考慮してもよい。このような基準の例を以下に示す。

通例、鏡面反射は多くの連続フレームにおいて発生する。したがって、できる限り鏡面反射を含まないように、置換に最もよい参照領域を選択しなければならない。例えば、置換領域Ｓ´候補の飽和画素数をカウントしてもよい。もしカウント数が０であれば、参照領域（置換領域）Ｓ´を基準として用いることができる。しかしながら、飽和画素数が０でない場合でも、少なくとも置換領域の部分は使用できるかもしれない。最もよい領域候補を選択するために、飽和画素数が最も小さい領域Ｓ´を選択しても構わない。残りの飽和画素は、例えば、他の領域候補の画素に置き換えられても、空間的に補間されてもよい。

最もよい候補を、最もよい画像構造をもつものとして選択してもよい。このように候補を選択することで、鏡面反射に対応する撮像画像の細部の大部分を正常な状態に戻すことができる。置換領域Ｓ´候補の分散を、Ｓ´における構成量の尺度としても構わない。そして、鏡面反射領域Ｓを補正する領域として、分散が最大である領域候補を選択する。

さらに、Ｓ´の（平均）輝度を評価してもよい。参照画像からの置換領域Ｓ´の平均輝度が対象画像の鏡面反射領域の周辺領域Ｄの平均輝度と類似している場合、つまり、｜μ（Ｓ´）−μ（Ｄ）｜＜δである場合は、鏡面反射を補正する領域としてＳ´を選択する。いくつかの候補がこの基準を満たす場合は、Ｓに時間的に最も近い候補を選択する。しかしながら、この基準は全ての状況に適するわけではない。例えば、１点で静止していたカメラが動きによるブレ（被写体ブレ）となるような高速の動きをした後、同じ点までゆっくり戻るとする。このような場合は、代わりに、Ｓに空間的に最も近い候補を選択してもよい。例えば、これは、マルチビューカメラ設定において、鏡面反射のある画像を撮っているカメラから最も近い距離にあるカメラで撮った領域の可能性がある。また、周辺領域と鏡面反射領域との相対的な動きベクトルが最も小さい領域かもしれない。

また、最もよい候補として、置換領域の周辺領域Ｄ´と対象画像の周辺領域Ｄとの輝度差（つまり、｜μ（Ｄ）−μ（Ｄ´）｜）が最も小さい置換領域を選択しても、参照画像の周辺領域Ｄ´が対象画像の周辺領域Ｄに最も適合する候補、つまり

を選択してもよい。

鏡面反射の置き換えに最もよい領域候補を見つけるさらなる基準として、ノイズ量を用いてもよい。異なる参照画像における異なる置換領域候補Ｓ´のノイズを測定して比較しても構わない。このことは、自動ゲイン制御（ＡＧＣ）が有効である場合、特に、好ましい。自動ゲイン制御は、複数の画像における異なる画像（フレーム）、例えば、同じビデオシーケンスの輝度を自動的に調整できるメカニズムである。通常、画像はそれぞれ輝度が異なるため、このようなメカニズムは有益である。撮像した後で、かつ、本発明の鏡面反射領域補正を適用する前に、自動ゲイン制御をリアルタイムで行ってもよい。しかしながら、このような自動ゲイン制御の後では、異なるフレームの領域候補は、輝度が同じであってもノイズレベルは異なるかもしれない。これは、自動ゲイン制御が原因となって、異なる明るさでも同じ輝度が生成されるからである。最も正確な置換候補を選択するために、ノイズ量が最も小さい候補を選択することができる。

通常、輝度が増すとノイズも増加するため、鏡面反射補正の前に自動ゲイン制御がない場合は、今後の後処理において輝度が増すことを防ぐため、より暗い参照領域よりもより明るい参照領域を選ぶほうがよいかもしれない。

最もよい候補を選択するその他の基準は、対象画像の鏡面反射領域Ｓを置換する参照領域（置換領域）Ｓ´と周辺領域Ｄとの間の遷移領域の滑らかさでもよい。図８は、鏡面反射領域の置換領域８２０と周辺領域８１０とを含む画像８００を図示している。参照画像からの置換領域８２０と対象画像の鏡面反射領域の周辺領域８１０との間の滑らかさを、参照画像からの置換領域部分と対象画像の置換対象である鏡面反射領域の隣接領域部分とを含む遷移領域Ｔ（遷移領域８５０）にハイパスフィルタにかけることにより評価しても構わない。最もよい候補として、フィルタをかけられた遷移領域における遷移エネルギーが最も小さい参照領域（置換領域）Ｓ´を選択してもよい。これは、例えば、図８に示すような輝度の変化またはぎざぎざしたエッジ８３０が原因となる人工的な飛越しができる限りない領域を選択することに相当する。

さらに、または、代わりに、鏡面反射領域Ｓの変位ベクトルおよび周辺領域Ｄの変位ベクトルを算出かつ比較してもよい。変位ベクトルは、ある画像から別の画像への領域の変位量を示しており、言い換えると、対象画像の領域の位置と参照画像の対応（マッチング）領域の位置との距離を測ったものである。例えば、鏡面反射領域の（二値画像表示における）バイナリ変位探索によって変位ベクトルを取得してもよい。こうすることにより、必要とされるコンピュータの処理能力を削減することができる。鏡面反射領域の変位とその周辺領域の変位との差が鏡面反射領域の半径より大きい場合、鏡面反射領域はおそらく見えるようになり、鏡面反射補正に有利に用いることができる。利用可能な複数の画像いずれかにおいて鏡面反射領域が十分に見えていない場合は、少なくとも部分的に鏡面反射を補正できるよう最も大きな変位差がある画像を選択しても構わない。残りの画素は、空間的に補間しても、その他の参照画像から置き換えてもよい。つまり、それぞれが鏡面反射領域の異なる部分を覆ういくつかの参照領域によって鏡面反射領域を補正してもよい。例えば、光源が変化した場合の連続フレームにおいては、鏡面反射が探索領域外に移動したり、または、完全に消えたりすることも起こり得る。このような場合は、変位ベクトルの長さを最長に設定して、鏡面反射を対応画像領域により十分に補正することができる。

対象画像の鏡面反射領域Ｓの周辺領域と参照画像のマッチング周辺領域との間の時間的距離が大きい場合は、最もよい候補を評価するために、副条件として、ペナルティを科しても構わない。これにより、置換条件を更新し続けることができ、また、的外れな撮像画像／ビデオシーケンスを最もよい置換として選択することはない。

マッチング基準を満たしている、塞がれていない鏡面反射領域の置換領域が参照フレームに見つかるとすぐに、その置換領域を利用して現在の（対象）フレームの鏡面反射領域を置き換える。

置換領域をその新たな隣接領域に適応させるため、前処理メカニズムを用いてもよい。具体的には、エッジの方向と滑らかさを維持しながら、参照フレームから切り出された置換領域と対象（現在の）フレームにおけるその新たな隣接領域との間の遷移領域をできる限り滑らかにできれば好ましい。起こり得る回転を補正するために、例えば、アフィン変換を適用してもよい。

たとえ最も適合するものを選択する基準として輝度差が考慮されたとしても、置換領域の輝度は、鏡面反射領域の周辺領域の輝度とかなりわずかな差しかないかもしれない。この問題は、例えば、一定の輝度値を加える、または、双線形輝度関数を加えることにより置換領域の輝度を周辺領域に適応させることによって克服できるかもしれない。輝度差の補正例を図９に図示する。図９は、鏡面反射領域９２０のある対象画像９１０と、対応する置換鏡面反射領域９４０のある参照画像９３０とを示している。輝度補正は、例えば、対象画像の画素９１１および９１５ならびに参照画像の画素９３１および９３５の輝度を測定することによって行っても構わない。これらの画素は、対象画像の鏡面反射の被覆領域と参照画像の塞がれていない置換領域との境界の外側（図に示した）または内側でも構わない。対象画像９１０の破線矢印は、鏡面反射の被覆領域の輝度の空間的変化を表している。参照画像９３０の実線矢印は、対応する鏡面反射置換領域の輝度の空間的変化を表している。グラフ９５０は、測定した画素、ならびに、対象画像の破線矢印および参照画像の実線矢印に対応する破線の関係を示すライン９５１および実線の関係を示すライン９５２を示している。ライン９５１および９５２は測定した画素に基づいて補間してもよく、これらの補間した値に基づき、置換領域の画素全てに対して輝度補正を行っても構わない。

参照フレームからの置換領域と対象フレームの置換対象である鏡面反射の周辺領域との一体化を改善するその他の可能性はフィルタリングである。例えば、起こり得るサブピクセルの変位、ノイズ、および／または、動きによるブレを補正するために、最適化フィルタリングを用いてもよい。例えば、ウィーナーフィルタとしてフィルタを設計し、対応するウィーナーフィルタ係数を算出することにより、最適化フィルタリングを行ってもよい。具体的には、ウィーナーフィルタ係数ベクトルｗを、連立一次方程式Ｃ＝Ａｗの解として算出する。ここで、Ａは、鏡面反射領域の周辺領域Ｄの自己相関を表し、Ｃは対象の周辺領域Ｄと参照周辺領域Ｄ´との相互相関を表している。

さらに、または、代わりに、置換領域とその周辺領域との間の急激な遷移を防ぐために重み関数を適用してもよい。図１０は、参照画像からの置換領域の被覆領域

または置換領域に適用される重み関数１０３０と、対象画像の被覆領域

または周辺領域に適用される重み関数１０２０とを示している。重み関数１０２０および１０３０の横軸は画像における一方向（例えば、ｘ方向）の位置を示しており、縦軸は重みの値を示している。この図における囲まれた範囲１０１０は、幅が１０４０である鏡面反射領域σを表している。幅１０５０は、拡大した鏡面反射領域Ｓの幅を表し、幅１０６０は、鏡面反射領域の隣接領域を含む被覆領域

の幅を表している。この例では、重み関数は区分的線形関数（区分に分けた場合に各区分で線形となる関数）である。しかしながら、二乗余弦などの平滑化関数、または、その他の重み関数を同様に用いても構わない。

時間的に隣接する参照フレームによって鏡面反射が部分的にのみ補正されるということも起こり得る。このような場合、その他のフレームからの画像領域が、鏡面反射領域の残りの部分をカバーしてもよい。

本発明に係る鏡面反射補正は、通常、別の単一または複数の画像からの情報を持つ第１画像における鏡面反射の補正に基づく。ゆえに、このようなメカニズムは、ピクチャ間鏡面反射補正と呼ぶことができる。このメカニズムは、時間的補正メカニズムとして適用可能である。つまり、本質的に同じ被写体を撮像する画像列（ビデオシーケンス）における鏡面反射を検出かつ低減するために適用することができる。さらに、本発明は、異なるカメラで同時に撮った複数の画像における鏡面反射を検出かつ低減するためにも適用することができる。この２つの用途を組み合わせても構わない。例えば、ステレオカメラが一連の画像を撮ってもよい。同時に撮られた画像と対象画像の前後で撮られた画像との両方における鏡面反射を低減するために用いてもよい。

最近では、ステレオカメラは、映画制作者だけでなく一般人でも利用できるようになっている。さらに、ステレオカメラを内視鏡に設置してもよい。このような場合は、鏡面反射をかなり容易に補正することができる。なぜなら、同じ場面の異なる視点が２つ必ず存在するからである。また、通例、２つの撮像画像に対応する２つの視点間の構造は既知である。ステレオカメラにより提供された２つの視点を利用して、鏡面反射の運動特性に基づき、鏡面反射と画像内のその他の白い領域とを区別しても構わない。さらに、光源に対するカメラの相対的な位置が既知であれば、鏡面反射を利用して表面配向を決定することができる。一方、光源の位置が不明であれば、光源の位置を予測するために、奥行きと表面配向を推定しても構わない。光源の予測位置が全ての鏡面反射に対して同じ場合は、飽和領域が本当の鏡面反射を表すと思われる。

ある用途および状況においては、ピクチャ間鏡面反射補正をピクチャ内（空間的）鏡面反射補正と組み合わせることも有益かもしれない。空間的鏡面反射補正とは、鏡面反射領域の空間的補間などである。この補間は、（重み付けされた）線形、三次元、方向（エッジ依存）、または、その他の補間として行われても構わない。補間対象の画像の特性に応じて補間タイプを選択してもよい。このような空間的鏡面反射補正では、鏡面反射領域周辺の画素を用いて補間した画像で鏡面反射領域を置き換える。また、ピクチャ内鏡面反射補正とピクチャ間鏡面反射補正とを組み合わせてもよい。ピクチャ間補間とピクチャ内補正との切替は、鏡面反射の完全補正を目的とした用途に有益であり、これらは補間情報の真実性に重要なものではない。

特に、ピクチャ間鏡面反射領域補正から空間的補間への切替は、対象画像の鏡面反射領域を置き換えるのに利用可能な複数の参照画像から適切な参照領域（置換候補）が見つからない場合に有益かもしれない。また、空間的補間への切替は、鏡面反射領域の位置が多数のフレームにおいて変化しない期間で有利かもしれない。このような場合、所定の期間内で適切な置換領域をみつけることは到底できない。さらに、鏡面反射の画素数がかなり少ない場合、つまり、重要な細部を失うリスクも低い場合には、空間的補間への切替を適用してもよい。小さな空間的反射領域とは、数画素をカバーする領域などである。この文脈において、「小さい」と分類される厳密な尺度は、用途、重要性のある被写体について予想される最小サイズ、および解像度に応じて決められる。ピクチャ間補正からピクチャ内補正への切替が有益と考えられる上述の例の場合が、自動切替のきっかけとなるかもしれない。その他の場合も同様に考えてよい。さらに、または、その代わりに、空間的補間は、ユーザがオンオフを切り替え可能なオプションであってもよい。

上述の鏡面反射補正手法は、複数の撮像画像に対し、それらを撮像した方法に関係なく、かつ、画像撮像システムに関する情報がなくても、有効であろう。例えば、複数の撮像画像はビデオシーケンスの異なる画像でもよい。さらに、または、その代わりに、複数の撮像画像は、本質的に同じ場面／被写体を同時に撮影することによって撮像された画像でもよい。しかしながら、ビデオシーケンスの場合は、各フレームを個別に処理すると、そのビデオシーケンスの時間的滑らかさが乱れてしまう可能性もある。例えば、いくつかのビデオフレームで鏡面反射領域を検出かつ補正する一方で、その他のフレームでは補正に失敗して鏡面反射がまだ存在する場合があるかもしれない。これは、見て分かるちらつき感の原因になる。最悪の場合には、このような補正後の画質が補正しない画質よりも悪くなるであろう。また、隣接するビデオフレームにおいて、鏡面反射領域を削減するために異なる参照領域を選択した可能性があるか、もしくは、ビデオフレームによってわずかに異なる変位推定および／または置換処理を行ったのであろう。これもまた、見て分かるわずかなちらつき感となるであろう。例えば、隣接フレームには、変位補正（ピクチャ間）を用いて一度補正され、それとは別に空間的補間（ピクチャ内）で補正された、同じ鏡面反射領域が存在するかもしれない。

時間的滑らかさを改善するために、時間的画像シーケンスの知識を用いてもよい。例えば、各鏡面反射を時間で（フレームからフレームへ）追跡してもよい。そうすれば、少なくとも最小数の連続フレームの補正に対して同じ方法を適用することが保証されるであろう。最小数のフレームに同じ方法を適用できない場合は、ちらつきを防ぐため、補正を自動的に停止してもよい。例えば、時間的補正をいくつかのフレームに適用できない場合は、これらのフレームを空間的に補間してもよい。また、空間的補間もいくつかのフレームに適用できない場合は、鏡面反射補正を停止してもよい。ある方法が適用されるであろうフレームの最小数を予め定義しておいてもよい。通常、その最小数は、ちらつきの影響を防ぐよう表示フレームレートに関して選択されるであろう。例えば、フレームの表示時間が数秒に相当するようにフレームの最小数を設定しても構わない。

ビデオカメラで撮像したビデオシーケンスをインターレース方式にしても構わない。例えば、内視鏡で撮ったシーケンスも、現在は、通例、インターレース方式である。インターレース方式のビデオシーケンスが本発明に係る鏡面反射低減方法または装置への入力である場合、個々の画像フィールドを別個に処理することは有利かもしれない。通常、本発明は、フル解像度へアップサンプリングする前にフィールドに適用することができる。しかしながら、このような場合は、フィールドの縦方向ダウンサンプリングのため、ぎざぎざしたエッジに問題が生じるかもしれない。その代わりとして、フル解像度へアップサンプリングされたフィールドに鏡面反射低減方法を適用してもよい。このような場合の処理は、より計算コストが高くなる。

例えば、濡れた表面からの反射結果として、鏡面反射がよく起きる。濡れた表面および／またはガラス素材から反射された光は通常偏光する。したがって、鏡面反射を防ぐ、または、せめて低減するために、記録（画像撮像）前に偏光フィルタを用いてもよい。偏光フィルタは、例えば、光源の前、または、カメラの前にあってもよい。

さらに、３Ｄ（三次元）表示で用いられるものと類似の偏光板も、鏡面反射を防ぐ、または、低減するために用いることができるであろう。例えば、特許文献：米国特許第７２６５９０２号明細書はこのような３Ｄ表示を開示している。具体的には、米国特許第７２６５９０２号明細書に記載されている技術は、偏光板を用いて左目の視点と右目の視点とを分離している。偏向板は、光を屈折させる。ディスプレイの画素ごとに偏向素子が１つある。左目の画像および右目の画像が奇数の画素および偶数の画素で分けられるとすると、偏向素子は、奇数の画素のみを左目で、偶数の画素のみを右目でそれぞれ見る方法で、光線を制御することができる。本発明に加えて、または、本発明とは関係なく、このような偏向板を用いて、異なるビデオフレームにおける鏡面反射の異なる位置を確かにするために鏡面反射がわずかに動くよう光源の光線角度を制御することが好ましい。その一方で、これは、そのようなフレームを組み合わせることにより鏡面反射の補正を可能にする。

本発明に係る鏡面反射の補正は、オン／オフできることが好ましい。例えば、内視鏡で撮像したリアルタイムビデオに本発明を適用する場合は、たとえ補正が完全に行われたとしても、医師は、補正されたバージョンではなく元の画像データを見たいこともあるだろう。ゆえに、元の画像データはいつでも利用可能、つまり、いつでも補正をオン／オフできるべきである。

図１１は、本発明に係る、鏡面反射補正装置１１００の機能部を示す。装置に入力信号（画像信号１１０１）を入力する。この画像信号１１０１は、ステレオカメラもしくは複数のカメラ（例えば、カメラ配列）などにより、または、異なる時点かつ異なる設定（光条件など）で単一のカメラにより本質的に同じ被写体を撮像した複数の画像でもビデオシーケンスでもよい。鏡面反射補正装置１１００は、鏡面反射検出器１１１０と、変位推定器１１２０と、置換部１１３０とを備える。鏡面反射検出器１１１０は、画像信号１１０１内の鏡面反射を検出する。この検出は、図３で上述したように行ってもよい。その検出結果１１１１は、変位推定器１１２０に送られる。これは、例えば、検出した鏡面反射領域のビットマップでも、検出した鏡面反射領域の位置、形状およびサイズといったその他の指標でもよい。変位推定器１１２０は、例えば、図５で上述したように、利用可能な複数の参照フレームにおいて検出された鏡面反射領域に最も適合するものを探索する。ここで、利用可能な複数の画像とは、例えば、所定数の入力ビデオシーケンスの隣接フレーム（前または後でも）を指している。適切な候補セットを見つけるような目的用途に関し、また、探索の計算の複雑性および複数のフレームをバッファリングする必要メモリに関し、所定数（時間的探索範囲）を前もって設定しても構わない。しかしながら、さらに、または、代わりに、複数のフレームは、ステレオカメラもしくは複数のカメラなどで同じ瞬間に撮ったフレーム、または、本質的に同じ被写体および場面を撮ったその他の画像を含んでもよい。そして、変位推定器の出力１１２１は、置換部１１３０に渡される。この出力は異なる参照フレームからの置換領域候補セットであることが好ましい。置換部１１３０は、変位推定器１１２０が生成した置換領域候補セットのうち最もよい候補またはよりよい候補で対象画像における鏡面反射領域の置換を実際に行う。少なくとも部分的に置換された鏡面反射領域がある画像信号１１３１が装置から出力される。

図１２に、本発明に係る装置を用いるシステムの例を示す。これは内視鏡検査を行うシステムである。フレキシブルアーム１２１０は内視鏡本体１２５０に接続されている。光源１２２０は、光ファイバ１２２５を介して内視鏡本体に送られ、そしてフレキシブルアーム１２１０内の光ファイバを通じて内視鏡検査の被写体に送られる光を生成する。キセノンランプまたはＬＥＤなどにより生成される光を伝送する光ファイバで光を放出してもよい。しかしながら、光源は、フレキシブルアーム１２１０の先端１２１５に設置しても構わない（例えば、１以上のＬＥＤで光を放出してもよい）。フレキシブルアーム１２１０に医療器具を導入してもよく、その場合、その器具は、フレキシブルアームを通ってインターフェース１２５１経由で内視鏡検査の対象物に到達できる。水および吸引用に、コネクタ１２５２および１２５３を用いてもよい。カメラセンサは内視鏡の前面に設置することが好ましい。あるいは、カメラセンサは、内視鏡本体１２５０内部に設置しても、外部から接続してもよい。内視鏡の具体的な構成は、その目的用途次第である。本発明は、内視鏡のタイプおよび構造に限定されるものではなく、また、ソースが分からない撮像画像にも有効である。さらに、本発明は、内視鏡検査撮像により生成した鏡面反射に限定されるものではなく、どんな撮像画像の鏡面反射も低減できる。この例におけるカメラセンサは鏡面反射補正器に接続される。この鏡面反射補正器は多機能処理デバイス１２８０の一部であってもよい。鏡面反射補正で処理された内視鏡検査画像は、最終的に表示デバイス１２７０に表示され、かつ／または、多機能処理デバイス１２８０の記憶装置もしくは外部の記憶装置に格納される。内視鏡検査において、光源は、必ずしも内視鏡に直接取り付けなくともよい。例えば、腹腔鏡検査では、カメラを含む内視鏡とは関係ない腹腔内に挿入された光源があってもよい。このような場合は、場面に動きはないけれども光源は動いていることが起こり得る。このように、動き補正なしで隣接フレームにより鏡面反射を補正してもよい。

本実施の形態によると、画像における鏡面反射の影響を低減する方法および装置を提供することができる。つまり、対象画像の鏡面反射領域を検出し、検出した鏡面反射領域の周辺領域と、参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。また、検出した鏡面反射領域を、単一または複数の参照画像からの置換領域で置き換える。

なお、本実施の形態では、鏡面反射領域を置換する例について説明したが、置換の対象となる画像領域は鏡面反射領域に限定されるものではない。つまり、画素値が飽和している領域を置換するようにしてもよい。

（実施の形態２）
実施の形態１では、鏡面反射領域を置換の対象としていたが、実施の形態２では、画素値が飽和している画像領域である飽和領域と、飽和領域の周辺に位置する偽色領域とを置換の対象とする。偽色領域とは、画素値が飽和していることによりその周辺に青色の偽色が発生している領域のことである。

なお、以下の説明では、実施の形態１と異なる点を中心に説明し、同様の処理についてはその説明を適宜省略する。

実施の形態２が処理対象とする画像はＲＧＢ成分、ＹＵＶ成分またはＹＣｂＣｒ成分からなるカラー画像であるとする。

図１３は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。

実施の形態２に係る画像処理装置は、飽和領域検出部２５０１と、偽色領域検出部２５０２と、偽色補正部２５０３と、変位推定器２５０４と、置換部２５０５とを含む。

飽和領域検出部２５０１は、第１画像（対象画像）から画素値が飽和している画素領域（飽和領域）を検出する。なお、飽和画素は、とり得る最大の画素値を有する画素のみならず、所定しきい値以上の画素値を有する画素を飽和画素としてもよい。

偽色領域検出部２５０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する。

偽色補正部２５０３は、第１画像において、偽色領域に隣接する複数画素を用いて偽色領域に含まれる画素の青色成分（Ｂ成分、Ｕ成分またはＣｂ成分）の画素値を補間する。

変位推定器２５０４は、飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像（参照画像）から探索することにより、拡大領域の第２画像における対応位置を推定する。なお、第２画像は第１画像とは異なるフレームにおける画像である。

置換部２５０５は、飽和領域検出部２５０１により検出された飽和領域に含まれる画素の画素値を、変位推定器２５０４により推定された拡大領域の第２画像における対応位置の画素の画素値で置換する。

以下、画像処理装置が行う処理を、具体例を示しながら説明する。

図１４は、本発明の実施の形態２に係る画像処理装置が実行する処理のフローチャートである。

飽和領域検出部２５０１は、第１画像から画素値が飽和している画素領域である飽和領域を検出する（Ｓ２００１）。つまり、飽和領域検出部２５０１は、第１画像に含まれる画素のうち、取りうる最大の画素値を有する画素または所定しきい値以上の画素値を有する画素を飽和画素に分類し、飽和画素に分類された画素同士をグループ化することにより飽和領域を特定する。つまり、飽和領域検出部２５０１は、図３に示したＳ３１０およびＳ３２０と同様の処理を行なうことにより、飽和領域を検出する。

偽色領域検出部２５０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する（Ｓ２００２）。

図１５を参照して、偽色領域の検出方法について詳細に説明する。

図１５（ａ）に示すように、第１画像１３００の飽和領域１３０１の周囲には、本来、青色ではないにもかかわらず青色成分の画素値が大きくなり、青く見える偽色領域１３０２が生じているものとする。偽色領域検出部２５０２は、図１５（ｂ）に示すように飽和領域１３０１の中心を中心とする円１３０４を放射状に区切った複数の領域を第１画像１３００上に設定する。飽和領域１３０１の中心は、例えば、飽和領域１３０１の重心位置でも良い。図１５（ｃ）に示すように、偽色領域検出部２５０２は、各領域１３０５について、中心１３０３から放射方向１３０６（飽和領域１３０１の境界から遠ざかる方向）に向かって、各画素の青色成分の画素値を追跡する。偽色領域検出部２５０２は、青色成分の画素値を追跡した場合に、当該画素値が極大になった後に、当該画素値が所定値以下となる位置を偽色領域１３０２の境界位置と決定することにより、偽色領域１３０２を決定する。図１５（ｄ）は、決定された偽色領域１３０２の境界位置１３０７の一例を示している。

図１６は、偽色領域の境界位置の決定方法について説明するための図である。この図は、横軸が第１画像における一次元の画素位置を示しており、縦軸が画素値を示している。例えば、横軸は、第１画像１３００における飽和領域１３０１の中心１３０３を通る半径方向を示している。図１６に示すように、横軸の中心位置付近に飽和領域があり、飽和領域の周囲に偽色領域がある。さらに、偽色領域の周囲に周辺領域がある。実線で示されるように輝度成分１７１１の画素値は、飽和領域において飽和している。また、青色成分に対応するＣｂ成分１７１２（青色成分Ｂから輝度成分Ｙを引いた色差成分）は、飽和領域においては青色成分Ｂおよび輝度成分Ｙが飽和しているため０または０に近い値となる。さらに、偽色領域においては、青色の偽色が生じているためＣｂ成分１７１２の画素値が大きくなっている。偽色領域検出部２５０２は、飽和領域の境界から外側に向かってＣｂ成分１７１２の画素値を追跡する。偽色領域検出部２５０２は、Ｃｂ成分１７１２の画素値の極大値１７０３Ａまたは１７０３Ｂを検出する。その後に、偽色領域検出部２５０２は、Ｃｂ成分１７１２の画素値が所定値以下となる画素値１７０４Ａまたは１７０４Ｂの位置を検出し、当該位置を偽色領域の境界位置と決定する。

以上説明したＳ２００１およびＳ２００２の処理により、図１７（ａ）に示すような第１画像２３００において、飽和領域２３０１と偽色領域２３０２とが検出される。

再度図１４を参照して、偽色補正部２５０３は、第１画像において、偽色領域に隣接する複数画素を用いて偽色領域に含まれる画素の青色成分の画素値を補間する（Ｓ２００３）。

図１８を参照して、偽色領域の画素値補間処理（図１４のＳ２００３）について詳細に説明する。図１８（ａ）に示すように、第１画像１４００において、飽和領域１４０１および偽色領域１４０２と、偽色領域１４０２の境界１４０３が決定されているものとする。図１８（ｂ）に示すように、偽色補正部２５０３は、第１画像１４００において、互いに同一のｘ座標を有し、かつ境界１４０３に隣接する画素１４０４および１４０５を特定する。偽色補正部２５０３は、そのｘ座標上にある偽色領域１４０２に含まれる画素１４０６の青色成分の画素値を、画素１４０４および１４０５の青色成分の画素値を用いて内挿補間する。これにより、画素１４０６の青色成分の画素値を、置換する。内挿補間の方法は周知の技術を用いることができ、例えば、横軸をｙ座標、縦軸を青色成分の画素値とするグラフにおいて、画素１４０４の座標と画素１４０５の座標とを直線で結ぶことにより、画素１４０４と画素１４０５との間に位置する画素の青色成分の画素値を求めても良い。偽色補正部２５０３は、このような処理をすべてのｘ座標について行なうことにより偽色領域の補正を行う。図１８（ｃ）は、内挿補間後の第１画像１４００の一例を示しており、偽色領域がなくなり、飽和領域１４０１のみが残っている状態となる。

図１９は、偽色領域の補正処理（図１４のＳ２００３）の処理結果について説明するための図である。

図１９（ａ）に示すような対象画像の領域１８００を拡大した図が図１９（ｂ）である。領域１８０１および１８０２のように空の部分が飽和しており白く映っており、空と葉の境界領域１８０３において葉の色が青くなるという偽色が生じている。偽色領域の補正処理（図１４のＳ２００３）を実行することにより、図１９（ｃ）に示すような画像が得られる。領域１８０１および１８０２にそれぞれ対応する領域１８０４および１８０５において偽色が補正された。これにより、例えば、空と葉の境界領域１８０６において葉の色が緑色に補正されている。

なお、図１９（ａ）〜図１９（ｃ）に示す画像は、元々、カラー画像であるが、説明の都合上グレースケール表現している。このため、偽色領域の補正前と補正後の違いが分かりにくくなっているが、実際の処理においては上述したような処理結果が得られている。

図２０は、偽色領域の補正処理（図１４のＳ２００３）の他の処理結果について説明するための図である。

図２０（ａ）に示すような対象画像の領域１９００を拡大した図が図２０（ｂ）である。領域１９０１のように窓の部分が飽和しており白く映っており、窓と窓枠の境界領域１９０２において窓枠の色が青くなるという偽色が生じている。偽色領域の補正処理（図１４のＳ２００３）を実行することにより、図２０（ｃ）に示すような画像が得られる。領域１９０１に対応する領域１９０３において偽色が補正された。これにより、例えば、窓と窓枠の境界領域１９０４において窓枠の色が本来の色に補正されている。

なお、図２０（ａ）〜図２０（ｃ）に示す画像は、元々、カラー画像であるが、説明の都合上グレースケール表現している。このため、偽色領域の補正前と補正後の違いが分かりにくくなっているが、実際の処理においては上述したような処理結果が得られている。

再度図１４を参照して、変位推定器２５０４は、飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像から探索することにより、拡大領域の第２画像における対応位置を推定する（Ｓ２００４）。つまり、変位推定器２５０４は、図５に示したＳ５１０〜Ｓ５４０において、拡大された鏡面反射領域４２０の代わりに、図１７（ａ）に示した飽和領域２３０１および偽色領域２３０２からなる拡大領域を用いたのと同様の処理を行なう。つまり、図１７（ｂ）に示すように、変位推定器２５０４は、第１画像２３００において、拡大領域２３０３の被覆領域２３０４を決定する。また、変位推定器２５０４は、図１７（ｃ）に示すように、被覆領域２３０４から拡大領域２３０３を除いた周辺領域２３０５を決定する。変位推定器２５０４は、周辺領域２３０５にマッチングする画像領域を第２画像から探索することにより、周辺領域２３０５の第２画像における対応位置を推定する。図２１（ａ）は、第１画像２３００の周辺領域２３０５にマッチングする第２画像２４００の画像領域である周辺領域２４０１を示している。図２１（ｂ）に示すように、変位推定器２５０４は、周辺領域２４０１と周辺領域２４０１の内部に含まれる領域である拡大領域２４０２とからなる被覆領域２４０３を検出する。変位推定器２５０４は、図２１（ｃ）に示すように、被覆領域２４０３から、第２画像２４００の拡大領域２４０２を切り抜いても良い。図２１（ｄ）に示すように、変位推定器２５０４は、拡大領域２４０２のうち、飽和領域２３０１に対応する領域２４０４を決定する。

再度図１４を参照して、置換部２５０５は、Ｓ２００１の処理において検出された第１画像２３００の飽和領域２３０１に含まれる画素の画素値を、Ｓ２００４の処理により推定された領域２４０４に含まれる画素の画素値で置換する（Ｓ２００５）。なお、この処理は、図６に示した置換処理と同様の処理である。置換部２５０５は、実施の形態１と同様に、第１画像２３００の置換後の飽和領域２３０１と、偽色領域との間の遷移領域の画素値を平滑化する。

図１４に示した処理により、第１画像の拡大領域に含まれる偽色領域を第１画像内の他の画素の画素値を用いて補正し、上記拡大領域に含まれる飽和領域を第２画像の対応する領域の画素値で置換することができる。

以上説明したように、実施の形態２によると、飽和領域の周辺に位置する偽色領域を青色成分の画素値の変化に基づいて決定している。このため、青色成分の画素値をしきい値処理することのみを用いて偽色領域を決定する方法に比べて、正確に偽色領域の境界を特定することができる。

また、実施の形態２によると、偽色補正を第１画像（対象画像）内の画素値を用いて行っている。このため、フレーム間で被写体の見え方が極端に異なる場合などには、安定して偽色補正を行うことができる。

また、実施の形態２によると、実施の形態１と同様に、画像における画素値の飽和の影響を低減する方法および装置を提供することができる。つまり、対象画像の飽和領域および偽色領域を検出し、検出した飽和領域および偽色領域の周辺領域と、参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。また、検出した飽和領域を、単一または複数の参照画像からの置換領域で置き換える。

（実施の形態３）
実施の形態２では、偽色領域の補間を同一の画像内の画素値を用いて行っている。これに対して、実施の形態３では、偽色領域の補間を他の画像内の画素値を用いて行う。

なお、以下の説明では、実施の形態１および２と異なる点を中心に説明し、同様の処理についてはその説明を適宜省略する。

実施の形態３が処理対象とする画像はＲＧＢ成分、ＹＵＶ成分またはＹＣｂＣｒ成分からなるカラー画像であるとする。

図２２は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。

実施の形態３に係る画像処理装置は、飽和領域検出部２６０１と、偽色領域検出部２６０２と、変位推定器２６０３と、置換部２６０４とを含む。

飽和領域検出部２６０１は、第１画像（対象画像）から画素値が飽和している画素領域（飽和領域）を検出する。飽和領域検出部２６０１が実行する処理は、実施の形態２における飽和領域検出部２５０１が実行する処理と同様である。

偽色領域検出部２６０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する。偽色領域検出部２６０２が実行する処理は、実施の形態２における偽色領域検出部２５０２が実行する処理と同様である。

変位推定器２６０３は、飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像（参照画像）から探索することにより、拡大領域の第２画像における対応位置を推定する。変位推定器２６０３が実行する処理は、実施の形態２における変位推定器２５０４が実行する処理と同様である。ただし、実施の形態２では、偽色領域が補正された後の画像を第１画像としていたのに対して、実施の形態３では、偽色領域を補正する前の画像を第１画像としている点が異なる。

置換部２６０４は、第１画像の拡大領域に含まれる飽和領域の画素の画素値を、第２画像における拡大領域に含まれる飽和領域の対応位置の画素の画素値で置換し、第１画像の拡大領域に含まれる偽色領域の画素の青色成分の画素値を、第２画像における拡大領域に含まれる偽色領域の対応位置の画素の青色成分の画素値で置換する。

以下、画像処理装置が行なう処理について説明する。

図２３は、本発明の実施の形態３に係る画像処理装置が実行する処理のフローチャートである。

飽和領域検出部２６０１は、第１画像から画素値が飽和している画素領域である飽和領域を検出する（Ｓ２１０１）。Ｓ２１０１の処理は、図１４のＳ２００１の処理と同様である。

偽色領域検出部２６０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する（Ｓ２１０２）。Ｓ２１０２の処理は、図１４のＳ２００２の処理と同様である。

変位推定器２６０３は、第１画像において飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像から探索することにより、拡大領域の第２画像における対応位置を推定する（Ｓ２１０３）。Ｓ２１０３の処理は、図１４のＳ２００４の処理と同様である。ただし、実施の形態２では、偽色領域が補正された後の画像を第１画像としていたのに対して、実施の形態３では、偽色領域を補正する前の画像を第１画像としている点が異なる。Ｓ２１０３によると、図１７（ａ）に示した第１画像２３００の飽和領域２３０１および偽色領域２３０２に対応する第２画像における対応位置として、図２１（ｄ）に示すように、第２画像２４００における領域２４０４および領域２４０５が推定されたものとする。領域２４０４は、第１画像の拡大領域が拡大領域２４０２とマッチングしたとしたときの飽和領域２３０１に対応する位置の領域である。領域２４０５は、第１画像の拡大領域が拡大領域２４０２とマッチングしたとしたときの偽色領域２３０２に対応する位置の領域である。

置換部２６０４は、第１画像の拡大領域に含まれる飽和領域の画素の画素値を、第２画像における拡大領域に含まれる飽和領域の対応位置の画素の画素値で置換し、第１画像の拡大領域に含まれる偽色領域の画素の青色成分の画素値を、第２画像における拡大領域に含まれる偽色領域の対応位置の画素の青色成分の画素値で置換する（Ｓ２１０４）。つまり、置換部２６０４は、図１７（ａ）に示した第１画像２３００の飽和領域２３０１の画素値を、図２１（ｄ）に示した第２画像２４００の領域２４０４の画素値で置換する。また、置換部２６０４は、図１７（ａ）に示した第１画像２３００の偽色領域２３０２の画素値を、図２１（ｄ）に示した第２画像２４００の領域２４０５の画素値で置換する。

なお、置換部２６０４は、実施の形態１と同様に、第１画像２３００の置換後の飽和領域２３０１と置換後の偽色領域２３０２との間の遷移領域の画素値を平滑化する。

図２３に示した処理により、第１画像の拡大領域の画素値を、第２画像の対応する領域の画素値で置換することができる。

なお、第２画像の選択方法であるが、対象画像の前フレームの画像を第２画像としてもよいし、後フレームの画像を第２画像としてもよい。

図２４は、第２画像の選択方法について説明するための図である。

図２４（ａ）に示す対象画像１６００に対し、図２４（ｂ）に示す前フレーム画像１６０１と図２４（ｃ）に示す後フレーム画像１６０２とが得られているものとする。

対象画像１６００および前フレーム画像１６０１のそれぞれには、飽和領域１６０３および偽色領域１６０４が含まれているものとする。また、後フレーム画像１６０２には飽和領域および偽色領域は含まれていないものとする。図２４（ｄ）は、対象画像１６００の拡大領域１６０５の位置と、当該位置に対応する前フレーム画像１６０１の領域１６０６の位置とを示している。図２４（ｅ）は、対象画像１６００の拡大領域１６０５の位置を示している。図２４（ｆ）は、対象画像１６００の拡大領域１６０５に対応する後フレーム画像１６０２の領域１６０７の位置を示している。置換部２６０４は、拡大領域１６０５内の画素値を、領域１６０６の画素値または領域１６０７の画素値で置換することになる。その際、置換部２６０４は、拡大領域１６０５内の画素値を、領域１６０７の画素値で置換し、領域１６０６の画素値では置換しない。なぜならば、領域１６０６は飽和領域１６０３および偽色領域１６０４を含んでいるため、領域１６０６内の画素値を用いて拡大領域１６０５の画素値を置換しても、飽和領域および偽色領域の補正を適切に行うことができない。これに対して、領域１６０７は飽和領域１６０３および偽色領域１６０４のいずれの領域も含まない。このため、領域１６０７内の画素値を用いて拡大領域１６０５の画素値を置換することにより、飽和領域および偽色領域の補正を適切に行うことができる。置換部２６０４は、図２４（ｅ）に示す対象画像１６００の拡大領域１６０５の画素値を、図２４（ｆ）に示す後フレーム画像１６０２の領域１６０７の画素値で置換することにより、図２４（ｇ）に示すような飽和領域および偽色領域を含まない画像を得ることができる。なお、第２画像として用いるか否かの選択基準は、例えば、置換に用いられる領域内の飽和領域の画素数が所定の飽和画素しきい値以下であり、かつ、当該領域内の偽色領域の画素数が所定の偽色画素しきい値以下である場合に、第２画像として用いると判断しても良い。また、対象画像に隣接するフレームに第２画像が見つからなければ、さらに、２フレーム先、３フレーム先とフレーム数を増やしながら対象画像の前後のフレームの画像から第２画像を選択するようにしてもよい。

以上説明したように、実施の形態３によると、飽和領域の周辺に位置する偽色領域を青色成分の画素値の変化に基づいて決定している。このため、青色成分の画素値をしきい値処理することのみを用いて偽色領域を決定する方法に比べて、正確に偽色領域の境界を特定することができる。

また、実施の形態３によると、画像における画素値の飽和および偽色の影響を低減する方法および装置を提供することができる。つまり、対象画像の飽和領域および偽色領域を検出し、検出した飽和領域および偽色領域の周辺領域と、参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。また、検出した飽和領域および偽色領域を、単一または複数の参照画像からの置換領域で置き換える。

（実施の形態４）
実施の形態３では、飽和領域の補正と偽色領域の補正とを同時に行った。実施の形態４では、偽色領域の補正を行った後に、飽和領域の補正を行う点が実施の形態３と異なる。

なお、以下の説明では、実施の形態１〜３と異なる点を中心に説明し、同様の処理についてはその説明を適宜省略する。

実施の形態４が処理対象とする画像はＲＧＢ成分、ＹＵＶ成分またはＹＣｂＣｒ成分からなるカラー画像であるとする。

図２５は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。

実施の形態４に係る画像処理装置は、飽和領域検出部２７０１と、偽色領域検出部２７０２と、変位推定器２７０３と、置換部２７０４とを含む。

飽和領域検出部２７０１は、第１画像（対象画像）から画素値が飽和している画素領域（飽和領域）を検出する。飽和領域検出部２７０１が実行する処理は、実施の形態２における飽和領域検出部２５０１が実行する処理と同様である。

偽色領域検出部２７０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する。偽色領域検出部２７０２が実行する処理は、実施の形態２における偽色領域検出部２５０２が実行する処理と同様である。

変位推定器２７０３は、飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像（参照画像）から探索することにより、拡大領域の第２画像における対応位置を推定する。また、変位推定器２７０３は、飽和領域および当該飽和領域を拡大した隣接領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像（参照画像）から探索することにより、拡大領域の第２画像における対応位置を推定する。前者の処理は、実施の形態２における変位推定器２５０４が実行する処理と同様である。前者の処理は、偽色領域が補正される前の画像を第１画像として実行される。後者の処理は、実施の形態１における変位推定器１１２０が実行する処理と同様である。後者の処理は、偽色領域が補正された後の画像を第１画像として実行される。

置換部２７０４は、第１画像の拡大領域のうちの偽色領域に含まれる画素の青色成分の画素値を、第２画像における拡大領域の対応位置に含まれる偽色領域の対応位置の画素の青色成分の画素値で置換する。また、置換部２７０４は、当該置換後に、第１画像の拡大領域のうちの飽和領域に含まれる画素の画素値を、第２画像における拡大領域の対応位置に含まれる飽和領域の対応位置の画素の画素値で置換する。なお、１回目の置換処理は、偽色領域が補正される前の画像を第１画像として変位推定器２７０３が推定した推定結果に対して行われる。また、２回目の置換処理は、偽色領域が補正された後の画像を第１画像として変位推定器２７０３が推定した推定結果に対して行われる。

以下、画像処理装置が行う処理について説明する。

図２６は、本発明の実施の形態４に係る画像処理装置が実行する処理のフローチャートである。

飽和領域検出部２７０１は、第１画像から画素値が飽和している画素領域である飽和領域を検出する（Ｓ２２０１）。Ｓ２２０１の処理は、図１４のＳ２００１の処理と同様である。

偽色領域検出部２７０２は、第１画像から、飽和領域の周囲の画素領域であり、飽和領域において画素値が飽和していることにより青色の偽色が発生している領域を偽色領域として検出する（Ｓ２２０２）。Ｓ２２０２の処理は、図１４のＳ２００２の処理と同様である。

変位推定器２７０３は、第１画像において飽和領域および偽色領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像から探索することにより、拡大領域の第２画像における対応位置を推定する（Ｓ２２０３）。Ｓ２２０３の処理は、図２３のＳ２１０３の処理と同様である。

置換部２７０４は、第１画像の拡大領域のうちの偽色領域に含まれる画素の青色成分の画素値を、第２画像における拡大領域の対応位置に含まれる偽色領域の対応位置の画素の青色成分の画素値で置換する（Ｓ２２０４）。つまり、置換部２７０４は、図１７（ａ）に示した第１画像２３００の偽色領域２３０２の画素値を、図２１（ｄ）に示した第２画像２４００の領域２４０５の画素値で置換する。なお、置換部２７０４は、実施の形態１と同様に、第１画像２３００の飽和領域２３０１と置換後の偽色領域２３０２との間の遷移領域の画素値を平滑化する。

変位推定器２７０３は、Ｓ２２０４の処理で偽色領域の補正が行われた後の第１画像において飽和領域および飽和領域の隣接領域からなる拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第２画像から探索することにより、拡大領域の第２画像における対応位置を推定する（Ｓ２２０５）。Ｓ２２０５の処理は、偽色領域の補正が行われた後の画像を第１画像としていることと、拡大領域および周辺領域が異なること以外はＳ２２０３の処理と同様である。

置換部２７０４は、偽色領域の補正が行われた後の第１画像の拡大領域のうちの飽和領域に含まれる画素の画素値を、第２画像における拡大領域の対応位置に含まれる飽和領域の対応位置の画素の画素値で置換する（Ｓ２２０６）。つまり、置換部２７０４は、図１７（ａ）に示した第１画像２３００の飽和領域２３０１の画素値を、図２１（ｄ）に示した第２画像２４００の領域２４０４の画素値で置換する。なお、Ｓ２２０６の処理は、Ｓ２２０５での推定結果に対して行われる。なお、置換部２７０４は、実施の形態１と同様に、第１画像２３００の置換後の飽和領域２３０１と隣接領域との間の遷移領域の画素値を平滑化する。

図２６に示した処理により、第１画像の拡大領域の画素値を、第２画像の対応する領域の画素値で置換することができる。

なお、Ｓ２２０４の処理を実行する際の第２画像の選択方法であるが、対象画像の前フレームの画像を第２画像としてもよいし、後フレームの画像を第２画像としてもよい。

図２７は、第２画像の選択方法について説明するための図である。

図２７（ａ）に示す対象画像１７００に対し、図２７（ｂ）に示す前フレーム画像１７０１と図２７（ｃ）に示す後フレーム画像１７０２とが得られているものとする。

対象画像１７００および前フレーム画像１７０１のそれぞれには、飽和領域１７０３および偽色領域１７０４が含まれているものとする。また、後フレーム画像１７０２には飽和領域および偽色領域は含まれていないものとする。図２７（ｄ）は、対象画像１７００の拡大領域１７０５の位置と、当該位置に対応する前フレーム画像１７０１の領域１７０６の位置とを示している。図２７（ｅ）は、対象画像１７００の拡大領域１７０５（飽和領域１７０３および偽色領域１７０４）の位置を示している。図２７（ｆ）は、対象画像１７００の拡大領域１７０５、飽和領域１７０３および偽色領域１７０４にそれぞれ対応する後フレーム画像１７０２の領域１７０７、領域１７０８および領域１７０９の位置を示している。Ｓ２２０４の処理において、置換部２７０４は、偽色領域１７０４内の画素値を、領域１７０６内の偽色領域１７０４に対応する位置の画素値または領域１７０７内の偽色領域１７０４に対応する位置の画素値（領域１７０９の画素値）で置換することになる。その際、置換部２７０４は、偽色領域１７０４内の画素値を、領域１７０７内の画素値で置換し、領域１７０６内の画素値では置換しない。なぜならば、領域１７０６は飽和領域１７０３および偽色領域１７０４を含んでいるため、領域１７０６内の画素値を用いて偽色領域１７０４の画素値を置換しても、偽色領域の補正を適切に行うことができない。これに対して、領域１７０７は飽和領域１７０３および偽色領域１７０４のいずれの領域も含まない。このため、領域１７０７内の画素値を用いて偽色領域１７０４の画素値を置換することにより、偽色領域の補正を適切に行うことができる。置換部２７０４は、図２７（ｅ）に示す対象画像１７００の偽色領域１７０４の画素値を、図２７（ｆ）に示す後フレーム画像１７０２の領域１７０９の画素値で置換することにより、図２７（ｇ）に示すような偽色領域を含まない画像を得ることができる。なお、第２画像として用いるか否かの選択基準は、例えば、置換に用いられる領域内の飽和領域の画素数が所定の飽和画素しきい値以下であり、かつ、当該領域内の偽色領域の画素数が所定の偽色画素しきい値以下である場合に、第２画像として用いると判断しても良い。また、対象画像に隣接するフレームに第２画像が見つからなければ、さらに、２フレーム先、３フレーム先とフレーム数を増やしながら対象画像の前後のフレームの画像から第２画像を選択するようにしてもよい。

以上説明したように、実施の形態４によると、飽和領域の周辺に位置する偽色領域を青色成分の画素値の変化に基づいて決定している。このため、青色成分の画素値をしきい値処理することのみを用いて偽色領域を決定する方法に比べて、正確に偽色領域の境界を特定することができる。

また、実施の形態４によると、画像における画素値の飽和および偽色の影響を低減する方法および装置を提供することができる。つまり、対象画像の飽和領域および偽色領域を検出し、検出した飽和領域および偽色領域の周辺領域と、参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。また、検出した偽色領域を、単一または複数の参照画像からの置換領域で置き換える。また、偽色領域の置換処理後に、再度、対象画像の飽和領域を検出し、検出した飽和領域の周辺領域と、参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。また、検出した飽和領域を、単一または複数の参照画像からの置換領域で置き換える。

なお、上述の実施の形態２〜４では、偽色領域と飽和領域とを補正することとしたが、偽色領域のみを補正し、飽和領域を補正しないようにしてもよい。図１９の領域１８００のように空の部分を撮影した画像などでは、鏡面反射の場合のように飽和領域を補正するのではなく、飽和領域を補正しないほうが自然な場合があるからである。

なお、上述の実施の形態１に示した方法は、内視鏡で撮影された画像以外の通常のカメラで撮影された画像に対しても適用可能である。また、上述の実施の形態２〜４に示した方法は、内視鏡で撮影された画像に対しても適用可能である。

本発明のその他の実施の形態は、ハードウェアおよびソフトウェアを用いて上述した様々な実施の形態を実装することに関する。本発明の様々な実施の形態をコンピュータデバイス（プロセッサ）を用いて実装または実行してもよいはずである。コンピュータデバイスまたはプロセッサは、例えば、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、その他のプログラム論理デバイスなどでもよい。また、本発明の様々な実施の形態は、これらのデバイスの組み合わせによっても実行または実装してよい。

さらに、本発明の様々な実施の形態を、プロセッサでまたは直接ハードウェア内で実行されるソフトウェアモジュールの手段によっても実装して構わない。また、ソフトウェアモジュールとハードウェア実装との組み合わせも可能である。ソフトウェアモジュールは、例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、レジスタ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤなど、どの種類のコンピュータ読み取り可能記憶媒体に記憶してもよい。

まとめると、本発明は、画像における鏡面反射の影響を低減する方法および装置を提供する。具体的には、対象画像の鏡面反射領域を、検出し、かつ、単一または複数の参照画像からの画像領域で少なくとも部分的に置き換える。変位推定手法、つまり、検出した鏡面反射領域の周辺領域と参照画像とのマッチングにより、適切な置換領域を参照画像内で探索する。このような鏡面反射補正メカニズムには、画像撮像のセットアップが独立しているという利点がある。

本発明は、内視鏡で撮影された画像の鏡面反射を補正する鏡面反射補正装置、通常のカメラで撮影された鏡面反射領域、飽和領域または偽色領域を補正する画像処理装置等に適用できる。

１１００ 鏡面反射補正装置
１１０１、１１３１ 画像信号
１１１０ 鏡面反射検出器
１１１１ 検出結果
１１２０、２５０４、２６０３、２７０３ 変位推定器
１１２１ 出力
１１３０、２５０５、２６０４、２７０４ 置換部
１２１０ フレキシブルアーム
１２１５ 先端
１２２０ 光源
１２２５ 光ファイバ
１２５０ 内視鏡本体
１２５１ インターフェース
１２５２ コネクタ
１２７０ 表示デバイス
１２８０ 多機能処理デバイス
２５０１、２６０１、２７０１ 飽和領域検出部
２５０２、２６０２、２７０２ 偽色領域検出部
２５０３ 偽色補正部

Claims (16)

1. 第１画像において、画素値が所定しきい値以上の画素領域である飽和領域と当該飽和領域を少なくとも部分的に囲む隣接領域とを含む、拡大領域を検出する検出ステップと、
   前記検出ステップにおいて検出された前記拡大領域のうちの少なくとも前記隣接領域に含まれる画素の画素値を、第２画像における前記拡大領域の対応位置の画素の画素値または当該対応位置の隣接画素の画素値を用いて置換する置換ステップと
   を含む画像処理方法。
2. さらに、
   前記検出ステップにおいて検出された前記拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を前記第２画像から探索することにより、前記拡大領域の前記第２画像における対応位置を推定する推定ステップを含み、
   前記置換ステップでは、前記検出ステップにおいて検出された前記拡大領域のうちの少なくとも前記隣接領域に含まれる画素の画素値を、前記推定ステップにおいて推定された前記拡大領域の前記第２画像における対応位置の画素の画素値で置換する
   請求項１記載の画像処理方法。
3. 前記推定ステップは、
   前記検出ステップにおいて検出された前記拡大領域を少なくとも部分的に囲む周辺領域を決定するステップと、
   前記第２画像において、所定の基準に基づいて、前記周辺領域にマッチングし、かつ、所定の基準を満たす前記第１画像の拡大領域を置換するのに適した画像領域を探索するステップと、
   探索された前記画像領域の中から最も所定の尺度に合致する画像領域の位置を、前記拡大領域の前記第２画像における対応位置として選択するステップとを含む
   請求項２記載の画像処理方法。
4. 前記所定の基準は、探索された前記画像領域の飽和画素量と、探索された前記画像領域の平均輝度と、探索された前記画像領域の空間情報量、周波数情報、構成量、エッジ量、もしくはテクスチャ量と、探索された前記画像領域のノイズ量と、探索された前記画像領域と検出された前記周辺領域との間の遷移領域の滑らかさと、前記第１画像と前記第２画像との間の時間的な距離と、前記第１画像の前記拡大領域と前記第１画像の拡大領域を置換するのに適した前記第２画像の前記画像領域との間の空間的距離とのうち少なくとも１つを含む
   請求項３記載の画像処理方法。
5. 前記推定ステップでは、ビデオシーケンスの画像を前記第２画像として、または複数のカメラで撮られた画像を含む複数の画像のそれぞれを前記第２画像として、前記推定処理を行なう
   請求項２〜４のいずれか１項に記載の画像処理方法。
6. 前記置換ステップでは、さらに、前記置換処理後の、前記第１画像における前記拡大領域と前記周辺領域との間の遷移領域に含まれる画素の画素値を平滑化する
   請求項２〜５のいずれか１項に記載の画像処理方法。
7. 前記検出ステップでは、前記第１画像において、画素値が飽和している画素領域を前記飽和領域とする
   請求項１〜６のいずれか１項に記載の画像処理方法。
8. 前記検出ステップは、
   前記第１画像において、画素値が前記所定しきい値以上の画素を飽和画素に分類するステップと、
   互いに隣接する飽和画素に分類された画素同士をグループ化することによって前記飽和領域を特定するステップとを含む
   請求項１〜６のいずれか１項に記載の画像処理方法。
9. 前記隣接領域は、前記飽和領域の周辺において偽色が発生している領域である偽色領域である
   請求項１〜８のいずれか１項に記載の画像処理方法。
10. 前記置換ステップでは、前記検出ステップにおいて検出された前記拡大領域に含まれる前記飽和領域の画素の画素値を、前記第２画像における前記拡大領域に含まれる前記飽和領域の対応位置の画素の画素値で置換し、前記検出ステップにおいて検出された前記拡大領域に含まれる前記偽色領域の画素の青色成分の画素値を、前記第２画像における前記拡大領域に含まれる前記偽色領域の対応位置の画素の青色成分の画素値で置換する
    請求項９記載の画像処理方法。
11. 前記置換ステップでは、前記検出ステップにおいて検出された前記拡大領域のうちの前記偽色領域に含まれる画素の青色成分の画素値を、前記第２画像における前記拡大領域の対応位置に含まれる前記偽色領域の対応位置の画素の青色成分の画素値で置換し、当該置換後に、前記検出ステップにおいて検出された前記拡大領域のうちの前記飽和領域に含まれる画素の画素値を、前記第２画像における前記拡大領域の対応位置に含まれる前記飽和領域の対応位置の画素の画素値で置換し、
    前記検出ステップでは、さらに、前記置換ステップにおいて前記偽色領域に含まれる画素の青色成分の画素値を置換した後であって、前記飽和領域に含まれる画素の画素値を置換する前に、前記第１画像において、画素値が所定しきい値以上の画素領域である飽和領域と当該飽和領域を少なくとも部分的に囲む隣接領域とを含む拡大領域を検出する
    請求項９記載の画像処理方法。
12. 前記隣接領域は、前記飽和領域の周辺において偽色が発生している領域である偽色領域であり、
    前記第１画像と前記第２画像とは同一の画像であり、
    前記置換ステップでは、前記検出ステップにおいて検出された前記拡大領域のうちの前記隣接領域に含まれる画素の青色成分の画素値を、前記第２画像における前記隣接領域の外側の青色成分の画素値を用いて内挿補間することにより、前記隣接領域に含まれる画素の青色成分の画素値を置換する
    請求項１記載の画像処理方法。
13. さらに、
    前記検出ステップにおいて検出された前記拡大領域を少なくとも部分的に囲む周辺領域にマッチングする画像領域を第３画像から探索することにより、前記拡大領域の前記第３画像における対応位置を推定する推定ステップを含み、
    前記置換ステップは、前記検出ステップにおいて検出された前記拡大領域のうちの前記飽和領域に含まれる画素の画素値を、前記推定ステップにおいて推定された前記拡大領域の前記第３画像における対応位置の画素の画素値で置換する
    請求項１２記載の画像処理方法。
14. 前記検出ステップは、さらに、前記飽和領域の周辺の領域について、前記飽和領域の境界から遠ざかる方向に各画素の青色成分の画素値を追跡した場合に、当該画素値が極大になった後に、当該画素値が所定値以下となる位置を前記偽色領域の境界位置と決定することにより、前記偽色領域を決定する
    請求項９〜１３のいずれか１項に記載の画像処理方法。
15. 第１画像において、画素値が所定しきい値以上の画素領域である飽和領域と当該飽和領域を少なくとも部分的に囲む隣接領域とを含む、拡大領域を検出する検出部と、
    前記検出部において検出された前記拡大領域のうちの少なくとも前記隣接領域に含まれる画素の画素値を、第２画像における前記拡大領域の対応位置の画素の画素値または当該対応位置の隣接画素の画素値を用いて置換する置換部とを含む
    画像処理装置。
16. 請求項１〜１４のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images