JP3938715B2 - 色ズレ軽減装置 - Google Patents
色ズレ軽減装置 Download PDFInfo
- Publication number
- JP3938715B2 JP3938715B2 JP2002142094A JP2002142094A JP3938715B2 JP 3938715 B2 JP3938715 B2 JP 3938715B2 JP 2002142094 A JP2002142094 A JP 2002142094A JP 2002142094 A JP2002142094 A JP 2002142094A JP 3938715 B2 JP3938715 B2 JP 3938715B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- color misregistration
- image data
- misregistration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Description
【０００１】
【発明の属する技術分野】
本発明は、面順次式の撮像装置からのカラー映像信号の色ズレを軽減する色ズレ軽減装置に関する。
【０００２】
【従来の技術】
従来、電子内視鏡の撮像手段として、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長領域の照明光を時系列的に被写体に照射し、この被写体からの反射光を、例えば、電荷結合素子（ＣＣＤ）等の固体撮像素子で光電変換し、映像信号とする撮像装置が用いられている。しかし、このような撮像装置は、被写体の動きが速い場合など、時系列的に得られる３つの色成分信号にずれが生じ、いわゆる、色ズレが発生するという欠点を有している。
【０００３】
この色ズレを軽減するために、面順次式の撮像装置からカラー映像信号が入力され、このカラー映像信号の色ズレを軽減する色ズレ軽減装置が考案されている。
【０００４】
色ズレ軽減装置としては、例えば特開平３−２７０３９２号公報に記載されているように、画像の色ズレ発生部分に該画像の全体の平均色成分を当てはめて補正処理するものや、該画像の輝度成分と色成分とを用いて補正色を発生し、この補正色を色ズレ発生部分に当てはめて補正する色ズレ軽減装置などがある。
【０００５】
また、例えば特開平６−３１９６９４号公報に記載されているように、色分布ヒストグラムから最大の画素頻度値を抽出し、これを推定色として色ズレ領域の色に割り当て、補正する装置などがある。
【０００６】
さらに、例えば特開平９−７４７５０号公報に記載されているように、原画像と色ズレ補正画像の合成比率を画像の条件にあわせて変化させることで色ズレ軽減画像を作成し、処理条件の悪い、出血時や染色剤散布時の画像に対しても、自然な感じの色ズレ軽減処理画像を得ることが可能な色ズレ補正装置などがある。
【０００７】
【発明が解決しようとする課題】
しかしながら、前述したような従来の色ズレ軽装置では、生体内に存在している色素が１つであるという前提でアルゴリズムが確立されたため、染色剤を散布した粘膜で出血を伴う場合等、生体内に２つ以上の色素が存在するような場合には、染色剤の色が出血と同じ色で補正されたり、逆に、出血の色が染色剤と同じ色で補正されたり、また、固定値を色ズレ発生部分に当てはめる場合などは、無彩色で補正されるなどの問題点があった。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、生体内に２つ以上の色素が存在するような場合でも、精度良く、補正色を推定することのできる色ズレ軽減装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
本発明の色ズレ軽減装置は、面順次式の撮像手段により被写体を撮像して得られた第１および第２の画像を表す第１および第２の画像信号に基づき前記第１の画像の中で色ズレの発生している領域を検出する色ズレ領域検出手段と、前記第１の画像信号の中で前記色ズレ領域検出手段で検出された色ズレ領域を除く領域に対応する画像信号の中の第１および第２の色成分信号より第３の色成分信号を推定する色成分信号推定手段と、前記色成分信号推定手段で得られた第３の色成分信号、前記第１および第２の色成分信号とに基づく画像信号と前記第１の画像信号とに基づいて色ズレ軽減処理画像を作成する色ズレ軽減処理手段とを備えて構成される。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１１】
第１の実施の形態：
図１ないし図１０は本発明の第１の実施の形態に係わり、図１は色ズレ軽減装置の基本構成を示すブロック図、図２は図１の色ズレ領域検出部の構成を示すブロック図、図３は図１の色ズレ度算出部の構成を示すブロック図、図４は図１の画像データ推定部の構成を示すブロック図、図５は図１の色ズレ軽減処理部の構成を示すブロック図、図６は図１の色ズレ領域検出部で実施される色ズレ検出の動作を示す処理フローチャート、図７は図６の処理で採用される８×８×８のブロックに分割したＲＧＢ色空間を示す図、図８は図１の画像データ推定部による入力された画像データからＬＵＴに推定色データを書き込むまでの第１の処理フローチャート、図９は図１の画像データ推定部による入力された画像データからＬＵＴに推定色データを書き込むまでの第２の処理フローチャート、図１０は図９の処理で用いられる色ズレ度変換グラフの一例を示す図である。
【００１２】
図１に示すように、色ズレ軽減装置１は、入力された画像信号を遅延させるためのメモリ２と、入力された画像データとメモリ２において遅延された画像データに基づいて色ズレ領域を検出する色ズレ領域検出部３と、入力された画像データを１フィールド遅延させるためのメモリ４と、色ズレ領域検出部３から出力される色ズレ検出信号と入力された画像データ、及びメモリ４で遅延された画像データに基づいて、色ズレ度データを算出する色ズレ度算出部５と、色ズレ領域検出部３から出力される色ズレ検出信号と入力された画像データ及びメモリ４で遅延された画像データに基づいて画像データを推定する画像データ推定部６と、メモリ４から出力された画像データと画像データ推定部６から出力された推定画像データ及び色ズレ度算出部５から出力された色ズレ度データに基づいて色ズレ軽減処理画像を作成して出力する色ズレ軽減処理部７とで構成されている。
【００１３】
図２に示すように、色ズレ領域検出部３は、入力されたＲＧＢの画像データ及びメモリ２で遅延された画像データから色信号Ｃｒ、Ｃｂを算出して出力するＲＧＢ−ＹＣマトリックス回路８と、入力された画像データの色信号Ｃｒ、Ｃｂと遅延された画像データの色信号Ｃｒ、Ｃｂの差分を算出して所定値以上の変化があったかどうかを検出する差分検出回路９と、入力された画像データの色信号Ｃｒ、Ｃｂから入力された画像の平均色を算出して検知する平均色検出回路１０と、差分検出回路９と平均色検出回路１０の出力信号から色ズレしているかどうかを判定する色ズレ判定回路１１で構成される。
【００１４】
図３に示すように、色ズレ度算出部５は、入力されたＲＧＢの画像データと色ズレ領域検出部３から出力された色ズレ検出信号から３次元ヒストグラムを作成するヒストグラム作成部１２と、ヒストグラム作成部１２で作成された３次元ヒストグラムを参照しルックアップテーブル（以下、ＬＵＴ）１４に色ズレ度算出用テーブルデータを書き込むためのテーブル作成部１３と、メモリ４から出力された１フィールド遅延された画像データに基づいて色ズレ度データを出力するＬＵＴ１４と、ＬＵＴ１４から出力される色ズレ度データに対して色ズレしている領域と色ズレしていない領域との境界を目立たなくする処理を行うためのローパスフィルタ（以下、ＬＰＦ）１５で構成される。
【００１５】
図４に示すように、画像データ推定部６は、入力されたＲＧＢの画像データと色ズレ領域検出部３から出力された色ズレ検出信号から３次元ヒストグラムを作成するヒストグラム作成部１６と、ヒストグラム作成部１６で作成された３次元ヒストグラムを参照し第１ＬＵＴ１８ａ〜第３ＬＵＴ１８ｃに推定色データを書き込むためのテーブル作成部１７と、メモリ４から出力された１フィールド遅延された画像データに基づいて推定色データを出力する第１ＬＵＴ１８ａ〜第３ＬＵＴ１８ｃで構成される。
【００１６】
図５に示すように、色ズレ軽減処理部７は、入力された画像データから３つの推定画像データの合成比率を決定する係数決定部１９と、推定画像データと係数決定部１９から出力された係数を乗算する乗算処理部２０ａ〜２０ｃと、乗算処理部２０ａ〜２０ｃから出力されたデータを加算する加算処理部２１と、色ズレ度算出部５から出力された色ズレ度データに基づいて加算処理部２１から出力された補正画像データとメモリ４から出力された画像データとを合成処理し色ズレ軽減画像を作成する合成処理部２２とで構成される。
【００１７】
次に、このように構成されている色ズレ軽減装置の動作について説明する。まず、色ズレ領域検出部３の動作について説明する。
【００１８】
図６に示すように、ステップＳ１で入力された画像データとメモリ２によって４フィールド遅延された画像データがＲＧＢ−ＹＣマトリックス回路８に入力され、それぞれ色信号Ｃｒ、Ｃｂが、以下の式（１）及び（２）により算出される。
【００１９】
Ｃｒ＝（0.701×Ｒ−0.587×Ｇ−0.114×Ｂ）／1.402 …（１）
Ｃｂ＝（−0.299×Ｒ−0.587×Ｇ＋0.886×Ｂ）／1.772 …（２）
そしてステップＳ２で、平均色検出回路１０において現在の１フィールド分（１画面分）の平均色を算出する。
【００２０】
ステップＳ３ではＲＧＢ−ＹＣマトリックス回路８で算出された、入力された画像データの色信号Ｃｒｎ、Ｃｂｎとメモリ４で遅延された画像データの色信号Ｃｒｐ、Ｃｂｐから、差分検出回路９において、｜Ｃｒｎ−Ｃｒｐ｜，｜Ｃｂｎ−Ｃｂｐ｜が算出され、ステップＳ４であらかじめ決められた閾値を超えているかどうか、判定が行われる。どちらも閾値を超えていれば判定信号を‘１’として、閾値を超えていなければ判定信号を‘０’として色ズレ判定回路１１に信号が送られる（判定信号の極性は、その逆でも良い）。そして、判定信号が‘０’ならばステップＳ５で色ズレ判定回路１１は、色ズレしていないと判断し処理を終了する。
【００２１】
判定信号が‘１’ならばステップＳ６で色ズレ判定回路１１において、平均色が無彩色に近いかどうか判断する。これは、画像がモノクロに近いような場合、色ズレの発生によって生じた色は、平均色（この場合は無彩色）に近い場合でも目立ってしまう場合がある。従って、色ズレ判定回路１１において、平均色が無彩色に近い場合（すなわち、現在の画像がモノクロに近いような場合）は、次段のステップＳ７での平均色に近いかどうかの判定を行わず、ステップＳ８で色ズレしていると判断し処理を終了する。
【００２２】
平均色が無彩色に近くない場合は、ステップＳ７において、色ズレ判定回路１１において、現在色ズレ検出中の領域が１フィールド分（１画面分）の平均色に近い色であるかどうかを判断する。すなわち、色ズレ判定回路１１では、差分検出回路９と平均色検出回路１０の結果から、現在色ズレ検出中の領域の色が画面内の平均色に近い場合に色ズレしていない領域と判定しステップＳ５に進み色ズレしていないと判断し処理を終了し、平均色に近くない場合に色ズレしている領域と判定してステップＳ８に進み色ズレしていると判断し処理を終了、色ズレ検出信号として出力する。
【００２３】
例えば、ＣｒＣｂ色平面を１６×１６の領域に分割し、現在色ズレ検出中の色が、平均色が当てはまる領域の周辺３×３の領域に当てはまる場合は、色ズレしていない領域として判断する、などのようにしても良い。
【００２４】
差分検出回路９だけで検出した色ズレ領域は、目立たない色ズレも含まれており、補正しなくても良いような領域も補正してしまうのに対して、平均色検出回路１０で算出された１画面分の平均色を用いることで、現在の画像内において、目立つ色ズレのみを効果的に検出することが可能となる。
【００２５】
以上の処理を行うことで、色ズレである領域を精度良く判定した色ズレ検出信号を出力することが可能である。
【００２６】
次に、画像データ推定部６の動作について説明する。
入力された画像データは、色ズレ領域検出部３で色ズレしている領域か、色ズレしていない領域かの判定がされた信号である色ズレ検出信号とともに、ヒストグラム作成部１６に入力される。ヒストグラム作成部１６では、色ズレしていない領域と判定された画像データに基づいて、ＲＧＢ色空間において３次元ヒストグラムを作成する（図８のステップＳ１１〜Ｓ１４）。
【００２７】
本実施の形態では、入力される画像データは、８Ｂｉｔであるものとする。従って、入力される画像データの各画素値は、２５６×２５６×２５６のＲＧＢ色空間のいずれかの点に存在することになる。このＲＧＢ色空間を８×８×８のブロックに分割し、色ズレしていない画像データが当てはまるブロックのカウンタをインクリメントしていくことで、１画面分の３次元ヒストグラムを作成する。図７に、８×８×８のブロックに分割したＲＧＢ色空間を示す。
【００２８】
なお、本実施の形態では、ＲＧＢ色空間を８×８×８の領域に分割したが、１６×１６×１６や３２×３２×３２等、他の分割数でも良い。
【００２９】
例えば、今、（Ｒ、Ｇ、Ｂ）＝（２００、２３０、２３０）という画像データが入力され、この画素が色ズレしていない領域と判断されたとすると、入力された画像データの上位３ Ｂｉｔ を参照する。すると、図７中の点で網掛けされた、（Ｒ、Ｇ、Ｂ）＝（６、７、 ７）というブロックに当てはまるので、このブロックのカウンタ値がインクリメントされる。この動作を１画面分の画素数回繰り返し実施し、どこのブロックに色ズレしていない画素が多く存在しているか判断するための材料となる３次元ヒストグラムを作成する。
【００３０】
テーブル作成部１７は、作成された１画面分の３次元ヒストグラムから、第１ＬＵＴ１８ａ〜第３ＬＵＴ１８ｃに書き込むためのテーブルデータを作成する。
【００３１】
テーブル作成部１７は、図９のステップＳ１５〜Ｓ２２に示すように、１画面分の３次元ヒストグラムが作成終了したタイミングで、（Ｒ、Ｇ）＝（０、０）であるブロック群（図７中の斜線網掛け部）、（Ｒ、Ｇ、Ｂ）＝（０、０、０）〜（０、０、７）の８つのブロックのカウンタ値を参照し、最多頻度値を持つ（いちばん色ズレしていない画素が多い）ブロックのＢの値（０〜７の間の値）を（Ｒ、Ｇ）＝（０、０）のブロック群の推定値、すなわち、ＲとＧがともに０であるブロックに当てはまる画素のＢの推定色データとして決定し、第１ＬＵＴ１８ａのアドレス「００００００」に書き込む。（Ｒ、Ｇ）＝（０、０）のブロック群から（Ｒ、Ｇ）= （７、 ７）のブロック群まで６４回、順次同様の動作を繰り返し行い、第１ＬＵＴ１８ａのアドレス「００００００」〜「１１１１１１」までの推定色データを決定し、書き込みを行う。
【００３２】
ここで、最多頻度値を決定する際に、８つのブロックのカウンタ値がどれも０である場合（入力された原画像データのうち、色ズレしていない領域が存在していないブロック群）は、推定色データをあらかじめ決めておいた固定値（０や内視鏡画像で良く見られる代表値など）に決定する。また、最多頻度値を持つブロックが複数ある場合、そのブロックの中間値（例えば、０と７がともに最大頻度値を持つブロックだとすると、２または３）や２番目に多い頻度値を持つブロックに近いほうのブロックの値などを推定色データとして決定する。
【００３３】
同様にして、図９のステップＳ２３，Ｓ２４及びステップＳ１５〜Ｓ２１に示すように、（Ｒ、Ｂ）＝（０、０）〜（７、 ７）のブロック群まで、前述した動作を繰り返し、第２ＬＵＴ１８ｂのアドレス「００００００」〜「１１１１１１」までの推定色データを決定し、書き込みを行い、また、図９のステップＳ２３，Ｓ２５及びステップＳ１５〜Ｓ２１に示すように、（Ｇ、Ｂ）＝（０、０）〜（７、７）のブロック群まで、前述した動作を繰り返し、第３ＬＵＴ１８ｃのアドレス「００００００」〜「１１１１１１」までの推定色データを決定し、書き込みを行う。
【００３４】
メモリ４は、テーブル作成部１７で１画面分の画像データに基づいて作成された推定色データを第１ＬＵＴ１８ａ〜第３ＬＵＴ１８ｃに書き込みが終了する時間（約１フィールド）、入力された画像データを遅延させるためのものである。メモリ４で１フィールド遅延された画像データは、第１ＬＵＴ１８ａ〜第３ＬＵＴ１８ｃに入力される。
【００３５】
第１ＬＵＴ１８ａは、メモリ４からの画像データのうち、ＲとＧの画像データ値から上位３Ｂｉｔずつを使用し、Ｒの上位３Ｂｉｔを第１ＬＵＴ１８ａのアドレス上位３Ｂｉｔ、Ｇの上位３Ｂｉｔを第１ＬＵＴ１８ａのアドレス下位３Ｂｉｔに割り当て、第１ＬＵＴ１８ａに書き込まれたテーブルデータからＢの推定色データを読み出す。読み出されたＢの推定色データは、メモリ４からの画像データのうち、前述した第１ＬＵＴ１８ａのアドレスとして使用したＲとＧの上位３Ｂｉｔのデータとあわせて推定画像ＲＧとして出力される。
【００３６】
同様にして、メモリ４からの画像データのうち、ＲとＢの画像データ値に基づいて第２ＬＵＴ１８ｂからＧの推定色データを読み出し、推定画像ＲＢとして出力し、ＧとＢの画像データ値に基づいて第３ＬＵＴ１８ｃからＲの推定色データを読み出し、推定画像ＧＢとして出力する。
【００３７】
以上のような構成によって得られた推定画像は、従来の色ズレ軽減装置の推定方法に比べて、精度の良い推定画像となる。
【００３８】
今ここで、例えば、（Ｒ、Ｇ、Ｂ）＝（２００、２０、１０）のような値を持つ出血部の色と、（Ｒ、Ｇ、Ｂ）＝（３０、２０、１５０）のような値を持つメチレンブルーのような染色剤の色が同一画面内に存在している場合について説明する（説明簡略化のため、その他の色は存在していないものとする）。
【００３９】
今、（Ｒ、Ｇ、Ｂ）＝（２００、２０、１０）の画素において推定を行うとする。ＲとＢの色から推定すると、（Ｒ、Ｇ、Ｂ）＝（２００、２０、１０）と推定できるが、Ｇの１色から推定を行うと、画面内で出血している領域と染色されている領域の画素数量の違いによってどちらが推定されるかが決定されるため、出血部を染色部の色で推定したり、逆に染色部を出血部の色で推定したりする場合がある。ここでは、染色されている領域の画素数量が出血している領域の画素数量より多いとすると、（Ｒ、Ｇ、Ｂ）＝（３０、２０、１５０）と推定されてしまう。
【００４０】
従って、３つの色成分から推定したデータを合成する推定画像では、Ｇから推定した推定色データの影響を受け、出血している領域の色が彩度の低い色（無彩色調）になってしまうことがあった。
【００４１】
しかし、本実施の形態の色ズレ軽減装置の推定方法では、ＲとＧ、ＲとＢ、ＧとＢの２つの色成分から推定を行うため、いずれも（Ｒ、Ｇ、Ｂ）＝（２００、２０、１０）の出血している領域の色を推定可能となり、３つの色成分から推定したデータを合成する推定画像も精度良く推定可能となる。
【００４２】
次に、色ズレ度算出部５の動作について説明する。
色ズレ度算出部５のヒストグラム作成部１２は、画像データ推定部６のヒストグラム作成部１６と同様の動作をするため、説明を省略する。
【００４３】
テーブル作成部１３は、１画面分の３次元ヒストグラムが作成終了したタイミングで、ヒストグラム作成部１２で作成された３次元ヒストグラムを色ズレ度算出用テーブルデータとしてＬＵＴ１４に書き込む。まず（Ｒ、Ｇ、Ｂ）＝（０、０、０）のブロックのカウンタ値を読み出し、画像データの画像サイズ（１画面分の画素数）に応じて色ズレ度を決定し、ＬＵＴ１４のアドレス「０００００００００」に色ズレ度算出用テーブルデータとして書き込みを行う。
【００４４】
色ズレ度は、本実施の形態では０〜２５５の８Ｂｉｔデータとし、カウンタ値が大きいほど色ズレしていない色であると判定して０に近い値となり、逆にカウンタ値が小さいほど色ズレしている色であると判定して２５５に近い値となる。全く色ズレしていないと判定できるカウンタ値の場合は０、完全に色ズレしている色と判定できるカウンタ値の場合は２５５である。本実施の形態では色ズレ度を８Ｂｉｔデータとしたが、これに限らず、１６Ｂｉｔや４Ｂｉｔ 等、他のビット数でも良い。
【００４５】
図１０にカウンタ値から色ズレ度に変換するグラフの一例を示す。０〜２５５のうち、どの値が割り当てられるかは画像データの画像サイズによって変化する。例えば、図１０において、ある画像サイズＸでＡの変換グラフに基づいて色ズレ度への変換を行ったとすると、Ｘより小さい画像サイズＹでは、総画素数が少ないため、画像サイズＸの時と同じカウンタ値であれば、色ズレである可能性は高くなり、色ズレ度はＸの時よりも高い値を示すほうが望ましい。従って、そのような場合は、変換グラフＢに基づいて色ズレ度への変換を行うようにする。
【００４６】
（Ｒ、Ｇ、Ｂ）＝（０、０、０）と同様にして、（Ｒ、Ｇ、Ｂ）＝（０、０、１）〜（７、７、７）まで、全部で５１２ブロックのカウンタ値を読み出し、Ｒを最上位、Ｇを次の上位、Ｂを最下位に割り当てたＬＵＴ１４のアドレス「０００００００００」〜「１１１１１１１１１」に色ズレ度の書き込みを行い、ＬＵＴ１４に色ズレ度算出用テーブルを完成させる。
【００４７】
色ズレ度算出用テーブルとして完成したＬＵＴ１４には、メモリ４で遅延された画像データが入力され、各画素ごとにＲＧＢ色空間の中から該当するブロックの色ズレ度を読み出し、ＬＰＦ１５に出力されて周辺画素の色ズレ度とあわせて色ズレ度の平滑化が行われる。
【００４８】
ＬＰＦ１５は、３×３の平滑化フイルタであり、隣接画素間での色ズレ度のバラツキ、急激な変化を抑え、色ズレ軽減画像を作成した際、不自然な画像にならないように抑制する働きをする。本実施の形態では３×３の領域としたが、５×５など、他の大きさや画像の条件に応じて領域を変化させても良い。
【００４９】
次に、色ズレ軽減処理部７の動作について説明する。
内視鏡画像では、血液や染色剤（メチレンブルーなど）による色調の変化が支配的である。このような画像では、Ｒ、Ｇ、Ｂ、３つの色成分のうち、１つの色成分だけ輝度分布が広く（８Ｂｉｔデータの場合、０〜２５５の間の広い範囲にわたって輝度値が分布しているということ）、その他の色成分は、低い値に集中していることが多い（例えば、血液による色調の変化が支配的な場合はＲ、染色剤による色調の変化が支配的な場合はＢ）。
【００５０】
このような画像の色成分データから、本実施の形態の方法で残りの色成分データの推定を行う場合、輝度分布が狭い色成分データは、図７のＲＧＢ色空間の限られたブロックにデータが集中してしまうため、推定できる色も限られた色となってしまう。
【００５１】
従って、輝度分布が広い色成分データから推定した推定画像の方が、輝度分布が狭い色成分データから推定した推定画像よりも精度の良い推定画像が得られる傾向にある。
【００５２】
内視鏡画像の場合、このような画像でＲ、Ｇ、Ｂ、それぞれの色成分の平均値を算出すると、輝度分布の広い色は平均値が高く、輝度分布の狭い色は平均値が低い傾向にある。また、血液、染色剤（メチレンブルー）の両方が同じくらい色調の変化を支配している場合は、Ｒ、Ｂとも輝度分布が広く、それぞれの色成分の平均値は中間（８Ｂｉｔの場合１２８くらい）となる傾向にあり、Ｇは輝度分布が狭く、その平均値は低い傾向にある。この場合も、やはり、輝度分布が広いほうが平均値も高い傾向にある。本実施の形態では、その性質を利用し、回路規模をできるだけ小さくできる利点もあることから、平均値を用いることによって、簡易的に色成分の分布の傾向を反映させた合成比率を算出する。
【００５３】
係数決定部１９は、入力された画像データの色成分Ｒ、Ｇ、Ｂの平均値から、ＲとＧのデータから推定画像ＲＧの合成比率、ＲとＢのデータから推定画像ＲＢの合成比率、ＧとＢの画像データから推定画像ＧＢの合成比率を算出する。
【００５４】
まず、入力された画像データのＲ、Ｇ、Ｂ、それぞれの１画面分の平均値ＲAVG、ＧAVG、ＢAVGを算出する。算出された平均値ＲAVG、ＧAVG、ＢAVGから、ＲAVGとＧAVGの平均値、ＲAVGとＢAVGの平均値、ＧAVGとＢAVGの平均値を算出し、それぞれ、ＲＧAVG、ＲＢAVG、ＧＢAVGとする。
【００５５】
推定画像ＲＧの合成比率をＣｒｇ、推定画像ＲＢの合成比率をＣｒｂ、推定画像ＧＢの合成比率をＣｇｂとし、以下の式（３）〜（５）によって、各推定画像の合成比率を算出し、Ｃｒｇは乗算処理部２０ａに、Ｃｒｂは乗算処理部２０ｂに、Ｃｇｂは乗算処理部２０ｃに出力される。
【００５６】
Ｃｒｇ＝ ＲＧAVG／（ＲＧAVG＋ＲＢAVG＋ＧＢAVG） …（３）
Ｃｒｂ＝ ＲＢAVG／（ＲＧAVG＋ＲＢAVG＋ＧＢAVG） …（４）
Ｃｇｂ＝ ＧＢAVG／（ＲＧAVG＋ＲＢAVG＋ＧＢAVG） …（５）
乗算処理部２０ａでは、第１ＬＵＴ１８ａから出力された推定画像データＲＧと係数決定部１９から出力された係数Ｃｒｇを乗算し、加算処理部２１に出力する。
【００５７】
同様にして、乗算処理部２０ｂでは、推定画像データＲＢと係数Ｃｒｂが乗算され、乗算処理部２０ｃでは、推定画像データＧＢと係数Ｃｇｂが乗算され、それぞれ加算処理部２１に出力される。
【００５８】
加算処理部２１では、乗算処理部２０ａ〜２０ｃから出力されてきたデータを加算し、補正画像データを作成する。
【００５９】
このようにして作成された補正画像データは、１画面毎に画面全体の色合いに基づいた最適な合成比率で算出されており、従来の色ズレ軽減装置と比較しても、より精度の高い色ズレ補正画像データとなっている。
【００６０】
合成処理部２２は、色ズレ度算出部５から出力された色ズレ度データに基づいて、加算処理部２１から出力された補正画像データと、メモリ４から出力された画像データを合成する。色ズレ度データは、色ズレである可能性が高いほど、２５５の値に近い。従って、色ズレ度データが２５５の時は、補正画像データが１００％の割合で合成され、逆に色ズレ度データが０のときは、メモリ４から出力された画像データが１００％の割合で合成される。色ズレ度データが１２８の時は、補正画像データとメモリ４から出力された画像データとも５０％の割合で合成される。
【００６１】
以上のように、本実施の形態の色ズレ軽減装置では、従来の色ズレ軽減装置に比べて、色ズレした領域に当てはめる推定画像の精度が向上しているため、出血と染色剤が同一画面内に存在しているような画像での色ズレ軽減画像がより自然な感じの画像となり、違和感のない色ズレ軽減処理画像を得ることが可能である。
【００６２】
第２の実施の形態：
図１１ないし図１９は本発明の第２の実施の形態に係わり、図１１は色ズレ軽減装置の構成を示すブロック図、図１２は図１１の色ズレ領域検出部の構成を示すブロック図、図１３は図１１の色ズレ度演算部の構成を示すブロック図、図１４は図１１の画像データ推定部の構成を示すブロック図、図１５は図１１の色ズレ軽減処理部の構成を示すブロック図、図１６は図１１の色ズレ領域検出部で実施される色ズレ検出の動作を示す処理フローチャート、図１７は図１６の処理で採用される８×８の領域に分割したＣｒＣｂ色空間を示す図、図１８は図１７と異なる分割方法で分割したＣｒＣｂ色空間を示す図、図１９は図１１の画像データ推定部による ＬＵＴに推定色データを書き込むまでの動作フローチャートである。
【００６３】
図１１に示すように、本実施の形態における色ズレ軽減装置２３の構成は、色ズレ領域検出部２４に色ズレ軽減処理画像が入力されていること、色ズレ度演算部２５の内部構成、画像データ推定部２６の内部構成、色ズレ軽減処理部２７の内部構成を除いた以外は、第１の実施の形態における色ズレ軽減装置の構成とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号を付けて説明を省略する。
【００６４】
図１２に示すように、色ズレ領域検出部２４には、入力されたＲＧＢの画像データ及び色ズレ軽減処理部２７で処理された色ズレ軽減処理画像から色信号Ｃｒ、Ｃｂ及び輝度信号Ｙを算出して出力するＲＧＢマトリックス回路２８と、入力された画像データの色信号Ｃｒ、Ｃｂと色ズレ軽減処理部２７で処理された色ズレ軽減処理画像の色信号Ｃｒ、Ｃｂの差分を算出して色ズレ軽減処理画像の輝度信号Ｙの情報に基づいた所定値以上の変化があったかどうかを検出する差分検出回路２９がある。その他の構成は、第１の実施の形態と同様である。
【００６５】
図１３に示すように、色ズレ度演算部２５には、入力されたＲＧＢの画像データとメモリ４からの１フィールド遅延された画像データを色信号Ｃｒ、Ｃｂに変換するＲＧＢ−ＹＣマトリックス回路３０と、入力されたＲＧＢの画像データを変換した色信号Ｃｒ、Ｃｂと色ズレ領域検出部24から出力された色ズレ検出信号から２次元ヒストグラムを作成するヒストグラム作成部３１と、ヒストグラム作成部３１で作成された２次元ヒストグラムを参照しＬＵＴ３３に色ズレ度算出用テーブルデータを書き込むためのテーブル作成部３２と、ＲＧＢ−ＹＣマトリックス回路３０から出力されたメモリ４で遅延されたＲＧＢ画像データを変換した色信号Ｃｒ、Ｃｂに基づいて色ズレ度データを出力するＬＵＴ３３がある。その他の構成は、第１の実施の形態と同様である。
【００６６】
図１４に示すように、画像データ推定部２６には、ヒストグラム作成部１６で作成された３次元ヒストグラムを参照しＬＵＴ３５ａ〜３５ｃに推定色データを書き込むためのテーブル作成部３４と、メモリ４から出力された１フィールド遅延された画像データに基づいて推定色データを出力する第１ＬＵＴ３５ａ〜第３ＬＵＴ３５ｃがある。その他の構成は、第１の実施の形態と同様である。
【００６７】
図１５に示すように、色ズレ軽減処理部２７には、色ズレ度算出部２５から出力された色ズレ度データに基づいて、加算処理部２１から出力された補正画像データとメモリ４から出力された画像データとを合成処理し、色ズレ軽減画像を作成する合成処理部３６がある。その他の構成は、第１の実施の形態と同様である。
【００６８】
次に、このように構成されている色ズレ軽減装置の動作について説明する。
まず、色ズレ領域検出部２４の動作について図１６を用いて説明する。
【００６９】
図１６に示すように、入力された画像データと色ズレ軽減処理部２７から出力された色ズレ軽減処理画像データがＲＧＢ−ＹＣマトリックス回路２８に入力され、第１の実施の形態と同様に、ステップＳ５１でそれぞれ色信号Ｃｒ、Ｃｂが算出される（式（１）及び（２）参照）ほか、以下の式（６）により、色ズレ軽減処理画像データから輝度信号Ｙが算出される。
【００７０】
Ｙ＝0.3×Ｒ＋0.59×Ｇ＋0.11×Ｂ …（６）
そしてステップＳ５２で、平均色検出回路１０において現在の１フィールド分（１画面分）の平均色を算出する。
【００７１】
ＲＧＢ−ＹＣマトリックス回路２８で算出された入力された画像データの色信号Ｃｒｎ、Ｃｂｎと色ズレ軽減画像データの色信号Ｃｒｐ、Ｃｂｐから、差分検出回路２９において、第１の実施形態と同様に、ステップＳ５３で｜Ｃｒｎ−Ｃｒｐ｜ 、｜Ｃｂｎ− Ｃｂｐ｜ が算出され、あらかじめ決められた閾値を超えているかどうかの判定が行われる。第１の実施の形態と異なる点は、閾値が色ズレ軽減画像データの輝度信号Ｙの平均輝度値ＹAVGによって変化する点である。
【００７２】
暗く、彩度の低い画像では、わずかな色変化の色ズレでも目立ってしまう場合がある。このような画像では、画像全体の色信号Ｃｒ、 Ｃｂも低い傾向（無彩色、モノクロ調）にあり、第１の実施の形態と同様に固定の閾値で色ズレ判定を行うと、このわずかな色変化の色ズレを検出できない可能性がある。そこで、色ズレ軽減画像データの平均輝度値ＹAVGが低い場合には、閾値を低く設定することが必要である。そこで、ステップＳ５４で色ズレ軽減画像データの平均輝度値ＹAVGによって閾値を設定する。
【００７３】
このように、画像の明るさに応じて色ズレ検出の閾値を変化させながら、色ズレの検出結果を色ズレ判定回路１１に出力する。その他、色ズレ判定回路１１での動作、作用は、第１の実施形態と同様であって、図６で説明したステップＳ４〜Ｓ８の処理を行う。
【００７４】
以上のような構成で色ズレの検出を行うことにより、第１の実施の形態では検出することが難しかった暗い画像での色ズレ検出を向上させることが可能である。
【００７５】
なお、本実施の形態では、色ズレ軽減画像データの平均輝度値を求め、閾値の設定に用いたが、入力される画像データの平均輝度値を求め、閾値の設定に用いても良い。
【００７６】
次に、色ズレ度演算部２５の動作について説明する。
入力された画像データとメモリ４からの１フィールド遅延された画像データは、ＲＧＢ−ＹＣマトリックス回路３０によって、それぞれ色信号Ｃｒ、Ｃｂが算出されて、入力された画像データの色信号はヒストグラム作成部３１に、メモリ４からの画像データの色信号は、ＬＵＴ３３に出力される。
【００７７】
入力された画像データの色信号は、色ズレ領域検出部２４で判定された色ズレ検出信号と共にヒストグラム作成部３１に入力される。ヒストグラム作成部３１では、色ズレしていないと判定された画像データに基づいて、ＣｒＣｂ色空間において、２次元ヒストグラムを作成する。
【００７８】
本実施の形態では、第１の実施の形態と同様に、入力される画像データは、８Ｂｉｔであるものとする。従って、入力される画像データの各画素値は、２５６×２５６のＣｒＣｂ色空間のいずれかの点に存在することになる。このＣｒＣｂ色空間を８×８のブロックに分割し、色ズレしていない画像データが当てはまるブロックのカウンタをインクリメントしていくことで、１画面分の２次元ヒストグラムを作成する。図１７に８×８のブロックに分割したＣｒＣｂ色空間を示す。
【００７９】
なお、本実施の形態では、図１７のような分割の仕方をしたが、１６×１６などのように、他の分割数や、図１８のように、原点を中心にしたブロック分割の方法でも良い。
【００８０】
テーブル作成部３２は、１画面分の２次元ヒストグラムが作成終了したタイミングで、ヒストグラム作成部３１で作成された２次元ヒストグラムから色ズレ度算出用テーブルデータを求めて、ＬＵＴ３３に書き込みを行う。
【００８１】
まず、（Ｃｒ、Ｃｂ）＝（０、０）のブロックのカウンタ値を読み出し、画像データの画像サイズ（1画面分の画素数）に応じて色ズレ度を決定し、ＬＵＴ３３のアドレス「００００００」に色ズレ度算出用テーブルデータとして書き込みを行う。
【００８２】
各ブロックのカウンタ値を色ズレ度に変換する方法は、第１の実施の形態と同様であるため、説明を省略する。
【００８３】
第１の実施の形態と同様に、（Ｃｒ、Ｃｂ）＝（０、０）〜（７、７）まで、全部で６４ブロックのカウンタ値を読み出し、Ｃｒを最上位、Ｃｂを最下位に割り当てたＬＵＴ３３のアドレス「００００００」に色ズレ度の書き込みを行い、ＬＵＴ３３に色ズレ度算出用テーブルを完成させる。
【００８４】
色ズレ度算出用テーブルとして完成したＬＵＴ３３には、ＲＧＢ−ＹＣマトリックス回路３０によって変換されたメモリ４からの画像データの色信号が入力され、各画素毎にＣｒＣｂ色空間の中から該当するブロックの色ズレ度を読み出し、 ＬＰＦ１５に出力されて第１の実施の形態と同様に色ズレ度の平滑化が行われる。
【００８５】
ＬＰＦ１５の動作、作用は第１の実施の形態と同様であるので、説明を省略する。
【００８６】
次に、画像データ推定部２６の動作について説明する。
ヒストグラム作成部１６の動作、作用は、第１の実施の形態と同様であるため、説明を省略する（図８参照）。
【００８７】
テーブル作成部３４は、図１９のステップＳ１１５〜Ｓ１２６に示すように、作成された１画面分の３次元ヒストグラムから、テーブルデータを作成し、第１ＬＵＴ３５ａ〜第３ ＬＵＴ３５ｃに書き込みを行う。テーブル作成部３４は、１画面分の３次元ヒストグラムが作成終了したタイミングで、第１の実施の形態と同様にして、（Ｒ、Ｇ）＝（０、０）のブロック群に含まれる８つのブロックのカウンタ値を参照し、最多頻度値を持つブロックのＢの値を決定する。
【００８８】
本実施の形態では、第１ ＬＵＴ３５ａに書き込む推定色データが第１の実施の形態と異なっている。本実施の形態のテーブル作成部３４では、以上のようにして得られた（Ｒ、Ｇ、Ｂ）＝（０、０）（最多頻度値を持つブロック値）からＣｒ、Ｃｂを算出し、これを推定色データとして第１ ＬＵＴ３５ａのアドレス「００００００」に書き込む。（Ｒ、Ｇ）＝（０、０）のブロック群から（Ｒ、Ｇ）＝（７、７）のブロック群まで６４回、順次同様の動作を繰り返し行い、第１ ＬＵＴ３５ａのアドレス「００００００」〜「１１１１１１」までの推定色データを決定し、書き込みを行う。
【００８９】
ここで、最多頻度値を決定する際に８つのブロックのカウンタ値がどれも０である場合は、入力される原画像データの平均色信号ＣｒAVG、ＣｂAVGを求め、この値を推定色データとして決定する。最多頻度値が複数ある場合は、第１の実施の形態と同様の動作であるので説明を省略する。
【００９０】
第１ ＬＵＴ３５ａ〜第３ＬＵＴ３５ｃは、第１の実施の形態と同様にして、アドレスを発生させて推定色データＣｒ、Ｃｂを読み出し、推定画像として色ズレ軽減処理部２６へ出力を行う。
【００９１】
次に、色ズレ軽減処理部２６の動作について説明する。
係数決定部１９、乗算処理部２０、加算処理部２１については、演算を行うデータがＲ、Ｇ、ＢからＣｒ、Ｃｂになる点が異なるが、第１の実施の形態と同様の動作であるため、説明を省略する。
【００９２】
合成処理部３６は、色ズレ度算出部２５から出力された色ズレ度データに基づいて、加算処理部２１から出力された補正画像データと、メモリ４から出力された画像データを合成する。
【００９３】
加算処理部２１から出力された補正画像データは、色信号Ｃｒ、Ｃｂであるため、メモリ４から出力されたＲＧＢ画像データから色信号Ｃｒ、Ｃｂを算出し、色ズレ度データに基づいて合成を行う。合成の方法は、第１の実施の形態と同様であるため、説明を省略する。合成された色信号Ｃｒ、Ｃｂは、メモリ４から出力されたＲＧＢ画像データから出力された輝度信号Ｙとあわせて、以下の式（７）〜（９）によってＲＧＢ画像データに変換される。
【００９４】
Ｒ＝Ｙ＋1.402 ×Ｃｒ …（７）
Ｇ＝Ｙ−0.714×Ｃｒ−0.344×Ｃｂ …（８）
Ｂ＝Ｙ＋1.772×Ｃｂ …（９）
以上のように構成した色ズレ軽減装置では、第１の実施の形態の色ズレ軽減装置よりも、暗く彩度の低い画像においても色ズレの軽減処理を良好に行うことが可能である。
【００９５】
第３の実施の形態：
図２０及び図２１は本発明の第３の実施の形態に係わり、図２０は色ズレ軽減装置の構成を示すブロック図、図２１は図２０の色ズレ領域検出部の構成を示すブロック図である。
【００９６】
図２０に示すように、本実施の形態における色ズレ軽減装置３７は、入力画像を１フィールド遅延させるメモリ３８と、メモリ３８から出力された１フィールド遅延された画像データと色ズレ軽減装置３７に入力された画像データ、及び、色ズレ軽減処理部２７から出力された色ズレ軽減処理画像に基づいて色ズレ検出を行う色ズレ領域検出部３９によって構成されている。その他の構成は、第２の実施の形態における色ズレ軽減装置の構成と同様であるため、異なる点のみ説明し、同一の構成には同じ符号をつけて説明を省略する。
【００９７】
図２１に示すように、色ズレ領域検出部３８には、入力されたＲＧＢの画像データ、メモリ３８で遅延された画像データ、色ズレ軽減処理部２７で処理された色ズレ軽減画像データを色信号Ｃｒ、Ｃｂ及び輝度信号Ｙを算出するＲＧＢ−ＹＣマトリックス回路４０がある。その他の構成は、第２の実施の形態と同様であるため説明を省略する。
【００９８】
次に、このように構成されている色ズレ軽減装置の動作について説明する。
色ズレ軽減装置に入力された画像データは、メモリ３８によって１フィールド遅延されて色ズレ領域検出部３９に出力される。色ズレ領域検出部３９のＲＧＢ−ＹＣマトリックス回路４０では、第２の実施形態と同様にして、色ズレ軽減装置に入力された画像データの色信号Ｃｒ、Ｃｂと色ズレ軽減処理部２７からの色ズレ軽減画像の色信号Ｃｒｐ、Ｃｂｐとが算出される他、メモリ３８から出力された画像データの色信号Ｃｒｎ、Ｃｂｎと、入力される画像データの輝度信号Ｙが算出される。
【００９９】
色ズレ軽減装置に入力された画像データの色信号Ｃｒ、Ｃｂは、平均色検出回路１０に出力され、その他の色信号Ｃｒｎ、Ｃｂｎ、Ｃｒｐ、Ｃｂｐ、輝度信号Ｙは、差分検出回路２９に出力され、第２の実施形態と同様にしてその後の処理が行われる。
【０１００】
その他の構成の動作、作用は、第２の実施の形態と同様であるため、説明を省略する。
【０１０１】
以上、本実施の形態の色ズレ軽減装置では、第２の実施の形態では、平均色や輝度信号の平均値ＹAVGのタイミングが１フィールド遅いタイミングであったが、本実施の形態では、このタイミングも実際に処理される画像のタイミングと一致するため、第２の実施の形態の効果がさらに向上された色ズレ軽減画像を得ることができる。
【０１０２】
なお、本実施の形態では、メモリ３８に色ズレ軽減装置に入力された画像データを入力し、１フィールド遅延させたが、色ズレ軽減処理部２７から出力された色ズレ軽減処理画像を入力して遅延させても、ほぼ同様の効果を得ることが可能である。
【０１０３】
［付記］
（付記項１） 前記色ズレ補正画像作成手段は、第１の画像信号における各色成分信号の分布の状態に関する情報に基づいて３つの推定色画像の合成比率を決定する
ことを特徴とする請求項２に記載の色ズレ軽減装置。
【０１０４】
（付記項２） 前記色成分信号推定手段は、前記色ズレ領域検出手段により検出された色ズレ領域以外の領域における３つの色成分信号のうち、２つの色成分信号から、残りの１つの色成分信号を推定不可能な場合、第１の画像信号における１画面分のデータの平均値に基づいて推定を行う
ことを特徴とする請求項１に記載の色ズレ軽減装置。
【０１０５】
以上説明したように、上記各実施の形態に基づく本発明の色ズレ軽減装置によれば、従来、３つの色成分信号のうち、１色から推定していた色ズレ部分の色を２色から推定し、さらに、その３つの推定画像を画像の平均色の比率から求めた合成比率に基づいて合成を行い、色ズレ軽減画像を作成するため、生体内に２つの色素（血液、染色剤など）が存在した場合でも、精度良く色ズレが軽減された色ズレ軽減画像を得ることが可能である。
【０１０６】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【０１０７】
【発明の効果】
以上説明したように本発明によれば、生体内に２つ以上の色素が存在するような場合でも、精度良く、補正色を推定することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る色ズレ軽減装置の基本構成を示すブロック図
【図２】図１の色ズレ領域検出部の構成を示すブロック図
【図３】図１の色ズレ度算出部の構成を示すブロック図
【図４】図１の画像データ推定部の構成を示すブロック図
【図５】図１の色ズレ軽減処理部の構成を示すブロック図
【図６】図１の色ズレ領域検出部で実施される色ズレ検出の動作を示す処理フローチャート
【図７】図６の処理で採用される８×８×８のブロックに分割したＲＧＢ色空間を示す図
【図８】図１の画像データ推定部による入力された画像データからＬＵＴに推定色データを書き込むまでの第１の処理フローチャート
【図９】図１の画像データ推定部による入力された画像データからＬＵＴに推定色データを書き込むまでの第２の処理フローチャート
【図１０】図９の処理で用いられる色ズレ度変換グラフの一例を示す図
【図１１】本発明の第２の実施の形態に係る色ズレ軽減装置の構成を示すブロック図
【図１２】図１１の色ズレ領域検出部の構成を示すブロック図
【図１３】図１１の色ズレ度演算部の構成を示すブロック図
【図１４】図１１の画像データ推定部の構成を示すブロック図
【図１５】図１１の色ズレ軽減処理部の構成を示すブロック図
【図１６】図１１の色ズレ領域検出部で実施される色ズレ検出の動作を示す処理フローチャート
【図１７】図１６の処理で採用される８×８の領域に分割したＣｒＣｂ色空間を示す図
【図１８】図１７と異なる分割方法で分割したＣｒＣｂ色空間を示す図
【図１９】図１１の画像データ推定部による ＬＵＴに推定色データを書き込むまでの動作フローチャート
【図２０】本発明の第３の実施の形態に係る色ズレ軽減装置の構成を示すブロック図
【図２１】図２０の色ズレ領域検出部の構成を示すブロック図
【符号の説明】
１…色ズレ軽減装置
２，４…メモリ
３…色ズレ領域検出部
５…色ズレ度算出部
６…画像データ推定部
７…色ズレ軽減処理部
８…ＲＧＢ−ＹＣマトリックス回路
９…差分検出回路
１０…平均色検出回路
１１…色ズレ判定回路
１２，１６…ヒストグラム作成部
１３，１７…テーブル作成部
１４…ＬＵＴ
１５…ＬＰＦ
１８ａ…第１ＬＵＴ
１８ｂ…第２ＬＵＴ
１８ｃ…第３ＬＵＴ
１９…係数決定部
２０ａ〜２０ｃ…乗算処理部
２１…加算処理部
２２…合成処理部
【発明の属する技術分野】
本発明は、面順次式の撮像装置からのカラー映像信号の色ズレを軽減する色ズレ軽減装置に関する。
【０００２】
【従来の技術】
従来、電子内視鏡の撮像手段として、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長領域の照明光を時系列的に被写体に照射し、この被写体からの反射光を、例えば、電荷結合素子（ＣＣＤ）等の固体撮像素子で光電変換し、映像信号とする撮像装置が用いられている。しかし、このような撮像装置は、被写体の動きが速い場合など、時系列的に得られる３つの色成分信号にずれが生じ、いわゆる、色ズレが発生するという欠点を有している。
【０００３】
この色ズレを軽減するために、面順次式の撮像装置からカラー映像信号が入力され、このカラー映像信号の色ズレを軽減する色ズレ軽減装置が考案されている。
【０００４】
色ズレ軽減装置としては、例えば特開平３−２７０３９２号公報に記載されているように、画像の色ズレ発生部分に該画像の全体の平均色成分を当てはめて補正処理するものや、該画像の輝度成分と色成分とを用いて補正色を発生し、この補正色を色ズレ発生部分に当てはめて補正する色ズレ軽減装置などがある。
【０００５】
また、例えば特開平６−３１９６９４号公報に記載されているように、色分布ヒストグラムから最大の画素頻度値を抽出し、これを推定色として色ズレ領域の色に割り当て、補正する装置などがある。
【０００６】
さらに、例えば特開平９−７４７５０号公報に記載されているように、原画像と色ズレ補正画像の合成比率を画像の条件にあわせて変化させることで色ズレ軽減画像を作成し、処理条件の悪い、出血時や染色剤散布時の画像に対しても、自然な感じの色ズレ軽減処理画像を得ることが可能な色ズレ補正装置などがある。
【０００７】
【発明が解決しようとする課題】
しかしながら、前述したような従来の色ズレ軽装置では、生体内に存在している色素が１つであるという前提でアルゴリズムが確立されたため、染色剤を散布した粘膜で出血を伴う場合等、生体内に２つ以上の色素が存在するような場合には、染色剤の色が出血と同じ色で補正されたり、逆に、出血の色が染色剤と同じ色で補正されたり、また、固定値を色ズレ発生部分に当てはめる場合などは、無彩色で補正されるなどの問題点があった。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、生体内に２つ以上の色素が存在するような場合でも、精度良く、補正色を推定することのできる色ズレ軽減装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
本発明の色ズレ軽減装置は、面順次式の撮像手段により被写体を撮像して得られた第１および第２の画像を表す第１および第２の画像信号に基づき前記第１の画像の中で色ズレの発生している領域を検出する色ズレ領域検出手段と、前記第１の画像信号の中で前記色ズレ領域検出手段で検出された色ズレ領域を除く領域に対応する画像信号の中の第１および第２の色成分信号より第３の色成分信号を推定する色成分信号推定手段と、前記色成分信号推定手段で得られた第３の色成分信号、前記第１および第２の色成分信号とに基づく画像信号と前記第１の画像信号とに基づいて色ズレ軽減処理画像を作成する色ズレ軽減処理手段とを備えて構成される。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１１】
第１の実施の形態：
図１ないし図１０は本発明の第１の実施の形態に係わり、図１は色ズレ軽減装置の基本構成を示すブロック図、図２は図１の色ズレ領域検出部の構成を示すブロック図、図３は図１の色ズレ度算出部の構成を示すブロック図、図４は図１の画像データ推定部の構成を示すブロック図、図５は図１の色ズレ軽減処理部の構成を示すブロック図、図６は図１の色ズレ領域検出部で実施される色ズレ検出の動作を示す処理フローチャート、図７は図６の処理で採用される８×８×８のブロックに分割したＲＧＢ色空間を示す図、図８は図１の画像データ推定部による入力された画像データからＬＵＴに推定色データを書き込むまでの第１の処理フローチャート、図９は図１の画像データ推定部による入力された画像データからＬＵＴに推定色データを書き込むまでの第２の処理フローチャート、図１０は図９の処理で用いられる色ズレ度変換グラフの一例を示す図である。
【００１２】
図１に示すように、色ズレ軽減装置１は、入力された画像信号を遅延させるためのメモリ２と、入力された画像データとメモリ２において遅延された画像データに基づいて色ズレ領域を検出する色ズレ領域検出部３と、入力された画像データを１フィールド遅延させるためのメモリ４と、色ズレ領域検出部３から出力される色ズレ検出信号と入力された画像データ、及びメモリ４で遅延された画像データに基づいて、色ズレ度データを算出する色ズレ度算出部５と、色ズレ領域検出部３から出力される色ズレ検出信号と入力された画像データ及びメモリ４で遅延された画像データに基づいて画像データを推定する画像データ推定部６と、メモリ４から出力された画像データと画像データ推定部６から出力された推定画像データ及び色ズレ度算出部５から出力された色ズレ度データに基づいて色ズレ軽減処理画像を作成して出力する色ズレ軽減処理部７とで構成されている。
【００１３】
図２に示すように、色ズレ領域検出部３は、入力されたＲＧＢの画像データ及びメモリ２で遅延された画像データから色信号Ｃｒ、Ｃｂを算出して出力するＲＧＢ−ＹＣマトリックス回路８と、入力された画像データの色信号Ｃｒ、Ｃｂと遅延された画像データの色信号Ｃｒ、Ｃｂの差分を算出して所定値以上の変化があったかどうかを検出する差分検出回路９と、入力された画像データの色信号Ｃｒ、Ｃｂから入力された画像の平均色を算出して検知する平均色検出回路１０と、差分検出回路９と平均色検出回路１０の出力信号から色ズレしているかどうかを判定する色ズレ判定回路１１で構成される。
【００１４】
図３に示すように、色ズレ度算出部５は、入力されたＲＧＢの画像データと色ズレ領域検出部３から出力された色ズレ検出信号から３次元ヒストグラムを作成するヒストグラム作成部１２と、ヒストグラム作成部１２で作成された３次元ヒストグラムを参照しルックアップテーブル（以下、ＬＵＴ）１４に色ズレ度算出用テーブルデータを書き込むためのテーブル作成部１３と、メモリ４から出力された１フィールド遅延された画像データに基づいて色ズレ度データを出力するＬＵＴ１４と、ＬＵＴ１４から出力される色ズレ度データに対して色ズレしている領域と色ズレしていない領域との境界を目立たなくする処理を行うためのローパスフィルタ（以下、ＬＰＦ）１５で構成される。
【００１５】
図４に示すように、画像データ推定部６は、入力されたＲＧＢの画像データと色ズレ領域検出部３から出力された色ズレ検出信号から３次元ヒストグラムを作成するヒストグラム作成部１６と、ヒストグラム作成部１６で作成された３次元ヒストグラムを参照し第１ＬＵＴ１８ａ〜第３ＬＵＴ１８ｃに推定色データを書き込むためのテーブル作成部１７と、メモリ４から出力された１フィールド遅延された画像データに基づいて推定色データを出力する第１ＬＵＴ１８ａ〜第３ＬＵＴ１８ｃで構成される。
【００１６】
図５に示すように、色ズレ軽減処理部７は、入力された画像データから３つの推定画像データの合成比率を決定する係数決定部１９と、推定画像データと係数決定部１９から出力された係数を乗算する乗算処理部２０ａ〜２０ｃと、乗算処理部２０ａ〜２０ｃから出力されたデータを加算する加算処理部２１と、色ズレ度算出部５から出力された色ズレ度データに基づいて加算処理部２１から出力された補正画像データとメモリ４から出力された画像データとを合成処理し色ズレ軽減画像を作成する合成処理部２２とで構成される。
【００１７】
次に、このように構成されている色ズレ軽減装置の動作について説明する。まず、色ズレ領域検出部３の動作について説明する。
【００１８】
図６に示すように、ステップＳ１で入力された画像データとメモリ２によって４フィールド遅延された画像データがＲＧＢ−ＹＣマトリックス回路８に入力され、それぞれ色信号Ｃｒ、Ｃｂが、以下の式（１）及び（２）により算出される。
【００１９】
Ｃｒ＝（0.701×Ｒ−0.587×Ｇ−0.114×Ｂ）／1.402 …（１）
Ｃｂ＝（−0.299×Ｒ−0.587×Ｇ＋0.886×Ｂ）／1.772 …（２）
そしてステップＳ２で、平均色検出回路１０において現在の１フィールド分（１画面分）の平均色を算出する。
【００２０】
ステップＳ３ではＲＧＢ−ＹＣマトリックス回路８で算出された、入力された画像データの色信号Ｃｒｎ、Ｃｂｎとメモリ４で遅延された画像データの色信号Ｃｒｐ、Ｃｂｐから、差分検出回路９において、｜Ｃｒｎ−Ｃｒｐ｜，｜Ｃｂｎ−Ｃｂｐ｜が算出され、ステップＳ４であらかじめ決められた閾値を超えているかどうか、判定が行われる。どちらも閾値を超えていれば判定信号を‘１’として、閾値を超えていなければ判定信号を‘０’として色ズレ判定回路１１に信号が送られる（判定信号の極性は、その逆でも良い）。そして、判定信号が‘０’ならばステップＳ５で色ズレ判定回路１１は、色ズレしていないと判断し処理を終了する。
【００２１】
判定信号が‘１’ならばステップＳ６で色ズレ判定回路１１において、平均色が無彩色に近いかどうか判断する。これは、画像がモノクロに近いような場合、色ズレの発生によって生じた色は、平均色（この場合は無彩色）に近い場合でも目立ってしまう場合がある。従って、色ズレ判定回路１１において、平均色が無彩色に近い場合（すなわち、現在の画像がモノクロに近いような場合）は、次段のステップＳ７での平均色に近いかどうかの判定を行わず、ステップＳ８で色ズレしていると判断し処理を終了する。
【００２２】
平均色が無彩色に近くない場合は、ステップＳ７において、色ズレ判定回路１１において、現在色ズレ検出中の領域が１フィールド分（１画面分）の平均色に近い色であるかどうかを判断する。すなわち、色ズレ判定回路１１では、差分検出回路９と平均色検出回路１０の結果から、現在色ズレ検出中の領域の色が画面内の平均色に近い場合に色ズレしていない領域と判定しステップＳ５に進み色ズレしていないと判断し処理を終了し、平均色に近くない場合に色ズレしている領域と判定してステップＳ８に進み色ズレしていると判断し処理を終了、色ズレ検出信号として出力する。
【００２３】
例えば、ＣｒＣｂ色平面を１６×１６の領域に分割し、現在色ズレ検出中の色が、平均色が当てはまる領域の周辺３×３の領域に当てはまる場合は、色ズレしていない領域として判断する、などのようにしても良い。
【００２４】
差分検出回路９だけで検出した色ズレ領域は、目立たない色ズレも含まれており、補正しなくても良いような領域も補正してしまうのに対して、平均色検出回路１０で算出された１画面分の平均色を用いることで、現在の画像内において、目立つ色ズレのみを効果的に検出することが可能となる。
【００２５】
以上の処理を行うことで、色ズレである領域を精度良く判定した色ズレ検出信号を出力することが可能である。
【００２６】
次に、画像データ推定部６の動作について説明する。
入力された画像データは、色ズレ領域検出部３で色ズレしている領域か、色ズレしていない領域かの判定がされた信号である色ズレ検出信号とともに、ヒストグラム作成部１６に入力される。ヒストグラム作成部１６では、色ズレしていない領域と判定された画像データに基づいて、ＲＧＢ色空間において３次元ヒストグラムを作成する（図８のステップＳ１１〜Ｓ１４）。
【００２７】
本実施の形態では、入力される画像データは、８Ｂｉｔであるものとする。従って、入力される画像データの各画素値は、２５６×２５６×２５６のＲＧＢ色空間のいずれかの点に存在することになる。このＲＧＢ色空間を８×８×８のブロックに分割し、色ズレしていない画像データが当てはまるブロックのカウンタをインクリメントしていくことで、１画面分の３次元ヒストグラムを作成する。図７に、８×８×８のブロックに分割したＲＧＢ色空間を示す。
【００２８】
なお、本実施の形態では、ＲＧＢ色空間を８×８×８の領域に分割したが、１６×１６×１６や３２×３２×３２等、他の分割数でも良い。
【００２９】
例えば、今、（Ｒ、Ｇ、Ｂ）＝（２００、２３０、２３０）という画像データが入力され、この画素が色ズレしていない領域と判断されたとすると、入力された画像データの上位３ Ｂｉｔ を参照する。すると、図７中の点で網掛けされた、（Ｒ、Ｇ、Ｂ）＝（６、７、 ７）というブロックに当てはまるので、このブロックのカウンタ値がインクリメントされる。この動作を１画面分の画素数回繰り返し実施し、どこのブロックに色ズレしていない画素が多く存在しているか判断するための材料となる３次元ヒストグラムを作成する。
【００３０】
テーブル作成部１７は、作成された１画面分の３次元ヒストグラムから、第１ＬＵＴ１８ａ〜第３ＬＵＴ１８ｃに書き込むためのテーブルデータを作成する。
【００３１】
テーブル作成部１７は、図９のステップＳ１５〜Ｓ２２に示すように、１画面分の３次元ヒストグラムが作成終了したタイミングで、（Ｒ、Ｇ）＝（０、０）であるブロック群（図７中の斜線網掛け部）、（Ｒ、Ｇ、Ｂ）＝（０、０、０）〜（０、０、７）の８つのブロックのカウンタ値を参照し、最多頻度値を持つ（いちばん色ズレしていない画素が多い）ブロックのＢの値（０〜７の間の値）を（Ｒ、Ｇ）＝（０、０）のブロック群の推定値、すなわち、ＲとＧがともに０であるブロックに当てはまる画素のＢの推定色データとして決定し、第１ＬＵＴ１８ａのアドレス「００００００」に書き込む。（Ｒ、Ｇ）＝（０、０）のブロック群から（Ｒ、Ｇ）= （７、 ７）のブロック群まで６４回、順次同様の動作を繰り返し行い、第１ＬＵＴ１８ａのアドレス「００００００」〜「１１１１１１」までの推定色データを決定し、書き込みを行う。
【００３２】
ここで、最多頻度値を決定する際に、８つのブロックのカウンタ値がどれも０である場合（入力された原画像データのうち、色ズレしていない領域が存在していないブロック群）は、推定色データをあらかじめ決めておいた固定値（０や内視鏡画像で良く見られる代表値など）に決定する。また、最多頻度値を持つブロックが複数ある場合、そのブロックの中間値（例えば、０と７がともに最大頻度値を持つブロックだとすると、２または３）や２番目に多い頻度値を持つブロックに近いほうのブロックの値などを推定色データとして決定する。
【００３３】
同様にして、図９のステップＳ２３，Ｓ２４及びステップＳ１５〜Ｓ２１に示すように、（Ｒ、Ｂ）＝（０、０）〜（７、 ７）のブロック群まで、前述した動作を繰り返し、第２ＬＵＴ１８ｂのアドレス「００００００」〜「１１１１１１」までの推定色データを決定し、書き込みを行い、また、図９のステップＳ２３，Ｓ２５及びステップＳ１５〜Ｓ２１に示すように、（Ｇ、Ｂ）＝（０、０）〜（７、７）のブロック群まで、前述した動作を繰り返し、第３ＬＵＴ１８ｃのアドレス「００００００」〜「１１１１１１」までの推定色データを決定し、書き込みを行う。
【００３４】
メモリ４は、テーブル作成部１７で１画面分の画像データに基づいて作成された推定色データを第１ＬＵＴ１８ａ〜第３ＬＵＴ１８ｃに書き込みが終了する時間（約１フィールド）、入力された画像データを遅延させるためのものである。メモリ４で１フィールド遅延された画像データは、第１ＬＵＴ１８ａ〜第３ＬＵＴ１８ｃに入力される。
【００３５】
第１ＬＵＴ１８ａは、メモリ４からの画像データのうち、ＲとＧの画像データ値から上位３Ｂｉｔずつを使用し、Ｒの上位３Ｂｉｔを第１ＬＵＴ１８ａのアドレス上位３Ｂｉｔ、Ｇの上位３Ｂｉｔを第１ＬＵＴ１８ａのアドレス下位３Ｂｉｔに割り当て、第１ＬＵＴ１８ａに書き込まれたテーブルデータからＢの推定色データを読み出す。読み出されたＢの推定色データは、メモリ４からの画像データのうち、前述した第１ＬＵＴ１８ａのアドレスとして使用したＲとＧの上位３Ｂｉｔのデータとあわせて推定画像ＲＧとして出力される。
【００３６】
同様にして、メモリ４からの画像データのうち、ＲとＢの画像データ値に基づいて第２ＬＵＴ１８ｂからＧの推定色データを読み出し、推定画像ＲＢとして出力し、ＧとＢの画像データ値に基づいて第３ＬＵＴ１８ｃからＲの推定色データを読み出し、推定画像ＧＢとして出力する。
【００３７】
以上のような構成によって得られた推定画像は、従来の色ズレ軽減装置の推定方法に比べて、精度の良い推定画像となる。
【００３８】
今ここで、例えば、（Ｒ、Ｇ、Ｂ）＝（２００、２０、１０）のような値を持つ出血部の色と、（Ｒ、Ｇ、Ｂ）＝（３０、２０、１５０）のような値を持つメチレンブルーのような染色剤の色が同一画面内に存在している場合について説明する（説明簡略化のため、その他の色は存在していないものとする）。
【００３９】
今、（Ｒ、Ｇ、Ｂ）＝（２００、２０、１０）の画素において推定を行うとする。ＲとＢの色から推定すると、（Ｒ、Ｇ、Ｂ）＝（２００、２０、１０）と推定できるが、Ｇの１色から推定を行うと、画面内で出血している領域と染色されている領域の画素数量の違いによってどちらが推定されるかが決定されるため、出血部を染色部の色で推定したり、逆に染色部を出血部の色で推定したりする場合がある。ここでは、染色されている領域の画素数量が出血している領域の画素数量より多いとすると、（Ｒ、Ｇ、Ｂ）＝（３０、２０、１５０）と推定されてしまう。
【００４０】
従って、３つの色成分から推定したデータを合成する推定画像では、Ｇから推定した推定色データの影響を受け、出血している領域の色が彩度の低い色（無彩色調）になってしまうことがあった。
【００４１】
しかし、本実施の形態の色ズレ軽減装置の推定方法では、ＲとＧ、ＲとＢ、ＧとＢの２つの色成分から推定を行うため、いずれも（Ｒ、Ｇ、Ｂ）＝（２００、２０、１０）の出血している領域の色を推定可能となり、３つの色成分から推定したデータを合成する推定画像も精度良く推定可能となる。
【００４２】
次に、色ズレ度算出部５の動作について説明する。
色ズレ度算出部５のヒストグラム作成部１２は、画像データ推定部６のヒストグラム作成部１６と同様の動作をするため、説明を省略する。
【００４３】
テーブル作成部１３は、１画面分の３次元ヒストグラムが作成終了したタイミングで、ヒストグラム作成部１２で作成された３次元ヒストグラムを色ズレ度算出用テーブルデータとしてＬＵＴ１４に書き込む。まず（Ｒ、Ｇ、Ｂ）＝（０、０、０）のブロックのカウンタ値を読み出し、画像データの画像サイズ（１画面分の画素数）に応じて色ズレ度を決定し、ＬＵＴ１４のアドレス「０００００００００」に色ズレ度算出用テーブルデータとして書き込みを行う。
【００４４】
色ズレ度は、本実施の形態では０〜２５５の８Ｂｉｔデータとし、カウンタ値が大きいほど色ズレしていない色であると判定して０に近い値となり、逆にカウンタ値が小さいほど色ズレしている色であると判定して２５５に近い値となる。全く色ズレしていないと判定できるカウンタ値の場合は０、完全に色ズレしている色と判定できるカウンタ値の場合は２５５である。本実施の形態では色ズレ度を８Ｂｉｔデータとしたが、これに限らず、１６Ｂｉｔや４Ｂｉｔ 等、他のビット数でも良い。
【００４５】
図１０にカウンタ値から色ズレ度に変換するグラフの一例を示す。０〜２５５のうち、どの値が割り当てられるかは画像データの画像サイズによって変化する。例えば、図１０において、ある画像サイズＸでＡの変換グラフに基づいて色ズレ度への変換を行ったとすると、Ｘより小さい画像サイズＹでは、総画素数が少ないため、画像サイズＸの時と同じカウンタ値であれば、色ズレである可能性は高くなり、色ズレ度はＸの時よりも高い値を示すほうが望ましい。従って、そのような場合は、変換グラフＢに基づいて色ズレ度への変換を行うようにする。
【００４６】
（Ｒ、Ｇ、Ｂ）＝（０、０、０）と同様にして、（Ｒ、Ｇ、Ｂ）＝（０、０、１）〜（７、７、７）まで、全部で５１２ブロックのカウンタ値を読み出し、Ｒを最上位、Ｇを次の上位、Ｂを最下位に割り当てたＬＵＴ１４のアドレス「０００００００００」〜「１１１１１１１１１」に色ズレ度の書き込みを行い、ＬＵＴ１４に色ズレ度算出用テーブルを完成させる。
【００４７】
色ズレ度算出用テーブルとして完成したＬＵＴ１４には、メモリ４で遅延された画像データが入力され、各画素ごとにＲＧＢ色空間の中から該当するブロックの色ズレ度を読み出し、ＬＰＦ１５に出力されて周辺画素の色ズレ度とあわせて色ズレ度の平滑化が行われる。
【００４８】
ＬＰＦ１５は、３×３の平滑化フイルタであり、隣接画素間での色ズレ度のバラツキ、急激な変化を抑え、色ズレ軽減画像を作成した際、不自然な画像にならないように抑制する働きをする。本実施の形態では３×３の領域としたが、５×５など、他の大きさや画像の条件に応じて領域を変化させても良い。
【００４９】
次に、色ズレ軽減処理部７の動作について説明する。
内視鏡画像では、血液や染色剤（メチレンブルーなど）による色調の変化が支配的である。このような画像では、Ｒ、Ｇ、Ｂ、３つの色成分のうち、１つの色成分だけ輝度分布が広く（８Ｂｉｔデータの場合、０〜２５５の間の広い範囲にわたって輝度値が分布しているということ）、その他の色成分は、低い値に集中していることが多い（例えば、血液による色調の変化が支配的な場合はＲ、染色剤による色調の変化が支配的な場合はＢ）。
【００５０】
このような画像の色成分データから、本実施の形態の方法で残りの色成分データの推定を行う場合、輝度分布が狭い色成分データは、図７のＲＧＢ色空間の限られたブロックにデータが集中してしまうため、推定できる色も限られた色となってしまう。
【００５１】
従って、輝度分布が広い色成分データから推定した推定画像の方が、輝度分布が狭い色成分データから推定した推定画像よりも精度の良い推定画像が得られる傾向にある。
【００５２】
内視鏡画像の場合、このような画像でＲ、Ｇ、Ｂ、それぞれの色成分の平均値を算出すると、輝度分布の広い色は平均値が高く、輝度分布の狭い色は平均値が低い傾向にある。また、血液、染色剤（メチレンブルー）の両方が同じくらい色調の変化を支配している場合は、Ｒ、Ｂとも輝度分布が広く、それぞれの色成分の平均値は中間（８Ｂｉｔの場合１２８くらい）となる傾向にあり、Ｇは輝度分布が狭く、その平均値は低い傾向にある。この場合も、やはり、輝度分布が広いほうが平均値も高い傾向にある。本実施の形態では、その性質を利用し、回路規模をできるだけ小さくできる利点もあることから、平均値を用いることによって、簡易的に色成分の分布の傾向を反映させた合成比率を算出する。
【００５３】
係数決定部１９は、入力された画像データの色成分Ｒ、Ｇ、Ｂの平均値から、ＲとＧのデータから推定画像ＲＧの合成比率、ＲとＢのデータから推定画像ＲＢの合成比率、ＧとＢの画像データから推定画像ＧＢの合成比率を算出する。
【００５４】
まず、入力された画像データのＲ、Ｇ、Ｂ、それぞれの１画面分の平均値ＲAVG、ＧAVG、ＢAVGを算出する。算出された平均値ＲAVG、ＧAVG、ＢAVGから、ＲAVGとＧAVGの平均値、ＲAVGとＢAVGの平均値、ＧAVGとＢAVGの平均値を算出し、それぞれ、ＲＧAVG、ＲＢAVG、ＧＢAVGとする。
【００５５】
推定画像ＲＧの合成比率をＣｒｇ、推定画像ＲＢの合成比率をＣｒｂ、推定画像ＧＢの合成比率をＣｇｂとし、以下の式（３）〜（５）によって、各推定画像の合成比率を算出し、Ｃｒｇは乗算処理部２０ａに、Ｃｒｂは乗算処理部２０ｂに、Ｃｇｂは乗算処理部２０ｃに出力される。
【００５６】
Ｃｒｇ＝ ＲＧAVG／（ＲＧAVG＋ＲＢAVG＋ＧＢAVG） …（３）
Ｃｒｂ＝ ＲＢAVG／（ＲＧAVG＋ＲＢAVG＋ＧＢAVG） …（４）
Ｃｇｂ＝ ＧＢAVG／（ＲＧAVG＋ＲＢAVG＋ＧＢAVG） …（５）
乗算処理部２０ａでは、第１ＬＵＴ１８ａから出力された推定画像データＲＧと係数決定部１９から出力された係数Ｃｒｇを乗算し、加算処理部２１に出力する。
【００５７】
同様にして、乗算処理部２０ｂでは、推定画像データＲＢと係数Ｃｒｂが乗算され、乗算処理部２０ｃでは、推定画像データＧＢと係数Ｃｇｂが乗算され、それぞれ加算処理部２１に出力される。
【００５８】
加算処理部２１では、乗算処理部２０ａ〜２０ｃから出力されてきたデータを加算し、補正画像データを作成する。
【００５９】
このようにして作成された補正画像データは、１画面毎に画面全体の色合いに基づいた最適な合成比率で算出されており、従来の色ズレ軽減装置と比較しても、より精度の高い色ズレ補正画像データとなっている。
【００６０】
合成処理部２２は、色ズレ度算出部５から出力された色ズレ度データに基づいて、加算処理部２１から出力された補正画像データと、メモリ４から出力された画像データを合成する。色ズレ度データは、色ズレである可能性が高いほど、２５５の値に近い。従って、色ズレ度データが２５５の時は、補正画像データが１００％の割合で合成され、逆に色ズレ度データが０のときは、メモリ４から出力された画像データが１００％の割合で合成される。色ズレ度データが１２８の時は、補正画像データとメモリ４から出力された画像データとも５０％の割合で合成される。
【００６１】
以上のように、本実施の形態の色ズレ軽減装置では、従来の色ズレ軽減装置に比べて、色ズレした領域に当てはめる推定画像の精度が向上しているため、出血と染色剤が同一画面内に存在しているような画像での色ズレ軽減画像がより自然な感じの画像となり、違和感のない色ズレ軽減処理画像を得ることが可能である。
【００６２】
第２の実施の形態：
図１１ないし図１９は本発明の第２の実施の形態に係わり、図１１は色ズレ軽減装置の構成を示すブロック図、図１２は図１１の色ズレ領域検出部の構成を示すブロック図、図１３は図１１の色ズレ度演算部の構成を示すブロック図、図１４は図１１の画像データ推定部の構成を示すブロック図、図１５は図１１の色ズレ軽減処理部の構成を示すブロック図、図１６は図１１の色ズレ領域検出部で実施される色ズレ検出の動作を示す処理フローチャート、図１７は図１６の処理で採用される８×８の領域に分割したＣｒＣｂ色空間を示す図、図１８は図１７と異なる分割方法で分割したＣｒＣｂ色空間を示す図、図１９は図１１の画像データ推定部による ＬＵＴに推定色データを書き込むまでの動作フローチャートである。
【００６３】
図１１に示すように、本実施の形態における色ズレ軽減装置２３の構成は、色ズレ領域検出部２４に色ズレ軽減処理画像が入力されていること、色ズレ度演算部２５の内部構成、画像データ推定部２６の内部構成、色ズレ軽減処理部２７の内部構成を除いた以外は、第１の実施の形態における色ズレ軽減装置の構成とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号を付けて説明を省略する。
【００６４】
図１２に示すように、色ズレ領域検出部２４には、入力されたＲＧＢの画像データ及び色ズレ軽減処理部２７で処理された色ズレ軽減処理画像から色信号Ｃｒ、Ｃｂ及び輝度信号Ｙを算出して出力するＲＧＢマトリックス回路２８と、入力された画像データの色信号Ｃｒ、Ｃｂと色ズレ軽減処理部２７で処理された色ズレ軽減処理画像の色信号Ｃｒ、Ｃｂの差分を算出して色ズレ軽減処理画像の輝度信号Ｙの情報に基づいた所定値以上の変化があったかどうかを検出する差分検出回路２９がある。その他の構成は、第１の実施の形態と同様である。
【００６５】
図１３に示すように、色ズレ度演算部２５には、入力されたＲＧＢの画像データとメモリ４からの１フィールド遅延された画像データを色信号Ｃｒ、Ｃｂに変換するＲＧＢ−ＹＣマトリックス回路３０と、入力されたＲＧＢの画像データを変換した色信号Ｃｒ、Ｃｂと色ズレ領域検出部24から出力された色ズレ検出信号から２次元ヒストグラムを作成するヒストグラム作成部３１と、ヒストグラム作成部３１で作成された２次元ヒストグラムを参照しＬＵＴ３３に色ズレ度算出用テーブルデータを書き込むためのテーブル作成部３２と、ＲＧＢ−ＹＣマトリックス回路３０から出力されたメモリ４で遅延されたＲＧＢ画像データを変換した色信号Ｃｒ、Ｃｂに基づいて色ズレ度データを出力するＬＵＴ３３がある。その他の構成は、第１の実施の形態と同様である。
【００６６】
図１４に示すように、画像データ推定部２６には、ヒストグラム作成部１６で作成された３次元ヒストグラムを参照しＬＵＴ３５ａ〜３５ｃに推定色データを書き込むためのテーブル作成部３４と、メモリ４から出力された１フィールド遅延された画像データに基づいて推定色データを出力する第１ＬＵＴ３５ａ〜第３ＬＵＴ３５ｃがある。その他の構成は、第１の実施の形態と同様である。
【００６７】
図１５に示すように、色ズレ軽減処理部２７には、色ズレ度算出部２５から出力された色ズレ度データに基づいて、加算処理部２１から出力された補正画像データとメモリ４から出力された画像データとを合成処理し、色ズレ軽減画像を作成する合成処理部３６がある。その他の構成は、第１の実施の形態と同様である。
【００６８】
次に、このように構成されている色ズレ軽減装置の動作について説明する。
まず、色ズレ領域検出部２４の動作について図１６を用いて説明する。
【００６９】
図１６に示すように、入力された画像データと色ズレ軽減処理部２７から出力された色ズレ軽減処理画像データがＲＧＢ−ＹＣマトリックス回路２８に入力され、第１の実施の形態と同様に、ステップＳ５１でそれぞれ色信号Ｃｒ、Ｃｂが算出される（式（１）及び（２）参照）ほか、以下の式（６）により、色ズレ軽減処理画像データから輝度信号Ｙが算出される。
【００７０】
Ｙ＝0.3×Ｒ＋0.59×Ｇ＋0.11×Ｂ …（６）
そしてステップＳ５２で、平均色検出回路１０において現在の１フィールド分（１画面分）の平均色を算出する。
【００７１】
ＲＧＢ−ＹＣマトリックス回路２８で算出された入力された画像データの色信号Ｃｒｎ、Ｃｂｎと色ズレ軽減画像データの色信号Ｃｒｐ、Ｃｂｐから、差分検出回路２９において、第１の実施形態と同様に、ステップＳ５３で｜Ｃｒｎ−Ｃｒｐ｜ 、｜Ｃｂｎ− Ｃｂｐ｜ が算出され、あらかじめ決められた閾値を超えているかどうかの判定が行われる。第１の実施の形態と異なる点は、閾値が色ズレ軽減画像データの輝度信号Ｙの平均輝度値ＹAVGによって変化する点である。
【００７２】
暗く、彩度の低い画像では、わずかな色変化の色ズレでも目立ってしまう場合がある。このような画像では、画像全体の色信号Ｃｒ、 Ｃｂも低い傾向（無彩色、モノクロ調）にあり、第１の実施の形態と同様に固定の閾値で色ズレ判定を行うと、このわずかな色変化の色ズレを検出できない可能性がある。そこで、色ズレ軽減画像データの平均輝度値ＹAVGが低い場合には、閾値を低く設定することが必要である。そこで、ステップＳ５４で色ズレ軽減画像データの平均輝度値ＹAVGによって閾値を設定する。
【００７３】
このように、画像の明るさに応じて色ズレ検出の閾値を変化させながら、色ズレの検出結果を色ズレ判定回路１１に出力する。その他、色ズレ判定回路１１での動作、作用は、第１の実施形態と同様であって、図６で説明したステップＳ４〜Ｓ８の処理を行う。
【００７４】
以上のような構成で色ズレの検出を行うことにより、第１の実施の形態では検出することが難しかった暗い画像での色ズレ検出を向上させることが可能である。
【００７５】
なお、本実施の形態では、色ズレ軽減画像データの平均輝度値を求め、閾値の設定に用いたが、入力される画像データの平均輝度値を求め、閾値の設定に用いても良い。
【００７６】
次に、色ズレ度演算部２５の動作について説明する。
入力された画像データとメモリ４からの１フィールド遅延された画像データは、ＲＧＢ−ＹＣマトリックス回路３０によって、それぞれ色信号Ｃｒ、Ｃｂが算出されて、入力された画像データの色信号はヒストグラム作成部３１に、メモリ４からの画像データの色信号は、ＬＵＴ３３に出力される。
【００７７】
入力された画像データの色信号は、色ズレ領域検出部２４で判定された色ズレ検出信号と共にヒストグラム作成部３１に入力される。ヒストグラム作成部３１では、色ズレしていないと判定された画像データに基づいて、ＣｒＣｂ色空間において、２次元ヒストグラムを作成する。
【００７８】
本実施の形態では、第１の実施の形態と同様に、入力される画像データは、８Ｂｉｔであるものとする。従って、入力される画像データの各画素値は、２５６×２５６のＣｒＣｂ色空間のいずれかの点に存在することになる。このＣｒＣｂ色空間を８×８のブロックに分割し、色ズレしていない画像データが当てはまるブロックのカウンタをインクリメントしていくことで、１画面分の２次元ヒストグラムを作成する。図１７に８×８のブロックに分割したＣｒＣｂ色空間を示す。
【００７９】
なお、本実施の形態では、図１７のような分割の仕方をしたが、１６×１６などのように、他の分割数や、図１８のように、原点を中心にしたブロック分割の方法でも良い。
【００８０】
テーブル作成部３２は、１画面分の２次元ヒストグラムが作成終了したタイミングで、ヒストグラム作成部３１で作成された２次元ヒストグラムから色ズレ度算出用テーブルデータを求めて、ＬＵＴ３３に書き込みを行う。
【００８１】
まず、（Ｃｒ、Ｃｂ）＝（０、０）のブロックのカウンタ値を読み出し、画像データの画像サイズ（1画面分の画素数）に応じて色ズレ度を決定し、ＬＵＴ３３のアドレス「００００００」に色ズレ度算出用テーブルデータとして書き込みを行う。
【００８２】
各ブロックのカウンタ値を色ズレ度に変換する方法は、第１の実施の形態と同様であるため、説明を省略する。
【００８３】
第１の実施の形態と同様に、（Ｃｒ、Ｃｂ）＝（０、０）〜（７、７）まで、全部で６４ブロックのカウンタ値を読み出し、Ｃｒを最上位、Ｃｂを最下位に割り当てたＬＵＴ３３のアドレス「００００００」に色ズレ度の書き込みを行い、ＬＵＴ３３に色ズレ度算出用テーブルを完成させる。
【００８４】
色ズレ度算出用テーブルとして完成したＬＵＴ３３には、ＲＧＢ−ＹＣマトリックス回路３０によって変換されたメモリ４からの画像データの色信号が入力され、各画素毎にＣｒＣｂ色空間の中から該当するブロックの色ズレ度を読み出し、 ＬＰＦ１５に出力されて第１の実施の形態と同様に色ズレ度の平滑化が行われる。
【００８５】
ＬＰＦ１５の動作、作用は第１の実施の形態と同様であるので、説明を省略する。
【００８６】
次に、画像データ推定部２６の動作について説明する。
ヒストグラム作成部１６の動作、作用は、第１の実施の形態と同様であるため、説明を省略する（図８参照）。
【００８７】
テーブル作成部３４は、図１９のステップＳ１１５〜Ｓ１２６に示すように、作成された１画面分の３次元ヒストグラムから、テーブルデータを作成し、第１ＬＵＴ３５ａ〜第３ ＬＵＴ３５ｃに書き込みを行う。テーブル作成部３４は、１画面分の３次元ヒストグラムが作成終了したタイミングで、第１の実施の形態と同様にして、（Ｒ、Ｇ）＝（０、０）のブロック群に含まれる８つのブロックのカウンタ値を参照し、最多頻度値を持つブロックのＢの値を決定する。
【００８８】
本実施の形態では、第１ ＬＵＴ３５ａに書き込む推定色データが第１の実施の形態と異なっている。本実施の形態のテーブル作成部３４では、以上のようにして得られた（Ｒ、Ｇ、Ｂ）＝（０、０）（最多頻度値を持つブロック値）からＣｒ、Ｃｂを算出し、これを推定色データとして第１ ＬＵＴ３５ａのアドレス「００００００」に書き込む。（Ｒ、Ｇ）＝（０、０）のブロック群から（Ｒ、Ｇ）＝（７、７）のブロック群まで６４回、順次同様の動作を繰り返し行い、第１ ＬＵＴ３５ａのアドレス「００００００」〜「１１１１１１」までの推定色データを決定し、書き込みを行う。
【００８９】
ここで、最多頻度値を決定する際に８つのブロックのカウンタ値がどれも０である場合は、入力される原画像データの平均色信号ＣｒAVG、ＣｂAVGを求め、この値を推定色データとして決定する。最多頻度値が複数ある場合は、第１の実施の形態と同様の動作であるので説明を省略する。
【００９０】
第１ ＬＵＴ３５ａ〜第３ＬＵＴ３５ｃは、第１の実施の形態と同様にして、アドレスを発生させて推定色データＣｒ、Ｃｂを読み出し、推定画像として色ズレ軽減処理部２６へ出力を行う。
【００９１】
次に、色ズレ軽減処理部２６の動作について説明する。
係数決定部１９、乗算処理部２０、加算処理部２１については、演算を行うデータがＲ、Ｇ、ＢからＣｒ、Ｃｂになる点が異なるが、第１の実施の形態と同様の動作であるため、説明を省略する。
【００９２】
合成処理部３６は、色ズレ度算出部２５から出力された色ズレ度データに基づいて、加算処理部２１から出力された補正画像データと、メモリ４から出力された画像データを合成する。
【００９３】
加算処理部２１から出力された補正画像データは、色信号Ｃｒ、Ｃｂであるため、メモリ４から出力されたＲＧＢ画像データから色信号Ｃｒ、Ｃｂを算出し、色ズレ度データに基づいて合成を行う。合成の方法は、第１の実施の形態と同様であるため、説明を省略する。合成された色信号Ｃｒ、Ｃｂは、メモリ４から出力されたＲＧＢ画像データから出力された輝度信号Ｙとあわせて、以下の式（７）〜（９）によってＲＧＢ画像データに変換される。
【００９４】
Ｒ＝Ｙ＋1.402 ×Ｃｒ …（７）
Ｇ＝Ｙ−0.714×Ｃｒ−0.344×Ｃｂ …（８）
Ｂ＝Ｙ＋1.772×Ｃｂ …（９）
以上のように構成した色ズレ軽減装置では、第１の実施の形態の色ズレ軽減装置よりも、暗く彩度の低い画像においても色ズレの軽減処理を良好に行うことが可能である。
【００９５】
第３の実施の形態：
図２０及び図２１は本発明の第３の実施の形態に係わり、図２０は色ズレ軽減装置の構成を示すブロック図、図２１は図２０の色ズレ領域検出部の構成を示すブロック図である。
【００９６】
図２０に示すように、本実施の形態における色ズレ軽減装置３７は、入力画像を１フィールド遅延させるメモリ３８と、メモリ３８から出力された１フィールド遅延された画像データと色ズレ軽減装置３７に入力された画像データ、及び、色ズレ軽減処理部２７から出力された色ズレ軽減処理画像に基づいて色ズレ検出を行う色ズレ領域検出部３９によって構成されている。その他の構成は、第２の実施の形態における色ズレ軽減装置の構成と同様であるため、異なる点のみ説明し、同一の構成には同じ符号をつけて説明を省略する。
【００９７】
図２１に示すように、色ズレ領域検出部３８には、入力されたＲＧＢの画像データ、メモリ３８で遅延された画像データ、色ズレ軽減処理部２７で処理された色ズレ軽減画像データを色信号Ｃｒ、Ｃｂ及び輝度信号Ｙを算出するＲＧＢ−ＹＣマトリックス回路４０がある。その他の構成は、第２の実施の形態と同様であるため説明を省略する。
【００９８】
次に、このように構成されている色ズレ軽減装置の動作について説明する。
色ズレ軽減装置に入力された画像データは、メモリ３８によって１フィールド遅延されて色ズレ領域検出部３９に出力される。色ズレ領域検出部３９のＲＧＢ−ＹＣマトリックス回路４０では、第２の実施形態と同様にして、色ズレ軽減装置に入力された画像データの色信号Ｃｒ、Ｃｂと色ズレ軽減処理部２７からの色ズレ軽減画像の色信号Ｃｒｐ、Ｃｂｐとが算出される他、メモリ３８から出力された画像データの色信号Ｃｒｎ、Ｃｂｎと、入力される画像データの輝度信号Ｙが算出される。
【００９９】
色ズレ軽減装置に入力された画像データの色信号Ｃｒ、Ｃｂは、平均色検出回路１０に出力され、その他の色信号Ｃｒｎ、Ｃｂｎ、Ｃｒｐ、Ｃｂｐ、輝度信号Ｙは、差分検出回路２９に出力され、第２の実施形態と同様にしてその後の処理が行われる。
【０１００】
その他の構成の動作、作用は、第２の実施の形態と同様であるため、説明を省略する。
【０１０１】
以上、本実施の形態の色ズレ軽減装置では、第２の実施の形態では、平均色や輝度信号の平均値ＹAVGのタイミングが１フィールド遅いタイミングであったが、本実施の形態では、このタイミングも実際に処理される画像のタイミングと一致するため、第２の実施の形態の効果がさらに向上された色ズレ軽減画像を得ることができる。
【０１０２】
なお、本実施の形態では、メモリ３８に色ズレ軽減装置に入力された画像データを入力し、１フィールド遅延させたが、色ズレ軽減処理部２７から出力された色ズレ軽減処理画像を入力して遅延させても、ほぼ同様の効果を得ることが可能である。
【０１０３】
［付記］
（付記項１） 前記色ズレ補正画像作成手段は、第１の画像信号における各色成分信号の分布の状態に関する情報に基づいて３つの推定色画像の合成比率を決定する
ことを特徴とする請求項２に記載の色ズレ軽減装置。
【０１０４】
（付記項２） 前記色成分信号推定手段は、前記色ズレ領域検出手段により検出された色ズレ領域以外の領域における３つの色成分信号のうち、２つの色成分信号から、残りの１つの色成分信号を推定不可能な場合、第１の画像信号における１画面分のデータの平均値に基づいて推定を行う
ことを特徴とする請求項１に記載の色ズレ軽減装置。
【０１０５】
以上説明したように、上記各実施の形態に基づく本発明の色ズレ軽減装置によれば、従来、３つの色成分信号のうち、１色から推定していた色ズレ部分の色を２色から推定し、さらに、その３つの推定画像を画像の平均色の比率から求めた合成比率に基づいて合成を行い、色ズレ軽減画像を作成するため、生体内に２つの色素（血液、染色剤など）が存在した場合でも、精度良く色ズレが軽減された色ズレ軽減画像を得ることが可能である。
【０１０６】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【０１０７】
【発明の効果】
以上説明したように本発明によれば、生体内に２つ以上の色素が存在するような場合でも、精度良く、補正色を推定することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る色ズレ軽減装置の基本構成を示すブロック図
【図２】図１の色ズレ領域検出部の構成を示すブロック図
【図３】図１の色ズレ度算出部の構成を示すブロック図
【図４】図１の画像データ推定部の構成を示すブロック図
【図５】図１の色ズレ軽減処理部の構成を示すブロック図
【図６】図１の色ズレ領域検出部で実施される色ズレ検出の動作を示す処理フローチャート
【図７】図６の処理で採用される８×８×８のブロックに分割したＲＧＢ色空間を示す図
【図８】図１の画像データ推定部による入力された画像データからＬＵＴに推定色データを書き込むまでの第１の処理フローチャート
【図９】図１の画像データ推定部による入力された画像データからＬＵＴに推定色データを書き込むまでの第２の処理フローチャート
【図１０】図９の処理で用いられる色ズレ度変換グラフの一例を示す図
【図１１】本発明の第２の実施の形態に係る色ズレ軽減装置の構成を示すブロック図
【図１２】図１１の色ズレ領域検出部の構成を示すブロック図
【図１３】図１１の色ズレ度演算部の構成を示すブロック図
【図１４】図１１の画像データ推定部の構成を示すブロック図
【図１５】図１１の色ズレ軽減処理部の構成を示すブロック図
【図１６】図１１の色ズレ領域検出部で実施される色ズレ検出の動作を示す処理フローチャート
【図１７】図１６の処理で採用される８×８の領域に分割したＣｒＣｂ色空間を示す図
【図１８】図１７と異なる分割方法で分割したＣｒＣｂ色空間を示す図
【図１９】図１１の画像データ推定部による ＬＵＴに推定色データを書き込むまでの動作フローチャート
【図２０】本発明の第３の実施の形態に係る色ズレ軽減装置の構成を示すブロック図
【図２１】図２０の色ズレ領域検出部の構成を示すブロック図
【符号の説明】
１…色ズレ軽減装置
２，４…メモリ
３…色ズレ領域検出部
５…色ズレ度算出部
６…画像データ推定部
７…色ズレ軽減処理部
８…ＲＧＢ−ＹＣマトリックス回路
９…差分検出回路
１０…平均色検出回路
１１…色ズレ判定回路
１２，１６…ヒストグラム作成部
１３，１７…テーブル作成部
１４…ＬＵＴ
１５…ＬＰＦ
１８ａ…第１ＬＵＴ
１８ｂ…第２ＬＵＴ
１８ｃ…第３ＬＵＴ
１９…係数決定部
２０ａ〜２０ｃ…乗算処理部
２１…加算処理部
２２…合成処理部
Claims (2)
- 面順次式の撮像手段により被写体を撮像して得られた第１および第２の画像を表す第１および第２の画像信号に基づき、前記第１の画像の中で色ズレの発生している領域を検出する色ズレ領域検出手段と、
前記第１の画像信号の中で前記色ズレ領域検出手段で検出された色ズレ領域を除く領域に対応する画像信号の中の第１および第２の色成分信号より第３の色成分信号を推定する色成分信号推定手段と、
前記色成分信号推定手段で得られた第３の色成分信号、前記第１および第２の色成分信号とに基づく画像信号と、前記第１の画像信号とに基づいて色ズレ軽減処理画像を作成する色ズレ軽減処理手段と
を備えたことを特徴とする色ズレ軽減装置。 - 前記色ズレ軽減処理手段は、
前記色成分信号推定手段により推定された３つの色成分信号に基づいて、推定色画像を作成する３つの推定色画像作成手段と、
前記３つの推定色画像作成手段から出力される３つの推定色画像を合成し、色ズレ補正画像を作成する色ズレ補正画像作成手段と、
前記色ズレ補正画像作成手段で作成された色ズレ補正画像と、第１の画像信号とを合成して色ズレ軽減処理画像を作成する色ズレ軽減画像作成手段と
からなる請求項１に記載の色ズレ軽減装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002142094A JP3938715B2 (ja) | 2002-05-16 | 2002-05-16 | 色ズレ軽減装置 |
| US10/499,892 US7372989B2 (en) | 2002-05-16 | 2003-05-16 | Color misregistration reducer |
| DE60302441T DE60302441T2 (de) | 2002-05-16 | 2003-05-16 | Farb-fehlregistrierungsreduzierer |
| EP03725798A EP1475032B1 (en) | 2002-05-16 | 2003-05-16 | Color misregistration reducer |
| CNB038035987A CN100386050C (zh) | 2002-05-16 | 2003-05-16 | 色位移减轻装置 |
| PCT/JP2003/006100 WO2003096887A1 (fr) | 2002-05-16 | 2003-05-16 | Dispositif permettant de reduire le decalage des couleurs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002142094A JP3938715B2 (ja) | 2002-05-16 | 2002-05-16 | 色ズレ軽減装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003333607A JP2003333607A (ja) | 2003-11-21 |
| JP3938715B2 true JP3938715B2 (ja) | 2007-06-27 |
Family
ID=29544971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002142094A Expired - Fee Related JP3938715B2 (ja) | 2002-05-16 | 2002-05-16 | 色ズレ軽減装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7372989B2 (ja) |
| EP (1) | EP1475032B1 (ja) |
| JP (1) | JP3938715B2 (ja) |
| CN (1) | CN100386050C (ja) |
| DE (1) | DE60302441T2 (ja) |
| WO (1) | WO2003096887A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3938715B2 (ja) * | 2002-05-16 | 2007-06-27 | オリンパス株式会社 | 色ズレ軽減装置 |
| JP4632761B2 (ja) * | 2004-11-25 | 2011-02-16 | オリンパス株式会社 | 電子内視鏡装置及び色ずれ補正装置 |
| US8243128B2 (en) * | 2005-09-30 | 2012-08-14 | Hoya Corporation | Electronic endoscope |
| US20140176743A1 (en) * | 2012-12-20 | 2014-06-26 | Thomson Licensing | Method, apparatus and system for publishing creative looks as three-dimensional lookup tables |
| JP6066866B2 (ja) * | 2013-08-22 | 2017-01-25 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
| JP6921489B2 (ja) * | 2016-07-13 | 2021-08-18 | キヤノン株式会社 | 画像形成装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2837913B2 (ja) | 1990-03-19 | 1998-12-16 | オリンパス光学工業株式会社 | 色ずれ軽減装置 |
| US5333010A (en) * | 1991-08-12 | 1994-07-26 | Olympus Optical Co., Ltd. | Color misregistration easing system for a field sequential electronic endoscope system |
| US5485203A (en) * | 1991-08-12 | 1996-01-16 | Olympus Optical Co., Ltd. | Color misregistration easing system which corrects on a pixel or block basis only when necessary |
| US5550582A (en) * | 1993-03-19 | 1996-08-27 | Olympus Optical Co., Ltd. | Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution |
| JP3327992B2 (ja) | 1993-05-17 | 2002-09-24 | オリンパス光学工業株式会社 | 色ズレ補正装置 |
| JP3302439B2 (ja) | 1993-05-19 | 2002-07-15 | オリンパス光学工業株式会社 | 色ズレ補正装置 |
| JP3310384B2 (ja) | 1993-05-19 | 2002-08-05 | オリンパス光学工業株式会社 | 色ズレ補正装置 |
| JPH0974570A (ja) | 1995-07-06 | 1997-03-18 | Olympus Optical Co Ltd | 色ズレ補正装置 |
| JPH09149270A (ja) * | 1995-11-17 | 1997-06-06 | Olympus Optical Co Ltd | スキャナシステム |
| US6208351B1 (en) * | 1997-12-22 | 2001-03-27 | Adobe Systems Incorporated | Conversion of alpha-multiplied color data |
| JP2000196906A (ja) * | 1998-10-22 | 2000-07-14 | Xerox Corp | プリントシステム及び方法 |
| US6859228B1 (en) * | 1999-10-18 | 2005-02-22 | Sharp Laboratories Of America, Inc. | Least squares method for color misregistration detection and correction in image data |
| US6529616B1 (en) * | 1999-11-29 | 2003-03-04 | Xerox Corporation | Technique for accurate color-color registration measurements |
| US20020141003A1 (en) * | 2001-01-16 | 2002-10-03 | Sharp Laboratories Of America, Inc. | Method of three dimensional color vector determinant for automatic kanji and chinese character detection and enhancement |
| US7256910B2 (en) * | 2002-04-23 | 2007-08-14 | Weyerhaeuser Company | Color separation method and printed product of the method |
| JP3938715B2 (ja) * | 2002-05-16 | 2007-06-27 | オリンパス株式会社 | 色ズレ軽減装置 |
-
2002
- 2002-05-16 JP JP2002142094A patent/JP3938715B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-16 CN CNB038035987A patent/CN100386050C/zh not_active Expired - Fee Related
- 2003-05-16 EP EP03725798A patent/EP1475032B1/en not_active Expired - Fee Related
- 2003-05-16 DE DE60302441T patent/DE60302441T2/de not_active Expired - Lifetime
- 2003-05-16 WO PCT/JP2003/006100 patent/WO2003096887A1/ja active IP Right Grant
- 2003-05-16 US US10/499,892 patent/US7372989B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| DE60302441D1 (de) | 2005-12-29 |
| EP1475032A1 (en) | 2004-11-10 |
| EP1475032B1 (en) | 2005-11-23 |
| US20050046695A1 (en) | 2005-03-03 |
| CN1630486A (zh) | 2005-06-22 |
| JP2003333607A (ja) | 2003-11-21 |
| WO2003096887A1 (fr) | 2003-11-27 |
| EP1475032A4 (en) | 2005-01-12 |
| CN100386050C (zh) | 2008-05-07 |
| DE60302441T2 (de) | 2006-06-14 |
| US7372989B2 (en) | 2008-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9330480B2 (en) | Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal | |
| US5247366A (en) | Color wide dynamic range camera | |
| EP2426928A2 (en) | Image processing apparatus, image processing method and program | |
| EP1188147B1 (en) | Video-apparatus with histogram modification means | |
| JP2006324974A (ja) | 画像処理装置 | |
| JP2006229925A (ja) | 動的画像彩度処理装置 | |
| JP2002010289A (ja) | 信号処理装置、信号処理方法、及び撮像装置 | |
| JP2003304549A (ja) | カメラ及び画像信号処理システム | |
| JP2008227945A (ja) | 画像処理装置および画像処理プログラム | |
| WO2019104047A1 (en) | Global tone mapping | |
| JP2004328564A (ja) | カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ | |
| US20180288336A1 (en) | Image processing apparatus | |
| JP3969836B2 (ja) | 信号処理装置および撮像用信号処理方法 | |
| JP2005109991A (ja) | 信号処理方法及び装置、撮像装置 | |
| WO1994018801A1 (en) | Color wide dynamic range camera using a charge coupled device with mosaic filter | |
| JP3919389B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP3938715B2 (ja) | 色ズレ軽減装置 | |
| JP4040171B2 (ja) | 信号処理装置 | |
| KR100595251B1 (ko) | 디스플레이 장치의 색재현 장치 및 방법 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| CN109600596B (zh) | 一种非线性无色恒常的白平衡方法 | |
| JP2004064227A (ja) | 映像信号処理装置 | |
| JP3327992B2 (ja) | 色ズレ補正装置 | |
| JP3837881B2 (ja) | 画像信号処理方法及び電子カメラ | |
| JP2698404B2 (ja) | 輝度信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070320 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070323 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3938715 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |