JPH10243407A - 画像信号処理装置及び画像入力処理装置 - Google Patents
画像信号処理装置及び画像入力処理装置Info
- Publication number
- JPH10243407A JPH10243407A JP9058568A JP5856897A JPH10243407A JP H10243407 A JPH10243407 A JP H10243407A JP 9058568 A JP9058568 A JP 9058568A JP 5856897 A JP5856897 A JP 5856897A JP H10243407 A JPH10243407 A JP H10243407A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- unit
- reference image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
Abstract
(57)【要約】
【課題】欠落する色信号を高精度に復元することができ
る画像信号処理装置を提供する。 【解決手段】画像信号から、指定された画素を包含する
所定サイズの局所領域の色信号を抽出する領域抽出部30
5 と、抽出された局所領域内の各色信号ごとの平均分散
から最大の分散を有する色信号を選択する最大分散信号
選択部312 と、選択された色信号以外の色信号に関し
て、パラメータが選択された色信号のパラメータと同一
となるように色信号を変形する信号変形部313 と、変形
された複数の各色信号と選択された色信号とを合成して
複数の参照候補画像を生成する候補画像生成部314 と、
生成された複数の参照候補画像から、所定の評価関数に
基づき１つの参照画像を選択する参照画像選択部316
と、選択された参照画像に基づき、欠落する色信号を復
元する欠落画素復元部318 とを具備する。
る画像信号処理装置を提供する。 【解決手段】画像信号から、指定された画素を包含する
所定サイズの局所領域の色信号を抽出する領域抽出部30
5 と、抽出された局所領域内の各色信号ごとの平均分散
から最大の分散を有する色信号を選択する最大分散信号
選択部312 と、選択された色信号以外の色信号に関し
て、パラメータが選択された色信号のパラメータと同一
となるように色信号を変形する信号変形部313 と、変形
された複数の各色信号と選択された色信号とを合成して
複数の参照候補画像を生成する候補画像生成部314 と、
生成された複数の参照候補画像から、所定の評価関数に
基づき１つの参照画像を選択する参照画像選択部316
と、選択された参照画像に基づき、欠落する色信号を復
元する欠落画素復元部318 とを具備する。
Description
【０００１】
【発明の属する技術分野】本発明は画像信号処理装置及
び画像入力処理装置に関する。
び画像入力処理装置に関する。
【０００２】
【従来の技術】近年、安価かつ軽量な単板式のＣＣＤを
用いた画像入力処理装置が普及している。このような画
像入力処理装置においては、一枚の撮像素子から被写体
の色情報を得るために色フィルタを受光面上にモザイク
状に配置している。
用いた画像入力処理装置が普及している。このような画
像入力処理装置においては、一枚の撮像素子から被写体
の色情報を得るために色フィルタを受光面上にモザイク
状に配置している。
【０００３】色フィルタの一例として、シアン（Ｃ
ｙ）、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、グリーン
（Ｇ）からなる補色モザイクフィルタの配置を図１９に
示す。図１９において、偶数フィールドのｎラインとｎ
＋１ラインに対応する輝度信号をＹo,n 、Ｙo,n+1 、色
差信号をＣo,n 、Ｃo,n+1 とし、奇数フィールドのｎラ
インとｎ＋１ラインに対応する輝度信号をＹe,n 、Ｙ
e,n+1 、色差信号をＣe,n 、Ｃe,n+1 とすると、これら
の信号は、次式で示される。
ｙ）、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、グリーン
（Ｇ）からなる補色モザイクフィルタの配置を図１９に
示す。図１９において、偶数フィールドのｎラインとｎ
＋１ラインに対応する輝度信号をＹo,n 、Ｙo,n+1 、色
差信号をＣo,n 、Ｃo,n+1 とし、奇数フィールドのｎラ
インとｎ＋１ラインに対応する輝度信号をＹe,n 、Ｙ
e,n+1 、色差信号をＣe,n 、Ｃe,n+1 とすると、これら
の信号は、次式で示される。
【０００４】 Ｙo,n ＝Ｙo,n+1 ＝Ｙe,n ＝Ｙe,n+1 ＝２Ｒ＋３Ｇ＋２Ｂ （１） Ｃo,n ＝Ｃe,n ＝２Ｒ−Ｇ （２） Ｃo,n+1 ＝Ｃe,n+1 ＝２Ｂ−Ｇ （３） ただし、Ｃｙ，Ｍｇ，Ｙｅはグリーン（Ｇ）およびレッ
ド（Ｒ）、ブルー（Ｂ）により次式で示される。
ド（Ｒ）、ブルー（Ｂ）により次式で示される。
【０００５】 Ｃｙ＝Ｇ＋Ｂ （４） Ｍｇ＝Ｒ＋Ｂ （５） Ｙｅ＝Ｒ＋Ｇ （６） （１）式で示されるように、輝度信号は偶数、奇数フィ
ールドの全ラインで生成される。これに対し、（２），
（３）式で示されるように２つの色差信号は１ラインお
きにしか生成されず、線形補間により欠落するラインの
色差信号を補っている。この後、マトリックス演算を行
うことでＲ，Ｇ，Ｂの３原色を得ることができる。この
ような方法では、色差信号は輝度信号に対して１／２の
情報量しかなく、エッジ部に色モワレと呼ばれるアーテ
ィファクトが発生する。一般に、このような色モワレを
低減するために、水晶フィルタを用いたローパスフィル
タを撮像素子前面に配置することが行われるが、ローパ
スフィルタの挿入により解像度が低下するという新たな
問題が発生する。
ールドの全ラインで生成される。これに対し、（２），
（３）式で示されるように２つの色差信号は１ラインお
きにしか生成されず、線形補間により欠落するラインの
色差信号を補っている。この後、マトリックス演算を行
うことでＲ，Ｇ，Ｂの３原色を得ることができる。この
ような方法では、色差信号は輝度信号に対して１／２の
情報量しかなく、エッジ部に色モワレと呼ばれるアーテ
ィファクトが発生する。一般に、このような色モワレを
低減するために、水晶フィルタを用いたローパスフィル
タを撮像素子前面に配置することが行われるが、ローパ
スフィルタの挿入により解像度が低下するという新たな
問題が発生する。
【０００６】また、特開平０４−６２０９６号公報およ
び特開平０５−０５６４４６号公報は、上記のように色
差信号のみで単純な補間を行うのではなく、輝度信号の
成分を用いて色差信号を補正する方法を開示している。
び特開平０５−０５６４４６号公報は、上記のように色
差信号のみで単純な補間を行うのではなく、輝度信号の
成分を用いて色差信号を補正する方法を開示している。
【０００７】すなわち、特開平０４−６２０９６号公報
によれば、輝度信号Ｙは線形補間で作成されるが、色差
信号Ｃについては、輝度信号Ｙの変化の少ない領域では
線形補間にて補い、変化の大きい領域では輝度信号Ｙを
（７）式に示されるように変形することで回復された色
差信号Ｃ′を得ている。
によれば、輝度信号Ｙは線形補間で作成されるが、色差
信号Ｃについては、輝度信号Ｙの変化の少ない領域では
線形補間にて補い、変化の大きい領域では輝度信号Ｙを
（７）式に示されるように変形することで回復された色
差信号Ｃ′を得ている。
【０００８】 Ｃ′＝ａＹ＋ｂ （７） ここでａ，ｂは定数である。
【０００９】また、特開平０５−０５６４４６号公報で
は、輝度信号Ｙは線形補間により作成されるが、色差信
号Ｃについては、輝度信号Ｙと色差信号Ｃとを電気回路
的ローパスフィルタにて処理し、それぞれの低周波成分
Ｙlow とＣlow を得て、以下の（８）式を用いて欠落が
回復された色信号Ｃ′を得ている。
は、輝度信号Ｙは線形補間により作成されるが、色差信
号Ｃについては、輝度信号Ｙと色差信号Ｃとを電気回路
的ローパスフィルタにて処理し、それぞれの低周波成分
Ｙlow とＣlow を得て、以下の（８）式を用いて欠落が
回復された色信号Ｃ′を得ている。
【００１０】
【数１】 これは、輝度信号Ｙを低周波成分Ｙlow とＣlow を用い
て補正したものを色信号Ｃ′とすることに相当する。
て補正したものを色信号Ｃ′とすることに相当する。
【００１１】
【発明が解決しようとする課題】しかしながら、上記し
た従来技術では、単板式のＣＣＤを用いた場合に輝度信
号を線形補間で、色差信号を線形補間または輝度信号に
基づいて補っているが、輝度信号が、本質的に３板式Ｃ
ＣＤを用いた場合の１／２であり、このような方法では
欠落する色信号を高精度に復元することができない。
た従来技術では、単板式のＣＣＤを用いた場合に輝度信
号を線形補間で、色差信号を線形補間または輝度信号に
基づいて補っているが、輝度信号が、本質的に３板式Ｃ
ＣＤを用いた場合の１／２であり、このような方法では
欠落する色信号を高精度に復元することができない。
【００１２】また、上記した従来技術では、輝度信号を
線形補間で、色差信号を線形補間または輝度信号に基づ
いて補っているが、このような方法では特定の色信号が
劣化するような色収差の生じる安価な光学レンズ系を用
いた場合に、欠落する色信号を高精度に復元することが
できない。
線形補間で、色差信号を線形補間または輝度信号に基づ
いて補っているが、このような方法では特定の色信号が
劣化するような色収差の生じる安価な光学レンズ系を用
いた場合に、欠落する色信号を高精度に復元することが
できない。
【００１３】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、欠落する色信
号を高精度に復元することができる画像信号処理装置を
提供することにある。
たものであり、その目的とするところは、欠落する色信
号を高精度に復元することができる画像信号処理装置を
提供することにある。
【００１４】また、本発明の他の目的は、安価な光学レ
ンズ系を使用した場合でも欠落する色信号を高精度に復
元することができる画像入力処理装置を提供することに
ある。
ンズ系を使用した場合でも欠落する色信号を高精度に復
元することができる画像入力処理装置を提供することに
ある。
【００１５】
【課題を解決するための手段】上記した目的を達成する
ために、第１の発明に係る画像信号処理装置は、１つの
画素が有する画像信号が複数の色信号から構成され、画
素の位置に応じて少なくとも１つ以上の色信号が欠落す
る画像信号を処理する画像信号処理装置において、上記
画像信号から、指定された画素を包含する所定サイズの
局所領域の色信号を抽出する抽出手段と、この抽出手段
で抽出された局所領域内の各色信号ごとに所定のパラメ
ータを算出し、このパラメータに基づき１つの色信号を
選択する色信号選択手段と、この色信号選択手段で選択
された色信号以外の色信号に関して、上記パラメータが
選択された色信号のパラメータと同一となるように色信
号を変形する変形手段と、この変形手段で変形された複
数の各色信号と上記色信号選択手段によって選択された
色信号とを合成して複数の参照候補画像を生成する候補
画像生成手段と、この候補画像生成手段で生成された複
数の参照候補画像から、所定の評価関数に基づき１つの
参照画像を選択する参照画像選択手段と、上記参照画像
選択手段で選択された参照画像に基づき、欠落する色信
号を復元する復元手段とを具備する。
ために、第１の発明に係る画像信号処理装置は、１つの
画素が有する画像信号が複数の色信号から構成され、画
素の位置に応じて少なくとも１つ以上の色信号が欠落す
る画像信号を処理する画像信号処理装置において、上記
画像信号から、指定された画素を包含する所定サイズの
局所領域の色信号を抽出する抽出手段と、この抽出手段
で抽出された局所領域内の各色信号ごとに所定のパラメ
ータを算出し、このパラメータに基づき１つの色信号を
選択する色信号選択手段と、この色信号選択手段で選択
された色信号以外の色信号に関して、上記パラメータが
選択された色信号のパラメータと同一となるように色信
号を変形する変形手段と、この変形手段で変形された複
数の各色信号と上記色信号選択手段によって選択された
色信号とを合成して複数の参照候補画像を生成する候補
画像生成手段と、この候補画像生成手段で生成された複
数の参照候補画像から、所定の評価関数に基づき１つの
参照画像を選択する参照画像選択手段と、上記参照画像
選択手段で選択された参照画像に基づき、欠落する色信
号を復元する復元手段とを具備する。
【００１６】また、第２の発明に係る画像入力処理装置
は、１つの画素が有する画像信号が複数の色信号から構
成され、画素の位置に応じて少なくとも１つ以上の色信
号が欠落する画像信号を入力処理する画像入力処理装置
において、上記画像入力処理装置において色収差を生じ
る光学レンズ系と色収差量に基づき色信号の出現頻度を
調整した撮像装置とからなる入力手段と、この入力手段
から得られた画像信号中の指定された画素を包含する所
定サイズの局所領域の色信号を抽出する抽出手段と、こ
の抽出手段で抽出された局所領域内の各色信号中で、色
収差量の少ない色信号を所定の構造モデルと評価関数に
基づき変形および合成することで近似参照画像を生成す
る近似参照画像生成手段と、この近似参照画像生成手段
で生成された近似参照画像を色収差量の多い色信号の色
収差量に基づき平滑化する平滑化手段と、上記近似参照
画像生成手段で生成された近似参照画像と上記平滑化手
段で平滑化された近似参照画像とに基づき参照画像を生
成し、欠落する色信号を復元する復元手段とを具備す
る。
は、１つの画素が有する画像信号が複数の色信号から構
成され、画素の位置に応じて少なくとも１つ以上の色信
号が欠落する画像信号を入力処理する画像入力処理装置
において、上記画像入力処理装置において色収差を生じ
る光学レンズ系と色収差量に基づき色信号の出現頻度を
調整した撮像装置とからなる入力手段と、この入力手段
から得られた画像信号中の指定された画素を包含する所
定サイズの局所領域の色信号を抽出する抽出手段と、こ
の抽出手段で抽出された局所領域内の各色信号中で、色
収差量の少ない色信号を所定の構造モデルと評価関数に
基づき変形および合成することで近似参照画像を生成す
る近似参照画像生成手段と、この近似参照画像生成手段
で生成された近似参照画像を色収差量の多い色信号の色
収差量に基づき平滑化する平滑化手段と、上記近似参照
画像生成手段で生成された近似参照画像と上記平滑化手
段で平滑化された近似参照画像とに基づき参照画像を生
成し、欠落する色信号を復元する復元手段とを具備す
る。
【００１７】すなわち、第１の発明に係る画像信号処理
装置は、１つの画素が有する画像信号が複数の色信号か
ら構成され、画素の位置に応じて少なくとも１つ以上の
色信号が欠落する画像信号を処理するにあたって、ま
ず、上記画像信号から、指定された画素を包含する所定
サイズの局所領域の色信号を抽出する。次に、抽出され
た局所領域内の各色信号ごとに所定のパラメータを算出
し、このパラメータに基づき１つの色信号を選択する。
次に、選択された色信号以外の色信号に関して、上記パ
ラメータが選択された色信号のパラメータと同一となる
ように色信号を変形する。次に、変形された複数の各色
信号と選択された色信号とを合成して複数の参照候補画
像を生成する。そして、この生成された複数の参照候補
画像から、所定の評価関数に基づき１つの参照画像を選
択し、選択された参照画像に基づき、欠落する色信号を
復元する。
装置は、１つの画素が有する画像信号が複数の色信号か
ら構成され、画素の位置に応じて少なくとも１つ以上の
色信号が欠落する画像信号を処理するにあたって、ま
ず、上記画像信号から、指定された画素を包含する所定
サイズの局所領域の色信号を抽出する。次に、抽出され
た局所領域内の各色信号ごとに所定のパラメータを算出
し、このパラメータに基づき１つの色信号を選択する。
次に、選択された色信号以外の色信号に関して、上記パ
ラメータが選択された色信号のパラメータと同一となる
ように色信号を変形する。次に、変形された複数の各色
信号と選択された色信号とを合成して複数の参照候補画
像を生成する。そして、この生成された複数の参照候補
画像から、所定の評価関数に基づき１つの参照画像を選
択し、選択された参照画像に基づき、欠落する色信号を
復元する。
【００１８】また、第２の発明に係る画像入力処理装置
は、１つの画素が有する画像信号が複数の色信号から構
成され、画素の位置に応じて少なくとも１つ以上の色信
号が欠落する画像信号を入力処理するにあたって、ま
ず、上記画像入力処理装置において色収差を生じる光学
レンズ系と色収差量に基づき色信号の出現頻度を調整し
た撮像装置とからなる入力手段を用い、この入力手段か
ら得られた画像信号中の指定された画素を包含する所定
サイズの局所領域の色信号を抽出する。次に、抽出され
た局所領域内の各色信号中で、色収差量の少ない色信号
を所定の構造モデルと評価関数に基づき変形および合成
することで近似参照画像を生成する。次に、この生成さ
れた近似参照画像を色収差量の多い色信号の色収差量に
基づき平滑化する。そして、生成された近似参照画像と
平滑化された近似参照画像とに基づき参照画像を生成
し、欠落する色信号を復元する。
は、１つの画素が有する画像信号が複数の色信号から構
成され、画素の位置に応じて少なくとも１つ以上の色信
号が欠落する画像信号を入力処理するにあたって、ま
ず、上記画像入力処理装置において色収差を生じる光学
レンズ系と色収差量に基づき色信号の出現頻度を調整し
た撮像装置とからなる入力手段を用い、この入力手段か
ら得られた画像信号中の指定された画素を包含する所定
サイズの局所領域の色信号を抽出する。次に、抽出され
た局所領域内の各色信号中で、色収差量の少ない色信号
を所定の構造モデルと評価関数に基づき変形および合成
することで近似参照画像を生成する。次に、この生成さ
れた近似参照画像を色収差量の多い色信号の色収差量に
基づき平滑化する。そして、生成された近似参照画像と
平滑化された近似参照画像とに基づき参照画像を生成
し、欠落する色信号を復元する。
【００１９】
【発明の実施の形態】以下に、図面を参照して本発明の
実施形態を詳細に説明する。まず、第１実施形態を説明
する。図１は第１実施形態に係る画像信号処理装置の機
能ブロック図であり、以下に各機能の接続関係を説明す
る。
実施形態を詳細に説明する。まず、第１実施形態を説明
する。図１は第１実施形態に係る画像信号処理装置の機
能ブロック図であり、以下に各機能の接続関係を説明す
る。
【００２０】図１において、入力部１０１は、Ｒ信号用
バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バ
ッファ１０４に接続され、さらに、領域抽出部１０５を
介してそれぞれＲ信号用ブロックバッファ１０６、Ｇ信
号用ブロックバッファ１０７、Ｂ信号用ブロックバッフ
ァ１０８に接続されている。Ｒ信号用ブロックバッファ
１０６は分散算出部１０９とＲＧＢ切換部１１３と信号
変形部１５１に、Ｇ信号用ブロックバッファ１０７は分
散算出部１１０とＲＧＢ切換部１１３と信号変形部１５
１に、Ｂ信号用ブロックバッファ１０８は分散算出部１
１１とＲＧＢ切換部１１３と信号変形部１５１に接続さ
れている。分散算出部１０９、１１０、１１１は最大分
散決定部１５０を介して信号変形部１５１に接続されて
いる。
バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バ
ッファ１０４に接続され、さらに、領域抽出部１０５を
介してそれぞれＲ信号用ブロックバッファ１０６、Ｇ信
号用ブロックバッファ１０７、Ｂ信号用ブロックバッフ
ァ１０８に接続されている。Ｒ信号用ブロックバッファ
１０６は分散算出部１０９とＲＧＢ切換部１１３と信号
変形部１５１に、Ｇ信号用ブロックバッファ１０７は分
散算出部１１０とＲＧＢ切換部１１３と信号変形部１５
１に、Ｂ信号用ブロックバッファ１０８は分散算出部１
１１とＲＧＢ切換部１１３と信号変形部１５１に接続さ
れている。分散算出部１０９、１１０、１１１は最大分
散決定部１５０を介して信号変形部１５１に接続されて
いる。
【００２１】この信号変形部１５１は参照画像用バッフ
ァ１１２を介して欠落画素復元部１１６に接続されてい
る。ＲＧＢ切換部１１３は、エッジ強度算出部１１４と
線形補間部１１５または欠落画素復元部１１６を介し
て、出力部１１７に接続されている。また、制御部１１
８は、入力部１０１、領域抽出部１０５、分散算出部１
０９、１１０、１１１、信号変形部１５１、ＲＧＢ切換
部１１３、エッジ強度算出部１１４、欠落画素復元部１
１６、出力部１１７に接続されている。
ァ１１２を介して欠落画素復元部１１６に接続されてい
る。ＲＧＢ切換部１１３は、エッジ強度算出部１１４と
線形補間部１１５または欠落画素復元部１１６を介し
て、出力部１１７に接続されている。また、制御部１１
８は、入力部１０１、領域抽出部１０５、分散算出部１
０９、１１０、１１１、信号変形部１５１、ＲＧＢ切換
部１１３、エッジ強度算出部１１４、欠落画素復元部１
１６、出力部１１７に接続されている。
【００２２】図２は上記した信号変形部１５１の具体的
構成を示す図であり、Ｒ信号用ブロックバッファ１０
６、Ｇ信号用ブロックバッファ１０７、Ｂ信号用ブロッ
クバッファ１０８と、最大分散決定部１５０と、制御部
１１８からの信号を受ける選択部１５１Ａと、ゲイン・
バイアス算出部１５１Ｂと、演算部１５１Ｃとが順に接
続されている。
構成を示す図であり、Ｒ信号用ブロックバッファ１０
６、Ｇ信号用ブロックバッファ１０７、Ｂ信号用ブロッ
クバッファ１０８と、最大分散決定部１５０と、制御部
１１８からの信号を受ける選択部１５１Ａと、ゲイン・
バイアス算出部１５１Ｂと、演算部１５１Ｃとが順に接
続されている。
【００２３】なお、本実施形態では上記した各機能の一
部はハードウェアで構成され、入力部１０１は単板式Ｃ
ＣＤにより、出力部１１７は磁気ディスクにより、制御
部１１８はマイクロコンピュータにより構成される。
部はハードウェアで構成され、入力部１０１は単板式Ｃ
ＣＤにより、出力部１１７は磁気ディスクにより、制御
部１１８はマイクロコンピュータにより構成される。
【００２４】図３は入力部１０１の具体的構成を示す図
である。レンズ系２０１とローパスフィルタ２０２と単
板式のＣＣＤ２０３とが被写体を撮像可能なように配置
されている。ＣＣＤ２０３は、例えば以下に述べるよう
な原色型のフィルタ配置を持つＣＣＤであり、Ａ／Ｄ変
換器２０４、色分離回路２０５、プロセス回路２０６、
２０７、２０８を介してマトリックス回路２０９に接続
されている。このマトリックス回路２０９の出力はＲＧ
Ｂ３信号用のバッファ１０２、１０３、１０４に接続さ
れている。また、ＣＣＤ２０３にはクロックジェネレー
タ２１０によって発生されたクロックに基づいてＣＣＤ
２０３を駆動するＣＣＤ駆動回路２１１が接続されてい
る。
である。レンズ系２０１とローパスフィルタ２０２と単
板式のＣＣＤ２０３とが被写体を撮像可能なように配置
されている。ＣＣＤ２０３は、例えば以下に述べるよう
な原色型のフィルタ配置を持つＣＣＤであり、Ａ／Ｄ変
換器２０４、色分離回路２０５、プロセス回路２０６、
２０７、２０８を介してマトリックス回路２０９に接続
されている。このマトリックス回路２０９の出力はＲＧ
Ｂ３信号用のバッファ１０２、１０３、１０４に接続さ
れている。また、ＣＣＤ２０３にはクロックジェネレー
タ２１０によって発生されたクロックに基づいてＣＣＤ
２０３を駆動するＣＣＤ駆動回路２１１が接続されてい
る。
【００２５】図４は、図３のＣＣＤ２０３におけるフィ
ルタ配置の具体的構成を示す図である。ここでは、図４
（ａ）に示すような３×３サイズの基本配置を、図３
（ｂ）に示すように反復的に繰り返して構成することに
より、ＣＣＤ上の全画素を充填している。本実施形態で
は、ＲＧＢ３信号の出現頻度は１：１：１の均等な比率
になるように設定されている。
ルタ配置の具体的構成を示す図である。ここでは、図４
（ａ）に示すような３×３サイズの基本配置を、図３
（ｂ）に示すように反復的に繰り返して構成することに
より、ＣＣＤ上の全画素を充填している。本実施形態で
は、ＲＧＢ３信号の出現頻度は１：１：１の均等な比率
になるように設定されている。
【００２６】以下に上記した図１に示す構成の作用を図
５のフローチャートを参照して説明する。
５のフローチャートを参照して説明する。
【００２７】図１において、１フレーム分のＲＧＢ３信
号が制御部１１８の制御に基づいて入力部１０１を介し
て読み込まれて、Ｒ信号用バッファ１０２、Ｇ信号用バ
ッファ１０３、Ｂ信号用バッファ１０４に転送される
（ステップＳ１）。次に、領域抽出部１０５は制御部１
１８の制御に基づき、画像の走査を行なって（ステップ
Ｓ２）、各色信号用バッファ１０２，１０３，１０４内
の１フレーム分の各色信号から、ある特定画素を中心と
する所定サイズの矩形領域、例えば５×５サイズの領域
内に存在する色信号を抽出して（ステップＳ３）、それ
ぞれＲ信号用ブロックバッファ１０６、Ｇ信号用ブロッ
クバッファ１０７、Ｂ信号用ブロックバッファ１０８に
転送する。ＲＧＢ切換部１１３は制御部１１８の制御に
基づいて各ブロックバッファ１０６，１０７，１０８内
の矩形領域の色信号を順次読み出してエッジ強度算出部
１１４に転送する。エッジ強度算出部１１４は制御部１
１８の制御の基に、全色信号からラプラシアンに基づく
エッジ強度を算出して（ステップＳ４）、エッジ強度が
所定の閾値（例えば信号が０〜２５５の８ｂｉｔ精度で
あるときは８を閾値とする）より大きいか否かを判断し
（ステップＳ５）、ＹＥＳの場合は欠落画素復元部１１
６を選択し、ＮＯの場合は線形補間部１１５を選択す
る。
号が制御部１１８の制御に基づいて入力部１０１を介し
て読み込まれて、Ｒ信号用バッファ１０２、Ｇ信号用バ
ッファ１０３、Ｂ信号用バッファ１０４に転送される
（ステップＳ１）。次に、領域抽出部１０５は制御部１
１８の制御に基づき、画像の走査を行なって（ステップ
Ｓ２）、各色信号用バッファ１０２，１０３，１０４内
の１フレーム分の各色信号から、ある特定画素を中心と
する所定サイズの矩形領域、例えば５×５サイズの領域
内に存在する色信号を抽出して（ステップＳ３）、それ
ぞれＲ信号用ブロックバッファ１０６、Ｇ信号用ブロッ
クバッファ１０７、Ｂ信号用ブロックバッファ１０８に
転送する。ＲＧＢ切換部１１３は制御部１１８の制御に
基づいて各ブロックバッファ１０６，１０７，１０８内
の矩形領域の色信号を順次読み出してエッジ強度算出部
１１４に転送する。エッジ強度算出部１１４は制御部１
１８の制御の基に、全色信号からラプラシアンに基づく
エッジ強度を算出して（ステップＳ４）、エッジ強度が
所定の閾値（例えば信号が０〜２５５の８ｂｉｔ精度で
あるときは８を閾値とする）より大きいか否かを判断し
（ステップＳ５）、ＹＥＳの場合は欠落画素復元部１１
６を選択し、ＮＯの場合は線形補間部１１５を選択す
る。
【００２８】そして線形補間部１１５が選択された場合
は、公知の線形補間方法により欠落画素を復元し、出力
部１１７から外部へ出力する（ステップＳ１６、Ｓ１
７）。また、欠落画素復元部１１６が選択された場合に
は処理が制御部１１８を介して分散算出部１０９、１１
０、１１１に移行する。すなわち、分散算出部１０９、
１１０、１１１は制御部１１８の制御に基づき、各ブロ
ックバッファ１０６，１０７，１０８内の矩形領域の各
色信号を読み出して各色信号の分散を算出する。次に最
大分散決定部１５０は算出された各分散のうち最大の分
散をもつ色信号を決定する（ステップＳ６）。
は、公知の線形補間方法により欠落画素を復元し、出力
部１１７から外部へ出力する（ステップＳ１６、Ｓ１
７）。また、欠落画素復元部１１６が選択された場合に
は処理が制御部１１８を介して分散算出部１０９、１１
０、１１１に移行する。すなわち、分散算出部１０９、
１１０、１１１は制御部１１８の制御に基づき、各ブロ
ックバッファ１０６，１０７，１０８内の矩形領域の各
色信号を読み出して各色信号の分散を算出する。次に最
大分散決定部１５０は算出された各分散のうち最大の分
散をもつ色信号を決定する（ステップＳ６）。
【００２９】信号変形部１５１の選択部１５１Ａ（図
２）は制御部１１８の制御に基づき、最大分散決定部１
５０からの色信号が最大分散を有する信号か否かによっ
て各ブロックバッファ１０６，１０７，１０８内の矩形
領域の各色信号のうち１つを選択する（ステップＳ
７）。すなわち、各ブロックバッファ１０６，１０７，
１０８内の矩形領域の各色信号のうち、最大分散に対応
する色信号は変形されることなしに参照画像用バッファ
１１２へ出力される。最大分散の色信号でないものにつ
いてはゲイン・バイアス算出部１５１Ｂに出力される。
ゲイン・バイアス算出部１５１Ｂは入力された色信号に
ついてそのゲインαi とバイアスβi とを算出して（ス
テップＳ８）、当該色信号Ｉとともに演算部１５１Ｃへ
出力する。演算部１５１Ｃは算出されたゲインαi とバ
イアスβi とを用いて当該色信号を変形して参照画像バ
ッファ１１２に出力する（ステップＳ９）。最大分散に
対応する変形なしの色信号と変形された色信号とが参照
画像バッファ１１２内に積算されることにより参照画像
が生成される（ステップＳ１０）。
２）は制御部１１８の制御に基づき、最大分散決定部１
５０からの色信号が最大分散を有する信号か否かによっ
て各ブロックバッファ１０６，１０７，１０８内の矩形
領域の各色信号のうち１つを選択する（ステップＳ
７）。すなわち、各ブロックバッファ１０６，１０７，
１０８内の矩形領域の各色信号のうち、最大分散に対応
する色信号は変形されることなしに参照画像用バッファ
１１２へ出力される。最大分散の色信号でないものにつ
いてはゲイン・バイアス算出部１５１Ｂに出力される。
ゲイン・バイアス算出部１５１Ｂは入力された色信号に
ついてそのゲインαi とバイアスβi とを算出して（ス
テップＳ８）、当該色信号Ｉとともに演算部１５１Ｃへ
出力する。演算部１５１Ｃは算出されたゲインαi とバ
イアスβi とを用いて当該色信号を変形して参照画像バ
ッファ１１２に出力する（ステップＳ９）。最大分散に
対応する変形なしの色信号と変形された色信号とが参照
画像バッファ１１２内に積算されることにより参照画像
が生成される（ステップＳ１０）。
【００３０】欠落画素復元部１１６は参照画像バッファ
１１２から参照画像を読み出して最大分散を有する色信
号か否かを判断し（ステップＳ１１）、ＹＥＳの場合は
この参照画像を出力部１１７に転送する。また、ＮＯの
場合は参照画像用バッファ１１２内の各色ごとに参照画
像と各ブロックバッファ１０６，１０７，１０８内の矩
形領域の色信号とを比較し、参照画像を各色信号に適合
するように変形して（ステップＳ１２）、出力部１１７
に転送する。これによって出力部１１７には変形なしの
参照画像と変形された参照画像とが積算される（ステッ
プＳ１３）。出力部１１７は積算された参照画像を欠落
が復元された色信号として外部へ出力する（ステップＳ
１４）。
１１２から参照画像を読み出して最大分散を有する色信
号か否かを判断し（ステップＳ１１）、ＹＥＳの場合は
この参照画像を出力部１１７に転送する。また、ＮＯの
場合は参照画像用バッファ１１２内の各色ごとに参照画
像と各ブロックバッファ１０６，１０７，１０８内の矩
形領域の色信号とを比較し、参照画像を各色信号に適合
するように変形して（ステップＳ１２）、出力部１１７
に転送する。これによって出力部１１７には変形なしの
参照画像と変形された参照画像とが積算される（ステッ
プＳ１３）。出力部１１７は積算された参照画像を欠落
が復元された色信号として外部へ出力する（ステップＳ
１４）。
【００３１】このようにして上記処理を矩形ブロックが
重複しないように各信号用バッファ１０２、１０３、１
０４内のすべての画像が走査されて処理されることによ
り（ステップＳ１５）、１フレーム分の画像に対するす
べての欠落が復元される。
重複しないように各信号用バッファ１０２、１０３、１
０４内のすべての画像が走査されて処理されることによ
り（ステップＳ１５）、１フレーム分の画像に対するす
べての欠落が復元される。
【００３２】以下に、上記した参照画像を生成する方法
を図６（ａ）〜（ｊ）を参照して説明する。本実施形態
ではいわゆるカラーエッジモデルを用いて参照画像を生
成する。カラーエッジモデルでは、局所領域においては
各色信号は同一のエッジ構造を共有する。このようなモ
デルは自然界に存在する多くの画像において成立するこ
とが確認されている。したがって、このようなモデルを
仮定すれば、以下で定義される各色信号のゲイン（α）
とバイアス（β）とを調整することで同一形状の信号が
得られる。
を図６（ａ）〜（ｊ）を参照して説明する。本実施形態
ではいわゆるカラーエッジモデルを用いて参照画像を生
成する。カラーエッジモデルでは、局所領域においては
各色信号は同一のエッジ構造を共有する。このようなモ
デルは自然界に存在する多くの画像において成立するこ
とが確認されている。したがって、このようなモデルを
仮定すれば、以下で定義される各色信号のゲイン（α）
とバイアス（β）とを調整することで同一形状の信号が
得られる。
【００３３】図６（ａ）、（ｂ）、（ｃ）はそれぞれ、
Ｒ、Ｇ、Ｂの各色信号における原画像の形状と、そのゲ
インαi ＝最大値−最小値，バイアスβi ＝最小値（ｉ
＝ｒ，ｇ，ｂ）を示す図である。これらの原画像が図６
（ｄ）に示されるフィルタ配置のＣＣＤによって撮像さ
れたとすると、得られる色信号はそれぞれ、図６
（ｅ）、（ｆ）、（ｇ）に示すような分布となる。そこ
で、図６（ｅ）、（ｆ）、（ｇ）の各色信号のゲインα
i ，バイアスβi を調整して合成することで、図６
（ｈ）、（ｉ）、（ｊ）に示されるような基本となる複
数のエッジ構造分布が得られる。この場合上記したよう
に、最大分散を有する色信号についてはゲインαiとバ
イアスβi を調整せず、それ以外の色信号についてのみ
ゲインαi とバイアスβi を調整する。
Ｒ、Ｇ、Ｂの各色信号における原画像の形状と、そのゲ
インαi ＝最大値−最小値，バイアスβi ＝最小値（ｉ
＝ｒ，ｇ，ｂ）を示す図である。これらの原画像が図６
（ｄ）に示されるフィルタ配置のＣＣＤによって撮像さ
れたとすると、得られる色信号はそれぞれ、図６
（ｅ）、（ｆ）、（ｇ）に示すような分布となる。そこ
で、図６（ｅ）、（ｆ）、（ｇ）の各色信号のゲインα
i ，バイアスβi を調整して合成することで、図６
（ｈ）、（ｉ）、（ｊ）に示されるような基本となる複
数のエッジ構造分布が得られる。この場合上記したよう
に、最大分散を有する色信号についてはゲインαiとバ
イアスβi を調整せず、それ以外の色信号についてのみ
ゲインαi とバイアスβi を調整する。
【００３４】次に、複数のエッジ構造分布の中で最も局
在性の高いパターンを参照画像として１つ選択する。局
在性の判断には所定の方法、例えばラプラシアンを用い
てエッジ強度を算出して、このエッジ強度が最小のもの
を選択するようにする。参照画像は、各色信号から矛盾
無く合成されるエッジ構造を表しており、原画像のエッ
ジ構造を反映しているものと考えられる。よって、この
参照画像のゲインとバイアスを各色信号のゲインαi と
バイアスβi に一致させるように最小自乗誤差を規範と
して変形することで、欠落が回復された色信号を得るこ
とができる。
在性の高いパターンを参照画像として１つ選択する。局
在性の判断には所定の方法、例えばラプラシアンを用い
てエッジ強度を算出して、このエッジ強度が最小のもの
を選択するようにする。参照画像は、各色信号から矛盾
無く合成されるエッジ構造を表しており、原画像のエッ
ジ構造を反映しているものと考えられる。よって、この
参照画像のゲインとバイアスを各色信号のゲインαi と
バイアスβi に一致させるように最小自乗誤差を規範と
して変形することで、欠落が回復された色信号を得るこ
とができる。
【００３５】ここでは、予め多数のエッジ構造を形成し
た後に１つの参照画像を選択するのでなく、選択の効率
を考慮してラプラシアンのような評価関数を定め、エッ
ジ強度が最小となるように解析的にゲインαi ，バイア
スβi を算出する。また、全色信号のゲインαi とバイ
アスβi を求めることは必ずしも必要ではなく、どれか
１つの色信号に合わせるようにすることで計算を簡略化
することができる。例えば、後述するように分散が最大
となる色信号については変形せず、それ以外の色信号に
ついては、分散が最大となる色信号と組み合わせて最も
局在性の高いエッジ構造が得られるように変形する。
た後に１つの参照画像を選択するのでなく、選択の効率
を考慮してラプラシアンのような評価関数を定め、エッ
ジ強度が最小となるように解析的にゲインαi ，バイア
スβi を算出する。また、全色信号のゲインαi とバイ
アスβi を求めることは必ずしも必要ではなく、どれか
１つの色信号に合わせるようにすることで計算を簡略化
することができる。例えば、後述するように分散が最大
となる色信号については変形せず、それ以外の色信号に
ついては、分散が最大となる色信号と組み合わせて最も
局在性の高いエッジ構造が得られるように変形する。
【００３６】以下に、ラプラシアンを評価関数として、
Ｇ信号にＲ，Ｂ信号を合わせる例を説明する。
Ｇ信号にＲ，Ｂ信号を合わせる例を説明する。
【００３７】Ｒ、Ｂ信号のゲインをαr ，αb とし、バ
イアスをβr ，βb とする。局所領域に含まれるＲ，
Ｇ，Ｂ信号の画素値を１次元のベクトルｆr ，ｆg ，ｆ
b で表し、画素の欠落状況を示すマスクをベクトル
ｍr ，ｍg ，ｍb で表す。マスクは画素が存在する場合
に１を、存在しない場合に０の要素をとるものとする。
すると、参照画像Φは、
イアスをβr ，βb とする。局所領域に含まれるＲ，
Ｇ，Ｂ信号の画素値を１次元のベクトルｆr ，ｆg ，ｆ
b で表し、画素の欠落状況を示すマスクをベクトル
ｍr ，ｍg ，ｍb で表す。マスクは画素が存在する場合
に１を、存在しない場合に０の要素をとるものとする。
すると、参照画像Φは、
【００３８】
【数２】 で示される。ここで、参照画像Φに対してラプラシアン
Δ2 を施し、 Δ2 Φ＝｜Δ2 （Ｍｖ＋Ｃ）｜ （１０） を最小化することを考える。すると、ｖ＝［αr ，
βr ，αb ，βb ］T は、 ｖ＝（Δ2 Ｍ）-1（−Δ2 Ｃ） （１１） となり、一意に算出できる。すなわち、Ｇ信号に対する
Ｒ、Ｂ信号のゲインαr，αb と、バイアスβr ，βb
とが求まる。
Δ2 を施し、 Δ2 Φ＝｜Δ2 （Ｍｖ＋Ｃ）｜ （１０） を最小化することを考える。すると、ｖ＝［αr ，
βr ，αb ，βb ］T は、 ｖ＝（Δ2 Ｍ）-1（−Δ2 Ｃ） （１１） となり、一意に算出できる。すなわち、Ｇ信号に対する
Ｒ、Ｂ信号のゲインαr，αb と、バイアスβr ，βb
とが求まる。
【００３９】ここで、Ｍは正方行列にはならないため特
異値分解に基づく疑似逆行列を算出する必要がある。ま
た、（１１）式は、Ｇ信号にＲ，Ｂ信号を合わせる例で
あるが、他の組み合わせも同様にして算出することがで
きる。
異値分解に基づく疑似逆行列を算出する必要がある。ま
た、（１１）式は、Ｇ信号にＲ，Ｂ信号を合わせる例で
あるが、他の組み合わせも同様にして算出することがで
きる。
【００４０】図７は、上記したカラーエッジモデルに基
づいて欠落画素が復元される過程を示す図である。以下
の説明では、５×５サイズの矩形領域を用いる。図７
（ａ）に示す原画像は自転車のサドル部の一部の画像で
あり、図７（ｂ）に示すようなＣＣＤ２０３（入力部１
０１）のフィルタ配置に応じて図７（ｃ），（ｄ），
（ｅ）に示される欠落のある色信号としてそれぞれＲ信
号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号
用バッファ１０４、及び領域抽出部１０５を経由して、
それぞれＲ信号用ブロックバッファ１０６，Ｇ信号用ブ
ロックバッファ１０７，Ｂ信号用ブロックバッファ１０
８に転送される。
づいて欠落画素が復元される過程を示す図である。以下
の説明では、５×５サイズの矩形領域を用いる。図７
（ａ）に示す原画像は自転車のサドル部の一部の画像で
あり、図７（ｂ）に示すようなＣＣＤ２０３（入力部１
０１）のフィルタ配置に応じて図７（ｃ），（ｄ），
（ｅ）に示される欠落のある色信号としてそれぞれＲ信
号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号
用バッファ１０４、及び領域抽出部１０５を経由して、
それぞれＲ信号用ブロックバッファ１０６，Ｇ信号用ブ
ロックバッファ１０７，Ｂ信号用ブロックバッファ１０
８に転送される。
【００４１】これらの欠落のある色信号は上記したよう
に分散算出部１０９、１１０、１１１によって読み出さ
れて各色信号ごとに分散が算出される。そして、Ｒ、
Ｇ、Ｂの３信号中で分散が最大となる色信号を基準とし
てこれに他の信号を合わせる（最大分散決定部１５０、
信号変形部１５１）。ここではＧ信号の分散が最大にな
るものとして、Ｒ，Ｂ信号のゲインとバイアスを求め
る。図７（ｆ）、（ｈ）は上記した（１１）式に従い算
出したゲインαr ，αb とバイアスβr 、βb により変
形したＲ，Ｂ信号を示し、（ｇ）はそのままのＧ信号を
示す。
に分散算出部１０９、１１０、１１１によって読み出さ
れて各色信号ごとに分散が算出される。そして、Ｒ、
Ｇ、Ｂの３信号中で分散が最大となる色信号を基準とし
てこれに他の信号を合わせる（最大分散決定部１５０、
信号変形部１５１）。ここではＧ信号の分散が最大にな
るものとして、Ｒ，Ｂ信号のゲインとバイアスを求め
る。図７（ｆ）、（ｈ）は上記した（１１）式に従い算
出したゲインαr ，αb とバイアスβr 、βb により変
形したＲ，Ｂ信号を示し、（ｇ）はそのままのＧ信号を
示す。
【００４２】これら図７（ｆ）、（ｇ）、（ｈ）の画像
を積算することで図７（ｉ）に示すような参照画像Φが
得られる（参照画像用バッファ１１２）。この参照画像
Φは、ラプラシアンにより求めたエッジ強度を判断基準
とすると局在性の最も高い画像となっている。一方、Ｒ
ＧＢ切換部１１３は、各信号用ブロックバッファ１０
６、１０７、１０８内の欠落のある色信号（図７
（ｃ），（ｄ），（ｅ））を順次読み出してエッジ強度
算出部１１４でエッジ強度を算出し、これが所定の閾値
より大きい場合には、欠落のある色信号を欠落画素復元
部１１６へ転送する。所定の閾値よりも小さい場合には
線形補間部１１５に送られて、線形補間によって復元さ
れる。一方、欠落画素復元部１１６は参照画像用バッフ
ァ１１２から上記参照画像Φのゲインとバイアスを求
め、これを転送された欠落のある色信号のゲインとバイ
アスに一致させる。本実施形態では、Ｇ信号に合わせて
参照画像Φを生成しているため、Ｇ信号に関しては参照
画像Φのゲインとバイアスは一致している。このため、
上記操作はＲ、Ｂ信号についてのみ行う。これにより得
られる信号は、図７（ｊ），（ｋ），（ｌ）に示される
ような欠落が復元された信号となる。これらを出力部１
１７で積算することで、図７（ｍ）に示される復元され
たカラー画像が得られる。
を積算することで図７（ｉ）に示すような参照画像Φが
得られる（参照画像用バッファ１１２）。この参照画像
Φは、ラプラシアンにより求めたエッジ強度を判断基準
とすると局在性の最も高い画像となっている。一方、Ｒ
ＧＢ切換部１１３は、各信号用ブロックバッファ１０
６、１０７、１０８内の欠落のある色信号（図７
（ｃ），（ｄ），（ｅ））を順次読み出してエッジ強度
算出部１１４でエッジ強度を算出し、これが所定の閾値
より大きい場合には、欠落のある色信号を欠落画素復元
部１１６へ転送する。所定の閾値よりも小さい場合には
線形補間部１１５に送られて、線形補間によって復元さ
れる。一方、欠落画素復元部１１６は参照画像用バッフ
ァ１１２から上記参照画像Φのゲインとバイアスを求
め、これを転送された欠落のある色信号のゲインとバイ
アスに一致させる。本実施形態では、Ｇ信号に合わせて
参照画像Φを生成しているため、Ｇ信号に関しては参照
画像Φのゲインとバイアスは一致している。このため、
上記操作はＲ、Ｂ信号についてのみ行う。これにより得
られる信号は、図７（ｊ），（ｋ），（ｌ）に示される
ような欠落が復元された信号となる。これらを出力部１
１７で積算することで、図７（ｍ）に示される復元され
たカラー画像が得られる。
【００４３】上記したように第１実施形態においては、
エッジ部と判断された局所領域中のすべての色信号にカ
ラーエッジモデルとラプラシアンに基づく局在性の評価
を組み合わせることで参照画像を作成し、この参照画像
から欠落信号を復元するようにしたので、従来の線形補
間では困難であった高周波成分を回復することができ、
これによって高精細な復元画像を得ることができる。ま
た、エッジ部と判断されなかった場合は、通常の線形補
間で処理されるため高速に処理を行うことができる。ま
た、ＲＧＢ３信号の出現頻度が均等なるフィルタ配置を
用いているため、従来の輝度信号に比較して色差信号が
劣化するようなアンバランスが発生せず、高画質な復元
画像が得られる。
エッジ部と判断された局所領域中のすべての色信号にカ
ラーエッジモデルとラプラシアンに基づく局在性の評価
を組み合わせることで参照画像を作成し、この参照画像
から欠落信号を復元するようにしたので、従来の線形補
間では困難であった高周波成分を回復することができ、
これによって高精細な復元画像を得ることができる。ま
た、エッジ部と判断されなかった場合は、通常の線形補
間で処理されるため高速に処理を行うことができる。ま
た、ＲＧＢ３信号の出現頻度が均等なるフィルタ配置を
用いているため、従来の輝度信号に比較して色差信号が
劣化するようなアンバランスが発生せず、高画質な復元
画像が得られる。
【００４４】なお、上記した実施形態では局所領域のサ
イズを５×５としているがこれに限定される必要はな
く、自由な設定が可能である。また上記局所領域が重複
しないように処理を行っているが、処理時間が問題にな
らないならば１画素間隔で重複するように処理をし、処
理結果を加算平均することも可能である。この場合は、
ノイズなどによるカラーエッジモデルの誤差を低減でき
る。また、局在性の評価にラプラシアンを用いているが
これに限定される必要はない。例えば、濃度共起行列か
ら算出されるエネルギーまたはエントロピーまたは相関
または局所一様性などを用いても同様の効果を得ること
ができる。さらに、フィルタ配置も図４に示される配置
に限定される必要はなく、自由な設定が可能である。従
来と同様に輝度信号の出現頻度を高めたフィルタ配置に
関しても、改善効果は若干低下するが同様に処理するこ
とができる。
イズを５×５としているがこれに限定される必要はな
く、自由な設定が可能である。また上記局所領域が重複
しないように処理を行っているが、処理時間が問題にな
らないならば１画素間隔で重複するように処理をし、処
理結果を加算平均することも可能である。この場合は、
ノイズなどによるカラーエッジモデルの誤差を低減でき
る。また、局在性の評価にラプラシアンを用いているが
これに限定される必要はない。例えば、濃度共起行列か
ら算出されるエネルギーまたはエントロピーまたは相関
または局所一様性などを用いても同様の効果を得ること
ができる。さらに、フィルタ配置も図４に示される配置
に限定される必要はなく、自由な設定が可能である。従
来と同様に輝度信号の出現頻度を高めたフィルタ配置に
関しても、改善効果は若干低下するが同様に処理するこ
とができる。
【００４５】図８は本発明の第２実施形態に係る画像信
号処理装置の機能ブロック図であり、以下に各機能の接
続関係を説明する。
号処理装置の機能ブロック図であり、以下に各機能の接
続関係を説明する。
【００４６】図８において、入力部３０１はＲ信号用バ
ッファ３０２，Ｇ信号用バッファ３０３、Ｂ信号用バッ
ファ３０４に接続され、各色信号用バッファ３０２、３
０３、３０４は領域抽出部３０５を介してそれぞれＲ信
号用ブロックバッファ３０６、Ｇ信号用ブロックバッフ
ァ３０７、Ｂ信号用ブロックバッファ３０８に接続され
ている。Ｒ信号用ブロックバッファ３０６はＲ信号用平
均分散算出部３０９とＲＧＢ切換部３１７とに接続さ
れ、Ｇ信号用ブロックバッファ３０７はＧ信号用平均分
散算出部３１０とＲＧＢ切換部３１７とに接続され、Ｂ
信号用ブロックバッファ３０８はＢ信号用平均分散算出
部３１１とＲＧＢ切換部３１７とに接続されている。
ッファ３０２，Ｇ信号用バッファ３０３、Ｂ信号用バッ
ファ３０４に接続され、各色信号用バッファ３０２、３
０３、３０４は領域抽出部３０５を介してそれぞれＲ信
号用ブロックバッファ３０６、Ｇ信号用ブロックバッフ
ァ３０７、Ｂ信号用ブロックバッファ３０８に接続され
ている。Ｒ信号用ブロックバッファ３０６はＲ信号用平
均分散算出部３０９とＲＧＢ切換部３１７とに接続さ
れ、Ｇ信号用ブロックバッファ３０７はＧ信号用平均分
散算出部３１０とＲＧＢ切換部３１７とに接続され、Ｂ
信号用ブロックバッファ３０８はＢ信号用平均分散算出
部３１１とＲＧＢ切換部３１７とに接続されている。
【００４７】Ｒ信号用平均分散算出部３０９、Ｇ信号用
平均分散算出部３１０、Ｂ信号用平均分散算出部３１１
は最大分散信号選択部３１２に接続されている。最大分
散信号選択部３１２およびＲＧＢ切換部３１７は、信号
変形部３１３と候補画像生成部３１４を介して、候補画
像用バッファ３１５に接続されている。ＲＧＢ切換部３
１７はまた、欠落画素復元部３１８にも接続されてい
る。候補画像用バッファ３１５は参照画像選択部３１６
と欠落画素復元部３１８に接続されており、参照画像選
択部３１６は欠落画素復元部３１８に接続されている。
欠落画素復元部３１８は出力部３１９に接続されてい
る。
平均分散算出部３１０、Ｂ信号用平均分散算出部３１１
は最大分散信号選択部３１２に接続されている。最大分
散信号選択部３１２およびＲＧＢ切換部３１７は、信号
変形部３１３と候補画像生成部３１４を介して、候補画
像用バッファ３１５に接続されている。ＲＧＢ切換部３
１７はまた、欠落画素復元部３１８にも接続されてい
る。候補画像用バッファ３１５は参照画像選択部３１６
と欠落画素復元部３１８に接続されており、参照画像選
択部３１６は欠落画素復元部３１８に接続されている。
欠落画素復元部３１８は出力部３１９に接続されてい
る。
【００４８】また、制御部３２０は、入力部３０１と、
領域抽出部３０５と、Ｒ信号用平均分散算出部３０９
と、Ｇ信号用平均分散算出部３１０と、Ｂ信号用平均分
散算出部３１１と、最大分散信号選択部３１２と、候補
画像生成部３１４と、参照画像選択部３１６と、ＲＧＢ
切換部３１７と、欠落画素復元部３１８と、出力部３１
９とに接続されている。
領域抽出部３０５と、Ｒ信号用平均分散算出部３０９
と、Ｇ信号用平均分散算出部３１０と、Ｂ信号用平均分
散算出部３１１と、最大分散信号選択部３１２と、候補
画像生成部３１４と、参照画像選択部３１６と、ＲＧＢ
切換部３１７と、欠落画素復元部３１８と、出力部３１
９とに接続されている。
【００４９】なお、本実施形態では上記した各機能の一
部はハードウェアで構成され、入力部３０１は二板式Ｃ
ＣＤにより、出力部３１９は磁気ディスクにより、制御
部３２０はマイクロコンピュータにより構成される。
部はハードウェアで構成され、入力部３０１は二板式Ｃ
ＣＤにより、出力部３１９は磁気ディスクにより、制御
部３２０はマイクロコンピュータにより構成される。
【００５０】図９は図８に示す入力部３０１の具体的構
成の一例を示す図である。図９において、レンズ系４０
１とＧ信号用ローパスフィルタ４０２とＧ信号用ＣＣＤ
４０４およびＲ、Ｂ信号用ローパスフィルタ４０３と
Ｒ、Ｂ信号用ＣＣＤ４０５が被写体を撮影可能に配置さ
れている。Ｇ信号用ＣＣＤ４０４は、Ａ／Ｄ変換器４０
６を介してＧ信号用バッファ３０３に接続されている。
また、Ｒ，Ｂ信号用ＣＣＤ４０５は、Ａ／Ｄ変換器４０
７とＲ／Ｂ分離回路４０８を介してＲ信号用バッファ３
０２とＢ信号用バッファ３０４に接続されている。Ｇ信
号用ＣＣＤ４０４とＲ、Ｂ信号用ＣＣＤ４０５は、Ｇ信
号用ＣＣＤ駆動回路４１０とＲ、Ｂ信号用ＣＣＤ駆動回
路４１１とにそれぞれ接続され、Ｇ信号用ＣＣＤ駆動回
路４１０とＲ、Ｂ信号用ＣＣＤ駆動回路４１１とは、ク
ロックジェネレータ４０９からのクロックに基づいてＧ
信号用ＣＣＤ４０４と、Ｒ、Ｂ信号用ＣＣＤ４０５とを
各々駆動する。
成の一例を示す図である。図９において、レンズ系４０
１とＧ信号用ローパスフィルタ４０２とＧ信号用ＣＣＤ
４０４およびＲ、Ｂ信号用ローパスフィルタ４０３と
Ｒ、Ｂ信号用ＣＣＤ４０５が被写体を撮影可能に配置さ
れている。Ｇ信号用ＣＣＤ４０４は、Ａ／Ｄ変換器４０
６を介してＧ信号用バッファ３０３に接続されている。
また、Ｒ，Ｂ信号用ＣＣＤ４０５は、Ａ／Ｄ変換器４０
７とＲ／Ｂ分離回路４０８を介してＲ信号用バッファ３
０２とＢ信号用バッファ３０４に接続されている。Ｇ信
号用ＣＣＤ４０４とＲ、Ｂ信号用ＣＣＤ４０５は、Ｇ信
号用ＣＣＤ駆動回路４１０とＲ、Ｂ信号用ＣＣＤ駆動回
路４１１とにそれぞれ接続され、Ｇ信号用ＣＣＤ駆動回
路４１０とＲ、Ｂ信号用ＣＣＤ駆動回路４１１とは、ク
ロックジェネレータ４０９からのクロックに基づいてＧ
信号用ＣＣＤ４０４と、Ｒ、Ｂ信号用ＣＣＤ４０５とを
各々駆動する。
【００５１】以下に上記した図８に示す構成の作用を図
１０のフローチャートを参照して説明する。
１０のフローチャートを参照して説明する。
【００５２】まず１フレーム分のＲＧＢ３信号が制御部
３２０の制御により入力部３０１を介して読み込まれ
て、Ｒ信号用バッファ３０２、Ｇ信号用バッファ３０
３、Ｂ信号用バッファ３０４に転送される（ステップＳ
２１）。次に、領域抽出部３０５は制御部３２０の制御
に基づいて画像の走査を行って（ステップＳ２２）、あ
る特定画素を中心とする所定サイズの矩形領域、例えば
１５×１５サイズの領域内に存在する信号を抽出して
（ステップＳ２３）、それぞれＲ信号用ブロックバッフ
ァ３０６、Ｇ信号用ブロックバッファ３０７、Ｂ信号用
ブロックバッファ３０８に転送する。Ｒ信号用平均分散
算出部３０９、Ｇ信号用平均分散算出部３１０、Ｂ信号
用平均分散算出部３１１は制御部３２０の制御に基づ
き、各信号用ブロックバッファ３０６，３０７，３０８
内の矩形領域の色信号を読み出して各色信号の平均と分
散とを算出する。
３２０の制御により入力部３０１を介して読み込まれ
て、Ｒ信号用バッファ３０２、Ｇ信号用バッファ３０
３、Ｂ信号用バッファ３０４に転送される（ステップＳ
２１）。次に、領域抽出部３０５は制御部３２０の制御
に基づいて画像の走査を行って（ステップＳ２２）、あ
る特定画素を中心とする所定サイズの矩形領域、例えば
１５×１５サイズの領域内に存在する信号を抽出して
（ステップＳ２３）、それぞれＲ信号用ブロックバッフ
ァ３０６、Ｇ信号用ブロックバッファ３０７、Ｂ信号用
ブロックバッファ３０８に転送する。Ｒ信号用平均分散
算出部３０９、Ｇ信号用平均分散算出部３１０、Ｂ信号
用平均分散算出部３１１は制御部３２０の制御に基づ
き、各信号用ブロックバッファ３０６，３０７，３０８
内の矩形領域の色信号を読み出して各色信号の平均と分
散とを算出する。
【００５３】最大分散信号選択部３１２は制御部３２０
の制御に基づき各平均分散算出部３０９，３１０，３１
１で算出された平均と分散のうち、３色信号中最大の分
散を有する色信号を選択して信号変形部３１３に転送す
る（ステップＳ２４）。また、ＲＧＢ切換部３１７は制
御部３２０の制御に基づき、各信号用ブロックバッファ
３０６、３０７、３０８内の矩形領域の色信号を順に読
み出して信号変形部３１３に出力する。信号変形部３１
３はＲＧＢ切換部３１７から転送される各色信号につい
て最大分散を与える色信号か否かを判断して（ステップ
Ｓ２５）、最大分散を与える色信号以外の色信号の分散
と平均を、最大分散を与える色信号の平均と分散に等し
くなるように変形して（ステップＳ２６）、これを候補
画像生成部３１４に順次転送する。ここで、最大分散を
与える色信号については変形することなくそのまま候補
画像生成部３１４に転送する。
の制御に基づき各平均分散算出部３０９，３１０，３１
１で算出された平均と分散のうち、３色信号中最大の分
散を有する色信号を選択して信号変形部３１３に転送す
る（ステップＳ２４）。また、ＲＧＢ切換部３１７は制
御部３２０の制御に基づき、各信号用ブロックバッファ
３０６、３０７、３０８内の矩形領域の色信号を順に読
み出して信号変形部３１３に出力する。信号変形部３１
３はＲＧＢ切換部３１７から転送される各色信号につい
て最大分散を与える色信号か否かを判断して（ステップ
Ｓ２５）、最大分散を与える色信号以外の色信号の分散
と平均を、最大分散を与える色信号の平均と分散に等し
くなるように変形して（ステップＳ２６）、これを候補
画像生成部３１４に順次転送する。ここで、最大分散を
与える色信号については変形することなくそのまま候補
画像生成部３１４に転送する。
【００５４】候補画像生成部３１４は、信号変形部３１
３から転送された複数の変形された色信号を組み合わせ
ることで複数の参照候補画像を生成し（ステップＳ２
７）、これらを候補画像用バッファ３１５に転送する。
すべての組み合わせの転送が終了すると、参照画像選択
部３１６は制御部３２０の制御に基づき、最もエッジ強
度の小さい、すなわち、最も局在性の優れた参照候補画
像を参照画像として選択して（ステップＳ２８）、選択
結果を欠落画素復元部３１８に送る。欠落画素復元部３
１８は、参照画像選択部３１６からの選択結果に対応す
る参照画像を候補画像用バッファ３１５から読み出す。
この読み出しの終了後、欠落画素復元部３１８は制御部
３２０の制御に基づき、ＲＧＢ切換部３１７によって順
に読み出されたＲ信号用ブロックバッファ３０６、Ｇ信
号用ブロックバッファ３０７、Ｂ信号用ブロックバッフ
ァ３０８中の各色信号を受けて、上記した第１実施形態
と同様に候補画像用バッファ３１５から読み出した参照
画像を各色信号に適合するように変形して出力部３１９
に転送する（ステップＳ２９）。出力部３１９はこの変
形された参照画像を積算して（ステップＳ３０）、各色
信号の欠落が復元された色信号として外部に出力する
（ステップＳ３１）。
３から転送された複数の変形された色信号を組み合わせ
ることで複数の参照候補画像を生成し（ステップＳ２
７）、これらを候補画像用バッファ３１５に転送する。
すべての組み合わせの転送が終了すると、参照画像選択
部３１６は制御部３２０の制御に基づき、最もエッジ強
度の小さい、すなわち、最も局在性の優れた参照候補画
像を参照画像として選択して（ステップＳ２８）、選択
結果を欠落画素復元部３１８に送る。欠落画素復元部３
１８は、参照画像選択部３１６からの選択結果に対応す
る参照画像を候補画像用バッファ３１５から読み出す。
この読み出しの終了後、欠落画素復元部３１８は制御部
３２０の制御に基づき、ＲＧＢ切換部３１７によって順
に読み出されたＲ信号用ブロックバッファ３０６、Ｇ信
号用ブロックバッファ３０７、Ｂ信号用ブロックバッフ
ァ３０８中の各色信号を受けて、上記した第１実施形態
と同様に候補画像用バッファ３１５から読み出した参照
画像を各色信号に適合するように変形して出力部３１９
に転送する（ステップＳ２９）。出力部３１９はこの変
形された参照画像を積算して（ステップＳ３０）、各色
信号の欠落が復元された色信号として外部に出力する
（ステップＳ３１）。
【００５５】このようにして上記処理を矩形ブロックが
重複しないように各信号用バッファ３０２、３０３、３
０４内のすべての画像が走査されて処理されることによ
り（ステップＳ３２）、１フレーム分の画像に対するす
べての欠落が復元される。
重複しないように各信号用バッファ３０２、３０３、３
０４内のすべての画像が走査されて処理されることによ
り（ステップＳ３２）、１フレーム分の画像に対するす
べての欠落が復元される。
【００５６】なお、本実施形態のように二板式ＣＣＤを
用いている場合、Ｇ信号用に関しては欠落のない信号が
得られるものと見なすことができる。よって、Ｇ信号が
十分に存在する領域では、カラーエッジモデルを使わな
くとも参照画像を得ることができる。一方、赤や青の彩
度が高い領域ではＧ信号のレベルが低く、ノイズによる
影響を受けやすい。このような場合は、Ｇ信号から参照
画像を得てＲ、Ｂ信号の欠落を復元することは信頼性に
乏しく、高精度な再生画像を得ることは困難である。
用いている場合、Ｇ信号用に関しては欠落のない信号が
得られるものと見なすことができる。よって、Ｇ信号が
十分に存在する領域では、カラーエッジモデルを使わな
くとも参照画像を得ることができる。一方、赤や青の彩
度が高い領域ではＧ信号のレベルが低く、ノイズによる
影響を受けやすい。このような場合は、Ｇ信号から参照
画像を得てＲ、Ｂ信号の欠落を復元することは信頼性に
乏しく、高精度な再生画像を得ることは困難である。
【００５７】このため、本実施形態ではＲ信号用平均分
散算出部３０９、Ｇ信号用平均分散算出部３１０、Ｂ信
号用平均分散算出部３１１においてＲ、Ｇ、Ｂの３つの
色信号の各々について分散を算出して、最大分散信号選
択部３１２において最大の分散を与える色信号を選択
し、この最大の分散を与える色信号に基づきカラーエッ
ジモデルを適用するようにしている。以下、最大の分散
を与える色信号がＲ信号である場合を想定するが、他の
色信号の場合でも同様に処理できる。
散算出部３０９、Ｇ信号用平均分散算出部３１０、Ｂ信
号用平均分散算出部３１１においてＲ、Ｇ、Ｂの３つの
色信号の各々について分散を算出して、最大分散信号選
択部３１２において最大の分散を与える色信号を選択
し、この最大の分散を与える色信号に基づきカラーエッ
ジモデルを適用するようにしている。以下、最大の分散
を与える色信号がＲ信号である場合を想定するが、他の
色信号の場合でも同様に処理できる。
【００５８】信号変形部３１３は、Ｇ、Ｂ信号の分散σ
g 、σb と平均ＡＶg ，ＡＶb を、Ｒ信号の分散σr と
平均ＡＶr に一致させるためのゲインαg ，αb とバイ
アスβg ，βb を以下の式を用いて算出する。
g 、σb と平均ＡＶg ，ＡＶb を、Ｒ信号の分散σr と
平均ＡＶr に一致させるためのゲインαg ，αb とバイ
アスβg ，βb を以下の式を用いて算出する。
【００５９】
【数３】 （１２）、（１３）式に示されるように１つの色信号に
関するゲインとバイアスの解は符号の異なる２組づつ算
出され、Ｇ、Ｂ信号では４組の組み合わせが発生する。
候補画像生成部３１４では、Ｒ信号と、上記ゲイン
αg ，αb とバイアスβg ，βb によって変形された２
組づつのＧ、Ｂ信号とを組み合わせて、４組の参照候補
画像を生成し、これを候補画像用バッファ３１５へ転送
する。参照画像選択部３１６は、ラプラシアンにより上
記参照候補画像のうち、最もエッジ強度の小さい、すな
わち、最も局在性の優れた参照候補画像を参照画像とし
て選択する。この選択結果は欠落画素復元部３１８に転
送され、第１実施形態と同様の方法で欠落画素が復元さ
れる。
関するゲインとバイアスの解は符号の異なる２組づつ算
出され、Ｇ、Ｂ信号では４組の組み合わせが発生する。
候補画像生成部３１４では、Ｒ信号と、上記ゲイン
αg ，αb とバイアスβg ，βb によって変形された２
組づつのＧ、Ｂ信号とを組み合わせて、４組の参照候補
画像を生成し、これを候補画像用バッファ３１５へ転送
する。参照画像選択部３１６は、ラプラシアンにより上
記参照候補画像のうち、最もエッジ強度の小さい、すな
わち、最も局在性の優れた参照候補画像を参照画像とし
て選択する。この選択結果は欠落画素復元部３１８に転
送され、第１実施形態と同様の方法で欠落画素が復元さ
れる。
【００６０】上記したように、第２実施形態においては
入力される色信号のうち最大の分散を与える色信号に基
づいて他の色信号の分散と平均を合わせることで少数の
参照候補画像を生成し、ラプラシアンに基づく局在性の
評価から参照画像を選択して欠落信号を復元するように
したので、従来の線形補間では不可能であった高周波成
分を回復することができ、これによって高精細な復元画
像を得ることができる。またこの場合、分散と平均を合
わせるための計算量は少なく、高速に処理を行うことが
できる。
入力される色信号のうち最大の分散を与える色信号に基
づいて他の色信号の分散と平均を合わせることで少数の
参照候補画像を生成し、ラプラシアンに基づく局在性の
評価から参照画像を選択して欠落信号を復元するように
したので、従来の線形補間では不可能であった高周波成
分を回復することができ、これによって高精細な復元画
像を得ることができる。またこの場合、分散と平均を合
わせるための計算量は少なく、高速に処理を行うことが
できる。
【００６１】なお、本実施形態では二板式ＣＣＤを使用
しているが、単板式ＣＣＤ、例えばベイヤー型のフィル
タ配置を用いた入力部に対してもそのまま適用すること
ができる。また、変形のためのパラメータとして分散と
平均を用いているがこれに限定される必要はない。例え
ば、最大値と最小値などを用いても同等の効果を得るこ
とができる。
しているが、単板式ＣＣＤ、例えばベイヤー型のフィル
タ配置を用いた入力部に対してもそのまま適用すること
ができる。また、変形のためのパラメータとして分散と
平均を用いているがこれに限定される必要はない。例え
ば、最大値と最小値などを用いても同等の効果を得るこ
とができる。
【００６２】図１１は本発明の第３実施形態に係る画像
信号処理装置の機能ブロック図であり、以下に各機能の
接続関係を説明する。
信号処理装置の機能ブロック図であり、以下に各機能の
接続関係を説明する。
【００６３】図１１において、入力部５０１はＲ信号用
バッファ５０２，Ｇ信号用バッファ５０３、Ｂ信号用バ
ッファ５０４に接続され、各色信号用バッファ５０２、
５０３、５０４は領域抽出部５０５を介してそれぞれＲ
信号用ブロックバッファ５０６、Ｇ信号用ブロックバッ
ファ５０７、Ｂ信号用ブロックバッファ５０８に接続さ
れている。Ｒ信号用ブロックバッファ５０６はＲ信号用
最大最小算出部５０９とＲＧＢ切換部５１３とに接続さ
れ、Ｇ信号用ブロックバッファ５０７はＧ信号用最大最
小算出部５１０とＲＧＢ切換部５１３とに接続され、Ｂ
信号用ブロックバッファ５０８はＢ信号用最大最小算出
部５１１とＲＧＢ切換部５１３とに接続されている。
バッファ５０２，Ｇ信号用バッファ５０３、Ｂ信号用バ
ッファ５０４に接続され、各色信号用バッファ５０２、
５０３、５０４は領域抽出部５０５を介してそれぞれＲ
信号用ブロックバッファ５０６、Ｇ信号用ブロックバッ
ファ５０７、Ｂ信号用ブロックバッファ５０８に接続さ
れている。Ｒ信号用ブロックバッファ５０６はＲ信号用
最大最小算出部５０９とＲＧＢ切換部５１３とに接続さ
れ、Ｇ信号用ブロックバッファ５０７はＧ信号用最大最
小算出部５１０とＲＧＢ切換部５１３とに接続され、Ｂ
信号用ブロックバッファ５０８はＢ信号用最大最小算出
部５１１とＲＧＢ切換部５１３とに接続されている。
【００６４】各信号用最大最小算出部５０９、５１０、
５１１は最大レンジ信号選択部５１２に接続されてい
る。最大レンジ信号選択部５１２は、処理切換部５１４
および信号変形部５１７に接続されている。ＲＧＢ切換
部５１３は処理切換部５１４に接続されている。処理切
換部５１４は、線形補間部５１５、欠落画素復元部５１
６、信号変形部５１７に接続されている。線形補間部５
１５は出力部５２３に接続されている。信号変形部５１
７は、候補画像生成部５１８を介して、候補画像用バッ
ファ５１９に接続されている。候補画像用バッファ５１
９は参照画像選択部５２０と欠落画素復元部５１６に接
続されており、参照画像選択部５２０は欠落画素復元部
５１６に接続されている。欠落画素復元部５１６は、収
束判定部５２１を介して輝度信号生成部５２２と出力部
５２３に接続されている。輝度信号生成部５２２は欠落
画素復元部５１６に接続されている。
５１１は最大レンジ信号選択部５１２に接続されてい
る。最大レンジ信号選択部５１２は、処理切換部５１４
および信号変形部５１７に接続されている。ＲＧＢ切換
部５１３は処理切換部５１４に接続されている。処理切
換部５１４は、線形補間部５１５、欠落画素復元部５１
６、信号変形部５１７に接続されている。線形補間部５
１５は出力部５２３に接続されている。信号変形部５１
７は、候補画像生成部５１８を介して、候補画像用バッ
ファ５１９に接続されている。候補画像用バッファ５１
９は参照画像選択部５２０と欠落画素復元部５１６に接
続されており、参照画像選択部５２０は欠落画素復元部
５１６に接続されている。欠落画素復元部５１６は、収
束判定部５２１を介して輝度信号生成部５２２と出力部
５２３に接続されている。輝度信号生成部５２２は欠落
画素復元部５１６に接続されている。
【００６５】また、制御部５２４は、入力部５０１、領
域抽出部５０５、Ｒ信号用最大最小算出部５０９、Ｇ信
号用最大最小算出部５１０、Ｂ信号用最大最小算出部５
１１、最大レンジ信号選択部５１２、ＲＧＢ切換部５１
３、処理切換部５１４、欠落画素復元部５１６、候補画
像生成部５１８、参照画像選択部５２０、出力部５２３
に接続されている。
域抽出部５０５、Ｒ信号用最大最小算出部５０９、Ｇ信
号用最大最小算出部５１０、Ｂ信号用最大最小算出部５
１１、最大レンジ信号選択部５１２、ＲＧＢ切換部５１
３、処理切換部５１４、欠落画素復元部５１６、候補画
像生成部５１８、参照画像選択部５２０、出力部５２３
に接続されている。
【００６６】なお、本実施形態では上記した各機能の一
部はハードウェアで構成され、入力部５０１は単板式Ｃ
ＣＤ（図３参照）により、出力部５２３は磁気ディスク
により、制御部５２４はマイクロコンピュータにより構
成される。
部はハードウェアで構成され、入力部５０１は単板式Ｃ
ＣＤ（図３参照）により、出力部５２３は磁気ディスク
により、制御部５２４はマイクロコンピュータにより構
成される。
【００６７】図１２（ａ）、（ｂ）は入力部５０１にお
けるフィルタ配置の具体的構成を示す図である。カラー
エッジモデルによる復元は、全入力信号を用いて参照画
像を作成するため、各色信号の頻度は均一でランダムに
配置されていることが望ましい。しかしながら、全画素
をランダムに配置すると配置情報を記録する必要が生じ
煩雑である。
けるフィルタ配置の具体的構成を示す図である。カラー
エッジモデルによる復元は、全入力信号を用いて参照画
像を作成するため、各色信号の頻度は均一でランダムに
配置されていることが望ましい。しかしながら、全画素
をランダムに配置すると配置情報を記録する必要が生じ
煩雑である。
【００６８】このため、第１実施形態で示したように、
基本となる矩形領域の構成を反復してフィルタを配置す
ることが考えられる。このとき、基本となる矩形領域に
関して、 ・使用される色信号の総数をｊ、ｋを２以上の整数とし
たとき、ｊｋ×ｊｋサイズ ・矩形領域内の各色信号の出現頻度が均等 ・水平垂直方向において各色信号の出現頻度が２以上ｊ
未満の制約を満たすフィルタ配置を用いる。
基本となる矩形領域の構成を反復してフィルタを配置す
ることが考えられる。このとき、基本となる矩形領域に
関して、 ・使用される色信号の総数をｊ、ｋを２以上の整数とし
たとき、ｊｋ×ｊｋサイズ ・矩形領域内の各色信号の出現頻度が均等 ・水平垂直方向において各色信号の出現頻度が２以上ｊ
未満の制約を満たすフィルタ配置を用いる。
【００６９】図１２（ａ）は、ＲＧＢ３信号に関して６
×６サイズの基本配置の一例を示しているが、図１２
（ｂ）に示すようにこの同心円状のパターンを用いて疑
似的に矩形領域内をランダム化することも考えられる。
まず、矩形領域の任意の位置（ｄｘ，ｄｙ）、０≦ｄｘ
≦ｊｋ，０≦ｄｙ≦ｊｋを中心とする半径ｒの円を考
え、この円の軌跡が整数座標と交差する時の半径ｒを求
める。この半径ｒを整数化し、色信号の総数をｊで除算
する。ＲＧＢ３信号の場合は３で除算することになり、
余りは０，１，２の３通りとなる。この余りに各色信号
を当てはめることで、例えば０ならばＲ，１ならばＧ，
２ならばＢ信号と仮定することで疑似的なランダムパタ
ーンが得られる。
×６サイズの基本配置の一例を示しているが、図１２
（ｂ）に示すようにこの同心円状のパターンを用いて疑
似的に矩形領域内をランダム化することも考えられる。
まず、矩形領域の任意の位置（ｄｘ，ｄｙ）、０≦ｄｘ
≦ｊｋ，０≦ｄｙ≦ｊｋを中心とする半径ｒの円を考
え、この円の軌跡が整数座標と交差する時の半径ｒを求
める。この半径ｒを整数化し、色信号の総数をｊで除算
する。ＲＧＢ３信号の場合は３で除算することになり、
余りは０，１，２の３通りとなる。この余りに各色信号
を当てはめることで、例えば０ならばＲ，１ならばＧ，
２ならばＢ信号と仮定することで疑似的なランダムパタ
ーンが得られる。
【００７０】以下に上記した図１１に示す構成の作用を
図１３のフローチャートを参照して説明する。
図１３のフローチャートを参照して説明する。
【００７１】図１３において、１フレーム分のＲＧＢ３
信号が制御部５２４の制御の基に入力部５０１を介して
読み込まれて、Ｒ信号用バッファ５０２、Ｇ信号用バッ
ファ５０３、Ｂ信号用バッファ５０４に転送される（ス
テップＳ４１）。次に、領域抽出部５０５は制御部５２
４の制御に基づき、画像の走査を行なって（ステップＳ
４２）、各色信号用バッファ５０２，５０３，５０４内
の１フレーム分の各色信号から、ある特定画素を中心と
する所定サイズの矩形領域、例えば５×５サイズの領域
内に存在する信号を抽出して（ステップＳ４３）、それ
ぞれＲ信号用ブロックバッファ５０６、Ｇ信号用ブロッ
クバッファ５０７、Ｂ信号用ブロックバッファ５０８に
転送する。各ブロックバッファ５０６，５０７，５０８
内の矩形領域の色信号は順次、ＲＧＢ切換部５１３によ
る切換制御に基づいて処理切換部５１４に転送される。
また、これと同時にＲ信号用最大最小算出部５０９、Ｇ
信号用最大最小算出部５１０、Ｂ信号用最大最小算出部
５１１に転送される。制御部５２４は、各最大最小算出
部５０９、５１０、５１１及び最大レンジ信号選択部５
１２での処理が完了するまで、処理切換部５１４の動作
を抑制する。各最大最小算出部５０９、５１０、５１１
にて各信号の最大と最小値が算出され（ステップＳ４
４）、最大レンジ信号選択部５１２へ転送される。最大
レンジ信号選択部５１２では、最大値と最小値間の差分
からレンジを求め、３信号中最大のレンジを有する信号
が選択され（ステップＳ４５）、処理切換部５１４と信
号変形部５１７へ転送される。
信号が制御部５２４の制御の基に入力部５０１を介して
読み込まれて、Ｒ信号用バッファ５０２、Ｇ信号用バッ
ファ５０３、Ｂ信号用バッファ５０４に転送される（ス
テップＳ４１）。次に、領域抽出部５０５は制御部５２
４の制御に基づき、画像の走査を行なって（ステップＳ
４２）、各色信号用バッファ５０２，５０３，５０４内
の１フレーム分の各色信号から、ある特定画素を中心と
する所定サイズの矩形領域、例えば５×５サイズの領域
内に存在する信号を抽出して（ステップＳ４３）、それ
ぞれＲ信号用ブロックバッファ５０６、Ｇ信号用ブロッ
クバッファ５０７、Ｂ信号用ブロックバッファ５０８に
転送する。各ブロックバッファ５０６，５０７，５０８
内の矩形領域の色信号は順次、ＲＧＢ切換部５１３によ
る切換制御に基づいて処理切換部５１４に転送される。
また、これと同時にＲ信号用最大最小算出部５０９、Ｇ
信号用最大最小算出部５１０、Ｂ信号用最大最小算出部
５１１に転送される。制御部５２４は、各最大最小算出
部５０９、５１０、５１１及び最大レンジ信号選択部５
１２での処理が完了するまで、処理切換部５１４の動作
を抑制する。各最大最小算出部５０９、５１０、５１１
にて各信号の最大と最小値が算出され（ステップＳ４
４）、最大レンジ信号選択部５１２へ転送される。最大
レンジ信号選択部５１２では、最大値と最小値間の差分
からレンジを求め、３信号中最大のレンジを有する信号
が選択され（ステップＳ４５）、処理切換部５１４と信
号変形部５１７へ転送される。
【００７２】処理切換部５１４では、制御部５２４の制
御に基づき、最大レンジ信号選択部５１２での処理結果
が転送された後に動作を開始する。ここでは、最大レン
ジ信号選択部５１２からの最大のレンジを有する信号の
レンジが所定の閾値（例えば信号が０〜１０２３の１０
ｂｉｔ精度であるときは３２などの値）より大きいか否
かを判断し（ステップＳ４６）、ＹＥＳの場合は欠落画
素復元部５１６を選択し、ＮＯの場合は平坦な領域と判
断して線形補間部５１５を選択する。
御に基づき、最大レンジ信号選択部５１２での処理結果
が転送された後に動作を開始する。ここでは、最大レン
ジ信号選択部５１２からの最大のレンジを有する信号の
レンジが所定の閾値（例えば信号が０〜１０２３の１０
ｂｉｔ精度であるときは３２などの値）より大きいか否
かを判断し（ステップＳ４６）、ＹＥＳの場合は欠落画
素復元部５１６を選択し、ＮＯの場合は平坦な領域と判
断して線形補間部５１５を選択する。
【００７３】線形補間部５１５が選択された場合は、公
知の線形補間により各色信号の欠落画素を復元して出力
部５２３へ出力する（ステップＳ５８、Ｓ５９）。ま
た、欠落画素復元部５１６が選択された場合には、制御
部５２４の制御に基づき、信号変形部５１７の処理に移
行する。信号変形部５１７では、処理切換部５１４から
転送される各色信号に関して、最大レンジを与える信号
か否かを判断し（ステップＳ４７）、ＮＯの場合はこの
信号のレンジを最大レンジを与える信号のレンジに等し
くなるように変形し（ステップＳ４８）、これを候補画
像生成部５１８に順次転送する。なお、最大レンジを与
える信号の場合は、変形することなくそのまま候補画像
生成部５１８に転送される。
知の線形補間により各色信号の欠落画素を復元して出力
部５２３へ出力する（ステップＳ５８、Ｓ５９）。ま
た、欠落画素復元部５１６が選択された場合には、制御
部５２４の制御に基づき、信号変形部５１７の処理に移
行する。信号変形部５１７では、処理切換部５１４から
転送される各色信号に関して、最大レンジを与える信号
か否かを判断し（ステップＳ４７）、ＮＯの場合はこの
信号のレンジを最大レンジを与える信号のレンジに等し
くなるように変形し（ステップＳ４８）、これを候補画
像生成部５１８に順次転送する。なお、最大レンジを与
える信号の場合は、変形することなくそのまま候補画像
生成部５１８に転送される。
【００７４】候補画像生成部５１８、候補画像用バッフ
ァ５１９、参照画像選択部５２０では、上記した第２実
施形態と同様の方法によって複数の候補画像を生成し
（ステップＳ４９）、そのエッジ強度に基づいて参照画
像を選択して欠落画素復元部５１６に転送する（ステッ
プＳ５０）。欠落画素復元部５１６は各色信号に適合す
るように参照画像を変形することにより欠落した色信号
を復元して積算する（ステップＳ５１、Ｓ５２）。
ァ５１９、参照画像選択部５２０では、上記した第２実
施形態と同様の方法によって複数の候補画像を生成し
（ステップＳ４９）、そのエッジ強度に基づいて参照画
像を選択して欠落画素復元部５１６に転送する（ステッ
プＳ５０）。欠落画素復元部５１６は各色信号に適合す
るように参照画像を変形することにより欠落した色信号
を復元して積算する（ステップＳ５１、Ｓ５２）。
【００７５】収束判定部５２１は初回の処理であるか否
かを判定し（ステップＳ５３）、初回の処理である場合
には復元された色信号を無条件に輝度信号生成部５２２
に転送する。輝度信号生成部５２２は、ＲＧＢ３信号か
ら以下の式を用いて輝度信号Ｙを生成する。
かを判定し（ステップＳ５３）、初回の処理である場合
には復元された色信号を無条件に輝度信号生成部５２２
に転送する。輝度信号生成部５２２は、ＲＧＢ３信号か
ら以下の式を用いて輝度信号Ｙを生成する。
【００７６】 Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ （１４） （１４）式で得られる輝度信号Ｙは、ＲＧＢ３信号から
合成されるために３信号間のばらつきが抑制されてより
局在化された信号となる。輝度信号生成部５２２はこの
輝度信号Ｙを新たな参照画像として欠落画素復元部５１
６に転送する（ステップＳ５７）。欠落画素復元部５１
６は再度の復元処理を行ってその結果を収束判定部５２
１に転送する。収束判定部５２１は、２回目以降の処理
に関しては前回復元された色信号と今回復元された色信
号との差の絶対値の２乗の総和を求め、この総和が所定
の閾値以下になるまで上記処理を反復する（ステップＳ
５４）。ここで閾値は、使用する矩形領域のサイズによ
り異なるが、１画素あたりに換算したときに例えば１０
程度の値を用いる。閾値以下になった場合は処理が収束
したものと判断して、復元された色信号を出力部５２３
に転送する（ステップＳ５５）。
合成されるために３信号間のばらつきが抑制されてより
局在化された信号となる。輝度信号生成部５２２はこの
輝度信号Ｙを新たな参照画像として欠落画素復元部５１
６に転送する（ステップＳ５７）。欠落画素復元部５１
６は再度の復元処理を行ってその結果を収束判定部５２
１に転送する。収束判定部５２１は、２回目以降の処理
に関しては前回復元された色信号と今回復元された色信
号との差の絶対値の２乗の総和を求め、この総和が所定
の閾値以下になるまで上記処理を反復する（ステップＳ
５４）。ここで閾値は、使用する矩形領域のサイズによ
り異なるが、１画素あたりに換算したときに例えば１０
程度の値を用いる。閾値以下になった場合は処理が収束
したものと判断して、復元された色信号を出力部５２３
に転送する（ステップＳ５５）。
【００７７】このようにして上記処理を矩形領域が重複
しないように各信号用バッファ５０２、５０３、５０４
内のすべての画像が走査されて処理されることにより
（ステップＳ５６）、１フレーム分の画像に対するすべ
ての欠落が復元される。
しないように各信号用バッファ５０２、５０３、５０４
内のすべての画像が走査されて処理されることにより
（ステップＳ５６）、１フレーム分の画像に対するすべ
ての欠落が復元される。
【００７８】上記したように第３実施形態においては、
最大のレンジを与える色信号を決定し、この色信号に最
大最小値を合わせることで参照画像を求め、この参照画
像から欠落した色信号を復元する。その後、回復された
輝度信号から新たな参照画像を求めて再度復元処理をお
こない、復元画像が収束するまで反復する。これによ
り、より局在化された参照画像による復元が行われるた
め、より高精細な復元画像が得られる。また、色信号の
レンジに基づき線形補間との切り換えを行うため、高速
に処理を行うことができる。
最大のレンジを与える色信号を決定し、この色信号に最
大最小値を合わせることで参照画像を求め、この参照画
像から欠落した色信号を復元する。その後、回復された
輝度信号から新たな参照画像を求めて再度復元処理をお
こない、復元画像が収束するまで反復する。これによ
り、より局在化された参照画像による復元が行われるた
め、より高精細な復元画像が得られる。また、色信号の
レンジに基づき線形補間との切り換えを行うため、高速
に処理を行うことができる。
【００７９】なお、本実施形態では最大値と最小値間の
差分から求められる最大レンジを用いて色信号の選択を
行っているがこれに限定される必要はなく、分散やエッ
ジ強度など評価基準を用いることも可能である。また、
フィルタ配置に関しても図１２に示される配置に限定さ
れる必要はなく、ランダム性を満たすものであるならば
他の構成でもよい。
差分から求められる最大レンジを用いて色信号の選択を
行っているがこれに限定される必要はなく、分散やエッ
ジ強度など評価基準を用いることも可能である。また、
フィルタ配置に関しても図１２に示される配置に限定さ
れる必要はなく、ランダム性を満たすものであるならば
他の構成でもよい。
【００８０】図１４は第４実施形態に係る画像入力処理
装置の機能ブロック図であり、以下に各機能の接続関係
を説明する。
装置の機能ブロック図であり、以下に各機能の接続関係
を説明する。
【００８１】図１４において、入力部６０１は、Ｒ信号
用バッファ６０２、Ｇ信号用バッファ６０３、Ｂ信号用
バッファ６０４に接続され、さらに、領域抽出部６０５
を介してそれぞれＲ信号用ブロックバッファ６０６、Ｇ
信号用ブロックバッファ６０７、Ｂ信号用ブロックバッ
ファ６０８に接続されている。Ｒ信号用ブロックバッフ
ァ６０６は分散算出部６０９とＲＧＢ切換部６１３と信
号変形部６５１に、Ｇ信号用ブロックバッファ６０７は
分散算出部６１０とＲＧＢ切換部６１３と信号変形部６
５１に、Ｂ信号用ブロックバッファ６０８はＲＧＢ切換
部６１３に接続されている。分散算出部６０９、６１０
は最大分散決定部６５０を介して信号変形部６５１に接
続されている。
用バッファ６０２、Ｇ信号用バッファ６０３、Ｂ信号用
バッファ６０４に接続され、さらに、領域抽出部６０５
を介してそれぞれＲ信号用ブロックバッファ６０６、Ｇ
信号用ブロックバッファ６０７、Ｂ信号用ブロックバッ
ファ６０８に接続されている。Ｒ信号用ブロックバッフ
ァ６０６は分散算出部６０９とＲＧＢ切換部６１３と信
号変形部６５１に、Ｇ信号用ブロックバッファ６０７は
分散算出部６１０とＲＧＢ切換部６１３と信号変形部６
５１に、Ｂ信号用ブロックバッファ６０８はＲＧＢ切換
部６１３に接続されている。分散算出部６０９、６１０
は最大分散決定部６５０を介して信号変形部６５１に接
続されている。
【００８２】この信号変形部６５１は参照画像用バッフ
ァ６１１と近似参照画像選択部６５２を介して欠落画素
復元部６１４に接続されるとともに、参照画像用バッフ
ァ６１１と平滑化処理部６１２を介して欠落画素復元部
６１４に接続されている。近似参照画像選択部６５２は
平滑化処理部６１２にも接続されている。ＲＧＢ切換部
６１３は欠落画素復元部６１４と加算平均部６１５とを
介して出力部６１６に接続されている。また、制御部６
１７は、入力部６０１、領域抽出部６０５、分散算出部
６０９、６１０、信号変形部６５１、近似参照画像選択
部６５２、ＲＧＢ切換部６１３、欠落画素復元部６１
４、加算平均部６１５、出力部６１６に接続されてい
る。
ァ６１１と近似参照画像選択部６５２を介して欠落画素
復元部６１４に接続されるとともに、参照画像用バッフ
ァ６１１と平滑化処理部６１２を介して欠落画素復元部
６１４に接続されている。近似参照画像選択部６５２は
平滑化処理部６１２にも接続されている。ＲＧＢ切換部
６１３は欠落画素復元部６１４と加算平均部６１５とを
介して出力部６１６に接続されている。また、制御部６
１７は、入力部６０１、領域抽出部６０５、分散算出部
６０９、６１０、信号変形部６５１、近似参照画像選択
部６５２、ＲＧＢ切換部６１３、欠落画素復元部６１
４、加算平均部６１５、出力部６１６に接続されてい
る。
【００８３】図１５は上記した信号変形部６５１の具体
的構成を示す図であり、Ｒ信号用ブロックバッファ６０
６と、Ｇ信号用ブロックバッファ６０７と、最大分散決
定部６５０と、制御部６１７からの信号を受ける選択部
６５１Ａと、ゲインバイアス算出部６５１Ｂと、演算部
６５１Ｃとが順に接続されている。
的構成を示す図であり、Ｒ信号用ブロックバッファ６０
６と、Ｇ信号用ブロックバッファ６０７と、最大分散決
定部６５０と、制御部６１７からの信号を受ける選択部
６５１Ａと、ゲインバイアス算出部６５１Ｂと、演算部
６５１Ｃとが順に接続されている。
【００８４】なお、本実施形態では上記した各機能の一
部はハードウェアで構成され、入力部６０１は単板式Ｃ
ＣＤにより、出力部６１６は磁気ディスクにより、制御
部６１７はマイクロコンピュータにより構成される。
部はハードウェアで構成され、入力部６０１は単板式Ｃ
ＣＤにより、出力部６１６は磁気ディスクにより、制御
部６１７はマイクロコンピュータにより構成される。
【００８５】図１６（ａ）〜図１６（ｄ）は、本実施形
態の単板式ＣＣＤにおけるフィルタ配置の具体的構成を
示す図である。ここでは、図１６（ａ）に示すような４
×２のサイズと、図１６（ｂ）に示すような６×３のサ
イズを基本配置とし、このような基本配置を反復して配
置することによりＣＣＤ上の全画素を充填するようにし
ている。図１６（ｃ）は図１６（ａ）の基本配置を反復
して配置したものであり、図１６（ｄ）は図１６（ｂ）
の基本配置を反復して配置したものである。
態の単板式ＣＣＤにおけるフィルタ配置の具体的構成を
示す図である。ここでは、図１６（ａ）に示すような４
×２のサイズと、図１６（ｂ）に示すような６×３のサ
イズを基本配置とし、このような基本配置を反復して配
置することによりＣＣＤ上の全画素を充填するようにし
ている。図１６（ｃ）は図１６（ａ）の基本配置を反復
して配置したものであり、図１６（ｄ）は図１６（ｂ）
の基本配置を反復して配置したものである。
【００８６】図１６（ａ）の基本配置ではＲＧＢ３信号
の出現頻度は３：３：２、図１６（ｂ）の基本配置では
４：４：１となるように設定されている。これらの出現
頻度はレンズ系の収差量に応じて変更できる。すなわ
ち、レンズ系の収差量が増加すると高周波成分は劣化す
るため、対応する色信号の出現頻度を減らしてもよい。
色信号の出現頻度は収差量から算出される高周波成分の
限界値に従って調整できる。
の出現頻度は３：３：２、図１６（ｂ）の基本配置では
４：４：１となるように設定されている。これらの出現
頻度はレンズ系の収差量に応じて変更できる。すなわ
ち、レンズ系の収差量が増加すると高周波成分は劣化す
るため、対応する色信号の出現頻度を減らしてもよい。
色信号の出現頻度は収差量から算出される高周波成分の
限界値に従って調整できる。
【００８７】以下に上記した図１４に示す構成の作用を
図１７のフローチャートを参照して説明する。
図１７のフローチャートを参照して説明する。
【００８８】以下の説明では入力部６０１で用いられる
レンズ系はＲ、Ｇ信号に対しては収差が微小であり、Ｂ
信号に対しては収差が大きいことを想定する。また、レ
ンズ系の収差量は予め測定してあるものとする。１フレ
ーム分のＲＧＢ３信号が制御部６１７の制御に基づき入
力部６０１を介して読み込まれて、Ｒ信号用バッファ６
０２、Ｇ信号用バッファ６０３、Ｂ信号用バッファ６０
４に転送される（ステップＳ６１）。領域抽出部６０５
は制御部６１７の制御に基づき、画像の走査を行って
（ステップＳ６２）、各信号用バッファ６０２，６０
３，６０４内の１フレーム分の各色信号から、ある特定
画素を中心とする所定サイズの矩形領域、例えば７×７
サイズの領域内に存在する信号を抽出して（ステップＳ
６３）、それぞれＲ信号用ブロックバッファ６０６、Ｇ
信号用ブロックバッファ６０７、Ｂ信号用ブロックバッ
ファ６０８に転送する。
レンズ系はＲ、Ｇ信号に対しては収差が微小であり、Ｂ
信号に対しては収差が大きいことを想定する。また、レ
ンズ系の収差量は予め測定してあるものとする。１フレ
ーム分のＲＧＢ３信号が制御部６１７の制御に基づき入
力部６０１を介して読み込まれて、Ｒ信号用バッファ６
０２、Ｇ信号用バッファ６０３、Ｂ信号用バッファ６０
４に転送される（ステップＳ６１）。領域抽出部６０５
は制御部６１７の制御に基づき、画像の走査を行って
（ステップＳ６２）、各信号用バッファ６０２，６０
３，６０４内の１フレーム分の各色信号から、ある特定
画素を中心とする所定サイズの矩形領域、例えば７×７
サイズの領域内に存在する信号を抽出して（ステップＳ
６３）、それぞれＲ信号用ブロックバッファ６０６、Ｇ
信号用ブロックバッファ６０７、Ｂ信号用ブロックバッ
ファ６０８に転送する。
【００８９】ＲＧＢ切換部６１３は制御部６１７の制御
に基づき、各ブロックバッファ６０６、６０７、６０８
内の矩形領域の色信号を順次読み出して、欠落画素復元
部６１４に転送する。欠落画素復元部６１４は入力され
た色信号の色収差量が大きいか否かを判断して（ステッ
プＳ６４）、大きい場合はステップＳ７２に移行する。
ここではレンズ系に対する収差が大きいＢ信号である場
合にステップＳ７２に移行する。一方、レンズ系に対す
る収差が小さいＲ、Ｇ信号である場合はステップＳ６５
に移行する。
に基づき、各ブロックバッファ６０６、６０７、６０８
内の矩形領域の色信号を順次読み出して、欠落画素復元
部６１４に転送する。欠落画素復元部６１４は入力され
た色信号の色収差量が大きいか否かを判断して（ステッ
プＳ６４）、大きい場合はステップＳ７２に移行する。
ここではレンズ系に対する収差が大きいＢ信号である場
合にステップＳ７２に移行する。一方、レンズ系に対す
る収差が小さいＲ、Ｇ信号である場合はステップＳ６５
に移行する。
【００９０】ここで処理が制御部６１７を介して分散算
出部６０９、６１０に移行する。すなわち、分散算出部
６０９、６１０は制御部６１７の制御に基づき、それぞ
れ各ブロックバッファ６０６、６０７内の各色信号を読
み出して各色信号の分散を算出する。次に最大分散決定
部６５０は算出された各分散のうち、最大の分散をもつ
色信号を決定する（ステップＳ６５）。
出部６０９、６１０に移行する。すなわち、分散算出部
６０９、６１０は制御部６１７の制御に基づき、それぞ
れ各ブロックバッファ６０６、６０７内の各色信号を読
み出して各色信号の分散を算出する。次に最大分散決定
部６５０は算出された各分散のうち、最大の分散をもつ
色信号を決定する（ステップＳ６５）。
【００９１】信号変形部６５１の選択部６５１Ａ（図１
５）は制御部６１７の制御に基づき、最大分散決定部６
５０からの色信号が最大分散を有する信号か否かによっ
て各ブロックバッファ６０６、６０７内の矩形領域の各
色信号の一方を選択する（ステップＳ６６）。各ブロッ
クバッファ６０６、６０７内の矩形領域の各色信号のう
ち、最大分散に対応する色信号は変形されることなしに
参照画像用バッファ６１１へ出力される。最大分散の色
信号でないものについてはゲイン・バイアス算出部６５
１Ｂに出力される。ゲイン・バイアス算出部６５１Ｂは
入力された色信号についてそのゲインαi とバイアスβ
i とを算出して（ステップＳ６７）、当該色信号ととも
に演算部６５１Ｃへ出力する。演算部６５１Ｃは算出さ
れたゲインαi とバイアスβi とを用いて当該色信号を
変形して参照画像バッファ６１１へ出力する（ステップ
Ｓ６８）。最大分散に対応する変形なしの色信号と変形
された色信号とが参照画像用バッファ６１１内に積算さ
れることにより複数の近似参照画像が生成される（ステ
ップＳ６９）。
５）は制御部６１７の制御に基づき、最大分散決定部６
５０からの色信号が最大分散を有する信号か否かによっ
て各ブロックバッファ６０６、６０７内の矩形領域の各
色信号の一方を選択する（ステップＳ６６）。各ブロッ
クバッファ６０６、６０７内の矩形領域の各色信号のう
ち、最大分散に対応する色信号は変形されることなしに
参照画像用バッファ６１１へ出力される。最大分散の色
信号でないものについてはゲイン・バイアス算出部６５
１Ｂに出力される。ゲイン・バイアス算出部６５１Ｂは
入力された色信号についてそのゲインαi とバイアスβ
i とを算出して（ステップＳ６７）、当該色信号ととも
に演算部６５１Ｃへ出力する。演算部６５１Ｃは算出さ
れたゲインαi とバイアスβi とを用いて当該色信号を
変形して参照画像バッファ６１１へ出力する（ステップ
Ｓ６８）。最大分散に対応する変形なしの色信号と変形
された色信号とが参照画像用バッファ６１１内に積算さ
れることにより複数の近似参照画像が生成される（ステ
ップＳ６９）。
【００９２】生成された複数の近似参照画像は平滑化処
理部６１２および近似参照画像選択部６５２へ転送され
る。近似参照画像選択部６５２は第１実施形態と同様に
エッジ強度に基づいて近似参照画像を選択し（ステップ
Ｓ７０）、平滑化処理部６１２と欠落画素復元部６１４
へ転送する。平滑化処理部６１２はＢ信号についてのレ
ンズ系の収差量に応じて近似参照画像を平滑化して平滑
化近似参照画像を生成して欠落画素復元部６１４へ転送
する（ステップＳ７１）。
理部６１２および近似参照画像選択部６５２へ転送され
る。近似参照画像選択部６５２は第１実施形態と同様に
エッジ強度に基づいて近似参照画像を選択し（ステップ
Ｓ７０）、平滑化処理部６１２と欠落画素復元部６１４
へ転送する。平滑化処理部６１２はＢ信号についてのレ
ンズ系の収差量に応じて近似参照画像を平滑化して平滑
化近似参照画像を生成して欠落画素復元部６１４へ転送
する（ステップＳ７１）。
【００９３】欠落画素復元部６１４はＲＧＢ切換部６１
３を介して読み込んだＲ、Ｇ、Ｂの色信号のうち、Ｂ信
号を平滑化近似参照画像に基づいて変形する（ステップ
Ｓ７２）。そして、この変形された色信号と近似参照画
像とを積算して参照画像を得（ステップＳ７３）、この
参照画像に基づき欠落する色信号の復元を行なって加算
平均部６１５へ転送する（ステップＳ７４）。
３を介して読み込んだＲ、Ｇ、Ｂの色信号のうち、Ｂ信
号を平滑化近似参照画像に基づいて変形する（ステップ
Ｓ７２）。そして、この変形された色信号と近似参照画
像とを積算して参照画像を得（ステップＳ７３）、この
参照画像に基づき欠落する色信号の復元を行なって加算
平均部６１５へ転送する（ステップＳ７４）。
【００９４】このようにして上記処理を矩形ブロックが
重複しないように各信号用バッファ６０２、６０３、６
０４内のすべての画像が走査されて処理されることによ
り（ステップＳ７５）、１フレーム分の画像に対するす
べての欠落が復元される。復元された色信号は加算平均
部６１５に転送される。この加算平均部６１５には、矩
形領域が７×７サイズであるならば、１つの画素に関し
て４９個の復元された色信号が転送されることになる。
加算平均部６１５はこれらの色信号を加算平均して（ス
テップＳ７６）、出力部６１６へ出力する。
重複しないように各信号用バッファ６０２、６０３、６
０４内のすべての画像が走査されて処理されることによ
り（ステップＳ７５）、１フレーム分の画像に対するす
べての欠落が復元される。復元された色信号は加算平均
部６１５に転送される。この加算平均部６１５には、矩
形領域が７×７サイズであるならば、１つの画素に関し
て４９個の復元された色信号が転送されることになる。
加算平均部６１５はこれらの色信号を加算平均して（ス
テップＳ７６）、出力部６１６へ出力する。
【００９５】図１８（ａ）〜図１８（ｏ）は、色収差の
存在下においてカラーエッジモデルを用いて欠落画素を
復元する方法を説明するための図である。以下は、一次
元の場合に関して説明する。図１８（ａ）、（ｂ）、
（ｃ）はそれぞれ、ＲＧＢ３信号における原画像の形状
を示す。図１８（ｄ）、（ｅ）、（ｆ）はそれぞれ、色
収差のあるレンズ系で撮像されたときのＲＧＢ３信号の
劣化状態を示している。ここでは図に示すようにＢ信号
のみに色収差があることを仮定している。これらの色信
号が、図１８（ｇ）に示されるフィルタ配置の単板ＣＣ
Ｄで撮像されたとすると、得られる色信号はそれぞれ、
図１８（ｈ）、（ｉ）、（ｊ）に示されるものになる。
存在下においてカラーエッジモデルを用いて欠落画素を
復元する方法を説明するための図である。以下は、一次
元の場合に関して説明する。図１８（ａ）、（ｂ）、
（ｃ）はそれぞれ、ＲＧＢ３信号における原画像の形状
を示す。図１８（ｄ）、（ｅ）、（ｆ）はそれぞれ、色
収差のあるレンズ系で撮像されたときのＲＧＢ３信号の
劣化状態を示している。ここでは図に示すようにＢ信号
のみに色収差があることを仮定している。これらの色信
号が、図１８（ｇ）に示されるフィルタ配置の単板ＣＣ
Ｄで撮像されたとすると、得られる色信号はそれぞれ、
図１８（ｈ）、（ｉ）、（ｊ）に示されるものになる。
【００９６】ここで、第１実施形態と同様に、図１８
（ｈ）のＲ信号及び、図１８（ｉ）のＧ信号のゲインと
バイアスをそれぞれ調整すれば、図１８（ｋ）、図１８
（ｌ）に示される基本的なエッジ構造を有する複数の参
照画像が得られる。この複数の参照画像の中から最も局
在性の優れたもの、すなわち、エッジ強度の小さい参照
画像を選択すればよい。ただし、このようにして得られ
る参照画像はＢ信号に対応する画素が欠落しており、完
全な参照画像とは異なる。したがって、これを近似参照
画像と呼ぶ。
（ｈ）のＲ信号及び、図１８（ｉ）のＧ信号のゲインと
バイアスをそれぞれ調整すれば、図１８（ｋ）、図１８
（ｌ）に示される基本的なエッジ構造を有する複数の参
照画像が得られる。この複数の参照画像の中から最も局
在性の優れたもの、すなわち、エッジ強度の小さい参照
画像を選択すればよい。ただし、このようにして得られ
る参照画像はＢ信号に対応する画素が欠落しており、完
全な参照画像とは異なる。したがって、これを近似参照
画像と呼ぶ。
【００９７】次に、この近似参照画像を色収差の量に対
応して平滑化することで、図１８（ｍ）に示す平滑化近
似参照画像が得られる。この平滑化近似参照画像に基づ
いてＢ信号のゲインとバイアスを調整することで図１８
（ｊ）のＢ信号の変形を行う（図１８（ｎ））。そし
て、よりエッジ強度の小さい図１８（ｌ）の近似参照画
像と、図１８（ｎ）の変形されたＢ信号とを合成するこ
とで、図１８（ｏ）に示すような最終的な参照画像が得
られる。以後の復元処理は第１実施形態と同様である。
応して平滑化することで、図１８（ｍ）に示す平滑化近
似参照画像が得られる。この平滑化近似参照画像に基づ
いてＢ信号のゲインとバイアスを調整することで図１８
（ｊ）のＢ信号の変形を行う（図１８（ｎ））。そし
て、よりエッジ強度の小さい図１８（ｌ）の近似参照画
像と、図１８（ｎ）の変形されたＢ信号とを合成するこ
とで、図１８（ｏ）に示すような最終的な参照画像が得
られる。以後の復元処理は第１実施形態と同様である。
【００９８】上記した第４実施形態においては、まず、
色収差の少ない信号を用いて近似的な参照画像を得る。
そして、この参照画像を平滑化することで色収差の多い
信号との適合を行って完全な参照画像を得、この参照画
像から欠落信号を復元するようにしている。したがっ
て、安価なレンズ系を用いた場合でも高精細な復元画像
を生成できる。また、ＲＧＢ３信号の出現頻度が色収差
に応じて調整されているため、効率的な撮像が可能とな
る。
色収差の少ない信号を用いて近似的な参照画像を得る。
そして、この参照画像を平滑化することで色収差の多い
信号との適合を行って完全な参照画像を得、この参照画
像から欠落信号を復元するようにしている。したがっ
て、安価なレンズ系を用いた場合でも高精細な復元画像
を生成できる。また、ＲＧＢ３信号の出現頻度が色収差
に応じて調整されているため、効率的な撮像が可能とな
る。
【００９９】なお、本実施形態ではＢ信号に色収差が存
在することを仮定したが、これに限定される必要はな
く、任意の信号に対しても同様に処理することができ
る。 Ａ．上記した具体的実施形態から以下のような構成の発
明が抽出される。 （１）１つの画素が有する画像信号が複数の色信号から
構成され、画素の位置に応じて少なくとも１つ以上の色
信号が欠落する画像信号を処理する画像信号処理装置に
おいて、上記画像信号から、指定された画素を包含する
所定サイズの局所領域の色信号を抽出する抽出手段と、
この抽出手段で抽出された局所領域内の各色信号を所定
の構造モデルと評価関数に基づいて変形および合成する
ことで参照画像を生成する参照画像生成手段と、この参
照画像生成手段で生成された参照画像に基づき、欠落す
る色信号を復元する復元手段と、を具備することを特徴
とする画像信号処理装置。 （２）上記参照画像生成手段は、上記構造モデルとして
複数の色信号が同一のエッジパターンを共有するカラー
エッジモデルを用いることを特徴とする構成（１）に記
載の画像信号処理装置。 （３）１つの画素が有する画像信号が複数の色信号から
構成され、画素の位置に応じて少なくとも１つ以上の色
信号が欠落する画像信号を処理する画像信号処理装置に
おいて、上記画像信号から、指定された画素を包含する
所定サイズの局所領域の色信号を抽出する抽出手段と、
この抽出手段で抽出された局所領域内の各色信号ごとに
所定のパラメータを算出し、このパラメータに基づき１
つの色信号を選択する色信号選択手段と、この色信号選
択手段で選択された色信号以外の色信号に関して、上記
パラメータが選択された色信号のパラメータと同一とな
るように色信号を変形する変形手段と、この変形手段で
変形された複数の各色信号と上記色信号選択手段によっ
て選択された色信号とを合成して複数の参照候補画像を
生成する候補画像生成手段と、この候補画像生成手段で
生成された複数の参照候補画像から、所定の評価関数に
基づき１つの参照画像を選択する参照画像選択手段と、
上記参照画像選択手段で選択された参照画像に基づき、
欠落する色信号を復元する復元手段と、を具備すること
を特徴とする画像信号処理装置。 （４）上記色信号選択手段および上記変形手段は、各色
信号の平均および分散または最大値および最小値をパラ
メータとして用いることを特徴とする構成（３）に記載
の画像信号処理装置。 （５）−１ 上記参照画像生成手段は、上記評価関数として各色信号
に対しラプラシアンを施して得られるエッジ強度、また
は各色信号の濃度共起行列から算出されるエネルギーま
たはエントロピーまたは相関または局所一様性または慣
性を用いることを特徴とする構成（１）または（２）に
記載の画像信号処理装置。 （５）−２ 上記参照画像選択手段は、上記評価関数として各色信号
に対しラプラシアンを施して得られるエッジ強度、また
は各色信号の濃度共起行列から算出されるエネルギーま
たはエントロピーまたは相関または局所一様性または慣
性を用いることを特徴とする構成（３）に記載の画像信
号処理装置。 （６）−１ 前記抽出手段の出力である色信号を所定の評価基準によ
り判断し、構成（３）記載の上記色信号選択手段および
それ以降の処理手段に処理させるか、あるいは線形補間
復元手段に処理させるかを選択する選択手段を備える構
成（３）に記載の画像信号処理装置。 （６）−２ 前記抽出手段の出力である色信号を所定の評価基準によ
り判断し、構成（１）記載の上記参照画像生成手段およ
びそれ以降の処理手段に処理させるか、あるいは線形補
間復元手段に処理させるかを選択する選択手段を備える
構成（１）または（２）に記載の画像信号処理装置。 （６）−１１ 前記所定の評価基準による判断は、前記抽出手段の出力
である色信号のエッジ強度、分散、あるいは最大最小値
のどれかを算出し、その算出値を所定の閾値と比較する
ことで行われる構成（６）−１に記載の画像信号処理装
置。 （６）−１２ 前記所定の評価基準による判断は、前記抽出手段の出力
である色信号のエッジ強度、分散、あるいは最大最小値
のどれかを算出し、その算出値を所定の閾値と比較する
ことで行われる構成（６）−２に記載の画像信号処理装
置。 （７）上記複数の色信号を被写体を撮像することで得る
撮像装置を有する入力手段をさらに具備し、前記撮像装
置の各画素は一つの色信号に対応する色フィルタを有
し、前記色フィルタの空間的配置はｍ、ｎを３以上の整
数とするｍ×ｎサイズの矩形領域の反復で構成され、上
記矩形領域内で各色信号の出現頻度が均等になるように
設定されていること、を特徴とする構成（１）〜（３）
に記載の画像入力処理装置。 （８）上記複数の色信号を被写体を撮像することで得る
撮像装置を有する入力手段をさらに具備し、前記撮像装
置の各画素は一つの色信号に対応する色フィルタを有
し、前記色フィルタの空間的配置は、使用される色信号
の総数をｊ，またｋを２以上の整数としたときｊｋ×ｊ
ｋサイズの矩形領域の反復で構成され、上記矩形領域内
の各色信号の出現頻度が均等でかつ水平垂直方向におい
て各色信号の出現頻度が２以上ｊ未満となるように設定
されていること、を特徴とする構成（１）〜（３）に記
載の画像入力処理装置。 （９）上記複数の色信号を被写体を撮像することで得る
撮像装置を有する入力手段をさらに具備し、前記撮像装
置の各画素は一つの色信号に対応する色フィルタを有
し、前記色フィルタの空間的配置は、使用される色信号
の総数をｊ，またｋを２以上の整数としたときｊｋ×ｊ
ｋサイズの矩形領域の反復で構成され、上記矩形領域内
の各色信号の出現頻度が均等でかつその配置が矩形領域
内の一点を中心とする同心円の軌跡が整数座標と交わる
ときの半径をｊで除算したときの剰余に基づき設定され
ていること、を特徴とする構成（１）〜（３）に記載の
画像入力処理装置。 （１０）上記復元手段は、上記参照画像に基づき復元さ
れた各色信号から輝度信号を生成する輝度信号生成手段
と、上記輝度信号の分布に基づき上記輝度信号を用いた
復元処理を反復させる収束判断手段と、を含むことを特
徴とする構成（１）〜（３）に記載の画像信号処理装
置。 （１１）１つの画素が有する画像信号が複数の色信号か
ら構成され、画素の位置に応じて少なくとも１つ以上の
色信号が欠落する画像信号を入力処理する画像入力処理
装置において、色収差を生じる光学レンズ系と、この色
収差量に基づき色信号の出現頻度が調整された撮像装置
とからなる入力手段と、この入力手段から得られた画像
信号から、指定された画素を包含する所定サイズの局所
領域の色信号を抽出する抽出手段と、この抽出手段で抽
出された局所領域内の各色信号中で、色収差量の少ない
色信号を所定の構造モデルと評価関数に基づき変形およ
び合成することで近似参照画像を生成する近似参照画像
生成手段と、この近似参照画像生成手段で生成された近
似参照画像を色収差量の多い色信号の色収差量に基づき
平滑化する平滑化手段と、上記近似参照画像生成手段で
生成された近似参照画像と上記平滑化手段で平滑化され
た近似参照画像とに基づき参照画像を生成し、欠落する
色信号を復元する復元手段と、を具備することを特徴と
する画像入力装置。 （１２）上記近似参照画像生成手段は、上記構造モデル
として複数の色信号が同一のエッジパターンを共有する
カラーエッジモデルを用いることを特徴とする構成（１
１）に記載の画像入力処理装置。 （１３）上記近似参照画像生成手段は、上記評価関数と
して各色信号に対しラプラシアンを施して得られるエッ
ジ強度、または各色信号の濃度共起行列から算出される
エネルギーまたはエントロピーまたは相関または局所一
様性または慣性を用いることを特徴とする構成（１１）
に記載の画像入力処理装置。 Ｂ．上記した構成（１）〜（１３）についての「発明が
解決しようとする課題」は以下の通りである。 構成（１）、（２）、（５）−１、２ 従来技術は、輝度信号を線形補間で、色差信号を線形補
間または輝度信号に基づき補っており、欠落する色信号
を高精度に復元するという点について対応することがで
きない。本発明はこの点に着目し、画像の構造モデルに
基づき欠落する色信号を高精度に復元することができる
画像信号処理装置を提供することを目的とする。 構成（３）、（４）、（５）−１、２、（６）−１、
２、１１、１２ 従来技術は、輝度信号を線形補間で、色差信号を線形補
間または輝度信号に基づき補っており、欠落する色信号
を高精度に復元するという点について対応することがで
きない。本発明はこの点に着目し、画像の構造モデルに
基づき欠落する色信号を高精度かつ高速に復元すること
ができる画像信号処理装置を提供することを目的とす
る。 構成（７）、（８）、（９） 従来技術は、色差信号を輝度信号に基づき補っており、
予め輝度信号に相当するフィルタ数を色差信号に対応す
るフィルタ数より多くする必要があり、均等な比率のフ
ィルタ配置には対応することができない。本発明はこの
点に着目し、各色信号の比率が均等な場合において欠落
する色信号を高精度に復元することができる画像信号処
理装置を提供することを目的とする。 構成（１０） 従来技術は、輝度信号を線形補間で、また色差信号を線
形補間または輝度信号に基づき補っており、欠落する色
信号を高精度に復元するという点について対応すること
ができない。本発明はこの点に着目し、画像の構造モデ
ルを反復的に使用することに基づき欠落する色信号を高
精度に復元することができる画像信号処理装置を提供す
ることを目的とする。 構成（１１）、（１２）、（１３） 従来技術は、輝度信号を線形補間で、また色差信号を線
形補間または輝度信号に基づき補っており、特定の信号
が劣化するような色収差の生じる安価な光学レンズ系に
対応することができない。本発明はこの点に着目し、画
像の構造モデルを色収差に基づき平滑化する事で安価な
光学レンズ系を使用して得られた信号に関しても欠落す
る色信号を高精度に復元することができる画像入力処理
装置を提供することを目的とする。 Ｃ．上記した構成（１）〜（１３）についての「対応す
る発明の実施の形態」、「作用」、「効果」は以下の通
りである。 構成（１）、（２）、（５）−１、２、（６）−１、
２、１１、１２、（７） 「対応する発明の実施の形態」この発明には、少なくと
も上記した第１実施形態が対応する。構成中の入力手段
は図３のＣＣＤ２０３を含み、このＣＣＤ２０３におけ
る色フィルタの空間的配置はｍ，ｎを３以上の整数とす
るｍ×ｎサイズの矩形領域の反復で構成され、上記矩形
領域内で各色信号の出現頻度が均等になるように設定さ
れている。構成中の抽出手段は、図１に示される領域抽
出部１０５を含む。構成中の参照画像生成手段は、図１
の分散算出部１０９、１１０、１１１、最大分散決定部
１５０、信号変形部１５１、参照画像用バッファ１１２
を含む。構造モデルとしては、例えば複数の色信号が同
一のエッジパターンを共有するカラーエッジモデルを用
いる。また、評価関数としては例えば、各色信号に対し
てラプラシアンを施して得られるエッジ強度、または各
色信号の濃度共起行列から算出されるエネルギーまたは
エントロピーまたは相関または局所一様性または慣性を
用いる。構成中の復元手段は、選択手段である図１のエ
ッジ強度算出部１１４および線形補間部１１５、欠落画
素復元部１１６を含む。エッジ強度算出部１１４は例え
ば、エッジ強度または分散または最小最大値などの評価
基準に基づき線形補間部１１５と欠落画素復元部１１６
とを切り換える。
在することを仮定したが、これに限定される必要はな
く、任意の信号に対しても同様に処理することができ
る。 Ａ．上記した具体的実施形態から以下のような構成の発
明が抽出される。 （１）１つの画素が有する画像信号が複数の色信号から
構成され、画素の位置に応じて少なくとも１つ以上の色
信号が欠落する画像信号を処理する画像信号処理装置に
おいて、上記画像信号から、指定された画素を包含する
所定サイズの局所領域の色信号を抽出する抽出手段と、
この抽出手段で抽出された局所領域内の各色信号を所定
の構造モデルと評価関数に基づいて変形および合成する
ことで参照画像を生成する参照画像生成手段と、この参
照画像生成手段で生成された参照画像に基づき、欠落す
る色信号を復元する復元手段と、を具備することを特徴
とする画像信号処理装置。 （２）上記参照画像生成手段は、上記構造モデルとして
複数の色信号が同一のエッジパターンを共有するカラー
エッジモデルを用いることを特徴とする構成（１）に記
載の画像信号処理装置。 （３）１つの画素が有する画像信号が複数の色信号から
構成され、画素の位置に応じて少なくとも１つ以上の色
信号が欠落する画像信号を処理する画像信号処理装置に
おいて、上記画像信号から、指定された画素を包含する
所定サイズの局所領域の色信号を抽出する抽出手段と、
この抽出手段で抽出された局所領域内の各色信号ごとに
所定のパラメータを算出し、このパラメータに基づき１
つの色信号を選択する色信号選択手段と、この色信号選
択手段で選択された色信号以外の色信号に関して、上記
パラメータが選択された色信号のパラメータと同一とな
るように色信号を変形する変形手段と、この変形手段で
変形された複数の各色信号と上記色信号選択手段によっ
て選択された色信号とを合成して複数の参照候補画像を
生成する候補画像生成手段と、この候補画像生成手段で
生成された複数の参照候補画像から、所定の評価関数に
基づき１つの参照画像を選択する参照画像選択手段と、
上記参照画像選択手段で選択された参照画像に基づき、
欠落する色信号を復元する復元手段と、を具備すること
を特徴とする画像信号処理装置。 （４）上記色信号選択手段および上記変形手段は、各色
信号の平均および分散または最大値および最小値をパラ
メータとして用いることを特徴とする構成（３）に記載
の画像信号処理装置。 （５）−１ 上記参照画像生成手段は、上記評価関数として各色信号
に対しラプラシアンを施して得られるエッジ強度、また
は各色信号の濃度共起行列から算出されるエネルギーま
たはエントロピーまたは相関または局所一様性または慣
性を用いることを特徴とする構成（１）または（２）に
記載の画像信号処理装置。 （５）−２ 上記参照画像選択手段は、上記評価関数として各色信号
に対しラプラシアンを施して得られるエッジ強度、また
は各色信号の濃度共起行列から算出されるエネルギーま
たはエントロピーまたは相関または局所一様性または慣
性を用いることを特徴とする構成（３）に記載の画像信
号処理装置。 （６）−１ 前記抽出手段の出力である色信号を所定の評価基準によ
り判断し、構成（３）記載の上記色信号選択手段および
それ以降の処理手段に処理させるか、あるいは線形補間
復元手段に処理させるかを選択する選択手段を備える構
成（３）に記載の画像信号処理装置。 （６）−２ 前記抽出手段の出力である色信号を所定の評価基準によ
り判断し、構成（１）記載の上記参照画像生成手段およ
びそれ以降の処理手段に処理させるか、あるいは線形補
間復元手段に処理させるかを選択する選択手段を備える
構成（１）または（２）に記載の画像信号処理装置。 （６）−１１ 前記所定の評価基準による判断は、前記抽出手段の出力
である色信号のエッジ強度、分散、あるいは最大最小値
のどれかを算出し、その算出値を所定の閾値と比較する
ことで行われる構成（６）−１に記載の画像信号処理装
置。 （６）−１２ 前記所定の評価基準による判断は、前記抽出手段の出力
である色信号のエッジ強度、分散、あるいは最大最小値
のどれかを算出し、その算出値を所定の閾値と比較する
ことで行われる構成（６）−２に記載の画像信号処理装
置。 （７）上記複数の色信号を被写体を撮像することで得る
撮像装置を有する入力手段をさらに具備し、前記撮像装
置の各画素は一つの色信号に対応する色フィルタを有
し、前記色フィルタの空間的配置はｍ、ｎを３以上の整
数とするｍ×ｎサイズの矩形領域の反復で構成され、上
記矩形領域内で各色信号の出現頻度が均等になるように
設定されていること、を特徴とする構成（１）〜（３）
に記載の画像入力処理装置。 （８）上記複数の色信号を被写体を撮像することで得る
撮像装置を有する入力手段をさらに具備し、前記撮像装
置の各画素は一つの色信号に対応する色フィルタを有
し、前記色フィルタの空間的配置は、使用される色信号
の総数をｊ，またｋを２以上の整数としたときｊｋ×ｊ
ｋサイズの矩形領域の反復で構成され、上記矩形領域内
の各色信号の出現頻度が均等でかつ水平垂直方向におい
て各色信号の出現頻度が２以上ｊ未満となるように設定
されていること、を特徴とする構成（１）〜（３）に記
載の画像入力処理装置。 （９）上記複数の色信号を被写体を撮像することで得る
撮像装置を有する入力手段をさらに具備し、前記撮像装
置の各画素は一つの色信号に対応する色フィルタを有
し、前記色フィルタの空間的配置は、使用される色信号
の総数をｊ，またｋを２以上の整数としたときｊｋ×ｊ
ｋサイズの矩形領域の反復で構成され、上記矩形領域内
の各色信号の出現頻度が均等でかつその配置が矩形領域
内の一点を中心とする同心円の軌跡が整数座標と交わる
ときの半径をｊで除算したときの剰余に基づき設定され
ていること、を特徴とする構成（１）〜（３）に記載の
画像入力処理装置。 （１０）上記復元手段は、上記参照画像に基づき復元さ
れた各色信号から輝度信号を生成する輝度信号生成手段
と、上記輝度信号の分布に基づき上記輝度信号を用いた
復元処理を反復させる収束判断手段と、を含むことを特
徴とする構成（１）〜（３）に記載の画像信号処理装
置。 （１１）１つの画素が有する画像信号が複数の色信号か
ら構成され、画素の位置に応じて少なくとも１つ以上の
色信号が欠落する画像信号を入力処理する画像入力処理
装置において、色収差を生じる光学レンズ系と、この色
収差量に基づき色信号の出現頻度が調整された撮像装置
とからなる入力手段と、この入力手段から得られた画像
信号から、指定された画素を包含する所定サイズの局所
領域の色信号を抽出する抽出手段と、この抽出手段で抽
出された局所領域内の各色信号中で、色収差量の少ない
色信号を所定の構造モデルと評価関数に基づき変形およ
び合成することで近似参照画像を生成する近似参照画像
生成手段と、この近似参照画像生成手段で生成された近
似参照画像を色収差量の多い色信号の色収差量に基づき
平滑化する平滑化手段と、上記近似参照画像生成手段で
生成された近似参照画像と上記平滑化手段で平滑化され
た近似参照画像とに基づき参照画像を生成し、欠落する
色信号を復元する復元手段と、を具備することを特徴と
する画像入力装置。 （１２）上記近似参照画像生成手段は、上記構造モデル
として複数の色信号が同一のエッジパターンを共有する
カラーエッジモデルを用いることを特徴とする構成（１
１）に記載の画像入力処理装置。 （１３）上記近似参照画像生成手段は、上記評価関数と
して各色信号に対しラプラシアンを施して得られるエッ
ジ強度、または各色信号の濃度共起行列から算出される
エネルギーまたはエントロピーまたは相関または局所一
様性または慣性を用いることを特徴とする構成（１１）
に記載の画像入力処理装置。 Ｂ．上記した構成（１）〜（１３）についての「発明が
解決しようとする課題」は以下の通りである。 構成（１）、（２）、（５）−１、２ 従来技術は、輝度信号を線形補間で、色差信号を線形補
間または輝度信号に基づき補っており、欠落する色信号
を高精度に復元するという点について対応することがで
きない。本発明はこの点に着目し、画像の構造モデルに
基づき欠落する色信号を高精度に復元することができる
画像信号処理装置を提供することを目的とする。 構成（３）、（４）、（５）−１、２、（６）−１、
２、１１、１２ 従来技術は、輝度信号を線形補間で、色差信号を線形補
間または輝度信号に基づき補っており、欠落する色信号
を高精度に復元するという点について対応することがで
きない。本発明はこの点に着目し、画像の構造モデルに
基づき欠落する色信号を高精度かつ高速に復元すること
ができる画像信号処理装置を提供することを目的とす
る。 構成（７）、（８）、（９） 従来技術は、色差信号を輝度信号に基づき補っており、
予め輝度信号に相当するフィルタ数を色差信号に対応す
るフィルタ数より多くする必要があり、均等な比率のフ
ィルタ配置には対応することができない。本発明はこの
点に着目し、各色信号の比率が均等な場合において欠落
する色信号を高精度に復元することができる画像信号処
理装置を提供することを目的とする。 構成（１０） 従来技術は、輝度信号を線形補間で、また色差信号を線
形補間または輝度信号に基づき補っており、欠落する色
信号を高精度に復元するという点について対応すること
ができない。本発明はこの点に着目し、画像の構造モデ
ルを反復的に使用することに基づき欠落する色信号を高
精度に復元することができる画像信号処理装置を提供す
ることを目的とする。 構成（１１）、（１２）、（１３） 従来技術は、輝度信号を線形補間で、また色差信号を線
形補間または輝度信号に基づき補っており、特定の信号
が劣化するような色収差の生じる安価な光学レンズ系に
対応することができない。本発明はこの点に着目し、画
像の構造モデルを色収差に基づき平滑化する事で安価な
光学レンズ系を使用して得られた信号に関しても欠落す
る色信号を高精度に復元することができる画像入力処理
装置を提供することを目的とする。 Ｃ．上記した構成（１）〜（１３）についての「対応す
る発明の実施の形態」、「作用」、「効果」は以下の通
りである。 構成（１）、（２）、（５）−１、２、（６）−１、
２、１１、１２、（７） 「対応する発明の実施の形態」この発明には、少なくと
も上記した第１実施形態が対応する。構成中の入力手段
は図３のＣＣＤ２０３を含み、このＣＣＤ２０３におけ
る色フィルタの空間的配置はｍ，ｎを３以上の整数とす
るｍ×ｎサイズの矩形領域の反復で構成され、上記矩形
領域内で各色信号の出現頻度が均等になるように設定さ
れている。構成中の抽出手段は、図１に示される領域抽
出部１０５を含む。構成中の参照画像生成手段は、図１
の分散算出部１０９、１１０、１１１、最大分散決定部
１５０、信号変形部１５１、参照画像用バッファ１１２
を含む。構造モデルとしては、例えば複数の色信号が同
一のエッジパターンを共有するカラーエッジモデルを用
いる。また、評価関数としては例えば、各色信号に対し
てラプラシアンを施して得られるエッジ強度、または各
色信号の濃度共起行列から算出されるエネルギーまたは
エントロピーまたは相関または局所一様性または慣性を
用いる。構成中の復元手段は、選択手段である図１のエ
ッジ強度算出部１１４および線形補間部１１５、欠落画
素復元部１１６を含む。エッジ強度算出部１１４は例え
ば、エッジ強度または分散または最小最大値などの評価
基準に基づき線形補間部１１５と欠落画素復元部１１６
とを切り換える。
【０１００】この発明の好ましい適用例は以下の通りで
ある。図１、図３、図４に示す入力部１０１からの画像
信号をＲ信号用バッファ１０２、Ｇ信号用バッファ１０
３、Ｂ信号用バッファ１０４にて保存し、領域抽出部１
０５にて所定サイズの領域の色信号を抽出してＲ信号用
ブロックバッファ１０６、Ｇ信号用ブロックバッファ１
０７、Ｂ信号用ブロックバッファ１０８に転送する。エ
ッジ強度算出部１１４は、Ｒ信号用ブロックバッファ１
０６、Ｇ信号用ブロックバッファ１０７、Ｂ信号用ブロ
ックバッファ１０８中の全色信号のエッジ強度に基づ
き、線形補間部１１５か、または欠落画素復元部１１６
を選択する。線形補間部１１５が選択された場合は公知
の線形補間により欠落画素を復元して出力部１１７へ転
送する。欠落画素復元部１１６が選択された場合には、
信号変形部１５１は、最大分散決定部１５０からの最大
分散に関する情報に基づいて、図６に示すカラーエッジ
モデルを用いて各色信号を変形する。これらの色信号は
参照画像用バッファ１１２に積算されることで参照画像
が生成される。欠落画素復元部１１６は図７に示すよう
に参照画像に基づいて欠落画素を復元して出力部１７へ
転送する。 「作用」各色信号のエッジ強度に基づき通常の線形補間
による復元と構造モデルによる復元とを切り換え、構造
モデルによる復元が選択された場合にはカラーエッジモ
デルから参照画像を生成し、この参照画像から欠落画素
の情報を復元する。 「効果」構造モデルによる復元は、５×５〜１５×１５
程度の広い領域の全信号を用いて参照画像を生成するた
め、三板式の撮像装置を用いて撮像した場合の精度と同
等の精度で欠落画素を復元することが可能となる。ま
た、エッジ強度を算出して平坦部分については通常の線
形補間を行うようにすることで、処理の高速化も可能と
なる。 構成（３）、（４）、（５）−１、２ 「対応する発明の実施の形態」この発明は、少なくとも
上記した第２実施形態に対応する。構成中の抽出手段
は、図８に示される領域抽出部３０５を含む。構成中の
信号選択手段は、図８のＲ信号用平均分散算出部３０
９、Ｇ信号用平均分散算出部３１０、Ｂ信号用平均分散
算出部３１１、最大分散信号選択部３１２を含む。構成
中の変形手段は、図８の信号変形部３１３を含む。抽出
手段および変形手段では、各色信号の平均および分散に
基づき抽出と変形を行うが、最大および最小値に基づき
抽出、変形を行うことも可能である。構成中の候補画像
生成手段は、図８の候補画像生成部３１４を含む。構成
中の参照画像選択手段は、図８の参照画像選択部３１６
を含む。評価関数としては例えば、各色信号に対してラ
プラシアンを施すことにより得られるエッジ強度、また
は各色信号の濃度共起行列から算出されるエネルギーま
たはエントロピーまたは相関または局所一様性または慣
性を用いる。構成中の復元手段は、図８の欠落画素復元
部３１８を含む。
ある。図１、図３、図４に示す入力部１０１からの画像
信号をＲ信号用バッファ１０２、Ｇ信号用バッファ１０
３、Ｂ信号用バッファ１０４にて保存し、領域抽出部１
０５にて所定サイズの領域の色信号を抽出してＲ信号用
ブロックバッファ１０６、Ｇ信号用ブロックバッファ１
０７、Ｂ信号用ブロックバッファ１０８に転送する。エ
ッジ強度算出部１１４は、Ｒ信号用ブロックバッファ１
０６、Ｇ信号用ブロックバッファ１０７、Ｂ信号用ブロ
ックバッファ１０８中の全色信号のエッジ強度に基づ
き、線形補間部１１５か、または欠落画素復元部１１６
を選択する。線形補間部１１５が選択された場合は公知
の線形補間により欠落画素を復元して出力部１１７へ転
送する。欠落画素復元部１１６が選択された場合には、
信号変形部１５１は、最大分散決定部１５０からの最大
分散に関する情報に基づいて、図６に示すカラーエッジ
モデルを用いて各色信号を変形する。これらの色信号は
参照画像用バッファ１１２に積算されることで参照画像
が生成される。欠落画素復元部１１６は図７に示すよう
に参照画像に基づいて欠落画素を復元して出力部１７へ
転送する。 「作用」各色信号のエッジ強度に基づき通常の線形補間
による復元と構造モデルによる復元とを切り換え、構造
モデルによる復元が選択された場合にはカラーエッジモ
デルから参照画像を生成し、この参照画像から欠落画素
の情報を復元する。 「効果」構造モデルによる復元は、５×５〜１５×１５
程度の広い領域の全信号を用いて参照画像を生成するた
め、三板式の撮像装置を用いて撮像した場合の精度と同
等の精度で欠落画素を復元することが可能となる。ま
た、エッジ強度を算出して平坦部分については通常の線
形補間を行うようにすることで、処理の高速化も可能と
なる。 構成（３）、（４）、（５）−１、２ 「対応する発明の実施の形態」この発明は、少なくとも
上記した第２実施形態に対応する。構成中の抽出手段
は、図８に示される領域抽出部３０５を含む。構成中の
信号選択手段は、図８のＲ信号用平均分散算出部３０
９、Ｇ信号用平均分散算出部３１０、Ｂ信号用平均分散
算出部３１１、最大分散信号選択部３１２を含む。構成
中の変形手段は、図８の信号変形部３１３を含む。抽出
手段および変形手段では、各色信号の平均および分散に
基づき抽出と変形を行うが、最大および最小値に基づき
抽出、変形を行うことも可能である。構成中の候補画像
生成手段は、図８の候補画像生成部３１４を含む。構成
中の参照画像選択手段は、図８の参照画像選択部３１６
を含む。評価関数としては例えば、各色信号に対してラ
プラシアンを施すことにより得られるエッジ強度、また
は各色信号の濃度共起行列から算出されるエネルギーま
たはエントロピーまたは相関または局所一様性または慣
性を用いる。構成中の復元手段は、図８の欠落画素復元
部３１８を含む。
【０１０１】この発明の好ましい適用例は以下の通りで
ある。図８、図９に示す入力部３０１からの画像信号を
Ｒ信号用バッファ３０２、Ｇ信号用バッファ３０３、Ｂ
信号用バッファ３０４にて保存し、領域抽出部３０５に
て所定サイズの領域の色信号を抽出してＲ信号用ブロッ
クバッファ３０６、Ｇ信号用ブロックバッファ３０７、
Ｂ信号用ブロックバッファ３０８へ転送する。Ｒ信号用
平均分散算出部３０９、Ｇ信号用平均分散算出部３１
０、Ｂ信号用平均分散算出部３１１は各信号用ブロック
バッファ３０６、３０７、３０８内の各色信号を読み出
してその平均と分散とを算出する。最大分散信号選択部
３１２は最大の分散を与える色信号を選択し、信号変形
部３１３はこの最大の分散を与える色信号の平均と分散
に一致するようにこのほかの色信号を変形する。候補画
像生成部３１４は最大の分散を与える色信号と変形され
た色信号とを組み合わせることで複数の候補画像を生成
する。参照画像選択部３１６はこの複数の候補画像から
エッジ強度に基づき１つの参照画像を選択し、欠落画素
復元部３１８は選択された参照画像に基づき欠落画素を
復元して出力部３１９へ転送する。 「作用」入力される各色信号から最大分散を与える信号
を選択して、この色信号に合わせて他の色信号を変形し
た後、これらの色信号を組み合わせて参照画像の候補を
複数生成する。これらの候補からエッジ強度に基づき参
照画像を選択し、この参照画像から欠落画素の情報を復
元する。 「効果」最大分散を与える信号に他の色信号を合わせる
こととエッジ強度に基づき選択することによって計算量
を少なくできるため、高速に参照画像を生成することが
できる。この参照画像は、５×５〜１５×１５程度の広
い領域の全信号を用いて生成されるため、三板式に匹敵
する精度で欠落画素を復元することが可能となる。 構成（３）、（４）、（５）−１、２、（６）−１、
２、１１、１２、（８）、（９）、（１０） 「対応する発明の実施の形態」この発明は、少なくとも
上記した第３実施形態に対応する。構成中の入力手段は
ＣＣＤを含み、このＣＣＤにおける色フィルタの空間的
配置は例えば、使用される色信号の総数をｊ、かつｋを
２以上の整数としたときに、ｊｋ×ｊｋサイズの矩形領
域の反復で構成され、上記矩形領域内の各色信号の出現
頻度が均等でかつ水平垂直方向において各色信号の出現
頻度が２以上ｊ未満となるように設定される。または、
使用される色信号の総数をｊ、かつｋを２以上の整数と
したときにｊｋ×ｊｋサイズの矩形領域の反復で構成さ
れ、上記矩形領域内の各色信号の出現頻度が均等でかつ
その配置が矩形領域内の一点を中心とする同心円の軌跡
が整数座標と交わるときの半径をｊで除算したときの剰
余に基づいて設定される。構成中の抽出手段は、図１１
に示される領域抽出部５０５を含む。構成中の信号選択
手段は、図１１のＲ信号用最大最小算出部５０９、Ｇ信
号用最大最小算出部５１０、Ｂ信号用最大最小算出部５
１１、最大レンジ信号選択部５１２を含む。構成中の変
形手段は、図１１の信号変形部５１７を含む。抽出手段
および変形手段は、各色信号の最大値および最小値に基
づき抽出と変形を行うが、平均および分散に基づき抽
出、変形を行うことも可能である。構成中の候補画像生
成手段は、図１１の候補画像生成部５１８を含む。構成
中の参照画像選択手段は、図１１の参照画像選択部５２
０を含む。評価関数としては例えば、各色信号に対して
ラプラシアンを施すことにより得られるエッジ強度また
は各色信号の濃度共起行列から算出されるエネルギーま
たはエントロピーまたは相関または局所一様性または慣
性を用いる。構成中の復元手段は、選択手段である図１
１の処理切換部５１４及び、線形補間部５１５、欠落画
素復元部５１６、収束判定部５２１、輝度信号生成部５
２２を含む。処理切換部５１４は例えば、エッジ強度ま
たは分散または最小最大値などの評価基準に基づき線形
補間部５１５と欠落画素復元部５１６とを切り換える。
輝度信号生成部５２２は参照画像に基づき復元された各
色信号から輝度信号を生成し、収束判定部５２１は上記
輝度信号の分布に基づき上記輝度信号を用いた復元処理
を反復させる。
ある。図８、図９に示す入力部３０１からの画像信号を
Ｒ信号用バッファ３０２、Ｇ信号用バッファ３０３、Ｂ
信号用バッファ３０４にて保存し、領域抽出部３０５に
て所定サイズの領域の色信号を抽出してＲ信号用ブロッ
クバッファ３０６、Ｇ信号用ブロックバッファ３０７、
Ｂ信号用ブロックバッファ３０８へ転送する。Ｒ信号用
平均分散算出部３０９、Ｇ信号用平均分散算出部３１
０、Ｂ信号用平均分散算出部３１１は各信号用ブロック
バッファ３０６、３０７、３０８内の各色信号を読み出
してその平均と分散とを算出する。最大分散信号選択部
３１２は最大の分散を与える色信号を選択し、信号変形
部３１３はこの最大の分散を与える色信号の平均と分散
に一致するようにこのほかの色信号を変形する。候補画
像生成部３１４は最大の分散を与える色信号と変形され
た色信号とを組み合わせることで複数の候補画像を生成
する。参照画像選択部３１６はこの複数の候補画像から
エッジ強度に基づき１つの参照画像を選択し、欠落画素
復元部３１８は選択された参照画像に基づき欠落画素を
復元して出力部３１９へ転送する。 「作用」入力される各色信号から最大分散を与える信号
を選択して、この色信号に合わせて他の色信号を変形し
た後、これらの色信号を組み合わせて参照画像の候補を
複数生成する。これらの候補からエッジ強度に基づき参
照画像を選択し、この参照画像から欠落画素の情報を復
元する。 「効果」最大分散を与える信号に他の色信号を合わせる
こととエッジ強度に基づき選択することによって計算量
を少なくできるため、高速に参照画像を生成することが
できる。この参照画像は、５×５〜１５×１５程度の広
い領域の全信号を用いて生成されるため、三板式に匹敵
する精度で欠落画素を復元することが可能となる。 構成（３）、（４）、（５）−１、２、（６）−１、
２、１１、１２、（８）、（９）、（１０） 「対応する発明の実施の形態」この発明は、少なくとも
上記した第３実施形態に対応する。構成中の入力手段は
ＣＣＤを含み、このＣＣＤにおける色フィルタの空間的
配置は例えば、使用される色信号の総数をｊ、かつｋを
２以上の整数としたときに、ｊｋ×ｊｋサイズの矩形領
域の反復で構成され、上記矩形領域内の各色信号の出現
頻度が均等でかつ水平垂直方向において各色信号の出現
頻度が２以上ｊ未満となるように設定される。または、
使用される色信号の総数をｊ、かつｋを２以上の整数と
したときにｊｋ×ｊｋサイズの矩形領域の反復で構成さ
れ、上記矩形領域内の各色信号の出現頻度が均等でかつ
その配置が矩形領域内の一点を中心とする同心円の軌跡
が整数座標と交わるときの半径をｊで除算したときの剰
余に基づいて設定される。構成中の抽出手段は、図１１
に示される領域抽出部５０５を含む。構成中の信号選択
手段は、図１１のＲ信号用最大最小算出部５０９、Ｇ信
号用最大最小算出部５１０、Ｂ信号用最大最小算出部５
１１、最大レンジ信号選択部５１２を含む。構成中の変
形手段は、図１１の信号変形部５１７を含む。抽出手段
および変形手段は、各色信号の最大値および最小値に基
づき抽出と変形を行うが、平均および分散に基づき抽
出、変形を行うことも可能である。構成中の候補画像生
成手段は、図１１の候補画像生成部５１８を含む。構成
中の参照画像選択手段は、図１１の参照画像選択部５２
０を含む。評価関数としては例えば、各色信号に対して
ラプラシアンを施すことにより得られるエッジ強度また
は各色信号の濃度共起行列から算出されるエネルギーま
たはエントロピーまたは相関または局所一様性または慣
性を用いる。構成中の復元手段は、選択手段である図１
１の処理切換部５１４及び、線形補間部５１５、欠落画
素復元部５１６、収束判定部５２１、輝度信号生成部５
２２を含む。処理切換部５１４は例えば、エッジ強度ま
たは分散または最小最大値などの評価基準に基づき線形
補間部５１５と欠落画素復元部５１６とを切り換える。
輝度信号生成部５２２は参照画像に基づき復元された各
色信号から輝度信号を生成し、収束判定部５２１は上記
輝度信号の分布に基づき上記輝度信号を用いた復元処理
を反復させる。
【０１０２】この発明の好ましい適用例は以下の通りで
ある。図１１に示す入力部５０１からの画像信号をＲ信
号用バッファ５０２、Ｇ信号用バッファ５０３、Ｂ信号
用バッファ５０４にて保存する。領域抽出部５０５は所
定サイズの領域の色信号を抽出してＲ信号用ブロックバ
ッファ５０６、Ｇ信号用ブロックバッファ５０７、Ｂ信
号用ブロックバッファ５０８を介してＲ信号用最大最小
算出部５０９、Ｇ信号用最大最小算出部５１０、Ｂ信号
用最大最小算出部５１１に出力する。ここで各色信号の
最大と最小値が算出され、最大レンジ信号選択部５１２
にて最大のレンジ（＝最大値−最小値）を与える色信号
が選択され、処理切換部５１４に転送される。処理切換
部５１４にて最大レンジに基づき、線形補間部５１５ま
たは欠落画素復元部５１６が選択され、線形補間部５１
５が選択された場合は公知の線形補間により欠落画素が
復元され出力部５２３へ転送される。欠落画素復元部５
１６が選択された場合は、信号変形部５１７にて最大の
レンジを与える色信号の最大と最小値に一致するように
この他の色信号を変形し、候補画像生成部５１８にて最
大のレンジを与える色信号と変形された色信号を組み合
わせることによって複数の候補画像を生成し、参照画像
選択部５２０にて複数の候補画像からエッジ強度に基づ
き１つの参照画像を選択する。欠落画素復元部５１６は
この参照画像に基づき欠落画素を復元して収束判定部５
２１に転送する。収束判定部５２１は初回の処理の場合
は無条件に、２回目以降は前回復元された画像との差の
絶対値の２乗の総和が所定の閾値以下になるまで復元さ
れた色信号を輝度信号生成部５２２へ転送する。輝度信
号生成部５２２は復元された色信号から輝度信号を合成
し、欠落画素復元部５１６は上記輝度信号に基づき再度
復元処理を行なう。そして、収束判定部５２１において
前回の復元された画像との差の絶対値の２乗の総和が所
定の閾値以下になった場合に復元された画像を出力部５
２３へ転送する。 （作用）入力される各色信号から最大レンジを与える信
号を選択して、この色信号に合わせて他の色信号を変形
した後、これらの色信号を組み合わせて参照画像の候補
を複数生成する。これら複数の候補からエッジ強度に基
づき参照画像を選択し、この参照画像から欠落画素の情
報を復元する。さらに、復元された画像から輝度信号を
生成し、これを用いて再度復元処理を行い、前回復元さ
れた画像に対して変化が所定の閾値以下になるまで反復
する。 （効果）最大レンジを与える信号に他の色信号を合わせ
ることとエッジ強度に基づき選択することによって計算
量を少なくできるため、高速に参照画像を生成すること
ができる。この参照画像は、５×５〜１５×１５程度の
広い領域の全信号を用いて生成されるため、三板式に匹
敵する精度で欠落画素を復元することが可能となる。さ
らに、輝度信号を用いて反復的に復元処理を行うため、
より高精度な欠落画素の復元が可能となる。 構成（１１）、（１２）、（１３） 「対応する発明の実施の形態」この発明は、少なくとも
上記した第４実施形態に対応する。構成中の入力手段
は、図１４の入力部６０１を含む。構成中の抽出手段
は、図１４に示される領域抽出部６０５を含む。構成中
の近似参照画像生成手段は、図１４の分散算出部６０
９、６１０、最大分散決定部６５０、信号変形部６５
１、参照画像用バッファ６１１を含む。構造モデルとし
ては例えば、複数の色信号が同一のエッジパターンを共
有するカラーエッジモデルを用いる。また、評価関数と
しては例えば、各色信号に対してラプラシアンを施すこ
とにより得られるエッジ強度、または各色信号の濃度共
起行列から算出されるエネルギーまたはエントロピーま
たは相関または局所一様性または慣性を用いる。構成中
の平滑化手段は、図１４の平滑化処理部６１２を含む。
構成中の復元手段は、図１４の欠落画素復元部６１４、
加算平均部６１５を含む。
ある。図１１に示す入力部５０１からの画像信号をＲ信
号用バッファ５０２、Ｇ信号用バッファ５０３、Ｂ信号
用バッファ５０４にて保存する。領域抽出部５０５は所
定サイズの領域の色信号を抽出してＲ信号用ブロックバ
ッファ５０６、Ｇ信号用ブロックバッファ５０７、Ｂ信
号用ブロックバッファ５０８を介してＲ信号用最大最小
算出部５０９、Ｇ信号用最大最小算出部５１０、Ｂ信号
用最大最小算出部５１１に出力する。ここで各色信号の
最大と最小値が算出され、最大レンジ信号選択部５１２
にて最大のレンジ（＝最大値−最小値）を与える色信号
が選択され、処理切換部５１４に転送される。処理切換
部５１４にて最大レンジに基づき、線形補間部５１５ま
たは欠落画素復元部５１６が選択され、線形補間部５１
５が選択された場合は公知の線形補間により欠落画素が
復元され出力部５２３へ転送される。欠落画素復元部５
１６が選択された場合は、信号変形部５１７にて最大の
レンジを与える色信号の最大と最小値に一致するように
この他の色信号を変形し、候補画像生成部５１８にて最
大のレンジを与える色信号と変形された色信号を組み合
わせることによって複数の候補画像を生成し、参照画像
選択部５２０にて複数の候補画像からエッジ強度に基づ
き１つの参照画像を選択する。欠落画素復元部５１６は
この参照画像に基づき欠落画素を復元して収束判定部５
２１に転送する。収束判定部５２１は初回の処理の場合
は無条件に、２回目以降は前回復元された画像との差の
絶対値の２乗の総和が所定の閾値以下になるまで復元さ
れた色信号を輝度信号生成部５２２へ転送する。輝度信
号生成部５２２は復元された色信号から輝度信号を合成
し、欠落画素復元部５１６は上記輝度信号に基づき再度
復元処理を行なう。そして、収束判定部５２１において
前回の復元された画像との差の絶対値の２乗の総和が所
定の閾値以下になった場合に復元された画像を出力部５
２３へ転送する。 （作用）入力される各色信号から最大レンジを与える信
号を選択して、この色信号に合わせて他の色信号を変形
した後、これらの色信号を組み合わせて参照画像の候補
を複数生成する。これら複数の候補からエッジ強度に基
づき参照画像を選択し、この参照画像から欠落画素の情
報を復元する。さらに、復元された画像から輝度信号を
生成し、これを用いて再度復元処理を行い、前回復元さ
れた画像に対して変化が所定の閾値以下になるまで反復
する。 （効果）最大レンジを与える信号に他の色信号を合わせ
ることとエッジ強度に基づき選択することによって計算
量を少なくできるため、高速に参照画像を生成すること
ができる。この参照画像は、５×５〜１５×１５程度の
広い領域の全信号を用いて生成されるため、三板式に匹
敵する精度で欠落画素を復元することが可能となる。さ
らに、輝度信号を用いて反復的に復元処理を行うため、
より高精度な欠落画素の復元が可能となる。 構成（１１）、（１２）、（１３） 「対応する発明の実施の形態」この発明は、少なくとも
上記した第４実施形態に対応する。構成中の入力手段
は、図１４の入力部６０１を含む。構成中の抽出手段
は、図１４に示される領域抽出部６０５を含む。構成中
の近似参照画像生成手段は、図１４の分散算出部６０
９、６１０、最大分散決定部６５０、信号変形部６５
１、参照画像用バッファ６１１を含む。構造モデルとし
ては例えば、複数の色信号が同一のエッジパターンを共
有するカラーエッジモデルを用いる。また、評価関数と
しては例えば、各色信号に対してラプラシアンを施すこ
とにより得られるエッジ強度、または各色信号の濃度共
起行列から算出されるエネルギーまたはエントロピーま
たは相関または局所一様性または慣性を用いる。構成中
の平滑化手段は、図１４の平滑化処理部６１２を含む。
構成中の復元手段は、図１４の欠落画素復元部６１４、
加算平均部６１５を含む。
【０１０３】この発明の好ましい適用例は以下の通りで
ある。図１４および図１６に示す入力部６０１からの画
像信号をＲ信号用バッファ６０２、Ｇ信号用バッファ６
０３、Ｂ信号用バッファ６０４にて保存する。領域抽出
部６０５は所定サイズの領域の色信号を抽出してＲ信号
用ブロックバッファ６０６、Ｇ信号用ブロックバッファ
６０７、Ｂ信号用ブロックバッファ６０８へ転送する。
分散算出部６０９、分散算出部６１０は各々Ｒ，Ｇの色
信号の分散を算出し、最大分散決定部６５０で最大の分
散をもつ色信号を決定する。信号変形部６５１は最大の
分散に対応する色信号以外の色信号を、最大の分散を持
つ色信号のゲインとバイアスに基づいて変形する。これ
らの色信号が参照画像用バッファ６１１において積算さ
れることで近似参照画像が生成される。平滑化処理部６
１２はこの近似参照画像を色収差量に基づいて平滑化す
る。欠落画素復元部６１４は近似参照画像と平滑化され
た近似参照画像とに基づき参照画像を生成し、この参照
画像に基づき欠落画素を復元する。加算平均部６１５は
各領域ごとに復元された色信号を加算平均して出力部６
１６へ転送する。 （作用）色収差量に応じて色信号の出現頻度が調整され
た撮像装置から得られた入力信号の中から色収差量の少
ない色信号を選択して構造モデルを適用して近似参照画
像を生成し、一方、この近似参照画像を色収差量の多い
色信号の色収差量に応じて平滑化し、平滑化された近傍
参照画像に基づいて色収差量の多い色信号を変形し、上
記近似参照画像と変形された色収差量の多い画像とを合
成することで参照画像を求め、この参照画像から欠落画
素の情報を復元する。 （効果）色収差量の少ない色信号にはまず、構造モデル
を直接適用し、色収差量の多い色信号には平滑化するこ
とで構造モデルを適用する。このため最終的にはすべて
の色信号を用いて参照画像が生成されることになり、高
精度な欠落色の復元が可能になる。また、色収差のある
安価なレンズ系を用いても欠落色を復元できるので装置
全体のコストを低減することができる。
ある。図１４および図１６に示す入力部６０１からの画
像信号をＲ信号用バッファ６０２、Ｇ信号用バッファ６
０３、Ｂ信号用バッファ６０４にて保存する。領域抽出
部６０５は所定サイズの領域の色信号を抽出してＲ信号
用ブロックバッファ６０６、Ｇ信号用ブロックバッファ
６０７、Ｂ信号用ブロックバッファ６０８へ転送する。
分散算出部６０９、分散算出部６１０は各々Ｒ，Ｇの色
信号の分散を算出し、最大分散決定部６５０で最大の分
散をもつ色信号を決定する。信号変形部６５１は最大の
分散に対応する色信号以外の色信号を、最大の分散を持
つ色信号のゲインとバイアスに基づいて変形する。これ
らの色信号が参照画像用バッファ６１１において積算さ
れることで近似参照画像が生成される。平滑化処理部６
１２はこの近似参照画像を色収差量に基づいて平滑化す
る。欠落画素復元部６１４は近似参照画像と平滑化され
た近似参照画像とに基づき参照画像を生成し、この参照
画像に基づき欠落画素を復元する。加算平均部６１５は
各領域ごとに復元された色信号を加算平均して出力部６
１６へ転送する。 （作用）色収差量に応じて色信号の出現頻度が調整され
た撮像装置から得られた入力信号の中から色収差量の少
ない色信号を選択して構造モデルを適用して近似参照画
像を生成し、一方、この近似参照画像を色収差量の多い
色信号の色収差量に応じて平滑化し、平滑化された近傍
参照画像に基づいて色収差量の多い色信号を変形し、上
記近似参照画像と変形された色収差量の多い画像とを合
成することで参照画像を求め、この参照画像から欠落画
素の情報を復元する。 （効果）色収差量の少ない色信号にはまず、構造モデル
を直接適用し、色収差量の多い色信号には平滑化するこ
とで構造モデルを適用する。このため最終的にはすべて
の色信号を用いて参照画像が生成されることになり、高
精度な欠落色の復元が可能になる。また、色収差のある
安価なレンズ系を用いても欠落色を復元できるので装置
全体のコストを低減することができる。
【０１０４】
【発明の効果】請求項１に記載の発明によれば、欠落す
る色信号を高精度に復元することができるようになる。
る色信号を高精度に復元することができるようになる。
【０１０５】また、請求項２に記載の発明によれば、安
価な光学レンズ系を使用した場合でも欠落する色信号を
高精度に復元することができるようになる。
価な光学レンズ系を使用した場合でも欠落する色信号を
高精度に復元することができるようになる。
【図１】本発明の第１実施形態に係る画像信号処理装置
の機能ブロック図である。
の機能ブロック図である。
【図２】図１に示す信号変形部の具体的構成を示す図で
ある。
ある。
【図３】図１に示す入力部の具体的構成を示す図であ
る。
る。
【図４】図３に示すＣＣＤにおけるフィルタ配置の具体
的構成を示す図である。
的構成を示す図である。
【図５】図１に示す構成の作用を説明するためのフロー
チャートである。
チャートである。
【図６】参照画像を生成する方法を説明するための図で
ある。
ある。
【図７】カラーエッジモデルに基づいて欠落画素が復元
される過程を示す図である。
される過程を示す図である。
【図８】本発明の第２実施形態に係る画像信号処理装置
の機能ブロック図である。
の機能ブロック図である。
【図９】図８に示す入力部の具体的構成の一例を示す図
である。
である。
【図１０】図８に示す構成の作用を説明するためのフロ
ーチャートである。
ーチャートである。
【図１１】本発明の第３実施形態に係る画像信号処理装
置の機能ブロック図である。
置の機能ブロック図である。
【図１２】図１１に示す入力部におけるフィルタ配置の
説明図である。
説明図である。
【図１３】図１１に示す構成の作用を説明するためのフ
ローチャートである。
ローチャートである。
【図１４】本発明の第４実施形態に係る画像信号処理装
置の機能ブロック図である。
置の機能ブロック図である。
【図１５】図１４に示す信号変形部の具体的構成を示す
図である。
図である。
【図１６】第４実施形態の単板式ＣＣＤにおけるフィル
タ配置の具体的構成を示す図である。
タ配置の具体的構成を示す図である。
【図１７】図１４に示す構成の作用を説明するためのフ
ローチャートである。
ローチャートである。
【図１８】色収差の存在下においてカラーエッジモデル
を用いて欠落画素を復元する方法を説明するための図で
ある。
を用いて欠落画素を復元する方法を説明するための図で
ある。
【図１９】単板式撮像素子のフィルタ配置の一例の説明
図である。
図である。
１０１…入力部、１０２…Ｒ信号用バッファ、１０３…
Ｇ信号用バッファ、１０４…Ｂ信号用バッファ、１０５
…領域抽出部、１０６…Ｒ信号用ブロックバッファ、１
０７…Ｇ信号用ブロックバッファ、１０８…Ｂ信号用ブ
ロックバッファ、１０９、１１０、１１１…分散算出
部、１１２…参照画像用バッファ、１１３…ＲＧＢ切換
部、１１４…エッジ強度算出部、１１５…線形補間部、
１１６…欠落画素復元部、１１７…出力部、１５０…最
大分散決定部、１５１…信号変形部。
Ｇ信号用バッファ、１０４…Ｂ信号用バッファ、１０５
…領域抽出部、１０６…Ｒ信号用ブロックバッファ、１
０７…Ｇ信号用ブロックバッファ、１０８…Ｂ信号用ブ
ロックバッファ、１０９、１１０、１１１…分散算出
部、１１２…参照画像用バッファ、１１３…ＲＧＢ切換
部、１１４…エッジ強度算出部、１１５…線形補間部、
１１６…欠落画素復元部、１１７…出力部、１５０…最
大分散決定部、１５１…信号変形部。
Claims (2)
- 【請求項１】 １つの画素が有する画像信号が複数の色
信号から構成され、画素の位置に応じて少なくとも１つ
以上の色信号が欠落する画像信号を処理する画像信号処
理装置において、 上記画像信号から、指定された画素を包含する所定サイ
ズの局所領域の色信号を抽出する抽出手段と、 この抽出手段で抽出された局所領域内の各色信号ごとに
所定のパラメータを算出し、このパラメータに基づき１
つの色信号を選択する色信号選択手段と、 この色信号選択手段で選択された色信号以外の色信号に
関して、上記パラメータが選択された色信号のパラメー
タと同一となるように色信号を変形する変形手段と、 この変形手段で変形された複数の各色信号と上記色信号
選択手段によって選択された色信号とを合成して複数の
参照候補画像を生成する候補画像生成手段と、 この候補画像生成手段で生成された複数の参照候補画像
から、所定の評価関数に基づき１つの参照画像を選択す
る参照画像選択手段と、 上記参照画像選択手段で選択された参照画像に基づき、
欠落する色信号を復元する復元手段と、 を具備することを特徴とする画像信号処理装置。 - 【請求項２】 １つの画素が有する画像信号が複数の色
信号から構成され、画素の位置に応じて少なくとも１つ
以上の色信号が欠落する画像信号を入力処理する画像入
力処理装置において、 色収差を生じる光学レンズ系と、この色収差量に基づき
色信号の出現頻度が調整された撮像装置とからなる入力
手段と、 この入力手段から得られた画像信号から、指定された画
素を包含する所定サイズの局所領域の色信号を抽出する
抽出手段と、 この抽出手段で抽出された局所領域内の各色信号中で、
色収差量の少ない色信号を所定の構造モデルと評価関数
に基づき変形および合成することで近似参照画像を生成
する近似参照画像生成手段と、 この近似参照画像生成手段で生成された近似参照画像を
色収差量の多い色信号の色収差量に基づき平滑化する平
滑化手段と、 上記近似参照画像生成手段で生成された近似参照画像と
上記平滑化手段で平滑化された近似参照画像とに基づき
参照画像を生成し、欠落する色信号を復元する復元手段
と、 を具備することを特徴とする画像入力処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05856897A JP3935548B2 (ja) | 1997-02-27 | 1997-02-27 | 画像信号処理装置 |
| US09/027,590 US6343146B1 (en) | 1997-02-27 | 1998-02-24 | Image signal processor apparatus for restoring color signals at high definition by using image structural models |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05856897A JP3935548B2 (ja) | 1997-02-27 | 1997-02-27 | 画像信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10243407A true JPH10243407A (ja) | 1998-09-11 |
| JP3935548B2 JP3935548B2 (ja) | 2007-06-27 |
Family
ID=13088058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05856897A Expired - Fee Related JP3935548B2 (ja) | 1997-02-27 | 1997-02-27 | 画像信号処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6343146B1 (ja) |
| JP (1) | JP3935548B2 (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005081542A1 (ja) * | 2004-02-19 | 2005-09-01 | Mitsubishi Denki Kabushiki Kaisha | 画像処理方法 |
| US7362894B2 (en) | 2003-01-14 | 2008-04-22 | Sony Corporation | Image processing apparatus and method, recording medium, and program |
| JP2008193747A (ja) * | 2008-05-09 | 2008-08-21 | Olympus Corp | 画像処理装置及び画像処理プログラムを格納した記録媒体 |
| JP2011142689A (ja) * | 2011-04-08 | 2011-07-21 | Sony Corp | カラー撮像素子 |
| JP2011254376A (ja) * | 2010-06-03 | 2011-12-15 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
| WO2012117584A1 (ja) * | 2011-02-28 | 2012-09-07 | 富士フイルム株式会社 | カラー撮像装置 |
| WO2012120705A1 (ja) * | 2011-03-09 | 2012-09-13 | 富士フイルム株式会社 | カラー撮像素子 |
| WO2012124181A1 (ja) * | 2011-03-11 | 2012-09-20 | 富士フイルム株式会社 | 撮像装置及び撮像プログラム |
| WO2012124182A1 (ja) * | 2011-03-11 | 2012-09-20 | 富士フイルム株式会社 | 撮像装置及び撮像プログラム |
| WO2012127699A1 (ja) * | 2011-03-24 | 2012-09-27 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| WO2012127702A1 (ja) * | 2011-03-24 | 2012-09-27 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| WO2012127701A1 (ja) * | 2011-03-24 | 2012-09-27 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| WO2012127700A1 (ja) * | 2011-03-24 | 2012-09-27 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| JP2013048408A (ja) * | 2011-02-21 | 2013-03-07 | Fujifilm Corp | カラー撮像素子 |
| JP2013048409A (ja) * | 2011-02-28 | 2013-03-07 | Fujifilm Corp | カラー撮像装置 |
| WO2013065518A1 (ja) * | 2011-10-31 | 2013-05-10 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
| JP2015188240A (ja) * | 2007-06-12 | 2015-10-29 | サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．） | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7245319B1 (en) * | 1998-06-11 | 2007-07-17 | Fujifilm Corporation | Digital image shooting device with lens characteristic correction unit |
| US6542187B1 (en) * | 1998-07-09 | 2003-04-01 | Eastman Kodak Company | Correcting for chrominance interpolation artifacts |
| US7123299B1 (en) * | 1999-04-15 | 2006-10-17 | Olympus Optical Co., Ltd. | Color image pickup device and color image pickup apparatus including a randomized color coding array |
| US6600833B1 (en) * | 1999-07-23 | 2003-07-29 | Intel Corporation | Methodology for color correction with noise regulation |
| JP3501031B2 (ja) * | 1999-08-24 | 2004-02-23 | 日本電気株式会社 | 画像領域判定装置、画像領域判定方法及びそのプログラムを記憶した記憶媒体 |
| US6882446B1 (en) * | 1999-09-21 | 2005-04-19 | Minolta Co., Ltd. | Data communication apparatus |
| US6449389B1 (en) * | 1999-09-24 | 2002-09-10 | Xerox Corporation | Method and apparatus for single channel color image segmentation using local context based adaptive weighting |
| US6466618B1 (en) * | 1999-11-19 | 2002-10-15 | Sharp Laboratories Of America, Inc. | Resolution improvement for multiple images |
| US6690828B2 (en) * | 2001-04-09 | 2004-02-10 | Gary Elliott Meyers | Method for representing and comparing digital images |
| JP2003061105A (ja) * | 2001-06-07 | 2003-02-28 | Seiko Epson Corp | 画像処理方法、画像処理プログラム、画像処理装置およびそれを用いたディジタルスチルカメラ |
| US6970608B1 (en) * | 2001-12-30 | 2005-11-29 | Cognex Technology And Investment Corporation | Method for obtaining high-resolution performance from a single-chip color image sensor |
| JP4236864B2 (ja) * | 2002-05-08 | 2009-03-11 | Ｎｅｃエレクトロニクス株式会社 | カラーイメージセンサ |
| JP2003348429A (ja) * | 2002-05-27 | 2003-12-05 | Nikon Corp | 電子カメラ、および画像処理プログラム |
| US7020328B2 (en) * | 2002-09-04 | 2006-03-28 | Eastman Kodak Company | Electronic color dropout utilizing spatial context to enhance accuracy |
| US7139035B2 (en) * | 2002-12-30 | 2006-11-21 | Texas Instruments Incorporated | Video noise floor estimator with impulse noise detection |
| US20040234104A1 (en) * | 2003-05-19 | 2004-11-25 | Quen-Zong Wu | Method of automatic container number recognition by color discrimination and reorganization |
| US20040234105A1 (en) * | 2003-05-19 | 2004-11-25 | Quen-Zong Wu | Method of automatic vehicle licence plate recognition by color discrimination and reorganization |
| US7221793B2 (en) * | 2003-05-27 | 2007-05-22 | Hewlett-Packard Development Company, L.P. | Systems and methods for providing spatially-varied demosaicing |
| JP4573769B2 (ja) * | 2005-12-20 | 2010-11-04 | 富士通セミコンダクター株式会社 | 画像処理回路および画像処理方法 |
| US8184905B2 (en) * | 2005-12-29 | 2012-05-22 | Mtekvision Co., Ltd. | Apparatus for color interpolation using adjustable threshold |
| JP4763525B2 (ja) * | 2006-06-21 | 2011-08-31 | 日本電信電話株式会社 | 映像整合方法 |
| US7907791B2 (en) * | 2006-11-27 | 2011-03-15 | Tessera International, Inc. | Processing of mosaic images |
| KR100866490B1 (ko) * | 2007-01-17 | 2008-11-03 | 삼성전자주식회사 | 영상의 색 수차를 보정하기 위한 장치 및 방법 |
| JP4407749B2 (ja) * | 2007-12-26 | 2010-02-03 | ソニー株式会社 | 画像処理回路、撮像装置、方法およびプログラム |
| US9812096B2 (en) | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
| US8111918B2 (en) * | 2008-10-20 | 2012-02-07 | Xerox Corporation | Segmentation for three-layer mixed raster content images |
| CN102106150A (zh) * | 2009-02-05 | 2011-06-22 | 松下电器产业株式会社 | 摄像处理装置 |
| JP5283667B2 (ja) * | 2010-07-07 | 2013-09-04 | パナソニック株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US8457393B2 (en) * | 2010-07-14 | 2013-06-04 | Omnivision Technologies, Inc. | Cross-color image processing systems and methods for sharpness enhancement |
| JP5927068B2 (ja) | 2012-07-06 | 2016-05-25 | 富士フイルム株式会社 | カラー撮像素子 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5032910A (en) * | 1989-10-02 | 1991-07-16 | Eastman Kodak Company | Mechanism for producing interpolated color values for a sampled color image signal using a linear equation technique |
| JP2815497B2 (ja) | 1991-08-26 | 1998-10-27 | 三菱電機株式会社 | カラービデオカメラ |
-
1997
- 1997-02-27 JP JP05856897A patent/JP3935548B2/ja not_active Expired - Fee Related
-
1998
- 1998-02-24 US US09/027,590 patent/US6343146B1/en not_active Expired - Fee Related
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7362894B2 (en) | 2003-01-14 | 2008-04-22 | Sony Corporation | Image processing apparatus and method, recording medium, and program |
| WO2005081542A1 (ja) * | 2004-02-19 | 2005-09-01 | Mitsubishi Denki Kabushiki Kaisha | 画像処理方法 |
| JPWO2005081542A1 (ja) * | 2004-02-19 | 2007-08-30 | 三菱電機株式会社 | 画像処理方法 |
| JP4668185B2 (ja) * | 2004-02-19 | 2011-04-13 | 三菱電機株式会社 | 画像処理方法 |
| US7970231B2 (en) | 2004-02-19 | 2011-06-28 | Mitsubishi Denki Kabushiki Kaisha | Image processing method |
| JP2015188240A (ja) * | 2007-06-12 | 2015-10-29 | サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．） | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
| JP2008193747A (ja) * | 2008-05-09 | 2008-08-21 | Olympus Corp | 画像処理装置及び画像処理プログラムを格納した記録媒体 |
| JP4545206B2 (ja) * | 2008-05-09 | 2010-09-15 | オリンパス株式会社 | 画像処理装置及び画像処理プログラムを格納した記録媒体 |
| JP2011254376A (ja) * | 2010-06-03 | 2011-12-15 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
| JP2013048408A (ja) * | 2011-02-21 | 2013-03-07 | Fujifilm Corp | カラー撮像素子 |
| US8878970B2 (en) | 2011-02-28 | 2014-11-04 | Fujifilm Corporation | Color imaging apparatus having color imaging element |
| US9288454B2 (en) | 2011-02-28 | 2016-03-15 | Fujifilm Corporation | Color imaging apparatus having color imaging element |
| WO2012117584A1 (ja) * | 2011-02-28 | 2012-09-07 | 富士フイルム株式会社 | カラー撮像装置 |
| JP2013048409A (ja) * | 2011-02-28 | 2013-03-07 | Fujifilm Corp | カラー撮像装置 |
| JP5054858B1 (ja) * | 2011-02-28 | 2012-10-24 | 富士フイルム株式会社 | カラー撮像装置 |
| JP2013048410A (ja) * | 2011-02-28 | 2013-03-07 | Fujifilm Corp | カラー撮像装置 |
| WO2012120705A1 (ja) * | 2011-03-09 | 2012-09-13 | 富士フイルム株式会社 | カラー撮像素子 |
| RU2548567C1 (ru) * | 2011-03-09 | 2015-04-20 | Фуджифилм Корпорэйшн | Элемент формирования цветных изображений |
| JP2013048428A (ja) * | 2011-03-09 | 2013-03-07 | Fujifilm Corp | カラー撮像素子 |
| JP5095040B1 (ja) * | 2011-03-09 | 2012-12-12 | 富士フイルム株式会社 | カラー撮像素子 |
| US9313466B2 (en) | 2011-03-09 | 2016-04-12 | Fujifilm Corporation | Color imaging element |
| WO2012124181A1 (ja) * | 2011-03-11 | 2012-09-20 | 富士フイルム株式会社 | 撮像装置及び撮像プログラム |
| US8723993B2 (en) | 2011-03-11 | 2014-05-13 | Fujifilm Corporation | Imaging device and storage medium storing an imaging program |
| WO2012124182A1 (ja) * | 2011-03-11 | 2012-09-20 | 富士フイルム株式会社 | 撮像装置及び撮像プログラム |
| US8928785B2 (en) | 2011-03-11 | 2015-01-06 | Fujifilm Corporation | Imaging device and storage medium storing an imaging program |
| JP5524406B2 (ja) * | 2011-03-11 | 2014-06-18 | 富士フイルム株式会社 | 撮像装置及び撮像プログラム |
| JP5474258B2 (ja) * | 2011-03-11 | 2014-04-16 | 富士フイルム株式会社 | 撮像装置及び撮像プログラム |
| JP5547338B2 (ja) * | 2011-03-24 | 2014-07-09 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| US8842214B2 (en) | 2011-03-24 | 2014-09-23 | Fujifilm Corporation | Color imaging element, imaging device, and storage medium storing an imaging program |
| US8723991B2 (en) | 2011-03-24 | 2014-05-13 | Fujifilm Corporation | Color imaging element, imaging device, and storage medium storing an imaging program |
| CN103460704A (zh) * | 2011-03-24 | 2013-12-18 | 富士胶片株式会社 | 彩色摄像元件、摄像装置及摄像程序 |
| JP5539583B2 (ja) * | 2011-03-24 | 2014-07-02 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| JP5539585B2 (ja) * | 2011-03-24 | 2014-07-02 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| JP5539584B2 (ja) * | 2011-03-24 | 2014-07-02 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| WO2012127700A1 (ja) * | 2011-03-24 | 2012-09-27 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| US8804016B2 (en) | 2011-03-24 | 2014-08-12 | Fujifilm Corporation | Color imaging element, imaging device, and storage medium storing an imaging program |
| US8723992B2 (en) | 2011-03-24 | 2014-05-13 | Fujifilm Corporation | Color imaging element, imaging device, and storage medium storing an imaging program |
| WO2012127699A1 (ja) * | 2011-03-24 | 2012-09-27 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| WO2012127701A1 (ja) * | 2011-03-24 | 2012-09-27 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| CN103444183A (zh) * | 2011-03-24 | 2013-12-11 | 富士胶片株式会社 | 彩色摄像元件、摄像装置及摄像程序 |
| CN103444183B (zh) * | 2011-03-24 | 2015-01-28 | 富士胶片株式会社 | 彩色摄像元件及摄像装置 |
| WO2012127702A1 (ja) * | 2011-03-24 | 2012-09-27 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
| JP2011142689A (ja) * | 2011-04-08 | 2011-07-21 | Sony Corp | カラー撮像素子 |
| US8982236B2 (en) | 2011-10-31 | 2015-03-17 | Fujifilm Corporation | Imaging apparatus |
| JP5603506B2 (ja) * | 2011-10-31 | 2014-10-08 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
| WO2013065518A1 (ja) * | 2011-10-31 | 2013-05-10 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3935548B2 (ja) | 2007-06-27 |
| US6343146B1 (en) | 2002-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH10243407A (ja) | 画像信号処理装置及び画像入力処理装置 | |
| EP1357760B1 (en) | Image processing device and method | |
| EP1351521B1 (en) | Imaging device | |
| JP3328934B2 (ja) | 像を融合する方法およびその装置 | |
| JP4385282B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2002209223A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP2000023174A (ja) | 画像処理装置及び画像処理方法 | |
| JP4556102B2 (ja) | 画像処理装置および画像処理方法、並びに、プログラム | |
| JP5131567B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| EP1372335B1 (en) | Processing method for obtaining a high-resolution digital image | |
| JP3711402B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
| JP2002064832A (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JPH0856335A (ja) | ディジタル画像信号の変換装置 | |
| JPH10200902A (ja) | 画像処理装置 | |
| JPH0746622A (ja) | 画像高精細化方法 | |
| JP2000235620A (ja) | 文字認識装置 | |
| JPH11308525A (ja) | 静止画像処理装置 | |
| JP2002281288A (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070320 |
|
| LAPS | Cancellation because of no payment of annual fees |