JP3787927B2 - 撮像装置及びカラー画像信号の処理方法 - Google Patents
撮像装置及びカラー画像信号の処理方法 Download PDFInfo
- Publication number
- JP3787927B2 JP3787927B2 JP30678896A JP30678896A JP3787927B2 JP 3787927 B2 JP3787927 B2 JP 3787927B2 JP 30678896 A JP30678896 A JP 30678896A JP 30678896 A JP30678896 A JP 30678896A JP 3787927 B2 JP3787927 B2 JP 3787927B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- degree
- interpolation
- interpolation processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 97
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 35
- 239000003086 colorant Substances 0.000 claims description 17
- 239000006185 dispersion Substances 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 description 112
- 230000015654 memory Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 16
- 239000000203 mixture Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 230000002596 correlated effect Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、画素間の補間処理を行って高解像度を得る撮像装置及びカラー画像信号の処理方法に関する。
【0002】
【従来の技術】
近年、高解像カラー画像は、パーソナル・コンピュータの入力画像として適しており、いわゆるマルチメディアの浸透によってますます安価な高解像度カラーカメラが求められている。
【0003】
【発明が解決しようとする課題】
ところで、単板式カメラは、3板式カメラに比べて安価であり、色ずれ補正や固着が不要であって、さらに撮像速度が速く電子シャッタが可能である。しかし、単板式カメラは、色解像度が低く、図25に示すように、折り返し歪の影響を軽減するために光学ローパスフィルタ等を用いても解像度を高めることが困難であった。
【0004】
また、通常のカメラは、いわゆるフィルムカメラに比べてダイナミックレンジが不足し、画像に白潰れあるいは黒潰れ部分が目立ってしまうという問題が生じた。これに対して、複数のフレームメモリを用いて、シャッタ時間の異なる2枚のCCD(Charge Coupled Devise)イメージセンサが出力するフレーム画像から合成画像信号を生成して、高ダイナミックレンジを得る2板式カメラが提案されている。しかし、2板式カメラは、複数のフレームメモリを用いるために電子シャッタ機能を設けることができず、高速シャッタ機能を発揮することができなかった。
【0005】
高解像度の画像を得る方法として、バイモルフ駆動のCCDイメージセンサ等による光路シフトのウォーブリング手法によって複数のフレームからフルカラー高解像度を得るものがある。この手法は、単板式及び2板式に用いることができるが、撮像速度の低下,電子シャッタの使用が不可能等の欠点があり、用途が限定されてしまった。
【0006】
また、カラー解像度を向上させるカメラとして、3枚のCCDイメージセンサを有する3板式カメラがある。3板式カメラは、CCDイメージセンサが1枚の単板式カメラに比べて高価であり、とりわけ130万画素以上のCCDイメージセンサを用いると非常に高価になってしまう。
【0007】
本発明は、このような問題点に鑑みてなされたものであり、電子シャッタ等の諸機能を犠牲にすることなく、安価でかつ高解像度を得ることができる撮像装置及びカラー画像信号の処理方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る撮像装置は、3原色にそれぞれ対応して市松模様状に配列された画素の色信号をそれぞれ出力する撮像部と、上記撮像部が出力した各色信号のうち赤色信号と緑色信号を取り込んで記憶する記憶手段と、上記記憶手段に取り込んだ赤色信号と緑色信号に対応する画素によって囲まれる青色信号に対応する画素を輝度信号の補間箇所とし、前記補間箇所を挟んで位置する各画素の相関度の大きい方向に位置する画素の各色信号に基づいて、上記補間箇所の画素の輝度信号を補間することにより補間処理済みの輝度信号を生成する補間処理手段と、補間済みの輝度信号、赤色信号、及び、緑色信号の低域成分を除去して高域輝度信号を生成するハイパスフィルタと、上記高域輝度信号と上記撮像部で生成された3原色の各色信号とを合成する合成手段とを備えることを特徴とする。
【0009】
したがって、上記撮像装置は、撮像部で生成された3原色の色信号に基づいて高域輝度信号を生成するとともに、上記3原色の色信号のそれぞれに上記高域輝度信号を合成することによって、解像度の良好な画像を得ることができる。
【0010】
本発明に係るカラー画像信号の処理方法は、3原色にそれぞれ対応して市松模様状に配列された画素の各色信号のうち赤色信号及び緑色信号を輝度信号として取り扱い、青色信号に対応する画素を輝度信号の補間箇所とし、この補間箇所を中心としてそれぞれ対をなす画素間の相関度を算出し、算出された相関度の大きい対をなす画素の各色信号に基づいて輝度信号の補間処理を行い、上記補間処理済みの輝度信号、赤色信号、及び、緑色信号の低域成分を除去して高域輝度信号を生成し、上記3原色の各色信号にそれぞれ上記高域輝度信号を合成することを特徴とする。
【0011】
したがって、上記カラー画像信号の処理方法は、撮像部で生成された3原色の色信号に基づいて高域輝度信号を生成するとともに、上記3原色の色信号のそれぞれに上記高域輝度信号を合成することによって、解像度の良好な画像を得ることができる。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0013】
第1の実施の形態に係る撮像装置は、単板式であって、例えば1枚のCCD(Charge Coupled Device )イメージセンサから得られる各色信号に対して画素間の適応補間により生成された高域輝度成分を合成することによって、高解像度化を図るものである。
【0014】
第1の実施の形態に係る撮像装置10は、例えば図1に示すように、CCDドライバ12により駆動される1枚のCCDイメージセンサ11と、相関二重サンプリング/自動利得制御(CDS/AGC:Correlated Double sampling/Automatic Gain Control )回路13と、A/Dコンバータ14と、ディジタルシグナルプロセッサ(DSP:Digital Signal Processor)15と、ローパスフィルタ(LPF)17と、バッファメモリ18と、適応補間処理回路19と、ハイパスフィルタ(HPF)20と、バッファメモリ21と、加算回路22と、ビデオエンコーダ23とを備える。
【0015】
CCDイメージセンサ11は、例えば全画素同時読出しのものであって、図2に示すように、赤(R),緑(G),青(B)の各画素が市松模様状の配列で構成される。CCDイメージセンサ11は、被写体からの入射光を受光すると、この入射光に応じて色信号R,G,Bを生成してCDS/AGC回路13に供給する。
【0016】
CDS/AGC回路13は、各色信号のプリチャージレベルとデータレベルをサンプルホールドし、その差分を検出して正確な信号レベルを検出することによりランダム雑音を除去し、さらに、各色信号の強弱に応じてCDS/AGC回路自体の利得を自動的に制御して常に信号レベルの安定した撮像信号を出力している。
【0017】
A/Dコンバータ14は、サンプリングパルスに基づいて駆動するようになっていて、CDS/AGC回路13からの各色信号をディジタル信号に変換してDSP15に供給する。
【0018】
DSP15は、ガンマ補正,ニー処理等のいわゆるディジタル信号処理を各色データに施して、得られた3原色の各色信号をLPF17及び適応補間処理回路19に供給する。
【0019】
LPF17は、各色信号R,G,Bの高帯域成分をカットして、低域成分の色データRL,GL,BLをバッファメモリ18を介して加算回路22に供給する。
【0020】
一方、適応補間処理回路19は、色信号R,Gから局所画素相関度を計算し、その相関度が最大になる画素で補間を行って高解像度の輝度信号を得る。
【0021】
ここで、適応補間処理回路19は、DSP15でホワイトバランス調整の施された各色信号R,G,Bが供給され、図3に示すように、内部メモリ19a上に赤色信号と緑色信号の各画素に対応するデータとして取り込まれる。ホワイトバランス調整後において色信号Rと色信号Gのレベルは同じに調整されているので、色信号R,Gが有する輝度信号Yの情報に着目すると、図3の点線で囲った3×3の近傍では、図4に示すように輝度信号Y1〜Y9が配列されているとみなすことができる。
【0022】
相関度Sは、ある方向の画素列Ynに対して以下のように定義される。
【0023】
S=min(Yn)/max(Yn)
なお、S≦1であるので、S=1のとき相関が最大となる。
【0024】
縦,横,斜めの各方向の相関度を計算した後、相関度が最大となる方向で補間を行えば、それに直交する方向にLPF処理を施すことにはならないので、直交方向の解像度は劣化しない。換言すると、相関に応じて適応的に補間することで解像度の向上を図ることができる。
【0025】
かかる補間処理を行うために、適応補間処理回路19は、具体的には図5に示すステップS1以下の処理を行う。
【0026】
ステップS1において、適応補間処理回路19は、色信号R,Gのみを内部メモリ19aに取り込んで、図3に示すRG画像を得て、ステップS2に進む。
【0027】
ステップS2において、ポインタを最初の画像補間点に設定して、ステップS3に進む。
【0028】
ステップS3において、適応補間処理回路19は、縦方向の相関度aを計算する。ここで、縦方向の相関度aは、具体的には以下の式によって算出される。
【0029】
適応補間処理回路19は、算出されたaを変数Xに代入して、この変数XにフラグAを立てて、ステップS4に進む。
【0030】
ステップS4において、適応補間処理回路19は、横方向の相関度bを以下の式に基づいて計算して、ステップS5に進む。
【0031】
ステップS5において、適応補間処理回路19は、縦方向と横方向の相関度を比較すべく、Xの値が相関度bより大きいかを判定し、Xが大きいときはステップS7に進み、Xが大きくないときはステップS6に進む。
【0032】
ステップS6において、適応補間処理回路19は、変数Xに相関度bを代入して、フラグBを立てて、ステップS7に進む。
【0033】
ステップS7において、適応補間処理回路19は、左上右下斜め方向の相関度cを以下の式により計算して、ステップS8に進む。
【0034】
c=min(Yn)/max(Yn)
min(Yn)=min(Y2,Y6)・min(Y4,Y8)
max(Yn)=max(Y2,Y6)・max(Y4,Y8)
ステップS8において、適応補間処理回路19は、変数Xがcより大きいかを判定し、cより大きいときは図6に示すステップS10に進み、cより大きくないときはステップS9に進む。
【0035】
ステップS9において、適応補間処理回路19は、変数Xに相関度cの値を代入して、フラグCを立てて、図6に示すステップS10に進む。
【0036】
ステップS10において、適応補間処理回路19は、左下右上斜め方向の相関度dを以下の式によって算出して、ステップS11に進む。
【0037】
d=min(Yn)/max(Yn)
min(Yn)=min(Y2,Y4)・min(Y6,Y8)
max(Yn)=max(Y2,Y4)・max(Y6,Y8)
ステップS11において、適応補間処理回路19は、変数Xより相関度dが大きいかを判定し、Xが大きいときはステップS13に進み、Xが大きくないときはステップS12に進む。
【0038】
ステップS12において、適応補間処理回路19は、変数Xに相関度dを代入し、フラグDを立てて、ステップS13に進む。
【0039】
ステップS13において、適応補間処理回路19は、変数Xに立てていたフラグがAであるかを判定し、フラグがAであるときは縦方向の補間を行い(ステップS14)、フラグがAでないときはステップS15に進む。ステップS14では、適応補間処理回路19は、例えば(Y2+Y8)/2のように、Y5に対する縦方向の輝度信号Yの平均を算出して、縦方向の補間処理を行う。
【0040】
ステップS15において、適応補間処理回路19は、フラグがBであるかを判定し、フラグがBであるときは横方向の補間を行い(ステップS16)、フラグがBでないときはステップS17に進む。ステップS16では、適応補間処理回路19は、例えば(Y4+Y6)/2のように、Y5に対する横方向の輝度信号Yの平均を算出して、横方向の補間処理を行う。
【0041】
ステップS17において、適応補間処理回路19は、フラグがCであるかを判定し、フラグがCであるときは左上右下斜め方向の補間を行い(ステップS18)、フラグがCでないときはステップS19に進む。ステップS18では、適応補間処理回路19は、例えば(Y1+Y9)/2のように、Y5に対する左上右下斜め方向の輝度信号Yの平均を算出して、斜め方向の補間処理を行う。
【0042】
ステップS19において、適応補間処理回路19は、フラグがDであるかを判定し、フラグがDであるときは左下右上斜め方向の補間を行い(ステップS20)、フラグがDでないときはステップS21に進む。ステップS20では、適応補間処理回路19は、例えば(Y3+Y7)/2のように、Y5に対する左下右上斜め方向の輝度信号Yの平均を算出して、斜め方向の補間処理を行う。
【0043】
ステップS21において、適応補間処理回路19は、ポインタを次の画像補間点に設定して、ステップS22に進む。
【0044】
ステップS22において、適応補間処理回路19は、ポインタが最後の画像補間点に設定されたかを判定して、ポインタが最後の画像補間点に設定されたときは補間処理を終了し、最後の画像補間点に設定されていないと判定したときは上述のステップS3に戻って、ステップS3以下の画像補間処理を実行する。
【0045】
以上のように、適応補間処理回路19は、適応補間処理を次式
Y5=aY1+bY2+cY3+dY4+eY6+fY7+gY8+hY9
によって表すことができ、周辺画素の相関度を求めてからa〜hを設定することにより、最適な適応補間処理を行うことができる。なお、相関度の代わりに画素間の類似度で計算してもよい。
【0046】
ここで、ステップS18及びステップS20では、具体的には図7のステップS31以下のサブルーチン処理を行っている。
【0047】
ステップS31において、適応補間処理回路19は、ポインタの近傍Rの分散度σを計算する。
【0048】
同じ色の分散度σは、局所近傍空間内において平均値からの偏差のばらつきを示すものである。例えば分散度σが小さければ、その色での相関はどの方向でも同じであることであり、適応補間の効果がなくなる。すなわち、σRが小さければRを除いたGで縦と横のみの適応補間を行うようにすれば十分である。
【0049】
ここで、分散度σを以下のように定義すると、
σ色=min(色全画素)/max(色全画素)
図8の場合は
σR=min(R1,R2,R3,R4)/max(R1,R2,R3,R4)
となる。
【0050】
ステップS32において、適応補間処理回路19は、分散度σが所定値より大きいかを判定し、大きいときはステップS33に進み、大きくないときはステップS34に進む。
【0051】
ステップS33において、適応補間処理回路19は、斜め方向の補間処理を行う。ここで、ステップS18からの処理を行っているときは左上右下斜め方向の補間処理を行い、ステップS20からの処理を行っているときは左下右上斜め方向の補間処理を行って、サブルーチン処理を終了する。
【0052】
一方、ステップS32で分散度σが大きくないと判定したときのステップS34において、適応補間処理回路19は、上述したステップS3で算出した縦方向の相関度aとステップS4で算出した横方向の相関度bのうち、相関度の大きい方向において補間処理を行って、サブルーチン処理を終了する。
【0053】
すなわち、適応補間処理回路19は、分散度σが大きいときは斜め方向の補間処理を行い、分散度σが小さいときはその色(R)での相関はどの方向もほとんど同じであって適応補間処理の効果がそれほど大きくないので、Rを除いて一般画像の中で最も頻度の高いGのみで縦方向又は横方向の適応補間を行うようになっている。換言すると、分散度σが小さいときは、カラー画像のR及びGのレベルの違いによる適応補間処理のわずかなずれを回避すべく、最も頻度が高くレベルの高いGのみで補間処理を行うことにより、より高解像な画像を得ることができる。
【0054】
以上の処理により輝度信号Yが補間されると、適応補間処理回路19は、図9に示す輝度信号Y及び色信号R,GをHPF20に供給する。
【0055】
HPF20は、適応補間処理回路19で得られた輝度信号から低帯域成分をカットすることにより、図10に示すように、高域成分の輝度信号YHを生成して、この高域輝度信号YHをバッファメモリ21を介して加算回路22に供給する。
【0056】
加算回路22は、低帯域成分の各色信号RL,GL,BLに対して高帯域成分の輝度信号YHをそれぞれ合成することによって、高解像度の色信号R,G,Bを出力する。また、ビデオエンコーダ23は、加算回路22で生成された高解像度の色信号R,G,Bを例えばNTSC(National Television System Committee)方式のビデオ信号にエンコードして、外部に設けられた図示しないモニタ装置にビデオ信号を供給するようになっている。
【0057】
以上のように、本実施の形態に係る撮像装置10では、カラーフィルタの配列からRG画素で適応補間処理を施すことにより、縦横のみならず斜め方向も含む全方向の解像度を向上することができる。また、単板式であるために安価でコンパクトであるにも拘らず、画素ずらし機構等を用いることなく3板式相当の高解像度を得ることができる。また、上記撮像装置10は、画素ずらし機構等を用いることなく高解像度を得ることができるので、電子シャッタ機能も使用することができる。撮像装置10は、全画素同時読出し式のCCDイメージセンサ11を用いているので、パーソナルコンピュータのモニタ装置等に最適なノンインターレス画像を得ることができる。
【0058】
つぎに、本発明の第2の実施の形態について説明する。なお、上述の実施の形態と同じ回路等については同じ符号を付けて詳細な説明は省略し、以下、他の実施の形態においても同様に説明する。
【0059】
第2の実施の形態に係る撮像装置30は、図11に示すように、撮像部30Aとコンピュータ部30Bとで構成され、撮像部30Aで得られた色信号R,G,Bの適応補間処理をコンピュータ部30Bのソフト処理で行うことによって、フレキシブル(多種類・多機能)に高解像度の画像の取込を行うことができるものである。
【0060】
撮像部30Aは、例えば図11に示すように、CCDイメージセンサ11と、CCDイメージセンサ11を駆動するCCDドライバ12と、CCDイメージセンサ11からの各色信号に相関二重サンプリング処理及び利得制御を施すCDS/AGC回路13と、CDS/AGC回路13から各色信号をディジタル化するA/Dコンバータ14と、A/Dコンバータ14からのディジタル化された各色信号にディジタル信号処理を施すDSP15と、DSP15からの各色信号を所定のビデオ信号に変換するビデオエンコーダ23とを備える。これらの回路は、第1の実施の形態と同様の機能を有する。
【0061】
また、撮像部30Aは、DSP15からの各色信号に簡易な補間処理を施す簡易補間回路31と、DSP15からの各色信号をコンピュータ部30Bに送信するために所定の信号変換処理を施すパーソナルコンピュータインターフェース(以下、パソコンI/Fという)32とを備え、画素間が補間された各色信号を出力し、また、双方向バス33を介してコンピュータ部30Bに各色信号を送信したり、コンピュータ部30Bからの制御信号を受信することができるようになっている。
【0062】
一方、コンピュータ部30Bは、例えばパーソナルコンピュータに用いて好適なものであり双方向バス33を介して各色信号が送信されるパソコンI/F34と、所定のプログラム等を保存するハード・ディスク・ドライブ(HDD:Hard Disk Drive)メモリ35と、パソコンI/F34からの各色信号の高域成分をカットするLPF17と、LPF17からの各色信号を記憶するバッファメモリ18と、パソコンI/F34からの各色信号に適応補間処理を施す適応補間処理回路19と、適応補間処理回路19からの各色信号の低域成分をカットするHPF20と、HPF20からの輝度信号YHを記憶するバッファメモリ21と、バッファメモリ18,21からの信号を加算する加算回路22と、加算回路22からの各色信号をモニタ50に出力するためのアクセラレータ36とを備える。
【0063】
以上のように構成された撮像装置30において、CCDイメージセンサ11は、色信号R,G,Bを生成し、CDS/AGC回路13,A/Dコンバータ14を介してDSP15に供給する。DSP15は、ビデオエンコーダ23を介して所定のビデオ信号に変換して輝度信号Y/クロマ信号Cを出力し、また、簡易補間回路31を介して簡易補間を施して各色信号を出力したり、パソコンI/F32を介して各色信号をコンピュータ部30Bに送信するようになっている。
【0064】
コンピュータ部30Bにおいて、パソコンI/F34は、適応補間処理回路19及びLPF17に各色信号を供給する。LPF17は、各色信号の高域成分を除去した後、各色信号をバッファメモリ18を介して加算回路22に供給する。
【0065】
適応補間処理回路19は、上述したステップS1〜ステップS22及びステップS31〜ステップS34の処理を行うことにより適応補間を施し、図9に示す輝度信号Y及び各色信号R,G,BをHPF20に供給する。HPF20は、輝度信号Y及び各色信号の低域成分をカットすることにより得られる高域の輝度信号YHをバッファメモリ21を介して加算回路22に供給する。
【0066】
加算回路22は、バッファメモリ18からの各色信号RL,GL,BLに高域輝度信号Yを加算して生成された高解像度の色信号R,G,Bを、アクセラレータ36を介してモニタ50に供給する。
【0067】
以上のように、第2の実施の形態に係る撮像装置30は、適応補間処理をパーソナルコンピュータ内のソフトウェア処理で行うことにより、撮像部30Aの小型化・軽量化を図るとともに、上記ソフトウェアが例えばバージョンアップしても撮像部30Aを代えることなくフレキシブルに補間処理を行うことができる。また、カラーフィルタの配列からRG画素で適応補間処理を施すことにより、縦横のみならず斜め方向も含む全方向の解像度を向上することができる。また、上記撮像装置30は、単板式であるために安価でコンパクトであるにも拘らず、画素ずらし機構等を用いることなく高解像度を得ることができ、電子シャッタ機能も使用することができる。また、撮像装置30は、全画素同時読出し式のCCDイメージセンサ11を用いているので、パーソナルコンピュータのモニタ装置等に最適なノンインターレス画像を得ることができる。
【0068】
つぎに、本発明の第3の実施の形態について説明する。
【0069】
第3の実施の形態に係る撮像装置60は、静止画カメラに好適なものであり、図12に示すように、カメラヘッドユニット(CHU:Camera Head Unit)に用いて好適な撮像部60A内の回路を撮像する瞬間だけ稼働し、コンピュータ部60Bから撮像要求がないときには待機モードになって省電力化を図るものである。
【0070】
具体的には、撮像部60Aは、例えば図12に示すように、CCDイメージセンサ11と、CCDイメージセンサ11からの各色信号に相関二重サンプリング処理を施すCDS回路13aと、CDS回路13aからの各色信号の利得を制御するAGC回路13bと、AGC回路13bからの各色信号の高域成分を除去するLPF61と、LPF61からの各色信号をディジタル化するA/Dコンバータ14と、A/Dコンバータ14からの各色信号に所定の信号変換を施すパソコンI/F32と、CCDイメージセンサ11を駆動するための読出しパルス等を生成するタイミングジェネレータ62と、アイリス制御回路63と、アイリス制御回路63に基づいてアイリスの調整等を行うレンズブロック64とを備える。
【0071】
CCDイメージセンサ11は、タイミングジェネレータ62からの掃き出しパルス及び読出しパルスに基づいて有効電荷蓄積期間(電子シャッタ期間)が制御される。また、静止画撮像のために単発撮像(電子シャッタ期間を1フレーム又は数フレーム期間に設定して各色信号のみをパソコンへ転送すること)を行えば十分なので、タイミングジェネレータ62がCCDイメージセンサ11に供給するクロックは低周波数になっている。
【0072】
パソコンI/F32は、コンピュータ部60Bからの撮像モードの要求に基づいて全回路の機能をオンにしたり、待機モードの要求に基づいてパソコンI/F32以外の回路の機能をオフにする。従って、撮像部60Aは、待機モードのときに電力の消費を抑制して、省電力化を図ることができる。
【0073】
また、コンピュータ部60Bは、パソコンI/F34と、所定のプログラム等を保存するHDDメモリ35と、パソコンI/F34からの各色信号に所定の信号処理を施す信号処理回路65と、信号処理回路65からの各色信号の高域成分をカットするLPF17と、LPF17からの各色信号を記憶するバッファメモリ18と、パソコンI/F34からの各色信号に適応補間処理を施す適応補間処理回路19と、適応補間処理回路19からの各色信号の低域成分をカットするHPF20と、HPF20からの各色信号を記憶するバッファメモリ21と、バッファメモリ18,21からの信号を加算する加算回路22と、加算回路22からの各色信号をモニタ50に出力するためのアクセラレータ36と、撮像部60Aに電源を供給するための電源回路66とを備える。
【0074】
撮像部60Aのモードの切換制御は、コンピュータ部60Bのカメラ制御用ソフトが稼働している状態において、キーボード入力等に基づいて行われる。すなわち、撮像部60Aの有する電子シャッタ制御,アイリス制御,待機モードの制御はコンピュータ部60Bによって行われ、また、撮像部60Aからの各色信号に対する適応補間処理やディジタル信号処理もコンピュータ部60B内の適応補間処理回路19及び信号処理回路65で行われるようになっている。
【0075】
以上のように構成された撮像装置60において、コンピュータ部60Bの制御に基づいて待機モードに設定されているときは、撮像部60Aは、電源回路66から電源が供給されずパソコンI/F32を除いた全回路の機能が停止する。
【0076】
そして、撮像部60Aは、電源回路66から電源が供給されて撮像モードに設定されると全回路が機能するようになる。このとき、例えばコンピュータ部60Bは、キーボード等の操作手段の操作設定に基づいて、パソコンI/F32,アイリス制御回路63を介してアイリスを調整することができる。
【0077】
また、コンピュータ部60Bが撮像部60Aに撮像要求すると、CCDイメージセンサ11は、1フレーム又は数フレーム期間の電子シャッタ期間に得られた各色信号をCDS回路13a,AGC回路13b等を介してパソコンI/F32に供給する。パソコンI/F32は、各色信号に所定の信号変換処理を行って双方向バス33を介してパソコンI/F34に供給する。
【0078】
コンピュータ部60Bにおいて、信号処理回路65は、パソコンI/F34からの各色信号にディジタル信号処理を施して、この各色信号をLPF17等を介して加算回路22に供給するとともに、適応補間処理回路19にも供給する。適応補間処理回路19は、信号処理回路65からの各色信号R,G,Bから高解像度の輝度信号Yを生成してHPF20等を介して加算回路22に供給する。加算回路22は、各色信号RL,GL,BLと高解像度の輝度信号YHとを合成して出力することにより、高解像度の各色信号R,G,Bを生成し、アクセラレータ36を介してモニタ50に供給することができる。
【0079】
以上のように、第3の実施の形態に係る撮像装置60は、撮像するときのみ撮像部60Aを稼働して、待機モードのときには撮像部60Aの各回路の機能を停止させることにより、省電力化を図ることができる。また、撮像装置60は、撮像部60Aで生成された各色信号について、適応補間処理のみならずニー処理・ガンマ補正等のディジタル信号処理をもコンピュータ部60B内のソフトウェア処理で行うことにより、撮像部60Aの小型化・軽量化を図るとともに、上記ソフトウェアが例えばバージョンアップしても撮像部60Aを代えることなくフレキシブルに行うことができる。また、カラーフィルタの配列からRG画素で適応補間処理を施すことにより、縦横のみならず斜め方向も含む全方向の解像度を向上することができる。上記撮像装置60は、単板式であるために安価でコンパクトであるにも拘らず、画素ずらし機構等を用いることなく高解像度を得ることができるので、電子シャッタ機能も使用することができる。なお、撮像装置60は、全画素同時読出し式のCCDイメージセンサ11を用いているので、コンピュータ部60Bを介してモニタ装置50にノンインターレス画像を供給することができる。
【0080】
つぎに、第4の実施の形態に係る撮像装置について説明する。第4の実施の形態に係る撮像装置は、2枚の撮像素子を用いてダイナミックレンジを拡大するとともに、高解像度の画像を得ることができるものである。
【0081】
第4の実施の形態に係る撮像装置80は、例えば図13に示すように、撮像レンズ81によって集光されて光学フィルタ82で色分離された撮像光がハーフミラーブロック83を介して入射されるCCDイメージセンサ84,86と、CCDイメージセンサ84からの画素信号に適応補間処理を施す適応補間処理部85と、CCDイメージセンサ86からの画素信号に適応補間処理を施す適応補間処理部87と、適応補間処理部85,87からの各色信号を合成する画像合成部88と、画像合成部88で合成された各色信号を所定のビデオ信号に変換するビデオエンコーダ89と、全体を制御するシステムコントローラ90とを備える。
【0082】
ここで、CCDイメージセンサ84,86は、例えば全画素同時読出しのものであって、上述の図2に示すように、赤(R),緑(G),青(B)の各画素が市松配列で構成される。
【0083】
また、CCDイメージセンサ84は、図14に示すように、CCDイメージセンサ86に比べて、掃き捨てパルスから読出しパルスまでの期間である有効電荷蓄積期間が短く設定されている。従って、CCDイメージセンサ84は、CCDイメージセンサ86に比べて、全体的に光量の少ない各色信号を出力するようになっている。
【0084】
ここで、適応補間処理部85と適応補間処理部87とは同じ構成になっている。具体的には、適応補間処理部85,87は、図15に示すように、CCDイメージセンサ84,86からの各色信号に相関二重サンプリング処理等を施すCDS/AGC回路13と、CDS/AGC回路13から各色信号をディジタル化するA/Dコンバータ14と、A/Dコンバータ14からのディジタル化された各色信号にディジタル信号処理を施すDSP15とを備える。
【0085】
適応補間処理部85,87は、さらに、DSP15から供給される各色信号の高域成分をカットするLPF17と、LPF17からの各色信号を記憶するバッファメモリ18と、DSP15からの各色信号に適応補間処理を施す適応補間処理回路19と、適応補間処理回路19からの各色信号の低域成分をカットするHPF20と、HPF20からの各色信号を記憶するバッファメモリ21と、バッファメモリ18,21の各色信号を加算する加算回路22とを備える。
【0086】
画像合成部88は、適応補間処理部85からの信号レベルの低い各色信号と適応補間処理部87からの通常の信号レベルの各色信号とを選択して出力するものであり、図16に示すように、LPF91と、レベル比較器92と、切換回路93とを備える。
【0087】
LPF91は、適応補間処理部85から供給される画素データの不要な高域成分を除去して、この各色信号をレベル比較器92に供給する。
【0088】
レベル比較器92は、図17(A)に示すように、LPF91から供給される各色信号HD1のレベルと白潰れが生じるレベルに設定されたスレショールドレベルとを比較して、図17(B)に示すように、各色信号HD1のレベルが高いときにHレベルのスイッチ制御信号を出力するようになっている。
【0089】
切換回路93では、端子aに適応補間処理部85からの各色信号HD1が供給され、端子bに適応補間処理部87からの各色信号HD2が供給される。切換回路93は、レベル比較器92からHレベルのスイッチ制御信号が供給されると端子aに供給されている各色信号HD1を出力し、レベル比較器92からLレベルの信号が供給されると端子bに供給されている各色信号HD2を出力するようになっている。
【0090】
換言すると、切換回路93の端子aには図17(A)に示す各色信号HD1が供給され、端子bには図17(C)に示す各色信号HD2が供給される。各色信号HD2が白潰れを生じていない期間は、スイッチ制御信号がLレベルになっているので、図17(D)に示すように、切換回路93は各色信号HD2を出力する。各色信号HD2に白潰れが生じている期間は、スイッチ制御信号はHレベルになって、図17(D)に示すように、切換回路93は各色信号HD1を出力する。
【0091】
したがって、例えば室内から屋外を撮影しているときに各色信号HD2に白潰れが生じると、画像合成部88は、この白潰れが生じた部分に各色信号HD1を挿入することにより白潰れの生じない各色信号を出力して、ダイナミックレンジを拡大することができる。
【0092】
以上のように、撮像装置80は、2枚のCCDイメージセンサの出力信号に対してそれぞれ適応補間処理を施して高解像度画像を得ることができ、かつ、シャッタ時間の異なる各色信号を選択して合成することによってダイナミックレンジの向上を図ることができ、銀塩写真に匹敵する各色信号を得ることができる。また、カラーフィルタの配列からRG画素で適応補間処理を施すことにより、縦横のみならず斜め方向も含む全方向の解像度を向上することができる。また、上記撮像装置80は、画素ずらし機構等を用いることなく高解像度を得ることができるので、電子シャッタ機能も使用することができる。なお、撮像装置80は、全画素同時読出し式のCCDイメージセンサ84,86を用いているので、パーソナルコンピュータのモニタ装置等に最適なノンインターレス画像を得ることができる。
【0093】
また、撮像装置80におけるハーフミラーブロック83とCCDイメージセンサ84の間にND(Neutral Density)フィルタ95を設け、CCDイメージセンサ84,86のシャッタ時間を同じにしてもよい。すなわち、CCDイメージセンサ84は、NDフィルタ95を介して入射光を受光すると全体的に光量の少ない各色信号を生成し、シャッタ時間を短くした場合と同様の各色信号を生成することができる。
【0094】
つぎに、第5の実施の形態に係る撮像装置について説明する。
【0095】
第5の実施の形態に係る撮像装置は、白潰れのみならず黒潰れも生じないように、図16に示した画像合成部88の代わりに、白潰れモード又は黒潰れモードの切換を行うことができる画像合成部88aを設けたものである。
【0096】
画像合成部88aにおいて、切換回路94は、具体的には図18に示すように、適応補間処理部85からの各色信号HD1が供給される端子c,fと、適応補間処理部87からの各色信号HD2が供給される端子d,eと、端子c又は端子dに供給された各色信号を選択して出力するスイッチ94Xと、端子e又は端子fに供給された各色信号を選択して出力するスイッチ94Yとを備える。スイッチ94X,94Yは、互いに連動して、システムコントローラ90で切換制御されている。すなわち、システムコントローラ90は、白潰れ補正モードになったときはスイッチ94Xを端子cに,スイッチ94Yを端子dに設定して、また、黒潰れ補正モードになったときはスイッチ94Yを端子eに,スイッチ94Yを端子fに設定するようになっている。そして、スイッチ94Xは、選択出力した各色信号をLPF91及び切換回路93の端子aに供給する。スイッチ94Yは、選択出力した各色信号を切換回路93の端子bに供給する。
【0097】
LPF91は、各色信号の高域成分を除去してレベル比較器92に供給する。レベル比較器92は、図19(A)に示すように、LPF91から供給される各色信号のレベルとスレショールドレベルとを比較して、図19(B)に示すように、各色信号のレベルの方が高いときにスイッチ制御信号を出力するようになっている。ここで、システムコントローラ90は、白潰れ補正モード又は黒潰れ補正モードに応じてスレショールドレベルを設定するようになっている。そして、切換回路93は、レベル比較器92からHレベルのスイッチ制御信号が供給されると端子aに供給されている各色信号を出力し、Lレベルのスイッチ制御信号が供給されると端子bに供給されている各色信号を出力するようになっている。
【0098】
ここで、黒潰れ補正モードに設定されると、システムコントローラ90は、スイッチ94Xを端子dに、スイッチ94Yを端子fに切換設定して、スレショールドレベルを黒潰れ補正に応じた所定のレベルに設定する。このとき切換回路93では、端子aには図19(A)に示す各色信号HD2が供給され、端子bには図19(C)に示す各色信号HD1が供給される。
【0099】
各色信号HD1が黒潰れを生じていないときは、図19(B)に示すようにスイッチ制御信号がHレベルになっているので、切換回路93は、図19(D)に示すように、各色信号HD1を出力する。各色信号HD1に黒潰れが生じると、スイッチ制御信号はLレベルになって、切換回路93は、図19(D)に示すように、各色信号HD2を出力する。
【0100】
すなわち、画像合成部88aは、例えば屋外から室内を撮影する場合等において一方の各色信号に黒潰れが生じると、黒潰れの生じた部分に他方の各色信号を挿入することにより、黒潰れのない各色信号を出力することができる。
【0101】
なお、白潰れモードに設定されると、画像合成部88aでは、スイッチ94Xは端子cに設定され、スイッチ94Yは端子dに設定される。すなわち、画像合成部88aは、画像合成部88と等価になって、白潰れのない各色信号を出力することができる。
【0102】
つぎに第6の実施の形態に係る撮像装置について説明する。
【0103】
第6の実施の形態に係る撮像装置は、3板式であって、図20に示すように、撮像レンズ101により集光されて光学フィルタ102で色分離された撮像光をR,G,Bの3原色に分解するダイクロイックミラー103と、分解された撮像光に応じて色信号Rを出力するCCDイメージセンサ104Rと、色信号Gを出力するCCDイメージセンサ104Gと、色信号Bを出力するCCDイメージセンサ104Bとを備える。
【0104】
ここで、CCDイメージセンサ104R,104G,104Bは、全画素同時読出し式のものである。また、CCDイメージセンサ104R,104Gは、図21に示すように、半ピッチ斜め画素ずらしをして、GR配列をツインカンクス配列にしている。
【0105】
また、撮像装置100は、CCDイメージセンサ104R,104G,104Bからの各色信号に相関二重サンプリング処理・利得制御を施すCDS/AGC回路13と、CDS/AGC回路13からの各色信号をディジタル化するA/Dコンバータ14と、A/Dコンバータ14からの各色信号にガンマ補正等の所定のディジタル信号処理を行うDSP15と、DSP15からの各色信号の高域成分を除去するLPF17と、LPF17からの各色信号を記憶するバッファメモリ18と、DSP15からの各色信号に適応補間の処理を施す適応補間処理回路19と、適応補間処理回路19からの各色信号の低域成分を除去して高域の輝度信号を生成するHPF20と、HPF20からの高域輝度信号を記憶するバッファメモリ21と、バッファメモリ18からの各色信号とバッファメモリ21からの輝度信号を合成する加算回路22とを備える。
【0106】
以上のように構成された撮像装置100において、適応補間処理回路19には、DSP15からの各色信号R,G,Bが供給される。適応補間処理回路19内の内部メモリ19aには、図22(A)に示すように、ツインカンクス配列で色信号R,Gが記憶される。
【0107】
適応補間処理回路19は、ツインカンクス配列の色信号R,Gの補間部分にポインタを設定して、適応補間処理を行う前に縦方向及び横方向の相関度を算出して、相関度の大きい方向において適応補間処理を行う。
【0108】
ここで、適応補間処理回路19に供給される各色信号はホワイトバランス調整後においてRとGのレベルが同じに調整されているので、画素データR,Gが有する輝度信号Yの情報に着目すると、任意のポインタY0近傍では図23に示すように輝度信号Y1〜Y4が配列されているとみなすことができる。従って、
Y0=aY1+bY2+cY3+dY4
となる。なお、a〜dの値は縦方向又は横方向の画素相関によって決定される。
【0109】
具体的には、適応補間処理回路19は、横方向のY1とY2、縦方向のY3とY4のレベル差を求めて、そのレベル差が小さい方向は相関度が大きいと判断し、相関度が大きい方向でY0の補間処理を行う。例えば横方向の相関度が大きいときは、
Y0=(Y1+Y2)/2として求めることができる。
【0110】
なお、相関度は、画素間の類似度で求めてもよい。従って、類似度が最も大きくなる方向において補間処理を行うこともできる。
【0111】
適応補間処理回路19は、図22(B)に示すように、ツインカンクス配列の色信号R,Gの補間部分に輝度信号を補間したものをHPF20に供給する。HPF20は、色信号R,G及び輝度信号の低域成分を除去することにより高解像度の輝度信号を生成して、この輝度信号をバッファメモリ21を介して加算回路22に供給する。加算回路22は、DSP15からLPF17等を介して供給される低域成分の各色信号R,G,Bと高域成分の輝度信号とを加算合成して、高解像度の各色信号を生成する。
【0112】
加算回路22で生成された各色信号は、図24(A)に示す従来のスペクトル特性に比べて、図24(B)に示すスペクトル特性により高域が劣化することなく、縦横の解像度がほぼ倍になっている。
【0113】
すなわち、適応補間処理回路19は、適応補間処理により縦又は横方向近辺においても近似的に適応補間処理を行って、ツインカンクス領域における信号生成を良好にし、画質の良好な各色信号を生成することができる。換言すると、適応補間処理は、水平又は垂直方向に近い信号成分に対して近似的に作用し、折り返し成分を軽減させる効果があり、全体的に高画質の各色信号を生成することができる。
【0114】
以上のように、撮像装置100は、縦方向又は横方向の相関度が大きい方向において補間処理を行って高域成分の輝度信号を生成し、この輝度信号を中域以下の各色信号R,G,Bにそれぞれ等しく合成することにより、高解像度で画質の良好な各色信号を生成することができる。また、撮像装置100は、画素ずらし機構等を用いることなく高解像度を得ることができるので、電子シャッタ機能も使用することができる。さらに、撮像装置100は、全画素同時読出し式のCCDイメージセンサ104R,104G,104Bを用いているので、パーソナルコンピュータのモニタ装置等に最適なノンインターレス画像を得ることができる。
【0115】
なお、CCDイメージセンサ104R,104G,104Bの画素は、図21に示すツインカンクス配列のものに限定されることなく、例えば図2に示す市松模様状の配列であってもよい。このとき、CCDイメージセンサ104R,104G,104Bで生成された色信号R,G,Bは、CDS/AGC回路13,A/Dコンバータ14等を介して適応補間処理回路19に供給される。そして、適応補間処理回路19は、第1の実施の形態で説明したような補間処理を行うことができる。
【0116】
また、第2の実施の形態と同様に、LPF17,バッファメモリ18,適応補間処理回路19,HPF20,バッファメモリ21,加算回路22で行う高域の輝度信号の生成をパーソナルコンピュータのソフト処理によって行ってもよい。これにより、撮像装置の小型化・軽量化を図るとともに、上記ソフトウェアが例えばバージョンアップしても撮像装置を代えることなくフレキシブルに行うことができる。
【0117】
なお、本発明は、上述の実施の形態に限定されるものではなく、例えばCCDイメージセンサの代わりにMOS等の撮像素子を用いてもよく、特許請求の範囲に記載された範囲内で種々の変更ができるのは勿論である。
【0118】
【発明の効果】
以上詳細に説明したように、本発明に係る撮像装置によれば、補間箇所を中心としてそれぞれ対向する画素の方向において相関度を算出し、この相関度の大きい方向において赤色信号及び緑色信号に基づいて補間処理により生成した輝度信号、赤色信号、及び、緑色信号の低域成分を除去し、この高解像度の高域輝度信号と撮像部で生成された3原色の各色信号とを合成することにより高解像度の3原色の各色信号を生成することができる。すなわち、上記撮像装置によれば、補間箇所を中心とする全ての方向の解像度を向上させることができ、また、光路シフトのウォーブリング手法を用いていないので電子シャッタ等の諸機能の妨げになることを回避することができる。
【0119】
上記撮像装置では、斜め方向の補間処理を行う前に補間処理を行う部分の周辺の分散度が小さいときには緑色信号が設けられている方向であって上記算出した相関度の大きい方向において補間処理を施すことにより、カラー画像のレベルの違いによる適応補間処理のわずかなずれを回避して、緑色信号のみで補間処理を行って、より高解像な画像を得ることができる。
【0120】
上記撮像装置では、縦方向又は横方向又は斜め方向の相関度の最も大きい方向において取り込んだ各色信号間の補間処理を施すことにより、各画像における各方向の解像度に応じて最も解像度の低い方向の解像度を向上させることができる。
【0121】
上記撮像装置では、単板式又は多板式であっても高解像度の画像を得ることができる。
【0122】
また、本発明に係る補間処理方法によれば、補間箇所を中心としてそれぞれ対向する画素の方向において相関度を算出し、算出された相関度の大きい方向において、赤色信号及び緑色信号に基づいて補間処理により生成した輝度信号、赤色信号、及び、緑色信号の低域成分を除去し、この高解像度の高域輝度信号と色信号とを合成することにより高解像度の3原色の各色信号を生成することができる。すなわち、上記補間処理方法によれば、補間箇所を中心とした全ての方向の解像度を向上させることができ、また、光路シフトのウォーブリング手法を用いていないので、撮像装置に設けられている電子シャッタ等の諸機能の妨げになることを回避することができる。
【0123】
上記撮像方法では、斜め方向の補間処理を行う前に補間処理を行う部分の周辺の分散度が小さいときには緑色信号が設けられている方向であって上記算出した相関度の大きい方向において補間処理を施すことにより、カラー画像のレベルの違いによる適応補間処理のわずかなずれを回避して、緑色信号のみで補間処理を行って、より高解像な画像を得ることができる。
【0124】
上記補間処理方法では、縦方向又は横方向又は斜め方向の相関度の最も大きい方向において取り込んだ各色信号間の補間処理を施すことにより、各画像における各方向の解像度に応じて最も解像度の低い方向の解像度を向上させることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る撮像装置の具体的な構成を示すブロック図である。
【図2】上記撮像装置のCCDイメージセンサが市松模様状の配列で構成された状態を示す図である。
【図3】内部メモリにRG画像データを合成したときの状態を示す図である。
【図4】RG画像データの輝度信号の情報が配列されているときの状態を説明する図である。
【図5】適応補間処理を説明するためのフローチャートである。
【図6】適応補間処理を説明するためのフローチャートである。
【図7】適応補間処理を説明するためのフローチャートである。
【図8】分散度に応じて適応補間処理するときのR,Gの状態を説明する図である。
【図9】補間処理された後のRG画像と輝度信号Yの配列を示す図である。
【図10】高域成分の輝度信号YHが生成されたときの状態を示す図である。
【図11】他の実施の形態に係る撮像装置の具体的な構成を示すブロック図である。
【図12】他の実施の形態に係る撮像装置の具体的な構成を示すブロック図である。
【図13】他の実施の形態に係る撮像装置の具体的な構成を示すブロック図である。
【図14】上記撮像装置のCCDイメージセンサの有効電荷蓄積期間を説明するためのタイミングチャートである。
【図15】上記撮像装置の適応補間処理部の構成を示すブロック図である。
【図16】上記撮像装置の画像合成部の構成を示すブロック図である。
【図17】画像データの信号レベルの状態を示す図である。
【図18】上記撮像装置の他の画像合成部の構成を示すブロック図である。
【図19】画像データの信号レベルの状態を示す図である。
【図20】他の実施の形態に係る撮像装置の具体的な構成を示すブロック図である。
【図21】上記撮像装置のCCDイメージセンサの画素配列を示す図である。
【図22】適応補間処理回路に記憶された画像データR,G及び補間された輝度信号Yの配列を示す図である。
【図23】適応補間処理回路における適応補間処理を説明する図である。
【図24】適応補間処理された画像データのスペクトル特性を示す図である。
【図25】従来の光学ローパスフィルタ等を用いたときの折り返し歪の影響を説明する図である。
【符号の説明】
11 CCDイメージセンサ、19 適応補間処理回路、20 HPF、22加算回路
簡易補間回路31
パソコンI/F32
パソコンI/F41→34
HDDメモリ42 →35
アクセラレータ43→36
LPF61
信号処理回路71 →65
電源回路72 →66
以上済み
Claims (8)
- 3原色にそれぞれ対応して市松模様状に配列された画素の色信号をそれぞれ出力する撮像部と、
上記撮像部が出力した各色信号のうち赤色信号と緑色信号を取り込んで記憶する記憶手段と、
上記記憶手段に取り込んだ赤色信号と緑色信号に対応する画素によって囲まれる青色信号に対応する画素を輝度信号の補間箇所とし、前記補間箇所を挟んで位置する各画素の相関度の大きい方向に位置する画素の各色信号に基づいて、上記補間箇所の画素の輝度信号を補間することにより補間処理済みの輝度信号を生成する補間処理手段と、
補間済みの輝度信号、赤色信号、及び、緑色信号の低域成分を除去して高域輝度信号を生成するハイパスフィルタと、
上記高域輝度信号と上記撮像部で生成された3原色の各色信号とを合成する合成手段とを備えることを特徴とする撮像装置。 - 上記補間処理手段は、上記補間箇所を中心として縦方向又は横方向又は斜め方向において相関度を算出し、算出された相関度の大きい方向において補間処理を施すことを特徴とする請求項1に記載の撮像装置。
- 上記補間処理手段は、上記補間箇所の斜め方向で補間処理を施す前に、補間箇所周辺の色信号の分散度を算出し、分散度が小さいときには緑色信号に基づいて上記算出した相関度の大きい方向において補間処理を施すことを特徴とする請求項2に記載の撮像装置。
- 上記撮像部は、3原色にそれぞれ対応して市松模様状に配列された画素の色信号をそれぞれ出力する1枚の撮像素子であることを特徴とする請求項1に記載の撮像装置。
- 上記撮像部は、3原色にそれぞれ対応して市松模様状に配列された画素の色信号をそれぞれ複数の撮像素子から出力することを特徴とする請求項1に記載の撮像装置。
- 3原色にそれぞれ対応して市松模様状に配列された画素の各色信号のうち赤色信号及び緑色信号を輝度信号として取り扱い、青色信号に対応する画素を輝度信号の補間箇所とし、この補間箇所を中心としてそれぞれ対をなす画素間の相関度を算出し、
算出された相関度の大きい対をなす画素の各色信号に基づいて輝度信号の補間処理を行い、
上記補間処理済みの輝度信号、赤色信号、及び、緑色信号の低域成分を除去して高域輝度信号を生成し、
上記3原色の各色信号にそれぞれ上記高域輝度信号を合成することを特徴とするカラー画像信号の処理方法。 - 上記補間箇所を中心として縦方向又は横方向又は斜め方向において相関度を算出し、算出された相関度の大きい方向において補間処理を行うことを特徴とする請求項6に記載のカラー画像信号の処理方法。
- 斜め方向の補間処理を施す前に、補間箇所周辺の分散度を算出し、分散度が小さいときには緑色信号が設けられている方向であって上記算出した相関度の大きい方向において赤色信号及び緑色信号に基づいて輝度信号を生成して上記補間箇所に取り込むことを特徴とする請求項7に記載のカラー画像信号の処理方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30678896A JP3787927B2 (ja) | 1996-11-18 | 1996-11-18 | 撮像装置及びカラー画像信号の処理方法 |
US08/969,266 US6295087B1 (en) | 1996-11-18 | 1997-11-13 | Image pickup apparatus having an interpolation function |
TW086117021A TW376640B (en) | 1996-11-18 | 1997-11-14 | Image pickup apparatus having an interpolation function |
IDP973698A ID18876A (id) | 1996-11-18 | 1997-11-17 | Pesawat pickup gambar yang memiliki fungsi penyisipan atau penambahan |
KR1019970062344A KR100517391B1 (ko) | 1996-11-18 | 1997-11-18 | 보간기능을갖는영상픽업장치 |
CN97126459A CN1123211C (zh) | 1996-11-18 | 1997-11-18 | 具有插值功能的图像拾取设备和插值方法 |
MYPI97005535A MY118915A (en) | 1996-11-18 | 1997-11-18 | Image pickup apparatus having an interpolation function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30678896A JP3787927B2 (ja) | 1996-11-18 | 1996-11-18 | 撮像装置及びカラー画像信号の処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10150668A JPH10150668A (ja) | 1998-06-02 |
JP3787927B2 true JP3787927B2 (ja) | 2006-06-21 |
Family
ID=17961263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30678896A Expired - Fee Related JP3787927B2 (ja) | 1996-11-18 | 1996-11-18 | 撮像装置及びカラー画像信号の処理方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6295087B1 (ja) |
JP (1) | JP3787927B2 (ja) |
KR (1) | KR100517391B1 (ja) |
CN (1) | CN1123211C (ja) |
ID (1) | ID18876A (ja) |
MY (1) | MY118915A (ja) |
TW (1) | TW376640B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8270774B2 (en) | 2007-04-05 | 2012-09-18 | Sony Corporation | Image processing device for performing interpolation |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11168745A (ja) * | 1997-12-03 | 1999-06-22 | Minolta Co Ltd | デジタルカメラ |
JP4066484B2 (ja) * | 1997-12-08 | 2008-03-26 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにカメラ |
JPH11196427A (ja) * | 1997-12-26 | 1999-07-21 | Canon Inc | 単板カラー撮像装置 |
US6421084B1 (en) * | 1998-03-02 | 2002-07-16 | Compaq Computer Corporation | Method for interpolating a full color image from a single sensor using multiple threshold-based gradients |
JP3556859B2 (ja) * | 1998-09-08 | 2004-08-25 | 富士写真フイルム株式会社 | 画像補正方法、画像補正装置及び記録媒体 |
JP3972478B2 (ja) * | 1998-08-11 | 2007-09-05 | ソニー株式会社 | 撮像装置 |
KR20000026234A (ko) * | 1998-10-19 | 2000-05-15 | 유무성 | 실물 화상기 |
KR20000074616A (ko) * | 1999-05-24 | 2000-12-15 | 윤종용 | 스위치드 커패시터 기법을 이용한 이득 조절장치 |
US7010172B1 (en) * | 1999-07-27 | 2006-03-07 | Fuji Photo Film Co., Ltd. | Image acquiring method, image processing method, and image transforming method |
US7088391B2 (en) * | 1999-09-01 | 2006-08-08 | Florida Atlantic University | Color video camera for film origination with color sensor and luminance sensor |
US7053944B1 (en) * | 1999-10-01 | 2006-05-30 | Intel Corporation | Method of using hue to interpolate color pixel signals |
US6809765B1 (en) * | 1999-10-05 | 2004-10-26 | Sony Corporation | Demosaicing for digital imaging device using perceptually uniform color space |
US6781626B1 (en) * | 2000-01-13 | 2004-08-24 | Biomorphic Vlsi, Inc. | System and method of color interpolation |
JP2002064831A (ja) * | 2000-08-15 | 2002-02-28 | Sanyo Electric Co Ltd | 単板式カラーカメラの色分離回路 |
US6947153B1 (en) * | 2000-11-20 | 2005-09-20 | Presstek, Inc. | Method and apparatus for optimized image processing |
JP2002232908A (ja) * | 2000-11-28 | 2002-08-16 | Monolith Co Ltd | 画像補間方法および装置 |
WO2002060186A1 (fr) * | 2001-01-25 | 2002-08-01 | Nikon Corporation | Procede de traitement d'image, programme de traitement d'image et processeur d'image |
JP3862506B2 (ja) * | 2001-02-06 | 2006-12-27 | キヤノン株式会社 | 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 |
EP1246474A1 (fr) * | 2001-03-27 | 2002-10-02 | Koninklijke Philips Electronics N.V. | Appareil de prise de vue et procédé pour traiter des images prises par un tel appareil |
KR100396898B1 (ko) * | 2001-09-13 | 2003-09-02 | 삼성전자주식회사 | 이미지센서 출력데이터 처리장치 및 처리방법 |
US20030117507A1 (en) * | 2001-12-21 | 2003-06-26 | Nasser Kehtarnavaz | Color filter array interpolation |
JP2003274264A (ja) * | 2002-03-13 | 2003-09-26 | Sony Corp | 撮像装置及び映像信号生成方法 |
US7292277B2 (en) * | 2002-04-08 | 2007-11-06 | Fujifilm Corporation | Solid-state image pick-up device and digital still camera |
US6983080B2 (en) * | 2002-07-19 | 2006-01-03 | Agilent Technologies, Inc. | Resolution and image quality improvements for small image sensors |
US7212689B2 (en) * | 2002-11-06 | 2007-05-01 | D. Darian Muresan | Fast edge directed polynomial interpolation |
EP1569442A4 (en) * | 2002-12-02 | 2009-08-12 | Olympus Corp | VIEWING DEVICE |
US8040385B2 (en) * | 2002-12-02 | 2011-10-18 | Olympus Corporation | Image pickup apparatus |
JP2004193970A (ja) * | 2002-12-11 | 2004-07-08 | Sanyo Electric Co Ltd | 画像データ処理装置 |
JP2004229055A (ja) * | 2003-01-24 | 2004-08-12 | Pentax Corp | 画像処理装置 |
US7477803B2 (en) | 2003-09-12 | 2009-01-13 | Canon Kabushiki Kaisha | Image processing apparatus |
KR20050062709A (ko) | 2003-12-22 | 2005-06-27 | 삼성전자주식회사 | 디지털 이미지 처리 장치 및 그 방법 |
WO2005064925A1 (ja) * | 2003-12-26 | 2005-07-14 | Olympus Corporation | 撮像装置 |
JP4239091B2 (ja) * | 2004-02-09 | 2009-03-18 | ノーリツ鋼機株式会社 | 画像処理装置、方法、及びプログラム |
JP4239094B2 (ja) * | 2004-03-03 | 2009-03-18 | ノーリツ鋼機株式会社 | 画像処理装置、方法、及びプログラム |
JP4352331B2 (ja) * | 2004-09-09 | 2009-10-28 | 富士フイルム株式会社 | 信号処理装置、信号処理方法及び信号処理プログラム |
CN100410985C (zh) * | 2004-09-22 | 2008-08-13 | 索尼株式会社 | 图像显示单元与校正图像显示单元中的亮度的方法 |
US20060119724A1 (en) * | 2004-12-02 | 2006-06-08 | Fuji Photo Film Co., Ltd. | Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method |
CN100366050C (zh) * | 2005-03-11 | 2008-01-30 | 华亚微电子(上海)有限公司 | 一种图像缩放方法及图像缩放器系统 |
JP5151075B2 (ja) * | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
US8064110B2 (en) | 2005-12-08 | 2011-11-22 | Qualcomm Incorporated | Adaptive auto white balance |
CN100433779C (zh) * | 2006-04-28 | 2008-11-12 | 天津大学 | 全相位离散余弦变换内插核函数及用于图像分辨率的改变 |
JP4548390B2 (ja) | 2006-06-16 | 2010-09-22 | ソニー株式会社 | 撮像装置及び信号処理方法 |
JP2008104009A (ja) * | 2006-10-19 | 2008-05-01 | Sony Corp | 撮像装置および撮像方法 |
US8594465B2 (en) * | 2007-11-14 | 2013-11-26 | Microsoft Corporation | Adaptive filtering for image transform processes |
KR100891825B1 (ko) * | 2007-11-27 | 2009-04-07 | 삼성전기주식회사 | 디지털 영상의 컬러 노이즈 제거 장치 및 방법 |
CN102164246A (zh) * | 2011-03-08 | 2011-08-24 | 青岛海信移动通信技术股份有限公司 | 一种移动终端生成满足设定分辨率照片的实现方法及装置 |
JP6386301B2 (ja) * | 2014-08-28 | 2018-09-05 | 株式会社日立国際電気 | 撮像装置およびその変調度補正方法 |
DE102016113010A1 (de) * | 2015-12-15 | 2017-06-22 | Basler Ag | Bestimmung von Helligkeitswerten virtueller Pixel |
CN109493322B (zh) * | 2018-10-16 | 2021-08-31 | 东软医疗系统股份有限公司 | 峰值曲线渲染方法及装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE68926637T2 (de) | 1988-07-13 | 1997-01-23 | Hitachi Ltd | Konvergenzfehler-Korrektur für Festkörperbildaufnahmegeräte |
KR940000471B1 (ko) * | 1990-09-19 | 1994-01-21 | 삼성전자 주식회사 | 화상처리를 위한 피일드 보간회로 및 방식 |
US5268758A (en) * | 1990-09-26 | 1993-12-07 | Matsushita Electric Industrial Co., Ltd. | Horizontal line interpolation circuit and image pickup apparatus including it |
JP2942903B2 (ja) * | 1990-11-05 | 1999-08-30 | キヤノン株式会社 | ディジタル・カメラ信号処理装置 |
JP3011479B2 (ja) | 1991-05-27 | 2000-02-21 | 三洋電機株式会社 | 撮像装置 |
JPH0576013A (ja) * | 1991-09-12 | 1993-03-26 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JPH05122612A (ja) | 1991-10-28 | 1993-05-18 | Olympus Optical Co Ltd | 撮像装置 |
US5289269A (en) | 1991-12-27 | 1994-02-22 | Nippon Television Network Corporation | Color television camera with details of luminance signal formation |
JPH05219512A (ja) * | 1992-01-31 | 1993-08-27 | Victor Co Of Japan Ltd | 撮像装置 |
JPH0576013U (ja) * | 1992-03-16 | 1993-10-15 | 株式会社トーキン | ピン端子付コイル |
JP2931520B2 (ja) | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
JPH0799664A (ja) * | 1993-09-28 | 1995-04-11 | Sanyo Electric Co Ltd | 高精細撮像装置 |
JPH07236150A (ja) | 1994-02-22 | 1995-09-05 | Matsushita Electric Ind Co Ltd | 撮像装置 |
US6018363A (en) * | 1994-04-28 | 2000-01-25 | Canon Kabushiki Kaisha | Image sensing apparatus with optical-axis deflecting device |
-
1996
- 1996-11-18 JP JP30678896A patent/JP3787927B2/ja not_active Expired - Fee Related
-
1997
- 1997-11-13 US US08/969,266 patent/US6295087B1/en not_active Expired - Lifetime
- 1997-11-14 TW TW086117021A patent/TW376640B/zh not_active IP Right Cessation
- 1997-11-17 ID IDP973698A patent/ID18876A/id unknown
- 1997-11-18 KR KR1019970062344A patent/KR100517391B1/ko not_active IP Right Cessation
- 1997-11-18 MY MYPI97005535A patent/MY118915A/en unknown
- 1997-11-18 CN CN97126459A patent/CN1123211C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8270774B2 (en) | 2007-04-05 | 2012-09-18 | Sony Corporation | Image processing device for performing interpolation |
Also Published As
Publication number | Publication date |
---|---|
KR100517391B1 (ko) | 2005-11-29 |
US6295087B1 (en) | 2001-09-25 |
MY118915A (en) | 2005-02-28 |
CN1123211C (zh) | 2003-10-01 |
JPH10150668A (ja) | 1998-06-02 |
KR19980042697A (ko) | 1998-08-17 |
TW376640B (en) | 1999-12-11 |
CN1189044A (zh) | 1998-07-29 |
ID18876A (id) | 1998-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3787927B2 (ja) | 撮像装置及びカラー画像信号の処理方法 | |
JP4131052B2 (ja) | 撮像装置 | |
JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
US7432958B2 (en) | Image pickup apparatus with function of adjusting incident light quantity | |
JP2011147008A (ja) | 撮像装置、撮像方法、および、撮像プログラム | |
JP2000224490A (ja) | 撮像制御装置および撮像制御方法 | |
JP4253881B2 (ja) | 撮像装置 | |
JP4105967B2 (ja) | デジタルスチルカメラ | |
JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
JP4616429B2 (ja) | 画像処理装置 | |
JP2008124671A (ja) | 撮像装置および撮像方法 | |
US9420223B2 (en) | Image recording device that records moving image, method of controlling the same, and storage medium | |
JP4584544B2 (ja) | 画像再生装置および固体撮像装置 | |
JP3999693B2 (ja) | 固体撮像装置 | |
JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
JPH10155158A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
JP2001086394A (ja) | 撮像装置 | |
JP2004128537A (ja) | 固体撮像装置の信号読出し方法 | |
JP2009089355A (ja) | 撮像装置および撮像方法 | |
JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP4264602B2 (ja) | 画像処理装置 | |
JP2003153093A (ja) | 固体撮像装置、電子スチルカメラ、固体撮像素子の駆動方法及び固体撮像素子を駆動する制御プログラム | |
JP3999417B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP2006109046A (ja) | 撮像装置 | |
JP3849230B2 (ja) | 信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060320 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090407 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110407 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120407 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120407 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |