JPH10150668A - 撮像装置及びカラー画像信号の処理方法 - Google Patents

撮像装置及びカラー画像信号の処理方法

Info

Publication number
JPH10150668A
JPH10150668A JP30678896A JP30678896A JPH10150668A JP H10150668 A JPH10150668 A JP H10150668A JP 30678896 A JP30678896 A JP 30678896A JP 30678896 A JP30678896 A JP 30678896A JP H10150668 A JPH10150668 A JP H10150668A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
signal
interpolation
color
color signals
direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP30678896A
Other languages
English (en)
Other versions
JP3787927B2 (ja )
Inventor
Shigetoshi Noda
重利 納田
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image, e.g. from bit-mapped to bit-mapped creating a different image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/04Picture signal generators
    • H04N9/045Picture signal generators using solid-state devices

Abstract

(57)【要約】 【課題】 電子シャッタ等の諸機能を犠牲にすることな
く、安価でかつ高解像度を得ることができる。 【解決手段】 適応補間処理回路19は、DSP15で
ホワイトバランス調整の施された画像データR,G,B
が供給され、図示しない内部メモリでRG画像を合成す
る。適応補間処理回路19は、縦,横,斜めの各方向の
相関度を計算した後、相関度が最大となる方向において
RG画像に基づいて補間を行えば、それに直交する方向
にLPF処理を施すことにはならないので、直交方向の
解像度を劣化させない。すなわち適応補間処理回路19
は、補間すべき部分の周辺の画像データの相関に応じて
適応的に補間することで、解像度の向上を図ることがで
きる。

Description

【発明の詳細な説明】

【0001】

【発明の属する技術分野】本発明は、画素間の補間処理
を行って高解像度を得る撮像装置及びカラー画像信号の
処理方法に関する。

【0002】

【従来の技術】近年、高解像カラー画像は、パーソナル
・コンピュータの入力画像として適しており、いわゆる
マルチメディアの浸透によってますます安価な高解像度
カラーカメラが求められている。

【0003】

【発明が解決しようとする課題】ところで、単板式カメ
ラは、3板式カメラに比べて安価であり、色ずれ補正が
不要で、固着が技術不要であって、さらに撮像速度が速
く電子シャッタが可能である。しかし、単板式カメラ
は、色解像度が低く、図25に示すように、折り返し歪
の影響を軽減するために光学ローパスフィルタ等を用い
ても解像度を高めることが困難であった。

【0004】また、通常のカメラは、いわゆるフィルム
カメラに比べてダイナミックレンジが不足し、画像に白
潰れあるいは黒潰れ部分が目立ってしまうという問題が
生じた。これに対して、複数のフレームメモリを用い
て、シャッタ時間の異なる2枚のCCD(Charge Coupl
ed Devise)イメージセンサが出力するフレーム画像か
ら合成画像信号を生成して、高ダイナミックレンジを得
る2板式カメラが提案されている。しかし、2板式カメ
ラは、複数のフレームメモリを用いるために電子シャッ
タ機能を設けることができず、高速シャッタ機能を発揮
することができなかった。

【0005】高解像度の画像を得る方法として、バイモ
ルフ駆動のCCDイメージセンサ等による光路シフトの
ウォーブリング手法によって複数のフレームからフルカ
ラー高解像度を得るものがある。この手法は、単板式及
び2板式に用いることができるが、撮像速度の低下,電
子シャッタの使用が不可能等の欠点があり、用途が限定
されてしまった。

【0006】また、カラー解像度を向上させるカメラと
して、3枚のCCDイメージセンサを有する3板式カメ
ラがある。3板式カメラは、CCDイメージセンサが1
枚の単板式カメラに比べて高価であり、とりわけ130
万画素以上のCCDイメージセンサを用いると非常に高
価になってしまう。

【0007】本発明は、このような問題点に鑑みてなさ
れたものであり、電子シャッタ等の諸機能を犠牲にする
ことなく、安価でかつ高解像度を得ることができる撮像
装置及びカラー画像信号の処理方法を提供することを目
的とする。

【0008】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る撮像装置は、3原色にそれぞれ対応
して市松模様状に配列された画素の色信号をそれぞれ出
力する撮像部と、上記撮像部が出力した各色信号のうち
特定の2原色の各色信号を取り込んで記憶する記憶手段
と、上記記憶手段に取り込んだ各色信号に対応する画素
によって囲まれる画素を輝度信号の補間箇所とし、前記
補間箇所を挟んで位置する各画素の相関度の大きい方向
に位置する画素の各色信号に基づいて、上記補間箇所の
画素の輝度信号を補間することにより補間処理済みの輝
度信号を生成する補間処理手段と、補間済みの輝度信号
の低域成分を除去して高域輝度信号を生成するハイパス
フィルタと、上記高域輝度信号と上記撮像部で生成され
た3原色の各色信号とを合成する合成手段とを備えるこ
とを特徴とする。

【0009】したがって、上記撮像装置は、撮像部で生
成された3原色の色信号に基づいて高域輝度信号を生成
するとともに、上記3原色の色信号のそれぞれに上記高
域輝度信号を合成することによって、解像度の良好な画
像を得ることができる。

【0010】本発明に係るカラー画像信号の処理方法
は、3原色にそれぞれ対応して市松模様状に配列された
画素の各色信号のうち特定の2原色の各色信号を輝度信
号として取り扱い、前記特定の2原色の各色信号に対応
する画素によって囲まれる画素を輝度信号の補間箇所と
し、この補間箇所を中心としてそれぞれ対をなす画素間
の相関度を算出し、算出された相関度の大きい対をなす
画素の各色信号に基づいて輝度信号の補間処理を行い、
上記補間処理済みの輝度信号の低域成分を除去して高域
輝度信号を生成し、上記3原色の各色信号にそれぞれ上
記高域輝度信号を合成することを特徴とする。

【0011】したがって、上記カラー画像信号の処理方
法は、撮像部で生成された3原色の色信号に基づいて高
域輝度信号を生成するとともに、上記3原色の色信号の
それぞれに上記高域輝度信号を合成することによって、
解像度の良好な画像を得ることができる。

【0012】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。

【0013】第1の実施の形態に係る撮像装置は、単板
式であって、例えば1枚のCCD(Charge Coupled Dev
ice )イメージセンサから得られる各色信号に対して画
素間の適応補間により生成された高域輝度成分を合成す
ることによって、高解像度化を図るものである。

【0014】第1の実施の形態に係る撮像装置10は、
例えば図1に示すように、CCDドライバ12により駆
動される1枚のCCDイメージセンサ11と、相関二重
サンプリング/自動利得制御(CDS/AGC:Correl
ated Double sampling/Automatic Gain Control )回路
13と、A/Dコンバータ14と、ディジタルシグナル
プロセッサ(DSP:Digital Signal Processor)15
と、ローパスフィルタ(LPF)17と、バッファメモ
リ18と、適応補間処理回路19と、ハイパスフィルタ
(HPF)20と、バッファメモリ21と、加算回路2
2と、ビデオエンコーダ23とを備える。

【0015】CCDイメージセンサ11は、例えば全画
素同時読出しのものであって、図2に示すように、赤
(R),緑(G),青(B)の各画素が市松模様状の配
列で構成される。CCDイメージセンサ11は、被写体
からの入射光を受光すると、この入射光に応じて色信号
R,G,Bを生成してCDS/AGC回路13に供給す
る。

【0016】CDS/AGC回路13は、各色信号のプ
リチャージレベルとデータレベルをサンプルホールド
し、その差分を検出して正確な信号レベルを検出するこ
とによりランダム雑音を除去し、さらに、各色信号の強
弱に応じてCDS/AGC回路自体の利得を自動的に制
御して常に信号レベルの安定した撮像信号を出力してい
る。

【0017】A/Dコンバータ14は、サンプリングパ
ルスに基づいて駆動するようになっていて、CDS/A
GC回路13からの各色信号をディジタル信号に変換し
てDSP15に供給する。

【0018】DSP15は、ガンマ補正,ニー処理等の
いわゆるディジタル信号処理を各色データに施して、得
られた3原色の各色信号をLPF17及び適応補間処理
回路19に供給する。

【0019】LPF17は、各色信号R,G,Bの高帯
域成分をカットして、低域成分の色データRL,GL,
BLをバッファメモリ18を介して加算回路22に供給
する。

【0020】一方、適応補間処理回路19は、色信号
R,Gから局所画素相関度を計算し、その相関度が最大
になる画素で補間を行って高解像度の輝度信号を得る。

【0021】ここで、適応補間処理回路19は、DSP
15でホワイトバランス調整の施された各色信号R,
G,Bが供給され、図3に示すように、内部メモリ19
aでRG画像を合成する。ホワイトバランス調整後にお
いて色信号Rと色信号Gのレベルは同じに調整されてい
るので、色信号R,Gが有する輝度信号Yの情報に着目
すると、図3の点線で囲った3×3の近傍では、図4に
示すように輝度信号Y1〜Y9が配列されているとみな
すことができる。

【0022】相関度Sは、ある方向の画素列Ynに対し
て以下のように定義される。

【0023】S=min(Yn)/max(Yn) なお、S≦1であるので、S=1のとき相関が最大とな
る。

【0024】縦,横,斜めの各方向の相関度を計算した
後、相関度が最大となる方向で補間を行えば、それに直
交する方向にLPF処理を施すことにはならないので、
直交方向の解像度は劣化しない。換言すると、相関に応
じて適応的に補間することで解像度の向上を図ることが
できる。

【0025】かかる補間処理を行うために、適応補間処
理回路19は、具体的には図5に示すステップS1以下
の処理を行う。

【0026】ステップS1において、適応補間処理回路
19は、色信号R,Gのみを内部メモリ19aに取り込
んで、図3に示すRG画像を得て、ステップS2に進
む。

【0027】ステップS2において、ポインタを最初の
画像補間点に設定して、ステップS3に進む。

【0028】ステップS3において、適応補間処理回路
19は、縦方向の相関度aを計算する。ここで、縦方向
の相関度aは、具体的には以下の式によって算出され
る。

【0029】 a=min(Yn)/max(Yn) min(Yn)=min(Y1,Y4,Y7)・min(Y2,Y8) ・min(Y3,Y6,Y9) max(Yn)=max(Y1,Y4,Y7)・max(Y2,Y8) ・max(Y3,Y6,Y9) 適応補間処理回路19は、算出されたaを変数Xに代入
して、この変数XにフラグAを立てて、ステップS4に
進む。

【0030】ステップS4において、適応補間処理回路
19は、横方向の相関度bを以下の式に基づいて計算し
て、ステップS5に進む。

【0031】 b=min(Yn)/max(Yn) min(Yn)=min(Y1,Y2,Y3)・min(Y4,Y6) ・min(Y7,Y8,Y9) max(Yn)=max(Y1,Y2,Y3)・max(Y4,Y6) ・max(Y7,Y8,Y9) ステップS5において、適応補間処理回路19は、縦方
向と横方向の相関度を比較すべく、Xの値が相関度bよ
り大きいかを判定し、Xが大きいときはステップS7に
進み、Xが大きくないときはステップS6に進む。

【0032】ステップS6において、適応補間処理回路
19は、変数Xに相関度bを代入して、フラグBを立て
て、ステップS7に進む。

【0033】ステップS7において、適応補間処理回路
19は、左上右下斜め方向の相関度cを以下の式により
計算して、ステップS8に進む。

【0034】 c=min(Yn)/max(Yn) min(Yn)=min(Y2,Y6)・min(Y4,Y8) max(Yn)=max(Y2,Y6)・max(Y4,Y8) ステップS8において、適応補間処理回路19は、変数
Xがcより大きいかを判定し、cより大きいときは図6
に示すステップS10に進み、cより大きくないときは
ステップS9に進む。

【0035】ステップS9において、適応補間処理回路
19は、変数Xに相関度cの値を代入して、フラグCを
立てて、図6に示すステップS10に進む。

【0036】ステップS10において、適応補間処理回
路19は、左下右上斜め方向の相関度dを以下の式によ
って算出して、ステップS11に進む。

【0037】 d=min(Yn)/max(Yn) min(Yn)=min(Y2,Y4)・min(Y6,Y8) max(Yn)=max(Y2,Y4)・max(Y6,Y8) ステップS11において、適応補間処理回路19は、変
数Xより相関度dが大きいかを判定し、Xが大きいとき
はステップS13に進み、Xが大きくないときはステッ
プS12に進む。

【0038】ステップS12において、適応補間処理回
路19は、変数Xに相関度dを代入し、フラグDを立て
て、ステップS13に進む。

【0039】ステップS13において、適応補間処理回
路19は、変数Xに立てていたフラグがAであるかを判
定し、フラグがAであるときは縦方向の補間を行い(ス
テップS14)、フラグがAでないときはステップS1
5に進む。ステップS14では、適応補間処理回路19
は、例えば(Y2+Y8)/2のように、Y5に対する
縦方向の輝度信号Yの平均を算出して、縦方向の補間処
理を行う。

【0040】ステップS15において、適応補間処理回
路19は、フラグがBであるかを判定し、フラグがBで
あるときは横方向の補間を行い(ステップS16)、フ
ラグがBでないときはステップS17に進む。ステップ
S16では、適応補間処理回路19は、例えば(Y4+
Y6)/2のように、Y5に対する横方向の輝度信号Y
の平均を算出して、横方向の補間処理を行う。

【0041】ステップS17において、適応補間処理回
路19は、フラグがCであるかを判定し、フラグがCで
あるときは左上右下斜め方向の補間を行い(ステップS
18)、フラグがCでないときはステップS19に進
む。ステップS18では、適応補間処理回路19は、例
えば(Y1+Y9)/2のように、Y5に対する左上右
下斜め方向の輝度信号Yの平均を算出して、斜め方向の
補間処理を行う。

【0042】ステップS19において、適応補間処理回
路19は、フラグがDであるかを判定し、フラグがDで
あるときは左下右上斜め方向の補間を行い(ステップS
20)、フラグがDでないときはステップS21に進
む。ステップS20では、適応補間処理回路19は、例
えば(Y3+Y7)/2のように、Y5に対する左下右
上斜め方向の輝度信号Yの平均を算出して、斜め方向の
補間処理を行う。

【0043】ステップS21において、適応補間処理回
路19は、ポインタを次の画像補間点に設定して、ステ
ップS22に進む。

【0044】ステップS22において、適応補間処理回
路19は、ポインタが最後の画像補間点に設定されたか
を判定して、ポインタが最後の画像補間点に設定された
ときは補間処理を終了し、最後の画像補間点に設定され
ていないと判定したときは上述のステップS3に戻っ
て、ステップS3以下の画像補間処理を実行する。

【0045】以上のように、適応補間処理回路19は、
適応補間処理を次式 Y5=aY1+bY2+cY3+dY4+eY6+fY
7+gY8+hY9 によって表すことができ、周辺画素の相関度を求めてか
らa〜hを設定することにより、最適な適応補間処理を
行うことができる。なお、相関度の代わりに画素間の類
似度で計算してもよい。

【0046】ここで、ステップS18及びステップS2
0では、具体的には図7のステップS31以下のサブル
ーチン処理を行っている。

【0047】ステップS31において、適応補間処理回
路19は、ポインタの近傍Rの分散度σを計算する。

【0048】同じ色の分散度σは、局所近傍空間内にお
いて平均値からの偏差のばらつきを示すものである。例
えば分散度σが小さければ、その色での相関はどの方向
でも同じであることであり、適応補間の効果がなくな
る。すなわち、σRが小さければRを除いたGで縦と横
のみの適応補間を行うようにすれば十分である。

【0049】ここで、分散度σを以下のように定義する
と、 σ色=min(色全画素)/max(色全画素) 図8の場合は σR=min(R1,R2,R3,R4)/max(R
1,R2,R3,R4) となる。

【0050】ステップS32において、適応補間処理回
路19は、分散度σが所定値より大きいかを判定し、大
きいときはステップS33に進み、大きくないときはス
テップS34に進む。

【0051】ステップS33において、適応補間処理回
路19は、斜め方向の補間処理を行う。ここで、ステッ
プS18からの処理を行っているときは左上右下斜め方
向の補間処理を行い、ステップS20からの処理を行っ
ているときは左下右上斜め方向の補間処理を行って、サ
ブルーチン処理を終了する。

【0052】一方、ステップS32で分散度σが大きく
ないと判定したときのステップS34において、適応補
間処理回路19は、上述したステップS3で算出した縦
方向の相関度aとステップS4で算出した横方向の相関
度bのうち、相関度の大きい方向において補間処理を行
って、サブルーチン処理を終了する。

【0053】すなわち、適応補間処理回路19は、分散
度σが大きいときは斜め方向の補間処理を行い、分散度
σが小さいときはその色(R)での相関はどの方向もほ
とんど同じであって適応補間処理の効果がそれほど大き
くないので、Rを除いて一般画像の中で最も頻度の高い
Gのみで縦方向又は横方向の適応補間を行うようになっ
ている。換言すると、分散度σが小さいときは、カラー
画像のR及びGのレベルの違いによる適応補間処理のわ
ずかなずれを回避すべく、最も頻度が高くレベルの高い
Gのみで補間処理を行うことにより、より高解像な画像
を得ることができる。

【0054】以上の処理により輝度信号Yが補間される
と、適応補間処理回路19は、図9に示す輝度信号Y及
び色信号R,GをHPF20に供給する。

【0055】HPF20は、適応補間処理回路19で得
られた輝度信号から低帯域成分をカットすることによ
り、図10に示すように、高域成分の輝度信号YHを生
成して、この高域輝度信号YHをバッファメモリ21を
介して加算回路22に供給する。

【0056】加算回路22は、低帯域成分の各色信号R
L,GL,BLに対して高帯域成分の輝度信号YHをそ
れぞれ合成することによって、高解像度の色信号R,
G,Bを出力する。また、ビデオエンコーダ23は、加
算回路22で生成された高解像度の色信号R,G,Bを
例えばNTSC(National Television System Committ
ee)方式のビデオ信号にエンコードして、外部に設けら
れた図示しないモニタ装置にビデオ信号を供給するよう
になっている。

【0057】以上のように、本実施の形態に係る撮像装
置10では、カラーフィルタの配列からRG画素で適応
補間処理を施すことにより、縦横のみならず斜め方向も
含む全方向の解像度を向上することができる。また、単
板式であるために安価でコンパクトであるにも拘らず、
画素ずらし機構等を用いることなく3板式相当の高解像
度を得ることができる。また、上記撮像装置10は、画
素ずらし機構等を用いることなく高解像度を得ることが
できるので、電子シャッタ機能も使用することができ
る。撮像装置10は、全画素同時読出し式のCCDイメ
ージセンサ11を用いているので、パーソナルコンピュ
ータのモニタ装置等に最適なノンインターレス画像を得
ることができる。

【0058】つぎに、本発明の第2の実施の形態につい
て説明する。なお、上述の実施の形態と同じ回路等につ
いては同じ符号を付けて詳細な説明は省略し、以下、他
の実施の形態においても同様に説明する。

【0059】第2の実施の形態に係る撮像装置30は、
図11に示すように、撮像部30Aとコンピュータ部3
0Bとで構成され、撮像部30Aで得られた色信号R,
G,Bの適応補間処理をコンピュータ部30Bのソフト
処理で行うことによって、フレキシブル(多種類・多機
能)に高解像度の画像の取込を行うことができるもので
ある。

【0060】撮像部30Aは、例えば図11に示すよう
に、CCDイメージセンサ11と、CCDイメージセン
サ11を駆動するCCDドライバ12と、CCDイメー
ジセンサ11からの各色信号に相関二重サンプリング処
理及び利得制御を施すCDS/AGC回路13と、CD
S/AGC回路13から各色信号をディジタル化するA
/Dコンバータ14と、A/Dコンバータ14からのデ
ィジタル化された各色信号にディジタル信号処理を施す
DSP15と、DSP15からの各色信号を所定のビデ
オ信号に変換するビデオエンコーダ23とを備える。こ
れらの回路は、第1の実施の形態と同様の機能を有す
る。

【0061】また、撮像部30Aは、DSP15からの
各色信号に簡易な補間処理を施す簡易補間回路31と、
DSP15からの各色信号をコンピュータ部30Bに送
信するために所定の信号変換処理を施すパーソナルコン
ピュータインターフェース(以下、パソコンI/Fとい
う)32とを備え、画素間が補間された各色信号を出力
し、また、双方向バス33を介してコンピュータ部30
Bに各色信号を送信したり、コンピュータ部30Bから
の制御信号を受信することができるようになっている。

【0062】一方、コンピュータ部30Bは、例えばパ
ーソナルコンピュータに用いて好適なものであり双方向
バス33を介して各色信号が送信されるパソコンI/F
34と、所定のプログラム等を保存するハード・ディス
ク・ドライブ(HDD:HardDisk Drive)メモリ35
と、パソコンI/F34からの各色信号の高域成分をカ
ットするLPF17と、LPF17からの各色信号を記
憶するバッファメモリ18と、パソコンI/F34から
の各色信号に適応補間処理を施す適応補間処理回路19
と、適応補間処理回路19からの各色信号の低域成分を
カットするHPF20と、HPF20からの輝度信号Y
Hを記憶するバッファメモリ21と、バッファメモリ1
8,21からの信号を加算する加算回路22と、加算回
路22からの各色信号をモニタ50に出力するためのア
クセラレータ36とを備える。

【0063】以上のように構成された撮像装置30にお
いて、CCDイメージセンサ11は、色信号R,G,B
を生成し、CDS/AGC回路13,A/Dコンバータ
14を介してDSP15に供給する。DSP15は、ビ
デオエンコーダ23を介して所定のビデオ信号に変換し
て輝度信号Y/クロマ信号Cを出力し、また、簡易補間
回路31を介して簡易補間を施して各色信号を出力した
り、パソコンI/F32を介して各色信号をコンピュー
タ部30Bに送信するようになっている。

【0064】コンピュータ部30Bにおいて、パソコン
I/F34は、適応補間処理回路19及びLPF17に
各色信号を供給する。LPF17は、各色信号の高域成
分を除去した後、各色信号をバッファメモリ18を介し
て加算回路22に供給する。

【0065】適応補間処理回路19は、上述したステッ
プS1〜ステップS22及びステップS31〜ステップ
S34の処理を行うことにより適応補間を施し、図9に
示す輝度信号Y及び各色信号R,G,BをHPF20に
供給する。HPF20は、輝度信号Y及び各色信号の低
域成分をカットすることにより得られる高域の輝度信号
YHをバッファメモリ21を介して加算回路22に供給
する。

【0066】加算回路22は、バッファメモリ18から
の各色信号RL,GL,BLに高域輝度信号Yを加算し
て生成された高解像度の色信号R,G,Bを、アクセラ
レータ36を介してモニタ50に供給する。

【0067】以上のように、第2の実施の形態に係る撮
像装置30は、適応補間処理をパーソナルコンピュータ
内のソフトウェア処理で行うことにより、撮像部30A
の小型化・軽量化を図るとともに、上記ソフトウェアが
例えばバージョンアップしても撮像部30Aを代えるこ
となくフレキシブルに補間処理を行うことができる。ま
た、カラーフィルタの配列からRG画素で適応補間処理
を施すことにより、縦横のみならず斜め方向も含む全方
向の解像度を向上することができる。また、上記撮像装
置30は、単板式であるために安価でコンパクトである
にも拘らず、画素ずらし機構等を用いることなく高解像
度を得ることができ、電子シャッタ機能も使用すること
ができる。また、撮像装置30は、全画素同時読出し式
のCCDイメージセンサ11を用いているので、パーソ
ナルコンピュータのモニタ装置等に最適なノンインター
レス画像を得ることができる。

【0068】つぎに、本発明の第3の実施の形態につい
て説明する。

【0069】第3の実施の形態に係る撮像装置60は、
静止画カメラに好適なものであり、図12に示すよう
に、カメラヘッドユニット(CHU:Camera Head Uni
t)に用いて好適な撮像部60A内の回路を撮像する瞬
間だけ稼働し、コンピュータ部60Bから撮像要求がな
いときには待機モードになって省電力化を図るものであ
る。

【0070】具体的には、撮像部60Aは、例えば図1
2に示すように、CCDイメージセンサ11と、CCD
イメージセンサ11からの各色信号に相関二重サンプリ
ング処理を施すCDS回路13aと、CDS回路13a
からの各色信号の利得を制御するAGC回路13bと、
AGC回路13bからの各色信号の高域成分を除去する
LPF61と、LPF61からの各色信号をディジタル
化するA/Dコンバータ14と、A/Dコンバータ14
からの各色信号に所定の信号変換を施すパソコンI/F
32と、CCDイメージセンサ11を駆動するための読
出しパルス等を生成するタイミングジェネレータ62
と、アイリス制御回路63と、アイリス制御回路63に
基づいてアイリスの調整等を行うレンズブロック64と
を備える。

【0071】CCDイメージセンサ11は、タイミング
ジェネレータ62からの掃き出しパルス及び読出しパル
スに基づいて有効電荷蓄積期間(電子シャッタ期間)が
制御される。また、静止画撮像のために単発撮像(電子
シャッタ期間を1フレーム又は数フレーム期間に設定し
て各色信号のみをパソコンへ転送すること)を行えば十
分なので、タイミングジェネレータ62がCCDイメー
ジセンサ11に供給するクロックは低周波数になってい
る。

【0072】パソコンI/F32は、コンピュータ部6
0Bからの撮像モードの要求に基づいて全回路の機能を
オンにしたり、待機モードの要求に基づいてパソコンI
/F32以外の回路の機能をオフにする。従って、撮像
部60Aは、待機モードのときに電力の消費を抑制し
て、省電力化を図ることができる。

【0073】また、コンピュータ部60Bは、パソコン
I/F34と、所定のプログラム等を保存するHDDメ
モリ35と、パソコンI/F34からの各色信号に所定
の信号処理を施す信号処理回路65と、信号処理回路6
5からの各色信号の高域成分をカットするLPF17
と、LPF17からの各色信号を記憶するバッファメモ
リ18と、パソコンI/F34からの各色信号に適応補
間処理を施す適応補間処理回路19と、適応補間処理回
路19からの各色信号の低域成分をカットするHPF2
0と、HPF20からの各色信号を記憶するバッファメ
モリ21と、バッファメモリ18,21からの信号を加
算する加算回路22と、加算回路22からの各色信号を
モニタ50に出力するためのアクセラレータ36と、撮
像部60Aに電源を供給するための電源回路66とを備
える。

【0074】撮像部60Aのモードの切換制御は、コン
ピュータ部60Bのカメラ制御用ソフトが稼働している
状態において、キーボード入力等に基づいて行われる。
すなわち、撮像部60Aの有する電子シャッタ制御,ア
イリス制御,待機モードの制御はコンピュータ部60B
によって行われ、また、撮像部60Aからの各色信号に
対する適応補間処理やディジタル信号処理もコンピュー
タ部60B内の適応補間処理回路19及び信号処理回路
65で行われるようになっている。

【0075】以上のように構成された撮像装置60にお
いて、コンピュータ部60Bの制御に基づいて待機モー
ドに設定されているときは、撮像部60Aは、電源回路
66から電源が供給されずパソコンI/F32を除いた
全回路の機能が停止する。

【0076】そして、撮像部60Aは、電源回路66か
ら電源が供給されて撮像モードに設定されると全回路が
機能するようになる。このとき、例えばコンピュータ部
60Bは、キーボード等の操作手段の操作設定に基づい
て、パソコンI/F32,アイリス制御回路63を介し
てアイリスを調整することができる。

【0077】また、コンピュータ部60Bが撮像部60
Aに撮像要求すると、CCDイメージセンサ11は、1
フレーム又は数フレーム期間の電子シャッタ期間に得ら
れた各色信号をCDS回路13a,AGC回路13b等
を介してパソコンI/F32に供給する。パソコンI/
F32は、各色信号に所定の信号変換処理を行って双方
向バス33を介してパソコンI/F34に供給する。

【0078】コンピュータ部60Bにおいて、信号処理
回路65は、パソコンI/F34からの各色信号にディ
ジタル信号処理を施して、この各色信号をLPF17等
を介して加算回路22に供給するとともに、適応補間処
理回路19にも供給する。適応補間処理回路19は、信
号処理回路65からの各色信号R,G,Bから高解像度
の輝度信号Yを生成してHPF20等を介して加算回路
22に供給する。加算回路22は、各色信号RL,G
L,BLと高解像度の輝度信号YHとを合成して出力す
ることにより、高解像度の各色信号R,G,Bを生成
し、アクセラレータ36を介してモニタ50に供給する
ことができる。

【0079】以上のように、第3の実施の形態に係る撮
像装置60は、撮像するときのみ撮像部60Aを稼働し
て、待機モードのときには撮像部60Aの各回路の機能
を停止させることにより、省電力化を図ることができ
る。また、撮像装置60は、撮像部60Aで生成された
各色信号について、適応補間処理のみならずニー処理・
ガンマ補正等のディジタル信号処理をもコンピュータ部
60B内のソフトウェア処理で行うことにより、撮像部
60Aの小型化・軽量化を図るとともに、上記ソフトウ
ェアが例えばバージョンアップしても撮像部60Aを代
えることなくフレキシブルに行うことができる。また、
カラーフィルタの配列からRG画素で適応補間処理を施
すことにより、縦横のみならず斜め方向も含む全方向の
解像度を向上することができる。上記撮像装置60は、
単板式であるために安価でコンパクトであるにも拘ら
ず、画素ずらし機構等を用いることなく高解像度を得る
ことができるので、電子シャッタ機能も使用することが
できる。なお、撮像装置60は、全画素同時読出し式の
CCDイメージセンサ11を用いているので、コンピュ
ータ部60Bを介してモニタ装置50にノンインターレ
ス画像を供給することができる。

【0080】つぎに、第4の実施の形態に係る撮像装置
について説明する。第4の実施の形態に係る撮像装置
は、2枚の撮像素子を用いてダイナミックレンジを拡大
するとともに、高解像度の画像を得ることができるもの
である。

【0081】第4の実施の形態に係る撮像装置80は、
例えば図13に示すように、撮像レンズ81によって集
光されて光学フィルタ82で色分離された撮像光がハー
フミラーブロック83を介して入射されるCCDイメー
ジセンサ84,86と、CCDイメージセンサ84から
の画素信号に適応補間処理を施す適応補間処理部85
と、CCDイメージセンサ86からの画素信号に適応補
間処理を施す適応補間処理部87と、適応補間処理部8
5,87からの各色信号を合成する画像合成部88と、
画像合成部88で合成された各色信号を所定のビデオ信
号に変換するビデオエンコーダ89と、全体を制御する
システムコントローラ90とを備える。

【0082】ここで、CCDイメージセンサ84,86
は、例えば全画素同時読出しのものであって、上述の図
2に示すように、赤(R),緑(G),青(B)の各画
素が市松配列で構成される。

【0083】また、CCDイメージセンサ84は、図1
4に示すように、CCDイメージセンサ86に比べて、
掃き捨てパルスから読出しパルスまでの期間である有効
電荷蓄積期間が短く設定されている。従って、CCDイ
メージセンサ84は、CCDイメージセンサ86に比べ
て、全体的に光量の少ない各色信号を出力するようにな
っている。

【0084】ここで、適応補間処理部85と適応補間処
理部87とは同じ構成になっている。具体的には、適応
補間処理部85,87は、図15に示すように、CCD
イメージセンサ84,86からの各色信号に相関二重サ
ンプリング処理等を施すCDS/AGC回路13と、C
DS/AGC回路13から各色信号をディジタル化する
A/Dコンバータ14と、A/Dコンバータ14からの
ディジタル化された各色信号にディジタル信号処理を施
すDSP15とを備える。

【0085】適応補間処理部85,87は、さらに、D
SP15から供給される各色信号の高域成分をカットす
るLPF17と、LPF17からの各色信号を記憶する
バッファメモリ18と、DSP15からの各色信号に適
応補間処理を施す適応補間処理回路19と、適応補間処
理回路19からの各色信号の低域成分をカットするHP
F20と、HPF20からの各色信号を記憶するバッフ
ァメモリ21と、バッファメモリ18,21の各色信号
を加算する加算回路22とを備える。

【0086】画像合成部88は、適応補間処理部85か
らの信号レベルの低い各色信号と適応補間処理部87か
らの通常の信号レベルの各色信号とを選択して出力する
ものであり、図16に示すように、LPF91と、レベ
ル比較器92と、切換回路93とを備える。

【0087】LPF91は、適応補間処理部85から供
給される画素データの不要な高域成分を除去して、この
各色信号をレベル比較器92に供給する。

【0088】レベル比較器92は、図17(A)に示す
ように、LPF91から供給される各色信号HD1のレ
ベルと白潰れが生じるレベルに設定されたスレショール
ドレベルとを比較して、図17(B)に示すように、各
色信号HD1のレベルが高いときにHレベルのスイッチ
制御信号を出力するようになっている。

【0089】切換回路93では、端子aに適応補間処理
部85からの各色信号HD1が供給され、端子bに適応
補間処理部87からの各色信号HD2が供給される。切
換回路93は、レベル比較器92からHレベルのスイッ
チ制御信号が供給されると端子aに供給されている各色
信号HD1を出力し、レベル比較器92からLレベルの
信号が供給されると端子bに供給されている各色信号H
D2を出力するようになっている。

【0090】換言すると、切換回路93の端子aには図
17(A)に示す各色信号HD1が供給され、端子bに
は図17(C)に示す各色信号HD2が供給される。各
色信号HD2が白潰れを生じていない期間は、スイッチ
制御信号がLレベルになっているので、図17(D)に
示すように、切換回路93は各色信号HD2を出力す
る。各色信号HD2に白潰れが生じている期間は、スイ
ッチ制御信号はHレベルになって、図17(D)に示す
ように、切換回路93は各色信号HD1を出力する。

【0091】したがって、例えば室内から屋外を撮影し
ているときに各色信号HD2に白潰れが生じると、画像
合成部88は、この白潰れが生じた部分に各色信号HD
1を挿入することにより白潰れの生じない各色信号を出
力して、ダイナミックレンジを拡大することができる。

【0092】以上のように、撮像装置80は、2枚のC
CDイメージセンサの出力信号に対してそれぞれ適応補
間処理を施して高解像度画像を得ることができ、かつ、
シャッタ時間の異なる各色信号を選択して合成すること
によってダイナミックレンジの向上を図ることができ、
銀塩写真に匹敵する各色信号を得ることができる。ま
た、カラーフィルタの配列からRG画素で適応補間処理
を施すことにより、縦横のみならず斜め方向も含む全方
向の解像度を向上することができる。また、上記撮像装
置80は、画素ずらし機構等を用いることなく高解像度
を得ることができるので、電子シャッタ機能も使用する
ことができる。なお、撮像装置80は、全画素同時読出
し式のCCDイメージセンサ84,86を用いているの
で、パーソナルコンピュータのモニタ装置等に最適なノ
ンインターレス画像を得ることができる。

【0093】また、撮像装置80におけるハーフミラー
ブロック83とCCDイメージセンサ84の間にND
(Neutral Density)フィルタ95を設け、CCDイメ
ージセンサ84,86のシャッタ時間を同じにしてもよ
い。すなわち、CCDイメージセンサ84は、NDフィ
ルタ95を介して入射光を受光すると全体的に光量の少
ない各色信号を生成し、シャッタ時間を短くした場合と
同様の各色信号を生成することができる。

【0094】つぎに、第5の実施の形態に係る撮像装置
について説明する。

【0095】第5の実施の形態に係る撮像装置は、白潰
れのみならず黒潰れも生じないように、図16に示した
画像合成部88の代わりに、白潰れモード又は黒潰れモ
ードの切換を行うことができる画像合成部88aを設け
たものである。

【0096】画像合成部88aにおいて、切換回路94
は、具体的には図18に示すように、適応補間処理部8
5からの各色信号HD1が供給される端子c,fと、適
応補間処理部87からの各色信号HD2が供給される端
子d,eと、端子c又は端子dに供給された各色信号を
選択して出力するスイッチ94Xと、端子e又は端子f
に供給された各色信号を選択して出力するスイッチ94
Yとを備える。スイッチ94X,94Yは、互いに連動
して、システムコントローラ90で切換制御されてい
る。すなわち、システムコントローラ90は、白潰れ補
正モードになったときはスイッチ94Xを端子cに,ス
イッチ94Yを端子dに設定して、また、黒潰れ補正モ
ードになったときはスイッチ94Yを端子eに,スイッ
チ94Yを端子fに設定するようになっている。そし
て、スイッチ94Xは、選択出力した各色信号をLPF
91及び切換回路93の端子aに供給する。スイッチ9
4Yは、選択出力した各色信号を切換回路93の端子b
に供給する。

【0097】LPF91は、各色信号の高域成分を除去
してレベル比較器92に供給する。レベル比較器92
は、図19(A)に示すように、LPF91から供給さ
れる各色信号のレベルとスレショールドレベルとを比較
して、図19(B)に示すように、各色信号のレベルの
方が高いときにスイッチ制御信号を出力するようになっ
ている。ここで、システムコントローラ90は、白潰れ
補正モード又は黒潰れ補正モードに応じてスレショール
ドレベルを設定するようになっている。そして、切換回
路93は、レベル比較器92からHレベルのスイッチ制
御信号が供給されると端子aに供給されている各色信号
を出力し、Lレベルのスイッチ制御信号が供給されると
端子bに供給されている各色信号を出力するようになっ
ている。

【0098】ここで、黒潰れ補正モードに設定される
と、システムコントローラ90は、スイッチ94Xを端
子dに、スイッチ94Yを端子fに切換設定して、スレ
ショールドレベルを黒潰れ補正に応じた所定のレベルに
設定する。このとき切換回路93では、端子aには図1
9(A)に示す各色信号HD2が供給され、端子bには
図19(C)に示す各色信号HD1が供給される。

【0099】各色信号HD1が黒潰れを生じていないと
きは、図19(B)に示すようにスイッチ制御信号がH
レベルになっているので、切換回路93は、図19
(D)に示すように、各色信号HD1を出力する。各色
信号HD1に黒潰れが生じると、スイッチ制御信号はL
レベルになって、切換回路93は、図19(D)に示す
ように、各色信号HD2を出力する。

【0100】すなわち、画像合成部88aは、例えば屋
外から室内を撮影する場合等において一方の各色信号に
黒潰れが生じると、黒潰れの生じた部分に他方の各色信
号を挿入することにより、黒潰れのない各色信号を出力
することができる。

【0101】なお、白潰れモードに設定されると、画像
合成部88aでは、スイッチ94Xは端子cに設定さ
れ、スイッチ94Yは端子dに設定される。すなわち、
画像合成部88aは、画像合成部88と等価になって、
白潰れのない各色信号を出力することができる。

【0102】つぎに第6の実施の形態に係る撮像装置に
ついて説明する。

【0103】第6の実施の形態に係る撮像装置は、3板
式であって、図20に示すように、撮像レンズ101に
より集光されて光学フィルタ102で色分離された撮像
光をR,G,Bの3原色に分解するダイクロイックミラ
ー103と、分解された撮像光に応じて色信号Rを出力
するCCDイメージセンサ104Rと、色信号Gを出力
するCCDイメージセンサ104Gと、色信号Bを出力
するCCDイメージセンサ104Bとを備える。

【0104】ここで、CCDイメージセンサ104R,
104G,104Bは、全画素同時読出し式のものであ
る。また、CCDイメージセンサ104R,104G
は、図21に示すように、半ピッチ斜め画素ずらしをし
て、GR配列をツインカンクス配列にしている。

【0105】また、撮像装置100は、CCDイメージ
センサ104R,104G,104Bからの各色信号に
相関二重サンプリング処理・利得制御を施すCDS/A
GC回路13と、CDS/AGC回路13からの各色信
号をディジタル化するA/Dコンバータ14と、A/D
コンバータ14からの各色信号にガンマ補正等の所定の
ディジタル信号処理を行うDSP15と、DSP15か
らの各色信号の高域成分を除去するLPF17と、LP
F17からの各色信号を記憶するバッファメモリ18
と、DSP15からの各色信号に適応補間の処理を施す
適応補間処理回路19と、適応補間処理回路19からの
各色信号の低域成分を除去して高域の輝度信号を生成す
るHPF20と、HPF20からの高域輝度信号を記憶
するバッファメモリ21と、バッファメモリ18からの
各色信号とバッファメモリ21からの輝度信号を合成す
る加算回路22とを備える。

【0106】以上のように構成された撮像装置100に
おいて、適応補間処理回路19には、DSP15からの
各色信号R,G,Bが供給される。適応補間処理回路1
9内の内部メモリ19aには、図22(A)に示すよう
に、ツインカンクス配列で色信号R,Gが記憶される。

【0107】適応補間処理回路19は、ツインカンクス
配列の色信号R,Gの補間部分にポインタを設定して、
適応補間処理を行う前に縦方向及び横方向の相関度を算
出して、相関度の大きい方向において適応補間処理を行
う。

【0108】ここで、適応補間処理回路19に供給され
る各色信号はホワイトバランス調整後においてRとGの
レベルが同じに調整されているので、画素データR,G
が有する輝度信号Yの情報に着目すると、任意のポイン
タY0近傍では図23に示すように輝度信号Y1〜Y4
が配列されているとみなすことができる。従って、 Y0=aY1+bY2+cY3+dY4 となる。なお、a〜dの値は縦方向又は横方向の画素相
関によって決定される。

【0109】具体的には、適応補間処理回路19は、横
方向のY1とY2、縦方向のY3とY4のレベル差を求
めて、そのレベル差が小さい方向は相関度が大きいと判
断し、相関度が大きい方向でY0の補間処理を行う。例
えば横方向の相関度が大きいときは、Y0=(Y1+Y
2)/2として求めることができる。

【0110】なお、相関度は、画素間の類似度で求めて
もよい。従って、類似度が最も大きくなる方向において
補間処理を行うこともできる。

【0111】適応補間処理回路19は、図22(B)に
示すように、ツインカンクス配列の色信号R,Gの補間
部分に輝度信号を補間したものをHPF20に供給す
る。HPF20は、色信号R,G及び輝度信号の低域成
分を除去することにより高解像度の輝度信号を生成し
て、この輝度信号をバッファメモリ21を介して加算回
路22に供給する。加算回路22は、DSP15からL
PF17等を介して供給される低域成分の各色信号R,
G,Bと高域成分の輝度信号とを加算合成して、高解像
度の各色信号を生成する。

【0112】加算回路22で生成された各色信号は、図
24(A)に示す従来のスペクトル特性に比べて、図2
4(B)に示すスペクトル特性により高域が劣化するこ
となく、縦横の解像度がほぼ倍になっている。

【0113】すなわち、適応補間処理回路19は、適応
補間処理により縦又は横方向近辺においても近似的に適
応補間処理を行って、ツインカンクス領域における信号
生成を良好にし、画質の良好な各色信号を生成すること
ができる。換言すると、適応補間処理は、水平又は垂直
方向に近い信号成分に対して近似的に作用し、折り返し
成分を軽減させる効果があり、全体的に高画質の各色信
号を生成することができる。

【0114】以上のように、撮像装置100は、縦方向
又は横方向の相関度が大きい方向において補間処理を行
って高域成分の輝度信号を生成し、この輝度信号を中域
以下の各色信号R,G,Bにそれぞれ等しく合成するこ
とにより、高解像度で画質の良好な各色信号を生成する
ことができる。また、撮像装置100は、画素ずらし機
構等を用いることなく高解像度を得ることができるの
で、電子シャッタ機能も使用することができる。さら
に、撮像装置100は、全画素同時読出し式のCCDイ
メージセンサ104R,104G,104Bを用いてい
るので、パーソナルコンピュータのモニタ装置等に最適
なノンインターレス画像を得ることができる。

【0115】なお、CCDイメージセンサ104R,1
04G,104Bの画素は、図21に示すツインカンク
ス配列のものに限定されることなく、例えば図2に示す
市松模様状の配列であってもよい。このとき、CCDイ
メージセンサ104R,104G,104Bで生成され
た色信号R,G,Bは、CDS/AGC回路13,A/
Dコンバータ14等を介して適応補間処理回路19に供
給される。そして、適応補間処理回路19は、第1の実
施の形態で説明したような補間処理を行うことができ
る。

【0116】また、第2の実施の形態と同様に、LPF
17,バッファメモリ18,適応補間処理回路19,H
PF20,バッファメモリ21,加算回路22で行う高
域の輝度信号の生成をパーソナルコンピュータのソフト
処理によって行ってもよい。これにより、撮像装置の小
型化・軽量化を図るとともに、上記ソフトウェアが例え
ばバージョンアップしても撮像装置を代えることなくフ
レキシブルに行うことができる。

【0117】なお、本発明は、上述の実施の形態に限定
されるものではなく、例えばCCDイメージセンサの代
わりにMOS等の撮像素子を用いてもよく、特許請求の
範囲に記載された範囲内で種々の変更ができるのは勿論
である。

【0118】

【発明の効果】以上詳細に説明したように、本発明に係
る撮像装置によれば、補間箇所を中心としてそれぞれ対
向する画素の方向において相関度を算出し、この相関度
の大きい方向において2原色の各色信号に基づいて輝度
信号を生成して低域成分を除去し、この高解像度の高域
輝度信号と色信号とを合成することにより高解像度の3
原色の各色信号を生成することができる。すなわち、上
記撮像装置によれば、補間箇所を中心とする全ての方向
の解像度を向上させることができ、また、光路シフトの
ウォーブリング手法を用いていないので電子シャッタ等
の諸機能の妨げになることを回避することができる。

【0119】上記撮像装置では、斜め方向の補間処理を
行う前に補間処理を行う部分の周辺の分散度が小さいと
きには信号レベルの高い色信号が設けられている方向で
あって上記算出した相関度の大きい方向において補間処
理を施すことにより、カラー画像のレベルの違いによる
適応補間処理のわずかなずれを回避して、最も頻度が高
くかつレベルの高い色信号のみで補間処理を行って、よ
り高解像な画像を得ることができる。

【0120】上記撮像装置では、縦方向又は横方向又は
斜め方向の相関度の最も大きい方向において取り込んだ
各色信号間の補間処理を施すことにより、各画像におけ
る各方向の解像度に応じて最も解像度の低い方向の解像
度を向上させることができる。

【0121】上記撮像装置では、単板式又は多板式であ
っても高解像度の画像を得ることができる。

【0122】また、本発明に係る補間処理方法によれ
ば、補間箇所を中心としてそれぞれ対向する画素の方向
において相関度を算出し、算出された相関度の大きい方
向においてにおいて、所定の2原色の各色信号に基づい
て輝度信号を生成して低域成分を除去し、この高解像度
の高域輝度信号と色信号とを合成することにより高解像
度の3原色の各色信号を生成することができる。すなわ
ち、上記補間処理方法によれば、補間箇所を中心とした
全ての方向の解像度を向上させることができ、また、光
路シフトのウォーブリング手法を用いていないので、撮
像装置に設けられている電子シャッタ等の諸機能の妨げ
になることを回避することができる。

【0123】上記撮像方法では、斜め方向の補間処理を
行う前に補間処理を行う部分の周辺の分散度が小さいと
きには信号レベルの高い色信号が設けられている方向で
あって上記算出した相関度の大きい方向において補間処
理を施すことにより、カラー画像のレベルの違いによる
適応補間処理のわずかなずれを回避して、最も頻度が高
くかつレベルの高い色信号のみで補間処理を行って、よ
り高解像な画像を得ることができる。

【0124】上記補間処理方法では、縦方向又は横方向
又は斜め方向の相関度の最も大きい方向において取り込
んだ各色信号間の補間処理を施すことにより、各画像に
おける各方向の解像度に応じて最も解像度の低い方向の
解像度を向上させることができる。

【図面の簡単な説明】

【図1】本発明の第1の実施の形態に係る撮像装置の具
体的な構成を示すブロック図である。

【図2】上記撮像装置のCCDイメージセンサが市松模
様状の配列で構成された状態を示す図である。

【図3】内部メモリにRG画像データを合成したときの
状態を示す図である。

【図4】RG画像データの輝度信号の情報が配列されて
いるときの状態を説明する図である。

【図5】適応補間処理を説明するためのフローチャート
である。

【図6】適応補間処理を説明するためのフローチャート
である。

【図7】適応補間処理を説明するためのフローチャート
である。

【図8】分散度に応じて適応補間処理するときのR,G
の状態を説明する図である。

【図9】補間処理された後のRG画像と輝度信号Yの配
列を示す図である。

【図10】高域成分の輝度信号YHが生成されたときの
状態を示す図である。

【図11】他の実施の形態に係る撮像装置の具体的な構
成を示すブロック図である。

【図12】他の実施の形態に係る撮像装置の具体的な構
成を示すブロック図である。

【図13】他の実施の形態に係る撮像装置の具体的な構
成を示すブロック図である。

【図14】上記撮像装置のCCDイメージセンサの有効
電荷蓄積期間を説明するためのタイミングチャートであ
る。

【図15】上記撮像装置の適応補間処理部の構成を示す
ブロック図である。

【図16】上記撮像装置の画像合成部の構成を示すブロ
ック図である。

【図17】画像データの信号レベルの状態を示す図であ
る。

【図18】上記撮像装置の他の画像合成部の構成を示す
ブロック図である。

【図19】画像データの信号レベルの状態を示す図であ
る。

【図20】他の実施の形態に係る撮像装置の具体的な構
成を示すブロック図である。

【図21】上記撮像装置のCCDイメージセンサの画素
配列を示す図である。

【図22】適応補間処理回路に記憶された画像データ
R,G及び補間された輝度信号Yの配列を示す図であ
る。

【図23】適応補間処理回路における適応補間処理を説
明する図である。

【図24】適応補間処理された画像データのスペクトル
特性を示す図である。

【図25】従来の光学ローパスフィルタ等を用いたとき
の折り返し歪の影響を説明する図である。

【符号の説明】

11 CCDイメージセンサ、19 適応補間処理回
路、20 HPF、22加算回路 簡易補間回路31 パソコンI/F32 パソコンI/F41→34 HDDメモリ42 →35 アクセラレータ43→36 LPF61 信号処理回路71 →65 電源回路72 →66 以上済み

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 3原色にそれぞれ対応して市松模様状に
    配列された画素の色信号をそれぞれ出力する撮像部と、 上記撮像部が出力した各色信号のうち特定の2原色の各
    色信号を取り込んで記憶する記憶手段と、 上記記憶手段に取り込んだ各色信号に対応する画素によ
    って囲まれる画素を輝度信号の補間箇所とし、前記補間
    箇所を挟んで位置する各画素の相関度の大きい方向に位
    置する画素の各色信号に基づいて、上記補間箇所の画素
    の輝度信号を補間することにより補間処理済みの輝度信
    号を生成する補間処理手段と、 補間済みの輝度信号の低域成分を除去して高域輝度信号
    を生成するハイパスフィルタと、 上記高域輝度信号と上記撮像部で生成された3原色の各
    色信号とを合成する合成手段とを備えることを特徴とす
    る撮像装置。
  2. 【請求項2】 上記補間処理手段は、上記補間箇所を中
    心として縦方向又は横方向又は斜め方向において相関度
    を算出し、算出された相関度の大きい方向において補間
    処理を施すことを特徴とする請求項1に記載の撮像装
    置。
  3. 【請求項3】 上記補間処理手段は、上記補間箇所の斜
    め方向で補間処理を施す前に、補間箇所周辺の色信号の
    分散度を算出し、分散度が小さいときには信号レベルの
    高い色信号に基づいて上記算出した相関度の大きい方向
    において補間処理を施すことを特徴とする請求項2に記
    載の撮像装置。
  4. 【請求項4】 上記撮像部は、3原色にそれぞれ対応し
    て市松模様状に配列された画素の色信号をそれぞれ出力
    する1枚の撮像素子であることを特徴とする請求項1に
    記載の撮像装置。
  5. 【請求項5】 上記撮像部は、3原色にそれぞれ対応し
    て市松模様状に配列された画素の色信号をそれぞれ複数
    の撮像素子から出力することを特徴とする請求項1に記
    載の撮像装置。
  6. 【請求項6】 上記記憶手段は、上記撮像部が出力した
    各色信号のうち赤色信号及び緑色信号を取り込んで記憶
    し、 上記補間処理手段は、上記算出された相関度の大きい方
    向において取り込んだ赤色信号及び緑色信号に基づいて
    上記輝度信号を生成することを特徴とする請求項1に記
    載の撮像装置。
  7. 【請求項7】 3原色にそれぞれ対応して市松模様状に
    配列された画素の各色信号のうち特定の2原色の各色信
    号を輝度信号として取り扱い、前記特定の2原色の各色
    信号に対応する画素によって囲まれる画素を輝度信号の
    補間箇所とし、この補間箇所を中心としてそれぞれ対を
    なす画素間の相関度を算出し、 算出された相関度の大きい対をなす画素の各色信号に基
    づいて輝度信号の補間処理を行い、 上記補間処理済みの輝度信号の低域成分を除去して高域
    輝度信号を生成し、 上記3原色の各色信号にそれぞれ上記高域輝度信号を合
    成することを特徴とするカラー画像信号の処理方法。
  8. 【請求項8】 取り込んだ画素によって囲まれる補間箇
    所を中心として縦方向又は横方向又は斜め方向において
    相関度を算出し、算出された相関度の大きい方向におい
    て補間処理を行うことを特徴とする請求項7に記載のカ
    ラー画像信号の処理方法。
  9. 【請求項9】 斜め方向の補間処理を施す前に、補間箇
    所周辺の分散度を算出し、分散度が小さいときには信号
    レベルの高い色信号が設けられている方向であって上記
    算出した相関度の大きい方向において上記2原色の各色
    信号に基づいて輝度信号を生成して上記補間場所に取り
    込むことを特徴とする請求項8に記載のカラー画像信号
    の処理方法。
  10. 【請求項10】 3原色の色信号のうち赤色信号及び緑
    色信号の各色信号を輝度信号として取り扱い、前記赤色
    信号及び緑色信号に対応する画素によって囲まれる画素
    を輝度信号の補間箇所とすることを特徴とする請求項7
    に記載のカラー画像信号の処理方法。
JP30678896A 1996-11-18 1996-11-18 撮像装置及びカラー画像信号の処理方法 Expired - Fee Related JP3787927B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30678896A JP3787927B2 (ja) 1996-11-18 1996-11-18 撮像装置及びカラー画像信号の処理方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP30678896A JP3787927B2 (ja) 1996-11-18 1996-11-18 撮像装置及びカラー画像信号の処理方法
US08969266 US6295087B1 (en) 1996-11-18 1997-11-13 Image pickup apparatus having an interpolation function
TW86117021A TW376640B (en) 1996-11-18 1997-11-14 Image pickup apparatus having an interpolation function
ID973698A ID18876A (id) 1996-11-18 1997-11-17 Pesawat pickup gambar yang memiliki fungsi penyisipan atau penambahan
CN 97126459 CN1123211C (zh) 1996-11-18 1997-11-18 具有插值功能的图像拾取设备和插值方法
MY118915A MY118915A (en) 1996-11-18 1997-11-18 Image pickup apparatus having an interpolation function

Publications (2)

Publication Number Publication Date
JPH10150668A true true JPH10150668A (ja) 1998-06-02
JP3787927B2 JP3787927B2 (ja) 2006-06-21

Family

ID=17961263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30678896A Expired - Fee Related JP3787927B2 (ja) 1996-11-18 1996-11-18 撮像装置及びカラー画像信号の処理方法

Country Status (3)

Country Link
US (1) US6295087B1 (ja)
JP (1) JP3787927B2 (ja)
CN (1) CN1123211C (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1182891A2 (en) * 2000-08-15 2002-02-27 SANYO ELECTRIC Co., Ltd. Color separation circuit in a color camera
EP1229743A2 (en) * 2001-02-06 2002-08-07 Canon Kabushiki Kaisha Signal processing apparatus, signal processing method of the apparatus, operation process program of the method, and storage medium storing the program
JP2007037104A (ja) * 2005-06-21 2007-02-08 Sony Corp 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
WO2007145087A1 (ja) 2006-06-16 2007-12-21 Sony Corporation 撮像装置及び信号処理方法
JP2008104009A (ja) * 2006-10-19 2008-05-01 Sony Corp 撮像装置および撮像方法
EP1978752A2 (en) 2007-04-05 2008-10-08 Sony Corporation Image processing device
US7477803B2 (en) 2003-09-12 2009-01-13 Canon Kabushiki Kaisha Image processing apparatus
EP1367837A4 (en) * 2001-01-25 2009-04-01 Nikon Corp Image processing method, image processing program, and image processor
JP2016048889A (ja) * 2014-08-28 2016-04-07 株式会社日立国際電気 撮像装置およびその変調度補正方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11168745A (ja) * 1997-12-03 1999-06-22 Minolta Co Ltd デジタルカメラ
JP4066484B2 (ja) * 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
JPH11196427A (ja) * 1997-12-26 1999-07-21 Canon Inc 単板カラー撮像装置
US6421084B1 (en) * 1998-03-02 2002-07-16 Compaq Computer Corporation Method for interpolating a full color image from a single sensor using multiple threshold-based gradients
JP3972478B2 (ja) * 1998-08-11 2007-09-05 ソニー株式会社 撮像装置
JP3556859B2 (ja) * 1998-09-08 2004-08-25 富士写真フイルム株式会社 画像補正方法、画像補正装置及び記録媒体
KR20000074616A (ko) * 1999-05-24 2000-12-15 윤종용 스위치드 커패시터 기법을 이용한 이득 조절장치
US7010172B1 (en) * 1999-07-27 2006-03-07 Fuji Photo Film Co., Ltd. Image acquiring method, image processing method, and image transforming method
US7088391B2 (en) * 1999-09-01 2006-08-08 Florida Atlantic University Color video camera for film origination with color sensor and luminance sensor
US7053944B1 (en) * 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
US6809765B1 (en) * 1999-10-05 2004-10-26 Sony Corporation Demosaicing for digital imaging device using perceptually uniform color space
US6781626B1 (en) * 2000-01-13 2004-08-24 Biomorphic Vlsi, Inc. System and method of color interpolation
US6947153B1 (en) * 2000-11-20 2005-09-20 Presstek, Inc. Method and apparatus for optimized image processing
JP2002232908A (ja) * 2000-11-28 2002-08-16 Monolith Co Ltd 画像補間方法および装置
EP1246474A1 (fr) * 2001-03-27 2002-10-02 Philips Electronics N.V. Appareil de prise de vue et procédé pour traiter des images prises par un tel appareil
KR100396898B1 (ko) * 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법
US20030117507A1 (en) * 2001-12-21 2003-06-26 Nasser Kehtarnavaz Color filter array interpolation
JP2003274264A (ja) * 2002-03-13 2003-09-26 Sony Corp 撮像装置及び映像信号生成方法
US7292277B2 (en) * 2002-04-08 2007-11-06 Fujifilm Corporation Solid-state image pick-up device and digital still camera
US6983080B2 (en) * 2002-07-19 2006-01-03 Agilent Technologies, Inc. Resolution and image quality improvements for small image sensors
US7212689B2 (en) * 2002-11-06 2007-05-01 D. Darian Muresan Fast edge directed polynomial interpolation
US8040385B2 (en) * 2002-12-02 2011-10-18 Olympus Corporation Image pickup apparatus
WO2004051987A1 (ja) * 2002-12-02 2004-06-17 Olympus Corporation 撮像装置
JP2004193970A (ja) * 2002-12-11 2004-07-08 Sanyo Electric Co Ltd 画像データ処理装置
JP2004229055A (ja) * 2003-01-24 2004-08-12 Pentax Corp 画像処理装置
JPWO2005064925A1 (ja) * 2003-12-26 2007-12-20 オリンパス株式会社 撮像装置
JP4239091B2 (ja) * 2004-02-09 2009-03-18 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP4239094B2 (ja) * 2004-03-03 2009-03-18 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP4352331B2 (ja) * 2004-09-09 2009-10-28 富士フイルム株式会社 信号処理装置、信号処理方法及び信号処理プログラム
CN100410985C (zh) 2004-09-22 2008-08-13 索尼株式会社 图像显示单元与校正图像显示单元中的亮度的方法
US20060119724A1 (en) * 2004-12-02 2006-06-08 Fuji Photo Film Co., Ltd. Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method
KR100721338B1 (ko) 2004-12-30 2007-05-28 엘지전자 주식회사 디지털 촬영장치의 색상 보간법
US8064110B2 (en) 2005-12-08 2011-11-22 Qualcomm Incorporated Adaptive auto white balance
CN100433779C (zh) * 2006-04-28 2008-11-12 天津大学 全相位离散余弦变换内插核函数及用于图像分辨率的改变
US8594465B2 (en) * 2007-11-14 2013-11-26 Microsoft Corporation Adaptive filtering for image transform processes
KR100891825B1 (ko) * 2007-11-27 2009-04-07 삼성전기주식회사 디지털 영상의 컬러 노이즈 제거 장치 및 방법
CN102164246A (zh) * 2011-03-08 2011-08-24 青岛海信移动通信技术股份有限公司 一种移动终端生成满足设定分辨率照片的实现方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68926637D1 (de) 1988-07-13 1996-07-18 Hitachi Ltd Konvergenzfehler-Korrektur für Festkörperbildaufnahmegeräte
KR940000471B1 (ko) * 1990-09-19 1994-01-21 강진구 화상처리를 위한 피일드 보간회로 및 방식
US5268758A (en) * 1990-09-26 1993-12-07 Matsushita Electric Industrial Co., Ltd. Horizontal line interpolation circuit and image pickup apparatus including it
JP2942903B2 (ja) * 1990-11-05 1999-08-30 キヤノン株式会社 ディジタル・カメラ信号処理装置
JP3011479B2 (ja) 1991-05-27 2000-02-21 三洋電機株式会社 撮像装置
JPH05122612A (ja) 1991-10-28 1993-05-18 Olympus Optical Co Ltd 撮像装置
US5289269A (en) 1991-12-27 1994-02-22 Nippon Television Network Corporation Color television camera with details of luminance signal formation
JP2931520B2 (ja) 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
JPH07236150A (ja) 1994-02-22 1995-09-05 Matsushita Electric Ind Co Ltd 撮像装置
US6018363A (en) * 1994-04-28 2000-01-25 Canon Kabushiki Kaisha Image sensing apparatus with optical-axis deflecting device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1182891A2 (en) * 2000-08-15 2002-02-27 SANYO ELECTRIC Co., Ltd. Color separation circuit in a color camera
EP1182891A3 (en) * 2000-08-15 2005-02-02 SANYO ELECTRIC Co., Ltd. Color separation circuit in a color camera
EP1367837A4 (en) * 2001-01-25 2009-04-01 Nikon Corp Image processing method, image processing program, and image processor
EP1229743A3 (en) * 2001-02-06 2004-12-15 Canon Kabushiki Kaisha Signal processing apparatus, signal processing method of the apparatus, operation process program of the method, and storage medium storing the program
EP1229743A2 (en) * 2001-02-06 2002-08-07 Canon Kabushiki Kaisha Signal processing apparatus, signal processing method of the apparatus, operation process program of the method, and storage medium storing the program
US7053940B2 (en) 2001-02-06 2006-05-30 Canon Kabushiki Kaisha Signal processing apparatus, method, program of the method, and storage medium storing the program for interpolating an output color signal from an image sensing device
US7477803B2 (en) 2003-09-12 2009-01-13 Canon Kabushiki Kaisha Image processing apparatus
KR101253760B1 (ko) * 2005-06-21 2013-04-12 소니 주식회사 화상처리장치 및 화상처리방법, 촬상장치와컴퓨터·프로그램
JP2007037104A (ja) * 2005-06-21 2007-02-08 Sony Corp 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US7982781B2 (en) 2005-06-21 2011-07-19 Sony Corporation Image processing device, image processing method, and imaging apparatus
WO2007145087A1 (ja) 2006-06-16 2007-12-21 Sony Corporation 撮像装置及び信号処理方法
US8471936B2 (en) 2006-06-16 2013-06-25 Sony Corporation Imaging device and signal processing method
JP2008104009A (ja) * 2006-10-19 2008-05-01 Sony Corp 撮像装置および撮像方法
EP1978752A2 (en) 2007-04-05 2008-10-08 Sony Corporation Image processing device
JP2016048889A (ja) * 2014-08-28 2016-04-07 株式会社日立国際電気 撮像装置およびその変調度補正方法

Also Published As

Publication number Publication date Type
CN1123211C (zh) 2003-10-01 grant
US6295087B1 (en) 2001-09-25 grant
CN1189044A (zh) 1998-07-29 application
JP3787927B2 (ja) 2006-06-21 grant

Similar Documents

Publication Publication Date Title
US7057658B1 (en) Digital camera capable of forming a smaller motion image frame
US6018363A (en) Image sensing apparatus with optical-axis deflecting device
US20040061797A1 (en) Digital camera
US20030156212A1 (en) Digital camera
US20010024237A1 (en) Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor
US6952234B2 (en) Image pickup apparatus and method for broadening apparent dynamic range of video signal
US20040095485A1 (en) Imaging apparatus and control method thereof
US20090059031A1 (en) Image-Capturing Apparatus and Method, Recording Apparatus and Method, and Reproducing Apparatus and Method
US5719624A (en) Image recording apparatus with arithmetic processing
US6762792B1 (en) Digital still camera
US20060038914A1 (en) Image pickup apparatus with function of adjusting incident light quantity
US6882754B2 (en) Image signal processor with adaptive noise reduction and an image signal processing method therefor
US6295087B1 (en) Image pickup apparatus having an interpolation function
JP2004304706A (ja) 固体撮像装置およびその補間処理方法
US20030169355A1 (en) Solid-state image pickup apparatus with horizontal thinning and a signal reading method for the same
US20070188634A1 (en) Imaging apparatus
US20070115368A1 (en) Photographing apparatus, display control method, and program
JP2002084449A (ja) 固体撮像素子を用いた撮像装置
US20070109399A1 (en) Video image capture device
US20040141087A1 (en) Solid-state image pickup apparatus with influence of shading reduced and a method of controlling the same
JP2003309763A (ja) 動画撮像システム
JP2004007543A (ja) 撮像装置および撮像方法
US20100060752A1 (en) Image pickup apparatus and reproduction control apparatus
JP2000224490A (ja) 撮像制御装置および撮像制御方法
US20080100736A1 (en) Image sensing apparatus and control method therefor

Legal Events

Date Code Title Description
A977 Report on retrieval

Effective date: 20051128

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060320

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090407

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 5

Free format text: PAYMENT UNTIL: 20110407

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20120407

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20130407

LAPS Cancellation because of no payment of annual fees