JPH10336686A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JPH10336686A
JPH10336686A JP10052523A JP5252398A JPH10336686A JP H10336686 A JPH10336686 A JP H10336686A JP 10052523 A JP10052523 A JP 10052523A JP 5252398 A JP5252398 A JP 5252398A JP H10336686 A JPH10336686 A JP H10336686A
Authority
JP
Japan
Prior art keywords
color
image information
color image
pixel
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10052523A
Other languages
English (en)
Other versions
JP3704238B2 (ja
Inventor
Akira Suzuki
明 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP05252398A priority Critical patent/JP3704238B2/ja
Priority to US09/048,899 priority patent/US6426773B1/en
Priority to DE69838194T priority patent/DE69838194T2/de
Priority to EP98105787A priority patent/EP0869683B1/en
Priority to ES98105787T priority patent/ES2287962T3/es
Publication of JPH10336686A publication Critical patent/JPH10336686A/ja
Application granted granted Critical
Publication of JP3704238B2 publication Critical patent/JP3704238B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/686Vibration or motion blur correction performed by mechanical compensation with a variable apex prism
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/048Picture signal generators using solid-state devices having several pick-up sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/048Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 簡易な構成により擬色や手ブレの発生を防止
できるようにすることを課題とする。 【解決手段】 レンズ101により光学的に被写体像を
入力し、異なる波長感度の受光素子が2次元的に配列さ
れたCCD103Aによりレンズ101を通じて入力さ
れた被写体像からカラー画像情報を得る構成において、
CPU121は、CCD103Aに接続されたアクチュ
エータ103Bを駆動してCCD103Aと被写体像と
を相対的に変位させ、CCD103Aから同一被写体の
複数のカラー画像情報を得て、複数のカラー画像情報に
基づいて一定の色で1画面分のカラー画像情報を求め、
1画面分の一定の色のカラー画像情報を用いて1画面分
のカラー画像情報を求める。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、撮像装置に関
し、詳細には、撮像素子を用いて被写体の高画質なカラ
ー画像情報を入力する撮像装置に関するものである。
【0002】
【従来の技術】被写体のカラー画像情報を得るために
は、一般的に、R,G,B(原色)またはY,M,C,
G(補色)等の異なる波長感度の撮像素子が必要であ
る。そこで、従来は一般的に3つに分類される撮像方式
がある。
【0003】すなわち、第1の撮像方式は、撮影光学系
の中にカラーフィルタを内蔵して順時切り換えながら、
R,G,B各色のカラー画像情報を得る技法である。図
35はこの第1の撮像方式を用いた撮像装置を概略的に
示す構成図である。第1の撮像方式では、図35に示し
たように、撮影光学系401と撮像素子405間にカラ
ーフィルタとしてR(レッド)フィルタ402,G(グ
リーン)フィルタ403,B(ブルー)フィルタ404
が設置される。
【0004】これらRフィルタ402,Gフィルタ40
3,Bフィルタ404を矢印S方向(図中の垂直方向)
に移動させることで、順次カラーフィルタの切り換えが
行われる。第1の撮像方式では、この切り替え動作の影
響により、カラー画像情報を得るために時間がかかる。
【0005】また、第2の撮像方式は、被写体像をダイ
クロイックプリズム等を用いて3色に色分解してR,
G,Bそれぞれの色分解された被写体像をそれぞれ3枚
の撮像素子を用いて各色のカラー画像情報を得る技法で
あり、一般的に3CCD方式と呼ばれている。図36は
この第2の撮像方式を用いた撮像装置を概略的に示す構
成図である。第2の撮像方式では、図36に示したよう
に、撮影光学系501とR撮像素子502,G撮像素子
503,B撮像素子504間にダイクロックプリズム5
05が設置される。
【0006】第2の撮像方式では、前記第1の撮像方式
と比べて各色(R,G,B)のカラー画像情報が同時に
得られるメリットがあるが、その反面複雑なプリズムを
用いたり3枚ものR,G,B撮像素子502,503,
504が必要になるなど、非常に高価な装置となる。
【0007】また、第3の撮影方式は、固体撮像素子を
用いて受光される各画素毎に異なる波長感度でカラー情
報を得る技法である。図37はこの第3の撮像方式を用
いた撮像装置を概略的に示す構成図、図38は受光素子
のカラー配列を示す図、図39は濃淡のある被写体の一
例を示す図、そして、図40は色に応じた濃度レベルを
示す図である。第3の方式では、カラー固体撮像素子6
02は、図38に示した如く、2次元的に配列された受
光素子上にカラーフィルタなどを設け、各画素ごとに異
なる波長感度となるように受光素子を配列した構成であ
る。
【0008】この第3の撮影方式では、図37に示した
ように、撮影光学系601を通じてカラー固体撮像素子
602に受光される各画素毎に異なる波長感度でカラー
情報が得られる。この第3の撮影方式では、単板でカラ
ー画像情報が得られるメリットがあるが、その反面異な
る波長感度の受光素子を平面的に配列しているため、同
一被写体の同一部分の色情報を得ることができなくな
る。
【0009】このため、図39のように、1画素毎に濃
淡のある被写体像について図38に示したカラー配列の
カラー固体撮像素子によりカラー画像情報を得た場合に
は、図40に示したように、R,G,Bの各色に応じた
信号が発生する。このような現象は一般に疑色と呼ばれ
る。このような現象を防止するには、図39に示した濃
淡のある画像すなわち高周波な画像を入力しないことが
必要である。すなわち、一般には撮影光学系601に光
学的ローパスフィルタを設けることで、画像がぼかさ
れ、そのぼかしを利用して疑色の発生を防止することが
できる。
【0010】ところが、光学的ローパスフィルタにより
画像がぼけた場合には、高解像な画像が得られないとい
う問題がある。このこ問題を解決する方法として、例え
ば特開平7−322121号公報による“高画質画像撮
像装置”が提案されている。
【0011】この公報には、光軸変更装置としてVA
(Variable Angle)プリズムを用いるこ
とで被写体像の位置を撮像素子に対して変位させ、この
変位を通じて高画質画像を得るという技術が開示されて
いる。この技術によれば、複数回同一の画像を取り込む
ことで撮像素子の総画素がm画素とした場合には、n種
の異なる被写体像を取り込めば、n×m画素相当の画像
が得られる。
【0012】この公報による技術は、第2の撮像方式と
第3の撮像方式とを組み合わせた混合方式となる。図4
1及び図42はこの混合方式をカラー配列で説明する図
である。この混合方式は、C(シアン),Y(イエロ
ー),M(マゼンタ),G(グリーン)の補色フィルタ
のカラー配列(図41参照)をもつ撮像素子を1画素ピ
ッチだけ左右上下の4方向に変位させ、図42に示した
ように4枚のカラー画像情報を得て被写体の同一部分の
各C,Y,M,Gの色情報を得るものである。
【0013】
【発明が解決しようとする課題】上記公報のように従来
例による高画質画像撮像装置は、被写体像を変位させる
ことで第2の撮像方式を時系列時に行うようにしたの
で、前述した第3の撮像方式のような疑色の発生はない
が、第1の撮像方式と同様に切り替えを行うことから、
順時4つのカラー画像情報を得ることになる。それゆ
え、疑色の発生を防止する代わりに、撮像に必要以上に
時間がかかったり手ブレが生じるなどの問題や、撮像素
子を左右上下の4方向に変化させるために2軸(左右方
向,上下方向)の変位装置が必要になるなどの問題があ
った。
【0014】この発明は、上述した従来例による問題を
解消するため、簡易な構成により疑色や手ブレの発生を
防止することが可能な撮像装置を得ることを目的とす
る。
【0015】
【課題を解決するための手段】上述した課題を解決し、
目的を達成するため、請求項1の発明に係る撮像装置
は、光学的に被写体像を入力する光学的入力手段と、異
なる波長感度の受光素子が2次元的に配列され、光学的
入力手段により入力された被写体像からカラー画像情報
を得る撮像手段と、撮像手段に接続され、撮像手段と光
学的入力手段により入力される被写体像とを相対的に変
位させる相対位置変位手段と、相対位置変位手段を駆動
させ、撮像手段から同一被写体の複数のカラー画像情報
を得て、複数のカラー画像情報に基づいて一定の色で1
画面分のカラー画像情報を求め、1画面分の一定の色の
カラー画像情報を用いて1画面分のカラー画像情報を求
める制御手段と、を備えたことを特徴とする。
【0016】この請求項1の発明によれば、相対位置変
位手段により撮像手段と光学的入力手段により入力され
る被写体像とを相対的に変位させ、その変位で得られた
同一被写体の複数のカラー画像情報に基づき一定の色で
1画面分のカラー画像情報を求めてから、その一定の色
のカラー画像情報に基づき1画面分のカラー画像情報を
求めるようにしたので、色相の変化の分離能力が人間の
視覚の特性である輝度の変化の分離能力よりも低いこと
を利用して、高い周波数での色相の変化は検出せずグレ
ーと感じてしまう所を利用することになり、これによっ
て、簡易な構成により疑色や手ブレの発生を防止するこ
とが可能である。
【0017】また、請求項2の発明に係る撮像装置は、
請求項1の発明において、前記制御手段は、前記一定の
色の相関に基づいて、注目画素の不足したカラー画像情
報を求めることを特徴とする。
【0018】この請求項2の発明によれば、一定の色の
相関に基づいて、注目画素の不足したカラー画像情報を
求めているので、不足したカラー画像情報を正確に算出
することが可能となる。
【0019】また、請求項3の発明に係る撮像装置は、
請求項2の発明において、前記制御手段は、前記注目画
素の前記一定の色のカラー画像情報と当該注目画素の周
囲にある周囲画素の前記一定の色のカラー画像情報とを
比較し、相関の最も高い周囲画素のカラー画像情報に基
づき、当該注目画素の不足したカラー画像情報を求める
ことを特徴とする。
【0020】この請求項3の発明によれば、注目画素の
一定の色のカラー画像情報と注目画素の周囲にある周囲
画素の一定の色のカラー画像情報とを比較し、相関の最
も高い周囲画素のカラー画像情報に基づき、注目画素の
不足したカラー画像情報を求めているので、不足したカ
ラー画像情報をより正確に算出することが可能となる。
【0021】また、請求項4の発明に係る撮像装置は、
請求項1の発明において、注目画素の不足したカラー画
像情報を作成する際に、当該着目画素の周りにある使用
可能な周囲画素が、当該注目画素に対して水平・垂直・
斜めのいずれの方向にも少なくとも1画素存在するよう
に受光素子を配したことを特徴とする。
【0022】この請求項4の発明によれば、受光素子
を、注目画素の不足したカラー画像情報を作成する際
に、着目画素の周りにある使用可能な周囲画素が、注目
画素に対して水平・垂直・斜めのいずれの方向にも少な
くとも1画素存在するように配したので、不足したカラ
ー画像情報を正確に算出することが可能となる。
【0023】また、請求項5の発明に係る撮像装置は、
請求項4の発明において、前記制御手段は、当該注目画
素の前記一定の色のカラー画像情報と前記使用可能な周
囲画素の前記一定の色のカラー画像情報とを比較し、相
関の最も高い前記使用可能な周囲画素のカラー画像情報
に基づき、当該注目画素の不足したカラー画像情報を求
めることを特徴とする。
【0024】この請求項5の発明によれば、注目画素の
一定の色のカラー画像情報と使用可能な周囲画素の一定
の色のカラー画像情報とを比較し、相関の最も高い使用
可能な周囲画素のカラー画像情報に基づき、注目画素の
不足したカラー画像情報を求めているので、不足したカ
ラー画像情報をより正確に算出することが可能となる。
【0025】また、請求項6の発明に係る撮像装置は、
請求項1の発明において、相対位置変位手段は被写体像
と撮像手段とのいずれか一方を変位させることを特徴と
する。
【0026】この請求項6の発明によれば、被写体像と
撮像手段とのいずれか一方を変位させるので、相対的位
置に変位が生じ、これによって、複数の撮像素子及びミ
ラー光学系を必要としない簡易な構成を得ることが可能
である。
【0027】また、請求項7の発明に係る撮像装置は、
請求項1の発明において、前撮像手段は複数の撮像素子
より構成され、相対位置変位手段は光学的入力手段によ
り入力される被写体像を複数の光路に分岐させ、各撮像
素子に被写体像と同一の被写体像を受光させることを特
徴とする。
【0028】この請求項7の発明によれば、光学的入力
手段により入力される被写体像を複数の光路に分岐さ
せ、各撮像素子に被写体像と同一の被写体像を受光させ
るようにしたので、手ブレ等が発生せず動画情報も取得
可能であるとともに、3板式撮像装置のように色分解の
ためのダイクロイックプリズム等の複雑な光学系を必要
としない簡易な構成を得ることが可能である。
【0029】また、請求項8の発明に係る撮像装置は、
請求項1の発明において、撮像手段はR(赤)、G
(緑)、B(青)の3原色フィルタを有し、3原色フィ
ルタは相対位置変位手段の変位ですべての画素位置に一
定の色に当たるG(緑)の原色フィルタが入るようにカ
ラー配列されていることを特徴とする。
【0030】この請求項8の発明によれば、R,G,B
の3原色フィルタを相対位置変位手段の変位ですべての
画素位置に一定の色に当たるG(緑)の原色フィルタが
入るようにカラー配列したので、R(赤),B(青)の
分光感度に対して双方にオーバラップした広い分光感度
を持つことになり、これによって、Gのカラー画像情報
を1画面全体に取得することで被写体像の情報量が増
え、人間の視覚特性に合致させることが可能である。
【0031】また、請求項9の発明に係る撮像装置は、
請求項1の発明において、撮像手段は、電子シャッタと
メカシャッタとを有し、電子シャッタとメカシャッタと
の駆動タイミングに対応させて各カラー画像情報の露光
時間の中での有効な蓄積時間を設定し、各露光時間中に
撮像手段の転送動作を完了することを特徴とする。
【0032】この請求項9の発明によれば、電子シャッ
タとメカシャッタとの駆動タイミングに対応させて各カ
ラー画像情報の露光時間の中での有効な蓄積時間を設定
し、各露光時間中に撮像手段の転送動作を完了するよう
にしたので、複数のカラー画像情報を得るための蓄積時
間の間隔が短縮され、これによって、手ブレ等の問題を
解消することが可能である。
【0033】また、請求項10の発明に係る撮像装置
は、請求項1の発明において、制御手段は、少なくとも
複数のカラー画像情報の蓄積時間の差を補正することを
特徴とする。
【0034】この請求項10の発明によれば、少なくと
も複数のカラー画像情報の蓄積時間の差を補正するよう
にしたので、複数のカラー画像情報を取得するときの露
光ムラがあっても高画質な画像を取得することが可能で
ある。
【0035】
【発明の実施の形態】以下に添付図面を参照して、この
発明に係る撮像装置の好適な実施の形態を詳細に説明す
る。なお、以下に説明する実施の形態では、この発明の
一実施の形態としてデジタルカメラを例に挙げて説明す
る。
【0036】(実施の形態1)図1は本発明の実施の形
態1によるデジタルカメラの構成を示すブロック図であ
る。デジタルカメラは、図1に示したように、レンズ1
01、オートフォーカス等を含むメカ機構102、CC
D103A、アクチュエータ103B、CDS(相関2
重サンプリング)回路104、A/D変換器105、デ
ジタル信号処理部106、DCT107、コーダー10
8、MCC109、バッファメモリ110、ビデオアン
プ111、内部メモリ112、CPU121、表示部1
22、操作部123、パラメータメモリ124、モータ
ドライバ125、SG(制御信号生成)部126、スト
ロボ127、AFセンサ128などを備えている。
【0037】レンズユニットは、レンズ101、オート
フォーカス(AF)・絞り・フィルタ部を含むメカ機構
102等からなり、メカ機構102のメカニカルシャッ
ターは2つのフィールドの同時露光を行う。CCD10
3Aは、レンズユニットを介して入力した映像を電気信
号(アナログ画像データ)に変換する。アクチュエータ
103Bは、CCD103Aに取り付けられ、CPU1
21の制御に従ってCCD103Aと被写体との相対的
に位置関係を変位させる。
【0038】CDS回路104は、CCD型撮像素子に
対する低雑音化のための回路である。またA/D変換器
105は、CDS回路104を介して入力したCCD1
03Aからのアナログ画像データをデジタル画像データ
に変換する。すなわち、CCD103の出力信号は、C
DS回路104を通してA/D変換器105で最適なサ
ンプリング周波数(例えば、NTSC信号のサブキャリ
ア周波数の整数倍)にてデジタル信号に変換される。
【0039】また、デジタル信号処理部106は、A/
D変換器105から入力したデジタル画像データを色差
と輝度に分けて各種処理、補正及び画像圧縮/伸長のた
めのデータ処理を施す。DCT(Discrete C
osine Transform)107は、例えばJ
PEG準拠の画像圧縮・伸長の一過程である直交変換を
行い、そしてコーダー(Huffman Encode
r/decoder)108は、JPEG準拠の画像圧
縮・伸長の一過程であるハフマン符号化・複合化等を行
う。
【0040】またMCC(Memory Card C
ontroller)109は、圧縮処理された画像と
図示せぬマイクから取り込まれてデジタル化された音声
を一旦蓄え、同時処理して内部メモリ112またはメモ
リカードへの記録・読み出しを行う。CPU121は、
操作部123からの指示、或いは図示しないリモコン等
の外部動作指示に従い、上記各部の動作を制御する。
【0041】表示部122は、LCD,LED,EL等
で実現されており、撮影したデジタル画像データや伸長
処理された記録画像データに基づく画像を表示すると共
に、当該デジタルカメラの状態等を表示する。また、操
作部123は、機能選択、撮影指示、及びその他の各種
設定を外部から行うためのボタンを備える。この操作部
123は、レリーズボタン123Aを有しており、この
レリーズボタン123Aの操作によりCPU121へレ
リーズ信号を出力する。
【0042】次に、上記撮像装置の要部について説明す
る。図2はこの実施の形態1による相対変位機構を示す
構成図である。図2において、カラー固体撮像素子であ
るCCD303Aは、素子ホルダ103Cに取り付けら
れ支持される。相対位置変位手段であるアクチュエータ
103Bは、この素子ホルダ103Cに接続され、この
素子ホルダ103Cを矢印Tで示す方向に移動させる。
尚、アクチュエータ103Bの取り付け角度は、これに
限定されるものではなく、CCD303Aを変位させる
方向に対応した角度に取り付ければ良い。例えば、斜め
方向にCCD303Aを変位させる場合には、素子ホル
ダ103Cに対して斜め方向にアクチュエータ103B
を取り付ければ良い。
【0043】図2に示した構成によれば、撮影光学系で
あるレンズ101を通して入射される被写体像はCCD
103Aによる受光で得られるが、CPU121の制御
によりアクチュエータ103Bを駆動させることで撮影
範囲が変化し、CCD103Aと被写体との間の複数の
異なる相対位置関係で複数枚の被写体像(カラー画像情
報)が取得される。
【0044】次に、実施の形態1によるカラー画像情報
の取得方法について説明する。図3〜図7は実施の形態
1による相対変位による受光素子の遷移を説明する図、
図8は注目画素のカラー画像情報を説明する図、そし
て、図9及び図10は明部と暗部との繰り返しパターン
を説明する図である。
【0045】図3に示したCCD103Aには、R(赤
色),G(緑色),B(青色)の順にマトリクス状に画
素を配列させたカラー配列が示されている。R画素,B
画素,G画素はそれぞれ赤色,青色,緑色に主に感度を
持つ受光部に当たる。ただし、図3に示したR,G,B
の各画素の配列は、一般的なR,G,B市松配列を示し
たものであり、これに限定されるものではない。
【0046】図4を基準となる被写体像のカラー画像情
報とした場合、相対位置変位手段であるアクチュエータ
103Bによりカラー固体撮像素子であるCCD103
Aを被写体像に対して相対的に水平方向(図5中の矢印
Xで示した方向)に1画素変位させると、図5に示した
ように図4のものとは1画素右に変位したカラー画像情
報が得られる。
【0047】そこで、基準のカラー画像情報と変位で得
られたカラー画像情報とを図42のように重ねて同一被
写体像の対応関係をみる。すなわち、図6に示したよう
に、同一被写体において、基準のカラー画像情報は画面
左端をCCD103Aの第1列(R,G,B…)の配列
配列で受光した被写体像となるが、変位で得られたカラ
ー画像情報は、撮像時に基準の画面左端よりも1画素分
右に変位していることから、基準の画面左端よりも1画
素右に変位した左端をCCD103Aの第1列(R,
G,B…)の配列で受光した被写体像となる。
【0048】このため、例えば基準のCCD103Aの
2行1列の位置にあるG画素で撮像した被写体の位置
は、変位により撮像する場合には、CCD103Aの1
行1列の位置にあるR画素で撮像することになる。した
がって、変位による2回の撮像で得られる同一被写体の
同一部分には、図6に示したように、2つの画素が配列
される。すなわち、アクチュエータ103Bを用いて2
つのカラー画像情報を得ることで、R,Gの組み合わ
せ、もしくはB,Gの組み合わせとの2種のカラーカラ
ー画像情報が取得される。これにより、G画素のカラー
画像情報に注目すると、図7に示した如く、すべての画
素位置にG(緑色)のカラー画像情報が存在しているこ
とになる。
【0049】さらに、被写体像のある特定の部分に注目
する。図8には、ある列の3行分のカラー画像情報が示
されている。1行目の画素位置1はG1,R1の組み合
わせ、2行目の画素位置2はB2,G2の組み合わせ、
3行目の画素位置3はG3,R3との組み合わせとなっ
ている。このとき、画素位置2を注目部分とすれば、そ
の画素位置2のカラー画像情報は、B2,G2の組み合
わせでR(赤色)のカラー画像情報が不足している。こ
のため、その注目部分については、R(赤色)のカラー
画像情報R2を求めることができれば、R2,G2,B
2の3色のカラー画像情報が求まることになる。
【0050】そこで、(R,G,B)の各カラー画像情
報を輝度情報と輝度情報とで正規化された色情報(r,
g,b)で表すと、(R,G,B)=I(r,g,b)
となる。一般的に、人間の視覚の特性として被写体の輝
度の変化に比べて色合いの変化の判別能力が低いことが
知られている。このため、テレビジョン等のカラー画像
の伝送は輝度信号Y及び色差信号U,Vに対して周波数
帯域をY:U:V=4:2:2等のように、輝度信号に
比べて色差信号の帯域を小さくしている。また、画像圧
縮技術においても同様な方式がとられている。
【0051】前述の式(R,G,B)=I(r,g,
b)を変形して、(R,G,B)=Ig(r/g,1,
b/g)とした場合、人間の視覚の特性により、r/g
及びb/gなどの色調を表す部分のカラー画像情報は、
曖昧な情報で問題ない。このため、近傍のカラー画像情
報により予測することができる。すなわち、注目部分に
ついて考えると(不足のR2についてR ̄で示す)、
(R ̄2,G2,B2)=I2・g2・(r2/g2,
1,b2/g2)より、R ̄2=I2・g2・(r2/
g2)でI2・g2=G2より、R ̄2=G2・(r2
/g2)となる。
【0052】ここで、前述の特性を利用して、r2/g
2=(r1/g1+r3/g3)/2とすると、r1/
g1=R1/G1,r3/g3=R3/G3より、R ̄
2=G2・(R1/G1+R3/G3)/2となる。こ
れより注目部分の3原色の画像情報がすべて求まり、
(R,G,B)=(G2・(R1/G1+R3/G3)
/2,G2,B2)となる。
【0053】B(青色)のカラー画像情報が欠けている
図8の画素位置3の部分についても同様に、(R,G,
B)=(R3,G3,G3・(B2/G2+B4/G
4)/2)となる。この例では、欠けているカラー画像
情報を上下の部分で予測したが、図7の様なカラー画像
情報が得られた場合には、r/g及びb/gは水平方向
には画素ピッチごとに、垂直方向には2画素ごとに並ん
でいるので、標本化定理より水平方向には画素ピッチの
ナイキスト周波数まで、垂直方向にはナイキスト周波数
の1/2までの変化まで予想が可能である。このため、
前述のY:U:V=4:2:2に対して十分予測可能で
ある。
【0054】続いて、図9に示したように水平方向に明
部,暗部の繰り返しパターンが存在する場合について考
える。ここで、明部を(R0,G0,B0)とし、暗部
を(1/10)・(R0,G0,B0)とすると、前述
の注目部分の画素が明部の場合には、G,Bのカラー画
像情報は、それぞれG,Bの画素が存在するため、G
0,B0が再現されるのは自明である。
【0055】ここでもR2について考える。R ̄2=G
2・(R1/G1+R3/G3)/2の式にG1=G2
=G3=G0,R1=R3=R0を代入すると、R2=
R0となり、R ̄2は正確に算出される。同様に、暗部
についても、G1’=G2’=G3’=(1/10)G
0,R1’=R3’=(1/10)R0を代入すると、
R ̄2’=(1/10)R0と正確に算出される。
【0056】続いて、図10に示したように、垂直方向
に繰り返しパターンが存在する場合について説明する。
ここでも同様にB2=B0,G2=G0が再現されるの
は自明である。
【0057】ここでもR2について考える。前式R ̄2
=G2・(R1/G1+R3/G3)/2の式にR1=
R3=(1/10)R0,G1=G3=(1/10)G
0,G2=G0を代入すると、R ̄2=R0となり、正
確に再現される。同様に暗部についても、R ̄2’=
(1/10)R0が正確に再現できる。よって疑色が生
じない。
【0058】すなわち、r/g,b/gが前述の条件を
満たしていれば基本的に疑色は生じない。また、一般的
な被写体の色合いはそのような高い周波数の変化は少な
く、仮にそのように変化があっても色調のないグレーに
再現されるだけで、人間はグレーにしか感じないので問
題ない。
【0059】以上説明したように、実施の形態1によれ
ば、色相の変化の分離能力が人間の視覚の特性である輝
度の変化の分離能力よりも低いことを利用して、高い周
波数での色相の変化は検出せずグレーと感じてしまう所
を利用するようにしたので、3板式の様にR,G,Bそ
れぞれ独立してCCDを用いなくてもよく、高い周波数
の輝度変化があっても疑色は生じなくなる。
【0060】また、被写体像と撮像素子とのいずれか一
方を変位させるので、相対的位置に変位が生じ、これに
よって、複数の撮像素子及びミラー光学系を必要としな
い簡易な構成を得ることが可能である。
【0061】さて、前述の実施の形態1では、相対位置
変位手段としてアクチェータ103Bを設け、そのアク
チュエータ103BによりCCD103Aを被写体像と
の間で変位させているが、この相対位置変位手段に一般
的に使用される積層圧電素子等の手段を適用してもよ
い。
【0062】また、実施の形態1では、原色フィルタ
R,G,BのG色のカラー画像情報は画面全体により取
得されるが、他のR,G色や補色配列についても実施す
ることが可能である。しかしながら、図11のように、
人間の視感度やCCD301,302では緑(G)の感
度が広く分布しているので、緑(G)のカラー画像情報
を画面全体に取得した方がよくなる。
【0063】この場合、R,G,Bの3原色フィルタを
相対位置変位手段の変位ですべての画素位置に一定の色
に当たるG(緑)の原色フィルタが入るようにカラー配
列したので、R(赤),B(青)の分光感度に対して双
方にオーバラップした広い分光感度を持つことになり、
これによって、Gのカラー画像情報を1画面全体に取得
することで被写体像の情報量が増え、人間の視覚特性に
合致させることが可能である。
【0064】また、上述した実施の形態1では、市松配
列について説明したが、この発明は、図12のように、
G列,R列,G列,B列,G列のようにストライプ配列
についても適用可能である。
【0065】(実施の形態2)上記した実施の形態1に
おいては、注目画素の不足したカラー画像情報を補間
(算出)する際に、注目画素に対して垂直方向に隣接す
る画素の情報を使用していたが、実施の形態2において
は、注目画素に対して隣接する周囲の画素に基づいて、
不足したカラー情報を補間(算出)して、不足したカラ
ー情報をより正確に取得する方法を説明する。以下、実
施の形態2によるカラー画像情報の取得方法を、図13
〜図16を参照して説明する。
【0066】図13は注目画素のカラー画像情報を説明
する図、図14は明部と暗部のパターンを説明するため
の図、図15は注目画素のカラー画像情報を一般化した
図、図16は注目画素の不足したカラー画像情報の算出
手順を説明するための図を示す。
【0067】上記図7に示したCCDのカラー画像情報
を、例えば、図13に示すように、(R1,G1)、
(R2,G2)、(R3,G3)、(R4,G4)、
(R5,G5)、(R6,G6)、(R7,G7)、
(R8,G8)、(R9,G9)とする。ここで、注目
画素を(B5,G5)とする。この注目画素(B5,G
5)の不足しているカラー情報R5を作成する方法を以
下に説明する。
【0068】上記した実施の形態1の方法では、注目画
素(R5,G5)の不足しているカラー情報R5を作成
するため、注目画素(R5,G5)に対して、垂直方向
に隣接する画素(G2,R2)、(G8、R8)の情報
を使用していたが、実施の形態2においては、注目画素
(R5,G5)に対して周囲に存在する画素のG情報
(G1、G2、G3、G7、G8、G9)の中で最もG
5に相関の高い画素のカラー画像情報を使用する。
【0069】例えば、図14に示すような、明暗のパタ
ーンが存在する場合には、G5は、G2、G3、G8、
G9と近い値となる。そこで、G5と最も相関の高い値
をG2であるとした場合、この情報(G2、R2)を使
用して、不足したR5の情報を、R5=R2・(G5/
G2)として算出する。
【0070】つぎに、上記算出方法を一般化した場合を
説明する。上記図13のカラー配列を一般化すると、図
15の如く表すごとできる。図15においては、注目画
素のG情報をGmn、その他のカラー画像情報(R又はB
情報)をCと表現している。注目画素の不足したカラー
画像情報の算出手順を、図16のフローチャートに示
す。
【0071】図16において、まず、注目画素Gm,n と
{Gm-1,n-1 、Gm,n-1 、Gm+1 ,n-1 、Gm-1,n+1 、
Gm,n+1 、Gm+1 ,n +1 }のそれぞれとの相関を比較
し、{Gm-1,n-1 、Gm,n-1 、Gm+1 ,n-1 、Gm-1,n+
1 、Gm,n+1 、Gm+1 ,n +1 }の中で、Gm,n と最も
差の小さいもの、すなわち相関が最も高い情報をG’と
する(ステップS1)。ついで、G’と同じ画素位置に
あるC情報をC’とする(ステップS2)。そして、求
めるべき情報Xとした場合、求めるべき情報Xは、X=
C’・(Gm ,n /G’)により算出することができる
(ステップS3)。
【0072】以上説明したように、本実施の形態2にお
いては、注目画素の不足したカラー画像情報を取得する
場合に、注目画素に対して隣接する周囲の画素のうち、
注目画素のカラー画像情報と最も相関の高い画素のカラ
ー画像情報に基づいて、不足したカラー画像情報を算出
することとしたので、不足したカラー画像情報を正確に
取得することが可能となる。
【0073】(実施の形態3)実施の形態3において
は、本実施の形態では、注目画素において不足したカラ
ー画像情報をより正確に取得するためのCCDのカラー
画素配列及びその画素ずらし方向について説明する。以
下、実施の形態3によるカラー画像情報の取得方法を、
図17〜図27を参照して説明する。
【0074】図17は明部と暗部のパターンを説明する
ための図、図18は受光素子(CCD)のカラー配列を
示す図、図19はCCDの移動方向(画素ずらし方向)
を説明するための図、図20〜図23は相対変位による
図18に示す受光素子の遷移を説明するための図、図2
4は受光素子の他のカラー配列を示す図、図25〜図2
7は相対変位による図24に示す受光素子の遷移を説明
するための図である。
【0075】上記実施の形態1においては、CCDを図
3に示すように、R,G,Bの市松配列とし、図5に示
すように水平方向に1画素ずらし、図7に示すようなカ
ラー画像情報を得ていた。このカラー画像情報で、図1
7に示すように、水平方向に暗部がある場合について考
える。ここで注目画素(B5,G5)とした場合、不足
しているカラー画像情報R5を算出するためには、周囲
の画素(R1,G1)、(R2,G2)、(R3,G
3)、(R7,G7)、(R8,G8)、(R9,G
9)のカラー画像情報を使用しなければならない。この
場合、水平方向に暗部があるので、注目画素(B5,G
5)と周囲の画素(R1,G1)、(R2,G2)、
(R3,G3)、(R7,G7)、(R8,G8)、
(R9,G9)とでは、相関が余りない。
【0076】そこで、CCD103Aの画素のカラー配
列を、図18に示す如く、(G、G、G、G、・・
・)、(R、B、R、B、・・・)、(G、G、G、
G、・・・)、(B、R、B、R、・・・)、・・・・
として、G列を1行おきにトライプ状に配列させ、それ
以外の各行については、それぞれRとBの画素を交互に
配置する。そして、相対位置変位手段であるアクチュエ
ータ103Bにより、図18の如くカラー配列させたC
CD103Aを、図19に示すように、被写体像に対し
て相対的に斜め方向(図19中の矢印Aで示した方向)
に1画素変位させ、移動前の画素のカラー情報と移動後
の画素のカラー情報とを合成すると、図20に示すよう
なカラー画像情報が得られる。
【0077】この図20に示すカラー画像情報で、注目
画素の不足したカラー画像情報を、上記実施の形態2で
説明した方法と同じ方法で取得する場合を考える。図2
0において、注目画素(G、B)のR情報を、周囲の画
素から算出するとした場合には、図21で斜線で示した
画素が補間に使用できる画素である。これをさらに分か
り易く示すと、使用できる周囲画素は図22に示す方向
に存在することになる。逆に、注目画素と同じカラー配
列となる部分を簡潔に示すと図23の如くなる。
【0078】すなわち、図22に示すように、注目画素
に対して、水平・垂直・斜めのいずれの方向にも補間に
使用できる周囲画素が少なくとも1画素存在することに
なる。これにより、例えば、注目画素に対して、水平方
向・垂直方向・斜め方向のいずれかが暗部となる場合に
おいても、周囲画素で相関性の高い画素が存在すること
になる。
【0079】従って、図20に示すようなカラー画像情
報では、注目画素の水平方向、垂直方向、若しくは斜め
方向のいずれかが暗部となる場合においても、注目画素
にたいして相関の高い周囲画素が存在することになり、
上記で示した方法と同様な方法により、注目画素の不足
したカラー情報を作成する場合に、周囲で相関の高い画
素のカラー情報に基づいて、不足したカラー情報を作成
する。これにより、不足したカラー情報を正確に得るこ
とが可能となる。
【0080】以上説明したように、実施の形態3におい
ては、G画素のみからなるG画素列と、R画素とB画素
を交互に配置したRG画素列とを交互に配置したCCD
を、斜め方向に1画素変位させ、注目画素のカラー画像
情報と相関の高いカラー画像情報の画素が周囲に存在す
る確率を高くすることとしたので、注目画素の不足した
カラー画像情報を取得する場合において、注目画素に対
して隣接する周囲の画素のうち、注目画素のカラー画像
情報と最も相関の高い画素のカラー画像情報に基づき不
足したカラー画像情報を算出する場合に、不足したカラ
ー画像情報をより正確に取得することが可能となる。
【0081】尚、CCDの画素のカラー配列は、上記図
18に示したものに限られるものではなく、例えば、図
24の如きカラー配列としても良い。図24に示す例で
は、(G、G、G、G、・・・)、(R、B、R、B、
・・・)、(G、G、G、G、・・・)、(R、B、
R、B、R、・・・)、・・・・として、G列とRBの
繰り返し列とを交互に配置している。図24の配列が図
18の配列と異なっている点は、RとBの繰り返しパタ
ーンを各行とも同じにした点である。
【0082】図24に示すカラー配列のCCD103A
を、アクチュエータ103Bにより、図19に示すよう
に、被写体像に対して相対的に斜め方向(図19中の矢
印Aで示した方向)に1画素変位させ、移動前の画素の
カラー情報と移動後の画素のカラー情報とを合成する
と、図25に示すようなカラー画像情報が得られる。こ
こで、注目画素を(G、B)として、不足したRの画像
情報を取得する場合に、使用できる画素は、図26に示
す如くとなり、これをさらに分かり易く示すと、使用で
きる周囲画素は図27に示す方向に存在することにな
る。
【0083】(実施の形態4)さて、前述した実施の形
態1では、CCD103Aを相対位置変位手段であるア
クチェータ103Bで変位させているが、以下に説明す
る実施の形態2のように、手ブレ等の被写体像の変化を
利用し、被写体像の結像位置をプリズム等の相対位置変
位手段により変位させてもよい。
【0084】図28はこの発明の実施の形態4による撮
像装置の相対変位機構を示す構成図である。実施の形態
2では、図28に示したように、撮影光学系であるレン
ズ101と撮像素子であるCCD103との間にプリズ
ム201が設置される。全体の構成を図1に示したブロ
ック構成とした場合には、相対変位機構を図2の構成に
代わって図28の構成とすることで、CPU121から
プリズム202に矢印Wで示す方向に回転指示を与えれ
ば、被写体の撮影範囲が変化して、CCD103Aと被
写体との相対的位置関係が変位する。
【0085】この実施の形態4においても、前述の実施
の形態1と同様の効果を得ることができる。
【0086】(実施の形態5)さて、前述した実施の形
態1及び4では、アクチュエータやプリズムを駆動させ
て多くの相対的位置関係を取得するようにしていたが、
以下に説明する実施の形態4のように、ひとつの被写体
像を複数の被写体像に複製して相対的位置関係を取得す
るようしてもよい。なお、全体構成は実施の形態1の図
1に示したブロック構成を採用するため、以下に相違す
る構成についてのみ説明する。
【0087】図29はこの発明の実施の形態5による撮
像装置の相対変位機構を示す構成図である。実施の形態
3による撮像装置は、図29に示したように、レンズ1
01の光路に光が透過するハーフミラー303を固定し
て、そのハーフミラー303の後段に透過する光を受光
するCCD301を設け、そのハーフミラー303の下
方(図中)に反射光を受光するCCD302を設けた構
成である。
【0088】図29に示した構成によれば、レンズ10
1を通りハーフミラー303に入射された光は、ひとつ
は透過してCCD301に受光され、もうひとつは反射
してCCD302に受光される。このため、被写体に対
して異なる相対位置関係をもつ2つの被写体像が取得さ
れる。
【0089】この実施の形態5によれば、光学的入力手
段であるレンズ101により入力される被写体像をハー
フミラー303により複数の光路に分岐させ、各撮像素
子に被写体像と同一の被写体像を受光させるようにした
ので、手ブレ等が発生せず動画情報も取得可能であると
ともに、3板式撮像装置のように色分解のためのダイク
ロイックプリズム等の複雑な光学系を必要としない簡易
な構成を得ることが可能である。
【0090】次に、上述した各実施の形態に適用可能な
変形例について説明する。なお、以下に説明する変形例
は、1つもしくは2つ以上組み合わせて各実施の形態に
適用してもよい。
【0091】ところで、カラー固体撮像素子としてエリ
アCCDが使用された場合には、図30に示したよう
に、電子シャッタを使用しても蓄積時間(露光時間)は
短くなるが、蓄積時間の間隔は、その間隔の間に画像の
転送時間が入ることから、一定となって短くならない。
すなわち、転送パルス,電子シャッタ信号,蓄積時間t
1,t2…のタイミングで動作している際に、必ず各転
送時間t1,t2…に転送時間Tr1,tr2…が含ま
れる。
【0092】そこで、図31に示したように、CCD全
面にメカシャッタ等の遮光シャッタを設けて、電子シャ
ッタと遮光シャッタとで2つの蓄積時間を設け、2つの
蓄積時間の間隔を短くしてもよい。すなわち、電子シャ
ッタ信号がオンして最初の転送パルスが立ち上がるまで
に最初の転送(転送時間tr1)を完了させ、最初の転
送パルスが立ち上がり遮光シャッタ信号により遮光シャ
ッタが作動する迄の間に次の転送(転送時間tr2)を
終えるようにする。
【0093】この場合、電子シャッタとメカシャッタと
の駆動タイミングに対応させて各カラー画像情報の露光
時間の中での有効な蓄積時間を設定し、各露光時間中に
撮像素子の転送動作を完了するようにしたので、複数の
カラー画像情報を得るための蓄積時間の間隔が短縮さ
れ、これによって、手ブレ等の問題を解消することが可
能である。
【0094】また、複数のカラー画像情報を得るために
は2回の露光を行うため、外光の変化や蓄積時間のばら
つきが生じて露光がばらつく可能性がある。これを補正
する方法としては、第1の露光と第2の露光とで緑
(G)のカラー画像情報を得て、その全体または一部分
の平均により露光のばらつきを検出し、その補正のため
の係数を第1または第2のカラー画像情報(G)に乗ず
れば、補正することが可能である。
【0095】この場合、少なくとも複数のカラー画像情
報の蓄積時間の差を補正するようにしたので、複数のカ
ラー画像情報を取得するときの露光ムラがあっても高画
質な画像を取得することが可能である。
【0096】また、前述した実施の形態では、変位によ
り2種類つの被写体像(カラー画像情報)を得ることで
説明してきたが、他の半画素ずらし等の手法と組み合わ
せてもなんら効果が低下するものではない。
【0097】また、画素ずらしにおける画素を変位させ
る回数は一回に限られるものではなく、複数回行うこと
にしても良い。図32〜図34は画素を3回変位させる
例を示している。例えば、図32に示すようなカラー配
列の画素を、図33に示すように、水平方向に2画素、
右上斜め方向・右下斜め方向にそれぞれ1画素変位させ
ると、図34に示すようなカラー画像情報を得ることが
できる。図34において、△の部分は補間により画像情
報を算出することにすれば良い。
【0098】さて、前述の実施の形態では、デジタルカ
メラを一例として説明したが、この発明は、これに限定
されるものではなく、ビデオカメラ,デジタルビデオカ
メラ,カラースキャナ,カラー複写機,カラーファクシ
ミリ装置などへも種々変形可能である。
【0099】
【発明の効果】以上説明したように、請求項1の発明に
よれば、相対位置変位手段により撮像手段と光学的入力
手段により入力される被写体像とを相対的に変位させ、
その変位で得られた同一被写体の複数のカラー画像情報
に基づき一定の色で1画面分のカラー画像情報を求めて
から、その一定の色のカラー画像情報に基づき1画面分
のカラー画像情報を求めるようにしたので、色相の変化
の分離能力が人間の視覚の特性である輝度の変化の分離
能力よりも低いことを利用して、高い周波数での色相の
変化は検出せずグレーと感じてしまう所を利用すること
になり、これによって、簡易な構成により疑色や手ブレ
の発生を防止することが可能な撮像装置が得られるとい
う効果を奏する。
【0100】また、請求項2の発明によれば、請求項1
の発明において、一定の色の相関に基づいて、注目画素
の不足したカラー画像情報を求めているので、不足した
カラー画像情報を正確に算出することが可能となる。
【0101】また、請求項3の発明によれば、請求項2
の発明において、注目画素の一定の色のカラー画像情報
と注目画素の周囲にある周囲画素の一定の色のカラー画
像情報とを比較し、相関の最も高い周囲画素のカラー画
像情報に基づき、注目画素の不足したカラー画像情報を
求めているので、不足したカラー画像情報をより正確に
算出することが可能となる。
【0102】また、請求項4の発明によれば、請求項1
の発明において、注目画素の不足したカラー画像情報を
作成する際に、当該着目画素の周りにある使用可能な周
囲画素が、当該注目画素に対して水平・垂直・斜めのい
ずれの方向にも少なくとも1画素存在するように受光素
子を配したので、不足したカラー画像情報を正確に算出
することが可能となる。
【0103】また、請求項5の発明によれば、請求項4
の発明において、注目画素の一定の色のカラー画像情報
と使用可能な周囲画素の一定の色のカラー画像情報とを
比較し、相関の最も高い使用可能な周囲画素のカラー画
像情報に基づき、注目画素の不足したカラー画像情報を
求めているので、不足したカラー画像情報をより正確に
算出することが可能となる。
【0104】また、請求項6の発明によれば、請求項1
の発明において、被写体像と撮像手段とのいずれか一方
を変位させるので、相対的位置に変位が生じ、これによ
って、複数の撮像素子及びミラー光学系を必要としない
簡易な構成を得ることが可能な撮像装置が得られるとい
う効果を奏する。
【0105】また、請求項7の発明によれば、請求項1
の発明において、光学的入力手段により入力される被写
体像を複数の光路に分岐させ、各撮像素子に被写体像と
同一の被写体像を受光させるようにしたので、手ブレ等
が発生せず動画情報も取得可能であるとともに、3板式
撮像装置のように色分解のためのダイクロイックプリズ
ム等の複雑な光学系を必要としない簡易な構成を得るこ
とが可能な撮像装置が得られるという効果を奏する。
【0106】また、請求項8の発明によれば、請求項1
の発明において、R,G,Bの3原色フィルタを相対位
置変位手段の変位ですべての画素位置に一定の色に当た
るG(緑)の原色フィルタが入るようにカラー配列した
ので、R(赤),B(青)の分光感度に対して双方にオ
ーバラップした広い分光感度を持つことになり、これに
よって、Gのカラー画像情報を1画面全体に取得するこ
とで被写体像の情報量が増え、人間の視覚特性に合致さ
せることが可能な撮像装置が得られるという効果を奏す
る。
【0107】また、請求項9の発明によれば、請求項1
の発明において、電子シャッタとメカシャッタとの駆動
タイミングに対応させて各カラー画像情報の露光時間の
中での有効な蓄積時間を設定し、各露光時間中に撮像手
段の転送動作を完了するようにしたので、複数のカラー
画像情報を得るための蓄積時間の間隔が短縮され、これ
によって、手ブレ等の問題を解消することが可能な撮像
装置が得られるという効果を奏する。
【0108】また、請求項10の発明によれば、請求項
1の発明において、少なくとも複数のカラー画像情報の
蓄積時間の差を補正するようにしたので、複数のカラー
画像情報を取得するときの露光ムラがあっても高画質な
画像を取得することが可能な撮像装置が得られるという
効果を奏する。
【図面の簡単な説明】
【図1】本発明の実施の形態1によるデジタルカメラの
構成を示すブロック図である。
【図2】この実施の形態1による相対変位機構を示す構
成図である。
【図3】実施の形態1による相対変位による受光素子の
遷移を説明する図である。
【図4】実施の形態1による相対変位による受光素子の
遷移を説明する図である。
【図5】実施の形態1による相対変位による受光素子の
遷移を説明する図である。
【図6】実施の形態1による相対変位による受光素子の
遷移を説明する図である。
【図7】実施の形態1による相対変位による受光素子の
遷移を説明する図である。
【図8】実施の形態1において、注目画素のカラー画像
情報を説明する図である。
【図9】実施の形態1において、明部と暗部との繰り返
しパターンを説明する図である。
【図10】実施の形態1において、明部と暗部との繰り
返しパターンを説明する図である。
【図11】一変形例において波長と感度との関係をグラ
フ化して示す図である。
【図12】他の変形例においてストライプ配列の一例を
示す図である。
【図13】実施に形態2において、注目画素のカラー画
像情報を説明する図である。
【図14】実施の形態2において、明部と暗部のパター
ンを説明するための図である。
【図15】実施の形態2において、注目画素のカラー画
像情報を一般化した図である。
【図16】実施の形態2において、注目画素の不足した
カラー画像情報の算出手順を説明するための図である。
【図17】実施の形態3において、明部と暗部のパター
ンを説明するための図である。
【図18】実施の形態3において、図18は受光素子
(CCD)のカラー配列を示す図である。
【図19】実施の形態3において、CCDの移動方向
(画素ずらし方向)を説明するための図である。
【図20】実施の形態3において、相対変位による図1
8に示す受光素子の遷移を説明するための図である。
【図21】実施の形態3において、相対変位による図1
8に示す受光素子の遷移を説明するための図である。
【図22】実施の形態3において、相対変位による図1
8に示す受光素子の遷移を説明するための図である。
【図23】実施の形態3において、相対変位による図1
8に示す受光素子の遷移を説明するための図である。
【図24】実施の形態3において、受光素子の他のカラ
ー配列を示す図である。
【図25】実施の形態3において、相対変位による図2
4に示す受光素子の遷移を説明するための図である。
【図26】実施の形態3において、相対変位による図2
4に示す受光素子の遷移を説明するための図である。
【図27】実施の形態3において、相対変位による図2
4に示す受光素子の遷移を説明するための図である。
【図28】実施の形態4による撮像装置の相対変位機構
を示す構成図である。
【図29】実施の形態5による撮像装置の相対変位機構
を示す構成図である。
【図30】一変形例において電子シャッタを適用した場
合のタイミングチャートである。
【図31】他の変形例において電子シャッタと遮光シャ
ッタとを適用した場合のタイミングチャートである。
【図32】他の変形例において画素を3回変位させる例
を説明するための図である。
【図33】他の変形例において画素を3回変位させる例
を説明するための図である。
【図34】他の変形例において画素を3回変位させる例
を説明するための図である。
【図35】従来技術を示し、第1の撮像方式を用いた撮
像装置を概略的に示す構成図である。
【図36】従来技術を示し、第2の撮像方式を用いた撮
像装置を概略的に示す構成図である。
【図37】従来技術を示し、第3の撮像方式を用いた撮
像装置を概略的に示す構成図である。
【図38】従来技術を示し、受光素子のカラー配列を示
す図である。
【図39】従来技術を示し、濃淡のある被写体の一例を
示す図である。
【図40】従来技術を示し、色に応じた濃度レベルを示
す図である。
【図41】従来技術を示し、混合方式をカラー配列で説
明する図である。
【図42】従来技術を示し、混合方式をカラー配列で説
明する図である。
【符号の説明】
101 レンズ 103A,301,302 CCD 103B アクチュエータ 121 CPU 201 プリズム 301 ハーフミラー

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 光学的に被写体像を入力する光学的入力
    手段と、 異なる波長感度の受光素子が2次元的に配列され、前記
    光学的入力手段により入力された被写体像からカラー画
    像情報を得る撮像手段と、 前記撮像手段に接続され、前記撮像手段と前記光学的入
    力手段により入力される被写体像とを相対的に変位させ
    る相対位置変位手段と、 前記相対位置変位手段を駆動させ、前記撮像手段から同
    一被写体の複数のカラー画像情報を得て、前記複数のカ
    ラー画像情報に基づいて一定の色で1画面分のカラー画
    像情報を求め、前記1画面分の一定の色のカラー画像情
    報を用いて1画面分のカラー画像情報を求める制御手段
    と、 を備えたことを特徴とする撮像装置。
  2. 【請求項2】 前記制御手段は、前記一定の色の相関に
    基づいて、注目画素の不足したカラー画像情報を求める
    ことを特徴とする請求項1記載の撮像装置。
  3. 【請求項3】 前記制御手段は、前記注目画素の前記一
    定の色のカラー画像情報と当該注目画素の周囲にある周
    囲画素の前記一定の色のカラー画像情報とを比較し、相
    関の最も高い周囲画素のカラー画像情報に基づき、当該
    注目画素の不足したカラー画像情報を求めることを特徴
    とする請求項2記載の撮像装置。
  4. 【請求項4】 注目画素の不足したカラー画像情報を作
    成する際に、当該着目画素の周りにある使用可能な周囲
    画素が、当該注目画素に対して水平・垂直・斜めのいず
    れの方向にも少なくとも1画素存在するように前記受光
    素子を配したことを特徴とする請求項1記載の撮像装
    置。
  5. 【請求項5】 前記制御手段は、当該注目画素の前記一
    定の色のカラー画像情報と前記使用可能な周囲画素の前
    記一定の色のカラー画像情報とを比較し、相関の最も高
    い前記使用可能な周囲画素のカラー画像情報に基づき、
    当該注目画素の不足したカラー画像情報を求めることを
    特徴とする請求項4記載の撮像装置。
  6. 【請求項6】 前記相対位置変位手段は前記被写体像と
    前記撮像手段とのいずれか一方を変位させることを特徴
    とする請求項1記載の撮像装置。
  7. 【請求項7】 前撮像手段は複数の撮像素子より構成さ
    れ、前記相対位置変位手段は前記光学的入力手段により
    入力される被写体像を複数の光路に分岐させ、前記各撮
    像素子に前記被写体像と同一の被写体像を受光させるこ
    とを特徴とする請求項1記載の撮像装置。
  8. 【請求項8】 前記撮像手段はR(赤)、G(緑)、B
    (青)の3原色フィルタを有し、該3原色フィルタは前
    記相対位置変位手段の変位ですべての画素位置に前記一
    定の色であるG(緑)の原色フィルタが入るようにカラ
    ー配列されていることを特徴とする請求項1記載の撮像
    装置。
  9. 【請求項9】 前記撮像手段は、電子シャッタとメカシ
    ャッタとを有し、前記電子シャッタと前記メカシャッタ
    との駆動タイミングに対応させて前記各カラー画像情報
    の露光時間の中での有効な蓄積時間を設定し、前記各露
    光時間中に前記撮像手段の転送動作を完了することを特
    徴とする請求項1記載の撮像装置。
  10. 【請求項10】 前記制御手段は、少なくとも前記複数
    のカラー画像情報の蓄積時間の差を補正することを特徴
    とする請求項1記載の撮像装置。
JP05252398A 1997-03-31 1998-03-04 撮像装置 Expired - Fee Related JP3704238B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP05252398A JP3704238B2 (ja) 1997-03-31 1998-03-04 撮像装置
US09/048,899 US6426773B1 (en) 1997-03-31 1998-03-27 Image pickup device including an image pickup unit which is displaced relative to an object to be imaged
DE69838194T DE69838194T2 (de) 1997-03-31 1998-03-30 Bildaufnahmevorrichtung
EP98105787A EP0869683B1 (en) 1997-03-31 1998-03-30 Image pickup device
ES98105787T ES2287962T3 (es) 1997-03-31 1998-03-30 Dispositivo para recoger imagenes.

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9842997 1997-03-31
JP9-98429 1997-03-31
JP05252398A JP3704238B2 (ja) 1997-03-31 1998-03-04 撮像装置

Publications (2)

Publication Number Publication Date
JPH10336686A true JPH10336686A (ja) 1998-12-18
JP3704238B2 JP3704238B2 (ja) 2005-10-12

Family

ID=26393129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05252398A Expired - Fee Related JP3704238B2 (ja) 1997-03-31 1998-03-04 撮像装置

Country Status (5)

Country Link
US (1) US6426773B1 (ja)
EP (1) EP0869683B1 (ja)
JP (1) JP3704238B2 (ja)
DE (1) DE69838194T2 (ja)
ES (1) ES2287962T3 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012633B2 (en) 2018-03-22 2021-05-18 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and image processing apparatus

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10173859A (ja) * 1996-12-09 1998-06-26 Canon Inc アナログ信号処理回路
IL126165A0 (en) * 1998-09-10 1999-05-09 Scitex Corp Ltd Apparatus for the orthogonal movement of a ccd sensor
JP4162111B2 (ja) * 1999-07-27 2008-10-08 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
US6757012B1 (en) * 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
JP4500434B2 (ja) * 2000-11-28 2010-07-14 キヤノン株式会社 撮像装置及び撮像システム、並びに撮像方法
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
US20080036886A1 (en) * 2001-06-29 2008-02-14 Hannigan Brett T Methods For Generating Enhanced Digital Images
JP2003208343A (ja) * 2002-01-10 2003-07-25 Ricoh Co Ltd ファイル作成・閲覧方法、ファイル作成方法、ファイル閲覧方法、ファイル構造及びプログラム
JP3920675B2 (ja) * 2002-03-22 2007-05-30 株式会社リコー データ通信方法、コンピュータ、プログラム及び記憶媒体
US7573515B2 (en) * 2002-07-04 2009-08-11 Koninklijke Philips Electronics N.V. Method and apparatus for processing a sensor signal having a plurality of pixels from an image sensor, computer program product, computing system and camera
JP2004110573A (ja) * 2002-09-19 2004-04-08 Ricoh Co Ltd データ通信方法、データ通信装置、データ通信システム及びデータ通信プログラム
US20040194027A1 (en) * 2002-12-27 2004-09-30 Akira Suzuki Computerized electronic document producing, editing and accessing system for maintaining high-security
US7486318B2 (en) * 2003-06-23 2009-02-03 Sony Corporation Method, apparatus, and program for processing an image
US20050052570A1 (en) * 2003-08-21 2005-03-10 Pentax Corporation Image pickup apparatus
WO2006020661A2 (en) * 2004-08-10 2006-02-23 Nicholson Bruce A Sodium screen digital traveling matte methods and apparatus
JP4428195B2 (ja) * 2004-10-22 2010-03-10 株式会社日立製作所 撮像装置、補完信号生成方法及びプログラム
JP5151075B2 (ja) * 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US7456881B2 (en) * 2006-01-12 2008-11-25 Aptina Imaging Corporation Method and apparatus for producing Bayer color mosaic interpolation for imagers
EP2015562A1 (en) * 2007-07-10 2009-01-14 Thomson Licensing S.A. Processing device for correcting defect pixel values of an image sensor unit, image sensor unit with the processing device and method
JP2012054774A (ja) * 2010-09-01 2012-03-15 Sanyo Electric Co Ltd 撮像装置
JP2013128184A (ja) * 2011-12-16 2013-06-27 Samsung Electronics Co Ltd 撮像装置及び撮像方法
JP6231284B2 (ja) 2013-02-21 2017-11-15 クラリオン株式会社 撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5654115B2 (ja) 1974-03-29 1981-12-23
US4404594A (en) * 1981-11-02 1983-09-13 Itek Corporation Imaging system with enlarged depth of field
JPS58169966A (ja) * 1982-03-31 1983-10-06 Toshiba Corp 固体撮像装置の駆動方式
JPS59174085A (ja) * 1983-03-23 1984-10-02 Toshiba Corp カラ−固体撮像装置
US4541116A (en) * 1984-02-27 1985-09-10 Environmental Research Institute Of Mi Neighborhood image processing stage for implementing filtering operations
US4642678A (en) * 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
US4786964A (en) * 1987-02-02 1988-11-22 Polaroid Corporation Electronic color imaging apparatus with prismatic color filter periodically interposed in front of an array of primary color filters
DE3837063C1 (ja) * 1988-10-31 1990-03-29 Reimar Dr. 8000 Muenchen De Lenz
US5347599A (en) * 1991-06-14 1994-09-13 Matsushita Electric Industrial Co., Ltd. Adaptive interpolation method and apparatus using correlation detection
US5245416A (en) * 1992-01-30 1993-09-14 Florida Atlantic University Multicolor solid state imager with rotational swing drive
US5475769A (en) * 1992-07-13 1995-12-12 Polaroid Corporation Method and apparatus for recovering image data through the use of a color test pattern
US6031569A (en) * 1994-02-28 2000-02-29 Canon Kabushiki Kaisha Image sensing method and apparatus utilizing the same
JPH07322121A (ja) 1994-05-20 1995-12-08 Canon Inc 高画質画像入力装置
JPH0832879A (ja) * 1994-07-14 1996-02-02 Fuji Photo Film Co Ltd 画像読取方法
US5834761A (en) * 1996-03-22 1998-11-10 Sharp Kabushiki Kaisah Image input apparatus having a spatial filter controller

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012633B2 (en) 2018-03-22 2021-05-18 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and image processing apparatus

Also Published As

Publication number Publication date
ES2287962T3 (es) 2007-12-16
EP0869683B1 (en) 2007-08-08
JP3704238B2 (ja) 2005-10-12
DE69838194D1 (de) 2007-09-20
EP0869683A3 (en) 2001-02-28
EP0869683A2 (en) 1998-10-07
US6426773B1 (en) 2002-07-30
DE69838194T2 (de) 2008-05-15

Similar Documents

Publication Publication Date Title
JP3704238B2 (ja) 撮像装置
JP4503878B2 (ja) 撮像装置及び撮像方法
EP2181349B1 (en) Image sensing apparatus
KR101469400B1 (ko) 화상 센서 및 화상 촬상 장치
JP5563283B2 (ja) 画像処理装置
JP5361535B2 (ja) 撮像装置
JP4641675B2 (ja) 画像信号処理装置
US8111298B2 (en) Imaging circuit and image pickup device
WO2013183378A1 (ja) 撮像装置、画像処理装置、及び画像処理方法
US20060197854A1 (en) Image capturing apparatus and computer software product
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5990008B2 (ja) 撮像装置およびその制御方法
JP3902525B2 (ja) 画像信号処理装置
JP3965555B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4077161B2 (ja) 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム
JPH10155158A (ja) 撮像装置及びカラー画像信号の処理方法
JP3738654B2 (ja) デジタルカメラ
CN107819979B (zh) 摄像元件、摄像装置
JP2004194248A (ja) 撮像素子及び撮像装置
JP4645607B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2013100097A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP3490748B2 (ja) 測光装置
JP3406674B2 (ja) 2板式撮像装置
JP3515585B2 (ja) 2板式撮像装置
JP2006148591A (ja) 固体撮像装置および固体撮像素子駆動方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050722

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090729

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090729

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100729

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110729

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120729

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120729

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130729

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees