JP3382359B2 - 撮像装置 - Google Patents
撮像装置Info
- Publication number
- JP3382359B2 JP3382359B2 JP17135794A JP17135794A JP3382359B2 JP 3382359 B2 JP3382359 B2 JP 3382359B2 JP 17135794 A JP17135794 A JP 17135794A JP 17135794 A JP17135794 A JP 17135794A JP 3382359 B2 JP3382359 B2 JP 3382359B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- image pickup
- pixel
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 34
- 229920006395 saturated elastomer Polymers 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 239000011295 pitch Substances 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、固体撮像素子を用いた
カラービデオカメラ等の撮像装置に関する。
カラービデオカメラ等の撮像装置に関する。
【０００２】
【従来の技術】近年、テレビジョンカメラ、ビデオカメ
ラ、電子カメラなどの画像取込素子として、ＣＣＤ撮像
素子をはじめとする固体撮像素子が多く使われている。
現在、撮像素子の解像度を増やす努力がされ続け、結果
として撮像素子の画素を小さくして画素数を増やし、近
年では８０万画素から２００万画素までにいたる高解像
度センサーが開発されている。
ラ、電子カメラなどの画像取込素子として、ＣＣＤ撮像
素子をはじめとする固体撮像素子が多く使われている。
現在、撮像素子の解像度を増やす努力がされ続け、結果
として撮像素子の画素を小さくして画素数を増やし、近
年では８０万画素から２００万画素までにいたる高解像
度センサーが開発されている。
【０００３】しかし、このようなセンサーの価格は非常
に高く、またスミアやブルーミング、ダイナミックレン
ジの低減などの理由から高解像度化にも限界がある。ま
た、ダイナミックレンジ面において固体撮像素子は銀塩
などに比べ劣り、撮像条件によっては画質が著しく劣化
する。
に高く、またスミアやブルーミング、ダイナミックレン
ジの低減などの理由から高解像度化にも限界がある。ま
た、ダイナミックレンジ面において固体撮像素子は銀塩
などに比べ劣り、撮像条件によっては画質が著しく劣化
する。
【０００４】単板式撮像装置の場合、カラー信号を得る
ために固体撮像素子の受光面に例えば図２（ａ）のよう
な色周期を持ったカラーフィルタが張り付けられてい
る。そしてサンプリングにおけるナイキスト条件を満た
さない高周波数信号成分による低周波領域における折り
返しノイズつまりモアレ防止のため、あらかじめ被写体
の高周波成分を落とすローパスフィルタを設置してい
る。このため、単板式の撮像装置には高解像度化に対し
てさらなる制限が生じる。
ために固体撮像素子の受光面に例えば図２（ａ）のよう
な色周期を持ったカラーフィルタが張り付けられてい
る。そしてサンプリングにおけるナイキスト条件を満た
さない高周波数信号成分による低周波領域における折り
返しノイズつまりモアレ防止のため、あらかじめ被写体
の高周波成分を落とすローパスフィルタを設置してい
る。このため、単板式の撮像装置には高解像度化に対し
てさらなる制限が生じる。
【０００５】そこで、図１２のように撮像素子の解像度
を高めるため、撮像素子１０１、１０２、１０３を複数
個（例えば３個）用い、各撮像素子１０１〜１０３を互
いに光電変換画素の数ピッチ分（例えば半ピッチ）ずら
して配置することにより、解像度を高める工夫がされて
いる。尚、図１２において、１００はレンズ、１０４は
レンズ１００からの光学像を各波長成分に分光して各撮
像素子１０１〜１０３に結像させるプリズム、１０５は
各撮像素子１０１〜１０３の撮像信号をデジタル信号に
変換するＡ／Ｄ変換器である。
を高めるため、撮像素子１０１、１０２、１０３を複数
個（例えば３個）用い、各撮像素子１０１〜１０３を互
いに光電変換画素の数ピッチ分（例えば半ピッチ）ずら
して配置することにより、解像度を高める工夫がされて
いる。尚、図１２において、１００はレンズ、１０４は
レンズ１００からの光学像を各波長成分に分光して各撮
像素子１０１〜１０３に結像させるプリズム、１０５は
各撮像素子１０１〜１０３の撮像信号をデジタル信号に
変換するＡ／Ｄ変換器である。
【０００６】また、ダイナミックレンジを広げるため、
特開平５−４１０７１号公報などに提案されているよう
に、同一シーンの異なる露光量の複数枚の画像信号を加
算したり、特開昭６３−３０６７７８号公報などに提案
されているように、適正露光で撮影した画像信号のう
ち、飽和して白くつぶれた領域や暗くノイズになって黒
つぶれとなっている領域を、その領域が白つぶれあるい
は黒つぶれとなっていない他の露光量で撮影した画像デ
ータで置き換える工夫がされている。
特開平５−４１０７１号公報などに提案されているよう
に、同一シーンの異なる露光量の複数枚の画像信号を加
算したり、特開昭６３−３０６７７８号公報などに提案
されているように、適正露光で撮影した画像信号のう
ち、飽和して白くつぶれた領域や暗くノイズになって黒
つぶれとなっている領域を、その領域が白つぶれあるい
は黒つぶれとなっていない他の露光量で撮影した画像デ
ータで置き換える工夫がされている。
【０００７】
【発明が解決しようとする課題】しかしながら上記従来
例のうち、画素ずらし効果のみを得ることや、ダイナミ
ックレンジ拡大効果のみを得ることなど、個々の改良は
みられるものの、画素ずらしとともにダイナミックレン
ジを拡大して、高解像度かつ広ダイナミックレンジ画像
を得るという両方の効果を得ることのできる処理につい
ては提案されていない。
例のうち、画素ずらし効果のみを得ることや、ダイナミ
ックレンジ拡大効果のみを得ることなど、個々の改良は
みられるものの、画素ずらしとともにダイナミックレン
ジを拡大して、高解像度かつ広ダイナミックレンジ画像
を得るという両方の効果を得ることのできる処理につい
ては提案されていない。
【０００８】本発明は上記のような問題を解決するため
になされたもので、解像度の高いしかもダイナミックレ
ンジの拡大された高品位な画像データを得ることができ
る撮像装置を提供することを目的としている。
になされたもので、解像度の高いしかもダイナミックレ
ンジの拡大された高品位な画像データを得ることができ
る撮像装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】請求項１の発明において
は、それぞれ所定の画素数を有し被写体を撮像して画像
信号を得るとともに、互いに画素をずらして配置されて
いる複数の撮像素子と、上記複数の撮像素子により同一
被写体の撮像を行い、その際少くとも１個の撮像素子の
露光量を異らせて撮像を行うことにより複数枚の画像が
得られるように撮像動作を制御する制御手段と、上記複
数枚の画像に基づいて１枚の画像を生成する画像処理手
段とを備え、上記制御手段は、適正露光による撮像と露
光量の少い撮像とを行うように制御を行い、上記画像処
理手段は、上記適正露光で撮像した標準画像における飽
和領域画素を、上記露光量を少くして撮像した非標準画
像における上記飽和領域画素の近傍画素を用いて合成す
る。請求項２の発明においては、それぞれ所定の画素数
を有し被写体を撮像して画像信号を得るとともに、互い
に画素をずらして配置されている複数の撮像素子と、上
記複数の撮像素子により同一被写体の撮像を行い、その
際少くとも１個の撮像素子の露光量を異らせて撮像を行
うことにより複数枚の画像が得られるように撮像動作を
制御する制御手段と、上記複数枚の画像に基づいて１枚
の画像を生成する画像処理手段とを備え、上記制御手段
は、適正露光による撮像と露光量の多い撮像とを行うよ
うに制御を行い、上記画像処理手段は、上記適正露光で
撮像した標準画像における黒つぶれ領域画素を、上記露
光量を多くして撮像した非標準画像における上記黒つぶ
れ画素の近傍画素を用いて合成する。請求項３の発明に
おいては、それぞれ所定の画素数を有し被写体を撮像し
て画像信号を得るとともに、互いに画素をずらして配置
されている複数の撮像素子と、上記複数の撮像素子によ
り同一被写体の撮像を行い、その際少くとも１個の撮像
素子の露光量を異らせて撮像を行うことにより複数枚の
画像が得られるように撮像動作を制御する制御手段と、
上記複数枚の画像に基づいて１枚の画像を生成する画像
処理手段とを備え、上記制御手段は、露光量の多い撮像
と露光量の少ない撮像とを行うように制御を行い、上記
画像処理手段は、上記露光量を多くして撮像した非標準
画像における飽和領域画素を、上記露光量を少なくして
撮像した非標準画像における上記飽和領域画素の近傍画
素を用いて合成し、また、上記露光量を少なくして撮像
した非標準画像における黒つぶれ領域画素を、上記露光
量を多くして撮像した非標準画像における上記黒つぶれ
画素の近傍画素を用いて合成する。請求項４の発明にお
いては、所定の画素数を有し被写体を撮像して画像信号
を得る撮像素子と、上記撮像素子による撮像時に画素ず
らしを行う画素ずらし手段と、上記画素ずらし手段によ
り同一被写体に対して画素ずらしを行いながら複数回の
撮像を行い、その際少くとも１回は露光量を異らせて撮
像を行うことにより複数枚の画像が得られるように撮像
動作を制御する制御手段と、上記複数枚の画像に基づい
て１枚の画像を生成する画像処理手段とを備え、上記制
御手段は、適正露光による撮像と露光量の少い撮像とを
行うように制御を行い、上記画像処理手段は、上記適正
露光で撮像した標準画像における飽和領域画素を、上記
露光量を少くして撮像した非標準画像における上記飽和
領域画素の近傍画素を用いて合成する。請求項５の発明
においては、所定の画素数を有し被写体を撮像して画像
信号を得る撮像素子と、上記撮像素子による撮像時に画
素ずらしを行う画素ずらし手段と、上記画素ずらし手段
により同一被写体に対して画素ずらしを行いながら複数
回の撮像を行い、その際少くとも１回は露光量を異らせ
て撮像を行うことにより複数枚の画像が得られるように
撮像動作を制御する制御手段と、上記複数枚の画像に基
づいて１枚の画像を生成する画像処理手段とを備え、上
記制御手段は、適正露光による撮像と露光量の多い撮像
とを行うように制御を行い、上記画像処理手段は、上記
適正露光で撮像した標準画像における黒つぶれ領域画素
を、上記露光量を多くして撮像した非標準画像における
上記黒つぶれ画素の近傍画素を用いて合成する。請求項
６の発明においては、所定の画素数を有し被写体を撮像
して画像信号を得る撮像素子と、上記撮像素子による撮
像時に画素ずらしを行う画素ずらし手段と、上記画素ず
らし手段により同一被写体に対して画素ずらしを行いな
がら複数回の撮像を行い、その際少くとも１回は露光量
を異らせて撮像を行うことにより複数枚の画像が得られ
るように撮像動作を制御する制御手段と、上記複数枚の
画像に基づいて１枚の画像を生成する画像処理手段とを
備え、上記制御手段は、露光量の多い撮像と露光量の少
ない撮像とを行うように制御を行い、上記画像処理手段
は、上記露光量を多くして撮像した非標準画像における
飽和領域画素を、上記露光量を少なくして撮像した非標
準画像における上記飽和領域画素の近傍画素を用いて合
成し、また、上記露光量を少なくして撮像した非標準画
像における黒つぶれ領域画素を、上記露光量を多くして
撮像した非標準画像における上記黒つぶれ画素の近傍画
素を用いて合成する。
は、それぞれ所定の画素数を有し被写体を撮像して画像
信号を得るとともに、互いに画素をずらして配置されて
いる複数の撮像素子と、上記複数の撮像素子により同一
被写体の撮像を行い、その際少くとも１個の撮像素子の
露光量を異らせて撮像を行うことにより複数枚の画像が
得られるように撮像動作を制御する制御手段と、上記複
数枚の画像に基づいて１枚の画像を生成する画像処理手
段とを備え、上記制御手段は、適正露光による撮像と露
光量の少い撮像とを行うように制御を行い、上記画像処
理手段は、上記適正露光で撮像した標準画像における飽
和領域画素を、上記露光量を少くして撮像した非標準画
像における上記飽和領域画素の近傍画素を用いて合成す
る。請求項２の発明においては、それぞれ所定の画素数
を有し被写体を撮像して画像信号を得るとともに、互い
に画素をずらして配置されている複数の撮像素子と、上
記複数の撮像素子により同一被写体の撮像を行い、その
際少くとも１個の撮像素子の露光量を異らせて撮像を行
うことにより複数枚の画像が得られるように撮像動作を
制御する制御手段と、上記複数枚の画像に基づいて１枚
の画像を生成する画像処理手段とを備え、上記制御手段
は、適正露光による撮像と露光量の多い撮像とを行うよ
うに制御を行い、上記画像処理手段は、上記適正露光で
撮像した標準画像における黒つぶれ領域画素を、上記露
光量を多くして撮像した非標準画像における上記黒つぶ
れ画素の近傍画素を用いて合成する。請求項３の発明に
おいては、それぞれ所定の画素数を有し被写体を撮像し
て画像信号を得るとともに、互いに画素をずらして配置
されている複数の撮像素子と、上記複数の撮像素子によ
り同一被写体の撮像を行い、その際少くとも１個の撮像
素子の露光量を異らせて撮像を行うことにより複数枚の
画像が得られるように撮像動作を制御する制御手段と、
上記複数枚の画像に基づいて１枚の画像を生成する画像
処理手段とを備え、上記制御手段は、露光量の多い撮像
と露光量の少ない撮像とを行うように制御を行い、上記
画像処理手段は、上記露光量を多くして撮像した非標準
画像における飽和領域画素を、上記露光量を少なくして
撮像した非標準画像における上記飽和領域画素の近傍画
素を用いて合成し、また、上記露光量を少なくして撮像
した非標準画像における黒つぶれ領域画素を、上記露光
量を多くして撮像した非標準画像における上記黒つぶれ
画素の近傍画素を用いて合成する。請求項４の発明にお
いては、所定の画素数を有し被写体を撮像して画像信号
を得る撮像素子と、上記撮像素子による撮像時に画素ず
らしを行う画素ずらし手段と、上記画素ずらし手段によ
り同一被写体に対して画素ずらしを行いながら複数回の
撮像を行い、その際少くとも１回は露光量を異らせて撮
像を行うことにより複数枚の画像が得られるように撮像
動作を制御する制御手段と、上記複数枚の画像に基づい
て１枚の画像を生成する画像処理手段とを備え、上記制
御手段は、適正露光による撮像と露光量の少い撮像とを
行うように制御を行い、上記画像処理手段は、上記適正
露光で撮像した標準画像における飽和領域画素を、上記
露光量を少くして撮像した非標準画像における上記飽和
領域画素の近傍画素を用いて合成する。請求項５の発明
においては、所定の画素数を有し被写体を撮像して画像
信号を得る撮像素子と、上記撮像素子による撮像時に画
素ずらしを行う画素ずらし手段と、上記画素ずらし手段
により同一被写体に対して画素ずらしを行いながら複数
回の撮像を行い、その際少くとも１回は露光量を異らせ
て撮像を行うことにより複数枚の画像が得られるように
撮像動作を制御する制御手段と、上記複数枚の画像に基
づいて１枚の画像を生成する画像処理手段とを備え、上
記制御手段は、適正露光による撮像と露光量の多い撮像
とを行うように制御を行い、上記画像処理手段は、上記
適正露光で撮像した標準画像における黒つぶれ領域画素
を、上記露光量を多くして撮像した非標準画像における
上記黒つぶれ画素の近傍画素を用いて合成する。請求項
６の発明においては、所定の画素数を有し被写体を撮像
して画像信号を得る撮像素子と、上記撮像素子による撮
像時に画素ずらしを行う画素ずらし手段と、上記画素ず
らし手段により同一被写体に対して画素ずらしを行いな
がら複数回の撮像を行い、その際少くとも１回は露光量
を異らせて撮像を行うことにより複数枚の画像が得られ
るように撮像動作を制御する制御手段と、上記複数枚の
画像に基づいて１枚の画像を生成する画像処理手段とを
備え、上記制御手段は、露光量の多い撮像と露光量の少
ない撮像とを行うように制御を行い、上記画像処理手段
は、上記露光量を多くして撮像した非標準画像における
飽和領域画素を、上記露光量を少なくして撮像した非標
準画像における上記飽和領域画素の近傍画素を用いて合
成し、また、上記露光量を少なくして撮像した非標準画
像における黒つぶれ領域画素を、上記露光量を多くして
撮像した非標準画像における上記黒つぶれ画素の近傍画
素を用いて合成する。
【００１０】
【００１１】
【作用】本発明によれば、同一被写体の同一シーンに対
する画素ずらしが行われかつ露光量を変えて撮像された
複数枚の画像データから１枚の画像を合成することによ
り高解像度を保ったまま、ダイナミックレンジを広げる
ことができる。
する画素ずらしが行われかつ露光量を変えて撮像された
複数枚の画像データから１枚の画像を合成することによ
り高解像度を保ったまま、ダイナミックレンジを広げる
ことができる。
【００１２】また、同一被写体の同一シーンに対する画
素ずらしが行われ、かつ露光量を変えて撮像された複数
枚の画像データから１枚の画像を合成することにより高
解像度を保ったまま、ダイナミックレンジを広げること
ができると共に、１回の撮像で複数枚の画像を得ること
ができる。
素ずらしが行われ、かつ露光量を変えて撮像された複数
枚の画像データから１枚の画像を合成することにより高
解像度を保ったまま、ダイナミックレンジを広げること
ができると共に、１回の撮像で複数枚の画像を得ること
ができる。
【００１３】
（実施例１）図１は、本発明における第１の実施例の撮
像装置の概略図である。本撮像装置は図のように撮像ブ
ロック、高品位化処理ブロックに分けられる。図１にお
いて、１はレンズ、２は補正光学手段としての回転プリ
ズム、３は撮像素子、４はＡ／Ｄ変換器、５は切換スイ
ッチ、６はメモリ、７は高品位化処理部、８は信号処理
部、９はシステムコントローラである。
像装置の概略図である。本撮像装置は図のように撮像ブ
ロック、高品位化処理ブロックに分けられる。図１にお
いて、１はレンズ、２は補正光学手段としての回転プリ
ズム、３は撮像素子、４はＡ／Ｄ変換器、５は切換スイ
ッチ、６はメモリ、７は高品位化処理部、８は信号処理
部、９はシステムコントローラである。
【００１４】次に動作について説明する。被写体像（不
図示）はレンズ１を通り、回転プリズム２を通って、撮
像素子３に投影される。本実施例では、撮像素子３は図
２（ａ）のような配列の補色フィルタを備えている。ま
た補正光学手段としては、被写体像を撮像素子３におけ
る光電変換画素に対して数ピッチ分（０ピッチ以上）ず
らして撮像素子３に投影する、いわゆる画素ずらしを行
うことを可能とする装置で、本実施例では回転プリズム
２を用いて上記目的を達成するようにしている。
図示）はレンズ１を通り、回転プリズム２を通って、撮
像素子３に投影される。本実施例では、撮像素子３は図
２（ａ）のような配列の補色フィルタを備えている。ま
た補正光学手段としては、被写体像を撮像素子３におけ
る光電変換画素に対して数ピッチ分（０ピッチ以上）ず
らして撮像素子３に投影する、いわゆる画素ずらしを行
うことを可能とする装置で、本実施例では回転プリズム
２を用いて上記目的を達成するようにしている。
【００１５】尚、上記補正光学手段としては、回転プリ
ズム２以外にも、図９に示すような、可変頂角プリズム
ｖａｐ（１）、反射型偏角系（２）、移動プリズム
（４）、移動レンズ（５）などが考えられ、画素ずらし
を行うという上記目的を達成する装置であれば何でもよ
い。また、前述した図１２のように、撮像素子１０１〜
１０３を用いて画素ずらしを行わないで、それぞれの撮
像素子１０１〜１０３にＲＧＢそれぞれの光を当て色再
現性を高めたり（白黒と同じ解像度が得られる）、また
撮像素子１０１〜１０３を互いに光電変換画素の数ピッ
チ分（例えは半ピッチ）ずらして位置して上記目的を達
成するようにしてもよい。
ズム２以外にも、図９に示すような、可変頂角プリズム
ｖａｐ（１）、反射型偏角系（２）、移動プリズム
（４）、移動レンズ（５）などが考えられ、画素ずらし
を行うという上記目的を達成する装置であれば何でもよ
い。また、前述した図１２のように、撮像素子１０１〜
１０３を用いて画素ずらしを行わないで、それぞれの撮
像素子１０１〜１０３にＲＧＢそれぞれの光を当て色再
現性を高めたり（白黒と同じ解像度が得られる）、また
撮像素子１０１〜１０３を互いに光電変換画素の数ピッ
チ分（例えは半ピッチ）ずらして位置して上記目的を達
成するようにしてもよい。
【００１６】再び図１について動作の続きを説明する
と、システムコントローラ９は、回転プリズム２及び撮
像素子３を制御し、本実施例では図３（ａ）に示すよう
に１〜４の順番で画素ずらしを行って４枚の絵を撮像す
る。また図３（ａ）において１〜４までの間少なくとも
一回は露光を変えて撮る。このようにして撮像された画
像信号は、Ａ／Ｄ変換器４でディジタル化された後、メ
モリ６に記憶される。メモリ６から読み出された画像信
号は高品位化処理部７において以下に述べる処理を用い
て高解像度化され、さらにダイナミックレンジが拡大さ
れた後、信号処理部８に送られ、ＲＧＢ及びＹ信号とな
り出力される。
と、システムコントローラ９は、回転プリズム２及び撮
像素子３を制御し、本実施例では図３（ａ）に示すよう
に１〜４の順番で画素ずらしを行って４枚の絵を撮像す
る。また図３（ａ）において１〜４までの間少なくとも
一回は露光を変えて撮る。このようにして撮像された画
像信号は、Ａ／Ｄ変換器４でディジタル化された後、メ
モリ６に記憶される。メモリ６から読み出された画像信
号は高品位化処理部７において以下に述べる処理を用い
て高解像度化され、さらにダイナミックレンジが拡大さ
れた後、信号処理部８に送られ、ＲＧＢ及びＹ信号とな
り出力される。
【００１７】以下、本発明の主眼点である画素ずらし効
果及びダイナミックレンジ拡大効果の両者を得る手法に
ついて説明する。本実施例では、図２（ａ）のようにＭ
ＧＹＣの補色が配列された補色フィルターを用いた場合
を考えている。図２（ａ）〜（ｄ）は図３の１〜４の順
に画素ずらしを行ったときのフィルタ配列を示す。この
場合の画素ずらし効果としては、図２（ｅ）のように、
撮像素子の１画素についてＭＧＹＣのすべての色信号が
得られる。また同時に、ダイナミックレンジ拡大効果と
して、適正露光画像の中の白とび部分（飽和領域）を解
消するために、露光量を少なくして撮った画像と置換し
合成する場合と、適正露光画像の中の黒つぶれ部分（ノ
イズ領域）を解消するために、露光量を多くして撮った
画像と置換し合成する場合との２通りを考える。
果及びダイナミックレンジ拡大効果の両者を得る手法に
ついて説明する。本実施例では、図２（ａ）のようにＭ
ＧＹＣの補色が配列された補色フィルターを用いた場合
を考えている。図２（ａ）〜（ｄ）は図３の１〜４の順
に画素ずらしを行ったときのフィルタ配列を示す。この
場合の画素ずらし効果としては、図２（ｅ）のように、
撮像素子の１画素についてＭＧＹＣのすべての色信号が
得られる。また同時に、ダイナミックレンジ拡大効果と
して、適正露光画像の中の白とび部分（飽和領域）を解
消するために、露光量を少なくして撮った画像と置換し
合成する場合と、適正露光画像の中の黒つぶれ部分（ノ
イズ領域）を解消するために、露光量を多くして撮った
画像と置換し合成する場合との２通りを考える。
【００１８】◎画素ずらし（４ｐｏｉｎｔ）＋ダイナミ
ックレンジ拡大（適正＋露光少）の場合 先に述べたように、画素ずらしを行ない、図２（ａ）〜
（ｄ）の画像信号を得るため、システムコントローラ９
は回転プリズム２を制御して４枚の絵を撮り、Ａ／Ｄ変
換器４でディジタル化し、次々にメモリ６に記憶させ
る。このとき、ダイナミックレンジ拡大効果を得るため
に図２（ｂ）（ｃ）（図３（ａ）における２及び３）の
位置で撮影するときに露光量を変化させ、適正露光より
も露光量を少なくして飽和領域のないようにする。
ックレンジ拡大（適正＋露光少）の場合 先に述べたように、画素ずらしを行ない、図２（ａ）〜
（ｄ）の画像信号を得るため、システムコントローラ９
は回転プリズム２を制御して４枚の絵を撮り、Ａ／Ｄ変
換器４でディジタル化し、次々にメモリ６に記憶させ
る。このとき、ダイナミックレンジ拡大効果を得るため
に図２（ｂ）（ｃ）（図３（ａ）における２及び３）の
位置で撮影するときに露光量を変化させ、適正露光より
も露光量を少なくして飽和領域のないようにする。
【００１９】このようにして撮影すると図２（ｅ）のよ
うにして１枚目と４枚目は適正露光量、２枚目と３枚目
は非適正露光量で、かつ１画素についてＭＧＹＣすべて
の画像信号を得ることができる。しかし、これらは露光
量を変えて撮っているため、そのままこの値を用いて画
像信号を作ることはできない。このためメモリ６に記憶
された画像信号は高品位化処理部７とのやりとりで１枚
の高解像度かつ広ダイナミックレンジ画像が得られる。
以下、高品位化処理部７における処理方法について説明
する。
うにして１枚目と４枚目は適正露光量、２枚目と３枚目
は非適正露光量で、かつ１画素についてＭＧＹＣすべて
の画像信号を得ることができる。しかし、これらは露光
量を変えて撮っているため、そのままこの値を用いて画
像信号を作ることはできない。このためメモリ６に記憶
された画像信号は高品位化処理部７とのやりとりで１枚
の高解像度かつ広ダイナミックレンジ画像が得られる。
以下、高品位化処理部７における処理方法について説明
する。
【００２０】まず図２のようにして得られ、メモリ６に
記録された画像信号を図４のように、ＭＧＹＣ各信号毎
にならべる。（ａ）はマゼンタ（Ｍ）、（ｂ）はグリー
ン、（ｃ）はシアン（Ｃ）、（ｄ）はイエロー（Ｙ）
で、このように適正露光画素と非適正露光画素とが交互
に得られる。次に、図５、図６に示すような処理をおこ
なうことにより、高解像度かつ広ダイナミックレンジ画
像を作成する。ここで図５はマゼンタ、図６はシアンの
場合の例である。この処理をおおまかに説明すると、画
素ずらし効果を得るために、各露光条件で撮った画像を
合成するが、このために、適正画素と非適正画素の輝度
レベルを合わせる。そして適正露光画素のうち飽和して
いる領域（飽和領域）をみつけ、非適正露光画素で補間
する。飽和領域の判別手法は、本実施例では、本出願人
が先に特開平５−２７２１１７号により出願した「画像
合成毎に輝度レベルを合わせる手法」に記載されている
手法を用いる。
記録された画像信号を図４のように、ＭＧＹＣ各信号毎
にならべる。（ａ）はマゼンタ（Ｍ）、（ｂ）はグリー
ン、（ｃ）はシアン（Ｃ）、（ｄ）はイエロー（Ｙ）
で、このように適正露光画素と非適正露光画素とが交互
に得られる。次に、図５、図６に示すような処理をおこ
なうことにより、高解像度かつ広ダイナミックレンジ画
像を作成する。ここで図５はマゼンタ、図６はシアンの
場合の例である。この処理をおおまかに説明すると、画
素ずらし効果を得るために、各露光条件で撮った画像を
合成するが、このために、適正画素と非適正画素の輝度
レベルを合わせる。そして適正露光画素のうち飽和して
いる領域（飽和領域）をみつけ、非適正露光画素で補間
する。飽和領域の判別手法は、本実施例では、本出願人
が先に特開平５−２７２１１７号により出願した「画像
合成毎に輝度レベルを合わせる手法」に記載されている
手法を用いる。
【００２１】図５、図６におけるプレ処理画像データ
は、非適正画素（露光少）は輝度レベル調整値Ｋをかけ
て、適正画素（適正露光）の輝度レベルに合わせたもの
である。この輝度レベル調整値についても、上記「画像
合成毎に輝度レベルを合わせる手法」に記載されてい
る。このプレ処理を行った後、プレ処理画像データから
１枚の高品位データを作るのだが、適正露光で撮影した
画像の中で飽和画素がない場合とある場合とでは処理が
異なる。つまり飽和画素がある場合には、露光量を異な
らせて撮った飽和のない画像データから補うことでダイ
ナミックレンジ拡大効果を持たせるためである。以下、
飽和画素がない領域とある領域とについての処理を説明
する。
は、非適正画素（露光少）は輝度レベル調整値Ｋをかけ
て、適正画素（適正露光）の輝度レベルに合わせたもの
である。この輝度レベル調整値についても、上記「画像
合成毎に輝度レベルを合わせる手法」に記載されてい
る。このプレ処理を行った後、プレ処理画像データから
１枚の高品位データを作るのだが、適正露光で撮影した
画像の中で飽和画素がない場合とある場合とでは処理が
異なる。つまり飽和画素がある場合には、露光量を異な
らせて撮った飽和のない画像データから補うことでダイ
ナミックレンジ拡大効果を持たせるためである。以下、
飽和画素がない領域とある領域とについての処理を説明
する。
【００２２】まず、飽和画素が無い領域には、適正露光
画素と非適正露光画素に輝度レベル調整値Ｋをかけた画
素を並べた図中におけるプレ処理後の画像データをその
まま用いてよい。本実施例では、画素を合成するための
手段としてＭＭｉのようなたたみ込み演算を用いてい
る。この何もしないという処理をあえてたたみ込み演算
子で表示すれば図中ＭＭ１、ＭＣ１のようになる。ま
た、適正領域においても、輝度レベル調整値ＫｍやＫｃ
の設定や何等かの理由で、適正画素、非適正画素の輝度
レベルがあわずフリッカーなどのちらつきがあらわれて
しまう場合には、解像度は落ちるが、図中ＭＭ2 、ＭＭ
３、ＭＣ２、ＭＣ３のようなローパスフィルタをかける
ことで、さらに輝度レベル調整を行うことにする。この
たたみ込み演算子の値によって輝度レベル調整つまりダ
イナミックレンジの拡大度と解像度との割合を変化させ
ることが本発明の特徴の一つである。
画素と非適正露光画素に輝度レベル調整値Ｋをかけた画
素を並べた図中におけるプレ処理後の画像データをその
まま用いてよい。本実施例では、画素を合成するための
手段としてＭＭｉのようなたたみ込み演算を用いてい
る。この何もしないという処理をあえてたたみ込み演算
子で表示すれば図中ＭＭ１、ＭＣ１のようになる。ま
た、適正領域においても、輝度レベル調整値ＫｍやＫｃ
の設定や何等かの理由で、適正画素、非適正画素の輝度
レベルがあわずフリッカーなどのちらつきがあらわれて
しまう場合には、解像度は落ちるが、図中ＭＭ2 、ＭＭ
３、ＭＣ２、ＭＣ３のようなローパスフィルタをかける
ことで、さらに輝度レベル調整を行うことにする。この
たたみ込み演算子の値によって輝度レベル調整つまりダ
イナミックレンジの拡大度と解像度との割合を変化させ
ることが本発明の特徴の一つである。
【００２３】次に、飽和領域がある場合の処理方法を説
明する。図５（ｂ）、図６（ｂ）のハッチング領域は適
正露光において飽和しており、非適正露光においては飽
和していない領域であるとする。マゼンタの場合で説明
すると、図５（ｂ）において、（３，３）の座標の画素
（着目画素）は飽和しているためこれをそのまま使うわ
けにはいかない。そこで着目画素近傍の飽和の無い非適
正露光画素で補間する。この補間処理も非飽和領域同様
たたみ込み演算で行ない、このたたみ込み演算子の値を
変えることでダイナミックレンジの拡大度と解像度との
割合を変化できる。本実施例では、図５（ｂ）における
（３，３）の画素の場合、飽和のない画素との座標関係
を調べこの場合ＭＭ４ａを用い、（３，２）の画素の場
合はＭＭ４ｂというように使い分けている。また、この
ＭＭ４ｂのたたみ込み演算子では解像度が落ちてしまう
ので、垂直解像度を保つためにＭＭ５を用いたりしても
よい。このように最適な画質が得られるようたたみ込み
演算子を決める。
明する。図５（ｂ）、図６（ｂ）のハッチング領域は適
正露光において飽和しており、非適正露光においては飽
和していない領域であるとする。マゼンタの場合で説明
すると、図５（ｂ）において、（３，３）の座標の画素
（着目画素）は飽和しているためこれをそのまま使うわ
けにはいかない。そこで着目画素近傍の飽和の無い非適
正露光画素で補間する。この補間処理も非飽和領域同様
たたみ込み演算で行ない、このたたみ込み演算子の値を
変えることでダイナミックレンジの拡大度と解像度との
割合を変化できる。本実施例では、図５（ｂ）における
（３，３）の画素の場合、飽和のない画素との座標関係
を調べこの場合ＭＭ４ａを用い、（３，２）の画素の場
合はＭＭ４ｂというように使い分けている。また、この
ＭＭ４ｂのたたみ込み演算子では解像度が落ちてしまう
ので、垂直解像度を保つためにＭＭ５を用いたりしても
よい。このように最適な画質が得られるようたたみ込み
演算子を決める。
【００２４】また、図６（ｂ）のシアンの場合も同様の
処理を行うので説明は省略するが、たたみ込み演算子Ｍ
Ｃ１〜ＭＣ５の特徴を述べると、ＭＣ１は何もしない、
ＭＣ２は軽いローパスをかけて輝度レベルを調整する、
ＭＣ３はＭＣ２より更に軽いローパスをかける、ＭＣ４
は飽和のない画素から演算する、ＭＣ５はＭＣ４におけ
る解像度をあげたものとなる。
処理を行うので説明は省略するが、たたみ込み演算子Ｍ
Ｃ１〜ＭＣ５の特徴を述べると、ＭＣ１は何もしない、
ＭＣ２は軽いローパスをかけて輝度レベルを調整する、
ＭＣ３はＭＣ２より更に軽いローパスをかける、ＭＣ４
は飽和のない画素から演算する、ＭＣ５はＭＣ４におけ
る解像度をあげたものとなる。
【００２５】以上の処理をすべての画素およびＭＧＹＣ
すべての信号に施す。そして、この処理された４枚のデ
ータは、図１における信号処理部８に送られ、ＲＧＢ及
びＹ信号に変換され出力される。
すべての信号に施す。そして、この処理された４枚のデ
ータは、図１における信号処理部８に送られ、ＲＧＢ及
びＹ信号に変換され出力される。
【００２６】◎画素ずらし（４ｐｏｉｎｔ）＋Ｄレンジ
拡大（適正＋露光多）の場合 次に、適正露光で撮影した画像データ中での暗い領域に
おける黒つぶれを解消する処理について説明する。図７
において、（ａ）はマゼンタ（ｂ）はシアンの場合の処
理を示している。まず、非適正露光画像は露光を多くし
ているので適正画像より値が大きい。そこで今度は適正
画像にゲイン調整値Ｋをかけて非適正画像信号の輝度レ
ベルに合わせる。この処理を行ったものが図中プレ処理
のデータである。
拡大（適正＋露光多）の場合 次に、適正露光で撮影した画像データ中での暗い領域に
おける黒つぶれを解消する処理について説明する。図７
において、（ａ）はマゼンタ（ｂ）はシアンの場合の処
理を示している。まず、非適正露光画像は露光を多くし
ているので適正画像より値が大きい。そこで今度は適正
画像にゲイン調整値Ｋをかけて非適正画像信号の輝度レ
ベルに合わせる。この処理を行ったものが図中プレ処理
のデータである。
【００２７】プレ処理を行った後、黒つぶれのない領域
はたたみ込み演算子ＭＭ１で、また黒つぶれ領域ではＭ
Ｍ２、ＭＭ３ａ、ＭＭ３ｂなどを用いて合成する。この
たたみ込み演算子の値によって輝度レベル調整つまりダ
イナミックレンジ拡大度と解像度との割合を変化でき
る。シアンの場合も同様で図７（ｂ）の処理を行う。以
上の処理をすべての画素およびＭＧＹＣ全ての信号に施
す。そして、この処理された４枚のデータは、図１にお
ける信号処理部８に送られ、ＲＧＢ及びＹ信号に変換さ
れ出力される。
はたたみ込み演算子ＭＭ１で、また黒つぶれ領域ではＭ
Ｍ２、ＭＭ３ａ、ＭＭ３ｂなどを用いて合成する。この
たたみ込み演算子の値によって輝度レベル調整つまりダ
イナミックレンジ拡大度と解像度との割合を変化でき
る。シアンの場合も同様で図７（ｂ）の処理を行う。以
上の処理をすべての画素およびＭＧＹＣ全ての信号に施
す。そして、この処理された４枚のデータは、図１にお
ける信号処理部８に送られ、ＲＧＢ及びＹ信号に変換さ
れ出力される。
【００２８】以上、画素ずらし処理とダイナミックレン
ジ拡大処理とを組み合わせて高品位画像データを合成す
る処理方法について記述したが、他にも、画素ずらし
中、３種類の露光、つまり「適正＋露光多＋露光少」の
場合には撮像ブロックからの出力は図８のようになり、
このデータから高解像度かつ広ダイナミックレンジのＭ
ＧＹＣの信号を作成する場合には、前述した「適正＋非
適正（露光少）」の処理と「適正＋非適正（露光多）」
の処理とを組み合わせて合成すればよいことは明らかで
ある。また、この他の画素ずらしの方法として図３
（ｂ）〜（ｄ）のような様々なものが考えられ、本撮像
装置はこれら画素ずらし手法とダイナミックレンジ拡大
手法とを自由に組み合わせることを可能とする。
ジ拡大処理とを組み合わせて高品位画像データを合成す
る処理方法について記述したが、他にも、画素ずらし
中、３種類の露光、つまり「適正＋露光多＋露光少」の
場合には撮像ブロックからの出力は図８のようになり、
このデータから高解像度かつ広ダイナミックレンジのＭ
ＧＹＣの信号を作成する場合には、前述した「適正＋非
適正（露光少）」の処理と「適正＋非適正（露光多）」
の処理とを組み合わせて合成すればよいことは明らかで
ある。また、この他の画素ずらしの方法として図３
（ｂ）〜（ｄ）のような様々なものが考えられ、本撮像
装置はこれら画素ずらし手法とダイナミックレンジ拡大
手法とを自由に組み合わせることを可能とする。
【００２９】本実施例によれば、画素ずらし処理と、露
光量を異ならせた複数枚の画像データから１枚の広ダイ
ナミックレンジ画像を合成するという処理とを組み合わ
せることで、高解像度でしかもダイナミックレンジの拡
大された高品位な画像データを合成することができる。
光量を異ならせた複数枚の画像データから１枚の広ダイ
ナミックレンジ画像を合成するという処理とを組み合わ
せることで、高解像度でしかもダイナミックレンジの拡
大された高品位な画像データを合成することができる。
【００３０】（実施例２）
図１０は、本発明における第２の実施例の撮像装置の概
略図で、装置は図のように撮像ブロック、高品位化処理
ブロックに分けられる。本撮像装置は、図1における撮
像装置の撮像ブロックを多板式としたものである。図１
０において、１１、１２、１３は、互いに画素をずらし
て配置した撮像素子、１４、１５、１６はＡ／Ｄ変換
器、１０はプリズムである。
略図で、装置は図のように撮像ブロック、高品位化処理
ブロックに分けられる。本撮像装置は、図1における撮
像装置の撮像ブロックを多板式としたものである。図１
０において、１１、１２、１３は、互いに画素をずらし
て配置した撮像素子、１４、１５、１６はＡ／Ｄ変換
器、１０はプリズムである。
【００３１】次に動作を説明する。被写体像（不図示）
はレンズ１を通り、プリズム１０により３つの光路に分
解された後それぞれの撮像素子１１〜１３に投影され、
Ａ／Ｄ変換器１４〜１６でディジタル信号となる。ここ
で、第１の実施例と同様に、ムービー動作など高品位化
処理を行わない場合は、システムコントローラ９によ
り、直ちに信号処理部８に送られ、ＲＧＢＹ信号となり
出力される。
はレンズ１を通り、プリズム１０により３つの光路に分
解された後それぞれの撮像素子１１〜１３に投影され、
Ａ／Ｄ変換器１４〜１６でディジタル信号となる。ここ
で、第１の実施例と同様に、ムービー動作など高品位化
処理を行わない場合は、システムコントローラ９によ
り、直ちに信号処理部８に送られ、ＲＧＢＹ信号となり
出力される。
【００３２】高品位化処理を行う時は、システムコント
ローラ９は、ＮＤフィルターや電子シャッタースピード
などの露光変化手段を用いて互いの撮像素子の露光量を
変え、同一シーンの露光量の異なる３枚の画像信号を得
る。このようにして撮られた画像信号はメモリ６に送ら
れ、高品位化処理部７でダイナミックレンジを広げた
後、信号処理部８でＲＧＢＹ信号となり出力される。こ
の時、高品位化処理部７での処理アルゴリズムは第１の
実施例のものを用いる。
ローラ９は、ＮＤフィルターや電子シャッタースピード
などの露光変化手段を用いて互いの撮像素子の露光量を
変え、同一シーンの露光量の異なる３枚の画像信号を得
る。このようにして撮られた画像信号はメモリ６に送ら
れ、高品位化処理部７でダイナミックレンジを広げた
後、信号処理部８でＲＧＢＹ信号となり出力される。こ
の時、高品位化処理部７での処理アルゴリズムは第１の
実施例のものを用いる。
【００３３】本実施例のような構成を持つ撮像装置で
は、１回の撮像動作で、３枚の画像信号が得られるの
で、画素ずらし効果とダイナミックレンジ拡大効果とを
得ることができ、第１の実施例における高解像度化及び
広ダイナミックレンジ化を簡単に実現することが可能と
なる。
は、１回の撮像動作で、３枚の画像信号が得られるの
で、画素ずらし効果とダイナミックレンジ拡大効果とを
得ることができ、第１の実施例における高解像度化及び
広ダイナミックレンジ化を簡単に実現することが可能と
なる。
【００３４】（実施例３）図１１は、本発明における第
３の実施例の撮像装置の概略図で、装置は図のように撮
像ブロック、信号処理ブロックに分けられ、第１の実施
例と異なる点は、本実施例における撮像装置は撮像素子
３からの出力をダイレクトにバイナリーデータとして出
力する点である。この時、バイナリーデータに輝度レベ
ル調整値及び画素ずらし情報及び露光条件の情報、つま
り高品位化処理を行うのに必要な高品位化情報を付け加
えることを本実施例の特徴とする。
３の実施例の撮像装置の概略図で、装置は図のように撮
像ブロック、信号処理ブロックに分けられ、第１の実施
例と異なる点は、本実施例における撮像装置は撮像素子
３からの出力をダイレクトにバイナリーデータとして出
力する点である。この時、バイナリーデータに輝度レベ
ル調整値及び画素ずらし情報及び露光条件の情報、つま
り高品位化処理を行うのに必要な高品位化情報を付け加
えることを本実施例の特徴とする。
【００３５】図１１において、１７はセンサーダイレク
トデータ出力部、１８はパソコンなどのコンピュータで
ある。
トデータ出力部、１８はパソコンなどのコンピュータで
ある。
【００３６】次に動作を説明する。撮像ブロックから得
られた画像信号は、高品位化動作を行わない時には、シ
ステムコントローラ９によって信号処理部８に送られ、
ＲＧＢＹ信号となり出力される。高品位化動作を行う時
には、センサーダイレクトデータ出力部１７に送られ、
コンピュー８にデータ転送できるフォーマットに変化さ
れ、メモリ６に記憶される。また、同時に、上述した高
品位化情報を付加する。そして、メモリ６に記憶された
データはユーザの要求時にコンピュータ１８に送られ、
第１の実施例と同様の処理が行われる。
られた画像信号は、高品位化動作を行わない時には、シ
ステムコントローラ９によって信号処理部８に送られ、
ＲＧＢＹ信号となり出力される。高品位化動作を行う時
には、センサーダイレクトデータ出力部１７に送られ、
コンピュー８にデータ転送できるフォーマットに変化さ
れ、メモリ６に記憶される。また、同時に、上述した高
品位化情報を付加する。そして、メモリ６に記憶された
データはユーザの要求時にコンピュータ１８に送られ、
第１の実施例と同様の処理が行われる。
【００３７】本実施例のように構成すれば、第１の実施
例のように撮像装置内に信号処理の速いマイコンを持た
なくてすみ、また回路構成を簡単にすることができる。
また、高品位化の処理をコンピュータ１８に持たせたこ
とで、ユーザの希望により簡単にアルゴリズムの変更が
可能となる。
例のように撮像装置内に信号処理の速いマイコンを持た
なくてすみ、また回路構成を簡単にすることができる。
また、高品位化の処理をコンピュータ１８に持たせたこ
とで、ユーザの希望により簡単にアルゴリズムの変更が
可能となる。
【００３８】
【発明の効果】以上述べたように本発明によれば、同一
被写体に対する画素ずらしの行われかつ露光量を変えて
撮像して得られた複数枚の画像データから１枚の画像を
合成することにより、高解像度かつ広ダイナミックレン
ジ画像を容易に得ることができる効果がある。
被写体に対する画素ずらしの行われかつ露光量を変えて
撮像して得られた複数枚の画像データから１枚の画像を
合成することにより、高解像度かつ広ダイナミックレン
ジ画像を容易に得ることができる効果がある。
【００３９】また、同一被写体に対する画素ずらしの行
われかつ露光量を変えて撮像して得られた複数枚の画像
データから１枚の画像を合成することにより、高解像度
かつ広ダイナミックレンジ画像を容易に得ることができ
る効果があると共に、１回の撮像で複数枚の画像が得ら
れ、画素ずらしと同等の効果を得ることができる。
われかつ露光量を変えて撮像して得られた複数枚の画像
データから１枚の画像を合成することにより、高解像度
かつ広ダイナミックレンジ画像を容易に得ることができ
る効果があると共に、１回の撮像で複数枚の画像が得ら
れ、画素ずらしと同等の効果を得ることができる。
【００４０】また、適正露光で撮った標準が画像におけ
る飽和領域画素あるいは黒つぶれ領域画素を、露光量を
異ならせかつ画素ずらしを行った非標準画像における前
記飽和領域画素あるいは前記黒つぶれ領域画素の近傍画
素を用いて合成することより、高解像度を保ったままダ
イナミックレンジを拡大することができる効果がある。
る飽和領域画素あるいは黒つぶれ領域画素を、露光量を
異ならせかつ画素ずらしを行った非標準画像における前
記飽和領域画素あるいは前記黒つぶれ領域画素の近傍画
素を用いて合成することより、高解像度を保ったままダ
イナミックレンジを拡大することができる効果がある。
【００４１】さらに、上記合成処理において、標準画像
における合成すべき注目画素と非標準画像の前記注目画
素近傍の画素を混合する割合を変化させることが可能な
ため、任意に解像度とダイナミックレンジ拡大の割合を
変化させることができる効果がある。
における合成すべき注目画素と非標準画像の前記注目画
素近傍の画素を混合する割合を変化させることが可能な
ため、任意に解像度とダイナミックレンジ拡大の割合を
変化させることができる効果がある。
【図１】本発明の第１の実施例を示すブロック図であ
る。
る。
【図２】第１の実施例における高品位画像を得るために
必要な画像及びその色配列を示す構成図である。
必要な画像及びその色配列を示す構成図である。
【図３】図１の撮像ブロックにおける画素ずらしの方法
を説明する構成図である。
を説明する構成図である。
【図４】図２における各色別の出力（適正露光＋非適正
露光）を示す構成図である。
露光）を示す構成図である。
【図５】高品位化のための信号処理手法を示す構成図で
ある。
ある。
【図６】高品位化のための信号処理手法を示す構成図で
ある。
ある。
【図７】高品位化のための信号処理手法を示す構成図で
ある。
ある。
【図８】図２における各色別の出力（適正露光＋露光少
＋露光多）を示す構成図である。
＋露光多）を示す構成図である。
【図９】図１の補正光学手段の実施例を示す構成図であ
る。
る。
【図１０】本発明の第２の実施例を示すブロック図であ
る。
る。
【図１１】本発明の第３の実施例を示すブロック図であ
る。
る。
【図１２】従来の高解像を得る撮像装置を示す構成図で
ある。
ある。
１ レンズ
２ 回転プリズム
３ 撮像素子
７ 高品位化処理部
８ 信号処理部
９ システムコントローラ
１０ ３色分解プリズム
１１，１２，１３ 撮像素子
１７ センサーダイレクトデータ出力部
１８ コンピュター
Claims (11)
- 【請求項１】 それぞれ所定の画素数を有し被写体を撮
像して画像信号を得るとともに、互いに画素をずらして
配置されている複数の撮像素子と、 上記複数の撮像素子により同一被写体の撮像を行い、そ
の際少くとも１個の撮像素子の露光量を異らせて撮像を
行うことにより複数枚の画像が得られるように撮像動作
を制御する制御手段と、 上記複数枚の画像に基づいて１枚の画像を生成する画像
処理手段とを備え、 上記制御手段は、適正露光による撮像と露光量の少い撮
像とを行うように制御を行い、上記画像処理手段は、上
記適正露光で撮像した標準画像における飽和領域画素
を、上記露光量を少くして撮像した非標準画像における
上記飽和領域画素の近傍画素を用いて合成することを特
徴とする撮像装置。 - 【請求項２】 それぞれ所定の画素数を有し被写体を撮
像して画像信号を得るとともに、互いに画素をずらして
配置されている複数の撮像素子と、 上記複数の撮像素子により同一被写体の撮像を行い、そ
の際少くとも１個の撮像素子の露光量を異らせて撮像を
行うことにより複数枚の画像が得られるように撮像動作
を制御する制御手段と、 上記複数枚の画像に基づいて１枚の画像を生成する画像
処理手段とを備え、 上記制御手段は、適正露光による撮像と露光量の多い撮
像とを行うように制御を行い、上記画像処理手段は、上
記適正露光で撮像した標準画像における黒つぶれ領域画
素を、上記露光量を多くして撮像した非標準画像におけ
る上記黒つぶれ画素の近傍画素を用いて合成することを
特徴とする撮像装置。 - 【請求項３】 それぞれ所定の画素数を有し被写体を撮
像して画像信号を得るとともに、互いに画素をずらして
配置されている複数の撮像素子と、 上記複数の撮像素子により同一被写体の撮像を行い、そ
の際少くとも１個の撮像素子の露光量を異らせて撮像を
行うことにより複数枚の画像が得られるように撮像動作
を制御する制御手段と、 上記複数枚の画像に基づいて１枚の画像を生成する画像
処理手段とを備え、 上記制御手段は、露光量の多い撮像と露光量の少ない撮
像とを行うように制御を行い、上記画像処理手段は、上
記露光量を多くして撮像した非標準画像における飽和領
域画素を、上記露光量を少なくして撮像した非標準画像
における上記飽和領域画素の近傍画素を用いて合成し、
また、上記露光量を少なくして撮像した非標準画像にお
ける黒つぶれ領域画素を、上記露光量を多くして撮像し
た非標準画像における上記黒つぶれ画素の近傍画素を用
いて合成することを特徴とする撮像装置。 - 【請求項４】 所定の画素数を有し被写体を撮像して画
像信号を得る撮像素子と、 上記撮像素子による撮像時に画素ずらしを行う画素ずら
し手段と、 上記画素ずらし手段により同一被写体に対して画素ずら
しを行いながら複数回の撮像を行い、その際少くとも１
回は露光量を異らせて撮像を行うことにより複数枚の画
像が得られるように撮像動作を制御する制御手段と、 上記複数枚の画像に基づいて１枚の画像を生成する画像
処理手段とを備え、 上記制御手段は、適正露光による撮像と露光量の少い撮
像とを行うように制御を行い、上記画像処理手段は、上
記適正露光で撮像した標準画像における飽和領域画素
を、上記露光量を少くして撮像した非標準画像における
上記飽和領域画素の近傍画素を用いて合成することを特
徴とする撮像装置。 - 【請求項５】 所定の画素数を有し被写体を撮像して画
像信号を得る撮像素子と、 上記撮像素子による撮像時に画素ずらしを行う画素ずら
し手段と、 上記画素ずらし手段により同一被写体に対して画素ずら
しを行いながら複数回の撮像を行い、その際少くとも１
回は露光量を異らせて撮像を行うことにより複数枚の画
像が得られるように撮像動作を制御する制御手段と、 上記複数枚の画像に基づいて１枚の画像を生成する画像
処理手段とを備え、 上記制御手段は、適正露光による撮像と露光量の多い撮
像とを行うように制御を行い、上記画像処理手段は、上
記適正露光で撮像した標準画像における黒つぶれ領域画
素を、上記露光量を多くして撮像した非標準画像におけ
る上記黒つぶれ画素の近傍画素を用いて合成することを
特徴とする撮像装置。 - 【請求項６】 所定の画素数を有し被写体を撮像して画
像信号を得る撮像素子と、 上記撮像素子による撮像時に画素ずらしを行う画素ずら
し手段と、 上記画素ずらし手段により同一被写体に対して画素ずら
しを行いながら複数回の撮像を行い、その際少くとも１
回は露光量を異らせて撮像を行うことにより複数枚の画
像が得られるように撮像動作を制御する制御手段と、 上記複数枚の画像に基づいて１枚の画像を生成する画像
処理手段とを備え、 上記制御手段は、露光量の多い撮像と露光量の少ない撮
像とを行うように制御を行い、上記画像処理手段は、上
記露光量を多くして撮像した非標準画像における飽和領
域画素を、上記露光量を少なくして撮像した非標準画像
における上記飽和領域画素の近傍画素を用いて合成し、
また、上記露光量を少なくして撮像した非標準画像にお
ける黒つぶれ領域画素を、上記露光量を多くして撮像し
た非標準画像における上記黒つぶれ画素の近傍画素を用
いて合成することを特徴とする撮像装置。 - 【請求項７】 上記合成処理において、上記標準画像あ
るいは非標準画像における合成すべき注目画素と上記非
標準画像の上記注目画素近傍の画素とを混合する割合を
変化させることにより、解像度とダイナミックレンジ拡
大度との割合を変化させるようにしたことを特徴とする
請求項１乃至６のいずれか１項記載の撮像装置。 - 【請求項８】 上記制御手段は、上記撮像素子の露光量
を制御するために、上記撮像素子の電子シャッターを用
いることを特徴とする請求項１乃至３のいずれか１項記
載の撮像装置。 - 【請求項９】 上記制御手段は、上記撮像素子の露光量
を制御するために、上記撮像素子の前に光学補正手段を
設けたことを特徴とする請求項１乃至３のいずれか１項
記載の撮像装置。 - 【請求項１０】 上記画像ずらし手段は、上記被写体を
撮像する毎に上記撮像素子を固定している手段を動かす
ことにより画素ずらしを行うことを特徴とする請求項４
乃至６のいずれか１項記載の撮像装置。 - 【請求項１１】 上記画素ずらし手段は、上記被写体と
上記撮像素子との間に位置する光学補正手段を備え、上
記被写体を撮像する毎に上記光学補正手段によって画素
ずらしを行うことを特徴とする請求項４乃至６のいずれ
か１項記載の撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17135794A JP3382359B2 (ja) | 1994-07-22 | 1994-07-22 | 撮像装置 |
| US08/505,608 US7095434B1 (en) | 1994-07-22 | 1995-07-21 | Image sensing apparatus with sensor displacement capability |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17135794A JP3382359B2 (ja) | 1994-07-22 | 1994-07-22 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0837628A JPH0837628A (ja) | 1996-02-06 |
| JP3382359B2 true JP3382359B2 (ja) | 2003-03-04 |
Family
ID=15921692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17135794A Expired - Fee Related JP3382359B2 (ja) | 1994-07-22 | 1994-07-22 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7095434B1 (ja) |
| JP (1) | JP3382359B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010073035A (ja) * | 2008-09-19 | 2010-04-02 | Sharp Corp | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3617887B2 (ja) | 1996-10-14 | 2005-02-09 | シャープ株式会社 | 撮像装置 |
| JP2007060717A (ja) * | 1996-12-27 | 2007-03-08 | Sharp Corp | 撮像装置 |
| JP4566974B2 (ja) * | 1996-12-27 | 2010-10-20 | シャープ株式会社 | 光量差補正方法 |
| US6867879B1 (en) | 1998-02-16 | 2005-03-15 | Canon Kabushiki Kaisha | Printer, control method of printer, and storage medium for storing control program of printer |
| US7057659B1 (en) * | 1999-07-08 | 2006-06-06 | Olympus Corporation | Image pickup device and image pickup optical system |
| US7184056B2 (en) * | 2002-11-20 | 2007-02-27 | Apple Computer, Inc. | Method and apparatus for user customized shading of a graphical user interface |
| JP2005109991A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 信号処理方法及び装置、撮像装置 |
| US7532359B2 (en) * | 2004-03-09 | 2009-05-12 | Microsoft Corporation | System and process for automatic color and exposure correction in an image |
| US7714928B2 (en) * | 2004-05-28 | 2010-05-11 | Konica Minolta Holdings, Inc. | Image sensing apparatus and an image sensing method comprising a logarithmic characteristic area and a linear characteristic area |
| US7420592B2 (en) * | 2004-06-17 | 2008-09-02 | The Boeing Company | Image shifting apparatus for enhanced image resolution |
| WO2007077719A1 (ja) * | 2005-12-27 | 2007-07-12 | Kyocera Corporation | 撮像装置およびその画像処理方法 |
| KR101035824B1 (ko) * | 2006-05-09 | 2011-05-20 | 샤프 가부시키가이샤 | 촬상 장치 및 촬상 방법 |
| KR100763656B1 (ko) * | 2006-06-02 | 2007-10-11 | 엠텍비젼 주식회사 | 이미지 센서 및 이미지 처리 방법 |
| US7702232B2 (en) * | 2006-07-25 | 2010-04-20 | Hewlett-Packard Development Company, L.P. | Dynamic focus zones for cameras |
| GB2443663A (en) * | 2006-07-31 | 2008-05-14 | Hewlett Packard Development Co | Electronic image capture with reduced noise |
| JP2010010958A (ja) * | 2008-06-25 | 2010-01-14 | Olympus Corp | マルチバンド画像撮像方法および装置 |
| JP4494505B1 (ja) * | 2009-02-13 | 2010-06-30 | シャープ株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| US8441499B2 (en) * | 2009-08-05 | 2013-05-14 | Apple Inc. | User interface contrast filter |
| CN102129148A (zh) * | 2010-01-20 | 2011-07-20 | 鸿富锦精密工业（深圳）有限公司 | 相机及照片拍摄与处理方法 |
| US10108386B2 (en) | 2011-02-04 | 2018-10-23 | Qualcomm Incorporated | Content provisioning for wireless back channel |
| WO2012127772A1 (ja) * | 2011-03-24 | 2012-09-27 | パナソニック株式会社 | 固体撮像素子および当該素子を備える撮像装置 |
| JP2013026722A (ja) * | 2011-07-19 | 2013-02-04 | Toshiba Corp | 画像処理装置 |
| US9131192B2 (en) | 2012-03-06 | 2015-09-08 | Apple Inc. | Unified slider control for modifying multiple image properties |
| US9202433B2 (en) | 2012-03-06 | 2015-12-01 | Apple Inc. | Multi operation slider |
| US10282055B2 (en) | 2012-03-06 | 2019-05-07 | Apple Inc. | Ordered processing of edits for a media editing application |
| US9041727B2 (en) | 2012-03-06 | 2015-05-26 | Apple Inc. | User interface tools for selectively applying effects to image |
| CN104285434A (zh) * | 2012-05-18 | 2015-01-14 | 汤姆逊许可公司 | 原生的三色图像和高动态范围图像 |
| DE102012107191A1 (de) * | 2012-08-06 | 2014-02-06 | Jenoptik Optical Systems Gmbh | Verfahren zur hochauflösenden digitalen Farbbildaufnahme mit hohem Dynamikbereich |
| US9288395B2 (en) | 2012-11-08 | 2016-03-15 | Apple Inc. | Super-resolution based on optical image stabilization |
| JP6406608B1 (ja) * | 2017-07-21 | 2018-10-17 | 株式会社コンフォートビジョン研究所 | 撮像装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL87306A0 (en) * | 1988-08-02 | 1989-01-31 | Technion Res & Dev Foundation | Wide dynamic range camera |
| DE69228629T2 (de) * | 1991-06-20 | 1999-09-09 | Canon K.K. | Anordnung von mehreren Bildsensoren in einer Videokamera |
| US5420635A (en) * | 1991-08-30 | 1995-05-30 | Fuji Photo Film Co., Ltd. | Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device |
| US5309243A (en) * | 1992-06-10 | 1994-05-03 | Eastman Kodak Company | Method and apparatus for extending the dynamic range of an electronic imaging system |
| US5402171A (en) * | 1992-09-11 | 1995-03-28 | Kabushiki Kaisha Toshiba | Electronic still camera with improved picture resolution by image shifting in a parallelogram arrangement |
| US5625411A (en) * | 1992-12-22 | 1997-04-29 | Fuji Photo Film, Ltd. | Video camera printer apparatus and method of controlling same and apparatus and method for detecting print inhibit signal |
-
1994
- 1994-07-22 JP JP17135794A patent/JP3382359B2/ja not_active Expired - Fee Related
-
1995
- 1995-07-21 US US08/505,608 patent/US7095434B1/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010073035A (ja) * | 2008-09-19 | 2010-04-02 | Sharp Corp | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0837628A (ja) | 1996-02-06 |
| US7095434B1 (en) | 2006-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3382359B2 (ja) | 撮像装置 | |
| JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP2005142680A (ja) | 画像処理装置 | |
| JP3704238B2 (ja) | 撮像装置 | |
| JPH10150668A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
| JP2004222184A (ja) | デジタルカメラ | |
| US8111298B2 (en) | Imaging circuit and image pickup device | |
| JP2008276482A (ja) | 画像処理装置、画像処理方法及び画像処理用プログラム。 | |
| JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
| US20060197854A1 (en) | Image capturing apparatus and computer software product | |
| JP5430379B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
| JP4272443B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP2003179819A (ja) | 撮像装置 | |
| JP3553999B2 (ja) | 撮像装置とその画像処理方法 | |
| JP2001078210A (ja) | 固体撮像装置および信号読出し方法 | |
| JP3535585B2 (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
| JP2003101815A (ja) | 信号処理装置及び信号処理方法 | |
| JPH10155158A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
| JP2006340100A (ja) | 撮影装置 | |
| JP6886026B2 (ja) | 撮像装置 | |
| JP2010074314A (ja) | 撮像装置、その制御方法及びプログラム | |
| JP3905342B2 (ja) | 固体撮像装置 | |
| JP2001078208A (ja) | 固体撮像装置および信号読出し方法 | |
| JP2002209100A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101220 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111220 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121220 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131220 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |