JPH11196428A - 撮像装置およびその制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 撮影対象物の色情報に応じて、解像度の高い
画像を低コストで撮影することができる撮像装置および
その制御方法を提供することを目的とする。 【解決手段】 ユーザによりデジタルカメラを使用する
ための操作が行われた場合、カメラ操作スイッチ部１８
の状態変化をＣＰＵ１が検出し、各ブロックヘの電源供
給を開始する。撮影の対象である被写体像は、主撮影光
学部３を介して撮像部６に結像される。Ａ／Ｄ変換部７
では、撮像部６から出力される信号を所定のデジタル信
号に変換した後プロセス処理部８へ出力する。このプロ
セス処理部８では、デジタル変換された信号に基づいて
ＲＧＢ信号を生成し、生成されたＲＧＢ信号に対応する
画像が表示部１６に表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置およびそ
の制御方法に関し、例えば、デジタルカメラなどの撮像
装置およびその制御方法に関するものである。

【０００２】

【従来の技術】近年のデジタル技術の進歩に伴いデジタ
ル記録が可能な撮像装置、いわゆるデジタルカメラが数
多く提案されている。そして、このデジタルカメラの種
類の中には、ファインダー、あるいは、撮影時および撮
影した画像を表示するためのＴＦＴ液晶表示装置等の小
型の表示装置、手振れを補正するための手振れ補正装
置、ＪＰＥＧ圧縮した画像を保存するためのフラッシュ
メモリーなどの大容量記憶素子を搭載したものもある。

【０００３】

【発明が解決しようとする課題】しかし、上述した技術
においては、次のような問題がある。

【０００４】上述したデジタルカメラで撮影する画像の
解像度は、デジタルカメラを構成するＣＣＤにより決定
される。従って、解像度に優れた画像を撮影するために
は、たくさんの受光素子をもつ、例えば、１００万画素
以上のＣＣＤが必要になるため、デジタルカメラが高価
になってしまう。

【０００５】一方、画素数が少ないＣＣＤを有するデジ
タルカメラは、補間処理により解像度を向上させてい
る。しかしながら、補間処理においては、もともと補間
する画素の値は、周囲画素の値の平均値として合成され
るため、階調が比較的平坦な領域は問題ないが、階調が
大きく変化するエッジ領域では、エッジがぼやけるとい
う問題がある。

【０００６】本発明は、上記の問題を解決するものであ
り、対象物の色情報に応じて、解像度の高い画像を低コ
ストで撮影することができる撮像装置およびその制御方
法を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【０００８】本発明にかかる撮像装置は、画像を撮影
し、撮影した画像の色情報を出力する撮影手段と、撮影
対象物と前記撮影手段の撮像デバイスとを結ぶ光軸を調
整する調整手段とを備える撮像装置であって、前記撮影
手段から出力される色情報を記憶するための記憶手段
と、前記記憶手段に記憶された複数の画像それぞれを表
す色情報を合成して一つの画像を表す色情報にする合成
手段と、前記撮影手段から出力される色情報からエッジ
情報を多く含む色情報を判定する判定手段と、撮影の指
示が入力される入力手段と、前記入力手段により撮影が
指示されると、前記判定手段の判定結果に基づき、前記
撮影手段、調整手段、記憶手段および合成手段を制御す
る制御手段とを有することを特徴とする。

【０００９】本発明にかかる撮像方法は、画像を撮影
し、撮影した画像の色情報を出力する撮影手段と、撮影
対象物と前記撮影手段の撮像デバイスとを結ぶ光軸を調
整する調整手段とを備える撮像装置の制御方法であっ
て、前記撮影手段から出力される色情報からエッジ情報
を多く含む色情報を判定し、撮影が指示されると、前記
撮影手段から出力される色情報を記憶手段の所定の領域
に記憶し、前記判定ステップの判定結果に基づき、前記
調整手段を制御し、前記撮影手段から出力される色情報
を前記記憶手段の他の領域に記憶させる撮影処理を所定
回数繰返すことを特徴とする。

【００１０】

【発明の実施の形態】以下、本発明にかかる一実施形態
の撮像装置およびその制御方法について図を参照して詳
細に説明する。

【００１１】図１は、本発明にかかる一実施形態のデジ
タルカメラの構成例を示すブロック図である。

【００１２】１は、デジタルカメラ全体の制御を司どる
ＣＰＵ、２は、デジタルカメラの撮影モードを設定する
ための設定部であり、例えば、動いている被写体を撮影
する場合に最適なスポーツモードや静止物を撮影する場
合に最適なポートレートモード等の設定を行うことがで
きる。１８は、デジタルカメラで撮影を開始するための
操作スイッチで、メインスイッチ及びレリーズスイッチ
となる。

【００１３】３は、デジタルカメラの主撮影光学系を表
したものである。４は、撮像部６に結像する被写体像
を、空間的に平行にずらす為の補正光学部を表したもの
である。ここで、この補正光学部４としては、特開平３
−１８６８２３に示した様ないわゆるシフト補正光学系
を使用している。

【００１４】このシフト補正光学系は、デジタルカメラ
を使用するユーザの手振れ補正を行うために使用するも
のである。つまり、デジタルカメラの振れ量を検知する
振れセンサ部１７（通常、振動ジャイロと呼ばれる角速
度センサを２個使用し、異なる２軸周りの角度振れを別
々に検出する）から出力される信号を、ＣＰＵが補正光
学部４を駆動するためのデータに変換した後、レンズ駆
動部５を通してレンズを動かすことで、常に被写体像が
振れずに所定の結像面で安定するようになるものであ
る。

【００１５】一方、撮像部６に結像した被写体像に対応
する信号は、符号６から符号１６で構成される一連の映
像信号処理部において、所定のデジタル信号に変換され
るようになっている。

【００１６】撮像部６（例えば、ＣＣＤ等の素子）で所
定の時間に渡って蓄積した電荷を、各画素毎に順々に読
み出すと同時に、Ａ／Ｄ変換部７で、この電荷量に相当
する被写体の輝度情報をデジタル信号に変換する。ここ
で、撮像部６には、ＲＧＢ等の各色信号等を作り出すた
めの光学色フィルタが貼り付けてあるため、撮像部６か
ら出力される信号は、ＲＧＢ各色に対応する信号となっ
て出力される。Ａ／Ｄ変換部７から出力される信号は、
プロセス処理部８へ入力され、このプロセス処理部８に
おいて、ダークレベル補正やγ変換等を行ってから、処
理された信号を画像合成部９へ出力する。

【００１７】この画像合成部９の処理について、図２を
用いて説明を行う。この図２における撮像素子の色フィ
ルタ配列は、一般的なベイヤー配列である。この撮像素
子の場合、全ての画素にＲ（レッド）Ｇ（グリーン）Ｂ
（ブルー）の情報があるわけではないので、例えば、図
２（ｂ）および図２（ｃ）に示した３画素×３画素のマ
トリックス行列を使用した補間演算にて、撮像素子の全
画素ポイントにおけるＲＧＢ色情報を求めるのが一般的
である。例えば、図２（ａ）において、画素ａに対応す
るＧ信号の信号レベルを求める場合、点線で囲まれたａ
およびその周囲の８画素の各信号レベルに、Ｇの補間フ
ィルタの係数をそれぞれ掛け合わせることで求めること
ができる。

【００１８】つまり、この画素ａに対応するＧ信号の信
号レベルは、画素ａの信号レベルに、画素ａに対応する
Ｇの補間フィルタの係数「１」をかけたものとなる。ま
た、画素ｂに対応するＧ信号の信号レベルを求める場合
も、点線で囲まれたｂおよびその周囲の８画素の各信号
レベルに、Ｇの補間フィルタの係数をそれぞれ掛け合わ
せることで求めることができる。しかしながら、画素ｂ
の色はＧではないため、画素ｂに対応するＧ信号の信号
レベルは、画素ｂの上下左右に位置する画素（Ｇ）の信
号レベルに、画素ｂの上下左右に位置する画素（Ｇ）に
対応するＧの補間フィルタの係数０．２５をかけ、それ
らを平均化したものになる。

【００１９】同様に、ＲおよびＢについても、図２
（ｃ）に示すＲ／Ｂの補間フィルタを使用して、全画素
ポイントにおけるＲ信号およびＢ信号の信号レベルを求
める。このようにして、最終的には、図２（ｄ）に示し
たように全画素ポイントに対するＲＧＢ信号の信号レベ
ルを求めることができる。

【００２０】以上のような方法で算出したＲＧＢ信号の
信号レベルを、各フレーム毎にビデオメモリ１５に転送
し、転送された情報に基づいて、表示部１６によって撮
影画面のファインダ表示を行う。

【００２１】一方、撮影時には、プロセス処理部８から
出力された信号をフレームメモリ１１および１２へ直接
転送し、画像データを一旦記憶する。次いで、画像合成
部９において、図２で説明した方法により、各画素に対
応するＲＧＢ信号をワークメモリ１３へ転送する。次
に、このワークメモリ１３の内容を被写体条件判別部１
９にて判別し、この判別結果に応じて、後述する画素ず
らし方法を決定する。そして、画素ずらし撮影を行った
結果を画像合成部９にて合成し、合成した結果をワーク
メモリ１３に一旦記憶する。

【００２２】さらに、メモリ制御部１０では、このワー
クメモリ１３の内容を所定の圧縮フォーマットに基づい
て圧縮し、その結果を外部メモリ１４（通常はフラッシ
ュメモリ等の不揮発性メモリで構成）に保存する。逆
に、外部メモリ１４に保存してある画像データに対応す
る画像を表示する場合には、その画像データを一旦メモ
リ制御部１０へ転送し、ここであらかじめ設定している
圧縮フォーマットと同様の伸張処理を行ってから、その
結果をワークメモリ１３へ転送する。更に転送された画
像データを、画像合成部９を介してビデオメモリ１５ヘ
転送する事で、表示部１６を介して、ファインダ等へ表
示する。なお、この外部メモリ１４は、脱着可能なメモ
リでもかまわない。

【００２３】次に、デジタルカメラの撮影動作につい
て、図３のフローチャートを用いて説明する。まず最初
のステップＳ１００では、デジタルカメラのメインスイ
ッチ（図１のカメラ操作スイッチ部１８の一部に相当）
がＯＮか否かの判定を行い、ここで、ユーザの操作によ
りメインスイッチがＯＮ状態になった場合には、直ちに
ステップＳ１０１へ進んで図１に示した各ブロック全体
への電源供給を行う。

【００２４】続いて、ステップＳ１０２では、振れセン
サ１７の起動を行う事で、デジタルカメラの手振れ量の
検出を開始し、更にステップＳ１０３では、レンズ駆動
部５を介して補正光学部４の駆動を開始する事で、ユー
ザの手振れ補正を開始する。次に、ステップＳ１０４で
は、撮像部６から出力される信号を、Ａ／Ｄ変換部７、
プロセス処理部８、および、画像合成部９の各部を介し
てビデオ信号に変換する動作を開始し、更に、ステップ
Ｓ１０５では、そのビデオ信号に対する表示動作を開始
する。従って、このステップＳ１０４、ステップＳ１０
５以降では、各フレーム毎に上記映像信号処理動作を繰
り返す事になる。

【００２５】上記動作の後、ステップＳ１０６では、ユ
ーザによるレリーズ操作が行われたか否かを判定する為
に、図１のデジタルカメラ操作スイッチ部１８内のレリ
ーズスイッチがＯＮ状態か否か検出し、これがＯＮ状態
の場合、直ちに撮影動作を開始する。

【００２６】ステップＳ１０７において、撮影する画像
の状態を判別する為に通常撮影動作を行う。この通常撮
影動作については、図４のフローチャートを用いて説明
を行う。まずステップＳ２００では、プロセス処理部８
から出力される画像データを一時的に記憶するためのフ
レームメモリ１からフレームメモリＮを選択するパラメ
ータＫに１を代入し、フレームメモリ１を指定する。

【００２７】次にステップＳ２０１では、撮像部６での
画像データの蓄積動作が完了したか否かの判定を行っ
て、蓄積が完了するまで待機状態となる。ここで、通常
ＣＣＤ等の撮像部６では、所定時間の蓄積動作が完了す
ると、その光電変換動作によって発生した電荷は、直ち
に転送先へ転送されるので、その発生電荷を順々に読み
出している最中でも、次の電荷蓄積動作は行っているも
のとする。

【００２８】従って、次のステップＳ２０２では、前述
した様に各画素データ毎にプロセス処理した結果を、順
々にフレームメモリ１に記憶していき、ステップＳ２０
３では、１フレーム分の全ての画素データがフレームメ
モリ１に記憶された事を検出した時点で、次のステップ
Ｓ２０４へ進む。

【００２９】ステップＳ２０４では、このフレームメモ
リ１の内容をまず画像合成部９へ転送し、この画像合成
部９で各画素毎に不足しているＲＧＢ情報に対する補間
動作を実行して、その結果をステップＳ２０５にて一旦
ワークメモリに記憶する。この動作を１フレーム分連続
して行い、ステップＳ２０６にて１フレーム分の処理が
完了した事を検出した時点で、この通常撮影動作を終了
する。

【００３０】以上のようにして、図３のステップＳ１０
７での撮影した画像に対応する画像データを取り込む為
の通常撮影が完了すると、次にステップＳ１０８ではこ
の撮影した画像に対応する画像データを基に、被写体の
条件判別を行う。この被写体の条件判別は、被写体条件
判別部１９にて行われる。

【００３１】この被写体の条件判別の具体的方法につい
ては、図５Ａおよび図５Ｂのフローチャートを用いて説
明を行う。まずステップＳ２５０では、上述した撮影モ
ードで取り込んだ画像データを各Ｒ，Ｇ，Ｂ毎に分解し
たワークメモリデータとしてＧを選択する。次に、この
Ｇ成分のみの画像データに含まれている周波数成分を検
出する為に、ステップＳ２５１では、静止画像圧縮の標
準規格であるＪＰＥＧ形式を用いて、例えば、１フレー
ム分の画像データを８画素×８画素毎のブロックに分割
して、各ブロックに対応する画像データを２次元の周波
数データに変換する、いわゆる、ＤＣＴ（Ｄｉｓｃｒｅ
ｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等を用い
る。

【００３２】この変換処理について図７を用いて説明す
る。上述したＤＣＴは、１フレーム分の画像全体を８画
素×８画素毎のブロック毎に分割し、各ブロック毎に同
様の変換処理を行う。図７（ａ）は、１ブロック分の画
素信号レベルを表したものでこの各画素信号レベルを下
式によって変換したものが図７（ｂ）である。

【００３３】

【数１】 図７（ｂ）において、上記の変換式で求められた係数の
左上が画像データに含まれるＤＣ成分であり、右下に向
かうにつれて画像データに含まれる高周波成分の程度を
表したものである。次に、この図７（ｂ）の各値を、図
７（ｄ）に示した量子化テーブルに示す値で量子化した
結果が図７（ｃ）である。

【００３４】例えば、図７（ｂ）で、ｉ、ｊ＝０のＳ０
０＝２６０を、図７（ｄ）の量子化テーブルの対応する
値１６で量子化した結果は１６である。従って、この周
波数データに変換した結果に対して、図７（ｄ）の量子
化テーブルの各値を変化させる事により、撮影した画像
の圧縮（原画像に対して小さい画像サイズに変換する）
程度を自由に変更する事が出来る。

【００３５】上述した方法に従って、ステップＳ２５２
では、撮影した画像に対応する画像データのＧの周波数
成分を各ブロック毎に算出し、この内、所定周波数以上
の成分がどの程度含まれるかを調べる。例えば、ステッ
プＳ２５３では、図７（ｂ）の８画素×８画素の画素ブ
ロックに対するＤＣＴ後の係数の内、ｉが４以上、ｊが
４以上の係数の絶対値の合計を計算し、更に全ブロック
における係数の絶対値の合計を加算する事で、撮影した
画像に対応する画像データに含まれる高周波成分の割合
を簡易的に検出する事が出来る。

【００３６】また、図１３（ｂ）に示すように、８画素
×８画素の画素ブロックに対するＤＣＴ後の係数の内、
ｉが４以上、ｊが１（水平方向）の係数の絶対値の合計
と、ｉが１、ｊが４以上（垂直方向）の係数の絶対値の
合計とを計算し、計算したそれぞれの絶対値に、全ブロ
ックにおける係数の絶対値の合計を加算する事によって
も、撮影した画像に対応する画像データに含まれる高周
波成分の割合を簡易的に検出する事も出来る。

【００３７】ステップＳ２５４では、上記加算結果を一
旦内部レジスタＳＵＭＧに記憶し、続いて、ステップＳ
２５５では、撮影した画像に対応する画像データに含ま
れるＲ成分に対する周波数解析を開始する。ステップＳ
２５６で、各ブロック毎にＤＣＴを行って周波数に対す
る係数を算出し、ステップＳ２５７でＧの時と同様に各
ブロック毎の所定以上の係数の値を取り出し、ステップ
Ｓ２５８で各係数の絶対値を全ブロックに対して加算
し、最終的にその結果をレジスタＳＵＭＲに記憶する。

【００３８】このＲの場合には、図２に示した様な撮像
素子上のカラーフィルタ配列を見てもわかるように、Ｇ
に比べて画素数が少ない為、周辺画素からの補間によっ
て各画素のＲ信号の信号レベルを算出しており、その
分、補間動作によるローパスフィルタ効果によって高周
波成分が減衰している。従って、この場合、Ｇと全く同
じ方法で高周波成分の程度を算出するのではなく、例え
ば、Ｇと同様の方法で計算した各ブロックの高周波係数
の絶対値加算結果に対して、所定の係数（＞１）を乗じ
て、その結果をＳＵＭＲに記憶する。

【００３９】また、その他の方法としては、図７（ｂ）
のＤＣＴ後の係数の内、Ｇの場合よりも広い周波数成分
（例えば、ｉ≧３、ｊ≧３）の範囲の係数を取り出す様
にする事でも、補正を行う事が可能である。

【００４０】同様にＢに対しても、ステップＳ２６０か
らステップＳ２６４の処理において、Ｒに対する処理と
全く同じ演算を行って、その結果をＳＵＭＢに記憶す
る。

【００４１】デジタルカメラでは、補間処理を行うこと
により、画像の解像度を向上させている。一方、本発明
にかかる画素ずらしという方法を用いると、補間処理を
行うことなく画像の解像度を向上させることができる。
さらに、解像度の向上または画像サイズを拡大するとき
は補間処理を用いるが、少ない画素数から補間処理を行
う場合に比べて、画質の劣化を押えることができる。

【００４２】ステップＳ２６５以降では、上記方法で算
出したＧ，Ｒ，Ｂ毎の周波数成分の程度を記憶している
ＳＵＭＧ，ＳＵＭＲ，ＳＵＭＢの各レジスタの大小判定
を行って、最も高周波成分を含んでいると思われる色成
分を判別し、その色成分に最適な画素ずらし方法を決定
する。

【００４３】まずステップＳ２６５では、ＳＵＭＧとＳ
ＵＭＲの大小判定を行って、ＳＵＭＧの方がＳＵＭＲよ
り大きい場合はステップＳ２６６へ進む。次にステップ
Ｓ２６６で、今度はＳＵＭＧとＳＵＭＢの大小判定を行
って、ＳＵＭＧの方がＳＵＭＲより大きい場合は、ＳＵ
ＭＧが一番大きい事になるので、撮影画面内で最もＧ成
分に対する高周波成分が最も多く含まれている事にな
る。従って、この場合はステップＳ２６７からステップ
Ｓ２７２までの処理において、各画素ずらし撮影を行う
場合の補正光学部４の駆動量を決定する。

【００４４】例えば、ステップＳ２６７ではΔＸ（１）
として、撮像部６の各画素ピッチ（＝Ｐ）に相当する量
だけ動かす為の駆動量を、＋Ｐ（この場合実際の補正光
学部４の駆動量と実際の像面移動量の比率を簡単の為１
とした）とし、ステップＳ２６８ではΔＹ（１）＝０、
ステップＳ２６９ではΔＸ（２）＝−２／Ｐ、ステップ
Ｓ２７０ではΔＹ（２）＝＋Ｐ／２、ステップＳ２７１
ではΔＸ（３）＝−Ｐ、ステップＳ２７２ではΔＹ
（３）＝０をそれぞれ設定している。

【００４５】一方、ステップＳ２６５またはステップＳ
２６６において、ＳＵＭＧの値がＳＵＭＲまたはＳＵＭ
Ｂより小さい場合は、１フレーム分の画像データに含ま
れるＲ成分またはＢ成分に対する高周波成分が最も多く
含まれている事になり、この場合は、ステップＳ２７３
からステップＳ２７８までの処理において、各画素ずら
し撮影を行う場合の補正光学部４の駆動量を決定する。

【００４６】例えば、ステップＳ２７３でΔＸ（１）＝
＋Ｐ、ステップＳ２７４ではΔＹ（１）＝０、ステップ
Ｓ２７５ではΔＸ（２）＝０、ステップＳ２７６ではΔ
Ｙ（２）＝＋Ｐ、ステップＳ２７７ではΔＸ（３）＝−
Ｐ、ステップＳ２７８ではΔＹ（３）＝０をそれぞれ設
定している。

【００４７】具体的な画素ずらし方法については後で詳
しく述べるが、ここではＧ，Ｒ，Ｂ成分毎にその周波数
成分の程度の大小関係から一義的に画素ずらし量ΔＸ
（１）、ΔＹ（１）、ΔＸ（２）、ΔＹ（２）、ΔＸ
（３）、ΔＹ（３）の量を、ステップＳ２６７からステ
ップＳ２７８までの処理において設定し、被写体の条件
判別動作を終了する。

【００４８】上記した被写体の条件判別が完了すると、
図３のステップＳ１０９で画素ずらし撮影を開始する。

【００４９】ここで、画素ずらし撮影について図８を用
いて説明する。図８（ａ）は前述したベイヤー配列であ
る。そして、補正光学部４をＸ方向に所定量偏心させる
事で、このオリジナル画像に含まれる各画素を、図８
（ｂ）に示すように、オリジナル画像に対して水平方向
に１画素ピッチだけずれた画像データを得る事が出来
る。従って、この１回目の画素ずらしによって、原理的
には各色毎に対して水平方向の画像の空間周波数を２倍
に向上する事が可能である。２回目の画素ずらしでは、
上記１回目の画素ずらし状態のまま、今度は補正光学部
４をＸ方向及びＹ方向に所定量偏心させる事で、図８
（ｃ）に示すように、オリジナル画像に対して斜め方向
に半画素ピッチずれた画像データを得る事が出来る。

【００５０】更に、３回目の画素ずらしでは、２回目の
画素ずらし状態のまま、補正光学部４を再びＸ方向のみ
偏心させる事で、図８（ｄ）に示すように、オリジナル
画像に対して斜め方向に半画素ピッチだけずれた画像デ
ータを得る事が出来る。こうしてオリジナル画像に対し
て、各フレーム毎に所定の画素ピッチずつずらしてい
き、計４回の撮影画像データを合成して組み合わせる事
により、水平および垂直方向ともに画像の空間周波数を
約２倍近くまで向上させる事が可能となる。

【００５１】次に、この画素ずらし撮影について、図６
のフローチャートを用いて説明を行う。まずステップＳ
３００では、プロセス処理部８から出力される画像デー
タを一時的に記憶する、フレームメモリを選択する為の
パラメータＫに１を代入し、フレームメモリ１を指定す
る。

【００５２】次にステップＳ３０１では、撮像部６での
画像データの蓄積動作が完了したか否かの判定を行っ
て、蓄積が完了する迄ここで待機する。ここで、通常Ｃ
ＣＤ等の撮像部６では、所定時間の蓄積動作が完了する
と、その光電変換動作によって発生した電荷が、直ちに
転送先へ転送されるので、その発生電荷を順々に読み出
している最中でも、次の電荷蓄積動作は行っていること
とする。

【００５３】図８に示したような、オリジナル画像の蓄
積動作が終了すると、次にステップＳ３０２及びステッ
プＳ３０３では、１回目の画素ずらしを実現する為の補
正光学部４の偏心データ量、ΔＸ（Ｋ）及びΔＹ（Ｋ）
を設定し、レンズ駆動部５を介して補正光学部４を偏心
駆動する。この場合、最初の偏心量ΔＸ（１）は、オリ
ジナル画像に対して１画素ピッチだけ撮像面上で被写体
がずれるような量であり、ΔＹ（１）はＹ方向に偏心さ
せない為０である。

【００５４】従って、次のステップＳ３０４では、オリ
ジナル画像を各画素データ毎にプロセス処理した結果
を、順々にフレームメモリ１に記憶していき、次いで、
ステップＳ３０５で１フレーム分の全ての画素データが
フレームメモリ１に記憶された事を検出した時点で、次
のステップＳ３０６へ進む。

【００５５】ステップＳ３０６では、上記フレームメモ
リ設定パラメータＫの値がＮ（この場合４）に等しいか
否かの判定を行い、等しくない場合はステップＳ３０７
でＫの値を１カウントアップして、再びステップＳ３０
１で次の１フレーム分の蓄積が完了したか否かの判定を
実行する。ステップＳ３０１では画像蓄積の完了を検出
すると、今度はステップＳ３０２及びステップＳ３０３
でΔＸ（２）は及びΔＹ（２）はオリジナル画像に対し
て斜め方向に半画素ピッチずらすような値を設定してか
ら、前記ステップＳ３０４からステップＳ３０７の動作
を繰り返す。

【００５６】更にもう一度ステップＳ３０２及びステッ
プＳ３０３を実行する場合には、今度はΔＸ（３）は前
記２回目の画素ずらしに対して水平方向に１画素ピッチ
ずらすような値を設定し、ΔＹ（３）は０とする。

【００５７】以上の様にして、ステップＳ３０６でＫの
値がＮ（この場合４）に等しくなる迄処理を繰り返し、
図８に示した様に、各フレーム毎にＸ，Ｙ方向に所定画
素ピッチずつずれた４フレームの画像を得る事が出来
る。

【００５８】上記画素ずらし撮影の様子を、補正光学部
４の動きにそって表現したものが図９である。この図９
は、補正光学部４のＸ方向及びＹ方向の動きを、時間軸
ｔに対して示したもので、撮影動作よりも前の段階で
は、手振れ補正動作を行う為、振れセンサ１７（Ｘ方向
及びＹ方向をそれぞれ検出する為に２こある）からの出
力に応じて、図９に示すように動作している。１回目の
撮影（画像蓄積終了）後、補正光学部４はＸ方向のみΔ
Ｘ（１）だけ平行に偏心移動し、この状態で手振れ補正
は継続したまま２回目の撮影を行う。２回目の撮影終了
後、今度は、Ｘ方向及びＹ方向にそれぞれΔＸ（２）、
ΔＹ（２）だけ偏心移動し、更に３回目の撮影を行う。
再び３回目の撮影終了後、Ｘ方向のみΔＸ（３）だけ偏
心移動し、４回目の撮影を行って全てを完了する事にな
る。

【００５９】次にステップＳ３０８以降では、画素ずら
しによって得られた高密度の画像データをＲＧＢ情報に
変換する動作を行う。まずステップＳ３０８では、画素
ずらし撮影での１回目の撮影で取り込んだ画像データを
記憶しているフレームメモリを指定するパラメータＫの
値を１に設定する。

【００６０】続いて、ステップＳ３０９でこのフレーム
メモリの内容をまず画像合成部９へ転送する。ステップ
Ｓ３１０では、１フレーム分の画像データの転送が完了
したか否かの判定のみを行う。ステップＳ３１０では、
１フレーム分の画像データの転送が完了した事を検出す
ると、今度はステップＳ３１１へ進み、ここで、全ての
画像データの転送が完了した事を検出する為に、Ｋの値
がＮ（この場合４）に等しいか否かを判定する。まだ全
ての画像データの転送が完了していない場合には、ステ
ップＳ３１２でＫの値を１カウントアップし、再びステ
ップＳ３０９へ進んで次のフレームメモリの内容の転送
を開始する。

【００６１】最終的に、全ての画像データの転送が完了
すると、ステップＳ３１１でＫの値がＮに等しくなっ
て、次にステップＳ３１３へ進み、ここで、画像合成部
９に転送された全ての画像データの合成を行う。

【００６２】この画像合成について、図１０を用いて説
明する。図１０（ａ）は、画素ずらし後に得られる画素
データの配列を空間的に再配置したもので、図２（ａ）
に示したオリジナルのベイヤー配列の撮像素子の画像デ
ータと比較すると、水平及び垂直方向共に２倍近くの空
間周波数を持つ画像データ配列である。しかし、この図
１０（ａ）の画像データのそれぞれの画素のＲＧＢ情報
を得る為には、この図１０（ｂ）および図１０（ｃ）に
示したマトリックス行列で構成される補間フィルタを、
この画像データにかけてやる必要がある。まずＧ成分に
ついてであるが、３画素×３画素のマトリックス行列を
用いて、例えば、画素ａに対応するＧ信号の信号レベル
を求める場合、点線で囲まれたａ及びその周囲８画素の
各信号レベルに、Ｇの補間フィルタの係数をそれぞれ掛
け合わせる事で求める事が出来る。

【００６３】つまり、この画素ａに対応するＧ信号の信
号レベルは、画素ａの信号レベルに、画素ａに対応する
Ｇの補間フィルタの係数「１」をかけたものとなる。ま
た、画素ｂに対応するＧ信号の信号レベルを求める場合
も、点線で囲まれたｂおよびその周囲の８画素の各信号
レベルに、Ｇの補間フィルタの係数をそれぞれ掛け合わ
せることで求めることができる。しかしながら、画素ｂ
はＧではないため、画素ｂに対応するＧ信号の信号レベ
ルは、画素ｂの上下左右に位置する画素（Ｇ）の信号レ
ベルに、画素ｂの上下左右に位置する画素（Ｇ）に対応
するＧの補間フィルタの係数０．２５をかけ、それらを
平均化したものになる。

【００６４】次に、画素ａおよび画素ｂに対応するＲ信
号の信号レベルおよびＢ信号の信号レベルを求める場
合、水平方向に対しては、すぐ隣の画素データからＲ信
号およびＢ信号の信号レベルを補間することができる
が、垂直方向に対しては、多少離れた位置の画素データ
を使って補間する必要があり、５画素×５画素のマトリ
ックス行列を使用して、Ｒ信号およびＢ信号の信号レベ
ルを補間する。

【００６５】このようにして、最終的には、図１０
（ｄ）に示したように全画素ポイントに対するＲＧＢ信
号の信号レベルを求めることができる。

【００６６】次にステップＳ３１４では、合成した画像
データを圧縮・保存する為に、まずこの画像データを全
て一旦ワークメモリ１３へ転送する。続いてステップＳ
３１５では圧縮タイプとして非可逆圧縮（復元動作を行
った時に実際の原画像と全く同じものは出来ない）を実
行することをメモリ制御部１０に対して設定する。

【００６７】この非可逆圧縮の方法としては、静止画の
圧縮の規格を定めているＪＰＥＧ形式の中で、前述した
いわゆるＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔ
ｒａｎｓｆｏｒｍ）等があり、この方法によれば原画像
のデータ量を減らす事ができる。

【００６８】ステップＳ３１６では、ＤＣＴ等の非可逆
圧縮を、合成した画像に対してブロック単位（８画素×
８画素を１ブロック）毎に実行し、ステップＳ３１７で
は、圧縮された画像データを、一般的なハフマン符号化
等を利用して圧縮符号データに変換する。この符号化さ
れた画像データは、ステップＳ３１８に示した様に順々
に外部メモリ１４に記憶していき、ステップＳ３１９で
全ブロックの圧縮及び外部メモリ１４ヘの保存が完了し
た事を検出して終了する。

【００６９】以上のようにして、図３のステップＳ１０
９の画素ずらし撮影は完了し、最後にステップＳ１１０
でデジタルカメラのレリーズスイッチがオフか否かの判
定を行って、レリーズスイッチがオン状態ならば、ステ
ップＳ１１０で待機状態となり、レリーズスイッチがオ
フになった時点で再びステップＳ１００へ戻ることにな
る。

【００７０】以上のように、図８に示した画素ずらし方
法の場合、Ｇの解像度に対しては水平・垂直共に２倍と
なるが、Ｒ，Ｂの解像度に対しては水平方向はかなり改
善されるものの、垂直方向は改善度は少ない。従って、
この方法は、上述した被写体条件判別に於いて、Ｇの高
周波数成分の割合が他に比べて多い場合に使用する。一
方、ステップＳ１０８のところで説明した被写体の条件
判別の結果、ＲまたはＢの高周波成分の割合が他に比べ
て多い場合は、図１１に示すような画素ずらし撮影を行
う。

【００７１】図１１（ａ）は前述したベイヤー配列であ
る。そして、補正光学部４をＸ方向に所定量偏心させる
事で、図１１（ｂ）に示すように、オリジナル画像に対
してＸ方向に１画素ピッチずれた画像データを得る事が
出来る。また、２回目の画素ずらしでは、上記１回目の
画素ずらし状態のまま、今度は補正光学部４をＹ方向に
所定量偏心させる事で、図１１（ｃ）に示すように、オ
リジナル画像に対して斜め方向に１画素ピッチずれた画
像データを得る事が出来る。

【００７２】更に、３回目の画素ずらしでは、２回目の
画素ずらし状態のまま、補正光学部４を再びＸ方向のみ
偏心させる事で、図１１（ｄ）に示すように、オリジナ
ル画像に対してＹ方向に１画素ピッチだけずれた画像デ
ータを得る事が出来る。こうしてオリジナル画像に対し
て、各フレーム毎に所定の画素ピッチずつずらしてい
き、計４回の撮影画像データを合成して組み合わせる事
により、Ｒ成分およびＢ成分を示す画素を均等に配列さ
せることが可能となる。

【００７３】上述した画像の合成について、図１２を用
いて説明する。図１２（ａ）は、画素ずらし後に得られ
る画素データの配列を空間的に再配置したもので、図２
（ａ）に示したオリジナルのベイヤー配列の撮像素子の
画像データと比較すると、Ｇを表す画素は、同一の位置
に重なって存在することから、図１０（ａ）と比較し
て、大きな解像力の改善はない。

【００７４】しかし、この図１２（ａ）に示す画像デー
タのそれぞれの画素のＲＧＢ情報を得る為には、この図
１２（ｂ）に示したマトリックス行列で構成される補間
フィルタを、この図１２（ａ）にかけてやる必要があ
る。ただし、Ｇを示す画素は同一の位置に重なっている
ため、信号レベルを平均化しておく必要がある。

【００７５】例えば、画素ａに対応する各ＲＧＢ信号の
信号レベルを求める場合、点線で囲まれたａ及びその周
囲８画素の各信号レベルに、図１２（ｂ）に示す補間フ
ィルタの係数をそれぞれ掛け合わせる事で求める事が出
来る。つまり、この画素ａに対応する各ＲＧＢ信号の信
号レベルは、画素ａの信号レベルに、画素ａに対応する
補間フィルタの係数「１」をかけたものとなる。

【００７６】また、画素ｂに対応する各ＲＧＢ信号の信
号レベルを求める場合も、点線で囲まれたｂおよびその
周囲の８画素の各信号レベルに、図１２（ｂ）に示す補
間フィルタの係数をそれぞれ掛け合わせることで求める
ことができる。しかしながら、画素ｂには色信号がない
ので、画素ｂに対応する各ＲＧＢ信号の信号レベルは画
素ｂの左右に位置する画素の信号レベルを平均化して求
めることができる。

【００７７】同様に、画素ｃに対応する各ＲＧＢ信号の
信号レベルを求める場合も、点線で囲まれたｃおよびそ
の周囲の８画素の各信号レベルに、図１２（ｂ）に示す
補間フィルタの係数をそれぞれ掛け合わせることで求め
ることができる。しかしながら、画素ｃには色信号がな
いので、画素ｃに対応する各ＲＧＢ信号の信号レベル
は、画素ｃの上下に位置する画素の信号レベルを平均化
して求めることができる。

【００７８】本実施形態においては、撮影する画像のエ
ッジ情報をあらかじめ解析し、その結果に応じて、画素
ずらし方法を変えているがその詳細を以下に説明する。

【００７９】図１４は図８に示す画素ずらしの方法を簡
略化したものであり、撮影する画像にＧ成分のエッジ情
報が多く含まれる場合に有効な画素ずらし方法である。

【００８０】図１４（ａ）は、画素ずらしを行う前の状
態を示し、各画素の配列はベイヤー配列である。画素Ｇ
１および画素Ｇ２はグリーン（Ｇ）の画素であり、Ｒお
よびＢはそれぞれレッド（Ｒ）、ブルー（Ｂ）の画素で
ある。

【００８１】画素Ｇ１をＸ方向に１画素、Ｘ方向に０．
５画素およびＹ方向に０．５画素、Ｘ方向に−１画素の
順にずらした結果を図１４（ｂ）に示す。また、画素Ｒ
および画素ＢをＸ方向に１画素、Ｘ方向に−０．５画素
およびＹ方向に−０．５画素、Ｘ方向に−１画素の順に
ずらした結果を図１４（ｃ）および図１４（ｄ）に示
す。

【００８２】これらの図から明らかなように、この画素
ずらしの特徴は、２回目および３回目の画素ずらしによ
って、画素Ｇ１は、画素間(図１４（ａ）に示す隙間Ａ
および隙間Ｂ）に配置されることになるので、図１４
（ａ）の配列と比較して、水平方向と垂直方向のＧ成分
が約２倍になる。

【００８３】また、Ｒ成分およびＢ成分についても、水
平方向および垂直方向の解像度は、約２倍となるが、図
１０に示すように、Ｒ成分およびＢ成分の垂直方向の画
素配列には粗密ができてしまう。

【００８４】したがって、図１４（または図８）に示す
画素ずらしは、撮影する画像にＧ成分のエッジ情報が多
く含まれる場合に有効であり、Ｒ成分およびＢ成分のエ
ッジ情報が多く含まれる場合には適切とはいえない。

【００８５】次に、撮影する画像にＲ成分およびＢ成分
のエッジ情報が多く含まれる場合に適切な画素ずらし方
法について図１５を用いて説明する。

【００８６】図１５は、図１１に示す画素ずらしの方法
を簡略化したものである。

【００８７】図１５（ａ）は、画素ずらしを行う前の状
態を示し、各画素の配列はベイヤー配列である。画素Ｇ
１および画素Ｇ２はグリーン（Ｇ）の画素であり、Ｒお
よびＢはそれぞれレッド（Ｒ）、ブルー（Ｂ）の画素で
ある。

【００８８】画素Ｇ１をＸ方向に１画素、Ｙ方向に−１
画素、Ｘ方向に−１画素の順にずらした結果を図１５
（ｂ）に示す。また、画素Ｒおよび画素ＢをＸ方向に１
画素、Ｙ方向に−１画素、Ｘ方向に−１画素の順にずら
した結果を図１５（ｃ）および図１５（ｄ）に示す。

【００８９】これらの図から明らかなように、この画素
ずらしの特徴は、画素ずらしにより、Ｒ成分およびＢ成
分を示す画素の配列に粗密ができず、解像度を２倍に向
上することができる。

【００９０】一方、Ｇ成分においては、やはり解像度は
２倍に向上するが、図１５（ｂ）に示すように、画素Ｇ
１は図１５（ａ）に示す画素Ｇ２とほぼ同一位置に重な
るため、実質的な解像度の向上はＲ成分およびＢ成分に
比べて小さい。したがって、Ｇ成分にこの方法は適さな
い。

【００９１】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ，インタフェイス機器，リーダ，プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機，ファクシミリ
装置など）に適用してもよい。

【００９２】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００９３】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００９４】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００９５】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００９６】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００９７】

【発明の効果】以上説明したように、本発明によれば、
撮影対象物の色情報に応じて、解像度の高い画像を低コ
ストで撮影することができる撮像装置およびその制御方
法を提供することができる。

【００９８】

【図面の簡単な説明】

【図１】 本発明にかかる一実施形態のデジタルカメラ
の構成例を示すブロック図、

【図２】 画像合成部９の処理を説明するための図、

【図３】 デジタルカメラの撮影動作について説明する
ためのフローチャート、

【図４】 デジタルカメラの撮影動作について説明する
ためのフローチャート、

【図５Ａ】 デジタルカメラの被写体の条件判別動作に
ついて説明するためのフローチャート、

【図５Ｂ】 デジタルカメラの被写体の条件判別動作に
ついて説明するためのフローチャート、

【図６】 補正光学部４の駆動量を設定する処理につい
て説明するためのフローチャート、

【図７】 撮影した画像データに対するＤＣＴ処理を説
明するための図、

【図８】 補正光学部４を設定された駆動量に応じて、
駆動した結果を説明するための図、

【図９】 補正光学部４を設定された駆動量に応じて、
駆動した結果を説明するための図、

【図１０】 画像合成部９の処理を説明するための図、

【図１１】 補正光学部４を設定された駆動量に応じ
て、駆動した結果を説明するための図、

【図１２】 画像合成部９の処理を説明するための図、

【図１３】 撮影した画像データに対するＤＣＴ処理を
説明するための図、

【図１４】 画素ずらしの方法を説明するための図、

【図１５】 画素ずらしの方法を説明するための図であ
る。

Claims (12)

【特許請求の範囲】
1. 【請求項１】 画像を撮影し、撮影した画像の色情報を
   出力する撮影手段と、撮影対象物と前記撮影手段の撮像
   デバイスとを結ぶ光軸を調整する調整手段とを備える撮
   像装置であって、 前記撮影手段から出力される色情報を記憶するための記
   憶手段と、 前記記憶手段に記憶された複数の画像それぞれを表す色
   情報を合成して一つの画像を表す色情報にする合成手段
   と、 前記撮影手段から出力される色情報からエッジ情報を多
   く含む色情報を判定する判定手段と、 撮影の指示が入力される入力手段と、 前記入力手段により撮影が指示されると、前記判定手段
   の判定結果に基づき、前記撮影手段、調整手段、記憶手
   段および合成手段を制御する制御手段とを有することを
   特徴とする撮像装置。
2. 【請求項２】 前記制御手段は、撮影が指示されると前
   記撮影手段から出力される色情報を記憶手段の所定領域
   に記憶させた後、前記判定結果に基づき、前記調整手段
   を制御し、前記撮影手段から出力される色情報を記憶手
   段の他の領域に記憶させる撮影処理を所定回数繰返すこ
   とを特徴とする請求項１に記載された撮像装置。
3. 【請求項３】 前記撮影処理が所定回数繰返された後、
   前記記憶手段に記憶された複数の画像を表す色情報が前
   記合成手段により合成されることを特徴とする請求項２
   に記載された撮像装置。
4. 【請求項４】 前記調整手段は、前記判定結果に基づき
   前記制御手段から指示される方向および距離に従い、前
   記撮像デバイスと前記光軸との交点を移動することを特
   徴とする請求項２または請求項３に記載された撮像装
   置。
5. 【請求項５】 前記撮像デバイスの水平方向の画素間隔
   をＰｈ、垂直方向の画素間隔をＰｖとすると、前記判定
   結果が緑色情報を示す場合、前記制御手段は前記調整手
   段に、前記水平方向にＰｈ分の移動を指示し、次に、前
   記撮像デバイスの斜め方向に√（Ｐｈ×Ｐｈ＋Ｐｖ×Ｐ
   ｖ）／２分の移動を指示し、次に、前記水平方向に−Ｐ
   ｈ分の移動を指示することを特徴とする請求項４に記載
   された撮像装置。
6. 【請求項６】 前記判定結果が赤または青色情報を示す
   場合、前記制御手段は前記調整手段に、前記水平方向に
   Ｐｈ分の移動を指示し、次に、前記垂直方向にＰｖ分の
   移動を指示し、次に、前記水平方向に−Ｐｈ分の移動を
   指示することを特徴とする請求項５に記載された撮像装
   置。
7. 【請求項７】 さらに、前記合成手段から出力される色
   情報により表される画像を圧縮して、記憶媒体に格納す
   る圧縮手段を有することを特徴とする請求項１から請求
   項６の何れか１つに記載された撮像装置。
8. 【請求項８】 前記補正手段は、撮影時の手振れを補正
   する手振れ補正機能を有することを特徴とする請求項１
   から請求項７の何れか１つに記載された撮像装置。
9. 【請求項９】 画像を撮影し、撮影した画像の色情報を
   出力する撮影手段と、撮影対象物と前記撮影手段の撮像
   デバイスとを結ぶ光軸を調整する調整手段とを備える撮
   像装置の制御方法であって、 前記撮影手段から出力される色情報からエッジ情報を多
   く含む色情報を判定し、 撮影が指示されると、前記撮影手段から出力される色情
   報を記憶手段の所定の領域に記憶し、 前記判定ステップの判定結果に基づき、前記調整手段を
   制御し、前記撮影手段から出力される色情報を前記記憶
   手段の他の領域に記憶させる撮影処理を所定回数繰返す
   ことを特徴とする撮像方法。
10. 【請求項１０】 前記撮影処理が所定回数繰返された後
    に、前記記憶手段に記憶された複数の画像それぞれを表
    す色情報を合成して一つの画像を表す色情報にすること
    を特徴とする請求項９に記載された撮像方法。
11. 【請求項１１】 画像を撮影し、撮影した画像の色情報
    を出力する撮影手段と、撮影対象物と前記撮影手段の撮
    像デバイスとを結ぶ光軸を調整する調整手段とを備える
    撮像装置の制御方法のプログラムコードが記憶された記
    憶媒体であって、 前記撮影手段から出力される色情報からエッジ情報を多
    く含む色情報を判定するステップのプログラムコード
    と、 撮影が指示されると、前記撮影手段から出力される色情
    報を記憶手段の所定の領域に記憶するステップのプログ
    ラムコードと、 前記判定ステップの判定結果に基づき、前記調整手段を
    制御し、前記撮影手段から出力される色情報を前記記憶
    手段の他の領域に記憶させる撮影処理を所定回数繰返す
    ステップのプログラムコードとを有することを特徴とす
    る記憶媒体。
12. 【請求項１２】 前記撮影処理が所定回数繰返された後
    に、前記記憶手段に記憶された複数の画像それぞれを表
    す色情報を合成して一つの画像を表す色情報にするステ
    ップのプログラムコードとを有することを特徴とする請
    求項１１に記載された記憶媒体。