JP4781670B2 - 撮像装置 - Google Patents

Description

本発明は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を用いて画像の撮影を行う撮像装置に関する。

カメラのオートフォーカスが偽合焦した場合や、撮影被写体の動きがシャッタースピードに対して速い場合には撮影した画像に「ぼけ」や「ぶれ」が発生してしまう。デジタルカメラは撮影した画像をすぐに確認できるのが大きな長所であるが、デジタルカメラに搭載されているＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ：薄膜トランジスタ）液晶ディスプレイは解像度が低いため、ぼけ又はぶれが発生した画像の確認は難しい。このため、撮影後にパソコン等により画像を表示してからぼけ又はぶれに気付き失望することはよくあることである。
これに対し、特許文献１に記載されているように、フォーカス位置を拡大表示するデジタルカメラ、また、特許文献２に記載されているように、失敗画像を印刷前にユーザに通知するプリンタがある
特開平１１−１９６３０１号公報 特開２００２−１８７３２９号公報

しかし、上記のフォーカス位置を拡大表示するデジタルカメラのように、撮影するたびに画像を拡大表示して確認するのは非常に煩雑な作業である。また、上記の失敗画像を印刷前にユーザに通知するプリンタは、撮影された画像が記録された記録媒体をプリンタにセットして、印刷する前に失敗画像の選別を行うので、撮影してから印刷するまで失敗画像が記録媒体に残ったままとなり、記録媒体の容量が小さいときには不便である。
本発明は、上記の事情を考慮してなされたものであり、その目的は、撮影した画像のぼけ又はぶれを特別な操作なしに簡単に認識可能な撮像装置を提供することである。

本発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、光学結像を光電変換する撮像素子により撮影された画像を表示手段に表示する撮像装置において、前記撮影された画像を一時的に記憶する一時記憶手段と、前記一時記憶手段に記憶された画像のぼけ又はぶれを検知するぼけ・ぶれ検知手段と、前記ぼけ・ぶれ検知手段により前記一時記憶手段に記憶された画像のぼけ又はぶれが検知されなかった場合には、前記表示手段に前記画像の全体を表示する一方、前記画像のぼけ又はぶれが検知された場合には、前記表示手段に前記画像の一部の領域を拡大して表示する制御手段とを備えることを特徴とする撮像装置である。

請求項２に記載の発明は、請求項１に記載の撮像装置において、前記ぼけ・ぶれ検知手段により前記一時記憶手段に記憶された画像のぼけ又はぶれが検知されたときにユーザに通知する情報通知手段をさらに具備し、前記制御手段は、前記ぼけ・ぶれ検知手段により前記一時記憶手段に記憶された画像のぼけ又はぶれが検知されなかった場合には、当該画像を記録媒体における所定のフォルダに記録する一方、前記画像のぼけ又はぶれが検知された場合には、ユーザの操作に応じて当該画像を記録媒体における前記フォルダと異なるフォルダに記録し、又は破棄することを特徴とする。

請求項３に記載の発明は、請求項２に記載の撮像装置において、前記ぼけ・ぶれ検知手段は前記撮影された画像の中で鮮鋭な部分を検出する鮮鋭部検出手段をさらに具備し、前記画像のぼけ又はぶれが検知された場合に前記表示手段に拡大して表示される前記画像の一部の領域は、前記鮮鋭部検出手段が検出した部分を含む領域であることを特徴とする。

請求項４に記載の発明は、請求項３に記載の撮像装置において、前記鮮鋭部検出手段は、前記撮影された画像の中で最も鮮鋭な部分を検出することを特徴とする。

請求項５に記載の発明は、請求項３に記載の撮像装置において、前記鮮鋭部検出手段は、前記撮影された画像の中で複数の鮮鋭な部分を抽出し、前記抽出された複数の部分の中で画像の中央に最も近い部分を検出することを特徴とする。

請求項６に記載の発明は、光学結像を光電変換する撮像素子により画像を撮影する撮像装置において、前記撮影された画像を記録する記録媒体と、前記記録媒体に記録された画像のぼけ又はぶれを検知するぼけ・ぶれ検知手段と、前記ぼけ・ぶれ検知手段により前記記録媒体に記録された画像のぼけ又はぶれが検知されたときにユーザに通知する情報通知手段と、前記記録媒体に記録された画像を順次読み出し、前記ぼけ・ぶれ検知手段により前記画像のぼけ又はぶれが検知された場合に、前記画像を予め設定されたフォルダ又はユーザが指定したフォルダに移動するか又は前記画像を削除し、かつ、前記情報通知手段によりユーザに前記画像のぼけ又はぶれが検知されたことを通知する制御手段と、を具備することを特徴とする撮像装置である。

請求項７に記載の発明は、請求項１から６のいずれかの項に記載の撮像装置において、前記情報通知手段は、表示装置又は音声出力装置であることを特徴とする。

本発明によれば、撮影時に画像のぼけ又はぶれを検出し、メモリカード等の記録媒体に記録するか否かを選択することにより、記録媒体の容量を節約できる。また、撮影時に画像のぼけ又はぶれが検出されるので、その場で再撮影が可能となり大切なシーンの撮影に失敗することがない。
また、撮影した画像のうちぼけ又はぶれを検出しやすい部分を自動検出して拡大表示することにより、ユーザがぼけ又はぶれの確認を容易に行うことができる。
また、撮影時に画像のぼけ又はぶれを検出し、ぼけ又はぶれが検出された画像と検出されなかった画像とを記録媒体において異なるフォルダに保存することにより、撮影した画像を後に確認することが容易となる。
また、複数撮影した画像について撮影後にぼけ又はぶれを一括して抽出することにより、ユーザが確認する手間を省くことができる。

以下、図面を参照し、本発明の実施の形態について、撮像装置であるデジタルカメラ１０を例として説明する。図１はこの実施の形態におけるデジタルカメラ１０の構成を示すブロック図である。デジタルカメラ１０のレンズ１２を通して結像される被写体像に応じてＣＣＤ１６が電気信号を出力し、この電気信号が変換、補正等された画像がデジタルデータとしてＳＤＲＡＭ（シンクロナス・ダイナミック・ランダムアクセスメモリ）３０に一時的に記憶され、ユーザの選択によりメモリカード３４に記録される。

レンズ１２はＣＣＤ１６に被写体を結像させる。このレンズに設けられた焦点調整モータ、ズームモータがモータドライバ１４により駆動され焦点調整、倍率調整が行われる。
レンズ１２によりＣＣＤ１６に結像される被写体の光像は、ＣＣＤ１６において画像信号に光電変換され、ＣＣＤ１６の各画素で受光された画素信号の信号列からなるアナログの電気信号が出力される。

ＡＦＥ１８は、ＴＧ（タイミングジェネレータ）２０、ＡＧＣ（オートゲインコントロール）２２、ＡＤＣ（アナログデジタルコンバータ）２４から構成される。ＴＧ２０は、ＣＣＤ１６を制御するためのタイミング信号を生成し、これに供給する。ＡＧＣ２２は、ＣＣＤ１６から入力されるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の感度調整を行う。ＡＤＣ２４は、ＡＧＣ２２から入力される各画素信号のＲ、Ｇ、Ｂの色成分をデジタル信号に変換しバスライン５２へ出力する。

ＳＩＯ／ＰＩＯ（シリアル入出力／パラレル入出力）２６は、ＭＰＵ（マイクロプロセッサユニット）２８からの指示によりモータドライバ１４及びＡＦＥ１８へ制御信号を送信する。
ＭＰＵ２８は、制御プログラム及び定数データを記憶するＲＯＭ（リードオンリメモリ）を有し、この制御プログラムに従い各部を制御し、また、操作キー５０の操作によりキーインタフェース４８からバスライン５２に出力された信号を検知して各部の動作を制御する。また、ＭＰＵ２８は、ＳＩＯ／ＰＩＯ２６を介してモータドライバ１４及びＡＦＥ１８を制御し、オートフォーカス制御及び自動露出制御を行う。オートフォーカス制御は、モータドライバ１４に対してレンズ１２の焦点調整モータを駆動する信号を送信することにより合焦制御を行う。自動露出制御は、モータドライバ１４及びＴＧ２０を制御することによりレンズ１２のレンズの絞りとＣＣＤ１６のシャッタースピードすなわち電荷蓄積時間を調節して行う。さらに、ＭＰＵ２８は、ＡＤＣ２４からバスライン５２へ出力された画像をＳＤＲＡＭ３０に一時的に記憶させ、ホワイトバランス調整を行う。ホワイトバランス調整は、光源の違いによる画像の色の偏りを補正し、白い被写体が白く再現されるように、ＡＤＣ２４から出力される画像のＲ、Ｇ、Ｂの各色成分のレベル変換を行う。
ＳＤＲＡＭ３０は、撮像によって得られる画像を一時的に記憶する他、ＭＰＵ３０の処理におけるデータを記憶する。

イメージプロセシング３６は、ＳＤＲＡＭ３０に記憶された画像について補間、トーン補正、エッジ強調等を行う。これらにより表示可能な画像が得られる。補間は、画素と画素の間に新たな画素を作り出したり、画素を間引いたりする。これによってＣＣＤ１６の実際の画素数から得られる画像サイズよりも、大きな画像サイズで出力することもできる。トーン補正は、画像が黒く潰れがちな逆光や過順光のためにできる影の部分の階調を残し、より人の眼で見た印象に近い画像を得る。エッジ強調は、原画像に適当なフィルタをかけ画像の尖鋭化を図る。そして最後にＹＣ信号処理を行い、ＳＤＲＡＭ３０へ処理画像を記憶する。このＹＣ信号処理は、輝度信号Ｙ、クロマ信号Ｃｒ、Ｃｂを生成する。

ＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｉｃ ｅｘｐｅｒｔ ｇｒｏｕｐ）処理部４２は、撮像によって得られた画像を圧縮する。
カードインタフェース３２は、メモリカード３４に対するデータの書き込み又は読み出しを行う。
ビデオインタフェース３８はＴＦＴ４０を制御する。ＴＦＴ４０は、撮像によって得られた画像や各種情報が表示される液晶ディスプレイである。
操作キー５０はシャッタボタン、その他の操作に用いられるキーからなる。操作キーがユーザによって操作されるとキーインタフェース４８から対応する信号がバスライン５２へ出力される。
スピーカ４６は、オーディオインタフェース４４によって制御され、音声出力によりユーザへ情報通知を行う。

次に上述したデジタルカメラ１０の動作を説明する。図２はデジタルカメラ１０の動作を示すフローチャートである。
ユーザがデジタルカメラ１０の操作キー５０のうちシャッタボタンを押すと画像の撮影が行われる（ステップＳ１）。すなわち、前述の通り、ＭＰＵ２８はオートフォーカス制御、自動露出制御を行い、ＡＤＣ２４からバスライン５２へ出力され何も加工されていない画像データであるＲａｗデータをＳＤＲＡＭ３０に記憶させ（ステップＳ２）、前述のホワイトバランス調整、現像処理（ステップＳ３）を行い、ＳＤＲＡＭ３０に記憶（ステップＳ４）する。

次にぼけ・ぶれ検出を行う（ステップＳ５）。ここで図３を参照して、ぼけ・ぶれ検出の動作を詳しく説明する。図３は、ぼけ・ぶれ検出の動作を示すフローチャートである。まず、ＳＤＲＡＭ３０に記憶された画像のうち輝度信号Ｙ（Ｙ画像）について、ＨＰＦ（ハイパスフィルタ）であるラプラシアンフィルタにかける（ステップＳ２１）。このラプラシアンフィルタは画像のエッジ検出に用いられるデジタルフィルタである。この処理は各画素について、その画素とその隣接画素の値から計算によって値を求めることにより行う。図４は、各画素について値を求めるときに用いる係数を示す。これは、座標が（ｉ，ｊ）の画素の値をｆ（ｉ，ｊ）と表すと、座標が（ｉ，ｊ）の画素については、その画素の値を４倍し、座標が（ｉ−１，ｊ−１）、（ｉ−１，ｊ＋１）、（ｉ＋１，ｊ−１）、（ｉ＋１，ｊ＋１）の画素の値をそれぞれ（−１）倍し、これらの値を加算して値を求めることを表す。すなわち、
ｆ（ｉ，ｊ）×４＋ｆ（ｉ−１，ｊ−１）×（−１）＋ｆ（ｉ−１，ｊ＋１）×（−１）＋ｆ（ｉ＋１，ｊ−１）×（−１）＋ｆ（ｉ＋１，ｊ＋１）×（−１）
の値を求める。なお、画面の端の座標については３×３の隣接画素の一部が存在しないが、このような場合は、例えば、存在する画素の平均値で３×３の隣接画素のうち存在しない部分を埋めてから上記の計算を行う。

上記のようにして全ての画素について計算された値について、図５に示すように８×８画素の微小ブロック毎に分割し、このブロック毎にステップＳ２４からステップＳ２９までの処理を行う。ステップＳ２４からステップＳ２６は画像が鮮鋭であるブロック数をカウントするものであり、ステップＳ２７からステップＳ２９は画像が鮮鋭なブロックの位置求めるもの、すなわち、画像の中で鮮鋭な部分を検出するものである。これらは、評価する８×８画素の微小ブロックを特定して（ステップＳ２３）、全てのブロックについて順に行う。

まず、ステップＳ２４において、８×８画素内の最大値と最小値を特定し、最大値と最小値の差を算出する。差が大きいほどエッジがしっかり立っており画像がシャープであると言える。この算出結果は、ぼけ・ぶれ画像の判定に用いられる。ステップＳ２５において、ステップＳ２４で算出した値が予め定められた値以上であるか判定する。判定結果が「ＹＥＳ」の場合はステップＳ２６へ進み、カウンタに１を加算する。一方、判定結果が「ＮＯ」の場合はステップＳ２７へ進む。

ステップＳ２７において、８×８各画素の絶対値の平均を算出する。次にステップＳ２８において、ステップＳ２７で算出した値が予め定められた値以上であるか判定する。判定結果が「ＹＥＳ」の場合はステップＳ２９へ進み、座標とステップＳ２７で算出した平均値をセットにしてＳＤＲＡＭ３０に記憶する。ここで座標とは、例えば８×８画素の中央４つの画素のうちいずれかの画素、例えば左上の画素の座標を用いる。一方、ステップＳ２８の判定結果が「ＮＯ」の場合はステップＳ３０へ進む。

ステップＳ３０において、ステップＳ２４からステップＳ２９までの評価を行った８×８画素のブロックが最終ブロックであるか判定する。まだ、評価を行っていないブロックが存在する場合は判定結果が「ＮＯ」となり、ステップＳ２３へ戻る。一方、全てのブロックについて評価を行った場合は判定結果が「ＹＥＳ」の場合はステップＳ３１へ進む。
ステップＳ３１において、カウンタの値が予め定められた値以下であるか判定する。判定結果が「ＹＥＳ」の場合はステップＳ３３へ進み、ぼけ・ぶれ画像であると判定される。ＭＰＵ２８は、ビデオインタフェース３８を介してＴＦＴ４０にぼけ又はぶれが検出されたことを通知する表示を行う。この通知は、ＭＰＵ２８がオーディオインタフェース４４を介してスピーカ４６からぼけ又はぶれが検出されたことを示す警告音を出力することにより行ってもよい。一方、ステップＳ３１の判定結果が「ＮＯ」の場合はステップＳ３２へ進み、ぼけ・ぶれ画像ではないと判定される。

図２に戻り、以上で説明したステップＳ５のぼけ・ぶれ検出の結果、ぼけ・ぶれ画像であると判定された場合は、ステップＳ６の判定結果が「ＹＥＳ」となり、ステップＳ９へ進む。一方、ステップＳ５においてぼけ・ぶれ画像でないと判定された場合は、ステップＳ６の判定結果が「ＮＯ」となり、ステップＳ７へ進む。
ステップＳ７において、ＭＰＵ２８はＳＤＲＡＭ３０に記憶された画像の全体を、ビデオインタフェース３８を介してＴＦＴ４０に表示し、ステップＳ８において、ＭＰＵ２８はＳＤＲＡＭ３０に記憶された画像を、カードインタフェース３２を介してメモリカード３４に記録して処理を終了する。

図３で説明したぼけ・ぶれ検出のステップＳ２９においてＳＤＲＡＭ３０に座標と平均値をセットで記憶したが、図２のステップＳ９においてこの中から平均値が最大である座標を選択する。この座標を含むブロックが、画像の中で最も鮮鋭な部分となる。
なお、ここで選択する座標はＳＤＲＡＭ３０に記憶された座標と平均値のセットの中から画像の中央の座標に最も近い座標を選択してもよい。この座標を含むブロックが、画像の中で複数抽出された鮮鋭な部分のうち画像の中央に最も近い部分となる。
次に、選択された座標を含み、この周辺の領域をＴＦＴ４０に拡大表示する（ステップＳ１０）。例えば、ＳＤＲＡＭ３０に記憶された画像の画素数が１２８０×９６０画素であったとき、選択された座標を中央の座標とする３２０×２４０画素からなる領域について、補間等を行ってＴＦＴ４０の全体に表示する。

次に、ＭＰＵ２８は、ＴＦＴ４０に表示されている画像をメモリカード３４に記録するか否か選択するよう表示し、ユーザが記録すると選択した場合はステップＳ１１の判定結果が「ＹＥＳ」となり、ステップＳ８へ進み、ＳＤＲＡＭ３０に記憶された画像をメモリカード３４に記録して処理を終了する。なお、ここで画像をメモリカード３４に記録するときには、ステップＳ６においてぼけ又はぶれ画像と判定されなかった画像と区別するため、ぼけ又はぶれ画像と判定された画像を記録するフォルダを設け、そのフォルダに記録してもよい。
一方、ユーザが記録しないと選択した場合は判定結果が「ＮＯ」となり、ステップＳ１２へ進み、ＳＤＲＡＭ３０に記憶された画像を破棄して処理を終了する。

次に、図６を参照して、この発明における第２の実施形態について説明する。これは、例えば、撮影するごとにぼけ・ぶれ検出を行わずに画像をメモリカード３４に記録した後、メモリカード３４に記録された全ての画像について一括してぼけ・ぶれ検出を行うものである。図６は、この一括ぼけ・ぶれ画像検出の動作を示すフローチャートである。
ユーザが操作キー５０により、ぼけ・ぶれ画像の一括検出を指示する操作を行うと、ＭＰＵ２８がこの操作を検出し、メモリカード３４のカード情報取得を行い、メモリカード３４に何枚の画像が記録されているか検出する（ステップＳ４１）。画像が記録されている場合は、ステップＳ４２の判定結果が「ＹＥＳ」となり、ステップＳ４３へ進み、画像が記録されていない場合は、ステップＳ４２の判定結果が「ＮＯ」となり、処理を終了する。

次にステップＳ４３において、メモリカード３４から画像を１枚読み出す。この画像について図３で説明したぼけ・ぶれ検出を行う（ステップＳ４４）。ステップＳ４４の結果、ぼけ・ぶれ画像であると判定された場合は、ステップＳ４５の判定結果が「ＹＥＳ」となり、ステップＳ４６へ進む。一方、ぼけ・ぶれ画像でないと判定された場合は、判定結果が「ＮＯ」となり、ステップＳ４７へ進む。

ステップＳ４６において、ぼけ・ぶれ画像の移動又は消去を行うとともに、画像のぼけ又はぶれが検出されたことをユーザに通知する。ここで、画像を移動するか消去するかはユーザが予め設定しておいてもよいし、ステップＳ４６において画像を移動するか消去するか指定するようＴＦＴ４０に表示を行い、ユーザの指定に従うようにしてもよい。また、画像を移動する場合の移動先はユーザが予め設定しておいてもよいし、ステップＳ４６において移動先を指定するようＴＦＴ４０に表示を行い、ユーザが操作キー５０により指定したフォルダに移動してもよい。これにより、ぼけ・ぶれ画像であると判定された画像を特定のフォルダに一括して移動することができ、ユーザが確認を行う手間が省ける。
また、画像のぼけ又はぶれが検出されたことの通知としては、ＭＰＵ２８がビデオインタフェース３８を介してＴＦＴ４０にぼけ又はぶれが検出されたことを表示してもよいし、ＭＰＵ２８がオーディオインタフェース４４を介してスピーカ４６からぼけ又はぶれが検出されたことを示す警告音を出力してもよい。

次に、ステップＳ４７において、メモリカードにぼけ・ぶれ検出の対象となる次の画像があるか判定する。ぼけ・ぶれ検出を行っていない画像があれば、ステップＳ４７の判定結果が「ＹＥＳ」となり、ステップＳ４３へ戻る。一方、メモリカード３４の全ての画像について、ぼけ・ぶれ検出を行った場合は、判定結果が「ＮＯ」となり、処理を終了する。

本発明は、デジタルカメラ、ＣＣＤカメラを搭載した携帯電話機、その他、撮像装置を搭載した機器に用いられる。

本発明の実施形態によるデジタルカメラ１０の構成を示すブロック図である。 第１の実施形態おけるデジタルカメラ１０の動作を示すフローチャートである。 デジタルカメラ１０のぼけ・ぶれ検出の動作を示すフローチャートである。 ぼけ・ぶれ検出に用いられるハイパスフィルタの係数を示す図である。 ぼけ・ぶれ検出において評価を行う単位である微小ブロックを示す図である。 第２の実施形態おけるデジタルカメラ１０の動作を示すフローチャートである。

符号の説明

１０…デジタルカメラ
１２…レンズ
１４…モータドライバ
１６…ＣＣＤ
１８…ＡＦＥ
２０…ＴＧ
２２…ＡＧＣ
２４…ＡＤＣ
２６…ＳＩＯ／ＰＩＯ
２８…ＭＰＵ
３０…ＳＤＲＡＭ
３２…カードインタフェース
３４…メモリカード
３６…イメージプロセシング
３８…ビデオインタフェース
４０…ＴＦＴ
４２…ＪＰＥＧ処理部
４４…オーディオインタフェース
４６…スピーカ
４８…キーインタフェース
５０…操作キー
５２…バスライン

Claims (5)

1. 光学結像を光電変換する撮像素子により撮影された画像を表示手段に表示する撮像装置において、
   前記撮影された画像を一時的に記憶する一時記憶手段と、
   前記一時記憶手段に記憶された画像のぼけ又はぶれを検知するぼけ・ぶれ検知手段と、
   前記ぼけ・ぶれ検知手段により前記一時記憶手段に記憶された画像のぼけ又はぶれが検知されなかった場合には、前記表示手段に前記画像の全体を表示する一方、前記画像のぼけ又はぶれが検知された場合には、前記表示手段に前記画像の一部の領域を拡大して表示する制御手段とを備え、
   前記ぼけ・ぶれ検知手段は前記撮影された画像の中で鮮鋭な部分を検出する鮮鋭部検出手段をさらに具備し、
   前記画像のぼけ又はぶれが検知された場合に前記表示手段に拡大して表示される前記画像の一部の領域は、前記鮮鋭部検出手段が検出した部分を含む領域である
   ことを特徴とする撮像装置。
2. 前記ぼけ・ぶれ検知手段により前記一時記憶手段に記憶された画像のぼけ又はぶれが検知されたときにユーザに通知する情報通知手段をさらに具備し、
   前記制御手段は、
   前記ぼけ・ぶれ検知手段により前記一時記憶手段に記憶された画像のぼけ又はぶれが検知されなかった場合には、当該画像を記録媒体における所定のフォルダに記録する一方、前記画像のぼけ又はぶれが検知された場合には、ユーザの操作に応じて当該画像を記録媒体における前記フォルダと異なるフォルダに記録し、又は破棄する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記鮮鋭部検出手段は、前記撮影された画像の中で最も鮮鋭な部分を検出する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記鮮鋭部検出手段は、前記撮影された画像の中で複数の鮮鋭な部分を抽出し、前記抽出された複数の部分の中で画像の中央に最も近い部分を検出する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記情報通知手段は、表示装置又は音声出力装置である
   ことを特徴とする請求項２に記載の撮像装置。

Images