JP4434151B2

JP4434151B2 - 撮像装置

Info

Publication number: JP4434151B2
Application number: JP2006013990A
Authority: JP
Inventors: 重男藤司
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-01-23
Filing date: 2006-01-23
Publication date: 2010-03-17
Anticipated expiration: 2026-01-23
Also published as: JP2007201534A; US20070172217A1; US7606476B2

Description

本発明は、撮像装置に関し、更に詳しくは手ブレや被写体ブレを補正する撮像装置に関するものである。

デジタルカメラなどの撮像装置の中には、手ブレを防止する機能を備えたものが知られている。例えば、特許文献１記載の手ブレ防止カメラは、光軸と垂直な面内を移動可能な手ブレ補正レンズと、この手ブレ補正レンズの光軸からの偏心量を検出する手ブレ補正レンズ位置検出手段と、偏心量がゼロになるようにカメラを振る方向を表示する表示手段とからなり、レリーズ時に、手ブレ補正レンズが補正範囲の端の近傍にないようにして手ブレを防止するものである。また、例えば、特許文献２記載のビデオカメラの手ブレ補正回路は、代表点マッチング法により動きベクトルを検出し、これに基づいて手ブレを補正する回路である。
特開平５−２４９５２９号公報特開平５−１３７０４８号公報

上記特許文献１記載の発明では、手ブレ補正はできても被写体ブレ（被写体が動くことによるブレ）を検出・補正することはできない。上記特許文献２記載の発明では、被写体ブレの検出も可能であるが、画像を取り込んでから動き推測を行うため、検出遅れが生じ、十分な手ブレ補正を行うことができないという問題がある。

本発明は、手ブレと被写体ブレを効果的に補正できる撮像装置を提供することを目的とする。

本発明の撮像装置は、撮像素子によりスルー画の撮影を行うとともに本番撮影によって得られる静止画を記憶媒体に記憶する撮像装置において、前記装置自身の動きを検出することにより手ブレを検出する手ブレ検出部と、前記スルー画内の特定画像について第１のスルー画内での位置と所定時間後に撮影された第２のスルー画内での位置とを比較し、両者間の位置変動を動きベクトルとして検出することにより被写体ブレを検出する被写体ブレ検出部と、前記スルー画から被写体の顔の部分を検出する顔検出部と、この顔検出部により被写体の顔の部分が検出された場合に、前記手ブレ検出部による手ブレ検出から被写体ブレ検出部による被写体ブレ検出に切り替えるとともに、前記顔検出部により被写体の顔の部分が検出されない場合に、前記被写体ブレ検出部による被写体ブレ検出から手ブレ検出部による手ブレ検出に切り替える制御部と、前記制御部により前記手ブレ検出に切り替えられた場合に、前記手ブレ検出部によって検出された手ブレに基づいて本番撮影時の露光中に少なくとも撮影光学系の一部を移動することにより光学的に手ブレを補正するとともに、前記制御部により前記被写体ブレ検出に切り替えられた場合に、前記被写体ブレ検出部によって検出された被写体ブレに基づいて本番撮影時の露光中に少なくとも撮影光学系の一部を移動することにより光学的に被写体ブレを補正するブレ補正部とを設けたことを特徴とする。

本発明の撮像装置によれば、通常は手ブレ検出部によって手ブレを検出しているが、被写体の顔が検出された場合には手ブレ検出部から被写体ブレ検出部に切り替えて被写体ブレを検出するから、手ブレと被写体ブレを効果的に補正できる。

また、被写体ブレ検出部による被写体ブレの検出を行っている状態で被写体の顔が検出されなくなった場合には被写体ブレ検出部から手ブレ検出部に切り替えて手ブレを検出するから、手ブレと被写体ブレを効果的に補正できる。

本発明の実施形態を示す図１において、デジタルカメラ１０のカメラボディ１１の前面には、沈胴式のレンズ鏡胴１２が設けられている。レンズ鏡胴１２にはズームレンズである撮影レンズ１３が保持されている。また、カメラボディ１１の前面上方部には、ストロボ発光部１４が配置されている。

デジタルカメラ１０の上面には、シャッタボタン１５と、操作ダイヤル１６とが設けられている。この操作ダイヤル１６は、電源スイッチのオン／オフと、静止画撮影モード／動画撮影モード／再生モード／設定モードの切り換えとを行う。なお、前記動画撮影モードは、静止画を３０フレーム／秒の速度で連続撮影することにより、例えば最長３分間の動画を記録することができる。

図２において、デジタルカメラ１０の背面には、液晶パネル（ＬＣＤ）２０が設けられている。ＬＣＤ２０は、スチル及び動画の各撮影モードでは、電子ビューファインダとして機能し、スルー画をリアルタイムに表示する。また、再生モードでは、メモリカード１８に記憶されている静止画や動画の画像データを読み出して静止画や動画を再生表示する。更に、設定モードでは、各種設定画面を表示する。

前記メモリカード１８は、デジタルカメラ１０の側面に設けられたメモリカードスロット２３に着脱自在に装填される。撮影モードで得た画像データはこのメモリカード１８に記憶される。また、カーソルボタン２４は、各種の設定の切り換えや、ＬＣＤ２０に表示される各種処理確認画面上の操作に用いられる。決定ボタン２５は、カーソルボタン２４によって選択された処理を実行する。

デジタルカメラ１０の電気的構成を示す図３において、制御部２６は、ＲＯＭ２７に記憶されたシーケンスプログラムをワークメモリであるＲＡＭ２８に読み出して実行する。前記制御部２６は、シャッタボタン１５，操作ダイヤル１６，カーソルボタン２４及び決定ボタン２５の操作により発生する操作信号に従ってデジタルカメラ１０の各部を制御する。また、制御部２６には、手ブレ検出部としての角速度センサ２９から手ブレ検出信号が入力される。

前記レンズ鏡胴１２内には、撮影レンズ１３を構成するレンズの一つとしてブレを補正する補正レンズ３０が組み込まれており、補正レンズ３０の近傍に設けられた図示しないホール素子からの出力は位置検出部３１に入力される。また、前記補正レンズ３０を撮影光軸と垂直方向に移動させるアクチュエータがレンズ鏡胴１２内に組み込まれており、このアクチュエータはドライブ回路３２によって駆動される。

前記制御部２６は、前記角速度センサ２９からの手ブレ検出信号と位置検出部３１からのレンズ位置信号とに基づいてドライブ回路３２を駆動し、補正レンズ３０を手ブレを相殺する方向と速度で移動する。また、前記制御部２６は、後述する被写体ブレ検出部としての動きベクトル検出回路４４によって検出された動きベクトルα（被写体ブレ）を相殺するように、補正レンズ３０を移動する。

撮影レンズ１３の背後には、ＣＣＤ３４が設けられている。スルー画表示の際には、ＣＣＤ３４からフィールド画（偶数フィールド又は奇数フィールド）の撮像信号が読み出され、この撮像信号がＣＤＳ／ＡＭＰ回路３５に入力される。

前記ＣＤＳ／ＡＭＰ回路３５は、相関二重サンプリング回路（ＣＤＳ）と、増幅器（ＡＭＰ）とからなる。ＣＤＳは、ＣＣＤ３４が出力した撮像信号からＲ，Ｇ，Ｂのアナログ画像信号を生成する。ＡＭＰは、前記Ｒ，Ｇ，Ｂのアナログ画像信号を増幅する。Ａ／Ｄ変換器３６は、ＣＤＳ／ＡＭＰ回路３５から出力されたアナログ画像信号をデジタル画像信号である画像データに変換する。

前記Ａ／Ｄ変換器３６から出力された画像データは、画像信号処理回路３７に入力され、ここで階調変換、ホワイトバランス補正、γ補正、ＹＣ変換処理などの各画像処理が施された後、データバス４３を介してＳＤＲＡＭ３８に一時的にストアされ、ＬＣＤドライバ３９を介してＬＣＤ２０に送られ、スルー画が表示される。ＳＤＲＡＭ３８には、連続した２フィールド画分を記憶するスルー画用のメモリエリアがあり、一方から読み出し中に、他方に書き込みをする。

スルー画の表示中には、一定時間間隔で、ＡＦ制御、ＡＥ制御がなされる。ＡＦ制御では、撮影レンズ１３を構成するフォーカスレンズを移動しながら、コントラスト（隣接する画素間の差を積分した値）が最大となる合焦位置を検出し、この合焦位置にフォーカスレンズをセットする。また、ＡＥ制御では、撮影レンズ１３を構成する絞りが変更される。

シャッタボタン１５の半押し操作を行う（スイッチＳ１がオン）と、ＡＥ測光が開始される。この測光では、輝度（Ｙ）データから、全画面の被写体輝度が算出され、得られた被写体輝度から、露出量の演算が行われ、露出時間、絞り値との組み合わせが決定される。また、ＡＦ制御が開始され、撮影レンズ１３を構成するフォーカスレンズが移動され、コントラスト（隣接する画素間の差を積分した値）が最大となる合焦位置が検出される。この合焦位置にフォーカスレンズがセットされる。

シャッタボタン１５の全押し操作（スイッチＳ２がオン）による本番撮影時には、絞りがＡＥ測光で決定された絞り値にセットされ、ＣＣＤ３４の電荷を強制的にドレインしてから、ＣＣＤ３４の光電変換を開始する。露光時間が経過すると、シャッタを作動させ、ＣＣＤ３４の光電変換を停止させる。

シャッタの閉鎖後に、ＣＣＤ３４からフレーム画が読み出され、ＣＤＳ／ＡＭＰ回路３５，Ａ／Ｄ変換器３６を経て画像信号処理回路３７にて画像処理（Ａ／Ｄ変換，ガンマ変換、ホワイトバランス、シャーブネス処理、ＹＣ変換など）が施された後、ＳＤＲＡＭ３８に書き込まれる。

この後、前記フレーム画の画像データがＳＤＲＡＭ３８から読み出され、圧縮伸長処理回路４０にてＪＰＥＧ形式などの所定の圧縮形式で圧縮処理された後、メディアコントローラ４１を介してメモリカード１８に記録される。

前記スルー画表示の際には、ＳＤＲＡＭ３８に書き込まれたスルー画（フィールド画）の画像データは、顔検出回路４２に読み込まれ、被写体の顔の部分が検出される。この顔検出について簡単に説明する。顔検出回路４２は、スルー画の画像データ（以下スルー画データという）から被写体の両眼を抽出することによって被写体の顔を抽出する。

被写体の両眼を抽出する際には、スルー画データの画像を格子状に分割し（例えば１６×１６）、各分割領域に含まれるＲ，Ｇ，Ｂの各色信号の信号レベルから、皮膚と推定される肌色の画素を多く含む分割領域を選び出す。

さらに、肌色の画素を多く含む領域から眼部の白色の画素と瞳と推定される黒色の画素を有する領域を選び出し、その領域から画像上の被写体の両眼の位置座標を求め、両眼の位置座標の中点を代表点として顔の位置が求められる。顔検出部４２は、抽出された被写体の両眼の位置座標から、その周囲の肌色の画素を多く含む領域を顔領域と見なす。

顔検出部４２によって被写体の顔が検出された場合、制御部２６は、角速度センサ２９による手ブレ検出を中止し、動きベクトル検出回路４４に指令信号を送出する。これにより、動きベクトル検出回路４４は、ＣＣＤ３４から相前後して読み出された２つのスルー画４５，４６をＳＤＲＡＭ３８から読み出し、図４（Ａ），（Ｂ）に示すように、これらを比較する。なお、図４は、例えば被写体４７が歩いている状況を示す。

そして、動きベクトル検出回路４４は、被写体４７の顔４８を中心としたブロック４９を設定し、これに周知のブロックマッチング法を適用することにより、被写体４７の顔４８が被写体４７ａの顔４８ａに移行する（ブロック４９がブロック４９ａに移行する）動きベクトルα（被写体ブレ）を検出する。前記制御部２６は、本番撮影時に、この動きベクトルαを相殺するように、前記補正レンズ３０を移動して、被写体ブレを補正する。

また、制御部２６は、被写体４７の輝度が所定の閾値よりも低い場合に、ストロボ発光回路５６を駆動してストロボ発光部１４を発光させる。

このように構成されたデジタルカメラ１０の動作について、図５に示すフローチャートを参照して説明する。デジタルカメラ１０によって静止画撮影を行うには、まず操作ダイヤル１６を操作してデジタルカメラ１０の電源を投入し、静止画撮影モードを選択する（ステップ（以下ｓｔと記載する）１）。これにより、スルー画の取得が開始される（ｓｔ２）。

前記ＳＤＲＡＭ３８に書き込まれたスルー画は、顔検出回路４２に読み込まれ、被写体４７の顔検出が行われる（ｓｔ３）。被写体４７の顔４８が検出されない場合、シャッタボタン１５を半押し（Ｓ１）すると（ｓｔ４）、ＡＥ測光により絞りとシャッタ速度との組み合わせが決定されるとともにＡＦ用の測距が行われ、かつ角速度センサ２９による手ブレ検出信号が制御部２６に入力される（ｓｔ５）。

続いてシャッタボタン１５を全押し（Ｓ２）すると（ｓｔ６）、補正レンズ３０が手ブレを相殺する方向と速度で移動される（ｓｔ７）と同時に、絞りのセット，ＣＣＤ３４の光電変換，シャッタの作動による本番撮影が行われる（ｓｔ８）。

この本番撮影で撮影されたフレーム画は、ＣＤＳ／ＡＭＰ回路３５，Ａ／Ｄ変換器３６を経て画像信号処理回路３７にて各種の画像処理が施されてから、圧縮伸長処理回路４０にて圧縮処理された後、メディアコントローラ４１を介してメモリカード１８に記録される（ｓｔ９）。

前記ステップ３（ｓｔ３）において顔検出部４２によって被写体４７の顔４８が検出され、かつその顔４８がスルー画の画面から外れていない場合（ｓｔ１０）、制御部２６は、角速度センサ２９による手ブレ検出から、動きベクトル検出回路４４による被写体ブレ検出に切り替える。

シャッタボタン１５を半押しすると（ｓｔ１１）、絞りとシャッタ速度との組み合わせが決定されるとともに測距が行われ、かつ動きベクトル検出回路４４がＳＤＲＡＭ３８から２つのスルー画データを読み出し、動きベクトルα（被写体ブレ）を検出する（ｓｔ１２）。

続いてシャッタボタン１５を全押し（Ｓ２）すると（ｓｔ１３）、補正レンズ３０が被写体ブレを相殺する方向と速度で移動される（ｓｔ７）と同時に、絞りのセット，ＣＣＤ３４の光電変換，シャッタの作動による本番撮影が行われる（ｓｔ８）。この本番撮影で撮影されたフレーム画は、各種の処理を経てメモリカード１８に記録される（ｓｔ９）。なお、この被写体ブレ補正によって得られる画像は、被写体が静止して背景が流れたようになる。

このように被写体４７の顔４８が検出されている間は、動きベクトル検出回路４４による被写体ブレ検出を行うが、撮影を継続していく中に、被写体４７の顔４８がスルー画の画面から外れた場合には（ｓｔ１０）、制御部２６は、動きベクトル検出回路４４による被写体ブレ検出から角速度センサ２９による手ブレ検出に切り替える。

以上説明した実施形態では、動きベクトルを検出する際にＳＤＲＡＭから読み出す２つのスルー画を相前後したものとしたが、本発明はこれに限定されることなく、多数のスルー画をＳＤＲＡＭに記憶するようにし、その中から、所定の時間間隔で記憶された２つのスルー画を読み出すようにしてもよい。また、上記実施形態は、デジタルカメラであったが、本発明はこれに限定されることなく、撮像装置としては、カメラ付き携帯電話やカメラ付きＰＤＡなどでもよい。

本発明のデジタルカメラを前面側から示す斜視図である。デジタルカメラを背面側から示す斜視図である。デジタルカメラの電気的構成を示すブロック図である。被写体ブレの検出を示す説明図である。ブレ補正に係る手順を示すフローチャートである。

符号の説明

１０デジタルカメラ
１８メモリカード
２０ＬＣＤ
２６制御部
２９角速度センサ
３０補正レンズ
３４ＣＣＤ
３８ＳＤＲＡＭ
４２顔検出回路
４４動きベクトル検出回路
４５，４６スルー画
４７被写体
４８顔
α 動きベクトル

Claims

撮像素子によりスルー画の撮影を行うとともに本番撮影によって得られる静止画を記憶媒体に記憶する撮像装置において、
前記装置自身の動きを検出することにより手ブレを検出する手ブレ検出部と、
前記スルー画内の特定画像について第１のスルー画内での位置と所定時間後に撮影された第２のスルー画内での位置とを比較し、両者間の位置変動を動きベクトルとして検出することにより被写体ブレを検出する被写体ブレ検出部と、
前記スルー画から被写体の顔の部分を検出する顔検出部と、
この顔検出部により被写体の顔の部分が検出された場合に、前記手ブレ検出部による手ブレ検出から被写体ブレ検出部による被写体ブレ検出に切り替えるとともに、前記顔検出部により被写体の顔の部分が検出されない場合に、前記被写体ブレ検出部による被写体ブレ検出から手ブレ検出部による手ブレ検出に切り替える制御部と、
前記制御部により前記手ブレ検出に切り替えられた場合に、前記手ブレ検出部によって検出された手ブレに基づいて本番撮影時の露光中に少なくとも撮影光学系の一部を移動することにより光学的に手ブレを補正するとともに、前記制御部により前記被写体ブレ検出に切り替えられた場合に、前記被写体ブレ検出部によって検出された被写体ブレに基づいて本番撮影時の露光中に少なくとも撮影光学系の一部を移動することにより光学的に被写体ブレを補正するブレ補正部と
を設けたことを特徴とする撮像装置。