JP4635739B2

JP4635739B2 - 撮像装置

Info

Publication number: JP4635739B2
Application number: JP2005185600A
Authority: JP
Inventors: 直人細矢; 啓覚福岡
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-06-24
Filing date: 2005-06-24
Publication date: 2011-02-23
Anticipated expiration: 2025-06-24
Also published as: KR20060135545A; US20060291846A1; TW200710528A; JP2007003939A; CN100481884C; CN1885912A; TWI309328B; US7493036B2

Description

本発明は、被写体を撮像する撮像装置に関し、特に自動的に所望の被写体に焦点を合わせる技術に関するものである。

被写体を撮像装置で撮影する際、シャッタボタンを押すことにより被写体に焦点合わせを行う。しかし、所定時間後に撮影を自動的に開始する、いわゆるセルフタイマ機能を使用した場合、シャッタボタンを押してタイマのカウントを開始すると、まだ被写体が存在しない風景に焦点が合ってしまう。

また、予め所定の距離に焦点を固定して撮像したとしても、その合わせた距離に被写体を存在させることは容易ではない。

そこで、例えば特許文献１には、セルフタイマ動作時に補助光を被写体に照射し、焦点を合わせる距離を測定する技術が開示されている。

特開２００４−２７４６１９号公報

しかしながら、上記特許文献１に記載された技術では、焦点を合わせる被写体を特定することが困難なため、被写体の背後の風景などに焦点が合う虞があった。

本発明は、上記問題点を解消するためになされたものであり、目的の被写体に焦点を合わせることができる撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明に係る撮像装置は、被写体の画像を取得する画像取得手段と、上記画像取得手段により取得された画像を一時的に記憶する記憶手段と、上記記憶手段に記憶され、上記画像取得手段により取得された時刻が異なる第１の画像と第２の画像とを比較することにより変化部分を検出し、当該変化部分に焦点を合わせる制御手段と、被写体の顔を認識する認識手段とを備え、上記制御手段は、シャッターボタンの押下が認識されたことによりセルフタイマモードのカウントダウンが開始した際の第１の画像とカウントダウンが終了した際の第２の画像との変化部分について上記認識手段により認識された被写体の顔に焦点を合わせ、上記画像取得手段にセルフタイマモードの第３の画像を取得させることを特徴とする。

本発明によれば、時刻が異なる第１の画像と第２の画像とを比較することにより変化部分を検出し、その変化部分に焦点を合わせるようにしたため、例えばタイマ機能により自動的に撮影しても目的の被写体に焦点が合った画像を得ることができる。

以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。本発明は、例えば図１に示すような撮像装置１に適用される。この撮像装置１は、被写体を撮像する撮像部１０を備え、この撮像部１０は、被写体からの像光を結像させるためのレンズ１０ａと、レンズ１０ａを介して入射される像光を遮光する図示しないシャッタ羽根等により絞り量を調整する絞り駆動部１０ｂと、入力される被写体像に基づき電気的な撮像信号Ｃ１を生成するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージセンサ１１とを有している。なお、本実施の形態では、ＣＭＯＳイメージセンサ１１を用いることとするが、ＣＣＤ（Charge Coupled Device）イメージセンサを用いることとしてもよい。

この撮像装置１は、ＣＭＯＳイメージセンサ１１により生成された撮像信号Ｃ１のばらつきを補償するためのＣＤＳ(Correlated Double Sampling)回路１２と、ＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理するＡ／Ｄ変換部１３と、このＡ／Ｄ変換部１３から供給されるデジタル化した撮像信号Ｃ２としての画像データを一時的に格納し、これに所定の処理を施すディジタルシグナルプロセッサ（ＤＳＰ）１５と、接続されたＤＳＰ１５からの画像データを符号化するコーデック処理部１６と、このコーデック処理部１６から供給される画像データを格納するメモリ１７とを備えている。

この撮像装置１は、ＤＳＰ１５から供給される画像データをデジタル／アナログ変換処理して出力するＤ／Ａ変換部１８と、このＤ／Ａ変換部１８からの画像データをビデオ信号に変換するビデオエンコーダ部１９と、ビデオエンコーダ部１９に接続されてなり、上述のビデオ信号に基づく画像をユーザに表示するためのモニタ部２０とを備え、またこの撮像装置１は、接続された内部バス１４を介して撮像装置１全体を制御するためのＣＰＵ（Central Processing Unit）２１と、内部バス１４に接続されてなりユーザが各種操作を実行するための操作部２２と、ＣＰＵ２１から内部バス１４を介して送られる制御信号に基づき、ＣＭＯＳイメージセンサ１１からＤＳＰ１５に至るまでの信号処理系を制御するタイミングジェネレータ２３とを備えている。

撮像部１０は、ＣＰＵ２１から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また操作部２２を介して入力される絞り値に応じて、図示しないシャッタ羽根を開閉させることにより絞り量を調整する。

ＣＭＯＳイメージセンサ１１は、レンズ部１０ａ並びに絞り駆動部１０ｂを介して入射される被写体像を電気信号に変換した撮像信号Ｃ１を生成し、これをＣＤＳ回路１２へ出力する。なお、このＣＭＯＳイメージセンサ１１は、撮像面上に結像された被写体像のうち一部の領域を選択し、当該領域の画素値のみを効率よく読み出すことができる。

ＣＤＳ回路１２は、ＣＭＯＳイメージセンサ１１から供給される撮像信号Ｃ１の雑音を相関二重サンプリング回路を用いて除去し、或いはゲインを増幅させるための処理を施し、これを撮像信号Ｃ２としてＡ／Ｄ変換部１３へ出力する。Ａ／Ｄ変換部１３は、このＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理し、これをＤＳＰ１５へと出力する。ちなみに、このＣＤＳ回路１２及びＡ／Ｄ変換部１３における各動作タイミングは、一定のフレームレートで画像取り込みを継続すべく、タイミングジェネレータ２３により制御される。

ＤＳＰ１５は、ともに図示しない信号処理用プロセッサと、画像用ＲＡＭとを有するブロックである。Ａ／Ｄ変換部１３からの撮像信号Ｃ２で表される画像は、タイミングジェネレータ２３による制御の下、一定のフレームレートで構成されるストリームデータとして供給され、この画像用ＲＡＭに一時的に格納される。図示しない信号処理用プロセッサは、この画像用ＲＡＭに格納される画像に対して、予めプログラムされた画像処理を施すための設定がなされている。この図示しない画像用ＲＡＭにおいて画像処理された画像は、コーデック処理部１６とＤ／Ａ変換部１８の何れか、或いは双方へ送信される。

コーデック処理部１６は、ＤＳＰ１５から送信された画像につき、所定の方式でデータ量を圧縮する。ここでは、ＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化してもよい。

メモリ１７は、コーデック処理部１６において圧縮処理された画像データを所定のアドレスに記録するための媒体である。このメモリ１７は、画像を比較するために一時的に画像データを記憶するものである。

モニタ部２０は、Ｄ／Ａ変換部１８においてアナログ信号に変換され、さらにビデオエンコーダ部１９においてビデオ信号に変換された画像を表示する。このモニタ部２０は、ユーザ自身が撮像処理を実行しつつリアルタイムに撮影内容の確認ができるように、撮像装置１の筐体側面等に設けられる液晶表示素子等で構成してもよい。

ＣＰＵ２１は、内部バス１４を介して、実行すべき制御プログラムを格納するＲＯＭやデータの蓄積や展開等に使用する作業領域としてのＤＲＡＭ等が接続され、撮像装置１全体を制御する中央演算ユニットとしての役割を担う。ＣＰＵ２１は、操作部２２から供給される操作信号Ｄ１に基づいて、動作信号を生成し、内部バス１４を介して動作信号を撮像部１０へ送信する。

操作部２２は、撮影画角や撮影方向をユーザが自由に調整するため、或いは撮像部１０における絞り値や露出時間を自由に調整するためのキー等で構成される。この操作部２２は、ユーザにより入力された情報に応じた操作信号Ｄ１を生成し、内部バス１４を介して操作信号Ｄ１をＣＰＵ２１へ送信する。さらに、この操作部２２は、シャッタボタン２２１を有し、ユーザによるシャッタボタン２２１の押圧入力操作に基づいて、撮像を開始又は停止する旨の操作信号Ｄ１を生成し、内部バス１４を介して操作信号Ｄ１をＣＰＵ２１へ送信する。また、図示していないモード切替ボタンを有し、これにより、例えば所定時間後に撮像動作を開始する、いわゆるセルフタイマモードに切り替えることができる。

外部メモリ２４は、例えば半導体メモリ、磁気記録媒体、光磁気記録媒体等で構成されている。この外部メモリ２４を着脱自在な記録媒体として構成することにより、撮像した画像を他のＰＣ等に移し換えてこれを鑑賞し、又は各種検索や処理を実行することができる。

上述の如き構成からなる撮像装置１により撮像された被写体像は、ＣＭＯＳイメージセンサ１１において電気信号に変換されて撮像信号Ｃ１となり、ＣＤＳ回路１２により雑音を除去されて撮像信号Ｃ２となり、更にはＡ／Ｄ変換部１３においてアナログ／デジタル変換処理される。また、この撮像信号Ｃ２で示される画像は、ＤＳＰ１５における図示しない画像用ＲＡＭに格納され、所定の画像処理が施された後、Ｄ／Ａ変換部１８によりデジタル／アナログ変換処理されてモニタ部２０において表示され、或いはコーデック処理部１６により符号化されてメモリ１７に記録されることになる。

続いて、本実施の形態における撮像装置の動作について図２及び図３を参照して説明する。なお、ここでは、所定時間後に撮影を自動的に開始する、いわゆるセルフタイマ機能を用いて、ユーザが自分自身を撮影する場合を想定して説明するが、これに限られる物ではない。

まず、ユーザは操作部２２に設けられた図示しないモード切替ボタンにより、いわゆるセルフタイマモードを選択する。このセルフタイマモードにより、周りの景色と撮影者自身を撮影することができる。

撮影者は、好みの風景が収まるように画角を決定する。その後、シャッタボタン２２１を押すことにより、撮像装置１のセルフタイマのカウントダウンが開始される。

シャッタボタン２２１が押されると（ステップＳ１１）、ＣＰＵ２１は、ＣＭＯＳイメージセンサ１１を介して得られた画像Ａをメモリ１７に記憶する（ステップＳ１２）。この画像Ａには、図３に示す画像のように目的の被写体である撮影者が入っていない。その後、予め決められた所定時間が経過した後（ステップＳ１３）、ＣＰＵ２１は、画像Ｂを取得し、メモリ１７に記憶する（ステップＳ１４）。この所定時間の間に撮影者は、自身が決定した画角の所望の位置に移動する。したがって、メモリ１７に記憶された画像は、例えば図４に示すように図３に示す撮影者が写ったものとなる。

ステップ１５では、ステップＳ１２にて記憶した画像ＡとステップＳ１４にて記憶した画像Ｂとを比較する（ステップＳ１５）。この比較は、例えば輝度に応じて０から２５５の値をとる画素値に基づいて行われ、画素値が所定の閾値以上の差がある画素を検出し、変化部分を求める。

ステップＳ１６では、ステップＳ１５にて比較した結果、変化が生じた領域の被写体に焦点を合わせる。この焦点合わせは、ＣＰＵ２１からの動作信号に基づいて撮像部１０により行なわれる。焦点が合うとシャッタを切り、ＣＰＵ２１は画像Ｃを外部メモリ２４に格納する（ステップＳ１７）。また、この画像Ｃを撮像する際、被写体である撮影者に焦点が合ったことを通知する。この画像Ｃは、例えば図５に示すような画像となり、画像Ｂよりも被写体である撮影者に焦点が合っているものである。

このように、撮像時間が異なる画像Ａと画像Ｂとを比較し、変化が生じた部分に焦点を合わせるようにすることにより、目的の被写体を特定することができるため、所望の画像を得ることができる。

なお、ステップＳ１４における画像Ｂを取得する時間は、ステップＳ１１にてカウントが開始されたセルフタイマの設定に基づいて決定されることが望ましい。すなわち、ステップＳ１３の所定時間は、セルフタイマの設定時間に応じて決定されることが望ましい。例えば、セルフタイマが終了する直前に画像Ｂを取得し、画像Ａと比較することにより、シャッタが切られるセルフタイマの終了時間の直前に焦点合わせが行われるようになるため、例えば移動する被写体でも鮮明な画像を得ることができる。

また、ステップＳ１５において、撮影時刻が異なる画像Ａと画像Ｂとを比較した結果、変化領域を検出できなかった場合、再び所定時間後に画像を取得するようにし、比較した画像に変化が生じるまで、画像を記憶する動作を繰り返すようにしてもよい。

また、セルフタイマモードで設定する時間内、すなわち、シャッタボタン２２１を押してから、シャッタを切るまでの時間内に変化が生じなかった場合は、ステップ１２にて記憶された画像Ａで合わせた焦点で撮影を行い、このことを撮影者に通知するようにしてもよい。

また、撮影時刻が異なる画像Ａと画像Ｂとの比較において、変化が生じた領域が複数の場合、最も変化した領域面積が大きい部分に焦点を合わせるようにしてもよい。

また、予め比較する領域を決定し、その領域内の画像Ａと画像Ｂとを比較するようにしてもよい。例えば、撮影者が操作部２２を操作し、図６に示すように比較する領域を入力しておく。撮像装置１は、撮影者が設定したマークの位置をメモリ１７に記憶し、上記動作を行う。この場合、ステップＳ１５における画像Ａと画像Ｂとの比較は、予め指定されたマーク領域のみを行えばよいこととなる。ここで、予め指定されたマーク領域に被写体が入った場合、すなわち、画像Ａと画像Ｂとの比較によりマーク領域に変化が生じた場合、撮像装置１は、そのことを被写体である撮影者に通知してもよい。これにより、撮影者は、設定したマーク領域に被写体である撮影者が写った所望の構図の画像を得ることができる。さらに、変化領域を検出する計算を低減することができる。また、通行人、鳥、雲等の目的の被写体以外のものに焦点が合うことを防ぐことができる。

また、図７に示すように予め比較する領域が区切られた画像を撮影者に提示し、例えば、領域の番号を選択させるようにしてもよい。例えば、５番と８番の領域を選択した場合、５番と８番の領域内で変化した部分、すなわち、図７と図８の画像を５番と８番の領域内のみ比較すればよい。そして、この領域内の変化部分、すなわち、図８の画像の５番と８番の領域に存在するようになった被写体に焦点を合わせる。

また、撮影時刻が異なる画像Ａと画像Ｂとの比較において、撮影者の顔や体の特徴を予め記憶させておき、記憶した情報に基づいて撮影者に焦点を合わせるようにしてもよい。例えば、被写体である撮影者の顔を認識する場合、本件出願人が出願した特開平２００３−２７１９５８号公報や特開平２００４−３０２６４４号公報に記載された技術を用いることができる。すなわち、画像から顔画像を検出し、この顔画像から顔特徴情報を検出し、予め登録しておいた被写体である撮影者の顔画像の顔特徴情報と比較し、被写体を特定する。これにより、セルフタイマモードで撮影しても確実に目的の被写体である撮影者に焦点を合わせることができる。

本発明の一実施形態における撮像装置の構成を示すブロック図である。本発明の一実施形態における撮像動作を示すフローチャートである。画像Ａの一例を示す図である。画像Ｂの一例を示す図である。画像Ｃの一例を示す図である。比較する領域を指定する画像例を示す図である。比較する範囲が区切られた画像Ａの例を示す図である。比較する範囲が区切られた画像Ｂの例を示す図である。

符号の説明

１撮像装置、１０撮像部、１１ＣＭＯＳイメージセンサ、１２ＣＤＳ回路、１３Ａ／Ｄ変換部、１４内部バス、１５ＤＳＰ、１６コーデック処理部、１７メモリ、１８Ｄ／Ａ変換部、１９ビデオエンコーダ部、２０モニタ部、２１ＣＰＵ、２２操作部、２３タイミングジェネレータ

Claims

被写体の画像を取得する画像取得手段と、
上記画像取得手段により取得された画像を一時的に記憶する記憶手段と、
上記記憶手段に記憶され、上記画像取得手段により取得された時刻が異なる第１の画像と第２の画像とを比較することにより変化部分を検出し、当該変化部分に焦点を合わせる制御手段と、
被写体の顔を認識する認識手段と
を備え、
上記制御手段は、シャッターボタンの押下が認識されたことによりセルフタイマモードのカウントダウンが開始した際の第１の画像とカウントダウンが終了した際の第２の画像との変化部分について上記認識手段により認識された被写体の顔に焦点を合わせ、上記画像取得手段にセルフタイマモードの第３の画像を取得させる撮像装置。
上記第１の画像と第２の画像とを比較する範囲を指定する入力手段を備え、
上記制御手段は、上記入力手段により指定された範囲内で変化部分を検出する請求項１記載の撮像装置。
上記入力手段は、上記第１の画像と第２の画像とを比較する範囲が予め区切られた領域を指定し、
上記制御手段は、上記入力手段により指定された領域内で変化部分を検出する請求項２記載の撮像装置。