(実施の形態1)
1.構成
以下、本発明の一実施の形態について、図面を参照して説明する。
1−1 全体構成の概要
図1は、本実施の形態に係るデジタルカメラ1の斜視図である。図2は、本実施の形態に係るデジタルカメラ1の構成を示すブロック図である。以下、具体的に構成を説明する。
光学系11は、被写体からの光学信号を集光してCCDイメージセンサー12上に被写体像を形成する。光学系11は、対物レンズ111とズームレンズ112とフォーカスレンズ113と絞り/シャッタ114とを含む。
ズームレンズ112は、ズーム駆動部115によって駆動され、被写体像の写る範囲(画角)を調整する。フォーカスレンズ113は、フォーカス駆動部116によって駆動され、ピントの調節を行なう。ズーム駆動部115は、ズームレンズ112を移動するためのカム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ17からの制御に応じて、ズームレンズ112を駆動させる。フォーカス駆動部116は、フォーカスレンズ113を移動するためのカム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ17からの制御に応じて、フォーカスレンズ113を駆動させる。
また、絞り/シャッタ114は、絞りとシャッタを兼用した部材である。絞り/シャッタ114は、絞り/シャッタ駆動部117によって駆動される。絞りは、5枚の羽根によって構成され、光学系11を通る光の量を調整するものである。また、シャッタは、開けたり閉じられたりして、CCDイメージセンサー12に当たる光の量を時間的に調整するものである。絞り/シャッタ駆動部117は、カム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ17からの制御に応じて、絞り/シャッタを駆動する。
なお、本実施の形態では、絞りとシャッタを兼用した絞り/シャッタ114を備えるようにしたが、これに限られず、絞りとシャッタとを別々に設けるようにしても良い。この場合、例えば、シャッタは光学系内に設けず、絞りだけを光学系に設けるとよい。この際、シャッタは、光学系とCCDイメージセンサーの間に設けるとよい。このようにすれば、シャッタを光学系と別の部材で設けたので、レンズ交換タイプのデジタルカメラにも適用できるようになる。
CCDイメージセンサー12は、光学系11によって形成された被写体像を撮像して画像データを生成する撮像手段である。CCDイメージセンサー12は、タイミングジェネレータ121から供給されるパルス信号に基づいて、被写体像を撮像し、画像データを生成する。タイミングジェネレータ121は、LSIなどの集積回路によって構成され、CCDイメージセンサー12にパルス信号を供給する。ここでタイミングジェネレータ121がCCDイメージセンサー12に供給するパルス信号は、例えば、1秒間に30回のフレーム読み出しパルス信号を供給する。これによって、CCDイメージセンサー12では、30分の1秒ごとのフレームの画像データを取得できるようになる。
ADコンバータ13は、CCDイメージセンサー12で生成された画像データをデジタルデータに変換する。
画像処理部14は、デジタルデータに変換された画像データに対して所定の処理を施す。所定の処理としては、ガンマ変換、YC変換、電子ズーム処理、圧縮処理、伸張処理などが考えられるが、これに限定されるものではない。
バッファメモリ15は、画像処理部14で画像処理を行う際、および、コントローラ17で制御処理を行う際に、ワークメモリとして作用する。バッファメモリ15は、例えば、DRAMなどで実現可能である。
フラッシュメモリ16は、内蔵メモリとして用いられる。フラッシュメモリ16は、画像データが画像処理された画像データの他に、コントローラ17の制御のためのプログラムや設定値などを記憶可能である。
コントローラ17は、デジタルカメラ1全体を制御するための制御手段である。コントローラ17は、マイクロコンピュータで実現してもよく、ハードワイヤードな回路で実現しても良い。要するに、本発明の制御手段は、自装置を制御できるものであればよい。なお、コントローラ17の各種制御については、後述する。
ぶれ検出器30は、ジャイロセンサーなどで構成されるものであり、自装置の振動を検出する振動検出手段である。ぶれ検出器30は、水平軸を中心とした上下方向の回転振動を検知する第1のジャイロセンサーと、鉛直軸を中心とした左右方向の回転振動を検知する第2のジャイロセンサーとを備える。そして、ぶれ検出器30は、自装置の振動を検知して、振動量に対応するアナログ信号をコントローラ17に出力する。この際、ぶれ検出器30から出力されたアナログ信号(電圧値)は、AD変換手段によってデジタル信号に変換され、コントローラ17に入力される。ここで本実施の形態の振動量は、デジタルカメラ1が振動しているときの、振幅の大きさに対応するものである。そのため、電圧値の大きさは、振幅の大きさに対応するように構成されている。
カードスロット18は、メモリカード19を着脱するためのスロットである。カードスロット18は、メモリカード19を制御する機能を有するようにしてもよい。メモリカード19は、フラッシュメモリなどを内蔵する。メモリカード19は、画像処理部14によって画像処理された画像データを格納可能である。
タッチパネル20は、液晶モニタと、マトリクススイッチを組み合わせて構成される。この液晶モニタは、画像データおよびデジタルカメラ1の各種設定等を表示する表示手段である。本発明の表示手段としては、液晶モニタに替えて、有機ELディスプレイなどを用いることもできる。また、このマトリクススイッチは、表示手段に表示された表示画像に、使用者がタッチ操作を行なった場合、タッチ操作に対応する位置の情報(操作信号)をコントローラ17に出力するタッチセンサである。なおタッチセンサは、マトリクススイッチに替わる方式として、抵抗膜を設ける抵抗膜方式や圧電素子を取り付けたガラス板を設ける表面弾性波方式を取ることができる。なお、本実施の形態では、タッチパネル20を備えるようにしたが、これに限られず、液晶モニタだけで構成するようにしてもよい。この場合、使用者が操作部を操作することによって、デジタルカメラに対する各種操作を受け付ける。
操作部21は、デジタルカメラ1の外装に取り付けられた操作部材の総称である。操作部21としては、十字キーや押下釦等が考えられる。本実施の形態では、操作部の一つの押下釦として、シャッタスイッチ211がある。シャッタスイッチ211は、デジタルカメラ1の上面に設けられるものであり、使用者からの半押しおよび全押しを検知できるようにしたものである。使用者によって半押し又は全押し操作が行なわれると、シャッタスイッチ211は操作に応じた操作信号をコントローラ17に出力する。また本実施の形態では、操作部21の一つの部材としてズームリング212が備えられている。ズームリング212は、使用者からの操作に応じて、光学系11のズーム倍率を変更するものである。ズームリング212は、使用者に操作されると、操作信号をコントローラ17に出力する。これによって、コントローラ17は、ズームレンズ112に対してズーム倍率を変更するための制御信号を送ることができる。すなわち、本発明のズーム倍率変更手段は、ズームリング212で実現できる。なお、ズーム倍率変更手段は、前記光学系のズーム倍率を変更できるものであれば、どのような構成であってもかまわない。例えば、交換レンズを備える撮像装置であれば、交換レンズに設けられるズームリングであってもよいし、タッチパネル20へのタッチ操作によってズーム倍率を入力してズーム倍率を変更するものであってもよい。
1−2 本実施の形態におけるコントローラ17の制御の説明
本実施の形態におけるコントローラ17は、追尾領域設定処理と、画像処理部14における電子ズーム処理の制御処理と、追尾領域移動処理と、合焦処理と、を行なう。すなわち、実施の形態1においてコントローラ17は、設定手段であり、電子ズーム処理手段の制御手段であり、追尾領域移動手段であり、合焦手段である。
設定手段を実現するコントローラ17は、CCDイメージセンサー12によって生成された画像データの一部を追尾領域50として設定するものである。
電子ズーム処理の制御を行うコントローラ17は、画像処理部14を制御する。この制御に基づいて、画像処理部14は、CCDイメージセンサー12で生成された画像データを電子的に縮小または拡大して、縮小または拡大された画像データを生成するものである。ここで、このコントローラ17は、コントローラ17で追尾領域を設定した後ズームリング212で光学系11のズーム倍率が変更されている場合、この追尾領域50の設定時のズーム倍率からの変化量に応じて縮小または拡大された画像データを生成するように画像処理部14を制御するものである。
追尾領域移動手段を実現するコントローラ17は、追尾領域内の特徴に基づいて、CCDイメージセンサー12で順次生成される画像データ内において追尾領域を移動するものである。そして、このコントローラ17は、コントローラ17で追尾領域を設定した後ズームリング212で光学系11のズーム倍率が変更されている場合、画像処理部14で縮小または拡大された画像データの中から追尾領域内の特徴を検索することにより、新たな位置に追尾領域を移動するものである。
合焦手段を実現するコントローラ17は、CCDイメージセンサー12によって生成された画像データが示す画像内の追尾領域50内の画像データに基づいて、CCDイメージセンサー12で撮像している被写体像の合焦状態を継続的に維持するように光学系11を制御するものである。
以下、具体的に各々の処理を説明する。
1−2−1 追尾領域設定処理
コントローラ17は、画像処理部14から受け取った画像データを表示画面80として液晶モニタに表示させる(図3)。そしてコントローラ17は、使用者から表示画面80がタッチ操作された場合、タッチ操作された位置に対応する画像データ内の被写体像に追尾領域50を設定する。ここで表示画面80がタッチ操作された場合、マトリクススイッチではタッチ操作された位置をコントローラ17に出力する。そしてコントローラ17は、タッチ操作された位置に対応する画像データ内の被写体に追尾領域50を設定する。なお、コントローラ17は、追尾領域が設定された画像データを表示画面81として、液晶モニタに表示させる(図4)。
1−2−2 電子ズーム処理の制御処理
コントローラ17は、例えば、図16の左上のような画像データが、ズーム倍率が拡大(望遠)側へ変更され、CCDイメージセンサーによって図5の左のような画像データが取得された場合、次の処理を行なう。コントローラ17は、画像処理部14を制御する。画像処理部14は、図5の左の画像データを、この追尾領域50の設定時のズーム倍率からの変化量に応じて電子的に縮小する。縮小された画像データは、例えば、図5の右の画像データである。
ここで、図5の左の画像データの電子的な縮小は、例えば、追尾領域50の設定時のズーム倍率が2倍である場合(例えば、光学系11の焦点距離50mmに設定されている場合)であって、ズーム倍率が4倍に変更された場合(光学系11の焦点距離100mmに設定されている場合)、追尾領域50の設定時のズーム倍率からの変化量は2倍であるため、ズーム倍率変更後の画像データの画角が変化量(2)分の1に縮小されるように画角を変更する(図5の右の画像データ)。これによって画像処理部14は、追尾領域50の設定時のズーム倍率からの変化量に応じて、縮小した画像データを生成できる。なお、追尾領域50の設定時のズーム倍率からの変化量に応じて、拡大した画像データを生成する方法については、縮小の方法と同様の方法で実現できる。
1−2−1 追尾領域移動処理
コントローラ17は、画像データにおいて追尾領域50が設定された被写体に対し、追尾動作を行なうものである。そしてコントローラ17は、追尾動作を可能にするため、下記の処理を可能にする。すなわち、コントローラ17は、色記憶と、検索領域取得と、色情報検索と、追尾領域移動の処理を可能にする。以下具体的に説明する。
色記憶処理は、追尾領域50内の画像データの色情報を記憶媒体に記憶するものである。ここで記憶媒体としては、バッファメモリ15、フラッシュメモリ16、メモリカード19などが考えられるが、これに限らない。色記憶処理を実現するコントローラ17は、追尾領域50内の画像データを取得する(図6(A))。そしてコントローラ17は、追尾領域50内の画像データの色情報を取得する。ここで色情報は、色相の色空間で表現する。すなわち、色相は、0〜360度の位相角として角度により表すことができる。ここで色空間がHSV色空間の場合、図7のように、R=0/G=120/B=240の位置関係で表現できる。例えば、該当色が図7のように位置する場合、該当色の角度は、θとなる。これによって、例えば、図6(A)の追尾領域50内の画像データでは、図6(B)のヒストグラムで表現できる。ここでヒストグラムの横軸は、角度(度)を表しており、縦軸は、追尾領域内に存在する各色相の画素の数を表している。横軸は、Minが0度であり、Maxが359度である。このようにして取得された追尾領域50の色情報をコントローラ17は、バッファメモリ15またはフラッシュメモリ16、メモリカード19などの記憶媒体に記憶する。好ましくは、追尾領域の色情報をデジタルカメラ1に内蔵された記憶媒体に記憶する。このようにすれば、追尾領域の色情報の読み出し時間を短くすることができる。なお、色相はスペクトル上での色の位置で表すことも可能である。この場合、光の波長を300nm~780nmで表現することで可能となる。
検索領域取得処理は、追尾領域50および追尾領域50周辺の画像データを含む検索領域60内の画像データを取得するものである。すなわち、コントローラ17は、検索領域60内の画像データを取得する。例えば、検索領域60は、追尾領域50の約9倍(縦3倍・横3倍)の大きさで構成されている(図8)。なお、コントローラ17で追尾領域50を設定した後ズームリング212で光学系11のズーム倍率が変更されている場合、画像処理部14で縮小または拡大された画像データ(図9の左の画像データ)の中から、追尾領域50および追尾領域50周辺の画像データを含む検索領域60を設定する。そして、検索領域60内の画像データを取得する(図9の右の画像データ)。これによって、追尾領域50を設定した後ズームリング212で光学系11のズーム倍率が変更されている場合であっても、検索領域内の画素数を、追尾領域設定時の検索領域の画素数と同程度にすることができる。また、追尾領域50を設定した後ズームリング212で光学系11のズーム倍率が拡大側へ変更された場合であっても、検索領域内の画素数が増加し、検索処理の処理量が増えることをより防止できる。
色情報検索処理は、検索領域60内の画像データにおいて、追尾領域50と同じ形状、同じ大きさで、かつ、記憶媒体に記憶された追尾領域50の色情報と最も近似する領域70を検索するものである。したがって、コントローラ17は、記憶媒体に記憶された追尾領域50の色情報を読み出す。そしてコントローラ17は、読み出した追尾領域50の色情報と、色情報が最も近似する領域70を、検索領域60内の画像データから検索する。
ここで最も近似する領域70の検索方法は、検索するための領域(判別領域)を利用して、以下の方法で実現可能である。
まずコントローラ17は、検索領域60内の左端上端の判別領域(a)内における画像データを取得する(図10)。そしてコントローラ17は、取得した画像データの色情報を解析する。ここで判別領域は、追尾領域50と同じ形状で、同じ大きさである。判別領域(a)内の画像データの色情報を解析したコントローラ17は、判別領域(a)内の色情報を、現在最も近似する領域の色情報として記憶媒体に記憶する。
次に、コントローラ17は、判別領域を1画素右にずらし、判別領域(b)内の色情報を取得する(図10)。そしてコントローラ17は、判別領域(b)内の色情報と、記憶された現在最も近似する領域の色情報(判別領域(a)内の色情報)と、を比較し、どちらが追尾領域50内の色情報に近似するかを判別する。
ここで追尾領域50内の色情報に近似すると判別された色情報が、判別領域(b)内の色情報である場合、コントローラ17は、判別領域(b)内の色情報を、記憶媒体に記憶する。一方、追尾領域50内の色情報に近似すると判別された色情報が、記憶された現在最も近似する領域(判別領域(a)内の色情報)である場合、判別領域を1画素右にずらし、次の領域の判別を行なう。これらの処理を繰り返すことによって、検索領域60内の検索を行なう。なお、コントローラ17は、判別領域が検索領域60の右端上端に到達した場合、1画素下げて、左端からまた検索を行なう(図11)。
これらの処理を繰り返すことによって、コントローラ17は、検索領域60全体を検索できる。したがって、コントローラ17は、追尾領域50の色情報に、最も近似する領域を検索できる。すなわち、検索終了時に、記憶媒体に記憶されている判別領域が、最も近似する領域70となる。これによってコントローラ17は、最も近似する領域70を検索できる。
次に、コントローラ17が、記憶された現在最も近似する色情報(例えば、判別領域(a)内の色情報)と、判別領域(b)内の色情報とを比較し、どちらが追尾領域50内の色情報に近似するかを判別する際の判別方法を説明する。判別方法は、色情報のヒストグラムに基づいて、抽出される曲線の近似度を求めることで、判別できる。すなわち、ある曲線と、他の曲線とのユークリッド距離(近似度)を測ることによって可能である。なお、ユークリッド距離d(f,g)は、距離尺度であり、ベクトル量fとgに対して、下記の数式1で算出できる。
したがって、コントローラ17は、追尾領域50内の色情報と判別領域(a)内の色情報とのユークリッド距離と、追尾領域50内の色情報と対象領域(b)内の色情報とのユークリッド距離を比較して、ユークリッド距離が小さい方を、現在最も近似する色情報として判別する。
なお、本実施の形態では、現在最も近似する領域として判別された判別領域内の色情報を記憶媒体に記憶するようにしているが、これに限らない。例えば、ユークリッド距離のような近似度を記憶媒体に記憶するようにしてもよい。このようにすれば、記憶された現在最も近似する領域の色情報と追尾領域の色情報とのユークリッド距離の算出をしなくてすむ。
また、判別領域内の色情報を現在最も近似する領域の色情報として記憶する際に、判別領域の位置情報を最も近似する領域の位置情報として記憶媒体に記憶するとよい。このようにすれば、コントローラ17が検索領域内の検索を終了した時に、記憶媒体から情報を読み出すだけで、最も近似する領域の位置情報を取得できるようになる。ここで最も近似、する領域の位置情報として記憶する判別領域の位置情報は、判別領域の左端上端の位置情報を記憶しておくとよい。これによって、検索終了時に、記憶された現在最も近似する領域の位置情報が、追尾領域50を移動するための移動位置となる(図12)。すなわち、図12の現在最も近似する領域が、検索領域内の最も近似する領域70となる。
追尾領域移動処理は、色情報検索処理によって検索された最も近似する領域70に応じて、追尾領域50を移動させるものである。すなわち、コントローラ17は、最も近似する領域70の位置情報に応じて、追尾領域51を移動する(図13の表示画面82)。
これらの手段によって、追尾領域移動処理を可能にしている。なお、追尾領域移動処理の動作は、後述する。
1−2−2 合焦処理
コントローラ17は、CCDイメージセンサー12で撮像している追尾領域内の被写体像の合焦状態を調整するために、光学系11を制御する。本実施の形態におけるコントローラ17は、合焦状態を制御するため、以下の処理を行う。なお、コントローラ17は、山登り方式(コントラスト方式)のオートフォーカス手段によって合焦状態を調整するものである。
コントローラ17は、予め設定されたフォーカスレンズ113の稼動範囲で、フォーカスレンズ113を稼動させる。これに伴って、コントローラ17は、画像処理部14から画像データを連続的に取得する。そして、コントローラ17は、画像処理部14から連続的に入力された画像データ(追尾領域内)を解析する。この際、コントローラ17は、入力された画像に対して、画像の境界の明瞭さや微細な部分の描写能力を表す度合いである鮮鋭度を算出する。そしてコントローラ17は、連続的にされる画像の中から、最も鮮鋭度が最大となる画像を選択する。次に、コントローラ17は、選択された画像が取得できるフォーカスレンズ113の位置を検出し、フォーカスレンズ113の現在位置に基づいて、フォーカスレンズ113の移動量を決定する。フォーカスレンズ113の移動量が決定されると、フォーカスレンズ113を移動するため、フォーカスレンズ駆動部116に移動量を含む信号を出力する。なお、フォーカスレンズ113の現在位置の検出方法は、どのような方法であってもよいが、好ましくは、フォーカスレンズ113に位置センサを設け、光学系11におけるフォーカスレンズ113の現在位置を検出し、この現在位置の情報をコントローラ17に出力するようにするとよい。
ここでコントローラ17は、合焦状態を継続的に維持するように光学系11を制御するため、CCDイメージセンサー12によって取得される画像データに対して、追尾制御を行なっている間、合焦状態を調整し続ける。これはデジタルカメラ1で一般的に用いられているコンティニュアスAFと呼ばれるものである。コンティニュアスAFを、コントラスト方式のAFで実現する場合、例えば、特開2003−140035号公報に記載された技術によって実現可能である。具体的には、例えば、段落0012〜段落0016等に記載されたメインのAF処理によって可能である。
これによって、デジタルカメラ1は、被写体に対して合焦状態を継続的に維持できる。
2.動作
次に、このように構成されたデジタルカメラ1の動作について図14、15のフローチャートを用いて説明する。デジタルカメラ1は、図示しない電源スイッチがOFFからONに変更され、追尾撮影モードに設定されると、デジタルカメラ1は、以下の動作を行なう(図14)。
まず、CCDイメージセンサー12が、被写体像を画像データとして撮像する(S1)。撮像された画像データは、ADコンバータ13や画像処理部14を介してコントローラ17に入力される。この際、ステップS2が行われるまで、CCDイメージセンサー12で繰り返し画像データが取得される。
コントローラ17は、タッチパネル20に、画像データを表示画面80として表示させる(図3)。そしてコントローラ17は、タッチパネル20を介した使用者からのタッチ操作を受け付ける。使用者からタッチ操作を受け付けた場合、コントローラ17は、タッチパネル20がタッチ操作された位置に応じて、画像データに追尾領域50を設定する(S2)。この際、コントローラ17は、追尾領域が設定された画像データをタッチパネル20に表示画面81として表示させる(図4)。
次に、コントローラ17は、追尾領域50内の画像データを取得する。そしてコントローラ17は、追尾領域50内の画像データを解析した色情報を記憶媒体に記憶する(S3)。この際、コントローラ17は、追尾領域50が設定された被写体に対して、合焦状態の調整を行う(S4)。そして、コントローラ17は、追尾処理を行なう(S5)。なお、図示はしないが、追尾処理と並行して、合焦制御(コンティニュアスAF)の処理を行う。
次に、追尾処理の動作を図15のフローチャートを用いて説明する。
まず、CCDイメージセンサー12は、被写体像を画像データとして撮像する(T1)。撮像された画像データは、ADコンバータ13や画像処理部14を介してコントローラ17に入力される。
次に、コントローラ17は、追尾領域を設定した後にズームリング212で光学系11のズーム倍率が変更されたか否かを判別する(T2)。
追尾領域を設定した後にズームリング212で光学系11のズーム倍率が変更されていた場合、コントローラ17は、画像処理部14を制御する。コントローラ17によって制御された画像処理部14は、この追尾領域50の設定時のズーム倍率からの変化量に応じて縮小または拡大された画像データを生成する(T3)。一方、追尾領域を設定した後にズームリング212で光学系11のズーム倍率が変更されていない場合、ステップT4に移行する。
次に、コントローラ17は、縮小または拡大されている画像データ、若しくは、縮小または拡大されていない画像データに検索領域60を設定する。そして、コントローラ17は、検索領域60内の画像データを取得する(T4)。コントローラ17は、取得された検索領域60内の画像データにおいて、追尾領域50の色情報と最も近似する領域70を検索する(T5)。その後、コントローラ17は、近似すると判別された最も近似する領域70内の画像データを解析し、この解析した色情報を記憶媒体に記憶する(T6)。
そしてコントローラ17は、最も近似する領域70の位置情報に基づいて、追尾領域を移動する(T8)。この際、コントローラ17は、追尾領域51が移動された画像データを表示画面82として、タッチパネル20に表示させる(図13)。そして再度ステップT1に移行し、新たな画像データ(フレーム)をCCDイメージセンサー12によって取得する。
これによって、デジタルカメラ1の被写体に対する追尾処理の動作を可能にしている。
3.まとめ
上述のように本実施の形態のデジタルカメラ1は、被写体像を形成する光学系11と、形成された被写体像を撮像して画像データを生成するCCDイメージセンサー12と、光学系11のズーム倍率を変更可能なズームリング212と、CCDイメージセンサー12で生成された画像データを電子的に縮小又は拡大して、縮小又は拡大された画像データを生成する画像処理部14と、生成された画像データの一部を追尾領域50として設定するコントローラ17と、追尾領域内の特徴に基づいて、CCDイメージセンサー12で順次生成される画像データ内において追尾領域を移動するコントローラ17と、を備える。そして、コントローラ17で追尾領域50を設定した後ズームリング212で光学系11のズーム倍率が変更されている場合、画像処理部14は、追尾領域50の設定時のズーム倍率からの変化量に応じて縮小又は拡大された画像データを生成し、コントローラ17は、画像処理部14で縮小又は拡大された画像データの中から追尾領域内の特徴を検索することにより、新たな位置に追尾領域を移動する。
このようにすれば、画像処理部14は、コントローラ17の制御に従って、追尾領域50の設定時のズーム倍率からの変化量に応じて縮小又は拡大された画像データを生成し、また、コントローラ17は、画像処理部14で縮小又は拡大された画像データの中から追尾領域内の特徴を検索するようにしたので、ズーム倍率を変更した場合であっても、追尾領域内で特徴を検索する際に必要な検索動作の処理量を同程度にすることができる。
また、コントローラ17で追尾領域50を設定した後ズームリング212で光学系11のズーム倍率が変更されている場合の画像処理部14は、追尾領域50の設定時のズーム倍率からの変化量で縮小した画像データを生成する。
このようにすれば、光学系のズーム倍率を拡大側へ変更した場合であっても、追尾領域内で特徴を検索する際に必要な検索動作の処理量を減らすことができるので、追尾領域を移動させる位置を検索するためにかかる時間を短縮でき、かつ、より安定した追尾動作ができる。
(他の実施の形態)
本発明の実施の形態として、実施の形態1を例示した。しかし、本発明は、実施の形態1に限定されず、他の実施の形態においても実現可能である。そこで、本発明の他の実施の形態を以下まとめて説明する。
本発明の実施の形態1では、撮像手段としてCCDイメージセンサー120を例示した。しかし、CCDイメージセンサー120に替えて、他の撮像手段を用いてもよい。他の撮像素子としては、例えば、CMOSイメージセンサーなどを用いてもよい。CMOSイメージセンサーを用いることにより、消費電力を低減できる。すなわち、撮像手段は、被写体像を撮像して画像データを生成するものである。
また、本発明の実施の形態1では、タイミングジェネレータ121がCCDイメージセンサー12に供給するパルス信号を、例えば、1秒間に30回のフレーム読み出しパルス信号を供給するように構成したが、これに限られない。例えば、1秒間に50回や60回のパルス信号を供給するようにしてもよい。要するに、タイミングジェネレータは、フレーム読み出しのためのパルス信号を供給できるものであればよい。
また、本発明の実施の形態1では、振動検出手段として、二つのジャイロセンサーによって構成される、2軸のぶれ検出器を例示したが、これに限られず、自装置の振動を検出できるものであればどのような構成であってもよい。例えば、振動検出手段は、1軸の振動を検出できるものであってもよい。また、ジャイロセンサーは、振動式、機械式、光学式など様々な構成で実現できる。また、振動の大きさについては、振動量で実現したが、これに限られず、どのような値で表現してもかまわない。
また、本発明の実施の形態1では、タッチパネルを備えた装置を例示したが、これに限られず、液晶モニタなどの表示手段と、十字キーや押下釦などの入力手段を備える装置で構成するようにしてもよい。
また、本発明の実施の形態1では、合焦手段として、山登り方式のオートフォーカスを用いるコントローラ17を例示したが、これに限られず、他のAF処理によって合焦状態を調整できるものであってもよい。例えば、他のAF処理として、一眼レフのカメラなどで、一般的に用いられる位相差検出方式が考えられる。
さらに、本発明の実施の形態1では、合焦手段として、コンティニュアスAFを行なうコントローラ17を例示したが、これに限られず、所定のタイミングで合焦状態を調整するものであってもよい。所定のタイミングとは、例えば、使用者が操作部に含まれるシャッタスイッチを全押することで、デジタルカメラに対して撮影の動作を指示した時などが考えられる。すなわち、合焦手段は、合焦状態を調整できるものであればどのような手段であってもよい。
加えて、本発明の実施の形態1では、使用者がタッチパネルを操作することによって、追尾領域を画像データに設定するようにしたが、これに限られない。例えば、十字キーなどの操作部をデジタルカメラに設け、この操作部を操作することによって、追尾領域を設定するようにしてもよい。
また、本発明の実施の形態1では、色(色相)情報を利用して、追尾を行なっているが、これに限られず、輝度信号情報、さらに形状、温度又は被写体中の特徴あるコントラスト等その他の情報を利用して追尾処理を行なうことができる。
また、本発明の実施の形態1では、取得された画像データの各フレームで、追尾動作を行なうようにしたが、これに限られない。
また、本発明の実施の形態1では、説明の関係上、追尾領域を移動させた後に、新たな画像データを取得するように記載しているが、これに限られず、追尾動作T1〜T9を並列に処理するようにしてもよい。この場合、コンピュータのパイプライン処理のように実現するとよい。このようにすれば、処理の高速化を図れる。
さらに、本発明の実施の形態1では、一つのコントローラで様々な手段を実現するようにしているが、これに限られず、二つ以上のコントローラで実現するようにしてもよい。
加えて、本実施の形態では、追尾領域50の設定時のズーム倍率からの変化量で、画像データを電子的に縮小して、縮小した画像データを生成するようにしたが、これに限られず、ズーム倍率が拡大(望遠)側へ変更された場合に、画像データを電子的に縮小して、縮小した画像データを生成するものであれば、どのような構成であってもかまわない。また、他の考え方として、ズーム倍率が縮小(広角)側に変更された場合に、画像データを拡大して、拡大した画像データを生成するものであれば、どのような構成であってもかまわない。
また、本実施の形態では、色情報の近似判断の方法として、二つのヒストグラムのユークリッド距離を用いて判断を行なうようにしているが、これに限られない。例えば、二つのヒストグラムにおいて、色相ごとに画素数をANDして、残ったヒストグムラムの数(要するに、色相ごとに何画素一致しているか)で判断するようにしてもよい。この場合、残ったヒストグラムの数が多い方が、近似する領域となる。このようにすれば、ヒストグラムの対比処理が、主に色相ごとの画素数のAND処理によって完了できるので、簡単な処理でヒストグラムの対比が可能となる。
また、本実施の形態では、光学系のズーム倍率に応じて、ズームレンズを駆動させるようにした。なお、他の実施の形態では、これに加えて、撮像手段が撮像する画像データの画素数が、デジタルカメラの最大記録画素数以外である場合、CCDイメージセンサーで使用されていない画素を用いて、画像データをさらに拡大または縮小するようにしてもよい。これによって、同じ範囲を撮影するのであれば、デジタルズームより画質の劣化を気にすることなくズーム倍率の範囲を拡大することができる。ここで、画像データをさらに拡大または縮小するようにしたものが、拡張光学ズーム手段である。この拡張光学ズーム手段は、例えば、コントローラが画像処理部を制御することによって実現可能である。
ここで光学系のズーム処理以外で、画像データをさらに縮小する方法(拡張光学ズーム手段の処理)について説明する。
まず、撮像手段の画像データが最大記録画素数でない場合の光学系のズーム倍率について説明する。一般的に、光学系のズーム倍率は、撮像手段が取得する画像データの画角(画素数)に応じて、変更される。例えば、画像データの画素数が、デジタルカメラの最大記録画素数(7M)である際に、ズーム倍率が1〜12倍であるものが、画角(画像データの記録画素数3M)に変更されると、ズーム倍率が1.5〜18倍のように変換される。これは、撮像手段が取得した画像(最大記録画素数)が、使用者によって設定された記録画素数で切り取られるからである。このように切り取られた画像が画像データとなる。なお、変更されたズーム倍率を拡張ズーム倍率とする。
次に、拡張光学ズーム手段の処理について説明する。この処理は、光学系のズームレンズが、広角端に駆動されている状態で、行なうものである。拡張光学ズーム手段は、画像データが最大記録画素数以外の場合、ズームリングによって設定された拡張ズーム倍率(例えば、1〜1.5倍)に応じて、画像データをさらに縮小する。
具体的に、拡張ズーム倍率が1倍である場合、撮像手段で取得された画像(最大記録画素数)を取得する。そして、この取得された画像を、使用者によって設定された記録画素数に圧縮(縮小)する。すなわち、最大記録画素数7Mで、設定された記録画素数が3Mの場合、7Mの画像を、3Mの画像データとして圧縮する。これによって、同じ範囲を撮影するのであれば、デジタルズームより画質の劣化を気にすることなくズーム倍率の範囲を拡大することができる。
なお、このような構成を採用すると、拡張光学ズーム手段で縮小された画像データを、電子ズーム手段で拡大できるので、追尾領域の移動先を検索するための処理を、ズーム倍率変更前と、ズーム倍率変更後で、同程度にすることができる。これによって、追尾動作の安定を図れる。
さらに、本実施の形態では、光学系のズーム倍率の変更に応じて、画像データの電子的な縮小または拡大を行なうようにしたが、これに限られない。例えば、別の実施の形態1では、デジタルズーム処理(手段)のズーム倍率の変更に応じて、画像データの電子的な縮小を行なうようにしてもよい。このようにすれば、デジタルズーム処理で拡大された画像データを、縮小することができる。このため、デジタルズーム処理の拡大によって、追尾領域を大きく増加させる必要がなくなる。従って、縮小された画像データを対象として、追尾領域の移動先を検索することで、追尾領域の検索範囲を小さくできる。
このデジタルズーム手段は、コントローラが画像処理部を制御することがによって実現可能である。このデジタルズーム手段は、CCDイメージセンサーで生成された画像データの一部を切り出し、画素を一部補完することで、画像データを拡大する機能である。すなわち、デジタルカメラにおいて、一般的なデジタルズームに当たる。また、デジタルズーム手段のズーム倍率は、ズームリングによって、変更可能にするとよい。ここで、上記実施の形態では、ズームリングが、光学系のズーム倍率を変更するように構成されている。そのため、ズームリングが、光学系のズーム倍率と、デジタルズーム手段のズーム倍率を、兼用するとよい。この場合、所定のモードでは、光学系のズーム倍率を変更可能に構成し、一方、他のモードでは、デジタルズーム手段のズーム倍率を変更可能に構成すればよい。この際、コントローラが所定のモードと他のモードを切り替えできるようにすればよい。
このような別の実施の形態1のデジタルカメラの動作を図19のフローチャートを用いて説明する。実施の形態1と同様の処理については説明を省略する。図14の追尾動作開始については、同じ処理であるので、説明を割愛する。
追尾処理について説明する。追尾処理は、まず、ステップT1のように、撮像手段によって画像データを取得する(U1)。その後、コントローラは、画像処理部を制御して、生成された画像データに対して、デジタルズーム処理を行う。この際、画像処理部は、ズームリングによって変更されたデジタルズームのズーム倍率に基づいて、画像データを拡大する(U2)。
次に、コントローラは、追尾領域を設定した後にズームリングでデジタルズームのズーム倍率が変更されたか否かを判別する(U3)。
追尾領域を設定した後にズームリングでデジタルズームのズーム倍率が変更されていた場合、コントローラは、画像処理部を制御する。そしてコントローラに制御された画像処理部は、この追尾領域の設定時のズーム倍率からの変化量に応じて縮小された画像データを生成する(U4)。この際、縮小される画像データは、画像処理部によってデジタルズーム処理された画像データである。一方、追尾領域を設定した後にズームリングでデジタルズームのズーム倍率が変更されていない場合、ステップU5に移行する。
次に、コントローラは、縮小されている画像データ、若しくは、縮小されていない画像データに検索領域を設定する。そして、コントローラは、検索領域内の画像データを取得する(U5)。この後、ステップT5、T6、T7に対応するU6、U7、U8の処理を行う。これによって、追尾動作を可能にしている。すなわち、このように構成したので、ズームリングによるデジタルズームのズーム倍率の変更によって、デジタルズーム処理で拡大された画像データを縮小することができる。そのため、追尾領域の移動先を検索する際の検索に係る処理を減らすことができる。
また、上記別の実施の形態1の動作に限られず、以下の別の実施の形態2でも動作できる。これは、撮像手段で撮像された画像データを、デジタルズーム処理する前に、バッファメモリに記憶する。そして、記憶しておいた画像データに基づいて、追尾領域の移動させる先を検索するものである。これによって、追尾領域の移動させる先を検索するためにかかる処理を減らすことができる。なお、別の実施の形態2では、デジタルズームのズーム倍率が1倍でない時に、追尾領域が設定された場合、追尾領域を検索するために用いられる判別領域は、設定された際の追尾領域よりも縮小した判別領域を利用する必要がある。すなわち、追尾領域を設定した際と、検索領域内で追尾領域を検索する際の、追尾領域の大きさが異なる。
要するに、この別の実施の形態2では、上記実施の形態1に加えて、CCDイメージセンサーで生成された画像データを記憶媒体(フラッシュメモリ、バッファメモリなど)に記憶する記憶手段を備える。この記憶手段は、画像処理部やコントローラなどによって実現可能である。
以下、具体的に、図20のフローチャートを用いて説明する。図14の追尾動作開始については、同じ処理であるので、説明を割愛する。
追尾処理について説明する。追尾処理は、まず、ステップT1のように、撮像手段によって画像データを取得する(V1)。次に、コントローラは、取得された画像データを、バッファメモリに一時的に記憶する(V2)。その後、コントローラは、画像処理部を制御して、生成された画像データに対して、デジタルズーム処理を行う。この際、ズームリングによって変更されたデジタルズームのズーム倍率に基づいて、画像データを拡大する(V3)。このデジタルズームされた画像データは、液晶モニタに送られて、液晶モニタに表示される。
そしてコントローラは、バッファメモリに記憶されている画像データを読み出し、この読み出した画像データに検索領域を設定する。そして、コントローラは、検索領域内の画像データを取得する(V4)。この後、ステップT5、T6、T7に対応するV5、V6、V7の処理を行う。これによって、追尾動作を可能にしている。すなわち、このように構成したので、ズームリングによるデジタルズームのズーム倍率に関係なく、撮像手段で生成された画像データに基づいて、追尾領域の移動先を検索可能になる。したがって、デジタルズームされる前の画像データを用いて追尾領域の移動先を検索できるので、追尾領域の移動先を検索する際の検索に係る処理を減らすことができる。
すなわち、本発明は、上記実施の形態に限られず、種々の態様で実施可能である。