JPWO2013088917A1 - 画像処理装置、画像処理方法、及び記録媒体 - Google Patents

Abstract

【課題】移動する被写体を高精度に追従することが可能な追従方法を提案する。【解決手段】画像処理装置は、撮像素子により撮像される被写体までの距離情報を取得する距離情報取得部と、前記被写体に対応する画像の画素値情報を取得する画素値情報取得部と、取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾する追尾部と、を備える。前記撮像素子は、前記被写体の位相差を検出して焦点調整を行うための位相差画素を有し、前記距離情報取得部は、前記位相差画素により検出された前記位相差に基づいて、前記距離情報を取得する。【選択図】図６

Description

本開示は、画像処理装置、画像処理方法、及び記録媒体に関する。

画像処理装置として、例えば、移動する被写体を撮像する際に自動的に被写体を追尾する撮像装置が知られている（特許文献１参照）。

特許文献１には、対象の色や輝度に基づいて複数の画像から対象の像を繰り返し検出することにより、対象の像を追尾して、焦点調整を行う撮像装置が記載されている。

特開２０１０−１１３１２９号公報

しかし、特許文献１の技術においては、追尾可能な複数の被写体が同一の色や輝度である場合には、所望の被写体以外の被写体を追尾する恐れがある。例えば、２つの被写体が交差するように移動した場合に、２つの被写体の色や輝度が同一であると、それまで追従していた一方の被写体から他方の被写体に追従対象が切り替わる恐れがある。

そこで、本開示は、移動する被写体を高精度に追従することが可能な追従方法を提案する。

本開示によれば、撮像素子により撮像される被写体までの距離情報を取得する距離情報取得部と、前記被写体に対応する画像の画素値情報を取得する画素値情報取得部と、取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾する追尾部と、を備える、画像処理装置が提供される。

また、本開示によれば、撮像素子により撮像される被写体までの距離情報を取得することと、前記被写体に対応する画像の画素値情報を取得することと、取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、を含む、画像処理方法が提供される。

また、本開示によれば、コンピュータに、撮像素子により撮像される被写体までの距離情報を取得することと、前記被写体に対応する画像の画素値情報を取得することと、取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、を実行するためのプログラムを記録した、記録媒体が提供される。

そして、本開示によれば、取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体の像が追尾される。このため、例えば複数の被写体の色や輝度等の画素値情報が同一であっても、距離情報に基づいて個々の被写体を識別でき、所望の被写体を追従できるので、移動する被写体を高精度に追従することが可能となる。

以上説明したように本開示によれば、移動する被写体を高精度に追従することが可能となる。

第１の実施形態に係る撮像装置の外観構成を示す正面図である。 第１の実施形態に係る撮像装置の外観構成を示す背面図である。 第１の実施形態に係る撮像装置の電気的な構成を示すブロック図である。 撮像素子の構成を説明するための図である。 撮像素子の構成を説明するための図である。 撮像装置の追尾機能の構成の一例を示すブロック図である。 移動する被写体を追尾しながら撮像する際の撮像装置の動作例を示すフローチャートである。 撮像モードの選択処理を示すフローチャートである。 ＡＦ選択処理を示すフローチャートである。 ＡＦモードの選択処理を示すフローチャートである。 被写体の追尾とピント追従処理を示すフローチャートである。 追尾対象の被写体を示す図である。 ＡＦポイント位置と、被写体の撮像装置からの距離と、の関係を示すグラフである。 被写体の移動する方向の予測方法を説明するための図である。 第２の実施形態に係る撮像装置の外観構成を示す正面図である。 第２の実施形態に係る撮像装置の外観構成を示す背面図である。 第２の実施形態に係る撮像装置の縦断面図である。 第２の実施形態に係る撮像装置の電気的な構成を示すブロック図である。 第３の実施形態に係る撮像装置の縦断面図である。 第３の実施形態に係る撮像装置の電気的な構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．撮像装置の外観構成
１−２．撮像装置の電気的構成
１−３．撮像素子の詳細構成
１−４．被写体追尾機能
１−５．撮像装置の動作
１−６．第１の実施形態のまとめ
２．第２の実施形態
２−１．撮像装置の外観構成
２−２．撮像装置の内部構成
２−３．撮像装置の電気的構成
２−４．被写体追尾機能
３．第３の実施形態

＜１．第１の実施形態＞
（１−１．撮像装置の外観構成）
図１及び図２を参照しながら、第１の実施形態に係る画像処理装置の一例である撮像装置１の外観構成について説明する。図１は、第１の実施形態に係る撮像装置１の外観構成を示す正面図である。図２は、第１の実施形態に係る撮像装置１の外観構成を示す背面図である。

撮像装置１は、例えばコンパクトタイプのデジタルスチルカメラとして構成されている。撮像装置１は、カメラボディ１０と、カメラボディ１０に固定された撮像レンズ２とを備えている。

図１において、カメラボディ１０の正面側には、内蔵フラッシュ３１８と、上面に配置されたシャッターボタン３０７とが設けられている。図２に示すように、カメラボディ１０の背面側には、ＬＣＤ（Liquid Crystal
Display）３１１が設けられている。

シャッターボタン３０７は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。静止画撮像モードにおいてシャッターボタン３０７が半押しされると、被写体の静止画を撮像するための準備動作（露出制御値の設定や焦点検出等の準備動作）が実行される。一方で、シャッターボタン３０７が全押しされると、撮像動作（図３に示す撮像素子４を露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作）が実行される。

ＬＣＤ３１１は、画像表示が可能なカラー液晶タッチパネルを備えており、撮像素子４により撮像された被写体の画像であるスルー画の表示、記録済みの画像の再生表示等を行う。また、ＬＣＤ３１１は、撮像装置１に搭載される機能やモードの設定に使用し、その設定画面を表示する。なお、ＬＣＤ３１１に代えて、有機ＥＬ式やプラズマ表示式などのタッチ入力のできる装置を用いるようにしても良い。

メインスイッチ（不図示）は、カメラボディ１０の上面に配置され、プッシュスイッチからなり、押下するたびに撮像装置１の電源がオン、オフされる。

撮像レンズ２は、被写体からの光（光像）を取り込むレンズ窓として機能するとともに、当該被写体光をカメラボディ１０の内部に配置されている撮像素子４に導くための撮像光学系として機能するものである。撮像レンズ２は、光軸に沿って直列的に配置された複数のレンズからなるレンズ群を備えている。このレンズ群には、焦点の調節を行うためのフォーカスレンズと、変倍を行うためのズームレンズとが含まれており、それぞれ光軸方向に駆動されることで、変倍や焦点調節が行われる。

（１−２．撮像装置の電気的構成）
図３を参照しながら、第１の実施形態に係る撮像装置１の電気的構成について説明する。図３は、第１の実施形態に係る撮像装置１の電気的な構成を示すブロック図である。

図３に示すように、撮像装置１は、撮像レンズ２、カメラＤＳＰ部３、撮像素子４、前処理部５、ＬＣＤ１６、記録媒体１９、操作部２２、ＣＰＵ２０、ＵＳＢ２３、ＥＥＰＲＯＭ２４、ＲＡＭ２５、フラッシュ２７、メモリ２８を有する。

撮像レンズ２は、カメラＤＳＰ（Digital Signal Processor）部３の制御によりズームレンズ、フォーカス、絞りを可変して入射光を続く撮像素子４の撮像面に集光し、これにより撮像素子４の撮像面に光学像を形成する。

撮像素子４は、被写体を撮像する。撮像素子４は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）固体撮像素子等であり、前処理部５の駆動により撮像面に形成された光学像を光電変換して撮像結果による撮像信号を出力する。

撮像素子４は、Ｚ軸に対して垂直となる平面(ＸＹ平面)上に配置されており、被写体光を受光する。撮像素子４においては、フォトダイオードを有して構成される複数の画素がマトリクス状に２次元配置されている。そして、各画素の受光面に、それぞれ分光特性の異なる例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなる通常画素と、被写体光を瞳分割して焦点検出するための位相差画素とが、配置されている。

撮像素子４は、撮像レンズ２を通って結像された被写体光像に関するＲ（赤）、Ｇ（緑）、Ｂ（青）各色成分のアナログの電気信号（画像信号）を生成し、Ｒ、Ｇ、Ｂ各色の画像信号として出力する一方、位相差情報も出力する。なお、撮像素子４の詳細構成については、後述する。

前処理部５は、撮像素子４を駆動すると共に、撮像素子４から出力される撮像信号を信号処理して画像データを出力する。前処理部５は、タイミングジェネレータ（ＴＧ）６と、Ｖドライバー７と、ＣＤＳ／ＡＧＣ／ＡＤＣ部８とを有する。

タイミングジェネレータ（ＴＧ）６は、撮像素子４の駆動基準である各種のタイミング信号を生成して出力し、Ｖドライバー７は、このタイミングジェネレータ６で生成されたタイミング信号により撮像素子４を駆動する。

ＣＤＳ／ＡＧＣ／ＡＤＣ部８は、撮像素子４から出力される撮像信号を相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）し、これにより例えば原色系の色信号を生成する。さらに、ＣＤＳ／ＡＧＣ／ＡＤＣ部８は、色信号の信号レベルを自動利得制御（ＡＧＣ：Automatic Gain Control）により補正した後、アナログディジタル変換処理（ＡＤＣ：Analog to Digital Converter ）して画像データを生成する。その後、ＣＤＳ／ＡＧＣ／ＡＤＣ部８は、画像データをカメラＤＳＰ部３に出力する。

カメラＤＳＰ部３は、中央処理ユニット（ＣＰＵ：Central Processing Unit ）２０の制御により動作を切り換え、メモリ２８を用いて、前処理部５から出力される画像データ
の記録再生、モニタ等に係る処理を実行する。メモリ２８は、このカメラＤＳＰ部３の作業用の領域を形成する。

カメラＤＳＰ部３は、カメラ信号処理部１１と、メモリ制御部１２と、レンズ制御部１３と、解像度変換部１４と、表示制御部１５と、画像コーディック１７と、メディア制御部１８と、ＢＩＵ２１と、フラッシュ制御部２６とを有する。

カメラ信号処理部１１は、前処理部５から出力される画像データをホワイトバランス調整処理、ガンマ補正処理等し、処理した画像データをメモリ制御部１２を介してメモリ２８に格納し、解像度変換部１４に出力する。また、カメラ信号処理部１１は、この画像データから絞り補正、オートフォーカス調整に必要な情報を検出し、検出した情報をレンズ制御部１３に出力する。

メモリ制御部１２は、カメラＤＳＰ部３に外付けのメモリ２８を制御する制御部であり、カメラＤＳＰ部３の各部から出力される画像データをメモリ２８に記録し、またメモリ２８に記録した画像データを読み出してカメラＤＳＰ部３の各部に出力する。

解像度変換部１４は、メモリ２８に格納された画像データ、又はカメラ信号処理部１１から出力される画像データの解像度を変換してメモリ２８に格納する。これによりカメラＤＳＰ部３は、撮像素子４より得られる撮像結果を液晶表示パネル１６の表示に供する解像度に変換し、またユーザーにより記録媒体１９への指示された解像度に変換する。また、カメラＤＳＰ部３は、撮像結果の一部領域を切り出して、解像度の変換処理に係る処理を実行し、これにより電子ズーム、再生ズームの処理を実行する。

表示制御部１５は、メモリ２８に格納された画像データにより液晶表示パネル（ＬＣＤ：Liquid Crystal Display））１６を駆動し、これにより撮像結果のモニタ画像を表示し、また記録媒体に記録した撮像結果を表示する。

画像コーディック１７は、メモリ２８に格納された画像データをデータ圧縮してカメラＤＳＰ部３の各部に出力し、またこれとは逆にメモリ２８に格納された画像データをデータ伸長してカメラＤＳＰ部３の各部に出力する。なお、データ圧縮、伸長は、静止画にあってはＪＰＥＧ（Joint Photographic Coding Experts Group ）の手法が適用される。一方で、動画にあっては、ＩＳＯ/ ＩＥＣ ＪＴＣ１/ ＳＣ２９ＷＧ１１のＭＰＥＧ１（Motion Picture Experts Group 1）、ＭＰＥＧ２、ＭＰＥＧ４、ＩＴＵ−ＴのＨ. ２６３，Ｈ. ２６４/ ＭＰＥＧ４−ＡＶＣ（Advanced Video Coding ）等、動きベクトルを用いたデータ圧縮手法が適用される。

メディア制御部１８は、メモリ２８に格納された画像データを記録媒体１９に記録し、また記録媒体１９に記録された画像データを読み出してメモリ２８に出力する。記録媒体１９は、半導体メモリによるいわゆるメモリーカード、記録可能なＤＶＤ（Digital Versatile Disk）、記録可能なＣＤ（Compact Disc）等による光ディスク、ハードディスク装置等、種々の記録媒体を広く適用することができる。

レンズ制御部１３は、カメラ信号処理部１１から得られる情報により、レンズブロック２の絞りを制御し、またいわゆる山登り法によりレンズブロック２をオートフォーカス制御する。また中央処理ユニット２０の制御により、ユーザーによる操作に応動してレンズブロック２のズームを可変する。

ＢＩＵ（Bus Interface Unit）２１は、中央処理ユニット２０とカメラＤＳＰ部３とのインターフェースであり、中央処理ユニット２０によるカメラＤＳＰ部３の制御に係るコマンド等を入出力する。

フラッシュ制御部２６は、フラッシュ撮像モードにおいて、フラッシュ２７の発光量を、中央処理ユニット２０により設定された発光量に制御するものである。

操作部２２は、撮像装置１に設けられた操作子、液晶表示パネル１６の表示画面に設けられたタッチパネルによるユーザーインターフェースであり、ユーザーによる操作を中央処理ユニット２０に通知する。

ＵＳＢ（Universal Serial Bus）２３は、ストレージクラス対応のインターフェースであり、パーソナルコンピュータ等の外部機器を接続して、この外部機器との間で各種のデータを入出力する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory ）２４は、中央処理ユニット２０の処理プログラム等を記録した記録媒体である。ＲＡＭ２５は、中央処理ユニット２０のワークメモリである。なお、撮像装置１において、中央処理ユニット２０の処理プログラム（例えば、被写体追尾機能を実行するプログラム）は、事前に撮像装置１にインストールされて提供されうる。又は事前のインストールによる提供に代えて、インターネット等のネットワークを介したインストールによる提供するようにしても良く、メモリーカード、光ディスク、磁気ディスク等の各種記録媒体により提供するようにしても良い。

中央処理ユニット２０は、撮像装置１の動作を制御する制御部であり、ＥＥＰＲＯＭ２４に記録された処理プログラムの実行によりユーザーによる操作部２２等の操作に応動して各部の動作を制御する。

すなわち中央処理ユニット２０は、操作部２２の操作により撮像が指示されると、前処理部５、カメラＤＳＰ部３の動作の制御により、撮像素子４から動画による撮像結果を取得して前処理部５により順次処理し、撮像結果をカメラ信号処理部１１、メモリ制御部１２を介してメモリ２８に順次格納する。また、メモリに順次格納した撮像結果による画像データの解像度を解像度変換部１４により変換し、画像データにより表示制御部１５で液晶表示パネル１６を駆動する。これにより、中央処理ユニット２０は、動画による撮像結果をメモリ２８に記録しながら、撮像結果のモニタ画像を液晶表示パネル１６で表示する。

また、この状態でユーザーにより静止画による撮像結果の記録が指示されると、カメラ信号処理部１１の出力データによるメモリ２８への格納を中止する。そして、撮像結果の取得が指示された時点でメモリ２８に格納した画像データを解像度変換部１４によりユーザーにより指示された解像度に変換する。また、解像度変換処理による画像データを画像コーディック１７によりデータ圧縮した後、記録媒体１９に記録する。この一連の処理において、中央処理ユニット２０は、解像度変換部１４にサムネイル画像の作成を指示し、これによりインデックス用のサムネイル画像を作成する。また、中央処理ユニット２０は、サムネイル画像を記録媒体１９に記録した撮像結果のインデックス用画像として記録媒体１９に記録する。

同様にして、ユーザーにより動画による撮像結果の記録開始が指示されると、カメラ信号処理部１１の出力データによるメモリ２８への格納を中止し、解像度変換部１４によりカメラ信号処理部１１から出力される画像データの解像度変換処理を開始する。また、解像度変換部１４により処理された画像データの画像コーディック１７によるデータ圧縮処理を指示し、画像コーディック１７により処理結果の記録をメディア制御部１８に指示する。この処理においても、中央処理ユニット２０は、記録開始時の先頭１フレームについて、解像度変換部１４にサムネイル画像の作成を指示し、サムネイル画像を記録媒体１９に記録した撮像結果のインデックス用画像として記録媒体１９に記録する。

（１−３．撮像素子の詳細構成）
図４及び図５を参照しながら、撮像素子４の構成について説明する。図４及び図５は、撮像素子４の構成を説明するための図である。

図４に示すように、撮像素子４では、撮像面１０１ｆにおいてマトリックス状に規定された複数のＡＦエリアＥｆそれぞれで位相差検出方式の焦点検出が可能な構成となっている。

各ＡＦエリアＥｆには、集光レンズとして機能するマイクロレンズＭＬ（図５に示す波線円）とフォトダイオードとの間にＲ(赤)、Ｇ(緑)およびＢ(青)の各カラーフィルタが配設されたＲ画素１１１、Ｇ画素１１２およびＢ画素１１３からなる通常の画素(以下では「通常画素」ともいう)１１０が設けられている。一方、各ＡＦエリアＥｆには、位相差ＡＦを行うために瞳分割機能を実現する画素のペア(以下では「ＡＦ画素対」ともいう)１２０ｆが設けられている。複数のＡＦ画素対１２０ｆが、被写体の位相差を検出して焦点調整を行う位相差画素である。ＡＦエリアＥｆでは、ＡＦ画素対１２０ｆの画素より画素数が多い通常画素１１０によって、基本的には被写体の画像情報が取得されることとなる。

ＡＦエリアＥｆには、上記の瞳分割機能を持たない通常画素１１０の水平ライン（以下では「通常画素ライン」ともいう)ＬｎとしてＧ画素１１２とＲ画素１１１とが水平方向に交互に配置されたＧｒラインＬ１と、Ｂ画素１１３とＧ画素１１２とが水平方向に交互に配置されたＧｂラインＬ２とが形成されている。ＧｒラインＬ１とＧｂラインＬ２とが垂直方向に交互に配置されることで通常画素１１０の群によるベイヤー配列が構成される。

また、ＡＦエリアＥｆには、通常画素１１０と同じ構成(径および曲率)のマイクロレンズＭＬを１つ備えたＡＦ画素対１２０ｆが水平方向に沿って繰り返し配列されることにより、ＡＦ画素対１２０ｆが複数隣接して配置されたＡＦラインＬｆが垂直方向に周期的に形成されている。なお、垂直方向に隣り合う各ＡＦラインＬｆの間には、ＡＦラインＬｆで欠落する被写体の画像情報を補完するのに必要な本数（例えば４本以上）の通常画素ラインＬｎを設けるのが好ましい。ここで、ＡＦラインＬｆの上下に隣接する２つの通常画素ラインＬｎの組合せとしては、同系統の水平ライン（ＧｒラインＬ１同士やＧｂラインＬ２同士）でも良く、異系統の水平ライン（一方がＧｒラインＬ１で他方がＧｂラインＬ２）でも良い。

（１−４．被写体追尾機能）
撮像装置１は、まず任意のＡＦポイントによって検出された被写体について距離情報と画素値情報（色情報等）から追尾を開始し、被写体について最も距離が近い部分についてピントを合わせ続ける。また、被写体の現在のピント位置と１フレーム前のピント位置からピント移動量を予測しながらピント追従を行うことにより、移動する被写体をピントが合ったまま撮像できる。

図６は、撮像装置１の追尾機能の構成の一例を示すブロック図である。図６に示すように、撮像装置１は、距離情報取得部２１０と、画素値情報取得部２２０と、被写体特定部２３０と、予測部２４０と、追尾部２５０とを有する。なお、図６に示す構成要素は、図３に示すカメラＤＳＰ部３、前処理部５、ＣＰＵ２０等により実現される。

距離情報取得部２１０は、撮像される被写体までの距離情報を取得する。具体的には、距離情報取得部２１０は、撮像素子４のＡＦ画素対１２０ｆにより検出された位相差に基づいて、距離情報を取得する。また、距離情報取得部２１０は、異なる地点に位置する被写体の距離情報を、それぞれ取得する。すなわち、距離情報取得部２１０は、連続するフレームにおいて、フレーム毎の被写体の距離情報を取得する。

距離情報取得部２１０は、被写体の大きさに応じて、複数のＡＦ画素対１２０ｆの一部を間引いて、距離情報を取得しても良い。例えば、距離情報取得部２１０は、被写体の大きさが所定の大きさ以上である場合には、複数のＡＦ画素対１２０ｆの一部を間引く。このように間引いても、被写体の大きさが大きい場合には、検出精度の影響が小さい。そして、検出するＡＦ画素対１２０ｆの数を間引くことで、省電力に有効である。距離情報取得部２１０は、取得した距離情報を被写体特定部２３０及び予測部２４０に出力する。

画素値情報取得部２２０は、被写体に対応する被写体画像の画素値情報を取得する。ここで、画素値情報は、例えば、被写体画像の色や輝度に関する情報である。画素値情報取得部２２０は、連続するフレームにおいて、フレーム毎の被写体画像の画素値情報を取得する。画素値情報取得部２２０は、取得した画素値情報を追尾部２５０に出力する。

被写体特定部２３０は、取得された距離情報に基づいて、追尾対象の被写体を特定する。例えば、被写体特定部２３０は、距離情報に含まれる距離が所定値よりも小さい被写体を、追尾対象の被写体として特定する。人物等の被写体は背景に比べて撮像装置１からの距離が短いので、距離が所定値より小さい被写体を追尾対象とすることで、移動する人物を適切に特定できる。被写体特定部２３０は、特定結果を予測部２４０に出力する。

予測部２４０は、取得した複数の距離情報に基づいて、追尾対象の被写体の移動先の地点における距離情報を予測する。例えば、予測部２４０は、直前の複数のフレームにおいて位置する被写体の距離情報を用いて、移動先の地点における距離情報に予測する。予測部２４０は、予測結果を追尾部２５０に出力する。

追尾部２５０は、取得した距離情報と画素値情報とに基づいて、移動する被写体を追尾する。ここで、追尾部２５０は、被写体特定部２３０によって特定された被写体を追尾する。これにより、例えば複数の被写体の色や輝度等の画素値情報が同一であっても、距離情報に基づいて個々の被写体を識別でき、所望の被写体を追従できるので、移動する被写体を高精度に追従することが可能となる。

追尾部２５０は、移動先の地点における被写体の画素値情報が、直前の地点における被写体の画素値情報と同じである場合に、被写体を追尾する。換言すれば、追尾部２５０は、移動先の地点における画素値情報が直前の地点における画素値情報と異なる場合には、追尾を解除する。これにより、画素値情報が異なる被写体を追従することを防止できるので、より高精度に被写体を追尾することが可能となる。

（１−５．撮像装置の動作）
図７を参照しながら、移動する被写体を追尾しながら撮像する際の撮像装置１の動作例について説明する。図７は、移動する被写体を追尾しながら撮像する際の撮像装置１の動作例を示すフローチャートである。

図７のフローチャートは、ユーザが撮像装置を起動することから開始される。ステップ５０１では、撮像素子４により撮像された被写体のスルー画がＬＣＤ３１１に表示される。ユーザは、表示されたスルー画を見ることで、被写体と構図を確認する。

次に、ステップ５０２では、ユーザが選択した撮像モードを受け付ける。
ここで、撮像装置１は、複数の撮像モードを持ち、例えばオートモードとプログラムモードを有する。オートモードは、測光値を元にシャッタースピード、絞り値、ＩＳＯ感度、フラッシュの発光、ＡＦ点の選択を行うモードである。プログラムモードは、ユーザが操作部で任意にシャッタースピードを選択し、これをもとに露出を決定するシャッタースピード優先ＡＥモード、同様に絞りを選択する絞り優先ＡＥモードなどを含むモードである。ユーザは、これらの中から撮像する条件に合わせて適切な撮像モードを選択する。フラッシュの発光についてはオートモードでは後述する測光による結果によって自動的に行われる。オートモード以外の撮像モードでは、ユーザが強制発光か非発光かを選択する。これらはモード設定ダイヤルなどの操作部材により選択される。

（撮像モードの選択処理）
図８を参照しながら、ステップ５０２で行われる撮像モードの選択処理について説明する。図８は、撮像モードの選択処理を示すフローチャートである。

ステップ６０１で、撮像モードがオートモードでない場合には（Ｎｏ）、ステップ６０２へ移行する。一方で、撮像モードがオートモードである場合には（Ｙｅｓ）、ステップ６０６へ移行する。次に、ステップ６０２で、撮像モードがプログラムモードでない場合には（Ｎｏ）、ステップ６０３へ移行する。一方で、撮像モードがプログラムモードである場合には（Ｙｅｓ）、ステップ６０４へ移行する。

ステップ６０３では、ユーザが直近で測光された測光値をもとにシャッタースピード、絞り値、ＩＳＯ感度、フラッシュの発光をそれぞれ任意に選択する。

ステップ６０４では、ユーザがシャッタースピード、絞り値、ＩＳＯ感度の内から１つあるいは複数の設定を決定し、その他の設定は直近で測光された測光値によって自動的に決定される。そして、ステップ６０５では、ユーザがフラッシュを発光するかどうかを設定する。

ステップ６０６では、撮像装置１が直近で測光された測光値をもとにシャッタースピード、絞り値、ＩＳＯ感度、フラッシュの発光の設定を自動的に行う。そして、ステップ６０７では、ユーザの決定した構図に合わせてＡＦ点の選択を自動的に行う。

これにより、ステップＳ５０２の撮像モードの選択処理が完了し、図７のフローチャートに戻る。ステップ５０３では、ユーザが撮像したい構図に合わせて選択したＡＦを行いたいＡＦ領域を受け付ける。

ここで、ＡＦ領域としては、ワイドＡＦ、中央固定ＡＦ、ローカルＡＦがある。ワイドＡＦでは、撮像装置１が全てのＡＦポイントの中から最適と判断したＡＦポイントを自動的に選択する。中央固定ＡＦでは、中央に存在するＡＦポイントに固定する。ローカルＡＦでは、選択可能なＡＦポイントのうちから任意の場所にＡＦポイントを設定する。そして、ユーザは、被写体と構図の状況に合わせてＡＦ領域を選択する。なお、撮像モードにオートモードが選択されている場合には、ＡＦ領域はワイドＡＦとなる。また、被写体追尾とピント追従は、ローカルＡＦの場合に機能する。

（ＡＦ領域選択処理）
図９を参照しながら、ステップＳ５０３で行われるＡＦ領域選択処理について説明する。図９は、ＡＦ領域選択処理を示すフローチャートである。

ステップ７０１で、撮像モードとしてオートモードが選択されている場合には（Ｙｅｓ）、ステップ７０７へ移行する。一方で、撮像モードとしてオートモード以外が選択されている場合には（Ｎｏ）、ステップ７０２へ移行する。

ステップ７０２で、ユーザがワイドＡＦを選択した場合には（Ｙｅｓ）、ステップ７０７へ移行する。一方で、ワイドＡＦ以外が選択された場合には（Ｎｏ）、ステップ７０３へ移行する。ステップ７０３で、ユーザが中央固定ＡＦを選択した場合には（Ｙｅｓ）、ステップ７０６へ移行する。一方で、ローカルＡＦが選択された場合には（Ｎｏ）、ステップ７０４へ移行する。

ステップ７０４では、ＡＦ領域としてローカルＡＦが設定される。そして、ステップ７０５では、ユーザにより全ＡＦポイントの中から任意の１点が選択される。

ステップ７０６では、ＡＦ領域として中央固定ＡＦが設定される。この場合には、ピント検出には中央に存在するＡＦポイントが使用される。ステップ７０７では、ＡＦ領域としてワイドＡＦが設定される。この場合には、撮像装置１が、全てのＡＦポイントの中から最適と判断したＡＦポイントを自動的に選択する。

これにより、ステップＳ５０３のＡＦ領域選択処理が完了し、図７のフローチャートに戻る。ステップ５０４では、ユーザが被写体の状況に合わせて選択したＡＦモードを受け付ける。

ＡＦモードとしては、シングルＡＦ、コンティニュアスＡＦ、オートＡＦがある。シングルＡＦでは、シャッターボタン３０７（図１）が半押しされた時点のＡＦポイントでピント調節状態を固定する。コンティニュアスＡＦでは、シャッターボタン３０７が半押しされている間に、常にＡＦポイントのピント調節をし続ける。オートＡＦでは、撮像装置１が被写体の動きに合わせてシングルＡＦとコンティニュアスＡＦを切り替える。また、被写体追尾とピント追従は、コンティニュアスＡＦの場合に機能する。

（ＡＦモード選択処理）
図１０を参照しながら、ステップＳ５０４で行われるＡＦモードの選択処理について説明する。図１０は、ＡＦモードの選択処理を示すフローチャートである。

ステップ８０１で、ユーザがＡＦモードとしてシングルＡＦを選択した場合には（Ｙｅｓ）、ステップ８０５へ移行する。一方で、ＡＦモードとしてシングルＡＦ以外が選択された場合には（Ｎｏ）、ステップ８０２へ移行する。

ステップ８０２で、ユーザがＡＦモードとしてコンティニュアスＡＦを選択した場合には（Ｙｅｓ）、ステップ８０４へ移行する。一方で、ＡＦモードとしてコンティニュアスＡＦ以外が選択されている場合には（Ｎｏ）、ステップ８０３へ移行する。

ステップ８０３では、ＡＦモードとしてオートＡＦが設定される。ステップ８０４では、ＡＦモードとしてコンティニュアスＡＦが設定される。ステップ８０５では、ＡＦモードとしてシングルＡＦが設定される。

これにより、ステップＳ５０４のＡＦモードの選択処理が完了し、図７のフローチャートに戻る。ステップ５０５では、撮像素子４（図３）により被写体の測光が行われる。設定された撮像モードにより、シャッタースピード、絞り値、ＩＳＯ感度、フラッシュの発光の設定が決定される。次に、ステップ５０６では、被写体の追尾とピント追従が行われる。

（被写体の追尾とピント追従）
図１１を参照しながら、ステップＳ５０６の被写体の追尾とピント追従処理について説明する。図１１は、被写体の追尾とピント追従処理を示すフローチャートである。

ステップ９０１で、ＡＦ領域としてローカルＡＦが選択されている場合には（Ｙｅｓ）、ステップ９０２へ移行する。一方で、ＡＦ領域としてローカルＡＦ以外が選択されている場合には（Ｎｏ）、被写体の追尾とピント追従は行われず、図７のステップ５０７へ移行する。

ステップ９０２で、ＡＦを合わせようとする被写体がスルー画の中にある場合には（Ｙｅｓ）、ステップ９０３へ移行する。一方で、被写体がスルー画の中にない場合には（Ｎｏ）、被写体がスルー画の中に入ってくるまでステップ９０２の判定を繰り返す。

ステップ９０３で、ＡＦポイントが被写体と重なっている場合には（Ｙｅｓ）、ステップ９０４へ移行する。一方で、ＡＦポイントが被写体と重なっていない場合には（Ｎｏ）、ＡＦポイントが被写体と重なるまでステップＳ９０３の判定を繰り返す。

ステップ９０４で、シャッターボタン３０７が半押しされている場合には（Ｙｅｓ）、ステップ９０５へ移行する。一方で、シャッターボタン３０７が半押しされていない場合には（Ｎｏ）、ステップ９０３へ移行する。

ステップ９０５で、被写体特定部２３０は、ＡＦポイントの距離情報（距離情報取得部２１０により取得された距離情報）を基準にして被写体を認識し、追尾部２５０は、認識した被写体の最も撮像装置１に近い点をピント追従する点として設定する。

図１２及び図１３を参照しながら、被写体の追尾とピント追従する点の設定について説明する。図１２は、追尾対象の被写体を示す図である。図１３は、ＡＦポイント位置と、被写体の撮像装置１からの距離と、の関係を示すグラフである。

図１２において、破線矢印Ｘにそって存在するＡＦ点で検出される距離情報は、図１３の１２０１のような分布になる。なお、図１３の横軸は、破線矢印Ｘに対応した水平方向のＡＦポイント位置を示し、縦軸は、撮像装置１からの距離を示す。

ここでは、範囲１２０２（所定距離Ｄ１以下）にある距離情報をもつＡＦポイントの集まりを、被写体と認識する。範囲１２０２は、被写体の形状により可変とする。また、点１２０３が、最も撮像装置１に近い点であり、点１２０３に対応する距離情報と撮像素子４の通常画素から得られる色情報とを組み合わせて、ピント追従する点として設定する。この他に、距離情報との組み合わせとして、通常画素から得られる輝度情報、基準画像と対比するパターンマッチングを用いてもよい。

また、被写体として認識されるＡＦポイントの数が、例えば全ＡＦポイントの５０％を超える場合には（被写体が大きい場合には）、撮像素子１０１のＡＦ画素のあるラインを間引きして読み出しても良い。これは、ＡＦポイントの数が減っても距離情報の演算には実用上影響がないため、撮像素子１０１のＡＦ画素のあるラインを間引きして読み出すことで、被写体が高速に移動する場合も距離情報を正確に演算することができるからである。

図１１に示すフローチャートに戻って説明を続ける。ステップ９０６では、予測部２４０は、ステップ９０５で設定されたピント追従する点の移動する方向、すなわち被写体の移動する方向を予測する。

図１４を参照しながら、被写体の移動する方向の予測方法について説明する。図１４は、被写体の移動する方向の予測方法を説明するための図である。

ここでは、ステップ９０５でシャッターボタンが半押しされた時点の被写体の位置を、位置Ｐｔとする。すると、１フレーム前の位置は位置Ｐｔ−１となり、１フレーム後の位置は位置Ｐｔ＋１となる。予測対象である位置Ｐｔ＋１は、３次元座標を用いてＸｔ＋１、Ｙｔ＋１、Ｚｔ＋１として表すと、下記の式（１）〜（３）で求められる。
Ｘｔ＋１＝Ｘｔ＋（Ｘｔ−Ｘｔ−１） （１）
Ｙｔ＋１＝Ｙｔ＋（Ｙｔ−Ｙｔ−１） （２）
Ｚｔ＋１＝Ｚｔ＋（Ｚｔ−Ｚｔ−１） （３）

上記の式（１）〜（３）を随時演算することで、被写体の移動する方向の予測を行い、ピントの追従を続ける。なお、Ｘ、Ｙ方向は撮像素子４の平面に対応し、Ｚ方向の値は被写体までの距離Ｒと等価であり、この値をもとにＡＦを行う。また、予測の際に、移動先の地点における被写体の画素値情報が、直前の地点における被写体の画素値情報と同じであるか否かを判定し、２つの画素値情報が同じである場合に、追従を続けても良い。

シャッターボタンが半押しのままである場合には（Ｎｏ）、ステップ９０４〜９０６を繰り返す。一方で、ステップ９０７で、シャッターボタンが全押しされた場合には（Ｙｅｓ）、ステップ５０７へ移行する。これにより、ステップＳ５０６の被写体の追尾とピント追従処理が完了し、図７のフローチャートに戻る。

ステップ５０７では、実際に静止画の撮像が行われる。次に、ステップ５０８では、５０７で撮像された結果をメモリカードに記録して、一連の動作が終了する。

（１−６．第１の実施形態のまとめ）
上述した画像処理装置である撮像装置１は、撮像素子４により撮像される被写体までの距離情報を取得し、被写体に関する画素値情報を取得し、取得した距離情報と画素値情報とに基づいて、移動する被写体の像を追尾する。これにより、被写体が変形したり複雑な移動を伴う場合でも、全画面で高精度に追従しながら、ピントの合った撮像をすることが可能となる。さらに、被写体が撮像装置１の近くに位置する場合でも、撮像素子４の高速駆動によりピント検出を高速に行うことが可能である。

＜２．第２の実施形態＞
（２−１．撮像装置の外観構成）
図１５及び図１６を参照しながら、第２の実施形態に係る撮像装置１の外観構成について説明する。図１５は、第２の実施形態に係る撮像装置１の外観構成を示す正面図である。図１６は、第２の実施形態に係る撮像装置１の外観構成を示す背面図である。なお、以下において、第１の実施形態と同一符号の構成は、同様な機能を有するので、詳細な説明は省略する。

撮像装置１は、例えば一眼レフレックスタイプのデジタルスチルカメラとして構成されている。撮像装置１は、カメラボディ１０と、カメラボディ１０に着脱自在な交換レンズとしての撮像レンズ２と、を備えている。

図１５に示すように、カメラボディ１０の正面側には、正面略中央に撮像レンズ２が装着されるマウント部３０１と、マウント部３０１の右横に配置されたレンズ交換ボタン３０２と、把持可能とするためのグリップ部３０３と、が設けられている。また、カメラボディ１０の正面側には、正面左上部に配置されたモード設定ダイアル３０５と、正面右上部に配置された制御値設定ダイアル３０６と、グリップ部３０３の上面に配置されたシャッターボタン３０７とが設けられている。

図１６に示すように、カメラボディ１０の背面側には、ＬＣＤ（Liquid Crystal Display）３１１と、ＬＣＤ３１１の左方に配置された設定ボタン群３１２と、ＬＣＤ３１１の右方に配置された十字キー３１４と、が設けられている。また、カメラボディ１０の背面側には、十字キー３１４の中央に配置されたプッシュボタン３１５と、ＬＣＤ３１１の上方に配設されたＥＶＦ(Electronic View Finder)３１６と、ＥＶＦ３１６の周囲を囲むアイカップ３２１と、が設けられている。また、カメラボディ１０の背面側には、ＥＶＦ３１６の左方に配設されたメインスイッチ３１７と、ＥＶＦ３１６の右方に配設された露出補正ボタン３２３およびＡＥロックボタン３２４と、が設けられている。さらに、ＥＶＦ３１６の上方に配設されたフラッシュ部３１８および接続端子部３１９が設けられている。

マウント部３０１には、装着された撮像レンズ２との電気的接続を行うためコネクタや、機械的接続を行うためのカプラが設けられている。レンズ交換ボタン３０２は、マウント部３０１に装着された撮像レンズ２を取り外す際に押下されるボタンである。

グリップ部３０３は、ユーザが撮像時に撮像装置１を把持する部分であり、フィッティング性を高めるために指形状に合わせた表面凹凸が設けられている。なお、グリップ部３０３の内部には電池収納室およびカード収納室(不図示)が設けられている。電池収納室にはカメラの電源として電池６９Ｂ(図１８参照)が収納されており、カード収納室には撮像画像の画像データを記録するためのメモリカード６７(図１８参照)が着脱可能に収納されるようになっている。なお、グリップ部３０３には、当該グリップ部３０３をユーザが把持したか否かを検出するためのグリップセンサを設けるようにしても良い。

モード設定ダイアル３０５及び制御値設定ダイアル３０６は、カメラボディ１０の上面と略平行な面内で回転可能な略円盤状の部材からなる。モード設定ダイアル３０５は、撮像装置１に搭載されたモードや機能を択一的に選択するためのものである。選択されるモードとしては、自動露出（ＡＥ）制御モードや自動焦点（ＡＦ；オートフォーカス）制御モード、或いは１枚の静止画を撮像する静止画撮像モードや連続撮像を行う連続撮像モード等の各種撮像モード、記録済みの画像を再生する再生モード等がある。一方、制御値設定ダイアル３０６は、撮像装置１に搭載された各種の機能に対する制御値を設定するためのものである。

設定ボタン群３１２は、撮像装置１に搭載された各種の機能に対する操作を行うボタンである。設定ボタン群３１２には、ＬＣＤ３１１に表示されるメニュー画面で選択された内容を確定するための選択確定スイッチ、選択取り消しスイッチ、メニュー画面の内容を切り替えるメニュー表示スイッチ、表示オン／オフスイッチ、表示拡大スイッチなどが含まれる。

十字キー３１４は、円周方向に一定間隔で配置された複数の押圧部（図中の三角印の部分）を備える環状の部材を有し、各押圧部に対応して備えられた図示省略の接点（スイッチ）により押圧部の押圧操作が検出されるように構成されている。また、プッシュボタン３１５は、十字キー３１４の中央に配置されている。十字キー３１４及びプッシュボタン３１５は、撮像倍率の変更、ＬＣＤ３１１等に再生する記録画像のコマ送り、及び撮像条件（絞り値、シャッタスピード、フラッシュ発光の有無等）の設定等の指示を入力するためのものである。

ＥＶＦ３１６は、液晶パネル３１０(図１７参照)を備えており、撮像素子１０１(図１７参照)によって撮像された画像の表示や記録済みの画像の再生表示等を行う。このＥＶＦ３１６やＬＣＤ３１１において、本撮像(画像記録用の撮像)前に撮像素子１０１で順次に生成される画像信号に基づき動画的態様で被写体を表示するライブビュー(プレビュー)表示が行われることにより、ユーザは、実際に撮像素子１０１にて撮像される被写体を視認することが可能となる。

メインスイッチ３１７は、左右にスライドする２接点のスライドスイッチからなり、左にセットすると撮像装置１の電源がオンされ、右にセットすると電源がオフされる。フラッシュ部３１８は、ポップアップ式の内蔵フラッシュとして構成されている。一方、外部フラッシュ等をカメラボディ１０に取り付ける場合には、接続端子部３１９を使用して接続する。

アイカップ３２１は、遮光性を有してＥＶＦ３１６への外光の侵入を抑制する「コ」字状の遮光部材である。露出補正ボタン３２３は、露出値（絞り値やシャッタースピード）を手動で調整するためのボタンであり、ＡＥロックボタン３２４は、露出を固定するためのボタンである。

撮像レンズ２は、被写体からの光（光像）を取り込むレンズ窓として機能するとともに、当該被写体光をカメラボディ１０の内部に配置されている撮像素子１０１に導くための撮像光学系として機能するものである。この撮像レンズ２は、上述のレンズ交換ボタン３０２を押下操作することで、カメラボディ１０から取り外すことが可能となっている。

（２−２．撮像装置の内部構成）
図１７を参照しながら、第２の実施形態に係る撮像装置１の内部構成について説明する。図１７は、第２の実施形態に係る撮像装置１の縦断面図である。図１７に示すように、カメラボディ１０の内部には、撮像素子１０１、表示部の一例であるＥＶＦ３１６などが設けられている。

撮像素子１０１は、第１の実施形態の撮像素子４と同様な機能を有し、図５に示す通常画素１１０とＡＦ画素対１２０ｆを有する。

撮像素子１０１の光軸方向前方には、シャッタユニット４０が配置されている。このシャッタユニット４０は、上下方向に移動する幕体を備え、その開動作および閉動作により光軸ＬＴに沿って撮像素子１０１に導かれる被写体光の光路開口動作および光路遮断動作を行うメカニカルフォーカルプレーンシャッタとして構成されている。なお、シャッタユニット４０は、撮像素子１０１が完全電子シャッター可能な撮像素子である場合には省略可能である。

ＥＶＦ３１６は、液晶パネル３１０と、接眼レンズ１０６とを備えている。液晶パネル３１０は、例えば画像表示が可能なカラー液晶パネルとして構成されており、撮像素子１０１により撮像された画像の表示が可能である。接眼レンズ１０６は、液晶パネル３１０に表示された被写体像をＥＶＦ３１６の外側に導く。このようなＥＶＦ３１６の構成により、ユーザは、撮像素子１０１で撮像される被写体を視認できることとなる。

（２−３．撮像装置の電気的構成）
図１８を参照しながら、第２の実施形態に係る撮像装置１の電気的構成について説明する。図１８は、第２の実施形態に係る撮像装置１の電気的な構成を示すブロック図である。ここで、図１５〜図１７と同一の部材等については、同一の符号を付している。

カメラボディ１０には、先に説明した撮像素子１０１、シャッタユニット４０等の他に、ＡＦＥ（アナログフロントエンド）５、画像処理部６１、画像メモリ６１４、メイン制御部６２、フラッシュ回路６３、操作部６４、ＶＲＡＭ６５(６５ａ、６５ｂ)、カード・インターフェース（Ｉ／Ｆ）６６、メモリカード６７、通信用インターフェース（Ｉ／Ｆ）６８、電源回路６９、電池６９Ｂ、が設けられている。

撮像素子１０１は、ＣＭＯＳカラーエリアセンサからなり、後述のタイミング制御回路５１により、当該撮像素子１０１の露光動作の開始（及び終了）や、撮像素子１０１が備える各画素の出力選択、画素信号の読出し等の撮像動作が制御される。

ＡＦＥ５は、撮像素子１０１に対して所定の動作を行わせるタイミングパルスを与える。また、ＡＦＥ５は、撮像素子１０１から出力される画像信号（ＣＭＯＳエリアセンサの各画素で受光されたアナログ信号群）に所定の信号処理を施し、デジタル信号に変換して画像処理部６１に出力するものである。ＡＦＥ５は、タイミング制御回路５１、信号処理部５２及びＡ／Ｄ変換部５３などを備える。

タイミング制御回路５１は、メイン制御部６２から出力される基準クロックに基づいて所定のタイミングパルス（垂直走査パルスφＶｎ、水平走査パルスφＶｍ、リセット信号φＶｒ等を発生させるパルス）を生成する。また、タイミング制御回路５１は、生成したタイミングパルスを撮像素子１０１に出力し、撮像素子１０１の撮像動作を制御する。また、タイミング制御回路５１は、所定のタイミングパルスを信号処理部５２やＡ／Ｄ変換部５３にそれぞれ出力することにより、信号処理部５２及びＡ／Ｄ変換部５３の動作を制御する。

信号処理部５２は、撮像素子１０１から出力されるアナログの画像信号に所定のアナログ信号処理を施すものである。この信号処理部５２には、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（オートゲインコントロール）回路及びクランプ回路等が備えられている。Ａ／Ｄ変換部５３は、信号処理部５２から出力されたアナログのＲ、Ｇ、Ｂの画像信号を、タイミング制御回路５１から出力されるタイミングパルスに基づいて、複数のビット（例えば１２ビット）からなるデジタルの画像信号に変換するものである。

画像処理部６１は、ＡＦＥ５から出力される画像データに所定の信号処理を行って画像ファイルを作成するもので、黒レベル補正回路６１１、ホワイトバランス制御回路６１２及びガンマ補正回路６１３等を備える。なお、画像処理部６１へ取り込まれた画像データは、撮像素子１０１の読み出しに同期して画像メモリ６１４に一旦書き込まれ、以後この画像メモリ６１４に書き込まれた画像データにアクセスして、画像処理部６１の各ブロックにおいて処理が行われる。

黒レベル補正回路６１１は、Ａ／Ｄ変換部５３によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの各デジタル画像信号の黒レベルを、基準の黒レベルに補正するものである。

ホワイトバランス補正回路６１２は、光源に応じた白の基準に基づいて、Ｒ(赤)、Ｇ(緑)、Ｂ(青)の各色成分のデジタル信号のレベル変換（ホワイトバランス(ＷＢ)調整）を行うものである。すなわちホワイトバランス制御回路６１２は、メイン制御部６２から与えられるＷＢ調整データに基づき、撮像被写体において輝度や彩度データ等から本来白色であると推定される部分を特定する。そして、ホワイトバランス制御回路６１２は、特定した部分のＲ、Ｇ、Ｂそれぞれを色成分の平均と、Ｇ／Ｒ比及びＧ／Ｂ比とを求め、これをＲ、Ｂの補正ゲインとしてレベル補正する。

ガンマ補正回路６１３は、ＷＢ調整された画像データの階調特性を補正するものである。具体的にはガンマ補正回路６１３は、画像データのレベルを色成分毎に予め設定されたガンマ補正用テーブルを用いて非線形変換するとともにオフセット調整を行う。

画像メモリ６１４は、撮像モード時において、画像処理部６１から出力される画像データを一時的に記憶するとともに、この画像データに対しメイン制御部６２により所定の処理を行うための作業領域として用いられるメモリである。また、再生モード時には、メモリカード６７から読み出した画像データを一時的に記憶する。

メイン制御部６２は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するＲＡＭ等の記憶部が内蔵されたマイクロコンピュータからなり、撮像装置１各部の動作を制御するものである。

フラッシュ回路６３は、フラッシュ撮像モードにおいて、フラッシュ部３１８または接続端子部３１９に接続される外部フラッシュの発光量を、メイン制御部６２により設定された発光量に制御するものである。

操作部６４は、上述のモード設定ダイアル３０５、制御値設定ダイアル３０６、シャッターボタン３０７、設定ボタン群３１２、十字キー３１４、プッシュボタン３１５、メインスイッチ３１７等を含み、操作情報をメイン制御部６２に入力するためのものである。

ＶＲＡＭ６５ａ、６５ｂは、ＬＣＤ３１１およびＥＶＦ３１６の画素数に対応した画像信号の記憶容量を有し、メイン制御部６２とＬＣＤ３１１およびＥＶＦ３１６との間のバッファメモリである。カードＩ／Ｆ６６は、メモリカード６７とメイン制御部６２との間で信号の送受信を可能とするためのインターフェースである。メモリカード６７は、メイン制御部６２で生成された画像データを保存する記録媒体である。通信用Ｉ／Ｆ６８は、パーソナルコンピュータやその他の外部機器に対する画像データ等の伝送を可能とするためのインターフェースである。

電源回路６９は、例えば定電圧回路等からなり、メイン制御部６２等の制御部、撮像素子１０１、その他の各種駆動部等、撮像装置１全体を駆動させるための電圧を生成する。なお、撮像素子１０１への通電制御は、メイン制御部６２から電源回路６９に与えられる制御信号により行われる。電池６９Ｂは、ニッケル水素充電池等の二次電池や、アルカリ乾電池等の一次電池からなり、撮像装置１全体に電力を供給する電源である。

また、カメラボディ１０は、黒レベル補正回路６１１から出力される黒レベル補正済みの画像データに基づき、撮像素子１０１を用いたオートフォーカス(ＡＦ)制御時に必要な演算を行う位相差ＡＦ演算回路７７を備えている。

（２−４．被写体追尾機能）
第２の実施形態に係る撮像装置１も、第１の実施形態と同様な被写体追尾機能を有する。すなわち、第２の実施形態に係る撮像装置１は、撮像素子１０１により撮像される被写体までの距離情報を取得し、被写体に関する画素値情報を取得し、取得した距離情報と画素値情報とに基づいて、移動する被写体の像を追尾する。

これにより、例えば複数の被写体の色や輝度等の画素値情報が同一であっても、距離情報に基づいて個々の被写体を識別でき、所望の被写体を追従できるので、移動する被写体を高精度に追従することが可能となる。

＜３．第３の実施形態＞
第３の実施形態に係る撮像装置１においては、第２の実施形態に対して、外観構成は同様であるが、内部構成が異なる。そこで、以下においては、第２の実施形態とは異なる部分について、主に説明する。

図１９は、第３の実施形態に係る撮像装置１の縦断面図である。図２０は、第３の実施形態に係る撮像装置１の電気的な構成を示すブロック図である。

図１９に示すように、カメラボディ１０の内部には、２つの撮像素子１００、１０１、ミラー部１０３１等が設けられている。２つの撮像素子のうち撮像素子１００は、静止画を撮像（本撮像）するためのものであり、撮像素子１０１は、スルー画の撮像と位相差検出を行うための位相差画素を有する。撮像素子１０１が、位相差画素を有する第１撮像素子に該当し、ライビュー表示する画像を生成するための撮像素子１００が第２撮像素子に該当する。

透過ミラー部１０３１は、光軸ＬＴ上において被写体光をカメラボディ１０上部に設けられた撮像素子１０１および撮像素子１００へ向けて反射および透過する透過反射部材として構成されており、カメラボディ１０に固設されている。透過と反射の割合は５：５としているが、各撮像素子の特性に応じて任意に変更可能である。

撮像レンズ２を通過した被写体光は、透過ミラー１０３１によって上方へ反射されるとともに、撮像レンズ２を通過した被写体光の一部は透過ミラー１０３１を透過し撮像素子１００に入射する。また被写体光の一部は透過ミラー１０３１によって反射され、この反射された被写体光は撮像素子１０１に入射される。

撮像素子１００は、Ｙ軸に対して平行となる平面（ＸＹ平面）上に配置されており、透過ミラー１０３１を透過した被写体光を受光する。撮像素子１０１は、Ｙ軸に対して垂直となる平面(ＸＺ平面)上に配置されており、被写体光を受光する。撮像素子１０１は、第２の実施形態の撮像素子１０１と同様な機能を有し、図５に示す通常画素１１０とＡＦ画素対１２０ｆを有する。一方で、撮像素子１００は、通常画素１１０を有するが、ＡＦ画素対１２０ｆを有さない。

撮像素子１００の前方には、図２０に示すように、シャッタユニット４０が配置されている。シャッタユニット４０は、撮像素子１００に向かう被写体光の光路開口動作及び光路遮断動作を行うメカニカルフォーカルプレーンシャッタとして構成されている。なお、シャッタユニット４０は、撮像素子１００が完全電子シャッター可能な撮像素子である場合には省略可能である。

ＡＦＥ５は、撮像素子１００、１０１に対して所定の動作を行わせるタイミングパルスを与えると共に、撮像素子１００、１０１から出力される画像信号（ＣＭＯＳエリアセンサの各画素で受光されたアナログ信号群）に所定の信号処理を施し、デジタル信号に変換して画像処理部６１に出力するものである。ＡＦＥ５は、タイミング制御回路５１、信号処理部５２及びＡ／Ｄ変換部５３などを備えて構成されている。

タイミング制御回路５１は、メイン制御部６２から出力される基準クロックに基づいて所定のタイミングパルス（垂直走査パルスφＶｎ、水平走査パルスφＶｍ、リセット信号φＶｒ等を発生させるパルス）を生成して撮像素子１００、１０１に出力し、撮像素子１００、１０１の撮像動作を制御する。また、所定のタイミングパルスを信号処理部５２やＡ／Ｄ変換部５３にそれぞれ出力することにより、信号処理部５２及びＡ／Ｄ変換部５３の動作を制御する。

信号処理部５２は、撮像素子１０１から出力されるアナログの画像信号に所定のアナログ信号処理を施すものである。この信号処理部５２には、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（オートゲインコントロール）回路及びクランプ回路等が備えられている。Ａ／Ｄ変換部５３は、信号処理部５２から出力されたアナログのＲ、Ｇ、Ｂの画像信号および位相差画素信号を、タイミング制御回路５１から出力されるタイミングパルスに基づいて、複数のビット（例えば１２ビット）からなるデジタルの画像信号に変換するものである。

第３の実施形態においても、第１、第２の実施形態と同様な被写体追尾機能を有する。これにより、被写体が変形したり複雑な移動を伴う場合でも、全画面で高精度に追従しながら、ピントの合った撮像をすることが可能となる。さらに、被写体が撮像装置１の近くに位置する場合でも、撮像素子の高速駆動によりピント検出を高速に行うことが可能である。

また、第３の実施形態においては、ＥＶＦ３１６が被写体画像をライビュー表示する際に、撮像素子１００が被写体を撮像する。このように、ライビュー表示するスルー画を撮像する撮像素子１０１と、静止画を撮像する撮像素子１００とを独立して設けることにより、静止画を撮像するときにスルー画を共に表示することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

上記の実施形態では、画像処理装置として撮像装置を例に挙げて説明したが、これに限定されない。画像処理装置は、被写体を撮像する機能を有すれば良く、例えば携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、携帯型ＡＶプレイヤー、電子ブック、電子辞書等であっても良い。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

本明細書において説明した画像処理装置による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）撮像素子により撮像される被写体までの距離情報を取得する距離情報取得部と、
前記被写体に対応する画像の画素値情報を取得する画素値情報取得部と、
取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾する追尾部と、
を備える、画像処理装置。

（２）前記撮像素子は、前記被写体の位相差を検出して焦点調整を行うための位相差画素を有し、
前記距離情報取得部は、前記位相差画素により検出された前記位相差に基づいて、前記距離情報を取得する、前記（１）に記載の画像処理装置。

（３）前記撮像素子は、前記位相差画素を複数有し、
前記距離情報取得部は、前記被写体の大きさに応じて前記複数の位相差画素の一部を間引いて、前記距離情報を取得する、前記（２）に記載の画像処理装置。

（４）取得された前記距離情報に基づいて、追尾対象の被写体を特定する被写体特定部を更に備え、
前記追尾部は、前記被写体特定部によって特定された前記被写体を追尾する、前記（１）〜（３）のいずれか１項に記載の画像処理装置。

（５）前記被写体に対応する画像をライビュー表示する表示部を更に備え、
前記表示部が前記画像をライビュー表示する際に、前記撮像素子が前記被写体を撮像する、前記（１）〜（４）のいずれか１項に記載の画像処理装置。

（６）前記撮像素子は、前記被写体の位相差を検出して焦点調整を行うための位相差画素を有する第１撮像素子であり、
前記表示部がライビュー表示する画像を生成するための第２撮像素子を更に備える、前記（５）に記載の画像処理装置。

（７）前記距離情報取得部は、異なる地点に位置する前記被写体の前記距離情報を、それぞれ取得し、
取得した複数の前記距離情報に基づいて、前記被写体の移動先の地点における前記距離情報を予測する予測部を更に備える、前記（１）〜（６）のいずれか１項に記載の画像処理装置。

（８）前記追尾部は、移動先の地点における前記被写体の前記画素値情報が、直前の地点における前記被写体の前記画素値情報と同じである場合に、前記被写体を追尾する、前記（１）〜（７）のいずれか１項に記載の画像処理装置。

（９）撮像素子により撮像される被写体までの距離情報を取得することと、
前記被写体に対応する画像の画素値情報を取得することと、
取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、
を含む、画像処理方法。

（１０）コンピュータに、
撮像素子により撮像される被写体までの距離情報を取得することと、
前記被写体に対応する画像の画素値情報を取得することと、
取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、
を実行するためのプログラムを記録した、記録媒体。

１ 撮像装置
４、１００、１０１ 撮像素子
１１０ 通常画素
１２０ｆ ＡＦ画素対
２１０ 距離情報取得部
２２０ 画素値情報取得部
２３０ 被写体特定部
２４０ 予測部
２５０ 追尾部

Claims (10)

1. 撮像素子により撮像される被写体までの距離情報を取得する距離情報取得部と、
   前記被写体に対応する画像の画素値情報を取得する画素値情報取得部と、
   取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾する追尾部と、
   を備える、画像処理装置。
2. 前記撮像素子は、前記被写体の位相差を検出して焦点調整を行うための位相差画素を有し、
   前記距離情報取得部は、前記位相差画素により検出された前記位相差に基づいて、前記距離情報を取得する、請求項１に記載の画像処理装置。
3. 前記撮像素子は、前記位相差画素を複数有し、
   前記距離情報取得部は、前記被写体の大きさに応じて前記複数の位相差画素の一部を間引いて、前記距離情報を取得する、請求項２に記載の画像処理装置。
4. 取得された前記距離情報に基づいて、追尾対象の被写体を特定する被写体特定部を更に備え、
   前記追尾部は、前記被写体特定部によって特定された前記被写体を追尾する、請求項１に記載の画像処理装置。
5. 前記被写体に対応する画像をライビュー表示する表示部を更に備え、
   前記表示部が前記画像をライビュー表示する際に、前記撮像素子が前記被写体を撮像する、請求項１に記載の画像処理装置。
6. 前記撮像素子は、前記被写体の位相差を検出して焦点調整を行うための位相差画素を有する第１撮像素子であり、
   前記表示部がライビュー表示する画像を生成するための第２撮像素子を更に備える、請求項５に記載の画像処理装置。
7. 前記距離情報取得部は、異なる地点に位置する前記被写体の前記距離情報を、それぞれ取得し、
   取得した複数の前記距離情報に基づいて、前記被写体の移動先の地点における前記距離情報を予測する予測部を更に備える、請求項１に記載の画像処理装置。
8. 前記追尾部は、移動先の地点における前記被写体の前記画素値情報が、直前の地点における前記被写体の前記画素値情報と同じである場合に、前記被写体を追尾する、請求項１に記載の画像処理装置。
9. 撮像素子により撮像される被写体までの距離情報を取得することと、
   前記被写体に対応する画像の画素値情報を取得することと、
   取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、
   を含む、画像処理方法。
10. コンピュータに、
    撮像素子により撮像される被写体までの距離情報を取得することと、
    前記被写体に対応する画像の画素値情報を取得することと、
    取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、
    を実行するためのプログラムを記録した、記録媒体。
    

Images