JPWO2012099175A1 - オートフォーカスシステム - Google Patents

Abstract

自動追尾機能を備えたオートフォーカスシステムにおいて、ズームによって画角を変更した場合に誤追尾が起こることを抑えることができるオートフォーカスシステムを提供する。オートフォーカスシステムは、光学系により結像された被写体像を撮像する撮像手段と、撮影画像に設定されるオートフォーカス領域内の被写体にピントが合うように、光学系のフォーカス調整を行うオートフォーカス部と、オートフォーカス領域内の所定の被写体を追尾対象とし、撮像手段により新たに撮像された撮影画像における前記追尾対象の存在領域を検出し、当該存在領域を新たなオートフォーカス領域として決定する追尾処理を行うＡＦ領域追尾処理部と、被写界深度を算出する被写界深度演算部と、算出した被写界深度に基づいて、フォーカス調整及び追尾処理の実行を制御する制御部とを備える。

Description

本発明は、オートフォーカス（ＡＦ）領域の被写体を追尾対象とし、該追尾対象の位置に応じてＡＦ領域を更新する自動追尾機能を備えたオートフォーカスシステムに関する。

放送用又は業務用のテレビカメラシステムにおいて、特定撮像領域の被写体に自動でピントを合わせるオートフォーカス機能を備えたものが知られている。この種のカメラシステムでは、一般にコントラスト方式のＡＦが採用されており、撮影映像のコントラストの高さを検出し、そのコントラストが最大（極大）となるように撮影光学系のフォーカスを制御することにより行われている。

ＡＦによりピントを合わせる場合、通常は撮影映像の画面全体に合わせるわけではなく、撮影画像の一部の領域（オートフォーカス領域）の被写体に合わせる。すなわち、コントラスト方式の場合、オートフォーカス領域内の撮影画像（被写体画像）のコントラストが最大となるようにフォーカス調整を行う。

また、オートフォーカス機能を実現するものとして、特許文献１に示すような自動追尾機能を有するオートフォーカスシステムが知られている。特許文献１のオートフォーカスシステムは、自動追尾機能をオフにした固定モードと、自動追尾機能をオンにした追尾モードとのうちいずれかがユーザの操作によって選択されるＡＦモードが採用されている。

日本国特許４４１８３４４号

ところで、自動追尾機能を備えたオートフォーカスシステムにおいて、自動追尾を行っている状態で、ズームによって画角をワイド側に変更した場合に、誤追尾を起こしやすい。その後、画角をワイド側からテレ側に動かしたときに意図する被写体とは別の被写体を追尾してしまうことがあった。
また、オートフォーカス領域の被写体にピントを合わせても、その後のズームによって画角を変更した場合に、ピントが被写体に合わなくなってしまうことがあった。

特許文献１のカメラは、自動追尾機能のオン・オフを、ズームによる画角の変化に応じて自動で切り換えることができないため、ズームによって画角を変更した場合に誤追尾が起こりやすくなる。

本発明は、自動追尾機能を備えたオートフォーカスシステムにおいて、ズームによって画角を変更した場合に誤追尾が起こることを抑えることができるオートフォーカスシステムを提供する。

本発明のオートフォーカスシステムは、光学系により結像された被写体像を撮像する撮像手段と、
前記撮像手段により撮像された撮影画像に設定されるオートフォーカス領域に対し、該オートフォーカス領域内の被写体にピントが合うように、前記光学系のフォーカス調整を行うオートフォーカス部と、
前記オートフォーカス領域内の所定の被写体を追尾対象とし、前記撮像手段により新たに撮像された撮影画像における前記追尾対象の存在領域を検出し、当該存在領域を新たなオートフォーカス領域として決定する追尾処理を行うＡＦ領域追尾処理部と、
前記光学系から得られる情報に基づいて被写界深度を算出する被写界深度演算部と、
前記被写界深度演算部によって算出した前記被写界深度に基づいて、前記オートフォーカス部による前記フォーカス調整、及び前記ＡＦ領域追尾処理部による前記追尾処理の実行を制御する制御部と、を備えるものである。

本発明によれば、自動追尾機能を備えたオートフォーカスシステムにおいて、ズームによって画角を変更した場合に誤追尾が起こることを抑えることができるオートフォーカスシステムを提供できる。

本発明の実施の形態のオートフォーカスシステムを説明するためのビデオカメラシステムの全体構成を示すブロック図 本発明の実施の形態のオートフォーカスシステムにおけるオートフォーカス領域の一例を説明するための図 図１のビデオカメラシステムにおけるタッチパネル付き液晶ディスプレイに表示される画面の一例を示す図 自動追尾を停止した場合にＬＣＤに表示される画面の一例を示す図 本発明の実施の形態のオートフォーカスシステムにおける自動追尾モード時の処理手順を示すフローチャート 本発明の実施の形態のオートフォーカスシステムにおけるオートフォーカス調整制御の処理手順を示すフローチャート

以下、図面を参照して、本発明の自動追尾機能を備えたオートフォーカスシステムの実施の形態を説明する。

図１は、本発明の実施の形態のオートフォーカスシステムを説明するためのビデオカメラシステムの全体構成を示すブロック図である。このビデオカメラシステムは、例えば、放送用又は業務用テレビカメラでの撮影に用いられるものである。

図１に示すように、ビデオカメラシステム１は、テレビカメラ１０と、自動追尾を行うＡＦ領域追尾処理部を構成する画像処理ユニット１８と、ＡＦ枠操作部２０を含んで構成される。

テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１４と、カメラ本体１４のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２とを含んで構成される。

カメラ本体１４には、撮像素子（例えばＣＣＤ撮像素子）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１４の映像信号出力端子等から外部に出力される。

また、カメラ本体１４には、ビューファインダ１６が設置されており、そのビューファインダ１６にテレビカメラ１０の撮影映像が表示されるようになっている。また、ビューファインダ１６には、撮影映像以外の各種情報が表示されるようになっており、例えば、現在の設定されているオートフォーカス領域の輪郭であるＡＦ枠を示す画像（枠画像）が撮影映像に重畳されて表示されるようになっている。

レンズ装置１２は、カメラ本体１４のレンズマウントに装着される撮影レンズ（ズームレンズ）を備えており、その撮影レンズにより、被写体２８がカメラ本体１４の撮像素子の撮像面に結像されるようになっている。撮影レンズには、図示を省略するが、その構成要素としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。

なお、オートフォーカス調整に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。

また、レンズ装置１２には、ＡＦユニット４０及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１２全体を統括制御するものである。また、ＡＦユニット４０は、オートフォーカス調整によるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。

ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、ＣＣＤ撮像素子等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。なお、ＡＦ用撮像回路から出力される映像信号は輝度信号である。

ＡＦ用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラ本体１４の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像領域及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１４の撮像素子の撮像領域及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１４の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１４の撮像素子の撮影範囲を包含する大きな範囲であってもよい。

ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいてオートフォーカス領域の被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号から高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうち後述のようにして設定されるオートフォーカス領域の画像の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値はオートフォーカス領域の画像のコントラストの高低を示し、その積算値が焦点評価値としてレンズＣＰＵに与えられる。

レンズＣＰＵは、オートフォーカス領域の輪郭情報（位置、大きさ、形状等）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット１８から取得し、そのＡＦ枠情報により指定されたオートフォーカス領域をＡＦ処理の対象範囲に指定する。そして、そのオートフォーカス領域の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。

このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、オートフォーカス領域内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、オートフォーカス領域内の被写体に自動でピントが合わせられる。

なお、上述のＡＦ処理部は、焦点評価値を算出するために、レンズ装置１２に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１４の撮像素子より撮影された映像の映像信号をカメラ本体１４から取得するような構成としてもよい。また、オートフォーカス領域内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。

次に、本発明の実施の形態のオートフォーカスシステムにおけるオートフォーカス領域について説明する。図２は、本発明の実施の形態のオートフォーカスシステムにおけるオートフォーカス領域の一例を示す図である。図２に示すように、オートフォーカス領域２００は、カメラ本体１４における撮像素子の撮像領域２０２（又は撮影範囲）に対して四角形状の領域として設定され、その輪郭がＡＦ枠２０４として示されている。本発明の実施の形態のオートフォーカスシステムにおいては、撮像素子のオートフォーカス領域２００（ＡＦ枠２０４内の領域）で撮影される被写体にピントが合わされる。

なお、本明細書では、撮像領域２０２に対するオートフォーカス領域２００は、オートフォーカス領域２００の輪郭（ＡＦ枠２０４）の位置、大きさ、及び、形状（縦横比）の３つの要素によって決まるものとし、ＡＦ枠２０４の位置、大きさ、及び、形状の３つの要素のうち、少なくとも１つの要素が変更された場合にはオートフォーカス領域２００が変更されたものとする。

また、レンズ装置１２は、ケーブルを介して、又は、直接的にカメラ本体１４と接続され、レンズ装置１２とカメラ本体１４の各々に設けられたシリアル通信インターフェース（ＳＣＩ）１２ａ、１４ａを通じて各種情報のやり取りが行えるようになっている。これによりＡＦユニット４０において現在設定されているＡＦ枠の情報もカメラ本体１４に送信され、カメラ本体１４内での処理によってビューファインダ１６に表示される撮影映像に現在設定されているＡＦ枠の位置、大きさ、形状に対応したＡＦ枠の画像が重畳表示されるようになっている。

画像処理ユニット１８は、レンズ装置１２のＡＦユニット４０において設定されるオートフォーカス領域（ＡＦ枠の位置、大きさ、形状（縦横比））を後述のマニュアル操作又は自動追尾の処理により指定するための処理部である。画像処理ユニット１８は、例えば、図示しない筐体内に納められて、レンズ装置１２の撮影レンズの鏡胴側部やカメラ本体１４の筐体外壁面等に設置される。なお、画像処理ユニット１８をレンズ装置１２やカメラ本体１４に設置する位置はこれに限らず他の任意の位置に設置するようにしてもよく、また、レンズ装置１２やカメラ本体１４以外の部分に配置するようにしてもよい。

画像処理ユニット１８は、ＳＣＩ５８を備えており、そのＳＣＩ５８は、レンズ装置１２に接続され、ＳＣＩ１２ａを通じてレンズＣＰＵとの間で各種信号のやり取りが行えるようになっている。これにより、オートフォーカス領域２００を指定するＡＦ枠情報が画像処理ユニット１８からレンズ装置１２のレンズＣＰＵに与えられ、そのＡＦ枠情報に基づいてＡＦユニット４０におけるオートフォーカス領域２００が設定される。

また、画像処理ユニット１８には映像信号を取り込むための映像入力コネクタが設けられており、その映像入力コネクタにカメラ本体１４の映像出力コネクタがダウンコンバータ４６を介してケーブルで接続される。これによって、カメラ本体１４の映像出力コネクタから出力されたＨＤＴＶ信号が、ダウンコンバータ４６によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット１８に入力されるようになっている。

詳細は後述するが画像処理ユニット１８は、自動追尾処理を実行する際に、カメラ本体１４から入力された映像信号から１コマ分の撮撮画像を順次取り込み、撮影画像の中から所定の追尾対象の被写体を検出する処理を行う。そして、ＡＦによりその被写体にピントが合わせられるようにオートフォーカス領域２００を決定し、決定したオートフォーカス領域２００の情報をレンズ装置１２のレンズＣＰＵに送信する。なお、画像処理ユニット１８の構成及び処理内容については後述する。

ＡＦ枠操作部２０は、画像処理ユニット１８と一体の装置として設けられ、後述するタッチパネル付き液晶ディスプレイ（ＬＣＤ）６６が、画像処理ユニット１８から取り外し可能に構成されている。なお、ＡＦ枠操作部２０の一部又は全てが、画像処理ユニット１８とは別体の装置として構成され、画像処理ユニット１８とケーブル等で接続される態様であってもよい。

ＡＦ枠操作部２０は、主にＡＦ枠の制御に関する操作を行うための操作部であり、オートフォーカス領域２００を操作者がマニュアル操作で指示入力するための操作部材や、所望の被写体を自動で追尾する自動追尾に関する操作を行うための操作部材を備えている。

詳細は省略するが、ＡＦ枠操作部２０は、オートフォーカス領域の位置（ＡＦ枠の位置）をユーザの手動操作により上下左右に移動させるための位置操作部材６０（例えば、ジョイスティックやトラックボール）、オートフォーカス領域の大きさ（ＡＦ枠の大きさ）を手動操作により変更するためのサイズ操作部材６２（例えば、ツマミ)、オートフォーカス領域の形状（ＡＦ枠の形状）を手動操作により変更するための形状操作部材６４（例えば、ツマミ）、自動追尾の開始を指示する追尾開始スイッチ６８、自動追尾の停止を指示する追尾停止スイッチ７０を含んでおり、これらの操作部材６０、６２、６４、６８、７０の設定状態が、画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により読み取られるようになっている。

また、ＡＦ枠操作部２０には、タッチパネル付き液晶ディスプレイ（以下、ＬＣＤという。）６６が設けられている。ＬＣＤ６６は、自動追尾に関するモード等の設定をタッチ操作（タップ操作）で入力できるようにしたもので、画像処理ユニット１８のＣＰＵ３８によりＬＣＤ６６に表示される画像が設定内容に応じて適宜切り換えられるようになっている。

なお、本実施の形態では、後述する自動追尾モードによる自動追尾のみが行われる場合には、ＡＦ枠操作部２０の各操作部材６０、６２、６４、６８、７０の一部又は全てが設けられていなくてもよい。また、ＬＣＤ６６も必ずしも設けられていなくてもよい。後述する自動追尾モードによれば、これらの操作部材６０、６２、６４、６８、７０や、ＬＣＤ６６の操作を必要とすることなく、自動追尾が可能であり、ハンディカメラのようなＡＦ枠操作装置の設置がスペース上困難な小型のカメラに好ましく適用することができる。もし、スペース的に問題なく、操作性にも影響を与えなければ各操作部材６０、６２、６４、６８、７０の一部又は全て、或いはＬＣＤ６６を適宜設けて、ＡＦ枠の位置をマニュアルで変更できるようにしてもよい。

次に画像処理ユニット１８の構成及び処理内容について説明する。

画像処理ユニット１８は、メインボード３０、パターンマッチング処理演算ボード３２、顔認識処理演算ボード３４を含んで構成される。メインボード３０、パターンマッチング処理演算ボード３２、顔認識処理演算ボード３４の各々にはＣＰＵ３８、５０、５２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ３８、５０、５２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。

画像処理ユニット１８における処理は、メインボード３０において統括的に行われるようになっている。そのメインボード３０には、演算処理を行う上記ＣＰＵ３８の他に、ＳＣＩ５８、デコーダ（Ａ／Ｄ変換器）３６、スーパーインポーザ４２、ＲＡＭ３９等が搭載されている。

ＳＣＩ５８は、上述のようにレンズ装置１２のＳＣＩ１２ａとの間でシリアル通信を行うためのインターフェース回路であり、上記ＡＦ枠情報等をレンズ装置１２に送信する。また、ＳＣＩ５８は、レンズ装置１２から絞り値、被写体距離、焦点距離を含む情報を受信する。

メインボード３０のＣＰＵ３８は、レンズ装置１２から取得した絞り値、被写体距離、焦点距離を用いて被写界深度を算出する演算処理と、算出された被写界深度に基づいて自動追尾を実行又は中止させるように制御する制御処理を行う。演算処理及び制御処理は、メインボード３０、パターンマッチング処理演算ボード３２、顔認識処理演算ボード３４のいずれか、又は、別途に設けられた処理演算ボード（図示しない）で行われてもよい。

デコーダ３６は、上記ダウンコンバータ４６から画像処理ユニット１８に入力されるテレビカメラ１０の撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット１８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。このデコーダ３６から出力される撮影映像の映像信号は、パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４にも送られ、パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４においてもテレビカメラ１０の撮影映像を１コマ単位の撮影画像として取得することができるようになっている。

なお、画像処理ユニット１８は、ＣＰＵ３８により書込み・読出し可能なメモリ等も備えており、処理データの記憶などに適宜使用される。また、このメモリには、後述する自動追尾モードにおけるＡＦ枠設定処理において設定されるオートフォーカス領域の位置、大きさ、形状に関する情報が記憶されている。このオートフォーカス領域の位置、大きさ、形状に関する設定情報は、操作者（カメラマン）の好みに応じてＡＦ枠操作部２０の所定操作により変更可能であることが好ましい。

スーパーインポーザ４２は、デコーダ３６により得られた撮影映像の映像信号と、ＣＰＵ３８により生成される画像信号とを合成し、その合成した映像信号をＬＣＤ６６に出力・表示する回路である。これにより、カメラ本体１４に設置されているビューファインダ１６と同様にテレビカメラ１０の撮影映像がＬＣＤ６６に表示されると共に、その撮影映像に重ねて、現在設定されているオートフォーカス領域の画像や、タッチパネルでの入力操作を行えるようにしたメニュー画面（メニュー画像）等がＬＣＤ６６に表示される。なお、撮影映像に重畳させることなくＣＰＵ３８で生成された画像のみを表示させることも当然可能である。

ＲＡＭ３９は、ＣＰＵ３８の演算処理において使用するデータを一時的に格納するメモリである。

パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４は、パターンマッチングと顔検出・認証処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ５０、５２の他に画像データを一時的に格納するＶＲＡＭ５４、５６等を備えている。

また、画像処理ユニット１８には、ＳＤ（Secure Digital）カードやＵＳＢメモリなどの外部メモリとして顔認証データカード７４を装填するスロット（不図示）が設けられており、顔認識により特定の人物の顔を検出する際に、その特定の人物の顔を示す認証データを予め顔認証データカード７４に保存しておき、その顔認証データカード７４をスロットに装填することで、顔認識に必要な認証データを顔認証データカード７４からＣＰＵ３８が読み込めるようになっている。

続いて、上記のごとく構成された画像処理ユニット１８によるオートフォーカス領域の制御についてＬＣＤ６６の表示及び操作に関する処理と共に説明する。

図３は、本発明の実施の形態のオートフォーカスシステムにおけるタッチパネル付き液晶ディスプレイに表示される画面の一例を示す図である。

図３に示すようにＬＣＤ６６の画面６６ａには、テレビカメラ１０の撮影映像に重畳して各種ボタン３００、３０２からなるメニュー画面（メニュー画像）と、現在設定されているオートフォーカス領域２００（図２参照）を示すＡＦ枠２０４が表示される。メニュー画面の各種ボタン３００、３０２やＡＦ枠２０４のように撮影映像に重畳される画像は、図１に示した画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により生成され、それらの画像が、スーパーインポーザ４２においてデコーダ３６から出力されるテレビカメラ１０の撮影映像に重畳されてＬＣＤ６６に表示されるようになっている。なお、ＬＣＤ６６の表示（表示内容）に関する制御はＣＰＵ３８により行われるものである。

また、ＬＣＤの画面６６ａには、レンズ装置１２から取得した情報に基づいてレンズの画角を視覚的に示すインジケータ３０４が設けられている。

一方、ＬＣＤ６６はタッチパネルを備えており、ＬＣＤ６６の画面６６ａに対して指先等が触れるタッチ操作が行われると、触れた位置（座標）を示す位置情報がＣＰＵ３８に与えられるようになっている。これにより、ＬＣＤ６６の画面６６ａに対して行われたタッチ操作の位置や操作の種類（タップ操作、ダブルタップ操作等）がＣＰＵ３８により検出されるようになっている。そして、その操作に従った処理がＣＰＵ３８により実行されるようになっている。

ＬＣＤ６６の画面６６ａにおける基本的な操作として、各ボタン３００、３０２に予め割り当てられた指示を入力する操作や、オートフォーカス領域（ＡＦ枠２０４によって囲まれた領域）を指定する操作があり、前者の操作は、各ボタン３００、３０２の位置を指先等でタップ操作するものである。後者のオートフォーカス領域を指定する操作は、例えば、撮影映像が表示されたＬＣＤ６６の画面６６ａ上において、オートフォーカス領域を移動させたい位置をタップ操作すれば、その位置が中心となるようにオートフォーカス領域を移動させることができる。また、オートフォーカス領域の輪郭を示すＡＦ枠２０４の頂点や辺を指先等でタッチしてそのままスライドするドラッグ操作によってドラッグ操作した位置までタッチした頂点や辺の位置を移動させてオートフォーカス領域の大きさや形状を変更することができる。

なお、オートフォーカス領域の位置、大きさ、形状は、ＡＦ枠操作部２０の位置操作部材６０、サイズ操作部材６２、形状操作部材６４の操作でも変更可能である。

ＬＣＤ６６の画面６６ａに表示されるメニュー画面（メニュー画像）について説明すると、図３において、”ＡＦ枠固定”と表示された固定モード選択ボタン３００、”自動追尾”と表示された自動追尾モード選択ボタン３０２は、オートフォーカスの制御モードを選択するボタンである。これらのボタン３００、３０２のいずれかをタップ操作することで、固定モード、自動追尾モードのうちから所望のモードを選択することできるようになっている。

固定モードは、オートフォーカス領域（位置、大きさ、形状）を操作者がマニュアル操作で指定し、その指定した位置にＡＦ枠を表示して、オートフォーカス領域を固定するモード（マニュアルモード）である。この固定モードは、カメラをほとんど動かさないニュース番組などでの撮影に有益なモードである。

図３のＬＣＤ６６の画面６６ａにおいて固定モード選択ボタン３００をタップ操作すると固定モードが選択され、画像処理ユニット１８のメインボード３０に搭載されたＣＰＵ３８は、固定モードの処理を実行する。

即ち、ＣＰＵ３８は、上記のようにＬＣＤ６６の画面６６ａに対するオートフォーカス領域を変更する操作や、ＡＦ枠操作部２０に設けられたＡＦ枠２０４をマニュアル操作で変更するための操作部材（位置操作部材６０、サイズ操作部材６２、形状操作部材６４）の操作に基づいてオートフォーカス領域を決定する。ＣＰＵ３８は、オートフォーカス領域を決定すると、そのオートフォーカス領域の輪郭の情報を示すＡＦ枠情報をＳＣＩ５８を通じてレンズ装置１２のレンズＣＰＵに送信する。

自動追尾モードは、オートフォーカス領域内の所定の被写体を追尾対象とし、撮像手段により新たに撮像された撮影画像における前記追尾対象の存在領域を検出し、当該存在領域を新たなオートフォーカス領域として決定する処理を行うモードである。自動追尾モードは、「物体追尾モード」、「顔検出追尾モード」、「顔認識追尾モード」、「全自動追尾モード」を含む、複数のモードを有している。ＬＣＤ６６の画面６６ａで自動追尾モードを選択した後、更に、「物体追尾モード」、「顔検出追尾モード」、「顔認識追尾モード」、「全自動追尾モード」のうちから所望のモードがユーザによって選択される。なお、ＬＣＤ６６の画面６６ａのメニュー画面で、「固定モード」、「物体追尾モード」、「顔検出追尾モード」、「顔認識追尾モード」、「全自動追尾モード」のうちから所望のモードがユーザによって選択できるようになっていてもよい。

物体追尾モードは、任意の物体を追尾させるモードである。この追尾対象とされた物体の少なくとも一部がＡＦ枠で囲われて表示されている。この物体追尾モードは、人物の顔以外を追尾する競馬中継、カ−レース中継などでの撮影に有益なモードである。このモードでは、撮影映像に対して操作者が追尾対象としたい任意の物体の画像を含むようにオートフォーカス領域を指定すると、ＡＦ枠に囲われたオートフォーカス領域内の物体が追尾対象として設定される。そして、その追尾対象の画像が基準パターンとして登録され、パターンマッチング処理演算ボード３２のＣＰＵ５０において、順次得られる撮影画像に対して、基準パターンに一致する画像範囲を検出するためのパターンマッチング処理が行われる。メインボード３０のＣＰＵ３８は、その基準パターンが検出された範囲を新たなオートフォーカス領域として決定し、このオートフォーカス領域の情報をレンズ装置１２のレンズＣＰＵに送信する。なお、物体の自動追尾を開始する際にレンズ装置１２においてＡＦによるフォーカス制御が行われていない場合（ＡＦモードとなっていない場合）には、物体の自動追尾の開始と連動してＡＦの開始も指示される。

顔検出追尾モードは、任意の人物の顔をＡＦ枠で追尾させるモードである。この追尾対象とされた人物の顔領域がオートフォーカス領域としてＡＦ枠で囲われて表示される。この顔検出追尾モードは、人物の顔を検出して追尾する歌謡番組などでの撮影に有益なモードである。このモードでは、まず、顔認識処理演算ボード３４のＣＰＵ５２において撮影画像の中から任意の人物の顔画像を検出するための周知の顔検出処理が行われる。そして、検出された顔画像の中から追尾対象とする顔画像を操作者が指定すると、その指定された顔画像が追尾対象として設定される。以後、順次得られる撮影画像に対して顔認識処理演算ボード３４のＣＰＵ５２により顔検出処理が行われると共に、検出された顔画像の中から追尾対象の顔画像を特定する処理がメインボード３０のＣＰＵ３８により行われる。メインボード３０のＣＰＵ３８は、検出された追尾対象の顔画像の範囲を新たなオートフォーカス領域として決定し、オートフォーカス領域の情報をレンズ装置１２のレンズＣＰＵに送信する。

顔認識追尾モードは、事前に認証データとして登録した人物の顔をＡＦ枠で追尾させるモードである。この追尾対象とされた人物の顔画像がオートフォーカス領域としてＡＦ枠で囲われて表示される。この顔認識追尾モードは、撮影する人物が事前に決まっている歌謡番組やスポーツ中継などでの撮影に有益なモードである。このモードでは、図１に示したスロット（不図示）に装填された顔認証データカード７４から追尾対象とする人物の顔の認証データが取り込まれる。そして、顔検出追尾モードと同様に顔認識処理演算ボード３４のＣＰＵ５２において顔検出処理が行われると共に、検出された顔画像の中から追尾対象の顔画像が認証データを用いた周知の顔認証処理により検出される。メインボード３０のＣＰＵ３８は、顔認識処理によって検出された顔画像の範囲を新たなオートフォーカス領域として決定し、このオートフォーカス領域の情報をレンズ装置１２のレンズＣＰＵに送信する。

全自動追尾モードでは、上述した顔検出追尾モードと同様に、顔認識処理演算ボード３４のＣＰＵ５２において撮影画像の中から任意の人物の顔画像を検出するための周知の顔検出処理が行われる。そして、検出された顔画像の中に人物の顔画像が含まれる場合には、操作者が指定することなく、その顔画像が追尾対象として自動的に設定される。その際、撮影画像の中に複数の顔画像が含まれる場合には、顔の大きさや位置に応じて追尾対象とする顔画像が決定される。一方、撮影画像の中に人物の顔画像が含まれない場合には、上述した物体追尾モードによる自動追尾が実行される。

上述のように構成されたビデオカメラシステム１は、自動追尾モードが選択されることで自動追尾を実行する。そして、自動追尾を行う場合に、レンズ装置１２から得られた情報によって被写界深度を算出し、被写界深度に基づいて自動追尾を実行又は中止させるように制御する。こうすれば、自動追尾の実行時に、レンズ装置１２のズームによって撮影画像の画角をワイド側に変更する場合にも、誤追尾を避けることができる。

図４は、自動追尾を停止した場合にＬＣＤに表示される画面の一例を示している。図４に示すように、ズームをワイドにした場合に、追尾対象の被写体が小さくなると、この被写体に合わせてオートフォーカス領域を設定しても、設定したオートフォーカス領域内で十分な大きさのコントラストを得ることができなくなる。このような場合には、被写界深度が深くなるので、被写界深度に基づいて、自動的に自動追尾の実行を停止する。そして、オートフォーカス領域は、所定の位置（例えば、撮像エリアの中央）に変更し、変更されたオートフォーカス領域の輪郭を表すＡＦ枠２０４が画面６６ａに重畳して表示する。また、画面６６ａには、自動追尾を停止したことを視覚的に示す追尾停止マーク３０６が表示される。自動追尾を停止した場合に、オートフォーカスを行うか、直前のフォーカス位置に固定するかは任意である。後述するように、オートフォーカス調整も、被写界深度に基づいて、その実行又は中止を制御してもよい。

自動追尾を停止した際にオートフォーカス調整を行う場合には、撮像エリアの所定の位置（例えば撮像エリアの中央）の被写体に対して行う。

続いて、画像処理ユニット１８による自動追尾モードが選択されたときの処理について説明する。なお、以下の説明では、顔認識追尾モードの処理を例に説明する。

図５は、画像処理ユニットのＣＰＵにおける自動追尾モードが選択されたときの処理手順を示したフローチャートである。

所定操作によって自動追尾モードが選択されると、まず、メインボード３０のＣＰＵ３８は、オートフォーカス領域を予め決められた初期位置に設定するＡＦ枠設定処理を行う。そして、顔認識しているか否かを示すフラグ（Face_flag）をfalseに設定する（ステップＳ１０）。このＡＦ枠設定処理では、メインボード３０のメモリ（不図示）に記憶されている初期設定のオートフォーカス領域の位置、大きさ、形状に関する情報に基づいて、撮影範囲（撮像エリア）におけるオートフォーカス領域を設定する。そして、このようにして設定したオートフォーカス領域の情報（位置、大きさ、形状）を示すＡＦ枠情報をＳＣＩ５８を通じてレンズ装置１２のレンズＣＰＵに送信する。これによって、レンズ装置１２のＡＦユニット４０において、オートフォーカス領域が、ＡＦ枠情報により指定した範囲に設定される。

続いてＣＰＵ３８からの指示により顔認識処理演算ボード３４のＣＰＵ５２は、デコーダ３６から１コマ分の撮影画像の画像データを取り込む（ステップＳ１２）。そして、取り込んだ画像データをメインボード３０のＣＰＵ３８に通知する。

次に、メインボード３０のＣＰＵ３８は、レンズ装置１２から絞り値、被写体距離、焦点距離を取得する（ステップＳ１４）。このステップＳ１４では、ＣＰＵ３８は、取得した絞り値、被写体距離、焦点距離それぞれを、対応する顔画像に紐付けしたデータとして編集し、ＲＡＭ３９に一時的に格納する。

次に、メインボード３０のＣＰＵ３８は、ステップＳ１４で生成された、絞り値、被写体距離、焦点距離を含むデータを用いて被写界深度を算出する演算処理を実行する（ステップＳ１６）。

ステップＳ１６の演算処理では、被写界深度は以下の式（１）によって算出される。ただし、式（１）において、Ｌｒを後方被写界深度とし、Ｌｆを前方被写界深度とする。

後方被写界深度Ｌｒは、式（２）のようにして算出され、前方被写界深度Ｌｆは、式（３）によって算出される。ただし、以下の式において、レンズ装置１２のレンズの焦点距離をｆ、絞り値（Ｆナンバー）をＦＮｏ、許容錯乱円をδ、被写体距離をＬとする。

レンズの光軸上にある被写体を結像面（撮像素子の撮像面）に結像させたときに、像のボケの量がある値以下であると、被写体にピントを合わせた点の前後のある範囲でピントが合ったように見える。このときの像のボケの量のある値を径として、光軸を中心として想定される円が許容錯乱円である。なお、許容錯乱円の径は、撮像素子のイメージサイズ、カメラの性能、使用条件等によって変化する。

ピントが合って見える範囲において、結像面側の結像範囲を焦点深度という。なお、焦点深度ｄは、ｄ＝２δ×ＦＮｏによって算出することができる。

なお、被写界深度には、次の性質がある。
（i）絞り値が大きいほど、深くなる。
（ii）焦点距離が短いほど、深くなる。
（iii）被写体距離が長いほど、深くなる。
（iv）前方被写界深度より後方の被写界深度のほうが深い。

ステップＳ１６に続いて、メインボード３０のＣＰＵ３８は、ステップＳ１６で算出された被写界深度を所定の閾値と比較し、被写界深度が閾値より浅いか否かを判断する（ステップＳ２０）。ここでは、閾値を被写体距離の５０％とする。被写界深度が閾値より浅い場合には、ステップＳ２６の処理手順へ進む。被写界深度が閾値以上である場合には、ステップＳ２２の処理手順へ進む。

ステップＳ２０においてＮＯと判定した場合には、ＣＰＵ３８は、自動追尾を中止すべきと判断し、自動追尾をＯＦＦに設定する（ステップＳ２２）。そして、ＣＰＵ３８は、オートフォーカス領域をデフォルトで設定された位置（例えば、撮影画像の中央）に移動させる決定を行い、そのオートフォーカス領域の情報を示すＡＦ枠情報をＳＣＩ５８を通じてレンズ装置１２のレンズＣＰＵに送信する。（ステップＳ２４）。ステップＳ２４の処理が終了すると、ステップＳ１０の処理に戻る。

ステップＳ２０においてＹＥＳと判定した場合には、ＣＰＵ３８は、Face_flagが「false」であるか否かを判定する（ステップＳ２６）。そして、Face_flagが「false」である場合には、ステップＳ３０の処理手順へ進む。Face_flagが「true」である場合には、ステップＳ２８の処理手順へ進む。

ステップＳ２６のいてＹＥＳと判定した場合には、ＣＰＵ３８は、ステップＳ１４における顔検出処理により撮影画像内に顔画像が検出されたか否かを判定する（ステップＳ３０）。撮影画像内に顔画像を検出した場合には、ステップ３２の処理手順へ進む。撮影画像内に顔画像を検出しない場合には、ステップ３６の処理手順へ進む。

ステップＳ３０においてＹＥＳと判定した場合には、ＣＰＵ３８は、Face_flagを「true」に設定する（ステップＳ３１）。ステップＳ３１の処理に続いて、ＣＰＵ３８は、自動追尾を開始する（ステップＳ３２）。そして、ＣＰＵ３８は、検出した顔画像の範囲を新たなオートフォーカス領域として設定（更新）し、そのオートフォーカス領域の情報を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ３４）。そして、レンズ装置１２は、ＡＦ枠情報に基づいて新たなオートフォーカス領域でオートフォーカス調整を実行する（ステップＳ３６）。ステップＳ３６の処理が終了すると、ステップＳ１２の処理に戻る。

ステップＳ２６においてＮＯと判定した場合には、ＣＰＵ３８は、基準パターンの画像が移動したか否か、即ち、基準パターンを検出した画像範囲が、現在設定されているオートフォーカス領域と相違しているか否かを判定する（ステップＳ２８）。なお、撮影画像内での基準パターンの画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。

ステップＳ２８においてＹＥＳと判定した場合には、ステップＳ３４の処理へ進む。ステップＳ２８においてＮＯと判定した場合には、ステップＳ３６の処理へ進む。

上述したビデオカメラシステム１によれば、自動追尾モードでは、撮影画像内に人物の顔画像が含まれているか否かが判定され、撮影画像内に人物の顔画像が含まれていると判定された場合には、人物の顔画像が追尾対象に設定され、そして、顔検出処理による自動追尾が実行される。その際、ズームによって画角が変更される場合には、被写界深度に基づいて自動追尾の実行の可否が判断され、自動追尾が実行不可と判断されると、自動追尾が自動的に中止される。また、自動追尾が実行可と判断されると、自動追尾が実行される。

また、ビデオカメラシステム１は、自動追尾の実行だけでなく、被写界深度に基づいてオートフォーカス調整の実行又は中止を制御することができる。ビデオカメラシステム１は、上述した自動追尾の制御と並行して、オートフォーカス調整の実行又は中止の制御を行うことができる。

図６は、被写界深度に基づいてオートフォーカス調整を制御するときの処理手順を示したフローチャートである。

オートフォーカスが実行されると、メインボード３０のＣＰＵ３８は、自動追尾モードによって設定されたオートフォーカス領域においてピントを被写体に合わせる。続いて、メインボード３０のＣＰＵ３８は、レンズ装置１２から絞り値、被写体距離、焦点距離を取得する（ステップＳ４０）。

次に、メインボード３０のＣＰＵ３８は、ステップＳ４０で生成された、絞り値、被写体距離、焦点距離を含むデータを用いて被写界深度を算出する演算処理を実行する（ステップＳ４２）。

ステップＳ４２に続いて、メインボード３０のＣＰＵ３８は、ステップＳ４０で算出された被写界深度が無限遠であるか否かを判断する（ステップＳ４４）。ここで、被写界深度が無限遠であるとは、演算の結果、被写界深度内に無限遠が含まれることを意味する。

ステップＳ４４において、被写界深度が無限遠であると判断した場合には、ステップＳ４６の処理手順へ進む。被写界深度が無限遠ではないと判断した場合には、ステップＳ４８の処理手順へ進む。

ステップＳ４４においてＹＥＳと判定した場合には、ＣＰＵ３８は、オートフォーカス調整をＯＦＦに設定する（ステップＳ２２）。そして、ＣＰＵ３８は、オートフォーカス調整を中止する情報をＳＣＩ５８を通じてＡＦユニット４０に送信する。（ステップＳ４６）。ステップＳ４６の処理が終了すると、ステップＳ４０の処理に戻る。

ステップＳ４４においてＮＯと判定した場合には、ＣＰＵ３８は、オートフォーカス調整の実行を許可する（ステップＳ４８）。そして、ＡＦユニット４０は、既に設定されているオートフォーカス領域でオートフォーカス調整を実行する（ステップＳ４８）。ステップＳ４８の処理が終了すると、ステップＳ４０の処理に戻る。

上述したビデオカメラシステム１によれば、オートフォーカス調整を行う場合、設定されたオートフォーカス領域の被写体にピントが合わされる。その際、ズームによって画角が変更される場合には、被写界深度に基づいてオートフォーカス調整の実行の可否が判断され、オートフォーカス調整が実行不可と判断されると、オートフォーカス調整が自動的に中止される。また、オートフォーカス調整が実行可と判断されると、オートフォーカス調整が実行される。

また、ビデオカメラスシステム１によれば、メインボード３０のＳＰＵ３８が、被写界深度に基づいて、自動追尾及びフォーカス調整のうち少なくとも一方の実行の可否を判断し、不可と判断した場合には中止するように制御する。自動追尾及びフォーカス調整のＯＮとＯＦＦを自動的に制御することで、以下のような場合に、誤追尾が起こることを防止することができる。

撮影画像においてピントが合っていない領域が存在し、撮影画像に移動する被写体が存在する場合であって、オートフォーカス領域内における被写体画像から十分なコントラストを得られる場合には、自動追尾がＯＮ、ＡＦがＯＮに制御される。

撮影画像のどの位置でもピントが合っており、該撮影画像の撮像範囲に移動する被写体が存在する場合がある。このような場合には、被写界深度が無限遠であるためオートフォーカス調整を行う必要はないが、被写体の自動追尾を行うことが想定される。このよう場合には、自動追尾がＯＮに制御され、かつオートフォーカス調整がＯＦＦに制御される。

撮影画像においてピントが合っていない領域が存在し、追尾対象の被写体が小さすぎる場合には、ＡＦエリアの範囲内における被写体画像から十分なコントラストを得られないため、自動追尾の精度が低下してしまう。このような場合には、自動追尾がＯＦＦに制御され、かつオートフォーカス調整がＯＮに制御される。

撮影画像のどの位置でもピントが合っており、追尾対象の被写体が小さすぎる場合には、自動追尾及びオートフォーカス調整がともにＯＦＦに制御される。

本明細書には、以下のオートフォーカスシステムが開示されている。
（１）光学系により結像された被写体像を撮像する撮像手段と、
前記撮像手段により撮像された撮影画像に設定されるオートフォーカス領域に対し、該オートフォーカス領域内の被写体にピントが合うように、前記光学系のフォーカス調整を行うオートフォーカス部と、
前記オートフォーカス領域内の所定の被写体を追尾対象とし、前記撮像手段により新たに撮像された撮影画像における前記追尾対象の存在領域を検出し、当該存在領域を新たなオートフォーカス領域として決定する追尾処理を行うＡＦ領域追尾処理部と、
前記光学系から得られる情報に基づいて被写界深度を算出する被写界深度演算部と、
前記被写界深度演算部によって算出した前記被写界深度に基づいて、前記オートフォーカス部による前記フォーカス調整、及び前記ＡＦ領域追尾処理部による前記追尾処理の実行を制御する制御部と、を備えるオートフォーカスシステム。
（２）（１）に記載のオートフォーカスシステムであって、
前記制御部は、前記被写界深度が所定の閾値より小さい場合に、前記追尾処理の実行を行わないように制御するオートフォーカスシステム。
（３）（１）又は（２）に記載のオートフォーカスシステムであって、
前記制御部は、前記被写界深度が無限遠である場合に、前記フォーカス調整の実行を行わないように制御するオートフォーカスシステム。
（４）（１）から（３）のいずれか１つに記載のオートフォーカスシステムであって、
前記被写界深度演算部は、前記光学系から得られる絞り値と、被写体距離、焦点距離の情報に基づいて前記被写界深度を算出するオートフォーカスシステム。
（５）（１）から（４）のいずれか１つに記載のオートフォーカスシステムであって、
前記ＡＦ領域追尾処理部は前記オートフォーカス領域内の人物像を追尾対象とするオートフォーカスシステム。

本発明に係るオートフォーカスシステムは、自動追尾機能を備え、ズームによって画角を変更した場合に誤追尾が起こることを抑えることができるため、デジタルカメラ特にコンパクトなデジタルカメラやカメラ付携帯電話機、カメラ付電子装置、内視鏡用撮像装置等に適用すると有用である。
本出願は、２０１１年１月１８日出願の日本特許出願番号２０１１−８３３３に基づくものであり、その内容はここに参照として取り込まれる。

１ ビデオカメラシステム
１０ テレビカメラ
１２ レンズ装置
１４ カメラ本体
１６ ビューファインダ
１８ 画像処理ユニット
２０ ＡＦ枠操作部
３０ メインボード
４０ ＡＦユニット
３２ パターンマッチング処理演算ボード
３４ 顔認識処理演算ボード
３８、５０、５２ ＣＰＵ
６６ 液晶ディスプレイ（ＬＣＤ）

Claims (5)

1. 光学系により結像された被写体像を撮像する撮像手段と、
   前記撮像手段により撮像された撮影画像に設定されるオートフォーカス領域に対し、該オートフォーカス領域内の被写体にピントが合うように、前記光学系のフォーカス調整を行うオートフォーカス部と、
   前記オートフォーカス領域内の所定の被写体を追尾対象とし、前記撮像手段により新たに撮像された撮影画像における前記追尾対象の存在領域を検出し、当該存在領域を新たなオートフォーカス領域として決定する追尾処理を行うＡＦ領域追尾処理部と、
   前記光学系から得られる情報に基づいて被写界深度を算出する被写界深度演算部と、
   前記被写界深度演算部によって算出した前記被写界深度に基づいて、前記オートフォーカス部による前記フォーカス調整、及び前記ＡＦ領域追尾処理部による前記追尾処理の実行を制御する制御部と、を備えるオートフォーカスシステム。
2. 請求項１に記載のオートフォーカスシステムであって、
   前記制御部は、前記被写界深度が所定の閾値より小さい場合に、前記追尾処理の実行を行わないように制御するオートフォーカスシステム。
3. 請求項１又は２に記載のオートフォーカスシステムであって、
   前記制御部は、前記被写界深度が無限遠である場合に、前記フォーカス調整の実行を行わないように制御するオートフォーカスシステム。
4. 請求項１から３のいずれか１つに記載のオートフォーカスシステムであって、
   前記被写界深度演算部は、前記光学系から得られる絞り値、被写体距離、焦点距離の情報に基づいて前記被写界深度を算出するオートフォーカスシステム。
5. 請求項１から４のいずれか１つに記載のオートフォーカスシステムであって、
   前記ＡＦ領域追尾処理部は、前記オートフォーカス領域内の人物像を追尾対象とするオートフォーカスシステム。

Images