JP5473551B2 - オートフォーカスシステム - Google Patents

Description

本発明は、オートフォーカスシステムに係り、特にオートフォーカス（ＡＦ）によりピントを合わせる被写体の範囲を示すＡＦ枠（ＡＦエリア）を事前に登録した人物の顔に追尾させる顔認識追尾機能を備えたオートフォーカスシステムに関する。

放送用又は業務用のテレビカメラシステムにおいて、所望の被写体に自動でピントを合わせるオートフォーカス機能を備えたものが知られている。この種のカメラシステムでは、一般にコントラスト方式のＡＦが採用されており、撮影映像のコントラストの高さを検出し、そのコントラストが最大（極大）となるように撮影光学系のフォーカスを制御することにより行われている。

また、ＡＦによりピントを合わせる被写体の対象範囲は、通常は撮影映像の画面全体ではなく、ＡＦエリアと称する一部の範囲に限定されており、そのＡＦエリア内の撮影画像（被写体画像）のコントラストが最大となるようにフォーカスを制御することによって、ＡＦエリア内の被写体にピントが合わせられるようになっている。尚、本明細書では、ＡＦエリアの輪郭を示す枠をＡＦ枠と称するものとする。

更に、特許文献１、２には、撮影映像の画面内で移動する所望の被写体に対してＡＦ枠を自動で追尾させ、その被写体にピントを合わせ続けるようにしたＡＦ枠自動追尾機能を備えたオートフォーカスシステムが記載されている。ＡＦ枠自動追尾は、撮影画像の中から追尾対象の被写体（被写体画像）を検出して、検出した位置にＡＦ枠を移動させることにより行われる。その追尾対象の被写体画像を撮影画像の中から検出する方法として、特許文献１では、追尾対象の被写体画像を基準パターンとして記憶し、撮影画像の中から基準パターンに一致する画像をパターンマッチング処理により検出する方法等が採用されている。特許文献２では、映像信号から順次得られる撮影画像の前後２つの撮影画像の差（差画像）を求めることによって移動した被写体を検出する方法である。

また、追尾対象の被写体の種類に応じたＡＦ枠自動追尾の種類として、任意の物体を追尾対象の被写体とすることができる物体追尾、人物（及び動物等）の顔のみを追尾対象の被写体とする顔検出追尾、特定の人物（及び動物等、以下省略）の顔のみを追尾対象の被写体とする顔認識追尾などが知られている。

顔検出追尾は、顔検出処理により撮影画像の中から任意の人物の顔を検出し、検出した顔のいずれかを追尾対象に被写体とする追尾であり、顔認識追尾は、顔認識処理により撮影画像の中から事前に登録されている特定人物の顔を検出し、その検出した特定人物の顔を追尾対象の被写体とする追尾である。

特開平８−３３４６７４号公報 特開２００６−２６７２２１号公報

ところで、顔認識追尾においては、追尾対象の顔とした特定人物の顔を、顔認識処理により逐次検出しながら、ＡＦ枠をその検出した位置に移動させることが考えられる。しかしながら、顔認識処理は、検出する人物の顔の特徴を示す認証データに合致する顔を撮影画像の中から探し出す複雑な処理が必要であるため、処理時間が長くなり、画面内で移動する顔を遅延なく追尾することが難しい。そのため、従来は、顔認識追尾においても、追尾開始時に一度、顔認識処理を実行して追尾対象とする特定人物の顔を検出した後は、その検出した顔を物体追尾の追尾処理を用いて追尾することが行われている。例えば、顔認識処理によって検出した顔の画像パターンを基準パターンとして記憶し、以後、撮影画像の中から基準パターンに一致する画像範囲をパターンマッチング処理により検出し、その位置にＡＦ枠を移動させることによって特定人物の顔を追尾することが行われている。

しかしながら、上記の顔認識追尾のようにＡＦ枠自動追尾の開始時に一度だけ顔認識処理を行って追尾対象としたい特定人物の顔の検出する場合、その後の物体追尾によって追尾対象の顔が誤って他の顔等に変わってしまっても、そのことを自動で検出することができない。その場合には、操作者がＡＦ枠自動追尾の処理を停止させ、再度、顔認識処理から再実行させる必要があり、誤追尾の修復作業に手間と時間を要するという問題があった。また、追尾対象の顔を他の人物の顔に変更したい場合においても、一度、ＡＦ枠自動追尾の処理を停止させて、追尾対象とする人物の顔を変更してＡＦ枠自動追尾の処理を再開させる必要があり手間と時間を要するという問題があった。

本発明はこのような事情に鑑みてなされたもので、顔認識処理により検出した特定人物の顔を物体追尾の処理を用いてＡＦ枠で追尾する顔認識追尾において、物体追尾により意図しない追尾対象を誤追尾することを防止することができる顔認識追尾機能を備えたオートフォーカスシステムを提供することを目的とする。

前記目的を達成するために、請求項１に係るオートフォーカスシステムは、撮像手段により撮影される被写体の範囲のうちＡＦ枠に対応する範囲内の被写体にピントが合うように、前記撮像手段に被写体像を結像する撮影光学系のフォーカスを制御するオートフォーカス手段と、事前に記憶した特定人物の顔の特徴を示す認証データを用いて前記撮像手段により得られた撮影画像内から該特定人物の顔の画像を検出する顔認識処理手段と、前記撮像手段により順次得られる撮影画像内から任意の物体の画像を示す基準パターン画像と合致する画像の範囲をパターンマッチング処理により順次検出し、該検出した範囲をＡＦ枠の範囲として設定することにより、前記物体の画像をＡＦ枠で追尾する物体追尾手段と、を備え、前記顔認識処理手段により検出した前記特定人物の顔の画像の範囲をＡＦ枠の範囲として設定した後、該設定したＡＦ枠の範囲の画像を前記基準パターン画像として設定し、該設定した基準パターン画像に合致する画像を前記物体追尾手段によりＡＦ枠で追尾する顔認識追尾手段であって、前記顔認識処理手段によるＡＦ枠の範囲の設定を所定時間おきに実行すると共に、前記物体追尾手段による追尾中に前記基準パターン画像と合致する画像が検出されなかった場合には、前記顔認識処理手段によるＡＦ枠の範囲の設定から実行し直す顔認識追尾手段を備えたことを特徴としている。

請求項２に係るオートフォーカスシステムは、請求項１に記載の発明において、前記撮像手段により順次得られる撮影画像を表示する表示画面を備えると共に、該表示画面に対するタッチ操作を検出するタッチパネルを備えた操作部を有し、前記顔認識追尾手段は、前記特定人物の顔の画像をＡＦ枠で追尾している際に、前記操作部において前記顔認識処理手段より検出している特定人物と異なる他の人物の顔がタップ操作されたことを検出すると、前記タップ操作された人物の顔の画像を、前記顔認識処理手段により検出する画像として変更すると共に、前記タップ操作された人物の顔の画像をＡＦ枠で追尾することを特徴としている。

本発明によれば、顔認識処理手段により検出した特定人物の顔を物体追尾手段により追尾する場合でも、顔認識処理手段により追尾対象の特定人物の顔の検出が行われるので誤った追尾対象を誤追尾する不具合が防止される。また、顔認識処理手段による特定人物の顔の検出が繰り返し行われるため、追尾対象の変更も容易に行うことができ、請求項２のように画面上のタップ操作で追尾対象の人物を変更できるようにすると、より迅速且つ容易に追尾対象の人物を変更することができる。

本発明によれば、顔認識処理により検出した特定人物の顔を物体追尾を用いてＡＦ枠で追尾する顔認識追尾において、物体追尾により意図しない追尾対象を誤追尾することを防止することができる。

図１は、本発明が適用されるテレビカメラシステムの一実施の形態を示した外観図である。 図２は、図１のテレビカメラシステムに適用されるＡＦ枠自動追尾システムの全体構成を示したブロック図である。 図３は、ＡＦ枠（ＡＦエリア）の説明図である。 図４は、フォーカスデマンドの外観図である。 図５は、タッチパネル付き液晶ディスプレイに表示される画面の一例を示した図である。 図６は、物体追尾モードの処理手順を示したフローチャートである。 図７は、顔検出追尾モードにおいてタッチパネル付き液晶ディスプレイに表示される画面の一例を示した図である。 図８は、顔検出追尾モードの処理手順を示したフローチャートである。 図９は、顔認識追尾モードにおいてタッチパネル付き液晶ディスプレイに表示される画面の一例を示した図である。 図１０は、顔認識追尾モードの処理手順を示したフローチャートである。 図１１は、顔認識追尾モードにおける顔認識処理と物体追尾処理の実行パターンを示した説明図である。

以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。

図１は、本発明が適用されるテレビカメラシステムの一実施の形態を示した外観図である。同図に示すようにテレビカメラ１０は、主に放送用又は業務用に使用されるテレビカメラであり、レンズ装置１２とカメラ本体１４とで構成され、ペデスタルドリー１６上に設置された雲台１８に支持されている。

雲台１８には、左右２本のパン棒２２、２４が延設されており、右側のパン棒２２のグリップ部２２Ａには、フォーカスデマンド（フォーカスコントローラ）２６がマウンティングクランプ３８によって設置され、左側のパン棒２４のグリップ部にはズームデマンド（ズームコントローラ）２８が設置されている。

フォーカスデマンド２６には、回動可能なフォーカスノブ３０が設けられており、マニュアルフォーカス（ＭＦ）によりフォーカス制御を行う際に、このフォーカスノブ３０を回動操作すると、その回動位置に応じたフォーカス位置を目標位置としてフォーカス（フォーカスレンズ）の移動を指令するフォーカス制御信号がフォーカスデマンド２６からレンズ装置１２に与えられる。これにより、レンズ装置１２のフォーカスレンズがフォーカス制御信号によって指令された目標位置に移動する。

ズームデマンド２８には、回動可能なサムリング３４が設けられており、そのサムリング３４を左右方向に回動操作すると、回動位置に応じたズーム速度を目標速度としてズーム（ズームレンズ）の移動を指令するズーム制御信号がズームデマンド２８からレンズ装置１２に与えられる。これにより、レンズ装置１２のズームレンズがズーム制御信号によって指令された目標速度で移動する。

また、図では省略するが、フォーカスデマンド２６には、オートフォーカス（ＡＦ）に関する各種操作部材が設けられると共に、ＡＦによりピントを合わせる対象の被写体範囲（ＡＦの対象範囲）を示すＡＦ枠の制御（位置等の変更）を行うためのＡＦ枠制御装置（ＡＦ枠自動追尾装置）が組み込まれ、そのＡＦ枠制御装置の各種操作部材もフォーカスデマンド２６に設けられている。

更に、ＡＦ枠制御装置の構成要素として同図のようにタッチパネル付き液晶ディスプレイ（ＬＣＤ）４０が設置具によりフォーカスデマンド２６の本体上部に設置され、図示しないケーブルでフォーカスデマンド２６に接続されている。

尚、以下において、単にＬＣＤ４０と記した場合にはこのタッチパネル付き液晶ディスプレイ４０を示す。また、ＬＣＤ４０は、フォーカスデマンド２６の本体上部以外の任意の位置に設置することが可能である。例えば、ビューファインダ３６の横に設置してもよい。

カメラ本体１４の上には、表示装置であるビューファインダ３６が設置されている。このビューファインダ３６には、本テレビカメラ１０で撮影されている被写体の映像が表示されるため、カメラマンはその映像を見ながらフォーカスデマンド２６やズームデマンド２８を操作することによって所望の構図で被写体を撮影することができるようになっている。尚、以下において、撮影映像又は撮影画像と称した場合には、テレビカメラ１０で現在撮影されている映像又は画像を示すものとする。

また、ビューファインダ３６に表示される撮影映像には、現在ＡＦ枠が設定されている位置、大きさ、形状（縦横比）を示すＡＦ枠の画像が重畳されて表示されるようになっており、ＡＦによりフォーカス制御を行う場合には撮影映像内のどの範囲の被写体にピントが合わせられるかを知ることができるようになっている。尚、ＭＦとＡＦのフォーカス制御は、フォーカスデマンド２６に設けられたモードスイッチ等で切り替えられるようになっている。

図２は、上記テレビカメラシステムに適用されるＡＦ枠自動追尾システムの全体構成を示したブロック図である。

同図のＡＦ枠自動追尾システム１には、図１に示したテレビカメラ１０のレンズ装置１２及びカメラ本体１４とビューファインダ３６が示されている。また、図１のフォーカスデマンド２６の構成要素として、フォーカス操作部５０と、フォーカスデマンド２６に組み込まれたＡＦ枠制御装置（ＡＦ枠自動追尾装置）を構成する画像処理ユニット５８及びＡＦ枠操作部６０が示されている。

テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１４と、カメラ本体１４のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２とから構成される。

カメラ本体１４には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１４の映像信号出力端子等から外部に出力される。

また、図１のようにカメラ本体１４の上部等に設置されるビューファインダ３６には、テレビカメラ１０の撮影映像が表示されるようになっている。ビューファインダ３６には、撮影映像以外の各種情報が表示されるようになっており、例えば、現在の設定されているＡＦ枠の範囲（位置、大きさ、形状）を示す画像が撮影映像に重畳されて表示されるようになっている。

レンズ装置１２は、カメラ本体１４のレンズマウントに装着される撮影レンズ（ズームレンズ）６４を備えており、その撮影レンズ６４により、被写体５６がカメラ本体１４の撮像素子の撮像面に結像されるようになっている。撮影レンズ６４には、図示を省略するが、その構成要素としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。

尚、ＡＦに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。

また、レンズ装置１２には、ＡＦユニット６６及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１２全体を統括制御するものである。また、ＡＦユニット６６は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。

ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、ＡＦ用撮像回路から出力される映像信号は輝度信号である。

ＡＦ用撮像素子の撮像面には、撮影レンズ６４の光路上に配置されたハーフミラー等によってカメラ本体１４の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１４の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１４の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１４の撮像素子の撮影範囲を包含する大きな範囲であってもよい。

ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいてＡＦの対象範囲とするＡＦエリア（ＡＦ枠）の範囲内における被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号から高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうち後述のようにして設定されるＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値はＡＦエリア内の被写体画像のコントラストの高低を示し、その積算値が焦点評価値としてレンズＣＰＵに与えられる。

レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット５８から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。

このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。

尚、上述のＡＦ処理部は、焦点評価値を算出するために、レンズ装置１２に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１４の撮像素子より撮影された映像の映像信号をカメラ本体１４から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。

ここで、ＡＦエリア２００は、図３に示すようにカメラ本体１４における撮像素子の撮像エリア２０２に対して四角形状の領域として設定され、その輪郭を示す枠２０４がＡＦ枠を示し、撮像素子のＡＦエリア２００（ＡＦ枠２０４内）の範囲で撮影される被写体がＡＦによりピントを合わせる対象となる。

尚、本明細書では、撮像エリア２０２に対するＡＦ枠２０４（ＡＦエリア２００）の範囲は、ＡＦ枠２０４の位置、大きさ、及び、形状（縦横比）の３つの要素によって決まるものとし、“ＡＦ枠の範囲を変更する”という趣旨の記載は、ＡＦ枠の位置、大きさ、及び、形状の３つの要素のうち、少なくとも１つの要素を変更することを意味するものとする。

また、レンズ装置１２は、ケーブルを介して、又は、直接的にカメラ本体１４と接続され、レンズ装置１２とカメラ本体１４の各々に設けられたシリアル通信インターフェース（ＳＣＩ）１２ａ、１４ａを通じて各種情報のやり取りが行えるようになっている。これによりＡＦユニット６６において現在設定されているＡＦ枠の情報もカメラ本体１４に送信され、カメラ本体１４内での処理によってビューファインダ３６に表示される撮影映像に現在設定されているＡＦ枠の位置、大きさ、形状に対応したＡＦ枠の画像が重畳表示されるようになっている。

フォーカス操作部５０は、フォーカスデマンド２６の構成要素であると共に、一般的なフォーカスデマンドが備えている構成要素を示している。フォーカス操作部５０の構成要素として、図１に示したフォーカスノブ３０、ＡＦモードとＭＦモードの切替えやＡＦモードの種類（連続モードやモーメンタリモード）の切替えを行うためのモードスイッチ（図示せず）、ＡＦの開始を指示するＡＦ開始スイッチ（図示せず）等、ＡＦの制御内容やＭＦの制御に関する操作部材を備えると共に、それらの操作部材の設定状態を検出し、検出した設定状態に基づいて制御信号を送出する処理回路等を備えている。

フォーカスデマンド２６にはレンズ装置１２とケーブルで接続するためのインターフェース（Ｉ／Ｆ）５２が設けられており、フォーカス操作部５０はそのＩ／Ｆ５２及びケーブルを介してレンズ装置１２に接続され、ＳＣＩ１２ａを通じてレンズＣＰＵとの間のシリアル通信により各種信号のやり取りが行えるようになっている。

これにより、フォーカス操作部５０から送出された各種制御信号がレンズＣＰＵに与えられ、その制御信号に従った処理がレンズＣＰＵで実行されるようになっている。例えば、ＡＦによるフォーカス制御（ＡＦモード）の指示が与えられた場合には、上記のようにＡＦユニット６６から得られる焦点評価値に基づいてＡＦによるフォーカス制御が行われ、ＭＦによるフォーカス制御（ＭＦモード）の指示が与えられた場合には、フォーカスノブ３０の操作に基づいてフォーカス操作部５０から与えられるフォーカス位置指令信号に従ってＭＦによるフォーカス制御が行われるようになっている。

画像処理ユニット５８は、フォーカスデマンド２６にＡＦ枠制御装置の構成要素として組み込まれた処理部であり、レンズ装置１２のＡＦユニット６６において設定されるＡＦ枠の範囲（位置、大きさ、形状（縦横比））を後述のマニュアル操作又はＡＦ枠自動追尾の処理により指定するための処理部である。

画像処理ユニット５８は、ＳＣＩ７０を備えており、そのＳＣＩ７０は、上記Ｉ／Ｆ５２を介してレンズ装置１２に接続され、ＳＣＩ１２ａを通じてレンズＣＰＵとの間で各種信号のやり取りが行えるようになっている。これにより、ＡＦ枠の範囲を指定するＡＦ枠情報が画像処理ユニット５８からレンズ装置１２のレンズＣＰＵに与えられ、そのＡＦ枠情報に基づいてＡＦユニット６６におけるＡＦ枠の範囲が設定される。

また、フォーカスデマンド２６には画像処理ユニット５８に映像信号を取り込むための映像入力コネクタが設けられており、その映像入力コネクタにカメラ本体１４の映像出力コネクタがダウンコンバータ６８を介してケーブルで接続される。これによって、カメラ本体１４の映像出力コネクタから出力されたＨＤＴＶ信号が、ダウンコンバータ６８によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット５８に入力されるようになっている。

詳細は後述するが画像処理ユニット５８は、ＡＦ枠自動追尾処理を実行する際に、カメラ本体１４から入力された映像信号から１コマ分の撮撮画像を順次取り込み、撮影画像の中から所定の追尾対象の被写体を検出する処理を行う。そして、ＡＦによりその被写体にピントが合わせられるようにＡＦ枠の範囲を決定し、決定したＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに送信する。

尚、画像処理ユニット５８の構成及び処理内容については後述する。

ＡＦ枠操作部６０は、ＡＦ枠制御装置としてフォーカスデマンド２６に画像処理ユニット５８と共に一体的に設けられ、又は、その一部又は全てが、フォーカスデマンド２６とは別体の装置、即ち、画像処理ユニット５８とは別体の装置に設けられてケーブル等で接続されている。本実施の形態では、図１のようにタッチパネル付きＬＣＤ４０がフォーカスデマンド２６（画像処理ユニット５８）とは別体で設けられ、他の構成要素はフォーカスデマンド２６に画像処理ユニット５８と共に設けられている。

ＡＦ枠操作部６０は、主にＡＦ枠の制御に関する操作を行うための操作部であり、ＡＦ枠の範囲を操作者がマニュアル操作で指示入力するための操作部材や、ＡＦ枠を所望の被写体に自動で追尾させるＡＦ枠自動追尾に関する操作を行うための操作部材を備えている。

図４のフォーカスデマンド２６の外観図にも併せて示すように、ＡＦ枠操作部６０の操作部材として、ＡＦ枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材１００（例えば、ジョイスティックやトラックボール）、ＡＦ枠の大きさを手動操作により変更するためのサイズ操作部材１０２（例えば、ツマミ)、ＡＦ枠の形状を手動操作により変更するための形状操作部材１０４（例えば、ツマミ）、ＡＦ枠自動追尾の開始を指示する追尾開始スイッチ１０８、ＡＦ枠自動追尾の停止を指示する追尾停止スイッチ１１０が設けられており、これらの操作部材１００、１０２、１０４、１０８、１１０の設定状態が、画像処理ユニット５８（後述のメインボード７０のＣＰＵ７８）により読み取られるようになっている。

また、ＡＦ枠操作部６０のＬＣＤ４０は、ＡＦ枠自動追尾に関するモード等の設定をタッチ操作（タップ操作）で入力できるようにしたもので、画像処理ユニット５８のＣＰＵ７８によりＬＣＤ４０に表示される画像が設定内容に応じて適宜切り換えられるようになっている。ＬＣＤ４０の表示及び操作については後述する。

尚、本実施の形態では、画像処理ユニット５８やＡＦ枠操作部６０を備えたＡＦ枠制御装置がフォーカスデマンド２６に組み込まれた態様を示したが、ＡＦ枠制御装置はフォーカスデマンド２６とは別体の装置として構成してもよい。また、この場合に、ＡＦ枠操作部６０は、その一部又は全てを画像処理ユニット５８と一体の装置に設けられてもよいし、別体の装置に設けてもよい。

次に画像処理ユニット５８の構成及び処理内容について説明する。

画像処理ユニット５８は、主としてメインボード７０、パターンマッチング処理演算ボード７２、顔認識処理演算ボード７４から構成されている。メインボード７０、パターンマッチング処理演算ボード７２、顔認識処理演算ボード７４の各々にはＣＰＵ７８、９０、９２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ７８、９０、９２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。

画像処理ユニット５８における処理は、メインボード７０において統括的に行われるようになっている。そのメインボード７０には、演算処理を行う上記ＣＰＵ７８の他に、ＳＣＩ７０ａ、デコーダ（Ａ／Ｄ変換器）７６、スーパーインポーザ８２、ＲＡＭ８０等が搭載されている。

ＳＣＩ７０ａは、上述のようにレンズ装置１２のＳＣＩ１２ａとの間でシリアル通信を行うためのインターフェース回路であり、上記ＡＦ枠情報等をレンズ装置１２に送信する。

デコーダ７６は、上記ダウンコンバータ６８から画像処理ユニット５８に入力されるテレビカメラ１０の撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット５８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。このデコーダ７６から出力される撮影映像の映像信号は、パターンマッチング処理演算ボード７２や顔認識処理演算ボード７４にも送られ、パターンマッチング処理演算ボード７２や顔認識処理演算ボード７４においてもテレビカメラ１０の撮影映像を１コマ単位の撮影画像として取得することができるようになっている。

スーパーインポーザ８２は、上記のデコーダ７６により得られた撮影映像の映像信号と、ＣＰＵ７８により生成される画像信号とを合成し、その合成した映像信号をＬＣＤ４０に出力・表示する回路である。これにより、カメラ本体１４に設置されているビューファインダ３６と同様にテレビカメラ１０の撮影映像がＬＣＤ４０に表示されると共に、その撮影映像に重ねて、現在設定されているＡＦ枠の範囲を示すＡＦ枠の画像や、タッチパネルでの入力操作を行えるようにしたメニュー画面（メニュー画像）等がＬＣＤ４０に表示される。尚、撮影映像に重畳させることなくＣＰＵ７８で生成された画像のみを表示させることも当然可能である。

ＲＡＭ８０は、ＣＰＵ７８の演算処理において使用するデータを一時的に格納するメモリである。

一方、パターンマッチング処理演算ボード７２や顔認識処理演算ボード７４は、パターンマッチングと顔検出・認識処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ９０、９２の他に画像データを一時的に格納するＶＲＡＭ９４、９６等を備えている。

また、画像処理ユニット５８には、ＳＤ（Secure Digital）カードやＵＳＢメモリなどの外部メモリとしてデータカード１１４を装填するスロット１１５が設けられており、顔認識により特定の人物の顔を検出する際に、その特定の人物の顔を示す認証データを予めデータカード１１４に保存しておき、そのデータカード１１４をスロット７５に装填することで、顔認識に必要な認証データをデータカード１１４からＣＰＵ７８が読み込めるようになっている。

続いて、上記のごとく構成された画像処理ユニット５８によるＡＦ枠の制御についてＬＣＤ４０の表示及び操作に関する処理と共に説明する。

まず、ＬＣＤ４０の表示及び操作に関して説明すると、図５に示すようにＬＣＤ４０の画面４０ａには、テレビカメラ１０の撮影映像に重畳して各種ボタン３００〜３１０からなるメニュー画面（メニュー画像）と、現在設定されているＡＦ枠の範囲を示すＡＦ枠の画像２０４（単にＡＦ枠２０４という）が表示される。メニュー画面の各種ボタン３００〜３１０やＡＦ枠２０４のように撮影映像に重畳される画像は、図２に示した画像処理ユニット５８におけるメインボード７０のＣＰＵ７８により生成され、それらの画像が、スーパーインポーザ８２においてデコーダ７６から得られるテレビカメラ１０の撮影映像に重畳されてＬＣＤ４０に表示されるようになっている。尚、ＬＣＤ４０の表示（表示内容）に関する制御はＣＰＵ７８により行われるものである。

一方、ＬＣＤ４０はタッチパネルを備えており、ＬＣＤ４０の画面４０ａに対して指先等が触れるタッチ操作が行われると、触れた位置（座標）を示す位置情報がＣＰＵ７８に与えられるようになっている。これにより、ＬＣＤ４０の画面４０ａに対して行われたタッチ操作の位置や操作の種類（タップ操作、ダブルタップ操作等）がＣＰＵ７８により検出されるようになっている。そして、その操作に従った処理がＣＰＵ７８により実行されるようになっている。

ＬＣＤ４０の画面４０ａにおける基本的な操作として、各ボタン３００〜３１０に予め割り当てられた指示を入力する操作や、ＡＦ枠２０４の範囲を指定する操作があり、前者の操作は、各ボタン３００〜３１０の位置を指先等でタップ操作するものである。後者のＡＦ枠２０４の範囲を指定する操作は、例えば、撮影映像が表示されたＬＣＤ４０の画面４０ａ上において、ＡＦ枠２０４を移動させたい位置をタップ操作すれば、その位置が中心となるようにＡＦ枠２０４を移動させることができる。また、ＡＦ枠２０４の頂点や辺を指先等でタッチしてそのままスライドするドラッグ操作によってドラッグ操作した位置までタッチした頂点や辺の位置を移動させてＡＦ枠２０４の大きさや形状を変更することができる。

ＬＣＤ４０の画面４０ａに表示されるメニュー画面（メニュー画像）について説明すると、図５において、”固定”と表示された固定モード選択ボタン３００、”物体追尾”と表示された物体追尾モード選択ボタン３０２、”顔検出”と表示された顔検出追尾モード選択ボタン３０４、”顔認識”と表示された顔認識追尾モード選択ボタン３０６は、ＡＦ枠の制御モードを選択するボタンであり、これらのボタン３００〜３０６のいずれかをタップ操作することで、固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モードのうちから所望のモードを選択することできるようになっている。尚、各モードの内容については後述する。

”セット”と表示されたセットボタン３０８と、”リセット”と表示されたリセットボタン３１０は、ＡＦ枠自動追尾の開始と停止を指示するボタンであり、これらのボタン３０８、３１０は、ＡＦ枠自動追尾の開始又は停止の指示を操作者が行う制御モード（物体追尾モード、顔検出モード）が選択された場合にのみ表示される。尚、これらのセットボタン３０８とリセットボタン３１０は、ＡＦ枠操作部６０の追尾開始スイッチ１０８と追尾停止スイッチ１１０（図１及び図４参照）と同様に作用するボタンである。

また、ＡＦ枠自動追尾の開始は、画面４０ａの所望の位置をダブルタップ操作（２回連続して同一位置をタップする操作）すると、その位置を中心とする位置にＡＦ枠が設定されると共に、ＡＦ自動追尾が開始されるようになっている。即ち、ダブルタップ操作の１回目のタップ操作がＡＦ枠をタップ操作した位置に移動させる指示操作となり、続く２回目のタップ操作がＡＦ自動追尾の開始を指示する操作となる。これにより、セットボタン３０８をタップ操作してＡＦ枠自動追尾の開始を指示する操作を省略することができ、迅速にそのＡＦ枠の位置の設定及びＡＦ枠自動追尾の開始を指示することができるようになっている。尚、ＡＦ枠自動追尾の開始をダブルタップ操作のみによって行えるようにし、上記セットボタン３０８の表示を行わないようにしてもよい。

続いて、図５の画面４０ａにおいて示した固定モード選択ボタン３００、物体追尾モード選択ボタン３０２、顔検出追尾モード選択ボタン３０４、顔認識追尾モード選択ボタン３０６によって選択可能となっているＡＦ枠の各制御モードについて説明する。本実施の形態では、ＡＦ枠の制御モードとして固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モードの４つのモードが上記選択ボタン３００〜３０６のいずれかをタップ操作することにより選択できるようになっている。

固定モードは、ＡＦ枠の範囲（位置、大きさ、形状）を操作者がマニュアル操作で指定し、その指定した位置にＡＦ枠を固定するモード（マニュアルモード）である。この固定モードは、カメラをほとんど動かさないニュース番組などでの撮影に有益なモードである。

図５のＬＣＤ４０の画面４０ａにおいて固定モード選択ボタン３００をタップ操作すると固定モードが選択され、画像処理ユニット５８のメインボード７０に搭載されたＣＰＵ７８は、固定モードの処理を実行する。

即ち、ＣＰＵ７８は、上記のようにＬＣＤ４０の画面４０ａに対するＡＦ枠の範囲を変更する操作や、ＡＦ枠操作部６０に設けられたＡＦ枠２０４をマニュアル操作で変更するための操作部材（位置操作部材１００、サイズ操作部材１０２、形状操作部材１０４）の操作に基づいてＡＦ枠の範囲を決定する。ＣＰＵ７８は、ＡＦ枠の範囲を決定すると、そのＡＦ枠の範囲を示すＡＦ枠情報をＳＣＩ７０ａを通じてレンズ装置１２のレンズＣＰＵに送信する。

物体追尾モードは、ＡＦ枠自動追尾の１つのモードであり、任意の種類の物体をＡＦ枠で追尾させるモードである。この物体追尾モードは、人物の顔以外を追尾する競馬中継、カ−レース中継などでの撮影に有益なモードである。

図５のＬＣＤ４０の画面４０ａにおいて物体追尾モード選択ボタン３０２をタップ操作すると物体追尾モードが選択され、画像処理ユニット５８のメインボード７０に搭載されたＣＰＵ７８は、物体追尾モードの処理を開始する。

図６は、物体追尾モードの処理手順を示したフローチャートであり、以下、物体追尾モードの処理をこのフローチャートに従って説明する。尚、物体追尾モードが選択された場合にＬＣＤ４０の画面４０ａには、図５に示したものと同様のメニュー画面が表示される。

メインボード７０のＣＰＵ７８は、ＡＦ枠自動追尾の開始を指示する操作がＡＦ枠操作部６０から与えられるまで、固定モードと同様にＡＦ枠をマニュアル操作に従って変更し、追尾対象を設定するための処理（ＡＦ枠の初期設定処理）を行う。即ち、操作者は、追尾対象（ＡＦの対象）とする被写体画像が含まれるようにＡＦ枠の範囲を指定し、これに従ってＣＰＵ７８はＡＦ枠の範囲を設定する（ステップＳ１０）。尚、図５では、人物の顔にＡＦ枠２０４が設定されているが、この物体追尾モードでは人物の顔以外の物体を追尾対象とすることができる。

続いて操作者が、ＡＦ枠自動追尾の開始を指示する操作を行うと、ＣＰＵ７８（及びパターンマッチング処理演算ボード７２のＣＰＵ９０）はパターンマッチングによるＡＦ枠自動追尾の処理（ステップＳ１４〜Ｓ２６）を開始すると共に、ＡＦ枠自動追尾の処理で決定されるＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに指定する処理（ＡＦ枠情報の送信）を開始する（ステップＳ１２）。

尚、ＡＦ枠自動追尾の開始の指示は、図５に示したＬＣＤ４０の画面４０ａ上において、セットボタン３０８をタップ操作するか、又は、任意の位置（ＡＦ枠を設定する位置）をダブルタップ操作することによって行われる。また、ＡＦ枠操作部６０おいてメカ的なスイッチとして設けられた追尾開始スイッチ１０８を押下操作した場合にもＡＦ枠自動追尾の開始の指示が行われる。ＬＣＤ４０の画面４０ａ上において、ダブルタップ操作することによってＡＦ枠自動追尾の開始を指示する場合には、ステップＳ１０におけるＡＦ枠の位置の設定も同時に行うことができる。ただし、任意の位置でのダブルタップ操作を単にＡＦ枠自動追尾の開始を指示する操作とする態様も可能であり、その場合にはＡＦ枠の位置の設定とは無関係のものとなる。

また、ＡＦ枠自動追尾の開始する際にＡＦによるフォーカス制御が行われていない場合（ＡＦモードとなっていない場合）には、ＡＦ枠自動追尾の開始と連動してＡＦの開始も指示される。

ＡＦ枠自動追尾の処理を開始すると、ＣＰＵ７８からの指示によりパターンマッチング処理演算ボード７２のＣＰＵ９０は、デコーダ７６から１コマ分の撮影画像の画像データを取り込む（ステップＳ１４）。続いて、現在設定されているＡＦ枠の範囲をＣＰＵ７８から取得し、取り込んだ撮影画像のうちＡＦ枠の範囲内の画像を基準パターンの画像として設定（記憶）する（ステップＳ１６）。そして、以下のステップＳ１８〜Ｓ２６の処理を繰り返し実行する。

まず、ＣＰＵ９０は、デコーダ７６から１コマ分の撮影画像の画像データを取り込み（ステップＳ１８）、パターンマッチング処理を行って、撮影画像の中から基準パターンの画像に一致する画像範囲を検出する（ステップＳ２０）。そして、その検出した画像範囲をメインボードのＣＰＵ７８に通知する。

ＣＰＵ７８は、基準パターンの画像が移動したか否か、即ち、基準パターンを検出した画像範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ２２）。尚、撮影画像内での基準パターンの画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。

ステップＳ２２においてＹＥＳと判定した場合には、ステップＳ２０において検出した画像範囲を新たなＡＦ枠の範囲として設定（更新）し、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ２４）。

また、パターンマッチング処理演算ボード７２のＣＰＵ９０は、ステップＳ２２において検出した画像範囲の画像を新たな基準パターンの画像として更新する（ステップＳ２６）。

ステップＳ２２においてＮＯと判定した場合には、ステップＳ２４におけるＡＦ枠の更新は行わず、ステップＳ２６における基準パターンの更新のみが行われる。

ステップＳ２６の処理が終了すると、ステップＳ１８の処理に戻る。

尚、操作者によりＡＦ枠自動追尾の停止を指示する操作、例えば、ＬＤＣ４０の画面４０ａに表示されたリセットボタン３１０のタップ操作が行われると、ＡＦ枠自動追尾の処理を停止し、ステップＳ１０に戻る。また、このとき、ＡＦによるフォーカス制御も停止させるようにしてもよい。

顔検出追尾モードは、ＡＦ枠の自動追尾を行う１つのモードであり、任意の人物の顔をＡＦ枠で追尾させるモードである。この顔検出追尾モードは、人物の顔を検出して追尾する歌謡番組などでの撮影に有益なモードである。

図５のＬＣＤ４０の画面４０ａにおいて顔検出追尾モード選択ボタン３０４をタップ操作すると顔検出追尾モードが選択され、画像処理ユニット５８のメインボード７０に搭載されたＣＰＵ７８は、顔検出追尾モードの処理を開始する。

図８は、顔検出追尾モードの処理手順を示したフローチャートであり、以下、顔検出追尾モードの処理をこのフローチャートに従って説明する。

メインボード７０のＣＰＵ７８は、顔検出追尾モードが選択されると、まず、追尾対象の顔を設定するための処理（ＡＦ枠の初期設定処理）を行う。即ち、ＣＰＵ７８は、顔認識処理演算ボード７４のＣＰＵ９２に対して顔検出処理の開始を指示する。これにより、まず、顔認識処理演算ボード７４のＣＰＵ９２は、デコーダ７６から１コマ分の撮影画像の画像データを取り込む（ステップＳ３０）。続いて、その撮影画像の中に含まれる任意の人物の顔（顔画像）を検出する周知の顔検出処理を行う（ステップＳ３２）。そして、検出した顔画像の範囲をメインボード７０のＣＰＵ７８に通知する。尚、撮影画像内に複数の人物の顔画像が含まれる場合にはそれらの複数の顔画像の範囲を検出し、ＣＰＵ７８に通知する。

ＣＰＵ７８は、図７に示すように、検出された顔画像の範囲を顔枠２０４ａ、２０４ｂ、２０４ｃとしてＬＣＤ４０の画面４０ａに表示させる。そして、操作者が、それらの顔枠２０４ａ、２０４ｂ、２０４ｃにより示された人物の顔のうち、追尾対象（ＡＦの対象）とする顔をタップ操作によって選択（指定）すると、ＣＰＵ７８はその選択された顔を追尾対象とし、その追尾対象とした顔の顔枠をＡＦ枠として設定する（ステップＳ３４）。

尚、ＡＦ枠が設定される前の顔枠とＡＦ枠とは異なる色で表示するようにし、例えば、顔枠を緑色、ＡＦ枠を赤色で表示するようにしてもよい。また、ＣＰＵ７８は操作者が選択した顔枠をＡＦ枠として設定した場合には、ＬＣＤ４０の画面４０ａでの顔枠の表示をオフする。更に、顔枠が１つの場合には操作者が追尾対象を選択する操作を行うことなく自動的にその顔枠をＡＦ枠として設定するようにしてもよい。

以上の追尾対象の顔を設定する処理（ＡＦ枠の初期設定処理）によりＡＦ枠を設定した後、操作者が、ＡＦ枠自動追尾の開始を指示する操作を行うと、ＣＰＵ７８（及び顔認識処理演算ボード７４のＣＰＵ９２）は顔検出処理によるＡＦ枠自動追尾の処理（ステップＳ３８〜Ｓ４６）を開始すると共に、このＡＦ枠自動追尾の処理で決定されるＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに指定する処理（ＡＦ枠情報の送信）を開始する（ステップＳ３６）。

ここで、ＡＦ枠自動追尾の開始の指示は、物体追尾モードの場合と同様にセットボタン３０８のタップ操作や、ＡＦ枠の位置のダブルタップ操作等によって行うことができる。また、ステップＳ３４において、追尾対象の顔とする顔枠を選択する際に（ＡＦ枠を設定する際に）、選択する顔枠をタップ操作する代わりにダブルタップ操作することによって、その顔枠をＡＦ枠として設定すると同時にＡＦ枠自動追尾の開始を指示することができる。ただし、任意の位置でのダブルタップ操作を単にＡＦ枠自動追尾の開始を指示する操作とする態様も可能であり、その場合にはＡＦ枠の設定とは無関係に任意の位置でダブルタップ操作を行ってＡＦ枠自動追尾の開始を指示するものとなる。また、ステップＳ３４においてＡＦ枠を設定した際に、自動的にＡＦ枠自動追尾の処理を開始するようにしてもよい。尚、物体追尾モードと同様にＡＦ枠自動追尾の開始する際にＡＦによるフォーカス制御が行われていない場合（ＡＦモードとなっていない場合）には、ＡＦ枠自動追尾の開始と連動してＡＦの開始も指示される。

ＡＦ枠自動追尾の処理を開始すると、顔認識処理演算ボード７４のＣＰＵ９２は、ステップＳ３０及びステップＳ３２の処理と同様にＣＰＵ７８からの顔検出処理の実行の指示によりデコーダ７６から１コマ分の撮影画像の画像データを取り込み（ステップＳ３８）、その撮影画像の中に含まれる任意の人物の顔を検出する顔検出処理を行う（ステップＳ４０）。そして、検出した顔画像の範囲をメインボード７０のＣＰＵ７８に通知する。

ＣＰＵ７８は、検出された顔画像の範囲のうち、現在設定されているＡＦ枠の範囲に最も近接したものを追尾対象の顔画像の範囲として検出する（ステップＳ４２）。尚、ステップＳ４０において、顔を検出する範囲を撮影画像全体の範囲ではなく、現在設定されているＡＦ枠の位置の周辺部分に制限してもよい。

続いてＣＰＵ７８は、追尾対象の顔が移動したか否か、即ち、検出した顔画像の範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ４４）。尚、顔画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。

ステップＳ４４においてＹＥＳと判定した場合には、ステップＳ４２において検出した顔画像の範囲を新たなＡＦ枠の範囲として設定（更新）、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ４６）。そして、ステップＳ３８の処理に戻る。ステップＳ４４においてＮＯと判定した場合には、ステップＳ４６におけるＡＦ枠の更新は行わず、ステップＳ３８の処理に戻る。

尚、操作者によりＡＦ枠自動追尾の停止を指示する操作、例えば、ＬＤＣ４０の画面４０ａに表示されたリセットボタン３１０のタップ操作が行われると、ＡＦ枠自動追尾の処理を停止し、ステップＳ３０に戻る。また、このとき、ＡＦによるフォーカス制御も停止させるようにしてもよい。ＡＦ枠自動追尾の処理を本フローチャートの処理が終了する。

また、ステップＳ４０の顔検出処理において撮影画像の中に顔画像が全く検出されなかった場合や、ステップＳ４２の追尾対象の顔画像の検出において、現在設定されているＡＦ枠の範囲に対して最も近接した顔画像の範囲が、明らかに現在のＡＦ枠の範囲との連続性がない場合（離れ過ぎる場合等）には追尾不能として上記と同様にＡＦ枠自動追尾の処理を停止してステップＳ３０に戻る。

顔認識追尾モードは、ＡＦ枠の自動追尾を行う１つのモードであり、事前に認証データとして登録した人物の顔をＡＦ枠で追尾させるモードである。この顔認識追尾モードは、撮影する人物が事前に決まっている歌謡番組やスポーツ中継などでの撮影に有益なモードである。

図５のＬＣＤ４０の画面４０ａにおいて顔認識追尾モード選択ボタン３０６をタップ操作すると顔認識追尾モードが選択され、画像処理ユニット５８のメインボード７０に搭載されたＣＰＵ７８は、顔認識追尾モードの処理を開始する。また、顔認識追尾モードが選択された場合、ＬＣＤ４０の画面４０ａが図９のように切り替わり、後述のように顔認識に関連する登録顔画像表示部３１６（３１６ａ〜３１６ｃ）や選択ボタン３１８ａ、３１８ｂ、編集ボタン３２０が表示される。また、後述のように認証データとして事前に登録された顔の中から追尾対象とする顔（追尾対象者の顔）設定され、その追尾対象者の顔が検出されると自動的にＡＦ枠自動追尾が開始されるため、図５のセットボタン３０８も非表示となる。

図１０は、顔認識追尾モードの処理手順を示したフローチャートであり、以下、顔認識追尾モードの処理をこのフローチャートに従って説明する。

メインボード７０のＣＰＵ７８は、顔認識追尾モードが選択されると、まず、追尾対象の顔（追尾対象者の顔）を設定するための処理（ＡＦ枠の初期設定処理）を行う（ステップＳ５０）。即ち、図２に示したスロット１１５に装填されたデータカード１１４には、追尾対象の候補となる１又は複数の人物の顔の認証データが登録されており、ＣＰＵ７８は、その認証データをデータカード１１４から読み込む。ここで認証データは、例えば、一人について、日の当たり方の違う顔や正面や左あるいは右向きの顔などの異なる顔画像、両目の距離、目と鼻の距離やこれらの比率などの複数のデータから構成されている。そして、ＣＰＵ７８は、図９のように認証データとして登録されている人物の顔画像を登録顔画像表示部３１６（３１６ａ〜３１６ｃ）に表示する。操作者は、登録顔画像表示部３１６に表示されている顔画像の中から、追尾対象とする顔画像を、選択ボタン３１８ａ又は３１８ｂをタップ操作して選択する。上側の選択ボタン３１８ａをタップ操作する毎に、選択される顔画像が、現在選択されている顔画像の１つ上側の顔画像に変更され、下側の選択ボタン３１８ｂをタップ操作する毎に、選択される顔画像が、現在選択されている顔画像の１つ下側の顔画像に変更される。尚、登録顔画像表示部３１６において現在選択されている顔画像は他の顔画像より拡大表示される（３１６ｂ参照）。また、登録顔画像表示部３１６での表示形態や追尾対象の選択方法はこれに限らない。

このようにして認証データとして登録されている顔の中から操作者が追尾対象とする顔を選択すると、ＣＰＵ７８はその選択された顔を追尾対象の顔（追尾対象者）として設定する。

尚、編集ボタン３２０をタップ操作すると、登録顔画像表示部３１６において表示する顔画像の順序を編集することができるようになっている。これによって、例えば、認証データとして登録した複数人物の顔を予め決められた順序で追尾対象として設定する場合に、その順序に従って登録顔画像表示部３１６において表示する顔画像の順序を設定しておけば、選択ボタン３１８ａ又は３１８ｂを１回ずつタップ操作することに予め決められた順序で追尾対象の顔を切り替えることができるようになっている。

ＣＰＵ７８は、追尾対象者を設定すると、ＡＦ枠自動追尾の処理（ステップＳ５４〜Ｓ７８）を開始すると共に、このＡＦ枠自動追尾の処理で決定されるＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに指定する処理（ＡＦ枠情報の送信）を開始する（ステップＳ５２）。

まず、ＣＰＵ７８は、顔認識処理演算ボード７４のＣＰＵ９２に対して顔認識処理の開始を指示する。顔認識処理の開始が指示されると、顔認識処理演算ボード７４のＣＰＵ９２は、デコーダ７６から１コマ分の撮影画像の画像データを取り込み（ステップＳ５４）、その撮影画像の中に含まれる任意の顔（顔画像）を顔検出追尾モードと同様の顔検出処理により検出する。続いて、メインボード７０のＣＰＵ７８から認証データを取得し、顔検出処理により検出した顔画像が認証データとして事前に登録されている特定人物の顔画像であるか否かをその認証データを用いて判断する顔認識処理を実行する（ステップＳ５６）。尚、この顔認識追尾モードにおいて行われる顔検出処理は顔認識処理の一部であるものとする。

顔認識処理が終了すると、ＣＰＵ９２はその結果をメインボード７０のＣＰＵ７８に通知する。これにより、ＣＰＵ７８は、認証データとして登録されている特定人物の顔が検出された場合のその顔画像の範囲と、認証データとして登録されていない人物の顔が検出された場合のその顔画像の範囲とを取得する。

続いてＣＰＵ７８は、ステップＳ５０において設定された追尾対象者の顔が検出されたか否かを判定する（ステップＳ５８）。ＮＯと判定した場合にはステップＳ５４の処理に戻り、上述の処理を繰り返す。即ち、追尾対象の顔がステップＳ５６の顔認識処理によって撮影画像内で検出されるまで、ステップＳ５４〜ステップＳ５８の顔認識処理を繰り返す。

一方、ステップＳ５８においてＹＥＳと判定した場合には、即ち、撮影画像内に追尾対象者の顔が検出された場合には、その顔画像の範囲をＡＦ枠の範囲として設定する（ＡＦ枠の初期設定処理）。そして、ＣＰＵ７８は物体追尾処理（ステップＳ６０〜ステップＳ７２）に移行する。即ち、物体追尾モードにおける物体追尾の処理（図６のステップＳ１６〜ステップＳ２６）と同等の処理に移行する。

ここで、ステップＳ５８で追尾対象者の顔を検出した後も、ステップＳ５４〜ステップＳ５８の顔認識処理を繰り返し、顔認認識処理によって検出した追尾対象者の顔画像の範囲をＡＦ枠の範囲とすることによって追尾対象者の顔を追尾することができる。しかしながら、顔認識処理は処理時間が長く、テレビカメラ１０（カメラ本体１４）において複数コマ分の撮影画像が撮像される時間を要してしまうため、追尾が遅れる。そのため、本実施の形態の顔認識追尾モードでは、ＡＦ枠自動追尾の開示時に顔認識処理により追尾対象者の顔を検出した後は、高速処理の物体追尾処理によって追尾対象者の顔を追尾する。

パターンマッチング処理演算ボード７２のＣＰＵ９０は、ステップＳ５４において、顔認識処理演算ボード７４のＣＰＵ９２と共に、デコーダ７６から１コマ分の撮影画像の画像データを取り込みを行っており、ＣＰＵ７８が物体追尾処理に移行すると、現在設定されているＡＦ枠の範囲をＣＰＵ７８から取得し、取り込んだ撮影画像のうちＡＦ枠の範囲内の画像を基準パターンの画像として設定（記憶）する（ステップＳ６０）。そして、以下のステップＳ６２〜Ｓ７２の処理を繰り返し実行する。

まず、ＣＰＵ９０は、デコーダ７６から１コマ分の撮影画像の画像データを取り込み（ステップＳ６２）、パターンマッチング処理を行って、撮影画像の中から基準パターンの画像に一致する画像範囲を検出する（ステップＳ６４）。そして、その検出した画像範囲（又は、基準パターンに一致する画像が検出されなかったこと）をメインボードのＣＰＵ７８に通知する。

物体追尾モードにおける図６のフローチャートの処理では省略したが、ＣＰＵ７８は、ＣＰＵ９０からの通知に基づいて、基準パターンに一致する画像が検出されたか否か（マッチングしたか否か）を判定する（ステップＳ６６）。ＮＯと判定した場合には、追尾対象者の顔を見失った状態であるため、ステップＳ５４に戻り、顔認証処理からやり直す。

一方、ステップＳ６６においてＹＥＳと判定した場合には、ＣＰＵ７８は、基準パターンの画像が移動したか否か、即ち、基準パターンを検出した画像範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ６８）。尚、撮影画像内での基準パターンの画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。

ステップＳ６８においてＹＥＳと判定した場合には、ステップＳ６４において検出した画像範囲を新たなＡＦ枠の範囲として設定（更新）し、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ７０）。

また、パターンマッチング処理演算ボード７２のＣＰＵ９０は、ステップＳ６４において検出した画像範囲の画像を新たな基準パターンの画像として更新する（ステップＳ７２）
ステップＳ６８においてＮＯと判定した場合には、ステップＳ７０におけるＡＦ枠の更新は行わず、ステップＳ７２における基準パターンの更新のみが行われる。

ステップＳ７２の処理が終了すると、続いてＣＰＵ７８は、初期値が０のパラメータＮに１を加算し（Ｎ＝Ｎ＋１）（ステップＳ７４）、そのパラ−メータＮが４になったか否か、又は、追尾対象者の顔を変更する操作が行われたか否かを判定する（ステップＳ７６）。即ち、Ｎ＝４と、追尾対象者の顔を変更する操作が行われたことのいずれか一方の条件が成立したか否かを判定する。

ＮＯと判定した場合には、ステップＳ６２に戻り、ステップＳ６２〜ステップＳ７２の物体追尾処理を繰り返す。

一方、ステップＳ７６においてＹＥＳと判定した場合には、Ｎ＝０にリセットした後（ステップＳ７８）、ステップＳ５４に戻り、ステップＳ５４〜ステップ５８の顔認識処理からやり直す。

これによれば、追尾対象者の顔を変更する操作が行われない場合には、ステップＳ６２〜ステップＳ７２の物体追尾処理が３回分実行されるごとに、ステップＳ５４〜ステップＳ５８の顔認識処理が１回実行されるようになる。図１１（Ａ）は、従来の顔認識追尾モードにおける顔認識処理と物体追尾処理の実行パターンを示し、図１１（Ｂ）は、本実施の形態の顔認識追尾モードにおける顔認識処理と物体追尾処理の実行パターンを示す。テレビカメラ１０により撮影される映像の映像信号のうち１コマ分（１フレーム分）の撮影画像が得られる期間（時間）を１Ｈとすると、１回分の顔認識処理は２コマ分の時間２Ｈ（１Ｈ以上、２Ｈ以下）を要する一方、１回分の物体追尾処理は１コマ分の時間１Ｈ（１Ｈ以下）で完了する。従来は同図（Ａ）に示すようにＡＦ枠自動追尾を開始する際に顔認識処理を１回実行した後は、ＡＦ枠自動追尾の停止が指示されるまで（例えば、図９の画面４０ａにおけるリセットボタン３１０のタップ操作）、物体追尾処理が継続して繰り返し実行される。一方、本実施の形態では、同図（Ｂ）に示すようにＡＦ枠自動追尾を開始する際に顔認識処理を１回実行した後、物体追尾処理が３回繰り返される。そして、その後に顔認識処理が再度実行される。即ち、物体追尾処理が３回繰り返されるごとに顔認識処理が１回実行されるようになり、顔認識処理が所定時間おきに実行されるようになる。

従って、物体追尾処理を行っている際に、追尾対象者の顔と他の顔が交差した場合のように追尾対象者とは別の人物の顔に追尾対象が変わってしまった場合であっても、顔認識処理が実行されることによって真の追尾対象者に顔が追尾対象として再度設定されるようになる。尚、顔認識処理は物体追尾処理が３回以外の回数が実行されたときに行うようにしてもよい。

また、本実施の形態の顔認識追尾モードでは、ある人物の顔を追尾対象者の顔として追尾している場合に、別の人物の顔を追尾対象者の顔として切り替えることが可能である。即ち、ある人物の顔を追尾対象者の顔として追尾している場合に、操作者が、図９のＬＣＤ４０の画面４０ａに表示されている登録顔画像表示部３１６に表示されている顔画像の中から、新たに追尾対象としたい人物の顔を、選択ボタン３１８ａ又は３１８ｂをタップ操作して選択すると、物体追尾処理の間に適宜行われる顔認証処理によって、その新たに選択された人物の顔画像が追尾対象者の顔として設定される。特に、本実施の形態では、そのような追尾対象者を変更する操作が行われると、ステップＳ７６においてＹＥＳと判定され、顔認識処理が瞬時に行われ追尾対象者が変更される。ただし、ステップＳ７６において、追尾対象者の顔を変更する操作が行われたか否かを判定条件として含めなくても、操作者が新たな追尾対象者の顔を選択した場合には、３回分の物体追尾処理の後に行われる顔認識処理によって、その選択された追尾対象者の顔が新たな追尾対象者の顔として変更されるため、ステップＳ７６における判定処理はＮ＝４か否かの判定のみであってもよい。

また、顔認識処理が適宜行われるため、図９の画面４０ａのように撮影画像の中に存在する顔、即ち、認証データとして事前に登録された顔や、認証データとして登録されていない顔の範囲をＣＰＵ７８が認識することができ、画面４０ａの顔枠２０４ａ、２０４ｂ、２０４ｃのようにそれらの認識した顔の範囲が画面４０ａに表示されるようになっている。そして、操作者が新たに追尾対象とする人物の顔を選択する場合に、登録顔画像表示部３１６によって選択するのではなく、顔枠が表示された顔の中から選択したい顔の顔枠内を直接タップ操作すると、そのタップ操作した顔枠内の顔が新たな追尾対象者の顔として設定されるようになっている。このとき、認証データとして事前に登録された顔だけでなく、認証データとして登録されていない顔も新たな追尾対象者の顔として選択できるようにすることも可能である。尚、顔枠を直接タップ操作して追尾対象者の顔を選択する方法は、ＡＦ枠自動追尾の開示時において最初に追尾対象者の顔を選択する際の方法としても適用することができる。尚、この選択方法と登録顔画像表示部３１６に表示されている顔から選択する方法（選択ボタン３１８ａ又は３１８ｂをタップ操作して選択する方法）とのいずれか一方のみの方法のみで追尾対象者の顔を選択できるようにしても良い。しかしながら、例えば、認証データが事前に登録されている顔の数が少なく、撮影画像内に含まれる顔の数が多い場合には、登録顔画像表示部３１６に表示されている顔から選択する方法の方が所望の人物の顔の選択が容易であり、その逆の場合には顔枠を直接タップ操作して選択する方法の方が所望の人物の顔の選択が容易であるため、両方の方法で選択できるようにした方が好ましい。

以上、上記実施の形態の顔認識追尾モードでは、物体追尾モードの処理を利用し、その物体追尾の処理としてパターンマッチング処理を行う場合について説明したが、物体追尾の処理としてパターンマッチング処理以外の方法を用いてもよい。即ち、パターンマッチング処理でなくても撮影画像内から追尾対象とする任意の物体の画像範囲を検出することができる処理であれば良い。

１…ＡＦ枠自動追尾システム、１０…テレビカメラ、１２…レンズ装置、１４…カメラ本体、２６…フォーカスデマンド、３６…ビューファインダ、４０…タッチパネル付き液晶ディスプレイ（ＬＣＤ）、５０…フォーカス操作部、５８…画像処理ユニット、６０…ＡＦ枠操作部、６６…ＡＦユニット、６８…ダウンコンバータ、７０…メインボード、７２…パターンマッチング処理演算ボード、７４…顔認識処理演算ボード、７６…デコーダ、７８、９０、９２…ＣＰＵ、８２…スーパーインポーザ、１１４…データカード、１１５…スロット、２００…ＡＦエリア、２０４…ＡＦ枠、３００…固定モード選択ボタン、３０２…物体追尾モード選択ボタン、３０４…顔検出追尾モード選択ボタン、３０６…顔認識追尾モード選択ボタン、３０８…セットボタン、３１０…リセットボタン、３１６…登録顔画像表示部、３１８ａ、３１８ｂ…選択ボタン、３２０…編集ボタン

Claims (2)

1. 撮像手段により撮影される被写体の範囲のうちＡＦ枠に対応する範囲内の被写体にピントが合うように、前記撮像手段に被写体像を結像する撮影光学系のフォーカスを制御するオートフォーカス手段と、
   事前に記憶した特定人物の顔の特徴を示す認証データを用いて前記撮像手段により得られた撮影画像内から該特定人物の顔の画像を検出する顔認識処理手段と、
   前記撮像手段により順次得られる撮影画像内から任意の物体の画像を示す基準パターン画像と合致する画像の範囲をパターンマッチング処理により順次検出し、該検出した範囲をＡＦ枠の範囲として設定することにより、前記物体の画像をＡＦ枠で追尾する物体追尾手段と、
   を備え、
   前記顔認識処理手段により検出した前記特定人物の顔の画像の範囲をＡＦ枠の範囲として設定した後、該設定したＡＦ枠の範囲の画像を前記基準パターン画像として設定し、該設定した基準パターン画像に合致する画像を前記物体追尾手段によりＡＦ枠で追尾する顔認識追尾手段であって、前記顔認識処理手段によるＡＦ枠の範囲の設定を所定時間おきに実行すると共に、前記物体追尾手段による追尾中に前記基準パターン画像と合致する画像が検出されなかった場合には、前記顔認識処理手段によるＡＦ枠の範囲の設定から実行し直す顔認識追尾手段を備えたことを特徴とするオートフォーカスシステム。
2. 前記撮像手段により順次得られる撮影画像を表示する表示画面を備えると共に、該表示画面に対するタッチ操作を検出するタッチパネルを備えた操作部を有し、前記顔認識追尾手段は、前記特定人物の顔の画像をＡＦ枠で追尾している際に、前記操作部において前記顔認識処理手段より検出している特定人物と異なる他の人物の顔がタップ操作されたことを検出すると、前記タップ操作された人物の顔の画像を、前記顔認識処理手段により検出する画像として変更すると共に、前記タップ操作された人物の顔の画像をＡＦ枠で追尾することを特徴とする請求項１のオートフォーカスシステム。

Images