JP5276538B2 - Ａｆ枠自動追尾システム - Google Patents

Description

本発明はＡＦ枠自動追尾システムに係り、特に、オートフォーカス（ＡＦ）によりピントを合わせる被写体の範囲を示すＡＦ枠（ＡＦエリア）を所定の被写体に自動追尾させる機能を備えたＡＦ枠自動追尾システムに関する。

従来、カメラのフォーカスを自動的に合わせるオートフォーカス（ＡＦ）システムにおいては、どこにフォーカスを合わせるかをカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっている。

しかし、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、被写体にピントを合わせる目的でＡＦエリア（ＡＦ枠）を被写体に自動追尾させるＡＦ枠自動追尾システムが知られている（例えば、特許文献１等参照）。尚、本明細書では、ＡＦエリアの範囲の輪郭を示すＡＦ枠をＡＦエリアと同様にピントを合わせる被写体の範囲を意味する用語として主に使用するものとする。

また、撮像された画像中から人物の顔を表す画像を検出し、その被写体となった顔に対して自動的にピントを合わせたり、あるいは上記検出された画像中の顔を表す領域が拡大されるように自動的にズーム倍率を変更させるデジタルカメラが知られている（例えば、特許文献２等参照）。

特開２００６−２６７２２１号公報 特開２００４−３２０２８６号公報

ところで、上記のように所定の被写体にＡＦ枠を自動追尾させるＡＦ枠自動追尾を開始する場合、操作者は、ピントを合わせる被写体、即ち、追尾対象の被写体を指定する必要がある。そのため、操作者は、撮影範囲内でのＡＦ枠の位置をジョイスティック等の操作装置で移動させ、ＡＦ枠の位置を追尾対象としたい被写体の位置に合わせるという操作を行う。そして、追尾開始スイッチのオン操作などによって、現在のＡＦ枠の範囲内の被写体を追尾対象の被写体として設定（確定）すると共に、ＡＦ枠自動追尾の開始を指示するための操作を行っている。

しかしながら、上記のようにＡＦ枠の位置を追尾対象の被写体の位置に設定する操作は、手間や時間を要するという問題がある。また、取材などで使用される肩担ぎタイプのテレビカメラ(ハンディカメラ)では、ＡＦ枠を操作するための操作装置を操作者（カメラマン）が操作し易い場所に設置することも難しいという問題があった。

また、操作者は常にビューファインダを見てカメラワークを行っているので、なるべく簡単な操作でＡＦ枠を自動追尾できるようにすることも要望されている。

本発明は、このような事情に鑑みてなされたもので、ＡＦ枠自動追尾を開始する際の煩雑な操作を不要にし、ハンディカメラのようなＡＦ枠操作装置の設置がスペース上困難な小型のカメラにおいても適用することができるＡＦ枠自動追尾システムを提供することを目的とする。

前記目的を達成するために、本発明に係るＡＦ枠自動追尾システムは、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦ枠の範囲の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、所定の追尾対象の被写体にピントが合うように前記ＡＦ枠を前記追尾対象の被写体に自動追尾させるＡＦ枠自動追尾手段と、を備え、前記ＡＦ枠自動追尾手段による自動追尾の動作モードとして、逐次撮像される撮影画像の中から追尾対象の顔を顔検出処理により検出し、該追尾対象の顔に前記ＡＦ枠を自動追尾させる顔検出追尾モードと、追尾対象の被写体の画像を記憶すると共に、逐次撮像される撮影画像の中から追尾対象の被写体の画像をパターンマッチング処理により検出し、該追尾対象の被写体に前記ＡＦ枠を自動追尾させる物体追尾モードとが含まれるＡＦ枠自動追尾システムにおいて、前記ＡＦ枠の範囲を前記撮影画像の所定位置に設定するＡＦ枠設定手段と、前記ＡＦ枠設定手段によって設定された前記ＡＦ枠の範囲に人物の顔が含まれるか否かを判別する被写体判別手段と、前記被写体判別手段による判別結果に応じて、前記ＡＦ枠自動追尾手段による動作モードを決定し、当該決定された動作モードによる前記自動追尾の開始を指示する開始指示手段であって、前記被写体判別手段によって前記ＡＦ枠の範囲に人物の顔が含まれると判別された場合には、前記顔検出追尾モードによる前記自動追尾の開始を指示し、前記被写体判別手段によって前記ＡＦ枠の範囲に人物の顔が含まれないと判別された場合には、前記物体追尾モードによる前記自動追尾の開始を指示する開始指示手段と、を備えたことを特徴とする。

本発明に係るＡＦ枠自動追尾システムの一態様は、前記ＡＦ枠自動追尾手段は、前記ＡＦ枠の範囲に人物の顔が含まれない場合には、前記ＡＦ枠の範囲における被写体を追尾対象として設定することを特徴とする。

本発明に係るＡＦ枠自動追尾システムの一態様は、前記ＡＦ枠自動追尾手段は、前記ＡＦ枠の範囲に複数の人物の顔が含まれる場合には、前記複数の人物の顔の中で最も大きい顔を追尾対象の顔とし、該追尾対象の顔に前記ＡＦ枠を自動追尾させることを特徴とする。

本発明に係るＡＦ枠自動追尾システムの一態様は、前記ＡＦ枠自動追尾手段は、前記複数の人物の顔の大きさが同一である場合には、前記複数の人物の顔の中で前記ＡＦ枠の範囲の中央側に位置する顔を追尾対象の顔とし、該追尾対象の顔に前記ＡＦ枠を自動追尾させることを特徴とする。

本発明に係るＡＦ枠自動追尾システムの一態様は、前記ＡＦ枠自動追尾システムは、ハンディタイプのカメラに搭載されることを特徴とする。

本発明に係るＡＦ枠自動追尾システムの一態様は、前記ＡＦ枠の位置を変更するＡＦ枠操作装置を有していないことを特徴とする。

本発明によれば、操作者（カメラマン）は、撮影画像の所定位置に設定されているＡＦ枠の範囲内に追尾対象としたい被写体が含まれるようにテレビカメラの撮影画角をパン／チルト操作などによって設定することによって、ＡＦ枠の範囲内の被写体の判別が行われ、その判別結果に応じた動作モード（顔検出追尾モード又は物体追尾モード）でＡＦ枠自動追尾が自動的に開始される。したがって、ＡＦ枠自動追尾を開始する際の煩雑な操作が不要となり、操作者の負担を大幅に軽減することができる。

本発明に係るＡＦ枠自動追尾システムの全体構成を示したブロック図 ＡＦ枠（ＡＦエリア）の説明図 タッチパネル付き液晶ディスプレイに表示される画面の一例を示した図 画像処理ユニットのＣＰＵにおける全自動追尾モードが選択されたときのＡＦ枠自動追尾の処理手順を示したフローチャート

以下、添付図面を参照して、本発明に係るＡＦ枠自動追尾システムについて詳細に説明する。

図１は、本発明に係るＡＦ枠自動追尾システムの全体構成を示したブロック図である。同図に示すＡＦ枠自動追尾システム１には、放送用又は業務用で使用されるテレビカメラ１０と、ＡＦ枠自動追尾装置を構成する画像処理ユニット１８及びＡＦ枠操作部２０とから構成されている。

テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１４と、カメラ本体１４のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２とから構成される。

カメラ本体１４には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１４の映像信号出力端子等から外部に出力される。

また、カメラ本体１４には、ビューファインダ１６が設置されており、そのビューファインダ１６にテレビカメラ１０の撮影映像が表示されるようになっている。また、ビューファインダ１６には、撮影映像以外の各種情報が表示されるようになっており、例えば、現在の設定されているＡＦ枠の範囲（位置、大きさ、形状）を示す画像（枠画像）が撮影映像に重畳されて表示されるようになっている。ＡＦ枠はオートフォーカス（ＡＦ）によりピントを合わせる被写体の範囲（輪郭）を示す。

レンズ装置１２は、カメラ本体１４のレンズマウントに装着される撮影レンズ（ズームレンズ）を備えており、その撮影レンズにより、被写体２８がカメラ本体１４の撮像素子の撮像面に結像されるようになっている。撮影レンズには、図示を省略するが、その構成要素としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。

尚、ＡＦに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。

また、レンズ装置１２には、ＡＦユニット４０及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１２全体を統括制御するものである。また、ＡＦユニット４０は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。

ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、ＡＦ用撮像回路から出力される映像信号は輝度信号である。

ＡＦ用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラ本体１４の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１４の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１４の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１４の撮像素子の撮影範囲を包含する大きな範囲であってもよい。

ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいてＡＦの対象範囲とするＡＦエリア（ＡＦ枠）の範囲内における被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号から高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうち後述のようにして設定されるＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値はＡＦエリア内の被写体画像のコントラストの高低を示し、その積算値が焦点評価値としてレンズＣＰＵに与えられる。

レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット１８から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。

このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。

尚、上述のＡＦ処理部は、焦点評価値を算出するために、レンズ装置１２に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１４の撮像素子より撮影された映像の映像信号をカメラ本体１４から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。

ここで、ＡＦエリア２００は、図２に示すようにカメラ本体１４における撮像素子の撮像エリア２０２（又は撮影範囲）に対して四角形状の領域として設定され、その輪郭を示す枠２０４がＡＦ枠を示し、撮像素子のＡＦエリア２００（ＡＦ枠２０４内）の範囲で撮影される被写体がＡＦによりピントを合わせる対象となる。

尚、本明細書では、撮像エリア２０２に対するＡＦ枠２０４（ＡＦエリア２００）の範囲は、ＡＦ枠２０４の位置、大きさ、及び、形状（縦横比）の３つの要素によって決まるものとし、ＡＦ枠の位置、大きさ、及び、形状の３つの要素のうち、少なくとも１つの要素が変更された場合にはＡＦ枠の範囲が変更されたものとする。

また、レンズ装置１２は、ケーブルを介して、又は、直接的にカメラ本体１４と接続され、レンズ装置１２とカメラ本体１４の各々に設けられたシリアル通信インターフェース（ＳＣＩ）１２ａ、１４ａを通じて各種情報のやり取りが行えるようになっている。これによりＡＦユニット４０において現在設定されているＡＦ枠の情報もカメラ本体１４に送信され、カメラ本体１４内での処理によってビューファインダ１６に表示される撮影映像に現在設定されているＡＦ枠の位置、大きさ、形状に対応したＡＦ枠の画像が重畳表示されるようになっている。

画像処理ユニット１８は、ＡＦ枠自動追尾装置の構成要素であり、レンズ装置１２のＡＦユニット４０において設定されるＡＦ枠の範囲（位置、大きさ、形状（縦横比））を後述のマニュアル操作又はＡＦ枠自動追尾の処理により指定するための処理部である。例えば、筐体内に納められて、レンズ装置１２の撮影レンズの鏡胴側部やカメラ本体１４の筐体外壁面等に設置される。尚、画像処理ユニット１８をレンズ装置１２やカメラ本体１４に設置する位置はこれに限らず他の任意の位置に設置するようにしてもよく、また、レンズ装置１２やカメラ本体１４以外の部分に配置するようにしてもよい。

画像処理ユニット１８は、ＳＣＩ５８を備えており、そのＳＣＩ５８は、レンズ装置１２に接続され、ＳＣＩ１２ａを通じてレンズＣＰＵとの間で各種信号のやり取りが行えるようになっている。これにより、ＡＦ枠の範囲を指定するＡＦ枠情報が画像処理ユニット１８からレンズ装置１２のレンズＣＰＵに与えられ、そのＡＦ枠情報に基づいてＡＦユニット４０におけるＡＦ枠の範囲が設定される。

また、画像処理ユニット１８には映像信号を取り込むための映像入力コネクタが設けられており、その映像入力コネクタにカメラ本体１４の映像出力コネクタがダウンコンバータ４６を介してケーブルで接続される。これによって、カメラ本体１４の映像出力コネクタから出力されたＨＤＴＶ信号が、ダウンコンバータ４６によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット１８に入力されるようになっている。

詳細は後述するが画像処理ユニット１８は、ＡＦ枠自動追尾処理を実行する際に、カメラ本体１４から入力された映像信号から１コマ分の撮撮画像を順次取り込み、撮影画像の中から所定の追尾対象の被写体を検出する処理を行う。そして、ＡＦによりその被写体にピントが合わせられるようにＡＦ枠の範囲を決定し、決定したＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに送信する。尚、画像処理ユニット１８の構成及び処理内容については後述する。

ＡＦ枠操作部２０は、ＡＦ枠自動追尾装置の構成要素であり、画像処理ユニット１８と一体の装置として設けられる。尚、ＡＦ枠操作部２０の一部又は全てが、画像処理ユニット１８とは別体の装置として構成され、画像処理ユニット１８とケーブル等で接続される態様であってもよい。また、本実施形態では、後述するタッチパネル付き液晶ディスプレイ（ＬＣＤ）６６は、画像処理ユニット１８から取り外し可能に構成されている。

ＡＦ枠操作部２０は、主にＡＦ枠の制御に関する操作を行うための操作部であり、ＡＦ枠の範囲を操作者がマニュアル操作で指示入力するための操作部材や、ＡＦ枠を所望の被写体に自動で追尾させるＡＦ枠自動追尾に関する操作を行うための操作部材を備えている。

詳細は省略するが、ＡＦ枠操作部２０には、ＡＦ枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材６０（例えば、ジョイスティックやトラックボール）、ＡＦ枠の大きさを手動操作により変更するためのサイズ操作部材６２（例えば、ツマミ)、ＡＦ枠の形状を手動操作により変更するための形状操作部材６４（例えば、ツマミ）、ＡＦ枠自動追尾の開始を指示する追尾開始スイッチ６８、ＡＦ枠自動追尾の停止を指示する追尾停止スイッチ７０が設けられており、これらの操作部材６０、６２、６４、６８、７０の設定状態が、画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により読み取られるようになっている。

また、ＡＦ枠操作部２０には、タッチパネル付き液晶ディスプレイ（以下、ＬＣＤという。）６６が設けられている。ＬＣＤ６６は、ＡＦ枠自動追尾に関するモード等の設定をタッチ操作（タップ操作）で入力できるようにしたもので、画像処理ユニット１８のＣＰＵ３８によりＬＣＤ６６に表示される画像が設定内容に応じて適宜切り換えられるようになっている。

尚、本実施の形態では、後述する全自動追尾モードによるＡＦ枠自動追尾のみが行われる場合には、ＡＦ枠操作部２０の各操作部材６０、６２、６４、６８、７０の一部又は全てが設けられていなくてもよい。また、ＬＣＤ６６も必ずしも設けられていなくてもよい。後述する全自動追尾モードによれば、これらの操作部材６０、６２、６４、６８、７０や、ＬＣＤ６６の操作を必要とすることなく、ＡＦ枠の自動追尾が可能であり、ハンディカメラのようなＡＦ枠操作装置の設置がスペース上困難な小型のカメラに好ましく適用することができる。もし、スペース的に問題なく、操作性にも影響を与えなければ各操作部材６０、６２、６４、６８、７０の一部又は全て、或いはＬＣＤ６６を適宜設けて、ＡＦ枠の位置をマニュアルで変更できるようにしてもよい。

次に画像処理ユニット１８の構成及び処理内容について説明する。

画像処理ユニット１８は、主としてメインボード３０、パターンマッチング処理演算ボード３２、顔認識処理演算ボード３４から構成されている。メインボード３０、パターンマッチング処理演算ボード３２、顔認識処理演算ボード３４の各々にはＣＰＵ３８、５０、５２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ３８、５０、５２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。

画像処理ユニット１８における処理は、メインボード３０において統括的に行われるようになっている。そのメインボード３０には、演算処理を行う上記ＣＰＵ３８の他に、ＳＣＩ５８、デコーダ（Ａ／Ｄ変換器）３６、スーパーインポーザ４２、ＲＡＭ３９等が搭載されている。

ＳＣＩ５８は、上述のようにレンズ装置１２のＳＣＩ１２ａとの間でシリアル通信を行うためのインターフェース回路であり、上記ＡＦ枠情報等をレンズ装置１２に送信する。

デコーダ３６は、上記ダウンコンバータ４６から画像処理ユニット１８に入力されるテレビカメラ１０の撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット１８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。このデコーダ３６から出力される撮影映像の映像信号は、パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４にも送られ、パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４においてもテレビカメラ１０の撮影映像を１コマ単位の撮影画像として取得することができるようになっている。

尚、画像処理ユニット１８は、ＣＰＵ３８により書込み・読出し可能なメモリ等も備えており、処理データの記憶などに適宜使用される。また、このメモリには、後述する全自動追尾モードにおけるＡＦ枠設定処理（図４のステップＳ１０）において設定されるＡＦ枠の位置、大きさ、形状に関する情報が記憶されている。このＡＦ枠の位置、大きさ、形状に関する設定情報は、操作者（カメラマン）の好みに応じてＡＦ枠操作部２０の所定操作により変更可能に構成されていることが好ましい。

スーパーインポーザ４２は、上記のデコーダ３６により得られた撮影映像の映像信号と、ＣＰＵ３８により生成される画像信号とを合成し、その合成した映像信号をＬＣＤ６６に出力・表示する回路である。これにより、カメラ本体１４に設置されているビューファインダ１６と同様にテレビカメラ１０の撮影映像がＬＣＤ６６に表示されると共に、その撮影映像に重ねて、現在設定されているＡＦ枠の範囲を示すＡＦ枠の画像や、タッチパネルでの入力操作を行えるようにしたメニュー画面（メニュー画像）等がＬＣＤ６６に表示される。尚、撮影映像に重畳させることなくＣＰＵ３８で生成された画像のみを表示させることも当然可能である。

ＲＡＭ３９は、ＣＰＵ３８の演算処理において使用するデータを一時的に格納するメモリである。

一方、パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４は、パターンマッチングと顔検出・認証処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ５０、５２の他に画像データを一時的に格納するＶＲＡＭ５４、５６等を備えている。

また、画像処理ユニット１８には、ＳＤ（Secure Digital）カードやＵＳＢメモリなどの外部メモリとして顔認証データカード７４を装填するスロット（不図示）が設けられており、顔認識により特定の人物の顔を検出する際に、その特定の人物の顔を示す認証データを予め顔認証データカード７４に保存しておき、その顔認証データカード７４をスロットに装填することで、顔認識に必要な認証データを顔認証データカード７４からＣＰＵ３８が読み込めるようになっている。

続いて、上記のごとく構成された画像処理ユニット１８によるＡＦ枠の制御についてＬＣＤ６６の表示及び操作に関する処理と共に説明する。

図３に示すようにＬＣＤ６６の画面６６ａには、テレビカメラ１０の撮影映像に重畳して各種ボタン３００〜３１２からなるメニュー画面（メニュー画像）と、現在設定されているＡＦ枠の範囲を示すＡＦ枠の画像２０４（単にＡＦ枠２０４という）が表示される。メニュー画面の各種ボタン３００〜３１２やＡＦ枠２０４のように撮影映像に重畳される画像は、図１に示した画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により生成され、それらの画像が、スーパーインポーザ４２においてデコーダ３６から出力されるテレビカメラ１０の撮影映像に重畳されてＬＣＤ６６に表示されるようになっている。尚、ＬＣＤ６６の表示（表示内容）に関する制御はＣＰＵ３８により行われるものである。

一方、ＬＣＤ６６はタッチパネルを備えており、ＬＣＤ６６の画面６６ａに対して指先等が触れるタッチ操作が行われると、触れた位置（座標）を示す位置情報がＣＰＵ３８に与えられるようになっている。これにより、ＬＣＤ６６の画面６６ａに対して行われたタッチ操作の位置や操作の種類（タップ操作、ダブルタップ操作等）がＣＰＵ３８により検出されるようになっている。そして、その操作に従った処理がＣＰＵ３８により実行されるようになっている。

ＬＣＤ６６の画面６６ａにおける基本的な操作として、各ボタン３００〜３１２に予め割り当てられた指示を入力する操作や、ＡＦ枠２０４の範囲を指定する操作があり、前者の操作は、各ボタン３００〜３１２の位置を指先等でタップ操作するものである。後者のＡＦ枠２０４の範囲を指定する操作は、例えば、撮影映像が表示されたＬＣＤ６６の画面６６ａ上において、ＡＦ枠２０４を移動させたい位置をタップ操作すれば、その位置が中心となるようにＡＦ枠２０４を移動させることができる。また、ＡＦ枠２０４の頂点や辺を指先等でタッチしてそのままスライドするドラッグ操作によってドラッグ操作した位置までタッチした頂点や辺の位置を移動させてＡＦ枠２０４の大きさや形状を変更することができる。

尚、ＡＦ枠２０４の位置、大きさ、形状は、ＡＦ枠操作部２０の位置操作部材６０、サイズ操作部材６２、形状操作部材６４の操作でも変更可能である。

ＬＣＤ６６の画面６６ａに表示されるメニュー画面（メニュー画像）について説明すると、図３において、”固定”と表示された固定モード選択ボタン３００、”物体追尾”と表示された物体追尾モード選択ボタン３０２、”顔検出”と表示された顔検出追尾モード選択ボタン３０４、”顔認識”と表示された顔認識追尾モード選択ボタン３０６、”全自動追尾”と表示された全自動追尾モード選択ボタン３０８は、ＡＦ枠の制御モードを選択するボタンであり、これらのボタン３００〜３０８のいずれかをタップ操作することで、固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モード、全自動追尾モードのうちから所望のモードを選択することできるようになっている。

固定モードは、ＡＦ枠の範囲（位置、大きさ、形状）を操作者がマニュアル操作で指定し、その指定した位置にＡＦ枠を固定するモード（マニュアルモード）である。この固定モードは、カメラをほとんど動かさないニュース番組などでの撮影に有益なモードである。

図３のＬＣＤ６６の画面６６ａにおいて固定モード選択ボタン３００をタップ操作すると固定モードが選択され、画像処理ユニット１８のメインボード３０に搭載されたＣＰＵ３８は、固定モードの処理を実行する。

即ち、ＣＰＵ３８は、上記のようにＬＣＤ６６の画面６６ａに対するＡＦ枠の範囲を変更する操作や、ＡＦ枠操作部２０に設けられたＡＦ枠２０４をマニュアル操作で変更するための操作部材（位置操作部材６０、サイズ操作部材６２、形状操作部材６４）の操作に基づいてＡＦ枠の範囲を決定する。ＣＰＵ３８は、ＡＦ枠の範囲を決定すると、そのＡＦ枠の範囲を示すＡＦ枠情報をＳＣＩ５８を通じてレンズ装置１２のレンズＣＰＵに送信する。

物体追尾モードは、ＡＦ枠の自動追尾を行う１つのモードであり、任意の種類の物体をＡＦ枠で追尾させるモードである。この物体追尾モードは、人物の顔以外を追尾する競馬中継、カ−レース中継などでの撮影に有益なモードである。このモードでは、撮影映像に対して操作者が追尾対象としたい任意の物体の画像を含むようにＡＦ枠の範囲を指定すると、その範囲の物体が追尾対象として設定される。そして、その追尾対象の画像が基準パターンとして登録され、パターンマッチング処理演算ボード３２のＣＰＵ５０において、順次得られる撮影画像に対して、基準パターンに一致する画像範囲を検出するためのパターンマッチング処理が行われる。メインボード３０のＣＰＵ３８は、その基準パターンが検出された範囲をＡＦ枠の範囲として決定し、レンズ装置１２のレンズＣＰＵに送信する。尚、ＡＦ枠自動追尾を開始する際にレンズ装置１２においてＡＦによるフォーカス制御が行われていない場合（ＡＦモードとなっていない場合）には、ＡＦ枠自動追尾の開始と連動してＡＦの開始も指示される。

顔検出追尾モードは、ＡＦ枠の自動追尾を行う１つのモードであり、任意の人物の顔をＡＦ枠で追尾させるモードである。この顔検出追尾モードは、人物の顔を検出して追尾する歌謡番組などでの撮影に有益なモードである。このモードでは、まず、顔認識処理演算ボード３４のＣＰＵ５２において撮影画像の中から任意の人物の顔画像を検出するための周知の顔検出処理が行われる。そして、検出された顔画像の中から追尾対象とする顔画像を操作者が指定すると、その顔画像が追尾対象として設定される。以後、順次得られる撮影画像に対して顔認識処理演算ボード３４のＣＰＵ５２により顔検出処理が行われると共に、検出された顔画像の中から追尾対象の顔画像を特定する処理がメインボード３０のＣＰＵ３８により行われる。メインボード３０のＣＰＵ３８は、検出された追尾対象の顔画像の範囲をＡＦ枠の範囲として決定し、レンズ装置１２のレンズＣＰＵに送信する。

顔認識追尾モードは、ＡＦ枠の自動追尾を行う１つのモードであり、事前に認証データとして登録した人物の顔をＡＦ枠で追尾させるモードである。この顔認識追尾モードは、撮影する人物が事前に決まっている歌謡番組やスポーツ中継などでの撮影に有益なモードである。このモードでは、図１に示したスロット（不図示）に装填された顔認証データカード７４から追尾対象とする人物の顔の認証データが取り込まれる。そして、顔検出追尾モードと同様に顔認識処理演算ボード３４のＣＰＵ５２において顔検出処理が行われると共に、検出された顔画像の中から追尾対象の顔画像が認証データを用いた周知の顔認証処理により検出される。メインボード３０のＣＰＵ３８は、検出された追尾対象の顔画像の範囲をＡＦ枠の範囲として決定し、レンズ装置１２のレンズＣＰＵに送信する。

全自動追尾モードは、ＡＦ枠自動追尾を行う１つのモードであり、ＡＦ枠自動追尾の開始の指示を操作者が行うことなく、ＡＦ枠の範囲内の被写体（物体または人物の顔）の判別結果に応じて、上述した顔検出追尾モード又は物体追尾モードによるＡＦ枠の自動追尾が自動的に開始されるモードである。この全自動追尾モードについては、後で詳しく説明する。

尚、図３において、”セット”と表示されたセットボタン３１０と、”リセット”と表示されたリセットボタン３１２は、ＡＦ枠自動追尾の開始と停止を指示するボタンであり、これらのボタン３１０、３１２は、ＡＦ枠自動追尾の開始又は停止の指示を操作者が行う制御モード（物体追尾モード、顔検出モード）が選択された場合にのみ表示される。尚、これらのセットボタン３１０とリセットボタン３１２は、ＡＦ枠操作部２０の追尾開始スイッチ６８と追尾停止スイッチ７０（図１参照）と同様に作用するボタンである。

続いて、上記のごとく構成された画像処理ユニット１８によるＡＦ枠自動追尾において全自動追尾モードが選択されたときの処理について説明する。図４は、画像処理ユニットのＣＰＵにおける全自動追尾モードが選択されたときのＡＦ枠自動追尾の処理手順を示したフローチャートである。

所定操作によって全自動追尾モードが選択されると、まず、メインボード３０のＣＰＵ３８は、ＡＦ枠の範囲を設定するＡＦ枠設定処理を行う（ステップＳ１０）。このＡＦ枠設定処理では、メインボード３０のメモリ（不図示）に記憶されているＡＦ枠の位置、大きさ、形状に関する情報に基づいて、ＡＦ枠が撮影範囲（撮像エリア）の所定位置（例えば中心位置）となるように設定する。そして、このようにして設定したＡＦ枠の範囲（位置、大きさ、形状）を示すＡＦ枠情報をＳＣＩ５８を通じてレンズ装置１２のレンズＣＰＵに送信する。これによって、レンズ装置１２のＡＦユニット４０において設定されるＡＦ枠の範囲がＡＦ枠情報により指定した範囲となる。

尚、メインボード３０のＣＰＵ３８は、ＬＣＤ６６が接続されているか否かを判断し、ＬＣＤ６６が接続されていないと判断した場合には、全自動追尾モードが選択されているものとして図４に示したフローチャートに従って各処理を行うようになっている。

続いてＣＰＵ３８からの指示により顔認識処理演算ボード３４のＣＰＵ５２は、デコーダ３６から１コマ分の撮影画像の画像データを取り込む（ステップＳ１２）。そして、その撮影画像の中に含まれる任意の人物の顔（顔画像）を検出する周知の顔検出処理を行う（ステップＳ１４）。尚、ＡＦ枠の範囲を含むＡＦ枠の周辺部分に限定して顔検出処理を行うようにしてもよい。そして、検出した顔画像の範囲をメインボード３０のＣＰＵ３８に通知する。

次にＣＰＵ３８は、ステップＳ１４における顔検出処理によりＡＦ枠内に顔が検出されたか否かを判定する（ステップＳ１６）。ここで、検出された顔の一部がＡＦ枠の範囲内となっている場合には、その顔がＡＦ枠内に検出されたものとする。

このステップＳ１６においてＮＯと判定した場合には、ステップＳ２０〜ステップＳ３０のパターンマッチング処理によるＡＦ枠自動追尾の処理に移行し、ＹＥＳと判定した場合には、ステップＳ４０〜ステップＳ５０の顔検出処理によるＡＦ枠自動追尾の処理に移行する。

ステップＳ１６においてＮＯと判定した場合、即ち、ＡＦ枠の範囲内に設定された追尾対象の被写体が顔以外の物体と判定した場合には、ＣＰＵ３８（及びパターンマッチング処理演算ボード３２のＣＰＵ５０）は、ステップＳ２０〜ステップＳ３０のパターンマッチング処理によるＡＦ枠自動追尾の処理を開始する。この場合、ＣＰＵ３８は、まず、ステップＳ１２により取り込んだ撮影画像のうちＡＦ枠の範囲内の画像を基準パターンの画像として登録（記憶）する（ステップＳ２０）。そして、以下のステップＳ２２〜Ｓ３０の処理を繰り返し実行する。

基準パターンの画像を登録すると、ＣＰＵ３８からの指示によりパターンマッチング処理演算ボード３２のＣＰＵ５０は、デコーダ３６から１コマ分の撮影画像の画像データを取り込む（ステップＳ２２）。そして、ＣＰＵ５０は、パターンマッチング処理を行って、撮影画像の中から基準パターンの画像に一致する画像範囲を検出する（ステップＳ２４）。そして、その検出した画像範囲をメインボードのＣＰＵ３８に通知する。

続いて、ＣＰＵ３８は、基準パターンの画像が移動したか否か、即ち、基準パターンを検出した画像範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ２６）。尚、撮影画像内での基準パターンの画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。

ステップＳ２６においてＹＥＳと判定した場合には、ステップＳ２４において検出した画像範囲を新たなＡＦ枠の範囲として設定（更新）し、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ２８）。

また、ステップＳ２４において検出した画像範囲の画像を新たな基準パターンの画像として更新する（ステップＳ３０）。

ステップＳ２６においてＮＯと判定した場合には、ステップＳ２８におけるＡＦ枠の更新は行わず、ステップＳ３０における基準パターンの更新のみを行う。

ステップＳ３０の処理が終了すると、ステップＳ２２の処理に戻る。

尚、操作者によりＡＦ枠自動追尾の停止を指示する操作、即ち、追尾停止スイッチがオンされると、ＡＦ枠自動追尾の処理を停止し、ステップＳ１０に戻る。即ち、ＡＦ枠が撮影画像の所定位置（例えば中心位置）に戻されて固定され、ＡＦ枠自動追尾が実行されなくなる。

また、操作者によって追尾対象の被写体を撮影画像から意図的に外すカメラ操作が行われた場合にも、追尾停止スイッチがオンされた場合と同様、ＡＦ枠自動追尾の処理を停止するようにしてもよい。簡易な操作でＡＦ枠自動追尾を停止させることができる。

一方、ステップＳ１６においてＹＥＳと判定した場合、即ち、ＡＦ枠の範囲内に設定された追尾対象の被写体が顔であると判定した場合には、ＣＰＵ３８（及び顔認識処理演算ボード３４のＣＰＵ５２）は、ステップＳ４０〜ステップＳ５０の顔検出処理によるＡＦ枠自動追尾の処理を開始する。この場合、ＣＰＵ３８は、まず、ＡＦ枠の範囲内に検出された顔に適合する位置、大きさ、形状の範囲となるようにＡＦ枠の範囲を変更（更新）する（ステップＳ４０）。例えば、ステップＳ１４の顔検出処理により検出した際の顔と認識した範囲をＡＦ枠の範囲に変更する。そして、ステップＳ４２〜ステップＳ５０の処理を繰り返す。

ここで、ステップＳ４０のＡＦ枠更新処理について詳しく説明すると、メインボード３０のＣＰＵ３８は、まず、ステップＳ１４における顔検出処理によりＡＦ枠内に検出された顔が１つか否かを判定する（ステップＳ６０）。

このステップＳ６０においてＹＥＳと判定した場合、即ち、ＡＦ枠の範囲内に検出された顔は１つであると判定した場合には、ＣＰＵ３８は、顔検出処理により検出された顔を追尾対象（ＡＦ対象）としてその顔の範囲（顔枠）をＡＦ枠の範囲に変更（更新）する（ステップＳ６２）。

一方、ステップＳ６０においてＮＯと判定した場合、即ち、ステップＳ１６における顔検出処理によりＡＦ枠の範囲内に検出された顔は複数であると判定した場合には、ＣＰＵ３８は、これらの複数の顔の大きさに差があるか否かを判定する（ステップＳ６４）。

このステップＳ６４においてＹＥＳと判定した場合、即ち、顔検出処理により検出された複数の顔の大きさに差があると判定した場合には、ＣＰＵ３８は、これらの複数の顔のうち最も大きい顔の範囲をＡＦ枠の範囲に変更（更新）する（ステップＳ６６）。

一方、ステップＳ６４においてＮＯと判定した場合、即ち、顔検出処理により検出された複数の顔の大きさに差がないと判定した場合には、ＣＰＵ３８は、これらの複数の顔のうちＡＦ枠の範囲の中央側に位置する顔の範囲をＡＦ枠の範囲に変更（更新）する（ステップＳ６８）。

このようにステップＳ４０のＡＦ枠更新処理では、ＡＦ枠内に複数の人物の顔画像が検出された場合には、複数の顔画像の大きさに差がある場合には最も大きい顔画像を追尾対象（ＡＦの対象）としてその顔画像の範囲（顔枠）にＡＦ枠が設定され、複数の顔画像の大きさに差がない場合（各顔画像の大きさが同一の場合）にはＡＦ枠内の中央側に位置する顔画像を追尾対象（ＡＦの対象）としてその顔画像の範囲（顔枠）にＡＦ枠が設定される。

次に、ＣＰＵ３８の指示により顔認識処理演算ボード３４のＣＰＵ５２は、デコーダ３６から１コマ分の撮影画像の画像データを取り込む（ステップＳ４２）。そして、ＣＰＵ５２は、ステップＳ１４と同様に、その撮影画像の中に含まれる任意の人物の顔を検出する顔検出処理を行う（ステップＳ４４）。そして、検出した顔画像の範囲をメインボード３０のＣＰＵ３８に通知する。

続いて、ＣＰＵ３８は、検出された顔画像の範囲のうち、現在設定されているＡＦ枠の範囲に最も近接したものを追尾対象の顔画像の範囲として検出する（ステップＳ４６）。尚、ステップＳ４６において、顔を検出する範囲を撮影画像全体の範囲ではなく、現在設定されているＡＦ枠の位置の周辺部分に制限してもよい。

そして、ＣＰＵ３８は、追尾対象の顔が移動したか否か、即ち、検出した顔画像の範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ４８）。尚、顔画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。

ステップＳ４８においてＹＥＳと判定した場合には、ステップＳ４６において検出した顔画像の範囲を新たなＡＦ枠の範囲として設定（更新）し、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ５０）。そして、ステップＳ４２の処理に戻る。ステップＳ４８においてＮＯと判定した場合には、ステップＳ５０におけるＡＦ枠の更新は行わず、ステップＳ４２の処理に戻る。

尚、操作者によりＡＦ枠自動追尾の停止を指示する操作、即ち、追尾停止スイッチがオンされると、ＡＦ枠自動追尾の処理を停止し、ステップＳ１０に戻る。即ち、ＡＦ枠が撮影画像の所定位置（例えば中心位置）に戻されて固定され、ＡＦ枠自動追尾が実行されなくなる。

また、操作者によって追尾対象の被写体を撮影画像から意図的に外すカメラ操作が行われた場合にも、追尾停止スイッチがオンされた場合と同様、ＡＦ枠自動追尾の処理を停止するようにしてもよい。簡易な操作でＡＦ枠自動追尾を停止させることができる。

本実施形態のＡＦ枠自動追尾システムによれば、全自動追尾モードによるＡＦ枠の自動追尾処理では、操作者（カメラマン）は、撮影画像の所定位置に設定（固定）されているＡＦ枠の範囲内に追尾対象としたい被写体が含まれるようにテレビカメラの撮影画角をパン／チルト操作などによって設定することによって、ＡＦ枠の範囲内の被写体が人物の顔であるか否かが判定され、その被写体が顔であれば顔検出処理によるＡＦ枠自動追尾が自動的に選択されて実行され、顔以外であればパターンマッチング処理によるＡＦ枠自動追尾が自動的に選択されて実行される。即ち、ＡＦ枠の範囲内の被写体の判別結果に応じて、顔検出追尾モード又は物体追尾モードによるＡＦ枠自動追尾が自動的に開始される。

これにより、操作者は、追尾対象としたい被写体が人物の顔であるか否かを意識することなく、しかも自動追尾の開始操作を行うことなく、追尾対象としたい被写体をＡＦ枠の範囲内となるように撮影画角を操作するだけでＡＦ枠自動追尾を行うことができるようになる。したがって、ＡＦ枠自動追尾を開始する際の煩雑な操作が不要となり、操作者の負担を大幅に軽減することができる。

ＡＦ枠の範囲内に人物の顔画像が含まれると判定された際、ＡＦ枠の範囲内に複数の人物の顔画像が含まれる場合には、これらの顔画像のうち最も大きい顔画像が追尾対象の顔画像とされる。また、これらの顔画像の大きさが同一である場合には、ＡＦ枠の範囲内の中央側の顔画像が追尾対象の顔画像とされる。これにより、ＡＦ枠の範囲内に複数の人物の顔画像が含まれる場合でも、ＡＦ枠内の顔画像の大きさ又は位置に応じて追尾対象とする顔画像が決定され、煩雑な操作を要することなく、ＡＦ枠自動追尾を開始させることが可能となる。

また、本実施形態のＡＦ枠自動追尾システムでは、上述のように全自動追尾モードを備えているので、ＡＦ枠操作部２０の一部又は全部（例えば操作部材６０、６２、６４、６８、７０やＬＣＤ６６）が設けられていなくても、全自動追尾モードによるＡＦ枠自動追尾が可能であり、ハンディカメラのようなＡＦ枠操作装置の設置がスペース上困難な小型のカメラにおいても好ましく適用することができる。

以上、本発明のＡＦ枠自動追尾システムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。

１…ＡＦ枠自動追尾システム、１０…テレビカメラ、１２…レンズ装置、１４…カメラ本体、１６…ビューファインダ、１８…画像処理ユニット、２０…ＡＦ枠操作部、３０…メインボード、４０…ＡＦユニット、３２…パターンマッチング処理演算ボード、３４…顔認識処理演算ボード、３８、５０、５２…ＣＰＵ、６６…タッチパネル付き液晶ディスプレイ（ＬＣＤ）

Claims (6)

1. 光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦ枠の範囲の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、所定の追尾対象の被写体にピントが合うように前記ＡＦ枠を前記追尾対象の被写体に自動追尾させるＡＦ枠自動追尾手段と、を備え、前記ＡＦ枠自動追尾手段による自動追尾の動作モードとして、逐次撮像される撮影画像の中から追尾対象の顔を顔検出処理により検出し、該追尾対象の顔に前記ＡＦ枠を自動追尾させる顔検出追尾モードと、追尾対象の被写体の画像を記憶すると共に、逐次撮像される撮影画像の中から追尾対象の被写体の画像をパターンマッチング処理により検出し、該追尾対象の被写体に前記ＡＦ枠を自動追尾させる物体追尾モードとが含まれるＡＦ枠自動追尾システムにおいて、
   前記ＡＦ枠の範囲を前記撮影画像の所定位置に設定するＡＦ枠設定手段と、
   前記ＡＦ枠設定手段によって設定された前記ＡＦ枠の範囲に人物の顔が含まれるか否かを判別する被写体判別手段と、
   前記被写体判別手段による判別結果に応じて、前記ＡＦ枠自動追尾手段による動作モードを決定し、当該決定された動作モードによる前記自動追尾の開始を指示する開始指示手段であって、前記被写体判別手段によって前記ＡＦ枠の範囲に人物の顔が含まれると判別された場合には、前記顔検出追尾モードによる前記自動追尾の開始を指示し、前記被写体判別手段によって前記ＡＦ枠の範囲に人物の顔が含まれないと判別された場合には、前記物体追尾モードによる前記自動追尾の開始を指示する開始指示手段と、
   を備えたことを特徴とするＡＦ枠自動追尾システム。
2. 前記ＡＦ枠自動追尾手段は、前記ＡＦ枠の範囲に人物の顔が含まれない場合には、前記ＡＦ枠の範囲における被写体を追尾対象として設定することを特徴とする請求項１に記載のＡＦ枠自動追尾システム。
3. 前記ＡＦ枠自動追尾手段は、前記ＡＦ枠の範囲に複数の人物の顔が含まれる場合には、前記複数の人物の顔の中で最も大きい顔を追尾対象の顔とし、該追尾対象の顔に前記ＡＦ枠を自動追尾させることを特徴とする請求項１又は２に記載のＡＦ枠自動追尾システム。
4. 前記ＡＦ枠自動追尾手段は、前記複数の人物の顔の大きさが同一である場合には、前記複数の人物の顔の中で前記ＡＦ枠の範囲の中央側に位置する顔を追尾対象の顔とし、該追尾対象の顔に前記ＡＦ枠を自動追尾させることを特徴とする請求項３に記載のＡＦ枠自動追尾システム。
5. 前記ＡＦ枠自動追尾システムは、ハンディタイプのカメラに搭載されることを特徴とする請求項１乃至４のいずれか１項に記載のＡＦ枠自動追尾システム。
6. 前記ＡＦ枠の位置を変更するＡＦ枠操作装置を有していないことを特徴とする請求項５に記載のＡＦ枠自動追尾システム。

Images