JP5081133B2 - オートフォーカスシステム - Google Patents

Description

本発明は、オートフォーカスシステムに係り、特に、オートフォーカス（ＡＦ）によりピントを合わせる被写体の範囲を示すＡＦ枠（ＡＦエリア）の範囲が変更可能なオート−フォーカスシステムに関する。

従来、カメラのフォーカスを自動的に合わせるオートフォーカス（ＡＦ）システムにおいては、どこにフォーカスを合わせるかをカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっている。

しかし、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、被写体にピントを合わせる目的でオートフォーカスエリア（ＡＦエリア）が被写体の動きについて行くＡＦエリア自動追尾システムが知られている（例えば、特許文献１等参照）。尚、本明細書では、ＡＦエリアの範囲の輪郭を示すＡＦ枠をＡＦエリアと同様にピントを合わせる被写体の範囲を意味する用語として主に使用するものとする。

また、撮像された画像中から人物の顔を表す画像を検出し、その被写体となった顔に対して自動的にピントを合わせたり、あるいは上記検出された画像中の顔を表す領域が拡大されるように自動的にズーム倍率を変更させるデジタルカメラが知られている（例えば、特許文献２等参照）。
特開２００６−２６７２２１号公報 特開２００４−３２０２８６号公報

ところで、ピントを合わせたい被写体に対してＡＦ枠が大き過ぎる場合、その被写体の背景等がＡＦ枠の範囲内に多く含まれる。そのため、ピントを合わせた被写体にピントが合わず、背景等にピントが合わせられてしまうという事態が生じる。また、ピントを合わせたい被写体に対してＡＦ枠が小さ過ぎる場合には、ＡＦ枠内の被写体のコントラストが低く、一般的に使用されているコントラスト法のＡＦでは、ピントを合わせたい被写体にピントを合わせることができないという事態が生じる。

一方、ＡＦ枠の大きさの変更は、従来、ジョイスティックやトラックボールの操作によって行われているが、このような操作でＡＦ枠を適切な大きさに設定するのは容易でなく、特に撮影中では他のカメラ操作も行っているカメラマンがＡＦ枠の大きさを変更することは難しいという問題があった。

本発明は、このような事情に鑑みてなされたもので、ＡＦ枠の大きさを簡易な操作で変更できるようにしたオートフォーカスシステムを提供することを目的とする。

前記目的を達成するために、請求項１に係るオートフォーカスシステムは、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦ枠の範囲の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、前記ＡＦ枠の範囲を変更するＡＦ枠制御手段とを備えたオートフォーカスシステムにおいて、前記ＡＦ枠制御手段は、前記ＡＦ枠の大きさに関して選択可能な大きさとして予め決められた複数の異なる大きさの中から操作者によって選択された大きさを取得する選択サイズ取得手段と、前記選択サイズ取得手段によって取得された大きさに前記ＡＦ枠の大きさを設定するＡＦ枠サイズ設定手段と、を備えたことを特徴としている。

請求項２に係るオートフォーカスシステムは、請求項１に係る発明において、前記ＡＦ枠制御手段は、画像表示画面に前記撮像手段により撮像された撮影画像を表示すると共に、該撮影画像に重畳させて現在設定されているＡＦ枠の範囲を表示する表示手段と、前記表示手段の画像表示画面に対する操作者のタッチ操作を検出するタッチ操作検出手段と、を備え、前記選択サイズ取得手段は、前記表示手段の画像表示画面に前記ＡＦ枠の大きさを選択するための選択ボタンを表示すると共に、該選択ボタンに対するタッチ操作を前記タッチ操作検出手段により検出することにより、操作者によって選択された前記ＡＦ枠の大きさを取得することを特徴としている。

請求項３に係るオートフォーカスシステムは、請求項２に係る発明において、前記選択サイズ取得手段は、前記選択ボタンとして、前記選択可能な大きさの各々に対応したボタンを前記表示手段の画像表示画面に表示し、前記タッチ操作検出手段によりタッチ操作されたことが検出されたボタンに対応した大きさを操作者によって選択された大きさとして取得することを特徴としている。

請求項４に係るオートフォーカスシステムは、請求項１乃至３のうちいずれか１に記載の発明において、前記ＡＦ枠制御手段は、前記ＡＦ枠の位置を所定の追尾対象の被写体に自動追尾させるＡＦ枠自動追尾手段を備え、前ＡＦ枠サイズ設定手段は、前記ＡＦ枠自動追尾手段による自動追尾を開始する際の前記ＡＦ枠の大きさを設定する手段であることを特徴としている。

本発明によれば、ＡＦ枠の大きさを、予め決められた大きさの中から選択する操作によって変更できるようにしたため、ＡＦ枠の大きさを簡易な操作で変更することができるようになる。

以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。

図１は、本発明が適用されるテレビカメラシステムの一実施の形態を示した外観図である。同図に示すようにテレビカメラ１０は、主に放送用又は業務用に使用されるテレビカメラであり、レンズ装置１２とカメラ本体１４とで構成され、ペデスタルドリー１６上に設置された雲台１８に支持されている。

雲台１８には、左右２本のパン棒２２、２４が延設されており、右側のパン棒２２のグリップ部２２Ａには、フォーカスデマンド（フォーカスコントローラ）２６がマウンティングクランプ３８によって設置され、左側のパン棒２４のグリップ部にはズームデマンド（ズームコントローラ）２８が設置されている。

フォーカスデマンド２６には、回動可能なフォーカスノブ３０が設けられており、マニュアルフォーカス（ＭＦ）によりフォーカス制御を行う際に、このフォーカスノブ３０を回動操作すると、その回動位置に応じたフォーカス位置を目標位置としてフォーカス（フォーカスレンズ）の移動を指令するフォーカス制御信号がフォーカスデマンド２６からレンズ装置１２に与えられる。これにより、レンズ装置１２のフォーカスレンズがフォーカス制御信号によって指令された目標位置に移動する。

ズームデマンド２８には、回動可能なサムリング３４が設けられており、そのサムリング３４を左右方向に回動操作すると、回動位置に応じたズーム速度を目標速度としてズーム（ズームレンズ）の移動を指令するズーム制御信号がズームデマンド２８からレンズ装置１２に与えられる。これにより、レンズ装置１２のズームレンズがズーム制御信号によって指令された目標速度で移動する。

また、図では省略するが、フォーカスデマンド２６には、オートフォーカス（ＡＦ）に関する各種操作部材が設けられると共に、ＡＦによりピントを合わせる対象の被写体範囲（ＡＦの対象範囲）を示すＡＦ枠の制御（位置等の変更）を行うためのＡＦ枠制御装置（ＡＦ枠自動追尾装置）が組み込まれ、そのＡＦ枠制御装置の各種操作部材もフォーカスデマンド２６に設けられている。

更に、ＡＦ枠制御装置の構成要素として同図のようにタッチパネル付き液晶ディスプレイ（ＬＣＤ）４０が設置具によりフォーカスデマンド２６の本体上部に設置され、図示しないケーブルでフォーカスデマンド２６に接続されている。

尚、以下において、単にＬＣＤ４０と記した場合にはこのタッチパネル付き液晶ディスプレイ４０を示す。また、ＬＣＤ４０は、フォーカスデマンド２６の本体上部以外の任意の位置に設置することが可能である。例えば、ビューファインダ３６の横に設置してもよい。

カメラ本体１４の上には、表示装置であるビューファインダ３６が設置されている。このビューファインダ３６には、本テレビカメラ１０で撮影されている被写体の映像が表示されるため、カメラマンはその映像を見ながらフォーカスデマンド２６やズームデマンド２８を操作することによって所望の構図で被写体を撮影することができるようになっている。尚、以下において、撮影映像又は撮影画像と称した場合には、テレビカメラ１０で現在撮影されている映像又は画像を示すものとする。

また、ビューファインダ３６に表示される撮影映像には、現在ＡＦ枠が設定されている位置、大きさ、形状（縦横比）を示すＡＦ枠の画像が重畳されて表示されるようになっており、ＡＦによりフォーカス制御を行う場合には撮影映像内のどの範囲の被写体にピントが合わせられるかを知ることができるようになっている。尚、ＭＦとＡＦのフォーカス制御は、フォーカスデマンド２６に設けられたモードスイッチ等で切り替えられるようになっている。

図２は、上記テレビカメラシステムに適用されるＡＦ枠自動追尾システムの全体構成を示したブロック図である。

同図のＡＦ枠自動追尾システム１には、図１に示したテレビカメラ１０のレンズ装置１２及びカメラ本体１４とビューファインダ３６が示されている。また、図１のフォーカスデマンド２６の構成要素として、フォーカス操作部５０と、フォーカスデマンド２６に組み込まれたＡＦ枠制御装置（ＡＦ枠自動追尾装置）を構成する画像処理ユニット５８及びＡＦ枠操作部６０が示されている。

テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１４と、カメラ本体１４のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２とから構成される。

カメラ本体１４には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１４の映像信号出力端子等から外部に出力される。

また、図１のようにカメラ本体１４の上部等に設置されるビューファインダ３６には、テレビカメラ１０の撮影映像が表示されるようになっている。ビューファインダ３６には、撮影映像以外の各種情報が表示されるようになっており、例えば、現在の設定されているＡＦ枠の範囲（位置、大きさ、形状）を示す画像が撮影映像に重畳されて表示されるようになっている。

レンズ装置１２は、カメラ本体１４のレンズマウントに装着される撮影レンズ（ズームレンズ）６４を備えており、その撮影レンズ６４により、被写体５６がカメラ本体１４の撮像素子の撮像面に結像されるようになっている。撮影レンズ６４には、図示を省略するが、その構成要素としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。

尚、ＡＦに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。

また、レンズ装置１２には、ＡＦユニット６６及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１２全体を統括制御するものである。また、ＡＦユニット６６は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。

ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、ＡＦ用撮像回路から出力される映像信号は輝度信号である。

ＡＦ用撮像素子の撮像面には、撮影レンズ６４の光路上に配置されたハーフミラー等によってカメラ本体１４の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１４の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１４の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１４の撮像素子の撮影範囲を包含する大きな範囲であってもよい。

ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいてＡＦの対象範囲とするＡＦエリア（ＡＦ枠）の範囲内における被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号から高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうち後述のようにして設定されるＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値はＡＦエリア内の被写体画像のコントラストの高低を示し、その積算値が焦点評価値としてレンズＣＰＵに与えられる。

レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット５８から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。

このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。

尚、上述のＡＦ処理部は、焦点評価値を算出するために、レンズ装置１２に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１４の撮像素子より撮影された映像の映像信号をカメラ本体１４から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。

ここで、ＡＦエリア２００は、図３に示すようにカメラ本体１４における撮像素子の撮像エリア２０２に対して四角形状の領域として設定され、その輪郭を示す枠２０４がＡＦ枠を示し、撮像素子のＡＦエリア２００（ＡＦ枠２０４内）の範囲で撮影される被写体がＡＦによりピントを合わせる対象となる。

尚、本明細書では、撮像エリア２０２に対するＡＦ枠２０４（ＡＦエリア２００）の範囲は、ＡＦ枠２０４の位置、大きさ、及び、形状（縦横比）の３つの要素によって決まるものとし、“ＡＦ枠の範囲を変更する”という趣旨の記載は、ＡＦ枠の位置、大きさ、及び、形状の３つの要素のうち、少なくとも１つの要素を変更することを意味するものとする。

また、レンズ装置１２は、ケーブルを介して、又は、直接的にカメラ本体１４と接続され、レンズ装置１２とカメラ本体１４の各々に設けられたシリアル通信インターフェース（ＳＣＩ）１２ａ、１４ａを通じて各種情報のやり取りが行えるようになっている。これによりＡＦユニット６６において現在設定されているＡＦ枠の情報もカメラ本体１４に送信され、カメラ本体１４内での処理によってビューファインダ３６に表示される撮影映像に現在設定されているＡＦ枠の位置、大きさ、形状に対応したＡＦ枠の画像が重畳表示されるようになっている。

フォーカス操作部５０は、フォーカスデマンド２６の構成要素であると共に、一般的なフォーカスデマンドが備えている構成要素を示している。フォーカス操作部５０の構成要素として、図１に示したフォーカスノブ３０、ＡＦモードとＭＦモードの切替えやＡＦモードの種類（連続モードやモーメンタリモード）の切替えを行うためのモードスイッチ（図示せず）、ＡＦの開始を指示するＡＦ開始スイッチ（図示せず）等、ＡＦの制御内容やＭＦの制御に関する操作部材を備えると共に、それらの操作部材の設定状態を検出し、検出した設定状態に基づいて制御信号を送出する処理回路等を備えている。

フォーカスデマンド２６にはレンズ装置１２とケーブルで接続するためのインターフェース（Ｉ／Ｆ）５２が設けられており、フォーカス操作部５０はそのＩ／Ｆ５２及びケーブルを介してレンズ装置１２に接続され、ＳＣＩ１２ａを通じてレンズＣＰＵとの間のシリアル通信により各種信号のやり取りが行えるようになっている。

これにより、フォーカス操作部５０から送出された各種制御信号がレンズＣＰＵに与えられ、その制御信号に従った処理がレンズＣＰＵで実行されるようになっている。例えば、ＡＦによるフォーカス制御（ＡＦモード）の指示が与えられた場合には、上記のようにＡＦユニット６６から得られる焦点評価値に基づいてＡＦによるフォーカス制御が行われ、ＭＦによるフォーカス制御（ＭＦモード）の指示が与えられた場合には、フォーカスノブ３０の操作に基づいてフォーカス操作部５０から与えられるフォーカス位置指令信号に従ってＭＦによるフォーカス制御が行われるようになっている。

画像処理ユニット５８は、フォーカスデマンド２６にＡＦ枠制御装置の構成要素として組み込まれた処理部であり、レンズ装置１２のＡＦユニット６６において設定されるＡＦ枠の範囲（位置、大きさ、形状（縦横比））を後述のマニュアル操作又はＡＦ枠自動追尾の処理により指定するための処理部である。

画像処理ユニット５８は、ＳＣＩ７０を備えており、そのＳＣＩ７０は、上記Ｉ／Ｆ５２を介してレンズ装置１２に接続され、ＳＣＩ１２ａを通じてレンズＣＰＵとの間で各種信号のやり取りが行えるようになっている。これにより、ＡＦ枠の範囲を指定するＡＦ枠情報が画像処理ユニット５８からレンズ装置１２のレンズＣＰＵに与えられ、そのＡＦ枠情報に基づいてＡＦユニット６６におけるＡＦ枠の範囲が設定される。

また、フォーカスデマンド２６には画像処理ユニット５８に映像信号を取り込むための映像入力コネクタが設けられており、その映像入力コネクタにカメラ本体１４の映像出力コネクタがダウンコンバータ６８を介してケーブルで接続される。これによって、カメラ本体１４の映像出力コネクタから出力されたＨＤＴＶ信号が、ダウンコンバータ６８によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット５８に入力されるようになっている。

詳細は後述するが画像処理ユニット５８は、ＡＦ枠自動追尾処理を実行する際に、カメラ本体１４から入力された映像信号から１コマ分の撮撮画像を順次取り込み、撮影画像の中から所定の追尾対象の被写体を検出する処理を行う。そして、ＡＦによりその被写体にピントが合わせられるようにＡＦ枠の範囲を決定し、決定したＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに送信する。

尚、画像処理ユニット５８の構成及び処理内容については後述する。

ＡＦ枠操作部６０は、ＡＦ枠制御装置としてフォーカスデマンド２６に画像処理ユニット５８と共に一体的に設けられ、又は、その一部又は全てが、フォーカスデマンド２６とは別体の装置、即ち、画像処理ユニット５８とは別体の装置に設けられてケーブル等で接続されている。本実施の形態では、図１のようにタッチパネル付きＬＣＤ４０がフォーカスデマンド２６（画像処理ユニット５８）とは別体で設けられ、他の構成要素はフォーカスデマンド２６に画像処理ユニット５８と共に設けられている。

ＡＦ枠操作部６０は、主にＡＦ枠の制御に関する操作を行うための操作部であり、ＡＦ枠の範囲を操作者がマニュアル操作で指示入力するための操作部材や、ＡＦ枠を所望の被写体に自動で追尾させるＡＦ枠自動追尾に関する操作を行うための操作部材を備えている。

図４のフォーカスデマンド２６の外観図にも併せて示すように、ＡＦ枠操作部６０の操作部材として、ＡＦ枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材１００（例えば、ジョイスティックやトラックボール）、ＡＦ枠の大きさを手動操作により変更するためのサイズ操作部材１０２（例えば、ツマミ)、ＡＦ枠の形状を手動操作により変更するための形状操作部材１０４（例えば、ツマミ）、ＡＦ枠自動追尾の開始を指示する追尾開始スイッチ１０８、ＡＦ枠自動追尾の停止を指示する追尾停止スイッチ１１０が設けられており、これらの操作部材１００、１０２、１０４、１０８、１１０の設定状態が、画像処理ユニット５８（後述のメインボード７０のＣＰＵ７８）により読み取られるようになっている。

また、ＡＦ枠操作部６０のＬＣＤ４０は、ＡＦ枠自動追尾に関するモード等の設定をタッチ操作（タップ操作）で入力できるようにしたもので、画像処理ユニット５８のＣＰＵ７８によりＬＣＤ４０に表示される画像が設定内容に応じて適宜切り換えられるようになっている。ＬＣＤ４０の表示及び操作については後述する。

尚、本実施の形態では、画像処理ユニット５８やＡＦ枠操作部６０を備えたＡＦ枠制御装置がフォーカスデマンド２６に組み込まれた態様を示したが、ＡＦ枠制御装置はフォーカスデマンド２６とは別体の装置として構成してもよい。また、この場合に、ＡＦ枠操作部６０は、その一部又は全てを画像処理ユニット５８と一体の装置に設けられてもよいし、別体の装置に設けてもよい。

次に画像処理ユニット５８の構成及び処理内容について説明する。

画像処理ユニット５８は、主としてメインボード７０、パターンマッチング処理演算ボード７２、顔認識処理演算ボード７４から構成されている。メインボード７０、パターンマッチング処理演算ボード７２、顔認識処理演算ボード７４の各々にはＣＰＵ７８、９０、９２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ７８、９０、９２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。

画像処理ユニット５８における処理は、メインボード７０において統括的に行われるようになっている。そのメインボード７０には、演算処理を行う上記ＣＰＵ７８の他に、ＳＣＩ７０ａ、デコーダ（Ａ／Ｄ変換器）７６、スーパーインポーザ８２、ＲＡＭ８０等が搭載されている。

ＳＣＩ７０ａは、上述のようにレンズ装置１２のＳＣＩ１２ａとの間でシリアル通信を行うためのインターフェース回路であり、上記ＡＦ枠情報等をレンズ装置１２に送信する。

デコーダ７６は、上記ダウンコンバータ６８から画像処理ユニット５８に入力されるテレビカメラ１０の撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット５８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。

スーパーインポーザ８２は、上記のデコーダ７６により得られた撮影映像の映像信号と、ＣＰＵ７８により生成される画像信号とを合成し、その合成した映像信号をＬＣＤ４０に出力・表示する回路である。これにより、カメラ本体１４に設置されているビューファインダ３６と同様にテレビカメラ１０の撮影映像がＬＣＤ４０に表示されると共に、その撮影映像に重ねて、現在設定されているＡＦ枠の範囲を示すＡＦ枠の画像や、タッチパネルでの入力操作を行えるようにしたメニュー画面（メニュー画像）等がＬＣＤ４０に表示される。尚、撮影映像に重畳させることなくＣＰＵ７８で生成された画像のみを表示させることも当然可能である。

ＲＡＭ８０は、ＣＰＵ７８の演算処理において使用するデータを一時的に格納するメモリである。

一方、パターンマッチング処理演算ボード７２や顔認識処理演算ボード７４は、パターンマッチングと顔検出・認識処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ９０、９２の他に画像データを一時的に格納するＶＲＡＭ９４、９６等を備えている。

また、画像処理ユニット５８には、ＳＤ（Secure Digital）カードやＵＳＢメモリなどの外部メモリとしてデータカード１１４を装填するスロット１１５が設けられており、顔認識により特定の人物の顔を検出する際に、その特定の人物の顔を示す認証データを予めデータカード１１４に保存しておき、そのデータカード１１４をスロット７５に装填することで、顔認識に必要な認証データをデータカード１１４からＣＰＵ７８が読み込めるようになっている。

続いて、上記のごとく構成された画像処理ユニット５８によるＡＦ枠の制御についてＬＣＤ４０の表示及び操作に関する処理と共に説明する。

まず、ＬＣＤ４０の表示及び操作に関して説明すると、図５に示すようにＬＣＤ４０の画面４０ａには、テレビカメラ１０の撮影映像に重畳して各種ボタン３００〜３１４からなるメニュー画面（メニュー画像）と、現在設定されているＡＦ枠の範囲を示すＡＦ枠の画像２０４（単にＡＦ枠２０４という）が表示される。メニュー画面の各種ボタン３００〜３１４やＡＦ枠２０４のように撮影映像に重畳される画像は、図２に示した画像処理ユニット５８におけるメインボード７０のＣＰＵ７８により生成され、それらの画像が、スーパーインポーザ８２においてデコーダ７６から得られるテレビカメラ１０の撮影映像に重畳されてＬＣＤ４０に表示されるようになっている。尚、ＬＣＤ４０の表示（表示内容）に関する制御はＣＰＵ７８により行われるものである。

一方、ＬＣＤ４０はタッチパネルを備えており、ＬＣＤ４０の画面４０ａに対して指先等が触れるタッチ操作が行われると、触れた位置（座標）を示す位置情報がＣＰＵ７８に与えられるようになっている。これにより、ＬＣＤ４０の画面４０ａに対して行われたタッチ操作の位置や操作の種類（タップ操作、ダブルタップ操作等）がＣＰＵ７８により検出されるようになっている。そして、その操作に従った処理がＣＰＵ７８により実行されるようになっている。

ＬＣＤ４０の画面４０ａにおける基本的な操作として、各ボタン３００〜３１４に予め割り当てられた指示を入力する操作や、ＡＦ枠２０４の範囲を指定する操作があり、前者の操作は、各ボタン３００〜３１４の位置を指先等でタップ操作するものである。後者のＡＦ枠２０４の範囲を指定する操作は、例えば、撮影映像が表示されたＬＣＤ４０の画面４０ａ上において、ＡＦ枠２０４を移動させたい位置をタップ操作すれば、その位置が中心となるようにＡＦ枠２０４を移動させることができる。また、ＡＦ枠２０４の頂点や辺を指先等でタッチしてそのままスライドするドラッグ操作によってドラッグ操作した位置までタッチした頂点や辺の位置を移動させてＡＦ枠２０４の大きさや形状を変更することができる。

ＬＣＤ４０の画面４０ａに表示されるメニュー画面（メニュー画像）について説明すると、図５において、”固定”と表示された固定モード選択ボタン３００、”物体追尾”と表示された物体追尾モード選択ボタン３０２、”顔検出”と表示された顔検出追尾モード選択ボタン３０４、”顔認識”と表示された顔認識追尾モード選択ボタン３０６は、ＡＦ枠の制御モードを選択するボタンであり、これらのボタン３００〜３０６のいずれかをタップ操作することで、固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モードのうちから所望のモードを選択することできるようになっている。尚、各モードの内容については後述する。

”セット”と表示されたセットボタン３０８と、”リセット”と表示されたリセットボタン３１０は、ＡＦ枠自動追尾の開始と停止を指示するボタンであり、これらのボタン３０８、３１０は、ＡＦ枠自動追尾の開始又は停止の指示を操作者が行う制御モード（物体追尾モード、顔検出モード）が選択された場合にのみ表示される。尚、これらのセットボタン３０８とリセットボタン３１０は、ＡＦ枠操作部６０の追尾開始スイッチ１０８と追尾停止スイッチ１１０（図１及び図４参照）と同様に作用するボタンである。

また、ＡＦ枠自動追尾の開始は、画面４０ａの所望の位置をダブルタップ操作（２回連続して同一位置をタップする操作）すると、その位置を中心とする位置にＡＦ枠が設定されると共に、ＡＦ自動追尾が開始されるようになっている。即ち、ダブルタップ操作の１回目のタップ操作がＡＦ枠をタップ操作した位置に移動させる指示操作となり、続く２回目のタップ操作がＡＦ自動追尾の開始を指示する操作となる。これにより、セットボタン３０８をタップ操作してＡＦ枠自動追尾の開始を指示する操作を省略することができ、迅速にそのＡＦ枠の位置の設定及びＡＦ枠自動追尾の開始を指示することができるようになっている。尚、ＡＦ枠自動追尾の開始をダブルタップ操作のみによって行えるようにし、上記セットボタン３０８の表示を行わないようにしてもよい。

”小”、”中”、”大”と表示されたＡＦ枠サイズ選択ボタン３１２（小ボタン３１２ａ、中ボタン３１２ｂ、大ボタン３１２ｃ）は、四角形で形状（縦横比）が一定のＡＦ枠２０４の大きさを、予め決められた３つの異なる大きさの中から選択するためのボタンであり、小ボタン３１２ａ、中ボタン３１２ｂ、大ボタン３１２ｃのいずれかをタップ操作することにより、ＡＦ枠２０４の大きさを瞬時に変更することができるようになっている。小ボタン３１２ａをタップ操作したときが一番小さいサイズのＡＦ枠となり、大ボタン３１２ｃをタップ操作したときが一番大きいサイズのＡＦ枠となる。

ここで、本実施の形態ではＡＦ枠２０４の大きさを３通りの大きさから選択できるようにしたが、２通り又は４通り以上の大きさを予め決めておき、各々の大きさに対応するＡＦ枠サイズ選択ボタンを表示して、各ＡＦ枠サイズ選択ボタンのタップ操作で各大きさのＡＦ枠２０４を選択できるようにしてもよい。また、ＡＦ枠の大きさだけでなく形状も異なるＡＦ枠を選択できるようにしてもよい。

また、大きさや形状の異なる複数種のＡＦ枠から所望の種類のＡＦ枠を選択するための選択手段の態様は本実施の形態のように各種類に対応した選択ボタンを設けたものに限らない。例えば、予め決められた複数種のＡＦ枠の各々について順番（１番〜Ｎ番）を割り当てておき、その順番に従ってＡＦ枠の種類を順次切り替えるボタンを設けてもよい。即ち、ＬＣＤ４０の画面４０ａにＡＦ枠の種類を切り替えるための１つの切替ボタンを表示し、その切替ボタンをタップ操作する毎に１ずつ加算した順番（現在設定されているＡＦ枠の順番に対して１加算した順番）のＡＦ枠に変更し、最大の順番（Ｎ番）のＡＦ枠となった場合には次に１番のＡＦ枠に変更する（トグル式に変更）ようにしてもよい。また、アップボタンとダウンボタンの２つのボタンを表示し、アップボタンをタップ操作する毎に１ずつ加算した順番のＡＦ枠に変更し、ダウンボタンをタップ操作する毎に１ずつ減算した順番のＡＦ枠に変更するようにしてもよい。

更に、選択可能なＡＦ枠の種類として大きさ（対角距離）が一定量ずつ異なるＡＦ枠、形状（縦横比）が一定量ずつ異なるＡＦ枠というような決め方も可能であり、上記のような切替ボタンや、アップボタンとダウンボタンがタップ操作される毎に、ＡＦ枠の大きさ又は形状を一定量ずつ変更することも可能である。このとき、ＡＦ枠の大きさを変更するためのボタンと、ＡＦ枠の形状を変更するボタンを別々に設けておけば、ＡＦ枠の大きさとＡＦ枠の形状の両方を変更することも可能である。

尚、ＡＦ枠の種類を選択するための選択手段は、上記のようにＡＦ枠の種類を選択するための上記のようなボタンをＬＣＤ４０の画面４０ａに表示する態様に限らず、又は、この態様と併せて、図２のＡＦ枠操作部６０の構成要素として、図４で示したフォーカスデマンド２６の本体２６ａ等にメカ的なボタン（スイッチ）を設け、そのボタンによってＡＦ枠の種類を変更できるようにしてもよい。

また、上記のようにＡＦ枠２０４の頂点や辺をドラッグ操作してＡＦ枠２０４を任意の大きさや形状に変更する操作は、ＡＦ枠サイズ選択ボタン３１２の操作のように予め決められた大きさや形状に変更する操作と共に有効に行えるようにしてもよいし、いずれか一方の操作のみを有効とし、ＬＣＤ４０の画面４０ａに表示された所定のボタンをタップ操作すること等によっていずれの操作を有効にするかを選択できるようにしてもよい。

図５において ”表示オフ”と表示されたメニュー表示オン／オフボタン３１４は、このボタン３１４以外のメニュー画面（メニュー画像）の表示をオフするためのボタンであり、メニュー表示オン／オフボタン３１４をタップ操作すると、図６のようにメニュー画面のボタン３００〜３１２の表示がオフされる。このとき、メニュー表示オン／オフボタン３１４には”表示オン”と表示され、再度、メニュー表示オン／オフボタン３１４をタップ操作すると、図５のようにメニュー画面が撮影映像に重畳されて表示される。これによれば、撮影映像に重畳されたメニュー画面の表示が不必要な状況において操作者がメニュー画面の表示をオフすることができ、メニュー画面が撮影作業を妨げとなることを防止することができる。

また、メニュー画面の表示は上記のように操作者が不要と判断する場合に限らず、自動で不要と判断できる場合がある。例えば、画面４０ａのタッチ操作（又はメニュー画面のボタン３００〜３１４に対するタッチ操作）が最後に行われた時から一定時間が経過した場合、即ち、画面４０ａのタッチ操作が一定時間以上行われていない場合には、メニュー画面の表示は不要であると判断することができる。

そこで、メインボード７０のＣＰＵ７８において、画面４０ａのタッチ操作（又はメニュー画面のボタン３００〜３１４に対するタッチ操作）が最後に行われた時から一定時間が経過したか否か（画面４０ａのタッチ操作が一定時間行われていないか否か）を判断し、一定時間が経過した場合には自動でメニュー画面の表示をオフするタイマー機能を設けてもよい。このときのメニュー画面の表示をオフする時間はユーザが任意の値に設定できるようにしてもよい。

また、操作者がレンズ装置１２のズーミング操作（図１に示したズームデマンド２８の操作）を行っている場合や詳細を後述するＡＦ枠自動追尾の動作が開始した後もメニュー画面の表示は不要であると判断することができる。

そこで、メインボード７０のＣＰＵ７８において、レンズ装置１２からズーミング操作が行われているか否かの情報を取得し、ズーミングの操作が行われていることが検出された場合、又は、ＡＦ枠自動追尾の処理が開始した場合には、メニュー画面の表示をオフする機能を設けてもよい。ＡＦ枠自動追尾の処理はＣＰＵ７８が統括的に行っているため、ＡＦ枠自動追尾の処理が開始されたことは自己の処理情報に基づいて判断することができる。

また、これらの自動表示オフ機能によって、メニュー画面の表示がオフされている場合には、例えば、画面４０ａの任意の位置をタッチ操作するとメニュー画面が表示されるようにすればよい。これらの自動表示オフ機能と同時に上記のようにメニュー表示オン／オフボタン３１４によるメニュー画面の表示のオン／オフを行えるようにした機能を採用している場合には、そのメニュー表示オン／オフボタン３１４をタップ操作することによってメニュー画面の表示を行うようにすればよい。

一方、上記のような機能よりメニュー画面の表示がオフされている場合において、メニュー画面の表示が必要であると自動で判断できる場合がある。例えば、ＡＦ枠自動追尾を行っている際に、何からの理由でその追尾が不能となる場合がある。その場合には、再度、メニュー画面での操作が必要となるため、メニュー画面を表示させる必要がある。このとき、上記のように操作者がメニュー画面を表示させるための操作を行うのは手間と時間を要する。

そこで、メインボード７０のＣＰＵ７８は、ＬＣＤ４０の画面４０ａにおいてメニュー画面の表示を消した状態となっている場合に、ＡＦ枠自動追尾が不能となったときには、自動的にメニュー画面を表示させる自動表示オン機能を設けてもよい。上記のようにＡＦ枠自動追尾の処理はＣＰＵ７８が統括的に行っているため、ＡＦ枠自動追尾が不能となったことは自己の処理情報に基づき判断することができる。

続いて、図５の画面４０ａにおいて示した固定モード選択ボタン３００、物体追尾モード選択ボタン３０２、顔検出追尾モード選択ボタン３０４、顔認識追尾モード選択ボタン３０６によって選択可能となっているＡＦ枠の各制御モードについて説明する。本実施の形態では、ＡＦ枠の制御モードとして固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モードの４つのモードが上記選択ボタン３００〜３０６のいずれかをタップ操作することにより選択できるようになっている。

固定モードは、ＡＦ枠の範囲（位置、大きさ、形状）を操作者がマニュアル操作で指定し、その指定した位置にＡＦ枠を固定するモード（マニュアルモード）である。この固定モードは、カメラをほとんど動かさないニュース番組などでの撮影に有益なモードである。

図５のＬＣＤ４０の画面４０ａにおいて固定モード選択ボタン３００をタップ操作すると固定モードが選択され、画像処理ユニット５８のメインボード７０に搭載されたＣＰＵ７８は、固定モードの処理を実行する。

即ち、ＣＰＵ７８は、上記のようにＬＣＤ４０の画面４０ａに対するＡＦ枠の範囲を変更する操作や、ＡＦ枠操作部６０に設けられたＡＦ枠２０４をマニュアル操作で変更するための操作部材（位置操作部材１００、サイズ操作部材１０２、形状操作部材１０４）の操作に基づいてＡＦ枠の範囲を決定する。ＣＰＵ７８は、ＡＦ枠の範囲を決定すると、そのＡＦ枠の範囲を示すＡＦ枠情報をＳＣＩ７０ａを通じてレンズ装置１２のレンズＣＰＵに送信する。

物体追尾モードは、ＡＦ枠自動追尾の１つのモードであり、任意の種類の物体をＡＦ枠で追尾させるモードである。この物体追尾モードは、人物の顔以外を追尾する競馬中継、カ−レース中継などでの撮影に有益なモードである。

図５のＬＣＤ４０の画面４０ａにおいて物体追尾モード選択ボタン３０２をタップ操作すると物体追尾モードが選択され、画像処理ユニット５８のメインボード７０に搭載されたＣＰＵ７８は、物体追尾モードの処理を開始する。

図７は、物体追尾モードの処理手順を示したフローチャートであり、以下、物体追尾モードの処理をこのフローチャートに従って説明する。尚、物体追尾モードが選択された場合にＬＣＤ４０の画面４０ａには、図５に示したものと同様のメニュー画面が表示される。

メインボード７０のＣＰＵ７８は、ＡＦ枠自動追尾の開始を指示する操作がＡＦ枠操作部６０から与えられるまで、固定モードと同様にＡＦ枠をマニュアル操作に従って変更し、追尾対象を設定するための処理（ＡＦ枠の初期設定処理）を行う。即ち、操作者は、追尾対象（ＡＦの対象）とする被写体画像が含まれるようにＡＦ枠の範囲を指定し、これに従ってＣＰＵ７８はＡＦ枠の範囲を設定する（ステップＳ１０）。尚、図５では、人物の顔にＡＦ枠２０４が設定されているが、この物体追尾モードでは人物の顔以外の物体を追尾対象とすることができる。

続いて操作者が、ＡＦ枠自動追尾の開始を指示する操作を行うと、ＣＰＵ７８（及びパターンマッチング処理演算ボード７２のＣＰＵ９０）はパターンマッチングによるＡＦ枠自動追尾の処理（ステップＳ１４〜Ｓ２６）を開始すると共に、ＡＦ枠自動追尾の処理で決定されるＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに指定する処理（ＡＦ枠情報の送信）を開始する（ステップＳ１２）。

尚、ＡＦ枠自動追尾の開始の指示は、図５に示したＬＣＤ４０の画面４０ａ上において、セットボタン３０８をタップ操作するか、又は、任意の位置（ＡＦ枠を設定する位置）をダブルタップ操作することによって行われる。また、ＡＦ枠操作部６０おいてメカ的なスイッチとして設けられた追尾開始スイッチ１０８を押下操作した場合にもＡＦ枠自動追尾の開始の指示が行われる。ＬＣＤ４０の画面４０ａ上において、ダブルタップ操作することによってＡＦ枠自動追尾の開始を指示する場合には、ステップＳ１０におけるＡＦ枠の位置の設定も同時に行うことができる。ただし、任意の位置でのダブルタップ操作を単にＡＦ枠自動追尾の開始を指示する操作とする態様も可能であり、その場合にはＡＦ枠の位置の設定とは無関係のものとなる。

また、ＡＦ枠自動追尾の開始する際にＡＦによるフォーカス制御が行われていない場合（ＡＦモードとなっていない場合）には、ＡＦ枠自動追尾の開始と連動してＡＦの開始も指示される。

ＡＦ枠自動追尾の処理を開始すると、ＣＰＵ７８からの指示によりパターンマッチング処理演算ボード７２のＣＰＵ９０は、デコーダ７６から１コマ分の撮影画像の画像データを取り込む（ステップＳ１４）。続いて、現在設定されているＡＦ枠の範囲をＣＰＵ７８から取得し、取り込んだ撮影画像のうちＡＦ枠の範囲内の画像を基準パターンの画像として設定（記憶）する（ステップＳ１６）。そして、以下のステップＳ１８〜Ｓ２６の処理を繰り返し実行する。

まず、ＣＰＵ９０は、デコーダ７６から１コマ分の撮影画像の画像データを取り込み（ステップＳ１８）、パターンマッチング処理を行って、撮影画像の中から基準パターンの画像に一致する画像範囲を検出する（ステップＳ２０）。そして、その検出した画像範囲をメインボードのＣＰＵ７８に通知する。

ＣＰＵ７８は、基準パターンの画像が移動したか否か、即ち、基準パターンを検出した画像範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ２２）。尚、撮影画像内での基準パターンの画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。

ステップＳ２２においてＹＥＳと判定した場合には、ステップＳ２０において検出した画像範囲を新たなＡＦ枠の範囲として設定（更新）し、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ２４）。

また、パターンマッチング処理演算ボード７２のＣＰＵ９０は、ステップＳ２２において検出した画像範囲の画像を新たな基準パターンの画像として更新する（ステップＳ２６）。

ステップＳ２２においてＮＯと判定した場合には、ステップＳ２４におけるＡＦ枠の更新は行わず、ステップＳ２６における基準パターンの更新のみが行われる。

ステップＳ２６の処理が終了すると、ステップＳ１８の処理に戻る。

尚、操作者によりＡＦ枠自動追尾の停止を指示する操作、例えば、ＬＤＣ４０の画面４０ａに表示されたリセットボタン３１０のタップ操作が行われると、ＡＦ枠自動追尾の処理を停止し、ステップＳ１０に戻る。また、このとき、ＡＦによるフォーカス制御も停止させるようにしてもよい。

顔検出追尾モードは、ＡＦ枠の自動追尾を行う１つのモードであり、任意の人物の顔をＡＦ枠で追尾させるモードである。この顔検出追尾モードは、人物の顔を検出して追尾する歌謡番組などでの撮影に有益なモードである。

図５のＬＣＤ４０の画面４０ａにおいて顔検出追尾モード選択ボタン３０４をタップ操作すると顔検出追尾モードが選択され、画像処理ユニット５８のメインボード７０に搭載されたＣＰＵ７８は、顔検出追尾モードの処理を開始する。また、この顔検出追尾モードが選択された場合、ＡＦ枠の範囲が人物の顔に合わせて自動的に設定されるため、ＬＣＤ４０の画面４０ａでは、図８に示すように図５のＡＦ枠サイズ選択ボタン３１２が非表示となる。

図９は、顔検出追尾モードの処理手順を示したフローチャートであり、以下、顔検出追尾モードの処理をこのフローチャートに従って説明する。

メインボード７０のＣＰＵ７８は、顔検出追尾モードが選択されると、まず、追尾対象の顔を設定するための処理（ＡＦ枠の初期設定処理）を行う。即ち、ＣＰＵ７８は、顔認識処理演算ボード７４のＣＰＵ９２に対して顔検出処理の開始を指示する。これにより、まず、顔認識処理演算ボード７４のＣＰＵ９２は、デコーダ７６から１コマ分の撮影画像の画像データを取り込む（ステップＳ３０）。続いて、その撮影画像の中に含まれる任意の人物の顔（顔画像）を検出する周知の顔検出処理を行う（ステップＳ３２）。そして、検出した顔画像の範囲をメインボード７０のＣＰＵ７８に通知する。尚、撮影画像内に複数の人物の顔画像が含まれる場合にはそれらの複数の顔画像の範囲を検出し、ＣＰＵ７８に通知する。

ＣＰＵ７８は、図８に示すように、検出された顔画像の範囲を顔枠２０４ａ、２０４ｂ、２０４ｃとしてＬＣＤ４０の画面４０ａに表示させる。そして、操作者が、それらの顔枠２０４ａ、２０４ｂ、２０４ｃにより示された人物の顔のうち、追尾対象（ＡＦの対象）とする顔をタップ操作によって選択（指定）すると、ＣＰＵ７８はその選択された顔を追尾対象とし、その追尾対象とした顔の顔枠をＡＦ枠として設定する（ステップＳ３４）。

尚、ＡＦ枠が設定される前の顔枠とＡＦ枠とは異なる色で表示するようにし、例えば、顔枠を緑色、ＡＦ枠を赤色で表示するようにしてもよい。また、ＣＰＵ７８は操作者が選択した顔枠をＡＦ枠として設定した場合には、ＬＣＤ４０の画面４０ａでの顔枠の表示をオフする。更に、顔枠が１つの場合には操作者が追尾対象を選択する操作を行うことなく自動的にその顔枠をＡＦ枠として設定するようにしてもよい。

以上の追尾対象の顔を設定する処理（ＡＦ枠の初期設定処理）によりＡＦ枠を設定した後、操作者が、ＡＦ枠自動追尾の開始を指示する操作を行うと、ＣＰＵ７８（及び顔認識処理演算ボード７４のＣＰＵ９２）は顔検出処理によるＡＦ枠自動追尾の処理（ステップＳ３８〜Ｓ４６）を開始すると共に、このＡＦ枠自動追尾の処理で決定されるＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに指定する処理（ＡＦ枠情報の送信）を開始する（ステップＳ３６）。

ここで、ＡＦ枠自動追尾の開始の指示は、物体追尾モードの場合と同様にセットボタン３０８のタップ操作や、ＡＦ枠の位置のダブルタップ操作等によって行うことができる。また、ステップＳ３４において、追尾対象の顔とする顔枠を選択する際に（ＡＦ枠を設定する際に）、選択する顔枠をタップ操作する代わりにダブルタップ操作することによって、その顔枠をＡＦ枠として設定すると同時にＡＦ枠自動追尾の開始を指示することができる。ただし、任意の位置でのダブルタップ操作を単にＡＦ枠自動追尾の開始を指示する操作とする態様も可能であり、その場合にはＡＦ枠の設定とは無関係に任意の位置でダブルタップ操作を行ってＡＦ枠自動追尾の開始を指示するものとなる。また、ステップＳ３４においてＡＦ枠を設定した際に、自動的にＡＦ枠自動追尾の処理を開始するようにしてもよい。尚、物体追尾モードと同様にＡＦ枠自動追尾の開始する際にＡＦによるフォーカス制御が行われていない場合（ＡＦモードとなっていない場合）には、ＡＦ枠自動追尾の開始と連動してＡＦの開始も指示される。

ＡＦ枠自動追尾の処理を開始すると、顔認識処理演算ボード７４のＣＰＵ９２は、ステップＳ３０及びステップＳ３２の処理と同様にＣＰＵ７８からの顔検出処理の実行の指示によりデコーダ７６から１コマ分の撮影画像の画像データを取り込み（ステップＳ３８）、その撮影画像の中に含まれる任意の人物の顔を検出する顔検出処理を行う（ステップＳ４０）。そして、検出した顔画像の範囲をメインボード７０のＣＰＵ７８に通知する。

ＣＰＵ７８は、検出された顔画像の範囲のうち、現在設定されているＡＦ枠の範囲に最も近接したものを追尾対象の顔画像の範囲として検出する（ステップＳ４２）。尚、ステップＳ４０において、顔を検出する範囲を撮影画像全体の範囲ではなく、現在設定されているＡＦ枠の位置の周辺部分に制限してもよい。

続いてＣＰＵ７８は、追尾対象の顔が移動したか否か、即ち、検出した顔画像の範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ４４）。尚、顔画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。

ステップＳ４４においてＹＥＳと判定した場合には、ステップＳ４２において検出した顔画像の範囲を新たなＡＦ枠の範囲として設定（更新）、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ４６）。そして、ステップＳ３８の処理に戻る。ステップＳ４４においてＮＯと判定した場合には、ステップＳ４６におけるＡＦ枠の更新は行わず、ステップＳ３８の処理に戻る。

尚、操作者によりＡＦ枠自動追尾の停止を指示する操作、例えば、ＬＤＣ４０の画面４０ａに表示されたリセットボタン３１０のタップ操作が行われると、ＡＦ枠自動追尾の処理を停止し、ステップＳ３０に戻る。また、このとき、ＡＦによるフォーカス制御も停止させるようにしてもよい。ＡＦ枠自動追尾の処理を本フローチャートの処理が終了する。

また、ステップＳ４０の顔検出処理において撮影画像の中に顔画像が全く検出されなかった場合や、ステップＳ４２の追尾対象の顔画像の検出において、現在設定されているＡＦ枠の範囲に対して最も近接した顔画像の範囲が、明らかに現在のＡＦ枠の範囲との連続性がない場合（離れ過ぎる場合等）には追尾不能として上記と同様にＡＦ枠自動追尾の処理を停止してステップＳ３０に戻る。

顔認識追尾モードは、ＡＦ枠の自動追尾を行う１つのモードであり、事前に認証データとして登録した人物の顔をＡＦ枠で追尾させるモードである。この顔認識追尾モードは、撮影する人物が事前に決まっている歌謡番組やスポーツ中継などでの撮影に有益なモードである。

図５のＬＣＤ４０の画面４０ａにおいて顔認識追尾モード選択ボタン３０６をタップ操作すると顔認識追尾モードが選択され、画像処理ユニット５８のメインボード７０に搭載されたＣＰＵ７８は、顔認識追尾モードの処理を開始する。また、顔認識追尾モードが選択された場合、ＡＦ枠の範囲が人物の顔に合わせて自動的に設定されるため、ＬＣＤ４０の画面４０ａでは、図１０に示すように図５のＡＦ枠サイズ選択ボタン３１２が非表示となり、これに代わって、後述のように顔認識に関連する登録顔画像表示部３１６（３１６ａ〜３１６ｃ）や選択ボタン３１８ａ、３１８ｂ、編集ボタン３２０が表示される。また、ＡＦ枠自動追尾の開始は、後述のように認証データとして登録した顔を検出すると自動的に行われるための図５のセットボタン３０８も非表示となる。

図１１は、顔認識追尾モードの処理手順を示したフローチャートであり、以下、顔認識追尾モードの処理をこのフローチャートに従って説明する。

メインボード７０のＣＰＵ７８は、顔認識追尾モードが選択されると、まず、追尾対象の顔を設定するための処理（ＡＦ枠の初期設定処理）を行う。即ち、図２に示したスロット１１５に装填されたデータカード１１４には、追尾対象の候補となる１又は複数の人物の顔の認証データが登録されており、ＣＰＵ７８は、その認証データをデータカード１１４から読み込む。そして、顔認識処理演算ボード７４のＣＰＵ９２に対して顔認識処理の開始を指示する。ここで認証データは、例えば、一人について、日の当たり方の違う顔や正面や左あるいは右向きの顔などの異なる顔画像、両目の距離、目と鼻の距離やこれらの比率などの複数のデータから構成されている。

顔認識処理の開始が指示されると、顔認識処理演算ボード７４のＣＰＵ９２は、デコーダ７６から１コマ分の撮影画像の画像データを取り込み（ステップＳ５０）、その撮影画像の中に含まれる任意の顔（顔画像）を顔検出追尾モードと同様の顔検出処理により検出する。続いて、メインボード７０のＣＰＵ７８から認証データを取得し、顔検出処理により検出した顔画像が認証データとして事前に登録されている特定人物の顔画像であるか否かをその認証データを用いて判断する顔認識処理を実行する（ステップＳ５２）。尚、この顔認識追尾モードにおいて行われる顔検出処理は顔認識処理の一部であるものとし、後述のステップＳ６２の顔認識処理においても顔検出処理によって任意の顔画像を検出した後、認証データの顔との照合が行われる。

顔認識処理が終了すると、ＣＰＵ９２はその結果をメインボード７０のＣＰＵ７８に通知する。これにより、ＣＰＵ７８は、認証データとして登録されている特定人物の顔が検出された場合のその顔画像の範囲と、認証データとして登録されていない人物の顔が検出された場合のその顔画像の範囲とを取得する。

次にＣＰＵ７８は、図１０に示すように、ＬＣＤ４０の画面４０ａ上において人物の顔が検出された顔画像の範囲に顔枠２０４ａ、２０４ｂ、２０４ｃを表示する。ステップＳ５２の顔認識処理により認証データとして登録されている人物の顔が検出された場合にはその顔枠に人物の名前も表示する。更に、上述のように認証データとして登録されている人物の顔画像を登録顔画像表示部３１６（３１６ａ〜３１６ｃ）に表示する。

ここで、認証データとして登録されている顔の数に応じて登録顔画像表示部３１６に表示する顔画像の数も変更される。

操作者は、登録顔画像表示部３１６に表示されている顔画像の中から、追尾対象とする顔画像を、選択ボタン３１８ａ又は３１８ｂをタップ操作して選択する。上側の選択ボタン３１８ａをタップ操作する毎に、選択される顔画像が、現在選択されている顔画像の１つ上側の顔画像に変更され、下側の選択ボタン３１８ｂをタップ操作する毎に、選択される顔画像が、現在選択されている顔画像の１つ下側の顔画像に変更される。尚、登録顔画像表示部３１６において現在選択されている顔画像は他の顔画像より拡大表示される（３１６ｂ参照）。

このようにして認証データとして登録されている顔の中から操作者が追尾対象とする顔を選択すると、ＣＰＵ７８はその選択された顔を追尾対象の顔として設定する（ステップＳ５４）。

尚、編集ボタン３２０をタップ操作すると、登録顔画像表示部３１６において表示する顔画像の順序を編集することができるようになっている。これによって、例えば、認証データとして登録した複数人物の顔を予め決められた順序で追尾対象として設定する場合に、その順序に従って登録顔画像表示部３１６において表示する顔画像の順序を設定しておけば、選択ボタン３１８ａ又は３１８ｂを１回ずつタップ操作することに予め決められた順序で追尾対象の顔を切り替えることができるようになっている。

以上のようにして追尾対象の顔を設定すると、続いて、ＣＰＵ７８は、その追尾対象の顔がステップＳ５２において検出されているか否かを判定する（ステップＳ５６）。ＮＯと判定した場合にはステップＳ５０の処理に戻り、上述の処理を繰り返す。即ち、追尾対処の顔がステップＳ５２の顔認識処理によって撮影画像内で検出されるまで、ステップＳ５０〜ステップＳ５６の処理を繰り返す。

一方、ステップＳ５６においてＹＥＳと判定した場合には、即ち、撮影画像内に追尾対象の顔が検出された場合にはその顔画像の範囲をＡＦ枠の範囲として設定する（ＡＦ枠の初期設定処理）。そして、ＣＰＵ７８（及び顔認識処理演算ボード７４のＣＰＵ９２）は顔認識処理によるＡＦ枠自動追尾の処理（ステップＳ６０〜Ｓ６６）を開始すると共に、このＡＦ枠自動追尾の処理で決定されるＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに指定する処理（ＡＦ枠情報の送信）を開始する（ステップＳ５８）。

尚、物体追尾モードや顔検出追尾モードと同様にＡＦ枠自動追尾の開始する際にＡＦによるフォーカス制御が行われていない場合（ＡＦモードとなっていない場合）には、ＡＦ枠自動追尾の開始と連動してＡＦの開始も指示される。

ＡＦ枠自動追尾の処理を開始すると、顔認識処理演算ボード７４のＣＰＵ９２は、ＣＰＵ７８からの顔認識処理の実行の指示によりデコーダ７６から１コマ分の撮影画像の画像データを取り込む（ステップＳ６０）。また、ステップＳ５４で選択された追尾対象の顔の認証データをＣＰＵ７８から取得する。そして、ステップＳ５２と同様の顔認識処理によって、追尾対象の顔の認証データを用いて撮影画像の中から追尾対象の顔を検出し、その顔画像の範囲をＣＰＵ７８に通知する（ステップＳ６２）。

続いてＣＰＵ７８は、追尾対象の顔が移動したか否か、即ち、検出した顔画像の範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ６４）。尚、顔画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。

ステップＳ６４においてＹＥＳと判定した場合には、ステップＳ６２において検出した顔画像の範囲を新たなＡＦ枠の範囲として設定（更新）し、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ６６）。そして、ステップＳ６０の処理に戻る。ステップＳ６４においてＮＯと判定した場合には、ステップＳ６６におけるＡＦ枠の更新は行わず、ステップＳ６０の処理に戻る。

尚、操作者によりＡＦ枠自動追尾の停止を指示する操作、例えば、ＬＤＣ４０の画面４０ａに表示されたリセットボタン３１０のタップ操作が行われると、ＡＦ枠自動追尾の処理を停止し、ステップＳ５０に戻る。このとき、追尾対処の顔はいずれにも設定されていない状態とする。また、ＡＦ枠自動追尾の停止と共に、ＡＦによるフォーカス制御も停止させるようにしてもよい。

また、ＡＦ枠自動追尾の処理中に、操作者が追尾対象の顔として上記選択ボタン３１８ａ、３１８ｂによって現在と異なる顔に変更した場合には、変更された新たな顔を追尾対象の顔として設定すると共に、ＡＦ枠自動追尾の処理を停止してステップＳ５０に戻る。

更に、追尾対象の顔として設定されている人物が撮影範囲外に移動した場合のように、ステップＳ６２の顔認識処理において撮影画像の中に追尾対象の顔が検出されなくなった場合には、追尾不能と判断してＡＦ枠自動追尾の処理を自動で停止し、ステップＳ５０に戻る。

以上、上記実施の形態では、ＡＦ枠自動追尾の制御モードとして物体追尾モード、顔検出追尾モード、顔認識追尾モードの３つのモードの中から所望のモードを選択できるようにしたが、いずれか２つのモードのみを選択できるようにしてもよい。

図１は、本発明が適用されるテレビカメラシステムの一実施の形態を示した外観図である。 図２は、図１のテレビカメラシステムに適用されるＡＦ枠自動追尾システムの全体構成を示したブロック図である。 図３は、ＡＦ枠（ＡＦエリア）の説明図である。 図４は、フォーカスデマンドの外観図である。 図５は、タッチパネル付き液晶ディスプレイに表示される画面の一例を示した図である。 図６は、タッチパネル付き液晶ディスプレイに表示されるメニュー画面の表示をオフした場合を示した図である。 図７は、物体追尾モードの処理手順を示したフローチャートである。 図８は、顔検出追尾モードにおいてタッチパネル付き液晶ディスプレイに表示される画面の一例を示した図である。 図９は、顔検出追尾モードの処理手順を示したフローチャートである。 図１０は、顔認識モードにおいてタッチパネル付き液晶ディスプレイに表示される画面の一例を示した図である。 図１１は、顔認識モードの処理手順を示したフローチャートである。

符号の説明

１…ＡＦ枠自動追尾システム、１０…テレビカメラ、１２…レンズ装置、１４…カメラ本体、２６…フォーカスデマンド、３６…ビューファインダ、４０…タッチパネル付き液晶ディスプレイ（ＬＣＤ）、５０…フォーカス操作部、５８…画像処理ユニット、６０…ＡＦ枠操作部、６６…ＡＦユニット、６８…ダウンコンバータ、７０…メインボード、７２…パターンマッチング処理演算ボード、７４…顔認識処理演算ボード、７６…デコーダ、７８、９０、９２…ＣＰＵ、８２…スーパーインポーザ、１１４…データカード、１１５…スロット、２００…ＡＦエリア、２０４…ＡＦ枠、３００…固定モード選択ボタン、３０２…物体追尾モード選択ボタン、３０４…顔検出追尾モード選択ボタン、３０６…顔認識追尾モード選択ボタン、３０８…セットボタン、３１０…リセットボタン、３１２…ＡＦ枠サイズ選択ボタン、３１２ａ…小ボタン、３１２ｂ…中ボタン、３１２ｃ…大ボタン、３１４…メニュー表示オン／オフボタン、３１６…登録顔画像表示部、３１８ａ、３１８ｂ…選択ボタン、３２０…編集ボタン

Claims (4)

1. 光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦ枠の範囲の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、前記ＡＦ枠の範囲を変更するＡＦ枠制御手段とを備えたオートフォーカスシステムにおいて、
   前記ＡＦ枠制御手段は、
   前記ＡＦ枠の大きさに関して選択可能な大きさとして予め決められた複数の異なる大きさの中から操作者によって選択された大きさを取得する選択サイズ取得手段と、
   前記選択サイズ取得手段によって取得された大きさに前記ＡＦ枠の大きさを設定するＡＦ枠サイズ設定手段と、
   を備えたことを特徴とするオートフォーカスシステム。
2. 前記ＡＦ枠制御手段は、画像表示画面に前記撮像手段により撮像された撮影画像を表示すると共に、該撮影画像に重畳させて現在設定されているＡＦ枠の範囲を表示する表示手段と、前記表示手段の画像表示画面に対する操作者のタッチ操作を検出するタッチ操作検出手段と、を備え、
   前記選択サイズ取得手段は、前記表示手段の画像表示画面に前記ＡＦ枠の大きさを選択するための選択ボタンを表示すると共に、該選択ボタンに対するタッチ操作を前記タッチ操作検出手段により検出することにより、操作者によって選択された前記ＡＦ枠の大きさを取得することを特徴とする請求項１のオートフォーカスシステム。
3. 前記選択サイズ取得手段は、前記選択ボタンとして、前記選択可能な大きさの各々に対応したボタンを前記表示手段の画像表示画面に表示し、前記タッチ操作検出手段によりタッチ操作されたことが検出されたボタンに対応した大きさを操作者によって選択された大きさとして取得することを特徴とする請求項２のオートフォーカスシステム。
4. 前記ＡＦ枠制御手段は、前記ＡＦ枠の位置を所定の追尾対象の被写体に自動追尾させるＡＦ枠自動追尾手段を備え、前ＡＦ枠サイズ設定手段は、前記ＡＦ枠自動追尾手段による自動追尾を開始する際の前記ＡＦ枠の大きさを設定する手段であることを特徴とする請求項１乃至３のうちいずれか１に記載のオートフォーカスシステム。

Images