JP4092636B2 - オートフォーカスシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はオートフォーカスシステムに係り、特に撮影画面上で移動する所望の被写体に自動でピントを合わるオートフォーカスシステムに関する。
【０００２】
【従来の技術】
テレビカメラなどで用いられているオートフォーカスシステムは、コントラスト方式によるものが一般的である。このコントラスト方式は、撮像素子から得られた映像信号のうち、ある範囲（フォーカスエリア）内の映像信号の高域周波数成分を積算して焦点評価値とし、その焦点評価値が最大となるように撮影レンズのピントを自動調整するものである。
【０００３】
従来のテレビカメラでは、フォーカスエリアを画面中央に固定して設定する方式が一般的であるが、トラックボールやジョイスティック等によりフォーカスエリアの位置をカメラマンが指定してフォーカスエリアを所望の位置に変更できるようにしたものも提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平９−５４２４４号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、フォーカスエリアが画面の中央に固定されていると、常にピントを合わせたい主要被写体が画面中央に配されていなければならず、カメラの使用条件が限定されてしまうという欠点がある。
【０００６】
これに対して、トラックボール等によりカメラマンがフォーカスエリアの位置を指定し変更できるようにした場合には、主要被写体を画面中央に配しておく制限はないが、撮影画面上で主要被写体が移動する場合には、それに応じてフォーカスエリアの位置を変更しなければならず、カメラ操作が大変になるという欠点がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、ピントを合わせる主要被写体が移動する場合に、その主要被写体に常にピントを合わせ続けることができるオートフォーカスシステムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために、カメラから得られる映像信号に基づいて撮影画面内に設定される所定のフォーカスエリア内における被写体像の鮮鋭度を示す焦点評価値を求め、該焦点評価値が最良ピントを示す状態となるように撮影レンズのフォーカスを制御し、前記フォーカスエリア内の主要被写体にピントを自動で合わせるオートフォーカス手段を備えたオートフォーカスシステムにおいて、前記映像信号から高域周波数成分の信号を抽出するフィルタ手段と、前記カメラにより所定時間経過する前と後に撮像された第１の画像と第２の画像に対応する高域周波数成分の信号を前記フィルタ手段により取得し、前記フォーカスエリア内における第１の画像の高域周波数成分の信号と、前記フォーカスエリアと同一の大きさであって所定位置の信号抽出範囲内における第２の画像の高域周波数成分の信号とを抽出する信号抽出手段と、前記信号抽出手段により抽出された前記第１の画像の高域周波数の信号と前記第２の画像の高域周波数成分の信号とにおいて、対応する画素同士の画素値の差の絶対値を積算して積算値を算出する積算値算出手段と、前記信号抽出手段により前記第２の画像から信号を抽出する前記信号抽出範囲の位置を変更しながら、各変更した位置の信号抽出範囲での前記積算値を前記積算値算出手段から取得し、該取得した積算値が最小となるときの前記信号抽出範囲の位置の前記フォーカスエリアの位置に対するシフト量を検出するシフト量検出手段と、前記シフト量検出手段により検出されたシフト量を前記第１の画像における主要被写体の位置に対する前記第２の画像における主要被写体の位置のシフト量として前記オートフォーカス手段によりピントが合わせられた主要被写体の撮影画面上での位置を検出する主要被写体位置検出手段と、前記主要被写体位置検出手段により検出された主要被写体の位置を含むように前記フォーカスエリアの範囲を変更し、又は、前記フォーカスエリアが主要被写体の位置を含むようにカメラの撮影範囲を変更する変更手段と、を備えたことを特徴としている。
【００１０】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記変更手段は、撮影画面上でのフォーカスエリアの範囲、又は、前記カメラの撮影範囲を、前記シフト量検出手段により検出されたシフト量分だけ変位させることを特徴としている。
【００１１】
本発明によれば、映像信号から高域周波数成分の信号を抽出することによって、ピントが合っている主要被写体とそれ以外の被写体（背景画像）とを容易に識別できるようにする。そして、その高域周波数成分の信号に基づいて撮影画面上で移動する主要被写体の位置を検出する。これにより、検出した主要被写体の位置を含むようにフォーカスエリアの範囲を変更し、又は、前記フォーカスエリアが主要被写体の位置を含むようにカメラの撮影範囲を変更することができ、主要被写体にピントを合わせ続けることができるようになる。
【００１２】
【発明の実施の形態】
以下、添付図面に従って本発明に係るオートフォーカスシステムの好ましい実施の形態について詳述する。
【００１３】
図１は、本発明に係るオートフォーカスシステムが適用されたテレビカメラシステムの構成を示すブロック図である。同図に示すように、本実施の形態のテレビカメラシステム１０は、テレビカメラ２０と画像処理装置３０とで構成されている。
【００１４】
テレビカメラ２０は、カメラ本体２２、レンズ装置２４、コントローラ２６等で構成されており、図示しない雲台に搭載されている。
【００１５】
カメラ本体２２には、撮像素子や所要の処理回路が搭載されており、レンズ装置２４の光学系（撮影レンズ）を介して撮像素子に結像された画像（動画）を映像信号として外部に出力する。このカメラ本体２２における撮影開始や終了等の撮影動作は、コントローラ２６から与えられる制御信号に基づいて制御される。
【００１６】
レンズ装置２４には、モータ駆動可能なフォーカスレンズやズームレンズ等の光学部材が搭載されており、これらのフォーカスレンズやズームレンズが移動することによってテレビカメラ２０のフォーカスやズームが調整される。このレンズ装置２４におけるフォーカスやズーム等の動作は、カメラ本体２２と同様にコントローラ２６から与えられる制御信号に基づいて制御される。
【００１７】
画像処理装置３０は、Ｙ／Ｃ分離回路３２、Ａ／Ｄコンバータ３４、ハイパスフィルタ（ＨＰＦ）３５、画像メモリ３６、画像処理プロセッサ３８、ＣＰＵ４０等の各種信号処理回路から構成され、オートフォーカスモードがオンになっている場合に有効に動作する。
【００１８】
オートフォーカスモードがオンになっている場合、画像処理装置３０には、カメラ本体２２から出力された映像信号が入力され、その映像信号はＹ／Ｃ分離回路３２によって輝度信号（Ｙ信号）と色差信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）に分離される。ここで分離された輝度信号はＡ／Ｄコンバータ３４によってデジタル信号（以下「画像データ」という）に変換された後、ハイパスフィルタ３５によってその高域周波数成分の信号のみが抽出される。そして、ハイパスフィルタ３５によって抽出された高域周波数成分の信号は、画像メモリ３６に入力される。尚、ハイパスフィルタ３５により映像信号（輝度信号）から高域周波数成分の信号を抽出することによって、その信号からピントが合っている被写体（主要被写体）とピントが合っていない被写体とが容易に識別できる。
【００１９】
一方、Ｙ／Ｃ分離回路３２から画像処理プロセッサ３８には、映像信号の同期信号が与えられており、この同期信号に基づいて所要のタイミングで画像処理プロセッサ３８から画像メモリ３６にデータ書込みのコマンドが与えられる。これによって、画像メモリ３６には、所定時間間隔の複数フレーム分の画像データ （輝度信号の高域周波数成分の信号値）が記憶される。
【００２０】
画像処理プロセッサ３８は、画像メモリ３６に記憶された画像データから所定のフォーカスエリア内の画像データを読み出してＣＰＵ４０に出力する。ＣＰＵ４０は、入力する画像データに基づいて前記フォーカスエリア内の焦点状態を評価するための焦点評価値を算出する。そして、テレビカメラ２０のコントローラ２６に制御信号を出力し、レンズ装置２４のフォーカス位置を移動させながら焦点評価値が最大となるフォーカス位置を検出して、その位置にフォーカス位置を設定する。すなわち、焦点評価値が増加する方向にフォーカス位置を移動させ、焦点評価値が最大となったところでフォーカス位置を停止させる（いわゆる山登りＡＦ）。これにより、フォーカスが合焦状態に設定される。
【００２１】
尚、焦点評価値は、フォーカスエリア内の輝度信号の高域周波数成分を積算して得られる値であり、フォーカスエリア内の画像の鮮鋭度（コントラストの高低）を示す。本実施の形態では、輝度信号から高域周波数成分の信号を抽出して得られる画像データが画像メモリ３６に記憶されるため、焦点評価値を算出する際のＣＰＵ４０の処理としては輝度信号から高域周波数成分の信号を抽出する処理は不要である。
【００２２】
ところで、画像メモリ３６に記憶される画像は、例えば、図２に示すように横に７２０画素、縦に２４０画素の画像データとして記憶される。一方、ピント合わせの対象となるフォーカスエリアＦは、その７２０画素×２４０画素で構成される画面内に矩形の領域として設定される。このフォーカスエリアＦは、例えば固定モードでは画面中央に固定されるが、自動追尾モードでは主要被写体の動きに追尾して移動する。撮影者は、オートフォーカスモードにおいて、この固定モードと自動追尾モードとを選択することができる。なお、固定モードでは、撮影者が任意に指定した範囲に固定できるようにしてもよい。
【００２３】
そして、自動追尾モードに設定されている場合、画像処理プロセッサ３８は、後述のように画像メモリ３６に記憶された最新の撮影画像の画像データに基づいて撮影画面上での主要被写体の位置を検出し、その位置を含むようにフォーカスエリアＦの範囲（位置）を変更する。これによって、上述のようなオートフォーカス制御（山登りＡＦ）がそのフォーカスエリアＦ内の画像を対象として行われ、主要被写体にピントが合わせ続けられるようになる。
【００２４】
以下、フォーカスエリアＦの範囲を変更する画像処理プロセッサ３８の処理について具体的に説明する。まず、最新の撮影画像での主要被写体の位置を検出する処理について説明すると、最新の撮影画像での主要被写体の位置は、前時点での撮影画像での主要被写体の位置に対するシフト量として検出される。今、撮影画面上のある位置にフォーカスエリアＦが設定されているとする。例えば、初期状態では画面中央に設定されている。そして、図３に示すようにテレビカメラ２０の撮影範囲に物体Ａと物体Ｂとが配置され、それらの物体Ａ、ＢがフォーカスエリアＦ内の被写体として撮影されているものとする。また、オートフォーカス制御により物体Ａにピントが合わせられているものとする。即ち、物体Ａが主要被写体であり、物体Ｂが非主要被写体であるものとする。
【００２５】
このとき撮影画面上には、図４（Ａ）に示すようにフォーカスエリアＦ内に物体Ａと物体Ｂの画像が映し込まれる。これに対して画像メモリ３６に記憶される画像データは、ハイパスフィルタ３５によって抽出された輝度信号の高域周波数の信号値（画素値）であり、ピントが合っている物体Ａの画像に対する画素値の方がピントが合っていない物体Ｂの画像に対する画素値よりも非常に大きな値を示す。例えば、図４（Ａ）の画面中央の水平ラインに沿った各画素の画素値は、同図上部に示したような信号を示し、物体Ｂの画像に対する画素値は物体Ａの画像に対する画素値に対して無視できるほどに小さくなる。また、物体Ｂ以外の背景画像についても同様である。従って、画像メモリ３６には、主要被写体である物体Ａの画像に対する画像データのみが記憶されているとみなすこともできる。尚、図４（Ａ）の画像に対応する画像データを画像▲１▼とする。
【００２６】
続いて、図４（Ａ）の画像▲１▼の記憶時に対して所定時間経過した後（例えば、１垂直同期期間経過後）に最新の撮影画像の画像データが画像メモリ３６に記憶され、その画像が図４（Ｂ）に示すように変化したとする。ここでは物体Ａが移動している。尚、図４（Ｂ）の画像に対応して画像メモリ３６に記憶された画像データを画像▲２▼とする。このとき、図４（Ｂ）の画面中央の水平ラインに沿った各画素の画素値は、同図上部に示したような信号を示す。
【００２７】
このように画像▲１▼と画像▲２▼の画像データが画像メモリ３６に記憶されたとすると、画像処理プロセッサ３８は、主要被写体である物体Ａの画像▲２▼での位置を画像▲１▼での位置に対する物体Ａのシフト量として求める。
【００２８】
そこで、画像処理プロセッサ３８は、現在設定されているフォーカスエリアＦを画像▲１▼の信号抽出範囲としてその範囲の画像▲１▼の画像データ（画素値）を画像メモリ３６から抽出する。尚、図５に示すように現在設定されているフォーカスエリアＦの左上隅の座標値を（Ｈ、Ｖ）で表す（Ｈは撮影画面上の左端からの画素数、Ｖは撮影画面上の上端からの画素数を示す）。
【００２９】
また、フォーカスエリアＦと大きさが同一であって、左上隅の座標を（Ｈ＋Ｘ、Ｖ＋Ｙ）（Ｘ、Ｙは所定の整数）とする矩形範囲を画像▲２▼の信号抽出範囲としてその範囲の画像▲２▼の画像データを画像メモリ３６から抽出する。そして、画像▲１▼と画像▲２▼のそれぞれの信号抽出範囲の対応する画素同士で画素値の差を求め、その差の絶対値を信号抽出範囲の全ての画素について積算した値（積算値）を求める。尚、画像▲１▼と画像▲２▼のそれぞれの信号抽出範囲の対応する画素とは、画像▲１▼と画像▲２▼のそれぞれの信号抽出範囲内において同一位置にある画素であり、画像▲１▼の画素（ｘ、ｙ）と画像▲２▼の画素（ｘ＋Ｘ、ｙ＋Ｙ）が対応する。
【００３０】
画像処理プロセッサ３８は、このような積算値を、画像▲２▼の信号抽出範囲をシフトさせながら（Ｘ、Ｙの値を変えながら）求めていく。例えば、図５に示すようにＸ、Ｙをそれぞれ−１０から＋１０まで１ずつ変化させながら合計２１×２１個の積算値を求める。そして、このようにして求めた積算値のうちから最小となるものを検出し、その最小の積算値が得られたときの画像▲１▼の信号抽出範囲に対する画像▲２▼の信号抽出範囲のシフト量を検出する。例えば、最小の積算値が得られたときの画像▲２▼の信号抽出範囲が左上隅の座標で（Ｈ＋Ｘ１、Ｖ＋Ｙ１）であったとすると、信号抽出範囲のシフト量は、水平方向にＸ１、垂直方向にＹ１だけシフトさせた量（Ｘ１、Ｙ１）となる。
【００３１】
ここで、積算値が最小となる場合には、画像▲１▼と画像▲２▼のそれぞれの信号抽出範囲における物体Ａの位置が一致している場合であり、上述のように検出した信号抽出範囲のシフト量は、物体Ａの画面上におけるシフト量を示す。従って、このように信号抽出範囲のシフト量を検出することによって主要被写体である物体Ａの画像▲２▼での位置が検出される。
【００３２】
続いて、画像処理プロセッサ３８は、新たなフォーカスエリアＦ´の範囲を現在設定されているフォーカスエリアＦに対してシフト量（Ｘ１、Ｙ１）だけシフトさせた位置に変更する。即ち、図４（Ｂ）に示すように現在設定されているフォーカスエリアＦの左上端の座標を（Ｈ、Ｖ）とすると、新たなフォーカスエリアＦ´の範囲（斜線で示す範囲）を左上隅の座標値（Ｈ＋Ｘ１、Ｖ＋Ｙ１）とする位置に変更する。これによって、主要被写体である物体Ａの位置を含むようにフォーカスエリアの範囲が変更される。
【００３３】
以上のようにしてフォーカスエリアの範囲を変更したのち、その新たなフォーカスエリアの範囲の被写体をピント合わせの対象とし、上述のようなオートフォーカスの制御を行う。
【００３４】
尚、フォーカスエリアの範囲を変更する処理は、焦点評価値を求めるために画像メモリ３６からフォーカスエリア内の画像データを読み出す際にそのフォーカスエリアを変更するために毎回行うようにしてもよいし、それ以外のタイミングで行ってもよい。
【００３５】
また、上記説明では、画像▲１▼と画像▲２▼の信号抽出範囲をフォーカスエリアと同じ大きさの範囲としたが、必ずしも同じ大きさである必要はない。
【００３６】
次に、フォーカスエリアの変更処理の手順について図６のフローチャートを用いて説明する。
【００３７】
まず、画像処理プロセッサ３８は、ハイパスフィルタ３５を通過して高域周波数成分の信号が抽出された１画面分の画像データ（画像▲１▼）を画像メモリ３６に取り込む（ステップＳ１０）。続いて、所定時間経過後に同様にして１画面分の画像データ（画像▲２▼）を画像メモリ３６に取り込む（ステップＳ１２）。そして、上述のように画像▲１▼の信号抽出範囲（フォーカスエリア）の画素値データ（画素値）と画像▲２▼の信号抽出範囲の画素値とを画像メモリ３６から読み出し、対応する各画素の画素値の差の絶対値を積算して積算値を求める。また、画像▲２▼の信号抽出範囲を所定シフト量だけ撮影画面上でシフトさせて同様に積算値を求める（ステップＳ１４）。
【００３８】
次いで、ステップＳ１４で求めた積算値のうち、最小の積算値が得られるときの信号抽出範囲のシフト量を求め（ステップＳ１６）、そして、そのシフト量分だけ現在設定されているフォーカスエリアをシフトさせた範囲を新たなフォーカスエリアとして設定する（ステップＳ１８）。以上のステップＳ１０からステップＳ１８の処理を繰り返す。
【００３９】
以上、上記実施の形態では、撮影画面上で移動する主要被写体がフォーカスエリアの範囲内となるように主要被写体の位置（シフト量）に応じてフォーカスエリアの範囲を変更するようにしたが、リモコン雲台のように搭載したテレビカメラをパン・チルト等させて撮影範囲を変更できるシステムの場合には、主要被写体の位置（シフト量）に応じて主要被写体がフォーカスエリア内となるようにカメラの撮影範囲を変更するようにしてもよい。例えば、カメラの撮影範囲のシフト量（撮影画面上での画素数を単位とするシフト量）は、フォーカスエリアの範囲を変更する場合と同様に求めたシフト量とすることができる。
【００４０】
また、上記実施の形態では、フォーカスエリアの範囲や、カメラの撮影範囲を、大きさを変えずにシフトするようにしたが、主要被写体の位置に応じてフォーカスエリアの範囲やカメラの撮影範囲の大きさを変更して主要被写体がフォーカスエリア内となるように制御してもよい。
【００４１】
また、上述した一連の実施の形態では、本発明をテレビカメラシステムに適用した場合を例に説明したが、本発明はこれに限らず、ビデオカメラや静止画を撮影するスチルカメラにも適用することができる。
【００４２】
【発明の効果】
以上説明したように本発明によれば、映像信号から高域周波数成分の信号を抽出することによって、ピントが合っている主要被写体とそれ以外の被写体（背景画像）とを容易に識別できるようにする。そして、その高域周波数成分の信号に基づいて撮影画面上で移動する主要被写体の位置を検出する。これにより、検出した主要被写体の位置を含むようにフォーカスエリアの範囲を変更し、又は、前記フォーカスエリアが主要被写体の位置を含むようにカメラの撮影範囲を変更することができ、主要被写体にピントを合わせ続けることができるようになる。
【図面の簡単な説明】
【図１】図１は、本発明に係るオートフォーカスシステムが適用されたテレビカメラシステムの構成を示すブロック図である。
【図２】図２は、フォーカスエリアの設定例を示した図である。
【図３】図３は、主要被写体の位置を検出する処理の説明に使用した説明図である。
【図４】図４は、主要被写体の位置を検出する処理の説明に使用した説明図である。
【図５】図５は、主要被写体の位置を検出する処理の説明に使用した説明図である。
【図６】図６は、フォーカスエリアの変更処理の手順を示したフローチャートである。
【符号の説明】
１０…テレビカメラシステム、２０…テレビカメラ、２２…カメラ本体、２４…レンズ装置、２６…コントローラ、３０…画像処理装置、３２…Ｙ／Ｃ分離回路、３４…Ａ／Ｄコンバータ、３５…ハイパスフィルタ、３６…画像メモリ、３８…画像処理プロセッサ、４０…ＣＰＵ

Claims (2)

1. カメラから得られる映像信号に基づいて撮影画面内に設定される所定のフォーカスエリア内における被写体像の鮮鋭度を示す焦点評価値を求め、該焦点評価値が最良ピントを示す状態となるように撮影レンズのフォーカスを制御し、前記フォーカスエリア内の主要被写体にピントを自動で合わせるオートフォーカス手段を備えたオートフォーカスシステムにおいて、
   前記映像信号から高域周波数成分の信号を抽出するフィルタ手段と、
   前記カメラにより所定時間経過する前と後に撮像された第１の画像と第２の画像に対応する高域周波数成分の信号を前記フィルタ手段により取得し、前記フォーカスエリア内における第１の画像の高域周波数成分の信号と、前記フォーカスエリアと同一の大きさであって所定位置の信号抽出範囲内における第２の画像の高域周波数成分の信号とを抽出する信号抽出手段と、
   前記信号抽出手段により抽出された前記第１の画像の高域周波数の信号と前記第２の画像の高域周波数成分の信号とにおいて、対応する画素同士の画素値の差の絶対値を積算して積算値を算出する積算値算出手段と、
   前記信号抽出手段により前記第２の画像から信号を抽出する前記信号抽出範囲の位置を変更しながら、各変更した位置の信号抽出範囲での前記積算値を前記積算値算出手段から取得し、該取得した積算値が最小となるときの前記信号抽出範囲の位置の前記フォーカスエリアの位置に対するシフト量を検出するシフト量検出手段と、
   前記シフト量検出手段により検出されたシフト量を前記第１の画像における主要被写体の位置に対する前記第２の画像における主要被写体の位置のシフト量として前記オートフォーカス手段によりピントが合わせられた主要被写体の撮影画面上での位置を検出する主要被写体位置検出手段と、
   前記主要被写体位置検出手段により検出された主要被写体の位置を含むように前記フォーカスエリアの範囲を変更し、又は、前記フォーカスエリアが主要被写体の位置を含むようにカメラの撮影範囲を変更する変更手段と、
   を備えたことを特徴とするオートフォーカスシステム。
2. 前記変更手段は、撮影画面上でのフォーカスエリアの範囲、又は、前記カメラの撮影範囲を、前記シフト量検出手段により検出されたシフト量分だけ変位させることを特徴とする請求項１のオートフォーカスシステム。

Images