以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。
図1は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。同図に示す撮像システムは、例えば放送用テレビカメラでの撮影に用いられる撮像システムであり、同図にはレンズ交換可能なカメラヘッド10、カメラヘッド10のレンズマウントに装着される撮影レンズ(光学系)を備えたレンズ装置12、操作部14を含む追尾装置16等が示されている。
カメラヘッド10には、撮像素子(例えばCCD)や所要の信号処理回路等が搭載されており、レンズ装置12の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施される。信号処理回路によって生成される所定形式の映像信号は、カメラヘッド10の映像信号出力端子等から外部機器に出力される。また、カメラヘッド10で撮像された映像を表示し、構図の確認等に用いられるためのビューファインダ(モニタ)18が追尾装置16に設置されている。ビューファインダ18にはカメラヘッド10からの映像信号が与えられ、カメラヘッド10で撮影されているリアルタイムの画像(映像)がビューファインダ18の画面上に表示されるようになっている。また、ビューファインダ18の画面上にはオートフォーカス(AF)の対象とするAFエリアの範囲を示すAF枠等の情報も表示することができる。
レンズ装置12は、カメラヘッド10のレンズマウントに装着される図示しない撮影レンズ(光学系)を備えており、その撮影レンズにより被写体がカメラヘッド10の撮像素子の撮像面に結像される。撮影レンズには、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、図示しないモータ(サーボ機構)によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス(被写体距離)調整が行われ、ズームレンズ群が移動することによって焦点距離(ズーム倍率)調整が行われる。尚、本実施の形態のようにオートフォーカスに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作手段(レンズ装置12に接続されるコントローラの操作手段等)から操作者の操作に従って出力されるコントロール信号に基づいて可動部の動作が制御されるが詳細は省略する。
また、同図に示すように、レンズ装置12には、レンズ装置12全体を統括制御するレンズCPU20、オートフォーカス(AF)処理を実行するAF処理部22、AF用撮像回路24等が搭載されている。AF用撮像回路24は、AF処理用の映像信号を取得するためにレンズ装置12に配置されており、撮像素子(CCD等)や撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、AF用撮像回路24の撮像素子をAF用撮像素子という。また、AF用撮像回路24から出力される映像信号は輝度信号とする。AF用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラヘッド10の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。AF用撮像素子の撮像エリアに対する撮影範囲及び被写体距離(ピントが合う被写体の距離)は、カメラヘッド10の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、AF用撮像素子により取り込まれる被写体画像は、カメラヘッド10の撮像素子により取り込まれる被写体画像と一致している。尚、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、AF用撮像素子の撮影範囲の方がカメラヘッド10の撮像素子の撮影範囲を包含する大きな範囲であってもよい。
AF処理部22は、AF用撮像回路24から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、AF用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちAFの対象とするAFエリアに対応する範囲の信号を1画面(1フレーム)分ずつ積算する。このようにして1画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズCPU20に与えられる。尚、AFエリアの範囲は後述のようにレンズCPU20により指定される。
レンズCPU20は、詳細を後述するようにAFエリアの範囲(輪郭)を示すAF枠の情報(AF枠情報)を操作部14から取得してそのAF枠情報により指定されたAF枠内の範囲をAFエリアとしてAF処理部22に指定する。そして、そのAFエリア内の画像(映像信号)により求められる焦点評価値をAF処理部22から取得する。このようにしてAF用撮像回路24から1画面分の映像信号が取得されるごとに(AF処理部22で焦点評価値が求められるごとに)AF処理部22から焦点評価値を取得すると共に、取得した焦点評価値が最大(極大)、即ち、AFエリアの被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、AF枠内の被写体に自動でピントが合わせられる。
追尾装置16は、操作者が指定した対象物を画面上で追尾しながらその対象物の移動に合わせてAFポイントを移動させ、AF枠の位置を自動で変更する装置であり、操作部14、画像処理部26、画像入力部28、追尾処理部30、パターンデータ記憶部32、枠情報生成部34及び映像合成部36などを含んでいる。
操作者によるAF枠の変更の操作が行われていない場合には、追尾装置16は自動でAF枠を変更する。また、操作者がAF枠の変更の操作を行った場合には、その操作が追尾装置16よりも優先されて操作者の操作に従ってAF枠が変更されるようになっている。
操作部14には、上記AF枠の位置、形状、大きさ等のAF枠の設定内容を操作者が指定するための操作部材として、AF枠の移動方向及び移動量を指定するトラックボール14aが設けられている。また、操作部14には、画面内のどの被写体をAFをかけて追尾する追尾対象とするかを登録し、また選択する操作部材として、押しボタン式のスイッチ14bが設けられている。図1に示すようにスイッチ14bは複数設けられ、各スイッチ14bに追尾対象をそれぞれ対応付けて登録することによりAFをかけて追尾する追尾対象を複数登録することができるようにしてもよい。登録する追尾対象のパターンデータ(登録パターン)は、後述するパターンデータ記憶部32のデータベースに記憶される。
図2に、AF枠の例を示す。図2に示すように、AF枠は、カメラヘッド10の撮像素子での撮影範囲又は撮影画像に対してAFの対象範囲を示すAFエリアの輪郭を示す。
操作部14は、その操作部材が操作者により操作されると、その操作に従ってAF枠の位置等の設定内容を設定、変更する。尚、本実施の形態ではAF枠の形状は矩形に制限されているものとする。また、操作部14の操作部材によるAF枠の位置や大きさ等の設定内容の変更は、操作前におけるAF枠の設定内容を基準にしてその後の操作部材の操作量に対応する変更量分だけ設定内容に変更を加えることによって行われるようになっている。例えばAF枠の位置はトラックボール14aの回転方向及び回転量に対応する方向及び移動量分だけAF枠が縦横方向に変位する。また、AF枠の撮影範囲(撮影画像)上での位置(本実施の形態では矩形のAF枠の中心位置)を決める点をAFポイントというものとすると、AF枠の位置はAFポイントの位置を設定することによって決まる。
一方、操作部材が操作されずに操作者によるAF枠の設定内容の変更が指示されていない間は、後述する追尾処理部30において、AF枠が設定され、また変更される。操作部14は、操作者の操作により設定、変更されたAF枠の設定内容を示すAF枠情報をレンズCPU20からの要求に従ってレンズCPU20に対して送信するとともに、追尾処理部30に対して送信する。また、追尾処理部30において設定、変更されたAF枠の設定内容を示すAF枠情報は操作部14を介してレンズCPU20に送信される。これによって追尾処理部30で追尾処理を行うためのAFの対象範囲がAF枠の範囲に設定される。
画像入力部28は、上述したAF用撮像回路24により得られた映像信号(輝度信号)をAF処理部22を介して取得し、撮影範囲のうち画像処理部26により指定された範囲の画像(画像データ)を画像処理部26に与える。
画像処理部26は、画像入力部28から取得した画像データに対して所定の画像処理を施し追尾処理部30に送る。
追尾処理部30は、送られた画像データから上で設定されたAF枠によって決まるAFエリアにおいて、パターンデータ記憶部32に記憶されているパターンデータ(登録パターン)を用いて、セキュリティを目的とした公知の顔(物体)認証技術によって個人の顔(物体)を識別・認識し、追尾対象であるAFエリア中の特定の人物(物体)を追尾しAFをかけ、その対象物の移動に追従させてAFポイントを移動させる。
パターンデータ記憶部32は、AFエリアの特定の人物(物体)をAFをかけて追尾する追尾対象として認識するために必要なパターンデータを登録・記憶しておくものである。このとき複数のスイッチ14bの各一つのスイッチに対して一つのパターンデータ(登録パターン)が対応するように登録することにより、追尾対象のパターンデータ(登録パターン)を複数(複数人分)登録することができる。
このパターンデータの登録は、操作者が各スイッチ14bにパターンデータを対応付けて予め登録するようにしてもよいし、撮影中に追尾処理部30が画面内にいる人物のパターンデータをシステムが各スイッチ14bに自動的に割りつけて登録するようにしてもよい。図1に示した例では、スイッチ14bは5つあるので、最大5人まで登録することができるが、この登録可能な人数は特に限定されるものではない。
パターンデータ記憶部32に追尾対象を示すパターンデータが登録されているとき、操作者がスイッチ14bの一つを押すと、その押されたスイッチ14bに対応するパターンデータの追尾対象が選択される。追尾対象が選択されている場合には、撮影中その選択された追尾対象が画面内に存在するか否かが常に検索され、選択された追尾対象を発見した場合にはその追尾対象である被写体を追尾すると同時にAFが開始されるようになっている。なお、図示は省略するが、操作部14には、この他に自動追尾の開始及び終了を指示する自動追尾スイッチが設けられている。
また、パターンデータ記憶部32に追尾対象が複数登録されている場合には、画面内に複数の登録パターンが存在する場合や、画面から登録パターンがフレームアウトしたり画面に登録パターンがフレームインしたりする場合に、どの登録パターンを追尾するか自動的に選択可能なように、その複数の登録パターンそれぞれに優先順位を付けておくようにしてもよい。このとき、各スイッチ14bに対応付けして登録した順番(スイッチの番号順)をそのまま優先順位としてもよい。
枠情報生成部34は、追尾処理部30からAF枠情報を受け取り、ビューファインダ18の表示画面に表示される画像にAF枠を重ねて表示するために表示用のAF枠のデータを生成するものである。
映像合成部36は、カメラヘッド10から送られる画像データ(映像信号)と枠情報生成部34から送られる表示用に生成された枠情報データとを合成してビューファインダ18に表示するための合成映像を生成してビューファインダ18に送るものである。
ビューファインダ18には、画面上の対応する位置にAF枠が重ねて表示された画像が表示される。さらに、AF枠内の追尾対象である登録パターンの人物の顔に枠を表示するようにしてもよい。この顔の枠の表示をON/OFFするスイッチは上記スイッチ14bで兼ねてもよい。また、図1に示すように、その顔枠に対してその追尾対象を特定するための、例えば「FUJI#1」のような名称の表示、及び画面下の方にAF駆動中である旨を示す表示などを表示するようにしてもよい。
次に、本実施の形態のオートフォーカスシステムの基本的な動作について説明する。
図3は、本実施の形態のオートフォーカスシステムの基本的な動作を示すフローチャートである。
図3に示す実施の形態は、一人(一つ)の被写体を追尾対象とし、撮影画像中からその登録パターンを検出して自動追尾するものである。
まず、図3のステップS100において、初期設定を行う。
次に、ステップS102において、自動追尾を行うか否かを判断する。これは、AFエリアの対象の自動追尾の開始及び終了を指示する追尾スイッチのON/OFFによって判断される。追尾スイッチは、図示を省略するが、例えば操作部14に設置される。
ステップS102において自動追尾OFFと判定された場合には、次のステップS104において、追尾対象を登録し、そのパターンデータ(登録パターン)を記憶するか否か判断する。これは、前述したスイッチ14bのON/OFFによって判断される。
ステップS104の判断で追尾対象を登録してその登録パターンを記憶しないとされた場合には、次のステップS106において、操作者は手動でAFエリアの設定を行う。
AFエリアを手動設定したら、次のステップS108において、AF(オートフォーカス)のON/OFFを判断する。これも図示を省略するAFの開始及び終了を指示するAFスイッチのON/OFFによって判断される。
AFがONの場合には、次のステップS110において、通常のAF処理を行い、上で設定されたAFエリアの被写体に対して焦点が合うようにフォーカスレンズが自動的に制御される。
一方、ステップS108でAFがOFFと判断された場合には、ステップS112において、操作者が手動でフォーカス制御を行う。
また、ステップS104の判断で追尾対象を登録してその登録パターンを記憶するとされた場合には、以下の手順で登録パターンを登録し記憶する。すなわち、まずステップS114において、追尾装置16の画像処理部26は、画像入力部28を介して画像を取得する。
次に、ステップS116において、画像処理部26で取得した画像からパターンのサンプリングを行う。画像中から被写体人物の顔を検出し、特定の個人を追尾対象として認識するために必要なパターンデータを抽出する。
ステップS118において、上で抽出されたパターンデータは追尾処理部30を介してパターンデータ記憶部32のデータベースに登録(記憶)される。
ステップS120において、追尾処理部30は、今登録した登録パターンの示す追尾対象を追尾するとともにAFを開始する。操作者はビューファインダ18で追尾対象を確認する。
操作者は、今自動追尾している対象でよいか否かに応じて、ステップS122においてサンプリングを終了するか否かを判断する。
ステップS122においてサンプリングを終了すると判断した場合には、ステップS124において、登録パターンの登録(記憶)を指示するスイッチ14bをOFFにする。
このようにして登録パターンの登録(記憶)が終了すると、次のステップS126において、追尾処理部30はAFエリアの対象に対し今登録した追尾対象の追尾を強制的に開始する内部的なスイッチをONにして自動追尾処理を開始する。
次にステップS128において、追尾対象に対する名称(名前及びNo.など)の登録を行う。この追尾対象の名称の登録を行っておくと、図1に示すようにビューファインダ18の表示画面に「FUJI#1」のような追尾対象を示す名称(名前及びNo.など)を表示することができる。この名称の登録は、例えば操作部14に設けられた図示を省略した英数字キーを用いて行うことができる。名称を登録した後、ステップS130に進み、自動追尾処理を実行する。
一方、ステップS122において、上でパターンをサンプリングしてデータベースに登録したパターンが操作者が追尾しようとしていた対象と違っていた場合など、サンプリングのやり直しが必要となるなどの理由で、サンプリングをまだ終了しないと判断した場合には、ステップS108に進んだ後、ステップS102に戻る。
また。ステップS102において自動追尾ONと判定された場合には、ステップS130に進み、以下の自動追尾処理を実行する。
まず、ステップS130において、画像処理部26は、画像入力部28を介してレンズ装置12から現在撮影中のAFエリア内の画像を取得する。画像処理部26は、取得した画像から顔を検出し、登録パターンと比較するのに必要なデータを取得する。
現在AFエリア自動追尾中の状態にあるが、ステップS132において、撮影画像中のAFエリアの対象が登録パターンとして既に発見されているか否か判断する。
その結果、既に登録パターンとして発見されており、そのパターンに対応する追尾対象が自動追尾されている場合には、ステップS134に進み、その追尾対象の名称を表示するか否かを判断する。名称を表示するか否かの判断は、その登録パターンに対応するスイッチ14bが表示ONか表示OFFかによって判断される。なお、本実施形態では、スイッチ14bは、パターンの登録を指示するスイッチと名称の表示を指示するスイッチとを兼ねるようにしているが、もちろんこれらを別々のスイッチにしてもよい。
ステップS134において名称表示ONの場合には、次のステップS136において、その追尾対象についての名称が登録されているか否かを判定する。
名称が登録されている場合には、ステップS138においてその追尾対象の登録された名称、例えば「FUJI#1」など、を表示し、また名称が登録されていない場合には、ステップS140において例えば「#??」と表示する。これにより操作者は、ビューファインダ18の画面に表示されている各被写体が登録されているか否かを簡単に確認することができる。
そして、ステップS142においてその追尾対象について自動追尾を続行する。
また、ステップS132においてまだ追尾対象たる登録パターンが発見されていない場合には、ステップS144において、追尾処理部30は、上でサンプリングされパターンデータ記憶部32のデータベースに登録されている登録パターンと同一のパターンを、画像処理部26から受け取ったAFエリアの画像から検索する。
ステップS146において、登録パターンと同一のパターンが発見された場合には、ステップS134へ進み、上述した既に登録パターンが発見されている場合の処理を実行する。また、登録パターンと同一のパターンが発見されなかった場合には、ステップS148において、すべての登録パターンデータとの照合が終了したか否か判断する。まだすべてのデータとの照合が終了していない場合には、ステップS144へ戻る。一方、すべてのデータとの照合が終了した場合には、ステップS150において、パターン検索エラーを表示し、引き続きステップS152において、AFエリアの対象に対する自動追尾を強制的にOFFにして、ステップS108へ進む。
次に、本発明に係るオートフォーカスシステムが適用される撮像システムの他の構成例について説明する。
図4は、本発明に係るオートフォーカスシステムが適用される撮像システムの他の構成例を示すブロック図である。
図4に示す撮像システムも前述した図1に示す撮像システムとその構成は略同様であり、カメラヘッド110、レンズ装置112、操作部114を含む追尾装置116及びビューファインダ118等から構成されている。
カメラヘッド110には、例えばCCD等の撮像素子や所要の信号処理回路等が搭載されている。レンズ装置112は、カメラヘッド110のレンズマウントに装着される図示しない撮影レンズを備えており、その撮影レンズにより被写体がカメラヘッド110の撮像素子の撮像面に結像されるようになっている。また、レンズ装置112は、レンズCPU120、AF処理部122、AF用撮像回路124等が搭載されている。
追尾装置116は、操作部114、画像処理部126、画像入力部128、追尾処理部130、パターンデータ記憶部132、枠情報生成部134及び映像合成部136などを含んでいる。
なお、図4に示す例においては、操作部114の構成のみが図1に示したものと異なっており、操作部114以外については、前述した図1におけるものと同様の構成である。そこで、操作部114以外の各部の細かい構成については詳しい説明を省略することとする。
図4における操作部114は、手動でAF枠の移動方向及び移動量を指定する操作部材としてトラックボール14aの代わりに十字キー114aを備えるとともに、追尾対象の登録や選択をするためのスイッチ114b及び追尾対象の名称を登録する場合の確認用表示パネル114c、ズーム(Z)及びフォーカス(F)の状態を示すインジケータ114d、さらに後述する追尾モードを選択するためのスライドスイッチ114e等を有している。
スイッチ114bは、図1における操作部14のスイッチ14bと同様に追尾対象を登録し、また選択するためのものである。各スイッチ114bにそれぞれ対応させて追尾対象を登録することができる。また各追尾対象を識別するために各追尾対象に対して名称を登録することができる。名称の登録は、例えば図示を省略したキーにより英数字を入力することによって行われる。確認用表示パネル114cには、入力された名称が表示される。
図4に示す例では、スイッチ114bの1に「XXXX#1」という名称の追尾対象が登録され、スイッチ114bの2に「YYYY#2」という名称の追尾対象が登録されている。
インジケータ114dは、各スイッチ114b毎にそれぞれZ(ズーム)とF(フォーカス)の1組が設けられており、それぞれズーム及びフォーカスの状態が表示されるようになっている。
スライドスイッチ114eは、追尾モードを切り替えるもの(追尾モード切り替え手段)ある。追尾モードについては詳しくは後述する。図4では、スライドスイッチ114eの設定位置を切り替えることにより、ズーム及びフォーカスのプリセットモード(Z+Fモード)、と顔認識自動追尾モード(OBJモード)と、複合モード(Z+F+OBJモード)の3種類のモードが選択できるようになっているが、モードの設定はこれに限定されるものではなく、後述するようにモードM1〜M4のようにより多くのモードを設定してこれらを切り替えることを可能としてもよい。
図5に、ビューファインダ118の画面に表示された画像の例を示す。図5に示すのは、サッカーの試合の映像を自動追尾している場合の画像であり、画面内の認識された顔に対してそれぞれ顔枠が表示されている。
また自動追尾の場合には、フレーム内において、登録された顔パターンが自動的に認識され、その追尾対象に対して名称(名前及びNo.など)が登録され、表示ONになっている場合には、その名称がその顔枠の近くに表示される。
図5の場合には、フレーム内に2人の登録パターンが存在し、それぞれのパターンに対して名称も登録されており、顔枠に対してそれぞれ「XXXX#1」及び「YYYY#2」と名称(名前及びNo.など)が表示されている。また、画面後方のカメラマンらしき人物は登録されておらず、その顔枠に対してはその名称が「#??」と表示され、これらの人物が登録されていないことが操作者にわかるようになっている。
なお、場合によっては、このように名称を表示していると画面が見づらくなるため、名称の表示をしない(OFF)ようにしてもよい。
さらに、フレーム内に登録パターンが複数存在する場合には、そのすべてに対して顔枠を表示していると、誰を追尾しているのか解りにくいので、追尾対象(AF対象)の顔枠の色を変えて表示するようにしてもよい。
このように、図5では、フレーム内に複数(2人)の登録パターンが存在するが、そのうちどちらを、AFをかけて追尾する追尾対象の顔パターンとするか、を選択することができる。
このAFをかけて追尾する追尾対象としてAFエリアを選択する方法には様々な方法があり、例えば、操作者が操作部114のスイッチ114bを押して選択してもよいし、予め登録パターンに優先順位をつけておき、画面内に複数の登録パターンが存在するとき、その中で最も優先順位の高い登録パターンを自動的に選択するようにしてもよい。またあるいは、スイッチ114bに対応させて登録する際の登録順(登録No.順)により自動的に選択するようにしてもよい。登録順と優先順位は似ているが、必ずしも一致するものではない。登録された後からその登録順とは異なるように優先順位を設定することができ、また優先順位を変更することも可能である。
AFをかけて追尾する追尾対象(AFエリア)が決定され、画面内で自動追尾が開始されると同時にその追尾対象に対して自動的にAFも開始される。そして自動追尾を実行している際、その追尾対象がフレームアウトすることがあるが、その後の状況として様々なケースが考えられる。
例えば、追尾対象がフレームアウトしたとき、画面内に他の登録パターンが存在しない場合と、追尾対象がフレームアウトしてもまだ他の登録対象が画面内に存在している場合がある。
さらにこのとき画面内に他の登録パターンが存在していない場合に、いままで追尾していた登録パターンが再度フレームインして来る場合と、追尾対象ではない他の登録パターンがフレームインして来る場合がある。また、追尾対象がフレームアウトしたとき他の登録対象が画面内に存在している場合に、いままで追尾していた対象が再度フレームインして来る場合もある。
これらの場合に、追尾対象をどのように選択し、自動追尾をどのように行うかという様々な追尾制御の方法(追尾モード)が考えられる。以下、これについて場合を分けながら説明して行く。
図6は、追尾対象として登録パターンAを自動追尾しているとき、今追尾しているパターンAが画面から一旦フレームアウトした場合に、その後の様々な状況を、主に画面に登場する登録パターンに注目して場合分けしたフローチャートである。
図6のステップS201に示すように、今追尾中の登録パターン(追尾パターン)Aが画面からフレームアウトしたとする。
このとき画面内には登録パターンが全く存在しない場合と、パターンA以外の他の登録パターンが存在する場合とがある。
そこでまず最初に、ステップS202に示すように、パターンAがフレームアウトした後、画面内には他の登録パターンが存在しない場合を考える。この場合には、もはや画面内に何ら追尾すべきパターンは存在しないので、ステップS203に示すように、AF(オートフォーカス)をOFFにする。そしてその後、画面内に登録パターンが存在しない間は、そのままずっとAFをOFFの状態とする。
その後、画面内に登録パターンがフレームインしたとする。このとき、ステップS204に示すように、先程まで追尾していたパターンAが再度フレームインして来る場合と、ステップS205に示すように、パターンA以外の他の登録パターンBがフレームインして来る場合とがある。
ステップS204で、再度パターンAがフレームインした場合の対応としては、いままで追尾していたパターンAが再び画面内に現れたのだから、ステップS206に示すように再度パターンAの追尾を開始する場合と、一度フレームアウトしたらもうパターンAの追尾は行わず、ステップS207に示すようにAFをOFFにしたままにするという場合が考えられる。
また、ステップS205に示すように、最初に追尾していたパターンAがフレームアウトして画面内に追尾すべき登録パターンが存在しなくなったときに、他の登録パターンBがフレームインして来た場合には、いままでパターンAを追尾してきたのだから、他の登録パターンBがフレームインして来ても関係ないので、ステップS207に示すように、やはりAFをOFFのままにしておくという場合と、パターンAはいなくなって代わりに登録パターンBが入ってきたのだから、ステップS208に示すように、取り敢えず登録パターンBを追尾するという場合が考えられる。
ここで、ステップS206の再度パターンAを追尾するというのは、あくまでパターンAが追尾対象として優先される場合であり、他の登録パターンがフレームインしたとしても追尾対象とはされない。また、ステップS208の他の登録パターンBを追尾するというのは、パターンAがフレームアウトした後は、誰でもいいからとにかく登録パターンが入ってきたらそれを追尾対象とするというものである。
なお、ステップS205では、最初に追尾していたパターンAがフレームアウトして画面内に登録パターンが存在しなくなった後、次に登録パターンBが1人のみフレームインして来るとしたが、パターンA以外の複数の登録パターンが同時にフレームインして、画面内に複数の登録パターンが存在するようになる場合ももちろん有り得る。そのときステップS208においては、その複数の登録パターンのうちのいずれか1つのパターンを追尾対象として選択することとなるが、その選択方法については後述する。
次にステップS209に示すように、パターンAがフレームアウトした後でも画面内にパターンA以外の他の登録パターンが存在する場合について考える。
この場合の対応としては、追尾パターンAはいないのだから、ステップS210に示すようにAFをOFFにする場合と、ステップS211に示すように、画面内に存在する他の登録パターンBを追尾する場合とが考えられる。
このステップS211で、他の登録パターンBの追尾を開始する場合、画面内に登録パターンがパターンBしかいない場合には、当然パターンBを追尾すればよいが、画面内に登録パターンが複数存在する場合には、何らかの方法で1つの追尾パターンを決定しなければならない。複数の登録パターンの中から一つの登録パターンを追尾対象(追尾パターン)として選択する方法については後述する。
ステップS210でAFをOFFにしている場合に、ステップS212に示すように、画面内に再度パターンAがフレームインして来た場合は、前述したステップS204における状況と同じである。
すなわち、この場合、ステップS213に示すように、たとえ再度パターンAがフレームインしたとしてもAFをOFFのままにするか、あるいはステップS214に示すように、再度パターンAの追尾を開始するという2通りが考えられる。
また、一方ステップS211において他の登録パターンBを追尾するようにしたときに、ステップS215に示すように、画面内に再度パターンAがフレームインして来た場合は、ステップS214に示すように、現在追尾しているパターンBから元々追尾していたパターンAに追尾対象を切り替えて再度パターンAの追尾を開始するか、あるいはステップS216に示すように、その現在追尾しているパターンBの追尾をそのまま続行するという2通りが考えられる。
結局、図6に示す自動追尾制御方法は、以下のように纏めることができる。
ステップS201→S202→S203→S204→S206及びステップS201→S209→S210→S212→S214という流れは、パターンAをメインの追尾対象として、パターンAがフレームアウトすれば画面内に他の登録パターンがあってもなくてもAFをOFFにし、再度パターンAがフレームインした場合には再びパターンAの追尾を開始するというように、常にパターンAの追尾を優先するものである。
また、ステップS201→S202→S203→S205→S208という流れは、パターンAがフレームアウトした後、他の登録パターンBがフレームインした場合にはそれを追尾するものである。
また、ステップS201→S202→S203→S204(S205)→S207及びステップS201→S209→S210→S212→S213という流れは、それまでパターンAを追尾していても、一旦パターンAがフレームアウトした後は、パターンAあるいは他の登録パターンがフレームインしても、ずっとAFをOFFにしたままとするものである。
このように以上の追尾制御の流れは、パターンAの追尾を優先したものである。
これに対して、ステップS201→S209→S211という流れは、パターンAを追尾していても、パターンAがフレームアウトした場合には、もし画面内に他の登録パターンが存在すれば取り敢えずそれを追尾しようというものである。また、この場合ステップS215→S214の流れのように他の登録パターンの追尾はあくまでも仮のもので再度パターンAがフレームインすれば追尾対象をパターンAに戻すようにする場合と、ステップS215→S216の流れのように追尾対象を完全に他の登録パターンに切り替えてしまい再度パターンAがフレームインしてもそのまま他の登録パターンの追尾を続行する場合とがある。
すると、上で図6を用いて説明した追尾制御は、図7のように簡単に表すことができる。
すなわち、追尾対象として登録パターンAを追尾しているときに、追尾パターンAがフレームアウトした場合には、「AFをOFFする」か「他の登録パターンBを追尾する」かのいずれかであり、「AFをOFFする」とした場合に登録パターンがフレームインした場合には、それまでの状態(「AFをOFFする」)を維持するか、フレームインした登録パターンの追尾を開始するかのいずれかとし、また、「他の登録パターンBを追尾する」とした場合に登録パターンAがフレームインした場合には、それまでの状態(「他の登録パターンBを追尾する」)を維持するか、フレームインしたパターンAの追尾を再開するかのいずれかとする。
このように、パターンAがフレームアウトしたらその後登録パターンがフレームインしてもとにかくAFをOFFにしたままというモードM1、パターンAがフレームアウトした後何か登録パターンがフレームインしたらその登録パターンの追尾を開始する(特に、登録パターンのうちそれまで追尾していたパターンAを優先する)というモードM2、パターンAがフレームアウトしたらとにかく追尾対象を切り替えて他の登録パターンBの追尾を行うというモードM3、及び一旦は他の登録パターンBの追尾を行っていても再度パターンAがフレームインしたらパターンAの追尾を再開するというモードM4が考えられる。
以上が本実施の形態における、最も基本的な追尾制御の方法である。なお、実際には様々な複雑なケースが有り得るが、以上の基本的なケースを基に追尾制御が行われる。
実際には、システムは上記すべてのモードを備えていてもよいし、そのうちのいくつかのモードのみを備えていてもよい。そして、複数モードを備えている場合には、各モードは切り替え可能であり、操作者は上記各モードをその都度例えばシーンに応じて切り替えて様々な追尾処理を実行できるようにすることが好ましい。
例えば、上記追尾パターンAがフレームアウトしたらたとえ登録パターンがフレームインしてもAFをOFFのままにするモードM1と、登録パターンがフレームインしたらその登録パターンを追尾するモードM2との2つのモードを持って、これらのモードを切り替えるようなシステム構成としてもよい。
またあるいは、追尾パターンAがフレームアウトした後他の登録パターンBを追尾していて、そこへ再度パターンAがフレームインしてもパターンBの追尾のままとするモードM3と、再度パターンAがフレームインしたらパターンAを再び追尾するモードM4との2つのモードを切り替えるようにしてもよい。
あるいはさらに、上記モードM1及びモードM2の組み合わせと、モードM3とモードM4との組み合わせとを切り替えるようにしてもよい。
次に、上記図6のステップS209における場合のように、画面内に複数の登録パターンが存在するとき、その中からどの登録パターンを追尾対象として選択するか、その選択方法について説明する。
画面内に複数の登録パターンが存在する場合に、その中からどの登録パターンを追尾対象として選択するかという選択方法には、操作者が選択する場合と、その登録パターンの登録された順番に従ってシステムが自動的に選択する場合と、登録パターンの間に予め設定された優先順位に従って同じくシステムが自動的に選択する場合がある。
まずパターンの登録に際しては、例えば撮影中に、図1の操作部14のスイッチ14bあるいは図4のスイッチ114bの各々に対して、画面内の被写体がそれぞれ割りつけられて自動的にナンバリングされて登録されるようになっている。これによれば、最大、スイッチの数分だけパターンを登録することができる。そして、操作者が登録パターンを選択する場合には、操作者がスイッチ14b(あるいは114b)の例えば2番目のスイッチを押せば、その2番目のスイッチに対して割り付けられた登録パターンが選択されるようになっている。
また、パターンの登録は、前述したように操作者が手動で、名称を登録し、さらに優先順位を付けながら登録するようにしてもよい。
また、登録の順番はスイッチ14b(あるいは114b)の配列順に行われる。この登録の順序と優先順位は必ずしも一致しない。例えば、上記のようにシステムによって自動的にナンバリングされて各スイッチに割りつけられてパターンが登録された場合には、そのスイッチの順番とは異なる順位の優先順位を操作者が付与することができる。
前述した図6における追尾制御で、例えば、ステップS210で追尾パターンAがフレームアウトしたらパターンAの追尾対象の選択を解除し、AFをOFFにして、他の登録パターンを追尾対象として選択しないとすると、パターンAが再びフレームインしたとしても、ずっとAFがOFFされたままの状態となる。これにより、図7のモードM1が実現される。
また、同様に、図6のステップS201で追尾パターンAがフレームアウトして、一旦AFがOFFされた場合には、とくかく登録パターンを追尾するようにし、特にパターンAを優先的に追尾対象として選択しておけば、常に画面内で登録パターンを検索しているので、登録パターンがフレームインした場合には、その登録パターンが検出されてその登録パターンの追尾が開始される。このとき特にパターンAの追尾が優先される。このようにして図7のモードM2が実現される。
また、例えば、常に最も優先順位の高い登録パターンを追尾するように設定されているとき、今追尾しているパターンがフレームアウトした場合には、そのパターンの優先順位を最下位に変更するようにすれば、図6のステップS211において、いままで追尾していたパターンAがフレームアウトした後、次の優先順位のパターンBを追尾していたとき、ステップS215において再度パターンAがフレームインしたとしても、すでにパターンAの優先順位は下がっているので、ステップS216においてパターンAは追尾されずパターンBの追尾がそのまま続行されることとなる。これにより、図7のモードM3が実現される。
また、例えば、図6のステップS215においてパターンBを追尾中に最初に追尾していたパターンAが再度フレームインしたとき、他の登録パターンよりもパターンAの優先順位の方を高く設定し、画面内に複数の登録パターンが存在するときは優先順位の高い登録パターンを優先的に追尾するように設定しておけば、ステップS214においてパターンBに代わって再度パターンAの追尾が開始される。これにより、図7のモードM4が実現される。
このように追尾対象の選択を優先順位を設定することによって、追尾対象の変更を自動的に行うことができる。上記モードの切り替えは、操作部114のスライドスイッチ114eによって行われる。また、操作者が操作部14(114)を介して手動で追尾対象を選択することによって上記各モードの設定あるいは切り替えを行うようにしてもよい。
以上、本発明のオートフォーカスシステムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
10…カメラヘッド、12…レンズ装置、14…操作部、14a…トラックボール、14b…スイッチ、16…追尾装置、18…ビューファインダ、20…レンズCPU、22…AF処理部、24…AF用撮像回路、26…画像処理部、28…画像入力部、30…追尾処理部、32…パターンデータ記憶部、34…枠情報生成部、36…映像合成部