JP3757403B2 - 被写体検出装置および被写体検出方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体検出装置および被写体検出方法に関する。特に、例えば監視カメラや、テレビ会議システム、その他、被写体を自動追尾するビデオカメラなどに用いて好適な被写体検出装置および被写体検出方法に関する。
【０００２】
【従来の技術】
従来より、パン駆動機構およびチルト駆動機構を用いて、例えば表示画面の中央部に、追尾対象である被写体を表示させるように自動追尾を行うビデオカメラが提案されている。
【０００３】
即ち、このようなビデオカメラにおいては、例えば表示画面（ビデオカメラにより撮像される画像）の中央部に基準計測枠が設けられ、まず、その基準計測枠に、追尾対象の被写体が含まれるように撮像が行われて記憶される（自動追尾する被写体が設定される）。その後、ビデオカメラにより撮像された画像から、記憶された被写体が検出され、その被写体が、表示画面の中央部に表示されるように、パンニングおよびチルティングが行われる。
【０００４】
【発明が解決しようとする課題】
ところで、ビデオカメラがパンニングやチルティングされ、その撮像方向が変化すると、撮影環境も変化する場合がある。即ち、例えば図９に示すように、ある撮像方向では、室内光により照明されている被写体を撮像することになり（図９（Ａ））、他の撮像方向では、逆光の状態で太陽光に照らされている被写体を撮像することとなり（図９（Ｂ））、さらに他の撮像方向では、雨中の被写体を撮像することになる場合がある（図９（Ｃ））。
【０００５】
従って、被写体の追尾が開始され、パンニングやチルティングが行われると、例えば光源が変化したり、被写体の照明の状態が変化するので、そのような変化に応じて、露出やホワイトバランスを適正な値とするには、いわゆるオートアイリスやオートホワイトバランスを機能させる必要がある。
【０００６】
一方、従来においては、追尾すべき被写体の記憶は、ある撮像方向にいる被写体を撮像することにより、一度だけ行われ、この場合、被写体は、その状態で適正な露出、ホワイトバランスで撮影されて記憶される。従って、オートアイリスやオートホワイトバランスを機能させた場合、被写体を記憶したときの撮像方向における露出やホワイトバランスは、他の撮像方向における露出やホワイトバランスと異なることがある。
【０００７】
このように追尾中の露出やホワイトバランスが、被写体を記憶したときのものと異なると、ビデオカメラで撮像された画像に被写体が含まれていても、その被写体を検出することができず、従って、被写体の自動追尾が困難となる課題があった。
【０００８】
そこで、ビデオカメラの露出やホワイトバランスを、被写体を記憶したとき状態に固定する方法があるが、これでは、得られる画像が不自然なものとなる課題があった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、環境が変化しても、自然な画像を得ながら、被写体を追尾することができるようにするものである。
【００１０】
【課題を解決するための手段】
請求項１に記載の被写体検出装置は、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段と、被写体設定手段により設定された被写体の画像データから、被写体モデルを生成するモデル生成手段と、モデル生成手段により生成された被写体モデルを、被写体設定手段により被写体が設定されたときの、撮像部の撮像方向と対応付けて記憶するモデル記憶手段と、撮像部の撮像方向に対応して、モデル記憶手段に記憶された被写体モデルを選択するモデル選択手段と、モデル選択手段により選択された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出手段とを備えることを特徴とする。
【００１１】
請求項３に記載の被写体検出方法は、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定ステップと、被写体設定ステップの処理により設定された被写体の画像データから、被写体モデルを生成するモデル生成ステップと、モデル生成ステップの処理により生成された被写体モデルを、被写体設定ステップの処理により被写体が設定されたときの、撮像部の撮像方向と対応付けて記憶するモデル記憶ステップと、撮像部の撮像方向に対応して、モデル記憶ステップの処理により記憶された被写体モデルを選択するモデル選択ステップと、モデル選択ステップの処理により選択された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出ステップとを含むことを特徴とする。
【００１４】
請求項１に記載の被写体検出装置においては、被写体設定手段は、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定し、モデル生成手段は、被写体設定手段により設定された被写体の画像データから、被写体モデルを生成するようになされている。モデル記憶手段は、モデル生成手段により生成された被写体モデルを、被写体設定手段により被写体が設定されたときの、撮像部の撮像方向と対応付けて記憶し、モデル選択手段は、撮像部の撮像方向に対応して、モデル記憶手段に記憶された被写体モデルを選択するようになされている。被写体検出手段は、モデル選択手段により選択された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出するようになされている。
【００１５】
請求項３に記載の被写体検出方法においては、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定され、設定された被写体の画像データから、被写体モデルが生成され、生成された被写体モデルが、被写体が設定されたときの、撮像部の撮像方向と対応付けて記憶され、撮像部の撮像方向に対応して、記憶された被写体モデルが選択され、選択された被写体モデルに基づいて、撮像部より出力された画像から、被写体が検出されるようになされている。
【００１８】
【発明の実施の形態】
以下に、本発明の実施例を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施例との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施例（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００１９】
即ち、請求項１に記載の被写体検出装置は、被写体を検出する被写体検出装置であって、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段（例えば、図２に示す設定ボタン２６など）と、被写体設定手段により設定された被写体の画像データから、被写体モデルを生成するモデル生成手段（例えば、図２に示す被写体処理部２１や、図３に示すプログラムの処理ステップＳ３など）と、モデル生成手段により生成された被写体モデルを、被写体設定手段により被写体が設定されたときの、撮像部の撮像方向と対応付けて記憶するモデル記憶手段（例えば、図２に示すモデル記憶部２２など）と、撮像部の撮像方向に対応して、モデル記憶手段に記憶された被写体モデルを選択するモデル選択手段（例えば、図２に示す被写体処理部２１や、図３に示すプログラムの処理ステップＳ６など）と、モデル選択手段により選択された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出手段（例えば、図２に示す被写体処理部２１や、図３に示すプログラムの処理ステップＳ７など）とを備えることを特徴とする。
【００２０】
被写体検出装置には、撮像部より出力された画像から、被写体モデルに適合する、被写体以外の物体を指定する指定手段（例えば、図２に示す誤りボタン２８など）をさらに設け、モデル記憶手段は、指定手段により物体が指定されたときの撮像部の撮像方向と、その物体に対応する画像データとを記憶し、被写体検出手段は、撮像部がモデル記憶手段に記憶された撮像方向を撮像している場合に得られる画像に、モデル記憶手段に記憶された物体に対応する画像データが含まれるとき、その部分を除いた画像を対象として、被写体を検出するようにすることができる。
【００２１】
請求項３に記載の被写体検出方法は、被写体を検出する被写体検出装置の被写体検出方法であって、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定ステップ（例えば、図３に示すプログラムの処理ステップＳ１など）と、被写体設定ステップの処理により設定された被写体の画像データから、被写体モデルを生成するモデル生成ステップ（例えば、図３に示すプログラムの処理ステップＳ３など）と、モデル生成ステップの処理により生成された被写体モデルを、被写体設定ステップの処理により被写体が設定されたときの、撮像部の撮像方向と対応付けて記憶するモデル記憶ステップ（例えば、図３に示すプログラムの処理ステップＳ３など）と、撮像部の撮像方向に対応して、モデル記憶ステップの処理により記憶された被写体モデルを選択するモデル選択ステップ（例えば、図３に示すプログラムの処理ステップＳ７など）と、モデル選択ステップの処理により選択された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出ステップ（例えば、図３に示すプログラムの処理ステップＳ９など）とを含むことを特徴とする。
【００２３】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００２４】
図１は、本発明を適用したビデオカメラシステムの一実施例の構成を示している。レンズブロック１は、レンズ２、アイリス３、およびＣＣＤ（Charge Coupled Device）４から構成され、被写体からの光ＬＡを撮像し、電気信号としての画像信号を出力する。即ち、被写体からの光ＬＡは、レンズ２により、アイリス３を介してＣＣＤ４上に結像され、これにより、ＣＣＤ４からは、その受光量に対応した画像信号が出力される。
【００２５】
なお、アイリス３は、いわゆるオートアイリス（ＡＥ）機構を構成しており、ＣＣＤ４で受光される光量を、適切な値に調整する（レンズブロック１の露光状態を適切な状態にする）ようになされている。
【００２６】
レンズブロック１から出力された画像信号は、信号分離（Ｓ／Ｈ（Sample Hold）／自動利得調整（ＡＧＣ（Automatic Gain Control））回路５において、サンプルホールドされ、さらに、オートアイリス機構からの制御信号によって、所定のゲインを持つように利得制御された後、Ａ／Ｄ変換器６に出力される。
【００２７】
Ａ／Ｄ変換器６は、信号分離／自動利得調整回路５からの画像信号（アナログ信号）を、所定のクロックにしたがってＡ／Ｄ変換することによりディジタルの画像信号にする。なお、Ａ／Ｄ変換器６がＡ／Ｄ変換を行うために用いる基準電圧は、図示せぬオートホワイトバランス（ＡＷＢ）機構から供給されるようになされており、これにより、ホワイトバランスが適正に調整されるようになされている。
【００２８】
Ａ／Ｄ変換器６によってディジタル信号とされた画像信号は、ディジタルカメラ処理回路７に供給される。ディジタルカメラ処理回路７は、Ａ／Ｄ変換器６からの画像信号に基づいて、その画像信号に対応する画像を構成する各画素の輝度信号Ｙ、並びに色差信号Ｒ−Ｙ，Ｂ−Ｙ、およびクロマ信号Ｃを生成する。輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、そこでＤ／Ａ変換された後、図示せぬモニタに供給される。これにより、モニタでは、レンズブロック１で撮像された画像が表示される。
【００２９】
ここで、上述したように、本実施例では、オートアイリス機構およびオートホワイトバランス機構が機能しているので、モニタには、自然な画像が表示される。
【００３０】
また、ディジタルカメラ処理回路７で生成された輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙは、被写体認識回路部９に供給される。被写体認識回路部９は、ディジタルカメラ処理回路７からの輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙで構成される画像の中から、追尾すべき被写体を検出し、その被写体が、レンズブロック１から出力される画像の、例えば中央部分（所定の基準位置）に表示されるように、パンモータ１２およびチルトモータ１３を駆動する。
【００３１】
即ち、被写体認識回路部９は、フレームメモリ構成の画像メモリ１０と、マイクロプロセッサ構成の追尾信号処理回路１１とで構成される。画像メモリ１０は、追尾信号処理回路１１から書き込み許可信号を受信すると、ディジタルカメラ処理回路７が出力する輝度信号Ｙ、色差信号Ｒ−Ｙ，Ｂ−Ｙそれぞれを、独立に、画素単位で記憶する。
【００３２】
ここで、以下、適宜、色差信号Ｒ−ＹまたはＢ−Ｙを、それぞれＲまたはＢと略記する。また、レンズブロック１が出力する画像の最も左上の画素の位置を原点（０，０）とし、その位置の左または上からそれぞれｉまたはｊ番目の画素の輝度信号Ｙ、色差信号Ｒ，Ｂそれぞれを、以下、適宜、Ｙ_ij，Ｒ_ij，Ｂ_ijとも表す。さらに、以下、適宜、輝度信号Ｙ、色差信号Ｒ，Ｂをまとめて、画像データともいう。
【００３３】
画像メモリ１０は、１フレーム（または１フィールド）分の画像データを記憶すると、読み出し許可信号を、追尾信号処理回路１１に出力する。そして、画像目メモリ１０は、その後、追尾信号処理回路１１が出力するアドレス（上述のｉ，ｊに対応する）を受信すると、そのアドレスに記憶された画像データを、追尾信号処理回路１１に出力する。
【００３４】
追尾信号処理回路１１は、画像メモリ１０から読み出し許可信号を受信すると、被写体の追尾に必要な画像データを、上述したように、画像メモリ１０にアドレス（メモリアドレス）を与えることで読み出し、これにより、レンズブロック１より出力された画像から、追尾すべき被写体を検出する。その後、追尾信号処理回路１１は、書き込み許可信号を、画像メモリ１０に供給し、これにより、画像メモリ１０では、レンズブロック１で撮像された画像が、新たに記憶される（既に記憶されている画像に上書きされる）。その後、画像メモリ１０は、上述したように、読み出し許可信号を出力し、以下、同様にして、画像メモリ１０では、レンズブロック１で撮像された画像が、順次記憶されていく。なお、以上のようにして、画像メモリ１０の記憶内容が書き換えられるのは、被写体の自動追尾の開始後であり、自動追尾が開始される前は、画像メモリ１０の記憶内容は、例えばフレーム周期（またはフィールド周期）で、レンズブロック１が出力する画像に書き換えられていく。
【００３５】
また、追尾信号処理回路１１は、被写体を検出すると、その被写体が、レンズブロック１から出力される画像の中央部分に表示されるように、パンモータ１２およびチルトモータ１３を駆動する。これにより、パンモータ１２またはチルトモータ１３において、レンズブロック１がそれぞれパンニングまたはチルティング駆動され、被写体が、レンズブロック１が出力する画像の中央部分に表示される。
【００３６】
パン方向ポテンショメータ１４およびチルト方向ポテンショメータ１５は、例えばパンモータ１２またはチルトモータ１３の回転位置をそれぞれ検出し（以下、適宜、それぞれをパン位置またはチルト位置という）、追尾信号処理回路１１に出力する。追尾信号処理回路１１は、このパン方向ポテンショメータ１４またはチルト方向ポテンショメータ１５それぞれからのパン位置またはチルト位置に基づいて、レンズブロック１の撮像方向を認識し、その撮像方向を考慮して、追尾すべき被写体の検出を行うようになされている。
【００３７】
図２は、追尾信号処理回路１１の機能的な構成例を示している。被写体処理部２１は、上述した書き込み許可信号およびアドレスを画像メモリ１０に出力するとともに、読み出し許可信号、画像データ、パン位置、およびチルト位置を受信し、モデル記憶部２２および誤認識物体記憶部２３を参照しながら、被写体の追尾に必要な処理を行う。さらに、被写体処理部２１では、その処理結果に応じて、モータ駆動部２４および表示制御部２５が制御される。また、被写体処理部２１は、設定ボタン２６、終了ボタン２７、および誤りボタン２８の操作に対応して、所定の処理を行う。
【００３８】
モデル記憶部２２は、追尾すべき被写体をモデル化した被写体モデルを記憶するようになされている。誤認識物体記憶部２３は、後述する誤認識物体に関する情報（以下、適宜、誤認識物体情報という）を記憶するようになされている。モータ駆動部２４は、被写体処理部２１の制御の下、パンモータ１２およびチルトモータ１３を回転駆動するようになされている。表示制御部２５は、被写体処理部２１の制御の下、モニタの表示を制御するようになされている。設定ボタン２６は、追尾すべき被写体を設定するときに操作される。終了ボタン２７は、追尾すべき被写体の設定を終了するときに操作される。誤りボタン２８は、追尾する被写体と誤って認識される物体を指定するときに操作される。
【００３９】
次に、図３のフローチャートを参照して、図１のビデオカメラによる被写体の自動追尾処理について説明する。まず最初に、ステップＳ１において、追尾すべき被写体を設定するように、設定ボタン２６が操作されたか否かが、被写体処理部２１によって判定される。ステップＳ１において、追尾すべき被写体を設定するように、設定ボタン２６が操作されたと判定された場合、ステップＳ２に進み、被写体処理部２１において、基準計測枠Ｄ０内の画像データが、画像メモリ１０から読み出される。
【００４０】
即ち、図４に示すように、レンズブロック１が出力する画像の所定の位置には、基準計測枠Ｄ０が設定されており、ユーザは、追尾すべき被写体を設定するときには、その基準計測枠Ｄ０内に、その被写体が表示されるように、レンズブロック１をパンニングまたはチルティング（以下、適宜、両方含めてパンチルトという）し、設定ボタン２６を操作する。ステップＳ２では、設定ボタン２６が操作されたときに画像メモリ１０に記憶されている基準計測枠Ｄ０内の画像データ、即ち、被写体の画像データが読み出される。
【００４１】
被写体処理部２１は、被写体の画像データを読み出した後、ステップＳ３において、その被写体に対応する被写体モデルを、次のようにして生成する。
【００４２】
即ち、基準計測枠Ｄ０内の画像データとしての輝度信号Ｙ_ijおよび色差信号Ｒ_ij，Ｂ_ijの組（Ｙ_ij，Ｒ_ij，Ｂ_ij）で表される点の集合は、追尾すべき被写体を表すため、この点の集合から、被写体モデルが生成される。但し、点（Ｙ_ij，Ｒ_ij，Ｂ_ij）の集合にはノイズが含まれ、また、この点（Ｙ_ij，Ｒ_ij，Ｂ_ij）の集合は、被写体を表す代表的な点の集合に過ぎないため、被写体の検出を、この集合に一致する画像データをレンズブロック１が出力する画像の中から見つけ出すことにより行うようにしたのでは、被写体の検出が困難となる。
【００４３】
そこで、点（Ｙ_ij，Ｒ_ij，Ｂ_ij）の集合に、いわば幅を持たせるため（点（Ｙ_ij，Ｒ_ij，Ｂ_ij）の集合と幾分異なる点の集合が得られた場合も、被写体を検出することができるように許容誤差を認めるため）、点（Ｙ_ij，Ｒ_ij，Ｂ_ij）の集合に基づいて、点（Ｙ_ij，ＨＲ_ij，ＬＲ_ij）および（Ｙ_ij，ＨＢ_ij，ＬＢ_ij）の集合が求められる。
【００４４】
但し、ＨＲ_ij，ＬＲ_ij，ＨＢ_ij，ＬＢ_ijは、それぞれ次式にしたがって計算される。
ＨＲ_ij＝１．１×Ｒ_ij
ＬＲ_ij＝０．９×Ｒ_ij
ＨＢ_ij＝１．１×Ｂ_ij
ＬＢ_ij＝０．９×Ｂ_ij
【００４５】
なお、上式においては、許容誤差を１０％に設定（１＋０．１と、１−０．１）してあるが、許容誤差は、１０％に限定されるものではない。
【００４６】
ここで、図５（Ａ）に、ＹまたはＲをそれぞれ横軸または縦軸として、点（Ｙ_ij，ＨＲ_ij）および（Ｙ_ij，ＬＲ_ij）をプロットしたものを、また、図５（Ｂ）に、ＹまたはＢをそれぞれ横軸または縦軸として、点（Ｙ_ij，ＨＢ_ij）および（Ｙ_ij，ＬＢ_ij）をプロットしたものを、それぞれ示す。なお、図５の実施例では、ＲおよびＢを表す値として、−１２８乃至１２７の範囲の値が割り当てられている。
【００４７】
点（Ｙ_ij，ＨＲ_ij，ＬＲ_ij）および（Ｙ_ij，ＨＢ_ij，ＬＢ_ij）の集合が求められた後は、Ｙを引数として、ＲまたはＢそれぞれを、例えば２次関数で近似した被写体モデルが求められる。
【００４８】
ここで、本実施例では、異なる被写体について、ある程度近似した形の被写体モデル（２次関数）が得られるように、２次関数のＹ切片（被写体モデルである２次関数がＹ軸と交わる点）が、被写体の色相によって決められている。
【００４９】
即ち、被写体処理部２１は、被写体の色相と、２次関数のＹ切片とを対応付けて記憶しており、Ｒ_ijおよびＢ_ijから、被写体の色相（例えば、その平均値など）を計算し、その色相に対応付けられているＹ切片を用いて、被写体モデルを求めるようになされている。
【００５０】
具体的には、いま設定された被写体の色相に対応付けられているＹ切片が、Ｙ−Ｒ座標系については、図５（Ａ）に示すように、Ｒ_lowおよびＲ_highであり（但し、Ｒ_low＜Ｒ_highとする）、Ｙ−Ｂ座標系については、図５（Ｂ）に示すように、Ｂ_lowおよびＢ_highであるとき（但し、Ｂ_low＜Ｂ_highとする）、次式で示される被写体モデルとしての２次関数ＨＦｒ（Ｙ）（Ｙに関するＲの特徴モデル），ＨＦｂ（Ｙ）（Ｙに関するＢの特徴モデル），ＬＦｒ（Ｙ）（Ｙに関するＲの特徴モデル），ＬＦｂ（Ｙ）（Ｙに関するＢの特徴モデル）それぞれを決める定数Ａ０，Ａ１，Ａ２，Ａ３が算出される。
【００５１】
ＨＦｒ（Ｙ）＝Ａ０×（Ｙ−Ｒ_low）×（Ｙ−Ｒ_high）
ＨＦｂ（Ｙ）＝Ａ１×（Ｙ−Ｂ_low）×（Ｙ−Ｂ_high）
ＬＦｒ（Ｙ）＝Ａ２×（Ｙ−Ｒ_low）×（Ｙ−Ｒ_high）
ＬＦｂ（Ｙ）＝Ａ３×（Ｙ−Ｂ_low）×（Ｙ−Ｂ_high）
【００５２】
但し、定数Ａ０乃至Ａ３は、点（Ｙ_ij，ＨＲ_ij）、（Ｙ_ij，ＨＢ_ij）、（Ｙ_ij，ＬＲ_ij）、または（Ｙ_ij，ＬＢ_ij）それぞれの集合を用い、例えば最小自乗法によって求められる。
【００５３】
図５に示したような点（Ｙ_ij，ＨＲ_ij），（Ｙ_ij，ＨＢ_ij），（Ｙ_ij，ＬＲ_ij）、または（Ｙ_ij，ＬＢ_ij）それぞれの集合から得られる２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、またはＬＦｂ（Ｙ）を、同じく図５に示す。なお、本実施例では、２次関数ＨＦｒ（Ｙ）およびＬＦｒ（Ｙ）の頂点は、Ｙ＝（Ｒ_low＋Ｒ_high）／２の直線上に位置するようになされており、また、２次関数ＨＦｂ（Ｙ）およびＬＦｂ（Ｙ）の頂点は、Ｙ＝（Ｂ_low＋Ｂ_high）／２の直線上に位置するようになされている。さらに、図５の実施例では、（Ｒ_low＋Ｒ_high^{）／２および（Ｂ}low^＋Ｂhigh^{）／２は、いずれも２５５とされている。従って}、図５の実施例の場合、２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、およびＬＦｂ（Ｙ）は、いずれもＹ＝２５５に対して線対称となっている。
【００５４】
被写体処理部２１は、ステップＳ３において、以上のようにして被写体モデルとしての２次関数を規定する定数Ａ０およびＡ３を求めるとともに、設定ボタン２６が操作されたときのレンズブロック１の撮像方向を、パン方向ポテンショメータ１４またはチルト方向ポテンショメータ１５からそれぞれ供給されるパン位置またはチルト位置に基づいて認識する。そして、定数Ａ０乃至Ａ３と、上述のＹ切片Ｒ_low，Ｒ_high，Ｂ_low，Ｂ_highを、認識したレンズブロック１の撮像方向と対応付けて、モデル記憶部２２に記憶させる。
【００５５】
その後は、ステップＳ１に戻り、ステップＳ１において、追尾すべき被写体を設定するように、設定ボタン２６が操作されていないと判定された場合、ステップＳ４に進み、追尾すべき被写体の設定を終了するように、終了ボタン２７が操作されたか否かが判定される。ステップＳ４において、終了ボタン２７が操作されていないと判定された場合、ステップＳ１に戻り、以下、ステップＳ４において、終了ボタン２７が操作されたと判定されるまで、ステップＳ１乃至Ｓ４の処理を繰り返す。
【００５６】
即ち、ユーザは、光源や、追尾する被写体を照明する明るさ、その他の状況（例えば、逆光となるような状況）が異なる環境に、被写体を移動させるとともに、その移動後の被写体が、基準計測枠Ｄ０内に表示されるように、レンズブロック１をパンチルトし、設定ボタン２６を操作することを繰り返す。これにより、モデル記憶部２２には、異なる環境に位置する被写体がレンズブロック１で撮像されたときの撮像方向と、そのような位置で撮像された被写体に対応する被写体モデル（定数Ａ０乃至Ａ３、およびＹ切片Ｒ_low，Ｒ_high，Ｂ_low，Ｂ_high）とが対応付けられて記憶される。
【００５７】
その後、ステップＳ４において、終了ボタン２７が操作されたと判定された場合、ステップＳ５に進み、被写体処理部２１において、誤認識物体検出処理が行われる。即ち、被写体処理部２１は、モータ駆動部２４を制御することにより、レンズブロック１が撮像可能なすべての方向にパンチルトさせる。このとき、被写体処理部２１は、後述するステップＳ７およびＳ８における場合と同様にして、レンズブロック１から出力される画像の中に被写体が存在するかどうかを判定し、存在すると判定した場合には、その旨を、例えば、モニタに表示されている画像に、被写体が存在する位置を表す、後述するような被写体枠をスーパインポーズするなどして、ユーザに報知する。
【００５８】
そして、ユーザは、このような被写体の認識結果が誤っているかどうかを判定する。即ち、追尾すべき被写体以外の物体が認識された場合、ユーザは、誤りボタン２８を操作することにより、被写体と誤認識された物体（以下、適宜、誤認識物体という）を指定する。被写体処理部２１は、誤りボタン２８の操作に対応する操作信号を受信すると、そのとき被写体と認識した物体、即ち、誤認識物体の画像データのうちの、例えば輝度の平均値を、誤認識物体情報として算出する。さらに、被写体処理部２１は、誤認識物体を撮像しているときのレンズブロック１の撮像方向を、パン方向ポテンショメータ１４およびチルト方向ポテンショメータ１５の出力に基づいて認識し、誤認識物体情報と対応付けて、誤認識物体記憶部１３に記憶させる。
【００５９】
なお、誤認識物体情報には、誤認識物体の輝度だけでなく、例えば、その色相や飽和度などを含ませるようにすることも可能である。
【００６０】
以上のような誤認識物体検出処理の終了後は、ステップＳ６に進み、被写体処理部２１において、パン方向ポテンショメータ１４またはチルト方向ポテンショメータ１５からそれぞれ出力されるパン位置またはチルト位置に基づいて、レンズブロック１の撮像方向が認識される。さらに、ステップＳ６では、被写体処理部２１において、その撮像方向に対応付けられて記憶されている被写体モデルが、モデル記憶部２２から選択されて読み出される。
【００６１】
ここで、図６は、ステップＳ６において、レンズブロック１の撮像方向に対応して、被写体モデルが選択される様子を示している。なお、同図においては、横軸または縦軸に、それぞれパン位置またはチルト位置（パン方向またはチルト方向）をとることにより、レンズブロック１が撮像可能な全方向（画像空間）を表している。
【００６２】
図６の実施例は、レンズブロック１が、設定位置１乃至３の３つの位置で表される方向それぞれにパンチルトされて、被写体を撮像することにより被写体モデルが生成され、これにより、レンズブロック１の撮像方向が、設定位置１乃至３それぞれを含む領域１乃至３に区分けされた状態を示している。なお、このようにレンズブロック１の撮像方向のすべてを表す領域を区分けする境界線は、ここでは、設定位置１乃至３を３つの頂点とする３角形の各辺の垂直２等分線とされている。
【００６３】
この場合、ステップＳ６では、被写体を撮像するレンズブロック１の撮像方向が、領域１乃至３のいずれの領域に対応する方向であるかで、被写体の検出に用いる被写体モデルが選択される。
【００６４】
即ち、いま、レンズブロック１が、例えば、図６において、点線の×印で示す、領域３内の位置に対応する方向を向いているときには、設定位置３において撮像された被写体に対応する被写体モデルが選択される。そして、その１フレーム後において、レンズブロック１が、例えば、領域３内の位置に対応する方向を向いたままであるときには、やはり、設定位置３において撮像された被写体に対応する被写体モデルが選択される。また、その１フレーム後において、後述するステップＳ１０で、レンズブロック１がパンチルトされ、例えば、図６で実線の×印で示す、領域１内の位置に対応する方向を向いているときには、設定位置１において撮像された被写体に対応する被写体モデルが選択される。
【００６５】
ステップＳ６で被写体モデルの選択がなされた後は、被写体処理部２１は、ステップＳ７において、被写体画素選択処理を行い、その処理結果に基づいて、レンズブロック１から出力された画像の中に被写体が存在するかどうかを、ステップＳ８において判定する。
【００６６】
即ち、ステップＳ７では、レンズブロック１で撮像され、画像メモリ１０に記憶された画像を構成する各画素のうち、その輝度Ｙ_ijと、色差信号Ｒ_ijまたはＢ_ijそれぞれとが、次の２つの式の両方を満足するものが検出される。
【００６７】
ＬＦｒ（Ｙ_ij）＜Ｒ_ij＜ＨＦｒ（Ｙ_ij）
ＬＦｂ（Ｙ_ij）＜Ｂ_ij＜ＨＦｂ（Ｙ_ij）
なお、２次関数ＬＦｒ（Ｙ_ij），ＨＦｒ（Ｙ_ij），ＬＦｂ（Ｙ_ij）、およびＨＦｂ（Ｙ_ij）は、ステップＳ６で選択された被写体モデル（定数Ａ０乃至Ａ３、およびＹ切片Ｒ_low，Ｒ_high，Ｂ_low，Ｂ_high）により規定されるものである。
【００６８】
ステップＳ７では、上式を満たす画素、即ち、図５（Ａ）に示した２つの２次関数ＬＦｒ（Ｙ_ij）とＨＦｒ（Ｙ_ij）との間にプロットされ、かつ図５（Ｂ）に示した２つの２次関数ＬＦｂ（Ｙ_ij）とＨＦｂ（Ｙ_ij）との間にプロットされる画素が、被写体を構成する画素（以下、適宜、被写体構成画素という）として検出される。
【００６９】
ここで、ステップＳ７では、被写体処理部２１は、誤認識物体記憶部２３を参照し、いまのレンズブロック１の撮像方向とほぼ同じ方向と対応付けられた誤認識物体情報が記憶されているかどうかを判定する。そして、そのような誤認識物体情報が誤認識物体記憶部２３に記憶されている場合、被写体処理部２１は、画像メモリ１０に記憶された画像を構成する画素から、その誤認識物体情報とほぼ同一の輝度を有する画素を除いたものを対象として、被写体構成画素の検出を行うようになされている。
【００７０】
レンズブロック１の撮像方向が、誤認識物体記憶部２３に記憶されているもの（以下、適宜、記憶撮像方向という））をほぼ同一であり、かつ、そのような場合において、レンズブロック１から出力される画像の画素のうち、記憶撮像方向と対応付けられている誤認識物体情報としての輝度と、ほぼ同一の輝度を有するものは、誤認識物体を構成する可能性が高い。
【００７１】
そこで、そのような画素を、上述したように、被写体構成画素の検出の対象から除外することで、誤認識物体が、追尾すべき被写体と認識されることを防止することができる。従って、追尾すべき被写体以外の物体を、誤って追尾してしまうことを防止することが可能となる。
【００７２】
ステップＳ７において、以上のようにして、画像メモリ１０に記憶された画像から、被写体構成画素の検出が行われた後は、ステップＳ８に進み、レンズブロック１で撮像され、画像メモリ１０に記憶された画像の中に、被写体が存在するかどうかが判定される。即ち、ステップＳ８では、ステップＳ７で検出された被写体構成画素の総数が、所定の閾値γと比較される。そして、被写体構成画素数が所定の閾値γより多い場合、または被写体構成画素数が所定の閾値γ以下である場合、ステップＳ８では、それぞれ、画像メモリ１０に記憶された画像の中に、被写体が存在する、または存在しないと判定される。
【００７３】
ステップＳ８において、被写体が存在しないと判定された場合、即ち、被写体を見失った場合、例えば、被写体が存在する方向が予測され、さらに、そのような方向に、レンズブロック１がパンチルトされた後、ステップＳ６に戻る。あるいは、また、ユーザによって、被写体が存在する方向に、レンズブロック１が、手動でパンチルトされ、ステップＳ６に戻る。
【００７４】
一方、ステップＳ８において、被写体が存在すると判定された場合、ステップＳ９に進み、被写体の位置が、被写体処理部２１によって検出される。
【００７５】
即ち、例えば、ステップＳ７で、図７（Ａ）に影を付して示すように、被写体構成画素が検出され、さらに、ステップＳ８において、被写体が存在すると判定された場合には、ステップＳ９では、ステップＳ７で検出された被写体構成画素のうち、その被写体構成画素で構成される領域の周辺にある、いわばノイズ的なものを除去するために、被写体構成画素で構成される領域に対してフィルタリング処理が施される。これにより、図７（Ａ）に示す被写体構成画素は、図７（Ｂ）に示すようにされる。そして、ステップＳ９では、フィルタリングの結果得られた被写体構成画素の集合の、例えば重心（例えば、水平方向または垂直方向をそれぞれｘ軸またはｙ軸とするｘｙ平面上の重心）（図７（Ｂ）において、×印で示す部分）が求められ、これが、被写体の位置とされる。
【００７６】
さらに、ステップＳ９では、被写体処理部２１において、例えば、図７（Ｂ）に太線で示すように、フィルタリングの結果得られた被写体構成画素の集合を囲む枠（以下、適宜、被写体枠という）を表示するように、表示制御部２５が制御される。これに対応して、表示制御部２５では、レンズブロック１で撮像された画像に、被写体枠がスーパインポーズして表示されるように、モニタが制御される。
【００７７】
即ち、モニタの表示画面に、例えば図８（Ａ）に白抜きで示すような被写体枠を表示させる場合には、表示制御部２５において、同図（Ｂ）に示すようなパルス（枠パルス）が生成される。なお、図８（Ｂ）は、同図（Ａ）のＡＡ’で示す水平走査線に、被写体枠を表示させるための枠パルスを示している。
【００７８】
そして、表示制御部２５は、レンズブロック１で撮像された画像の、対応する水平走査線に、図８（Ｃ）に示すように、枠パルスを重畳する。これにより、モニタには、レンズブロック１で撮像された画像に、被写体枠がスーパインポーズされて表示される。
【００７９】
その後、ステップＳ１０に進み、被写体処理部２１において、ステップＳ９で検出された被写体の位置が、モニタの表示画面（レンズブロック１から出力される画像）の中央の位置に一致するように、モータ駆動部２４が制御される。これに対応して、モータ駆動部２４では、パンモータ１２、チルトモータ１３が回転駆動され、これにより、被写体が、モニタの表示画面の中央に引き込まれるように、レンズブロック１がパンチルトされ、ステップＳ６に戻る。
【００８０】
ステップＳ６では、ステップＳ１０におけるパンチルトにより変化したレンズブロック１の撮像方向に対応して、上述したように、被写体モデルが選択され、以下、上述した処理が繰り返されることにより、被写体の自動追尾が行われる。
【００８１】
なお、被写体がふらつくような動きをしており、このため、レンズブロック１の撮像方向が、図６に示した領域を区分けする境界線（以下、適宜、領域境界線という）付近を行き来するような場合には、被写体処理部２１において、被写体の検出に用いる被写体モデルの切り換えが頻繁に行われることとなる。そこで、このような被写体モデルの頻繁な切り換えを防止するため、被写体処理部２１は、領域境界線付近におけるレンズブロック１の撮像方向の変化に対しては、所定のヒステリシス特性をもって、被写体モデルを選択するようになされている。
【００８２】
即ち、被写体処理部２１は、レンズブロック１の撮像方向が、ある領域Ａから、領域境界線を越えて他の領域Ｂに入った場合、所定の時間が経過しても、領域Ｂに入ったままになっているときのみ、領域Ｂに対応する被写体モデルを選択するようになされている。従って、この場合、所定の時間が経過する前に、レンズブロック１の撮像方向が、再び領域Ａに戻ったときには、被写体モデルは、領域Ａに対応するものが選択され続けることになる。
【００８３】
あるいは、また、被写体処理部２１は、レンズブロック１の撮像方向が、ある領域Ａから、領域境界線を越えて他の領域Ｂに入った場合、レンズブロック１の撮像方向が、その領域境界線から所定の距離だけ、さらに、領域Ｂ方向に入ったときのみ、領域Ｂに対応する被写体モデルを選択するようになされている。従って、この場合、レンズブロック１の撮像方向が、領域境界線を越えても、さらに所定の距離だけ領域Ｂ方向に入らず、再び領域Ａに戻ったときには、被写体モデルは、領域Ａに対応するものが選択され続けることになる。また、この場合、レンズブロック１の撮像方向が、領域境界線を越え、さらに所定の距離だけ領域Ｂ方向に入ったときには、被写体モデルは、領域Ａに対応するものから領域Ｂに対応するものに切り換えられるが、その後は、レンズブロック１の撮像方向が、再び、領域境界線を越え、さらに所定の距離だけ領域Ａ方向に入らない限り、領域Ｂに対応する被写体モデルが選択され続けることになる。
【００８４】
以上のように、被写体を複数の撮像方向から撮像したときに得られる画像データ基づいて、被写体モデルを生成し、その撮像方向と対応付けて記憶するようにしたので、被写体の追尾中に、撮像方向が変化することにより、光源や、被写体の照明の状態が変化しても、その状態において適切な被写体モデルを用いて、被写体の検出を行うことができる。その結果、オートアイリスやオートホワイトバランスが機能していても、被写体を精度良く検出することが可能となり、さらに、この場合、撮像された画像が不自然なものとなることもない。
【００８５】
また、誤認識物体情報を記憶するようにしたので、誤認識物体を、追尾すべき被写体に誤認識し、そのような誤認識物体を追尾してしまうことを防止することができる。
【００８６】
なお、本実施例では、被写体モデルの生成および被写体の検出を行うにあたって、３色表色系の１つである輝度信号および色差信号を用いるようにしたが、その他、例えばＲＧＢ表色系や、Ｌａｂ表色系、Ｌｕｖ表色系、ＸＹＺ表色系などを用いるようにすることも可能である。
【００８７】
さらに、本実施例では、追尾すべき被写体を２次関数で近似するようにしたが、即ち、被写体モデルとして２次関数を用いるようにしたが、被写体モデルとしては、その他の関数などを用いることが可能である。
【００８８】
【発明の効果】
請求項１に記載の被写体検出装置および請求項３に記載の被写体検出方法によれば、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定され、設定された被写体の画像データから、被写体モデルが生成され、生成された被写体モデルが、被写体が設定されたときの、撮像部の撮像方向と対応付けて記憶され、撮像部の撮像方向に対応して、記憶された被写体モデルが選択される。そして、その選択された被写体モデルに基づいて、撮像部より出力された画像から、被写体が検出される。従って、撮像部の撮像方向が変わることにより、環境が変化しても、被写体を的確に追尾することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したビデオカメラシステムの一実施例の構成を示すブロック図である。
【図２】図１の追尾信号処理回路１１の構成例を示すブロック図である。
【図３】図１のビデオカメラシステムの動作を説明するためのフローチャートである。
【図４】追尾すべき被写体の設定について説明するための図である。
【図５】被写体モデルの生成方法を説明するための図である。
【図６】図３のステップＳ６の処理を説明するための図である。
【図７】図３のステップＳ９の処理を説明するための図である。
【図８】被写体枠の表示について説明するための図である。
【図９】ビデオカメラの撮像方向が変化することにより、撮影環境が変化することを説明するための図である。
【符号の説明】
１ レンズブロック， ９ 被写体認識回路部， １０ 画像メモリ， １１追尾信号処理回路， １２ パンモータ， １３ チルトモータ， １４ パン方向ポテンショメータ， １５ チルト方向ポテンショメータ， ２１ 被写体処理部， ２２ モデル記憶部， ２３ 誤認識物体記憶部， ２４ モータ駆動部， ２５ 表示制御部， ２６ 設定ボタン， ２７ 終了ボタン， ２８ 誤りボタン

Claims (4)

1. 撮像素子で受光される光量を適切な値に調整するオートアイリスまたはホワイトバランスが適正に調整されるようにするオートホワイトバランスを機能させながら被写体を検出する被写体検出装置であって、
   前記被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段と、
   前記被写体設定手段により設定された前記被写体の画像データから、被写体モデルを生成するモデル生成手段と、
   前記モデル生成手段により生成された被写体モデルを、前記被写体設定手段により前記被写体が設定されたときの、前記撮像部の撮像方向と対応付けて記憶するモデル記憶手段と、
   前記撮像部の撮像方向に対応して、前記モデル記憶手段に記憶された被写体モデルを選択するモデル選択手段と、
   前記モデル選択手段により選択された被写体モデルに基づいて、前記撮像部より出力された画像から、前記被写体を検出する被写体検出手段と
   を備えることを特徴とする被写体検出装置。
2. 前記撮像部より出力された画像から、前記被写体モデルに適合する、前記被写体以外の物体を指定する指定手段をさらに備え、
   前記モデル記憶手段は、前記指定手段により前記物体が指定されたときの前記撮像部の撮像方向と、その物体に対応する画像データとを記憶し、
   前記被写体検出手段は、前記撮像部が前記モデル記憶手段に記憶された撮像方向を撮像している場合に得られる画像に、前記モデル記憶手段に記憶された物体に対応する画像データが含まれるとき、その部分を除いた前記画像を対象として、前記被写体を検出する
   ことを特徴とする請求項１に記載の被写体検出装置。
3. 撮像素子で受光される光量を適切な値に調整するオートアイリスまたはホワイトバランスが適正に調整されるようにするオートホワイトバランスを機能させながら被写体を検出する被写体検出装置の被写体検出方法であって、
   前記被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定ステップと、
   前記被写体設定ステップの処理により設定された前記被写体の画像データから、被写体モデルを生成するモデル生成ステップと、
   前記モデル生成ステップの処理により生成された被写体モデルを、前記被写体設定ステップの処理により前記被写体が設定されたときの、前記撮像部の撮像方向と対応付けて記憶するモデル記憶ステップと、
   前記撮像部の撮像方向に対応して、前記モデル記憶ステップの処理により記憶された被写体モデルを選択するモデル選択ステップと、
   前記モデル選択ステップの処理により選択された被写体モデルに基づいて、前記撮像部より出力された画像から、前記被写体を検出する被写体検出ステップと
   を含むことを特徴とする被写体検出方法。
4. 前記撮像部より出力された画像から、前記被写体モデルに適合する、前記被写体以外の物体を指定する指定ステップと、
   前記指定ステップの処理により前記物体が指定されたときの前記撮像部の撮像方向と、その物体に対応する画像データとを記憶する物体情報記憶ステップと、
   前記撮像部が前記物体情報記憶ステップの処理により記憶された撮像方向を撮像している場合に得られる画像に、前記物体情報記憶ステップの処理により記憶された物体に対応する画像データが含まれるとき、その部分を除いた前記画像を対象として、前記被写体を検出する検出ステップと
   をさらに含むことを特徴とする請求項３に記載の被写体検出方法。

Images