JP3757404B2 - 被写体検出装置および被写体検出方法 - Google Patents
被写体検出装置および被写体検出方法 Download PDFInfo
- Publication number
- JP3757404B2 JP3757404B2 JP01165596A JP1165596A JP3757404B2 JP 3757404 B2 JP3757404 B2 JP 3757404B2 JP 01165596 A JP01165596 A JP 01165596A JP 1165596 A JP1165596 A JP 1165596A JP 3757404 B2 JP3757404 B2 JP 3757404B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image data
- pixel
- model
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体検出装置および被写体検出方法に関する。特に、例えば監視カメラや、テレビ会議システム、その他、被写体を自動追尾するビデオカメラなどに用いて好適な被写体検出装置および被写体検出方法に関する。
【０００２】
【従来の技術】
従来より、パン駆動機構およびチルト駆動機構を用いて、例えば表示画面の中央部に、追尾対象である被写体を表示させるように自動追尾を行うビデオカメラが提案されている。
【０００３】
即ち、このようなビデオカメラにおいては、例えば表示画面（ビデオカメラにより撮像される画像）の所定の位置（例えば、表示画面の中央部など）に、所定の大きさの基準計測枠が設けられ、まず、その基準計測枠に、追尾対象の被写体が含まれるように撮像が行われて記憶される（自動追尾する被写体が設定される）。その後、ビデオカメラにより撮像された画像から、記憶された被写体が検出され、被写体を検出することができた場合には、その被写体が、表示画面の中央部に表示されるように、パンニングおよびチルティングが行われる。
【０００４】
なお、追尾すべき被写体の設定は、その被写体が、基準計測枠に含まれている状態において、その被写体を追尾対象として設定するように操作（例えば、所定のボタンの操作）がなされることで行われる。この場合、ビデオカメラでは、基準計測枠内の画素すべての画素値（画像データ）や、その画素の中のいずれか１つの画素値などに基づいて、被写体の特徴を表す被写体モデルが生成される。そして、ビデオカメラにより撮像された画像の中からの被写体の検出（抽出）（認識）は、この被写体モデルに基づいて行われる。
【０００５】
このような自動追尾を行うビデオカメラは、例えば監視カメラや、話者を自動追尾する話者自動追尾型テレビ会議システムなどに適用することができ、さらに、セキュリティシステムの無人化や、いわゆるハンズフリー撮影などを行うのに有効な手段である。
【０００６】
【発明が解決しようとする課題】
ところで、従来のビデオカメラでは、被写体モデルの生成は、所定の状態にある被写体に対応する画像データに基づいて行われる。このため、被写体の追尾中に、その被写体の姿勢その他の状態が変化した場合、撮像される被写体の輝度などが、被写体モデルの生成時とは異なるものとなることがあり、これにより、被写体の検出性能（認識性能）が劣化する課題があった。
【０００７】
そこで、この劣化を低減する方法として、被写体に種々の姿勢をとらせ、そのような種々の姿勢ごとの被写体モデルを生成することを、ある程度の検出性能が得られるまで繰り返す方法がある。しかしながら、この方法では、被写体モデルの生成を、何度も繰り返し行わなければならず、また、ユーザは、生成された被写体モデルによる検出性能を確認する必要があり、面倒であった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、被写体の検出性能を、容易に向上させることができるようにするものである。
【０００９】
【課題を解決するための手段】
請求項１に記載の被写体検出装置は、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段と、被写体設定手段により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出する画素検出手段と、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高分散画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成するモデル生成手段と、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出手段とを備えることを特徴とする。
【００１０】
請求項４に記載の被写体検出方法は、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定ステップと、被写体設定ステップの処理により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出する画素検出ステップと、被写体設定ステップの処理により設定された被写体の画像データから、画素検出ステップの処理により検出された高分散画素を除いたものに基づいて、被写体設定ステップの処理により設定された被写体の被写体モデルを生成するモデル生成ステップと、モデル生成ステップの処理により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出ステップとを含むことを特徴とする。
【００１１】
請求項５に記載の被写体検出装置は、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段と、被写体設定手段により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出する画素検出手段と、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高画素値画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成するモデル生成手段と、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出手段とを備えることを特徴とする。
【００１２】
請求項６に記載の被写体検出方法は、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定ステップと、被写体設定ステップの処理により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出する画素検出ステップと、被写体設定ステップの処理により設定された被写体の画像データから、画素検出ステップの処理により検出された高画素値画素を除いたものに基づいて、被写体設定ステップの処理により設定された被写体の被写体モデルを生成するモデル生成ステップと、モデル生成ステップの処理により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出ステップとを含むことを特徴とする。
【００１９】
請求項１に記載の被写体検出装置においては、被写体設定手段は、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定し、画素検出手段は、被写体設定手段により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出し、モデル生成手段は、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高分散画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成し、被写体検出手段は、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出するようになされている。
【００２０】
請求項４に記載の被写体検出方法においては、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定し、設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出し、設定された被写体の画像データから、検出された高分散画素を除いたものに基づいて、設定された被写体の被写体モデルを生成し、生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出するようになされている。
【００２１】
請求項５に記載の被写体検出装置においては、被写体設定手段は、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定し、画素検出手段は、被写体設定手段により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出し、モデル生成手段は、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高画素値画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成し、被写体検出手段は、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出するようになされている。
【００２２】
請求項６に記載の被写体検出方法においては、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定し、設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出し、設定された被写体の画像データから、検出された高画素値画素を除いたものに基づいて、設定された被写体の被写体モデルを生成し、生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出するようになされている。
【００２９】
【発明の実施の形態】
以下に、本発明の実施例を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施例との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施例（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００３０】
即ち、請求項１に記載の被写体検出装置は、ユーザの操作に応じて、検出される被写体を検出する被写体検出装置であって、ユーザの操作に応じて、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段（例えば、図２に示す被写体設定部２６など）と、被写体設定手段により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出する画素検出手段（例えば、図２に示す被写体処理部２１や、図１３に示すプログラムの処理ステップＳ６１など）と、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高分散画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成するモデル生成手段（例えば、図２に示す被写体処理部２１や、図４に示すプログラムの処理ステップＳ２３など）と、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出手段（例えば、図２に示す被写体処理部２１や、図４に示すプログラムの処理ステップＳ２４など）とを備えることを特徴とする。
【００３１】
被写体検出装置には、被写体設定手段により被写体が設定されたときに撮像部より出力される画像の中の所定の範囲内の画像データを記憶する画像データ記憶手段（例えば、図２に示す被写体データ記憶部２３や、図４に示すプログラムの処理ステップＳ２２など）と、所定の範囲を変更する変更手段（例えば、図２に示す被写体設定部２６や、図１０に示すプログラムの処理ステップＳ４２およびＳ４３など）とをさらに設け、モデル生成手段は、画像データ記憶手段に記憶された画像データに基づいて、被写体モデルを生成するようにすることができる。
【００３２】
被写体検出装置には、被写体設定手段により被写体が設定されたときに撮像部より出力される画像の中の所定の範囲内の画像データに基づいて、所定の初期モデルを生成する初期モデル生成手段（例えば、図２に示す被写体処理部２１や、図１１に示すプログラムの処理ステップＳ５２など）と、撮像部より出力される画像データのうち、初期モデル生成手段により生成された初期モデルに適合するものを記憶する画像データ記憶手段（例えば、図２に示す被写体データ記憶部２３や、図１１に示すプログラムの処理ステップＳ５３など）とをさらに設け、モデル生成手段は、画像データ記憶手段に記憶された画像データに基づいて、被写体モデルを生成するようにすることができる。
【００３３】
請求項４に記載の被写体検出方法は、被写体を検出する被写体検出装置の被写体検出方法であって、ユーザの操作に応じて、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像における所定の領域を被写体の画像データとして被写体を設定する被写体設定ステップ（例えば、図４に示すプログラムの処理ステップＳ２１など）と、被写体設定ステップの処理により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出する画素検出ステップ（例えば、図１３に示すプログラムの処理ステップＳ６１など）と、被写体設定ステップの処理により設定された被写体の画像データから、画素検出ステップの処理により検出された高分散画素を除いたものに基づいて、被写体設定ステップの処理により設定された被写体の被写体モデルを生成するモデル生成ステップ（例えば、図１３に示すプログラムの処理ステップＳ６４など）と、モデル生成ステップの処理により生成された被写体モデルに基づいて、被写体より出力された画像から、被写体を検出する被写体検出ステップ（例えば、図４に示すプログラムの処理ステップＳ２６など）とを含むことを特徴とする。
【００３４】
請求項５に記載の被写体検出装置は、被写体を検出する被写体検出装置であって、ユーザの操作に応じて、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段（例えば、図２に示す被写体設定部２６など）と、被写体設定手段により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出する画素検出手段（例えば、図２に示す被写体処理部２１や、図１３に示すプログラムの処理ステップＳ６２など）と、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高画素値画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成するモデル生成手段（例えば、図２に示す被写体処理部２１や、図４に示すプログラムの処理ステップＳ２３など）と、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出手段（例えば、図２に示す被写体処理部２１や、図４に示すプログラムの処理ステップＳ２４など）とを備えることを特徴とする。
【００３５】
請求項６に記載の被写体検出方法は、被写体を検出する被写体検出装置の被写体検出方法であって、ユーザの操作に応じて、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像における所定の領域を被写体の画像データとして被写体を設定する被写体設定ステップ（例えば、図４に示すプログラムの処理ステップＳ２１など）と、被写体設定ステップの処理により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出する画素検出ステップ（例えば、図１３に示すプログラムの処理ステップＳ６１など）と、被写体設定ステップの処理により設定された被写体の画像データから、画素検出ステップの処理により検出された高画素値画素を除いたものに基づいて、被写体設定ステップの処理により設定された被写体の被写体モデルを生成するモデル生成ステップ（例えば、図４に示すプログラムの処理ステップＳ２３など）と、モデル生成ステップの処理により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出ステップ（例えば、図４に示すプログラムの処理ステップＳ２６など）とを含むことを特徴とする。
【００４０】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００４１】
図１は、本発明を適用したビデオカメラシステムの一実施例の構成を示している。レンズブロック１は、レンズ２、アイリス３、およびＣＣＤ（Charge Coupled Device）４から構成され、被写体からの光ＬＡを撮像し、電気信号としての画像信号を出力する。即ち、被写体からの光ＬＡは、レンズ２により、アイリス３を介してＣＣＤ４上に結像され、これにより、ＣＣＤ４からは、その受光量に対応した画像信号が出力される。
【００４２】
なお、アイリス３は、いわゆるオートアイリス（ＡＥ）機構を構成しており、ＣＣＤ４で受光される光量を、適切な値に調整する（レンズブロック１の露光状態を適切な状態にする）ようになされている。
【００４３】
レンズブロック１から出力された画像信号は、信号分離（Ｓ／Ｈ（Sample Hold）／自動利得調整（ＡＧＣ（Automatic Gain Control））回路５において、サンプルホールドされ、さらに、オートアイリス機構からの制御信号によって、所定のゲインを持つように利得制御された後、Ａ／Ｄ変換器６に出力される。
【００４４】
Ａ／Ｄ変換器６は、信号分離／自動利得調整回路５からの画像信号（アナログ信号）を、所定のクロックにしたがってＡ／Ｄ変換することによりディジタルの画像信号にする。なお、Ａ／Ｄ変換器６がＡ／Ｄ変換を行うために用いる基準電圧は、図示せぬオートホワイトバランス（ＡＷＢ）機構から供給されるようになされており、これにより、ホワイトバランスが適正に調整されるようになされている。
【００４５】
ここで、本実施例では、オートアイリス機構およびオートホワイトバランス機構を機能させるようにしたが、オートアイリス機構およびオートホワイトバランス機構を機能させず、固定の露出およびホワイトバランスで、撮像を行うようにすることも可能である。
【００４６】
Ａ／Ｄ変換器６によってディジタル信号とされた画像信号は、ディジタルカメラ処理回路７に供給される。ディジタルカメラ処理回路７は、Ａ／Ｄ変換器６からの画像信号に基づいて、その画像信号に対応する画像を構成する各画素の輝度信号（第１の画素値）Ｙ、並びに色差信号（第２の画素値）Ｒ−Ｙ，Ｂ−Ｙ、およびクロマ信号Ｃを生成する。輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、そこでＤ／Ａ変換された後、モニタ１４に供給される。これにより、モニタ１４では、レンズブロック１で撮像された画像が表示される。
【００４７】
また、ディジタルカメラ処理回路７で生成された輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙは、被写体認識回路部９に供給される。被写体認識回路部９は、ディジタルカメラ処理回路７からの輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙで構成される画像の中から、追尾すべき被写体を検出し、その被写体が、レンズブロック１から出力される画像の、例えば中央部分（所定の基準位置）に表示されるように、パンモータ１２およびチルトモータ１３を駆動する。
【００４８】
即ち、被写体認識回路部９は、フレームメモリ構成の画像メモリ１０と、マイクロプロセッサ構成の追尾信号処理回路１１とで構成される。画像メモリ１０は、追尾信号処理回路１１から書き込み許可信号を受信すると、ディジタルカメラ処理回路７が出力する輝度信号Ｙ、色差信号Ｒ−Ｙ，Ｂ−Ｙそれぞれを、独立に、画素単位で記憶する。
【００４９】
ここで、以下、適宜、色差信号Ｒ−ＹまたはＢ−Ｙを、それぞれＲまたはＢと略記する。また、レンズブロック１が出力する画像の最も左上の画素の位置を原点（０，０）とし、その位置の左または上からそれぞれｉまたはｊ番目の画素の輝度信号Ｙ、色差信号Ｒ，Ｂそれぞれを、以下、適宜、Ｙij，Ｒij，Ｂijとも表す。さらに、以下、適宜、輝度信号Ｙ、色差信号Ｒ，Ｂをまとめて、画像データともいう。
【００５０】
画像メモリ１０は、１フレーム（または１フィールド）分の画像データを記憶すると、読み出し許可信号を、追尾信号処理回路１１に出力する。そして、画像目メモリ１０は、その後、追尾信号処理回路１１が出力するアドレス（上述のｉ，ｊに対応する）を受信すると、そのアドレスに記憶された画像データを、追尾信号処理回路１１に出力する。
【００５１】
追尾信号処理回路１１は、画像メモリ１０から読み出し許可信号を受信すると、被写体の追尾に必要な画像データを、上述したように、画像メモリ１０にアドレス（メモリアドレス）を与えることで読み出し、これにより、レンズブロック１より出力された画像から、追尾すべき被写体を検出する。その後、追尾信号処理回路１１は、書き込み許可信号を、画像メモリ１０に供給し、これにより、画像メモリ１０では、レンズブロック１で撮像された画像が、新たに記憶される（既に記憶されている画像に上書きされる）。その後、画像メモリ１０は、上述したように、読み出し許可信号を出力し、以下、同様にして、画像メモリ１０では、レンズブロック１で撮像された画像が、順次記憶されていく。なお、以上のようにして、画像メモリ１０の記憶内容が書き換えられるのは、追尾すべき被写体の設定が行われた後（後述する図４のステップＳ２２以降の処理が行われる場合）であり、被写体の設定が行われる前（後述する図４のステップＳ２１の処理が繰り返し行われている場合）は、画像メモリ１０の記憶内容は、例えばフレーム周期（またはフィールド周期）で、レンズブロック１が出力する画像に書き換えられていく。
【００５２】
また、追尾信号処理回路１１は、被写体を検出すると、その被写体が、レンズブロック１から出力される画像の中央部分に表示されるように、パンモータ１２およびチルトモータ１３を駆動する。これにより、パンモータ１２またはチルトモータ１３において、レンズブロック１がそれぞれパンニングまたはチルティング駆動され、被写体が、レンズブロック１が出力する画像の中央部分に表示される。
【００５３】
さらに、追尾信号処理回路１１は、被写体を検出した場合、その被写体を囲む枠（以下、適宜、被写体枠という）を、モニタ１４に表示させる。
【００５４】
図２は、追尾信号処理回路１１の機能的な構成例を示している。被写体処理部２１は、上述した書き込み許可信号およびアドレスを画像メモリ１０に出力するとともに、読み出し許可信号および画像データを受信し、モデル記憶部２２および被写体データ記憶部２３を参照しながら、被写体の追尾に必要な処理を行う。さらに、被写体処理部２１では、その処理結果に応じて、モータ駆動部２４および表示制御部２５が制御される。また、被写体処理部２１は、被写体設定部２３により設定される、追尾すべき被写体の特徴を表す被写体モデル（追尾すべき被写体をモデル化したもの）を生成し、モデル記憶部２２に記憶させるようにもなされている。
【００５５】
モデル記憶部２２は、初期モデル記憶部２２Ａおよび最終モデル記憶部２２Ｂから構成される。初期モデル記憶部２２Ａは、後述するような初期被写体モデルを記憶するようになされている。最終モデル記憶部２２Ｂは、最終的に被写体の検出に用いる被写体モデルを記憶するようになされている。
【００５６】
被写体データ記憶部２３は、被写体モデルを生成するのに用いる画像データ（画素値）を記憶するようになされている。
【００５７】
モータ駆動部２４は、被写体処理部２１の制御の下、パンモータ１２およびチルトモータ１３を回転駆動するようになされている。表示制御部２５は、被写体処理部２１の制御の下、モニタ１４の表示を制御するようになされている。
【００５８】
被写体設定部２６は、追尾すべき被写体を設定するときに操作されるようになされている。この被写体設定部２６が被写体を設定するように操作されると（以下、適宜、このような操作を設定操作という）、被写体処理部２１では、後述するようにして、その被写体に対応する被写体モデルが生成されるようになされている。
【００５９】
また、被写体の設定は、レンズブロック１が出力する画像により構成される表示画面に設けられた所定の範囲としての基準計測枠Ｄ（図５乃至図７）内に、被写体が含まれるようにパンニングまたはチルティング（以下、適宜、両方含めてパンチルトという）が行われ、さらに、被写体設定部２６が設定操作されることにより行われるが、このとき用いられる基準計測枠Ｄは、やはり、被写体設定部２６を操作することで変更することができるようになされている。即ち、被写体設定部２６は、被写体を設定するときの他、基準計測枠Ｄの大きさや表示位置を変更するときにも操作される。
【００６０】
なお、基準計測枠Ｄは、被写体処理部２１が表示制御部２５を制御することにより、モニタ１４に表示されるようになされている。
【００６１】
次に、図３のフローチャートを参照して、図１のビデオカメラシステムの画像の撮像処理について説明する。まず最初に、ステップＳ１において、レンズブロック１における露出が適正な状態に制御され、ステップＳ２に進み、被写体からの光ＬＡが、ＣＣＤ４において光電変換されることにより電気信号としての画像信号とされ、ステップＳ３に進む。ステップＳ３では、ＣＣＤ４より出力される画像信号が、信号分離／自動利得調整回路５においてサンプルホールド（信号分離）され、ステップＳ４に進み、そのサンプルホールドされた画像信号が、同じく信号分離／自動利得制御回路５において利得制御され、ステップＳ５に進む。ステップＳ５では、利得制御された画像信号が、Ａ／Ｄ変換器６においてサンプリングされ、さらに所定のビット数（例えば、８ビットなど）に量子化されて、ディジタルカメラ処理回路７に出力される。
【００６２】
ディジタルカメラ処理回路７では、ステップＳ６において、Ａ／Ｄ変換器６からの画像信号に対し、ディジタル信号処理が施され、これにより、その画像信号に対応する画像を構成する各画素の輝度信号Ｙ、並びに色差信号Ｒ，Ｂ、およびクロマ信号Ｃが生成される。そして、上述したように、輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、輝度信号Ｙおよび色差信号Ｒ，Ｂは、被写体認識回路部９に出力される。
【００６３】
その後、ステップＳ７に進み、Ｄ／Ａ変換器８において、ディジタルカメラ処理回路７からの輝度信号Ｙおよびクロマ信号ＣはＤ／Ａ変換され、モニタ１４に供給されて表示される。そして、ステップＳ１に戻り、このステップＳ１からの処理が繰り返される。
【００６４】
次に、図４のフローチャートを参照して、被写体認識回路部９の処理について説明する。被写体認識回路部９では、まず最初に、ステップＳ２１において、被写体処理部２６が設定操作されたかどうかが、被写体処理部２１によって判定される。ステップＳ２１において、被写体処理部２６が設定操作されていないと判定された場合、ステップＳ２１に戻る。また、ステップＳ２１において、被写体処理部２６が設定操作されたと判定された場合、ステップＳ２２，Ｓ２３に順次進み、被写体処理部２１において、被写体データ記憶処理、被写体モデル生成処理が行われる。
【００６５】
ここで、従来においては、ある状態にある被写体に対応する画像データであって、基準計測枠内にあるものにのみ、即ち、被写体の設定操作がされたときに撮像された１フレーム（または１フィールド）の画像の中の固定の基準計測枠内にある画像データにのみ基づいて、被写体モデルの生成が行われるため、追尾中の被写体の姿勢その他の状態が変化することにより、画像の輝度などが変化した場合には、被写体が被写体モデルに適合しなくなり、これにより、前述したように、被写体の検出性能が劣化する。
【００６６】
従って、追尾中の被写体の状態が変化することにより、画像の輝度などが変化しても、被写体が被写体モデルに適合するようにするには、できるだけ広いレンジの輝度についての、被写体に対応する画像データに基づいて被写体モデルを生成するようにすれば良い。
【００６７】
そこで、ステップＳ２２の被写体データ記憶処理では、被写体モデルを生成するための画像データ（以下、適宜、被写体データという）を、できるだけ広いレンジの輝度について記憶するようになされており、ここでは、そのような被写体データを得る方法として、例えば、次のような第１乃至第３の方法が用意されている。なお、この第１乃至第３の方法のうちのいずれを用いるかは、図示せぬ操作部を操作することで、あらかじめ選択することができるようになされている。
【００６８】
即ち、第１の方法では、設定操作がされた後、レンズブロック１が所定の時間（少なくても、１フレーム（または１フィールド）に相当する時間より長い時間）内に出力する画像の基準計測枠Ｄ内の画像データが、被写体データとして記憶される。この場合、図５に示すように、被写体に動いてもらうことで、種々の異なる状態にある被写体に対応する画像データ（異なる輝度の画像データ）を得ることができ、その結果、広いレンジの輝度についての被写体データを得ることができる。
【００６９】
なお、設定操作がされた後、レンズブロック１が所定の時間内に出力する画像の基準計測枠Ｄ内の画像データを記憶する他、例えば、設定操作がされた後、レンズブロック１が出力する画像の基準計測枠Ｄ内の画像データを、あるレンジの輝度が得られるまで記憶することなどによっても、広いレンジの輝度についての被写体データを得ることができる。
【００７０】
第２の方法では、被写体設定部２６を操作することにより、基準計測枠Ｄの位置や大きさが変更され、そのような変更後の基準計測枠Ｄ内の画像データが、被写体データとして記憶される。この場合、図６（Ａ）に示すように、基準計測枠Ｄ内に、被写体の特徴部分（図６の実施例では、顔）の一部しか収まらないときには、基準計測枠Ｄを適宜変更することで、図６（Ｂ）に示すように、基準計測枠Ｄ内に、被写体の特徴部分全体がほぼ収まるようにすることができる。
【００７１】
基準計測枠Ｄ内に、被写体の特徴部分の一部しか収まらないときは、広いレンジの輝度についての被写体データを得ることが困難であるが、基準計測枠Ｄ内に、被写体の特徴部分全体がほぼ収まるときには、広いレンジの輝度についての被写体データを得ることができる。
【００７２】
なお、第２の方法によれば、被写体の特徴部分が、複数存在する場合には、各特徴部分が収まるように、基準計測枠Ｄを順次移動し、これにより、各特徴部分に対応する画像データを、被写体データとして記憶するようにすることも可能である。
【００７３】
第３の方法では、まず、図７（Ａ）に示すように、従来の場合と同様にして、被写体の設定操作がされたときに撮像された画像の中の基準計測枠Ｄ内にある画像データにのみ基づいて、被写体モデルが生成される（以下、適宜、このようにして生成された被写体モデルを、初期被写体モデルという）。そして、同じく被写体の設定操作がされたときに撮像された画像を構成する画素から、初期被写体モデルに適合するもの（初期被写体モデルを生成するのに用いたものを含む）が検出され、その画素の画素値が、被写体データとして記憶される。
【００７４】
この場合、例えば図７（Ｂ）に黒塗りで示すように、被写体の特徴部分（図７の実施例では、顔）のほぼ全体を構成する画素の画素値が得られるので、第２の方法における場合と同様に、広いレンジの輝度についての被写体データを得ることができる。
【００７５】
なお、被写体データは、以上の第１乃至第３の方法のうちの２以上を組み合わせて得るようにすることが可能である。即ち、例えば第１および第２の方法を組合せ、変更後の基準計測枠Ｄ内の画像データを、所定の時間に亘って記憶するようにしたりすることなどが可能である。
【００７６】
図８のフローチャートは、第１の方法による被写体データ記憶処理の詳細を示している。この場合、まず最初に、ステップＳ３１において、基準計測枠Ｄ内の画像データが記憶される。即ち、ステップＳ２１（図４）において、設定操作が行われたと判定された場合、ステップＳ３１では、被写体処理部２１により画像メモリ１０に記憶された画像データのうち、基準計測枠Ｄ内にあるものが読み出され、被写体データとして、被写体データ記憶部２３に記憶される。その後、ステップＳ３２に進み、設定操作が行われてから所定の時間が経過したかどうかが、被写体処理部２１によって判定される。
【００７７】
ステップＳ３２において、設定操作が行われてから所定の時間が経過していないと判定された場合、ステップＳ３１に戻る。この場合、ユーザは、被写体に異なる姿勢をとらせることで、前回のステップＳ３１の処理で記憶された画像データとは異なる輝度を有する画像データを、被写体データとして記憶させることができる。
【００７８】
一方、ステップＳ３２において、設定操作が行われてから所定の時間が経過したと判定された場合、処理（被写体データ記憶処理）を終了する。
【００７９】
図９のフローチャートも、第１の方法による被写体データ記憶処理の詳細を示している。但し、図８における場合は、設定操作がされた後、レンズブロック１が所定の時間内に出力する画像の基準計測枠Ｄ内の画像データを記憶するようになされていたが、図９における場合は、設定操作がされた後、レンズブロック１が出力する画像の基準計測枠Ｄ内の画像データを、あるレンジの輝度が得られるまで記憶するようになされている。
【００８０】
即ち、この場合、ステップＳ３６において、図８のステップＳ３１における場合と同様に、基準計測枠Ｄ内にある画像データが、被写体データとして、被写体データ記憶部２３に記憶される。そして、ステップＳ３７に進み、所定のレンジの輝度についての画像データが被写体データ記憶部２３に記憶されたかどうかが、被写体処理部２１によって判定される。ステップＳ３７において、所定のレンジの輝度についての画像データが被写体データ記憶部２３に記憶されていないと判定された場合、ステップＳ３６に戻る。
【００８１】
この場合も、ユーザは、被写体に異なる姿勢をとらせることで、前回のステップＳ３６の処理で記憶された画像データとは異なる輝度を有する画像データを、被写体データとして記憶させることができる。
【００８２】
一方、ステップＳ３７において、所定のレンジの輝度についての画像データが被写体データ記憶部２３に記憶されたと判定された場合、処理（被写体データ記憶処理）を終了する。
【００８３】
図１０のフローチャートは、第２の方法による被写体データ記憶処理の詳細を示している。この場合、まず最初に、ステップＳ４１において、被写体設定部２６が被写体の設定を終了するように操作されたか否かが、被写体処理部２１によって判定される（以下、適宜、このような操作を設定終了操作という）。ステップＳ４１において、設定終了操作が行われていないと判定された場合、ステップＳ４２に進み、被写体設定部２６が、基準計測枠Ｄを変更するように操作されたか否かが、被写体処理部２１によって判定される（以下、適宜、このような操作を変更操作という）。ステップＳ４２において、変更操作が行われていないと判定された場合、ステップＳ４３をスキップして、ステップＳ４１に戻る。
【００８４】
また、ステップＳ４２において、変更操作が行われたと判定された場合、ステップＳ４３に進み、基準計測枠Ｄの大きさまたは位置が、その変更操作に対応して変更され、ステップＳ４１に戻る。即ち、この場合、被写体処理部２１では、被写体設定部２６の変更操作に対応して、表示制御部２５が制御され、これにより、表示制御部２５において、基準計測枠Ｄの大きさまたは位置が変更される。
【００８５】
一方、ステップＳ４１において、設定終了操作が行われたと判定された場合、ステップＳ４４に進み、図８のステップＳ３１における場合と同様にして、基準計測枠Ｄ内の画像データが、被写体データとして、被写体データ記憶部２３に記憶され、処理（被写体データ記憶処理）を終了する。従って、この場合、基準計測枠Ｄが変更されたときには、その変更後の基準計測枠Ｄ内にある画像データが、被写体データとして記憶される。
【００８６】
図１１のフローチャートは、第３の方法による被写体データ記憶処理の詳細を示している。この場合、ステップＳ５１において、図８のステップＳ３１における場合と同様にして、基準計測枠Ｄ内の画像データが、被写体データとして、被写体データ記憶部２３に記憶され、ステップＳ５２に進み、ステップＳ５１で被写体データ記憶部２３に記憶された被写体データのみを用いて、被写体モデル（初期被写体モデル）が、被写体処理部２１によって生成される。
【００８７】
即ち、被写体が基準計測枠Ｄ内に含まれるようにパンチルトが行われ、設定操作がされたときに基準計測枠Ｄ内にあり、ステップＳ５１で被写体データ記憶部２３に記憶された画像データとしての輝度信号Ｙijおよび色差信号Ｒij，Ｂijの組（Ｙij，Ｒij，Ｂij）で表される点の集合は、この被写体自身を表すため、この点の集合から、初期被写体モデルが生成される。但し、点（Ｙij，Ｒij，Ｂij）の集合にはノイズが含まれ、また、この点（Ｙij，Ｒij，Ｂij）の集合は、被写体を表す代表的な点の集合に過ぎない。
【００８８】
そこで、点（Ｙij，Ｒij，Ｂij）の集合に、いわば幅を持たせるため（点（Ｙij，Ｒij，Ｂij）の集合のいずれもと一致しない被写体を構成する画素を検出することができるように許容誤差を認めるため）、点（Ｙij，Ｒij，Ｂij）の集合に基づいて、点（Ｙij，ＨＲij，ＬＲij）および（Ｙij，ＨＢij，ＬＢij）の集合が求められる。
【００８９】
但し、ＨＲij，ＬＲij，ＨＢij，ＬＢijは、それぞれ次式にしたがって計算される。
ＨＲij＝１．１×Ｒij
ＬＲij＝０．９×Ｒij
ＨＢij＝１．１×Ｂij
ＬＢij＝０．９×Ｂij
【００９０】
なお、上式においては、許容誤差を１０％（±１０％）に設定（１＋０．１と、１−０．１）してあるが、許容誤差は、１０％に限定されるものではない。
【００９１】
ここで、図１２（Ａ）に、ＹまたはＲをそれぞれ横軸または縦軸として、点（Ｙij，ＨＲij）および（Ｙij，ＬＲij）をプロットしたものを、また、図１２（Ｂ）に、ＹまたはＢをそれぞれ横軸または縦軸として、点（Ｙij，ＨＢij）および（Ｙij，ＬＢij）をプロットしたものを、それぞれ示す。なお、図１２の実施例では、ＲおよびＢを表す値として、−１２８乃至１２７の範囲の値（上述したように８ビット）が割り当てられている。
【００９２】
点（Ｙij，ＨＲij，ＬＲij）および（Ｙij，ＨＢij，ＬＢij）の集合が求められた後は、Ｙを引数として、ＲまたはＢそれぞれを、例えば２次関数で近似した初期被写体モデルが求められる。
【００９３】
ここで、本実施例では、異なる被写体について、ある程度近似した形の初期被写体モデル（２次関数）が得られるように、２次関数のＹ切片（初期被写体モデルである２次関数がＹ軸と交わる点）が、被写体の色相によって決められている。
【００９４】
即ち、被写体処理部２１は、被写体の色相と、２次関数のＹ切片とを対応付けて記憶しており、ＲijおよびＢijから、被写体の色相（例えば、その平均値など）を計算し、その色相に対応付けられているＹ切片を用いて、初期被写体モデルを求めるようになされている。
【００９５】
具体的には、いま設定された被写体の色相に対応付けられているＹ切片が、Ｙ−Ｒ座標系については、図１２（Ａ）に示すように、ＲlowおよびＲhighであり（但し、Ｒlow＜Ｒhighとする）、Ｙ−Ｂ座標系については、図１２（Ｂ）に示すように、ＢlowおよびＢhighであるとき（但し、Ｂlow＜Ｂhighとする）、次式で示される初期被写体モデルとしての２次関数ＨＦｒ（Ｙ）（Ｙに関するＲの特徴モデル），ＨＦｂ（Ｙ）（Ｙに関するＢの特徴モデル），ＬＦｒ（Ｙ）（Ｙに関するＲの特徴モデル），ＬＦｂ（Ｙ）（Ｙに関するＢの特徴モデル）それぞれを決める定数Ａ０，Ａ１，Ａ２，Ａ３が算出される。
【００９６】
ＨＦｒ（Ｙ）＝Ａ０×（Ｙ−Ｒlow）×（Ｙ−Ｒhigh）
ＨＦｂ（Ｙ）＝Ａ１×（Ｙ−Ｂlow）×（Ｙ−Ｂhigh）
ＬＦｒ（Ｙ）＝Ａ２×（Ｙ−Ｒlow）×（Ｙ−Ｒhigh）
ＬＦｂ（Ｙ）＝Ａ３×（Ｙ−Ｂlow）×（Ｙ−Ｂhigh）
【００９７】
但し、定数Ａ０乃至Ａ３は、点（Ｙij，ＨＲij）、（Ｙij，ＨＢij）、（Ｙij，ＬＲij）、または（Ｙij，ＬＢij）それぞれの集合を用い、例えば最小自乗法によって求められる。
【００９８】
図１２に示したような点（Ｙij，ＨＲij），（Ｙij，ＨＢij），（Ｙij，ＬＲij）、または（Ｙij，ＬＢij）それぞれの集合から得られる２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、またはＬＦｂ（Ｙ）を、同じく図１２に示す。
【００９９】
なお、本実施例では、２次関数ＨＦｒ（Ｙ）およびＬＦｒ（Ｙ）の頂点は、Ｙ＝（Ｒlow＋Ｒhigh）／２の直線上に位置するようになされており、また、２次関数ＨＦｂ（Ｙ）およびＬＦｂ（Ｙ）の頂点は、Ｙ＝（Ｂlow＋Ｂhigh）／２の直線上に位置するようになされている。さらに、図１２の実施例では、（Ｒlow＋Ｒhigh）／２および（Ｂlow＋Ｂhigh）／２は、いずれも２５５とされている。従って、図１２の実施例の場合、２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、およびＬＦｂ（Ｙ）は、いずれもＹ＝２５５に対して線対称となっている。
【０１００】
また、本実施例においては、輝度信号Ｙを表す値として、０乃至２５５の範囲の値（上述したように８ビット）が割り当てられている。このため、Ｙ＞２５５の範囲の輝度信号Ｙは用いる必要がないので、図１２においては、２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、およびＬＦｂ（Ｙ）のうちのＹ＞２５５の範囲を点線で表してある。
【０１０１】
被写体処理部２１は、ステップＳ５２において、以上のようにして初期被写体モデルとしての２次関数を規定する定数Ａ０乃至Ａ３を求め、この定数Ａ０乃至Ａ３と、上述のＹ切片Ｒlow，Ｒhigh，Ｂlow，Ｂhighを、モデル記憶部２２の初期モデル記憶部２２Ａに記憶させる。
【０１０２】
以上のようにして、初期被写体モデルが生成された後は、被写体処理部２１は、ステップＳ５３において、画像メモリ１０に記憶された画像を構成する各画素の画像データを読み出し、その中から、初期被写体モデルに適合するものを検出して、被写体データ記憶部２３に記憶させる。
【０１０３】
即ち、ステップＳ５３では、画像メモリ１０に記憶された画像を構成する各画素のうち、その輝度Ｙijと、色差信号ＲijまたはＢijそれぞれとが、次の２つの式の両方を満足するものが検出される。
【０１０４】
ＬＦｒ（Ｙij）＜Ｒij＜ＨＦｒ（Ｙij）
ＬＦｂ（Ｙij）＜Ｂij＜ＨＦｂ（Ｙij）
なお、２次関数ＬＦｒ（Ｙij），ＨＦｒ（Ｙij），ＬＦｂ（Ｙij）、およびＨＦｂ（Ｙij）は、ステップＳ５２で初期モデル記憶部２２Ａに記憶された初期被写体モデル（定数Ａ０乃至Ａ３、およびＹ切片Ｒlow，Ｒhigh，Ｂlow，Ｂhigh）により規定されるものである。
【０１０５】
ステップＳ５３では、上式を満たす画素、即ち、図１２（Ａ）に示した２つの２次関数ＬＦｒ（Ｙij）とＨＦｒ（Ｙij）との間にプロットされ、かつ図１２（Ｂ）に示した２つの２次関数ＬＦｂ（Ｙij）とＨＦｂ（Ｙij）との間にプロットされる画素が、被写体を構成する画素として検出され、その輝度Ｙijと、色差信号Ｒij，Ｂijとが、被写体データとして、被写体データ記憶部２３に記憶され、処理（被写体データ記憶処理）を終了する。
【０１０６】
被写体データ記憶処理が終了した後は、上述したように、ステップＳ２２からステップＳ２３に進み（図４）、被写体モデル生成処理が行われる。これにより、従来より広いレンジの、例えば輝度についての、被写体に対応する画像データに基づいて被写体モデルを生成することが可能となるので、被写体の検出性能の劣化を防止する（被写体の検出性能を向上させる）ことができる。
【０１０７】
図１３のフローチャートは、被写体モデル生成処理の詳細を示している。被写体モデル生成処理では、まず最初に、ステップＳ６１において、被写体処理部２１によって、被写体データ記憶部２３に記憶された被写体データの中から、被写体外データが検出されて除去される。
【０１０８】
即ち、ステップＳ６１では、被写体データ記憶部２３に被写体データが記憶された画素の中から、その輝度（第１の画素値）Ｙに対する色差信号（第２の画素値）ＲまたはＹの分散が所定の閾値より大きいもの（以下、適宜、高分散画素という）が検出される。そして、この高分散画素の被写体データＹ，Ｒ，Ｂが、被写体外データとされ、被写体データ記憶部２３から除去される。
【０１０９】
ここで、図１４（Ａ）に、図１２（Ａ）における場合と同様に、ＹまたはＲをそれぞれ横軸または縦軸として、被写体データで構成される点（Ｙij，Ｒij）をプロットしたものを、また、図１４（Ｂ）に、図１２（Ｂ）における場合と同様に、ＹまたはＢをそれぞれ横軸または縦軸として、被写体データで構成される点（Ｙij，Ｂij）をプロットしたものを、それぞれ示す。
【０１１０】
ステップＳ６１では、図１４に示した点のうち、縦軸方向（ＲまたはＢ軸方向）に、ある程度以上の広がりを有する輝度を持つ被写体データ、即ち、同図において点線で示す範囲内にある被写体外データが除去される。
【０１１１】
このように、ある輝度（ある量子化レベルの輝度）を有する画素に注目した場合に、そのような輝度を有する画素の色差信号の分散が、所定の閾値より大きいときには、そのような輝度を有する画素（高分散画素）には、被写体を構成しない画素が多く含まれていると考えられる。そこで、このような高分散画素の画像データ（被写体外データ）については、被写体モデルを生成するための被写体データから除外することで、被写体に、より対応した被写体モデルを生成することができる。
【０１１２】
ステップＳ６１の処理後は、ステップＳ６２に進み、被写体処理部２１によって、被写体データ記憶部２３に記憶された被写体データの中から、高輝度データが検出されて除去される。
【０１１３】
即ち、ステップＳ６２では、被写体データ記憶部２３に被写体データが記憶された画素の中から、その輝度（第１の画素値）Ｙが所定の閾値より大きいもの（以下、適宜、高画素値画素という）が検出される。そして、この高画素値画素の被写体データＹ，Ｒ，Ｂが、高輝度データとされ、被写体データ記憶部２３から除去される。
【０１１４】
ここで、Ｙ−Ｒ平面上における高画素値画素を検出する場合の所定の閾値は、被写体処理部２１において、例えば次のようにして決定される。即ち、被写体データ記憶部２３に記憶された被写体データから、色差信号（第２の画素値）Ｒのピーク値（絶対値が最も大きい値）が検出され、その色差信号（第２の画素値）Ｒのピーク値を有する画素の輝度（第１の画素値）Ｙが、所定の閾値とされる。
【０１１５】
従って、Ｙ−Ｒ平面においては、図１４（Ａ）に示す、ピーク値Ｒｐを有する点より右方向にプロットされている点（同図において、実線で囲む範囲にある点）に対応する画素の被写体データは、高輝度データとして除去される。
【０１１６】
Ｙ−Ｂ平面についても同様で、図１４（Ｂ）に示す、ピーク値Ｂｐを有する点より右方向にプロットされている点（同図において、実線で囲む範囲にある点）に対応する画素の被写体データは、高輝度データとして除去される。
【０１１７】
所定の輝度より高い輝度を有する部分は、例えば照明の鏡面反射による照明色であると考えられるため、このような高画素値画素の画像データ（高輝度データ）については、被写体モデルを生成するための被写体データから除外することで、被写体に、より対応した被写体モデルを生成することができる。
【０１１８】
被写体データ記憶部２３から高輝度データを除去した後は、ステップＳ６３に進み、被写体処理部２１において、被写体器データ記憶部２３に記憶された被写体データを近似する近似式としての、例えば２次関数が算出される。
【０１１９】
即ち、ステップＳ６３では、被写体データＹ，Ｒ，Ｂについて、初期被写体モデルを生成する場合と同様に、被写体データＹを引数として、ＲまたはＢそれぞれを近似する２次関数Ｆｒ（Ｙ）またはＦｂ（Ｙ）が、例えば最小自乗法などによって求められる。
【０１２０】
ここで、２次関数Ｆｒ（Ｙ）またはＦｂ（Ｙ）は、例えば、それぞれ次式で表されるものである。
Ｆｒ（Ｙ）＝Ａ４×（Ｙ−Ｒlow）×（Ｙ−Ｒhigh）
Ｆｂ（Ｙ）＝Ａ５×（Ｙ−Ｂlow）×（Ｙ−Ｂhigh）
【０１２１】
また、ステップＳ６３では、輝度Ｙのダイナミックレンジ（本実施例では、上述したように０乃至２５５）を有効に利用することができるように、２次関数Ｆｒ（Ｙ）のＹ切片ＲlowまたはＲhighが、それぞれ０または２５５付近の値とされるようになされている。
【０１２２】
即ち、ステップＳ６３においては、図１５（Ａ）に示すように、Ｙ切片ＲlowまたはＲhighを、それぞれ０または２５５を中心として、±αまたは±βの範囲で、所定の幅で変化させ、そのように変化させたＲlowとＲhighの組すべてについて、最小自乗法により、自乗誤差の総和を最小にする定数Ａ４が算出される。そして、このようにして求められたＡ４，Ｒlow、およびＲhighにより規定される２次関数のうち、自乗誤差の総和が最小のものが、被写体データを最も精度良く近似する近似式として求められる。
【０１２３】
ここで、図１５（Ａ）においては、Ｙ切片ＲlowおよびＲhighと、それぞれを変化させて得られるＡ４とで規定される２次関数を、点線で示してあり、そのような２次関数の中で、自乗誤差の総和が最小のものを、実線で示してある。
【０１２４】
ステップＳ６３では、２次関数Ｆｂ（Ｙ）についても同様にして、被写体データを最も精度良く近似するためのＡ５，Ｂlow、およびＢhighが求められる。ここで、図１５（Ｂ）に、Ｙ切片ＢlowおよびＢhighと、それぞれを変化させて得られるＡ５とで規定される２次関数を点線で、そのような２次関数のうち、自乗誤差の総和が最小のものを実線で、それぞれ示す。
【０１２５】
なお、図１５の実施例では、Ｒlow（Ｂlowも同様）は、０±αの範囲を、０を中心としてα／２の幅で変化させ、また、Ｒhigh（Ｂhighの同様）は、２５５±βの範囲を、２５５を中心としてβの幅で変化させるようにしている（但し、変化させる幅は、これに限定されるものではない）。
【０１２６】
ステップＳ６３で近似式を算出した後は、ステップＳ６４に進み、被写体処理部２１において、被写体の検出に用いる最終的な被写体モデルが生成される。即ち、ステップＳ６４では、２次関数Ｆｒ（Ｙ）に対する許容誤差が、例えば１０％（±１０％）の２次関数ＨＦｒ１（Ｙ）およびＬＦｒ１（Ｙ）が、次式にしたがって求められる。
【０１２７】
【０１２８】
ここで、２次関数Ｆｒ（Ｙ）、ＨＦｒ１（Ｙ）、およびＬＦｒ１（Ｙ）を、図１６（Ａ）に示す。
【０１２９】
同様に、ステップＳ６４では、２次関数Ｆｂ（Ｙ）に対する許容誤差が１０％（±１０％）の２次関数ＨＦｂ１（Ｙ）およびＬＦｂ１（Ｙ）が、次式にしたがって求められる。
【０１３０】
【０１３１】
ここで、２次関数Ｆｂ（Ｙ）、ＨＦｂ１（Ｙ）、およびＬＦｂ１（Ｙ）を、図１６（Ｂ）に示す。
【０１３２】
被写体処理部２１は、ステップＳ６４において、以上のようにして被写体モデルとしての２次関数を規定する定数１．１×Ａ４，０．９×Ａ４，１．１×Ａ５、および０．９×Ａ５、並びにＹ切片Ｒlow，Ｒhigh，Ｂlow、およびＢhighを求めた後、モデル記憶部２２の最終モデル記憶部２２Ｂに記憶させ、処理（被写体モデル生成処理）を終了する。
【０１３３】
なお、定数１．１×Ａ４，０．９×Ａ４，１．１×Ａ５、および０．９×Ａ５については、これらをすべて記憶させるのではなく、定数Ａ４およびＡ５だけを記憶させるようにし、後述するステップＳ２４（図４）の処理を行うときに、Ａ４またはＡ５それぞれを、１．１，０．９倍して用いるようにしても良い。
【０１３４】
図４に戻り、以上のようにして、被写体モデルが生成された後は、被写体処理部２１は、ステップＳ２４において、被写体画素選択処理を行い、その処理結果に基づいて、レンズブロック１から出力された画像の中に被写体が存在するかどうかを、ステップＳ２５において判定する。
【０１３５】
即ち、ステップＳ２５では、レンズブロック１で撮像され、画像メモリ１０に記憶された画像を構成する各画素のうち、その輝度Ｙijと、色差信号ＲijまたはＢijそれぞれとが、次の２つの式の両方を満足するものが検出される。
【０１３６】
ＬＦｒ１（Ｙij）＜Ｒij＜ＨＦｒ１（Ｙij）
ＬＦｂ１（Ｙij）＜Ｂij＜ＨＦｂ１（Ｙij）
なお、２次関数ＬＦｒ１（Ｙij），ＨＦｒ１（Ｙij），ＬＦｂ１（Ｙij）、およびＨＦｂ１（Ｙij）は、ステップＳ２３で最終モデル記憶部２２Ｂに記憶された被写体モデル（定数１．１×Ａ４，０．９×Ａ４，１．１×Ａ５、および０．９×Ａ５、並びにＹ切片Ｒlow，Ｒhigh，Ｂlow、およびＢhigh）により規定されるものである。
【０１３７】
ステップＳ２４では、上式を満たす画素、即ち、図１６（Ａ）に示した２つの２次関数ＬＦｒ１（Ｙij）とＨＦｒ１（Ｙij）との間にプロットされ、かつ図１６（Ｂ）に示した２つの２次関数ＬＦｂ１（Ｙij）とＨＦｂ１（Ｙij）との間にプロットされる画素が、被写体を構成する画素（以下、適宜、被写体構成画素という）として検出される。
【０１３８】
その後、ステップＳ２５に進み、レンズブロック１で撮像され、画像メモリ１０に記憶された画像の中に、被写体が存在するかどうかが判定される。即ち、ステップＳ２５では、ステップＳ２４で検出された被写体構成画素の総数が、所定の閾値γと比較される。そして、被写体構成画素数が所定の閾値γより多い場合、または被写体構成画素数が所定の閾値γ以下である場合、ステップＳ２５では、それぞれ、画像メモリ１０に記憶された画像の中に、被写体が存在する、または存在しないと判定される。
【０１３９】
ステップＳ２５において、被写体が存在すると判定された場合、ステップＳ２６に進み、被写体の位置が、被写体処理部２１によって検出される。
【０１４０】
即ち、例えば、ステップＳ２４で、図１７（Ａ）に影を付して示すように、被写体構成画素が検出され、さらに、ステップＳ２５において、被写体が存在すると判定された場合には、ステップＳ２６では、ステップＳ２４で検出された被写体構成画素のうち、その被写体構成画素で構成される領域の周辺にある、いわばノイズ的なものを除去するために、被写体構成画素で構成される領域に対してフィルタリング処理が施される。これにより、図１７（Ａ）に示す被写体構成画素は、図１７（Ｂ）に示すようにされる。そして、ステップＳ２６では、フィルタリングの結果得られた被写体構成画素の集合の、例えば重心（例えば、水平方向または垂直方向をそれぞれｘ軸またはｙ軸とするｘｙ平面上の重心）（図１７（Ｂ）において、×印で示す部分）が求められ、これが、被写体の位置とされる。
【０１４１】
その後、ステップＳ２７に進み、被写体処理部２１において、例えば、図１７（Ｂ）に太線で示すように、フィルタリングの結果得られた被写体構成画素の集合を囲む枠（被写体枠）を表示するように、表示制御部２５が制御される。これに対応して、表示制御部２５では、レンズブロック１で撮像された画像に、被写体枠がスーパインポーズして表示されるように、モニタ１４が制御される。
【０１４２】
即ち、モニタ１４の表示画面に、例えば図１８（Ａ）に白抜きで示すような被写体枠を表示させる場合には、表示制御部２５において、同図（Ｂ）に示すようなパルス（枠パルス）が生成される。なお、図１８（Ｂ）は、同図（Ａ）のＡＡ’で示す水平走査線に、被写体枠を表示させるための枠パルスを示している。
【０１４３】
そして、表示制御部２５は、レンズブロック１で撮像された画像の、対応する水平走査線に、図１８（Ｃ）に示すように、枠パルスを重畳する。これにより、モニタ１４には、レンズブロック１で撮像された画像に、被写体枠がスーパインポーズされて表示される。
【０１４４】
その後、ステップＳ２８に進み、被写体処理部２１において、ステップＳ２６で検出された被写体の位置が、モニタ１４の表示画面（レンズブロック１から出力される画像）の中央の位置に一致するように、モータ駆動部２４が制御される。これに対応して、モータ駆動部２４では、パンモータ１２、チルトモータ１３が回転駆動され、これにより、被写体が、モニタの表示画面の中央に引き込まれるように、レンズブロック１がパンチルトされ、処理（被写体追尾処理）を終了する。
【０１４５】
以上のようにして、被写体の自動追尾が行われる。
【０１４６】
一方、ステップＳ２５において、被写体が存在しないと判定された場合、即ち、被写体を見失った場合（レンズブロック１から出力される画像の中から被写体を抽出（検出）することができなかった場合）、例えば、被写体が存在する方向が予測され、さらに、そのような方向に、レンズブロック１がパンチルトされた後、ステップＳ２４に戻る。あるいは、また、ユーザによって、被写体が存在する方向に、レンズブロック１が、手動でパンチルトされ、ステップＳ２４に戻る。
【０１４７】
なお、本実施例では、被写体モデルの生成および被写体の検出を行うにあたって、３色表色系の１つである輝度信号および色差信号を用いるようにしたが、その他、例えばＲＧＢ表色系や、Ｌａｂ表色系、Ｌｕｖ表色系、ＸＹＺ表色系などを用いるようにすることも可能である。
【０１４８】
さらに、本実施例では、追尾すべき被写体を２次関数で近似するようにしたが、即ち、被写体モデルとして２次関数を用いるようにしたが、被写体モデルとしては、その他の関数などを用いることが可能である。
【０１４９】
【発明の効果】
請求項１に記載の被写体検出装置および請求項４に記載の被写体検出方法によれば、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして被写体が設定され、設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素が検出され、設定された被写体の画像データから、検出された高分散画素を除いたものに基づいて、設定された被写体の被写体モデルが生成され、生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体が検出される。
請求項５に記載の被写体検出装置および請求項６記載の被写体検出方法によれば、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして被写体が設定され、設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素が検出され、設定された被写体の画像データから、検出された高画素値画素を除いたものに基づいて、設定された被写体の被写体モデルが生成され、生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体が検出される。
従って、被写体を構成する画素として適当でないものを除いて、被写体モデルが生成されるので、被写体の検出性能の劣化を防止する（被写体の検出性能を向上させる）ことができる。
【図面の簡単な説明】
【図１】本発明を適用したビデオカメラシステムの一実施例の構成を示すブロック図である。
【図２】図１の追尾信号処理回路１１の構成例を示すブロック図である。
【図３】図１のビデオカメラシステムの動作を説明するためのフローチャートである。
【図４】図１の被写体認識回路部９の動作を説明するためのフローチャートである。
【図５】第１の方法による被写体データ記憶処理を説明するための図である。
【図６】第２の方法による被写体データ記憶処理を説明するための図である。
【図７】第３の方法による被写体データ記憶処理を説明するための図である。
【図８】図４のステップＳ２２の処理の詳細を説明するためのフローチャートである。
【図９】図４のステップＳ２２の処理の詳細を説明するためのフローチャートである。
【図１０】図４のステップＳ２２の処理の詳細を説明するためのフローチャートである。
【図１１】図４のステップＳ２２の処理の詳細を説明するためのフローチャートである。
【図１２】初期被写体モデルの生成方法を説明するための図である。
【図１３】図４のステップＳ２３の処理の詳細を説明するためのフローチャートである。
【図１４】図１３のステップＳ６１およびＳ６２の処理を説明するための図である。
【図１５】図１３のステップＳ６３の処理を説明するための図である。
【図１６】被写体モデルの生成方法を説明するための図である。
【図１７】図４のステップＳ２６の処理を説明するための図である。
【図１８】被写体枠の表示について説明するための図である。
【符号の説明】
１ レンズブロック， ９ 被写体認識回路部， １０ 画像メモリ， １１追尾信号処理回路， １２ パンモータ， １３ チルトモータ， １４ モニタ， ２１ 被写体処理部， ２２ モデル記憶部， ２２Ａ 初期モデル記憶部， ２２Ｂ 最終モデル記憶部， ２３ 被写体データ記憶部， ２４ モータ駆動部， ２５ 表示制御部， ２６ 被写体設定部
【発明の属する技術分野】
本発明は、被写体検出装置および被写体検出方法に関する。特に、例えば監視カメラや、テレビ会議システム、その他、被写体を自動追尾するビデオカメラなどに用いて好適な被写体検出装置および被写体検出方法に関する。
【０００２】
【従来の技術】
従来より、パン駆動機構およびチルト駆動機構を用いて、例えば表示画面の中央部に、追尾対象である被写体を表示させるように自動追尾を行うビデオカメラが提案されている。
【０００３】
即ち、このようなビデオカメラにおいては、例えば表示画面（ビデオカメラにより撮像される画像）の所定の位置（例えば、表示画面の中央部など）に、所定の大きさの基準計測枠が設けられ、まず、その基準計測枠に、追尾対象の被写体が含まれるように撮像が行われて記憶される（自動追尾する被写体が設定される）。その後、ビデオカメラにより撮像された画像から、記憶された被写体が検出され、被写体を検出することができた場合には、その被写体が、表示画面の中央部に表示されるように、パンニングおよびチルティングが行われる。
【０００４】
なお、追尾すべき被写体の設定は、その被写体が、基準計測枠に含まれている状態において、その被写体を追尾対象として設定するように操作（例えば、所定のボタンの操作）がなされることで行われる。この場合、ビデオカメラでは、基準計測枠内の画素すべての画素値（画像データ）や、その画素の中のいずれか１つの画素値などに基づいて、被写体の特徴を表す被写体モデルが生成される。そして、ビデオカメラにより撮像された画像の中からの被写体の検出（抽出）（認識）は、この被写体モデルに基づいて行われる。
【０００５】
このような自動追尾を行うビデオカメラは、例えば監視カメラや、話者を自動追尾する話者自動追尾型テレビ会議システムなどに適用することができ、さらに、セキュリティシステムの無人化や、いわゆるハンズフリー撮影などを行うのに有効な手段である。
【０００６】
【発明が解決しようとする課題】
ところで、従来のビデオカメラでは、被写体モデルの生成は、所定の状態にある被写体に対応する画像データに基づいて行われる。このため、被写体の追尾中に、その被写体の姿勢その他の状態が変化した場合、撮像される被写体の輝度などが、被写体モデルの生成時とは異なるものとなることがあり、これにより、被写体の検出性能（認識性能）が劣化する課題があった。
【０００７】
そこで、この劣化を低減する方法として、被写体に種々の姿勢をとらせ、そのような種々の姿勢ごとの被写体モデルを生成することを、ある程度の検出性能が得られるまで繰り返す方法がある。しかしながら、この方法では、被写体モデルの生成を、何度も繰り返し行わなければならず、また、ユーザは、生成された被写体モデルによる検出性能を確認する必要があり、面倒であった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、被写体の検出性能を、容易に向上させることができるようにするものである。
【０００９】
【課題を解決するための手段】
請求項１に記載の被写体検出装置は、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段と、被写体設定手段により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出する画素検出手段と、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高分散画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成するモデル生成手段と、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出手段とを備えることを特徴とする。
【００１０】
請求項４に記載の被写体検出方法は、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定ステップと、被写体設定ステップの処理により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出する画素検出ステップと、被写体設定ステップの処理により設定された被写体の画像データから、画素検出ステップの処理により検出された高分散画素を除いたものに基づいて、被写体設定ステップの処理により設定された被写体の被写体モデルを生成するモデル生成ステップと、モデル生成ステップの処理により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出ステップとを含むことを特徴とする。
【００１１】
請求項５に記載の被写体検出装置は、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段と、被写体設定手段により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出する画素検出手段と、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高画素値画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成するモデル生成手段と、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出手段とを備えることを特徴とする。
【００１２】
請求項６に記載の被写体検出方法は、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定ステップと、被写体設定ステップの処理により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出する画素検出ステップと、被写体設定ステップの処理により設定された被写体の画像データから、画素検出ステップの処理により検出された高画素値画素を除いたものに基づいて、被写体設定ステップの処理により設定された被写体の被写体モデルを生成するモデル生成ステップと、モデル生成ステップの処理により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出ステップとを含むことを特徴とする。
【００１９】
請求項１に記載の被写体検出装置においては、被写体設定手段は、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定し、画素検出手段は、被写体設定手段により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出し、モデル生成手段は、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高分散画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成し、被写体検出手段は、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出するようになされている。
【００２０】
請求項４に記載の被写体検出方法においては、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定し、設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出し、設定された被写体の画像データから、検出された高分散画素を除いたものに基づいて、設定された被写体の被写体モデルを生成し、生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出するようになされている。
【００２１】
請求項５に記載の被写体検出装置においては、被写体設定手段は、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定し、画素検出手段は、被写体設定手段により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出し、モデル生成手段は、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高画素値画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成し、被写体検出手段は、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出するようになされている。
【００２２】
請求項６に記載の被写体検出方法においては、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定し、設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出し、設定された被写体の画像データから、検出された高画素値画素を除いたものに基づいて、設定された被写体の被写体モデルを生成し、生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出するようになされている。
【００２９】
【発明の実施の形態】
以下に、本発明の実施例を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施例との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施例（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００３０】
即ち、請求項１に記載の被写体検出装置は、ユーザの操作に応じて、検出される被写体を検出する被写体検出装置であって、ユーザの操作に応じて、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段（例えば、図２に示す被写体設定部２６など）と、被写体設定手段により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出する画素検出手段（例えば、図２に示す被写体処理部２１や、図１３に示すプログラムの処理ステップＳ６１など）と、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高分散画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成するモデル生成手段（例えば、図２に示す被写体処理部２１や、図４に示すプログラムの処理ステップＳ２３など）と、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出手段（例えば、図２に示す被写体処理部２１や、図４に示すプログラムの処理ステップＳ２４など）とを備えることを特徴とする。
【００３１】
被写体検出装置には、被写体設定手段により被写体が設定されたときに撮像部より出力される画像の中の所定の範囲内の画像データを記憶する画像データ記憶手段（例えば、図２に示す被写体データ記憶部２３や、図４に示すプログラムの処理ステップＳ２２など）と、所定の範囲を変更する変更手段（例えば、図２に示す被写体設定部２６や、図１０に示すプログラムの処理ステップＳ４２およびＳ４３など）とをさらに設け、モデル生成手段は、画像データ記憶手段に記憶された画像データに基づいて、被写体モデルを生成するようにすることができる。
【００３２】
被写体検出装置には、被写体設定手段により被写体が設定されたときに撮像部より出力される画像の中の所定の範囲内の画像データに基づいて、所定の初期モデルを生成する初期モデル生成手段（例えば、図２に示す被写体処理部２１や、図１１に示すプログラムの処理ステップＳ５２など）と、撮像部より出力される画像データのうち、初期モデル生成手段により生成された初期モデルに適合するものを記憶する画像データ記憶手段（例えば、図２に示す被写体データ記憶部２３や、図１１に示すプログラムの処理ステップＳ５３など）とをさらに設け、モデル生成手段は、画像データ記憶手段に記憶された画像データに基づいて、被写体モデルを生成するようにすることができる。
【００３３】
請求項４に記載の被写体検出方法は、被写体を検出する被写体検出装置の被写体検出方法であって、ユーザの操作に応じて、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像における所定の領域を被写体の画像データとして被写体を設定する被写体設定ステップ（例えば、図４に示すプログラムの処理ステップＳ２１など）と、被写体設定ステップの処理により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出する画素検出ステップ（例えば、図１３に示すプログラムの処理ステップＳ６１など）と、被写体設定ステップの処理により設定された被写体の画像データから、画素検出ステップの処理により検出された高分散画素を除いたものに基づいて、被写体設定ステップの処理により設定された被写体の被写体モデルを生成するモデル生成ステップ（例えば、図１３に示すプログラムの処理ステップＳ６４など）と、モデル生成ステップの処理により生成された被写体モデルに基づいて、被写体より出力された画像から、被写体を検出する被写体検出ステップ（例えば、図４に示すプログラムの処理ステップＳ２６など）とを含むことを特徴とする。
【００３４】
請求項５に記載の被写体検出装置は、被写体を検出する被写体検出装置であって、ユーザの操作に応じて、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段（例えば、図２に示す被写体設定部２６など）と、被写体設定手段により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出する画素検出手段（例えば、図２に示す被写体処理部２１や、図１３に示すプログラムの処理ステップＳ６２など）と、被写体設定手段により設定された被写体の画像データから、画素検出手段により検出された高画素値画素を除いたものに基づいて、被写体設定手段により設定された被写体の被写体モデルを生成するモデル生成手段（例えば、図２に示す被写体処理部２１や、図４に示すプログラムの処理ステップＳ２３など）と、モデル生成手段により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出手段（例えば、図２に示す被写体処理部２１や、図４に示すプログラムの処理ステップＳ２４など）とを備えることを特徴とする。
【００３５】
請求項６に記載の被写体検出方法は、被写体を検出する被写体検出装置の被写体検出方法であって、ユーザの操作に応じて、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像における所定の領域を被写体の画像データとして被写体を設定する被写体設定ステップ（例えば、図４に示すプログラムの処理ステップＳ２１など）と、被写体設定ステップの処理により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出する画素検出ステップ（例えば、図１３に示すプログラムの処理ステップＳ６１など）と、被写体設定ステップの処理により設定された被写体の画像データから、画素検出ステップの処理により検出された高画素値画素を除いたものに基づいて、被写体設定ステップの処理により設定された被写体の被写体モデルを生成するモデル生成ステップ（例えば、図４に示すプログラムの処理ステップＳ２３など）と、モデル生成ステップの処理により生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体を検出する被写体検出ステップ（例えば、図４に示すプログラムの処理ステップＳ２６など）とを含むことを特徴とする。
【００４０】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００４１】
図１は、本発明を適用したビデオカメラシステムの一実施例の構成を示している。レンズブロック１は、レンズ２、アイリス３、およびＣＣＤ（Charge Coupled Device）４から構成され、被写体からの光ＬＡを撮像し、電気信号としての画像信号を出力する。即ち、被写体からの光ＬＡは、レンズ２により、アイリス３を介してＣＣＤ４上に結像され、これにより、ＣＣＤ４からは、その受光量に対応した画像信号が出力される。
【００４２】
なお、アイリス３は、いわゆるオートアイリス（ＡＥ）機構を構成しており、ＣＣＤ４で受光される光量を、適切な値に調整する（レンズブロック１の露光状態を適切な状態にする）ようになされている。
【００４３】
レンズブロック１から出力された画像信号は、信号分離（Ｓ／Ｈ（Sample Hold）／自動利得調整（ＡＧＣ（Automatic Gain Control））回路５において、サンプルホールドされ、さらに、オートアイリス機構からの制御信号によって、所定のゲインを持つように利得制御された後、Ａ／Ｄ変換器６に出力される。
【００４４】
Ａ／Ｄ変換器６は、信号分離／自動利得調整回路５からの画像信号（アナログ信号）を、所定のクロックにしたがってＡ／Ｄ変換することによりディジタルの画像信号にする。なお、Ａ／Ｄ変換器６がＡ／Ｄ変換を行うために用いる基準電圧は、図示せぬオートホワイトバランス（ＡＷＢ）機構から供給されるようになされており、これにより、ホワイトバランスが適正に調整されるようになされている。
【００４５】
ここで、本実施例では、オートアイリス機構およびオートホワイトバランス機構を機能させるようにしたが、オートアイリス機構およびオートホワイトバランス機構を機能させず、固定の露出およびホワイトバランスで、撮像を行うようにすることも可能である。
【００４６】
Ａ／Ｄ変換器６によってディジタル信号とされた画像信号は、ディジタルカメラ処理回路７に供給される。ディジタルカメラ処理回路７は、Ａ／Ｄ変換器６からの画像信号に基づいて、その画像信号に対応する画像を構成する各画素の輝度信号（第１の画素値）Ｙ、並びに色差信号（第２の画素値）Ｒ−Ｙ，Ｂ−Ｙ、およびクロマ信号Ｃを生成する。輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、そこでＤ／Ａ変換された後、モニタ１４に供給される。これにより、モニタ１４では、レンズブロック１で撮像された画像が表示される。
【００４７】
また、ディジタルカメラ処理回路７で生成された輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙは、被写体認識回路部９に供給される。被写体認識回路部９は、ディジタルカメラ処理回路７からの輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙで構成される画像の中から、追尾すべき被写体を検出し、その被写体が、レンズブロック１から出力される画像の、例えば中央部分（所定の基準位置）に表示されるように、パンモータ１２およびチルトモータ１３を駆動する。
【００４８】
即ち、被写体認識回路部９は、フレームメモリ構成の画像メモリ１０と、マイクロプロセッサ構成の追尾信号処理回路１１とで構成される。画像メモリ１０は、追尾信号処理回路１１から書き込み許可信号を受信すると、ディジタルカメラ処理回路７が出力する輝度信号Ｙ、色差信号Ｒ−Ｙ，Ｂ−Ｙそれぞれを、独立に、画素単位で記憶する。
【００４９】
ここで、以下、適宜、色差信号Ｒ−ＹまたはＢ−Ｙを、それぞれＲまたはＢと略記する。また、レンズブロック１が出力する画像の最も左上の画素の位置を原点（０，０）とし、その位置の左または上からそれぞれｉまたはｊ番目の画素の輝度信号Ｙ、色差信号Ｒ，Ｂそれぞれを、以下、適宜、Ｙij，Ｒij，Ｂijとも表す。さらに、以下、適宜、輝度信号Ｙ、色差信号Ｒ，Ｂをまとめて、画像データともいう。
【００５０】
画像メモリ１０は、１フレーム（または１フィールド）分の画像データを記憶すると、読み出し許可信号を、追尾信号処理回路１１に出力する。そして、画像目メモリ１０は、その後、追尾信号処理回路１１が出力するアドレス（上述のｉ，ｊに対応する）を受信すると、そのアドレスに記憶された画像データを、追尾信号処理回路１１に出力する。
【００５１】
追尾信号処理回路１１は、画像メモリ１０から読み出し許可信号を受信すると、被写体の追尾に必要な画像データを、上述したように、画像メモリ１０にアドレス（メモリアドレス）を与えることで読み出し、これにより、レンズブロック１より出力された画像から、追尾すべき被写体を検出する。その後、追尾信号処理回路１１は、書き込み許可信号を、画像メモリ１０に供給し、これにより、画像メモリ１０では、レンズブロック１で撮像された画像が、新たに記憶される（既に記憶されている画像に上書きされる）。その後、画像メモリ１０は、上述したように、読み出し許可信号を出力し、以下、同様にして、画像メモリ１０では、レンズブロック１で撮像された画像が、順次記憶されていく。なお、以上のようにして、画像メモリ１０の記憶内容が書き換えられるのは、追尾すべき被写体の設定が行われた後（後述する図４のステップＳ２２以降の処理が行われる場合）であり、被写体の設定が行われる前（後述する図４のステップＳ２１の処理が繰り返し行われている場合）は、画像メモリ１０の記憶内容は、例えばフレーム周期（またはフィールド周期）で、レンズブロック１が出力する画像に書き換えられていく。
【００５２】
また、追尾信号処理回路１１は、被写体を検出すると、その被写体が、レンズブロック１から出力される画像の中央部分に表示されるように、パンモータ１２およびチルトモータ１３を駆動する。これにより、パンモータ１２またはチルトモータ１３において、レンズブロック１がそれぞれパンニングまたはチルティング駆動され、被写体が、レンズブロック１が出力する画像の中央部分に表示される。
【００５３】
さらに、追尾信号処理回路１１は、被写体を検出した場合、その被写体を囲む枠（以下、適宜、被写体枠という）を、モニタ１４に表示させる。
【００５４】
図２は、追尾信号処理回路１１の機能的な構成例を示している。被写体処理部２１は、上述した書き込み許可信号およびアドレスを画像メモリ１０に出力するとともに、読み出し許可信号および画像データを受信し、モデル記憶部２２および被写体データ記憶部２３を参照しながら、被写体の追尾に必要な処理を行う。さらに、被写体処理部２１では、その処理結果に応じて、モータ駆動部２４および表示制御部２５が制御される。また、被写体処理部２１は、被写体設定部２３により設定される、追尾すべき被写体の特徴を表す被写体モデル（追尾すべき被写体をモデル化したもの）を生成し、モデル記憶部２２に記憶させるようにもなされている。
【００５５】
モデル記憶部２２は、初期モデル記憶部２２Ａおよび最終モデル記憶部２２Ｂから構成される。初期モデル記憶部２２Ａは、後述するような初期被写体モデルを記憶するようになされている。最終モデル記憶部２２Ｂは、最終的に被写体の検出に用いる被写体モデルを記憶するようになされている。
【００５６】
被写体データ記憶部２３は、被写体モデルを生成するのに用いる画像データ（画素値）を記憶するようになされている。
【００５７】
モータ駆動部２４は、被写体処理部２１の制御の下、パンモータ１２およびチルトモータ１３を回転駆動するようになされている。表示制御部２５は、被写体処理部２１の制御の下、モニタ１４の表示を制御するようになされている。
【００５８】
被写体設定部２６は、追尾すべき被写体を設定するときに操作されるようになされている。この被写体設定部２６が被写体を設定するように操作されると（以下、適宜、このような操作を設定操作という）、被写体処理部２１では、後述するようにして、その被写体に対応する被写体モデルが生成されるようになされている。
【００５９】
また、被写体の設定は、レンズブロック１が出力する画像により構成される表示画面に設けられた所定の範囲としての基準計測枠Ｄ（図５乃至図７）内に、被写体が含まれるようにパンニングまたはチルティング（以下、適宜、両方含めてパンチルトという）が行われ、さらに、被写体設定部２６が設定操作されることにより行われるが、このとき用いられる基準計測枠Ｄは、やはり、被写体設定部２６を操作することで変更することができるようになされている。即ち、被写体設定部２６は、被写体を設定するときの他、基準計測枠Ｄの大きさや表示位置を変更するときにも操作される。
【００６０】
なお、基準計測枠Ｄは、被写体処理部２１が表示制御部２５を制御することにより、モニタ１４に表示されるようになされている。
【００６１】
次に、図３のフローチャートを参照して、図１のビデオカメラシステムの画像の撮像処理について説明する。まず最初に、ステップＳ１において、レンズブロック１における露出が適正な状態に制御され、ステップＳ２に進み、被写体からの光ＬＡが、ＣＣＤ４において光電変換されることにより電気信号としての画像信号とされ、ステップＳ３に進む。ステップＳ３では、ＣＣＤ４より出力される画像信号が、信号分離／自動利得調整回路５においてサンプルホールド（信号分離）され、ステップＳ４に進み、そのサンプルホールドされた画像信号が、同じく信号分離／自動利得制御回路５において利得制御され、ステップＳ５に進む。ステップＳ５では、利得制御された画像信号が、Ａ／Ｄ変換器６においてサンプリングされ、さらに所定のビット数（例えば、８ビットなど）に量子化されて、ディジタルカメラ処理回路７に出力される。
【００６２】
ディジタルカメラ処理回路７では、ステップＳ６において、Ａ／Ｄ変換器６からの画像信号に対し、ディジタル信号処理が施され、これにより、その画像信号に対応する画像を構成する各画素の輝度信号Ｙ、並びに色差信号Ｒ，Ｂ、およびクロマ信号Ｃが生成される。そして、上述したように、輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、輝度信号Ｙおよび色差信号Ｒ，Ｂは、被写体認識回路部９に出力される。
【００６３】
その後、ステップＳ７に進み、Ｄ／Ａ変換器８において、ディジタルカメラ処理回路７からの輝度信号Ｙおよびクロマ信号ＣはＤ／Ａ変換され、モニタ１４に供給されて表示される。そして、ステップＳ１に戻り、このステップＳ１からの処理が繰り返される。
【００６４】
次に、図４のフローチャートを参照して、被写体認識回路部９の処理について説明する。被写体認識回路部９では、まず最初に、ステップＳ２１において、被写体処理部２６が設定操作されたかどうかが、被写体処理部２１によって判定される。ステップＳ２１において、被写体処理部２６が設定操作されていないと判定された場合、ステップＳ２１に戻る。また、ステップＳ２１において、被写体処理部２６が設定操作されたと判定された場合、ステップＳ２２，Ｓ２３に順次進み、被写体処理部２１において、被写体データ記憶処理、被写体モデル生成処理が行われる。
【００６５】
ここで、従来においては、ある状態にある被写体に対応する画像データであって、基準計測枠内にあるものにのみ、即ち、被写体の設定操作がされたときに撮像された１フレーム（または１フィールド）の画像の中の固定の基準計測枠内にある画像データにのみ基づいて、被写体モデルの生成が行われるため、追尾中の被写体の姿勢その他の状態が変化することにより、画像の輝度などが変化した場合には、被写体が被写体モデルに適合しなくなり、これにより、前述したように、被写体の検出性能が劣化する。
【００６６】
従って、追尾中の被写体の状態が変化することにより、画像の輝度などが変化しても、被写体が被写体モデルに適合するようにするには、できるだけ広いレンジの輝度についての、被写体に対応する画像データに基づいて被写体モデルを生成するようにすれば良い。
【００６７】
そこで、ステップＳ２２の被写体データ記憶処理では、被写体モデルを生成するための画像データ（以下、適宜、被写体データという）を、できるだけ広いレンジの輝度について記憶するようになされており、ここでは、そのような被写体データを得る方法として、例えば、次のような第１乃至第３の方法が用意されている。なお、この第１乃至第３の方法のうちのいずれを用いるかは、図示せぬ操作部を操作することで、あらかじめ選択することができるようになされている。
【００６８】
即ち、第１の方法では、設定操作がされた後、レンズブロック１が所定の時間（少なくても、１フレーム（または１フィールド）に相当する時間より長い時間）内に出力する画像の基準計測枠Ｄ内の画像データが、被写体データとして記憶される。この場合、図５に示すように、被写体に動いてもらうことで、種々の異なる状態にある被写体に対応する画像データ（異なる輝度の画像データ）を得ることができ、その結果、広いレンジの輝度についての被写体データを得ることができる。
【００６９】
なお、設定操作がされた後、レンズブロック１が所定の時間内に出力する画像の基準計測枠Ｄ内の画像データを記憶する他、例えば、設定操作がされた後、レンズブロック１が出力する画像の基準計測枠Ｄ内の画像データを、あるレンジの輝度が得られるまで記憶することなどによっても、広いレンジの輝度についての被写体データを得ることができる。
【００７０】
第２の方法では、被写体設定部２６を操作することにより、基準計測枠Ｄの位置や大きさが変更され、そのような変更後の基準計測枠Ｄ内の画像データが、被写体データとして記憶される。この場合、図６（Ａ）に示すように、基準計測枠Ｄ内に、被写体の特徴部分（図６の実施例では、顔）の一部しか収まらないときには、基準計測枠Ｄを適宜変更することで、図６（Ｂ）に示すように、基準計測枠Ｄ内に、被写体の特徴部分全体がほぼ収まるようにすることができる。
【００７１】
基準計測枠Ｄ内に、被写体の特徴部分の一部しか収まらないときは、広いレンジの輝度についての被写体データを得ることが困難であるが、基準計測枠Ｄ内に、被写体の特徴部分全体がほぼ収まるときには、広いレンジの輝度についての被写体データを得ることができる。
【００７２】
なお、第２の方法によれば、被写体の特徴部分が、複数存在する場合には、各特徴部分が収まるように、基準計測枠Ｄを順次移動し、これにより、各特徴部分に対応する画像データを、被写体データとして記憶するようにすることも可能である。
【００７３】
第３の方法では、まず、図７（Ａ）に示すように、従来の場合と同様にして、被写体の設定操作がされたときに撮像された画像の中の基準計測枠Ｄ内にある画像データにのみ基づいて、被写体モデルが生成される（以下、適宜、このようにして生成された被写体モデルを、初期被写体モデルという）。そして、同じく被写体の設定操作がされたときに撮像された画像を構成する画素から、初期被写体モデルに適合するもの（初期被写体モデルを生成するのに用いたものを含む）が検出され、その画素の画素値が、被写体データとして記憶される。
【００７４】
この場合、例えば図７（Ｂ）に黒塗りで示すように、被写体の特徴部分（図７の実施例では、顔）のほぼ全体を構成する画素の画素値が得られるので、第２の方法における場合と同様に、広いレンジの輝度についての被写体データを得ることができる。
【００７５】
なお、被写体データは、以上の第１乃至第３の方法のうちの２以上を組み合わせて得るようにすることが可能である。即ち、例えば第１および第２の方法を組合せ、変更後の基準計測枠Ｄ内の画像データを、所定の時間に亘って記憶するようにしたりすることなどが可能である。
【００７６】
図８のフローチャートは、第１の方法による被写体データ記憶処理の詳細を示している。この場合、まず最初に、ステップＳ３１において、基準計測枠Ｄ内の画像データが記憶される。即ち、ステップＳ２１（図４）において、設定操作が行われたと判定された場合、ステップＳ３１では、被写体処理部２１により画像メモリ１０に記憶された画像データのうち、基準計測枠Ｄ内にあるものが読み出され、被写体データとして、被写体データ記憶部２３に記憶される。その後、ステップＳ３２に進み、設定操作が行われてから所定の時間が経過したかどうかが、被写体処理部２１によって判定される。
【００７７】
ステップＳ３２において、設定操作が行われてから所定の時間が経過していないと判定された場合、ステップＳ３１に戻る。この場合、ユーザは、被写体に異なる姿勢をとらせることで、前回のステップＳ３１の処理で記憶された画像データとは異なる輝度を有する画像データを、被写体データとして記憶させることができる。
【００７８】
一方、ステップＳ３２において、設定操作が行われてから所定の時間が経過したと判定された場合、処理（被写体データ記憶処理）を終了する。
【００７９】
図９のフローチャートも、第１の方法による被写体データ記憶処理の詳細を示している。但し、図８における場合は、設定操作がされた後、レンズブロック１が所定の時間内に出力する画像の基準計測枠Ｄ内の画像データを記憶するようになされていたが、図９における場合は、設定操作がされた後、レンズブロック１が出力する画像の基準計測枠Ｄ内の画像データを、あるレンジの輝度が得られるまで記憶するようになされている。
【００８０】
即ち、この場合、ステップＳ３６において、図８のステップＳ３１における場合と同様に、基準計測枠Ｄ内にある画像データが、被写体データとして、被写体データ記憶部２３に記憶される。そして、ステップＳ３７に進み、所定のレンジの輝度についての画像データが被写体データ記憶部２３に記憶されたかどうかが、被写体処理部２１によって判定される。ステップＳ３７において、所定のレンジの輝度についての画像データが被写体データ記憶部２３に記憶されていないと判定された場合、ステップＳ３６に戻る。
【００８１】
この場合も、ユーザは、被写体に異なる姿勢をとらせることで、前回のステップＳ３６の処理で記憶された画像データとは異なる輝度を有する画像データを、被写体データとして記憶させることができる。
【００８２】
一方、ステップＳ３７において、所定のレンジの輝度についての画像データが被写体データ記憶部２３に記憶されたと判定された場合、処理（被写体データ記憶処理）を終了する。
【００８３】
図１０のフローチャートは、第２の方法による被写体データ記憶処理の詳細を示している。この場合、まず最初に、ステップＳ４１において、被写体設定部２６が被写体の設定を終了するように操作されたか否かが、被写体処理部２１によって判定される（以下、適宜、このような操作を設定終了操作という）。ステップＳ４１において、設定終了操作が行われていないと判定された場合、ステップＳ４２に進み、被写体設定部２６が、基準計測枠Ｄを変更するように操作されたか否かが、被写体処理部２１によって判定される（以下、適宜、このような操作を変更操作という）。ステップＳ４２において、変更操作が行われていないと判定された場合、ステップＳ４３をスキップして、ステップＳ４１に戻る。
【００８４】
また、ステップＳ４２において、変更操作が行われたと判定された場合、ステップＳ４３に進み、基準計測枠Ｄの大きさまたは位置が、その変更操作に対応して変更され、ステップＳ４１に戻る。即ち、この場合、被写体処理部２１では、被写体設定部２６の変更操作に対応して、表示制御部２５が制御され、これにより、表示制御部２５において、基準計測枠Ｄの大きさまたは位置が変更される。
【００８５】
一方、ステップＳ４１において、設定終了操作が行われたと判定された場合、ステップＳ４４に進み、図８のステップＳ３１における場合と同様にして、基準計測枠Ｄ内の画像データが、被写体データとして、被写体データ記憶部２３に記憶され、処理（被写体データ記憶処理）を終了する。従って、この場合、基準計測枠Ｄが変更されたときには、その変更後の基準計測枠Ｄ内にある画像データが、被写体データとして記憶される。
【００８６】
図１１のフローチャートは、第３の方法による被写体データ記憶処理の詳細を示している。この場合、ステップＳ５１において、図８のステップＳ３１における場合と同様にして、基準計測枠Ｄ内の画像データが、被写体データとして、被写体データ記憶部２３に記憶され、ステップＳ５２に進み、ステップＳ５１で被写体データ記憶部２３に記憶された被写体データのみを用いて、被写体モデル（初期被写体モデル）が、被写体処理部２１によって生成される。
【００８７】
即ち、被写体が基準計測枠Ｄ内に含まれるようにパンチルトが行われ、設定操作がされたときに基準計測枠Ｄ内にあり、ステップＳ５１で被写体データ記憶部２３に記憶された画像データとしての輝度信号Ｙijおよび色差信号Ｒij，Ｂijの組（Ｙij，Ｒij，Ｂij）で表される点の集合は、この被写体自身を表すため、この点の集合から、初期被写体モデルが生成される。但し、点（Ｙij，Ｒij，Ｂij）の集合にはノイズが含まれ、また、この点（Ｙij，Ｒij，Ｂij）の集合は、被写体を表す代表的な点の集合に過ぎない。
【００８８】
そこで、点（Ｙij，Ｒij，Ｂij）の集合に、いわば幅を持たせるため（点（Ｙij，Ｒij，Ｂij）の集合のいずれもと一致しない被写体を構成する画素を検出することができるように許容誤差を認めるため）、点（Ｙij，Ｒij，Ｂij）の集合に基づいて、点（Ｙij，ＨＲij，ＬＲij）および（Ｙij，ＨＢij，ＬＢij）の集合が求められる。
【００８９】
但し、ＨＲij，ＬＲij，ＨＢij，ＬＢijは、それぞれ次式にしたがって計算される。
ＨＲij＝１．１×Ｒij
ＬＲij＝０．９×Ｒij
ＨＢij＝１．１×Ｂij
ＬＢij＝０．９×Ｂij
【００９０】
なお、上式においては、許容誤差を１０％（±１０％）に設定（１＋０．１と、１−０．１）してあるが、許容誤差は、１０％に限定されるものではない。
【００９１】
ここで、図１２（Ａ）に、ＹまたはＲをそれぞれ横軸または縦軸として、点（Ｙij，ＨＲij）および（Ｙij，ＬＲij）をプロットしたものを、また、図１２（Ｂ）に、ＹまたはＢをそれぞれ横軸または縦軸として、点（Ｙij，ＨＢij）および（Ｙij，ＬＢij）をプロットしたものを、それぞれ示す。なお、図１２の実施例では、ＲおよびＢを表す値として、−１２８乃至１２７の範囲の値（上述したように８ビット）が割り当てられている。
【００９２】
点（Ｙij，ＨＲij，ＬＲij）および（Ｙij，ＨＢij，ＬＢij）の集合が求められた後は、Ｙを引数として、ＲまたはＢそれぞれを、例えば２次関数で近似した初期被写体モデルが求められる。
【００９３】
ここで、本実施例では、異なる被写体について、ある程度近似した形の初期被写体モデル（２次関数）が得られるように、２次関数のＹ切片（初期被写体モデルである２次関数がＹ軸と交わる点）が、被写体の色相によって決められている。
【００９４】
即ち、被写体処理部２１は、被写体の色相と、２次関数のＹ切片とを対応付けて記憶しており、ＲijおよびＢijから、被写体の色相（例えば、その平均値など）を計算し、その色相に対応付けられているＹ切片を用いて、初期被写体モデルを求めるようになされている。
【００９５】
具体的には、いま設定された被写体の色相に対応付けられているＹ切片が、Ｙ−Ｒ座標系については、図１２（Ａ）に示すように、ＲlowおよびＲhighであり（但し、Ｒlow＜Ｒhighとする）、Ｙ−Ｂ座標系については、図１２（Ｂ）に示すように、ＢlowおよびＢhighであるとき（但し、Ｂlow＜Ｂhighとする）、次式で示される初期被写体モデルとしての２次関数ＨＦｒ（Ｙ）（Ｙに関するＲの特徴モデル），ＨＦｂ（Ｙ）（Ｙに関するＢの特徴モデル），ＬＦｒ（Ｙ）（Ｙに関するＲの特徴モデル），ＬＦｂ（Ｙ）（Ｙに関するＢの特徴モデル）それぞれを決める定数Ａ０，Ａ１，Ａ２，Ａ３が算出される。
【００９６】
ＨＦｒ（Ｙ）＝Ａ０×（Ｙ−Ｒlow）×（Ｙ−Ｒhigh）
ＨＦｂ（Ｙ）＝Ａ１×（Ｙ−Ｂlow）×（Ｙ−Ｂhigh）
ＬＦｒ（Ｙ）＝Ａ２×（Ｙ−Ｒlow）×（Ｙ−Ｒhigh）
ＬＦｂ（Ｙ）＝Ａ３×（Ｙ−Ｂlow）×（Ｙ−Ｂhigh）
【００９７】
但し、定数Ａ０乃至Ａ３は、点（Ｙij，ＨＲij）、（Ｙij，ＨＢij）、（Ｙij，ＬＲij）、または（Ｙij，ＬＢij）それぞれの集合を用い、例えば最小自乗法によって求められる。
【００９８】
図１２に示したような点（Ｙij，ＨＲij），（Ｙij，ＨＢij），（Ｙij，ＬＲij）、または（Ｙij，ＬＢij）それぞれの集合から得られる２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、またはＬＦｂ（Ｙ）を、同じく図１２に示す。
【００９９】
なお、本実施例では、２次関数ＨＦｒ（Ｙ）およびＬＦｒ（Ｙ）の頂点は、Ｙ＝（Ｒlow＋Ｒhigh）／２の直線上に位置するようになされており、また、２次関数ＨＦｂ（Ｙ）およびＬＦｂ（Ｙ）の頂点は、Ｙ＝（Ｂlow＋Ｂhigh）／２の直線上に位置するようになされている。さらに、図１２の実施例では、（Ｒlow＋Ｒhigh）／２および（Ｂlow＋Ｂhigh）／２は、いずれも２５５とされている。従って、図１２の実施例の場合、２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、およびＬＦｂ（Ｙ）は、いずれもＹ＝２５５に対して線対称となっている。
【０１００】
また、本実施例においては、輝度信号Ｙを表す値として、０乃至２５５の範囲の値（上述したように８ビット）が割り当てられている。このため、Ｙ＞２５５の範囲の輝度信号Ｙは用いる必要がないので、図１２においては、２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、およびＬＦｂ（Ｙ）のうちのＹ＞２５５の範囲を点線で表してある。
【０１０１】
被写体処理部２１は、ステップＳ５２において、以上のようにして初期被写体モデルとしての２次関数を規定する定数Ａ０乃至Ａ３を求め、この定数Ａ０乃至Ａ３と、上述のＹ切片Ｒlow，Ｒhigh，Ｂlow，Ｂhighを、モデル記憶部２２の初期モデル記憶部２２Ａに記憶させる。
【０１０２】
以上のようにして、初期被写体モデルが生成された後は、被写体処理部２１は、ステップＳ５３において、画像メモリ１０に記憶された画像を構成する各画素の画像データを読み出し、その中から、初期被写体モデルに適合するものを検出して、被写体データ記憶部２３に記憶させる。
【０１０３】
即ち、ステップＳ５３では、画像メモリ１０に記憶された画像を構成する各画素のうち、その輝度Ｙijと、色差信号ＲijまたはＢijそれぞれとが、次の２つの式の両方を満足するものが検出される。
【０１０４】
ＬＦｒ（Ｙij）＜Ｒij＜ＨＦｒ（Ｙij）
ＬＦｂ（Ｙij）＜Ｂij＜ＨＦｂ（Ｙij）
なお、２次関数ＬＦｒ（Ｙij），ＨＦｒ（Ｙij），ＬＦｂ（Ｙij）、およびＨＦｂ（Ｙij）は、ステップＳ５２で初期モデル記憶部２２Ａに記憶された初期被写体モデル（定数Ａ０乃至Ａ３、およびＹ切片Ｒlow，Ｒhigh，Ｂlow，Ｂhigh）により規定されるものである。
【０１０５】
ステップＳ５３では、上式を満たす画素、即ち、図１２（Ａ）に示した２つの２次関数ＬＦｒ（Ｙij）とＨＦｒ（Ｙij）との間にプロットされ、かつ図１２（Ｂ）に示した２つの２次関数ＬＦｂ（Ｙij）とＨＦｂ（Ｙij）との間にプロットされる画素が、被写体を構成する画素として検出され、その輝度Ｙijと、色差信号Ｒij，Ｂijとが、被写体データとして、被写体データ記憶部２３に記憶され、処理（被写体データ記憶処理）を終了する。
【０１０６】
被写体データ記憶処理が終了した後は、上述したように、ステップＳ２２からステップＳ２３に進み（図４）、被写体モデル生成処理が行われる。これにより、従来より広いレンジの、例えば輝度についての、被写体に対応する画像データに基づいて被写体モデルを生成することが可能となるので、被写体の検出性能の劣化を防止する（被写体の検出性能を向上させる）ことができる。
【０１０７】
図１３のフローチャートは、被写体モデル生成処理の詳細を示している。被写体モデル生成処理では、まず最初に、ステップＳ６１において、被写体処理部２１によって、被写体データ記憶部２３に記憶された被写体データの中から、被写体外データが検出されて除去される。
【０１０８】
即ち、ステップＳ６１では、被写体データ記憶部２３に被写体データが記憶された画素の中から、その輝度（第１の画素値）Ｙに対する色差信号（第２の画素値）ＲまたはＹの分散が所定の閾値より大きいもの（以下、適宜、高分散画素という）が検出される。そして、この高分散画素の被写体データＹ，Ｒ，Ｂが、被写体外データとされ、被写体データ記憶部２３から除去される。
【０１０９】
ここで、図１４（Ａ）に、図１２（Ａ）における場合と同様に、ＹまたはＲをそれぞれ横軸または縦軸として、被写体データで構成される点（Ｙij，Ｒij）をプロットしたものを、また、図１４（Ｂ）に、図１２（Ｂ）における場合と同様に、ＹまたはＢをそれぞれ横軸または縦軸として、被写体データで構成される点（Ｙij，Ｂij）をプロットしたものを、それぞれ示す。
【０１１０】
ステップＳ６１では、図１４に示した点のうち、縦軸方向（ＲまたはＢ軸方向）に、ある程度以上の広がりを有する輝度を持つ被写体データ、即ち、同図において点線で示す範囲内にある被写体外データが除去される。
【０１１１】
このように、ある輝度（ある量子化レベルの輝度）を有する画素に注目した場合に、そのような輝度を有する画素の色差信号の分散が、所定の閾値より大きいときには、そのような輝度を有する画素（高分散画素）には、被写体を構成しない画素が多く含まれていると考えられる。そこで、このような高分散画素の画像データ（被写体外データ）については、被写体モデルを生成するための被写体データから除外することで、被写体に、より対応した被写体モデルを生成することができる。
【０１１２】
ステップＳ６１の処理後は、ステップＳ６２に進み、被写体処理部２１によって、被写体データ記憶部２３に記憶された被写体データの中から、高輝度データが検出されて除去される。
【０１１３】
即ち、ステップＳ６２では、被写体データ記憶部２３に被写体データが記憶された画素の中から、その輝度（第１の画素値）Ｙが所定の閾値より大きいもの（以下、適宜、高画素値画素という）が検出される。そして、この高画素値画素の被写体データＹ，Ｒ，Ｂが、高輝度データとされ、被写体データ記憶部２３から除去される。
【０１１４】
ここで、Ｙ−Ｒ平面上における高画素値画素を検出する場合の所定の閾値は、被写体処理部２１において、例えば次のようにして決定される。即ち、被写体データ記憶部２３に記憶された被写体データから、色差信号（第２の画素値）Ｒのピーク値（絶対値が最も大きい値）が検出され、その色差信号（第２の画素値）Ｒのピーク値を有する画素の輝度（第１の画素値）Ｙが、所定の閾値とされる。
【０１１５】
従って、Ｙ−Ｒ平面においては、図１４（Ａ）に示す、ピーク値Ｒｐを有する点より右方向にプロットされている点（同図において、実線で囲む範囲にある点）に対応する画素の被写体データは、高輝度データとして除去される。
【０１１６】
Ｙ−Ｂ平面についても同様で、図１４（Ｂ）に示す、ピーク値Ｂｐを有する点より右方向にプロットされている点（同図において、実線で囲む範囲にある点）に対応する画素の被写体データは、高輝度データとして除去される。
【０１１７】
所定の輝度より高い輝度を有する部分は、例えば照明の鏡面反射による照明色であると考えられるため、このような高画素値画素の画像データ（高輝度データ）については、被写体モデルを生成するための被写体データから除外することで、被写体に、より対応した被写体モデルを生成することができる。
【０１１８】
被写体データ記憶部２３から高輝度データを除去した後は、ステップＳ６３に進み、被写体処理部２１において、被写体器データ記憶部２３に記憶された被写体データを近似する近似式としての、例えば２次関数が算出される。
【０１１９】
即ち、ステップＳ６３では、被写体データＹ，Ｒ，Ｂについて、初期被写体モデルを生成する場合と同様に、被写体データＹを引数として、ＲまたはＢそれぞれを近似する２次関数Ｆｒ（Ｙ）またはＦｂ（Ｙ）が、例えば最小自乗法などによって求められる。
【０１２０】
ここで、２次関数Ｆｒ（Ｙ）またはＦｂ（Ｙ）は、例えば、それぞれ次式で表されるものである。
Ｆｒ（Ｙ）＝Ａ４×（Ｙ−Ｒlow）×（Ｙ−Ｒhigh）
Ｆｂ（Ｙ）＝Ａ５×（Ｙ−Ｂlow）×（Ｙ−Ｂhigh）
【０１２１】
また、ステップＳ６３では、輝度Ｙのダイナミックレンジ（本実施例では、上述したように０乃至２５５）を有効に利用することができるように、２次関数Ｆｒ（Ｙ）のＹ切片ＲlowまたはＲhighが、それぞれ０または２５５付近の値とされるようになされている。
【０１２２】
即ち、ステップＳ６３においては、図１５（Ａ）に示すように、Ｙ切片ＲlowまたはＲhighを、それぞれ０または２５５を中心として、±αまたは±βの範囲で、所定の幅で変化させ、そのように変化させたＲlowとＲhighの組すべてについて、最小自乗法により、自乗誤差の総和を最小にする定数Ａ４が算出される。そして、このようにして求められたＡ４，Ｒlow、およびＲhighにより規定される２次関数のうち、自乗誤差の総和が最小のものが、被写体データを最も精度良く近似する近似式として求められる。
【０１２３】
ここで、図１５（Ａ）においては、Ｙ切片ＲlowおよびＲhighと、それぞれを変化させて得られるＡ４とで規定される２次関数を、点線で示してあり、そのような２次関数の中で、自乗誤差の総和が最小のものを、実線で示してある。
【０１２４】
ステップＳ６３では、２次関数Ｆｂ（Ｙ）についても同様にして、被写体データを最も精度良く近似するためのＡ５，Ｂlow、およびＢhighが求められる。ここで、図１５（Ｂ）に、Ｙ切片ＢlowおよびＢhighと、それぞれを変化させて得られるＡ５とで規定される２次関数を点線で、そのような２次関数のうち、自乗誤差の総和が最小のものを実線で、それぞれ示す。
【０１２５】
なお、図１５の実施例では、Ｒlow（Ｂlowも同様）は、０±αの範囲を、０を中心としてα／２の幅で変化させ、また、Ｒhigh（Ｂhighの同様）は、２５５±βの範囲を、２５５を中心としてβの幅で変化させるようにしている（但し、変化させる幅は、これに限定されるものではない）。
【０１２６】
ステップＳ６３で近似式を算出した後は、ステップＳ６４に進み、被写体処理部２１において、被写体の検出に用いる最終的な被写体モデルが生成される。即ち、ステップＳ６４では、２次関数Ｆｒ（Ｙ）に対する許容誤差が、例えば１０％（±１０％）の２次関数ＨＦｒ１（Ｙ）およびＬＦｒ１（Ｙ）が、次式にしたがって求められる。
【０１２７】
ここで、２次関数Ｆｒ（Ｙ）、ＨＦｒ１（Ｙ）、およびＬＦｒ１（Ｙ）を、図１６（Ａ）に示す。
【０１２９】
同様に、ステップＳ６４では、２次関数Ｆｂ（Ｙ）に対する許容誤差が１０％（±１０％）の２次関数ＨＦｂ１（Ｙ）およびＬＦｂ１（Ｙ）が、次式にしたがって求められる。
【０１３０】
ここで、２次関数Ｆｂ（Ｙ）、ＨＦｂ１（Ｙ）、およびＬＦｂ１（Ｙ）を、図１６（Ｂ）に示す。
【０１３２】
被写体処理部２１は、ステップＳ６４において、以上のようにして被写体モデルとしての２次関数を規定する定数１．１×Ａ４，０．９×Ａ４，１．１×Ａ５、および０．９×Ａ５、並びにＹ切片Ｒlow，Ｒhigh，Ｂlow、およびＢhighを求めた後、モデル記憶部２２の最終モデル記憶部２２Ｂに記憶させ、処理（被写体モデル生成処理）を終了する。
【０１３３】
なお、定数１．１×Ａ４，０．９×Ａ４，１．１×Ａ５、および０．９×Ａ５については、これらをすべて記憶させるのではなく、定数Ａ４およびＡ５だけを記憶させるようにし、後述するステップＳ２４（図４）の処理を行うときに、Ａ４またはＡ５それぞれを、１．１，０．９倍して用いるようにしても良い。
【０１３４】
図４に戻り、以上のようにして、被写体モデルが生成された後は、被写体処理部２１は、ステップＳ２４において、被写体画素選択処理を行い、その処理結果に基づいて、レンズブロック１から出力された画像の中に被写体が存在するかどうかを、ステップＳ２５において判定する。
【０１３５】
即ち、ステップＳ２５では、レンズブロック１で撮像され、画像メモリ１０に記憶された画像を構成する各画素のうち、その輝度Ｙijと、色差信号ＲijまたはＢijそれぞれとが、次の２つの式の両方を満足するものが検出される。
【０１３６】
ＬＦｒ１（Ｙij）＜Ｒij＜ＨＦｒ１（Ｙij）
ＬＦｂ１（Ｙij）＜Ｂij＜ＨＦｂ１（Ｙij）
なお、２次関数ＬＦｒ１（Ｙij），ＨＦｒ１（Ｙij），ＬＦｂ１（Ｙij）、およびＨＦｂ１（Ｙij）は、ステップＳ２３で最終モデル記憶部２２Ｂに記憶された被写体モデル（定数１．１×Ａ４，０．９×Ａ４，１．１×Ａ５、および０．９×Ａ５、並びにＹ切片Ｒlow，Ｒhigh，Ｂlow、およびＢhigh）により規定されるものである。
【０１３７】
ステップＳ２４では、上式を満たす画素、即ち、図１６（Ａ）に示した２つの２次関数ＬＦｒ１（Ｙij）とＨＦｒ１（Ｙij）との間にプロットされ、かつ図１６（Ｂ）に示した２つの２次関数ＬＦｂ１（Ｙij）とＨＦｂ１（Ｙij）との間にプロットされる画素が、被写体を構成する画素（以下、適宜、被写体構成画素という）として検出される。
【０１３８】
その後、ステップＳ２５に進み、レンズブロック１で撮像され、画像メモリ１０に記憶された画像の中に、被写体が存在するかどうかが判定される。即ち、ステップＳ２５では、ステップＳ２４で検出された被写体構成画素の総数が、所定の閾値γと比較される。そして、被写体構成画素数が所定の閾値γより多い場合、または被写体構成画素数が所定の閾値γ以下である場合、ステップＳ２５では、それぞれ、画像メモリ１０に記憶された画像の中に、被写体が存在する、または存在しないと判定される。
【０１３９】
ステップＳ２５において、被写体が存在すると判定された場合、ステップＳ２６に進み、被写体の位置が、被写体処理部２１によって検出される。
【０１４０】
即ち、例えば、ステップＳ２４で、図１７（Ａ）に影を付して示すように、被写体構成画素が検出され、さらに、ステップＳ２５において、被写体が存在すると判定された場合には、ステップＳ２６では、ステップＳ２４で検出された被写体構成画素のうち、その被写体構成画素で構成される領域の周辺にある、いわばノイズ的なものを除去するために、被写体構成画素で構成される領域に対してフィルタリング処理が施される。これにより、図１７（Ａ）に示す被写体構成画素は、図１７（Ｂ）に示すようにされる。そして、ステップＳ２６では、フィルタリングの結果得られた被写体構成画素の集合の、例えば重心（例えば、水平方向または垂直方向をそれぞれｘ軸またはｙ軸とするｘｙ平面上の重心）（図１７（Ｂ）において、×印で示す部分）が求められ、これが、被写体の位置とされる。
【０１４１】
その後、ステップＳ２７に進み、被写体処理部２１において、例えば、図１７（Ｂ）に太線で示すように、フィルタリングの結果得られた被写体構成画素の集合を囲む枠（被写体枠）を表示するように、表示制御部２５が制御される。これに対応して、表示制御部２５では、レンズブロック１で撮像された画像に、被写体枠がスーパインポーズして表示されるように、モニタ１４が制御される。
【０１４２】
即ち、モニタ１４の表示画面に、例えば図１８（Ａ）に白抜きで示すような被写体枠を表示させる場合には、表示制御部２５において、同図（Ｂ）に示すようなパルス（枠パルス）が生成される。なお、図１８（Ｂ）は、同図（Ａ）のＡＡ’で示す水平走査線に、被写体枠を表示させるための枠パルスを示している。
【０１４３】
そして、表示制御部２５は、レンズブロック１で撮像された画像の、対応する水平走査線に、図１８（Ｃ）に示すように、枠パルスを重畳する。これにより、モニタ１４には、レンズブロック１で撮像された画像に、被写体枠がスーパインポーズされて表示される。
【０１４４】
その後、ステップＳ２８に進み、被写体処理部２１において、ステップＳ２６で検出された被写体の位置が、モニタ１４の表示画面（レンズブロック１から出力される画像）の中央の位置に一致するように、モータ駆動部２４が制御される。これに対応して、モータ駆動部２４では、パンモータ１２、チルトモータ１３が回転駆動され、これにより、被写体が、モニタの表示画面の中央に引き込まれるように、レンズブロック１がパンチルトされ、処理（被写体追尾処理）を終了する。
【０１４５】
以上のようにして、被写体の自動追尾が行われる。
【０１４６】
一方、ステップＳ２５において、被写体が存在しないと判定された場合、即ち、被写体を見失った場合（レンズブロック１から出力される画像の中から被写体を抽出（検出）することができなかった場合）、例えば、被写体が存在する方向が予測され、さらに、そのような方向に、レンズブロック１がパンチルトされた後、ステップＳ２４に戻る。あるいは、また、ユーザによって、被写体が存在する方向に、レンズブロック１が、手動でパンチルトされ、ステップＳ２４に戻る。
【０１４７】
なお、本実施例では、被写体モデルの生成および被写体の検出を行うにあたって、３色表色系の１つである輝度信号および色差信号を用いるようにしたが、その他、例えばＲＧＢ表色系や、Ｌａｂ表色系、Ｌｕｖ表色系、ＸＹＺ表色系などを用いるようにすることも可能である。
【０１４８】
さらに、本実施例では、追尾すべき被写体を２次関数で近似するようにしたが、即ち、被写体モデルとして２次関数を用いるようにしたが、被写体モデルとしては、その他の関数などを用いることが可能である。
【０１４９】
【発明の効果】
請求項１に記載の被写体検出装置および請求項４に記載の被写体検出方法によれば、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして被写体が設定され、設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素が検出され、設定された被写体の画像データから、検出された高分散画素を除いたものに基づいて、設定された被写体の被写体モデルが生成され、生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体が検出される。
請求項５に記載の被写体検出装置および請求項６記載の被写体検出方法によれば、ユーザの操作に応じて、被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして被写体が設定され、設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素が検出され、設定された被写体の画像データから、検出された高画素値画素を除いたものに基づいて、設定された被写体の被写体モデルが生成され、生成された被写体モデルに基づいて、撮像部より出力された画像から、被写体が検出される。
従って、被写体を構成する画素として適当でないものを除いて、被写体モデルが生成されるので、被写体の検出性能の劣化を防止する（被写体の検出性能を向上させる）ことができる。
【図面の簡単な説明】
【図１】本発明を適用したビデオカメラシステムの一実施例の構成を示すブロック図である。
【図２】図１の追尾信号処理回路１１の構成例を示すブロック図である。
【図３】図１のビデオカメラシステムの動作を説明するためのフローチャートである。
【図４】図１の被写体認識回路部９の動作を説明するためのフローチャートである。
【図５】第１の方法による被写体データ記憶処理を説明するための図である。
【図６】第２の方法による被写体データ記憶処理を説明するための図である。
【図７】第３の方法による被写体データ記憶処理を説明するための図である。
【図８】図４のステップＳ２２の処理の詳細を説明するためのフローチャートである。
【図９】図４のステップＳ２２の処理の詳細を説明するためのフローチャートである。
【図１０】図４のステップＳ２２の処理の詳細を説明するためのフローチャートである。
【図１１】図４のステップＳ２２の処理の詳細を説明するためのフローチャートである。
【図１２】初期被写体モデルの生成方法を説明するための図である。
【図１３】図４のステップＳ２３の処理の詳細を説明するためのフローチャートである。
【図１４】図１３のステップＳ６１およびＳ６２の処理を説明するための図である。
【図１５】図１３のステップＳ６３の処理を説明するための図である。
【図１６】被写体モデルの生成方法を説明するための図である。
【図１７】図４のステップＳ２６の処理を説明するための図である。
【図１８】被写体枠の表示について説明するための図である。
【符号の説明】
１ レンズブロック， ９ 被写体認識回路部， １０ 画像メモリ， １１追尾信号処理回路， １２ パンモータ， １３ チルトモータ， １４ モニタ， ２１ 被写体処理部， ２２ モデル記憶部， ２２Ａ 初期モデル記憶部， ２２Ｂ 最終モデル記憶部， ２３ 被写体データ記憶部， ２４ モータ駆動部， ２５ 表示制御部， ２６ 被写体設定部
Claims (6)
- 被写体を検出する被写体検出装置であって、
ユーザの操作に応じて、前記被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段と、
前記被写体設定手段により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出する画素検出手段と、
前記被写体設定手段により設定された被写体の画像データから、前記画素検出手段により検出された高分散画素を除いたものに基づいて、前記被写体設定手段により設定された被写体の被写体モデルを生成するモデル生成手段と、
前記モデル生成手段により生成された被写体モデルに基づいて、前記撮像部より出力された画像から、前記被写体を検出する被写体検出手段と
を備えることを特徴とする被写体検出装置。 - 前記被写体設定手段により前記被写体が設定されたときに前記撮像部より出力される画像の中の所定の範囲内の画像データを記憶する画像データ記憶手段と、
前記所定の範囲を変更する変更手段と
をさらに備え、
前記モデル生成手段は、前記画像データ記憶手段に記憶された画像データに基づいて、前記被写体モデルを生成する
ことを特徴とする請求項１に記載の被写体検出装置。 - 前記被写体設定手段により前記被写体が設定されたときに前記撮像部より出力される画像の中の所定の範囲内の画像データに基づいて、所定の初期モデルを生成する初期モデル生成手段と、
前記撮像部より出力される画像データのうち、前記初期モデル生成手段により生成された初期モデルに適合するものを記憶する画像データ記憶手段と
をさらに備え、
前記モデル生成手段は、前記画像データ記憶手段に記憶された画像データに基づいて、前記被写体モデルを生成する
ことを特徴とする請求項１に記載の被写体検出装置。 - 被写体を検出する被写体検出装置の被写体検出方法であって、
ユーザの操作に応じて、前記被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定ステップと、
前記被写体設定ステップの処理により設定された被写体の画像データから、所定の量子化レベルの輝度を有する画素のうち、色差信号の分散が所定の閾値より大きいものである高分散画素を検出する画素検出ステップと、
前記被写体設定ステップの処理により設定された被写体の画像データから、前記画素検出ステップの処理により検出された高分散画素を除いたものに基づいて、前記被写体設定ステップの処理により設定された被写体の被写体モデルを生成するモデル生成ステップと、
前記モデル生成ステップの処理により生成された被写体モデルに基づいて、前記撮像部より出力された画像から、前記被写体を検出する被写体検出ステップと
を含むことを特徴とする被写体検出方法。 - 被写体を検出する被写体検出装置であって、
ユーザの操作に応じて、前記被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定手段と、
前記被写体設定手段により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出する画素検出手段と、
前記被写体設定手段により設定された被写体の画像データから、前記画素検出手段により検出された高画素値画素を除いたものに基づいて、前記被写体設定手段により設定された被写体の被写体モデルを生成するモデル生成手段と、
前記モデル生成手段により生成された被写体モデルに基づいて、前記撮像部より出力された画像から、前記被写体を検出する被写体検出手段と
を備えることを特徴とする被写体検出装置。 - 被写体を検出する被写体検出装置の被写体検出方法であって、
ユーザの操作に応じて、前記被写体を撮像する撮像部より出力された画像における所定の領域を被写体の画像データとして設定する被写体設定ステップと、
前記被写体設定ステップの処理により設定された被写体の画像データから、色差信号のピーク値を有するピーク値画素を検出し、そのピーク値画素の輝度より、輝度が大きいものである高画素値画素を検出する画素検出ステップと、
前記被写体設定ステップの処理により設定された被写体の画像データから、前記画素検出ステップの処理により検出された高画素値画素を除いたものに基づいて、前記被写体設定ステップの処理により設定された被写体の被写体モデルを生成するモデル生成ステップと、
前記モデル生成ステップの処理により生成された被写体モデルに基づいて、前記撮像部より出力された画像から、前記被写体を検出する被写体検出ステップと
を含むことを特徴とする被写体検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01165596A JP3757404B2 (ja) | 1996-01-26 | 1996-01-26 | 被写体検出装置および被写体検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01165596A JP3757404B2 (ja) | 1996-01-26 | 1996-01-26 | 被写体検出装置および被写体検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09205577A JPH09205577A (ja) | 1997-08-05 |
| JP3757404B2 true JP3757404B2 (ja) | 2006-03-22 |
Family
ID=11783991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01165596A Expired - Fee Related JP3757404B2 (ja) | 1996-01-26 | 1996-01-26 | 被写体検出装置および被写体検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3757404B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6319545B2 (ja) * | 2013-03-15 | 2018-05-09 | パナソニックＩｐマネジメント株式会社 | 画像符号化装置、撮影システム、撮影記録システム、画質符号化方法、及び画像符号化制御プログラム |
-
1996
- 1996-01-26 JP JP01165596A patent/JP3757404B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09205577A (ja) | 1997-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4079463B2 (ja) | 被写体検出装置および被写体検出方法 | |
| US7873221B2 (en) | Image processing apparatus, image processing method, program for image processing method, and recording medium which records program for image processing method | |
| JP4677753B2 (ja) | 動画像処理装置及び方法 | |
| US20060115297A1 (en) | Imaging device and imaging method | |
| JP3745067B2 (ja) | 撮像装置及びその制御方法 | |
| US8629915B2 (en) | Digital photographing apparatus, method of controlling the same, and computer readable storage medium | |
| US7425985B2 (en) | Image processing apparatus and method | |
| JP3533756B2 (ja) | 画像入力装置 | |
| JP3530907B2 (ja) | デジタルカメラ | |
| US8319851B2 (en) | Image capturing apparatus, face area detecting method and program recording medium | |
| US7030911B1 (en) | Digital camera and exposure control method of digital camera | |
| JP4210021B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
| US20050179780A1 (en) | Face detecting apparatus and method | |
| US20040114796A1 (en) | Image correction apparatus and image pickup apparatus | |
| US20180061029A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus | |
| US8253850B2 (en) | Imaging apparatus and program thereof | |
| JP2018205883A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2003046848A (ja) | 撮像システムおよび撮像プログラム | |
| WO2007142049A1 (ja) | 撮影装置と映像信号処理プログラム | |
| JP2921973B2 (ja) | 特定物体の画像抽出方法及び画像抽出装置 | |
| JP3757404B2 (ja) | 被写体検出装置および被写体検出方法 | |
| JP3108355B2 (ja) | 被写体追尾カメラ装置 | |
| JP3757403B2 (ja) | 被写体検出装置および被写体検出方法 | |
| JP3726972B2 (ja) | 被写体認識装置および方法 | |
| JP2000308079A (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051218 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |