JP4079463B2 - 被写体検出装置および被写体検出方法 - Google Patents
被写体検出装置および被写体検出方法 Download PDFInfo
- Publication number
- JP4079463B2 JP4079463B2 JP01165396A JP1165396A JP4079463B2 JP 4079463 B2 JP4079463 B2 JP 4079463B2 JP 01165396 A JP01165396 A JP 01165396A JP 1165396 A JP1165396 A JP 1165396A JP 4079463 B2 JP4079463 B2 JP 4079463B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- unit
- detected
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
- G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体検出装置および被写体検出方法に関する。特に、例えば監視カメラや、テレビ会議システム、その他、被写体を自動追尾するビデオカメラなどに用いて好適な被写体検出装置および被写体検出方法に関する。
【０００２】
【従来の技術】
従来より、パン駆動機構およびチルト駆動機構を用いて、例えば表示画面の中央部に、追尾対象である被写体を表示させるように自動追尾を行うビデオカメラが提案されている。
【０００３】
即ち、このようなビデオカメラにおいては、例えば表示画面（ビデオカメラにより撮像される画像）の中央部に基準計測枠が設けられ、まず、その基準計測枠に、追尾対象の被写体が含まれるように撮像が行われて記憶される（自動追尾する被写体が設定される）。その後、ビデオカメラにより撮像された画像から、記憶された被写体が検出され、被写体を検出することができた場合には、その被写体が、表示画面の中央部に表示されるように、パンニングおよびチルティングが行われる。
【０００４】
さらに、被写体を検出することができた場合には、ビデオカメラより出力される画像のうち、例えば、その被写体が占有している領域が、白飽和などされて表示され、これにより、被写体の位置を、ユーザが認識することができるようになされている。
【０００５】
また、被写体を検出することができなかった場合（被写体を見失った場合）には、ビデオカメラより出力される画像が、そのまま表示されるようになされている。
【０００６】
このような自動追尾を行うビデオカメラは、例えば監視カメラや、話者を自動追尾する話者自動追尾型テレビ会議システムなどに適用することができ、さらに、セキュリティシステムの無人化や、いわゆるハンズフリー撮影などを行うのに有効な手段である。
【０００７】
【発明が解決しようとする課題】
ところで、従来のビデオカメラでは、追尾する被写体を設定する場合、基準計測枠に、その被写体が含まれるように、ユーザが、ビデオカメラをパンチルト（パンニングまたはチルティング）する必要があった。
【０００８】
即ち、被写体の設定後は、ユーザがビデオカメラを操作する必要はないが、被写体を設定するためには、ユーザがビデオカメラを操作する必要があり、面倒であった。
【０００９】
また、従来においては、自動追尾中に、被写体を検出することができなくなった場合には、上述したように、ビデオカメラより出力される画像が、その一部が白飽和などされず、そのまま表示されるが、この場合、被写体が検出されていないことを、ユーザが認識し難い課題があった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、ユーザが操作を行わなくても、被写体を設定することができるようにするものである。また、被写体が検出されていないことを、ユーザが容易に認識することができるようにするものである。
【００１１】
【課題を解決するための手段】
請求項１に記載の被写体検出装置は、被写体を撮像する撮像部より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する動き検出手段と、動き検出手段により検出された部分の飽和度と第１の閾値との大小関係を比較する比較手段と、比較手段による比較の結果に基づいて、その部分の内、飽和度が第１の閾値よりも大きい部分を被写体として設定する被写体設定手段と、被写体設定手段により設定された被写体を、撮影部より出力された画像より検出する被写体検出手段とを備えることを特徴とする。
【００１２】
請求項１１に記載の被写体検出方法は、被写体を撮像する撮像部より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する動き検出ステップと、動き検出ステップの処理により検出された部分の飽和度と閾値との大小関係を比較する比較ステップと、比較ステップの処理による比較の結果に基づいて、その部分の内、飽和度が閾値よりも大きい部分を被写体として設定する被写体設定ステップと、被写体設定ステップの処理により設定された被写体を、撮影部より出力された画像より検出する被写体検出ステップとを含むことを特徴とする。
【００１９】
請求項１に記載の被写体検出装置においては、動き検出手段は、被写体を撮像する撮像部より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出し、比較手段は、動き検出手段により検出された部分の飽和度と第１の閾値との大小関係を比較し、被写体設定手段は、比較手段による比較の結果に基づいて、その部分の内、飽和度が第１の閾値よりも大きい部分を被写体として設定し、被写体検出手段は、被写体設定手段により設定された被写体を、撮影部より出力された画像より検出するようになされている。
【００２０】
請求項１１に記載の被写体検出方法においては、被写体を撮像する撮像部より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出し、その検出された部分の飽和度と閾値との大小関係を比較し、比較の結果に基づいて、その部分の内、飽和度が閾値よりも大きい部分を被写体として設定し、設定された被写体を、撮影部より出力された画像より検出するようになされている。
【００２７】
【発明の実施の形態】
以下に、本発明の実施例を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施例との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施例（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００２８】
即ち、請求項１に記載の被写体検出装置は、被写体を検出する被写体検出装置であって、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する動き検出手段（例えば、図５の処理ステップＳ２３で動画素を検出する図２に示す動き検出部２３Ｂなど）と、動き検出手段により検出された部分の飽和度と第１の閾値との大小関係を比較する比較手段（例えば、図５の処理ステップＳ２３で動画素の飽和度を閾値γと比較する図２に示す動き検出部２３Ｂなど）と、比較手段による比較の結果に基づいて、その部分の内、飽和度が第１の閾値よりも大きい部分を被写体として設定する被写体設定手段（例えば、図２に示す被写体設定部２３など）と、被写体設定手段により設定された被写体を、撮影部より出力された画像より検出する被写体検出手段（例えば、図５の処理ステップＳ２５で被写体画素選択処理を行う図２に示す被写体処理部２１など）とを備えることを特徴とする。
【００２９】
被写体検出装置においては、動き検出手段は、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に、撮像部より出力された連続する現フレームの画像の輝度信号と次のフレームの画像の輝度信号との、画素毎のフレーム間差分の絶対値和と、第２の閾値との大小関係に基づいて、画像に動きがあったかを判定し、動きがあったと判定した場合、画素毎のフレーム間差分の絶対値と第３の閾値との大小関係に基づいて、現フレームの動きのあった画素を検出することにより、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する（例えば、図５の処理ステップＳ２３の式（１）および式（２）を利用した処理など）ようにすることができる。
被写体検出装置においては、被写体検出手段は、被写体設定手段により設定された被写体の被写体モデルを生成し、被写体モデルに一致する画像を、撮像部より出力された画像より検索することにより、被写体を検出する（例えば、図５のステップＳ２７など）ようにすることができる。
被写体検出装置においては、被写体検出手段は、被写体モデルが許容誤差を含むように、被写体モデルを生成する（例えば、図６）ようにすることができる。
【００３０】
被写体検出装置においては、被写体検出手段により検出された被写体の位置が、被写体を撮像する撮像部より出力される画像の所定の基準の位置と一致するように、撮像部を駆動する駆動部（例えば、図１に示すパンモータおよびチルトモータなど）を制御する制御手段（例えば、図２に示すモータ駆動部２４など）をさらに設けることができる。
【００３１】
被写体検出装置においては、被写体検出手段により被写体が検出されたとき、その被写体を囲む枠を表示させ、被写体が検出されなかったとき、枠の表示を変化させる枠表示制御手段（例えば、図２に示す表示制御部２５など）をさらに設けることができる。
【００３２】
被写体検出装置においては、枠表示制御手段が、被写体が検出されなかったとき、枠を、その大きさを変化させながら表示させる（例えば、図９）ようにすることができる。
【００３３】
被写体検出装置においては、被写体検出手段により被写体が検出されなかったとき、所定の文字（例えば、被写体を検出することができなかった旨のメッセージ）を表示させる文字表示制御手段（例えば、図２に示す表示制御部２５など）をさらに設けることができる。
【００３４】
被写体検出装置においては、被写体検出手段により被写体が検出されなかったとき、所定の音声を出力させる音声出力手段（例えば、図２に示す放音部２６など）をさらに設けることができる。
【００３５】
請求項１１に記載の被写体検出方法は、被写体を検出する被写体検出装置の被写体検出方法であって、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像の、被写体検出装置の電源がオンにされた後に最初に動いた部分を検出する動き検出ステップ（例えば、動画素を検出する図５の処理ステップＳ２３など）と、動き検出ステップの処理により検出された部分の飽和度と閾値との大小関係を比較する比較ステップ（例えば、動画素の飽和度を閾値γと比較する図５の処理ステップＳ２３など）と、比較ステップの処理による比較の結果に基づいて、その部分の内、飽和度が閾値よりも大きい部分を被写体として設定する被写体設定ステップ（例えば、追尾対象とする被写体として設定する図５の処理ステップＳ２３など）と、被写体設定ステップの処理により設定された被写体を、撮影部より出力された画像より検出する被写体検出ステップ（例えば、被写体画素選択処理を行う図５の処理ステップＳ２５など）とを含むことを特徴とする。
【００３６】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００３７】
図１は、本発明を適用したビデオカメラシステムの一実施例の構成を示している。レンズブロック１は、レンズ２、アイリス３、およびＣＣＤ（Charge Coupled Device）４から構成され、被写体からの光ＬＡを撮像し、電気信号としての画像信号を出力する。即ち、被写体からの光ＬＡは、レンズ２により、アイリス３を介してＣＣＤ４上に結像され、これにより、ＣＣＤ４からは、その受光量に対応した画像信号が出力される。
【００３８】
なお、アイリス３は、いわゆるオートアイリス（ＡＥ）機構を構成しており、ＣＣＤ４で受光される光量を、適切な値に調整する（レンズブロック１の露光状態を適切な状態にする）ようになされている。
【００３９】
レンズブロック１から出力された画像信号は、信号分離（Ｓ／Ｈ（Sample Hold）／自動利得調整（ＡＧＣ（Automatic Gain Control））回路５において、サンプルホールドされ、さらに、オートアイリス機構からの制御信号によって、所定のゲインを持つように利得制御された後、Ａ／Ｄ変換器６に出力される。
【００４０】
Ａ／Ｄ変換器６は、信号分離／自動利得調整回路５からの画像信号（アナログ信号）を、所定のクロックにしたがってＡ／Ｄ変換することによりディジタルの画像信号にする。なお、Ａ／Ｄ変換器６がＡ／Ｄ変換を行うために用いる基準電圧は、図示せぬオートホワイトバランス（ＡＷＢ）機構から供給されるようになされており、これにより、ホワイトバランスが適正に調整されるようになされている。
【００４１】
ここで、本実施例では、オートアイリス機構およびオートホワイトバランス機構を機能させるようにしたが、オートアイリス機構およびオートホワイトバランス機構を機能させず、固定の露出およびホワイトバランスで、撮像を行うようにすることも可能である。
【００４２】
Ａ／Ｄ変換器６によってディジタル信号とされた画像信号は、ディジタルカメラ処理回路７に供給される。ディジタルカメラ処理回路７は、Ａ／Ｄ変換器６からの画像信号に基づいて、その画像信号に対応する画像を構成する各画素の輝度信号Ｙ、並びに色差信号Ｒ−Ｙ，Ｂ−Ｙ、およびクロマ信号Ｃを生成する。輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、そこでＤ／Ａ変換された後、モニタ１４に供給される。これにより、モニタ１４では、レンズブロック１で撮像された画像が表示される。
【００４３】
また、ディジタルカメラ処理回路７で生成された輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙは、被写体認識回路部９に供給される。被写体認識回路部９は、ディジタルカメラ処理回路７からの輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙで構成される画像の中から、追尾すべき被写体を検出し、その被写体が、レンズブロック１から出力される画像の、例えば中央部分（所定の基準位置）に表示されるように、パンモータ１２およびチルトモータ１３を駆動する。
【００４４】
即ち、被写体認識回路部９は、フレームメモリ構成の画像メモリ１０と、マイクロプロセッサ構成の追尾信号処理回路１１とで構成される。画像メモリ１０は、追尾信号処理回路１１から書き込み許可信号を受信すると、ディジタルカメラ処理回路７が出力する輝度信号Ｙ、色差信号Ｒ−Ｙ，Ｂ−Ｙそれぞれを、独立に、画素単位で記憶する。
【００４５】
ここで、以下、適宜、色差信号Ｒ−ＹまたはＢ−Ｙを、それぞれＲまたはＢと略記する。また、レンズブロック１が出力する画像の最も左上の画素の位置を原点（０，０）とし、その位置の左または上からそれぞれｉまたはｊ番目の画素の輝度信号Ｙ、色差信号Ｒ，Ｂそれぞれを、以下、適宜、Ｙij，Ｒij，Ｂijとも表す。さらに、以下、適宜、輝度信号Ｙ、色差信号Ｒ，Ｂをまとめて、画像データともいう。
【００４６】
画像メモリ１０は、１フレーム（または１フィールド）分の画像データを記憶すると、読み出し許可信号を、追尾信号処理回路１１に出力する。そして、画像目メモリ１０は、その後、追尾信号処理回路１１が出力するアドレス（上述のｉ，ｊに対応する）を受信すると、そのアドレスに記憶された画像データを、追尾信号処理回路１１に出力する。
【００４７】
追尾信号処理回路１１は、画像メモリ１０から読み出し許可信号を受信すると、被写体の追尾に必要な画像データを、上述したように、画像メモリ１０にアドレス（メモリアドレス）を与えることで読み出し、これにより、レンズブロック１より出力された画像から、追尾すべき被写体を検出する。その後、追尾信号処理回路１１は、書き込み許可信号を、画像メモリ１０に供給し、これにより、画像メモリ１０では、レンズブロック１で撮像された画像が、新たに記憶される（既に記憶されている画像に上書きされる）。その後、画像メモリ１０は、上述したように、読み出し許可信号を出力し、以下、同様にして、画像メモリ１０では、レンズブロック１で撮像された画像が、順次記憶されていく。なお、以上のようにして、画像メモリ１０の記憶内容が書き換えられるのは、被写体の自動追尾の開始後（後述する図５のステップＳ２５以降の処理が行われる場合）であり、自動追尾が開始される前（後述する図５のステップＳ２２およびＳ２３が繰り返し行われている場合）は、画像メモリ１０の記憶内容は、例えばフレーム周期（またはフィールド周期）で、レンズブロック１が出力する画像に書き換えられていく。
【００４８】
また、追尾信号処理回路１１は、被写体を検出すると、その被写体が、レンズブロック１から出力される画像の中央部分に表示されるように、パンモータ１２およびチルトモータ１３を駆動する。これにより、パンモータ１２またはチルトモータ１３において、レンズブロック１がそれぞれパンニングまたはチルティング駆動され、被写体が、レンズブロック１が出力する画像の中央部分に表示される。
【００４９】
さらに、追尾信号処理回路１１は、被写体を検出した場合、その被写体を囲む枠（以下、適宜、被写体枠という）を、モニタ１４に表示させる。
【００５０】
図２は、追尾信号処理回路１１の機能的な構成例を示している。被写体処理部２１は、上述した書き込み許可信号およびアドレスを画像メモリ１０に出力するとともに、読み出し許可信号および画像データを受信し、モデル記憶部２２を参照しながら、被写体の追尾に必要な処理を行う。さらに、被写体処理部２１では、その処理結果に応じて、モータ駆動部２４および表示制御部２５が制御される。また、被写体処理部２１は、被写体設定部２３により設定される、追尾すべき被写体の特徴を表す被写体モデル（追尾すべき被写体をモデル化したもの）を生成し、モデル記憶部２２に記憶させるようにもなされている。
【００５１】
モデル記憶部２２は、被写体処理部２１によって生成された被写体モデルを記憶するようになされている。
【００５２】
被写体設定部２３は、輝度データ記憶部２３Ａおよび動き検出部２３Ｂから構成されており、追尾すべき被写体を設定するようになされている。即ち、輝度データ記憶部２３Ａは、被写体処理部２１が画像メモリ１０から読み出した画像データＹ，Ｒ，Ｂのうちの、例えば輝度信号Ｙを１フレームずつ順次記憶するようになされている。動き検出部２３Ｂは、輝度データ記憶部２３Ａを参照することで、レンズブロック１より出力される、連続する２フレームの画像の差分値を演算し、その差分値に基づいて、画像の動きを検出するようになされている。そして、動き検出部２３Ｂは、画像の動きを検出した場合、その動きが検出された部分に表示されている物体を、追尾すべき被写体として設定し、その設定結果を、被写体処理部２１に出力するようになされている。
【００５３】
モータ駆動部２４は、被写体処理部２１の制御の下、パンモータ１２およびチルトモータ１３を回転駆動するようになされている。表示制御部２５は、被写体処理部２１の制御の下、モニタ１４の表示を制御するようになされている。
【００５４】
次に、図３のフローチャートを参照して、図１のビデオカメラシステムの画像の撮像処理について説明する。まず最初に、ステップＳ１において、レンズブロック１における露出が適正な状態に制御され、ステップＳ２に進み、被写体からの光ＬＡが、ＣＣＤ４において光電変換されることにより電気信号としての画像信号とされ、ステップＳ３に進む。ステップＳ３では、ＣＣＤ４より出力される画像信号が、信号分離／自動利得調整回路５においてサンプルホールド（信号分離）され、ステップＳ４に進み、そのサンプルホールドされた画像信号が、同じく信号分離／自動利得制御回路５において利得制御され、ステップＳ５に進む。ステップＳ５では、利得制御された画像信号が、Ａ／Ｄ変換器６においてサンプリングされ、さらに所定のビット数に量子化されて、ディジタルカメラ処理回路７に出力される。
【００５５】
ディジタルカメラ処理回路７では、ステップＳ６において、Ａ／Ｄ変換器６からの画像信号に対し、ディジタル信号処理が施され、これにより、その画像信号に対応する画像を構成する各画素の輝度信号Ｙ、並びに色差信号Ｒ，Ｂ、およびクロマ信号Ｃが生成される。そして、上述したように、輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、輝度信号Ｙおよび色差信号Ｒ，Ｂは、被写体認識回路部９に出力される。
【００５６】
その後、ステップＳ７に進み、Ｄ／Ａ変換器８において、ディジタルカメラ処理回路７からの輝度信号Ｙおよびクロマ信号ＣはＤ／Ａ変換され、モニタ１４に供給されて表示される。そして、ステップＳ１に戻り、このステップＳ１からの処理が繰り返される。
【００５７】
次に、図４のフローチャートを参照して、被写体認識回路部９の処理について説明する。被写体認識回路部９では、まず最初に、ステップＳ８において、後述する被写体追尾処理が、追尾信号処理回路１１によって行われ、これにより、追尾すべき被写体の検出が行われる。そして、ステップＳ１０に進み、ステップＳ８の被写体追尾処理が終了したかどうかが、追尾信号処理回路１１により判定され、終了していないと判定された場合、ステップＳ８に戻る。
【００５８】
また、ステップＳ１０において、ステップＳ８の被写体追尾処理が終了したと判定された場合、ステップＳ１１に進み、画像メモリ１０の記憶内容が、ディジタルカメラ処理回路７から供給される画像データ（輝度信号Ｙと、色差信号Ｒ，Ｂ）に、上述したようにして書き換えられ、ステップＳ８に戻る。
【００５９】
なお、ステップＳ８の被写体追尾処理により、追尾すべき被写体を検出することができた場合には、追尾信号処理回路１１では、ステップＳ９において、その被写体を囲む被写体枠を表示するように、モニタ１４が制御される。
【００６０】
次に、図５のフローチャートを参照して、図４のステップＳ８における被写体追尾処理について説明する。被写体追尾処理では、まず最初に、ステップＳ２１において、追尾すべき被写体が設定され、その被写体に対応する被写体モデル（特徴モデル）が、モデル記憶部２２に、既に記憶されているかどうかが、被写体処理部２１により判定される。ステップＳ２１において、被写体モデルが既に記憶されていると判定された場合、ステップＳ２２乃至Ｓ２４をスキップして、ステップＳ２５に進む。
【００６１】
また、ステップＳ２１において、被写体モデルがまだ記憶されていないと判定された場合、ステップＳ２２に進み、被写体処理部２１により、画像メモリ１０から読み出された現フレームの画像データのうちの輝度信号（１フレーム分の輝度信号）Ｙが、輝度データ記憶部２３Ａに供給されて記憶される。
【００６２】
そして、ステップＳ２３に進み、動き検出部２３Ｂにより、輝度データ記憶部２３Ａが参照され、レンズブロック１より出力された画像に動きがあったかどうかが判定される。
【００６３】
即ち、被写体処理部２１は、輝度データ記憶部２３Ａに輝度信号が記憶された画像の次のフレームの画像の輝度信号Ｙを画像メモリ１０から読み出し、動き検出部２３Ｂに供給する。動き検出部２３Ｂでは、輝度データ記憶部２３Ａに記憶された輝度信号ＹijをＹＰijと表すとともに、次のフレームの画像の輝度信号ＹijをＹＮijと表すとき、例えば、これらの輝度信号ＹＰijとＹＮijとのフレーム間差分の絶対値和が、所定の閾値より大きいかどうかが判定される。具体的には、輝度信号ＹＰijとＹＮijが次式を満たすかどうかが判定される。
【００６４】
Σ｜ＹＮij−ＹＰij｜＞α ・・・（１）
但し、Σは、１フレームの画像を構成する画素の座標（ｉ，ｊ）すべてについてのサメーションを表す。また、αは、所定の正数である。
【００６５】
輝度信号ＹＰijおよびＹＮijが、式（１）を満たさない場合、ステップＳ２３では、レンズブロック１より出力された画像に動きがなかったと判定される。この場合、ステップＳ２２に戻り、ステップＳ２３で、レンズブロック１より出力された画像に動きがあったと判定されるまで、ステップＳ２２およびＳ２３の処理が繰り返される。なお、この場合、ステップＳ２２では、次のフレームの画像の輝度信号ＹＮijが、現フレームの画像の輝度信号ＹＰijとして記憶されることになる。
【００６６】
また、輝度信号ＹＰijおよびＹＮijが、式（１）を満たす場合、ステップＳ２３では、レンズブロック１より出力された画像に動きがあったと判定される。この場合、動き検出部２３Ｂでは、動きのあった画素（ｉ，ｊ）、即ち、例えば式（２）を満たす画素（以下、適宜、動画素という）が検出される。
【００６７】
｜ＹＮij−ＹＰij｜＞β ・・・（２）
但し、βは、αより小さい正数である。
【００６８】
さらに、動き検出部２３Ｂは、動画素を検出した後、例えば、その飽和度（彩度）が、所定の閾値γより大きいものを検出する。即ち、動き検出部２３Ｂは、例えば式（３）を満たす動画素を検出する。
【００６９】
（Ｒij 2＋Ｂij 2）1/2＞γ ・・・（３）
但し、γは、所定の正数である。
【００７０】
そして、動き検出部２３Ｂでは、式（３）を満たす動画素により構成される物体が、追尾対象とする被写体として設定される。
【００７１】
従って、動き検出部２３Ｂにおいては、レンズブロック１による撮像が開始された後、即ち、例えば装置の電源がオンにされた後に、レンズブロック１で撮像された画像の中の最初に動いた物体が、追尾する被写体として設定される。
【００７２】
以上のように、装置の電源がオンにされた後に、最初に動いた物体が、追尾する被写体に設定されるので、ユーザは、そのような設定を行うための操作を行わずに済む。さらに、そのような操作を行うためのブロックを設ける必要がなくなるので、システムの簡素化を図ることも可能となる。
【００７３】
なお、動き検出部２３Ｂには、装置の電源がオンにされた後に、最初に動いた物体を、追尾する被写体に設定させる他、例えば所定のボタンが操作された後に、最初に動いた物体を、追尾する被写体に設定させるようにすることなども可能である。
【００７４】
動き検出部２３Ｂにおいて追尾する被写体が設定されると、その設定結果は、被写体処理部２１に出力される。被写体処理部２１では、動き検出部２３Ｂから被写体の設定結果を受信すると、ステップＳ２４において、その被写体に対応する被写体モデル（被写体の特徴を表す特徴モデル）が生成される。
【００７５】
即ち、追尾する被写体の画像データとしての輝度信号Ｙijおよび色差信号Ｒij，Ｂijの組（Ｙij，Ｒij，Ｂij）で表される点の集合は、この被写体自身を表すため、この点の集合から、被写体モデルが生成される。但し、点（Ｙij，Ｒij，Ｂij）の集合にはノイズが含まれ、また、この点（Ｙij，Ｒij，Ｂij）の集合は、被写体を表す代表的な点の集合に過ぎないため、この集合に一致する画像データを、レンズブロック１が出力する画像の中から見つけ出すことにより、被写体の検出を行うようにしたのでは、被写体の検出が困難となる。
【００７６】
そこで、点（Ｙij，Ｒij，Ｂij）の集合に、いわば幅を持たせるため（点（Ｙij，Ｒij，Ｂij）の集合と幾分異なる点の集合が得られた場合も、被写体を検出することができるように許容誤差を認めるため）、点（Ｙij，Ｒij，Ｂij）の集合に基づいて、点（Ｙij，ＨＲij，ＬＲij）および（Ｙij，ＨＢij，ＬＢij）の集合が求められる。
【００７７】
但し、ＨＲij，ＬＲij，ＨＢij，ＬＢijは、それぞれ次式にしたがって計算される。
ＨＲij＝１．１×Ｒij
ＬＲij＝０．９×Ｒij
ＨＢij＝１．１×Ｂij
ＬＢij＝０．９×Ｂij
【００７８】
なお、上式においては、許容誤差を１０％に設定（１＋０．１と、１−０．１）してあるが、許容誤差は、１０％に限定されるものではない。
【００７９】
ここで、図６（Ａ）に、ＹまたはＲをそれぞれ横軸または縦軸として、点（Ｙij，ＨＲij）および（Ｙij，ＬＲij）をプロットしたものを、また、図６（Ｂ）に、ＹまたはＢをそれぞれ横軸または縦軸として、点（Ｙij，ＨＢij）および（Ｙij，ＬＢij）をプロットしたものを、それぞれ示す。なお、図６の実施例では、ＲおよびＢを表す値として、−１２８乃至１２７の範囲の値が割り当てられている。
【００８０】
点（Ｙij，ＨＲij，ＬＲij）および（Ｙij，ＨＢij，ＬＢij）の集合が求められた後は、Ｙを引数として、ＲまたはＢそれぞれを、例えば２次関数で近似した被写体モデルが求められる。
【００８１】
ここで、本実施例では、異なる被写体について、ある程度近似した形の被写体モデル（２次関数）が得られるように、２次関数のＹ切片（被写体モデルである２次関数がＹ軸と交わる点）が、被写体の色相によって決められている。
【００８２】
即ち、被写体処理部２１は、被写体の色相と、２次関数のＹ切片とを対応付けて記憶しており、ＲijおよびＢijから、被写体の色相（例えば、その平均値など）を計算し、その色相に対応付けられているＹ切片を用いて、被写体モデルを求めるようになされている。
【００８３】
具体的には、いま設定された被写体の色相に対応付けられているＹ切片が、Ｙ−Ｒ座標系については、図６（Ａ）に示すように、ＲlowおよびＲhighであり（但し、Ｒlow＜Ｒhighとする）、Ｙ−Ｂ座標系については、図６（Ｂ）に示すように、ＢlowおよびＢhighであるとき（但し、Ｂlow＜Ｂhighとする）、次式で示される被写体モデルとしての２次関数ＨＦｒ（Ｙ）（Ｙに関するＲの特徴モデル），ＨＦｂ（Ｙ）（Ｙに関するＢの特徴モデル），ＬＦｒ（Ｙ）（Ｙに関するＲの特徴モデル），ＬＦｂ（Ｙ）（Ｙに関するＢの特徴モデル）それぞれを決める定数Ａ０，Ａ１，Ａ２，Ａ３が算出される。
【００８４】
ＨＦｒ（Ｙ）＝Ａ０×（Ｙ−Ｒlow）×（Ｙ−Ｒhigh）
ＨＦｂ（Ｙ）＝Ａ１×（Ｙ−Ｂlow）×（Ｙ−Ｂhigh）
ＬＦｒ（Ｙ）＝Ａ２×（Ｙ−Ｒlow）×（Ｙ−Ｒhigh）
ＬＦｂ（Ｙ）＝Ａ３×（Ｙ−Ｂlow）×（Ｙ−Ｂhigh）
【００８５】
但し、定数Ａ０乃至Ａ３は、点（Ｙij，ＨＲij）、（Ｙij，ＨＢij）、（Ｙij，ＬＲij）、または（Ｙij，ＬＢij）それぞれの集合を用い、例えば最小自乗法によって求められる。
【００８６】
図６に示したような点（Ｙij，ＨＲij），（Ｙij，ＨＢij），（Ｙij，ＬＲij）、または（Ｙij，ＬＢij）それぞれの集合から得られる２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、またはＬＦｂ（Ｙ）を、同じく図６に示す。なお、本実施例では、２次関数ＨＦｒ（Ｙ）およびＬＦｒ（Ｙ）の頂点は、Ｙ＝（Ｒlow＋Ｒhigh）／２の直線上に位置するようになされており、また、２次関数ＨＦｂ（Ｙ）およびＬＦｂ（Ｙ）の頂点は、Ｙ＝（Ｂlow＋Ｂhigh）／２の直線上に位置するようになされている。さらに、図６の実施例では、（Ｒlow＋Ｒhigh）／２および（Ｂlow＋Ｂhigh）／２は、いずれも２５５とされている。従って、図６の実施例の場合、２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、およびＬＦｂ（Ｙ）は、いずれもＹ＝２５５に対して線対称となっている。
【００８７】
被写体処理部２１は、ステップＳ２４において、以上のようにして被写体モデルとしての２次関数を規定する定数Ａ０およびＡ３を求め、この定数Ａ０乃至Ａ３と、上述のＹ切片Ｒlow，Ｒhigh，Ｂlow，Ｂhighを、モデル記憶部２２に記憶させる。
【００８８】
なお、このような、いわば輝度・色差空間（輝度Ｙおよび色差Ｒ，Ｂで表される３次元空間（図６においては、図が煩雑になるのを避けるために、輝度・色差空間を、Ｙ−Ｒの２次元平面と、Ｙ−Ｂの２次元平面とに分けて図示してある））において規定される被写体モデルを用いて、画像の中から被写体を抽出する方法については、その有効性が確認されている。
【００８９】
以上のようにして、被写体モデルが生成された後は、被写体処理部２１は、ステップＳ２５において、被写体画素選択処理を行い、その処理結果に基づいて、レンズブロック１から出力された画像の中に被写体が存在するかどうかを、ステップＳ２６において判定する。
【００９０】
即ち、ステップＳ２５では、レンズブロック１で撮像され、画像メモリ１０に記憶された画像を構成する各画素のうち、その輝度Ｙijと、色差信号ＲijまたはＢijそれぞれとが、次の２つの式の両方を満足するものが検出される。
【００９１】
ＬＦｒ（Ｙij）＜Ｒij＜ＨＦｒ（Ｙij）
ＬＦｂ（Ｙij）＜Ｂij＜ＨＦｂ（Ｙij）
なお、２次関数ＬＦｒ（Ｙij），ＨＦｒ（Ｙij），ＬＦｂ（Ｙij）、およびＨＦｂ（Ｙij）は、ステップＳ２４でモデル記憶部２２に記憶された被写体モデル（定数Ａ０乃至Ａ３、およびＹ切片Ｒlow，Ｒhigh，Ｂlow，Ｂhigh）により規定されるものである。
【００９２】
ステップＳ２５では、上式を満たす画素、即ち、図６（Ａ）に示した２つの２次関数ＬＦｒ（Ｙij）とＨＦｒ（Ｙij）との間にプロットされ、かつ図６（Ｂ）に示した２つの２次関数ＬＦｂ（Ｙij）とＨＦｂ（Ｙij）との間にプロットされる画素が、被写体を構成する画素（以下、適宜、被写体構成画素という）として検出される。
【００９３】
その後、ステップＳ２６に進み、レンズブロック１で撮像され、画像メモリ１０に記憶された画像の中に、被写体が存在するかどうかが判定される。即ち、ステップＳ２６では、ステップＳ２５で検出された被写体構成画素の総数が、所定の閾値δと比較される。そして、被写体構成画素数が所定の閾値δより多い場合、または被写体構成画素数が所定の閾値δ以下である場合、ステップＳ２６では、それぞれ、画像メモリ１０に記憶された画像の中に、被写体が存在する、または存在しないと判定される。
【００９４】
ステップＳ２６において、被写体が存在すると判定された場合、ステップＳ２７に進み、被写体の位置が、被写体処理部２１によって検出される。
【００９５】
即ち、例えば、ステップＳ２５で、図７（Ａ）に影を付して示すように、被写体構成画素が検出され、さらに、ステップＳ２６において、被写体が存在すると判定された場合には、ステップＳ２７では、ステップＳ２５で検出された被写体構成画素のうち、その被写体構成画素で構成される領域の周辺にある、いわばノイズ的なものを除去するために、被写体構成画素で構成される領域に対してフィルタリング処理が施される。これにより、図７（Ａ）に示す被写体構成画素は、図７（Ｂ）に示すようにされる。そして、ステップＳ２７では、フィルタリングの結果得られた被写体構成画素の集合の、例えば重心（例えば、水平方向または垂直方向をそれぞれｘ軸またはｙ軸とするｘｙ平面上の重心）（図７（Ｂ）において、×印で示す部分）が求められ、これが、被写体の位置とされる。
【００９６】
その後、ステップＳ２８に進み、被写体処理部２１において、例えば、図７（Ｂ）に太線で示すように、フィルタリングの結果得られた被写体構成画素の集合を囲む枠（以下、適宜、被写体枠という）を表示するように、表示制御部２５が制御される。これに対応して、表示制御部２５では、レンズブロック１で撮像された画像に、被写体枠がスーパインポーズして表示されるように、モニタ１４が制御される。
【００９７】
即ち、モニタ１４の表示画面に、例えば図８（Ａ）に白抜きで示すような被写体枠を表示させる場合には、表示制御部２５において、同図（Ｂ）に示すようなパルス（枠パルス）が生成される。なお、図８（Ｂ）は、同図（Ａ）のＡＡ’で示す水平走査線に、被写体枠を表示させるための枠パルスを示している。
【００９８】
そして、表示制御部２５は、レンズブロック１で撮像された画像の、対応する水平走査線に、図８（Ｃ）に示すように、枠パルスを重畳する。これにより、モニタ１４には、レンズブロック１で撮像された画像に、被写体枠がスーパインポーズされて表示される。
【００９９】
その後、ステップＳ２９に進み、被写体処理部２１において、ステップＳ２７で検出された被写体の位置が、モニタ１４の表示画面（レンズブロック１から出力される画像）の中央の位置に一致するように、モータ駆動部２４が制御される。これに対応して、モータ駆動部２４では、パンモータ１２、チルトモータ１３が回転駆動され、これにより、被写体が、モニタの表示画面の中央に引き込まれるように、レンズブロック１がパンチルトされ、処理（被写体追尾処理）を終了する。
【０１００】
以上のようにして、被写体の自動追尾が行われる。
【０１０１】
一方、ステップＳ２６において、被写体が存在しないと判定された場合、即ち、被写体を見失った場合（レンズブロック１から出力される画像の中から被写体を抽出（検出）することができなかった場合）、ステップＳ３０に進み、被写体枠の表示が、被写体を検出することができた場合とは明らかに異なる状態に変化される。
【０１０２】
即ち、ステップＳ３０では、被写体処理部２１において、被写体枠の表示を変化させるように、表示制御部２５が制御される。これに対応して、表示制御部２５は、被写体枠を、例えばその大きさを一定の速度で変化させながら、モニタ１４に表示させる。これにより、モニタ１４においては、被写体枠が、例えば、図９（Ａ），（Ｂ），（Ｃ），（Ｄ），（Ａ），・・・のような順番で、その大きさが一定時間ごとに変化されならが表示される。
【０１０３】
なお、ステップＳ３０の処理後は、例えば、被写体が存在する方向が予測され、さらに、そのような方向に、レンズブロック１がパンチルトされた後、被写体追尾処理を終了する。あるいは、また、ユーザによって、被写体が存在する方向に、レンズブロック１が、手動でパンチルトされ、被写体追尾処理を終了する。
【０１０４】
このように、被写体を検出することができなかった場合、被写体枠の表示が、被写体を検出することができた場合とは明らかに異なる状態に変化されるので、被写体が検出されていないことを、ユーザは容易に認識することができる。即ち、ユーザは、被写体の検出状況を容易に認識（確認）することができる。
【０１０５】
なお、本実施例では、被写体モデルの生成および被写体の検出を行うにあたって、３色表色系の１つである輝度信号および色差信号を用いるようにしたが、その他、例えばＲＧＢ表色系や、Ｌａｂ表色系、Ｌｕｖ表色系、ＸＹＺ表色系などを用いるようにすることも可能である。
【０１０６】
さらに、本実施例では、追尾すべき被写体を２次関数で近似するようにしたが、即ち、被写体モデルとして２次関数を用いるようにしたが、被写体モデルとしては、その他の関数などを用いることが可能である。
【０１０７】
また、本実施例では、被写体が検出されなかったときに、表示制御部２５に、被写体枠の大きさを変化させるようにしたが、その他、例えば、被写体枠を点滅させたり、あるいは消去したりするようにすることなども可能である。あるいは、また、例えば、被写体を検出することができなかった旨のメッセージ（文字）やマークなどを、表示制御部２５に表示させるようにしても良い。さらには、図２に点線で示すように、例えば被写体を検出することができなかった旨の音声や、所定のビープ音などを出力する放音部２６を設け、被写体が検出されなかったときには、この放音部２６に、上述のような音声やビープ音を出力させるようにすることも可能である。また、ビデオカメラシステムの見やすい位置に、ＬＥＤなどの光を発する発光部を設け、被写体が検出されなかったときには、そのような発光部を点灯させたり、点滅させたりするようにすることも可能である。
【０１０８】
さらに、画像の動きの検出方法は、上述したものに限定されるものではない。
【０１０９】
【発明の効果】
請求項１に記載の被写体検出装置および請求項１１に記載の被写体検出方法によれば、被写体を撮像する撮像部より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分が検出され、その検出された部分の飽和度と閾値との大小関係が比較され、比較の結果に基づいて、その部分の内、飽和度が閾値よりも大きい部分が被写体として設定され、設定された被写体が、撮影部より出力された画像より検出される。従って、ユーザが被写体を設定する操作を行わなくても、追尾すべき被写体を設定することができる。
【図面の簡単な説明】
【図１】本発明を適用したビデオカメラシステムの一実施例の構成を示すブロック図である。
【図２】図１の追尾信号処理回路１１の構成例を示すブロック図である。
【図３】図１のビデオカメラシステムの動作を説明するためのフローチャートである。
【図４】図１の被写体認識回路部９の動作を説明するためのフローチャートである。
【図５】図４のステップＳ８の処理の詳細を説明するためのフローチャートである。
【図６】被写体モデルの生成方法を説明するための図である。
【図７】図５のステップＳ２７の処理を説明するための図である。
【図８】被写体枠の表示について説明するための図である。
【図９】被写体枠の表示が変化する様子を示す図である。
【符号の説明】
１ レンズブロック， ９ 被写体認識回路部， １０ 画像メモリ， １１追尾信号処理回路， １２ パンモータ， １３ チルトモータ， １４ モニタ， ２１ 被写体処理部， ２２ モデル記憶部， ２３ 被写体設定部，２３Ａ 輝度データ記憶部， ２３Ｂ 動き検出部， ２４ モータ駆動部，２５ 表示制御部， ２６ 放音部
【発明の属する技術分野】
本発明は、被写体検出装置および被写体検出方法に関する。特に、例えば監視カメラや、テレビ会議システム、その他、被写体を自動追尾するビデオカメラなどに用いて好適な被写体検出装置および被写体検出方法に関する。
【０００２】
【従来の技術】
従来より、パン駆動機構およびチルト駆動機構を用いて、例えば表示画面の中央部に、追尾対象である被写体を表示させるように自動追尾を行うビデオカメラが提案されている。
【０００３】
即ち、このようなビデオカメラにおいては、例えば表示画面（ビデオカメラにより撮像される画像）の中央部に基準計測枠が設けられ、まず、その基準計測枠に、追尾対象の被写体が含まれるように撮像が行われて記憶される（自動追尾する被写体が設定される）。その後、ビデオカメラにより撮像された画像から、記憶された被写体が検出され、被写体を検出することができた場合には、その被写体が、表示画面の中央部に表示されるように、パンニングおよびチルティングが行われる。
【０００４】
さらに、被写体を検出することができた場合には、ビデオカメラより出力される画像のうち、例えば、その被写体が占有している領域が、白飽和などされて表示され、これにより、被写体の位置を、ユーザが認識することができるようになされている。
【０００５】
また、被写体を検出することができなかった場合（被写体を見失った場合）には、ビデオカメラより出力される画像が、そのまま表示されるようになされている。
【０００６】
このような自動追尾を行うビデオカメラは、例えば監視カメラや、話者を自動追尾する話者自動追尾型テレビ会議システムなどに適用することができ、さらに、セキュリティシステムの無人化や、いわゆるハンズフリー撮影などを行うのに有効な手段である。
【０００７】
【発明が解決しようとする課題】
ところで、従来のビデオカメラでは、追尾する被写体を設定する場合、基準計測枠に、その被写体が含まれるように、ユーザが、ビデオカメラをパンチルト（パンニングまたはチルティング）する必要があった。
【０００８】
即ち、被写体の設定後は、ユーザがビデオカメラを操作する必要はないが、被写体を設定するためには、ユーザがビデオカメラを操作する必要があり、面倒であった。
【０００９】
また、従来においては、自動追尾中に、被写体を検出することができなくなった場合には、上述したように、ビデオカメラより出力される画像が、その一部が白飽和などされず、そのまま表示されるが、この場合、被写体が検出されていないことを、ユーザが認識し難い課題があった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、ユーザが操作を行わなくても、被写体を設定することができるようにするものである。また、被写体が検出されていないことを、ユーザが容易に認識することができるようにするものである。
【００１１】
【課題を解決するための手段】
請求項１に記載の被写体検出装置は、被写体を撮像する撮像部より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する動き検出手段と、動き検出手段により検出された部分の飽和度と第１の閾値との大小関係を比較する比較手段と、比較手段による比較の結果に基づいて、その部分の内、飽和度が第１の閾値よりも大きい部分を被写体として設定する被写体設定手段と、被写体設定手段により設定された被写体を、撮影部より出力された画像より検出する被写体検出手段とを備えることを特徴とする。
【００１２】
請求項１１に記載の被写体検出方法は、被写体を撮像する撮像部より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する動き検出ステップと、動き検出ステップの処理により検出された部分の飽和度と閾値との大小関係を比較する比較ステップと、比較ステップの処理による比較の結果に基づいて、その部分の内、飽和度が閾値よりも大きい部分を被写体として設定する被写体設定ステップと、被写体設定ステップの処理により設定された被写体を、撮影部より出力された画像より検出する被写体検出ステップとを含むことを特徴とする。
【００１９】
請求項１に記載の被写体検出装置においては、動き検出手段は、被写体を撮像する撮像部より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出し、比較手段は、動き検出手段により検出された部分の飽和度と第１の閾値との大小関係を比較し、被写体設定手段は、比較手段による比較の結果に基づいて、その部分の内、飽和度が第１の閾値よりも大きい部分を被写体として設定し、被写体検出手段は、被写体設定手段により設定された被写体を、撮影部より出力された画像より検出するようになされている。
【００２０】
請求項１１に記載の被写体検出方法においては、被写体を撮像する撮像部より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出し、その検出された部分の飽和度と閾値との大小関係を比較し、比較の結果に基づいて、その部分の内、飽和度が閾値よりも大きい部分を被写体として設定し、設定された被写体を、撮影部より出力された画像より検出するようになされている。
【００２７】
【発明の実施の形態】
以下に、本発明の実施例を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施例との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施例（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００２８】
即ち、請求項１に記載の被写体検出装置は、被写体を検出する被写体検出装置であって、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する動き検出手段（例えば、図５の処理ステップＳ２３で動画素を検出する図２に示す動き検出部２３Ｂなど）と、動き検出手段により検出された部分の飽和度と第１の閾値との大小関係を比較する比較手段（例えば、図５の処理ステップＳ２３で動画素の飽和度を閾値γと比較する図２に示す動き検出部２３Ｂなど）と、比較手段による比較の結果に基づいて、その部分の内、飽和度が第１の閾値よりも大きい部分を被写体として設定する被写体設定手段（例えば、図２に示す被写体設定部２３など）と、被写体設定手段により設定された被写体を、撮影部より出力された画像より検出する被写体検出手段（例えば、図５の処理ステップＳ２５で被写体画素選択処理を行う図２に示す被写体処理部２１など）とを備えることを特徴とする。
【００２９】
被写体検出装置においては、動き検出手段は、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に、撮像部より出力された連続する現フレームの画像の輝度信号と次のフレームの画像の輝度信号との、画素毎のフレーム間差分の絶対値和と、第２の閾値との大小関係に基づいて、画像に動きがあったかを判定し、動きがあったと判定した場合、画素毎のフレーム間差分の絶対値と第３の閾値との大小関係に基づいて、現フレームの動きのあった画素を検出することにより、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する（例えば、図５の処理ステップＳ２３の式（１）および式（２）を利用した処理など）ようにすることができる。
被写体検出装置においては、被写体検出手段は、被写体設定手段により設定された被写体の被写体モデルを生成し、被写体モデルに一致する画像を、撮像部より出力された画像より検索することにより、被写体を検出する（例えば、図５のステップＳ２７など）ようにすることができる。
被写体検出装置においては、被写体検出手段は、被写体モデルが許容誤差を含むように、被写体モデルを生成する（例えば、図６）ようにすることができる。
【００３０】
被写体検出装置においては、被写体検出手段により検出された被写体の位置が、被写体を撮像する撮像部より出力される画像の所定の基準の位置と一致するように、撮像部を駆動する駆動部（例えば、図１に示すパンモータおよびチルトモータなど）を制御する制御手段（例えば、図２に示すモータ駆動部２４など）をさらに設けることができる。
【００３１】
被写体検出装置においては、被写体検出手段により被写体が検出されたとき、その被写体を囲む枠を表示させ、被写体が検出されなかったとき、枠の表示を変化させる枠表示制御手段（例えば、図２に示す表示制御部２５など）をさらに設けることができる。
【００３２】
被写体検出装置においては、枠表示制御手段が、被写体が検出されなかったとき、枠を、その大きさを変化させながら表示させる（例えば、図９）ようにすることができる。
【００３３】
被写体検出装置においては、被写体検出手段により被写体が検出されなかったとき、所定の文字（例えば、被写体を検出することができなかった旨のメッセージ）を表示させる文字表示制御手段（例えば、図２に示す表示制御部２５など）をさらに設けることができる。
【００３４】
被写体検出装置においては、被写体検出手段により被写体が検出されなかったとき、所定の音声を出力させる音声出力手段（例えば、図２に示す放音部２６など）をさらに設けることができる。
【００３５】
請求項１１に記載の被写体検出方法は、被写体を検出する被写体検出装置の被写体検出方法であって、被写体を撮像する撮像部（例えば、図１に示すレンズブロック１など）より出力された画像の、被写体検出装置の電源がオンにされた後に最初に動いた部分を検出する動き検出ステップ（例えば、動画素を検出する図５の処理ステップＳ２３など）と、動き検出ステップの処理により検出された部分の飽和度と閾値との大小関係を比較する比較ステップ（例えば、動画素の飽和度を閾値γと比較する図５の処理ステップＳ２３など）と、比較ステップの処理による比較の結果に基づいて、その部分の内、飽和度が閾値よりも大きい部分を被写体として設定する被写体設定ステップ（例えば、追尾対象とする被写体として設定する図５の処理ステップＳ２３など）と、被写体設定ステップの処理により設定された被写体を、撮影部より出力された画像より検出する被写体検出ステップ（例えば、被写体画素選択処理を行う図５の処理ステップＳ２５など）とを含むことを特徴とする。
【００３６】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００３７】
図１は、本発明を適用したビデオカメラシステムの一実施例の構成を示している。レンズブロック１は、レンズ２、アイリス３、およびＣＣＤ（Charge Coupled Device）４から構成され、被写体からの光ＬＡを撮像し、電気信号としての画像信号を出力する。即ち、被写体からの光ＬＡは、レンズ２により、アイリス３を介してＣＣＤ４上に結像され、これにより、ＣＣＤ４からは、その受光量に対応した画像信号が出力される。
【００３８】
なお、アイリス３は、いわゆるオートアイリス（ＡＥ）機構を構成しており、ＣＣＤ４で受光される光量を、適切な値に調整する（レンズブロック１の露光状態を適切な状態にする）ようになされている。
【００３９】
レンズブロック１から出力された画像信号は、信号分離（Ｓ／Ｈ（Sample Hold）／自動利得調整（ＡＧＣ（Automatic Gain Control））回路５において、サンプルホールドされ、さらに、オートアイリス機構からの制御信号によって、所定のゲインを持つように利得制御された後、Ａ／Ｄ変換器６に出力される。
【００４０】
Ａ／Ｄ変換器６は、信号分離／自動利得調整回路５からの画像信号（アナログ信号）を、所定のクロックにしたがってＡ／Ｄ変換することによりディジタルの画像信号にする。なお、Ａ／Ｄ変換器６がＡ／Ｄ変換を行うために用いる基準電圧は、図示せぬオートホワイトバランス（ＡＷＢ）機構から供給されるようになされており、これにより、ホワイトバランスが適正に調整されるようになされている。
【００４１】
ここで、本実施例では、オートアイリス機構およびオートホワイトバランス機構を機能させるようにしたが、オートアイリス機構およびオートホワイトバランス機構を機能させず、固定の露出およびホワイトバランスで、撮像を行うようにすることも可能である。
【００４２】
Ａ／Ｄ変換器６によってディジタル信号とされた画像信号は、ディジタルカメラ処理回路７に供給される。ディジタルカメラ処理回路７は、Ａ／Ｄ変換器６からの画像信号に基づいて、その画像信号に対応する画像を構成する各画素の輝度信号Ｙ、並びに色差信号Ｒ−Ｙ，Ｂ−Ｙ、およびクロマ信号Ｃを生成する。輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、そこでＤ／Ａ変換された後、モニタ１４に供給される。これにより、モニタ１４では、レンズブロック１で撮像された画像が表示される。
【００４３】
また、ディジタルカメラ処理回路７で生成された輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙは、被写体認識回路部９に供給される。被写体認識回路部９は、ディジタルカメラ処理回路７からの輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙで構成される画像の中から、追尾すべき被写体を検出し、その被写体が、レンズブロック１から出力される画像の、例えば中央部分（所定の基準位置）に表示されるように、パンモータ１２およびチルトモータ１３を駆動する。
【００４４】
即ち、被写体認識回路部９は、フレームメモリ構成の画像メモリ１０と、マイクロプロセッサ構成の追尾信号処理回路１１とで構成される。画像メモリ１０は、追尾信号処理回路１１から書き込み許可信号を受信すると、ディジタルカメラ処理回路７が出力する輝度信号Ｙ、色差信号Ｒ−Ｙ，Ｂ−Ｙそれぞれを、独立に、画素単位で記憶する。
【００４５】
ここで、以下、適宜、色差信号Ｒ−ＹまたはＢ−Ｙを、それぞれＲまたはＢと略記する。また、レンズブロック１が出力する画像の最も左上の画素の位置を原点（０，０）とし、その位置の左または上からそれぞれｉまたはｊ番目の画素の輝度信号Ｙ、色差信号Ｒ，Ｂそれぞれを、以下、適宜、Ｙij，Ｒij，Ｂijとも表す。さらに、以下、適宜、輝度信号Ｙ、色差信号Ｒ，Ｂをまとめて、画像データともいう。
【００４６】
画像メモリ１０は、１フレーム（または１フィールド）分の画像データを記憶すると、読み出し許可信号を、追尾信号処理回路１１に出力する。そして、画像目メモリ１０は、その後、追尾信号処理回路１１が出力するアドレス（上述のｉ，ｊに対応する）を受信すると、そのアドレスに記憶された画像データを、追尾信号処理回路１１に出力する。
【００４７】
追尾信号処理回路１１は、画像メモリ１０から読み出し許可信号を受信すると、被写体の追尾に必要な画像データを、上述したように、画像メモリ１０にアドレス（メモリアドレス）を与えることで読み出し、これにより、レンズブロック１より出力された画像から、追尾すべき被写体を検出する。その後、追尾信号処理回路１１は、書き込み許可信号を、画像メモリ１０に供給し、これにより、画像メモリ１０では、レンズブロック１で撮像された画像が、新たに記憶される（既に記憶されている画像に上書きされる）。その後、画像メモリ１０は、上述したように、読み出し許可信号を出力し、以下、同様にして、画像メモリ１０では、レンズブロック１で撮像された画像が、順次記憶されていく。なお、以上のようにして、画像メモリ１０の記憶内容が書き換えられるのは、被写体の自動追尾の開始後（後述する図５のステップＳ２５以降の処理が行われる場合）であり、自動追尾が開始される前（後述する図５のステップＳ２２およびＳ２３が繰り返し行われている場合）は、画像メモリ１０の記憶内容は、例えばフレーム周期（またはフィールド周期）で、レンズブロック１が出力する画像に書き換えられていく。
【００４８】
また、追尾信号処理回路１１は、被写体を検出すると、その被写体が、レンズブロック１から出力される画像の中央部分に表示されるように、パンモータ１２およびチルトモータ１３を駆動する。これにより、パンモータ１２またはチルトモータ１３において、レンズブロック１がそれぞれパンニングまたはチルティング駆動され、被写体が、レンズブロック１が出力する画像の中央部分に表示される。
【００４９】
さらに、追尾信号処理回路１１は、被写体を検出した場合、その被写体を囲む枠（以下、適宜、被写体枠という）を、モニタ１４に表示させる。
【００５０】
図２は、追尾信号処理回路１１の機能的な構成例を示している。被写体処理部２１は、上述した書き込み許可信号およびアドレスを画像メモリ１０に出力するとともに、読み出し許可信号および画像データを受信し、モデル記憶部２２を参照しながら、被写体の追尾に必要な処理を行う。さらに、被写体処理部２１では、その処理結果に応じて、モータ駆動部２４および表示制御部２５が制御される。また、被写体処理部２１は、被写体設定部２３により設定される、追尾すべき被写体の特徴を表す被写体モデル（追尾すべき被写体をモデル化したもの）を生成し、モデル記憶部２２に記憶させるようにもなされている。
【００５１】
モデル記憶部２２は、被写体処理部２１によって生成された被写体モデルを記憶するようになされている。
【００５２】
被写体設定部２３は、輝度データ記憶部２３Ａおよび動き検出部２３Ｂから構成されており、追尾すべき被写体を設定するようになされている。即ち、輝度データ記憶部２３Ａは、被写体処理部２１が画像メモリ１０から読み出した画像データＹ，Ｒ，Ｂのうちの、例えば輝度信号Ｙを１フレームずつ順次記憶するようになされている。動き検出部２３Ｂは、輝度データ記憶部２３Ａを参照することで、レンズブロック１より出力される、連続する２フレームの画像の差分値を演算し、その差分値に基づいて、画像の動きを検出するようになされている。そして、動き検出部２３Ｂは、画像の動きを検出した場合、その動きが検出された部分に表示されている物体を、追尾すべき被写体として設定し、その設定結果を、被写体処理部２１に出力するようになされている。
【００５３】
モータ駆動部２４は、被写体処理部２１の制御の下、パンモータ１２およびチルトモータ１３を回転駆動するようになされている。表示制御部２５は、被写体処理部２１の制御の下、モニタ１４の表示を制御するようになされている。
【００５４】
次に、図３のフローチャートを参照して、図１のビデオカメラシステムの画像の撮像処理について説明する。まず最初に、ステップＳ１において、レンズブロック１における露出が適正な状態に制御され、ステップＳ２に進み、被写体からの光ＬＡが、ＣＣＤ４において光電変換されることにより電気信号としての画像信号とされ、ステップＳ３に進む。ステップＳ３では、ＣＣＤ４より出力される画像信号が、信号分離／自動利得調整回路５においてサンプルホールド（信号分離）され、ステップＳ４に進み、そのサンプルホールドされた画像信号が、同じく信号分離／自動利得制御回路５において利得制御され、ステップＳ５に進む。ステップＳ５では、利得制御された画像信号が、Ａ／Ｄ変換器６においてサンプリングされ、さらに所定のビット数に量子化されて、ディジタルカメラ処理回路７に出力される。
【００５５】
ディジタルカメラ処理回路７では、ステップＳ６において、Ａ／Ｄ変換器６からの画像信号に対し、ディジタル信号処理が施され、これにより、その画像信号に対応する画像を構成する各画素の輝度信号Ｙ、並びに色差信号Ｒ，Ｂ、およびクロマ信号Ｃが生成される。そして、上述したように、輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、輝度信号Ｙおよび色差信号Ｒ，Ｂは、被写体認識回路部９に出力される。
【００５６】
その後、ステップＳ７に進み、Ｄ／Ａ変換器８において、ディジタルカメラ処理回路７からの輝度信号Ｙおよびクロマ信号ＣはＤ／Ａ変換され、モニタ１４に供給されて表示される。そして、ステップＳ１に戻り、このステップＳ１からの処理が繰り返される。
【００５７】
次に、図４のフローチャートを参照して、被写体認識回路部９の処理について説明する。被写体認識回路部９では、まず最初に、ステップＳ８において、後述する被写体追尾処理が、追尾信号処理回路１１によって行われ、これにより、追尾すべき被写体の検出が行われる。そして、ステップＳ１０に進み、ステップＳ８の被写体追尾処理が終了したかどうかが、追尾信号処理回路１１により判定され、終了していないと判定された場合、ステップＳ８に戻る。
【００５８】
また、ステップＳ１０において、ステップＳ８の被写体追尾処理が終了したと判定された場合、ステップＳ１１に進み、画像メモリ１０の記憶内容が、ディジタルカメラ処理回路７から供給される画像データ（輝度信号Ｙと、色差信号Ｒ，Ｂ）に、上述したようにして書き換えられ、ステップＳ８に戻る。
【００５９】
なお、ステップＳ８の被写体追尾処理により、追尾すべき被写体を検出することができた場合には、追尾信号処理回路１１では、ステップＳ９において、その被写体を囲む被写体枠を表示するように、モニタ１４が制御される。
【００６０】
次に、図５のフローチャートを参照して、図４のステップＳ８における被写体追尾処理について説明する。被写体追尾処理では、まず最初に、ステップＳ２１において、追尾すべき被写体が設定され、その被写体に対応する被写体モデル（特徴モデル）が、モデル記憶部２２に、既に記憶されているかどうかが、被写体処理部２１により判定される。ステップＳ２１において、被写体モデルが既に記憶されていると判定された場合、ステップＳ２２乃至Ｓ２４をスキップして、ステップＳ２５に進む。
【００６１】
また、ステップＳ２１において、被写体モデルがまだ記憶されていないと判定された場合、ステップＳ２２に進み、被写体処理部２１により、画像メモリ１０から読み出された現フレームの画像データのうちの輝度信号（１フレーム分の輝度信号）Ｙが、輝度データ記憶部２３Ａに供給されて記憶される。
【００６２】
そして、ステップＳ２３に進み、動き検出部２３Ｂにより、輝度データ記憶部２３Ａが参照され、レンズブロック１より出力された画像に動きがあったかどうかが判定される。
【００６３】
即ち、被写体処理部２１は、輝度データ記憶部２３Ａに輝度信号が記憶された画像の次のフレームの画像の輝度信号Ｙを画像メモリ１０から読み出し、動き検出部２３Ｂに供給する。動き検出部２３Ｂでは、輝度データ記憶部２３Ａに記憶された輝度信号ＹijをＹＰijと表すとともに、次のフレームの画像の輝度信号ＹijをＹＮijと表すとき、例えば、これらの輝度信号ＹＰijとＹＮijとのフレーム間差分の絶対値和が、所定の閾値より大きいかどうかが判定される。具体的には、輝度信号ＹＰijとＹＮijが次式を満たすかどうかが判定される。
【００６４】
Σ｜ＹＮij−ＹＰij｜＞α ・・・（１）
但し、Σは、１フレームの画像を構成する画素の座標（ｉ，ｊ）すべてについてのサメーションを表す。また、αは、所定の正数である。
【００６５】
輝度信号ＹＰijおよびＹＮijが、式（１）を満たさない場合、ステップＳ２３では、レンズブロック１より出力された画像に動きがなかったと判定される。この場合、ステップＳ２２に戻り、ステップＳ２３で、レンズブロック１より出力された画像に動きがあったと判定されるまで、ステップＳ２２およびＳ２３の処理が繰り返される。なお、この場合、ステップＳ２２では、次のフレームの画像の輝度信号ＹＮijが、現フレームの画像の輝度信号ＹＰijとして記憶されることになる。
【００６６】
また、輝度信号ＹＰijおよびＹＮijが、式（１）を満たす場合、ステップＳ２３では、レンズブロック１より出力された画像に動きがあったと判定される。この場合、動き検出部２３Ｂでは、動きのあった画素（ｉ，ｊ）、即ち、例えば式（２）を満たす画素（以下、適宜、動画素という）が検出される。
【００６７】
｜ＹＮij−ＹＰij｜＞β ・・・（２）
但し、βは、αより小さい正数である。
【００６８】
さらに、動き検出部２３Ｂは、動画素を検出した後、例えば、その飽和度（彩度）が、所定の閾値γより大きいものを検出する。即ち、動き検出部２３Ｂは、例えば式（３）を満たす動画素を検出する。
【００６９】
（Ｒij 2＋Ｂij 2）1/2＞γ ・・・（３）
但し、γは、所定の正数である。
【００７０】
そして、動き検出部２３Ｂでは、式（３）を満たす動画素により構成される物体が、追尾対象とする被写体として設定される。
【００７１】
従って、動き検出部２３Ｂにおいては、レンズブロック１による撮像が開始された後、即ち、例えば装置の電源がオンにされた後に、レンズブロック１で撮像された画像の中の最初に動いた物体が、追尾する被写体として設定される。
【００７２】
以上のように、装置の電源がオンにされた後に、最初に動いた物体が、追尾する被写体に設定されるので、ユーザは、そのような設定を行うための操作を行わずに済む。さらに、そのような操作を行うためのブロックを設ける必要がなくなるので、システムの簡素化を図ることも可能となる。
【００７３】
なお、動き検出部２３Ｂには、装置の電源がオンにされた後に、最初に動いた物体を、追尾する被写体に設定させる他、例えば所定のボタンが操作された後に、最初に動いた物体を、追尾する被写体に設定させるようにすることなども可能である。
【００７４】
動き検出部２３Ｂにおいて追尾する被写体が設定されると、その設定結果は、被写体処理部２１に出力される。被写体処理部２１では、動き検出部２３Ｂから被写体の設定結果を受信すると、ステップＳ２４において、その被写体に対応する被写体モデル（被写体の特徴を表す特徴モデル）が生成される。
【００７５】
即ち、追尾する被写体の画像データとしての輝度信号Ｙijおよび色差信号Ｒij，Ｂijの組（Ｙij，Ｒij，Ｂij）で表される点の集合は、この被写体自身を表すため、この点の集合から、被写体モデルが生成される。但し、点（Ｙij，Ｒij，Ｂij）の集合にはノイズが含まれ、また、この点（Ｙij，Ｒij，Ｂij）の集合は、被写体を表す代表的な点の集合に過ぎないため、この集合に一致する画像データを、レンズブロック１が出力する画像の中から見つけ出すことにより、被写体の検出を行うようにしたのでは、被写体の検出が困難となる。
【００７６】
そこで、点（Ｙij，Ｒij，Ｂij）の集合に、いわば幅を持たせるため（点（Ｙij，Ｒij，Ｂij）の集合と幾分異なる点の集合が得られた場合も、被写体を検出することができるように許容誤差を認めるため）、点（Ｙij，Ｒij，Ｂij）の集合に基づいて、点（Ｙij，ＨＲij，ＬＲij）および（Ｙij，ＨＢij，ＬＢij）の集合が求められる。
【００７７】
但し、ＨＲij，ＬＲij，ＨＢij，ＬＢijは、それぞれ次式にしたがって計算される。
ＨＲij＝１．１×Ｒij
ＬＲij＝０．９×Ｒij
ＨＢij＝１．１×Ｂij
ＬＢij＝０．９×Ｂij
【００７８】
なお、上式においては、許容誤差を１０％に設定（１＋０．１と、１−０．１）してあるが、許容誤差は、１０％に限定されるものではない。
【００７９】
ここで、図６（Ａ）に、ＹまたはＲをそれぞれ横軸または縦軸として、点（Ｙij，ＨＲij）および（Ｙij，ＬＲij）をプロットしたものを、また、図６（Ｂ）に、ＹまたはＢをそれぞれ横軸または縦軸として、点（Ｙij，ＨＢij）および（Ｙij，ＬＢij）をプロットしたものを、それぞれ示す。なお、図６の実施例では、ＲおよびＢを表す値として、−１２８乃至１２７の範囲の値が割り当てられている。
【００８０】
点（Ｙij，ＨＲij，ＬＲij）および（Ｙij，ＨＢij，ＬＢij）の集合が求められた後は、Ｙを引数として、ＲまたはＢそれぞれを、例えば２次関数で近似した被写体モデルが求められる。
【００８１】
ここで、本実施例では、異なる被写体について、ある程度近似した形の被写体モデル（２次関数）が得られるように、２次関数のＹ切片（被写体モデルである２次関数がＹ軸と交わる点）が、被写体の色相によって決められている。
【００８２】
即ち、被写体処理部２１は、被写体の色相と、２次関数のＹ切片とを対応付けて記憶しており、ＲijおよびＢijから、被写体の色相（例えば、その平均値など）を計算し、その色相に対応付けられているＹ切片を用いて、被写体モデルを求めるようになされている。
【００８３】
具体的には、いま設定された被写体の色相に対応付けられているＹ切片が、Ｙ−Ｒ座標系については、図６（Ａ）に示すように、ＲlowおよびＲhighであり（但し、Ｒlow＜Ｒhighとする）、Ｙ−Ｂ座標系については、図６（Ｂ）に示すように、ＢlowおよびＢhighであるとき（但し、Ｂlow＜Ｂhighとする）、次式で示される被写体モデルとしての２次関数ＨＦｒ（Ｙ）（Ｙに関するＲの特徴モデル），ＨＦｂ（Ｙ）（Ｙに関するＢの特徴モデル），ＬＦｒ（Ｙ）（Ｙに関するＲの特徴モデル），ＬＦｂ（Ｙ）（Ｙに関するＢの特徴モデル）それぞれを決める定数Ａ０，Ａ１，Ａ２，Ａ３が算出される。
【００８４】
ＨＦｒ（Ｙ）＝Ａ０×（Ｙ−Ｒlow）×（Ｙ−Ｒhigh）
ＨＦｂ（Ｙ）＝Ａ１×（Ｙ−Ｂlow）×（Ｙ−Ｂhigh）
ＬＦｒ（Ｙ）＝Ａ２×（Ｙ−Ｒlow）×（Ｙ−Ｒhigh）
ＬＦｂ（Ｙ）＝Ａ３×（Ｙ−Ｂlow）×（Ｙ−Ｂhigh）
【００８５】
但し、定数Ａ０乃至Ａ３は、点（Ｙij，ＨＲij）、（Ｙij，ＨＢij）、（Ｙij，ＬＲij）、または（Ｙij，ＬＢij）それぞれの集合を用い、例えば最小自乗法によって求められる。
【００８６】
図６に示したような点（Ｙij，ＨＲij），（Ｙij，ＨＢij），（Ｙij，ＬＲij）、または（Ｙij，ＬＢij）それぞれの集合から得られる２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、またはＬＦｂ（Ｙ）を、同じく図６に示す。なお、本実施例では、２次関数ＨＦｒ（Ｙ）およびＬＦｒ（Ｙ）の頂点は、Ｙ＝（Ｒlow＋Ｒhigh）／２の直線上に位置するようになされており、また、２次関数ＨＦｂ（Ｙ）およびＬＦｂ（Ｙ）の頂点は、Ｙ＝（Ｂlow＋Ｂhigh）／２の直線上に位置するようになされている。さらに、図６の実施例では、（Ｒlow＋Ｒhigh）／２および（Ｂlow＋Ｂhigh）／２は、いずれも２５５とされている。従って、図６の実施例の場合、２次関数ＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ）、およびＬＦｂ（Ｙ）は、いずれもＹ＝２５５に対して線対称となっている。
【００８７】
被写体処理部２１は、ステップＳ２４において、以上のようにして被写体モデルとしての２次関数を規定する定数Ａ０およびＡ３を求め、この定数Ａ０乃至Ａ３と、上述のＹ切片Ｒlow，Ｒhigh，Ｂlow，Ｂhighを、モデル記憶部２２に記憶させる。
【００８８】
なお、このような、いわば輝度・色差空間（輝度Ｙおよび色差Ｒ，Ｂで表される３次元空間（図６においては、図が煩雑になるのを避けるために、輝度・色差空間を、Ｙ−Ｒの２次元平面と、Ｙ−Ｂの２次元平面とに分けて図示してある））において規定される被写体モデルを用いて、画像の中から被写体を抽出する方法については、その有効性が確認されている。
【００８９】
以上のようにして、被写体モデルが生成された後は、被写体処理部２１は、ステップＳ２５において、被写体画素選択処理を行い、その処理結果に基づいて、レンズブロック１から出力された画像の中に被写体が存在するかどうかを、ステップＳ２６において判定する。
【００９０】
即ち、ステップＳ２５では、レンズブロック１で撮像され、画像メモリ１０に記憶された画像を構成する各画素のうち、その輝度Ｙijと、色差信号ＲijまたはＢijそれぞれとが、次の２つの式の両方を満足するものが検出される。
【００９１】
ＬＦｒ（Ｙij）＜Ｒij＜ＨＦｒ（Ｙij）
ＬＦｂ（Ｙij）＜Ｂij＜ＨＦｂ（Ｙij）
なお、２次関数ＬＦｒ（Ｙij），ＨＦｒ（Ｙij），ＬＦｂ（Ｙij）、およびＨＦｂ（Ｙij）は、ステップＳ２４でモデル記憶部２２に記憶された被写体モデル（定数Ａ０乃至Ａ３、およびＹ切片Ｒlow，Ｒhigh，Ｂlow，Ｂhigh）により規定されるものである。
【００９２】
ステップＳ２５では、上式を満たす画素、即ち、図６（Ａ）に示した２つの２次関数ＬＦｒ（Ｙij）とＨＦｒ（Ｙij）との間にプロットされ、かつ図６（Ｂ）に示した２つの２次関数ＬＦｂ（Ｙij）とＨＦｂ（Ｙij）との間にプロットされる画素が、被写体を構成する画素（以下、適宜、被写体構成画素という）として検出される。
【００９３】
その後、ステップＳ２６に進み、レンズブロック１で撮像され、画像メモリ１０に記憶された画像の中に、被写体が存在するかどうかが判定される。即ち、ステップＳ２６では、ステップＳ２５で検出された被写体構成画素の総数が、所定の閾値δと比較される。そして、被写体構成画素数が所定の閾値δより多い場合、または被写体構成画素数が所定の閾値δ以下である場合、ステップＳ２６では、それぞれ、画像メモリ１０に記憶された画像の中に、被写体が存在する、または存在しないと判定される。
【００９４】
ステップＳ２６において、被写体が存在すると判定された場合、ステップＳ２７に進み、被写体の位置が、被写体処理部２１によって検出される。
【００９５】
即ち、例えば、ステップＳ２５で、図７（Ａ）に影を付して示すように、被写体構成画素が検出され、さらに、ステップＳ２６において、被写体が存在すると判定された場合には、ステップＳ２７では、ステップＳ２５で検出された被写体構成画素のうち、その被写体構成画素で構成される領域の周辺にある、いわばノイズ的なものを除去するために、被写体構成画素で構成される領域に対してフィルタリング処理が施される。これにより、図７（Ａ）に示す被写体構成画素は、図７（Ｂ）に示すようにされる。そして、ステップＳ２７では、フィルタリングの結果得られた被写体構成画素の集合の、例えば重心（例えば、水平方向または垂直方向をそれぞれｘ軸またはｙ軸とするｘｙ平面上の重心）（図７（Ｂ）において、×印で示す部分）が求められ、これが、被写体の位置とされる。
【００９６】
その後、ステップＳ２８に進み、被写体処理部２１において、例えば、図７（Ｂ）に太線で示すように、フィルタリングの結果得られた被写体構成画素の集合を囲む枠（以下、適宜、被写体枠という）を表示するように、表示制御部２５が制御される。これに対応して、表示制御部２５では、レンズブロック１で撮像された画像に、被写体枠がスーパインポーズして表示されるように、モニタ１４が制御される。
【００９７】
即ち、モニタ１４の表示画面に、例えば図８（Ａ）に白抜きで示すような被写体枠を表示させる場合には、表示制御部２５において、同図（Ｂ）に示すようなパルス（枠パルス）が生成される。なお、図８（Ｂ）は、同図（Ａ）のＡＡ’で示す水平走査線に、被写体枠を表示させるための枠パルスを示している。
【００９８】
そして、表示制御部２５は、レンズブロック１で撮像された画像の、対応する水平走査線に、図８（Ｃ）に示すように、枠パルスを重畳する。これにより、モニタ１４には、レンズブロック１で撮像された画像に、被写体枠がスーパインポーズされて表示される。
【００９９】
その後、ステップＳ２９に進み、被写体処理部２１において、ステップＳ２７で検出された被写体の位置が、モニタ１４の表示画面（レンズブロック１から出力される画像）の中央の位置に一致するように、モータ駆動部２４が制御される。これに対応して、モータ駆動部２４では、パンモータ１２、チルトモータ１３が回転駆動され、これにより、被写体が、モニタの表示画面の中央に引き込まれるように、レンズブロック１がパンチルトされ、処理（被写体追尾処理）を終了する。
【０１００】
以上のようにして、被写体の自動追尾が行われる。
【０１０１】
一方、ステップＳ２６において、被写体が存在しないと判定された場合、即ち、被写体を見失った場合（レンズブロック１から出力される画像の中から被写体を抽出（検出）することができなかった場合）、ステップＳ３０に進み、被写体枠の表示が、被写体を検出することができた場合とは明らかに異なる状態に変化される。
【０１０２】
即ち、ステップＳ３０では、被写体処理部２１において、被写体枠の表示を変化させるように、表示制御部２５が制御される。これに対応して、表示制御部２５は、被写体枠を、例えばその大きさを一定の速度で変化させながら、モニタ１４に表示させる。これにより、モニタ１４においては、被写体枠が、例えば、図９（Ａ），（Ｂ），（Ｃ），（Ｄ），（Ａ），・・・のような順番で、その大きさが一定時間ごとに変化されならが表示される。
【０１０３】
なお、ステップＳ３０の処理後は、例えば、被写体が存在する方向が予測され、さらに、そのような方向に、レンズブロック１がパンチルトされた後、被写体追尾処理を終了する。あるいは、また、ユーザによって、被写体が存在する方向に、レンズブロック１が、手動でパンチルトされ、被写体追尾処理を終了する。
【０１０４】
このように、被写体を検出することができなかった場合、被写体枠の表示が、被写体を検出することができた場合とは明らかに異なる状態に変化されるので、被写体が検出されていないことを、ユーザは容易に認識することができる。即ち、ユーザは、被写体の検出状況を容易に認識（確認）することができる。
【０１０５】
なお、本実施例では、被写体モデルの生成および被写体の検出を行うにあたって、３色表色系の１つである輝度信号および色差信号を用いるようにしたが、その他、例えばＲＧＢ表色系や、Ｌａｂ表色系、Ｌｕｖ表色系、ＸＹＺ表色系などを用いるようにすることも可能である。
【０１０６】
さらに、本実施例では、追尾すべき被写体を２次関数で近似するようにしたが、即ち、被写体モデルとして２次関数を用いるようにしたが、被写体モデルとしては、その他の関数などを用いることが可能である。
【０１０７】
また、本実施例では、被写体が検出されなかったときに、表示制御部２５に、被写体枠の大きさを変化させるようにしたが、その他、例えば、被写体枠を点滅させたり、あるいは消去したりするようにすることなども可能である。あるいは、また、例えば、被写体を検出することができなかった旨のメッセージ（文字）やマークなどを、表示制御部２５に表示させるようにしても良い。さらには、図２に点線で示すように、例えば被写体を検出することができなかった旨の音声や、所定のビープ音などを出力する放音部２６を設け、被写体が検出されなかったときには、この放音部２６に、上述のような音声やビープ音を出力させるようにすることも可能である。また、ビデオカメラシステムの見やすい位置に、ＬＥＤなどの光を発する発光部を設け、被写体が検出されなかったときには、そのような発光部を点灯させたり、点滅させたりするようにすることも可能である。
【０１０８】
さらに、画像の動きの検出方法は、上述したものに限定されるものではない。
【０１０９】
【発明の効果】
請求項１に記載の被写体検出装置および請求項１１に記載の被写体検出方法によれば、被写体を撮像する撮像部より出力された画像の、被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分が検出され、その検出された部分の飽和度と閾値との大小関係が比較され、比較の結果に基づいて、その部分の内、飽和度が閾値よりも大きい部分が被写体として設定され、設定された被写体が、撮影部より出力された画像より検出される。従って、ユーザが被写体を設定する操作を行わなくても、追尾すべき被写体を設定することができる。
【図面の簡単な説明】
【図１】本発明を適用したビデオカメラシステムの一実施例の構成を示すブロック図である。
【図２】図１の追尾信号処理回路１１の構成例を示すブロック図である。
【図３】図１のビデオカメラシステムの動作を説明するためのフローチャートである。
【図４】図１の被写体認識回路部９の動作を説明するためのフローチャートである。
【図５】図４のステップＳ８の処理の詳細を説明するためのフローチャートである。
【図６】被写体モデルの生成方法を説明するための図である。
【図７】図５のステップＳ２７の処理を説明するための図である。
【図８】被写体枠の表示について説明するための図である。
【図９】被写体枠の表示が変化する様子を示す図である。
【符号の説明】
１ レンズブロック， ９ 被写体認識回路部， １０ 画像メモリ， １１追尾信号処理回路， １２ パンモータ， １３ チルトモータ， １４ モニタ， ２１ 被写体処理部， ２２ モデル記憶部， ２３ 被写体設定部，２３Ａ 輝度データ記憶部， ２３Ｂ 動き検出部， ２４ モータ駆動部，２５ 表示制御部， ２６ 放音部
Claims (11)
- 被写体を検出する被写体検出装置であって、
前記被写体を撮像する撮像部より出力された画像の、前記被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する動き検出手段と、
前記動き検出手段により検出された前記部分の飽和度と第１の閾値との大小関係を比較する比較手段と、
前記比較手段による比較の結果に基づいて、前記部分の内、前記飽和度が前記第１の閾値よりも大きい部分を前記被写体として設定する被写体設定手段と、
前記被写体設定手段により設定された前記被写体を、前記撮影部より出力された画像より検出する被写体検出手段と
を備えることを特徴とする被写体検出装置。 - 前記動き検出手段は、前記被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に、前記撮像部より出力された連続する現フレームの画像の輝度信号と次のフレームの画像の輝度信号との、画素毎のフレーム間差分の絶対値和と、第２の閾値との大小関係に基づいて、前記画像に動きがあったかを判定し、動きがあったと判定した場合、前記画素毎のフレーム間差分の絶対値と第３の閾値との大小関係に基づいて、現フレームの動きのあった画素を検出することにより、前記被写体検出装置の電源がオンにされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する
ことを特徴とする請求項１に記載の被写体検出装置。 - 前記被写体検出手段は、前記被写体設定手段により設定された前記被写体の被写体モデルを生成し、前記被写体モデルに一致する画像を、前記撮像部より出力された画像より検索することにより、前記被写体を検出する
ことを特徴とする請求項１に記載の被写体検出装置。 - 前記被写体検出手段は、前記被写体モデルが許容誤差を含むように、前記被写体モデルを生成する
ことを特徴とする請求項３に記載の被写体検出装置。 - 前記被写体検出手段により検出された前記被写体の位置が、前記被写体を撮像する撮像部より出力される画像の所定の基準の位置と一致するように、前記撮像部を駆動する駆動部を制御する制御手段をさらに備える
ことを特徴とする請求項１に記載の被写体検出装置。 - 前記被写体検出手段により前記被写体が検出されたとき、その被写体を囲む枠を表示させ、前記被写体が検出されなかったとき、前記枠の表示を変化させる枠表示制御手段をさらに備える
ことを特徴とする請求項１に記載の被写体検出装置。 - 前記枠表示制御手段は、前記被写体が検出されなかったとき、前記枠を、その大きさを変化させながら表示させる
ことを特徴とする請求項６に記載の被写体検出装置。 - 前記枠表示制御手段は、前記被写体が検出されなかったとき、前記枠を点滅させる
ことを特徴とする請求項６に記載の被写体検出装置。 - 前記被写体検出手段により前記被写体が検出されなかったとき、所定の文字を表示させる文字表示制御手段をさらに備える
ことを特徴とする請求項１に記載の被写体検出装置。 - 前記被写体検出手段により前記被写体が検出されなかったとき、所定の音声を出力させる音声出力手段をさらに備える
ことを特徴とする請求項１に記載の被写体検出装置。 - 被写体を検出する被写体検出装置の被写体検出方法であって、
前記被写体を撮像する撮像部より出力された画像の、前記被写体検出装置の電源がオン にされた後又は所定の操作ボタンが操作された後に最初に動いた部分を検出する動き検出ステップと、
前記動き検出ステップの処理により検出された前記部分の飽和度と閾値との大小関係を比較する比較ステップと、
前記比較ステップの処理による比較の結果に基づいて、前記部分の内、前記飽和度が前記閾値よりも大きい部分を前記被写体として設定する被写体設定ステップと、
前記被写体設定ステップの処理により設定された前記被写体を、前記撮影部より出力された画像より検出する被写体検出ステップと
を含むことを特徴とする被写体検出方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01165396A JP4079463B2 (ja) | 1996-01-26 | 1996-01-26 | 被写体検出装置および被写体検出方法 |
| US08/785,393 US6014167A (en) | 1996-01-26 | 1997-01-21 | Tracking apparatus and tracking method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01165396A JP4079463B2 (ja) | 1996-01-26 | 1996-01-26 | 被写体検出装置および被写体検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09205575A JPH09205575A (ja) | 1997-08-05 |
| JP4079463B2 true JP4079463B2 (ja) | 2008-04-23 |
Family
ID=11783932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01165396A Expired - Fee Related JP4079463B2 (ja) | 1996-01-26 | 1996-01-26 | 被写体検出装置および被写体検出方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6014167A (ja) |
| JP (1) | JP4079463B2 (ja) |
Families Citing this family (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6756974B2 (en) * | 1997-09-24 | 2004-06-29 | Canon Kabushiki Kaisha | Display control apparatus and method |
| US6545705B1 (en) * | 1998-04-10 | 2003-04-08 | Lynx System Developers, Inc. | Camera with object recognition/data output |
| JP2000050238A (ja) * | 1998-07-27 | 2000-02-18 | Matsushita Electric Ind Co Ltd | 監視カメラ装置 |
| US20010008561A1 (en) * | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
| US7121946B2 (en) * | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
| US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
| US7391443B2 (en) * | 1998-08-21 | 2008-06-24 | Sony Corporation | Information processing apparatus, information processing method, and medium |
| US7050606B2 (en) * | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
| US7995096B1 (en) * | 1999-09-23 | 2011-08-09 | The Boeing Company | Visual security operations system |
| US6930703B1 (en) | 2000-04-29 | 2005-08-16 | Hewlett-Packard Development Company, L.P. | Method and apparatus for automatically capturing a plurality of images during a pan |
| SE517765C2 (sv) * | 2000-11-16 | 2002-07-16 | Ericsson Telefon Ab L M | Registrering av rörliga bilder medelst en portabel kommunikationsenhet samt en tillbehörsanordning vilken är samlokaliserad med objektet |
| US20020104094A1 (en) * | 2000-12-01 | 2002-08-01 | Bruce Alexander | System and method for processing video data utilizing motion detection and subdivided video fields |
| US6985179B2 (en) * | 2001-03-30 | 2006-01-10 | Intel Corporaiton | Determining image quality for improving object trackability |
| US6952224B2 (en) * | 2001-03-30 | 2005-10-04 | Intel Corporation | Object trackability via parametric camera tuning |
| US6760465B2 (en) | 2001-03-30 | 2004-07-06 | Intel Corporation | Mechanism for tracking colored objects in a video sequence |
| JP2002305683A (ja) * | 2001-04-04 | 2002-10-18 | Olympus Optical Co Ltd | 撮像装置および撮像プログラムを記録した記録媒体 |
| US20030052971A1 (en) * | 2001-09-17 | 2003-03-20 | Philips Electronics North America Corp. | Intelligent quad display through cooperative distributed vision |
| US6980485B2 (en) * | 2001-10-25 | 2005-12-27 | Polycom, Inc. | Automatic camera tracking using beamforming |
| US7872670B2 (en) * | 2002-04-22 | 2011-01-18 | Sanyo Electric Co., Ltd. | Camera performing photographing in accordance with photographing mode depending on object scene |
| US6940540B2 (en) * | 2002-06-27 | 2005-09-06 | Microsoft Corporation | Speaker detection and tracking using audiovisual data |
| US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US7646372B2 (en) * | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US8797260B2 (en) * | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US7623115B2 (en) * | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US8947347B2 (en) * | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
| US7102615B2 (en) * | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
| US7883415B2 (en) * | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US8233642B2 (en) * | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
| US8139793B2 (en) * | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US7850526B2 (en) * | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
| US8686939B2 (en) * | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US7627139B2 (en) * | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
| US7803050B2 (en) * | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US8160269B2 (en) * | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
| US9174119B2 (en) | 2002-07-27 | 2015-11-03 | Sony Computer Entertainement America, LLC | Controller for providing inputs to control execution of a program when inputs are combined |
| US7854655B2 (en) * | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
| US8313380B2 (en) * | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US7918733B2 (en) * | 2002-07-27 | 2011-04-05 | Sony Computer Entertainment America Inc. | Multi-input game control mixer |
| US9682319B2 (en) * | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| US7920718B2 (en) * | 2002-09-05 | 2011-04-05 | Cognex Corporation | Multi-zone passageway monitoring system and method |
| US20040100560A1 (en) * | 2002-11-22 | 2004-05-27 | Stavely Donald J. | Tracking digital zoom in a digital video camera |
| US9177387B2 (en) * | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US7505862B2 (en) * | 2003-03-07 | 2009-03-17 | Salmon Technologies, Llc | Apparatus and method for testing electronic systems |
| US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| JP2005033508A (ja) * | 2003-07-14 | 2005-02-03 | Minolta Co Ltd | 撮像装置 |
| US20070223732A1 (en) * | 2003-08-27 | 2007-09-27 | Mao Xiao D | Methods and apparatuses for adjusting a visual image based on an audio signal |
| US7874917B2 (en) * | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US10279254B2 (en) * | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| US8326084B1 (en) * | 2003-11-05 | 2012-12-04 | Cognex Technology And Investment Corporation | System and method of auto-exposure control for image acquisition hardware using three dimensional information |
| US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| JP4819380B2 (ja) * | 2004-03-23 | 2011-11-24 | キヤノン株式会社 | 監視システム、撮像設定装置、制御方法、及びプログラム |
| US7876980B2 (en) | 2004-11-11 | 2011-01-25 | Panasonic Corporation | Imaging apparatus and imaging method for outputting a specified number of pixels in a specified area |
| JP2006166400A (ja) * | 2004-11-11 | 2006-06-22 | Matsushita Electric Ind Co Ltd | 撮像装置及び撮像方法 |
| US20070265075A1 (en) * | 2006-05-10 | 2007-11-15 | Sony Computer Entertainment America Inc. | Attachable structure for use with hand-held controller having tracking ability |
| US20110014981A1 (en) * | 2006-05-08 | 2011-01-20 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US8310656B2 (en) * | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| AU2007221976B2 (en) * | 2006-10-19 | 2009-12-24 | Polycom, Inc. | Ultrasonic camera tracking system and associated methods |
| JP5032553B2 (ja) * | 2009-11-06 | 2012-09-26 | オリンパス株式会社 | カメラ |
| US8704904B2 (en) | 2011-12-23 | 2014-04-22 | H4 Engineering, Inc. | Portable system for high quality video recording |
| CA2866102A1 (en) | 2012-03-01 | 2013-09-06 | H4 Engineering, Inc. | Apparatus and method for automatic video recording |
| AU2013225635B2 (en) | 2012-03-02 | 2017-10-26 | H4 Engineering, Inc. | Waterproof Electronic Device |
| US9723192B1 (en) | 2012-03-02 | 2017-08-01 | H4 Engineering, Inc. | Application dependent video recording device architecture |
| US8854481B2 (en) * | 2012-05-17 | 2014-10-07 | Honeywell International Inc. | Image stabilization devices, methods, and systems |
| JP6833461B2 (ja) * | 2015-12-08 | 2021-02-24 | キヤノン株式会社 | 制御装置および制御方法、撮像装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5119205A (en) * | 1963-03-11 | 1992-06-02 | Lemelson Jerome H | Methods and apparatus for scanning and analyzing selected images areas |
| US5231483A (en) * | 1990-09-05 | 1993-07-27 | Visionary Products, Inc. | Smart tracking system |
| US5534917A (en) * | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
| US5311305A (en) * | 1992-06-30 | 1994-05-10 | At&T Bell Laboratories | Technique for edge/corner detection/tracking in image frames |
| JP3487436B2 (ja) * | 1992-09-28 | 2004-01-19 | ソニー株式会社 | ビデオカメラシステム |
| WO1994017636A1 (en) * | 1993-01-29 | 1994-08-04 | Bell Communications Research, Inc. | Automatic tracking camera control system |
| US5473369A (en) * | 1993-02-25 | 1995-12-05 | Sony Corporation | Object tracking apparatus |
| JPH0730796A (ja) * | 1993-07-14 | 1995-01-31 | Sony Corp | ビデオ信号追従処理システム |
-
1996
- 1996-01-26 JP JP01165396A patent/JP4079463B2/ja not_active Expired - Fee Related
-
1997
- 1997-01-21 US US08/785,393 patent/US6014167A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6014167A (en) | 2000-01-11 |
| JPH09205575A (ja) | 1997-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4079463B2 (ja) | 被写体検出装置および被写体検出方法 | |
| US7606476B2 (en) | Imaging device and imaging method | |
| US7916182B2 (en) | Imaging device and method which performs face recognition during a timer delay | |
| JP4677753B2 (ja) | 動画像処理装置及び方法 | |
| US8638372B2 (en) | Image capture unit with changeable image capture direction | |
| US20060115297A1 (en) | Imaging device and imaging method | |
| US20140078319A1 (en) | Imaging apparatus | |
| KR20160019862A (ko) | 촬상 장치, 촬영 시스템 및 촬영 방법 | |
| JP2000101895A (ja) | 画像信号撮像装置および方法 | |
| JP2003046848A (ja) | 撮像システムおよび撮像プログラム | |
| JP4596246B2 (ja) | オートフォーカスシステム | |
| JP2006058431A (ja) | オートフォーカスシステム | |
| JP2003241065A (ja) | オートフォーカスシステム | |
| JP2001169169A (ja) | 自動追尾装置 | |
| JP3994469B2 (ja) | 撮像装置、表示装置及び記録装置 | |
| JPH0750771A (ja) | ビデオカメラの自動映像安定化装置 | |
| JP3108355B2 (ja) | 被写体追尾カメラ装置 | |
| JP4189534B2 (ja) | 自動追尾装置 | |
| JP3948050B2 (ja) | 撮像、記憶、処理、表示、再生、伝送装置及び記録媒体 | |
| JPH08116485A (ja) | ビデオカメラの被写体追尾装置及び追尾方法 | |
| JPH1079881A (ja) | 撮像装置 | |
| JP3757404B2 (ja) | 被写体検出装置および被写体検出方法 | |
| JP4148251B2 (ja) | 撮像装置及び表示装置 | |
| JPH08139971A (ja) | 電子スチルカメラ | |
| JP3757403B2 (ja) | 被写体検出装置および被写体検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050330 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050715 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050902 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050922 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20051021 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130215 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |