JP3989523B2 - 自動撮影方法および装置 - Google Patents

自動撮影方法および装置 Download PDF

Info

Publication number
JP3989523B2
JP3989523B2 JP2006512859A JP2006512859A JP3989523B2 JP 3989523 B2 JP3989523 B2 JP 3989523B2 JP 2006512859 A JP2006512859 A JP 2006512859A JP 2006512859 A JP2006512859 A JP 2006512859A JP 3989523 B2 JP3989523 B2 JP 3989523B2
Authority
JP
Japan
Prior art keywords
area
priority
target
video
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006512859A
Other languages
English (en)
Other versions
JPWO2005107240A1 (ja
Inventor
史斎 天野
佳則 指川
瑞男 月舘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuo Electronics Co Ltd
Original Assignee
Chuo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuo Electronics Co Ltd filed Critical Chuo Electronics Co Ltd
Application granted granted Critical
Publication of JP3989523B2 publication Critical patent/JP3989523B2/ja
Publication of JPWO2005107240A1 publication Critical patent/JPWO2005107240A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、映像監視システムを構築するための監視用カメラを用いた自動撮影方法および自動撮影装置に関するものである。
監視用カメラを用いて監視領域全体を撮影し、モニタに表示された監視領域全体の映像をもとにオペレータが監視を行う映像監視システムでは、監視領域内で検出されるターゲットの映像が小さくモニタに表示された映像を監視するオペレータの負担が大きい。
そこで図１６に示すように、監視領域全体を撮影する広角カメラからなる第１撮影手段と、パン・チルト・ズーム機能を備えたカメラからなる第２撮影手段と、前記第１撮影手段から入力された映像をもとにターゲットを検出し、ターゲットが検出された場合は当該ターゲットの位置に合わせて第２撮影手段の撮影方向を制御する自動撮影装置本体とを備え、前記第２撮影手段で追尾撮影したターゲットの拡大映像をモニタに表示する映像監視システムが開発されている。（特許文献１を参照）
またパン・チルト・ズーム機能を備えたカメラからなる第２撮影手段に代えて、第１撮影手段から入力された映像からターゲットの映像を部分的に切り出す電子的切り出し手段（映像切出し手段）を設け、第１撮影手段から入力された映像をもとにターゲットが検出された場合、前記映像切出し手段によって、全体映像からターゲットの映像を部分的に切り出し、このターゲットの追尾映像をモニタに拡大表示する映像監視システムも開発されている。
特開２００４−７３７４号公報
第１撮影手段から入力される映像をもとにターゲットを検出し、第２撮影手段を制御してターゲットの追尾映像を取得するタイプの自動撮影方法において、自動撮影装置本体は、第１撮影手段から入力される映像に映っている人物の見かけの位置と大きさをもとに、第２撮影手段を制御する。
従って、第１撮影手段から入力された映像の中に人物が複数検出される撮影条件で１人の人物を追尾撮影する場合は、従来技術による自動撮影方法だけではその中の真に撮影すべき１人の人物の見かけの位置と大きさを抽出できず、適切な追尾撮影映像を得ることができなかった。
解決しようとする課題は、第１撮影手段から入力された映像に複数の人物が映っていても、その中から自動的に一人の人物を選択し、該映像上での該人物の位置と大きさをもとに第２撮影手段を制御して追尾撮影影像を得ることである。
また選択ルールを事前に設定可能とし、かつその選択動作を、撮影対象の意味上の軽重を適切に反映させることによって、状況に応じて追尾撮影できるようにしたものである。
本発明による自動撮影方法は、第１撮影手段で取得される映像の映像領域をあらかじめ複数の区画に区分しておき、それぞれの区画ごとに、追尾撮影すべき対象（人物等）の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合をもって、追尾撮影すべき対象または対象群を表すパターン抽出結果Ｐ（区画の集合Ｐ）とみなすとともに、こうして得たパターン抽出結果Ｐと、予め第１撮影手段で撮影される監視領域の映像領域上に、監視領域全景と結び付ける形で設定した優先度付き領域（センスエリアと呼ぶ）との相関関係（重なり）を調べ、前記パターン抽出結果Ｐに含まれる連結領域の中から、センスエリアと重なっているうちで、最も優先度の高いセンスエリアと共通部分をもつ連結領域を切り出して追尾撮影のターゲットとし、さらに前記入力映像上での該ターゲットの見かけの位置と大きさに基づいて第２撮影手段を制御し、該ターゲットに対応する人物の追尾映像を取得するものである。
本発明の自動撮影方法及び自動撮影装置によれば、監視領域の映像をもとに検出したターゲットの拡大映像をモニタに表示する映像監視システムにおいて、監視領域内の映像から追尾撮影すべき対象（人物等）が複数抽出された場合であっても、それらの対象のなかから１つのターゲットが決定され、第２撮影手段でターゲットの追尾映像を取得することができる。
この発明の自動撮影方法による有意なパターンの抽出方法を説明する図である。 この発明の自動撮影方法によるターゲットの選択方法を説明する図である。 この発明の第１実施例による自動撮影装置のブロック図である。 この発明の第１実施例による自動撮影方法の説明図である。 この発明の第２実施例による自動撮影装置のブロック図である。 ターゲット候補センス処理を説明するフローチャート図である。 新規ターゲット決定処理の説明図である。 パターン更新処理の説明図である。 ターゲット座標取得処理の説明図である。 第２撮影手段によるチルト角度の算出方法を説明する図である。 この発明の第３実施例による追尾方法の説明図である。 この発明の第４実施例による撮影方法を説明する図である この発明の第５実施例による第１撮影手段の説明図である。 この発明の第６実施例による自動撮影装置のブロック図である。 この発明の第７実施例による自動撮影装置のブロック図である。 従来技術による自動撮影方法の説明図である。
以下に、この発明による自動撮影方法および自動撮影装置について図面を参照して説明する。
本発明による自動撮影方法は、第１撮影手段１で取得される映像（以下、入力映像Ｉという）の映像領域をあらかじめ複数の区画に区分しておき、それぞれの区画ごとに、追尾撮影すべき対象（人物等）の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合をもって、追尾撮影すべき対象または対象群を表すパターン抽出結果Ｐ（区画の集合Ｐ）とみなす。
こうして得たパターン抽出結果Ｐ（区画の集合Ｐ）と、予め第１撮影手段１で撮影される監視領域の映像領域上に、監視領域全景と結び付ける形で設定したＮ個の優先度付き領域Ｓｉ（センスエリアと呼ぶ）との相関関係（重なり）を調べ、前記パターン抽出結果Ｐに含まれる連結領域の中から、より優先度の高いセンスエリアと共通部分をもつ連結領域を切り出して追尾撮影のターゲットとし、さらに前記入力映像上での該ターゲットの見かけの位置と大きさに基づいて第２撮影手段２を制御し、該ターゲットに対応する人物の追尾映像を取得する。
本発明による追尾撮影すべき対象または対象群を表すパターン抽出結果Ｐ（区画の集合Ｐ）を抽出する手順について図１を参照して説明する。
本発明の自動撮影方法によれば、パターン抽出手段３において、第１撮影手段１から入力した入力映像Ｉに基づいて、追尾撮影すべき対象または対象群を表すパターン抽出結果Ｐ（区画の集合Ｐ）を抽出する（図３及び図５を参照）。
図１に示す実施例では、図１（ａ）に示す入力映像Ｉを入力した後、該入力映像Ｉの映像領域を、図１（ｂ）に示すように縦１２×横１２の計１１４個の区画に区分した。なお、１つの区画内には複数画素が内包される（画素＜区画）。
パターン抽出手段３では、追尾撮影すべき対象または対象群を抽出するため、前記入力映像Ｉについて画素毎に、Δｔ時刻前の画像と最新の画像との差分をとり、その絶対値をしきい値Ｔ１に従って２値化する（図１（ｃ）を参照）。
図１（ａ）に示す入力映像Ｉにおいて人物が移動している場合、動きを検出した画素（「１」の画素）を斜線で示すと、図１（ｃ）に示すような斜線領域が表れる。（斜線領域の画素が「１」、それ以外が「０」として出力される。
そしてパターン抽出手段３は、前記「１」の画素の個数を、１１４個に区分した区画ごとに集計し、しきい値Ｔ２に従って２値化し、それぞれの区画ごとに、追尾撮影すべき対象（人物等）の一部または全部が映っているか否かを推定し、映っていると推定された区画（「１」の区画）の集合Ｐをパターン抽出結果Ｐとして出力する。
つまりパターン抽出手段３は、図１（ｄ）で示すような斜線の区画の集合Ｐをパターン抽出結果Ｐ（有意なパターン）として出力する。（斜線の区画が「１」、それ以外が「０」として出力される。）
図１（ｄ）において、背景にあって動かない物体（床や背後のドア）は抽出されず、真に追尾撮影したい対象である人物だけが抽出される。
また入力映像Ｉにおいて複数の人物が存在しており、それらが移動していれば、移動している複数の人物のみが抽出され、区画の集合Ｐとしてそれぞれが出力される。
なお、Δｔ時刻前の画像と最新の画像との差分をもとに、移動する人物のみを抽出した場合、全く静止している人物については抽出できないこともある。
従って、例えば予め記憶しておいた背景画像と、最新の画像との差分をとり、背景差分法の適用し、入力映像Ｉから人物を抽出するようにしてもよい。
また先行技術文献として開示した特許文献１のように、人物が移動状態にあるか静止状態にあるかを推定し、処理を分ける方法を適用することもできる。
以上説明したように、パターン抽出手段３によって、第１撮影手段１から入力される入力映像Ｉをもとに、人物群とそれ以外（背景など）を区別し、人物群のみを追尾撮影すべき対象または対象群を表すパターン抽出結果Ｐ（区画の集合Ｐ）を有意なパターンとして抽出することができる。
次に、パターン抽出結果Ｐ（区画の集合Ｐ）として抽出された人物群の中から撮影すべき人物を１名選ぶ手順について図２を参照して説明する。
本発明では、予め入力映像Ｉの映像領域上に、任意形状の、互いに接することも有り得るＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）からなるセンスエリアを設定するとともに、センスエリア記憶手段５に、前記領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）を、それぞれの優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）とともに記憶させておく。（図３及び図５を参照）
次に、センス手段４により、前記領域Ｓｉ全てについて、前記パターン抽出手段３が出力したパターン抽出結果Ｐ（区画の集合Ｐ）との重なりを判定し、重なりがあれば、該重なりを生じた区画Ｂと、該重なりを生じた領域Ｓｉの優先度ｐｉとの対を出力する。
そして、前記センス手段４が出力した区画Ｂと優先度ｐｉの対の中から、ターゲット選択手段６により、もっとも優先度が大きいもの（優先度ｐ）を選び、パターン抽出手段３が出力した区画の集合Ｐから、前記区画Ｂを含む連結領域Ｔを切り出し、出力する。
図２に示す実施例では、図２（ｂ）に示すように入力映像Ｉ上に人物Ｘと人物Ｙとの複数の人物群が映っており、当該入力映像Ｉを動き検出してパターン抽出結果Ｐ（区画の集合Ｐ）を抽出したとき、図２（ｃ）に示すように、人物Ｘの動きによって検出される連結領域と、人物Ｘの動きによって検出される連結領域との、複数の連結領域を含むパターン抽出結果Ｐ（区画の集合Ｐ）が抽出される。
そしてこの実施例では、予めセンスエリア記憶手段５において、例えば図２（ａ）に示すようなセンスエリアＳ１とＳ２を記憶しており、それぞれの優先度がｐ１＝１，ｐ２＝２（ｐ１よりｐ２のほうが優先度が高い）と設定してあったとする。
このとき、図２（ｃ）に示すように、人物Ｘの動き検出された連結領域とセンスエリアＳ１、人物Ｙの動き検出された連結領域とセンスエリアＳ２がそれぞれ重なっていれば、センス手段４は、該重なりを生じた区画Ｂと、該重なりを生じたセンスエリアの優先度（優先度ｐ１，ｐ２）との対を出力する。
つまり、センス手段４は下記の情報を出力する。
人物ＸとセンスエリアＳ１との相関関係について、《重なりの区画Ｂ＝座標（４，５）、優先度ｐ１＝１》
人物ＹとセンスエリアＳ２との相関関係について、《重なりの区画Ｂ＝座標（８，６）、優先度ｐ２＝２》
図２（ｃ）において、ドット領域はセンスエリアＳ１またはセンスエリアＳ２を表わし、斜線領域は人物Ｘと人物Ｙの動きによってそれぞれ検出された連結領域（パターン抽出結果Ｐ）を表わす。また図２（ｃ）において、塗潰領域は、各センスエリアＳ１及びＳ２と、パターン抽出結果Ｐ（区画の集合Ｐ）との重なりを生じた区画Ｂを表わす。
すると、ターゲット選択手段６は、優先度の大きいセンスエリアＳ２と人物Ｙとの重なり（区画Ｂ＝座標（８，６）、優先度ｐ２＝２）を選び、パターン抽出結果（ターゲット候補）として抽出された区画の集合Ｐの中から、前記重なりの区画Ｂ（座標（8,6））を含む連結領域Ｔを切り出し、出力する。
その結果、図２（ｄ）の斜線領域で示すパターンが、連結領域Ｔとして出力される。こうして人物Ｙのみを、第２撮影手段２で追尾撮影すべき対象（ターゲット）として選択する。つまり、動き検出や背景差分法などによって入力映像Ｉをパターン抽出したときに、パターン抽出結果として複数の人物群（ターゲット候補）が得られても、その人物群の中から一人の人物（ターゲット）を選択することができる。
人物Ｙのみを追尾撮影すべき対象（ターゲット）として選択した後、入力映像Ｉ上で前記連結領域Ｔが覆う領域に映っている物体（人物Ｙ）を撮影視野に収めるように、撮影制御手段８で第２撮影手段２を制御することによって、第２撮影手段２で人物Ｙを自動的に追尾撮影する。
なおセンスエリア記憶手段５が記憶するＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）とその優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）は、事前に設定しておく。つまり、予め優先度付のセンスエリアを設定することによって、追尾対象を１つに選択するルールを事前に設定しておく。
また、優先度付のセンスエリアを設定するにあたって、センスエリアの領域Ｓｉの位置および形状と、その優先度ｐｉは任意に設定することができ、該領域Ｓｉの位置や優先度を適切に設定することにより、選択動作を、撮影対象の意味上の軽重を適切に反映させ、状況に応じて追尾対象を自動撮影することができる。
例えば、図２（ａ）に示す状況において、ドアの前にいる人物Ｙを、それ以外の場所にいる人物Ｘより優先的に抽出したい場合は、ドアの前に設定したセンスエリアＳ２の優先度を高く設定しておくことで、図２（ｄ）に示すようにドアの前にいる人物Ｙが優先的に抽出され、追尾撮影することができる。
上述の撮影方法では、パターン抽出結果Ｐ（区画の集合Ｐ）として抽出されたターゲット候補（人物群に含まれる人物）が動いている限り、自動的に１人の人物の追尾撮影が行われる。
なお、パターン抽出手段３として背景差分法を適用し、静止している人物もパターン抽出結果Ｐ（区画の集合Ｐ）として抽出することによって、静止している人物についても追尾撮影の対象とすることができる。
また、ターゲット選択手段６が出力した連結領域Ｔを、一時的に記憶し（連結領域Ｔ’）、最新の連結領域Ｔと、記憶されている過去の連結領域Ｔ’との比較により、追尾撮影中の人物が移動しているか静止しているか判定し、静止していると判定された場合、最新の連結領域Ｔのかわりに、記憶されている過去の連結領域Ｔ’に基づいて第２撮影手段２を制御することによって、静止している人物についても追尾撮影の対象とすることができる。
上述した自動撮影方法は、パターン抽出結果Ｐ（区画の集合Ｐ）として抽出されたターゲット候補（人物）が、センスエリア記憶手段５が記憶するセンスエリア（Ｎ個の領域Ｓｉ（ｉ＝１，２，３．．．，Ｎ））と重なりをもつ間に限り有効である。
人物がセンスエリア（領域Ｓｉ）を離れた後も追尾撮影を継続するためには、図５に示す自動撮影装置のように連結領域Ｔと優先度ｐを一時的に保存するための手段を付設する。
センス手段４が出力したセンスエリア（領域Ｓｉ）との重なりの区画Ｂと、そのセンスエリアの優先度（優先度Ｐｉ）の対の中から、もっとも優先度が高いセンスエリア（＝優先度ｐ）との重なりの区画Ｂを選び、前記パターン抽出手段３が出力した区画の集合Ｐの中から、前記区画Ｂを含む連結領域Ｔを切り出し、その優先度ｐとともに出力する優先度出力付きターゲット選択手段６と、優先度出力付きターゲット選択手段６が出力した連結領域Ｔを一時的に記憶し、連結領域Ｔ’として出力するパターン一時記憶手段２１と、同時に優先度出力付きターゲット選択手段６が出力した該優先度ｐを一時的に記憶し、優先度ｐ’として出力する優先度一時記憶手段２２とを設ける。
そして、入力映像Ｉ上で連結領域Ｔ’が覆う領域に映っている物体（ターゲット）を、第２撮影手段２の視野に収めるように、該第２撮影手段２を制御して、ターゲットの映像を自動的に撮影する。
また、パターン記憶手段２１が記憶している連結領域Ｔ’を、最新の入力映像Ｉに基づいて抽出されたパターン抽出結果Ｐ（最新の区画の集合Ｐ）の中から選択された連結領域Ｔに置き換えるとともに、優先度記憶手段２２が記憶している優先度ｐ’を前記連結領域Ｔの優先度ｐにそれぞれ置き換えるのは、最新の優先度ｐが優先度ｐ’以上の優先度を示す場合のみとする。
また、センス手段４の出力が空の間（重なりの区画Ｂが存在しない間）、前記パターン抽出手段３が出力した最新の区画の集合Ｐから、パターン一時記憶手段２１が記憶する連結領域Ｔ’と重なりを有する連結領域Ｔ２’を切り出し、この連結領域Ｔ２’を前記パターン記憶手段２１に改めて記憶させることにより連結領域Ｔ’を更新させる（図８を参照）。
なお連結領域Ｔ’の更新を説明する図８において、図中の「既存のターゲットのパターン」が、パターン一時記憶手段２１が記憶する連結領域Ｔ’に相当し、「新しいターゲットのパターン」が、最新の入力映像Ｉをもとにパターン抽出手段３で抽出した最新のパターン抽出結果Ｐ（最新の区画の集合Ｐ）の中に含まれる連結領域Ｔ２’であり、当該「新しいターゲットのパターン」（連結領域Ｔ２’）が改めてパターン一時記憶手段２１に記憶されることによって、連結領域Ｔ’が更新される。
これによって、一旦優先度出力付きターゲット選択手段６によって連結領域Ｔとして選択され、パターン一時記憶手段２１に連結領域Ｔ’として一時的に記憶された人物（ターゲット）は、前記連結領域Ｔ’の優先度ｐ’より優先度が高い領域Ｓｉと、最新の入力映像Ｉに基づいて抽出された最新のパターン抽出結果Ｐ（最新の区画の集合Ｐ）との重なりが生じるまでの間、第２撮影手段２による追尾撮影対象であり続けることとなる。
なお上述の説明では、入力映像Ｉの映像領域を区切る区画の大きさを、縦１２×横１２の計１４４個としたが、前記区画の大きさに限られるものではない。以下の事項との兼ね合いを検討して区画の大きさを決めればよい。
（１）推定の正答率
（２）センスエリアとの相関関係を調べる手間
（３）ターゲット候補同士の分離性（分解能）
（４）ターゲット動作の追跡容易性
例えば極端なケースとして、区画の大きさ＝画素の大きさとなるまで区画を小さくすると、その画素１個にノイズがのっただけで、該区画内に映っているかいないかの推定結果が変わってしまいかねないため、推定の正答率（上記（１）の事項）が低下する。また、トータルの区画数が増えることから、センスエリアとの相関関係を調べる手間（上記（２）の事項）が増大する。
このように、前記推定の正答率と、センスエリアとの相関関係を調べる手間との最適化の観点からは、区画は大きい方が望ましい。
一方、一つの区画内に、同時に複数のターゲット候補が映り得るまで区画を大きくすると、接触および重なりはしていないが、互いに接近したターゲット候補同士が、前期有意なパターン上で分離できず、どちらか１つをターゲットとして選ぶことが困難なケースが発生する。すなわち、ターゲット候補同士の分離性・分解能（上記（３）の事項）が低下する。このように、前記ターゲット候補同士の分離性（分解能）の最適化の観点からは、区画は小さい方が望ましい。
前記ターゲット動作の追跡容易性（上記（４）の事項）とは、図８に示したような、連結領域Ｔ’とＴ２’の重なりが、通常のターゲットの移動条件の下で安定して発生させられることである。例えば、１区画の大きさとターゲットの大きさがほぼ等しい場合、ターゲットが一つの区画から、隣の区画に移ったとき、連結領域Ｔ’と連結領域Ｔ２’の間に重なりが生じないかもしれない。この観点から、ターゲットが複数の区画で覆われるように、入力映像Ｉ上でのターゲットの見かけの大きさに対し、区画の大きさはより小さい方が望ましい。
図３及び図４は、この発明の第１実施例による自動撮影方法および自動撮影装置を説明するものである。
この実施例は、第１撮影手段１から取得した入力映像Ｉからパターン抽出したとき、パターン抽出結果Ｐ（区画の集合Ｐ）として複数の連結領域（以下、パターンという）が抽出された場合、前記パターン抽出結果Ｐの中から一つを撮影対象として選択し、第２撮影手段２で撮影するものである。
つまり広角カメラからなる第１撮影手段１で撮影した領域（監視領域全体）の範囲内に有意なパターン（ターゲット候補）が複数同時に存在する状況で、前記監視領域内に存在する複数のターゲット候補のうち１つを自動的に選択してターゲットを決定し、当該ターゲットについてパン・チルト・ズーム機能を備えた第２撮影手段２で追尾撮影し、第２撮影手段２で撮影したターゲットの拡大映像をモニタに表示するものである。
なお複数のターゲット候補のなかから１つのターゲットを自動的に選択する手段として、第１撮影手段１で撮影した監視領域全体の映像をもとに、「センスエリア」という一定区画（Ｎ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ））を設定する手段を設け、このセンスエリアとターゲット候補の相関をみることによって、検出した複数のターゲット候補から１つのターゲットを決定する。
センスエリアの設定方法については、第１撮影手段１で撮影した監視領域の映像をもとに、オペレータがセンスエリア設定手段によって任意の区画（Ｎ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ））を設定するとともに、その優先度（優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ））を設定する。例えば、第１撮影手段で撮影した監視領域全体の映像をモニタに表示し、オペレータはこの映像をもとに監視領域の映像上にセンスエリアを設定する。
なお予め設定したセンスエリアの設定条件（位置、範囲、および優先度の情報）を変更する手段を設け、前記手段からの指令によってセンスエリアの設定変更を可能となるように構成してもよい。また予め設定したセンスエリアのうち、任意のセンスエリアを一時的に無効にすることを可能とする手段を設けてもよい。
図３に示すように、第１実施例による自動撮影装置は、監視領域全体を撮影する広角カメラからなる第１撮影手段１と、第１撮影手段１で撮影した映像をもとに検出したターゲットを追尾撮影する回転カメラからなる第２撮影手段２とを備える。
第１撮影手段１は、透視投影に基づくカメラであって、画像中心をレンズの光軸位置とし、前記画像中心を原点として、左向きにＸ軸の正方向、上向にＹ軸の正方向をとるようにして、撮影した映像内の座標（位置）を決定した。またカメラ（第１撮影手段１）から光軸に沿って離れる向きにＺ軸の正方向をとるようにした。
第２撮影手段２は、パン・チルト・ズーム機能を備えた回転カメラであって、第１撮影手段１に近接して配置するとともに、パン回転面が第１撮影手段１（広角カメラ）の光軸と平行になるように設置し、パン回転面が第１撮影手段１で撮影した映像の水平線に対して平行となるようにした。
またこの発明による自動撮影装置は、第１撮影手段１で撮影した映像を動き検出処理することによってパターン抽出結果Ｐ（区画の集合Ｐ）を抽出し、このパターン抽出結果をもとにターゲット候補の位置及び範囲の情報を取得し、ターゲット候補のパターン（連結領域）として出力するパターン抽出手段３と、監視領域全体の映像に基づいて予めオペレータが監視領域内にセンスエリアとして設定したＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）（設定位置・範囲からなる情報）とその優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ））とからなるセンスエリア情報を記憶するセンスエリア記憶手段５と、前記センスエリア情報とパターン抽出結果とに基づいてセンスエリアとターゲット候補との相関関係を調べるセンス手段４と、前記相関関係に基づいてより高い優先度のセンスエリアと共通部分（重なりの区画Ｂ）をもつターゲット候補のパターンを新規ターゲット推定パターンとして出力してターゲットを決定するターゲット選択手段６とを備える。
この実施例によるパターン抽出手段３では、第１撮影手段１で撮影した映像（監視領域全体の映像）をもとに動き検出処理し、映像を構成する時刻ｔにおけるフレームの画像と、予め記憶してある監視領域全体の背景画像との差分をとり、有意な差が検出された部分（区画）のパターンをパターン抽出結果として出力し、ターゲット候補のパターンを取得する。
なお動き検出処理によってターゲット候補を検出するにあたって、時刻ｔにおけるフレーム画像と、時刻ｔ−１におけるフレームの画像との差分をとり、有意な差が検出された部分（区画）のパターンをパターン抽出結果として出力するように構成してもよい。
またパターン抽出手段３によるパターン抽出方法として、背景差分、動きの有無によって有意なパターンを検出する方法（動き検出処理）ではなく、明度差、温度差、色相差、特定形状か否かの判断等によって、有意なパターンを抽出してもよい。
例えば、温度感知処理によって、第１撮影手段１で撮影した映像をもとに撮影領域全体の温度を感知し、温度が高い部分のパターンを抽出して、パターン抽出結果として出力し、ターゲット候補のパターンを取得してもよい。
センスエリア記憶手段５は、第１撮影手段で撮影した監視領域全体の映像をもとに、オペレータが予めセンスエリアとして設定したＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）（設定位置・範囲からなる情報）とその優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ））とからなるセンスエリア情報をそれぞれ記憶する。
例えば４つのセンスエリアＳ１〜Ｓ４を設定した場合、センスエリア記憶手段５は、その領域Ｓ１〜Ｓ４（設定位置・範囲からなる情報）及びそれらの優先度ｐ１〜ｐ４の対からなるセンスエリア情報を記憶する。
センス手段４には、センスエリア記憶手段５に記憶されているセンスエリア情報と、パターン抽出手段３から出力されたパターン抽出結果とが入力される。そして前記センス手段４は、パターン抽出結果とセンスエリアの相関関係を調べ、パターン抽出結果（ターゲット候補のパターン）と相関をもつ（共通部分を有する）センスエリアなかで最も優先度が高いセンスエリアを求め、当該センスエリアの優先度（優先度ｐ）と、当該センスエリアの領域（設定位置・範囲からなる情報）とパターン抽出結果（ターゲット候補のパターン）との共通部分のパターン（重なりの区画Ｂ）を出力する。
ターゲット選択手段６は、センス手段４から出力された情報をもとに、パターン抽出手段３で出力したパターン抽出結果（ターゲット候補のパターン）のなかから、より高い優先度のセンスエリアと共通部分を有するターゲット候補のパターンを求め、このパターンを新規ターゲット推定パターンとして出力し、ターゲット位置取得手段７に入力する。つまりターゲット選択手段６において、第２撮影手段２で追尾撮影するターゲットを決定する。
なお、より高い優先度のセンスエリアと共通部分をもつターゲット候補のパターンが複数存在する場合、センスエリア内に優先度を付けておき、センスエリア内の優先度が高い共通部分を有するパターンを新規ターゲット推定パターン（連結領域Ｔ）として出力するように構成する。
さらにこの自動撮影装置は、新規ターゲット取得手段６から入力された新規ターゲット推定パターン（連結領域Ｔ）の位置座標を取得するターゲット位置取得手段７と、ターゲットの位置座標をもとに第２撮影手段８の撮影方向を決定する撮影制御手段８とを備え、第１撮影手段１で撮影した映像をもとに選択したターゲットを第２撮影手段２で追尾撮影し、ターゲットの追尾映像を取得する。
続いて、この実施例による自動撮影方法について図４を参照して説明する。
図４に示す実施例は、監視領域内に３人の人物が存在する監視環境下において、第１撮影手段１から入力された監視領域の全体映像をもとに１つのターゲット（人物）を決定し、このターゲットの追尾映像を第２撮影手段２で取得するものである。
この実施例による自動撮影方法は、第１撮影手段１で監視領域全体を撮影し、監視領域の全体映像を取得する第１工程（図４（ａ）を参照）と、パターン抽出処理によって監視領域の全体映像から有意なパターン（ターゲット候補のパターン）のみを抽出する第２工程（図４（ｂ）を参照）と、パターン抽出結果とセンスエリアの相関関係を調べる第３工程と（図４（ｃ）を参照）、より高い優先度のセンスエリアと共通部分を有するパターン（ターゲット候補のパターン）をターゲットと決定する第４工程（図４（ｄ））と、このターゲットの位置をもとに第２撮影手段２の撮影方向を制御し、第２撮影手段でターゲットを追尾撮影する第５工程（図４（ｇ））とからなる。
第１工程：
第１撮影手段１から入力される監視領域の全体映像には、撮影領域の背景と、監視領域内に存在する人物（ターゲット候補）が映っている（図４（ａ）を参照）。
第２工程：
第１撮影手段１から入力された監視領域の全体映像（図４（ａ））と、予め取得した監視領域の背景映像（図４（ｅ））との差分から、有意なパターン（ターゲット候補）を抽出する（図４（ｂ）を参照）。つまりパターン抽出手段３によって、第１撮影手段１から入力された監視領域の全体映像から有意なパターンを抽出し、パターン抽出結果Ｐを取得する。
この実施例では、監視領域内に存在する３人の人物の映像領域を有意なパターン（ターゲット候補）Ｃ１〜Ｃ３として全体映像から切り出し、この有意なパターン（ターゲット候補）Ｃ１〜Ｃ３のみを抽出したパターン抽出結果Ｐ（区画の集合Ｐ）を得た（図４（ｂ）を参照）。
第３工程：
センス手段４において、パターン抽出結果Ｐとセンスエリアとの相関関係（共通部分の有無）を調べる。
前記センスエリアは、第１撮影手段１から入力される監視領域の全体映像をもとにオペレータが予め監視領域内（映像上）に設定する（図４（ｆ）を参照）。この実施例では、４つのセンスエリアＳ１〜Ｓ４が設定され、各センスエリアの優先度は、センスエリアＳ１＜センスエリアＳ２＜センスエリアＳ３＜センスエリアＳ４と設定してある。そしてセンスエリアＳ１〜Ｓ４として設定されている４つの領域Ｓ１〜Ｓ４（設定位置・範囲からなる情報）とそれらの優先度ｐ１〜ｐ４とからなるセンスエリア情報がセンスエリア記憶手段５に記憶されている。
そして、センスエリア記憶手段５に記憶されているセンスエリア情報（図４（ｆ））と、パターン抽出手段３で抽出したパターン抽出結果Ｐ（図２（ｂ））とが、センス手段４に入力され、センスエリアとパターン抽出結果Ｐ（ターゲット候補）との相関関係を調べる（図４（ｃ）を参照）。この実施例では、図４（ｃ）に示すように、センスエリアＳ１とパターン（ターゲット候補）Ｃ１、センスエリアＳ３とパターン（ターゲット候補）Ｃ３がそれぞれ相関する（共通部分を有する）。
第４工程
センス手段４において、センスエリアとパターン抽出結果Ｐとの相関関係を調べることによって、有意なパターン（ターゲット候補）と共通部分を有するセンスエリアのなかで最も優先度が高いセンスエリアを求め、このセンスエリアと共通部分を有するパターン（ターゲット候補）を選択し、ターゲットを決定する。
この実施例では、センスエリアの優先度がＳ３＞Ｓ１と設定されているので、センスエリアＳ３と共通部分を有するパターン（ターゲット候補）Ｃ３が、ターゲットと決定される（図４（ｄ）を参照）。
第５工程
第１撮影手段１から入力された監視領域の全体映像上におけるターゲット（パターンＣ３）の位置に基づき、第２撮影手段の撮影方向を制御し、第２撮影手段２によってターゲット（パターンＣ３）を撮影する。
つまり全体映像上のターゲット（パターンＣ３）の位置をもとに、パン・チルト・ズーム機能を備えた回転カメラからなる第２撮影手段２の旋回方向を指令し、この第２撮影手段２によって、パターンＣ３に対応する人物を追尾撮影する（図４（ｇ）を参照）。
上記の第１工程〜第５工程を繰り返すことによって、第１撮影手段１で撮影する監視領域内に複数のターゲット候補が存在する環境下で１つのターゲットが自動的に選択され、パン・チルト・ズーム機能を備える第２撮影手段２によって前記ターゲットを追尾撮影することができる。
なお図４に示す自動撮影方法では、(1)選択したターゲット（パターンＣ３）がセンスエリアＳ３から外れること（選択したターゲットがセンスエリアと相関をもたなくなること）、または、(2)第２撮影手段で追尾しているターゲット（パターンＣ３）と相関をもつセンスエリアＳ３（ターゲット優先度）より優先度が高いセンスエリア（この実施例ではセンスエリアＳ４）と相関関係を有するパターンが、パターン抽出手段によって出力した最新のパターン抽出結果Ｐに存在すること（より優先度が高いセンスエリアと相関関係にあるパターンが発生すること）、の何れかの条件が成立するまで、パターンＣ３がターゲットとして自動選択され、このターゲット（パターンＣ３に対応する人物）を第２撮影手段２によって追尾撮影する。
なお、第２撮影手段２による撮影方向を、外部から優先して制御する手段を設けることによって、この発明による自動撮影方法によって選択したターゲットの映像をモニタに表示するだけでなく、オペレータの指令に基づいて第２撮影手段２で撮影したターゲットをモニタに表示することが可能となる。
さらに、センスエリア情報とパターン抽出結果（ターゲット候補）との相関関係を調べ、センスエリアと相関をもつターゲット候補が検出されない場合、撮影すべきターゲット無しと見なして第２撮影手段２をズームアウトしたり、予め設定した旋回条件で作動させてオートパン撮影したり、予め設定した撮影区画（ホームポジション）を予め設定したズーム倍率にて撮影するように構成してもよい。
また、センスエリア情報とパターン抽出結果（ターゲット候補）の相関関係を調べ、センスエリアとターゲット候補の共通部分の有無（状態）の情報や、第２撮影手段２による撮影方法（撮影の種類）の情報や、モニタに表示されているターゲットが、何れのセンスエリアと共通部分を有するかの情報を出力してもよい。
モニタにターゲットの追尾映像を表示するだけでなく、センスエリアとターゲット候補との共通部分の有無の情報を出力することによって、センスエリアと相関をもつ有意なパターン（ターゲット候補）が発生したか否かを、本発明に基づく自動撮影装置に接続された外部の装置が容易に把握することができる。例えば、前記の外部装置が録画装置なら、その情報（センスエリアとターゲット候補との共通部分の有無）に基づいて録画の制御（録画開始／停止）等を行える。また例えば、モニタに表示されている映像がターゲットの追尾撮影である場合は、追尾撮影であることを出力し、モニタに表示されている映像がオートパン映像である場合は、オートパン映像であることを出力し、モニタに表示されている映像の種類を出力することによって、モニタに表示されている映像の種類を容易に把握することができる。また例えば、モニタに表示されているターゲットが、何れのセンスエリアと共通部分を有するかの情報を出力することによって、モニタに表示されているターゲットの位置を容易に把握することができる。
そして、本発明に基づく自動撮影装置を複数台稼動させて監視領域を監視（映像監視）する場合など、モニタに表示する映像を選択する外部装置（映像切り替え装置）によって、上記の把握情報に基づいて最も重要性が高い撮影を行っている撮影装置の映像だけを選択して出力する等の利用法もある。
次に第２実施例による自動撮影方法および自動撮影装置について図５及び図６〜図１０を参照して説明する。
第２実施例による自動撮影方法は、広角カメラからなる第１撮影手段１で撮影した領域（監視領域全体）に有意なパターン（ターゲット候補）が複数同時に存在する状況で、パターン抽出結果とセンスエリアとの相関関係によって１つのターゲットを自動的に選択し、当該ターゲットについてパン・チルト・ズーム機能を備えた第２撮影手段２で追尾撮影してターゲットの追尾映像を取得する自動撮影方法において、第２撮影手段２で撮影しているターゲットがセンスエリア外に移行しても、当該ターゲットを継続して追尾撮影するための手段を備えるものである。
また第２実施例による自動撮影装置は、図５に示すように、監視領域全体を撮影する第１撮影手段１と、撮影視野の方向を変更できる第２撮影手段２と、第１撮影手段から入力された入力映像Ｉの映像領域を区分けした区画ごとに、追尾撮影すべき対象の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合Ｐを有意なパターンとして出力するパターン抽出手段３と、予め入力映像Ｉの映像領域上に設定された、任意形状のＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）からなるセンスエリアを、それぞれの優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）とともに記憶するセンスエリア記憶手５と、前記領域Ｓｉ全てについて、前記パターン抽出手段３で出力した区画の集合Ｐとの重なりを判定し、重なりがあれば、該重なりを生じた区画Ｂと、重なったセンスエリアＳｉの優先度ｐｉとの対を出力するセンス手段４と、センス手段４が出力した重なりの区画Ｂとその優先度ｐｉの対の中から、もっとも優先度が大きいもの（優先度ｐ）を選び、前記区画の集合Ｐの中から、前記区画Ｂを含む連結領域Ｔを切り出すターゲット選択手段６と、前記連結領域Ｔを一時的に記憶し、連結領域Ｔ’として出力するパターン一時記憶手段２１と、前記優先度ｐを一時的に記憶し、優先度ｐ’として出力する優先度一時記憶手段２２と、前記入力映像Ｉ上で、連結領域Ｔ’が覆う領域に映っている物体（ターゲット）を撮影視野に収めるように該第２撮影手段２を制御する撮影制御手段８とからなる。
そして一時的に記憶されている連結領域Ｔ’を、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から選択された連結領域Ｔに置き換え、かつ一時的に記憶されている優先度ｐ’を、前記連結領域Ｔとともに求められた優先度ｐに置き換えるのは、該最新優先度ｐが優先度ｐ’以上の場合のみとし、前記一時的に記憶されるべき連結領域Ｔが検出されず連結領域Ｔが空である間は、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から、前記一時的に記憶されている連結領域Ｔ’と重なりを有する連結領域Ｔ２’を切り出し、該連結領域Ｔ２’をもって連結領域Ｔ’を更新するものである。
図５に示すように、この実施例による自動撮影装置は、第１実施例の自動撮影装置と同様に、監視領域全体を撮影する広角カメラからなる第１撮影手段１と、第１撮影手段１で撮影した映像をもとに選択されたターゲットを追尾撮影する回転カメラからなる第２撮影手段２と、第１撮影手段１で撮影した映像をもとにパターン抽出結果（ターゲット候補のパターン）を出力するパターン抽出手段３と、センスエリア情報を記憶するセンスエリア記憶手段５と、前記センスエリア情報とパターン抽出結果との相関関係を調べるセンス手段４と、より高い優先度のセンスエリアと共通部分をもつターゲット候補のパターンを新規ターゲット推定パターンとして出力するターゲット選択手段６とを備える。
またターゲットの位置座標を取得するターゲット位置取得手段７と、ターゲットの位置座標をもとに第２撮影手段８の撮影方向を決定する撮影制御手段８とを備える。
第１撮影手段１は、透視投影に基づくカメラであって、画像中心をレンズの光軸位置とし、前記画像中心を原点として、左向きにＸ軸の正方向、上向にＹ軸の正方向をとるようにして、撮影した映像内の座標（位置）を決定した。またカメラ（第１撮影手段１）から光軸に沿って離れる向きにＺ軸の正方向をとるようにした。
第２撮影手段２は、パン・チルト・ズーム機能を備えた回転カメラであって、第１撮影手段１に近接して配置するとともに、パン回転面が第１撮影手段１（広角カメラ）の光軸と平行になるように設置し、パン回転面が第１撮影手段１で撮影した映像の水平線に対して平行となるようにした。
パターン抽出手段３では、第１撮影手段１で撮影した映像（監視領域全体の映像）をもとに動き検出処理し、映像を構成する時刻ｔにおけるフレームの画像と、予め記憶してある監視領域全体の背景画像との差分をとり、有意な差が検出された部分のパターンをパターン抽出結果として出力し、ターゲット候補のパターンを取得する。
なおパターン抽出方法として、時刻ｔにおけるフレーム画像と、時刻ｔ−１におけるフレームの画像との差分をとり、有意な差が検出された部分のパターンを抽出する方法や、明度差、温度差、色相差、特定形状か否かの判断等によって、有意なパターンを抽出する方法を用いてもよい。
センスエリア記憶手段５は、第１撮影手段で撮影した監視領域全体の映像をもとに、オペレータがセンスエリアとして予め設定したＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）（設定位置・範囲からなる情報）とその優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ））とからなるセンスエリア情報をそれぞれ記憶する。
例えば４つのセンスエリアＳ１〜Ｓ４を設定した場合、センスエリア記憶手段５は、センスエリアの領域Ｓ１〜Ｓ４（設定位置・範囲からなる情報）及びその優先度ｐ１〜ｐ４の対からなるセンスエリア情報を、それぞれ記憶する。
センス手段４には、センスエリア記憶手段５に記憶されているセンスエリア情報（領域Ｓｉと優先度ｐｉ）と、パターン抽出手段３から出力されたパターン抽出結果とが入力される。そして前記センス手段４は、パターン抽出結果とセンスエリアの相関関係を調べ、パターン抽出結果（ターゲット候補のパターン）と相関をもつ（共通部分を有する）センスエリアなかで最も優先度が高いセンスエリアを求め、当該センスエリアの優先度と、当該センスエリアの領域Ｓｉ（設定位置・範囲からなる情報）とパターン抽出結果（ターゲット候補のパターン）との共通部分のパターンを出力する。
図６のフローチャートを参照して、この実施例によるターゲット候補センス処理について説明する。
この実施例によれば、パターン抽出手段３から出力されたパターン抽出結果Ｐ（ターゲット候補のパターン）をセンス手段４に入力することによって、ターゲット候補センス処理が開始し（ステップＳ１）、前記パターン抽出結果Ｐと、センスエリア記憶手段５から入力されたセンスエリア情報（例えば、センスエリアＳ１〜Ｓ４のセンスエリア情報）とに基づき、各センスエリアについて順次ターゲット候補との相関関係を調べる。
なお、図６に示すフローチャートにおいて、センスエリアとして設定された領域（設定位置・範囲からなる情報）をＳｉ（ｉ＝１，２，３，．．．，Ｎ）、優先度をｐｉ（ｉ＝１，２，３，．．．，Ｎ）とするとともに、パターン抽出結果Ｐ（ターゲット候補のパターン）と共通部分をもつセンスエリアＳＭＡＸの優先度をｐＭＡＸ、前記センスエリアＳＭＡＸとパターン抽出結果Ｐとの共通部分のパターンをＢＭＡＸ、と示す。
また初期値として、ｉＭＡＸ＝−１，ｐＭＡＸ＝−１，ＢＭＡＸ＝φ、がそれぞれ設定されており、監視領域の映像上に設定されている各センスエリアの領域Ｓｉについて、センスエリアＳ１からＳ４まで順々にターゲット候補センス処理を行う（ステップＳ２）。
なお、何れのセンスエリアの優先度よりも低い値（「−１」）を、センスエリアの優先度の初期値として設定してある。
まず、ｉの値に「１」を設定し（ｉ＝１）、パターン抽出結果ＰとセンスエリアＳｉと共通部分Ｂ（重なりの区画Ｂ）を求める（ステップＳ３）。つまり、センスエリアＳ１（領域Ｓ１）とパターン抽出結果Ｐとの相関関係（共通部分の有無）を調べる。
次に、センスエリアＳ１の優先度ｐ１と、パターン抽出結果との共通部分Ｂとを判定し（ステップＳ４）、共通部分Ｂが空ではなく、かつセンスエリアＳ１の優先度ｐ１が、予め設定されているセンスエリアの優先度ｐＭＡＸ（初期値：ｐＭＡＸ＝−１）よりも大きい場合（Ｙｅｓ）、センスエリアＳ１の優先度ｐ１と、パターン抽出結果Ｐとの共通部分のパターンＢ（重なりの区画Ｂ）とをそれそれ、パターン抽出結果Ｐ（ターゲット候補のパターン）と共通部分をもつセンスエリアＳＭＡＸの優先度ｐＭＡＸ、パターン抽出結果Ｐ（ターゲット候補のパターン）と共通部分のパターンＢＭＡＸとして更新（設定・登録）し（ステップＳ５）、その後、ｉの値に「１」を加算し（ステップＳ６）、続いてセンスエリアＳ２について、センスエリアとターゲット候補との相関関係を調べる（ステップＳ３〜Ｓ５）。
一方、センスエリアＳ１の優先度ｐ１と、パターン抽出結果との共通部分Ｂとを判定し（ステップＳ４）、共通部分Ｂが空ではなく、かつセンスエリアＳ１の優先度ｐ１が、予め設定されているセンスエリアの優先度ｐＭＡＸ（初期値：ｐＭＡＸ＝−１）よりも大きい条件を満たさない場合（Ｎｏ）、ただちに、ｉの値に「１」を加算し（ステップＳ６）、センスエリアＳ２について、センスエリアとターゲット候補との相関関係を調べる（ステップＳ３〜Ｓ５）。
ステップＳ３〜ステップＳ６を繰り返し、センスエリアＳ１から順々に全てのセンスエリア（センスエリアＳ１〜Ｓ４）について、パターン抽出結果Ｐ（ターゲット候補）との相関関係を調べた後（ステップＳ７）、パターン抽出結果Ｐと共通部分をもつセンスエリアのうち、最も優先度が高いセンスエリアの優先度ｐＭＡＸと、当該センスエリアとパターン抽出結果Ｐとの共通部分のパターンＢＭＡＸとを出力し（ステップＳ８）、ターゲット候補センス処理を終え（ステップＳ９）、次のパターン抽出結果Ｐの入力を待つ。
ターゲット選択手段６は、センス手段４から出力された情報をもとに、パターン抽出手段３で出力したパターン抽出結果（ターゲット候補のパターン）のなかから、より高い優先度のセンスエリアと共通部分を有するターゲット候補のパターンを求め、新規ターゲット推定パターンとして出力する（図７を参照）。
この実施例では、ターゲット選択手段６で出力した新規ターゲット推定パターンは、ターゲット切り替え制御手段１０に入力される。
ターゲット選択手段６による新規ターゲット決定処理について、図７を参照して説明する。
図７（ａ）に示すように、より高い優先度のセンスエリアＳＭＡＸと共通部分を有するターゲット候補のパターンを求める。
なお、図７（ｂ）に示すように、より高い優先度のセンスエリアＳＭＡＸと共通部分をもつターゲット候補が複数存在する場合、適切な規則でただ一つのターゲット候補を選ぶ。
例えば、センスエリアとターゲット候補のパターンとの共通部分がより左上のものを優先して選択する。
さらにこの実施例による追尾撮像装置は、第２撮影手段２で追尾撮影しているターゲットがセンスエリアから外れても、当該ターゲットを更新（継続）して撮影し続けるための手段（パターン更新手段９）と、第２撮影手段２が追尾するターゲットと相関をもつセンスエリアの優先度（以下、ターゲット優先度という）と、当該ターゲットのパターンとの対を記憶する手段（ターゲット情報一時記憶手段２０）とを備え、前記ターゲット情報一時記憶手段２０に記憶されているターゲット優先度より高い優先度のセンスエリアにおいてパターンとの相関が発生する条件が成立するまでの間、第２撮影手段２は前記ターゲットの追尾撮影を続ける。
なお前記ターゲット情報一時記憶手段２０に記憶されているターゲット優先度以上の優先度のセンスエリアにおいてパターンとの相関が発生する条件が成立するまでの間、第２撮影手段２は前記ターゲットの追尾撮影を続けるように構成してもよい。
つまり、第１撮影手段１から順次入力される映像をもとに抽出したパターン抽出結果と相関をもつセンスエリアの優先度と、ターゲット情報一時記憶手段２０に記憶されているターゲット優先度とを比較し、ターゲット優先度より高い優先度、またはターゲット優先度以上の優先度をもつセンスエリアと相関をもつパターンが発生するまでの間、パターン更新手段９から出力される更新ターゲット推定パターンをターゲットとして決定することによって、第２撮影手段２で撮影しているターゲットがセンスエリアから外れた後も、前記ターゲットを更新（継続）して撮影する。
一方、ターゲット優先度より高い優先度、またはターゲット優先度以上の優先度をもつセンスエリアと相関をもつパターンが発生した場合は、第２撮影手段２で追尾するターゲットを切り替え、第１撮影手段１から入力された映像をもとに取得したターゲット候補のうち、より優先度が高いセンスエリアと相関をもつターゲット候補をターゲットと決定し、新たに取得したターゲットを追尾撮影する。
パターン更新手段９には、第２撮影手段２で追尾撮影しているターゲットのパターン（ターゲット推定パターン）と、第１撮影手段１から新たに入力された映像をもとにパターン抽出処理して抽出したパターン抽出結果（ターゲット候補のパターン）とが入力され、前記パターン抽出結果のなかから、第２撮影手段２で追尾撮影しているターゲットのパターン（ターゲットの既存のパターン）と共通部分を含む連結領域（ターゲットの新しいパターン）を取得し、更新ターゲット推定パターンとして出力する。
また、第２撮影手段２で追尾撮影しているターゲットのパターン（ターゲットの既存のパターン）と共通部分を含む連結領域（ターゲットの新しいパターン）が存在しない場合は、入力されたターゲット推定パターン（ターゲットの既存のパターン）をそのまま更新ターゲット推定パターンとして出力する。
なお前記連結領域（ターゲットの新しいパターン）が存在しない状態が、予め設定した期間（ＴＨＯＬＤ秒）継続した場合、ターゲット情報クリア指令を１回出力する。
パターン更新手段９から出力された更新ターゲット推定パターンは、ターゲット切り替え制御手段１０に入力される。
また、ターゲット情報クリア指令はターゲット情報一時記憶手段２０に入力され、これによって、第２撮影手段２で撮影していたターゲットの追尾が終了する。
パターン更新手段９によるパターン更新処理について、図８を参照して説明する。
図８に示すように、第１撮影手段１から新たに入力される映像をもとにパターン抽出処理して抽出したパターン抽出結果のなかから、第２撮影手段２で追尾撮影しているターゲットのパターン（ターゲットの既存のパターン（連結領域Ｔ’））と共通部分を含む連結領域（新しいターゲットのパターン（連結領域Ｔ２’））を取得する。
なお、前記パターン抽出結果に、第２撮影手段２で追尾撮影しているターゲットのパターン（ターゲットの既存のパターン）と共通部分を含む連結領域が２以上存在する場合、例えば共通部分がより左上のものを優先し、当該共通部分（より左上の共通部分）を含む連結領域を新しいターゲットのパターンとして取得する。
ターゲット切り替え制御手段１０には、ターゲット選択手段６から出力される新規ターゲット推定パターン（連結領域Ｔ）と、センス手段４から出力される前記新規ターゲット推定パターンと相関をもつセンスエリアの優先度（優先度ｐ（ｐＭＡＸ））と、パターン更新手段９から出力される更新ターゲット推定パターン（連結領域Ｔ２’）と、ターゲット一時記憶手段２０（優先度一時記憶手段２２）に記憶されているターゲット優先度（優先度ｐ’）とが入力される。
ターゲット切り替え制御手段１０は、センスエリアの優先度と、ターゲット優先度とを比較する比較回路１３と、前記比較回路１３で比較した優先度の何れか一方を選択する第２セレクタ１２と、新規ターゲット推定パターンと更新ターゲット推定パターンのうち、前記第２セレクタ１２で選択した優先度と対をなすパターンを選択する第１セレクタ１１とを備え、ターゲット優先度よりも高い優先度、またはターゲット優先度以上の優先度をもつセンスエリアと相関をもつパターン（新規ターゲット推定パターン）が入力されるまでの間、ターゲット推定パターンとして更新ターゲット推定パターンを出力するとともに、ターゲット優先度として、入力されたターゲット優先度をそのまま出力する。
一方、ターゲット優先度よりも高い優先度、またはターゲット優先度以上の優先度をもつセンスエリアと相関をもつパターン（新規ターゲット推定パターン）が入力された場合、ターゲット推定パターンとして新規ターゲット推定パターンを出力するとともに、ターゲット優先度として、入力されたセンスエリアの優先度を出力する。
ターゲット切り替え制御手段１０から出力されたターゲット推定パターンと、ターゲット優先度はターゲット情報一時記憶手段２０に入力され、当該ターゲット情報一時記憶手段２０に記憶される。
ターゲット情報一時記憶手段２０は、第２撮影手段で追尾撮影するターゲットのパターン（ターゲット推定パターン）を一時記憶するパターン一時記憶手段２１と、当該ターゲットのターゲット優先度を一時記憶する優先度一時記憶手段とを記憶する優先度一時記憶手段２２とを備える。
なお前記ターゲット情報一時記憶手段２０に、ターゲット情報クリア指令が入力されると、パターン一時記憶手段２１で記憶しているターゲット推定パターンが空になるとともに、優先度一時記憶手段２２で記憶しているターゲット優先度が初期値（「−１」）に設定される。ターゲット優先度の初期値は、何れのセンスエリアの優先度よりも低い値である。
さらにこの実施例では、ターゲット推定パターンの位置座標を取得するターゲット位置取得手段７と、ターゲットの位置座標をもとに第２撮影手段８の撮影方向を決定する撮影制御手段８とを備え、第１撮影手段１で撮影した映像をもとに選択したターゲットを第２撮影手段２で追尾撮影する。
ターゲット位置取得手段７によるターゲット座標取得処理について、図９を参照して説明する。
ターゲット位置取得手段７は、ターゲット情報一時記憶手段２０に記憶されているターゲット推定パターン（ターゲットのパターン）から、第１撮影手段１から入力された映像上での当該パターンの位置（点Ｒの座標（ｘ，ｙ））を決定する。
この実施例では、ターゲット推定パターン（ターゲットのパターン）の外接長方形の、上部中央（上端から１ブロック分下）の座標を出力し、第１撮影手段１で取得した映像上でのターゲットの位置（点Ｒの座標(ｘ，ｙ)）を決定する。
続いて、撮影制御手段１１が、ターゲット座標取得手段７で出力した座標（位置情報）に基づいて、第２撮影手段２の向けるべき方向（撮影方向）を決定する。
図１０を参照して、この実施例による第２撮像装置の制御方法について説明する。
図１０は、この実施例による第１撮影手段１（広角カメラ）における透視投影の様子を右側面から眺めたところである。点Ｏが、投影面と光軸との交点であり、Ｘ−Ｙ−Ｚ座標系原点でもある。点Ｆは第１撮影手段１（広角カメラ）の焦点である。
図１０に示すように、座標（ｘ，ｙ）に入射した光線の光路ＲＦと、Ｚ−Ｘ平面とがなす角度ψは数式１で求められる。ここでＤは広角カメラの焦点距離（距離ＦＯである）。
Figure 0003989523
また、光路ＲＦをＺ−Ｘ平面に投影した直線と、Ｚ軸とのなす角度θは数式２で求められる。
Figure 0003989523
このとき、回転カメラからなる第２撮影手段２を第１撮影手段１に近接して設置し、かつ回転カメラの回転面が、広角カメラの光軸に平行であり、回転面が、広角カメラで取得される映像の水平線に平行になるように設置することにより、上記数式１及び数式２で算出したθとψを回転カメラのパン角度、チルト角度として与えたとき、入射光線の光路ＲＦが回転カメラの視野円錐(または四角錐)に含まれることになる。すなわち、広角カメラで取得した映像上で点Ｒの位置に映っている物体（ターゲット）またはその一部が、回転カメラで取得した映像にも映ることになる。
なお、第２撮影手段２としてパン・チルト・ズーム機能を備えた回転カメラを使用し、前記第２撮影手段２で追尾撮影しているターゲットを、新たなターゲットに切り替える際に、前記第２撮影手段をズームアウトすることが好ましい。
第２撮影手段２で追尾撮影していたターゲットを切り替え、第２撮影手段２の撮像方向を新たなターゲットの方向に変更する際（新たなターゲットの方向に旋回する際）、前記旋回によって出力映像がぶれるといった問題点があるが、ターゲット切り替え時、第２撮影手段をズームアウトすることによって、ぶれた映像が出力されるのを防ぎ、出力映像を新しいターゲットの方向に向けてスムーズに移行させることができる。
またターゲット切り替え時、第２撮影手段をズームアウトすることによって、第２撮影手段２による撮影方向（撮影範囲）がどこからどこに移行（旋回）したのかを把握することができる。
また第２撮影手段２としてパン・チルト・ズーム機能を備えた回転カメラを使用し、第２撮影手段２で追尾したターゲットをモニタに拡大表示するにあたって、ターゲットの大きさが一定の大きさに表示されるようにすることが好ましい。
映像上での見かけの大きさをもとにズーム倍率を決め、ターゲットの見かけ上の大きさをそろえるズーム倍率決定手段を設け、第２撮影手段２について、予め、ズーム倍率と視野角の対応関係を調べておくとともに、第２撮影手段２で取得した映像上で、ターゲットの左右端のＸ座標（それぞれx1, x2）、ターゲットの上下端のＹ座標（それぞれy1, y2）によって、ターゲット上端及び下端から入射する光路とz-x平面とのなす角（それぞれφ１，φ２）と、ターゲット左端及び右端から入射する光路とx-y平面とのなす角（それぞれθ１，θ２）とを求め、これらの角度が、第２撮影手段２の視野角範囲に収まるようなズーム倍率を、第２撮影手段２におけるズーム倍率と視野角の対応関係から決定し、指定する。
ターゲットの上端・左端・右端を第２撮影手段２の視野に収める場合、第２撮影手段２におけるズーム倍率と視野の対応関係を基に、水平画角ＡＨと垂直画角Ａｖが、数式３に示す条件を満たす範囲でズーム倍率を決定する。
なお数式３において、Ｄは第２撮影手段の焦点距離を示す。
Figure 0003989523
 θ1＜ＡH／２ かつ θ２＜ＡＨ／２
ψ1＜ＡV／２
この発明の第３実施例によれば、実施例１による自動撮影方法に加えて、予め設定したセンスエリアのうち、ある特定のエリアを進入位置撮影用センスエリア（領域Ｅ）として設定し、前記進入位置撮影用センスエリア（領域Ｅ）と共通部分を有するターゲット候補をターゲットとして決定した場合、第２撮影手段２を旋回させて前記ターゲットが存在する進入位置撮像用センスエリアを第２撮影手段２の撮影領域内に捉え、前記進入位置撮影用センスエリア内にターゲットが存在し、かつ当該ターゲットよりも優先するターゲット候補のパターンが検出されない間は、第２撮影手段２の水平旋回を変化させることなく、進入位置撮影用センスエリア内にあるターゲットを撮影するものである。
例えば、図３や図５に示す自動撮影装置において、撮影制御手段８に入力される連結領域Ｔ’が、前記進入位置撮影用センスエリア（領域Ｅ）と重なっている間、前記第２撮影手段２の水平旋回を変化させることなく、前記進入位置撮影用センスエリア（領域Ｅ）内に映っている物体（ターゲット）を撮影するように第２撮影手段２を制御する。
また、予め設定したセンスエリアのうち、ある特定のエリアをプリセット位置撮影用センスエリア（領域Ｒ）として設定し、前記プリセット位置撮影用センスエリア（領域Ｒ）と共通部分を有するターゲット候補をターゲットと決定した場合、第２撮影手段２を旋回させて、予めプリセット位置撮影エリアと関連付けて設定してあるプリセット位置（撮影区画）を第２撮影手段２の撮影領域内に捉え、前記パターンがプリセット位置撮影用センスエリア内に存在し、かつ当該ターゲットよりも優先して撮影するパターンが検出されない間は、第２撮影手段２の水平旋回を変化させることなく、前記プリセット位置（撮影区画）を撮影するものである。
例えば、図３や図５に示す自動撮影装置において、撮影制御手段８に入力される連結領域Ｔ’が、前記プリセット位置撮影用センスエリア（領域Ｒ）と重なっている間、前記第２撮影手段２によって、予め設定した視野方向と範囲を撮影するように第２撮影手段２を制御する。
図１１を参照して、この実施例による自動撮影方法を説明する。
図１１に示す実施例では、第１撮影手段から入力される監視領域（教室）の映像をもとに、教壇の位置にプリセット位置撮影用センスエリア（領域Ｒ）を設定し、着席している生徒の頭上に進入位置撮影用センスエリア（領域Ｅ）を設定してある。なおセンスエリアの優先度は、領域Ｒ＜領域Ｅに設定してある。
またプリセット位置撮影用センスエリア（領域Ｒ）は、登壇した教師の上半身が撮影されるように、撮影制御手段８によって制御される第２撮影手段２の撮影視野を教壇の上方に設定してある。さらに着席している生徒が起立し、進入位置撮影用センスエリア（領域Ｅ）と重なる場合、前記第２撮影手段２の水平旋回を変化させることなく、起立した生徒を撮影するように第２撮影手段２は制御される。
図１１（ａ）は、監視領域（教室）内に設定したプリセット位置撮影用センスエリア（領域Ｒ）及び進入位置撮影用センスエリア（領域Ｅ）において、いずれも有意なパターン（ターゲット候補（人物）)との間に相関を持たないため、第２撮影手段２をズームアウトして教室全体を撮影したものである。
図１１（ｂ）は、教壇上の教師（ターゲット）がプリセット位置撮影用センスエリア（領域Ｒ）と相関しているので、予め設定してある教壇上方のプリセット位置を撮影する。なおこの間、教師（ターゲット）が前後左右または上下のどの方向に動いても、第２撮影手段２による撮影位置はプリセット位置のままであり、第２撮影手段２は、教師（ターゲット）を追尾して撮影方向を変化させることなくプリセット位置を撮影する。
図１１（ｃ）は、起立した生徒（ターゲット）が進入位置撮影用センスエリア（領域Ｅ）と相関しており、かつ優先度が領域Ｅ＞領域Ｒなので、進入位置撮影用センスエリア（領域Ｅ）と重なりをもつ生徒（ターゲット）を撮影する。なお、この間、生徒の上下動、または、映像上での見かけの背の高さに応じて第２撮影手段による撮影位置は上下するが、生徒が前後左右に動いても撮影位置は左右には動かない。つまり第２撮影手段２の撮影方向は、水平旋回の変化をともなうことなく、生徒（ターゲット）を撮影する。
進入位置撮影用センスエリアＥは生徒一人一人個別に設定する必要はなく、図１１に示すように帯状に１つ設定するだけで機能する。すなわち、一人の生徒の進入が検出されている間、その生徒が前後左右に動いても撮影位置を左右には動さないことで、その生徒を安定して撮影し続ける。かつ、生徒の背の高さに応じて第２撮影手段による撮影位置を上下させることにより、生徒ごとに身長差があっても、第２撮影手段２の視野内に生徒の頭部を捉えることができる。
このように、請求項５、および６に記載の発明は、第２撮影手段２の追尾運動に対し、ターゲットの性質に応じた一定の制約を設けることで、安定した映像を提供することを目的としている。
この発明の第４実施例による自動撮影方法は、第１実施例による自動撮影方法に加えて、パターン抽出処理自体をマスクすることにより、追尾撮影しない領域を明示する手段を与えるものである。
つまり、第１撮影手段１で撮影した映像をもとにマスクエリアを設定し、第１撮影手段１から入力された映像をパターン検出処理したときに前記マスクエリア内にパターンが検出されても、前記マスクエリア内のパターンをターゲット候補として出力しない。
さらに第４実施例による自動撮影装置では、誤検出訂正領域（領域Ｍ）を設定することによって、ターゲット以外の動きが集中する領域でのターゲットの誤検出が継続し、その結果、本当に撮影せねばならないターゲットを見逃すことを防止する。
つまり、第１撮影手段１で撮影した映像をもとに誤検出訂正領域（領域Ｍ）を設定し、第１撮影手段１から入力された映像をパターン抽出処理したときに、誤検出訂正領域内部と誤検出訂正領域周縁とで有意なパターンが検出された場合、誤検出訂正領域周縁のパターンのみをターゲット候補とする。また、パターン抽出手段で検出したターゲット候補のパターンが、誤検出訂正領域内部で共通部分を有し、誤検出訂正領域周縁で共通部分を有さない場合、誤検出訂正領域内部のパターンをターゲット候補とみなさない。
この実施例による誤検出訂正領域について、図１２を参照して説明する。
この実施例では、ターゲット以外の動きが集中する領域を誤検出訂正領域の集合｛Ｍｉ｝と設定しておき、該領域内で誤った追尾に陥っても、ターゲットが該領域を出たところでターゲットに追尾しなおすようにする。
図１２（ａ）に示すように、カーテンを含む領域を誤検出訂正領域｛Ｍｉ｝として与えておくと、侵入者がＡ地点からＢ地点に移動するとき、前記領域を誤検出訂正領域の内部では前記侵入者をターゲットとして検出せず、侵入者がＢ地点に達した時（誤検出訂正領域の周縁部）、ターゲットととして再設定する。
図１２（ｂ）は侵入者が、誤検出訂正領域｛Ｍｉ｝で指定された領域から出る瞬間を示している。このとき、パターン抽出手段による動き検出処理によって、侵入者の背景との差異Ｄと、カーテンの背景との差異Ｆとからなるパターンを抽出していても、カーテンと背景との差異Ｆは、前記誤検出訂正領域｛Ｍｉ｝の内部と共通部分を有し、侵入者の背景との差異Ｄは、前記誤検出訂正領域｛Ｍｉ｝の周縁と共通部分を有するため、前記差異Ｆ（カーテン）はターゲット候補として検出されることなく、差異Ｄ（侵入者）がターゲットのパターンとして切り出され、侵入者が正しくターゲットとなる。
図１３は、この発明の第５実施例による自動撮影方法の第１撮影手段を示すものである。
この実施例では、第１撮影手段１が複数台のカメラで構成され、前記複数台のカメラから入力した映像を連結することによって、監視領域の全体映像を取得する。これによって第１撮影手段で撮影する監視領域の範囲を広くすることができる。
図１３に示す実施例では３台のカメラを使用し、これらのカメラで撮影した映像を連結することによって監視領域を撮影し、全体映像を取得する。
第６実施例による自動撮影装置は、図１４に示すように、監視領域全体を撮影する第１撮影手段１と、第１撮影手段から取得した入力映像Ｉの映像領域を区分けした区画ごとに、追尾撮影すべき対象の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合Ｐを出力するパターン抽出手段３と、予め入力映像Ｉの映像領域上に設定された、任意形状のＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）を、それぞれの優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）とともに記憶するセンスエリア記憶手段５と、前記領域Ｓｉと、前記パターン抽出手段３で出力した区画の集合Ｐとの重なりを判定し、重なりがあれば該重なりを生じた区画Ｂと、重なった領域Ｓｉの優先度ｐｉとの対を出力するセンス手段４と、センス手段４が出力した重なりの区画Ｂとその優先度ｐｉの対の中から、最も優先度が大きいもの（優先度ｐ）を選び、前記区画の集合Ｐの中から、前記区画Ｂを含む連結領域Ｔを切り出すターゲット選択手段６と、前記ターゲット選択手段６で選択した連結領域Ｔを一時的に記憶し、連結領域Ｔ’として出力するパターン一時記憶手段２１と、前記ターゲット選択手段６で選択した優先度ｐを一時的に記憶し、優先度ｐ’として出力する優先度一時記憶手段２２と、入力映像Ｉ上で、前記連結領域Ｔ’が覆う範囲の画像を継続して切り出し、出力する映像切出し手段１８とからなり、一時的に記憶されている連結領域Ｔ’を、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から選択された連結領域Ｔに置き換え、かつ一時的に記憶されている優先度ｐ’を、前記連結領域Ｔとともに求められた優先度ｐに置き換えるのは、該最新優先度ｐが優先度ｐ’以上の場合のみであり、前記連結領域Ｔが空である間は、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から、前記一時的に記憶されている連結領域Ｔ’と重なりを有する連結領域Ｔ２’を切り出し、該連結領域Ｔ２’をもって連結領域Ｔ’を更新するものである。
つまり第６実施例では、第２撮影手段としてパン・チルト・ズーム機能を備えたカメラに代えて、第１撮影手段から入力された映像からターゲットの映像を部分的に切り出す電子的切り出し手段（映像切出し手段１８）を設け、第１撮影手段から入力された入力映像Ｉをもとに有意なパターンが抽出されターゲットが検出された場合、前記映像切出し手段１８によって、第１撮影手段１で撮影した映像（入力映像Ｉ）を格納する映像メモリ１７に保存された映像（全体映像）からターゲットの映像を部分的に切り出し、このターゲットの追尾映像をモニタに拡大表示する。
すなわち第１撮影手段１から取得した入力映像Ｉから部分的に映像を切り出して出力する映像切出し手段１８を制御し、第１撮影手段１の入力映像Ｉをもとに検出したターゲットの追尾映像を取得する自動撮影方法において、第１撮影手段１から取得した入力映像Ｉの映像領域を区分けした区画ごとに、追尾撮影すべき対象の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合Ｐを抽出する工程と、予め入力映像Ｉの映像領域に任意形状のＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）とその優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）を設定しておき、該領域Ｓｉと前記区画の集合Ｐとの相関関係を調べ、前記区画の集合Ｐに含まれ、かつ領域Ｓｉの何れかと重なりをもつ連結領域のうち、最も高い優先度をもつ領域Ｓｉと重なりを有する連結領域Ｔ’を切出し出力する工程と、入力映像Ｉから、連結領域Ｔ’が覆う範囲の画像を継続して切り出し続ける工程とによって、ターゲットの追尾映像を取得するものである。
なおこの実施例では、第２撮影手段２の出力として得られる映像の解像度を確保するために、第１撮影手段１は高解像度カメラなどの十分な解像度を持つものを使用する。
この実施例によれば、第１撮影手段１から入力される映像の一部分を電子的切り出し手段で取得し、回転カメラからなる第２撮影手段２で得た映像の代わりとして使用することにより、第１撮影手段１の他に物理的な撮影装置を備える必要がなくなる。また第２撮影手段２を物理的に目的方向に向ける制御（撮影方向の物理的制御）が不要となる。
この実施例では、第１撮影手段１で撮影した監視領域の映像をもとにターゲットを検出するとともに、第２撮影手段２で当該ターゲットの追尾映像を取得し、モニタにターゲットの拡大映像を表示する自動撮影方法において、第１実施例や第２実施例と同様に、第１撮影手段１で撮影した映像をもとに、１つのターゲットを決定し、前記第２撮影手段２で、第１撮影手段１から入力される監視領域の映像のなかからターゲットの映像を部分的に切り出すことによってターゲットの追尾映像を取得する。
この実施例による自動撮影装置は、監視領域を撮影する第１撮影手段と、第１撮影手段で撮影した映像をもとに検出したターゲットの映像を部分的に切り出す第２撮影手段とを備える自動撮影装置において、第１撮影手段から入力された映像をパターン抽出処理して有意なパターンを抽出し、パターン抽出結果Ｐ（複数のターゲット候補）を出力するパターン抽出手段と、監視領域全体の映像上に予め設定されているセンスエリアの情報（領域Ｓｉと優先度ｐｉ）を記憶するセンスエリア記憶手段と、パターン抽出結果とセンスエリア情報とに基づいて、センスエリアとターゲット候補の相関関係を調べるセンス手段と、より高い優先度のセンスエリアと相関をもつターゲット候補のパターンを新規ターゲット推定パターンとして出力するターゲット選択手段と、第１撮影手段から入力された映像上における、前記新規ターゲット推定パターンの位置を求めるターゲット座標取得手段と、ターゲット座標取得手段で求めた位置情報に基づいて第２撮影手段を制御し、切り出し部分を決定する切り出し部分決定手段とによって、第１撮影手段から入力された映像をもとにパターン抽出処理して取得したターゲット候補のなかからターゲットを決定し、第２撮影手段で該ターゲットの映像を切り出して、ターゲットの追尾映像を取得する。
第７実施例による自動撮影装置は、図１５に示すように、視野方向を変更できる第２撮影手段２と、第２撮影手段２の位置から監視領域全体を収容できる広角視野範囲と同等の視野の仮想的なグローバル映像上で、前記第２撮影手段２の視野がどの範囲にあたるか算出する撮影範囲対応づけ手段１９ａと、第２撮影手段２の最新映像で前記グローバル映像上の対応範囲の映像内容を更新し、最新のグローバル映像を継続して出力するグローバル映像更新手段１９ｂと、グローバル映像更新手段１９ｂから出力された入力映像Ｉの映像領域を区分けした区画ごとに、追尾撮影すべき対象の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合Ｐを出力するパターン抽出手段３と、予め入力映像Ｉの映像領域上に設定された、任意形状のＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）を、それぞれの優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）とともに記憶するセンスエリア記憶手段５と、前記領域Ｓｉと、前記パターン抽出手段３で出力した区画の集合Ｐとの重なりを判定し、重なりがあれば該重なりを生じた区画Ｂと、重なった領域Ｓｉの優先度ｐｉとの対を出力するセンス手段４と、センス手段４が出力した重なりの区画Ｂとその優先度ｐｉの対の中から、最も優先度が大きいもの（優先度ｐ）を選び、前記区画の集合Ｐの中から、前記区画Ｂを含む連結領域Ｔを切り出すターゲット選択手段６と、前記ターゲット選択手段６で選択した連結領域Ｔを一時的に記憶し、連結領域Ｔ’として出力するパターン一時記憶手段２１と、前記ターゲット選択手段６で選択した優先度ｐを一時的に記憶し、優先度ｐ’として出力する優先度一時記憶手段２２と、入力映像Ｉ上で、前記連結領域Ｔ’が覆う領域に映っている物体を第２撮影手段２の視野に収めるように第２撮影手段２を制御する撮影制御手段８とからなり、一時的に記憶されている連結領域Ｔ’を、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から選択された連結領域Ｔに置き換え、かつ一時的に記憶されている優先度ｐ’を、前記連結領域Ｔとともに求められた優先度ｐに置き換えるのは、該最新優先度ｐが優先度ｐ’以上の場合のみであり、前記連結領域Ｔが空である間は、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から、前記一時的に記憶されている連結領域Ｔ’と重なりを有する連結領域Ｔ２’を切り出し、該連結領域Ｔ２’をもって連結領域Ｔ’を更新するものである。
第７実施例によれば、第２撮影手段２の位置から監視領域全体を収容できる広角視野範囲と同等の視野の仮想的なグローバル映像上で、前記第２撮影手段２の視野がどの範囲にあたるか算出する撮影範囲対応づけ手段１９ａと、前記第２撮影手段２から入力される最新映像で前記グローバル映像上の対応範囲の映像内容を更新するグローバル映像更新手段１９ｂとを設け、第２撮影手段２の最新映像をもとに更新されるグローバル映像を入力映像Ｉとして出力する。そして第１実施例や第２実施例と同様に、入力映像Ｉの映像領域を区分けした区画ごとに、追尾撮影すべき対象の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合Ｐを抽出する工程と、予め入力映像Ｉの映像領域に任意形状のＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）とその優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）を設定しておき、該領域Ｓｉと前記区画の集合Ｐとの相関関係を調べ、前記区画の集合Ｐに含まれ、かつ領域Ｓｉの何れかと重なりをもつ連結領域のうち、最も高い優先度をもつ領域Ｓｉと重なりを有する連結領域Ｔ’を切出し出力する工程と、入力映像Ｉ上で連結領域Ｔ’が覆う領域に映っている物体を第２撮影手段２の視野に収めるように第２撮影手段２を制御する工程とによって、ターゲットの追尾映像を取得する。
つまり第７実施例によれば、パン・チルト・ズーム機能を備えた回転カメラで監視領域を撮影し、回転カメラから入力された映像に基づいて更新されるグローバル映像を入力映像Ｉとし、当該入力映像Ｉをパターン抽出処理して有意なパターンを抽出し、ターゲット候補を取得した後、予め監視領域全体の映像をもとに設定したセンスエリアの情報（領域Ｓｉと優先度ｐｉ）と、前記ターゲット候補との相関関係を調べ、より高い優先度のセンスエリアと共通部分をもつターゲット候補をターゲットとし、さらに前記入力映像Ｉ上でのターゲット位置に基づいて回転カメラの撮影方向を制御し、ターゲットの追尾映像を取得する。
この実施例では、カメラによる撮影手段が、１台のパン・チルト・ズーム機能を回転カメラのみからなり、１台の回転カメラで監視領域を撮影するとともに、ターゲットを追尾撮影する自動撮影方法であって、回転カメラから入力された映像をもとにセンススエリアを設定するとともに、この回転カメラから入力された映像をもとにパターン抽出処理し、このパターン抽出結果とセンスエリア情報とに基づいて、ターゲット候補とセンスエリアの相関関係を調べ、ターゲットを検出する。
回転カメラをズームアウトし、かつパン0、チルト0の方向（以下、初期方向という）に旋回させ、当該回転カメラで取得された映像に対し、センスエリアを設定する。
そして、センスエリアを構成する個々の撮影区画（ブロック）について、対応するパン・チルト角度を算出し、記憶しておく。
このとき、回転カメラ映像上で座標(x, y)に位置する撮影区画（ブロック）に対応するチルト角度ψ、パン角度θはそれぞれ数式４で示される。なおＤはカメラの焦点距離を示す。
Figure 0003989523
上記の撮影区画（ブロック）と角度対応関係に基づいて、回転カメラの方向と視野角が与えられれば、視野の任意の位置に対応する撮影区画（ブロック）を算出できる。
このとき視野内に収まっている撮影区画（ブロック）の範囲でのみ、パターン抽出処理によるターゲット候補の抽出を行うことができる。
つまりこの実施例では、回転カメラの視野内に存在するセンスエリアのみで新しいターゲットをセンスする。つまり回転カメラの視野内に存在するセンスエリアとパターン抽出結果との相関関係を調べることによって、ターゲットを決定し、ターゲットが検出された場合は、回転カメラの撮影方向を変更することによってターゲットを追尾し、ズーム倍率を変更することによって、ターゲットの拡大映像を取得する。
この実施例では、ターゲットが検出されない場合、予め設定してある撮影方向（例えば、初期方向）に回転カメラを向けてズームアウトし、このズームアウトした回転カメラから入力された映像をもとにパターン抽出処理する。
なお回転カメラで追尾撮影していたターゲットが検出されなくなった場合、該ターゲットを撮影していた回転カメラの撮影方向を保持したまま、当該回転カメラをズームアウトし（ズーム倍率を変更）させることによって、回転カメラで追尾撮影しいていたターゲットが背景（物体）の陰に隠れるなどして一時的に検出されなくなった場合など、当該ターゲットが再び検出されるようになった時に、当該ターゲットを追尾撮影することができる。

Claims (10)

  1. 視野方向を変更できる第２撮影手段（２）を制御し、第１撮影手段（１）の入力映像Ｉをもとに検出したターゲットを追尾撮影することによって、前記ターゲットの追尾映像を取得する自動撮影方法において、
    第１撮影手段（１）から取得した入力映像Ｉの映像領域を区分けした区画ごとに、追尾撮影すべき対象の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合Ｐを抽出する工程と、
    予め入力映像Ｉの映像領域に任意形状のＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）とその優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）を設定しておき、該領域Ｓｉと前記区画の集合Ｐとの相関関係を調べ、前記区画の集合Ｐに含まれ、かつ領域Ｓｉの何れかと重なりをもつ連結領域のうち、最も高い優先度をもつ領域Ｓｉと重なりを有する連結領域Ｔ’を切出し出力する工程と、
    入力映像Ｉ上で連結領域Ｔ’が覆う領域に映っている物体を第２撮影手段（２）の視野に収めるように第２撮影手段（２）を制御する工程とによって、ターゲットの追尾映像を取得することを特徴とする自動撮影方法。
  2. 第１撮影手段（１）から取得した入力映像Ｉから部分的に映像を切り出して出力する映像切出し手段（１８）を制御し、第１撮影手段（１）の入力映像Ｉをもとに検出したターゲットの追尾映像を取得する自動撮影方法において、
    第１撮影手段（１）から取得した入力映像Ｉの映像領域を区分けした区画ごとに、追尾撮影すべき対象の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合Ｐを抽出する工程と、
    予め入力映像Ｉの映像領域に任意形状のＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）とその優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）を設定しておき、該領域Ｓｉと前記区画の集合Ｐとの相関関係を調べ、前記区画の集合Ｐに含まれ、かつ領域Ｓｉの何れかと重なりをもつ連結領域のうち、最も高い優先度をもつ領域Ｓｉと重なりを有する連結領域Ｔ’を切出し出力する工程と、
    入力映像Ｉから、連結領域Ｔ’が覆う範囲の画像を継続して切り出し続ける工程とによって、ターゲットの追尾映像を取得することを特徴とする自動撮影方法。
  3. 第２撮影手段（２）の位置から監視領域全体を収容できる広角視野範囲と同等の視野の仮想的なグローバル映像上で、前記第２撮影手段（２）の視野がどの範囲にあたるか算出する撮影範囲対応づけ手段（１９ａ）と、前記第２撮影手段（２）から入力される最新映像で前記グローバル映像上の対応範囲の映像内容を更新するグローバル映像更新手段（１９ｂ）とを設け、第２撮影手段（２）の最新映像をもとに更新されるグローバル映像を入力映像Ｉとして出力することを特徴とする請求項１または２に記載の自動撮影方法。
  4. 予め設定された領域Ｓｉと区画の集合Ｐとの相関関係を調べ、前記区画の集合Ｐに含まれ、かつ前記領域Ｓｉの何れかと重なりを有する連結領域のうち、最も高い優先度をもつ領域Ｓｉと重なりを有する連結領域Ｔを切り出し、当該連結領域Ｔをそれと重なる領域Ｓｉの優先度ｐとともに一時的に記憶し、
    前記一時的に記憶した連結領域Ｔを連結領域Ｔ’として出力するとともに、前記一時的に記憶した優先度ｐを優先度ｐ’として出力し、入力映像Ｉ上で、前記連結領域Ｔ’が覆う領域に映っている物体を第２撮影手段（２）の視野に収めるように第２撮影手段（２）を制御してターゲットの追尾映像を取得する自動撮影方法であって、
    一時的に記憶されている連結領域Ｔ’を、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から選択された連結領域Ｔに置き換え、かつ一時的に記憶されている優先度ｐ’を、前記連結領域Ｔとともに求められた優先度ｐに置き換えるのは、該最新優先度ｐが優先度ｐ’以上の場合のみであり、
    前記連結領域Ｔが空である間は、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から、前記一時的に記憶されている連結領域Ｔ’と重なりを有する連結領域Ｔ２’を切り出し、該連結領域Ｔ２’をもって連結領域Ｔ’を更新することを特徴とする請求項１から３の何れか１項に記載の自動撮影方法。
  5. 入力映像Ｉの映像領域上に進入位置撮影用センスエリアとして予め領域Ｅを設定し、
    前記領域Ｅと連結領域Ｔ’とが重なっている間、第２撮影手段（２）の視野を水平変化させることなく、前記領域Ｅ内に映っているターゲットの追尾映像を取得することを特徴とする請求項１から４の何れか１項に記載の自動撮影方法。
  6. 入力映像Ｉの映像領域上にプリセット位置撮影用センスエリアとして予め領域Ｒを設定し、
    前記領域Ｒと連結領域Ｔ’とが重なっている間、第２撮影手段（２）の視野を、予め設定した方向と範囲とすることを特徴とする請求項１から５の何れか１項に記載の自動撮影方法。
  7. 入力映像Ｉの映像領域上に誤検出訂正領域として予め連結領域Ｍを設定し、
    前記連結領域Ｍに連結領域Ｔ’が包含され、かつ入力映像Iから抽出された区画の集合Ｐと連結領域Ｍの周縁とに重なりが発生したとき、
    一時的に記憶されている連結領域Ｔ’を、前記区画の集合Ｐと連結領域Ｍの重なりを含む、集合Ｐの連結領域Ｔ’’にて置き換えることを特徴とする請求項４から６の何れか１項に記載の自動撮影方法。
  8. 監視領域全体を撮影する第１撮影手段（１）と、
    視野方向を変更できる第２撮影手段（２）と、
    第１撮影手段から取得した入力映像Ｉの映像領域を区分けした区画ごとに、追尾撮影すべき対象の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合Ｐを出力するパターン抽出手段（３）と、
    予め入力映像Ｉの映像領域上に設定された、任意形状のＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）を、それぞれの優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）とともに記憶するセンスエリア記憶手段（５）と、
    前記領域Ｓｉと、前記パターン抽出手段（３）で出力した区画の集合Ｐとの重なりを判定し、重なりがあれば該重なりを生じた区画Ｂと、重なった領域Ｓｉの優先度ｐｉとの対を出力するセンス手段（４）と、
    センス手段（４）が出力した重なりの区画Ｂとその優先度ｐｉの対の中から、最も優先度が大きいもの（優先度ｐ）を選び、前記区画の集合Ｐの中から、前記区画Ｂを含む連結領域Ｔを切り出すターゲット選択手段（６）と、
    前記ターゲット選択手段（６）で選択した連結領域Ｔを一時的に記憶し、連結領域Ｔ’として出力するパターン一時記憶手段（２１）と、
    前記ターゲット選択手段（６）で選択した優先度ｐを一時的に記憶し、優先度ｐ’として出力する優先度一時記憶手段（２２）と、
    入力映像Ｉ上で、前記連結領域Ｔ’が覆う領域に映っている物体を第２撮影手段（２）の視野に収めるように第２撮影手段（２）を制御する撮影制御手段（８）とからなり、
    一時的に記憶されている連結領域Ｔ’を、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から選択された連結領域Ｔに置き換え、かつ一時的に記憶されている優先度ｐ’を、前記連結領域Ｔとともに求められた優先度ｐに置き換えるのは、該最新優先度ｐが優先度ｐ’以上の場合のみであり、
    前記連結領域Ｔが空である間は、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から、前記一時的に記憶されている連結領域Ｔ’と重なりを有する連結領域Ｔ２’を切り出し、該連結領域Ｔ２’をもって連結領域Ｔ’を更新することを特徴とする自動撮影装置。
  9. 監視領域全体を撮影する第１撮影手段（１）と、
    第１撮影手段から取得した入力映像Ｉの映像領域を区分けした区画ごとに、追尾撮影すべき対象の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合Ｐを出力するパターン抽出手段（３）と、
    予め入力映像Ｉの映像領域上に設定された、任意形状のＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）を、それぞれの優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）とともに記憶するセンスエリア記憶手段（５）と、
    前記領域Ｓｉと、前記パターン抽出手段（３）で出力した区画の集合Ｐとの重なりを判定し、重なりがあれば該重なりを生じた区画Ｂと、重なった領域Ｓｉの優先度ｐｉとの対を出力するセンス手段（４）と、
    センス手段（４）が出力した重なりの区画Ｂとその優先度ｐｉの対の中から、最も優先度が大きいもの（優先度ｐ）を選び、前記区画の集合Ｐの中から、前記区画Ｂを含む連結領域Ｔを切り出すターゲット選択手段（６）と、
    前記ターゲット選択手段（６）で選択した連結領域Ｔを一時的に記憶し、連結領域Ｔ’として出力するパターン一時記憶手段（２１）と、
    前記ターゲット選択手段（６）で選択した優先度ｐを一時的に記憶し、優先度ｐ’として出力する優先度一時記憶手段（２２）と、
    入力映像Ｉ上で、前記連結領域Ｔ’が覆う範囲の画像を継続して切り出し、出力する映像切出し手段（１８）とからなり、
    一時的に記憶されている連結領域Ｔ’を、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から選択された連結領域Ｔに置き換え、かつ一時的に記憶されている優先度ｐ’を、前記連結領域Ｔとともに求められた優先度ｐに置き換えるのは、該最新優先度ｐが優先度ｐ’以上の場合のみであり、
    前記連結領域Ｔが空である間は、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から、前記一時的に記憶されている連結領域Ｔ’と重なりを有する連結領域Ｔ２’を切り出し、該連結領域Ｔ２’をもって連結領域Ｔ’を更新することを特徴とする自動撮影装置。
  10. 視野方向を変更できる第２撮影手段（２）と、
    第２撮影手段（２）の位置から監視領域全体を収容できる広角視野範囲と同等の視野の仮想的なグローバル映像上で、前記第２撮影手段（２）の視野がどの範囲にあたるか算出する撮影範囲対応づけ手段（１９ａ）と、
    第２撮影手段（２）の最新映像で前記グローバル映像上の対応範囲の映像内容を更新し、最新のグローバル映像を継続して出力するグローバル映像更新手段（１９ｂ）と、
    グローバル映像更新手段（１９ｂ）から出力された入力映像Ｉの映像領域を区分けした区画ごとに、追尾撮影すべき対象の一部または全部が映っているか否かを推定し、映っていると推定された区画の集合Ｐを出力するパターン抽出手段（３）と、
    予め入力映像Ｉの映像領域上に設定された、任意形状のＮ個の領域Ｓｉ（ｉ＝１，２，３，．．．，Ｎ）を、それぞれの優先度ｐｉ（ｉ＝１，２，３，．．．，Ｎ）とともに記憶するセンスエリア記憶手段（５）と、
    前記領域Ｓｉと、前記パターン抽出手段（３）で出力した区画の集合Ｐとの重なりを判定し、重なりがあれば該重なりを生じた区画Ｂと、重なった領域Ｓｉの優先度ｐｉとの対を出力するセンス手段（４）と、
    センス手段（４）が出力した重なりの区画Ｂとその優先度ｐｉの対の中から、最も優先度が大きいもの（優先度ｐ）を選び、前記区画の集合Ｐの中から、前記区画Ｂを含む連結領域Ｔを切り出すターゲット選択手段（６）と、
    前記ターゲット選択手段（６）で選択した連結領域Ｔを一時的に記憶し、連結領域Ｔ’として出力するパターン一時記憶手段（２１）と、
    前記ターゲット選択手段（６）で選択した優先度ｐを一時的に記憶し、優先度ｐ’として出力する優先度一時記憶手段（２２）と、
    入力映像Ｉ上で、前記連結領域Ｔ’が覆う領域に映っている物体を第２撮影手段（２）の視野に収めるように第２撮影手段（２）を制御する撮影制御手段（８）とからなり、
    一時的に記憶されている連結領域Ｔ’を、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から選択された連結領域Ｔに置き換え、かつ一時的に記憶されている優先度ｐ’を、前記連結領域Ｔとともに求められた優先度ｐに置き換えるのは、該最新優先度ｐが優先度ｐ’以上の場合のみであり、
    前記連結領域Ｔが空である間は、最新の入力映像Ｉから抽出された最新の区画の集合Ｐの中から、前記一時的に記憶されている連結領域Ｔ’と重なりを有する連結領域Ｔ２’を切り出し、該連結領域Ｔ２’をもって連結領域Ｔ’を更新することを特徴とする自動撮影装置。
JP2006512859A 2004-04-28 2005-04-28 自動撮影方法および装置 Expired - Fee Related JP3989523B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004132499 2004-04-28
JP2004132499 2004-04-28
PCT/JP2005/008246 WO2005107240A1 (ja) 2004-04-28 2005-04-28 自動撮影方法および装置

Publications (2)

Publication Number Publication Date
JP3989523B2 true JP3989523B2 (ja) 2007-10-10
JPWO2005107240A1 JPWO2005107240A1 (ja) 2008-03-21

Family

ID=35242039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006512859A Expired - Fee Related JP3989523B2 (ja) 2004-04-28 2005-04-28 自動撮影方法および装置

Country Status (4)

Country Link
US (1) US20070268369A1 (ja)
JP (1) JP3989523B2 (ja)
DE (1) DE112005000929B4 (ja)
WO (1) WO2005107240A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013121711A1 (ja) * 2012-02-15 2013-08-22 日本電気株式会社 解析処理装置

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4568916B2 (ja) * 2005-01-17 2010-10-27 富士フイルム株式会社 オートフォーカスシステム
JP4597063B2 (ja) * 2006-02-10 2010-12-15 キヤノン株式会社 撮像装置、及び撮像方法
JP4566166B2 (ja) * 2006-02-28 2010-10-20 三洋電機株式会社 撮影装置
US20070250898A1 (en) * 2006-03-28 2007-10-25 Object Video, Inc. Automatic extraction of secondary video streams
JP4959535B2 (ja) 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
US20110050904A1 (en) * 2008-05-06 2011-03-03 Jeremy Anderson Method and apparatus for camera control and picture composition
JP4715909B2 (ja) 2008-12-04 2011-07-06 ソニー株式会社 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
WO2010125489A1 (en) * 2009-04-29 2010-11-04 Koninklijke Philips Electronics N.V. Method of selecting an optimal viewing angle position for a camera
JP5424852B2 (ja) * 2009-12-17 2014-02-26 キヤノン株式会社 映像情報処理方法及びその装置
JP5665401B2 (ja) * 2010-07-21 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8994843B2 (en) * 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
JP5547605B2 (ja) * 2010-10-22 2014-07-16 直之 村上 数値制御機器のテレビカメラモニター画面での操作方法
US8957969B2 (en) * 2010-11-03 2015-02-17 Trace Optics Pty Ltd Method and apparatus for camera control and picture composition using at least two biasing means
KR101666397B1 (ko) * 2010-12-21 2016-10-14 한국전자통신연구원 객체 영상 획득 장치 및 방법
US9686452B2 (en) * 2011-02-16 2017-06-20 Robert Bosch Gmbh Surveillance camera with integral large-domain sensor
JP5547670B2 (ja) * 2011-02-18 2014-07-16 直之 村上 テレビカメラを取り付けた数値制御機器のテレビモニター画面の操作方法
US9661205B2 (en) 2011-02-28 2017-05-23 Custom Manufacturing & Engineering, Inc. Method and apparatus for imaging
JP2012213063A (ja) * 2011-03-31 2012-11-01 Nec Corp 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
US10803724B2 (en) * 2011-04-19 2020-10-13 Innovation By Imagination LLC System, device, and method of detecting dangerous situations
US10089327B2 (en) 2011-08-18 2018-10-02 Qualcomm Incorporated Smart camera for sharing pictures automatically
JP2015512042A (ja) * 2012-02-29 2015-04-23 コーニンクレッカ フィリップス エヌ ヴェ 区域内の人の存在を監視する装置、方法及びシステム
JP2013243529A (ja) * 2012-05-21 2013-12-05 Nikon Corp 撮像装置
JP6006536B2 (ja) * 2012-06-01 2016-10-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP6124517B2 (ja) 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP5925059B2 (ja) * 2012-06-12 2016-05-25 キヤノン株式会社 撮像制御装置、撮像制御方法及びプログラム
KR20140061266A (ko) * 2012-11-11 2014-05-21 삼성전자주식회사 다중 경로 궤적 분석을 이용한 영상 객체 추적 방법 및 장치
US9811738B2 (en) * 2012-12-06 2017-11-07 Nec Corporation Appearance presentation system, method, and program
KR101767497B1 (ko) * 2013-01-29 2017-08-11 유겐가이샤 라므롯쿠에조우기쥬츠켄큐쇼 감시 시스템
US9767571B2 (en) * 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
US10089330B2 (en) 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US9224044B1 (en) 2014-07-07 2015-12-29 Google Inc. Method and system for video zone monitoring
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
JP6331785B2 (ja) * 2014-07-08 2018-05-30 日本電気株式会社 物体追跡装置、物体追跡方法および物体追跡プログラム
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
CN107409175B (zh) * 2015-03-26 2020-04-21 富士胶片株式会社 跟踪控制装置、跟踪控制方法、自动跟踪摄影系统及有形介质
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10043100B2 (en) * 2016-04-05 2018-08-07 Omni Ai, Inc. Logical sensor generation in a behavioral recognition system
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
CN107666590B (zh) * 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
CN107172402A (zh) * 2017-07-07 2017-09-15 郑州仁峰软件开发有限公司 一种视频拍摄中多目标跟踪系统的工作过程
JP6365748B2 (ja) * 2017-08-21 2018-08-01 株式会社ニコン 撮像装置
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) * 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
DE4311972A1 (de) * 1993-04-10 1994-10-13 Bosch Gmbh Robert Verfahren zur Detektion von Änderungen in Bewegtbildern
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
AU3802395A (en) * 1994-11-04 1996-05-31 Telemedia A/S A method in an image recording system
US6739873B1 (en) * 1996-09-18 2004-05-25 Bristlecone Corporation Method and apparatus for training a shooter of a firearm
JP3263035B2 (ja) * 1997-11-21 2002-03-04 東芝エンジニアリング株式会社 呼吸モニタリングの関心領域設定装置および呼吸モニタリングシステム
US6385772B1 (en) * 1998-04-30 2002-05-07 Texas Instruments Incorporated Monitoring system having wireless remote viewing and control
EP0967584B1 (en) * 1998-04-30 2004-10-20 Texas Instruments Incorporated Automatic video monitoring system
US6909794B2 (en) * 2000-11-22 2005-06-21 R2 Technology, Inc. Automated registration of 3-D medical scans of similar anatomical structures
US7556602B2 (en) * 2000-11-24 2009-07-07 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
US20030035013A1 (en) * 2001-04-13 2003-02-20 Johnson Edward M. Personalized electronic cursor system and method of distributing the same
US6412658B1 (en) * 2001-06-01 2002-07-02 Imx Labs, Inc. Point-of-sale body powder dispensing system
US7133572B2 (en) * 2002-10-02 2006-11-07 Siemens Corporate Research, Inc. Fast two dimensional object localization based on oriented edges

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013121711A1 (ja) * 2012-02-15 2013-08-22 日本電気株式会社 解析処理装置
JPWO2013121711A1 (ja) * 2012-02-15 2015-05-11 日本電気株式会社 解析処理装置

Also Published As

Publication number Publication date
DE112005000929B4 (de) 2011-07-21
JPWO2005107240A1 (ja) 2008-03-21
DE112005000929T5 (de) 2007-03-08
US20070268369A1 (en) 2007-11-22
WO2005107240A1 (ja) 2005-11-10

Similar Documents

Publication Publication Date Title
JP3989523B2 (ja) 自動撮影方法および装置
JP4912117B2 (ja) 追跡機能付き撮像装置
JP4699040B2 (ja) 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
US7920161B2 (en) Method for forming combined digital images
CN105100596B (zh) 相机设备和使用相机设备跟踪对象的方法
US20130235086A1 (en) Electronic zoom device, electronic zoom method, and program
JP6240016B2 (ja) 追跡装置および追尾システム
WO2006118563A1 (en) Method and device for consistent region of interest
KR20140100525A (ko) 비디오 영화를 촬영하기 위한 시스템
JP2006146323A (ja) 顔特徴照合装置、顔特徴照合方法、及びプログラム
KR20120005040A (ko) 카메라에 대한 최적의 시야각 위치를 선택하는 방법
CN110944101A (zh) 摄像装置及图像记录方法
CN106170061B (zh) 摇摄指标显示设备和处理方法
CN106791456A (zh) 一种拍照方法及电子设备
JP2008281385A (ja) 画像処理装置
JP2007134845A (ja) カメラ制御装置およびカメラ制御プログラム
JP4198536B2 (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP4444746B2 (ja) 物体追尾方法及び物体追尾装置
JP5132705B2 (ja) 画像処理装置
JP2002027449A (ja) 移動物体識別方法および移動物体識別装置
JP2006033188A (ja) 監視装置および監視方法
JP5015121B2 (ja) 撮像装置
JPH10188145A (ja) 自動ズーム監視装置
JP2001285849A (ja) 撮影システム
JP2005260753A (ja) カメラ選択装置、及びカメラ選択方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070717

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees