JP6740074B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6740074B2
JP6740074B2 JP2016193702A JP2016193702A JP6740074B2 JP 6740074 B2 JP6740074 B2 JP 6740074B2 JP 2016193702 A JP2016193702 A JP 2016193702A JP 2016193702 A JP2016193702 A JP 2016193702A JP 6740074 B2 JP6740074 B2 JP 6740074B2
Authority
JP
Japan
Prior art keywords
movement route
tracking
route
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016193702A
Other languages
English (en)
Other versions
JP2018056915A (ja
Inventor
太史 八村
太史 八村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016193702A priority Critical patent/JP6740074B2/ja
Priority to KR1020170123863A priority patent/KR20180036562A/ko
Priority to US15/716,354 priority patent/US20180097991A1/en
Priority to DE102017122554.4A priority patent/DE102017122554A1/de
Priority to CN201710912361.7A priority patent/CN107888872A/zh
Publication of JP2018056915A publication Critical patent/JP2018056915A/ja
Application granted granted Critical
Publication of JP6740074B2 publication Critical patent/JP6740074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
特許文献1には追跡対象となる被写体を追跡する監視者の作業を支援する追跡支援装置が提案されている。追跡支援装置は、監視画面内の表示部において追跡対象となる被写体を指定する監視者の入力操作に応じて、指定された被写体を追跡対象に設定する追跡対象設定手段を有している。
特開2015−19248号公報
しかしながら、従来の特許文献1の構成では、追尾対象となる被写体そのものが指定できない場合に対応できない問題があった。
本発明は、追尾対象の被写体が撮像装置に映る前に追尾処理の設定を可能とする技術を提供することを目的とする。
本発明の情報処理装置は、移動経路に関する情報の入力を受け付ける受付手段と、前記受付手段により受け付けられた前記移動経路に関する情報に基づいて追尾対象の被写体の移動経路を求める制御手段と、前記制御手段により求められた前記移動経路に基づく撮像装置で撮像された映像を解析し、前記被写体の追尾処理を行う追尾処理手段と、を有する。
本発明によれば、追尾対象の被写体が撮像装置に映る前に追尾処理の設定を可能とする技術を提供することができる。
管理サーバのハードウェア構成の一例を示す図である。 実施形態1の管理サーバのソフトウェア構成の一例を示す図である。 実施形態1のメインの情報処理の一例を示すフローチャートである。 監視対象領域に関する領域マップの一例を示す図である。 領域マップにカメラ配置情報を重畳したカメラマップの一例を示す図である。 移動経路決定完了状態の一例を示す図である。 振れ幅αが意味を持つ場合の一例を示す図である。 実施形態1の複数のカメラが選択された状態の一例を示す図である。 実施形態2の管理サーバのソフトウェア構成の一例を示す図である。 実施形態2のメインの情報処理の一例を示すフローチャートである。 移動経路描画の処理の一例を示すフローチャートである。 予測移動経路線の描画完了状態の一例を示す図である。 予測移動経路の解析の処理の一例を示すフローチャートである。 実施形態2の複数のカメラが選択された状態の一例を示す図である。 フリーハンド線の描画の処理の一例を示すフローチャートである。
以下、本発明の実施形態について図面に基づいて説明する。
<実施形態1>
被写体追尾システムは、管理サーバ1と複数のカメラ2とを含む。
図1は、管理サーバ1のハードウェア構成の一例を示す図である。
管理サーバ1は、ハードウェア構成として、CPU101と、メモリ102と、通信装置103と、表示装置104と、入力装置105と、を含む。CPU101は、管理サーバ1の全体の制御を司る。メモリ102は、CPU101が処理に利用するデータ、プログラム等を記憶する。入力装置105は、マウス、又はボタン等であり、ユーザの操作を管理サーバ1に入力する。表示装置104は、液晶表示装置等であり、CPU101による処理の結果等を表示する。通信装置103は、管理サーバ1をネットワークに接続する。CPU101がメモリ102に記憶されたプログラムに基づき処理を実行することにより、後述する図2、9の管理サーバ1のソフトウェア構成及び後述する図3、10、11、13、15のフローチャートの処理が実現される。
図2は、実施形態1の管理サーバ1のソフトウェア構成の一例を示す図である。
管理サーバ1は、ソフトウェア構成として、カメラ制御管理部10、記憶部11、制御部12、マップ管理部13、カメラ配置管理部14、表示部15、入力部16、移動経路解析部17、追尾カメラ選択管理部18、ネットワーク部19、追尾処理部20を含む。
カメラ制御管理部10は、カメラ2における画像フレームの撮像、及び、カメラ2からの画像フレームの受信等の制御、管理を行う。
記憶部11は、カメラ制御管理部10からの画像フレーム、及び画像フレームを連続圧縮して構成した動画データをメモリ102に記録、保存等を行う。
制御部12は、管理サーバ1の全体制御を担う。
マップ管理部13は、カメラ2が設置された環境として領域マップを図示する。
カメラ配置管理部14は、カメラ2がマップ管理部13で管理されている領域マップ上にどのように複数配置されているかを示す配置情報を生成、管理する。
表示部15は、マップ管理部13で管理されている領域マップや、カメラ2の配置を重畳したカメラ配置情報の表示を、表示装置104を介して行う。
入力部16は、マウス等の入力装置105を用いたユーザ操作に基づく、表示された領域マップ上に入力された追尾用の経路の指示を制御部12に入力する。
移動経路解析部17は、入力部16によって入力された情報を基に、移動経路を解析する。
追尾カメラ選択管理部18は、移動経路解析部17の結果に基づき、追尾に用いるカメラ2を選択し、選択したカメラ2を管理する。
ネットワーク部19は、ネットワークを介して管理サーバ1と、カメラ2や、他のカメラ管理サーバ又はVMSサーバ(VMS:Video Management Software)とのコマンドや映像のやり取りを仲介する。
追尾処理部20は、追尾カメラ選択管理部18で選択されたカメラ2からの映像をネットワーク部19経由で受信し、映像を用いて追尾処理を行う。
図3は、実施形態1のメインの情報処理の一例を示すフローチャートである。
S101において、マップ管理部13は、監視対象領域に関する領域マップ(図4)を生成する。
S102において、制御部12は、監視対象領域内に存在する複数のカメラ2の配置と、カメラ2の撮像方向の情報と、をカメラ配置管理部14から取得する。更に、制御部12は、監視対象領域を現した領域マップ(図4)にカメラ配置情報を重畳したカメラマップ(図5)を生成し、領域マップと共に記憶部11を介してメモリ102に保存する。
制御部12は、カメラ配置情報としてのカメラ2の配置情報や、カメラ2の撮像方向の情報を、カメラ2の各々に関して、入力装置105を介したユーザの手動でのデータ入力により取得してもよい。また、制御部12は、カメラ制御管理部10からネットワーク部19を介して、各々対象のカメラ2から各種設置情報を取得し、各々対象のカメラ2の撮像映像の解析と合わせて、カメラ配置情報や撮像方向情報をリアルタイムに生成してもよい。
S103において、制御部12は、メモリ102に保存された領域マップ(図4)を、表示部15を介して表示装置104に表示する。
ここで、制御部12は、カメラマップ(図5)を表示装置104に表示してもよい。しかしながら、カメラ配置を見たユーザが、カメラ配置を考慮した予測経路を描画するバイアスがかかることを防ぐために、本明細書では、制御部12は、領域マップ(図4)を表示装置104に表示することとする。
ユーザが表示装置104に表示された領域マップ(図4)を基に入力装置105を用いて、追尾対象が移動する経路の起点、終点となる2地点を指定する。S104において、制御部12は、2地点の指定を受け取る。
本願実施形態では、起点をA地点、終点をB地点とする。
S105において、制御部12は、2地点の指定を受け取ったか否かを判定する。制御部12は、2地点の指定を受け取ったと判定した場合(S105においてYes)、S106に処理を進め、2地点の指定を受け取っていないと判定した場合(S105においてNo)、S104に処理を戻す。
S104、又はS104及びS105の処理は、追尾対象の被写体の移動経路に関する情報の入力を受け付ける受付処理の一例である。
追尾対象が移動する経路の起点、終点となる2地点が指定された後、S106において、移動経路解析部17は、2地点間の最短経路と、最短経路に準ずる複数の経路と、を計算で求める。
計算式は、L+L×αである。
Lは、最短経路である。αは、追尾対象の移動経路の振れ幅(許容範囲)である。αは、事前に決めておくこととする。なお、αは、例えば、時間や経路長として指定してもよい。通常、時間と経路長は比例関係にあるが、経路途中に動く歩道やエスカレータ・エレベータ等の乗り物が存在する場合には必ずしも比例関係にない。その為、αを指定するには、時間だけで指定する、経路長だけで指定する、時間と経路長の両方で指定する等のバリエーションがある。
移動経路決定完了状態を示す図が、図6である。図6では、A地点、B地点の2地点間の最短経路4つ(5A、5B、5C、5D)が、描かれている。本実施形態においては、地上の道路のみを考慮するものとする。図6の例ではαの値は、寄与していないが、経路が複雑になると、意味を持つ。
αが経路長として指定される場合として、例えば、図7のような公園の抜け道(7A)や、地下道(7B)及び空中の遊歩道等が想定される。さらに、αが時間として指定される場合として、例えは、経路途中に、乗り物(動く歩道、エスカレータ、エレベータ、ケーブルカー、ゴンドラ、自転車、バイク、バス、電車、タクシー)等がある場合が想定される。
制御部12は、移動経路解析部17からの移動経路決定結果を基に追尾カメラ選択管理部18を用いて以下に述べるような追尾カメラ選択処理を実行する。
S107において、追尾カメラ選択管理部18は、移動経路を映像として撮像可能なカメラ2を、記憶部11に保存されたカメラマップ(図5)を基にマッチング計算を実施し、複数のカメラ2を選択する。
カメラ2が選択された状態を示す図が図8である。
図8中の6aから6hまでが、選択された8つのカメラ2である。
ここで、カメラ2の視野が重複していない場合があるが、本明細書での追尾処理は、カメラ間の視野重複無しでも追尾可能なアルゴリズムを用いるものとする。
また、本明細書では、追尾対象物として人物を想定しているが、追尾対象物(被写体)として判別可能な特徴量が映像から抽出可能であれば、人物に限ることはない。追尾対象物(被写体)は、車や、バイク、自転車、人以外の動物等であってもよい。
その後、制御部12は、追尾カメラ選択管理部18にて選択された複数のカメラ2を指定して、各々のカメラ2からの映像を、ネットワーク部19を経由してVMSからカメラ制御管理部10で受信させ、記憶部11を介してメモリ102に記録する。
そして、S108において、追尾処理部20は、複数のカメラ2から受け取り、記憶部11を介してメモリ102に記録した映像を解析し、被写体追尾の処理を開始、実行する。
ここで、制御部12は、追尾カメラ選択管理部18にて選択された複数のカメラ2を指定するのではなく、複数の映像そのものを選択指定し、選択指定した複数の映像をVMSから取得し、記憶部11を介してメモリ102に記録させてもよい。
追尾処理部20は、複数の映像を解析しながら、移動経路の経路上に現れる被写体(人物)を検出し、被写体の一つ又は複数の特徴量を抽出し、各々の被写体の特徴量を比較する。追尾処理部20は、ある被写体の特徴量の合致度が一定以上ある場合に、同一被写体とみなし、追尾処理を開始する。
追尾処理部20は、カメラ2の映像の間で、同じ場所が映っていなくても(視野重複がなくても)同一被写体(人物)の追尾が可能となる技術を用いる。また、追尾処理部20は、同一被写体(人物)の追尾の処理において顔の特徴量は、使っても使わなくてもよい。更に、追尾処理部20は、追尾処理の精度向上のために、被写体の特徴量として他の情報、例えば、色情報等を用いるようにしてもよい。
本実施形態によれば、起点、終点の2地点を指定(ポイント)するだけで、追尾に必要なカメラを自動で選択設定することができる。
<実施形態2>
図9は、実施形態2の管理サーバ1のソフトウェア構成の一例を示す図である。
実施形態2の管理サーバ1のソフトウェア構成は、実施形態1の管理サーバ1のソフトウェア構成の図1の移動経路解析部17が予測移動経路解析部17bになったことと移動経路管理部21が追加されたこと以外は同じであるため、その他の説明を省略する。
予測移動経路解析部17bは、入力部16を介してユーザによって入力された情報を基に、予測移動経路を解析する。
移動経路管理部21は、追尾処理部20によって過去に追尾処理が行われた移動経路をデータとして蓄積、管理する。
図10は、実施形態2のメインの情報処理の一例を示すフローチャートである。
S201のマップ生成からS203のマップ表示までの処理は、実施形態1のS101からS103までの処理と同じであるため、説明を省略する。
S204において、制御部12は、表示装置104に表示された領域マップ(図4)を基にユーザが入力装置105等を介して入力した入力情報に基づき、追尾対象が移動すると予測する予測移動経路を、表示部15を介して表示装置104に描画する。
ここで、ユーザ操作に応じて、予測移動経路を描画する情報処理に関して、図11を用いて詳細に説明する。
S211において、制御部12は、表示部15を介して表示装置104に図4に示す領域マップを表示する。ユーザは、入力装置105の一例であるマウス(コンピュータマウス)のポインタを、表示装置104の領域マップ(図4)上を移動させながら、予測移動経路線を入力する。
本実施形態では、予測移動経路線の入力方法として、フリーハンド入力と、指示点を線で繋ぎ合せる指示点入力と、を選択可能なものとして説明する。しかし、予測移動経路線の入力方法は、これに限ることはない。
S212において、制御部12は、予測移動経路線の入力方法として、フリーハンド入力が選択されているか否かを判定する。制御部12は、フリーハンド入力が選択されていると判定した場合(S212においてYes)、S213に進み、フリーハンド入力が選択されていないと判定した場合(S212においてNo)、S214に進む。
ユーザは、入力装置105の一例であるマウスで始点をクリック後、マウスをドラッグしながら表示装置104に表示された領域マップ(図4)上に予測移動経路線を入力する。なお、ユーザは、始点をクリック後、マウスを移動させ、終点でもう一度クリックする方法で予測移動経路線を入力するようにしてもよい。
S213において、制御部12は、入力された予測移動経路線に基づき領域マップ(図4)上に予測移動経路線を、表示部15を介して描画する。制御部12は、マウスが移動可能な範囲を建物等で移動できない範囲を除いた範囲に限定してもよい。また、制御部12は、建物の出入り口を移動対象として、マウスのポインタが建物上を移動できるようにしてもよい。
S214において、制御部12は、予測移動経路線の入力方法として、指示点入力が選択されているか否かを判定する。制御部12は、指示点入力が選択されていると判定した場合(S214においてYes)、S215に進み、指示点入力が選択されていないと判定した場合(S214においてNo)、S216に進む。
S215において、制御部12は、ユーザが入力装置105の一例であるマウスで始点をクリック後、次のクリックまで、線をマウスのポインタについて伸ばすよう表示部15を介して描画する。ユーザが次の点をクリックすると、描画線が確定する。そしてまた、次のクリックまで制御部12は、線をマウスのポインタについて伸ばす動作を繰り返し、最後は、マウスのダブルクリックで終了して予測移動経路線を、表示部15を介して描画する。ユーザは、多地点を結ぶ線分で予測移動経路を入力する。なお、点と点とを結ぶ線分は、直線でなくてもよく、建物等を迂回するような弧を描く線であってもよい。また、点と点とを結ばずに、多地点の点の指定のみで、予測移動経路解析部17bは、予測移動経路の解析処理を実行してもよい。予測移動経路の解析処理の実行は、実施形態1の2地点の最短経路及び最短経路に準ずる経路を探索する処理とほぼ同じため、説明を省略する。
ユーザは、予測移動経路線を描画し終わったら最後に描画完了のボタンを押して、予測移動経路線の描画を完了する。S216において、制御部12は、描画が完了したか否かを判定する。制御部12は、描画が完了したと判定すると(S216においてYes)、図11に示すフローチャートの処理を終了する。一方、制御部12は、描画完了していないと判定すると(S216においてNo)、S212に処理を戻す。制御部は、描画完了のボタンが押下されたか否かに基づき、描画が完了したか否かを判定する。
予測移動経路線の描画完了状態を示す図が、図12である。
ここで、12Aは、ユーザが描画した予測移動経路線である。
S205において、制御部12は、予測移動経路線の描画を完了したか否かを判定する。制御部12は、予測移動経路線の描画を完了したと判定すると(S205においてYes)、S206に進み、予測移動経路線の描画を完了していないと判定すると(S205においてNo)、S204の処理に戻る。
S204、又はS204及びS205の処理は、追尾対象の被写体の移動経路に関する情報の入力を受け付ける受付処理の一例である。
S206において、制御部12は、予測移動経路解析部17bを用いて、予測移動経路の解析処理を実行する。なお、以下では説明の簡略化のため、予測移動経路解析部17bではなく、制御部12が予測移動経路の解析処理を行うものとして説明を行う。
解析処理の1つ目として、ユーザが描画した予測移動経路線と、領域マップ(図4)との対応関係からユーザの意図を解析する処理がある。
例えば、道幅の広い道路の場合、制御部12は、右端か左端かの何れかの指定があるように描かれているかで、建物や歩道の傍を通る経路とみなす。また、制御部12は、線が弧を描く場合は、弧の頂点の位置の店舗や事務所等の場所に立ち寄る経路とみなす。また、制御部12は、道のどちら側を通ってもよいというオプションボタンを表示し、ユーザの意図を取得するようにしてもよい。更に、制御部12は、何回も線が描かれた場合は、重要な経路であるとみなし、次処理のカメラ配置への重みづけを重くするようにしてもよい。
また、解析処理の2つ目として、例えば、制御部12は、過去追尾処理を実行した追尾対象の過去の移動経路を用いて予測解析を行う。なお、過去追尾処理を実行した追尾対象の過去の移動経路は、移動経路管理部21による管理を基に、記憶部11を介してメモリ102に記録されているものとする。
過去の移動経路を用いた際の情報処理について、図13を用いて、以下に説明する。
S221において、制御部12は、過去の移動経路を参照する。
S222において、制御部12は、参照した過去の移動経路が示す移動経路とユーザにより描画された予測移動経路との比較、解析を行い、マッチングを実施する。制御部12は、マッチングの結果、マッチングの一致度合い(マッチング度合い)が設定された値以上の上位所定数(例えば、2つ)の予測移動経路を抽出する。
S223において、制御部12は、予測移動経路の抽出が完了したか否かを判定する。制御部12は、予測移動経路の抽出が完了したと判定した場合(S223においてYes)、図13のフローチャートの処理を終了し、予測移動経路の抽出が完了していないと判定した場合(S223においてNo)、S224に進む。
S224において、制御部12は、S222におけるマッチング度合いを変更する。例えば、制御部12は、S224の処理の度に、マッチング度合いを10%の単位で下げていく。
その後、制御部12は、予測移動経路解析部17bからの予測移動経路解析の結果を基に追尾カメラ選択管理部18を用いて以下に述べるような追尾カメラ選択処理を実行する。
S207において、制御部12は、予測移動経路線を映像として撮像可能な複数のカメラ2を、記憶部11に保存されたカメラマップ(図5)を基にマッチング計算を実施し、選択する。
複数のカメラ2が選択された状態を示す図が図14である。
図14中の13Aと13Bとが、予測移動経路解析により追加選択された予測移動経路である。
図14中の13aから13gまでが、選択された7つのカメラ2である。
追尾開始処理であるS208は、実施形態1のS108と同じであるため、説明を省略する。
本実施形態によれば、ユーザは、管理サーバ1上の設定画面で、追尾対象を選択する操作をしない。その代わり、ユーザは、追尾対象が移動すると予測する予測経路を線で設定する。管理サーバ1は、経路線の描画具合と過去の移動経路とを活用することで、複数経路における追尾処理を可能とすることができる。
<実施形態3>
図15は、図11のS213の処理の詳細を示したフローチャートである。
フリーハンド入力を選択したユーザは、入力装置105の一例であるマウスのポインタを追尾予測移動経路の開始位置に移動させ、そこでクリックを行う。S311において、制御部12は、入力部16を介して、ユーザによる始点におけるクリックを受け取る。
その後、ユーザは、マウスのクリックを離さずに、ドラッグという動作で、表示部15に表示された領域マップ(図4)上において、マウスポインタを移動させながら予測移動経路の線を描画していく。
ユーザは、マウスのドラッグ動作で予測移動経路の線を描画する最中に、交差点等の曲がり角で、所定の時間、マウスポインタを止める操作をすることがある。
制御部12は、入力部16を介した情報に基づきマウスポインタが停止されてか否かを判定する。制御部12は、マウスポイントが停止されたと判定した場合(S312においてYes)、S313に進み、マウスポイントが停止されていないと判定した場合(S312においてNo)、S312の処理を繰り返す。
S313において、制御部12は、マウスポインタの停止時間を計測する。本実施形態ではマウスポインタの停止時間を計測することにしたが、これに限定されることはなく、ユーザが迷う行動が表されたマウスポインタの動作に係る情報を、計測対象としてもよい。
S314において、制御部12は、入力部16を介した入力等に基づいてマウスポインタが再移動を開始したか否かを判定する。制御部12は、マウスポインタが再移動を開始したと判定すると、S315に処理を進め、マウスポインタが再移動を開始していないと判定すると、S316に処理を進める。
S315において、制御部12は、マウスポインタの停止位置と停止時間とを記憶部11を介してメモリ102に記録する。マウスポインタの停止、再移動を繰り返し、終点でマウスボタンを離し、描画終了となる。
S316において、制御部12は、入力部16からの入力に基づきドラッグが終了したか否かを判定する。制御部12は、ドラッグが終了したと判定した場合(S316においてYes)、図15のフローチャートの処理を終了し、ドラッグが終了していないと判定した場合(S316においてNo)、S313に処理を戻す。
その後、制御部12は、予測移動経路の解析処理として以下の処理を実行する。
制御部12は、予測移動経路線の描画が行われた際の、マウスポインタの停止位置が、領域マップ(図4)上の適切な岐路であるかを解析する。
更に、制御部12は、岐路と判定されたマウスポインタの停止位置の停止時間を解析し、長時間停止したものから上位所定数(例えば、2つ)を抽出する。より具体的に説明すると、制御部12は、始点から終点までユーザによって予測移動経路線の描画されるまでに削除、又は変更された移動経路のうち、岐路において長時間停止したものから上位所定数(例えば、2つ)の移動経路を抽出する。岐路において長時間停止したものから上位所定数(例えば、2つ)の移動経路は、フリーハンドの入力の際に修正、又は変更された移動経路のうち描画状態に応じて選択された移動経路の一例である。
ここで、本実施形態では、制御部12は、長時間停止したものから上位2つを抽出するものとして説明しているが、上位2つに限定しなくてもよい。但し、本願実施形態では、移動経路を表示する際に見づらいため、上位2つとしている。
制御部12は、抽出した2つの移動経路と、ユーザにより描画された予測移動経路との3つの移動経路を基に、カメラ2の選択を実施する。以降の追尾カメラ選択から追尾処理までの処理は、実施形態2と同様であるため、説明を省略する。
本実施形態では、ユーザの描画を計測し、解析することで、よりユーザの意図を汲んだ予測移動経路を抽出してカメラ2を選択、設定し、追尾処理を可能とすることができる。
<その他の実施形態>
なお、本発明は上記各々の実施形態に限定されるものではなく、更に以下のような変形が可能である。
実施形態1、実施形態2及び実施形態3において、経路を指定する方法として、2地点や、描画線で指定しているが、他の方法を取ってもよい。例えば、通りの名前指定や、緯度・経度指定、通る橋(橋を通らない)指定がある。
他には、通路(歩道、車道、自転車道、遊歩道、地下道、屋根あり道、傘なしで歩ける道)指定、地上2階指定、段差無し指定、手すり付き指定、車椅子移動可能指定等がある。
実施形態1、実施形態2及び実施形態3において、領域マップ上に予測経路を描画する際に、マウスを用いているが、これに限定するものではない。例えば、領域マップをタッチパネルディスプレイに表示し、指で描画してもよいし、ペンで描画してもよい。
また、予測経路の指定にバーコードを実空間に貼ってもよい。
実施形態1、実施形態2及び実施形態3において、領域マップ上に予測経路を描画する際に、建物の外側の道路のみに描いているが、これに限定するものではない。例えは、ビルや店舗、公園の中を通過する予測経路を描いてもよい。この場合、建物や公園の中の見取り図を表示し、建物や公園の中をどのように移動するか、詳細予測経路を描画してもよい。
実施形態1では、制御部12は、予測移動経路線を映像として撮像可能なカメラ2を、記憶部11を介してメモリ102に保存されたカメラマップ(図5)を基にマッチング計算を実施し、選択した。しかし、制御部12は、複数のカメラ2を選択する際に、カメラ2のカメラ撮像パラメータを変化させて、カメラ撮像パラメータを変化させた場合の予測映像で、予測移動経路線が撮像可能となるようにしてもよい。
また、実施形態1、実施形態2及び実施形態3において、追尾対象物を特定する情報として頭部特徴量を用いてもよい。また、例えば、頭部特徴量以外に、顔特徴量、人体骨格特徴量、人物服装特徴量、人物歩様特徴量等の特徴量を用いてもよい。
また、実施形態1、実施形態2及び実施形態3において、表示する領域マップは、3Dマップであってもよい。
また、実施形態1、実施形態2及び実施形態3において、管理サーバ1の機能は、例えば、複数のクラウドコンピュータで実装されてもよい。
また、実施形態1、実施形態2及び実施形態3において、制御部12は、複数のカメラ2を選択し、選択した複数のカメラ2の映像を用いて追尾処理を実行しているが、その限りではない。管理サーバ1の制御部12は、複数のカメラ2の映像を合成した複数の合成映像を生成し、生成した複数の映像を選択指定して用いてもよい。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
以上、上述した各実施形態の情報処理によれば、追尾設定開始時に管理画面を見て追尾対象を決める操作をすることなく、追尾対象の被写体が監視カメラに映る前に追尾設定することが可能になる。そのため、追尾時のカメラ選択がより簡便な被写体追尾の設定方法を提供できる。
1 管理サーバ
101 CPU
102 メモリ

Claims (12)

  1. 移動経路に関する情報の入力を受け付ける受付手段と、
    前記受付手段により受け付けられた前記移動経路に関する情報に基づいて追尾対象の被写体の移動経路を求める制御手段と、
    前記制御手段により求められた前記移動経路に基づく撮像装置で撮像された映像を解析し、前記被写体の追尾処理を行う追尾処理手段と、
    を有する情報処理装置。
  2. 前記制御手段により求められた前記移動経路に基づいて前記被写体を追尾する撮像装置を選択する選択手段を更に有し、
    前記追尾処理手段は、前記選択手段により選択された前記撮像装置で撮像された映像を解析し、前記被写体の追尾処理を行う請求項1記載の情報処理装置。
  3. 前記制御手段により求められた前記移動経路に基づいて前記移動経路に関する撮像装置で撮像された映像を選択する選択手段を更に有し、
    前記追尾処理手段は、前記選択手段により選択された前記映像を解析し、前記被写体の追尾処理を行う請求項1記載の情報処理装置。
  4. 監視対象領域に関する領域マップを生成する第1の生成手段と、
    前記第1の生成手段により生成された領域マップを表示する表示手段と、
    を更に有し、
    前記受付手段は、前記表示手段により表示された前記領域マップにおける前記追尾対象の被写体の移動経路に関する情報の入力を受け付ける請求項1乃至3何れか1項記載の情報処理装置。
  5. 監視対象領域に関する領域マップを生成する第1の生成手段と、
    前記第1の生成手段により生成された領域マップにカメラ配置情報を重畳したカメラマップを生成する第2の生成手段と、
    前記第2の生成手段により生成されたカメラマップを表示する表示手段と、
    を更に有し、
    前記受付手段は、前記表示手段により表示された前記カメラマップにおける前記追尾対象の被写体の移動経路に関する情報の入力を受け付ける請求項1乃至3何れか1項記載の情報処理装置。
  6. 前記受付手段は、前記被写体の移動経路に関する情報として、前記移動経路の起点、終点となる2地点の入力を受け付け、
    前記制御手段は、前記受付手段により受け付けられた前記2地点の入力に基づいて前記被写体の移動経路として2地点間の複数の経路を求める請求項1乃至5何れか1項記載の情報処理装置。
  7. 前記受付手段は、前記被写体の移動経路に関する情報として、前記移動経路の指示点の入力を受け付け、
    前記制御手段は、前記受付手段により受け付けられた複数の前記移動経路の指示点の入力に基づいて前記追尾対象の被写体の移動経路を求める請求項1乃至5何れか1項記載の情報処理装置。
  8. 前記制御手段は、前記指示点の入力に基づく予測移動経路と過去の移動経路との比較に基づいて前記被写体の複数の移動経路を求める請求項7記載の情報処理装置。
  9. 前記受付手段は、前記被写体の移動経路に関する情報として、前記移動経路のフリーハンドの入力を受け付け、
    前記制御手段は、前記受付手段により受け付けられた前記移動経路のフリーハンドの入力に基づいて前記被写体の予測移動経路を求める請求項1乃至5何れか1項記載の情報処理装置。
  10. 前記制御手段は、前記フリーハンドの入力に基づく予測移動経路と過去の移動経路との比較に基づいて前記被写体の複数の移動経路を求める請求項9記載の情報処理装置。
  11. 移動経路に関する情報の入力を受け付ける受付工程と、
    前記受付工程により受け付けられた前記移動経路に関する情報に基づいて追尾対象の被写体の移動経路を求める制御工程と、
    前記制御工程により求められた前記移動経路に基づく撮像装置で撮像された映像を解析し、前記被写体の追尾処理を行う追尾処理工程と、
    を含む情報処理方法。
  12. コンピュータを、請求項1乃至10何れか1項記載の情報処理装置の各手段として機能させるためのプログラム。
JP2016193702A 2016-09-30 2016-09-30 情報処理装置、情報処理方法及びプログラム Active JP6740074B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016193702A JP6740074B2 (ja) 2016-09-30 2016-09-30 情報処理装置、情報処理方法及びプログラム
KR1020170123863A KR20180036562A (ko) 2016-09-30 2017-09-26 정보 처리장치, 정보 처리방법 및 기억매체
US15/716,354 US20180097991A1 (en) 2016-09-30 2017-09-26 Information processing apparatus, information processing method, and storage medium
DE102017122554.4A DE102017122554A1 (de) 2016-09-30 2017-09-28 Informationenverarbeitungsvorrichtung, informationenverarbeitungsverfahren und speichermedium
CN201710912361.7A CN107888872A (zh) 2016-09-30 2017-09-29 信息处理设备、信息处理方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016193702A JP6740074B2 (ja) 2016-09-30 2016-09-30 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018056915A JP2018056915A (ja) 2018-04-05
JP6740074B2 true JP6740074B2 (ja) 2020-08-12

Family

ID=61623406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016193702A Active JP6740074B2 (ja) 2016-09-30 2016-09-30 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20180097991A1 (ja)
JP (1) JP6740074B2 (ja)
KR (1) KR20180036562A (ja)
CN (1) CN107888872A (ja)
DE (1) DE102017122554A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6828708B2 (ja) * 2018-03-29 2021-02-10 京セラドキュメントソリューションズ株式会社 制御装置、監視システム、及び監視カメラ制御方法
JP7374632B2 (ja) * 2019-07-09 2023-11-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP2005086626A (ja) * 2003-09-10 2005-03-31 Matsushita Electric Ind Co Ltd 広域監視装置
JP4759988B2 (ja) * 2004-11-17 2011-08-31 株式会社日立製作所 複数カメラを用いた監視システム
TWI405457B (zh) * 2008-12-18 2013-08-11 Ind Tech Res Inst 應用攝影機換手技術之多目標追蹤系統及其方法,與其智慧節點
CN101995256A (zh) * 2009-08-11 2011-03-30 宏达国际电子股份有限公司 行程规划方法、装置及所使用的计算机程序产品
CN102223473A (zh) * 2010-04-16 2011-10-19 鸿富锦精密工业(深圳)有限公司 摄像装置及利用其动态追踪特定物体的方法
CN102263933B (zh) * 2010-05-25 2013-04-10 浙江宇视科技有限公司 智能监控的实现方法和装置
US9323250B2 (en) * 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US8743205B2 (en) * 2011-08-10 2014-06-03 Nice Systems Ltd. System and method for semantic video content analysis
US9532095B2 (en) * 2012-11-29 2016-12-27 Fanvision Entertainment Llc Mobile device with smart gestures
JP2015002553A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 情報処理システムおよびその制御方法
JP5506989B1 (ja) 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6270410B2 (ja) * 2013-10-24 2018-01-31 キヤノン株式会社 サーバ装置、情報処理方法及びプログラム
JP2015094977A (ja) * 2013-11-08 2015-05-18 株式会社東芝 電子機器及び方法
CN103955494B (zh) * 2014-04-18 2017-11-03 大唐联智信息技术有限公司 目标对象的搜索方法、装置及终端
TWI578781B (zh) * 2014-10-21 2017-04-11 群暉科技股份有限公司 藉助於全景地圖來管理一監視系統之方法與裝置
CN105450991A (zh) * 2015-11-17 2016-03-30 浙江宇视科技有限公司 一种追踪方法及装置
US10341617B2 (en) * 2016-03-23 2019-07-02 Purdue Research Foundation Public safety camera identification and monitoring system and method

Also Published As

Publication number Publication date
US20180097991A1 (en) 2018-04-05
JP2018056915A (ja) 2018-04-05
KR20180036562A (ko) 2018-04-09
CN107888872A (zh) 2018-04-06
DE102017122554A1 (de) 2018-04-05

Similar Documents

Publication Publication Date Title
Luo et al. Towards efficient and objective work sampling: Recognizing workers' activities in site surveillance videos with two-stream convolutional networks
Ahmetovic et al. Achieving practical and accurate indoor navigation for people with visual impairments
US9282296B2 (en) Configuration tool for video analytics
JP6918523B2 (ja) 情報処理システム、情報処理装置、情報処理方法ならびに情報処理方法をコンピュータに実行させるプログラム
JP2023016837A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6159179B2 (ja) 画像処理装置、画像処理方法
TWI512645B (zh) 使用深度影像之手勢辨識裝置及方法
WO2014203389A1 (ja) センサ配置決定装置およびセンサ配置決定方法
JP2011170565A (ja) 顧客動向収集方法、装置及びプログラム
JP7067604B2 (ja) イベント監視システム、イベント監視方法、およびプログラム
US20160349972A1 (en) Data browse apparatus, data browse method, and storage medium
JP2021132267A (ja) 映像監視システムおよび映像監視方法
Park et al. The usability of Unmanned Aerial Vehicles (UAVs) for pedestrian observation
JP2020155089A (ja) エリア設定支援装置、エリア設定支援方法及びエリア設定支援プログラム
Gandrud et al. Predicting destination using head orientation and gaze direction during locomotion in vr
JP6740074B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2022117996A (ja) 情報処理装置、データ生成方法、及びプログラム
JP6206405B2 (ja) 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム
JP6575845B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP6943183B2 (ja) 位置特定装置、位置特定方法、位置特定プログラムおよびカメラ装置
JP2013516687A (ja) ビューイングフラスタムを用いて客体に関する情報を提供するための方法、システム及びコンピュータ読み取り可能な記録媒体
CN113542671B (zh) 事件分析系统和事件分析方法
JP6849895B2 (ja) 位相特定装置、携帯端末、位相特定方法及びプログラム
Ettehadieh Systematic parameter optimization and application of automated tracking in pedestrian-dominant situations
JP7256032B2 (ja) 人物計数装置、人物計数方法及び人物計数プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200722

R151 Written notification of patent or utility model registration

Ref document number: 6740074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151