JP7123545B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7123545B2
JP7123545B2 JP2017209131A JP2017209131A JP7123545B2 JP 7123545 B2 JP7123545 B2 JP 7123545B2 JP 2017209131 A JP2017209131 A JP 2017209131A JP 2017209131 A JP2017209131 A JP 2017209131A JP 7123545 B2 JP7123545 B2 JP 7123545B2
Authority
JP
Japan
Prior art keywords
detection
image
detection line
area
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017209131A
Other languages
English (en)
Other versions
JP2019082795A (ja
Inventor
英一郎 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017209131A priority Critical patent/JP7123545B2/ja
Priority to CN201811220555.1A priority patent/CN109740409A/zh
Priority to EP18202677.3A priority patent/EP3477544A1/en
Priority to US16/172,620 priority patent/US20190130677A1/en
Publication of JP2019082795A publication Critical patent/JP2019082795A/ja
Application granted granted Critical
Publication of JP7123545B2 publication Critical patent/JP7123545B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。
従来、監視カメラによって撮像された画像を解析し、画像内の人体を検出する人体検出処理が知られている。このような人体検出処理は、画像内に設定された検知線を通過する人体の数をカウントする通過検知処理に用いられる。
人体検出処理には、画像から人体の特徴量を抽出し、予め作成しておいた辞書と比較するテンプレートマッチングを行う手法が用いられる。ところが、このテンプレートマッチングでは、抽出された特徴量と辞書との比較を繰り返し行うため、処理時間が多くかかる。そのため、画像内に大勢の人がいる場合や、背景が複雑で人との判別が困難である場合には、人体検出処理が所定時間内に完了しない。この場合、途中で処理を打ち切って次の画像に対する人体検出処理に移行することになり、通過検知処理の精度が低下してしまう。
そこで、画像内の所定領域に対してのみ人体検出処理を実行することで、検出処理のフレームレートを向上させる方法がある。
特許文献1には、ステレオカメラを使用して各画素が距離情報を有する距離画像を生成し、上記距離情報を利用して、検出すべき特定物体のサイズに合わせて検出領域のサイズを設定する方法が開示されている。
特開2007-280088号公報
しかしながら、画像内の所定領域から人体を検出し、検出された人体のうち検知線の通過が検知された人体の数をカウントする場合、ユーザは、人体検出処理を行う検出領域と通過検知処理に用いる検知線の二つを手動で設定する必要があり、手間がかかった。また、ユーザが検知線に対して適切な検出領域を設定することは困難であった。上記特許文献1に記載の技術においても、検知線に対して適切な検出領域を自動で設定することはできない。
そこで、本発明は、被写体の通過を検知するために用いる基準位置に対して、被写体の検出領域を適切に設定することを課題としている。
上記課題を解決するために、本発明に係る情報処理装置の一態様は、画像内に設定された、当該画像から検出された物体が通過したことを検知するために用いる検知線の設定情報を取得する取得手段と、前記取得手段により取得された前記検知線の設定情報に基づいて、前記画像から前記物体を検出する検出処理を行う前記画像内の検出領域を設定する設定手段と、を備え、前記検出領域は、前記画像の一部の領域であるとともに、前記検知線を含み、前記検知線に沿った方向における前記検出領域の長さが前記検知線の長さよりも長くなるように設定され、前記検出処理は、前記画像の前記検出領域から抽出された物体の特徴量と前記物体の特徴とを比較して前記物体を検出する処理である
本発明によれば、被写体の通過を検知するために用いる基準位置に対して、被写体の検出領域を適切に設定することができる。
ネットワークカメラおよびクライアント装置の構成例を示す図である。 ネットワークカメラのハードウェア構成例である。 検知線設定画面の一例である。 ネットワークカメラの検出領域設定処理手順を示すフローチャートである。 第一の実施形態における検出領域の設定方法を説明する図である。 検出領域生成処理手順を示すフローチャートである。 検出領域が画像全体に設定されている場合の問題点を説明する図である。 第二の実施形態における検出領域の設定方法を説明する図である。 第三の実施形態における検出領域の設定方法を説明する図である。 その他の実施形態における検出領域の設定方法を説明する図である。 ネットワークカメラおよびクライアント装置の別の構成例である。
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
(第一の実施形態)
図1は、ネットワークカメラ100およびクライアント装置200の構成例を示すブロック図である。ネットワークカメラ(以下、単に「カメラ」という。)100とクライアント装置200とは、ネットワーク300によって相互に通信可能に接続されており、カメラ100とクライアント装置200とによって、ネットワークカメラシステムが構成されている。
このネットワークカメラシステムは、例えば、リテール分野での顧客行動分析を行うためのシステムとすることができる。具体的には、当該ネットワークカメラシステムは、店舗のレジ前の領域内にいる人数をカウントして曜日・時間帯ごとのレジの混雑度合のデータを取得することができる。また、当該ネットワークカメラシステムは、店舗内の所定の位置を通過する人数をカウントして店舗の来店者数や来店客の移動軌跡を取得することができる。
ネットワーク300は、例えば、Ethernet(登録商標)の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワーク300は、カメラ100とクライアント装置200との間で通信可能な構成であれば、その通信規格、規模および構成は問わない。ネットワーク300は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless LAN)、WAN(Wide Area Network)、若しくはこれらの複合により実現してもよい。
カメラ100は、所定の撮像範囲を撮像する撮像装置である。カメラ100は、撮像領域を変更可能に構成されたPTZカメラ(Pan Tilt Zoom カメラ)であってもよい。また、カメラ100は、PoE(Power over Ethernet)に対応していてもよいし、LANケーブルを介して電力が供給される構成でもよい。さらに、図1では、1台のカメラ100がネットワーク300に接続されているが、ネットワーク300には複数のカメラを接続することもできる。
クライアント装置200は、パーソナルコンピュータ(PC)やスマートフォン、タブレット型PCといった端末装置により構成され、カメラ100に対して各種コマンドを送信可能である。カメラ100に対して送信されるコマンドには、カメラ100の撮像方向(方角)および画角を変更するためのコマンド、撮像パラメータを変更するためのコマンド、画像処理に関するコマンド、画像の送信を開始させるためのコマンド等を含むことができる。また、クライアント装置200は、上記コマンドに対するレスポンスをカメラ100から受信することもできる。
カメラ100は、クライアント装置200から撮像方向および画角を変更するためのコマンドを受信した場合、撮像方向および画角を変更する。また、カメラ100は、画像の送信を開始させるためのコマンドに応じて、画像をクライアント装置200に送信する。クライアント装置200は、上記の画像の送信を開始させるためのコマンドを受けてカメラ100が送信した画像を受信し、受信した画像を録画するとともに、クライアント装置200を使用するユーザに提示する表示制御を行うことができる。
図1に示すように、カメラ100は、撮像部101と、画像処理部102と、システム制御部103と、通信部104と、を備える。さらに、カメラ100は、被写体検出部105と、被写体ID付与部106と、検知判定部107と、検知線設定部108と、検知線記憶部109と、検出領域設定部110と、検出領域記憶部111と、を備える。また、クライアント装置200は、システム制御部201と、表示部202と、入力部203と、通信部204と、を備える。そして、カメラ100の通信部104とクライアント装置200の通信部204とが、ネットワーク300を介して相互に通信可能な状態に接続されている。
まず、カメラ100の構成および各部の機能について説明する。
撮像部101は、レンズおよびCMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等の撮像素子を含んで構成され、被写体の撮像を行う。また、撮像部101は、撮像面に結像された光像を光電変換によりデジタル電気信号に変換する処理を行う。画像処理部102は、撮像部101において光電変換された信号に対して所定の画像処理を行う。上記画像処理としては、ホワイトバランス処理、シャープネス処理、階調変換処理がある。また、画像処理部102は、上記画像処理が施された画像を圧縮符号化して画像データを生成し、生成した画像データをシステム制御部103に出力する。
システム制御部103は、画像処理部102から受信した画像をクライアント装置200へ送信すべく通信部104に出力する。また、システム制御部103は、通信部104を介してクライアント装置200から受信したコマンドを解析し、コマンドに応じた処理を行う。具体的には、システム制御部103は、受信したコマンドに応じて、画像処理部102に対する画像処理パラメータの変更指示を行う。さらに、システム制御部103は、受信したコマンドに応じて、後述する被写体検出部105に対する被写体検出処理のパラメータの設定や、検知判定部107に対する通過検知処理のパラメータの設定等を行う。
被写体検出部105は、画像処理部102により生成された画像を解析し、画像内の物体(例えば、人体)を検出する被写体検出処理を行う。具体的には、被写体検出部105は、検出領域記憶部111に記憶された検出領域の設定情報を読み込み、画像処理部102により生成された画像内の上記検出領域に対して被写体検出処理を行う。
被写体ID付与部106は、被写体検出部105による被写体検出処理の検出結果に対して、連続する画像間で検出された被写体を区別するためのIDを付与する。具体的には、被写体ID付与部106は、被写体検出部105が検出した被写体の位置情報およびサイズ情報をもとに、連続する画像間で検出された被写体同士をマッチング処理する。そして、被写体ID付与部106は、マッチングされた被写体には共通なIDを付与し、マッチングする相手の無かった被写体は、新規に検出された被写体として新たなIDを作成し付与する。付与された被写体IDにより、画像内に検出された複数の被写体を区別することができる。
検知判定部107は、被写体検出部105により検出された被写体が、画像内に設定された検知線を通過したか否かを判定する通過検知処理を行う。なお、通過検知処理は、被写体が、画像内における所定の位置(基準位置)を通過したか否かを判定する処理であればよく、必ずしも線で判定しなくてもよい。まず、検知判定部107は、被写体ID付与部106によりIDが付与された被写体の現在位置を、不図示のメモリ等に記憶する。そして、検知判定部107は、検知線記憶部109に記憶された検知線の設定情報を読み込み、被写体の過去位置と現在位置とに基づいて、被写体が検知線を通過したか否かを判定する。検知判定部107は、被写体が検知線を通過したと判定した場合、通過カウントをカウントアップし、検知線を通過した被写体の数を計数する。
検知線設定部108は、ユーザ入力をもとに、被写体の通過を検知するために用いる検知線を設定し、検知線の設定情報を検知線記憶部109に格納する。ここで、検知線の設定情報は、画像内における検知線の位置、長さおよび傾きの少なくとも1つを含む。
検出領域設定部110は、検知線記憶部109に新たに格納された検知線の設定情報に基づいて、被写体検出処理を行う画像内の検出領域を設定し、検出領域の設定情報を検出領域記憶部111に格納する。
次に、クライアント装置200の構成および各部の機能について説明する。
クライアント装置200のシステム制御部201は、通信部204を介してカメラ100から受信した画像を複合化する画像処理部を内部に有し、カメラ100から受信した画像を表示部202へ表示する表示制御を行う。また、システム制御部201は、ユーザのグラフィックユーザインタフェース(GUI)操作に応じて各種コマンドを生成し、生成したコマンドを、カメラ100へ送信すべく通信部204へ出力する。
表示部202は、液晶ディスプレイ(LCD)等のモニタを含んで構成されており、カメラ100から取得した画像やGUIを表示する。入力部203は、キーボードやマウス等のポインティングデバイスを含んで構成されており、クライアント装置200のユーザは、入力部203を操作し、GUIを介して各種コマンドを入力することができる。本実施形態では、クライアント装置200のユーザは、入力部203を操作し、GUIを介して上述した検知線を指定することができる。
通信部204は、カメラ100の通信部104からネットワーク300を介して送信される画像や信号を受信し、受信した情報をシステム制御部201に送信する。また、通信部204は、システム制御部201の指示に基づいて、上記コマンドを、ネットワーク300を介してカメラ100の通信部104へ送信する。
(ハードウェア構成)
図2は、カメラ100のハードウェア構成例である。
図2に示すように、カメラ100は、CPU11と、ROM12と、RAM13と、外部メモリ14と、撮像部15と、入力部16と、通信I/F17と、システムバス18とを備える。CPU11は、カメラ100における動作を統括的に制御するものであり、システムバス18を介して、各構成部(12~17)を制御する。ROM12は、CPU11が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ14や着脱可能な記憶媒体(不図示)に記憶されていてもよい。RAM13は、CPU11の主メモリ、ワークエリア等として機能する。すなわち、CPU11は、処理の実行に際してROM12から必要なプログラム等をRAM13にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ14は、例えば、CPU11がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ14には、例えば、CPU11がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。撮像部15は、図1の撮像部101に対応する。入力部16は、電源ボタンや各種設定ボタン等を含んで構成されている。通信I/F17は、図1の通信部104に対応する。図1に示すカメラ100の各要素の一部または全部の機能は、CPU11がプログラムを実行することで実現することができる。ただし、図1に示すカメラ100の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、CPU11の制御に基づいて動作する。
なお、クライアント装置200の場合、図2の撮像部15に代えて、図1の表示部202に対応するハードウェア構成を具備する。さらに、クライアント装置200の場合、入力部16として、図1の入力部203に対応するハードウェア構成と、通信I/F17として、図1の通信部204に対応するハードウェア構成と、を具備する。そして、図1に示すクライアント装置200の各要素の一部または全部の機能は、CPU11に対応するクライアント装置200のCPUがプログラムを実行することで実現することができる。ただし、図1に示すクライアント装置200の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、CPUの制御に基づいて動作する。
カメラ100は、画像をクライアント装置200へ送信することで、当該画像をクライアント装置200の表示部201に表示させる表示制御を行い、表示部201に表示された画像内における検知線の指定を受け付ける。カメラ100は、ユーザが、クライアント装置200の表示部201に表示された画像上において検知線を指定したとき、指定された検知線の設定情報を取得し、取得した検知線の設定情報に基づいて、被写体検出処理を行う検出領域を設定する。
図3は、クライアント装置200の表示部201に表示される、検知線の設定画面400の一例である。設定画面400には、カメラ100によって撮像された画像が表示される。なお、設定画面400には、カメラ100によって現在撮像されている映像を表示してもよいし、予め録画された映像を表示してもよい。また、設定画面400には、静止画像を表示してもよい。
設定画面400上では、ユーザが任意の検知線410を指定することが可能である。この検知線410を用いた通過検知処理により、例えば被写体500が画像内を右方向に移動して検知線410を通過したことを検知することが可能となる。本実施形態では、カメラ100は、検知線410の設定情報に基づいて、当該検知線410を用いた通過検知処理に適した検出領域420を設定し、被写体検出処理を実行する領域を検出領域420内に限定する。
被写体検出処理では、カメラ100は、画像内の検出領域420から物体(例えば、人体)の特徴量を抽出し、予め作成しておいた辞書と比較するテンプレートマッチングを行う。このとき、カメラ100は、検出領域420の左上から水平方向のスキャンを行い、一ライン下がって再び左から右に水平方向のスキャンを行うスキャン処理により、検出領域420から物体(例えば、人体)を検出する。つまり、検出領域420外の領域については、被写体検出処理を実行しない。
なお、本実施形態では、撮像装置であるカメラ100が、上記検出領域を設定する情報処理装置として動作する場合について説明する。ただし、クライアント装置200が上記の情報処理装置として動作してもよいし、一般のPCや他の機器等が上記の情報処理装置として動作してもよい。これは後述する第二の実施形態以降も同様である。
次に、本実施形態におけるカメラ100の動作について説明する。
図4は、カメラ100が実行する検出領域設定処理手順を示すフローチャートである。この図4の処理は、ユーザがクライアント装置200の表示部201に表示された設定画面上において、検知線を指定したタイミングで開始される。ただし、図4の処理の開始タイミングは、上記のタイミングに限らない。
カメラ100は、CPU11が必要なプログラムを読み出して実行することにより、図4に示す各処理を実現することができる。ただし、図1に示すカメラ100の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図4の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、CPU11の制御に基づいて動作する。以降、アルファベットSはフローチャートにおけるステップを意味するものとする。
まず、S1において、カメラ100は、ユーザがクライアント装置200の表示部201に表示された設定画面を操作して指定した検知線の設定情報を受信する。ここで、検知線の設定情報は、上述したように、検知線の位置、長さおよび傾きに関する情報を含む。
次にS2では、カメラ100は、S1において取得された検知線の設定情報に基づいて、被写体検出処理を行う検出領域を生成する検出領域生成処理を実行する。
図5は、検知線410に対する検出領域420の生成方法を説明する図である。
ユーザが指定した検知線410の位置と検知したい人が存在する領域とには相関があり、また、検知線410の長さLと検知したい人の身長hとにも相関があると想定する。そこで、カメラ100は、検知線410を含み、検知線410の延伸方向に検知線410の長さLを有する矩形領域を、検出領域420として設定する。また、検知線410の傾きと検知したい人の移動方向とには相関があると想定し、カメラ100は、検知線410に対して直交する方向に所定の検知幅W1、W2を有する矩形領域を、検出領域420として設定する。
本実施形態では、一般的な被写体の身長hを1.7mとし、検知線410の長さLが画像上で2mに相当するものとする。そして、通過を正しく検知するために、検知線410の前後でそれぞれ被写体が3歩移動する距離を検知幅W1、W2とする。被写体の歩幅を0.9mとした場合、画像上の2.7mの距離が、検知線410前後の検知幅W1、W2となる。検知線410の長さLを2mとした場合、検知線410前後の検知幅W1、W2は、検知線410の長さLの1.35倍となる。このように、カメラ100は、検知線410の長さLに所定の倍率(1.35倍)をかけた長さを検知幅W1、W2として設定する。
なお、検出領域420の検知線410の延伸方向における長さは、検知線410の長さLに所定のマージンを設けた長さであってもよい。つまり、カメラ100は、検知線410を含み、検知線410の延伸方向に少なくとも検知線410の長さLを有し、検知線410に直交する方向に所定の検知幅W1、W2を有する矩形領域を、検知線410に対する検出領域420とする。
また、検知幅W1、W2は、同じ長さに限定されるものではなく、通過を検知したい被写体をより確実に検出できるように、検知幅W1は検知幅W2よりも長く設定してもよい。
図6は、図4のS2において実行される検出領域生成処理手順を示すフローチャートである。
S21では、カメラ100は、検知線の設定情報に含まれる検知線の長さLをもとに、検知線の長さLに所定の倍率(本実施形態では1.35倍)をかけた長さを、検出領域の検知幅W1、W2として算出する。次に、S22では、カメラ100は、検知線の延伸方向に当該検知線の長さLを有し、検知線に直交する方向に、検知線からそれぞれ検知幅W1、W2だけ広げた矩形領域を生成する。最後に、カメラ100は、S22において生成された矩形領域を、検知線に対する検出領域として設定する。
図4に戻って、S3では、S2において作成された検出領域に重なる検出領域が、検出領域記憶部111に記憶されているか否かを判定する。重なる検出領域が存在する場合、S4に移行し、重なる検出領域が存在しない場合、S6に移行する。
S4では、カメラ100は、重なる検出領域全てを囲む外接矩形を作成し、S5に移行する。S5では、カメラ100は、上記の重なる検出領域全ての設定情報を検出領域記憶部111から削除する。また、カメラ100は、S4において作成された外接矩形を、各検知設定に対する共通の検出領域として設定する。
S6では、カメラ100は、S2またはS5において設定された検出領域の設定情報を検出領域記憶部111に記憶し、処理を終了する。
以上説明したように、本実施形態におけるカメラ100は、画像内に設定された、被写体検出処理で用いる検知線の設定情報を取得し、取得された検知線の設定情報に基づいて、被写体検出処理を行う画像内の検出領域を設定する。
これにより、カメラ100は、検知線の設定情報をもとに、当該検知線を用いた通過検知に適した被写体の検出領域を自動的に設定することができる。このように、カメラ100は、通過検知設定に適した被写体の検出領域を、ユーザ操作を必要とすることなく適切に設定することができ、ユーザの手を煩わせることなく通過検知処理の精度を高めることが可能となる。
検知線の設定情報の取得に際し、カメラ100は、画像をクライアント装置200の表示部201に表示させ、表示部201に表示された画像内における検知線の指定を受け付ける。ユーザは、クライアント装置200が備える表示部201に表示された画像を参照しながら、画像上の複数点をクライアント装置200が備えるキーボードやマウス等のポインティングデバイスを用いて指定することで、検知線を指定することができる。カメラ100は、検知線の設定情報として、ユーザが指定した複数の点の画像上の位置情報や、ユーザが指定した複数の点によって形成される線分の長さや傾きといった情報を取得することができる。
したがって、カメラ100は、ユーザが指定した検知線の設定情報を適切に取得し、ユーザが指定した検知線に対して適切な検出領域を設定することができる。
また、カメラ100は、検知線の設定情報に基づいて、検知線を含み、検知線の延伸方向に少なくとも検知線の長さLを有し、検知線に直交する方向に所定の検知幅W1、W2を有する領域を、被写体検出処理を行う検出領域として設定する。ここで、検知幅W1、W2は、検知線の長さLに所定の倍率をかけた長さとすることができる。
このように、カメラ100は、ユーザにより指定された検知線は、通過を検知したい被写体の情報と相関があることに着目し、検出領域の位置および大きさを設定する。したがって、カメラ100は、通過を検知したい被写体を適切に検出可能な検出領域を設定することができ、通過検知処理の精度を適切に向上させることができる。
カメラ100は、被写体検出処理を、時系列上連続する画像に対して予め定めた所定のフレームレートで実行する。通過検知処理により検知線を通過する物体(例えば、人体)を精度良くカウントするためには、ある程度以上のフレームレートで被写体検出処理を行う必要がある。例えば1秒間に10枚の画像に対して被写体検出処理を行う必要がある。
ところが、被写体検出処理は、テンプレートマッチングにより物体(人体)を検出するため、処理時間が多くかかる。そのため、画像内に大勢の人がいる場合や背景が複雑で人との判別が困難である場合には、処理がリアルタイム時間内に完了しない状況が発生する。この場合、途中で被写体検出処理を打ち切って次の画像に対する被写体検出処理に移行することになり、通過検知処理の精度が低下してしまう。
つまり、図7に示すように、画像600全体を被写体検出処理の検出領域420Aに設定した場合、画像600の左上の位置から右下の最終位置まで順にスキャンを行って、画像600から人体を検出する検出処理を行うことになる。そのため、上述したように画像内に大勢の人がいる場合などでは、画像600の下の方に存在する人体を検出できずに処理を打ち切る動作を実施しなければならない。
画像600の下の方に通過を検知したい被写体500が存在する場合、通過検知処理の結果に影響のない画像600の上の方に存在する被写体510に対してのみ検出処理が行われ、被写体500に対しては検出処理が行われないことになる。その結果、被写体500を適切に検出できずに通過カウントの精度が低下してしまう。
これに対して、本実施形態では、通過検知に影響しない領域に対して検出処理を行わないように、設定された検知線に応じた適切な検出領域を設定することができる。したがって、被写体検出処理により通過検知したい被写体を適切に検出し、精度良く通過検知処理を行うことができる。
(第二の実施形態)
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、検知線の設定情報に基づいて検出領域を設定する場合について説明した。第二の実施形態では、検知線に対して垂直な方向への被写体の移動速度を考慮して検出領域を設定する場合について説明する。
被写体の通過を適切に検知するためには、検知線の通過前後において、ある程度の回数被写体を検出する必要がある。そこで、本実施形態では、カメラ100は、検知線の通過前後の被写体の検出回数がそれぞれ設定回数以上となるよう、検出領域の検知幅W1、W2を設定する。
具体的には、図8に示すように、検知線410の通過前における被写体500の検出回数が少なくとも6回、検知線410の通過後における被写体500の検出回数が少なくとも4回となるように検出領域422を作成する。この場合、被写体の検出フレームレートを10fpsとすると、通過前に0.6秒間、通過後に0.4秒間、被写体が被写体検出処理により検出されるように検出領域の検知幅W1、W2を設定する必要がある。この検出領域の検知幅W1、W2は、被写体の移動速度Vに応じて異なる。そのため、実際に移動する被写体を測定し、被写体の移動速度Vに基づいて検出領域の検知幅W1、W2を設定するようにする。
まず、図8の破線に示すように、カメラ100は、検知線410の長さLと同じ幅で、検知線410に直交する方向に画像端まで延長した矩形領域を、基本領域421として設定する。次に、被写体500に検知したい最大の移動速度Vで移動してもらい、カメラ100は、基本領域421および検知線410を用いて、実際に被写体検出処理および通過検知処理を行う。そして、カメラ100は、処理フレームごとの被写体500の位置を求め、検知線410を通過する6回前に被写体500を検出した位置と、検知線410の通過後4回目に被写体500を検出した位置とを検出領域の端として、検出領域422を決定する。
以上説明したように、本実施形態におけるカメラ100は、検知線の設定情報と被写体の移動速度とに基づいて、被写体検出処理を行う検出領域を設定する。これにより、通過を検知したい被写体の移動速度が速いほど、検出領域を広く設定することが可能となる。具体的には、カメラ100は、被写体の移動速度に基づいて、検知線の通過前後の被写体の検出回数がそれぞれ設定回数以上となるよう、検出領域の検知幅W1、W2を設定する。したがって、被写体を適切に検出し、検知線の通過を精度良く検知することができる。
また、カメラ100は、検知線の通過前における上記設定回数を、検知線の通過後における上記設定回数よりも多く設定することもできる。この場合、被写体の通過をより確実に検知することができる。
(第三の実施形態)
次に、本発明の第三の実施形態について説明する。
上述した第一の実施形態では、検知線の設定情報に基づいて検出領域を設定する場合について説明した。第三の実施形態では、被写体の大きさを考慮して検出領域を設定する場合について説明する。
図9(a)に示すように、通過を検知する被写体500の位置を、当該被写体500の足元位置500aとした場合、検知線410の上端411をぎりぎり通過する被写体500の大部分は、検知線410の外側を通過する。
そのため、例えば、上述した図5に示すように、検知線410の延伸方向に検知線410の長さLを有する検出領域420を設定し、当該検出領域420について被写体検出処理を行った場合、図9(a)に示す被写体500を適切に検出できないおそれがある。
そこで、本実施形態では、カメラ100は、被写体500の大きさに基づいて、検知線410の延伸方向における検出領域の長さを設定する。具体的には、カメラ100は、図9(b)に示すように、検知線410の上端411側に被写体500の大きさ(身長h)に相当する長さを有する検出領域424を設定する。この検出領域424は、検知線410を含み、検知線410の延伸方向に検知線410の長さLを有し、検知線410に直交する方向に検知幅W1、W2を有する領域423を、検知線上端411側に被写体500の大きさ(身長h)分だけ広げた領域である。
以上説明したように、本実施形態におけるカメラ100は、検知線の設定情報と被写体の大きさとに基づいて、被写体検出処理を行う検出領域を設定する。これにより、通過を検知したい被写体を検出するのに十分な広さを有する検出領域を設定することが可能となる。具体的には、カメラ100は、被写体の大きさに基づいて、検知線の延伸方向における検出領域の長さを設定する。したがって、被写体を適切に検出し、検知線の通過を精度良く検知することができる。
また、カメラ100は、検知線の上端側に少なくとも被写体の大きさに相当する長さを有する検出領域を設定することができる。この場合、足元がぎりぎり検知線を通過するような被写体についても、被写体検出処理により適切に検出し、検知線の通過を検知することができる。
(変形例)
上記各実施形態においては、検知線は、画像内において垂直方向に設定する場合について説明した。しかしながら、検知線は、画像内において水平方向に設定してもよいし、斜め方向に設定してもよい。
図10に示すように、検知線410が斜め方向に設定された場合、まず、カメラ100は、上記各実施形態と同様に、検知線410の延伸方向に検知線410の長さLを有し、検知線410に直交する方向に検知幅W1、W2を有する矩形領域425を設定する。そして、カメラ100は、当該矩形領域425を囲む外接矩形を、検出領域426として設定する。これにより、画像に対して斜め方向に設定された検知線に対しても、適切な検出領域を設定することができる。
また、上記各実施形態においては、カメラ100が検出領域の生成処理を実行する場合について説明したが、クライアント装置200が検出領域の生成処理を実行するようにしてもよい。この場合、図11に示すように、クライアント装置200が、図1に示す検出領域設定部110と同様に検出領域を設定する処理を行う検出領域生成部205を有する。そして、クライアント装置200は、検出領域生成部205において生成された検出領域の設定情報を、ネットワーク300を介してカメラ100に送信する。カメラ100は、図1の検出領域設定部110に代えて検出領域設定部110Aを有し、検出領域設定部110Aは、クライアント装置200から受信した検出領域の設定情報を検出領域記憶部111に記憶する。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100…ネットワークカメラ、101…撮像部、102…画像処理部、103…システム制御部、104…通信部、105…被写体検出部、106…被写体ID付与部、107…検知判定部、108…検知線設定部、109…検知線記憶部、110…検知領域設定部、111…検知領域記憶部、200…クライアント装置、201…システム制御部、202…表示部、203…入力部、204…通信部、300…ネットワーク

Claims (14)

  1. 画像内に設定された、当該画像から検出された物体が通過したことを検知するために用いる検知線の設定情報を取得する取得手段と、
    前記取得手段により取得された前記検知線の設定情報に基づいて、前記画像から前記物体を検出する検出処理を行う前記画像内の検出領域を設定する設定手段と、を備え、
    前記検出領域は、前記画像の一部の領域であるとともに、前記検知線を含み、前記検知線に沿った方向における前記検出領域の長さが前記検知線の長さよりも長くなるように設定され、
    前記検出処理は、前記画像の前記検出領域から抽出された物体の特徴量と前記物体の特徴とを比較して前記物体を検出する処理であることを特徴とする情報処理装置。
  2. 前記取得手段は、
    前記検知線の設定情報として、前記画像内における前記検知線の位置、長さおよび傾きの少なくとも1つを取得することを特徴とする請求項1に記載の情報処理装置。
  3. 前記画像を表示手段に表示させる表示制御手段をさらに備え、
    前記取得手段は、前記表示制御手段により表示された前記画像内における前記検知線の指定を受け付け、前記検知線の設定情報を取得することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記設定手段は、
    記検知線に直交する方向に所定の検知幅を有する領域を、前記検出領域として設定することを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。
  5. 前記設定手段は、
    前記検知線の長さに所定の倍率をかけた長さを前記検知幅として設定することを特徴とする請求項4に記載の情報処理装置。
  6. 前記設定手段は、
    前記物体の移動速度に基づいて、前記検知幅を設定することを特徴とする請求項4に記載の情報処理装置。
  7. 前記設定手段は、
    前記物体の移動速度に基づいて、前記検知線の通過前後における前記検出処理による前記物体の検出回数がそれぞれ設定回数以上となるよう、前記検知幅を設定することを特徴とする請求項6に記載の情報処理装置。
  8. 前記設定手段は、
    前記物体の大きさに基づいて、前記検知線の延伸方向における前記検出領域の長さを設定することを特徴とする請求項4に記載の情報処理装置。
  9. 前記設定手段は、
    前記検知線の上端側に少なくとも前記物体の大きさに相当する長さを有する前記検出領域を設定することを特徴とする請求項8に記載の情報処理装置。
  10. 前記設定手段は、
    前記検知線を含み、前記検知線の延伸方向に少なくとも前記検知線の長さを有し、前記検知線に直交する方向に所定の検知幅を有する領域を囲む外接矩形を、前記検出領域として設定することを特徴とする請求項1から9のいずれか1項に記載の情報処理装置。
  11. 画像内に設定された、当該画像から検出された物体が通過したことを検知するために用いる検知線の設定情報を取得する取得ステップと、
    取得された前記検知線の設定情報に基づいて、前記画像から前記物体を検出する検出処理を行う前記画像内の検出領域を設定する設定ステップと、を含み、
    前記設定ステップでは、
    前記画像の前記検出領域から抽出された物体の特徴量と前記物体の特徴とを比較して前記物体を検出する前記検出処理を行う前記検出領域を、
    前記画像の一部の領域であるとともに、前記検知線を含み、前記検知線に沿った方向における前記検出領域の長さが前記検知線の長さよりも長くなるように設定することを特徴とする情報処理方法。
  12. 請求項1から10のいずれか1項に記載の情報処理装置と、
    前記画像を撮像する撮像手段と、を備えることを特徴とする撮像装置。
  13. 請求項12に記載の撮像装置と、
    前記撮像装置とネットワークを介して接続され、表示手段を備えるクライアント装置と、を備えることを特徴とするネットワークカメラシステム。
  14. コンピュータを、請求項1から10のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2017209131A 2017-10-30 2017-10-30 情報処理装置、情報処理方法およびプログラム Active JP7123545B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017209131A JP7123545B2 (ja) 2017-10-30 2017-10-30 情報処理装置、情報処理方法およびプログラム
CN201811220555.1A CN109740409A (zh) 2017-10-30 2018-10-19 信息处理装置及方法、摄像装置、照相机系统和存储介质
EP18202677.3A EP3477544A1 (en) 2017-10-30 2018-10-25 Information processing apparatus, information processing method, imaging apparatus, network camera system, and program
US16/172,620 US20190130677A1 (en) 2017-10-30 2018-10-26 Information processing apparatus, information processing method, imaging apparatus, network camera system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017209131A JP7123545B2 (ja) 2017-10-30 2017-10-30 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019082795A JP2019082795A (ja) 2019-05-30
JP7123545B2 true JP7123545B2 (ja) 2022-08-23

Family

ID=63998644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017209131A Active JP7123545B2 (ja) 2017-10-30 2017-10-30 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US20190130677A1 (ja)
EP (1) EP3477544A1 (ja)
JP (1) JP7123545B2 (ja)
CN (1) CN109740409A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021145303A (ja) * 2020-03-13 2021-09-24 キヤノン株式会社 画像処理装置、画像処理方法
US11587325B2 (en) * 2020-09-03 2023-02-21 Industrial Technology Research Institute System, method and storage medium for detecting people entering and leaving a field

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280088A (ja) 2006-04-07 2007-10-25 Konica Minolta Holdings Inc 特定物体検出装置、特定物体検出方法、及び特定物体検出プログラム
JP2008016898A (ja) 2006-06-30 2008-01-24 Sony Corp 監視装置、監視システム及びフィルタ設定方法
JP2012243161A (ja) 2011-05-20 2012-12-10 Canon Inc 画像処理装置、画像処理方法
US20130148848A1 (en) 2011-12-08 2013-06-13 Industrial Technology Research Institute Method and apparatus for video analytics based object counting
JP2014179923A (ja) 2013-03-15 2014-09-25 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2015018330A (ja) 2013-07-09 2015-01-29 大日本印刷株式会社 移動体の方向別計数システム
JP2015018340A (ja) 2013-07-09 2015-01-29 キヤノン株式会社 画像処理装置、画像処理方法
JP2014002462A5 (ja) 2012-06-15 2015-07-23
JP2016187162A (ja) 2015-03-27 2016-10-27 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017073642A (ja) 2015-10-06 2017-04-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574762A (en) * 1994-08-31 1996-11-12 Nippon Telegraph And Telephone Corp. Method and apparatus for directional counting of moving objects
JP4904243B2 (ja) * 2007-10-17 2012-03-28 富士フイルム株式会社 撮像装置及び撮像制御方法
JP5276140B2 (ja) * 2011-05-19 2013-08-28 富士重工業株式会社 環境認識装置および環境認識方法
JP5959951B2 (ja) 2012-06-15 2016-08-02 キヤノン株式会社 映像処理装置、映像処理方法、及びプログラム
JP6700661B2 (ja) * 2015-01-30 2020-05-27 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
JP6639091B2 (ja) * 2015-02-12 2020-02-05 キヤノン株式会社 表示制御装置及び表示制御方法
JP6587489B2 (ja) * 2015-10-07 2019-10-09 キヤノン株式会社 画像処理装置、画像処理方法および画像処理システム
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280088A (ja) 2006-04-07 2007-10-25 Konica Minolta Holdings Inc 特定物体検出装置、特定物体検出方法、及び特定物体検出プログラム
JP2008016898A (ja) 2006-06-30 2008-01-24 Sony Corp 監視装置、監視システム及びフィルタ設定方法
JP2012243161A (ja) 2011-05-20 2012-12-10 Canon Inc 画像処理装置、画像処理方法
US20130148848A1 (en) 2011-12-08 2013-06-13 Industrial Technology Research Institute Method and apparatus for video analytics based object counting
JP2014002462A5 (ja) 2012-06-15 2015-07-23
JP2014179923A (ja) 2013-03-15 2014-09-25 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2015018330A (ja) 2013-07-09 2015-01-29 大日本印刷株式会社 移動体の方向別計数システム
JP2015018340A (ja) 2013-07-09 2015-01-29 キヤノン株式会社 画像処理装置、画像処理方法
JP2016187162A (ja) 2015-03-27 2016-10-27 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017073642A (ja) 2015-10-06 2017-04-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2019082795A (ja) 2019-05-30
CN109740409A (zh) 2019-05-10
US20190130677A1 (en) 2019-05-02
EP3477544A1 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
JP5398341B2 (ja) 物体認識装置及び物体認識方法
CN107273849B (zh) 显示控制装置及显示控制方法
US20150334299A1 (en) Monitoring system
JP2009211311A (ja) 画像処理装置及び方法
JP5693094B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP6094903B2 (ja) 受信装置及び受信側画像処理方法
CN110199316B (zh) 相机和相机的图像处理方法
US20180144206A1 (en) Setting apparatus, setting method, and storage medium
JP7123545B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2004062393A (ja) 注目判定方法及び注目判定装置
JP6525934B2 (ja) 画像処理装置および制御方法
JP7208713B2 (ja) 画像解析装置および画像解析方法
JP6700706B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2018092507A (ja) 画像処理装置、画像処理方法及びプログラム
CN110647792B (zh) 信息处理设备、控制方法和存储介质
JP7027171B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7161684B2 (ja) データ取得装置、及びデータ処理方法
JP7140583B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101280840B1 (ko) 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법
KR20140036637A (ko) 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치
WO2022239291A1 (ja) 物体検知装置及び方法
JP2022173838A (ja) 撮像制御装置および撮像制御方法
CN110059681B (zh) 信息处理装置、信息处理方法和存储介质
US20220201220A1 (en) Information processing apparatus, information processing method, and storage medium
JP6833558B2 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220810

R151 Written notification of patent or utility model registration

Ref document number: 7123545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151