JP6792446B2 - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents
情報処理装置、情報処理装置の制御方法及びプログラム Download PDFInfo
- Publication number
- JP6792446B2 JP6792446B2 JP2016254092A JP2016254092A JP6792446B2 JP 6792446 B2 JP6792446 B2 JP 6792446B2 JP 2016254092 A JP2016254092 A JP 2016254092A JP 2016254092 A JP2016254092 A JP 2016254092A JP 6792446 B2 JP6792446 B2 JP 6792446B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- information processing
- moving object
- passing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
撮像画像から動体を検出する動体検出手段と、
前記撮像画像における所定の位置を前記動体が通過したかを判定する通過判定手段と、
前記撮像画像から前記所定の位置を通過した動体の領域画像を抽出する画像抽出手段と、
前記所定の位置を第1方向に通過した複数の動体の各々について抽出された前記領域画像を当該所定の位置を通過した順に並べて表示手段に表示させ、当該所定の位置を当該第1方向と異なる第2方向に通過した複数の動体の各々について抽出された前記領域画像を当該所定の位置を通過した順に並べて前記表示手段に表示させる表示制御手段とを有することを特徴とする。
<情報処理システムの構成及び各装置の機能構成>
図1は、実施形態1に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図である。情報処理システムは、撮像装置101と、情報処理装置102と、表示装置103とを含んで構成されている。撮像装置101はカメラ201を備えている。情報処理装置102は、動体検出部203と、通過判定部204と、動体画像抽出部205と、通過情報記憶部と208、表示制御部209とを備えている。表示装置103は表示部210を備えている。
図2は、実施形態1に係る情報処理システムが含む各装置のハードウェア構成の一例を示す図である。情報処理システムを構成する撮像装置101、情報処理装置102、表示装置103は、それぞれがネットワーク104に接続されている。
続いて、図4のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。S700において、情報処理装置102の表示制御部209は、処理を終了するか否かを判定する。例えば、入力装置1027を介して情報処理の終了が指示されたか否かに基づいて判定を行う。処理を終了しない場合、S701へ進む。処理を終了する場合は、情報処理装置102は動作を終了する。S701において、動体検出部203は、撮像装置101のカメラ201から画像を取得する。S702において、動体検出部203は、取得した画像から動体を検出及び追尾し、当該動体の矩形領域の座標及び移動ベクトルを出力する。
実施形態1では、検出された動体の領域画像をそのまま表示する例を示したが、通過方向に応じて領域画像の一部を表示するように変更する例を説明する。
図8は、実施形態2に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図である。各装置のうち情報処理装置102の構成が実施形態1とは異なっている。以下、主に情報処理装置102の機能構成について説明する。なお、ハードウェア構成については実施形態1と同様であるため、説明を省略する。
続いて、図8のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。まず、S2200〜S2203、S2205の各処理は、実施形態1で説明した図4のS700〜S703、S705の各処理と同様であるため、説明を省略する。
実施形態1、実施形態2では、抽出する動体(人体)の画像は通過時の画像である。しかし、動体(人体)が通過した瞬間の画像がボケている場合や、他の動体(人体)と重なっている場合も考えられる。そこで、本実施形態では、動体(人体)の過去の画像の中から適切な画像を選択して表示する例を説明する。また、以下では人体を対象とする実施形態2との違いを説明するが、実施形態1と同様に広く動体を対象としても適用可能である。
図11は、実施形態3に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図である。各装置のうち情報処理装置102の構成が実施形態2とは異なっている。以下、主に情報処理装置102の機能構成について説明する。なお、ハードウェア構成については実施形態2と同様であるため、説明を省略する。
続いて、実施形態2でも説明した図9のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。S2200、S2202、S2203、S2205の各処理は実施形態2と同様であるため、説明を省略する。
実施形態1〜3では、通過検知線を通過する動体(人体)の画像を表示する際、各動体(人体)を別個の動体として扱っていた。しかし、同一の動体が通過検知線を複数回通過したり、異なる通過方向へ通過したりすることがある。本実施形態では、そのような動体(人体)の挙動を適切に可視化し、容易に把握できるようにする例を説明する。
図12は、実施形態4に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図である。各装置のうち情報処理装置102の構成、表示装置103の構成が実施形態2とは異なっている。以下、主に情報処理装置102、表示装置103の機能構成について説明する。なお、ハードウェア構成については実施形態2と同様であるため、説明を省略する。
続いて、図13のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。S4200〜S4204の各処理は、実施形態2で図9を参照して説明したS2200〜S2204の各処理と同様であるため、説明を省略する。
実施形態1〜4では、撮像装置として単一のカメラを使用する例を説明した。これに対して、本実施形態では、複数のカメラを使用することにより動体(人体)のより適切な画像を抽出して表示する例を説明する。
図17は、実施形態5に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図である。各装置のうち撮像装置101、情報処理装置102の構成が実施形態2とは異なっている。以下、主に撮像装置101、情報処理装置102の機能構成について説明する。なお、ハードウェア構成については実施形態2と同様であるため、説明を省略する。
続いて、図18のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。まず、S5200、S5206の各処理は、実施形態2で説明した図9のS2200、S2205の各処理と同様であるため、説明を省略する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (22)
- 撮像画像から動体を検出する動体検出手段と、
前記撮像画像における所定の位置を前記動体が通過したかを判定する通過判定手段と、
前記撮像画像から前記所定の位置を通過した動体の領域画像を抽出する画像抽出手段と、
前記所定の位置を第1方向に通過した複数の動体の各々について抽出された前記領域画像を当該所定の位置を通過した順に並べて表示手段に表示させ、当該所定の位置を当該第1方向と異なる第2方向に通過した複数の動体の各々について抽出された前記領域画像を当該所定の位置を通過した順に並べて前記表示手段に表示させる表示制御手段とを有することを特徴とする情報処理装置。 - 前記画像抽出手段は、前記所定の位置の通過方向に応じて前記動体の領域画像の抽出領域を変更することを特徴とする請求項1に記載の情報処理装置。
- 前記画像抽出手段は、前記通過方向が前記第2方向である場合、前記動体の全体領域の領域画像を抽出し、前記通過方向が前記第1方向である場合、前記動体の一部領域の領域画像を抽出することを特徴とする請求項2に記載の情報処理装置。
- 前記動体は人体であり、前記一部領域は顔領域であることを特徴とする請求項3に記載の情報処理装置。
- 前記第1方向は、前記撮像画像において通過時に前記人体の正面が観察される方向であることを特徴とする請求項4に記載の情報処理装置。
- 前記第2方向は、前記撮像画像において通過時に前記人体の背面が観察される方向であることを特徴とする請求項4又は5に記載の情報処理装置。
- 前記画像抽出手段は、前記所定の位置を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、画像のエッジ強度に基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
- 前記画像抽出手段は、前記所定の位置を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、他の動体の領域との重複領域の面積に基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
- 前記画像抽出手段は、前記所定の位置を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、各撮像画像に対する顔検出の信頼度スコアに基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
- 前記撮像画像から前記動体の個体識別のための特徴を抽出する特徴抽出手段と、
前記特徴を用いて通過方向の異なる動体同士が同一の動体であるかを判定する判定手段と、をさらに備え、
前記表示制御手段は、前記判定手段により同一の動体であると判定された動体同士を関連付けて前記表示手段に表示させることを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。 - 前記動体は人体であり、
同じ空間を異なる方向から撮像する複数のカメラにより撮像された複数の撮像画像における人物同士が同一の人物であるかを判定する判定手段と、
前記画像抽出手段により抽出される対象となる撮像画像は、同一の人物であると判定された前記複数の撮像画像の中から人物の顔検出の結果に基づいて選択されることを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。 - 撮像画像から動体を検出する動体検出工程と、
前記撮像画像における所定の位置を前記動体が通過したかを判定する通過判定工程と、
前記撮像画像から前記所定の位置を通過した動体の領域画像を抽出する画像抽出工程と、
前記所定の位置を第1方向に通過した複数の動体の各々について抽出された前記領域画像を当該所定の位置を通過した順に並べて表示手段に表示させ、当該所定の位置を当該第1方向と異なる第2方向に通過した複数の動体の各々について抽出された前記領域画像を当該所定の位置を通過した順に並べて前記表示手段に表示させる表示制御工程とを有することを特徴とする情報処理装置の制御方法。 - 前記画像抽出工程において、前記所定の位置の通過方向に応じて前記動体の領域画像の抽出領域を変更することを特徴とする請求項12に記載の制御方法。
- 前記画像抽出工程において、前記通過方向が前記第2方向である場合、前記動体の全体領域の領域画像を抽出し、前記通過方向が前記第1方向である場合、前記動体の一部領域の領域画像を抽出することを特徴とする請求項13に記載の制御方法。
- 前記動体は人体であり、前記一部領域は顔領域であることを特徴とする請求項14に記載の制御方法。
- 前記第1方向は、前記撮像画像において通過時に前記人体の正面が観察される方向であることを特徴とする請求項15に記載の制御方法。
- 前記第2方向は、前記撮像画像において通過時に前記人体の背面が観察される方向であることを特徴とする請求項15又は16に記載の制御方法。
- 前記画像抽出工程において、前記所定の位置を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、画像のエッジ強度に基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項12乃至17の何れか1項に記載の制御方法。
- 前記画像抽出工程において、前記所定の位置を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、他の動体の領域との重複領域の面積に基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項12乃至17の何れか1項に記載の制御方法。
- 前記画像抽出工程において、前記所定の位置を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、各撮像画像に対する顔検出の信頼度スコアに基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項12乃至17の何れか1項に記載の制御方法。
- 前記撮像画像から前記動体の個体識別のための特徴を抽出する特徴抽出工程と、
前記特徴を用いて通過方向の異なる動体同士が同一の動体であるかを判定する判定工程と、をさらに備え、
前記表示制御工程において、前記判定工程において同一の動体であると判定された動体同士を関連付けて前記表示手段に表示することを特徴とする請求項12乃至20の何れか1項に記載の制御方法。 - コンピュータを、請求項1乃至11の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016254092A JP6792446B2 (ja) | 2016-12-27 | 2016-12-27 | 情報処理装置、情報処理装置の制御方法及びプログラム |
US15/848,834 US10593045B2 (en) | 2016-12-27 | 2017-12-20 | Information processing apparatus and method of controlling the same |
JP2020186050A JP6952857B2 (ja) | 2016-12-27 | 2020-11-06 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016254092A JP6792446B2 (ja) | 2016-12-27 | 2016-12-27 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020186050A Division JP6952857B2 (ja) | 2016-12-27 | 2020-11-06 | 情報処理装置、情報処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018107702A JP2018107702A (ja) | 2018-07-05 |
JP2018107702A5 JP2018107702A5 (ja) | 2020-02-06 |
JP6792446B2 true JP6792446B2 (ja) | 2020-11-25 |
Family
ID=62629860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016254092A Active JP6792446B2 (ja) | 2016-12-27 | 2016-12-27 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10593045B2 (ja) |
JP (1) | JP6792446B2 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3384425B2 (ja) * | 1995-08-18 | 2003-03-10 | 日本電信電話株式会社 | 移動物体監視計測装置 |
JPH11112965A (ja) * | 1997-09-30 | 1999-04-23 | Omron Corp | 移動体の観測装置 |
JP2007281680A (ja) | 2006-04-04 | 2007-10-25 | Sony Corp | 画像処理装置および画像表示方法 |
JP5834254B2 (ja) * | 2014-04-11 | 2015-12-16 | パナソニックIpマネジメント株式会社 | 人数計測装置、人数計測システムおよび人数計測方法 |
JP6525635B2 (ja) | 2015-02-25 | 2019-06-05 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6520218B2 (ja) * | 2015-03-03 | 2019-05-29 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
JP6700791B2 (ja) | 2016-01-05 | 2020-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6735594B2 (ja) | 2016-04-15 | 2020-08-05 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
JP6840492B2 (ja) * | 2016-08-30 | 2021-03-10 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2016
- 2016-12-27 JP JP2016254092A patent/JP6792446B2/ja active Active
-
2017
- 2017-12-20 US US15/848,834 patent/US10593045B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018107702A (ja) | 2018-07-05 |
US10593045B2 (en) | 2020-03-17 |
US20180182107A1 (en) | 2018-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6700752B2 (ja) | 位置検出装置、位置検出方法及びプログラム | |
JP5227911B2 (ja) | 監視映像検索装置及び監視システム | |
GB2529943B (en) | Tracking processing device and tracking processing system provided with same, and tracking processing method | |
JP6674584B2 (ja) | 映像監視システム | |
JP4168940B2 (ja) | 映像表示システム | |
EP2662827B1 (en) | Video analysis | |
JP5691807B2 (ja) | 置き去り又は持ち去り検知システム | |
JP6590609B2 (ja) | 画像解析装置及び画像解析方法 | |
WO2017163955A1 (ja) | 監視システム、画像処理装置、画像処理方法およびプログラム記録媒体 | |
KR100826878B1 (ko) | 손 모양을 인식하는 방법 및 이를 위한 장치 | |
JP2017033547A5 (ja) | ||
JPH09153137A (ja) | 画像認識方法 | |
JP4821355B2 (ja) | 人物追跡装置、人物追跡方法および人物追跡プログラム | |
JP6952857B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6792446B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP5448952B2 (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
JP5376403B2 (ja) | 映像表示装置及びプログラム | |
JP2020098441A (ja) | 着順判定方法、着順判定装置およびプログラム | |
JP5051885B2 (ja) | 人物検索装置及び人物検索方法 | |
KR102576795B1 (ko) | 포즈 추정 기반의 정면 영상 획득 방법 및 이를 위한 장치 | |
JP2018092507A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101539944B1 (ko) | 객체 식별 방법 | |
JP2008146132A (ja) | 画像検出装置、プログラム及び画像検出方法 | |
JP5854098B2 (ja) | 情報表示装置及び情報表示用プログラム | |
JP4434689B2 (ja) | 物体計数方法及び物体計数装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200923 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201106 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6792446 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |