JP6559378B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6559378B2 JP6559378B2 JP2019505568A JP2019505568A JP6559378B2 JP 6559378 B2 JP6559378 B2 JP 6559378B2 JP 2019505568 A JP2019505568 A JP 2019505568A JP 2019505568 A JP2019505568 A JP 2019505568A JP 6559378 B2 JP6559378 B2 JP 6559378B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- foreground
- subjects
- photographed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
Description
この発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
従来から、人の数、密度あるいは流量等をカメラ画像から推定する技術が知られている。カメラ画像から人の数を推定する技術としては、人物検出に基づき人数をカウントする手法、または前景面積から人の数を推定する手法などがある。前者は、群集密度が低い場合には精度の面で優位性があるが、群集密度が高くなると、人物同士のオクルージョン（隠蔽）の影響で検出精度が低下する問題がある。後者は低密度時の解析精度では前者に劣るが、高密度時にも低演算量で処理が可能である。
例えば、特許文献１には、後者の技術が開示されている。具体的には、特許文献１では、群集を撮影した画像から背景差分により抽出された前景が人物領域として指定される。そして、特許文献１では、人物領域の面積から画像内の人の数が推定される。特許文献１では、予め群集を模したＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）モデルが複数の混雑度で生成される。そして、群集同士のオクルージョンを考慮した、前景面積と人数の関係式が導出され、オクルージョンの影響を抑制した人数推定が可能となっている。
背景差分によって取得された人物１人あたりの前景面積は、実際に観測された人物の寸法や、照明条件などによる前景抽出の精度に応じて変化する。このため、特許文献１の技術では、予め生成していたＣＧモデルと、実際のカメラ画像から抽出された前景とが一致せず、人数推定結果に誤差が発生するという課題がある。
本発明は、上記のような課題を解決することを主な目的とする。具体的には、本発明は、撮影画像に映されている被写体の数を推定する精度を向上させることを主な目的とする。
本発明に係る画像処理装置は、
被写体が存在する撮影空間が撮影された前記被写体が映されている撮影画像である第１の撮影画像から前記被写体の画像である被写体画像を抽出し、抽出した前記被写体画像に基づき、前記撮影空間に複数の被写体が存在する複数の参照画像を前記撮影空間に存在する被写体の数を参照画像ごとに変化させて生成する参照画像生成部と、
前記第１の撮影画像とは撮影時刻が異なる前記撮影空間の撮影画像である第２の撮影画像と、前記複数の参照画像とを比較し、前記第２の撮影画像に映されている被写体の数を推定する被写体数推定部とを有する。
被写体が存在する撮影空間が撮影された前記被写体が映されている撮影画像である第１の撮影画像から前記被写体の画像である被写体画像を抽出し、抽出した前記被写体画像に基づき、前記撮影空間に複数の被写体が存在する複数の参照画像を前記撮影空間に存在する被写体の数を参照画像ごとに変化させて生成する参照画像生成部と、
前記第１の撮影画像とは撮影時刻が異なる前記撮影空間の撮影画像である第２の撮影画像と、前記複数の参照画像とを比較し、前記第２の撮影画像に映されている被写体の数を推定する被写体数推定部とを有する。
本発明によれば、撮影画像に映されている被写体の数を推定する精度を向上させることができる。
以下、本発明の実施の形態について、図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分または相当する部分を示す。
実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、実施の形態１に係る群集監視装置２０の機能構成例を示す。
また、図２２は、実施の形態１に係る群集監視装置２０のハードウェア構成例を示す。
群集監視装置２０は、画像処理装置に相当する。また、群集監視装置２０により行われる動作は、画像処理方法及び画像処理プログラムに相当する。
図１に示されるように、群集監視装置２０は、カメラ１０と接続されている。
カメラ１０は、被写体が存在する撮影空間を見下ろす位置に設置されている。撮影空間は、カメラ１０の監視対象の空間である。本実施の形態では、被写体は人物である。また、本実施の形態では、撮影空間には複数の人物が存在しているものとする。以下、撮影空間に存在する複数の人物を群集ともいう。
＊＊＊構成の説明＊＊＊
図１は、実施の形態１に係る群集監視装置２０の機能構成例を示す。
また、図２２は、実施の形態１に係る群集監視装置２０のハードウェア構成例を示す。
群集監視装置２０は、画像処理装置に相当する。また、群集監視装置２０により行われる動作は、画像処理方法及び画像処理プログラムに相当する。
図１に示されるように、群集監視装置２０は、カメラ１０と接続されている。
カメラ１０は、被写体が存在する撮影空間を見下ろす位置に設置されている。撮影空間は、カメラ１０の監視対象の空間である。本実施の形態では、被写体は人物である。また、本実施の形態では、撮影空間には複数の人物が存在しているものとする。以下、撮影空間に存在する複数の人物を群集ともいう。
図１の群集監視装置２０の機能構成例を説明する前に、図２２を参照して、群集監視装置２０のハードウェア構成例を説明する。
群集監視装置２０は、コンピュータである。
群集監視装置２０は、ハードウェアとして、プロセッサ１１０１、メモリ１１０２、ネットワークインタフェース１１０３、記憶装置１１０４を備える。
記憶装置１１０４には、図１に示す画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７の機能を実現するプログラムが記憶されている。当該プログラムは記憶装置１１０４からメモリ１１０２にロードされる。プロセッサ１１０１は当該プログラムをメモリ１１０２から読込む。そして、プロセッサ１１０１は、当該プログラムを実行して、後述する画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７の動作を行う。
図１に示すパラメータ保存ストレージ２０５は、記憶装置１１０４により実現される。
図２３は、図１に示す機能構成と図２２に示すハードウェア構成との関係を示す。図２３では、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７がプロセッサ１１０１により実現されることが示されている。また、図２３では、パラメータ保存ストレージ２０５が記憶装置１１０４により実現されることが示されている。
ネットワークインタフェース１１０３は、カメラ１０からの圧縮画像ストリームを受信する。
群集監視装置２０は、ハードウェアとして、プロセッサ１１０１、メモリ１１０２、ネットワークインタフェース１１０３、記憶装置１１０４を備える。
記憶装置１１０４には、図１に示す画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７の機能を実現するプログラムが記憶されている。当該プログラムは記憶装置１１０４からメモリ１１０２にロードされる。プロセッサ１１０１は当該プログラムをメモリ１１０２から読込む。そして、プロセッサ１１０１は、当該プログラムを実行して、後述する画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７の動作を行う。
図１に示すパラメータ保存ストレージ２０５は、記憶装置１１０４により実現される。
図２３は、図１に示す機能構成と図２２に示すハードウェア構成との関係を示す。図２３では、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７がプロセッサ１１０１により実現されることが示されている。また、図２３では、パラメータ保存ストレージ２０５が記憶装置１１０４により実現されることが示されている。
ネットワークインタフェース１１０３は、カメラ１０からの圧縮画像ストリームを受信する。
次に、図１に示す群集監視装置２０の機能構成例を説明する。
画像受信復号部２０１は、カメラ１０から配信される圧縮画像ストリームを復号して圧縮画像ストリームを画像フレームに変換する。画像フレームは撮影空間の撮影画像である。
モード切替制御部２０３は、群集監視装置２０の動作モードを制御する。群集監視装置２０の動作モードには、パラメータ取得モードと人数カウントモードとがある。モード切替制御部２０３は、切替スイッチ２０２にモード制御信号を出力する。
切替スイッチ２０２は、モード切替制御部２０３からのモード制御信号に応じて画像フレームの出力先を切り替える。より具体的には、切替スイッチ２０２は、群集監視装置２０の動作モードがパラメータ取得モードであれば、画像フレームをパラメータ取得部２０４に出力する。一方、群集監視装置２０の動作モードが人数カウントモードであれば、切替スイッチ２０２は画像フレームを人数解析部２０６に出力する。なお、切替スイッチ２０２からパラメータ取得部２０４に出力される画像フレームは第１の撮影画像に相当する。また、切替スイッチ２０２から人数解析部２０６に出力される画像フレームは第２の撮影画像に相当する。切替スイッチ２０２から人数解析部２０６に出力される画像フレームは、切替スイッチ２０２からパラメータ取得部２０４に出力される画像フレームとは撮影時刻が異なる撮影空間の撮影画像である。
パラメータ取得部２０４は、群集監視装置２０の動作モードがパラメータ取得モードであるときに、画像フレームを用いて人数解析のための解析パラメータを取得する。
より具体的には、パラメータ取得部２０４は、カメラ１０の外部パラメータとしてカメラ１０の俯角を推定する。また、パラメータ取得部２０４は、第１の撮影画像たる画像フレームから被写体の画像である被写体画像を抽出し、抽出した被写体画像と推定したカメラ１０の俯角とに基づき複数の前景マップを生成する。パラメータ取得部２０４は、撮影空間に存在する被写体の数を前景マップごとに変化させて複数の前景マップを生成する。前景マップは複数の部分領域に区分されている。前景マップでは、部分領域ごとに、部分領域に映されている被写体の数（領域被写体数）と部分領域における前景面積量とが示される。前景マップは、人数解析部２０６による人数解析の際に画像フレームと比較される画像である。前景マップは参照画像に相当する。
パラメータ取得部２０４は、生成した複数の前景マップを解析パラメータとしてパラメータ保存ストレージ２０５に格納する。
パラメータ取得部２０４は、参照画像生成部に相当する。また、パラメータ取得部２０４により行われる処理は、参照画像生成処理に相当する。
より具体的には、パラメータ取得部２０４は、カメラ１０の外部パラメータとしてカメラ１０の俯角を推定する。また、パラメータ取得部２０４は、第１の撮影画像たる画像フレームから被写体の画像である被写体画像を抽出し、抽出した被写体画像と推定したカメラ１０の俯角とに基づき複数の前景マップを生成する。パラメータ取得部２０４は、撮影空間に存在する被写体の数を前景マップごとに変化させて複数の前景マップを生成する。前景マップは複数の部分領域に区分されている。前景マップでは、部分領域ごとに、部分領域に映されている被写体の数（領域被写体数）と部分領域における前景面積量とが示される。前景マップは、人数解析部２０６による人数解析の際に画像フレームと比較される画像である。前景マップは参照画像に相当する。
パラメータ取得部２０４は、生成した複数の前景マップを解析パラメータとしてパラメータ保存ストレージ２０５に格納する。
パラメータ取得部２０４は、参照画像生成部に相当する。また、パラメータ取得部２０４により行われる処理は、参照画像生成処理に相当する。
パラメータ保存ストレージ２０５は、パラメータ取得部２０４により生成された解析パラメータを保存する。
人数解析部２０６は、群集監視装置２０の動作モードが人数カウントモードであるときに、人数解析を実施する。
より具体的には、人数解析部２０６は、第２の撮影画像たる画像フレームと、パラメータ取得部２０４により生成された複数の前景マップとを比較し、画像フレームに映されている被写体の数を推定する。
人数解析部２０６は、被写体数推定部に相当する。人数解析部２０６により行われる処理は、被写体数推定処理に相当する。
より具体的には、人数解析部２０６は、第２の撮影画像たる画像フレームと、パラメータ取得部２０４により生成された複数の前景マップとを比較し、画像フレームに映されている被写体の数を推定する。
人数解析部２０６は、被写体数推定部に相当する。人数解析部２０６により行われる処理は、被写体数推定処理に相当する。
解析結果出力部２０７は、人数解析部２０６による人数解析の結果を外部に出力する。
図２は、パラメータ取得部２０４の内部構成例を示す。
パラメータ取得部２０４は、人物検出部２０４１、前景抽出部２０４２、俯角推定部２０４３、前景マップ生成部２０４４及び人物情報保存ストレージ２０４５で構成される。
パラメータ取得部２０４は、人物検出部２０４１、前景抽出部２０４２、俯角推定部２０４３、前景マップ生成部２０４４及び人物情報保存ストレージ２０４５で構成される。
人物検出部２０４１は、第１の撮影画像たる画像フレームから被写体である人物の画像を検出する。
前景抽出部２０４２は、人物検出部２０４１により特定された人物の前景画像を抽出する。
俯角推定部２０４３は、多数の人物の人物検出結果情報及び前景画像からカメラ１０の俯角を推定する。
前景マップ生成部２０４４は、カメラ１０の俯角、多数の人物の人物検出結果情報及び前景画像から複数の前景マップを生成する。
そして、前景マップ生成部２０４４は、前景マップを、解析パラメータとしてパラメータ保存ストレージ２０５に格納する。
そして、前景マップ生成部２０４４は、前景マップを、解析パラメータとしてパラメータ保存ストレージ２０５に格納する。
人物情報保存ストレージ２０４５は、人物検出結果情報と前景画像を記憶する。
図３は、人数解析部２０６の内部構成例を示す。
人数解析部２０６は、前景抽出部２０６１と人数推定部２０６２で構成される。
人数解析部２０６は、前景抽出部２０６１と人数推定部２０６２で構成される。
前景抽出部２０６１は、第２の撮影画像たる画像フレームから前景画像を抽出する。
人数推定部２０６２は、パラメータ保存ストレージ２０５に保存されている解析パラメータを用いて、前景画像から人数推定を行う。
＊＊＊動作の説明＊＊＊
次に、実施の形態１に係る群集監視装置２０の動作例を説明する。
図４は群集監視装置２０の動作例を示すフローチャートである。
次に、実施の形態１に係る群集監視装置２０の動作例を説明する。
図４は群集監視装置２０の動作例を示すフローチャートである。
まず、群集監視装置２０の起動直後に、モード切替制御部２０３が、動作モードをパラメータ取得モードに設定する（ステップＳＴ０１）。つまり、モード切替制御部２０３は、切替スイッチ２０２にパラメータ取得モードを通知するモード制御信号を出力する。
次に、モード切替制御部２０３は、パラメータ保存ストレージ２０５を参照し、解析パラメータが既に取得されているか否かを確認する（ステップＳＴ０２）。つまり、モード切替制御部２０３は、パラメータ保存ストレージ２０５に解析パラメータが保存されているか否かを確認する。
解析パラメータが未だ取得されていない場合（ＳＴ０２でＮＯ）は、ステップＳＴ０４、ステップＳＴ０５、ＳＴ０６を経て、解析パラメータがパラメータ保存ストレージ２０５に格納される。
解析パラメータがパラメータ保存ストレージ２０５に格納された後のステップＳＴ０２では、解析パラメータが取得済みと判定されて、処理がステップＳＴ０３に進む。
解析パラメータがパラメータ保存ストレージ２０５に格納された後のステップＳＴ０２では、解析パラメータが取得済みと判定されて、処理がステップＳＴ０３に進む。
一方、解析パラメータが既に取得されている場合（ステップＳＴ０２でＹＥＳ）は、モード切替制御部２０３は、動作モードを人数カウントモードに変更する（ステップＳＴ０３）。
群集監視装置２０の起動前に既にパラメータ保存ストレージ２０５に解析パラメータが保存されている場合にステップＳＴ０２がＹＥＳと判定される。また、前述のようにステップＳＴ０４、ステップＳＴ０５、ＳＴ０６を経て解析パラメータがパラメータ保存ストレージ２０５に格納された後のステップＳＴ０２もＹＥＳと判定される。
群集監視装置２０の起動前に既にパラメータ保存ストレージ２０５に解析パラメータが保存されている場合にステップＳＴ０２がＹＥＳと判定される。また、前述のようにステップＳＴ０４、ステップＳＴ０５、ＳＴ０６を経て解析パラメータがパラメータ保存ストレージ２０５に格納された後のステップＳＴ０２もＹＥＳと判定される。
次に、画像受信復号部２０１が、カメラ１０から、圧縮画像ストリームを受信し、受信した圧縮画像ストリームの少なくとも１フレーム分の画像フレームを復号する（ステップＳＴ０４）。画像受信復号部２０１は、圧縮画像ストリームとして、例えばＨ．２６２／ＭＰＥＧ−２ ｖｉｄｅｏ、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ又はＪＰＥＧ等の画像圧縮符号化方式で圧縮された画像符号化データを受信する。また、画像受信復号部２０１は、圧縮画像ストリームとして、例えばＭＰＥＧ−２ ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）、ＲＴＰ／ＲＴＳＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ／Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）又はＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）などの画像配信プロトコルでＩＰ配信される画像データを受信してもよい。
また、画像受信復号部２０１は、圧縮画像ストリームとして、上記以外の符号化方式で符号化された画像データ又は上記以外の配信フォーマットで配信された画像データを受信してもよい。画像受信復号部２０１は、圧縮画像ストリームとして、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）−ＳＤＩなどの非圧縮の伝送規格で配信された画像データを受信してもよい。
また、画像受信復号部２０１は、圧縮画像ストリームとして、上記以外の符号化方式で符号化された画像データ又は上記以外の配信フォーマットで配信された画像データを受信してもよい。画像受信復号部２０１は、圧縮画像ストリームとして、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）−ＳＤＩなどの非圧縮の伝送規格で配信された画像データを受信してもよい。
次に、切替スイッチ２０２は、モード切替制御部２０３が設定した動作モードに従い、画像受信復号部２０１から出力された画像フレームをパラメータ取得部２０４又は人数解析部２０６に出力する（ステップＳＴ０５）。
つまり、切替スイッチ２０２は、モード切替制御部２０３からパラメータ取得モードを通知するモード制御信号が出力されていれば、画像フレームをパラメータ取得部２０４に出力する。一方、モード切替制御部２０３から人数カウントモードを通知するモード制御信号が出力されていれば、切替スイッチ２０２は、画像フレームを人数解析部２０６に出力する。
なお、以下の説明では、パラメータ取得部２０４と人数解析部２０６を排他的に動作させる構成を前提とする。しかしながら、人数解析部２０６を動作させながら同時にパラメータ取得部２０４を動作させ、解析パラメータを随時アップデートしていくような構成としてもよい。
つまり、切替スイッチ２０２は、モード切替制御部２０３からパラメータ取得モードを通知するモード制御信号が出力されていれば、画像フレームをパラメータ取得部２０４に出力する。一方、モード切替制御部２０３から人数カウントモードを通知するモード制御信号が出力されていれば、切替スイッチ２０２は、画像フレームを人数解析部２０６に出力する。
なお、以下の説明では、パラメータ取得部２０４と人数解析部２０６を排他的に動作させる構成を前提とする。しかしながら、人数解析部２０６を動作させながら同時にパラメータ取得部２０４を動作させ、解析パラメータを随時アップデートしていくような構成としてもよい。
動作モードがパラメータ取得モードである場合は、パラメータ取得部２０４が、パラメータ取得処理を行う（ステップＳＴ０６）。つまり、パラメータ取得部２０４は、切替スイッチ２０２からの画像フレームを順次処理し、解析パラメータを生成し、生成した解析パラメータをパラメータ保存ストレージ２０５に格納する。パラメータ取得部２０４はある程度の期間の画像フレームを処理することで解析パラメータを生成する。解析パラメータの生成が完了したら、パラメータ取得部２０４は、パラメータ保存ストレージ２０５に解析パラメータを格納する。パラメータ保存ストレージ２０５に解析パラメータが格納されると処理がステップＳＴ０２に戻る。パラメータ取得部２０４の動作の詳細は後述する。
動作モードが人数カウントモードである場合は、人数解析部２０６が人数カウント処理を行う（ステップＳＴ０７）。つまり、人数解析部２０６は、切替スイッチ２０２からの画像フレームを、パラメータ保存ストレージ２０５に保存された解析パラメータを用いて解析することで、当該画像フレームに映る人物の人数を解析する。人数解析部２０６の動作の詳細は後述する。
人数解析部２０６により人数が解析された後は、解析結果出力部２０７が、人数解析部２０６の解析結果が示される人数解析結果を外部に出力する（ステップＳＴ０８）。
解析結果出力部２０７は、例えば、モニタへの表示、ログファイルへの出力、外部接続機器への出力、またはネットワークへの送出などにより、人数解析結果を出力する。また、解析結果出力部２０７は、他の形式で人数解析結果を出力してもよい。また、人数解析部２０６から人数解析結果が出力されるたびに外部に出力してもよいし、特定の期間または特定数の人数解析結果を集計または統計処理した後に出力するなど、断続的な出力であってもよい。ステップＳＴ０８の後はステップＳＴ０４に戻り、次の画像フレームの処理を行う。
解析結果出力部２０７は、例えば、モニタへの表示、ログファイルへの出力、外部接続機器への出力、またはネットワークへの送出などにより、人数解析結果を出力する。また、解析結果出力部２０７は、他の形式で人数解析結果を出力してもよい。また、人数解析部２０６から人数解析結果が出力されるたびに外部に出力してもよいし、特定の期間または特定数の人数解析結果を集計または統計処理した後に出力するなど、断続的な出力であってもよい。ステップＳＴ０８の後はステップＳＴ０４に戻り、次の画像フレームの処理を行う。
以下、パラメータ取得部２０４の詳細な動作について説明する。
図５は、パラメータ取得部２０４の動作を示すフローチャートである。
図５は、パラメータ取得部２０４の動作を示すフローチャートである。
まず、人物検出部２０４１は、入力した画像フレームに対して人物検出処理を実施し、人物検出結果情報を人物情報保存ストレージ２０４５に保存する（ステップＳＴ１１）。
人物検出部２０４１は、立った状態であること、足先と地面との接触位置及び頭頂部が見えていること、及び他の人物とのオクルージョンが起きていない又は他の人物とのオクルージョンの割合が小さいことを満足する人物を検出する。
人物検出部２０４１は、立った状態であること、足先と地面との接触位置及び頭頂部が見えていること、及び他の人物とのオクルージョンが起きていない又は他の人物とのオクルージョンの割合が小さいことを満足する人物を検出する。
人物検出部２０４１は、検出した人物ごとに人物検出結果情報を人物情報保存ストレージ２０４５に出力する。人物検出結果情報には、例えば、検出した人物を過不足なく囲う矩形、楕円又はその他の形状の枠を示す情報、検出した人物の地面と足の接地位置を示す座標情報、人物の頭頂部を示す座標情報、および接地点の移動速度が含まれる。
図７は、人物検出部２０４１による人物検出結果のイメージを示す。
人物検出の手法として、ＨＯＧ（Ｈｉｓｔｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＩＣＦ（Ｉｎｔｅｇｒａｌ Ｃｈａｎｎｅｌ Ｆｅａｔｕｒｅｓ）、ＡＣＦ（Ａｇｇｒｅｇａｔｅ Ｃｈａｎｎｅｌ Ｆｅａｔｕｒｅｓ）などの静止画ベースの特徴量を利用した手法を用いてもよい。また、人物検出の手法として、時間的に近接した複数の画像フレームを用いた動画ベースの特徴量を利用する手法を用いてもよい。
また、本実施の形態では、人物検出部２０４１は、画像フレームに映っている人物のサイズが未知であることを前提とする人物検出手法を用いる。これに代えて、人物検出部２０４１は、人物検出を複数回行い、画像領域ごとの人物のスケールに対する傾向が得られた時点で、そのスケールを前提とした人物検出手法に切り替えて、より処理を高速化してもよい。
人物検出部２０４１は、接地点の移動速度の情報を、複数の画像フレームをまたがった特徴点の追跡、人物の追跡などにより取得する。また、カメラ１０から入力された圧縮画像ストリーム内に圧縮符号化のための動きベクトルが含まれている場合は、人物検出部２０４１は、その動きベクトル情報をそのまま用いて、接地点の移動速度の情報を取得してもよい。
図７は、人物検出部２０４１による人物検出結果のイメージを示す。
人物検出の手法として、ＨＯＧ（Ｈｉｓｔｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＩＣＦ（Ｉｎｔｅｇｒａｌ Ｃｈａｎｎｅｌ Ｆｅａｔｕｒｅｓ）、ＡＣＦ（Ａｇｇｒｅｇａｔｅ Ｃｈａｎｎｅｌ Ｆｅａｔｕｒｅｓ）などの静止画ベースの特徴量を利用した手法を用いてもよい。また、人物検出の手法として、時間的に近接した複数の画像フレームを用いた動画ベースの特徴量を利用する手法を用いてもよい。
また、本実施の形態では、人物検出部２０４１は、画像フレームに映っている人物のサイズが未知であることを前提とする人物検出手法を用いる。これに代えて、人物検出部２０４１は、人物検出を複数回行い、画像領域ごとの人物のスケールに対する傾向が得られた時点で、そのスケールを前提とした人物検出手法に切り替えて、より処理を高速化してもよい。
人物検出部２０４１は、接地点の移動速度の情報を、複数の画像フレームをまたがった特徴点の追跡、人物の追跡などにより取得する。また、カメラ１０から入力された圧縮画像ストリーム内に圧縮符号化のための動きベクトルが含まれている場合は、人物検出部２０４１は、その動きベクトル情報をそのまま用いて、接地点の移動速度の情報を取得してもよい。
パラメータ取得部２０４は、検出結果を全て人物検出結果情報として人物情報保存ストレージ２０４５に保存するように構成してもよいし、人物情報保存ストレージ２０４５の容量節約のために、人物情報保存ストレージ２０４５に蓄積されているデータ量を一定以下に抑制するように構成してもよい。例えば、既に人物を検出している画像領域において人物検出部２０４１が再度別の人物を検出した場合に、人物検出部２０４１が、いずれかの検出結果を破棄して、人物情報保存ストレージ２０４５に蓄積されているデータ量を一定以下に抑制する。また、人物検出部２０４１が検出結果の平均値を取って、検出結果を統合して、人物情報保存ストレージ２０４５に蓄積されているデータ量を一定以下に抑制するようにしてもよい。
次に、前景抽出部２０４２は、人物検出結果情報に基づき、検出された人物を囲う枠の領域内の前景抽出を行い、その前景抽出結果の画像を人物検出結果情報と対応付けて人物情報保存ストレージ２０４５に格納する（ステップＳＴ１２、ＳＴ１３）。
前景抽出部２０４２により抽出される前景画像は被写体画像に相当する。
前景抽出部２０４２により抽出される前景画像は被写体画像に相当する。
図８は、前景抽出結果のイメージを示す。
また、図９は、人物情報保存ストレージ２０４５に保存される、人物検出結果情報と、それぞれの人物検出結果情報に対応する人物の前景画像のペアのイメージを示す。なお、人物検出結果情報と前景画像とを合わせて人物情報という。
また、図９は、人物情報保存ストレージ２０４５に保存される、人物検出結果情報と、それぞれの人物検出結果情報に対応する人物の前景画像のペアのイメージを示す。なお、人物検出結果情報と前景画像とを合わせて人物情報という。
前景抽出部２０４２は、例えば背景差分法、適応型の背景差分法及び密なオプティカルフロー導出アルゴリズムを用いて前景画像を抽出する。
背景差分法は、予め背景画像を登録しておき、入力画像と背景画像との差分を計算する手法である。また、適応型の背景差分法は、連続して入力される画像フレームから、ＭＯＧ（Ｍｉｘｔｕｒｅ ｏｆ Ｇａｕｓｓｉａｎ） Ｄｉｓｔｒｉｂｕｔｉｏｎなどのモデルを用いて背景画像を自動更新する手法である。また、密なオプティカルフロー導出アルゴリズムは、画像内の動き情報を画素単位で取得する手法である。
背景差分法は、予め背景画像を登録しておき、入力画像と背景画像との差分を計算する手法である。また、適応型の背景差分法は、連続して入力される画像フレームから、ＭＯＧ（Ｍｉｘｔｕｒｅ ｏｆ Ｇａｕｓｓｉａｎ） Ｄｉｓｔｒｉｂｕｔｉｏｎなどのモデルを用いて背景画像を自動更新する手法である。また、密なオプティカルフロー導出アルゴリズムは、画像内の動き情報を画素単位で取得する手法である。
次に、前景抽出部２０４２は、ステップＳＴ１１〜１３の処理によって、十分な人物情報が取得できたかを判定する（ステップＳＴ１４）。
十分な人物情報が取得できた場合は、処理はステップＳＴ１５に進む。一方、十分な人物情報が取得できていない場合は、処理は終了する。
十分な人物情報が得られたかどうかの判定は、例えばこれまでに取得された人物情報の個数、パラメータ取得処理を開始してからの経過時間などの尺度で行う。また、ステップＳＴ１５以降のパラメータ推定処理を実施し、パラメータ推定処理により推定されたパラメータの信頼度で、十分な人物情報が得られたかどうかの判定を行ってもよい。
十分な人物情報が取得できた場合は、処理はステップＳＴ１５に進む。一方、十分な人物情報が取得できていない場合は、処理は終了する。
十分な人物情報が得られたかどうかの判定は、例えばこれまでに取得された人物情報の個数、パラメータ取得処理を開始してからの経過時間などの尺度で行う。また、ステップＳＴ１５以降のパラメータ推定処理を実施し、パラメータ推定処理により推定されたパラメータの信頼度で、十分な人物情報が得られたかどうかの判定を行ってもよい。
十分な人物情報が取得された場合に、俯角推定部２０４３が、人物情報保存ストレージ２０４５に保存された人物情報を用いてカメラ１０の俯角の推定を行う（ステップＳＴ１５）。
図１０、図１１及び図１２は俯角推定処理の概要を示す。
図１０に示す通り、本実施の形態では、カメラが水平よりも下向きに設置されていることを前提とする。また、カメラのレンズ歪は補正され、ピンホールカメラとしてみなせることを前提とする。また、カメラの内部パラメータは既知であり、画像内の各座標の方向が、光軸からどれだけのなす角を持っているかが既知であることを前提とする。
この場合に、画像内で水平線高さに相当する画像座標が分かれば、光軸方向と水平方向がなす角α［ｒａｄ］が一意に求まる。光軸方向と地面がなす角、すなわち俯角θ［ｒａｄ］はθ＝αで求められる。または、画像内で鉛直点に相当する画像座標が分かれば、光軸方向と鉛直方向がなす角β［ｒａｄ］が一意に求まる。俯角θ［ｒａｄ］はθ＝π／２−βで求められる。
図１０、図１１及び図１２は俯角推定処理の概要を示す。
図１０に示す通り、本実施の形態では、カメラが水平よりも下向きに設置されていることを前提とする。また、カメラのレンズ歪は補正され、ピンホールカメラとしてみなせることを前提とする。また、カメラの内部パラメータは既知であり、画像内の各座標の方向が、光軸からどれだけのなす角を持っているかが既知であることを前提とする。
この場合に、画像内で水平線高さに相当する画像座標が分かれば、光軸方向と水平方向がなす角α［ｒａｄ］が一意に求まる。光軸方向と地面がなす角、すなわち俯角θ［ｒａｄ］はθ＝αで求められる。または、画像内で鉛直点に相当する画像座標が分かれば、光軸方向と鉛直方向がなす角β［ｒａｄ］が一意に求まる。俯角θ［ｒａｄ］はθ＝π／２−βで求められる。
図１１は、水平線高さの導出のイメージを示す。
俯角推定部２０４３は、人物情報に基づき、移動する人物の接地点の移動の方向を延長し、複数の人物の移動方向の延長線が最もよく交わる点を水平線上の点とみなす。これは、複数の歩行者が並行かつ直進して歩いているという前提に基づく。移動方向検出の精度誤差や、平行に歩いていない歩行者などの影響で、各線は必ずしも一点には交わらない。このため、俯角推定部２０４３は、多くの人物情報を用いて、より尤もらしい結果を水平高さと推定する。
俯角推定部２０４３は、人物情報に基づき、移動する人物の接地点の移動の方向を延長し、複数の人物の移動方向の延長線が最もよく交わる点を水平線上の点とみなす。これは、複数の歩行者が並行かつ直進して歩いているという前提に基づく。移動方向検出の精度誤差や、平行に歩いていない歩行者などの影響で、各線は必ずしも一点には交わらない。このため、俯角推定部２０４３は、多くの人物情報を用いて、より尤もらしい結果を水平高さと推定する。
図１２は、鉛直点座標の導出のイメージを示す。
俯角推定部２０４３は、人物情報に基づき、頭頂部と接地点の座標を結んだ線、すなわち法線方向の線を延長し、複数の人物の法線方向の線が最もよく交わる点を鉛直点とみなす。これは、歩行者が地面に対して直立しているという前提に基づく。頭頂部と接地点の座標の検出誤差や、直立していない歩行者などの影響で、各線は必ずしも一点には交わらない。このため、俯角推定部２０４３は、多くの人物情報を用いて、より尤もらしい結果を鉛直点座標と推定する。
俯角推定部２０４３は、人物情報に基づき、頭頂部と接地点の座標を結んだ線、すなわち法線方向の線を延長し、複数の人物の法線方向の線が最もよく交わる点を鉛直点とみなす。これは、歩行者が地面に対して直立しているという前提に基づく。頭頂部と接地点の座標の検出誤差や、直立していない歩行者などの影響で、各線は必ずしも一点には交わらない。このため、俯角推定部２０４３は、多くの人物情報を用いて、より尤もらしい結果を鉛直点座標と推定する。
なお、水平線高さを利用する方法は、カメラの俯角が浅い場合、すなわちカメラの俯角が水平方向に近い場合に適する。また鉛直点を利用する方法は、カメラの俯角が深い場合、すなわちよりカメラの俯角が鉛直方向に近い場合に適する。俯角推定部２０４３は、両者の方法を用いて得られた俯角のうち、より適している方法で得られた俯角を選択してもよいし、両者の平均値を選択してもよい。または、俯角推定部２０４３は、他の俯角推定方法を用いてもよい。
次に、前景マップ生成部２０４４が、俯角推定部２０４３により得られた俯角情報、および人物情報保存ストレージ２０４５に保存された人物情報を用いて、人数解析部２０６で使用する前景マップを生成する（ステップＳＴ１６）。
より具体的には、前景マップ生成部２０４４は、まず、俯角情報と人物接地点の移動情報から、路面上の２次元座標系（以下、路面座標系という）を計算する。例えば、前景マップ生成部２０４４は、人物の主な移動方向をＸ方向と定義し、Ｘ方向に直交する方向をＹ方向と定義する。
次に、前景マップ生成部２０４４は、路面座標系における座標である路面座標の絶対的なスケールを求める。前景マップ生成部２０４４は、例えば、路面座標上での単位時間での移動幅を、予め与えられた歩行者の平均的な移動速度による移動幅とみなし、路面座標の絶対的なスケールを求める。
次に、路面座標系を取得した後に、前景マップ生成部２０４４は、ステップＳＴ１３で取得された人物ごとの前景画像を合成して、特定の混雑度において観測されることが想定される群集の前景画像（以下、群集前景画像という）を生成する。
図１３、図１４及び図１５は、群集前景画像の例を示す。図１３は、混雑レベル１の群集前景画像の例を示す。図１４は、混雑レベル２の群集前景画像の例を示す。図１５は、混雑レベル３の群集前景画像の例を示す。
図１３〜図１５に示すように、前景マップ生成部２０４４は、撮影空間に複数の人物が存在する複数の群集前景画像を撮影空間に存在する人物の数を群集前景画像ごとに変化させて生成する。
また、図１３〜図１５に示すように、群集前景画像では、人物の密度や配置によっては人物間でオクルージョンが発生している。
前景マップ生成部２０４４は、これまでに取得された人物情報の接地点の画像座標を路面座標に変換したのちに、路面座標系で人物の密度が既定の値となる複数の位置に前景画像を貼り合わせて群集前景画像を生成する。例えば図１３に示す路面座標のグリッドが、路面座標系で５０ｃｍ間隔とする。すなわちグリッド全体は４［ｍ２］である。混雑レベル１の群集密度が１［人／ｍ２］であるとすると、前景マップ生成部２０４４は、グリッド内に４人の人物をランダムに配置する。混雑レベル２の群集密度が２［人／ｍ２］であるとすると、前景マップ生成部２０４４は、グリッド内に８人の人物をランダムに配置する。混雑レベル３の群集密度が４［人／ｍ２］であるとすると、前景マップ生成部２０４４は、グリッド内に１６人の人物をランダムに配置する。いずれの場合も、前景マップ生成部２０４４は、人物同士が近くなりすぎないように、例えば人の肩幅平均値や、密度ごとのパーソナルスペース半径平均値以上の距離を保つようにして人物をランダムに配置する。
図１３、図１４及び図１５は、群集前景画像の例を示す。図１３は、混雑レベル１の群集前景画像の例を示す。図１４は、混雑レベル２の群集前景画像の例を示す。図１５は、混雑レベル３の群集前景画像の例を示す。
図１３〜図１５に示すように、前景マップ生成部２０４４は、撮影空間に複数の人物が存在する複数の群集前景画像を撮影空間に存在する人物の数を群集前景画像ごとに変化させて生成する。
また、図１３〜図１５に示すように、群集前景画像では、人物の密度や配置によっては人物間でオクルージョンが発生している。
前景マップ生成部２０４４は、これまでに取得された人物情報の接地点の画像座標を路面座標に変換したのちに、路面座標系で人物の密度が既定の値となる複数の位置に前景画像を貼り合わせて群集前景画像を生成する。例えば図１３に示す路面座標のグリッドが、路面座標系で５０ｃｍ間隔とする。すなわちグリッド全体は４［ｍ２］である。混雑レベル１の群集密度が１［人／ｍ２］であるとすると、前景マップ生成部２０４４は、グリッド内に４人の人物をランダムに配置する。混雑レベル２の群集密度が２［人／ｍ２］であるとすると、前景マップ生成部２０４４は、グリッド内に８人の人物をランダムに配置する。混雑レベル３の群集密度が４［人／ｍ２］であるとすると、前景マップ生成部２０４４は、グリッド内に１６人の人物をランダムに配置する。いずれの場合も、前景マップ生成部２０４４は、人物同士が近くなりすぎないように、例えば人の肩幅平均値や、密度ごとのパーソナルスペース半径平均値以上の距離を保つようにして人物をランダムに配置する。
次に、前景マップ生成部２０４４は、群集前景画像を生成した後に、図１６、図１７及び図１８に示すように、群集前景画像を複数の部分領域に区分し、混雑レベル別に、人物１人あたりの前景面積量（例：１５０ピクセル／人）を計算する。なお、図１７及び図１８では、作図上の理由から、一部の人物には前景面積量を表示していない。
また、前景マップ生成部２０４４は、部分領域ごとに、部分領域に含まれる前景面積量を計算する。例えば、図１６の符号１６１で示す部分領域では、例えば、９０ピクセル／部分領域が得られる。群集前景画像は複数の人物の前景画像が合成されて生成されているため、前景マップ生成部２０４４は、各部分領域に映っている人物の数の真値を得ることができる。前景マップ生成部２０４４は、部分領域ごとに、部分領域に映っている人物の数を計数する。１つの部分領域に人物１人の前景画像の全体が含まれている場合は、当該部分領域に映っている人物の数は１人である（１人／部分領域）。１つの部分領域に人物の一部の前景画像しか含まれていない場合は、前景マップ生成部２０４４は、当該人物の前景画像の面積全体を当該部分領域に含まれている当該人物の部分の面積で割ることで、当該部分領域に含まれている人数を小数点以下の単位で求める。例えば、符号１６１の部分領域に含まれている人物の前景面積量は１５０ピクセルである。符号１６１の部分領域に９０ピクセルが含まれていると仮定すると、前景マップ生成部２０４４は、符号１６１の部分領域に含まれる人数を０．６人（９０÷１５０＝０．６）として定義する（０．６人／部分領域）。
そして、前景マップ生成部２０４４は、各部分領域に、部分領域に含まれる人物の前景面積量（例：９０ピクセル／部分領域）と部分領域に含まれる人物の数（例：１人／部分領域、０．６人／部分領域）を付加する。
以下、部分領域に含まれる人物の前景面積量（例：９０ピクセル／部分領域）を領域人物面積量という。また、部分領域に含まれる人物の数（例：１人／部分領域、０．６人／部分領域）を領域人物数という。
各部分領域に領域人物面積量と領域人物数が付加された群集前景画像を前景マップという。前述したように、前景マップは参照画像に相当する。
また、前景マップ生成部２０４４は、部分領域ごとに、部分領域に含まれる前景面積量を計算する。例えば、図１６の符号１６１で示す部分領域では、例えば、９０ピクセル／部分領域が得られる。群集前景画像は複数の人物の前景画像が合成されて生成されているため、前景マップ生成部２０４４は、各部分領域に映っている人物の数の真値を得ることができる。前景マップ生成部２０４４は、部分領域ごとに、部分領域に映っている人物の数を計数する。１つの部分領域に人物１人の前景画像の全体が含まれている場合は、当該部分領域に映っている人物の数は１人である（１人／部分領域）。１つの部分領域に人物の一部の前景画像しか含まれていない場合は、前景マップ生成部２０４４は、当該人物の前景画像の面積全体を当該部分領域に含まれている当該人物の部分の面積で割ることで、当該部分領域に含まれている人数を小数点以下の単位で求める。例えば、符号１６１の部分領域に含まれている人物の前景面積量は１５０ピクセルである。符号１６１の部分領域に９０ピクセルが含まれていると仮定すると、前景マップ生成部２０４４は、符号１６１の部分領域に含まれる人数を０．６人（９０÷１５０＝０．６）として定義する（０．６人／部分領域）。
そして、前景マップ生成部２０４４は、各部分領域に、部分領域に含まれる人物の前景面積量（例：９０ピクセル／部分領域）と部分領域に含まれる人物の数（例：１人／部分領域、０．６人／部分領域）を付加する。
以下、部分領域に含まれる人物の前景面積量（例：９０ピクセル／部分領域）を領域人物面積量という。また、部分領域に含まれる人物の数（例：１人／部分領域、０．６人／部分領域）を領域人物数という。
各部分領域に領域人物面積量と領域人物数が付加された群集前景画像を前景マップという。前述したように、前景マップは参照画像に相当する。
なお、前景マップ生成部２０４４は、混雑レベルごとに、複数の群集前景画像を生成してもよい。つまり、前景マップ生成部２０４４は、１つの混雑レベル（例えば、混雑レベル３）に対して、人物の配置をランダムに変化させて複数の群集前景画像を生成してもよい。このように、１つの混雑レベルに対して複数の混雑前景画像を生成した場合は、前景マップ生成部２０４４は、複数の群集前景画像から得られた複数の前景マップを全てパラメータ保存ストレージ２０５に格納してもよい。また、前景マップ生成部２０４４は、複数の群集前景画像から得られた複数の前景マップの平均値を取ることで、複数の前景マップを１つの前景マップに統合し、当該１つの前景マップのみをパラメータ保存ストレージ２０５に格納してもよい。このようにすることで、様々な人物の配置パターンに対応できる効果が見込まれる。
最後に、人物情報保存ストレージ２０４５は、生成した前景マップをパラメータ保存ストレージ２０５に格納する（ステップＳＴ１７）。前景マップの格納により、パラメータ取得処理が完了となる。
以下、人数解析部２０６の詳細な動作について説明する。図６は、人数解析部２０６の動作を示すフローチャートである。
まず、前景抽出部２０６１は、入力された画像フレーム全体、または注目領域に対して前景抽出を行う（ステップＳＴ２１）。この前景抽出処理は、パラメータ取得部２０４の前景抽出部２０４２の前景抽出処理と同じ処理である。
次に、人数推定部２０６２は、前景抽出部２０６１により抽出された前景画像に対して、パラメータ保存ストレージ２０５に保存された混雑レベル別の前景マップを用いて人数推定を行う（ステップＳＴ２２）。
図１９、図２０及び図２１は人数推定処理を説明する。
人数推定部２０６２は、図１９に示すように、画像フレームから前景画像を抽出する。そして、人数推定部２０６２は、前景画像を、前景マップと同じ部分領域に区分する。図１９に示す前景画像における部分領域を、以下、推定対象部分領域という。
人数推定部２０６２は、図２０に示すように、推定対象部分領域ごとに前景面積量を判定する。
次に、人数推定部２０６２は、推定対象部分領域ごとに、混雑レベル別の複数の前景マップから同じ位置にある部分領域を抽出し、抽出した部分領域の各々における前景面積量と、推定対象部分領域における前景面積量とを比較する。そして、人数推定部２０６２は、推定対象部分領域における前景面積量と最も類似する前景面積量の前景マップの部分領域を選択する。
人数推定部２０６２は、例えば、図２０の前景画像の１行目１列目（最上段の左端）の推定対象部分領域に対して、混雑レベル１〜３の前景マップの各々から１行目１列目の部分領域を抽出する。次に、人数推定部２０６２は、混雑レベル１〜３の前景マップから抽出した３つの部分領域の各々における前景面積量と、図２０の推定対象部分領域における部分領域とを比較する。そして、人数推定部２０６２は、図２０の推定対象部分領域における前景面積量と最も類似する前景面積量が付加されている部分領域を、抽出した３つの部分領域の中から選択する。人数推定部２０６２は、以上の処理を、図２０の全ての推定対象部分領域について行う。以下、推定対象領域に対して選択した部分領域を選択部分領域という。
このようにして人数推定部２０６２は推定対象部分領域ごとに混雑レベル１〜３の前景マップの中から選択部分領域を選択する。このため、推定対象部分領域によって、選択部分領域の混雑レベルが相違する場合がある。例えば、図２０の前景画像のｎ行目ｍ列目の推定対象部分領域に対しては、混雑レベル３の前景マップの部分領域が選択され、ｎ行目ｍ＋１列目の推定対象部分領域に対しては、混雑レベル２の前景マップの部分領域が選択され、ｎ行目ｍ＋２列目の推定対象部分領域に対しては、混雑レベル１の前景マップの部分領域が選択されるということが生じ得る。
次に、人数推定部２０６２は、推定対象部分領域ごとに、推定対象部分領域に含まれる人物の数を求める。具体的には、人数推定部２０６２は、推定対象部分領域の前景面積量を、選択部分領域の領域人物面積量で割り、除算値に選択部分領域の領域人物数を乗算する。つまり、人数推定部２０６２は、（推定対象部分領域の前景面積量）÷（選択部分領域の領域人物面積量）×（選択部分領域の領域人物数）という計算を行って、推定対象部分領域に含まれる人物の数を求める。
そして、人数推定部２０６２は、推定対象部分領域ごとに得られた人数を集計して、画像フレーム全体、または注目領域に含まれる人数を得る。
図１９、図２０及び図２１は人数推定処理を説明する。
人数推定部２０６２は、図１９に示すように、画像フレームから前景画像を抽出する。そして、人数推定部２０６２は、前景画像を、前景マップと同じ部分領域に区分する。図１９に示す前景画像における部分領域を、以下、推定対象部分領域という。
人数推定部２０６２は、図２０に示すように、推定対象部分領域ごとに前景面積量を判定する。
次に、人数推定部２０６２は、推定対象部分領域ごとに、混雑レベル別の複数の前景マップから同じ位置にある部分領域を抽出し、抽出した部分領域の各々における前景面積量と、推定対象部分領域における前景面積量とを比較する。そして、人数推定部２０６２は、推定対象部分領域における前景面積量と最も類似する前景面積量の前景マップの部分領域を選択する。
人数推定部２０６２は、例えば、図２０の前景画像の１行目１列目（最上段の左端）の推定対象部分領域に対して、混雑レベル１〜３の前景マップの各々から１行目１列目の部分領域を抽出する。次に、人数推定部２０６２は、混雑レベル１〜３の前景マップから抽出した３つの部分領域の各々における前景面積量と、図２０の推定対象部分領域における部分領域とを比較する。そして、人数推定部２０６２は、図２０の推定対象部分領域における前景面積量と最も類似する前景面積量が付加されている部分領域を、抽出した３つの部分領域の中から選択する。人数推定部２０６２は、以上の処理を、図２０の全ての推定対象部分領域について行う。以下、推定対象領域に対して選択した部分領域を選択部分領域という。
このようにして人数推定部２０６２は推定対象部分領域ごとに混雑レベル１〜３の前景マップの中から選択部分領域を選択する。このため、推定対象部分領域によって、選択部分領域の混雑レベルが相違する場合がある。例えば、図２０の前景画像のｎ行目ｍ列目の推定対象部分領域に対しては、混雑レベル３の前景マップの部分領域が選択され、ｎ行目ｍ＋１列目の推定対象部分領域に対しては、混雑レベル２の前景マップの部分領域が選択され、ｎ行目ｍ＋２列目の推定対象部分領域に対しては、混雑レベル１の前景マップの部分領域が選択されるということが生じ得る。
次に、人数推定部２０６２は、推定対象部分領域ごとに、推定対象部分領域に含まれる人物の数を求める。具体的には、人数推定部２０６２は、推定対象部分領域の前景面積量を、選択部分領域の領域人物面積量で割り、除算値に選択部分領域の領域人物数を乗算する。つまり、人数推定部２０６２は、（推定対象部分領域の前景面積量）÷（選択部分領域の領域人物面積量）×（選択部分領域の領域人物数）という計算を行って、推定対象部分領域に含まれる人物の数を求める。
そして、人数推定部２０６２は、推定対象部分領域ごとに得られた人数を集計して、画像フレーム全体、または注目領域に含まれる人数を得る。
＊＊＊実施の形態の効果の説明＊＊＊
以上のように、本実施の形態では、パラメータ取得部２０４が、実際に観測された前景画像を用いて、オクルージョンを考慮して、領域人物面積量と領域人物数を求める。そして、人数解析部２０６が、人数推定対象の前景画像に領域人物面積量と領域人物数を適用して、人数推定を行うため、人物の平均寸法を予め得ることなく、高精度な人数推定が可能である。
また、本実施の形態では、パラメータ取得部２０４が、カメラの外部パラメータであるカメラの俯角を推定するため、カメラの外部パラメータを予め測定しておく必要がない。特許文献１に開示されている技術では、ＣＧモデルの生成のために、カメラ外部パラメータを予め測定して取得しておく必要がある。カメラ外部パラメータは、例えば、カメラの俯角や、点在する人物の各々からカメラまでの距離などのパラメータである。このように、特許文献１に開示されている技術では、カメラ外部パラメータを予め測定して取得しておく必要があるため、カメラ設置時のコストが大きいという課題がある。本実施の形態では、前述のように、カメラの外部パラメータを予め測定しておく必要がないという効果がある。
以上のように、本実施の形態では、パラメータ取得部２０４が、実際に観測された前景画像を用いて、オクルージョンを考慮して、領域人物面積量と領域人物数を求める。そして、人数解析部２０６が、人数推定対象の前景画像に領域人物面積量と領域人物数を適用して、人数推定を行うため、人物の平均寸法を予め得ることなく、高精度な人数推定が可能である。
また、本実施の形態では、パラメータ取得部２０４が、カメラの外部パラメータであるカメラの俯角を推定するため、カメラの外部パラメータを予め測定しておく必要がない。特許文献１に開示されている技術では、ＣＧモデルの生成のために、カメラ外部パラメータを予め測定して取得しておく必要がある。カメラ外部パラメータは、例えば、カメラの俯角や、点在する人物の各々からカメラまでの距離などのパラメータである。このように、特許文献１に開示されている技術では、カメラ外部パラメータを予め測定して取得しておく必要があるため、カメラ設置時のコストが大きいという課題がある。本実施の形態では、前述のように、カメラの外部パラメータを予め測定しておく必要がないという効果がある。
なお、以上では、人を被写体の例として説明を行ったが、被写体は人に限らない。被写体が、例えば、野生動物、昆虫等の生命体、または車両等の人以外の移動体であってもよい。
また、本願発明はその発明の範囲内において、実施の形態で示した構成要素又は手順の自由な組み合わせ、変形、省略が可能である。
＊＊＊ハードウェア構成の説明＊＊＊
最後に、群集監視装置２０のハードウェア構成の補足説明を行う。
図２２に示すプロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ１１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等である。
図２２に示すメモリ１１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図２２に示す記憶装置１１０４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。
図２２に示すネットワークインタフェース１１０３は、データを受信するレシーバー及びデータを送信するトランスミッターを含む。
ネットワークインタフェース１１０３は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
最後に、群集監視装置２０のハードウェア構成の補足説明を行う。
図２２に示すプロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ１１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等である。
図２２に示すメモリ１１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図２２に示す記憶装置１１０４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。
図２２に示すネットワークインタフェース１１０３は、データを受信するレシーバー及びデータを送信するトランスミッターを含む。
ネットワークインタフェース１１０３は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
また、記憶装置１１０４には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ１１０１により実行される。
プロセッサ１１０１はＯＳの少なくとも一部を実行しながら、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７の機能を実現するプログラムを実行する。
プロセッサ１１０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、メモリ１１０２、記憶装置１１０４、プロセッサ１１０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記憶媒体に記憶されてもよい。
そして、ＯＳの少なくとも一部がプロセッサ１１０１により実行される。
プロセッサ１１０１はＯＳの少なくとも一部を実行しながら、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７の機能を実現するプログラムを実行する。
プロセッサ１１０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、メモリ１１０２、記憶装置１１０４、プロセッサ１１０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記憶媒体に記憶されてもよい。
また、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７を、「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
また、群集監視装置２０は、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった電子回路により実現されてもよい。
この場合は、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７は、それぞれ電子回路の一部として実現される。
なお、プロセッサ及び上記の電子回路を総称してプロセッシングサーキットリーともいう。
また、群集監視装置２０は、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった電子回路により実現されてもよい。
この場合は、画像受信復号部２０１、切替スイッチ２０２、モード切替制御部２０３、パラメータ取得部２０４、人数解析部２０６及び解析結果出力部２０７は、それぞれ電子回路の一部として実現される。
なお、プロセッサ及び上記の電子回路を総称してプロセッシングサーキットリーともいう。
１０ カメラ、２０ 群集監視装置、２０１ 画像受信復号部、２０２ 切替スイッチ、２０３ モード切替制御部、２０４ パラメータ取得部、２０５ パラメータ保存ストレージ、２０６ 人数解析部、２０７ 解析結果出力部、１１０１ プロセッサ、１１０２ メモリ、１１０３ ネットワークインタフェース、１１０４ 記憶装置、２０４１ 人物検出部、２０４２ 前景抽出部、２０４３ 俯角推定部、２０４４ 前景マップ生成部、２０４５ 人物情報保存ストレージ、２０６１ 前景抽出部、２０６２ 人数推定部。
Claims (8)
- 被写体が存在する撮影空間が撮影された前記被写体が映されている撮影画像である第１の撮影画像から前記被写体の画像である被写体画像を抽出し、抽出した前記被写体画像に基づき、前記撮影空間に複数の被写体が存在する複数の参照画像を前記撮影空間に存在する被写体の数を参照画像ごとに変化させて生成する参照画像生成部と、
前記第１の撮影画像とは撮影時刻が異なる前記撮影空間の撮影画像である第２の撮影画像と、前記複数の参照画像とを比較し、前記第２の撮影画像に映されている被写体の数を推定する被写体数推定部とを有する画像処理装置。 - 前記参照画像生成部は、
前記複数の参照画像の各参照画像を複数の部分領域に区分し、各参照画像の部分領域ごとに、部分領域に映されている被写体の数を領域被写体数として算出し、
前記被写体数推定部は、
前記第２の撮影画像を前記複数の部分領域に区分し、前記第２の撮影画像の部分領域ごとに、前記複数の参照画像の各参照画像から、前記第２の撮影画像の部分領域の位置と同じ位置にある部分領域を抽出し、抽出した複数の部分領域の各々と前記第２の撮影画像の部分領域とを比較し、抽出した前記複数の部分領域の中からいずれかの部分領域を選択し、選択した部分領域の領域被写体数を用いて、前記第２の撮影画像に映されている被写体の数を推定する請求項１に記載の画像処理装置。 - 前記参照画像生成部は、
各参照画像の部分領域ごとに、前記領域被写体数と、部分領域における前景面積量とを算出し、
前記被写体数推定部は、
前記第２の撮影画像の部分領域ごとに、前記第２の撮影画像の部分領域における前景面積量を算出し、
前記第２の撮影画像の部分領域ごとに、抽出した前記複数の部分領域の各々における前景面積量と、前記第２の撮影画像の部分領域における前景面積量とを比較し、前記第２の撮影画像の部分領域における前景面積量に類似する前景面積量の部分領域を選択し、
前記第２の撮影画像の部分領域ごとに、選択した部分領域の領域被写体数と、選択した部分領域における前景面積量と、前記第２の撮影画像の部分領域における前景面積量とを用いて、前記第２の撮影画像の部分領域に映されている被写体の数を推定し、
前記第２の撮影画像の部分領域ごとに推定した被写体の数に基づき、前記第２の撮影画像に映されている被写体の数を推定する請求項２に記載の画像処理装置。 - 前記参照画像生成部は、
前記撮影空間に存在する被写体の数ごとに、前記撮影空間に存在する被写体の数が同じで被写体の配置が異なる複数の参照画像を生成する請求項１に記載の画像処理装置。 - 前記参照画像生成部は、
被写体間でオクルージョンが発生している参照画像を生成する請求項１に記載の画像処理装置。 - 前記参照画像生成部は、
前記撮影空間を見下ろす位置に設置されたカメラにより撮影された前記第１の撮影画像から前記被写体画像を抽出し、前記第１の撮影画像を解析して前記カメラの俯角を推定し、抽出した前記被写体画像と、推定した前記カメラの俯角とに基づき、前記複数の参照画像を生成する請求項１に記載の画像処理装置。 - コンピュータが、被写体が存在する撮影空間が撮影された前記被写体が映されている撮影画像である第１の撮影画像から前記被写体の画像である被写体画像を抽出し、抽出した前記被写体画像に基づき、前記撮影空間に複数の被写体が存在する複数の参照画像を前記撮影空間に存在する被写体の数を参照画像ごとに変化させて生成し、
前記コンピュータが、前記第１の撮影画像とは撮影時刻が異なる前記撮影空間の撮影画像である第２の撮影画像と、前記複数の参照画像とを比較し、前記第２の撮影画像に映されている被写体の数を推定する画像処理方法。 - 被写体が存在する撮影空間が撮影された前記被写体が映されている撮影画像である第１の撮影画像から前記被写体の画像である被写体画像を抽出し、抽出した前記被写体画像に基づき、前記撮影空間に複数の被写体が存在する複数の参照画像を前記撮影空間に存在する被写体の数を参照画像ごとに変化させて生成する参照画像生成処理と、
前記第１の撮影画像とは撮影時刻が異なる前記撮影空間の撮影画像である第２の撮影画像と、前記複数の参照画像とを比較し、前記第２の撮影画像に映されている被写体の数を推定する被写体数推定処理とをコンピュータに実行させる画像処理プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/010247 WO2018167851A1 (ja) | 2017-03-14 | 2017-03-14 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018167851A1 JPWO2018167851A1 (ja) | 2019-06-27 |
| JP6559378B2 true JP6559378B2 (ja) | 2019-08-14 |
Family
ID=63521936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019505568A Active JP6559378B2 (ja) | 2017-03-14 | 2017-03-14 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (6)
| Country | Link |
|---|---|
| JP (1) | JP6559378B2 (ja) |
| CN (1) | CN110383295B (ja) |
| MY (1) | MY184063A (ja) |
| SG (1) | SG11201906822YA (ja) |
| TW (1) | TW201833822A (ja) |
| WO (1) | WO2018167851A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115701120A (zh) * | 2021-07-26 | 2023-02-07 | 荣耀终端有限公司 | 电子设备和摄像头模组 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005025328A (ja) * | 2003-06-30 | 2005-01-27 | Ntt Data Corp | 混雑監視システムおよび混雑監視プログラム |
| JP2005242646A (ja) * | 2004-02-26 | 2005-09-08 | Ntt Data Corp | 人流計測装置、人流計測方法および人流計測プログラム |
| JP5624809B2 (ja) * | 2010-06-24 | 2014-11-12 | 株式会社 日立産業制御ソリューションズ | 画像信号処理装置 |
| JP5731354B2 (ja) * | 2011-10-21 | 2015-06-10 | 日本電信電話株式会社 | 物体数計測装置、物体数計測方法及び物体数計測プログラム |
| JP2014164525A (ja) * | 2013-02-25 | 2014-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 物体数推定方法、物体数推定装置、及び物体数推定プログラム |
| JP6276519B2 (ja) * | 2013-05-22 | 2018-02-07 | 株式会社 日立産業制御ソリューションズ | 人数計測装置および人物動線解析装置 |
| CN105165004B (zh) * | 2013-06-11 | 2019-01-22 | 夏普株式会社 | 摄影系统 |
| WO2015029588A1 (ja) * | 2013-08-27 | 2015-03-05 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム |
| JP6638723B2 (ja) * | 2015-03-04 | 2020-01-29 | ノーリツプレシジョン株式会社 | 画像解析装置、画像解析方法、及び、画像解析プログラム |
-
2017
- 2017-03-14 MY MYPI2019004399A patent/MY184063A/en unknown
- 2017-03-14 JP JP2019505568A patent/JP6559378B2/ja active Active
- 2017-03-14 SG SG11201906822YA patent/SG11201906822YA/en unknown
- 2017-03-14 WO PCT/JP2017/010247 patent/WO2018167851A1/ja active Application Filing
- 2017-03-14 CN CN201780088044.6A patent/CN110383295B/zh active Active
- 2017-07-13 TW TW106123456A patent/TW201833822A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN110383295B (zh) | 2022-11-11 |
| JPWO2018167851A1 (ja) | 2019-06-27 |
| TW201833822A (zh) | 2018-09-16 |
| CN110383295A (zh) | 2019-10-25 |
| WO2018167851A1 (ja) | 2018-09-20 |
| MY184063A (en) | 2021-03-17 |
| SG11201906822YA (en) | 2019-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10893251B2 (en) | Three-dimensional model generating device and three-dimensional model generating method | |
| US8331617B2 (en) | Robot vision system and detection method | |
| CN110692083B (zh) | 用于动态视觉传感器的块匹配光流和立体视觉 | |
| GB2507395B (en) | Video-based vehicle speed estimation from motion vectors in video streams | |
| JP6561830B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| US9230333B2 (en) | Method and apparatus for image processing | |
| US20200250885A1 (en) | Reconstruction method, reconstruction device, and generation device | |
| KR101781154B1 (ko) | 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 장면 내의 모션의 레벨에 근거하여 최적화하기 위한 방법 및 카메라 | |
| JP2017500659A (ja) | 不均一なサイズの空間領域に関するメタデータを生成するためのシステム、方法、および装置 | |
| TWI393376B (zh) | 資料傳輸方法 | |
| JP2015528614A5 (ja) | ||
| KR20140045854A (ko) | 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 | |
| US10853949B2 (en) | Image processing device | |
| WO2018011944A1 (ja) | 群集監視装置、および、群集監視システム | |
| CN112104869B (zh) | 一种视频大数据存储及转码优化系统 | |
| CN110992393B (zh) | 一种基于视觉的目标运动跟踪方法 | |
| JP6622575B2 (ja) | 制御装置、制御方法、およびプログラム | |
| CN106530353B (zh) | 针对双目视觉系统稀疏三维重建的三维运动点检测方法 | |
| JP6559378B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| WO2008154825A1 (en) | A method and device for extracting a background image in a motion image | |
| WO2019087383A1 (ja) | 群集密度算出装置、群集密度算出方法および群集密度算出プログラム | |
| JP4979083B2 (ja) | 監視システム、監視方法、及びプログラム | |
| JP2004046464A (ja) | 移動物体３次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
| KR20140045834A (ko) | 단일객체의 크기를 추정하는 영상 감시장치 및 방법 | |
| US11272209B2 (en) | Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190408 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190408 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190408 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190618 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190716 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6559378 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |