JP7418966B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP7418966B2
JP7418966B2 JP2019070654A JP2019070654A JP7418966B2 JP 7418966 B2 JP7418966 B2 JP 7418966B2 JP 2019070654 A JP2019070654 A JP 2019070654A JP 2019070654 A JP2019070654 A JP 2019070654A JP 7418966 B2 JP7418966 B2 JP 7418966B2
Authority
JP
Japan
Prior art keywords
image
image processing
measurement area
processing apparatus
flow rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019070654A
Other languages
English (en)
Other versions
JP2020170303A (ja
JP2020170303A5 (ja
Inventor
元 牟田
光太郎 矢野
康夫 馬塲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019070654A priority Critical patent/JP7418966B2/ja
Priority to US16/828,818 priority patent/US11455804B2/en
Publication of JP2020170303A publication Critical patent/JP2020170303A/ja
Publication of JP2020170303A5 publication Critical patent/JP2020170303A5/ja
Priority to US17/820,994 priority patent/US11748994B2/en
Application granted granted Critical
Publication of JP7418966B2 publication Critical patent/JP7418966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
近年、カメラ等で撮影した画像を基に、撮影領域における人の流れの量と方向、即ち人流を解析する装置が提案されている。人流を解析することで、対象領域の混雑度、及び混雑度の急増等の時間変化を追跡することができ、人が多く集まる施設、イベント会場、公園、テーマパークにおいて混雑に伴う事故や犯罪等を未然に防ぐなどの効果が期待されている。
特許文献1では、画像を複数のパッチに分割し、各々のパッチ内で人物が移動しているか滞留しているかを判定する混雑推定装置が提案されている。また、特許文献2では、画像上の全画素のオプティカルフローを画像内及び時間方向で平均化することにより推定速度を得ることで、移動速度を算出する人流計測装置が提案されている。
特開2009-110152号公報 特開2005-242646号公報
しかしながら、近年はカメラの性能が向上し、解像度の高い画像を容易に得ることができる。そのような高解像度の画像は画素数が多くなるため、画像サイズも大きくなる傾向がある。
特許文献1と特許文献2ではどちらも画像全体を使用して人流を解析するため、サイズの大きい画像では人流の解析が遅くなる。このため、人流の急激な変化のような短時間で起こる現象をリアルタイムに捉えることはできない。
また、人流解析では、画像内における人流のパターンが複数ある場合、どの場所にどの向きの人流があるかの局所的な情報を捉えることが求められる。その場合、複数の人流のパターンを明確に区別できるよう、十分高い解析精度が必要である。
特許文献2では、移動速度を高精度に算出するために画像上の全画素のオプティカルフローを画像内及び時間方向で平均化している。しかし、この方法では、画像全体の人流の大きな傾向を精度よくとらえることはできても、画像内の局所的な人流の変化を捉えることはできない。
本発明の画像処理装置は、入力画像に計測領域を設定する設定手段と、前記入力画像から、前記設定手段により設定される計測領域を含む複数の小画像であって、隣接する小画像の中央領域同士が重ならずに接するように互いに重なる前記複数の小画像を選択する選択手段と、前記選択手段により選択される複数の小画像の中央領域における対象物の流量の分布を推定する第1の推定手段と、前記第1の推定手段により推定される流量の分布に基づいて、前記計測領域を通過する対象物の数を推定する第2の推定手段と、を有する。
本発明によれば、画素数が多い高解像度の画像に対しても、高速、かつ、高精度な人流推定が可能となる。
画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の機能構成の一例を示す図である。 画像処理の一例を示すフローチャートである。 小画像を選択する方法の一例を示す図である。 入力画像の小画像への分割の一例を示す図である。 計測領域を含むような小画像を選択する一例を示す図である。 計測領域を基準として小画像に分割し選択する一例を示す図である。 小画像に中央領域とマージン領域とを設定する一例を示す図である。 マージン領域を設定する一例を示す図である。 入力画像の小画像への分割の一例を示す図である。 マージン領域に検出対象がある場合の一例を示す図である。 計測領域に沿った、入力画像の小画像への分割の一例を示す図である。 流量の分布を取得した状態の一例を示す図である。 人物が、小画像のマージン領域に位置している場合の一例を示す図である。 隣接する小画像と重ならない領域から流量の分布を取得する一例を示す図である。 流量の分布の解析結果に含まれる局所的な誤差の一例を示す図である。 隣り合う2つのフレームにおける、流量の分布の解析結果に含まれる局所的な誤差の一例を示す図である。 隣り合う2つのフレームにおいて、通過数の推定結果が短時間で極端に変化する場合の一例を示す図である。 隣り合う2つのフレームにおいて、計測領域を拡張することで通過数の推定結果を安定化する方法の一例を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
図1は、画像処理装置100のハードウェア構成の一例を示す図である。画像処理装置100は、ハードウェア構成として、制御装置11、記憶装置12、演算装置13、入力装置14、出力装置15、I/F装置16とを有している。
制御装置11は、画像処理装置100の全体を制御する。
記憶装置12は、制御装置11の動作に必要なプログラム及びデータを保持する。
演算装置13は、制御装置11からの制御に基づき、必要な演算処理を実行する。
入力装置14は、ヒューマンインターフェースデバイス等であり、ユーザーの操作を画像処理装置100に入力する。
出力装置15は、ディスプレイ等であり、画像処理装置100の処理結果等をユーザーに提示する。
I/F装置16は、ユニバーサルシリアルバス、イーサネット(登録商標)、光ケーブル等の有線インターフェース、又はWi-Fi(登録商標)、Bluetooth(登録商標)等の無線インターフェースである。I/F装置16は、カメラ等を接続して撮影画像を画像処理装置100に入力する、画像処理装置100で得られた処理結果を外部に送信する、画像処理装置100の動作に必要なプログラム及びデータ等を画像処理装置100に入力する等の機能を有する。
制御装置11が記憶装置12に記憶されているプログラムに基づき処理を実行することにより、後述する図2に示す画像処理装置100の機能、及び後述する図3に示すフローチャートの処理が実現される。
図2は、画像処理装置100の機能構成の一例を示す図である。画像処理装置100は、機能構成として、画像取得部201、計測領域設定部202、領域選択部203、画像解析部204、流量分布取得部205、通過数推定部206とを有している。
画像取得部201は、人流解析に必要な入力画像を取得する。
計測領域設定部202は、画像取得部201が取得した入力画像について、人流解析を実施したい領域を、計測領域として設定する。
領域選択部203は、計測領域設定部202で設定した計測領域に基づき、画像解析部204の解析対象となる小画像を選択する。
画像解析部204は、領域選択部203で選択した小画像を対象として画像解析を実行する。
流量分布取得部205は、画像解析部204で実行した画像解析結果を基に、人流解析の対象物の流量の分布を取得する。
通過数推定部206は、流量分布取得部205で取得した流量の分布から、計測領域設定部202で設定した計測領域における通過数を推定する。
画像処理装置100の画像処理の流れの例を、図3を用いて説明する。
S301において、画像取得部201は、人流解析に必要な入力画像を取得する。画像取得部201は、CMOSセンサー、CCDセンサー等の固体撮像素子、又はこれらの固体撮像素子を搭載するカメラ等から画像を取得してもよいし、ハードディスク、SSD等の記憶装置12から画像を取得してもよい。
S302において、計測領域設定部202は、画像取得部201が取得した入力画像に計測領域を設定する。計測領域設定部202は、計測領域として、例えば、撮影シーンに基づき予め決められた設定値を記憶装置等から取得してもよい。また、計測領域設定部202は、出力装置15に表示した画像に基づき、入力装置14に接続されたヒューマンインターフェースデバイス等を用いたユーザーの操作に基づき設定してもよい。計測領域は単独でもよく、複数でもよい。
計測領域は、線又は矩形等の任意のガイド図形を基準に設定してもよい。ガイド図形は単独でも複数でもよい。計測領域設定部202は、ガイド図形に幅を持たせる等、計測領域を拡張してもよい。
S303において、領域選択部203は、計測領域設定部202が設定した計測領域に基づき、画像取得部201が取得した入力画像から小画像を選択する。図4は、小画像を選択する方法の一例を示す図である。画像400は入力画像であり、計測領域401を含む小画像402が選択されている。小画像402は矩形となっているが、小画像の形状は矩形に限定されず、計測領域を含むような任意の形状であってもよい。
領域選択部203は、画像取得部201が取得した入力画像を、複数の小画像に分割し、選択してもよい。複数の小画像への分割には、様々な方法が利用できる。図5Aはそのような分割の一例である。図5Aにおいて、画像500は入力画像であり、矩形はN枚に分割された小画像を表す。領域選択部203は、入力画像を小画像に分割した後、計測領域を含むことができるように小画像を選択すればよい。図5Bはそのような小画像を選択する方法の一例である。図5Bの太枠が、計測領域501を含むように選択された小画像である。
領域選択部203は、入力画像に対し、計測領域設定部202によって予め設定された計測領域を基準とし、小画像に分割し選択するようにしてもよい。図6に示す分割はその一例である。図6では、入力画像600に設定した計測領域601を基準として、太枠で示した小画像が並ぶように分割されている。
図5A、図5B及び図6では、小画像は矩形となっているが、小画像の形状は矩形に限定されず、計測領域を含むような任意の形状であってもよい。
領域選択部203は、小画像の選択を自動で行ってもよいし、出力装置15に表示した画像に対する入力装置14に接続したヒューマンインターフェースデバイス等を用いた、ユーザーの操作に基づき設定してもよい。
カメラ等で撮影された入力画像は、入力画像内の位置により人物が映る大きさが異なることがある。この場合、小画像の大きさと人物の大きさとの比がほぼ一定となるよう、小画像の大きさを決定することが好ましい。図5A、図5B及び図6では、そのような分割の一例を示している。
領域選択部203は、小画像の大きさを、例えば、予め用意した設定値を用いてもよい。また、領域選択部203は、カメラの設置位置、又は画角等の情報から計算される幾何学的パラメーター、又は入力画像の解析等で得られる入力画像中の人物の大きさ等に基づいて自動的に決定してもよい。領域選択部203は、小画像の大きさを、出力装置15に表示した画像に対する入力装置14に接続したヒューマンインターフェースデバイス等を用いた、ユーザーの操作に基づき設定してもよい。
小画像の境界付近で人流解析の対象となる人物の画像が切り取られている場合、後段のS304における画像解析の解析精度が低下する。これを避けるため、領域選択部203は、小画像の内側の中央領域、及び小画像の境界線と中央領域の境界線とに囲まれたマージン領域を定義する。図7Aはその一例である。図7Aでは、小画像701の内側に新たに中央領域702、及び小画像701の境界線と中央領域702の境界線とに囲まれたマージン領域703が定義されている。
マージン領域の大きさは、小画像のマージン領域に、人流解析の対象である人物の検出に必要な部分が包含される大きさにすることが好ましい。図7Bはその一例である。図7Bでは、小画像701のマージン領域703が、人流解析の対象である人物704及び人物705の検出に必要な部分が包含される大きさに設定されている。図7Bでは、一例として、人物の頭部と肩とがマージン領域に包含されるような大きさとなる場合を示したが、これ以外にも、人物の頭部のみ、人物の全身がマージン領域に包含されるようにする等としてもよい。
図7Aの例、及び図7Bの例において、中央領域702は矩形となっているが、中央領域の形状は矩形に限定されず、小画像701の内部に含まれるような任意の形状であってもよい。
領域選択部203は、複数の小画像に分割し選択する場合は、各小画像の隣接する領域が互いに重なるように入力画像を小画像に分割することが好ましい。図7Cはそのような分割の一例である。図7Cにおいては、領域選択部203は、隣り合う2枚の小画像706及び小画像707について、小画像706の中央領域708と、小画像707の中央領域709とを、中央領域708と中央領域709との間に隙間ができないよう隣接させる。そして、領域選択部203は、小画像706及び小画像707の隣接する領域が重なるように分割している。このようにすることで、例えば、図7Dに示すように、検出対象としたい人物710が小画像711のマージン領域712にある場合は、小画像711に隣接した小画像713の中央領域714で人物710を検出できる。画像処理装置100は、小画像715と小画像716との両方にまたがった人物717の検出の例では、人物717の左半分を小画像715の中央領域718で、人物717の右半分を小画像716の中央領域719でそれぞれ検出し、結果を統合している。
図7Dで例示した何れの場合においても、小画像の中央領域で人物を検出することが必要となる。このため、各小画像の隣接する領域が互いに重なるように入力画像を小画像に分割する際には、図7C及び図7Dで例示されているように、各小画像の中央領域同士が隙間なく隣接していることが好ましい。
さらに、領域選択部203は、各小画像のマージン領域を確保しつつ、必要最小限の面積で計測領域をカバーできる分割方法を、最適化計算等で決めてもよい。
図7Eに示す分割は、入力画像720に設定した計測領域721に沿った、マージン領域を定義した小画像への分割方法の一例である。
S304において、画像解析部204は、領域選択部203で選択した小画像について画像解析を実行し、小画像内における人流解析の対象となる人物の、流量の分布を出力する。
流量の分布とは、入力画像が取得されたフレームにおいて、小画像内の各画素の位置に検出された流量を表す。流量とは、ある画像位置を単位時間あたりに流れる対象物の量である。画像解析部204は、この流量の分布を、計測領域内でフレーム数分時間方向に積分することにより、計測領域における人物の通過数、即ち人流が計算できる。
画像解析部204が出力する流量の分布には、様々な形態があり得る。例えば、位置と速度との両方の情報を併せ持つ単一の分布を出力してもよいし、位置分布(又は密度分布)と速度分布等の複数の分布を出力してもよい。位置分布(又は密度分布)と速度分布等の複数の分布を出力する場合は、画像解析部204は、例えば、位置(又は密度)分布と速度分布との積を求めることで、流量の分布に変換することができる。
画像解析では様々な方法が利用できる。例えば、画像解析部204は、撮影動画において隣り合う2フレームの2枚の画像を入力画像として、ニューラルネットワークによる深層学習を用いた解析を実行し、流量の分布を出力する。画像解析部204は、検出対象となる人物の特徴量を入力として解析するようにしてもよい。
画像解析の方法は上記に限定されるものではなく、例えば、画像解析部204は、ベイズ統計に代表される確率モデリング、カーネル法、決定木、ランダムフォレスト、勾配ブースティング等を用いてもよい。
画像解析部204は、画像解析として、単独の方法を用いてもよいし、アンサンブル法のように複数の方法を組み合わせてもよい。
S305において、流量分布取得部205は、画像解析部204の画像解析の結果を基に、解析対象となった小画像内における人流解析の対象となる人物の、流量の分布を取得する。その際、流量分布取得部205は、流量の分布のうち、計測領域設定部202が設定した計測領域を基に、計測領域と重なる箇所に相当する分布を取得する。
図8Aに示す図は、流量の分布を取得した状態の一例である。小画像800に設定された計測領域802の内部において、人物801の頭部位置に、小画像のフレームにおける人物801に対応する流量が検出され、流量の分布803として取得されている。図8Aにおいて、小画像800内部のうち流量の分布803で示した濃い黒色の領域は、領域に移動する人物が存在する、即ち人流が存在することを表し、一方で流量の分布803で示した濃い黒色以外の領域には、人流は存在しないことを表している。流量の分布は、必ずしも人流解析の対象となる人物全体を覆う必要はなく、図8Aの例示にあるように人物の頭部等の代表位置のみでもよい。
図8Bは、人流解析の対象となる人物805が、小画像804のマージン領域806に位置している場合の一例である。この場合、小画像804を用いて、計測領域807における人物805の人流を解析しようとすると、小画像804には人物805の一部分しか含まれておらず、画像解析部204の画像解析において人物805に関する画像情報を十分に使えない。そのため、結果精度が低下する。そこで、流量分布取得部205は、分割された小画像の夫々について、画像解析部204の画像解析結果のうち、隣接する小画像と重ならない領域から流量の分布を取得する。図8Cはそのような結果の一例である。流量分布取得部205は、隣接する小画像と重なるマージン領域の結果を使わず、隣接する小画像と重ならない中央領域の結果を用いることで、結果精度の低下を防止している。流量分布取得部205は、計測領域807における、人物805に対する人流解析の結果をして得られる流量の分布808を、小画像804に隣接し、かつ人物805の頭部を含む小画像809の中央領域810から得ることができる。
S306において、通過数推定部206は、流量分布取得部205で取得した人流解析の対象となる人物の流量の分布から、計測領域設定部202で設定した計測領域の通過数を推定する。
計測領域における通過数は、以下のようにして計算できる。
最初に、通過数推定部206は、計測領域において注目すべき、人流の計測方向を設定する。通過数推定部206は、人流の方向を、撮影シーンに基づき予め決められた設定値を記憶装置等から取得してもよい。また、通過数推定部206は、計測領域の形状を基にした方法、例えば、計測領域の法線方向等の方法で決定してもよい。また、通過数推定部206は、出力装置15に表示した画像に基づき、入力装置14に接続したヒューマンインターフェースデバイス等をユーザーが操作して設定してもよい。計測方向は単独でもよく、複数でもよい。
続いて、通過数推定部206は、流量分布取得部205で取得された流量の分布のうち、計測方向に沿った成分を計算する。例えば、通過数推定部206は、流量の分布と、計測方向の成分を持つ単位ベクトルとの内積を計算する。
最後に、通過数推定部206は、流量の分布の計測方向に沿った成分を画像取得部201で取得した入力画像のフレーム数分時間方向に積分することにより、計測方向の通過数を計算する。
ここで、画像解析部204における画像解析では、解析方法に起因する不均一性及び不確実性が含まれることが避けられず、流量の分布の計測方向に沿った成分には局所的な誤差が含まれる。図9Aでは、例として、移動している人物901の頭部における、流量の分布の計測方向に沿った成分902が、画像解析部204における画像解析の誤差により中央付近がほぼゼロになった場合を、画像の濃淡として概念的に表現している。ここで、画像の濃いところは流量値が大きく、淡いところは流量値が小さいことを表す。
画像解析部204における画像解析による局所的な誤差は、いつも同じパターンになるとは限らない。動画中の各フレーム画像を入力画像として、フレーム毎に逐次的に解析を行う場合、例えば、図9Bのように、隣り合う2つのフレームM及びフレーム(M+1)においてほぼ同じ動きである同一人物901に対しても、異なったパターンになることがあり得る。流量の分布の計測方向に沿った成分の誤差が、フレームMでは902のようである一方でフレーム(M+1)では903となるような場合である。この場合、例えば、図9Cのように計測領域904が狭い場合、フレームMでは通過数がほぼゼロである一方、フレーム(M+1)では通過数が非ゼロとなり、通過数の推定結果が短時間で極端に変化するため不安定となる。
そこで、この局所的な誤差の影響を低減するため、計測領域を拡張し、拡張した範囲を含める形で流量の分布の計測方向に沿った成分を積分することが好ましい。図9Dはそのような方法の一例である。図9Dにおいては、拡張が施された計測領域905において、通過数推定部206は、拡張した範囲を含める形で流量の分布の計測方向に沿った成分902及び903を積分している。このようにすることで、流量の分布の計測方向に沿った成分902及び903が計測領域905内で平均化されることになり、通過数の推定結果が短時間で変化することがなくなり、安定化する効果が期待される。
流量の分布の計測方向に沿った成分902及び903を出力装置15に表示する際には、例えば、通過数推定部206は、図9Dで示すように、見やすさのために計測領域905内で平均化された流量の分布の計測方向に沿った成分906及び907のように表示してもよい。
計測領域の拡張方法としては、例えば、計測領域設定部202で使用したガイド図形の拡張を利用して指定するようにしてもよい。例えば、通過数推定部206は、計測領域が線状又は棒状等、細長い図形である場合に、計測領域の長辺と垂直な法線方向に領域の幅を拡張する。
画像処理装置100は、通過数の推定結果に加え、その根拠となる計測領域、小画像の位置、マージン領域及び中央領域、流量の分布等を、記憶装置12に保存してもよいし、出力装置15に表示してもよい。画像処理装置100は、記憶装置12に保存した各種結果を、I/F装置16を介して外部に送信してもよい。また、画像処理装置100は、記憶装置12に保存したい内容、出力装置15に表示させたい項目を、入力装置14に接続したヒューマンインターフェースデバイス等を介したユーザーの操作に基づき設定してもよい。
人流解析の対象として人物を例に挙げたが、対象は人物のみに限定されるものではない。例えば、対象は、自転車、又はバイク等の乗り物、車、又はトラック等の車両、家畜等の動物であってもよい。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
以上、上述した各実施形態によれば、画素数が多い高解像度の画像に対しても、高速、かつ、高精度な人流推定が可能となる。
100 画像処理装置

Claims (17)

  1. 入力画像に計測領域を設定する設定手段と、
    前記入力画像から、前記設定手段により設定される計測領域を含む複数の小画像であって、隣接する小画像の中央領域同士が重ならずに接するように互いに重なる前記複数の小画像を選択する選択手段と、
    前記選択手段により選択される複数の小画像の中央領域における対象物の流量の分布を推定する第1の推定手段と、
    前記第1の推定手段により推定される流量の分布に基づいて、前記計測領域を通過する対象物の数を推定する第2の推定手段と、
    を有する画像処理装置。
  2. 前記設定手段は、前記計測領域を基準となる図形に基づいて設定する請求項1に記載の画像処理装置。
  3. 前記選択手段は、前記計測領域に基づき、前記入力画像を分割して得られる小画像のうち、前記計測領域を含む複数の小画像を選択する請求項1又は2に記載の画像処理装置。
  4. 前記入力画像を取得する取得手段を更に有し、
    前記設定手段は、前記取得手段により取得される前記入力画像に前記計測領域を設定する請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 前記取得手段は、固体撮像素子から前記入力画像を取得する請求項4に記載の画像処理装置。
  6. 前記取得手段は、記憶装置から前記入力画像を取得する請求項4に記載の画像処理装置。
  7. 前記設定手段は、前記入力画像に一又は複数の計測領域を設定する請求項1乃至6の何れか1項に記載の画像処理装置。
  8. 前記第2の推定手段により推定された前記対象物の数を出力する出力手段を更に有する請求項1乃至7の何れか1項に記載の画像処理装置。
  9. 前記出力手段は、前記計測領域を更に出力する請求項8に記載の画像処理装置。
  10. 前記出力手段は、前記小画像の位置を更に出力する請求項8又は9に記載の画像処理装置。
  11. 前記出力手段は、前記流量の分布を更に出力する請求項8乃至10の何れか1項に記載の画像処理装置。
  12. 前記設定手段は、ユーザーの操作に基づいて前記計測領域を設定する請求項1乃至11の何れか1項に記載の画像処理装置。
  13. 前記複数の小画像は、それぞれ、小画像の境界線と中央領域の境界線とに囲まれたマージン領域を有し、
    前記選択手段は、前記対象物の大きさに基づいて、前記マージン領域を設定する請求項1乃至12の何れか1項に記載の画像処理装置。
  14. 前記第1の推定手段は、前記流量の分布として、前記対象物の位置と速度に関する分布を出力する請求項1乃至13の何れか1項に記載の画像処理装置。
  15. 前記第2の推定手段は、計測領域を表す図形の幅が大きくなるように拡張された前記計測領域に基づいて、通過する対象物の数を推定する請求項1乃至14の何れか1項に記載の画像処理装置。
  16. 入力画像に計測領域を設定する設定工程と、
    前記入力画像から、前記設定工程において設定される計測領域を含む複数の小画像であって、隣接する小画像の中央領域同士が重ならずに接するように互いに重なる前記複数の小画像を選択する選択工程と、
    前記選択工程において選択される複数の小画像の中央領域における対象物の流量の分布を推定する第1の推定工程と、
    前記第1の推定工程において推定される流量の分布に基づいて、前記計測領域を通過する対象物の数を推定する第2の推定工程と、
    を含む画像処理方法。
  17. コンピュータを、請求項1乃至15の何れか1項に記載の画像処理装置として機能させるためのプログラム。
JP2019070654A 2019-04-02 2019-04-02 画像処理装置、画像処理方法及びプログラム Active JP7418966B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019070654A JP7418966B2 (ja) 2019-04-02 2019-04-02 画像処理装置、画像処理方法及びプログラム
US16/828,818 US11455804B2 (en) 2019-04-02 2020-03-24 People flow analysis apparatus, people flow analysis method, and storage medium
US17/820,994 US11748994B2 (en) 2019-04-02 2022-08-19 People flow analysis apparatus, people flow analysis method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019070654A JP7418966B2 (ja) 2019-04-02 2019-04-02 画像処理装置、画像処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2020170303A JP2020170303A (ja) 2020-10-15
JP2020170303A5 JP2020170303A5 (ja) 2022-04-06
JP7418966B2 true JP7418966B2 (ja) 2024-01-22

Family

ID=72661907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019070654A Active JP7418966B2 (ja) 2019-04-02 2019-04-02 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (2) US11455804B2 (ja)
JP (1) JP7418966B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7418966B2 (ja) * 2019-04-02 2024-01-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2022091547A (ja) * 2020-12-09 2022-06-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015018330A (ja) 2013-07-09 2015-01-29 大日本印刷株式会社 移動体の方向別計数システム
JP2016220145A (ja) 2015-05-25 2016-12-22 キヤノン株式会社 画像解析装置、画像解析方法、およびプログラム
JP2018022340A (ja) 2016-08-03 2018-02-08 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2018180619A (ja) 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793704B2 (ja) * 1985-07-19 1995-10-09 株式会社日立製作所 固体撮像装置
JP2005242646A (ja) 2004-02-26 2005-09-08 Ntt Data Corp 人流計測装置、人流計測方法および人流計測プログラム
JP4966820B2 (ja) 2007-10-29 2012-07-04 パナソニック株式会社 混雑推定装置および方法
US8195598B2 (en) * 2007-11-16 2012-06-05 Agilence, Inc. Method of and system for hierarchical human/crowd behavior detection
TWI448990B (zh) * 2012-09-07 2014-08-11 Univ Nat Chiao Tung 以分層掃描法實現即時人數計數
WO2017122258A1 (ja) * 2016-01-12 2017-07-20 株式会社日立国際電気 混雑状況監視システム
US10657364B2 (en) * 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
JP7130368B2 (ja) * 2017-01-13 2022-09-05 キヤノン株式会社 情報処理装置および情報処理システム
US10185878B2 (en) * 2017-02-28 2019-01-22 Microsoft Technology Licensing, Llc System and method for person counting in image data
JP6942488B2 (ja) * 2017-03-03 2021-09-29 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US10828000B2 (en) * 2018-11-25 2020-11-10 International Business Machines Corporation Medical image data analysis
JP7418966B2 (ja) * 2019-04-02 2024-01-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015018330A (ja) 2013-07-09 2015-01-29 大日本印刷株式会社 移動体の方向別計数システム
JP2016220145A (ja) 2015-05-25 2016-12-22 キヤノン株式会社 画像解析装置、画像解析方法、およびプログラム
JP2018022340A (ja) 2016-08-03 2018-02-08 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2018180619A (ja) 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20200320312A1 (en) 2020-10-08
JP2020170303A (ja) 2020-10-15
US11748994B2 (en) 2023-09-05
US11455804B2 (en) 2022-09-27
US20220392228A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
JP7163945B2 (ja) 移動状況推定装置、移動状況推定方法およびプログラム記録媒体
JP5121508B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
CN105957110B (zh) 用于检测对象的设备和方法
JP6779699B2 (ja) 画像処理装置、情報処理方法及びプログラム
US11748994B2 (en) People flow analysis apparatus, people flow analysis method, and storage medium
US11915430B2 (en) Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity
US10121089B2 (en) Object information extraction apparatus, object information extraction program, and object information extraction method
JP2011076316A (ja) 群衆監視装置および方法ならびにプログラム
US9478032B2 (en) Image monitoring apparatus for estimating size of singleton, and method therefor
JP6452738B2 (ja) 画像処理装置、画像処理方法及びプログラム
AU2008356238A1 (en) Method and device for analyzing video signals generated by a moving camera
JP7190871B2 (ja) 画像解析装置、画像解析方法、及びプログラム
JP7383435B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7309392B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2022091547A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5864231B2 (ja) 移動方向識別装置
US11653084B2 (en) Method of configuring a camera
JP6348020B2 (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。
JP6995960B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2024021415A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
KR20210116247A (ko) 화상 처리장치, 화상 처리방법, 및 비일시적인 컴퓨터 판독가능한 기억매체
JP2023163079A (ja) 画像処理装置、画像処理方法およびプログラム
CN114363504A (zh) 自动聚焦方法、装置及摄像机
JP2005122607A (ja) 物体計数方法及び物体計数装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240110

R151 Written notification of patent or utility model registration

Ref document number: 7418966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151