JP6904346B2 - 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、画像処理システム、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP6904346B2 JP6904346B2 JP2018523634A JP2018523634A JP6904346B2 JP 6904346 B2 JP6904346 B2 JP 6904346B2 JP 2018523634 A JP2018523634 A JP 2018523634A JP 2018523634 A JP2018523634 A JP 2018523634A JP 6904346 B2 JP6904346 B2 JP 6904346B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- candidate point
- detection frame
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
サーバや情報端末が実行するデータ処理は、例えば、特定人物の検索、追跡処理等である。
カメラ撮影画像からの人等の検出、追跡処理は、例えば、様々な事件の不審者や犯人捜査に活用されている。
しかし、多台数の監視カメラの映像を集中的に処理することはサーバにとっても負荷が大きく、映像解析コストが膨大になり、大規模なシステムを用いる必要性が発生し、結果として、例えば、犯人検出に要する処理時間が長引くといった問題を発生させる。
具体的には、各監視カメラの撮影画像に基づいて、各監視カメラ内で人検出処理を実行し、その結果のみをサーバに送信する。サーバは各監視カメラから受信する人検出結果のみを用いて、例えば特定の服装等、特定の特徴を持つ人物を抽出するといった分散処理型システムである。
しかし、このような人検出処理では、車や動物等、人でない動体についても、全て人とみなす誤検出が多発してしまう。
この結果、多くの誤検出結果がサーバに集積し、サーバは、正しい人の検出結果データと誤検出結果データとの判別処理を実行しなければならなくなるという新たな負荷が発生する。
なお、特許文献3では、顔検出回路を人体検出回路に置き換えてもよいとしているが、その場合の具体的な人検出構成についての言及はない。
画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行する画像処理装置にある。
画像を撮影するカメラと、
前記カメラとネットワーク接続されたサーバを有する画像処理システムであり、
前記カメラは、
撮影画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
撮影画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行し、
前記人検出処理2の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成して前記サーバに送信する画像処理システムにある。
画像を撮影するカメラと、
前記カメラとネットワーク接続されたサーバと情報端末を有する画像処理システムであり、
前記カメラは、
撮影画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
撮影画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行し、
前記人検出処理2の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成して、撮影画像に併せて前記サーバに送信し、
前記サーバは、前記カメラから受信する撮影画像とメタデータを記憶部に格納し、
前記情報端末からの処理要求に応じて、記憶部に格納した撮影画像とメタデータを適用したオブジェクト検索または追跡処理を実行する画像処理システムにある。
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行する画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、画像からの人検出処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1と、
前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行させるプログラムにある。
具体的には、画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内画像が人であるか否かを判定し、人と判定したウィンドウに人候補点1を設定する。さらに、人候補点1、またはその周辺画素を含む人判定検出枠を設定し、人判定検出枠内の画像特徴量に基づく人判定処理を実行し、人であると判定した場合、人判定検出枠内に人候補点2を設定する。さらに、人候補点2の設定された人判定検出枠の動体検出枠内における分布状況を解析し、解析結果に基づいて、人判定検出枠内の画像が人であるか否かを最終判定する。
本構成により、画像からの人検出処理を軽量な演算で高精度に実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.本開示の処理の適用可能な画像処理システムの構成例について
2.画像処理装置の構成例について
3.画像処理装置の実行する具体的な処理について
4.画像処理装置の実行する人検出処理1の詳細について
5.画像処理装置の実行する人検出処理2の詳細について
6.画像処理装置の実行する最終検証処理とメタデータ生成処理の詳細について
7.その他の実施例について
8.本開示の構成のまとめ
まず、本開示の処理の適用可能な画像処理システムの構成例について説明する。
図1は本開示の処理の適用可能な画像処理システムの一構成例を示す図である。
各カメラ10−1〜nは、映像の撮影・記録・解析を行い、ネットワーク40を介して、映像データと映像の解析結果として得られる情報(メタデータ)を生成して出力する。
サーバ20は、例えば、情報端末30から入力するユーザ指示に応じて、各カメラ10−1〜nから受信した撮影画像とメタデータを用いて、画像内の特定のオブジェクト、例えば特定の人物の検索処理や、追跡処理等のデータ処理を実行する。
また、図1では、サーバ20、情報端末30を各々1台のみ示しているが、これらの機器を、複数、ネットワーク40に接続し、各サーバ、各情報端末において、様々な情報処理を実行し、処理結果を相互に送受信する構成とするなど、様々な構成が可能である。
なお、、カメラ10−1〜nは、サーバ20に限らず、情報端末30に対してデータ送信を行うことも可能である。
画像データは、カメラ10の撮影する画像、具体的には、動画像を構成する画像フレームである。メタデータは、各画像フレーム対応のデータであり、画像フレーム単位で設定される。
メタデータは、対応付けられた画像フレームに関する様々な情報によって構成される。
(1)オブジェクトの種類(人、人以外)
(2)オブジェクト位置(x,y座標情報)
(3)オブジェクトサイズ(width、height)
例えば、これらのオブジェクト情報が、画像フレームから検出されたオブジェクト単位で記録される。
すなわち、本開示の画像処理システムでは、画像を撮影するカメラ各々が、撮影画像に関する画像解析を実行し、解析結果に基づくメタデータを生成して送信する。
(a)撮影画像に動体が含まれるか否かの動体検出処理
(b)検出動体が人であるか、人以外(例えば車等)であるかを判別する人判別処理、
これらの具体的な処理例については、後段で説明する。
各ステップの処理について説明する。
まず、ネットワーク40に接続されたカメラ10−1〜nの各々が、画像を撮影し、撮影画像の解析処理を実行する。
上述したように、例えば以下の画像解析処理を実行する。
(a)撮影画像に動体が含まれるか否かの動体検出処理
(b)検出動体が人であるか人以外(例えば車等)であるかを判別する人判別処理、
さらに、カメラ10−1〜nは、カメラ撮影画像と、撮影画像に基づく解析結果を含むメタデータを、ネットワーク40を介してサーバ20に送信する。
サーバ20は、カメラ10−1〜nから受信した画像データ、および画像に対応付けられたメタデータをサーバ20内の記憶部に格納する。
次に、情報端末30は、サーバ20に蓄積された画像、および画像解析結果を含むメタデータを取得し、表示部に表示する。
具体的には、例えばカメラの撮影画像の表示に合わせて、表示画像に含まれる各オブジェクトについて、動体であるか否かの識別情報、さらに、オブジェクトが動体である場合、その動体オブジェクトが人であるか否かを識別可能とした表示情報の表示処理が実行される。
情報端末30は、これらサーバ20から受信するデータを選択的に、または、すべて取得して描画し、ディスプレイ等へ出力することが可能である。
情報端末30は、メタデータやユーザにとって有用な情報、例えば撮影時刻や解析結果の統計情報などをサーバ20から選択的に、または、すべて受け取って、情報端末で必要な加工・処理を行い、ディスプレイに出力することが可能である。
各ステップの処理について説明する。
ステップS21において、情報端末30は、サーバ20から取得した画像と、画像解析結果に基づいて、特定オブジェクト、例えば特定の人物の検索、あるいは追跡処理要求をサーバ20に送信する。
情報端末30からの処理要求を受信したサーバ20は、ステップS22において、特定オブジェクト、例えば特定の人物の検索、あるいは追跡処理を実行し、その処理結果を情報端末30に送信する。
サーバ情報20から処理結果を受信した情報端末30は、ステップS23において、処理結果として取得した特定オブジェクト、例えば特定の人物の検索、あるいは追跡処理結果をディスプレイに表示する。
例えば追跡対象とした特定人物のみに識別枠を設定した画像の表示処理を実行する。
次に、図5を参照して、本開示の画像処理装置の一例であるカメラの構成例について説明する。
図5は、本開示の画像処理装置(カメラ)100の一構成例を示すブロック図である。画像処理装置(カメラ)100は、図1に示すカメラ10に相当する。
イメージセンサ102は、例えばCCD(Charge Coupled Devices)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどである。
センサ104は、画像撮影を最適な設定で行うためのセンサ、例えば輝度センサ等であり、センサ104の検出情報に応じて画像撮影の撮影態様が制御される。
通信部106は、図1に示すサーバ20や、情報端末30とのネットワーク40を介した通信処理に利用する通信部である。
CPU108は、画像処理装置(カメラ)100の実行する画像撮影、画像解析、メタデータ生成、通信処理等の様々な処理の制御を実行する。メモリ105に格納されたデータ処理プログラムに従って様々な処理を実行するデータ処理部として機能する。
これらのデータ処理は、データ処理部として機能する画像処理部103、CPU108、GPU109、DSP110等を適用して実行される。このデータ処理に適用する処理プログラムはメモリ105に格納される。
なお、例えば、画像処理部103内に専用のハードウェア回路を実装し、専用ハードウェアを適用して動体検出や人検出処理を実行する構成としてもよい。
さらに、専用ハードウェアによる処理とプログラムに従ったソフトウェア適用処理を適宜、組み合わせて処理を実行する構成としてもよい。
次に、画像処理装置(カメラ)の実行する具体的な処理について説明する。
図6は、画像処理装置(カメラ)の実行する撮影画像からの人検出処理の処理シーケンスを示すフローチャートである。
この特徴量算出処理と辞書照合処理は、画像内のすべての画素、または、動体が検出された画素すべてに対して行うのが一般的であり、処理負荷が増大する要因となっている。
これらの処理により、特徴量算出処理、辞書照合処理も複数回、行なう必要があり、さらに処理負荷が増大してしまう。
その後、その人候補点1と周辺の画素領域のみを処理対象とした特徴量算出と辞書照合処理を「人検出処理2」として実行する。
このような2段階の処理を行なうことで、従来の人検出処理よりも必要とする処理量を低減し、さらに、誤検出についも低減可能とした構成を実現している。
図6は、本開示の画像処理装置(カメラ)の実行する撮影画像からの人検出処理の全体シーケンスを示すフローチャートである。
以下、フローの各ステップの処理について説明する。
画像処理装置(カメラ)は、まず、ステップS101において、撮影画像からの動体検出処理を実行し、動体と背景の分離処理を行なう。
動体検出には、例えば背景差分方式など、従来から知られる一般的な技術が適用可能である。画像に対する動体検出処理を実行した結果のデータ例を図7に示す。
また、動体に外接する枠、すなわち動体検出枠も得ることができる。
図7には、4個の動体検出枠1,141〜動体検出枠4,144を示している。
また、複数の動体が隣接、または、重なり合ってシルエットがつながり、ひとつの動体オブジェクトとみなされることもある。
ステップS101における動体検出処理の後、ステップS102において、動体検出結果を用いて、「人検出処理1」を実行する。
その後、その「人候補点1」と周辺の画素領域のみを処理対象とした特徴量算出と辞書照合処理を「人検出処理2」として実行する。
ステップS103の人検出処理2が、候補点と周辺の画素領域のみを処理対象とした特徴量算出と辞書照合処理に対応する。
なお、この人検出処理1の詳細については、後段で説明する。
このリストの詳細については後述する。
ステップS101における動体検出処理、ステップS102における「人検出処理1」の後、ステップS103において、「人検出処理2」を実行する。
この処理は、ステップS102で検出した「人候補点1」に対応する画素と、その周辺の画素領域のみを処理対象とした特徴量算出と、算出した特徴量と、辞書に登録された人画像の登録特徴量とを比較照合する辞書照合処理である。
なお、この「人検出処理2」の詳細についても、後段で説明する。
「人検出処理2」を実行し、人の候補となる点(人候補点2)が、1つ以上検出された場合、検出された「人候補点2」の座標位置情報等を記録した「人候補点2リスト」を生成する。
最後に、ステップS101で実行した動体検出処理の結果得られた動体検出枠と、ステップS103における「人検出処理2」の結果として得られた「人候補点2」の各情報を用いて最終検証処理と、メタデータ生成処理を実行する。
この最終検証処理は、ステップS103における「人検出処理2」の結果として得られた「人候補点2」が設定された動体が本当に「人」であるか否かを再検証する処理であり、例えば、誤検出データの検出および除去処理や、前後の撮影画像フレームを用いた検証処理を行なう。
そこで、ステップS104において、ステップS103で検出した「人候補点2」の再検証を行い、最終的に動体検出枠内のオブジェクトが人であるか否かを最終判断する処理を行なう。
次に、図6のフローチャートを参照して説明したステップS102の「人検出処理1」の詳細について、図8以下を参照して説明する。
以下、図8に示すフローの各ステップの処理について、順次、説明する。
まず、画像処理装置(カメラ)は、ステップS201において、撮影画像の画像フレームから処理対象とする動体検出枠を選択する。
動体検出枠は、先に説明した図6に示すフローのステップS101において検出した動体検出枠である。
図6に示すフローのステップS101において、例えば、図7に示すように、画像に複数の動体検出枠が設定される。
ステップS201では、まず、処理対象とする1つの動体検出枠を選択する。
次に、処理対象として選択した動体検出枠を処理領域として、動体検出枠内に、分割小領域設定ウィンドウを移動させて、小領域単位の動体画素数をカウントする処理を実行する。
図9には、ステップS202の処理において適用する「分割小領域設定ウィンドウ151」と、2つの動体検出枠に対するウィンドウの設定、移動例を示している。
図9に示す例において、小領域はa〜hの8つの小領域によって構成される。
これらの小領域に分割されたウィンドウを、動体検出枠内に設定し、その設定位置において、ウィンドウ内の小領域a〜g各々に含まれる動体画素数をカウントする。
図9(a)に示す動体検出枠3,143内の白で示す画素領域が動体画素である。黒で示す領域は、動きのない画素、すなわち非動体画素である。
この位置において、分割小領域設定ウィンドウ151内の各小領域a〜g各々について、各小領域に含まれる動体画素数(=白で示す領域の画素数)をカウントする。
この移動位置において、同様に、小領域a〜gの動体画素数のカウントを実行してカウント値をメモリに格納する。
さらに、右に1画素移動させて同様の処理を実行する。ウィンドウが動体検出枠の右端に到達したら、次に、ウィンドウを下に1画素ずらして、同様の処理を実行し、次に、ウィンドウを左に1画素、ずらして同様の処理を実行する。
図9(b)に示す例では、ウィンドウの横幅が、動体検出枠4,144の横幅に一致しているため、ウィンドウ151は、動体検出枠の上端をウィンドウ開始位置153Sとして、小領域単位の動体画素数のカウントを開始し、カウント終了後、ウィンドウ151を下に1画素ずらして、その位置でのカウント処理を行なう。
なお、図9(a),(b)に示す例においては、いずれも、分割小領域設定ウィンドウの開始位置と終了位置を動体検出枠に内接する設定としているが、これは一例であり、分割小領域設定ウィンドウの開始位置と終了位置は様々な設定が可能である。例えば、動体検出枠の外側領域に一部はみ出した位置に分割小領域設定ウィンドウの開始位置と終了位置を設定するなど、様々な設定が可能である。
次に、ステップS203において、各ウィンドウ設定位置における小領域単位の動体画素数のカウント値を用いて、その動体検出枠の動体が人であるか否かを判定する処理を行なう。
各小領域単位の動体画素比率と、あらかじめ規定した小領域単位のしきい値とを比較し、比較結果に基づいて、ウィンドウを設定した動体検出枠内の動体が人であるか否かを判定する。
図10には、図9(b)を参照して説明した動体検出枠4,144と同様の図と、動体検出枠4,144の上端に設定した小領域設定ウィンドウ151を示している。
図10に示すように、分割小領域設定ウィンドウ 151は、8つの小領域a〜gに分割されている。ステップS202において、これら分割小領域の動体画素数(=白画素領域)がカウント済みであり、カウントデータが、例えば、図10(1)分割小領域単位動体画素数としてメモリに格納されている。
このしきい値は、ウィンドウ内の画像が人であるか人でないかを判別するためのしきい値である。
図10(2)にこのしきい値の一例を示す。
図10(2)分割小領域単位動体画像比率しきい値は、分割小領域設定ウィンドウ151に設定される分割小領域の各々について予め規定されたしきい値の例である。
各小領域の総画素数中、何%の画素が動体画素であれば人であると判定するかを規定したしきい値である。
図10(2)に示す例では、以下のようなしきい値が設定されている。
小領域a,dのしきい値は、動体画素比率0〜5%、
小領域b,cのしきい値は、動体画素比率40〜60%、
小領域e,hのしきい値は、動体画素比率5〜25%、
小領域f,gのしきい値は、動体画素比率60〜100%、
具体的な判定処理例を図11に示す。
(1)小領域単位の動体画素カウント数
(2)小領域単位の動体画素比率
(3)小領域単位の動体画素比率しきい値
(4)判定結果(小領域単位の動体画素比率が、しきい値範囲内にあるか否かの判定結果)
なお、図11に示す例は、各小領域の総画素数=5000とした例である。
このような場合は、ウィンドウの設定された動体検出枠内の動体は人であると判定する。
動体検出枠内の動体が人であると判定する条件は、様々な設定が可能であり、小領域の動体画素比率が、すべてがしきい値内にあることを必須とするものではない。
例えば、小領域a〜gの動体画素比率の2/3以上が、しきい値内にあれば、人であると判定する等、様々な設定が可能である。
図8に示すフローチャートのステップS203では、図9〜図11を参照して説明したように、各ウィンドウ設定位置における小領域単位の動体画素数のカウント値を用いて、その動体検出枠の動体が人であるか否かを判定する。すなわち、図11に示すように、各小領域単位の動体画素比率と、あらかじめ規定した小領域単位のしきい値とを比較し、比較結果に基づいて、ウィンドウを設定した動体検出枠内の動体が人であるか否かを判定する。
ステップS204は、ステップS203の判定処理においてウィンドウ内の動体を人であると判定したか否かに応じた分岐処理である。
ステップS203の判定処理においてウィンドウ内の動体を人であると判定した場合は、ステップS204の判定が(Yes)となり、ステップS205に進む。
一方、ステップS203の判定処理においてウィンドウ内の動体を人でないと判定した場合は、ステップS204の判定が(No)となり、ステップS206に進む。
ステップS205の処理は、ステップS203の判定処理においてウィンドウ内の動体を人であると判定した場合に実行される処理である。
この場合、ステップS205において、ウィンドウ内に「人候補点1」を設定し、人候補点1リストに「人候補点1」の座標情報等を記録する。
図12には、図9〜図11を参照して説明したと同様、動体検出枠4,144と、動体検出枠4,144の上端に設定された分割小領域設定ウィンドウ151を示している。
この場合、ステップS205において、ウィンドウ内に「人候補点1」を設定し、人候補点リストに座標情報等を記録する。
図12に示すように人候補点1,161を設定し、この人候補点1,161の座標情報(x,y)等を「人候補点1リスト」に登録する。
なお、人候補点1,161は、例えば人と判定された位置の分割小領域設定ウィンドウ151の中心位置に設定する。
ステップS205において、「人候補点1」の設定と、リスト登録処理が完了した場合、あるいは、ステップS204において、ウィンドウ内の動体が人と判定されなかった場合は、ステップS206に進む。
ステップS206では、処理対象としている画像フレーム内の動体検出枠に対する処理がすべて完了したか否かを判定する。
処理が完了していない場合は、ステップS201に戻り、未処理の動体検出枠に対する処理を実行する。
ステップS206において、処理対象としている画像フレーム内の動体検出枠に対する処理がすべて完了したと判定した場合は、次に、ステップS207において、規定階層の縮小画像適用処理を全て完了したか否かを判定する。
全て完了したと判定した場合は、処理を終了する。
ステップS207〜S208において実行する画像縮小処理は、ステップS202〜S203における分割小領域設定ウィンドウに基づく動体画素カウント処理を、縮小画像を利用して実行させるための処理である。
例えば、図13に示すように、画像R0を縮小処理の施されていないオリジナル画像の画像サイズとする。
この縮小画像R1を用いて、図8に示すフローチャートのステップS201〜S205の処理を繰り返し実行する。
以下、同様に、縮小画像R2〜R6を、順次、生成し、縮小画像R2〜R6を用いて、図8に示すフローチャートのステップS201〜S205の処理を繰り返し実行する。
なお、これらの繰り返し処理において、分割縮小領域設定ウィンドウのサイズは縮小することなく、元のサイズのままとする。
図14には、オリジナルサイズの画像R0と、縮小画像R5を用いて、同一サイズの分割縮小領域設定ウィンドウを用いた小領域単位の動画素数カウント処理例を示している。
画像に撮り込まれている人物のサイズは、カメラに近ければ大きくなり、カメラから遠い場合は、小さいサイズとなる。
すなわち、画像に撮り込まれている人物のサイズは、様々なサイズとなる。
このようなサイズの不適合による検出ミスを防止するため、複数の縮小画像を生成し、同一サイズウィンドウを適用して人検出処理を行なう。
このように、複数の縮小画像を適用して人検出処理を繰り返し、実行することで、様々なサイズの人領域を検出することが可能となる。
例えば、図13〜図14に示すように、画像R0〜画像R6まで、複数の異なる縮小率の画像を生成し、これらの複数の画像を用いて、ステップS201以下の処理を繰り返し行う。
人候補点1リストの具体例について、図15、図16を参照して説明する。
図15に示す人候補点1リストには、識別子0〜4の5エントリが登録されている。
これらの5つの登録データ(エントリ)は、図8に示すフローを実行して得られた人と判定された動体に対して設定された「人候補点1」に対応する登録データである。
具体的には、たとえば図12に示すような人候補点1,161の各々に対応する登録データ(エントリ)である。
これらは、いずれも画像から検出される1人の人に対応する検出点と判断され、これら近接位置の「人候補点1」は、1つのデータにマージしてリストに登録する構成としてもよい。
具体的には、例えば「MeanShift法」を用いて、近接領域にある複数の人候補点1を探索し、次に、「Nearest Neighbor法」を適用して、ユークリッド距離が規定しきい値以下の人候補点1のマージ処理、すなわち複数点を1つの代表点に集約するマージ処理を実行する。
図15に示す「人候補点1リスト」の例は、登録データとして、人候補点1識別子(ID)に対応付けた以下のデータを記録した例である。
(1)x,y座標
(2)ウィンドウの幅と高さ
これらの各データは、縮小処理の施されていないオリジナルサイズの画像、すなわち、図13、図14に示すオリジナル画像R0における座標と、ウィンドウサイズとして記録する。
40×40(画素)
である。これは、オリジナル画像R0におけるウィンドウサイズである。
また、図15に示す人候補点識別子4は、登録データ中のウィンドウの幅と高さが160×160であり、このエントリは、オリジナル画像R0を、縦、横とも1/4に設定した縮小画像R2を用いて検出された「人候補点1」であると判断される。
図16に示す人候補点1リストにも、識別子0〜4の5エントリが登録されている。
これらの5つの登録データ(エントリ)は、図8に示すフローを実行して、得られた人と判定された動体に対して設定された「人候補点1」に対応する登録データである。
具体的には、たとえば図12に示すような人候補点1,161の各々に対応する登録データ(エントリ)である。
(1)x,y座標
(2)検出した階層画像(R0〜R6)
x,y座標は、縮小処理の施されていないオリジナルサイズの画像、すなわち、図13、図14に示すオリジナル画像R0における座標として記録される。
一方、図16に示す人候補点識別子1は、縮小画像R1を用いて検出された「人候補点1」であることが記録される。
さらに、図16に示す人候補点識別子4は、縮小画像R2を用いて検出された「人候補点1」であることが記録される。
このように、図16に示す人候補点1リストは、人候補点の設定座標位置と、その「人候補点1」を検出した際に用いられた画像の識別情報を登録した例である。
ただし、「人候補点1」の設定位置を示す座標情報は不可欠であり、縮小なしのオリジナル画像における座標位置が算出可能なデータが必要である。
次に、先に図6のフローチャートを参照して説明したステップS103の「人検出処理2」の詳細について、図17以下を参照して説明する。
図6のフローにおけるステップS103の「人検出処理2」は、先に説明したように、ステップS102で検出した「人候補点1」に対応する画素と、その周辺の画素領域のみを処理対象とした特徴量算出と辞書照合処理である。
以下、図17に示すフローの各ステップの処理について、順次、説明する。
まず、画像処理装置(カメラ)は、ステップS301において、撮影画像フレームから処理対象とする人候補点1を選択する。
人候補点1は、先に図15、図16を参照して説明した人候補点1リストに登録され、メモリに格納されている。
画像処理装置(カメラ)は、ステップS301において、人候補点1リストに登録された登録データ(エントリ)を1つ選択し、これを処理対象とする。さらに、リストに登録された座標データに基づいて、画像フレームから処理対象とする人候補点1の座標位置を決定する。
次に、ステップS302において、処理対象とした「人候補点1」を含む人判定検出枠を設定し、設定した人検出枠の枠内画像から人判定用特徴量を抽出する。
図18には、先説明した図8に示すフローに従って検出された人候補点1,161を含む動体検出枠4,144を示している。
人候補点1,161は、人候補点1リストに登録された座標位置(x,y)の位置に設定されている。
図18に示す例では、人候補点1,161を含むn個の人判定検出枠171−1〜nを示している。
図19は、人候補点1またはその周囲画素を含む9個の人判定検出枠の具体的設定例を説明する図である。
図19の例は、人候補点1,180を中心とする3×3画素領域181を構成する9個の画素を中心とした9個のN×N画像を設定して、これらの人判定検出枠185−1〜9をそれぞれ特徴量抽出領域とした処理を行なう例である。
人候補点1,180を中心とする3×3画素領域181を構成する9画素中の中心画素を中心とするN×N画素領域からなる人判定検出枠185−1を示している。
図19(2)に示す人判定検出枠設定例2は、
人候補点1,180を中心とする3×3画素領域181を構成する9画素中の左上画素を中心とするN×N画素領域からなる人判定検出枠185−2を示している。
図19(9)に示す人判定検出枠設定例2は、
人候補点1,180を中心とする3×3画素領域181を構成する9画素中の右下画素を中心とするN×N画素領域からなる人判定検出枠185−9を示している。
これらm個の人判定検出枠195−1〜mの各々から人判定用の特徴量抽出を行う。
なお、特徴量は、例えば、人の顔の特徴を示す眼、鼻、口等の画像特徴量、人体形状を示す特徴量であり、画像からの人検出処理に適用される既存の様々な特徴量が利用可能である。
なお、画像から抽出された特徴量は、画像処理装置の記憶部であるメモリに登録された辞書登録特徴量と比較され、近似度が高いと判定されると人と判定される。
次に、ステップS303〜S304において、人判定検出枠内画像から抽出した人判定用特徴量と、人判定特徴量を登録した辞書の登録データとの照合処理に基づく人判定処理を実行する。
この場合、ステップS304の判定が(Yes)となり、ステップS305に進む。
この場合、ステップS304の判定が(No)となり、ステップS306に進む。
ステップS305の処理は、ステップS303の判定処理において人判定検出枠内の動体を人であると判定した場合に実行される処理である。
この場合、ステップS305において、人判定検出枠内に人候補点2を設定し、人候補点2リストに座標情報等を記録する。
図21には、図18を参照して説明したと同様、動体検出枠4,144と、動体検出枠4,144に設定された人候補点1,161と、人候補点1,161を含む複数の人判定検出枠201−1,2、および、人判定検出枠201−1,2の各々に対して設定された人候補点2,211−1〜2を示している。
図18〜図20を参照して説明したように、1つの「人候補点1」に対して複数の人判定検出枠を設定して、各枠から特徴量抽出、辞書照合を実行して各枠対応の「人候補点2」を設定する処理を実行するので、設定した人判定検出枠の数に応じた複数の「人候補点2」が設定される場合がある。
近接位置の複数の「人候補点2」は、画像から検出される1人の人に対応する検出点と判断され、これら近接位置の「人候補点2」は、1つのデータにマージしてリストに登録する設定としてもよい。
「人候補点2」のマージ処理と人候補点2リストの具体例については後述する。
ステップS305において、「人候補点2」の設定と、リスト登録処理が完了した場合、あるいは、ステップS304において、人判定検出枠内の動体が人と判定されなかった場合は、ステップS306に進む。
ステップS306では、処理対象としている画像フレーム内の全ての人候補点1に対する処理がすべて完了したか否かを判定する。
処理が完了していない場合は、ステップS301に戻り、未処理の人候補点1に対する処理を実行する。
ステップS306において、処理対象としている画像フレーム内の全ての「人候補点1」に対する処理がすべて完了したと判定した場合は、次に、ステップS307において、規定階層の縮小画像適用処理を全て完了したか否かを判定する。
全て完了したと判定した場合は、処理を終了する。
ステップS307〜S308において実行する画像縮小処理は、先に図8を参照して説明したステップS207〜S208の処理と同様の処理である。
すなわち、ステップS302〜S303における人判定検出枠を利用した特徴量抽出と辞書照合処理を、縮小画像を利用して実行させるための処理である。
例えば、図22に示すように、画像R0をオリジナル画像の画像サイズとする。
この縮小画像R1を用いて、図17に示すフローチャートのステップS301〜S305の処理を繰り返し実行する。
以下、同様に、縮小画像R2〜R6を、順次、生成し、縮小画像R2〜R6を用いて、図17に示すフローチャートのステップS301〜S305の処理を繰り返し実行する。
なお、これらの繰り返し処理において、人判定検出枠のサイズは縮小することなく、元のサイズのままとする。
前述したように、画像内の人のサイズは、カメラに近ければ大きくなり、カメラから遠い場合は、小さいサイズとなる。
このようなサイズの不適合による検出ミスを防止するため、複数の縮小画像を生成し、同一サイズ人判定検出枠を適用して人検出処理を行なう。
このように、複数の縮小画像を適用して人検出処理を繰り返し、実行することで、様々なサイズの人画像領域を検出することが可能となる。
例えば、図22に示すように、画像R0〜画像R6まで、複数の縮小画像を生成し、これらの複数の縮小画像を用いて、ステップS301以下の処理を繰り返し行う。
人候補点2リストの具体例について、図23を参照して説明する。
図23に示す人候補点2リストには、識別子0〜4の5エントリが登録されている。
これらの5つの登録データ(エントリ)は、図17に示すフローを実行して、得られた人と判定された動体に対して設定された「人候補点2」に対応する登録データである。
近接位置の複数の「人候補点2」は、画像から検出される1人の人に対応する検出点と判断され、これら近接位置の「人候補点2」は、1つのデータにマージしてリストに登録する設定としてもよい。
例えば「MeanShift法」を用いて、近接領域にある複数の「人候補点2」を探索し、次に、「Nearest Neighbor法」を適用して、ユークリッド距離が規定しきい値以下の「人候補点2の」マージ処理、すなわち複数点を1つの代表点に集約するマージ処理を実行する。
図23に示す例では、各登録データは、人候補点2識別子(ID)に対応付けられた以下の各データを記録している。
(1)x,y座標
(2)検出した階層画像(R0〜R6)
x,y座標は、縮小処理の施されていないオリジナルサイズの画像、すなわち、図22に示すオリジナル画像R0における座標として記録される。
一方、図23に示す人候補点識別子1は、縮小画像R1を用いて検出された「人候補点2」であることが記録される。
さらに、図23に示す人候補点識別子4は、縮小画像R2を用いて検出された「人候補点2」であることが記録される。
このように、図23に示す人候補点2リストは、人候補点の設定座標位置と、その「人候補点2」を検出した際に用いられた画像の識別情報を登録した例である。
ただし、「人候補点2」の設定位置を示す座標情報は不可欠であり、縮小なしのオリジナル画像における座標位置が算出可能なデータが必要である。
次に、先に図6のフローチャートを参照して説明したステップS104の「最終検証処理とメタデータ生成処理」の詳細について、図25以下を参照して説明する。
図6のフローにおけるステップS104の「最終検証処理とメタデータ生成処理」は、先に説明したように、ステップS103における人検出処理2の結果として得られた「人候補点2」が設定された動体が本当に人であるか否かを再検証する処理であり、例えば、前後の撮影画像フレームを用いた検証処理が行われる。
そこで、ステップS104において、ステップS103の検出点等の再検証を行い、最終的に動体検出枠内のオブジェクトが人であるか否かを最終判断する処理を行なう。
以下、このステップS104の「最終検証処理とメタデータ生成処理」の詳細について、図25以下を参照して説明する。
以下、図25に示すフローの各ステップの処理について、順次、説明する。
まず、画像処理装置(カメラ)は、ステップS401において、撮影画像フレームから処理対象とする動体検出枠を選択する。
動体検出枠は、先に説明した図6に示すフローのステップS101において検出した動体検出枠である。
図6に示すフローのステップS101において、例えば、図7に示すように、画像に複数の動体検出枠が設定される。
ステップS401では、まず、処理対象とする1つの動体検出枠を選択する。
次に、ステップS402において、ステップS401で選択した動体検出枠内に「人候補点2」が設定されているか否かを判定する。
「人候補点2」は、図6に示すフローのステップS103、すなわち、図17を参照して説明したフローに従って設定される「人候補点2」である。
画像処理装置(カメラ)は、ステップS402において、ステップS401で選択した動体検出枠内の座標位置に対応する座標位置情報を持つ登録データ(エントリ)が、人候補点2リストに登録されているか否かを確認する。
一方、人候補点2リストに登録されていない場合は、処理対象とした動体検出枠内に「人候補点2」がないと判定し、ステップS405に進む。
ステップS402において、動体検出枠内に「人候補点2」があると判定した場合、ステップS403〜S404において、その動体検出枠内の動体が本当に人であるか否かの再検証処理を行なう。
(a)人候補点2を含む人判定検出枠と、
(b)人判定検出枠が設定された動体検出枠
上記(a),(b)2つの検出枠の位置関係を解析する。
ステップS404では、この解析結果、すなわち、2つの検出枠の位置関係解析結果に基づいて、人候補点2が設定された動体検出枠内の動体が人であるか否かを再判定する。
このステップS403〜S404の処理は、主として、「人候補点2」が誤検出、すなわち、人でない動体を「人候補点2」と判定している誤検出点を除去する処理として実行される。
図26には、「人候補点2」が検出された判定検出枠が設定された複数の動体検出枠の例を示している。
人判定検出枠は、図6のフローのステップS103の処理、すなわち、図17に示すフローに従って実行される人検出処理2において設定される枠である。図18〜図20を参照して説明した人判定検出枠である。
なお、これらの人検出枠は、マージ処理前の人判定検出枠である。
一方、動体が人でない場合、「人候補点2」が検出された人判定検出枠は、水平方向に密な複数の枠として設定されず、単独、または少数の枠として出現する可能性が高い。
なお、この現象は、動体枠内に人が一人であっても、複数人であっても同様である。
動体検出枠2,142には、人候補点2が設定された動体検出枠311−1〜nが水平方向に密に設定される。
同様に、動体検出枠4,144には、人候補点2が設定された動体検出枠321−1〜nが水平方向に密に設定される。
動体検出枠3,143には、人候補点2が設定された動体検出枠331−1が1つのみ設定されているが、水平方向に密には設定されていない。
図27には、処理対象とする動体検出枠350と、「人候補点2」が検出されたと仮定した複数の判定検出枠の例、人判定検出枠p1,371〜人判定検出枠p5,375を示している。
例えばa%=3〜10%、b%=5〜60%、これらの値を適用する。
具体的処理としては、例えば、図27の下部に示すように、動体検出枠横幅(width)に対する上部領域(上端からa%〜b%)に存在する人判定検出枠の領域(x+y)占有率を算出する処理を行なう。
また、人判定検出枠p2,372からなる画像領域の水平方向の長さ、例えば画素数をyとする。
動体検出枠350の幅の水平方向の長さ、例えば画素数をwidthとする。
この設定で、動体検出枠横幅(width)に対する上部領域(上端からa%〜b%)に存在する人判定検出枠の領域(x+y)占有率を、以下の式(式1)によって算出する。
人判定検出枠占有率=(x+y)/(width)・・・(式1)
人判定検出枠占有率≧Th1・・・(式2)
上記(式2)の判定式が成立すれば、人候補点2の設定された人判定検出枠内の動体が人であると判定する。
一方、上記(式2)の判定式が成立しない場合は、人候補点2の設定された人判定検出枠内の動体が人でないと判定する。すなわち、「人候補点2」は誤検出であったと判定する。
これは、先に図18を参照して説明したように、人の上半身を示す特徴量を検出する人検出方法を用いた場合、人候補点2が設定される人判定検出枠は、動体検出枠の上部に現れやすく、下部は誤検知の可能性が高いという理由からである。
従って、人の全体の特徴量検出処理等、他の人検出手法を用いる場合や、カメラの設置状況(俯角が付くなど)、人の状態(影を伴う場合や自転車に乗っている場合など)によって、上記の占有率を算出するための範囲やしきい値は、変更される。
また、人判定検出枠の占有率算出範囲の規定ラインは、水平方向や斜め方向など、様々な設定が可能であり、その形状、大きさも状況に応じて変更し得る。
ステップS402において、動体検出枠内に「人候補点2」があると判定した場合、ステップS403〜S404において、その動体検出枠内の動体が本当に人であるか否かの再検証処理を行なう。
(a)人候補点2を含む人判定検出枠と、
(b)人判定検出枠が設定された動体検出枠
上記(a),(b)2つの検出枠の位置関係を解析する。
ステップS404では、この解析結果、すなわち、2つの検出枠の位置関係解析結果に基づいて、人候補点2が設定された動体検出枠内の動体が人であるか否かを再判定する。
前述したように、このステップS403〜S404の処理は、主として、「人候補点2」が誤検出、すなわち、人でない動体を「人候補点2」と判定している誤検出点を除去する処理として実行される。
一方、ステップS404において、人候補点2が設定された動体検出枠内の動体が人でないと判定した場合は、ステップS405に進む。
ステップS402において、動体検出枠内に人候補点2がないと判定した場合、あるいは、ステップS404において、人候補点2が設定された動体検出枠内の動体が人でないと判定した場合は、ステップS405に進む。
すなわち、先に図2を参照して説明したメタデータに、人候補点2が設定された動体検出枠のオブジェクトのオブジェクト種別を「人以外」として記録する。
一方、ステップS404において、「人候補点2」が設定された動体検出枠内の動体が人であると判定した場合は、ステップS406に進む。
ステップS406では、現処理フレームと、予め規定した前後の複数フレームの処理が完了したか否かを判定する。
ステップS408では、規定の連続複数フレームにおいて、「人候補点2」の設定された動体が人である判定したか否かを判定する。
一方、規定の連続複数フレームにおいて、「人候補点2」の設定された動体が人であると判定されなかった場合は、ステップS405に進む。
一方、規定の連続複数フレームにおいて、「人候補点2」の設定された動体が人であるとする共通判定が得られなかった場合は、「人候補点2」の設定オブジェクトは人でないとの最終判定を行なう。
ステップS405では、前述したように、「人候補点2」が設定された動体検出枠の動体を人ではないと判定し、メタデータに記録する。
すなわち、先に図2を参照して説明したメタデータに、「人候補点2」が設定された動体検出枠のオブジェクトのオブジェクト種別を「人以外」として記録する。
一方、ステップS408の判定処理において、規定の連続複数フレームにおいて、人候補点2の設定された動体が人であると判定された場合は、ステップS409に進む。
ステップS409では、「人候補点2」が設定された動体検出枠の動体を人であると判定し、メタデータに記録する。
すなわち、先に図2を参照して説明したメタデータに、「人候補点2」が設定された動体検出枠のオブジェクトのオブジェクト種別を「人」として記録する。
ステップS405、あるいはステップS409のメタデータ記録処理の後、ステップS410に進む。
ステップS410では、画像フレーム内の全ての動体検出枠についての処理が完了したか否かを判定する。
未処理の動体検出枠がある場合は、その動体検出枠について、ステップS401以下の処理を繰り返す。
全ての動体検出枠に対する処理が完了すると処理を終了する。
先に説明した図25に示すフローにおいて、ステップS406〜S408の処理は、誤検出除去処理であり、予め既定した範囲の連続フレームにおいて、同一の動体オブジェクトに対して共通にすべて人と判定された場合は、そのオブジェクトを人とする最終判定を行なう処理として説明した。
一方、検出頻度が低いものは、誤検出である可能性が高く、人でないとの最終判断を行う。
例えば、人を検出しにくい暗所での検出感度を高めるために、映像の輝度レベルが低い時にはnを大きく、mを小さくする、などである。ここで、フレーム間に渡って頻度を計測する対象は、人候補点2や人判定検出枠単位であってもよいし、オブジェクトデータ(動体検出枠単位)であってもよい。
また、後者の場合は、オブジェクトデータのIDを確認することによってフレーム間でのオブジェクトの対応付けが可能である。各フレームで人として検出されたか否かは、オブジェクトデータの種別に人と記録されているか否かを見ればわかる。
これらの点は、前述したように予め規定したルールに基づいて、候補点の間引き、または、候補点同士のマージを行う構成とすることが好ましい。「人候補点1」の数を低減することにより、「人検出処理2」以降の処理負荷をさらに軽減することが可能さなる。「人候補点2」についても同様の間引きやマージを実行することが好ましい。
さらに、「人検出処理2」の後のステップS104で、誤検出データの削除等、最終検証処理を行なう構成としたので、「人検出処理2」の性能が発揮しにくい場面でも安定した検出処理が実現される。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行する画像処理装置。
前記人検出処理2において、人判定検出枠内の画像が人であると判定した場合、前記人判定検出枠内に人候補点2を設定し、
さらに、前記人候補点2の設定された人判定検出枠の動体検出枠内における分布状況を解析し、解析結果に基づいて、前記人判定検出枠内の画像が人であるか否かを最終判定する最終判定処理を実行する(1)に記載の画像処理装置。
前記人検出処理1において、前記分割小領域単位の全画素数に対する動体画素数の比率と、予め規定したしきい値を比較し、比較結果に基づいてウィンドウ内の画像が人であるか否かを判定する(1)または(2)に記載の画像処理装置。
画像に対して複数の異なる縮小率で縮小した複数の縮小画像を生成し、生成した複数の縮小画像に対して、縮小なしの同一サイズのウィンドウを適用して前記人検出処理1を実行する(1)〜(3)いずれかに記載の画像処理装置。
縮小なしのオリジナル画像、および、複数の異なる縮小率で縮小した複数の縮小画像に対する人検出処理1の結果として得られた人候補点1の位置を示す座標情報を登録した人候補点1リストを生成する(4)に記載の画像処理装置。
人候補点1の位置を示す座標情報として、縮小なしのオリジナル画像における座標情報と、人候補点1の設定処理を実行した画像の縮小レベルが識別可能な情報を記録した人候補点1リストを生成する(5)に記載の画像処理装置。
前記人検出処理2において、
前記人判定検出枠内の画像特徴量を算出し、算出した特徴量と、予め登録された人判定用特徴量との照合処理である辞書照合処理を実行して、照合結果に基づいて人判定検出枠内の画像が人であるか否かを判定する(1)〜(6)いずれかに記載の画像処理装置。
前記人検出処理2において、
前記人候補点1を中心画素とする所定領域の画素の各々を中心とする複数の人判定検出枠を設定し、各々の人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する(1)〜(7)いずれかに記載の画像処理装置。
画像に対して複数の異なる縮小率で縮小した複数の縮小画像を生成し、生成した複数の縮小画像に対して、縮小なしの同一サイズの人判定検出枠を適用して前記人検出処理2を実行する(1)〜(8)いずれかに記載の画像処理装置。
縮小なしのオリジナル画像、および、複数の異なる縮小率で縮小した複数の縮小画像に対する人検出処理2の結果として得られた人候補点2の位置を示す座標情報を登録した人候補点2リストを生成する(9)に記載の画像処理装置。
人候補点2の位置を示す座標情報として、縮小なしのオリジナル画像における座標情報と、人候補点2の設定処理を実行した画像の縮小レベルが識別可能な情報を記録した人候補点2リストを生成する(10)に記載の画像処理装置。
前記最終判定処理において、
動体検出枠内特定領域における、前記人候補点2の設定された人判定検出枠の占有率を算出し、
前記占有率がしきい値以上である場合に、前記人判定検出枠内の画像が人であると最終判定する(2)に記載の画像処理装置。
前記人検出処理2の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成する(1)〜(12)いずれかに記載の画像処理装置。
前記データ処理部の生成したメタデータを、通信部を介して送信する(13)に記載の画像処理装置。
前記カメラとネットワーク接続されたサーバを有する画像処理システムであり、
前記カメラは、
撮影画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
撮影画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行し、
前記人検出処理2の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成して前記サーバに送信する画像処理システム。
前記人検出処理2において、人判定検出枠内の画像が人であると判定した場合、前記人判定検出枠内に人候補点2を設定し、
さらに、前記人候補点2の設定された人判定検出枠の動体検出枠内における分布状況を解析し、解析結果に基づいて、前記人判定検出枠内の画像が人であるか否かを最終判定する最終判定処理を実行し、
前記最終判定処理の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成して前記サーバに送信する(15)に記載の画像処理システム。
前記カメラとネットワーク接続されたサーバと情報端末を有する画像処理システムであり、
前記カメラは、
撮影画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
撮影画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行し、
前記人検出処理2の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成して、撮影画像に併せて前記サーバに送信し、
前記サーバは、前記カメラから受信する撮影画像とメタデータを記憶部に格納し、
前記情報端末からの処理要求に応じて、記憶部に格納した撮影画像とメタデータを適用したオブジェクト検索または追跡処理を実行する画像処理システム。
前記人検出処理2において、人判定検出枠内の画像が人であると判定した場合、前記人判定検出枠内に人候補点2を設定し、
さらに、前記人候補点2の設定された人判定検出枠の動体検出枠内における分布状況を解析し、解析結果に基づいて、前記人判定検出枠内の画像が人であるか否かを最終判定する最終判定処理を実行し、
前記最終判定処理の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成して前記サーバに送信する(17)に記載の画像処理システム。
前記画像処理装置は、画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行する画像処理方法。
前記画像処理装置は、画像からの人検出処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1と、
前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行させるプログラム。
具体的には、画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内画像が人であるか否かを判定し、人と判定したウィンドウに人候補点1を設定する。さらに、人候補点1、またはその周辺画素を含む人判定検出枠を設定し、人判定検出枠内の画像特徴量に基づく人判定処理を実行し、人であると判定した場合、人判定検出枠内に人候補点2を設定する。さらに、人候補点2の設定された人判定検出枠の動体検出枠内における分布状況を解析し、解析結果に基づいて、人判定検出枠内の画像が人であるか否かを最終判定する。
本構成により、画像からの人検出処理を軽量な演算で高精度に実行する装置、方法が実現される。
20 サーバ
30 情報端末
40 ネットワーク
100 画像処理装置(カメラ)
101 レンズ
102 イメージセンサ
103 画像処理部
104 センサ
105 メモリ
106 通信部
107 駆動部
108 CPU
109 GPU
110 DSP
141〜144 動体検出枠
151 分割小領域設定ウィンドウ
161 人候補点1
171 人判定検出枠
201 人判定検出枠
211 人候補点2
251 人判定検出枠
271 人候補点2
350 動体検出枠
371〜375 人判定検出枠
Claims (20)
- 画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行する画像処理装置。 - 前記データ処理部は、
前記人検出処理2において、人判定検出枠内の画像が人であると判定した場合、前記人判定検出枠内に人候補点2を設定し、
さらに、前記人候補点2の設定された人判定検出枠の動体検出枠内における分布状況を解析し、解析結果に基づいて、前記人判定検出枠内の画像が人であるか否かを最終判定する最終判定処理を実行する請求項1に記載の画像処理装置。 - 前記データ処理部は、
前記人検出処理1において、前記分割小領域単位の全画素数に対する動体画素数の比率と、予め規定したしきい値を比較し、比較結果に基づいてウィンドウ内の画像が人であるか否かを判定する請求項1または2に記載の画像処理装置。 - 前記データ処理部は、
画像に対して複数の異なる縮小率で縮小した複数の縮小画像を生成し、生成した複数の縮小画像に対して、縮小なしの同一サイズのウィンドウを適用して前記人検出処理1を実行する請求項1〜3いずれかに記載の画像処理装置。 - 前記データ処理部は、
縮小なしのオリジナル画像、および、複数の異なる縮小率で縮小した複数の縮小画像に対する人検出処理1の結果として得られた人候補点1の位置を示す座標情報を登録した人候補点1リストを生成する請求項4に記載の画像処理装置。 - 前記データ処理部は、
人候補点1の位置を示す座標情報として、縮小なしのオリジナル画像における座標情報と、人候補点1の設定処理を実行した画像の縮小レベルが識別可能な情報を記録した人候補点1リストを生成する請求項5に記載の画像処理装置。 - 前記データ処理部は、
前記人検出処理2において、
前記人判定検出枠内の画像特徴量を算出し、算出した特徴量と、予め登録された人判定用特徴量との照合処理である辞書照合処理を実行して、照合結果に基づいて人判定検出枠内の画像が人であるか否かを判定する請求項1〜6いずれかに記載の画像処理装置。 - 前記データ処理部は、
前記人検出処理2において、
前記人候補点1を中心画素とする所定領域の画素の各々を中心とする複数の人判定検出枠を設定し、各々の人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する請求項1〜7いずれかに記載の画像処理装置。 - 前記データ処理部は、
画像に対して複数の異なる縮小率で縮小した複数の縮小画像を生成し、生成した複数の縮小画像に対して、縮小なしの同一サイズの人判定検出枠を適用して前記人検出処理2を実行する請求項1〜8いずれかに記載の画像処理装置。 - 前記データ処理部は、
縮小なしのオリジナル画像、および、複数の異なる縮小率で縮小した複数の縮小画像に対する人検出処理2の結果として得られた人候補点2の位置を示す座標情報を登録した人候補点2リストを生成する請求項9に記載の画像処理装置。 - 前記データ処理部は、
人候補点2の位置を示す座標情報として、縮小なしのオリジナル画像における座標情報と、人候補点2の設定処理を実行した画像の縮小レベルが識別可能な情報を記録した人候補点2リストを生成する請求項10に記載の画像処理装置。 - 前記データ処理部は、
前記最終判定処理において、
動体検出枠内特定領域における、前記人候補点2の設定された人判定検出枠の占有率を算出し、
前記占有率がしきい値以上である場合に、前記人判定検出枠内の画像が人であると最終判定する請求項2に記載の画像処理装置。 - 前記データ処理部は、
前記人検出処理2の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成する請求項1〜12いずれかに記載の画像処理装置。 - 前記画像処理装置は、
前記データ処理部の生成したメタデータを、通信部を介して送信する請求項13に記載の画像処理装置。 - 画像を撮影するカメラと、
前記カメラとネットワーク接続されたサーバを有する画像処理システムであり、
前記カメラは、
撮影画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
撮影画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行し、
前記人検出処理2の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成して前記サーバに送信する画像処理システム。 - 前記カメラの前記データ処理部は、
前記人検出処理2において、人判定検出枠内の画像が人であると判定した場合、前記人判定検出枠内に人候補点2を設定し、
さらに、前記人候補点2の設定された人判定検出枠の動体検出枠内における分布状況を解析し、解析結果に基づいて、前記人判定検出枠内の画像が人であるか否かを最終判定する最終判定処理を実行し、
前記最終判定処理の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成して前記サーバに送信する請求項15に記載の画像処理システム。 - 画像を撮影するカメラと、
前記カメラとネットワーク接続されたサーバと情報端末を有する画像処理システムであり、
前記カメラは、
撮影画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
撮影画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行し、
前記人検出処理2の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成して、撮影画像に併せて前記サーバに送信し、
前記サーバは、前記カメラから受信する撮影画像とメタデータを記憶部に格納し、
前記情報端末からの処理要求に応じて、記憶部に格納した撮影画像とメタデータを適用したオブジェクト検索または追跡処理を実行する画像処理システム。 - 前記カメラの前記データ処理部は、
前記人検出処理2において、人判定検出枠内の画像が人であると判定した場合、前記人判定検出枠内に人候補点2を設定し、
さらに、前記人候補点2の設定された人判定検出枠の動体検出枠内における分布状況を解析し、解析結果に基づいて、前記人判定検出枠内の画像が人であるか否かを最終判定する最終判定処理を実行し、
前記最終判定処理の結果として得られる動体が人であるか否かを示すオブジェクト種類情報を記録したメタデータを生成して前記サーバに送信する請求項17に記載の画像処理システム。 - 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、画像からの人検出処理を実行するデータ処理部を有し、
前記データ処理部は、
画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1を実行し、
さらに、前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行する画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、画像からの人検出処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
画像から検出した動体領域を囲む動体検出枠内に、分割小領域設定ウィンドウを設定し、分割小領域単位の動体画素数に基づいて、ウィンドウ内の画像が人であるか否かを判定し、人であると判定した場合、ウィンドウ内に人候補点1を設定する人検出処理1と、
前記人候補点1、または人候補点1周辺画素を含む人判定検出枠を設定して、人判定検出枠内の画像特徴量に基づいて、人判定検出枠内の画像が人であるか否かを判定する人検出処理2を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016123245 | 2016-06-22 | ||
JP2016123245 | 2016-06-22 | ||
PCT/JP2017/020052 WO2017221643A1 (ja) | 2016-06-22 | 2017-05-30 | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017221643A1 JPWO2017221643A1 (ja) | 2019-04-11 |
JP6904346B2 true JP6904346B2 (ja) | 2021-07-14 |
Family
ID=60784641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018523634A Active JP6904346B2 (ja) | 2016-06-22 | 2017-05-30 | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10867166B2 (ja) |
JP (1) | JP6904346B2 (ja) |
CN (1) | CN109313805A (ja) |
WO (1) | WO2017221643A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
KR102516577B1 (ko) | 2013-02-07 | 2023-04-03 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
AU2017100670C4 (en) | 2016-06-12 | 2019-11-21 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
US11132538B2 (en) * | 2016-06-22 | 2021-09-28 | Sony Corporation | Image processing apparatus, image processing system, and image processing method |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
TWI686748B (zh) * | 2018-12-07 | 2020-03-01 | 國立交通大學 | 人流分析系統及人流分析方法 |
JP7374632B2 (ja) * | 2019-07-09 | 2023-11-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN110366005A (zh) * | 2019-07-23 | 2019-10-22 | 浙江大华技术股份有限公司 | 模拟复合视频信号的发送方法及装置、显示方法及装置 |
US11031044B1 (en) * | 2020-03-16 | 2021-06-08 | Motorola Solutions, Inc. | Method, system and computer program product for self-learned and probabilistic-based prediction of inter-camera object movement |
CN113408560B (zh) * | 2020-03-17 | 2024-04-16 | 联合汽车电子有限公司 | 发动机测试数据分类方法、电子设备和可读存储介质 |
JP2021163260A (ja) * | 2020-03-31 | 2021-10-11 | 株式会社小松製作所 | 検出システムおよび検出方法 |
CN113763456A (zh) * | 2020-06-01 | 2021-12-07 | 聚晶半导体股份有限公司 | 图像检测装置以及图像检测方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4412929B2 (ja) * | 2003-07-30 | 2010-02-10 | セコム株式会社 | 顔検知装置 |
JP2006039689A (ja) * | 2004-07-22 | 2006-02-09 | Nara Institute Of Science & Technology | 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体 |
JP2007016420A (ja) * | 2005-07-05 | 2007-01-25 | Yamaha Motor Co Ltd | 貸出管理装置 |
JP3962803B2 (ja) | 2005-12-16 | 2007-08-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 頭部検出装置、頭部検出方法および頭部検出プログラム |
CN101325690A (zh) * | 2007-06-12 | 2008-12-17 | 上海正电科技发展有限公司 | 监控视频流中人流分析与人群聚集过程的检测方法及系统 |
JP5179132B2 (ja) | 2007-09-27 | 2013-04-10 | パナソニック株式会社 | 人体検出装置 |
JP5425424B2 (ja) * | 2008-07-22 | 2014-02-26 | 富士フイルム株式会社 | フラッシュ発光方法及び装置 |
JP2010062942A (ja) | 2008-09-04 | 2010-03-18 | Sanyo Electric Co Ltd | 異常検知装置 |
JP2011053915A (ja) * | 2009-09-02 | 2011-03-17 | Sony Corp | 画像処理装置、画像処理方法、プログラム及び電子機器 |
JP2011209794A (ja) | 2010-03-29 | 2011-10-20 | Hiromitsu Hama | 対象物認識システム及び該システムを利用する監視システム、見守りシステム |
JP5810296B2 (ja) * | 2011-06-07 | 2015-11-11 | パナソニックIpマネジメント株式会社 | 画像表示装置及び画像表示方法 |
JP2013030130A (ja) * | 2011-07-29 | 2013-02-07 | Sumitomo Electric Ind Ltd | 移動体判定情報生成装置、移動体判定情報生成システム、コンピュータプログラム及び移動体判定情報生成方法 |
WO2013057904A1 (ja) | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | 蝟集判定装置及び蝟集判定方法 |
JP5362878B2 (ja) * | 2012-05-09 | 2013-12-11 | 株式会社日立国際電気 | 画像処理装置及び画像処理方法 |
CN102902972B (zh) * | 2012-09-14 | 2015-04-29 | 成都国科海博信息技术股份有限公司 | 人体行为特征提取方法、系统及异常行为检测方法和系统 |
CN103810717B (zh) * | 2012-11-09 | 2016-08-24 | 浙江大华技术股份有限公司 | 一种人体行为检测方法及装置 |
JP6525545B2 (ja) | 2014-10-22 | 2019-06-05 | キヤノン株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP6602009B2 (ja) * | 2014-12-16 | 2019-11-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
EP3422289A4 (en) * | 2016-02-23 | 2019-02-27 | Ricoh Company, Ltd. | IMAGE PROCESSING DEVICE, IMAGING DEVICE, MOBILE ENTITY DEVICE CONTROL SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM |
JP2018077190A (ja) * | 2016-11-11 | 2018-05-17 | 株式会社東芝 | 撮像装置及び自動制御システム |
-
2017
- 2017-05-30 CN CN201780037053.2A patent/CN109313805A/zh not_active Withdrawn
- 2017-05-30 US US16/307,743 patent/US10867166B2/en active Active
- 2017-05-30 JP JP2018523634A patent/JP6904346B2/ja active Active
- 2017-05-30 WO PCT/JP2017/020052 patent/WO2017221643A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN109313805A (zh) | 2019-02-05 |
US20190258852A1 (en) | 2019-08-22 |
JPWO2017221643A1 (ja) | 2019-04-11 |
US10867166B2 (en) | 2020-12-15 |
WO2017221643A1 (ja) | 2017-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6904346B2 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
JP7014161B2 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
US8588466B2 (en) | Object area detection system, device, method, and program for detecting an object | |
US8498444B2 (en) | Blob representation in video processing | |
JP6650657B2 (ja) | フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム | |
JP6482195B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
JP5722381B2 (ja) | ビデオ解析 | |
WO2016199244A1 (ja) | 物体認識装置及び物体認識システム | |
JP7159384B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20190102886A1 (en) | Method for foreground and background determination in an image | |
US10762372B2 (en) | Image processing apparatus and control method therefor | |
JP2008035301A (ja) | 移動体追跡装置 | |
US20130027550A1 (en) | Method and device for video surveillance | |
Liu et al. | Scene background estimation based on temporal median filter with Gaussian filtering | |
Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
JP2014110020A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
TWI517100B (zh) | 移動物體追蹤方法及電子裝置 | |
JP6598952B2 (ja) | 画像処理装置及び方法及び監視システム | |
CN113449629B (zh) | 基于行车视频的车道线虚实识别装置、方法、设备及介质 | |
Sridevi et al. | Automatic generation of traffic signal based on traffic volume | |
US20210034915A1 (en) | Method and apparatus for object re-identification | |
KR102161212B1 (ko) | 움직임 검출 시스템 및 방법 | |
JP4028533B2 (ja) | 画像処理装置 | |
KR20150055481A (ko) | 영상 내 그림자 화소 제거를 위한 배경 기반 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6904346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |