JP7297463B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP7297463B2
JP7297463B2 JP2019030372A JP2019030372A JP7297463B2 JP 7297463 B2 JP7297463 B2 JP 7297463B2 JP 2019030372 A JP2019030372 A JP 2019030372A JP 2019030372 A JP2019030372 A JP 2019030372A JP 7297463 B2 JP7297463 B2 JP 7297463B2
Authority
JP
Japan
Prior art keywords
area
size
image
image processing
maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019030372A
Other languages
English (en)
Other versions
JP2020135609A5 (ja
JP2020135609A (ja
Inventor
祐也 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019030372A priority Critical patent/JP7297463B2/ja
Priority to EP20156471.3A priority patent/EP3699815A1/en
Priority to KR1020200016040A priority patent/KR20200102933A/ko
Priority to CN202010095214.7A priority patent/CN111611838A/zh
Priority to US16/794,956 priority patent/US11610422B2/en
Publication of JP2020135609A publication Critical patent/JP2020135609A/ja
Publication of JP2020135609A5 publication Critical patent/JP2020135609A5/ja
Application granted granted Critical
Publication of JP7297463B2 publication Critical patent/JP7297463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理技術に関する。
従来、人物に対応する照合パターンを用いて、画像から人物を検出する検出処理を実行する技術が知られている。また、画像においてユーザにより設定された領域に人物が含まれているかを判定するために、当該領域を対象に検出処理を実行する技術が知られている。特許文献1では、撮像装置から受信した撮像画像に対し人体検出を行う検出エリアを設定する技術が開示されている。
特開2018-198399号公報
特許文献1のように、画像に対してユーザにより設定された領域を、検出処理が実行される領域とすることで、画像全体に対し検出処理を実行する場合と比べて、処理負荷を低減させることができる。しかしながら、特許文献1では、ユーザにより設定された領域から人物の一部がはみ出している場合に、当該人物を検出できないことがある。つまり、ユーザにとって意図した結果が得られない場合があった。
そこで、本発明は、検出対象とする特定の物体の検出処理が実行される領域を適切に設定することを目的としている。
本発明は、ユーザによる操作によって指定された領域である第1領域を示す領域情報と、画像における物体のサイズに関するサイズ情報とに基づき、当該第1領域を拡張した第2領域を設定する設定手段と、入力画像における前記第2領域から前記物体を検出する検出手段と、を有し、前記サイズ情報は、前記物体の縦方向の最大サイズと前記物体の横方向の最大サイズとを含み、前記第2領域は、前記第1領域の外接矩形の各辺の垂直方向に対して、前記物体の縦方向の最大サイズに基づいて、当該外接矩形を拡張された領域であることを特徴とする。
本発明によれば、検出対象とする特定の物体の検出処理が実行される領域を適切に設定することができる。
システム構成を示す図である。 画像処理装置の機能ブロックを示す図である。 第1領域およびサイズ情報を設定する処理を説明するための図である。 第2領域を設定する処理および人物を計数する処理の流れを示すフローチャートである。 第2領域を設定する処理を説明するための図である。 第2領域を設定する処理を説明するための図である。 各装置のハードウェア構成を示す図である。
以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
(実施形態1)
図1は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置100、撮像装置110、記録装置120、およびディスプレイ130を有している。
画像処理装置100、撮像装置110、および記録装置120は、ネットワーク140を介して相互に接続されている。ネットワーク140は、例えばETHERNET(登録商標)等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。
なお、ネットワーク140は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless Lan)、WAN(Wide Area Network)等により実現されてもよい。
画像処理装置100は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。
撮像装置110は、画像を撮像する装置である。撮像装置110は、撮像した画像に基づく画像データと、画像を撮像した撮像時刻の情報と、撮像装置110を識別する情報である識別情報とを関連付けて、ネットワーク140を介し、画像処理装置100や記録装置120等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置110は1つとするが、複数であってもよい。
記録装置120は、撮像装置110が撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置110を識別する識別情報とを関連付けて記録する。そして、画像処理装置100からの要求に従って、記録装置120は、記録したデータ(画像データ、識別情報など)を画像処理装置100へ送信する。
ディスプレイ130は、LCD(Liquid Crystal Display)等により構成されており、画像処理装置100の画像処理の結果や、撮像装置110が撮像した画像などを表示する。ディスプレイ130は、HDMI(登録商標)(High Definition Multimedia Interface)等の通信規格に準拠したディスプレイケーブルを介して画像処理装置100と接続されている。
また、ディスプレイ130は、表示手段として機能し、撮像装置110が撮像した画像や、後述する画像処理に係る設定画面等を表示する。なお、ディスプレイ130、画像処理装置100、および記録装置120の少なくともいずれか2つ又は全ては、単一の筐体に設けられてもよい。
なお、画像処理装置100の画像処理の結果や、撮像装置110により撮像された画像は、画像処理装置100にディスプレイケーブルを介して接続されたディスプレイ130に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク140を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。
次に、図2に示す本実施形態に係る画像処理装置100の機能ブロックを参照して、本実施形態に係る画像処理装置100の画像処理について説明する。
なお、図2に示す各機能は、本実施形態の場合、図7を参照して後述するROM(Read Only Memory)720とCPU(Central Processing Unit)700とを用いて、次のようにして実現されるものとする。図2に示す各機能は、画像処理装置100のROM720に格納されたコンピュータプログラムを画像処理装置100のCPU700が実行することにより実現される。なお、以降の説明において、特定の物体は、人物であるものとする。
通信部200は、図7を参照して後述するI/F(Interface)740によって実現でき、ネットワーク140を介して、撮像装置110や記録装置120と通信を行う。通信部200は、例えば、撮像装置110が撮像した画像の画像データを受信したり、撮像装置110を制御するための制御コマンドを撮像装置110へ送信したりする。なお、制御コマンドは、例えば、撮像装置110に対して画像を撮像するよう指示を行うコマンドなどを含む。
記憶部201は、図7を参照して後述するRAM(Random Access Memory)710やHDD(Hard Disk Drive)730等によって実現でき、画像処理装置100による画像処理に関わる情報やデータを記憶する。例えば、記憶部201は、画像から検出された人物の位置に関する情報を記憶する。
出力制御部202は、撮像装置110が撮像した画像や、本実施形態に係る画像処理に関する設定を行う設定画面、画像処理の結果を示す情報などをディスプレイ130に表示させる。操作受付部203は、キーボードやマウス等の入力装置(不図示)を介して、ユーザが行った操作を受け付ける。
設定部204は、画像における領域である第1領域を設定する。本実施形態では、設定部204は、操作受付部203が受け付けたユーザによる操作(入力)に基づき、画像において第1領域を指定する。設定部204により設定された第1領域の画像における位置を示す情報は、記憶部201に記憶される。なお、第1領域の画像における位置は、画像左下の端点を原点として、第1領域の各頂点のX座標およびY座標により定められるものとする。
また、設定部204は、検出部205による検出処理の検出結果とすべき物体のサイズに関するサイズ情報を設定する。本実施形態では、設定部204は、操作受付部203が受け付けたユーザによる操作(入力)に基づき、サイズ情報を設定する。なお、サイズ情報は、検出部205による検出処理の検出結果とすべき物体の最大サイズ、および、前記検出処理の検出結果とすべき物体の最小サイズのうち少なくともいずれか一方を含む情報である。なお、本実施形態において、設定部204は、サイズ情報として、最大サイズおよび最小サイズを設定するものとする。なお、設定部204により設定されたサイズ情報は記憶部201に記憶される。
また、設定部204は、第1領域と、サイズ情報とに基づき、当該第1領域を含む領域であって検出部205による検出処理が実行される領域である第2領域を設定する。設定部204により設定された第2領域の画像における位置を示す情報は、記憶部201に記憶される。なお、第2領域の画像における位置は、画像左下の端点を原点として、第2領域の各頂点のX座標およびY座標により定められるものとする。
なお、設定部204により第2領域を設定する処理に関する詳細な説明は後述する。
検出部205は、画像において設定部204により設定された第2領域を対象に、特定の物体を検出する検出処理を実行する。なお、検出部205は、設定部204により設定されたサイズ情報に基づく物体を検出処理の検出結果とする。例えば、検出部205は、検出した人物のうち、設定部204により設定された最大サイズと最小サイズとの間のサイズである人物を検出処理の検出結果とする。このようにすることで、検出部205は、設定された最大サイズと最小サイズとの間のサイズの人物を検出対象とすることができる。また、設定部204により最大サイズのみ設定されている場合、検出部205は、最大サイズより小さいサイズの人物を検出処理の検出結果とする。また、設定部204により最小サイズのみ設定されている場合、検出部205は、最小サイズより大きいサイズの人物を検出処理の検出結果とする。
なお、検出部205は、照合パターン(辞書)を用いて、第2領域から特定の物体を検出する。なお、画像から特定の物体として人物を検出する場合において、人物が正面向きである場合を想定した照合パターンと横向きである場合を想定した照合パターンとを両方使うことで検出精度の向上が期待できる。例えば、正面(背面)向きの人物の画像と照合させるための照合パターンと、横向きの人物の画像と照合させるための照合パターンとを保持し、撮像装置110の設置状態やユーザの指定に基づいて両方使うことができる。
また、照合パターンは、斜め方向からや上方向からなど他の角度からのものを用意しておいてもよい。また、人物を検出する場合、必ずしも全身の特徴を示す照合パターン(辞書)を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。なお、検出部205は、画像から人物を検出する機能を有していればよく、パターンマッチング処理にのみ限定されるものではない。
なお、本実施形態における検出部205は、人物の上全身の照合パターン(辞書)を使用して、第2領域から人物の上全身を検出するものとする。
判定部206は、設定部204により設定された第2領域に対する検出処理の検出結果である特定の物体が第1領域に含まれているかを判定する。なお、判定部206は、第2領域に対する検出処理の検出結果である特定の物体の所定位置が第1領域に含まれている場合、当該特定の物体は前記第1領域に含まれていると判定する。本実施形態において特定の物体である人物の所定位置は、当該人物の上全身の画像における領域の重心点とするが、これに限らない。例えば、人物の所定位置として、人物の足元や頭部の位置であってもよい。
計数部207は、判定部206により第1領域に含まれていると判定された特定の物体の数を計数する。出力制御部202は、設定部204により設定された第2領域に対する検出処理の結果である特定の物体のうち、第1領域に含まれる特定の物体に関する情報を出力する。言い換えれば、出力制御部202は、判定部206により第1領域に含まれると判定された特定の物体に関する情報を出力する。例えば、出力制御部202は、計数部207により計数された人物の数を示す情報をディスプレイ130に表示させる。また、出力制御部202は、判定部206により第1領域に含まれると判定された人物の位置を示す枠を撮像された画像に重畳してディスプレイ130に表示させるようにしてもよい。なお、人物の位置を示す枠は、例えば、当該人物の上全身を外接する矩形(外接矩形)であってもよいが、これに限らない。例えば、人物の位置を示す枠は、当該人物の全身を外接する矩形であってもよいし、当該人物の上全身(または全身)を囲う楕円であってもよい。
次に、図3を参照して、ユーザによる入力に応じて、第1領域、最大サイズ、および最小サイズを設定する処理について説明する。本実施形態において、図3(a)に示すように、撮像装置110が撮像した画像が出力制御部202によりディスプレイ130に表示されたうえで、ユーザの入力に応じて、第1領域、最大サイズ、および最小サイズの設定が行われる。
図3(a)における第1領域300はユーザによる入力に応じて画像上に設定された第1領域を示している。操作受付部203は、不図示の入力装置(マウス、キーボード等)を介して、ユーザにより画像上で指定された第1領域の位置を示す情報を受け付け、設定部204は、操作受付部203が受け付けた操作の情報に基づいて、第1領域を設定する。なお、第1領域の位置を示す情報は、画像左下の端点を原点として、第1領域の各頂点のX座標およびY座標により定められるものとし、記憶部201に記憶される。なお、第1領域は多角形に限らず、例えば、円形や楕円形などでもよい。また、本実施形態において、ユーザの入力に応じて、設定部204は、1つの第1領域を設定するものとするが、複数の第1領域を設定してもよい。
図3(a)におけるガイド310は、最小サイズを示し、図3(b)に示す縦サイズ311は、ガイド310の縦方向のサイズ(画素数)であり、横サイズ312は、ガイド310の横方向のサイズ(画素数)である。一方、図3(a)におけるガイド320は、最大サイズを示し、図3(c)に示す縦サイズ321は、ガイド320の縦方向(画素数)のサイズであり、横サイズ322は、ガイド320の横方向のサイズ(画素数)である。
検出部205は、最小サイズを示すガイド310の画像における縦サイズ311と比較して、検出された人物の上半身の画像における縦方向のサイズ(画素数)の方が小さい場合、当該人物を検出結果から除外する。また、検出部205は、更に、ガイド310の画像における横サイズ312と比較して、検出された人物の上半身の画像における横方向のサイズ(画素数)の方が小さい場合、当該人物を検出結果から除外するようにしてもよい。
また、検出部205は、最大サイズを示すガイド320の画像における縦サイズ321と比較して、検出された人物の上半身の画像における縦方向のサイズ(画素数)の方が大きい場合、当該人物を検出結果から除外する。また、検出部205は、更に、ガイド320の画像における横サイズ322と比較して、検出された人物の上半身の画像における横方向のサイズ(画素数)の方が大きい場合、当該人物を検出結果から除外するようにしてもよい。
なお、本実施形態における検出部205は、人物の上半身の照合パターン(辞書)を使用して、パターンマッチング等の処理を行うことで画像から人物の上半身を検出するものとする。
操作受付部203は、不図示の入力装置(UI、キーボード等)を介して、ユーザによりガイド310やガイド320のサイズの情報を受け付ける。なお、本実施形態において、ユーザは、ガイド310やガイド320に示される三角形のマークをドラッグして操作することで、ガイド310やガイド320のサイズを調整できるものとする。そして、設定部204は、操作受付部203が受け付けた情報であるガイド310のサイズを最小サイズ、ガイド320のサイズを最大サイズとして設定する。
次に、図4~図5を参照して、本実施形態に係る画像処理装置100の画像処理についてより詳細に説明する。図4(a)は、検出処理が実行される対象である第2領域を設定する処理の流れを示すフローチャートである。また、図4(b)は、第2領域に対する検出処理の結果である人物のうち第1領域に含まれる人物の数を示す情報を出力する処理の流れを示すフローチャートである。
ここでまず図4(a)に示す処理について説明する。なお、本実施形態において、図4(a)に示すフローチャートの処理は、ユーザによる入力によって、第1領域またはサイズ情報が新たに設定された場合、または、第1領域またはサイズ情報が更新された場合に開始されるものとする。
なお、図4(a)に示すフローチャートの処理は、画像処理装置100のROM720に格納されたコンピュータプログラムを画像処理装置100のCPU700が実行することにより実現される図2に示す各機能ブロックにより実行されるものとして説明する。
まず、S400にて、通信部200は、撮像装置110が撮像した画像を取得する。次に、S401にて、設定部204は、ユーザによる入力に応じて設定された第1領域の情報を取得する。図5(a)に示す第1領域501は、ユーザによる入力に応じて画像500上に設定された第1領域を示している。
次に、S402にて、設定部204は、ユーザによる入力に応じて設定されたサイズ情報を取得する。本実施形態における設定部204は、最大サイズを示すガイド320の縦サイズ321をサイズ情報として取得する。なお、設定部204は、例えば、最大サイズを示すガイド320の縦サイズ321と横サイズ322とをサイズ情報として取得してもよい。また、設定部204は、例えば、最大サイズを示すガイド320の縦サイズ321と、横サイズ322と、最小サイズを示すガイド310の縦サイズ311と、横サイズ312と、をサイズ情報として取得してもよい。
次に、S403にて、設定部204は、S401にて取得した第1領域と、S402にて取得したサイズ情報とに基づき、第1領域を含む領域であって、検出部205による検出処理が実行される領域である第2領域を設定する。例えば、設定部204は、第1領域とサイズ情報とに基づき、次のような処理を実行することで第2領域を設定する。すなわち、設定部204は、まず、図5に示す第1領域501を外接する矩形502を設定する。続いて、設定部204は、第1領域501を外接する矩形502の各辺の垂直方向に対し、最大サイズの縦サイズ321だけ矩形502を拡張した領域503を第2領域として設定する。このとき、設定部204により設定される第2領域の外周の任意の位置から、第1領域の外周の任意の位置までの距離は、少なくとも最大サイズの縦サイズ321となる。なお、設定部204は、矩形502の各辺の垂直方向に対し、最大サイズの縦サイズ321の所定割合のサイズだけ矩形502を拡張した領域を第2領域として設定してもよい。 なお、設定部204は、例えば、次のような処理を実行することで第2領域を設定してもよい。すなわち、設定部204は、図5に示す領域501(第1領域)を外接する矩形502を設定する。次に設定部204は、領域501(第1領域)を外接する矩形502の4つの辺のうち、右側と左側の辺の垂直方向に対しては、最大サイズの横サイズ322だけ拡張し、上側と下側の辺の垂直方向に対しては、最大サイズの縦サイズ321だけ拡張する。このようにして第1領域に対応する矩形502を拡張した領域が図5(c)に示す領域504であり、設定部204は領域504を第2領域として設定するようにしてもよい。言い換えれば、このとき設定される第2領域の外周の任意の位置から、当該任意の位置を通る画像の鉛直方向の線分と第1領域の外周との交点までの距離は少なくとも最大サイズの縦サイズ321である。また、このとき設定される第2領域の外周の任意の位置から、当該任意の位置を通る画像の水平方向の線分と第1領域の外周との交点までの距離は少なくとも最大サイズの横サイズ322である。このような設定により、最大サイズの縦方向のサイズだけを用いて第2領域を設定するよりも、第2領域のサイズを小さくすることができるので、処理負荷を軽減することができる。
なお、設定部204は、例えば、次のような処理を実行することで第2領域を設定してもよい。すなわち、設定部204は、図5に示す領域501(第1領域)を外接する矩形502を設定する。次に、設定部204は、領域501(第1領域)を外接する矩形502の4つの辺のうち、右側と下側と左側の辺の垂直方向に対しては、最大サイズの縦サイズ321だけ拡張し、上側の辺に対しては、最小サイズの縦サイズ311だけ拡張する。このようにして第1領域に対応する矩形502を拡張した領域が図5(d)に示す領域505であり、設定部204は領域505を第2領域として設定するようにしてもよい。こ設定は、画像において手前から奥にかけて人物が小さくなるような場合に有効であり、第2領域のサイズをより小さくできるので処理負荷の軽減につながる。
以上説明したように、本実施形態における画像処理装置100は、ユーザにより設定された第1領域をサイズ情報に基づき拡張した領域を第2領域として設定する。第1領域を拡張した領域である第2領域に対して検出処理を実行することで、第1領域から人物の一部がはみ出ていても、当該人物を適切に検出することができる。一方で、画像全体を検出処理の対象とするよりも、処理負荷を削減することができる。
次に、図4(b)に示す人物を計数する処理について説明する。なお、本実施形態において、図4(b)に示すフローチャートの処理は、ユーザによる指示に従って開始されるものとする。
なお、図4(b)に示すフローチャートの処理は、画像処理装置100のROM720に格納されたコンピュータプログラムを画像処理装置100のCPU700が実行することにより実現される図2に示す各機能ブロックにより実行されるものとして説明する。
まず、S440にて、通信部200は、撮像装置110が撮像した画像を取得する。次に、S441にて、検出部205は、ユーザにより設定されたサイズ情報を記憶部201から取得する。本実施形態において、検出部205は、最大サイズを示すガイド320の縦サイズ321と、最小サイズを示すガイド310の縦サイズ311とをサイズ情報として取得する。
次に、S442にて、検出部205は、設定部204により設定された第2領域の画像における位置を示す情報を記憶部201から取得する。このとき取得される第2領域の画像における位置を示す情報は、画像左下の端点を原点として、第2領域の各頂点のX座標およびY座標の情報であるものとする。また、S442にて、判定部206は、ユーザにより設定された第1領域の画像における位置を示す情報を記憶部201から取得する。このとき取得される第1領域の画像における位置を示す情報は、画像左下の端点を原点として、第1領域の各頂点のX座標およびY座標の情報であるものとする。
次に、S443にて、検出部205は、第2領域を対象に、サイズ情報に基づいて、画像から人物を検出する検出処理を実行する。
次に、S444にて、判定部206は、第2領域に対する検出部205による検出処理の検出結果である人物のうち、第1領域に含まれる人物を判定する。
次に、S445にて、計数部207は、判定部206により第1領域に含まれると判定された人物の数を計数する。
次に、S446にて、出力制御部202は、S445にて計数部207により計数された人物の数を示す情報を出力する。本実施形態において、出力制御部202は、例えば、計数部207により計数された人物の数を示す情報をS440にて取得した画像とともにディスプレイ130に表示させる。
次に、S447にて、ユーザにより終了の指示がされていない場合(S447にてNo)、S440へ遷移して、通信部200は次のフレームの画像を取得する。一方、ユーザにより終了の指示がされている場合、処理を終了する。
以上説明したように、本実施形態における画像処理装置100は、ユーザによる入力に応じて設定した第1領域をサイズ情報に基づき拡張した第2領域に対して、サイズ情報に基づき検出処理を実行する。そして、画像処理装置100は、検出された人物のうち、第1領域に含まれていると判定された人物に関する情報を出力する。
なお、複数の第2領域が設定された場合、各第2領域の面積の総和が、各第2領域を包含かつ外接する矩形よりも大きい場合、当該矩形を新たな第2領域として設定しなおしてもよい。このようにすることで第2領域の面積を小さくすることができるため、処理負荷を削減することができる。
図6(a)における画像600では、第2領域601と第2領域602の面積の総和が、第2領域601および第2領域602を包含かつ外接する矩形603の面積よりも小さい場合を示す。この場合、検出部205は、第2領域601および第2領域602の各々に対して検出処理を実行する。一方、図6(b)における画像660では、第2領域661と第2領域662の面積の総和が、第2領域661および第2領域662を包含かつ外接する矩形663の面積よりも大きい場合を示す。このような場合、設定部204は、第2領域661および第2領域662を包含かつ外接する矩形663を新たな第2領域として設定する。そして検出部205は、新たに設定された第2領域(矩形663)に対して検出処理を実行する。このように、複数の第2領域各々の面積の総和と、当該複数の第2領域を包含かつ外接する矩形の面積との比較結果に応じて、適応的に第2領域を設定しなおすことで処理負荷の増大の抑制をすることができる。
画像に対してユーザにより設定された第1領域を、検出処理が実行される領域とすることで、画像全体に対し検出処理を実行する場合と比べて、処理負荷を低減させることができる。しかしながら、ユーザにより設定された第1領域から人物の一部がはみ出している場合に、当該人物を検出できないことがある。一方で、画像全体の領域に対し検出処理を実行することで、ユーザにより設定された第1領域から人物の一部がはみ出している場合であっても、当該人物を検出できるものの、処理負荷が増大してしまう。
しかし、本実施形態における画像処理装置100は、ユーザによる入力に応じて設定された第1領域をサイズ情報に基づき拡張した第2領域を設定し、当該第2領域に対し検出処理を実行する。そして、画像処理装置100は、検出処理の結果である特定の物体のうち、第1領域に含まれていると判定された特定の物体に関する情報を出力する。このようにすることで、特定の物体が含まれているかを判定するために用いられるユーザにより設定された領域に応じて、検出対象とする特定の物体の検出処理が実行される領域を適切に設定することができる。
(その他の実施形態)
次に図7を参照して、上述した実施形態の各機能を実現するための画像処理装置100のハードウェア構成を説明する。なお、以降の説明において画像処理装置100のハードウェア構成について説明するが、記録装置120および撮像装置110も同様のハードウェア構成によって実現されるものとする。
本実施形態における画像処理装置100は、CPU700と、RAM710と、ROM720、HDD730と、I/F740と、を有している。
CPU700は画像処理装置100を統括制御する中央処理装置である。RAM710は、CPU700が実行するコンピュータプログラムを一時的に記憶する。また、RAM710は、CPU700が処理を実行する際に用いるワークエリアを提供する。また、RAM710は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
ROM720は、CPU700が画像処理装置100を制御するためのプログラムなどを記憶する。HDD730は、画像データ等を記録する記憶装置である。
I/F740は、ネットワーク140を介して、TCP/IPやHTTPなどに従って、外部装置との通信を行う。
なお、上述した実施形態の説明では、CPU700が処理を実行する例について説明するが、CPU700の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ130にGUI(GRAPHICAL USER INTERFACE)や画像データを表示する処理は、GPU(GRAPHICS PROCESSING UNIT)で実行してもよい。また、ROM720からプログラムコードを読み出してRAM710に展開する処理は、転送装置として機能するDMA(DIRECT MEMORY ACCESS)によって実行してもよい。
なお、本発明は、上述の実施形態の1以上の機能を実現するプログラムを1つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、画像処理装置100の各部は、図7に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
なお、上述した実施形態に係る画像処理装置100の1以上の機能を他の装置が有していてもよい。例えば、上述した実施形態に係る画像処理装置100の1以上の機能を撮像装置110が有していてもよい。また、例えば、画像処理装置100および撮像装置110は単一の筐体に設けられてもよい。 なお、上述した実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、上述した実施形態を組み合わせたものも本明細書の開示内容に含まれる。
100 画像処理装置
110 撮像装置
200 通信部
201 記憶部
202 出力制御部
203 操作受付部
204 設定部
205 検出部
206 判定部
207 計数部

Claims (12)

  1. ユーザによる操作によって指定された領域である第1領域を示す領域情報と、画像における物体のサイズに関するサイズ情報とに基づき、当該第1領域を拡張した第2領域を設定する設定手段と、
    入力画像における前記第2領域から前記物体を検出する検出手段と、を有し、
    前記サイズ情報は、前記物体の縦方向の最大サイズと前記物体の横方向の最大サイズとを含み、
    前記第2領域は、前記第1領域の外接矩形の各辺の垂直方向に対して、前記物体の縦方向の最大サイズに基づいて、当該外接矩形を拡張された領域であることを特徴とする画像処理装置。
  2. ユーザによる操作によって指定された領域である第1領域を示す領域情報と、画像における物体のサイズに関するサイズ情報とに基づき、当該第1領域を拡張した第2領域を設定する設定手段と、
    入力画像における前記第2領域から前記物体を検出する検出手段と、を有し、
    前記サイズ情報は、前記物体の最大サイズ、および、前記物体の最小サイズを含み、
    前記第2領域は、前記第2領域の外周の上辺に含まれる任意の位置から、前記第1領域の外周の任意の位置までの距離が、前記最小サイズより大きくなるように、前記第2領域の外周の下辺に含まれる任意の位置から、前記第1領域の外周の任意の位置までの距離が、前記最大サイズより大きくなるように、設定されることを特徴とする画像処理装置。
  3. 前記第2領域から検出された物体が前記第1領域に含まれているかを判定する判定手段と、
    前記判定手段により前記第1領域に含まれていると判定された物体に関する情報を出力する出力手段と、を更に有する、ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記判定手段は、前記第2領域から検出された物体の所定位置が前記第1領域に含まれている場合、当該物体は前記第1領域に含まれていると判定することを特徴とする請求項に記載の画像処理装置。
  5. 前記第2領域は、前記第1領域を含む領域であることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記設定手段は、前記第1領域の外接矩形の各辺のうち、右辺と左辺は前記物体の横方向の最大サイズに基づいて、上辺と下辺は前記物体の縦方向の最大サイズに基づいて、当該外接矩形を拡張することを特徴とする請求項に記載の画像処理装置。
  7. 前記検出手段は、前記最大サイズ、および、前記最小サイズの間のサイズの前記物体を検出することを特徴とする請求項乃至のいずれか1項に記載の画像処理装置。
  8. 前記出力手段は、前記第2領域から検出された物体のうち、前記第1領域に含まれる物体の数を示す情報を出力することを特徴とする請求項3に記載の画像処理装置。
  9. 前記検出手段は、前記画像に含まれる人物を前記物体として検出することを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  10. ユーザによる操作によって指定された領域である第1領域を示す領域情報と、画像における物体のサイズに関するサイズ情報とに基づき、当該第1領域を拡張した第2領域を設定する設定工程と、
    入力画像における前記第2領域から前記物体を検出する検出工程と、を有し、
    前記サイズ情報は、前記物体の縦方向の最大サイズと前記物体の横方向の最大サイズとを含み、
    前記第2領域は、前記第1領域の外接矩形の各辺の垂直方向に対して、前記物体の縦方向の最大サイズに基づいて、当該外接矩形を拡張された領域であることを特徴とする画像処理方法。
  11. ユーザによる操作によって指定された領域である第1領域を示す領域情報と、画像における物体のサイズに関するサイズ情報とに基づき、当該第1領域を拡張した第2領域を設定する設定工程と、
    入力画像における前記第2領域から前記物体を検出する検出工程と、を有し、
    前記サイズ情報は、前記物体の最大サイズ、および、前記物体の最小サイズを含み、
    前記第2領域は、前記第2領域の外周の上辺に含まれる任意の位置から、前記第1領域の外周の任意の位置までの距離が、前記最小サイズより大きくなるように、前記第2領域の外周の下辺に含まれる任意の位置から、前記第1領域の外周の任意の位置までの距離が、前記最大サイズより大きくなるように、設定されることを特徴とする画像処理方法。
  12. コンピュータを、請求項1乃至のいずれか1項に記載された画像処理装置の各手段として機能させるためのプログラム。
JP2019030372A 2019-02-22 2019-02-22 画像処理装置、画像処理方法、およびプログラム Active JP7297463B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019030372A JP7297463B2 (ja) 2019-02-22 2019-02-22 画像処理装置、画像処理方法、およびプログラム
EP20156471.3A EP3699815A1 (en) 2019-02-22 2020-02-10 Image processing apparatus, image processing method, and program
KR1020200016040A KR20200102933A (ko) 2019-02-22 2020-02-11 화상 처리 장치, 화상 처리 방법 및 저장 매체
CN202010095214.7A CN111611838A (zh) 2019-02-22 2020-02-14 图像处理装置、图像处理方法及存储介质
US16/794,956 US11610422B2 (en) 2019-02-22 2020-02-19 Image processing method, apparatus, and storage medium for object detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019030372A JP7297463B2 (ja) 2019-02-22 2019-02-22 画像処理装置、画像処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2020135609A JP2020135609A (ja) 2020-08-31
JP2020135609A5 JP2020135609A5 (ja) 2022-03-03
JP7297463B2 true JP7297463B2 (ja) 2023-06-26

Family

ID=69570581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019030372A Active JP7297463B2 (ja) 2019-02-22 2019-02-22 画像処理装置、画像処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11610422B2 (ja)
EP (1) EP3699815A1 (ja)
JP (1) JP7297463B2 (ja)
KR (1) KR20200102933A (ja)
CN (1) CN111611838A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550223B (zh) * 2022-04-25 2022-07-12 中国科学院自动化研究所 人物交互检测方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211534A (ja) 2007-02-27 2008-09-11 Hitachi Ltd 顔検知装置
JP2013161241A (ja) 2012-02-03 2013-08-19 Toyota Motor Corp 物体認識装置、物体認識方法
JP2013232091A (ja) 2012-04-27 2013-11-14 Fujitsu Ltd 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2015132969A (ja) 2014-01-14 2015-07-23 株式会社デンソー 移動体検出装置および移動体検出方法
JP2018180619A (ja) 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2018221629A1 (ja) 2017-06-01 2018-12-06 日本電気株式会社 画像処理装置、追跡方法およびプログラム記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382896B2 (en) * 2002-08-13 2008-06-03 Hitachi Kokusai Electric Inc. Object detection method and apparatus which perform object detection using set parameters
WO2013080056A2 (en) * 2011-11-22 2013-06-06 Smiths Heimann Gmbh Laptop detection
JP6119992B2 (ja) * 2013-08-23 2017-04-26 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
KR102157313B1 (ko) * 2013-09-03 2020-10-23 삼성전자주식회사 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체
KR102130316B1 (ko) * 2013-09-30 2020-07-08 한국전자통신연구원 영상 인식 장치 및 방법
JP6381313B2 (ja) * 2014-06-20 2018-08-29 キヤノン株式会社 制御装置、制御方法、およびプログラム
JP6650677B2 (ja) * 2015-02-26 2020-02-19 キヤノン株式会社 映像処理装置、映像処理方法、およびプログラム
JP6987532B2 (ja) 2017-05-24 2022-01-05 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211534A (ja) 2007-02-27 2008-09-11 Hitachi Ltd 顔検知装置
JP2013161241A (ja) 2012-02-03 2013-08-19 Toyota Motor Corp 物体認識装置、物体認識方法
JP2013232091A (ja) 2012-04-27 2013-11-14 Fujitsu Ltd 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2015132969A (ja) 2014-01-14 2015-07-23 株式会社デンソー 移動体検出装置および移動体検出方法
JP2018180619A (ja) 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2018221629A1 (ja) 2017-06-01 2018-12-06 日本電気株式会社 画像処理装置、追跡方法およびプログラム記録媒体

Also Published As

Publication number Publication date
US11610422B2 (en) 2023-03-21
JP2020135609A (ja) 2020-08-31
EP3699815A1 (en) 2020-08-26
CN111611838A (zh) 2020-09-01
KR20200102933A (ko) 2020-09-01
US20200272811A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
JP5178797B2 (ja) 表示制御装置及び表示制御方法
US10410063B2 (en) Setting apparatus and setting method
JP6959495B2 (ja) 情報処理装置、情報処理方法、プログラム
US20170153698A1 (en) Method and apparatus for providing a view window within a virtual reality scene
JP7059054B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20180144206A1 (en) Setting apparatus, setting method, and storage medium
JP7297463B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11263759B2 (en) Image processing apparatus, image processing method, and storage medium
US10909402B2 (en) Information processing apparatus, information processing method, and storage medium
US11210528B2 (en) Information processing apparatus, information processing method, system, and storage medium to determine staying time of a person in predetermined region
EP3790270A1 (en) Information processing device, information processing method, and recording medium
US10521653B2 (en) Image processing device, image processing method, and storage medium
US10489921B2 (en) Behavior analysis apparatus and behavior analysis method
JP7406878B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11521330B2 (en) Image processing apparatus, image processing method, and storage medium
JP7353918B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017207972A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021056899A (ja) 画像処理装置、画像処理方法およびプログラム
JP2020086844A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2019107466A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6826281B2 (ja) 情報処理装置、情報処理方法、プログラム
JP7327936B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11733843B2 (en) Information processing apparatus, information processing method, and storage medium
JP6489733B2 (ja) 画像出力装置、画像出力方法、およびプログラム
JP2020182161A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230614

R151 Written notification of patent or utility model registration

Ref document number: 7297463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151