JP7297463B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP7297463B2
JP7297463B2 JP2019030372A JP2019030372A JP7297463B2 JP 7297463 B2 JP7297463 B2 JP 7297463B2 JP 2019030372 A JP2019030372 A JP 2019030372A JP 2019030372 A JP2019030372 A JP 2019030372A JP 7297463 B2 JP7297463 B2 JP 7297463B2
Authority
JP
Japan
Prior art keywords
area
size
image
image processing
maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019030372A
Other languages
English (en)
Other versions
JP2020135609A5 (ja
JP2020135609A (ja
Inventor
祐也 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019030372A priority Critical patent/JP7297463B2/ja
Priority to EP20156471.3A priority patent/EP3699815A1/en
Priority to KR1020200016040A priority patent/KR20200102933A/ko
Priority to CN202010095214.7A priority patent/CN111611838A/zh
Priority to US16/794,956 priority patent/US11610422B2/en
Publication of JP2020135609A publication Critical patent/JP2020135609A/ja
Publication of JP2020135609A5 publication Critical patent/JP2020135609A5/ja
Application granted granted Critical
Publication of JP7297463B2 publication Critical patent/JP7297463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理技術に関する。
従来、人物に対応する照合パターンを用いて、画像から人物を検出する検出処理を実行する技術が知られている。また、画像においてユーザにより設定された領域に人物が含まれているかを判定するために、当該領域を対象に検出処理を実行する技術が知られている。特許文献１では、撮像装置から受信した撮像画像に対し人体検出を行う検出エリアを設定する技術が開示されている。
特開２０１８－１９８３９９号公報
特許文献１のように、画像に対してユーザにより設定された領域を、検出処理が実行される領域とすることで、画像全体に対し検出処理を実行する場合と比べて、処理負荷を低減させることができる。しかしながら、特許文献１では、ユーザにより設定された領域から人物の一部がはみ出している場合に、当該人物を検出できないことがある。つまり、ユーザにとって意図した結果が得られない場合があった。
そこで、本発明は、検出対象とする特定の物体の検出処理が実行される領域を適切に設定することを目的としている。
本発明は、ユーザによる操作によって指定された領域である第１領域を示す領域情報と、画像における物体のサイズに関するサイズ情報とに基づき、当該第１領域を拡張した第２領域を設定する設定手段と、入力画像における前記第２領域から前記物体を検出する検出手段と、を有し、前記サイズ情報は、前記物体の縦方向の最大サイズと前記物体の横方向の最大サイズとを含み、前記第２領域は、前記第１領域の外接矩形の各辺の垂直方向に対して、前記物体の縦方向の最大サイズに基づいて、当該外接矩形を拡張された領域であることを特徴とする。
本発明によれば、検出対象とする特定の物体の検出処理が実行される領域を適切に設定することができる。
システム構成を示す図である。 画像処理装置の機能ブロックを示す図である。 第１領域およびサイズ情報を設定する処理を説明するための図である。 第２領域を設定する処理および人物を計数する処理の流れを示すフローチャートである。 第２領域を設定する処理を説明するための図である。 第２領域を設定する処理を説明するための図である。 各装置のハードウェア構成を示す図である。
以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。
画像処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。
なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。
画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。
撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像した画像に基づく画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、画像処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。
記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、画像処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像データ、識別情報など）を画像処理装置１００へ送信する。
ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、画像処理装置１００の画像処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。
また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した画像や、後述する画像処理に係る設定画面等を表示する。なお、ディスプレイ１３０、画像処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。
なお、画像処理装置１００の画像処理の結果や、撮像装置１１０により撮像された画像は、画像処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。
次に、図２に示す本実施形態に係る画像処理装置１００の機能ブロックを参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。
なお、図２に示す各機能は、本実施形態の場合、図７を参照して後述するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７２０とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７００とを用いて、次のようにして実現されるものとする。図２に示す各機能は、画像処理装置１００のＲＯＭ７２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ７００が実行することにより実現される。なお、以降の説明において、特定の物体は、人物であるものとする。
通信部２００は、図７を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）７４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンドなどを含む。
記憶部２０１は、図７を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７３０等によって実現でき、画像処理装置１００による画像処理に関わる情報やデータを記憶する。例えば、記憶部２０１は、画像から検出された人物の位置に関する情報を記憶する。
出力制御部２０２は、撮像装置１１０が撮像した画像や、本実施形態に係る画像処理に関する設定を行う設定画面、画像処理の結果を示す情報などをディスプレイ１３０に表示させる。操作受付部２０３は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。
設定部２０４は、画像における領域である第１領域を設定する。本実施形態では、設定部２０４は、操作受付部２０３が受け付けたユーザによる操作（入力）に基づき、画像において第１領域を指定する。設定部２０４により設定された第１領域の画像における位置を示す情報は、記憶部２０１に記憶される。なお、第１領域の画像における位置は、画像左下の端点を原点として、第１領域の各頂点のＸ座標およびＹ座標により定められるものとする。
また、設定部２０４は、検出部２０５による検出処理の検出結果とすべき物体のサイズに関するサイズ情報を設定する。本実施形態では、設定部２０４は、操作受付部２０３が受け付けたユーザによる操作（入力）に基づき、サイズ情報を設定する。なお、サイズ情報は、検出部２０５による検出処理の検出結果とすべき物体の最大サイズ、および、前記検出処理の検出結果とすべき物体の最小サイズのうち少なくともいずれか一方を含む情報である。なお、本実施形態において、設定部２０４は、サイズ情報として、最大サイズおよび最小サイズを設定するものとする。なお、設定部２０４により設定されたサイズ情報は記憶部２０１に記憶される。
また、設定部２０４は、第１領域と、サイズ情報とに基づき、当該第１領域を含む領域であって検出部２０５による検出処理が実行される領域である第２領域を設定する。設定部２０４により設定された第２領域の画像における位置を示す情報は、記憶部２０１に記憶される。なお、第２領域の画像における位置は、画像左下の端点を原点として、第２領域の各頂点のＸ座標およびＹ座標により定められるものとする。
なお、設定部２０４により第２領域を設定する処理に関する詳細な説明は後述する。
検出部２０５は、画像において設定部２０４により設定された第２領域を対象に、特定の物体を検出する検出処理を実行する。なお、検出部２０５は、設定部２０４により設定されたサイズ情報に基づく物体を検出処理の検出結果とする。例えば、検出部２０５は、検出した人物のうち、設定部２０４により設定された最大サイズと最小サイズとの間のサイズである人物を検出処理の検出結果とする。このようにすることで、検出部２０５は、設定された最大サイズと最小サイズとの間のサイズの人物を検出対象とすることができる。また、設定部２０４により最大サイズのみ設定されている場合、検出部２０５は、最大サイズより小さいサイズの人物を検出処理の検出結果とする。また、設定部２０４により最小サイズのみ設定されている場合、検出部２０５は、最小サイズより大きいサイズの人物を検出処理の検出結果とする。
なお、検出部２０５は、照合パターン（辞書）を用いて、第２領域から特定の物体を検出する。なお、画像から特定の物体として人物を検出する場合において、人物が正面向きである場合を想定した照合パターンと横向きである場合を想定した照合パターンとを両方使うことで検出精度の向上が期待できる。例えば、正面（背面）向きの人物の画像と照合させるための照合パターンと、横向きの人物の画像と照合させるための照合パターンとを保持し、撮像装置１１０の設置状態やユーザの指定に基づいて両方使うことができる。
また、照合パターンは、斜め方向からや上方向からなど他の角度からのものを用意しておいてもよい。また、人物を検出する場合、必ずしも全身の特徴を示す照合パターン（辞書）を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。なお、検出部２０５は、画像から人物を検出する機能を有していればよく、パターンマッチング処理にのみ限定されるものではない。
なお、本実施形態における検出部２０５は、人物の上全身の照合パターン（辞書）を使用して、第２領域から人物の上全身を検出するものとする。
判定部２０６は、設定部２０４により設定された第２領域に対する検出処理の検出結果である特定の物体が第１領域に含まれているかを判定する。なお、判定部２０６は、第２領域に対する検出処理の検出結果である特定の物体の所定位置が第１領域に含まれている場合、当該特定の物体は前記第１領域に含まれていると判定する。本実施形態において特定の物体である人物の所定位置は、当該人物の上全身の画像における領域の重心点とするが、これに限らない。例えば、人物の所定位置として、人物の足元や頭部の位置であってもよい。
計数部２０７は、判定部２０６により第１領域に含まれていると判定された特定の物体の数を計数する。出力制御部２０２は、設定部２０４により設定された第２領域に対する検出処理の結果である特定の物体のうち、第１領域に含まれる特定の物体に関する情報を出力する。言い換えれば、出力制御部２０２は、判定部２０６により第１領域に含まれると判定された特定の物体に関する情報を出力する。例えば、出力制御部２０２は、計数部２０７により計数された人物の数を示す情報をディスプレイ１３０に表示させる。また、出力制御部２０２は、判定部２０６により第１領域に含まれると判定された人物の位置を示す枠を撮像された画像に重畳してディスプレイ１３０に表示させるようにしてもよい。なお、人物の位置を示す枠は、例えば、当該人物の上全身を外接する矩形（外接矩形）であってもよいが、これに限らない。例えば、人物の位置を示す枠は、当該人物の全身を外接する矩形であってもよいし、当該人物の上全身（または全身）を囲う楕円であってもよい。
次に、図３を参照して、ユーザによる入力に応じて、第１領域、最大サイズ、および最小サイズを設定する処理について説明する。本実施形態において、図３（ａ）に示すように、撮像装置１１０が撮像した画像が出力制御部２０２によりディスプレイ１３０に表示されたうえで、ユーザの入力に応じて、第１領域、最大サイズ、および最小サイズの設定が行われる。
図３（ａ）における第１領域３００はユーザによる入力に応じて画像上に設定された第１領域を示している。操作受付部２０３は、不図示の入力装置（マウス、キーボード等）を介して、ユーザにより画像上で指定された第１領域の位置を示す情報を受け付け、設定部２０４は、操作受付部２０３が受け付けた操作の情報に基づいて、第１領域を設定する。なお、第１領域の位置を示す情報は、画像左下の端点を原点として、第１領域の各頂点のＸ座標およびＹ座標により定められるものとし、記憶部２０１に記憶される。なお、第１領域は多角形に限らず、例えば、円形や楕円形などでもよい。また、本実施形態において、ユーザの入力に応じて、設定部２０４は、１つの第１領域を設定するものとするが、複数の第１領域を設定してもよい。
図３（ａ）におけるガイド３１０は、最小サイズを示し、図３（ｂ）に示す縦サイズ３１１は、ガイド３１０の縦方向のサイズ（画素数）であり、横サイズ３１２は、ガイド３１０の横方向のサイズ（画素数）である。一方、図３（ａ）におけるガイド３２０は、最大サイズを示し、図３（ｃ）に示す縦サイズ３２１は、ガイド３２０の縦方向（画素数）のサイズであり、横サイズ３２２は、ガイド３２０の横方向のサイズ（画素数）である。
検出部２０５は、最小サイズを示すガイド３１０の画像における縦サイズ３１１と比較して、検出された人物の上半身の画像における縦方向のサイズ（画素数）の方が小さい場合、当該人物を検出結果から除外する。また、検出部２０５は、更に、ガイド３１０の画像における横サイズ３１２と比較して、検出された人物の上半身の画像における横方向のサイズ（画素数）の方が小さい場合、当該人物を検出結果から除外するようにしてもよい。
また、検出部２０５は、最大サイズを示すガイド３２０の画像における縦サイズ３２１と比較して、検出された人物の上半身の画像における縦方向のサイズ（画素数）の方が大きい場合、当該人物を検出結果から除外する。また、検出部２０５は、更に、ガイド３２０の画像における横サイズ３２２と比較して、検出された人物の上半身の画像における横方向のサイズ（画素数）の方が大きい場合、当該人物を検出結果から除外するようにしてもよい。
なお、本実施形態における検出部２０５は、人物の上半身の照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで画像から人物の上半身を検出するものとする。
操作受付部２０３は、不図示の入力装置（ＵＩ、キーボード等）を介して、ユーザによりガイド３１０やガイド３２０のサイズの情報を受け付ける。なお、本実施形態において、ユーザは、ガイド３１０やガイド３２０に示される三角形のマークをドラッグして操作することで、ガイド３１０やガイド３２０のサイズを調整できるものとする。そして、設定部２０４は、操作受付部２０３が受け付けた情報であるガイド３１０のサイズを最小サイズ、ガイド３２０のサイズを最大サイズとして設定する。
次に、図４～図５を参照して、本実施形態に係る画像処理装置１００の画像処理についてより詳細に説明する。図４（ａ）は、検出処理が実行される対象である第２領域を設定する処理の流れを示すフローチャートである。また、図４（ｂ）は、第２領域に対する検出処理の結果である人物のうち第１領域に含まれる人物の数を示す情報を出力する処理の流れを示すフローチャートである。
ここでまず図４（ａ）に示す処理について説明する。なお、本実施形態において、図４（ａ）に示すフローチャートの処理は、ユーザによる入力によって、第１領域またはサイズ情報が新たに設定された場合、または、第１領域またはサイズ情報が更新された場合に開始されるものとする。
なお、図４（ａ）に示すフローチャートの処理は、画像処理装置１００のＲＯＭ７２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ７００が実行することにより実現される図２に示す各機能ブロックにより実行されるものとして説明する。
まず、Ｓ４００にて、通信部２００は、撮像装置１１０が撮像した画像を取得する。次に、Ｓ４０１にて、設定部２０４は、ユーザによる入力に応じて設定された第１領域の情報を取得する。図５（ａ）に示す第１領域５０１は、ユーザによる入力に応じて画像５００上に設定された第１領域を示している。
次に、Ｓ４０２にて、設定部２０４は、ユーザによる入力に応じて設定されたサイズ情報を取得する。本実施形態における設定部２０４は、最大サイズを示すガイド３２０の縦サイズ３２１をサイズ情報として取得する。なお、設定部２０４は、例えば、最大サイズを示すガイド３２０の縦サイズ３２１と横サイズ３２２とをサイズ情報として取得してもよい。また、設定部２０４は、例えば、最大サイズを示すガイド３２０の縦サイズ３２１と、横サイズ３２２と、最小サイズを示すガイド３１０の縦サイズ３１１と、横サイズ３１２と、をサイズ情報として取得してもよい。
次に、Ｓ４０３にて、設定部２０４は、Ｓ４０１にて取得した第１領域と、Ｓ４０２にて取得したサイズ情報とに基づき、第１領域を含む領域であって、検出部２０５による検出処理が実行される領域である第２領域を設定する。例えば、設定部２０４は、第１領域とサイズ情報とに基づき、次のような処理を実行することで第２領域を設定する。すなわち、設定部２０４は、まず、図５に示す第１領域５０１を外接する矩形５０２を設定する。続いて、設定部２０４は、第１領域５０１を外接する矩形５０２の各辺の垂直方向に対し、最大サイズの縦サイズ３２１だけ矩形５０２を拡張した領域５０３を第２領域として設定する。このとき、設定部２０４により設定される第２領域の外周の任意の位置から、第１領域の外周の任意の位置までの距離は、少なくとも最大サイズの縦サイズ３２１となる。なお、設定部２０４は、矩形５０２の各辺の垂直方向に対し、最大サイズの縦サイズ３２１の所定割合のサイズだけ矩形５０２を拡張した領域を第２領域として設定してもよい。 なお、設定部２０４は、例えば、次のような処理を実行することで第２領域を設定してもよい。すなわち、設定部２０４は、図５に示す領域５０１（第１領域）を外接する矩形５０２を設定する。次に設定部２０４は、領域５０１（第１領域）を外接する矩形５０２の４つの辺のうち、右側と左側の辺の垂直方向に対しては、最大サイズの横サイズ３２２だけ拡張し、上側と下側の辺の垂直方向に対しては、最大サイズの縦サイズ３２１だけ拡張する。このようにして第１領域に対応する矩形５０２を拡張した領域が図５（ｃ）に示す領域５０４であり、設定部２０４は領域５０４を第２領域として設定するようにしてもよい。言い換えれば、このとき設定される第２領域の外周の任意の位置から、当該任意の位置を通る画像の鉛直方向の線分と第１領域の外周との交点までの距離は少なくとも最大サイズの縦サイズ３２１である。また、このとき設定される第２領域の外周の任意の位置から、当該任意の位置を通る画像の水平方向の線分と第１領域の外周との交点までの距離は少なくとも最大サイズの横サイズ３２２である。このような設定により、最大サイズの縦方向のサイズだけを用いて第２領域を設定するよりも、第２領域のサイズを小さくすることができるので、処理負荷を軽減することができる。
なお、設定部２０４は、例えば、次のような処理を実行することで第２領域を設定してもよい。すなわち、設定部２０４は、図５に示す領域５０１（第１領域）を外接する矩形５０２を設定する。次に、設定部２０４は、領域５０１（第１領域）を外接する矩形５０２の４つの辺のうち、右側と下側と左側の辺の垂直方向に対しては、最大サイズの縦サイズ３２１だけ拡張し、上側の辺に対しては、最小サイズの縦サイズ３１１だけ拡張する。このようにして第１領域に対応する矩形５０２を拡張した領域が図５（ｄ）に示す領域５０５であり、設定部２０４は領域５０５を第２領域として設定するようにしてもよい。こ設定は、画像において手前から奥にかけて人物が小さくなるような場合に有効であり、第２領域のサイズをより小さくできるので処理負荷の軽減につながる。
以上説明したように、本実施形態における画像処理装置１００は、ユーザにより設定された第１領域をサイズ情報に基づき拡張した領域を第２領域として設定する。第１領域を拡張した領域である第２領域に対して検出処理を実行することで、第１領域から人物の一部がはみ出ていても、当該人物を適切に検出することができる。一方で、画像全体を検出処理の対象とするよりも、処理負荷を削減することができる。
次に、図４（ｂ）に示す人物を計数する処理について説明する。なお、本実施形態において、図４（ｂ）に示すフローチャートの処理は、ユーザによる指示に従って開始されるものとする。
なお、図４（ｂ）に示すフローチャートの処理は、画像処理装置１００のＲＯＭ７２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ７００が実行することにより実現される図２に示す各機能ブロックにより実行されるものとして説明する。
まず、Ｓ４４０にて、通信部２００は、撮像装置１１０が撮像した画像を取得する。次に、Ｓ４４１にて、検出部２０５は、ユーザにより設定されたサイズ情報を記憶部２０１から取得する。本実施形態において、検出部２０５は、最大サイズを示すガイド３２０の縦サイズ３２１と、最小サイズを示すガイド３１０の縦サイズ３１１とをサイズ情報として取得する。
次に、Ｓ４４２にて、検出部２０５は、設定部２０４により設定された第２領域の画像における位置を示す情報を記憶部２０１から取得する。このとき取得される第２領域の画像における位置を示す情報は、画像左下の端点を原点として、第２領域の各頂点のＸ座標およびＹ座標の情報であるものとする。また、Ｓ４４２にて、判定部２０６は、ユーザにより設定された第１領域の画像における位置を示す情報を記憶部２０１から取得する。このとき取得される第１領域の画像における位置を示す情報は、画像左下の端点を原点として、第１領域の各頂点のＸ座標およびＹ座標の情報であるものとする。
次に、Ｓ４４３にて、検出部２０５は、第２領域を対象に、サイズ情報に基づいて、画像から人物を検出する検出処理を実行する。
次に、Ｓ４４４にて、判定部２０６は、第２領域に対する検出部２０５による検出処理の検出結果である人物のうち、第１領域に含まれる人物を判定する。
次に、Ｓ４４５にて、計数部２０７は、判定部２０６により第１領域に含まれると判定された人物の数を計数する。
次に、Ｓ４４６にて、出力制御部２０２は、Ｓ４４５にて計数部２０７により計数された人物の数を示す情報を出力する。本実施形態において、出力制御部２０２は、例えば、計数部２０７により計数された人物の数を示す情報をＳ４４０にて取得した画像とともにディスプレイ１３０に表示させる。
次に、Ｓ４４７にて、ユーザにより終了の指示がされていない場合（Ｓ４４７にてＮｏ）、Ｓ４４０へ遷移して、通信部２００は次のフレームの画像を取得する。一方、ユーザにより終了の指示がされている場合、処理を終了する。
以上説明したように、本実施形態における画像処理装置１００は、ユーザによる入力に応じて設定した第１領域をサイズ情報に基づき拡張した第２領域に対して、サイズ情報に基づき検出処理を実行する。そして、画像処理装置１００は、検出された人物のうち、第１領域に含まれていると判定された人物に関する情報を出力する。
なお、複数の第２領域が設定された場合、各第２領域の面積の総和が、各第２領域を包含かつ外接する矩形よりも大きい場合、当該矩形を新たな第２領域として設定しなおしてもよい。このようにすることで第２領域の面積を小さくすることができるため、処理負荷を削減することができる。
図６（ａ）における画像６００では、第２領域６０１と第２領域６０２の面積の総和が、第２領域６０１および第２領域６０２を包含かつ外接する矩形６０３の面積よりも小さい場合を示す。この場合、検出部２０５は、第２領域６０１および第２領域６０２の各々に対して検出処理を実行する。一方、図６（ｂ）における画像６６０では、第２領域６６１と第２領域６６２の面積の総和が、第２領域６６１および第２領域６６２を包含かつ外接する矩形６６３の面積よりも大きい場合を示す。このような場合、設定部２０４は、第２領域６６１および第２領域６６２を包含かつ外接する矩形６６３を新たな第２領域として設定する。そして検出部２０５は、新たに設定された第２領域（矩形６６３）に対して検出処理を実行する。このように、複数の第２領域各々の面積の総和と、当該複数の第２領域を包含かつ外接する矩形の面積との比較結果に応じて、適応的に第２領域を設定しなおすことで処理負荷の増大の抑制をすることができる。
画像に対してユーザにより設定された第１領域を、検出処理が実行される領域とすることで、画像全体に対し検出処理を実行する場合と比べて、処理負荷を低減させることができる。しかしながら、ユーザにより設定された第１領域から人物の一部がはみ出している場合に、当該人物を検出できないことがある。一方で、画像全体の領域に対し検出処理を実行することで、ユーザにより設定された第１領域から人物の一部がはみ出している場合であっても、当該人物を検出できるものの、処理負荷が増大してしまう。
しかし、本実施形態における画像処理装置１００は、ユーザによる入力に応じて設定された第１領域をサイズ情報に基づき拡張した第２領域を設定し、当該第２領域に対し検出処理を実行する。そして、画像処理装置１００は、検出処理の結果である特定の物体のうち、第１領域に含まれていると判定された特定の物体に関する情報を出力する。このようにすることで、特定の物体が含まれているかを判定するために用いられるユーザにより設定された領域に応じて、検出対象とする特定の物体の検出処理が実行される領域を適切に設定することができる。
（その他の実施形態）
次に図７を参照して、上述した実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。
本実施形態における画像処理装置１００は、ＣＰＵ７００と、ＲＡＭ７１０と、ＲＯＭ７２０、ＨＤＤ７３０と、Ｉ／Ｆ７４０と、を有している。
ＣＰＵ７００は画像処理装置１００を統括制御する中央処理装置である。ＲＡＭ７１０は、ＣＰＵ７００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ７１０は、ＣＰＵ７００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ７１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
ＲＯＭ７２０は、ＣＰＵ７００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ７３０は、画像データ等を記録する記憶装置である。
Ｉ／Ｆ７４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。
なお、上述した実施形態の説明では、ＣＰＵ７００が処理を実行する例について説明するが、ＣＰＵ７００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ７２０からプログラムコードを読み出してＲＡＭ７１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。
なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図７に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
なお、上述した実施形態に係る画像処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、上述した実施形態に係る画像処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。また、例えば、画像処理装置１００および撮像装置１１０は単一の筐体に設けられてもよい。 なお、上述した実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、上述した実施形態を組み合わせたものも本明細書の開示内容に含まれる。
１００ 画像処理装置
１１０ 撮像装置
２００ 通信部
２０１ 記憶部
２０２ 出力制御部
２０３ 操作受付部
２０４ 設定部
２０５ 検出部
２０６ 判定部
２０７ 計数部

Claims (12)

  1. ユーザによる操作によって指定された領域である第１領域を示す領域情報と、画像における物体のサイズに関するサイズ情報とに基づき、当該第１領域を拡張した第２領域を設定する設定手段と、
    入力画像における前記第２領域から前記物体を検出する検出手段と、を有し、
    前記サイズ情報は、前記物体の縦方向の最大サイズと前記物体の横方向の最大サイズとを含み、
    前記第２領域は、前記第１領域の外接矩形の各辺の垂直方向に対して、前記物体の縦方向の最大サイズに基づいて、当該外接矩形を拡張された領域であることを特徴とする画像処理装置。
  2. ユーザによる操作によって指定された領域である第１領域を示す領域情報と、画像における物体のサイズに関するサイズ情報とに基づき、当該第１領域を拡張した第２領域を設定する設定手段と、
    入力画像における前記第２領域から前記物体を検出する検出手段と、を有し、
    前記サイズ情報は、前記物体の最大サイズ、および、前記物体の最小サイズを含み、
    前記第２領域は、前記第２領域の外周の上辺に含まれる任意の位置から、前記第１領域の外周の任意の位置までの距離が、前記最小サイズより大きくなるように、前記第２領域の外周の下辺に含まれる任意の位置から、前記第１領域の外周の任意の位置までの距離が、前記最大サイズより大きくなるように、設定されることを特徴とする画像処理装置。
  3. 前記第２領域から検出された物体が前記第１領域に含まれているかを判定する判定手段と、
    前記判定手段により前記第１領域に含まれていると判定された物体に関する情報を出力する出力手段と、を更に有する、ことを特徴とする請求項１または２に記載の画像処理装置。
  4. 前記判定手段は、前記第２領域から検出された物体の所定位置が前記第１領域に含まれている場合、当該物体は前記第１領域に含まれていると判定することを特徴とする請求項３に記載の画像処理装置。
  5. 前記第２領域は、前記第１領域を含む領域であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
  6. 前記設定手段は、前記第１領域の外接矩形の各辺のうち、右辺と左辺は前記物体の横方向の最大サイズに基づいて、上辺と下辺は前記物体の縦方向の最大サイズに基づいて、当該外接矩形を拡張することを特徴とする請求項１に記載の画像処理装置。
  7. 前記検出手段は、前記最大サイズ、および、前記最小サイズの間のサイズの前記物体を検出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
  8. 前記出力手段は、前記第２領域から検出された物体のうち、前記第１領域に含まれる物体の数を示す情報を出力することを特徴とする請求項３に記載の画像処理装置。
  9. 前記検出手段は、前記画像に含まれる人物を前記物体として検出することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
  10. ユーザによる操作によって指定された領域である第１領域を示す領域情報と、画像における物体のサイズに関するサイズ情報とに基づき、当該第１領域を拡張した第２領域を設定する設定工程と、
    入力画像における前記第２領域から前記物体を検出する検出工程と、を有し、
    前記サイズ情報は、前記物体の縦方向の最大サイズと前記物体の横方向の最大サイズとを含み、
    前記第２領域は、前記第１領域の外接矩形の各辺の垂直方向に対して、前記物体の縦方向の最大サイズに基づいて、当該外接矩形を拡張された領域であることを特徴とする画像処理方法。
  11. ユーザによる操作によって指定された領域である第１領域を示す領域情報と、画像における物体のサイズに関するサイズ情報とに基づき、当該第１領域を拡張した第２領域を設定する設定工程と、
    入力画像における前記第２領域から前記物体を検出する検出工程と、を有し、
    前記サイズ情報は、前記物体の最大サイズ、および、前記物体の最小サイズを含み、
    前記第２領域は、前記第２領域の外周の上辺に含まれる任意の位置から、前記第１領域の外周の任意の位置までの距離が、前記最小サイズより大きくなるように、前記第２領域の外周の下辺に含まれる任意の位置から、前記第１領域の外周の任意の位置までの距離が、前記最大サイズより大きくなるように、設定されることを特徴とする画像処理方法。
  12. コンピュータを、請求項１乃至９のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
JP2019030372A 2019-02-22 2019-02-22 画像処理装置、画像処理方法、およびプログラム Active JP7297463B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019030372A JP7297463B2 (ja) 2019-02-22 2019-02-22 画像処理装置、画像処理方法、およびプログラム
EP20156471.3A EP3699815A1 (en) 2019-02-22 2020-02-10 Image processing apparatus, image processing method, and program
KR1020200016040A KR20200102933A (ko) 2019-02-22 2020-02-11 화상 처리 장치, 화상 처리 방법 및 저장 매체
CN202010095214.7A CN111611838A (zh) 2019-02-22 2020-02-14 图像处理装置、图像处理方法及存储介质
US16/794,956 US11610422B2 (en) 2019-02-22 2020-02-19 Image processing method, apparatus, and storage medium for object detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019030372A JP7297463B2 (ja) 2019-02-22 2019-02-22 画像処理装置、画像処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2020135609A JP2020135609A (ja) 2020-08-31
JP2020135609A5 JP2020135609A5 (ja) 2022-03-03
JP7297463B2 true JP7297463B2 (ja) 2023-06-26

Family

ID=69570581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019030372A Active JP7297463B2 (ja) 2019-02-22 2019-02-22 画像処理装置、画像処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11610422B2 (ja)
EP (1) EP3699815A1 (ja)
JP (1) JP7297463B2 (ja)
KR (1) KR20200102933A (ja)
CN (1) CN111611838A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550223B (zh) * 2022-04-25 2022-07-12 中国科学院自动化研究所 人物交互检测方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211534A (ja) 2007-02-27 2008-09-11 Hitachi Ltd 顔検知装置
JP2013161241A (ja) 2012-02-03 2013-08-19 Toyota Motor Corp 物体認識装置、物体認識方法
JP2013232091A (ja) 2012-04-27 2013-11-14 Fujitsu Ltd 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2015132969A (ja) 2014-01-14 2015-07-23 株式会社デンソー 移動体検出装置および移動体検出方法
JP2018180619A (ja) 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2018221629A1 (ja) 2017-06-01 2018-12-06 日本電気株式会社 画像処理装置、追跡方法およびプログラム記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382896B2 (en) * 2002-08-13 2008-06-03 Hitachi Kokusai Electric Inc. Object detection method and apparatus which perform object detection using set parameters
WO2013080056A2 (en) * 2011-11-22 2013-06-06 Smiths Heimann Gmbh Laptop detection
JP6119992B2 (ja) * 2013-08-23 2017-04-26 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
KR102157313B1 (ko) * 2013-09-03 2020-10-23 삼성전자주식회사 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체
KR102130316B1 (ko) * 2013-09-30 2020-07-08 한국전자통신연구원 영상 인식 장치 및 방법
JP6381313B2 (ja) * 2014-06-20 2018-08-29 キヤノン株式会社 制御装置、制御方法、およびプログラム
JP6650677B2 (ja) * 2015-02-26 2020-02-19 キヤノン株式会社 映像処理装置、映像処理方法、およびプログラム
JP6987532B2 (ja) 2017-05-24 2022-01-05 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211534A (ja) 2007-02-27 2008-09-11 Hitachi Ltd 顔検知装置
JP2013161241A (ja) 2012-02-03 2013-08-19 Toyota Motor Corp 物体認識装置、物体認識方法
JP2013232091A (ja) 2012-04-27 2013-11-14 Fujitsu Ltd 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2015132969A (ja) 2014-01-14 2015-07-23 株式会社デンソー 移動体検出装置および移動体検出方法
JP2018180619A (ja) 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2018221629A1 (ja) 2017-06-01 2018-12-06 日本電気株式会社 画像処理装置、追跡方法およびプログラム記録媒体

Also Published As

Publication number Publication date
US11610422B2 (en) 2023-03-21
JP2020135609A (ja) 2020-08-31
EP3699815A1 (en) 2020-08-26
CN111611838A (zh) 2020-09-01
KR20200102933A (ko) 2020-09-01
US20200272811A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
JP5178797B2 (ja) 表示制御装置及び表示制御方法
US10410063B2 (en) Setting apparatus and setting method
JP6959495B2 (ja) 情報処理装置、情報処理方法、プログラム
US20170153698A1 (en) Method and apparatus for providing a view window within a virtual reality scene
JP7059054B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20180144206A1 (en) Setting apparatus, setting method, and storage medium
JP7297463B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11263759B2 (en) Image processing apparatus, image processing method, and storage medium
US10909402B2 (en) Information processing apparatus, information processing method, and storage medium
US11210528B2 (en) Information processing apparatus, information processing method, system, and storage medium to determine staying time of a person in predetermined region
EP3790270A1 (en) Information processing device, information processing method, and recording medium
US10521653B2 (en) Image processing device, image processing method, and storage medium
US10489921B2 (en) Behavior analysis apparatus and behavior analysis method
JP7406878B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11521330B2 (en) Image processing apparatus, image processing method, and storage medium
JP7353918B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017207972A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021056899A (ja) 画像処理装置、画像処理方法およびプログラム
JP2020086844A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2019107466A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6826281B2 (ja) 情報処理装置、情報処理方法、プログラム
JP7327936B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11733843B2 (en) Information processing apparatus, information processing method, and storage medium
JP6489733B2 (ja) 画像出力装置、画像出力方法、およびプログラム
JP2020182161A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230614

R151 Written notification of patent or utility model registration

Ref document number: 7297463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151