JP6932758B2 - 物体検出装置、物体検出方法、物体検出プログラム、学習装置、学習方法及び学習プログラム - Google Patents

物体検出装置、物体検出方法、物体検出プログラム、学習装置、学習方法及び学習プログラム Download PDF

Info

Publication number
JP6932758B2
JP6932758B2 JP2019196150A JP2019196150A JP6932758B2 JP 6932758 B2 JP6932758 B2 JP 6932758B2 JP 2019196150 A JP2019196150 A JP 2019196150A JP 2019196150 A JP2019196150 A JP 2019196150A JP 6932758 B2 JP6932758 B2 JP 6932758B2
Authority
JP
Japan
Prior art keywords
data
object detection
target
learning
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019196150A
Other languages
English (en)
Other versions
JP2021071757A (ja
Inventor
勝人 伊佐野
勝人 伊佐野
尭理 中尾
尭理 中尾
紘和 阿部
紘和 阿部
祐貴 徳田
祐貴 徳田
光義 山足
光義 山足
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Mitsubishi Electric Information Systems Corp
Original Assignee
Mitsubishi Electric Corp
Mitsubishi Electric Information Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp, Mitsubishi Electric Information Systems Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019196150A priority Critical patent/JP6932758B2/ja
Priority to EP20881785.8A priority patent/EP4024333B1/en
Priority to PCT/JP2020/025708 priority patent/WO2021084797A1/ja
Priority to CN202080071977.6A priority patent/CN114556415A/zh
Publication of JP2021071757A publication Critical patent/JP2021071757A/ja
Application granted granted Critical
Publication of JP6932758B2 publication Critical patent/JP6932758B2/ja
Priority to US17/690,335 priority patent/US20220198679A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

この発明は、物体検出モデルを用いて画像データから対象の物体を検出する技術に関する。
ディープラーニング等を用いて生成された物体検出モデルに対して、撮影装置で得られた画像データを入力して、画像データに含まれる対象の物体を検出することが行われている（特許文献１参照）。物体検出モデルでは、予め定められたサイズに画像データを縮小した上で、物体の検出を行う場合がある。
特開２０１９−００３３９６号公報
例えば、画像データの奥の方に映った物体は、画像データを縮小した場合には小さくなりすぎてしまい、物体検出モデルによる検出が困難になってしまう。
この発明は、小さく映った物体についても物体検出モデルにより検出可能にすることを目的とする。
この発明に係る物体検出装置は、
撮影装置によって撮影領域が撮影されて得られた画像データのうち検出対象領域を含む領域の画像データを対象データとして抽出するとともに、前記対象データのうち拡大領域の画像データを部分データとして抽出するデータ抽出部と、
前記データ抽出部によって抽出された前記対象データ及び前記部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更部と、
前記サイズ変更部によってサイズ変更された前記対象データ及び前記部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する物体検出部と
を備える。
前記物体検出装置は、さらに、
前記物体検出部によって前記対象データから検出された結果を示す第１結果データと、前記部分データから検出された第２結果データとを、同一の物体については１つの物体になるように統合した統合結果データを生成する統合部
を備える。
前記物体検出装置は、さらに、
前記対象データ及び前記部分データそれぞれを学習データとして前記物体検出モデルに与えて学習させる学習部
を備える。
この発明に係る物体検出方法は、
データ抽出部が、撮影装置によって撮影領域が撮影されて得られた画像データのうち検出対象領域を含む領域の画像データを対象データとして抽出するとともに、前記対象データのうち拡大領域の画像データを部分データとして抽出し、
サイズ変更部が、前記対象データ及び前記部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更し、
物体検出部が、サイズ変更された前記対象データ及び前記部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する。
この発明に係る物体検出プログラムは、
撮影装置によって撮影領域が撮影されて得られた画像データのうち検出対象領域を含む領域の画像データを対象データとして抽出するとともに、前記対象データのうち拡大領域の画像データを部分データとして抽出するデータ抽出処理と、
前記データ抽出処理によって抽出された前記対象データ及び前記部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更処理と、
前記サイズ変更処理によってサイズ変更された前記対象データ及び前記部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する物体検出処理と
を行う物体検出装置としてコンピュータを機能させる。
この発明に係る学習装置は、
撮影装置によって得られた画像データのうち検出対象領域を含む領域の画像データを対象データとして抽出するとともに、前記対象データのうち拡大領域の画像データを部分データとして抽出するデータ抽出部と、
前記データ抽出部によって抽出された前記対象データ及び前記部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更部と、
前記サイズ変更部によってサイズ変更された前記対象データ及び前記部分データそれぞれを学習データとして前記物体検出モデルを生成する学習部と
を備える。
この発明に係る物体検出装置は、
撮影装置によって撮影領域が撮影されて得られた画像データから、前記画像データにおける位置に応じたサイズの拡大領域の画像データを部分データとして複数抽出するデータ抽出部と、
前記データ抽出部によって抽出された複数の部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更部と、
前記サイズ変更部によってサイズ変更された前記複数の部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する物体検出部と
を備える。
前記物体検出装置は、さらに、
前記物体検出部によって前記複数の部分データそれぞれから検出された結果データを、同一の物体については１つの物体になるように統合した統合結果データを生成する統合部
を備える。
前記物体検出装置は、さらに、
前記複数の部分データそれぞれを学習データとして前記物体検出モデルに与えて学習させる学習部
を備える。
この発明に係る物体検出方法は、
データ抽出部が、撮影装置によって撮影領域が撮影されて得られた画像データから、前記画像データにおける位置に応じたサイズの拡大領域の画像データを部分データとして複数抽出し、
サイズ変更部が、抽出された複数の部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更し、
物体検出部が、サイズ変更された前記複数の部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する。
この発明に係る物体検出プログラムは、
撮影装置によって撮影領域が撮影されて得られた画像データから、前記画像データにおける位置に応じたサイズの拡大領域の画像データを部分データとして複数抽出するデータ抽出処理と、
前記データ抽出処理によって抽出された複数の部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更処理と、
前記サイズ変更処理によってサイズ変更された前記複数の部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する物体検出処理と
を行う物体検出装置としてコンピュータを機能させる。
この発明に係る学習装置は、
撮影装置によって撮影領域が撮影されて得られた画像データから、前記画像データにおける位置に応じたサイズの拡大領域の画像データを部分データとして複数抽出するデータ抽出部と、
前記データ抽出部によって抽出された複数の部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更部と、
前記サイズ変更部によってサイズ変更された前記複数の部分データそれぞれを学習データとして前記物体検出モデルを生成する学習部と
を備える。
この発明では、対象データだけでなく部分データも物体検出モデルに入力して対象の物体を検出する。これにより、画像データの奥の方に映った物体のように、小さく映った物体についても物体検出モデルにより検出可能になる。
実施の形態１に係る物体検出装置１０の構成図。 実施の形態１に係る物体検出装置１０の動作を示すフローチャート。 実施の形態１に係る検出対象領域３３及び拡大領域３４を示す図。 実施の形態１に係る対象データ３５及び部分データ３６を示す図。 実施の形態１に係るサイズ変更処理の説明図。 変形例１に係る物体検出装置１０の構成図。 実施の形態２に係る拡大領域３４を示す図。 実施の形態３に係る物体検出装置１０の構成図。 実施の形態３に係る物体検出装置１０の動作を示すフローチャート。 変形例５に係る学習装置５０の構成図。
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る物体検出装置１０の構成を説明する。
物体検出装置１０は、コンピュータである。
物体検出装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。
物体検出装置１０は、通信インタフェース１４を介して、監視カメラといった撮影装置４１と接続されている。
物体検出装置１０は、機能構成要素として、設定読込部２１と、画像取得部２２と、データ抽出部２３と、サイズ変更部２４と、物体検出部２５と、統合部２６とを備える。物体検出装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、物体検出装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、物体検出装置１０の各機能構成要素の機能が実現される。
ストレージ１３には、物体検出モデル３１と、設定データ３２とが記憶される。
図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
＊＊＊動作の説明＊＊＊
図２から図５を参照して、実施の形態１に係る物体検出装置１０の動作を説明する。
実施の形態１に係る物体検出装置１０の動作手順は、実施の形態１に係る物体検出方法に相当する。また、実施の形態１に係る物体検出装置１０の動作を実現するプログラムは、実施の形態１に係る物体検出プログラムに相当する。
（図２のステップＳ１１：設定読込処理）
設定読込部２１は、検出対象領域３３及び拡大領域３４を示す設定データ３２をストレージ１３から読み込む。
検出対象領域３３は、撮影装置４１によって撮影される撮影領域のうち対象の物体を検出する領域である。
拡大領域３４は、検出対象領域３３のうち小さく映った物体を検出する領域である。実施の形態１では、図３に示すように、拡大領域３４は、画像データの奥の方の領域である。つまり、実施の形態１では、拡大領域３４は、検出対象領域３３における撮影装置４１の撮影領域のうち奥行方向の距離が基準距離以上の領域を含む領域である。なお、奥行方向の手前側の領域であっても小さな物体を対象の物体として扱う領域については、拡大領域３４として設定される可能性もある。また、検出対象領域３３のうち拡大領域３４を複数設定してもよい。
実施の形態１では、検出対象領域３３及び拡大領域３４を示す設定データ３２は、物体検出装置１０の管理者等によって事前に設定され、ストレージ１３に記憶されるものとした。しかし、ステップＳ１１の処理において、設定読込部２１が検出対象領域３３及び拡大領域３４を管理者等に指定させてもよい。つまり、例えば、設定読込部２１は、撮影領域を表示して、撮影領域のうちどの領域を検出対象領域３３とし、どの領域を拡大領域３４とするかを指定させ、その指定に基づき、設定データ３２を生成する機能を有してもよい。また設定データ３２を撮影装置４１ごとに、又は、撮影装置４１をグルーピングしたグループごとに、ストレージ１３に記憶するように構成してもよい。その場合、ステップＳ１１では、画像データを取得する撮影装置４１に対応した設定データ３２が読み込まれる。
（図２のステップＳ１２：画像取得処理）
画像取得部２２は、通信インタフェース１４を介して、撮影装置４１によって撮影領域が撮影されて得られた最新のフレームの画像データを取得する。
（図２のステップＳ１３：データ抽出処理）
データ抽出部２３は、ステップＳ１２で取得された画像データのうち、ステップＳ１１で読み込まれた設定データ３２が示す検出対象領域３３を含む領域の画像データを対象データ３５として抽出する。実施の形態１では、データ抽出部２３は、ステップＳ１２で取得された画像データをそのまま対象データ３５に設定する。また、データ抽出部２３は、対象データのうち、ステップＳ１１で読み込まれた設定データ３２が示す拡大領域３４の画像データを部分データ３６として抽出する。
具体例としては、ステップＳ１２で図４に示す画像データが取得された場合には、データ抽出部２３は、図４に示す画像データをそのまま対象データ３５に設定し、図４に示す画像データのうち拡大領域３４部分の画像データを部分データ３６として抽出する。
（図２のステップＳ１４：サイズ変更処理）
サイズ変更部２４は、抽出された対象データ３５及び部分データ３６それぞれを物体検出モデル３１によって要求される要求サイズにサイズ変更する。物体検出モデル３１は、ディープラーニングといった手法によって生成されたモデルであり、画像データから対象の物体を検出するモデルである。
具体例としては、図５に示すように、対象データ３５が横１９２０ピクセル×縦１２００ピクセルの画像データであり、部分データ３６が横３２０ピクセル×縦２４０ピクセルの画像データであったとする。また、要求サイズが横５１２ピクセル×縦５１２ピクセルであったとする。この場合には、サイズ変更部２４は、対象データ３５を縮小して、横５１２ピクセル×縦５１２ピクセルの画像データに変換する。また、サイズ変更部２４は、部分データ３６を拡大して、横５１２ピクセル×縦５１２ピクセルの画像データに変換する。
なお、対象データ３５については、原則として縮小されることを想定する。つまり、要求サイズは、対象データ３５のサイズよりも小さいことを想定する。しかし、部分データ３６については、拡大領域３４の大きさによって拡大される場合と縮小される場合とがある。但し、部分データ３６は、対象データ３５の一部の画像データであるため、縮小される場合であっても対象データ３５ほどの倍率で縮小されることはない。
（図２のステップＳ１５：物体検出処理）
物体検出部２５は、ステップＳ１４でサイズ変更された対象データ３５及び部分データ３６それぞれを物体検出モデル３１に入力して、対象データ３５及び部分データ３６それぞれから対象の物体を検出する。そして、物体検出部２５は、対象データ３５から検出された結果を第１結果データ３７とし、部分データ３６から検出された結果を第２結果データ３８とする。
具体例としては、物体検出部２５は、図５に示すように横５１２ピクセル×縦５１２ピクセルの画像データに変換された対象データ３５及び部分データ３６それぞれを物体検出モデル３１に入力する。すると、対象データ３５からは物体Ｘが検出される。また、部分データ３６からは物体Ｙが検出される。なお、対象データ３５にも物体Ｙは含まれている。しかし、対象データ３５では物体Ｙは非常に小さいため、対象データ３５から物体Ｙは検出されない可能性がある。
（図２のステップＳ１６：統合処理）
統合部２６は、対象データ３５から抽出された結果を示す第１結果データ３７と、部分データ３６から抽出された第２結果データ３８とを統合した統合結果データを生成する。
この際、第１結果データ３７及び第２結果データ３８に同一の物体が含まれている可能性がある。具体例としては、図５に示す対象データ３５からも物体Ｙが検出された場合には、対象データ３５及び部分データ３６から同一の物体Ｙが検出されることになる。そこで、統合部２６は、同一の物体については１つの物体になるように、第１結果データ３７と第２結果データ３８とを統合する。つまり、統合部２６は、対象データ３５及び部分データ３６から同一の物体Ｙが検出された場合であっても、統合結果データには物体Ｙが１つだけ含まれるように、第１結果データ３７と第２結果データ３８とを統合する。
例えば、統合部２６は、ＮＭＳ（Ｎｏｎ Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）といった手法を用いて、第１結果データ３７と第２結果データ３８とを統合する。
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る物体検出装置１０は、対象データ３５だけでなく部分データ３６も要求サイズにサイズ変更した上で、物体検出モデル３１に入力して対象の物体を検出する。これにより、画像データの奥の方に映った物体のように、小さく映った物体についても物体検出モデル３１により検出可能になる。
つまり、図５の対象データ３５には物体Ｘ及び物体Ｙが含まれている。しかし、物体検出モデル３１に入力される場合には、対象データ３５が要求サイズにサイズ変更されてしまい、物体Ｙは非常に小さくなってしまう。そのため、対象データ３５からは、本来検出されるべき物体Ｙは検出されなくなってしまう。
しかし、対象データ３５とは別に部分データ３６についても要求サイズにサイズ変更された上で、物体検出モデル３１に入力される。部分データ３６は、対象データ３５の一部の画像データである。したがって、サイズ変更された後の部分データ３６に含まれる物体Ｙは、サイズ変更された後の対象データ３５に含まれる物体Ｙに比べ大きい。そのため、部分データ３６からは物体Ｙが検出しやすくなる。
また、実施の形態１に係る物体検出装置１０は、同一の物体については１つの物体になるように、第１結果データ３７と第２結果データ３８とを統合して統合結果データを生成する。これにより、１つの物体が対象データ３５あるいは部分データ３６の一方から検出された場合、対象データ３５および部分データ３６の双方から検出された場合のどちらの場合も、１つの物体が検出された統合結果データを得ることができる。
＊＊＊他の構成＊＊＊
＜変形例１＞
撮影装置４１と物体を検知したい領域との距離又は角度等により、拡大領域３４は画像データの奥の方の領域に限定されずに、中央付近の領域とする場合が考えられる。また撮影装置４１の撮影領域によっては、拡大領域３４を複数設定する場合もある。
つまり小さく映った物体を検出する領域として、拡大領域３４は画像データ上の任意の領域を範囲として、任意の数の設定を行うことができる。それらの個別の条件を撮影装置４１ごとの設定データ３２に設定することにより、撮影装置４１ごとに部分データ３６の抽出が可能となる。
＜変形例２＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例２として、各機能構成要素はハードウェアで実現されてもよい。この変形例２について、実施の形態１と異なる点を説明する。
図６を参照して、変形例２に係る物体検出装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、物体検出装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
＜変形例３＞
変形例３として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
実施の形態２．
実施の形態２は、部分データ３６のみを物体検出モデル３１に入力する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。
＊＊＊動作の説明＊＊＊
図２及び図７を参照して、実施の形態２に係る物体検出装置１０の動作を説明する。
実施の形態２に係る物体検出装置１０の動作手順は、実施の形態２に係る物体検出方法に相当する。また、実施の形態２に係る物体検出装置１０の動作を実現するプログラムは、実施の形態２に係る物体検出プログラムに相当する。
ステップＳ１２の処理は、実施の形態１と同じである。
（図２のステップＳ１１：設定読込処理）
設定読込部２１は、実施の形態１と同様に、検出対象領域３３及び拡大領域３４を示す設定データ３２をストレージ１３から読み込む。
実施の形態２では、図７に示すように、検出対象領域３３を概ね覆うように複数の拡大領域３４が設定されている。各拡大領域３４は、撮影装置４１によって得られる画像データの位置に応じたサイズの領域が設定される。つまり、拡大領域３４は、対象の物体が小さい位置ほど、小さい領域が設定される。例えば、拡大領域３４は、画像データの奥の方の領域ほど小さいサイズの領域が設定され、画像データの手前の方の領域ほど大きいサイズの領域が設定される。
（図２のステップＳ１３：データ抽出処理）
データ抽出部２３は、ステップＳ１２で取得された画像データのうち、ステップＳ１１で読み込まれた設定データ３２が示す複数の拡大領域３４それぞれの画像データを部分データ３６として抽出する。
（図２のステップＳ１４：サイズ変更処理）
サイズ変更部２４は、抽出された複数の部分データ３６それぞれを物体検出モデル３１によって要求される要求サイズにサイズ変更する。
（図２のステップＳ１５：物体検出処理）
物体検出部２５は、ステップＳ１４でサイズ変更された複数の部分データ３６それぞれを物体検出モデル３１に入力して、複数の部分データ３６それぞれから対象の物体を検出する。そして、物体検出部２５は、複数の部分データ３６それぞれから検出された結果を第２結果データ３８とする。
（図２のステップＳ１６：統合処理）
統合部２６は、複数の部分データ３６それぞれから抽出された第２結果データ３８を統合した統合結果データを生成する。この際、複数の第２結果データ３８に同一の物体が含まれている可能性がある。そこで、統合部２６は、同一の物体については１つの物体になるように、複数の第２結果データ３８を統合する。
＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る物体検出装置１０は、画像データにおける位置に応じたサイズの複数の拡大領域３４を設定し、各拡大領域３４の部分データ３６を入力として対象の物体を検出する。これにより、画像データにおける位置に応じた適切なサイズの画像データから物体検出モデル３１により検出が行われることになる。その結果、検出精度が高くなる可能性がある。
なお図７を用いて説明した拡大領域３４は、検出対象領域３３を概ね覆うように複数設定されているが、必ずしも拡大領域３４で検出対象領域３３を覆う必要はない。撮影装置４１の撮影領域に応じて、検出対象領域３３上に重点的に検出すべき領域や物体がある場合、逆に検出対象領域３３上に検出不要とする領域がある場合、撮影装置４１毎に検出対象領域３３の一部に複数の拡大領域３４を設定するように、設定データ３２を設定してもよい。
実施の形態３．
実施の形態３は、物体検出モデル３１を生成する点が実施の形態１，２と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態３では、実施の形態１に対応した物体検出モデル３１を生成する場合について説明する。
＊＊＊構成の説明＊＊＊
図８を参照して、実施の形態３に係る物体検出装置１０の構成を説明する。
物体検出装置１０は、機能構成要素として、学習部２７を備える点が実施の形態１と異なる。学習部２７は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
＊＊＊動作の説明＊＊＊
図９を参照して、実施の形態３に係る物体検出装置１０の動作を説明する。
実施の形態３に係る物体検出装置１０の動作手順は、実施の形態３に係る物体検出方法に相当する。また、実施の形態３に係る物体検出装置１０の動作を実現するプログラムは、実施の形態３に係る物体検出プログラムに相当する。
ステップＳ２１からステップＳ２４の処理は、実施の形態１における図２のステップＳ１１からステップＳ１４の処理と同じである。
（図９のステップＳ２５：学習処理）
学習部２７は、ステップＳ２３でサイズ変更された対象データ３５及び部分データ３６それぞれを学習データとして与えることにより、ディープラーニングといった処理により物体検出モデル３１を生成する。ここで、対象データ３５及び部分データ３６は、図２で説明した処理における対象データ３５及び部分データ３６と同じ領域の画像データである。
なお、対象データ３５及び部分データ３６それぞれについて、含まれる対象の物体が人手等で特定され教師付きの学習データが生成されてもよい。そして、学習部２７は、教師付きの学習データを与えて学習させてもよい。
＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る物体検出装置１０は、対象データ３５だけでなく部分データ３６も学習データとして与えることにより、物体検出モデル３１を生成する。部分データ３６は、サイズの拡大に伴い、対象データ３５と比較すると、一部又は全体の画像が不鮮明になる可能性がある。拡大に伴い、不鮮明な部分を含む画像データが学習データとして与えられていない場合には、不鮮明な部分を含む画像データからの検出精度が低くなってしまう場合がある。
そのため、対象データ３５だけを学習データとして与え物体検出モデル３１を生成すると、部分データ３６から物体を検出する処理の精度が低くなる可能性がある。しかし、実施の形態３に係る物体検出装置１０は、部分データ３６も学習データとして与えることにより、部分データ３６から物体を検出する処理の精度を高くすることができる。
＊＊＊他の構成＊＊＊
＜変形例４＞
実施の形態３では、実施の形態１に対応した物体検出モデル３１を生成する場合について説明した。実施の形態２に対応した物体検出モデル３１を生成することも可能である。
この場合には、ステップＳ２１からステップＳ２４の処理は、実施の形態２における図２のステップＳ１１からステップＳ１４の処理と同じである。図９のステップＳ２５では、学習部２７は、ステップＳ２３でサイズ変更された複数の部分データ３６それぞれを学習データとして与えることにより、ディープラーニングといった処理により物体検出モデル３１を生成する。これにより、実施の形態３と同様の効果を奏する。
＜変形例５＞
実施の形態３及び変形例４では、物体検出装置１０が物体検出モデル３１を生成した。しかし、物体検出装置１０とは別の学習装置５０が物体検出モデル３１を生成してもよい。
図１０に示すように、学習装置５０は、コンピュータである。学習装置５０は、プロセッサ５１と、メモリ５２と、ストレージ５３と、通信インタフェース５４とのハードウェアを備える。プロセッサ５１とメモリ５２とストレージ５３と通信インタフェース５４とは、物体検出装置１０のプロセッサ１１とメモリ１２とストレージ１３と通信インタフェース１４と同じである。
学習装置５０は、機能構成要素として、設定読込部６１と、画像取得部６２と、データ抽出部６３と、サイズ変更部６４と、学習部６５とを備える。学習装置５０の各機能構成要素の機能はソフトウェアにより実現される。設定読込部６１と画像取得部６２とデータ抽出部６３とサイズ変更部６４と学習部６５とは、物体検出装置１０の設定読込部２１と画像取得部２２とデータ抽出部２３とサイズ変更部２４と学習部２７と同じである。
なお、各実施の形態における物体検出装置１０は、無人搬送車（ＡＧＶ，Ａｕｔｏｍａｔｅｄ ｇｕｉｄｅｄ ｖｅｈｉｃｌｅ）に適用するようにしてもよい。誘導方式として画像認識方式を採用する無人搬送車においては、床や天井に描かれた記号を読み取り、それによって自車の位置を把握するようにしている。本発明における物体検出装置を無人搬送車に適用することで、小さく映ったマークについても検出できるようになるため、より高精度な移動が可能な無人搬送車を提供することができる。
以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
１０ 物体検出装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 設定読込部、２２ 画像取得部、２３ データ抽出部、２４ サイズ変更部、２５ 物体検出部、２６ 統合部、２７ 学習部、３１ 物体検出モデル、３２ 設定データ、３３ 検出対象領域、３４ 拡大領域、３５ 対象データ、３６ 部分データ、３７ 第１結果データ、３８ 第２結果データ、４１ 撮影装置、５０ 学習装置、５１ プロセッサ、５２ メモリ、５３ ストレージ、５４ 通信インタフェース、６１ 設定読込部、６２ 画像取得部、６３ データ抽出部、６４ サイズ変更部、６５ 学習部。

Claims (8)

  1. 撮影装置によって検出対象領域が撮影されて得られた画像データを対象データとして設定するとともに、前記対象データのうち拡大領域の画像データを部分データとして抽出するデータ抽出部と、
    前記データ抽出部によって抽出された前記対象データ及び前記部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更部と、
    前記サイズ変更部によってサイズ変更された前記対象データ及び前記部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する物体検出部と
    を備える物体検出装置。
  2. 前記物体検出装置は、さらに、
    前記物体検出部によって前記対象データから検出された結果を示す第１結果データと、前記部分データから検出された第２結果データとを、同一の物体については１つの物体になるように統合した統合結果データを生成する統合部
    を備える請求項１に記載の物体検出装置。
  3. 前記物体検出装置は、さらに、
    前記対象データ及び前記部分データそれぞれを学習データとして前記物体検出モデルに与えて学習させる学習部
    を備える請求項１又は２に記載の物体検出装置。
  4. データ抽出部が、撮影装置によって検出対象領域が撮影されて得られた画像データを対象データとして設定するとともに、前記対象データのうち拡大領域の画像データを部分データとして抽出し、
    サイズ変更部が、前記対象データ及び前記部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更し、
    物体検出部が、サイズ変更された前記対象データ及び前記部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する物体検出方法。
  5. 撮影装置によって検出対象領域が撮影されて得られた画像データを対象データとして設定するとともに、前記対象データのうち拡大領域の画像データを部分データとして抽出するデータ抽出処理と、
    前記データ抽出処理によって抽出された前記対象データ及び前記部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更処理と、
    前記サイズ変更処理によってサイズ変更された前記対象データ及び前記部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する物体検出処理と
    を行う物体検出装置としてコンピュータを機能させる物体検出プログラム。
  6. 撮影装置によって得られた画像データを対象データとして設定するとともに、前記対象データのうち拡大領域の画像データを部分データとして抽出するデータ抽出部と、
    前記データ抽出部によって抽出された前記対象データ及び前記部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更部と、
    前記サイズ変更部によってサイズ変更された前記対象データ及び前記部分データそれぞれを学習データとして前記物体検出モデルを生成する学習部と
    を備える学習装置。
  7. データ抽出部が、撮影装置によって得られた画像データを対象データとして設定するとともに、前記対象データのうち拡大領域の画像データを部分データとして抽出し、
    サイズ変更部が、前記対象データ及び前記部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更し、
    学習部が、サイズ変更された前記対象データ及び前記部分データそれぞれを学習データとして前記物体検出モデルを生成する学習方法。
  8. 撮影装置によって得られた画像データを対象データとして設定するとともに、前記対象データのうち拡大領域の画像データを部分データとして抽出するデータ抽出処理と、
    前記データ抽出処理によって抽出された前記対象データ及び前記部分データそれぞれを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更処理と、
    前記サイズ変更処理によってサイズ変更された前記対象データ及び前記部分データそれぞれを学習データとして前記物体検出モデルを生成する学習処理と
    を行う学習装置としてコンピュータを機能させる学習プログラム。
JP2019196150A 2019-10-29 2019-10-29 物体検出装置、物体検出方法、物体検出プログラム、学習装置、学習方法及び学習プログラム Active JP6932758B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019196150A JP6932758B2 (ja) 2019-10-29 2019-10-29 物体検出装置、物体検出方法、物体検出プログラム、学習装置、学習方法及び学習プログラム
EP20881785.8A EP4024333B1 (en) 2019-10-29 2020-06-30 Object detection device, object detection method, object detection program, learning device, learning method and learning program
PCT/JP2020/025708 WO2021084797A1 (ja) 2019-10-29 2020-06-30 物体検出装置、物体検出方法、物体検出プログラム及び学習装置
CN202080071977.6A CN114556415A (zh) 2019-10-29 2020-06-30 物体检测装置、物体检测方法、物体检测程序以及学习装置
US17/690,335 US20220198679A1 (en) 2019-10-29 2022-03-09 Object detection device, learning device and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019196150A JP6932758B2 (ja) 2019-10-29 2019-10-29 物体検出装置、物体検出方法、物体検出プログラム、学習装置、学習方法及び学習プログラム

Publications (2)

Publication Number Publication Date
JP2021071757A JP2021071757A (ja) 2021-05-06
JP6932758B2 true JP6932758B2 (ja) 2021-09-08

Family

ID=75713142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019196150A Active JP6932758B2 (ja) 2019-10-29 2019-10-29 物体検出装置、物体検出方法、物体検出プログラム、学習装置、学習方法及び学習プログラム

Country Status (5)

Country Link
US (1) US20220198679A1 (ja)
EP (1) EP4024333B1 (ja)
JP (1) JP6932758B2 (ja)
CN (1) CN114556415A (ja)
WO (1) WO2021084797A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631452B1 (ko) * 2021-06-30 2024-01-30 주식회사 에이리스 인공 지능 기반 검출 모델에 대한 학습 데이터를 생성하기 위한 방법, 시스템 및 기록 매체
CN115063647A (zh) * 2022-05-18 2022-09-16 浙江工商大学 基于深度学习的分布式异构数据处理方法、装置和设备
WO2024204704A1 (ja) * 2023-03-31 2024-10-03 株式会社堀場製作所 供試体表示認識装置、供試体試験システム、供試体表示設定装置、供試体表示認識方法、及び、供試体表示認識プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0792369B2 (ja) * 1993-01-14 1995-10-09 株式会社エイ・ティ・アール通信システム研究所 画像計測装置
JP2009123081A (ja) * 2007-11-16 2009-06-04 Fujifilm Corp 顔検出方法及び撮影装置
JP5911165B2 (ja) * 2011-08-05 2016-04-27 株式会社メガチップス 画像認識装置
JP5690688B2 (ja) * 2011-09-15 2015-03-25 クラリオン株式会社 外界認識方法，装置，および車両システム
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
JP2019003396A (ja) 2017-06-15 2019-01-10 コニカミノルタ株式会社 目的物体検出装置、該方法およびプログラム
JP6688277B2 (ja) * 2017-12-27 2020-04-28 本田技研工業株式会社 プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置

Also Published As

Publication number Publication date
EP4024333A1 (en) 2022-07-06
EP4024333A4 (en) 2022-11-02
CN114556415A (zh) 2022-05-27
US20220198679A1 (en) 2022-06-23
EP4024333B1 (en) 2023-10-11
WO2021084797A1 (ja) 2021-05-06
JP2021071757A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
WO2021084797A1 (ja) 物体検出装置、物体検出方法、物体検出プログラム及び学習装置
JP6935522B2 (ja) 物体検出装置、物体検出方法及び物体検出プログラム
JP6094775B2 (ja) ビデオコンテンツ処理方法及びシステム
US20130163854A1 (en) Image processing method and associated apparatus
US20190095741A1 (en) Region-of-interest detection apparatus, region-of-interest detection method, and recording medium
US10455163B2 (en) Image processing apparatus that generates a combined image, control method, and storage medium
US9256792B2 (en) Image processing apparatus, image processing method, and program
JP6570370B2 (ja) 画像処理方法、画像処理装置、プログラム及び記録媒体
US20160093046A1 (en) Apparatus and method for supporting computer aided diagnosis
JP6110174B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP7333520B2 (ja) 学習プログラム、学習方法、及び情報処理装置
JP6530432B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11250581B2 (en) Information processing apparatus, information processing method, and storage medium
US20160027183A1 (en) Image processing apparatus, image processing method and program
US9171227B2 (en) Apparatus and method extracting feature information of a source image
US10834281B2 (en) Document size detecting by matching between image of entire document and read size image
US9684844B1 (en) Method and apparatus for normalizing character included in an image
JP2016053763A (ja) 画像処理装置、画像処理方法及びプログラム
JP6922690B2 (ja) 文字領域抽出プログラム、文字領域抽出装置及び文字領域抽出方法
JP6364182B2 (ja) 文字列認識装置および文字列認識方法
US10380463B2 (en) Image processing device, setting support method, and non-transitory computer-readable media
JP2021043774A (ja) 通知判定装置、通知判定方法及び通知判定プログラム
JP6877501B2 (ja) 滞留検知装置、滞留検知方法及び滞留検知プログラム
KR20200137839A (ko) Vr 학습 영상 제공 방법 및 장치
WO2019225239A1 (ja) 画像解析装置、画像解析システムおよび画像解析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210315

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210315

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210818

R150 Certificate of patent or registration of utility model

Ref document number: 6932758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250