JP6176388B2 - 画像識別装置、画像センサ、画像識別方法 - Google Patents
画像識別装置、画像センサ、画像識別方法 Download PDFInfo
- Publication number
- JP6176388B2 JP6176388B2 JP2016507250A JP2016507250A JP6176388B2 JP 6176388 B2 JP6176388 B2 JP 6176388B2 JP 2016507250 A JP2016507250 A JP 2016507250A JP 2016507250 A JP2016507250 A JP 2016507250A JP 6176388 B2 JP6176388 B2 JP 6176388B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- feature point
- similarity
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 43
- 230000006870 function Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 235000019219 chocolate Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Description
本発明は、画像の特徴点に基づいて画像を識別する技術に関する。
FA(Factory Automation)分野においては、ラインを流れる計測対象物(以下、「ワーク」とも呼ぶ)を計測・監視するために、画像センサ(視覚センサ)と呼ばれるセンサデバイスが広く用いられている。画像センサは、カメラと画像処理装置から構成され、予め登録された教師物体(以下、「モデル」または「パターン」とも呼ぶ)とのマッチング処理によって画像内のワークを検出し、必要な情報の抽出・計測などを行う機能を有している。画像センサの出力は、例えば、ワークの識別、検査、仕分けなどの様々な用途に利用される。
ところで、FA分野における最近の傾向として、一つのラインに複数種類のワークを混在して流し、種類別に異なる処理を適用する、という生産形態が増えている。例えば、アソート商品の箱詰めラインにおいては、コンベヤ上に異なる種類のワークをランダムに流し、ピックアップロボットで種類別にピックアップし正しい位置に箱詰めするという作業を行う。また、多品種少量生産のラインでは、形、色、サイズなどの仕様が少しずつ異なるシリーズ商品が同一のラインで製造され、仕様ごとに加工方法や検査内容などを違える場合がある。
このように複数種類のワークが混在するライン(以下、「混流ライン」とも呼ぶ)において、ワークの種類別に異なる処理を実施するには、その前提として、画像センサでワークの種類を正確に判別することが要求される。テンプレートマッチングを用いてワークの種別を判別する場合は、複数種類のモデル画像を予め画像センサに登録しておき、ワーク画像と最も良く合致するモデル画像を求めることで、ワークの種類を推定する。
ここで、形状や色などがよく似た複数種類のモデルを用いた画像識別の問題点について説明する。テンプレートマッチングでは、モデル画像の特徴点が入力画像の特徴点とどれだけマッチするかによって類似度が算出される。図12のように、6種類のサイコロの画像を用いた物体識別を考える。「5」の画像を入力画像として識別を行った場合、各モデルにおいて算出される類似度は図中に示すように、複数のモデル画像について100点(満点)となり、識別結果は入力画像におけるノイズ等によって決定されてしまう。このように類似度に差がつかないのは、互いに包含関係にあるモデル画像が存在したり、共通部分が多いモデル画像が存在したりするためである。すなわち、類似するモデル画像が多く存在する場合には、従来の類似度を用いたテンプレートマッチングでは正しい識別を行うことが困難である。
特許文献1では、類似したモデル画像に対して互いに相関値を算出して、相関の低い特徴点位置を記憶しておき、そのような特徴点のみを用いて類似度を算出することを提案している。このように、相関の低い特徴点のみを用いて類似度を算出することで、類似したモデル画像が存在する場合であっても、正しい識別が可能となる。
しかしながら、特許文献1の手法では、類似したモデル画像同士の全ての組合せについて相関演算が必要となり、類似したモデル画像が多い場合には組合せ数が増加し(O(n2))、処理時間および記憶容量の点で課題が残る。さらに、識別時には、1対1の識別処理を階層的に行う必要があり、この処理も類似したモデル数が多い場合には階層数が深くなり、処理時間が増加する(O(nlogn))。
本発明は、上記実情に鑑みてなされたものであり、類似するモデル画像を含む場合であっても、処理負荷が低く、かつ、精度の良い識別が可能な画像識別技術を提供することを目的とする。
上記目的を達成するために本発明では、特徴点ごとにモデル画像における顕著性に基づいた重みを設定し、この重みを考慮した類似度を算出する、という構成を採用する。
具体的には、本発明に係る画像識別装置は、複数のモデル画像のそれぞれについて特徴点が登録されている記憶部と、入力画像から特徴点を抽出する特徴点抽出部と、前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第1の類似度(以下、重み付き類似度とも称する)を算出し、当該第1の類似度に基づいて前記入力画像を識別する識別部と、を有し、前記識別部は、前記第1の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコア(以下、重みスコアとも称する)を足し合わせることにより前記第1の類似度を算出するものであり、前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である、ことを特徴とする。
一致するモデル画像が少ない特徴点は、画像識別における顕著性が高く他のモデルとの識別性能が高いと考えられる。一方、一致するモデルが多い特徴点は、画像識別における顕著性が低く識別にあまり役立たないと考えられる。したがって、本発明に係る画像識別装置は、顕著性の高い特徴点ほど重みスコアを高く設定し、この重みスコアを足し合わせた第1の類似度に基づいて画像識別を行う。これにより、類似するモデル画像が多く存在する場合であっても、精度良く識別が可能となる。
本発明において、入力画像に含まれる特徴点を対象として画像識別時に重みスコアを求めてもよいし、モデル画像に含まれる特徴点を対象としてモデル画像登録時に重みスコアを予め求めて記憶しておいてもよい。
画像識別時に重みスコアを求める場合は、入力画像の特徴点ごとに、その特徴点と一致するモデル画像の数を求め、当該数に応じて重みスコアを算出すればよい。モデル画像登録時に重みスコアを求める場合は、全てのモデル画像の特徴点について、その特徴点と一致するモデル画像の数を求め、当該数に応じて重みスコアを予め算出すればよい。なお、重みスコアは、モデル画像の一致数が少ないほど大きくなるように算出されれば、具体的な算出方法は任意であってよい。例えば、一致数の逆数に応じた値を重みスコアとしてもよいし、全モデル画像数と一致数の差に応じた値を重みスコアとしてもよい。
また、本発明において、上記第1の類似度とは異なる基準により算出される類似度も考慮して画像識別を行うことも好ましい。例えば、前記識別部は、前記複数のモデル画像のそれぞれについて、当該モデル画像の特徴点が前記入力画像の特徴点に含まれる割合に応じた第2の類似度(以下、単純類似度とも称する)も算出し、前記第1の類似度および前記第2の類似度に基づいて、前記入力画像と最も良く合致するモデル画像を決定する、ことも好ましい。
第1の類似度と第2の類似度を用いた具体的な識別方法は、種々の方法が考えられる。例えば、第1の類似度と前記第2の類似度の単純和または重み付け和が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定することが考えられる。あるいは、前記第2の類似度が大きいモデル画像のうち、前記第1の類似度が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定することも考えられる。なお、第2の類似度が大きいモデル画像とは、第2の類似度が上位所定数個のモデル画像であってもよいし、最大値から所定の閾値以内の第2の類似度を有するモデル画像であってもよい。
このように、第1の類似度および第2の類似度に基づいて識別を行うことにより、いずれか一方の類似度に基づいた場合には正しい識別が行えない場合であっても、正しい識別が行えるようになる。
なお、本発明は、上記構成の少なくとも一部を有する画像識別装置や物体判別装置として捉えることができる。また、本発明は、物体を撮影するカメラと、物体判別装置もしくは画像処理装置とを有する画像センサとして捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む画像識別方法あるいは物体判別方法、または、かかる方法をコンピュータに実行させるためのプログラムやそのプログラムを非一時的に記憶したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、類似するモデル画像を含む場合であっても、処理負荷が低く、かつ、精度の良い識別することができる。
本発明は、入力画像が与えられたときに、テンプレートマッチングによって、予め登録された複数の登録画像(モデル画像)のなかから入力画像に最もよく合致するものを抽出する、画像識別技術に関するものである。この技術は、FA用の画像センサ、コンピュータビジョン、マシンビジョンなどにおける物体判別や、画像データベース内の画像群のなかからクエリ画像に類似する画像を検出する類似画像検索などに応用することができる。以下に述べる実施形態では、本発明の好ましい応用例の一つとして、複数種類のワークが混在して流れる混流ラインにおいて各ワークの検出および種類判別を行うFA用の画像センサに本発明を実装した例を説明する。
(画像センサ)
図1を参照して、本発明の実施形態に係る画像センサの全体構成および適用場面について説明する。
画像センサ1は、生産ラインなどに設置され、製造物(ワーク2)を撮像することで得られる入力画像を用いてワーク2の種類判別などを行うシステムである。なお、画像センサ1には、種類判別のほかにも、エッジ検出、キズ・汚れ検出、面積・長さ・重心の計測など、必要に応じて様々な画像処理機能を実装可能である。
図1を参照して、本発明の実施形態に係る画像センサの全体構成および適用場面について説明する。
画像センサ1は、生産ラインなどに設置され、製造物(ワーク2)を撮像することで得られる入力画像を用いてワーク2の種類判別などを行うシステムである。なお、画像センサ1には、種類判別のほかにも、エッジ検出、キズ・汚れ検出、面積・長さ・重心の計測など、必要に応じて様々な画像処理機能を実装可能である。
図1に示すように、コンベヤ3上には複数種類のワーク2が混在して流れている。画像センサ1は、カメラ11から定期的に、またはPLC4から送られるトリガー信号のタイミングで画像を取り込み、画像処理装置(画像識別装置)10によって画像に含まれる各ワーク2の検出、種類判別などの処理を実行し、その結果をディスプレイ12に表示したり、外部装置(PLC4など)へと出力する。PLC(Programmable Logic Controller)4は、画像センサ1、コンベヤ3、ロボット等の製造装置(不図示)の制御を司るデバイスである。
(画像センサのハードウェア構成)
図2を参照して、画像センサ1のハードウェア構成を説明する。画像センサ1は、概略、カメラ11と画像処理装置10から構成される。
図2を参照して、画像センサ1のハードウェア構成を説明する。画像センサ1は、概略、カメラ11と画像処理装置10から構成される。
カメラ11は、ワーク2の画像を画像処理装置10に取り込むためのデバイスであり、例えばCMOS(Complementary Metal-Oxide-Semiconductor)カメラやCCD(Charge-Coupled Device)カメラを好適に用いることができる。入力画像の形式(解像度、カラー/モノクロ、静止画像/動画、階調、データ形式など)は任意であり、ワーク2の種類やセンシングの目的に合わせて適宜選択すればよい。可視光像以外の特殊な画像(X線画像、サーモ画像など)を検査に利用する場合には、その画像に合わせたカメラを用いてもよい。
画像処理装置10は、CPU(中央演算処理装置)110と、記憶部としてのメインメモリ112およびハードディスク114と、カメラインターフェイス116と、入力インターフェイス118と、表示コントローラ120と、PLCインターフェイス122と、通信インターフェイス124と、データリーダ/ライタ126とを含む。これらの各部は、バス128を介して、互いにデータ通信可能に接続される。
カメラインターフェイス116は、CPU110とカメラ11とのあいだのデータ伝送を仲介する部分であり、カメラ11からの画像データを一時的に蓄積するための画像バッファ116aを有している。入力インターフェイス118は、CPU110と入力部(マウス13、キーボード、タッチパネル、ジョグコントローラなど)とのあいだのデータ伝送を仲介する。表示コントローラ120は、液晶モニタなどのディスプレイ12に接続され、当該ディスプレイ12での表示を制御する。PLCインターフェイス122は、CPU110とPLC4のあいだのデータ伝送を仲介する。通信インターフェイス124は、CPU110とコンソール(あるいは、パーソナルコンピュータやサーバ装置)などとのあいだのデータ伝送を仲介する。データリーダ/ライタ126は、CPU110と記憶媒体であるメモリカード14との間のデータ伝送を仲介する。
画像処理装置10は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、CPU110が、ハードディスク114またはメモリカード14に格納されたプログラム(命令コード)を読み込み、実行することで、各種機能を提供する。このようなプログラムは、メモリカード14や光ディスクなどのコンピュータ読取可能な記録媒体に格納された状態で流通する。
汎用的なパーソナルコンピュータを画像処理装置10として利用する場合には、本実施形態で述べる物体判別機能を提供するためのアプリケーションプログラムに加えて、コンピュータの基本的な機能を提供するためのOS(オペレーション・システム)がインストールされていてもよい。この場合には、本実施形態に係るプログラムは、OSが提供するプログラムモジュールを利用することで、目的とする機能を実現してもよい。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その機能の一部または全部が専用のロジック回路で代替されてもよい。
(画像処理装置の機能構成)
図3に、画像処理装置が提供する種類判別(物体判別)にかかわる機能構成を示す。画像処理装置10は、種類判別にかかわる機能として、画像入力部130、検出部131、特徴点抽出部132、識別部133、記憶部134、出力部135を有している。これらの機能ブロックは、画像処理装置10のCPU110がコンピュータプログラムを実行することにより実現される。
図3に、画像処理装置が提供する種類判別(物体判別)にかかわる機能構成を示す。画像処理装置10は、種類判別にかかわる機能として、画像入力部130、検出部131、特徴点抽出部132、識別部133、記憶部134、出力部135を有している。これらの機能ブロックは、画像処理装置10のCPU110がコンピュータプログラムを実行することにより実現される。
記憶部134には、モデルの画像から抽出した特徴点(モデル画像特徴点134a)が、複数のモデルについて登録される。本実施形態においては、特徴点として、画像中において濃淡値の変化が大きい点や領域、例えば、エッジやコーナーなどを採用する。特徴点としては、この他にも、色や形状に基づいた特徴点を採用してもよい。例えば、青・黄・赤を特徴点としたり、直線の個数や円の個数などを特徴点として採用することができる。また濃淡値の変化が大きい特徴点と色の特徴点を併用することもできる。モデル画像特徴点134aは、画像処理装置10がモデル画像を受け取って、受け取ったモデル画像から抽出することができる。あるいは、別の装置によって抽出されたモデル画像特徴点に関するデータを、画像処理装置10が受け取って記憶部134に格納してもよい。
(画像処理装置の動作)
画像処理装置10は、コンベヤ3上を流れるワーク2の画像を取り込み、ワーク2の検出や種類判別などの処理を実行する。図4は、画像処理装置10が実行する画像識別処理の全体の流れを示すフローチャートである。以下、図4のフローチャートに沿って、画像識別処理における各機能ブロックの動作、および、種類判別処理の全体の流れについて説明する。
画像処理装置10は、コンベヤ3上を流れるワーク2の画像を取り込み、ワーク2の検出や種類判別などの処理を実行する。図4は、画像処理装置10が実行する画像識別処理の全体の流れを示すフローチャートである。以下、図4のフローチャートに沿って、画像識別処理における各機能ブロックの動作、および、種類判別処理の全体の流れについて説明する。
PLC4からのトリガー信号が入力されると、画像入力部130がカメラ11から画像を取り込む(ステップS100)。図5(A)は取り込まれた画像の一例であり、コンベヤ上に5種類の物体(例:アソートチョコレート)が混在している状態を示している。
次に、検出部131が、入力画像から個々のワーク2を検出する(ステップS101)。検出処理にはどのようなアルゴリズムを用いてもよい。例えば、2値化により背景をカットした後、所定の面積よりも大きい領域(ピクセル群)をワーク2として検出する方法、パターンマッチングによりワークらしい領域を探索する方法などを利用することができる。なお、検出部131は、必要に応じて入力画像に対し平滑化やノイズ除去などの前処理を行うとよい。図5(B)は検出結果の一例であり、画像から検出された個々のワークの領域を点線矩形で示している。
次に、特徴点抽出部132が、検出されたワークの画像(以下、ワーク画像と称する)を解析して、特徴点を抽出する(ステップS102)。特徴点は、画像中において濃淡値の変化が大きい点や領域などであり、例えば、エッジやコーナーなどを特徴点として抽出することができる。
続いて、識別部133が、ワークの特徴点と、記憶部134に登録されている複数のモデル画像のそれぞれの特徴点とを比較して、ワークの種類を判別する(ステップS103)。ステップS101で検出されたすべてのワークに対し、ステップS102およびS103の処理を繰り返すことで、各ワークの種類を判別することができる。図5(C)は判別結果の一例であり、個々のワークの判別結果(種類)を1〜5の数字で示している。この判別結果は、出力部135によってディスプレイ12またはPLC4に出力される(ステップS104)。
図6および図7は、ステップS103の処理の詳細を示している。この処理では、ワーク画像の特徴点とモデル画像の特徴点の単純な一致数に基づく単純類似スコアS1(第2の類似度)と、特徴点ごとの顕著性に応じた重みスコアを考慮した重み付き類似スコアS2(第1の類似度)とを求め、これら2つの類似スコアを用いてワークの判別を行う。
まず、ステップS201〜S205のループ処理において、各モデル画像について、当該モデル画像に含まれる特徴点がどの程度ワーク画像に含まれるかが判断され、単純類似スコアS1が算出される。
識別部133の単純類似スコア算出部133aは、新しいモデル画像の処理を開始すると、特徴点の一致数を表す変数nを0に初期化する(ステップS201)。単純類似スコア算出部133aは、モデル画像内の各特徴点について、対応する特徴点がワーク画像中に存在するかどうか判断し(ステップS202)、存在する場合は、一致数nをインクリメントする(ステップS203)。単純類似スコア算出部133aは、全ての特徴点について上記の処理を繰り返し、対応する特徴点がワーク画像に存在する特徴点の数nの、モデル画像内の全特徴点の数Nに対する割合を、単純類似スコアS1として算出する(S205)。
図9に示すように、6種類のサイコロの画像をモデルとして用いた物体識別を行う場合を例として考える。簡単のために、サイコロの目の黒丸1つずつを特徴点とし、輪郭の正方形は画像特徴として考慮しないこととする。ここでは、「5」の目のサイコロがワーク画像であるとする。このワーク画像からは5つの特徴点が抽出される。
モデル画像「1」には1つの特徴点が存在し、その全てがワーク画像中にも存在するので、モデル画像「1」に対する単純類似スコアS1は「100」(n/Nを100倍して100点満点としている)となる。同様に、モデル画像「2」〜「5」についても単純類似スコアS1は「100」となる。モデル画像「6」については、6個の特徴点のうち4個のみがワーク画像に存在することから、単純類似スコアS1は「67」となる。
上記の各モデル画像の特徴点に対応する特徴点がワーク画像に存在するか否か照合する際に、単純類似スコア算出部133aは、ワーク画像中の各特徴点が各モデル画像内に含まれるかどうかという対応関係を記憶する(ステップS204)。図8を参照して、具体的に説明する。「5」の目のサイコロがワーク画像であった場合、ワーク画像からは5つの特徴点が抽出される。図8の列300に黒丸で示すように、それぞれの特徴点を特徴点1〜5とする(例えば、特徴点1は左上の目(ドット)である)。このワーク画像と「3」の目のモデル画像とを照合した場合、「5」の目の特徴点1,3,5について対応する特徴点がモデル画像中にも存在する。したがって、ステップS204では、図8に示すように、ワーク画像の特徴点1,3,5はモデル画像「3」に含まれ、特徴点2,4はモデル画像「3」に含まれないことが記憶される。なお、図8では対応する特徴点が存在することを丸印で表し、存在しないことを×印で表している。全てのモデル画像について、このような対応関係を記憶することで、ステップS201〜S205のループ処理を終了した時点で、図8に示すようなワーク画像の特徴点とモデル画像の特徴点との対応関係301が全て求められる。
ステップS201〜S205のループ処理が終了すると、識別部133の重み付き類似スコア算出部133bは、ワーク画像のそれぞれの特徴点について対応するモデル画像の数に応じた重みスコアを算出する(図7のステップS206)。図8に示すように、重み付き類似スコア算出部133bは、ワーク画像の各特徴点について、当該特徴点を含むモデル画像の個数302を求め、その個数302の逆数に応じた重みスコア303を算出する。例えば、「5」の目のモデル画像の特徴点1は、「2」「3」「4」「5」「6」の5個のモデル画像に含まれるので、特徴点1の重みスコアとして「20(=100/5)」が算出される。特徴点2は、「4」「5」「6」の3個のモデル画像に含まれるので、特徴点2の重みスコアは「33(=100/3)」となる。このようにして、ワーク画像の全ての特徴点について重みスコア302が求められる。なお、ここでは対応するモデル画像数の逆数に応じた値を重みスコアとしているが、モデル画像数が少ないほど重みスコアが大きい値となるようにすれば、その決定方法は任意であってよい。特徴点の重みスコアは、当該特徴点を含むモデル画像数を変数とする単調減少関数によって決定すればよい。例えば、全モデル画像数と特徴点を含むモデル画像数の差に基づいた値(差自体や全体数に対する差の割合など)を重みスコアとすることもできる。図8の例では、特徴点1の重みスコアは6−5=1や、(6−5)/6×100=16としてもよい。
多くのモデル画像で共通使用している特徴点は顕著性が低く、画像識別に対する貢献は小さいといえる。逆に、共通して使用されているモデル画像が少ない特徴点は顕著性が高く、画像識別に対する貢献が大きいといえる。したがって、上述のように、使用されているモデル画像が少ない特徴点ほど重みスコアを大きく設定することで、特徴点の顕著性を考慮した類似度を算出することができる。
次に、重み付き類似スコア算出部133bは、上記の重みスコアを利用して、ワーク画像と各モデル画像との間の重み付き類似スコアS2を算出する。具体的には、モデル画像中の特徴点のうちワーク画像に存在する特徴点の重みスコアの和を、重み付き類似スコアS2として算出する(S207)。図8に示すように、モデル画像「1」については、特徴点3のみが一致し、特徴点3の重みスコアは「33」なので、「33」がワーク画像(「5」の目のサイコロ)とモデル画像「1」との間の重み付き類似スコアS2となる。モデル画像「2」については、特徴点1,5が一致し、それぞれの重みスコアは「20」なので、その合計である「40」がワーク画像とモデル画像「2」との間の重み付き類似スコアS2となる。同様にして、全てのモデル画像との間の重み付き類似スコアが求められる。
識別部133は、ステップS205で求められた単純類似スコアS1と、ステップS207で求められた重み付き類似スコアS2とに基づいて、ワーク画像と各モデル画像との間の類似度(識別スコア)を算出する(S208)。ここでは、重み付き類似スコアS2を最大値が100となるように正規化し、正規化後の重み付き類似スコアS2と単純類似スコアS1との和を、識別スコアとする。
図9に、ワーク画像がサイコロの「5」である場合の、各モデル画像との間の単純類似スコアS1、重み付き類似スコアS2、および識別スコアを示す。重み付き類似スコアS2については、正規化後のスコアを括弧無しで示し、ステップS207で求めた値を括弧内に示してある。
識別部133は、識別スコアが最も高いモデル画像を、ワーク画像と最も良く合致すると判断して、ワークの種別を特定する(S209)。図9の例では、モデル画像「5」についての識別スコアが最大であるので、ワーク画像はモデル画像「5」(サイコロの「5」の目の画像)であると判別される。
サイコロの「1」〜「4」および「6」の目を入力画像とした場合の単純類似スコア、重み付き類似スコア、および識別スコアの算出結果を、図10(A)〜(C)、図11(A)〜(B)にそれぞれ示す。図10(C)、図11(A)、(B)に示すように、「3」、「4」、および「6」の目のサイコロが入力画像の場合は、単純類似スコアだけでは差がつかずに正しい識別ができないが、重み付き類似スコアを考慮した識別スコアを用いることで正しい識別可能となる。また、「1」および「2」の目では、重み付き類似スコアが複数のモデル画像について同じとなるが、単純類似スコアについて差が大きいので十分に識別が可能である。この例に示すように、単純類似スコアや重み付き類似スコアのいずれか一方のみを利用すると識別ができない場合も存在するが、これらの類似スコアを組み合わせることで正しい識別が可能となる。
以上の手法により、図12に示すような単純類似スコアのみに基づくテンプレートマッチング手法では正確な識別が行えないような場合でも、正確な識別が可能となる。これは、図9、図10(A)〜(C)、および図11(A)〜(B)に示すように、最も高い識別スコアと2番目に高い識別スコアの差が十分に大きくなるからである。正解モデルについては単純類似スコアおよび重み付き類似スコアの両方で高い値が得られ、正解モデル以外については単純類似スコアと重み付き類似スコアの少なくとも一方については低い値が得られる。したがって、正解モデルと正解モデル以外について上述の識別スコアの差が十分大きくなる。このように、正解モデルとそれ以外について識別スコアの差が大きくなるので、入力画像にノイズや歪みがある場合であっても正しい識別が可能となる。
また、本手法を採用するにあたり、従来のテンプレートマッチング手法に加えて、モデル画像特徴点と入力画像特徴点の対応関係の記憶と、この対応関係に基づく重みスコアの算出および重み付き類似スコアの算出を行えばよいだけなので、処理負荷はそれほど増加しない。類似するモデル画像が多く含まれる場合であっても、処理時間や記憶容量は、特許文献1のように爆発的に増加することはなく、従来手法(単純類似スコアのみを算出する手法)とほとんど変わらない。
(変形例)
上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。例えば上記実施形態では、本発明を物体判別装置に適用した例を説明したが、本発明の適用範囲はこれに限らず、類似画像検索装置などへ適用することも好ましい。
上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。例えば上記実施形態では、本発明を物体判別装置に適用した例を説明したが、本発明の適用範囲はこれに限らず、類似画像検索装置などへ適用することも好ましい。
上記の実施形態の説明では、単純類似スコアと重み付き類似スコアの単純和を識別スコアとして求めているが、これら2つの類似スコアを所定の割合で足し合わせた値(重み付き和)を識別スコアとして用いても構わない。この場合の重みの割合は、予め定められた値であってもよいし、ユーザが設定した値であってもよい。
また、識別スコアを求めずに、単純類似スコアと重み付き類似スコアをそれぞれ用いて物体種類の判別を行ってもよい。例えば、まず、単純類似スコアが大きいモデル画像を所定数個選択し、これらの中から重み付き類似スコアが最も高いモデル画像を、入力画像と合致すると判断することができる。ここで、単純類似スコアが大きい所定数個のモデル画像とは、単純類似スコアの上位所定数個のモデル画像であってもよいし、単純類似スコアの最大値から所定の閾値以内の単純類似スコアを有するモデル画像であってもよい。この場合の閾値は、スコアの絶対値で指定されてもよいし、最大値に対する割合で指定されてもよい。
また、上記の実施形態の説明では、単純類似スコアと重み付き類似スコアの両方に基づいて判別を行っているが、重み付き類似スコアのみに基づいて判別を行ってもよい。上述のように、重み付き類似スコアのみを用いる場合には正しい判別が行えないこともあるが、単純類似スコアに十分な差がつかなかった画像が入力される場合には正しい判別が可能である。
また、上記の実施形態の説明では、入力画像の照合を行う際に、特徴点ごとの重みスコアを算出しているが、重みスコアの算出はモデル画像の登録時に行ってもよい。すなわち、各モデル画像を入力画像として上記と同様の重みスコア算出処理を行うことで、特徴点ごとの重みスコアを求めることができる。画像識別時には、入力画像の特徴点とモデル画像の特徴点が一致した場合に、その特徴点の重みスコアを足しあわせて重み付き類似スコアを算出することも上記と同様にして行える。このようにしても、上記実施形態と同様の効果が得られる。
また、上記の実施形態の説明では、2次元画像(平面画像)を対象として画像識別を行う例を示しているが、本発明は、奥行き方向の情報が付加された3次元画像(立体画像)を対象とした画像識別にも適用可能である。この場合、モデル画像および入力画像のいずれもステレオカメラなどの測距機能付きの撮像装置を用いて撮影された画像を用いて、上記と同様の処理を行えばよい。また、本発明による特徴点の顕著性を考慮した識別処理は、静止画像だけでなく、動画像や音声データなどの時系列データに対しても同様に適用可能である。
1:画像センサ、2:ワーク、3:コンベヤ、4:PLC
10:画像処理装置、11:カメラ、12:ディスプレイ
130:画像入力部、131:検出部、132:特徴点抽出部、133:識別部、134:記憶部、135:出力部
10:画像処理装置、11:カメラ、12:ディスプレイ
130:画像入力部、131:検出部、132:特徴点抽出部、133:識別部、134:記憶部、135:出力部
Claims (10)
- 複数のモデル画像のそれぞれについて特徴点が登録されている記憶部と、
入力画像から特徴点を抽出する特徴点抽出部と、
前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第1の類似度を算出し、当該第1の類似度に基づいて前記入力画像を識別する識別部と、
を有し、
前記識別部は、前記第1の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコアを足し合わせることにより前記第1の類似度を算出するものであり、
前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である、
ことを特徴とする画像識別装置。 - 前記識別部は、前記入力画像の特徴点ごとに、当該特徴点と一致するモデル画像の数を求め、当該数に基づいて前記特徴点に応じたスコアを算出する、
ことを特徴とする請求項1に記載の画像識別装置。 - 前記識別部は、前記複数のモデル画像の特徴点ごとに、当該特徴点と一致するモデル画像の数を求め、当該数に基づいて前記特徴点に応じたスコアをあらかじめ算出しておく、
ことを特徴とする請求項1に記載の画像識別装置。 - 前記識別部は、前記複数のモデル画像のそれぞれについて、当該モデル画像の特徴点が前記入力画像の特徴点に含まれる割合に応じた第2の類似度も算出し、前記第1の類似度および前記第2の類似度に基づいて、前記入力画像と最も良く合致するモデル画像を決定する、
ことを特徴とする請求項1〜3のいずれか1項に記載の画像識別装置。 - 前記識別部は、前記第1の類似度と前記第2の類似度の単純和または重み付き和が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定する、
ことを特徴とする請求項4に記載の画像識別装置。 - 前記識別部は、前記第2の類似度が大きいモデル画像のうち、前記第1の類似度が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定する、
ことを特徴とする請求項4に記載の画像識別装置。 - 物体を撮影するカメラと、
前記カメラから入力された画像から前記物体の種類を判別し、その結果を出力する、請求項1〜6のうちいずれか1項に記載の画像識別装置と、を有する
ことを特徴とする画像センサ。 - 入力画像と合致するモデル画像を識別する画像識別方法であって、
複数のモデル画像のそれぞれについて特徴点が登録されている記憶部を有するコンピュータが、
入力画像から特徴点を抽出する特徴点抽出ステップと、
前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第1の類似度を算出し、当該第1の類似度に基づいて前記入力画像を識別する識別ステップと、
を実行し、
前記識別ステップでは、前記第1の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコアを足し合わせることにより前記第1の類似度を算出し、
前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である、
ことを特徴とする画像識別方法。 - 請求項8に記載の画像識別方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
- 請求項9に記載のプログラムを非一時的に記憶することを特徴とするコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/057003 WO2015136714A1 (ja) | 2014-03-14 | 2014-03-14 | 画像識別装置、画像センサ、画像識別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015136714A1 JPWO2015136714A1 (ja) | 2017-04-06 |
JP6176388B2 true JP6176388B2 (ja) | 2017-08-09 |
Family
ID=54071191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016507250A Active JP6176388B2 (ja) | 2014-03-14 | 2014-03-14 | 画像識別装置、画像センサ、画像識別方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10055670B2 (ja) |
EP (1) | EP3118813B1 (ja) |
JP (1) | JP6176388B2 (ja) |
CN (1) | CN106062820B (ja) |
WO (1) | WO2015136714A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
CN108460389B (zh) | 2017-02-20 | 2021-12-03 | 阿里巴巴集团控股有限公司 | 一种识别图像中对象的类型预测方法、装置及电子设备 |
CN108694398B (zh) * | 2017-04-06 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 一种图像分析方法及装置 |
JP6889865B2 (ja) * | 2017-09-22 | 2021-06-18 | オムロン株式会社 | テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム |
US11580721B2 (en) | 2017-11-07 | 2023-02-14 | Nec Corporation | Information processing apparatus, control method, and program |
JP6687591B2 (ja) * | 2017-12-26 | 2020-04-22 | ファナック株式会社 | 物品搬送装置、ロボットシステムおよび物品搬送方法 |
JP7207862B2 (ja) * | 2018-04-26 | 2023-01-18 | 株式会社日立製作所 | 物体認識装置および方法 |
JP6763914B2 (ja) * | 2018-06-08 | 2020-09-30 | ファナック株式会社 | ロボットシステムおよびロボットシステムの制御方法 |
JP7022036B2 (ja) | 2018-08-31 | 2022-02-17 | ファナック株式会社 | 物品取出システム |
US11200632B2 (en) * | 2018-11-09 | 2021-12-14 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
JP7186128B2 (ja) * | 2019-04-24 | 2022-12-08 | 株式会社日立製作所 | 物品認識システムおよび物品認識方法 |
CN110102906A (zh) * | 2019-05-10 | 2019-08-09 | 定颖电子(黄石)有限公司 | 一种镭刻打码系统及镭刻打码工艺 |
WO2021009986A1 (ja) * | 2019-07-12 | 2021-01-21 | 村田機械株式会社 | 画像認識方法及び画像認識装置 |
CN110458044A (zh) * | 2019-07-22 | 2019-11-15 | 苏州慧润百年物联科技有限公司 | 一种基于图像识别的判断地面浸水方法 |
CN113095341A (zh) * | 2019-12-23 | 2021-07-09 | 顺丰科技有限公司 | 一种图像匹配方法、装置及存储介质 |
US11948130B2 (en) * | 2020-01-30 | 2024-04-02 | BlueOwl, LLC | Systems and methods for waste management using recurrent convolution neural network with stereo video input |
CN111353419B (zh) * | 2020-02-26 | 2023-08-11 | 北京百度网讯科技有限公司 | 图像比对方法、装置、电子设备及存储介质 |
CN112950623B (zh) * | 2021-03-29 | 2024-08-02 | 云印技术(深圳)有限公司 | 一种唛头识别方法及系统 |
CN113591921B (zh) * | 2021-06-30 | 2024-07-19 | 北京旷视科技有限公司 | 图像识别方法及装置、电子设备、存储介质 |
CN115170566B (zh) * | 2022-09-07 | 2022-12-13 | 湖南视比特机器人有限公司 | 一种工件的识别方法和识别装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2853168B2 (ja) * | 1989-05-31 | 1999-02-03 | 株式会社明電舎 | パターン認識装置 |
EP1566788A3 (en) * | 2004-01-23 | 2017-11-22 | Sony United Kingdom Limited | Display |
WO2005086092A1 (ja) * | 2004-03-03 | 2005-09-15 | Nec Corporation | 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム |
JP4613617B2 (ja) * | 2005-01-07 | 2011-01-19 | ソニー株式会社 | 画像処理システム、学習装置および方法、並びにプログラム |
GB2431797B (en) * | 2005-10-31 | 2011-02-23 | Sony Uk Ltd | Image processing |
CN101110101A (zh) * | 2006-07-17 | 2008-01-23 | 松下电器产业株式会社 | 识别图像的方法及设备 |
WO2008111452A1 (ja) * | 2007-03-09 | 2008-09-18 | Omron Corporation | 認識処理方法およびこの方法を用いた画像処理装置 |
JP5018404B2 (ja) | 2007-11-01 | 2012-09-05 | ソニー株式会社 | 画像識別装置および画像識別方法、並びに、プログラム |
US20100166303A1 (en) * | 2008-12-31 | 2010-07-01 | Ali Rahimi | Object recognition using global similarity-based classifier |
JP5689629B2 (ja) * | 2010-08-30 | 2015-03-25 | Juki株式会社 | 画像処理装置 |
WO2012073421A1 (ja) * | 2010-11-29 | 2012-06-07 | パナソニック株式会社 | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 |
CN102938071B (zh) * | 2012-09-18 | 2015-06-03 | 西安电子科技大学 | 基于非局部均值的sar图像变化检测模糊聚类分析方法 |
CN103900715A (zh) * | 2012-12-27 | 2014-07-02 | 杭州美盛红外光电技术有限公司 | 红外选择装置和红外选择方法 |
-
2014
- 2014-03-14 EP EP14885695.8A patent/EP3118813B1/en active Active
- 2014-03-14 JP JP2016507250A patent/JP6176388B2/ja active Active
- 2014-03-14 US US15/121,886 patent/US10055670B2/en active Active
- 2014-03-14 WO PCT/JP2014/057003 patent/WO2015136714A1/ja active Application Filing
- 2014-03-14 CN CN201480076713.4A patent/CN106062820B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2015136714A1 (ja) | 2017-04-06 |
WO2015136714A1 (ja) | 2015-09-17 |
EP3118813A1 (en) | 2017-01-18 |
CN106062820A (zh) | 2016-10-26 |
US20170017862A1 (en) | 2017-01-19 |
EP3118813A4 (en) | 2017-11-01 |
US10055670B2 (en) | 2018-08-21 |
EP3118813B1 (en) | 2021-06-02 |
CN106062820B (zh) | 2018-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6176388B2 (ja) | 画像識別装置、画像センサ、画像識別方法 | |
JP6278108B2 (ja) | 画像処理装置、画像センサ、画像処理方法 | |
US20230410321A1 (en) | Information processing apparatus, control method, and program | |
CN105849774B (zh) | 图像对照装置、图像传感器、处理系统、图像对照方法 | |
US10063843B2 (en) | Image processing apparatus and image processing method for estimating three-dimensional position of object in image | |
US10275682B2 (en) | Information processing apparatus, information processing method, and storage medium | |
KR101551576B1 (ko) | 로봇 청소기, 제스쳐 인식 장치 및 방법 | |
US10713530B2 (en) | Image processing apparatus, image processing method, and image processing program | |
WO2015115274A1 (ja) | 物体判別装置、画像センサ、物体判別方法 | |
US9286669B2 (en) | Image processing apparatus, image processing method and program | |
CN113297963A (zh) | 多人姿态的估计方法、装置、电子设备以及可读存储介质 | |
JP2018081402A5 (ja) | ||
JP2015118582A5 (ja) | ||
US11816569B2 (en) | Processing method and processing device using same | |
JP2015184743A (ja) | 画像処理装置および物体認識方法 | |
CN111275693B (zh) | 一种图像中物体的计数方法、计数装置及可读存储介质 | |
WO2015136716A1 (ja) | 画像処理装置、画像センサ、画像処理方法 | |
WO2020003510A1 (ja) | 特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置 | |
JP2015187770A (ja) | 画像認識装置、画像認識方法及びプログラム | |
JP7035357B2 (ja) | 画像判定用コンピュータプログラム、画像判定装置及び画像判定方法 | |
KR101179401B1 (ko) | 정합쌍 분류장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6176388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |