JP7482654B2 - Edge detection system and program thereof - Google Patents
Edge detection system and program thereof Download PDFInfo
- Publication number
- JP7482654B2 JP7482654B2 JP2020041456A JP2020041456A JP7482654B2 JP 7482654 B2 JP7482654 B2 JP 7482654B2 JP 2020041456 A JP2020041456 A JP 2020041456A JP 2020041456 A JP2020041456 A JP 2020041456A JP 7482654 B2 JP7482654 B2 JP 7482654B2
- Authority
- JP
- Japan
- Prior art keywords
- edges
- polar coordinate
- edge detection
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003708 edge detection Methods 0.000 title claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを検出するエッジ検出システム、および、そのプログラムに関する。 The present invention relates to an edge detection system that detects the edges of an object in each of a plurality of captured images of a known moving object , and a program therefor.
従来、カメラによって取得された撮像画像中の物体を認識する手法が提案されている。例えば、特許文献1には、カメラによって取得された時系列的な画像群を入力とし、実空間情報によって学習する識別器を用いて物体を追跡する装置が開示されている。この識別器は、構造化SVMのアルゴリズムによって構築されており、物体追跡対象の画像毎に、この画像情報を入力することによって、物体の実空間での正解とされる位置情報を出力する。また、特許文献2には、オクルージョン発生時に専用の識別器を用いて物体を追従する装置が開示されている。この装置は、第1の識別器と、第2の識別器とを有し、これらはサポートベクタマシン(SVM)などによって構築されている。第1の識別器は、物体が描出された画像を用いて、この物体についての学習を行う。第1の識別器によって、物体識別対象の各画像における物体の領域を識別して、この物体を追跡するために用いられる。第2の識別器は、オクルージョンの発生時に、この物体の領域におけるオクルージョンの及んでいないオクルージョン外領域を用いて、この物体についての学習を行う。
Conventionally, a method for recognizing an object in an image captured by a camera has been proposed. For example, Patent Document 1 discloses an apparatus that tracks an object using a classifier that inputs a time-series group of images captured by a camera and learns from real space information. This classifier is constructed using a structured SVM algorithm, and outputs position information that is considered to be correct in real space for the object by inputting image information for each image of the object to be tracked.
ところで、ボールなどの物体の動きを追跡するアルゴリズムとして、背景などとの境目を物体のエッジとして検出する手法が知られているが、状況によって検出精度の低下を招き易いという課題があった。例えば、多色模様のボールが回転によって混色した場合、その色味が背景の色味に近くなって、ボールの誤検出が生じ易い。 A method is known as an algorithm for tracking the movement of an object such as a ball, which detects the boundary with the background as the edge of the object. However, this method has the problem that it can easily lead to a decrease in detection accuracy depending on the situation. For example, if a multi-colored ball mixes colors as it rotates, the color of the ball becomes close to the color of the background, which can easily lead to false detection of the ball.
本発明は、かかる事情に鑑みてなされたものであり、その目的は、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを精度良く検出することである。 The present invention has been made in consideration of the above circumstances, and its purpose is to accurately detect the edges of an object in a captured image for each of a plurality of captured images of a known moving object .
かかる課題を解決すべく、第1の発明は、極座標変換部と、領域分割部と、学習モデルと、領域統合部とを有し、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを検出するエッジ検出システムを提供する。極座標変換部は、撮像画像を極座標系に変換して、極座標画像を生成する。領域分割部は、極座標変換部によって生成された極座標画像を所定の角度領域毎に分割する。学習モデルは、領域分割部によって分割されたそれぞれの角度領域におけるカラーまたはグレースケールの画像データに基づいて、物体のエッジを角度領域毎に識別する。領域統合部は、学習モデルによって識別された角度領域毎の物体のエッジを統合して、物体のエッジの二次元分布を生成する。 In order to solve such problems, a first invention provides an edge detection system having a polar coordinate conversion unit, a region division unit, a learning model, and a region integration unit, which detects edges of an object in each of a plurality of captured images obtained by successively capturing images of a known moving object . The polar coordinate conversion unit converts the captured images into a polar coordinate system to generate a polar coordinate image. The region division unit divides the polar coordinate image generated by the polar coordinate conversion unit into predetermined angular regions. The learning model identifies edges of the object for each angular region based on color or grayscale image data in each angular region divided by the region division unit. The region integration unit integrates the edges of the object for each angular region identified by the learning model to generate a two-dimensional distribution of the edges of the object.
ここで、第1の発明において、上記学習モデルは、画像データの特徴に応じて物体のエッジが適切に出力されるように、自己が有する関数の内部パラメータが調整されたニューラルネットワークを有していてもよい。この場合、画像データにおける物体のエッジの位置を教示する教師データを用いた教師あり学習によって、内部パラメータを調整する学習処理部を設けることが好ましい。 Here, in the first invention, the learning model may have a neural network in which the internal parameters of the functions it possesses are adjusted so that the edges of the object are appropriately output according to the characteristics of the image data. In this case, it is preferable to provide a learning processing unit that adjusts the internal parameters by supervised learning using training data that teaches the positions of the edges of the object in the image data.
第1の発明において、上記領域分割部は、角度領域が部分的にオーバーラップするように、極座標画像を分割してもよい。また、領域統合部によって生成された物体のエッジの二次元分布に基づいて、物体を認識する物体認識部をさらに設けてもよい。 In the first invention, the region division unit may divide the polar coordinate image so that the angular regions partially overlap. Also, an object recognition unit may be further provided that recognizes objects based on the two-dimensional distribution of edges of the objects generated by the region integration unit.
第2の発明は、以下のステップをコンピュータに実行させることによって、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを検出するエッジ検出プログラムを提供する。第1のステップでは、撮像画像を極座標系に変換して、極座標画像を生成する。第2のステップでは、極座標画像を所定の角度領域毎に分割する。第3のステップでは、角度領域のそれぞれにおけるカラーまたはグレースケールの画像データを学習モデルに入力して、物体のエッジを角度領域毎に識別する。第4のステップでは、角度領域毎に識別された物体のエッジを統合して、物体のエッジの二次元分布を生成する。 A second invention provides an edge detection program for detecting edges of an object in each of a plurality of captured images of a known moving object by having a computer execute the following steps: In a first step, the captured image is converted into a polar coordinate system to generate a polar coordinate image; In a second step, the polar coordinate image is divided into predetermined angular regions; In a third step, color or grayscale image data in each angular region is input to a learning model to identify edges of the object for each angular region; In a fourth step, the edges of the object identified for each angular region are integrated to generate a two-dimensional distribution of the edges of the object.
ここで、第2の発明において、上記学習モデルは、画像データの特徴に応じて物体のエッジが適切に出力されるように、自己が有する関数の内部パラメータが調整されたニューラルネットワークを有していてもよい。この場合、画像データにおける物体のエッジの位置を教示する教師データを用いた教師あり学習によって、内部パラメータを調整する第5のステップを設けることが好ましい。 Here, in the second invention, the learning model may have a neural network in which the internal parameters of the functions it possesses are adjusted so that the edges of the object are appropriately output according to the characteristics of the image data. In this case, it is preferable to provide a fifth step of adjusting the internal parameters by supervised learning using training data that teaches the positions of the edges of the object in the image data.
第2の発明において、上記第2のステップは、角度領域が部分的にオーバーラップするように、極座標画像を分割してもよい。また、上記物体のエッジの二次元分布に基づいて、物体を認識する第6のステップをさらに設けてもよい。 In the second invention, the second step may divide the polar coordinate image so that the angular regions partially overlap. Also, a sixth step may be further provided of recognizing the object based on a two-dimensional distribution of the edges of the object.
本発明によれば、極座標画像を所定の角度領域毎に分割し、それぞれの角度領域におけるカラーまたはグレースケールの画像データを学習モデルに入力することによって、物体のエッジを角度領域毎に識別する。そして、角度領域単位で識別された物体のエッジ群を統合することで、物体のエッジの二次元的な分布が生成される。学習モデルを用いて物体のエッジを角度領域毎に識別することで、既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを精度良く検出することができる。 According to the present invention, a polar coordinate image is divided into predetermined angular regions, and color or grayscale image data for each angular region is input to a learning model to identify object edges for each angular region. Then, a two-dimensional distribution of object edges is generated by integrating object edges identified for each angular region. By using the learning model to identify object edges for each angular region, it is possible to accurately detect object edges in captured images for each of a plurality of images captured consecutively of a known object .
図1は、本実施形態に係るエッジ検出システムのブロック図である。このエッジ検出システム1は、動きのある既知の物体(検出対象)に追従して撮像画像を連続的に撮像し、それぞれの撮像画像について、物体のエッジ、すなわち、物体とそれ以外のもの(背景など)との境目を検出する。エッジ検出システム1は、カメラ2と、極座標変換部3と、領域分割部4と、学習モデル5と、学習処理部6と、領域統合部7と、物体認識部8とを有する。
Figure 1 is a block diagram of an edge detection system according to this embodiment. This edge detection system 1 captures images in succession while tracking a known moving object (detection target), and detects the edge of the object, i.e., the boundary between the object and other things (such as the background), for each captured image. The edge detection system 1 has a
カメラ2は、検出対象となる物体が移動する範囲(移動空間)がカメラ視野に収まるように配置されており、カラーまたはグレースケールの撮像画像(輝度画像)を極座標変換部3に出力する。なお、極座標変換部3において処理される撮像画像は、カメラ2によって取得された画像全体であってもよいが、その一部のみを切り出した部分画像であってもよい。
The
極座標変換部3は、カメラ2によって取得された撮像画像(xy直交座標系)を極座標系に変換して、極座標画像を生成する。ここで、「極座標系」とは、原点Oからの距離rと角度θという2つの変数からなる座標系をいう。基本的に、直交座標系および極座標系は一対一の対応関係にあり、例えば、極座標系の基本形である円座標を考えた場合、以下の数式に基づいて座標変換が行われる。
The polar
[変換式]
x=r*cos θ
y=r*sin θ
[Conversion formula]
x = r * cos θ
y = r * sin θ
例えば、検出対象となる物体の一例として、図2に示す模様付きの球(バレーボールの球)を想定する。この場合、撮像画像の中心を原点Oとして極座標変換が行われ、これによって、図3に示すような極座標画像が生成される。この極座標画像は、原点Oを中心とした360°全周における輝度の二次元分布を示しており、同図左側が球に由来した分布、同図右側が球以外の物(背景など)に由来した分布となる。 For example, consider a patterned ball (volleyball) as shown in Figure 2 as an example of an object to be detected. In this case, polar coordinate transformation is performed with the center of the captured image as the origin O, thereby generating a polar coordinate image as shown in Figure 3. This polar coordinate image shows a two-dimensional distribution of luminance over a full 360° circumference centered on the origin O, with the left side of the figure being the distribution originating from the ball and the right side being the distribution originating from things other than the ball (such as the background).
領域分割部4は、極座標変換部3によって生成された極座標画像を所定の角度領域毎に分割して、横短冊状に延在する複数の角度領域を生成する。図4は、極座標画像を分割した一例を示す図である。角度領域の分解能、すなわち、1つの角度領域の縦幅は、予め規定されている。例えば、角度領域を1°(n=1)幅で分割し、360本の角度領域を規定してもよい。また、角度領域をn°(n≧2)幅で分割して、360/n本の角度領域を規定してもよい。さらに、隣り合った角度領域が部分的にオーバーラップするように、角度領域を規定してもよい。例えば、角度領域を2°幅とし、1°ずつオーバーラップさせることで、359本の角度領域を規定するといった如くである。
The region division unit 4 divides the polar coordinate image generated by the polar
学習モデル5は、領域分割部4によって分割されたそれぞれの角度領域の画像データ(輝度分布)に基づいて、物体のエッジを識別する。学習モデル5は、所与の問題解決能力を備えており、例えば、人の脳神経を模したニューラルネットワークを主体に構築することができる。ここで、「ニューラルネットワーク」とは、ニューロンを数理モデル化したものの組み合わせであって、入力層と、隠れ層と、出力層とを有する。入力層は、隠れ層に入力信号を伝達する際、活性化関数による重み付けが行われる。そして、隠れ層の層数に応じた重み付けを伴う伝達が繰り返され、出力層に伝達された信号が最終的に出力される。本明細書において、「ニューラルネットワーク」は、ニューラルネットワークとしての最も原始的な構成のみならず、畳み込みニューラルネットワーク(CNN)や再起型ニューラルネットワーク(RNN)の如く、その派生形や発展形などを広く包含する。
The
学習モデル5は、所定の関数(Y=f(X,θ))を備えており、その内部パラメータθ、例えば、ニューラルネットワークの結合重みは、それぞれの角度領域の画像データの特徴に応じて物体のエッジが適切に出力されるように、事前の学習によって予め調整されている。
The
学習処理部6は、記画像データにおける物体のエッジの位置を教示する教示データを用いた教師あり学習によって、学習モデル5の学習処理を行う。この学習処理によって、学習モデル5の内部パラメータθが調整される。大量かつ多様な教師データを用いた教師あり学習を繰り返すことで、様々な入力に対して適切な出力が得られるように学習モデル5が最適化される。なお、学習モデル5としては、上述したニューラルネットワークの他、サポートベクターマシン、決定木、ベイジアンネットワーク、線形回帰、多変量解析、ロジスティック回帰分析、判定分析等の機械学習手法を用いてもよい。
The learning processing unit 6 performs a learning process for the
図5は、学習モデル5によるエッジ検出の説明図である。同図に示すように、物体のエッジe(点)は、学習モデル5に入力される角度領域毎に識別され、横短冊状の角度領域の延在方向(一次元方向)における位置として出力される。これにより、角度領域の入力数(360/n本)に対して、最大でこれと同数のエッジeが識別されることになる。なお、学習モデル5によるエッジ検出は、1つの学習モデル5に角度領域を順番に入力する逐次処理にて行ってもよいが、複数の学習モデル5を用いた並列処理にて行ってもよい。並列処理を行うことで、エッジ検出の全体的なスループットの向上を図ることができる。
Figure 5 is an explanatory diagram of edge detection by the
領域統合部7は、学習モデル5によって角度領域毎に識別されたエッジe(点)を元の極座標系に統合して、図6に示すような物体のエッジE(点の集合である線)を示す二次元分布を生成する。エッジE(線)を生成する際には、エッジe(点)の集合に対して、平均化、所定形状(円など)へのあてはめ、あるいは、平滑化などの処理が必要に応じて行われる。これにより、検出対象となる物体の輪郭が特定される。なお、領域統合部7は、極座標系の二次元分布に対して極座標逆変換を施すことによって、図7に示すような直交座標系の二次元分布を生成してもよい。
The region integration unit 7 integrates the edges e (points) identified for each angle region by the
物体認識部8は、領域統合部7によって生成された物体のエッジEの二次元分布に基づいて、物体を認識する。例えば、直交座標に戻された二次元分布において、確率的ハフ変換で円を検出することによって、検出対象となる球を認識することができる。なお、物体の認識に関して、極座標系のままであって物体の形状(球の場合には半径や中心)を推定することが可能であるため、直交座標系への変換は必須ではなく、極座標系ベースで行ってもよい。
The
このように、本実施形態によれば、極座標画像を所定の角度領域毎に分割し、それぞれの角度領域におけるカラーまたはグレースケールの画像データを学習モデル5に入力することによって、物体のエッジを角度領域毎に識別する。そして、角度領域単位で識別された物体のエッジ群を統合することで、物体のエッジの二次元的な分布が生成される。学習モデル5を用いて物体のエッジを角度領域毎に識別することで、既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを精度良く検出することができる。特に、本実施形態によれば、学習モデル5としてニューラルネットワークを用い、物体の誤検出が生じ易い状況について十分な学習を行っておくことで、物体の誤検出を有効に抑制できる。
In this manner, according to the present embodiment, the polar coordinate image is divided into predetermined angular regions, and color or grayscale image data in each angular region is input to the
なお、本発明は、上述したエッジ検出システム1を構成する機能的なブロック3~8をコンピュータで等価的に実現するコンピュータ・プログラム(エッジ検出プログラム)として捉えることもできる。
The present invention can also be understood as a computer program (edge detection program) that equivalently realizes the
1 エッジ検出システム
2 カメラ
3 極座標変換部
4 領域分割部
5 学習モデル
6 学習処理部
7 領域統合部
8 物体認識部
REFERENCE SIGNS LIST 1
Claims (10)
前記撮像画像を極座標系に変換して、極座標画像を生成する極座標変換部と、
前記極座標変換部によって生成された極座標画像を所定の角度領域毎に分割する領域分割部と、
前記領域分割部によって分割されたそれぞれの角度領域におけるカラーまたはグレースケールの画像データに基づいて、物体のエッジを角度領域毎に識別する学習モデルと、
前記学習モデルによって識別された角度領域毎の物体のエッジを統合して、物体のエッジの二次元分布を生成する領域統合部と
を有することを特徴とするエッジ検出システム。 1. An edge detection system for detecting an edge of a known moving object in each of a plurality of captured images obtained by successively capturing images of the object, comprising:
a polar coordinate conversion unit that converts the captured image into a polar coordinate system to generate a polar coordinate image;
a region dividing unit that divides the polar coordinate image generated by the polar coordinate conversion unit into regions of a predetermined angle;
a learning model that identifies an edge of an object for each angular region based on color or grayscale image data in each angular region divided by the region dividing unit;
and a region integration unit that integrates the edges of the object for each angle region identified by the learning model to generate a two-dimensional distribution of the edges of the object.
前記撮像画像を極座標系に変換して、極座標画像を生成する第1のステップと、
前記極座標画像を所定の角度領域毎に分割する第2のステップと、
前記角度領域のそれぞれにおけるカラーまたはグレースケールの画像データを学習モデルに入力して、物体のエッジを角度領域毎に識別する第3のステップと、
前記角度領域毎に識別された物体のエッジを統合して、物体のエッジの二次元分布を生成する第4のステップと
を有する処理をコンピュータに実行させることを特徴とするエッジ検出プログラム。 1. An edge detection program for detecting an edge of a known moving object in each of a plurality of captured images obtained by successively capturing the image of the object, comprising:
a first step of converting the captured image into a polar coordinate system to generate a polar coordinate image;
a second step of dividing the polar coordinate image into predetermined angular regions;
a third step of inputting color or grayscale image data in each of the angular regions into a learning model to identify edges of objects for each angular region;
and a fourth step of integrating the edges of the object identified for each angle region to generate a two-dimensional distribution of the edges of the object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020041456A JP7482654B2 (en) | 2020-03-11 | 2020-03-11 | Edge detection system and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020041456A JP7482654B2 (en) | 2020-03-11 | 2020-03-11 | Edge detection system and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021144371A JP2021144371A (en) | 2021-09-24 |
JP7482654B2 true JP7482654B2 (en) | 2024-05-14 |
Family
ID=77766603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020041456A Active JP7482654B2 (en) | 2020-03-11 | 2020-03-11 | Edge detection system and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7482654B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002158923A (en) | 2000-11-20 | 2002-05-31 | Fuji Photo Film Co Ltd | Abnormal shadow image detection method and device thereof |
WO2012005242A1 (en) | 2010-07-05 | 2012-01-12 | 日本電気株式会社 | Image processing device and image segmenting method |
-
2020
- 2020-03-11 JP JP2020041456A patent/JP7482654B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002158923A (en) | 2000-11-20 | 2002-05-31 | Fuji Photo Film Co Ltd | Abnormal shadow image detection method and device thereof |
WO2012005242A1 (en) | 2010-07-05 | 2012-01-12 | 日本電気株式会社 | Image processing device and image segmenting method |
Also Published As
Publication number | Publication date |
---|---|
JP2021144371A (en) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111563446B (en) | Human-machine interaction safety early warning and control method based on digital twin | |
EP3407292B1 (en) | Neural network point cloud generation system | |
CN109658413B (en) | Method for detecting grabbing position of robot target object | |
CN111695562B (en) | Autonomous robot grabbing method based on convolutional neural network | |
EP3399466A1 (en) | Neural network training image generation system | |
Liu et al. | Tactile image based contact shape recognition using neural network | |
Tan et al. | Multialgorithm fusion image processing for high speed railway dropper failure–defect detection | |
Shinzato et al. | Fast visual road recognition and horizon detection using multiple artificial neural networks | |
US11475589B2 (en) | 3D pose estimation by a 2D camera | |
KR102649930B1 (en) | Systems and methods for finding and classifying patterns in images with a vision system | |
WO2019171628A1 (en) | Image processing system and image processing method | |
US11554496B2 (en) | Feature detection by deep learning and vector field estimation | |
Jiang et al. | Vision-guided active tactile perception for crack detection and reconstruction | |
Chen et al. | YOLOv7-WFD: A Novel Convolutional Neural Network Model for Helmet Detection in High-Risk Workplaces | |
JP2021163502A (en) | Three-dimensional pose estimation by multiple two-dimensional cameras | |
JP7482654B2 (en) | Edge detection system and program thereof | |
CN113793371A (en) | Target segmentation tracking method and device, electronic equipment and storage medium | |
Gao et al. | An automatic assembling system for sealing rings based on machine vision | |
CN109934155B (en) | Depth vision-based collaborative robot gesture recognition method and device | |
Hou et al. | Neural units with higher-order synaptic operations for robotic image processing applications | |
Verma et al. | Image sequence prediction using ANN and RBFNN | |
Bäuerle et al. | CAD2Real: Deep learning with domain randomization of CAD data for 3D pose estimation of electronic control unit housings | |
Hussain et al. | Tracking and replication of hand movements by teleguided intelligent manipulator robot | |
US20240046659A1 (en) | Method for detecting an environment by means of images from at least two image sensors | |
JP2020035338A (en) | Object detection method and object detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200330 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7482654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |