JP6564679B2 - Image processing apparatus, same part detection method by image matching, and image processing program - Google Patents
Image processing apparatus, same part detection method by image matching, and image processing program Download PDFInfo
- Publication number
- JP6564679B2 JP6564679B2 JP2015207682A JP2015207682A JP6564679B2 JP 6564679 B2 JP6564679 B2 JP 6564679B2 JP 2015207682 A JP2015207682 A JP 2015207682A JP 2015207682 A JP2015207682 A JP 2015207682A JP 6564679 B2 JP6564679 B2 JP 6564679B2
- Authority
- JP
- Japan
- Prior art keywords
- dot
- dimensional shape
- data
- image data
- shape data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title description 20
- 238000000034 method Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 description 15
- 238000007689 inspection Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Description
本発明は、画像処理装置、画像マッチングによる同一部位検出方法および画像処理用プログラムに関し、特に、異なる時間に撮影された同じ空間に関する画像上から対応する部位を特定するための技術に関するものである。 The present invention relates to an image processing apparatus, an identical part detection method by image matching, and an image processing program, and more particularly to a technique for specifying a corresponding part from images on the same space photographed at different times.
従来、同一の空間を異なる時間に撮影した複数の画像を比較することにより、当該空間内にある対象物の変化を観察することが行われている。例えば、道路やトンネル、建造物などの対象物を定期的に撮影し、撮影された画像を比較することにより、当該対象物の変状の有無や劣化状況を点検することが行われている。その際、対象物の中の特定の部位のみに注目して時間経過による変化を観察することもある。 Conventionally, by comparing a plurality of images taken in the same space at different times, a change in an object in the space is observed. For example, objects such as roads, tunnels, buildings, etc. are periodically photographed, and the presence or absence of deterioration of the object and the state of deterioration are inspected by comparing the photographed images. At that time, attention may be paid to only a specific part in the object, and a change with time may be observed.
上記のように、画像の比較によって対象物の時間経過による変化を観察する場合、それぞれの画像の中から同じ対象物を同定する必要がある。対象物の中の特定の部位のみを比較する場合は、それぞれの画像の中からその同じ部位を同定する必要がある。従来、複数の画像からそれぞれ同一の部位を検出するために、所定のアルゴリズムに従って画像の特徴量を算出し、特徴量が互いに同じとなる部分を同一部位として検出するようにしていた。 As described above, when observing a change of an object over time by comparing images, it is necessary to identify the same object from each image. When comparing only a specific part in an object, it is necessary to identify the same part from each image. Conventionally, in order to detect the same part from a plurality of images, the feature amount of the image is calculated according to a predetermined algorithm, and portions having the same feature quantity are detected as the same part.
しかしながら、同一の空間を撮影した場合であっても、カメラの位置、姿勢、対象物までの距離などが過去の撮影時と完全に一致することはないため、撮影された画像もアングルや視野等が全く同じとはならない。そのため、特徴量による同一部位の検出がうまくいかないことがあるという問題があった。また、特定の部位に変化が生じていた場合には、その部位の特徴量は異なった値となるため、同一部位として検出できない場合があるという問題もあった。 However, even when the same space is photographed, the camera position, posture, distance to the object, etc. do not completely match those in the past photographing, so the photographed image also has an angle, field of view, etc. Are not exactly the same. For this reason, there has been a problem that detection of the same part by the feature amount may not be successful. In addition, when a change has occurred in a specific part, since the characteristic amount of the part has a different value, there is a problem that the same part may not be detected.
なお、過去に撮影したある対象物の画像に対して、現在撮影しようとしている同じ対象物の画面上の位置関係を正確に合わせることができるようにした撮影装置が提案されている（例えば、特許文献１参照）。この特許文献１に記載の撮像装置では、過去に撮影した画像を記憶する記憶媒体から所望の画像を読み出してメモリに一旦記憶した後、メモリで輝度信号成分のみの画像信号を生成して読み出し、撮影中の画像と合成表示を行う。撮影者は、表示された輝度信号成分のみの画像を参照しながら、撮影装置の位置や方向、画角を調整し、過去の画像と同じ位置関係になったときに撮影を行う。 Note that there has been proposed an imaging apparatus capable of accurately matching the positional relationship on the screen of the same object that is currently being captured with an image of a certain object that has been captured in the past (for example, a patent) Reference 1). In the imaging device described in Patent Document 1, a desired image is read out from a storage medium that stores images captured in the past, temporarily stored in a memory, and then an image signal of only a luminance signal component is generated and read out in the memory. Composite display with the image being shot. The photographer adjusts the position, direction, and angle of view of the photographing apparatus while referring to the displayed image of only the luminance signal component, and performs photographing when the same positional relationship as the past image is obtained.
また、同一検査対象物の同一箇所に対して探傷部を走査し、過去の探傷検査データと比較して検査対象物の健全性の評価を行う探傷検査装置において、複雑な形状をした検査対象物の探傷を時間をおいて行う場合であっても、作業性および再現性が良く精度良く探傷検査データを得ることができるようにした技術も提案されている（例えば、特許文献２参照）。 In addition, in a flaw detection inspection apparatus that scans the flaw detection part for the same part of the same inspection target and evaluates the soundness of the inspection target compared with past flaw detection inspection data, the inspection target having a complicated shape A technique has also been proposed in which flaw detection data can be obtained with good workability and reproducibility and high accuracy even when the flaw detection is performed after a long time (see, for example, Patent Document 2).
この特許文献２に記載の探傷検査装置では、予め定めた固定点Ａを基準点として検査対象物の画像データおよび検査対象物上を探傷走査した探傷部の走査軌跡データをセンサ部で計測する。画像処理部は、計測した画像データに基づいて、検査対象物の３次元形状データおよびその３次元形状データ上での探傷部の走査軌跡データを演算する。座標補正部は、記憶部に記憶された過去の検査対象物の３次元形状データとの座標のずれを補正し、現在の検査対象物の３次元形状データを過去の検査対象物の３次元形状データの座標に一致させ、表示装置に過去の探傷部の走査軌跡データを案内表示する。作業員は、この案内表示に従って探傷部を探傷走査する。また、特許文献２には、この案内表示に代えて、過去の探傷部の走査軌跡データに従って自動で探傷部を走査することも記載されている。 In the flaw detection inspection apparatus described in Patent Document 2, the image data of the inspection object and the scanning trajectory data of the flaw detection part that has been flaw-scanned on the inspection object are measured by the sensor unit with a predetermined fixed point A as a reference point. The image processing unit calculates the three-dimensional shape data of the inspection object and the scanning locus data of the flaw detection unit on the three-dimensional shape data based on the measured image data. The coordinate correction unit corrects a shift in coordinates with the three-dimensional shape data of the past inspection target stored in the storage unit, and the three-dimensional shape data of the current inspection target is used as the three-dimensional shape of the past inspection target. In accordance with the coordinates of the data, the scanning trajectory data of the past flaw detection part is guided and displayed on the display device. The worker performs flaw detection scanning on the flaw detection portion in accordance with this guidance display. Patent Document 2 also describes that the flaw detection part is automatically scanned in accordance with the scanning trajectory data of the past flaw detection part instead of this guidance display.
特許文献１に記載の技術によれば、過去に撮影した画像と今回撮影した画像とを一致させることができるので、両画上の同一箇所を、対象物の同一部位として検出することが可能となる。しかしながら、撮影者は、表示部を見ながら撮影装置の位置、方向、画角等を調整して撮影を行わなければならず、非常に面倒である。 According to the technique described in Patent Document 1, since an image captured in the past and an image captured this time can be matched, it is possible to detect the same part on both the images as the same part of the object. Become. However, the photographer must adjust the position, direction, angle of view, etc. of the photographing apparatus while looking at the display unit, which is very troublesome.
また、特許文献２に記載の技術によれば、過去に撮影した画像から演算した３次元形状データの座標に対して、今回撮影した画像から演算した３次元形状データの座標を一致させた上で、過去の探傷部の走査軌跡を案内表示したり、その走査軌跡データに従って自動で探傷部を走査したりしているので、過去の走査軌跡と同じ軌跡で探傷部の走査を行うことが可能となる。しかしながら、特許文献２に記載の技術を用いても、探傷部という機械的な設備を過去と同一の軌跡に従って検査対象物上を走査させることができるのみで、撮影した過去の画像と今回の画像とから互いに同一の部位を検出することはできない。 Further, according to the technique described in Patent Document 2, the coordinates of the three-dimensional shape data calculated from the image captured this time are matched with the coordinates of the three-dimensional shape data calculated from the image captured in the past. Since the scanning trajectory of the past flaw detection part is guided and displayed, or the flaw detection part is automatically scanned according to the scanning trajectory data, the flaw detection part can be scanned with the same trajectory as the past scanning trajectory. Become. However, even if the technique described in Patent Document 2 is used, it is only possible to scan the inspection target object according to the same trajectory as the past with a mechanical facility called a flaw detection unit. It is impossible to detect the same part from each other.
本発明は、このような問題を解決するために成されたものであり、異なる時間に撮影された画像のアングルや視野等が互いに異なっていても、また、画像内の特定の部位に時間経過による変化が生じていても、その部位を同一部位として検出することができるようにすることを目的とする。 The present invention has been made to solve such a problem, and even if the angles and fields of view of images taken at different times are different from each other, the time elapses at a specific part in the image. It is an object of the present invention to make it possible to detect a part as the same part even if a change due to the above occurs.
上記した課題を解決するために、本発明では、異なる時間に撮影された同じ空間に関する第１および第２の画像データをそれぞれ第１および第２の３次元形状データに再構成し、画像データの各々の画素と３次元形状データの各々のドットとを紐付けて保存するとともに、第１の３次元形状データおよび第２の３次元形状データの位置合わせを行う。そして、第１の画像データの中から特定の部位が指定された場合、当該特定の部位の画素に紐付けられているドットを第１の３次元形状データの中から特定し、当該ドットに対応する位置のドットを第２の３次元形状データの中から特定し、さらに、当該特定されたドットに紐付けられている画素から成る部位を第２の画像データの中から特定するようにしている。 In order to solve the above-described problem, in the present invention, the first and second image data relating to the same space photographed at different times are reconstructed into first and second three-dimensional shape data, respectively. Each pixel and each dot of the three-dimensional shape data are stored in association with each other, and the first three-dimensional shape data and the second three-dimensional shape data are aligned. Then, when a specific part is specified from the first image data, the dot associated with the pixel of the specific part is specified from the first three-dimensional shape data and corresponds to the dot The dot at the position to be specified is specified from the second three-dimensional shape data, and further, the part composed of the pixels associated with the specified dot is specified from the second image data. .
上記のように構成した本発明によれば、異なる時間に撮影された同じ空間に関する２つの画像データのアングルや視野等が互いに異なっていても、それぞれの画像データが３次元形状データに変換されて位置合わせされるので、アングルや視野等の違いが矯正される。その上で、２つの画像データのうち第１の画像データの中から特定の部位が指定されると、その部位に対応する第２の画像データ上の部位が、第１の３次元形状データ上のドットと、そのドットに対応する第２の３次元形状データ上のドットとを辿ることによって特定される。また、本発明によれば、画像の特徴量の一致判定により同一部位を特定していないので、第１の画像データの特定の部位において、第２の画像データが撮影されるまでの時間経過の間に変化が生じていても、当該特定の部位と同一の部位を第２の画像データから検出することができる。 According to the present invention configured as described above, each image data is converted into three-dimensional shape data even if the angles and fields of view of the same image taken at different times are different from each other. Because they are aligned, differences in angle and field of view are corrected. In addition, when a specific part is designated from the first image data of the two image data, the part on the second image data corresponding to the part is represented on the first three-dimensional shape data. And the dots on the second three-dimensional shape data corresponding to the dots are identified. Further, according to the present invention, since the same part is not specified by the matching determination of the feature amount of the image, the passage of time until the second image data is captured at the specific part of the first image data. Even if there is a change in between, the same part as the specific part can be detected from the second image data.
これにより、本発明によれば、異なる時間に撮影された画像のアングルや視野等が互いに異なっていても、また、画像内の特定の部位に時間経過による変化が生じていても、その部位を同一部位として検出することができる。 Thus, according to the present invention, even if the angles and fields of view of images taken at different times are different from each other, or even if a specific part in the image has changed over time, that part is It can be detected as the same site.
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による画像処理装置の機能構成例を示すブロック図である。図１に示すように、本実施形態の画像処理装置は、その機能構成として、画像データ入力部１、３次元データ生成部２、位置合わせ部３、表示部４、操作受付部５、第１のドット特定部６、第２のドット特定部７および対応部位特定部８を備えている。また、本実施形態の画像処理装置は、データ記憶媒体として、紐付けデータ記憶部１０を備えている。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a functional configuration example of the image processing apparatus according to the present embodiment. As shown in FIG. 1, the image processing apparatus according to the present embodiment includes an image data input unit 1, a three-dimensional data generation unit 2, an alignment unit 3, a display unit 4, an operation reception unit 5, and a first function configuration. The dot specifying part 6, the second dot specifying part 7, and the corresponding part specifying part 8 are provided. In addition, the image processing apparatus according to the present embodiment includes a linking data storage unit 10 as a data storage medium.
上記各機能ブロック１〜８は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１〜８は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された画像処理用プログラムが動作することによって実現される。 Each of the functional blocks 1 to 8 can be configured by any of hardware, DSP (Digital Signal Processor), and software. For example, when configured by software, each of the functional blocks 1 to 8 is actually configured by including a CPU, RAM, ROM, etc. of a computer, and is stored in a recording medium such as RAM, ROM, hard disk, or semiconductor memory. This is realized by operating the processing program.
したがって、上記各機能ブロック１〜８の機能は、上記画像処理用プログラムを例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記画像処理用プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、磁気テープ、光ディスク、光磁気ディスク、ＤＶＤ、不揮発性メモリカード等を用いることができる。また、上記画像処理用プログラムをインターネット等のネットワークを介してコンピュータにダウンロードすることによっても実現できる。 Therefore, the functions of the functional blocks 1 to 8 can be realized by recording the image processing program on a recording medium such as a CD-ROM and causing the computer to read the program. As a recording medium for recording the image processing program, a flexible disk, a magnetic tape, an optical disk, a magneto-optical disk, a DVD, a nonvolatile memory card, and the like can be used in addition to the CD-ROM. It can also be realized by downloading the image processing program to a computer via a network such as the Internet.
画像データ入力部１は、異なる時間に撮影された同じ空間に関する第１の画像データおよび第２の画像データを入力する。ここでは一例として、空間内の特定の部位について過去の状態と現在の状態とを比較して、時間経過によって何らかの変化が生じているか否かを検査するケースを想定する。この場合において、第１の画像データは、ある空間を撮影した過去の画像データであるとする。また、第２の画像データは、同じ空間を撮影した現在の画像データであるとする。 The image data input unit 1 inputs the first image data and the second image data related to the same space taken at different times. Here, as an example, a case is assumed in which a past state and a current state are compared with respect to a specific part in the space, and it is inspected whether any change has occurred over time. In this case, it is assumed that the first image data is past image data obtained by photographing a certain space. Further, it is assumed that the second image data is current image data obtained by photographing the same space.
本実施形態において入力する画像データは、連続した複数のフレームから成るビデオ画像データであり、各フレームは、異なる投影角度から撮影されたものである。なお、画像データ入力部１が入力する画像データは、ビデオ画像データに限らない。例えば、異なる投影角度から撮影された複数枚の静止画像データであってもよい。 The image data input in the present embodiment is video image data composed of a plurality of continuous frames, and each frame is taken from a different projection angle. The image data input by the image data input unit 1 is not limited to video image data. For example, a plurality of still image data captured from different projection angles may be used.
３次元データ生成部２は、画像データ入力部１により入力された第１の画像データおよび第２の画像データを、それぞれ第１の３次元形状データおよび第２の３次元形状データに再構成する。そして、画像データの各々の画素と３次元形状データの各々のドットとを紐付けて紐付けデータ記憶部１０に保存する。ここで、３次元データ生成部２は、公知の３次元再構成法を用いて、異なる投影角度から撮影された複数の２次元画像データの集合から、１つの３次元形状データを生成する。 The three-dimensional data generation unit 2 reconstructs the first image data and the second image data input by the image data input unit 1 into first three-dimensional shape data and second three-dimensional shape data, respectively. . Then, each pixel of the image data and each dot of the three-dimensional shape data are associated and stored in the association data storage unit 10. Here, the three-dimensional data generation unit 2 generates one piece of three-dimensional shape data from a set of a plurality of two-dimensional image data photographed from different projection angles using a known three-dimensional reconstruction method.
画像データの各画素と３次元形状データの各ドットとの紐付けは、画像データのフレーム毎に行う。すなわち、画像データが４枚のフレームから構成される場合、３次元データ生成部２は、１枚目のフレーム画像の各画素と３次元形状データの各ドットとの紐付けを行い、その紐付けを表すデータを紐付けデータ記憶部１０に保存する。２〜４枚目のフレーム画像についても同様に３次元形状データとの紐付けを行い、その紐付けを表すデータを紐付けデータ記憶部１０に保存する。 The association between each pixel of the image data and each dot of the three-dimensional shape data is performed for each frame of the image data. That is, when the image data is composed of four frames, the three-dimensional data generation unit 2 associates each pixel of the first frame image with each dot of the three-dimensional shape data, and associates the association. Is stored in the association data storage unit 10. Similarly, the second to fourth frame images are associated with the three-dimensional shape data, and data representing the association is stored in the association data storage unit 10.
位置合わせ部３は、３次元データ生成部２により第１の画像データから生成された第１の３次元形状データと、３次元データ生成部２により第２の画像データから生成された第２の３次元形状データとの位置合わせを行う。すなわち、過去と現在で同じの空間を撮影したとしても、カメラの位置や姿勢などが完全に一致することはないため、第１の画像データと第２の画像データは、アングルや視野等が全く同じとはならない。そのため、３次元データ生成部２により生成される３次元形状データも、形状自体は同じものとなっていても、位置がずれた状態となっている。位置合わせ部３は、公知の位置合わせ技術を用いてこの３次元形状データの位置ずれを補正し、第１の３次元形状データと第２の３次元形状データとの位置を一致させる。 The alignment unit 3 includes the first three-dimensional shape data generated from the first image data by the three-dimensional data generation unit 2 and the second three-dimensional data generated from the second image data by the three-dimensional data generation unit 2. Alignment with 3D shape data is performed. That is, even if the same space is photographed in the past and the present, the camera position and posture do not completely match, so the first image data and the second image data have absolutely no angle, field of view, etc. It will not be the same. Therefore, the three-dimensional shape data generated by the three-dimensional data generation unit 2 is also out of position even if the shape itself is the same. The alignment unit 3 corrects the positional shift of the three-dimensional shape data using a known alignment technique, and matches the positions of the first three-dimensional shape data and the second three-dimensional shape data.
表示部４は、画像データ入力部１により入力された画像データを図示しない表示装置に表示させる。操作受付部５は、表示部４により表示された第１の画像データの中から特定の部位を指定するユーザ操作を受け付ける。特定の部位の指定は、例えば、マウスのクリック操作またはドラッグ操作により行うことが可能である。クリック操作は、特定の部位として所望の１点を指定するときに行う。一方、ドラッグ操作は、特定の部位として所望の領域を指定するときに行う。 The display unit 4 displays the image data input by the image data input unit 1 on a display device (not shown). The operation reception unit 5 receives a user operation for designating a specific part from the first image data displayed by the display unit 4. Designation of a specific part can be performed, for example, by clicking or dragging with a mouse. The click operation is performed when a desired one point is designated as a specific part. On the other hand, the drag operation is performed when a desired region is designated as a specific part.
第１のドット特定部６は、第１の画像データの中から特定の部位が指定された場合、紐付けデータ記憶部１０を参照して、位置合わせ部３により位置合わせが行われた第１の３次元形状データの中から、上記指定された特定の部位の画素に紐付けられているドットを特定する。ここで、特定の部位の指定が１点（１画素）で行われている場合は、第１のドット特定部６は、その１画素に紐付けられている１つのドットを特定する。一方、特定の部位の指定が領域（複数画素）の指定で行われている場合は、第１のドット特定部６は、その複数画素に紐付けられている複数のドットをそれぞれ特定する。 The first dot specifying unit 6 refers to the first data that has been aligned by the alignment unit 3 with reference to the association data storage unit 10 when a specific part is designated from the first image data. From the three-dimensional shape data, the dot associated with the pixel of the specified specific part is specified. Here, when a specific part is designated at one point (one pixel), the first dot specifying unit 6 specifies one dot associated with the one pixel. On the other hand, when a specific part is specified by specifying a region (a plurality of pixels), the first dot specifying unit 6 specifies each of a plurality of dots associated with the plurality of pixels.
第２のドット特定部７は、位置合わせ部３により第１の３次元形状データと位置合わせが行われた第２の３次元形状データの中から、第１のドット特定部６により特定されたドットに対応する位置のドットを特定する。ここで、第１のドット特定部６により第１の３次元形状データ上の１つのドットが特定されている場合、第２のドット特定部７は、その１つのドットと同じ位置に対応する１つのドットを第２の３次元形状データから特定する。また、第１のドット特定部６により第１の３次元形状データ上の複数のドットが特定されている場合、第２のドット特定部７は、その複数のドットと同じ位置に対応する複数のドットを第２の３次元形状データから特定する。 The second dot specifying unit 7 is specified by the first dot specifying unit 6 from the second three-dimensional shape data that has been aligned with the first three-dimensional shape data by the positioning unit 3. The dot at the position corresponding to the dot is specified. Here, when one dot on the first three-dimensional shape data is specified by the first dot specifying unit 6, the second dot specifying unit 7 corresponds to the same position as that one dot. One dot is specified from the second three-dimensional shape data. When a plurality of dots on the first three-dimensional shape data are specified by the first dot specifying unit 6, the second dot specifying unit 7 has a plurality of dots corresponding to the same position as the plurality of dots. A dot is specified from the second three-dimensional shape data.
対応部位特定部８は、紐付けデータ記憶部１０を参照して、画像データ入力部１により入力された第２の画像データの中から、第２のドット特定部７により第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位を特定する。そして、表示部４は、第２の画像データ上で対応部位特定部８により特定された部位を表示させる。この表示の仕方は任意に決めることが可能である。例えば、操作受付部１６により指定された第１の画像データ上の特定の部位と、対応部位特定部８により特定された第２の画像データ上の特定の部位とを識別可能なように、当該部位に所定形状の枠を付けて表示する。 The corresponding part specifying unit 8 refers to the association data storage unit 10 and selects the second three-dimensional shape by the second dot specifying unit 7 from the second image data input by the image data input unit 1. A part consisting of pixels associated with the identified dot from the data is specified. Then, the display unit 4 displays the part specified by the corresponding part specifying unit 8 on the second image data. This display method can be arbitrarily determined. For example, the specific part on the first image data specified by the operation receiving unit 16 and the specific part on the second image data specified by the corresponding part specifying unit 8 can be identified. The part is displayed with a frame of a predetermined shape.
図２は、上記のように構成した本実施形態による画像処理装置の動作を説明するための図である。図２（ａ）は、ある空間を撮影した第１の画像データ（過去の画像データ）を示している。図２（ｂ）は、同じ空間を撮影した第２の画像データ（現在の画像データ）を示している。第１の画像データおよび第２の画像データは、共に４枚のフレーム画像から構成されている。 FIG. 2 is a diagram for explaining the operation of the image processing apparatus according to the present embodiment configured as described above. FIG. 2A shows first image data (past image data) obtained by photographing a certain space. FIG. 2B shows second image data (current image data) obtained by photographing the same space. Both the first image data and the second image data are composed of four frame images.
図２（ｃ）は、図２（ａ）に示した第１の画像データから３次元データ生成部２により生成された第１の３次元形状データを示している。図２（ｄ）は、図２（ｂ）に示した第２の画像データから３次元データ生成部２により生成された第２の３次元形状データを示している。 FIG. 2C shows first three-dimensional shape data generated by the three-dimensional data generation unit 2 from the first image data shown in FIG. FIG. 2D shows second 3D shape data generated by the 3D data generation unit 2 from the second image data shown in FIG.
ここで、図２（ａ）に示す第１の画像データを構成する各画素と、図２（ｃ）に示す第１の３次元形状データを構成する各ドットとの紐付けを表すデータが紐付けデータ記憶部１０に保存される。同様に、図２（ｂ）に示す第２の画像データを構成する各画素と、図２（ｄ）に示す第２の３次元形状データを構成する各ドットとの紐付けを表すデータが紐付けデータ記憶部１０に保存される。 Here, the data representing the association between each pixel constituting the first image data shown in FIG. 2A and each dot constituting the first three-dimensional shape data shown in FIG. It is stored in the attached data storage unit 10. Similarly, data representing the association between each pixel constituting the second image data shown in FIG. 2B and each dot constituting the second three-dimensional shape data shown in FIG. It is stored in the attached data storage unit 10.
さらに、図２（ｃ）に示す第１の３次元形状データと、図２（ｄ）に示す第２の３次元形状データとの位置合わせが位置合わせ部３により行われる。これにより、第１の３次元形状データを構成する各ドットの位置と、第２の３次元形状データを構成する各ドットの位置との対応付けが行われる。 Further, the alignment unit 3 performs alignment between the first three-dimensional shape data shown in FIG. 2C and the second three-dimensional shape data shown in FIG. As a result, the position of each dot constituting the first three-dimensional shape data is associated with the position of each dot constituting the second three-dimensional shape data.
ここで、表示部４によって図示しない表示装置に表示された図２（ａ）の第１の画像データ上で、特定の部位２１を指定するユーザ操作を操作受付部５が受け付けたとする。この場合、第１のドット特定部６は、紐付けデータ記憶部１０を参照して、図２（ｃ）に示す第１の３次元形状データの中から、上記指定された特定の部位２１の画素に紐付けられている部位２２のドットを特定する。 Here, it is assumed that the operation accepting unit 5 accepts a user operation for designating a specific part 21 on the first image data of FIG. 2A displayed on a display device (not shown) by the display unit 4. In this case, the first dot specifying unit 6 refers to the association data storage unit 10 and from the first three-dimensional shape data shown in FIG. The dot of the part 22 linked to the pixel is specified.
次に、第２のドット特定部７は、図２（ｄ）に示す第２の３次元形状データの中から、第１のドット特定部６により特定された部位２２のドットに対応する位置にある部位２３のドットを特定する。さらに、対応部位特定部８は、紐付けデータ記憶部１０を参照して、図２（ｂ）に示す第２の画像データの中から、第２の３次元形状データの中から特定された部位２３のドットに紐付けられている画素から成る部位２４を特定する。 Next, the second dot specifying unit 7 is located at a position corresponding to the dot of the part 22 specified by the first dot specifying unit 6 from the second three-dimensional shape data shown in FIG. The dot of a certain part 23 is specified. Further, the corresponding part specifying unit 8 refers to the association data storage unit 10 and specifies the part specified from the second three-dimensional shape data from the second image data shown in FIG. A part 24 composed of pixels linked to 23 dots is specified.
そして、表示部４は、第２の画像データ上で対応部位特定部８により特定された部位２４を表示させる。図３は、対応部位特定部８により第２の画像データ上で特定された部位２４の表示例を示す図である。図３の例では、第１の画像データおよび第２の画像データを並べて表示させ、第１の画像データ上で指定された特定の部位２１と、当該特定の部位２１に対応する部位として第２の画像データ上で特定された部位２４とを識別可能なように、各部位２１，２４の周囲に円形の枠３１，３４を付けて表示している。 Then, the display unit 4 displays the part 24 specified by the corresponding part specifying unit 8 on the second image data. FIG. 3 is a diagram illustrating a display example of the part 24 specified on the second image data by the corresponding part specifying unit 8. In the example of FIG. 3, the first image data and the second image data are displayed side by side, and a specific part 21 designated on the first image data and a part corresponding to the specific part 21 are the second. In order to be able to identify the part 24 specified on the image data, circular frames 31 and 34 are displayed around the parts 21 and 24.
図４は、本実施形態による画像処理装置の動作例を示すフローチャートである。図４において、まず、画像データ入力部１は、ある空間において過去に撮影された第１の画像データおよび同じ空間において現在撮影された第２の画像データを入力する（ステップＳ１）。 FIG. 4 is a flowchart showing an operation example of the image processing apparatus according to the present embodiment. In FIG. 4, first, the image data input unit 1 inputs the first image data captured in the past in a certain space and the second image data currently captured in the same space (step S1).
次に、３次元データ生成部２は、画像データ入力部１により入力された第１の画像データおよび第２の画像データを、それぞれ第１の３次元形状データおよび第２の３次元形状データに再構成する（ステップＳ２）。このとき、３次元データ生成部２は、画像データの各々の画素と３次元形状データの各々のドットとを紐付けて紐付けデータ記憶部１０に保存する。 Next, the three-dimensional data generation unit 2 converts the first image data and the second image data input by the image data input unit 1 into first three-dimensional shape data and second three-dimensional shape data, respectively. Reconfiguration is performed (step S2). At this time, the three-dimensional data generation unit 2 associates each pixel of the image data with each dot of the three-dimensional shape data and stores it in the association data storage unit 10.
さらに、位置合わせ部３は、第１の３次元形状データと第２の３次元形状データとの位置合わせを行う（ステップＳ３）。位置合わせが終わると、表示部４は、画像データ入力部１により入力された画像データを表示装置に表示させる（ステップＳ４）。なお、この画像データの表示は、ステップＳ１で画像データを入力した直後から行うようにしてもよい。 Further, the alignment unit 3 performs alignment between the first three-dimensional shape data and the second three-dimensional shape data (step S3). When the alignment is completed, the display unit 4 displays the image data input by the image data input unit 1 on the display device (step S4). The display of the image data may be performed immediately after the image data is input in step S1.
ここで、操作受付部５は、表示部４により表示された第１の画像データの中から特定の部位を指定するユーザ操作を受け付けたか否かを判定する（ステップＳ５）。当該ユーザ操作が行われていない場合は、ステップＳ５の判定処理が繰り返し実行される。 Here, the operation reception unit 5 determines whether or not a user operation for designating a specific part from the first image data displayed by the display unit 4 has been received (step S5). When the user operation is not performed, the determination process in step S5 is repeatedly executed.
一方、当該ユーザ操作を操作受付部５が受け付けた場合、第１のドット特定部６は、紐付けデータ記憶部１０を参照して、位置合わせが行われた第１の３次元形状データの中から、上記指定された特定の部位の画素に紐付けられているドットを特定する（ステップＳ６）。 On the other hand, when the operation accepting unit 5 accepts the user operation, the first dot specifying unit 6 refers to the association data storage unit 10 and includes the first three-dimensional shape data that has been aligned. From the above, the dot associated with the pixel of the specified specific part is specified (step S6).
さらに、第２のドット特定部７は、第１のドット特定部６により第１の３次元形状データ上で特定されたドットに対応する位置のドットを第２の３次元形状データの中から特定する（ステップＳ７）。次いで、対応部位特定部８は、紐付けデータ記憶部１０を参照して、第２のドット特定部７により第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位を第２の画像データの中から特定する（ステップＳ８）。 Further, the second dot specifying unit 7 specifies the dot at the position corresponding to the dot specified on the first three-dimensional shape data by the first dot specifying unit 6 from the second three-dimensional shape data. (Step S7). Next, the corresponding part identification unit 8 refers to the association data storage unit 10, and from the pixels associated with the dots identified from the second three-dimensional shape data by the second dot identification unit 7. A region to be formed is specified from the second image data (step S8).
そして、表示部４は、第２の画像データ上で対応部位特定部８により特定された部位を図示しない表示装置に表示させる（ステップＳ９）。これにより、図４に示すフローチャートの処理は終了する。 Then, the display unit 4 displays the part specified by the corresponding part specifying unit 8 on the second image data on a display device (not shown) (step S9). Thereby, the process of the flowchart shown in FIG. 4 is completed.
以上詳しく説明したように、本実施形態によれば、異なる時間に撮影された同じ空間に関する２つの画像データのアングルや視野等が互いに異なっていても、それぞれの画像データが３次元形状データに変換されて位置合わせされるので、アングルや視野等の違いが矯正される。その上で、２つの画像データのうち第１の画像データの中から特定の部位が指定されると、その部位に対応する第２の画像データ上の部位が、第１の３次元形状データ上のドットと、そのドットに対応する第２の３次元形状データ上のドットとを辿ることによって特定される。 As described above in detail, according to the present embodiment, even if the angles and fields of view of two image data related to the same space taken at different times are different from each other, each image data is converted into three-dimensional shape data. Thus, the difference in angle and field of view is corrected. In addition, when a specific part is designated from the first image data of the two image data, the part on the second image data corresponding to the part is represented on the first three-dimensional shape data. And the dots on the second three-dimensional shape data corresponding to the dots are identified.
また、本実施形態によれば、画像の特徴量の一致判定により同一部位を特定していないので、第１の画像データの特定の部位において、第２の画像データが撮影されるまでの時間経過の間に変化が生じていても、当該特定の部位と同一の部位を第２の画像データから検出することができる。 Further, according to the present embodiment, since the same part is not specified by the matching determination of the feature amount of the image, the time elapsed until the second image data is captured at the specific part of the first image data. Even if a change occurs between the two, the same part as the specific part can be detected from the second image data.
これにより、本実施形態によれば、異なる時間に撮影された画像のアングルや視野等が互いに異なっていても、また、画像内の特定の部位に時間経過による変化が生じていても、その部位を同一部位として検出することができる。 Thus, according to the present embodiment, even if the angle and field of view of images taken at different times are different from each other, or even if a specific part in the image has changed over time, that part Can be detected as the same site.
なお、上記実施形態では、ある空間を撮影した過去の画像データを第１の画像データとし、同じ空間を撮影した現在の画像データを第２の画像データとする例について説明したが、これとは逆に、過去の画像データを第２の画像データ、現在の画像データを第１の画像データとしてもよい。この場合、現在の撮影画像データ上で特定の部位を指定すると、その部位に対応する部位を過去の撮影画像データ上から特定することが可能である。 In the above embodiment, an example has been described in which past image data obtained by photographing a certain space is used as the first image data, and current image data obtained by photographing the same space is used as the second image data. Conversely, the past image data may be the second image data, and the current image data may be the first image data. In this case, when a specific part is designated on the current photographed image data, the part corresponding to the part can be identified from the past photographed image data.
また、上記実施形態では、第１の画像データを構成する１つのフレーム画像上で指定した特定の部位に対応する部位を、第２の画像データを構成する１つのフレーム画像上から特定する例について説明したが、本発明はこれに限定されない。例えば、第１の画像データを構成する１つのフレーム画像上で指定した特定の部位に対応する部位を、第２の画像データを構成する複数のフレーム画像上から特定するようにしてもよい。この場合、対応部位特定部８は、第２の画像データを構成する複数のフレーム画像の中から、第２のドット特定部７により第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位をそれぞれ特定する。 In the above-described embodiment, an example in which a part corresponding to a specific part specified on one frame image constituting the first image data is specified from one frame image constituting the second image data. Although described, the present invention is not limited to this. For example, a part corresponding to a specific part specified on one frame image constituting the first image data may be specified from a plurality of frame images constituting the second image data. In this case, the corresponding part specifying unit 8 is associated with the dot specified from the second three-dimensional shape data by the second dot specifying unit 7 from the plurality of frame images constituting the second image data. Each part composed of attached pixels is specified.
また、第１の画像データを構成する１つのフレーム画像上で指定した特定の部位に対応する部位を、第１の画像データを構成する残りのフレーム画像上から特定するようにしてもよい。この場合、画像処理装置は 第１の画像データを構成する複数のフレーム画像のうち、特定の部位の指定が行われたフレーム画像以外の残りのフレーム画像の中から、第１のドット特定部６により第１の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位をそれぞれ特定する第２の対応部位特定部を更に備える。 In addition, a part corresponding to a specific part specified on one frame image constituting the first image data may be specified from the remaining frame images constituting the first image data. In this case, the image processing apparatus uses the first dot specifying unit 6 from the remaining frame images other than the frame image in which the specific part is specified among the plurality of frame images constituting the first image data. Thus, a second corresponding part specifying unit for specifying each part made up of pixels associated with the dots specified from the first three-dimensional shape data is further provided.
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 In addition, each of the above-described embodiments is merely an example of actualization in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the gist or the main features thereof.
１ 画像データ入力部
２ ３次元データ生成部
３ 位置合わせ部
４ 表示部
５ 操作受付部
６ 第１のドット特定部
７ 第２のドット特定部
８ 対応部位特定部
１０ 紐付けデータ記憶部
DESCRIPTION OF SYMBOLS 1 Image data input part 2 3D data generation part 3 Positioning part 4 Display part 5 Operation reception part 6 1st dot specific part 7 2nd dot specific part 8 Corresponding site | part specific part 10 Linking data storage part
Claims (5)
上記３次元データ生成部により生成された上記第１の３次元形状データおよび上記第２の３次元形状データの位置合わせを行う位置合わせ部と、
上記第１の画像データの中から特定の部位が指定された場合、上記第１の３次元形状データの中から、上記特定の部位の画素に紐付けられているドットを特定する第１のドット特定部と、
上記位置合わせ部により上記第１の３次元形状データと位置合わせが行われた上記第２の３次元形状データの中から、上記第１のドット特定部により特定されたドットに対応する位置のドットを特定する第２のドット特定部と、
上記第２の画像データの中から、上記第２のドット特定部により上記第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位を特定する対応部位特定部とを備えたことを特徴とする画像処理装置。 The first image data and the second image data relating to the same space taken at different times are reconstructed into first three-dimensional shape data and second three-dimensional shape data, respectively, and each pixel of the image data and 3 A three-dimensional data generation unit that associates and stores each dot of the dimensional shape data;
An alignment unit for aligning the first three-dimensional shape data and the second three-dimensional shape data generated by the three-dimensional data generation unit;
When a specific part is specified from the first image data, a first dot that specifies a dot associated with the pixel of the specific part from the first three-dimensional shape data A specific part,
A dot at a position corresponding to a dot specified by the first dot specifying unit from the second three-dimensional shape data that has been aligned with the first three-dimensional shape data by the alignment unit. A second dot specifying part for specifying
Corresponding part specifying part for specifying a part composed of pixels linked to the dot specified from the second three-dimensional shape data by the second dot specifying part from the second image data An image processing apparatus comprising:
上記対応部位特定部は、上記第２の画像データを構成する複数のフレーム画像の中から、上記第２のドット特定部により上記第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位をそれぞれ特定することを特徴とする請求項１に記載の画像処理装置。 Each of the first image data and the second image data is composed of a plurality of frame images,
The corresponding part specifying unit is associated with a dot specified from the second three-dimensional shape data by the second dot specifying unit from among a plurality of frame images constituting the second image data. The image processing apparatus according to claim 1, wherein each of the parts made up of pixels is specified.
上記第１の画像データを構成する複数のフレーム画像のうち、上記特定の部位の指定が行われたフレーム画像以外の残りのフレーム画像の中から、上記第１のドット特定部により上記第１の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位をそれぞれ特定する第２の対応部位特定部を更に備えることを特徴とする請求項１または２に記載の画像処理装置。 Each of the first image data and the second image data is composed of a plurality of frame images,
Among the plurality of frame images constituting the first image data, the first dot specifying unit performs the first dot specifying unit from the remaining frame images other than the frame image in which the specific part is specified. 3. The image processing according to claim 1, further comprising: a second corresponding part specifying unit that specifies each part including pixels associated with the dots specified from the three-dimensional shape data. 4. apparatus.
上記画像処理装置の位置合わせ部が、上記３次元データ生成部により生成された上記第１の３次元形状データおよび上記第２の３次元形状データの位置合わせを行う第２のステップと、
上記画像処理装置の第１のドット特定部が、上記第１の画像データの中から特定の部位が指定された場合、上記第１の３次元形状データの中から、上記特定の部位の画素に紐付けられているドットを特定する第３のステップと、
上記画像処理装置の第２のドット特定部が、上記位置合わせ部により上記第１の３次元形状データと位置合わせが行われた上記第２の３次元形状データの中から、上記第１のドット特定部により特定されたドットに対応する位置のドットを特定する第４のステップと、
上記画像処理装置の対応部位特定部が、上記第２の画像データの中から、上記第２のドット特定部により上記第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位を特定する第５のステップとを有することを特徴とする画像マッチングによる同一部位検出方法。 The three-dimensional data generation unit of the image processing apparatus re-converts the first image data and the second image data relating to the same space, which are captured at different times, into the first three-dimensional shape data and the second three-dimensional shape data, respectively. Configuring and storing each pixel of the image data and each dot of the three-dimensional shape data in association with each other;
A second step in which an alignment unit of the image processing apparatus aligns the first three-dimensional shape data and the second three-dimensional shape data generated by the three-dimensional data generation unit;
When a specific part is specified from the first image data, the first dot specifying unit of the image processing apparatus applies the pixel of the specific part from the first three-dimensional shape data. A third step of identifying the associated dots;
The second dot specifying unit of the image processing device includes the first dot from the second three-dimensional shape data that has been aligned with the first three-dimensional shape data by the alignment unit. A fourth step of specifying a dot at a position corresponding to the dot specified by the specifying unit;
The corresponding part specifying unit of the image processing apparatus is linked to the dot specified from the second three-dimensional shape data by the second dot specifying unit from the second image data. And a fifth step of specifying a part made up of pixels. The same part detecting method by image matching.
上記３次元データ生成手段により生成された上記第１の３次元形状データおよび上記第２の３次元形状データの位置合わせを行う位置合わせ手段、
上記第１の画像データの中から特定の部位が指定された場合、上記第１の３次元形状データの中から、上記特定の部位の画素に紐付けられているドットを特定する第１のドット特定手段、
上記位置合わせ部により上記第１の３次元形状データと位置合わせが行われた上記第２の３次元形状データの中から、上記第１のドット特定手段により特定されたドットに対応する位置のドットを特定する第２のドット特定手段、および
上記第２の画像データの中から、上記第２のドット特定手段により上記第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位を特定する対応部位特定手段
としてコンピュータを機能させるための画像処理用プログラム。 The first image data and the second image data relating to the same space taken at different times are reconstructed into first three-dimensional shape data and second three-dimensional shape data, respectively, and each pixel of the image data and 3 Three-dimensional data generation means for linking and storing each dot of the dimensional shape data;
Alignment means for aligning the first three-dimensional shape data and the second three-dimensional shape data generated by the three-dimensional data generation means;
When a specific part is specified from the first image data, a first dot that specifies a dot associated with the pixel of the specific part from the first three-dimensional shape data Specific means,
The dot at the position corresponding to the dot specified by the first dot specifying means from the second 3D shape data that has been aligned with the first 3D shape data by the alignment unit The second dot specifying means for specifying the image and the second image data associated with the dot specified from the second three-dimensional shape data by the second dot specifying means An image processing program for causing a computer to function as corresponding part specifying means for specifying a part composed of pixels.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015207682A JP6564679B2 (en) | 2015-10-22 | 2015-10-22 | Image processing apparatus, same part detection method by image matching, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015207682A JP6564679B2 (en) | 2015-10-22 | 2015-10-22 | Image processing apparatus, same part detection method by image matching, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017079024A JP2017079024A (en) | 2017-04-27 |
| JP6564679B2 true JP6564679B2 (en) | 2019-08-21 |
Family
ID=58666122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015207682A Active JP6564679B2 (en) | 2015-10-22 | 2015-10-22 | Image processing apparatus, same part detection method by image matching, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6564679B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020194470A1 (en) * | 2019-03-25 | 2020-10-01 | 三菱電機株式会社 | Image generation device, image generation method, and image generation program |
-
2015
- 2015-10-22 JP JP2015207682A patent/JP6564679B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017079024A (en) | 2017-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
| JP6394081B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| EP1986154A1 (en) | Model-based camera pose estimation | |
| JP6446329B2 (en) | Camera calibration apparatus, camera system, and camera calibration method | |
| JP4885584B2 (en) | Rangefinder calibration method and apparatus | |
| CN100428782C (en) | Information processing method and apparatus | |
| JP5825256B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2011182397A (en) | Method and apparatus for calculating shift length | |
| JP2010219825A (en) | Photographing device for three-dimensional measurement | |
| JP2010141699A (en) | Imaging apparatus | |
| JP6594170B2 (en) | Image processing apparatus, image processing method, image projection system, and program | |
| JP2006067272A (en) | Apparatus and method for camera calibration | |
| JP5251410B2 (en) | Camera work calculation program, imaging apparatus, and camera work calculation method | |
| US11416978B2 (en) | Image processing apparatus, control method and non-transitory computer-readable recording medium therefor | |
| JP6564679B2 (en) | Image processing apparatus, same part detection method by image matching, and image processing program | |
| US11830177B2 (en) | Image processing apparatus, control method and non-transitory computer-readable recording medium therefor | |
| JP2007010419A (en) | Three-dimensional shape of object verifying system | |
| US10432916B2 (en) | Measurement apparatus and operation method of measurement apparatus | |
| JP2006017632A (en) | Three-dimensional image processor, optical axis adjustment method, and optical axis adjustment support method | |
| JP6412372B2 (en) | Information processing apparatus, information processing system, information processing apparatus control method, and program | |
| JP2005141655A (en) | Three-dimensional modeling apparatus and three-dimensional modeling method | |
| JP5728399B2 (en) | Measuring device, method and program | |
| JP2012054914A (en) | Camera parameter calibration device and program | |
| JP2020187557A (en) | Temperature image display device, temperature image display system and temperature image display program | |
| JP6641485B2 (en) | Position specifying device and position specifying method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180827 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190716 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190729 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6564679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |