JP6799325B2 - Image correction device, image correction method, attention point recognition device, attention point recognition method and abnormality detection system - Google Patents
Image correction device, image correction method, attention point recognition device, attention point recognition method and abnormality detection system Download PDFInfo
- Publication number
- JP6799325B2 JP6799325B2 JP2017105517A JP2017105517A JP6799325B2 JP 6799325 B2 JP6799325 B2 JP 6799325B2 JP 2017105517 A JP2017105517 A JP 2017105517A JP 2017105517 A JP2017105517 A JP 2017105517A JP 6799325 B2 JP6799325 B2 JP 6799325B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- captured image
- interest
- filter calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003702 image correction Methods 0.000 title claims description 58
- 238000000034 method Methods 0.000 title claims description 55
- 230000005856 abnormality Effects 0.000 title claims description 21
- 238000001514 detection method Methods 0.000 title claims description 16
- 238000004364 calculation method Methods 0.000 claims description 89
- 238000012937 correction Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 15
- 230000009466 transformation Effects 0.000 description 9
- 210000000746 body region Anatomy 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Description
本発明は、歪みのある広角・魚眼画像の補正方法等に関するものである。 The present invention relates to a method for correcting a distorted wide-angle / fisheye image and the like.
近年、生活の安全・安心のために監視カメラの増設が進んでおり、膨大な映像データが蓄積されるようになっている。この膨大なデータの全てを人間が解析することは困難であるため、映像から自動的に異常を検知する技術が求められている。 In recent years, the number of surveillance cameras has been increasing for the safety and security of life, and a huge amount of video data has been accumulated. Since it is difficult for humans to analyze all of this enormous amount of data, there is a need for a technology that automatically detects abnormalities from images.
この種の検知方法として、認識対象を含む矩形内から特徴抽出を行い、正常値及び異常値を互いに比較する方法（以下、「特徴量抽出方法」という場合がある）が知られている。 As a detection method of this kind, a method of extracting features from a rectangle including a recognition target and comparing normal values and outliers with each other (hereinafter, may be referred to as "feature amount extraction method") is known.
別の検知方法として、画像中における認識対象の顔、肘、手首などの注目点座標を利用する方法（以下、「注目点認識方法」という場合がある）が検討されている。特許文献１には、映像又は画像に含まれる人物の部位を認識する部位認識装置において、前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出手段と、前記人体領域検出手段により得られる人体領域から所定の部位を認識する部位認識手段とを有し、前記部位認識手段は、前記人体領域検出手段により得られる人体領域の画像のうち、予め設定された形状と一致する領域を、前記形状に対応して設定された前記所定の部位として認識することを特徴とする部位認識装置が開示されている。 As another detection method, a method of using the coordinates of the point of interest such as the face, elbow, and wrist to be recognized in the image (hereinafter, may be referred to as "point of interest recognition method") is being studied. Patent Document 1 describes a human body region detecting means for detecting a human body region of at least one person included in the video or image in a site recognition device that recognizes a human body portion included in the video or image, and the human body region. It has a part recognition means that recognizes a predetermined part from the human body area obtained by the detection means, and the part recognition means matches a preset shape in the image of the human body area obtained by the human body area detection means. A part recognition device is disclosed, which recognizes a region to be formed as the predetermined part set corresponding to the shape.
具体的には、カメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャし、キャプチャした画像に含まれる人体領域を検出し、人体領域が存在する場合には、その人体領域に対して人体の所定の部位（手先等）を認識し、その認識した部位を時系列的に追跡し、その結果から挙動認識を行う部位認識手段が提案されている。 Specifically, a predetermined image included in the image captured by an imaging means such as a camera is captured, a human body region included in the captured image is detected, and if the human body region exists, the human body region is detected. On the other hand, a part recognition means has been proposed that recognizes a predetermined part (hand, etc.) of the human body, tracks the recognized part in time series, and recognizes the behavior from the result.
注目点座標を利用する方法は、認識対象の撮像条件が異なっていても認識対象の姿勢自体は不変であるため、特徴量を再現良く得ることができ、従来法と比べて異常検知の高精度化が期待できる。 In the method using the coordinates of the point of interest, the posture of the recognition target itself does not change even if the imaging conditions of the recognition target are different, so that the feature amount can be obtained with good reproduction, and the accuracy of abnormality detection is higher than that of the conventional method. Can be expected to change.
これらの検出方法では、民生用モーションキャプチャなどに応用されている距離画像を利用する方法、或いは２次元画像を利用する方法により、注目点認識が行われている。 In these detection methods, attention point recognition is performed by a method using a distance image applied to consumer motion capture or the like, or a method using a two-dimensional image.
特徴量抽出方法では、カメラの設置場所やカメラに対する認識対象の向きによって、認識精度が低下する問題がある。 The feature amount extraction method has a problem that the recognition accuracy is lowered depending on the installation location of the camera and the orientation of the recognition target with respect to the camera.
距離画像を利用する方法は、特殊な撮像機器（例えば、ステレオカメラ、赤外線カメラ）を必要とすることや、焦点距離の長いレンズを使って撮像された歪の少ない画像を利用しないと、精度よく距離画像を取得できないため、画角が狭く限られる問題がある。 The method of using a range image is accurate unless a special imaging device (for example, a stereo camera or an infrared camera) is required or an image with little distortion captured by a lens with a long focal length is used. Since a distance image cannot be acquired, there is a problem that the angle of view is narrow and limited.
２次元画像を利用する方法では、撮影光学系に魚眼レンズ等の広角レンズを用いることで、画角を広くすることができ、広範囲もしくは近距離に存在する被写体を撮像することができる。しかしながら、キャプチャした画像が湾曲している場合には、従来の特徴量抽出方法、注目点認識方法を適用することが困難であった。 In the method using a two-dimensional image, the angle of view can be widened by using a wide-angle lens such as a fisheye lens in the photographing optical system, and a subject existing in a wide range or a short distance can be imaged. However, when the captured image is curved, it is difficult to apply the conventional feature extraction method and attention point recognition method.
上記課題を解決するために、本願発明に係る画像補正装置は、（１） 魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された撮像画像の歪を補正する画像補正装置において、フィルタ演算部と、画像補正演算部と、前記フィルタ演算部に対して前記撮像画像を入力とした第１のフィルタ演算を実行させることにより、前記撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得する注目点認識部と、前記フィルタ演算部に対して前記注目点情報を入力とした第２のフィルタ演算を実行させることにより、前記撮像画像の歪を補正するための変形パラメータを取得するとともに、前記変形パラメータを用いて前記撮像画像を補正する補正処理を前記画像補正演算部に実行させる画像補正部と、を有することを特徴とする画像補正装置。 In order to solve the above problems, the image correction device according to the present invention is (1) a filter calculation in an image correction device that corrects distortion of a captured image captured by an imaging device including a fisheye lens or a wide-angle lens in the imaging optical system. By causing the unit, the image correction calculation unit, and the filter calculation unit to execute the first filter calculation using the captured image as an input, the attention point information regarding one or more points of interest included in the captured image. The deformation parameter for correcting the distortion of the captured image is acquired by causing the attention point recognition unit and the filter calculation unit to perform a second filter calculation in which the attention point information is input. An image correction device including an image correction unit that causes the image correction calculation unit to execute a correction process for correcting the captured image using the deformation parameters.
（２）前記フィルタ演算部は、1層以上の畳み込みフィルタを有しており、前記第１のフィルタ演算を行う際に予め定められた注目点認識フィルタ情報をパラメータとして利用し、前記第２のフィルタ演算を行う際に予め定められた補正量推定フィルタ情報をパラメータとして利用することを特徴とする上記（１）に記載の画像補正装置。 (2) The filter calculation unit has one or more layers of convolution filters, and uses preset attention point recognition filter information as a parameter when performing the first filter calculation, and uses the second filter calculation unit as a parameter. The image correction device according to (1) above, wherein a predetermined correction amount estimation filter information is used as a parameter when performing a filter calculation.
（３）前記注目点情報は、前記撮像画像のうち前記注目点の存在する確信度を画像で表した注目点画像、又は前記撮像画像のうち前記注目点を座標で表した注目点座標であることを特徴とする上記（１）又は（２）に記載の画像補正装置。 (3) The attention point information is a attention point image in which the certainty of the presence of the attention point in the captured image is represented by an image, or the attention point coordinates in which the attention point is represented by coordinates in the captured image. The image correction device according to (1) or (2) above.
（４）前記撮像機器は、監視エリアに配置される監視カメラであることを特徴とする上記（１）乃至（３）のうちいずれか一つに記載の画像補正装置。 (4) The image correction device according to any one of (1) to (3) above, wherein the image pickup device is a surveillance camera arranged in a surveillance area.
（５）上記（４）に記載の画像補正装置と、前記画像補正装置によって得られた補正後の画像及び／又は前記注目点情報から特徴量を算出する特徴抽出部と、前記特徴量に基づき、異常の有無を判別する異常判別部と、を有することを特徴とする異常検知システム。 (5) Based on the image correction device according to (4) above, a feature extraction unit that calculates a feature amount from the corrected image obtained by the image correction device and / or the attention point information, and the feature amount. An abnormality detection system characterized by having an abnormality determination unit for determining the presence or absence of an abnormality.
（６）魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された撮像画像の歪を補正する画像補正方法において、前記撮像画像を入力とした第１のフィルタ演算を行うことにより、前記撮像画像に含まれる複数の注目点に関する注目点情報を取得するステップと、前記注目点情報を入力とした第２のフィルタ演算を行うことにより、前記撮像画像の歪を補正するための変形パラメータを取得するステップと、前記変形パラメータを用いて前記撮像画像を補正する補正処理を行うステップと、を有することを特徴とする画像補正方法。 (6) In an image correction method for correcting distortion of a captured image captured by an imaging device including a fisheye lens or a wide-angle lens in the imaging optical system, the imaging is performed by performing a first filter calculation using the captured image as an input. By performing a step of acquiring attention point information regarding a plurality of attention points included in an image and a second filter calculation using the attention point information as an input, a deformation parameter for correcting distortion of the captured image is acquired. An image correction method comprising: a step of performing a correction process for correcting the captured image using the deformation parameter, and a step of performing a correction process for correcting the captured image.
（７）魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された歪のある撮像画像から注目点を認識する注目点認識装置であって、フィルタ演算部と、画像補正演算部と、前記フィルタ演算部に対して第１の撮像画像を入力とした第１のフィルタ演算を実行させることにより、前記第１の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得する注目点認識部と、前記フィルタ演算部に対して前記注目点情報を入力とした第２のフィルタ演算を実行させることにより、前記第１の撮像画像の歪を補正可能な変形パラメータを取得する画像補正部と、を有し、前記画像補正部は、前記変形パラメータを用いて前記第１の撮像画像の次のフレームの第２の撮像画像を補正する補正処理を前記画像補正演算部に実行させ、前記注目点認識部は、前記フィルタ演算部に対して補正がされた前記第２の撮像画像を入力とした前記第１のフィルタ演算を実行させることにより、補正がされた前記第２の撮像画像に含まれる一つ以上の注目点に関する注目点情報を推定する処理を行わせることを特徴とする注目点認識装置。 (7) An attention point recognition device that recognizes a point of interest from a distorted image taken by an imaging device including a fisheye lens or a wide-angle lens in an imaging optical system, and includes a filter calculation unit, an image correction calculation unit, and the above. By causing the filter calculation unit to execute the first filter calculation with the first captured image as an input, the attention point for acquiring the attention point information regarding one or more attention points included in the first captured image. An image correction unit that acquires deformation parameters capable of correcting distortion of the first captured image by causing the recognition unit and the filter calculation unit to perform a second filter calculation with the attention point information as input. The image correction unit causes the image correction calculation unit to execute a correction process for correcting the second captured image of the frame next to the first captured image by using the deformation parameter. The attention point recognition unit causes the corrected second captured image to be subjected to the first filter calculation by inputting the corrected second captured image to the filter calculation unit. An attention point recognition device characterized in that a process of estimating attention point information regarding one or more included attention points is performed.
（８）前記フィルタ演算部は、1層以上の畳み込みフィルタを有しており、前記第１のフィルタ演算を行う際に予め定められた注目点認識フィルタ情報をパラメータとして利用し、前記第２のフィルタ演算を行う際に予め定められた補正量推定フィルタ情報をパラメータとして利用することを特徴とする上記（７）に記載の注目点認識装置。 (8) The filter calculation unit has one or more layers of convolution filters, and uses preset attention point recognition filter information as a parameter when performing the first filter calculation, and uses the second filter calculation unit as a parameter. The point of interest recognition device according to (7) above, wherein a predetermined correction amount estimation filter information is used as a parameter when performing a filter calculation.
（９）前記注目点情報は、前記撮像画像のうち前記注目点の存在する確信度を画像で表した注目点画像、又は前記撮像画像のうち前記注目点を座標で表した注目点座標であることを特徴とする上記（７）又は（８）に記載の注目点認識装置。 (9) The point of interest information is a point of interest image representing the certainty of the presence of the point of interest in the captured image, or coordinates of the point of interest representing the point of interest in the captured image. The point of interest recognition device according to (7) or (8) above.
（１０）魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された歪のある撮像画像から注目点を認識する注目点認識方法であって、第１の撮像画像を入力とした第１のフィルタ演算を行うことにより、前記第１の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得するステップと、前記注目点情報を入力とした第２のフィルタ演算を行うことにより、前記第１の撮像画像の歪を補正可能な変形パラメータを取得するステップと、前記変形パラメータを用いて前記第１の撮像画像の次のフレームの第２の撮像画像を補正する補正処理を行うステップと、補正がされた前記第２の撮像画像を入力とした前記第１のフィルタ演算を行うことにより、補正がされた前記第２の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得するステップと、
を有することを特徴とする注目点認識方法。
(10) A first point recognition method for recognizing a point of interest from a distorted image taken by an imaging device including a fisheye lens or a wide-angle lens in an imaging optical system, wherein the first image is used as an input. By performing a filter calculation, a step of acquiring attention point information regarding one or more points of interest included in the first captured image and a second filter calculation using the attention point information as an input are performed. A step of acquiring a deformation parameter capable of correcting the distortion of the first captured image, and a step of performing a correction process of correcting the second captured image of the next frame of the first captured image using the deformation parameter. And, by performing the first filter calculation with the corrected second captured image as an input, attention point information regarding one or more points of interest included in the corrected second captured image. And the steps to get
A point recognition method characterized by having.
上述の（１）、（６）の構成によれば、広角画像特有の歪が注目点情報を利用したフィルタ演算によって補正されるため、広範囲または近距離に存在する対象物を、より正確に認識することができる。上述の（７）、（１０）の構成によれば、広角画像特有の歪が変形パラメータによって補正され、この補正後の画像に基づき注目点情報を取得することができる。 According to the configurations (1) and (6) described above, the distortion peculiar to the wide-angle image is corrected by the filter calculation using the attention point information, so that the object existing in a wide range or a short distance can be recognized more accurately. can do. According to the configurations (7) and (10) described above, the distortion peculiar to the wide-angle image is corrected by the deformation parameter, and the attention point information can be acquired based on the corrected image.
（第１実施形態）
図１の機能ブロック図を参照しながら、画像の歪みを補正する画像補正装置について詳細に説明する。画像補正装置１は、注目点認識部２１、画像補正部２２、フィルタ演算部３０及び画像補正演算部６０を含む。画像補正装置１は、撮像装置１０に対して通信可能に接続されている。また、画像補正装置１は、記憶媒体４０に対して種々の情報を記憶し、記憶媒体４０から種々の情報を読み出すことができる。
(First Embodiment)
An image correction device for correcting image distortion will be described in detail with reference to the functional block diagram of FIG. The image correction device 1 includes a point recognition unit 21, an image correction unit 22, a filter calculation unit 30, and an image correction calculation unit 60. The image correction device 1 is communicably connected to the image pickup device 10. Further, the image correction device 1 can store various information in the storage medium 40 and read various information from the storage medium 40.
撮像装置１０には、魚眼レンズを撮影光学系に含むカメラ、広角レンズを撮影光学系に含むカメラを用いることができる。この種の広角カメラを用いることにより、近距離に位置する対象物を撮像したり（例えば、図８参照）、広範囲に位置する対象物を撮像する（例えば、図９参照）ことができる。 As the image pickup apparatus 10, a camera including a fisheye lens in the photographing optical system and a camera including a wide-angle lens in the photographing optical system can be used. By using this type of wide-angle camera, it is possible to image an object located at a short distance (see, for example, FIG. 8) or an object located in a wide range (see, for example, FIG. 9).
撮像装置１０は、例えば、監視カメラとして用いることができる。監視カメラとは、監視が必要とされる所定の監視エリアを撮像範囲とし、天井、壁等に設置されることにより、監視を行う撮像装置のことである。本実施形態の撮像装置は、広角カメラであるため、例えば近距離に位置する対象物の認識が必要とされる用途（例えば、自動券売機）に好適に用いることができる。 The image pickup device 10 can be used as, for example, a surveillance camera. A surveillance camera is an imaging device that monitors a predetermined monitoring area that needs to be monitored by setting it on a ceiling, a wall, or the like. Since the imaging device of the present embodiment is a wide-angle camera, it can be suitably used for, for example, an application (for example, an automatic ticket vending machine) that requires recognition of an object located at a short distance.
フィルタ演算部３０には、例えば、１層以上の畳み込みフィルタ（例えば、ニューラルネットワーク）を用いることができる。 For the filter calculation unit 30, for example, one or more layers of convolution filters (for example, a neural network) can be used.
注目点認識部２１は、撮像装置１０で撮像された広角・魚眼画像から一つ以上の注目点に関する注目点情報を生成する処理をフィルタ演算部３０に対して実行させる（第１のフィルタ演算に相当する）。注目点情報とは、画像の主要部位を特定した位置情報であり、例えば主要部位の存在する確信度を画像で表した注目点画像、主要部位を座標で表した注目点座標を用いることができる。 The attention point recognition unit 21 causes the filter calculation unit 30 to execute a process of generating attention point information regarding one or more attention points from the wide-angle / fisheye image captured by the image pickup device 10 (first filter calculation). Corresponds to). The point of interest information is position information that identifies the main part of the image. For example, a point of interest image that represents the certainty of the existence of the main part in an image and coordinates of the point of interest that represent the main part in coordinates can be used. ..
フィルタ演算部３０は、記憶媒体４０に記憶された注目点認識フィルタ情報を用いた１層以上の畳み込みフィルタにより、前記の注目点情報を生成する。注目点認識フィルタ情報は、畳み込みフィルタのパラメータである。このパラメータは、ニューラルネットワークおよび誤差逆伝搬法等の方法により、画像およびその画像における既知の注目点の位置の真値を示す教師データから成るデータセットを利用して、学習により予め設定することができる。 The filter calculation unit 30 generates the above-mentioned attention point information by a convolution filter having one or more layers using the attention point recognition filter information stored in the storage medium 40. The point of interest recognition filter information is a parameter of the convolution filter. This parameter can be preset by learning using a dataset consisting of an image and teacher data indicating the true value of the position of a known point of interest in the image by methods such as neural networks and error backpropagation. it can.
注目点認識部２１は、取得した注目点情報を記憶媒体４０に記憶させることができる。 The attention point recognition unit 21 can store the acquired attention point information in the storage medium 40.
図２を参照しながら、注目点情報の生成方法について詳細に説明する。図２（ａ）は注目点画像に対応しており、図２（ｂ）は注目点座標に対応している。 A method of generating attention point information will be described in detail with reference to FIG. FIG. 2A corresponds to the point of interest image, and FIG. 2B corresponds to the coordinates of the point of interest.
図２（ａ）を参照して、フィルタ演算部３０は、例えば、注目点認識フィルタ情報を用いて、畳み込みフィルタ演算により撮像画像Aから注目点画像A´を推定する。本実施形態では、対象物（人体）の主要部位の存在する確信度が高い位置と、確信度が低い位置とを濃淡で区別して、注目点画像Ａ´としている。本実施形態では、顔、首、肩、肘、手先、鼠蹊部及び膝を主要部位としているが、これに限るものではなく、適宜変更することができる。また、本実施形態では、主要部位を複数としているが、一つであってもよい。例えば、撮像画像の全体を単純に中央に向かって回転させるだけで、歪を少なくできる場合には、主要部位を一つ（例えば、腹のみ）とすることもできる。 With reference to FIG. 2A, the filter calculation unit 30 estimates the attention point image A'from the captured image A by the convolution filter calculation, for example, using the attention point recognition filter information. In the present embodiment, a position having a high degree of certainty in which a main part of an object (human body) exists and a position having a low degree of certainty are distinguished by shading to be a point of interest image A'. In the present embodiment, the face, neck, shoulders, elbows, hands, inguinal region, and knees are the main parts, but the present invention is not limited to this, and can be changed as appropriate. Further, in the present embodiment, there are a plurality of main parts, but one may be used. For example, if distortion can be reduced by simply rotating the entire captured image toward the center, the number of main parts can be one (for example, only the abdomen).
図２（ｂ）を参照して、フィルタ演算部３０は、例えば、注目点認識フィルタ情報を用いて、畳み込みフィルタ演算により撮像画像Bから注目点座標B´を推定する。本実施形態では、対象物（人体）の主要部位を座標データで表すことにより、注目点座標Ｂ´としている。すなわち、本実施形態では、X座標及びY座標からなる座標データにより各主要部位を二次元座標により特定している。X座標及びY座標は紙面に沿った互いに直交する二軸に対応している。ただし、座標データは、二次元に限るものではなく、三次元であってもよい。 With reference to FIG. 2B, the filter calculation unit 30 estimates the attention point coordinates B'from the captured image B by, for example, the convolution filter calculation using the attention point recognition filter information. In the present embodiment, the main part of the object (human body) is represented by coordinate data to obtain the point of interest coordinate B'. That is, in the present embodiment, each main part is specified by two-dimensional coordinates by coordinate data consisting of X coordinate and Y coordinate. The X and Y coordinates correspond to two axes that are orthogonal to each other along the page. However, the coordinate data is not limited to two dimensions, and may be three-dimensional.
画像補正部２２は、フィルタ演算部３０に対して、記憶媒体４０に記憶された注目点情報を入力として広角・魚眼画像を補正するための変形パラメータを推定する処理を行わせる（第２のフィルタ演算に相当する）。フィルタ演算部３０は、記憶媒体４０に記憶された補正量推定フィルタ情報を用いた畳み込みフィルタ演算により、前記の変形パラメータを推定する。補正量推定フィルタ情報は、畳み込みフィルタのパラメータである。このパラメータは、ニューラルネットワークおよび誤差逆伝搬法等の方法により、魚眼画像もしくは広角画像中の注目点、およびその画像に対して注目点認識部２１による処理を行った際に「適切に画像が補正されるような既知の補正量」の教師データから成るデータセットを用いて、予め学習により設定することができる。ここで、前記「適切に画像が補正されるような既知の補正量」は、前記魚眼画像もしくは広角画像を入力として、前記注目点認識フィルタを利用した畳み込みフィルタ演算から推測された注目点画像もしくは注目点座標と、真値の注目点画像もしくは注目点座標との合致度から得られる認識スコアを利用したニューラルネットワークおよび誤差逆伝搬法による学習により得られる。 The image correction unit 22 causes the filter calculation unit 30 to perform a process of estimating deformation parameters for correcting a wide-angle / fisheye image by inputting the attention point information stored in the storage medium 40 (second). Corresponds to filter calculation). The filter calculation unit 30 estimates the deformation parameter by a convolution filter calculation using the correction amount estimation filter information stored in the storage medium 40. The correction amount estimation filter information is a parameter of the convolution filter. This parameter is set when the attention point in the fisheye image or the wide-angle image and the attention point recognition unit 21 processes the image by a method such as a neural network or an error back propagation method. It can be set in advance by learning using a data set consisting of teacher data of "a known correction amount to be corrected". Here, the "known correction amount for appropriately correcting the image" is the attention point image estimated from the convolution filter calculation using the attention point recognition filter by inputting the fisheye image or the wide-angle image. Alternatively, it can be obtained by learning by a neural network and an error back propagation method using a recognition score obtained from the degree of matching between the attention point coordinates and the true value attention point image or the attention point coordinates.
図３を参照しながら、変形パラメータの生成方法について詳細に説明する。図３（ａ）は注目点画像に対応しており、図３（ｂ）は注目点座標に対応している。 A method of generating deformation parameters will be described in detail with reference to FIG. FIG. 3A corresponds to the point of interest image, and FIG. 3B corresponds to the coordinates of the point of interest.
図３（ａ）を参照して、フィルタ演算部３０は、例えば、補正量推定フィルタ情報を用いた畳み込みフィルタ演算により注目点画像A´から変形パラメータを推定する。図３（ｂ）を参照して、フィルタ演算部３０は、例えば、補正量推定フィルタ情報を用いた畳み込みフィルタ演算により注目点座標B´から変形パラメータを推定する。 With reference to FIG. 3A, the filter calculation unit 30 estimates the deformation parameter from the attention point image A'by, for example, a convolution filter calculation using the correction amount estimation filter information. With reference to FIG. 3B, the filter calculation unit 30 estimates the deformation parameter from the point of interest coordinate B'by, for example, a convolution filter calculation using the correction amount estimation filter information.
画像補正部２２は、取得した変形パラメータを、記憶媒体４０に記憶させることができる。 The image correction unit 22 can store the acquired deformation parameters in the storage medium 40.
ここで、変形パラメータは、撮像画像の歪を改善するアフィン変換のような線形変換および透視変換のような非線形変換に必要な情報のことであり、線形変換は認識対象の位置および、カメラの角度に起因する歪みを補正するような役割を担い、非線形変換はレンズの焦点距離や射影方式等の光学系に起因する歪みを補正する役割を担うことで、仮想的にパン、ティルト、ロール、ズーム等の機能を実現するのに用いられる。本実施形態では、線形変換に必要なパラメータとしてアフィン変換行列の各成分、非線形変換のために必要なパラメータとしてレンズの焦点距離等の数値を変形パラメータとしている。 Here, the deformation parameter is information necessary for a linear transformation such as an affine transformation and a non-linear transformation such as a perspective transformation for improving distortion of an captured image, and the linear transformation is the position of a recognition target and the angle of the camera. The non-linear transformation plays a role of correcting the distortion caused by the optical system such as the focal length of the lens and the projection method, and virtually pans, tilts, rolls, and zooms. It is used to realize the functions such as. In this embodiment, each component of the affine transformation matrix is used as a parameter required for linear transformation, and a numerical value such as the focal length of the lens is used as a deformation parameter as a parameter required for nonlinear transformation.
画像補正部２２は、画像補正演算部６０に対して、記憶媒体４０に記憶された変形パラメータを用いて、広角・魚眼画像を補正する処理を行わせる（補正処理に相当する）。画像補正部２２は、補正された画像を記憶媒体４０に記憶させることができる。図４（ａ）は図２の撮像画像Aに対応しており、図４（ｂ）は変形パラメータを用いて補正された補正後の画像に対応している。 The image correction unit 22 causes the image correction calculation unit 60 to perform a process of correcting a wide-angle / fisheye image using the deformation parameters stored in the storage medium 40 (corresponding to the correction process). The image correction unit 22 can store the corrected image in the storage medium 40. FIG. 4A corresponds to the captured image A of FIG. 2, and FIG. 4B corresponds to the corrected image corrected using the deformation parameter.
ここで、変形パラメータは、当然のことながら、補正前の広角・魚眼画像の歪み方によって変化する。例えば、変形パラメータがパンに関連する数値のみである場合には、図５（ａ）に示すように、広角・魚眼画像が補正される。また、変形パラメータがティルトに関連する数値のみである場合には、図５（ｂ）に示すように、広角・魚眼画像が補正される。さらに、変形パラメータがロールに関連する数値のみである場合には、図５（ｃ）に示すように、広角・魚眼画像が補正される。そして、変形パラメータがズームに関連する数値のみである場合には、図５（ｄ）に示すように、広角・魚眼画像が補正される。 Here, the deformation parameter naturally changes depending on how the wide-angle / fisheye image before correction is distorted. For example, when the deformation parameter is only a numerical value related to pan, the wide-angle / fisheye image is corrected as shown in FIG. 5A. Further, when the deformation parameter is only a numerical value related to tilt, the wide-angle / fisheye image is corrected as shown in FIG. 5 (b). Further, when the deformation parameter is only a numerical value related to the roll, the wide-angle / fisheye image is corrected as shown in FIG. 5 (c). Then, when the deformation parameter is only a numerical value related to zoom, the wide-angle / fisheye image is corrected as shown in FIG. 5 (d).
このように、本実施形態の構成によれば、広角画像特有の歪が注目点情報を利用して補正されるため、広範囲または近距離に存在する対象物を、より正確に認識することができる。 As described above, according to the configuration of the present embodiment, the distortion peculiar to the wide-angle image is corrected by using the attention point information, so that the object existing in a wide range or a short distance can be recognized more accurately. ..
上述の補正画像を用いた異常検知方法について、図６の機能ブロック図を参照しながら、詳細に説明する。異常検知システム２は、画像補正装置１、特徴抽出部５１及び異常判定部５２を含む。特徴抽出部５１は、記憶媒体４０に記憶された注目点情報及び／又は補正後の広角・魚眼画像に基づき、特徴量を算出する処理を行うことができる。 The abnormality detection method using the above-mentioned corrected image will be described in detail with reference to the functional block diagram of FIG. The abnormality detection system 2 includes an image correction device 1, a feature extraction unit 51, and an abnormality determination unit 52. The feature extraction unit 51 can perform a process of calculating the feature amount based on the attention point information stored in the storage medium 40 and / or the corrected wide-angle / fisheye image.
具体的には、特徴抽出部５１は、例えば、特徴抽出フィルタ情報を用いた畳み込みフィルタ演算により、上述の注目点情報及び／又は補正後の広角・魚眼画像から特徴量を算出することができる。特徴抽出フィルタ情報は、記憶媒体４０に記憶させておくことができる。 Specifically, the feature extraction unit 51 can calculate the feature amount from the above-mentioned attention point information and / or the corrected wide-angle / fisheye image by, for example, a convolutional filter calculation using the feature extraction filter information. .. The feature extraction filter information can be stored in the storage medium 40.
異常判定部５２は、特徴抽出部５１が抽出した特徴量から異常スコアを算出し、この異常スコアが所定の閾値よりも高い場合には異常と判定し、異常スコアが所定の閾値よりも小さい場合には異常がないと判定することができる。所定の閾値は、記憶媒体４０に記憶させておくことができる。 The abnormality determination unit 52 calculates an abnormality score from the feature amount extracted by the feature extraction unit 51, determines that the abnormality score is higher than a predetermined threshold value, and determines that the abnormality score is smaller than the predetermined threshold value. It can be determined that there is no abnormality in. A predetermined threshold value can be stored in the storage medium 40.
ただし、上述の異常検知方法は一例であり、これに代えて他の公知技術を用いることができる。すなわち、補正後の画像を用いた異常検知方法は、本明細書に記載された方法に限定されるものではなく、種々の公知技術を用いることができる。 However, the above-mentioned abnormality detection method is an example, and other known techniques can be used instead. That is, the abnormality detection method using the corrected image is not limited to the method described in the present specification, and various known techniques can be used.
本実施形態によれば、注目点情報を用いた特徴抽出が行われるため、特徴抽出を再現よく行うことが可能となり、異常検知の精度を高めることができる。 According to the present embodiment, since feature extraction is performed using the point of interest information, feature extraction can be performed with good reproducibility, and the accuracy of abnormality detection can be improved.
（第２実施形態）
次に、変形パラメータを利用して、注目点情報を推定する方法について図７を参照しながら説明する。図７は、注目点認識装置の機能ブロック図であり、図１の画像補正装置と同一の機能を有する構成要素には、同一符号を付している。注目点認識装置１００の基本的な構成は、画像補正装置１と同じである。
(Second Embodiment)
Next, a method of estimating the point of interest information using the deformation parameters will be described with reference to FIG. 7. FIG. 7 is a functional block diagram of the point of interest recognition device, and components having the same functions as the image correction device of FIG. 1 are designated by the same reference numerals. The basic configuration of the attention point recognition device 100 is the same as that of the image correction device 1.
記憶媒体４０には、予め変形パラメータ（以下、既存変形パラメータと称する）が記憶されているものとする。この既存変形パラメータは、例えば、最初のフレーム画像（広角・魚眼画像であり、第１の撮像画像に相当する）に対して第１実施形態で説明した第１のフィルタ演算及び第２のフィルタ演算を行うことにより取得できる。 It is assumed that the storage medium 40 stores the deformation parameters (hereinafter, referred to as existing deformation parameters) in advance. The existing deformation parameters are, for example, the first filter calculation and the second filter described in the first embodiment for the first frame image (wide-angle / fisheye image, which corresponds to the first captured image). It can be obtained by performing an operation.
画像補正部２２は、画像補正演算部６０に対して、記憶媒体４０に記憶された既存変形パラメータを用いて、撮像装置１０で取得された次のフレーム画像（広角・魚眼画像であり、第２の撮像画像に相当する）を補正する処理を行わせる。注目点認識部２１は、この補正後の広角・魚眼画像から注目点情報を推定する処理をフィルタ演算部３０に対して実行させる（第１のフィルタ演算に相当する）。注目点認識部２１は、この推定した注目点情報に基づき、記憶媒体４０に記憶された注目点情報を更新する。 The image correction unit 22 uses the existing deformation parameters stored in the storage medium 40 for the image correction calculation unit 60 to obtain the next frame image (a wide-angle / fisheye image, which is a wide-angle / fisheye image, and is a second). The process of correcting (corresponding to the captured image of 2) is performed. The attention point recognition unit 21 causes the filter calculation unit 30 to execute a process of estimating the attention point information from the corrected wide-angle / fisheye image (corresponding to the first filter calculation). The attention point recognition unit 21 updates the attention point information stored in the storage medium 40 based on the estimated attention point information.
ここで、最初のフレーム画像と次のフレーム画像との差異が小さい場合には、前記の最初のフレーム画像で得られた既存変形パラメータを使って前記の次のフレーム画像（歪のある広角・魚眼画像）を歪みの少ない画像に補正することができる。したがって、この補正後の画像を入力として、より正確な注目点情報を推定することができる。この注目点情報は、例えば、認識対象が人であれば、顔や、手先を注目部位とすることで、その人物の身体的特徴や、その人物の把持している物を認識すること等に応用できる。また、認識対象が車両であれば、ナンバープレートの位置情報を特定するために用いることができる。 Here, when the difference between the first frame image and the next frame image is small, the next frame image (distorted wide-angle / fish) using the existing deformation parameters obtained in the first frame image. The eye image) can be corrected to an image with less distortion. Therefore, more accurate attention point information can be estimated by using the corrected image as an input. For example, if the recognition target is a person, this attention point information can be used to recognize the physical characteristics of the person or the object held by the person by using the face or the hand as the attention part. It can be applied. Further, if the recognition target is a vehicle, it can be used to specify the position information of the license plate.
画像補正部２２は、フィルタ演算部３０に対して、記憶媒体４０に記憶された注目点情報を入力として前記の次のフレーム画像を補正するための変形パラメータを推定する処理を行わせる。画像補正部２２は、この推定した変形パラメータに基づき、記憶媒体４０に記憶された既存変形パラメータを更新する。 The image correction unit 22 causes the filter calculation unit 30 to perform a process of estimating the deformation parameter for correcting the next frame image by inputting the attention point information stored in the storage medium 40. The image correction unit 22 updates the existing deformation parameters stored in the storage medium 40 based on the estimated deformation parameters.
上述の処理を繰り返すことにより、記憶媒体４０に記憶された注目点情報及び変形パラメータを新しいフレーム画像が取得される度に更新することができる。 By repeating the above processing, the attention point information and the deformation parameter stored in the storage medium 40 can be updated every time a new frame image is acquired.
１ 画像補正装置
２ 異常検知システム
１０ 撮像装置
２１ 注目点認識部
２２ 画像補正部
３０ フィルタ演算部
４０ 記憶媒体
５１ 特徴抽出部
５２ 異常判定部
６０ 画像補正演算部
１００ 注目点認識装置
1 Image correction device
2 Anomaly detection system 10 Imaging device 21 Image correction unit 22 Image correction unit 30 Filter calculation unit 40 Storage medium 51 Feature extraction unit 52 Abnormality determination unit 60 Image correction calculation unit 100 Point of interest recognition device
Claims (10)
フィルタ演算部と、
画像補正演算部と、
前記フィルタ演算部に対して前記撮像画像を入力とした第１のフィルタ演算を実行させることにより、前記撮像画像の撮影対象物に含まれる複数の注目点に関する注目点情報を取得する注目点認識部と、
前記フィルタ演算部に対して前記注目点情報を入力とした第２のフィルタ演算を実行させることにより、前記撮像画像の歪を補正するための変形パラメータを取得するとともに、前記変形パラメータを用いて前記撮像画像を補正する補正処理を前記画像補正演算部に実行させる画像補正部と、
を有することを特徴とする画像補正装置。
In an image correction device that corrects distortion of an image captured by an imaging device that includes a fisheye lens or a wide-angle lens in the imaging optical system.
Filter calculation unit and
Image correction calculation unit and
By causing the filter calculation unit to execute the first filter calculation with the captured image as an input, the attention point recognition unit that acquires the attention point information regarding a plurality of points of interest included in the object to be captured of the captured image. When,
By causing the filter calculation unit to execute the second filter calculation with the attention point information as input, the deformation parameter for correcting the distortion of the captured image is acquired, and the deformation parameter is used to obtain the deformation parameter. An image correction unit that causes the image correction calculation unit to execute a correction process for correcting an captured image,
An image correction device characterized by having.
前記画像補正装置によって得られた補正後の画像及び／又は前記注目点情報から特徴量を算出する特徴抽出部と、
前記特徴量に基づき、異常の有無を判別する異常判別部と、
を有することを特徴とする異常検知システム。 The image correction device according to claim 4 and
A feature extraction unit that calculates a feature amount from the corrected image obtained by the image correction device and / or the attention point information.
An abnormality determination unit that determines the presence or absence of an abnormality based on the feature amount,
Anomaly detection system characterized by having.
前記撮像画像を入力とした第１のフィルタ演算を行うことにより、前記撮像画像に含まれる複数の注目点に関する注目点情報を取得するステップと、
前記注目点情報を入力とした第２のフィルタ演算を行うことにより、前記撮像画像の歪を補正するための変形パラメータを取得するステップと、
前記変形パラメータを用いて前記撮像画像を補正する補正処理を行うステップと、
を有することを特徴とする画像補正方法。 In an image correction method for correcting distortion of an image captured by an imaging device including a fisheye lens or a wide-angle lens in the imaging optical system.
A step of acquiring attention point information regarding a plurality of points of interest included in the captured image by performing a first filter calculation using the captured image as an input, and
A step of acquiring a deformation parameter for correcting distortion of the captured image by performing a second filter calculation using the attention point information as an input, and
A step of performing a correction process for correcting the captured image using the deformation parameter, and
An image correction method characterized by having.
フィルタ演算部と、
画像補正演算部と、
前記フィルタ演算部に対して第１の撮像画像を入力とした第１のフィルタ演算を実行させることにより、前記第１の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得する注目点認識部と、
前記フィルタ演算部に対して前記注目点情報を入力とした第２のフィルタ演算を実行させることにより、前記第１の撮像画像の歪を補正可能な変形パラメータを取得する画像補正部と、を有し、
前記画像補正部は、前記変形パラメータを用いて前記第１の撮像画像の次のフレームの第２の撮像画像を補正する補正処理を前記画像補正演算部に実行させ、
前記注目点認識部は、前記フィルタ演算部に対して補正がされた前記第２の撮像画像を入力とした前記第１のフィルタ演算を実行させることにより、補正がされた前記第２の撮像画像に含まれる一つ以上の注目点に関する注目点情報を推定する処理を行わせることを特徴とする注目点認識装置。 A point recognition device that recognizes a point of interest from a distorted image taken by an imaging device that includes a fisheye lens or a wide-angle lens in the imaging optical system.
Filter calculation unit and
Image correction calculation unit and
Attention to acquire attention point information about one or more points of interest included in the first captured image by causing the filter calculation unit to execute the first filter calculation with the first captured image as input. Point recognition unit and
It has an image correction unit that acquires a deformation parameter capable of correcting distortion of the first captured image by causing the filter calculation unit to execute a second filter calculation in which the attention point information is input. And
The image correction unit causes the image correction calculation unit to execute a correction process for correcting a second captured image in a frame next to the first captured image using the deformation parameters.
The point of interest recognition unit executes the first filter calculation using the corrected second captured image as an input to the filter calculation unit, so that the corrected second captured image is executed. An attention point recognition device characterized in that a process of estimating attention point information regarding one or more attention points included in is performed.
第１の撮像画像を入力とした第１のフィルタ演算を行うことにより、前記第１の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得するステップと、
前記注目点情報を入力とした第２のフィルタ演算を行うことにより、前記第１の撮像画像の歪を補正可能な変形パラメータを取得するステップと、
前記変形パラメータを用いて前記第１の撮像画像の次のフレームの第２の撮像画像を補正する補正処理を行うステップと、
補正がされた前記第２の撮像画像を入力とした前記第１のフィルタ演算を行うことにより、補正がされた前記第２の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得するステップと、
を有することを特徴とする注目点認識方法。
A point recognition method that recognizes a point of interest from a distorted image taken by an imaging device that includes a fisheye lens or a wide-angle lens in the imaging optical system.
A step of acquiring attention point information regarding one or more points of interest included in the first captured image by performing a first filter calculation using the first captured image as an input, and
A step of acquiring a deformation parameter capable of correcting the distortion of the first captured image by performing a second filter calculation using the attention point information as an input, and
A step of performing a correction process for correcting a second captured image in a frame next to the first captured image using the deformation parameters, and a step of performing correction processing.
By performing the first filter calculation with the corrected second captured image as an input, attention point information regarding one or more points of interest included in the corrected second captured image is acquired. Steps to do and
A point recognition method characterized by having.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017105517A JP6799325B2 (en) | 2017-05-29 | 2017-05-29 | Image correction device, image correction method, attention point recognition device, attention point recognition method and abnormality detection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017105517A JP6799325B2 (en) | 2017-05-29 | 2017-05-29 | Image correction device, image correction method, attention point recognition device, attention point recognition method and abnormality detection system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018201146A JP2018201146A (en) | 2018-12-20 |
| JP6799325B2 true JP6799325B2 (en) | 2020-12-16 |
Family
ID=64668383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017105517A Active JP6799325B2 (en) | 2017-05-29 | 2017-05-29 | Image correction device, image correction method, attention point recognition device, attention point recognition method and abnormality detection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6799325B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109840883B (en) * | 2019-01-10 | 2022-12-23 | 达闼机器人股份有限公司 | Method and device for training object recognition neural network and computing equipment |
| US10748032B1 (en) * | 2019-01-31 | 2020-08-18 | StradVision, Inc. | Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same |
| CN111260586B (en) | 2020-01-20 | 2023-07-04 | 北京百度网讯科技有限公司 | Correction method and device for distorted document image |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4048511B2 (en) * | 1998-03-13 | 2008-02-20 | 富士通株式会社 | Fisheye lens camera device and image distortion correction method thereof |
| JP3650578B2 (en) * | 2000-09-28 | 2005-05-18 | 株式会社立山アールアンドディ | Panoramic image navigation system using neural network to correct image distortion |
| JP5574692B2 (en) * | 2009-12-17 | 2014-08-20 | キヤノン株式会社 | Video information processing method and apparatus |
| JP2017059207A (en) * | 2015-09-18 | 2017-03-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Image recognition method |
-
2017
- 2017-05-29 JP JP2017105517A patent/JP6799325B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018201146A (en) | 2018-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977770B (en) | Automatic tracking shooting method, device, system and storage medium | |
| EP3641298B1 (en) | Method and device for capturing target object and video monitoring device | |
| KR101530255B1 (en) | Cctv system having auto tracking function of moving target | |
| JP6036824B2 (en) | Angle of view variation detection device, angle of view variation detection method, and field angle variation detection program | |
| CN104954747B (en) | Video monitoring method and device | |
| JP5001930B2 (en) | Motion recognition apparatus and method | |
| JP6799325B2 (en) | Image correction device, image correction method, attention point recognition device, attention point recognition method and abnormality detection system | |
| KR20110023472A (en) | Apparatus and method for tracking object based on ptz camera using coordinate map | |
| JP6444283B2 (en) | Posture determination device | |
| CN110751685B (en) | Depth information determination method, determination device, electronic device and vehicle | |
| EP2309454A2 (en) | Apparatus and method for detecting motion | |
| JP7354767B2 (en) | Object tracking device and object tracking method | |
| JP4578864B2 (en) | Automatic tracking device and automatic tracking method | |
| US20080226159A1 (en) | Method and System For Calculating Depth Information of Object in Image | |
| CN112991159B (en) | Face illumination quality evaluation method, system, server and computer readable medium | |
| JP6977337B2 (en) | Site recognition method, device, program, and imaging control system | |
| KR100691855B1 (en) | Apparatus for extracting features from image information | |
| US20210335010A1 (en) | Calibration method and calibration apparatus | |
| KR101290517B1 (en) | Photographing apparatus for tracking object and method thereof | |
| CN113033353A (en) | Pedestrian trajectory generation method based on overlook image, storage medium and electronic device | |
| CN113033348A (en) | Overlook image correction method for pedestrian re-recognition, storage medium, and electronic device | |
| JP6406044B2 (en) | Camera calibration unit, camera calibration method, and camera calibration program | |
| CN112802112B (en) | Visual positioning method, device, server and storage medium | |
| JP6734994B2 (en) | Stereo measuring device and system | |
| US20140307053A1 (en) | Method of prompting proper rotation angle for image depth establishing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201113 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6799325 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |