WO2025154337A1 - 検出装置、検出システム、検出方法、及びモデル生成装置 - Google Patents

検出装置、検出システム、検出方法、及びモデル生成装置

Info

Publication number
WO2025154337A1
WO2025154337A1 PCT/JP2024/035792 JP2024035792W WO2025154337A1 WO 2025154337 A1 WO2025154337 A1 WO 2025154337A1 JP 2024035792 W JP2024035792 W JP 2024035792W WO 2025154337 A1 WO2025154337 A1 WO 2025154337A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
detection
data
learning
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/035792
Other languages
English (en)
French (fr)
Inventor
祐貴 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Publication of WO2025154337A1 publication Critical patent/WO2025154337A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • Patent document 1 describes a device that extracts change areas from images of a monitored area captured sequentially by an imaging device, and compares the feature values of the monitored area based on the extracted change areas with a preset set value for the feature values to determine whether an event has occurred.
  • Patent Document 1 may not be able to detect objects present within the monitored area if there are obstacles between the monitored area and the imaging device, such as a safety fence, a fence, or a dust-proof/water-resistant cover. For this reason, there has been a demand for technology that can accurately detect objects present within the monitored area, even if there are obstacles or objects with low transmittance between the monitored area and the imaging device.
  • the imaging device such as a safety fence, a fence, or a dust-proof/water-resistant cover.
  • the present invention has been made in consideration of the above problems, and its purpose is to provide a detection device, detection system, and detection method that can accurately detect a detection target that exists within a monitored area, even if an obstacle or an object with low transmittance exists between the monitored area and the imaging device.
  • Another purpose of the present invention is to provide a model generation device that can generate a learning model that accurately detects a detection target that exists within a monitored area, even if an obstacle or an object with low transmittance exists between the monitored area and the imaging device.
  • the detection device is a detection device that judges whether or not a judgment target image is a detection target image containing a detection target object, and includes an image restoration generation unit that generates a non-detection target image corresponding to the judgment target image by inputting the judgment target image data into a learning model in which data of a processed image is input data and data of a non-detection target image not containing the detection target object corresponding to the processed image is output data, a difference calculation unit that generates a difference image between the judgment target image and the non-detection target image generated by the image restoration generation unit, and a detection unit that judges whether or not the judgment target image is the detection target image based on the difference image generated by the difference calculation unit.
  • the apparatus may include an image processing unit that performs image processing on the difference image generated by the difference calculation unit to emphasize the features of the object to be detected, and the detection unit may determine whether the image to be determined is the image to be detected based on the difference image that has been image processed by the image processing unit.
  • Fig. 1 is a block diagram showing a configuration of a detection system according to an embodiment of the present invention.
  • the detection system 1 according to an embodiment of the present invention is a system for determining whether or not a determination target image is a detection target image including a detection target object, and includes an imaging unit 2, a data acquisition unit 3, a model generation unit 4, a learning database 5, and a calculation unit 6.
  • the data acquisition unit 3, the model generation unit 4, and the calculation unit 6 function as a detection device according to the present invention.
  • the imaging unit 2 is composed of an imaging device such as a camera or an industrial surveillance camera (ITV).
  • the imaging unit 2 captures images of the monitored area and outputs the captured image data of the monitored area to the data acquisition unit 3. Specifically, the imaging unit 2 captures images of the monitored area before and after an event is switched or before and after a movable object is moved, and outputs the captured image data of the monitored area to the data acquisition unit 3.
  • the learning database 5 is composed of a non-volatile storage device.
  • the learning database 5 stores original learning data 5a and learning model 5b.
  • the original learning data 5a is image data of the monitored area at a time when no detection object is present in the monitored area.
  • the learning model 5b is a machine learning model in which image data of the monitored area to be judged (data of the image to be judged) is input data, and image data of the monitored area at a time when no detection object is present in the monitored area corresponding to the input data is output data.
  • the model generation unit 4 and the learning database 5 may be configured as a system or device other than the detection system 1.
  • the detection system 1 having such a configuration executes the detection process and learning model generation process described below, thereby enabling accurate detection of a detection target object present within a monitored area, even if an obstacle or an object with low transmittance is present between the monitored area and the imaging unit 2.
  • the operation of the detection system 1 when executing the detection process and learning model generation process will be described with reference to the flowchart shown in FIG. 2.
  • step S1 the data acquisition unit 3 inputs the image data of the monitored area output from the imaging unit 2 to the calculation unit 6 as data of the image to be determined. This completes the process of step S1, and the detection process proceeds to the process of step S2.
  • step S2 the image restoration generation unit 6a inputs the data of the image to be judged input by the data acquisition unit 3 as input data to the learning model 5b, thereby generating image data (output image) of the monitored area at a time when the detection target object is not present, reflecting the characteristics of the image to be judged. This completes the process of step S2, and the detection process proceeds to the process of step S3.
  • step S3 the difference calculation unit 6b generates a difference image between the determination target image input by the data acquisition unit 3 and the image of the monitored area generated by the image restoration generation unit 6a.
  • An image of the difference image generation process is shown in Figure 3. Details of Figure 3 will be described later. This completes the process of step S3, and the detection process proceeds to the process of step S4.
  • the detection unit 6d judges whether or not the object to be detected exists in the difference image by judging whether or not features such as the shape of the object to be detected (target shape) exist in the difference image after image processing. If the target shape is circular, the detection unit 6d may detect the target shape using a method such as the Hough transform or the minimum circumscribed circle method. If the object to be detected is included in the image to be judged, as shown in FIG. 3, the difference image will have the target shape and other features of the object to be detected remaining only in the area where the object to be detected exists. On the other hand, if the object to be detected is not included in the image to be judged, the difference image will have nothing included. This completes the process of step S5, and the detection process proceeds to the process of step S6.
  • the detection process proceeds to the process of step S6.
  • FIG. 4 is a flowchart showing the flow of the learning model generation process according to one embodiment of the present invention.
  • the flowchart shown in FIG. 4 starts when image data of a monitored area in which it has been determined that no object to be detected is present is acquired, and the learning model generation process proceeds to step S11.
  • the image data of a monitored area in which it has been determined that no object to be detected is present may be image data obtained in the detection process described above, or may be image data collected and determined separately.
  • step S11 the model generation unit 4 adds image data of the monitored area in which it has been determined that no object to be detected is present to the learning source data 5a stored in the learning database 5. This completes the process of step S11, and the learning model generation process proceeds to the process of step S12.
  • the model generation unit 4 generates a learning model 5b using the original learning data 5a.
  • a learning model capable of reconstructing an image identical or similar to the original learning data 5a is used.
  • An example of such a learning model is an autoencoder.
  • An example of the configuration of an autoencoder is shown in Figure 5.
  • an autoencoder is a learning model that learns the features of a training image, extracts features by compressing the input image and reducing the dimensions, and reconstructs and outputs an image that matches or approximates the learning content.
  • the learning model 5b trained using the original learning data 5a will output as output data the image data of the monitored area at the time when no object to be detected is present in the monitored area corresponding to the image to be judged.
  • the autoencoder has the advantage that fewer adjustments are required to deal with unknown objects or disturbances and a small amount of training data is sufficient, due to the nature of learning parameters to restore the learned image. Therefore, even if the image to be judged has changed in response to changes in the surrounding environment of the imaging unit 2, the learning model 5b generates an output image corresponding to the image to be judged, so there is no need to make adjustments in response to various conditions. This completes the processing of step S12, and the series of learning model generation processes ends.
  • the model generation unit 4 and the learning database 5 it is possible to generate a learning model that accurately detects a detection target existing in the monitoring target area even if an obstacle or an object with low transmittance exists between the monitoring target area and the imaging unit 2.
  • the present invention was applied to a process for determining whether or not a metal tube (whopper) that supports a metal product so that the inner diameter of the metal product is not crushed when the metal product is wound in the manufacturing process of the metal product is set as a detection object.
  • a wire mesh fence or a dust-proof/water-proof cover was assumed as an obstacle between the detection object and the imaging unit 2.
  • the learning model generation process an image of the monitored area in a state where the whopper is not set in the designated position was taken, and the learning model 5b was generated by learning with an autoencoder using the 25 captured images.
  • the layer structure of the autoencoder was as follows, and the pixel value change, contrast change, and structural change were evaluated as indices of structural similarity. As a result, a learning model was obtained that generates an image in a state where the whopper is not set in the designated position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本発明に係る検出装置は、判定対象画像が検出対象物を含む検出対象画像であるか否かを判定する検出装置であって、処理画像のデータを入力データ、処理画像に応じた検出対象物を含まない非検出対象画像のデータを出力データとする学習モデルに対して、判定対象画像のデータを入力することにより、判定対象画像に対応する非検出対象画像を生成する画像復元生成部と、判定対象画像と画像復元生成部が生成した非検出対象画像の差分画像を生成する差分算出部と、差分算出部によって生成された差分画像に基づいて判定対象画像が検出対象画像であるか否かを判定する検出部と、を備える。

Description

検出装置、検出システム、検出方法、及びモデル生成装置
　本発明は、判定対象画像が検出対象物を含む検出対象画像であるか否かを判定する検出装置、検出システム、検出方法、及びモデル生成装置に関する。
　特許文献１には、監視対象領域を撮像装置で逐次撮影した画像から変化領域を抽出し、抽出された変化領域に基づく監視対象領域の特徴量と予め定められた特徴量の設定値とを比較してイベント発生の有無を判定する装置が記載されている。
特許第５３８８８２７号公報
　特許文献１に記載の装置では、監視対象領域と撮像装置との間に安全柵、フェンス、防塵・防滴用の覆い等の障害物が存在する場合、監視対象領域内に存在する検出対象物を検出できない可能性がある。このため、監視対象領域と撮像装置との間に障害物や透過率の低い物体が存在する場合であっても、監視対象領域内に存在する検出対象物を精度よく検出可能な技術の提供が期待されていた。
　本発明は、上記課題に鑑みてなされたものであって、その目的は、監視対象領域と撮像装置との間に障害物や透過率の低い物体が存在する場合であっても、監視対象領域内に存在する検出対象物を精度よく検出可能な検出装置、検出システム、及び検出方法を提供することにある。また、本発明の他の目的は、監視対象領域と撮像装置との間に障害物や透過率の低い物体が存在する場合であっても、監視対象領域内に存在する検出対象物を精度よく検出する学習モデルを生成可能なモデル生成装置を提供することにある。
　本発明に係る検出装置は、判定対象画像が検出対象物を含む検出対象画像であるか否かを判定する検出装置であって、処理画像のデータを入力データ、当該処理画像に応じた前記検出対象物を含まない非検出対象画像のデータを出力データとする学習モデルに対して、前記判定対象画像のデータを入力することにより、前記判定対象画像に対応する非検出対象画像を生成する画像復元生成部と、前記判定対象画像と前記画像復元生成部が生成した非検出対象画像の差分画像を生成する差分算出部と、前記差分算出部によって生成された差分画像に基づいて前記判定対象画像が前記検出対象画像であるか否かを判定する検出部と、を備える。
　前記差分算出部が生成した差分画像に対して前記検出対象物の特徴を強調する画像処理を実行する画像処理部を備え、前記検出部は、前記画像処理部によって画像処理が実行された差分画像に基づいて前記判定対象画像が前記検出対象画像であるか否かを判定するとよい。
　前記画像処理部は、前記検出対象物が存在する可能性がある所定の画像領域以外の画像領域に対してマスク処理を実行するとよい。
　前記非検出対象画像のデータを学習元データとして、当該学習元データと同一の非検出対象画像若しくは当該学習元データを近似する非検出対象画像を再構成するように学習することにより、前記学習モデルを生成するモデル生成部を備えるとよい。
　前記モデル生成部は、オートエンコーダーであるとよい。
　前記モデル生成部は、前記検出部が非検出対象画像であると判定した判定対象画像のデータを前記学習元データに追加して前記学習モデルを再度生成するとよい。
　本発明に係る検出システムは、本発明に係る検出装置と、監視対象領域の画像を撮影し、撮影された監視対象領域の画像のデータを前記判定対象画像のデータとして前記検出装置に出力する撮像部を備える。
　本発明に係る検出方法は、判定対象画像が検出対象物を含む検出対象画像であるか否かを判定する検出方法であって、処理画像のデータを入力データ、当該処理画像に応じた前記検出対象物を含まない非検出対象画像のデータを出力データとする学習モデルに対して、前記判定対象画像のデータを入力することにより、前記判定対象画像に対応する非検出対象画像を生成する画像復元生成ステップと、前記判定対象画像と前記画像復元生成ステップにおいて生成された非検出対象画像の差分画像を生成する差分算出ステップと、前記差分算出ステップにおいて生成された差分画像に基づいて前記判定対象画像が前記検出対象画像であるか否かを判定する検出ステップと、を含む。
　本発明に係るモデル生成装置は、判定対象画像が検出対象物を含む検出対象画像であるか否かを判定するための学習モデルを生成するモデル生成装置であって、処理画像のデータを入力データ、当該処理画像に応じた前記検出対象物を含まない非検出対象画像のデータを出力データとする学習モデルを生成するモデル生成部を備え、前記モデル生成部は、前記非検出対象画像のデータを学習元データとして、当該学習元データと同一の非検出対象画像若しくは当該学習元データを近似する非検出対象画像を再構成するように学習することにより、前記学習モデルを生成する。
　本発明に係る検出装置、検出システム、及び検出方法によれば、監視対象領域と撮像装置との間に障害物や透過率の低い物体が存在する場合であっても、監視対象領域内に存在する検出対象物を精度よく検出することができる。また、本発明に係るモデル生成装置によれば、監視対象領域と撮像装置との間に障害物や透過率の低い物体が存在する場合であっても、監視対象領域内に存在する検出対象物を精度よく検出する学習モデルを生成することができる。
図１は、本発明の一実施形態である検出システムの構成を示すブロック図である。 図２は、本発明の一実施形態である検出処理の流れを示すフローチャートである。 図３は、差分画像の生成処理を説明するための図である。 図４は、本発明の一実施形態である学習モデル生成処理の流れを示すフローチャートである。 図５は、オートエンコーダーの構成例を示す図である。 図６は、実施例の検出処理を説明するための図である。
　以下、図面を参照して、本発明の一実施形態である検出システムの構成及び動作について説明する。
〔構成〕
　図１は、本発明の一実施形態である検出システムの構成を示すブロック図である。図１に示すように、本発明の一実施形態である検出システム１は、判定対象画像が検出対象物を含む検出対象画像であるか否かを判定するシステムであり、撮像部２、データ取得部３、モデル生成部４、学習データベース５、及び演算部６を備えている。データ取得部３、モデル生成部４、及び演算部６は、本発明に係る検出装置として機能する。
　撮像部２は、カメラや工業用監視カメラ（ＩＴＶ）等の撮像装置によって構成されている。撮像部２は、監視対象領域の画像を撮影し、撮影された監視対象領域の画像データをデータ取得部３に出力する。具体的には、撮像部２は、イベントの切り替わり前後や可動式の物体が移動した前後の監視対象領域の画像を撮影し、撮影された監視対象領域の画像データをデータ取得部３に出力する。
　データ取得部３及びモデル生成部４は、情報処理装置内部のＣＰＵ等の演算処理装置がコンピュータプログラムを実行することにより実現される機能ブロックである。データ取得部３及びモデル生成部４の機能については後述する。
　学習データベース５は、不揮発性の記憶装置によって構成されている。学習データベース５には、学習元データ５ａと学習モデル５ｂが格納されている。詳細は後述するが、学習元データ５ａは、監視対象領域内に検出対象物が存在しない時点における監視対象領域の画像データである。学習モデル５ｂは、判定対象の監視対象領域の画像データ（判定対象画像のデータ）を入力データ、入力データに対応する監視対象領域内に検出対象物が存在しない時点における監視対象領域の画像データを出力データとする機械学習モデルである。モデル生成部４及び学習データベース５は、検出システム１とは他のシステムや装置として構成してもよい。
　演算部６は、情報処理装置内部のＣＰＵ等の演算処理装置によって構成されている。演算部６は、演算処理装置がコンピュータプログラムを実行することにより、画像復元生成部６ａ、差分算出部６ｂ、画像処理部６ｃ、検出部６ｄ、及び出力部６ｅとし機能する。これら各部の機能については後述する。これら各部を実現する情報処理装置とデータ取得部３及びモデル生成部４を実現する情報処理装置は、同じ装置であってもよいし、別の装置であってもよい。別の装置である場合、情報処理装置同士は電気通信回線を介して接続される。
　このような構成を有する検出システム１は、以下に示す検出処理及び学習モデル生成処理を実行することにより、監視対象領域と撮像部２との間に障害物や透過率の低い物体が存在する場合であっても、監視対象領域内に存在する検出対象物を精度よく検出することを可能にする。以下、図２に示すフローチャートを参照して、検出処理及び学習モデル生成処理を実行する際の検出システム１の動作について説明する。
〔検出処理〕
　まず、図２を参照して、検出処理を実行する際の検出システム１の動作について説明する。
　図２は、本発明の一実施形態である検出処理の流れを示すフローチャートである。図２に示すフローチャートは、演算部６に対して検出処理の実行命令が入力されたタイミングで開始となり、検出処理はステップＳ１の処理に進む。
　ステップＳ１の処理では、データ取得部３が、撮像部２から出力された監視対象領域の画像データを判定対象画像のデータとして演算部６に入力する。これにより、ステップＳ１の処理は完了し、検出処理はステップＳ２の処理に進む。
　ステップＳ２の処理では、画像復元生成部６ａが、データ取得部３が入力した判定対象画像のデータを入力データとして学習モデル５ｂに入力することにより、判定対象画像の特徴を反映させた検出対象物が存在しない時点における監視対象領域の画像データ（出力画像）を生成する。これにより、ステップＳ２の処理は完了し、検出処理はステップＳ３の処理に進む。
　ステップＳ３の処理では、差分算出部６ｂが、データ取得部３が入力した判定対象画像と画像復元生成部６ａが生成した監視対象領域の画像との差分画像を生成する。差分画像の生成処理のイメージを図３に示す。図３の詳細については後述する。これにより、ステップＳ３の処理は完了し、検出処理はステップＳ４の処理に進む。
　ステップＳ４の処理では、画像処理部６ｃが、検出対象物の形状等の特徴を強調して検出対象物を検出しやすくするために、生成された差分画像に対して二値化処理、マスク処理、エッジ検出処理、平滑化処理、フィルタ処理、補正処理、膨張処理、収縮処理等の画像処理を実行する。これにより、ステップＳ４の処理は完了し、検出処理はステップＳ５の処理に進む。
　ステップＳ５の処理では、検出部６ｄが、画像処理後の差分画像内に検出対処物の形状（目的形状）等の特徴が存在するか否かを判定することにより、差分画像内に検出対象物が存在するか否かを判定する。目的形状が円形形状である場合、検出部６ｄはＨｏｕｇｈ変換や最小外接円法等の手法を用いて目的形状を検出するとよい。仮に判定対象画像に検出対象物が映っている場合、図３に示すように、差分画像は検出対象物の存在する箇所だけに目的形状等の検出対象物の特徴が残留した状態となる。一方で、判定対象画像に検出対象画像が映っていない場合には、差分画像は何も映っていない状態となる。これにより、ステップＳ５の処理は完了し、検出処理はステップＳ６の処理に進む。
　ステップＳ６の処理では、出力部６ｅが、検出部６ｄの判定結果に従って判定対象画像内に検出対象物が存在するか否かを出力装置に出力する。出力装置としては、印刷装置、表示装置、音声出力装置等を例示できる。これにより、ステップＳ６の処理は完了し、一連の検出処理は終了する。
〔学習モデル生成処理〕
　次に、図４を参照して、学習モデル生成処理を実行する際の検出システム１の動作について説明する。
　図４は、本発明の一実施形態である学習モデル生成処理の流れを示すフローチャートである。図４に示すフローチャートは、検出対象物が存在しないと判定された監視対象領域の画像データが取得されたタイミングで開始となり、学習モデル生成処理はステップＳ１１の処理に進む。検出対象物が存在しないと判定された監視対象領域の画像データは、前述した検出処理において得られたものであってもよいし、別途収集、判定されたものであってもよい。
　ステップＳ１１の処理では、モデル生成部４が、検出対象物が存在しないと判定された監視対象領域の画像データを学習データベース５内に格納されている学習元データ５ａに追加する。これにより、ステップＳ１１の処理は完了し、学習モデル生成処理はステップＳ１２の処理に進む。
　ステップＳ１２の処理では、モデル生成部４が、学習元データ５ａを用いて学習モデル５ｂを生成する。学習モデル５ｂとしては、学習元データ５ａと同一又は近似の画像を再構成可能な学習モデルを用いる。このような学習モデルとしては、オートエンコーダー（自己符号化器）を例示できる。オートエンコーダーの構成例を図５に示す。図５に示すように、オートエンコーダーは、学習画像からその特徴を学習する学習モデルであり、入力画像を圧縮して次元を削減することで特徴を抽出し、学習内容に一致・近似した状態の画像を再構成して出力する。
　従って、学習元データ５ａを用いて学習した学習モデル５ｂは、判定対象画像のデータが入力された場合、判定対象画像に対応する監視対象領域内に検出対象物が存在しない時点における監視対象領域の画像データを出力データとして出力するようになる。上述のように、オートエンコーダーには、学習した画像を復元するようにパラメータを学習する性質から、未知の物や外乱に対応するための調整対応が少なく済み、また学習データが少量でも済む利点がある。このため、撮像部２の周辺環境の変化に応じて変化した判定対象画像であったとしても、学習モデル５ｂは判定対象画像に応じた出力画像を生成するので、各種条件に応じた調整対応をする必要がない。これにより、ステップＳ１２の処理は完了し、一連の学習モデル生成処理は終了する。
　以上の説明から明らかなように、本発明の一実施形態である検出システム１は、処理画像のデータを入力データ、処理画像に応じた検出対象物を含まない非検出対象画像のデータを出力データとする学習モデルに対して、判定対象画像のデータを入力することにより、判定対象画像に対応する非検出対象画像を生成する画像復元生成部６ａと、判定対象画像と画像復元生成部６ａが生成した非検出対象画像の差分画像を生成する差分算出部６ｂと、差分算出部６ｂによって生成された差分画像に基づいて判定対象画像が検出対象画像であるか否かを判定する検出部６ｄと、を備える。これにより、監視対象領域と撮像部２との間に障害物や透過率の低い物体が存在する場合であっても、監視対象領域内に存在する検出対象物を精度よく検出することができる。また、モデル生成部４及び学習データベース５によれば、監視対象領域と撮像部２との間に障害物や透過率の低い物体が存在する場合であっても、監視対象領域内に存在する検出対象物を精度よく検出する学習モデルを生成することができる。
　本実施例では、金属製品の製造工程において金属製品を巻き取る際に金属製品の内径が潰れないように金属製品を支持する金属製の筒（ワッパー）を検出対象物として、ワッパーが所定位置に装入されているか否かを判定する処理に本発明を適用した。また、検出対象物と撮像部２との間にある障害物として、金網フェンスや防塵・防滴用の覆い等を想定した。学習モデル生成処理では、ワッパーが所定位置に装入されていない状態の監視対象領域の画像を撮影し、撮影した２５枚の採取画像を用いてオートエンコーダーで学習することにより、学習モデル５ｂを生成した。オートエンコーダーの層構造は、以下の通りとし、画素値変化、コントラスト変化、及び構造変化を評価した構造の類似度の指標とした。これにより、ワッパーが所定位置に装入されていない状態の画像を生成する学習モデルが得られた。
・エンコーダー：３００×３００ピクセルの画像を１００次元へ圧縮
・デコーダー：１００次元を３００×３００ピクセルの画像へ復元
・学習回数：５００ｅｐｏｃｈｓ
・損失関数：ＳＳＩＭ（structural　similarity）
　この学習モデルに画像（検出対象物の有無に関わらず）を入力すると、ワッパーが所定位置に装入されていない状態の画像が出力される。その後、入力画像と出力画像の差分計算を行う。ワッパーが所定位置に装入されている入力画像とワッパーが所定位置に装入されていない出力画像の差分画像は所定位置に装入されているワッパーの画像である。次に、二値化処理、エッジ検出処理、平滑化処理等の画像処理を行うことによりワッパーの特徴を強調した後に、さらに検出精度を高めるために所定位置以外の画像部分をマスク処理した。その後、Ｈｏｕｇｈ変換を用いて円及び円弧を検出した。Ｈｏｕｇｈ変換のパラメータである円の半径及び中心位置は撮影画像から事前に検討しておいたものを使用した。これにより、所定位置以外の場所に円を検出することもあるが、カメラが固定されている場合には、ワッパーが所定位置にある際の円の半径及び中心位置は既知のものであり、納得性のある位置に円を検出することができる。これにより、図６に示すように、監視対象領域と撮像部との間に障害物や透過率の低い物体が存在する場合であっても、判定対象画像に検出対象物が映っているか否かを精度よく判定することができた。
　以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明が限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例、及び運用技術等は全て本発明の範疇に含まれる。
　本発明によれば、監視対象領域と撮像装置との間に障害物や透過率の低い物体が存在する場合であっても、監視対象領域内に存在する検出対象物を精度よく検出可能な検出装置、検出システム、及び検出方法を提供することができる。また、本発明によれば、監視対象領域と撮像装置との間に障害物や透過率の低い物体が存在する場合であっても、監視対象領域内に存在する検出対象物を精度よく検出する学習モデルを生成可能なモデル生成装置を提供することができる。
　１　検出システム
　２　撮像部
　３　データ取得部
　４　モデル生成部
　５　学習データベース
　５ａ　学習元データ
　５ｂ　学習モデル
　６　演算部
　６ａ　画像復元生成部
　６ｂ　差分算出部
　６ｃ　画像処理部
　６ｄ　検出部
　６ｅ　出力部

Claims (9)

  1. 　判定対象画像が検出対象物を含む検出対象画像であるか否かを判定する検出装置であって、
    　処理画像のデータを入力データ、当該処理画像に応じた前記検出対象物を含まない非検出対象画像のデータを出力データとする学習モデルに対して、前記判定対象画像のデータを入力することにより、前記判定対象画像に対応する非検出対象画像を生成する画像復元生成部と、
    　前記判定対象画像と前記画像復元生成部が生成した非検出対象画像の差分画像を生成する差分算出部と、
    　前記差分算出部によって生成された差分画像に基づいて前記判定対象画像が前記検出対象画像であるか否かを判定する検出部と、
    　を備える、検出装置。
  2. 　前記差分算出部が生成した差分画像に対して前記検出対象物の特徴を強調する画像処理を実行する画像処理部を備え、前記検出部は、前記画像処理部によって画像処理が実行された差分画像に基づいて前記判定対象画像が前記検出対象画像であるか否かを判定する、請求項１に記載の検出装置。
  3. 　前記画像処理部は、前記検出対象物が存在する可能性がある所定の画像領域以外の画像領域に対してマスク処理を実行する、請求項２に記載の検出装置。
  4. 　前記非検出対象画像のデータを学習元データとして、当該学習元データと同一の非検出対象画像若しくは当該学習元データを近似する非検出対象画像を再構成するように学習することにより、前記学習モデルを生成するモデル生成部を備える、請求項１～３のうち、いずれか１項に記載の検出装置。
  5. 　前記モデル生成部は、オートエンコーダーである、請求項４に記載の検出装置。
  6. 　前記モデル生成部は、前記検出部が非検出対象画像であると判定した判定対象画像のデータを前記学習元データに追加して前記学習モデルを再度生成する、請求項４又は５に記載の検出装置。
  7. 　請求項１～６のうち、いずれか１項に記載の検出装置と、
    　監視対象領域の画像を撮影し、撮影された監視対象領域の画像のデータを前記判定対象画像のデータとして前記検出装置に出力する撮像部と、
    　を備える、検出システム。
  8. 　判定対象画像が検出対象物を含む検出対象画像であるか否かを判定する検出方法であって、
    　処理画像のデータを入力データ、当該処理画像に応じた前記検出対象物を含まない非検出対象画像のデータを出力データとする学習モデルに対して、前記判定対象画像のデータを入力することにより、前記判定対象画像に対応する非検出対象画像を生成する画像復元生成ステップと、
    　前記判定対象画像と前記画像復元生成ステップにおいて生成された非検出対象画像の差分画像を生成する差分算出ステップと、
    　前記差分算出ステップにおいて生成された差分画像に基づいて前記判定対象画像が前記検出対象画像であるか否かを判定する検出ステップと、
    　を含む、検出方法。
  9. 　判定対象画像が検出対象物を含む検出対象画像であるか否かを判定するための学習モデルを生成するモデル生成装置であって、
    　処理画像のデータを入力データ、当該処理画像に応じた前記検出対象物を含まない非検出対象画像のデータを出力データとする学習モデルを生成するモデル生成部を備え、
    　前記モデル生成部は、前記非検出対象画像のデータを学習元データとして、当該学習元データと同一の非検出対象画像若しくは当該学習元データを近似する非検出対象画像を再構成するように学習することにより、前記学習モデルを生成する、モデル生成装置。
PCT/JP2024/035792 2024-01-18 2024-10-07 検出装置、検出システム、検出方法、及びモデル生成装置 Pending WO2025154337A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024006099A JP2025112047A (ja) 2024-01-18 2024-01-18 検出装置、検出システム、検出方法、及びモデル生成装置
JP2024-006099 2024-01-18

Publications (1)

Publication Number Publication Date
WO2025154337A1 true WO2025154337A1 (ja) 2025-07-24

Family

ID=96471209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/035792 Pending WO2025154337A1 (ja) 2024-01-18 2024-10-07 検出装置、検出システム、検出方法、及びモデル生成装置

Country Status (2)

Country Link
JP (1) JP2025112047A (ja)
WO (1) WO2025154337A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706614A (zh) * 2021-08-27 2021-11-26 重庆赛迪奇智人工智能科技有限公司 一种小目标检测方法、装置、存储介质和电子设备
US20220084173A1 (en) * 2020-09-17 2022-03-17 Arizona Board of Regents on behalf on Arizona State University Systems, methods, and apparatuses for implementing fixed-point image-to-image translation using improved generative adversarial networks (gans)
WO2022201451A1 (ja) * 2021-03-25 2022-09-29 株式会社日立国際電気 検知装置および検知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220084173A1 (en) * 2020-09-17 2022-03-17 Arizona Board of Regents on behalf on Arizona State University Systems, methods, and apparatuses for implementing fixed-point image-to-image translation using improved generative adversarial networks (gans)
WO2022201451A1 (ja) * 2021-03-25 2022-09-29 株式会社日立国際電気 検知装置および検知方法
CN113706614A (zh) * 2021-08-27 2021-11-26 重庆赛迪奇智人工智能科技有限公司 一种小目标检测方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
JP2025112047A (ja) 2025-07-31

Similar Documents

Publication Publication Date Title
CN114862829B (zh) 一种钢筋绑扎点定位方法、装置、设备及存储介质
JP2020042816A (ja) 物体検出方法、装置、機器、記憶媒体及び車両
KR20200004822A (ko) 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체
US20230410285A1 (en) Abnormality detection system, learning apparatus, abnormality detection program, and learning program
US12586232B2 (en) Method for object detection using cropped images
CN113658182A (zh) 基于并行多分支特征融合的表面缺陷区域分割方法及装置
CN117809118A (zh) 一种基于深度学习的视觉感知识别方法、设备及介质
CN117218363A (zh) 一种全局感知与局部纹理相融合的烟火检测方法及系统
JP2025112047A (ja) 検出装置、検出システム、検出方法、及びモデル生成装置
CN115631457A (zh) 建筑施工监控视频中的人机协作异常检测方法及系统
CN111727108B (zh) 用于控制机器人的方法、装置及系统以及存储介质
WO2025154335A1 (ja) 検出装置、検出システム、検出方法、及びモデル生成装置
CN117109944B (zh) 车辆的检测方法、装置、设备及存储介质
JP4421121B2 (ja) 侵入物体検出方法
CN111582221A (zh) 车道线识别方法、装置和设备
CN117789109A (zh) 一种工业场景下无人值守的异常行为检测方法和系统
DE102022209403B4 (de) Verfahren zum Überprüfen der Durchführung einer Prädiktionsaufgabe durch ein neuronales Netzwerk
CN116778033A (zh) 车道线编辑方法、模型训练方法及相关设备
CN116612431A (zh) 用于作业场所的安防监控系统及其方法
CN112434659B (zh) 反光特征点剔除方法、装置、机器人和可读存储介质
CN120236217B (zh) 行为识别方法、装置
CN119919994B (zh) 基于动作识别的具身智能人机交互系统预测的方法及装置
KR102838391B1 (ko) 중첩된 객체를 분리하기 위한 방법 및 장치
CN121259615B (zh) 输电线路档中巡检图像中部件去重方法及装置
CN118505694B (zh) 一种合金接地材料缺陷检测方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24918624

Country of ref document: EP

Kind code of ref document: A1