WO2022239202A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2022239202A1
WO2022239202A1 PCT/JP2021/018278 JP2021018278W WO2022239202A1 WO 2022239202 A1 WO2022239202 A1 WO 2022239202A1 JP 2021018278 W JP2021018278 W JP 2021018278W WO 2022239202 A1 WO2022239202 A1 WO 2022239202A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
unit
image processing
matching
parameter
Prior art date
Application number
PCT/JP2021/018278
Other languages
English (en)
French (fr)
Inventor
翔太郎 小倉
勇太 並木
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to JP2023520697A priority Critical patent/JPWO2022239202A1/ja
Priority to DE112021007225.0T priority patent/DE112021007225T5/de
Priority to PCT/JP2021/018278 priority patent/WO2022239202A1/ja
Priority to CN202180097150.7A priority patent/CN117203665A/zh
Priority to TW111115476A priority patent/TW202244779A/zh
Publication of WO2022239202A1 publication Critical patent/WO2022239202A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an image processing device.
  • image processing technology that identifies the position of objects by analyzing images taken by imaging devices (cameras) is widely used.
  • image processing technique in general, when feature points in a photographed image are extracted and the arrangement pattern of the extracted feature points matches a pre-stored model pattern, If the numerical value of the degree of matching is equal to or greater than the threshold, it is determined that the object exists.
  • the matching threshold is too low, erroneous detection of objects other than the intended target will occur. Conversely, if the threshold value for the degree of matching is too high, non-detection occurs in which the intended object cannot be detected as an object. Therefore, the user needs to check the detection results in a plurality of captured images and set the matching threshold so as to reduce erroneous detection and non-detection.
  • the brightness gradient of the captured image may change depending on the brightness of the surroundings. For this reason, it has been proposed to statistically process the distribution of luminance gradients in a captured image and set a luminance gradient threshold for extracting feature points based on the average value and standard deviation (see, for example, Patent Document 1). ).
  • An image processing device is an image processing device that detects an object in an image captured by an imaging device, and includes a model storage unit that stores a model pattern and extracts feature points from the captured image. a feature point extraction unit; an original matching degree calculation unit that calculates a degree of matching between the model pattern and the arrangement of the feature points; and detecting the object in the captured image by comparing the degree of matching with a detection threshold.
  • a simple matching degree calculation for calculating the degree of matching based on the detection information storage unit to store and the detection information stored in the detection information storage unit when the detection parameter is changed, based on the changed detection parameter and the detection information stored in the detection information storage unit and
  • FIG. 1 is a block diagram showing a configuration of image processing provided with an image processing device according to a first embodiment of the present disclosure
  • FIG. 11 is a block diagram showing the configuration of an image processing device according to a second embodiment of the present disclosure
  • FIG. 3 is a diagram exemplifying a display screen of a user interface unit of the image processing apparatus of FIG. 2;
  • FIG. 1 is a block diagram showing the configuration of an image processing device 1 according to the first embodiment of the present disclosure.
  • the image processing device 1 acquires the data of the captured image from the imaging device C and detects the object in the captured image.
  • the imaging device C acquires an image of a subject within a predetermined field of view.
  • the imaging device C may be a visual sensor that acquires a visible light image, or a sensor that acquires an infrared image, a distance image, a point cloud image, or the like.
  • the image processing apparatus 1 includes a model storage unit 11, a feature point extraction unit 12, a feature point exclusion unit 13, an original matching degree calculation unit 14, an object detection unit 15, a parameter setting unit 16, and detection information storage.
  • a unit 17 , a simple matching degree calculation unit 18 , and a parameter change unit 19 are provided.
  • the image processing device 1 can be realized by causing one or more computer devices having a memory, a CPU, an input/output interface, etc. to execute appropriate programs.
  • Each component of the image processing apparatus 1 described above is a categorization of the functions of the image processing apparatus 1, and may not be clearly distinguishable in terms of physical configuration and program configuration.
  • the model storage unit 11 stores model patterns in which contours of objects are converted into data.
  • the model pattern may be theoretically generated from the shape data of the object, or may be generated from the contour data of the object specified in the image of the object actually photographed, the coordinates of the feature points, etc. good.
  • the feature point extraction unit 12 extracts feature points, which are points that change discontinuously from adjacent image regions from the captured image and that may be the contours of the target object.
  • the feature point extraction unit 12 can be configured to extract, as feature points, points whose pixel attribute values are equal to or greater than the extraction threshold value set in the parameter setting unit 16 or are within the extraction range.
  • Attribute values for discriminating feature points preferably include at least one of color, brightness, magnitude of brightness gradient, and direction of brightness gradient of feature points.
  • the luminance gradient means the difference in luminance between adjacent pixels or unit regions, that is, the luminance change rate with respect to position. means the direction
  • By using such attribute values as indexes it is possible to extract points that are highly likely to be the contours of some object or pattern in the image. In particular, points with large luminance gradients are highly likely to be the contours of the object.
  • the feature point exclusion unit 13 excludes feature points whose distance from the model pattern exceeds the distance threshold from the calculation targets of the original matching degree calculation unit 14 . By excluding noise that clearly does not constitute the outline of the object in this way, the object detection accuracy can be improved.
  • the original matching degree calculation unit 14 calculates the degree of matching between the model pattern and the arrangement of the feature points.
  • the model patterns are arranged so that the total value of the distances or the squares of the distances to the model pattern of all the feature points excluding those excluded by the feature point exclusion unit 13 is the smallest, and the feature points match the model patterns.
  • Quantify the degree of A matching degree calculation method can be the same as that of the conventional image processing apparatus.
  • the object detection unit 15 detects the object in the captured image by comparing the degree of matching calculated by the original degree of matching calculation unit 14 with the detection threshold set in the parameter setting unit. That is, the object detection unit 15 determines that the feature point is the contour point of the object when the degree of coincidence is equal to or greater than the detection threshold, and determines that the object exists when the degree of coincidence is less than the detection threshold. It is judged as undetected.
  • the parameter setting unit 16 sets detection parameters including at least the detection threshold used by the object detection unit 15 . That is, the parameter setting unit 16 performs initial setting of the detection parameter, and stores the value of the initially set detection parameter or the value of the detection parameter changed by the parameter changing unit 19 after the initial setting.
  • the parameter setting unit 16 of this embodiment also sets an extraction threshold used by the feature point extraction unit 12 and a detection threshold used by the object detection unit 15 in addition to the distance threshold.
  • the parameter setting unit 16 may be configured to set the initial value of the detection parameter to a predetermined value, or may be configured to wait for input by the user and then set the initial value to the value input by the user. good.
  • the initial value of the extraction threshold set by the parameter setting unit 16 is preferably set to a sufficiently low value or a wide range, that is, a value that extracts more than an appropriate number of feature points.
  • detection information of a sufficient number of feature points is stored in the detection information storage unit 17, and the matching degree after the detection parameter is changed can be calculated relatively accurately by the simple matching degree calculation unit 18.
  • the parameter setting unit 16 may cause the feature point extraction unit 12 to try to extract feature points using the captured image, search for a value that allows a certain number of feature points to be extracted, and use it as the initial value of the extraction threshold.
  • the detection information storage unit 17 stores detection information including at least the positions of the feature points of the target object extracted by the feature point extraction unit 12 .
  • the detection information stored in the detection information storage unit 17 includes attributes of feature points to be compared with the extraction threshold. It preferably further contains a value.
  • the simple match calculator 18 calculates the match based on the changed detection parameter and the detection information stored in the detection information storage 17. In this way, by providing the simple matching degree calculation unit 18 that recalculates the matching degree when the detection parameter is changed, it is possible to easily determine whether or not the change in the detection parameter is appropriate. In addition, since the simple matching degree calculation unit 18 calculates the matching degree from the detection information, it is possible to check the matching degree after changing the detection parameter without extracting feature points with a high computational load. Parameters can be optimized.
  • the parameter changing unit 19 changes the detection parameters so that the matching degree calculated by the simple matching degree calculation unit 18 based on the detection information increases. In other words, the parameter changing unit 19 automatically optimizes the detection parameters so that the number of undetected objects is reduced.
  • the parameter changing unit 19 temporarily changes the detection parameter, causes the simple matching degree calculation unit 18 to recalculate the degree of matching, and confirms the value of the detection parameter at which the degree of matching becomes sufficiently large. , may be configured to determine the value of the detection parameter.
  • the parameter changing unit 19 may be configured to change the detection parameter to a plurality of preset values, confirm the degree of matching, and finally select the value with the highest degree of matching. Further, the parameter changing unit 19 may be configured to search for a detection parameter value that can sufficiently increase the degree of matching based on any algorithm such as a binary search method or a hill-climbing method.
  • the parameter changing unit 19 uses the simple matching degree calculation unit 18, which recalculates the degree of matching using the detection information stored in the detection information storage unit 17, to reduce the image calculation load. Since the detection parameters are optimized without repeatedly extracting feature points by the feature point extracting unit 12 having a large value, the detection parameters can be rapidly set to optimum values.
  • FIG. 2 is a block diagram showing the configuration of an image processing device 1A according to the second embodiment of the present disclosure.
  • the same components as those of the image processing apparatus 1 of FIG. are identical to those of the image processing apparatus 1 of FIG.
  • the image processing device 1A acquires the data of the captured image from the imaging device C and detects the object in the captured image. Further, the image processing apparatus 1A receives input from the user via the input device E, and uses the display device D to display information to the user. The image processing apparatus 1A of this embodiment allows the user to independently set the value of the detection parameter.
  • any one or a plurality of devices such as a keyboard and a mouse can be used.
  • the display device D an image display device such as a CRT, a liquid crystal panel, an organic EL panel, etc., which has the ability to display an image captured by the imaging device C can be used.
  • the image processing apparatus 1A includes a model storage unit 11, a feature point extraction unit 12, a feature point exclusion unit 13, an original matching degree calculation unit 14, an object detection unit 15, a parameter setting unit 16A, and detection information storage.
  • a unit 17 a simple matching degree calculator 18 , a parameter changer 19A, and a user interface unit 20 .
  • the parameter setting unit 16A sets detection parameters according to the user's input through the user interface unit 20.
  • the parameter setting unit 16A may be configured to set the initial value of the detection parameter based on a preset initial setting value or a past setting value.
  • the parameter changing unit 19A changes the detection parameters according to the user's input through the user interface unit 20.
  • the user interface unit 20 receives the image captured by the imaging device C, the matching degree calculated by the original matching degree calculation unit 14, the detection result by the target object detection unit 15, the detection parameters set in the parameter setting unit 16A, and simple matching degree calculation.
  • the degrees of matching and the like calculated by the unit 18 are displayed on the display device D singly or in combination as necessary.
  • the user interface unit 20 causes the display device D to display an image such as a text box prompting the user to input the set values of the detection parameters through the input device E in accordance with these displays.
  • FIG. 3 exemplifies the display screen of the display device D performed by the user interface unit 20.
  • This display screen includes an area for displaying a photographed image (upper left), an area for displaying for the user to set detection parameters (interrupted on the right), a feature point extraction unit 12, an original matching degree calculation unit 14, and and an area (lower stage) for displaying the calculation result of the simple matching degree calculation unit 18 .
  • the degree of matching is displayed as a "score”
  • the detection threshold is displayed as a "score threshold”
  • the detection threshold for the luminance gradient is displayed as a "contrast threshold”.
  • the feature points extracted by the feature point extraction unit 12 are overlaid on the photographed image, with the feature points excluded by the feature point exclusion unit 13 and those excluded by the feature point exclusion unit 13 separated by color.
  • the simple matching degree calculation unit 18 is stored in the detection information storage unit 17 without extracting feature points by the feature point extraction unit 12. Since the degree of matching is recalculated using the detection information, the color of the feature point and the value of the degree of matching (score) change without time lag. Therefore, the user can confirm not only the numerical value of the degree of coincidence but also the correspondence relationship between the photographed image and the feature points adopted for the degree of coincidence, and can set more appropriate detection parameters.
  • the parameter changing unit has a function of automatically changing detection parameters as in the first embodiment described above, and a detection parameter according to user input as in the second embodiment. and a function to change , both of which can be switched.
  • Reference Signs List 1 1A image processing device 11 model storage unit 12 feature point extraction unit 13 feature point exclusion unit 14 original matching degree calculation unit 15 target object detection unit 16, 16A parameter setting unit 17 detection information storage unit 18 simple matching degree calculation unit 19, 19A Parameter changing unit 20 User interface unit C Imaging device D Display device E Input device

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

検出パラメータを容易に設定できる本開示の一態様に係る画像処理装置は、モデルパターンを記憶するモデル記憶部と、撮影画像から特徴点を抽出する特徴点抽出部と、モデルパターンと特徴点の配置との一致度を算出する原一致度算出部と、一致度と検出閾値との比較により撮影画像中の対象物を検出する対象物検出部と、少なくとも検出閾値を含む検出パラメータを設定するパラメータ設定部と、対象物検出部が検出した対象物の特徴点について、少なくとも特徴点の位置を含む検出情報を記憶する検出情報記憶部と、検出パラメータが変更された場合に、変更後の検出パラメータ及び検出情報記憶部に記憶されている検出情報に基づいて一致度を算出する簡易一致度算出部と、を備える。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　例えばランダムに供給される対象物をピックアップするシステム等において、撮像装置（カメラ）で撮影した画像を解析することにより対象物の位置を特定する画像処理技術が広く利用されている。このような画像処理技術では、一般的に、撮影画像中の特徴点を抽出し、抽出された複数の特徴点の配置パターンと、予め記憶しているモデルパターンとの一致度が高い場合、つまり一致度の数値が閾値以上である場合に、対象物が存在すると判定する。
　一致度の閾値が低すぎると、意図する対象物以外の物体を誤って対象物として検出する誤検出が生じる。逆に、一致度の閾値が高すぎると意図する対象物を対象物として検出できなくなる未検出が生じる。このため、ユーザは、複数の撮影画像における検出結果を確認しながら、誤検出及び未検出が少なくなるように一致度の閾値を設定する必要がある。
　撮影画像の輝度勾配は、周囲の明るさ等により変化し得る。このため、撮影画像の輝度勾配の分布を統計的に処理し、その平均値や標準偏差に基づいて特徴点を抽出する輝度勾配の閾値を設定することが提案されている（例えば特許文献１参照）。
特開２０１７－９１０７９号公報
　一致度の閾値及び輝度勾配の閾値のように複数の検出パラメータを設定する場合、それらを最適化することは非常に煩雑な作業である。また、特徴点の抽出の閾値を統計的に決定する場合、設定作業におけるユーザの判断は容易となるが、検出パラメータを変更した場合には、再度統計処理を行って特徴点を抽出し直してから一致度を算出する必要があるので、検出パラメータの設定作業に時間を要する。このため、画像処理装置の検出パラメータを容易に設定できる技術が望まれる。
　本開示の一態様に係る画像処理装置は、撮像装置の撮影画像中の対象物を検出する画像処理装置であって、モデルパターンを記憶するモデル記憶部と、前記撮影画像から特徴点を抽出する特徴点抽出部と、前記モデルパターンと前記特徴点の配置との一致度を算出する原一致度算出部と、前記一致度と検出閾値との比較により前記撮影画像中の前記対象物を検出する対象物検出部と、少なくとも前記検出閾値を含む検出パラメータを設定するパラメータ設定部と、前記対象物検出部が検出した前記対象物の前記特徴点について、少なくとも前記特徴点の位置を含む検出情報を記憶する検出情報記憶部と、前記検出パラメータが変更された場合に、変更後の前記検出パラメータ及び前記検出情報記憶部に記憶されている検出情報に基づいて前記一致度を算出する簡易一致度算出部と、を備える。
　本開示によれば、検出パラメータを容易に設定できる画像処理装置を提供できる。
本開示の第１実施形態に係る画像処理装置を備える画像処理の構成を示すブロック図である。 本開示の第２実施形態に係る画像処理装置の構成を示すブロック図である。 図２の画像処理装置のユーザインターフェイス部の表示画面を例示する図である。
　以下、本開示の実施形態について、図面を参照しながら説明する。図１は、本開示の第１実施形態に係る画像処理装置１の構成を示すブロック図である。
　画像処理装置１は、撮像装置Ｃから撮影画像のデータを取得し、撮影画像中の対象物を検出する。撮像装置Ｃは、所定の視野内の被写体の画像を取得する。撮像装置Ｃは、可視光画像を取得する視覚センサであってもよく、赤外線画像、距離画像、点群画像等を取得するセンサであってもよい。
　画像処理装置１は、モデル記憶部１１と、特徴点抽出部１２と、特徴点除外部１３と、原一致度算出部１４と、対象物検出部１５と、パラメータ設定部１６と、検出情報記憶部１７と、簡易一致度算出部１８と、パラメータ変更部１９と、を備える。
　画像処理装置１は、メモリ、ＣＰＵ、入出力インターフェイス等を有する１又は複数のコンピュータ装置に適切なプログラムを実行させることにより実現できる。上述の画像処理装置１の各構成要素は、画像処理装置１の機能を類別したものであって、物理構成及びプログラム構成において明確に区分できるものでなくてもよい。
　モデル記憶部１１は、対象物の輪郭をデータ化したモデルパターンを記憶する。モデルパターンは、例として、対象物の形状データから理論的に生成されてもよく、実際に対象物を撮影した画像において特定された対象物の輪郭データ、特徴点の座標等から生成されてもよい。
　特徴点抽出部１２は、撮影画像から隣接する画像領域から不連続に変化し、対象物の輪郭の可能性がある点である特徴点を抽出する。具体的には、特徴点抽出部１２は、画素の属性値がパラメータ設定部１６に設定される抽出閾値以上又は抽出範囲内である点を特徴点として抽出するよう構成され得る。特徴点を判別する属性値としては、特徴点の色、輝度、輝度勾配の大きさ及び輝度勾配の方向の少なくともいずれかを含むことが望ましい。なお、輝度勾配とは、隣接する画素又は単位領域との輝度の差つまり位置に対する輝度の変化率を意味し、輝度勾配の方向とは、隣接する画素又は単位領域との輝度の変化量最大になる方向を意味する。このような属性値を指標とすることによって、画像内に何らかの物体又は模様の輪郭である可能性が高い点を抽出できる。特に、輝度勾配が大きい点は、物体の輪郭である可能性が高い。
　特徴点除外部１３は、モデルパターンとの距離が距離閾値を超える特徴点を原一致度算出部１４における計算対象から除外する。このように、明らかに対象物の輪郭を構成しないノイズを除外することによって、対象物の検出精度を向上できる。
　原一致度算出部１４は、モデルパターンと特徴点の配置との一致度を算出する。具体例として、特徴点除外部１３が除外したものを除く全ての特徴点のモデルパターンまでの距離又は距離の二乗の合計値が最も小さくなるようモデルパターンを配置し、特徴点がモデルパターンに一致する度合いを数値化する。一致度の算出方法は、従来の画像処理装置と同様とすることができる。
　対象物検出部１５は、原一致度算出部１４が算出した一致度とパラメータ設定部に設定される検出閾値との比較により撮影画像中の対象物を検出する。つまり、対象物検出部１５は、一致度が検出閾値以上である場合には特徴点が対象物の輪郭点であると判断し、一致度が検出閾値未満であるばあいには対象物が存在しない未検出と判断する。
　パラメータ設定部１６は、少なくとも対象物検出部１５が利用する検出閾値を含む検出パラメータを設定する。つまり、パラメータ設定部１６は、検出パラメータの初期設定を行い、初期設定した検出パラメータの値又は初期設定後にパラメータ変更部１９により変更された検出パラメータの値を記憶する。本実施形態のパラメータ設定部１６は、距離閾値に加え、特徴点抽出部１２が利用する抽出閾値、及び対象物検出部１５が利用する検出閾値も設定する。パラメータ設定部１６は、検出パラメータの初期値を予め定められる値に設定するよう構成されてもよく、ユーザが入力するのを待って初期値をユーザが入力した値に設定するよう構成されてもよい。
　パラメータ設定部１６が設定する抽出閾値の初期値は、十分に低い値又は広い範囲、つまり特徴点を適切な数よりも多く抽出するような値に設定することが好ましい。これにより、検出情報記憶部１７に十分な数の特徴点の検出情報を記憶させ、簡易一致度算出部１８により検出パラメータ変更後の一致度を比較的正確に算出できる。また、パラメータ設定部１６は、撮像画像を用いて特徴点抽出部１２に特徴点の抽出を試行させ、一定数の特徴点が抽出される値を探索して抽出閾値の初期値としてもよい。
　検出情報記憶部１７は、特徴点抽出部１２が抽出した対象物の特徴点について、少なくとも特徴点の位置を含む検出情報を記憶する。簡易一致度算出部１８が抽出閾値の変更に対して一致度を再計算することを可能にするために、検出情報記憶部１７が記憶する検出情報は、抽出閾値と比較すべき特徴点の属性値をさらに含むことが好ましい。
　簡易一致度算出部１８は、パラメータ変更部１９により検出パラメータが変更された場合に、変更後の検出パラメータ及び検出情報記憶部１７に記憶されている検出情報に基づいて一致度を算出する。このように、検出パラメータが変更された場合に一致度を再算出する簡易一致度算出部１８を有することで、検出パラメータの変更の適否を容易に判断できる。また、簡易一致度算出部１８が検出情報から一致度を算出することで、演算負荷が高い特徴点の抽出を行うことなく、検出パラメータの変更後の一致度を確認できるので、短時間で検出パラメータを最適化することができる。
　パラメータ変更部１９は、簡易一致度算出部１８により検出情報に基づいて算出される一致度が大きくなるよう、検出パラメータを変更する。つまり、パラメータ変更部１９は、未検出が少なくなるよう自動的に検出パラメータを最適化する。
　具体的には、パラメータ変更部１９は、検出パラメータを一時的に変更して簡易一致度算出部１８に一致度を再計算させ、一致度が十分に大きくなる検出パラメータの値を確認してから、検出パラメータの値を決定するよう構成され得る。パラメータ変更部１９は、検出パラメータを予め設定された複数の値に変更して一致度を確認し、一致度が最大となる値を最終的に選択するよう構成されてもよい。また、パラメータ変更部１９は、二分探索法、山登り法等の任意のアルゴリズムに基づいて、一致度を十分に大きくできる検出パラメータの値を探索するよう構成されてもよい。
　このように画像処理装置１では、パラメータ変更部１９が、検出情報記憶部１７に記憶されている検出情報を用いて一致度を再計算する簡易一致度算出部１８を利用して、像演算負荷が大きい特徴点抽出部１２による特徴点の抽出を繰り返し行うことなく検出パラメータを最適化するので、検出パラメータを迅速に最適な値に設定できる。
　図２は、本開示の第２実施形態に係る画像処理装置１Ａの構成を示すブロック図である。なお、図２の画像処理装置１Ａについて、図１の画像処理装置１と同様の構成要素には同じ符号を付して重複する説明を省略することがある。
　画像処理装置１Ａは、撮像装置Ｃから撮影画像のデータを取得し、撮影画像中の対象物を検出する。また、画像処理装置１Ａは、入力装置Ｅを介してユーザからの入力を受け付け、表示装置Ｄを用いてユーザに対して情報を表示する。本実施形態の画像処理装置１Ａは、ユーザが主体的に検出パラメータの値を設定することができる。
　入力装置Ｅとしては、例えばキーボード、マウス等の任意の１又は複数の装置を使用することができる。表示装置Ｄとしては、撮像装置Ｃの撮影画像を表示する能力を有する例えばＣＲＴ、液晶パネル、有機ＥＬパネル等の画像表示装置を使用することができる。
　画像処理装置１Ａは、モデル記憶部１１と、特徴点抽出部１２と、特徴点除外部１３と、原一致度算出部１４と、対象物検出部１５と、パラメータ設定部１６Ａと、検出情報記憶部１７と、簡易一致度算出部１８と、パラメータ変更部１９Ａと、ユーザインターフェイス部２０と、を備える。
　パラメータ設定部１６Ａは、ユーザインターフェイス部２０によるユーザの入力に従って検出パラメータを設定する。なお、パラメータ設定部１６Ａは、検出パラメータの初期値については、予め設定される初期設定値又は過去の設定値に基づいて設定するよう構成されてもよい。
　パラメータ変更部１９Ａは、ユーザインターフェイス部２０によるユーザの入力に従って検出パラメータを変更する。
　ユーザインターフェイス部２０は、撮像装置Ｃの撮影画像、原一致度算出部１４が算出した一致度、対象物検出部１５による検出結果、パラメータ設定部１６Ａに設定されている検出パラメータ、簡易一致度算出部１８が算出した一致度等を、必要に応じて単独で又は組み合わせて表示装置Ｄに表示させる。また、ユーザインターフェイス部２０は、これらの表示に合わせて、ユーザに入力装置Ｅを介して検出パラメータの設定値等の入力を促すテキストボックス等の画像を表示装置Ｄに表示させる。
　図３に、ユーザインターフェイス部２０によって行われる表示装置Ｄの表示画面を例示する。この表示画面は、撮影画像を表示する領域（左側上段）と、ユーザが検出パラメータの設定を行うための表示を行う領域（右側中断）と、特徴点抽出部１２、原一致度算出部１４及び簡易一致度算出部１８の算出結果を表示する領域（下段）とを有する。この表示画面では、一致度を「スコア」、検出閾値を「スコアの閾値」、輝度勾配についての検出閾値を「コントラストの閾値」として表示している。また、撮影画像には、特徴点抽出部１２が抽出した特徴点を、特徴点除外部１３により除外されたものと除外されなかたものとを色分けしてオーバーレイ表示している。
　画像処理装置１Ａでは、ユーザが画面上で検出パラメータを修正すれば、特徴点抽出部１２による特徴点の抽出を行うことなく、簡易一致度算出部１８が検出情報記憶部１７に記憶されている検出情報を用いて一致度を再計算するため、タイムラグなく特徴点の色及び一致度（スコア）の値が変化する。このため、ユーザは、一致度の数値だけでなく撮影画像と一致度に採用される特徴点との対応関係を確認し、より適切な検出パラメータを設定することができる。
　以上、本開示の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、前述した実施形態に記載されたものに限定されるものではない。
　例として、本開示に係る画像処理装置において、パラメータ変更部は、前述の第１実施形態のように自動的に検出パラメータを変更する機能と、第２実施形態のようにユーザの入力に従って検出パラメータを変更する機能と、の両方を切り替え可能に併せ持っていてもよい。
　１，１Ａ　画像処理装置
　１１　モデル記憶部
　１２　特徴点抽出部
　１３　特徴点除外部
　１４　原一致度算出部
　１５　対象物検出部
　１６，１６Ａ　パラメータ設定部
　１７　検出情報記憶部
　１８　簡易一致度算出部
　１９，１９Ａ　パラメータ変更部
　２０　ユーザインターフェイス部
　Ｃ　撮像装置
　Ｄ　表示装置
　Ｅ　入力装置

Claims (5)

  1. 　撮像装置の撮影画像中の対象物を検出する画像処理装置であって、
    　モデルパターンを記憶するモデル記憶部と、
    　前記撮影画像から特徴点を抽出する特徴点抽出部と、
    　前記モデルパターンと前記特徴点の配置との一致度を算出する原一致度算出部と、
    　前記一致度と検出閾値との比較により前記撮影画像中の前記対象物を検出する対象物検出部と、
    　少なくとも前記検出閾値を含む検出パラメータを設定するパラメータ設定部と、
    　前記対象物検出部が検出した前記対象物の前記特徴点について、少なくとも前記特徴点の位置を含む検出情報を記憶する検出情報記憶部と、
    　前記検出パラメータが変更された場合に、変更後の前記検出パラメータ及び前記検出情報記憶部に記憶されている検出情報に基づいて前記一致度を算出する簡易一致度算出部と、
    を備える、画像処理装置。
  2. 　前記特徴点抽出部は、属性値が抽出閾値以上である点を前記特徴点として抽出し、
    　前記パラメータ設定部に設定される前記検出パラメータは、前記抽出閾値を含み、
    　前記検出情報記憶部が記憶する前記検出情報は、前記属性値を含む、請求項１に記載の画像処理装置。
  3. 　前記属性値は、前記特徴点の色、輝度、輝度勾配の大きさ及び輝度勾配の方向の少なくともいずれかを含む、請求項２に記載の画像処理装置。
  4. 　前記簡易一致度算出部により前記検出情報に基づいて算出される前記一致度が大きくなるよう、前記検出パラメータを変更するパラメータ変更部をさらに備える、請求項１から３のいずれかに記載の画像処理装置。
  5. 　前記簡易一致度算出部が算出した前記一致度を表示するユーザインターフェイス部をさらに備える、請求項１から４のいずれかに記載の画像処理装置。
PCT/JP2021/018278 2021-05-13 2021-05-13 画像処理装置 WO2022239202A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023520697A JPWO2022239202A1 (ja) 2021-05-13 2021-05-13
DE112021007225.0T DE112021007225T5 (de) 2021-05-13 2021-05-13 Bildverarbeitungsvorrichtung
PCT/JP2021/018278 WO2022239202A1 (ja) 2021-05-13 2021-05-13 画像処理装置
CN202180097150.7A CN117203665A (zh) 2021-05-13 2021-05-13 图像处理装置
TW111115476A TW202244779A (zh) 2021-05-13 2022-04-22 圖像處理裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018278 WO2022239202A1 (ja) 2021-05-13 2021-05-13 画像処理装置

Publications (1)

Publication Number Publication Date
WO2022239202A1 true WO2022239202A1 (ja) 2022-11-17

Family

ID=84028056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018278 WO2022239202A1 (ja) 2021-05-13 2021-05-13 画像処理装置

Country Status (5)

Country Link
JP (1) JPWO2022239202A1 (ja)
CN (1) CN117203665A (ja)
DE (1) DE112021007225T5 (ja)
TW (1) TW202244779A (ja)
WO (1) WO2022239202A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015133049A (ja) * 2014-01-15 2015-07-23 オムロン株式会社 画像照合装置、画像センサ、処理システム、画像照合方法
JP2018036528A (ja) * 2016-08-31 2018-03-08 キヤノン株式会社 位置検出方法、位置検出装置、リソグラフィ装置および物品製造方法
JP2020181290A (ja) * 2019-04-24 2020-11-05 株式会社日立製作所 物品認識システムおよび物品認識方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6348093B2 (ja) 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015133049A (ja) * 2014-01-15 2015-07-23 オムロン株式会社 画像照合装置、画像センサ、処理システム、画像照合方法
JP2018036528A (ja) * 2016-08-31 2018-03-08 キヤノン株式会社 位置検出方法、位置検出装置、リソグラフィ装置および物品製造方法
JP2020181290A (ja) * 2019-04-24 2020-11-05 株式会社日立製作所 物品認識システムおよび物品認識方法

Also Published As

Publication number Publication date
JPWO2022239202A1 (ja) 2022-11-17
DE112021007225T5 (de) 2024-01-18
CN117203665A (zh) 2023-12-08
TW202244779A (zh) 2022-11-16

Similar Documents

Publication Publication Date Title
US7948479B2 (en) Method and system for distinguishing multiple touch points
US10885311B2 (en) Face recognition system, face recognition method, display control apparatus, display control method, and display control program
CN111986178A (zh) 产品缺陷检测方法、装置、电子设备和存储介质
AU2016225841B2 (en) Predicting accuracy of object recognition in a stitched image
JP2010097616A (ja) タッチポイント検出方法及び装置
JP2022059013A (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
CN105469427B (zh) 一种用于视频中目标跟踪方法
US9286669B2 (en) Image processing apparatus, image processing method and program
JP2013215549A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
KR101105872B1 (ko) 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치
WO2022239202A1 (ja) 画像処理装置
KR101021015B1 (ko) 3차원 사용자 인터페이스 방법
JP2019149119A (ja) 画像処理装置、画像処理方法及びプログラム
KR20120107698A (ko) 동적 프로그래밍과 캠쉬프트 알고리즘을 이용한 영상 센서 기반 항공기 탐지 장치 및 방법
JP2015045919A (ja) 画像認識方法及びロボット
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
Uma et al. Marker based augmented reality food menu
US11461585B2 (en) Image collection apparatus, image collection system, image collection method, image generation apparatus, image generation system, image generation method, and program
JP2008226176A (ja) 熱目標追跡装置及び熱目標追跡方法
US20210004644A1 (en) Store apparatus, store system, image acquisition method and program
Laureano et al. A topological approach for detection of chessboard patterns for camera calibration
JP7345355B2 (ja) 物体識別装置
JP7211496B2 (ja) 教師データ生成装置
US9852352B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
JP2013246674A (ja) 図形検出処理装置、図形検出処理方法及び図形検出処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941935

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023520697

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180097150.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18555884

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112021007225

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21941935

Country of ref document: EP

Kind code of ref document: A1