KR102059272B1 - Device for detecting welding defects and method thereof - Google Patents

Device for detecting welding defects and method thereof Download PDF

Info

Publication number
KR102059272B1
KR102059272B1 KR1020180112741A KR20180112741A KR102059272B1 KR 102059272 B1 KR102059272 B1 KR 102059272B1 KR 1020180112741 A KR1020180112741 A KR 1020180112741A KR 20180112741 A KR20180112741 A KR 20180112741A KR 102059272 B1 KR102059272 B1 KR 102059272B1
Authority
KR
South Korea
Prior art keywords
welding
histogram
image
section
failure detection
Prior art date
Application number
KR1020180112741A
Other languages
Korean (ko)
Inventor
이재환
박성연
Original Assignee
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오토에버 주식회사 filed Critical 현대오토에버 주식회사
Priority to KR1020180112741A priority Critical patent/KR102059272B1/en
Application granted granted Critical
Publication of KR102059272B1 publication Critical patent/KR102059272B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/60Specific applications or type of materials
    • G01N2223/629Specific applications or type of materials welds, bonds, sealing compounds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

According to one embodiment, provided is a method for detecting a welding defect comprising: an operation of obtaining an image for an object to be welded; an operation of extracting a region of interest including a welding part from the image; an operation of setting a section from a center of the welding part; an operation of generating a first histogram composed of a first image value and a second histogram composed of a second image value with respect to the section; an operation of coupling the first histogram and the second histogram to generate an overall histogram; and an operation of determining whether or not the welding is defective on the basis of the overall histogram. Therefore, the present invention provides a technique for detecting welding defects which cannot be identified by the naked eye.

Description

용접 불량 검출 장치 및 그 방법{DEVICE FOR DETECTING WELDING DEFECTS AND METHOD THEREOF}Welding defect detection device and its method {DEVICE FOR DETECTING WELDING DEFECTS AND METHOD THEREOF}

본 실시예는 용접 불량 검출 기술에 관한 것이다.This embodiment relates to a welding failure detection technique.

서로 분리된 금속 재료를 접합하는 용접 기술에 있어서, 용접 결과의 좋고 나쁨을 결정하는 용접성은 매우 중요하다. 용접은 견고한 결합을 목적으로 하고 용접법, 용접재료 및 시공법 등이 용접성에 따라 달라지기 때문이다. 무엇보다 피용접물이 단단히 결합되어야만, 불량 용접에 의한 오동작을 예방할 수 있다. 예를 들어, 자동차 센서는 스팟 용접(spot welding)으로 결합되는데, 용접이 불량하면, 자동차 센서가 운행 중에 발생하는 진동에 의하여 탈착되어 자동차 운행의 오동작이 발생한다. 따라서 제조과정에서 용접 불량 여부를 발견하여 수정하는 것이 선결적으로 요구된다.In the welding technique of joining metal materials separated from each other, weldability which determines the good or bad of the welding result is very important. This is because welding is for the purpose of firm coupling, and welding methods, welding materials, and construction methods depend on weldability. Above all, the welded object must be firmly coupled to prevent malfunction due to poor welding. For example, the automobile sensor is coupled by spot welding. If the welding is poor, the automobile sensor is detached by vibration generated during driving, and a malfunction of the vehicle driving occurs. Therefore, it is required in advance to find and correct welding defects during manufacturing.

용접 불량이 육안으로 발견되는 경우가 있지만, 그렇지 않은 경우도 있다. 상술한 예에서, 자동차 센서의 스팟 용접의 불량 여부는 육안으로 식별하기 힘들다. 더욱이 전자장치의 소형화와 집적화가 수행됨에 따라, 육안으로 식별할 수 없는 국부적이고 미세한 용접이 수행되는 경우는 더욱 많을 것이다. 육안으로 식별하기 힘든 경우, 용접 불량 여부는 직접적으로 물리적인 힘을 가하는 테스트 등을 통해서만 판단할 수 있을 것이다. 그러나 이러한 방법은 시간과 비용이 과다하고 비효율적이라는 점에서 한계가 있다. 이와 관련하여, 육안으로 식별하기 어렵고 물리적 테스트가 어려운 경우에 용접 불량을 발견하는 기술이 개발되고 있다.Weld defects may be found visually, but sometimes they are not. In the above example, it is difficult to visually identify whether spot welding of the automotive sensor is defective. Moreover, as miniaturization and integration of electronic devices is performed, there will be more cases where local and fine welding is performed that cannot be visually identified. If it is difficult to identify with the naked eye, the weld failure can only be determined through a direct physical test. However, this method is limited in that time and money are excessive and inefficient. In this regard, techniques have been developed to detect weld defects when visual identification and physical testing are difficult.

이러한 배경에서, 본 실시예의 목적은, 육안으로 식별할 수 없는 용접 불량을 발견하는 기술을 제공하는 것이다.Against this background, it is an object of this embodiment to provide a technique for detecting weld defects that cannot be visually identified.

전술한 목적을 달성하기 위하여, 일 실시예는, 용접의 불량을 검출하는 방법에 있어서, 피용접물에 대한 이미지를 획득하는 동작; 상기 이미지로부터 용접 부위를 포함하는 관심영역을 추출하는 동작; 상기 용접 부위의 중심으로부터 구간을 설정하는 동작; 상기 구간에 대하여, 제1 이미지 값으로 구성된 제1 히스토그램 및 제2 이미지 값으로 구성된 제2 히스토그램을 생성하는 동작; 상기 제1 히스토그램 및 상기 제2 히스토그램을 결합하여 전체 히스토그램을 생성하는 동작; 및 상기 전체 히스토그램을 기반으로 용접 불량 여부를 판정하는 동작을 포함하는 용접 불량 검출 방법을 제공한다.In order to achieve the above object, an embodiment is a method for detecting a defect of welding, the method comprising the steps of: obtaining an image for the welded object; Extracting a region of interest including a welded portion from the image; Setting a section from the center of the welding site; Generating, for the interval, a first histogram composed of first image values and a second histogram composed of second image values; Combining the first histogram and the second histogram to generate a full histogram; And it provides a welding failure detection method comprising the operation of determining whether the welding failure based on the entire histogram.

상기 용접 불량 검출 방법에서, 상기 제1 이미지 값과 제2 이미지 값은, 임의의 밝기값 범위에 해당하는 화소의 개수일 수 있다.In the welding failure detection method, the first image value and the second image value may be the number of pixels corresponding to an arbitrary brightness value range.

상기 용접 불량 검출 방법에서, 복수의 샘플 히스토그램과, 상기 복수의 샘플 히스토그램이 용접 정상에 해당하는지 또는 용접 불량에 해당하는지를 나타내는 용접 결과에 대한 정보를 획득하는 동작을 포함하고, 상기 용접 불량 여부를 판정하는 동작은, 상기 복수의 샘플 히스토그램 각각에 대한 상기 용접 결과를 학습하는 동작; 및 상기 학습에 기반하여 판정하는 동작을 포함할 수 있다.In the welding failure detection method, a plurality of sample histograms, and the operation of obtaining information about the welding result indicating whether the plurality of sample histograms correspond to the normal welding or welding failure, and determining whether the welding failure The act of learning may include learning the weld results for each of the plurality of sample histograms; And determining based on the learning.

상기 용접 불량 검출 방법에서, 상기 정보를 획득하는 동작은, 상기 복수의 샘플 히스토그램이 결합된 히스토그램과 상기 결합된 히스토그램이 용접 정상에 해당하는지 또는 용접 불량에 해당하는지를 나타내는 용접 결과에 대한 정보를 획득하고, 상기 용접 불량 여부를 판정하는 동작은, 상기 결합된 샘플 히스토그램에 대한 상기 용접 결과를 학습하는 동작; 및 상기 학습에 기반하여 판정하는 동작을 포함할 수 있다.In the welding failure detection method, the operation of acquiring the information may include obtaining a histogram to which the plurality of sample histograms are combined and information about a welding result indicating whether the combined histogram corresponds to a normal welding or a welding failure. The determining of the welding failure may include: learning the welding result with respect to the combined sample histogram; And determining based on the learning.

상기 용접 불량 검출 방법에서, 상기 학습하는 동작은, 서포트 벡터 머신(SVM, support vector machine) 모델을 이용하여 학습할 수 있다.In the welding failure detection method, the learning operation may be learned using a support vector machine (SVM) model.

상기 용접 불량 검출 방법에서, 상기 용접의 방식은 스팟 용접이며, 상기 용접 부위는 스팟일 수 있다.In the welding failure detection method, the welding method may be spot welding, and the welding portion may be spot.

상기 용접 불량 검출 방법에서, 상기 스팟은 원형이며, 상기 구간을 설정하는 동작은, 상기 스팟의 원형을 설정하는 동작; 상기 원형의 중심을 설정하는 동작; 상기 원형의 중심으로부터 제1 반지름 및 제2 반지름을 설정하는 동작; 및 상기 제1 반지름과 제2 반지름 사이를 상기 구간으로 결정하는 동작을 포함할 수 있다.In the welding failure detection method, the spot is circular, and setting the section comprises: setting the spot circular; Setting a center of the circle; Setting a first radius and a second radius from the center of the circle; And determining the interval between the first radius and the second radius.

상기 용접 불량 검출 방법에서, 상기 스팟의 원형을 인지하는 동작 및 상기 원형의 중심을 설정하는 동작은, 가우시안 혼합(GM, gaussian mixture) 모델을 이용하여 설정할 수 있다.In the welding failure detection method, the operation of recognizing the circle of the spot and the operation of setting the center of the circle may be set using a Gaussian mixture (GM) model.

다른 실시예는, 용접의 불량을 검출하는 장치에 있어서, 피용접물에 대한 이미지를 획득하는 이미지 획득부; 상기 이미지로부터 용접 부위를 포함하는 관심영역을 추출하고, 상기 용접 부위의 중심으로부터 구간을 설정하고, 상기 구간에 대하여, 제1 이미지 값으로 구성된 제1 히스토그램 및 제2 이미지 값으로 구성된 제2 히스토그램을 생성하며, 상기 제1 히스토그램 및 상기 제2 히스토그램을 결합하여 전체 히스토그램을 생성하는 이미지 처리부; 및 상기 전체 히스토그램을 기반으로 용접 불량 여부를 판정하는 판정부를 포함하는 용접 불량 검출 장치를 제공한다.Another embodiment is an apparatus for detecting a defect in welding, the apparatus comprising: an image acquisition unit for obtaining an image for a welded object; Extracting a region of interest including a welded portion from the image, setting a section from the center of the welded portion, and for the section, a first histogram composed of first image values and a second histogram composed of second image values An image processor configured to generate the entire histogram by combining the first histogram and the second histogram; And it provides a welding failure detection device comprising a determination unit for determining whether or not welding based on the entire histogram.

상기 용접 불량 검출 장치에서, 상기 판정부는, 복수의 샘플 히스토그램과, 상기 복수의 샘플 히스토그램이 용접 정상에 해당하는지 또는 용접 불량에 해당하는지를 나타내는 용접 결과에 대한 정보를 획득하고, 상기 복수의 샘플 히스토그램 각각에 대한 상기 용접 결과를 학습하며, 상기 학습에 기반하여 용접 불량 여부를 판정할 수 있다.In the welding failure detection apparatus, the determination unit obtains information on a plurality of sample histograms and welding results indicating whether the plurality of sample histograms correspond to a normal welding state or a welding failure state, and each of the plurality of sample histograms is obtained. The welding result for the learning, and based on the learning can determine whether the welding failure.

이상에서 설명한 바와 같이 본 실시예에 의하면, 육안으로 식별하기 어려운 용접 불량 여부를 용이하게 판단할 수 있다. 이를 통해, 불량한 용접으로 피용접물이 탈착되어 발생하는 오작동을 예방할 수 있다.As described above, according to this embodiment, it is possible to easily determine whether or not welding defects are difficult to visually identify. Through this, it is possible to prevent a malfunction caused by detachment of the welded object by poor welding.

또한 본 실시예에 의하면, 사용자가 원하는 용접 상태를 나타내는 히스토그램을 학습시킴으로써, 용접 부위가 사용자가 원하는 용접 상태와 일치하는지를 판단할 수 있다. 이를 통해, 사용자 설정에 부합하는 용접인지를 판단하는 사용자 맞춤형 용접 불량 판단 기능을 제공할 수 있다. In addition, according to the present embodiment, by learning a histogram indicating a welding state desired by the user, it is possible to determine whether the welded portion matches the welding state desired by the user. Through this, it is possible to provide a user-specific welding failure determination function for determining whether the welding meets the user setting.

도 1은 일 실시예에 따른 용접 불량 검출 장치의 구성도이다.
도 2는 일 실시예 따른 피용접물에 대한 이미지와 관심영역을 나타내는 예시도이다.
도 3은 일 실시예에 따른 용접 부위의 중심이 설정된 관심영역을 나타내는 예시도이다.
도 4는 일 실시예에 따른 용접 부위에 구간을 설정하는 것을 나타내는 도면이다.
도 5는 일 실시예에 따른 용접 부위 구간에 따른 히스토그램을 나타내는 예시도이다.
도 6은 일 실시예에 따른 복수의 히스토그램이 결합되어 생성된 전체 히스토그램을 나타내는 예시도이다.
도 7은 일 실시예에 따른 용접 불량 검출 장치 구성의 동작에 대한 흐름도이다.
도 8은 일 실시예에 따른 용접 불량 검출 장치의 동작에 대한 흐름도이다.
1 is a block diagram of a welding failure detection apparatus according to an embodiment.
2 is an exemplary diagram illustrating an image and a region of interest about a welded object according to an exemplary embodiment.
3 is an exemplary diagram illustrating a region of interest in which a center of a welding portion is set according to an exemplary embodiment.
4 is a diagram illustrating setting a section at a welding site according to an exemplary embodiment.
5 is an exemplary diagram illustrating a histogram according to a welded section according to an exemplary embodiment.
6 is an exemplary diagram illustrating a total histogram generated by combining a plurality of histograms according to an exemplary embodiment.
7 is a flowchart illustrating an operation of a welding failure detection apparatus configuration, according to an exemplary embodiment.
8 is a flowchart illustrating an operation of a welding failure detection apparatus according to an exemplary embodiment.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail through exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even though they are shown in different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the component of this invention, terms, such as 1st, 2nd, A, B, (a), (b), can be used. These terms are only for distinguishing the components from other components, and the nature, order or order of the components are not limited by the terms. If a component is described as being "connected", "coupled" or "connected" to another component, that component may be directly connected to or connected to that other component, but there may be another configuration between each component. It is to be understood that the elements may be "connected", "coupled" or "connected".

도 1은 일 실시예에 따른 용접 불량 검출 장치의 구성도이다.1 is a block diagram of a welding failure detection apparatus according to an embodiment.

도 1을 참조하면, 용접 불량 검출 장치(100)는 이미지 획득부(110), 이미지 처리부(120), 판정부(130), 저장부(140) 및 표시부(150)를 포함할 수 있다. Referring to FIG. 1, the welding failure detection apparatus 100 may include an image acquirer 110, an image processor 120, a determiner 130, a storage 140, and a display 150.

용접 불량 검출 장치(100)에 의하여 수행되는 용접 불량 검출 방법은 스팟 용접을 포함하는 저항 용접의 불량 여부를 검출하는데 주로 사용될 수 있으나, 이에 한정하지 않는다. 아크 용접, 가스 용접 또는 전자빔·레이저·초음파·로봇용접을 포함하는 특수 용접에서도 사용될 수 있다. 이하에서는 스팟 용접을 중심으로 설명한다. The welding failure detection method performed by the welding failure detection apparatus 100 may be mainly used to detect whether a resistance welding including spot welding is defective, but is not limited thereto. It can also be used in arc welding, gas welding or special welding, including electron beam, laser, ultrasonic and robot welding. Hereinafter, the spot welding will be described.

이미지 획득부(110)는 피용접물(210, 220)에 대한 이미지를 획득할 수 있다. 피용접물(210, 220)은 용접되는 물체로서, 주로 금속 재질의 물체일 수 있다. 피용접물(210, 220)에 대한 이미지는 화면에 표시되는 화상 이미지이자 정적 이미지일 수 있다. 이미지 획득부(110)는 별도의 촬영기기가 피용접물(210, 220)을 촬영한 이미지를 수신하거나, 자체적으로 카메라를 포함하여 피용접물(210, 220)에 대한 이미지를 생성할 수 있다.The image acquirer 110 may acquire an image of the welded object 210 or 220. The welded objects 210 and 220 are objects to be welded, and may be mainly metal objects. Images for the welded objects 210 and 220 may be image images and static images displayed on the screen. The image acquisition unit 110 may receive an image of the image to be welded 210 or 220 by a separate photographing apparatus, or may generate an image of the object to be welded 210 or 220 including a camera.

피용접물(210, 220)에 대한 이미지는 이미지 데이터를 포함할 수 있다. 상기 이미지 데이터는 피용접물(210, 220)에 대한 이미지를 히스토그램으로 표현할 때 사용되는 정보를 포함할 수 있다. 예를 들어, 상기 이미지 데이터는 화소의 밝기값, 채도값 및/또는 색상값일 수 있다. Images for the welded objects 210 and 220 may include image data. The image data may include information used to represent an image of the welded object 210 and 220 in a histogram. For example, the image data may be a brightness value, a saturation value, and / or a color value of a pixel.

도 2a는 일 실시예 따른 피용접물에 대한 이미지를 나타내는 개념도이다.2A is a conceptual diagram illustrating an image of a welded object according to an embodiment.

도 2a의 예시와 같이, 피용접물(210, 220)에 대한 이미지는 정적 화상 이미지로 획득될 수 있다. 제1 피용접물(210)은 제2 피용접물(220)과 용접 부위(201)를 통해 용접될 수 있다. 예를 들어, 제1 피용접물(210)은 자동차 센서, 제2 피용접물(220)은 플레이트(plate)를 가진 자동차 구조물이며, 용접 부위(201)는 스팟 용접에 의해 형성된 스팟일 수 있다. 이미지 획득부(110)는 도 2a에서 예시된 이미지를 획득할 수 있다.As in the example of FIG. 2A, an image for the welded object 210 and 220 may be obtained as a static image image. The first welded object 210 may be welded to the second welded object 220 through the welding portion 201. For example, the first to-be-welded material 210 may be an automobile sensor, and the second to-be-welded material 220 may be an automobile structure having a plate, and the welding portion 201 may be a spot formed by spot welding. The image acquirer 110 may acquire the image illustrated in FIG. 2A.

다시 도 1로 돌아가면, 이미지 처리부(120)는 피용접물(210, 220)에 대한 이미지로부터 용접 부위(201)를 포함하는 관심영역(230)을 추출할 수 있다. 관심영역(230)은 상기 피용접물에 대한 이미지의 영역 중에서 용접 부위(201)와 그것의 근방을 포함하는 영역에 해당하는 부분으로, 이미지 처리부(120)가 처리하는 한 단위일 수 있다. 이미지 처리부(120)는 피용접물(210, 220)에 대한 이미지로부터 관심영역(230)을 설정하고 추출할 수 있다. Referring back to FIG. 1, the image processor 120 may extract the ROI 230 including the welding portion 201 from the images of the welded objects 210 and 220. The ROI 230 is a portion corresponding to a region including the welded portion 201 and its vicinity of the region of the image to be welded, and may be a unit processed by the image processor 120. The image processor 120 may set and extract the ROI 230 from the images of the welded objects 210 and 220.

도 2b 및 2c는 일 실시예 따른 관심영역을 나타내는 예시도이다.2B and 2C are exemplary views illustrating a region of interest according to an embodiment.

도 2b에서, 이미지 처리부(120)는 피용접물(210, 220)에 대한 이미지로부터 용접 부위(201)를 포함하는 관심영역(230)을 설정할 수 있다. 상술한 예에서, 자동차 센서가 플레이트에 스팟 용접으로 결합된 경우, 이미지 처리부(120)는 자동차 센서가 플레이트에 용접된 부분인 스팟 즉, 용접 부위(201)와 그 근방을 관심영역(230)으로 설정할 수 있다. 도 2c과 같이, 이미지 처리부(120)는 설정된 관심영역(230)을 피용접물(210, 220)에 대한 이미지로부터 분리할 수 있다. In FIG. 2B, the image processor 120 may set the ROI 230 including the welding portion 201 from the images of the welded objects 210 and 220. In the above-described example, when the automobile sensor is coupled to the plate by spot welding, the image processor 120 may move the spot, that is, the welding portion 201 and its vicinity to the region of interest 230, which is the portion of the automobile sensor welded to the plate. Can be set. As illustrated in FIG. 2C, the image processor 120 may separate the set ROI 230 from the images of the welded objects 210 and 220.

다시 도 1로 돌아가면, 이미지 처리부(120)는 용접 부위(201)에 대한 히스토그램을 생성할 수 있다. 구체적으로, 이미지 처리부(120)는 용접 부위(201)에 대한 특정 구간들을 설정하고, 상기 구간들에 대하여 이미지 값을 구한 후 상기 이미지 값을 상기 구간들에 매칭시킴으로써 히스토그램을 생성할 수 있다. 히스토그램은 상기 구간들과 상기 이미지 값을 각각 하나의 축으로 하여 표현될 수 있다. Referring back to FIG. 1, the image processor 120 may generate a histogram for the welded portion 201. In detail, the image processor 120 may generate specific histograms by setting specific sections of the welding portion 201, obtaining image values of the sections, and matching the image values to the sections. The histogram may be expressed by using each of the sections and the image value as one axis.

용접 부위(201)에 구간을 설정하기 위하여, 이미지 처리부(120)는 용접 부위(201)의 중심(310)을 설정한다. 이미지 처리부(120)는 용접 부위(201)의 중심(310)을 설정하기 위하여 가우시안 혼합(GM, gaussian mixture) 알고리즘을 이용할 수 있다. In order to set a section at the welded portion 201, the image processor 120 sets the center 310 of the welded portion 201. The image processor 120 may use a gaussian mixture (GM) algorithm to set the center 310 of the welding portion 201.

도 3은 일 실시예에 따른 용접 부위(201)의 중심(310)이 설정된 관심영역을 나타내는 예시도이다. 도 3에서, 가우시안 혼합 알고리즘에 의하여, 도 2b 및 도 2c의 각각의 관심영역(230)은 변환되고 이미지 처리부(120)는 각각의 관심영역(230)에서 용접 부위(201)의 중심(310)을 찾아낼 수 있다. 3 is an exemplary diagram illustrating a region of interest in which the center 310 of the welding site 201 is set, according to an exemplary embodiment. In FIG. 3, by means of a Gaussian mixing algorithm, each region of interest 230 of FIGS. 2B and 2C is transformed and the image processor 120 converts the center 310 of the welded portion 201 in each region of interest 230. You can find it.

다시 도 1로 돌아가면, 이미지 처리부(120)는 용접 부위(201)의 중심(310)으로부터 용접 부위(201) 전체에 걸쳐 구간을 설정할 수 있다. 상기 구간은 반지름의 길이에 따라 구분될 수 있다. 상기 구간은 반지름 길이에 따라 구분된 용접 부위(201)의 영역을 포함할 수 있다.Referring back to FIG. 1, the image processor 120 may set a section from the center 310 of the welded portion 201 to the entire welded portion 201. The sections may be divided according to the length of the radius. The section may include a region of the welding portion 201 divided according to the radius length.

도 4a는 일 실시예에 따른 용접 부위(201)에 구간을 설정하는 것을 나타내는 개념도이고, 도 4b는 그에 따른 예시도이다. 도 4b에는, 도 4a에 나타난 용접 부위(201)에 구간을 설정하는 것을 실제 촬영된 화상 이미지에 나타낸 것으로, 도 4a와 동일하다. 이하에서는 도 4a를 중심으로 설명한다.4A is a conceptual diagram illustrating setting a section in a welding portion 201 according to an embodiment, and FIG. 4B is an exemplary diagram according to the same. In FIG. 4B, setting the section in the welded portion 201 shown in FIG. 4A is shown in the actual photographed image image, which is the same as in FIG. 4A. Hereinafter, a description will be given with reference to FIG. 4A.

도 4a에서, 이미지 처리부(120)는 용접 부위(201)의 중심(310)으로부터 제1 반지름(r1)과 제2 반지름(r2)을 설정할 수 있다. 이미지 처리부(120)는 제1 원(401)을 특정한 후 용접 부위(201)의 중심(310)으로부터 제1 원(401)까지의 거리를 측정하여 제1 반지름(r1)을 산출할 수 있다. 이미지 처리부(120)는 제2 원(402)을 특정한 후 용접 부위(201)의 중심(310)으로부터 제2 원(402)까지의 거리를 측정하여 제2 반지름(r2)을 산출할 수 있다. In FIG. 4A, the image processor 120 may set the first radius r 1 and the second radius r 2 from the center 310 of the welding portion 201. The image processor 120 may calculate the first radius r 1 by specifying the first circle 401 and measuring a distance from the center 310 of the welding portion 201 to the first circle 401. . The image processor 120 may calculate the second radius r 2 by specifying the second circle 402 and measuring the distance from the center 310 of the welding portion 201 to the second circle 402. .

이미지 처리부(120)는 용접 부위(201)의 중심(310)과 제1 반지름(r1) 사이를 제1 구간, 제1 반지름(r1)과 제2 반지름(r2) 사이를 제2 구간으로 정의할 수 있다. 상기 제1 구간은 용접 부위(201)의 중심(310)과 제1 반지름(r1) 사이에 해당하는 영역(A1), 상기 제2 구간은 제1 반지름(r1)과 제2 반지름(r2) 사이에 해당하는 영역(A2)을 각각 포함할 수 있다. The image processor 120 may include a first section between the center 310 of the welding portion 201 and the first radius r 1 , and a second section between the first radius r 1 and the second radius r 2 . Can be defined as The first section is an area A1 corresponding to the center 310 of the welding portion 201 and the first radius r 1 , and the second section is the first radius r 1 and the second radius r. 2 ) each of the regions A2 may be included.

각 구간들의 폭은 서로 다르거나 균등할 수 있고, 그 폭은 사용자에 의하여 미리 설정될 수 있다. 구간을 설정하는 방법은 상술한 예시에 한정되지 않는다. 예를 들어, 원을 특정하여 반지름을 구하는 대신, 다각형을 특정하여 용접 부위(201)의 중심(310)으로부터 꼭지점까지의 거리를 구함으로써 구간을 설정할 수도 있다. 이 경우는 용접 부위(201)가 원형이 아닌 각이 진 형태일 때, 적절할 수 있다.The widths of the sections may be different or equal to each other, and the width may be preset by the user. The method for setting the section is not limited to the above-described example. For example, instead of specifying a circle to obtain a radius, a section may be set by specifying a polygon to obtain a distance from the center 310 of the welding portion 201 to a vertex. This case may be appropriate when the welded portion 201 is angled rather than circular.

다시 도 1로 돌아가면, 이미지 처리부(120)는 상기 구간에 대하여, 이미지 값을 산출할 수 있다. 상기 이미지 값은 피용접물(210, 220)에 대한 이미지의 이미지 데이터로부터 산출될 수 있다. 예를 들어, 상기 이미지 값은 특정 밝기를 가진 화소의 개수를 포함할 수 있다. 이미지 처리부(120)는 각 구간마다 상기 특정 밝기를 가진 화소의 개수를 셀(count) 수 있다. 상세하게, 이미지 처리부(120)는 임의의 밝기값 범위에 해당하는 화소의 개수를 상기 이미지 값으로 정의할 수 있다.1, the image processor 120 may calculate an image value for the section. The image value may be calculated from image data of an image for the welded object 210 and 220. For example, the image value may include the number of pixels having a specific brightness. The image processor 120 may count the number of pixels having the specific brightness in each section. In detail, the image processor 120 may define the number of pixels corresponding to a certain brightness value range as the image value.

Figure 112018093907797-pat00001
수식(1)
Figure 112018093907797-pat00001
Formula (1)

Figure 112018093907797-pat00002
수식(2)
Figure 112018093907797-pat00002
Formula (2)

Figure 112018093907797-pat00003
수식(3)
Figure 112018093907797-pat00003
Formula (3)

이미지 처리부(120)는 수식(1)에 따르면, 이미지 처리부(120)는 Xa이하의 밝기값(I(d))을 가지는 화소의 숫자를, 수식(2)에 따르면, Xb이상 Xc이하의 밝기값(I(d))을 가지는 화소의 숫자를, 수식(3)에 따르면, Xd이상의 밝기값(I(d))을 가지는 화소의 숫자를, 각 구간에 대한 이미지 값으로 정의할 수 있다. 상술한 예에서, 이미지 처리부(120)는 용접 부위(201)의 중심(310)에서 제1 반지름(r1)까지 해당하는 영역인 제1 구간(A1)과 제1 반지름(r1)에서 제2 반지름(r2)까지 해당하는 제2 구간(A2)에 대하여, 수식(1)에 따라 Xa이하의 밝기값(I(d))을 가지는 화소의 숫자를 각각 산출하고, 상기 화소의 숫자를 각 구간에 대한 이미지 값으로 규정할 수 있다.According to equation (1), the image processing unit 120 determines the number of pixels having a brightness value I (d) of X a or less, and according to equation (2), X b or more X c According to Equation (3), the number of pixels having the brightness value I (d) below is defined as the image value for each section by the number of pixels having the brightness value I (d) of X d or more. can do. In the above-described example, the image processing unit 120 is formed in the first section A1 and the first radius r 1 , which are areas corresponding to the first radius r 1 , from the center 310 of the welding portion 201. The number of pixels having a brightness value I (d) equal to or less than X a is calculated for each of the second intervals A2 corresponding to the second radius r 2 , according to Equation (1), and the number of the pixels. May be defined as an image value for each section.

또한, 이미지 처리부(120)는 구간마다 밝기값 범위를 다르게 적용함으로써, 이미지 값을 산출할 수 있다. 상술한 예에서, 이미지 처리부(120)는 제1 구간(A1)에는 Xa이하의 밝기값(I(d))을 가지는 화소의 숫자를, 제2 구간(A2)에는 Xb이상 Xc이하의 밝기값(I(d))을 가지는 화소의 숫자를 이미지 값으로, 각각 규정할 수 있다. In addition, the image processor 120 may calculate an image value by applying a different brightness value range for each section. In the above-described example, the image processing unit 120 has a number of pixels having a brightness value I (d) of X a or less in the first section A1, and X b or more and X c or less in the second section A2. The number of pixels having a brightness value of I (d) may be defined as an image value, respectively.

이미지 처리부(120)는 밝기값 외에 상기 이미지 데이터로부터 획득할 수 있는 모든 데이터를 구간에 대한 이미지 값을 산출하는데 이용할 수 있다. 예를 들어, 이미지 처리부(120)는 채도값 또는 색상값을 기준으로, 임의의 범위 채도 또는 색상을 가지는 화소의 개수를 이미지 값으로 규정할 수 있다.The image processor 120 may use all data that can be obtained from the image data in addition to the brightness value to calculate an image value for the section. For example, the image processor 120 may define the number of pixels having any range of saturation or color as an image value based on the saturation value or the color value.

이미지 처리부(120)는 여러 종류의 이미지 데이터-예를 들어, 밝기와 채도-를 이용하여 이미지 값을 산출할 수 있다. 상술한 예에서, 제1 구간(A1)에서 Xa이하의 밝기를 가지며 Ya이하의 채도를 가지는 화소의 숫자를 이미지 값으로 규정할 수 있다.The image processor 120 may calculate an image value using various kinds of image data, for example, brightness and saturation. In the above example, the number of pixels having brightness less than or equal to X a and chroma less than or equal to Y a in the first section A1 may be defined as an image value.

이미지 처리부(120)는 상기 구간을 하나의 축으로, 이미지 값을 또 다른 축으로 하여 히스토그램을 생성할 수 있다. 이미지 처리부(120)는 각각의 구간마다 이에 해당하는 이미지 값을 매칭할 수 있다. The image processor 120 may generate a histogram using the section as one axis and the image value as another axis. The image processor 120 may match an image value corresponding to each section.

도 5는 일 실시예에 따른 용접 부위 구간에 따른 히스토그램을 나타내는 예시도이다.5 is an exemplary diagram illustrating a histogram according to a welded section according to an exemplary embodiment.

도 5a에, 수식(1)에 해당하는 밝기값을 가지는 화소의 개수를 구간별로 매칭한 히스토그램이 도시된다. 이미지 처리부(120)는 도 4b의 용접 부위(201)를 10개의 구간들로 분리 및 설정하고, 각 구간마다 Xa이하의 밝기값을 가지는 화소의 개수를 산출하여 해당 구간에 매칭시킬 수 있다. 제1 구간(A1)은 히스토그램에서 용접 부위(201)의 중심(310, r0)으로부터 제1 반지름(r1)까지, 제2 구간(A2)은 제1 반지름(r1)에서 제2 반지름(r2)까지, 제3 구간은 제1 반지름(r3)에서 제2 반지름(r4)까지에 해당한다. 제4 구간 내지 제10구간 역시 마찬가지로 정의될 수 있다.FIG. 5A shows a histogram in which the number of pixels having brightness values corresponding to Equation (1) is matched for each section. The image processor 120 may separate and set the welding portion 201 of FIG. 4B into 10 sections, calculate the number of pixels having a brightness value of X a or less for each section, and match the corresponding section. The first section A1 is from the center 310, r 0 of the welding portion 201 to the first radius r1 in the histogram, and the second section A2 is the second radius at the first radius r 1 ( up to r 2 ), the third section corresponds to a first radius r 3 to a second radius r 4 . The fourth to tenth sections may be defined as well.

이미지 처리부(120)는 동일한 구간에 대하여 복수의 히스토그램을 생성할 수 있다. 이미지 처리부(120)는 용접 부위(201)에 설정된 구간에 제1 이미지 값을 규정한 후, 상기 구간과 상기 제1 이미지 값을 축으로 하는 제1 히스토그램을 생성할 수 있다. 이미지 처리부(120)는 동일한 구간에 제2 이미지 값을 규정한 후, 상기 구간과 상기 제2 이미지 값을 축으로 하는 제2 히스토그램을 생성할 수 있다. 도 5b에, 도 5a에서 도시된 것과 동일한 구간에 대하여 수식(2)에 해당하는 밝기값을 가지는 화소의 개수를 매칭한 제2 히스토그램의 예시가 도시된다. 수식(1)에 해당하는 밝기값을 가지는 화소의 개수가 제1 이미지 값이라면, 수식(2)에 해당하는 밝기값을 가지는 화소의 개수는 제2 이미지 값일 수 있다.The image processor 120 may generate a plurality of histograms for the same section. The image processor 120 may define a first image value in a section set in the welding portion 201 and then generate a first histogram having the section and the first image value as an axis. The image processor 120 may define a second image value in the same section, and then generate a second histogram having the section and the second image value as an axis. FIG. 5B shows an example of a second histogram in which the number of pixels having brightness values corresponding to Equation (2) is matched for the same section as that shown in FIG. 5A. If the number of pixels having a brightness value corresponding to Equation (1) is a first image value, the number of pixels having a brightness value corresponding to Equation (2) may be a second image value.

도 5c에, 도 5a에서 도시된 것과 동일한 구간에 대하여 수식(3)에 해당하는 밝기값을 가지는 화소의 개수를 구간별로 매칭한 제3 히스토그램이 도시된다. 수식(3)에 해당하는 밝기값을 가지는 화소의 개수는 제3 이미지 값일 수 있다. FIG. 5C illustrates a third histogram in which the number of pixels having brightness values corresponding to Equation (3) is matched for each section in the same section as illustrated in FIG. 5A. The number of pixels having a brightness value corresponding to Equation (3) may be a third image value.

상술한 바와 같이, 이미지 처리부(120)는 동일한 구간에 대하여, 여러 타입의 이미지 값을 산출하고 산출된 각 타입의 이미지 값에 따라 복수의 히스토그램을 생성할 수 있다. 도 5에서, 이미지 처리부(120)는 10개의 구간에 대하여, 수식(1)에 따른 타입에 따라 각 구간별 제1 이미지 값을 산출하고 제1 히스토그램을 생성할 수 있다. 이미지 처리부(120)는 10개의 구간에 대하여, 수식(2)에 따른 타입에 따라 각 구간별 제2 이미지 값을 산출하고 제2 히스토그램을 생성할 수 있다. 이미지 처리부(120)는 10개의 구간에 대하여, 수식(3)에 따른 타입에 따라 각 구간별 제3 이미지 값을 산출하고 제3 히스토그램을 생성할 수 있다. As described above, the image processor 120 may calculate various types of image values for the same section and generate a plurality of histograms according to the calculated image values of each type. In FIG. 5, the image processor 120 may calculate a first image value for each section and generate a first histogram for ten sections according to a type according to Equation (1). The image processor 120 may calculate a second image value for each section and generate a second histogram for the ten sections according to the type according to Equation (2). The image processor 120 may calculate a third image value for each section and generate a third histogram for the ten sections according to the type according to Equation (3).

다시 도 1로 돌아가면, 이미지 처리부(120)는 복수의 히스토그램을 결합하여 단일한 전체 히스토그램을 생성할 수 있다. 상기 전체 히스토그램은 판정부(130)에서 용접이 불량인지 여부를 판단하는데 사용될 수 있다.Referring back to FIG. 1, the image processor 120 may combine a plurality of histograms to generate a single whole histogram. The entire histogram may be used by the determination unit 130 to determine whether the welding is bad.

도 6은 일 실시예에 따른 복수의 히스토그램이 결합되어 생성된 전체 히스토그램을 나타내는 예시도이다. 도 6을 참조하면, 도 5a의 제1 히스토그램, 도 5b의 제2 히스토그램, 도 5c의 제3 히스토그램이 결합된 전체 히스토그램이 도시되어 있다. 상기 전체 히스토그램은 상기 제1 내지 제3 히스토그램이 차례로 연달아 배열된 형태를 가질 수 있으나, 결합 방식은 이에 한정되지 않는다.  6 is an exemplary diagram illustrating a total histogram generated by combining a plurality of histograms according to an exemplary embodiment. Referring to FIG. 6, the entire histogram is illustrated by combining the first histogram of FIG. 5A, the second histogram of FIG. 5B, and the third histogram of FIG. 5C. The entire histogram may have a form in which the first to third histograms are arranged in sequence, but the coupling method is not limited thereto.

다시 도 1로 돌아가면, 이미지 처리부(120)는 히스토그램을 벡터로 변환할 수 있다. 상기 변환된 벡터는 행벡터 또는 열벡터를 포함할 수 있다. 상기 변환된 벡터는 히스토그램의 구간들에 대응하는 이미지 값을 나타낼 수 있다. 예를 들어, 도 5a의 제1 히스토그램의 경우, 상기 변환된 벡터는 '(제1 구간의 제1 이미지 값, 제2 구간의 제1 이미지 값, ..., 제10 구간의 제1 이미지 값)'이 될 수 있다. 1, the image processor 120 may convert the histogram into a vector. The transformed vector may include a row vector or a column vector. The transformed vector may represent an image value corresponding to sections of the histogram. For example, in the case of the first histogram of FIG. 5A, the transformed vector is' (first image value of the first interval, first image value of the second interval, ..., first image value of the tenth interval, and the like. ) '

한편, 이미지 처리부(120)는 복수의 히스토그램으로부터 생성된 전체 히스토그램을 벡터로 변환할 수 있다. 예를 들어, 도 6의 히스토그램의 경우, 상기 변환된 벡터는 '(제1 구간의 제1 이미지 값, 제2 구간의 제1 이미지 값, ..., 제10 구간의 제1 이미지 값, 제1 구간의 제2 이미지 값, 제2 구간의 제2 이미지 값, ..., 제10 구간의 제2 이미지 값, 제1 구간의 제3 이미지 값, 제2 구간의 제3 이미지 값, ..., 제10 구간의 제3 이미지 값)'이 될 수 있다. The image processor 120 may convert the entire histogram generated from the plurality of histograms into a vector. For example, in the histogram of FIG. 6, the transformed vector is' (first image value of the first interval, first image value of the second interval, ..., first image value of the tenth interval, Second image value in one section, second image value in a second section, ..., second image value in a tenth section, third image value in a first section, third image value in a second section, .. , The third image value of the tenth section).

판정부(130)는 히스토그램을 기반으로 용접 불량 여부를 판정할 수 있다. 구체적으로, 판정부(130)는 학습을 위하여 딥러닝(deep learning) 및 서포트 벡터 머신(SVM, support vector machine) 모델을 포함하는 기계학습(machine learning)을 사용할 수 있다. The determination unit 130 may determine whether welding is defective based on the histogram. In detail, the determination unit 130 may use machine learning including deep learning and a support vector machine (SVM) model for learning.

판정부(130)는 학습부(132)를 더 포함할 수 있다. 여기서, 학습부(132)는 SVM 모델을 통해 학습할 수 있다. 학습부(132)는 여러 용접 부위(201)에 대한 복수의 히스토그램들을 포함하는 샘플 히스토그램과 상기 샘플 히스토그램에 대한 용접 결과 정보를 획득할 수 있다. 예를 들어, 학습부(132)는 제1 샘플 히스토그램과 상기 제1 샘플 히스토그램에 대한 용접 결과인 '용접 정상'이라는 정보를 획득할 수 있다. 또한, 학습부(132)는 제2 샘플 히스토그램과 상기 제2 샘플 히스토그램에 대한 용접 결과인 '용접 정상'이라는 정보와, 제3 샘플 히스토그램과 상기 제3 샘플 히스토그램에 대한 용접 결과인 '용접 불량'이라는 정보도 획득할 수 있다. 학습부(132)는 상기 제1 샘플 히스토그램은 '용접 정상', 상기 제2 샘플 히스토그램은 '용접 정상', 상기 제3 샘플 히스토그램은 '용접 불량'이라는 판단을 각각 내리도록 학습한다. The determination unit 130 may further include a learning unit 132. Here, the learner 132 may learn through the SVM model. The learner 132 may obtain a sample histogram including a plurality of histograms for various welding sites 201 and welding result information about the sample histogram. For example, the learner 132 may acquire information, 'welding normal', which is a welding result of the first sample histogram and the first sample histogram. In addition, the learning unit 132 may include information 'welding normal', which is a welding result of the second sample histogram and the second sample histogram, and 'welding failure', which is a welding result of the third sample histogram and the third sample histogram. Information can also be obtained. The learner 132 learns to determine that the first sample histogram is 'welding normal', the second sample histogram is 'welding normal', and the third sample histogram is 'bad welding'.

만약, 학습부(132)가 다른 판단을 내리는 경우, 보정값(correction value)을 통해 판단을 수정할 수 있다. 예를 들어, 학습부(132)가 상기 제3 샘플 히스토그램에 대하여 '용접 정상'이라는 판단을 내리는 경우, 학습부(132)는 상기 제3 샘플 히스토그램에 대하여 '용접 불량'이라는 정보를 포함하는 보정값을 수신하고, 제3 샘플 히스토그램에 대하여 '용접 불량'이라는 판단을 내리도록 조정한다.If the learner 132 makes another determination, the determination may be corrected through a correction value. For example, when the learner 132 determines that the welding is normal, the learner 132 includes a correction for the third sample histogram, which includes information of 'welding failure'. Receive the value and adjust the third sample histogram to make a 'welding failure' decision.

학습부(132)는 복수의 샘플 히스토그램이 결합된 히스토그램을 학습할 수 있다. 예를 들어, 학습부(132)는 상기 제1 내지 3 샘플 히스토그램이 결합된 히스토그램과 상기 결합된 히스토그램의 용접 결과 정보를 수신하고, 상기 결합된 히스토그램이 용접 정상 또는 불량인지를 학습할 수 있다.The learner 132 may learn a histogram in which a plurality of sample histograms are combined. For example, the learner 132 may receive the histogram to which the first to third sample histograms are combined and the welding result information of the combined histograms, and may learn whether the combined histograms are normal or defective welds.

학습부(132)가 학습을 끝낸 뒤, 판정부(130)는 이미지 처리부(120)로부터 수신한 단일의 히스토그램 또는 전체 히스토그램이 '용접 불량'인지 '용접 정상'인지 판단할 수 있다. 상술한 예에서, 판정부(130)는 이미지 처리부(120)로부터 용접 부위(201)에 대한 히스토그램을 수신할 수 있다. 판정부(130)는 상기 제1 샘플 히스토그램과 동일 또는 유사한 히스토그램은 '용접 정상', 상기 제2 샘플 히스토그램과 동일 또는 유사한 히스토그램은 '용접 정상', 상기 제3 샘플 히스토그램과 동일 또는 유사한 히스토그램은 '용접 불량'이라는 판단을 각각 내린다. After the learning unit 132 finishes the learning, the determination unit 130 may determine whether the single histogram or the entire histogram received from the image processing unit 120 is 'bad welding' or 'welding normal'. In the above-described example, the determination unit 130 may receive a histogram for the welding portion 201 from the image processing unit 120. The determination unit 130 may determine that a histogram equal to or similar to the first sample histogram is' welded normal ', a histogram equal to or similar to the second sample histogram is' welded normal', and a histogram equal to or similar to the third sample histogram is' Each of them judges that the welding is bad.

또 다른 판정 방법으로서, 판정부(130)는 이미지 처리부(120)가 생성한 히스토그램을 샘플 히스토그램과 비교함으로써 용접 불량 여부를 결정할 수 있다. 상기 샘플 히스토그램은 용접이 정상인 경우에 나타나는 용접 부위(201)에 대한 히스토그램을 포함할 수 있다. 상기 샘플 히스토그램은 저장부(140)에 미리 저장될 수 있고, 판정부(130)에 의하여 저장부(140)로부터 독출되어 사용될 수 있다. 이미지 처리부(120)가 생성한 히스토그램이 샘플 히스토그램과 동일 또는 유사한 경우, 판정부(130)는 '용접 정상'이라는 판정을 하고, 동일하지도 유사하지도 않는 경우 '용접 불량'이라는 판정을 할 수 있다. As another determination method, the determination unit 130 may determine whether the welding is bad by comparing the histogram generated by the image processing unit 120 with the sample histogram. The sample histogram may include a histogram for the weld site 201 that appears when the weld is normal. The sample histogram may be stored in advance in the storage 140, and may be read out from the storage 140 by the determination unit 130 and used. When the histogram generated by the image processor 120 is the same as or similar to the sample histogram, the determination unit 130 may determine that the welding is normal, and if the histogram is not the same or similar, determine that the welding is bad.

판정부(130)는 히스토그램 대신 히스토그램으로부터 변환된 벡터를 사용하여 동일한 방식으로 판단할 수 있다.The determination unit 130 may determine in the same manner by using a vector converted from the histogram instead of the histogram.

각 히스토그램은 화상 이미지로 표현된 용접 부위(201)의 특징을 나타낸다. 히스토그램이 많을수록 용접 부위(201)의 특징을 자세하게 규정할 수 있다. 또한 구간이 세분화되어 늘어난다면, 단일한 히스토그램은 용접 부위(201)에 대한 특징을 더 구체적으로 나타낼 수 있을 것이다. 예를 들어, 10개의 구간에 대하여 수식(1)에 따른 이미지 값을 산출하는 것보다, 50개의 구간에 대하여 산출하는 것이 용접 부위(201)의 특징을 더 명확하게 나타낼 수 있다. Each histogram represents the characteristics of the welded portion 201 represented in the image image. The more the histogram, the more the characteristics of the welded portion 201 can be defined in detail. Also, if the segment is subdivided and stretched, a single histogram may be more specific in characterizing the weld site 201. For example, rather than calculating image values according to Equation (1) for 10 sections, calculating for 50 sections may more clearly indicate the characteristics of the welded portion 201.

히스토그램을 통해 용접 부위(201)의 특징을 자세하게 규정하는 것은 판정부(130)의 용접 불량 여부 판단의 엄밀성과 정확성을 높일 수 있다. 왜냐하면 히스토그램이 많아지든 히스토그램의 구간이 세분화되든지, '용접 정상'이라는 결과를 위하여 만족시킬 요건들이 더 늘어나게 되어 그 판정이 엄밀하고 정확해지게 되기 때문이다. 예를 들어, 판정부(130)가 제1 히스토그램만을 가지고 판단할 때, 10개 구간에 대한 이미지 값이 정확하면 되기 때문에 '용접 불량'이란 판단은 거의 하지 않을 것이다. 그러나 판정부(130)가 제1 내지 제3 히스토그램을 결합한 전체 히스토그램을 가지고 판단할 때, 30(

Figure 112018093907797-pat00004
)개 구간에 대한 이미지 값이 정확해야 하기 때문에 '용접 불량'이란 판단의 빈도는 매우 높을 것이다. Defining the characteristics of the welded portion 201 in detail through the histogram may increase the rigor and accuracy of the determination of weld failure in the determination unit 130. This is because whether the histogram is large or the histogram interval is subdivided, the requirements to be satisfied for the 'welding normal' result in more and more accurate and accurate judgments. For example, when the determination unit 130 determines only the first histogram, the determination of 'bad welding' will hardly be made since the image values for the 10 sections need to be correct. However, when the determination unit 130 determines with the entire histogram combining the first to third histograms, 30 (
Figure 112018093907797-pat00004
Since the image values for the) sections must be accurate, the frequency of determination of 'bad welding' will be very high.

저장부(140)에는 이미지 획득부(110)로부터 촬영된 피용접물(210, 220)에 대한 이미지 및/또는 상기 샘플 히스토그램의 패턴이 저장될 수 있다. The storage 140 may store an image of the welded object 210 and 220 photographed from the image acquisition unit 110 and / or a pattern of the sample histogram.

표시부(150)는 판정부(130)로부터 용접 불량 여부에 대한 판정 결과 정보를 수신하고, 그 결과를 외부로 디스플레이 할 수 있다.The display unit 150 may receive determination result information on whether welding is defective from the determination unit 130, and display the result to the outside.

도 7은 일 실시예에 따른 용접 불량 검출 장치 구성의 동작에 대한 흐름도이다. 도 7을 참조하면, 이미지 획득부(110)는 피용접물(210, 220)에 대한 이미지를 획득할 수 있다(S702). 이미지 처리부(120)는 상기 피용접물(210, 220)에 대한 이미지를 이미지 획득부(110)로부터 수신할 수 있다(S704).7 is a flowchart illustrating an operation of a welding failure detection apparatus configuration, according to an exemplary embodiment. Referring to FIG. 7, the image acquirer 110 may acquire an image of the welded object 210 or 220 (S702). The image processor 120 may receive an image of the welded object 210 and 220 from the image acquirer 110 (S704).

이미지 처리부(120)는 상기 피용접물(210, 220)에 대한 이미지로부터 관심영역(230)을 추출할 수 있다(S706). The image processor 120 may extract the ROI 230 from the images of the welded objects 210 and 220 (S706).

이미지 처리부(120)는 관심영역(230)에 포함된 용접 부위(201)에 구간을 설정할 수 있다(S708). 구간을 설정하기 위하여, 이미지 처리부(120)는 용접 부위(201)의 중심 및 상기 중심을 둘러싼 복수의 원들을 설정할 수 있다. 이미지 처리부(120)는 상기 중심으로부터 상기 복수의 원들까지의 복수의 반지름들을 구한 후, 상기 복수의 반지름들의 간격을 구간으로 설정할 수 있다. 구간은 상기 복수의 원들 사이의 이미지 영역일 수 있다.The image processor 120 may set a section at the welding portion 201 included in the ROI 230 (S708). In order to set a section, the image processor 120 may set a center of the welding portion 201 and a plurality of circles surrounding the center. The image processor 120 may obtain a plurality of radii from the center to the plurality of circles, and then set the intervals of the plurality of radii as intervals. The section may be an image area between the plurality of circles.

이미지 처리부(120)는 각 구간에 대한 이미지 값을 산출할 수 있다(S710). 상기 이미지 값은 밝기, 채도, 색상과 같은 이미지 데이터로부터 생성되고, 임의의 밝기값 범위에 해당하는 화소의 개수를 포함할 수 있다.The image processor 120 may calculate an image value for each section (S710). The image value is generated from image data such as brightness, saturation, and color, and may include the number of pixels corresponding to an arbitrary brightness value range.

이미지 처리부(120)는 각 구간을 한 축으로, 상기 각 구간에 대한 이미지 값을 또 다른 축으로 하여 히스토그램을 생성할 수 있다(S712). The image processor 120 may generate a histogram using each axis as one axis and the image value for each period as another axis (S712).

이미지 처리부(120)는 히스토그램을 가공 및 변환할 수 있다(S714). 이미지 처리부(120)는 복수의 히스토그램들을 결합하여 단일한 히스토그램을 생성하거나 히스토그램을 벡터로 변환할 수 있다.The image processor 120 may process and convert the histogram (S714). The image processor 120 may combine a plurality of histograms to generate a single histogram or convert the histogram into a vector.

이미지 처리부(120)는 히스토그램의 패턴에 관한 정보 또는 히스토그램이 변환된 벡터에 관한 정보를 포함하는 히스토그램 정보를 판정부(130)로 송신할 수 있다(S716). The image processor 120 may transmit histogram information including the information on the pattern of the histogram or the information on the vector whose histogram is converted (S716).

판정부(130)는 상기 히스토그램 정보를 이용하여 용접 불량 여부를 판정할 수 있다(S718). 판정부(130)는 SVM 모델에 따른 학습이나 패턴 비교를 통하여 판단을 수행할 수 있다. The determination unit 130 may determine whether welding is defective by using the histogram information (S718). The determination unit 130 may perform the determination by learning or comparing patterns according to the SVM model.

판정부(130)는 판정 결과 정보를 표시부(150)로 송신할 수 있다(S720).The determination unit 130 may transmit the determination result information to the display unit 150 (S720).

표시부(150)는 상기 판정 결과 정보를 기반으로, 용접 불량 여부를 사용자에게 알려줄 수 있다(S722).The display unit 150 may inform the user of welding failure based on the determination result information (S722).

도 8은 일 실시예에 따른 용접 불량 검출 장치의 동작에 대한 흐름도이다. 도 8을 참조하면, 용접 불량 검출 장치(100)는 피용접물(210, 220)에 대한 이미지를 획득하고(S802) 용접 부위(201)가 포함된 관심영역(230)을 추출할 수 있다(S804). 용접 불량 검출 장치(100)는 용접 부위(201)에 구간을 설정하고(S806) 상기 구간을 한 축으로 하는 히스토그램을 생성할 수 있다(S808). 용접 불량 검출 장치(100)는 상기 히스토그램을 기반으로 용접 불량 여부를 판정할 수 있다(S810). 8 is a flowchart illustrating an operation of a welding failure detection apparatus according to an exemplary embodiment. Referring to FIG. 8, the welding failure detection apparatus 100 may acquire an image of the welded object 210 and 220 (S802) and extract an ROI 230 including a welded portion 201 (S804). ). The welding failure detection apparatus 100 may set a section at the welding site 201 (S806) and generate a histogram having the section as one axis (S808). The welding failure detection apparatus 100 may determine whether welding is defective based on the histogram (S810).

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.The terms "comprise", "comprise" or "having" described above mean that a corresponding component may be included unless specifically stated otherwise, and thus does not exclude other components. It should be construed that it may further include other components. All terms, including technical and scientific terms, have the same meanings as commonly understood by one of ordinary skill in the art unless otherwise defined. Terms commonly used, such as terms defined in a dictionary, should be interpreted to coincide with the contextual meaning of the related art, and shall not be construed in an ideal or excessively formal sense unless explicitly defined in the present invention.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

Claims (10)

용접의 불량을 검출하는 방법에 있어서,
피용접물에 대한 이미지를 획득하는 동작;
상기 이미지로부터 용접 부위를 포함하는 관심영역을 추출하는 동작;
상기 용접 부위의 중심으로부터 구간을 설정하는 동작;
상기 구간에 대하여, 제1 이미지 값으로 구성된 제1 히스토그램 및 제2 이미지 값으로 구성된 제2 히스토그램을 생성하는 동작;
상기 제1 히스토그램 및 상기 제2 히스토그램을 결합하여 전체 히스토그램을 생성하는 동작; 및
상기 전체 히스토그램을 기반으로 용접 불량 여부를 판정하는 동작을 포함하는 용접 불량 검출 방법.
In the method of detecting the defect of welding,
Obtaining an image for the object to be welded;
Extracting a region of interest including a welded portion from the image;
Setting a section from the center of the welding site;
Generating a first histogram composed of first image values and a second histogram composed of second image values for the interval;
Combining the first histogram and the second histogram to generate a full histogram; And
Weld failure detection method comprising the step of determining whether the weld failure based on the entire histogram.
제1항에 있어서,
상기 제1 이미지 값과 제2 이미지 값은, 임의의 밝기값 범위에 해당하는 화소의 개수인 용접 불량 검출 방법.
The method of claim 1,
And the first image value and the second image value are the number of pixels corresponding to an arbitrary range of brightness values.
제1항에 있어서,
복수의 샘플 히스토그램과, 상기 복수의 샘플 히스토그램이 용접 정상에 해당하는지 또는 용접 불량에 해당하는지를 나타내는 용접 결과에 대한 정보를 획득하는 동작을 포함하고,
상기 용접 불량 여부를 판정하는 동작은,
상기 복수의 샘플 히스토그램 각각에 대한 상기 용접 결과를 학습하는 동작; 및
상기 학습에 기반하여 판정하는 동작을 포함하는 용접 불량 검출 방법.
The method of claim 1,
Acquiring a plurality of sample histograms and information on a welding result indicating whether the plurality of sample histograms correspond to a weld normal or a weld failure;
The operation of determining whether the welding is poor,
Learning the weld results for each of the plurality of sample histograms; And
Weld failure detection method comprising the operation of determining based on the learning.
제3항에 있어서,
상기 정보를 획득하는 동작은, 상기 복수의 샘플 히스토그램이 결합된 히스토그램과 상기 결합된 히스토그램이 용접 정상에 해당하는지 또는 용접 불량에 해당하는지를 나타내는 용접 결과에 대한 정보를 획득하고,
상기 용접 불량 여부를 판정하는 동작은,
상기 결합된 샘플 히스토그램에 대한 상기 용접 결과를 학습하는 동작; 및
상기 학습에 기반하여 판정하는 동작을 포함하는 용접 불량 검출 방법.
The method of claim 3,
The acquiring of the information may include obtaining a histogram to which the plurality of sample histograms are combined, and a welding result indicating whether the combined histogram corresponds to a normal welding or a bad welding,
The operation of determining whether the welding is poor,
Learning the weld results for the combined sample histogram; And
Weld failure detection method comprising the operation of determining based on the learning.
제3항 또는 제4항에 있어서,
상기 학습하는 동작은, 서포트 벡터 머신(SVM, support vector machine) 모델을 이용하여 학습하는 용접 불량 검출 방법.
The method according to claim 3 or 4,
The learning operation is a welding failure detection method for learning using a support vector machine (SVM) model.
제1항에 있어서,
상기 용접의 방식은 스팟 용접이며,
상기 용접 부위는 스팟인 용접 불량 검출 방법.
The method of claim 1,
The method of welding is spot welding,
The welding failure detection method of the welding site is a spot.
제6항에 있어서,
상기 스팟은 원형이며,
상기 구간을 설정하는 동작은,
상기 스팟의 원형을 설정하는 동작;
상기 원형의 중심을 설정하는 동작;
상기 원형의 중심으로부터 제1 반지름 및 제2 반지름을 설정하는 동작;, 및
상기 제1 반지름과 제2 반지름 사이를 상기 구간으로 결정하는 동작을 포함하는 용접 불량 검출 방법.
The method of claim 6,
The spot is circular,
The operation of setting the section,
Setting a circle of the spot;
Setting a center of the circle;
Setting a first radius and a second radius from the center of the circle; and
Weld failure detection method comprising the step of determining the interval between the first radius and the second radius.
제7항에 있어서,
상기 스팟의 원형을 인지하는 동작 및 상기 원형의 중심을 설정하는 동작은, 가우시안 혼합(GM, gaussian mixture) 모델을 이용하여 설정하는 용접 불량 검출 방법.
The method of claim 7, wherein
The operation of recognizing the circle of the spot and the operation of setting the center of the circle, the welding failure detection method is set using a gaussian mixture (GM) model.
용접의 불량을 검출하는 장치에 있어서,
피용접물에 대한 이미지를 획득하는 이미지 획득부;
상기 이미지로부터 용접 부위를 포함하는 관심영역을 추출하고, 상기 용접 부위의 중심으로부터 구간을 설정하고, 상기 구간에 대하여, 제1 이미지 값으로 구성된 제1 히스토그램 및 제2 이미지 값으로 구성된 제2 히스토그램을 생성하며, 상기 제1 히스토그램 및 상기 제2 히스토그램을 결합하여 전체 히스토그램을 생성하는 이미지 처리부; 및
상기 전체 히스토그램을 기반으로 용접 불량 여부를 판정하는 판정부
를 포함하는 용접 불량 검출 장치.
In the apparatus for detecting a defect of welding,
An image obtaining unit obtaining an image of the object to be welded;
Extracting a region of interest including a welded portion from the image, setting a section from the center of the welded portion, and for the section, a first histogram composed of first image values and a second histogram composed of second image values An image processor configured to generate the entire histogram by combining the first histogram and the second histogram; And
Determination unit for determining whether the weld failure based on the entire histogram
Welding failure detection device comprising a.
제9항에 있어서,
상기 판정부는, 복수의 샘플 히스토그램과, 상기 복수의 샘플 히스토그램이 용접 정상에 해당하는지 또는 용접 불량에 해당하는지를 나타내는 용접 결과에 대한 정보를 획득하고, 상기 복수의 샘플 히스토그램 각각에 대한 상기 용접 결과를 학습하며, 상기 학습에 기반하여 용접 불량 여부를 판정하는 용접 불량 검출 장치.
The method of claim 9,
The determination unit acquires information on a plurality of sample histograms and a welding result indicating whether the plurality of sample histograms correspond to a normal welding state or a welding defect, and learn the welding results for each of the plurality of sample histograms. And determining a welding failure based on the learning.
KR1020180112741A 2018-09-20 2018-09-20 Device for detecting welding defects and method thereof KR102059272B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180112741A KR102059272B1 (en) 2018-09-20 2018-09-20 Device for detecting welding defects and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180112741A KR102059272B1 (en) 2018-09-20 2018-09-20 Device for detecting welding defects and method thereof

Publications (1)

Publication Number Publication Date
KR102059272B1 true KR102059272B1 (en) 2019-12-24

Family

ID=69022143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180112741A KR102059272B1 (en) 2018-09-20 2018-09-20 Device for detecting welding defects and method thereof

Country Status (1)

Country Link
KR (1) KR102059272B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102518045B1 (en) * 2021-12-14 2023-04-06 (주)에이치씨엔씨 Method for detecting defect of spot welding employing IR camera
KR102518051B1 (en) * 2021-12-14 2023-04-07 (주)에이치씨엔씨 Method for detecting defect of spot welding employing sensor convolution

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110058217A (en) * 2009-11-26 2011-06-01 아진산업(주) A method for inspecting automobile parts using vision system
JP2011183455A (en) * 2010-02-08 2011-09-22 Prima Industrie Spa Method for monitoring quality of laser machining process and system corresponding to the same
JP2015190894A (en) * 2014-03-28 2015-11-02 三菱日立パワーシステムズ株式会社 Welding image determination device and welding image determination method
JP2016203246A (en) * 2015-04-28 2016-12-08 ファナック株式会社 Spot welding quality diagnosis system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110058217A (en) * 2009-11-26 2011-06-01 아진산업(주) A method for inspecting automobile parts using vision system
JP2011183455A (en) * 2010-02-08 2011-09-22 Prima Industrie Spa Method for monitoring quality of laser machining process and system corresponding to the same
JP2015190894A (en) * 2014-03-28 2015-11-02 三菱日立パワーシステムズ株式会社 Welding image determination device and welding image determination method
JP2016203246A (en) * 2015-04-28 2016-12-08 ファナック株式会社 Spot welding quality diagnosis system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102518045B1 (en) * 2021-12-14 2023-04-06 (주)에이치씨엔씨 Method for detecting defect of spot welding employing IR camera
KR102518051B1 (en) * 2021-12-14 2023-04-07 (주)에이치씨엔씨 Method for detecting defect of spot welding employing sensor convolution

Similar Documents

Publication Publication Date Title
US8121400B2 (en) Method of comparing similarity of 3D visual objects
CN106254860B (en) The calibrating installation of camera, the calibration method of camera arrangement and camera
CN110378227B (en) Method, device and equipment for correcting sample labeling data and storage medium
WO2017177717A1 (en) Element positioning method and system based on color and gradient
KR102059272B1 (en) Device for detecting welding defects and method thereof
JP2003057019A (en) Pattern inspection device and inspection method using the same
CN108871185B (en) Method, device and equipment for detecting parts and computer readable storage medium
JPWO2016174926A1 (en) Image processing apparatus, image processing method, and program
JP2018036226A (en) Image processing program, image processing method, and image processing device
CN113077416A (en) Welding spot welding defect detection method and system based on image processing
CN113554645B (en) Industrial anomaly detection method and device based on WGAN
CN115063342A (en) Lens dead pixel detection method and device, electronic equipment and storage medium
CN111007086A (en) Defect detection method and device and storage medium
JP2011227748A (en) Image processing apparatus, image processing method, image processing program, and defect detection apparatus
CN117058411B (en) Method, device, medium and equipment for identifying edge appearance flaws of battery
JP2009266687A (en) Inspection device of display panel and its device
JP2010025836A (en) Visual inspection method, visual inspection device, semiconductor inspection device, and semiconductor wafer cross-section inspection device
US11069084B2 (en) Object identification method and device
JP4333349B2 (en) Mounting appearance inspection method and mounting appearance inspection apparatus
CN113192070B (en) Weld image processing method and system based on computer vision
WO2021161628A1 (en) Machine learning method, and information processing device for machine learning
CN115239684A (en) Welding spot detection method and device and storage medium
US20200134802A1 (en) Device for inspecting display device and inspecting method thereof
JP4530723B2 (en) PATTERN MATCHING METHOD, PATTERN MATCHING DEVICE, AND ELECTRONIC COMPONENT MOUNTING METHOD
TW201714144A (en) A method of detecting images of appearance of electronic components and computer readable media thereof

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant