KR20150144619A - Work in Process Inspection System using Motion Detection And Method Thereof - Google Patents

Work in Process Inspection System using Motion Detection And Method Thereof Download PDF

Info

Publication number
KR20150144619A
KR20150144619A KR1020140073686A KR20140073686A KR20150144619A KR 20150144619 A KR20150144619 A KR 20150144619A KR 1020140073686 A KR1020140073686 A KR 1020140073686A KR 20140073686 A KR20140073686 A KR 20140073686A KR 20150144619 A KR20150144619 A KR 20150144619A
Authority
KR
South Korea
Prior art keywords
image
time
area
unit
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020140073686A
Other languages
Korean (ko)
Inventor
함세훈
김용태
곽동호
김수영
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140073686A priority Critical patent/KR20150144619A/en
Priority to US14/559,547 priority patent/US20150185731A1/en
Publication of KR20150144619A publication Critical patent/KR20150144619A/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/02—Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 의한 작업 공정 검사 시스템은, 작업자의 작업 동작을 촬영하는 동영상 촬영부; 및 상기 동영상 촬영부를 통해 촬영된 작업자의 움직임이 설정된 가상의 영역 내에서의 체류 시간으로부터 작업자가 표준 작업 공정을 수행했는지 여부를 판단하는 제어부;를 포함한다.
상기한 바와 같은 본 발명의 실시예에 의한 본 발명의 실시예에 의하면, 삼차원 스캐너를 통해 촬영된 작업자의 움직임이 설정된 가상의 작업 영역 내에 설정된 시간 동안 머물렀는지 여부를 통해 작업자가 정해진 작업 공정을 수행했는지 여부를 판단할 수 있다.A work process inspection system according to an embodiment of the present invention includes a moving picture photographing unit for photographing a work operation of an operator; And a controller for determining whether a worker has performed a standard work process based on a residence time within a hypothetical area where the motion of the worker photographed through the motion picture photographing unit is set.
According to the embodiment of the present invention as described above, whether or not the movement of the operator photographed through the three-dimensional scanner remains within the set virtual work area for a predetermined period of time, It is possible to judge whether or not it has been performed.

Description

모션 인식을 이용한 공정 검사 시스템 {Work in Process Inspection System using Motion Detection And Method Thereof}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion inspection system,

본 발명은 모션 인식을 이용한 공정 검사 시스템에 관한 것으로, 더욱 상세하게는, 차량의 조립 공정에서 작업자의 동작이 설정된 가상의 작업 영역 내에 설정된 시간 동안 머물렀는지 여부를 통해 작업자가 표준 작업 공정을 수행했는지 여부를 판단할 수 있는 모션 인식을 이용한 공정 검사 시스템에 관한 것이다.The present invention relates to a process inspection system using motion recognition, and more particularly, to a process inspection system using motion recognition, in which a worker performs a standard work process through whether or not an operation of an operator in a vehicle assembling process has stayed within a set virtual work area for a set time The present invention relates to a process inspection system using motion recognition,

차량의 조립 공정에서 작업자가 부품을 수작업으로 조립할 때, 조립한 부품이 정확한 공정에 의해 조립되었는지 여부를 판단하는 것은 매우 중요하다.It is very important to determine whether the assembled parts are assembled by the correct process when the operator manually assembles the parts in the assembling process of the vehicle.

예를 들면, 차량의 변속기에 조립되는 다양한 부품이 조립 순서에 따라 조립되는 과정을 설명한다.For example, a process in which various components assembled in a transmission of a vehicle are assembled according to the assembling sequence will be described.

변속기에는 허브와, 스러스트 와셔, 허브 조립체, 스러스트 베어링, 및 허브 클러치가 순서에 따라 조립되어야 한다. 그리고 각 부품은 정확한 조립 방향에 따라 조립되어야 한다.The transmission must be assembled in order with the hub, thrust washer, hub assembly, thrust bearing, and hub clutch. Each component must be assembled according to the correct assembly direction.

만약, 각 부품의 조립 순서와 조립 방향이 틀리면, 변속기의 동작 과정에서 오동작이 발생하게 된다.If the assembling order of the parts is different from the assembling direction, a malfunction may occur in the operation of the transmission.

이러한 문제를 해결하기 위해 종래에는 별도의 확인 공정을 통해 조립이 정확히 이루어졌는지를 확인하였다. 그러나 종래 기술에 의하면 별도의 확인 공정이 필요하기 때문에 전체 조립 시간이 증가하는 문제가 발생하게 된다.In order to solve this problem, it has been confirmed that the assembly was correctly performed through a separate confirmation process. However, according to the prior art, a separate confirmation process is required, which causes a problem that the entire assembly time is increased.

이와 같이, 차량에 구비되는 각종 부품을 작업자가 조립할 때, 정해진 조립 순서 또는 조립 방향을 확인하지 않으면 부품의 조립 불량으로 인해 여러 가지 문제가 발생한다.As described above, when an operator assembles various parts provided in the vehicle, various problems arise due to poor assembling of the parts unless the predetermined assembling order or assembling direction is confirmed.

본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 작업자가 정해진 작업 공정 순서 또는 작업 상태를 확인할 수 있는 모션 인식을 이용한 공정 검사 시스템을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a process inspection system using motion recognition capable of confirming a predetermined work process order or a work state by an operator.

본 발명의 실시예에 따른 모션 인식을 이용한 공정 검사 시스템은, 작업자의 작업 동작을 촬영하는 동영상 촬영부; 및 상기 동영상 촬영부를 통해 촬영된 작업자의 움직임이 설정된 가상의 영역 내에서의 체류 시간으로부터 작업자가 표준 작업 공정을 수행했는지 여부를 판단하는 제어부;를 포함할 수 있다.A process inspection system using motion recognition according to an embodiment of the present invention includes a moving image photographing unit for photographing a work operation of an operator; And a controller for determining whether a worker has performed a standard work process based on a residence time within a hypothetical area where the motion of the worker photographed through the motion picture photographing unit is set.

상기 제어부는 상기 동영상 촬영부를 통해 촬영된 영상으로부터, 작업자의 관절의 움직임을 추출하는 동작 추출부; 및 상기 동작 추출부에서 추출된 관절의 움직임이 설정된 가상의 작업 영역 내에 체류하는 시간을 판단하는 영역 판단부;를 포함할 수 있다.Wherein the control unit comprises: an operation extracting unit that extracts a motion of a joint of an operator from an image photographed through the moving image photographing unit; And an area determination unit for determining a time during which the movement of the joint extracted by the operation extraction unit stays in the set virtual work area.

상기 체류 시간은 상기 동작 추출부에서 추출된 관절의 움직임이 가상의 작업 영역 내에 진입하는 시간으로부터 가상의 작업 영역에서 벗어나는 시간까지 일 수 있다.The residence time may be from the time when the movement of the joint extracted by the operation extracting unit enters the virtual work area to the time when the movement of the joint extracted from the virtual work area.

상기 영역 판단부는 상기 체류 시간이 설정 시간으로부터 일정 오차 범위내이면 작업자가 표준 작업 공정을 수행한 것으로 판단할 수 있다.The area determining unit may determine that the worker has performed the standard work process if the residence time is within a predetermined error range from the set time.

작업이 완성된 부품을 촬영하는 영상 촬영부;를 더 포함하고, 상기 제어부는 상기 영상 촬영부를 통해 촬영된 영상과 표준 영상의 차이를 이용하여 작업 결과를 판단할 수 있다.The control unit may determine a result of the operation using the difference between the image captured through the image capturing unit and the standard image.

상기 제어부는 상기 영상 촬영부로부터 촬영된 영상과 설정된 표준 영상을 비교하여 촬영된 영상이 표준 영상과 차이가 있는지 여부를 판단하는 영상 판단부;를 더 포함할 수 있다.The controller may further include an image determiner for comparing the photographed image with the set standard image to determine whether the photographed image is different from the standard image.

상기 영상 판단부는 상기 영상 촬영부에서 촬영된 영상과 표준 영상의 차이가 발생하면 작업 결과를 만족하지 않는 것으로 판단할 수 있다.The image determining unit may determine that the operation result is not satisfied when a difference between the image captured by the image capturing unit and the standard image occurs.

상기 체류 시간이 설정 시간보다 작은 경우, 또는 촬영된 영상과 설정된 표준 영상과의 차이가 설정 범위보다 큰 경우에 알람을 발생하는 경고부를 더 포함할 수 있다.And an alarm unit for generating an alarm when the residence time is shorter than the set time or when the difference between the photographed image and the set standard image is larger than the set range.

본 발명의 다른 실시예에 의한 작업 공정 검사 방법은, 작업자의 작업 동작을 촬영하는 단계; 촬영된 동영상으로부터 작업자의 관절의 움직임을 추출하는 단계; 추출된 관절의 움직임이 설정된 가상의 작업 영역 내에 체류하는 체류 시간을 측정하는 단계; 및 상기 체류 시간과 설정 시간을 비교하여 표준 작업 공정을 수행했는지 여부를 판단하는 단계;를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of inspecting a work process, comprising: photographing a work operation of an operator; Extracting a motion of the joint of the operator from the photographed moving image; Measuring a residence time of staying within a hypothetical working area where movement of the extracted joint is set; And comparing the residence time with the set time to determine whether a standard work process has been performed.

상기 체류 시간은 관절의 움직임이 가상의 작업 영역 내에 진입하는 시간으로부터 가상의 작업 영역을 벗어나는 시간까지일 수 있다.The residence time may be from the time when the movement of the joint is within the virtual work area to the time when the movement of the joint is out of the virtual work area.

상기 체류 시간이 설정 시간으로부터 일정 오차 범위내이면 표준 작업 공정을 수행한 것으로 판단할 수 있다.If the residence time is within a predetermined error range from the set time, it can be judged that the standard work process has been performed.

작업이 완성된 부품을 촬영하는 단계; 및 촬영된 영상과 표준 영상을 비교하는 단계;를 더 포함할 수 있다.Photographing a completed part of the work; And comparing the photographed image with a standard image.

상기 촬영된 영상과 표준 영상의 차이가 발생하면 작업 결과를 만족하지 않는 것으로 판단할 수 있다.If a difference between the photographed image and the standard image occurs, it can be determined that the operation result is not satisfied.

상기 체류 시간이 설정 시간의 일정 오차 범위를 벗어나는 경우, 또는 촬영된 영상과 표준 영상의 차이가 발생하는 경우 알람을 발생하는 단계;를 더 포함할 수 있다.And generating an alarm when the residence time is out of a predetermined error range of the set time or when a difference between the photographed image and the standard image occurs.

상기한 바와 같은 본 발명의 실시예에 의한 본 발명의 실시예에 의하면, 삼차원 스캐너를 통해 촬영된 작업자의 움직임이 설정된 가상의 작업 영역 내에 설정된 시간 동안 머물렀는지 여부를 통해 작업자가 정해진 작업 공정을 수행했는지 여부를 판단할 수 있다.According to the embodiment of the present invention as described above, whether or not the movement of the operator photographed through the three-dimensional scanner remains within the set virtual work area for a predetermined period of time, It is possible to judge whether or not it has been performed.

또한, 카메라를 통해 촬영된 영상을 표준 영상과 비교하여 작업자가 수행한 작업 상태가 정해진 작업 상태를 만족하는지 여부를 판단할 수 있다.
Further, the image photographed by the camera can be compared with the standard image, and it can be determined whether the work state performed by the operator satisfies the predetermined work state.

이 도면들은 본 발명의 예시적인 실시예를 설명하는데 참조하기 위함이므로, 본 발명의 기술적 사상을 첨부한 도면에 한정해서 해석하여서는 아니된다.
도 1은 본 발명의 실시예에 따른 작업 공정 시스템의 구성을 보인 개념도이다.
도 2는 본 발명의 실시예에 따른 작업 공정 시스템의 구성을 보인 블록도이다.
도 3은 본 발명의 실시예에 따른 작업 공정 시스템을 이용하여 작업자의 움직임을 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 작업 공정 시스템의 운영 방법을 도시한 순서도이다.These drawings are for the purpose of describing an exemplary embodiment of the present invention, and therefore the technical idea of the present invention should not be construed as being limited to the accompanying drawings.
1 is a conceptual diagram showing a configuration of a work process system according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of a work process system according to an embodiment of the present invention.
3 is a conceptual diagram for explaining an operator's movements using a work process system according to an embodiment of the present invention.
4 is a flowchart illustrating an operation method of a work process system according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세하게 설명하면 다음과 같다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.

본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.The present invention may be embodied in many different forms and is not limited to the embodiments described herein.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 부여한다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are given the same reference numerals throughout the specification.

또한, 도면에서 나타난 각 구성은 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않는다.
In addition, since the components shown in the drawings are arbitrarily shown for convenience of explanation, the present invention is not necessarily limited to those shown in the drawings.

도 1은 본 발명의 실시예에 따른 작업 공정 시스템의 구성을 보인 개념도이다. 그리고 도 2는 본 발명의 실시예에 따른 작업 공정 시스템의 구성을 보인 블록도이다.1 is a conceptual diagram showing a configuration of a work process system according to an embodiment of the present invention. 2 is a block diagram illustrating a configuration of a work process system according to an embodiment of the present invention.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 작업 공정 시스템은, 작업자의 작업 동작을 촬영하는 동영상 촬영부, 상기 동영상 촬영부를 통해 촬영된 작업자의 움직임이 설정된 가상의 영역 내에서의 체류 시간으로부터 작업자가 표준 작업 공정을 수행했는지 여부를 판단하는 제어부(40)를 포함하여 구성된다. 1 and 2, a work process system according to an embodiment of the present invention includes a moving picture photographing unit for photographing a work operation of a worker, a moving picture photographing unit for photographing a work And a controller 40 for determining whether the worker has performed a standard work process from the residence time at the work station.

상기 작업 공정 검사 시스템은 작업이 완성된 부품을 촬영하는 영상 촬영부를 더 포함할 수 있다. 그리고 상기 제어부(40)는 상기 영상 촬영부를 통해 촬영된 영상과 표준 영상의 차이를 이용하여 작업 결과를 판단할 수 있다.The work process inspection system may further include an image photographing unit for photographing the completed part. The control unit 40 may determine a result of the operation using the difference between the image captured through the image capturing unit and the standard image.

상기 동영상 촬영부는 삼차원 카메라(20) 또는 삼차원 스캐너(10)일 수 있고, 상기 영상 촬영부는 영상을 촬영하는 카메라(20)일 수 있다.The moving image capturing unit may be a three-dimensional camera 20 or a three-dimensional scanner 10, and the image capturing unit may be a camera 20 for capturing an image.

상기 동영상 촬영부는 작업자의 움직임을 촬영하여 작업자의 움직임을 3차원 데이터로 변환하고, 변환된 3차원 데이터는 상기 제어부(40)로 전송된다. 상기 삼차원 스캐너(10)의 기본적인 동작은 당 업계에서 널리 알려진 것으로 이에 대한 구체적인 설명은 생략하도록 한다.The moving picture photographing unit photographs the movement of the worker, converts the movement of the worker into three-dimensional data, and the converted three-dimensional data is transmitted to the control unit (40). The basic operation of the three-dimensional scanner 10 is well known in the art, and a detailed description thereof will be omitted.

상기 카메라(20)는 작업자가 작업을 수행한 부품을 촬영하고, 상기 카메라(20)를 통해 촬영된 영상은 상기 제어부(40)로 전송된다.
The camera 20 photographs a part where the operator has performed the operation, and the image photographed through the camera 20 is transmitted to the controller 40.

상기 제어부(40)는 작업자의 움직임을 추출하는 동작 추출부(41)와, 상기 동작 추출부(41)에서 상기 동작 추출부(41)에서 추출된 작업자의 움직임과 표준 작업을 수행하는지 여부를 판단하는 영역 판단부(43)를 포함하여 구성된다. 상기 제어부(40)는 작업자가 작업한 부품이 표준 작업 상태를 만족하는지 여부를 판단하는 영상 판단부(45)를 더 포함할 수 있다.The control unit 40 includes an operation extraction unit 41 for extracting a movement of an operator and a control unit 40 for determining whether or not the movement of the operator extracted by the operation extraction unit 41 and the standard operation are performed by the operation extraction unit 41 And an area judging section 43 for judging the area. The control unit 40 may further include an image determining unit 45 for determining whether a worker's work satisfies a standard work state.

상기 제어부(40)는 설정된 프로그램에 의하여 작동하는 하나 이상의 프로세서로 구비될 수 있으며, 상기 설정된 프로그램은 본 발명의 실시예에 따른 작업 공정 검사 방법의 각 단계를 수행하도록 되어 있다.The control unit 40 may be provided with one or more processors that operate according to a set program, and the set program is configured to perform each step of the work process inspection method according to an embodiment of the present invention.

상기 동작 추출부(41)는, 상기 삼차원 스캐너(10)로부터 전송된 3차원 데이터를 이용하여 작업자의 관절 위치를 추출하고, 추출된 관절 위치를 이용하여 작업자의 관절 움직임을 추출한다.The operation extracting unit 41 extracts the joint position of the operator using the three-dimensional data transmitted from the three-dimensional scanner 10, and extracts the joint movement of the operator using the extracted joint position.

상기 영역 판단부(43)는 상기 동작 추출부(41)에서 추출된 작업자의 관절 움직임이 설정된 가상의 작업 영역 내에 설정 시간 동안 머물렀는지 여부를 판단하여, 작업자가 표준 작업을 수행하였는지 여부를 판단한다. 여기서 표준 움직임은 특정 작업 공정을 수행하기 위해 미리 정해진 작업 순서 또는 미리 정해진 작업 공정을 의미한다. 그리고 작업자의 움직임이 설정된 가상의 작업 영역 내에 설정 시간 동안 머무는 시간을 체류 시간으로 정의한다.The area determining unit 43 determines whether or not the movement of the operator extracted by the operation extracting unit 41 remains within the set virtual work area for the set time and determines whether or not the worker has performed the standard work do. Here, the standard motion means a predetermined work order or a predetermined work process for performing a specific work process. And, the staying time during the set time in the virtual work area where the worker's movement is set is defined as the stay time.

도 3에 도시된 바와 같이, 상기 동작 추출부(41)는 3차원 데이터를 이용하여 작업자의 관절 위치와 관절의 움직임을 추출하고(도 3(a) 참조), 상기 영역 판단부(43)는 추출된 관절의 움직임이 미리 설정된 가상의 작업 영역 내에 진입하는 시간(도 3(b) 참조)과 상기 가상의 작업 영역에서 이탈하는 시간(도 3(c) 참조)을 측정한다. 3, the operation extracting unit 41 extracts the joint position and joint motion of the operator using the three-dimensional data (see FIG. 3 (a)), and the region determining unit 43 (Refer to FIG. 3 (b)) in which the motion of the extracted joint moves into the virtual work area set in advance and the time (see FIG. 3 (c)) in which the movement of the extracted joint occurs in the virtual work area.

그리고 관절의 움직임이 가상의 작업 영역 내에 진입하는 시간과 가상의 작업 영역에서 이탈하는 시간으로부터 상기 체류 시간을 계산한다. Then, the residence time is calculated from the time at which the movement of the joint enters the virtual working area and the time at which the movement leaves the virtual working area.

이때, 상기 영역 판단부(43)는 관절의 움직임이 가상의 작업 영역 내에 머무는 시간이 설정된 시간의 일정 오차 범위내이면, 작업자가 표준 작업을 수행한 것으로 판단한다. 그리고 상기 영역 판단부(43)는 관절의 움직임이 가상의 작업 영역 내에 머무는 시간이 설정된 시간보다 작거나, 설정된 시간보다 크면 작업자가 표준 작업을 수행하지 않은 것으로 판단한다.At this time, the area determining unit 43 determines that the worker has performed the standard work if the movement time of the joint is within the predetermined error range of the set time. The area determining unit 43 determines that the worker does not perform the standard work if the movement time of the joint is less than the set time or is longer than the set time.

변속기에 조립되는 부품을 예로 들어 설명한다. 변속기에 조립되는 부품은 허브와, 스러스트 와셔, 허브 조립체, 스러스트 베어링, 및 허브 클러치가 순서에 따라 조립되어야 한다.Explain the parts assembled in the transmission as an example. The parts to be assembled in the transmission must be assembled in order of hub, thrust washer, hub assembly, thrust bearing, and hub clutch.

도 1에 도시된 바와 같이, 각 부품에 구비되는 작업대를 기준으로 가상의 영역을 설정한다. 예를 들면, 허브가 배치되는 작업대 주변을 가상의 작업 영역인 'A' 영역으로 설정하고, 스러스트 와셔가 배치되는 작업대 주변을 가상의 작업 영역인 'B' 영역으로 설정하며, 허브 조립체가 배치되는 작업대 주변을 가상의 작업 영역인 'C' 영역으로 설정하고, 스러스트 베어링이 배치되는 작업대 주변을 가상의 작업 영역인 'D' 영역으로 설정하며, 허브 클러치가 배치되는 작업대 주변을 가상의 작업 영역인 'E' 영역으로 설정한다. 그리고 상기 각 부품을 조립하는 작업대 주변을 가상의 작업 영역인 'F' 영역으로 설정한다.As shown in Fig. 1, a virtual area is set based on a work table provided for each part. For example, the periphery of the workbench where the hub is disposed is set as the 'A' area as a virtual work area, the periphery of the workbench where the thrust washer is disposed is set as a virtual work area 'B' The vicinity of the workbench is set as a 'C' area as a virtual work area, the vicinity of the workbench where the thrust bearings are disposed is set as a virtual work area 'D', and the workbench around which the hub clutch is disposed is set as a virtual work area Set to 'E' area. The periphery of the workbench for assembling the components is set as an imaginary work area 'F'.

먼저, 상기 동작 추출부(41)는 삼차원 스캐너(10)를 통해 작업자의 관절의 위치와 관절의 움직임을 추출한다. 상기 영역 판단부(43)는 상기 동작 추출부(41)에서 추출된 작업자의 관절의 움직임이 'A' 영역이 진입하는 시간과 'A'에서 이탈하는 시간을 측정하고, 이를 통해 상기 'A' 영역에 머무는 체류 시간을 계산한다. 만약, 작업자의 관절의 움직임이 'A' 영역에서의 체류 시간이 설정 시간과 같으면, 상기 영역 판단부(43)는 작업자가 'A' 영역에서의 허브를 집는 동작을 수행한 것으로 판단한다.First, the operation extracting unit 41 extracts the position of the operator's joint and the movement of the joint through the three-dimensional scanner 10. The area determining unit 43 measures the movement time of the joint of the operator extracted by the operation extracting unit 41 from the time when the 'A' area enters and the time when the 'A' area departs from the 'A' Calculate the residence time in the area. If the movement of the operator's joint is equal to the set time in the 'A' area, the area determining unit 43 determines that the operator has performed the operation of picking up the hub in the area 'A'.

그리고 상기 'A' 영역에서 설정 시간 동안 머문 후, 상기 'F' 영역에서의 체류 시간을 측정한다. 만약, 작업자의 관절의 움직임이 'F' 영역에서 머문 체류 시간이 설정된 시간과 같으면, 상기 영역 판단부(43)는 작업자가 'F' 영역에서 허브를 조립한 것으로 판단한다.After staying in the 'A' region for the set time, the residence time in the 'F' region is measured. If the movement of the operator's joint is the same as the set stay time in the 'F' area, the area determining unit 43 determines that the operator assembled the hub in the 'F' area.

다음으로, 상기 영역 판단부(43)는 상기 동작 추출부(41)에서 추출된 작업자의 관절의 움직임이 'B' 영역이 진입하는 시간과 'B'에서 이탈하는 시간을 측정하고, 이를 통해 상기 'B' 영역에 머무는 체류 시간을 계산한다. 만약, 작업자의 관절의 움직임이 'B' 영역에서의 체류 시간이 설정 시간과 같으면, 상기 영역 판단부(43)는 작업자가 'B' 영역에서의 스러스트 와셔를 집는 동작을 수행한 것으로 판단한다.Next, the area determining unit 43 measures the time at which the movement of the operator's joint extracted from the operation extracting unit 41 departs from the 'B' area and the 'B' area, Calculate the residence time in the 'B' area. If the movement of the operator's joint is equal to the set time in the 'B' area, the area determining unit 43 determines that the operator has performed the operation of picking up the thrust washer in the 'B' area.

그리고 상기 'B' 영역에서 설정 시간 동안 머문 후, 상기 'F' 영역에서의 체류 시간을 측정한다. 만약, 작업자의 관절의 움직임이 'F' 영역에서 머문 체류 시간이 설정된 시간과 같으면, 상기 영역 판단부(43)는 작업자가 'F' 영역에서 스러스트 와셔를 조립한 것으로 판단한다.After staying in the 'B' region for the set time, the residence time in the 'F' region is measured. If the movement of the operator's joint is the same as the set stay time in the 'F' area, the area determining unit 43 determines that the operator assembled the thrust washer in the 'F' area.

다음으로, 상기 영역 판단부(43)는 상기 동작 추출부(41)에서 추출된 작업자의 관절의 움직임이 'C' 영역이 진입하는 시간과 'C'에서 이탈하는 시간을 측정하고, 이를 통해 상기 'C' 영역에 머무는 체류 시간을 계산한다. 만약, 작업자의 관절의 움직임이 'C' 영역에서의 체류 시간이 설정 시간과 같으면, 상기 영역 판단부(43)는 작업자가 'C' 영역에서의 허브 조립체를 집는 동작을 수행한 것으로 판단한다.Next, the area determining unit 43 measures the movement time of the joint of the operator extracted by the operation extracting unit 41 and the time at which the 'C' area departs from the 'C' Calculate the residence time in the 'C' area. If the movement of the operator's joint is equal to the set time in the 'C' area, the area determining unit 43 determines that the operator has performed the operation of picking up the hub assembly in the 'C' area.

그리고 상기 'C' 영역에서 설정 시간 동안 머문 후, 상기 'F' 영역에서의 체류 시간을 측정한다. 만약, 작업자의 관절의 움직임이 'F' 영역에서 머문 체류 시간이 설정된 시간과 같으면, 상기 영역 판단부(43)는 작업자가 'F' 영역에서 허브 조립체를 조립한 것으로 판단한다.After staying in the 'C' region for the set time, the residence time in the 'F' region is measured. If the movement of the operator's joint is the same as the set stay time in the 'F' area, the area determining unit 43 determines that the operator assembled the hub assembly in the 'F' area.

다음으로, 상기 영역 판단부(43)는 상기 동작 추출부(41)에서 추출된 작업자의 관절의 움직임이 'D' 영역이 진입하는 시간과 'D'에서 이탈하는 시간을 측정하고, 이를 통해 상기 'D' 영역에 머무는 체류 시간을 계산한다. 만약, 작업자의 관절의 움직임이 'D' 영역에서의 체류 시간이 설정 시간과 같으면, 상기 영역 판단부(43)는 작업자가 'D' 영역에서의 스러스트 베어링을 집는 동작을 수행한 것으로 판단한다.Next, the area determining unit 43 measures the time at which the movement of the operator's joint extracted from the operation extracting unit 41 deviates from the time at which the 'D' region enters and the time at which the movement of the joint of the operator extracted from the 'D' Calculate the residence time in the 'D' area. If the movement of the operator's joint is equal to the set time in the 'D' area, the area determining unit 43 determines that the operator has performed the operation of picking up the thrust bearing in the 'D' area.

그리고 상기 'D' 영역에서 설정 시간 동안 머문 후, 상기 'F' 영역에서의 체류 시간을 측정한다. 만약, 작업자의 관절의 움직임이 'F' 영역에서 머문 체류 시간이 설정된 시간과 같으면, 상기 영역 판단부(43)는 작업자가 'F' 영역에서 스러스트 베어링을 조립한 것으로 판단한다.After staying in the 'D' region for the set time, the residence time in the 'F' region is measured. If the movement of the operator's joint is the same as the set time of stay in the 'F' area, the area determining unit 43 determines that the operator assembled the thrust bearing in the 'F' area.

다음으로, 상기 영역 판단부(43)는 상기 동작 추출부(41)에서 추출된 작업자의 관절의 움직임이 'E' 영역이 진입하는 시간과 'E'에서 이탈하는 시간을 측정하고, 이를 통해 상기 'E' 영역에 머무는 체류 시간을 계산한다. 만약, 작업자의 관절의 움직임이 'E' 영역에서의 체류 시간이 설정 시간과 같으면, 상기 영역 판단부(43)는 작업자가 'E' 영역에서의 허브 클러치를 집는 동작을 수행한 것으로 판단한다.Next, the area determining unit 43 measures the movement time of the joint of the operator extracted from the operation extracting unit 41, the time at which the 'E' region enters and the time at which the movement of the joint of the operator extracted from the 'E' Calculate the residence time in the 'E' area. If the movement of the operator's joint is equal to the set time in the 'E' area, the area determining unit 43 determines that the operator has performed the operation of picking up the hub clutch in the 'E' area.

그리고 상기 'E' 영역에서 설정 시간 동안 머문 후, 상기 'F' 영역에서의 체류 시간을 측정한다. 만약, 작업자의 관절의 움직임이 'F' 영역에서 머문 체류 시간이 설정된 시간과 같으면, 상기 영역 판단부(43)는 작업자가 'F' 영역에서 허브 클러치를 조립한 것으로 판단한다.After staying in the 'E' region for the set time, the residence time in the 'F' region is measured. If the movement of the operator's joint is the same as the set stay time in the 'F' area, the area determining unit 43 determines that the operator assembled the hub clutch in the 'F' area.

이상에서 설명한 바와 같이, 각 영역에서 관절의 움직임 머문 시간을 측정함으로써, 작업자가 정해진 일련의 작업 공정을 수행했는지 여부를 판단할 수 있다.
As described above, it is possible to determine whether or not the operator has performed a predetermined series of work processes by measuring the movement staying time of the joint in each area.

상기 영상 판단부(45)는 상기 카메라(20)로부터 촬영된 영상과 설정된 표준 영상을 비교하여 촬영된 영상이 표준 영상과 차이가 있는지 여부를 판단한다. 여기서, 표준 영상은 특정 작업 공정을 정확히 수행했는지 여부를 판단하기 위해 미리 정해진 작업 결과에 대한 영상을 의미한다. 상기 영상 판단부(45)를 통해, 작업자가 정해진 작업을 정확히 수행했는지 여부를 판단할 수 있다.The image determining unit 45 compares the image photographed by the camera 20 with the set standard image to determine whether the photographed image is different from the standard image. Here, the standard image means an image of a predetermined work result to determine whether a specific work process has been accurately performed. Through the image determination unit 45, it is possible to determine whether or not the worker has correctly performed the predetermined job.

한편, 본 발명의 실시예에 따른 작업 공정 검사 시스템은, 작업자가 정해진 작업 공정을 수행하지 않았거나, 작업 상태를 정해진 작업 상태를 만족하지 않으면 알람을 발생하는 경고부(50)를 더 포함할 수 있다. Meanwhile, the work process inspection system according to the embodiment of the present invention may further include a warning unit 50 for generating an alarm if the worker does not perform the predetermined work process or the work state does not satisfy the predetermined work state have.

즉, 상기 경고부(50)는 상기 영역 판단부(43)를 통해 추출된 관절의 움직임과 설정된 표준 움직임의 차이가 있는 경우, 알람을 발생한다. 이때, 알람은 사이렌 또는 경광등과 같이 다양한 방법으로 구현될 수 있다.
That is, the warning unit 50 generates an alarm when there is a difference between the movement of the joint extracted through the area determination unit 43 and the standard movement. At this time, the alarm may be implemented in various ways such as a siren or a beacon.

이하에서는 본 발명의 실시예에 따른 작업 공정 검사 방법에 대해 도 4를 참조하여 설명하도록 한다.Hereinafter, a work process inspection method according to an embodiment of the present invention will be described with reference to FIG.

도 4는 본 발명의 실시예에 따른 작업 공정 시스템의 운영 방법을 도시한 순서도이다.4 is a flowchart illustrating an operation method of a work process system according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 먼저, 상기 삼차원 스캐너(10)는 작업자의 작업 동작을 촬영하고, 상기 동작 추출부(41)는 삼차원 스캐너(10)를 통해 획득한 삼차원 이미지를 통해 작업자의 관절의 움직임을 추출한다(S10).4, the three-dimensional scanner 10 photographs a work operation of an operator, and the operation extracting unit 41 extracts a three-dimensional image of the worker's joint through a three-dimensional image obtained through the three- The motion is extracted (S10).

상기 영역 판단부(43)는 상기 동작 추출부(41)에서 추출된 관절의 움직임이 가상의 작업 영역내에 머무는 체류 시간을 측정하고(S20), 측정된 체류 시간이 설정 시간과 동일한지 여부를 판단한다(S30).The area determining unit 43 measures the staying time in which the movement of the joint extracted by the operation extracting unit 41 stays in the virtual working area (S20), and determines whether the measured staying time is equal to the set time (S30).

만약, 측정된 체류 시간과 설정 시간의 차이가 발생하면, 경고부(50)를 통해 작업자에게 표준 작업이 수행을 수행할 것을 알리는 경고 메시지를 보낸다(S60).If there is a difference between the measured residence time and the set time, a warning message is sent to the operator through the warning unit 50 to notify the worker to perform the standard job (S60).

그리고 측정된 체류 시간과 설정 시간이 동일하면, 작업자가 정해진 작업 공정을 수행한 것으로 판단하고, 카메라(20)를 이용하여 작업이 완성된 부품의 영상을 촬영한다(S40).If the measured residence time is equal to the set time, it is determined that the worker has performed the predetermined work process, and the image of the completed work is photographed using the camera 20 (S40).

상기 영상 판단부(45)는 상기 카메라(20)에 의해 촬영된 영상과 미리 설정된 표준 영상의 차이를 비교하여, 작업자에 의해 수행된 작업이 정확히 수행되었는지 여부를 판단한다(S50).The image determining unit 45 compares the difference between the image captured by the camera 20 and the preset standard image, and determines whether the operation performed by the operator is correctly performed (S50).

만약, 촬영된 영상과 표준 영상과 차이가 발생하면, 경고부(50)를 통해 작업이 완성된 부품이 불량이 발생하였음을 알리는 경고 메시지를 보낸다(S60). 이와 같이, 상기 카메라(20)에 의해 촬영된 영상과 표준 영상을 비교함으로써, 조립 불량이 발생하는 것을 방지할 수 있다.
If there is a difference between the photographed image and the standard image, a warning message is sent to the warning unit 50 indicating that the completed component has failed (S60). In this way, it is possible to prevent the occurrence of an assembly failure by comparing the image captured by the camera 20 with the standard image.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It will be understood that various modifications and changes may be made without departing from the scope of the appended claims.

10: 삼차원 스캐너
20: 카메라
40: 제어부
41: 동작 추출부
43: 영역 판단부
45: 영상 판단부
50: 경고부10: Three-dimensional scanner
20: Camera
40:
41:
43:
45:
50: Warning section

Claims (14)

작업자의 작업 동작을 촬영하는 동영상 촬영부; 및
상기 동영상 촬영부를 통해 촬영된 작업자의 움직임이 설정된 가상의 영역 내에서의 체류 시간으로부터 작업자가 표준 작업 공정을 수행했는지 여부를 판단하는 제어부;
를 포함하는 작업 공정 검사 시스템.
A moving picture photographing part photographing a work operation of an operator; And
A control unit for determining whether a worker has performed a standard work process based on a residence time within a hypothetical area where a movement of an operator photographed through the moving picture photographing unit is set;
And a work process inspection system.
제1항에 있어서,
상기 제어부는
상기 동영상 촬영부를 통해 촬영된 영상으로부터, 작업자의 관절의 움직임을 추출하는 동작 추출부; 및
상기 동작 추출부에서 추출된 관절의 움직임이 설정된 가상의 작업 영역 내에 체류하는 시간을 판단하는 영역 판단부;
를 포함하는 작업 공정 검사 시스템.
The method according to claim 1,
The control unit
An operation extracting unit for extracting a movement of an operator's joint from an image photographed through the moving picture photographing unit; And
An area judging unit for judging a time at which the movement of the joint extracted by the operation extracting unit stays in a set virtual work area;
And a work process inspection system.
제2항에 있어서,
상기 체류 시간은 상기 동작 추출부에서 추출된 관절의 움직임이 가상의 작업 영역 내에 진입하는 시간으로부터 가상의 작업 영역에서 벗어나는 시간까지인 것을 특징으로 하는 작업 공정 검사 시스템.
3. The method of claim 2,
Wherein the residence time is from the time when the movement of the joint extracted by the operation extracting unit enters the virtual work area to the time when the movement of the joint is deviated from the virtual work area.
제2항에 있어서,
상기 영역 판단부는 상기 체류 시간이 설정 시간으로부터 일정 오차 범위내이면 작업자가 표준 작업 공정을 수행한 것으로 판단하는 것을 특징으로 하는 작업 공정 검사 시스템.
3. The method of claim 2,
Wherein the area determining unit determines that the worker has performed the standard work process if the residence time is within a predetermined error range from the set time.
제1항에 있어서,
작업이 완성된 부품을 촬영하는 영상 촬영부;를 더 포함하고,
상기 제어부는 상기 영상 촬영부를 통해 촬영된 영상과 표준 영상의 차이를 이용하여 작업 결과를 판단하는 것을 특징으로 하는 작업 공정 검사 시스템.
The method according to claim 1,
And a video image capturing unit for capturing an image of the finished part,
Wherein the control unit determines the operation result using the difference between the image captured through the image capturing unit and the standard image.
제5항에 있어서,
상기 제어부는
상기 영상 촬영부로부터 촬영된 영상과 설정된 표준 영상을 비교하여 촬영된 영상이 표준 영상과 차이가 있는지 여부를 판단하는 영상 판단부;를 더 포함하는 것을 특징으로 하는 작업 공정 검사 시스템.
6. The method of claim 5,
The control unit
Further comprising an image determination unit for comparing the photographed image with the set standard image to determine whether the photographed image is different from the standard image.
제2항에 있어서,
상기 영상 판단부는 상기 영상 촬영부에서 촬영된 영상과 표준 영상의 차이가 발생하면 작업 결과를 만족하지 않는 것으로 판단하는 것을 특징으로 하는 작업 공정 검사 시스템.
3. The method of claim 2,
Wherein the image determining unit determines that the operation result is not satisfied when a difference between the image captured by the image capturing unit and the standard image occurs.
제2항 또는 제7항에 있어서,
상기 체류 시간이 설정 시간보다 작은 경우, 또는 촬영된 영상과 설정된 표준 영상과의 차이가 설정 범위보다 큰 경우에 알람을 발생하는 경고부를 더 포함하는 작업 공정 검사 시스템.
8. The method according to claim 2 or 7,
Further comprising an alarm unit for generating an alarm when the residence time is shorter than the set time or when the difference between the photographed image and the set standard image is larger than the set range.
작업자의 작업 동작을 촬영하는 단계;
촬영된 동영상으로부터 작업자의 관절의 움직임을 추출하는 단계;
추출된 관절의 움직임이 설정된 가상의 작업 영역 내에 체류하는 체류 시간을 측정하는 단계; 및
상기 체류 시간과 설정 시간을 비교하여 표준 작업 공정을 수행했는지 여부를 판단하는 단계;
를 포함하는 것을 특징으로 하는 작업 공정 검사 방법.
Photographing a work operation of an operator;
Extracting a motion of the joint of the operator from the photographed moving image;
Measuring a residence time of staying within a hypothetical working area where movement of the extracted joint is set; And
Comparing the residence time with the set time to determine whether a standard work process has been performed;
And a control unit for controlling the operation of the work process.
제9항에 있어서,
상기 체류 시간은 관절의 움직임이 가상의 작업 영역 내에 진입하는 시간으로부터 가상의 작업 영역을 벗어나는 시간까지인 것을 특징으로 하는 작업 공정 검사 방법.
10. The method of claim 9,
Wherein the residence time is from the time when the movement of the joint is within the virtual working area to the time when the movement of the joint is out of the virtual working area.
제9항에 있어서,
상기 체류 시간이 설정 시간으로부터 일정 오차 범위내이면 표준 작업 공정을 수행한 것으로 판단하는 작업 공정 검사 시스템.
10. The method of claim 9,
And determines that the standard work process has been performed if the residence time is within a predetermined error range from the set time.
제9항에 있어서,
작업이 완성된 부품을 촬영하는 단계; 및
촬영된 영상과 표준 영상을 비교하는 단계;
를 더 포함하는 것을 특징으로 하는 작업 공정 검사 방법.
10. The method of claim 9,
Photographing a completed part of the work; And
Comparing the photographed image with a standard image;
Further comprising the steps < RTI ID = 0.0 > of: < / RTI >
제12항에 있어서,
상기 촬영된 영상과 표준 영상의 차이가 발생하면 작업 결과를 만족하지 않는 것으로 판단하는 것을 특징으로 하는 작업 공정 검사 방법.
13. The method of claim 12,
And if the difference between the photographed image and the standard image is generated, it is determined that the operation result is not satisfied.
제11항 또는 제13항에 있어서,
상기 체류 시간이 설정 시간의 일정 오차 범위를 벗어나는 경우, 또는 촬영된 영상과 표준 영상의 차이가 발생하는 경우 알람을 발생하는 단계;
를 더 포함하는 것을 특징으로 하는 작업 공정 검사 방법.14. The method according to claim 11 or 13,
Generating an alarm when the residence time deviates from a predetermined error range of the set time or when a difference between the photographed image and the standard image occurs;
Further comprising the steps < RTI ID = 0.0 > of: < / RTI >
KR1020140073686A 2013-12-26 2014-06-17 Work in Process Inspection System using Motion Detection And Method Thereof Ceased KR20150144619A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140073686A KR20150144619A (en) 2014-06-17 2014-06-17 Work in Process Inspection System using Motion Detection And Method Thereof
US14/559,547 US20150185731A1 (en) 2013-12-26 2014-12-03 Work-in-process inspection system using motion detection, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140073686A KR20150144619A (en) 2014-06-17 2014-06-17 Work in Process Inspection System using Motion Detection And Method Thereof

Publications (1)

Publication Number Publication Date
KR20150144619A true KR20150144619A (en) 2015-12-28

Family

ID=55084901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140073686A Ceased KR20150144619A (en) 2013-12-26 2014-06-17 Work in Process Inspection System using Motion Detection And Method Thereof

Country Status (1)

Country Link
KR (1) KR20150144619A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023038453A1 (en) * 2021-09-09 2023-03-16 주식회사 테이아 Vehicle manufacturing work quality assurance system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023038453A1 (en) * 2021-09-09 2023-03-16 주식회사 테이아 Vehicle manufacturing work quality assurance system and method

Similar Documents

Publication Publication Date Title
US9769469B2 (en) Failure detection apparatus and failure detection program
CN109927025B (en) Inspection robot control method and device, computer equipment and storage medium
CN109955242B (en) Inspection robot control method and device, computer equipment and storage medium
JP6113631B2 (en) Work confirmation system
JP6203569B2 (en) Bridge damage state investigation system, bridge damage state investigation method and aerial mobile equipment
CN111156923A (en) Workpiece detection method, workpiece detection device, computer equipment and storage medium
WO2017176354A3 (en) Autonomous vehicle, system and method for structural object assessment and manufacture thereof
US20160366397A1 (en) Embedded system, fast structured light based 3d camera system and method for obtaining 3d images using the same
JP2009037392A (en) Operation support system
JP2014241578A5 (en)
CN105437251A (en) Method and device for locating position of robot
JP2019191117A (en) Image processing device, image processing method, and program
KR102091014B1 (en) Machine vision inspection device and product inspection method using machine vision
KR101535801B1 (en) Process inspection device, method and system for assembling process in product manufacturing using depth map sensors
CN109108430B (en) System and method for automated welding
US20170050319A1 (en) Programmable Machine Vision Device
JP2021179441A (en) Runway lighting inspection device and runway lighting inspection method
JP2012143844A (en) Automatic assembling system and automatic assembling method
KR101741997B1 (en) Robot Arm Align Apparatus And Align Method With The Same
KR20150144619A (en) Work in Process Inspection System using Motion Detection And Method Thereof
JP2021096610A (en) Information processing system, information processing method, and information processing program
CN111673749B (en) Adjustment method of vision welding robot and vision welding robot
KR101362677B1 (en) Apparatus for aligning a semiconductor wafer using image of flat zone and method thereof
KR20180103467A (en) System and method for estimating position of end point of welding robot using 3d camera
KR20150104766A (en) Tracking method for badness history in inspection process

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140617

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150610

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20151230

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20150610

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I