KR20210115994A - Method for inspecting appearance of assembly - Google Patents

Method for inspecting appearance of assembly Download PDF

Info

Publication number
KR20210115994A
KR20210115994A KR1020200032565A KR20200032565A KR20210115994A KR 20210115994 A KR20210115994 A KR 20210115994A KR 1020200032565 A KR1020200032565 A KR 1020200032565A KR 20200032565 A KR20200032565 A KR 20200032565A KR 20210115994 A KR20210115994 A KR 20210115994A
Authority
KR
South Korea
Prior art keywords
assembly
inspection
area
portable terminal
photographing
Prior art date
Application number
KR1020200032565A
Other languages
Korean (ko)
Inventor
전소은
Original Assignee
한국항공우주산업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주산업 주식회사 filed Critical 한국항공우주산업 주식회사
Priority to KR1020200032565A priority Critical patent/KR20210115994A/en
Publication of KR20210115994A publication Critical patent/KR20210115994A/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9516—Objects of complex shape, e.g. examined with use of a surface follower device whereby geometrical features are being masked

Abstract

The present invention relates to a method for inspecting the appearance of an assembly, comprising the steps of: obtaining photography data by photographing at least part of an assembly from a portable device; transmitting, by the portable device, the photography data to a server; determining, by the server, the photographing area of the photographed assembly from the photography data; transmitting, by the server, the determined photographing area to the portable device; and manifesting inspected items with respect to the photographing area in the portable device. The method for inspecting the appearance of an assembly according to the present invention can determine to which inspection area a photographed part corresponds and can manifest the same thereby improving the inspection convenience of a user even if the user photographs the inspection areas in arbitrary order without needing to perform appearance inspection in determined order. Also, human errors can be minimized to improve the accuracy of inspection as a user can intuitively grasp the current state of inspection progress.

Description

조립체의 외관 검사 방법{METHOD FOR INSPECTING APPEARANCE OF ASSEMBLY}Method for inspecting the appearance of an assembly

본 발명은 조립체의 외관 검사 방법에 관한 것이며, 보다 상세하게는 외관 검사를 사람이 수행할 때 필수 검사항목에 대한 누락을 방지할 수 있는 조립체의 외관 검사 방법에 관한 것이다.The present invention relates to a method for inspecting the appearance of an assembly, and more particularly, to a method for inspecting the appearance of an assembly capable of preventing omission of essential inspection items when a person performs an appearance inspection.

다수의 부품을 하나로 조립하는 과정을 통하여 조립체를 제조하는 경우에는 여러 지점에서 연결이 이루어진다. 조립체를 조립한 이후에는 적절하게 조립이 되었는지 여부를 확인하는 검사가 수행된다. 소형 조립체의 경우 조립라인 상에서 조립이 이루어지고 검사 위치에서 자동화된 공정을 통하여 외관을 검사하게 되나, 나도 규격이 큰 조립체 또는 조립 라인을 이용하여 조립되지 않는 경우에는 검사자가 직접 조립체에 접근하여 검사를 수행하게 된다. 이와 같이 검사자가 외관을 검사하는 경우 정해진 검사 순서에 따라 외관을 검사하게 되는 것이 일반적이다. In the case of manufacturing an assembly through the process of assembling a plurality of parts into one, the connection is made at several points. After assembling the assembly, an inspection is performed to confirm whether it is properly assembled. In the case of a small assembly, assembly is performed on the assembly line and the appearance is inspected through an automated process at the inspection location. will perform As such, when the inspector inspects the exterior, it is common to inspect the exterior according to a predetermined inspection order.

이러한 종래의 검사 방법과 관련하여 대한민국 등록특허 제0623634호가 개시되어 있다. 그러나 이러한 종래의 검사 방법은 작업자의 검사 항목 누락이 발생할 수 있으며, 작업자가 검사 위치 및 검사 항목에 대하여 직관적으로 인식하기 어려운 문제점이 있었다.In relation to such a conventional inspection method, Korean Patent Registration No. 0623634 is disclosed. However, such a conventional inspection method may cause an operator to omit an inspection item, and has a problem in that it is difficult for the operator to intuitively recognize the inspection location and the inspection item.

대한민국 등록특허 제0623634호Republic of Korea Patent No. 0623634

본 발명은 전술한 조립체 검사 방법의 문제점을 해결할 수 있는 조립체의 외관 검사 방법을 제공하는 것에 그 목적이 있다.An object of the present invention is to provide a method for inspecting the appearance of an assembly capable of solving the problems of the above-described assembly inspection method.

상기 과제의 해결 수단으로서, 휴대용 단말기로부터 조립체의 적어도 일부를 촬영하여 촬영데이터를 획득하는 단계, 휴대용 단말기가 서버로 촬영테이터를 전송하는 단계, 서버가 촬영데이터로부터 촬영된 조립체의 촬영영역을 판단하는 단계, 서버가 판단된 촬영영역을 휴대용 단말기로 전송하는 단계 및 휴대용 단말기에서 촬영영역에 대하여 검사 완료 항목을 시현하는 단계를 포함하는 조립체의 외관 검사 방법이 제공될 수 있다.As a means of solving the above problems, the steps of obtaining photographing data by photographing at least a part of the assembly from the portable terminal, transmitting the photographing data from the portable terminal to the server, the server determining the photographing area of the assembly photographed from the photographing data There may be provided a method for inspecting the appearance of an assembly comprising the steps of: the server transmitting the determined photographing area to the portable terminal; and displaying the inspection completion item for the photographing area in the portable terminal.

여기서, 휴대용 단말기는, TOF(Time of Flight) 카메라를 포함하여 구성되며, 이미지 및 거리정보를 포함한 촬영데이터를 획득하도록 구성될 수 있다.Here, the portable terminal is configured to include a time of flight (TOF) camera, and may be configured to acquire photographing data including an image and distance information.

한편, 서버는, 조립체의 복수의 검사영역에 대한 정보를 포함하며, 휴대용 단말기로부터 전송된 촬영데이터 중 거리정보를 근거로 촬영영역이 조립체 중 어떤 부분인지를 판단하며, 검사영역 중 촬영영역과 매칭되는 검사영역을 판단하며, 매칭 검사영역에 따라 이미지를 저장할 수 있다.On the other hand, the server includes information on a plurality of inspection areas of the assembly, determines which part of the assembly is a photographing area based on distance information among photographing data transmitted from the portable terminal, and matches the photographing area in the inspection area It is possible to determine the inspection area to be used, and to store the image according to the matching inspection area.

또한, 조립체의 복수의 검사영역에 대한 정보는, 조립체의 3D 모델링 데이터로부터 기 설정된 적어도 하나의 영역일 수 있다.Also, the information on the plurality of inspection regions of the assembly may be at least one region preset from 3D modeling data of the assembly.

한편, 서버는, 휴대용 단말기에서 사용자의 입력에 따라 어느 하나의 검사영역에 따른 이미지 전송 요청을 수신하는 경우 어느 하나의 검사영역에 매칭되는 저장된 이미지를 휴대용 단말기로 전송할 수 있다.Meanwhile, when receiving an image transmission request according to any one examination area according to a user's input from the portable terminal, the server may transmit a stored image matching any one examination area to the portable terminal.

한편, 휴대용 단말기는 스마트 폰 또는 태블릿 PC 일 수 있다.Meanwhile, the portable terminal may be a smart phone or a tablet PC.

본 발명에 따른 조립체 외관 검사 방법은 사용자에게 직관적으로 검사 항목 및 검사 여부를 확인할 수 있게 하며, 검사 누락을 즉각적으로 확인할 수 있고, 조립체의 외관 검사에 대한 데이터를 용이하게 관리할 수 있는 효과가 이싸.The assembly appearance inspection method according to the present invention allows the user to intuitively check the inspection items and whether inspection is performed, and the inspection omission can be immediately confirmed, and data on the appearance inspection of the assembly can be easily managed. .

도 1은 본 발명에 따른 조립체의 외관 검사 방법의 개념도이다.
도 2는 본 발명에 따른 일 실시예인 조립체의 외관 검사 방법의 순서도이다.
도 3은 조립체 및 검사영역의 일 예를 도시한 도면이다.
도 4는 휴대용 단말기로부터 획득되는 촬영데이터를 도시한 도면이다.
도 5는 검사영역을 판단하는 개념을 도시한 도면이다.
도 6은 서버에서 관리하는 데이터가 나타난 데이터 테이블의 일 예이다.
도 7은 휴대용 단말기에서 시현되는 영상의 일 예이다.
도 8 및 도 9는 본 발명에 따른 조립체의 외관 검사 방법의 다른 사용 상태도이다.1 is a conceptual diagram of a method for inspecting the appearance of an assembly according to the present invention.
2 is a flowchart of a method for inspecting the appearance of an assembly according to an embodiment of the present invention.
3 is a view showing an example of an assembly and an inspection area.
4 is a diagram illustrating photographing data obtained from a portable terminal.
5 is a diagram illustrating a concept of determining an inspection area.
6 is an example of a data table showing data managed by a server.
7 is an example of an image displayed in a portable terminal.
8 and 9 are diagrams of another use of the method for inspecting the appearance of an assembly according to the present invention.

이하, 본 발명의 실시 예에 따른 조립체의 외관 검사 방법에 대하여, 첨부된 도면을 참조하여 상세히 설명한다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있다. 그러나 이들의 기능적 유사성 및 동일성이 있다면 변형된 실시예를 채용하더라도 균등한 구성으로 볼 수 있다. 또한 각각의 구성요소에 부가된 부호는 설명의 편의를 위하여 기재된다. 그러나 이들 부호가 기재된 도면상의 도시 내용이 각각의 구성요소를 도면내의 범위로 한정하지 않는다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성 및 동일성이 있다면 균등한 구성으로 볼 수 있다. 또한 당해 기술 분야의 일반적인 기술자 수준에 비추어 보아, 당연히 포함되어야 할 구성요소로 인정되는 경우, 이에 대하여는 설명을 생략한다.Hereinafter, a method for inspecting the appearance of an assembly according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. And in the description of the embodiments below, the name of each component may be called another name in the art. However, if they have functional similarity and identity, even if a modified embodiment is employed, it can be regarded as an equivalent configuration. In addition, the code added to each component is described for convenience of description. However, the contents shown in the drawings in which these symbols are indicated do not limit each component to the scope within the drawings. Similarly, even if an embodiment in which the configuration in the drawings is partially modified is employed, if there is functional similarity and sameness, it can be regarded as an equivalent configuration. In addition, in view of the level of a general engineer in the art, if it is recognized as a component to be included of course, a description thereof will be omitted.

도 1은 본 발명에 따른 조립체(1)의 외관 검사 방법의 개념도이다.1 is a conceptual diagram of a method for inspecting the appearance of an assembly 1 according to the present invention.

도시된 바와 같이 본 발명에 따른 조립체(1)의 외관 검사 방법은 조립 중 또는 조립이 완료된 조립체(1)를 작업자가 촬영하며, 촬영된 영상을 이용하고 분석하여 사용자가 검사 진행 현황을 직관적으로 인식할 수 있도록 구성된다.As shown, in the method for inspecting the appearance of the assembly 1 according to the present invention, the operator photographs the assembly 1 during assembly or the assembly is completed, and the user intuitively recognizes the inspection progress by using and analyzing the photographed image. configured to do so.

본 발명에 따른 조립체(1)의 외관 검사 방법은 사용자가 검사 현장에서 사용하는 휴대용 단말기(10)와 서버(20)를 포함하여 구성될 수 있다. The method for inspecting the appearance of the assembly 1 according to the present invention may include the portable terminal 10 and the server 20 used by the user at the inspection site.

휴대용 단말기(10)는 서버(20)와 통신하면서 촬영으로 획득된 영상을 전송하며, 현재 검사 진행 현황을 시현하고, 검사 항목에 따른 검사 여부를 시현할 수 있도록 구성된다. 휴대용 단말기(10)는 널리 보급되어 사용되고 있는 스마트 폰 또는 태블릿 PC일 수 있다. 휴대용 단말기(10)는 서버(20)와 무선통신 가능하도록 구성되며, 촬영이 가능한 장치가 될 수 있다.The portable terminal 10 is configured to transmit an image obtained by photographing while communicating with the server 20 , to display the current state of the examination progress, and to display whether the examination is performed according to the examination item. The portable terminal 10 may be a widely used smart phone or tablet PC. The portable terminal 10 is configured to be capable of wireless communication with the server 20 and may be a device capable of photographing.

휴대용 단말기(10)는 카메라와 TOF(Time Of Flight) 카메라를 포함하여 구성될 수 있다. 또는 TOF 기능을 포함하는 카메라를 포함하여 구성될 수 있다. 카메라는 사용자가 촬영을 하는 위치에서 피사체의 이미지(100)를 획득할 수 있도록 구성되며, TOF 카메라는 사용자가 촬영을 하는 위치에서 피사체까지의 거리에 대한 정보를 획득할 수 있도록 구성된다. 따라서 사용자가 TOF 카메라를 이용하여 촬영하면 촬영위치에서 피사체의 3D 데이터를 획득할 수 있게 된다.The portable terminal 10 may include a camera and a Time Of Flight (TOF) camera. Alternatively, it may be configured to include a camera including a TOF function. The camera is configured to obtain the image 100 of the subject at the location where the user takes a picture, and the TOF camera is configured to obtain information about the distance from the location where the user takes the picture to the subject. Therefore, when the user shoots using the TOF camera, it is possible to acquire 3D data of the subject at the shooting position.

서버(20)는 휴대용 단말기(10)와 무선통신하여 데이터를 전송 및 수신할 수 있도록 구성되며, 수신된 데이터를 처리할 수 있도록 구성된다. 서버(20)는 조립체(1)에 대한 3D 모델링 데이터가 미리 저장될 수 있다. 서버(20)는 3D 모델링 데이터와 필수적인 외관 검사 위치에 대한 정보가 미리 저장될 수 있다. 서버(20)는 휴대용 단말기(10)로부터 조립체(1)에 대한 촬영 데이터가 수신되는 경우 카메라의 이미지(100) 센서로부터 획득된 이미지(100)와 TOF 카메라로부터 획득된 거리정보(200)를 근거로 현재 작업자가 촬영하는 위치를 계산하여 결정할 수 있게 된다. The server 20 is configured to transmit and receive data through wireless communication with the portable terminal 10, and is configured to process the received data. The server 20 may store 3D modeling data for the assembly 1 in advance. The server 20 may store 3D modeling data and information on an essential appearance inspection location in advance. When the photographing data for the assembly 1 is received from the portable terminal 10, the server 20 is based on the image 100 of the camera 100 obtained from the sensor and the distance information 200 obtained from the TOF camera. Thus, it is possible to determine the position where the current operator is photographing by calculating.

서버(20)는 사용자가 촬영하는 위치 및 조립체(1) 상에서 촬영된 부분을 근거로 현재 사용자가 조립체(1)의 어떠한 부분을 촬영했는지를 판단할 수 있게 된다. 서버(20)는 조립체(1) 중 촬영된 부분과 기 설정돈 검사영역(2)을 대비하여 매칭되는 검사영역(2)에 대하여 검사가 완료된 것으로 판단하며, 획득된 이미지(100)를 함께 저장할 수 있다. 이후 사용자의 단말기에서 이미지(100) 전송 요청을 하는 경우 해당 검사영역(2)에 대한 저장되어 있는 이미지(100)를 휴대용 단말기(10)에 전송할 수 있게 된다.The server 20 may determine which part of the assembly 1 the current user has photographed on the basis of the location where the user shoots and the part photographed on the assembly 1 . The server 20 determines that the inspection has been completed for the inspection region 2 matching the photographed part of the assembly 1 and the preset inspection region 2, and stores the acquired image 100 together. can Thereafter, when the user's terminal requests to transmit the image 100 , the stored image 100 for the corresponding examination area 2 can be transmitted to the portable terminal 10 .

이하에서는 도 2 내지 도 6을 참조하여 본 발명에 따른 조립체(1)의 외관 검사 방법의 각 단계에 대하여 상세히 설명하도록 한다.Hereinafter, each step of the method for inspecting the appearance of the assembly 1 according to the present invention will be described in detail with reference to FIGS. 2 to 6 .

도 2는 본 발명에 따른 일 실시예인 조립체(1)의 외관 검사 방법의 순서도이다. 도 3은 조립체(1) 및 검사영역(2)의 일 예를 도시한 도면이며, 도 4는 휴대용 단말기(10)로부터 획득되는 촬영데이터를 도시한 도면이다. 한편, 도 5는 검사영역(2)을 판단하는 개념을 도시한 도면이며, 도 6은 서버(20)에서 관리하는 데이터가 나타난 데이터 테이블의 일 예이고, 도 7은 휴대용 단말기(10)에서 시현되는 영상의 일 예이다.2 is a flowchart of a method for inspecting the appearance of the assembly 1 according to an embodiment of the present invention. FIG. 3 is a view showing an example of the assembly 1 and the inspection area 2 , and FIG. 4 is a view showing photographing data obtained from the portable terminal 10 . Meanwhile, FIG. 5 is a diagram illustrating the concept of determining the inspection area 2 , FIG. 6 is an example of a data table showing data managed by the server 20 , and FIG. 7 is a display in the portable terminal 10 . This is an example of an image that becomes

도시된 바와 같이 본 발명에 따른 조립체(1)의 외관 검사 방법은 휴대용 단말기(10)로부터 조립체(1)의 영상을 획득하는 단계(S100), 휴대용 단말기(10)가 서버(20)로 촬영데이터를 전송하는 단계(S200), 서버(20)가 촬영영역(3)을 판단하는 단계(S300), 서버(20)가 촬영영역(3)이 해당하는 검사영역(2)을 판단하는 단계(S400), 검사영역(2)에 대한 이미지(100)를 저장하는 단계(S500), 서버(20)가 검사영역(2)의 검사 완료 여부를 휴대용 단말기(10)에 전송하는 단계(S600) 및 휴대용 단말기(10)에서 촬영영역(3)에 대하여 검사 완료 항목을 시현하는 단계(S700)를 포함하여 구성될 수 있다.As shown, the method of inspecting the appearance of the assembly 1 according to the present invention includes the steps of obtaining an image of the assembly 1 from the portable terminal 10 (S100), and the portable terminal 10 sends the captured data to the server 20 (S200), the server 20 determining the photographing area 3 (S300), the server 20 determining the examination area 2 corresponding to the photographing area 3 (S400) ), the step of storing the image 100 for the examination area 2 (S500), the server 20 transmitting whether the examination of the examination area 2 is completed to the portable terminal 10 (S600) and the portable terminal 10 The terminal 10 may be configured to include a step (S700) of displaying the inspection completion item with respect to the photographing area 3 .

휴대용 단말기(10)로부터 조립체(1)의 영상을 획득하는 단계(S100)는 사용자가 조립체(1)의 외관 검사를 위하여 소지하고 있는 휴대용 단말기(10)로 조립체(1)의 영상을 획득하는 단계에 해당한다. 도 3을 참조하면, 사용자는 육안으로 조립체(1)의 필수 검사 부분을 먼저 확인하고 휴대용 단말기(10)로 조립체(1)의 영상을 획득할 수 있다. 조립체(1)의 영상은 조립체(1) 전체를 촬영하거나, 조립체(1)의 일부를 촬영하여 이루어 질 수 있다. 조립체(1)에는 여러 지점의 검사영역(2)이 지정되며, 검사자는 검사영역(2)이 순서에 따라 촬영할 필요 없이 검사영역(2)을 하나씩 촬영하여 영상을 획득하게 된다.The step of obtaining an image of the assembly 1 from the portable terminal 10 (S100) is a step of obtaining an image of the assembly 1 with the portable terminal 10 possessed by the user for the external inspection of the assembly 1 corresponds to Referring to FIG. 3 , a user may first check an essential inspection part of the assembly 1 with the naked eye and acquire an image of the assembly 1 with the portable terminal 10 . The image of the assembly (1) may be made by photographing the entire assembly (1) or by photographing a part of the assembly (1). In the assembly 1, inspection areas 2 of several points are designated, and the inspector acquires an image by photographing the inspection areas 2 one by one without the need to photograph the inspection areas 2 in order.

한편, 본 단계에서는 전술한 바와 같이 조립체(1)의 이미지(100)와 거리정보(200)를 포함한 촬영데이터를 획득할 수 있다. 거리정보(200)는 TOF 카메라의 기능을 이용하여 카메라로부터 각 지점에 대한 거리를 포함할 수 있다. 따라서 2D 이미지(100)에 대한 정보와 3D 정보를 동시에 획득할 수 있게 된다.Meanwhile, in this step, as described above, it is possible to acquire photographing data including the image 100 and distance information 200 of the assembly 1 . The distance information 200 may include a distance from the camera to each point using a function of the TOF camera. Accordingly, information about the 2D image 100 and 3D information can be simultaneously acquired.

휴대용 단말기(10)가 서버(20)로 촬영데이터를 전송하는 단계(S200)는 사용자가 조립체(1)의 적어도 일부에 대한 영상을 촬영하면 휴대용 단말기(10)가 촬영 데이터를 서버(20)로 전송하는 단계에 해당한다. 본 단계는 휴대용 단말기(10)가 서버(20)와 무선통신으로 촬영 데이터를 전송할 수 있으며, WIFI, Bluetooth 등의 널리 사용되는 원거리 또는 근거리 무선 통신방법이 적용될 수 있다. In the step (S200) of the portable terminal 10 transmitting the photographing data to the server 20, the portable terminal 10 transmits the photographing data to the server 20 when the user captures an image of at least a part of the assembly 1 It corresponds to the transmission stage. In this step, the portable terminal 10 may transmit the photographed data through wireless communication with the server 20, and widely used long-distance or short-range wireless communication methods such as WIFI and Bluetooth may be applied.

서버(20)가 촬영영역(3)을 판단하는 단계(S300)는 서버(20)로 전송된 촬영이미지(100)를 분석하여 사용자가 촬영한 부분이 조립체(1)의 어떠한 부분인지를 판단하는 단계에 해당한다.The step (S300) of the server 20 determining the photographing area 3 is to analyze the photographed image 100 transmitted to the server 20 to determine which part of the assembly 1 the user has photographed. corresponds to the stage.

서버(20)는 조립체(1)의 외관 검사에 대한 방법을 수행하기 전 사용자로부터 조립체(1)에 대한 3D 모델링 데이터가 입력될 수 있다. 조립체(1)의 3D 모델링 데이터가 입력된 경우 외관에 대한 3D 좌표가 포함될 수 있다. The server 20 may input 3D modeling data for the assembly 1 from a user before performing the method for inspecting the appearance of the assembly 1 . When 3D modeling data of the assembly 1 is input, 3D coordinates for the appearance may be included.

서버(20)는 촬영 데이터에 포함된 거리정보(200)를 이용하여 3D 모델링 상에서 매칭되는 검사영역(2)을 판단하도록 구성된다. 도 4를 참조하면, 사용자가 촬영한 조립체(1)의 일 부분, 즉 촬영영역(3)에 대한 이미지(100)(도 4(a))와 거리정보(200)(도 4(b))를 근거로 어떠한 검사영역(2)에 해당하는지를 판단하게 된다. 서버(20)는 도 4(b)에 나타난 거리정보(200)를 근거로 조립체(1) 부분의 3D모델의 일부를 재구성할 수 있으며, 또한 조립체(1)와 카메라의 상대적인 위치를 판단할 수 있게 된다.The server 20 is configured to determine the matching inspection area 2 on the 3D modeling by using the distance information 200 included in the photographing data. 4, the image 100 (Fig. 4(a)) and distance information 200 (Fig. 4(b)) for a portion of the assembly 1 photographed by the user, that is, the photographing area 3 It is determined on the basis of which inspection area (2) it corresponds to. The server 20 may reconstruct a part of the 3D model of the part of the assembly 1 based on the distance information 200 shown in FIG. 4(b), and also determine the relative position of the assembly 1 and the camera. there will be

이후 서버(20)가 촬영영역(3)이 해당하는 검사영역(2)을 판단하는 단계(S400)가 수행될 수 있다. 도 5를 참조하면, 서버(20)는 조립체(1)의 3D 모델링과 촬영데이터로부터 획득된 부분 3D 모델의 일부를 매칭시켜 어떠한 검사영역(2)인지를 판단하게 된다. 한편, 촬영영역(3)이 조립체(1)의 검사영역(2) 중 어느 하나의 검사영역(2)에 해당하는지가 판단된 이후 추가로 서버(20)는 어떠한 위치에서 촬영했는지 여부를 판단할 수 있다. 즉 거리정보(200)에 의해 3D 모델의 일부가 매칭이 되더라도 촬영하는 각도에 따라 조립체(1) 중 촬영 데이터에 포함되지 않는 사각지역이 발생할 수 있다. 따라서 서버(20)는 적절하지 않는 각도로 조립체(1)를 촬영했는지 여부를 판단하게 된다.Thereafter, the server 20 determines the inspection area 2 to which the imaging area 3 corresponds ( S400 ) may be performed. Referring to FIG. 5 , the server 20 determines which inspection area 2 is by matching a part of the 3D modeling of the assembly 1 and the partial 3D model obtained from the photographing data. On the other hand, after it is determined whether the photographing area 3 corresponds to any one of the examination areas 2 of the assembly 1, the server 20 additionally determines whether the photographing was taken at any position. can That is, even if a part of the 3D model is matched by the distance information 200 , a blind area in the assembly 1 that is not included in the photographing data may occur depending on the photographing angle. Accordingly, the server 20 determines whether the assembly 1 is photographed at an inappropriate angle.

검사영역(2)에 대한 이미지(100)를 저장하는 단계(S500)는 각 검사영역(2)에 매칭되는 이미지(100)를 저장하는 단계에 해당한다. 도 6을 참조하면, 서버(20)는 수신된 촬영데이터를 근거로 각각의 검사 위치에 대하여 검사 완료되었는지 여부를 저장하며, 각각의 판단된 검사 위치에 촬영영역(3)의 이미지(100)를 저장하게 된다. 이때, 사용자는 검사영역(2)별로 순차적으로 검사를 수행하지 않을 수 있기 때문에 일 예로서 검사영역 3 및 검사영역 5에 대한 검사가 완료된 예가 도시되어 있다. 즉 사용자가 임의적으로 어떠한 검사영역을 촬영하는 경우 서버(20)에서 이를 판단하여 각각이 검사영역에 대한 검사여부를 판단하고 저장할 수 있다.The step of storing the image 100 for the examination area 2 ( S500 ) corresponds to the step of storing the image 100 matching each examination area 2 . Referring to FIG. 6 , the server 20 stores whether the inspection is completed for each inspection location based on the received imaging data, and displays the image 100 of the imaging area 3 at each determined inspection position. will be saved At this time, since the user may not sequentially perform the examination for each examination area 2 , an example in which the examination of the examination area 3 and the examination area 5 is completed is shown as an example. That is, when the user arbitrarily shoots a certain inspection area, the server 20 may determine whether the inspection area is inspected or not, and store it.

서버(20)가 검사영역(2)의 검사 완료 여부를 휴대용 단말기(10)에 전송하는 단계(S600)는 촬영영역(3)을 근거로 촬영된 부분이 어떠한 검사영역(2)인지를 판단한 결과를 휴대용 단말기(10)로 전송하는 단계에 해당한다. 본 단계는 전술한 휴대용 단말기(10)가 서버(20)로 촬영 데이터를 전송하는 단계와 마찬가지로 무선통신을 이용하여 수행될 수 있다.The step (S600) of the server 20 transmitting whether the inspection of the inspection area 2 is completed to the portable terminal 10 is a result of determining which inspection area 2 the photographed part is based on the photographing area 3 corresponds to the step of transmitting to the portable terminal (10). This step may be performed using wireless communication as in the step of transmitting the photographed data to the server 20 by the above-described portable terminal 10 .

휴대용 단말기(10)에서 촬영영역(3)에 대하여 검사 완료 항목을 시현하는 단계(S700)는 사용자가 현재의 검사 현황을 파악할 수 있도록 수행된다. 휴대용 단말기(10)에서는 조립체(1)의 3D 모델링을 간략화하여 도시하며, 각각의 검사영역(2)에 대한 검사 여부를 확인할 수 있도록 구성된다. 도 7을 참조하면, 휴대용 단말기(10) 상에서 조립체(1)를 사용자가 인지할 수 있도록 간소화된 조립체(310)가 도시될 수 있다. 또한 각각의 검사영역(2)을 사용자가 인지할 수 있도록 검사영역(2)을 표시하는 심볼(320)이 시현되며, 각각의 검사영역(2)이 검사 여부가 확인될 수 있도록 촬영영역(3)에 대한 이미지(100)가 함께 시현될 수 있다.The step (S700) of displaying the inspection completion item for the photographing area 3 in the portable terminal 10 is performed so that the user can grasp the current inspection status. The portable terminal 10 shows a simplified 3D modeling of the assembly 1 and is configured to check whether each inspection area 2 is inspected. Referring to FIG. 7 , a simplified assembly 310 may be shown so that a user can recognize the assembly 1 on the portable terminal 10 . In addition, a symbol 320 indicating the examination area 2 is displayed so that the user can recognize each examination area 2 , and the imaging area 3 so that each examination area 2 can be checked. The image 100 for ) may be displayed together.

도 8 및 도 9는 본 발명에 따른 조립체의 외관 검사 방법의 다른 사용 상태도이다.8 and 9 are diagrams of another use of the method for inspecting the appearance of an assembly according to the present invention.

도 8을 참조하면, 검사의 대상이 되는 조립체는 다양한 형상을 가질수 있다. 일 예로 항공기의 조립체(1)로서 프레임상에 부품이 연결될 수 있다. 본 실시예에서도 사용자는 미리 서버에 조립체의 3D 모델링 데이터를 입력하며, 휴대용 디바이스(10)를 통하여 외관 검사를 수행할 수 있다. Referring to FIG. 8 , an assembly to be inspected may have various shapes. For example, as an assembly 1 of an aircraft, parts may be connected on a frame. Also in this embodiment, the user may input 3D modeling data of the assembly to the server in advance, and may perform an appearance inspection through the portable device 10 .

도 9를 참조하면 휴대용 디바이스(10)로 촬영하여 촬영영역(3)에 대한 이미지 및 거리 정보를 획득할 수 있다.Referring to FIG. 9 , an image and distance information for the photographing area 3 may be obtained by photographing with the portable device 10 .

도 9(a)는 휴대용 디바이스(10)를 이용하여 획득한 촬영영역(3)에 대한 이미지이며 도 9(b)는 촬영영역(3)의 거리정보를 도시한 도면이다. 서버는 휴대용 디바이스(10)가 획득한 촬영데이터를 수신하며, 거리정보를 근거로 촬영영역과 매칭되는 검사영역을 판단하게 된다. 서버가 촬영된 검사영역을 판단하면 해당 검사 영역에 대하여 이미지를 저장하고 휴대용 디바이스로 전송하게 된다. 이후 휴대용 디바이스에서는 촬영된 검사 영역에 대하여 사용자가 직관적으로 검사여부를 인식할 수 있도록 촬영데이터에 포함된 이미지를 시현할 수 있다.FIG. 9(a) is an image of the photographing area 3 acquired using the portable device 10, and FIG. 9(b) is a diagram illustrating distance information of the photographing area 3 . The server receives the photographing data obtained by the portable device 10, and determines an inspection area matching the photographing area based on the distance information. When the server determines the photographed examination area, the image is stored for the examination area and transmitted to the portable device. Thereafter, the portable device may display an image included in the photographed data so that the user can intuitively recognize whether to inspect the photographed examination area.

이상에서 설명한 바와 같이 본 발명에 따른 조립체의 외관 검사 방법은 사용자가 정해진 순서에 따라 외관 검사를 수행할 필요 없이 임의의 순서로 검사영역을 촬영하더라도 촬영된 부분이 어떠한 검사 영역인지를 판단하고 이를 시현할 수 있으므로 사용자의 검사 편의성이 향상될 수 있다. 또한 현재 검사 진행 상태를 사용자가 직관적으로 파악할 수 있으므로 휴먼에러를 최소화 하여 검사 정확도를 향상시킬 수 있는 효과가 있다.As described above, in the method for inspecting the appearance of an assembly according to the present invention, even if the inspection region is photographed in an arbitrary order without the user having to perform an appearance inspection in a predetermined order, it is determined which inspection region the photographed part is and displays it. Therefore, the user's inspection convenience can be improved. In addition, since the user can intuitively grasp the current inspection progress, there is an effect of improving inspection accuracy by minimizing human errors.

1: 조립체
2: 검사영역
3: 촬영영역
10: 휴대용 단말기
20: 서버
100: 이미지
200: 거리정보
310: 간소화된 조립체
320: 심볼
S100: 휴대용 단말기로부터 조립체의 영상을 획득하는 단계
S200: 휴대용 단말기가 서버로 촬영데이터를 전송하는 단계
S300: 서버가 촬영영역을 판단하는 단계
S400: 서버가 촬영영역이 해당하는 검사영역을 판단하는 단계
S500: 검사영역에 대한 이미지를 저장하는 단계
S600: 서버가 검사영역의 검사 완료 여부를 휴대용 단말기에 전송하는 단계
S700: 휴대용 단말기에서 촬영영역에 대하여 검사 완료 항목을 시현하는 단계1: assembly
2: Inspection area
3: shooting area
10: portable terminal
20: server
100: image
200: distance information
310: simplified assembly
320: symbol
S100: acquiring an image of the assembly from the portable terminal
S200: Step of transmitting the shooting data to the server by the portable terminal
S300: Step of determining the shooting area by the server
S400: step of the server determining the inspection area corresponding to the photographing area
S500: Step of saving the image for the inspection area
S600: the step of the server transmitting whether the inspection of the inspection area is completed to the portable terminal
S700: Step of displaying the inspection completion item for the photographing area in the portable terminal

Claims (6)

휴대용 단말기로부터 조립체의 적어도 일부를 촬영하여 촬영데이터를 획득하는 단계;
상기 휴대용 단말기가 서버로 상기 촬영테이터를 전송하는 단계;
상기 서버가 상기 촬영데이터로부터 촬영된 상기 조립체의 촬영영역을 판단하는 단계;
상기 서버가 판단된 상기 촬영영역을 상기 휴대용 단말기로 전송하는 단계; 및
상기 휴대용 단말기에서 상기 촬영영역에 대하여 검사 완료 항목을 시현하는 단계를 포함하는 조립체의 외관 검사 방법.acquiring photographing data by photographing at least a portion of the assembly from the portable terminal;
transmitting, by the portable terminal, the photographing data to a server;
determining, by the server, a photographing area of the assembly photographed from the photographing data;
transmitting, by the server, the determined photographing area to the portable terminal; and
Appearance inspection method of the assembly comprising the step of displaying the inspection completion item with respect to the photographing area in the portable terminal. 제1 항에 있어서,
상기 휴대용 단말기는,
TOF(Time of Flight) 카메라를 포함하여 구성되며,
이미지 및 거리정보를 포함한 촬영데이터를 획득하도록 구성되는 것을 특징으로 하는 조립체의 외관 검사 방법.According to claim 1,
The portable terminal is
Consists of including a Time of Flight (TOF) camera,
Appearance inspection method of an assembly, characterized in that it is configured to acquire photographing data including images and distance information. 제1 항에 있어서,
상기 서버는,
상기 조립체의 복수의 검사영역에 대한 정보를 포함하며,
상기 휴대용 단말기로부터 전송된 상기 촬영데이터 중 거리정보를 근거로 상기 촬영영역이 상기 조립체 중 어떤 부분인지를 판단하며,
상기 검사영역 중 상기 촬영영역과 매칭되는 검사영역을 판단하며,
상기 매칭 검사영역에 따라 상기 이미지를 저장하는 것을 특징으로 하는 조립체의 외관 검사 방법.According to claim 1,
The server is
Includes information on a plurality of inspection areas of the assembly,
Determining which part of the assembly is the photographing area based on distance information among the photographing data transmitted from the portable terminal,
determining an inspection region matching the imaging region among the inspection regions;
Appearance inspection method of an assembly, characterized in that storing the image according to the matching inspection area. 제3 항에 있어서,
상기 조립체의 복수의 검사영역에 대한 정보는,
상기 조립체의 3D 모델링 데이터로부터 기 설정된 적어도 하나의 영역인 것을 특징으로 하는 조립체의 외관 검사 방법.4. The method of claim 3,
Information about the plurality of inspection areas of the assembly,
Appearance inspection method of an assembly, characterized in that at least one area preset from the 3D modeling data of the assembly. 제4 항에 있어서,
상기 서버는,
상기 휴대용 단말기에서 사용자의 입력에 따라 어느 하나의 검사영역에 따른 이미지 전송 요청을 수신하는 경우 상기 어느 하나의 검사영역에 매칭되는 저장된 이미지를 상기 휴대용 단말기로 전송하는 것을 특징으로 하는 조립체의 외관 검사 방법.5. The method of claim 4,
The server is
Appearance inspection method of an assembly, characterized in that when the portable terminal receives an image transmission request according to any one inspection area according to a user's input, a stored image matching the one inspection area is transmitted to the portable terminal . 제2 항에 있어서,
상기 휴대용 단말기는 스마트 폰 또는 태블릿 PC 인 것을 특징으로 하는 조립체의 외관 검사 방법.3. The method of claim 2,
The portable terminal is an assembly appearance inspection method, characterized in that the smart phone or tablet PC.
KR1020200032565A 2020-03-17 2020-03-17 Method for inspecting appearance of assembly KR20210115994A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200032565A KR20210115994A (en) 2020-03-17 2020-03-17 Method for inspecting appearance of assembly

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200032565A KR20210115994A (en) 2020-03-17 2020-03-17 Method for inspecting appearance of assembly

Publications (1)

Publication Number Publication Date
KR20210115994A true KR20210115994A (en) 2021-09-27

Family

ID=77925784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200032565A KR20210115994A (en) 2020-03-17 2020-03-17 Method for inspecting appearance of assembly

Country Status (1)

Country Link
KR (1) KR20210115994A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100623634B1 (en) 2003-09-22 2006-09-13 김형윤 Methods for monitoring structural health conditions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100623634B1 (en) 2003-09-22 2006-09-13 김형윤 Methods for monitoring structural health conditions

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
TWI528019B (en) System and method for estimating three-dimensional packaging size of an object
US9482515B2 (en) Stereoscopic measurement system and method
US20150276379A1 (en) 3D object size estimation system for object wrapping and method thereof
US9454822B2 (en) Stereoscopic measurement system and method
US20110228052A1 (en) Three-dimensional measurement apparatus and method
US9449378B2 (en) System and method for processing stereoscopic vehicle information
US10440217B2 (en) Apparatus and method for processing three dimensional image
JP6502511B2 (en) Calculation device, control method of calculation device, and calculation program
US9286506B2 (en) Stereoscopic measurement system and method
EP2310799B1 (en) Stereoscopic measurement system and method
KR20150046693A (en) Apparatus and method for vehicle damages management using augmented reality
CN111354088B (en) Environment map building method and system
KR20210115994A (en) Method for inspecting appearance of assembly
JP7179439B2 (en) Information processing device, information processing method and program
EP2283314B1 (en) Stereoscopic measurement system and method
KR102458559B1 (en) Construction management system and method using mobile electric device
TWI637353B (en) Measurement device and measurement method
KR101954711B1 (en) Modification Method Of Building Image
CA2828598C (en) Stereoscopic measurement system and method
CN109872368B (en) Image processing method, device and test system
JP7399632B2 (en) Photography processing device and photography processing method
CN115564628A (en) Apparatus and method for updating learning model for image inspection
JP2013156909A (en) Shape model generation device and pre-and-post work corresponding image determination system
AU2013292286A1 (en) System and method for processing stereoscopic vehicle information

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination