KR101206290B1 - Quality test equipment using fabric pattern algorithm and method for controlling thereof - Google Patents

Quality test equipment using fabric pattern algorithm and method for controlling thereof Download PDF

Info

Publication number
KR101206290B1
KR101206290B1 KR1020120069071A KR20120069071A KR101206290B1 KR 101206290 B1 KR101206290 B1 KR 101206290B1 KR 1020120069071 A KR1020120069071 A KR 1020120069071A KR 20120069071 A KR20120069071 A KR 20120069071A KR 101206290 B1 KR101206290 B1 KR 101206290B1
Authority
KR
South Korea
Prior art keywords
image
unit
technique
reference image
fabric
Prior art date
Application number
KR1020120069071A
Other languages
Korean (ko)
Inventor
윤영일
Original Assignee
주식회사 넥스파시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스파시스템 filed Critical 주식회사 넥스파시스템
Priority to KR1020120069071A priority Critical patent/KR101206290B1/en
Application granted granted Critical
Publication of KR101206290B1 publication Critical patent/KR101206290B1/en

Links

Images

Classifications

    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06HMARKING, INSPECTING, SEAMING OR SEVERING TEXTILE MATERIALS
    • D06H3/00Inspecting textile materials
    • D06H3/08Inspecting textile materials by photo-electric or television means
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06HMARKING, INSPECTING, SEAMING OR SEVERING TEXTILE MATERIALS
    • D06H2201/00Inspecting textile materials
    • D06H2201/10Inspecting textile materials by means of television equipment

Abstract

PURPOSE: A product quality testing apparatus through fabric pattern algorithm and a method for controlling the same are provided to integrate an intelligent learning process, a line scan camera, and a dedicated controller and to ensure uniform and high product quality. CONSTITUTION: A product quality testing apparatus comprises: a user input part for inputting a standard image; a scan camera for serially acquiring a first image for one or more objects; and a control unit which determines damage of the objects using the standard image and first image according to the preset algorithm. The scan camera comprises a plurality of cameras. The control unit controls operation timing of the plurality of cameras and a synchronous light. [Reference numerals] (AA) Camera; (BB) LED lighting device

Description

직물패턴 알고리즘 적용을 통한 품질검사 장치 및 그 제어방법{QUALITY TEST EQUIPMENT USING FABRIC PATTERN ALGORITHM AND METHOD FOR CONTROLLING THEREOF}QUALITY TEST EQUIPMENT USING FABRIC PATTERN ALGORITHM AND METHOD FOR CONTROLLING THEREOF

본 발명은 직물패턴 알고리즘 적용을 통한 품질검사 장치 및 그 제어방법에 관한 것이다.The present invention relates to a quality inspection apparatus and its control method by applying the fabric pattern algorithm.

섬유산업은 원료물질에서 방사 및 가공, 제직 및 편직, 염색 가공, 디자인, 봉제 및 마케팅으로 이어지는 단위 주체가 구분되어 있어 상호 긴밀한 교류를 통해 부가가치를 창출하는 멀티 서플라이 체인(Multi-supply Chain)의 구조를 갖고 있다.The textile industry is divided into units from raw materials to spinning and processing, weaving and knitting, dyeing processing, design, sewing and marketing, so that the structure of a multi-supply chain creates added value through close exchange. Have

또한, 국내의 생산비용 증가로 인해, 섬유 산업 관련 가격 경쟁력은 경쟁국 대비 한계점에 도달해 있어 차별화 요소 즉, 제품의 고급화가 요구되고 있다. 품질문제는 각 생산단계 모두에서 발생될 수 있지만 그 중에서도 원자재의 품질은 최종완제품의 경쟁력에 가장 큰 영향을 끼치게 되므로 완제품의 고품질 확보를 위해서 중간 원자재 생산단계인 직/편물의 생산과 염색가공단계에서의 품질관리가 매우 중요하다.In addition, due to the increase in domestic production costs, the price competitiveness of the textile industry has reached a limit compared to competitors, and thus, differentiation factors, that is, quality of products are required. Quality problems can occur at every stage of production, but the quality of raw materials will have the greatest influence on the competitiveness of the final product. Therefore, in order to secure high quality of finished products, in the production and dyeing process Quality control is very important.

그러나, 대부분의 품질평가는 품질검사원의 숙련도에 의지하고 있고, 육안검사 등의 관능검사에 그치고 있어 균일한 품질 평가 달성에 어려움을 겪고 있으며, 숙련된 검사원의 확보가 어렵다는 문제점이 있어 개선 방안이 요구되는 실정이다.However, most of the quality evaluations are dependent on the quality inspectors' proficiency, and they are limited to sensory inspections such as visual inspections, which makes it difficult to achieve uniform quality evaluations. It is a situation.

또한, 육안(관능)검사의 문제점을 해결하기 위해 각 단위주체는 자동화 검사장치를 검토하고 있으나 국내외 시스템을 막론하고, 고가의 독립형 검사장치로 구성되어 있어 관련 산업계의 도입 및 확산이 어렵다는 문제점도 존재하므로, 이를 해결하기 위한 개선 방안이 요구되는 실정이다.In addition, in order to solve the problem of visual (sensation) inspection, each unit examines the automated inspection device, but there is a problem that it is difficult to introduce and spread the related industry because it is composed of expensive independent inspection devices regardless of domestic and foreign systems. Therefore, the situation is required to improve the solution to solve this.

본 발명은 기존 설비에 적용이 용이하도록 부가(Add-on)형의 품질검사 시스템을 설계함으로써 도입 비용이 낮아진 품질검사 시스템을 제공하기 위한 것이다. The present invention is to provide a quality inspection system with a low introduction cost by designing an add-on quality inspection system to be easily applied to existing equipment.

또한, 본 발명은 인텔리전트 러닝 프로세스(Intelligent Learning Process)를 통합한 품질검사 시스템을 통해 사용자 편의성을 극대화하기 위한 것이다. In addition, the present invention is to maximize user convenience through a quality inspection system integrating an intelligent learning process (Intelligent Learning Process).

또한, 본 발명은 인텔리전트 러닝 프로세스(Intelligent Learning Process), 라인스캔카메라 및 전용 컨트롤러(controller)를 통합 함으로써, 품질관리의 균일성 및 용이성을 사용자에게 제공하기 위한 것이다.In addition, the present invention is to provide a user with uniformity and ease of quality control by integrating an intelligent learning process, a line scan camera and a dedicated controller.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.

상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 품질 검사 장치는 기준 영상을 입력받기 위한 사용자 입력부, 적어도 하나의 객체에 대한 제 1 영상을 연속하여 획득하기 위한 스캔 카메라와 기 설정된 알고리즘에 따라 상기 기준 영상 및 제 1 영상을 이용하여 상기 적어도 하나의 객체에 손상이 있는지 여부를 판단하는 제어부를 포함하되, 상기 기준 영상과 상기 제 1 영상을 비교한 결과가 기 설정된 범위를 초과하는 경우, 상기 제어부는 상기 제 1 영상이 상기 기준 영상으로 변경되어 설정되도록 제어할 수 있다.According to an aspect of the present invention, there is provided a quality inspection apparatus according to an embodiment of the present invention. The apparatus may include a user input unit for receiving a reference image, a scan camera for continuously acquiring a first image of at least one object, and a preset algorithm. And a controller configured to determine whether there is damage to the at least one object by using a reference image and a first image. When a result of comparing the reference image with the first image exceeds a preset range, the controller The controller may control the first image to be changed and set as the reference image.

또한, 상기 스캔 카메라는 복수의 카메라를 포함하고, 상기 복수의 카메라 각각의 상기 제 1 영상을 취득하는 것을 지원하기 위한 동기식 조명을 더 포함하며, 상기 제어부는 상기의 복수의 카메라 및 동기식 조명의 동작 타이밍(timing)을 제어할 수 있다.In addition, the scan camera includes a plurality of cameras, and further includes a synchronous lighting for supporting the acquisition of the first image of each of the plurality of cameras, the control unit is the operation of the plurality of cameras and synchronous lighting Timing can be controlled.

또한, 상기 기 설정된 알고리즘은 상기 기준 영상 및 제 1 영상에 포함된 소정 영역의 밝기 변화를 이용하고, 상기 기 설정된 알고리즘은 프랙탈 차원 기법, 임계지 이진화 기법, 블록 평균화 기법 및 형태학적 연산(morphological operations) 기법 중 적어도 하나를 포함할 수 있다.In addition, the preset algorithm uses a brightness change of a predetermined region included in the reference image and the first image, and the preset algorithm is a fractal dimensional technique, a threshold binarization technique, a block averaging technique, and morphological operations. ) At least one of the techniques.

또한, 상기 기 설정된 알고리즘은 상기 기준 영상 및 제 1 영상에 포함된 소정 영역의 주파수 변화를 이용하고, 상기 기 설정된 알고리즘은 이진 퓨리에 변환 기법, 국부 퓨리에 변환 기법 및 가버 필터 마스크 기법 중 적어도 하나를 포함할 수 있다.The preset algorithm uses a frequency change of a predetermined region included in the reference image and the first image, and the preset algorithm includes at least one of a binary Fourier transform technique, a local Fourier transform technique, and a Gabor filter mask technique. can do.

또한, 상기 제어부는 상기 제 1 영상을 회색조(gray) 영상으로 변환하고, 상기 변환된 회색조 영상과 상기 기준 영상을 화소(pixel) 단위로 비교하여, 상기 적어도 하나의 객체에 손상이 있는지 여부를 판단할 수 있다.The controller may convert the first image into a grayscale image and compare the converted grayscale image with the reference image in pixel units to determine whether the at least one object is damaged. can do.

또한, 메모리를 더 포함하고, 상기 적어도 하나의 객체에 손상이 있는 경우, 상기 제어부는 상기 손상 관련 정보를 화소(pixel) 단위로 검출하고, 상기 화소 단위로 검출된 정보를 선(line) 단위로 계산하며, 상기 선 단위로 저장된 정보가 상기 메모리에 계속적으로 저장되도록 제어할 수 있다.The controller may further include a memory, and when the at least one object is damaged, the controller detects the damage related information in pixel units, and detects the information detected in pixel units in line units. The calculation may be performed such that the information stored in the line unit is continuously stored in the memory.

또한, 상기 제어부는 상기 메모리에 계속적으로 저장된 복수의 선 단위 정보를 조합하여 영역(area) 단위 정보를 추출할 수 있다.The controller may extract area unit information by combining a plurality of line unit information continuously stored in the memory.

또한, 디스플레이부를 더 포함하고, 상기 제어부는 상기 영역 단위 정보가 상기 디스플레이부의 소정 영역에 표시되도록 제어할 수 있다.The display apparatus may further include a display unit, and the controller may control the area unit information to be displayed on a predetermined region of the display unit.

또한, 무선 통신부를 더 포함하고, 상기 제어부는 상기 사용자 입력부를 통해 지정된 외부 기기로 상기 영역 단위 정보가 상기 무선 통신부를 통해 전송되도록 제어할 수 있다.The apparatus may further include a wireless communication unit, and the controller may control the area unit information to be transmitted through the wireless communication unit to an external device designated through the user input unit.

한편, 상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 품질 검사 장치의 제어방법은 기준 영상을 입력 받는 단계, 적어도 하나의 객체에 대한 제 1 영상을 연속하여 획득하는 단계, 기 설정된 알고리즘에 따라 상기 기준 영상 및 제 1 영상을 이용하여 상기 적어도 하나의 객체에 손상이 있는지 여부를 판단하는 단계와 상기 기준 영상과 상기 제 1 영상을 비교한 결과가 기 설정된 범위를 초과하는 경우, 상기 제 1 영상이 상기 기준 영상으로 변경되어 설정되도록 제어하는 단계를 포함할 수 있다.On the other hand, the control method of the quality inspection apparatus according to an embodiment of the present invention for realizing the above-mentioned problem is a step of receiving a reference image, continuously obtaining a first image for at least one object, according to a predetermined algorithm Determining whether the at least one object is damaged by using the reference image and the first image, and when a result of comparing the reference image with the first image exceeds a preset range, the first image The method may include controlling to change the reference image to be set.

또한, 상기 기 설정된 알고리즘은 상기 기준 영상 및 제 1 영상에 포함된 소정 영역의 밝기 변화를 이용하고, 상기 기 설정된 알고리즘은 프랙탈 차원 기법, 임계지 이진화 기법, 블록 평균화 기법 및 형태학적 연산(morphological operations) 기법 중 적어도 하나를 포함할 수 있다.In addition, the preset algorithm uses a brightness change of a predetermined region included in the reference image and the first image, and the preset algorithm is a fractal dimensional technique, a threshold binarization technique, a block averaging technique, and morphological operations. ) At least one of the techniques.

또한, 상기 기 설정된 알고리즘은 상기 기준 영상 및 제 1 영상에 포함된 소정 영역의 주파수 변화를 이용하고, 상기 기 설정된 알고리즘은 이진 퓨리에 변환 기법, 국부 퓨리에 변환 기법 및 가버 필터 마스크 기법 중 적어도 하나를 포함할 수 있다.The preset algorithm uses a frequency change of a predetermined region included in the reference image and the first image, and the preset algorithm includes at least one of a binary Fourier transform technique, a local Fourier transform technique, and a Gabor filter mask technique. can do.

또한, 상기 적어도 하나의 객체에 손상이 있는지 여부를 판단하는 단계는, 상기 제 1 영상을 회색조(gray) 영상으로 변환하고, 상기 변환된 회색조 영상과 상기 기준 영상을 화소(pixel) 단위로 비교하는 방법을 이용할 수 있다.The determining of whether the at least one object is damaged may include converting the first image into a grayscale image and comparing the converted grayscale image with the reference image in pixel units. Method can be used.

또한, 상기 적어도 하나의 객체에 손상이 있는 경우, 상기 손상 관련 정보를 화소(pixel) 단위로 검출하는 단계, 상기 화소 단위로 검출된 정보를 선(line) 단위로 계산하는 단계와 상기 선 단위로 저장된 정보가 메모리에 계속적으로 저장되도록 제어하는 단계를 더 포함할 수 있다.In addition, when the at least one object is damaged, detecting the damage-related information in the pixel unit, calculating the information detected in the pixel unit in the line unit and in the line unit The method may further include controlling the stored information to be continuously stored in the memory.

또한, 상기 메모리에 계속적으로 저장된 복수의 선 단위 정보를 조합하여 영역(area) 단위 정보를 추출하는 단계를 더 포함할 수 있다.The method may further include extracting area unit information by combining a plurality of line unit information continuously stored in the memory.

상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 품질검사 장치는 기존 설비에 적용이 용이하도록 부가(Add-on)형으로 설계됨으로써 도입 비용을 낮출 수 있다는 효과가 보장된다.The quality inspection apparatus according to at least one embodiment of the present invention configured as described above is designed in an add-on type so as to be easily applied to an existing facility, thereby ensuring the effect of lowering the introduction cost.

또한, 본 발명의 적어도 하나의 실시예에 관련된 품질검사 장치는 인텔리전트 러닝 프로세스(Intelligent Learning Process), 라인스캔카메라 및 전용 컨트롤러(controller)를 통합함으로써, 균일하고 용이한 품질 관리를 사용자에게 제공할 수 있다는 효과가 있다.In addition, the quality inspection apparatus according to at least one embodiment of the present invention may provide a user with uniform and easy quality control by integrating an intelligent learning process, a line scan camera, and a dedicated controller. There is an effect.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtained by the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those skilled in the art from the following description will be.

도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예에 관련된 이동 단말기의 전면 사시도이다.
도 3은 본 발명과 관련하여 직물 패턴 매칭(matching)의 흐름을 나타내는 블록 구성도(block diagram)이다.
도 4는 본 발명의 일 실시예와 관련된 카메라 구조도의 일례를 나타내는 도면이다.
도 5는 본 발명과 관련하여, 라인스캔 카메라 및 검사전용 컨트롤러가 일체화된 하드웨어의 동작의 일례를 나타내는 블록 구성도(block diagram)이다.
도 6은 본 발명의 일 실시예와 관련된 라인스캔 카메라의 일례를 나타내는 도면이다.
도 7은 본 발명과 관련하여, 직물의 불량유형의 일례를 나타내는 도면이다.
도 8은 본 발명의 직물 손상 검출 방법 중 소벨 연산자를 이용한 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 직물 손상 검출 방법 중 평균값 필터를 이용한 방법을 설명하기 위한 도면이다.
도 10은 본 발명과 관련하여 에지 검출에 의한 직물 손상 검출 결과의 일례를 나타내는 도면이다.
도 11은 본 발명과 관련하여, 형태학적 연산에 의한 직물 손상 검출 결과의 일례를 나타내는 도면이다.
도 12는 본 발명과 관련하여, 형태학적 연산에 의한 직물 손상 검출 결과의 다른 일례를 나타내는 도면이다.
도 13은 본 발명과 관련하여, 평균값 필터에 의한 직물 손상 검출 결과의 일례를 나타내는 도면이다.
도 14는 본 발명과 관련하여, 평균값 필터에 의한 직물 손상 검출 결과의 다른 일례를 나타내는 도면이다.
도 15는 본 발명과 관련하여, 손상이 없는 직물 영상의 주파수 특성과 관련된 일례를 나타내는 도면이다.
도 16은 본 발명과 관련하여, 손상이 있는 직물 영상의 주파수 특성과 관련된 일례를 나타내는 도면이다.
도 17은 본 발명과 관련하여, 가버 필터를 이용한 직물 손상 검출 결과의 일례를 나타내는 도면이다.
도 18은 본 발명의 일 실시예에 따른 직물 검사 기법 흐름의 일례를 나타내는 도면이다.
도 19는 본 발명의 일 실시예에 따른 손상 영역 연결 및 생성의 과정과 관련된 일례를 나타내는 도면이다.
도 20은 본 발명의 일 실시예에 따른 직물패턴 알고리즘 적용을 통한 품질검사 장치의 일례를 도시한 도면이다.
1 is a block diagram of a mobile terminal according to an embodiment of the present invention.
2 is a front perspective view of a mobile terminal according to an embodiment of the present invention.
3 is a block diagram showing the flow of fabric pattern matching in connection with the present invention.
4 is a diagram illustrating an example of a camera structure diagram according to an embodiment of the present invention.
FIG. 5 is a block diagram showing an example of operation of hardware in which a line scan camera and an inspection-only controller are integrated in accordance with the present invention.
6 is a diagram illustrating an example of a line scan camera according to an embodiment of the present invention.
7 is a view showing an example of the type of failure of fabric in connection with the present invention.
8 is a view for explaining a method using a Sobel operator of the fabric damage detection method of the present invention.
9 is a view for explaining a method using an average filter of the fabric damage detection method of the present invention.
Fig. 10 is a diagram showing an example of fabric damage detection results by edge detection in connection with the present invention.
11 is a view showing an example of the fabric damage detection results by morphological calculations in connection with the present invention.
12 is a view showing another example of the fabric damage detection result by the morphological calculation in connection with the present invention.
It is a figure which shows an example of the fabric damage detection result by an average value filter with respect to this invention.
It is a figure which shows another example of the fabric damage detection result by an average value filter with respect to this invention.
15 is a view showing an example relating to the frequency characteristics of an intact textile image in relation to the present invention.
16 is a view showing an example relating to the frequency characteristics of a damaged textile image in connection with the present invention.
It is a figure which shows an example of the fabric damage detection result using a Gabor filter with respect to this invention.
18 is a diagram illustrating an example of a fabric inspection technique flow in accordance with an embodiment of the present invention.
19 is a diagram illustrating an example related to a process of connecting and creating a damaged area according to an embodiment of the present invention.
20 is a view showing an example of a quality inspection apparatus by applying a fabric pattern algorithm according to an embodiment of the present invention.

이하에서는 본 발명의 구체적인 설명에 앞서 본 발명에 적용될 수 있는 영상표시 장치에 대해 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Hereinafter, the image display apparatus applicable to the present invention will be described in more detail with reference to the accompanying drawings. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.

본 명세서에서 설명되는 영상표시 장치는 이동 단말기인 것으로 가정한다. 이러한 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 매체 재생기 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.It is assumed that the image display device described herein is a mobile terminal. The mobile terminal may include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), navigation, and the like. However, it will be readily apparent to those skilled in the art that the configuration according to the embodiments described herein may also be applied to fixed terminals such as digital TVs, desktop computers, digital media players, etc., except when applicable only to mobile terminals. will be.

전체구성Overall configuration

도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.1 is a block diagram of a mobile terminal according to an embodiment of the present invention.

상기 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.The mobile terminal 100 includes a wireless communication unit 110, an audio / video input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, a memory 160, A controller 170, a controller 180, a power supply 190, and the like. The components shown in FIG. 1 are not essential, and a mobile terminal having more or fewer components may be implemented.

이하, 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in order.

무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.The wireless communication unit 110 may include one or more modules for enabling wireless communication between the mobile terminal 100 and the wireless communication system or between the mobile terminal 100 and the network in which the mobile terminal 100 is located. For example, the wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 112, a wireless Internet module 113, a short range communication module 114, and a location information module 115 .

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. The broadcast receiving module 111 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.

상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다. The broadcast channel may include a satellite channel and a terrestrial channel. The broadcast management server may refer to a server for generating and transmitting broadcast signals and / or broadcast related information, or a server for receiving broadcast signals and / or broadcast related information generated by the broadcast management server and transmitting the generated broadcast signals and / or broadcast related information. The broadcast signal may include a TV broadcast signal, a radio broadcast signal, a data broadcast signal, and a broadcast signal in which a data broadcast signal is combined with a TV broadcast signal or a radio broadcast signal.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.The broadcast-related information may refer to a broadcast channel, a broadcast program, or information related to a broadcast service provider. The broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 112.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.The broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).

상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.The broadcast receiving module 111 may include, for example, Digital Multimedia Broadcasting-Terrestrial (DMB-T), Digital Multimedia Broadcasting-Satellite (DMB-S), Media Forward Link Only (MediaFLO), and Digital Video Broadcast (DVB-H). Digital broadcast signals can be received using digital broadcasting systems such as Handheld and Integrated Services Digital Broadcast-Terrestrial (ISDB-T). Of course, the broadcast receiving module 111 may be adapted to other broadcasting systems as well as the digital broadcasting system described above.

방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.The broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 160.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The mobile communication module 112 transmits and receives radio signals to at least one of a base station, an external terminal, and a server on a mobile communication network. The wireless signal may include various types of data depending on a voice call signal, a video call signal or a text / multimedia message transmission / reception.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. The wireless Internet module 113 is a module for wireless Internet access, and may be built in or externally attached to the mobile terminal 100. Wireless Internet technologies may include Wireless LAN (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), and the like.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.The short range communication module 114 refers to a module for short range communication. Bluetooth, Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), ZigBee, and the like can be used as a short range communication technology.

위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.The position information module 115 is a module for obtaining the position of the mobile terminal, and a representative example thereof is a Global Position System (GPS) module.

도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.Referring to FIG. 1, an A / V (Audio / Video) input unit 120 is for inputting an audio signal or a video signal, and may include a camera 121 and a microphone 122. The camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the photographing mode. The processed image frame can be displayed on the display unit 151. [

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera 121 may be stored in the memory 160 or transmitted to the outside through the wireless communication unit 110. [ Two or more cameras 121 may be provided depending on the use environment.

마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.The microphone 122 receives an external sound signal through a microphone in a communication mode, a recording mode, a voice recognition mode, or the like, and processes it as electrical voice data. The processed voice data can be converted into a form that can be transmitted to the mobile communication base station through the mobile communication module 112 when the voice data is in the call mode, and output. Various noise reduction algorithms may be implemented in the microphone 122 to remove noise generated in receiving an external sound signal.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. The user input unit 130 generates input data for a user to control the operation of the terminal. The user input unit 130 may include a key pad dome switch, a touch pad (static pressure / capacitance), a jog wheel, a jog switch, and the like.

센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다. The sensing unit 140 senses the current state of the mobile terminal 100 such as the open / close state of the mobile terminal 100, the position of the mobile terminal 100, the presence or absence of user contact, the orientation of the mobile terminal, And generates a sensing signal for controlling the operation of the mobile terminal 100. For example, when the mobile terminal 100 is in the form of a slide phone, it may sense whether the slide phone is opened or closed. In addition, whether the power supply unit 190 is supplied with power, whether the interface unit 170 is coupled to the external device may be sensed. The sensing unit 140 may include a proximity sensor 141.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 햅틱 모듈(154) 및 프로젝터 모듈(155) 등이 포함될 수 있다.The output unit 150 is for generating an output relating to visual, auditory or tactile sense and includes a display unit 151, an acoustic output module 152, an alarm unit 153, a haptic module 154, 155, and the like.

디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. The display unit 151 displays (outputs) information processed by the mobile terminal 100. For example, when the mobile terminal is in the call mode, a UI (User Interface) or a GUI (Graphic User Interface) associated with a call is displayed. When the mobile terminal 100 is in the video communication mode or the photographing mode, the photographed and / or received video or UI and GUI are displayed.

디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. The display unit 151 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible). and at least one of a 3D display.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.Some of these displays may be transparent or light transmissive so that they can be seen through. This can be referred to as a transparent display, and a typical example of the transparent display is TOLED (Transparent OLED) and the like. The rear structure of the display unit 151 may also be of a light transmission type. With this structure, the user can see an object located behind the terminal body through the area occupied by the display unit 151 of the terminal body.

이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다. There may be two or more display units 151 according to the embodiment of the mobile terminal 100. For example, in the mobile terminal 100, a plurality of display portions may be spaced apart from one another, or may be disposed integrally with one another, and may be disposed on different surfaces, respectively.

디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.When the display unit 151 and a sensor for detecting a touch operation (hereinafter, referred to as a touch sensor) form a mutual layer structure (hereinafter referred to as a touch screen), the display unit 151 may be configured in addition to an output device. Can also be used as an input device. The touch sensor may have the form of, for example, a touch film, a touch sheet, a touch pad, or the like.

터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. The touch sensor may be configured to convert a change in a pressure applied to a specific portion of the display unit 151 or a capacitance generated in a specific portion of the display unit 151 into an electrical input signal. The touch sensor can be configured to detect not only the position and area to be touched but also the pressure at the time of touch.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.If there is a touch input to the touch sensor, the corresponding signal (s) is sent to the touch controller. The touch controller processes the signal (s) and transmits the corresponding data to the controller 180. As a result, the controller 180 can know which area of the display unit 151 is touched.

상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다. The proximity sensor 141 may be disposed in an inner region of the mobile terminal or in the vicinity of the touch screen, which is enclosed by the touch screen. The proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or a nearby object without mechanical contact using the force of an electromagnetic field or infrared rays. The proximity sensor has a longer life span than the contact sensor and its utilization is also high.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.Examples of the proximity sensor include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. And to detect the proximity of the pointer by the change of the electric field along the proximity of the pointer when the touch screen is electrostatic. In this case, the touch screen (touch sensor) may be classified as a proximity sensor.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.Hereinafter, for convenience of explanation, the act of allowing the pointer to be recognized without being in contact with the touch screen so that the pointer is located on the touch screen is referred to as a "proximity touch", and the touch The act of actually touching the pointer on the screen is called "contact touch." The position where the pointer is proximately touched on the touch screen means a position where the pointer is vertically corresponding to the touch screen when the pointer is touched.

상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다. The proximity sensor detects a proximity touch and a proximity touch pattern (e.g., a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, a proximity touch movement state, and the like). Information corresponding to the detected proximity touch operation and the proximity touch pattern may be output on the touch screen.

음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The sound output module 152 may output audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like. The sound output module 152 also outputs sound signals related to functions (e.g., call signal reception sound, message reception sound, etc.) performed in the mobile terminal 100. [ The audio output module 152 may include a receiver, a speaker, a buzzer, and the like.

알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.The alarm unit 153 outputs a signal for notifying the occurrence of an event of the mobile terminal 100. Examples of events that occur in the mobile terminal include call signal reception, message reception, key signal input, touch input, and the like. The alarm unit 153 may output a signal for notifying the occurrence of an event in a form other than the video signal or the audio signal, for example, vibration. The video signal or the audio signal may be output through the display unit 151 or the audio output module 152 so that they may be classified as a part of the alarm unit 153.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. The haptic module 154 generates various tactile effects that the user can feel. Vibration is a representative example of the haptic effect generated by the haptic module 154. The intensity and pattern of vibration generated by the haptic module 154 can be controlled. For example, different vibrations may be synthesized and output or sequentially output.

햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다. In addition to vibration, the haptic module 154 may be configured to provide a pin array that vertically moves with respect to the contact skin surface, a jetting force or suction force of air through an injection or inlet port, grazing to the skin surface, contact of an electrode, electrostatic force, and the like. Various tactile effects can be generated, such as effects by the endothermic and the reproduction of a sense of cold using the elements capable of endotherm or heat generation.

햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 휴대 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.The haptic module 154 can be implemented not only to transmit the tactile effect through the direct contact but also to allow the user to feel the tactile effect through the muscular sensation of the finger or arm. The haptic module 154 may include two or more haptic modules 154 according to the configuration of the portable terminal 100.

프로젝터 모듈(155)은, 이동 단말기(100)를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어 신호에 따라 디스플레이부(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.The projector module 155 is a component for performing an image project function using the mobile terminal 100 and is similar to the image displayed on the display unit 151 in accordance with a control signal of the controller 180 Or at least partly display another image on an external screen or wall.

구체적으로, 프로젝터 모듈(155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.Specifically, the projector module 155 includes a light source (not shown) that generates light (for example, laser light) for outputting an image to the outside, a light source And a lens (not shown) for enlarging and outputting the image at a predetermined focal distance to the outside. Further, the projector module 155 may include a device (not shown) capable of mechanically moving the lens or the entire module to adjust the image projection direction.

프로젝터 모듈(155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(151)의 소형화에 유리할 수 있다.The projector module 155 can be divided into a CRT (Cathode Ray Tube) module, an LCD (Liquid Crystal Display) module and a DLP (Digital Light Processing) module according to the type of the display means. In particular, the DLP module may be advantageous for miniaturization of the projector module 151 by enlarging and projecting an image generated by reflecting light generated from a light source on a DMD (Digital Micromirror Device) chip.

바람직하게, 프로젝터 모듈(155)은, 이동 단말기(100)의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(155)은, 필요에 따라 이동 단말기(100)의 어느 위치에라도 구비될 수 있음은 당연하다.Preferably, the projector module 155 may be provided longitudinally on the side, front or back side of the mobile terminal 100. It goes without saying that the projector module 155 may be provided at any position of the mobile terminal 100 as occasion demands.

메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도)도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The memory unit 160 may store a program for processing and controlling the control unit 180 and temporarily store the input / output data (e.g., telephone directory, message, audio, For example. The memory unit 160 may also store the frequency of use of each of the data (for example, each telephone number, each message, and frequency of use for each multimedia). In addition, the memory unit 160 may store data on vibration and sound of various patterns output when the touch is input on the touch screen.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.The memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), a RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM A disk, and / or an optical disk. The mobile terminal 100 may operate in association with a web storage that performs a storage function of the memory 160 on the Internet.

인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다. The interface unit 170 serves as a path for communication with all external devices connected to the mobile terminal 100. The interface unit 170 receives data from an external device or supplies power to each component in the mobile terminal 100 or transmits data to the external device. For example, a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, a port for connecting a device having an identification module, an audio I / O port, A video input / output (I / O) port, an earphone port, and the like may be included in the interface unit 170.

식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다. The identification module is a chip for storing various information for authenticating the use right of the mobile terminal 100 and includes a user identification module (UIM), a subscriber identity module (SIM), a general user authentication module A Universal Subscriber Identity Module (USIM), and the like. Devices with identification modules (hereinafter referred to as "identification devices") can be manufactured in a smart card format. Accordingly, the identification device can be connected to the terminal 100 through the port.

상기 인터페이스부는 이동단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.The interface unit may be a passage through which power from the cradle is supplied to the mobile terminal 100 when the mobile terminal 100 is connected to an external cradle, or various command signals input from the cradle by a user may be transferred. It may be a passage that is delivered to the terminal. The various command signals or the power source input from the cradle may be operated as a signal for recognizing that the mobile terminal is correctly mounted on the cradle.

제어부(controller, 180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.The controller 180 typically controls the overall operation of the mobile terminal. For example, voice communication, data communication, video communication, and the like. The control unit 180 may include a multimedia module 181 for multimedia playback. The multimedia module 181 may be implemented in the control unit 180 or may be implemented separately from the control unit 180. [

상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. The controller 180 may perform a pattern recognition process for recognizing handwriting input or drawing input performed on the touch screen as characters and images, respectively.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.The various embodiments described herein may be embodied in a recording medium readable by a computer or similar device using, for example, software, hardware, or a combination thereof.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.According to a hardware implementation, the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. The described embodiments may be implemented by the controller 180 itself.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.According to the software implementation, embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more of the functions and operations described herein. Software code can be implemented in a software application written in a suitable programming language. The software code is stored in the memory 160 and can be executed by the control unit 180. [

기구 설명Organization description

도 2는 본 발명과 관련된 이동 단말기 또는 휴대 단말기의 일 예를 전면에서 바라본 사시도이다.FIG. 2 is a perspective view of a mobile terminal or a portable terminal according to the present invention, as viewed from the front.

개시된 휴대 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고, 2 이상의 바디들이 상대 이동 가능하게 결합되는 슬라이드 타입, 폴더 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용이 가능하다. The disclosed mobile terminal 100 has a bar-shaped terminal body. However, the present invention is not limited thereto, and can be applied to various structures such as a slide type, a folder type, a swing type, and a swivel type in which two or more bodies are relatively movably coupled.

바디는 외관을 이루는 케이스(케이싱, 하우징, 커버 등)를 포함한다. 본 실시예에서, 케이스는 프론트 케이스(101)와 리어 케이스(102)로 구분될 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 사이에 형성된 공간에는 각종 전자부품들이 내장된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 중간 케이스가 추가로 배치될 수도 있다.The body includes a case (a casing, a housing, a cover, and the like) which forms an appearance. In this embodiment, the case may be divided into a front case 101 and a rear case 102. [ A variety of electronic components are embedded in the space formed between the front case 101 and the rear case 102. At least one intermediate case may be additionally disposed between the front case 101 and the rear case 102. [

케이스들은 합성수지를 사출하여 형성되거나 금속 재질, 예를 들어 스테인레스 스틸(STS) 또는 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.The cases may be formed by injecting synthetic resin or may be formed of a metal material, for example, a metal material such as stainless steel (STS) or titanium (Ti).

단말기 바디, 주로 프론트 케이스(101)에는 디스플레이부(151), 음향출력부(152), 카메라(121), 사용자 입력부(130/131,132), 마이크(122), 인터페이스(170) 등이 배치될 수 있다.The display unit 151, the audio output unit 152, the camera 121, the user input units 130/131 and 132, the microphone 122, and the interface 170 may be disposed in the terminal body, mainly the front case 101. have.

디스플레이부(151)는 프론트 케이스(101)의 주면의 대부분을 차지한다. 디스플레이부(151)의 양단부 중 일 단부에 인접한 영역에는 음향출력부(151)와 카메라(121)가 배치되고, 다른 단부에 인접한 영역에는 사용자 입력부(131)와 마이크(122)가 배치된다. 사용자 입력부(132)와 인터페이스(170) 등은 프론트 케이스(101) 및 리어 케이스(102)의 측면들에 배치될 수 있다.The display unit 151 occupies most of the main surface of the front case 101. A sound output unit 151 and a camera 121 are disposed in an area adjacent to one end of both ends of the display unit 151 and a user input unit 131 and a microphone 122 are disposed in an area adjacent to the other end. The user input unit 132 and the interface 170 may be disposed on the side surfaces of the front case 101 and the rear case 102. [

사용자 입력부(130)는 휴대 단말기(100)의 동작을 제어하기 위한 명령을 입력받기 위해 조작되는 것으로서, 복수의 조작 유닛들(131,132)을 포함할 수 있다. 조작 유닛들(131,132)은 조작부(manipulating portion)로도 통칭 될 수 있으며, 사용자가 촉각 적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.The user input unit 130 is operated to receive a command for controlling the operation of the portable terminal 100 and may include a plurality of operation units 131 and 132. The manipulation units 131 and 132 may also be collectively referred to as manipulating portions, and may be employed in any manner as long as the user operates the tactile manner with a tactile feeling.

제1 또는 제2조작 유닛들(131, 132)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작 유닛(131)은 시작, 종료, 스크롤 등과 같은 명령을 입력받고, 제2 조작 유닛(132)은 음향출력부(152)에서 출력되는 음향의 크기 조절 또는 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력받을 수 있다.The contents inputted by the first or second operation unit 131 or 132 may be variously set. For example, the first operation unit 131 receives commands such as start, end, scroll, and the like, and the second operation unit 132 controls the size of the sound output from the sound output unit 152 or the size of the sound output from the display unit 151 To the touch recognition mode of the touch screen.

한편, 섬유산업은 원료물질에서 방사 및 가공, 제직 및 편직, 염색 가공, 디자인, 봉제 및 마케팅으로 이어지는 단위 주체가 구분되어 있어 상호 긴밀한 교류를 통해 부가가치를 창출하는 멀티 서플라이 체인(Multi-supply Chain)의 구조를 갖고 있다.On the other hand, the textile industry is divided into raw materials from spinning and processing, weaving and knitting, dyeing processing, design, sewing and marketing, so that multi-supply chains create added value through close exchange. Has the structure of.

또한, 국내의 생산비용 증가로 인해, 섬유 산업 관련 가격 경쟁력은 경쟁국 대비 한계점에 도달해 있어 차별화 요소 즉, 제품의 고급화가 요구되고, 이는 품질이 보장되는 시스템을 통해서만 달성될 수 있는 것이다.In addition, due to the increase in domestic production costs, the price competitiveness of the textile industry has reached a limit compared to competitors, which requires differentiation, that is, quality of products, which can only be achieved through a system that guarantees quality.

품질문제는 각 생산단계 모두에서 발생될 수 있지만 그 중에서도 원자재의 품질은 최종완제품의 경쟁력에 가장 큰 영향을 끼치게 되므로 완제품의 고품질 확보를 위해서 중간 원자재 생산단계인 직/편물의 생산과 염색가공단계에서의 품질관리가 매우 중요하다.Quality problems can occur at every stage of production, but the quality of raw materials will have the greatest influence on the competitiveness of the final product. Therefore, in order to secure high quality of finished products, in the production and dyeing process Quality control is very important.

그러나, 대부분의 단위 생산현장은 품질검사원의 숙련도에 의지하고 있고, 육안검사 등의 관능검사에 그치고 있어 균일한 품질 달성에 어려움을 겪고 있으며, 숙련된 검사원의 확보가 어렵다는 문제점이 있어 개선 방안이 요구되는 실정이다.However, most of the unit production sites rely on the quality inspectors' proficiency, they are only sensory inspections such as visual inspections, which makes it difficult to achieve uniform quality, and it is difficult to secure skilled inspectors. It is a situation.

또한, 육안(관능)검사의 문제점을 해결하기 위해 각 단위주체는 자동화 검사장치를 검토하고 있으나 국내외 시스템을 막론하고, 고가의 독립형 검사장치로 구성되어 있어 관련 산업계의 도입 및 확산이 어렵다는 문제점도 존재한다.In addition, in order to solve the problem of visual (sensation) inspection, each unit examines the automated inspection device, but there is a problem that it is difficult to introduce and spread the related industry because it is composed of expensive independent inspection devices regardless of domestic and foreign systems. do.

관능검사가 적용된 품질 검사 결과와 자동화 시스템이 적용된 품질 검사 결과와 관련된 일례를 다음의 표 1에 구체적으로 나타내었다.An example related to the quality test result to which the sensory test is applied and the quality test result to which the automation system is applied is shown in Table 1 below.

Figure 112012051233089-pat00001
Figure 112012051233089-pat00001

표 1을 참조하면, 자동화 시스템이 적용된 품질 검사 결과는 관능검사가 적용된 품질 검사 결과보다 월등한 효과를 보이는 것을 확인할 수 있다.Referring to Table 1, it can be seen that the quality test results applied with the automation system are superior to the quality test results applied with the sensory test.

그러나 전술한 것과 같이, 현재 자동화 시스템에 적용되어 이용되는 것은 독립형 검사장치로, 이러한 독립형 검사장치는 생산설비와는 별도로 운영되므로 도입비용의 과다에도 불구하고 ①설비공간의 별도 확보에 따른 비용의 증가 ②공정 추가에 따른 운영요원 및 비용 증가 ③생산 공정과의 분리로 인한 품질피드백 시간 소요로 인한 품질관리 효율저하 등을 유발할 수 있다는 문제점이 있다.However, as described above, it is currently applied to the automated system is used as a stand-alone inspection device, because the stand-alone inspection device is operated separately from the production equipment, despite the excessive cost of introduction ① ① increase in the cost of securing a separate facility space ② The increase of operating personnel and costs due to the addition of the process ③ There is a problem that the quality control efficiency can be reduced due to the time required for quality feedback due to separation from the production process.

따라서, 본 발명에서는 기존 생산설비에 부가하여 사용 가능한 부가(Add-on) 형태의 경제적인 제품개발을 제공하고, 상기 품질 검사 장치에 영상인식기술(S/W)과 일체형 영상센서컨트롤 시스템(H/W)를 통합하고, 조작편의성을 높인 인델리전스 러닝(Intelligent Learning) 프로세스를 활용한 UI(User Interface)를 적용함으로써, 전술한 문제점들을 해결하고, 당해 산업의 경쟁력 강화 및 신규시장을 창출하고자 한다.Accordingly, the present invention provides an economical product development in the form of add-on that can be used in addition to the existing production equipment, and the image inspection technology (S / W) and the integrated image sensor control system (H) in the quality inspection device. / W) to solve the above problems by integrating the user interface (UI) utilizing the intelligent learning process that has improved the convenience of operation, and to strengthen the competitiveness of the industry and create a new market. do.

단, 설명의 편의를 위해 본 발명은 섬유산업에 적용되는 것을 가정하여 기술하나, 본 발명의 내용이 이에 한정되는 것은 아니고, 롤 타입(Roll Type)의 생산제품의 검사, 원단 검사, 윤전기의 인쇄품질 검사, 매엽 인쇄기의 인쇄품질 검사, 필름 표면검사, 강판 품질검사, Roll Type의 연성 PCB 검사 등 다양한 분야에 적용될 수 있는 것은 자명하다.However, for convenience of description, the present invention is described assuming that it is applied to the textile industry, but the content of the present invention is not limited thereto, and inspection of a roll type product, fabric inspection, and printing of a web press It is obvious that it can be applied to various fields such as quality inspection, printing quality inspection of sheetfed printing machine, film surface inspection, steel plate quality inspection, and roll type flexible PCB inspection.

한편, 본 발명의 구체적인 설명에 앞서, 본 발명에 적용될 수 있는 용어를 선결적으로 설명한다.On the other hand, prior to the detailed description of the present invention, terms that can be applied to the present invention will be described in advance.

먼저, 인텔리전트 러닝 프로세스(Intelligent Learning Process)는 사전 정의된 품질 표준을 컴퓨터학습(Intelligent Learning)을 기반으로 습득하는 과정을 의미한다.First, the intelligent learning process refers to a process of acquiring a predefined quality standard based on computer learning.

일반적으로 작업과정을 교체하는 경우, 표준품을 컴퓨터에 새롭게 입력하고 그 기준에 맞추어 검사기준을 작업자가 설정하는 방법이 적용되는데, 이 경우 과정교체에 시간이 많이 소요되어 작업효율의 저하를 가져온다는 문제점이 있다.In general, when replacing a work process, a method of inputting a new standard product into a computer and setting an inspection standard according to the standard is applied. In this case, it takes a long time to replace the process, resulting in a decrease in work efficiency. There is this.

반면, 인텔리전트 러닝 프로세스(Intelligent Learning Process)가 적용되는 경우, 품질 정의 없이 시제품의 검사시스템 통과 시 표준품으로 설정하는 방법 등의 기준이 적용될 수 있으므로, 좀 더 용이하고 정확한 품질검사 기준이 적용될 수 있다는 장점이 있다.On the other hand, when the intelligent learning process is applied, a standard such as setting as a standard when passing the inspection system of a prototype without quality definition may be applied, so that an easier and accurate quality inspection standard may be applied. There is this.

다음으로, 픽셀(Pixel)은 디지털카메라의 화소(Picture Element)의 개수를 의미한다.Next, the pixel Pixel refers to the number of pixels of the digital camera.

또한, 인코더(Encoder)는 물체의 이송속도를 계산하기 위한 장치를 의미한다.In addition, an encoder means an apparatus for calculating a feed rate of an object.

다음으로, 부가(Add-on)형 장치는 기존의 생산설비에 부가하여 설치가 가능한 장치를 의미하는 것으로 공간적 효율과 일관작업으로 생산성 향상을 가져올 수 있다.Next, an add-on type device means a device that can be installed in addition to an existing production facility, which can bring productivity improvement with spatial efficiency and consistent work.

또한, 라인 스캔 카메라(Linescan Camera)는 Pixel의 구성이 1개의 Line으로 구성되어 영상을 취득하는 장치로 연속용지의 검사에 주로 사용되는 카메라를 의미한다.In addition, a line scan camera (Linescan Camera) is a device for acquiring an image is composed of one line of the pixel is a camera mainly used for the inspection of continuous paper.

이하에서는, 본 발명의 구체적인 내용을 설명한다.Hereinafter, the specific content of this invention is demonstrated.

본 발명은 고해상도 센서부 컨트롤 일체형 라인스캔 카메라를 포함하는 하드웨어적 구성요소와 고속데이터 처리 알고리즘 및 인텔리전트 러닝 프로세스(Intelligent Learning Process)의 소프트웨어적 구성 요소로 구성된다.The present invention consists of a hardware component including a high resolution sensor control integrated line scan camera, and a software component of a high speed data processing algorithm and an intelligent learning process.

구체적으로 본 발명에 적용되는 하드웨어는 품질검사 전용 Linescan Camera, Encoder 동기화 및 카메라를 제어하는 전용 컨트롤러 및 동기식 LED 조명부 등이 포함될 수 있다.Specifically, the hardware applied to the present invention may include a dedicated linescan camera for quality inspection, an encoder synchronization and a controller for controlling the camera, and a synchronous LED lighting unit.

대부분의 Roll Type 생산품의 경우, 고가의 외산 라인스캔 카메라에 의존하고 있고, 도입비용이 매우 높아 보급, 확산 어려우며, Area Camera는 연속제품의 품질검사에 적용할 수 없다는 문제점이 있으므로, 품질검사 전용 Linescan Camera, Encoder 동기화 및 카메라를 포함하는 일체형 라인스캔 카메라 하드웨어를 통해 이러한 문제점을 해결할 수 있다.Most roll-type products rely on expensive foreign line scan cameras, are very difficult to spread and spread due to high introduction costs, and area cameras cannot be applied to quality inspection of continuous products. All-in-one line-scan camera hardware, including Camera, Encoder Synchronization, and Camera, solves this problem.

또한, 본 발명에 적용되는 소프트웨어는 PLC(기존생산설비) 연동화프로세스, 직물패턴 분석 알고리즘을 이용한 품질검사 프로그램, Intelligent Learning Process 등이 포함될 수 있다.In addition, the software applied to the present invention may include a PLC (existing production facility) interlocking process, a quality inspection program using a fabric pattern analysis algorithm, an Intelligent Learning Process, and the like.

일반적으로, 초당 2미터의 속도로 폭 1.2미터의 제품생산이 이루어지고, 0.1㎜급의 불량을 검출하려면 약 144MB/초의 영상정보를 취득 및 분석하여 양불판정을 내려야 한다.In general, a 1.2-meter wide product is produced at a speed of 2 meters per second, and in order to detect a defect of 0.1 mm level, it is necessary to acquire and analyze about 144MB / second image information to make a positive judgment.

따라서 신속하게 이를 수행하기 위해 고속검사알고리즘을 OpenCL로 구현하여 멀티프로세싱을 하는 방법이 적용될 수 있다.Therefore, in order to do this quickly, multiprocessing can be applied by implementing the fast inspection algorithm in OpenCL.

기본적으로 허프변환(Hough Transform)과 프리변환(Free Transform)이 통합되어 연속, 반복패턴에서의 특이 주파수를 검색해낼 수 있다.Basically, Hough Transform and Free Transform are integrated to search for singular frequencies in continuous and repeating patterns.

또한, 다양한 원단의 특성을 취득하여 최적화된 알고리즘을 개발하여 충분한 데이터베이스를 확보할 수 있다.In addition, it is possible to secure a sufficient database by developing optimized algorithms by acquiring the characteristics of various fabrics.

또한, Intelligent Learning Process를 통합하여 사용자 편의성을 극대화함으로써, 생산성의 효율을 높이고 표준샘플과의 괴리도를 산정하여 작업변경을 인지하여 단순 확인 작업만으로도 과정교체를 용이하게 할 수도 있다.In addition, by maximizing user convenience by integrating the Intelligent Learning Process, it is possible to increase the efficiency of the productivity, calculate the deviation from the standard sample, and recognize the change of work, thereby facilitating the replacement of the process by simply checking.

결과적으로 다양한 알고리즘을 기존 생산설비에 부가형으로 적용함으로써 섬유기계와의 연동성을 높여 생산성을 제고할 수 있다는 장점이 보장된다.As a result, it is guaranteed that productivity can be improved by increasing interoperability with textile machinery by applying various algorithms to existing production facilities.

또한, 확보된 고속 검사알고리즘은 섬유 외 기타 산업에의 적용성을 높일 수 있고 경제성 있는 검사시스템의 보급 및 확산에 기여할 것으로 판단된다.In addition, the secured high-speed inspection algorithm is expected to increase the applicability to other industries besides textiles and contribute to the dissemination and diffusion of economical inspection systems.

도 3은 본 발명과 관련하여 직물 패턴 매칭(matching)의 흐름을 나타내는 블록 구성도(block diagram)이다.3 is a block diagram showing the flow of fabric pattern matching in connection with the present invention.

전술한 것과 같이, 본 발명은 섬유산업 이외에 Minor Modification을 통해 다양한 제조업에 활용될 수 있다. 예를 들어, 인쇄산업에 바로 적용될 수 있고, 최근 도입이 활발히 이뤄지고 있는 외국산 인쇄품질검사시스템의 대체에도 즉시 활용될 수 있다.As described above, the present invention can be utilized in various manufacturing industries through minor modification in addition to the textile industry. For example, it can be directly applied to the printing industry, and can be immediately used to replace foreign print quality inspection systems which are being actively introduced in recent years.

이하에서는, 본 발명에 적용될 수 있는 하드웨어 구성요소에 대해 구체적으로 설명한다.Hereinafter, hardware components that can be applied to the present invention will be described in detail.

본 발명에 적용되는 하드웨어는 라인스캔카메라, 동기식 LED 조명 및 검사전용 컨트롤러를 포함할 수 있다. 즉, 라인스캔카메라 및 검사전용 컨트롤러가 일체화된 하드웨어가 이용된다.Hardware applied to the present invention may include a line scan camera, synchronous LED lighting and inspection dedicated controller. In other words, hardware in which the line scan camera and the inspection controller are integrated is used.

도 4는 본 발명의 일 실시예와 관련된 카메라 구조도의 일례를 나타내는 도면이다. 4 is a diagram illustrating an example of a camera structure diagram according to an embodiment of the present invention.

또한, 도 5는 본 발명과 관련하여, 라인스캔 카메라 및 검사전용 컨트롤러가 일체화된 하드웨어의 동작의 일례를 나타내는 블록 구성도(block diagram)이다.5 is a block diagram showing an example of the operation of the hardware in which the line scan camera and the inspection controller are integrated in accordance with the present invention.

또한, 도 6은 본 발명의 일 실시예와 관련된 라인스캔 카메라의 일례를 나타내는 도면이다.6 is a view showing an example of a line scan camera according to an embodiment of the present invention.

이하에서는 도 4 내지 도 6을 참조하여, 본 발명에 적용되는 하드웨어에 대해 구체적으로 설명한다.Hereinafter, hardware applied to the present invention will be described in detail with reference to FIGS. 4 to 6.

먼저, 라인스캔 카메라(Linescan Camera)를 설명한다.First, a linescan camera will be described.

일반적으로, 검사대상 직물원단의 폭이 일반적으로 120㎝ 정도임을 고려하고 검출하고자 하는 불량대상의 크기가 0.1㎜급의 결함이라는 점을 고려할 때, 그 최소 픽셀수는 12,000픽셀(1,200㎜/0.1㎜)이 되므로 4K급 카메라를 3대 연결하여 하나의 시스템으로 구성할 수 있다.In general, considering that the width of the fabric to be inspected is generally about 120 cm and considering that the size of the defective object to be detected is a defect of class 0.1 mm, the minimum number of pixels is 12,000 pixels (1,200 mm / 0.1 mm). ), It can be configured as a system by connecting three 4K-class cameras.

다음으로, 동기식 LED조명이 함께 표현될 수 있다. 라인스캔 카메라는 그 특성상 생산라인(직조기 또는 검단기)의 속도 즉, 모터의 회전속도에 맞추어 영상취득을 하므로, 카메라에 동기화된 조명의 제어가 필요하고, 이를 수행하기 위한 컨트롤러를 영상센서 컨트롤러에 통합함으로써 재료비를 절감할 수 있다.Next, synchronous LED lighting can be expressed together. Since the line scan camera acquires the image according to the speed of the production line (weaving machine or the inspection machine), that is, the rotational speed of the motor, it is necessary to control the lighting synchronized with the camera. By integrating, material costs can be reduced.

또한, 검사전용 컨트롤러가 포함될 수 있다. 여기서 검사전용 컨트롤러는 검사프로그램의 모듈화와 카메라, 조명제어부, 엔코더 값의 계산 및 직조기(혹은 검단기)와의 Interface용 컨트롤러 등을 포함할 수 있다.In addition, an inspection only controller may be included. In this case, the inspection-only controller may include a module for inspection program, a camera, a lighting controller, an encoder value calculation, a controller for interface with a loom (or a detector), and the like.

하기의 표 2는 전술한 하드웨어에 적용될 수 있는 구성요소의 구체적인 사양을 정리한 것이다.Table 2 below summarizes the specific specifications of the components that can be applied to the hardware described above.

Figure 112012051233089-pat00002
Figure 112012051233089-pat00002

단, 표 2에 기술된 내용은 본 발명의 단순한 일례에 불과하고, 다른 형태의 하드웨어 사양도 적용될 수 있다는 사실은 자명하다.However, the contents described in Table 2 are merely examples of the present invention, and it is obvious that other types of hardware specifications may be applied.

다음으로, 본 발명에 적용될 수 있는 소프트웨어 구성요소에 대해 구체적으로 설명한다.Next, a software component applicable to the present invention will be described in detail.

본 발명에 적용될 수 있는 소프트웨어 구성요소는 고속 검사 알고리즘과 인텔리전트 러닝 프로세스(Intelligent Learning Process)가 포함될 수 있다.Software components that may be applied to the present invention may include a fast inspection algorithm and an intelligent learning process.

이하에서는, 본 발명에 적용되는 고속 검사 알고리즘과 관련하여, 대표적인 일 유형인 직물 검사 적용 알고리즘에 대해 이하 구체적으로 설명한다.In the following, with respect to the fast inspection algorithm applied to the present invention, a typical textile inspection application algorithm will be described in detail below.

직물의 손상 검출은 직물 생산의 효율을 높이는 매우 중요한 역할을 수행하고, 검사자(인간)에 의한 수동의 직물 검사에 비해, 컴퓨터비전을 이용한 자동화된 직물 검사는 검사의 정확도와 속도를 크게 향상할 수 있다. Fabric damage detection plays a very important role in increasing fabric production efficiency, and automated fabric inspection using computer vision can significantly improve the accuracy and speed of inspection compared to manual fabric inspection by inspectors (humans). have.

먼저, 일반적인 직물의 특성은 문양(pattern, 패턴)을 가지는 직물과 문양이 없는 직물로 분류될 수 있다. 문양을 가지는 직물은 대부분 모델 기반의 정합 기법으로 손상을 검출하므로, 범용적인 직물 검사 기법을 적용하기 힘들다. First, the characteristics of the general fabric may be classified into a fabric having a pattern and a patternless fabric. Most fabrics with glyphs are damaged by model-based registration techniques, making it difficult to apply general fabric inspection techniques.

따라서 대부분의 자동화된 직물 검사는 문양을 가지지 않는 단일 질감(uniform texture)의 직물을 이용한다.Therefore, most automated fabric inspections use a uniform texture of fabric.

직물 손상은 편성시 발생하는 결점과 제직 중에 발생하는 결점으로 구분할 수 있으며, 편성시 발생하는 결점의 유형은 아래와 같다. Fabric damage can be divided into defects occurring during knitting and defects occurring during weaving. The types of defects occurring during knitting are as follows.

(1) Barrie: 장력 변화 등의 이유로 정상 조직에 비해 느슨하여 편성 방향인 Course 방향의 가로줄 모양으로 나타나는 불량을 말한다.(1) Barrie: Refers to a defect appearing in the shape of a horizontal line in the course direction, which is looser than normal tissue due to tension change.

(2) Broken Needle: 편성 중 편침이 부러져 Wale 방향으로 편환이 형성되지 않아 세로줄 모양으로 발생된 불량을 말한다.(2) Broken Needle: It refers to a defect caused in the form of a vertical line because the knitting needle is broken during knitting and no circular ring is formed in the Wale direction.

(3) Fly: 편성 중 잡물이 날아 들어와 편환에 끼어 발생하는 불량을 말한다.(3) Fly: Mischief caused by flying of miscellaneous goods during knitting.

(4) Hole: 편성 중 편환이 국부적으로 형성되지 못하였거나 편성 후 외력에 의해 뜯김 등의 이유로 발생하는 불량을 말한다.(4) Hole: It refers to a defect that occurs due to the fact that the circular ring is not formed locally during knitting or that it is torn by external force after knitting.

(5) Thick Yarn: 원사의 두께가 정상부위에 비해 두꺼워 편성 후 가로 줄 모양으로 나타나는 불량을 말한다.(5) Thick Yarn: The thickness of the yarn is thicker than that of the normal part.

(6) Thin Yarn: 원사의 두께가 정상부위에 비해 가늘어 편성 후 가로 줄 모양으로 나타나는 불량을 말한다.(6) Thin Yarn: The thickness of the yarn is thinner than the normal part, and it is a defect that appears in the form of a horizontal line after knitting.

또한, 제직 중 발생하는 결점 유형은 아래와 같다.In addition, the types of defects that occur during weaving are as follows.

(1) Gout: 단섬유나 풍면의 덩어리가 실 또는 개구안으로 들어가 나타나는 결점으로 슬럽(Slub)은 일반적으로 대칭적인데 비하여 가우트는 미연신 럼프(Lump)처럼 투박한 덩어리로 되어 있는 결점 유형이다.(1) Gout: A defect in which lumps of short fiber or wind surface enter into a thread or opening. Slubs are generally symmetrical, whereas gouts are a type of defect that consists of a crude mass like an unstretched lump.

(2) Shed-splitting: 종광 설치가 적절치 못하여 많은 부사들이 나타나는 결점으로 이 결과로 위입이 개구를 흐트러지게 하여 직물의 조직 설계와 어긋나게 경사들이 위나 아래로 지나가게 되는 결점 유형이다.(2) Shed-splitting: A type of defect that results in inadequate seeding, resulting in many adverbs, resulting in upsets distracting the opening, causing the slopes to pass up or down to deviate from the tissue design of the fabric.

(3) Slack Warp: 규정된 장력보다 약하게 제직된 직물에 나타나는 결점으로 심하면 직물전면에 주름이나 주름살이 나타나도록 잡아당겨져 불완전한 직물을 나타내는 결점 유형이다.(3) Slack Warp: A type of defect that is inferior to a woven fabric that is weaker than the specified tension and, when severe, is pulled so that wrinkles or wrinkles appear on the front of the fabric, indicating an incomplete fabric.

(4) Warp Float: 경, 위사가 부분적으로 조직을 형성하지 못하고 경사가 부출되는 결점 유형이다.(4) Warp Float: A type of defect in which warp and weft yarns do not partially form tissues and incline.

(5) Dragging End: 경편성물에서 경사빔의 헝클어짐 등으로 인하여 불규칙하고 과도한 장력 때문에 경사방향으로 끌려지게 되는 결점 유형이다.(5) Dragging End: It is a type of defect that is pulled in the inclined direction because of irregular and excessive tension due to matting of warp beam in warp knitted fabric.

(6) Broken End: 경사가 끊어져서 나타나는 결점 유형이다.(6) Broken End: A defect type that appears when the slope is broken.

(7) Tight End: 인장된 상태에서 제직되어 이상한 광택을 나타내는 결점 유형이다.(7) Tight End: A type of defect that is woven in a tensioned state and exhibits unusual luster.

(8) Soiled End: 그리스나 먼지에 의해 오염된 경사 결점 유형이다.(8) Soiled End: A type of warp flaw contaminated by grease or dust.

(9) End Out: 경사가 빠져서 나타나는 결점유형이다.(9) End Out: It is a type of defect that appears when the slope is out.

(10) Slack End: 경사의 한 올 또는 여러 올이 규정된 장력보다 약하게 제직되어 직물전면에 주름이 지거나 줄이 나타나는 결점 유형이다.(10) Slack End: A type of defect in which one or more warps of the warp are woven weaker than the specified tension, resulting in wrinkles or streaks across the fabric.

도 7에서는 전술한 구체적인 직물의 불량유형의 대표적인 일례들을 도시하였다.7 illustrates representative examples of the types of failures of the specific fabric described above.

이하에서는, 전술한 복수의 직물 손상을 검출할 수 있는 구체적인 방법에 대해 설명한다.In the following, a specific method for detecting a plurality of fabric damages described above will be described.

제 1 직물 손상 검출 방법First fabric damage detection method

먼저, 국부 영역의 특성을 이용하는 직물 손상 검출 기법이 이용될 수 있다.First, a fabric damage detection technique using the properties of the localized region can be used.

직물의 손상된 부위는 밝기나 에지의 변화가 발생하므로, 이진화, 형태학적 연산(morphological operation), 또는 에지 검출에 의해 손상을 쉽게 검출할 수 있다. 이와 같이 국부 영역의 밝기 특성을 직접 이용하는 방법은 하기의 표 3에 기술된 것과 같은 특징들을 가지고 있다.Damaged areas of the fabric produce changes in brightness or edges, so damage can be easily detected by binarization, morphological operations, or edge detection. As such, the method of directly using the brightness characteristic of the local region has the characteristics as described in Table 3 below.

Figure 112012051233089-pat00003
Figure 112012051233089-pat00003

제 2 직물 손상 검출 방법Second fabric damage detection method

다음으로, 주파수 특성을 이용하는 직물 손상 검출 기법이 이용될 수 있다.Next, fabric damage detection techniques using frequency characteristics can be used.

즉, 손상된 부위의 국부적인 특성은 정상적인 부위의 국부적인 특성과 차이가 있으므로, 가버 필터(Gabor filter)나 주파수 변환(discrete Fourier transform, windowed FT, wavelet transform)등을 이용할 수 있으며, 이러한 주파수 특성을 이용하는 기법들의 특징은 하기의 표 4에 표시된 것과 같다.In other words, the local characteristics of the damaged part are different from those of the normal part, so Gabor filter or discrete Fourier transform, windowed FT, wavelet transform, etc. can be used. The characteristics of the techniques used are as shown in Table 4 below.

Figure 112012051233089-pat00004
Figure 112012051233089-pat00004

제 3 직물 손상 검출 방법Third fabric damage detection method

또한, 직물의 손상 검출을 위해 아래와 같은 다양한 영상 처리 기법들을 사용할 수 있다.In addition, various image processing techniques may be used to detect damage to the fabric.

(1) (One) 프랙탈Fractal 차원( Dimension( fractalfractal dimensiondimension )을 이용한 영상 처리 기법Image processing using

프택탈 기하학은 다른 크기(scale)에서도 자기 유사성을 보존하는 특징을 이용한 것이고, 자기 유사성을 정량적으로 표시한 것이 프랙탈 차원이다. Phental geometry uses features that preserve magnetic similarity at different scales, and the quantitative representation of magnetic similarity is the fractal dimension.

이와 같은 프랙탈 차원은 하기의 수학식 1과 같이 표현될 수 있다.This fractal dimension can be expressed as Equation 1 below.

Figure 112012051233089-pat00005
Figure 112012051233089-pat00005

수학식 1에서,

Figure 112012051233089-pat00006
은 각 단계에서 자기 유사성을 가지는 객체의 수이고,
Figure 112012051233089-pat00007
는 크기 요소를 나타낸다.In Equation 1,
Figure 112012051233089-pat00006
Is the number of objects with self-similarity at each level,
Figure 112012051233089-pat00007
Represents the size factor.

(2) 임계치 이진화((2) threshold binarization ( thresholdingthresholding )를 이용한 영상 처리 기법Image processing using

입력 영상

Figure 112012051233089-pat00008
에 대한 이진화는 밝기값의 임계치
Figure 112012051233089-pat00009
를 기준으로 두 가지 영역으로 구분하는 방법으로, 전경과 배경을 구분하거나 정상과 손상을 구분할 수 있다. Input image
Figure 112012051233089-pat00008
The binarization for is the threshold of the brightness value.
Figure 112012051233089-pat00009
By dividing the area into two areas, you can distinguish between foreground and background or normal and damage.

따라서 이진화된 영상

Figure 112012051233089-pat00010
는 하기의 수학식 2와 같이 나타낼 수 있다.Thus binarized image
Figure 112012051233089-pat00010
Can be expressed as in Equation 2 below.

Figure 112012051233089-pat00011
Figure 112012051233089-pat00011

또한, 손상 부분의 대비도가 정상의 질감 영역의 밝기값 대역과 많은 차이를 가진다면 하기의 수학식 3과 같이, 두 개의 임계치로 영역을 구분할 수도 있다. In addition, if the contrast of the damaged part has a large difference from the brightness value band of the normal texture area, the area may be divided into two threshold values as shown in Equation 3 below.

Figure 112012051233089-pat00012
Figure 112012051233089-pat00012

(3) 히스토그램 평활화((3) histogram smoothing histogramhistogram equalizationequalization )를 이용한 영상 처리 기법Image processing using

히스토그램 평활화는 밝기값으로 표현되는 도수 분포를 평활화하여 대비도를 향상하는 기법으로 전처리(preprocessing)과정에서 사용된다. Histogram smoothing is a technique that improves the contrast by smoothing the frequency distribution expressed by the brightness value and is used in the preprocessing process.

히스토그램 평활화에 의해서 원영상의 k번째 밝기값은 수학식 4에 표시된 것과 같이, 새로운 밝기값

Figure 112012051233089-pat00013
가 된다. By histogram smoothing, the k- th brightness value of the original image is changed to the new brightness value as shown in Equation 4.
Figure 112012051233089-pat00013
.

Figure 112012051233089-pat00014
Figure 112012051233089-pat00014

수학식 4에서,

Figure 112012051233089-pat00015
는 확률 분포 함수를 의미한다. In Equation 4,
Figure 112012051233089-pat00015
Denotes a probability distribution function.

(4) (4) 소벨Sobel 연산자( Operator( SobelSobel operatoroperator )를 이용한 영상 처리 기법Image processing using

이차원 영상에서 구배도(gradient)를 계산하는 방법으로 가장 널리 사용되는 기법이 소벨 연산자이다. 2차원 영상의 구배도는

Figure 112012051233089-pat00016
방향의 구배도와
Figure 112012051233089-pat00017
방향의 구배도의 성분으로 계산할 수 있으며, 소벨 연산자는 도 8에 도시된 것과 같은 컨볼루션 마스크(convolution mask)를 사용할 수 있다.Sobel operator is the most widely used technique to calculate gradient in two-dimensional images. The gradient of the 2D image is
Figure 112012051233089-pat00016
Gradient of direction
Figure 112012051233089-pat00017
It may be calculated as a component of the gradient of the direction, and the Sobel operator may use a convolution mask as shown in FIG. 8.

(5) 평균값 필터((5) Average filter meanmean filterfilter ) 를 이용한 영상 처리 기법Image Processing Using

평균값 필터는 일종의 저역 통과 필터(low pass filter, LPF)로서 주위의 평균 밝기값으로 변환하는 필터이다. 따라서 평균값 필터에 의해, 영상은 전체적으로 흐려지지만 변화량이 작은 질감의 직물 영상은 질감의 효과를 없앨 수 있다. 이와 같은 평균값 필터의 가장 단순한 형태는 도 9에 도시된 것과 같고,

Figure 112012051233089-pat00018
,
Figure 112012051233089-pat00019
등으로 확장하여 사용될 수도 있다. The average value filter is a low pass filter (LPF) that converts the average brightness value of the surroundings. Therefore, by the average filter, the image of the texture is blurred overall, but the texture image of the texture with a small change can eliminate the effect of the texture. The simplest form of such an average value filter is shown in Figure 9,
Figure 112012051233089-pat00018
,
Figure 112012051233089-pat00019
It may be extended to and the like.

(6) 중간값 필터((6) the median filter ( medianmedian filterfilter )를 이용한 영상 처리 기법Image processing using

중간값 필터는 이웃 화소값들 중에서 중간 순위의 밝기값을 선택하는 필터로서 평균값 필터에 비해 흐려지는 결과는 줄일 수 있다. The median filter is a filter that selects a brightness value having a middle rank among neighboring pixel values, and may reduce the blurring result compared to the average filter.

이와 같은 중간값 필터는 원영상의 잡음을 제거하거나, 손상 검출 결과에서 작은 잡음 영역을 제거하는데 사용할 수 있다.Such a median filter may be used to remove noise of the original image or to remove a small noise region from a damage detection result.

(7) (7) DCDC 노치Notch 필터( filter( DCDC notchnotch filterfilter )를 이용한 영상 처리 기법Image processing using

DC 노치 필터를 국부 영역의 DC 성분을 제거하는 필터로 하기의 수학식 5와 같이 계산될 수 있다.The DC notch filter may be calculated as shown in Equation 5 below as a filter for removing the DC component of the local region.

Figure 112012051233089-pat00020
Figure 112012051233089-pat00020

국부적인 조명 환경의 차이로 단일 임계치로 전체 영역을 이진화하기 어려운 경우, 전처리 과정으로 사용할 수 있다.If it is difficult to binarize an entire area with a single threshold due to differences in local lighting conditions, it can be used as a pretreatment process.

(8) 형태학적 연산((8) morphological operations ( morphologicalmorphological operationoperation )을 이용한 영상 처리 기법Image processing using

형태학적 처리는 구조적인 형태를 처리하는 방법으로 다양한 모양의 구조 요소(structuring element)에 의해 처리된다. 이러한 형태학적 처리는 하기의 수학식 6의 팽창(dilation)과 하기의 수학식 7의 침식(erosion) 연산을 기본적으로 사용할 수 있다.Morphological treatments are handled by structuring elements of various shapes in a manner that processes structural forms. Such morphological processing can basically use the expansion of Equation 6 and the erosion operation of Equation 7 below.

Figure 112012051233089-pat00021
Figure 112012051233089-pat00021

Figure 112012051233089-pat00022
Figure 112012051233089-pat00022

수학식 6 및 수학식 7에서 일반적으로

Figure 112012051233089-pat00023
는 입력 영상을 의미하고,
Figure 112012051233089-pat00024
는 구조 요소를 의미한다. 또한
Figure 112012051233089-pat00025
는 공집합을 의미하고,
Figure 112012051233089-pat00026
Figure 112012051233089-pat00027
의 반전이다.Generally in Equations 6 and 7
Figure 112012051233089-pat00023
Means input video,
Figure 112012051233089-pat00024
Means structural element. Also
Figure 112012051233089-pat00025
Means an empty set,
Figure 112012051233089-pat00026
The
Figure 112012051233089-pat00027
Is the reverse of.

또한, 팽창과 침식을 이용한 확장된 연산은 닫힘(closing)과 열림(opening)이고, 하기의 수학식 8 및 수학식 9와 같이 정의될 수 있다.In addition, an extended operation using expansion and erosion may be closing and opening, and may be defined as in Equations 8 and 9 below.

Figure 112012051233089-pat00028
Figure 112012051233089-pat00028

Figure 112012051233089-pat00029
Figure 112012051233089-pat00029

또한, 회색조 영상에 대한 팽창과 침식은 하기의 수학식 10 및 수학식 11과 같이 정의될 수 있다.In addition, expansion and erosion of the grayscale image may be defined as in Equations 10 and 11 below.

Figure 112012051233089-pat00030
Figure 112012051233089-pat00030

Figure 112012051233089-pat00031
Figure 112012051233089-pat00031

상기 수학식 10및 수학식 11은 2차원 회색조 영상

Figure 112012051233089-pat00032
와 구조 요소
Figure 112012051233089-pat00033
에 대한 형태학적 연산이며,
Figure 112012051233089-pat00034
Figure 112012051233089-pat00035
는 각각 fb의 정의역을 나타낸다.Equations 10 and 11 are 2-D grayscale images
Figure 112012051233089-pat00032
And structural elements
Figure 112012051233089-pat00033
Is a morphological operation on,
Figure 112012051233089-pat00034
Wow
Figure 112012051233089-pat00035
Denotes the domain of f and b , respectively.

(9) 이산 푸리에 변환((9) Discrete Fourier Transform ( discretediscrete FourierFourier transformtransform , , DFTDFT )을 이용한 영상 처리 기법Image processing using

이차원 영상

Figure 112012051233089-pat00036
에 대한 이산 푸리에 변환은 하기의 수학식 12와 같이 계산할 수 있다.Two-dimensional image
Figure 112012051233089-pat00036
The discrete Fourier transform for may be calculated as in Equation 12 below.

Figure 112012051233089-pat00037
Figure 112012051233089-pat00037

수학식 12의 결과는 공간 주파수 대역의 신호를 나타낸다. 수학식 12에서 균일한 질감의 직물은 동일한 주파수 크기에서 일정한 크기를 가지게 된다.The result of equation (12) represents a signal in the spatial frequency band. In Equation 12, the uniformly textured fabric has a constant size at the same frequency.

(10) 국부 푸리에 변환((10) local Fourier transform ( windowedwindowed FTFT )을 이용한 영상 처리 기법Image processing using

국부 푸리에 변환은 일정한 크기를 가지는 창 함수와 푸리에 변환을 결합한 형태로, 국부 영역에 대한 주파수 특성을 확인할 수 있다. 따라서 균일한 질감의 직물 영상에서는 DFT보다 빠르게 처리될 수 있으며, 손상의 위치까지도 검출할 수 있다.The local Fourier transform is a combination of a window function having a constant size and a Fourier transform, and the frequency characteristic of the local region can be checked. Therefore, uniformly textured textile images can be processed faster than DFT, and even the location of damage can be detected.

(11) 이산 코사인 변환((11) Discrete Cosine Transform discretediscrete cosinecosine transformtransform , , DCTDCT )을 이용한 영상 처리 기법Image processing using

이산 코사인 변환은 하기의 수학식 13과 같이 계산할 수 있고, 전술한 이산 퓨리에 변환(DFT) 대신 사용될 수 있다. The discrete cosine transform may be calculated as in Equation 13 below and may be used instead of the discrete Fourier transform (DFT) described above.

Figure 112012051233089-pat00038
Figure 112012051233089-pat00038

DCT는 복소수 형태가 아닌 실수 영역만을 가지고 있으므로 DFT에 비해 연산과 분석이 용이한 장점이 있다.DCT has the advantage of easy operation and analysis compared to DFT because DCT has only real area, not complex form.

(12) (12) 가버Gabor 필터( filter( GaborGabor filterfilter )를 이용한 영상 처리 기법Image processing using

가버 필터는 하기의 수학식 14를 통해 구할 수 있다.The Gabor filter can be obtained through Equation 14 below.

Figure 112012051233089-pat00039
Figure 112012051233089-pat00039

상기 수학식 14에서

Figure 112012051233089-pat00040
는 정현파의 파장,
Figure 112012051233089-pat00041
는 가버 함수에서 줄무늬의 회전각,
Figure 112012051233089-pat00042
는 위상의 변위,
Figure 112012051233089-pat00043
는 가우시안(Gaussian) 함수의 표준 편차,
Figure 112012051233089-pat00044
는 공간 측면 비율을 나타낸다.In Equation 14
Figure 112012051233089-pat00040
Is the sinusoidal wavelength,
Figure 112012051233089-pat00041
Is the angle of rotation of the stripes in the Gabor function,
Figure 112012051233089-pat00042
Is the displacement of the phase,
Figure 112012051233089-pat00043
Is the standard deviation of the Gaussian function,
Figure 112012051233089-pat00044
Represents the spatial aspect ratio.

제 4 직물 손상 검출 방법Fourth fabric damage detection method

다음으로 에지 검출에 의한 직물 손상의 검출 방법이 이용될 수 있다.Next, a method of detecting fabric damage by edge detection may be used.

도 10은 본 발명과 관련하여 에지 검출에 의한 직물 손상 검출 결과의 일례를 나타내는 도면이다.Fig. 10 is a diagram showing an example of fabric damage detection results by edge detection in connection with the present invention.

도 10을 참조하면, 에지 검출에 의한 직물 손상의 검출은 에지 검출기(Sobel, canny 등)를 이용하여 직선 형태로 발생한 손상을 쉽게 검출할 수 있다는 장점이 보장된다는 것을 확인할 수 있다.Referring to FIG. 10, it can be seen that the detection of fabric damage by edge detection can guarantee the advantage that an edge detector (Sobel, canny, etc.) can easily detect damage occurring in a straight form.

제 5 직물 손상 검출 방법Fifth fabric damage detection method

또한, 형태학적 연산을 이용한 응용 손상 검출 방식도 이용될 수 있다.In addition, an application damage detection method using morphological operations may also be used.

도 11은 본 발명과 관련하여, 형태학적 연산에 의한 직물 손상 검출 결과의 일례를 나타내는 도면이다.11 is a view showing an example of the fabric damage detection results by morphological calculations in connection with the present invention.

도 12는 본 발명과 관련하여, 형태학적 연산에 의한 직물 손상 검출 결과의 다른 일례를 나타내는 도면이다.12 is a view showing another example of the fabric damage detection result by the morphological calculation in connection with the present invention.

즉, 도 11 및 도 12는 열림(opening) 연산과 닫힘(closing) 연산을 수행하고, 이진화에 의해 직물의 손상을 검출하는 방법이 적용된 결과를 나타낸 것이다.That is, FIGS. 11 and 12 illustrate the results of applying the method of detecting the damage to the fabric by performing the opening operation and the closing operation, and binarization.

도 11의 원영상은 인위적으로 작성한 직물 질감에 손상을 첨가한 영상이고, 도 12의 원영상은 실제 영상을 의미한다. 따라서 실제의 직물 영상은 형태학적 연산을 수행한 다음에 추가적으로 후처리 작업(예를 들어, 중간값 필터 작업, 이진화 작업 등)이 필요할 수 있다.The original image of FIG. 11 is an image in which damage is added to an artificially created fabric texture, and the original image of FIG. 12 represents an actual image. Thus, the actual fabric image may require additional post-processing operations (eg, median filter operations, binarization operations, etc.) after performing morphological operations.

제 6 직물 손상 검출 방법6th fabric damage detection method

또한, 형태학적인 연산을 이용하지 않고, 직물 영상에 직접적으로 평균값 필터(mean filter)나 가우시안 필터(Gaussian filter)를 이용하여 직물의 원질감의 특성을 제거하여, 직물 손상을 검출하는 방식이 이용될 수도 있다.In addition, a method of detecting fabric damage by using a mean filter or a Gaussian filter directly on a fabric image without removing morphological operations may be used. It may be.

도 13은 본 발명과 관련하여, 평균값 필터에 의한 직물 손상 검출 결과의 일례를 나타내는 도면이다.It is a figure which shows an example of the fabric damage detection result by an average value filter with respect to this invention.

도 14는 본 발명과 관련하여, 평균값 필터에 의한 직물 손상 검출 결과의 다른 일례를 나타내는 도면이다.It is a figure which shows another example of the fabric damage detection result by an average value filter with respect to this invention.

도 13및 도 14를 참조하면, 평균값 필터가 적용된 직물 손상 검출 결과의 구체적인 내용을 확인할 수 있다.Referring to FIGS. 13 and 14, it is possible to confirm specific contents of the fabric damage detection result to which the average value filter is applied.

제 7 직물 손상 검출 방법7th fabric damage detection method

또한, 주파수 특성을 이용하는 응용 방법이 적용될 수도 있다.In addition, an application method using the frequency characteristic may be applied.

도 15는 본 발명과 관련하여, 손상이 없는 직물 영상의 주파수 특성과 관련된 일례를 나타내는 도면이다.15 is a view showing an example relating to the frequency characteristics of an intact textile image in relation to the present invention.

도 16은 본 발명과 관련하여, 손상이 있는 직물 영상의 주파수 특성과 관련된 일례를 나타내는 도면이다.16 is a view showing an example relating to the frequency characteristics of a damaged textile image in connection with the present invention.

주파수 특성을 이용하는 방법은 얀이 주기적으로 나타나는 경우에 적합하며, 이러한 주기적인 특징은 도 15에 도시된 것과 같이 이산 푸리에 변환(DFT, discrete Fourier transform)이나 이산 코사인 변환(DCT, discrete cosine transform)에서 일정한 주파수 위치에서 동일한 특성을 나타낸다. The method using the frequency characteristic is suitable for the case where the yarn appears periodically, and the periodic characteristic is shown in the discrete Fourier transform (DFT) or discrete cosine transform (DCT) as shown in FIG. 15. It shows the same characteristics at a constant frequency position.

또한, 손상된 영상의 DFT와 DCT의 결과는 도 16에 도시된 것과 같이, 손상이 없는 직물의 특성과 차이가 나므로 손상을 판별할 수 있다.In addition, as a result of the DFT and DCT of the damaged image is different from the characteristics of the non-damaged fabric, as shown in Figure 16, it is possible to determine the damage.

제 8 직물 손상 검출 방법8th fabric damage detection method

한편, 가버 필터(Gabor filter)는 주파수와 회전의 표현이 인간의 시각 시스템과 유사하므로, 질감을 표현하거나 분류하는데 매우 유용하게 사용될 수 있다.On the other hand, since the expression of frequency and rotation is similar to the human visual system, the Gabor filter can be very useful for expressing or classifying textures.

따라서 가버 필터는 직물 손상 검출에 널리 사용되는 방법이다. Gabor filters are therefore a widely used method for fabric damage detection.

도 17은 본 발명과 관련하여, 가버 필터를 이용한 직물 손상 검출 결과의 일례를 나타내는 도면이다.It is a figure which shows an example of the fabric damage detection result using a Gabor filter with respect to this invention.

도 17을 참조하면, 특정한 주파수와 회전각에 의한 가버 필터 마스크를 생성하고, 필터링을 수행하여 손상을 검출한 예를 보이고 있다. Referring to FIG. 17, an example of generating a Gabor filter mask according to a specific frequency and rotation angle and performing filtering to detect damage is shown.

가버 필터의 주파수와 회전각은 검사용 직물에 대해 사전에 훈련된 결과에 의해 결정할 수 있으며, 다양한 파라미터를 이용하여 여러 필터를 동시에 적용할 수도 있다.The frequency and rotation angle of the Gabor filter can be determined by pre-trained results for the inspection fabric, and several filters can be applied simultaneously using various parameters.

이하에서는, 전술한 직물 손상 검출 방법을 이용하여 직물을 검사하는 구체적인 프로세스를 설명한다.In the following, a specific process of inspecting the fabric using the fabric damage detection method described above will be described.

도 18은 본 발명의 일 실시예에 따른 직물 검사 기법 흐름의 일례를 나타내는 도면이다.18 is a diagram illustrating an example of a fabric inspection technique flow in accordance with an embodiment of the present invention.

도 18을 참조하면, 먼저, 직물 검사는 1차원 선 영상(line image)을 회색조(gray)로 변환하는 과정을 수행한다.Referring to FIG. 18, first, a fabric inspection performs a process of converting a one-dimensional line image to grayscale.

이후, 화소(pixel) 단위로 검사를 수행하게 되는데, 각 화소의 검사 기준은 훈련(Training)된 자료의 특징과 입력된 직물 영상의 특징을 비교하여 판단될 수 있다.Thereafter, inspection is performed in units of pixels, and the inspection criteria of each pixel may be determined by comparing the characteristics of the trained data and the characteristics of the input fabric image.

이후, 화소 단위로 검출된 손상은 선 단위로 계산되고, 계산된 결과를 지속적으로 저장된다.Thereafter, the damage detected in units of pixels is calculated in units of lines, and the calculated results are continuously stored.

또한, 입력되는 1차원 선 영상을 계속적으로 비교하여 영역 정보로 추출하고, 추출된 영역 정보를 저장함으로써, 최종적인 지역 단위의 손상 검출 결과값을 획득할 수 있다.In addition, it is possible to continuously compare the input one-dimensional line image to extract the area information, and to store the extracted area information, it is possible to obtain the final damage detection result value of the area unit.

도 18을 참조하여 전술한, 1차원 선 영상을 회색조로 변환하는 과정에 대해 좀 더 구체적으로 설명한다.A process of converting the one-dimensional line image to grayscale described above with reference to FIG. 18 will be described in more detail.

1차원 영상의 회색조 변환은 (1)화소 단위로 독립적으로 수행하는 방법과 (2)영상 특성을 이용하는 방법을 통해 수행될 수 있다.The gray scale conversion of the 1D image may be performed by (1) independently performing the pixel unit and (2) using the image characteristic.

화소 단위로 독립적으로 수행하는 방법은 간단히 적색(R, red), 녹색(G, green), Independent pixel-by-pixel methods are simply red (R, red), green (G, green),

청색(B, blue)의 평균을 이용하거나, 하기의 수학식 15와 같은 휘도(Y, luminance)를 계산하여 회색조로 변환하는 방법 등을 포함할 수 있다.It may include a method of using the average of the blue (B, blue), or to calculate the luminance (Y, luminance) as shown in Equation 15 below to convert to a grayscale.

Figure 112012051233089-pat00045
Figure 112012051233089-pat00045

한편, 영상의 특성을 이용하는 방법은 영상 내에서 사용되는 적색, 녹색, 청색의 분포를 이용하여 적색, 녹색, 청색의 가중치를 결정하는 방법이다. On the other hand, the method using the characteristics of the image is a method of determining the weight of the red, green, blue by using the distribution of red, green, blue used in the image.

만약, 화소 특성이 다른 카메라로 획득된 영상은 가로 방향의 위치에 따라서 각 색상 요소의 밝기가 차이가 많이난다. 따라서 일정한 임계치(threshold)로 손상 위치를 찾기 어려울 수 있으므로, 당해 영상을 적색, 녹색, 청색의 요소로 분리하면, 고유의 특성을 볼 수 있다. If an image obtained by a camera having different pixel characteristics differs in brightness of each color element according to a horizontal position. Therefore, since it may be difficult to find the damage location at a certain threshold, if the image is divided into red, green, and blue elements, unique characteristics can be seen.

특히, 적색 요소의 특성이 다른 요소들에 비해서 위치에 따라 매우 민감한 특성을 보일 수 있다.In particular, the characteristics of the red element may exhibit a very sensitive characteristic depending on the position compared to the other elements.

또한, 휘도를 이용한 회색조 영상에서 손상 위치를 찾을 수 있고, 영상 특성을 이용할 수도 있다. 즉, 넓게 퍼져 있는 색상 분포를 좁혀주는 변환이 필요할 수 있다.In addition, damage locations may be found in grayscale images using luminance, and image characteristics may be used. In other words, a transformation may be needed to narrow the wider color distribution.

다음으로, 도 18에서 전술한 화소(pixel) 단위로 검사를 수행하는 방법을 구체적으로 설명한다.Next, a method of performing an inspection in units of pixels described above with reference to FIG. 18 will be described in detail.

화소 단위로 검사를 수행하는 방법은 상관도 차이를 고려하는 방법이 이용될 수 있다.As a method of performing inspection on a pixel basis, a method of considering a correlation difference may be used.

직물 영상은 수평 방향으로 상관도(correlation)가 일정한 특성을 가지므로, 주위 화소와의 상관도의 차이가 크면 손상 위치로 지정할 수 있다. Since the fabric image has a constant correlation in the horizontal direction, if the difference in the correlation with the surrounding pixels is large, it can be designated as the damage position.

따라서 본 발명에서는 주위 화소와의 차이를 화소 단위로 계산하면 민감도가 높아지기 때문에 평균값으로 필터링한 후에 주위 화소와의 차이를 계산하고, 평균값 필터에 의해 낮아지는 민감도를 보상하기 위하여 주위 화소와의 차이가 가장 큰 값을 상관도 차이로 판별하는 방법을 이용할 수 있다.Therefore, in the present invention, since the sensitivity is increased when the difference with the surrounding pixels is calculated in pixel units, the difference with the surrounding pixels is calculated to calculate the difference with the surrounding pixels after filtering by the average value, and to compensate for the sensitivity lowered by the average filter. A method of determining the largest value as the difference in correlation may be used.

입력된 선 영상(

Figure 112012051233089-pat00046
)에 대한 주위 평균값을
Figure 112012051233089-pat00047
라고 하면, 각 위치(
Figure 112012051233089-pat00048
)에서의 상관도 차이는 하기의 수학식 16을 이용하여 계산할 수 있다.Input line image (
Figure 112012051233089-pat00046
For the mean
Figure 112012051233089-pat00047
Speaking of each position (
Figure 112012051233089-pat00048
The difference in correlation can be calculated using Equation 16 below.

Figure 112012051233089-pat00049
Figure 112012051233089-pat00049

수학식 16에서

Figure 112012051233089-pat00050
Figure 112012051233089-pat00051
의 주위에서 와 가장 차이가 큰 를 가지는 위치를 나타내고,
Figure 112012051233089-pat00052
를 계산하기 위한 주위값의 범위(
Figure 112012051233089-pat00053
)와
Figure 112012051233089-pat00054
을 찾기 위한 주위값의 범위(
Figure 112012051233089-pat00055
)는 영상의 크기와 검출할 손상의 크기에 따라서 설정값을 다르게 지정될 수 있다.In equation (16)
Figure 112012051233089-pat00050
silver
Figure 112012051233089-pat00051
Represents the position of with the largest difference between and
Figure 112012051233089-pat00052
The range of ambient values to calculate
Figure 112012051233089-pat00053
)Wow
Figure 112012051233089-pat00054
Range of values to find
Figure 112012051233089-pat00055
) Can be set differently according to the size of the image and the size of the damage to be detected.

또한, 실시간으로 손상을 검출하기 위하여

Figure 112012051233089-pat00056
는 동적 프로그램에 의해 계산된다.Also, to detect damage in real time
Figure 112012051233089-pat00056
Is calculated by dynamic program.

문양(pattern)을 가지고 있지 않은 직물 영상은 손상된 위치에서 상관도 차이는 큰 값을 보인다. Fabric images that do not have patterns show large differences in correlation at damaged locations.

반면, 문양을 가지고 있는 직물 영상에서는 상관도 차이가 대부분 위치에서 큰 값을 가지지만, 손상된 위치에서는 주위보다 더 큰 값을 가진다. On the other hand, in the case of the patterned fabric image, the correlation difference is large at most locations but is larger than the surroundings at the damaged locations.

따라서 다양한 영상에서 이와 같은 기법을 사용하기 위해서는 직물 영상의 특징을 사전에 파악하여 임계치(threshold)를 직물에 따라서 다르게 적용해야 한다. Therefore, in order to use this technique in various images, it is necessary to grasp the characteristics of the fabric image in advance and apply a threshold differently according to the fabric.

한편, 문양을 가지지 않는 직물 영상은 낮은 임계치(

Figure 112012051233089-pat00057
)에 의해 손상된 위치를 쉽게 검출할 수 있다. On the other hand, fabric images without glyphs have a low threshold (
Figure 112012051233089-pat00057
) Can easily detect the damaged position.

하지만 문양을 가지고 있는 직물 영상은 낮은 임계치(

Figure 112012051233089-pat00058
)로는 많은 오 검출(false alarm)을 보이며, 높은 임계치(
Figure 112012051233089-pat00059
)로는 많은 오 검출을 줄일 수 있다.However, fabric images with patterns have low thresholds (
Figure 112012051233089-pat00058
) Shows a large number of false alarms and a high threshold (
Figure 112012051233089-pat00059
) Can reduce many false detections.

또한, 본 발명에서는 여러 직물 영상에 대해서 훈련(training)하여 세 단계(7, 14, 21)의 임계치 레벨을 결정하였으며, 임계치 결정은 선 영상의 표준 편차의 크기에 따라서 다르게 지정되는 방식이 적용될 수 있다.In addition, in the present invention, the threshold levels of the three stages (7, 14, 21) are determined by training several fabric images, and the threshold determination method may be applied differently according to the magnitude of the standard deviation of the line image. have.

즉, 낮은 표준 편차를 가지는 선 영상은 낮은 임계치가 적용되고, 높은 표준 편차를 가지는 선 영상은 높은 임계치가 적용된다.That is, a low threshold is applied to a line image having a low standard deviation, and a high threshold is applied to a line image having a high standard deviation.

이와 같이 결정된 임계치로 검출된 화소는 손상을 나타내는 화소가 된다. The pixel detected at the threshold determined as described above becomes a pixel indicating damage.

검출된 손상 화소에는 여러 오 검출이 포함되어 있으므로 다음 단계에서 수평으로 연결된 손상과 수직으로 연결된 손상을 판단하여 최종 손상 검출을 수행한다. Since the detected damaged pixels include various false detections, in the next step, damages vertically connected to vertically connected damages are judged to perform final damage detection.

또한, 도 18을 이용하여 전술한 화소 단위로 검출된 손상을 선 단위로 계산하는 방법을 구체적으로 설명한다.In addition, a method of calculating the above-described damage detected in units of pixels in units of lines will be described in detail with reference to FIG. 18.

본 발명에서는 선 영상의 손상 검출 과정에서 수평으로 연결된 손상 위치를 찾는 방법이 이용될 수 있다.In the present invention, a method of finding a damage location horizontally connected in the damage detection process of the line image may be used.

수평으로 연결된 손상 위치는 현재 검사 중인 화소(x)가 손상으로 검출되지 않고, 이전의 화소(x-1)가 손상으로 검출된 경우에 연결된 검출 길이가 임계치보다 길면 손상된 선 영역으로 지정한다. The damaged position connected horizontally is designated as the damaged line region when the detected detection length is longer than the threshold when the pixel x currently being inspected is not detected as the damage and the previous pixel x-1 is detected as the damage.

손상 검출(선)은 손상 검출(화소)과 동시에 처리되기 때문에 빠르게 처리될 수 있으며, 현재의 선 영상에서 독립적으로 수행된다.Damage detection (line) can be processed quickly because it is processed simultaneously with damage detection (pixel), and is performed independently on the current line image.

또한, 선 영상

Figure 112012051233089-pat00060
는 시간(t)에 따라 계속 입력되므로, 2차원 영상
Figure 112012051233089-pat00061
로 표현할 수 있다. Also, line image
Figure 112012051233089-pat00060
Is continuously input over time ( t ), so the two-dimensional image
Figure 112012051233089-pat00061
.

전술한 과정에서 검출된 손상은

Figure 112012051233089-pat00062
에 표현되지만, 최종 결과는
Figure 112012051233089-pat00063
에 표시되어야 한다.Damage detected in the above process
Figure 112012051233089-pat00062
But the final result is
Figure 112012051233089-pat00063
Should be indicated in.

도 19는 본 발명의 일 실시예에 따른 손상 영역 연결 및 생성의 과정과 관련된 일례를 나타내는 도면이다.19 is a diagram illustrating an example related to a process of connecting and creating a damaged area according to an embodiment of the present invention.

도 19를 참조하면, 손상 영역을 사각형 영역으로 지정하여, 최종 손상 영역을 표시할 수 있다. 이때 현재

Figure 112012051233089-pat00064
에서 새로운 선손상이 발견되고, 이전
Figure 112012051233089-pat00065
에서 갱신된 손상 영역과 수평방향으로 겹쳐있다면 손상 영역을 갱신하고, 겹쳐진 손상 영역이 없으면 새로운 손상 영역을 생성한다.Referring to FIG. 19, the damaged area may be designated as a rectangular area to display a final damaged area. At this time
Figure 112012051233089-pat00064
New line damage is found in
Figure 112012051233089-pat00065
Updates the damaged area if it overlaps the updated damaged area in the horizontal direction, and creates a new damaged area if there is no overlapped damaged area.

또한, 손상 영역의 수직 길이가 일정 크기 이하이면 손상 영역에서 제거하고, 그렇지 않은 손상 영역은 인접한 영역들과 합병하여 최종 손상 영역을 생성한다. In addition, if the vertical length of the damaged area is equal to or less than a certain size, the damaged area is removed from the damaged area, and the damaged area is merged with adjacent areas to generate a final damaged area.

이 과정에서 상하방향으로 손상된 정보를 연결하기 때문에 앞의 선손상 영역에서 나타난 많은 오 검출도 제거할 수 있다.In this process, damaged information is linked up and down, which can eliminate many false detections in the previous line damage area.

본 발명의 구체적인 소프트웨어 설명으로 복귀하여, 본 발명에 적용될 수 있는 다른 소프트웨어 구성요소를 설명한다.Returning to the specific software description of the present invention, another software component applicable to the present invention is described.

전술한 것과 같이. 본 발명에 적용될 수 있는 소프트웨어 구성요소는 고속 검사 알고리즘과 인텔리전트 러닝 프로세스(Intelligent Learning Process)가 있다.As mentioned above. Software components that can be applied to the present invention include a fast inspection algorithm and an intelligent learning process.

이하에서는, 본 발명에 적용되는 인텔리전트 러닝 프로세스(Intelligent Learning Process)에 대해 구체적으로 설명한다.인Hereinafter, an intelligent learning process applied to the present invention will be described in detail.

텔리전트 러닝 프로세스(Intelligent Learning Process)는 낱장 검사방식 또는 윤전(Roll) 검사 방식을 모두 포함한다.The intelligent learning process includes both a sheet test or a roll test method.

인텔리전트 러닝 프로세스(Intelligent Learning Process)는 기존 시스템이 대상물 검사시 작업내용이 바뀌는 경우 수동으로 작업내용을 설정하고, 검사표준이 되는 샘플영상을 취득하고, 그에 따라 작업교체과정에서 많은 시간이 소요되는 불편함을 해소하기 위한 것이다.Intelligent Learning Process is an inconvenient process that takes a lot of time in the process of replacing the work by manually setting the work contents and acquiring the sample image that becomes the inspection standard when the existing system changes the work contents when inspecting the object. It is to solve the problem.

즉, 인텔리전트 러닝 프로세스(Intelligent Learning Process)는 과정 교체시 당초 설정한 표준 샘플영상과 현저한 차이가 나는 영상이 취득될 경우 그것을 과정교체로 인식하고, 새로운 샘플영상을 취득하여 표준화함으로써 과정교체에 따른 작업소요시간을 현저하게 단축시킴으로써, 생산성 향상을 가져올 수 있다는 효과를 제공하기 위한 것이다.In other words, the Intelligent Learning Process recognizes the process as a replacement if a video that is markedly different from the standard sample image originally set up is replaced. By significantly shortening the time required, it is to provide the effect that the productivity can be improved.

또한, 인텔리전트 러닝 프로세스(Intelligent Learning Process)가 적용되는 경우, 검사대상 제품의 수와 관계없이 간편 조작만으로 작업에 즉시 적용할 수 있어 표준영상을 취득하기 위해 검사시스템을 통과시켜야 하는 과정을 생략할 수 있으므로, 원가절감 및 작업시간 단축을 가능하게 하는 효과가 제공될 수 있다.In addition, when the intelligent learning process is applied, it can be immediately applied to a job by simple operation regardless of the number of products to be inspected, so that the process of passing the inspection system to obtain a standard image can be omitted. Therefore, the effect of enabling cost reduction and shortening of working time can be provided.

전술한 본 발명의 일체형 영상센서부 컨트롤을 내장한 라인스캔카메라 및 Intelligent Learning Process를 적용한 소프트웨어를 통해, 매우 정밀한 결함(예를 들어, 0.1 mm의 결함)을 매우 빠른 속도(예를 들어, 최고 초당 2미터)로 검출할 수 있다.Through the above-described line scan camera with integrated image sensor control of the present invention and the software using the intelligent learning process, very precise defects (for example, defects of 0.1 mm) can be detected at a very high speed (for example, at a maximum per second). 2 meters).

또한, 본 발명은 기존 생산설비에 부가하여 적용할 수 있는 부가형(Add-on) 타입으로 구현될 수 있으므로, 비용을 절감하는 효과 또한 보장된다.In addition, the present invention can be implemented in an add-on type that can be applied in addition to the existing production equipment, it is also ensured the effect of reducing costs.

본 발명이 적용되는 대상은 검단기(나염, 침염)를 포함하고, 결함발생시 테이프 삽입기를 통해 결함 위치 식별하는 방법이 추가적으로 적용될 수도 있다.The object to which the present invention is applied includes a checker (printing, dyeing), and when a defect occurs, a method of identifying a defect position through a tape inserter may be additionally applied.

또한, 비정형 얼룩은 표준(시료)와의 차이식별로 구분(예를 들어, 단위면적 점증, 점감 이용)할 수 있다.In addition, atypical stains may be distinguished (eg, using unit area increase or decrease) according to the difference expression from the standard (sample).

또한, 동일색상의 결점은 조명의 양방향 설계로 투과 및 반사조명을 통해 검출하는 방법이 이용될 수 있다.In addition, a method of detecting defects of the same color through transmission and reflection lighting in a bidirectional design of illumination may be used.

또한, 본 발명의 일실시얘에 따르면, 최종적으로 검출된 결과 값이 디스플레이부를 통해 사용자에게 제공될 수 있다. 더 나아가. 본 발명이 도 1를 참조하여 전술한 무선 통신부를 포함하는 경우, 사용자에 의해 지정된 외부 기기로 최종적으로 검출된 결과 값을 제어부의 제어에 따라 전송할 수도 있다.In addition, according to one embodiment of the present invention, the finally detected result value may be provided to the user through the display unit. Furthermore. When the present invention includes the wireless communication unit described above with reference to FIG. 1, a result value finally detected by an external device designated by a user may be transmitted under the control of the controller.

또한, 본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.Further, according to an embodiment of the present invention, the above-described method can be implemented as a code that can be read by a processor on a medium on which the program is recorded. Examples of the medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and may be implemented in the form of a carrier wave (e.g., transmission over the Internet) .

상기와 같이 설명된 이동 단말기 및 그 제어방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The above-described mobile terminal and its control method are not limited to the configuration and method of the above-described embodiments, but the embodiments may be modified such that all or some of the embodiments are selectively And may be configured in combination.

Claims (15)

기준 영상을 입력 받기 위한 사용자 입력부;
적어도 하나의 객체에 대한 제 1 영상을 연속하여 획득하기 위한 스캔 카메라; 및
기 설정된 알고리즘에 따라 상기 기준 영상 및 제 1 영상을 이용하여 상기 적어도 하나의 객체에 손상이 있는지 여부를 판단하는 제어부를 포함하되,
상기 기준 영상과 상기 제 1 영상을 비교한 결과가 기 설정된 범위를 초과하는 경우, 상기 제어부는 상기 제 1 영상이 상기 기준 영상으로 변경되어 설정되도록 제어하는 것을 특징으로 하는, 품질 검사 장치.
A user input unit for receiving a reference image;
A scan camera for successively obtaining a first image of at least one object; And
And a controller configured to determine whether the at least one object is damaged by using the reference image and the first image according to a preset algorithm.
And when the result of comparing the reference image with the first image exceeds a preset range, the controller controls the first image to be set to be changed to the reference image.
제 1항에 있어서,
상기 스캔 카메라는 복수의 카메라를 포함하고,
상기 복수의 카메라 각각이 상기 제 1 영상을 취득하는 것을 지원하기 위한 동기식 조명을 더 포함하며,
상기 제어부는 상기의 복수의 카메라 및 동기식 조명의 동작 타이밍(timing)을 제어하는 것을 특징으로 하는, 품질 검사 장치.
The method of claim 1,
The scan camera includes a plurality of cameras,
Further comprising synchronous illumination to assist each of the plurality of cameras to acquire the first image,
The control unit, characterized in that for controlling the operation timing (timing) of the plurality of cameras and synchronous lighting.
제 1항에 있어서,
상기 기 설정된 알고리즘은 상기 기준 영상 및 제 1 영상에 포함된 소정 영역의 밝기 변화를 이용하고,
상기 기 설정된 알고리즘은 프랙탈 차원 기법, 임계지 이진화 기법, 블록 평균화 기법 및 형태학적 연산(morphological operations) 기법 중 적어도 하나를 포함하는 것을 특징으로 하는, 품질 검사 장치.
The method of claim 1,
The preset algorithm uses a change in brightness of a predetermined area included in the reference image and the first image,
The preset algorithm includes at least one of a fractal dimensional technique, a threshold binarization technique, a block averaging technique, and a morphological operations technique.
제 1항에 있어서,
상기 기 설정된 알고리즘은 상기 기준 영상 및 제 1 영상에 포함된 소정 영역의 주파수 변화를 이용하고,
상기 기 설정된 알고리즘은 이진 퓨리에 변환 기법, 국부 퓨리에 변환 기법 및 가버 필터 마스크 기법 중 적어도 하나를 포함하는 것을 특징으로 하는, 품질 검사 장치.
The method of claim 1,
The preset algorithm uses a frequency change of a predetermined region included in the reference image and the first image,
The preset algorithm includes at least one of a binary Fourier transform technique, a local Fourier transform technique, and a Gabor filter mask technique.
제 1항에 있어서,
상기 제어부는 상기 제 1 영상을 회색조(gray) 영상으로 변환하고, 상기 변환된 회색조 영상과 상기 기준 영상을 화소(pixel) 단위로 비교하여, 상기 적어도 하나의 객체에 손상이 있는지 여부를 판단하는 것을 특징으로 하는, 품질 검사 장치.
The method of claim 1,
The controller converts the first image into a grayscale image, compares the converted grayscale image with the reference image in pixel units, and determines whether the at least one object is damaged. Characterized by a quality inspection device.
제 1항에 있어서,
메모리를 더 포함하고,
상기 적어도 하나의 객체에 손상이 있는 경우, 상기 제어부는 상기 손상 관련 정보를 화소(pixel) 단위로 검출하고, 상기 화소 단위로 검출된 정보를 선(line) 단위로 계산하며, 상기 선 단위로 계산된 정보가 상기 메모리에 계속적으로 저장되도록 제어하는 것을 특징으로 하는, 품질 검사 장치.
The method of claim 1,
Further comprising a memory,
When there is damage to the at least one object, the controller detects the damage-related information in pixel units, calculates the information detected in pixel units in line units, and calculates in line units. And control the stored information to be continuously stored in the memory.
제 6항에 있어서,
상기 제어부는 상기 메모리에 계속적으로 저장된 복수의 선 단위 정보를 조합하여 영역(area) 단위 정보를 추출하는 것을 특징으로 하는, 품질 검사 장치.
The method according to claim 6,
And the controller extracts area unit information by combining a plurality of line unit information continuously stored in the memory.
제 7항에 있어서,
디스플레이부를 더 포함하고,
상기 제어부는 상기 영역 단위 정보가 상기 디스플레이부의 소정 영역에 표시되도록 제어하는 것을 특징으로 하는, 품질 검사 장치.
8. The method of claim 7,
And a display unit,
And the control unit controls the area unit information to be displayed on a predetermined area of the display unit.
제 7항에 있어서,
무선 통신부를 더 포함하고,
상기 제어부는 상기 사용자 입력부를 통해 지정된 외부 기기로 상기 영역 단위 정보가 상기 무선 통신부를 통해 전송되도록 제어하는 것을 특징으로 하는, 품질 검사 장치.
8. The method of claim 7,
Further comprising a wireless communication unit,
And the control unit controls the area unit information to be transmitted through the wireless communication unit to an external device designated through the user input unit.
기준 영상을 입력 받는 단계;
적어도 하나의 객체에 대한 제 1 영상을 연속하여 획득하는 단계;
기 설정된 알고리즘에 따라 상기 기준 영상 및 제 1 영상을 이용하여 상기 적어도 하나의 객체에 손상이 있는지 여부를 판단하는 단계; 및
상기 기준 영상과 상기 제 1 영상을 비교한 결과가 기 설정된 범위를 초과하는 경우, 상기 제 1 영상이 상기 기준 영상으로 변경되어 설정되도록 제어하는 단계를 포함하는, 품질 검사 장치의 제어방법.
Receiving a reference image;
Continuously obtaining a first image of at least one object;
Determining whether the at least one object is damaged using the reference image and the first image according to a preset algorithm; And
And controlling the first image to be changed and set as the reference image when a result of comparing the reference image with the first image exceeds a preset range.
제 10항에 있어서,
상기 기 설정된 알고리즘은 상기 기준 영상 및 제 1 영상에 포함된 소정 영역의 밝기 변화를 이용하고,
상기 기 설정된 알고리즘은 프랙탈 차원 기법, 임계지 이진화 기법, 블록 평균화 기법 및 형태학적 연산(morphological operations) 기법 중 적어도 하나를 포함하는 것을 특징으로 하는, 품질 검사 장치의 제어방법.
The method of claim 10,
The preset algorithm uses a change in brightness of a predetermined area included in the reference image and the first image,
The predetermined algorithm includes at least one of a fractal dimensional technique, a threshold binarization technique, a block averaging technique, and a morphological operations technique.
제 10항에 있어서,
상기 기 설정된 알고리즘은 상기 기준 영상 및 제 1 영상에 포함된 소정 영역의 주파수 변화를 이용하고,
상기 기 설정된 알고리즘은 이진 퓨리에 변환 기법, 국부 퓨리에 변환 기법 및 가버 필터 마스크 기법 중 적어도 하나를 포함하는 것을 특징으로 하는, 품질 검사 장치의 제어방법.
The method of claim 10,
The preset algorithm uses a frequency change of a predetermined region included in the reference image and the first image,
The predetermined algorithm comprises at least one of a binary Fourier transform technique, a local Fourier transform technique, and a Gabor filter mask technique.
제 10항에 있어서,
상기 적어도 하나의 객체에 손상이 있는지 여부를 판단하는 단계는, 상기 제 1 영상을 회색조(gray) 영상으로 변환하고, 상기 변환된 회색조 영상과 상기 기준 영상을 화소(pixel) 단위로 비교하는 방법을 이용하는 것을 특징으로 하는, 품질 검사 장치의 제어방법.
The method of claim 10,
The determining of whether the at least one object is damaged may include converting the first image into a grayscale image and comparing the converted grayscale image with the reference image in pixel units. A control method for a quality inspection device, characterized in that used.
제 10항에 있어서,
상기 적어도 하나의 객체에 손상이 있는 경우, 상기 손상 관련 정보를 화소(pixel) 단위로 검출하는 단계;
상기 화소 단위로 검출된 정보를 선(line) 단위로 계산하는 단계; 및
상기 선 단위로 계산된 정보가 메모리에 계속적으로 저장되도록 제어하는 단계를 더 포함하는, 품질 검사 장치의 제어방법.
The method of claim 10,
If the at least one object is damaged, detecting the damage related information in a pixel unit;
Calculating the information detected in the pixel unit in the line unit; And
And controlling the information calculated in units of lines to be continuously stored in a memory.
제 14항에 있어서,
상기 메모리에 계속적으로 저장된 복수의 선 단위 정보를 조합하여 영역(area) 단위 정보를 추출하는 단계를 더 포함하는, 품질 검사 장치의 제어방법.
The method of claim 14,
And extracting area unit information by combining a plurality of line unit information continuously stored in the memory.
KR1020120069071A 2012-06-27 2012-06-27 Quality test equipment using fabric pattern algorithm and method for controlling thereof KR101206290B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120069071A KR101206290B1 (en) 2012-06-27 2012-06-27 Quality test equipment using fabric pattern algorithm and method for controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120069071A KR101206290B1 (en) 2012-06-27 2012-06-27 Quality test equipment using fabric pattern algorithm and method for controlling thereof

Publications (1)

Publication Number Publication Date
KR101206290B1 true KR101206290B1 (en) 2012-11-29

Family

ID=47565611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120069071A KR101206290B1 (en) 2012-06-27 2012-06-27 Quality test equipment using fabric pattern algorithm and method for controlling thereof

Country Status (1)

Country Link
KR (1) KR101206290B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170010495A (en) 2015-07-20 2017-02-01 김성춘 the method for generating chaos pattern
KR101818966B1 (en) 2015-10-29 2018-01-17 코오롱글로텍주식회사 Skewing testing apparatus
KR101873024B1 (en) * 2017-08-21 2018-07-31 일성기계공업 주식회사 Apparatus for accurately detecting fabric pattern in weft straightener
KR101997208B1 (en) * 2019-02-21 2019-07-05 박재성 Apparatus and method for printing fabric
KR102030148B1 (en) * 2019-02-21 2019-10-08 박재성 System for printing fabric
KR20220098439A (en) * 2021-01-04 2022-07-12 (주) 엠엔비젼 Sewing line automatic inspection method using vision system
KR102587918B1 (en) * 2022-07-29 2023-10-12 호전실업 주식회사 Method of automatically detecting sewing stitching defect method and system for the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100234593B1 (en) 1997-01-09 1999-12-15 정의훈 Method for high inspection of fabric
KR100938318B1 (en) 2007-08-30 2010-01-22 오태진 Textile fabrics examination method and the device
KR101006856B1 (en) 2008-06-27 2011-01-12 최영일 Gradient measuring method for textile straightener

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100234593B1 (en) 1997-01-09 1999-12-15 정의훈 Method for high inspection of fabric
KR100938318B1 (en) 2007-08-30 2010-01-22 오태진 Textile fabrics examination method and the device
KR101006856B1 (en) 2008-06-27 2011-01-12 최영일 Gradient measuring method for textile straightener

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170010495A (en) 2015-07-20 2017-02-01 김성춘 the method for generating chaos pattern
KR102091501B1 (en) 2015-07-20 2020-03-20 김성춘 the method for generating chaos pattern
KR101818966B1 (en) 2015-10-29 2018-01-17 코오롱글로텍주식회사 Skewing testing apparatus
KR101873024B1 (en) * 2017-08-21 2018-07-31 일성기계공업 주식회사 Apparatus for accurately detecting fabric pattern in weft straightener
KR101997208B1 (en) * 2019-02-21 2019-07-05 박재성 Apparatus and method for printing fabric
KR102030148B1 (en) * 2019-02-21 2019-10-08 박재성 System for printing fabric
KR20220098439A (en) * 2021-01-04 2022-07-12 (주) 엠엔비젼 Sewing line automatic inspection method using vision system
KR102462591B1 (en) * 2021-01-04 2022-11-03 (주) 엠엔비젼 Sewing line automatic inspection method using vision system
KR102587918B1 (en) * 2022-07-29 2023-10-12 호전실업 주식회사 Method of automatically detecting sewing stitching defect method and system for the same

Similar Documents

Publication Publication Date Title
KR101206290B1 (en) Quality test equipment using fabric pattern algorithm and method for controlling thereof
CN103413288B (en) A kind of LCD general detects defect method
CN105894036B (en) A kind of characteristics of image template matching method applied to mobile phone screen defects detection
Çelik et al. Development of a machine vision system: real-time fabric defect detection and classification with neural networks
CN105301810A (en) Screen defect detecting method and screen defect detecting device
CN104749184A (en) Automatic optical detection method and automatic optical detection system
CN110618134A (en) Steel plate surface quality defect detection and rating system and method
CN109544527B (en) Method and device for detecting glass surface defects based on hard card programming
JP6027295B1 (en) Surface defect inspection apparatus and surface defect inspection method for hot dip galvanized steel sheet
CN103218961A (en) Method and system for liquid crystal display (LCD) defect online detection
Tsai et al. Low-contrast surface inspection of mura defects in liquid crystal displays using optical flow-based motion analysis
CN110376217B (en) Active detection method and system for damage of display screen of electronic equipment
CN109905700A (en) Virtual display device and its detection method, device, computer readable storage medium
KR20140120716A (en) Defect detection method in heterogeneously textured surface
CN104749801B (en) High Precision Automatic optical detecting method and system
CN108072664B (en) Appearance detection system and method
Li et al. HM-YOLOv5: A fast and accurate network for defect detection of hot-pressed light guide plates
CN104657997B (en) A kind of lens shift detection method and device
Li et al. A novel digital method for weave pattern recognition based on photometric differential analysis
US11769248B2 (en) Image processing device, image processing method, and image processing non-transitory computer readable medium for verifying detectable range of defect image
CN110220911A (en) A kind of mobile phone screen detection method and device
CN113793323A (en) Component detection method, system, equipment and medium
CN116818785A (en) Defect detection method, system and medium based on machine vision
Park et al. Binarization of text region based on fuzzy clustering and histogram distribution in signboards
CN110672209A (en) Online detection method for warp knitting cloth color difference

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161027

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee