KR20190065664A - Apparatus and method for processing images of car based on gesture analysis - Google Patents
Apparatus and method for processing images of car based on gesture analysis Download PDFInfo
- Publication number
- KR20190065664A KR20190065664A KR1020170165071A KR20170165071A KR20190065664A KR 20190065664 A KR20190065664 A KR 20190065664A KR 1020170165071 A KR1020170165071 A KR 1020170165071A KR 20170165071 A KR20170165071 A KR 20170165071A KR 20190065664 A KR20190065664 A KR 20190065664A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- gesture
- image
- partial image
- partial
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G06K9/481—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 컴퓨터 비전(computer vision) 및 이미지 처리에 관한 기술로서, 특히 차량의 이미지들을 인식하고 인식된 이미지들을 자동으로 분류하는 이미지 처리 장치, 방법 및 그 방법을 기록한 기록매체에 관한 것이다.The present invention relates to computer vision and image processing, and more particularly, to an image processing apparatus and method for recognizing images of a vehicle and automatically classifying recognized images, and a recording medium on which the method is recorded.
기존의 차량에 대한 인식 기술은 차량의 종류나 번호를 인식하기 위한 연구가 주로 진행되었다. 이를 위해서 차량의 전체 이미지를 사용하거나 번호판에 해당하는 영역을 이용하여 인식을 수행하는 것이 일반적인 연구 방법이었다. 특히, 차량 자체의 인식을 위해서는 차량의 유일하면서 고유의 식별자인 번호판의 위치를 특정하거나 탐색하는데 많은 연구가 집중되었다.The recognition technology for the existing vehicles was mainly carried out to recognize the type and number of the vehicle. To do this, it is common practice to use the entire image of the vehicle or perform recognition using the area corresponding to the license plate. Particularly, in order to recognize the vehicle itself, much research has been concentrated on locating or searching the position of the license plate, which is a unique identifier of the vehicle.
한편, 차량의 전체 이미지가 아닌 일부분의 이미지만을 바탕으로 해당 차량의 구성요소를 판단하는 기술은 많은 연구가 진행되지 않았다. 실제로 이와 같은 부분 이미지로부터 부위와 상태를 확인하는 것은 사람의 눈을 바탕으로 차량의 부위들을 분류하고 상태를 판단하는 과정을 수행하고 있다. 부분 이미지만을 이용한 인식은 공유 경제가 활성화되면서 차량의 대여 전, 후의 상태를 기록하여 상호간의 신뢰 문제를 해결하고 상태 이력을 관리하는 측면에서 매우 효과적으로 활용될 수 있다.On the other hand, a technique of determining the components of the vehicle based on only a partial image of the vehicle, rather than the whole image, has not been studied much. In fact, identifying parts and states from such partial images carries out the process of classifying parts of a vehicle based on the human eye and judging the state. Recognition using only partial images can be used effectively in terms of managing mutual trust problems and managing the state history by recording the state before and after rental of the vehicle while the shared economy is activated.
다만, 자동화된 이미지 처리의 관점에서 차량의 부분 이미지만으로는 차량의 식별이나 부가적인 정보를 자동으로 인식시켜 처리하는데 많은 기술적 어려움이 존재하였는바, 이를 해소할 수 있는 새로운 기술적 수단의 제시가 요구되고 있다.However, from the viewpoint of automated image processing, there are many technical difficulties in automatically recognizing and processing the identification or additional information of the vehicle only with the partial image of the vehicle, and it is required to present a new technical means to solve this problem .
본 발명이 해결하고자 하는 기술적 과제는, 차량에 대한 종래의 이미지 처리 기술들이 차량의 번호판에 집중되어 있으며 차량의 부분 이미지가 차량에 관한 충분한 정보를 제공하지 못한다는 문제를 해결하고, 다양한 환경적인 요인으로 인해 차량의 부분 이미지 내에 포함된 부족하고 왜곡된 정보만으로는 자동화된 이미지 인식이 정확하게 수행되기 어렵다는 기술적 한계를 극복하고자 한다.SUMMARY OF THE INVENTION It is an object of the present invention to solve the problem that conventional image processing techniques for a vehicle are concentrated on a license plate of a vehicle and that a partial image of the vehicle does not provide sufficient information about the vehicle, The present invention attempts to overcome the technical limitation that it is difficult to perform automated image recognition with only insufficient and distorted information included in a partial image of a vehicle.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량의 이미지 처리 방법은, 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처(gesture)와 차량의 부분 이미지를 포함하는 하나의 입력 영상을 입력받는 단계; 상기 입력 영상 내에서 상기 제스처를 인식하여 제스처의 유형에 따른 의미를 식별하는 단계; 및 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of processing an image of a vehicle, the method comprising: displaying a gesture having at least one of two types indicating vehicle components, receiving an input image including a gesture and a partial image of the vehicle; Recognizing the gesture in the input image and identifying a meaning according to the type of the gesture; And classifying the partial image of the vehicle in the input image based on the identified meaning.
일 실시예에 따른 차량의 이미지 처리 방법은, 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 단계를 더 포함하고, 상기 제스처의 유형에 따른 의미를 식별하는 단계는, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형 및 그에 따른 의미를 독출할 수 있다.According to an embodiment of the present invention, there is provided a method of processing an image of a vehicle, the method comprising the steps of: storing a plurality of gestures and vehicle components represented by the respective gestures in association with each other in advance in a mapping table; The step of identifying the meaning can read the type of the gesture and its meaning by inquiring the mapping table using the recognized gesture.
일 실시예에 따른 차량의 이미지 처리 방법에서, 상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우, 상기 차량의 부분 이미지를 분류하는 단계는, 상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장할 수 있다.In a method of processing an image of a vehicle according to an embodiment, when the type of the gesture is identified as representing a component of the vehicle, the step of classifying the partial image of the vehicle comprises: The partial image of the vehicle in the input image may be classified and the partial image of the classified vehicle and the identified meaning of the component may be associated and stored together.
일 실시예에 따른 차량의 이미지 처리 방법에서, 상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우, 상기 차량의 부분 이미지를 분류하는 단계는, 상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장할 수 있다.In a method of processing an image of a vehicle according to an embodiment, when the type of gesture is identified as indicating a specific area of the vehicle, the step of classifying the partial image of the vehicle comprises: An additional area of interest may be designated, and a partial image of the vehicle and positional information of the designated area of interest may be corresponded and stored together.
또한, 일 실시예에 따른 차량의 이미지 처리 방법에서, 상기 차량의 부분 이미지를 분류하는 단계는, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정할 수 있다.According to an embodiment of the present invention, in the image processing method of a vehicle, the step of classifying the partial images of the vehicle further comprises the steps of: recognizing a direction indicator previously defined in the gesture; A region of interest can be set by searching a location where the vehicle meets the partial image of the vehicle.
나아가, 일 실시예에 따른 차량의 이미지 처리 방법에서, 상기 차량의 부분 이미지를 분류하는 단계는, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정할 수 있다.Further, in the image processing method of a vehicle according to an embodiment, the step of classifying the partial images of the vehicle may include: recognizing a direction indicator previously defined in the gesture, The region of interest in which the pixel value of the image, the point or the line, and the geometric feature value of the image are equal to or more than the threshold value can be set as the region of interest.
일 실시예에 따른 차량의 이미지 처리 방법에서, 상기 차량의 부분 이미지를 분류하는 단계는, 상기 차량의 부분 이미지 상에 상기 관심 영역을 마킹(marking)하거나, 상기 관심 영역을 크로핑(cropping)하여 출력하거나, 상기 관심 영역의 좌표 정보를 출력할 수 있다.In an image processing method of a vehicle according to an embodiment, the step of classifying the partial image of the vehicle may include marking the area of interest on the partial image of the vehicle, or cropping the area of interest Or output the coordinate information of the ROI.
상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 입고 차량의 이미지 처리 방법은, 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 단계; 차량 입고 요청에 따라 상기 차량의 외관을 인지한 담당자의 제스처와 함께 상기 차량의 부분 이미지를 포함하도록 촬영된 하나의 입력 영상을 입력받는 단계; 상기 입력 영상 내에서 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처를 인식하고, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별하는 단계; 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하여 상기 입고 차량에 대한 요구 사항과 더불어 메타(meta) 정보로서 저장하는 단계; 및 입고 차량에 대한 서비스 제공시, 분류되어 저장된 상기 차량의 부분 이미지를 상기 메타 정보와 함께 표시하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of processing an image of an article of manufacture, comprising: storing a plurality of gestures and a component of a vehicle represented by each gesture in association with each other in a mapping table step; Receiving an input image photographed to include a partial image of the vehicle together with a gesture of a person in charge perceiving the appearance of the vehicle according to a request for a vehicle arrival; Recognizing a gesture having at least one of two types of representing a vehicle component or a specific area of the vehicle in the input image and searching the mapping table using the recognized gesture, Identifying a meaning according to the type of the object; Classifying the partial image of the vehicle in the input image based on the identified meaning and storing the meta information in addition to the requirements for the entering vehicle; And displaying the partial image of the vehicle classified and stored together with the meta information when providing the service for the receiving vehicle.
한편, 이하에서는 상기 기재된 차량의 이미지 처리 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.The present invention also provides a computer-readable recording medium storing a program for causing a computer to execute the image processing methods of the vehicle described above.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량의 이미지 처리 장치는, 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 저장부; 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처(gesture)와 차량의 부분 이미지를 포함하는 하나의 입력 영상을 입력받는 입력부; 입력된 상기 입력 영상으로부터 제스처를 분석하여 상기 차량의 부분 이미지를 자동으로 분류하는 프로그램을 저장하는 메모리; 및 상기 프로그램을 구동하는 프로세서를 포함하되, 상기 메모리에 저장된 프로그램은, 상기 입력 영상 내에서 상기 제스처를 인식하고, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별하며, 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하는 명령어를 포함한다.According to an aspect of the present invention, there is provided an apparatus for processing an image of a vehicle, the apparatus comprising: a storage unit that stores a plurality of gestures and a component of a vehicle represented by each gesture in association with each other in a mapping table in advance; part; An input unit for receiving one input image including a gesture and a partial image of the vehicle, the input unit including a gesture having at least one of two types indicating a component of the vehicle or indicating a specific area of the vehicle; A memory for storing a program for automatically classifying a partial image of the vehicle by analyzing a gesture from the inputted input image; And a processor for driving the program, wherein the program stored in the memory recognizes the gesture in the input image and inquires the mapping table using the recognized gesture to identify a meaning according to the type of the gesture And classifying the partial image of the vehicle in the input image based on the identified meaning.
일 실시예에 따른 차량의 이미지 처리 장치에서, 상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우, 상기 메모리에 저장된 프로그램은, 상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장할 수 있다.In the image processing apparatus of a vehicle according to the embodiment, when the type of the gesture is identified as representing a component of the vehicle, the program stored in the memory may be stored in the memory in accordance with the component of the vehicle represented by the gesture. A partial image of the vehicle can be classified, and the partial image of the classified vehicle and the identified meaning of the component can be associated and stored together.
일 실시예에 따른 차량의 이미지 처리 장치에서, 상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우, 상기 메모리에 저장된 프로그램은, 상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장할 수 있다.In an image processing apparatus of a vehicle according to an embodiment, when the type of the gesture is identified as indicating a specific area of the vehicle, the program stored in the memory may be used to select a specific area of the vehicle indicated by the gesture as an additional area of interest And may store the partial image of the vehicle and the positional information of the specified region of interest in correspondence with each other.
또한, 일 실시예에 따른 차량의 이미지 처리 장치에서, 상기 메모리에 저장된 프로그램은, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정할 수 있다.In the image processing apparatus of the vehicle according to the embodiment, the program stored in the memory recognizes a direction indicator previously defined in the gesture, and detects a direction vector in a direction indicated by the direction indicator recognized in the one input image. a region of interest may be established by forming a vector to search for a location where the partial image of the vehicle meets.
나아가, 일 실시예에 따른 차량의 이미지 처리 장치에서, 상기 메모리에 저장된 프로그램은, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정할 수 있다.Furthermore, in the image processing apparatus of the vehicle according to the embodiment, the program stored in the memory may recognize the direction indicator predefined in the gesture, and may detect the direction indicator in the direction indicated by the direction indicator recognized in the one input image, A region of a predetermined blank space on the partial image of the vehicle is searched for and a region in which the geometric feature value of the pixel value, point or line of the image is equal to or higher than the threshold value in the margin range can be set as the region of interest.
본 발명의 실시예들은, 두 가지 유형으로 정의된 제스처와 차량의 부분 이미지를 포함하는 하나의 입력 영상만을 입력받아 제스처 분석을 통해 차량의 부분 이미지에 관해 부족한 정보 및 의미를 보충·부가함으로써, 입력 영상 내의 차량의 부분 이미지를 효과적으로 분류할 수 있을 뿐만 아니라, 차량의 부분 이미지 내의 소영역을 제스처를 이용해 보다 구체적으로 특정함으로써 추후 차량 이용자에게 차량의 외관에 대한 보다 많은 정보와 이력을 제공할 수 있다.Embodiments of the present invention include a method of inputting only one input image including a gesture defined by two types and a partial image of a vehicle and supplementing and adding insufficient information and meaning about the partial image of the vehicle through gesture analysis, Not only can the sub-image of the vehicle in the image be effectively classified, but also the sub-area within the sub-image of the vehicle can be specified more specifically using the gesture, thereby providing more information and history about the appearance of the vehicle to the vehicle user in the future .
도 1은 본 발명의 실시예들이 대상으로 하는 차량의 부분 이미지의 다양한 유형을 예시한 도면이다.
도 2는 차량의 구성 요소를 나타내는 제스처의 일 유형을 설명하기 위한 도면이다.
도 3은 차량의 특정 영역을 지시하는 제스처의 다른 유형을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 제스처 분석에 기반을 둔 차량의 이미지 처리 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 도 4의 차량의 이미지 처리 방법에서 차량의 부분 이미지를 분류하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 6은 차량의 구성 요소를 분류하는 기준을 예시한 도면이다.
도 7은 손가락 제스처와 그에 따른 분류를 예시한 도면이다.
도 8은 도 5의 차량의 이미지 처리 방법에서 특정 영역을 발견하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 9는 제스처로부터 벡터 및 여백 범위를 이용하여 관심 영역을 지정하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 제스처 분석에 기반을 둔 차량의 이미지 처리 장치를 도시한 블록도이다.1 is a diagram illustrating various types of partial images of a vehicle to which embodiments of the present invention are directed.
2 is a view for explaining one type of gesture showing components of a vehicle.
3 is a view for explaining another type of gesture indicating a specific area of the vehicle.
4 is a flowchart illustrating an image processing method of a vehicle based on gesture analysis according to an embodiment of the present invention.
FIG. 5 is a flowchart illustrating a process of classifying a partial image of a vehicle in the image processing method of the vehicle of FIG. 4 according to an embodiment of the present invention.
Fig. 6 is a diagram illustrating a criterion for classifying vehicle components.
7 is a diagram illustrating a finger gesture and classification according to the finger gesture.
8 is a flowchart showing a process of detecting a specific area in the image processing method of the vehicle shown in Fig. 5 in more detail.
FIG. 9 is a view for explaining a process of specifying a region of interest using a vector and a margin range from a gesture.
10 is a block diagram illustrating an image processing apparatus for a vehicle based on gesture analysis according to an embodiment of the present invention.
본 발명의 실시예들을 설명하기에 앞서, 차량에 관한 이미지를 획득하여 이를 자동으로 분류하고자 하는 요구가 발생하는 환경과 이러한 환경에서 지목되는 문제점을 검토한 후, 이러한 문제점들을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 아이디어와 기술적 수단을 순차적으로 소개하도록 한다.Before explaining the embodiments of the present invention, after considering an environment in which a request to acquire an image of a vehicle and to automatically classify the image occurs, and a problem pointed out in such an environment, Let us introduce the ideas and technical means adopted by the examples in sequence.
먼저, 본 발명의 실시예들이 구현되는 환경은 차량에 대한 이미지를 획득하여 이를 추후 확인한다는 것을 전제로 하고 있다. 예를 들어, 서비스 센터, 장기 주차장, 세차장 내지 렌터카 영업소에 차량이 입고되는 상황을 가정하자. 이때, 차량의 상태에 관하여 사용자와 담당자 간의 신뢰를 담보하기 위해, 또는 차량의 상태 이력을 관리하기 위해 차량의 부분 이미지에 대한 기록이 요구된다. 그런데, 입고 차량의 특정 부위, 예를 들어 파손 부위나 흠집 등은 조명이나 일광에 의한 반사, 차량 표면의 굴곡, 칠 벗겨짐 등으로 인해 해당 부위를 정확하게 영상 인식시키는 것이 기술적으로 용이하지 않다. 특히 컴퓨터 비전(computer vision)을 통해 차량의 전체 모습이 아니라 부분 영역에 대한 이미지를 인식시키는 것에는 많은 장애 요인과 편차가 존재하였다.First, it is assumed that the environment in which the embodiments of the present invention are implemented acquires an image of the vehicle and confirms it later. For example, suppose that a vehicle arrives at a service center, a long-term parking lot, a car wash or rental car office. At this time, recording of a partial image of the vehicle is required in order to secure the trust between the user and the person in charge of the state of the vehicle, or to manage the state history of the vehicle. However, it is not technically easy to accurately recognize a specific part of the vehicle, for example, a damaged part or a scratch, due to reflection due to illumination or sunlight, bending of the vehicle surface, peeling of the paint, or the like. Particularly, there are many obstacles and deviations in recognizing images of partial areas rather than the entire vehicle through computer vision.
따라서, 본 발명의 실시예들에서는 이력 시스템의 입력 영상으로서 하나의 이미지를 촬영/생성할 때, 입고 차량의 부분 이미지뿐만 아니라, 해당 영역에 대한 추가 정보를 담고자 하였으며, 이러한 추가 정보를 제공하는 수단으로서 제스처(gesture)를 활용하였다. 즉, 하나의 입력 영상 내에 차량의 부분 이미지와 제스처를 포함시켰으며, 특히 제스처에는 차량의 부분 이미지에 관한 부가 정보 내지 메타(meta) 정보를 담을 수 있도록 구성하였다.Therefore, in the embodiments of the present invention, when photographing / generating one image as an input image of the hysteresis system, not only a partial image of the goods receipt vehicle but also additional information about the corresponding area is to be stored. I used gesture as a means. That is, a partial image of a vehicle and a gesture are included in one input image. In particular, the gesture is configured to contain additional information or meta information about a partial image of the vehicle.
한편, 차량의 부분 이미지를 하나의 입력 영상 내에 포함시키더라도 영상의 전체 영역이 아닌 보다 구체적인 소부위를 한정하거나 특정할 필요성이 발견되었다. 따라서, 본 발명의 실시예들은 이러한 소부위를 한정하거나 특정하기 위하여 제스처 내에 방향 지시자(예를 들어, 손가락)가 포함될 수 있도록 구성하였다. 이를 통해 차량의 부분 이미지 내에서도 특히 흠집이나 칠 벗겨짐이 발견된 경우 이러한 영역을 보다 좁은 범위로 특정할 수 있도록 하였다. 이를 위해, 제스처의 유형을 크게 두 가지로 구분하였는데, 첫째는 차량의 구성 요소를 나타내는 유형이고, 둘째는 차량의 특정 영역을 지시하는 유형이다. 본 발명의 실시예들이 제안하는 제스처는 이러한 두 가지 유형 중 적어도 하나를 가질 수 있으며, 구현상의 필요에 따라 두 가지 유형을 모두 포함하는 형태의 유형으로 정의될 수도 있을 것이다.On the other hand, even if a partial image of a vehicle is included in one input image, it has been found necessary to specify or specify a more specific bovine portion rather than the entire region of the image. Thus, embodiments of the present invention are configured so that direction indicators (e.g., fingers) can be included within a gesture to define or specify such small areas. This makes it possible to specify a narrower range of the area of the vehicle, especially when scratches or peeling are found. For this purpose, the types of gestures are roughly divided into two types, the first representing the components of the vehicle and the second indicating the specific areas of the vehicle. The gestures proposed by embodiments of the present invention may have at least one of these two types, and may be defined as a type of type that includes both types as needed for implementation.
즉, 본 발명의 실시예들은 차량의 구성 소를 분석하여 이미지를 생성할 때, 특정 제스처를 이용해 차량의 상태 및 부분 이미지에 대한 메타(meta) 정보를 추가하였으며, 분류가 되지 않은 차량의 부분 이미지에 대해서 자동으로 이미지를 분류할 수 있으며 필요에 따라 좀 더 좁은 범위의 특정 영역을 지정할 수 있게 되었다.That is, the embodiments of the present invention add meta information about the state of the vehicle and the partial image using a specific gesture when analyzing the components of the vehicle to generate an image, Can automatically classify images and specify a narrower range of specific areas as needed.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. Incidentally, throughout the specification, " including " means not including other elements unless specifically stated to the contrary, it may include other elements.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprising ", or" comprising ", etc. are intended to specify the presence of stated features, integers, steps, operations, elements, parts, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, parts, or combinations thereof.
특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined in the present application .
도 1은 본 발명의 실시예들이 대상으로 하는 차량의 부분 이미지의 다양한 유형을 예시한 도면이다.1 is a diagram illustrating various types of partial images of a vehicle to which embodiments of the present invention are directed.
차량의 번호판을 인식하는 통상적인 차량 인식 기술들과는 달리 본 발명의 실시예들은 차량의 다양한 부분 영역들을 인식 및 분류의 대상으로 한다. 그런데, 부분 이미지의 특성상 이미지 자체만으로는 영상 처리가 매우 곤란한 경우가 발생한다. 예를 들어, 도 1의 (A)를 참조하면, 예시된 이미지만으로는 차량의 어느 부위에 해당하는지 자동화된 영상 처리 방식으로 처리하기 매우 어렵다. 나머지 도 1의 (B), (C), (D)의 경우에는 영상 내의 특징점이나 윤곽선을 추출하여 미리 확보된 데이터베이스와의 대조 내지 차량 부위 식별 알고리즘을 활용하여 처리하는 것이 가능할 것이다. 만약, 차량이 크게 파손되었거나, 차량의 외관에 이물질이 묻은 경우, 또는 차량 특유의 표면 광택으로 인해 촬영된 사진에 빛 반사가 심한 경우 해당 부분 영상의 식별 내지 분류에 장애가 발생하게 된다. Unlike conventional vehicle recognition techniques for recognizing a license plate of a vehicle, embodiments of the present invention are subject to recognition and classification of various subregions of the vehicle. However, due to the nature of the partial image, the image itself may be very difficult to process. For example, referring to FIG. 1 (A), it is very difficult to process the image by an automated image processing method depending on only the illustrated image. 1 (B), (C), and (D), it is possible to extract minutiae and contour lines in the image and to process them using a collated database or a vehicle site identification algorithm. If the vehicle is severely damaged, the outer surface of the vehicle is contaminated with foreign matter, or the light reflected by the photograph taken due to the surface gloss of the vehicle is severe, the identification or classification of the partial image may be obstructed.
이와 같이 자동화된 이미지 처리에 관한 부정적인 환경 요인들이 존재하기 때문에 차량의 부분 이미지를 분류하거나 이에 추가적인 정보를 부가하기 위해서는 별도의 기술적 수단이 요구됨을 알 수 있다.Since there are negative environmental factors related to the automated image processing, it is understood that a separate technical means is required to classify the partial images of the vehicle or add additional information thereto.
앞서 간략히 소개한 바와 같이, 본 발명의 실시예들은 제스처를 활용하여 이러한 차량의 부분 이미지를 분류하거나 부가 정보를 기술하였는데, 제스처의 종류와 대상은 자유롭게 선택 가능하다. 예를 들어, 사람의 손과 같은 신체를 활용할 수도 있고, 식별이 용이하도록 도식화된 이미지 카드(card) 등을 활용하는 것도 가능하다. 당연히 이러한 제스처별 의미는 사전에 약속된 바에 따라 정의될 수 있으며, 이를 차량 이력 관리 시스템 등이 독출하여 활용하게 된다.As described briefly above, embodiments of the present invention utilize gestures to classify partial images or additional information of such vehicles, wherein the type and object of the gesture are freely selectable. For example, it is possible to utilize a body such as a human hand, or to use an image card or the like which is schematized for easy identification. Naturally, the meanings of these gestures can be defined according to the promise of the dictionary, and the vehicle history management system reads and uses them.
(1) 제스처 유형 A: 차량의 구성 요소를 나타내는 제스처(1) Gesture Type A: A gesture representing a component of a vehicle
도 2는 차량의 구성 요소를 나타내는 제스처의 일 유형을 설명하기 위한 도면으로서, 하나의 입력 영상 내에 차량의 타이어와 이를 나타내는 제스처가 함께 포함되어 있다. 비록 기술적으로 타이어를 인식하는 것은 다른 부분 영역에 비해 상대적으로 용이한 편이나, 제스처의 부가를 통해 인식의 속도 및 정확도를 향상시킬 수 있다. 또한, 타이어가 심하게 파손되거나 오염된 경우에도 부분 이미지를 정확하게 인식시킬 수 있다는 장점이 있다. 이러한 차량의 구성 요소는 제스처와 각각 대응하여 미리 정의될 수 있으며, 매핑 테이블(mapping table)을 사용하여 인식된 제스처를 검색할 수 있다.Fig. 2 is a view for explaining one type of gesture showing a component of a vehicle, in which a tire of a vehicle and a gesture representing it are included in one input image. Although recognizing tires technically is relatively easy compared to other partial regions, the speed and accuracy of recognition can be improved by the addition of gestures. Further, there is an advantage that partial images can be accurately recognized even when the tire is severely damaged or contaminated. These vehicle components may be predefined in correspondence with the gestures, respectively, and a gesture may be retrieved using a mapping table.
(2) 제스처 유형 B: 차량의 특정 영역을 지시하는 제스처(2) Gesture type B: Gesture indicating a specific area of the vehicle
도 3은 차량의 특정 영역을 지시하는 제스처의 다른 유형을 설명하기 위한 도면으로서, 하나의 입력 영상 내에 차량의 부분 이미지와 부분 이미지 내에 포함된 특정 영역(흠집), 그리고 이를 지시하는 제스처가 함께 포함되어 있다. 획득된 부분 이미지 내에서도 좀 더 소영역의 지정이 요구되는 경우 이러한 유형의 제스처를 활용하여 구체적인 영역을 특정할 수 있다. 예를 들어, 제스처로서 사람의 손가락이 사용된 경우, 손가락이 지시하는 위치를 탐색하는 과정이 수반되며, 탐색 영역 내에서 차량의 부분 이미지 내의 화소값이 기타 주변 영역에 비해 차별화된 영역을 발견할 경우 이를 관심 영역으로 지정할 수 있다. 보다 구체적인 처리 방식은 이후 도 8 내지 도 9를 통해 설명하도록 한다.Fig. 3 is a view for explaining another type of gesture indicating a specific area of a vehicle, in which a partial image of the vehicle and a specific area (scratch) included in the partial image and a gesture indicating the same are included in one input image . If a smaller area is required to be specified in the obtained partial image, a specific area can be specified using this type of gesture. For example, when a finger of a person is used as a gesture, a process of searching for a position pointed by a finger is accompanied, and a pixel value in the partial image of the vehicle in the search area is found to be differentiated from other surrounding areas If so, you can designate it as a region of interest. A more specific processing method will be described later with reference to FIGS. 8 to 9. FIG.
도 4는 본 발명의 일 실시예에 따른 제스처 분석에 기반을 둔 차량의 이미지 처리 방법을 도시한 흐름도이다.4 is a flowchart illustrating an image processing method of a vehicle based on gesture analysis according to an embodiment of the present invention.
S100 단계는 이미지 처리를 위한 사전 준비 과정으로서, 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 과정이 필요하다. 매핑 테이블에는, 제스처 각각에 대한 유형, 제스처가 의미하는 차량의 구성 요소, 제스처의 유형에 따라 제스처가 지시하는 영역에 대한 설명이 포함될 수 있다.In step S100, a process of preparing a plurality of gestures and vehicle components represented by the respective gestures in correspondence with each other and storing them in a mapping table in advance is required. The mapping table may include a description of the type of each gesture, the components of the vehicle meant by the gesture, and the area indicated by the gesture according to the type of gesture.
S200 단계에서는, 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처(gesture)와 차량의 부분 이미지를 포함하는 하나의 입력 영상을 입력받는다. 이러한 형태의 입력 영상을 통해 단지 차량의 일부 영역에 대해 촬영된 부분 이미지에 그에 관한 부가 정보를 연계하여 제공할 수 있게 된다.In step S200, one input image including a gesture having a meaning of at least one of two types indicating a component of the vehicle or a specific area of the vehicle and a partial image of the vehicle is inputted. With this type of input image, it is possible to provide additional information related to a partial image photographed only for a partial area of the vehicle.
S300 단계에서는, 상기 입력 영상 내에서 상기 제스처를 인식하여 제스처의 유형에 따른 의미를 식별한다. 이 과정에서는 영상 인식 기술을 활용하여 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형 및 그에 따른 의미를 독출할 수 있다.In step S300, the gesture is recognized in the input image to identify the meaning according to the type of the gesture. In this process, the type of the gesture and its meaning can be read by inquiring the mapping table using the recognized gesture using the image recognition technology.
S400 단계에서는, 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류한다. 이 과정에서는, S300 단계를 통해 독출된 제스처의 유형 및 의미를 기반으로 차량의 부분 이미지를 분류하되, 차량의 부분 이미지 자체로부터 추출된 정보에 기초하여 미리 저장된 데이터베이스를 조회하여 추가적인 정보를 부가할 수도 있을 것이다.In step S400, the partial image of the vehicle in the input image is classified based on the identified meaning. In this process, the partial image of the vehicle is classified on the basis of the type and meaning of the gesture read through step S300, and the previously stored database is inquired based on the information extracted from the partial image of the vehicle to add additional information There will be.
도 5를 참조하여, 이 과정을 보다 구체적으로 설명한다.This process will be described in more detail with reference to FIG.
우선, S410 단계를 통해 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우를 가정하자. 이 경우, S420 단계로 진행하여, 상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, S430 단계를 통해 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장한다. 만약 S420 단계에서 앞서 저장된 매핑 테이블 내에 저장되어 있지 않은 유형의 제스처라고 판단되었거나 분류에 실패하였다면, 미분류 이미지로 예외 처리할 수 있을 것이다.First, it is assumed that the type of the gesture is identified as representing the components of the vehicle through step S410. In this case, in step S420, the partial image of the vehicle in the input image is classified according to the component of the vehicle represented by the gesture, and the partial image of the vehicle classified through the step S430 and the identified Corresponding meaning is stored together. If it is determined in step S420 that the type of gesture is not stored in the previously stored mapping table, or if classification fails, an exceptional image can be processed as a non-classified image.
반면, S410 단계를 통해 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우를 가정하자. 이 경우, S440 단계로 진행하여 제스처의 지시 영역을 탐색하게 된다. S450 단계에서 탐색을 통해 제스처가 지시하는 특정 영역이 발견된 경우, S460 단계로 진행하여 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장한다. 만약 S450 단계에서 탐색을 통해 제스처가 지시하는 특정 영역이 발견되지 않았다면, S420 단계로 진행하여 단지 차량의 부분 이미지를 분류하는 절차를 수행할 수 있다.On the other hand, it is assumed that the type of the gesture is identified as indicating a specific area of the vehicle through step S410. In this case, the flow advances to step S440 to search for an instruction area of the gesture. If it is determined in step S450 that the specific region indicated by the gesture is found, the process proceeds to step S460 where a specific area of the vehicle indicated by the gesture is designated as an additional area of interest, and the partial image of the vehicle and the designated area of interest The location information is stored in association with each other. If it is determined in step S450 that the specific area indicated by the gesture is not found, the process proceeds to step S420 to perform a procedure of simply sorting the partial image of the vehicle.
도 6은 차량의 구성 요소를 분류하는 기준을 예시한 도면으로서, 차량의 구성 요소와 그 의미를 매칭하여 제시하고 있음을 확인할 수 있다.FIG. 6 is a diagram illustrating a criterion for classifying the components of a vehicle, and it can be confirmed that the components and the meanings of the components are matched and presented.
도 7은 손가락 제스처와 그에 따른 분류를 예시한 도면으로서, 제스처의 유형을 크게 두 가지(차량의 구성 요소를 나타내거나 유형 A, 차량의 특정 영역을 지시하는 유형 B)로 설정하였으며, 각각의 제스처에 대응하는 차량의 구성 요소, 그리고 제스처의 유형에 따라 제스처가 지시하는 바의 의미가 부가되어 있음을 확인할 수 있다.FIG. 7 is a diagram illustrating a finger gesture and a classification according to the gesture. The gesture is roughly classified into two types (a type A indicating a component of a vehicle or a type B indicating a specific area of a vehicle) It can be confirmed that the meaning of the gesture is added according to the component of the vehicle corresponding to the gesture, and the type of the gesture.
도 8은 도 5의 차량의 이미지 처리 방법에서 제스처 유형 B에 따라 특정 영역을 발견하는 과정을 보다 구체적으로 도시한 흐름도로서, 제스처의 유형을 판단하는 과정(S410) 이후의 절차를 기술하고 있다.FIG. 8 is a flowchart showing a process of finding a specific area in accordance with the gesture type B in the image processing method of the vehicle of FIG. 5, and illustrates a procedure after the step of determining the type of the gesture (S410).
이 과정은, 제스처 내에 미리 정의된 방향 지시자를 인식하고, 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정할 수 있을 것이다.This process recognizes a predefined direction indicator in the gesture, forms a vector in the direction indicated by the direction indicator recognized in one input image, and searches for the location where the vehicle meets the partial image, You can set it.
S441 단계에서는 차량의 구성 요소를 인식하고, 제스처 내에 미리 정의된 방향 지시자를 인식하며, 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터를 추출한다. S443 단계에서는 추출된 벡터를 이용하여 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색한다. S450 단계를 통해, 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역인 특정 영역을 발견한다.In step S441, a component of the vehicle is recognized, a predefined direction indicator is recognized in the gesture, and a vector is extracted in a direction indicated by the direction indicator recognized in one input image. In step S443, the extracted margin is searched on the partial image of the vehicle using the extracted vector. Through step S450, a specific area in which a pixel value of an image, a geometric feature value of a point or a line within the margin range is a threshold value or more than the surrounding area is found.
S453 단계에서는 주변에 현재의 특징값보다 더 큰 특징값이 존재하는지 여부를 검사하여 발견된 특정 영역을 선택하는 것이 적절한지 여부를 검사한다. 만약 주변에 현재의 특징값보다 더 큰 특징값을 갖는 영역이 존재한거나, S450 단계에서 특정 영역이 발견되지 않았다면, S453 단계로 진행하여 탐색의 조건을 변경한다. 이때 여백 범위를 증가시키거나 탐색 영역을 확대함으로써 제스처가 지시하는 바에 따른 특정 영역을 재탐색하게 된다. S453 단계에서 특정 영역이 적절하게 선택되었다고 판단되면, S460 단계에서 관심 영역으로 설정 및 저장한다.In step S453, it is checked whether or not there is a feature value larger than the current feature value in the surroundings, and it is determined whether it is appropriate to select the specific region that is found. If there is an area having a feature value larger than the current feature value in the vicinity or if no specific area is found in step S450, the process goes to step S453 to change the search condition. At this time, by increasing the margin range or enlarging the search area, the specific area according to the direction indicated by the gesture is rediscovered. If it is determined in step S453 that the specific area has been appropriately selected, it is set and stored as a region of interest in step S460.
도 9는 제스처로부터 벡터 및 여백 범위를 이용하여 관심 영역을 지정하는 과정을 설명하기 위한 도면으로서, 제스처의 방향 지시자(검지 손가락)이 가르키는 방향으로 벡터(점선)를 연장하여 형성하되, 여백 범위 내에서 특정 영역을 탐색하고 있음을 보여준다. 여러 위치 후보 중 가장 특정 영역에 유사한 값을 가진 후보를 선택하고 여백 범위에 대한 각도의 값을 줄이면서 비교하고 선택하는 과정을 거친다. 또한 추가적으로 특정 위치를 가리키는 제스처의 종류를 다르게 설정하여 특정 위치의 종류를 지정하는 것에도 사용할 수 있다.9 is a diagram for explaining a process of specifying a region of interest using a vector and a margin range from a gesture, in which a vector (dotted line) is extended in a direction indicated by a direction indicator (index finger) of a gesture, And that a particular region is being searched within the region. The candidates having similar values in the most specific area among the plurality of position candidates are selected, and the comparison of the angles with respect to the margin range is performed while reducing the value. In addition, the type of the gesture pointing to the specific position may be set differently to specify the type of the specific position.
이제 적절한 특정 영역이 발견되면, 검증을 통해 관심 영역으로 지정하되, 구현상의 필요에 따라, 차량의 부분 이미지 상에 관심 영역을 마킹(marking)하거나, 상기 관심 영역을 확대 내지 크로핑(cropping)하여 출력하거나, 상기 관심 영역의 좌표 정보(X, Y좌표와 영역정보 등)를 출력함으로써 이후에 활용할 수 있다.If an appropriate specific area is found, it is then possible to designate it as an area of interest through verification, marking the area of interest on the partial image of the vehicle, or enlarging or cropping the area of interest, Or outputting coordinate information (X, Y coordinates and area information) of the ROI.
한편, 활용의 관점에서, 서비스 센터, 장기 주차장, 세차장 내지 렌터카 영업소 등에서 차량의 입고 과정과 연계하여 다음과 같은 실시예의 제안이 가능하다.On the other hand, from the viewpoint of utilization, it is possible to propose the following embodiment in connection with the stocking process of the vehicle at a service center, a long-term parking lot, a car wash shop or a rental car sales office.
우선, 이미지 처리를 위한 준비 과정으로서 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장한다. 차량 입고 요청에 따라 상기 차량의 외관을 인지한 담당자의 제스처와 함께 상기 차량의 부분 이미지를 포함하도록 촬영된 하나의 입력 영상을 입력받고, 상기 입력 영상 내에서 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처를 인식하며, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별한다. 그런 다음, 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하여 상기 입고 차량에 대한 요구 사항과 더불어 메타(meta) 정보로서 저장한다.First, as a preparation process for image processing, a plurality of gestures and vehicle components represented by the respective gestures are associated with each other and stored in advance in a mapping table. The image processing method includes receiving an input image photographed to include a partial image of the vehicle together with a gesture of a person in charge of recognizing the appearance of the vehicle according to a request for loading a vehicle and displaying the components of the vehicle in the input image, Recognizes a gesture having at least one of two types indicating a specific region, and identifies a meaning according to the type of the gesture by inquiring the mapping table using the recognized gesture. Then, based on the identified meaning, the partial image of the vehicle in the input image is classified and stored as meta information in addition to the requirements for the receiving vehicle.
이때, 상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우, 상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장할 수 있다.Wherein when the type of the gesture is identified as representing a component of the vehicle, the gesture classifies the partial image of the vehicle in the input image according to a component of the vehicle represented by the gesture, The identified meanings of the components can be associated and stored together.
반면, 상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우, 상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장할 수 있다. 또한, 차량의 부분 이미지를 분류함에 있어서, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정할 수 있다. 나아가, 차량의 부분 이미지를 분류함에 있어서, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정할 수 있다.On the other hand, when the type of the gesture is identified as indicating a specific area of the vehicle, a specific area of the vehicle indicated by the gesture is designated as an additional area of interest, and a partial image of the vehicle and position information Can be associated and stored together. In addition, in classifying the partial image of the vehicle, it is possible to recognize a direction indicator previously defined in the gesture, and form a vector in a direction indicated by the direction indicator recognized in the one input image, The area of interest can be set by searching for the location where the image meets. Further, in classifying the partial image of the vehicle, it is preferable to recognize a predefined direction indicator in the gesture, and set a predetermined margin range on the partial image of the vehicle in the direction indicated by the direction indicator recognized in the one input image A region in which a pixel value of the image, a geometric feature value of a point or a line is greater than or equal to a threshold value in the margin range can be set as the region of interest.
이제, 입고 차량에 대한 서비스 제공시, 분류되어 저장된 상기 차량의 부분 이미지를 상기 메타 정보와 함께 표시함으로써, 차량의 사용자 내지 담당자의 편의를 도모한다.Now, at the time of providing the service for the in-stock vehicle, the partial image of the vehicle classified and stored together with the meta information is displayed for convenience of the user or the person in charge of the vehicle.
도 10은 본 발명의 일 실시예에 따른 제스처 분석에 기반을 둔 차량의 이미지 처리 장치(20)를 도시한 블록도로서, 앞서 도 4 및 도 5를 통해 기술한 일련의 이미지 처리 방법을 장치 구성의 관점에서 재구성한 것이다. 따라서, 여기서는 설명의 중복을 피하고자 각 구성의 기능을 약술하도록 한다.FIG. 10 is a block diagram showing an
저장부(21)는, 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 구성이다.The
입력부(23)는, 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처(gesture)와 차량의 부분 이미지를 포함하는 하나의 입력 영상(10)을 입력받는 구성이다.The
메모리(25)는, 입력부(23)를 통해 입력된 상기 입력 영상(10)으로부터 제스처를 분석하여 상기 차량의 부분 이미지를 자동으로 분류하는 프로그램을 저장한다. 프로세서(27)는, 메모리(25)로부터 차량의 부분 이미지를 자동으로 분류하는 프로그램을 독출하여 이를 구동한다. 여기서, 메모리(25)에 저장된 프로그램은, 상기 입력 영상(10) 내에서 상기 제스처를 인식하고, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별하며, 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하는 명령어를 포함한다.The
만약 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우, 상기 메모리(25)에 저장된 프로그램은, 상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장할 수 있다.If the type of the gesture is identified as representing a component of the vehicle, the program stored in the
반면, 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우, 상기 메모리(25)에 저장된 프로그램은, 상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장할 수 있다.On the other hand, if the type of gesture is identified as indicating a specific area of the vehicle, the program stored in the
또한, 메모리(25)에 저장된 프로그램은, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정할 수 있다. 나아가, 상기 메모리(25)에 저장된 프로그램은, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정할 수 있다.Also, the program stored in the
본 발명의 실시예들은 제스처 분석을 통한 차량의 부분 이미지를 자동으로 분류하고, 특정 영역을 지정하는 방법을 제안하였다. 현재 사람의 손과 눈으로 이루어지는 차량의 부분적인 이미지에 대한 분류와 차량의 상태 확인 절차를 자동화하여, 제스처를 사용한 효과적인 이미지 분류가 가능하다. 또한 이미지 분류뿐만이 아니라 사용자가 원하는 특정 부분의 위치를 제스처를 이용해 분류를 가능하게 하며 위치 정보의 확인도 가능하다. 본 발명의 실시예들은 향후 많은 차를 처리하여야 하는 세차 작업이나 자동차 수리 분야 등에서 사용자가 작업하는데 유용하게 사용될 수 있으며, 제스처를 메타 데이터로써 차량에 마킹하여 정보를 부가하는 방법을 확장 적용할 수 있을 것으로 기대된다.Embodiments of the present invention propose a method of automatically classifying a partial image of a vehicle through gesture analysis and designating a specific area. It is possible to classify the partial image of the vehicle, which is composed of human hands and eyes, and to automate the status checking procedure of the vehicle, so that effective image classification using gestures is possible. In addition, not only image classification but also the location of the specific part desired by the user can be classified using the gesture, and the location information can be confirmed. Embodiments of the present invention can be usefully used for a user to work in a car wash or automobile repair field where a lot of cars have to be processed in the future, and a method of marking a gesture as a meta data and adding information can be applied .
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the embodiments of the present invention can be embodied as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described above with reference to various embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
10: 입력 영상
20: 차량의 이미지 처리 장치
21: 저장부
23: 입력부
25: 메모리
27: 프로세서10: input image
20: image processing device of a vehicle
21: storage unit 23: input unit
25: memory 27: processor
Claims (18)
상기 입력 영상 내에서 상기 제스처를 인식하여 제스처의 유형에 따른 의미를 식별하는 단계; 및
식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하는 단계를 포함하는 차량의 이미지 처리 방법.Receiving an input image including a gesture having a meaning of at least one of two types indicating a component of the vehicle or a specific area of the vehicle and a partial image of the vehicle;
Recognizing the gesture in the input image and identifying a meaning according to the type of the gesture; And
And classifying the partial image of the vehicle in the input image based on the identified meaning.
복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 단계를 더 포함하고,
상기 제스처의 유형에 따른 의미를 식별하는 단계는,
인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형 및 그에 따른 의미를 독출하는 것을 특징으로 하는 차량의 이미지 처리 방법.The method according to claim 1,
Further comprising storing in advance a mapping table of a plurality of gestures and corresponding vehicle components represented by the respective gestures in correspondence with each other,
Wherein identifying a meaning according to the type of gesture comprises:
And reading the type of the gesture and the meaning according to the gesture by referring to the mapping table using the recognized gesture.
상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우,
상기 차량의 부분 이미지를 분류하는 단계는,
상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장하는 것을 특징으로 하는 차량의 이미지 처리 방법.The method according to claim 1,
If the type of gesture is identified as representing a component of the vehicle,
Wherein classifying the partial images of the vehicle comprises:
Wherein the gesture classifies the partial image of the vehicle in the input image according to the component of the vehicle represented by the gesture and stores the partial image of the vehicle in correspondence with the identified meaning of the component together Image processing method.
상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우,
상기 차량의 부분 이미지를 분류하는 단계는,
상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장하는 것을 특징으로 하는 차량의 이미지 처리 방법.The method according to claim 1,
If the type of gesture is identified as indicating a particular area of the vehicle,
Wherein classifying the partial images of the vehicle comprises:
Wherein a specific area of the vehicle indicated by the gesture is designated as an additional area of interest and the partial image of the vehicle and the positional information about the designated area of interest are associated with each other and stored together.
상기 차량의 부분 이미지를 분류하는 단계는,
상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정하는 것을 특징으로 하는 차량의 이미지 처리 방법.5. The method of claim 4,
Wherein classifying the partial images of the vehicle comprises:
Recognizing a predefined direction indicator in the gesture and forming a vector in a direction indicated by the direction indicator recognized in the one input image to search for a location where the partial image of the vehicle meets the object, And the image processing method of the vehicle.
상기 차량의 부분 이미지를 분류하는 단계는,
상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정하는 것을 특징으로 하는 차량의 이미지 처리 방법.5. The method of claim 4,
Wherein classifying the partial images of the vehicle comprises:
The method comprising the steps of: recognizing a predefined direction indicator in the gesture; searching for a predetermined margin range on the partial image of the vehicle in a direction indicated by the direction indicator recognized in the one input image, A region having a geometric feature value of a value, a point, or a line that is greater than or equal to a threshold value is set as a region of interest.
상기 차량의 부분 이미지를 분류하는 단계는,
상기 차량의 부분 이미지 상에 상기 관심 영역을 마킹(marking)하거나, 상기 관심 영역을 크로핑(cropping)하여 출력하거나, 상기 관심 영역의 좌표 정보를 출력하는 것을 특징으로 하는 차량의 이미지 처리 방법.5. The method of claim 4,
Wherein classifying the partial images of the vehicle comprises:
Marking the region of interest on the partial image of the vehicle, cropping and outputting the region of interest, or outputting the coordinate information of the region of interest.
차량 입고 요청에 따라 상기 차량의 외관을 인지한 담당자의 제스처와 함께 상기 차량의 부분 이미지를 포함하도록 촬영된 하나의 입력 영상을 입력받는 단계;
상기 입력 영상 내에서 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처를 인식하고, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별하는 단계;
식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하여 상기 입고 차량에 대한 요구 사항과 더불어 메타(meta) 정보로서 저장하는 단계; 및
입고 차량에 대한 서비스 제공시, 분류되어 저장된 상기 차량의 부분 이미지를 상기 메타 정보와 함께 표시하는 단계를 포함하는 입고 차량의 이미지 처리 방법.Associating a plurality of gestures with vehicle components represented by the respective gestures and storing them in advance in a mapping table;
Receiving an input image photographed to include a partial image of the vehicle together with a gesture of a person in charge perceiving the appearance of the vehicle according to a request for a vehicle arrival;
Recognizing a gesture having at least one of two types of representing a vehicle component or a specific area of the vehicle in the input image and searching the mapping table using the recognized gesture, Identifying a meaning according to the type of the object;
Classifying the partial image of the vehicle in the input image based on the identified meaning and storing the meta information in addition to the requirements for the entering vehicle; And
Displaying a partial image of the vehicle classified and stored together with the meta information when providing a service for an inbound vehicle.
상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우,
상기 차량의 부분 이미지를 분류하는 단계는,
상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장하는 것을 특징으로 하는 입고 차량의 이미지 처리 방법.9. The method of claim 8,
If the type of gesture is identified as representing a component of the vehicle,
Wherein classifying the partial images of the vehicle comprises:
Characterized in that a partial image of the vehicle in the input image is classified according to a component of the vehicle represented by the gesture and the partial image of the vehicle and the identified meaning of the component are associated with each other and stored together. / RTI >
상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우,
상기 차량의 부분 이미지를 분류하는 단계는,
상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장하는 것을 특징으로 하는 입고 차량의 이미지 처리 방법.9. The method of claim 8,
If the type of gesture is identified as indicating a particular area of the vehicle,
Wherein classifying the partial images of the vehicle comprises:
Wherein a specific area of the vehicle indicated by the gesture is designated as an additional area of interest and the partial image of the vehicle and the positional information of the designated area of interest are associated with each other and stored together.
상기 차량의 부분 이미지를 분류하는 단계는,
상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정하는 것을 특징으로 하는 입고 차량의 이미지 처리 방법.11. The method of claim 10,
Wherein classifying the partial images of the vehicle comprises:
Recognizing a predefined direction indicator in the gesture and forming a vector in a direction indicated by the direction indicator recognized in the one input image to search for a location where the partial image of the vehicle meets the object, And the image of the stocked vehicle.
상기 차량의 부분 이미지를 분류하는 단계는,
상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정하는 것을 특징으로 하는 입고 차량의 이미지 처리 방법.11. The method of claim 10,
Wherein classifying the partial images of the vehicle comprises:
The method comprising the steps of: recognizing a predefined direction indicator in the gesture; searching for a predetermined margin range on the partial image of the vehicle in a direction indicated by the direction indicator recognized in the one input image, Value, point, or line is greater than or equal to a threshold value as a region of interest.
차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처(gesture)와 차량의 부분 이미지를 포함하는 하나의 입력 영상을 입력받는 입력부;
입력된 상기 입력 영상으로부터 제스처를 분석하여 상기 차량의 부분 이미지를 자동으로 분류하는 프로그램을 저장하는 메모리; 및
상기 프로그램을 구동하는 프로세서를 포함하되,
상기 메모리에 저장된 프로그램은,
상기 입력 영상 내에서 상기 제스처를 인식하고, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별하며, 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하는 명령어를 포함하는 차량의 이미지 처리 장치.A storage unit for storing a plurality of gestures in association with the components of the vehicle represented by the respective gestures in advance in a mapping table;
An input unit for receiving one input image including a gesture and a partial image of the vehicle, the input unit including a gesture having at least one of two types indicating a component of the vehicle or indicating a specific area of the vehicle;
A memory for storing a program for automatically classifying a partial image of the vehicle by analyzing a gesture from the inputted input image; And
And a processor for driving the program,
A program stored in the memory,
Recognizing the gesture in the input image, identifying the meaning according to the type of the gesture by inquiring the mapping table using the recognized gesture, classifying the partial image of the vehicle in the input image based on the identified meaning The image processing apparatus comprising:
상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우,
상기 메모리에 저장된 프로그램은,
상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장하는 것을 특징으로 하는 차량의 이미지 처리 장치.15. The method of claim 14,
If the type of gesture is identified as representing a component of the vehicle,
A program stored in the memory,
Wherein the gesture classifies the partial image of the vehicle in the input image according to the component of the vehicle represented by the gesture and stores the partial image of the vehicle in correspondence with the identified meaning of the component together Image processing device.
상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우,
상기 메모리에 저장된 프로그램은,
상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장하는 것을 특징으로 하는 차량의 이미지 처리 장치.15. The method of claim 14,
If the type of gesture is identified as indicating a particular area of the vehicle,
A program stored in the memory,
Specifying a specific area of the vehicle indicated by the gesture as an additional area of interest, and storing the partial image of the vehicle and the specified position information of the specified area of interest in association with each other.
상기 메모리에 저장된 프로그램은,
상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정하는 것을 특징으로 하는 차량의 이미지 처리 장치.17. The method of claim 16,
A program stored in the memory,
Recognizing a predefined direction indicator in the gesture and forming a vector in a direction indicated by the direction indicator recognized in the one input image to search for a location where the partial image of the vehicle meets the object, Wherein the image processing apparatus comprises:
상기 메모리에 저장된 프로그램은,
상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정하는 것을 특징으로 하는 차량의 이미지 처리 장치.17. The method of claim 16,
A program stored in the memory,
The method comprising the steps of: recognizing a predefined direction indicator in the gesture; searching for a predetermined margin range on the partial image of the vehicle in a direction indicated by the direction indicator recognized in the one input image, And a region having a geometric feature value of a value, a point, or a line that is greater than or equal to a threshold value as a surrounding region is set as a region of interest.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170165071A KR102259740B1 (en) | 2017-12-04 | 2017-12-04 | Apparatus and method for processing images of car based on gesture analysis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170165071A KR102259740B1 (en) | 2017-12-04 | 2017-12-04 | Apparatus and method for processing images of car based on gesture analysis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190065664A true KR20190065664A (en) | 2019-06-12 |
| KR102259740B1 KR102259740B1 (en) | 2021-06-03 |
Family
ID=66845785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170165071A KR102259740B1 (en) | 2017-12-04 | 2017-12-04 | Apparatus and method for processing images of car based on gesture analysis |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102259740B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022047456A1 (en) * | 2020-08-24 | 2022-03-03 | Snap Inc. | Vehicle recognition system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100978929B1 (en) * | 2008-06-24 | 2010-08-30 | 한국전자통신연구원 | Registration method of reference gesture data, operation method of mobile terminal and mobile terminal |
| KR101321597B1 (en) | 2013-08-30 | 2013-10-28 | 주식회사 넥스파시스템 | Vehicle identification based on image/video analysis and manless fare allocation system |
| KR101481681B1 (en) * | 2012-11-13 | 2015-01-12 | 애비소닉 테크놀로지 코포레이션 | Vehicular image system and display control method for vehicular image |
| US20160091976A1 (en) * | 2014-09-30 | 2016-03-31 | Xerox Corporation | Dynamic hand-gesture-based region of interest localization |
| KR20170055254A (en) * | 2015-11-11 | 2017-05-19 | 삼성전자주식회사 | Method and apparatus for processing metadata |
| KR101781863B1 (en) * | 2011-04-11 | 2017-09-26 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
-
2017
- 2017-12-04 KR KR1020170165071A patent/KR102259740B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100978929B1 (en) * | 2008-06-24 | 2010-08-30 | 한국전자통신연구원 | Registration method of reference gesture data, operation method of mobile terminal and mobile terminal |
| KR101781863B1 (en) * | 2011-04-11 | 2017-09-26 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
| KR101481681B1 (en) * | 2012-11-13 | 2015-01-12 | 애비소닉 테크놀로지 코포레이션 | Vehicular image system and display control method for vehicular image |
| KR101321597B1 (en) | 2013-08-30 | 2013-10-28 | 주식회사 넥스파시스템 | Vehicle identification based on image/video analysis and manless fare allocation system |
| US20160091976A1 (en) * | 2014-09-30 | 2016-03-31 | Xerox Corporation | Dynamic hand-gesture-based region of interest localization |
| KR20170055254A (en) * | 2015-11-11 | 2017-05-19 | 삼성전자주식회사 | Method and apparatus for processing metadata |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022047456A1 (en) * | 2020-08-24 | 2022-03-03 | Snap Inc. | Vehicle recognition system |
| US11620350B2 (en) | 2020-08-24 | 2023-04-04 | Snap Inc. | Vehicle recognition system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102259740B1 (en) | 2021-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11393191B2 (en) | Method and system for obtaining vehicle target views from a video stream | |
| CN110569701B (en) | Computer-implemented vehicle damage assessment method and device | |
| CN107358596B (en) | Vehicle loss assessment method and device based on image, electronic equipment and system | |
| CN107430775B (en) | Method and industrial vehicle for using ceiling light to position | |
| CN105765627B (en) | With the industrial vehicle positioned based on ceiling light | |
| JP2019149150A (en) | Method and apparatus for processing point cloud data | |
| US20210334548A1 (en) | Vehicle damage assessment method, apparatus, and device | |
| US20190114494A1 (en) | Vehicle model identification device, vehicle model identification system, and vehicle model identification method | |
| Chen et al. | Automatic detection of traffic lights using support vector machine | |
| US9818198B2 (en) | Method for near-realtime workspace mapping | |
| US20220415012A1 (en) | Image processing based methods and apparatus for planogram compliance | |
| CN104615998A (en) | Vehicle search method based on multiple views | |
| JPH1173456A (en) | Vehicle repair cost estimation system and recording medium storing repair cost estimating program | |
| Jeon et al. | A deep learning framework for robust and real-time taillight detection under various road conditions | |
| US11783597B2 (en) | Image semantic segmentation for parking space detection | |
| KR101750615B1 (en) | Device and method for object recognition and detection | |
| KR20190065664A (en) | Apparatus and method for processing images of car based on gesture analysis | |
| JP6993282B2 (en) | Information terminal devices, programs and methods | |
| JP2018124177A (en) | Floor surface determination method | |
| JP4745966B2 (en) | Automatic target identification system | |
| JP2861014B2 (en) | Object recognition device | |
| WO2022247628A1 (en) | Data annotation method and related product | |
| JP2605295B2 (en) | Car type identification method | |
| JP5962442B2 (en) | Sign recognition system, sign recognition method, and sign recognition program | |
| CN113298044B (en) | Obstacle detection method, system, device and storage medium based on positioning compensation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |