KR102259740B1 - 제스처 분석에 기반을 둔 차량의 이미지 처리 장치 및 방법 - Google Patents

제스처 분석에 기반을 둔 차량의 이미지 처리 장치 및 방법 Download PDF

Info

Publication number
KR102259740B1
KR102259740B1 KR1020170165071A KR20170165071A KR102259740B1 KR 102259740 B1 KR102259740 B1 KR 102259740B1 KR 1020170165071 A KR1020170165071 A KR 1020170165071A KR 20170165071 A KR20170165071 A KR 20170165071A KR 102259740 B1 KR102259740 B1 KR 102259740B1
Authority
KR
South Korea
Prior art keywords
vehicle
gesture
image
partial image
region
Prior art date
Application number
KR1020170165071A
Other languages
English (en)
Other versions
KR20190065664A (ko
Inventor
손윤식
정준호
이승연
이혜린
이준영
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020170165071A priority Critical patent/KR102259740B1/ko
Publication of KR20190065664A publication Critical patent/KR20190065664A/ko
Application granted granted Critical
Publication of KR102259740B1 publication Critical patent/KR102259740B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06K9/6267
    • G06K9/481
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 제스처(gesture) 분석에 기반을 둔 차량의 이미지 처리 기술에 관한 것으로, 차량의 이미지 처리 방법은, 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처와 차량의 부분 이미지를 포함하는 하나의 입력 영상을 입력받고, 입력 영상 내에서 제스처를 인식하여 제스처의 유형에 따른 의미를 식별하며, 식별된 의미에 기초하여 입력 영상 내의 차량의 부분 이미지를 분류하거나 특정 영역 정보를 저장한다.

Description

제스처 분석에 기반을 둔 차량의 이미지 처리 장치 및 방법{Apparatus and method for processing images of car based on gesture analysis}
본 발명은 컴퓨터 비전(computer vision) 및 이미지 처리에 관한 기술로서, 특히 차량의 이미지들을 인식하고 인식된 이미지들을 자동으로 분류하는 이미지 처리 장치, 방법 및 그 방법을 기록한 기록매체에 관한 것이다.
기존의 차량에 대한 인식 기술은 차량의 종류나 번호를 인식하기 위한 연구가 주로 진행되었다. 이를 위해서 차량의 전체 이미지를 사용하거나 번호판에 해당하는 영역을 이용하여 인식을 수행하는 것이 일반적인 연구 방법이었다. 특히, 차량 자체의 인식을 위해서는 차량의 유일하면서 고유의 식별자인 번호판의 위치를 특정하거나 탐색하는데 많은 연구가 집중되었다.
한편, 차량의 전체 이미지가 아닌 일부분의 이미지만을 바탕으로 해당 차량의 구성요소를 판단하는 기술은 많은 연구가 진행되지 않았다. 실제로 이와 같은 부분 이미지로부터 부위와 상태를 확인하는 것은 사람의 눈을 바탕으로 차량의 부위들을 분류하고 상태를 판단하는 과정을 수행하고 있다. 부분 이미지만을 이용한 인식은 공유 경제가 활성화되면서 차량의 대여 전, 후의 상태를 기록하여 상호간의 신뢰 문제를 해결하고 상태 이력을 관리하는 측면에서 매우 효과적으로 활용될 수 있다.
다만, 자동화된 이미지 처리의 관점에서 차량의 부분 이미지만으로는 차량의 식별이나 부가적인 정보를 자동으로 인식시켜 처리하는데 많은 기술적 어려움이 존재하였는바, 이를 해소할 수 있는 새로운 기술적 수단의 제시가 요구되고 있다.
한국등록특허공보 10-1321597, 주식회사 넥스파시스템, 2013년10월28일 공고
본 발명이 해결하고자 하는 기술적 과제는, 차량에 대한 종래의 이미지 처리 기술들이 차량의 번호판에 집중되어 있으며 차량의 부분 이미지가 차량에 관한 충분한 정보를 제공하지 못한다는 문제를 해결하고, 다양한 환경적인 요인으로 인해 차량의 부분 이미지 내에 포함된 부족하고 왜곡된 정보만으로는 자동화된 이미지 인식이 정확하게 수행되기 어렵다는 기술적 한계를 극복하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량의 이미지 처리 방법은, 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처(gesture)와 차량의 부분 이미지를 포함하는 하나의 입력 영상을 입력받는 단계; 상기 입력 영상 내에서 상기 제스처를 인식하여 제스처의 유형에 따른 의미를 식별하는 단계; 및 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하는 단계를 포함한다.
일 실시예에 따른 차량의 이미지 처리 방법은, 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 단계를 더 포함하고, 상기 제스처의 유형에 따른 의미를 식별하는 단계는, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형 및 그에 따른 의미를 독출할 수 있다.
일 실시예에 따른 차량의 이미지 처리 방법에서, 상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우, 상기 차량의 부분 이미지를 분류하는 단계는, 상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장할 수 있다.
일 실시예에 따른 차량의 이미지 처리 방법에서, 상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우, 상기 차량의 부분 이미지를 분류하는 단계는, 상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장할 수 있다.
또한, 일 실시예에 따른 차량의 이미지 처리 방법에서, 상기 차량의 부분 이미지를 분류하는 단계는, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정할 수 있다.
나아가, 일 실시예에 따른 차량의 이미지 처리 방법에서, 상기 차량의 부분 이미지를 분류하는 단계는, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정할 수 있다.
일 실시예에 따른 차량의 이미지 처리 방법에서, 상기 차량의 부분 이미지를 분류하는 단계는, 상기 차량의 부분 이미지 상에 상기 관심 영역을 마킹(marking)하거나, 상기 관심 영역을 크로핑(cropping)하여 출력하거나, 상기 관심 영역의 좌표 정보를 출력할 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 입고 차량의 이미지 처리 방법은, 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 단계; 차량 입고 요청에 따라 상기 차량의 외관을 인지한 담당자의 제스처와 함께 상기 차량의 부분 이미지를 포함하도록 촬영된 하나의 입력 영상을 입력받는 단계; 상기 입력 영상 내에서 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처를 인식하고, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별하는 단계; 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하여 상기 입고 차량에 대한 요구 사항과 더불어 메타(meta) 정보로서 저장하는 단계; 및 입고 차량에 대한 서비스 제공시, 분류되어 저장된 상기 차량의 부분 이미지를 상기 메타 정보와 함께 표시하는 단계를 포함한다.
한편, 이하에서는 상기 기재된 차량의 이미지 처리 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량의 이미지 처리 장치는, 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 저장부; 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처(gesture)와 차량의 부분 이미지를 포함하는 하나의 입력 영상을 입력받는 입력부; 입력된 상기 입력 영상으로부터 제스처를 분석하여 상기 차량의 부분 이미지를 자동으로 분류하는 프로그램을 저장하는 메모리; 및 상기 프로그램을 구동하는 프로세서를 포함하되, 상기 메모리에 저장된 프로그램은, 상기 입력 영상 내에서 상기 제스처를 인식하고, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별하며, 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하는 명령어를 포함한다.
일 실시예에 따른 차량의 이미지 처리 장치에서, 상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우, 상기 메모리에 저장된 프로그램은, 상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장할 수 있다.
일 실시예에 따른 차량의 이미지 처리 장치에서, 상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우, 상기 메모리에 저장된 프로그램은, 상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장할 수 있다.
또한, 일 실시예에 따른 차량의 이미지 처리 장치에서, 상기 메모리에 저장된 프로그램은, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정할 수 있다.
나아가, 일 실시예에 따른 차량의 이미지 처리 장치에서, 상기 메모리에 저장된 프로그램은, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정할 수 있다.
본 발명의 실시예들은, 두 가지 유형으로 정의된 제스처와 차량의 부분 이미지를 포함하는 하나의 입력 영상만을 입력받아 제스처 분석을 통해 차량의 부분 이미지에 관해 부족한 정보 및 의미를 보충·부가함으로써, 입력 영상 내의 차량의 부분 이미지를 효과적으로 분류할 수 있을 뿐만 아니라, 차량의 부분 이미지 내의 소영역을 제스처를 이용해 보다 구체적으로 특정함으로써 추후 차량 이용자에게 차량의 외관에 대한 보다 많은 정보와 이력을 제공할 수 있다.
도 1은 본 발명의 실시예들이 대상으로 하는 차량의 부분 이미지의 다양한 유형을 예시한 도면이다.
도 2는 차량의 구성 요소를 나타내는 제스처의 일 유형을 설명하기 위한 도면이다.
도 3은 차량의 특정 영역을 지시하는 제스처의 다른 유형을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 제스처 분석에 기반을 둔 차량의 이미지 처리 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 도 4의 차량의 이미지 처리 방법에서 차량의 부분 이미지를 분류하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 6은 차량의 구성 요소를 분류하는 기준을 예시한 도면이다.
도 7은 손가락 제스처와 그에 따른 분류를 예시한 도면이다.
도 8은 도 5의 차량의 이미지 처리 방법에서 특정 영역을 발견하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 9는 제스처로부터 벡터 및 여백 범위를 이용하여 관심 영역을 지정하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 제스처 분석에 기반을 둔 차량의 이미지 처리 장치를 도시한 블록도이다.
본 발명의 실시예들을 설명하기에 앞서, 차량에 관한 이미지를 획득하여 이를 자동으로 분류하고자 하는 요구가 발생하는 환경과 이러한 환경에서 지목되는 문제점을 검토한 후, 이러한 문제점들을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 아이디어와 기술적 수단을 순차적으로 소개하도록 한다.
먼저, 본 발명의 실시예들이 구현되는 환경은 차량에 대한 이미지를 획득하여 이를 추후 확인한다는 것을 전제로 하고 있다. 예를 들어, 서비스 센터, 장기 주차장, 세차장 내지 렌터카 영업소에 차량이 입고되는 상황을 가정하자. 이때, 차량의 상태에 관하여 사용자와 담당자 간의 신뢰를 담보하기 위해, 또는 차량의 상태 이력을 관리하기 위해 차량의 부분 이미지에 대한 기록이 요구된다. 그런데, 입고 차량의 특정 부위, 예를 들어 파손 부위나 흠집 등은 조명이나 일광에 의한 반사, 차량 표면의 굴곡, 칠 벗겨짐 등으로 인해 해당 부위를 정확하게 영상 인식시키는 것이 기술적으로 용이하지 않다. 특히 컴퓨터 비전(computer vision)을 통해 차량의 전체 모습이 아니라 부분 영역에 대한 이미지를 인식시키는 것에는 많은 장애 요인과 편차가 존재하였다.
따라서, 본 발명의 실시예들에서는 이력 시스템의 입력 영상으로서 하나의 이미지를 촬영/생성할 때, 입고 차량의 부분 이미지뿐만 아니라, 해당 영역에 대한 추가 정보를 담고자 하였으며, 이러한 추가 정보를 제공하는 수단으로서 제스처(gesture)를 활용하였다. 즉, 하나의 입력 영상 내에 차량의 부분 이미지와 제스처를 포함시켰으며, 특히 제스처에는 차량의 부분 이미지에 관한 부가 정보 내지 메타(meta) 정보를 담을 수 있도록 구성하였다.
한편, 차량의 부분 이미지를 하나의 입력 영상 내에 포함시키더라도 영상의 전체 영역이 아닌 보다 구체적인 소부위를 한정하거나 특정할 필요성이 발견되었다. 따라서, 본 발명의 실시예들은 이러한 소부위를 한정하거나 특정하기 위하여 제스처 내에 방향 지시자(예를 들어, 손가락)가 포함될 수 있도록 구성하였다. 이를 통해 차량의 부분 이미지 내에서도 특히 흠집이나 칠 벗겨짐이 발견된 경우 이러한 영역을 보다 좁은 범위로 특정할 수 있도록 하였다. 이를 위해, 제스처의 유형을 크게 두 가지로 구분하였는데, 첫째는 차량의 구성 요소를 나타내는 유형이고, 둘째는 차량의 특정 영역을 지시하는 유형이다. 본 발명의 실시예들이 제안하는 제스처는 이러한 두 가지 유형 중 적어도 하나를 가질 수 있으며, 구현상의 필요에 따라 두 가지 유형을 모두 포함하는 형태의 유형으로 정의될 수도 있을 것이다.
즉, 본 발명의 실시예들은 차량의 구성 소를 분석하여 이미지를 생성할 때, 특정 제스처를 이용해 차량의 상태 및 부분 이미지에 대한 메타(meta) 정보를 추가하였으며, 분류가 되지 않은 차량의 부분 이미지에 대해서 자동으로 이미지를 분류할 수 있으며 필요에 따라 좀 더 좁은 범위의 특정 영역을 지정할 수 있게 되었다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 실시예들이 대상으로 하는 차량의 부분 이미지의 다양한 유형을 예시한 도면이다.
차량의 번호판을 인식하는 통상적인 차량 인식 기술들과는 달리 본 발명의 실시예들은 차량의 다양한 부분 영역들을 인식 및 분류의 대상으로 한다. 그런데, 부분 이미지의 특성상 이미지 자체만으로는 영상 처리가 매우 곤란한 경우가 발생한다. 예를 들어, 도 1의 (A)를 참조하면, 예시된 이미지만으로는 차량의 어느 부위에 해당하는지 자동화된 영상 처리 방식으로 처리하기 매우 어렵다. 나머지 도 1의 (B), (C), (D)의 경우에는 영상 내의 특징점이나 윤곽선을 추출하여 미리 확보된 데이터베이스와의 대조 내지 차량 부위 식별 알고리즘을 활용하여 처리하는 것이 가능할 것이다. 만약, 차량이 크게 파손되었거나, 차량의 외관에 이물질이 묻은 경우, 또는 차량 특유의 표면 광택으로 인해 촬영된 사진에 빛 반사가 심한 경우 해당 부분 영상의 식별 내지 분류에 장애가 발생하게 된다.
이와 같이 자동화된 이미지 처리에 관한 부정적인 환경 요인들이 존재하기 때문에 차량의 부분 이미지를 분류하거나 이에 추가적인 정보를 부가하기 위해서는 별도의 기술적 수단이 요구됨을 알 수 있다.
앞서 간략히 소개한 바와 같이, 본 발명의 실시예들은 제스처를 활용하여 이러한 차량의 부분 이미지를 분류하거나 부가 정보를 기술하였는데, 제스처의 종류와 대상은 자유롭게 선택 가능하다. 예를 들어, 사람의 손과 같은 신체를 활용할 수도 있고, 식별이 용이하도록 도식화된 이미지 카드(card) 등을 활용하는 것도 가능하다. 당연히 이러한 제스처별 의미는 사전에 약속된 바에 따라 정의될 수 있으며, 이를 차량 이력 관리 시스템 등이 독출하여 활용하게 된다.
(1) 제스처 유형 A: 차량의 구성 요소를 나타내는 제스처
도 2는 차량의 구성 요소를 나타내는 제스처의 일 유형을 설명하기 위한 도면으로서, 하나의 입력 영상 내에 차량의 타이어와 이를 나타내는 제스처가 함께 포함되어 있다. 비록 기술적으로 타이어를 인식하는 것은 다른 부분 영역에 비해 상대적으로 용이한 편이나, 제스처의 부가를 통해 인식의 속도 및 정확도를 향상시킬 수 있다. 또한, 타이어가 심하게 파손되거나 오염된 경우에도 부분 이미지를 정확하게 인식시킬 수 있다는 장점이 있다. 이러한 차량의 구성 요소는 제스처와 각각 대응하여 미리 정의될 수 있으며, 매핑 테이블(mapping table)을 사용하여 인식된 제스처를 검색할 수 있다.
(2) 제스처 유형 B: 차량의 특정 영역을 지시하는 제스처
도 3은 차량의 특정 영역을 지시하는 제스처의 다른 유형을 설명하기 위한 도면으로서, 하나의 입력 영상 내에 차량의 부분 이미지와 부분 이미지 내에 포함된 특정 영역(흠집), 그리고 이를 지시하는 제스처가 함께 포함되어 있다. 획득된 부분 이미지 내에서도 좀 더 소영역의 지정이 요구되는 경우 이러한 유형의 제스처를 활용하여 구체적인 영역을 특정할 수 있다. 예를 들어, 제스처로서 사람의 손가락이 사용된 경우, 손가락이 지시하는 위치를 탐색하는 과정이 수반되며, 탐색 영역 내에서 차량의 부분 이미지 내의 화소값이 기타 주변 영역에 비해 차별화된 영역을 발견할 경우 이를 관심 영역으로 지정할 수 있다. 보다 구체적인 처리 방식은 이후 도 8 내지 도 9를 통해 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 제스처 분석에 기반을 둔 차량의 이미지 처리 방법을 도시한 흐름도이다.
S100 단계는 이미지 처리를 위한 사전 준비 과정으로서, 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 과정이 필요하다. 매핑 테이블에는, 제스처 각각에 대한 유형, 제스처가 의미하는 차량의 구성 요소, 제스처의 유형에 따라 제스처가 지시하는 영역에 대한 설명이 포함될 수 있다.
S200 단계에서는, 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처(gesture)와 차량의 부분 이미지를 포함하는 하나의 입력 영상을 입력받는다. 이러한 형태의 입력 영상을 통해 단지 차량의 일부 영역에 대해 촬영된 부분 이미지에 그에 관한 부가 정보를 연계하여 제공할 수 있게 된다.
S300 단계에서는, 상기 입력 영상 내에서 상기 제스처를 인식하여 제스처의 유형에 따른 의미를 식별한다. 이 과정에서는 영상 인식 기술을 활용하여 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형 및 그에 따른 의미를 독출할 수 있다.
S400 단계에서는, 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류한다. 이 과정에서는, S300 단계를 통해 독출된 제스처의 유형 및 의미를 기반으로 차량의 부분 이미지를 분류하되, 차량의 부분 이미지 자체로부터 추출된 정보에 기초하여 미리 저장된 데이터베이스를 조회하여 추가적인 정보를 부가할 수도 있을 것이다.
도 5를 참조하여, 이 과정을 보다 구체적으로 설명한다.
우선, S410 단계를 통해 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우를 가정하자. 이 경우, S420 단계로 진행하여, 상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, S430 단계를 통해 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장한다. 만약 S420 단계에서 앞서 저장된 매핑 테이블 내에 저장되어 있지 않은 유형의 제스처라고 판단되었거나 분류에 실패하였다면, 미분류 이미지로 예외 처리할 수 있을 것이다.
반면, S410 단계를 통해 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우를 가정하자. 이 경우, S440 단계로 진행하여 제스처의 지시 영역을 탐색하게 된다. S450 단계에서 탐색을 통해 제스처가 지시하는 특정 영역이 발견된 경우, S460 단계로 진행하여 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장한다. 만약 S450 단계에서 탐색을 통해 제스처가 지시하는 특정 영역이 발견되지 않았다면, S420 단계로 진행하여 단지 차량의 부분 이미지를 분류하는 절차를 수행할 수 있다.
도 6은 차량의 구성 요소를 분류하는 기준을 예시한 도면으로서, 차량의 구성 요소와 그 의미를 매칭하여 제시하고 있음을 확인할 수 있다.
도 7은 손가락 제스처와 그에 따른 분류를 예시한 도면으로서, 제스처의 유형을 크게 두 가지(차량의 구성 요소를 나타내거나 유형 A, 차량의 특정 영역을 지시하는 유형 B)로 설정하였으며, 각각의 제스처에 대응하는 차량의 구성 요소, 그리고 제스처의 유형에 따라 제스처가 지시하는 바의 의미가 부가되어 있음을 확인할 수 있다.
도 8은 도 5의 차량의 이미지 처리 방법에서 제스처 유형 B에 따라 특정 영역을 발견하는 과정을 보다 구체적으로 도시한 흐름도로서, 제스처의 유형을 판단하는 과정(S410) 이후의 절차를 기술하고 있다.
이 과정은, 제스처 내에 미리 정의된 방향 지시자를 인식하고, 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정할 수 있을 것이다.
S441 단계에서는 차량의 구성 요소를 인식하고, 제스처 내에 미리 정의된 방향 지시자를 인식하며, 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터를 추출한다. S443 단계에서는 추출된 벡터를 이용하여 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색한다. S450 단계를 통해, 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역인 특정 영역을 발견한다.
S453 단계에서는 주변에 현재의 특징값보다 더 큰 특징값이 존재하는지 여부를 검사하여 발견된 특정 영역을 선택하는 것이 적절한지 여부를 검사한다. 만약 주변에 현재의 특징값보다 더 큰 특징값을 갖는 영역이 존재한거나, S450 단계에서 특정 영역이 발견되지 않았다면, S453 단계로 진행하여 탐색의 조건을 변경한다. 이때 여백 범위를 증가시키거나 탐색 영역을 확대함으로써 제스처가 지시하는 바에 따른 특정 영역을 재탐색하게 된다. S453 단계에서 특정 영역이 적절하게 선택되었다고 판단되면, S460 단계에서 관심 영역으로 설정 및 저장한다.
도 9는 제스처로부터 벡터 및 여백 범위를 이용하여 관심 영역을 지정하는 과정을 설명하기 위한 도면으로서, 제스처의 방향 지시자(검지 손가락)이 가르키는 방향으로 벡터(점선)를 연장하여 형성하되, 여백 범위 내에서 특정 영역을 탐색하고 있음을 보여준다. 여러 위치 후보 중 가장 특정 영역에 유사한 값을 가진 후보를 선택하고 여백 범위에 대한 각도의 값을 줄이면서 비교하고 선택하는 과정을 거친다. 또한 추가적으로 특정 위치를 가리키는 제스처의 종류를 다르게 설정하여 특정 위치의 종류를 지정하는 것에도 사용할 수 있다.
이제 적절한 특정 영역이 발견되면, 검증을 통해 관심 영역으로 지정하되, 구현상의 필요에 따라, 차량의 부분 이미지 상에 관심 영역을 마킹(marking)하거나, 상기 관심 영역을 확대 내지 크로핑(cropping)하여 출력하거나, 상기 관심 영역의 좌표 정보(X, Y좌표와 영역정보 등)를 출력함으로써 이후에 활용할 수 있다.
한편, 활용의 관점에서, 서비스 센터, 장기 주차장, 세차장 내지 렌터카 영업소 등에서 차량의 입고 과정과 연계하여 다음과 같은 실시예의 제안이 가능하다.
우선, 이미지 처리를 위한 준비 과정으로서 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장한다. 차량 입고 요청에 따라 상기 차량의 외관을 인지한 담당자의 제스처와 함께 상기 차량의 부분 이미지를 포함하도록 촬영된 하나의 입력 영상을 입력받고, 상기 입력 영상 내에서 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처를 인식하며, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별한다. 그런 다음, 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하여 상기 입고 차량에 대한 요구 사항과 더불어 메타(meta) 정보로서 저장한다.
이때, 상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우, 상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장할 수 있다.
반면, 상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우, 상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장할 수 있다. 또한, 차량의 부분 이미지를 분류함에 있어서, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정할 수 있다. 나아가, 차량의 부분 이미지를 분류함에 있어서, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정할 수 있다.
이제, 입고 차량에 대한 서비스 제공시, 분류되어 저장된 상기 차량의 부분 이미지를 상기 메타 정보와 함께 표시함으로써, 차량의 사용자 내지 담당자의 편의를 도모한다.
도 10은 본 발명의 일 실시예에 따른 제스처 분석에 기반을 둔 차량의 이미지 처리 장치(20)를 도시한 블록도로서, 앞서 도 4 및 도 5를 통해 기술한 일련의 이미지 처리 방법을 장치 구성의 관점에서 재구성한 것이다. 따라서, 여기서는 설명의 중복을 피하고자 각 구성의 기능을 약술하도록 한다.
저장부(21)는, 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 구성이다.
입력부(23)는, 차량의 구성 요소를 나타내거나 또는 차량의 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처(gesture)와 차량의 부분 이미지를 포함하는 하나의 입력 영상(10)을 입력받는 구성이다.
메모리(25)는, 입력부(23)를 통해 입력된 상기 입력 영상(10)으로부터 제스처를 분석하여 상기 차량의 부분 이미지를 자동으로 분류하는 프로그램을 저장한다. 프로세서(27)는, 메모리(25)로부터 차량의 부분 이미지를 자동으로 분류하는 프로그램을 독출하여 이를 구동한다. 여기서, 메모리(25)에 저장된 프로그램은, 상기 입력 영상(10) 내에서 상기 제스처를 인식하고, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별하며, 식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하는 명령어를 포함한다.
만약 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우, 상기 메모리(25)에 저장된 프로그램은, 상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장할 수 있다.
반면, 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우, 상기 메모리(25)에 저장된 프로그램은, 상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장할 수 있다.
또한, 메모리(25)에 저장된 프로그램은, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정할 수 있다. 나아가, 상기 메모리(25)에 저장된 프로그램은, 상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정할 수 있다.
본 발명의 실시예들은 제스처 분석을 통한 차량의 부분 이미지를 자동으로 분류하고, 특정 영역을 지정하는 방법을 제안하였다. 현재 사람의 손과 눈으로 이루어지는 차량의 부분적인 이미지에 대한 분류와 차량의 상태 확인 절차를 자동화하여, 제스처를 사용한 효과적인 이미지 분류가 가능하다. 또한 이미지 분류뿐만이 아니라 사용자가 원하는 특정 부분의 위치를 제스처를 이용해 분류를 가능하게 하며 위치 정보의 확인도 가능하다. 본 발명의 실시예들은 향후 많은 차를 처리하여야 하는 세차 작업이나 자동차 수리 분야 등에서 사용자가 작업하는데 유용하게 사용될 수 있으며, 제스처를 메타 데이터로써 차량에 마킹하여 정보를 부가하는 방법을 확장 적용할 수 있을 것으로 기대된다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 입력 영상
20: 차량의 이미지 처리 장치
21: 저장부 23: 입력부
25: 메모리 27: 프로세서

Claims (18)

  1. 영상의 전체 영역 내에 포함된 차량의 부분 이미지에 해당하는 구성 요소를 나타내거나 또는 상기 차량의 부분 이미지 내에 포함된 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖도록 상기 차량의 외관을 인지한 사람으로부터 미리 정의된 사람의 신체 동작인 제스처(gesture)와 차량의 부분 이미지를 하나의 입력 영상 내에 포함하여 입력받는 단계;
    상기 하나의 입력 영상 내에 포함된 상기 제스처를 영상 인식 기술을 통해 인식하여 제스처의 유형에 따른 의미를 식별하는 단계; 및
    식별된 의미에 기초하여 상기 하나의 입력 영상 내에 포함된 차량의 부분 이미지를 분류하여 상기 차량에 대한 요구 사항과 더불어 저장하는 단계를 포함하는 차량의 이미지 처리 방법.
  2. 제 1 항에 있어서,
    복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 단계를 더 포함하고,
    상기 제스처의 유형에 따른 의미를 식별하는 단계는,
    인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형 및 그에 따른 의미를 독출하는 것을 특징으로 하는 차량의 이미지 처리 방법.
  3. 제 1 항에 있어서,
    상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우,
    상기 차량의 부분 이미지를 분류하는 단계는,
    상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장하는 것을 특징으로 하는 차량의 이미지 처리 방법.
  4. 제 1 항에 있어서,
    상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우,
    상기 차량의 부분 이미지를 분류하는 단계는,
    상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장하는 것을 특징으로 하는 차량의 이미지 처리 방법.
  5. 제 4 항에 있어서,
    상기 차량의 부분 이미지를 분류하는 단계는,
    상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정하는 것을 특징으로 하는 차량의 이미지 처리 방법.
  6. 제 4 항에 있어서,
    상기 차량의 부분 이미지를 분류하는 단계는,
    상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정하는 것을 특징으로 하는 차량의 이미지 처리 방법.
  7. 제 4 항에 있어서,
    상기 차량의 부분 이미지를 분류하는 단계는,
    상기 차량의 부분 이미지 상에 상기 관심 영역을 마킹(marking)하거나, 상기 관심 영역을 크로핑(cropping)하여 출력하거나, 상기 관심 영역의 좌표 정보를 출력하는 것을 특징으로 하는 차량의 이미지 처리 방법.
  8. 사람의 신체 동작에 관한 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 단계;
    차량 입고 요청에 따라 상기 차량의 외관을 인지한 담당자의 제스처와 함께 상기 차량의 부분 이미지를 포함하도록 촬영된 하나의 입력 영상을 입력받는 단계;
    상기 입력 영상 내에서 영상의 전체 영역 내에 포함된 차량의 부분 이미지에 해당하는 구성 요소를 나타내거나 또는 상기 차량의 부분 이미지 내에 포함된 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖는 제스처를 영상 인식 기술을 통해 인식하고, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별하는 단계;
    식별된 의미에 기초하여 상기 입력 영상 내의 차량의 부분 이미지를 분류하여 입고 차량에 대한 요구 사항과 더불어 메타(meta) 정보로서 저장하는 단계; 및
    입고 차량에 대한 서비스 제공시, 분류되어 저장된 상기 차량의 부분 이미지를 상기 메타 정보와 함께 표시하는 단계를 포함하는 입고 차량의 이미지 처리 방법.
  9. 제 8 항에 있어서,
    상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우,
    상기 차량의 부분 이미지를 분류하는 단계는,
    상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장하는 것을 특징으로 하는 입고 차량의 이미지 처리 방법.
  10. 제 8 항에 있어서,
    상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우,
    상기 차량의 부분 이미지를 분류하는 단계는,
    상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장하는 것을 특징으로 하는 입고 차량의 이미지 처리 방법.
  11. 제 10 항에 있어서,
    상기 차량의 부분 이미지를 분류하는 단계는,
    상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정하는 것을 특징으로 하는 입고 차량의 이미지 처리 방법.
  12. 제 10 항에 있어서,
    상기 차량의 부분 이미지를 분류하는 단계는,
    상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정하는 것을 특징으로 하는 입고 차량의 이미지 처리 방법.
  13. 제 1 항 내지 제 12 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 사람의 신체 동작에 관한 복수 개의 제스처와 각각의 제스처가 나타내는 차량의 구성 요소를 대응시켜 매핑 테이블(mapping table)에 미리 저장하는 저장부;
    영상의 전체 영역 내에 포함된 차량의 부분 이미지에 해당하는 구성 요소를 나타내거나 또는 상기 차량의 부분 이미지 내에 포함된 특정 영역을 지시하는 두 가지 유형 중 적어도 어느 하나의 의미를 갖도록 상기 차량의 외관을 인지한 사람으로부터 제스처(gesture)와 차량의 부분 이미지를 포함하는 하나의 입력 영상을 입력받는 입력부;
    입력된 상기 하나의 입력 영상으로부터 영상 인식 기술을 통해 제스처를 분석하여 상기 차량의 부분 이미지를 자동으로 분류하는 프로그램을 저장하는 메모리; 및
    상기 프로그램을 구동하는 프로세서를 포함하되,
    상기 메모리에 저장된 프로그램은,
    상기 하나의 입력 영상 내에 포함된 상기 제스처를 인식하고, 인식된 상기 제스처를 이용하여 상기 매핑 테이블을 조회함으로써 제스처의 유형에 따른 의미를 식별하며, 식별된 의미에 기초하여 상기 하나의 입력 영상 내에 포함된 차량의 부분 이미지를 분류하여 상기 차량에 대한 요구 사항과 더불어 저장하는 명령어를 포함하는 차량의 이미지 처리 장치.
  15. 제 14 항에 있어서,
    상기 제스처의 유형이 차량의 구성 요소를 나타내는 것으로 식별된 경우,
    상기 메모리에 저장된 프로그램은,
    상기 제스처가 나타내는 차량의 구성 요소에 따라 상기 입력 영상 내의 상기 차량의 부분 이미지를 분류하고, 분류된 상기 차량의 부분 이미지와 상기 구성 요소의 식별된 의미를 대응시켜 함께 저장하는 것을 특징으로 하는 차량의 이미지 처리 장치.
  16. 제 14 항에 있어서,
    상기 제스처의 유형이 차량의 특정 영역을 지시하는 것으로 식별된 경우,
    상기 메모리에 저장된 프로그램은,
    상기 제스처가 지시하는 차량의 특정 영역을 추가적인 관심 영역으로 지정하고, 상기 차량의 부분 이미지와 지정된 상기 관심 영역에 대한 위치 정보를 대응시켜 함께 저장하는 것을 특징으로 하는 차량의 이미지 처리 장치.
  17. 제 16 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 벡터(vector)를 형성하여 상기 차량의 부분 이미지와 만나는 위치를 탐색함으로써 관심 영역을 설정하는 것을 특징으로 하는 차량의 이미지 처리 장치.
  18. 제 16 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    상기 제스처 내에 미리 정의된 방향 지시자를 인식하고, 상기 하나의 입력 영상 내에서 인식된 방향 지시자가 지시하는 방향으로 상기 차량의 부분 이미지 상에서 미리 설정된 여백 범위를 탐색하되, 상기 여백 범위 내에서 이미지의 화소값, 점 또는 선의 기하학적 특징값이 주위에 비해 임계치 이상인 영역을 관심 영역으로 설정하는 것을 특징으로 하는 차량의 이미지 처리 장치.
KR1020170165071A 2017-12-04 2017-12-04 제스처 분석에 기반을 둔 차량의 이미지 처리 장치 및 방법 KR102259740B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170165071A KR102259740B1 (ko) 2017-12-04 2017-12-04 제스처 분석에 기반을 둔 차량의 이미지 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170165071A KR102259740B1 (ko) 2017-12-04 2017-12-04 제스처 분석에 기반을 둔 차량의 이미지 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190065664A KR20190065664A (ko) 2019-06-12
KR102259740B1 true KR102259740B1 (ko) 2021-06-03

Family

ID=66845785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170165071A KR102259740B1 (ko) 2017-12-04 2017-12-04 제스처 분석에 기반을 둔 차량의 이미지 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102259740B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220058228A1 (en) * 2020-08-24 2022-02-24 Snap Inc. Image based browser navigation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
KR101481681B1 (ko) * 2012-11-13 2015-01-12 애비소닉 테크놀로지 코포레이션 차량용 이미지 시스템 및 차량 이미지의 디스플레이 제어 방법
US20160091976A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Dynamic hand-gesture-based region of interest localization
KR101781863B1 (ko) * 2011-04-11 2017-09-26 엘지전자 주식회사 휴대 단말기 및 그 제어 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101321597B1 (ko) 2013-08-30 2013-10-28 주식회사 넥스파시스템 영상해석 기반 차량 인식 및 무인 정산 시스템
KR102545768B1 (ko) * 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
KR101781863B1 (ko) * 2011-04-11 2017-09-26 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR101481681B1 (ko) * 2012-11-13 2015-01-12 애비소닉 테크놀로지 코포레이션 차량용 이미지 시스템 및 차량 이미지의 디스플레이 제어 방법
US20160091976A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Dynamic hand-gesture-based region of interest localization

Also Published As

Publication number Publication date
KR20190065664A (ko) 2019-06-12

Similar Documents

Publication Publication Date Title
Fang et al. Is the pedestrian going to cross? answering by 2d pose estimation
US11393191B2 (en) Method and system for obtaining vehicle target views from a video stream
CN108665373B (zh) 一种车辆定损的交互处理方法、装置、处理设备及客户端
WO2021068588A1 (zh) 车位及其方向角度检测方法、装置、设备及介质
JP4380838B2 (ja) ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識プログラム
US20200334467A1 (en) Vehicle damage assessment method, apparatus, and device
JP5588395B2 (ja) 画像をオブジェクト及びそのパーツに関して効率的に解釈するためのシステムと方法
JP2022517254A (ja) 注視エリア検出方法、装置、及び電子デバイス
CN110570316A (zh) 训练损伤识别模型的方法及装置
WO2017169226A1 (ja) 車種識別装置、車種識別システムおよび車種識別方法
US9881219B2 (en) Self-recognition of autonomous vehicles in mirrored or reflective surfaces
US9818198B2 (en) Method for near-realtime workspace mapping
Chen et al. Automatic detection of traffic lights using support vector machine
CN109241998B (zh) 模型训练方法、装置、设备及存储介质
US20220415012A1 (en) Image processing based methods and apparatus for planogram compliance
CN111723637A (zh) 智能视频分析
KR102259740B1 (ko) 제스처 분석에 기반을 둔 차량의 이미지 처리 장치 및 방법
Radiuk et al. Convolutional neural network for parking slots detection
CN112116657A (zh) 基于表检索的同时定位与建图方法和装置
WO2019203354A1 (ja) 軌道識別装置
KR101750615B1 (ko) 객체 인식/탐지 장치 및 객체 인식/탐지 방법
KR20190134920A (ko) 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법
GB2605948A (en) Warehouse monitoring system
US20210201566A1 (en) 3d image labeling method based on labeling information of 2d image and 3d image labeling device
KR102213865B1 (ko) 주시 영역 기반 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant