KR102257226B1 - 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법 - Google Patents

픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법 Download PDF

Info

Publication number
KR102257226B1
KR102257226B1 KR1020170020978A KR20170020978A KR102257226B1 KR 102257226 B1 KR102257226 B1 KR 102257226B1 KR 1020170020978 A KR1020170020978 A KR 1020170020978A KR 20170020978 A KR20170020978 A KR 20170020978A KR 102257226 B1 KR102257226 B1 KR 102257226B1
Authority
KR
South Korea
Prior art keywords
pictogram
image
descriptor
learning
descriptors
Prior art date
Application number
KR1020170020978A
Other languages
English (en)
Other versions
KR20180094616A (ko
Inventor
최항집
김승균
최진민
박재완
Original Assignee
현대자동차주식회사
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 주식회사 맥스트 filed Critical 현대자동차주식회사
Priority to KR1020170020978A priority Critical patent/KR102257226B1/ko
Priority to US15/785,085 priority patent/US10521690B2/en
Priority to CN201711026312.XA priority patent/CN108446709B/zh
Priority to DE102017219346.8A priority patent/DE102017219346A1/de
Publication of KR20180094616A publication Critical patent/KR20180094616A/ko
Application granted granted Critical
Publication of KR102257226B1 publication Critical patent/KR102257226B1/ko

Links

Images

Classifications

    • G06K9/6212—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/4642—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Abstract

픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법에 관한 것으로, 픽토그램 인식 방법은, 학습 데이터를 획득하는 단계, 픽토그램을 포함하는 영상을 획득하는 단계, 상기 영상으로부터 적어도 하나의 구역을 추출하는 단계, 상기 적어도 하나의 구역에 대응하는 기술자를 획득하는 단계, 상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 단계 및 인식된 픽토그램에 대응하는 정보를 사용자에게 제공하는 단계를 포함할 수 있다.

Description

픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법{A recognizer of a pictogram, a system and a method thereof}
픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법에 관한 것이다.
픽토그램(pictogram)이란, 사용자가 특정 대상을 직관적으로 인식할 수 있도록, 각종 기호, 문자 및 도형 중 적어도 하나를 이용하여 단순하게 시각적으로 표현된 영상을 의미한다.
이와 같은 픽토그램은, 특정 대상의 기능, 재질 또는 효과 등의 설명, 특정 구역 또는 그 주변에 대한 정보 제공 또는 길 안내 등 다양한 목적을 위하여 이용되고 있다.
차량 또는 기계 장치에는, 차량 또는 기계 장치에 대한 각종 명령을 입력하기 위한 입력 수단 및 차량 또는 건설 기계에 대한 다양한 정보를 제공할 수 있는 출력 수단을 포함하는 사용자 인터페이스가 마련될 수 있다.
입력 수단이나 출력 수단은, 상술한 픽토그램을 이용하여 사용자에게 각종 정보를 제공할 수 있다. 예를 들어, 입력 수단이나 출력 수단은, 픽토그램을 이용하여 입력 수단을 통해 수행 가능한 기능이나 동작에 대한 정보나, 현재 차량 또는 기계 장치의 상태 또는 동작에 대한 정보나, 또는 차량 또는 기계 장치 주변의 상황에 대한 정보 등을 사용자에게 제공 가능하다.
픽토그램을 보다 정확하게 인식하고, 인식된 픽토그램에 대한 정보를 사용자에게 용이하고 신속하게 제공할 수 있는 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법이 제공된다.
픽토그램 인식 방법은, 학습 데이터를 획득하는 단계, 픽토그램을 포함하는 영상을 획득하는 단계, 상기 영상으로부터 적어도 하나의 구역을 추출하는 단계, 상기 적어도 하나의 구역에 대응하는 기술자를 획득하는 단계, 상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 단계 및 인식된 픽토그램에 대응하는 정보를 사용자에게 제공하는 단계를 포함할 수 있다.
상기 영상으로부터 적어도 하나의 구역을 추출하는 단계는, 상기 영상에 윈도우를 설정하고, 윈도우에 의해 구획된 구역을 검출함으로써, 상기 적어도 하나의 구역을 추출하는 단계 및 상기 윈도우를 이동시키는 단계를 포함할 수 있다.
상기 영상으로부터 적어도 하나의 구역을 추출하는 단계는, 상기 영상으로부터 영상 피라미드를 획득하는 단계 및 상기 영상 피라미드의 각각의 영상으로부터 적어도 하나의 구역을 추출하는 단계를 포함할 수 있다.
상기 적어도 하나의 구역에 대응하는 기술자를 획득하는 단계는, 상기 적어도 하나의 구역을 이루는 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램(HOG, Histogram of Oriented Gradient)을 획득하는 단계 및 상기 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램을 이용하여, 상기 적어도 하나의 셀에 대한 기술자를 획득하는 단계를 포함할 수 있다.
상기 적어도 하나의 구역에 대응하는 기술자를 획득하는 단계는, 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램을 조합하여 상기 적어도 하나의 구역에 대한 기술자를 획득하는 단계를 더 포함할 수 있다.
상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 단계는, 상기 기술자와 상기 학습 데이터를 비교하는 단계 및 상기 기술자와 동일하거나 근사한 기술자를 검출하는 단계를 포함할 수 있다.
상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 단계는, 상기 적어도 하나의 구역 각각에서 추출되는 복수의 기술자 중 상기 학습 데이터와 동일하거나 근사한 기술자를 적어도 하나의 집단으로 집단화하는 단계, 동일한 집단 내의 기술자가 상기 영상 내에서 서로 인접한 위치에 존재하는지를 판단하는 단계 및 판단 결과에 따라서 픽토그램 인식 성공 여부를 판단하는 단계를 포함할 수 있다.
상기 학습 데이터를 획득하는 단계는, 학습용 영상으로부터 복수의 학습용 기술자를 획득하는 단계 및 복수의 기술자를 초 공간에 위치시키고, 복수의 학습용 기술자의 분포에 따라서 초 공간을 분할하는 초 평면을 결정하고, 결정된 초 평면에 따라 복수의 분할 공간을 획득하는 단계를 포함할 수 있다.
상기 복수의 기술자를 초 공간에 위치시키고, 복수의 학습용 기술자의 분포에 따라서 초 공간을 분할하는 초 평면을 결정하는 단계는, 상기 복수의 분할 공간에 속한 학습용 기술자의 개수가 동일하거나 또는 근사한지 여부, 및 상기 복수의 분할 공간의 두 표준 편차의 곱에 대한 분할되는 각 공간의 평균 사이의 거리의 비율의 상대적 크기 중 적어도 하나를 기초로 초 공간을 분할하는 초 평면을 결정하는 단계를 포함할 수 있다.
상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 단계는, 상기 복수의 분할 공간 중에서 상기 기술자가 존재하는 분할 공간을 검출하는 단계 및 상기 기술자와, 상기 분할 공간 내에 존재하는 학습용 기술자 사이의 거리를 기초로 학습 데이터를 검출하는 단계를 포함할 수 있다.
픽토그램 인식 장치는, 픽토그램을 포함하는 영상을 획득하는 영상 획득부, 학습 데이터를 저장하는 저장부, 상기 영상으로부터 적어도 하나의 구역을 추출하고, 상기 적어도 하나의 구역에 대응하는 기술자를 획득하고, 상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 프로세서 및 인식된 픽토그램에 대응하는 정보를 사용자에게 제공하는 사용자 인터페이스를 포함할 수 있다.
상기 프로세서는, 상기 영상에 윈도우를 설정하고, 윈도우에 의해 구획된 구역을 검출함으로써, 상기 적어도 하나의 구역을 추출하고, 상기 윈도우를 이동시킬 수 있다.
상기 프로세서는, 상기 영상으로부터 영상 피라미드를 획득하고, 상기 영상 피라미드의 각각의 영상으로부터 적어도 하나의 구역을 추출할 수 있다.
상기 프로세서는, 상기 적어도 하나의 구역을 이루는 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램을 획득하고, 상기 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램을 이용하여, 상기 적어도 하나의 셀에 대한 기술자를 획득할 수 있다.
상기 프로세서는, 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램을 조합하여 상기 적어도 하나의 구역에 대한 기술자를 획득할 수 있다.
상기 프로세서는, 상기 기술자와 상기 학습 데이터를 비교하고, 상기 기술자와 동일하거나 근사한 기술자를 검출할 수 있다.
상기 프로세서는, 상기 적어도 하나의 구역 각각에서 추출되는 복수의 기술자 중 상기 학습 데이터와 동일하거나 근사한 기술자를 적어도 하나의 집단으로 집단화하고, 동일한 집단 내의 기술자가 상기 영상 내에서 서로 인접한 위치에 존재하는지를 판단하고, 판단 결과에 따라서 픽토그램 인식 성공 여부를 판단할 수 있다.
상기 프로세서는, 학습용 영상으로부터 복수의 학습용 기술자를 획득하여 학습 데이터를 획득할 수 있다.
상기 프로세서는, 상기 복수의 학습용 기술자를 초 공간에 위치시키고, 복수의 기술자의 분포에 따라서 초 공간을 분할하는 초 평면을 결정하고, 결정된 초 평면에 따라 복수의 분할 공간을 획득할 수 있다.
상기 프로세서는, 상기 복수의 분할 공간에 속한 학습용 기술자의 개수가 동일하거나 또는 근사한지 여부 및 상기 복수의 분할 공간의 두 표준 편차의 곱에 대한 분할되는 각 공간의 평균 사이의 거리의 비율의 상대적 크기 중 적어도 하나를 기초로 초 공간을 분할하는 초 평면을 결정할 수 있다.
상기 프로세서는, 상기 복수의 분할 공간 중에서 상기 기술자가 존재하는 분할 공간을 검출하는 단계 및 상기 적어도 하나의 구역에 대응하는 기술자와, 상기 분할 공간 내의 학습용 기술자 사이의 거리를 기초로 학습 데이터를 검출할 수 있다.
픽토그램 인식 시스템은, 서버 장치 및 상기 서버 장치와 통신 가능하고, 픽토그램을 포함하는 영상을 획득하고, 인식된 픽토그램에 대응하는 정보를 사용자에게 제공 가능한 단말 장치를 포함하되, 상기 서버 장치 및 단말 장치 중 적어도 하나는, 상기 영상으로부터 적어도 하나의 구역을 추출하는 단계, 상기 적어도 하나의 구역에 대응하는 기술자를 획득하는 단계 및 상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 단계 중 적어도 하나를 수행할 수 있다.
상술한 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법에 의하면, 차량 또는 기타 기계 장치의 계기판 등에 인쇄 또는 표시되는 픽토그램을 보다 정확하게 인식할 수 있게 되고, 또한 사용자는 편리하고 용이하면서도 신속하게 인식된 픽토그램에 대한 정보를 획득할 수 있게 된다.
상술한 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법에 의하면, 픽토그램이 추가되거나 또는 특정 픽토그램의 의미가 변경된 경우에도, 추가되거나 의미가 변경된 픽토그램에 대한 정보를 신속하게 업데이트 하여 적절하게 사용자에게 제공할 수 있게 된다.
상술한 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법에 의하면, 단말 장치를 이용하여 사용자는 차량이나 기계 장치 등에 인쇄 또는 표시되는 픽토그램의 정보를 신속하고 용이하게 획득할 수 있게 되고, 이에 따라 픽토그램과 관련된 종이 매뉴얼의 필요성이 감소하게 된다.
상술한 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법에 의하면, 사용자가 종이 매뉴얼의 검색 없이도 신속하게 차량의 계기판에 표시되는 픽토그램의 의미를 알 수 있게 되므로, 차량 관리의 편의성이 개선될 수 있게 된다.
도 1은 픽토그램 인식 시스템의 일 실시예에 대한 도면이다.
도 2는 픽토그램 인식 시스템의 일 실시예에 대한 블록도이다.
도 3은 픽토그램 인식 방법의 일 실시예에 대한 제1 흐름도이다.
도 4는 픽토그램 인식 방법의 일 실시예에 대한 제2 흐름도이다.
도 5는 윈도우의 이동을 설명하기 위한 제1 도면이다.
도 6은 윈도우의 이동을 설명하기 위한 제2 도면이다.
도 7은 윈도우의 이동을 설명하기 위한 제3 도면이다.
도 8은 복수의 셀로 분할된 일 구역의 일례를 도시한 도면이다.
도 9는 각 셀의 그래디언트를 설명하기 위한 도면이다.
도 10은 각 셀에 대응하는 그래디언트 방향성 히스토그램의 일례를 설명하기 위한 제1 도면이다.
도 11은 하나의 구역에서의 그래디언트 방향성 히스토그램의 일례를 설명하기 위한 도면이다.
도 12는 각 셀에 대응하는 그래디언트 방향성 히스토그램의 일례를 설명하기 위한 제2 도면이다.
도 13은 초공간(hyper-space)을 복수의 초평면(hyper-plain)으로 분할하는 일례에 대한 제1 도면이다.
도 14는 초공간을 복수의 초평면으로 분할하는 일례에 대한 제2 도면이다.
도 15는 초공간을 복수의 초평면으로 분할하는 일례에 대한 제3 도면이다.
도 16은 픽토그램 인식 방법의 일 실시예에 대한 제2 흐름도이다.
도 17은 영상 피라미드의 일례를 설명하기 위한 도면이다.
도 18은 제1 영상에 대한 윈도우의 이동의 일례를 설명하기 위한 도면이다.
도 19는 제2 영상에 대한 윈도우의 이동의 일례를 설명하기 위한 도면이다.
도 20은 제1 영상에서 획득된 그래디언트 방향성 히스토그램의 일례를 설명하기 위한 도면이다.
도 21은 기술자가 어느 하나의 초평면에 위치하는 일례를 도시한 도면이다.
도 22는 기술자를 검색하는 프로세스를 설명하기 위한 도면이다.
도 23은 픽토그램 인식 장치에 픽토그램의 설명이 표시되는 일례에 대한 도면이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예에 따라 부'가 하나의 부품으로 구현되거나, 하나의 부'가 복수의 부품들로 구현되는 것도 가능하다.
명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분에 따라서 물리적 연결을 의미할 수도 있고, 또는 전기적으로 연결된 것을 의미할 수도 있다.
또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다.
제 1 이나 제 2 등의 용어는 하나의 부분을 다른 부분으로부터 구별하기 위해 사용되는 것으로, 특별한 기재가 없는 이상 이들이 순차적인 표현을 의미하는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 및 도 2를 참조하여 픽토그램 인식 장치 및 픽토그램 인식 시스템의 일 실시예에 대해서 설명한다.
도 1은 픽토그램 인식 시스템의 일 실시예에 대한 도면이고, 도 2는 픽토그램 인식 시스템의 일 실시예에 대한 블록도이다.
도 1에 도시된 바와 같이, 픽토그램 인식 시스템(1)은, 픽토그램(10)을 포함하는 영상을 촬영하여 획득 가능한 픽토그램 인식 장치(100)를 포함할 수 있다.
픽토그램(10)은, 각종 기호, 문자 및 도형 중 적어도 하나를 이용하여 표현된 그림을 의미한다. 픽토그램(10)은, 예를 들어, 각종 장치나 표지판에 부착되거나 인쇄되거나, 음각하거나 또는 양각하여 형성된 것일 수도 있다. 이 경우, 픽토그램(10)은, 각종 장치의 조명 장치에 마련된 유리나 합성 수지 등의 표면에 부착 또는 인쇄되어 마련 가능하다. 또한, 픽토그램(10)은, 스마트폰, 내비게이션 장치 또는 텔레비전과 같은 표시 장치에 의해 사용자에게 표시되는 것일 수도 있다. 이외에도 픽토그램(10)는 설계자가 고려할 수 있는 다양한 방법으로 각종 장치나 표지판에 마련될 수 있다. 보다 구체적으로 예를 들어, 픽토그램(10)은, 차량(9)의 센터페시아의 각종 버튼의 외면에 형성되거나, 또는 필요에 따라 계기판에 표시되는 것일 수 있다.
픽토그램(10)은, 차량(9)의 일부, 예를 들어, 계기판, 센터페시아, 운전대 또는 내비게이션 장치에 상술한 다양한 방법으로 이용하여 형성된 것일 수 있다.
차량(9)은, 도로나 선로 위를 주행할 수 있는 장치를 의미하며, 예를 들어, 삼륜 또는 사륜 자동차나, 모터사이클 등의 이륜 자동차나, 건설 기계, 자전거 또는 선로 상에 배치된 레일 위에서 주행하는 열차 등을 포함할 수 있다.
차량(9)은, 가솔린이나 디젤과 같은 화석 연료를 연소시켜 획득한 열 에너지를 기계 에너지로 변환시켜 동력을 획득하는 통상적인 자동차 또는 전기 에너지를 이용하여 차륜의 회전에 필요한 동력을 얻는 전기 자동차를 포함할 수 있다.
픽토그램 인식 장치(100)는, 픽토그램(10)을 촬영하거나, 또는 픽토그램(10) 및 그 주변을 촬영하여 픽토그램(10)을 포함하는 영상 데이터를 획득하고, 획득한 영상 데이터로부터 픽토그램(10)을 인식할 수 있다.
픽토그램 인식 장치(100)는, 예를 들어, 스마트폰, 셀룰러 폰, 태블릿 피씨, 내비게이션 장치, 데스크 톱 컴퓨터, 랩톱 컴퓨터, 또는 웨어러블 디바이스(wearable device)를 포함할 수 있다. 이외에도, 촬영 및 영상 처리가 가능한 다양한 장치가 픽토그램 인식 장치(100)로 이용될 수 있다.
픽토그램(10)은 통상적인 특징점 기반의 영상 인식 기술로는 적절하게 인식되지 않을 수 있다. 왜냐하면, 픽토그램(10)은 대체적으로 특징점의 수가 적으며, 또한 특징점 역시 특정한 스케일의 영상에서만 적절히 검출된다. 또한, 서로 상이한 픽토그램(10)으로부터 획득되는 기술자(descriptor)가 서로 동일할 수 있으며, 이에 따라 서로 상이한 픽토그램(10)에 대한 식별력이 저하된다.
따라서, 픽토그램 인식 장치(100)는, 영상 내의 여러 구역 내에서의 그래디언트 방향성 히스토그램(HOG, Histogram of Oriented Gradient)을 획득하여 기술자를 획득하고, 기술자가 공간 상에 분포된 특성을 분석하여 보다 적절하게 픽토그램(10)을 인식하도록 할 수 있다. 이에 대한 자세한 내용은 후술한다.
도 2에 도시된 바를 참조하면, 픽토그램 인식 장치(100)는, 프로세서(110), 저장부(130), 영상 획득부(140) 및 사용자 인터페이스(150)를 포함할 수 있으며, 필요에 따라서 통신부(120)를 더 포함할 수 있다.
프로세서(110)는, 픽토그램 인식 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(110)는 영상 획득부(140)에서 획득한 영상을 이용하여 학습 데이터(131)를 생성하여 저장부(130)에 저장하거나, 영상 획득부(140)에서 획득한 영상으로부터 픽토그램(10)을 추출하거나, 픽토그램(10)에 대응하는 정보를 결정하거나, 및/또는 사용자 인터페이스(150)가 추출된 픽토그램(10)에 대응하는 정보를 사용자에게 제공하도록 제어하는 동작을 수행할 수 있도록 마련된 것일 수 있다.
여기서, 학습 데이터(131)는 후술하는 바와 같이 획득된 기술자를 포함할 수 있다.
프로세서(110)는, 사전에 설계된 프로그램을 구동시켜 상술한 동작을 수행할 수도 있다. 여기서, 프로그램은 저장부(130)에 저장된 것일 수 있다. 프로그램은, 별도로 마련된 프로그램 제공 서버(미도시)로부터 제공된 응용 프로그램을 포함할 수 있다. 픽토그램 인식 장치(100)는, 통신부(120)를 통하여, 프로그램 제공 서버로부터 응용 프로그램을 직접 전달받거나, 또는 응용 프로그램의 설치 프로그램을 전달받을 수 있다.
프로세서(110)는, 예를 들어, 중앙 처리 장치(CPU, Central Processing Unit)나 마이크로 컨트롤러 유닛(MCU, Micro Controller Unit)이나, 또는 전자 제어 장치(ECU, Electronic Control Unit)를 이용하여 구현될 수 있다.
저장부(130)는, 프로세서(110)의 동작에 필요한 각종 정보를 일시적 또는 비일시적으로 저장할 수 있도록 마련된다.
저장부(130)는, 주기억장치 및/또는 보조기억장치를 포함할 수 있다. 주기억장치는 롬(ROM) 또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현 가능하다. 롬은 예를 들어, 이프롬(EPROM), 이이프롬(EEPROM) 또는 마스크롬(MASK-ROM) 등을 포함할 수 있다. 램은 예를 들어, 디램(DRAM)이나 에스램(SRAM) 등을 포함할 수 있다. 보조기억장치는, 반도체를 이용하여 정보를 저장하는 솔리드 스테이트 드라이브(SSD, Solid State Drive)나, 자기 디스크를 이용하여 정보를 저장하는 하드 디스크 드라이브(HDD, Hard Disc Drive)나, 콤팩트 디스크, 레이저 디스크, 자기 테이프, 광자기 디스크 또는 플로피 디스크와 같은 소정의 저장 매체를 이용하여 구현될 수 있다.
일 실시예에 의하면, 저장부(130)는 학습 데이터(131) 및 픽토그램 정보(139)를 저장할 수 있다.
학습 데이터(131)는, 픽토그램(10)의 인식을 위해 픽토그램 인식 장치(100) 및 서버 장치(200) 중 적어도 하나에 의해 사전에 미리 획득된 데이터를 의미한다. 학습 데이터(131)는, 영상 획득부(140)에서 획득된 영상으로부터 추출된 데이터와 비교를 위해 이용된다.
학습 데이터(131)는, 픽토그램 인식 장치(100)의 프로세서(110)에 의해 획득된 것일 수도 있고, 서버 장치(200)의 프로세서(210)에 의해 획득된 것일 수도 있으며, 픽토그램 인식 장치(100)의 프로세서(110)와 서버 장치(200)의 프로세서(210) 양자가 각각 할당된 소정의 동작을 수행하여 획득된 것일 수 있다. 학습 데이터(131)가 서버 장치(200)의 프로세서(210)에 의해 최종적으로 획득되는 경우라면, 학습 데이터(131)는, 통신부(120, 220)를 통해 서버 장치(200)로부터 픽토그램 인식 장치(100)로 전송된 후, 저장부(130)에 일시적 또는 비일시적으로 저장될 수 있다. 학습 데이터(131)에 대한 자세한 내용은 후술한다.
픽토그램 정보(139)는, 인식된 픽토그램(10)에 관련된 정보를 포함할 수 있다. 예를 들어, 특정한 기호, 문자 및/또는 도형으로 이루어진 픽토그램(10)이 어떠한 동작이나 상태에 관련된 것인지에 대한 정보를 포함할 수 있다. 보다 구체적으로, 픽토그램 정보(139)는 삼각형의 픽토그램(10)은 재생 버튼을 의미한다는 정보나 또는 재생 버튼을 조작하는 경우 음악이나 영상이 재생될 수 있다는 정보를 포함할 수 있다.
픽토그램 정보(139)는, 기호, 문자, 도형, 숫자, 정지 영상, 동영상 및 기타 설계자가 고려할 수 있는 다양한 정보 중 적어도 하나를 이용하여 구현된 것일 수 있다.
픽토그램 정보(139)는, 복수의 픽토그램(10) 각각에 대응하는 복수의 정보를 포함할 수 있다.
저장부(130)에 저장된 픽토그램 정보(139)는, 사용자에 의해 입력된 것일 수도 있고, 및/또는 설계자에 의해 별도로 입력된 것일 수도 있다. 또한, 픽토그램 정보(139)는 별도로 마련된 정보 제공 서버로부터 수신된 것일 수도 있다.
프로세서(110)에 의해 영상 내에서 픽토그램(10)이 추출되면, 프로세서(110)의 제어 명령에 응하여 추출된 픽토그램(10)에 대응하는 정보가 프로세서(110)로 전달될 수 있다. 추출된 정보는 사용자 인터페이스(150)를 통하여 사용자에게 제공될 수 있다.
다른 실시예에 의하면, 저장부(130)는 학습 데이터(131) 및 픽토그램 정보(139) 중 적어도 하나를 저장하지 않을 수도 있다. 이 경우, 서버 장치(200)의 저장부(230)가 학습 데이터(231) 및 픽토그램 정보(239) 중 적어도 하나를 저장할 수 있으며, 저장부(230)에 저장된 학습 데이터(231) 및 픽토그램 정보(239) 중 적어도 하나는, 필요에 따라, 통신부(120, 220)를 통해 픽토그램 인식 장치(100)에 제공될 수 있다.
영상 획득부(140)는, 외부에서 입사되는 가시 광선을 수신하고, 수신한 가시 광선을 전기적 신호로 변환하여, 영상 데이터를 획득할 수 있다. 획득된 영상 데이터는 프로세서(110) 및 사용자 인터페이스(150) 중 적어도 하나로 전달될 수 있다.
일 실시예에 의하면, 영상 획득부(140)는 픽토그램(10)을 포함하는 영상 데이터를 획득할 수 있다. 이 경우, 영상 데이터는 픽토그램(10) 외에도 픽토그램(10) 주변에 대한 영상도 포함할 수 있다.
영상 획득부(140)는, 사용자의 조작에 따라 픽토그램(10)을 촬영하거나, 또는 미리 정의된 설정에 따른 프로세서(110)의 제어에 의하여 픽토그램(10)을 촬영할 수 있으며, 이에 따라 픽토그램(10)을 포함하는 영상 데이터를 획득하여 출력한다.
영상 획득부(140)는, 예를 들어, 전자기파를 이용하여 이동체(1) 주변을 촬영할 수 있다. 여기서, 전자기파는 가시 광선, 적외선, 자외선, 전파, X선, 감마선, 마이크로 웨이브, 또는 극저주파수 전자파(ELF) 등과 같이 이동체(1) 주변에 대한 정보를 획득하기 위해 통상적으로 이용되는 소정의 전자기파를 포함할 수 있다.
예를 들어, 영상 획득부(50)는 통상적인 카메라 장치와 같은 촬영 장치를 이용하여 구현될 수 있다. 이 경우, 촬영 장치는, 전하 결합 소자(CCD, Charge Coupled Device) 또는 시모스(CMOS, complementary metal-oxide semiconductor) 등과 같은 각종 촬상 매체를 이용하여 영상 데이터를 획득 가능한 것일 수 있다.
사용자 인터페이스(150)는 사용자로부터 각종 명령이나 데이터를 입력 받거나, 또는 사용자에게 각종 데이터를 사각적 또는 청각적 형태로 제공할 수 있다.
사용자 인터페이스(150)는, 표시부(151) 및 사운드 출력부(159) 중 적어도 하나를 포함할 수 있다.
표시부(151)는, 픽토그램 인식 장치(100)의 동작과 관련된 각종 정보를 시각적으로 제공할 수 있다. 예를 들어, 표시부(151)는, 프로세서(110)에서 인식된 픽토그램(10)에 대한 정보를 미리 정의된 방법으로 표시할 수 있다. 여기서 미리 정의된 방법은, 예를 들어, 팝업 창을 포함할 수 있다.
표시부(151)는, 음극선관(Cathode Ray Tube: CRT)이나, 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등의 디스플레이 패널을 이용하여 구현된 것일 수 있다.
사운드 출력부(159)는, 픽토그램 인식 장치(100)의 동작과 관련된 각종 정보를 청각적으로 제공할 수 있다. 예를 들어, 사운드 출력부(159)는, 프로세서(110)에서 인식된 픽토그램(10)에 대한 정보를 음성 또는 음향의 형태로 출력하여 사용자에게 제공할 수 있다.
사운드 출력부(159)는, 소정의 스피커 장치를 이용하여 구현 가능하다.
통신부(120)는, 픽토그램 인식 장치(100)가 외부의 다른 장치, 일례로 서버 장치(200) 또는 프로그램 제공 서버와 통신을 수행 가능하도록 마련된다.
통신부(120)를 통하여, 픽토그램 인식 장치(100)는, 서버 장치(200)로부터 학습 데이터(231) 및 픽토그램 정보(239) 중 적어도 하나를 수신하거나, 영상 획득부(140)에서 획득된 영상, 영상으로부터 인식된 픽토그램(10), 프로세서(110)에 의해 획득된 학습 데이터(131) 및 저장부(130)에 저장된 픽토그램 정보(139) 중 적어도 하나를 서버 장치(200)로 전송할 수 있다.
통신부(120)는, 예를 들어, 유선 통신 네트워크 및 무선 통신 네트워크 중 적어도 하나를 이용하여 외부의 통신부(220)와 통신 가능하게 마련된다. 여기서 유선 통신 네트워크는 페어 케이블, 동축 케이블, 광섬유 케이블 또는 이더넷 케이블과 같은 각종 케이블을 이용하여 구현된 것일 수 있다. 무선 통신 네트워크는 근거리 통신 기술 및 장거리 통신 기술 중 적어도 하나를 이용하여 구현 가능하다. 근거리 통신 기술로는 와이 파이(Wi-Fi), 지그비(zigbee), 블루투스(Bluetooth), 와이파이 다이렉트(Wi-Fi Direct), 저전력 블루투스(Bluetooth Low Energy) 또는 엔에프씨(NFC, Near Field Communication) 등이 채용될 수 있다. 또한, 장거리 통신 기술로는, 3GPP, 3GPP2 또는 와이맥스 계열 등의 각종 이동 통신 표준을 기반으로 하는 각종 통신 기술 등이 채용될 수 있다.
일 실시예에 의하면, 도 1 및 도 2에 도시된 바와 같이, 픽토그램 인식 시스템(1)은, 서버 장치(200)를 더 포함할 수도 있다. 서버 장치(200)는 설계자의 선택에 따라서 생략 가능하다.
서버 장치(200)는, 도 2에 도시된 바와 같이, 프로세서(210), 통신부(220) 및 저장부(230)를 포함할 수 있다.
프로세서(210)는, 서버 장치(200)의 전반적인 동작을 제어할 수 있으며, 필요에 따라서, 학습 데이터(131, 231)의 획득, 픽토그램(10)의 인식 동작 및 픽토그램(10)에 대응하는 정보 결정 동작 중 적어도 하나의 동작의 전부 또는 일부를 수행할 수도 있다. 프로세서(210)는, 중앙 처리 장치, 마이크로 컨트롤러 유닛 또는 전자 제어 장치를 이용하여 구현 가능하다.
통신부(220)는, 외부의 장치, 일례로 픽토그램 인식 장치(100)와 서버 장치(200)가 상호 통신을 수행할 수 있도록 마련된다. 예를 들어, 통신부(220)는, 픽토그램 인식 장치(100)로부터 학습 데이터(131) 및 픽토그램 정보(139) 중 적어도 하나를 수신하거나, 또는 학습 데이터(231) 및 픽토그램 정보(239) 중 적어도 하나를 픽토그램 인식 장치(100)로 송신하도록 마련될 수 있다.
저장부(230)는, 서버 장치(200)에 마련된 프로세서(210)의 동작에 필요한 각종 정보를 일시적 또는 비일시적으로 저장할 수 있다. 저장부(230)는, 다양한 저장 매체 중 적어도 하나를 이용하여 구현 가능하다.
일 실시예에 의하면, 저장부(230)는 학습 데이터(231) 및 픽토그램 정보(239) 중 적어도 하나를 저장할 수 있다. 학습 데이터(231) 및 픽토그램 정보(239) 중 적어도 하나는, 픽토그램 인식 장치(100)의 프로세서(110)에 의해 획득된 것일 수도 있고, 서버 장치(200)의 프로세서(210)에 의해 획득된 것일 수도 있다.
실시예에 따라서, 서버 장치(200)는 서버용으로 제작된 컴퓨터 장치를 이용하여 구현될 수 있다.
다른 실시예에 의하면, 서버 장치(200)는, 통신 및 영상 처리가 가능한 다른 장치를 이용하여 구현되는 것도 가능하다. 예를 들어, 서버 장치(200)는, 통신 모듈 및 전자 제어 장치가 설치된 차량(9)을 이용하여 구현될 수도 있다.
이하 도 3 내지 도 23을 참조하여, 픽토그램 인식 방법의 일 실시예에 대해 보다 구체적으로 설명하도록 한다.
도 3은 픽토그램 인식 방법의 일 실시예에 대한 제1 흐름도이다.
도 3에 도시된 바를 참조하면, 픽토그램 인식 방법은, 일 실시예에 있어서, 학습 데이터를 획득하는 단계(300)와, 픽토그램에 대한 영상을 획득하는 단계(400)와, 학습 데이터를 이용하여 픽토그램에 대한 인식을 수행하는 단계(500)와, 인식된 픽토그램에 대응하는 정보를 표시하는 단계(600)를 포함할 수 있다.
학습 데이터를 획득하는 단계(300)와, 학습 데이터를 이용하여 픽토그램에 대한 인식을 수행하는 단계(500)는, 픽토그램 인식 장치(100)의 프로세서(110) 및 서버 장치(200)의 프로세서(210) 중 어느 하나에 의해 수행 가능하다.
이 경우, 학습 데이터를 획득하는 단계(300)의 모든 프로세스는 픽토그램 인식 장치(100)의 프로세서(110) 및 서버 장치(200)의 프로세서(210) 중 어느 하나에 의해 수행되고, 학습 데이터를 이용하여 픽토그램에 대한 인식을 수행하는 단계(500)의 모든 프로세스는 픽토그램 인식 장치(100)의 프로세서(110) 및 서버 장치(200)의 프로세서(210) 중 다른 하나에 의해 수행될 수도 있다. 또한, 학습 데이터를 획득하는 단계(300) 또는 학습 데이터를 이용하여 픽토그램에 대한 인식을 수행하는 단계(500)의 일부 프로세스는 픽토그램 인식 장치(100)의 프로세서(110)에 의해 수행되고, 다른 일부의 프로세스는 서버 장치(200)의 프로세서(210)에 수행될 수도 있다.
픽토그램에 대한 영상을 획득하는 단계(400)는, 예를 들어, 픽토그램 인식 장치(100)의 영상 획득부(140)에 의해 수행될 수 있다.
인식된 픽토그램에 대응하는 정보를 표시하는 단계(600)는, 픽토그램 인식 장치(100)의 프로세서(110)의 제어에 따라서 사용자 인터페이스(150)에 의해 수행될 수 있다.
이하 각각의 단계(300 내지 600)에 대해 보다 구체적으로 설명한다.
학습 데이터를 획득하는 단계(300)에서는, 영상 획득부(140)에서 획득된 영상으로부터 픽토그램(10)을 추출하기 위해 이용되는 학습 데이터(131)가 획득될 수 있다.
도 4는 픽토그램 인식 방법의 일 실시예에 대한 제2 흐름도이고, 도 5는 윈도우의 이동을 설명하기 위한 제1 도면이다. 도 5에서는 설명의 편의를 위하여 도면의 방향을 학습용 영상(20)의 방향으로 정의하도록 한다.
도 4 및 도 5에 도시된 바를 참조하면, 학습 데이터를 획득하기 위하여, 먼저 적어도 하나의 학습용 영상(20)이 획득된다(310). 적어도 하나의 학습용 영상(20) 각각은, 적어도 하나의 픽토그램(21)을 포함할 수 있으며, 적어도 하나의 학습용 영상(20) 각각의 픽토그램(21)은 서로 상이할 수 있다.
학습용 영상(20)은, 픽토그램 인식 장치(100)의 영상 획득부(140)에 의해 수행될 수도 있고, 또는 픽토그램 인식 장치(100)와 별도로 마련된 다른 장치에 의해 수행될 수도 있다. 별도의 장치는 학습용 영상(20)의 획득이 가능한 컴퓨터 장치나, 카메라나, 또는 스마트 폰 등의 휴대용 단말 장치 등을 포함할 수 있다.
필요에 따라, 학습용 영상(20)이 획득되면, 학습용 영상(20)으로부터 복수의 영상이 더 획득될 수 있다. 예를 들어, 학습용 영상(20)에 대한 영상 피라미드(image pyramid)가 더 획득될 수 있다. 영상 피라미드는 학습용 영상(20)과 상이한 스케일의 복수의 영상을 포함할 수 있다. 영상 피라미드에 대해선 후술한다.
도 6은 윈도우의 이동을 설명하기 위한 제2 도면이고, 도 7은 윈도우의 이동을 설명하기 위한 제3 도면이다.
학습용 영상(20)이 획득되면, 학습용 영상(20)으로부터 적어도 하나의 구역이 추출될 수 있다(320). 적어도 하나의 구역의 추출(320)은, 복수의 위치에 윈도우(30: 30-1, 30-2, ..., 30-N)를 정의하여 수행될 수 있다.
일 실시예에 의하면, 적어도 하나의 구역의 추출(320)은, 슬라이딩 윈도우(sliding window) 방식을 이용하여 수행될 수 있다.
슬라이딩 윈도우(sliding window) 방식에 의하면, 도 5 내지 도 7에 도시된 바와 같이, 학습용 영상(20)에 중첩하여 적어도 하나의 윈도우(30)가 정의되고, 적어도 하나의 윈도우(30)의 구획에 따라서 적어도 하나의 구역(22)이 정의될 수 있다.
보다 구체적으로 예를 들어, 윈도우(30-1)는, 도 5에 도시된 바와 같이, 먼저 학습용 영상(20)의 일부, 예를 들어, 좌측 상단 경계에 정의되고, 정의된 윈도우(30-1)에 포함되는 구역(22-1)이 영상 인식을 위해 정의된다.
이어서, 윈도우(30-2)는, 도 6에 도시된 바와 같이, 소정의 방향, 예를 들어, 우측 방향(m1)으로 이동하여 정의되고, 이동된 위치에 대응하는 구역(22-2)이 영상 인식을 위해 정의된다. 윈도우(30-2)의 이동 거리는 설계자의 선택에 따라 임의적으로 결정될 수 있다. 예를 들어, 이동된 윈도우(30-2)에 의해 구획되는 대부분의 구역(22-2)이 이동 전의 윈도우(30-1)에 의해 구획되는 구역(22-1)과 중첩되도록 윈도우(30-2)는 이동할 수도 있고, 또는 이동된 윈도우(30-2)에 의해 구획되는 구역(22-2)이 이동 전의 윈도우(30-1)에 의해 구획되는 구역(22-1)과 전혀 중첩되지 않도록 윈도우(30-2)는 이동할 수도 있다.
윈도우(30: 30-1, 30-2, ..., 30-N)는 순차적으로 이동하고 이에 따라 학습용 영상(20) 내의 복수의 구역(22: 22-1, 22-2, ..., 22-N)이 정의된다. 도 6에 도시된 바와 같이, 윈도우(30-N)는 미리 정의된 목적지, 예를 들어, 학습용 영상(20)의 우측 하단 경계에 도달할 때까지 계속해서 이동할 수 있다.
윈도우(30)의 이동은, 일 실시예에 의하면, 도 7에 도시된 바와 같이 지그재그 형태로 수행될 수도 있다. 즉, 윈도우(30)는 좌측 상단 경계에서부터 우측 방향으로 이동하고, 우측 상단 경계에서 하 방향으로 이동하고, 다시 좌측 방향으로 이동하고, 좌측 경계에서 하 방향으로 이동하고, 다시 우측 방향으로 이동하는 것을 반복하여, 목적지까지 이동할 수 있다.
다른 실시예에 의하면, 윈도우(30)는 좌측 경계에서 우측 경계까지 우측 방향으로 이동하고, 다시 좌측 경계의 바로 아래에 위치한 경계에서 우측 경계의 바로 아래에 위치한 경계까지 우측 방향으로 이동하는 것을 반복하여, 목적지까지 이동할 수도 있다.
이외에도 설계자가 고려할 수 있는 다양한 방법으로 윈도우(30)는 이동 가능하다.
윈도우(30: 30-1, 30-2, ..., 30-N)에 의해 복수의 구역(22: 22-1, 22-2, ..., 22-N)이 획득되면, 복수의 구역(22: 22-1, 22-2, ..., 22-N) 각각에 대해서 그래디언트 방향성 히스토그램이 획득될 수 있으며(330), 이에 따라 기술자가 획득될 수 있다(340).
그래디언트 방향성 히스토그램의 획득 및 기술자 획득 프로세스(330, 340)는, 어느 하나의 구역(22: 22-1, 22-2, ..., 22-N)의 정의되면 어느 하나의 구역(22: 22-1, 22-2, ..., 22-N) 의 정의에 응하여 바로 또는 일정한 시간 경과 후에 수행될 수도 있고, 또는 모든 구역(22: 22-1, 22-2, ..., 22-N)이 정의된 이후에 수행될 수도 있다.
도 8은 복수의 셀로 분할된 일 구역의 일례를 도시한 도면이고, 도 9는 각 셀의 그래디언트를 설명하기 위한 도면이다. 도 10은 각 셀에 대응하는 그래디언트 방향성 히스토그램의 일례를 설명하기 위한 제1 도면이고, 도 11은 하나의 구역에서의 그래디언트 방향성 히스토그램의 일례를 설명하기 위한 도면이다. 도 10 및 도 11에서 x축은 영상 그래디언트의 방향 성분을 나타내고, y축은 영상 그래디언트의 방향 성분에 대응하는 값을 의미한다.
도 8에 도시된 바와 같이, 윈도우(30)에 의해 정의된 구역(22)은 구역(22)을 복수 개로 구획하여 정의되는 복수의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)을 포함할 수 있다.
복수의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)은, 예를 들어, mⅹn의 매트릭스 형태로 주어질 수 있다(m 및 n는 0보다 큰 자연수). 이 경우, m과 n은 서로 동일할 수도 있고, 또는 서로 상이할 수도 있다. 일 실시예에 의하면, m 과 n은 각각 4일 수 있다. 다시 말해서, 윈도우(30)에 의해 정의된 구역(22)은 4ⅹ4의 매트릭스 형태로 배치된 복수의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)을 포함할 수 있다.
복수의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn) 각각은, 도 9에 도시된 바와 같이, 적어도 하나의 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)로 이루어질 수 있다. 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)은 영상을 이루는 최소 단위를 의미한다. 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)은, iⅹj 매트릭스의 형태를 가질 수 있다(i 및 j는 0보다 큰 자연수). 여기서, i와 j는 서로 동일할 수도 있고, 상이할 수도 있다. 일 실시예에 따르면, i는 예를 들어 4일 수 있으며, j도 4일 수 있다. 다시 말해서, 복수의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn) 각각은, 4ⅹ4 매트릭스 형태로 배치된 복수의 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)로 이루어진 것일 수 있다.
각각의 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)에는 영상 데이터가 존재하며, 각각의 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)의 영상 데이터는, 도 9에 도시된 바와 같이, 영상 그래디언트(image gradient)를 가질 수 있다.
영상 그래디언트는, 영상 내의 명암 또는 색상의 방향적 변화를 의미하며, 벡터 성분으로 표현 가능하다. 영상 그래디언트는, 각 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij) 내의 명암 또는 색상의 방향적 변화를 포함할 수 있다.
각각의 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)에서 획득되는 영상 그래디언트는, 각각의 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)마다 상이할 수도 있고, 또는 모두 동일할 수도 있다. 또한, 복수의 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij) 중 일부의 픽셀의 영상 그래디언트는 서로 동일할 수도 있고, 다른 일부의 픽셀의 영상 그래디언트는 일부의 픽셀의 영상 그래디언트와 상이할 수도 있다.
일 실시예에 의하면, 영상 그래디언트는 도 10에 도시된 바와 같이 8개의 방향으로 정의될 수 있다. 예를 들어, 영상 그래디언트는, 우측 방향 성분(d1), 우측 상 방향 성분(d2), 상 방향 성분(d3), 좌측 상 방향 성분(d4), 좌측 방향 성분(d5), 좌측 하 방향 성분(d6), 하 방향(d7) 성분 및 우측 하 방향 성분(d8)을 포함할 수 있다.
픽토그램 인식 장치의 프로세서(110) 및 서버 장치(200)의 프로세서(210) 중 적어도 하나(이하 프로세서(110, 210)라 표기함)는, 어느 하나의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)을 이루는 각 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)의 영상 그래디언트를 획득하고, 획득한 영상 그래디언트를 이용하여, 특정한 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)에 대한 적어도 하나의 기술자를 획득할 수 있다.
일 실시예에 따르면, 프로세서(110, 210)는, 도 10에 도시된 바와 같이, 어느 하나의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)에 대응하는 그래디언트 방향성 히스토그램(50)을 획득함으로써, 어느 하나의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)에 대응하는 적어도 하나의 기술자를 획득할 수 있다.
그래디언트 방향성 히스토그램(50)은, 각각의 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)에서 획득되는 영상 그래디언트의 각 방향 성분(d1 내지 d8)과, 각 방향 성분(d1 내지 d8)에 대응하는 복수의 값들을 포함할 수 있다. 예를 들어, 그래디언트 방향성 히스토그램(50)은, 도 10에 도시된 바와 같이, (d1, d2, d3, d4, d5, d6, d7, d8)으로 이루어진 8개의 방향 성분과, 방향 성분(d1 내지 d8) 각각에 대응하는 복수의 값들을 포함할 수 있다.
프로세서(110, 210)는, 선택된 어느 하나의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)의 각 픽셀(24: 24-11, ..., 24-1j, ..., 24-i1, ..., 24- ij)의 영상 그래디언트를 누적하여 어느 하나의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)에 대한 그래디언트 방향성 히스토그램(50)을 생성할 수 있다. 이 경우, 그래디언트 방향성 히스토그램(50)의 각 성분(d1 내지 d8)에 대응되는 값은, 어느 하나의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)에서 검출되는 영상 그래디언트의 빈도 또는 크기에 대응하여 정의될 수 있다. 예를 들어, 그래디언트 방향성 히스토그램(50)의 각 성분(d1 내지 d8)에 할당되는 값은 영상 그래디언트의 빈도 또는 크기에 비례하여 정의될 수 있다.
예를 들어, 어느 하나의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)에서 검출되는 복수의 영상 그래디언트 중에서 상대적으로 높은 빈도로 검출되는 영상 그래디언트에 대응하는 방향 성분, 예를 들어 상 방향 성분(d3)에는 상대적으로 큰 값이 할당되어 기록되고, 상대적으로 낮은 빈도로 검출되는 영상 그래디언트에 대응하는 방향, 예를 들어 좌측 상 방향 성분(d4) 또는 하 방향 성분(d7)에는 상대적으로 작은 값이 대응되어 기록될 수 있다. 이 경우, 상술한 바와 같이, 각각의 방향(d3, d4, d7)에 기록되는 값은, 검출되는 빈도에 비례하도록 설계될 수 있다.
상대적으로 큰 값이 기록된 방향, 즉 복수의 영상 그래디언트 중에서 상대적으로 더 검출되는 영상 그래디언트에 대응하는 방향은 어느 하나의 셀(23)에 대한 대표 방향으로 정의될 수 있다. 예를 들어, 도 10의 경우, 상 방향(d3)이 어느 하나의 셀(23)에 대한 대표 방향으로 정의될 수 있다.
프로세서(110, 210)는, 어느 하나의 구역(22)을 이루는 각각의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)마다 대응하는 그래디언트 방향성 히스토그램(50)을 획득하고, 획득한 그래디언트 방향성 히스토그램(50)을 조합하여, 도 11에 도시된 바와 같이 하나의 구역(22)에 대한 그래디언트 방향성 히스토그램(51)을 획득할 수 있다.
만약 각 구역(22)이 4ⅹ4 매트릭스 형태의 셀(23)을 포함하고, 방향 성분이 8개로 설정되면, 하나의 구역(22)에 대한 그래디언트 방향성 히스토그램(51)은, 총 128개(=4ⅹ4개의 셀ⅹ8개의 방향 성분)의 성분(d1 내지 d128)을 포함하게 될 수 있다.
도 10 및 도 11에 도시된 바와 같이 그래디언트 방향성 히스토그램(50, 51)이 획득되면, 그래디언트 방향성 히스토그램(50, 51) 각각의 방향 성분은 기술자로 결정된다.
따라서, 상술한 바와 동일하게, 총 8개의 방향 성분이 정의된 경우라면, 어느 하나의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)에서는 8개의 기술자가 획득될 수 있다. 또한 총 8개의 방향 성분이 정의되고 어느 하나의 구역(22)이 4ⅹ4 매트릭스 형태의 셀(23)을 포함하는 경우라면, 어느 하나의 구역(22)에 대해서 128개의 기술자가 획득될 수 있다.
이와 같이 획득된 기술자는 학습 데이터(131, 231)로 정의되고, 저장부(130, 230)에 저장될 수 있다(360).
도 4에 도시된 바와 같이, 일 실시예에 의하면 프로세서(110, 210)는, 기술자가 획득되면, 획득된 각 셀(23)에 대한 기술자를 정규화할 수 있다(350).
예를 들어, 프로세서(110, 210)는, 상술한 바와 같이 획득된 그래디언트 방향성 히스토그램(50, 51)을 정규화함으로써, 기술자를 정규화할 수 있다.
보다 구체적으로 예를 들어, 프로세서(110, 210)는 대표 방향, 일례로 도 10의 상 방향(d3)에 대응하는 값과 다른 방향(d1, d2, d4 내지 d8)에 대응하는 값 사이의 비율을 연산하고, 대표 방향에 대응하는 값을 1로 정의하고, 다른 방향(d1, d2, d4 내지 d8)에 대응하는 값을, 연산된 비율을 기초로, 비례적으로 감소시킴으로써, 도 10에 도시된 바와 같이 정규화된 그래디언트 방향성 히스토그램(50)을 획득할 수 있다.
또한, 프로세서(110, 210)는, 먼저 어느 하나의 셀(23)의 대표 방향을 기준으로 그래디언트 방향성 히스토그램(50, 51)을 정렬한 후에(registration), 대표 방향을 기초로 그래디언트 방향성 히스토그램(50, 51)을 정규화할 수도 있다.
상술한 바와 같이, 각각의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)에 대한 그래디언트 방향성 히스토그램(50, 51)을 획득하는 경우, 각각의 셀(23: 23-11, 23-12, ..., 23-1n, ..., 23-21, ..., 23-m1, ..., 23-mn)에서 획득되는 영상 그래디언트는 촬영 장치의 오류나 외부 조명의 변화와 같은 외부 잡음에 따라서 영향을 받을 수 있다. 이와 같은 영향은, 획득된 그래디언트 방향성 히스토그램(50, 51)에 오차를 야기할 수 있다. 그래디언트 방향성 히스토그램(50, 51)의 정규화는 이와 같은 오차를 감소시킬 수 있다.
그래디언트 방향성 히스토그램(50, 51)의 정규화 처리 프로세스(350)는, 설계자의 임의적 선택에 따라, 생략 가능하다.
정규화된 기술자 역시 학습 데이터(131, 231)로 정의되고, 저장부(130, 230)에 저장될 수 있다(360).
도 12는 각 셀에 대응하는 그래디언트 방향성 히스토그램의 일례를 설명하기 위한 제2 도면이다. 도 12에서 x축은 영상 그래디언트의 방향 성분을 나타내고, y축은 영상 그래디언트의 방향 성분에 대응하는 값을 의미한다.
픽토그램(10)은 가시성을 높이기 위하여 적은 수의 색으로 구현될 수 있으며, 예를 들어 2개의 색으로 구현될 수 있다.
일 실시예에 따르면, 프로세서(110, 210)는, 이와 같은 픽토그램(10)의 이진 특성을 이용하여 그래디언트 방향성 히스토그램(50, 51)을 획득함으로써, 상술한 외부 잡음을 최소화할 수도 있다.
구체적으로 프로세서(110, 210)는 먼저 획득된 학습용 영상(20)에 대해 영상 이진화(image binarization)를 수행하고, 이진화된 학습용 영상을 기초로, 상술한 바와 동일한 처리를 수행함으로써, 도 12에 도시된 바와 같이 그래디언트 방향성 히스토그램(52)을 획득할 수 있다.
이진화된 학습용 영상을 이용하여 획득된 그래디언트 방향성 히스토그램(52)은, 학습용 영상(20)을 그대로 이용하여 그래디언트 방향성 히스토그램(50, 51)보다 상대적으로 대표 방향, 일례로 도 12의 상 방향 성분(d3)에 대응하는 값이 강화되어 획득될 수 있다. 이에 따라 그래디언트 방향성 히스토그램(52)에서 획득된 대표 방향은 외부 잡음에 상대적으로 강인해지고, 적절한 대표 방향이 그래디언트 방향성 히스토그램(52)으로부터 추출될 수 있게 된다.
이진화된 학습용 영상을 이용하여 획득된 그래디언트 방향성 히스토그램(52) 역시 상술한 바와 동일하게 정규화될 수 있다. 그래디언트 방향성 히스토그램(52)의 대표 방향에 대응하는 값은, 학습용 영상(20)을 이용하여 획득된 그래디언트 방향성 히스토그램(50, 51)의 대표 방향에 대응하는 값보다 상대적으로 더 크기 때문에, 대표 방향에 대응한 값과 다른 방향에 대응하는 값 사이의 차이가 상대적으로 더 증가한다. 따라서, 이진화된 학습용 영상을 이용하여 획득되고 정규화된 그래디언트 방향성 히스토그램(52)에서는 각 방향 성분의 차이가 보다 명확하게 나타나게 된다.
도 13은 초공간을 복수의 초평면으로 분할하는 일례에 대한 제1 도면이고, 도 14는 초공간을 복수의 초평면으로 분할하는 일례에 대한 제2 도면이다. 도 15는 초공간을 복수의 초평면으로 분할하는 일례에 대한 제3 도면이다. 도 13 내지 도 15는 설명의 편의를 위하여 2차원 상의 데이터의 분포를 개념적으로 표현한 것이다. x축 및 y축은 데이터가 2차원 벡터로 표현 가능한 경우, 2차원 벡터의 각각의 벡터 값을 의미한다. 도 13 내지 도 15의 각 점은 기술자를 의미한다.
일 실시예에 의하면, 기술자가 획득되거나(340) 또는 기술자가 정규화된 이후(350), 프로세서(110, 210)는, 공간 분석을 수행할 수 있다(370).
픽토그램 인식 프로세스(500)에서 획득한 기술자를, 학습 데이터 획득 단계(300)에서 획득된 모든 기술자와 비교하여 픽토그램(10)을 인식하는 경우, 픽토그램(10) 인식에 많은 시간을 소비하게 되고, 이에 따라 픽토그램(10)의 실시간 인식 수행이 불가능해질 수 있다.
프로세서(110, 210)는, 이와 같은 픽토그램(10)의 인식 시간 단축을 위하여 공간 분석을 더 수행할 수 있다.
프로세서(110, 210)는, 획득된 복수의 기술자를, 대응하는 복수 차원의 초 공간(hyper-space)에 위치시키고, 복수의 기술자의 분포 특성에 따라서, 도 13 내지 도 15에 도시된 바와 같이, 초 공간을 분할하는 적어도 하나의 초 평면(hyper-plain)을 정의하여, 공간 분할 프로세스를 수행할 수 있다.
예를 들어, 하나의 구역(22)에 대해 128개의 기술자가 정의된 경우라면, 128개의 기술자를 128차원 초 공간에 배치시키고, 128개의 기술자가 어떤 방식으로 배치되었는지를 확인하여, 적어도 하나의 초 평면을 결정할 수 있다.
일 실시예에 의하면, 프로세서(110, 210)는, 픽토그램(10)의 인식 프로세스(500)에서 오인식이 발생되지 않도록 초 공간을 분할하는 초 평면을 결정할 수 있다.
예를 들어, 도 13에 도시된 바와 같이 복수의 기술자가 초 공간에 분포된 경우, 만약 제1 라인(L10)을 이용하여 하나의 공간을 두 개의 공간(G11, G12)로 분할하면, 복수의 기술자의 분포 방향과 제1 라인(L10)이 근사하여, 영상 획득부(140)에서 발생되는 잡음에 따라 학습 프로세스(300)에서는 제1 공간(G11)에 존재하던 기술자가, 인식 프로세스(500)에서는 제2 공간(G12)에 존재하는 것으로 판단되어 오인식이 발생할 수 있다.
반대로 도 14에 도시된 바와 같이 제2 라인(L20)을 이용하여 하나의 공간을 두 개의 공간(G21, G22)로 분할하면, 복수의 기술자의 분포 방향과 제1 라인(L10)이 근사하지 않게 되고, 필요에 따라 거의 직교할 수 있으므로, 픽토그램(10)의 오인식이 발생 가능성이 감소하게 된다.
그러므로, 프로세서(110, 210)는, 영상 획득부(140)에서 발생되는 잡음에 기인한 인식률 저하를 최소화할 수 있도록, 복수의 기술자가 분포된 특성 등에 따라서 초 평면을 정의 및 설정하고, 초 공간을 분할하여 획득된 복수의 분할 공간(G21, G22)을 정의할 수 있다.
보다 구체적으로 예를 들어, 프로세서(110, 210)는 하기의 세 가지 조건 중 적어도 하나의 조건을 만족하는지 여부에 따라서 초 평면을 정의 및 설정하도록 설계될 수 있다.
제1 조건: 초 평면을 정의했을 때, 다른 영역에 위치할 수 있는 데이터 수가 적어야 한다.
제2 조건: 초 평면에 의해 분할되는 각 공간(G21, G22)에 속한 기술자의 개수가 동일하거나 또는 근사해야 한다.
제3 조건: 분할되는 각 공간(G21, G22)의 두 표준 편차의 곱에 대한 분할되는 각 공간(G21, G22)의 평균 사이의 거리의 비율이 상대적으로 커야 한다. 즉, 하기의 수학식 1을 만족해야 한다.
[수학식 1]
(두 공간의 평균 사이의 거리) / (두 공간의 표준 편차의 곱) > Cref
여기서, 공간(G21, G22)의 평균은, 각 공간(G21, G22)에 속한 기술자에 대한 평균을 의미하고, 공간(G21, G22)의 표준 편차는 각 공간(G21, G22)에 속한 기술자에 대한 표준 편차로 연산된다. Cref는 임계값으로 설계자에 의해 임의로 정의 가능하다.
상술한 제1 조건 내지 제3 조건을 이용하여 프로세서(110, 210)가 공간을 분할하는 경우, 초 공간은 보다 적절하게 분할될 수 있으며, 이에 따라 픽토그램(10)의 인식 프로세스(500)에서 오인식이 발생 가능성이 상대적으로 감소하게 된다.
도 14에 도시된 바와 같이 초 공간이 복수의 공간(G21, G22)으로 분할되면, 프로세서(110, 210)는 공간(G21, G22) 중 적어도 하나에 대해 추가적으로 초 평면을 정의함으로써, 복수의 분할 공간(G21, G22) 중 적어도 하나를 더 분할할 수 있다.
이와 같이 분할 프로세스는 계속해서 반복 수행될 수 있다. 이에 따라 초 공간은, 도 15에 도시된 바와 같이, 복수의 공간(G31, G32, G33, G34, G35, G36)으로 분할될 수 있다. 복수의 공간(G31, G32, G33, G34, G35, G36)은 복수의 선분, 즉 초 평면(L21, L22, L23, L24)에 의해 분할되어 획득된다. 분할 프로세스의 반복에 따라서, 초 공간은 트리 구조(tree structure)를 가지게 된다.
실시예에 따라서, 분할 프로세스는, 복수의 공간(G31, G32, G33, G34, G35, G36) 중 적어도 하나의 공간의 기술자의 개수가 미리 정의된 값보다 작을 때까지 반복될 수도 있고, 또는 복수의 공간(G31, G32, G33, G34, G35, G36) 각각에 존재하는 기술자의 개수가 모두 미리 정의된 값보다 작을 때까지 반복될 수도 있다.
초 공간의 분할에 이용된 초 평면(L20, L21, L22, L23, L24)은 픽토그램 인식 장치(100)의 저장부(130) 및 서버 장치(20)의 저장부(230) 중 적어도 하나에 저장될 수 있으며, 픽토그램(10)을 인식할 때 프로세서(110, 210)에 의해 호출되어 이용될 수 있다.
공간 분석 프로세스(370)에 의하면, 각각의 기술자의 차원이 상대적으로 낮아질 수 있다. 예를 들어, 128차원의 기술자의 차원은 128보다 작게 된다.
실시예에 따라서, 프로세서(110, 210)는 서포트 벡터 머신(SVM, Support Vector Machine)을 이용하여 공간 분할 프로세스를 수행할 수도 있다. 서포트 벡터 머신을 이용하는 경우, 학습 데이터의 획득 과정(300)이 상대적으로 느리게 진행되고, 또한 학습될 픽토그램이 추가되면 모든 기술자를 다시 학습해야 하고, 또한 학습 데이터의 개수를 많이 필요로 하는 단점이 존재할 수 있다.
공간 분석 프로세스(370)는, 실시예에 따라, 생략 가능하다.
상술한 바와 같이 학습 데이터(131, 231)가 획득된 이후, 도 3에 도시된 바와 같이 사용자의 조작이나 미리 정의된 설정에 따라서 픽토그램 인식 장치(100)는 픽토그램(10)을 포함하는 영상 데이터를 획득한다(400).
픽토그램(10)을 포함하는 영상 데이터가 획득되면, 픽토그램(10)을 인식하기 위하여 영상 데이터에 대한 각종 처리가 수행되고, 영상 처리 결과와 획득된 학습 데이터를 이용하여 픽토그램(10)에 대한 인식이 수행된다(500)
도 16은 픽토그램 인식 방법의 일 실시예에 대한 제2 흐름도이고, 도 17은 영상 피라미드의 일례를 설명하기 위한 도면이다.
도 4에 도시된 바에 따르면, 픽토그램 인식 방법이 개시되면, 사용자의 조작이나 미리 정의된 설정에 따라서 영상 획득부(140)는 픽토그램(10)을 포함하는 영상 데이터가 획득된다(400).
도 16에 도시된 바와 같이, 프로세서(110, 210)는, 영상 데이터의 획득에 응하여, 획득한 영상에 대한 영상 피라미드를 생성할 수 있다(510).
영상 피라미드는, 도 17에 도시된 바와 같이 하나의 기준 영상(40)에 대해서, 기준 영상(40)의 스케일을 변경하여 획득된 적어도 하나의 영상(41:41-1, 41-2, 41-3)을 의미한다. 다시 말해서, 영상 피라미드의 생성 결과, 하나의 영상(40) 및 하나의 영상(40)과 스케일만 상이한 적어도 하나의 영상(41:41-1, 41-2, 41-3)이 획득될 수 있다.
프로세서(110, 210)는, 복수의 영상(40, 41-1, 41-2, 41-3) 각각에 대해 적어도 하나의 구역을 추출할 수 있다(511). 이 경우, 복수의 영상(40, 41-1, 41-2, 41-3)으로부터 순차적으로 적어도 하나의 구역이 추출될 수도 있고, 또는 복수의 영상(40, 41-1, 41-2, 41-3)으로부터 동시에 적어도 하나의 구역이 추출될 수도 있으며, 복수의 영상(40, 41-1, 41-2, 41-3)에 대해 교차적으로 적어도 하나의 구역이 추출될 수도 있다.
프로세서(110, 210)는, 상술한 바와 같이 슬라이딩 윈도우 방식을 이용하여 적어도 하나의 구역을 복수의 영상(40, 41-1, 41-2, 41-3)으로부터 추출할 수 있다.
도 18은 제1 영상에 대한 윈도우의 이동의 일례를 설명하기 위한 도면이고, 도 19는 제2 영상에 대한 윈도우의 이동의 일례를 설명하기 위한 도면이다.
도 18 및 도 19에 도시된 바와 같이, 프로세서(110, 210)는, 복수의 영상(40, 41-1, 41-2, 41-3) 각각마다 동일한 크기의 윈도우(50)를 정의하고, 정의된 윈도우(50)를 미리 정의된 바에 따라 이동시킴으로써, 복수의 영상(40, 41-1, 41-2, 41-3) 상에서 적어도 하나의 구역(42)을 순차적으로 추출할 수 있다.
이 경우, 상술한 바와 같이 복수의 영상(40, 41-1, 41-2, 41-3)은 서로 상이한 스케일을 가지므로, 동일한 크기의 윈도우를 복수의 영상(40, 41-1, 41-2, 41-3)에 적용하는 경우, 복수의 영상(40, 41-1, 41-2, 41-3)에서 검출된 구역에 포함되는 데이터는 서로 상이하게 된다.
예를 들어, 도 18에 도시된 바와 같이, 가장 작은 스케일의 제1 영상(41-1)에 제1 윈도우(51)를 적용하는 경우, 획득된 구역(42-1) 내에는 상대적으로 많은 양의 데이터가 존재하게 된다.
또한, 도 19에 도시된 바와 같이, 가장 큰 스케일의 제2 영상(41-3)에, 제1 윈도우(51)와 동일한 크기 및 형상의 제2 윈도우(52)를 적용하는 경우, 획득된 구역(42-2) 내의 데이터는, 제1 영상(41-1)에서 획득된 데이터보다 상대적으로 더 적게 된다.
이와 같이 이미지 피라미드에 대해 슬라이딩 윈도우 방식을 적용하여 구역을 획득하는 경우, 검출되는 데이터가 상이하므로 그래디언트 방향성 히스토그램 역시 상이하게 형성될 수 있으며, 이에 따라 특정한 스케일에서는 검출되지 않던 특징이 검출될 수 있다. 예를 들어, 기준 영상(40)의 좌측 상단에 곡선이 존재하는 경우, 제1 영상(41-1)의 구역(42-1)으로부터는 존재하는 곡선에 대한 그래디언트가 획득될 수 있으나, 제2 영상(41-3)의 구역(42-2)에서는 곡선의 일부를 이루는 직선에 대한 그래디언트만이 획득될 수 있다. 따라서, 이미지 피라미드를 이용하여, 하나의 기준 영상(40)에 대해 스케일만 상이한 복수의 영상(41)을 생성하고, 각 영상(40, 41)에 대해 구역을 검출하여 영상 데이터를 획득하면, 기준 영상(40) 내에 존재하는 대상, 일례로 히스토그램(10)을 보다 적절하게 검출할 수 있게 된다.
도 20은 제1 영상에서 획득된 그래디언트 방향성 히스토그램의 일례를 설명하기 위한 도면이다.
프로세서(110, 210)는, 복수의 영상(40, 41-1, 41-2, 41-3) 각각으로부터 적어도 하나의 구역(42-1, 42-3)이 획득되면, 도 20에 도시된 바와 같이 적어도 하나의 구역(42-1, 42-3)을 이루는 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램(55)을 획득할 수 있다(512).
그래디언트 방향성 히스토그램(55)의 획득 프로세스(512)는, 학습 데이터 획득 프로세스(300)에서의 그래디언트 방향성 히스토그램(50, 51, 52) 획득 프로세스(330)와 동일하거나 또는 일부 변형을 거쳐 수행될 수 있다.
그래디언트 방향성 히스토그램(55)의 획득 프로세스(512)는, 설계자의 선택에 따라서, 어느 하나의 영상(40, 41)으로부터 어느 하나의 구역(42-1, 42-3)이 획득될 때마다 수행될 수도 있고, 어느 하나의 영상(40, 41)으로부터 복수의 구역이 획득된 이후에 수행될 수도 있고, 또는 모든 영상(40, 41)으로부터 복수의 구역이 획득된 이후에 수행될 수도 있다.
그래디언트 방향성 히스토그램(55)이 획득되면, 이에 따라서 기술자가 획득될 수 있다(513).
어느 하나의 셀 또는 어느 하나의 구역으로부터 획득되는 기술자의 개수(즉, 기술자의 차원)는, 학습 데이터 획득 프로세스(300)에서 어느 하나의 셀 또는 어느 하나의 구역으로부터 획득되는 기술자의 개수와 동일할 수 있다. 예를 들어, 어느 하나의 셀로부터, 예를 들어, 8개의 기술자가 획득될 수 있고, 어느 하나의 구역으로부터, 예를 들어, 128개의 기술자가 획득될 수 있다.
일 실시예에 의하면, 기술자는 상술한 바와 같이 정규화될 수도 있다(514). 이 경우, 어느 하나의 셀에서 추출되는 복수의 영상 그래디언트 중에서 상대적으로 더 검출되는 영상 그래디언트에 대응하는 방향은, 대표 방향으로 정의될 수 있으며, 정의된 대표 방향을 이용하여 기술자의 정규화가 수행될 수 있다.
기술자의 정규화(514)는, 실시예에 따라 생략 가능하다.
도 21은 기술자가 어느 하나의 초평면에 위치하는 일례를 도시한 도면이다.
일 실시예에 의하면, 프로세서(110, 210)는, 도 21에 도시된 바와 같이, 픽토그램 인식 장치(100)의 저장부(130) 및 서버 장치(20)의 저장부(230) 중 적어도 하나에 저장된 분할 공간(G31, G32, G33, G34, G35, G36) 중에서, 상술한 바와 같이 획득되거나 또는 추가적으로 정규화된 기술자가 존재하는 분할 공간(G36)을 검출할 수 있다(520).
이 경우, 프로세서(110, 210)는 초 공간의 분할에 이용된 초 평면(L20, L21, L22, L23, L24)을 호출하고, 초 평면(L20, L21, L22, L23, L24)을 이용하여 기술자가 존재하는 분할 공간(G36)을 획득할 수 있다. 예를 들어, 프로세서(110, 210)는 초 평면(L20, L21, L22, L23, L24)과 기술자를 비교하고, 비교 결과를 기초로 기술자가 어느 분할 공간(G36)에 존재하는지를 판단할 수 있다.
기술자(55)가 존재하는 분할 공간(G36)의 검출 과정(520)은, 실시예에 따라, 생략 가능하다.
기술자가 존재하는 분할 공간(G36)이 검출되면, 프로세서(110, 210)는 검출된 분할 공간(G36)에 존재하는 적어도 하나의 학습 데이터(131: 132, 133, 134, 135)를 획득하고, 획득한 학습 데이터(131: 132, 133, 134, 135)를 기술자와 비교할 수 있다(522).
일 실시예에 의하면, 프로세서(110, 210)는 분할 공간(G36)에 존재하는 적어도 하나의 학습 데이터와, 기술자 사이의 거리를 연산하고, 연산된 거리가 가장 작은 학습 데이터를 검출할 수 있다. 이 경우, 프로세서(110, 210)는 기술자와의 거리가, 미리 정의된 임계 값보다 작은 학습 데이터를 모두 검출할 수도 있다.
도 22는 기술자를 검색하는 프로세스를 설명하기 위한 도면이다.
만약 기술자가 존재하는 분할 공간(G36)이 검출되지 않는 경우라면, 프로세서(110, 210)는 학습 데이터와 기술자 사이의 비교를 위해서, 도 22에 도시된 바와 같이 픽토그램 인식 과정(500)에서 획득된 그래디언트 방향성 히스토그램(55)과, 학습 데이터(131)로 저장된 적어도 하나의 그래디언트 방향성 히스토그램(132 내지 135)를 비교할 수도 있다.
프로세서(110, 210)는, 학습 데이터(131)로 저장된 적어도 하나의 그래디언트 방향성 히스토그램(132 내지 135) 중에서, 픽토그램 인식 과정(500)에서 획득된 그래디언트 방향성 히스토그램(55)와 동일하거나 근사한 그래디언트 방향성 히스토그램(132 내지 135)을 검출하고, 검출 결과를 저장할 수 있다.
학습 데이터가 검출되면, 검출된 학습 데이터에 대응하는 픽토그램이 획득될 수 있으며, 이에 따라 영상 상의 픽토그램(10)에 대응하는 픽토그램을 획득할 수 있게 된다. 따라서, 프로세서(110, 210)는, 영상 내에 존재하는 픽토그램(10)을 인식할 수 있게 된다.
일 실시예에 따르면, 프로세서(110, 210)는, 상술한 바와 같이 학습 데이터가 검출되면, 동일한 검출 결과의 기술자를 집단화할 수 있다(522).
프로세서(110, 210)는, 복수의 셀에 대한 기술자 중에서 동일한 학습 결과의 기술자를 집단화할 수 있다. 예를 들어, 프로세서(110, 210)는, 검출된 학습 데이터와 동일하거나 근사한 기술자를 집단화할 수 있다.
이 경우, 서로 상이한 구역(42-1, 42-3)에서 획득되는 기술자도 함께 집단화될 수 있으며, 또한, 서로 상이한 영상(40, 41-1, 41-2, 41-3)에서 획득되는 기술자도 함께 집단화될 수 있다. 다시 말해서, 각각의 영상(40, 41-1, 41-2, 41-3) 내의 각각의 구역(42-1, 42-3)을 이루는 각각의 셀에 대응하는 기술자는, 모두 서로 비교될 수 있으며, 비교 결과에 따라 서로 동일한 영상의 기술자는 하나의 집단으로 묶일 수 있다.
순차적으로, 프로세서(110, 210)에 의해, 각 집단 내의 기술자들이 영상 상에서 서로 인접한 위치에 존재하는지 여부가 판단된다(523). 이 경우, 각 집단 내의 기술자들이 동일한 영상(40, 41-1, 41-2, 41-3) 내에서 서로 인접하고 있는지 여부가 판단될 수 있다.
만약 각 집단 내의 기술자들이 서로 인접한 위치에 존재하고 있다면(523의 예), 픽토그램(10)의 인식이 성공하였다고 판단한다(524).
만약 각 집단 내의 기술자들이 서로 인접한 위치에 존재하지 않고 있다고 판단되면(523의 아니오), 실시예에 따라서, 픽토그램 인식 장치(100)는, 프로세서(110, 210)의 제어에 따라, 오류가 발생하였음을 사용자에게 알릴 수 있다(540). 예를 들어, 픽토그램 인식 장치(100)는 사용자 인터페이스(160)의 표시부(151)를 통하여 오류 발생 여부를 표시할 수 있다.
오류가 발생된 경우, 픽토그램 인식 장치(100)는, 사용자의 조작 또는 미리 정의된 설정에 따라서, 픽토그램(10)의 인식 프로세스(510 내지 523)를 반복하여 수행할 수도 있고(541의 예), 또는 픽토그램(10)의 인식 프로세스를 종료할 수도 있다(541의 아니오).
영상 데이터 내의 픽토그램(10)에 대한 인식이 종료되면, 도 3에 도시된 바와 같이, 인식된 픽토그램에 대응하는 정보가 표시될 수 있다(600).
도 23은 픽토그램 인식 장치에 픽토그램의 설명이 표시되는 일례에 대한 도면이다.
구체적으로 도 16에 도시된 바와 같이, 픽토그램(10)의 인식이 완료되면, 픽토그램 인식 장치(100)의 프로세서(110) 또는 서버 장치(200)의 프로세서(210)는, 저장부(130, 230)에 저장된 픽토그램 정보(139, 239)를 열람하여, 픽토그램(10)에 대응하는 픽토그램을 검출하고, 검출된 픽토그램에 대응하는 정보를 검출하여 획득할 수 있다(610). 획득된 정보는, 인식된 픽토그램(10)에 대응하는 정보를 포함한다.
픽토그램(10)에 대응하는 정보가 획득되면, 픽토그램 인식 장치(100)의 사용자 인터페이스(150)는 픽토그램(10)에 대한 정보를 사용자에게 제공한다. 사용자 인터페이스(150)는, 픽토그램(10)에 대한 정보를 시각적 및/또는 청각적으로 제공할 수 있다.
예를 들어, 도 23에 도시된 바와 같이, 픽토그램 인식 장치(100)의 표시부(151)는 인식 결과에 따른 화면(152)을 표시할 수 있다. 인식 결과에 따른 화면(152)은 픽토그램(10) 및 픽토그램(10)에 대한 상세한 설명(154)을 포함할 수 있다. 픽토그램(10) 및 픽토그램(10)에 대한 상세한 설명(154)은, 화면(152)의 전부 또는 일부 구역(153)에 표시될 수 있다.
표시부(151)는 복수의 픽토그램(10) 및 복수의 픽토그램(10)에 대한 복수의 설명(154)을 표시할 수도 있다.
일 실시예에 의하면, 표시부(151)는 복수의 픽토그램(10) 및 복수의 픽토그램(10)에 대한 복수의 설명(154) 모두를 하나의 화면(152)에 표시할 수도 있다. 다른 일 실시예에 의하면, 표시부(151)는 복수의 픽토그램(10) 및 복수의 픽토그램(10)에 대한 복수의 설명(154)을 순차적으로 화면(152)에 표시할 수도 있다. 이 경우, 표시부(151)는, 사용자의 조작 또는 미리 정의된 설정에 따라서 복수의 픽토그램(10)에 대한 복수의 설명(154)을 순차적으로 표시할 수도 있다.
상술한 실시예에 따른 픽토그램 인식 방법은, 다양한 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 여기서 프로그램은, 프로그램 명령, 데이터 파일 및 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 차량 충전 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다.
픽토그램 인식 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 하드 디스크나 플로피 디스크와 같은 자기 디스크 저장 매체, 자기 테이프, 컴팩트 디스크(CD)나 디브이디(DVD)와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 기록 매체(magneto-optical media) 및 롬(ROM), 램(RAM) 또는 플래시 메모리 등과 같은 반도체 저장 장치 등 컴퓨터 등의 호출에 따라 실행되는 특정 프로그램을 저장 가능한 다양한 종류의 하드웨어 장치를 포함할 수 있다.
이상 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법의 여러 실시예에 대해 설명하였으나, 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현 가능한 다양한 실시예 역시 상술한 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법의 일례가 될 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나 다른 구성 요소 또는 균등물에 의하여 대치되거나 또는 치환되더라도 상술한 차량, 전력 충전 장치, 차량 충전 시스템 및 차량의 제어 방법과 동일하거나 유사한 결과를 획득할 수 있다.
1: 픽토그램 인식 시스템 9: 차량
10: 픽토그램 100: 픽토그램 인식 장치
110: 프로세서 120: 통신부
130: 저장부 131: 학습 데이터
139: 픽토그램 정보 140: 영상 획득부
150: 사용자 인터페이스 151: 표시부
159: 사운드 출력부 200: 서버 장치
210: 프로세서 220: 통신부
230: 저장부 231: 학습 데이터
239: 픽토그램 정보

Claims (22)

  1. 학습 데이터를 획득하는 단계;
    픽토그램을 포함하는 영상을 획득하는 단계;
    상기 영상으로부터 적어도 하나의 구역을 추출하는 단계;
    상기 적어도 하나의 구역에 대응하는 기술자(descriptor)를 획득하는 단계;
    상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 단계; 및
    인식된 픽토그램에 대응하는 정보를 사용자에게 제공하는 단계;를 포함하고,
    상기 학습 데이터를 획득하는 단계는,
    학습용 영상으로부터 복수의 학습용 기술자를 획득하는 단계; 및
    복수의 기술자를 초 공간에 위치시키고, 복수의 학습용 기술자의 분포에 따라서 초 공간을 분할하는 초 평면을 결정하고, 결정된 초 평면에 따라 복수의 분할 공간을 획득하는 단계;를 포함하는 픽토그램 인식 방법.
  2. 제1항에 있어서,
    상기 영상으로부터 적어도 하나의 구역을 추출하는 단계는,
    상기 영상에 윈도우를 설정하고, 윈도우에 의해 구획된 구역을 검출함으로써, 상기 적어도 하나의 구역을 추출하는 단계; 및
    상기 윈도우를 이동시키는 단계;를 포함하는 픽토그램 인식 방법.
  3. 제1항에 있어서,
    상기 영상으로부터 적어도 하나의 구역을 추출하는 단계는,
    상기 영상으로부터 영상 피라미드를 획득하는 단계; 및
    상기 영상 피라미드의 각각의 영상으로부터 적어도 하나의 구역을 추출하는 단계;를 포함하는 픽토그램 인식 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 구역에 대응하는 기술자를 획득하는 단계는,
    상기 적어도 하나의 구역을 이루는 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램(HOG, Histogram of Oriented Gradient)을 획득하는 단계; 및
    상기 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램을 이용하여, 상기 적어도 하나의 셀에 대한 기술자를 획득하는 단계;를 포함하는 픽토그램 인식 방법.
  5. 제4항에 있어서,
    상기 적어도 하나의 구역에 대응하는 기술자를 획득하는 단계는,
    적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램을 조합하여 상기 적어도 하나의 구역에 대한 기술자를 획득하는 단계;를 더 포함하는 픽토그램 인식 방법.
  6. 제1항에 있어서,
    상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 단계는,
    상기 기술자와 상기 학습 데이터를 비교하는 단계; 및
    상기 기술자와 동일하거나 근사한 기술자를 검출하는 단계;를 포함하는 픽토그램 인식 방법.
  7. 제6항에 있어서,
    상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 단계는,
    상기 적어도 하나의 구역 각각에서 추출되는 복수의 기술자 중 상기 학습 데이터와 동일하거나 근사한 기술자를 적어도 하나의 집단으로 집단화하는 단계;
    동일한 집단 내의 기술자가 상기 영상 내에서 서로 인접한 위치에 존재하는지를 판단하는 단계; 및
    판단 결과에 따라서 픽토그램 인식 성공 여부를 판단하는 단계;를 포함하는 픽토그램 인식 방법.
  8. 삭제
  9. 제1항에 있어서,
    상기 복수의 기술자를 초 공간에 위치시키고, 복수의 학습용 기술자의 분포에 따라서 초 공간을 분할하는 초 평면을 결정하는 단계는,
    상기 복수의 분할 공간에 속한 학습용 기술자의 개수가 동일하거나 또는 근사한지 여부, 및 상기 복수의 분할 공간의 두 표준 편차의 곱에 대한 분할되는 각 공간의 평균 사이의 거리의 비율의 상대적 크기 중 적어도 하나를 기초로 초 공간을 분할하는 초 평면을 결정하는 단계;를 포함하는 픽토그램 인식 방법.
  10. 제1항에 있어서,
    상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 단계는,
    상기 복수의 분할 공간 중에서 상기 기술자가 존재하는 분할 공간을 검출하는 단계; 및
    상기 기술자와, 상기 분할 공간 내에 존재하는 학습용 기술자 사이의 거리를 기초로 학습 데이터를 검출하는 단계;를 포함하는 픽토그램 인식 방법.
  11. 픽토그램을 포함하는 영상을 획득하는 영상 획득부;
    학습 데이터를 저장하는 저장부;
    상기 영상으로부터 적어도 하나의 구역을 추출하고, 상기 적어도 하나의 구역에 대응하는 기술자를 획득하고, 상기 기술자를 상기 학습 데이터와 비교하여 픽토그램을 인식하는 프로세서; 및
    인식된 픽토그램에 대응하는 정보를 사용자에게 제공하는 사용자 인터페이스;를 포함하고,
    상기 프로세서는,
    학습용 영상으로부터 복수의 학습용 기술자를 획득하여 학습 데이터를 획득하고,
    상기 복수의 학습용 기술자를 초 공간에 위치시키고,
    복수의 기술자의 분포에 따라서 초 공간을 분할하는 초 평면을 결정하고,
    결정된 초 평면에 따라 복수의 분할 공간을 획득하는 픽토그램 인식 장치.
  12. 제11항에 있어서,
    상기 프로세서는, 상기 영상에 윈도우를 설정하고, 윈도우에 의해 구획된 구역을 검출함으로써, 상기 적어도 하나의 구역을 추출하고, 상기 윈도우를 이동시키는 픽토그램 인식 장치.
  13. 제11항에 있어서,
    상기 프로세서는, 상기 영상으로부터 영상 피라미드를 획득하고, 상기 영상 피라미드의 각각의 영상으로부터 적어도 하나의 구역을 추출하는 픽토그램 인식 장치.
  14. 제11항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 구역을 이루는 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램을 획득하고, 상기 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램을 이용하여, 상기 적어도 하나의 셀에 대한 기술자를 획득하는 픽토그램 인식 장치.
  15. 제14항에 있어서,
    상기 프로세서는, 적어도 하나의 셀에 대한 그래디언트 방향성 히스토그램을 조합하여 상기 적어도 하나의 구역에 대한 기술자를 획득하는 픽토그램 인식 장치.
  16. 제11항에 있어서,
    상기 프로세서는, 상기 기술자와 상기 학습 데이터를 비교하고, 상기 기술자와 동일하거나 근사한 기술자를 검출하는 픽토그램 인식 장치.
  17. 제16항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 구역 각각에서 추출되는 복수의 기술자 중 상기 학습 데이터와 동일하거나 근사한 기술자를 적어도 하나의 집단으로 집단화하고, 동일한 집단 내의 기술자가 상기 영상 내에서 서로 인접한 위치에 존재하는지를 판단하고, 판단 결과에 따라서 픽토그램 인식 성공 여부를 판단하는 픽토그램 인식 장치.
  18. 삭제
  19. 삭제
  20. 제11항에 있어서,
    상기 프로세서는, 상기 복수의 분할 공간에 속한 학습용 기술자의 개수가 동일하거나 또는 근사한지 여부 및 상기 복수의 분할 공간의 두 표준 편차의 곱에 대한 분할되는 각 공간의 평균 사이의 거리의 비율의 상대적 크기 중 적어도 하나를 기초로 초 공간을 분할하는 초 평면을 결정하는 픽토그램 인식 장치.
  21. 제11항에 있어서,
    상기 프로세서는, 상기 복수의 분할 공간 중에서 상기 기술자가 존재하는 분할 공간을 검출하는 단계 및 상기 적어도 하나의 구역에 대응하는 기술자와, 상기 분할 공간 내의 학습용 기술자 사이의 거리를 기초로 학습 데이터를 검출하는 픽토그램 인식 장치.
  22. 서버 장치; 및
    상기 서버 장치와 통신 가능하고, 픽토그램을 포함하는 영상을 획득하고, 인식된 픽토그램에 대응하는 정보를 사용자에게 제공 가능한 단말 장치;를 포함하되,
    상기 서버 장치 및 단말 장치 중 적어도 하나는,
    상기 영상으로부터 적어도 하나의 구역을 추출하는 단계;
    상기 적어도 하나의 구역에 대응하는 기술자를 획득하는 단계;
    상기 기술자를 학습 데이터와 비교하여 픽토그램을 인식하는 단계;
    학습용 영상으로부터 복수의 학습용 기술자를 획득하는 단계; 및
    복수의 기술자를 초 공간에 위치시키고, 복수의 학습용 기술자의 분포에 따라서 초 공간을 분할하는 초 평면을 결정하고, 결정된 초 평면에 따라 복수의 분할 공간을 획득하는 단계; 복수의 기술자를 초 공간에 위치시키고, 복수의 학습용 기술자의 분포에 따라서 초 공간을 분할하는 초 평면을 결정하고, 결정된 초 평면에 따라 복수의 분할 공간을 획득하는 단계; 중 적어도 하나를 수행하는 픽토그램 인식 시스템.
KR1020170020978A 2017-02-16 2017-02-16 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법 KR102257226B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170020978A KR102257226B1 (ko) 2017-02-16 2017-02-16 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법
US15/785,085 US10521690B2 (en) 2017-02-16 2017-10-16 Pictogram recognition apparatus, pictogram recognition system, and pictogram recognition method
CN201711026312.XA CN108446709B (zh) 2017-02-16 2017-10-27 象形图识别装置、象形图识别系统和象形图识别方法
DE102017219346.8A DE102017219346A1 (de) 2017-02-16 2017-10-27 Piktogrammerkennungsvorrichtung, piktogrammerkennungssystem, und piktogrammerkennungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170020978A KR102257226B1 (ko) 2017-02-16 2017-02-16 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법

Publications (2)

Publication Number Publication Date
KR20180094616A KR20180094616A (ko) 2018-08-24
KR102257226B1 true KR102257226B1 (ko) 2021-05-28

Family

ID=62982737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170020978A KR102257226B1 (ko) 2017-02-16 2017-02-16 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법

Country Status (4)

Country Link
US (1) US10521690B2 (ko)
KR (1) KR102257226B1 (ko)
CN (1) CN108446709B (ko)
DE (1) DE102017219346A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102283327B1 (ko) * 2018-12-18 2021-07-29 경희대학교 산학협력단 모바일 증강현실 환경에서 객체의 특징을 추출하는 방법, 장치, 시스템 및 컴퓨터 프로그램

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346252A (ja) * 2004-06-01 2005-12-15 Nec Corp 情報伝達システムおよび情報伝達方法
FR2947656B1 (fr) * 2009-07-06 2016-05-27 Valeo Vision Procede de detection d'un obstacle pour vehicule automobile
RU2542946C2 (ru) * 2009-11-19 2015-02-27 Нокиа Корпорейшн Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения
CN102136064A (zh) * 2011-03-24 2011-07-27 成都四方信息技术有限公司 一种图像文字识别系统
JP5401695B2 (ja) * 2011-05-23 2014-01-29 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
KR20130080743A (ko) * 2012-01-05 2013-07-15 주식회사 인프라웨어 특징점 집합 비교를 이용한 객체 영역 검색 방법
KR101899977B1 (ko) * 2012-07-10 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9842266B2 (en) * 2014-04-04 2017-12-12 Conduent Business Services, Llc Method for detecting driver cell phone usage from side-view images
JP6577347B2 (ja) * 2015-11-20 2019-09-18 株式会社東芝 情報伝達装置、情報伝達方法およびプログラム
EP3182331A1 (en) * 2015-12-14 2017-06-21 Tata Consultancy Services Limited Method and system to detect objects using block based histogram of oriented gradients
US9639777B1 (en) * 2015-12-17 2017-05-02 Linear Algebra Technologies Limited Systems and methods for providing an image classifier
WO2017156043A1 (en) * 2016-03-08 2017-09-14 Nant Holdings Ip, Llc Image feature combination for image-based object recognition
JP6563873B2 (ja) * 2016-08-02 2019-08-21 トヨタ自動車株式会社 向き判別装置、向き判別方法
US10109055B2 (en) * 2016-11-21 2018-10-23 Seiko Epson Corporation Multiple hypotheses segmentation-guided 3D object detection and pose estimation

Also Published As

Publication number Publication date
CN108446709B (zh) 2023-06-02
KR20180094616A (ko) 2018-08-24
CN108446709A (zh) 2018-08-24
US20180232597A1 (en) 2018-08-16
DE102017219346A1 (de) 2018-08-16
US10521690B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
KR102635987B1 (ko) 이미지 시맨틱 세그멘테이션 네트워크를 트레이닝하기 위한 방법, 장치, 디바이스 및 저장 매체
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
US10762376B2 (en) Method and apparatus for detecting text
US9436883B2 (en) Collaborative text detection and recognition
Zang et al. Vehicle license plate recognition using visual attention model and deep learning
Rong et al. Recognizing text-based traffic guide panels with cascaded localization network
CN107944450B (zh) 一种车牌识别方法及装置
US8792722B2 (en) Hand gesture detection
US20210209395A1 (en) Method, electronic device, and storage medium for recognizing license plate
CN111325319B (zh) 一种神经网络模型的检测方法、装置、设备及存储介质
CN104134364B (zh) 具有自我学习能力的实时交通标记识别方法及系统
WO2023005091A1 (en) Systems and methods for object detection
CN111414888A (zh) 低分辨率人脸识别方法、系统、装置及存储介质
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN113537070B (zh) 一种检测方法、装置、电子设备及存储介质
CN112070174A (zh) 一种基于深度学习的自然场景下文本检测方法
CN110781856A (zh) 异质人脸识别模型训练方法、人脸识别方法及相关装置
KR102083786B1 (ko) 문자열 식별 방법 및 장치, 그리고 이를 이용한 디스플레이 영상 식별 시스템
CN114596548A (zh) 目标检测方法、装置、计算机设备及计算机可读存储介质
KR102257226B1 (ko) 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법
CN110580478A (zh) 基于用于ocr应用的深度强化学习的扫描图像的主动分割
Moseva et al. Development of a System for Fixing Road Markings in Real Time
CN111950469A (zh) 一种道路标识检测方法、系统、设备和介质
CN109523570A (zh) 运动参数计算方法及装置
CN111680564A (zh) 一种全天候行人重识别方法、系统、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right