KR101771044B1 - 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치 - Google Patents

공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치 Download PDF

Info

Publication number
KR101771044B1
KR101771044B1 KR1020150167923A KR20150167923A KR101771044B1 KR 101771044 B1 KR101771044 B1 KR 101771044B1 KR 1020150167923 A KR1020150167923 A KR 1020150167923A KR 20150167923 A KR20150167923 A KR 20150167923A KR 101771044 B1 KR101771044 B1 KR 101771044B1
Authority
KR
South Korea
Prior art keywords
space
candidate
class
recognition
recognition accuracy
Prior art date
Application number
KR1020150167923A
Other languages
English (en)
Other versions
KR20170062290A (ko
Inventor
변혜란
임광용
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020150167923A priority Critical patent/KR101771044B1/ko
Priority to PCT/KR2016/000724 priority patent/WO2017090830A1/ko
Publication of KR20170062290A publication Critical patent/KR20170062290A/ko
Application granted granted Critical
Publication of KR101771044B1 publication Critical patent/KR101771044B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06K9/00624—
    • G06K9/6212—
    • G06K9/6217—
    • G06K9/6232—
    • G06K9/627—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상에서 객체를 인식하는 방법 및 그 장치에 관한 것이다.
본 발명에 따른 입력 영상에서의 객체 인식 방법은, 상기 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정하는 객체 인식 단계; 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별하는 주요 객체 선별 단계; 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정하는 공간 추정 단계; 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별하는 후보 부류 선별 단계; 및 상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정하는 부류 결정 단계를 포함할 수 있다.

Description

공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치{Apparatus and Method of Object Recognition based on Space-Object Relation Graph}
본 발명은 영상에서 객체를 인식하는 방법 및 그 장치에 관한 것이다.
영상 내 객체를 인식하기 위하여 다양한 기술들이 제안되어 왔다. 통상적으로 영상 내 객체 인식 기술은 영상에서 미리 정의된 특징에 따른 특징 벡터를 추출하고, 상기 특징 벡터에 대하여 미리 학습된 학습 모델에 따른 분류 함수 또는 모델을 이용하여, 해당 특징 벡터가 어느 부류에 속하는지를 판단하여 객체를 인식하는 방식으로 동작한다. 위와 같은 객체 인식의 기본 구조 속에서, 다양한 특징들과 학습 방법 및 학습 모델들이 제안되어 왔다. 예를 들면 최근에는 객체 인식을 위한 도구로 딥 러닝(Deep Learning)기법이 널리 연구되고 있기도 하다.
그러나 단순히 영상 내에 포함된 정보만을 이용하여 객체를 검출 및 인식하는 방식은 인식 정확도에 있어서 한계가 있고, 잘못된 인식 결과가 출력될 가능성이 높다.
대한민국 등록특허공보 10-1254181 (2013.04.19.)
본 발명은 보다 빠르고 정확하게 객체를 인식하기 위하여 물체들이 존재할 가능성이 높은 공간에 관한 정보, 다시 말하면 각 공간 내에 존재할 가능성이 높은 물체들에 관한 정보를 이용하여 객체를 인식하는 방법 및 객체 인식 장치를 제공하고자 한다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 객체 인식 방법은, 입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정하는 객체 인식 단계; 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별하는 주요 객체 선별 단계; 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정하는 공간 추정 단계; 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별하는 후보 부류 선별 단계; 및 상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정하는 부류 결정 단계를 포함할 수 있다.
일 실시예에 있어서 상기 객체 인식 단계는 상기 검출한 객체를 미리 정해진 객체 인식 알고리즘을 이용하여 인식하되, 상기 객체에 대하여 상기 후보 부류 별 상기 인식 정확도를 산출하고, 상기 산출한 인식 정확도를 기준으로 소정의 개수의 상기 후보 부류를 결정할 수 있다.
일 실시예에 있어서 상기 객체 인식 단계는 상기 객체를 상기 후보 부류로 인식하는 정확도를 상기 인식 정확도로 산출할 수 있다.
일 실시예에 있어서 상기 객체 인식 단계는 CNN(Convolutional Neural Network) 방법을 이용하여 상기 객체를 인식하여, 상기 객체에 대하여 소정의 개수의 상기 후보 부류를 결정할 수 있다.
일 실시예에 있어서 상기 주요 객체 선별 단계는 상기 영상에 포함된 상기 객체들 중에서, 상기 객체의 상기 인식 정확도와 소정의 임계치를 비교하여, 그 비교 결과에 따라 상기 주요 객체를 선별할 수 있다.
일 실시예에 있어서 상기 공간 추정 단계는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정할 수 있다.
일 실시예에 있어서 상기 공간 추정 단계는 상기 영상에서 선별된 각 상기 주요 객체에 대응하는 상기 공간을 상기 공간-물체 관계 모델에서 검색하고, 상기 검색된 공간들 중에서 검색된 횟수를 기초로 상기 주요 객체가 속하는 상기 공간을 결정할 수 있다.
일 실시예에 있어서 상기 공간-물체 관계 모델은 적어도 하나 이상의 상기 공간에 대하여, 각 상기 공간 별로 상기 공간에 존재하는 상기 물체를 미리 정의한 모델인 것을 특징으로 할 수 있다.
일 실시예에 있어서 상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델인 것을 특징으로 할 수 있다.
일 실시예에 있어서 상기 후보 부류 선별 단계는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별할 수 있다.
일 실시예에 있어서 상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이고, 상기 후보 부류 선별 단계는 상기 후보 부류 중에서 상기 그래프 모델에서 상기 추정한 공간에 대응하는 공간 노드와 연결된 물체 노드에 대응하는 상기 후보 부류를 선별하는 것을 특징으로 할 수 있다.
일 실시예에 있어서 상기 부류 결정 단계는 상기 후보 부류의 상기 인식 정확도의 크기를 기준으로, 상기 선별한 후보 부류 중 상기 객체의 상기 부류를 결정할 수 있다.
일 실시예에 있어서 상기 객체 인식 방법은 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하는 인식 정확도 보정 단계를 더 포함할 수 있다.
일 실시예에 있어서 상기 인식 정확도 보정 단계는 상기 후보 부류 선별 단계에서 선별한 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하여, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하고, 상기 부류 결정 단계는 상기 보정된 인식 정확도를 기초로 상기 후보 부류 선별 단계에서 선별한 상기 후보 부류 중에서 상기 객체의 상기 부류를 결정할 수 있다.
일 실시예에 있어서 상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이고, 상기 인식 정확도 보정 단계는, 상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 연결된 상기 후보 부류에 대응하는 상기 노드를 검색하고, 상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 정보를 기초로, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다.
일 실시예에 있어서 상기 인식 정확도 보정 단계는 상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 홉(Hop) 거리에 따라 가중치를 산출하고, 상기 산출한 가중치를 적용하여 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 객체 인식 장치는, 입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정하는 객체 인식부; 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별하는 주요 객체 선별부; 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정하는 공간 추정부; 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별하는 후보 부류 선별부; 및 상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정하는 부류 결정부를 포함할 수 있다.
일 실시예에 있어서 상기 공간 추정부는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정할 수 있다.
일 실시예에 있어서 상기 후보 부류 선별부는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별할 수 있다.
일 실시예에 있어서 상기 객체 인식 장치는 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하는 인식 정확도 보정부를 더 포함할 수 있다.
본 발명에 따른 객체 인식 방법에 따르면 공간과 물체 간의 사전 정보를 이용하여 영상에서 객체 인식 성능을 향상시킬 수 있는 효과가 있다.
또한 본 발명에 따른 객체 인식 방법은 특정 객체 인식 알고리즘에 국한되지 아니하고, 다양한 알고리즘과 결합하여 객체 인식 성능을 향상시킬 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 방법의 흐름도이다.
도 2는 영상에서 객체 영역을 검출한 결과를 나타내는 참고도이다.
도 3은 영상에서 검출한 객체에 대하여 결정된 후보 부류와 각 후보 부류 별 인식 정확도를 나타내는 참고도이다.
도 4는 주요 객체를 선별하는 동작을 설명하기 위한 참고도이다.
도 5 a는 공간-물체 관계 그래프 모델의 기본 구성 요소를 나타내는 참고도이다.
도 5 b는 공간-물체 관계 그래프 모델을 나타내는 참고도이다.
도 6은 후보 부류를 선별하는 동작을 설명하기 위한 참고도이다.
도 7은 후보 부류를 선별한 결과를 나타내는 참고도이다.
도 8은 일 실시예에 따른 객체 인식 방법의 흐름도이다.
도 9는 인식 정확도 보정 동작을 설명하기 위한 참고도이다.
도 10은 일 실시예에 따른 객체 인식 장치의 블록도이다.
도 11은 일 실시예에 따른 객체 인식 장치의 블록도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 방법의 흐름도이다.
본 발명의 일 실시예에 따른 객체 인식 방법은 객체 인식 단계(S100), 주요 객체 선별 단계(S200), 공간 추정 단계(S300), 후보 부류 선별 단계(S400), 부류 결정 단계(S500)를 포함할 수 있다. 또한 본 발명의 또 다른 실시예에 따른 객체 인식 방법은 인식 정확도 보정 단계(S450)를 더 포함할 수 있다.
객체 인식 단계(S100)는 입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정한다.
주요 객체 선별 단계(S200)는 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별한다.
공간 추정 단계(S300)는 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정한다.
후보 부류 선별 단계(S400)는 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별한다.
부류 결정 단계(S500)는 상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정한다.
먼저 객체 인식 단계(S100)의 동작에 대하여 보다 상세히 설명한다.
객체 인식 단계(S100)는 입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정한다.
여기서 객체 인식 단계(S100)는 기존의 다양한 방법을 이용하여 영상에서 객체를 검출할 수 있다. 여기서 영상에서 객체를 검출하는 것은 영상에서 객체의 영역을 특정하는 동작이 될 수 있다. 예를 들면 객체의 영역은 소정의 크기를 가지는 영상 블록이나, 또는 검출된 에지들의 집합이 될 수 있다. 여기서 객체 인식 단계(S100)는 영상에서 특정 좌표에 특정 크기로 객체의 영역을 특정함으로써, 객체의 영역을 검출할 수 있다.
다음으로 객체 인식 단계(S100)는 영상에서 검출한 객체의 영역에 포함된 객체의 내용을 인식할 수 있다. 즉 객체 인식 단계(S100)는 검출한 객체가 어떠한 물체인지를 인식할 수 있다. 예를 들면 객체 인식 단계(S100)는 노트북이 촬영된 영상에 대하여 상기 노트북에 해당하는 영역을 검출하고, 해당 영역에 포함된 객체가 노트북인 것을 인식할 수 있다.
도 2는 영상에서 객체 영역을 검출한 결과를 나타내는 참고도이다.
여기서 객체 인식은 분류기(Classifier)를 이용하여 객체를 미리 정의된 복수개의 부류(Class) 중 어느 하나의 부류로 결정하는 방식으로 수행될 수 있다. 또한 객체 인식 단계(S100)는 검출한 객체에 대하여 하나의 부류만을 결정하는 것이 아니라, 복수개의 가능한 후보 부류를 결정할 수 있다. 여기서 후보 부류(Candidate Class)는 상기 객체가 분류될 수 있는 여러 개의 후보를 지칭하는 의미로 사용한다. 예를 들어 컵이 촬영된 영상에 대하여 객체 검출 및 인식을 수행하는 경우, 상기 영상에 포함된 컵에 대한 객체 인식 결과, 상기 컵은 '컵', '약통', '비이커', '캔' 등 복수개의 분류가 가능한 후보 부류들로 분류될 수 있다. 객체 인식 단계(S100)는 이처럼 검출한 객체에 대하여 적어도 하나 이상의 후보 부류를 결정할 수 있다.
여기서 객체 인식 단계(S100)는 상기 검출한 객체를 미리 설정된 객체 인식 알고리즘을 이용하여 인식할 수 있다. 여기서 미리 설정된 객체 인식 알고리즘은 다양한 객체 인식 방법 중 하나로 선택될 수 있다.
여기서 객체 인식 단계(S100)는 영상을 분석하여 미리 정해진 특징(Feature) 정보를 이용하여 검출하고자 하는 대상 객체를 검출하고 인식할 수 있다. 여기서 객체를 검출 및 인식하기 위하여, 기존의 다양한 종류의 특징을 상기 영상에서 추출하고, 이를 이용하여 객체 검출 및 인식을 수행할 수 있다. 예를 들면 객체의 검출 및 인식을 위하여 에지 특성이나 코너 특성, 또는 LoG(Laplacian of Gaussian), DoG(Difference of Gaussian) 등의 다양한 특징을 추출하여 이용할 수 있다. 또한 여기서 객체의 검출 및 인식을 위하여 SIFT(Scale-invariant feature transform), SULF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients)를 비롯한 기존의 다양한 특징 서술(Feature Description) 방식을 이용할 수 있다. 또는 객체의 검출 및 인식을 위하여 템플릿 이미지와 대상 이미지 내의 일정 영역을 비교하여 객체를 검출하고 인식할 수도 있다. 또한 객체의 검출 및 인식을 위하여 위와 같이 추출한 특징이나 템플릿 등을 기반으로 미리 학습한 분류기를 이용하여 상기 영상 내 객체들을 검출하고 인식할 수 있다. 여기서 이용하는 분류기는 SVM 머신이 될 수도 있고, 기타 기존의 다양한 분류 함수를 이용한 분류기를 이용할 수 있다.
여기서 객체 인식 단계(S100)는 영상에서 객체를 인식하기 위하여 다양한 객체 인식 방법을 이용할 수 있다. 예를 들면 'Lowe, David G. "Object recognition from local scale-invariant features." Computer vision, 1999. The proceedings of the seventh IEEE international conference on. Vol. 2. Ieee, 1999.' 또는 'Belongie, Serge, Jitendra Malik, and Jan Puzicha. "Shape matching and object recognition using shape contexts." Pattern Analysis and Machine Intelligence, IEEE Transactions on 24.4 (2002): 509-522.'에 기재된 기술을 이용하여 영상에서 객체를 인식할 수 있고, 기타 다양한 객체 인식 방법을 이용할 수 있다.
여기서 객체 인식 단계(S100)는 검출한 객체에 대하여 상기 후보 부류 별 상기 인식 정확도를 산출할 수 있다. 여기서 객체 인식 단계(S100)는 상기 객체를 상기 후보 부류로 인식하는 정확도를 상기 인식 정확도로 산출할 수 있다. 여기서 인식 정확도는 객체 인식에서의 매칭률, 매칭 정확도, 매칭 유사도와 같이 객체가 특정 부류에 해당하는 정도를 나타내는 수치를 의미할 수 있다. 객체 인식을 수행할 때, 각 객체가 후보 부류로 분류되는 정확도 또는 유사도가 산출될 수 있다. 예를 들면 특징 벡터를 기반으로 객체 인식을 수행할 때 검출된 객체의 특징 벡터가 미리 정의된 특정 물체의 특징 벡터와 비교되고, 그 비교 결과 특징 벡터 간의 거리 또는 유사도에 따라 객체가 특정 물체로 분류될 수 있다. 이때 위와 같이 산출된 거리 또는 유사도를 상기 인식 정확도로 산출할 수 있고, 객체가 각 후보 부류로 분류될 때 각각 산출되는 인식 정확도가 존재하게 된다.
여기서 객체 인식 단계(S100)는 상기 산출한 인식 정확도를 기준으로 소정의 개수의 상기 후보 부류를 결정할 수 있다. 바람직하게는 상기 인식 정확도가 소정의 임계치 이상을 가지는 부류만을 후보 부류로 결정할 수 있고, 또는 상기 인식 정확도의 크기 순서대로 소정 개수의 부류만을 후보 부류로 결정할 수 있다. 예를 들면 객체 인식 결과 검출된 객체 영역에 대하여 인식 정확도의 크기 순서대로 10개의 부류를 선별하여 후보 부류로 결정할 수 있다. 이때 각 후보 부류는 인식 정확도의 크기에 따라 순위를 가질 수 있다. 상술한 바와 같이 객체 인식 알고리즘을 이용하여 각 객체가 어떤 객체인지 인식한 결과 복수개의 부류가 도출될 수 있고, 인식 정확도의 크기에 따라 후보 부류를 결정하여, 예를 들면 검출된 객체에 대하여 1순위의 후보 부류는 비누통, 2순위의 후보 부류는 약통, 3순위의 후보 부류는 비커가 될 수 있다.
예를 들면 객체 인식 단계는 노트북이 포함된 영상에 대하여 객체를 검출 및 인식하여 아래 표 1과 같은 후보 부류와 각 후보 부류 별 인식 정확도를 산출하여 결정할 수 있다.
순위 후보 부류 인식 정확도
1 노트북 0.72
2 랩탑 0.15
3 저울 0.026
4 바인더 0.025
5 모뎀 0.013
6 휴대용 PC 0.010
7 데스크탑 0.005
8 스페이스바 0.005
9 스크린 0.005
10 태양광판 0.004
여기서 객체 인식 단계(S100)는 딥 러닝(Deep-Learning) 기반의 CNN(Convolutional Neural Network) 방법을 이용하여 상기 객체를 인식하여, 상기 객체에 대하여 소정의 개수의 상기 후보 부류를 결정할 수 있다. 여기서 소정의 개수는 10개, 5개, 3개 등이 될 수 있고, 필요에 따라 설정될 수 있다.
도 3은 영상에서 검출한 객체에 대하여 결정된 후보 부류와 각 후보 부류 별 인식 정확도를 나타내는 참고도이다. 도 3과 같이 검출된 객체 영역 영상에 포함된 객체의 Ground Truth가 있지만, 객체 인식 결과 인식된 후보 부류에는 객체와 대응할 수 있는 인식 결과물이 있는 반면, 객체와 관련이 없이 잘못 도출된 인식 결과물들도 포함되어 있는 사실을 확인할 수 있다. 따라서 인식 성능을 향상시키기 위하여는 Ground Truth에 해당하는 후보 부류 이외의 후보 부류를 제거할 필요가 있고, Ground Truth에 해당하는 후보 부류의 인식 정확도를 더욱 높일 필요가 있다. 본 발명에서는 이를 위하여 다음에서 설명하는 바와 같은 과정을 수행한다.
다음으로 주요 객체 선별 단계(S200)에 대하여 보다 상세히 설명한다.
주요 객체 선별 단계(S200)는 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별한다. 여기서 주요 객체 선별 단계(S200)는 상기 영상에 포함된 상기 객체들 중에서, 상기 객체의 상기 인식 정확도와 소정의 임계치를 비교하여, 그 비교 결과에 따라 상기 주요 객체를 선별할 수 있다. 여기서 주요 객체 선별 단계(S200)는 각 객체의 후보 부류 중 가장 높은 인식 정확도가 소정의 임계치보다 큰 경우, 가장 높은 인식 정확도에 대응하는 후보 부류로 분류된 상기 객체를 주요 객체로 선별할 수 있다. 여기서 상기 임계치는 필요에 따라 설정되는 값이 될 수 있다.
예를 들어 상기 임계치가 0.4로 설정된 경우, 상기 표 1의 예에서 후보 부류 중 노트북의 인식 정확도가 0.72로 0.4보다 크므로, 상기 객체는 주요 객체로 선별될 수 있다.
도 4는 위와 같은 주요 객체를 선별하는 동작을 설명하기 위한 참고도이다. 도 4의 a와 같이 검출된 객체에 대하여 객체 인식을 수행한 결과 b와 같이 후보 부류 및 인식 정확도가 산출될 수 있고, 최대 인식 정확도를 미리 설정한 임계치 0.4와 비교하여 그 이상이 되는 경우, 해당 객체 및 그 후보 부류를 주요 객체로 선별할 수 있다. 도 4의 예에서는 임계치 이상의 인식 정확도를 가지지 않기 때문에 검출된 객체가 주요 객체로 선별되지 않는다. 도 4의 c의 후처리는 이하 설명할 후보 부류 선별 단계(S400) 또는 인식 정확도 보정 단계(S450)가 될 수 있다. 즉 주요 객체가 선별되지 않아 인식 결과가 불명확한 검출 객체에 대하여 상기 각 단계를 수행하여 인식 성능을 향상시킬 수 있다. 다만 필요에 따라 후보 부류 선별 단계(S400) 또는 인식 정확도 보정 단계(S450)는 주요 객체로 선별된 객체에 대하여도 수행될 수 있다.
다음으로 공간 추정 단계(S300)에 대하여 보다 상세히 설명한다.
공간 추정 단계(S300)는 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정한다.
본 발명은 보다 빠르고 정확하게 객체를 인식하기 위하여 물체들이 존재할 가능성이 높은 공간에 관한 정보, 다시 말하면 각 공간 내에 존재할 가능성이 높은 물체들에 관한 사전 정보를 이용하는 방법을 제공하고자 한다. 예를 들면 화장실에는 변기가, 침실에는 침대가 존재할 가능성이 높다. 따라서 위와 같은 공간과 물체 간의 사전에 정의된 관계 정보를 이용하면, 객체 인식 단계(S100)에서 검출된 객체에 대하여 결정된 복수개의 후보 부류들 중에서 아웃라이어들을 제거하여 인식 오류를 제거하고, 인식 성공률을 높일 수 있는 효과가 있다. 이를 위하여 본 발명에서는 사전에 복수개의 공간과 각 공간 내에서 존재할 가능성이 높은 물체들 간의 연관 관계가 공간-객체 관계 모델로 정의하고, 위와 같이 정의된 공간-객체 관계 모델을 활용하여 객체 인식 성능을 향상시키고자 한다.
여기서 상기 공간-물체 관계 모델은 적어도 하나 이상의 상기 공간에 대하여, 각 상기 공간 별로 상기 공간에 존재하는 상기 물체를 미리 정의한 모델이 될 수 있다. 예를 들면 부엌 공간에 싱크대가 물체가 존재하고, 싱크대 물체와 연관된 물체로 전자레인지, 오븐, 식기세척기, 식기 등이 존재하는 것으로 사전에 정의될 수 있다.
여기서 상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이 될 수 있다. 복수개의 공간은 각 공간을 나타내는 공간 노드들이 공간의 소속 관계에 따라 에지로 연결됨으로써 정의될 수 있다. 또한 각 공간에 존재하는 물체들을 나타내는 물체 노드들이 공간 노드와 연결됨으로써, 공간과 물체 간의 관계가 모델링될 수 있다.
도 5 a는 상기 공간-물체 관계 그래프 모델의 기본 구성 요소를 나타내는 참고도이다.
도 5 a와 같이 공간 2와 공간 3 노드는 공간 1 노드와 연결됨으로써 공간 2 및 공간 3이 공간 1에 소속되어 있거나 관련이 있다는 사실을 정의할 수 있고, 물체 1 노드와 물체 2 노드는 공간 2 노드와 연결됨으로써 물체 1과 물체 2가 공간 2와 관련된 물체라는 사실을 정의할 수 있다. 또한 물체 3 노드는 공간 2 노드 및 공간 3 노드와 동시에 연결됨으로써, 물체 3이 공간 2와 공간 3과 동시에 관련된 물체라는 사실을 정의할 수 있다.
예를 들면 상기 공간-물체 관계 그래프 모델은 도 5 b와 같이 정의될 수 있다.
이처럼 공간-물체 관계 그래프 모델은 물체와 공간을 표현하는 2가지 형태의 노드와 이들 간 관계를 의미하는 에지로 구성될 수 있다. 하나의 물체는 다수의 공간에서 등장이 가능한 특성으로 인해 복수개의 공간 노드와 연결되는 그래프로 구성될 수 있고, 하나의 공간은 다수의 물체와 연관될 수 있는 특성으로 인해 역시 복수개의 물체 노드와 연결되는 그래프로 구성될 수 있다.
여기서 공간 추정 단계(S300)는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정할 수 있다. 여기서 공간 추정 단계(S300)는 상기 공간-물체 관계 모델에서 상기 주요 객체와 대응하는 공간을 검색할 수 있고, 검색한 공간을 주요 객체가 속하는 공간으로 추정할 수 있다. 공간-물체 관계 모델이 상술한 공간-물체 관계 그래프 모델로 정의되는 경우, 주요 객체에 해당하는 물체 노드와 연결된 공간 노드에 해당하는 공간이 주요 객체가 속하는 공간으로 추정될 수 있다.
여기서 공간 추정 단계(S300)는 상기 영상에서 선별된 각 상기 주요 객체에 대응하는 상기 공간을 상기 공간-물체 관계 모델에서 검색하고, 상기 검색된 공간들 중에서 검색된 횟수를 기초로 상기 주요 객체가 속하는 상기 공간을 결정한다. 여기서 주요 객체는 복수개 존재할 수 있고, 각 주요 객체 별로 공간-물체 관계 모델에서 주요 객체가 속하는 공간이 검색될 수 있다. 이와 같이 복수개의 공간이 검색되는 경우, 검색된 공간의 검색 횟수를 기초로 주요 객체가 속하는 공간을 결정할 수 있다. 일 실시예에 따르면 공간 추정 단계(S300)는 복수개의 검색된 공간들 중에서 가장 많이 검색된 공간을 주요 객체가 속하는 공간으로 결정할 수 있다. 예를 들면 주요 객체가 '컵', '노트북', '사과'이고 각 주요 객체에 대하여 공간-물체 관계 모델에서 검색된 공간이 '방', '방', '부엌'인 경우 가장 검색 횟수가 높은 '방'이 주요 객체가 속하는 공간으로 추정될 수 있다.
다음으로 후보 부류 선별 단계(S400)에 대하여 보다 상세히 설명한다.
후보 부류 선별 단계(S400)는 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별한다. 여기서 상기 객체 인식 단계(S100)에서 각 객체에 대하여 결정된 후보 부류들 중에서 상기 추정한 공간과 관계되는 후보 부류를 선별할 수 있다. 이와 같은 동작을 통하여 추정된 공간과 관련성이 없는 인식 결과물이 제거되어 인식 성능이 향상될 수 있는 효과가 있다. 여기서 각 객체에 대하여 객체 인식 단계(S100)에서 객체 인식을 수행한 결과 소정의 개수의 후보 부류들이 결정되었다고 하면, 후보 부류 선별 단계(S400)는 상기 후보 부류들 중에서 부정확한 인식 결과물들을 제거하고 인식 성능을 높이기 위하여, 상기 추정한 공간과 관련되는 후보 부류만을 선별할 수 있다. 여기서 상기 추정한 공간과 관련되는 후보 부류만을 선별하는 것은, 상기 추정한 공간과 관련이 없는 후보 부류를 제거하는 방식으로 이루어질 수 있다.
여기서 후보 부류 선별 단계(S400)는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별할 수 있다. 또한 여기서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하지 않는 후보 부류들은 제거될 수 있다. 예를 들어 상기 추정한 공간이 '방'인 경우, 표 2의 예에서 상기 순위 1부터 10까지의 후보 부류 중 상기 '방'과 관련된 것으로 공간-물체 관계 모델에서 검색되는 물체에 대응하는 후보 부류만을 선별할 수 있다. 예를 들면 '약통', '우유 캔', '파우더', '선크림', '확대경', '컵'이 후보 부류로 선별될 수 있다.
순위 후보 부류 인식 정확도
1 비누통 0.15
2 약통 0.066
3 비커 0.057
4 우유 캔 0.049
5 파우더 0.047
6 선크림 0.045
7 캔 오프너 0.038
8 쉐이커 0.030
9 확대경 0.026
10 컵 0.024
여기서 상기 공간-물체 관계 모델은 상술한 바와 같이 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이 될 수 있다. 이때 후보 부류 선별 단계(S400)는 상기 후보 부류 중에서 상기 그래프 모델에서 상기 추정한 공간에 대응하는 공간 노드와 연결된 물체 노드에 대응하는 상기 후보 부류를 선별할 수 있다.
도 6은 후보 부류를 선별하는 동작을 설명하기 위한 참고도이다.
도 7은 후보 부류를 선별한 결과를 나타내는 참고도이다. 도 7과 같이 후보 부류를 선별한 결과 객체 인식 단계(S100)에서 각 검출된 객체(laptop, cup, violin, phone)에 대하여 결정된 10개의 후보 부류들 중 공간-물체 관계 모델을 참조할 때 추정된 공간인 '방'과 관련성이 없는 것으로 판단된 후보 부류들은 제거되고 나머지 후보 부류만이 선별될 수 있다.
본 발명에 따른 객체 인식 방법에 의하면 위와 같이 사전에 정의된 공간-물체 관계 모델을 이용하여 추정된 공간과 관련성이 있는 후보 부류만을 선별함으로써, 인식 성능을 향상시킬 수 있는 효과가 있다.
다음으로 부류 결정 단계(S500)에 대하여 보다 상세히 설명한다.
부류 결정 단계(S500)는 상기 선별한 후보 부류 중에서 상기 객체의 부류(Class)를 결정한다. 여기서 객체의 부류를 결정한다는 것은 객체를 미리 정의된 물체들 중 어느 하나의 부류(Class)로 분류하여 인식하는 것을 의미할 수 있다.
여기서 부류 결정 단계(S500)는 상기 후보 부류의 상기 인식 정확도의 크기를 기준으로, 상기 선별한 후보 부류 중 상기 객체의 상기 부류를 결정할 수 있다. 일 실시예에 있어서 부류 결정 단계는 후보 부류 선별 단계(S400)에서 선별된 후보 부류들 중에서 인식 정확도가 가장 큰 후보 부류를 객체의 최종 부류로 결정할 수 있다. 예를 들어 상기 선별된 후보 부류가 '사과', '배', '수박'이고, 각 인식 정확도가 '0.3', '0.4', '0.5'인 경우, 인식 정확도가 가장 큰 '수박'이 검출된 객체의 부류로 최종적으로 결정될 수 있다.
여기서 본 발명의 또 다른 실시예에 따른 객체 인식 방법은 인식 정확도 보정 단계(S450)를 더 포함할 수 있다.
도 8은 상기 실시예에 따른 객체 인식 방법의 흐름도이다.
인식 정확도 보정 단계(S450)는 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정한다.
여기서 인식 정확도 보정 단계(S450)는 후보 부류 선별 단계(S400)에서 선별한 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하여, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다.
그리고 부류 결정 단계(S500)는 상기 보정된 인식 정확도를 기초로 후보 부류 선별 단계(S400)에서 선별한 상기 후보 부류 중에서 상기 객체의 상기 부류를 결정할 수 있다.
여기서 상술한 바와 같이 상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이 될 수 있다. 이때 인식 정확도 보정 단계(S450)는 먼저 상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 연결된 상기 후보 부류에 대응하는 상기 노드를 검색할 수 있다. 즉 먼저 상기 후보 부류 중에서, 주요 객체에 대응하는 물체 노드와 연결된 후보 부류의 노드를 검색할 수 있다. 예를 들면 주요 객체가 '노트북', '모니터'인 경우, 후보 부류에 대응하는 노드들 중에서 상기 '노트북' 또는 '모니터' 노드와 연결된 후보 부류의 노드를 검색할 수 있다.
그리고 인식 정확도 보정 단계(S450)는 상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 정보를 기초로, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다. 여기서 주요 객체 노드와 후보 부류 노드 간의 연결 정보는 양 노드 간의 연결 그래프 상에서의 홉 거리가 될 수 있다. 여기서 홉 거리는 양 노드를 연결함에 있어서 거쳐야 하는 에지의 수로 정의될 수 있다. 예를 들어 노드 A와 노드 B가 A - C - D - B와 같이 연결된 경우 A로부터 B에 이르기까지 연결되는 에지는 총 3개이므로 홉 거리는 3이 될 수 있다.
이때 인식 정확도 보정 단계(S450)는 상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 홉(Hop) 거리에 따라 가중치를 산출하고, 상기 산출한 가중치를 적용하여 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다. 여기서 상기 가중치는 상기 연결 홉 거리의 크기와 반비례하도록 설정된 규칙 또는 식에 의하여 산출될 수 있다. 또는 상기 가중치는 미리 그 값이 상기 연결 홉 거리의 크기에 따라 테이블 또는 기타 자료 구조를 이용하여 정의될 수 있고, 이와 같이 미리 정의된 테이블 또는 자료 구조를 이용하여 연결 홉 거리에 따른 가중치 값을 획득할 수 있다.
예를 들면 홉(Hop) 거리에 따른 가중치는 하기 표 3과 같이 설정할 수 있다.
홉 거리 2 3 4~6 7~
가중치 2 1.6 1.1 0
이때 주요 객체가 복수개인 경우, 각 주요 객체 노드와 후보 부류 노드 간의 연결 홉 거리에 따라 산출 또는 획득된 가중치들의 합이 최종 가중치가 될 수 있다. 또한 위와 같은 과정을 통하여 획득된 가중치를 객체 인식 단계(S100)에서 산출된 인식 정확도에 곱한 값으로 인식 정확도가 보정될 수 있다.
예를 들어 상기 표 2와 같이 후보 부류 선별 단계(S400)에서 후보 부류가 선별된 결과에 대하여, 인식 정확도 보정 단계(S450)가 수행되어 표 2의 후보 부류 중에서 상기 주요 객체와 관련된 후보 부류를 검색한 결과 '컵' 후보 부류가 검색되었고, '컵' 후보 부류의 노드와 주요 객체의 노드 간의 연결 정보에 따라 산출된 가중치가 8.1이 되면, '컵' 후보 부류의 인식 정확도는 표 2의 0.024에서 8.1이 곱해진 0.194가 될 수 있다. 여기서 상기 가중치 8.1은 예를 들면 '컵' 후보 부류의 노드와 주요 객체 '노트북', '전자 기타', '모니터', '접이식 의자', '커피 주전자', '쓰레기통' 간의 홉 거리에 따라 각 산출된 가중치인 1.6, 1.1, 1.6, 1.6, 1.1, 1.1의 총 합으로 산출될 수 있다. 하기 표 4는 이와 같이 인식 정확도 보정 단계(S450)에 따라 후보 부류 중 일부의 인식 정확도가 보정된 결과를 나타내는 표이다.
순위 후보 부류 인식 정확도
1 컵 0.194
2 약통 0.066
3 우유 캔 0.049
4 파우더 0.047
5 선크림 0.045
6 확대경 0.026
도 9는 위와 같은 인식 정확도 보정 동작을 설명하기 위한 참고도이다. 도 9의 a와 같이 후보 부류가 선별된 결과에 대하여, b와 같이 일 예로 주요 객체와 관련된 후보 부류로 '컵'이 선별될 수 있고, '컵' 후보 부류의 인식 정확도를 보정하기 위한 가중치가 c와 같이 산출될 수 있다. 다음으로 d와 같이 상기 산출된 가중치를 적용하여 인식 정확도가 보정될 수 있고, 보정된 결과에 따라 인식 정확도의 순서대로 후보 부류의 리스트가 재 정렬될 수 있다. 도 9의 d를 참조하면 인식 정확도 보정 동작에 따라 컵 객체 영상에 대하여 최대 인식 정확도를 가지는 후보 부류가 '컵'으로 보정됨을 확인할 수 있다.
이때 부류 결정 단계(S500)는 상기 보정된 인식 정확도를 기초로 후보 부류 선별 단계(S400)에서 선별한 상기 후보 부류 중에서 상기 객체의 상기 부류를 결정할 수 있다. 표 3과 도 9의 예에서는 최종적으로 '컵'이 검출된 객체의 부류로 결정됨으로써, 객체 인식 결과가 도출된다.
이처럼 인식 정확도를 보정함으로써 객체 인식 성능을 향상시킬 수 있는 효과가 있다.
본 발명의 또 다른 실시예에 따른 객체 인식 장치는 객체 인식부(100), 주요 객체 선별부(200), 공간 추정부(300), 후보 부류 선별부(400), 부류 결정부(500)를 포함할 수 있다. 여기서 상기 객체 인식 장치는 도 1 내지 도 10을 참조하면서 위에서 상세히 설명한 본 발명에 따른 객체 인식 방법의 각 단계가 동작하는 방식과 동일하게 동작할 수 있다. 이에 중복되는 부분은 생략하고 설명한다.
도 10은 상기 실시예에 따른 객체 인식 장치의 블록도이다.
객체 인식부(100)는 입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정한다.
여기서 객체 인식부(100)는 상기 검출한 객체를 미리 정해진 객체 인식 알고리즘을 이용하여 인식하되, 상기 객체에 대하여 상기 후보 부류 별 상기 인식 정확도를 산출하고, 상기 산출한 인식 정확도를 기준으로 소정의 개수의 상기 후보 부류를 결정할 수 있다.
주요 객체 선별부(200)는 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별한다.
공간 추정부(300)는 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정한다.
공간 추정부(300)는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정할 수 있다.
후보 부류 선별부(400)는 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별한다.
여기서 후보 부류 선별부(400)는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별할 수 있다.
부류 결정부(500)는 상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정한다.
여기서 본 발명의 또 다른 실시예에 따른 객체 인식 장치는 인식 정확도 보정부(450)를 더 포함할 수 있다.
도 11은 상기 또 다른 실시예에 따른 객체 인식 장치의 블록도이다.
인식 정확도 보정부(450)는 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
S100 : 객체 인식 단계
S200 : 주요 객체 선별 단계
S300 : 공간 추정 단계
S400 : 후보 부류 선별 단계
S450 : 인식 정확도 보정 단계
S500 : 부류 결정 단계
100 : 객체 인식부
200 : 주요 객체 선별부
300 : 공간 추정부
400 : 후보 부류 선별부
450 : 인식 정확도 보정부
500 : 부류 결정부

Claims (20)

  1. 객체 인식 방법에 있어서,
    특정 공간을 촬영한 입력 영상으로부터 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정하는 객체 인식 단계;
    상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별하는 주요 객체 선별 단계;
    공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 주요 객체가 포함된 상기 입력 영상에 대하여 상기 선별한 주요 객체가 속하는 상기 공간을 추정하는 공간 추정 단계;
    상기 추정한 공간에 기반하여 상기 객체에 대응하는 상기 후보 부류 중에서 일부를 선별하는 후보 부류 선별 단계; 및
    상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정하는 부류 결정 단계를 포함하는 것을 특징으로 하는 객체 인식 방법.
  2. 제1항에 있어서,
    상기 객체 인식 단계는 상기 검출한 객체를 미리 정해진 객체 인식 알고리즘을 이용하여 인식하되, 상기 객체에 대하여 상기 후보 부류 별 상기 인식 정확도를 산출하고, 상기 산출한 인식 정확도를 기준으로 소정의 개수의 상기 후보 부류를 결정하는 것을 특징으로 하는 객체 인식 방법.
  3. 제1항에 있어서,
    상기 객체 인식 단계는 상기 객체를 상기 후보 부류로 인식하는 정확도를 상기 인식 정확도로 산출하는 것을 특징으로 하는 객체 인식 방법.
  4. 제2항에 있어서,
    상기 객체 인식 단계는 CNN(Convolutional Neural Network) 방법을 이용하여 상기 객체를 인식하여, 상기 객체에 대하여 소정의 개수의 상기 후보 부류를 결정하는 것을 특징으로 하는 객체 인식 방법.
  5. 제1항에 있어서,
    상기 주요 객체 선별 단계는 상기 영상에 포함된 상기 객체 중에서, 상기 객체의 상기 인식 정확도와 소정의 임계치를 비교하여, 그 비교 결과에 따라 상기 주요 객체를 선별하는 것을 특징으로 하는 객체 인식 방법.
  6. 제1항에 있어서,
    상기 공간 추정 단계는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정하는 것을 특징으로 하는 객체 인식 방법.
  7. 제6항에 있어서,
    상기 공간 추정 단계는 상기 영상에서 선별된 각 상기 주요 객체에 대응하는 상기 공간을 상기 공간-물체 관계 모델에서 검색하고, 상기 검색된 공간들 중에서 검색된 횟수를 기초로 상기 주요 객체가 속하는 상기 공간을 결정하는 것을 특징으로 하는 객체 인식 방법.
  8. 제6항에 있어서,
    상기 공간-물체 관계 모델은 적어도 하나 이상의 상기 공간에 대하여, 각 상기 공간 별로 상기 공간에 존재하는 상기 물체를 미리 정의한 모델인 것을 특징으로 하는 객체 인식 방법.
  9. 제8항에 있어서,
    상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델인 것을 특징으로 하는 객체 인식 방법.
  10. 제1항에 있어서,
    상기 후보 부류 선별 단계는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별하는 것을 특징으로 하는 객체 인식 방법.
  11. 제10항에 있어서,
    상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이고,
    상기 후보 부류 선별 단계는 상기 후보 부류 중에서 상기 그래프 모델에서 상기 추정한 공간에 대응하는 공간 노드와 연결된 물체 노드에 대응하는 상기 후보 부류를 선별하는 것을 특징으로 하는 객체 인식 방법.
  12. 제1항에 있어서,
    상기 부류 결정 단계는 상기 후보 부류의 상기 인식 정확도의 크기를 기준으로, 상기 선별한 후보 부류 중 상기 객체의 상기 부류를 결정하는 것을 특징으로 하는 객체 인식 방법.
  13. 제1항에 있어서,
    상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하는 인식 정확도 보정 단계를 더 포함하는 것을 특징으로 하는 객체 인식 방법.
  14. 제13항에 있어서,
    상기 인식 정확도 보정 단계는 상기 후보 부류 선별 단계에서 선별한 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하여, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하고,
    상기 부류 결정 단계는 상기 보정된 인식 정확도를 기초로 상기 후보 부류 선별 단계에서 선별한 상기 후보 부류 중에서 상기 객체의 상기 부류를 결정하는 것을 특징으로 하는 객체 인식 방법.
  15. 제13항에 있어서,
    상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이고,
    상기 인식 정확도 보정 단계는,
    상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 연결된 상기 후보 부류에 대응하는 상기 노드를 검색하고,
    상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 정보를 기초로, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하는 것을 특징으로 하는 객체 인식 방법.
  16. 제15항에 있어서,
    상기 인식 정확도 보정 단계는 상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 홉(Hop) 거리에 따라 가중치를 산출하고, 상기 산출한 가중치를 적용하여 상기 후보 부류의 상기 인식 정확도를 보정하는 것을 특징으로 하는 객체 인식 방법.
  17. 객체 인식 장치에 있어서,
    특정 공간을 촬영한 입력 영상으로부터 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정하는 객체 인식부;
    상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별하는 주요 객체 선별부;
    공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 주요 객체가 포함된 상기 입력 영상에 대하여 상기 선별한 주요 객체가 속하는 상기 공간을 추정하는 공간 추정부;
    상기 추정한 공간에 기반하여 상기 객체에 대응하는 상기 후보 부류 중에서 일부를 선별하는 후보 부류 선별부; 및
    상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정하는 부류 결정부를 포함하는 것을 특징으로 하는 객체 인식 장치.
  18. 제17항에 있어서,
    상기 공간 추정부는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정하는 것을 특징으로 하는 객체 인식 장치.
  19. 제17항에 있어서,
    상기 후보 부류 선별부는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별하는 것을 특징으로 하는 객체 인식 장치.
  20. 제17항에 있어서,
    상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하는 인식 정확도 보정부를 더 포함하는 것을 특징으로 하는 객체 인식 장치.
KR1020150167923A 2015-11-27 2015-11-27 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치 KR101771044B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150167923A KR101771044B1 (ko) 2015-11-27 2015-11-27 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치
PCT/KR2016/000724 WO2017090830A1 (ko) 2015-11-27 2016-01-22 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150167923A KR101771044B1 (ko) 2015-11-27 2015-11-27 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20170062290A KR20170062290A (ko) 2017-06-07
KR101771044B1 true KR101771044B1 (ko) 2017-08-24

Family

ID=58763391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150167923A KR101771044B1 (ko) 2015-11-27 2015-11-27 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR101771044B1 (ko)
WO (1) WO2017090830A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066862A (ko) * 2017-12-06 2019-06-14 한국과학기술연구원 지능형 음성 정보 제공 시스템 및 방법
US11995122B2 (en) 2018-08-08 2024-05-28 Samsung Electronics Co., Ltd. Electronic device for providing recognition result of external object by using recognition information about image, similar recognition information related to recognition information, and hierarchy information, and operating method therefor

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101982942B1 (ko) 2017-12-21 2019-05-27 건국대학교 산학협력단 객체 추적 방법 및 이를 수행하는 장치들
KR102592463B1 (ko) 2018-08-01 2023-10-23 삼성전자 주식회사 카메라 모듈을 통해 획득한 영상에 기반하여 정보를 저장하는 방법 및 이를 사용하는 전자 장치
WO2020117028A1 (ko) * 2018-12-07 2020-06-11 서울대학교 산학협력단 질의 응답 장치 및 방법
CN110705613B (zh) * 2019-09-19 2021-06-11 创新奇智(青岛)科技有限公司 物体分类方法
KR102185777B1 (ko) * 2020-06-18 2020-12-02 호서대학교 산학협력단 컴퓨터를 이용한 딥러닝과 plsi 기반 이미지객체의 의미관계 인식방법
KR20220022354A (ko) * 2020-08-18 2022-02-25 삼성전자주식회사 객체 간 관계에 기초하여 이미지를 수정하는 인공지능 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105461A1 (en) * 2000-10-16 2012-05-03 Sony Deutschland Gmbh Automatic selection of a background image for a display on a mobile telephone
US20140307974A1 (en) * 2013-04-12 2014-10-16 Omron Corporation Image recognition device, recording medium, and image recognition method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1160682A1 (en) * 2000-06-02 2001-12-05 Thomas Dr. Seidl Relation interval tree
WO2013063740A1 (en) * 2011-10-31 2013-05-10 Google Inc. Selecting images based on textual description
US9122958B1 (en) * 2014-02-14 2015-09-01 Social Sweepster, LLC Object recognition or detection based on verification tests

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105461A1 (en) * 2000-10-16 2012-05-03 Sony Deutschland Gmbh Automatic selection of a background image for a display on a mobile telephone
US20140307974A1 (en) * 2013-04-12 2014-10-16 Omron Corporation Image recognition device, recording medium, and image recognition method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066862A (ko) * 2017-12-06 2019-06-14 한국과학기술연구원 지능형 음성 정보 제공 시스템 및 방법
KR102023573B1 (ko) * 2017-12-06 2019-09-24 한국과학기술연구원 지능형 음성 정보 제공 시스템 및 방법
US11995122B2 (en) 2018-08-08 2024-05-28 Samsung Electronics Co., Ltd. Electronic device for providing recognition result of external object by using recognition information about image, similar recognition information related to recognition information, and hierarchy information, and operating method therefor

Also Published As

Publication number Publication date
KR20170062290A (ko) 2017-06-07
WO2017090830A1 (ko) 2017-06-01

Similar Documents

Publication Publication Date Title
KR101771044B1 (ko) 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치
US8582887B2 (en) Image processing system, learning device and method, and program
CN108470354A (zh) 视频目标跟踪方法、装置和实现装置
US11301509B2 (en) Image search system, image search method, and program
CN107239777B (zh) 一种基于多视角图模型的餐具检测和识别方法
CN111091101B (zh) 基于一步法的高精度行人检测方法、系统、装置
US20220245405A1 (en) Deterioration suppression program, deterioration suppression method, and non-transitory computer-readable storage medium
KR101977231B1 (ko) 커뮤니티 검출 방법 및 커뮤니티 검출 프레임워크 장치
US9223804B2 (en) Determining capacity of search structures
JP2008146329A (ja) 顔特徴点検出装置及びその方法
US8417038B2 (en) Image processing apparatus, processing method therefor, and non-transitory computer-readable storage medium
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
Backes et al. Polygonal approximation of digital planar curves through vertex betweenness
AU2024201075A1 (en) Methods and apparatus for visual-aware hierarchy-based object recognition
JP2009129237A (ja) 画像処理装置及びその方法
KR20150108577A (ko) 식별을 위해 확장된 영역에 대한 특징을 수집하는 학습 장치 및 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10089764B2 (en) Variable patch shape synthesis
CN109871249B (zh) 一种远程桌面操作方法、装置、可读存储介质及终端设备
EP3965007A1 (en) Action recognition apparatus, learning apparatus, and action recognition method
CN117474918A (zh) 异常检测方法和装置、电子设备以及存储介质
KR101758693B1 (ko) 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치
Muneesawang et al. Learning and adaptive characterization of visual contents in image retrieval systems
JP2016071872A (ja) 対象追跡方法と装置、追跡特徴選択方法
Wang et al. Amsac: An adaptive robust estimator for model fitting
Tan et al. Dense invariant feature based support vector ranking for person re-identification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant