KR20150043958A - 객체 인식장치 및 그 방법 - Google Patents

객체 인식장치 및 그 방법 Download PDF

Info

Publication number
KR20150043958A
KR20150043958A KR20140056818A KR20140056818A KR20150043958A KR 20150043958 A KR20150043958 A KR 20150043958A KR 20140056818 A KR20140056818 A KR 20140056818A KR 20140056818 A KR20140056818 A KR 20140056818A KR 20150043958 A KR20150043958 A KR 20150043958A
Authority
KR
South Korea
Prior art keywords
image
information
correlation information
unit
identification
Prior art date
Application number
KR20140056818A
Other languages
English (en)
Inventor
박소영
조기성
류원
심재철
유초롱
장원일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to DE201410113817 priority Critical patent/DE102014113817A1/de
Priority to US14/497,489 priority patent/US20150104065A1/en
Publication of KR20150043958A publication Critical patent/KR20150043958A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

객체 인식장치 및 그 방법이 개시된다. 본 발명의 일 실시 예에 따른 객체 인식장치는 대상 객체가 포함된 영상을 입력받는 입력부와, 입력부를 통해 입력받은 영상 내 대상 객체를 영상 및 객체 간의 상관관계를 나타내는 영상-객체 상관정보를 이용하여 인식하는 프로세서를 포함한다.

Description

객체 인식장치 및 그 방법 {Apparatus and method for recognizing object in image}
본 발명은 방송통신기술에 관한 것으로, 보다 상세하게는 영상 내 객체를 인식하는 기술에 관한 것이다.
영상 내 객체(object)를 인식(recognition)하는 기술은 컴퓨터 비전(computer vision) 분야 등에서 활용된다. 영상(image)은 정지된 영상(still image)과 동영상(video)을 망라한다. 객체의 인식은 그 단계에 따라 검출(detection)과 식별(identification) 단계로 나눌 수 있다. 객체의 검출은 객체가 속하는 카테고리가 무엇인지를 알아내는 것이고, 식별은 그 객체의 유일한 식별정보를 알아내는 것이다. 예를 들어, 어떤 사람을 식별하는 데 있어 그 객체가 사람 또는 여자/남자라는 것을 인식하는 것을 검출, 그 사람이 “홍길동”이라는 것을 알아내는 것을 식별이라고 할 수 있다. 이와 같은 검출 및 식별은 단계적으로 이루어질 수도 있고, 인식 방법에 따라 검출 단계 없이 바로 식별이 이루어질 수도 있다.
객체의 검출 및 식별은 각각 검출기와 식별기를 통하여 실행되는데, 검출과 식별을 인식으로 통칭하고, 검출기와 식별기를 인식기로 통칭한다. 객체 인식기의 개발은 영상 데이터세트(dataset) 구축, 영상 내 객체의 특징점(feature) 추출 방법 설계, 인식모델 설계, 인식기 성능 평가 등의 단계를 거쳐 이루어진다. 영상 데이터세트는 인식기를 학습(training)하는 데 필요한 영상 데이터베이스를 일컫는 학습 세트(training set)와, 학습을 통하여 개발된 인식기의 성능을 평가하기 위한 영상 데이터베이스를 일컫는 평가 세트(test set)를 포함한다.
영상에서 객체의 특징점을 추출하는 방법이 설계되면, 이를 기반으로 데이터세트 상의 영상의 특징이 특징점 벡터 등의 형태로 표현되고 이를 기반으로 인식기 개발이 이루어진다. 다음으로 객체 인식 과정에서 객체를 적당한 카테고리로 할당하기 위한 인식모델을 설계한다. 인식모델이란 영상을 분류하는 기준을 수학적으로 모델링 한 것을 말한다. 인식모델이 선택되면, 영상 데이터세트를 기반으로 학습하는 과정이 진행된다. 성능 평가 단계에서는 이와 같은 절차를 통하여 개발된 인식기에 대한 성능 평가가 이루어진다. 따라서, 높은 성능의 인식기 개발을 위해서는 잘 정제된 영상으로 구성된 데이터세트의 구축, 영상의 특성을 효과적으로 나타낼 수 있는 특징 표현 방법의 설계, 객체 인식을 효과적으로 해낼 수 있는 모델의 설계 및 학습 등이 요구된다.
일 실시 예에 따라, 영상 내 객체 인식의 성능 지표인 객체 인식의 정확도와 속도를 향상시킬 수 있는 객체 인식장치 및 그 방법을 제안한다.
일 실시 예에 따른 객체 인식장치는 대상 객체가 포함된 영상을 입력받는 입력부와, 입력부를 통해 입력받은 영상 내 대상 객체를 영상 및 객체 간의 상관관계를 나타내는 영상-객체 상관정보를 이용하여 인식하는 프로세서를 포함한다.
영상-객체 상관정보는 영상에 대한 데이터와 영상 내 객체에 대한 데이터로부터 생성된 정보로서, 영상 관련 정보, 영상 내에 등장할 가능성이 있는 객체 정보, 소정의 객체가 소정의 영상에 등장할 가능성 정보를 포함할 수 있다.
프로세서는 객체 식별자에 영상-객체 상관정보를 반영하여 객체 식별자를 수정하고 수정된 객체 식별자들을 이용하여 영상 내 대상 객체를 식별할 수 있다. 또는 프로세서는 객체 인식 결과에 영상-객체 상관정보를 반영하여 객체 인식 결과를 조정할 수 있다. 이때, 프로세서는 객체 식별자를 이용하여 대상 객체를 식별하고, 객체 식별 결과를 대상으로 영상-객체 상관정보를 반영하여 객체 식별 결과를 수정하여 최종 객체 식별 결과를 도출할 수 있다.
일 실시 예에 따른 프로세서는 영상-객체 상관정보를 이용하여 객체 식별자들을 다수의 그룹으로 그룹화하여 모델링한다. 이때, 프로세서는 각 그룹의 중요도를 차별화하고, 우선순위에 따라 순차적으로 해당 그룹에 속한 객체 식별자를 이용하여 대상 객체를 식별할 수 있다. 프로세서는 각 그룹의 중요도를 차별화하고, 지정된 그룹에 한하여 해당 그룹에 포함된 객체 식별자를 이용하여 대상 객체를 식별하도록 강제할 수 있다.
한편, 다른 실시 예에 따른 객체 인식장치는, 대상 객체가 포함된 영상을 획득하는 영상 획득부와, 영상 획득부로부터 획득된 영상에서 객체를 검출하는 객체 검출부와, 영상에 대한 데이터와 영상 내 객체에 대한 데이터를 획득하여 영상 및 객체 간의 상관관계를 나타내는 영상-객체 상관정보를 생성하는 정보 처리부와, 객체 검출부로부터 객체 검출결과를 수신하고 정보 처리부로부터 영상-객체 상관정보를 수신하여 수신된 객체 검출결과와 영상-객체 상관정보를 이용하여 대상 객체를 식별하는 객체 식별부를 포함한다.
일 실시 예에 따른 정보 처리부는, 영상에 대한 데이터와 영상 내 객체에 대한 데이터를 수집하는 데이터 수집부와, 데이터 수집부로부터 수집된 영상에 대한 데이터와 영상 내 객체에 대한 데이터를 가공하여 영상-객체 상관정보를 생성하는 정보 생성부와, 정보 생성부에서 생성된 영상-객체 상관정보를 객체 식별부에 제공하는 정보 제공부를 포함한다.
일 실시 예에 따른 정보 처리부는 미리 저장된 영상-객체 상관정보 중에서 객체 식별부의 객체 식별에 필요한 영상-객체 상관정보를 선택하여 선택된 영상-객체 상관정보를 객체 식별부에 제공한다. 이때, 정보 처리부는 영상 획득부로부터 대상 객체가 포함된 영상의 영상 메타데이터를 수신하고 객체 검출부로부터 객체 검출결과를 수신하여, 수신된 영상 메타데이터와 객체 검출결과를 이용하여 객체 식별부에 제공할 영상-객체 상관정보를 선택할 수 있다.
일 실시 예에 따른 객체 식별부는 정보 처리부로부터 영상-객체 상관정보를 수신하고 수신된 영상-객체 상관정보를 객체 식별자에 반영하여 객체 식별자를 수정하는 정보 수신부와, 정보 수신부에서 수정된 객체 식별자를 이용하여 대상 객체를 식별하는 객체 식별 실행부를 포함한다.
일 실시 예에 따른 객체 식별부는 객체 식별자를 이용하여 객체를 식별하는 객체 식별 실행부와, 정보 처리부로부터 영상-객체 상관정보를 수신하고 수신된 영상-객체 상관정보를 객체 식별 실행부의 객체 식별결과에 반영하여 객체 식별결과를 수정함에 따라 최종 식별결과를 도출하는 정보 수신부를 포함한다.
한편, 또 다른 실시 예에 따른 객체 인식방법은 대상 객체가 포함된 영상을 획득하는 단계와, 획득된 영상에서 객체를 검출하는 단계와, 영상 및 객체 간의 상관관계를 나타내는 영상-객체 상관정보를 생성하는 단계와, 객체 검출결과와 영상-객체 상관정보를 이용하여 대상 객체를 식별하는 단계를 포함한다.
일 실시 예에 따른 영상-객체 상관정보를 생성하는 단계는 영상에 대한 데이터와 영상 내 객체에 대한 데이터를 수집하는 단계와, 수집된 영상에 대한 데이터와 영상 내 객체에 대한 데이터를 가공하여 영상-객체 상관정보를 생성하는 단계와 생성된 영상-객체 상관정보를 제공하는 단계를 포함한다.
일 실시 예에 따른 영상-객체 상관정보를 생성하는 단계는 미리 저장된 영상-객체 상관정보 중에서 객체 식별에 필요한 영상-객체 상관정보를 선택하는 단계와, 선택된 영상-객체 상관정보를 제공하는 단계를 포함한다. 영상-객체 상관정보를 선택하는 단계는 대상 객체가 포함된 영상의 영상 메타데이터를 수신하는 단계와, 객체 검출결과를 수신하는 단계와, 수신된 영상 메타데이터와 객체 검출결과를 이용하여 영상-객체 상관정보를 선택하는 단계를 포함할 수 있다.
일 실시 예에 따른 대상 객체를 식별하는 단계는 영상-객체 상관정보를 수신하는 단계와, 수신된 영상-객체 상관정보를 객체 식별자에 반영하여 객체 식별자를 수정하는 단계와, 수정된 객체 식별자를 이용하여 대상 객체를 식별하는 단계를 포함한다.
일 실시 예에 따른 대상 객체를 식별하는 단계는 객체 식별자를 이용하여 객체를 식별하는 단계와, 영상-객체 상관정보를 수신하는 단계와, 수신된 영상-객체 상관정보를 객체 식별결과에 반영하여 객체 식별결과를 수정함에 따라 최종 식별결과를 도출하는 단계를 포함한다.
일 실시 예에 따르면, 영상 내에 포함된 객체를 효과적으로 인식할 수 있다. 즉, 영상 내 객체를 인식하는 단계에서, 기 학습된 식별모델뿐만 아니라 대상 객체가 포함된 영상에 관한 정보와 객체에 관한 정보를 기반으로 생성된 영상-객체 상관정보를 이용함으로써 객체식별 성능을 향상시킬 수 있다. 이때, 식별 대상 객체의 범위를 한정하는 방식을 통해 필요한 연산 횟수를 줄여 식별 속도를 높일 수 있고, 후보 객체의 영상 내 존재 가능성을 식별 결과에 반영하여 조정하는 방식을 통해 식별 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 객체 인식장치의 구성도,
도 2는 본 발명의 다른 실시 예에 따른 객체 인식장치의 구성도,
도 3은 본 발명의 일 실시 예에 따른 도 2의 정보 처리부의 세부 구성도,
도 4는 본 발명의 일 실시 예에 따른 도 2의 객체 식별부의 세부 구성도,
도 5는 본 발명의 일 실시 예에 따른 영상-객체 상관정보를 이용하여 객체 식별자를 수정하여 실행하는 예를 도시한 참조도,
도 6은 본 발명의 일 실시 예에 따른 영상-객체 상관정보를 이용하여 수정된 객체 식별자를 실행한 결과를 보여주는 참조도,
도 7은 본 발명의 일 실시 예에 따른 영상-객체 상관정보를 이용하여 객체 인식 결과를 조정하는 예를 도시한 참조도,
도 8은 본 발명의 일 실시 예에 따른 객체 인식방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 객체 인식장치의 구성도이다.
도 1을 참조하면, 객체 인식장치(1)는 입력부(10), 프로세서(12), 출력부(14) 및 데이터베이스(16)를 포함한다.
입력부(10)는 영상 내 객체 인식을 위한 사용자 명령을 입력받는다. 입력부(10)는 외부의 객체 인식 요청자로부터 객체 인식을 요청받을 수 있다. 또한, 입력부(10)는 인식 대상이 되는 대상 객체가 포함된 영상을 입력받는다. 입력받은 영상에는 영상 자체와 영상 메타데이터가 포함될 수 있다. 입력부(10)는 영상 제공자로부터 해당 영상을 입력받을 수 있다. 영상 제공자는 객체 인식장치(1)의 외부에 위치할 수 있는데, 이 경우 통신수단을 통해 영상 제공자로부터 영상을 입력받을 수 있다.
프로세서(12)는 입력부(10)로부터 입력받은 영상을 대상으로 대상 객체를 인식한다. 여기서, 인식은 검출과 식별을 통칭한다. 일 실시 예에 따른 프로세서(12)는 영상 및 객체 간의 상관관계를 나타내는 영상-객체 상관정보를 이용하여 영상 내 대상 객체를 인식한다. 영상-객체 상관정보는 영상에 대한 데이터와 영상 내 객체에 대한 데이터를 가공하여 생성된 정보로서, 영상 관련 정보, 영상 내에 등장할 가능성이 있는 객체 정보, 소정의 객체가 소정의 영상에 등장할 가능성 정보 등을 포함한다. 상관관계는 상하관계, 포함관계, 병렬 또는 연관관계, 소유 또는 소속관계 등의 속성을 갖는다.
영상 내 대상 객체를 식별하는 단계에서 기 학습(training)된 인식 모델뿐만 아니라, 영상-객체 상관정보를 이용하여 대상 객체를 식별함에 따라, 객체 인식에 소요되는 시간을 단축하고 인식 정확도를 향상시킬 수 있다. 예를 들어, 영상-객체 상관정보를 이용하여 대상 객체의 범위를 한정함으로써 객체 인식 시간을 단축할 수 있다. 또 다른 예로 영상-객체 상관정보를 이용 객체 인식 결과에 반영함으로써 객체 인식의 정확도를 향상시킬 수 있다.
일 실시 예에 따른 프로세서(12)는 객체 식별자(object identifier)에 영상-객체 상관정보를 반영하여 객체 식별자를 수정하고, 수정된 객체 식별자들을 이용하여 영상 내 대상 객체를 식별한다. 객체 식별자는 다른 객체들과 비교하여 구별할 수 있는 값(value)이다. 다른 실시 예에 따른 프로세서(12)는 객체 인식 결과에 영상-객체 상관정보를 반영하여 객체 인식 결과를 조정한다. 이때, 프로세서(12)는 객체 식별자를 이용하여 대상 객체를 식별하고, 식별 결과를 대상으로 영상-객체 상관정보를 반영하여 식별 결과를 수정하여 최종 객체 식별 결과를 도출할 수 있다. 예를 들어, 후보 객체의 영상 내 존재 가능성을 식별 결과에 반영하여 식별 결과를 수정하여 최종 객체 식별 결과를 도출할 수 있다.
출력부(14)는 프로세서(12)를 통한 처리 결과를 외부에 출력하는데, 객체 인식결과를 출력할 수 있다. 데이터베이스(16)에는 프로세서(12)의 동작 실행을 위해 필요한 각종 데이터가 저장되는데, 영상 메타데이터, 객체 식별자, 영상-객체 상관정보, 객체 인식결과 등이 저장될 수 있다.
도 2는 본 발명의 다른 실시 예에 따른 객체 인식장치의 구성도이다.
도 2를 참조하면, 객체 인식장치(2)는 영상 획득부(20), 정보 처리부(22), 객체 검출부(24) 및 객체 식별부(26)를 포함한다. 도 2의 객체 인식장치(2)는 도 1의 프로세서(12)에 대응할 수 있다.
영상 획득부(20)는 영상 제공자(200)로부터 제공되는 영상을 획득한다. 그리고, 획득된 영상으로부터 영상 자체와 그 영상에 관한 메타데이터를 분리하여, 영상은 객체 검출부(24)에 제공하고 영상 메타데이터는 정보 처리부(22)에 제공한다. 영상 제공자(200)는 객체 인식장치(2)의 외부에 위치할 수 있다.
정보 처리부(22)는 영상-객체 상관 데이터를 검색하거나 입력받아 이를 가공하여 영상-객체 상관정보를 생성한다. 그리고, 생성된 영상-객체 상관정보를 객체 식별부(26)에 제공한다. 영상-객체 상관 데이터는 영상에 관련된 데이터, 영상에 존재할 수 있는 객체에 관련된 데이터 등을 포함한다. 영상-객체 상관정보는 영상 관련 정보, 영상 내에 등장할 가능성이 있는 객체 정보, 소정의 객체가 소정의 영상에 등장할 가능성 정보 등을 포함한다. 정보 처리부(22)는 영상-객체 상관 데이터를 데이터 제공자(300)로부터 입력받을 수 있다. 데이터 제공자(300)는 외부의 웹(web) 상에 위치할 수 있다.
정보 처리부(22)는 시각, 청각 또는 감각 컨텐츠, 디스크립터(descriptor) 등을 통해 영상-객체 상관 데이터에 접근할 수 있다. 예를 들어, 영상-객체 상관 데이터는 이미지, 텍스트, 스트리밍 또는 넌-스트리밍 비디오, 스트리밍 또는 넌-스트리밍 오디오, URL(Universal Resource Locator), WAP(Wireless Application Protocol) 페이지, HTML(Hyper Text Markup Language) 페이지, XML(eXtensible Markup Language) 문서, 실행가능한 프로그램, 파일명, IP(Internet Protocol) 어드레스, 전화 호출(telephone call), 포인터 등의 형태로 존재할 수 있다. 정보 처리부(22)의 세부 구성 및 그 기능에 대하여는 도 3을 참조로 하여 후술한다.
객체 검출부(24)는 영상 획득부(20)로부터 영상을 제공받고, 제공받은 영상 내에 포함된 객체를 검출한다. 그리고, 검출결과를 객체 식별부(26)에 제공하며, 검출결과를 정보 처리부(22)에 제공할 수 있다.
객체 식별부(26)는 객체 검출부(24)로부터 객체 검출결과를 수신하고, 정보 처리부(22)로부터 영상-객체 상관정보를 수신한다. 그리고, 수신된 객체 검출결과와 영상-객체 상관정보를 이용하여 영상 내 대상 객체를 식별한다. 객체 식별부(26)는 객체 식별결과를 객체 인식 요청자(400)에 제공할 수 있다. 객체 식별부(26)의 세부 구성 및 기능에 대해서는 도 4를 참조로 하여 후술한다.
도 3은 본 발명의 일 실시 예에 따른 도 2의 정보 처리부의 세부 구성도이다.
도 2 및 도 3을 참조하면, 정보 처리부(22)는 데이터 수집부(220), 정보 생성부(222) 및 정보 제공부(224)를 포함한다.
데이터 수집부(220)는 영상-객체 상관 데이터를 수집한다. 영상-객체 상관 데이터는 영상에 대한 데이터와 영상 내에 존재할 수 있는 객체들에 대한 데이터를 포함한다. 예를 들어, 영상-객체 상관 데이터는 영상의 제목, 등장 인물 및 객체, 영상의 내용 정보, 영상 내에 존재할 가능성이 있는 다양한 객체에 대한 정보 등을 포함한다. 데이터 수집부(220)는 영상-객체 상관 데이터를 외부에서 수집할 수 있는데, 예를 들어 웹이나 다양한 영상 관련 정보 보유주체 등을 통하여 수집할 수 있다.
정보 생성부(222)는 데이터 수집부(220)에서 수집된 영상-객체 상관 데이터를 객체 식별에 이용할 수 있도록 가공하여 영상-객체 상관정보를 생성하고 이를 저장할 수 있다. 영상-객체 상관정보는 객체 인식 관점에서 영상에 대한 정보, 영상 내에 등장하는 객체에 대한 정보, 어떤 객체가 어떤 영상에 등장할 가능성 정보 등과 같이 영상과 객체 각각의 개별적인 정보와 영상 및 객체 간의 상관관계를 포함한다. 영상-객체 상관정보는 객체 식별을 위해 객체 식별자(object identifier)에 반영될 수 있다. 객체 식별자는 다른 객체들과 비교하여 구별할 수 있는 값이다. 객체 식별자는 데이터베이스에 저장 가능하다.
영상-객체 상관정보를 이용한 객체 식별 예를 들면, 객체 식별 대상이 되는 영상이 특정 콘텐츠의 일부인 점에 착안하여, 해당 콘텐츠에 등장하는 인물에 대한 정보를 영상-객체 상관정보로 이용한다. 이때, 영상 내 사람 식별 대상을 해당 콘텐츠에 등장하는 인물로 한정하여 객체를 식별하거나, 등장인물로 식별된 경우에 가중치, 예를 들어 부가점수를 할당함으로써 객체식별 결과를 조정할 수 있다.
정보 제공부(224)는 정보 생성부(222)를 통해 생성된 영상-객체 상관정보를 객체 식별부(26)에 제공한다. 일 실시 예에 따른 정보 제공부(224)는 정보 생성부(222)를 통해 생성된 영상-객체 상관정보 중에서 객체 식별부(26)의 객체 식별에 필요한 영상-객체 상관정보를 선택하고 선택된 영상-객체 상관정보를 객체 식별부(26)에 제공한다. 이를 위해, 정보 제공부(224)는 영상 획득부(20)로부터 획득된 영상 메타데이터와 객체 검출부(24)로부터 획득된 객체 검출결과를 이용하여 객체 식별부(26)에 제공할 영상-객체 상관정보를 선택할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 도 2의 객체 식별부의 세부 구성도이다.
도 2 및 도 4를 참조하면, 객체 식별부(26)는 정보 수신부(260)와 객체 식별 실행부(262)를 포함한다.
정보 수신부(260)는 정보 처리부(22)로부터 영상-객체 상관정보를 수신하고, 수신된 영상-객체 상관정보를 객체 식별 실행부(262)가 이용할 수 있도록 처리한다. 객체 식별 실행부(262)는 객체 식별자와 영상-객체 상관정보를 이용하여 객체를 식별한다.
일 실시 예에 따른 정보 수신부(260)는 정보 처리부(22)가 제공하는 영상-객체 상관정보를 수신하고 수신된 영상-객체 상관정보를 객체 식별장치(2)가 갖고 있는 객체 식별자에 반영하여 객체 식별자를 수정한다. 객체 식별 실행부(262)는 수정된 객체 식별자를 이용하여 대상 객체를 식별한다. 이에 대한 실시 예는 도 5를 참조로 하여 후술한다.
다른 실시 예에 따른 객체 식별 실행부(262)는 객체 식별장치(2)가 갖고 있는 객체 식별자를 이용하여 객체를 식별한다. 정보 수신부(260)는 정보 처리부(22)가 제공하는 영상-객체 상관정보를 수신하고 수신된 영상-객체 상관정보를 객체 식별 실행부(262)의 객체 식별결과에 반영하여 객체 식별결과를 수정함에 따라 최종 식별결과를 도출한다. 이에 대한 실시 예는 도 6을 참조로 하여 후술한다.
도 5는 본 발명의 일 실시 예에 따른 영상-객체 상관정보를 이용하여 객체 식별자를 수정하여 실행하는 예를 도시한 참조도이다.
도 5를 참조하면, 객체 식별 과정에서, 객체 인식장치가 갖고 있는 객체 식별자(object identifiers)(500)를 대상으로 영상-객체 상관정보를 반영하여 수정한다. 수정된 객체 식별자(modified object identifiers)(510)는 영상-객체 상관정보에 따라 여러 그룹들(Group 1,2,…,n)로 분류될 수 있다. 객체 식별자(500)를 각 그룹으로 분류하는 방법은 특정 방법에 한정되지는 않는다.
이해를 돕기 위하여 일 예를 들면, 인물에 대한 객체 식별자들을 대상으로 영상에 등장하는 인물들에 대한 정보를 이용하여 생성된 영상-객체 상관정보를 반영하면, 주연들에 대한 객체 식별자는 그룹 1로, 조연들에 대한 객체 식별자는 그룹 2로, 나머지 객체 식별자는 그룹 3으로 분류될 수 있다. 이때, 각 그룹을 구성하는 객체 식별자의 개수는 0개일 수 있고, 다수 개일 수도 있다.
각 그룹의 객체 식별자들을 수학적으로 모델링 할 수 있는데, 새로운 함수가 적용될 수 있다. 예를 들어, 도 5에 도시된 바와 같이 그룹 1에 대해서는 f1(x) 함수가 적용되고, 그룹 2에 대해서는 f2(x) 함수가 적용되며, 그룹 n에 대해서는 fn(x) 함수가 적용된다.
영상-객체 상관정보에 기반하여 새로운 함수가 적용된 객체 식별자들은 다양한 방법으로 실제 객체 식별결과 도출에 적용될 수 있다. 일 예로, 우선적으로 그룹 1에 포함된 객체 식별자만을 이용하여 객체식별을 실행하고, 적절한 객체식별 결과가 도출되지 않을 경우 그룹 2에 포함된 객체 식별자를 이용하여 추가로 객체식별을 시행하고, 동일한 논리로 순차적으로 그룹 n까지 확대하여 객체식별을 실행하는 방법이 이용될 수 있다. 이 경우, 객체 식별의 정확도를 향상시킬 수 있다.
또 다른 예로, 그룹 1에 포함된 객체 식별자만을 이용하여 객체식별을 실행하고, 실행 결과 내에서 최종 객체 식별결과가 도출되도록 강제하여 그룹 2 이하의 객체 식별자들은 사용하지 않도록 제한할 수도 있다. 이 경우는 식별 대상 범위를 한정하는 것으로, 객체 식별에 필요한 연산 횟수가 감소하여 식별 속도를 단축할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 영상-객체 상관정보를 이용하여 수정된 객체 식별자를 실행한 결과를 보여주는 참조도이다.
도 6을 참조하면, 임의의 대상 객체 A1에 대하여 객체 식별을 실행하는 경우, 대상 객체 A1에 대하여 객체 식별자를 실행하면 객체 식별자 실행결과(600)가 도출된다. 그러나, 객체의 식별 과정에 영상-객체 상관정보를 추가로 이용하고자 하는 경우, 후보 객체인 A1 내지 A5가 각각 어느 그룹에 포함되는지를 판단한다. 예를 들어, 후보 객체 A1 내지 A5가 각각 그룹 a, b, b, c, a에 포함되는 경우, 각 그룹에 포함된 객체 식별자에 대하여 합성되어야 하는 함수인 fa(x), fb(x) 및 fc(x)를 초기 객체 식별자 실행결과(600)에 적용하여 수정된 객체 식별자 실행결과(610)를 도출한다.
영상-객체 상관정보의 반영을 통한 주요한 효과 중 하나는 객체 인식장치가 이미 보유한 객체 식별자 세트에 영상-객체 상관정보를 반영함으로써 각 객체 식별자가 가지는 중요도가 차별화된다는 점이다. 즉, 영상-객체 상관정보는 영상 내 객체를 식별하는 단계에서 식별 대상을 한정하거나 식별될 가능성이 우선시 되는 객체에 대한 정보를 제공함으로써 객체 식별의 속도와 정확도를 향상시키는 역할을 한다.
또 다른 예로, 대상 객체가 포함된 영상이 사극 콘텐츠의 일부에 해당하는 영상인 경우, 현대에 개발되어 사용되는 객체들은 식별 가능성을 감소시키는 함수가 적용될 수 있다. 이에 대한 실시 예는 도 7을 참조로 하여 후술한다.
도 7은 본 발명의 일 실시 예에 따른 영상-객체 상관정보를 이용하여 객체 인식 결과를 조정하는 예를 도시한 참조도이다.
도 7을 참조하면, 대상 객체 A1에 대하여 객체 식별자(700)를 실행하면 초기 객체 식별결과(710)가 도출된다. 이후, 대상 객체 A1이 포함된 영상에 대한 영상-객체 상관 데이터를 획득하고 이로부터 영상-객체 상관정보를 생성한다. 이때, 객체 인식장치가 갖고 있는 영상-객체 상관정보 중에서 해당 영상 및 그 영상의 콘텐츠와 관련된 영상-객체 상관정보(720)가 선택된다. 선택된 영상-객체 상관정보(720)를 초기 객체 식별결과(710)에 반영하여 객체 식별결과를 조정하면, 조정된 객체 식별결과(730)가 도출된다.
도 8은 본 발명의 일 실시 예에 따른 객체 인식방법을 도시한 흐름도이다.
도 8을 참조하면, 객체 인식장치는 대상 객체가 포함된 영상을 획득한다(800). 그리고, 획득된 영상에서 객체를 검출한다(810).
이어서, 객체 인식장치는 영상 및 객체 간의 상관관계를 나타내는 영상-객체 상관정보를 생성한다(820). 영상-객체 상관정보는 영상에 대한 데이터와 영상 내 객체에 대한 데이터로부터 생성된 정보로서, 영상 관련 정보, 영상 내에 등장할 가능성이 있는 객체 정보, 소정의 객체가 소정의 영상에 등장할 가능성 정보 등을 포함한다.
영상-객체 상관정보를 생성하는 단계(820)에서, 일 실시 예에 따른 객체 인식장치는 영상에 대한 데이터와 영상 내 객체에 대한 데이터를 수집하고, 수집된 영상에 대한 데이터와 영상 내 객체에 대한 데이터를 가공하여 영상-객체 상관정보를 생성한다. 그리고, 생성된 영상-객체 상관정보를 제공한다.
영상-객체 상관정보를 생성하는 단계(820)에서, 일 실시 예에 따른 객체 인식장치는 미리 저장된 영상-객체 상관정보 중에서 객체 식별에 필요한 영상-객체 상관정보를 선택하고, 선택된 영상-객체 상관정보를 제공한다. 이때, 객체 인식장치는 대상 객체가 포함된 영상의 영상 메타데이터와 객체 검출결과를 수신하고, 수신된 영상 메타데이터와 객체 검출결과를 이용하여 영상-객체 상관정보를 선택할 수 있다.
이어서, 객체 인식장치는 객체 검출결과와 영상-객체 상관정보를 이용하여 대상 객체를 식별한다(830). 대상 객체를 식별하는 단계(830)에서, 일 실시 예에 따른 객체 인식장치는 영상-객체 상관정보를 수신하고, 수신된 영상-객체 상관정보를 객체 식별자에 반영하여 객체 식별자를 수정하며, 수정된 객체 식별자를 이용하여 대상 객체를 식별한다. 대상 객체를 식별하는 단계(830)에서, 다른 실시 예에 따른 객체 인식장치는 객체 식별자를 이용하여 객체를 식별하고, 영상-객체 상관정보를 수신하며, 수신된 영상-객체 상관정보를 객체 식별결과에 반영하여 객체 식별결과를 수정함에 따라 최종 식별결과를 도출한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1, 2: 객체 인식장치 10: 입력부
12: 프로세서 14: 출력부
16: 데이터베이스 20: 영상 획득부
22: 정보 처리부 24: 객체 검출부
26: 객체 식별부 220: 데이터 수집부
222: 정보 생성부 224: 정보 제공부
260: 정보 수신부 262: 객체 식별 실행부

Claims (24)

  1. 대상 객체가 포함된 영상을 입력받는 입력부; 및
    상기 입력부를 통해 입력받은 영상 내 대상 객체를 영상 및 객체 간의 상관관계를 나타내는 영상-객체 상관정보를 이용하여 인식하는 프로세서;
    를 포함하는 것을 특징으로 하는 객체 인식장치.
  2. 제 1 항에 있어서, 상기 영상-객체 상관정보는
    영상에 대한 데이터와 영상 내 객체에 대한 데이터로부터 생성된 정보로서, 영상 관련 정보, 영상 내에 등장할 가능성이 있는 객체 정보, 소정의 객체가 소정의 영상에 등장할 가능성 정보를 포함하는 것을 특징으로 하는 객체 인식장치.
  3. 제 1 항에 있어서, 상기 프로세서는
    영상-객체 상관정보에 기초하여 대상 객체의 범위를 한정하는 것을 특징으로 하는 객체 인식장치.
  4. 제 1 항에 있어서, 상기 프로세서는
    객체 식별자에 영상-객체 상관정보를 반영하여 객체 식별자를 수정하고 수정된 객체 식별자들을 이용하여 영상 내 대상 객체를 식별하는 것을 특징으로 하는 객체 인식장치.
  5. 제 1 항에 있어서, 상기 프로세서는
    객체 인식 결과에 영상-객체 상관정보를 반영하여 객체 인식 결과를 조정하는 것을 특징으로 하는 객체 인식장치.
  6. 제 5 항에 있어서, 상기 프로세서는
    객체 식별자를 이용하여 대상 객체를 식별하고, 객체 식별 결과를 대상으로 영상-객체 상관정보를 반영하여 객체 식별 결과를 수정하여 최종 객체 식별 결과를 도출하는 것을 특징으로 하는 객체 인식장치.
  7. 제 1 항에 있어서, 상기 프로세서는
    영상-객체 상관정보를 이용하여 객체 식별자들을 다수의 그룹으로 그룹화하여 모델링하는 것을 특징으로 하는 객체 인식장치.
  8. 제 7 항에 있어서, 상기 프로세서는
    각 그룹의 중요도를 차별화하고, 우선순위에 따라 순차적으로 해당 그룹에 속한 객체 식별자를 이용하여 대상 객체를 식별하는 것을 특징으로 하는 객체 인식장치.
  9. 제 7 항에 있어서, 상기 프로세서는
    각 그룹의 중요도를 차별화하고, 지정된 그룹에 한하여 해당 그룹에 포함된 객체 식별자를 이용하여 대상 객체를 식별하도록 강제하는 것을 특징으로 하는 객체 인식장치.
  10. 제 1 항에 있어서, 상기 프로세서는
    대상 객체가 포함된 영상의 영상 메타데이터와 객체 검출결과를 이용하여 영상-객체 상관정보를 결정하는 것을 특징으로 하는 객체 인식장치.
  11. 대상 객체가 포함된 영상을 획득하는 영상 획득부;
    상기 영상 획득부로부터 획득된 영상에서 객체를 검출하는 객체 검출부;
    영상에 대한 데이터와 영상 내 객체에 대한 데이터를 획득하여 영상 및 객체 간의 상관관계를 나타내는 영상-객체 상관정보를 생성하는 정보 처리부; 및
    상기 객체 검출부로부터 객체 검출결과를 수신하고 상기 정보 처리부로부터 영상-객체 상관정보를 수신하여 수신된 객체 검출결과와 영상-객체 상관정보를 이용하여 대상 객체를 식별하는 객체 식별부;
    를 포함하는 것을 특징으로 하는 객체 인식장치.
  12. 제 11 항에 있어서, 상기 정보 처리부는
    영상에 대한 데이터와 영상 내 객체에 대한 데이터를 수집하는 데이터 수집부;
    상기 데이터 수집부로부터 수집된 영상에 대한 데이터와 영상 내 객체에 대한 데이터를 가공하여 영상-객체 상관정보를 생성하는 정보 생성부; 및
    상기 정보 생성부에서 생성된 영상-객체 상관정보를 상기 객체 식별부에 제공하는 정보 제공부;
    를 포함하는 것을 특징으로 하는 객체 인식장치.
  13. 제 11 항에 있어서, 상기 영상-객체 상관정보는
    영상에 대한 데이터와 영상 내 객체에 대한 데이터로부터 생성된 정보로서, 영상 관련 정보, 영상 내에 등장할 가능성이 있는 객체 정보, 소정의 객체가 소정의 영상에 등장할 가능성 정보를 포함하는 것을 특징으로 하는 객체 인식장치.
  14. 제 11 항에 있어서, 상기 정보 처리부는
    미리 저장된 영상-객체 상관정보 중에서 상기 객체 식별부의 객체 식별에 필요한 영상-객체 상관정보를 선택하여 선택된 영상-객체 상관정보를 상기 객체 식별부에 제공하는 것을 특징으로 하는 것을 특징으로 하는 객체 인식장치.
  15. 제 14 항에 있어서, 상기 정보 처리부는
    상기 영상 획득부로부터 대상 객체가 포함된 영상의 영상 메타데이터를 수신하고 상기 객체 검출부로부터 객체 검출결과를 수신하여, 수신된 영상 메타데이터와 객체 검출결과를 이용하여 상기 객체 식별부에 제공할 영상-객체 상관정보를 선택하는 것을 특징으로 하는 객체 인식장치.
  16. 제 11 항에 있어서, 상기 객체 식별부는
    상기 정보 처리부로부터 영상-객체 상관정보를 수신하고 수신된 영상-객체 상관정보를 객체 식별자에 반영하여 객체 식별자를 수정하는 정보 수신부; 및
    상기 정보 수신부에서 수정된 객체 식별자를 이용하여 대상 객체를 식별하는 객체 식별 실행부;
    를 포함하는 것을 특징으로 하는 객체 인식장치.
  17. 제 11 항에 있어서, 상기 객체 식별부는
    객체 식별자를 이용하여 객체를 식별하는 객체 식별 실행부; 및
    상기 정보 처리부로부터 영상-객체 상관정보를 수신하고 수신된 영상-객체 상관정보를 상기 객체 식별 실행부의 객체 식별결과에 반영하여 객체 식별결과를 수정함에 따라 최종 식별결과를 도출하는 정보 수신부;
    를 포함하는 것을 특징으로 하는 객체 인식장치.
  18. 대상 객체가 포함된 영상을 획득하는 단계;
    상기 획득된 영상에서 객체를 검출하는 단계;
    영상 및 객체 간의 상관관계를 나타내는 영상-객체 상관정보를 생성하는 단계; 및
    객체 검출결과와 영상-객체 상관정보를 이용하여 대상 객체를 식별하는 단계;
    를 포함하는 것을 특징으로 하는 객체 인식방법.
  19. 제 18 항에 있어서, 상기 영상-객체 상관정보를 생성하는 단계는
    영상에 대한 데이터와 영상 내 객체에 대한 데이터를 수집하는 단계;
    상기 수집된 영상에 대한 데이터와 영상 내 객체에 대한 데이터를 가공하여 영상-객체 상관정보를 생성하는 단계; 및
    상기 생성된 영상-객체 상관정보를 제공하는 단계;
    를 포함하는 것을 특징으로 하는 객체 인식방법.
  20. 제 18 항에 있어서, 상기 영상-객체 상관정보는
    영상에 대한 데이터와 영상 내 객체에 대한 데이터로부터 생성된 정보로서, 영상 관련 정보, 영상 내에 등장할 가능성이 있는 객체 정보, 소정의 객체가 소정의 영상에 등장할 가능성 정보를 포함하는 것을 특징으로 하는 객체 인식방법.
  21. 제 18 항에 있어서, 상기 영상-객체 상관정보를 생성하는 단계는
    미리 저장된 영상-객체 상관정보 중에서 객체 식별에 필요한 영상-객체 상관정보를 선택하는 단계; 및
    선택된 영상-객체 상관정보를 제공하는 단계;
    를 포함하는 것을 특징으로 하는 객체 인식방법.
  22. 제 21 항에 있어서, 상기 영상-객체 상관정보를 선택하는 단계는
    대상 객체가 포함된 영상의 영상 메타데이터를 수신하는 단계;
    객체 검출결과를 수신하는 단계; 및
    수신된 영상 메타데이터와 객체 검출결과를 이용하여 영상-객체 상관정보를 선택하는 단계;
    를 포함하는 것을 특징으로 하는 객체 인식방법.
  23. 제 18 항에 있어서, 상기 대상 객체를 식별하는 단계는
    영상-객체 상관정보를 수신하는 단계;
    수신된 영상-객체 상관정보를 객체 식별자에 반영하여 객체 식별자를 수정하는 단계; 및
    수정된 객체 식별자를 이용하여 대상 객체를 식별하는 단계;
    를 포함하는 것을 특징으로 하는 객체 인식방법.
  24. 제 18 항에 있어서, 상기 대상 객체를 식별하는 단계는
    객체 식별자를 이용하여 객체를 식별하는 단계; 및
    영상-객체 상관정보를 수신하는 단계; 및
    수신된 영상-객체 상관정보를 객체 식별결과에 반영하여 객체 식별결과를 수정함에 따라 최종 식별결과를 도출하는 단계;
    를 포함하는 것을 특징으로 하는 객체 인식방법.
KR20140056818A 2013-10-15 2014-05-12 객체 인식장치 및 그 방법 KR20150043958A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE201410113817 DE102014113817A1 (de) 2013-10-15 2014-09-24 Vorrichtung und Verfahren zur Erkennung eines Objekts in Einem Bild
US14/497,489 US20150104065A1 (en) 2013-10-15 2014-09-26 Apparatus and method for recognizing object in image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130122698 2013-10-15
KR1020130122698 2013-10-15

Publications (1)

Publication Number Publication Date
KR20150043958A true KR20150043958A (ko) 2015-04-23

Family

ID=53036350

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140056818A KR20150043958A (ko) 2013-10-15 2014-05-12 객체 인식장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20150043958A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019132589A1 (ko) * 2017-12-29 2019-07-04 (주)제이엘케이인스펙션 다중 객체 검출을 위한 영상 처리 장치 및 방법
US11948276B2 (en) 2020-01-16 2024-04-02 Samsung Electronics Co., Ltd. Apparatus and method for enhancing videos

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019132589A1 (ko) * 2017-12-29 2019-07-04 (주)제이엘케이인스펙션 다중 객체 검출을 위한 영상 처리 장치 및 방법
US11948276B2 (en) 2020-01-16 2024-04-02 Samsung Electronics Co., Ltd. Apparatus and method for enhancing videos

Similar Documents

Publication Publication Date Title
KR102266529B1 (ko) 이미지 기반의 데이터 처리 방법, 장치, 기기 및 판독 가능 저장 매체
JP6402653B2 (ja) 物体認識装置、物体認識方法、およびプログラム
JP2007094775A (ja) 意味解析装置、意味解析方法および意味解析プログラム
WO2015135455A1 (en) Natural language question answering method and apparatus
CN106875949B (zh) 一种语音识别的校正方法及装置
JP2019535047A (ja) 主題分類器の訓練方法、装置及びコンピュータ読み取り可能な記憶媒体
CN111368024A (zh) 文本语义相似度的分析方法、装置及计算机设备
JP2017505964A (ja) 機械学習に基づく自動タスク分類
US20150104065A1 (en) Apparatus and method for recognizing object in image
CN109408821B (zh) 一种语料生成方法、装置、计算设备及存储介质
CN112347244A (zh) 基于混合特征分析的涉黄、涉赌网站检测方法
WO2022052505A1 (zh) 基于依存句法的句子主干抽取方法、设备和可读存储介质
CN112188306B (zh) 一种标签生成方法、装置、设备及存储介质
CN109344355A (zh) 针对网页变化的自动回归检测与块匹配自适应方法和装置
CN114647713A (zh) 基于虚拟对抗的知识图谱问答方法、设备及存储介质
JP2017182457A (ja) 情報処理システム、サーバ、端末装置、情報処理方法及びプログラム
CN107958068A (zh) 一种基于实体知识库的语言模型平滑方法
CN110795942A (zh) 基于语义识别的关键词确定方法、装置和存储介质
CN114239805A (zh) 跨模态检索神经网络及训练方法、装置、电子设备、介质
KR20150043958A (ko) 객체 인식장치 및 그 방법
CN112417210A (zh) 健身视频的查询方法、装置、终端和存储介质
KR101628602B1 (ko) 프로그램의 유사도를 판단하기 위한 유사도 판단 방법 및 유사도 판단 장치
CN114972910B (zh) 图文识别模型的训练方法、装置、电子设备及存储介质
CN111198960A (zh) 用户画像数据的确定方法、装置、电子设备及存储介质
JP6640519B2 (ja) 情報分析装置及び情報分析方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application