KR102213867B1 - 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체 - Google Patents

서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
KR102213867B1
KR102213867B1 KR1020140028918A KR20140028918A KR102213867B1 KR 102213867 B1 KR102213867 B1 KR 102213867B1 KR 1020140028918 A KR1020140028918 A KR 1020140028918A KR 20140028918 A KR20140028918 A KR 20140028918A KR 102213867 B1 KR102213867 B1 KR 102213867B1
Authority
KR
South Korea
Prior art keywords
image
training set
negative training
score
reference image
Prior art date
Application number
KR1020140028918A
Other languages
English (en)
Other versions
KR20150106629A (ko
Inventor
전혁준
신형철
장언동
전병기
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020140028918A priority Critical patent/KR102213867B1/ko
Publication of KR20150106629A publication Critical patent/KR20150106629A/ko
Application granted granted Critical
Publication of KR102213867B1 publication Critical patent/KR102213867B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 단일 영상 기반의 분류 시스템, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체를 개시한다. 즉, 본 발명은 객체가 포함된 1장의 이미지만을 통해 해당 이미지에 포함된 객체에 대한 특징을 추출하는 표본-서포트 벡터 머신 기법을 활용하여 해당 이미지를 기준으로 하는 필터를 생성하고, 생성된 필터를 통해 다른 이미지에 포함된 객체의 존재 여부를 스코어 방식으로 제공함으로써 객체가 존재하는 특징에 대한 구분 성능을 향상시키고, 학습 부하 경감 및 분류 성능을 개선할 수 있다.

Description

서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체{Service providing device and user equipment, classification system based on single image comprising the same, control method thereof and computer readable medium having computer program recorded therefor}
본 발명은 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 특히 객체가 포함된 1장의 이미지만을 통해 해당 이미지에 포함된 객체에 대한 특징을 추출하는 표본-서포트 벡터 머신(exemplar-support vector machine: exemplar-SVM) 기법을 활용하여 해당 이미지를 기준으로 하는 필터를 생성하고, 생성된 필터를 통해 다른 이미지에 포함된 객체의 존재 여부를 스코어 방식으로 제공하는 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.
영상 분류 장치는 객체에 대해 학습된 복수 종류의 필터를 근거로 영상(또는 화상)에 포함된 객체를 분류하는 장치이다.
이러한 영상 분류기는 객체가 존재하는 포지티브 이미지를 수 만장 트레이닝하여 객체가 존재하는 특징을 학습하고, 학습된 특징을 근거로 특정 이미지에 대한 객체 존재 여부를 판단하나, 최종 사용자(end user)가 트레이닝 세트를 구성하기 어려워 새로운 분류 기준의 적용이 용이하지 않다.
한국등록특허 제10-1247220호 [명칭: 반복 패턴을 이용한 영상 처리 방법 및 장치]
본 발명의 목적은 객체가 포함된 1장의 이미지만을 통해 해당 이미지에 포함된 객체에 대한 특징을 추출하는 표본-서포트 벡터 머신 기법을 활용하여 해당 이미지를 기준으로 하는 필터를 생성하는 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 다른 목적은 객체가 포함된 1장의 이미지만을 통해 생성된 필터를 통해 다른 이미지에 포함된 객체의 존재 여부를 스코어 방식으로 제공하는 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 실시예에 따른 서비스 제공 장치는 사용자 장치로부터 전송되는 특정 객체를 포함하는 기준 이미지를 수신하는 통신부; 기준 이미지에서 특징 정보를 추출하는 특징 추출부; 추출된 특징 정보와 미리 저장된 복수의 이미지를 근거로 네거티브 트레이닝 세트를 구성하는 네거티브 트레이닝 세트 생성부; 및 구성된 네거티브 트레이닝 세트와 기준 이미지를 학습하여 기준 이미지에 대응되는 유사도를 스코어로 제공하는 필터를 생성하는 학습부를 포함할 수 있다.
본 발명과 관련된 일 예로서 네거티브 트레이닝 세트 생성부는 기준 이미지에 포함된 객체가 존재하지 않는 이미지로 네거티브 트레이닝 세트를 구성하기 위해서 미리 저장된 복수의 이미지 중에서 추출된 객체에 대한 특징 정보를 포함하지 않는 하나 이상의 이미지로 네거티브 트레이닝 세트를 구성할 수 있다.
본 발명과 관련된 일 예로서 네거티브 트레이닝 세트를 구성할 때, 네거티브 트레이닝 세트 생성부는 미리 저장된 복수의 이미지 중에서 기준 이미지 내에 포함된 객체를 포함하는 이미지를 검색하고, 객체가 검색되는 이미지는 네거티브 트레이닝 세트 구성에서 제외할 수 있다.
본 발명과 관련된 일 예로서 네거티브 트레이닝 세트를 구성할 때, 네거티브 트레이닝 세트 생성부는 미리 저장된 복수의 이미지에 각각 연동되는 메타데이터를 근거로 기준 이미지 내의 객체에 대응하는 메타데이터를 포함하는 이미지는 네거티브 트레이닝 세트 구성에서 제외할 수 있다.
본 발명과 관련된 일 예로서 네거티브 트레이닝 세트 구성에 사용되는 이미지 중에서 기준 이미지와 네거티브 트레이닝 세트 구성에 사용되는 이미지 간의 관련도가 미리 설정된 기준 범위를 벗어날 때, 네거티브 트레이닝 세트 생성부는 관련도에 대응하는 이미지는 네거티브 트레이닝 세트 구성에서 제외할 수 있다.
본 발명과 관련된 일 예로서 필터는 입력 이미지와 특정 객체를 포함하는 기준 이미지 간의 유사도를 스코어로 제공할 수 있다.
본 발명과 관련된 일 예로서 통신부는 수신된 기준 이미지에 응답하여 학습부를 통해 생성된 필터를 사용자 장치에 전송할 수 있다.
본 발명의 실시예에 따른 사용자 장치는 서비스 제공 장치에 기준 이미지를 전송하고, 전송된 기준 이미지에 응답하여 서비스 제공 장치로부터 전송되는 네거티브 트레이닝 세트와 기준 이미지를 학습하여 기준 이미지에 대응되는 유사도를 스코어로 제공하는 필터를 수신하는 통신부; 수신된 필터를 관리하는 분류 기준 관리부; 필터를 근거로 이미지에 대해서 객체 판별 결과를 스코어로 출력하는 분류부; 및 분류부로부터 출력되는 스코어를 근거로 이미지 내에서의 객체의 존재 여부를 판단하는 판단부를 포함할 수 있다.
본 발명과 관련된 일 예로서 분류부는 이미지 내의 객체 존재 여부를 판별하고자 하는 이미지를 필터에 통과시켜 이미지에 대한 객체 판별 결과를 스코어로 출력할 수 있다.
본 발명과 관련된 일 예로서 판단부는 분류부로부터 출력되는 스코어를 미리 설정된 기준값과 비교하여 이미지 내의 객체의 존재 여부를 판단할 수 있다.
본 발명과 관련된 일 예로서 판단부는, 분류부로부터 출력되는 스코어가 기준값보다 클 때, 이미지 내에 객체가 존재하는 것으로 판단할 수 있다.
본 발명의 실시예에 따른 서비스 제공 장치의 제어 방법은 통신부를 통해 사용자 장치로부터 전송되는 특정 객체를 포함하는 기준 이미지를 수신하는 단계; 특징 추출부를 통해 기준 이미지에서 특징 정보를 추출하는 단계; 네거티브 트레이닝 세트 생성부를 통해 추출된 특징 정보와 미리 저장된 복수의 이미지를 근거로 네거티브 트레이닝 세트를 구성하는 단계; 학습부를 통해 구성된 네거티브 트레이닝 세트와 기준 이미지를 학습하여 기준 이미지에 대응되는 유사도를 스코어로 제공하는 필터를 생성하는 단계; 및 통신부를 통해 생성된 필터를 사용자 장치에 전송하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 네거티브 트레이닝 세트를 구성하는 단계는, 미리 저장된 복수의 이미지 중에서 추출된 객체에 대한 특징 정보를 포함하지 않는 하나 이상의 이미지를 확인하는 과정; 및 확인된 하나 이상의 이미지를 근거로 네거티브 트레이닝 세트를 구성하는 과정;을 포함할 수 있다.
본 발명의 실시예에 따른 사용자 장치의 제어 방법은 분류부를 통해 서비스 제공 장치로부터 제공되는 네거티브 트레이닝 세트와 기준 이미지를 학습하여 기준 이미지에 대응되는 유사도를 스코어로 제공하는 필터를 근거로 이미지에 대해서 객체 판별 결과를 스코어로 출력하는 단계; 및 판단부를 통해 분류부로부터 출력되는 스코어를 근거로 이미지 내에서의 객체의 존재 여부를 판단하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.
본 발명의 실시예에 따른 단일 영상 기반의 분류 시스템은 기준 이미지에서 추출된 특징 정보와 미리 저장된 복수의 이미지를 근거로 네거티브 트레이닝 세트를 구성하고, 구성된 네거티브 트레이닝 세트와 기준 이미지를 학습하여 기준 이미지에 대응되는 유사도를 스코어로 제공하는 필터를 생성하고, 생성된 필터를 제공하는 서비스 제공 장치; 및 서비스 제공 장치로부터 제공되는 필터를 근거로 입력 이미지에 대해서 객체 판별 결과를 스코어로 출력하고, 출력된 스코어를 근거로 입력 이미지 내에서의 객체의 존재 여부를 판단하는 사용자 장치를 포함할 수 있다.
본 발명은 객체가 포함된 1장의 이미지만을 통해 해당 이미지에 포함된 객체에 대한 특징을 추출하는 표본-서포트 벡터 머신 기법을 활용하여 해당 이미지를 기준으로 하는 필터를 생성함으로써, 객체가 존재하는 특징에 대한 구분 성능을 향상시키는 효과가 있다.
또한, 본 발명은 객체가 포함된 1장의 이미지만을 통해 생성된 필터를 통해 다른 이미지에 포함된 객체의 존재 여부를 스코어 방식으로 제공함으로써, 학습 부하 경감 및 분류 성능을 개선하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 단일 영상 기반의 분류 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 제 1 실시예에 따른 단일 영상 기반의 분류 시스템의 제어 방법을 나타낸 흐름도이다.
도 3은 본 발명의 제 2 실시예에 따른 단일 영상 기반의 분류 시스템의 제어 방법을 나타낸 흐름도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 단일 영상 기반의 분류 시스템(10)의 구성을 나타낸 블록도이다.
도 1에 도시된 바와 같이, 단일 영상 기반의 분류 시스템(10)은 서비스 제공 장치(100) 및 사용자 장치(200)로 구성된다. 도 1에 도시된 단일 영상 기반의 분류 시스템(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 단일 영상 기반의 분류 시스템(10)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 단일 영상 기반의 분류 시스템(10)이 구현될 수도 있다.
서비스 제공 장치(100)는 사용자 장치(200)로부터 전송되는 특정 객체를 포함하는 기준 이미지를 근거로 해당 기준 이미지 내에서 객체에 대한 특징 정보를 추출한다. 이후, 서비스 제공 장치(100)는 추출된 특징 정보와 미리 저장된 복수의 이미지를 근거로 네거티브 트레이닝 세트를 구성한다. 이후, 서비스 제공 장치(100)는 구성된 네거티브 트레이닝 세트와 기준 이미지를 학습하여 기준 이미지에 대응되는 정도(또는 유사도)를 스코어로 제공하는 필터(또는 클래스)를 생성하고, 생성된 필터를 사용자 장치(200)에 제공한다. 이후, 사용자 장치(200)는 해당 필터를 통해 입력 이미지에 대한 객체 판별 결과를 스코어로 출력하고, 출력된 스코어를 근거로 해당 입력 이미지 내에서의 객체의 존재 여부를 판단한다.
도 1에 도시된 바와 같이, 서비스 제공 장치(100)는 통신부(110), 특징 추출부(120), 네거티브 트레이닝 세트 생성부(130) 및 학습부(140)로 구성된다. 도 1에 도시된 서비스 제공 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 서비스 제공 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 서비스 제공 장치(100)가 구현될 수도 있다.
통신부(110)는 유/무선 통신망을 통해 내부의 구성 요소 또는 외부의 적어도 하나의 단말과 통신한다. 이때, 외부의 단말은 사용자 장치(200) 등을 포함할 수 있다.
또한, 통신부(110)는 사용자 장치(200)로부터 전송되는 기준 이미지(또는 기준 영상)를 수신한다. 여기서, 해당 기준 이미지는 특정 객체를 포함한다.
또한, 통신부(110)는 수신된 기준 이미지에 응답하여 학습부(140)를 통해 생성된 필터를 사용자 장치(200)에 전송한다.
특징 추출부(120)는 기준 이미지에서 특징 정보를 추출한다. 여기서, 기준 이미지는 동영상 또는 정지영상일 수 있으며, 동영상인 경우 특징 추출부(120)는 동영상 중 특정 부분(또는 특정 이미지/정지영상)을 사용할 수 있다.
즉, 특징 추출부(120)는 기준 이미지 내에서 객체 후보(또는 객체 후보 영역)를 추출(또는 확인)한다. 이후, 특징 추출부(120)는 추출된 객체 후보 내에서 해당 기준 이미지 내에 포함된 객체에 대한 특징 정보를 추출한다.
또한, 특징 추출부(120)는 추출된 특징 정보를 네거티브 트레이닝 세트 생성부(130) 및 학습부(140)에 제공한다.
네거티브 트레이닝 세트 생성부(negative training set generator)(130)는 특징 추출부(120)로부터 추출된 특징 정보와 미리 저장된 복수의 이미지를 근거로 네거티브 트레이닝 세트를 구성(또는 생성)한다.
즉, 해당 기준 이미지에 포함된 객체가 존재하지 않는 이미지로 네거티브 트레이닝 세트를 구성하기 위해서, 네거티브 트레이닝 세트 생성부(130)는 미리 저장된 복수의 이미지 중에서 특징 추출부(120)로부터 추출된 객체에 대한 특징 정보를 포함하지 않는(또는 특징 정보에 대응하지 않는) 하나 이상의 이미지로 네거티브 트레이닝 세트를 구성한다.
예를 들어, 기준 이미지 내에 사람 객체가 포함된 경우, 네거티브 트레이닝 세트 생성부(130)는 미리 저장된 복수의 이미지 중에서 사람 객체가 포함되지 않은 하나 이상의 이미지로 네거티브 트레이닝 세트를 구성한다.
또한, 해당 기준 이미지 내의 객체가 포함되지 않은 이미지로 네거티브 트레이닝 세트를 구성하기 위해서, 네거티브 트레이닝 세트 생성부(130)는 아래 설명되는 방식들 중 어느 하나의 방식을 사용하여 네거티브 트레이닝 세트를 구성할 수도 있다.
첫 번째로, 네거티브 트레이닝 세트를 구성할 때, 네거티브 트레이닝 세트 생성부(130)는 미리 저장된 복수의 이미지 중에서 해당 기준 이미지 내에 포함된 동일 객체를 포함하는 이미지를 검색한다. 이후, 네거티브 트레이닝 세트 생성부(130)는 해당 객체를 포함하는 이미지에 대해서는 네거티브 트레이닝 세트 구성에서 제외한다(또는 해당 네거티브 트레이닝 세트에 포함하지 않는다).
두 번째로, 네거티브 트레이닝 세트를 구성할 때, 네거티브 트레이닝 세트 생성부(130)는 미리 저장된 복수의 이미지에 각각 연동되는 메타데이터(예를 들어 객체 설명 포함)를 근거로 해당 기준 이미지의 객체에 대응하는 메타데이터를 포함하는 이미지를 확인(또는 검색)한다. 이후, 네거티브 트레이닝 세트 생성부(130)는 해당 객체에 대응하는 메타데이터를 포함하는 이미지에 대해서는 네거티브 트레이닝 세트 구성에서 제외한다.
세 번째로, 네거티브 트레이닝 세트를 구성할 때, 네거티브 트레이닝 세트 생성부(130)는 구성된 네거티브 트레이닝 세트에 포함된 하나 이상의 이미지 중에서, 해당 기준 이미지와 네거티브 트레이닝 세트에 포함된 하나 이상의 이미지 간의 관련도(또는 유사도)를 각각 확인한다. 이후, 확인 결과, 기준 이미지와 하나 이상의 이미지 간의 관련도가 미리 설정된 기준 범위를 벗어나는 경우(또는 미리 설정된 최대값을 초과하거나, 미리 설정된 최소값보다 작은 경우), 네거티브 트레이닝 세트 생성부(130)는 해당 기준 범위를 벗어나는 관련도를 갖는 해당 이미지에 대해서는 네거티브 트레이닝 세트 구성에서 제외한다. 또한, 확인 결과, 기준 이미지와 하나 이상의 이미지 간의 관련도가 미리 설정된 기준 범위 내에 존재하는 경우, 네거티브 트레이닝 세트 생성부(130)는 해당 기준 범위 내에 존재하는 이미지를 네거티브 트레이닝 세트 구성에 포함시킨다.
또한, 네거티브 트레이닝 세트 생성부(130)는 구성된(또는 생성된) 네거티브 트레이닝 세트를 학습부(140)에 제공한다.
학습부(140)는 네거티브 트레이닝 세트 생성부(130)로부터 구성된 네거티브 트레이닝 세트와 기준 이미지를 학습하여 기준 이미지에 대응되는 정도(또는 유사도)를 스코어로 제공하는 필터를 생성한다. 여기서, 생성되는 필터는 특징 이미지가 특정 객체를 포함하는 기준 이미지에 대응되는 정도(또는 유사도)를 스코어로 제공한다. 즉, 해당 필터는 특정 이미지(또는 입력 이미지)와 기준 이미지(예를 들어 특정 객체 포함) 간의 유사도를 스코어로 제공한다.
또한, 학습부(140)는 통신부(110)를 통해 해당 기준 이미지를 전송한 사용자 장치(200)에 생성된 필터를 전송한다.
또한, 유사한 특징을 갖는 복수의 이미지를 이용할 경우, 학습부(140)는 복수의 필터를 생성할 수도 있다. 해당 복수의 필터의 조합을 통해, 분류부(미도시)에서 특정 이미지(또는 특정 영상)에 대한 분류 성능을 향상시킬 수 있다.
도 1에 도시된 바와 같이, 사용자 장치(200)는 제 1 통신부(210), 기준 이미지 제공부(220), 분류 기준 관리부(230), 분류부(240) 및 판단부(250)로 구성된다. 도 1에 도시된 사용자 장치(200)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 사용자 장치(200)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 사용자 장치(200)가 구현될 수도 있다.
제 1 통신부(210)는 유/무선 통신망을 통해 내부의 구성 요소 또는 외부의 적어도 하나의 단말과 통신한다. 이때, 외부의 단말은 서비스 제공 장치(100) 등을 포함할 수 있다.
또한, 제 1 통신부(210)는 네거티브 트레이닝 세트를 생성하기 위해 사용되는 기준 이미지 제공부(220)에 저장된 기준 이미지(또는 기준 영상)를 서비스 제공 장치(100)에 전송한다. 여기서, 해당 기준 이미지는 특정 객체를 포함한다.
또한, 제 1 통신부(210)는 전송된 기준 이미지에 응답하여 서비스 제공 장치(100)로부터 전송되는 필터를 수신한다. 여기서, 필터는 네거티브 트레이닝 세트와 기준 이미지를 학습하여 특정 객체를 포함하는 기준 이미지에 대응되는 정도(또는 유사도)를 스코어로 제공하는 필터일 수 있다. 이때, 네거티브 트레이닝 세트는 해당 기준 이미지에 포함된 객체에 대한 특징 정보를 포함하지 않는(또는 특징 정보에 대응하지 않는) 하나 이상의 이미지로 구성된다.
기준 이미지 제공부(220)는 복수의(또는 하나 이상의) 이미지(또는 영상/기준 이미지/기준 영상)를 저장(또는 관리)한다.
또한, 기준 이미지 제공부(220)는 네거티브 트레이닝 세트를 생성하기 위해 사용되는 기준 이미지(또는 기준 영상)를 제 1 통신부(210)를 통해 서비스 제공 장치(100)에 제공한다. 이때, 기준 이미지 제공은 사용자 장치(200)의 운영자의 제어에 의해서 수행되거나, 또는 서비스 제공 장치(100)의 기준 이미지 제공 요청에 응답하여 수행될 수도 있다.
분류 기준 관리부(230)는 수신된 필터를 저장(또는 관리)한다.
또한, 분류 기준 관리부(230)는 다양한 디스크립터 등에 의해 추출된 특징 정보 등을 근거로 특정 객체에 대해서 학습된(또는 설정된) 학습 결과인 분류 기준을 저장한다. 이때, 설정되는 분류 기준(또는 기존 분류 기준/클래스 분류 기준)은 색상, 크기, 외형, 객체, 다양한 디스크립터에 의해 추출된 특징 정보 등을 근거로 특정 객체에 대해서 설정된 상태일 수 있다.
분류부(240)는 분류 기준 관리부(230)에 저장된 필터를 근거로 이미지(또는 영상/입력 이미지/입력 영상)에 대해서 객체 판별 결과(또는 객체의 존재 여부 판단 결과)를 스코어로 출력한다. 여기서, 이미지는 분류부(240)에 정규화된 이미지일 수 있다.
즉, 분류부(240)는 이미지 내의 객체 존재 여부를 판별하고자 하는 해당 이미지를 분류 기준 관리부(230)에 미리 저장된(또는 등록된) 필터에 통과시켜 해당 이미지에 대한 객체 판별 결과를 스코어로 출력한다.
또한, 분류부(240)는 해당 이미지에 대한 스코어 형태의 객체 판별 결과를 판단부(250)에 제공한다.
판단부(250)는 분류부(240)로부터 제공되는 스코어를 근거로 해당 이미지 내에서의 객체의 존재 여부를 판단한다. 즉, 판단부(250)는 분류부(240)로부터 출력되는 스코어가 미리 설정된 기준값보다 큰지 여부를 비교하고, 비교 결과를 근거로 해당 이미지 내에서의 객체의 존재 여부를 판단한다.
판단 결과, 분류부(240)로부터 출력되는 스코어가 미리 설정된 기준값보다 큰 경우, 판단부(250)는 분류부(240)에서의 객체 판별 결과 해당 이미지 내에 객체가 존재하는 것으로 판단하고, 해당 객체를 포함하는 이미지에 대한 객체 판별에 대한 상태를 미리 설정된 T값으로 설정한다.
또한, 판단 결과, 분류부(240)로부터 출력되는 스코어가 미리 설정된 기준값보다 작거나 같은 경우, 판단부(250)는 분류부(240)에서의 객체 판별 결과 해당 이미지 내에 객체가 존재하지 않는 것으로 판단하고, 해당 객체를 포함하는 이미지에 대한 객체 판별에 대한 상태를 미리 설정된 F값으로 설정한다.
또한, 판단부(250)는 해당 이미지 내에서 객체가 존재하는 곳(또는 영역)에 대한 위치 정보를 저장하거나 출력한다.
본 발명의 실시예에서는 분류 기준 관리부(230)와 분류부(240)와 판단부(250)가 사용자 장치(200)에 구성되며, 해당 구성 요소들(230, 240, 250)을 통해 입력 이미지를 필터에 통과시켜 해당 입력 이미지 내의 객체 존재 여부를 판단하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 해당 분류 기준 관리부와 분류부와 판단부는 서비스 제공 장치(100) 내에 구성되며, 서비스 제공 장치(100) 내에 구성된 분류 기준 관리부와 분류부와 판단부를 통해 입력 이미지를 해당 필터에 통과시켜 입력 이미지 내의 객체 존재 여부를 판단할 수도 있다.
이와 같이, 객체가 포함된 1장의 이미지만을 통해 해당 이미지에 포함된 객체에 대한 특징을 추출하는 표본-서포트 벡터 머신 기법을 활용하여 해당 이미지를 기준으로 하는 필터를 생성할 수 있다.
또한, 이와 같이, 객체가 포함된 1장의 이미지만을 통해 생성된 필터를 통해 다른 이미지에 포함된 객체의 존재 여부를 스코어 방식으로 제공할 수 있다.
이하에서는, 본 발명에 따른 단일 영상 기반의 분류 시스템의 제어 방법을 도 1 내지 도 3을 참조하여 상세히 설명한다.
도 2는 본 발명의 제 1 실시예에 따른 단일 영상 기반의 분류 시스템의 제어 방법을 나타낸 흐름도이다.
먼저, 통신부(110)는 사용자 장치(200)로부터 전송되는 기준 이미지(또는 기준 영상)를 수신한다. 여기서, 해당 기준 이미지는 특정 객체를 포함한다.
또한, 특징 추출부(120)는 기준 이미지에서 특징 정보를 추출한다. 여기서, 기준 이미지는 동영상 또는 정지영상일 수 있으며, 동영상인 경우 특징 추출부(120)는 동영상 중 특정 부분(또는 특정 이미지/정지영상)을 사용할 수 있다.
즉, 특징 추출부(120)는 기준 이미지 내에서 객체 후보(또는 객체 후보 영역)를 추출(또는 확인)한다. 이후, 특징 추출부(120)는 추출된 객체 후보 내에서 해당 기준 이미지 내에 포함된 객체에 대한 특징 정보를 추출한다.
일 예로, 특징 추출부(120)는 통신부(110)를 통해 수신된 기준 이미지 내에서 특징 정보를 추출한다(S210).
이후, 네거티브 트레이닝 세트 생성부(130)는 특징 추출부(120)로부터 추출된 특징 정보와 미리 저장된 복수의 이미지를 근거로 네거티브 트레이닝 세트를 구성(또는 생성)한다.
즉, 네거티브 트레이닝 세트 생성부(130)는 해당 기준 이미지에 포함된 객체가 존재하지 않는 이미지로 네거티브 트레이닝 세트를 구성하기 위해서, 미리 저장된 복수의 이미지 중에서 특징 추출부(120)로부터 추출된 객체에 대한 특징 정보를 포함하지 않는(또는 특징 정보에 대응하지 않는) 하나 이상의 이미지로 네거티브 트레이닝 세트를 구성한다.
일 예로, 네거티브 트레이닝 세트 생성부(130)는 미리 저장된 복수의 이미지 중에서 특징 추출부(120)로부터 추출된 ○○ 객체의 특징 정보를 포함하지 않는 □만 개의 이미지로 네거티브 트레이닝 세트를 구성한다.
네거티브 트레이닝 세트를 구성할 때, 네거티브 트레이닝 세트 생성부(130)는 미리 저장된 복수의 이미지 중에서 해당 기준 이미지 내에 포함된 동일 객체를 포함하는 이미지를 검색하고, 해당 객체가 검색되는 이미지는 네거티브 트레이닝 세트 구성에서 제외한다.
또한, 네거티브 트레이닝 세트를 구성할 때, 네거티브 트레이닝 세트 생성부(130)는 미리 저장된 복수의 이미지에 각각 연동되는 메타데이터(예를 들어 객체 설명 포함)를 근거로 해당 기준 이미지 내의 객체에 대응하는 메타데이터를 포함하는 이미지는 네거티브 트레이닝 세트 구성에서 제외한다.
또한, 네거티브 트레이닝 세트를 구성할 때, 네거티브 트레이닝 세트 생성부(130)는 네거티브 트레이닝 세트 구성에 사용되는 이미지 중에서, 해당 기준 이미지와 네거티브 트레이닝 세트 구성에 사용되는 이미지 간의 관련도가 미리 설정된 기준 범위를 벗어나는 경우, 해당 이미지는 네거티브 트레이닝 세트 구성에서 제외한다(S220).
이후, 학습부(140)는 구성된 네거티브 트레이닝 세트와 기준 이미지를 학습하여 기준 이미지에 대응되는 정도(또는 유사도)를 스코어로 제공하는 필터를 생성한다. 여기서, 생성되는 필터는 특징 이미지가 특정 객체를 포함하는 기준 이미지에 대응되는 정도(또는 유사도)를 스코어로 제공한다.
일 예로, 학습부(140)는 네거티브 트레이닝 세트 생성부(130)로부터 구성된 ○○ 객체의 특징 정보를 포함하지 않는 □만 개의 이미지를 포함하는 네거티브 트레이닝 세트 및 ○○ 객체의 특징 정보를 포함하는 기준 이미지를 근거로 학습을 수행하고, 해당 학습 수행 결과인 ○○ 객체를 포함하는 기준 이미지에 대한 유사도를 스코어로 제공하는 필터를 생성한다(S230).
이후, 통신부(110)는 학습부(140)를 통해 생성된 필터를 사용자 장치(200)에 전송한다.
일 예로, 통신부(110)는 학습부(140)를 통해 생성된 ○○ 객체를 포함하는 기준 이미지에 대한 유사도를 스코어로 제공하는 필터를 기준 이미지를 전송한 사용자 장치(200)에 전송한다(S240).
도 3은 본 발명의 제 2 실시예에 따른 단일 영상 기반의 분류 시스템의 제어 방법을 나타낸 흐름도이다.
먼저, 제 1 통신부(210)는 서비스 제공 장치(100)로부터 전송되는 필터를 수신한다. 여기서, 필터는 네거티브 트레이닝 세트와 기준 이미지를 학습하여 특정 객체를 포함하는 기준 이미지에 대응되는 정도(또는 유사도)를 스코어로 제공하는 필터일 수 있다. 이때, 네거티브 트레이닝 세트는 해당 기준 이미지에 포함된 객체에 대한 특징 정보를 포함하지 않는(또는 특징 정보에 대응하지 않는) 하나 이상의 이미지로 구성된다.
또한, 분류 기준 관리부(230)는 수신된 필터를 저장(또는 관리)한다.
일 예로, 제 1 통신부(210)는 서비스 제공 장치(100)로부터 전송되는 ○○ 객체를 포함하는 기준 이미지에 대한 유사도를 스코어로 제공하는 필터를 수신한다. 여기서, 해당 필터는 서비스 제공 장치(100)에서 구성된 ○○ 객체의 특징 정보를 포함하지 않는 □만 개의 이미지를 포함하는 네거티브 트레이닝 세트 및 ○○ 객체의 특징 정보를 포함하는 기준 이미지를 근거로 학습을 수행하여 생성된 필터이다.
또한, 분류 기준 관리부(230)는 ○○ 객체를 포함하는 기준 이미지에 대한 유사도를 스코어로 제공하는 필터를 저장한다(S310).
이후, 분류부(240)는 분류 기준 관리부(230)에 저장된 필터를 근거로 이미지(또는 영상/입력 이미지/입력 영상)에 대해서 객체 판별 결과(또는 객체의 존재 여부 판단 결과)를 스코어로 출력한다.
일 예로, 분류부(240)는 ○○ 객체를 포함하는 기준 이미지에 대한 유사도를 스코어로 제공하는 필터를 근거로 입력 이미지에 대한 객체 판별 결과를 스코어로 출력한다(S320).
이후, 판단부(250)는 분류부(240)로부터 출력되는 스코어를 근거로 해당 이미지 내에서의 객체의 존재 여부를 판단한다. 즉, 판단부(250)는 분류부(240)로부터 출력되는 스코어가 미리 설정된 기준값보다 큰지 여부를 비교하고, 비교 결과를 근거로 해당 이미지 내에서의 객체의 존재 여부를 판단한다.
일 예로, 판단부(250)는 분류부(240)로부터 출력되는 스코어를 근거로 입력 이미지 내에서의 객체의 존재 여부를 판단한다. 즉, 분류부(240)로부터 출력되는 스코어가 미리 설정된 기준값보다 클 때, 판단부(250)는 해당 입력 이미지 내에 객체가 존재하는 것으로 판단(또는 상태를 "T"로 설정)한다. 또한, 분류부(240)로부터 출력되는 스코어가 미리 설정된 기준값보다 작거나 같을 때, 판단부(250)는 해당 입력 이미지 내에 객체가 존재하지 않는 것으로 판단(또는 상태를 "F"로 설정)한다(S330).
본 발명의 실시예에 따른 단일 영상 기반의 분류 시스템 및 그의 제어 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 분류 시스템, 서비스 제공 장치, 사용자 장치 등에 의하여 읽혀지고 실행됨으로써 단일 영상 기반의 분류 시스템 및 그의 제어 방법을 구현할 수 있다.
정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 단일 영상 기반의 분류 시스템 및 그의 제어 방법을 구현하는 컴퓨터 프로그램은 분류 시스템, 서비스 제공 장치, 사용자 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 단일 영상 기반의 분류 시스템 및 그의 제어 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 분류 시스템, 서비스 제공 장치, 사용자 장치 등에 장착될 수도 있다.
본 발명의 실시예는 앞서 설명된 바와 같이, 객체가 포함된 1장의 이미지만을 통해 해당 이미지에 포함된 객체에 대한 특징을 추출하는 표본-서포트 벡터 머신 기법을 활용하여 해당 이미지를 기준으로 하는 필터를 생성하여, 객체가 존재하는 특징에 대한 구분 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 객체가 포함된 1장의 이미지만을 통해 생성된 필터를 통해 다른 이미지에 포함된 객체의 존재 여부를 스코어 방식으로 제공하여, 학습 부하 경감 및 분류 성능을 개선할 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 객체가 포함된 1장의 이미지만을 통해 해당 이미지에 포함된 객체에 대한 특징을 추출하는 표본-서포트 벡터 머신 기법을 활용하여 해당 이미지를 기준으로 하는 필터를 생성하고, 생성된 필터를 통해 다른 이미지에 포함된 객체의 존재 여부를 스코어 방식으로 제공함으로써 객체가 존재하는 특징에 대한 구분 성능을 향상시키고, 학습 부하 경감 및 분류 성능을 개선하는 것으로, 영상 처리 분야, 객체 인식 분야 등에서 광범위하게 이용될 수 있다.
10: 분류 시스템 100: 서비스 제공 장치
200: 사용자 장치 110: 통신부
120: 특징 추출부 130: 네거티브 트레이닝 세트 생성부
140: 학습부 210: 제 1 통신부
220: 기준 이미지 제공부 230: 분류 기준 관리부
240: 분류부 250: 판단부

Claims (16)

  1. 사용자 장치로부터 전송되는 특정 객체를 포함하는 기준 이미지를 수신하는 통신부;
    상기 기준 이미지에서 상기 특정 객체에 대한 특징 정보를 추출하는 특징 추출부;
    상기 추출된 특징 정보와 미리 저장된 복수의 이미지를 근거로 네거티브 트레이닝 세트를 구성하는 네거티브 트레이닝 세트 생성부;
    상기 구성된 네거티브 트레이닝 세트와 상기 기준 이미지를 학습하여 상기 기준 이미지에 대응되는 유사도를 스코어로 제공하는 필터를 생성하는 학습부;
    상기 특정 객체의 존재 여부를 판별하고자 하는 특정 이미지를 상기 필터에 통과시켜 상기 특정 이미지에 대한 객체 판별 결과를 스코어로 출력하는 분류부; 및
    상기 분류부로부터 출력되는 스코어를 미리 설정된 기준값과 비교하여 상기 스코어가 상기 기준값보다 클 때, 상기 특정 이미지 내에 상기 특정 객체가 존재하는 것으로 판단하며, 상기 특정 이미지 내에서 상기 특정 객체가 존재하는 영역에 대한 위치 정보를 출력하는 판단부
    를 포함하고,
    상기 네거티브 트레이닝 세트를 구성할 때, 상기 네거티브 트레이닝 세트 생성부는 상기 미리 저장된 복수의 이미지에 각각 연동되는 메타데이터를 근거로 기준 이미지 내의 상기 특정 객체에 대응하는 메타데이터를 포함하는 이미지는 네거티브 트레이닝 세트 구성에서 제외시키는 것을 특징으로 하는 서비스 제공 장치.
  2. 제1항에 있어서,
    상기 네거티브 트레이닝 세트 생성부는 상기 기준 이미지에 포함된 객체가 존재하지 않는 이미지로 상기 네거티브 트레이닝 세트를 구성하기 위해서 상기 미리 저장된 복수의 이미지 중에서 상기 추출된 객체에 대한 특징 정보를 포함하지 않는 하나 이상의 이미지로 상기 네거티브 트레이닝 세트를 구성하는 것을 특징으로 하는 서비스 제공 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 서비스 제공 장치에 기준 이미지를 전송하고, 상기 전송된 기준 이미지에 응답하여 상기 서비스 제공 장치로부터 전송되는 네거티브 트레이닝 세트와 상기 기준 이미지를 학습하여 상기 기준 이미지에 대응되는 유사도를 스코어로 제공하는 필터를 수신하는 통신부;
    상기 수신된 필터를 관리하는 분류 기준 관리부;
    상기 필터를 근거로 특정 이미지에 대해서 객체 판별 결과를 스코어로 출력하는 분류부; 및
    상기 분류부로부터 출력되는 스코어를 근거로 상기 특정 이미지 내에서의 특정 객체의 존재 여부를 판단하는 판단부
    를 포함하며,
    상기 필터는 미리 저장된 복수의 이미지에 각각 연동되는 메타데이터를 근거로 상기 기준 이미지 내의 특정 객체에 대응하는 메타데이터를 포함하는 이미지가 제외된 상기 네거티브 트레이닝 세트로 학습되며,
    상기 판단부는 상기 분류부로부터 출력되는 스코어를 미리 설정된 기준값과 비교하여 상기 스코어가 상기 기준값보다 클 때, 상기 특정 이미지 내에 상기 특정 객체가 존재하는 것으로 판단하고, 상기 특정 이미지 내에서 상기 특정 객체가 존재하는 영역에 대한 위치 정보를 출력하는 것을 특징으로 하는 사용자 장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 통신부를 통해 사용자 장치로부터 전송되는 특정 객체를 포함하는 기준 이미지를 수신하는 단계;
    특징 추출부를 통해 상기 기준 이미지에서 상기 특정 객체에 대한 특징 정보를 추출하는 단계;
    네거티브 트레이닝 세트 생성부를 통해 상기 추출된 특징 정보와 미리 저장된 복수의 이미지를 근거로 네거티브 트레이닝 세트를 구성하는 단계;
    학습부를 통해 상기 구성된 네거티브 트레이닝 세트와 상기 기준 이미지를 학습하여 상기 기준 이미지에 대응되는 유사도를 스코어로 제공하는 필터를 생성하는 단계;
    분류부를 통해 상기 특정 객체의 존재 여부를 판별하고자 하는 특정 이미지를 상기 필터에 통과시켜 상기 특정 이미지에 대한 객체 판별 결과를 스코어로 출력하는 단계; 및
    판단부를 통해 상기 분류부로부터 출력되는 스코어를 미리 설정된 기준값과 비교하여 상기 스코어가 상기 기준값보다 클 때, 상기 특정 이미지 내에 상기 특정 객체가 존재하는 것으로 판단하며, 상기 특정 이미지 내에서 상기 특정 객체가 존재하는 영역에 대한 위치 정보를 출력하는 단계
    를 포함하며,
    상기 네거티브 트레이닝 세트를 구성하는 단계는, 상기 네거티브 트레이닝 세트 생성부를 통해 상기 미리 저장된 복수의 이미지에 각각 연동되는 메타데이터를 근거로 기준 이미지 내의 상기 특정 객체에 대응하는 메타데이터를 포함하는 이미지는 네거티브 트레이닝 세트 구성에서 제외시키는 것을 특징으로 하는 서비스 제공 장치의 제어 방법.
  13. 삭제
  14. 분류부를 통해 서비스 제공 장치로부터 제공되는 네거티브 트레이닝 세트와 기준 이미지를 학습하여 상기 기준 이미지에 대응되는 유사도를 스코어로 제공하는 필터를 근거로 특정 이미지에 대해서 객체 판별 결과를 스코어로 출력하는 단계; 및
    판단부를 통해 상기 분류부로부터 출력되는 스코어를 근거로 상기 특정 이미지 내에서의 특정 객체의 존재 여부를 판단하는 단계
    를 포함하며,
    상기 필터는 미리 저장된 복수의 이미지에 각각 연동되는 메타데이터를 근거로 상기 기준 이미지 내의 특정 객체에 대응하는 메타데이터를 포함하는 이미지가 제외된 상기 네거티브 트레이닝 세트로 학습되며,
    상기 객체의 존재 여부를 판단하는 단계는, 상기 판단부를 통해 상기 분류부로부터 출력되는 스코어를 미리 설정된 기준값과 비교하여 상기 스코어가 상기 기준값보다 클 때, 상기 특정 이미지 내에 상기 특정 객체가 존재하는 것으로 판단하고, 상기 특정 이미지 내에서 상기 특정 객체가 존재하는 영역에 대한 위치 정보를 출력하는 것을 특징으로 하는 사용자 장치의 제어 방법.
  15. 삭제
  16. 삭제
KR1020140028918A 2014-03-12 2014-03-12 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체 KR102213867B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140028918A KR102213867B1 (ko) 2014-03-12 2014-03-12 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140028918A KR102213867B1 (ko) 2014-03-12 2014-03-12 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체

Publications (2)

Publication Number Publication Date
KR20150106629A KR20150106629A (ko) 2015-09-22
KR102213867B1 true KR102213867B1 (ko) 2021-02-08

Family

ID=54245394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140028918A KR102213867B1 (ko) 2014-03-12 2014-03-12 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체

Country Status (1)

Country Link
KR (1) KR102213867B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102103643B1 (ko) * 2018-08-28 2020-04-22 두산메카텍 주식회사 센서를 이용한 물류 장비 관리 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262576A (ja) 2009-05-11 2010-11-18 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2011048485A (ja) * 2009-08-25 2011-03-10 Kumamoto Univ 物標検出装置および物標検出方法
JP2011128884A (ja) 2009-12-17 2011-06-30 Canon Inc 重要度生成装置及び判別装置
KR101161580B1 (ko) 2010-12-29 2012-07-04 전자부품연구원 인터리빙 히스토그램을 이용한 특징 벡터 추출 방법 및 이를 적용한 영상 인식 방법
JP2013041330A (ja) 2011-08-11 2013-02-28 Panasonic Corp 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009111499A2 (en) * 2008-03-03 2009-09-11 Videoiq, Inc. Dynamic object classification
KR101247220B1 (ko) 2011-03-10 2013-03-25 서울대학교산학협력단 반복 패턴을 이용한 영상 처리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262576A (ja) 2009-05-11 2010-11-18 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2011048485A (ja) * 2009-08-25 2011-03-10 Kumamoto Univ 物標検出装置および物標検出方法
JP2011128884A (ja) 2009-12-17 2011-06-30 Canon Inc 重要度生成装置及び判別装置
KR101161580B1 (ko) 2010-12-29 2012-07-04 전자부품연구원 인터리빙 히스토그램을 이용한 특징 벡터 추출 방법 및 이를 적용한 영상 인식 방법
JP2013041330A (ja) 2011-08-11 2013-02-28 Panasonic Corp 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置

Also Published As

Publication number Publication date
KR20150106629A (ko) 2015-09-22

Similar Documents

Publication Publication Date Title
US20200004815A1 (en) Text entity detection and recognition from images
EP3660733A1 (en) Method and system for information extraction from document images using conversational interface and database querying
US10796077B2 (en) Rule matching method and device
US20180018564A1 (en) Artificial intelligence-based prior art document identification system
CN110073367B (zh) 用于零样本学习的利用基于soft-max的兼容性函数的多视图嵌入
EP3616048A1 (en) Machine-learning command interaction
US20230134169A1 (en) Text-based document classification method and document classification device
KR20220042335A (ko) 자동 수어 인식 방법 및 시스템
CN107341139A (zh) 一种多媒体处理方法、装置、电子设备及存储介质
CA3089223A1 (en) System and method for spatial encoding and feature generators for enhancing information extraction
US10217455B2 (en) Linguistic model database for linguistic recognition, linguistic recognition device and linguistic recognition method, and linguistic recognition system
CN110162769B (zh) 文本主题输出方法和装置、存储介质及电子装置
CN114328679A (zh) 图像处理方法、装置、计算机设备以及存储介质
CN116776157B (zh) 支持模态增加的模型学习方法及其装置
KR102213867B1 (ko) 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN111652256B (zh) 一种获取多维数据的方法和系统
CN112084788A (zh) 一种影像字幕隐式情感倾向自动标注方法及系统
US9378466B2 (en) Data reduction in nearest neighbor classification
CN116340479A (zh) 知识库的构建方法、数据检索方法、装置和云设备
KR102221684B1 (ko) 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN116304008A (zh) 基于关键词的文本分类方法、装置和计算机设备
CN115858776A (zh) 一种变体文本分类识别方法、系统、存储介质和电子设备
CN114707017A (zh) 视觉问答方法、装置、电子设备和存储介质
CN115774797A (zh) 视频内容检索方法、装置、设备和计算机可读存储介质
CN113836937A (zh) 基于比较模型的文本处理方法、装置、设备与存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant