KR102571269B1 - 객체를 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents

객체를 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR102571269B1
KR102571269B1 KR1020210108817A KR20210108817A KR102571269B1 KR 102571269 B1 KR102571269 B1 KR 102571269B1 KR 1020210108817 A KR1020210108817 A KR 1020210108817A KR 20210108817 A KR20210108817 A KR 20210108817A KR 102571269 B1 KR102571269 B1 KR 102571269B1
Authority
KR
South Korea
Prior art keywords
image
target image
objects
recognition model
object recognition
Prior art date
Application number
KR1020210108817A
Other languages
English (en)
Other versions
KR20230000385A (ko
Inventor
정중은
Original Assignee
수퍼빈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 수퍼빈 주식회사 filed Critical 수퍼빈 주식회사
Publication of KR20230000385A publication Critical patent/KR20230000385A/ko
Application granted granted Critical
Publication of KR102571269B1 publication Critical patent/KR102571269B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 태양에 따르면, 객체를 인식하기 위한 방법으로서, 적어도 하나의 객체를 포함하는 타겟 영상을 획득하는 단계, 라벨링된 복수의 객체에 관한 학습 데이터에 기초하여 학습되는 객체 인식 모델을 이용하여 상기 타겟 영상에 포함되는 적어도 하나의 객체를 인식한 결과 및 상기 타겟 영상으로부터 생성되는 전경 구별 영상을 참조하여 상기 타겟 영상과 연관되는 전처리 영상을 생성하는 단계, 및 상기 전처리 영상을 참조하여 상기 타겟 영상에 포함되는 적어도 하나의 객체 중 상기 객체 인식 모델을 이용하여 인식되지 않은 객체에 관한 정보를 결정하는 단계를 포함하는 방법이 제공된다.

Description

객체를 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체{METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR OBJECT DETECTION}
본 발명은 객체를 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
최근 인공지능 기술은 다양한 분야에 적용되고 있으며, 특히 영상에 포함되는 객체를 식별하기 위한 객체 인식(object detection) 분야에서 널리 이용되고 있다.
인공지능을 이용하여 영상에 포함되는 객체를 인식하기 위한 하나의 방식으로서, 지도 학습(supervised learning) 기반의 인공지능 모델에 기초하여 객체를 인식하는 방식이 소개된 바 있다. 구체적으로, 지도 학습 기반의 인공지능 모델은 라벨링된 복수의 객체에 기초하여 학습되고, 영상에 포함되는 객체를 사전에 정의된 클래스 중 어느 하나의 클래스에 포함되는 객체로 판별하게 된다.
다만, 이러한 지도 학습 기반의 인공지능 모델은, 그 특성상 학습이 부족하거나 학습 자체가 되지 않은 특정 객체에 대해서는 그 특정 객체에 대해 사전에 정의된 클래스 중 어느 하나의 클래스에 포함되는 객체로서 판별하지 못하게 된다는 한계가 존재한다. 여기서, 특정 객체에 대한 인공지능 모델의 학습이 부족한 경우는, 특정 객체에 관한 클래스는 사전에 정의되어 있으나 인공지능 모델이 그 특정 객체를 인식한 결과가 해당 클래스의 기준 값(threshold)(이러한 기준 값은 각 클래스마다 설정되거나 모든 클래스에 동일하게 설정될 수도 있다.)을 충족시키지 못하는 경우를 포함할 수 있다.
따라서, 지도 학습 기반의 인공지능 모델을 이용하면서도 그 인공지능 모델에 의하여 인식되지 않은 객체까지 인식(또는 검출)할 수 있는 새로운 객체 인식 기술이 요구되는 바이다.
한국공개특허공보 제10-2017-0078131호(2017.07.07)
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 지도 학습 기반의 인공지능 모델의 타겟 영상에 대한 객체 인식 결과를 참조하여 해당 타겟 영상을 전처리(또는 보정)하고 그 전처리된 영상에 기초하여 객체를 인식하는 과정을 거침으로써, 지도 학습 기반의 인공지능 모델에 의하여 인식되지 않은 객체를 효과적으로 인식하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 객체를 인식하기 위한 방법으로서, 적어도 하나의 객체를 포함하는 타겟 영상을 획득하는 단계, 라벨링된 복수의 객체에 관한 학습 데이터에 기초하여 학습되는 객체 인식 모델을 이용하여 상기 타겟 영상에 포함되는 적어도 하나의 객체를 인식한 결과 및 상기 타겟 영상으로부터 생성되는 전경 구별 영상을 참조하여 상기 타겟 영상과 연관되는 전처리 영상을 생성하는 단계, 및 상기 전처리 영상을 참조하여 상기 타겟 영상에 포함되는 적어도 하나의 객체 중 상기 객체 인식 모델을 이용하여 인식되지 않은 객체에 관한 정보를 결정하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 객체를 인식하기 위한 시스템으로서, 적어도 하나의 객체를 포함하는 타겟 영상을 획득하는 타겟 영상 획득부, 라벨링된 복수의 객체에 관한 학습 데이터에 기초하여 학습되는 객체 인식 모델을 이용하여 상기 타겟 영상에 포함되는 적어도 하나의 객체를 인식한 결과 및 상기 타겟 영상으로부터 생성되는 전경 구별 영상을 참조하여 상기 타겟 영상과 연관되는 전처리 영상을 생성하는 전처리 영상 생성부, 및 상기 전처리 영상을 참조하여 상기 타겟 영상에 포함되는 적어도 하나의 객체 중 상기 객체 인식 모델을 이용하여 인식되지 않은 객체에 관한 정보를 결정하는 객체 정보 결정부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 지도 학습 기반의 인공지능 모델의 타겟 영상에 대한 객체 인식 결과를 참조하여 해당 타겟 영상을 전처리(또는 보정)하고 그 전처리된 영상에 기초하여 객체를 인식하는 과정을 거침으로써, 지도 학습 기반의 인공지능 모델에 의하여 인식되지 않은 객체를 효과적으로 인식할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 객체를 인식하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 인식 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 디바이스를 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 객체 인식 시스템이 객체를 인식하는 과정을 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 객체를 인식하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 객체 인식 시스템(200) 및 디바이스(300)를 포함할 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드 와이드 웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
다음으로, 본 발명의 일 실시예에 따른 객체 인식 시스템(200)은, 적어도 하나의 객체를 포함하는 타겟 영상을 획득하고, 라벨링된 복수의 객체에 관한 학습 데이터에 기초하여 학습되는 객체 인식 모델을 이용하여 위의 타겟 영상에 포함되는 적어도 하나의 객체를 인식한 결과 및 위의 타겟 영상으로부터 생성되는 전경 구별 영상을 참조하여 위의 타겟 영상과 연관되는 전처리 영상을 생성하고, 위의 전처리 영상을 참조하여 위의 타겟 영상에 포함되는 적어도 하나의 객체 중 위의 객체 인식 모델을 이용하여 인식되지 않은 객체에 관한 정보를 결정하는 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 객체 인식 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다.
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는 객체 인식 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 영상으로부터 인식되는 객체에 관한 정보를 활용하는 기기일 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 디바이스(300)는 컨베이어 벨트를 통해 이송되는 폐기물의 영상에 기초하여 해당 폐기물의 재활용 속성 또는 유형(예를 들어, 캔, PET, 유리 등)이 인식되면, 그 인식 결과를 참조하여 해당 폐기물을 분류 또는 선별하는 작업을 수행하는 기기일 수 있다. 보다 구체적으로, 이러한 디바이스(300)는 종래의 재활용 선별 기기와 일부 유사할 수 있다.
한편, 본 발명에 따른 디바이스(300)가 반드시 위의 설명된 기기에만 한정되는 것은 아니며, 스마트폰, 태블릿, 스마트 워치, 스마트 밴드, 스마트 글래스, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다.
한편, 디바이스(300)는, 객체 인식 시스템(200)으로부터 본 발명에 따른 객체 인식과 연관되는 기능을 제공받을 수 있도록 지원하는 애플리케이션(미도시됨)을 포함할 수 있다. 이와 같은 애플리케이션은 객체 인식 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다. 한편, 이러한 애플리케이션의 성격은 후술할 바와 같은 객체 인식 시스템(200)의 타겟 영상 획득부(210), 전처리 영상 생성부(220), 객체 정보 결정부(230), 통신부(240) 및 제어부(250)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.
객체 인식 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 객체 인식 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 객체 인식 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체 인식 시스템(200)은, 타겟 영상 획득부(210), 전처리 영상 생성부(220), 객체 정보 결정부(230), 통신부(240) 및 제어부(250)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 객체 인식 시스템(200)의 타겟 영상 획득부(210), 전처리 영상 생성부(220), 객체 정보 결정부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템(미도시됨)과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 객체 인식 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 객체 인식 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 객체 인식 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 객체 인식 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 디바이스(300) 또는 서버(미도시됨) 내에서 실현되거나 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.
먼저, 본 발명의 일 실시예에 따른 타겟 영상 획득부(210)는, 적어도 하나의 객체를 포함하는 타겟 영상을 획득하는 기능을 수행할 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 타겟 영상 획득부(210)는, 영상을 촬영하기 위한 촬영 모듈(미도시됨)(예를 들어, RGB 카메라)로부터 적어도 하나의 영상(또는 프레임)을 실시간으로 획득할 수 있다. 본 발명의 일 실시예에 따른 타겟 영상 획득부(210)는, 위의 적어도 하나의 영상 중에서 적어도 하나의 객체를 포함하는 영상을 타겟 영상으로서 특정하고 그 특정된 타겟 영상을 다른 영상과 구분하여 획득할 수 있다. 한편, 본 발명의 일 실시예에 따르면, 타겟 영상 획득부(210)에 의해 획득된 타겟 영상에 포함되는 적어도 하나의 객체는 타겟 영상을 통해 시각적으로 확인이 가능한 유형물을 의미할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 라벨링된 복수의 객체에 관한 학습 데이터에 기초하여 학습되는 객체 인식 모델을 이용하여 타겟 영상에 포함되는 적어도 하나의 객체를 인식한 결과 및 타겟 영상으로부터 생성되는 전경 구별 영상을 참조하여 타겟 영상과 연관되는 전처리 영상을 생성하는 기능을 수행할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 전경 구별 영상에는 차 영상(예를 들어, 이진 차 영상), 가우시안 혼합 모델(Gaussian Mixture Model) 기반 분리 영상 등이 포함될 수 있다.
본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 복수의 객체에 관한 적어도 하나의 클래스를 특정하고, 위의 복수의 객체에 포함된 각각의 객체가 위의 적어도 하나의 클래스에 대응될 수 있도록 각각의 객체마다 라벨링하여 학습 데이터를 구축하며, 그 학습 데이터에 기초하여 객체 인식 모델을 학습시킬 수 있다. 또한, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 위와 같이 학습된 객체 인식 모델을 이용하여 타겟 영상에 포함되는 적어도 하나의 객체를 인식할 수 있고, 그 객체 인식 결과로서 타겟 영상에 포함되는 적어도 하나의 객체를 위의 적어도 하나의 클래스에 대응시킬 수 있다.
계속해서, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 위의 객체 인식 모델의 객체 인식 결과를 참조하여 객체 인식 모델의 입력 데이터로서 이용된(또는 객체 인식 모델에 의해 분석 대상이 되는) 타겟 영상을 보정할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 타겟 영상에 기초하여 이진 차 영상(즉, 전경 구별 영상)을 생성할 수 있다. 예를 들어, 타겟 영상 및 그 타겟 영상과 다른 영상(이하, "참조 대상 영상"이라 한다.)의 차이에 관한 정보를 참조하여 이진 차 영상을 생성할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 타겟 영상 및 참조 대상 영상의 차이에 관한 정보로서, 타겟 영상에 포함되는 적어도 하나의 객체에 관한 정보를 획득할 수 있다. 여기서, 참조 대상 영상은 타겟 영상의 배경에 관한 영상(또는 프레임) 또는 타겟 영상이 획득된 시점과 다른 시점(예를 들어, 이전 또는 이후 시점)의 적어도 하나의 영상(또는 프레임)을 포함할 수 있으며, 예를 들어, 참조 대상 영상에는 타겟 영상에 포함되는 적어도 하나의 객체가 포함되지 않을 수 있다. 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 위의 차이에 관한 정보를 참조하여 타겟 영상에 포함되는 적어도 하나의 객체와 배경(background)이 구분되는 차 영상을 생성하고(즉, 타겟 영상에 포함되는 적어도 하나의 객체가 전경(foreground)이 될 수 있다.), 그 생성된 차 영상을 이진화함으로써 이진 차 영상을 생성할 수 있다(또는 별도의 이진화 과정을 거치지 않고 위의 차이에 관한 정보를 참조하여 바로 이진화된 이진 차 영상이 생성될 수도 있다).
한편, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 타겟 영상 및 참조 대상 영상으로부터 생성된 위의 차 영상(또는 이진 차 영상)에 대하여 모폴로지(morphology) 및 컨투어(contour) 중 적어도 하나를 수행할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 이진 차 영상에 대하여 모폴로지(예를 들어, 침식(erosion) 연산, 팽창(dilation) 연산 등)를 수행함으로써 이진 차 영상에 포함되는 적어도 하나의 객체의 형태(또는 모양)를 특정할 수 있다. 또한, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 이진 차 영상에 대하여 컨투어를 수행함으로써 이진 차 영상에 포함되는 적어도 하나의 객체의 윤곽선(또는 경계선)을 특정할 수 있다.
또한, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 객체 인식 모델을 이용하여 인식되는 타겟 영상의 적어도 하나의 객체 중 제외 대상 객체로서 결정된 적어도 하나의 객체를 이진 차 영상(또는 모폴로지 및 컨투어 중 적어도 하나가 수행된 이진 차 영상)에서 제외함으로써, 타겟 영상과 연관되는 전처리 영상을 생성할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 이진 차 영상에는 타겟 영상에 포함되는 적어도 하나의 객체가 모두 포함될 수 있다. 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 위의 이진 차 영상에 포함되는 적어도 하나의 객체 중에서 이진 차 영상에서 제외할 객체(구체적으로, 여기서 제외할 객체는 객체 인식 모델을 이용하여 인식되는 객체 중에서 결정될 수 있다.)를 결정할 수 있다. 예를 들어, 타겟 영상에 포함되는 객체가 제1 객체, 제2 객체 및 제3 객체라고 가정하는 경우, 이진 차 영상에도 타겟 영상과 동일한 제1 객체, 제2 객체 및 제3 객체가 포함될 수 있다. 여기서, 객체 인식 모델을 이용하여 인식되는 객체가 제2 객체 및 제3 객체인 경우, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 제2 객체 및 제3 객체에 부여된 속성(예를 들어, 디바이스(300)가 재활용 대상을 선별하는 기기일 경우, 객체에 부여될 수 있는 속성에는 '통과(accept) 대상' 및 '거부(reject) 대상'이 포함될 수 있다.)을 참조하여 제2 객체 및 제3 객체 중 제2 객체를 제외 대상 객체로서 결정하고, 제외 대상 객체로서 결정된 제2 객체를 이진 차 영상에서 제외한 영상을 전처리 영상으로서 생성할 수 있다. 즉, 전처리 영상에는 제1 객체 및 제3 객체가 포함될 수 있다.
한편, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 객체 인식 모델을 이용하여 인식되는 객체마다 소정의 속성을 부여(또는 설정)하고, 그 부여된 속성을 참조하여 이진 차 영상에서 제외할 객체(즉, 제외 대상 객체)를 결정할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 특정 속성이 부여된 객체를 제외 대상 객체로서 결정할 수 있고, 특정 속성 외의 다른 속성이 부여된 객체는 제외 대상 객체로서 결정하지 않을 수 있다. 예를 들어, 위의 예시에서, 객체 인식 모델을 이용하여 인식되는 제2 객체 및 제3 객체에 대하여 제2 객체에는 제1 속성이 부여되고 제3 객체에는 제2 속성이 부여되었다고 가정하면, 본 발명의 일 실시예에 따른 전처리 영상 생성부(220)는, 제1 속성이 부여된 제2 객체는 제외 대상 객체로서 결정하고, 제1 속성과 다른 제2 속성이 부여된 제3 객체는 제외 대상 객체로서 결정하지 않을 수 있다.
다음으로, 본 발명의 일 실시예에 따른 객체 정보 결정부(230)는, 위의 전처리 영상을 참조하여 타겟 영상에 포함되는 적어도 하나의 객체 중 객체 인식 모델을 이용하여 인식되지 않은 객체(이하, "타겟 객체"라 한다.)에 관한 정보를 결정하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 객체 정보 결정부(230)는, 전처리 영상에 포함되는 객체 중 객체 인식 모델을 이용하여 인식되는 객체를 제외한 객체(또는 객체 인식 모델을 이용하여 인식되는 객체와 다른 객체)를 타겟 객체로서 결정할 수 있다. 예를 들어, 위의 예시에서, 전처리 영상에는 제1 객체 및 제3 객체가 포함될 수 있으며, 제3 객체는 객체 인식 모델을 이용하여 인식되는 객체일 수 있다. 여기서, 본 발명의 일 실시예에 따른 객체 정보 결정부(230)는, 객체 인식 모델을 이용하여 인식되는 제3 객체를 제외한 제1 객체를 타겟 객체로서 결정할 수 있다.
또한, 본 발명의 일 실시예에 따른 객체 정보 결정부(230)는, 전처리 영상에 포함되는 객체 중 객체 인식 모델을 이용하여 인식되는 객체의 속성을 참조하여 타겟 객체의 속성을 결정할 수 있다.
예를 들어, 위의 예시에서, 본 발명의 일 실시예에 따른 객체 정보 결정부(230)는, 객체 인식 모델을 이용하여 인식되는 제3 객체의 속성인 제2 속성을 타겟 객체의 속성으로서 결정할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 타겟 영상 획득부(210), 전처리 영상 생성부(220) 및 객체 정보 결정부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 타겟 영상 획득부(210), 전처리 영상 생성부(220), 객체 정보 결정부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(250)는 객체 인식 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 객체 인식 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 타겟 영상 획득부(210), 전처리 영상 생성부(220), 객체 정보 결정부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
실시예
도 3은 본 발명의 일 실시예에 따른 디바이스(300)를 예시적으로 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 디바이스(300)는, 재활용 대상을 선별하는 기기로서 이송부(310), 영상 촬영부(320), 재활용 대상 선별부(330) 및 제어부(340)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 전술한 객체 인식 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 디바이스(300) 내에서 실현될 수 있다. 이하에서는, 본 발명의 일 실시예에 따른 객체 인식 시스템(200)이 디바이스(300)(또는 디바이스(300)의 제어부(340)) 내에서 실현되는 상황을 예시적으로 살펴본다.
도 4는 본 발명의 일 실시예에 따라 객체 인식 시스템(200)이 객체를 인식하는 과정을 예시적으로 나타내는 도면이다.
먼저, 본 발명의 일 실시예에 따른 객체 인식 시스템(200)은, 영상 촬영부(320)로부터 적어도 하나의 객체를 포함하는 타겟 영상(410)을 획득할 수 있다. 여기서, 타겟 영상(410)에는, 이송부(310)의 상부면에 위치하는 제1 객체(ETC), 제2 객체(PET) 및 제3 객체(CAN)가 포함될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 객체 인식 시스템(200)은, 객체 인식 모델을 이용하여 타겟 영상(410)에 포함되는 적어도 하나의 객체를 인식할 수 있고, 그 객체 인식 결과(420)로서 타겟 영상(410)에 포함되는 제2 객체(PET) 및 제3 객체(CAN)를 인식할 수 있다. 여기서, 타겟 영상(410)에 포함되는 제1 객체(ETC)는, 학습이 부족(구체적으로, 해당 객체와 연관되는 클래스는 존재하지만 학습이 부족)하거나 학습 자체가 되지 않은 객체로서 객체 인식 모델을 이용하여 인식되지 않을 수 있다.
다음으로, 본 발명의 일 실시예에 따른 객체 인식 시스템(200)은, 타겟 영상(410)에 기초하여 타겟 영상(410)에 포함되는 제1 객체(ETC), 제2 객체(PET) 및 제3 객체(CAN)를 전경으로서 포함하는 이진 차 영상(430)(즉, 전경 구별 영상)을 생성할 수 있다. 예를 들어, 타겟 영상(410) 및 타겟 영상의 배경에 관한 영상(또는 그 타겟 영상(410)의 프레임보다 이전 프레임의 영상)(예를 들어, 제1 객체(ETC), 제2 객체(PET) 및 제3 객체(CAN)가 포함되지 않은 영상)의 차이에 관한 정보에 기초하여 타겟 영상(410)에 포함되는 제1 객체(ETC), 제2 객체(PET) 및 제3 객체(CAN)를 전경으로서 포함하는 이진 차 영상(430)을 생성할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 객체 인식 시스템(200)은, 제2 객체(PET)에 부여된 속성(즉, '통과(accept) 대상') 및 제3 객체(CAN)에 부여된 속성(즉, '거부(reject) 대상')을 참조하여 제2 객체(PET) 및 제3 객체(CAN) 중 제2 객체(PET)를 이진 차 영상(430)에서 제외할 객체로서 결정하고, 제외 대상 객체로서 결정된 제2 객체(PET)를 이진 차 영상(430)에서 제외한 영상을 전처리 영상(440)으로서 생성할 수 있다. 즉, 전처리 영상(440)에는 제1 객체(ETC) 및 제3 객체(CAN)가 포함될 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 객체 인식 시스템(200)은, 전처리 영상(440)에 포함되는 제1 객체(ETC) 및 제3 객체(CAN) 중 객체 인식 모델을 이용하여 인식되는 제3 객체(CAN)를 제외한 제1 객체(ETC)를 타겟 객체로서 결정할 수 있다. 또한, 본 발명의 일 실시예에 따른 객체 인식 시스템(200)은, 전처리 영상(440)에 포함되고 객체 인식 모델을 이용하여 인식되는 제3 객체(CAN)의 속성(즉, '거부(reject) 대상')을 타겟 객체인 제1 객체(ETC)의 속성으로서 결정할 수 있다.
본 발명의 일 실시예에 따르면, 객체 인식 모델을 이용하여 인식되지 않은 제1 객체(ETC)를 위의 과정을 통해 인식하게 됨으로써, 제2 객체(PET)는 그 속성(즉, '통과(accept) 대상')으로부터 재활용 대상으로 선별될 수 있고(또는 제거 대상이 아닌 것으로 선별될 수 있고), 제1 객체(ETC) 및 제3 객체(CAN)는 그 속성(즉, '거부(reject) 대상')으로부터 재활용 대상으로 선별되지 않을 수 있다(또는 제거 대상인 것으로 선별될 수 있다.). 즉, 제1 객체(ETC) 및 제3 객체(CAN)는, 재활용 대상 선별부(330)에 의해 이송부(310)의 상부면에서 제거될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 통신망
200: 객체 인식 시스템
210: 타겟 영상 획득부
220: 전처리 영상 생성부
230: 객체 정보 결정부
240: 통신부
250: 제어부
300: 디바이스

Claims (11)

  1. 객체를 인식하기 위한 객체 인식 시스템에서 구현되는 방법으로서 - 상기 객체 인식 시스템은 타겟 영상 획득부, 전처리 영상 생성부 및 객체 정보 결정부를 포함함 -,
    상기 타겟 영상 획득부가, 적어도 하나의 객체를 포함하는 타겟 영상을 획득하는 단계,
    상기 전처리 영상 생성부가, 라벨링된 복수의 객체에 관한 학습 데이터에 기초하여 학습되는 객체 인식 모델을 이용하여 상기 타겟 영상에 포함되는 적어도 하나의 객체를 인식한 결과 및 상기 타겟 영상으로부터 생성되는 전경 구별 영상을 참조하여 상기 타겟 영상과 연관되는 전처리 영상을 생성하는 단계, 및
    상기 객체 정보 결정부가, 상기 전처리 영상을 참조하여 상기 타겟 영상에 포함되는 적어도 하나의 객체 중 상기 객체 인식 모델을 이용하여 인식되지 않은 객체에 관한 정보를 결정하는 단계를 포함하고,
    상기 전처리 영상을 생성하는 단계는,
    상기 전처리 영상 생성부가, 상기 타겟 영상에 기초하여 상기 전경 구별 영상으로서 이진 차 영상을 생성하는 단계, 및
    상기 전처리 영상 생성부가, 상기 객체 인식 모델을 이용하여 인식되는 객체 중 적어도 하나의 제외 대상 객체를 상기 이진 차 영상에서 제외한 영상을 상기 타겟 영상과 연관되는 전처리 영상으로서 생성하는 단계를 포함하고,
    상기 결정하는 단계에서, 상기 객체 정보 결정부가, 상기 전처리 영상에 포함되는 객체 중 상기 객체 인식 모델을 이용하여 인식되는 객체의 속성을 참조하여 상기 타겟 영상에 포함되는 적어도 하나의 객체 중 상기 객체 인식 모델을 이용하여 인식되지 않은 객체의 속성을 결정하는
    방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 전처리 영상을 생성하는 단계에서, 상기 전처리 영상 생성부가, 상기 이진 차 영상에 대하여 모폴로지(morphology) 및 컨투어(contour) 중 적어도 하나를 수행하는
    방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 제외 대상 객체는, 상기 객체 인식 모델을 이용하여 인식되는 객체의 속성을 참조하여 결정되는
    방법.
  5. 제1항에 있어서,
    상기 결정하는 단계에서, 상기 객체 정보 결정부가, 상기 전처리 영상에 포함되는 객체 중 상기 객체 인식 모델을 이용하여 인식되는 객체를 제외한 객체를 상기 객체 인식 모델을 이용하여 인식되지 않은 객체로서 결정하는
    방법.
  6. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  7. 객체를 인식하기 위한 시스템으로서,
    적어도 하나의 객체를 포함하는 타겟 영상을 획득하는 타겟 영상 획득부,
    라벨링된 복수의 객체에 관한 학습 데이터에 기초하여 학습되는 객체 인식 모델을 이용하여 상기 타겟 영상에 포함되는 적어도 하나의 객체를 인식한 결과 및 상기 타겟 영상으로부터 생성되는 전경 구별 영상을 참조하여 상기 타겟 영상과 연관되는 전처리 영상을 생성하는 전처리 영상 생성부, 및
    상기 전처리 영상을 참조하여 상기 타겟 영상에 포함되는 적어도 하나의 객체 중 상기 객체 인식 모델을 이용하여 인식되지 않은 객체에 관한 정보를 결정하는 객체 정보 결정부를 포함하고,
    상기 전처리 영상 생성부는, 상기 타겟 영상에 기초하여 상기 전경 구별 영상으로서 이진 차 영상을 생성하고, 상기 객체 인식 모델을 이용하여 인식되는 객체 중 적어도 하나의 제외 대상 객체를 상기 이진 차 영상에서 제외한 영상을 상기 타겟 영상과 연관되는 전처리 영상으로서 생성하고,
    상기 객체 정보 결정부는, 상기 전처리 영상에 포함되는 객체 중 상기 객체 인식 모델을 이용하여 인식되는 객체의 속성을 참조하여 상기 타겟 영상에 포함되는 적어도 하나의 객체 중 상기 객체 인식 모델을 이용하여 인식되지 않은 객체의 속성을 결정하는
    시스템.
  8. 삭제
  9. 제7항에 있어서,
    상기 전처리 영상 생성부는, 상기 이진 차 영상에 대하여 모폴로지(morphology) 및 컨투어(contour) 중 적어도 하나를 수행하는
    시스템.
  10. 제7항에 있어서,
    상기 적어도 하나의 제외 대상 객체는, 상기 객체 인식 모델을 이용하여 인식되는 객체의 속성을 참조하여 결정되는
    시스템.
  11. 제7항에 있어서,
    상기 객체 정보 결정부는, 상기 전처리 영상에 포함되는 객체 중 상기 객체 인식 모델을 이용하여 인식되는 객체를 제외한 객체를 상기 객체 인식 모델을 이용하여 인식되지 않은 객체로서 결정하는
    시스템.
KR1020210108817A 2021-06-24 2021-08-18 객체를 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 KR102571269B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210082677 2021-06-24
KR20210082677 2021-06-24

Publications (2)

Publication Number Publication Date
KR20230000385A KR20230000385A (ko) 2023-01-02
KR102571269B1 true KR102571269B1 (ko) 2023-08-29

Family

ID=84925645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210108817A KR102571269B1 (ko) 2021-06-24 2021-08-18 객체를 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR102571269B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517815B1 (ko) * 2013-01-21 2015-05-07 전자부품연구원 실시간 객체 추출 방법 및 이를 적용한 감시 시스템
KR102338372B1 (ko) * 2015-09-30 2021-12-13 삼성전자주식회사 영상으로부터 객체를 분할하는 방법 및 장치
KR101792811B1 (ko) 2015-12-29 2017-11-01 재단법인대구경북과학기술원 특징 검출 시스템 및 방법

Also Published As

Publication number Publication date
KR20230000385A (ko) 2023-01-02

Similar Documents

Publication Publication Date Title
EP3740897B1 (en) License plate reader using optical character recognition on plural detected regions
KR102492369B1 (ko) 텍스트 제거를 위한 이진화 및 정규화 기반 인페인팅
US8867828B2 (en) Text region detection system and method
KR101179497B1 (ko) 얼굴 검출 방법 및 장치
CN109409398B (zh) 图像处理装置、图像处理方法以及存储介质
US9965695B1 (en) Document image binarization method based on content type separation
US10423852B1 (en) Text image processing using word spacing equalization for ICR system employing artificial neural network
WO2016107103A1 (zh) 图像主体区域的识别方法及装置
US20170124418A1 (en) System and a method for the detection of multiple number-plates of moving cars in a series of 2-d images
US8244044B2 (en) Feature selection and extraction
US11107231B2 (en) Object detection device, object detection method, and object detection program
US10438083B1 (en) Method and system for processing candidate strings generated by an optical character recognition process
US20230029045A1 (en) Automatic image classification and processing method based on continuous processing structure of multiple artificial intelligence model, and computer program stored in computer-readable recording medium to execute the same
CN113191358B (zh) 金属零件表面文本检测方法和系统
US20210406568A1 (en) Utilizing multiple stacked machine learning models to detect deepfake content
KR102195940B1 (ko) 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법
KR20170109304A (ko) 객체 인식을 위한 캐스케이드 분류기의 병렬 학습 방법
CN110796210A (zh) 一种标签信息的识别方法及装置
JPWO2015136709A1 (ja) 画像処理装置、画像センサ、画像処理方法
Chang Intelligent text detection and extraction from natural scene images
KR102571269B1 (ko) 객체를 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US8891822B2 (en) System and method for script and orientation detection of images using artificial neural networks
CN104899544A (zh) 图像处理装置和图像处理方法
KR102050422B1 (ko) 문자 인식 장치 및 방법
JP2020046736A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant