KR102539072B1

KR102539072B1 - 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치

Info

Publication number: KR102539072B1
Application number: KR1020200015042A
Authority: KR
Inventors: 윤정하; 김재현
Original assignee: 주식회사 작당모의
Priority date: 2019-09-29
Filing date: 2020-02-07
Publication date: 2023-06-01
Also published as: KR20210038280A; KR102716200B1; KR20210038349A

Abstract

본 발명은 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 객체 인식 방법은, (a) 객체 관련 영상을 획득하는 단계; 및 (b) 객체 인식 딥러닝 모델을 이용하여, 상기 획득된 객체 관련 영상으로부터 상기 객체 및 객체 표시 시간을 인식하는 단계;를 포함할 수 있다.

Description

머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치{A Method and Apparatus for Object Recognition using Machine Learning}

본 발명은 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치에 관한 것으로, 더욱 상세하게는 미신 러닝을 이용하여 객체 및 객체 표시 시간을 인식하기 위한 방법 및 장치에 관한 것이다.

최근 개인의 노하우를 공유하는 방법이 TEXT 중심에서 영상중심으로 이동하고 있는 추세이다. 이러한 영상에서 사용한 사물을 판별해 낼 수 있다면 다양한 비즈니스 모델을 붙일 수 있으며, 컨텐츠를 풍성하게 가공할 수 있는 기본이 될 수 있다. 이를 구현하기 위해 사람이 인위적으로 대입하는 방식은 많은 시간과 자본노동이 소요되기도 하고 일정한 품질관리를 유지하기 어려운 단점이 있다. 이를 활용한다면, 영상을 가공하는 사람에게나, 영상을 통해 노하우를 제공 받는 사람들에게 모두 유익한 정보로서의 의미가 있을 것이다.

다만, 영상 속에서 객체를 인지할 수 있도록 하는 과정에서 다량의 이미지 학습데이터를 수집해서 태깅해야 하는 초기 데이터수집 노력이 너무 크다는 문제점이 있다.

[특허문헌 1] 한국공개특허 제10-2020-0011728호

본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치를 제공하는 것을 그 목적으로 한다.

또한, 본 발명은 인공지능을 도입하여 영상 속에서 객체를 찾아내기 위하여 사람의 수작업이 대량 투입되어야 학습할 수 있는 종래 상황을 개선하고자 한다.

또한, 본 발명은 최초 수 백개 정도의 적은 수량으로 시작하여 제품 학습을 시작할 수 있는 스파이럴 학습모델을 도입하여 빠른 시간안에 객체의 특성상 영상 속에서 객체를 인식할 수 있도록 하는 장치 및 방법을 제공함에 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 객체 인식 방법은 (a) 객체 관련 영상을 획득하는 단계; 및 (b) 객체 인식 딥러닝 모델을 이용하여, 상기 획득된 객체 관련 영상으로부터 상기 객체 및 객체 표시 시간을 인식하는 단계;를 포함할 수 있다.

실시예에서, 상기 (a) 단계는, 상기 객체 관련 영상을 획득하는 단계; 상기 객체 관련 영상을 다수의 프레임으로 분할하는 단계; 및 상기 다수의 프레임 중 상기 객체가 포함된 프레임을 결정하는 단계;를 포함할 수 있다.

실시예에서, 상기 (b) 단계는, 미리 태깅된 객체의 학습 이미지로부터 상기 객체 인식 딥러닝 모델을 학습시키는 단계; 및 상기 학습된 객체 인식 딥러닝 모델을 이용하여 상기 객체 관련 영상에 포함된 객체를 태깅하는 단계;를 포함할 수 있다.

실시예에서, 상기 학습시키는 단계는, 상기 미리 태깅된 객체의 학습 이미지로부터 특징(feature)을 결정하는 단계; 및 상기 결정된 특징을 벡터(vector) 값으로 변환하는 단계;를 포함할 수 있다.

실시예에서, 상기 객체 인식 방법은, 상기 객체 및 객체 표시 시간에 기반하여 상기 객체 관련 영상을 디스플레이하는 단계;를 더 포함할 수 있다.

실시예에서, 상기 객체 인식 방법은, 상기 객체 표시 시간에 대한 입력을 획득하는 단계; 및 상기 다수의 프레임 중, 상기 객체 표시 시간에 대응하는 상기 객체가 포함된 프레임을 디스플레이하는 단계;를 더 포함할 수 있다.

실시예에서, 객체 인식 장치는, 객체 관련 영상을 획득하는 통신부; 및 객체 인식 딥러닝 모델을 이용하여, 상기 획득된 객체 관련 영상으로부터 상기 객체 및 객체 표시 시간을 인식하는 제어부;를 포함할 수 있다.

실시예에서, 상기 통신부는, 상기 객체 관련 영상을 획득하고, 상기 제어부는, 상기 객체 관련 영상을 다수의 프레임으로 분할하며, 상기 다수의 프레임 중 상기 객체가 포함된 프레임을 결정할 수 있다.

실시예에서, 상기 제어부는, 미리 태깅된 객체의 학습 이미지로부터 상기 객체 인식 딥러닝 모델을 학습시키고, 상기 학습된 객체 인식 딥러닝 모델을 이용하여 상기 객체 관련 영상에 포함된 객체를 태깅할 수 있다.

실시예에서, 상기 제어부는, 상기 미리 태깅된 객체의 학습 이미지로부터 특징(feature)을 결정하고, 상기 결정된 특징을 벡터(vector) 값으로 변환할 수 있다.

실시예에서, 상기 객체 인식 장치는, 상기 객체 및 객체 표시 시간에 기반하여 상기 객체 관련 영상을 디스플레이하는 표시부;를 더 포함할 수 있다.

실시예에서, 상기 객체 인식 장치는, 상기 객체 표시 시간에 대한 입력을 획득하는 입력부; 및 상기 다수의 프레임 중, 상기 객체 표시 시간에 대응하는 상기 객체가 포함된 프레임을 디스플레이하는 표시부;를 더 포함할 수 있다.

상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.

본 발명의 일 실시예에 의하면, 기계학습을 통하여 영상내 객체를 검출하고 이용함으로 영상컨텐츠를 제공함에 있어서 더욱 풍부하고 활용도 있는 서비스를 제공할 수 있다.

또한, 본 발명의 일 실시예에 의하면, 영상 내 다양한 제품이 사용되고 있는 현상을 알 수 있고, 특정브랜드나 제품이 얼마만큼 영상에서 소요되는지를 특정할 수 있다.

또한, 본 발명의 일 실시예에 의하면, 고객의 궁금증을 풀어줄 수 있고 긴 영상내 특정 제품이 노출된 곳으로 바로 진입시키는 서비스가 가능하다.

본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 객체 인식 방법을 도시한 도면이다.
도 2a는 본 발명의 일 실시예에 따른 영상 수집의 예를 도시한 도면이다.
도 2b는 본 발명의 일 실시예에 따른 객체 인식 딥러닝 모델 학습의 예를 도시한 도면이다.
도 2c 및 2d는 본 발명의 일 실시예에 따른 객체 인식의 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체 인식을 위한 사전준비 동작 방법을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 객체 인식을 위한 인식추출 동작 방법을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 객체 인식 장치의 기능적 구성을 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.

청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.

본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

이하, 본 발명의 일 실시예에 따른 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치를 설명한다.

도 1은 본 발명의 일 실시예에 따른 객체 인식 방법을 도시한 도면이다. 도 2a는 본 발명의 일 실시예에 따른 영상 수집의 예를 도시한 도면이다. 도 2b는 본 발명의 일 실시예에 따른 객체 인식 딥러닝 모델 학습의 예를 도시한 도면이다. 도 2c 및 2d는 본 발명의 일 실시예에 따른 객체 인식의 예를 도시한 도면이다.

도 1을 참고하면, S101 단계는, 객체 관련 영상을 획득하는 단계이다. 일 실시예에서, 도 2a를 참고하면, 객체 관련 영상(201)을 획득하고, 객체 관련 영상(201)을 다수의 프레임으로 분할하며, 다수의 프레임 중 객체가 포함된 프레임(203)을 결정할 수 있다.

예를 들어, 다수의 프레임은 객체 관련 영상(201)을 1초 단위로 분할하여 생성될 수 있다.

S103 단계는, 객체 인식 딥러닝 모델을 이용하여, 객체 관련 영상으로부터 객체 및 객체 표시 시간을 인식하는 단계이다.

일 실시예에서, 도 2b를 참고하면, 미리 태깅된 객체의 학습 이미지로부터 객체 인식 딥러닝 모델(210)을 학습시킬 수 있다. 예를 들어, 미리 태깅된 객체의 학습 이미지로부터 특징(feature)을 결정하고, 결정된 특징을 벡터(vector) 값으로 변환할 수 있다.

일 실시예에서, 도 2c 및 2d를 참고하면, 객체 ID(220) 및 해당 객체가 표시되는 화면에 대한 객체 표시 시간을 결정할 수 있다.

일 실시예에서, 객체 및 객체 표시 시간에 기반하여 객체 관련 영상을 디스플레이할 수 있다.

일 실시예에서, 객체 표시 시간에 대한 입력을 획득하고, 다수의 프레임 중 객체 표시 시간에 대응하는 객체가 포함된 프레임을 디스플레이할 수 있다.

일 실시예에서, 사용자에 의한 객체 표시 시간에 대한 입력의 횟수가 임계값 이상인 경우, 상기 객체 표시 시간에 대응하는 객체가 포함되는 적어도 하나의 객체 관련 영상의 리스트를 디스플레이할 수 있다.

즉, 해당 객체 표시 시간으로의 타임 워프의 횟수가 일정 수 이상인 경우, 해당 객체에 대한 사용자의 선호도가 높은 것으로 판단하고, 해당 객체와 관련된 다양한 영상들의 리스트를 사용자에게 제공함으로써, 사용자의 객체 검색 활용성을 높일 수 있다.

예를 들어, 상기 객체는, 화장품, 악세사리, 패션잡화 등 다양한 제품을 포함할 수 있으나, 이에 제한되지 않는다.

도 3은 본 발명의 일 실시예에 따른 객체 인식을 위한 사전준비 동작 방법을 도시한 도면이다.

도 3을 참고하면, S301 단계는, 자체 확보한 알고리즘으로 학습영상을 수집하는 단계이다. 여기서, 학습영상은 객체 인식 딥러닝 모델의 학습을 위한 영상을 포함할 수 있다.

일 실시예에서, 학습영상에 존재하는 키워드를 파악하고 키워드들이 자체 확보한 알고리즘을 이용하여, 영상으로 사용할 수 있는 영상과 사용할 수 없는 영상을 구분할 수 있다.

S303 단계는, 학습영상으로부터 객체 이미지를 추출하는 단계이다. 예를 들어, 블러현상과 번짐 현상에 대한 문제를 최소화하기 위해 1초 단위로 객체 이미지를 추출하여 학습영상을 세분화할 수 있다.

S305 단계는, 객체 이미지로부터 객체 인식 딥러닝 모델(210)을 학습시키는 단계이다. 이 경우, 객체 이미지는 객체의 학습 이미지를 포함할 수 있다.

이 경우, 학습 이미지의 객체는 사용자에 의해 미리 태깅될 수 있다. 즉, 최초 사용자의 개입으로 객체를 태깅하기, 최소화 시킬 수 있는 최소 수량을 구해 도입할 수 있다.

이후, 객체의 이미지 중에서 특징을 파악하여 벡터 형태의 계산할 수 있다. 예를 들어, 객체 인식 딥러닝 모델(210)은 YOLO 알고리즘, SSD(Single Shot Multibox Detector) 알고리즘 및 CNN 알고리즘 등이 있으나, 다른 알고리즘의 적용을 배제하는 것은 아니다.

S307 단계는, 객체 인식 딥러닝 모델(210)의 학습에 따라 계산된 학습파일을 저장하는 단계이다. 이 경우, 학습파일은 추출하는 서버로 이동하여 추출의 적정성을 측정할 수 있다.

S309 단계는, 학습파일을 활용하여 객체 관련 영상에서 객체를 자동 태깅하는 단계이다. 즉, 새로 유입된 객체 관련 영상에서의 객체를 학습할 수 있는 데이터로 자동 유입될 수 있도록 하는 자동 태깅단계이다.

일 실시예에서, 양질의 학습 이미지를 많이 입수하고 학습을 시킬수록 인식률이 많이 올라가므로 이를 반복적으로 학습하여 원하는 인식률이 나올때까지 S305 단계 내지 S309 단계를 반복할 수 있다.

도 4는 본 발명의 일 실시예에 따른 객체 인식을 위한 인식추출 동작 방법을 도시한 도면이다.

도 4를 참고하면, S401 단계는, 객체 관련 영상을 획득하는 단계이다. 즉, 새로운 영상을 입력할 수 있다. 일 실시예에서, 새로운 영상은 도 3의 S301 단계와 동일한 방식으로 획득될 수 있다.

S403 단계는, 객체 관련 영상에서 객체 이미지를 추출할 수 있다. 즉, 객체 관련 영상으로부터 객체가 포함된 프레임을 추출할 수 있다. 예를 들어, 객체 이미지가 입력될 수 있도록 1초 단위 이미지로 추출할 수 있다.

S405 단계는, 객체 이미지와 객체 인식 딥러닝 모델에 의해 생성된 학습파일의 일치 여부를 판단하는 단계이다. 즉, 객체 이미지와 학습 파일을 가지고 객체의 종류를 찾아낼 수 있다. 여기서, 학습 파일은 기존 객체 DB(database)를 포함할 수 있다.

S407 단계는, 객체 이미지와 객체 인식 딥러닝 모델에 의해 생성된 학습파일이 일치하는 경우, 객체 이미지에 대응하는 객체의 ID(identification) 및 객체 표시 시간(time)을 추출하는 단계이다.

S409 단계는, 객체 이미지와 객체 인식 딥러닝 모델에 의해 생성된 학습파일이 일치하지 않는 경우, 새로운 객체를 등록할 수 있도록 객체 이미지를 저장하는 단계이다.

즉, 매칭할 수 없는 데이터들은 또 수동 태깅하여 객체 인식 딥러닝 모델의 학습에 이용하여 다음번 인식추출단계에서는 객체 DB와 매칭 될 수 있도록 선순환 사이클(Circle)이 원활이 만들어지도록 시스템을 구성할 수 있다.

도 5는 본 발명의 일 실시예에 따른 객체 인식 장치(500)의 기능적 구성을 도시한 도면이다.

도 5를 참고하면, 객체 인식 장치(500)는 통신부(510), 제어부(520), 표시부(530), 입력부(540) 및 저장부(550)를 포함할 수 있다.

통신부(510)는 객체 관련 영상을 획득할 수 있다.

일 실시예에서, 통신부(510)는 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 통신부(510)의 전부 또는 일부는 '송신부', '수신부' 또는 '송수신부(transceiver)'로 지칭될 수 있다.

제어부(520)는 객체 인식 딥러닝 모델을 이용하여, 객체 관련 영상으로부터 객체 및 객체 표시 시간을 인식할 수 있다.

일 실시예에서, 제어부(520)는 뷰티관련 크리에이터 및 관련 영상을 수집하는 영상수집부(522), 수집된 영상을 모아서 심화학습(Deep Learning)하고 기 학습한 학습데이터를 활용하여 신규 제품을 자동 태깅하여 학습하는 사물학습부(524) 및 특정한 이미지를 제시했을때 학습된 제품 중에서 이 제품이 무엇인지를 구분해 내는 사물추출부(526)를 포함할 수 있다.

일 실시예에서, 제어부(520)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(520)는 CP(communication processor)라 지칭될 수 있다. 제어부(520)는 본 발명의 다양한 실시예에 따른 객체 인식 장치(500)의 동작을 제어할 수 있다.

표시부(530)는 객체 및 객체 표시 시간에 기반하여 객체 관련 영상을 디스플레이할 수 있다. 일 실시예에서, 표시부(530)는 다수의 프레임 중, 객체 표시 시간에 대응하는 객체가 포함된 프레임을 디스플레이할 수 있다.

일 실시예에서, 표시부(530)는 객체 인식 장치(500)에서 처리되는 정보를 나타낼 수 있다. 예를 들면, 표시부(530)는 액정 디스플레이(LCD; Liquid Crystal Display), 발광 다이오드(LED; Light Emitting Diode) 디스플레이, 유기 발광 다이오드(OLED; Organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; Micro Electro Mechanical Systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이 중 적어도 어느 하나를 포함할 수 있다.

입력부(540) 객체 표시 시간에 대한 입력을 획득할 수 있다. 일 실시예에서, 입력부(540)는 사용자에 의한 객체 표시 시간에 대한 입력을 획득할 수 있다.

저장부(550)는 객체 인식 딥러닝 모델(210의 학습파일, 객체 관련 영상, 객체 ID 및 객체 표시 시간을 저장할 수 있다.

일 실시예에서, 저장부(550)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(550)는 제어부(520)의 요청에 따라 저장된 데이터를 제공할 수 있다.

도 5를 참고하면, 객체 인식 장치(500)는 통신부(510), 제어부(520), 표시부(530), 입력부(540) 및 저장부(550)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 객체 인식 장치(500)는 도 5에 설명된 구성들이 필수적인 것은 아니어서, 도 5에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.

본 발명에 따르면, 최초 수백개의 영상으로 수동으로 학습하고 학습한 데이터를 활용하여 다른 이미지를 자동으로 추출할 수 있도록 시스템을 구축하였다.

또한, 본 발명에 따르면, 객체 이미지를 집어넣으면 자동으로 태깅할 수 있는 것은 자동으로 태깅될 수 있도록 하였고, 자동으로 태깅되지 않은 것들을 따로 모아 태깅하도록 시스템을 구축하여, 사람의 수작업이 최소화될 수 있다.

또한, 본 발명에 따르면, 초기 데이터수집을 최소화 할 수 있도록 최초 소량의 데이터를 이용하여 학습하고 이 학습데이터를 활용하여 자동으로 이미지의 형태를 추출하여 학습데이터 만드는데 활용하고 이러한 과정을 반복시켜서 고품질의 학습데이터를 학습할 수 있다.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.

따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.

본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.

201: 객체 관련 영상
203: 프레임
210: 객체 인식 딥러닝 모델
220: 객체 ID
500: 객체 인식 장치
510: 통신부
520: 제어부
522: 영상수집부
524: 사물학습부
526: 사물추출부
530: 표시부
540: 입력부
550: 저장부

Claims

(a) 제1 객체 관련 영상을 획득하는 단계;
(b) 객체 인식 딥러닝 모델을 이용하여, 상기 제1 객체 관련 영상으로부터 상기 객체 및 상기 객체에 대한 객체 표시 시간을 인식하는 단계;
(c) 상기 객체에 대한 객체 표시 시간에서의 사용자에 의한 타임 워프 입력을 획득하는 단계; 및
(d) 상기 객체에 대한 객체 표시 시간에서의 상기 사용자에 의한 타임 워프 입력의 횟수가 임계값 이상인 경우, 상기 객체에 대한 객체 표시 시간에 대응하는 객체가 포함된 적어도 하나의 제2 객체 관련 영상의 리스트를 획득하고, 상기 제2 객체 관련 영상의 리스트를 디스플레이하는 단계;
를 포함하는,
객체 인식 장치의 동작 방법.
제1항에 있어서,
상기 (a) 단계는,
상기 제1 객체 관련 영상을 획득하는 단계;
상기 제1 객체 관련 영상을 다수의 프레임으로 분할하는 단계; 및
상기 다수의 프레임 중 상기 객체가 포함된 프레임을 결정하는 단계;
를 포함하는,
객체 인식 장치의 동작 방법.
제1항에 있어서,
상기 (b) 단계는,
미리 태깅된 객체의 학습 이미지로부터 상기 객체 인식 딥러닝 모델을 학습시키는 단계; 및
상기 학습된 객체 인식 딥러닝 모델을 이용하여 상기 제1 객체 관련 영상에 포함된 객체를 태깅하는 단계;
를 포함하는,
객체 인식 장치의 동작 방법.
제3항에 있어서,
상기 학습시키는 단계는,
상기 미리 태깅된 객체의 학습 이미지로부터 특징(feature)을 결정하는 단계; 및
상기 결정된 특징을 벡터(vector) 값으로 변환하는 단계;
를 포함하는,
객체 인식 장치의 동작 방법.
제1항에 있어서,
상기 객체 및 객체 표시 시간에 기반하여 상기 적어도 하나의 제2 객체 관련 영상을 디스플레이하는 단계;
를 더 포함하는,
객체 인식 장치의 동작 방법.
제2항에 있어서,
상기 객체 표시 시간에서의 사용자에 의한 타임 워프 입력의 횟수를 결정하는 단계; 및
상기 다수의 프레임 중, 상기 객체 표시 시간에 대응하는 상기 객체가 포함된 프레임을 디스플레이하는 단계;
를 더 포함하는,
객체 인식 장치의 동작 방법.
제1 객체 관련 영상을 획득하는 통신부;
객체 인식 딥러닝 모델을 이용하여, 상기 제1 객체 관련 영상으로부터 상기 객체 및 상기 객체에 대한 객체 표시 시간을 인식하는 제어부;
상기 객체에 대한 객체 표시 시간에서의 사용자에 의한 타임 워프 입력을 획득하는 입력부; 및
상기 객체에 대한 객체 표시 시간에서의 상기 사용자에 의한 타임 워프 입력의 횟수가 임계값 이상인 경우, 상기 통신부를 통해 상기 객체에 대한 객체 표시 시간에 대응하는 객체가 포함된 적어도 하나의 제2 객체 관련 영상의 리스트를 획득하고, 상기 제2 객체 관련 영상의 리스트를 디스플레이하는 표시부;
를 포함하는,
객체 인식 장치.
제7항에 있어서,
상기 통신부는, 상기 제1 객체 관련 영상을 획득하고,
상기 제어부는, 상기 제1 객체 관련 영상을 다수의 프레임으로 분할하며,
상기 다수의 프레임 중 상기 객체가 포함된 프레임을 결정하는,
객체 인식 장치.
제7항에 있어서,
상기 제어부는,
미리 태깅된 객체의 학습 이미지로부터 상기 객체 인식 딥러닝 모델을 학습시키고,
상기 학습된 객체 인식 딥러닝 모델을 이용하여 상기 객체 관련 영상에 포함된 객체를 태깅하는,
객체 인식 장치.
제9항에 있어서,
상기 제어부는,
상기 미리 태깅된 객체의 학습 이미지로부터 특징(feature)을 결정하고,
상기 결정된 특징을 벡터(vector) 값으로 변환하는,
객체 인식 장치.
제7항에 있어서,
상기 표시부는, 상기 객체 및 객체 표시 시간에 기반하여 상기 적어도 하나의 제2 객체 관련 영상을 디스플레이하는,
객체 인식 장치.
제8항에 있어서,
상기 객체 표시 시간에서의 사용자에 의한 타임 워프 입력의 횟수를 결정하는 입력부;
를 더 포함하고,
상기 표시부는, 상기 다수의 프레임 중, 상기 객체 표시 시간에 대응하는 상기 객체가 포함된 프레임을 디스플레이하는,
객체 인식 장치.