KR20200076126A - 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션 - Google Patents

인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션 Download PDF

Info

Publication number
KR20200076126A
KR20200076126A KR1020180164883A KR20180164883A KR20200076126A KR 20200076126 A KR20200076126 A KR 20200076126A KR 1020180164883 A KR1020180164883 A KR 1020180164883A KR 20180164883 A KR20180164883 A KR 20180164883A KR 20200076126 A KR20200076126 A KR 20200076126A
Authority
KR
South Korea
Prior art keywords
person
video
tracking
search
providing
Prior art date
Application number
KR1020180164883A
Other languages
English (en)
Inventor
송민경
정수정
최서현
Original Assignee
송민경
최서현
정수정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송민경, 최서현, 정수정 filed Critical 송민경
Priority to KR1020180164883A priority Critical patent/KR20200076126A/ko
Publication of KR20200076126A publication Critical patent/KR20200076126A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스의 제공 방법은, 검색어를 입력 받는 단계; 와 상기 검색어에 대응하는 인물의 영상을 획득하는 단계; 와 상기 영상에 기초하여 동영상에서 상기 인물을 검색 및 추적하는 단계; 및 상기 인물이 소정 비율 이상 등장하는 경우 상기 동영상을 검색 결과로 제공하는 단계를 포함한다.

Description

인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션{PROVIDING METHOD OF SEARCH SERVICE OF THE VIDEO BASED ON PERSON AND APPLICATION PRIVIDING THE SERVICE}
본 발명은 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션에 관한 것으로서, 보다 구체적으로 얼굴 트래킹을 이용하여 검색하고자 하는 인물이 등장하는 동영상을 검색하는 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션에 관한 것이다.
영상 컨텐츠 시장이 확대되고 있다. 온라인 컨텐츠의 경우 정적인 텍스트나 이미지 중심에서 동적인 영상 중심으로 변화하고 있다. 또한, 과거에는 신문이나 방송, 영화와 같은 매스미디어를 통해 컨텐츠가 생산되었다면, 최근에는 영상 제작 능력을 보유한 사용자라면 누구나 컨텐츠를 제작하여 유튜브나 아프리카 TV 등의 사이트에 직접 업로드 할 수 있는 환경으로 변화하고 있다. 이로 인해 웹 사이트 상에는 수많은 동영상이 존재한다. 따라서, 영상 시장의 규모가 커진 만큼, 원하는 영상을 빠르고 정확하게 찾는 것이 어려워진 실정이다.
현재 동영상 검색서비스는 텍스트 기반으로 이루어진다. 예를 들어, 기존의 영상 검색 방식은, 영상을 업로드 할 때 입력한 제목이나 내용 및 태그 기반으로 검색하여 결과를 보여준다. 그러나, 홍보나 조회수를 위해 동영상과 관계없는 제목이나 내용, 태그 등을 입력하는 경우가 많아 검색의 정확도가 떨어진다. 특히 인물을 검색하고자 하는 경우, 동영상 제공자가 제목이나 내용, 태그 등에 등장인물을 적은 경우에만 해당 동영상에 등장하는 인물들을 검색할 수 있다는 문제점이 존재한다.
본 발명은 기존의 텍스트 기반 동영상 검색 시스템의 한계를 극복하기 위해 인물에 기반한 새로운 동영상 검색 방식을 제공하는 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션을 제공하는 것을 목적으로 한다.
또한, 본 발명은 인공지능을 활용하여 검색의 정확성을 높이고 잘못된 검색 결과를 선별적으로 제외할 수 있는 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션을 제공하는 것을 목적으로 한다.
나아가, 본 발명은 검색된 동영상과 함께 등장인물의 등장비율과 등장 출발점과 같은 다양한 정보를 제공할 수 있는 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재에 의해 제안되는 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스의 제공 방법은, 검색어를 입력 받는 단계; 와 상기 검색어에 대응하는 인물의 영상을 획득하는 단계; 와 상기 영상에 기초하여 동영상에서 상기 인물을 검색 및 추적하는 단계; 및 상기 인물이 소정 비율 이상 등장하는 경우 상기 동영상을 검색 결과로 제공하는 단계를 포함한다.
본 발명에 따른 실시 예들에 의하면, 검색하고자 하는 인물 관련 동영상에 대해 신뢰도 높은 검색 결과를 제공할 수 있다.
또한, 본 발명에 따른 실시 예들에 의하면, 검색된 동영상과 함께 관심인물의 등장비율과 등장 출발점과 같은 다양한 정보를 제공함으로써, 사용자에게 영상 검색에 대한 편리성을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스 제공 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스 제공 과정을 도시한 도면이다.
도 3a와 도 3b는 본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스에 의해 검색되는 결과를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스 제공을 위한 얼굴 트래킹 과정을 도시한 도면이다.
도 5a와 도 5b는 본 발명의 일 실시 예에 의한 인물 기반 동영상 검색에서 사용하는 FeatureMatching 알고리즘을 설명하기 위한 도면이다.
이하에서는 본 발명의 구체적인 실시예를 도면을 참조하여 상세히 설명한다. 그러나 본 발명의 기술적 사상이 이하에서 기술되는 실시예들에 의하여 제한되는 것은 아니며, 또 다른 구성요소의 추가, 변경 및 삭제 등에 의해서 퇴보적인 다른 발명이나 본 발명의 기술적 사상의 범위 내에 포함되는 다른 실시예들을 용이하게 제안할 수 있다.
본 발명에서 사용되는 용어는 가능한 한 현재 해당 기술과 관련하여 널리 사용되는 일반적인 용어를 선택하였으나, 특별한 경우에는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 그 의미를 상세히 기재하였다. 그러므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 미리 밝혀둔다. 이하에서 기술하는 설명에 있어서, 단어 '포함하는'은 열거된 것과 다른 구성요소들 또는 단계들의 존재를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스 제공 방법을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스는 얼굴 추적을 이용하여 인물이 등장하는 동영상을 검색하고 동영상 속 등장인물에 대한 분석을 제공할 수 있다. 이에 의해, 사용자는 원하는 인물이 등장하는 동영상을 신속하고 정확하게 검색할 수 있다. 한편, 상기 동영상 검색서비스는 어플리케이션(앱) 형태로 구현될 수도 있다.
사용자 단말(100)은 사용자로부터 동영상 검색 서비스를 요청받을 수 있다. 이를 위해, 사용자 단말(100)에는 동영상 검색서비스를 제공하는 앱이 설치되어 실행될 수 있다.
상기 앱에는 검색하고자 하는 인물 정보가 입력될 수 있다. 여기서, 인물 정보는 텍스트나 이미지 및 동영상 등의 형태일 수 있다.
중간 서버(110)는 인물에 기반하여 동영상을 검색할 수 있다.
구체적으로, 중간 서버(110)는 프론트 엔드(120)와 백 엔드(130)를 포함하여 구성될 수 있다.
프론트 엔드(front end)(120)는 백 엔드(130)의 데이터베이스에 저장된 정보들을 가져올 수 있다. 이 경우 프론트 엔드(120)는 어플리케이션 프로그램 인터페이스(Application Programming Interface: API)를 사용하여 각각의 API에 대응하는 동영상이나 사진을 가져올 수 있다.
여기서, 프론트 엔드(120)는 시스템의 시작점이나 입력 부문으로, 호스트 컴퓨터와 사용자 사이에서의 전 처리 또는 제어를 담당하는 전단부일 수 있다.
백 엔드(back end)(130)는 영상 분석 알고리즘에 의해 동영상을 분석할 수 있다. 이 경우, 백 엔드(130)는 동영상에 포함된 등장인물의 이름, 등장 비율 및 등장 시간 등을 분석하고, 분석 결과를 데이터베이스에 저장할 수 있다.
여기서, 백 엔드(130)는 데이터베이스와 같이 시스템의 후면에서 시스템을 지원하는 부문으로, 사용자와 직접적으로 상호 작용하지 않고 프로그래머 또는 관리자만 접근할 수 있는 소프트웨어 시스템의 후면부일 수 있다.
서버(140)는 동영상 서비스를 제공한다. 이 경우, 서버(140)는 이미지나 동영상 등을 저장하고 이를 사용자에게 제공하거나, 사용자가 이미지나 동영상을 업로드하거나 다운로드 할 수 있게 하는 서비스를 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스 제공 과정을 도시한 도면이다.
도 2에서는 크게 백 엔드 측과 프론트 엔드 측에서 수행하는 동작들로 나누어 설명한다.
백 엔드 측
백 엔드(130)는 영상 분석 알고리즘에 기반하여 동영상 분석을 진행한다(S201). 이 경우, 영상 분석 알고리즘은 오픈소스인 OpenCV 등을 사용할 수 있다.
백 엔드(130)는 서버(140)가 제공하는 얼굴인식 API를 사용하기 위해 이미지를 서버(140)에 전달한다(S202). 일반적으로, 얼굴은 유명인이나 저명인의 얼굴일 수 있다.
백 엔드(130)는 서버(140)로부터 유명인 분석 결과를 받는다(S203). 구체적으로, 서버(140)는 전달받은 이미지에 해당하는 유명인 이름, 신뢰도, 얼굴 값 등을 분석하고 분석 결과를 백 엔드(130)에 전달한다.
백 엔드(130)는 프론트 엔드(120)에 영상 분석 결과를 전달한다(S204). 이 경우, 백 엔드(130)는 영상을 분석한 결과 값인 등장인물 이름, 등장 비율, 등장 시점, 비디오 ID, 영상 제목, 조회수, 날짜 등에 대한 정보를 전달할 수 있다.
일 실시 예에 의하면, 백 엔드(130)는 영상을 분석한 결과 값인 등장인물 이름, 등장 비율, 비디오 ID를 Video 테이블에 저장하고, 비디오 ID, 인물 이름, 등장 시점을 person 테이블에 저장하고, 비디오 ID, 영상 제목, 조회수, 날짜를 youtube 테이블에 저장할 수 있다.
프론트 엔드 측
사용자 단말(100)은 프론트 엔드(120)에 데이터 요청을 한다(S205).
구체적으로, 사용자 단말(100)은 회원 정보, 베스트 영상 정보, 추천 영상 정보, 북마크 정보, 해당 인물의 영상 정보, 이달의 인물 정보 등에 대한 데이터를 요청할 수 있다.
프론트 엔드(120)는 데이터를 전달한다(S206).
이 경우, 프론트 엔드(120)는 사용자 단말(100)이 요청한 데이터를 전달한다.
사용자 단말(100)은 동영상을 요청한다(S207).
사용자 단말(100)은 검색한 인물 이름에 해당하는 영상 데이터를 프론트 엔드(120)의 API에게 요청한다. 도 2에서는 동영상을 검색하기 위한 API로 YouTube Android Player를 사용하는 것을 예로 들어 도시하였지만, 본 발명이 이에 한정되는 것은 아니다. 사용자 단말(100)은 다양한 동영상 검색 API를 사용하여 동영상을 요청할 수 있다.
프론트 엔드(120)의 API는 검색한 동영상을 전달한다(S208).
이 경우, 요청받은 이름에 해당하는 동영상 데이터를 전달할 수 있다.
사용자 단말(100)은 이미지를 요청한다(S209).
사용자 단말(100)은 검색한 인물 이름에 해당하는 이미지 데이터를 서버(140)의 API에게 요청한다. 구체적으로, 인물 값을 주고 이에 대응하는 이미지를 요청할 수 있다. API는 유명인의 얼굴을 인식하거나 이미지를 검색하기 위한 것일 수 있다.
서버(140)는 이미지 URL을 파싱하고(S210), 해당 이미지에 대한 이미지 URL을 프론트 엔드(120)의 API에 전송한다.
이 경우, 프론트 엔드(120)는 API를 통해 URL을 이미지로 변환한 후 이를 사용자 단말(100)에게 전달한다(S211).
본 발명에 의한 인물 기반 동영상 검색서비스는, 사용자가 검색한 인물에 대한 트래킹을 수행하고, 해당 인물이 등장하는 동영상을 인공지능을 통해 검색할 수 있다. 여기서, 트래킹은 동영상 속 특정 인물 혹은 사물의 움직임을 추적하는 것이다.
인물 기반 동영상 검색서비스는 인물 검색 기능을 제공할 수 있다. 이 경우, 사용자가 찾고 싶은 인물을 검색하면, 영상 분석을 통해 구축된 데이터베이스에서 해당 인물에 해당하는 영상정보(video ID, 영상 제목, 조회 수, 날짜)를 불러와 제공할 수 있다. 이를 위해 동영상 검색서비스는 검색 화면을 제공할 수 있다.
또한, 인물 검색 결과 제공 시, 기본 이미지 정보, 등장인물의 이름, 등장 인물의 등장 비율, 등장 시간 및 등장 시작 시간 등에 대한 정보를 검색 화면에 제공할 수 있다.
도 3a와 도 3b는 본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스에 의해 검색되는 결과를 설명하기 위한 도면이다.
도 3a 기존의 텍스트 기반 동영상 검색을 도시한다. 텍스트 기반 동영상 검색은 입력된 텍스트와 관련된 데이터를 검색한다. 구체적으로, 기존에는 동영상 제목이나 태그와, 사용자가 입력한 검색어를 비교하여 검색 결과를 도출한다. 따라서, 동영상 제목이 잘못되거나 검색하고자 하는 동영상 속의 등장 인물이 동영상 제목에 없는 경우 정확하지 않고 신뢰성이 떨어지는 검색 결과를 제공하게 된다.
도 3a를 참조하면, 검색어 elly chung이 입력된다. 이 경우, 텍스트에 기반한 검색을 수행하여, elly chung이라는 텍스트가 제목이나 태그에 들어간 동영상이 검색된다. 따라서, 검색 인물이 거의 등장하지 않는 동영상(310), 내용이 검색 인물과 관련 없는 동영상(312), 검색 인물의 이미지 만이 존재하는 광고 동영상(314) 등도 검색된다.
도 3b는 본 발명에 의한 인물 기반 동영상 검색을 도시한다. 인물 기반 동영상 검색은 입력된 텍스트에 해당하는 인물의 얼굴을 추출하고, 해당 인물의 얼굴과 관련된 데이터를 검색한다. 이에 의해, 검색하고자 하는 인물이 등장하는 동영상을 정확하게 검색한다.
도 3b를 참조하면, 검색어 elly chung이 입력된다. 이 경우, 인물에 기반한 검색을 수행하여, elly chung의 얼굴이 등장하는 동영상이 검색된다. 따라서, 제목이나 태그의 텍스트는 검색 인물을 포함하지 않지만, 검색 인물이 동영상 속의 주인공이거나 등장 비율이 높은 동영상(320, 322, 324)이 검색된다.
도 4는 본 발명의 일 실시 예에 의한 인물 기반 동영상 검색서비스 제공을 위한 얼굴 트래킹 과정을 도시한 도면이다.
동영상을 재생한다(S401).
동영상의 길이와 프레임 등의 정보를 파악한 후, 동영상의 재생을 시작할 수 있다.
동영상에서 얼굴을 검색한다(S402).
구체적으로, 동영상의 영상 프레임에서, StartPoint 알고리즘을 이용하여 얼굴이 최초로 등장하는 프레임을 검출할 수 있다. 이 경우, StartPoint를 이용하여 추적 시작 시점과 좌표 값을 추출할 수 있다.
StartPoint 알고리즘은 다음과 같이 동작한다.
만일, 동영상에서 입력되는 각 프레임에 대해 이전에 검출 및 추적한 얼굴이 없다면, 우선 Haar cascade의 얼굴 정면 및 측면, 그리고 눈 검출기를 이용하여 프레임 내 얼굴 위치를 식 (1)과 같이 ROI(Region Of Interest) 로 지정한다.
식 (1)
Figure pat00001
여기서 (x, y)는 ROI의 왼쪽 상단 좌표, (w, h)는 ROI의 너비와 높이이다.
검출된 얼굴에 대해서는 2개의 이전 프레임에서 검출된 얼굴의 위치와 비교하여 얼굴 검출의 유효성을 판단한다. 즉, 연속된 3개의 프레임에서 검출한 얼굴 ROI에서 중심점을 구해서, 중심점의 차이의 평균이 다음 식 (2)를 만족하는지 계산한다.
식 (2)
Figure pat00002
여기서, c는 i번째 프레임에서 ROI의 중심점을 의미한다.
연속된 프레임에서 검출된 얼굴 영역 중심의 차이가 임계값 미만으로 작을 때는 얼굴 검출이 올바르게 수행되었다고 판단하고, ROI를 다음 단계인 얼굴 추적에서 추적의 시작값으로 전달한다. 이 단계를 통해 얼굴이 최초로 등장하는 프레임을 찾게 된다. 본 실시 예에서는 얼굴 검출 임계값으로 20을 사용할 수 있다.
해당 인물의 객체 정보를 학습한다(S403).
세 개의 프레임에서 하나의 얼굴이 발견되면, 해당 인물의 객체 정보를 학습할 수 있다. 이 경우, CamShift 알고리즘을 사용할 수 있다. CamShift 알고리즘은 StartPoint에서 받은 값에 기초하여 추적을 시작할 수 있다.
CamShift 알고리즘은 동영상의 객체를 찾고 추적하는 트래킹 알고리즘이다. 검출된 얼굴 영역의 ROI가 주어지면, CamShift 알고리즘을 이용하여 얼굴을 추적한다. CamShift 알고리즘은 추적하는 ROI의 크기와 각도가 실시간으로 변화하여, 보다 향상된 객체 추적 결과를 도출할 수 있다.
객체를 추적한다(S404).
CamShift 알고리즘을 이용하여 학습한 객체를 추적한다.
이 경우, 다중 인물 추적 기능을 제공하기 위해 인물값과 추적 성공 횟수의 누적 값을 적절하게 배치하여 관리한다. 이때 동영상의 다양한 가능성을 고려하여 새로운 인물과 동일 인물을 비교하고, 각각에 대하여 추적 성공 횟수를 알맞게 관리할 수 있다.
추적하는 인물의 이름값을 인식한다(S405).
CamShift 알고리즘을 실행하는 동안, CelebrityAPI를 이용하여 추적하는 인물의 이름값을 알아낼 수 있다. 이 경우, CelebrityAPI는 유명인의 얼굴을 검출하는 API(Application Program Interface)로서, 인터넷 서비스 제공자가 제공하는 검색 엔진에 의해 제공될 수 있다. 본 발명에서는 다중 인물 추적 기능을 제공하기 위하여, 인물값과 추적 성공횟수 등의 값을 적절하게 저장하여 데이터를 구축할 수 있다.
새로운 인물인지 판단한다(S406),
인물의 이름값이 새로운 인물인지 또는 기존에 등장했던 인물과 동일인물인지 판별할 수 있다.
객체 추적 영역에 인물의 얼굴이 있는지 판별한다(S407).
CamShift 실행 도중, Compare 알고리즘을 이용하여 객체 추적 영역에 인물의 얼굴이 있는지 판별할 수 있다.
Compare 알고리즘은 트래킹 영역이 올바른지 확인하는 알고리즘이다. 얼굴 트래킹을 하는 중, 트래킹 영역이 얼굴을 놓치는 경우가 있다. 이를 판단하기 위해, Compare 알고리즘을 사용할 수 있다. Camshift 트래킹 영역값을 받아 해당 이미지를 crop한다. 그리고 Haar cascade를 사용하여 정면 얼굴의 개수, 옆면 얼굴의 개수를 찾는다. 얼굴의 개수가 0개 이상이라면 트래킹 영역이 올바르다고 판단한다. 트래킹 영역이 올바르다면 true를 반환하고, 올바르지 않다면 false를 반환한다.
인물의 얼굴 개수가 0이 아닌지 판단한다(S408).
만일, 인물의 얼굴 개수가 0이 아니면(S408-Yes), 화면 전환을 인식한다(S409). 이 경우, CamShift 실행 도중, FeatureMatching 알고리즘을 이용하여 화면 전환을 인식할 수 있다. 본 발명에서는 FeatureMatching 알고리즘을 변형하여 사용하는데, 이에 대해서는 도 5a 및 도 5b에 대한 설명에서 후술한다.
반면, S408 단계에서 인물의 얼굴 개수가 0이면(S408-No), 트래킹 실패로 판단한다(S421). 즉, 객체 추적 영역에 인물의 얼굴이 0개 있을 시 트래킹 실패를 판단한다.
S409 단계에 의해 화면 전환을 인식한 후, 직전 프레임과 현재 프레임이 일치하는지 판단한다(S410).
만일, 직전 프레임과 현재 프레임이 일치하면(S410-Yes), 트래킹 성공으로 판단한다(S411). 반면, 직전 프레임과 현재 프레임이 일치하지 않으면(S410-No), 트래킹 실패로 판단한다(S421).
트래킹이 성공하는 경우(S411), 추적을 계속한다. 이후, 동영상 종료 시, 기본 정보와 추적결과를 저장한다(S412).
트래킹이 실패하는 경우(S421), 추적 객체의 이름과 프레임 수를 저장한 후(S422), S402로 되돌아가 얼굴 검색을 다시 실행한다.
도 5a와 도 5b는 본 발명의 일 실시 예에 의한 인물 기반 동영상 검색에서 사용하는 FeatureMatching 알고리즘을 설명하기 위한 도면이다.
본 발명에서는 기존의 FeatureMatching 알고리즘을 변형하여 적용할 수 있다. Feature Matching 알고리즘은 두 이미지에서의 특징을 BFmatcher로 추출하여 추출한 각 꼭지점들을 선분으로 이어주는 알고리즘이다. 예를 들어, 두 이미지에 있는 인물의 윤곽선의 꼭지점 및 특징점을 추출하여 선분으로 이어준다.
동영상에서 얼굴인식을 하고 난 뒤, 인물이 옆으로 고개를 돌린다던지, 뒷모습을 보여준다던지, 얼굴의 표정변화가 크게 있을 경우 트래킹이 멈춰지는 문제점이 있다.
이러한 경우를 보완하기 위해, 본 발명에서는 직전 프레임과의 차이가 적어 같은 이미지(=직전 프레임의 인물과 현재 프레임의 인물이 같다)라고 판단하면 계속 트래킹을 진행하게 한다. 이를 위해, 두 이미지 속 각 인물들의 특징을 이은 선분의 평균값이 60이하일 경우 같은 이미지라고 판단하여 True값을 반환하고, 아닐 경우 False를 반환할 수 있다. 이에 의해, 트래킹 알고리즘에서 인물의 옆모습, 뒷모습, 큰 표정변화 같이 트래킹을 놓칠 경우, FeatureMatching 알고리즘으로 넘어와 현재 프레임과 직전의 프레임을 비교해 같다고 판정할 경우 계속 트래킹을 시작하게 하는 역할로 활용된다.
도 5a를 참조하면, 두 이미지 속 각 인물들의 특징을 이은 선분의 평균값이 60이하이다. 따라서, Feature Matching 알고리즘에서 True 값을 반환한다. 이 경우, 트래킹을 계속한다.
도 5b를 참조하면, 두 이미지 속 각 인물들의 특징을 이은 선분의 평균값은 60이하가 아니다. 따라서, Feature Matching 알고리즘에서 False 값을 반환한다. 이 경우, 트래킹을 중단하고, 동영상에서 얼굴을 검색하는 과정을 다시 수행한다.
한편, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하지 않는 것으로 이해되어야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디 롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위 내에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 사용자 단말 110: 중간 서버
120: 프론트 엔드 130: 백 엔드
140: 서버

Claims (7)

  1. 인물 기반 동영상 검색서비스의 제공 방법에 있어서,
    검색어를 입력 받는 단계;
    상기 검색어에 대응하는 인물의 영상을 획득하는 단계;
    상기 영상에 기초하여 동영상에서 상기 인물을 검색 및 추적하는 단계; 및
    상기 인물이 소정 비율 이상 등장하는 경우 상기 동영상을 검색 결과로 제공하는 단계를 포함하는 인물 기반 동영상 검색서비스의 제공 방법.
  2. 제1항에 있어서,
    상기 영상의 객체 정보를 추출 및 학습하고, 이에 기초하여 상기 인물을 검색 및 추적하는 인물 기반 동영상 검색서비스의 제공 방법.
  3. 제1항에 있어서,
    상기 동영상의 프레임들 중에서 상기 인물이 최초로 등장하는 프레임을 검출하고, 추적 시작 시점과 좌표 값을 추출하여 저장하는 인물 기반 동영상 검색서비스의 제공 방법.
  4. 제3항에 있어서,
    StartPoint 알고리즘을 이용하여 상기 인물이 최초로 등장하는 프레임을 검출하는 인물 기반 동영상 검색서비스의 제공 방법.
  5. 제1항에 있어서,
    상기 동영상의 프레임의 객체 추적 영역에 상기 인물의 얼굴이 있는지 판단하고, 상기 인물의 얼굴의 존재 여부에 따라 상기 추적의 실패 또는 성공을 판단하는 인물 기반 동영상 검색서비스의 제공 방법.
  6. 제1항에 있어서,
    상기 동영상의 이전 프레임과 현재 프레임의 상기 인물의 얼굴이 같다고 판단하면 상기 추적을 계속하고, 상기 인물이 다르다고 판단하면 상기 추적을 중단하고 상기 인물이 최초로 등장하는 프레임을 재검색하는 인물 기반 동영상 검색서비스의 제공 방법.
  7. 제1항 내지 제6항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020180164883A 2018-12-19 2018-12-19 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션 KR20200076126A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180164883A KR20200076126A (ko) 2018-12-19 2018-12-19 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180164883A KR20200076126A (ko) 2018-12-19 2018-12-19 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션

Publications (1)

Publication Number Publication Date
KR20200076126A true KR20200076126A (ko) 2020-06-29

Family

ID=71401204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164883A KR20200076126A (ko) 2018-12-19 2018-12-19 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션

Country Status (1)

Country Link
KR (1) KR20200076126A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116127133A (zh) * 2023-04-17 2023-05-16 成都苏扶软件开发有限公司 基于人工智能的文件查找方法、系统、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116127133A (zh) * 2023-04-17 2023-05-16 成都苏扶软件开发有限公司 基于人工智能的文件查找方法、系统、设备和介质
CN116127133B (zh) * 2023-04-17 2023-08-08 湖南柚子树文化传媒有限公司 基于人工智能的文件查找方法、系统、设备和介质

Similar Documents

Publication Publication Date Title
JP5106271B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6015568B2 (ja) コンテンツ・リンクを生成する方法、装置およびプログラム
Zhang et al. Automatic parsing and indexing of news video
US8433136B2 (en) Tagging video using character recognition and propagation
US20130148898A1 (en) Clustering objects detected in video
CN112565825A (zh) 一种视频数据处理方法、装置、设备以及介质
US10104345B2 (en) Data-enhanced video viewing system and methods for computer vision processing
CN111314759B (zh) 视频处理方法、装置、电子设备及存储介质
US9449216B1 (en) Detection of cast members in video content
CN112740713A (zh) 用于提供多媒体内容中的关键时刻的方法及其电子设备
JP2006155384A (ja) 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
US11575970B2 (en) Method and device for controlling video playback
US10897658B1 (en) Techniques for annotating media content
KR20090093904A (ko) 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템
JP2009201041A (ja) コンテンツ検索装置およびその表示方法
KR102592904B1 (ko) 영상 요약 장치 및 방법
JP2007200249A (ja) 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
CN109116718B (zh) 设置闹钟的方法及设备
Husa et al. HOST-ATS: automatic thumbnail selection with dashboard-controlled ML pipeline and dynamic user survey
CN114117120A (zh) 基于内容分析的视频文件智能索引生成系统及方法
KR20180017424A (ko) 디스플레이 장치 및 제어 방법
KR20200076126A (ko) 인물 기반 동영상 검색서비스 제공 방법 및 상기 서비스를 제공하는 어플리케이션
CN115080792A (zh) 一种视频关联方法、装置、电子设备及存储介质
US11099811B2 (en) Systems and methods for displaying subjects of an audio portion of content and displaying autocomplete suggestions for a search related to a subject of the audio portion
CN114245171A (zh) 视频编辑方法、装置、电子设备、介质