KR20080074266A - 동영상에서 특정인을 검색하는 방법, 동영상에서 특정인에대한 저작권 보고서를 생성하는 방법 및 장치 - Google Patents

동영상에서 특정인을 검색하는 방법, 동영상에서 특정인에대한 저작권 보고서를 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR20080074266A
KR20080074266A KR1020070013040A KR20070013040A KR20080074266A KR 20080074266 A KR20080074266 A KR 20080074266A KR 1020070013040 A KR1020070013040 A KR 1020070013040A KR 20070013040 A KR20070013040 A KR 20070013040A KR 20080074266 A KR20080074266 A KR 20080074266A
Authority
KR
South Korea
Prior art keywords
video
specific person
voice
searching
search
Prior art date
Application number
KR1020070013040A
Other languages
English (en)
Other versions
KR100865973B1 (ko
Inventor
류중희
김준환
Original Assignee
(주)올라웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)올라웍스 filed Critical (주)올라웍스
Priority to KR1020070013040A priority Critical patent/KR100865973B1/ko
Priority to PCT/KR2008/000757 priority patent/WO2008097051A1/en
Publication of KR20080074266A publication Critical patent/KR20080074266A/ko
Application granted granted Critical
Publication of KR100865973B1 publication Critical patent/KR100865973B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services; Handling legal documents
    • G06Q50/184—Intellectual property management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Abstract

동영상에서 특정인을 자동화된 시스템으로 검색하기 때문에 빠른 속도로 특정인을 검색할 수 있고, 저작권 침해 정도를 알려주는 보고서가 자동으로 생성되기 때문에 저작권자는 저렴한 비용으로 자신의 저작권 침해 여부를 체크할 수 있다. 동영상에서 특정인을 자동으로 검색하는 방법으로는 음성 검색에 기초하여 동영상에서 얼굴 서치 후보 구간을 결정하고나서 이러한 얼굴 서치 후보 구간에서 상기 특정인의 얼굴이 포함된 구간을 찾는 방법 등이 있을 수 있다. 이와 같은 방법에 의해 '특정인의 얼굴이 몇초부터 몇초사이에 등장한다'와 같은 식의 보고서를 자동으로 생성할 수 있다.
저작권, 콘텐츠, 검색, 음성, 얼굴

Description

동영상에서 특정인을 검색하는 방법, 동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법 및 장치{METHOD FOR SEARCHING CERTAIN PERSON AND METHOD AND SYSTEM FOR GENERATING COPYRIGHT REPORT FOR THE CERTAIN PERSON}
도 1은 본 발명의 일 실시예에 따른 동영상에서 특정인에 대한 저작권 보고서를 생성하는 장치를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 인물 검색부를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 동영상에서 특정인에 대한 저작권 보고서를 생성하는 과정을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 동영상에서 특정인을 검색하는 방법을 보여주는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 동영상에서 특정인을 검색하는 방법을 보여주는 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 동영상에서 특정인을 검색하는 방법을 보여주는 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 동영상에서 특정인을 검색하는 방법을 보여주는 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 동영상에서 특정인을 검색하는 방 법을 보여주는 흐름도이다.
본 발명은 동영상에서 특정인을 검색하는 방법과, 동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법 및 장치에 관한 것이다.
최근 사용자 생성 콘텐츠(User Created Contents; 이하, UCC)에 대한 붐이 일고 있다. UCC는 기업체가 아닌 개인이 생성한 콘텐츠를 의미하는데, UCC를 제공하는 다양한 사이트가 점차적으로 늘어나고 있다.
UCC는 사진, 음악, 플래시애니메이션, 동영상 등 다양한 형식의 콘텐츠를 포함하는데, 점차적으로 사진이나 음악과 더불어 동영상과 같은 멀티미디어가 주류를 이루고 있다.
이와 같은 UCC의 확대는 콘텐츠를 제작하는 주체의 다변화를 의미한다. 하지만, 콘텐츠를 제작하는 주체의 다변화 현상에 의해 저작권 침해의 가능성이 높아지고 있는 실정이다. 즉, 기존처럼 소수의 주체에 의해 콘텐츠가 제작되는 경우에는 저작권자는 비교적 손쉽게 자신의 저작권을 보호받을 수 있지만 콘텐츠 제작 주체가 다변화되면서 저작권자는 자신의 저작권을 효과적으로 보호하는데 많은 시간과 비용을 필요로 하게 됐다.
특히 콘텐츠가 동영상인 경우에 사람이 일일이 동영상을 시청하면서 어떤 인물이 어느 시간대에 등장하는지를 판단하는 것은 매우 많은 시간과 비용을 필요로 한다. 따라서 효과적인 저작권 보호를 위하여 동영상에서 특정인이 등장했는지 여부를 쉽게 판별할 수 있는 기법이 필요하다.
또한, 이와 같은 기법을 바탕으로 저작권 침해 정도를 체크함으로써, 많은 시간과 비용을 소모하지 않고도 손쉽게 저작권 침해 관련 보고서가 작성될 수 있게 된다.
본 발명은 상술한 필요에 따라 제안된 것으로, 본 발명의 목적은 동영상에서 특정인을 검색하는 방법을 제공하는 것이다.
또한 본 발명은 특정인에 대한 저작권 침해 정도를 쉽게 체크할 수 있도록 동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법을 제공하는 것을 다른 목적으로 한다.
아울러 본 발명은 동영상에서 특정인에 대한 저작권 보고서를 생성하는 장치를 제공하는 것을 또 다른 목적으로 한다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조하여 설명한다.　 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.　 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다.　 또한, 각 각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.　 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징적인 구성은 하기와 같다:
본 발명의 일 태양에 따르면, 동영상에서 특정인을 검색하는 방법은 음성 검색에 기초하여 동영상에서 얼굴 서치 후보 구간을 결정하는 단계 및 상기 얼굴 서치 후보 구간에서 상기 특정인의 얼굴이 포함된 구간을 찾는 단계를 포함한다.
본 발명의 다른 태양에 따르면, 동영상에서 특정인을 검색하는 방법은 얼굴 인식에 기초하여 동영상에서 음성 서치 후보 구간을 결정하는 단계 및 상기 음성 서치 후보 구간에서 상기 특정인의 음성이 포함된 구간을 찾는 단계를 포함한다.
본 발명의 또 다른 태양에 따르면, 동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법은 동영상을 획득하는 단계, 상기 동영상에서 특정인이 등장한 부분을 검색하는 단계 및 상기 검색 결과에 기초해서 저작권 보고서를 생성하는 단계를 포함한다.
본 발명의 또 다른 태양에 따르면, 동영상에서 특정인에 대한 저작권 보고서를 생성하는 장치는 동영상을 획득하는 동영상 획득부, 상기 획득한 동영상에서 특정인이 등장한 부분을 검색하는 인물 검색부 및 상기 검색 결과에 기초해서 저작권 보고서를 생성하는 저작권 보고서 생성부를 포함한다.
[본 발명의 바람직한 실시예]
이하에서 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 동영상에서 특정인에 대한 저작권 보고서를 생성하는 장치를 보여주는 블록도이다.
저작권 보고서 생성 장치(100)는 동영상을 제공하는 동영상 획득부(110)와 동영상에서 특정인이 등장하는지 여부를 검색하는 인물 검색부(120) 및 인물 등장 정보에 따라 저작권 보고서를 생성하는 저작권 보고서 생성부(130)를 포함한다.
동영상 획득부(110)는 유선 또는 무선 네트워크를 통해 동영상을 획득할 수 있고, 방송을 통해 동영상을 획득할 수도 있다.
인물 검색부(120)는 동영상 획득부(110)에 의해 제공된 동영상에서 특정한 인물이 등장하는지 여부를 고속으로 검색한다.
저작권 보고서 생성부(130)는 인물 검색부(120)에 의한 동영상 검색 결과에 기초해서 저작권 보고서를 생성한다.
도 2는 본 발명의 일 실시예에 따른 인물 검색부를 보여주는 블록도이다.
인물 검색부(120)는 동영상에 포함되어 있는 음성을 검색하는 음성 검색부(220)와 동영상에 포함되어 있는 특정인의 얼굴을 검색하는 이미지 검색부(230)를 포함한다. 또한 인물 검색부(120)는 동영상에서 특정 인물과 관련된 문자열을 검색하는 문자열 검색부(210)를 더 포함할 수 있다.
문자열 검색부(210)는 동영상에 부가된 데이터로부터 특정인과 관련된 문자열 - 이름, 별명 등 - 을 검색한다. 문자열 검색부(210)는 동영상이 디지털 방송으로부터 얻어진 경우에 동영상에 부가된 데이터, 예를 들면 자막 등으로부터 특정인과 관련된 문자열을 검색할 수도 있다.
음성 검색부(220)는 특정 인물을 검색하는 효율을 높이는데 사용될 수 있다. 예를 들어, 음성 검색부(220)는 특정인의 음성이 포함된 구간을 검색할 수 있는데, 이 때 특정인의 음성이 포함된 구간을 이용하여 얼굴 서치 후보 구간을 결정할 수 있다.
특정인의 음성을 검색하는 방식을 사용할 때 자칫하면 검색 오류로 인하여 특정인이 등장한 구간을 스킵할 가능성이 있다. 그렇기 때문에 사람의 음성이 포함된 구간은 전부 검색하도록 음성 검색부(220)를 구현하는 것도 가능하다. 사람의 음성은 성대의 진동으로 인한 주기성, Glottal Closure Instance(GCI)의 존재로 인한 짧은 구간에서의 주기적인 가속, 음성 고유의 스펙트럼 포락(envelope)의 모양 등으로 검색할 수 있다.
얼굴 서치 후보 구간이 결정되면 이미지 검색부(230)는 동영상에서 비교적 적은 구간(즉, 얼굴 서치 후보 구간)에 대해 특정인의 얼굴이 등장했는지 여부를 검색한다.
물론, 이미지 검색부(230)에 의하여 특정인의 얼굴로 인식될 가능성이 높은 사람이 등장했는지 여부를 검색하여 추가 서치가 필요한 비교적 적은 구간(일명, 음성 서치 후보 구간)을 결정한 후, 음성 검색부(220)를 이용하여 음성 서치 후보 구간 내에 특정인의 음성이 포함되어 있는지의 여부를 검색해도 됨을 밝혀둔다. 또한, 이미지 검색부(230)에 의한 특정인의 얼굴에 대한 검색과 음성 검색부(220)에 의한 특정인의 음성에 대한 검색이 병렬적으로 이루어져도 됨을 밝혀둔다. 이와 같은 변형예에 대해서는 본 발명의 명세서 내에서 매번 특별히 언급하지 않아도 이러한 변형예가 적용가능하다는 것에 대해서도 확실히 밝혀두는 바이다.
도 3은 본 발명의 일 실시예에 따른 동영상에서 특정인에 대한 저작권 보고서를 생성하는 과정을 보여주는 흐름도이다.
동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법은 크게 동영상을 획득하는 단계(S310)와 동영상에서 특정인이 등장한 부분을 검색하는 단계(S320) 및 특정인이 등장한 정보(인물 등장 정보)에 기초해서 저작권 보고서를 생성하는 단계(S330)를 포함한다.
동영상을 획득하는 단계(S310)에서, 동영상은 유선 또는 무선 네트워크를 통해 획득되거나, 디지털 방송을 통해 획득된다.
동영상에서 특정인이 등장한 부분을 검색하는 단계(S320)를 통해 특정인이 검색되면, 저작권 보고서 생성 단계(S330)에서 특정인이 등장한 구간에 대한 정보(인물 등장 정보)에 의거하여 저작권 침해 판단을 위한 근거 자료가 될 수 있는 저작권 보고서가 생성될 수 있다.
예를 들어, A라는 동영상에서 "갑"이라는 사람이 등장한 장면은 모두 "3 장면"이고 등장한 시간은 모두 "10분", 등장 시간대는 "xx초부터 xx초까지" 등의 내 용을 포함하는 저작권 보고서가 생성될 수 있다.
저작권 보고서를 통해 저작권자 혹은 초상권자는 특정인이 등장한 장면의 수와 시간대 등을 쉽게 알 수 있고, 이러한 사항을 고려하여 저작권 혹은 초상권 행사여부를 판단할 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른 동영상에서 특정인을 검색하는 방법을 보여주는 흐름도이다.
먼저 동영상에서 특정인의 음성과 유사한 음성을 검색한다(S410).
검색 결과 특정인의 음성이 동영상에 존재하는지 여부를 판단한다(S420).
검색 결과 특정인의 음성이 동영상에서 존재하는 경우에 특정인의 음성이 존재하는 구간(예를 들면 특정인의 음성이 나타나는 장면)을 얼굴 서치 후보 구간으로 결정한다(S430).
얼굴 서치 후보 구간이 결정되면, 얼굴 서치 후보 구간에서 특정인의 얼굴로 인식되는 사람이 포함되어 있는 구간을 검색한다(S440).
도 5는 도 4와 다른 방법으로 동영상에서 특정인을 검색하는 방법을 보여준다.
먼저 동영상에서 사람의 음성을 검색한다(S510). 도 4의 실시예와 달리 특정인의 음성을 검색하지 않고 불특정한 사람의 음성을 검색하는 이유는 음성 검색의 부정확성에 의해 특정인이 포함된 구간이 스킵될 가능성이 있기 때문이다.
검색 결과 사람의 음성이 동영상에 존재하는지 여부를 판단한다(S520).
검색 결과 사람의 음성이 동영상에서 존재하는 경우에 그 구간(예를 들면 사 람의 음성이 나타나는 장면)을 얼굴 서치 후보 구간으로 결정한다(S530).
얼굴 서치 후보 구간이 결정되면, 얼굴 서치 후보 구간에서 특정인의 얼굴로 인식될 만한 사람이 등장하는 구간을 검색한다(S540).
도 6은 또 다른 동영상에서 특정인을 검색하는 방법을 보여준다.
도 4 및 도 5의 실시예와 달리 도 6의 실시예에서는 동영상에서 특정인에 대한 문자열을 먼저 검색한다(S610). 여기서, 문자열이라 함은 앞서 밝힌 바와 같이, 동영상이 디지털 방송으로부터 얻어진 경우에 동영상에 부가된 데이터, 예를 들면 자막 등이 될 수 있다.
특정인에 대한 문자열이 존재하는지 여부를 판단하고(S620), 특정인에 대한 문자열이 존재하지 않는 경우에 해당 동영상에는 특정인이 등장하지 않는 것으로 판단한다.
한편 동영상에서 특정인에 대한 문자열이 존재하는 경우에 동영상에서 특정인의 음성과 유사한 음성을 검색한다(S630).
검색 결과 특정인의 음성이 동영상에 존재하는지 여부를 판단한다(S640).
검색 결과 특정인의 음성이 동영상에서 존재하는 경우에 특정인의 음성이 존재하는 구간(예를 들면 특정인의 음성이 나타나는 장면)을 얼굴 서치 후보 구간으로 결정한다(S650).
얼굴 서치 후보 구간이 결정되면, 얼굴 서치 후보 구간에서 특정인의 얼굴로 인식되는 사람이 포함된 구간을 검색한다(S660).
도 7은 또 다른 동영상에서 특정인을 검색하는 방법을 보여준다.
도 4 및 도 5의 실시예와 달리 도 7의 실시예에서도 도 6에서와 같이 동영상에서 특정인에 대한 문자열을 먼저 검색한다(S710). 문자열의 예에 대해서는 이미 여러 번 밝힌 바 있으므로 여기서는 그 자세한 설명을 생략한다. 특정인에 대한 문자열이 존재하는지 여부를 판단하고(S720), 특정인에 대한 문자열이 존재하지 않는 경우에 해당 동영상에는 특정인이 등장하지 않는 것으로 판단한다.
한편 동영상에서 특정인에 대한 문자열이 존재한다고 판단된 경우에 동영상에서 사람의 음성을 검색한다(S730). 도 6의 실시예와 달리 특정인의 음성을 검색하지 않고 불특정한 사람의 음성을 검색하는 이유는 음성 검색의 부정확성에 의해 특정인이 포함된 구간이 스킵될 가능성이 있기 때문이다. 이에 대해서는 앞서 언급하였으므로 자세한 설명을 하지 않는다.
검색 결과 사람의 음성이 동영상에 존재하는지 여부를 판단한다(S740).
검색 결과 사람의 음성이 동영상에서 존재하는 경우에 사람의 음성이 존재하는 구간(예를 들면 사람의 음성이 나타나는 장면)을 얼굴 서치 후보 구간으로 결정한다(S750).
얼굴 서치 후보 구간이 결정되면, 얼굴 서치 후보 구간에 특정인의 얼굴이 포함된 구간을 검색한다(S760).
도 8은 또 다른 동영상에서 특정인을 검색하는 방법을 보여준다.
먼저 도 6 및 도 7의 실시예와 마찬가지로 동영상에서 특정인과 관련된 문자열을 검색한다(S810). 그렇지만 도 8의 실시예에서 특정인과 관련된 문자열은 얼굴 서치 후보 구간을 결정하는데 사용된다.
그리고 나서 동영상에서 특정인의 음성과 유사한 음성을 검색한다(S820). 물론, S810과 S820은 그 순서가 바뀔 수도 있으며, 병행될 수도 있음을 밝혀둔다.
문자열 검색과 음성 검색이 끝나면 특정인과 관련된 문자열 또는 특정인의 음성이 동영상에 존재하는지 여부를 판단한다(S830).
특정인과 관련된 문자열 또는 특정인의 음성이 동영상에서 존재하는 경우에 특정인과 관련된 문자열 또는 특정인의 음성이 존재하는 구간을 얼굴 서치 후보 구간으로 결정한다(S840). 왜냐하면 특정인과 관련된 문자열 또는 음성이 나타나는 구간은 특정인이 등장할 가능성이 높은 구간이기 때문이다.
얼굴 서치 후보 구간이 결정되면, 얼굴 서치 후보 구간에 특정인의 얼굴이 포함된 구간을 검색한다(S850).
이상과 같이, 도4 내지 도8을 참조로 살펴본 본 발명의 바람직한 실시예는 EPG(Electronic Program Guide)와 같은 메타 데이터를 이용하여 구체화될 수도 있다. 예를 들면, 동영상의 검색에 앞서 가장 우선적으로 EPG에 나온 출연자들을 검색하여 그 중에 대상 인물이 있을 때에는 그에 해당되는 동영상에서 대상 인물을 서치할 수 있다. 이에 의하면 좀 더 정확도 높은 동영상 검색이 가능하게 된다.
하지만, 이러한 EPG에는 주요 출연자들만 포함되는 것이 일반적이므로 EPG의 내용으로부터 대상 인물이 검색되지 않았다고 하여 해당 동영상의 내용에 대한 검사를 하지 않는 것은 정확도 측면에서 바람직하지 않을 수 있음을 밝혀둔다. 다만, EPG의 경우는 KBS, MBC 등의 방송국에서 제공되는 동영상의 경우에 이용가능하며, 해적 동영상 등의 경우에는 EPG가 없으므로 이를 이용할 수 없다.
본 발명에 따르면 사람의 수작업을 줄이고 동영상에서 빠른 속도로 특정인을 검색할 수 있다.
또한 본 발명에 따르면 특정인에 대한 저작권 보고서를 자동으로 생성하기 때문에 저작권자는 자신에 대한 저작권 침해 정도를 쉽게 체크할 수 있다.
이와 같이 본 발명에 따르면 동영상에서 특정인을 빠른 속도로 찾을 수 있고, 저작권 침해 정도를 저작권자가 쉽게 체크할 수 있기 때문에 저작권자는 자신의 권리를 효과적으로 보호받을 수 있다.

Claims (24)

  1. 음성 검색에 기초하여 동영상에서 얼굴 서치 후보 구간을 결정하는 단계; 및
    상기 얼굴 서치 후보 구간에서 상기 특정인의 얼굴이 포함된 구간을 찾는 단계를 포함하는
    동영상에서 특정인을 검색하는 방법.
  2. 제1항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 상기 특정인의 음성을 검색하는 단계; 및
    상기 특정인의 음성이 존재하는 구간을 상기 얼굴 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인을 검색하는 방법.
  3. 제1항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 사람의 음성을 검색하는 단계; 및
    상기 사람의 음성이 존재하는 구간을 상기 얼굴 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인을 검색하는 방법.
  4. 제1항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 상기 특정인과 관련된 문자열을 검색하는 단계;
    상기 동영상에서 상기 특정인과 관련된 상기 문자열이 존재할 경우에, 상기 동영상에서 상기 특정인의 음성을 검색하는 단계; 및
    상기 특정인의 음성이 존재하는 구간을 상기 얼굴 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인을 검색하는 방법.
  5. 제1항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 상기 특정인과 관련된 문자열을 검색하는 단계;
    상기 동영상에서 상기 특정인과 관련된 상기 문자열이 존재할 경우에, 상기 동영상에서 사람의 음성을 검색하는 단계; 및
    상기 사람의 음성이 존재하는 구간을 상기 얼굴 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인을 검색하는 방법.
  6. 제1항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 상기 특정인과 관련된 문자열을 검색하는 단계;
    상기 동영상에서 상기 특정인의 음성을 검색하는 단계; 및
    상기 특정인과 관련된 상기 문자열이 검색된 구간 및 상기 특정인의 음성이 존재하는 구간 중 적어도 하나를 기초로 상기 얼굴 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인을 검색하는 방법.
  7. 제4항 내지 제6항에 있어서,
    상기 문자열은 상기 동영상에 포함된 자막인 것을 특징으로 하는
    동영상에서 특정인을 검색하는 방법.
  8. 제1항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계 이전에, 상기 동영상에 관한 EPG 에 상기 특정인이 포함되어 있는지를 검색하는 단계를 더 포함하는 것을 특징으로 하는
    동영상에서 특정인을 검색하는 방법.
  9. 얼굴 인식에 기초하여 동영상에서 음성 서치 후보 구간을 결정하는 단계; 및
    상기 음성 서치 후보 구간에서 상기 특정인의 음성이 포함된 구간을 찾는 단 계를 포함하는
    동영상에서 특정인을 검색하는 방법.
  10. 제9항에 있어서,
    상기 음성 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 상기 특정인의 얼굴을 검색하는 단계; 및
    상기 특정인의 얼굴이 존재하는 구간을 상기 음성 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인을 검색하는 방법.
  11. 제9항에 있어서,
    상기 음성 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 상기 특정인과 관련된 문자열을 검색하는 단계;
    상기 동영상에서 상기 특정인과 관련된 상기 문자열이 존재할 경우에, 상기 동영상에서 상기 특정인의 얼굴을 검색하는 단계; 및
    상기 특정인의 얼굴이 존재하는 구간을 상기 음성 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인을 검색하는 방법.
  12. 제9항에 있어서,
    상기 음성 서치 후보 구간을 결정하는 단계 이전에, 상기 동영상에 관한 EPG 에 상기 특정인이 포함되어 있는지를 검색하는 단계를 더 포함하는 것을 특징으로 하는
    동영상에서 특정인을 검색하는 방법.
  13. 동영상을 획득하는 단계;
    상기 동영상에서 특정인이 등장한 부분을 검색하는 단계; 및
    상기 검색 결과에 기초해서 저작권 보고서를 생성하는 단계를 포함하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법.
  14. 제13항에 있어서,
    상기 특정인이 등장한 부분을 검색하는 단계는
    음성 검색에 기초하여 상기 동영상에서 얼굴 서치 후보 구간을 결정하는 단계; 및
    상기 얼굴 서치 후보 구간에서 상기 특정인의 얼굴이 포함된 구간을 찾는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법.
  15. 제13항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 상기 특정인의 음성을 검색하는 단계; 및
    상기 특정인의 음성이 존재하는 구간을 상기 얼굴 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법.
  16. 제13항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 사람의 음성을 검색하는 단계; 및
    상기 사람의 음성이 존재하는 구간을 상기 얼굴 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법.
  17. 제13항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 상기 특정인과 관련된 문자열을 검색하는 단계;
    상기 동영상에서 상기 특정인과 관련된 상기 문자열이 존재할 경우에, 상기 동영상에서 상기 특정인의 음성을 검색하는 단계; 및
    상기 특정인의 음성이 존재하는 구간을 상기 얼굴 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법.
  18. 제13항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 상기 특정인과 관련된 문자열을 검색하는 단계;
    상기 동영상에서 상기 특정인과 관련된 상기 문자열이 존재할 경우에, 상기 동영상에서 사람의 음성을 검색하는 단계; 및
    상기 사람의 음성이 존재하는 구간을 상기 얼굴 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법.
  19. 제13항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계는
    상기 동영상에서 상기 특정인과 관련된 문자열을 검색하는 단계;
    상기 동영상에서 상기 특정인의 음성을 검색하는 단계; 및
    상기 특정인과 관련된 상기 문자열이 검색된 구간 및 상기 특정인의 음성이 존재하는 구간 중 적어도 하나에 기초하여 상기 얼굴 서치 후보 구간으로 결정하는 단계를 포함하는 것을 특징으로 하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법.
  20. 제17항 내지 제19항에 있어서,
    상기 문자열은 상기 동영상에 포함된 자막인 것을 특징으로 하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법.
  21. 제13항에 있어서,
    상기 얼굴 서치 후보 구간을 결정하는 단계 이전에, 상기 동영상에 관한 EPG 에 상기 특정인이 포함되어 있는지를 검색하는 단계를 더 포함하는 것을 특징으로 하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 방법.
  22. 제1항 내지 제21항 중 어느 한 항의 방법을 실행하기 위한 컴퓨터로 읽을 수 있는 프로그램을 기록한 매체.
  23. 동영상을 획득하는 동영상 획득부;
    상기 획득한 동영상에서 특정인이 등장한 부분을 검색하는 인물 검색부; 및
    상기 검색 결과에 기초해서 저작권 보고서를 생성하는 저작권 보고서 생성부를 포함하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 장치.
  24. 제23항에 있어서,
    상기 인물 검색부는
    상기 동영상에서 상기 특정인과 관련된 문자열을 검색하는 문자열 검색부;
    상기 동영상에서 상기 특정인의 음성과 관련된 음성이 존재하는 부분을 검색하는 음성 검색부;
    상기 동영상에서 상기 특정인의 얼굴로 인식되는 사람이 등장하는 부분을 검색하는 이미지 검색부를 포함하는 것을 특징으로 하는
    동영상에서 특정인에 대한 저작권 보고서를 생성하는 장치.
KR1020070013040A 2007-02-08 2007-02-08 동영상에서 특정인을 검색하는 방법, 동영상에서 특정인에대한 저작권 보고서를 생성하는 방법 및 장치 KR100865973B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070013040A KR100865973B1 (ko) 2007-02-08 2007-02-08 동영상에서 특정인을 검색하는 방법, 동영상에서 특정인에대한 저작권 보고서를 생성하는 방법 및 장치
PCT/KR2008/000757 WO2008097051A1 (en) 2007-02-08 2008-02-05 Method for searching specific person included in digital data, and method and apparatus for producing copyright report for the specific person

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070013040A KR100865973B1 (ko) 2007-02-08 2007-02-08 동영상에서 특정인을 검색하는 방법, 동영상에서 특정인에대한 저작권 보고서를 생성하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080074266A true KR20080074266A (ko) 2008-08-13
KR100865973B1 KR100865973B1 (ko) 2008-10-30

Family

ID=39681894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070013040A KR100865973B1 (ko) 2007-02-08 2007-02-08 동영상에서 특정인을 검색하는 방법, 동영상에서 특정인에대한 저작권 보고서를 생성하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR100865973B1 (ko)
WO (1) WO2008097051A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160135151A (ko) * 2016-11-17 2016-11-25 주식회사 엘지유플러스 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
KR20160135150A (ko) * 2016-11-17 2016-11-25 주식회사 엘지유플러스 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
KR20160135152A (ko) * 2016-11-17 2016-11-25 주식회사 엘지유플러스 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
CN106569946A (zh) * 2016-10-31 2017-04-19 惠州Tcl移动通信有限公司 一种移动终端性能测试方法及系统
US10915574B2 (en) 2017-12-12 2021-02-09 Electronics And Telecommunications Research Institute Apparatus and method for recognizing person

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7953720B1 (en) 2005-03-31 2011-05-31 Google Inc. Selecting the best answer to a fact query from among a set of potential answers
US7587387B2 (en) 2005-03-31 2009-09-08 Google Inc. User interface for facts query engine with snippets from information sources that include query terms and answer terms
US8055674B2 (en) 2006-02-17 2011-11-08 Google Inc. Annotation framework
US20070185870A1 (en) 2006-01-27 2007-08-09 Hogue Andrew W Data object visualization using graphs
US8954426B2 (en) 2006-02-17 2015-02-10 Google Inc. Query language
US7925676B2 (en) 2006-01-27 2011-04-12 Google Inc. Data object visualization using maps
US8347202B1 (en) 2007-03-14 2013-01-01 Google Inc. Determining geographic locations for place names in a fact repository
US20120102066A1 (en) * 2009-06-30 2012-04-26 Nokia Corporation Method, Devices and a Service for Searching
US9135277B2 (en) * 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US9087059B2 (en) 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US8670597B2 (en) 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
US8811742B2 (en) 2009-12-02 2014-08-19 Google Inc. Identifying matching canonical documents consistent with visual query structural information
US9183224B2 (en) 2009-12-02 2015-11-10 Google Inc. Identifying matching canonical documents in response to a visual query
US8805079B2 (en) 2009-12-02 2014-08-12 Google Inc. Identifying matching canonical documents in response to a visual query and in accordance with geographic information
US9405772B2 (en) 2009-12-02 2016-08-02 Google Inc. Actionable search results for street view visual queries
US8977639B2 (en) 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
US9852156B2 (en) 2009-12-03 2017-12-26 Google Inc. Hybrid use of location sensor data and visual query to return local listings for visual query
KR101079180B1 (ko) * 2010-01-22 2011-11-02 주식회사 상상커뮤니케이션 특정인 검색을 위한 질의기반 영상 검색 장치 및 방법
US8935246B2 (en) 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
WO2019095221A1 (zh) * 2017-11-16 2019-05-23 深圳前海达闼云端智能科技有限公司 人物搜寻方法、装置、终端及云端服务器
KR20190142192A (ko) * 2018-06-15 2019-12-26 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100636910B1 (ko) * 1998-07-28 2007-01-31 엘지전자 주식회사 동영상검색시스템
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
KR20040071369A (ko) * 2003-02-05 2004-08-12 (주)에어스파이더 디지탈 영상자료 검색 시스템
KR20050051857A (ko) * 2003-11-28 2005-06-02 삼성전자주식회사 오디오 정보를 이용한 영상 검색 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569946A (zh) * 2016-10-31 2017-04-19 惠州Tcl移动通信有限公司 一种移动终端性能测试方法及系统
KR20160135151A (ko) * 2016-11-17 2016-11-25 주식회사 엘지유플러스 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
KR20160135150A (ko) * 2016-11-17 2016-11-25 주식회사 엘지유플러스 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
KR20160135152A (ko) * 2016-11-17 2016-11-25 주식회사 엘지유플러스 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
US10915574B2 (en) 2017-12-12 2021-02-09 Electronics And Telecommunications Research Institute Apparatus and method for recognizing person

Also Published As

Publication number Publication date
KR100865973B1 (ko) 2008-10-30
WO2008097051A1 (en) 2008-08-14

Similar Documents

Publication Publication Date Title
KR100865973B1 (ko) 동영상에서 특정인을 검색하는 방법, 동영상에서 특정인에대한 저작권 보고서를 생성하는 방법 및 장치
US10860639B2 (en) Query response using media consumption history
US8466961B2 (en) Apparatus and method for outputting video images, and purchasing system
KR100828371B1 (ko) 컨텐츠의 메타 데이터 생성 방법 및 장치
CN109819338A (zh) 一种视频自动剪辑方法、装置及便携式终端
US20050228665A1 (en) Metadata preparing device, preparing method therefor and retrieving device
US9659595B2 (en) Video remixing system
KR100803747B1 (ko) 요약 클립 생성 시스템 및 이를 이용한 요약 클립 생성방법
CN110035326A (zh) 字幕生成、基于字幕的视频检索方法、装置和电子设备
JP5218766B2 (ja) 権利情報抽出装置、権利情報抽出方法及びプログラム
JP2010072708A (ja) 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体
JP4621758B2 (ja) コンテンツ情報再生装置、コンテンツ情報再生システム、および情報処理装置
US20100209069A1 (en) System and Method for Pre-Engineering Video Clips
KR101916874B1 (ko) 자동으로 동영상 하이라이트 영상의 제목을 생성하는 방법, 장치 및 컴퓨터 판독가능 기록 매체
US20140147100A1 (en) Methods and systems of editing and decoding a video file
JP2006155384A (ja) 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
KR20150083355A (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
CN108683924A (zh) 一种视频处理的方法和装置
US20100036781A1 (en) Apparatus and method providing retrieval of illegal motion picture data
KR20180133894A (ko) 오디오를 포함하는 콘텐츠에 대한 보조 데이터의 동기화
JP2005025413A (ja) コンテンツ処理装置、コンテンツ処理方法及びプログラム
KR102585575B1 (ko) 보조 데이터로서 좌표
WO2017056387A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101001796B1 (ko) 동영상을 이용한 광고 방법 및 시스템
US20200151917A1 (en) Image reproduction device, information processing device, image reproduction method, and data structure of image data

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120919

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151002

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee