KR101203931B1 - 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 압축 및 순위 결정 방법 - Google Patents

Abstract

동영상 내 등장인물의 효율적인 검색을 위한 포스팅 리스트 압축 및 순위 결정 방법이 제공된다. 본 발명은 등장인물이 나타나는 각각의 프레임들의 리스트를 유지하는 대신, 비슷한 유사도를 갖는 연속적인 프레임들을 프레임 구간으로 표시함으로써 정보 손실을 최소화하는 효율적인 압축 기법을 제공한다. 그리고 검색 인물과 관련된 동영상의 순위를 결정하기 위하여 각 동영상들에 대하여 프레임별 검색 인물과 등장인물의 정확도, 동영상에서 검색 인물이 등장하는 시간, 동영상에서 검색 인물이 등장하는 시간의 비율을 이용한다. 본 발명에 의하면 포스팅 리스트의 크기를 줄임으로써 인물 검색을 위한 색인 저장공간의 낭비를 방지할 수 있으며 질의 처리 시간을 향상시킬 수 있다. 또한 등장인물과 관련된 동영상의 순위를 정확하게 측정함으로써, 등장인물과 관련된 동영상의 검색 성능을 향상시키는 효과가 있다.

Description

동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 압축 및 순위 결정 방법{POSTING LIST COMPRESSION AND RANKING METHOD FOR EFFICIENT SEARCHING A PERSON ON VIDEOS}

본 발명은 동영상 검색 시스템에서 등장인물을 검색하는 기술에 관한 것으로, 더욱 상세하게는 동영상에서 프레임 기반으로 등장인물의 검색을 위한 색인 구성 시 포스팅 리스트의 크기를 줄이고, 검색 인물과 관련된 동영상의 순위를 정확하게 측정하는데 적당하도록 한 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 압축 및 순위 결정 방법에 관한 것이다.

종래의 동영상 검색 시스템에서는 동영상 파일의 등장인물 검색을 위하여 인물 또는 인물과 관련된 정보들을 사람이 직접 수동으로 태깅을 하고, 키워드 기반의 질의를 수행하는 방식을 주로 사용하였다. 그런데, 이와 같은 방법은 동영상이 대량 및 대용량화가 됨에 따라 많은 시간이 소요되기 때문에 비효율적이다.

최근 들어, 영상 처리 기술이 발달함에 따라 동영상 내에서 얼굴 인식 기술을 이용하여 동영상을 자동 색인하는 연구가 활발히 이루어지고 있다. 자동 색인은 도 1과 같이 동영상의 각 프레임에 대해 얼굴 영역들을 검출하고, 각 얼굴에 대해 인물 데이터베이스를 이용해 인물을 식별하여 자동 태깅한 후 색인에 삽입하는 기술이다. 이 기술은 인물 검색 시스템, 방송 영상편집 시스템, 기록물 관리 시스템 등 다양한 응용 분야에서 활용이 가능하다.

종래의 얼굴 인식 기술을 활용한 자동 색인 기술은 사람이 수동으로 태깅을 수행하는 비효율성은 해결하지만, 등장인물을 100% 정확하게 검출하지 못하는 것을 감안하여 검출된 인물에 대하여 인식 정확도(proximity)를 함께 표현한다. 따라서, 등장인물 검색을 위한 색인 구성 시, 색인 정보에는 정확도를 포함하는 동영상 파일 ID, 프레임 번호, 등장인물, 정확도와 같은 구조정보를 포함해야 한다. 예를 들어 "V1, 345, 홍길동, 80%"는 동영상 V1의 345번째 프레임에 홍길동과 80% 유사한 인물이 등장함을 의미한다. 이와 같은 정보는 또한 기존 문서 기반의 키워드 색인 방법과 유사하게 "동영상 ID-문서 ID", "프레임 번호-단어의 문서 내 위치", "등장인물의 출현빈도-특정 단어의 출현 빈도(term frequency)"와 같이 매핑되어 역색인(inverted index)을 구성함으로써 등장인물이 나타나는 프레임 위치까지를 검색할 수 있는 프레임 기반 검색(frame based search)을 가능하게 한다.

그러나, 종래 기술에 의한 동영상 검색 시스템에 있어서는, 문서 검색을 위한 포스팅 리스트에 포함되는 색인 정보와 그 구성이 다르기 때문에 영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 저장기술이 요구된다.

따라서, 본 발명의 목적은 동영상에서 등장인물 자동 색인 정보를 포스팅 리스트에 효율적으로 표현하여 그 정보량을 최소화 하는데 있다.

본 발명의 또 다른 목적은 각 동영상들에 대하여 프레임별 검색 인물과 등장인물의 정확도, 동영상에서 검색 인물이 등장하는 시간, 동영상에서 검색 인물이 등장하는 시간의 비율과 같은 프레임 수준의 색인 정보를 이용하여 검색 인물과 관련된 동영상의 순위를 정확하게 측정하는데 있다.

본 발명의 목적들은 앞에서 언급한 목적으로 제한되지 않는다. 본 발명의 다른 목적 및 장점들은 아래 설명에 의해 더욱 분명하게 이해될 것이다.

상기와 같은 목적을 달성하기 위한 본 발명은, a) 등장인물이 나타나는 프레임과 등장인물의 인식 유사도를 이용한 프레임 기반 등장인물 검색을 위한 색인을 구성할 때, 등장인물이 나타나는 각각의 프레임에 대하여 연속적인 프레임을 하나의 구간으로 표현하되, 포스팅 리스트의 차이를 이용하여 구간의 시작 프레임 번호와 구간의 크기로 표현하여 포스팅 리스트의 크기를 줄이는 단계; b) 등장인물이 나타나는 연속적인 프레임들을 하나의 구간으로 압축할 때, 연속적이지 않은 두 프레임 구간들을 병합하는 단계;를 포함하여 이루어진다.

상기와 같은 목적을 달성하기 위한 또 다른 본 발명은, 검색 인물과 관련된 동영상 검색 시, 동영상 내 검색 인물이 등장하는 프레임 리스트들의 유사도 평균값, 전체 동영상 길이의 평균값과 동영상에서 검색 인물이 등장하는 프레임 길이의 비율 및, 동영상의 길이와 동영상에서 검색 인물이 나타나는 구간의 비율을 고려하여 검색 인물과 관련된 동영상의 순위를 결정한다.

본 발명을 이용하여 프레임 기반의 등장인물 색인 구성시 등장인물에 색인 정보를 포스팅 리스트에 효율적으로 표현할 수 있으며, 또한 포스팅 리스트의 크기를 줄일 수 있는 효과가 있다.

또한, 본 발명은 프레임 수준의 등장인물 색인 정보를 활용하여 검색 인물과 환경된 동영상을 검색함으로써, 단순히 동영상에 부여한 태깅 정보에 의존하는 키워드 기반 검색보다 더욱 정확한 검색을 효율적으로 수행할 수 있는 이점이 있다.

도 1은 종래 기술에 의한 얼굴 인식 기술을 활용한 자동 색인 과정을 나타낸 설명도이다.
도 2는 본 발명의 자동 색인을 위한 포스팅 리스트의 포맷 예시도이다.
도 3은 본 발명의 자동 색인을 위한 포스팅 리스트 정보의 예시도이다.
도 4는 본 발명의 일실시예에 따른 포스팅 리스트 압축 및 순위 결정 방법이 적용되는 시스템의 개략도이다.
도 5는 본 발명의 일실시예에 의한 포스팅 리스트 압축 방법의 신호 흐름도이다.
도 6은 본 발명의 일실시예에 의한 병합 오차율 한도의 예시 그래프이다.
도 7은 본 발명의 일실시예에 의한 압축된 포스팅 리스트에 대한 인물별 순위 점수 측정 예시도이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.

도 5는 본 발명에 의한 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 압축 방법의 신호 흐름도이다.

도 5를 참조하면, 등장 인물이 나타나는 프레임과 등장인물의 인식 유사도(proximity)를 이용하여 프레임 기반의 등장인물 검색을 위한 색인을 구성할 때 연속적인 프레임들을 하나의 구간으로 표현하는데, 이때 프스팅 리스트의 차이를 이용하여 구간의 시작프레임 번호와 구간의 크기로 표현하여 포스팅 리스트의 크기를 줄이게 된다(S1-S3).

상기와 같은 포스팅 리스트 처리과정을 통해 포스팅 리스트의 크기를 줄이는 것에 대하여 좀 더 상세히 설명하면 다음과 같다.

인물 인식 기반을 이용한 자동 색인 기술은 등장인물에 대한 인식률이 100%가 아니기 때문에 포스팅 리스트에 정확도라는 새로운 요소가 포함되어야 한다. 이를 위해 도 2에서와 같이 등장인물 ID, 인식 정확도, 등장인물의 시작 프레임 번호 및 끝 프레임 번호를 포함하는 자동 색인을 위한 포스팅 리스트를 저장한다. 그리고, 상기와 같은 포스팅 리스트를 바탕으로 전체의 프레임 구간을 정확도별 프레임 구간으로 구분하여 관리한다.

그런데, 등장인물이 나타나는 프레임 위치 수준까지 검색할 수 있는 프레임 기반 검색을 위한 색인 구성 시 대량의 색인 정보가 생성되는 문제가 발생한다. 예를 들어, 29.97 fps( frames per second)의 프레임 율을 갖는 1시간 분량의 동영상은 107,892개의 프레임들로 구성되기 때문에 하나의 동영상에서 10만개 이상의 색인 정보가 생성될 수도 있다. 이와 같은 색인 정보의 증가는 색인 저장 공간의 낭비와 함께 질의 처리 시간이 길어지는 원인이 되기 때문에 새로운 포스팅 리스트 압축 방법이 요구된다.

동영상 내 등장인물에 대한 프레임 수준의 색인을 구성하기 위해 동영상의 집합(Video Collection)은

으로 표현한다. 그리고, 상기

로부터 색인을 위해 각 동영상

는 다음의 [수학식1]과 같은 등장인물 리스트를 갖는다.

각 동영상의 인물 리스트는 등장인물, 인식된 인물의 유사도, 인물의 등장이 시작되는 프레임 번호 및 끝나는 프레임번호를 포함하며, 다음의 [수학식2]와 같이 표현된다.

상기와 같은 동영상의 인물 리스트 구조는 문서기반의 포스팅 리스트에서 차이 기법을 이용하여

를

로 표현하고, 다음의 [수학식3]과 같은 구조로 변경된다.

예를 들면,

은 0.70의 정확도로 인식된 홍길동이라는 인물이 프레임번호 1000~1200, 1500~2000, 2200~2550 구간에서 나타난다는 것을 의미하며 이것은 다음의 [수학식4]와 같이 표현될 수 있다.

상기 포스팅 리스트 압축을 위한 비연속적인 두 프레임 구간의 병합에 대하여 설명하면 다음과 같다.

동영상에서의 등장인물에 대한 색인 구성 시 연속적인 프레임들에 대해서만 구간으로 표현하면 너무 많은 수의 프레임 구간이 생성되어 포스팅 리스트의 크기가 커지는 현상이 발생한다. 실제 동영상에서 10 프레임의 차이는 0.3초 정도에 해당하는 매우 짧은 시간이기 때문에 서로 분리된 프레임 구간으로 취급할 필요가 없다. 따라서, 구간 사이의 거리가 임계 조건을 만족할 때 두 구간을 병합하여 하나의 구간으로 간주함으로써, 포스팅리스트의 크기를 줄일 수 있게 된다. 예를 들어, 프레임 구간으로 구성된 포스팅 리스트 {홍길동, 80%, (345, 560)}과 {홍길동, 80%, (570, 650)}을 {홍길동, 80%, (345, 650)}으로 병합한다.

이러한 리스트는 각 동영상에 대해서 인물별 정확도로 작성된다. 하나의 동영상에서 색인 대상의 프레임 구간들은 인물 및 인식 정확도별로 다양하게 나타난다. 정확도와 작성된 동영상들은 도 3과 같이 하나의 인물에 대해 여러 가지 정확도를 가지게 된다. 따라서, 도 3에서와 같이 프레임 구간을 병합 시, 각 프레임 구간들 간의 거리뿐만 아니라 정확도까지 고려해야 한다. 서로 다른 프레임 구간의 병합 시, 해당 구간들의 길이(

)와 정확도(

)를 이용하여 다음의 [수학식5]와 같이 정확도와 길이의 가중 평균을 계산한다(S4).

만약 b와 d의 병합, d와 g의 병합과 같이 구간과 구간간의 거리가 큰 경우에는 다음의 [수학식6]과 같은 가중 평균 식을 사용한다.

여기서,

은 구간

과

사이의 빈 구간의 거리이고,

는 얼굴인식 모듈에서 출력 여부를 결정할 때 사용하는 파라메터로 최소 정확도를 나타낸다. 따라서, 빈 구간의 정확도는 0부터

구간 사이에 존재한다. 빈 구간의 정확도는 중간값인

를 사용하기로 한다.

병합 수행 여부를 평가 시 두 구간에 대하여 계산된 가중 평균값과 병합 이전의 각 구간의 가중 평균값을 비교하여 주어지는 병합 오차율 한도(임계값)

보다 작으면 병합을 수행하여 각 구간은 새로운 하나의 프레임 구간으로 대체한다(S5-S7). 이때, 병합 대상 구간의 가중평균(A)은 다음의 [수학식7]로, 병합후의 가중평균(C)은 다음의 [수학식8]로 표현된다.

여기서, 병합 수행조건

이고,

이다.

이러한 프레임 구간의 병합을 통하여 프레임 리스트의 수를 줄임으로써, 색인의 크기와 질의 처리 속도를 향상시킬 수 있다. 아래의 표는 동영상 인물 색인의 표스팅 리스트를 압축하는 의사코드를 나타낸 것이다.

등장인물과 관련된 질의에 대하여

로부터 해당 인물을 포함한 동영상을 결과로 반환한다. 단순한 태깅 기반의 인물 색인 방법을 사용할 경우에는 해당 인물 태그가 포함된 모든 동영상을 같은 결과로 반환할 것이다. 그러나, 작동 색인 방법으로 등장인물 색인이 구성되면 각 프레임별 등장인물 인식의 정확도와 등장 인물을 나타내는 프레임 위치 정보를 알 수 있다. 이와 같은 정보를 이용하여 등장인물이 나타나는 프레임 위치 정보를 알 수 있다. 이와 같은 정보를 이용하여 등장인물이 나타나는 유사한 동영상에 대하여 등장인물과 더욱 관련이 있는 순위를 부여함으로써 더 정확한 질의 결과를 만들 수 있다.

각 동영상 및 프레임 별 등장인물 정확도와 동영상 내에서 등장인물이 나타나는 유사한 동영상들에 대하여 등장인물과 더욱 관련이 있는 순위를 부여함으로써 더 정확한 질의 결과를 만들 수 있다.

각 동영상 및 프레임 별 등장인물 정확도와 동영상 내에서 등장인물이 나타나는 프레임의 시간을 반영할 수 있는 새로운 인물별 동영상 순위 측정 방법을 제안한다. 등장인물에 대한 동영상의 순위를 결정하기 위하여 다음의 3가지 요소를 고려한다.

첫째, 동영상 내 검색 인물이 등장하는 프레임 리스트들의 유사도 평균값을 고려한다. 상기 유사도 평균값은 동영상에 등장하는 인물과 검색 인물과의 유사도를 반영하는 요소이며, 각 가중평균에 대한 평균값을 취하며 0.0에서 1.0 사이의 값을 갖는 것으로 이는 다음의 [수학식 9]와 같이 표현된다.

둘째, 전체 동영상 길이의 평균값과 동영상에서 검색 인물이 등장하는 프레임 길이의 비율을 고려한다. 상기 프레임 길이의 비율은 해당 동영상이 검색 인물이 나타나는 프레임을 얼마나 가지고 있는지에 대한 절대 길이 요소이며,해당 값은 1.0 이상이면 1.0이라고 가정한다. 등장인물의 등장 구간이 전체 동영상의 평균 길이보다 길면 1.0 이상의 값을 갖게 되며, 이는 평균적인 동영상의 길이만큼 해당 인물이 등장한다 것을 의미하는 것으로, 다음의 [수학식 10]과 같이 표현된다.

셋째, 동영상의 길이와 동영상에서 검색 인물이 나타나는 구간의 비율을 고려한다. 상기 검색 인물이 나타나는 구간의 비율은 동영상에서 검색 인물이 나타나는 프레임을 얼마나 가지고 있는지에 대한 상대 길이 요소로서 0.0~1.0 사이의 값을 가지며, 다음의 [수학식 11]로 표현된다.

그리고, 각각의 요소와 요소별 가중치

를 이용하여 검색 인물에 대해 순위점수를 다음의 [수학식 12]와 같이 측정한다.

그리고, 계산된 유사도의 순위에 따라 검색 인물과 관련된 동영상의 순위가 정해진다. 이와 같은 프레임 수준의 등장인물 색인 정보를 이용한 순위 결정 방법은 단순히 동영상에 부여한 태깅 정보에 의존하는 키워드 기반 검색보다 더욱 정확한 검색을 효율적으로 수행할 수 있다.

한편, 본 발명의 실시예의 동영상 포스팅 리스트의 압축 방법에 대한 저장 공간 사용량 비교와 동영상 문서들에 대한 순위 측정 성능 평가는 다음과 같이 나타났다.

먼저, 동영상 포스팅 리스트의 압축 성능과 동영상 문서들에 대한 순위를 측정하기 위한 환경은 다음의 표와 같다.

성능평가를 위한 테스트 데이터는 10편의 역대 대통령 영상으로부터 추출된 대통령이 등장하는 프레임들이다. 테스트 데이터는 7명의 역대 대통령과 10개의 영상, 각 영상으로부터 추출된 243개의 프레임 정보들이다.

동영상 포스팅 리스트의 압축 성능 평가에 대해 살펴보면, 도 6은 프레임 구간 간의 병합을 평가하는 데 있어서 병합 오차율 한도

를 1%. 5%, 10%, 15%, 20%로 부여했을 때, 그에 따른 원본 대비 저장 공간의 사용률을 나타낸 것이다. 상기

가 0%이면 프레임 구간 사이에 병합이 일어나기 전과 후의 가중 평균값의 변화가 없어야 함을 의미하고, 20%는 병합 전과 병합 후의 가중 평균값의 차이가 20% 이내에 존재하여야 병합된다는 것을 의미한다. 상기 도 6에서

이 1%인 경우는 압축을 하지 않았을 때와 저장 공간 사용율이 거의 유사하며, 20%에 가까워질수록 프레임 구간 간의 많은 병합이 발생하여 포스팅 리스트의 압축률이 높아진다. 도 6에서 "김영삼"이 "이승만"에 해당하는 동영상은 압축이 거의 일어나지 않았는데, 해당 동영상에서 "김영삼"이 "이승만"에 해당하는 프레임 구간이 매우 적고 각 구간이 멀리 떨어져 있어 병합이 발생하지 않았기 때문이다. 도 6의 결과에서 포스팅 리스트의 압축률이 높아질수록 저장 공간 사용량은 줄어들지만, 병합되는 프레임구간 사이의 거리가 멀어지므로 병합된 프레임 구간에서 찾고자 하는 인물이 드물게 나타나게 되는 것을 예상할 수 있다.

동영상의 순위 측정 성능 평가에 대해 살펴보면, 본 발명에 따른 동영상의 순위를 측정하는 방법에는 유사도의 평균값과 길이의 비율, 구간의 비율에 대한 각각의 가중치를 부여하여 동영상의 순위를 측정한다. 실험을 위해, 각각의 가중치를 α=0.3, β=0.3, γ=0.4로 실험을 한다. 또한, 각 가중치를 실험하기 위해 다음과 같은 가중치를 부여하여 실험을 하였다. [α=1.0, β=0.0, γ=0.0],[α=0.0, β=1.0, γ=0.0],[α=0.0, β=0.0, γ=1.0]

다음의 표는 질의어 "김대중"에 해당하는 테스터 데이터이다. 이어지는 표는 테스트 데이터를 이용하여 각 문서에 순위 점수를 측정한 결과(가중치별 질의에 대한 동영상 검색 순위)를 나타낸 것이다. 각 결과에서 각 평가요소에 가중치를 조절함으로써, 각 가중치별 유효성을 확인하였고, 순위가 가중치별 의미에 맞게 나타나는 것을 이어지는 표의 결과를 통해 확인할 수 있다. 예를 들어, α=1.0, β=0.0, γ=0.0로 가중치를 부여하였을 경우, α를 제외한 나머지 두 요소는 무시되고, α=0.0, β=1.0, γ=0.0로 가중치를 부여하였을 경우, β를 제외한 나머지 두 요소가 무시됨으로써, 각 가중치별 의미에 따라 동영상의 순위가 나타나게 된다. 동영상 ID가 1인 동영상은 처음부터 끝까지 "김대중" 대통령에 관련된 동영상이며, 그 정확도도 0.72~0.74인 관련 영상이다. 동영상 ID가 2번, 8번인 동영상의 경우 정확도와 해당 동영상에서 "김대중" 대통령이 등장하는 구간의 비율에 따라 이어지는 표에서의 순위가 부여됨을 알 수 있다. 예를 들어, 동영상 ID가 1번인 동영상은 아래의 표의 테스트 데이터에서 볼 수 있듯이 정확도가 다른 동영상에 비해서 높으며, 처음부터 끝까지 "김대중" 대통령이 등장하는 동영상이고, 평균 동영상의 길이보다 긴 동영상이다. 따라서, 이어지는 표의 결과에서 제안된 측정기법에 따라 순위 점수로 측정되었음을 알 수 있다.

압축된 포스팅 리스트에 대한 인물별 순위 측정 성능 평가에 대해 살펴보면, 본 실험은 포스팅 리스트의 병합으로 인한 압축이 인물 검색 시 동영상의 순위에 미치는 영향을 평가한다. 병합 오차율 한도

에 따라 압축된 포스팅 리스트는 동영상의 순위 측정 시에 순위에 영향을 주지 않아야 압축에 따른 포스팅 리스트의 정보가 손실되지 않음을 의미한다. 도 7은 상기

에 따라 압축된 포스팅 리스트들에 대하여 대통령 별로 동영상의 순위를 평가한 것을 나타낸 것이다. 여기서, 가로축은 포스팅 리스트가 특정

으로 압축된 것을 나타내고, 세로축은 이에 따른 해당 동영상이 갖는 순위 점수이다.

이 0일 때의 결과는 포스팅 리스트를 압축하지 않았을 경우이다. 실험결과, 상기 도 7에서 각 인물별로

값이 변화할 때, "노무현"과 "전두환"에 해당하는 동영상의 순위에 변동이 약간 있으나 그 외의 동영상의 검색 순위가 압축 전과 비교하여 전혀 변하지 않았다. 이 실험 결과로부터 본 발명에 따른 포스팅 압축 방법은 검색 순위에 거의 영향을 미지지 않아 정보 손실이 아주 작음을 알 수 있다. 도 7에서 "노무현"과 "전두환"에 해당하는 동영상의 순위변동은 0.05에서 0.10 사이에서 검색 순위가 달라지고 있어서 정보의 손실이 발생한다. 이처럼 압축 전후의 검색 순위와의 변화를 비교하여, 정보의 손실을 최소화하는

로 포스팅 리스트의 압축을 위한 병합 오차율에 대한 드레쉬홀드 값으로 이용할 수 있다.

결론적으로, 본 발명에서는 포스팅 리스트의 프레임 구간에 대하여 해당 구간에서 해당 인물의 정확도와 프레임 구간 간의 거리를 고려하여 프레임 구간을 병합하는 방법을사용하였다. 프레임 구간의 병합을 통하여, 프레임 구간에 대한 정보를 줄임으로써, 저장 공간의 크기를 줄였고, 실험을 통하여 병합을 통한 프레임 구간의 압축이 효과적임을 확인할 수 있었다. 또한, 검색시에 동영상의 순위를 측정함에 있어서, 유사도의 평균값과 전체 동영상과 해당 동영상의 길이의 비율, 해당 동영상에서의 질의 인물에 대한 등장 프레임 구간의 비율을 통하여, 순위를 측정하는 방법이 유효함을 확인할 수 있었다. 또한, 등장인물의 자동 색인지에 색인의 크기를 효과적으로 개선하고, 검색이에 적절한 검색 결과를 반환함으로써, 본 발명을 사용하여 동영상 검색에 대해 효과적인 지원이 가능하게 되는 것을 확인할 수 있었다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세히 설명하였지만, 본 발명의 권리범위가 이에 한정되는 것이 아니라 다음의 청구범위에서 정의하는 본 발명의 기본 개념을 바탕으로 보다 다양한 실시예로 구현될 수 있으며, 이러한 실시예들 또한 본 발명의 권리범위에 속하는 것이다.

41 : 동영상 데이터베이스 42 : 색인정보 입력모듈
43 : 색인정보용 포스팅 리스트 병합모듈 44 : 색인정보기반 동영상 측정모듈

Claims (9)

1. a) 등장인물이 나타나는 프레임과 등장인물의 인식 유사도를 이용한 프레임 기반 등장인물 검색을 위한 색인을 구성할 때, 등장인물이 나타나는 각각의 프레임에 대하여 연속적인 프레임을 하나의 구간으로 표현하되, 포스팅 리스트의 차이를 이용하여 구간의 시작 프레임 번호와 구간의 크기로 표현하여 포스팅 리스트의 크기를 줄이는 단계;
   b) 상기 프레임 구간의 시작 번호를 기준으로 색인정보를 정렬하는 단계;
   c) 등장인물이 나타나는 연속적인 프레임들을 하나의 구간으로 압축할 때, 연속적이지 않은 두 프레임 구간들을 병합하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 압축 방법.
   
2. 삭제
3. 제1항에 있어서, a) 단계는 등장인물 ID, 인식 정확도, 등장인물의 시작 프레임 번호 및 끝 프레임 번호를 포함하는 자동 색인을 위한 포스팅 리스트를 저장하고, 이를 바탕으로 전체의 프레임 구간을 정확도별 프레임 구간으로 구분하여 관리하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 압축 방법.
   
4. 제1항에 있어서, b) 단계는 연속적이지 않은 두 프레임 구간들을 병합할 때, 두 구간에 대하여 계산된 가중 평균값과 병합 이전의 각 구간의 가중 평균값을 비교하여 기 설정된 병합 오차율 한도보다 작으면 병합을 수행하여 각 구간을 새로운 하나의 프레임 구간으로 대체하는 것을 특징으로 하는 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 압축 방법.
   
5. 제1항에 있어서, b) 단계는 프레임 구간을 병합할 때, 각 프레임 구간들 간의 거리뿐만 아니라 해당 인물에 대한 여러 가지의 정확도를 반영하는 것을 특징으로 하는 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 압축 방법.
   
6. 검색 인물과 관련된 동영상 검색 시, 동영상 내 검색 인물이 등장하는 프레임 리스트들의 유사도 평균값, 전체 동영상 길이의 평균값과 동영상에서 검색 인물이 등장하는 프레임 길이의 비율 및, 동영상의 길이와 동영상에서 검색 인물이 나타나는 구간의 비율을 고려하여 검색 대상 동영상들 중에, 검색 인물과 관련된 동영상들에 대한 순위를 결정하는 것을 특징으로 하는 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 순위 결정 방법.
   
7. 제6항에 있어서, 상기 유사도 평균값은 동영상에 등장하는 인물과 검색 인물과의 유사도를 반영하는 요소로서 각 가중평균에 대한 평균값을 취하여 획득되는 것을 특징으로 하는 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 순위 결정 방법.
   
8. 제6항에 있어서, 상기 프레임 길이의 비율은 해당 동영상이 검색 인물이 나타나는 프레임을 얼마나 가지고 있는지에 대한 절대 길이 요소인 것을 특징으로 하는 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 순위 결정 방법.
   
9. 제6항에 있어서, 상기 검색 인물이 나타나는 구간의 비율은 동영상에서 검색 인물이 나타나는 프레임을 얼마나 가지고 있는지에 대한 상대 길이 요소인 것을 특징으로 하는 동영상 내 등장인물의 효율적 검색을 위한 포스팅 리스트 순위 결정 방법.
   

Images