KR101280804B1 - 영상 콘텐츠의 영상을 분석하는 장치 및 방법 - Google Patents
영상 콘텐츠의 영상을 분석하는 장치 및 방법 Download PDFInfo
- Publication number
- KR101280804B1 KR101280804B1 KR1020110110298A KR20110110298A KR101280804B1 KR 101280804 B1 KR101280804 B1 KR 101280804B1 KR 1020110110298 A KR1020110110298 A KR 1020110110298A KR 20110110298 A KR20110110298 A KR 20110110298A KR 101280804 B1 KR101280804 B1 KR 101280804B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- analysis
- content
- analyzing
- apparatuses
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000010191 image analysis Methods 0.000 claims abstract description 337
- 238000004458 analytical method Methods 0.000 claims description 210
- 238000004891 communication Methods 0.000 claims description 14
- 238000012732 spatial analysis Methods 0.000 claims description 8
- 238000012731 temporal analysis Methods 0.000 claims description 8
- 238000003703 image analysis method Methods 0.000 claims 3
- 238000007726 management method Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
영상 콘텐츠의 영상을 분석하는 시스템 및 방법이 개시된다. 본 발명은, 서로 동일한 영상 콘텐츠가 영상 출력 수단에 출력되는 복수의 영상 분석 장치가 영상 콘텐츠에서 특징 기술자를 획득하여 영상 콘텐츠의 영상을 분석한다. 본 발명에 따르면, 동일한 영상 콘텐츠를 복수의 영상 분석 장치에서 분석함으로써, 영상 분석 장치의 부하를 최소화하면서 영상 분석이 가능하고 영상 분석 시간을 단축시킬 수 있다.
Description
본 발명은 영상 콘텐츠의 영상을 분석하는 시스템 및 방법에 관한 것으로, 더욱 상세하게는 영상 콘텐츠를 복수의 영상 분석 장치에 의해 동시에 분석하는 시스템 및 방법에 관한 것이다.
최근 컴퓨터와 네트워크 기술의 발전에 따라 영상 콘텐츠는 텍스트 콘텐츠 및 이미지 콘텐츠와 더불어 그 활용 범위 및 이용량이 급격히 증가하고 있다. 이에 따라, 영상 콘텐츠 중에서 사용자가 원하는 영상 콘텐츠를 검색하는 기술에 대한 관심도 증가하고 있다. 종래의 영상 콘텐츠 검색 기술은 영상 콘텐츠의 제목 등을 통해 사용자가 원하는 영상 콘텐츠를 검색하는 방법이다.
그러나 특정 장면 등의 검색을 원하는 사용자의 요구가 발생되고, 이에 따라 영상 콘텐츠의 내용을 기반으로 검색하는 기술(content-based image retrieval)이 개발되고 있다. 영상 콘텐츠의 내용 기반 검색 기술은 영상 콘텐츠에서 미리 특징(feature)을 추출하여 저장하고, 저장된 영상 콘텐츠의 특징을 이용하여 사용자에 의해 입력된 검색어에 매칭되는 영상을 검색하는 것으로 구성된다. 영상 콘텐츠에서 특징을 추출하는 기술로는 수동 추출 방식과 자동 추출 방식이 있다. 수동 추출 방식은 사용자가 직접 영상에서 특징점을 태깅하는 것으로서, 정확한 특징점의 분석 및 태깅이 가능한 장점이 있지만 영상에서 특징을 추출하는데 많은 시간과 노력이 소요되는 문제가 있다. 자동 추출 방식은 영상에서 특징을 자동으로 추출하는 것으로서, 영상에서 특징을 추출하는데 소요되는 시간과 노력을 단축시킬 수 있는 장점이 있지만 영상 콘텐츠의 특징을 추출하기 위한 별도의 시간과 노력이 들어가는 문제가 있고 모든 영상 콘텐츠를 대상으로 특징을 추출하는 것은 많은 시간과 노력이 소요되는 점에서 한계가 있다. 이에 따라, 영상 콘텐츠를 효율적으로 분석하여 영상 콘텐츠의 특징을 획득할 수 있는 방법이 필요한 실정이다.
본 발명이 이루고자 하는 기술적 과제는, 영상 콘텐츠를 복수의 영상 분석 장치에 의해 동시에 분석하는 영상 분석 시스템 및 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 영상 분석 장치는, 영상 콘텐츠의 영상을 분석하는 영상 분석 장치에 있어서, 상기 영상 분석 장치에 연결된 영상 출력 수단에 출력되는 제1영상 콘텐츠에 대한 정보인 제1표시 영상 정보를 브로드캐스팅(broadcasting)하고, 통신망을 통해 상기 영상 분석 장치와 연결되어 있는 다른 영상 분석 장치인 제1영상 분석 장치에 연결된 영상 출력 수단에 출력되는 제2영상 콘텐츠에 대한 정보인 제2표시 영상 정보를 상기 제1영상 분석 장치로부터 수신하는 표시 영상 정보 송수신부; 상기 제1표시 영상 정보와 상기 제2표시 영상 정보를 기초로 상기 제1영상 콘텐츠와 동일한 상기 제2영상 콘텐츠를 출력하는 영상 출력 수단에 연결되어 있는 제1영상 분석 장치 중에서 적어도 하나의 제2영상 분석 장치를 결정하고, 상기 적어도 하나의 제2영상 분석 장치로부터 수신한 제2표시 영상 정보를 이용하여 획득된 분석 순위 테이블을 기초로 높은 순위에 따라 결정된 미리 정해진 개수의 영상 분석 장치에 자신이 포함되는 경우 영상 분석을 수행하는 것으로 결정하는 분석 수행 결정부; 상기 영상 분석 장치가 영상 분석을 수행하는 것으로 결정된 경우, 상기 제1영상 콘텐츠에서 특징 기술자(feature descriptor)를 획득하여 상기 제1영상 콘텐츠의 적어도 일부분에 대한 영상 분석을 수행하는 영상 분석부;를 구비한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 영상 분석 관리 장치는, 영상 분석 장치에 연결된 영상 출력 수단에 출력되는 영상 콘텐츠에 대한 정보인 표시 영상 정보를 복수의 영상 분석 장치로부터 수신하는 영상 정보 수신부; 상기 복수의 영상 분석 장치로부터 수신한 상기 표시 영상 정보를 기초로 상기 영상 콘텐츠가 서로 동일한 복수의 영상 분석 장치를 획득하고, 상기 복수의 영상 분석 장치로부터 수신한 표시 영상 정보를 이용하여 획득된 분석 순위 테이블을 기초로 높은 순위에 따라 미리 정해진 개수의 영상 분석 장치를 영상 분석 수행 주체로 선정하는 분석 수행 주체 선정부; 상기 영상 콘텐츠에서 특징 기술자를 획득하여 상기 영상 콘텐츠의 적어도 일부분에 대한 영상 분석 결과를 상기 미리 정해진 개수의 영상 분석 장치로부터 각각 수신하는 영상 분석 결과 수신부; 및 상기 미리 정해진 개수의 영상 분석 장치로부터 수신한 상기 영상 분석 결과를 병합하여 상기 영상 콘텐츠에 대한 통합 영상 분석 결과를 획득하는 영상 분석 관리부;를 포함한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 영상 분석 방법은, 복수의 영상 분석 장치로부터 각각의 영상 분석 장치에 연결되어 있는 영상 출력 수단에 출력되는 영상 콘텐츠에 대한 정보인 표시 영상 정보를 복수의 영상 분석 장치로부터 수신하는 단계; 상기 복수의 영상 분석 장치로부터 수신한 상기 표시 영상 정보를 기초로 상기 영상 콘텐츠가 서로 동일한 복수의 영상 분석 장치를 획득하는 단계; 상기 복수의 영상 분석 장치로부터 수신한 표시 영상 정보를 이용하여 획득된 분석 순위 테이블을 기초로 높은 순위에 따라 미리 정해진 개수의 영상 분석 장치를 영상 분석 수행 주체로 선정하는 단계; 상기 영상 콘텐츠에서 특징 기술자를 획득하여 상기 영상 콘텐츠의 적어도 일부분에 대한 영상 분석 결과를 상기 미리 정해진 개수의 영상 분석 장치로부터 각각 수신하는 단계; 및 상기 미리 정해진 개수의 영상 분석 장치로부터 수신한 상기 영상 분석 결과를 병합하여 상기 영상 콘텐츠에 대한 통합 영상 분석 결과를 획득하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에 실행시키기 위한 프로그램을 기록한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는, 통신망으로 연결되어 있는 복수의 영상 분석 장치 중에서 제1영상 분석 장치에서 수행되는 영상 분석 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 제1영상 분석 장치에 연결된 영상 출력 수단에 출력되는 제1영상 콘텐츠에 대한 정보인 제1표시 영상 정보를 브로드캐스팅하는 단계; 통신망을 통해 상기 제1영상 분석 장치와 연결되어 있는 다른 영상 분석 장치인 제2영상 분석 장치에 연결된 영상 출력 수단에 출력되는 제2영상 콘텐츠에 대한 정보인 제2표시 영상 정보를 상기 제2영상 분석 장치로부터 수신하는 단계; 상기 제1표시 영상 정보와 상기 제2표시 영상 정보를 기초로 상기 제2영상 분석 장치 중에서 상기 제1영상 콘텐츠와 동일한 상기 제2영상 콘텐츠를 출력하는 영상 출력 수단에 연결되어 있는 적어도 하나의 제3영상 분석 장치를 결정하는 단계; 상기 적어도 하나의 제3영상 분석 장치로부터 수신한 제2표시 영상 정보를 이용하여 획득된 분석 순위 테이블을 기초로 높은 순위에 따라 결정된 미리 정해진 개수의 영상 분석 장치에 상기 제1영상 분석 장치가 포함되는 경우 상기 제1영상 분석 장치가 영상 분석을 수행하는 것으로 결정하는 단계; 및 상기 제1영상 분석 장치가 영상 분석을 수행하는 것으로 결정된 경우, 상기 제1영상 콘텐츠에서 특징 기술자(feature descriptor)를 획득하여 상기 제1영상 콘텐츠의 적어도 일부분에 대한 영상 분석을 수행하는 단계;를 갖는다.
본 발명에 따른 영상 콘텐츠의 영상을 분석하는 시스템 및 방법에 의하면, 동일한 영상 콘텐츠를 복수의 영상 분석 장치에서 분석함으로써, 영상 분석 장치의 부하를 최소화하면서 영상 분석이 가능하고 영상 분석 시간을 단축시킬 수 있다.
또한, 동일한 영상 콘텐츠를 복수의 영상 분석 장치별로 분석 조건을 상이하게 하여 분석함으로써, 영상 분석 결과의 고도화가 가능하여 영상 분석 결과의 신뢰성을 향상시킬 수 있다. 이에 따라, 영상 콘텐츠 검색 시 사용자의 요구에 보다 부합하는 영상 콘텐츠를 검색할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 시스템을 설명하기 위한 블록도,
도 2는 본 발명의 일 실시예에 따른 영상 분석 장치의 구성을 보다 자세하게 나타낸 블록도,
도 3은 본 발명의 일 실시예에 따른 영상 분석 장치의 영상 분석 과정을 설명하기 위한 흐름도,
도 4는 본 발명의 일 실시예에 따른 영상 분석 관리 장치의 구성을 보다 자세하게 나타낸 블록도,
도 5 내지 도 7은 본 발명의 일 실시예에 따른 영상 콘텐츠에 대한 통합 영상 분석 결과를 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른 영상 분석 관리 장치의 영상 분석 과정을 설명하기 위한 흐름도,
도 9는 본 발명의 다른 실시예에 따른 영상 분석 장치의 구성을 보다 자세하게 나타낸 블록도,
도 10은 본 발명의 다른 실시예에 따른 영상 분석 관리 장치의 구성을 보다 자세히 나타낸 블록도, 그리고,
도 11은 본 발명의 다른 실시예에 따른 영상 분석 관리 장치의 영상 분석 과정을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 영상 분석 장치의 구성을 보다 자세하게 나타낸 블록도,
도 3은 본 발명의 일 실시예에 따른 영상 분석 장치의 영상 분석 과정을 설명하기 위한 흐름도,
도 4는 본 발명의 일 실시예에 따른 영상 분석 관리 장치의 구성을 보다 자세하게 나타낸 블록도,
도 5 내지 도 7은 본 발명의 일 실시예에 따른 영상 콘텐츠에 대한 통합 영상 분석 결과를 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른 영상 분석 관리 장치의 영상 분석 과정을 설명하기 위한 흐름도,
도 9는 본 발명의 다른 실시예에 따른 영상 분석 장치의 구성을 보다 자세하게 나타낸 블록도,
도 10은 본 발명의 다른 실시예에 따른 영상 분석 관리 장치의 구성을 보다 자세히 나타낸 블록도, 그리고,
도 11은 본 발명의 다른 실시예에 따른 영상 분석 관리 장치의 영상 분석 과정을 설명하기 위한 흐름도이다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 영상 콘텐츠(video contents)의 영상을 분석하는 시스템(이하 '영상 분석 시스템'이라 함) 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 영상 분석 장치(100-1)는 영상 표시 장치(500-1)에 연결되며, 통신망(400)을 통해 다른 영상 분석 장치(100-2 내지 100-n), 영상 분석 관리 장치(200) 및/또는 복수의 방송 제공 장치(300-1 내지 300-n)에 연결된다.
영상 분석 장치(100-1 내지 100-n)는 연결된 영상 표시 장치(500-1 내지 500-n)를 통해 표시되는 영상 콘텐츠의 영상을 분석한다. 여기서, 영상 콘텐츠는 방송 제공 장치(300-1 내지 300-n)로부터 실시간으로 방송되는 영상, 주문형 비디오 서비스(video on demand : VOD)를 이용하여 방송 제공 장치(300-1 내지 300-n)로부터 제공받은 영상, 사용자가 제작한 영상 등을 말한다. 이때, 영상 분석 장치(100-1 내지 100-n)는 사용자의 조작에 의해 영상 분석 기능이 온으로 세팅된 경우에 영상 콘텐츠의 영상을 분석할 수 있다.
영상 분석 장치(100-1 내지 100-n)는 영상 콘텐츠의 영상을 분석한 결과인 영상 분석 결과를 저장하고, 영상 콘텐츠에 대한 영상 분석 결과를 영상 분석 관리 장치(200)에 제공한다.
영상 표시 장치(500-1 내지 500-n)는 저장된 영상이나 통신망(400)을 통해 제공되는 영상을 표시하는 장치로서, 메모리 수단을 구비하고 마이크로프로세서를 탑재하여 연산 능력을 갖춘 단말기로 이루어진다. 영상 표시 장치(500-1 내지 500-n)에는 텔레비전(television), 컴퓨터(computer), 태블릿(tablet) PC, 개인 휴대 정보 단말기(personal digital assistant : PDA), 휴대 멀티미디어 재생기(portable multimedia player : PMP), 휴대폰, 스마트 폰(smart phone), 내비게이션(navigation) 장치 등이 있다.
한편, 영상 분석 장치(100-1 내지 100-n)와 영상 표시 장치(500-1 내지 500-n)가 서로 독립적인 장치로 도 1에 도시하였으나, 이에 한정되지 않고 실시예에 따라 영상 분석 장치와 영상 표시 장치가 하나의 장치로 이루어질 수 있다. 또한, 영상 표시 장치에 본 발명의 실시예에 따른 영상 분석 기능 등을 수행하는 영상 분석 어플리케이션이 설치되어 영상 콘텐츠의 영상을 분석할 수 있다. 즉, 영상 분석 장치가 수행하는 영상 분석 기능, 영상 분석 결과 제공 기능 등을 어플리케이션으로 구현하고, 영상 표시 장치의 제조 시에 영상 분석 어플리케이션을 탑재하거나, 사용자의 조작에 의해 영상 표시 장치에 영상 분석 어플리케이션을 설치할 수 있다.
영상 분석 관리 장치(200)는 영상 분석 장치(100-1 내지 100-n)로부터 수신한 영상 콘텐츠에 대한 영상 분석 결과를 이용하여 영상 콘텐츠에 대한 통합 영상 분석 결과를 획득한다. 부가적으로, 영상 분석 관리 장치(200)는 획득한 통합 영상 분석 결과를 자체에 구비된 저장 수단 또는 외부의 저장 수단에 저장할 수 있다.
방송 제공 장치(300-1 내지 300-n)는 영상을 실시간 방송하거나 주문형 비디오 서비스를 통해 요청된 영상을 제공하는 장치이다. 즉, 방송 제공 장치(300-1 내지 300-n)는 드라마, 뉴스, 영화 등의 다양한 프로그램을 통신망(400)을 통해 영상 분석 장치(100-1 내지 100-n)에 제공한다. 통신망(400)은 구내 정보 통신망(local area network : LAN), 도시권 통신망(metropolitan area network : MAN), 광역 통신망(wide area network : WAN), 인터넷 등을 포함하는 데이터 통신망뿐만 아니라 방송망, 전화망 등을 포함할 수 있고, 유선과 무선을 가리지 않으며, 어떠한 통신 방식을 사용하더라도 무방하다.
한편, 방송 제공 장치(300-1 내지 300-n)는 공중파, 위성, 지상파 등을 이용하여 일방향 방송망을 통해 영상을 제공할 수 있으며, 이 경우 영상 분석 장치(100-1 내지 100-n)는 통신망(400)을 통해 영상 분석 관리 장치(200)와 데이터를 송수신한다.
한편, 영상 분석 관리 장치(200)와 방송 제공 장치(300-1 내지 300-n)를 서로 독립적인 장치로 도 1에 도시하였으나, 본 발명은 이에 한정되지 않고 실시예에 따라 영상 분석 관리 장치(200)와 방송 제공 장치(300-1 내지 300-n)가 하나의 장치로 이루어질 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 분석 장치의 구성을 보다 자세하게 나타낸 블록도이다.
영상 분석 장치(100-1)는 표시 영상 정보 송수신부(210), 분석 수행 결정부(220), 분석 조건 결정부(230), 영상 분석부(240), 저장부(250), 분석 결과 제공부(260) 및 제어부(270)를 구비한다.
표시 영상 정보 송수신부(210)는 영상 표시 장치(500-1)에 출력되는 영상 콘텐츠에 대한 정보인 표시 영상 정보를 브로드캐스팅(broadcasting)한다. 여기서, 표시 영상 정보는 영상 분석 장치의 식별 데이터, 표시되는 영상 콘텐츠의 식별 데이터, 네트워크 상태, 과거 분석 이력, 영상 분석 어플리케이션 버전 등을 포함한다. 과거 분석 이력은 과거 영상 분석 횟수, 과거 영상 분석량, 영상 분석 도중 종료 횟수 등을 포함한다. 이때, 표시 영상 정보 송수신부(210)는 영상 분석 장치(100-1)나 영상 표시 장치(500-1)가 구동되는 경우나 다른 영상 분석 장치(100-2 내지 100-5)로부터 부분 분석 완료 메시지를 수신한 경우나 주기적으로 표시 영상 정보를 브로드캐스팅할 수 있다.
또한, 표시 영상 정보 송수신부(210)는 다른 영상 분석 장치(100-2 내지 100-n)로부터 브로드캐스팅된 표시 영상 정보를 수신한다.
분석 수행 결정부(220)는 영상 표시 장치(500-1)에 출력되는 영상 콘텐츠의 영상 분석 수행 여부를 결정한다.
즉, 분석 수행 결정부(220)는 다른 영상 분석 장치(100-2 내지 100-n)로부터 수신한 표시 영상 정보를 기초로 아래의 [표 1]과 같은 표시 영상 테이블을 획득한다.
| 영상 분석 장치 |
영상 콘텐츠 |
네트워크 상태 |
과거 분석 횟수 |
어플리케이션 버전 |
… |
| 장치 A(자신) |
영상 A |
상 |
3회 |
1.0 |
… |
| 장치 B |
영상 A |
하 |
5회 |
1.0 |
… |
| 장치 C |
영상 B |
중 |
2회 |
1.1 |
… |
| 장치 D |
영상 A |
중 |
5회 |
1.0 |
… |
| 장치 E |
영상 C |
상 |
1회 |
1.1 |
… |
| 장치 F |
영상 A |
상 |
4회 |
0.9 |
… |
| 장치 G |
영상 D |
하 |
3회 |
1.0 |
… |
| … |
|||||
여기서, 표시 영상 테이블의 각 레코드는 영상 분석 장치(100-1 내지 100-n)의 식별 데이터, 표시되는 영상 콘텐츠의 식별 데이터, 네트워크 상태, 영상 분석 장치(100-1 내지 100-n)의 과거 분석 횟수, 영상 분석 어플리케이션 버전 항목 등으로 이루어진다.
분석 수행 결정부(220)는 위의 [표 1]과 같은 표시 영상 테이블을 기초로 영상 표시 장치(500-1)에 출력되는 영상 콘텐츠와 동일한 영상 콘텐츠가 연결된 영상 표시 장치에 출력되는 다른 영상 분석 장치와 자신으로 이루어진 아래의 [표 2]와 같은 분석 순위 테이블을 획득한다. 이때, 분석 수행 결정부(220)는 네트워크 상태, 과거 분석 이력, 영상 분석 어플리케이션 버전 등의 항목을 기초로 순위를 결정할 수 있다. 물론, 각 항목별로 가중치를 부여하여 순위를 결정할 수도 있다.
| 순위 |
영상 분석 장치 |
네트워크 상태 |
과거 분석 횟수 |
어플리케이션 버전 |
| 1 |
장치 F |
상 |
4회 |
0.9 |
| 2 |
장치 A(자신) |
상 |
3회 |
1.0 |
| 3 |
장치 D |
중 |
5회 |
1.0 |
| 4 |
장치 B |
하 |
5회 |
1.0 |
| … |
||||
여기서, '장치 F'와 '장치 A(자신)'는 네트워크 상태가 '상'으로 서로 동일하나, '장치 F'의 과거 분석 이력이 '장치 A(자신)'의 과거 분석 이력보다 많기 때문에 '장치 F'의 순위가 '장치 A(자신)'의 순위보다 높다. [표 2]의 분석 순위 테이블은 하나의 예시일 뿐이며, 각 항목의 우선순위에 따라 다를 수 있다.
분석 수행 결정부(220)는 분석 순위 테이블을 기초로 순위에 따라 미리 정해진 개수의 영상 분석 장치에 자신이 포함된 경우 분석 수행을 하는 것으로 결정한다. 여기서, 영상 분석을 수행하는 영상 분석 장치의 개수는 기 설정되어 있거나, 다른 영상 분석 장치(100-2 내지 100-n)와 메시지를 주고받으며 결정할 수 있다. 예컨대, 영상 분석 장치의 개수가 두 개인 경우 자신('장치 A')이 포함되어 있으므로 영상 분석을 수행하는 것으로 결정하고, 영상 분석 장치의 개수가 한 개인 경우 자신('장치 A')이 포함되어 있지 않으므로 영상 분석을 수행하지 않는 것으로 결정한다.
분석 조건 결정부(230)는 분석 수행 결정부(220)에 의해 영상 분석을 수행하는 것으로 결정된 경우, 기 설정된 유형별 분석 조건 정보를 이용하여 위의 [표 2]의 분석 순위 테이블을 기초로 분석 조건을 결정할 수도 있다.
여기서, 분석 조건은 영상 콘텐츠의 전체 구간 중 일부 구간을 분석 범위로 하는 시간적 분석 범위, 영상 콘텐츠의 전체 영상 영역 중 일부 영역을 분석 범위로 하는 공간적 분석 범위 및 시간적 분석 범위와 공간적 분석 범위의 조합 중 하나를 나타낸다. 공간적 분석 범위는 분석 대상, 분석 레벨 또는 이들의 조합으로 이루어진다. 분석 대상은 객체, 색상, 영역, 움직임여부 등이나 이들의 조합을 말한다. 객체는 사람, 동물, 물체 등을 말하고, 색상은 파란색, 빨간색, 회색 등을 말하며, 영역은 배경, 전경 등을 말한다. 분석 레벨은 영상의 분석 수준을 말한다. 예컨대, 사람의 움직임을 분석하는 레벨, 사람의 표정 변화를 분석하는 레벨 등을 말한다.
그리고 유형별 분석 조건 정보는 분석 수행을 하는 것으로 결정된 영상 분석 장치의 개수, 네트워크 상태, 과거 분석 이력 및 영상 분석 어플리케이션 버전 중 적어도 하나를 조합하여 획득한 유형별로 각각 정의된 분석 조건을 말한다. 예컨대, 분석 수행을 하는 것으로 결정된 영상 분석 장치의 개수가 1개이고 과거 분석 이력이 없는 경우에는 최하위의 분석 레벨을 분석 조건으로 결정할 수 있다. 또한, 분석 수행을 하는 것으로 결정된 영상 분석 장치의 개수가 복수 개인 경우에는 전체 구간을 영상 분석 장치의 개수로 나누고 자신의 순위에 따라 대응되는 구간을 분석 조건으로 결정할 수 있다.
또한, 분석 조건 결정부(230)는 분석 수행 결정부(220)에 의해 영상 분석을 수행하는 것으로 결정된 경우, 영상 분석을 수행하는 것으로 결정된 다른 영상 분석 장치와 메시지를 주고받으며 영상 콘텐츠의 분석 조건을 영상 분석 장치별로 상이하게 하여 자신의 분석 조건을 결정할 수 있다.
즉, 분석 조건 결정부(230)는 영상 분석을 수행하는 것으로 결정된 다른 영상 분석 장치와 메시지를 주고받으며 영상 분석 장치별로 분석 조건을 상이하게 결정하여 아래의 [표 3]과 같은 분석 조건 테이블을 생성할 수 있다.
| 순위 |
영상 분석 장치 |
분석 조건 |
| 1 |
장치 F |
분석 조건 A |
| 2 |
장치 A(자신) |
분석 조건 B |
| 3 |
장치 D |
분석 조건 C |
여기서, 분석 조건 테이블은 위의 [표 2]의 분석 순위 테이블을 기초로 3개의 영상 분석 장치가 영상 분석을 수행하는 것으로 결정된 경우에 생성되는 분석 조건 테이블을 나타낸다.
분석 조건 결정부(230)는 분석 조건 테이블을 기초로 자신의 분석 조건을 결정할 수 있다. 예컨대, 위의 [표 2]의 분석 순위 테이블에 의하면, 분석 조건 결정부(230)는 자신의 분석 조건을 '분석 조건 B'로 결정할 수 있다.
또한, 분석 조건 결정부(230)는 분석 수행 결정부(220)에 의해 영상 분석을 수행하는 것으로 결정된 경우, 영상 표시 장치(500-1)에 출력되는 영상 콘텐츠와 동일한 영상 콘텐츠가 다른 영상 분석 장치(100-2 내지 100-n)에 연결된 영상 표시 장치(500-2 내지 500-n)에 출력되지 않는 경우, 영상 분석 관리 장치(200)에 영상 콘텐츠에 대한 과거 영상 분석 결과를 요청할 수 있다. 분석 조건 결정부(230)는 영상 분석 관리 장치(200)로부터 제공받은 과거 영상 분석 결과를 기초로 자신의 분석 조건을 결정할 수 있다. 예컨대, 영상 콘텐츠의 전체 구간 중 일부 구간에 대한 과거 영상 분석 결과가 존재하는 경우, 분석 조건 결정부(230)는 영상 분석 결과가 존재하지 않는 구간을 분석 조건으로 결정할 수 있다. 영상 콘텐츠의 전체 구간에 대한 과거 영상 분석 결과가 존재하는 경우, 분석 조건 결정부(230)는 과거 영상 분석 결과보다 한 단계 높은 분석 수준을 분석 조건으로 결정할 수 있다.
영상 분석부(240)는 분석 수행 결정부(220)에 의해 영상 분석을 수행하는 것으로 결정된 경우, 영상 표시 장치(500-1)에 출력되는 영상 콘텐츠에 대한 영상 분석을 수행한다. 즉, 영상 분석부(240)는 특징 추출 알고리즘을 이용하여 시청 중인 영상 콘텐츠의 영상에서 특징(feature)을 추출하고, 추출된 특징을 텍스트 형태의 데이터로 변환하여 특징 기술자(feature descriptor)를 획득한다. 여기서, 특징은 색상(color), 모양(shape), 질감(texture), 움직임(motion), 공간적인 레이아웃(spatial layout) 등을 말한다.
이때, 영상 분석부(240)는 분석 조건 결정부(240)에 의해 결정된 분석 조건에 따라 영상 콘텐츠의 적어도 일부분에 대한 영상 분석을 수행할 수 있다. 예컨대, 영상 콘텐츠의 전체 구간 중 '10분 ~ 20분'에 대응되는 구간이 자신의 분석 조건으로 결정된 경우, 영상 분석부(240)는 영상 콘텐츠의 전체 구간 중 '10분 ~ 20분'에 대응되는 구간에 대한 영상 분석을 수행할 수 있다. 영상 콘텐츠의 영상 중 '배경'이 자신의 분석 조건으로 결정된 경우, 영상 분석부(240)는 영상 콘텐츠의 영상 중 '배경'에 대응되는 영역에 대해 영상 분석을 수행할 수 있다. '사람의 표정 변화를 분석하는 레벨'이 자신의 분석 조건으로 결정된 경우, 영상 분석부(240)는 영상 콘텐츠의 영상에서 사람의 표정 변화의 차이도 분석하는 수준에서 영상 분석을 수행할 수 있다.
영상 분석부(240)는 획득한 특징 기술자를 기초로 영상 콘텐츠에 대한 영상 분석 결과를 획득한다. 여기서, 영상 분석 결과는 영상 분석 장치의 식별 데이터영상 콘텐츠 식별 데이터, 분석 조건, 프레임 식별 데이터, 특징 기술자 등으로 이루어진다.
저장부(250)는 영상 분석부(240)에 의해 분석된 영상 콘텐츠에 대한 영상 분석 결과를 저장한다. 저장부(250)는 영상 분석 장치(100-1)의 내부에 내장된 저장 매체이거나 탈부착 가능한 저장 매체이다. 여기서, 저장 매체에는 플래시 메모리(flash memory), 하드 디스크(hard disk), 카드 타입의 메모리(예컨대, SD 메모리, XD 메모리 등), 램(random access memory : RAM), 롬(read only memory : ROM), 자기 메모리, 자기 디스크, 광 디스크 등이 있다.
분석 결과 제공부(260)는 영상 분석부(240)에 의해 분석된 영상 콘텐츠에 대한 영상 분석 결과를 영상 분석 관리 장치(200)에 제공한다.
제어부(270)는 영상 표시 장치(500-1)에 출력되는 영상 콘텐츠의 영상 분석이 완료되는 경우, 전체 분석 완료 메시지를 다른 영상 분석 장치(100-2 내지 100-n) 및/또는 영상 분석 관리 장치(200)에 브로드캐스팅할 수 있다. 여기서, 영상 분석 정상 종료 메시지는 영상 분석 장치(100-1)의 식별 데이터, 영상 콘텐츠의 식별 데이터, 분석 조건, 영상 분석 결과 등을 포함한다.
제어부(270)는 사용자의 조작에 의해 영상 표시 장치(500-1)에 출력되는 영상 콘텐츠가 변경되거나 전원이 오프되거나 비정상적으로 종료하는 경우, 부분 분석 완료 메시지를 다른 영상 분석 장치(100-2 내지 100-n) 및/또는 영상 분석 관리 장치(200)에 브로드캐스팅할 수 있다. 여기서, 부분 분석 종료 메시지는 영상 분석 장치(100-1)의 식별 데이터, 영상 콘텐츠의 식별 데이터, 영상 분석 종료 시점의 프레임 식별 데이터, 분석 조건, 영상 분석 결과 등을 포함한다.
한편, 영상 분석 장치(100-1)는 영상 분석을 수행하는 영상 분석 장치와 분석 조건을 결정하고, 이를 다른 영상 분석 장치(100-2 내지 100-n)에 브로드캐스킹할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 영상 분석 장치의 영상 분석 과정을 설명하기 위한 흐름도이다.
영상 분석 장치(100-1)는 다른 영상 분석 장치(100-2 내지 100-n)에 연결된 영상 표시 장치(500-2 내지 500-n)에 출력되는 표시 영상 정보를 다른 영상 분석 장치(100-2 내지 100-n)로부터 수신하고(S310), 수신한 표시 영상 정보를 기초로 위의 [표 1]과 같은 표시 영상 테이블을 획득한다(S320).
이후, 영상 분석 장치(100-1)는 획득한 표시 영상 테이블을 기초로 위의 [표 2]와 같은 분석 순위 테이블을 획득한다(S330). 영상 분석 장치(100-1)는 획득한 분석 순위 테이블을 기초로 영상 분석 수행 여부를 결정한다(S340). 이때, 영상 분석을 수행하는 것으로 결정된 경우, 영상 분석 장치(100-1)는 자신의 분석 조건을 결정할 수 있다.
이후, 영상 분석을 수행하는 것으로 결정된 경우, 영상 분석 장치(100-1)는 영상 콘텐츠에 대한 영상 분석을 수행한다(S350). 이때, 영상 분석 장치(100-1)는 자신의 분석 조건에 따라 영상 콘텐츠의 적어도 일부분에 대한 영상 분석을 수행할 수 있다.
이후, 영상 분석 장치(100-1)는 분석된 영상 콘텐츠에 대한 영상 분석 결과를 저장하고(S360), 분석된 영상 콘텐츠에 대한 영상 분석 결과를 영상 분석 관리 장치(200)에 제공한다(S370).
도 4는 본 발명의 일 실시예에 따른 영상 분석 관리 장치의 구성을 보다 자세하게 나타낸 블록도이고, 도 5 내지 도 7은 본 발명의 일 실시예에 따른 영상 콘텐츠에 대한 통합 영상 분석 결과를 설명하기 위한 도면이다.
영상 분석 관리 장치(200)는 영상 분석 결과 수신부(410), 영상 분석 결과 관리부(420) 및 저장부(430)를 구비한다.
영상 분석 결과 수신부(410)는 복수의 영상 분석 장치(100-1 내지 100-n)로부터 영상 콘텐츠에 대한 영상 분석 결과를 각각 수신한다.
영상 분석 결과 관리부(420)는 영상 분석 결과 수신부(210)를 통해 수신한 영상 콘텐츠에 대한 영상 분석 결과를 기초로 영상 콘텐츠별로 영상 콘텐츠에 대한 통합 영상 분석 결과를 획득한다.
이때, 영상 분석 결과 관리부(420)는 수신한 영상 분석 결과 중에서 서로 동일한 영상 콘텐츠에 대한 분석 결과이고 서로 상이한 분석 조건에 따라 분석된 영상 분석 결과에 대해서는 재생 시간의 흐름에 따라 병합하여 영상 콘텐츠에 대한 통합 영상 분석 결과를 획득할 수 있다.
예컨대, 도 5를 참조하면, 제1 및 제2영상 분석 장치(100-1과 100-2)로부터 수신한 영상 콘텐츠(VC5)에 대한 제1 및 제2영상 분석 결과(AR5_1, AR5_2)가 영상 콘텐츠(VC5)의 전체 구간 중 서로 상이한 분석 구간을 대상으로 분석된 영상 분석 결과인 경우, 영상 분석 결과 관리부(420)는 제1 및 제2영상 분석 결과(AR5_1, AR5_2)를 재생 시간의 흐름을 기초로 병합하여 영상 콘텐츠(VC5)에 대한 통합 영상 분석 결과(AR5)를 획득할 수 있다. 도 6을 참조하면, 제1 및 제2영상 분석 장치(100-1과 100-2)로부터 수신한 영상 콘텐츠(VC6)에 대한 제1 및 제2영상 분석 결과(AR6_1, AR6_2)가 서로 상이한 분석 레벨에서 분석된 영상 분석 결과인 경우, 영상 분석 결과 관리부(420)는 제1 및 제2영상 분석 결과(AR6_1, AR6_2)를 계층적으로 병합하여 영상 콘텐츠(VC6)에 대한 통합 영상 분석 결과(AR6)를 획득할 수 있다. 도 7을 참조하면, 제1 및 제2영상 분석 장치(100-1과 100-2)로부터 수신한 영상 콘텐츠(VC7)에 대한 제1 및 제2영상 분석 결과(AR7_1, AR7_2)가 서로 상이한 분석 범위를 대상으로 분석된 영상 분석 결과인 경우, 영상 분석 결과 관리부(420)는 제1 및 제2영상 분석 결과(AR7_1, AR7_2)를 재생 시간의 흐름을 기초로 중첩되게 병합하여 영상 콘텐츠(VC7)에 대한 통합 영상 분석 결과(AR7)를 획득할 수 있다.
또한, 영상 분석 결과 관리부(420)는 수신한 영상 분석 결과 중에서 서로 동일한 영상 콘텐츠에 대한 분석 결과이고 영상 콘텐츠의 전체 구간 중 일부 구간에 대한 분석 결과가 영상 분석 결과에 각각 포함된 경우, 해당 영상 분석 장치로부터 수신한 표시 영상 정보를 기초로 영상 분석 결과 중 하나를 선정하여 중첩 구간에 대한 분석 결과로 결정할 수 있다. 예컨대, 영상 분석 결과 관리부(420)는 과거 분석 횟수가 많은 영상 분석 장치에서 분석된 영상 분석 결과를 중첩 구간에 대한 분석 결과로 결정할 수 있다. 영상 분석 결과 관리부(420)는 영상 분석 도중 종료 횟수가 적은 영상 분석 장치에서 분석된 영상 분석 결과를 중첩 구간에 대한 분석 결과로 결정할 수 있다.
또한, 영상 분석 결과 관리부(420)는 영상 분석 장치로부터 영상 콘텐츠에 대한 과거 영상 분석 결과의 요청을 받는 경우, 해당 영상 콘텐츠에 대한 과거 영상 분석 결과를 영상 분석 장치에 제공할 수 있다.
저장부(430)는 영상 분석 결과 관리부(420)에 의해 획득된 영상 콘텐츠에 대한 통합 영상 분석 결과를 저장한다. 저장부(430)는 영상 분석 관리 장치(200)의 내부에 내장된 저장 매체이거나 탈부착 가능한 저장 매체이다. 물론, 저장부(430)는 영상 분석 관리 장치(200)와 독립적인 장치로 구성되고, 영상 분석 관리 장치(200)와 유무선으로 연결되어 데이터를 주고받을 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 분석 관리 장치의 영상 분석 과정을 설명하기 위한 흐름도이다.
영상 분석 관리 장치(200)는 복수의 영상 분석 장치(100-1 내지 100-n)로부터 영상 콘텐츠에 대한 영상 분석 결과를 수신하고(S810), 수신한 영상 분석 결과를 기초로 영상 콘텐츠별로 영상 콘텐츠에 대한 통합 영상 분석 결과를 획득한다(S820).
이때, 영상 분석 관리 장치(200)는 수신한 영상 분석 결과 중에서 서로 동일한 영상 콘텐츠에 대한 분석 결과이고 서로 상이한 분석 조건에 따라 분석된 영상 분석 결과에 대해서는 재생 시간의 흐름에 따라 병합하여 영상 콘텐츠에 대한 통합 영상 분석 결과를 획득할 수 있다. 또한, 영상 분석 관리 장치(200)는 수신한 영상 분석 결과 중에서 서로 동일한 영상 콘텐츠에 대한 분석 결과이고 영상 콘텐츠의 전체 구간 중 일부 구간에 대한 분석 결과가 영상 분석 결과에 각각 포함된 경우, 해당 영상 분석 장치로부터 수신한 표시 영상 정보를 기초로 영상 분석 결과 중 하나를 선정하여 중첩 구간에 대한 분석 결과로 결정할 수 있다
이후, 영상 분석 관리 장치(200)는 획득된 영상 콘텐츠에 대한 통합 영상 분석 결과를 저장한다(S830).
이와 같이 본 실시예에 따른 영상 분석 장치(100-1)는 다른 영상 분석 장치(100-2 내지 100-n)로부터 수신한 표시 영상 정보를 기초로 영상 분석 수행 여부 및 분석 조건을 결정하고, 영상 분석을 수행한 경우 영상 분석 결과를 영상 분석 관리 장치(200)에 제공한다. 즉, 영상 콘텐츠에 대한 영상 분석을 수행하는 영상 분석 장치는 P2P(peer to peer) 방식에 의해 결정된다.
이와 달리, 영상 분석 관리 장치(200)가 영상 분석 장치(100-1 내지 100-n) 중 영상 분석을 수행할 영상 분석 장치를 선정하고 영상 분석 장치별로 분석 조건을 결정할 수 있다. 그러면, 영상 분석 수행 주체로 선정된 영상 분석 장치는 영상 분석을 수행하고, 영상 분석 결과를 영상 분석 관리 장치(200)에 제공한다. 즉, 영상 콘텐츠에 대한 영상 분석을 수행하는 영상 분석 장치는 서버-클라이언트 방식에 의해 결정된다.
이하, 영상 분석 관리 장치(200)가 서버 역할을 수행하고 영상 분석 장치(100-1 내지 100-n)가 클라이언트 역할을 수행하는 경우에 수행되는 영상 분석 과정에 대해 설명한다.
도 9는 본 발명의 다른 실시예에 따른 영상 분석 장치의 구성을 보다 자세하게 나타낸 블록도이다.
영상 분석 장치(900)는 영상 분석부(910), 저장부(920), 분석 결과 제공부(930) 및 제어부(940)를 구비한다.
본 실시예에 따른 영상 분석 장치(900)의 영상 분석부(910), 저장부(920), 분석 결과 제공부(930) 및 제어부(940)는 각각 앞선 실시예에 따른 영상 분석 장치(100)의 영상 분석부(240), 저장부(250), 분석 결과 제공부(260) 및 제어부(270)와 실질적으로 동일하므로 다른 부분에 대해서만 이하 설명한다.
제어부(940)는 영상 표시 장치(500-1)에 출력되는 영상 콘텐츠에 대한 정보인 표시 영상 정보를 영상 분석 관리 장치(200)에 제공한다. 이때, 제어부(940)는 영상 분석 장치(900)나 영상 표시 장치(500-1)가 구동되는 경우나 주기적으로 표시 영상 정보를 영상 분석 관리 장치(200)에 제공할 수 있다.
영상 분석부(910)는 영상 분석 관리 장치(200)로부터 영상 분석 수행 메시지를 수신한 경우에 영상 표시 장치(500-1)에 출력되는 영상 콘텐츠에 대한 영상 분석을 수행한다. 이때, 영상 분석부(910)는 영상 분석 수행 메시지에 분석 조건이 포함되거나 분석 조건 메시지를 수신한 경우, 분석 조건에 따라 영상 콘텐츠의 적어도 일부분에 대한 영상 분석을 수행할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 영상 분석 관리 장치의 구성을 보다 자세히 나타낸 블록도이다.
영상 분석 관리 장치(1000)는 표시 영상 정보 수신부(1010), 분석 수행 주체 선정부(1020), 분석 조건 결정부(1030), 영상 분석 결과 수신부(1040), 영상 분석 결과 관리부(1050) 및 저장부(1060)를 구비한다.
본 실시예에 따른 영상 분석 관리 장치(1000)의 영상 분석 결과 수신부(1040), 영상 분석 결과 관리부(1050) 및 저장부(1060)는 각각 앞선 실시예에 따른 영상 분석 관리 장치(200)의 영상 분석 결과 수신부(410), 영상 분석 결과 관리부(420) 및 저장부(430)와 실질적으로 동일하므로 자세한 설명은 생략한다.
표시 영상 정보 수신부(1010)는 복수의 영상 분석 장치(900-1 내지 900-n)로부터 표시 영상 정보를 수신한다.
분석 수행 주체 선정부(1020)는 상기 표시 영상 정보 수신부(1010)를 통해 수신한 표시 영상 정보를 기초로 영상 콘텐츠별로 미리 정해진 개수의 영상 분석 장치를 영상 분석 수행 주체로 선정한다.
즉, 분석 수행 주체 선정부(1020)는 복수의 영상 분석 장치(900-1 내지 900-n)로부터 수신한 표시 영상 정보를 기초로 아래의 [표 4]와 같은 표시 영상 테이블을 획득한다.
| 영상 분석 장치 |
영상 콘텐츠 |
네트워크 상태 |
과거 분석 횟수 |
어플리케이션 버전 |
… |
| 장치 A |
영상 A |
상 |
3회 |
1.0 |
… |
| 장치 B |
영상 A |
하 |
5회 |
1.0 |
… |
| 장치 C |
영상 B |
중 |
2회 |
1.1 |
… |
| 장치 D |
영상 A |
중 |
5회 |
1.0 |
… |
| 장치 E |
영상 B |
상 |
1회 |
1.1 |
… |
| 장치 F |
영상 A |
상 |
4회 |
0.9 |
… |
| 장치 G |
영상 B |
하 |
3회 |
1.0 |
… |
| … |
|||||
분석 수행 주체 선정부(1020)는 위의 [표 4]와 같은 표시 영상 테이블을 기초로 아래의 [표 5]와 같은 분석 순위 테이블을 영상 콘텐츠별로 획득한다.
| 영상 콘텐츠 A |
||||
| 순위 |
영상 분석 장치 |
네트워크 상태 |
과거 분석 횟수 |
애플리케이션 버전 |
| 1 |
장치 F |
상 |
4회 |
0.9 |
| 2 |
장치 A |
상 |
3회 |
1.0 |
| 3 |
장치 D |
중 |
5회 |
1.0 |
| 4 |
장치 B |
하 |
5회 |
1.0 |
| … |
||||
| 영상 콘텐츠 B |
||||
| 순위 |
영상 분석 장치 |
네트워크 상태 |
과거 분석 횟수 |
애플리케이션 버전 |
| 1 |
장치 E |
상 |
1회 |
1.1 |
| 2 |
장치 C |
중 |
2회 |
1.1 |
| 3 |
장치 G |
하 |
3회 |
1.0 |
| … |
||||
분석 수행 주체 선정부(1020)는 위의 [표 5]와 같은 분석 순위 테이블을 기초로 영상 콘텐츠별로 미리 정해진 개수의 영상 분석 장치를 영상 분석 수행 주체로 선정한다.
분석 수행 주체 선정부(720)는 영상 콘텐츠별로 영상 분석 수행 주체로 선정된 미리 정해진 개수의 영상 분석 장치에 영상 분석 수행 메시지를 제공한다. 여기서 영상 분석 수행 메시지는 영상 분석 장치의 식별 데이터, 영상 콘텐츠의 식별 데이터 등을 포함한다.
분석 수행 주체 선정부(1020)는 영상 분석 수행 주체로 선정된 영상 분석 장치로부터 부분 분석 종료 메시지를 수신한 경우, 해당 영상 콘텐츠의 [표 5]와 같은 분석 순위 테이블을 기초로 다른 영상 분석 장치를 영상 분석 수행 주체로 선정할 수 있다. 분석 수행 주체 선정부(1020)는 새롭게 선정된 영상 분석 수행 주체로 선정된 영상 분석 장치에 영상 분석 수행 메시지를 제공할 수 있다.
분석 조건 결정부(1030)는 각각의 영상 콘텐츠에 대하여 영상 분석 수행 주체로 선정된 영상 분석 장치별로 영상 콘텐츠의 분석 조건을 상이하게 결정할 수 있다.
즉, 분석 조건 결정부(1030)는 각각의 영상 콘텐츠에 대하여 영상 분석 수행 주체로 선정된 영상 분석 장치별로 분석 조건을 상이하게 결정하여 아래의 [표 6]과 같은 분석 조건 테이블을 획득한다. 이때, 분석 조건 결정부(1030)는 기 설정된 유형별 분석 조건 정보를 이용하여 위의 [표 5]와 같은 분석 순위 테이블을 기초로 분석 조건 테이블을 획득할 수 있다.
| 영상 콘텐츠 A |
||
| 순위 |
영상 분석 장치 |
분석 조건 |
| 1 |
장치 F |
분석 조건 A |
| 2 |
장치 A |
분석 조건 B |
| 3 |
장치 D |
분석 조건 C |
| 영상 콘텐츠 B |
||
| 순위 |
영상 분석 장치 |
분석 조건 |
| 1 |
장치 E |
분석 조건 D |
| 2 |
장치 C |
분석 조건 E |
| 3 |
장치 G |
분석 조건 F |
여기서, 분석 조건 테이블은 위의 [표 5]의 분석 순위 테이블을 기초로 영상 콘텐츠별로 3개의 영상 분석 장치가 영상 분석 수행 주체로 선정된 경우에 획득되는 분석 조건 테이블을 나타낸다.
분석 조건 결정부(1030)는 각각의 영상 콘텐츠에 대하여 영상 분석 수행 주체로 선정된 영상 분석 장치 각각에 위의 [표 6]과 같은 분석 조건 테이블을 이용하여 분석 조건에 대한 정보를 제공한다. 분석 조건 결정부(1030)는 분석 수행 주체 선정부(1020)가 영상 분석 장치에 제공하는 영상 분석 수행 메시지에 분석 조건을 포함시켜 영상 분석 장치에 분석 조건에 대한 정보를 제공할 수 있다. 물론, 분석 조건 결정부(1030)는 분석 조건 메시지를 영상 분석 장치에 제공할 수도 있다. 여기서 분석 조건 메시지는 영상 분석 장치의 식별 데이터, 영상 콘텐츠의 식별 데이터, 분석 조건 등을 포함한다.
도 11은 본 발명의 다른 실시예에 따른 영상 분석 관리 장치의 영상 분석 과정을 설명하기 위한 흐름도이다.
영상 분석 관리 장치(1000)는 복수의 영상 분석 장치(900-1 내지 900-n)로부터 표시 영상 정보를 수신하고(S1110), 수신한 표시 영상 정보를 기초로 위의 [표 4]와 같은 표시 영상 테이블을 획득한다(S1120).
이후, 영상 분석 관리 장치(1000)는 획득한 표시 영상 테이블을 기초로 위의 [표 5]와 같은 분석 순위 테이블을 영상 콘텐츠별로 획득하고(S1130), 획득한 분석 순위 테이블을 기초로 영상 콘텐츠 별로 미리 정해진 개수의 영상 분석 장치를 영상 분석 수행 주체로 선정한다(S1140). 이때, 영상 분석 관리 장치(1000)는 각각의 영상 콘텐츠에 대하여 영상 분석 수행 주체로 선정된 영상 분석 장치별로 영상 콘텐츠의 분석 조건을 상이하게 결정할 수 있다. 영상 분석 관리 장치(1000)는 영상 콘텐츠별로 영상 분석 수행 주체로 선정된 미리 정해진 개수의 영상 분석 장치에 영상 분석 수행 메시지를 제공한다(S1150).
이후, 영상 분석 관리 장치(1000)는 복수의 영상 분석 장치(900-1 내지 900-n)로부터 영상 콘텐츠에 대한 영상 분석 결과를 수신하고(S1160), 수신한 영상 분석 결과를 기초로 영상 콘텐츠별로 영상 콘텐츠에 대한 통합 영상 분석 결과를 획득한다(S1170). 영상 분석 관리 장치(1000)는 획득된 영상 콘텐츠에 대한 통합 영상 분석 결과를 저장한다(S1180).
한편, 본 발명의 실시예에 따른 영상 분석 장치는 영상 콘텐츠에 대한 영상 분석 결과를 이용하여 사용자의 조작에 의해 입력된 검색어를 기초로 영상 콘텐츠를 검색하는 영상 검색부(도시하지 않음)를 더 포함할 수 있다.
영상 검색부는 영상 분석 장치에 저장된 영상 콘텐츠에 대한 영상 분석 결과나 영상 분석 관리 장치에 저장된 영상 콘텐츠에 대한 영상 분석 결과를 이용하여 검색어에 매칭되는 영상 콘텐츠를 검색한다. 영상 검색부는 검색된 영상 콘텐츠 목록을 표시하고, 영상 콘텐츠 목록 중 사용자에 의해 선택된 영상 콘텐츠를 화면에 표시한다. 물론, 영상 검색부는 영상 분석 관리 장치에 검색 요청을 하고, 검색 결과인 영상 콘텐츠 목록을 영상 분석 관리 장치로부터 제공 받을 수 있다.
영상 검색부는 사용자의 조작에 의해 선택된 영상 콘텐츠가 영상 분석 장치에 저장되어 있는 경우에는 바로 영상 콘텐츠를 표시한다. 영상 검색부는 사용자의 조작에 의해 선택된 영상 콘텐츠가 영상 분석 장치에 존재하지 않는 경우에는 다른 영상 분석 장치, 방송 제공 장치, 영상 공유 장치 등을 통해 제공받은 영상 콘텐츠를 표시한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 롬(ROM), 램(RAM), CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 유무선 통신망으로 연결된 컴퓨터 장치에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 다음의 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100-1 내지 100-n, 900: 영상 분석 장치,
200, 1000: 영상 분석 관리 장치,
300: 방송 제공 장치,
400: 통신망,
500: 영상 표시 장치
200, 1000: 영상 분석 관리 장치,
300: 방송 제공 장치,
400: 통신망,
500: 영상 표시 장치
Claims (14)
- 영상 콘텐츠의 영상을 분석하는 영상 분석 장치에 있어서,
상기 영상 분석 장치에 연결된 영상 출력 수단에 출력되는 제1영상 콘텐츠에 대한 정보인 제1표시 영상 정보를 브로드캐스팅(broadcasting)하고, 통신망을 통해 상기 영상 분석 장치와 연결되어 있는 다른 영상 분석 장치인 제1영상 분석 장치에 연결된 영상 출력 수단에 출력되는 제2영상 콘텐츠에 대한 정보인 제2표시 영상 정보를 상기 제1영상 분석 장치로부터 수신하는 표시 영상 정보 송수신부;
상기 제1표시 영상 정보와 상기 제2표시 영상 정보를 기초로 상기 제1영상 콘텐츠와 동일한 상기 제2영상 콘텐츠를 출력하는 영상 출력 수단에 연결되어 있는 제1영상 분석 장치 중에서 적어도 하나의 제2영상 분석 장치를 결정하고, 상기 적어도 하나의 제2영상 분석 장치로부터 수신한 제2표시 영상 정보를 이용하여 획득된 분석 순위 테이블을 기초로 높은 순위에 따라 결정된 미리 정해진 개수의 영상 분석 장치에 자신이 포함되는 경우 영상 분석을 수행하는 것으로 결정하는 분석 수행 결정부;
상기 영상 분석 장치가 영상 분석을 수행하는 것으로 결정된 경우, 상기 제1영상 콘텐츠에서 특징 기술자(feature descriptor)를 획득하여 상기 제1영상 콘텐츠의 적어도 일부분에 대한 영상 분석을 수행하는 영상 분석부;를 포함하는 것을 특징으로 하는 영상 분석 장치. - 제 1항에 있어서,
상기 영상 분석 장치가 영상 분석을 수행하는 것으로 결정된 경우 상기 분석 순위 테이블을 기초로 분석 조건을 결정하는 분석 조건 결정부를 더 포함하며,
상기 영상 분석부는 상기 분석 조건에 따라 상기 제1영상 콘텐츠에 대한 영상 분석을 수행하는 것을 특징으로 하는 영상 분석 장치. - 제 2항에 있어서,
상기 분석 조건은 상기 제1영상 콘텐츠의 전체 구간 중 일부 구간을 나타내는 시간적 분석 범위, 상기 제1영상 콘텐츠의 전체 영상 영역 중 일부 영역을 나타내는 공간적 분석 범위 및 상기 시간적 분석 범위와 상기 공간적 분석 범위의 조합 중 하나를 나타내는 것을 특징으로 하는 영상 분석 장치. - 제 1항에 있어서,
상기 제1영상 콘텐츠에 대한 영상 분석 도중에 종료하는 경우 부분 분석 종료 메시지를 브로드캐스팅하는 제어부를 더 포함하는 것을 특징으로 하는 영상 분석 장치. - 영상 분석 장치에 연결된 영상 출력 수단에 출력되는 영상 콘텐츠에 대한 정보인 표시 영상 정보를 복수의 영상 분석 장치로부터 수신하는 영상 정보 수신부;
상기 복수의 영상 분석 장치로부터 수신한 상기 표시 영상 정보를 기초로 상기 영상 콘텐츠가 서로 동일한 복수의 영상 분석 장치를 획득하고, 상기 복수의 영상 분석 장치로부터 수신한 표시 영상 정보를 이용하여 획득된 분석 순위 테이블을 기초로 높은 순위에 따라 미리 정해진 개수의 영상 분석 장치를 영상 분석 수행 주체로 선정하는 분석 수행 주체 선정부;
상기 영상 콘텐츠에서 특징 기술자를 획득하여 상기 영상 콘텐츠의 적어도 일부분에 대한 영상 분석 결과를 상기 미리 정해진 개수의 영상 분석 장치로부터 각각 수신하는 영상 분석 결과 수신부; 및
상기 미리 정해진 개수의 영상 분석 장치로부터 수신한 상기 영상 분석 결과를 병합하여 상기 영상 콘텐츠에 대한 통합 영상 분석 결과를 획득하는 영상 분석 관리부;를 포함하는 것을 특징으로 하는 영상 분석 관리 장치. - 제 5항에 있어서,
상기 미리 정해진 개수의 영상 분석 장치별로 상기 영상 콘텐츠의 분석 조건을 상이하게 결정하는 분석 조건 결정부를 더 포함하며,
상기 영상 분석 결과 수신부는 상기 분석 조건 결정부에 의해 결정된 분석 조건에 따라 분석된 상기 영상 분석 결과를 수신하는 것을 특징으로 하는 영상 분석 관리 장치. - 제 6항에 있어서,
상기 분석 조건은 상기 영상 콘텐츠의 전체 구간 중 일부 구간을 나타내는 시간적 분석 범위, 상기 영상 콘텐츠의 전체 영상 영역 중 일부 영역을 나타내는 공간적 분석 범위 및 상기 시간적 분석 범위와 상기 공간적 분석 범위의 조합 중 하나를 나타내는 것을 특징으로 하는 영상 분석 관리 장치. - 제 5항에 있어서,
상기 분석 수행 주체 선정부는 상기 미리 정해진 개수의 영상 분석 장치 중 적어도 하나로부터 부분 분석 종료 메시지를 수신한 경우, 상기 분석 순위 테이블을 기초로 새로운 영상 분석 장치를 영상 분석 수행 주체로 선정하는 것을 특징으로 하는 영상 분석 관리 장치. - 복수의 영상 분석 장치로부터 각각의 영상 분석 장치에 연결되어 있는 영상 출력 수단에 출력되는 영상 콘텐츠에 대한 정보인 표시 영상 정보를 수신하는 단계;
상기 복수의 영상 분석 장치로부터 수신한 상기 표시 영상 정보를 기초로 상기 영상 콘텐츠가 서로 동일한 복수의 영상 분석 장치를 획득하는 단계;
상기 복수의 영상 분석 장치로부터 수신한 표시 영상 정보를 이용하여 획득된 분석 순위 테이블을 기초로 높은 순위에 따라 미리 정해진 개수의 영상 분석 장치를 영상 분석 수행 주체로 선정하는 단계;
상기 영상 콘텐츠에서 특징 기술자를 획득하여 상기 영상 콘텐츠의 적어도 일부분에 대한 영상 분석 결과를 상기 미리 정해진 개수의 영상 분석 장치로부터 각각 수신하는 단계; 및
상기 미리 정해진 개수의 영상 분석 장치로부터 수신한 상기 영상 분석 결과를 병합하여 상기 영상 콘텐츠에 대한 통합 영상 분석 결과를 획득하는 단계;를 포함하는 것을 특징으로 하는 영상 분석 방법. - 제 9항에 있어서,
상기 미리 정해진 개수의 영상 분석 장치별로 상기 영상 콘텐츠의 분석 조건을 상이하게 결정하는 단계를 더 포함하며,
상기 영상 분석 결과 수신 단계에서 상기 결정된 분석 조건에 따라 분석된 상기 영상 분석 결과를 수신하는 것을 특징으로 하는 영상 분석 방법. - 제 10항에 있어서,
상기 분석 조건은 상기 영상 콘텐츠의 전체 구간 중 일부 구간을 나타내는 시간적 분석 범위, 상기 영상 콘텐츠의 전체 영상 영역 중 일부 영역을 나타내는 공간적 분석 범위 및 상기 시간적 분석 범위와 상기 공간적 분석 범위의 조합 중 하나를 나타내는 것을 특징으로 하는 영상 분석 방법. - 제 9항에 있어서,
상기 미리 정해진 개수의 영상 분석 장치 중 적어도 하나로부터 부분 분석 종료 메시지를 수신한 경우, 상기 분석 순위 테이블을 기초로 새로운 영상 분석 장치를 영상 분석 수행 주체로 선정하는 단계를 더 포함하는 것을 특징으로 하는 영상 분석 방법. - 제 9항 내지 제 12항 중 어느 한 항에 기재된 영상 분석 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
- 통신망으로 연결되어 있는 복수의 영상 분석 장치 중에서 제1영상 분석 장치에서 수행되는 영상 분석 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
상기 제1영상 분석 장치에 연결된 영상 출력 수단에 출력되는 제1영상 콘텐츠에 대한 정보인 제1표시 영상 정보를 브로드캐스팅하는 단계;
통신망을 통해 상기 제1영상 분석 장치와 연결되어 있는 다른 영상 분석 장치인 제2영상 분석 장치에 연결된 영상 출력 수단에 출력되는 제2영상 콘텐츠에 대한 정보인 제2표시 영상 정보를 상기 제2영상 분석 장치로부터 수신하는 단계;
상기 제1표시 영상 정보와 상기 제2표시 영상 정보를 기초로 상기 제2영상 분석 장치 중에서 상기 제1영상 콘텐츠와 동일한 상기 제2영상 콘텐츠를 출력하는 영상 출력 수단에 연결되어 있는 적어도 하나의 제3영상 분석 장치를 결정하는 단계;
상기 적어도 하나의 제3영상 분석 장치로부터 수신한 제2표시 영상 정보를 이용하여 획득된 분석 순위 테이블을 기초로 높은 순위에 따라 결정된 미리 정해진 개수의 영상 분석 장치에 상기 제1영상 분석 장치가 포함되는 경우 상기 제1영상 분석 장치가 영상 분석을 수행하는 것으로 결정하는 단계; 및
상기 제1영상 분석 장치가 영상 분석을 수행하는 것으로 결정된 경우, 상기 제1영상 콘텐츠에서 특징 기술자(feature descriptor)를 획득하여 상기 제1영상 콘텐츠의 적어도 일부분에 대한 영상 분석을 수행하는 단계;를 포함하는 것을 특징으로 하는 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110110298A KR101280804B1 (ko) | 2011-10-27 | 2011-10-27 | 영상 콘텐츠의 영상을 분석하는 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110110298A KR101280804B1 (ko) | 2011-10-27 | 2011-10-27 | 영상 콘텐츠의 영상을 분석하는 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130046011A KR20130046011A (ko) | 2013-05-07 |
| KR101280804B1 true KR101280804B1 (ko) | 2013-07-02 |
Family
ID=48657805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110110298A KR101280804B1 (ko) | 2011-10-27 | 2011-10-27 | 영상 콘텐츠의 영상을 분석하는 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101280804B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102495702B1 (ko) | 2017-11-28 | 2023-02-06 | 삼성전자주식회사 | 서버 및 그 제어방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090000204A (ko) * | 2007-01-31 | 2009-01-07 | 삼성전자주식회사 | 컨텐츠 관리 방법 및 장치 |
| KR20090001984A (ko) * | 2007-05-31 | 2009-01-09 | 하나로드림(주) | 사용자 반응에 기반한 영상 컨텐츠 제공 시스템 및 방법 |
| KR20110071749A (ko) * | 2009-12-21 | 2011-06-29 | 한국전자통신연구원 | 컨텐츠 정보 관리 장치 및 방법 |
| KR20110114950A (ko) * | 2010-04-14 | 2011-10-20 | 한국과학기술원 | 컨텐츠 변환 방법 및 시스템 |
-
2011
- 2011-10-27 KR KR1020110110298A patent/KR101280804B1/ko not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090000204A (ko) * | 2007-01-31 | 2009-01-07 | 삼성전자주식회사 | 컨텐츠 관리 방법 및 장치 |
| KR20090001984A (ko) * | 2007-05-31 | 2009-01-09 | 하나로드림(주) | 사용자 반응에 기반한 영상 컨텐츠 제공 시스템 및 방법 |
| KR20110071749A (ko) * | 2009-12-21 | 2011-06-29 | 한국전자통신연구원 | 컨텐츠 정보 관리 장치 및 방법 |
| KR20110114950A (ko) * | 2010-04-14 | 2011-10-20 | 한국과학기술원 | 컨텐츠 변환 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130046011A (ko) | 2013-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112565825B (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
| JP6891170B2 (ja) | ステムリソース利用を最適化するための映像セグメントの将来の視聴予測 | |
| AU2016291674B2 (en) | Systems and methods for partitioning search indexes for improved efficiency in identifying media segments | |
| CN110784759B (zh) | 弹幕信息处理方法、装置、电子设备及存储介质 | |
| US10949458B2 (en) | System and method for improving work load management in ACR television monitoring system | |
| KR102262481B1 (ko) | 비디오 컨텐츠 요약 | |
| CN108848401A (zh) | 视频起播方法及装置 | |
| CN202998337U (zh) | 视频节目识别系统 | |
| KR101486545B1 (ko) | Ｔｖ 애플리케이션을 이용한 방송 영상 검색 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| TWI558189B (zh) | 用於社群使用者量化之方法、裝置及使用者介面 | |
| US20240028582A1 (en) | Systems and methods for improving accuracy of device maps using media viewing data | |
| KR101280804B1 (ko) | 영상 콘텐츠의 영상을 분석하는 장치 및 방법 | |
| CN111274449A (zh) | 视频播放方法、装置、电子设备和存储介质 | |
| CN108028947B (zh) | 用于改善acr电视监控系统中的工作负荷管理的系统和方法 | |
| CN112235592B (zh) | 直播方法、直播处理方法、装置、计算机设备 | |
| US20230224528A1 (en) | Method of processing video stream, computer device, and medium | |
| CN112446819A (zh) | 合成影像生成方法、服务器以及记录介质 | |
| US20230177083A1 (en) | Method and apparatus for simultaneous video retrieval and alignment | |
| CN111614991B (zh) | 视频进度确定方法、装置、电子设备及存储介质 | |
| KR102414211B1 (ko) | 동영상 제공 방법 및 장치 | |
| KR20100110137A (ko) | 컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법 및 이를 이용한 컨텐츠 플레이 단말 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160330 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |