KR101372639B1 - Method and apparatus for commercial detecting - Google Patents
Method and apparatus for commercial detecting Download PDFInfo
- Publication number
- KR101372639B1 KR101372639B1 KR1020100086516A KR20100086516A KR101372639B1 KR 101372639 B1 KR101372639 B1 KR 101372639B1 KR 1020100086516 A KR1020100086516 A KR 1020100086516A KR 20100086516 A KR20100086516 A KR 20100086516A KR 101372639 B1 KR101372639 B1 KR 101372639B1
- Authority
- KR
- South Korea
- Prior art keywords
- feature information
- image
- partial blocks
- advertisement image
- reference advertisement
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 38
- 239000013598 vector Substances 0.000 claims abstract description 93
- 238000012544 monitoring process Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims description 29
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
영상 재생 장치를 통해 재생되는 방송 콘텐츠와 광고 영상이 섞인 모니터링 대상 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 분할부; 상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 특징 정보 산출부; 상기 특징 정보들을 특징 정보 벡터로 변환하는 변환부; 및 데이터베이스에 미리 저장된 검출하고자 하는 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 검출부를 포함하는 광고 영상 검출 장치가 제공된다.A divider for dividing each of the plurality of frames of the monitoring target image mixed with the broadcast content reproduced by the image reproducing apparatus into a partial block having a predetermined size; A feature information calculator configured to calculate feature information about each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size; A converter for converting the feature information into a feature information vector; And a detector configured to detect the reference advertisement image by comparing the feature information vector of the reference advertisement image to be detected previously stored in a database with the feature information vector.
Description
아래의 실시예들은 광고 영상 검출 방법 및 장치에 관한 것이다.The following embodiments are related to an advertisement image detection method and apparatus.
지상파 TV는 다른 영상 매체에 비하여 광고의 파급력이 매우 크다. 그러므로 광고주와 방송사 간의 신뢰를 높이는 동시에, 광고주에게 유익하고 체계적인 정보를 제공할 수 있는 지상파 TV에 대한 광고 영상 검출 방법 및 장치가 요구되고 있다.Terrestrial TVs are far more powerful than other video media. Therefore, there is a need for an advertisement image detection method and apparatus for terrestrial TV that can increase the trust between an advertiser and a broadcaster and provide beneficial and systematic information to the advertiser.
또한, 지상파 TV로 방송된 방송 콘텐츠가 다른 유통 과정(케이블, IPTV, 온라인 VOD 등)으로 소비될 때 함께 노출되는 광고를 검출할 수 있는 광고 영상 검출 방법 및 장치가 요구된다.In addition, there is a need for an advertisement image detection method and apparatus capable of detecting advertisements that are exposed together when broadcast content broadcast on terrestrial TV is consumed in other distribution processes (cables, IPTV, online VOD, etc.).
본 발명의 일 실시예는 다양한 방송 콘텐츠의 소비 환경에서 실시간으로 광고를 모니터링 하기 위한 광고 영상 검출 방법 및 장치를 제공한다. An embodiment of the present invention provides an advertisement image detection method and apparatus for monitoring an advertisement in real time in a consumption environment of various broadcast contents.
또한, 본 발명의 일 실시예는 HDTV 환경에서 자주 관찰되는 영상의 변형 및 방송 콘텐츠의 다양한 소비 환경에 따른 콘텐츠 변형에 강인(robust)하고, 고속의 처리가 가능한 광고 영상 검출 방법 및 장치를 제공한다. In addition, an embodiment of the present invention provides a method and apparatus for detecting an advertisement image that is robust to high-speed processing and modification of an image that is frequently observed in an HDTV environment and a content consumption according to various consumption environments of broadcast content. .
또한, 본 발명의 일 실시예는 영상 재생 장치를 통해 재생되는 모니터링 대상(방송 콘텐츠와 광고 영상이 섞인 영상)의 복수의 프레임들로부터 검출하고자 하는 참조 광고 영상의 존재 여부 및 재생 길이를 계산할 수 있는 광고 영상 검출 방법 및 장치를 제공한다.In addition, an embodiment of the present invention can calculate the presence and reproduction length of the reference advertisement image to be detected from a plurality of frames of the monitoring target (the image mixed with the broadcast content and the advertisement image) to be reproduced through the image reproducing apparatus Provided are a method and an apparatus for detecting an advertisement image.
본 발명의 일 실시예에 따른 광고 영상 검출 방법은 영상 재생 장치를 통해 재생되는 방송 콘텐츠와 광고 영상이 섞인 모니터링 대상 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 단계; 상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계; 상기 특징 정보들을 특징 정보 벡터로 변환하는 단계; 및 데이터베이스에 미리 저장된 검출하고자 하는 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 단계를 포함한다. According to an aspect of the present invention, there is provided a method of detecting an advertisement image, the method comprising: dividing each of a plurality of frames of a monitoring target image mixed with broadcast content reproduced through an image reproducing apparatus into partial blocks having a predetermined size; Calculating feature information on each of the partial blocks corresponding to a predetermined position among the partial blocks having the predetermined size; Converting the feature information into a feature information vector; And detecting the reference advertisement image by comparing the feature information vector of the reference advertisement image to be detected previously stored in the database with the feature information vector.
상기 모니터링 대상 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 단계는 상기 복수의 프레임들 각각마다의 화면비를 고려하여 상기 소정 크기의 부분 블록들로 분할하는 단계일 수 있다. The dividing of the plurality of frames of the monitoring target image into partial blocks having a predetermined size may be performed by dividing the plurality of frames into partial blocks having the predetermined size in consideration of an aspect ratio of each of the plurality of frames.
상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계는 상기 소정 크기의 부분 블록들 중 상기 영상 재생 장치를 통해 재생되는 경우에 시청자의 화면 상에서 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계일 수 있다. Computing feature information for each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size may be performed on the screen of the viewer when the partial blocks of the predetermined size are reproduced through the image reproducing apparatus. The method may include calculating feature information about each of the partial blocks corresponding to a location that receives less deformation.
상기 시청자의 화면 상에서 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계는 상기 소정 크기의 부분 블록들 중 상기 영상 매체를 통해 방송될 경우에 상기 시청자의 화면 상에서 좌, 우측 상단의 부분 블록들 및 하단의 부분 블록들을 제외한 나머지 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계일 수 있다. Computing feature information for each of the partial blocks corresponding to a position where the image is less deformed on the viewer's screen may be performed on the viewer's screen when the partial blocks of the predetermined size are broadcasted through the video medium. Computing the feature information for each of the remaining partial blocks except for the partial blocks at the upper left and right and the partial blocks at the bottom.
상기 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계는 상기 부분 블록들 각각에 대한 휘도(luminance)의 평균값들을 구하는 단계; 및 상기 휘도의 평균값들의 최대값 및 최소값을 이용하여 상기 휘도의 평균값들을 정규화한 상기 특징 정보들을 산출하는 단계를 포함할 수 있다. Computing feature information for each of the partial blocks comprises: calculating average values of luminance for each of the partial blocks; And calculating the feature information by normalizing the average values of the luminance using the maximum and minimum values of the average values of the luminance.
상기 참조 광고 영상을 검출하는 단계는 상기 참조 광고 영상의 특징 정보 벡터 및 상기 특징 정보 벡터들 각각에 서로 다른 가중치를 적용하는 단계; 및 상기 서로 다른 가중치가 적용된 상기 참조 광고 영상의 특징 정보 벡터 및 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 단계를 포함할 수 있다. The detecting of the reference advertisement image may include applying different weights to the feature information vector and the feature information vectors of the reference advertisement image; And comparing the feature information vector and the feature information vector of the reference advertisement image to which the different weights are applied and detecting the reference advertisement image.
상기 모니터링 대상 영상의 복수의 프레임들 및 상기 참조 광고 영상의 복수의 프레임들의 개수가 서로 일치하는지 여부를 판단하는 단계; 및 상기 각 영상의 프레임들의 개수가 서로 일치하지 않는 경우, 상기 모니터링 대상 영상의 프레임들의 개수에 적응적으로 상기 참조 광고 영상의 복수의 프레임들에 대한 비교 비율을 산출하는 단계를 더 포함하고, 상기 참조 광고 영상을 검출하는 단계는 상기 비교 비율에 기초하여 상기 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 단계일 수 있다. Determining whether a plurality of frames of the monitoring target image and a plurality of frames of the reference advertisement image match each other; And calculating a comparison ratio of a plurality of frames of the reference advertisement image adaptively to the number of frames of the monitoring target image when the number of frames of each image does not match each other. The detecting of the reference advertisement image may include detecting the reference advertisement image by comparing the feature information vector of the reference advertisement image with the feature information vector based on the comparison ratio.
상기 참조 광고 영상을 검출하는 단계는 상기 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터의 비교 결과가미리 설정된 오차 범위 내인 경우, 서로 동일한 것으로 판단하여 상기 참조 광고 영상을 검출하는 단계일 수 있다. The detecting of the reference advertisement image may include detecting the reference advertisement image by determining that the reference advertisement image is the same when the comparison result of the feature information vector of the reference advertisement image and the feature information vector is within a preset error range.
상기 모니터링 대상 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 단계에 앞서, 상기 참조 광고 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 단계; 상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계; 상기 특징 정보들을 상기 참조 광고 영상의 특징 정보 벡터로 변환하는 단계; 및 상기 참조 광고 영상의 특징 정보 벡터를 데이터베이스에 저장하는 단계를 포함할 수 있다. Dividing each of the plurality of frames of the reference advertisement image into partial blocks having a predetermined size before dividing each of the plurality of frames of the monitored image into partial blocks of a predetermined size; Calculating feature information on each of the partial blocks corresponding to a predetermined position among the partial blocks having the predetermined size; Converting the feature information into a feature information vector of the reference advertisement image; And storing the feature information vector of the reference advertisement image in a database.
또한, 본 발명의 일 실시예에 따른 광고 영상 검출 장치는 영상 재생 장치를 통해 재생되는 방송 콘텐츠와 광고 영상이 섞인 모니터링 대상 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 분할부; 상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 특징 정보 산출부; 상기 특징 정보들을 특징 정보 벡터로 변환하는 변환부; 및 데이터베이스에 미리 저장된 검출하고자 하는 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 검출부를 포함한다.In addition, the advertisement image detection apparatus according to an embodiment of the present invention is a partitioning unit for dividing each of the plurality of frames of the monitoring target image mixed with the broadcast content and the advertisement image reproduced through the image reproducing apparatus into partial blocks of a predetermined size ; A feature information calculator configured to calculate feature information about each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size; A converter for converting the feature information into a feature information vector; And a detector configured to detect the reference advertisement image by comparing the feature information vector of the reference advertisement image to be detected previously stored in the database with the feature information vector.
상기 분할부는 상기 복수의 프레임들 각각마다의 화면비를 고려하여 상기 소정 크기의 부분 블록들로 분할할 수 있다. The divider may be divided into partial blocks having a predetermined size in consideration of an aspect ratio of each of the plurality of frames.
상기 특징 정보 산출부는 상기 소정 크기의 부분 블록들 중 상기 영상 재생 장치를 통해 재생되는 경우에 시청자의 화면 상에서 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출할 수 있다. The feature information calculator may calculate feature information of each of the partial blocks corresponding to a position where the image is less deformed on the screen of the viewer when the partial blocks of the predetermined size are reproduced through the image reproducing apparatus. .
상기 특징 정보 산출부는 상기 소정 크기의 부분 블록들 중 상기 영상 매체를 통해 방송될 경우에 상기 시청자의 화면 상에서 좌, 우측 상단의 부분 블록들 및 하단의 부분 블록들을 제외한 나머지 부분 블록들 각각에 대한 특징 정보들을 산출할 수 있다. The feature information calculating unit may be configured for each of the remaining partial blocks except for the partial blocks at the upper left and the right and the lower partial blocks on the screen of the viewer when the predetermined size of the partial blocks are broadcasted through the video medium. Information can be calculated.
상기 특징 정보 산출부는 상기 부분 블록들 각각에 대한 휘도(luminance)의 평균값들을 구하는 평균 산출 수단; 및 상기 휘도의 평균값들의 최대값 및 최소값을 이용하여 상기 휘도의 평균값들을 정규화한 상기 특징 정보들을 산출하는 특징 정보 산출 수단을 포함할 수 있다. The feature information calculating unit comprises: average calculating means for obtaining average values of luminance of each of the partial blocks; And feature information calculating means for calculating the feature information by normalizing the average values of the luminance using the maximum and minimum values of the average values of the luminance.
상기 특징 정보 산출부는 상기 부분 블록들 각각에 대한 휘도(luminance)의 평균값들의 공간적 차이값을 구하는 공간적 휘도 차이 산출 수단; 및 상기 부분 블록들 각각에 대한 휘도(luminance)의 평균값들의 시간적 차이값을 구하는 시간적 휘도 차이 산출 수단을 포함할 수 있다. The feature information calculating unit includes: spatial luminance difference calculating means for obtaining a spatial difference value of average values of luminance of each of the partial blocks; And temporal luminance difference calculating means for obtaining a temporal difference value of average values of luminance for each of the partial blocks.
상기 모니터링 대상 영상의 복수의 프레임들 및 상기 참조 광고 영상의 복수의 프레임들의 개수가 서로 일치하는지 여부를 판단하여 상기 모니터링 대상 영상의 프레임들의 개수에 적응적으로 상기 참조 광고 영상의 복수의 프레임들에 대한 비교 비율을 산출하는 비교 비율 산출부를 더 포함하고, 상기 검출부는 상기 비교 비율에 기초하여 상기 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출할 수 있다. It is determined whether the number of the plurality of frames of the monitoring target image and the plurality of frames of the reference advertisement image coincide with each other to adaptively adapt the number of frames of the monitoring target image to the plurality of frames of the reference advertisement image. The apparatus may further include a comparison ratio calculator configured to calculate a comparison ratio, and the detector may detect the reference advertisement image by comparing the feature information vector and the feature information vector of the reference advertisement image based on the comparison ratio.
상기 검출부는 상기 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터의 비교 결과가 미리 설정된 오차 범위 내인 경우, 서로 동일한 것으로 판단하여 상기 참조 광고 영상을 검출할 수 있다. When the comparison result of the feature information vector and the feature information vector of the reference advertisement image is within a preset error range, the detector may detect the reference advertisement image by determining that they are the same.
상기 검출부는 상기 참조 광고 영상의 특징 정보 벡터 및 상기 특징 정보 벡터들 각각에 서로 다른 가중치를 적용하는 가중치 적용 수단을 더 포함할 수 있다. The detector may further include weight applying means for applying different weights to each of the feature information vector and the feature information vectors of the reference advertisement image.
상기 참조 광고 영상의 특징 정보 벡터를 산출하는 참조 광고 특징 산출부를 더 포함할 수 있다. The apparatus may further include a reference advertisement feature calculator configured to calculate a feature information vector of the reference advertisement image.
상기 참조 광고 특징 산출부는 상기 참조 광고 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 분할 수단; 상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 산출 수단; 상기 특징 정보들을 상기 참조 광고 영상의 특징 정보 벡터로 변환하는 변환 수단; 및 상기 참조 광고 영상의 특징 정보 벡터를 상기 데이터베이스에 저장하는 저장 수단을 포함할 수 있다. The reference advertisement feature calculating unit may include splitting means for dividing each of the plurality of frames of the reference advertisement image into partial blocks having a predetermined size; Calculating means for calculating feature information for each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size; Converting means for converting the feature information into a feature information vector of the reference advertisement video; And storage means for storing the feature information vector of the reference advertisement image in the database.
본 발명의 일 실시예에 따르면, 영상을 일정 크기의 부분 블록들로 나누고, 블록들 각각에 대한 휘도의 평균값을 이용하여 광고 영상을 검출함으로써 영상에서의 픽셀 값의 변화에 대한 민감도와 특징 정보의 크기를 줄이는 동시에 고속으로 광고 영상을 검출할 수 있다.According to an embodiment of the present invention, by dividing an image into partial blocks of a predetermined size and detecting an advertisement image using an average value of luminance for each of the blocks, sensitivity and feature information of a change in pixel value in the image is determined. It can reduce the size and detect the advertisement video at high speed.
또한, 본 발명의 일 실시예에 따르면, 프레임들 각각마다의 화면 비를 고려하여 소정 크기의 부분 블록들로 분할함으로써 화면 비(aspect ratio) 변형에도 강인(robust)하게 광고 영상을 검출 할 수 있다. In addition, according to an embodiment of the present invention, by dividing into partial blocks having a predetermined size in consideration of the aspect ratio of each frame, it is possible to robustly detect the advertisement image even in the aspect ratio deformation. .
또한, 본 발명의 일 실시예에 따르면, 광고 영상의 각 프레임에 대한 휘도의 평균값을 정규화하여 특징 정보로 이용함으로써 부호화 방식에 따른 영상의 변형에도 강인하게 광고 영상을 검출 할 수 있다.Further, according to an exemplary embodiment of the present invention, the average value of luminance of each frame of the advertisement image is normalized and used as feature information, so that the advertisement image can be detected robustly even in the deformation of the image according to the encoding scheme.
또한, 본 발명의 일 실시예에 따르면, 방송 광고 영상의 특징을 분석하여 영상의 변형이 적은 부분 블록을 이용함으로써 방송 편집에 따른 영상의 변형에도 강인하게 광고 영상을 검출 할 수 있다. In addition, according to an embodiment of the present invention, by analyzing the characteristics of the broadcast advertising video by using a partial block with less deformation of the video, it is possible to robustly detect the advertising video even in the deformation of the video according to the broadcast editing.
또한, 본 발명의 일 실시예에 따르면, 모니터링 대상 영상과 참조 광고 영상의 특징 정보를 프레임 수에 적응하여 비교함으로써 프레임 수의 변환에 따른 변형에도 강인하게 광고 영상을 검출 할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 특징 정보를 비교할 때 일정 정도의 오류를 허용함으로써 여러 영상 변형에도 강인하게 광고 영상을 검출 할 수 있다.In addition, according to an embodiment of the present invention, the advertisement image can be detected robustly even by deformation due to the change of the number of frames by adaptively comparing the characteristic information of the monitoring target image and the reference advertisement image to the number of frames. In addition, according to an embodiment of the present invention, by allowing a certain degree of error when comparing the feature information, it is possible to robustly detect the advertisement image even in the deformation of various images.
도 1은 본 발명의 일 실시예에 따른 광고 영상 검출 방법을 나타낸 플로우 차트이다.
도 2는 본 발명의 일 실시예에 따른 광고 영상이 변형되는 경우를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 특징 정보들을 추출하기 위한 광고 영상의 부분 블록들을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 광고 영상 검출 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 광고 영상 검출 장치의 블록도이다.1 is a flowchart illustrating an advertisement image detection method according to an embodiment of the present invention.
2 is a diagram illustrating a case in which an advertisement image is modified according to an embodiment of the present invention.
3 is a diagram illustrating partial blocks of an advertisement image for extracting feature information according to an embodiment of the present invention.
4 is a diagram for describing a method for detecting an advertisement image, according to an exemplary embodiment.
5 is a block diagram of an advertisement image detecting apparatus according to an embodiment of the present invention.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. In addition, the same reference numerals shown in the drawings denote the same members.
이하에서 모니터링 대상 영상은 영상 재생 장치를 통해 재생되는 방송 콘텐츠와 광고 영상이 섞인 영상('Q' 영상)을 의미하고, 참조 광고 영상은 모니터링 대상 영상의 복수의 프레임들로부터 검출하고자 하는 영상('R'영상)을 의미한다.Hereinafter, the monitoring target image refers to an image ('Q' image) in which broadcast content reproduced through an image reproducing apparatus and an advertisement image are mixed, and the reference advertisement image is an image to be detected from a plurality of frames of the monitoring target image (' R 'image).
도 1은 본 발명의 일 실시예에 따른 광고 영상 검출 방법을 나타낸 플로우 차트이다. 1 is a flowchart illustrating an advertisement image detection method according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, HDTV 방송 환경에서 영상 재생 장치를 통해 재생되는 방송콘텐츠와 광고 영상이 섞인 모니터링 대상 영상으로부터 참조 광고 영상을 검출하기 위하여 고려하여야 할 사항은 속도(speed), 정밀도(accuracy) 및 강인성(robust) 등을 들 수 있다. According to an embodiment of the present invention, in order to detect the reference advertisement image from the monitoring target image mixed with the broadcast content and the advertisement image reproduced through the image reproducing apparatus in the HDTV broadcasting environment, speed and precision ( accuracy and robustness.
속도(speed)의 경우, HDTV 방송 환경에서는 1920 x 1080 크기의 영상을 초당 30장씩 처리할 수 있어야 실시간 처리가 가능하다. 그러기 위해서는 영상에서 특징 정보를 추출하는 시간과 특징 정보를 비교하는 시간을 고려하여 영상의 특징 정보를 결정해야 한다. In the case of speed, in HDTV broadcasting environment, it is required to process 30 images of 1920 x 1080 size per second for real time processing. To do this, the feature information of the image should be determined in consideration of the time for extracting the feature information from the image and the time for comparing the feature information.
정밀도(accuracy)의 경우, 광고 영상은 대부분 15초 내외의 비교적 짧은 길이로 방영되기 때문에 참조 광고 영상을 다른 영상으로부터 인식/구분하기 위해 필요한 시간적 단위 (프레임 수)가 적어야 한다.In the case of accuracy, most of the advertisement images are broadcast in a relatively short length of about 15 seconds, so the time unit (frame number) required for recognizing / dividing the reference advertisement image from other images should be small.
강인성(robust)의 경우, 방송 환경을 고려할 때 다양한 원인으로 인하여 방송 전의 원 광고 영상과 실제 방송되는 광고 영상 간에 변형이 발생할 수 있다.In the case of robustness, deformation may occur between the original advertisement image before broadcasting and the advertisement image actually broadcast due to various causes when considering a broadcasting environment.
즉 방송 채널, 방송되는 시기, 방영되는 프로그램 등 다양한 원인으로 인해 광고 영상에 대한 변형이 발생할 수 있다. That is, due to various reasons such as a broadcast channel, a broadcast time, and a broadcasted program, a deformation of an advertisement image may occur.
또한, 최근 온라인 상으로도 방송 콘텐츠에 대한 소비가 많이 일어나고 있는데, 온라인을 통해 유통되는 방송 콘텐츠는 방송된 콘텐츠를 재부호화 하여야 한다. 따라서, 온라인을 통해 유통하기 위해 수행되는 재부호화로 인해 방송 콘텐츠 및 광고 영상에도 여러 가지 변형이 발생할 수 있다.In addition, the consumption of broadcast content has been increasing a lot online, and the broadcast content distributed through online must re-encode the broadcast content. Therefore, various modifications may also occur to broadcast contents and advertisement images due to re-encoding performed for distribution online.
따라서, 본 발명의 일 실시예에 따르면 다양한 원인으로 인한 변형에 강인성을 갖는 광고 영상 검출 방법을 제공한다. Therefore, according to an embodiment of the present invention, there is provided an advertisement image detection method having robustness to deformation due to various causes.
방송되기 전의 원 광고 영상이 방송 후에 변형을 받게 되는 다양한 경우에 대하여는 도 2를 통해 후술한다.Various cases in which the original advertisement video before the broadcast is modified after the broadcast will be described later with reference to FIG. 2.
도 1을 참조하면, 광고 영상 검출 장치는 검출하고자 하는 참조 광고 영상의 특징 정보 벡터를 데이터베이스에 저장할 수 있다(110). 데이터베이스에 미리 저장된 참조 광고 영상의 특징 정보 벡터는 이후의 과정을 통해 얻을 수 있는 모니터링 대상 영상의 특징 정보 벡터와의 비교에 이용될 수 있다. Referring to FIG. 1, the advertisement image detecting apparatus may store a feature information vector of a reference advertisement image to be detected in a database (110). The feature information vector of the reference advertisement image previously stored in the database may be used for comparison with the feature information vector of the monitoring target image obtained through the following process.
참조 광고 영상의 특징 정보 벡터는 아래의 방법에 의해 산출될 수 있다. The feature information vector of the reference advertisement image may be calculated by the following method.
광고 영상 검출 장치는 참조 광고 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하고, 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출한다. 광고 영상 검출 장치는 참조 광고 영상의 특징 정보들을 특징 정보 벡터로 변환하여 데이터베이스에 저장할 수 있다. The advertisement image detecting apparatus divides each of the plurality of frames of the reference advertisement image into partial blocks of a predetermined size, and calculates feature information for each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size. The advertisement image detecting apparatus may convert feature information of the reference advertisement image into a feature information vector and store the feature information in a database.
광고 영상 검출 장치는 영상 재생 장치를 통해 재생되는 방송 콘텐츠와 광고 영상이 섞인 모니터링 대상 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할한다. 이 때, 광고 영상 검출 장치는 화면 비(aspect ratio) 변형 따른 강인성을 높이기 위하여 복수의 프레임들 각각마다의 화면 비를 고려하여 소정 크기의 부분 블록들로 분할할 수 있다(120). The advertisement image detecting apparatus divides each of the plurality of frames of the monitoring target image in which the broadcast content reproduced through the image reproducing apparatus and the advertisement image are mixed into partial blocks having a predetermined size. In this case, the advertisement image detecting apparatus may be divided into partial blocks having a predetermined size in consideration of the aspect ratio of each of the plurality of frames in order to increase the robustness according to the deformation of the aspect ratio (120).
광고 영상 검출 장치는 복수의 프레임들 각각마다의 화면 비를 고려하여 도 3과 같이 3 x 3의 부분 블록들로 분할할 수 있다. 즉, 예를 들어, 원래는 16:9의 비율이었던 광고 영상이 4:3 비율로 방송되는 경우에 각 프레임마다 영상 좌우에 삽입된 레터박스를 제거하는 등의 방법으로 화면 비를 고려하여 광고 영상을 3 x 3의 부분 블록들로 분할할 수 있다. The advertisement image detecting apparatus may be divided into 3 × 3 partial blocks in consideration of an aspect ratio of each of the plurality of frames. That is, for example, when an advertisement video, which was originally in 16: 9 ratio, is broadcast in 4: 3 ratio, the advertisement image is considered in consideration of the aspect ratio by removing letterboxes inserted at the left and right sides of the image for each frame. Can be divided into 3 x 3 partial blocks.
광고 영상 검출 장치는 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출한다(130).The advertisement image detecting apparatus calculates feature information on each of the partial blocks corresponding to a preset position among the partial blocks having a predetermined size (130).
여기서, 미리 설정된 위치에 해당하는 부분 블록들이란 소정 크기의 부분 블록들 중 영상 매체를 통해 방송될 경우에 시청자의 화면 상에서 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들을 말한다. Here, the partial blocks corresponding to the preset position refer to partial blocks corresponding to positions of the image which are less deformed on the screen of the viewer when broadcasted through the video medium among the partial blocks having a predetermined size.
시청자의 화면 상에서 영상에 변형이 발생하는 경우에 대하여는 도 2의 설명을 참조하고, 시청자의 화면 상에서 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들에 대하여는 도 3을 참조하여 후술한다. A case in which a deformation occurs in an image on the viewer's screen will be described with reference to FIG. 2, and partial blocks corresponding to a position where the image is less deformed on the viewer's screen will be described later with reference to FIG. 3.
광고 영상 검출 장치는 부분 블록들 각각에 대한 특징 정보들을 산출하기 위하여 우선 부분 블록들 각각에 대한 휘도(luminance)의 평균값들을 구할 수 있다. The advertisement image detecting apparatus may first obtain average values of luminance of each of the partial blocks in order to calculate feature information of each of the partial blocks.
본 발명의 일 실시예에 따른 광고 영상 검출 방법은 예를 들어, HDTV 환경에서 자주 관찰되는 영상 변형에 강인하고, 또한 고속으로 모니터링 대상 영상에 포함된 광고 영상을 검출하기 위하여 부분 블록들에 대한 휘도의 평균값을 이용할 수 있다. The advertisement image detection method according to an embodiment of the present invention is robust to image distortions frequently observed in an HDTV environment, and also has a luminance of partial blocks in order to detect an advertisement image included in a monitored image at high speed. The average value of can be used.
휘도의 평균값을 이용할 경우, 각 픽셀(pixel) 값의 변화에 대한 민감도를 낮출 수 있으며, 특징 정보의 사이즈 또한 줄일 수 있다. When the average value of the luminance is used, the sensitivity to the change of each pixel value can be lowered, and the size of the feature information can be reduced.
또한, 본 발명의 일 실시예에 따른 광고 영상 검출 방법은 영상 매체를 통해 방송되는 영상, 온라인을 통해 스트리밍(streaming)되는 영상, 혹은 다운로드 받은 파일 형태로 재생되는 영상 등을 이용하여 특징 정보를 추출함으로써 광고 영상의 검출 시에 추가적인 디코딩을 필요로 하지 않을 뿐만 아니라, 휘도의 평균값을 구하는 계산이 그다지 복잡하지 않다. 따라서, 휘도의 평균값은 고속으로 광고 영상을 검출하는데 이용하기에 적합하다. In addition, the advertisement image detection method according to an embodiment of the present invention extracts the feature information using a video broadcast through a video medium, a video streamed through the online, or a video played in the form of a downloaded file, etc. Thus, not only does not require additional decoding at the time of detecting the advertisement image, but the calculation for calculating the average value of luminance is not very complicated. Therefore, the average value of the luminance is suitable for use in detecting the advertisement image at high speed.
광고 영상 검출 장치는 휘도의 평균값들의 최대값 및 최소값을 이용하여 휘도의 평균값들을 정규화한 특징 정보들을 산출할 수 있다. The advertisement image detecting apparatus may calculate feature information for normalizing the average values of the luminance using the maximum and minimum values of the average values of the luminance.
휘도의 평균값만을 사용하여 영상을 비교할 경우, 전체적으로 영상의 밝기나 색상을 조절하는 영상 변형에 민감할 수 있으며, 특히 부호화 방식이 다를 경우, 같은 영상으로 보일 수도 있으나 각 부분 블록들의 휘도의 평균값에 변화가 일어남을 관찰 할 수 있다. When comparing images using only the average value of luminance, the image may be sensitive to image distortion that adjusts the brightness or color of the image as a whole.In particular, when encoding methods are different, the same image may appear as the same image, but the average value of the luminance of each partial block is changed. You can observe this happening.
그리하여 본 발명의 일 실시예에서는 부호화 방식의 차이에 따른 변형에 대하여 강인하도록 정규화한 휘도의 평균값을 특징 정보로 이용할 수 있다. Thus, in an embodiment of the present invention, the average value of luminance normalized to be robust against deformation due to a difference in coding scheme may be used as feature information.
휘도의 평균값을 정규화하기 위하여 광고 영상 검출 장치는 모니터링 대상 영상의 복수의 프레임들 각각의 부분 블록들에 대한 휘도의 평균값의 최대값과 최소값을 구한 후, 휘도의 평균값을 0과 1사이의 수로 정규화할 수 있다. In order to normalize the average value of the luminance, the advertisement image detecting apparatus obtains the maximum value and the minimum value of the average value of the luminance for each of the partial blocks of the plurality of frames of the monitored image, and then normalizes the average value of the luminance to a number between 0 and 1. can do.
휘도의 평균값에 대한 정규화는 실시간 처리를 위해 프레임 단위로 이루어지도록 구성할 수 있다. 정규화한 휘도의 평균값이 부호화 방식의 차이에 따른 변형으로 인한 휘도의 평균값의 변화에 민감하지 않음은 실험을 통해 알 수 있다.Normalization of the average value of luminance may be configured to be performed in units of frames for real time processing. It can be seen from the experiment that the average value of normalized luminance is not sensitive to the change in the average value of luminance due to the deformation caused by the difference in coding scheme.
또한, 광고 영상 검출 장치는 부분 블록들 각각에 대한 휘도(luminance)의 평균값들의 공간적 차이값 및 부분 블록들 각각에 대한 휘도(luminance)의 평균값들의 시간적 차이값을 구할 수 있다. In addition, the advertisement image detecting apparatus may obtain a spatial difference value of average values of luminance for each of the partial blocks and a time difference value of average values of luminance for each of the partial blocks.
광고 영상 검출 장치는 특징 정보들을 특징 정보 벡터로 변환한다(140). The advertisement image detecting apparatus converts the feature information into a feature information vector (140).
특징 정보 및 특징 벡터를 산출하는 방법에 대하여 살펴보면 다음과 같다. A method of calculating the feature information and the feature vector is as follows.
i 번째 프레임의 특징 정보 벡터를 
우선 i 번째 프레임의 9개의 부분 블록 중 도 3에 표시된 4개 부분 블록들(S1, S2, S3, S4)에 대한 휘도의 평균값은 아래의 [수학식 1]과 같이 구할 수 있다. First, an average value of luminance of four partial blocks S 1 , S 2 , S 3 , and S 4 shown in FIG. 3 among the nine partial blocks of the i th frame may be obtained as shown in
[수학식 1][Equation 1]
여기서, 
이 4개의 부분 블록들의 휘도의 평균값의 최대값과 최소값을 이용하여 아래의 [수학식 2]와 같이 정규화함으로써 특징 정보들을 산출할 수 있다. Characteristic information may be calculated by normalizing the following partial equations using the maximum and minimum values of the average values of the luminance of the four partial blocks as shown in
[수학식 2]&Quot; (2) "
여기서, Ai b 는 i 번째 프레임의 b 번째 부분 블록의 휘도의 평균값을 나타내고, 
그 다음 4개의 특징 정보들은 이전 프레임에서 같은 위치의 부분 블록과의 휘도(luminance)의 평균값들의 시간적 차이로서 시간 정보를 나타낸다. 즉 시간적 차이로 이루어진 특징 정보는 아래의 [수학식 3]과 같이 구할 수 있다. The next four feature information represent time information as a time difference of average values of luminance with partial blocks of the same position in the previous frame. That is, feature information consisting of time differences can be obtained as shown in
[수학식 3] &Quot; (3) "
fi k + 4 = |fi k - fi -1 k|, 1 ≤ k ≤ 4, i > 0f i k + 4 = | f i k -f i -1 k |, 1 ≤ k ≤ 4, i> 0
여기서, 
12개의 특징 정보 중 마지막 4개의 값은 공간적 차이로 이루어진 특징 정보로써 아래의 [수학식 4]와 같이 이웃하는 블록과의 평균 휘도값 차이의 절대값을 구함으로써 얻을 수 있다. The last four values of the twelve feature information are feature information consisting of spatial differences, and can be obtained by obtaining an absolute value of an average luminance value difference with a neighboring block as shown in [Equation 4] below.
[수학식 4]&Quot; (4) "
fi k + 8 = |fi k - fi mod (k+1)|, 1 ≤ k ≤ 4, i > 0f i k + 8 = f i k -f i mod (k + 1) , 1 ≤ k ≤ 4, i> 0
여기서, 
이처럼 4개의 정규화된 평균 휘도값을 바탕으로 시간차에 의한 정보를 나타내는 특징 정보와 공간 정보를 나타내는 특징 정보를 합하여 총 1 x 12 크기의 특징 정보 벡터를 완성할 수 있다.As described above, a feature information vector having a total size of 1 × 12 may be completed by combining feature information representing time information and feature information representing spatial information based on four normalized average luminance values.
광고 영상 검출 장치는 모니터링 대상 영상의 특징 정보 벡터와 데이터베이스에 미리 저장된 참조 광고 영상의 특징 정보 벡터를 비교하여 광고 영상을 검출한다(150). 광고 영상 검출 장치는 특징 정보 벡터들의 비교 시 1 x 12의 크기를 갖는 벡터의 특징 정보에 서로 다른 가중치를 줄 수 있다. The advertisement image detecting apparatus detects the advertisement image by comparing the feature information vector of the monitoring target image with the feature information vector of the reference advertisement image previously stored in the database. The advertisement image detecting apparatus may give different weights to feature information of a vector having a size of 1 × 12 when comparing feature information vectors.
광고 영상 검출 장치는 광고 영상의 검출을 위해 모니터링 대상 영상에서 추출한 특징 정보와 참조 광고의 특징 정보를 매 프레임 단위로 비교한다. The advertisement image detecting apparatus compares the feature information extracted from the monitoring target image with the feature information of the reference advertisement in units of frames to detect the advertisement image.
광고 영상 검출 장치는 참조 광고 영상의 특징 정보 벡터 및 특징 정보 벡터들 각각에 서로 다른 가중치를 적용하고, 서로 다른 가중치가 적용된 참조 광고 영상의 특징 정보 벡터 및 특징 정보 벡터를 비교하여 참조 광고 영상을 검출할 수 있다.The advertisement image detecting apparatus detects the reference advertisement image by applying different weights to the feature information vector and the feature information vectors of the reference advertisement image and comparing the feature information vector and the feature information vector of the reference advertisement image to which the different weights are applied. can do.
또한, 광고 영상 검출 장치는 모니터링 대상 영상의 복수의 프레임들 및 참조 광고 영상의 복수의 프레임들의 개수가 서로 일치하는지 여부를 판단하여 각 영상의 프레임들의 개수가 서로 일치하지 않는 경우, 모니터링 대상 영상의 프레임들의 개수에 적응적으로 참조 광고 영상의 복수의 프레임들에 대한 비교 비율을 산출할 수 있다. In addition, the apparatus for detecting an advertisement image determines whether the plurality of frames of the monitoring target image and the plurality of frames of the reference advertisement image match each other, and when the number of frames of each image does not match each other, A comparison ratio of the plurality of frames of the reference advertisement image may be calculated adaptively to the number of frames.
광고 영상 검출 장치는 각 영상의 특징 정보 벡터의 비교 시에 산출된 비교 비율을 이용하여 참조 광고 영상을 검출할 수 있다. The advertisement image detecting apparatus may detect the reference advertisement image by using the comparison ratio calculated when the feature information vector of each image is compared.
즉, 모니터링 대상 영상의 프레임이 225개이고, 참조 광고 영상의 프레임이 450개라고 가정하면, 모니터링 대상 영상의 프레임 하나 당 참조 광고 영상의 프레임은 두 개의 비교 비율을 가지므로, 각 영상의 특징 정보 벡터의 비교 시에도 1:2의 비율을 이용하여 참조 광고 영상을 검출할 수 있다.
That is, assuming that 225 frames of the monitoring target image and 450 frames of the reference advertisement image are included, the frame of the reference advertisement image per frame of the monitoring target image has two comparison ratios, and thus, the feature information vector of each image. In comparison, the reference advertisement image may be detected using a ratio of 1: 2.
도 2는 본 발명의 일 실시예에 따른 광고 영상이 변형되는 경우를 예를 들어 나타낸 도면이다. 도 2를 참조하면, 광고 영상이 변형되는 경우는 다음과 같다. 2 is a diagram illustrating a case in which an advertisement image is deformed according to an embodiment of the present invention. Referring to FIG. 2, the case where the advertisement image is modified is as follows.
지상파 방송은 MPEG-2로 부호화된 후 전송되므로 눈에는 크게 띄지는 않지만 부호화 방식에 따라 광고 영상이 변형될 수 있다. Since terrestrial broadcasting is transmitted after being encoded in MPEG-2, the advertisement video may be transformed according to an encoding method although it is not very noticeable.
또한, 광고 영상은 도 2a와 같이 화면 비에 따라 영상이 변형될 수 있다. In addition, the advertisement image may be modified according to the aspect ratio as shown in FIG. 2A.
영상의 크기가 16:9 비율 또는 4:3 비율을 가짐에 따라 방송 전의 원 영상이 방송 후에 변형될 수 있다.As the size of the image has a 16: 9 ratio or 4: 3 ratio, the original image before the broadcast may be transformed after the broadcast.
이 밖에도 광고 영상은 프로그램이 방영되기 전에 광고가 방송되는 경우, 도 2b와 같이 광고 영상의 우측 상단 또는 좌측 상단 부분에 프로그램 로고가 삽입될 수 있으며, 광고 영상이 특정 이벤트 기간에 방영되는 경우에는 도 2c와 같이 광고 영상의 하단 부분에 이벤트 공지 문구가 삽입됨으로써 영상이 변형될 수 있다. In addition, when an advertisement is broadcasted before the program is broadcasted, a program logo may be inserted into the upper right or upper left portion of the advertisement image as shown in FIG. 2B, and when the advertisement image is broadcasted during a specific event period, FIG. As shown in 2c, the event notification text is inserted into the lower portion of the advertisement image, thereby transforming the image.
또한, 2d와 같이 서로 동일하게 보이는 광고 영상이라도 각 광고 영상을 구성하는 프레임 수가 달라짐(예를 들어, 30 fps vs 15 fps)에 따라 영상이 변형될 수도 있다. In addition, even when the advertisement images look the same as in 2d, the image may be deformed as the number of frames constituting each advertisement image is changed (for example, 30 fps vs 15 fps).
따라서, 본 발명의 일 실시예에서는 소정 크기의 부분 블록들 중 영상 매체를 통해 방송될 경우에 시청자의 화면 상에서 좌, 우측 상단 부분에 해당하는 부분 블록들 및 하단 부분에 해당하는 부분 블록들을 제외한 나머지 부분 블록들 각각에 대한 특징 정보들을 산출하여 광고 영상과 모니터링 대상 영상을 비교할 수 있다.
Therefore, in the exemplary embodiment of the present invention, when the broadcasting block is broadcasted through the video medium, the remaining blocks except for the partial blocks corresponding to the upper left and right parts and the partial blocks corresponding to the lower part are displayed on the viewer's screen. Feature information about each of the partial blocks may be calculated to compare an advertisement image with a monitoring target image.
도 3은 본 발명의 일 실시예에 따른 특징 정보들을 추출하기 위한 광고 영상의 부분 블록들을 나타낸 도면이다.3 is a diagram illustrating partial blocks of an advertisement image for extracting feature information according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따른 광고 영상 검출 장치는 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출함으로써 로그 및 자막의 삽입 등의 편집 변형에 강인한 광고 영상 검출 방법을 이용할 수 있다. Referring to FIG. 3, the apparatus for detecting an advertisement image according to an embodiment of the present invention calculates feature information for each of the partial blocks corresponding to a preset position to detect an advertisement image that is robust to editing and modification such as insertion of a log and a subtitle. Method can be used.
광고 영상 검출 장치는 영상(참조 광고 영상 또는 모니터링 대상 영상)의 복수의 프레임들 각각마다의 화면 비를 고려하여 나누어진 부분 블록들 중 영상 변형을 적게 받는 위치에 해당하는 부분 블록들 각각에 대한 특징 정보를 산출할 수 있다. The advertisement image detecting apparatus has a feature for each of the partial blocks corresponding to a position that receives less image distortion among the divided partial blocks in consideration of the aspect ratio of each of the plurality of frames of the image (reference advertisement image or monitoring target image). Information can be calculated.
여기서, 영상 변형을 적게 받는 위치에 해당하는 부분 블록들로는 3 x 3 부분 블록들 중 좌, 우측 상단의 부분 블록들(도 2b 참조) 및 하단의 부분 블록들(도 2c 참조)을 제외한 나머지 4 부분의 부분 블록들(S1, S2, S3, S4)이 해당할 수 있다.
Here, the partial blocks corresponding to the positions that receive less image distortion include the remaining four parts except for the left and right partial blocks (see FIG. 2B) and the lower partial blocks (see FIG. 2C) of the 3 x 3 partial blocks. The partial blocks of S 1 , S 2 , S 3 , and S 4 may correspond.
도 4는 본 발명의 일 실시예에 따른 광고 영상 검출 방법을 설명하기 위한 도면이다. 4 is a diagram for describing a method for detecting an advertisement image, according to an exemplary embodiment.
도 4를 참조하면, 광고 영상은 지상파 방송의 경우, 대부분 15초 길이로 초당 29.97프레임 단위로 방송되어 전체 449 프레임의 길이를 가질 수 있다. Referring to FIG. 4, in the case of terrestrial broadcasting, the advertisement video is mostly broadcast for 15 seconds in units of 29.97 frames per second and may have a total length of 449 frames.
모니터링 대상 영상(Q) 중에서 검출하고자 하는 15초 분량의 참조 광고 영상(R)을 프레임 단위로 Ri, i=1,..,449 라 하고, 광고 영상과 방송 콘텐츠와 광고 영상이 섞인 모니터링 대상 영상(Q)의 시퀀스를 Qj j = 1, ..,N 라 한다. 여기서, N은 모니터링 대상 영상(Q)의 시퀀스의 전체 프레임의 수라고 한다. The 15 second reference advertisement image (R) to be detected among the monitoring target image (Q) is called Ri, i = 1, .., 449 in units of frames, and the monitored target image in which the advertisement image, the broadcast content, and the advertisement image are mixed. The sequence of (Q) is referred to as Qj j = 1, .., N. Here, N is referred to as the total number of frames of the sequence of the monitoring target image Q.
광고 영상 검출 방법은 모니터링 대상 영상(Q) 중에서 검출하고자 하는 참조 광고 영상(R)이 방송되는 위치, Qn, Qn +1,.., Qn +445 를 찾는 것을 목적으로 한다. 이 때 n은 찾고자 하는 참조 광고 영상(R)의 시작 위치이다.The advertisement image detection method aims to find a position, Q n , Q n +1 , .., Q n +445, from which the reference advertisement image R to be detected is broadcasted among the monitored image Q. In this case, n is the starting position of the reference advertisement image (R) to be found.
먼저, 광고 영상 검출 장치는 참조 광고 영상(R)을 각 프레임마다 3 x 3 부분 블록들로 나눈다. 9개의 블록들 중 광고 영상의 변형에 영향을 적게 받는 4개의 블록들에서 각 블록의 휘도의 평균값을 계산한다. First, the advertisement image detecting apparatus divides the reference advertisement image R into 3 × 3 partial blocks for each frame. The average value of the luminance of each block is calculated from four blocks among nine blocks which are less affected by the deformation of the advertisement image.
여기서, 광고 영상의 변형에 영향을 적게 받는 블록들이란 상술한 바와 같이 참조 광고 영상이 영상 매체를 통해 방송될 경우에 시청자의 화면 상에서 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들을 말한다. Here, the blocks that are less affected by the deformation of the advertisement image refer to partial blocks corresponding to the positions of the less deformation of the image on the viewer's screen when the reference advertisement image is broadcast through the image medium.
3 x 3 부분 블록들 중 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들로는 영상 매체를 통해 방송될 경우에 시청자의 화면 상에서 프로그램의 로고나 방송 콘텐츠의 제목 등을 나타내기 위한 좌, 우측 상단의 부분 블록들 및 공지 문구 및 광고 문안 등이 나타나는 하단의 부분 블록들을 제외한 나머지 부분 블록들이 해당할 수 있다. Among the 3 x 3 partial blocks, the partial blocks corresponding to the positions that receive less deformation of the image are the parts on the upper left and the right to indicate the logo of the program or the title of the broadcast content on the viewer's screen when the media is broadcasted through the video media. The remaining partial blocks except for the partial blocks at the bottom where the blocks and the announcement text and the advertisement appear, may correspond.
광고 영상 검출 장치는 각 부분 블록들의 휘도의 평균값에서 최대값과 최소값을 구한 후, 각 부분 블록들의 휘도의 평균값을 정규화할 수 있다. 광고 영상 검출 장치는 정규화된 휘도의 평균값, 공간적 특징 정보 차이값 및 시간적 특징 정보 차이값을 12×1 특징 정보 벡터로 변환하여 데이터베이스에 저장할 수 있다. The advertisement image detecting apparatus obtains a maximum value and a minimum value from the average value of the luminance of each of the partial blocks, and then normalizes the average value of the luminance of each of the partial blocks. The advertisement image detecting apparatus may convert the average value of the normalized luminance, the spatial feature information difference value, and the temporal feature information difference value into a 12 × 1 feature information vector and store the same in a database.
이처럼 광고 영상 검출 장치는 모니터링 하고자 하는 광고 영상에 대한 특징 정보 벡터를 데이터베이스에 저장한 후에 모니터링 대상 영상(Q)에 대하여 동일한 방법으로 특징 정보 벡터를 산출할 수 있다. As such, the advertisement image detecting apparatus may calculate the feature information vector in the same manner with respect to the monitoring target image Q after storing the feature information vector of the advertisement image to be monitored in a database.
광고 영상 검출 장치는 모니터링 대상 영상(Q)이 입력되면 매 프레임 단위로 위에서 설명한 방법을 통해 12×1 특징 정보 벡터로 변환할 수 있다. 모니터링 대상 영상(Q)의 각 프레임들에 대한 12 x 1 특징 정보 벡터와 데이터베이스에 저장된 참조 광고 영상(R)의 12 x 1 특징 정보 벡터를 비교하여 참조 광고 영상을 검출할 수 있다.
When the monitoring target image Q is input, the advertisement image detecting apparatus may convert the image to a 12 × 1 feature information vector through the above-described method every frame unit. The reference advertisement image may be detected by comparing the 12 × 1 feature information vector of each frame of the monitoring target image Q with the 12 × 1 feature information vector of the reference advertisement image R stored in the database.
도 5는 본 발명의 일 실시예에 따른 광고 영상 검출 장치의 블록도이다. 도 5를 참조하면, 광고 영상 검출 장치(500)는 분할부(510), 특징 정보 산출부(520), 변환부(530), 검출부(560)를 포함한다. 또한, 광고 영상 검출 장치(500)는 참조 광고 특징 산출부(540), 데이터베이스(550) 및 비교 비율 산출부(570)를 더 포함할 수 있다. 5 is a block diagram of an advertisement image detecting apparatus according to an embodiment of the present invention. Referring to FIG. 5, the advertisement image detecting apparatus 500 includes a
분할부(510)는 영상 매체를 통해 방송되는 방송 콘텐츠와 광고 영상이 섞인 모니터링 대상 영상(Q)의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할한다. The
분할부(510)는 복수의 프레임들 각각마다의 화면비를 고려하여 소정 크기의 부분 블록들로 분할할 수 있다. The
특징 정보 산출부(520)는 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출한다. The feature information calculator 520 calculates feature information about each of the partial blocks corresponding to a preset position among the partial blocks of a predetermined size.
특징 정보 산출부(520)는 소정 크기의 부분 블록들 중 영상 매체를 통해 재생될 경우에 시청자의 화면 상에서 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출할 수 있다. The feature information calculator 520 may calculate feature information about each of the partial blocks corresponding to a position where the image is less deformed on the viewer's screen when the partial blocks of the predetermined size are reproduced through the image medium. .
또한, 특징 정보 산출부(520)는 소정 크기의 부분 블록들 중 영상 매체를 통해 재생될 경우에 시청자의 화면 상에서 좌, 우측 상단의 부분 블록들 및 하단의 부분 블록들을 제외한 나머지 부분 블록들 각각에 대한 특징 정보들을 산출할 수 있다. In addition, the feature information calculating unit 520 may be provided to each of the remaining partial blocks except for the partial blocks at the upper left and the right and the lower partial blocks on the viewer's screen when the partial information having a predetermined size is reproduced through the video medium. The feature information for the data can be calculated.
특징 정보 산출부(520)는 부분 블록들 각각에 대한 특징 정보들을 산출하기 위하여 평균 산출 수단(521), 특징 정보 산출 수단(523), 공간적 휘도 차이 산출 수단(525) 및 시간적 휘도 차이 산출 수단(527)을 포함할 수 있다. The feature information calculating unit 520 may include an average calculating means 521, a feature
평균 산출 수단(521)은 부분 블록들 각각에 대한 휘도(luminance)의 평균값들을 구할 수 있다. 특징 정보 산출 수단(523)은 휘도의 평균값들의 최대값 및 최소값을 이용하여 휘도의 평균값들을 정규화한 특징 정보들을 산출할 수 있다. The average calculating means 521 can obtain average values of luminance for each of the partial blocks. The feature
공간적 휘도 차이 산출 수단(525)은 평균 산출 수단(521)에 의해 산출된 부분 블록들 각각에 대한 휘도(luminance)의 평균값들을 이용하여 휘도 평균값들의 공간적 차이값을 구할 수 있다. The spatial luminance difference calculating means 525 can obtain the spatial difference value of the luminance average values using the average values of luminance for each of the partial blocks calculated by the average calculating means 521.
시간적 휘도 차이 산출 수단(527)은 마찬가지로 평균 산출 수단(521)에 의해 산출된 부분 블록들 각각에 대한 휘도(luminance)의 평균값들을 이용하여 휘도 평규값들의 시간적 차이값을 구할 수 있다. The temporal luminance difference calculating means 527 may similarly obtain temporal difference values of the luminance normal values using average values of luminance for each of the partial blocks calculated by the average calculating means 521.
변환부(530)는 특징 정보들을 특징 정보 벡터로 변환한다. The
특징 정보 산출부(520)가 특징 정보들을 산출하는 방법 및 변화부가 특징 정보들을 특징 정보 벡터로 변환하는 방법에 대하여는 상술한 [수학식 1] 및 [수학식 2]에 대한 설명을 참조한다. For the method of the feature information calculating unit 520 to calculate the feature information and the method of the transform unit converting the feature information into the feature information vector, the descriptions of
참조 광고 특징 산출부(540)는 검출하고자 하는 참조 광고 영상의 특징 정보 벡터를 산출할 수 있다. The reference advertisement feature calculator 540 may calculate a feature information vector of the reference advertisement image to be detected.
참조 광고 특징 산출부(540)는 분할 수단(541), 산출 수단(543), 변환 수단(545) 및 저장 수단(547)을 포함할 수 있다. The reference advertisement feature calculating unit 540 may include a
데이터베이스(550)는 참조 광고 영상의 특징 정보 벡터를 저장할 수 있다. The
검출부(560)는 데이터베이스(550)에 미리 저장된 참조 광고 영상의 특징 정보 벡터와 특징 정보 벡터를 비교하여 참조 광고 영상을 검출한다.The
검출부(560)는 참조 광고 영상의 특징 정보 벡터와 특징 정보 벡터의 비교 결과가 미리 설정된 오차 범위 내인 경우, 서로 동일한 것으로 판단하여 참조 광고 영상을 검출할 수 있다. 즉, 검출부(560)는 영상 변형 시 일어날 수 있는 일정 정도의 영상 왜곡에도 안정적으로 광고 영상을 검출하기 위하여 어느 정도 허용 가능한 오차 범위 내의 오류는 허용하여 동일 여부를 판단할 수 있다. When the comparison result of the feature information vector and the feature information vector of the reference advertisement image is within a preset error range, the
또한, 검출부(560)는 참조 광고 영상의 특징 정보 벡터 및 모니터링 대상 영상의 특징 정보 벡터의 비교 시에 각 영상의 특징 정보 벡터들에 서로 다른 가중치를 적용하는 가중치 적용 수단(561)을 더 포함할 수 있다. In addition, the
검출부(560)는 영상 변형 시 일어날 수 있는 영상 왜곡에도 안정적으로 광고 영상을 검출하기 위하여 특징 정보 벡터의 비교 시에 일정 정도의 오류를 허용하여 동일 여부를 판단하도록 할 수 있다. The
비교 비율 산출부(570)는 모니터링 대상 영상의 복수의 프레임들 및 참조 광고 영상의 복수의 프레임들의 개수가 서로 일치하는지 여부를 판단하여 모니터링 대상 영상의 프레임들의 개수에 적응적으로 참조 광고 영상의 복수의 프레임들에 대한 비교 비율을 산출할 수 있다. 이때, 검출부(560)는 비교 비율에 기초하여 참조 광고 영상의 특징 정보 벡터와 특징 정보 벡터를 비교하여 참조 광고 영상을 검출할 수 있다.
The
상술한 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
The above-described methods may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가지 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be construed as being limited to the embodiments described, but should be determined by equivalents to the appended claims, as well as the appended claims.
510 : 분할부 520 : 특징 정보 산출부
530 : 변환부 540 : 광고 특징 산출부
550 : 데이터베이스 560 : 검출부
570 : 비교 비율 산출부510: division unit 520: feature information calculation unit
530: conversion unit 540: advertising feature calculation unit
550: Database 560: Detection unit
570: comparison ratio calculation unit
Claims (20)
상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계;
상기 특징 정보들을 특징 정보 벡터로 변환하는 단계; 및
데이터베이스에 미리 저장된 검출하고자 하는 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 단계
를 포함하는 광고 영상 검출 방법.Dividing each of the plurality of frames of the monitoring target image mixed with the broadcast content reproduced by the image reproducing apparatus and the advertisement image into partial blocks having a predetermined size;
Calculating feature information for each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size;
Converting the feature information into a feature information vector; And
Detecting the reference advertisement image by comparing the feature information vector of the reference advertisement image to be detected previously stored in a database with the feature information vector.
Advertising image detection method comprising a.
상기 모니터링 대상 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 단계는
상기 복수의 프레임들 각각마다의 화면비를 고려하여 상기 소정 크기의 부분 블록들로 분할하는 단계인 광고 영상 검출 방법.The method of claim 1,
Dividing each of the plurality of frames of the monitored image into partial blocks having a predetermined size
And dividing the partial blocks into predetermined partial blocks in consideration of an aspect ratio of each of the plurality of frames.
상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계는
상기 소정 크기의 부분 블록들 중 상기 영상 재생 장치를 통해 재생되는 경우에 시청자의 화면 상에서 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계인 광고 영상 검출 방법.The method of claim 1,
Computing feature information about each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size
And calculating feature information of each of the partial blocks corresponding to a position where the image is less deformed on the viewer's screen when the partial blocks of the predetermined size are reproduced by the image reproducing apparatus.
상기 시청자의 화면 상에서 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계는
상기 소정 크기의 부분 블록들 중 영상 매체를 통해 방송될 경우에 상기 시청자의 화면 상에서 좌, 우측 상단의 부분 블록들 및 하단의 부분 블록들을 제외한 나머지 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계인 광고 영상 검출 방법.The method of claim 3,
Computing the feature information for each of the partial blocks corresponding to the position of the less distortion of the image on the viewer's screen
Computing feature information for each of the partial blocks except for the left and right upper partial blocks and the lower partial blocks on the viewer's screen when the partial blocks of the predetermined size are broadcast through the video medium. Advertising image detection method.
상기 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계는
상기 부분 블록들 각각에 대한 휘도(luminance)의 평균값들을 구하는 단계; 및
상기 휘도의 평균값들의 최대값 및 최소값을 이용하여 상기 휘도의 평균값들을 정규화한 상기 특징 정보들을 산출하는 단계
를 포함하는 광고 영상 검출 방법.The method of claim 1,
Computing feature information for each of the partial blocks
Obtaining average values of luminance for each of the partial blocks; And
Calculating the feature information by normalizing the average values of the luminance using the maximum and minimum values of the average values of the luminance;
Advertising image detection method comprising a.
상기 참조 광고 영상을 검출하는 단계는
상기 참조 광고 영상의 특징 정보 벡터 및 상기 특징 정보 벡터들 각각에 서로다른 가중치를 적용하는 단계; 및
상기 서로 다른 가중치가 적용된 상기 참조 광고 영상의 특징 정보 벡터 및 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 단계
를 포함하는 광고 영상 검출 방법.The method of claim 1,
The detecting of the reference advertisement image
Applying different weights to each of the feature information vector and the feature information vectors of the reference advertisement image; And
Detecting the reference advertisement image by comparing the feature information vector and the feature information vector of the reference advertisement image to which the different weights are applied;
Advertising image detection method comprising a.
상기 모니터링 대상 영상의 복수의 프레임들 및 상기 참조 광고 영상의 복수의 프레임들의 개수가 서로 일치하는지 여부를 판단하는 단계; 및
상기 각 영상의 프레임들의 개수가 서로 일치하지 않는 경우, 상기 모니터링 대상 영상의 프레임들의 개수에 적응적으로 상기 참조 광고 영상의 복수의 프레임들에 대한 비교 비율을 산출하는 단계
를 더 포함하고,
상기 참조 광고 영상을 검출하는 단계는
상기 비교 비율에 기초하여 상기 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 단계인 광고 영상 검출 방법.The method of claim 1,
Determining whether a plurality of frames of the monitoring target image and a plurality of frames of the reference advertisement image match each other; And
Calculating a comparison ratio of a plurality of frames of the reference advertisement image adaptively to the number of frames of the monitored image when the number of frames of each image does not match each other;
Further comprising:
The detecting of the reference advertisement image
And detecting the reference advertisement image by comparing the feature information vector of the reference advertisement image with the feature information vector based on the comparison ratio.
상기 참조 광고 영상을 검출하는 단계는
상기 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터의 비교 결과가미리 설정된 오차 범위 내인 경우, 서로 동일한 것으로 판단하여 상기 참조 광고 영상을 검출하는 단계인 광고 영상 검출 방법.The method of claim 1,
The detecting of the reference advertisement image
And detecting the reference advertisement image by determining that the comparison result of the feature information vector and the feature information vector of the reference advertisement image is within the preset error range.
상기 모니터링 대상 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 단계에 앞서,
상기 참조 광고 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 단계;
상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계;
상기 특징 정보들을 상기 참조 광고 영상의 특징 정보 벡터로 변환하는 단계; 및
상기 참조 광고 영상의 특징 정보 벡터를 데이터베이스에 저장하는 단계
를 포함하는 광고 영상 검출 방법.The method of claim 1,
Prior to dividing each of the plurality of frames of the monitoring target image into partial blocks having a predetermined size,
Dividing each of the plurality of frames of the reference advertisement image into partial blocks having a predetermined size;
Calculating feature information for each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size;
Converting the feature information into a feature information vector of the reference advertisement image; And
Storing the feature information vector of the reference advertisement image in a database
Advertising image detection method comprising a.
상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 특징 정보 산출부;
상기 특징 정보들을 특징 정보 벡터로 변환하는 변환부; 및
데이터베이스에 미리 저장된 검출하고자 하는 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 검출부
를 포함하는 광고 영상 검출 장치.A divider for dividing each of the plurality of frames of the monitoring target image mixed with the broadcast content reproduced by the image reproducing apparatus into a partial block having a predetermined size;
A feature information calculator configured to calculate feature information about each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size;
A converter for converting the feature information into a feature information vector; And
A detector configured to detect the reference advertisement image by comparing the feature information vector of the reference advertisement image to be detected previously stored in a database with the feature information vector
Advertising image detection device comprising a.
상기 분할부는
상기 복수의 프레임들 각각마다의 화면비를 고려하여 상기 소정 크기의 부분 블록들로 분할하는 광고 영상 검출 장치.11. The method of claim 10,
The divider
The advertisement image detecting apparatus for dividing into the partial blocks of the predetermined size in consideration of the aspect ratio of each of the plurality of frames.
상기 특징 정보 산출부는
상기 소정 크기의 부분 블록들 중 상기 영상 재생 장치를 통해 재생되는 경우에 시청자의 화면 상에서 영상의 변형을 적게 받는 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 광고 영상 검출 장치.11. The method of claim 10,
The feature information calculation unit
The advertisement image detecting apparatus for calculating the feature information for each of the partial blocks of the predetermined size of the partial block corresponding to the position of the less distortion of the image on the screen of the viewer when played through the image playback device.
상기 특징 정보 산출부는
상기 소정 크기의 부분 블록들 중 영상 매체를 통해 방송될 경우에 상기 시청자의 화면 상에서 좌, 우측 상단의 부분 블록들 및 하단의 부분 블록들을 제외한 나머지 부분 블록들 각각에 대한 특징 정보들을 산출하는 광고 영상 검출 장치.The method of claim 12,
The feature information calculation unit
The advertisement image calculates feature information for each of the partial blocks except for the left and right upper partial blocks and the lower partial blocks on the screen of the viewer when the partial blocks of the predetermined size are broadcast through an image medium. Detection device.
상기 특징 정보 산출부는
상기 부분 블록들 각각에 대한 휘도(luminance)의 평균값들을 구하는 평균 산출 수단; 및
상기 휘도의 평균값들의 최대값 및 최소값을 이용하여 상기 휘도의 평균값들을 정규화한 상기 특징 정보들을 산출하는 특징 정보 산출 수단; 및
을 포함하는 광고 영상 검출 장치.11. The method of claim 10,
The feature information calculation unit
Average calculating means for obtaining average values of luminance for each of the partial blocks; And
Characteristic information calculating means for calculating the characteristic information obtained by normalizing the average values of the luminance using the maximum and minimum values of the average values of the luminance; And
Advertising image detection device comprising a.
상기 특징 정보 산출부는
상기 부분 블록들 각각에 대한 휘도(luminance)의 평균값들의 공간적 차이값을 구하는 공간적 휘도 차이 산출 수단; 및
상기 부분 블록들 각각에 대한 휘도(luminance)의 평균값들의 시간적 차이값을 구하는 시간적 휘도 차이 산출 수단
을 포함하는 광고 영상 검출 장치. 15. The method of claim 14,
The feature information calculation unit
Spatial luminance difference calculating means for obtaining a spatial difference value of average values of luminance for each of the partial blocks; And
A temporal luminance difference calculating means for obtaining a temporal difference value of average values of luminance for each of the partial blocks
Advertising image detection device comprising a.
상기 모니터링 대상 영상의 복수의 프레임들 및 상기 참조 광고 영상의 복수의 프레임들의 개수가 서로 일치하는지 여부를 판단하여 상기 모니터링 대상 영상의 프레임들의 개수에 적응적으로 상기 참조 광고 영상의 복수의 프레임들에 대한 비교 비율을 산출하는 비교 비율 산출부
를 더 포함하고,
상기 검출부는
상기 비교 비율에 기초하여 상기 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 광고 영상 검출 장치.11. The method of claim 10,
It is determined whether the number of the plurality of frames of the monitoring target image and the plurality of frames of the reference advertisement image coincide with each other to adaptively adapt the number of frames of the monitoring target image to the plurality of frames of the reference advertisement image. Comparison ratio calculation unit for calculating a comparison ratio
Further comprising:
The detection unit
And an advertisement image detection device for detecting the reference advertisement image by comparing the feature information vector of the reference advertisement image and the feature information vector based on the comparison ratio.
상기 검출부는
상기 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터의 비교 결과가미리 설정된 오차 범위 내인 경우, 서로 동일한 것으로 판단하여 상기 참조 광고 영상을 검출하는 광고 영상 검출 장치.11. The method of claim 10,
The detection unit
And detecting the reference advertisement image by determining that the comparison result between the feature information vector and the feature information vector of the reference advertisement image is within the preset error range.
상기 검출부는
상기 참조 광고 영상의 특징 정보 벡터 및 상기 특징 정보 벡터들 각각에 서로 다른 가중치를 적용하는 가중치 적용 수단
을 더 포함하는 광고 영상 검출 장치.11. The method of claim 10,
The detection unit
Weighting means for applying different weights to the feature information vector and the feature information vectors of the reference advertisement image, respectively.
Advertising image detection device further comprising.
상기 참조 광고 영상의 특징 정보 벡터를 산출하는 참조 광고 특징 산출부
를 더 포함하는 광고 영상 검출 장치.11. The method of claim 10,
Reference advertisement feature calculating unit for calculating a feature information vector of the reference advertisement image
Advertising image detection device further comprising.
상기 참조 광고 특징 산출부는
상기 참조 광고 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 분할 수단;
상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 산출 수단;
상기 특징 정보들을 상기 참조 광고 영상의 특징 정보 벡터로 변환하는 변환 수단; 및
상기 참조 광고 영상의 특징 정보 벡터를 상기 데이터베이스에 저장하는 저장 수단
을 포함하는 광고 영상 검출 장치.20. The method of claim 19,
The reference advertisement feature calculating unit
Dividing means for dividing each of the plurality of frames of the reference advertisement image into partial blocks having a predetermined size;
Calculating means for calculating feature information for each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size;
Converting means for converting the feature information into a feature information vector of the reference advertisement video; And
Storage means for storing the feature information vector of the reference advertisement image in the database
Advertising image detection device comprising a.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20100048485 | 2010-05-25 | ||
| KR1020100048485 | 2010-05-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110129325A KR20110129325A (en) | 2011-12-01 |
| KR101372639B1 true KR101372639B1 (en) | 2014-03-11 |
Family
ID=45498574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100086516A KR101372639B1 (en) | 2010-05-25 | 2010-09-03 | Method and apparatus for commercial detecting |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101372639B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11843826B2 (en) | 2018-03-16 | 2023-12-12 | Samsung Electronics Co., Ltd. | Method for detecting black bar included in video content, and electronic device therefor |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101456926B1 (en) | 2013-06-14 | 2014-10-31 | (주)엔써즈 | System and method for detecting advertisement based on fingerprint |
| KR101463864B1 (en) | 2013-08-07 | 2014-11-21 | (주)엔써즈 | System and method for detecting direct response advertisemnets and grouping the detected advertisements |
| KR102234470B1 (en) | 2017-03-10 | 2021-04-01 | 한국전자통신연구원 | Method and system for contens processing using audio signal of advertisement data |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054328A (en) * | 2000-06-01 | 2000-09-05 | 이성환 | method for changing an advertisement in the broadcast relay picture |
| JP2005509962A (en) | 2001-11-13 | 2005-04-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Identification and evaluation of the announcement of logos to viewers at broadcast events |
| KR100865248B1 (en) | 2001-05-15 | 2008-10-27 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Detecting subtitles in a video signal |
| JP2008294885A (en) | 2007-05-28 | 2008-12-04 | Funai Electric Co Ltd | Display device |
-
2010
- 2010-09-03 KR KR1020100086516A patent/KR101372639B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054328A (en) * | 2000-06-01 | 2000-09-05 | 이성환 | method for changing an advertisement in the broadcast relay picture |
| KR100865248B1 (en) | 2001-05-15 | 2008-10-27 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Detecting subtitles in a video signal |
| JP2005509962A (en) | 2001-11-13 | 2005-04-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Identification and evaluation of the announcement of logos to viewers at broadcast events |
| JP2008294885A (en) | 2007-05-28 | 2008-12-04 | Funai Electric Co Ltd | Display device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11843826B2 (en) | 2018-03-16 | 2023-12-12 | Samsung Electronics Co., Ltd. | Method for detecting black bar included in video content, and electronic device therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110129325A (en) | 2011-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9300927B2 (en) | Fingerprint, apparatus, method for identifying and synchronizing video | |
| JP5492087B2 (en) | Content-based image adjustment | |
| US9445151B2 (en) | Systems and methods for video scene processing | |
| US8885870B2 (en) | Information processing device and computer program product | |
| US9854232B2 (en) | Systems and methods for picture quality monitoring | |
| EP3223530A1 (en) | Playback method and playback device | |
| US20230336837A1 (en) | Detection of common media segments | |
| US20110135286A1 (en) | Apparatus and method for extracting key frames and apparatus and method for recording broadcast signals using the same | |
| US9426539B2 (en) | Integrated presentation of secondary content | |
| KR20030024781A (en) | Detecting subtitles in a video signal | |
| KR101372639B1 (en) | Method and apparatus for commercial detecting | |
| KR101741747B1 (en) | Apparatus and method for processing real time advertisement insertion on broadcast | |
| US20210400256A1 (en) | Scaling factor detection for compressed images and videos | |
| US10264273B2 (en) | Computed information for metadata extraction applied to transcoding | |
| JP4359120B2 (en) | Content quality evaluation apparatus and program thereof | |
| KR20120019872A (en) | A apparatus generating interpolated frames | |
| US8115789B2 (en) | Display control apparatus and method for enlarging image of content and displaying enlarged image | |
| US20100027621A1 (en) | Apparatus, method and computer program product for moving image generation | |
| US11659217B1 (en) | Event based audio-video sync detection | |
| US20240021216A1 (en) | Automation of Media Content Playback | |
| KR101858043B1 (en) | Defection of fast multi-track video ingest detection method and system | |
| KR20100018162A (en) | Method of playing video contents by using skip function and method of generating thumbnail image by using skip function | |
| KR101800384B1 (en) | Defection of fast multi-track video ingest detection method and system | |
| JP2010219929A (en) | Moving image analysis device, program, and method, moving image processing apparatus and moving image distribution device | |
| KR20150078548A (en) | Method for Real-time Perceptive Video Quality Modeling based on GOP Information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |