KR20050034536A - 디지털 비디오 신호 내 검출된 로고의 사라짐을 추적하는방법 - Google Patents

디지털 비디오 신호 내 검출된 로고의 사라짐을 추적하는방법 Download PDF

Info

Publication number
KR20050034536A
KR20050034536A KR1020040052304A KR20040052304A KR20050034536A KR 20050034536 A KR20050034536 A KR 20050034536A KR 1020040052304 A KR1020040052304 A KR 1020040052304A KR 20040052304 A KR20040052304 A KR 20040052304A KR 20050034536 A KR20050034536 A KR 20050034536A
Authority
KR
South Korea
Prior art keywords
logo
disappearance
pixel
frame
detecting
Prior art date
Application number
KR1020040052304A
Other languages
English (en)
Inventor
김영택
리우샨
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20050034536A publication Critical patent/KR20050034536A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

디지털 비디오 신호 내에서 이전에 검출된 로고의 사라짐을 검출하기 위한 방법 및 장치이다. 비디오 프로그램이 시작되면, 유입 비디오 프레임들 내에 로고의 존재 및 위치를 초기 검출하기 위해서 짧은 시간 기간이 허용된다. 로고가 검출되면 로고 맵이 생성되고, 로고가 비디오 프레임에 잔존하는지 또는 사라지는지를 로고 추적에 의해 감지한다. 만약 로고가 이동하거나 또는 (부분적으로) 밝기, 색상, 패턴 등이 변하면, 모두 사라진 것으로 감지될 것이다.

Description

디지털 비디오 신호 내 검출된 로고의 사라짐을 추적하는 방법{A method for tracking the disappearance of detected logos within digital video signals}
본 발명은 디지털 비디오 디스플레이에 관한 것으로서, 더 상세하게는, 검출된 로고의 사라짐 및 디스플레이를 추적하는 방법에 관한 것이다.
방송국을 식별하기 위해서 방송 프로그램의 텔레비전 스크린 상에 로고가 디스플레이되도록 텔레비전 방송 신호가 로그를 포함하는 경우가 점증하고 있다. 전형적으로, 로고는 밝기(intensity)나, 색상(colors), 패턴, 위치 등의 변화가 없이 상당히 장기간 스크린 상에 표시된다. 따라서, 성가시게 느껴질 수 있을 뿐만 아니라 주지된 스크린 번(screen burn)과 같은 문제를 고화질 텔레비전(HDTV) 세트에 야기할 수 있다. 이에 따라, 방송 비디오 신호 내의 로고를 검출하여서 상기의 문제점을 피할 수 있게끔 로고를 제거하거나 프로세싱하기 위한 기술들이 개발되어 왔다.
한편으로, 비디오 프로그램이 바뀌는 때와 같은 경우에는 로고가 사라질 수 있다. 로고의 사라짐을 즉시 검출하지 못하여서 프로세싱을 중지하지 않는 경우에는 성가신 시각적 아티팩트들이 생길 수 있다. 그러므로, 검출된 로고가 사라지는 때를 감지하는 것이 중요하다. 그러한 목적을 위해서, 비디오 신호 내의 이미지의 사라짐을 검출하기 위해서 화소 밝기 값 변화가 검사되는 것이 미국 특허 제6,542,544호, 제6,084,641호, 제5,245,436호에 개시되어 있다.
미국 특허 5,245,436호에서는, 어떤 프레임과 그 이전 프레임들의 화소 평균들(pixel means)이 계산되고 그 다음에 이미지의 사라짐을 검출하기 위해 평균들 간의 상대적인 평균 변화가 결정된다. 비록 상기의 평균 변화가 로고의 사라짐(fading/disappearance)을 검출하기 위해서 광범위하게 적용될 수 있지만, 그러한 방법은 비디오 신호가 잡음을 포함하고 있는 경우에는 신뢰성이 없다(is not robust). 그에 따라, 보다 종합적인 측정이 행해져야 한다. 유사하게, 미국 특허 제6,542,544호와 제6,084,461호는 비디오 신호 내의 이미지 사라짐을 검출하기 위한 다른 접근법들을 제공한다. 그러나, 어느 것도 잡음의 영향을 고려하지 않는다.
실제로, 실세계 응용에서의 거의 모든 비디오 신호는 잡음을, 어떤 경우에는 상당한 수준의 잡음을 포함한다. 그러므로, 잡음이 있는 비디오 신호 내의 로고의 사라짐을 추적하기 위한 방법 및 시스템에 대한 요구가 있는 것이다.
본 발명은 상기한 필요에 응하기 위한 것이다. 본 발명의 한 실시예에서, 디지털 비디오 이미지들을 표현하는 화소들로 구성된 일련의 프레임들 각각의 어떤 영역 내의 사라짐을 검출하는 방법이 제공된다. 상기 방법은 하기의 단계들: 상기 프레임들 중 최소한 두개에서의 화소값들 차이의 표준편차에 기초하여 상기 영역의 확률적 척도(stochastic measure)(σd)를 계산하는 단계와; 및, 상기 확률적 척도(σd)를 주어진 잡음 수준과 비교하여 만약 상기 확률적 척도(σd)와 잡음 수준 사이의 차이가 어떤 문턱값 보다 큰 경우에는 사라짐이 검출되도록 상기 영역 내의 사라짐을 검출하는 단계를 포함한다.
상기 확률적 척도(σd)를 계산하는 것은 추가적으로 다음의 단계들: (a) 현재 프레임의 각 화소에 대해서: (i) 화소가 로고 영역에 속하는지를 결정하는 단계와; (ii) 만약 그렇다면, 현재의 화소의 값과 어떤 기준 프레임 내의 대응하는 화소의 값 사이의 차이를 계산하는 단계와; (iii) 상기 차이로부터 주어진 잡음 평균을 감산하고, 얻어진 값을 제곱하는 단계와; 및, (iv) 복수개의 상기 로고 화소들의 각각에 대해서 상기 (iii) 단계로부터 얻어진 값들의 합을 생성하는 단계와; 그 다음에, (b) 상기 합의 평균(average)을 생성하고, 상기 평균에 기초하여 상기 확률적 척도(σd)를 결정하는 것을 추가적으로 포함한다.
상기 (i) 단계에서, 상기 방법은 추가적으로, 먼저 로고 영역을 검출하는 단계와; 비디오 프레임에 대응하는 화소 패턴을 포함하는 맵을 생성하되, 여기서 패턴 내의 각 화소는 비디오 프레임 내의 대응하는 화소가 로고 부분에 포함되는지 여부를 나타내는 단계를 포함한다. 상기 맵은, 아래에 상세히 기술된 바와 같은 프로세싱을 위해서, 서브 이미지(즉, 로고) 내에 있는 비디오 프레임의 화소들을 선택하기 위해서 사용된다.
본 발명의 다른 측면에 따라, 비디오 프레임 내의 로고를 검출하는 검출기와;
비디오 프레임에 대응하는 화소 패턴-패턴내의 각 화소는 비디오 프레임 내의 대응하는 화소가 로고 내에 있는지 여부를 표시함-을 포함하는 맵을 생성하는 로고 맵 생성기와;
상기 맵을 이용하여 로고 내에 있는 비디오 프레임의 화소들을 선택하여 현재 화소의 값과 어떤 기준 프레임 내의 대응하는 화소의 값 사이의 차이를 결정하고, 주어진 잡음 평균을 상기 차이로부터 감산하고 그 얻어진 값을 제곱하고, 복수개의 로고 화소들의 각각에 대해서 상기의 차이에서 잡음 평균이 감해진 값의 제곱들의 합을 생성하고; 상기 합들의 평균을 생성하고; 및, 상기 평균을 주어진 잡음 수준과 비교하여 만약 상기 평균과 잡음 수준 사이의 차이가 어떤 문턱값 보다 크다면 사라짐이 검출되도록 함에 의해서 로고의 사라짐을 검출하는 로고 추적기를 포함하여 구성되는, 일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템이 제공된다.
본 발명의 기타의 목적과, 특징들 및 이점들은 첨부도면을 참조한 아래의 상세한 설명으로부터 명백하게 될 것이다.
앞서 기술된 바와 같이, 로고와 같이 오랜 시간 동안 표시되는 서브 이미지들은 HTDV 상의 스크린 번과 같은 문제를 야기할 수 있기 때문에, 그러한 문제점을 방지하기 위해서는 로고를 검출하고 프로세싱하는 것이 심대히 요망된다. 그러나, 로고의 사라짐을 즉각적으로 감지하여 검출된 로고 영역의 프로세싱을 중단하지 않는다면, 성가신 시각적인 아티팩트들이 발생될 수 있다. 그러므로, 본 발명의 한 실시예에 따라, 로고의 나타남 뿐만 아니라 로고의 사라짐도 검출된다.
그를 위해, 본 발명은 잡음이 있는 디지털 비디오 신호 내에서 이전에 검출된 로고의 사라짐을 감지하는 방법을 제공한다. 예를 들어, 어떤 비디오 프로그램이 시작하면, 우선 유입 비디오 프레임들 내의 로고의 존재와 형상 및 위치를 검출하기 위하여 짧은 기간이 주어진다. 로고가 검출되었다면, 로고 맵이 생성되며, 그 다음에는, 로고가 비디오 프레임들에 잔존하는지 또는 사라지는지를 로고 추적 프로세스가 감지한다. 상기 로고 맵은 검출된 로고(형상 및 위치)에 따라 초기의 로고 검출 기간의 종료시에 생성된다. 생성된 후에는, 로고 맵은 검출된 로고의 사라짐의 추적에 활용된다. 만약 로고가 움직이거나 또는 부분적으로 밝기, 색상, 패턴 등이 변경되는 경우에는, 사라진 것으로 감지될 것이다.
로고는 이미지로부터 급작스럽게 사라지거나 페이드 오프 효과와 같이 점진적으로 사라질 수 있다. 점진적인 로고의 사라짐에 대해서는, 본 발명에 따른 감지 방법은 로고의 사라짐을 초기 단계에서 감지하며, 그 다음에, 로고가 완전히 사라질 때까지 점진적으로 페이드 오프될 수 있도록 어떤 짧은 시간을 예비(reserve)해 준다. 로고가 사라져 버린 후에는, 또 하나의 초기 로고 검출 기간이 시작되어 비디오 프로그램이 종료될 때까지 로고 검출 및 추적 단계가 반복된다(도 1 참조).
하나의 구현예에서, 검출된 로고의 사라짐을 추적 및 감지하는 것은 로고 맵에 기반한다. 로고 맵은 이미지 프레임과 동일한 크기를 가지며 로고 맵 내의 각 화소는 이미지 프레임의 동일 위치의 화소에 대응하게 되어 있는 이진 이미지(binary image)로 보여질 수 있다. 만약 로고 맵의 화소의 값이 1 이라면, 이미지 프레임 내의 대응하는 화소는 로고 영역에 속하고; 그렇지 않고, 만약 로고 맵의 화소의 값이 0 이라면, 이미지 프레임 내의 대응하는 화소는 배경 비디오 내용에 속한다. 로고 맵은 로고 검출 모듈에 의해서 생성된다. 기타의 로고 검출 방법들이 이용될 수도 있다.
로고 맵에 더하여, 로고 추적을 위해서 기준 프레임이 이용된다. 기준 프레임은 각각의 유입 프레임에 대해서 화소 대 화소(pixel-by-pixel) 차이를 계산하기 위하여 사용된다. 하나의 예에서, 본 발명에 따르면, 초기 로고 검출 국면에서 사용된 최후 프레임이 기준 프레임으로 사용된다. 그에 따라, 유입 비디오 프레임은 화소 대 화소로 검사된다. 로고 맵에 기초하여, 만약 어떤 화소가 검출된 로고에 속한다면(즉, 로고 영역 내에 있다면), 그 화소와 기준 프레임 내의 대응하는 화소 사이의 차이가 계산된다. 그 다음에는 주어진 잡음 평균이 그 차이로부터 감산되고 그렇게 얻어진 값이 제곱된다. 그렇지 않고, 만약 화소가 로고에 속하지 않는다면 그것은 그냥 지나간다(is bypassed).
프레임 내의 다수개의 화소들이 그렇게 점검된 후에, 모든 로고 화소들에 대해서 ｜차이 - 잡음 평균｜의 제곱이 합해지고 평균이 구해진다. 그 후에 그 평균이 주어진 잡음 수준(표준편차, 즉 STD(standard deviation)으로 나타내어짐)과 비교된다. 만약 그들이 잘 맞다면(즉, 상기 평균과 주어진 잡음 수준(STD) 사이의 차이가 문턱값 보다 작다면), 로고는 여전히 현재 프레임 내에 잔존한다; 그렇지 않다면 로고가 사라진 것이다. 상기 문턱값은 측정 및 계산 상의 오류를 감당하도록 미리 결정된 파라미터이다.
그와 같이, 로고가 프레임 이미지로부터 사라지는지를 추적하고 감지하기 위하여, 제 2 오더의, 화소 밝기 값 차이의 확률적 특성/척도(σd)가 이용된다. 잡음의 표준 편차가 또한, 디지털 비디오 신호가 잡음이 낀 경우에 이전에 검출된 로고의 사라짐을 감지하는데 이용된다. 그러므로, 본 발명은 디지털 비디오 신호가 잡음을 포함하는 경우, 상당히 높은 수준의 잡음을 포함하는 경우 조차도, 매우 신뢰성이 있고 강건하다(robust).
도 1은 본 발명에 따라, 비디오 이미지 내의 로고를 검출하고 추적하는 프로세스(100)의 예를 보인다. 다수개의 비디오 이미지 프레임들로 구성되는 비디오 프로그램이 시각(110)에서 시작되면, 초기 비디오 프레임들 내에 로고의 존재, 형상 및 위치의 초기 검출을 위한 짧은 시간 기간(120)이 주어진다. 로고가 시각(130)에서 검출되면, 로고 맵이 생성되고, 그 다음에 어떤 시간 기간(140) 동안에, 검출된 로고가 후속되는 비디오 프레임들에 잔존하는지 또는 사라지는지 여부를 로고 추적 메커니즘이 감지한다.
도 2는 본 발명의 일 실시예에 따라 일련의 비디오 프레임들 내의 로고를 검출하고 추적하는 단계들의 예를 보이는 흐름도이다. 먼저 비디오 프로그램의 끝에 도달하였는지 여부를 결정하기 위하여 비디오 프레임들이 검사된다(단계 200). 만약 그렇다면, 프로세스가 종료된다. 그렇지 않다면, 검출 시간 기간의 시작을 표시하기 위해서 초기에 ON 으로 설정되었던 플래그를 시험함에 의해서 초기 로고 검출 시간 기간이 만료되었는지가 결정된다(단계 210). 만약 그렇지 않다면, 즉 초기 로고 검출 시간 기간이 만료되지 않았다면, 현재의 비디오 프레임은 로고를 검출하기 위해서 초기 로고 검출 모듈로 넘겨진다(단계 220).
초기 검출 시간 기간 동안에 복수개의 비디오 프레임들 중 최후의 것이 조사된 것으로 판단된 후에는(단계 230), 로고 맵이 생성되고(단계 250), 프로세스는 단계(200)로 복귀한다. 단계(210)에서 현재의 비디오 프레임이 초기 검출 시간 기간이 끝난 후에 읽혀져 들어 왔다면, 그 현재의 비디오 프레임은 로고 추적 모듈로 넘겨져서(단계 260) 로고가 현재 프레임에 잔존하는지 또는 현재 프레임으로부터 사라졌는지 감지된다(단계 270). 만약 로고가 현재 비디오 프레임 내에 없다면, 초기 검출 플래그는 다시 ON으로 설정되고(단계 280) 프로세스가 단계(200)으로 복귀하여 다음 유입 비디오 프레임을 시작으로 로고가 다시 검출되고 그에 따라 로고 맵이 다시 생성된다. 상기의 프로세스가 비디오 프로그램이 종료될 때까지 반복된다. 로고 추적에 대한 보다 상세한 설명이 이하에서 논의된다.
도 3은 로고 추적에 사용되는 로고 맵(300)의 한 예를 보인다. 로고 맵(300)은 비디오 이미지 프레임과 동일한 크기를 갖는 이진 이미지(binary image)로 보여질 수 있다. 이 이진 로고 맵 이미지(300)에서, 각 화소(310)는 이진 값 숫자(예를 들면, 0 또는 1)를 갖는다. 각 이진 숫자는 현재 비디오 프레임의 대응하는 화소가 로고 영역에 속하는지(예를 들면, 이진 값 숫자 1) 또는 아닌지(예를 들면, 이진 값 숫자 0)를 나타낸다. 이 예에서, 로고 심볼은 이진 값 숫자들에 의해서 "LOGO" 라고 표시되고 있다.
도 4는 로고가 현재의 비디오 프레임에 잔존하거나 또는 현재 비디오 프레임으로부터 사라져 버렸는지를 감지(검출 또는 판단)하는 화소 대 화소(pixel-by-pixel) 프로세스의 실시예의 단계들을 보인다. 감지 프로세스는 로고 맵(300), 기준 프레임(305) 및 주어진 잡음 수준(σ s )을 이용하여 현재의 비디오 프레임에 대해 로고를 추적한다. 상기 프로세스는 검사 중인 화소가 비디오 프레임의 마지막 화소인지를 판단하는 것(단계 400)으로 시작된다. 만약 그렇지 않다면, 로고 맵이 검사되어서 로고 맵(300) 내의 대응하는 이진 숫자가 이 화소가 로고 화소임을 나타내는지를 판단한다(단계410). 만약 그렇지 않다면, 즉 대응하는 이진 숫자가 0 이라면, 그 화소를 그냥 통과하고(단계 420) 프로세스가 단계(400)으로 복괴한다. 그렇지 않으면, 즉 그 화소가 로고 영역에 속한다면, 그 화소의 밝기와 기준 프레임 내의 대응하는 화소(동일한 종축 및 횡축 좌표값을 갖는)의 밝기 사이의 절대 차이가 하기의 관계식에 따라 계산된다(단계 430).
여기서 등식 우변의 첫번째 항은 현재 비디오 프레임의 i 번째 화소의 화소 밝기 값(pixel intensity value)을 나타내고, 우변의 감해지는 두번째 항은 기준 프레임의 대응하는 화소 밝기 값을 나타내고, 좌변은 두 값의 차이를 나타낸다.
그 다음에는, 잡음 신호의 평균이 상기 차이로부터 감해져서 가 얻어진다(단계 435). 그 다음에, 단계(440)에서는 d' (i) 의 절대값의 제곱이 계산되어 첫번째 화소부터 i 번째 화소까지 다음의 관계식에 의해 누적된다.
여기서 f(j) 는 로고 맵의 j 번째 화소의 이진 숫자를 나타낸다.
현재의 프레임 내의 모든 화소들이 검사된 후에는, 잡음 평균이 감산된 차이값의 제곱의 누적합이 다음의 관계식에 따라 평균된다.
여기서 N은 현재 프레임 내의 모든 화소들의 총수를 나타내고, M은 로고 화소들의 총수를 나타낸다. 그와 같이 하여 확률적 척도(σ d )는 로 얻어진다.
페이드 오프되지 않는 로고는 시간축을 따라서 프레임에서 프레임으로 상수로(즉, 밝기, 색상, 형상, 패턴, 위치 등의 면에서 고정되게) 남아야 한다. 그러므로, 만약 p(i) 가 로고 화소 i 의 밝기라면, d(i)는 그 화소에 대한 잡음 s(i)과 같다.
일반적으로, 자연적인 비디오 잡음 신호는 평균이 아래의 관계식으로 주어지는 랜덤 프로세스로 모델링될 수 있다.
여기서 M은 잡음 샘플들의 총수이다. 그러므로, 로고 영역 내의 잡음의 표준편차(STD)는 다음의 관계식으로 표현될 수 있다.
현재 HDTV의 통상적인 해상도는 이미지 프레임 당 대략 1280*720 또는 그 이상의 화소이다. DVD 해상도는 일반적으로 720*480에 비월주사이다. 그러한 조건에서는, 로고 화소들의 총수는 확률적 프로세스의 충분한 샘플 공간을 나타내기에 족할만큼 크다. 그러므로, 상기 분석에 기초하여, 단계(450)(도 4 참조)에서는 다음 식과 같은 확률적 척도(σ d ):
가 아래의 관계식에 따라 잡음 표준편차(σ s )와 비교된다.
만약 |σ d - σ s | < 문턱값(th)라면, 로고는 현재의 비디오 프레임에 잔존한다; 그렇지 않은 경우에는 로고가 사라진다. 상기 수학식 6에서 d(i)는 단지 로고 화소들에만 기초하며, M은 로고 화소들의 총수임에 주목하여야 한다.이와 같이 하여, 로고 화소 밝기 차이의 표준편차를 계산함에 의해 로고 영역의 확률적 척도(σ d )를 계산함에 의해서; 그리고 로고의 σ d 를 표준편차에 의해 측정된 주어진 소음 신호 수준과 비교함에 의해 로고가 비디오 프레임에 잔존하는지 또는 사라졌는지(또는 페이드 오프되기 시작했는지)를 감지함에 의해서, 잡음이 있을 수 있는 디지털 비디오 신호 내에서 이전에 검출된 로고가 추적될 수 있다.
도 5를 참조하면, 또 다른 측면에서, 본 발명에 따른 그러한 로고 검출 및 추적 방법은 로고 검출 및 추적 시스템(500)으로 구현된다. 로고 검출 및 추적 시스템(500)은 로고 검출기(510), 로고 맵 생성기(520), 로고 추적기/감지기(530) 및 로고 프로세서(540)를 포함하여 구성된다. 로고 검출기(510), 로고 맵 생성기(520), 및 로고 추적기/감지기(530)는 위에서 기술된 단계들을 구현한다. 추가적으로 로고 프로세서(540)은 로고를 포함하는 비디오 프레임을 원하는 식으로(즉, 로고를 제거하거나 로고를 움직이거나 등등) 프로세싱하도록 구성될 수 있다. 다른 구현예들도 가능하다.
본 발명은 다양한 서로 다른 형태의 실시예로 구현될 수 있으며, 도면에 도시되고 명세서에서 상세하게 설명된 본 발명의 바람직한 실시예들은 본 발명의 기본 원리를 예로써 보인 것으로 생각되어야 할 것이고 본 발명의 광범위한 측면들을 설명된 실시예들로 한정하려는 것이 아니다. 앞에서 언급된 본 발명에 따른 시스템(500)은 다양한 방식으로 구현될 수 있다. 예를 들면, 프로세서에 의해서 실행되기 위한 프로그램, 로직 회로, ASIC, 펌웨어, 등 당업자에게 공지된 여러 방식을 들 수 있다. 그러므로, 본 발명은 여기에서 기술된 실시예들에 한정되지 않는다.
본 발명이 어떤 바람직한 실시예들과 관련하여 상세히 설명되었다. 그러나, 다른 실시예들도 가능하다. 그러므로, 첨부된 청구범위의 본지와 범위는 여기에서 기술된 실시예들의 설명으로 한정되어서는 안된다.
상기한 바와 같은 구성으로 되는 본 발명에 의해서 잡음이 있는 비디오 신호 내의 로고의 사라짐을 추적하여 적절히 대응하는 것이 가능하다.
도 1은 본 발명의 일실시예에 따라, 비디오 프로그램의 진행도중에 로고를 검출하여 추적하는 프로세스의 한 예를 보인 다이어그램이다.
도 2는 본 발명의 한 예에 따라 디지털 비디오 프로그램 내의 로고를 검출하고 추적하는 단계들을 보이는 흐름도이다.
도 3은 로고 맵의 한 예를 보인다.
도 4는 본 발명의 한 예에 따라 이전에 검출된 로고를 추적하는 방법을 보이는 흐름도이다.
도 5는 본 발명의 일실시예에 따른 로고 검출 시스템을 보이는 블록도이다.

Claims (24)

  1. 디지털 비디오 이미지들을 표현하는 화소들로 구성된 일련의 프레임들 각각의 어떤 영역 내의 사라짐을 검출하기 위한 것으로서, 하기의 단계들:
    상기 프레임들 중 최소한 두개에서의 화소값들 차이의 표준편차에 기초하여 상기 영역의 확률적 척도(stochastic measure)(σd)를 계산하는 단계와; 및,
    상기 확률적 척도(σd)를 주어진 잡음 수준과 비교하여 만약 상기 확률적 척도(σd)와 잡음 수준 사이의 차이가 어떤 문턱값 보다 큰 경우에는 사라짐이 검출되도록 상기 영역 내의 사라짐을 검출하는 단계를 포함하는
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  2. 제 1 항에 있어서, 상기 확률적 척도(σd)를 계산하는 단계는 추가적으로 다음의 단계들:
    (a) 현재 프레임의 각 로고 화소에 대해서:
    (i) 현재의 화소의 값과 어떤 기준 프레임 내의 대응하는 화소의 값 사이의 차이를 결정하는 단계와;
    (ii) 상기 차이로부터 주어진 잡음 평균을 감산하고, 얻어진 값을 제곱하는 단계와; 및,
    (iii) 로고 영역 내의 복수개의 화소들 각각에 대해서 잡음 평균이 감산된 차이의 제곱들의 합을 생성하는 단계와;
    (b) 상기 합의 평균(average)을 생성하고, 상기 평균에 기초하여 상기 확률적 척도(σd)를 결정하는 단계를 추가적으로 포함하는,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  3. 제 2 항에 있어서, 단계 (a)에서 확률적 척도(d)의 상기 합은 아래의 관계식:
    에 따르고:
    이며, 여기서:
    i 는 현재 프레임에서 검사된 화소들의 숫자이고,
    p c (j) 는 현재 비디오 프레임 내의 화소값을 나타내고,
    p r (j) 는 기준 프레임의 대응하는 화소 밝기 값을 나타내고,
    d(j) 는 현재 화소의 값과 기준 프레임의 대응하는 화소의 값 사이의 차이를 나타내고,
    f(j)=1 은 그 화소가 로고 화소임을 나타내고,
    μ s 는 잡음 신호의 평균(mean)을 나타내는,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  4. 제 3 항에 있어서, 확률적 척도(d)의 결정은 아래의 식들:
    을 따르고, 여기서:
    M은 상기 로고 영역 내의 총 화소수를 나타내고,
    N은 현재 프레임 내의 총 화소수를 나타내는,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  5. 제 2 항에 있어서,
    상기 영역은 서브 이미지를 포함하며;
    상기 방법은, 초기에 서브 이미지를 포함하는 영역을 검출하고, 비디오 프레임에 대응하는 화소 패턴을 포함하는 맵을 생성하는 것을 추가적으로 포함하고,
    여기서 상기 패턴 내의 각 화소는 비디오 프레임의 대응 화소가 서브 이미지 내에 있는지 여부를 나타내는,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  6. 제 5 항에 있어서, 하기의 단계들:
    상기 맵을 사용하여 서브 이미지 내에 있는 비디오 프레임 화소들을 선택하는 단계와;
    현재 화소의 값과 기준 프레임의 대응하는 화소의 값 사이의 차이를 결정하고, 그 차이로부터 잡음 평균을 감산하고, 그렇게 얻어진 값을 제곱하는 단계와; 및,
    상기 로고 영역 내의 복수개의 화소들 각각에 대하여 제곱된 값들의 합을 생성하는 단계를 추가적으로 포함하는,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  7. 제 1 항에 있어서, 상기 잡음 수준은 비디오 신호로부터의 잡음 샘플들 s(i) 의 표준편차를 결정함에 의해서 선택되며, 여기서 i 는 디지털 잡음 샘플의 인덱스인,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  8. 제 7 항에 있어서, 상기 영역 내의 잡음의 표준편차( s )는 다음의 식:
    으로 표현될 수 있고, 여기서 자연적인 비디오 노이즈 신호는 하기의 평균:
    을 갖는 랜덤 프로세스로 모델링되며,
    M은 잡음 샘플들의 총수인,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  9. 디지털 비디오 이미지들을 표현하는 화소들로 구성된 일련의 프레임들 각각의 어떤 영역 내의 사라짐을 검출하기 위한 것으로서, 하기의 단계들:
    (a) 현재 프레임의 각 로고 화소에 대해서:
    (i) 현재의 화소의 값과 어떤 기준 프레임 내의 대응하는 화소의 값 사이의 차이를 결정하는 단계와;
    (ii) 상기 차이로부터 주어진 잡음 평균을 감산하고, 얻어진 값을 제곱하는 단계와; 및,
    (iii) 로고 영역 내의 복수개의 화소들 각각에 대해서 잡음 평균이 감산된 차이의 제곱들의 합을 생성하는 단계와;
    (b) 상기 합의 평균(average)을 생성하고는 단계와;
    (c) 만약 평균과 잡음 표준편차 사이의 차이가 문턱값 보다 큰 경우에는 사라짐이 검출되게끔상기 평균을 표준편차(STD)로 나타내어지는 주어진 잡음 수준과 비교하
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  10. 제 2 항에 있어서, 다음의 초기 단계들:
    비디오 프레임 내의 로고를 검출하는 단계; 및,
    비디오 프레임에 대응하는 화소 패턴을 포함하는 맵을 생성하는 단계를 추가적으로 포함하고,
    여기서, 패턴 내의 각 화소는 비디오 프레임 내의 대응하는 화소가 로고 내에 있는지 여부를 나타내는,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  11. 제 10 항에 있어서, 다음의 단계들:
    상기 맵을 사용하여 서브 이미지 내에 있는 비디오 프레임 화소들을 선택하는 단계와;
    현재 화소의 값과 기준 프레임의 대응하는 화소의 값 사이의 차이를 결정하는 단계와;
    그 차이로부터 잡음 평균을 감산하고, 그렇게 얻어진 값을 제곱하는 단계와; 및,
    상기 로고 영역 내의 복수개의 화소들 각각에 대하여 제곱된 값들의 합을 생성하는 단계를 추가적으로 포함하는,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  12. 제 9 항에 있어서, 상기 잡음 수준은 비디오 신호로부터의 잡음 샘플들의 표준편차를 결정함에 의해서 선택되는,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  13. 제 12 항에 있어서, 상기 잡음 수준은 로고 영역 내의 잡음 샘플들의 표준편차를 결정함에 의해서 선택되는,
    디지털 비디오의 어떤 영역 내의 사라짐을 검출하기 위한 방법.
  14. 비디오 프레임 내의 로고를 검출하는 검출기와;
    비디오 프레임에 대응하는 화소 패턴-패턴내의 각 화소는 비디오 프레임 내의 대응하는 화소가 로고 내에 있는지 여부를 표시함-을 포함하는 맵을 생성하는 로고 맵 생성기와;
    상기 맵을 이용하여 로고 내에 있는 비디오 프레임의 화소들을 선택하여 현재 화소의 값과 어떤 기준 프레임 내의 대응하는 화소의 값 사이의 차이를 결정하고, 주어진 잡음 평균을 상기 차이로부터 감산하고 그 얻어진 값을 제곱하고, 복수개의 로고 화소들의 각각에 대해서 상기의 차이에서 잡음 평균이 감해진 값의 제곱들의 합을 생성하고,
    상기 합들의 평균을 생성하고, 및,
    상기 평균을 주어진 잡음 수준과 비교하여 만약 상기 평균과 잡음 수준(STD) 사이의 차이가 문턱값 보다 크다면 사라짐이 검출되도록 함에 의해서 로고의 사라짐을 검출하는 로고 검출기를 포함하여 구성되는,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
  15. 제 14 항에 있어서, 상기 잡음 수준은 비디오 신호로부터의 잡음 샘플들의 표준편차를 결정함에 의해서 선택되는,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
  16. 제15항에 있어서, 상기 잡음 수준은 로고 화소들로부터의 잡음 샘플들의 표준편차를 결정함에 의해서 선택되는,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
  17. 일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 것으로서,
    비디오 신호 내의 로고를 검출하는 검출기와;
    상기 프레임들 중 최소한 두개에서의 화소값들 차이의 표준편차에 기초하여 상기 로고의 확률적 척도(stochastic measure)(σd)를 계산하고, 상기 확률적 척도(σd)를 주어진 잡음 수준(STD)과 비교하여 만약 상기 확률적 척도(σd)와 잡음 수준(STD) 사이의 차이가 문턱값 보다 큰 경우에는 사라짐이 검출되도록 상기 영역 내의 사라짐을 검출하는 로고 추적기를 포함하여 구성되는,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
  18. 제 17 항에 있어서, 상기 추적기는 하기의 단계들:
    (a) 현재 프레임의 각 로고 화소에 대해서:
    (i) 현재의 화소의 값과 어떤 기준 프레임 내의 대응하는 화소의 값 사이의 차이를 결정하는 단계와;
    (ii) 상기 차이로부터 주어진 잡음 평균을 감산하고, 얻어진 값을 제곱하는 단계와; 및,
    (iii) 로고 영역 내의 복수개의 화소들 각각에 대해서 잡음 평균이 감산된 차이의 제곱들의 합을 생성하는 단계와;
    (b) 상기 합의 평균(average)을 생성하고, 상기 평균에 기초하여 확률적 척도(σd)를 결정하는 단계,
    에 의해서 확률적 척도(σd)를 계산하는,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
  19. 제 18 항에 있어서, 상기 추적기는 아래의 관계식:
    에 따라 잡음 평균이 감산된 차이의 제곱들의 합을 생성하고,
    이며, 여기서:
    p c (j) 는 현재 비디오 프레임 내의 화소값을 나타내고,
    p r (j) 는 기준 프레임의 대응하는 화소 밝기 값을 나타내고,
    d(j) 는 현재 화소의 값과 기준 프레임의 대응하는 화소의 값 사이의 차이를 나타내고,
    f(j)=1 은 그 화소가 로고 화소임을 나타내고,
    μ s 는 잡음 신호의 평균(mean)을 나타내는,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
  20. 제 19 항에 있어서, 상기 추적기는 아래의 식들:
    에 따라 확률적 척도(σd)를 결정하고, 여기서:
    M은 상기 로고 영역 내의 총 화소수를 나타내고,
    N은 현재 프레임 내의 총 화소수를 나타내는,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
  21. 제 18 항에 있어서,
    비디오 프레임에 대응하는 화소 패턴-패턴 내의 각 화소는 비디오 프레임 내의 대응하는 화소가 로고 내에 있는지 여부를 나타냄-을 포함하는 맵을 생성하는 로고 맵 생성기를 추가적으로 포함하는,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
  22. 제 21 항에 있어서, 상기 추적기는 상기 맵을 사용하여 서브 이미지 내에 있는 비디오 프레임 화소들을 선택하고;
    현재 화소의 값과 기준 프레임의 대응하는 화소의 값 사이의 차이를 결정하고, 그 차이로부터 잡음 평균을 감산하고, 그렇게 얻어진 값을 제곱하며; 및,
    로고 영역 내의 복수개의 화소들 각각에 대하여 제곱된 값들의 합을 생성하는,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
  23. 제 17 항에 있어서, 상기 잡음 수준은 비디오 신호로부터의 잡음 샘플들 s(i) 의 표준편차를 결정함에 의해서 선택되는,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
  24. 제 23 항에 있어서, 상기 영역 내의 잡음의 표준편차( s )는 다음의 식:
    으로 표현될 수 있고, 여기서 자연적인 비디오 노이즈 신호는 하기의 평균:
    을 갖는 랜덤 프로세스로 모델링되며,
    M은 잡음 샘플들의 총수인,
    일련의 프레임의 각 프레임 내의 로고의 사라짐을 검출하기 위한 사라짐 검출 시스템.
KR1020040052304A 2003-10-09 2004-07-06 디지털 비디오 신호 내 검출된 로고의 사라짐을 추적하는방법 KR20050034536A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/682,315 2003-10-09
US10/682,315 US7356084B2 (en) 2003-10-09 2003-10-09 Method for tracking the disappearance of detected logos within digital video signals

Publications (1)

Publication Number Publication Date
KR20050034536A true KR20050034536A (ko) 2005-04-14

Family

ID=34422486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040052304A KR20050034536A (ko) 2003-10-09 2004-07-06 디지털 비디오 신호 내 검출된 로고의 사라짐을 추적하는방법

Country Status (2)

Country Link
US (1) US7356084B2 (ko)
KR (1) KR20050034536A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100584605B1 (ko) * 2003-10-09 2006-05-30 삼성전자주식회사 디지털 비디오 신호 내에서 불투명한 로고 검출 장치 및방법
KR20160027651A (ko) * 2014-09-02 2016-03-10 에스케이텔레콤 주식회사 동영상 색인 방법 및 장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599558B2 (en) * 2005-08-24 2009-10-06 Mavs Lab. Inc. Logo processing methods and circuits
GB2436654A (en) * 2006-02-03 2007-10-03 Snell & Wilcox Ltd Detection of a cross-fade in a video sequence
US20070242926A1 (en) * 2006-04-13 2007-10-18 Huang Chen-Hsiu Video Program Processing Method and System
KR100775063B1 (ko) * 2006-11-09 2007-11-08 삼성전자주식회사 이미지 센서의 랜덤 노이즈 평가 방법 및 평가 장치
JP2010074772A (ja) * 2008-09-22 2010-04-02 Sony Corp 映像表示装置、及び映像表示方法
US8175413B1 (en) * 2009-03-05 2012-05-08 Google Inc. Video identification through detection of proprietary rights logos in media
US8396302B2 (en) 2011-01-11 2013-03-12 Intel Corporation Method of detecting logos, titles, or sub-titles in video frames
CN102625028B (zh) * 2011-01-30 2016-09-14 索尼公司 对视频中存在的静态徽标进行检测的方法和设备
CN103353939B (zh) * 2013-06-19 2016-05-25 电子科技大学 动态背景下图像特征对象模版提取及识别方法
US9785852B2 (en) * 2013-11-06 2017-10-10 Xiaomi Inc. Method, TV set and system for recognizing TV station logo
CN103634652B (zh) * 2013-11-06 2017-06-16 小米科技有限责任公司 台标识别方法、装置、电视机和系统
US10397637B2 (en) * 2014-12-04 2019-08-27 Samsung Electronics Co., Ltd. Apparatus and method for facilitating channel control on a paired device
US9721185B2 (en) * 2015-01-13 2017-08-01 Arris Enterprises Llc Automatic detection of logos in video sequences
WO2017050594A1 (en) * 2015-09-10 2017-03-30 Koninklijke Philips N.V. Automatic image feature removal
US10169655B2 (en) 2016-11-30 2019-01-01 Arris Enterprises Llc Detection of logos in a sequence of video frames
US10701438B2 (en) 2016-12-31 2020-06-30 Turner Broadcasting System, Inc. Automatic content recognition and verification in a broadcast chain

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061471A (en) * 1996-06-07 2000-05-09 Electronic Data Systems Corporation Method and system for detecting uniform images in video signal
US5920360A (en) * 1996-06-07 1999-07-06 Electronic Data Systems Corporation Method and system for detecting fade transitions in a video signal
US6084641A (en) * 1997-08-06 2000-07-04 General Instrument Corporation Fade detector for digital video
US6100941A (en) * 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
JP3724956B2 (ja) * 1998-08-06 2005-12-07 パイオニア株式会社 画像信号のフェード検出方法及びフェード検出装置
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US7474698B2 (en) * 2001-10-19 2009-01-06 Sharp Laboratories Of America, Inc. Identification of replay segments

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100584605B1 (ko) * 2003-10-09 2006-05-30 삼성전자주식회사 디지털 비디오 신호 내에서 불투명한 로고 검출 장치 및방법
KR20160027651A (ko) * 2014-09-02 2016-03-10 에스케이텔레콤 주식회사 동영상 색인 방법 및 장치

Also Published As

Publication number Publication date
US20050078223A1 (en) 2005-04-14
US7356084B2 (en) 2008-04-08

Similar Documents

Publication Publication Date Title
KR20050034536A (ko) 디지털 비디오 신호 내 검출된 로고의 사라짐을 추적하는방법
KR100584605B1 (ko) 디지털 비디오 신호 내에서 불투명한 로고 검출 장치 및방법
US8150234B2 (en) Method and system for video quality assessment
US6101222A (en) Scene change detection
JPH07302328A (ja) 背景差分による動物体領域抽出方法
KR20000068877A (ko) 정보신호의 워터마킹
KR920019182A (ko) 디스플레이스크린의 결함검출방법 및 장치
JP2012098045A (ja) クラック検出装置及びクラック検出プログラム
US10169657B2 (en) Method of extracting logo mask from video stream having logo
JP4073131B2 (ja) 圧縮ビデオ・シーケンス内のエラー・ブロック検出方法
KR20140029069A (ko) 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
US20130107059A1 (en) Noise detecting device, noise detecting method, and program
US8179301B2 (en) Image processor and image processing method for synthetic aperture radar
CN101727673A (zh) 用于基于差异直方图进行运动检测的方法和单元
JP2002005846A (ja) 欠陥検査装置
KR20180096096A (ko) 해색 영상을 이용한 해안선 모니터링 장치 및 방법
TW201519159A (zh) 影像連續邊緣偵測系統與其方法
CN1323545C (zh) 医学影像坏点自动检测门限确定方法
CN102395019B (zh) 去隔行方法
JP5059855B2 (ja) 大域的動き推定方法
JPH06308256A (ja) 雲霧検出方法
US20170214935A1 (en) Method and device for processing a video sequence
KR101076478B1 (ko) 스트레칭 기법을 활용한 평판 디스플레이 패널의 화상결함 검사 방법 및 기록매체
KR101101139B1 (ko) 모티브 스캔을 이용한 화질 평가방법 및 장치
JPH05225341A (ja) 移動物体検出装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid