KR19980025070A - 디지털 비디오에 대한 장면변화 검출기 - Google Patents

디지털 비디오에 대한 장면변화 검출기 Download PDF

Info

Publication number
KR19980025070A
KR19980025070A KR1019970049350A KR19970049350A KR19980025070A KR 19980025070 A KR19980025070 A KR 19980025070A KR 1019970049350 A KR1019970049350 A KR 1019970049350A KR 19970049350 A KR19970049350 A KR 19970049350A KR 19980025070 A KR19980025070 A KR 19980025070A
Authority
KR
South Korea
Prior art keywords
value
block
current
picture
blocks
Prior art date
Application number
KR1019970049350A
Other languages
English (en)
Inventor
첸 쑤에민
리우 빈센트
Original Assignee
에드워드 디. 브린
넥스트레벨 시스템스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에드워드 디. 브린, 넥스트레벨 시스템스, 인코포레이티드 filed Critical 에드워드 디. 브린
Publication of KR19980025070A publication Critical patent/KR19980025070A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

종래의 비디오화상과 화상의 순차적 화상의 현재 비디오화상간의 장면변화를 검출하기 위한 방법에 있어서, 평균조도값은 종래 및 현재의 비디오화상의 블록쌍에 대해서 검출된다. 우선적으로, 블록쌍의 블록들은 각각 종래 및 현재의 화상에서의 동일한 관련위치에 위치된다. 점진적 시각감지값은 평균조도값들간의 차이를 이용해서 검출된다. 점진적 시각감지값이 블록 콘트라스트 임계레벨을 초과하면 장면변화가 표시된다. 특히, 현재 및 종래의 화상블록의 최소 평균조도값이 어두운 장면 임계치를 초과하면, 점진적 시각감지값은 평균조도값들간의 차이의 (a)절대값과, 현재 및 종래의 (b)최소 평균조도값들간의 비율을 이용해서 결정된다. 다른 경우에서, 점진적 시각감지값은 차이의 (a)절대값과, (b)어두운 장면 임계치의 비율을 이용해서 결정된다. 상기 방법은 상대적 동작량과 현재의 화상형태에 근거해서 블록크기를 조정함으로써 최적화 될 수 있는 것이다.

Description

디지털 비디오에 대한 장면변화 검출기
본 발명은 디지털 비디오프레임(예컨대, 화상)의 시퀀스에 있어서 장면변화를 검출하기 위한 장치 및 방법에 관한 것이다. 특히, 이전의 프레임에서 대응블록에 관한 비디오프레임의 다른 블록에서의 변화가 장면변화의 신뢰성있는 표시를 제공함에 이용된다.
최근, 디지털 비디오 전송형태는 텔레비젼과, 오디오, 비디오 및/또는 데이터서비스를 고객의 가정으로 제공하기 위한 전송형태가 증가적으로 대중화되고 있다. 이러한 프로그래밍은 다이렉트 위성링크, 또는 캐이블 텔레비젼망을 통해서 고객의 가정으로 전송되어야 한다. 부가적으로, 디지털비디오는 새롭고 확장된 프로그램 신청을 제공하기 위해, 전통적인 아날로그 텔레비전 방송보다 더 높은 이미지 품질을 제공할 수 있다.
또한, 디지털 비데오신호를 전송하도록, 이용가능한 밴드폭내에 데이터 압축기술을 이용할 필요가 있다. 특히, 현재의 기술은 픽셀 또는 픽셀의 블록간의 상호관계를 이용하지만, 공간적 압축기술은 인접팩셀들, 또는 프레임에서의 픽셀의 블록간의 상호관계를 이용한다. 더욱이, 동작 보상기술은 한층 큰 현재의 기술이 제공될 수 있다.
그러나, 비데오프레임의 시퀀스의 최적 압축을 제공하도록, 시퀀스에서 장면변화를 검출할 수 있는 능력을 갖추는 것이 바람직하다. 장면변화는 일반적으로, 프레임의 배합에서 어떠한 중요한 변화로서 정의될 수 있다. 예컨대, 영화의 비데오시퀀스에 있어서, 장면변화는 카메라각도가 변화되거나, 접근화상 및 파노라마식 화상간에 스위치가 있을 때 나타날 수 있다. 더욱이, 장면변화가 연속적 비데오프레임간에 조도레벨에서의 눈에 띄는 변화에 의해 표시된다. 예컨대, 장면변화는 어두운 방에서 밝은 빛이 접속될 때 나타날 수 있다.
장면변화가 한 번 검출되면, 비데오 시퀀스의 엔코딩이 그에 따라 변화될 수 있다. 예컨대, 새로운 장면의 제1프레임과 이전 장면의 마지막 프레임간의 현재의 상호관계의 감소확률이 있기때문에 장면변화가 검출될 때, 동작보상은 일시적으로 연기될 수 있다. 더욱이, 화상(예컨대 I, P 또는 B화상)의 특정 형태는 장면변화정보에 근거해서 선택될 수 있다. I, P 및 B화상은 아래에 상세히 기술되는 MPEG-2 표준으로 정의된다.
다양한 현행 장면검출시스템은 신뢰성이 있는 장면변화검출 제공을 시도한다. 예컨대, 어떤 시스템은 현재의 프레임과 이전의 프래임간의 대응하는 픽셀값의 차의 절대값의 합을 이용해서, 장면변화가 있는 지의 여부를 결정하는 소정 상수 임계치와 이 합을 비교한다. 그러나, 이 시스템은 연속적 프레임에서 빠른 동작이 나타나면 신뢰할 만한 결과를 주기 어렵다. 더욱이, 이러한 시스템은 동작의 다른 레벨이 나타날 때(예컨대, 약간 빠른, 빠른, 매우 빠른), 실제로 신뢰성이 없다.
다른 시스템은 현재의 프레임과 이전의 프레임간의 대응하는 픽셀값간의 차의 절대값을 결정한다. 그후, 현재의 프레임과 다음 프레임간의 대응하는 픽셀값의 차의 절대값이 결정된다. 마지막으로, 상기 두 개의 차의 차이의 합이 얻어지고, 거기에 장면변화가 있는 지를 검출하는 소정 상수 임계치와 비교된다. 그러나, 이 시스템은 장면이 무동작에서 빠른 동작으로 전송될 때, 신뢰할 만한 결과를 제공할 수 없다.
따라서, 동작의 다른 레벨이 나타날 때와, 무동작에서 빠른 동작으로의 전송이 있을 때, 장면변화를 신뢰성 있게 검출할 수 있는 디지털비디오에 대한 장면검출시스템을 제공하는 것이 바람직한 것이다. 더욱이, 상기 시스템은 Motion Picture Expert's Group(MPEG) 표준, 상세하게는 참조에 의해 병합된 Ingormation Technology - Generic Coding of Moving Pictures and Associated Audio, Recommendation H.262, 1994년 3월로 명명된 문서(JTC1/SC29/WG11 N0702)에서 찾아볼 수 있다.
MPEG시스템은 비디오화상의 3가지 형태를 포함하는데, 구체적으로는 내장코드 화상(I-화상)과, 예측코드 화상(P-화상) 및 양방향성 예측코드 화상(B-화상)을 포함한다. 더욱이, 프레임이나 또는 필드구조 비디오 시퀀스가 조절된다. I-화상은 어떠한 다른 화상을 참조하지 않고 단일 비디오화상을 완성한다. 에러은폐(error concealment)를 개선하기 위해, 동작벡터는 I-화상으로 포함될 수 있다. I-화상에서의 에러는 베이스층에서의 각 P-화상 및 B-화상이 I-화상으로부터 예측되기 때문에, 디스플레이된 비디오상에서 큰 임펙트(impact)에 대한 포텐셜을 갖춘다. P-화상은 이전의 I 또는 P화상에 기초해서 예측된다. 참조는 가까운 I 또는 P-화상에서 이후의 P-화상이고, 포워드예측으로 알려져 있다. B-화상은 가까운 I 또는 P-화상과, 인접한 이후의 I 또는 P-화상으로부터 예측된다.
유리한 장면 검출시스템은 비율제어의 자동제어를 포함하고, MPEG-1, MPEG-2, IOS/IEC H.261(vodeoconferencing) 및 IOS/IEC H.263을 포함하는 다양한 표준을 이용하는 비디오압축 엔코더의 적응양자화처리를 포함한다. 더욱이, 상기 시스템은 북미에서 이용되는 내셔널 텔레비젼 표준위원회(NTSC)와, 유럽에서 이용되는 위상변경선로(PAL)와 같은 다양한 컬러텔레비젼 방송표준과 호환되고, 더욱이, 각 프레임 및 필드모드 비디오와 호환된다. 본 발명은 상기 및 그 이외의 장점을 갖춘 시스템을 제공한다.
본 발명에 따른 방법 및 장치는 비디오화상의 시퀀스에서 이전의 화상과 현재의 화상간의 화면변화를 검출하기 위한 것이다.
도 1은 본 발명에 따른 2개의 연속적 비디오프레임의 블록들간의 비교를 설명하는 도면,
도 2는 본 발명에 따른 장면변화 검출기의 블록도이다.
이전의 화상과 현재의 화상간의 장면변화를 검출하기 위한 방법에 있어서, 조도값은 이전 및 현재의 비디오화상의 블록쌍에 대해 결정된다. 우선적으로, 이전 및 현재화상에서의 동일한 관련위치에서 각각 블록쌍의 블록들이 위치된다. 다음, 점진적 시각감지값은 평균 조도값들간의 차를 이용해서 결정된다. 점진적 시각감지값이 블록 콘트라스트 임계레벨을 초과하면, 장면변화가 표시된다. 블록 콘트라스트 임계레벨은 여기서 정의된 15 내지 25번째의 웨어 플렉션 콘트라스와 유사할 수 있다.
특히, 현재 및 이전화상의 최소 평균 조도값이 결정되는 데, 여기서 최소값이 어두운 장면 임계치를 초과하면, 점진적 시각감지값은 평균조도값들간의 차이의 (a)절대값과, 현재 및 종래의 (b)최소 평균조도값들간의 비율을 이용해서 결정된다. 다른 경우에서, 점진적 시각감지값은 차이의 (a)절대값과, (b)어두운 장면 임계치의 비율을 이용해서 결정된다. 어두운 장면 임계값은 최대 그레이레벨의 약 10%일 수 있다.
부가적으로, 평균조도값은 이전 및 현재의 비디오화상의 복수의 블록쌍에 대해서 결정될 수 있다. 우선적으로, 화상에서의 모든 블록쌍은 전체의 화상변화결정을 제공함에 이용된다. 점진적 시각감지값은 그 차를 이용해서 각 블록쌍에 대해 결정되는데, 여기서 점진적 시각감지값이 현재 및 이전의 비디오화상에서 블록쌍의 임계비율에 대한 블록 콘트라스트 임계레벨을 초과하면, 화면변화가 표시된다. 이 임계비율은 약 80% 내지 90%일 수 있다.
더욱이, 상기 방법은 블록쌍의 블록들간의 상대적 동작량을 결정하고, 이 상대적 동작량에 기초해서 블록의 크기를 조정함으로써 적응적으로 최적화 될 수 있다. 특히, 블록의 크기는 상대적 동작증가량으로 증가된다. 더욱이, 상대적 동작량은 수평동작벡터의 절대값과 수직동작벡터의 절대값의 합을 결정함으로써 발견될 수 있는데, 여기서 수평 및 수직동작벡터는 이전화상블록의 비디오화상에 관한 현재화상블록의 비디오화상의 각 수평 및 수직동작을 표시하는 것이다. 상기 합이 모션 임계값을 초과하면, 그 후 결정된 것을 볼 수 있게 이루어진다. 동작 임계값은 현재화상(예컨대, 현재의 화상이 I, P 또는 B-화상이지의 여부)의 화상형태에 따라 조정될 수 있다.
이에 대응하는 장치는 다음에 나타난다.
(실시예)
본 발명의 방법 및 장치는 지디털 비디오프레임의 시퀀스에서의 장면변화를 검출하기 위해 나타난다.
장면의 밝기레벨은 장면을 구성하는 픽셀의 평균조도와 그 픽셀의 조도값의 동적범위로 구성된다. 더욱이, 사람의 눈에 대한 밝기의 시각감지값은 일반적으로 이미지발광의 자연적 로가리즘의 함수로 간주된다. 장면변화의 프레임 및/또는 필드는 이전의 프레임 또는 이전의 대응필드로부터 중요하게 변화된다.
더욱이, 사람의 지각력은 조도 콘트라스트가 그 자체의 절대조도값보다 더 민감한데, 2개의 장면들간의 점진적 시각감지값(δC)은 장면변화의 좋은 표시이다. δC는 2개의 프레임 및/또는 필드에서의 동일한 관련위치를 갖춘 영역(예컨대, 블록)의 평균발광의 차이값으로서 정의된다.
특히, 웨버법칙(Weber's law)에 따라 목표의 조도(b0)가 둘어싸인 영역의 조도(bs)와 눈에 띄게 다르면, 웨버분류로서 알려진 비율은 다음과 같다.
=상수.
상기 웨버분류는 예컨대 0.5mL(millilumens)보다 큰 높은 배면조도레벨에서 적당한 상수로 남아있다. 상수( )값은 0.02로 보여지는데, 이것은 0 내지 1의 스케일에서 적어도 50개의 다른 조도값이 사람에 의한 지각력으로 되는 레벨들간의 콘트라스트에 대해 요구되는 것이다.
b0=b로 놓고, 하나는 bs+b+δb로 기록하는데, 여기서 δb는 가장 작은 지각 가능한 조도변화이다.
다음, (상수)인데, 는 발광의 점진적 시각감지값에 비례적이다.
도 1은 본 발명에 따른 2개의 연속적 비디오프레임의 블록들간의 비교를 나타낸다. 현재의 프레임 및 프레임(i)는 100에 나타낸 것으로 블록(110)을 포함한다. 이전의 프레임 및 프레임(i-1)은 150에 나타낸 것으로, 프레임(100)에 위치된 블록(110)과 같이 프레임(150)에 동일한 관련위치에 위치되는 블록(160)을 포함한다.
예컨대, NTSC형태에 대해서 프레임(100, 150)은 각각 30조각으로 이루어질 수 있는데, 각 슬라이스는 45개의 매크로블록을 갖춘다. 이렇게, 전체의 NTSC프레임은 1,320개의 매크로블록을 구비한다. 더욱이, 예컨대 8×8 픽셀블록을 구비하는 MPEG-2 표준에서 매크로블록은 전형적으로 16×16 픽셀블록을 구비한다. 이렇게, NTSC프레임은 총 337,920픽셀에 대해서 폭이 44×16=704픽셀을 구비하고, 높이가 30×16=480픽셀을 구비할 수 있다. 더욱이, 본 발명은 조각당 44매크로블록과, 매크로블록당 16×16픽셀을 갖춘 36조각인 1,584매크로블록을 포함하는 PAL형태와 호환된다.
블록(110, 160)은 좌표값(k, l)에 의해 설계되는데, 여기서 k는 블록의 수평 인덱스(index)이고, l은 수평 인덱스(index)이다. 더욱이, 각 블록(110, 160)은 예컨대 폭이 32픽셀이고, 높이가 16픽셀인 크기를 갖출 수 있다. 이 경우에 있어서, k는 1 내지 704/32=22인 범위일 것이고, l은 1 내지 480/16=30인 범위일 것이다.
다음과 같은 조건이 정의된다.
h - 프레임의 높이(픽셀),
w - 프레임의 폭(픽셀),
m - 블록의 높이(픽셀),
n - 플록의 폭(픽셀),
i - 프레임 인덱스,
k - 수평블록 인덱스(k=1, ..., h/m),
l - 수직블록 인덱스(l=1, ..., w/n),
Xi,k,l- I번째 프레임, k번째 수평블록, l번째 수평블록의 픽셀휘도.
이렇게, 픽셀의 설정으로 정의된 2개의 연속적 프레임 및/또는 2개의 상부(또는 하부)필드를 갖춘 것으로 한다. 특히, (i)번째 프레임 및 프레임(100)은 픽셀(Xi,k,l)의 설정으로 정의되고, (i-1)번째 프레임 및 프레임(150)은 픽셀(Xi-1,k,l)의 설정으로 정의된다. 장면변화를 효과적으로 구별하도록 각 프레임은 k×l 해체블록의 설정으로 구별되는데, 각 블록은 m×n 픽셀을 갖춘다.
중요한 것은, 블록의 크기가 현재의 동작정보에 기초해서 적응적으로 변화되게 프로그램될 수 있는 것이다. 특히, 더 빠른 동작은 더 큰 블록크기가 m×n인 것이다. 동작량에 근거해서 각 프레임에 대한 블록크기를 조정하는 하나의 방법은 다음과 같은 처리를 수행함으로써 이루어진다. 먼저, 인덱스(v[x][y])는 각각 16×16 매크로블록에 대해 계산되는데, 여기서 x=1, 2, ..., [w/16], y=1, 2, ..., [h/16]이다. 전체 픽셀이 모션벡터를 전송하면, 벡터([x][y][z])는 다음을 만족한다.
｜vector[x][y]0]｜+｜vector[x][y][1]｜T3,
그후, 2개의 블록간의 빠른 동작이 표시된다. 벡터[x][y][0] 및 벡터[x][y][z]는 각각 이전에 프레이블록에 관한 현재의 프레임블록(예컨대, 블록(x,y))의 수평 및 수직벡터이다. 이렇게, 상기 부등호에 대해서 인덱스 v[x][y]=1을 설정하고, 그 외는 v[x][y]로 설정한다.
중요한 것은, 동작벡터(vector[x][y][z])는 동일한 화상형태를 갖춘 가장 가까운 이용가능한 화상으로부터 얻어지는 것이다. 예컨대, 현재의 화상형태가 P-화상이면, 동작벡터(vector[x][y][z])는 이전의 예측 P-화상의 동작벡터이다. 이것은 실제로 화상의 동작추정전에 각 화상에 대한 장면변화검출이 나타나기 때문인 것이다.
임계값(T3)은 비디오프레임의 시퀀스에 나타난 다른 화상형태에 근거해서 선택된다. 예컨대, 시퀀스(I, P, P, ...,)를 갖춘 비트스트림에서 B-화상이 없으면, T3=16이 적당히 선택된다. 예컨대 시퀀스(P, B, P, B, ...)를 갖춘 하나의 B-화상 이 있으면, T3=16은 현재의 화상이 B-화상인지를 적당히 선택하고, T=32는 연재의 화상이 P-화상인지를 적당히 선택한다.
다음, 블록크기가 그에 따라 조정된다. 16×16의 초기(default) 블록크기가 이용될 수 있다. 그후, 블록크기는 v[x][y]에 근거해서 저정될 수 있다. 예컨대, v[x][y]=1이면 블록크기가 예컨대 16×32 또는 32×32로 증가될 수 있다. 우사하게, v[x][y]=0이면, 블록크기가 예컨대 8×16으로 감소될 수 있다. 그러나, 중요한 것은 블록크기는 감소되지 않는데, 이것은 블록이 매크로블록의 우측 및/또는 하부경계를 넘기 때문이다. 일반적으로, 블록크기는 동작이 빠를 때 크게 된다. 더욱이, 블록크기가 허용되는 가장 큰 크기는 어떤 적용에 있어서 32×48픽셀로 제한될 수 있다.
다음, 프레임(또는 상부필드)에서 각 블록의 평균조도가 결정된다. (i)번째 프레임 및 블록(k, I)에 대해 평균조도는 다음과 같다.
여기서, k=1, ... h/m이고, l=1, ... w/n이다. c1 및 c2는 더미 카운팅 인덱스(dummy counting indexes)이다. 다음, (i)번째 및 (i-1)번째 프레임(또는 상부필드)은 다음과 같이 결정된다.
δBi,k,l=Bi,k,l-Bi-1,k,l.
더욱이, (i)번째 프레임 및 블록(k. l)에 대한 상대적 블록-증가-콘트라스트(δCi,k,l)는 다음과 같이 정의된다.
여기서, TO는 어두운 장면이라고 생각되는 장면을 표시하는 임계값이다. 일반적으로, TO=25.5가 이용될 수 있는데, 최대 그레이스케일레벨 255의 10%이다.
장면변화에 대해, 블록조도 콘트라스트의 관련변화의 중요한 임계값은 이다. 이제, 인덱스 어레이를 고려하면, k=1, ..., h/m, l=1, ..., w/n에 대한 인덱스[k][l]는 다음과 같이 정의된다.
다음, 프레임에서 블록의 약 80~90%가 다음과 같이 중요한 임계값보다 큰 상대적 블록-증가-콘트라스트를 갖추면,
본 발명에 따른 장면변화가 표시된다. 80~90%의 범위가 광범위한 실험에 근거해서 결정되지만, 최적 형태는 특별한 장면으로 변화시킬 수 있다. 중요한 점은 수학적 표현 x는 비정수(x)에서 다음의 가장 낮은 정수의 라운딩(rounding)으로 놓는 것이다.
도 2는 본 발명에 따른 장면변화 검출기의 블록도이다. 200에 일반적으로 도시한 검출기는 입력 터미널(205, 210)을 포함한다. 입력터미널(205)에서, 현재의 프레임(Xi,k,l)으로부터 픽셀데이터가 수신되고, i번째 프레임(Bi,k,l)에서 각 블록에 대한 평균 조도값을 만드는 블록평균함수(215)에 제공된다. 유사하게, 입력터미널(210)에서, 이전의 프레임(Xi-1,k,l)으로부터의 픽셀데이터가 제공되고, (i-1)번째 프레임(Bi-1,k,l)에서 각 블록에 대한 평균 조도값을 만드는 블록 평균함수가 제공된다.
최소화 유니트(225; minimizer unit(MIN))는 min{Bi,k,l, Bi-1,k,l}를 결정하고, 분할함수(230)로 이러한 텀(term)을 출력한다. 그 사이에, 감산기(235)는 δBi,k,l=Bi,k,l- Bi-1,k,l를 결정한다. 절대값함수(240)는 ｜Bi,k,l｜을 결정하고, 분할기(230)에 이러한 텀을 제공한다. 분할기(230)는 min{Bi,k,l, Bi-1,k,l} T0인지에 의존하는 (i)번째 프레임 및 블록(k, 1)에 대한 상대적 블록-증가-콘트라스트(δCi,k,l)를 결정한다. 다음, δCi,k,l는 블록(k. l)이 장면변화의 표시하는지(예컨대, δCi,k,lT1인지의 여부)를 결정하는 임계함수(235)에 제공된다. 물론 인덱스([k][l])는 그에 따라 설정될 수 있다. 어큐뮬레이터(240; accumulator)는 각 블록에 대한 장면변화 결과를 계산하고, 전체의 프레임 또는 그 부분에 걸쳐 결과를 합한다. 마지막으로, 임계함수(250)는 어큐뮬레이터(240)로부터의 합계를 수신하고, 전체 프레임에 대한 장면변화가 표시되는 지의 여부를 결정하는데 임계값(T2)을 이용한다.
본 발명의 장면변화 검출시스템은 다른 비디오 시퀀스를 이용해서 연장적으로 시험되었다. 특히, 테스트 모델 에디팅 위원회(Model Editing Committee)의 테스트 모델 5에 기술된 축구, 자동차 카렌더, 정원 및 탁구 비디오 시퀀스와, 1993년 4월 ISO/IEC JTC1/SC29/WG11 MPEG93/457은 템페어(Tampere), 핀렌드, ISO/IEC JTC1/SC29/WG11 N1277, MPEG-4 비디오 검증모델 버전 3.0을 수정한 MPEG-4 비디오 VM상의 Ad hoc그룹에 기술된 파괴, 거리 오르간, 침묵 및 펀패어(Fun Fair) 비디오 시퀀스에 따라 분석되었다.
본 발명의 장면감지 시스템의 간단한 시험결과는 다음의 표 1에 나타낸다. 임계값은 T1=0.3, T2=0.85로 선택되었고, 블록크기는 m=16, n=32이다. 특별한 비디오 시퀀스는 제1컬럼에서 식별된다. 포함된 프레임의 시퀀스는 제2컬럼에서 표시된다. 예컨대, [0:50]은 프레임 0에서 50이 장면변화에 대해 분석된 것을 표시한다. 제3컬럼은 장면변화가 물론 프레임에서 검출되는 지의 여부를 표시한다. 예컨대, 제3프레임에서의 장면변화는 제2 및 제3프레임간의 장면변화가 검출되는 것을 의미한다. 제4컬럼은 적용이 가능하면 본래의 비디오 시퀀스에서의 부가적 정보를 제공한다.
이하여백.
(표 1)
시퀀스 프레임 시퀀스변화 코멘트
축구 [0:50] 없음 빠른 동작
자동차 카렌더 [0:44] 없음
거리 오르간 [0:50] 없음
침묵 [0:50] 없음 동작에서 동작이 없음
정원 [0:30] 없음 카메라 페닝(camera panning)
펀패어 [0:50] 없음 빠른 동작
탁구 [90:100] 97번째
파괴 [0:40] 25번째, 26번째 밝은 빛
2가지 시퀀스의 조합 있음 모든 기간에 장면변화가 검출
더욱이, 장면변화가 검출된 상기 비디오 시퀀스에서의 프레임에 대해, 코딩효과는 MPEG-2 WG-11 프로그램을 이용해서 시험되었다. 코딩효과는 주어진 이미지의 화질을 달성하는 코딩방법으로 생성된 비트의 수를 결정함으로써 측정된다. 특히, 콘트라스트 화질레벨에 대해 극소수의 코딩비트가 높은 코딩효과를 표시하는 것이다. 본 발명에 따라 검출된 장면변화를 갖춘 프레임이 P-화상 형태로서 코드되면, 매크로블록의 46% 이상이 I-화상으로 코드된다. 이렇게, 본 발명의 장면검출시스템은 예측코딩을 이용해서 효과적으로 크드하기 어려운 프레임이 성공적으로 위치되기 때문에 바람직하게 동작함을 알았다. 유리하게, 상기 프레임은 엔코더의 비율제어엔진이 I-화상에 대한 엔코더의 더 많은 비트를 할당하기 때문에 I-화상으로 코드될 수 있고, 그로 인해 이미지의 질이 역시 개선된다.
일반적으로, 테스트 모델 5 표준을 이용하는 MPEG-2 엔코더와 같은 정형적인 엔코더에서는 P-화상 또는 B-화상의 각 매크로블록에 대해 매크로블록 코딩형태를 선택하기 위한 처리가 있다. 이러한 프로세스는 매크로블록이 더 나은 화질을 제공하고, 더 적은 데이터비트를 이용하는 코딩형태에 근거해서 내장-코드블록(i-코드; intra-coded block) 또는 비장장 코드-블록(P- 또는 B-코드; non- intra-coded block)으로 코드되는 지의 여부를 결정할 것이다. P-화상 또는 B-화상에 대해, 예측이 효과적이면, 화상에서 매크로블록의 작은 비율(예컨대, 5% 이하)만이 I-코드화될 것이다. 이것은 일시적 압축이 아니기 때문에, 데이터비트의 상대적으로 큰수를 차지하는 I-크드블록으로서 기술된다.
화상에서 I-코드 매크로블록의 비율이 예컨대 30 내지 40%보다 더 크면, 화질이 나빠진다. 이 경우에 있어서, 예측코드는 화상변화가 기대될 만한 화상에 대해 불충분한 것이다. 이렇게, 일반적으로 화상변화가 나타날 때 새로운 화상의 제1프레임이 P-화상으로 코드되지 않는 것이 바람직하다. 본 발명은 여러 가지 특정 실시예의 접속으로 기술되었지만, 본 발명의 청구범위로부터 나타난 본 발명의 요지를 벋어나지 않는 범위에서 다양하게 적용 및 변경할 수 있는 것이다. 예컨대, 그로부터의 다양한 임계레벨은 장면 또는 비디오 시퀀스가 분석됨에 따라 조정될 수 있다. 그것은, 엑션영화와 같은 어떤 형태의 비디오 시퀀스는 장면변화의 능동성이 더욱 빈번하고, 분명한 것으로 특징지을 수 있다. 더욱이, 특정 조명조건은 예컨대 공포영화와 같은 특정 비디오 시퀀스와 관련될 수 있는 데, 여기서 조명레벨은 시퀀스에 걸쳐 상대적으로 낮을 수 있다. 이 경우에 있어서, 장면변화검출 임계값은 그에 따라 조정될 수 있다.
더욱이, 장면변화를 결정하는 비디오화상의 일부, 또는 다른 임계값을 이용해서 분석되는 다른 부분만을 분석하는 것이 바람직할 수 있다. 예컨대, 화상의 저부에서 상대적으로 어두운 대지와, 화상의 상부에서 상대적으로 밝은 하늘을 가진 풍경의 비디오 시퀀스에 있어서, 더욱 민감한 장면변화 임계값이 화상의 저부에대해 이용될 수 있다. 유사하게, 다른 크기의 블록이 화상의 다른 영역에 이용될 수 있다. 예컨대, 동작이 화상의 중앙쪽으로 더욱 퍼진 다음 모서리쪽으로 퍼질 때, 더 큰 블록크기가 화상의 중앙에 이용될 수 있는 것이다.
이상 설명한 바와 같이, 본 발명에 의하면, 비디오화상의 시퀀스에서 이전의 화상과 현재의 화상간의 화면변화를 효과적으로 검출할 수 있게 된다.

Claims (20)

  1. 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법에 있어서,
    상기 이전 및 현재의 비디오화상의 블록쌍의 평균 조도값을 결정하는 단계와;
    상기 평균 조도값들간의 차를 이용해서 점진적 시각감지값을 결정하는 단계를 구비하여 구성되고,
    상기 점진적 시각감지값은 블록 콘트라스트 임계레벨을 초과해서, 장면변화가 표시되는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  2. 제1항에 있어서, 상기 블록 콘트라스트 임계레벨은 약 15 내지 25번째의 웨어 플렉션 콘트라스인 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  3. 제1항에 있어서, 상기 블록쌍의 상기 블록이 상기 이전 및 현재의 화상에서의 동일한 관련위치에 각각 위치되는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  4. 제1항에 있어서, 상기 현재 및 이전의 화상블록의 상기 평균 조도값의 최소값을 결정하는 단계를 더 구비하여 구성되고,
    상기 최소값이 어두운 장면 임계값을 초과하면, 상기 점진적 시각감지값은 평균조도값들간의 상기 차의 (a)절대값과, (b)상기 최소 평균조도값들간의 비율을 이용해서 결정되고,
    다른 경우에서, 상기 점진적 시각감지값은 상기 차의 (a)절대값과, 상기 (b)어두운 장면 임계치의 비율을 이용해서 결정되는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  5. 제4항에 있어서, 상기 어두운 장면 임계값은 최대 그레이레벨의 약 10%인 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  6. 제1항에 있어서, 평균 조도값들간의 차는 상기 이전 및 현재의 비디오화상의 복수의 블록쌍에 대해 결정되고; 상기 점진적 시각감지값은 상기 차를 이용해서 각 상기 블록쌍에 대해 결정되며,
    상기 점진적 시각감지값이 상기 현재 및 이전의 비디오화상에서의 블록쌍들의 임계비율에 대해 블록 콘트라스트 임계레벨을 초과하면, 장면변화가 표시되는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  7. 제6항에 있어서, 상기 임계비율은 약 80% 내지 약90%인 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  8. 제1항에 있어서, 상기 블록쌍의 상기 블록들간의 상대적 동작량을 결정하는 단계와;
    상기 상대적 동작량에 근거해서 상기 블록의 크기를 조정하는 단계를 더 구비하여 구성된 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  9. 제8항에 있어서, 상기 블록의 크기는 상대적 동작증가량으로 증가되는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  10. 제8항에 있어서, 수평 모션백터의 절대값과, 수직 모션백터의 절대값의 합을 결정하는 단계와;
    상기 합이 모션 임계값을 초과하는 것을 결정하는 단계를 더 구비하여 구성되고,
    상기 수평 및 수직 모션백터는 상기 이전의 화상블록의 비디오화상에 관한 상기 현재의 화상블록의 비디오화상의 각 수평 및 수직백터를 표시하는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  11. 제10항에 있어서, 상기 동작 임계값은 상기 현재의 화상의 화상형태에 따라 조정되는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 방법.
  12. 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 장치에 있어서,
    상기 이전 및 현재의 비디오화상의 블록쌍의 평균 조도값을 결정하는 수단과;
    상기 평균 조도값들간의 차를 이용해서 점진적 시각감지값을 결정하는 수단을 구비하여 구성되고,
    상기 점진적 시각감지값은 블록 콘트라스트 임계레벨을 초과해서, 장면변화가 표시되는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 장치.
  13. 제12항에 있어서, 상기 블록 콘트라스트 임계레벨은 약 15 내지 25번째의 웨어 플렉션 콘트라스인 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 장치.
  14. 제12항에 있어서, 상기 현재 및 이전의 화상블록의 상기 평균 조도값의 최소값을 결정하는 수단을 더 구비하여 구성되고,
    상기 최소값이 어두운 장면 임계값을 초과하면, 상기 점진적 시각감지값은 평균조도값들간의 상기 차의 (a)절대값과, (b)상기 최소 평균조도값들간의 비율을 이용해서 결정되고,
    다른 경우에서, 상기 점진적 시각감지값은 상기 차의 (a)절대값과, 상기 (b)어두운 장면 임계치의 비율을 이용해서 결정되는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 장치.
  15. 제12항에 있어서, 상기 이전 및 현재의 비디오화상의 복수의 블록쌍에 대한 평균 조도값간의 상기 차를 결정하는 수단과; 상기 차를 이용해서 각각의 상기 블록쌍에 대한 점진적 시작감지값을 결정하는 수단을 더 구비하여 구성되고,
    상기 점진적 시각감지값이 상기 현재 및 이전의 비디오화상에서의 블록쌍들의 임계비율에 대해 블록 콘트라스트 임계레벨을 초과하면, 장면변화가 표시되는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 장치.
  16. 제15항에 있어서, 상기 임계치 비율이 약 80% 내지 약 90%인 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 장치.
  17. 제12항에 있어서, 상기 블록쌍의 상기 블록들간의 상대적 동작량을 결정하는 단계와;
    상기 상대적 동작량에 근거해서 상기 블록의 크기를 조정하는 단계를 더 구비하여 구성된 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 장치.
  18. 제17항에 있어서, 상기 상대적 동작량이 증가하는 만큼 상기 블록들의 크기를 조정하기 위한 수단을 구비하는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 장치.
  19. 제17항에 있어서, 상대적 동작량을 결정하기 위한 상기 수단은,
    수평 동작백터의 절대값과 수직 동작백터의 절대값의 합을 결정하기 위한 수단과;
    상기 합이 동작 임계값을 초과하는 지를 결정하는 수단을 구비하여 구성되고,
    상기 수평 및 수직 모션백터는 상기 이전의 화상블록의 화상이미지에 관한 상기 현재의 화상블록의 비디오화상의 각 수평 및 수직동작을 표시하는 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 장치.
  20. 제19항에 있어서, 상기 현재의 화상의 화상형태에 따라 상기 모션 임계값을 조정하기 위한 수단을 더 구비하여 구성된 것을 특징으로 하는 이전의 비디오화상과 현재의 비디오화상간의 장면변화를 검출하기 위한 장치.
KR1019970049350A 1996-09-27 1997-09-27 디지털 비디오에 대한 장면변화 검출기 KR19980025070A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US8/722468 1996-09-27
US08/722,468 US5751378A (en) 1996-09-27 1996-09-27 Scene change detector for digital video

Publications (1)

Publication Number Publication Date
KR19980025070A true KR19980025070A (ko) 1998-07-06

Family

ID=24901966

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970049350A KR19980025070A (ko) 1996-09-27 1997-09-27 디지털 비디오에 대한 장면변화 검출기

Country Status (9)

Country Link
US (1) US5751378A (ko)
EP (1) EP0833503A3 (ko)
JP (1) JPH10178613A (ko)
KR (1) KR19980025070A (ko)
CN (1) CN1099801C (ko)
CA (1) CA2216077C (ko)
HK (1) HK1010299A1 (ko)
NO (1) NO974432L (ko)
TW (1) TW361035B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011022273A2 (en) * 2009-08-18 2011-02-24 Behavioral Recognition Systems, Inc. Field-of-view change detection

Families Citing this family (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122322A (en) * 1996-11-19 2000-09-19 Telefonaktiebolaget Lm Ericsson Subliminal message protection
FR2757296B1 (fr) * 1996-12-13 2001-10-12 Sgs Thomson Microelectronics Procede et dispositif d'estimation de mouvement de portions d'images pour circuit de compression d'images mobiles
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6496228B1 (en) * 1997-06-02 2002-12-17 Koninklijke Philips Electronics N.V. Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds
US6167155A (en) * 1997-07-28 2000-12-26 Physical Optics Corporation Method of isomorphic singular manifold projection and still/video imagery compression
US5990980A (en) * 1997-12-23 1999-11-23 Sarnoff Corporation Detection of transitions in video sequences
US6937651B1 (en) * 1998-06-29 2005-08-30 Texas Instruments Incorporated Method and apparatus for compressing image information
US6034733A (en) * 1998-07-29 2000-03-07 S3 Incorporated Timing and control for deinterlacing and enhancement of non-deterministically arriving interlaced video data
US6731684B1 (en) 1998-09-29 2004-05-04 General Instrument Corporation Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder
US6606411B1 (en) * 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6351556B1 (en) 1998-11-20 2002-02-26 Eastman Kodak Company Method for automatically comparing content of images for classification into events
GB9928022D0 (en) * 1999-11-26 2000-01-26 British Telecomm Video coding and decording
US6766098B1 (en) 1999-12-30 2004-07-20 Koninklijke Philip Electronics N.V. Method and apparatus for detecting fast motion scenes
US7334191B1 (en) 2000-05-09 2008-02-19 International Business Machines Corporation Segmentation and detection of representative frames in video sequences
US6760536B1 (en) 2000-05-16 2004-07-06 International Business Machines Corporation Fast video playback with automatic content based variable speed
US6711279B1 (en) 2000-11-17 2004-03-23 Honeywell International Inc. Object detection
US6996782B2 (en) * 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
US8028249B2 (en) * 2001-05-23 2011-09-27 Eastman Kodak Company Method and system for browsing large digital multimedia object collections
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US6804301B2 (en) 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
CN100359923C (zh) 2001-09-07 2008-01-02 英特图形软件技术公司 使用颜色匹配的图像稳定化
US6996183B2 (en) * 2001-09-26 2006-02-07 Thomson Licensing Scene cut detection in a video bitstream
KR100846770B1 (ko) * 2002-03-05 2008-07-16 삼성전자주식회사 동영상 부호화 방법 및 이에 적합한 장치
US7233696B2 (en) * 2002-07-12 2007-06-19 Hill Richard K Apparatus and method for characterizing digital images using a two axis image sorting technique
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US7274741B2 (en) * 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US20040088723A1 (en) * 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary
US7127120B2 (en) * 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
US8549574B2 (en) 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8526490B2 (en) 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US8949922B2 (en) * 2002-12-10 2015-02-03 Ol2, Inc. System for collaborative conferencing using streaming interactive video
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
ATE426301T1 (de) * 2003-01-23 2009-04-15 Intergraph Software Tech Co Videoinhaltparser mit szenenanderungsdetektor
US7164798B2 (en) * 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
GB2398691B (en) * 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
US6865297B2 (en) * 2003-04-15 2005-03-08 Eastman Kodak Company Method for automatically classifying images into events in a multimedia authoring application
US7298895B2 (en) * 2003-04-15 2007-11-20 Eastman Kodak Company Method for automatically classifying images into events
US7400761B2 (en) * 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7471827B2 (en) * 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
JP4407249B2 (ja) * 2003-11-18 2010-02-03 ソニー株式会社 データ処理装置およびその方法と符号化装置、その方法及びプログラム
US20050123886A1 (en) * 2003-11-26 2005-06-09 Xian-Sheng Hua Systems and methods for personalized karaoke
US9053754B2 (en) * 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
FI117845B (fi) * 2004-08-12 2007-03-15 Gurulogic Microsystems Oy Videokuvan prosessointi
KR100694060B1 (ko) * 2004-10-12 2007-03-12 삼성전자주식회사 오디오 비디오 동기화 장치 및 그 방법
CN100391232C (zh) * 2005-01-07 2008-05-28 智辉研发股份有限公司 数字影像闪光场景检测与消除方法
US7548936B2 (en) 2005-01-12 2009-06-16 Microsoft Corporation Systems and methods to present web image search results for effective image browsing
US7532256B2 (en) * 2005-01-25 2009-05-12 Teresis Media Management Methods and apparatus for detecting scenes in a video medium
JP4432933B2 (ja) * 2005-07-08 2010-03-17 セイコーエプソン株式会社 画像表示装置および画像表示方法
JP4687526B2 (ja) * 2005-07-27 2011-05-25 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
US20070112811A1 (en) * 2005-10-20 2007-05-17 Microsoft Corporation Architecture for scalable video coding applications
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US7599918B2 (en) 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
US8078618B2 (en) 2006-01-30 2011-12-13 Eastman Kodak Company Automatic multimode system for organizing and retrieving content data files
JP2007241479A (ja) * 2006-03-06 2007-09-20 Toshiba Corp 変動領域検出装置及びその方法
JP4714647B2 (ja) * 2006-07-31 2011-06-29 日本放送協会 カット点検出装置及びカット点検出プログラム
JP5099371B2 (ja) * 2007-01-31 2012-12-19 日本電気株式会社 画質評価方法、画質評価装置および画質評価プログラム
MX2009008376A (es) 2007-02-08 2009-12-14 Behavioral Recognition Systems Sistema de reconocimiento conductual.
US8189905B2 (en) 2007-07-11 2012-05-29 Behavioral Recognition Systems, Inc. Cognitive model for a machine-learning engine in a video analysis system
US8175333B2 (en) * 2007-09-27 2012-05-08 Behavioral Recognition Systems, Inc. Estimator identifier component for behavioral recognition system
US8200011B2 (en) * 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
US8300924B2 (en) * 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US20090268097A1 (en) * 2008-04-28 2009-10-29 Siou-Shen Lin Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
US20090304293A1 (en) * 2008-06-08 2009-12-10 Te-Hao Chang Motion estimation method and related apparatus for efficiently selecting motion vector
US9633275B2 (en) 2008-09-11 2017-04-25 Wesley Kenneth Cobb Pixel-level based micro-feature extraction
US8275046B2 (en) * 2008-09-19 2012-09-25 Texas Instruments Incorporated Fast macroblock structure decision using SAD discrepancy and its prediction mode
US9373055B2 (en) * 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
US8416296B2 (en) * 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system
US8340352B2 (en) * 2009-08-18 2012-12-25 Behavioral Recognition Systems, Inc. Inter-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8379085B2 (en) * 2009-08-18 2013-02-19 Behavioral Recognition Systems, Inc. Intra-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8625884B2 (en) * 2009-08-18 2014-01-07 Behavioral Recognition Systems, Inc. Visualizing and updating learned event maps in surveillance systems
US8280153B2 (en) * 2009-08-18 2012-10-02 Behavioral Recognition Systems Visualizing and updating learned trajectories in video surveillance systems
US8493409B2 (en) * 2009-08-18 2013-07-23 Behavioral Recognition Systems, Inc. Visualizing and updating sequences and segments in a video surveillance system
US8358834B2 (en) * 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US8295591B2 (en) * 2009-08-18 2012-10-23 Behavioral Recognition Systems, Inc. Adaptive voting experts for incremental segmentation of sequences with prediction in a video surveillance system
US9805271B2 (en) 2009-08-18 2017-10-31 Omni Ai, Inc. Scene preset identification using quadtree decomposition analysis
US8786702B2 (en) 2009-08-31 2014-07-22 Behavioral Recognition Systems, Inc. Visualizing and updating long-term memory percepts in a video surveillance system
US8797405B2 (en) * 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
US8270732B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Clustering nodes in a self-organizing map using an adaptive resonance theory network
US8167430B2 (en) * 2009-08-31 2012-05-01 Behavioral Recognition Systems, Inc. Unsupervised learning of temporal anomalies for a video surveillance system
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8218819B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object detection in a video surveillance system
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US8345750B2 (en) * 2009-09-02 2013-01-01 Sony Computer Entertainment Inc. Scene change detection
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US8180105B2 (en) * 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
JP5625543B2 (ja) * 2010-06-28 2014-11-19 ソニー株式会社 符号化装置、電子機器、撮像装置、および撮像システム
CN102223544B (zh) * 2011-06-02 2013-02-06 福州瑞芯微电子有限公司 一种h264视频码流检测到错误后处理错误的方法
US8744186B1 (en) * 2011-09-30 2014-06-03 Tribune Broadcasting Company, Llc Systems and methods for identifying a scene-change/non-scene-change transition between frames
EP2826029A4 (en) 2012-03-15 2016-10-26 Behavioral Recognition Sys Inc ALERT DIRECTIVES AND TARGETED ALERT DIRECTIVES IN A BEHAVIORAL RECOGNITION SYSTEM
TW201345262A (zh) * 2012-04-20 2013-11-01 Novatek Microelectronics Corp 影像處理電路及影像處理方法
CN103379303A (zh) * 2012-04-25 2013-10-30 联咏科技股份有限公司 影像处理电路及影像处理方法
US9317908B2 (en) 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
US9911043B2 (en) 2012-06-29 2018-03-06 Omni Ai, Inc. Anomalous object interaction detection and reporting
US9111353B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Adaptive illuminance filter in a video analysis system
US9113143B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Detecting and responding to an out-of-focus camera in a video analytics system
WO2014004901A1 (en) 2012-06-29 2014-01-03 Behavioral Recognition Systems, Inc. Unsupervised learning of feature anomalies for a video surveillance system
US9723271B2 (en) 2012-06-29 2017-08-01 Omni Ai, Inc. Anomalous stationary object detection and reporting
US8995823B2 (en) 2012-07-17 2015-03-31 HighlightCam, Inc. Method and system for content relevance score determination
BR112015003444A2 (pt) 2012-08-20 2017-07-04 Behavioral Recognition Sys Inc método e sistema para detectar óleo em superfície de mar
US9306989B1 (en) 2012-10-16 2016-04-05 Google Inc. Linking social media and broadcast media
BR112015010384A2 (pt) 2012-11-12 2017-07-11 Behavioral Recognition Sys Inc técnicas de estabilização de imagem para sistemas de vigilância por vídeo
CN102946505B (zh) * 2012-11-22 2015-02-18 四川虹微技术有限公司 一种基于图像分块统计的自适应运动检测方法
CN102968769B (zh) * 2012-11-27 2015-07-22 宁波盈芯信息科技有限公司 一种图像一致性增强装置
US20140176802A1 (en) * 2012-12-21 2014-06-26 Nvidia Corporation Detection and measurement of video scene transitions
EP3031004A4 (en) 2013-08-09 2016-08-24 Behavioral Recognition Sys Inc SECURITY OF COGNITIVE INFORMATION USING BEHAVIOR RECOGNITION SYSTEM
US9179184B1 (en) * 2014-06-20 2015-11-03 Google Inc. Methods, systems, and media for detecting a presentation of media content on a display device
KR101480750B1 (ko) * 2014-06-26 2015-01-12 (주)유디피 모션 검출 장치 및 방법
US9619513B2 (en) 2014-07-29 2017-04-11 International Business Machines Corporation Changed answer notification in a question and answer system
US9866734B2 (en) 2014-08-26 2018-01-09 Dolby Laboratories Licensing Corporation Scene-change detection using video stream pairs
US9349054B1 (en) * 2014-10-29 2016-05-24 Behavioral Recognition Systems, Inc. Foreground detector for video analytics system
US9460522B2 (en) 2014-10-29 2016-10-04 Behavioral Recognition Systems, Inc. Incremental update for background model thresholds
US9471844B2 (en) 2014-10-29 2016-10-18 Behavioral Recognition Systems, Inc. Dynamic absorption window for foreground background detector
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US10521672B2 (en) * 2014-12-31 2019-12-31 Opentv, Inc. Identifying and categorizing contextual data for media
CN104702964B (zh) * 2015-03-30 2018-05-15 北京布卡互动科技有限公司 一种图像处理方法及装置
US10169326B2 (en) 2015-05-22 2019-01-01 International Business Machines Corporation Cognitive reminder notification mechanisms for answers to questions
US9912736B2 (en) 2015-05-22 2018-03-06 International Business Machines Corporation Cognitive reminder notification based on personal user profile and activity information
US10152534B2 (en) 2015-07-02 2018-12-11 International Business Machines Corporation Monitoring a corpus for changes to previously provided answers to questions
US10769185B2 (en) 2015-10-16 2020-09-08 International Business Machines Corporation Answer change notifications based on changes to user profile information
EP3249603A1 (en) * 2016-05-25 2017-11-29 IMINT Image Intelligence AB Detection of motion in video from portable devices
CN109640166A (zh) * 2018-08-13 2019-04-16 张利军 基于动感程度的片尾曲选择方法
US10831989B2 (en) 2018-12-04 2020-11-10 International Business Machines Corporation Distributing updated communications to viewers of prior versions of the communications
CN109599068B (zh) * 2019-01-31 2021-03-02 京东方科技集团股份有限公司 一种vr设备及其控制方法
CN113873096A (zh) * 2020-06-30 2021-12-31 晶晨半导体(上海)股份有限公司 场景检测方法、芯片、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548995A (ja) * 1991-08-15 1993-02-26 Sony Corp デイジタル磁気記録装置
JPH05236458A (ja) * 1992-02-20 1993-09-10 Toshiba Corp 動画像処理装置
JPH06237414A (ja) * 1993-02-10 1994-08-23 Matsushita Electric Ind Co Ltd 動画像のカットチェンジ検出装置
JPH07236153A (ja) * 1994-02-22 1995-09-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像のカット点検出およびカット画面グループ検出装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4823184A (en) * 1984-04-09 1989-04-18 Corporate Communications Consultants, Inc. Color correction system and method with scene-change detection
JPH05252437A (ja) * 1991-07-24 1993-09-28 C S K Sogo Kenkyusho:Kk 画像処理方法および装置
JPH0549031A (ja) * 1991-08-15 1993-02-26 Pioneer Electron Corp 画像監視装置
US5245436A (en) * 1992-02-14 1993-09-14 Intel Corporation Method and apparatus for detecting fades in digital video sequences
JP2611607B2 (ja) * 1992-06-29 1997-05-21 日本ビクター株式会社 シーンチェンジ検出装置
JP2518503B2 (ja) * 1993-03-08 1996-07-24 日本電気株式会社 画面切り替え検出方法
US5589884A (en) * 1993-10-01 1996-12-31 Toko Kabushiki Kaisha Adaptive quantization controlled by scene change detection
JP3344601B2 (ja) * 1993-12-29 2002-11-11 ソニー株式会社 画像データ再生方法及びその装置、静止画検出装置及びその方法、シーンチエンジ検出装置及びその方法並びにフレームシンクロナイザ
US5617149A (en) * 1994-11-22 1997-04-01 Electronics And Telecommunications Research Institute Apparatus and method for detecting scene changes using the difference of mad between image frames
KR0178230B1 (ko) * 1995-08-08 1999-05-01 배순훈 특징점에 의한 움직임 추정을 이용한 영상 처리 장치
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548995A (ja) * 1991-08-15 1993-02-26 Sony Corp デイジタル磁気記録装置
JPH05236458A (ja) * 1992-02-20 1993-09-10 Toshiba Corp 動画像処理装置
JPH06237414A (ja) * 1993-02-10 1994-08-23 Matsushita Electric Ind Co Ltd 動画像のカットチェンジ検出装置
JPH07236153A (ja) * 1994-02-22 1995-09-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像のカット点検出およびカット画面グループ検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011022273A2 (en) * 2009-08-18 2011-02-24 Behavioral Recognition Systems, Inc. Field-of-view change detection
WO2011022273A3 (en) * 2009-08-18 2011-04-28 Behavioral Recognition Systems, Inc. Field-of-view change detection

Also Published As

Publication number Publication date
EP0833503A2 (en) 1998-04-01
CA2216077C (en) 2005-10-25
CN1180276A (zh) 1998-04-29
NO974432D0 (no) 1997-09-25
CN1099801C (zh) 2003-01-22
TW361035B (en) 1999-06-11
JPH10178613A (ja) 1998-06-30
CA2216077A1 (en) 1998-03-27
MX9707360A (es) 1998-06-30
HK1010299A1 (en) 1999-06-17
NO974432L (no) 1998-03-30
US5751378A (en) 1998-05-12
EP0833503A3 (en) 1999-07-14

Similar Documents

Publication Publication Date Title
KR19980025070A (ko) 디지털 비디오에 대한 장면변화 검출기
US5654759A (en) Methods and apparatus for reducing blockiness in decoded video
US6810144B2 (en) Methods of and system for detecting a cartoon in a video data stream
CN1147153C (zh) 对二进制形状信号的运动矢量进行编码的方法和装置
US9015742B2 (en) Digital video signature apparatus and methods for use with video program identification systems
US6959044B1 (en) Dynamic GOP system and method for digital video encoding
US7362804B2 (en) Graphical symbols for H.264 bitstream syntax elements
CA2244433C (en) Fade detector for digital video
JP3363039B2 (ja) 動画像内の移動物体検出装置
US8179961B2 (en) Method and apparatus for adapting a default encoding of a digital video signal during a scene change period
US6351493B1 (en) Coding an intra-frame upon detecting a scene change in a video sequence
EP0921497B1 (en) Interlaced binary shape coding apparatus
WO2015139187A1 (en) Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding
US20070092007A1 (en) Methods and systems for video data processing employing frame/field region predictions in motion estimation
US20090202163A1 (en) Determination of optimal frame types in video encoding
JP2002369209A (ja) Ｍｐｅｇ４標準を用いたビデオ符号化の方法及び装置
WO2005094083A1 (en) A video encoder and method of video encoding
Yoneyama et al. MPEG encoding algorithm with scene adaptive dynamic GOP structure
US20080247656A1 (en) Method and apparatus for compression of video signals containing fades and flashes
JP2001076166A (ja) アニメーション動画像の符号化方法
Fenimore et al. Test patterns and quality metrics for digital video compression
MXPA97007360A (en) Scene change detector for digi video
van der Schaar-Mitrea Compression of mixed video and graphics images for TV systems
JP4349542B2 (ja) 動画像内のテロップ領域検出装置
CN101742297B (zh) 一种基于视频运动特征的宏块自适应帧场编码方法及设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
SUBM Surrender of laid-open application requested