KR20080068716A - 비디오 스트리밍에서 샷 검출을 위한 방법 및 장치 - Google Patents
비디오 스트리밍에서 샷 검출을 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20080068716A KR20080068716A KR1020087011802A KR20087011802A KR20080068716A KR 20080068716 A KR20080068716 A KR 20080068716A KR 1020087011802 A KR1020087011802 A KR 1020087011802A KR 20087011802 A KR20087011802 A KR 20087011802A KR 20080068716 A KR20080068716 A KR 20080068716A
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- selected frame
- metric
- difference
- shot event
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 238000001514 detection method Methods 0.000 title description 25
- 238000012545 processing Methods 0.000 claims abstract description 50
- 230000007704 transition Effects 0.000 claims description 50
- 230000008859 change Effects 0.000 claims description 36
- 230000002457 bidirectional effect Effects 0.000 claims description 26
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 64
- 238000010586 diagram Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000005562 fading Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
본 발명은 멀티미디어 데이터를 처리하는 디바이스 및 방법을 포함한다. 그러한 방법은 복수의 비디오 프레임에서 선택된 프레임과 인접 프레임에 대한 차이를 나타내는 적어도 하나의 메트릭을 획득하는 단계, 적어도 하나의 메트릭에 기초하여 선택된 프레임에서 샷 이벤트를 결정하는 단계 및 샷 이벤트에 기초하여 선택된 프레임을 적응 인코딩하는 단계를 포함할 수 있고, 메트릭은 양방향 모션 정보 및 휘도 차이 정보를 포함한다. 멀티미디어 데이터를 처리하는 장치는 복수의 비디오 프레임 중 인접한 프레임들 간의 차이를 나타내는 메트릭을 획득하도록 구성된 모션 보상기, 상기 메트릭에 기초하여 복수의 비디오 프레임에서 샷 이벤트를 결정하도록 구성된 샷 분류기 및 샷 이벤트에 기초하여 복수의 프레임을 적응 인코딩하도록 구성된 인코더를 포함할 수 있고, 상기 메트릭은 양방향 모션 정보 및 휘도 정보를 포함한다.
멀티미디어 데이터, 프레임, 메트릭, 인코딩, 샷 검출
Description
본 특허 출원은, 본원의 양수인에게 양도되며 본원에서 명확히 참조로서 병합하고 있는, 2005 년 10 월 17 일 출원된 발명의 명칭이 "METHOD AND APPARATUS FOR SHOT DETECTION IN VIDEO STREAMING" 인 미국 가출원 제 60/727,644 호에 대한 우선권을 주장하고 있다.
배경
분야
본 발명은 일반적으로 멀티미디어 데이터 처리에 관한 것으로, 더욱 상세하게는, 샷 검출 처리에 기초하여 멀티미디어 데이터를 인코딩하는 것에 관한 것이다.
배경
샷 검출은, 장면 전환이 일어났음을 나타내는 데이터를 영상 그룹 (group of pictures; GOP) 내의 일 프레임이 표시할 때를 결정하는 것에 관한 것이다. 일반적으로, GOP 내에서, 프레임들은 임의의 2 개 또는 3 개 (또는 그 이상) 의 인접 프레임에서 그다지 크게 전환되지 않거나, 느리게 전환되거나, 또는 빨리 전환될 수도 있다. 물론, 이들 장면 전환 분류는 필요한 경우 특정 애플리케이션에 따라 더 많은 전환 레벨로 더 분류될 수 있다.
샷 또는 장면 전환을 검출하는 것은, 효율적인 비디오 인코딩에 있어서 중요하다. 통상, GOP 가 그다지 현저하게 전환되지 않는 경우에는, GOP 의 처음에 있는 I-프레임 (다수의 예측 프레임이 그 다음에 옴) 이 비디오를 충분히 인코딩할 수 있으므로, 비디오의 후속 디코딩 및 디스플레이가 시각적으로 허용 가능하게 된다. 그러나, 장면이 갑작스럽게 또는 느리게 전환되고 있을 때에는, 추가 I-프레임 및 더 적은 예측 인코딩 (P-프레임 및 B-프레임) 을 사용하여, 후속하여 디코딩된 시각적으로 허용 가능한 결과를 생성할 수도 있다. 샷 검출 및 샷 검출 결과를 사용한 대응 인코딩에서의 개선은 코딩 효율을 개선할 수 있으며, GOP 분할과 연관된 종래 기술의 다른 문제점을 해결할 수 있다.
개요
본원에서 설명되는 본 발명의 장치 및 방법의 각각은 몇몇 양태들을 갖지만, 그 양태들 중 단 하나의 양태도 그 바람직한 속성에 대해 단독으로 책임지지 않는다. 이하, 본 발명의 범위를 제한함 없이, 본 발명의 더욱 현저한 특징을 간략히 설명할 것이다. 본 설명 내용을 고려한 다음에, 특히 "상세한 설명" 으로 지칭되는 섹션을 읽은 다음에, 본 발명의 특징들이 어떻게 멀티미디어 데이터 처리 장치 및 방법에 대한 개선을 제공하는지를 이해할 것이다.
멀티미디어 데이터를 처리하는 일 방법에 따르면, 상기 방법은 복수의 비디오 프레임에서 선택된 프레임과 선택된 프레임에 시간적으로 인접한 프레임 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하는 단계로서, 상기 적어도 하나의 메트릭은 선택된 프레임 및 선택된 프레임에 시간적으로 인접한 프레임과 연관된 양방향 모션 정보와 휘도 차이 정보를 포함하는, 적어도 하나의 메트릭 획득 단계, 상기 적어도 하나의 메트릭에 기초하여 선택된 프레임과 연관된 샷 이벤트를 결정하는 단계, 및 샷 검출에 기초하여 선택된 프레임을 적응 인코딩하는 단계를 포함한다. 일 양태에서, 적어도 하나의 메트릭을 획득하는 단계는 적어도 하나의 메트릭을 계산하는 단계를 포함한다. 샷 이벤트가 선택된 프레임이 갑작스런 장면 전환인 것을 나타내는 경우에, 선택된 프레임은 I-프레임으로서 적응 인코딩될 수 있다. 샷 이벤트가 선택된 프레임이 느린 장면 전환을 포함한 복수의 프레임의 일부인 것을 나타내는 경우에, 선택된 프레임은 P-프레임 또는 B-프레임으로서 인코딩될 수 있다. 다른 양태에서, 샷 이벤트가 선택된 프레임이 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내는 경우에, 선택된 프레임은 특수 처리를 필요로 하는 것으로서 식별될 수 있다. 그러한 특수 처리의 예로는, 선택된 프레임을 비디오에서 제거하는 것, 및 선택된 프레임에 시간적으로 인접한 프레임을 복제하여 선택된 프레임을 복제된 프레임으로 대체하는 것이 있다. 몇몇 양태에서, 샷 이벤트는, 선택된 프레임이 갑작스런 장면 전환, 느린 장면 전환의 일부, 또는 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타낸다. 몇몇 양태에서, 선택된 프레임이 갑작스런 장면 전환, 느린 장면 전환의 일부, 또는 적어도 하나의 카메라 플래시라이트를 포함하는 것을 샷 이벤트가 나타내는 경우에, 적응 인코딩 단계는, 선택된 프레임을 I-프레임으로서 인코딩하는 단계를 포함한다.
다른 양태에서, 멀티미디어 데이터를 처리하는 장치는, 복수의 비디오 프레 임에서 선택된 프레임과 선택된 프레임에 시간적으로 인접한 프레임 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하도록 구성된 모션 보상기로서, 상기 적어도 하나의 메트릭은 양방향 모션 정보 및 휘도 정보를 포함하는, 모션 보상기, 상기 적어도 하나의 메트릭에 기초하여 선택된 메트릭과 연관된 샷 이벤트를 결정하도록 구성된 샷 분류기, 및 샷 이벤트에 기초하여 선택된 프레임을 적응 인코딩하도록 구성된 인코더를 포함한다.
다른 양태에서, 멀티미디어 데이터를 처리하는 장치는 복수의 비디오 프레임에서 선택된 프레임과 선택된 프레임에 시간적으로 인접한 프레임 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하는 수단으로서, 상기 적어도 하나의 메트릭은 선택된 프레임과 선택된 프레임에 시간적으로 인접한 프레임 간의 양방향 모션 정보와 휘도 차이 정보를 포함하는, 적어도 하나의 메트릭 획득 수단, 상기 적어도 하나의 메트릭에 기초하여 선택된 프레임과 연관된 샷 이벤트를 결정하는 수단, 및 샷 이벤트에 기초하여 선택된 프레임을 적응 인코딩하는 수단을 포함한다. 샷 이벤트가, 선택된 프레임이 갑작스런 장면 전환인 것을 나타내는 경우에, 적응 인코딩 수단은 선택된 프레임을 I-프레임으로서 인코딩할 수 있다. 다른 양태에서, 샷 이벤트는, 선택된 프레임이 느린 장면 전환을 포함한 복수의 프레임의 일부인 것을 나타내고, 적응 인코딩 수단은 선택된 프레임을 P-프레임 또는 B-프레임으로서 인코딩하는 수단을 포함할 수 있다. 다른 양태에서, 샷 이벤트는, 선택된 프레임이 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내고, 적응 인코딩 수단은 선택된 프레임을 특수 처리를 필요로 하는 것으로서 식별하는 인코딩 수단을 포함할 수 있다.
다른 양태에서, 머신 판독가능 매체는 멀티미디어 데이터를 처리하는 명령들을 포함하고, 명령들은, 실행 시, 머신으로 하여금, 복수의 비디오 프레임에서 선택된 프레임과 선택된 프레임에 시간적으로 인접한 프레임 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하게 하고, 상기 적어도 하나의 메트릭에 기초하여 선택된 프레임과 연관된 샷 이벤트를 결정하게 하고, 또한 샷 이벤트에 기초하여 선택된 프레임을 적응 인코딩하게 하고, 상기 적어도 하나의 메트릭은 선택된 프레임 및 선택된 프레임에 시간적으로 인접한 프레임과 연관된 양방향 모션 정보와 휘도 차이 정보를 포함한다.
다른 양태에서, 멀티미디어 데이터를 처리하는 프로세서에 관한 것으로, 프로세서는, 복수의 비디오 프레임에서 선택된 프레임과 선택된 프레임에 시간적으로 인접한 프레임 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하고, 상기 적어도 하나의 메트릭에 기초하여 선택된 프레임과 연관된 샷 이벤트를 결정하며, 또한 샷 이벤트에 기초하여 선택된 프레임을 적응 인코딩하는 구성을 포함하고, 상기 적어도 하나의 메트릭은 선택된 프레임 및 선택된 프레임에 시간적으로 인접한 프레임과 연관된 양방향 모션 정보와 휘도 차이 정보를 포함한다.
도면의 간단한 설명
도 1 은 스트리밍 멀티미디어 데이터를 전달하는 통신 시스템의 블록도이다.
도 2 는 멀티미디어 데이터를 인코딩하는 디지털 송신 설비의 일정 컴포넌트의 블록도이다.
도 3a 는 샷 검출 및 검출된 샷에 기초한 인코딩을 위한 처리 디바이스의 블록도이다.
도 3b 는 샷 검출 및 검출된 샷에 기초한 인코딩을 위한 처리 디바이스의 블록도이다.
도 4 는 샷 검출에 기초하여 멀티미디어 데이터를 인코딩하는 방법을 도시한 흐름도이다.
도 5 는 복수의 비디오 프레임의 인접 프레임 간의 차이 메트릭을 획득하는 방법을 도시한 흐름도이다.
도 6 은 결정된 메트릭에 기초하여 샷 전환을 결정하는 방법을 도시한 흐름도이다.
도 7 은 샷 전환에 기초하여 비디오 스트림을 인코딩하는 방법을 도시한 흐름도이다.
도 8 은 갑작스런 장면 전환을 결정하는 방법을 도시한 흐름도이다.
도 9 는 느린 장면 전환을 결정하는 방법을 도시한 흐름도이다.
도 10 은 카메라 플래시를 결정하는 방법을 도시한 흐름도이다.
도 11 은 현재 프레임 C 의 화소를 이전 프레임 P 및 장래 (또는 다음) 프레임 N 의 화소와 정합시키는 일 예를 도시한 도면이다.
도 12 는 휘도 히스토그램 차이 값 lambda 와 lambda*(2*lambda + 1) 의 관계를 도시한 그래프이다.
도 13 은 모션 벡터 결정 프로세스와 예측 프레임 인코딩의 일 예를 도시한 다.
상세한 설명
다음 설명에서는, 본 발명의 양태의 완전한 이해를 제공하도록 특정 상세가 주어진다. 그러나, 당업자라면, 이들 특정 상세 없이도 본 발명의 양태를 실시할 수도 있음을 알 수 있다. 예를 들어, 본 발명의 양태를 불필요하게 상세히 설명하여 불명확하게 하지 않도록, 통신 시스템 및 비디오 처리 디바이스는 블록도로 도시될 수도 있다.
본원에는 기존 인코딩 시스템의 성능을 개선하는 샷 검출과, 인코딩 시스템 및 방법을 위한 일정 창작 양태가 설명된다. 그러한 양태는, 갑작스런 장면 전환이 일어났는지, 장면이 느리게 전환되고 있는지, 또는 비디오 인코딩을 특히 복잡하게 할 수 있는 장면 내의 카메라 플래시라이트가 존재하는지 여부를 결정하도록, 비디오 데이터의 인접 프레임 간의 통계치 비교를 비롯한 통계치 (또는 메트릭) 를 이용한다. 통계치는 전처리기로부터 획득된 후에, 인코딩 디바이스에 송신될 수 있고, 또는 통계치는 (예를 들어, 모션 보상을 수행하도록 구성된 프로세서에 의해) 인코딩 디바이스에서 생성될 수 있다. 그 결과로서 생성된 통계치는 장면 전환 검출 결정을 돕는다. 트랜스코딩을 행하는 시스템에서는, 종종 적당한 전처리기 또는 구성 가능 프로세서가 존재한다. 전처리기가 모션 보상 이용 디인터레이싱을 수행하는 경우에는, 모션 보상 통계치를 이용할 수 있고, 즉시 이용할 수 있다.
본원에 설명된 것과 같은 샷 검출기는 단지 이전 프레임, 현재 프레임 및 다 음 프레임으로부터의 통계치만을 이용하므로, 그 알고리즘이 매우 낮은 지연 시간을 가질 수 있다. 샷 검출기는, 갑작스런 장면 전환, 크로스-페이딩과 다른 느린 장면 전환, 및 카메라 플래시라이트를 비롯한, 몇몇 상이한 타입의 샷 이벤트를 구별한다. 인코더에서 상이한 전략을 사용하여 상이한 타입의 샷 이벤트를 결정함으로써, 인코딩 효율 및 시각 품질이 향상된다.
본원에서, "하나의 양태", "일 양태", "몇몇 양태' 또는 "일정 양태" 에 대한 참조는, 본 발명의 양태와 관련하여 설명된 특정 특징, 구조, 또는 특성 중 하나 이상이 샷 검출 및 인코딩 시스템의 적어도 일 양태에 포함될 수 있다는 것을 의미한다. 본 명세서의 여러 위치에서 그러한 어구의 등장은 반드시 모든 동일한 양태를 참조하는 것도 아니고, 다른 양태와 서로 배타적인 별개의 또는 대안적인 양태를 참조하는 것도 아니다. 또한, 몇몇 양태에 의해서는 표현되지만 다른 양태에 의해서는 표현되지 않을 수도 있는 여러 특징이 설명된다. 이와 유사하게, 몇몇 양태에 대한 요건이 되지만 다른 양태에 대한 요건은 되지 않을 수도 있는 여러 요건이 설명된다.
본원에서 사용되는 것과 같은 "멀티미디어 데이터" 또는 "멀티미디어" 는 비디오 데이터 (오디오 데이터를 포함할 수 있음), 오디오 데이터, 또는 비디오 데이터와 오디오 데이터 모두를 포함한 광의의 용어이다. 본원에서 사용되는 것과 같은 "비디오 데이터" 또는 "비디오" 는 광의의 용어로서, 텍스트, 이미지 및/또는 오디오 데이터를 포함한 일 이미지 또는 하나 이상의 이미지 시리즈 또는 시퀀스를 지칭하고, 달리 지정되지 않는 한, 멀티미디어 데이터를 지칭하는데 사용될 수 있 고, 또는 교환 가능하게 사용될 수도 있다.
도 1 은 스트리밍 멀티미디어를 전달하는 통신 시스템 (10) 의 블록도이다. 도 1 에 도시된 바와 같이, 그러한 시스템은 디지털 압축된 비디오를 다수의 단말기에 송신하는데 적용된다. 디지털 비디오 소스는, 예를 들어, 디지털화되는 아날로그 소스 또는 위성 피드 (satellite feed) 또는 디지털 케이블일 수 있다. 비디오 소스는, 하나 이상의 단말기 (6) 로 네트워크 (4) 를 통해 송신하기 위해 캐리어를 통해 인코딩 및 변조를 행하는 송신 설비 (2) 에서 처리된다. 단말기 (6) 는 수신된 비디오를 디코딩하고, 통상, 그 비디오의 적어도 일부를 표시한다. 네트워크 (4) 는 인코딩된 데이터를 송신하는데 적합한 임의 타입의 통신 네트워크, 유선 또는 무선 네트워크를 지칭한다. 예를 들어, 네트워크 (4) 는 셀 전화 네트워크, 유선 또는 무선 LAN (local area network) 또는 WAN (wide area network), 또는 인터넷일 수 있다. 단말기 (6) 는, 셀 전화기, PDA, 가정용 또는 상업용 비디오 디스플레이 장비, 컴퓨터 (휴대용, 랩톱, 핸드헬드, PC, 및 대형 서버 기반 컴퓨터 시스템) 및 멀티미디어 데이터를 사용할 수 있는 개인용 엔터테인먼트 디바이스를 비롯한, 데이터를 수신 및 디스플레이할 수 있는 임의 타입의 통신 디바이스일 수 있지만, 이에 한정되는 것은 아니다.
도 2 는 몇몇 양태에 따른, 멀티미디어 데이터를 인코딩하는 디지털 송신 설비의 일정 컴포넌트의 블록도이다. 디지털 송신 설비 (2) 내의 수신기 (21) 는 디지털 비디오 소스를 수신하고, 그 비디오를 처리 및 인코딩하기 위한 인코딩 컴포넌트 (또는 장치) (22) 에 그 비디오를 제공한다. 인코딩 컴포넌트 (22) 는 그 비디오를 처리하기 위한 모션 보상기 (23), 샷 분류기 (24) 및 인코더 (25) 를 포함한다.
모션 보상기 (23) 는 비디오 내의 프레임에 관한 양방향 모션 정보를 결정하도록 구성될 수 있다. 또한, 모션 보상기 (23) 는 하나 이상의 차이 메트릭, 예를 들어, SAD (sum of absolute differences) 또는 SSD (sum of squared differences) 를 결정하고, 하나 이상의 프레임에 대한 휘도 정보 (예를 들어, 매크로블록 (MB) 휘도 평균 또는 차이), 휘도 히스토그램 차이 및 프레임 차이 메트릭을 비롯한 다른 정보를 계산하도록 구성될 수 있고, 그 예들은 수학식 1 내지 수학식 3 을 참조하여 설명되어 있다. 샷 분류기는 모션 보상기에 의해 결정된 정보를 사용하여 비디오 내의 프레임을 "샷" 의 2 개 이상의 카테고리로 분류하도록 구성될 수 있다. 인코더는 샷 분류에 기초하여 복수의 프레임을 적응 인코딩하도록 구성된다. 모션 보상기, 샷 분류기 및 인코더는 수학식 1 내지 수학식 10 을 참조하여 아래에 설명된다.
인코딩 컴포넌트 (22), 그 컴포넌트들 및 그 안에 포함된 프로세스는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드 또는 그 임의의 조합에 의해 구현될 수 있다. 예를 들어, 모션 보상기 (23), 샷 분류기 (24) 및 인코더 (25) 는 자립형 컴포넌트일 수도 있고, 또는 다른 디바이스의 컴포넌트 내에 하드웨어, 펌웨어, 미들웨어로서 내장될 수도 있고, 또는 프로세서 상에서 실행되는 마이크로코드 또는 소프트웨어, 또는 그 조합으로 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드에 구현 시, 모션 보상, 샷 분류 및 인코딩 프로세 스를 수행하는 프로그램 코드 또는 코드 세그먼트는 저장 매체와 같은 머신 판독가능 매체에 저장될 수도 있다. 코드 세그먼트는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령, 데이터 구조 또는 프로그램 명령문의 임의의 조합을 표현할 수도 있다. 코드 세그먼트는 정보, 데이터, 인수 (argument), 파라미터 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 연결될 수도 있다.
도 3a 는 몇몇 양태에 따른, 샷 검출 및 검출된 샷에 기초한 인코딩을 위한 프로세서 (31) 를 포함한 멀티미디어 처리 디바이스 (30) 의 블록도이다. 또한, 몇몇 양태에서, 도 3 의 멀티미디어 처리 디바이스 (30) 는 도 2 의 인코딩 컴포넌트 (22) 일 수 있다. 디지털 비디오 소스는 멀티미디어 처리 디바이스 (30) 외부에 있는 소스에 의해 제공되어, 멀티미디어 처리 디바이스 (30) 내의 통신 모듈 (36) 로 전달될 수 있다. 멀티미디어 처리 디바이스 (30) 는 프로세서 (31) 와 통신하는 저장 매체 (35) 를 포함하고, 양쪽 모두는 통신 모듈 (36) 과 통신한다. 프로세서 (31) 는 모션 보상기 (32), 샷 분류기 및 인코더를 포함하여, 모션 정보를 생성하고, 비디오 데이터의 프레임 내의 샷을 분류하며, 비디오 데이터를 인코딩하도록 동작할 수 있다. 모션 보상기, 샷 분류기 및 인코더는 수학식 1 내지 수학식 10 을 참조하여 아래에 설명되는 정보를 결정하도록 비디오를 처리할 수 있다. 특히, 프로세서 (31) 는 복수의 비디오 프레임의 인접 프레임 간의 차이를 나타내는 메트릭 (그 메트릭은 양방향 모션 정보 및 휘도 정보를 포함함) 을 획득하고, 상기 메트릭에 기초하여 복수의 비디오 프레임에서의 샷 전 환을 결정하고, 또한 샷 전환에 기초하여 복수의 프레임을 적응 인코딩하는 구성을 가질 수 있다. 몇몇 양태에서, 메트릭은 프로세서 (31; 또한 이 프로세서 (31) 는 멀티미디어 처리 디바이스 (30) 외부에 존재할 수도 있음) 외부에 있는 디바이스 또는 프로세스에 의해 계산되어, 다른 디바이스 또는 메모리를 통해 직접 또는 간접적으로 프로세서 (31) 에 전달될 수 있다. 또한, 메트릭은 프로세서 (31), 예를 들어, 프로세서 (31) 의 모션 보상기 (32) 에 의해 계산될 수 있다.
멀티미디어 처리 디바이스 (30) 는, 추가 처리 및/또는 송신을 위해 다른 디바이스, 예를 들어, 단말기 (6; 도 1) 로 인코딩된 비디오를 제공할 수 있다. 몇몇 양태에서, 인코딩된 비디오는, 베이스 계층 및 인핸스먼트 계층을 포함할 수 있는 스케일러블 다계층 인코딩된 비디오일 수 있다. 스케일러블 계층 인코딩은, 본원의 양수인이 소유하고 있으며 본원에서 그 전체를 참조로서 병합하고 있는, 발명의 명칭이 "SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING" 인 동시 계속 중인 미국 특허 출원 제 11/373,604 호 (Attorney docket no. 050078) 에 더 설명되어 있다. 도 3b 는 샷 검출 및 검출된 샷에 기초한 인코딩을 위한 멀티미디어 처리 디바이스 (30) 의 다른 예시적인 양태의 블록도이다. 멀티미디어 처리 디바이스 (30) 는, 모듈 (37) 과 같은, 선택된 프레임과 선택된 프레임에 시간적으로 인접한 프레임 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하는 수단을 포함한다. 또한, 멀티미디어 처리 디바이스 (30) 는 적어도 하나의 메트릭에 기초하여 선택된 프레임에서 샷 이벤트를 결정하는 모듈 (38) 과 같은, 샷 이벤트 결정 수단을 포함하고, 그 메트릭은 모듈 (37) 에 의해 결정된다. 샷 이벤트를 결정하는 예시적인 프로세스는 아래의 수학식 4 내지 수학식 9 를 사용한다. 또한, 멀티미디어 처리 디바이스 (30) 는 모듈 (39) 과 같은 샷 이벤트에 기초하여 선택된 프레임을 적응 인코딩하는 수단을 포함한다. 일 양태에서, 샷 이벤트가 선택된 프레임이 갑작스런 장면 전환인 것을 나타내는 경우에, 모듈 (39) 은 선택된 프레임을 I-프레임으로서 적응 인코딩할 수 있다. 다른 양태에서, 샷 이벤트가 선택된 프레임이 느린 장면 전환을 포함한 복수의 프레임의 일부인 것을 나타내는 경우에, 모듈 (39) 은 선택된 프레임을 P-프레임 또는 B-프레임으로서 적응 인코딩할 수 있다. 다른 양태에서, 샷 이벤트가 선택된 프레임이 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내는 경우에, 모듈 (39) 은 선택된 프레임을 특수 처리를 필요로 하는 것으로서 적응 식별할 수 있고, 그 특수 처리는, 선택된 프레임을 드롭하는 것, 선택된 프레임에 인접한 프레임을 복제하여 선택된 프레임에 대해 복제된 프레임을 사용하는 것, 선택된 프레임에 인접한 프레임을 보간하여 새로운 프레임을 형성함으로써 선택된 프레임을 대체하는 것, 선택된 프레임에 대한 에러 은폐 (error concealment) 를 수행하는 것, 또는 선택된 프레임에 대한 다른 소정의 인코딩 프로세스를 수행하는 것을 포함할 수 있다.
도 2, 도 3a 및 도 3b 와, 본원에 개시된 다른 예 및 도면과 관련하여 설명된 여러 예시적인 논리 블록, 컴포넌트, 모듈 및 회로는, 몇몇 양태에서, 범용 프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array) 또는 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 논리, 이산 하드웨어 컴포넌트 또는 본원에 설명된 기능을 수행하도록 설계된 그 임의의 조합을 사용하여 구현 또는 수행될 수도 있다. 도 2 에 도시된 것과 같은 범용 프로세서는 마이크로프로세서일 수도 있지만, 다른 방법으로는, 그 프로세서는 임의의 통상적인 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스의 조합, 예를 들어, DSP 와 마이크로프로세서, 복수의 마이크로프로세서, DSP 코어와 함께 하나 이상의 마이크로프로세서의 조합, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다.
통상, 비디오 인코딩은 구조화된 영상 그룹 (group of pictures; GOP) 에 대해 작용한다. 통상, GOP 는 인트라 코딩된 프레임 (I-프레임) 으로 시작하고, 그 다음에, 일련의 P (예측)-프레임 또는 B (양방향) 프레임이 뒤따른다. 통상, I-프레임은 프레임을 디스플레이하는 모든 데이터를 저장할 수 있고, B-프레임은 이전 및 다음 프레임 내의 데이터에 의존하고 (예를 들어, 단지 이전 프레임으로부터 변경된 데이터를 포함하거나 다음 프레임 내의 데이터와 상이함), P-프레임은 이전 프레임으로부터 변경된 데이터를 포함한다.
일반적인 사용에서는, I-프레임은 인코딩된 비디오에서 P-프레임 및 B-프레임에 산재된다. 크기 (예를 들어, 프레임을 인코딩하는데 사용되는 비트 수) 면에서, I-프레임은 통상 P-프레임보다 훨씬 크고, 또한, P-프레임은 B-프레임보다 크다. 효율적인 인코딩, 송신 및 디코딩 처리를 위해, GOP 의 길이는, I-프레임으로부터의 유효 손실을 줄일 수 있도록 충분히 길어야 하고, 인코더와 디코더 간의 부정합, 또는 채널 손상을 해결할 수 있도록 충분히 짧아야 한다. 또한, 같은 이유로 P 프레임 내의 매크로블록 (MB) 이 인트라 코딩될 수 있다.
비디오 인코더에 대해 장면 전환 검출을 사용하여, 적절한 GOP 길이를 결정할 수 있고, 종종 불필요한 I-프레임을 고정 간격으로 삽입하는 대신에 GOP 길이에 기초하여 I-프레임을 삽입할 수 있다. 실제 스트리밍 비디오 시스템에서, 통신 채널은 통상 비트 에러나 패킷 손실에 의해 손상된다. I-프레임 또는 I MB 를 배치하는 장소는, 디코딩된 비디오 품질 및 뷰잉 경험에 상당히 영향을 줄 수도 있다. 일 인코딩 방식은, 나란히 배치된 이전 영상 또는 영상 부분으로부터 상당히 변경된 영상 또는 영상 부분에 대해 인트라 코딩된 프레임을 사용하는 것이다. 통상, 이들 영역은 모션 추정을 사용하여 효과적 및 효율적으로 예측될 수 없고, 그러한 영역이 인터-프레임 코딩 기술 (예를 들어, B-프레임 및 P-프레임을 사용하여 인코딩하는 기술) 로부터 제외되는 경우에 인코딩을 더 효율적으로 행할 수 있다. 채널 손상의 문맥에서, 그 영역들은 에러 전파를 경험하기 쉬운데, 그 에러 전파는 인트라-프레임 인코딩에 의해 저감 또는 제거 (또는 거의 저감 또는 제거) 될 수 있다.
GOP 비디오의 선택된 프레임 또는 부분은 2 개 이상의 카테고리로 분류될 수 있고, 여기서 각각의 프레임 또는 부분은 특정 구현에 따를 수도 있는 상이한 인트라-프레임 인코딩 기준을 가질 수 있다. 예시적인 실시예로서, 비디오에서 선택된 프레임을 처리하여, 프레임을 그 콘텐츠에 기초하여 3 개의 카테고리 중 하나의 카테고리로 분류하는데 사용될 수 있는 일정 "샷 이벤트" 를 포함하는지 여부를 결정할 수 있다; 즉, 각각의 카테고리는 프레임에 의해 캡처되거나 그 프레임이 속하는 샷 이벤트 타입을 나타낸다. 이들 3 개의 카테고리는 갑작스런 장면 전환, 크로스-페이딩 및/또는 다른 느린 장면 전환의 일부이거나, "카메라 플래시라이트" 로도 지칭되는 적어도 하나의 카메라 플래시를 포함한 프레임으로서 분류된다.
갑작스런 장면 전환으로서 분류되는 프레임은 이전 프레임과 상당히 다른 프레임을 포함한다. 통상, 이들 갑작스런 장면 전환은 비디오의 편집 또는 생성 동안에 카메라 조작에 의해 일어난다. 예를 들어, 상이한 카메라로부터 생성된 비디오는 갑작스런 장면 전환을 포함할 수 있는데, 그 이유는 카메라가 상이한 뷰포인트를 갖기 때문이다. 또한, 비디오를 녹화하는 동안에 카메라의 시야 (field of view) 를 갑작스럽게 변경함으로써, 갑작스런 장면 전환을 일으킬 수 있다. 갑작스런 장면 전환으로서 분류된 프레임의 콘텐츠가 이전 프레임의 콘텐츠와 상이하기 때문에, 갑작스런 장면 전환은 통상 I-프레임으로서 인코딩되어야 한다.
느린 장면 전환의 일부로서 분류되는 프레임은 크로스-페이딩과 다른 느린 장면 전환 또는 느린 장면 스위칭을 갖는 비디오를 포함한다. 몇몇 예에서, 이는 카메라 샷의 컴퓨터 처리에 의해 일어날 수 있다. 2 개의 상이한 장면의 단계적 블렌딩은 사람 눈에 더 즐겁게 보일 수도 있지만, 비디오 코딩에 있어서 문제를 일으킨다. 다소 느리게 전환되는 장면의 경우에는, 모션 보상이 그 프레임들의 비트레이트를 효과적으로 줄이지 못할 수도 있다. 몇몇 경우에는, 이들 프레임에 대해 더 많은 인트라 코딩된 MB 를 사용할 수 있다.
카메라 플래시라이트 또는 카메라 플래시 이벤트를 갖는 것으로서 분류된 프레임은 하나 이상의 카메라 플래시를 포함한 콘텐츠를 갖는 프레임을 포함한다. 그러한 플래시는 지속 기간이 비교적 짧고 (예를 들어, 일 프레임), 지나치게 밝아서, 플래시를 표현한 프레임 내의 화소가 인접 프레임 상의 대응 영역에 비해 매우 높은 휘도를 나타낼 수 있다. 카메라 플래시라이트는 영상의 휘도를 갑작스럽게 또한 빨리 이동시킨다. 통상, 카메라 플래시라이트의 지속 기간은 HVS (human vision system) 의 시간 마스킹 지속 기간보다 짧고, 이는 통상 44 ms 로 규정된다. 사람 눈은 이들 짧은 밝기 버스트를 갖는 품질에 민감하지 않으므로, 대강 인코딩될 수 있다. 플래시라이트 프레임이 모션 보상을 사용하여 효과적으로 처리될 수 없고, 장래 프레임에 대한 좋지 않은 예측 후보로 되기 때문에, 이들 프레임의 대강 인코딩은 장래 프레임의 인코딩 효율을 줄이지 않게 된다. 플래시라이트로 분류된 장면은 "인위적인" 높은 휘도 때문에 다른 프레임을 예측하는데 사용되어서는 안 되고, 같은 이유로 다른 프레임을 사용하여 이들 프레임을 효과적으로 예측할 수 없다. 일단 식별되면, 이들 프레임이 비교적 많은 처리량을 필요로 할 수도 있기 때문에, 이들 프레임을 제거할 수 있다. 한 가지 옵션은, 카메라 플래시라이트를 포함하는 것으로 결정되는 프레임을 제거하고, 그 대신에 DC 계수를 인코딩하는 것이다; 그러한 솔루션은 간단하고, 계산상 빠르며, 인코딩 동안에 다수의 비트를 절약할 수 있다.
상기 타입의 장면 전환 중 임의의 장면 전환이 프레임에서 검출되는 경우에, 샷 이벤트가 선언되고, 검출된 장면 타입을 사용하여 그 프레임을 인코딩할 수 있는 방법을 결정할 수 있다; 즉, 그 프레임을 결정된 샷 이벤트에 기초하여 적응 인코딩할 수 있다. 샷 검출은 인코딩 품질을 개선하는데 유용할 뿐만 아니라, 비디오 콘텐츠 검색 및 인덱싱하는데 있어서 도움이 될 수도 있다. 장면 검출 프로세스의 일 양태는 아래에 설명된다.
도 4 는, GOP 에 대해 작용하며, 몇몇 양태에 따라 비디오 프레임에서 샷 검출에 기초하여 비디오를 인코딩하는데 사용될 수 있는 프로세스 (40) 를 도시하는 것으로서, 프로세스 (40) 의 부분 (또는 서브프로세스) 은 도 5 내지 도 10 을 참조하여 설명 및 도시되어 있다. 인코딩 컴포넌트 (22; 도 2) 또는 프로세서 (31) 는 프로세스 (40) 를 통합하도록 구성될 수 있다. 프로세스 (40) 가 시작한 후에, 블록 (42) 으로 진행하여, 비디오 프레임에 대해 메트릭 (정보) 을 획득하고, 그 메트릭은 인접 프레임 간의 차이를 나타내는 정보를 포함한다. 그 메트릭은, 그 다음에 샷 분류에 사용될 수 있는 인접 프레임 간에 일어난 변경을 결정하기 위한 양방향 모션 정보 및 휘도 기반 정보를 포함한다. 그러한 메트릭은 다른 디바이스 또는 프로세스로부터 획득될 수 있고, 또는 예를 들어, 인코딩 컴포넌트 (22) 또는 프로세서 (31) 에 의해 계산될 수 있다. 도 5 의 프로세스 (A) 및 수학식 1 내지 수학식 10 을 참조하여 메트릭 생성의 예시적인 예가 설명된다.
그 다음에, 프로세스 (40) 는, 비디오 내의 샷 전환이 메트릭에 기초하여 결정되는 블록 (44) 으로 진행한다. 비디오 프레임은, 어떤 타입의 샷이 프레임 에 포함되어 있는지와 관련하여 2 개 이상의 카테고리, 예를 들어, 갑작스런 장면 전환, 느리게 전환되는 장면, 또는 높은 휘도 값을 포함하는 장면 (카메라 플래시) 으로 분류될 수 있다. 일정 구현 인코딩은 다른 카테고리를 필요로 할 수도 있다. 샷 분류의 예시적인 예는 도 6 의 프로세스 B 를 참조하여 설명되고, 각각 도 8 내지 도 10 의 프로세스 D, E, 및 F 를 참조하여 더 상세히 설명된다.
일단 프레임이 분류되면, 프로세스 (40) 는, 샷 분류 결과를 사용하여 프레임을 인코딩하거나 인코딩을 위해 지정할 수 있는 블록 (46) 으로 진행한다. 그러한 결과는 인트라 코딩된 프레임을 사용하여 프레임을 인코딩해야 하는지 또는 예측 프레임 (예를 들어, P-프레임 또는 B-프레임) 을 사용하여 프레임을 인코딩해야 하는지에 영향을 줄 수 있다. 도 7 의 프로세스 C 는 샷 결과를 사용한 인코딩 방식의 일 예를 도시한다.
도 5 는 비디오의 메트릭을 획득하는 프로세스의 일 예를 도시한다. 도 5 는 도 4 의 블록 (42) 에서 일어나는 일정 단계를 도시한다. 계속 도 5 를 참조하면, 블록 (52) 에서, 프로세스 A 는 비디오의 양방향 모션 추정 및 보상 정보를 획득 또는 결정한다. 도 2 및 도 3 의 모션 보상기 (23) 는 프레임에 대한 양방향 모션 추정을 수행하고, 후속 샷 분류에 사용될 수 있는 모션 보상 정보를 결정하도록 구성될 수 있다. 그 다음에, 프로세스 A 는 블록 (54) 으로 진행하여, 현재 또는 선택된 프레임 및 하나 이상의 인접 프레임에 대한 휘도 차이 히스토그램을 포함한 휘도 정보를 생성한다. 그 다음에, 끝으로, 프로세스 A 는 블록 (56) 으로 진행하여, 프레임에 포함된 샷을 나타내는 메트릭을 계산한다. 그러한 일 메트릭은 수학식 4 및 수학식 10 의 2 가지 예에 도시되어 있는 프레임 차이 메트릭이다. 모션 정보, 휘도 정보 및 프레임 차이 메트릭을 결정하는 예시적인 예는 아래에 설명된다.
모션
보상
양방향 모션 추정/보상을 수행하기 위해, 비디오 시퀀스는, 가장 인접한 이웃 프레임들, 즉, 과거 프레임과 장래 프레임의 2 개의 프레임 내의 블록과 현재 프레임의 모든 8×8 블록을 정합시키는 양방향 모션 보상기를 사용하여 전처리될 수 있다. 모션 보상기는 모든 블록마다 모션 벡터와 차이 메트릭을 생성한다. 도 11 은 이러한 개념을 도시하는 것으로서, 현재 프레임 C 의 화소를 과거 프레임 P 및 장래 (또는 다음) 프레임 N 의 화소와 정합시키는 일 예를 도시하고, 정합된 화소에 대한 모션 벡터 (과거 모션 벡터 MVP 및 장래 모션 벡터 MVN) 를 도시한다. 양방향 모션 벡터 생성 및 관련 인코딩의 예시적인 양태를 아래에 간략하게 설명한다.
도 13 은 예를 들어, MPEG-4 에서, 모션 벡터 결정 프로세스 및 예측 프레임 인코딩의 일 예를 도시한다. 도 13 에 도시된 프로세스는 도 5 의 블록 (52) 에서 일어날 수 있는 예시적인 프로세스를 더 상세히 도시한다. 도 13 에서, 현재 영상 (134) 은 5×5 매크로블록으로 이루어지는데, 본 예에서 매크로블록의 수는 임의적이다. 매크로블록은 16×16 화소로 이루어진다. 화소는, 8 비트 휘도 값 (Y) 과 2 개의 8 비트 색차 값 (Cr 및 Cb) 에 의해 규정될 수 있다.
MPEG 에서, Y, Cr 및 Cb 성분은 4:2:0 포맷으로 저장될 수 있고, 여기서, Cr 및 Cb 성분은 X 및 Y 방향으로 2 씩 다운샘플링된다. 따라서, 각각의 매크로블록은 256 개의 Y 성분, 64 개의 Cr 성분 및 64 개의 Cb 성분으로 이루어질 것이다. 현재 영상 (134) 의 매크로블록 (136) 은 현재 영상 (134) 과 상이한 시점에서 기준 영상 (132) 으로부터 예측된다. 인코딩되는 현재 매크로블록 (136) 에 대한 Y, Cr 및 Cb 값의 관점에서, 가장 가까운 최적 정합 매크로블록 (138) 의 위치를 찾기 위해, 기준 영상 (132) 에서 검색이 이루어진다. 기준 영상 (132) 내의 최적 정합 매크로블록 (138) 의 위치는 모션 벡터 (140) 에 인코딩된다. 기준 영상 (132) 은, 디코더가 현재 영상 (134) 의 구성 전에 재구성을 완료하게 될 I-프레임 또는 P-프레임일 수 있다. 최적 정합 매크로블록 (138) 을 현재 매크로블록 (136) 에서 뺌으로써 (Y, Cr 및 Cb 성분 각각에 대한 차이가 계산됨), 나머지 에러 (142) 를 생성한다. 나머지 에러 (142) 는 2D 이산 코사인 변환 (144; DCT) 을 사용하여 인코딩된 후에, 양자화된다 (146). 양자화 (146) 를 수행하여, 예를 들어, 고주파수 계수에 더 적은 비트를 할당하면서 저주파수 계수에 더 많은 비트를 할당함으로써, 공간 압축을 제공할 수 있다. 정보를 식별하는 모션 벡터 (140) 및 기준 영상 (134) 과 함께, 나머지 에러 (142) 의 양자화된 계수는 현재 매크로블록 (136) 을 표현하는 인코딩된 정보이다. 인코딩된 정보는, 장래 사용을 위해 메모리에 저장되거나, 예를 들어, 에러 정정 또는 이미지 강조 (image enhancement) 를 위해 조작되거나, 네트워크 (4) 를 통해 송신될 수 있다.
인코딩된 모션 벡터 (140) 와 함께, 나머지 에러 (142) 의 인코딩된 양자화 계수를 사용하여, 후속 모션 추정 및 보상을 위한 기준 프레임의 일부로서 사용되는 현재 매크로블록 (136) 을 인코더에서 재구성할 수 있다. 인코더는 이러한 P-프레임 재구성을 위한 디코더 절차를 에뮬레이션할 수 있다. 디코더의 에뮬레이션으로 인해, 인코더와 디코더 양쪽 모두가 동일 기준 영상과 함께 작업하게 된다. 이때, 추가 인터-코딩을 위해 인코더에서 행해지는지, 또는 디코더에서 행해지는지 여부에 관계없이, 재구성 프로세스가 제공된다. P-프레임의 재구성은, 기준 프레임 (또는 참조되고 있는 영상 또는 프레임 일부) 이 재구성된 후에, 시작할 수 있다. 인코딩된 양자화 계수를 역양자화 (150) 한 후에, 2D IDCT (Inverse DCT) (152) 를 수행하여, 나머지 에러 (154) 를 디코딩 또는 재구성하게 된다. 인코딩된 모션 벡터 (140) 를 디코딩하고, 이를 사용하여, 이미 재구성된 기준 영상 (132) 에서 이미 재구성된 최적 정합 매크로블록 (156) 의 위치를 찾는다. 그 다음에, 재구성된 나머지 에러 (154) 를 재구성된 최적 정합 매크로블록 (156) 에 추가하여, 재구성된 매크로블록 (158) 을 형성한다. 재구성된 매크로블록 (158) 은 메모리에 저장되거나, 다른 재구성된 매크로블록과 독립적으로 또는 다른 재구성된 매크로블록과 함께 하나의 영상으로 디스플레이되거나, 이미지 강조를 위해 더 처리될 수 있다.
B-프레임 (또는 양방향 예측을 사용하여 코딩된 임의의 섹션) 을 사용하여 인코딩함으로써, 현재 영상 내의 일 영역과 이전 영상 내의 최적 정합 예측 영역과 후속 영상 내의 최적 정합 예측 영역 간의 시간 중복을 이용할 수 있다. 후속 최적 정합 예측 영역과 이전 최적 정합 예측 영역을 결합하여, 결합된 양방향 예측 영역을 형성한다. 현재 영상 영역과 최적 정합 결합된 양방향 예측 영역 간의차이가 나머지 에러 (또는 예측 에러) 이다. 후속 기준 영상 내의 최적 정합 예측 영역과 이전 기준 영상 내의 최적 정합 예측 영역의 위치는 2 개의 모션 벡터에 인코딩될 수 있다.
휘도 히스토그램 차이
일 양태에서, 모션 보상기는 모든 블록마다 차이 메트릭을 생성할 수 있다. 차이 메트릭은 일 프레임 내의 블록과 시간적으로 인접한 이전 프레임 및 시간적으로 인접한 다음 프레임 내의 대응 블록 간의 휘도 차이에 기초한다. 차이 메트릭은, 예를 들어, SSD (sum of square differences) 또는 SAD (sum of absolute differences) 를 포함할 수 있다. 이때, 일반성을 잃지 않으면서, SAD 가 예시적인 예로서 사용된다.
현재 (또는 선택된) 프레임의 경우에, SAD 비율은 수학식 1 에 도시된 것과 같이 계산된다:
여기서, SAD P 및 SAD N 은 각각 선택된 프레임에 대한 순방향 및 역방향 차이 메트릭의 절대 차이 합이다. 또한, 분모가 "divide-by-zero" 에러를 피하기 위해 작은 양의 실수 ε 을 포함한다는 것에 주목하자. 또한, 분자는 분모에서 "1" 의 영향과 균형을 맞추기 위해 일정 값 ε 을 포함한다. 예를 들어, 이전 프레임, 현재 프레임 및 다음 프레임이 동일하면, 모션 검색은 SAD P = SAD N = 0 의 결과를 얻게 된다. 이 경우에, 상기 계산은 "0" 또는 무한대 대신에, 의 결과를 얻는다.
휘도 히스토그램은 모든 프레임마다 계산될 수 있다. 통상, 멀티미디어 이미지는 8 비트의 휘도 깊이 (예를 들어, "빈 (bin)" 의 개수) 를 갖는다. 몇몇 양태에 따른 휘도 히스토그램을 계산하는데 사용되는 휘도 깊이를 16 으로 설정하여 휘도 히스토그램을 얻을 수 있다. 다른 양태에서는, 처리되는 데이터 타입, 가용 계산 전력, 또는 다른 소정의 기준에 따를 수도 있는 적절한 개수로 휘도 깊이를 설정할 수 있다. 몇몇 양태에서, 휘도 깊이는 예를 들어, 데이터 콘텐츠와 같은 계산되거나 수신된 메트릭에 기초하여 동적으로 설정될 수 있다.
수학식 2 는 휘도 히스토그램 차이 (lambda) 를 계산하는 일 예를 도시한다:
여기서, NPi 는 이전 프레임에 대한 i 번째 빈 내의 블록 수이고, NCi 는 현재 프레임에 대한 i 번째 빈 내의 블록 수이며, N 은 프레임 내의 전체 블록 수이다. 이전 및 현재 프레임의 휘도 히스토그램 차이가 완전히 상이하면 (공통 원소를 갖지 않으면), λ = 2 이다.
도 5 의 블록 (56) 을 참조하여 설명되는, 프레임 차이 메트릭 D 는 수학식 3 에 도시된 것과 같이 계산될 수 있다:
도 6 은 비디오에 대해 획득되거나 결정된 메트릭을 사용하여 샷 (또는 장면) 전환의 3 가지 카테고리를 결정하는 프로세스 B 의 일 예를 도시한다. 도 6 은 도 4 의 블록 (44) 의 일 양태에서 일어나는 일정 단계를 도시한다. 다시 도 6 을 참조하면, 블록 (62) 에서, 우선, 프로세스 B 는, 갑작스런 장면 전환으로 지정되는 일정 조건 또는 하나 이상의 기준을 프레임이 만족하는지 여부를 결정한다. 도 8 의 프로세스 D 는 이러한 결정의 일 예를 도시한다. 그 다음에, 프로세스 B 는 블록 (64) 으로 진행하여, 프레임이 느리게 전환되는 장면의 일부인지 여부를 결정한다. 도 9 의 프로세스 C 는 느리게 전환되는 장면을 결정하는 일 예를 도시한다. 끝으로, 블록 (66) 에서, 프로세스 B 는 프레임이 카메라 플래시를 포함하는지, 즉, 이전 프레임과의 휘도 값 차이가 큰지 여부를 결정한다. 도 10 의 프로세스 F 는 카메라 플래시를 포함한 프레임을 결정하는 일 예를 도 시한다. 아래에, 이들 프로세스의 예시적인 예를 설명한다.
갑작스런 장면 전환
도 8 은 갑작스런 장면 전환을 결정하는 프로세스를 도시한 흐름도이다. 또한, 도 8 은 도 6 의 블록 (62) 의 몇몇 양태에서 일어날 수 있는 일정 단계를 상세히 설명한다. 블록 (82) 에서, 프레임 차이 메트릭 D 가 수학식 4 에 표현된 기준을 만족하는지 여부를 결정한다.
여기서, A 는 애플리케이션에 따라 선택된 상수이고, T 1 은 임계값 (예를 들어, 임계 기준) 이다. 임계값이 만족되면, 블록 (84) 에서, 프로세스 D 는 프레임을 갑작스런 장면 전환으로서 지정하고, 본 예에 따르면, 어떤 추가적인 샷 분류도 필요치 않을 수도 있다.
시뮬레이션이 나타내는 일 예에서, A = 1 및 T 1 = 5 로 설정하면, 양호한 검출 성능을 달성하게 된다. 현재 프레임이 갑작스런 장면 전환 프레임이면, 는 커야하고, 는 작아야 한다. 단지 만을 사용하는 대신에, 비율 를 사용함으로써, 문맥의 액티비티 레벨로 메트릭을 정규화한다.
수학식 4 에서 휘도 히스토그램 차이 람다 (λ) 의 기준이 비선형 방식으로 사용된다는 것에 주목하자. 도 12 는 λ*(2λ+1) 이 볼록 함수인 것을 도시한다. 람다 (λ) 가 작은 경우에 (예를 들어, 0 에 가까운 경우에), λ*(2λ+1) 의 기여는 비교적 작다. 그러나, λ 가 커짐에 따라, 함수 λ*(2λ+1) 는 엠퍼시스 (emphasis) 가 증가한다. 1.4 보다 큰 임의의 람다 (λ) 의 경우에, 임계값 T 1 이 5 로 설정되면 갑작스런 장면 전환이 검출된다.
크로스
-
페이딩
및 느린 장면 전환
도 9 는 도 6 의 블록 (64) 에서 일어날 수 있는 몇몇 양태의 상세한 설명을 더 도시한다. 도 9 를 참조하면, 블록 (92) 에서, 프로세스 E 는, 프레임이 느린 장면 전환을 나타내는 일련의 프레임 중 일부인지 여부를 결정한다. 수학식 5 에 표현된 바와 같이, 프레임 차이 메트릭 D 가 제 1 임계값 T 1 보다 낮고, 제 2 임계값 T 2 이상인 경우에, 프로세스 E 는, 현재 프레임이 크로스-페이딩 또는 다른 느린 장면 전환인 것으로 결정한다:
일정 개수의 연속 프레임에 대해, 여기서, T 1 은 수학식 4 에서 사용된 것과 동일한 임계값이고, T 2 는 다른 임계값이다. 통상, 구현에 따라 차이가 존재할 수도 있기 때문에, 기준 T 1 및 T 2 는 정상 실험 또는 시뮬레이션에 의해 결정된다. 수학식 5 의 기준이 만족되면, 블록 (94) 에서, 프로세스 E 는 프레임을 느리게 전환되는 장면의 일부로서 분류한다. 프레임의 어떤 추가적인 분류도 필요치 않을 수도 있고, 선택된 프레임에 대한 샷 분류가 종료한다.
카메라 플래시라이트 이벤트
도 10 의 프로세스 F 는, 현재 프레임이 카메라 플래시라이트를 포함하는지 여부를 결정할 수 있는 프로세스의 일 예이다. 본 예시적인 양태의 카메라에서는, 휘도 히스토그램 통계치를 사용하여, 현재 프레임이 카메라 플래시라이트를 포함하는지 여부를 결정한다. 프로세스 F 는, 우선, 블록 (102) 에 도시된 바와 같이, 현재 프레임의 휘도가 이전 프레임의 휘도와 다음 프레임의 휘도보다 큰지 여부를 결정함으로써, 선택된 프레임에 카메라 플래시 이벤트가 존재하는지 여부를 결정한다. 현재 프레임의 휘도가 이전 프레임의 휘도와 다음 프레임의 휘도보다 크지 않은 경우에는, 그 프레임이 카메라 플래시 이벤트가 아니지만, 큰 경우에는, 카메라 플래시 이벤트일 수도 있다. 블록 (104) 에서, 프로세스 F 는, 역방향 차이 메트릭이 일정 임계값 이상인지, 및 순방향 차이 메트릭이 임계값 이상인지 여부를 결정하고, 이들 양쪽 조건이 만족되면, 블록 (106) 에서, 프로세스 F 는 현재 프레임을 카메라 플래시라이트를 갖는 것으로서 분류한다.
일 예시적인 예에 따르면, 수학식 6 및 수학식 7 에 표현된 바와 같이, 블록 (102) 에서, 프로세스 F 는, 현재 프레임의 평균 휘도에서 이전 프레임의 평균 휘도를 뺀 값이 임계값 T 3 을 초과하는지 여부를 결정하고, 또한, 프로세스 F 는, 현재 프레임의 평균 휘도에서 다음 프레임의 평균 휘도를 뺀 값이 임계값 T 3 이상인지 여부를 결정한다:
수학식 6 및 수학식 7 의 기준이 만족되지 않는 경우에, 현재 프레임은 카메라 플래시라이트를 포함하는 것으로서 분류되지 않고, 프로세스 F 는 리턴한다. 수학식 6 및 수학식 7 에 표현된 기준이 만족되는 경우에, 프로세스 F 는 블록 (104) 으로 진행하여, 아래의 수학식 8 및 수학식 9 에 표현된 바와 같이, 역방향 차이 메트릭 SAD P 및 순방향 차이 메트릭 SAD N 이 일정 임계값 T 4 이상인지 여부를 결정한다:
여기서, 는 현재 프레임의 평균 휘도이고, 는 이전 프레임의 평균 휘도이고, 은 다음 프레임의 평균 휘도이며, SAD P 및 SAD N 은 각각 현재 프레임 과 연관된 순방향 및 역방향 차이 메트릭이다. 수학식 8 및 수학식 9 에 표현된 기준이 만족되지 않는 경우에, 프로세스 F 는 리턴한다; 그 기준이 만족되는 경우에, 샷 이벤트는, 프레임이 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타낸다.
통상, 상술한 프로세스의 구현이 임계값을 비롯한 동작 파라미터의 차이를 일으킬 수 있기 때문에, 임계값 T 3 의 값은 정상 실험에 의해 결정된다. 통상, 카메라 플래시가 일 프레임만을 선택하기 때문에, SAD 값이 상기 결정에 포함되고, 휘도 차이 때문에, 이러한 프레임은 순방향과 역방향 양쪽 모두로부터의 모션 보상을 사용하여 잘 예측될 수 없다.
몇몇 양태에서는, 임계값 T 1 , T 2 , T 3 및 T 4 중 하나 이상이 미리 정해지고, 그러한 값이 인코딩 디바이스 내의 샷 분류기 내에 통합된다. 통상, 이들 임계값은 특정 샷 검출 구현의 테스팅을 통해 선택된다. 몇몇 양태에서, 임계값 T 1 , T 2 , T 3 및 T 4 중 하나 이상은 샷 분류기에 공급된 정보 (예를 들어, 메타데이터) 에 기초하여 또는 샷 분류기 자체에 의해 계산된 정보에 기초하여 처리 동안에 (예를 들어, 동적으로) 설정될 수 있다.
이하, 선택된 프레임의 샷 분류에 기초하여, 비디오에 대한 인코딩 파라미터를 결정하기 위한, 또는 비디오를 인코딩하기 위한 프로세스 C 를 도시한 도 7 를 참조하여 설명한다. 블록 (70) 에서, 프로세스 C 는, 선택된 프레임이 갑작스런 장면 전환으로서 분류되었는지 여부를 결정한다. 갑작스런 장면 전환으로서 분류된 경우에, 블록 (71) 에서, 현재 프레임은 갑작스런 장면 전환으로서 분류되고, 그 프레임을 I-프레임으로서 인코딩할 수 있고, GOP 경계를 결정할 수 있다. 갑작스런 장면 전환으로서 분류되지 않은 경우에, 프로세스 C 는 블록 (72) 으로 진행하고; 현재 프레임이 느리게 전환되는 장면의 일부로서 분류되는 경우에, 블록 (73) 에서, 현재 프레임, 및 느리게 전환되는 장면 내의 다른 프레임을 예측 프레임 (예를 들어, P-프레임 또는 B-프레임) 으로서 인코딩할 수 있다. 그 다음에, 프로세스 C 는 블록 (74) 으로 진행하여, 현재 프레임이 하나 이상의 카메라 플래시 (플래시라이트) 를 포함하는 장면으로서 분류되었는지 여부를 검사한다. 현재 프레임이 하나 이상의 카메라 플래시 (플래시라이트) 를 포함하는 장면으로서 분류된 경우에, 블록 (75) 에서, 특수 처리를 위해 그 프레임을 식별할 수 있다. 특수 처리는, 예를 들어, 선택된 프레임의 제거, 인접 프레임의 복제와 선택된 프레임을 (예를 들어, 이전 프레임 또는 후속 프레임으로) 대체, 또는 그 프레임에 대한 특정 계수를 인코딩하는 것을 포함할 수 있다. 그 프레임이 하나 이상의 카메라 플래시를 포함하는 것으로서 분류되지 않는 경우에, 선택된 프레임에 대해 특정 샷 이벤트가 결정되지 않고, 선택된 프레임이 인코딩되지 않도록, 다른 하나 이상의 기준에 따라 인코딩되거나, I-프레임으로서 인코딩되거나, 또는 스킵 (예를 들어, 드롭) 될 수 있다. 프로세스 C 는 인코더 (25; 예를 들어, 도 2) 또는 프로세서 (31; 예를 들어, 도 3 의 프로세서 (31) 내의 인코더 (34)) 에 구현될 수 있다.
상술한 양태에서, 압축되는 프레임과 그 인접한 2 개의 프레임 간의 차이 양 은 프레임 차이 메트릭 D 에 의해 표시된다. 상당한 양의 단조 휘도 변화가 검출되면, 프레임에서 크로스-페이딩 효과를 나타낸다. 크로스-페이딩이 더 현저해지면, B 프레임을 사용함으로써 더 많은 이득을 달성할 수도 있다. 몇몇 양태에서, 수정된 프레임 차이 메트릭은 아래 수학식 10 에 표현된 것과 같이 사용된다:
여기서, 및 은 각각 현재 프레임과 이전 프레임 간의 루마 차이와, 현재 프레임과 다음 프레임 간의 루마 차이이고, 는 구현에 따라 정상 실험에서 결정될 수 있는 상수를 표현하고, 는 0 과 1 사이의 값을 갖는 가중 변수이다.
루마 편이 (luma shift) 의 일정한 경향이 관찰되며 편이 강도가 충분히 크면, 수정된 프레임 차이 메트릭 D 1 은 원래 프레임 차이 메트릭 D 과 상이할 뿐이다. D 1 은 D 이하이다. 루마의 변화가 일정하면 (d P = d N), 수정된 프레임 메트릭 D 1 은 (1-α) 의 최저 비율을 갖는 원래 프레임 차이 메트릭 D 보다 낮다.
아래의 표 1 은 갑작스런 장면 전환 검출을 추가함으로써 성능 개선을 나타낸다. NSC (non-scene-change) 와 SC (scene-change) 양쪽 경우 모두에서의 I- 프레임의 전체 개수는 대략 같다. NSC 경우에 있어서, I-프레임은 전체 시퀀스에 걸쳐 균일하게 분산되지만, SC 경우에 있어서, I-프레임은 갑작스런 장면 전환 프레임에 할당될 뿐이다.
PSNR 단위로 통상, 0.2 ~ 0.3 dB 의 개선을 달성할 수 있음을 알 수 있다. 시뮬레이션 결과는, 샷 검출기가 상술한 샷 이벤트를 결정하는데 있어서 매우 정확하다는 것을 나타낸다. 정상 크로스-페이딩 효과를 갖는 5 개의 클립의 시뮬레이션은, 및 에서, 동일 비트레이트로 0.226031 dB 의 PSNR 이득을 달성한다는 것을 나타낸다.
갑작스런 장면 전환 검출의 시뮬레이션 결과
본원에 설명된 샷 검출 및 인코딩 양태는 흐름도 (flow diagram), 구조도, 또는 블록도로서 표시되는 프로세스로서 설명될 수도 있다는 것에 주목하자. 도면에 도시된 흐름도가 순차 프로세스로서 동작들을 설명하지만, 다수의 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작 순서를 재배열할 수도 있다. 그 동작이 완료되면, 프로세스가 종료한다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 함수에 대응하는 경우에, 그 종료는 호출 함수 또는 메인 함수로의 함수 리턴에 대응한다.
또한, 당업자라면, 본원에 개시된 디바이스의 하나 이상의 요소를 그 디바이스의 동작에 영향을 주지 않으면서 재배열할 수도 있음을 알 수 있다. 이와 유사하게, 본원에 개시된 디바이스의 하나 이상의 요소를 그 디바이스의 동작에 영향을 주지 않으면서 결합할 수도 있다. 당업자라면, 여러 상이한 테크놀러지와 기술을 사용하여 정보 및 멀티미디어 데이터를 표현할 수도 있다는 것을 알 수 있다. 또한, 당업자라면, 본원에 개시된 예와 관련하여 설명된 여러 예시적인 논리 블록, 모듈 및 알고리즘 단계를 전자 하드웨어, 펌웨어, 컴퓨터 소프트웨어, 미들웨어, 마이크로코드, 또는 그 조합으로서 구현할 수도 있다는 것을 알 수 있다. 이러한 하드웨어와 소프트웨어의 호환성을 명확하게 설명하기 위해, 여러 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계를 그 기능면에서 일반적으로 상술하였다. 그러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는, 전체 시스템에 부과된 특정 애플리케이션과 설계 제약에 따른다. 당업자라면, 각각의 특정 애플리케이션에 대해 상이한 방법으로 상술한 기능을 구현할 수도 있지만, 그러한 구현 결정은 개시된 방법의 범위로부터 일탈하는 것으로서 해석되지 않아야 한다.
예를 들어, 본원에 개시된 샷 검출, 인코딩 예 및 도면과 관련하여 설명된 방법 또는 알고리즘의 단계는 하드웨어에 직접, 프로세스에 의해 실행되는 소프트웨어 모듈, 또는 상기 둘의 조합에 수록될 수도 있다. 본 발명의 방법 및 알고리즘은, 특히, 셀 전화기, 컴퓨터, 랩톱 컴퓨터, PDA 및 모든 타입의 개인 및 사업용 통신 디바이스로 비디오를 무선 송신하는 것을 비롯한 통신 기술에 적용 가능하다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 당해 기술분야에서 공지된 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 연결되어, 프로세서가 저장 매체로부터 정보를 판독하고, 저장 매체에 정보를 기입할 수 있도록 해준다. 다른 방법으로는, 저장 매체는 프로세스와 일체로 형성될 수도 있다. 프로세서와 저장 매체는 ASIC (Application Specific Integrated Circuit) 에 상주할 수도 있다. ASIC 은 무선 모뎀에 상주할 수도 있다. 다른 방법으로는, 프로세서와 저장 매체는 무선 모뎀에 이산 컴포넌트로서 상주할 수도 있다.
또한, 본원에 개시된 예와 관련하여 설명된 여러 예시적인 논리 블록, 컴포넌트, 모듈 및 회로는 범용 프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array) 또는 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 논리, 이산 하드웨어 컴포넌트, 또는 본원에 설명된 기능을 수행하도록 설계된 그 임의의 조합을 사용하여 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다른 방법으로는, 범용 프로세서는 임의의 통상적인 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 또한, 프로세서는, 컴퓨팅 디바이스의 조합, 예를 들어, DSP 와 마이크로프로세서, 복수의 마이크로프로세서, DSP 코어와 함께 하나 이상의 마이크로프로세서의 조합, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다.
개시된 예의 상술한 설명을 제공함으로써, 당업자라면, 개시된 방법 및 장치를 실시하거나 사용할 수 있다. 당업자라면, 이들 예에 대한 여러 변형을 쉽게 알 수 있고, 본원에 정의된 원리는 개시된 방법 및 장치의 사상 또는 범위로부터 일탈함이 없이 다른 예와 추가적인 요소에 적용될 수도 있다. 본 발명의 양태의 설명은 예시적인 것으로서, 본 발명의 청구 범위를 한정하려는 것은 아니다.
Claims (38)
- 멀티미디어 데이터를 처리하는 방법으로서,복수의 비디오 프레임에서 선택된 프레임과 상기 선택된 프레임에 시간적으로 인접한 프레임들 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하는 단계로서, 상기 적어도 하나의 메트릭은 상기 선택된 프레임 및 상기 선택된 프레임에 시간적으로 인접한 상기 프레임들과 연관된 양방향 모션 정보와 휘도 차이 정보를 포함하는, 상기 적어도 하나의 메트릭 획득 단계;상기 적어도 하나의 메트릭에 기초하여 상기 선택된 프레임과 연관된 샷 이벤트를 결정하는 단계; 및상기 샷 이벤트에 기초하여 상기 선택된 프레임을 적응 인코딩하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 적어도 하나의 메트릭 획득 단계는 상기 적어도 하나의 메트릭을 계산하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 샷 이벤트는, 상기 선택된 프레임이 갑작스런 장면 전환인 것을 나타내고, 상기 적응 인코딩 단계는 상기 선택된 프레임을 I-프레임으로서 인코딩하는 단 계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 샷 이벤트는, 상기 선택된 프레임이 느린 장면 전환을 포함한 복수의 프레임의 일부인 것을 나타내고, 상기 적응 인코딩 단계는 상기 선택된 프레임을 P-프레임 또는 B-프레임으로서 인코딩하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 샷 이벤트는, 상기 선택된 프레임이 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내고, 상기 적응 인코딩 단계는 상기 선택된 프레임을 특수 처리를 필요로 하는 것으로서 식별하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 5 항에 있어서,상기 특수 처리는, 상기 선택된 프레임이 인코딩되지 않도록, 상기 선택된 프레임을 스킵하는 것을 포함하는, 멀티미디어 데이터 처리 방법.
- 제 5 항에 있어서,상기 특수 처리는, 상기 선택된 프레임에 시간적으로 인접한 프레임을 복제 하여 상기 선택된 프레임을 상기 복제된 프레임으로 대체하는 것을 포함하는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 샷 이벤트는, 상기 선택된 프레임이 갑작스런 장면 전환, 느린 장면 전환의 일부, 또는 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 샷 이벤트가, 상기 선택된 프레임이 갑작스런 장면 전환, 느린 장면 전환의 일부, 또는 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내지 않는 경우에, 상기 적응 인코딩 단계는 상기 선택된 프레임을 I-프레임으로서 인코딩하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 샷 이벤트가, 상기 선택된 프레임이 갑작스런 장면 전환, 느린 장면 전환의 일부, 또는 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내지 않는 경우에, 상기 적응 인코딩 단계는 상기 선택된 프레임을 드롭하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 적어도 하나의 메트릭은 프레임 차이 메트릭을 포함하고,상기 프레임 차이 메트릭이 제 1 임계값 T 1 보다 큰 경우에, 상기 샷 이벤트 결정 단계는, 상기 선택된 프레임이 갑작스런 장면 전환인 것으로 결정하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 11 항에 있어서,상기 선택된 프레임에 대한 상기 프레임 차이 메트릭은 제 1 차이 메트릭과 제 2 차이 메트릭의 비율에 기초하고,상기 제 1 차이 메트릭은, 상기 선택된 프레임과 시간적으로 인접한 이전 프레임 간의 차이와, 상기 선택된 프레임과 시간적으로 인접한 다음 프레임 간의 차이의 비율을 포함하고,상기 제 2 차이 메트릭은, 상기 이전 프레임과, 상기 이전 프레임에 시간적으로 인접하며 상기 이전 프레임의 이전에 있는 프레임 간의 차이와, 상기 이전 프레임과 상기 선택된 프레임 간의 차이의 비율을 포함하는, 멀티미디어 데이터 처리 방법.
- 제 11 항에 있어서,상기 프레임 차이 메트릭은 상기 선택된 프레임 및 상기 선택된 프레임에 시간적으로 인접한 이전 프레임과 연관된 휘도 히스토그램 차이에 기초하는, 멀티미디어 데이터 처리 방법.
- 제 11 항에 있어서,상기 선택된 프레임이 갑작스런 장면 전환인 것으로 결정되지 않고, 상기 프레임 차이 메트릭이, 상기 선택된 프레임과 인접 프레임들 간의 차이가 상기 제 1 임계값 T 1 보다 작으며 제 2 임계값 T 2 이상인 것을 나타내는 경우에, 상기 샷 이벤트 결정 단계는, 상기 선택된 프레임이 느린 장면 전환의 일부인 것으로 결정하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 15 항에 있어서,상기 샷 이벤트 결정 단계는,상기 선택된 프레임, 상기 선택된 프레임의 시간적으로 인접한 이전 프레임 및 상기 선택된 프레임의 시간적으로 인접한 다음 프레임의 평균 휘도를 결정하는 단계; 및상기 선택된 프레임이 갑작스런 프레임 또는 느린 전환 프레임인 것으로 결정되지 않은 경우, 상기 선택된 프레임의 평균 휘도에서 상기 선택된 프레임의 시간적으로 인접한 이전 프레임의 평균 휘도를 뺀 값이 제 3 임계값 T 3 을 초과하거나 같은 경우, 상기 선택된 프레임의 평균 휘도에서 상기 선택된 프레임의 시간적으로 인접한 다음 프레임의 평균 휘도를 뺀 값이 제 3 임계값 T 3 을 초과하거나 같은 경우, 및 상기 선택된 프레임과 연관된 순방향 차이 메트릭과 역방향 차이 메트릭 양쪽 모두가 제 4 임계값 T 4 를 초과하거나 같은 경우, 상기 선택된 프레임이 적어도 하나의 카메라 플래시라이트를 포함하는 것으로 결정하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 샷 이벤트 결정 단계는 상기 선택된 프레임의 휘도 차이 정보를 적어도 하나의 임계값과 비교하여 평가하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 샷 이벤트는 3 개 이상의 샷 타입으로 분류되는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 적어도 하나의 메트릭 획득 단계는 양방향 모션 보상을 수행하여 양방향 모션 정보를 생성하는 단계를 포함하고,상기 양방향 모션 정보와 휘도 차이 정보는 상기 양방향 모션 보상에 기초하여 상기 선택된 프레임에 대해 결정되는, 멀티미디어 데이터 처리 방법.
- 제 1 항에 있어서,상기 샷 이벤트 결정 단계는 상기 적어도 하나의 메트릭을 복수의 임계값과 비교하여 평가하는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
- 멀티미디어 데이터를 처리하는 장치로서,복수의 비디오 프레임에서 선택된 프레임과 상기 선택된 프레임에 시간적으로 인접한 프레임들 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하도록 구성된 모션 보상기로서, 상기 적어도 하나의 메트릭은 양방향 모션 정보 및 휘도 차이 정보를 포함하는, 상기 모션 보상기;상기 적어도 하나의 메트릭에 기초하여, 상기 선택된 프레임과 연관된 샷 이벤트를 결정하도록 구성된 샷 분류기; 및상기 샷 이벤트에 기초하여 상기 선택된 프레임을 적응 인코딩하도록 구성된 인코더를 포함하는, 멀티미디어 데이터 처리 장치.
- 멀티미디어 데이터를 처리하는 장치로서,복수의 비디오 프레임에서 선택된 프레임과 상기 선택된 프레임에 시간적으로 인접한 프레임들 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하는 수단으로서, 상기 적어도 하나의 메트릭은 상기 선택된 프레임 및 상기 선택된 프레임에 시간적으로 인접한 프레임들과 연관된 양방향 모션 정보와 휘도 차이 정보를 포함하는, 상기 적어도 하나의 메트릭 획득 수단;상기 적어도 하나의 메트릭에 기초하여 상기 선택된 프레임과 연관된 샷 이벤트를 결정하는 수단; 및상기 샷 이벤트에 기초하여 상기 선택된 프레임을 적응 인코딩하는 수단을 포함하는, 멀티미디어 데이터 처리 장치.
- 제 22 항에 있어서,상기 샷 이벤트는, 상기 선택된 프레임이 갑작스런 장면 전환인 것을 나타내고, 상기 적응 인코딩 수단은 상기 선택된 프레임을 I-프레임으로서 인코딩하는 수단을 포함하는, 멀티미디어 데이터 처리 장치.
- 제 22 항에 있어서,상기 샷 이벤트는, 상기 선택된 프레임이 느린 장면 전환을 포함한 복수의 프레임의 일부인 것을 나타내고, 상기 적응 인코딩 수단은 상기 선택된 프레임을 P-프레임 또는 B-프레임으로서 인코딩하는 수단을 포함하는, 멀티미디어 데이터 처리 장치.
- 제 22 항에 있어서,상기 샷 이벤트는, 상기 선택된 프레임이 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내고, 상기 적응 인코딩 수단은 상기 선택된 프레임을 특수 처리를 필요로 하는 것으로서 식별하는 수단을 포함하는, 멀티미디어 데이터 처리 장치.
- 제 22 항에 있어서,상기 특수 처리는, 상기 선택된 프레임이 인코딩되지 않도록, 상기 선택된 프레임을 스킵하거나 드롭하는 것을 포함하는, 멀티미디어 데이터 처리 장치.
- 제 26 항에 있어서,상기 특수 처리는, 상기 선택된 프레임에 시간적으로 인접한 프레임을 복제하여 상기 선택된 프레임을 상기 복제된 프레임으로 대체하는 수단을 포함하는, 멀 티미디어 데이터 처리 장치.
- 제 22 항에 있어서,상기 샷 이벤트는, 상기 선택된 프레임이 갑작스런 장면 전환, 느린 장면 전환의 일부, 또는 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내는, 멀티미디어 데이터 처리 장치.
- 제 22 항에 있어서,상기 샷 이벤트가, 상기 선택된 프레임이 갑작스런 장면 전환, 느린 장면 전환의 일부, 또는 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내지 않는 경우에, 상기 적응 인코딩 수단은 상기 선택된 프레임을 I-프레임으로서 인코딩하는 수단을 포함하는, 멀티미디어 데이터 처리 장치.
- 제 22 항에 있어서,상기 샷 이벤트가, 상기 선택된 프레임이 갑작스런 장면 전환, 느린 장면 전환의 일부, 또는 적어도 하나의 카메라 플래시라이트를 포함하는 것을 나타내지 않는 경우에, 상기 적응 인코딩 수단은 상기 선택된 프레임을 드롭하는 수단을 포함하는, 멀티미디어 데이터 처리 장치.
- 제 22 항에 있어서,상기 적어도 하나의 메트릭은 프레임 차이 메트릭을 포함하고,상기 프레임 차이 메트릭이 제 1 임계값 T 1 보다 큰 경우에, 상기 샷 이벤트 결정 수단은 상기 선택된 프레임이 갑작스런 장면 전환인 것으로 결정하는 수단을 포함하는, 멀티미디어 데이터 처리 장치.
- 제 31 항에 있어서,상기 선택된 프레임에 대한 상기 프레임 차이 메트릭은 제 1 차이 메트릭과 제 2 차이 메트릭의 비율에 기초하고,상기 제 1 차이 메트릭은, 상기 선택된 프레임과 시간적으로 인접한 이전 프레임 간의 차이와, 상기 선택된 프레임과 시간적으로 인접한 다음 프레임 간의 차이의 비율을 포함하고,상기 제 2 차이 메트릭은, 상기 이전 프레임과, 상기 이전 프레임에 시간적으로 인접하며 상기 이전 프레임의 이전에 있는 프레임 간의 차이와, 상기 이전 프레임과 상기 선택된 프레임 간의 차이의 비율을 포함하는, 멀티미디어 데이터 처리 장치.
- 제 31 항에 있어서,상기 프레임 차이 메트릭은 상기 선택된 프레임 및 상기 선택된 프레임에 시간적으로 인접한 이전 프레임과 연관된 휘도 히스토그램 차이에 기초하는, 멀티미디어 데이터 처리 장치.
- 제 31 항에 있어서,상기 선택된 프레임이 갑작스런 장면 전환으로서 분류되지 않고, 상기 프레임 차이 메트릭이, 상기 선택된 프레임과 인접 프레임들 간의 차이가 제 1 임계값 T 1 보다 작으며 제 2 임계값 T 2 이상인 것을 나타내는 경우에, 상기 샷 이벤트 결정 수단은 상기 선택된 프레임을 느린 장면 전환으로서 분류하는 수단을 포함하는, 멀티미디어 데이터 처리 장치.
- 제 35 항에 있어서,상기 샷 이벤트 결정 수단은,상기 선택된 프레임, 시간적으로 인접한 이전 프레임 및 시간적으로 인접한 다음 프레임의 평균 휘도를 결정하는 수단; 및상기 선택된 프레임이 갑작스런 프레임 또는 느린 전환 프레임인 것으로 결정되지 않은 경우, 상기 선택된 프레임의 평균 휘도에서 상기 선택된 프레임의 시간적으로 인접한 이전 프레임의 평균 휘도를 뺀 값이 제 3 임계값 T 3 을 초과하거나 같은 경우, 상기 선택된 프레임의 평균 휘도에서 상기 선택된 프레임의 시간적으로 인접한 다음 프레임의 평균 휘도를 뺀 값이 제 3 임계값 T 3 을 초과하거나 같은 경우, 및 상기 선택된 프레임과 연관된 순방향 차이 메트릭과 역방향 차이 메트릭 양쪽 모두가 제 4 임계값 T 4 를 초과하거나 같은 경우, 상기 선택된 프레임을 카메라 플래시 장면으로서 분류하는 수단을 포함하는, 멀티미디어 데이터 처리 장치.
- 멀티미디어 데이터를 처리하는 명령들을 포함한 머신 판독가능 매체로서,상기 명령들은, 실행 시, 머신으로 하여금,복수의 비디오 프레임에서 선택된 프레임과 상기 선택된 프레임에 시간적으로 인접한 프레임들 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하게 하고,상기 적어도 하나의 메트릭에 기초하여 상기 선택된 프레임과 연관된 샷 이벤트를 결정하게 하며, 또한상기 샷 이벤트에 기초하여, 상기 선택된 프레임을 적응 인코딩하게 하고,상기 적어도 하나의 메트릭은 상기 선택된 프레임 및 상기 선택된 프레임에 시간적으로 인접한 프레임들과 연관된 양방향 모션 정보와 휘도 차이 정보를 포함하는, 머신 판독가능 매체.
- 멀티미디어 데이터를 처리하는 프로세서로서,복수의 비디오 프레임에서 선택된 프레임과 상기 선택된 프레임에 시간적으로 인접한 프레임들 간의 차이를 나타내는 적어도 하나의 메트릭을 획득하고,상기 적어도 하나의 메트릭에 기초하여, 상기 선택된 프레임과 연관된 샷 이벤트를 결정하며, 또한상기 샷 이벤트에 기초하여, 상기 선택된 프레임을 적응 인코딩하는 구성을 포함하고,상기 적어도 하나의 메트릭은 상기 선택된 프레임 및 상기 선택된 프레임에 시간적으로 인접한 프레임들과 연관된 양방향 모션 정보와 휘도 차이 정보를 포함하는, 멀티미디어 데이터 처리 프로세서.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US72764405P | 2005-10-17 | 2005-10-17 | |
US60/727,644 | 2005-10-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20080068716A true KR20080068716A (ko) | 2008-07-23 |
Family
ID=37758803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087011802A KR20080068716A (ko) | 2005-10-17 | 2006-10-17 | 비디오 스트리밍에서 샷 검출을 위한 방법 및 장치 |
Country Status (9)
Country | Link |
---|---|
US (1) | US8654848B2 (ko) |
EP (1) | EP1938580A1 (ko) |
JP (1) | JP2009512400A (ko) |
KR (1) | KR20080068716A (ko) |
CN (1) | CN101326809A (ko) |
AR (1) | AR055450A1 (ko) |
CL (1) | CL2006002797A1 (ko) |
TW (1) | TW200803518A (ko) |
WO (1) | WO2007047758A1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140017000A (ko) * | 2011-07-01 | 2014-02-10 | 애플 인크. | 카메라와 배경 모션에 기반한 기준 프레임 버퍼의 적응적 구성 |
KR101426978B1 (ko) * | 2007-01-31 | 2014-08-07 | 톰슨 라이센싱 | 잠재적 샷 및 신 검출 정보의 자동 분류 방법 및 장치 |
US9135521B2 (en) | 2008-10-31 | 2015-09-15 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for determining the integral image |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110126255A1 (en) * | 2002-12-10 | 2011-05-26 | Onlive, Inc. | System and method for remote-hosted video effects |
US8179954B2 (en) | 2007-10-30 | 2012-05-15 | Sony Corporation | Odd interleaving only of an odd-even interleaver when half or less data subcarriers are active in a digital video broadcasting (DVB) standard |
US8780957B2 (en) * | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
AR052601A1 (es) * | 2005-03-10 | 2007-03-21 | Qualcomm Inc | Clasificacion de contenido para procesamiento de multimedia |
US8879856B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
US8948260B2 (en) * | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US20070206117A1 (en) * | 2005-10-17 | 2007-09-06 | Qualcomm Incorporated | Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video |
US20070171280A1 (en) * | 2005-10-24 | 2007-07-26 | Qualcomm Incorporated | Inverse telecine algorithm based on state machine |
US9131164B2 (en) * | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
JP2007288299A (ja) * | 2006-04-13 | 2007-11-01 | Hitachi Ltd | 配信システム、情報処理装置、配信方法及びプログラム |
US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
JP2008066851A (ja) * | 2006-09-05 | 2008-03-21 | Sony Corp | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
US8345769B1 (en) * | 2007-04-10 | 2013-01-01 | Nvidia Corporation | Real-time video segmentation on a GPU for scene and take indexing |
US8358381B1 (en) | 2007-04-10 | 2013-01-22 | Nvidia Corporation | Real-time video segmentation on a GPU for scene and take indexing |
US8024289B2 (en) * | 2007-07-31 | 2011-09-20 | Bighand Ltd. | System and method for efficiently providing content over a thin client network |
US8063942B2 (en) * | 2007-10-19 | 2011-11-22 | Qualcomm Incorporated | Motion assisted image sensor configuration |
US20090109341A1 (en) * | 2007-10-30 | 2009-04-30 | Qualcomm Incorporated | Detecting scene transitions in digital video sequences |
US8104055B2 (en) * | 2007-11-14 | 2012-01-24 | Mavs Lab. Inc. | Method of identifying target synchronization point pair through scan-line image matching scheme |
WO2009157827A1 (en) * | 2008-06-25 | 2009-12-30 | Telefonaktiebolaget L M Ericsson (Publ) | Row evaluation rate control |
EP2187647A1 (en) * | 2008-11-12 | 2010-05-19 | Sony Corporation | Method and device for approximating a DC coefficient of a block of pixels of a frame |
US8311115B2 (en) * | 2009-01-29 | 2012-11-13 | Microsoft Corporation | Video encoding using previously calculated motion information |
US8396114B2 (en) * | 2009-01-29 | 2013-03-12 | Microsoft Corporation | Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming |
US8270473B2 (en) * | 2009-06-12 | 2012-09-18 | Microsoft Corporation | Motion based dynamic resolution multiple bit rate video encoding |
US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
KR20180030255A (ko) | 2009-11-30 | 2018-03-21 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 액정 표시 장치, 액정 표시 장치의 구동 방법, 및 이 액정 표시 장치를 구비하는 전자기기 |
US8705616B2 (en) * | 2010-06-11 | 2014-04-22 | Microsoft Corporation | Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures |
US8451384B2 (en) * | 2010-07-08 | 2013-05-28 | Spinella Ip Holdings, Inc. | System and method for shot change detection in a video sequence |
US8723914B2 (en) * | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
US20120287987A1 (en) * | 2011-05-13 | 2012-11-15 | Madhukar Budagavi | Coding of Scene Changes Using Picture Dropping |
US9591318B2 (en) | 2011-09-16 | 2017-03-07 | Microsoft Technology Licensing, Llc | Multi-layer encoding and decoding |
US11089343B2 (en) | 2012-01-11 | 2021-08-10 | Microsoft Technology Licensing, Llc | Capability advertisement, configuration and control for video coding and decoding |
US10713499B2 (en) * | 2012-04-23 | 2020-07-14 | Conduent Business Services, Llc | Real-time video triggering for traffic surveillance and photo enforcement applications using near infrared video acquisition |
US20140181668A1 (en) | 2012-12-20 | 2014-06-26 | International Business Machines Corporation | Visual summarization of video for quick understanding |
CN105519114A (zh) | 2013-09-10 | 2016-04-20 | 株式会社Kt | 用于对可扩展视频信号进行编码/解码的方法及装置 |
US20150117515A1 (en) * | 2013-10-25 | 2015-04-30 | Microsoft Corporation | Layered Encoding Using Spatial and Temporal Analysis |
US9609338B2 (en) | 2013-10-25 | 2017-03-28 | Microsoft Technology Licensing, Llc | Layered video encoding and decoding |
US20150189222A1 (en) * | 2013-12-30 | 2015-07-02 | Google Inc. | Content-adaptive chunking for distributed transcoding |
US20160112707A1 (en) * | 2014-10-15 | 2016-04-21 | Intel Corporation | Policy-based image encoding |
MX2017008666A (es) * | 2015-01-05 | 2017-11-17 | Arris Entpr Llc | Uso de estadisticas del filtro temporal de movimiento compensado (mctf) para deteccion de cambio de escena cuando ocurre una atenuacion, disolucion o corte. |
CN105608233A (zh) * | 2016-02-26 | 2016-05-25 | 北京大学 | 一种基于改进的om特征的视频拷贝检测方法 |
US10686969B2 (en) * | 2016-07-08 | 2020-06-16 | NETFLIX Inc. | Detecting shot changes in a video |
WO2018044803A1 (en) * | 2016-08-30 | 2018-03-08 | Dolby Laboratories Licensing Corporation | Real-time reshaping of single-layer backwards-compatible codec |
US10701404B2 (en) * | 2016-08-30 | 2020-06-30 | Dolby Laboratories Licensing Corporation | Real-time reshaping of single-layer backwards-compatible codec |
UA124806C2 (uk) | 2016-10-05 | 2021-11-24 | Долбі Леборетеріз Лайсенсінг Корпорейшн | Обмін повідомленнями з інформацією про вихідний колірний об'єм |
CN108109592B (zh) | 2016-11-25 | 2022-01-25 | 株式会社半导体能源研究所 | 显示装置及其工作方法 |
EP3328051B1 (en) | 2016-11-29 | 2019-01-02 | Axis AB | Method for controlling an infrared cut filter of a video camera |
EP3337174B1 (en) * | 2016-12-14 | 2021-04-07 | Alcatel-Lucent España | Method and device for transmission of content |
CN109151469B (zh) * | 2017-06-15 | 2020-06-30 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置及设备 |
KR102668130B1 (ko) | 2017-09-28 | 2024-05-23 | 애플 인크. | 이벤트 카메라를 이용한 정적 이미지들의 생성 |
CN111369482B (zh) * | 2020-03-03 | 2023-06-23 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Family Cites Families (243)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US655068A (en) * | 1899-08-11 | 1900-07-31 | Robert B Elliott | Fender for cultivators. |
FR2646047B1 (fr) | 1989-04-13 | 1995-08-04 | Telediffusion Fse | Procede et installation de codage et de transmission d'images animees sous forme numerique a bas debit |
JP2909239B2 (ja) | 1991-03-27 | 1999-06-23 | 株式会社東芝 | 高能率符号化記録再生装置 |
JP3189292B2 (ja) | 1991-05-09 | 2001-07-16 | 松下電器産業株式会社 | 走査線補間装置 |
KR0121328B1 (ko) | 1991-12-13 | 1997-11-17 | 사또오 후미오 | 디지탈 신호 기록 재생 장치 |
IT1252546B (it) | 1991-12-18 | 1995-06-19 | Alcatel Italia | Metodo e sistema per adattare il ciclo di frequenza di refresh alla complessita' dell'immagine |
US5289276A (en) | 1992-06-19 | 1994-02-22 | General Electric Company | Method and apparatus for conveying compressed video data over a noisy communication channel |
FR2700090B1 (fr) | 1992-12-30 | 1995-01-27 | Thomson Csf | Procédé de désentrelacement de trames d'une séquence d'images animées. |
EP0627853B1 (en) | 1993-06-03 | 2000-11-15 | Matsushita Electric Industrial Co., Ltd. | Picture reproduction apparatus and picture decoding apparatus |
KR960704440A (ko) | 1993-07-19 | 1996-08-31 | 베리 조지 윌리엄 로이드 | 비디오 영상에서의 에러를 검출하는 방법과 에러 검출장치(detecting errors in video images) |
CA2127151A1 (en) | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
US5991502A (en) | 1993-10-04 | 1999-11-23 | Matsushita Electric Industrial Co., Ltd. | Optical recording device which calculates distances between I-frames and records I-frame addresses in a sector |
AU681185B2 (en) | 1993-10-22 | 1997-08-21 | Sony Corporation | apparatus and method for recording and reproducing digital video data |
JP2734953B2 (ja) | 1993-12-16 | 1998-04-02 | 日本電気株式会社 | Cdma受信装置 |
JP2839132B2 (ja) * | 1993-12-17 | 1998-12-16 | 日本電信電話株式会社 | 映像カット点検出方法及び装置 |
US5642294A (en) * | 1993-12-17 | 1997-06-24 | Nippon Telegraph And Telephone Corporation | Method and apparatus for video cut detection |
US5446491A (en) | 1993-12-21 | 1995-08-29 | Hitachi, Ltd. | Multi-point video conference system wherein each terminal comprises a shared frame memory to store information from other terminals |
JP3149303B2 (ja) | 1993-12-29 | 2001-03-26 | 松下電器産業株式会社 | デジタル画像符号化方法及びデジタル画像復号化方法 |
US5592226A (en) | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
US6798834B1 (en) | 1996-08-15 | 2004-09-28 | Mitsubishi Denki Kabushiki Kaisha | Image coding apparatus with segment classification and segmentation-type motion prediction circuit |
US6091460A (en) | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
KR100213015B1 (ko) | 1994-03-31 | 1999-08-02 | 윤종용 | 양자화 방법 및 회로 |
US5508752A (en) | 1994-04-12 | 1996-04-16 | Lg Electronics Inc. | Partial response trellis decoder for high definition television (HDTV) system |
JPH07298272A (ja) | 1994-04-28 | 1995-11-10 | Canon Inc | 映像符号化装置 |
US5706386A (en) | 1994-05-24 | 1998-01-06 | Sony Corporation | Image information recording method and apparatus, image information reproducing method and apparatus and editing method and system |
EP0845908B1 (en) | 1994-06-17 | 2003-02-05 | Snell & Wilcox Limited | Compressing a signal combined from compression encoded video signals after partial decoding thereof |
US5521644A (en) | 1994-06-30 | 1996-05-28 | Eastman Kodak Company | Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with four successive interlaced video fields |
KR100213018B1 (ko) | 1994-07-30 | 1999-08-02 | 윤종용 | 동화상 부호화장치 |
JP3755155B2 (ja) * | 1994-09-30 | 2006-03-15 | ソニー株式会社 | 画像符号化装置 |
SG74566A1 (en) | 1995-08-23 | 2000-08-22 | Sony Corp | Encoding/decoding fields of predetermined field polarity apparatus and method |
JPH0974566A (ja) * | 1995-09-04 | 1997-03-18 | Sony Corp | 圧縮符号化装置及び圧縮符号化データの記録装置 |
JP3813070B2 (ja) | 1995-09-29 | 2006-08-23 | 松下電器産業株式会社 | 光ディスクを再生する再生装置 |
US5745645A (en) | 1995-09-29 | 1998-04-28 | Matsushita Electric Industrial Co., Ltd. | Method and an apparatus for encoding telecine-converted video data for seamless connection |
JPH09130732A (ja) * | 1995-11-01 | 1997-05-16 | Matsushita Electric Ind Co Ltd | シーンチェンジ検出方法および動画像編集装置 |
US5835163A (en) | 1995-12-21 | 1998-11-10 | Siemens Corporate Research, Inc. | Apparatus for detecting a cut in a video |
US5682204A (en) | 1995-12-26 | 1997-10-28 | C Cube Microsystems, Inc. | Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level |
US5821991A (en) | 1996-02-28 | 1998-10-13 | C-Cube Microsystems, Inc. | Method and apparatus for inverse telecine process by correlating vectors of pixel differences |
US6157674A (en) | 1996-03-21 | 2000-12-05 | Sony Corporation | Audio and video data transmitting apparatus, system, and method thereof |
JPH09284770A (ja) * | 1996-04-13 | 1997-10-31 | Sony Corp | 画像符号化装置および方法 |
US7095874B2 (en) | 1996-07-02 | 2006-08-22 | Wistaria Trading, Inc. | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
US6643506B1 (en) | 1996-08-07 | 2003-11-04 | Telxon Corporation | Wireless software upgrades with version control |
US5793895A (en) | 1996-08-28 | 1998-08-11 | International Business Machines Corporation | Intelligent error resilient video encoder |
KR100389893B1 (ko) | 1996-11-09 | 2003-09-19 | 삼성전자주식회사 | 영상 특성 분류법을 이용한 영상 부호화 장치 |
FR2756399B1 (fr) | 1996-11-28 | 1999-06-25 | Thomson Multimedia Sa | Procede et dispositif de compression video pour images de synthese |
EP0905981B1 (en) | 1997-03-12 | 2006-06-28 | Matsushita Electric Industrial Co., Ltd. | Video signal coding method and coding device |
US6333950B1 (en) | 1997-04-18 | 2001-12-25 | Canon Kabushiki Kaisha | Encoding apparatus and method and computer readable recording medium in which encoding program has been recorded |
JP3679606B2 (ja) | 1997-04-18 | 2005-08-03 | キヤノン株式会社 | 符号化装置及び方法並びに符号化プログラムが記録されたコンピュータ可読記録媒体 |
JP3588970B2 (ja) | 1997-04-30 | 2004-11-17 | ソニー株式会社 | 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法 |
US5864369A (en) | 1997-06-16 | 1999-01-26 | Ati International Srl | Method and apparatus for providing interlaced video on a progressive display |
US6012091A (en) | 1997-06-30 | 2000-01-04 | At&T Corporation | Video telecommunications server and method of providing video fast forward and reverse |
KR100226722B1 (ko) | 1997-07-30 | 1999-10-15 | 구자홍 | 동영상 움직임 벡터 추정 방법 |
US5978029A (en) | 1997-10-10 | 1999-11-02 | International Business Machines Corporation | Real-time encoding of video sequence employing two encoders and statistical analysis |
US6574211B2 (en) | 1997-11-03 | 2003-06-03 | Qualcomm Incorporated | Method and apparatus for high rate packet data transmission |
US5956026A (en) | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
JP3738939B2 (ja) * | 1998-03-05 | 2006-01-25 | Kddi株式会社 | 動画像のカット点検出装置 |
DE69830471T2 (de) | 1998-03-09 | 2006-08-10 | Sony Deutschland Gmbh | Interpolator mit einem gewichteten Medianfilter |
US6895048B2 (en) | 1998-03-20 | 2005-05-17 | International Business Machines Corporation | Adaptive encoding of a sequence of still frames or partially still frames within motion video |
US6538688B1 (en) | 1998-07-02 | 2003-03-25 | Terran Interactive | Method and apparatus for performing an automated inverse telecine process |
JP2000032474A (ja) | 1998-07-08 | 2000-01-28 | Sharp Corp | 動画像符号化装置 |
JP2000059774A (ja) | 1998-08-06 | 2000-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化制御装置 |
US6580829B1 (en) | 1998-09-25 | 2003-06-17 | Sarnoff Corporation | Detecting and coding flash frames in video data |
EP1119979B1 (en) * | 1998-09-29 | 2013-01-23 | General Instrument Corporation | Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder |
JP3921841B2 (ja) | 1998-10-16 | 2007-05-30 | ソニー株式会社 | 信号処理装置および方法、ならびに、記録装置、再生装置および記録再生装置 |
JP2000209553A (ja) | 1998-11-13 | 2000-07-28 | Victor Co Of Japan Ltd | 情報信号記録装置及び再生装置 |
US6297848B1 (en) | 1998-11-25 | 2001-10-02 | Sharp Laboratories Of America, Inc. | Low-delay conversion of 3:2 pulldown video to progressive format with field averaging |
JP3260713B2 (ja) | 1998-12-21 | 2002-02-25 | 日本電気株式会社 | 無線基地局のプログラムダウンロード方式 |
US6618507B1 (en) | 1999-01-25 | 2003-09-09 | Mitsubishi Electric Research Laboratories, Inc | Methods of feature extraction of video sequences |
JP3591712B2 (ja) | 1999-04-02 | 2004-11-24 | 松下電器産業株式会社 | 動画送信装置及び動画受信装置 |
US6724819B1 (en) | 1999-04-02 | 2004-04-20 | Matsushitas Electric Industrial Co., Ltd. | Moving picture transmission apparatus, moving picture reception apparatus, and moving picture data record medium |
JP2000295626A (ja) | 1999-04-08 | 2000-10-20 | Mitsubishi Electric Corp | 多段画像符号化装置 |
US6325805B1 (en) | 1999-04-23 | 2001-12-04 | Sdgi Holdings, Inc. | Shape memory alloy staple |
WO2000067486A1 (en) | 1999-04-30 | 2000-11-09 | Koninklijke Philips Electronics N.V. | Video encoding method with selection of b-frame encoding mode |
JP4287538B2 (ja) | 1999-04-30 | 2009-07-01 | パナソニック株式会社 | 画像信号切替方法及び装置並びにこれを用いたデジタル撮像カメラ及び監視システム |
GB2352350B (en) | 1999-07-19 | 2003-11-05 | Nokia Mobile Phones Ltd | Video coding |
JP3669619B2 (ja) | 1999-09-06 | 2005-07-13 | 富士通株式会社 | 無線端末装置のソフトウェア更新方法及びその装置 |
US6370672B1 (en) | 1999-11-01 | 2002-04-09 | Lsi Logic Corporation | Determining the received data rate in a variable rate communications system |
GB2359918A (en) | 2000-03-01 | 2001-09-05 | Sony Uk Ltd | Audio and/or video generation apparatus having a metadata generator |
JP2001169251A (ja) | 1999-12-03 | 2001-06-22 | Sony Corp | 記録装置および方法、ならびに、再生装置および方法 |
US7116717B1 (en) | 1999-12-15 | 2006-10-03 | Bigband Networks, Inc. | Method and system for scalable representation, storage, transmission and reconstruction of media streams |
US7093028B1 (en) | 1999-12-15 | 2006-08-15 | Microsoft Corporation | User and content aware object-based data stream transmission methods and arrangements |
US6449002B1 (en) | 1999-12-21 | 2002-09-10 | Thomson Licensing S.A. | Truncated metric for NTSC interference rejection in the ATSC-HDTV trellis decoder |
JP2001045494A (ja) | 2000-01-01 | 2001-02-16 | Mitsubishi Electric Corp | 画像符号化装置 |
JP2001204026A (ja) | 2000-01-21 | 2001-07-27 | Sony Corp | 画像情報変換装置及び方法 |
US6600836B1 (en) | 2000-01-28 | 2003-07-29 | Qualcomm, Incorporated | Quality based image compression |
CN1168320C (zh) | 2000-02-01 | 2004-09-22 | 皇家菲利浦电子有限公司 | 对图像预测编码的方法及视频编码器 |
US6490320B1 (en) | 2000-02-02 | 2002-12-03 | Mitsubishi Electric Research Laboratories Inc. | Adaptable bitstream video delivery system |
US6574279B1 (en) | 2000-02-02 | 2003-06-03 | Mitsubishi Electric Research Laboratories, Inc. | Video transcoding using syntactic and semantic clues |
US6542546B1 (en) | 2000-02-02 | 2003-04-01 | Mitsubishi Electric Research Laboratories, Inc. | Adaptable compressed bitstream transcoder |
JP3960451B2 (ja) | 2000-03-06 | 2007-08-15 | Kddi株式会社 | シーン特性検出型動画像符号化装置 |
SE0000766L (sv) | 2000-03-08 | 2001-06-25 | Sem Ab | Krets för tändförställning, varvtalsbegränsning och förhindrande av baklängesgång i magnettändsystem |
KR100844816B1 (ko) | 2000-03-13 | 2008-07-09 | 소니 가부시끼 가이샤 | 간결한 트랜스코딩 힌트 메타데이터를 생성하는 방법 및장치 |
US20020154705A1 (en) | 2000-03-22 | 2002-10-24 | Walton Jay R. | High efficiency high performance communications system employing multi-carrier modulation |
US7009656B2 (en) | 2000-04-07 | 2006-03-07 | Snell & Wilcox Limited | Video signal processing |
WO2001080559A2 (en) | 2000-04-18 | 2001-10-25 | Silicon Image | Method, system and apparatus for identifying the source type and quality level of a video sequence |
US6507618B1 (en) | 2000-04-25 | 2003-01-14 | Hewlett-Packard Company | Compressed video signal including independently coded regions |
EP1152621A1 (en) | 2000-05-05 | 2001-11-07 | STMicroelectronics S.r.l. | Motion estimation process and system. |
US6647061B1 (en) | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
KR100708091B1 (ko) | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
JP2002010259A (ja) | 2000-06-21 | 2002-01-11 | Mitsubishi Electric Corp | 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体 |
EP1172681A3 (en) | 2000-07-13 | 2004-06-09 | Creo IL. Ltd. | Blazed micro-mechanical light modulator and array thereof |
US20040125877A1 (en) * | 2000-07-17 | 2004-07-01 | Shin-Fu Chang | Method and system for indexing and content-based adaptive streaming of digital video content |
KR20020010171A (ko) | 2000-07-27 | 2002-02-04 | 오길록 | 블록 정합 움직임 추정을 위한 적응적 예측 방향성 탐색방법 |
FI120125B (fi) | 2000-08-21 | 2009-06-30 | Nokia Corp | Kuvankoodaus |
JP2002094994A (ja) | 2000-09-19 | 2002-03-29 | Nec Corp | 動画再生処理装置および動画再生処理方法 |
US7038736B2 (en) * | 2000-09-21 | 2006-05-02 | Canon Kabushiki Kaisha | Moving image processing apparatus and method, and computer readable memory |
EP1319309B1 (en) | 2000-09-22 | 2006-11-22 | Koninklijke Philips Electronics N.V. | Hybrid temporal-snr fine granular scalability video coding |
JP2002125227A (ja) | 2000-10-11 | 2002-04-26 | Sony Corp | 画像情報変換装置及び方法 |
US7095814B2 (en) | 2000-10-11 | 2006-08-22 | Electronics And Telecommunications Research Institute | Apparatus and method for very high performance space-time array reception processing using chip-level beamforming and fading rate adaptation |
KR100895725B1 (ko) | 2000-11-23 | 2009-04-30 | 엔엑스피 비 브이 | 비디오 비트스트림 디코딩 방법 및 비디오 디코더 |
EP1209624A1 (en) | 2000-11-27 | 2002-05-29 | Sony International (Europe) GmbH | Method for compressed imaging artefact reduction |
US7058130B2 (en) * | 2000-12-11 | 2006-06-06 | Sony Corporation | Scene change detection |
US7203238B2 (en) | 2000-12-11 | 2007-04-10 | Sony Corporation | 3:2 Pull-down detection |
US6934335B2 (en) | 2000-12-11 | 2005-08-23 | Sony Corporation | Video encoder with embedded scene change and 3:2 pull-down detections |
US6744474B2 (en) | 2000-12-13 | 2004-06-01 | Thomson Licensing S.A. | Recursive metric for NTSC interference rejection in the ATSC-HDTV trellis decoder |
US6807234B2 (en) | 2000-12-19 | 2004-10-19 | Intel Corporation | Method and apparatus for constellation mapping and bitloading in multi-carrier transceivers, such as DMT-based DSL transceivers |
GB2372394B (en) | 2000-12-22 | 2004-09-22 | Matsushita Electric Ind Co Ltd | Interpolation apparatus and video signal processing apparatus including the same |
CA2330854A1 (en) | 2001-01-11 | 2002-07-11 | Jaldi Semiconductor Corp. | A system and method for detecting a non-video source in video signals |
US6987728B2 (en) | 2001-01-23 | 2006-01-17 | Sharp Laboratories Of America, Inc. | Bandwidth allocation system |
JP4336051B2 (ja) | 2001-01-31 | 2009-09-30 | 株式会社エヌ・ティ・ティ・ドコモ | 無線通信端末、発呼制限方法及びプログラム |
US6721361B1 (en) * | 2001-02-23 | 2004-04-13 | Yesvideo.Com | Video processing system including advanced scene break detection methods for fades, dissolves and flashes |
JP2004531925A (ja) | 2001-03-05 | 2004-10-14 | インタービデオインコーポレイテッド | 圧縮されたビデオビットストリームにおける冗長な動きベクトルを符号化し復号するシステム及び方法 |
KR100783396B1 (ko) | 2001-04-19 | 2007-12-10 | 엘지전자 주식회사 | 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법 |
US20020163964A1 (en) | 2001-05-02 | 2002-11-07 | Nichols James B. | Apparatus and method for compressing video |
US6909745B1 (en) | 2001-06-05 | 2005-06-21 | At&T Corp. | Content adaptive video encoder |
KR100803115B1 (ko) | 2001-06-07 | 2008-02-14 | 엘지전자 주식회사 | 적응 안테나 어레이가 구비된 wcdma 시스템에서의 신호 처리 방법 이를 위한 시스템 |
KR100393066B1 (ko) | 2001-06-11 | 2003-07-31 | 삼성전자주식회사 | 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법 |
JP2002051336A (ja) | 2001-06-15 | 2002-02-15 | Sharp Corp | 画像符号化装置及び画像復号装置 |
US7483581B2 (en) | 2001-07-02 | 2009-01-27 | Qualcomm Incorporated | Apparatus and method for encoding digital image data in a lossless manner |
JP2003037844A (ja) | 2001-07-23 | 2003-02-07 | Sharp Corp | 動画像符号化装置 |
KR100440953B1 (ko) | 2001-08-18 | 2004-07-21 | 삼성전자주식회사 | 영상 압축 비트 스트림의 트랜스코딩 방법 |
US6959044B1 (en) * | 2001-08-21 | 2005-10-25 | Cisco Systems Canada Co. | Dynamic GOP system and method for digital video encoding |
US7359466B2 (en) | 2001-08-24 | 2008-04-15 | Lucent Technologies Inc. | Signal detection by a receiver in a multiple antenna time-dispersive system |
US6784942B2 (en) | 2001-10-05 | 2004-08-31 | Genesis Microchip, Inc. | Motion adaptive de-interlacing method and apparatus |
TW536918B (en) | 2001-11-01 | 2003-06-11 | Aiptek Int Inc | Method to increase the temporal resolution of continuous image series |
CN1511420A (zh) | 2001-11-09 | 2004-07-07 | 松下电器产业株式会社 | 运动图像编码方法和装置 |
JP2003209837A (ja) | 2001-11-09 | 2003-07-25 | Matsushita Electric Ind Co Ltd | 動画像符号化方法及び動画像符号化装置 |
US6847680B2 (en) | 2001-12-17 | 2005-01-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting talking heads in a compressed video |
KR100446083B1 (ko) | 2002-01-02 | 2004-08-30 | 삼성전자주식회사 | 움직임 추정 및 모드 결정 장치 및 방법 |
US20030142762A1 (en) | 2002-01-11 | 2003-07-31 | Burke Joseph P. | Wireless receiver method and apparatus using space-cover-time equalization |
US7139551B2 (en) | 2002-01-19 | 2006-11-21 | Sasken Communication Technologies Ltd. | System and method for automatically downloading software applications to a remote terminal |
JP2003224847A (ja) | 2002-01-29 | 2003-08-08 | Sony Corp | 画像符号化装置とその方法、および、画像復号化装置とその方法 |
US6996186B2 (en) | 2002-02-22 | 2006-02-07 | International Business Machines Corporation | Programmable horizontal filter with noise reduction and image scaling for video encoding system |
KR100850705B1 (ko) | 2002-03-09 | 2008-08-06 | 삼성전자주식회사 | 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치 |
DE60335178D1 (de) | 2002-03-27 | 2011-01-13 | British Telecomm | Videokodierung und -übertragung |
US20030185302A1 (en) | 2002-04-02 | 2003-10-02 | Abrams Thomas Algie | Camera and/or camera converter |
CA2380105A1 (en) | 2002-04-09 | 2003-10-09 | Nicholas Routhier | Process and system for encoding and playback of stereoscopic video sequences |
KR100468726B1 (ko) | 2002-04-18 | 2005-01-29 | 삼성전자주식회사 | 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법 |
US6985635B2 (en) | 2002-04-22 | 2006-01-10 | Koninklijke Philips Electronics N.V. | System and method for providing a single-layer video encoded bitstreams suitable for reduced-complexity decoding |
JP3926203B2 (ja) | 2002-05-15 | 2007-06-06 | シャープ株式会社 | コンテンツ表示装置、コンテンツ表示プログラム、該プログラムを記録した記録媒体、およびコンテンツ表示方法 |
KR100850706B1 (ko) | 2002-05-22 | 2008-08-06 | 삼성전자주식회사 | 적응적 동영상 부호화 및 복호화 방법과 그 장치 |
FR2840495B1 (fr) | 2002-05-29 | 2004-07-30 | Canon Kk | Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage |
US7436890B2 (en) | 2002-06-05 | 2008-10-14 | Kddi R&D Laboratories, Inc. | Quantization control system for video coding |
JP2004023288A (ja) | 2002-06-13 | 2004-01-22 | Kddi R & D Laboratories Inc | 動画像符号化のための前処理方式 |
KR100553082B1 (ko) | 2002-06-20 | 2006-02-15 | 엘지전자 주식회사 | 이동통신 단말기의 무선 데이터 다운로드 이어받기 장치및 방법 |
US7167507B2 (en) | 2002-07-01 | 2007-01-23 | Lucent Technologies Inc. | Equalizer and method for performing equalization in a wireless communications system |
US7136417B2 (en) | 2002-07-15 | 2006-11-14 | Scientific-Atlanta, Inc. | Chroma conversion optimization |
KR20050027111A (ko) | 2002-07-16 | 2005-03-17 | 톰슨 라이센싱 에스.에이. | Hd-dvd를 위한 기본 및 확장 계층의 인터리빙 |
US7089313B2 (en) | 2002-07-25 | 2006-08-08 | Matsushita Electric Industrial Co., Ltd. | Protocol independent communication system for mobile devices |
WO2004019336A1 (en) | 2002-08-21 | 2004-03-04 | Thomson Licensing S.A. | Watermarking digital data at a user device |
US20040045038A1 (en) | 2002-08-29 | 2004-03-04 | Duff John F. | System and method for the synchronized activation of external devices in association with video programs |
US6904081B2 (en) | 2002-08-30 | 2005-06-07 | Motorola, Inc. | Spread spectrum receiver apparatus and method |
GB0222562D0 (en) | 2002-09-28 | 2002-11-06 | Koninkl Philips Electronics Nv | Method and apparatus for encoding image and or audio data |
JP4294933B2 (ja) | 2002-10-16 | 2009-07-15 | 富士通株式会社 | マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置 |
KR100501933B1 (ko) | 2002-11-21 | 2005-07-18 | 삼성전자주식회사 | 멀티미디어 데이터 암호화 압축방법 및 장치 |
WO2004049722A1 (en) | 2002-11-22 | 2004-06-10 | Koninklijke Philips Electronics N.V. | Transcoder for a variable length coded data stream |
EP3349461B1 (en) | 2002-11-25 | 2020-02-19 | Godo Kaisha IP Bridge 1 | Method for coding and decoding b pictures in direct mode |
AU2003283723A1 (en) | 2002-12-10 | 2004-06-30 | Koninklijke Philips Electronics N.V. | A unified metric for digital video processing (umdvp) |
JP2006512029A (ja) | 2002-12-20 | 2006-04-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | セグメントベース動き推定 |
US7154555B2 (en) | 2003-01-10 | 2006-12-26 | Realnetworks, Inc. | Automatic deinterlacing and inverse telecine |
US7039855B2 (en) | 2003-01-22 | 2006-05-02 | Lsi Logic Corporation | Decision function generator for a Viterbi decoder |
US8059711B2 (en) | 2003-01-28 | 2011-11-15 | Thomson Licensing | Robust mode staggercasting |
KR20040079084A (ko) | 2003-03-06 | 2004-09-14 | 삼성전자주식회사 | 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치 |
US7062260B2 (en) | 2003-03-27 | 2006-06-13 | Nokia Corporation | Fetching application and driver for extension device from network |
US7075581B1 (en) | 2003-06-03 | 2006-07-11 | Zoran Corporation | Interlaced-to-progressive scan conversion based on film source detection |
KR100518580B1 (ko) | 2003-06-10 | 2005-10-04 | 삼성전자주식회사 | 인버스 텔레시네 변환장치 및 변환방법 |
BRPI0411433B1 (pt) | 2003-06-16 | 2018-10-16 | Thomson Licensing | método e aparelho de decodificação permitindo mudança rápida de canal de vídeo comprimido |
JP2007524280A (ja) | 2003-06-19 | 2007-08-23 | トムソン ライセンシング | 低複雑性空間スケーラブル復号化のための方法および装置 |
KR100505694B1 (ko) | 2003-07-09 | 2005-08-02 | 삼성전자주식회사 | 직접 계산 방식에 의한 코드화 직교 주파수 분할 다중화수신기의 채널 상태 평가 장치 및 그 방법 |
US7406123B2 (en) | 2003-07-10 | 2008-07-29 | Mitsubishi Electric Research Laboratories, Inc. | Visual complexity measure for playing videos adaptively |
GB0316387D0 (en) | 2003-07-12 | 2003-08-13 | Ncr Int Inc | Software updates |
TWI357728B (en) | 2003-07-14 | 2012-02-01 | Interdigital Tech Corp | High performance wireless receiver with cluster mu |
US7356073B2 (en) | 2003-09-10 | 2008-04-08 | Nokia Corporation | Method and apparatus providing an advanced MIMO receiver that includes a signal-plus-residual-interference (SPRI) detector |
US20050076057A1 (en) | 2003-10-03 | 2005-04-07 | Puneet Sharma | Method and system for transferring video and audio files to portable computing devices |
US7840112B2 (en) | 2003-10-08 | 2010-11-23 | Intel Corporation | Gradually degrading multimedia recordings |
JP2005123732A (ja) | 2003-10-14 | 2005-05-12 | Matsushita Electric Ind Co Ltd | デブロックフィルタ処理装置およびデブロックフィルタ処理方法 |
KR20050037293A (ko) | 2003-10-18 | 2005-04-21 | 삼성전자주식회사 | 영상신호의 아티팩트 억제장치 및 그 방법 |
US7780886B2 (en) | 2003-10-21 | 2010-08-24 | Certainteed Corporation | Insulation product having directional facing layer thereon and method of making the same |
EP2051510B1 (en) | 2003-10-30 | 2013-08-14 | Panasonic Corporation | Mobile-terminal-orientated transmission method and apparatus |
US7420618B2 (en) | 2003-12-23 | 2008-09-02 | Genesis Microchip Inc. | Single chip multi-function display controller and method of use thereof |
EP2485187A1 (en) | 2004-01-21 | 2012-08-08 | Qualcomm Incorporated | Application-based value billing in a wireless subscriber network |
US20050168656A1 (en) | 2004-01-30 | 2005-08-04 | Wyman Richard H. | Method and system for quantized historical motion for motion detection in motion adaptive deinterlacer |
US7483077B2 (en) | 2004-01-30 | 2009-01-27 | Broadcom Corporation | Method and system for control of a multi-field deinterlacer including providing visually pleasing start-up and shut-down |
EP1709745A4 (en) | 2004-01-30 | 2012-03-14 | Univ Laval | MULTI-USER ADAPTIVE NETWORK RECEIVER AND CORRESPONDING METHOD |
US7324583B2 (en) | 2004-02-13 | 2008-01-29 | Nokia Corporation | Chip-level or symbol-level equalizer structure for multiple transmit and receiver antenna configurations |
KR100586883B1 (ko) | 2004-03-04 | 2006-06-08 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법 |
KR100596705B1 (ko) | 2004-03-04 | 2006-07-04 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템 |
US7339980B2 (en) | 2004-03-05 | 2008-03-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Successive interference cancellation in a generalized RAKE receiver architecture |
US20050201478A1 (en) | 2004-03-10 | 2005-09-15 | Holger Claussen | Modulation in a mobile telecommunications system |
US20050222961A1 (en) | 2004-04-05 | 2005-10-06 | Philippe Staib | System and method of facilitating contactless payment transactions across different payment systems using a common mobile device acting as a stored value device |
US20050231635A1 (en) | 2004-04-16 | 2005-10-20 | Lin Ken K | Automated inverse telecine process |
EP1592250A1 (en) | 2004-04-30 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Film-mode detection in video sequences |
US7991053B2 (en) | 2004-05-04 | 2011-08-02 | Qualcomm Incorporated | Method and apparatus to enable acquisition of media in streaming applications |
US7430336B2 (en) | 2004-05-06 | 2008-09-30 | Qualcomm Incorporated | Method and apparatus for image enhancement for low bit rate video compression |
DE102004026433A1 (de) | 2004-05-29 | 2005-12-22 | Schott Ag | Nanoglaspulver und deren Verwendung |
US7536626B2 (en) | 2004-06-18 | 2009-05-19 | Qualcomm Incorporated | Power control using erasure techniques |
EP1615447B1 (en) | 2004-07-09 | 2016-03-09 | STMicroelectronics Srl | Method and system for delivery of coded information streams, related network and computer program product therefor |
JP4145275B2 (ja) | 2004-07-27 | 2008-09-03 | 富士通株式会社 | 動きベクトル検出・補償装置 |
KR20060011281A (ko) | 2004-07-30 | 2006-02-03 | 한종기 | 트랜스코더에 적용되는 해상도 변환장치 및 방법 |
JP2006074684A (ja) | 2004-09-06 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像処理方法及び装置 |
US7474701B2 (en) | 2004-09-23 | 2009-01-06 | International Business Machines Corporation | Single pass variable bit rate control strategy and encoder for processing a video frame of a sequence of video frames |
US7528887B2 (en) | 2004-10-08 | 2009-05-05 | Broadcom Corporation | System and method for performing inverse telecine deinterlacing of video by bypassing data present in vertical blanking intervals |
US7660987B2 (en) | 2004-10-29 | 2010-02-09 | Baylis Stephen W | Method of establishing a secure e-mail transmission link |
KR100592882B1 (ko) | 2004-12-13 | 2006-06-26 | 한국전자통신연구원 | 세션 초기화 프로토콜(sip) 기능이 없는 이동 단말에인터넷 프로토콜 멀티미디어 서브시스템을 통한 세션초기화 프로토콜 기반 인스턴스 메시징 서비스 제공방법,시스템 및 이를 위한 인스턴스 메시징 프록시 서버 |
US20060153294A1 (en) | 2005-01-12 | 2006-07-13 | Nokia Corporation | Inter-layer coefficient coding for scalable video coding |
US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
US20060166739A1 (en) | 2005-01-25 | 2006-07-27 | Jeng-Tay Lin | Operating method for a wireless recreation system |
KR20060088461A (ko) | 2005-02-01 | 2006-08-04 | 엘지전자 주식회사 | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 |
ES2336824T3 (es) | 2005-03-10 | 2010-04-16 | Qualcomm Incorporated | Arquitectura de decodificador para gestion de errores optimizada en flujo continuo multimedia. |
US7929776B2 (en) | 2005-03-10 | 2011-04-19 | Qualcomm, Incorporated | Method and apparatus for error recovery using intra-slice resynchronization points |
US8693540B2 (en) | 2005-03-10 | 2014-04-08 | Qualcomm Incorporated | Method and apparatus of temporal error concealment for P-frame |
US7995656B2 (en) | 2005-03-10 | 2011-08-09 | Qualcomm Incorporated | Scalable video coding with two layer encoding and single layer decoding |
AR052601A1 (es) | 2005-03-10 | 2007-03-21 | Qualcomm Inc | Clasificacion de contenido para procesamiento de multimedia |
US8165167B2 (en) | 2005-03-10 | 2012-04-24 | Qualcomm Incorporated | Time tracking for a communication system |
JP2008536451A (ja) | 2005-04-14 | 2008-09-04 | トムソン ライセンシング | 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置 |
US20060239347A1 (en) * | 2005-04-25 | 2006-10-26 | Ashish Koul | Method and system for scene change detection in a video encoder |
US20060271990A1 (en) | 2005-05-18 | 2006-11-30 | Rodriguez Arturo A | Higher picture rate HD encoding and transmission with legacy HD backward compatibility |
KR100716998B1 (ko) | 2005-05-24 | 2007-05-10 | 삼성전자주식회사 | 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체 |
KR100718134B1 (ko) * | 2005-07-21 | 2007-05-14 | 삼성전자주식회사 | 비트율에 적응적인 영상 데이터 이진 산술 부호화/복호화장치 및 방법 |
US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
AT502881B1 (de) | 2005-10-05 | 2007-08-15 | Pirker Wolfgang Ddr | Zahnimplantat |
US9521584B2 (en) | 2005-10-17 | 2016-12-13 | Qualcomm Incorporated | Method and apparatus for managing data flow through a mesh network |
US20070206117A1 (en) | 2005-10-17 | 2007-09-06 | Qualcomm Incorporated | Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US7916784B2 (en) | 2005-10-20 | 2011-03-29 | Broadcom Corporation | Method and system for inverse telecine and field pairing |
US7433982B2 (en) | 2005-10-21 | 2008-10-07 | Microsoft Corporation | Transferable component that effectuates plug-and-play |
US20070171280A1 (en) | 2005-10-24 | 2007-07-26 | Qualcomm Incorporated | Inverse telecine algorithm based on state machine |
JP4984503B2 (ja) | 2005-11-28 | 2012-07-25 | 富士通株式会社 | 携帯端末装置およびソフトウェアインストール方法 |
US7587569B2 (en) | 2005-12-19 | 2009-09-08 | Yahoo! Inc. | System and method for removing a storage server in a distributed column chunk data store |
US7705913B2 (en) | 2005-12-20 | 2010-04-27 | Lsi Corporation | Unified approach to film mode detection |
US7835904B2 (en) | 2006-03-03 | 2010-11-16 | Microsoft Corp. | Perceptual, scalable audio compression |
US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
JP4929819B2 (ja) | 2006-04-27 | 2012-05-09 | 富士通株式会社 | 映像信号の変換装置及び方法 |
JP5412739B2 (ja) | 2008-03-26 | 2014-02-12 | 富士通株式会社 | 光増幅装置 |
-
2006
- 2006-10-03 US US11/538,421 patent/US8654848B2/en not_active Expired - Fee Related
- 2006-10-17 KR KR1020087011802A patent/KR20080068716A/ko not_active Application Discontinuation
- 2006-10-17 JP JP2008536770A patent/JP2009512400A/ja active Pending
- 2006-10-17 CL CL200602797A patent/CL2006002797A1/es unknown
- 2006-10-17 CN CNA2006800460155A patent/CN101326809A/zh active Pending
- 2006-10-17 EP EP06817115A patent/EP1938580A1/en not_active Ceased
- 2006-10-17 WO PCT/US2006/040712 patent/WO2007047758A1/en active Application Filing
- 2006-10-17 AR ARP060104528A patent/AR055450A1/es unknown
- 2006-10-17 TW TW095138252A patent/TW200803518A/zh unknown
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101426978B1 (ko) * | 2007-01-31 | 2014-08-07 | 톰슨 라이센싱 | 잠재적 샷 및 신 검출 정보의 자동 분류 방법 및 장치 |
US9135521B2 (en) | 2008-10-31 | 2015-09-15 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for determining the integral image |
KR20140017000A (ko) * | 2011-07-01 | 2014-02-10 | 애플 인크. | 카메라와 배경 모션에 기반한 기준 프레임 버퍼의 적응적 구성 |
US9232233B2 (en) | 2011-07-01 | 2016-01-05 | Apple Inc. | Adaptive configuration of reference frame buffer based on camera and background motion |
Also Published As
Publication number | Publication date |
---|---|
US20070160128A1 (en) | 2007-07-12 |
JP2009512400A (ja) | 2009-03-19 |
TW200803518A (en) | 2008-01-01 |
CN101326809A (zh) | 2008-12-17 |
US8654848B2 (en) | 2014-02-18 |
EP1938580A1 (en) | 2008-07-02 |
AR055450A1 (es) | 2007-08-22 |
CL2006002797A1 (es) | 2008-03-24 |
WO2007047758A1 (en) | 2007-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8654848B2 (en) | Method and apparatus for shot detection in video streaming | |
US9197912B2 (en) | Content classification for multimedia processing | |
JP5259608B2 (ja) | 映像符号化における参照フレームのサーチを軽減する装置及び方法 | |
EP2227019B1 (en) | Redundant data encoding methods and device | |
RU2377737C2 (ru) | Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения | |
KR101127432B1 (ko) | 전처리기 방법 및 장치 | |
US20100034274A1 (en) | Fast multi-frame motion estimation with adaptive search strategies | |
EP1574072A1 (en) | Video encoding with skipping motion estimation for selected macroblocks | |
US9432694B2 (en) | Signal shaping techniques for video data that is susceptible to banding artifacts | |
US8503520B2 (en) | Method and apparatus for encoding a flash picture occurring in a video sequence, and for decoding corresponding data for a flash picture | |
US20160360219A1 (en) | Preventing i-frame popping in video encoding and decoding | |
EP1921866A2 (en) | Content classification for multimedia processing | |
US20160156905A1 (en) | Method and system for determining intra mode decision in h.264 video coding | |
KR20150096353A (ko) | 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법 | |
KR101583870B1 (ko) | 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
J201 | Request for trial against refusal decision | ||
J301 | Trial decision |
Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20100514 Effective date: 20120723 |