KR20050085827A - Ｍｐｅｇ－２ 압축 비디오에 대한 편집 효과들 생성 방법 - Google Patents

Ｍｐｅｇ－２ 압축 비디오에 대한 편집 효과들 생성 방법 Download PDF

Info

Publication number
KR20050085827A
KR20050085827A KR1020057011530A KR20057011530A KR20050085827A KR 20050085827 A KR20050085827 A KR 20050085827A KR 1020057011530 A KR1020057011530 A KR 1020057011530A KR 20057011530 A KR20057011530 A KR 20057011530A KR 20050085827 A KR20050085827 A KR 20050085827A
Authority
KR
South Korea
Prior art keywords
picture
fixed
frames
macroblocks
pictures
Prior art date
Application number
KR1020057011530A
Other languages
English (en)
Inventor
데클란 피. 켈리
잔 에이. 디. 네스바드바
가셀 조제프 피. 반
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050085827A publication Critical patent/KR20050085827A/ko

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals

Abstract

본 발명은 압축된 비디오에 대한 편집 효과들을 생성하기 위한 방법 및 장치가 개시된 것으로 요약될 수 있다. 먼저, 편집 지점이 선택된다. 그 다음, 편집 l점의 각각의 측면 상의 2개의 앵커 화상들이 선택된다. 편집 지점에서 편집 전이를 생성하기 위해 일련의 프레임들이 생성된다. 일련의 프레임들은 B-화상 프레임들이 될 수 있거나, 인트라-코딩 매크로블록들을 포함하는 B-화상 프레임들이 될 수 있다.

Description

ＭＰＥＧ－２ 압축 비디오에 대한 편집 효과들 생성 방법{Creating edit effects on MPEG-2 compressed video}
본 발명은 비디오 컨텐트의 편집에 관한 것이며, 특히 비디오 스트림을 완전히 디코딩 및 기록할 필요 없이 압축 비디오에 대한 편집 전이들을 구현하기 위한 방법 및 장치에 관한 것이다.
디지털 카메라들, 캠코더들 및 저장 장치들(DVD들)과 같은 비디오 제품들에 대한 수요가 증가함으로 인해, 디지털 비디오 편집이 점진적으로 보급되게 되었다. 비디오 편집 효과들은 비디오 제품의 품질을 향상시킬 필요가 있다. 대부분의 비디오 편집은 급진적 전이들 및 점진적 전이들의 2개의 주요 카테고리들로 나누어질 수 있다. 점진적 전이들은 패닝, 틸팅, 주밍과 같은 카메라 이동들과 페이드-인, 페이드-아웃, 디졸빙, 와이핑과 같은 비디오 편집 특수 효과들을 포함한다. 급진적 전이는 전이가 2개의 프레임들 사이에 당면한 2개의 샷들 사이의 가장 간단한 편집이다.
다수의 프레임들에 걸쳐 특수 효과들이 점진적으로 발생한다. 가능한 비디오 특수 효과들의 수는 비디오 제품에서 매우 높지만, 대부분의 이들 특수 효과들은 페이딩, 디졸빙 또는 와이핑과 같은 여러 카테고리들이 된다. 페이딩 동안, 세기는 농담이 없는 색(solid color)으로 점진적으로 감소하거나, 이로부터 증가한다. 디졸브에서, 2개의 슬롯들이 부가적으로 혼합되며, 하나는 세기가 증가하고 다른 하나는 세기가 감소한다. 와이프들은 어떤 방향으로 프레임에 걸쳐 라인을 변환함으로써 발생되며, 라인의 각각의 측면의 컨텐트는 편집에 의해 분리된 2개의 화상들에 속한다. 모든 이들 특수 효과들은 2개의 장면들 사이에 점진적 전이들을 생성하기 위해 사용된다. 이들 비디오 편집 도구들은 공간 도메인 처리를 위해 설계된다.
이미지 및 비디오의 전송 및 저장을 위한 큰 채널 대역폭 및 메모리 요건은 비디오 압축 기술들의 사용을 요구한다. MPEG(Moving Pictures Experts Group) 압축이라 칭해지는 압축 표준은 화상간 압축 기술을 사용하는 전체 움직임 비디오 화상들의 압축 및 압축 해제를 위한 방법들의 세트이다. 화상내(intra-pictures)는 I-화상들로 칭해진다. 화상간은 2개의 그룹들로 나누어진다: P-화상들이라 칭해지는 과거 기준 요소들(past reference elements)만을 사용하여 코딩된 화상간, 및 B-화상들이라 칭해지는 과거 및/또는 미래 기준을 사용하여 코딩된 화상간.
그러므로, 멀티미디어 데이터베이스들의 비주얼 데이터는 압축 형태로 대부분 저장될 것으로 예상된다. 따라서, 압축된 비디오의 편집도 또한 필수적이다. 따라서, 통상적인 데스크탑 비디오 편집 시스템은 압축된 도메인 표현을 공간 도메인 표현으로 먼저 변환하고, 그 다음 공간 도메인 데이터에 대한 편집 기능을 수행해야 한다. 그 다음, 편집 시스템의 출력은 재압축되어야 한다. 이 디코딩, 처리 및 후속 재인코딩은 시스템 자원들의 고갈 및 시간 소모를 유발한다.
도 1은 본 발명의 실시예들을 주최하기에 적절한 오디오-비디오 장치의 블록도.
도 2는 본 발명의 적어도 하나의 실시예를 구현하기 위해 사용될 수 있는 셋탑 박스의 블록도.
도 3은 본 발명의 하나의 실시예에 따른 편집 지점을 예시한 비디오 스트림을 도시한 도면.
도 4는 본 발명의 하나의 실시예에 따른 편집된 비디오 스트림을 도시한 도면.
도 5는 본 발명의 하나의 실시예에 따른 수직 와이프 동작을 도시한 도면.
도 6은 전이를 따르는 매크로블록들이 본 발명의 하나의 실시예에 따른 오리지널 블록들로부터 생성되는 방법을 도시한 도면.
도 7(a) 내지 도 7(b)은 본 발명의 하나의 실시예에 따른 원 와이프들을 도시한 도면.
도 8(a) 내지 도 8(b)는 본 발명의 하나의 실시예에 따른 사각 와이프들을 도시한 도면.
본 발명의 목적은 더 적은 디코딩 및 재인코딩으로 압축된 비디오에 대한 편집 효과들을 제공하기 위한 방법 및 장치를 제공함으로써 상술된 결함들을 극복하는 것이다. 시스템은, 압축된 도메인에서 모든 처리가 수행되는 화상의 코딩 버전을 복사 및 수정하고 효과들을 발생하기 위하여 2개의 시퀀스들 간의 고정된 비트 패턴들을 도입함으로써 오리지널 비디오 스트림들을 수정하지 않는 편집 효과들을 도입한다.
본 발명의 한 실시예에 따라서, 압축된 비디오 데이터에 대한 편집 효과들을 생성하는 방법 및 장치가 개시된다. 먼저, 편집 지점이 선택된다. 그 다음, 편집 지점의 각 측면의 2개의 앵커 화상들이 선택된다. 편집 지점에서 편집 전이를 생성하기 위해 일련의 프레임들이 생성된다. 일련의 프레임들은 B-화상 프레임들, I-화상 프레임들, 또는 인트라-코딩된 매크로블록들을 포함하는 B-화상 프레임들이 될 수 있다.
본 발명의 이들 및 다른 양상들은 후술되는 실시예들을 참조하여 명확해질 것이다.
본 발명은 첨부 도면들을 참조하여 실시예에 의해 기술될 것이다.
본 발명의 하나의 실시예에 따라, 압축된 비디오 스트림들에 대한 편집 효과들이 종래의 방법들보다 더 적은 디코딩 및 재인코딩이 제공된다. 이러한 효과들은 편집 동작의 출력이 유효한 비디오 스트림이기 때문에, 편집된 시퀀스가 디지털 인터페이스를 통해 재생될 때 포함될 수 있다. 이 동작들은 인터페이스 처리의 일부로서 발생될 수 있고, 오프라인으로 생성되거나 디스크에 저장될 필요가 없다.
본 발명은, 비디오 데이터가 MPEG-2(Motion Pictures Expert Group) 표준에 따라 압축되는 본 발명의 실시예를 기술함으로써 명백해질 것이다. 이 표준에 따라, 압축된 비디오 스트림은 인트라-코딩된 프레임들(또한, I-프레임들이라고 알려짐) 및 인터-코딩된 프레임들로부터 만들어졌다. 인트라-코딩된 프레임들은 압축된 비디오 스트림의 프레임(이들은 소위 B-프레임들이다)으로 다시 지시(point back)될 수 있거나, 압축된 비디오 스트림의 프레임(이들은 소위 P-프레임들이다)으로 다시 지시될 수 있다.
프레임들은 매크로블록들로 분할되고, 인터- 및 인트라- 코딩뿐만 아니라 역방향 및 순방향 포인팅은 매크로블록 레벨 상에서 행해진다. MPEG-2는 움직임 추적에 기초하며, B-프레임 내의 최초 위치에서의 B-프레임의 매크로블록이 선행하는 I-프레임 내의 제 2 위치로 지시될 수 있음을 의미한다.
본 발명의 하나의 실시예에서, 제 1 시퀀스가 최종 디스플레이된 프레임으로서 P-프레임 또는 I-프레임으로 끝나고 제 2 시퀀스가 I-프레임으로 시작하는 것으로 가정한다. 이것은 일부 여분의 프레임들을 무시함으로써 달성될 수 있다. 필요하다면, 다른 원하지 않는 화상들을 다시 폐기함으로써 제 1 시퀀스의 최종 화상들을 I-프레임으로 선택할 수 있다.
상술된 바와 같이, 편집 효과들은 효과들을 발생하기 위하여 2개의 화상들 사이의 고정된 비트 패턴들을 도입하고, 모든 처리들이 압축 도메인에서 수행되는 화상의 코딩된 버전을 복사 및 수정함으로써 오리지널 비디오 스트림들을 수정하지 않고 도입될 수 있다.
후술되는 바와 같이, 또한 이들 두 방식들의 조합은, 일부 매크로블록들이 움직임 벡터들만을 사용하여 코딩되고 다른 매크로블록들이 오리지널 화상들을 복사 및 수정함으로써 생성되는 경우, 단일 전이에서 가능하다. 이들 기술들을 사용하여, 와이프들, 페이드 아웃, 크로스-페이드 등과 같은 표준 편집 효과들이 제공된다. 또한 아날로그 비디오 처리에서 정상적으로 발견되지 않지만 MPEG-2 코딩의 특성으로 인해 발생될 수 있는 다른 편집 효과들이 제공될 수 있다.
도 1은 본 발명을 주최하기에 적절한 오디오-비디오 장치를 도시한다. 장치는 디크스(3) 상에 기록될 디지털 비디오 신호를 수신하는 입력 단자(1)를 포함한다. 또한, 장치는 디스크로부터 재생된 디지털 비디오 신호를 공급하는 출력 단자(2)를 포함한다. 이들 단자들은 디지털 인터페이스를 통해 셋탑 박스(STB; 12)의 형태로 디지털 텔레비전 수신기 및 디코더에 접속되어 사용될 수 있으며, 상기 셋탑 박스(12)는 위성, 케이블 등으로부터 방송 신호들을 MPEG TS 포맷으로 수신한다. 셋탑 박스(12)는 디스플레이 신호들을 디스플레이 장치(14)에 제공하고, 디스플레이 장치(14)는 종래의 텔레비전 시트가 될 수 있다.
디스크(3)의 데이터 영역은 대응하는 섹터 어드레스를 갖는 물리적 섹터들의 인접하는 범위(contiguous range)로 이루어져 있다. 이 어드레스 공간은 시퀀스 영역들로 나누어져 있으며, 시퀀스 영역은 섹터들의 인접하는 시퀀스이다. 도 1에 도시된 비디오 코딩 장치는 2개의 주요 시스템 부분들, 즉 디스크 서브시스템(6) 및 비디오 기록기 서브시스템(8)으로 이루어져 있으며, 비디오 기록기 서버시스템(8)은 기록 및 재생 모두를 제어한다. 2개의 버스시스템들은 쉽게 이해되는 바와 같이, 디스크 서브시스템이 로컬 어드레스들(LA)에 의해 명백하게 어드레싱될 수 있고 데이터를 디스크로부터 판독 및/또는 디스크에 기록하는 최대 유지 가능한 비트-레이트를 보증할 수 있음을 포함하는 다수의 특징들을 가진다.
이러한 장치를구현하기 위한 적절한 하드웨어 배열들은 특허 출원 제 WO-A-00/00981호에 예시된 일례에 의해 당업자에게 공지되어 있다. 이 장치는 신호 처리 유닛들, 판독/기록 유닛을 포함하며, 판독/기록 유닛은 디스크(3)로부터 판독/디스크에 기록하도록 구성된 판독/기록 헤드를 포함한다. 엑추에이터들(actuators)은 디스크에 걸쳐 방사 방향으로 헤드를 위치시키고 모터가 디스크를 회전시킨다. 마이크로프로세서는 공지된 방식으로 모든 회로를 제어하기 위해 존재한다.
도 2는 본 발명에 따른 장치의 실시예를 도시한다. 장치는 정보 신호를 수신하기 위한 입력 단자(1) 및 신호 처리 유닛(100)을 포함한다. 신호 처리 유닛(100)은 입력 단자(1)를 통해 비디오 정보 신호를 수신하고, 디스크(3) 상에 정보 파일을 기록하기 위해 비디오 정보를 정보 파일로 처리한다. 또한, 판독/기록 유닛(102)이 이용 가능하다. 기록/판독 유닛(102)은 판독/기록 헤드(104)를 포함하며, 판독/기록 헤드(104)는 본 예에서, 정보 파일을 디스크(3)로부터 판독/디스크에 기록하는 광 판독/기록 헤드이다. 또한, 위치 수단(106)은 디스크(3)에 걸쳐 방사 방향으로 헤드(104)를 위치시키기 위해 존재한다. 판독/기록 증폭기(108)는 기록될 신호를 증폭하기 위하여 존재하며 디스크(3)로부터 판독된 신호를 증폭한다. 모터(110)는 모터 제어 신호 발생기 유닛(112)에 의해 공급된 모터 제어 신호에 응답하여 디스크(3)를 회전시키는데 이용 가능하다. 마이크로프로세서(114)는 제어 라인들(116, 118 및 120)을 통해 모든 회로들을 제어하기 위해 존재한다. 입력 유닛(130)은 사용자가, 편집 전이가 부가될 비디오 데이터의 편집 지점을 선택하도록 한다.
신호 처리 유닛(100)은 입력 단자(1)을 통해 수신된 비디오 데이터를 채널 신호의 정보 블록들로 변환하도록 적응된다: 정보 블록들의 크기는 가변적이지만, 예를 들어 2MB 내지 4MB일 수 있다. 기록 유닛(102)은 디스크(3) 상의 시퀀스 영역에 채널 신호의 정보 블록을 기록하도록 적응된다. 오리지널 비디오 신호에 대응하는 정보 블록들은 인접할 필요가 없는 많은 시퀀스 영역들로 기록되며, 이는 조각된 기록으로 알려져 있다. 후술되는 바와 같이, 신호 처리 유닛(100)은 다양한 편집 동작들에 따라 편집 전이들을 생성한다.
본 발명의 하나의 실시예에 따라, 2개의 화상들 사이의 전이는 오리지널 화상들을 참조하는 움직임 벡터들을 사용하는 새로운 화상들을 삽입함으로써 생성된다. 삽입된 새로운 화상들은 B-화상들이며, 따라서, 구형 앵커 화상, 새로운 앵커 화상 또는 두 화상들을 의미할 수 있다. 움직임 벡터들이 매크로블록마다 규정되며, 각 매크로블록은 구형 화상 또는 새로운 화상 또는 둘의 조합으로부터 선택될 수 있다.
오리지널 시퀀스가 B-화상들을 포함한다면, B-화상의 시퀀스가 삽입되는 경우 문제가 있다. 화상 재순서화로 인해, 제1 시퀀스의 최종 I/P 화상은 삽ㅇㅂ된 B-화상들 후에 디스플레이될 것이다. 이를 처리하기 위해, 제 2 시퀀스의 제 1 I-화상은 삽입된 화상들의 세트 전에 배치될 수 있다. 예를 들어, 오리지널 스트림이 도 3에 도시된 바와 같다면, 편집 지점은 B15와 I20 사이에서 발생한다. 본 발명에 따라, I-화상 I20은 편집 지점 전에 삽입되고, 편집 전이는 도 4에 도시된 프레임들 Bx1 Bx2...Bxn에 의해 발생된다.
특정 움직임 벡터들을 가진 B-화상들의 시퀀스를 발생함으로써, 2개의 오리지널 화상들 사이에 전이가 발생할 수 있다. 삽입될 B-화상들의 시퀀스는 오리지널 화상들의 컨텐트와 무관하고, 그래서 B-화상들의 동일한 시퀀스는 오리지널 화상들의 컨텐트와 무관한 동일 효과를 발생할 것이다. 삽입된 B-화상들의 크기는 매우 작아서 낮은 평균 비트 레이트를 유발할 것이다.
와이프 동작은 한 화상에서 다른 화상으로의 전이이며, 수평, 수직 또는 대각으로 수행될 수 있다. 예를 들어, 도 5는 수직 와이프를 도시한다. MPEG-2에서 와이프를 수행하기 위하여, 각 매크로블록은 제 1 또는 제 2 앵커 화상으로부터 선택된다. MPEG-2 코딩의 제약들(움직임 벡터들이 화상의 코딩된 부분 바깥쪽을 지적해야 한다)로 인해, 와이프는 블록마다 구현된다. 이러한 종류의 와이프 효과는 제 1 또는 제 2 앵커 화상으로부터 블록들을 선택하는데 B-화상들을 사용하여 구현될 수 있다.
예를 들어, 도 5에 예시된 화상의 왼쪽으로부터 와이프를 구현하기 위하여, 초기의 모든 블록들이 제 1 앵커 화상(502)으로부터 취해진다. 와이프의 다음 단계에서, 모든 가장 왼쪽 블록들이 제 2 앵커 화상(504)으로부터 취해지고, 매크로블록들의 나머지는 제 1 앵커 화상(502)으로부터 취해진다. 다음 단계에서, 블록들의 부가의 로우(row)는 제 2 앵커 화상(504)으로부터 선택되고, 제 1 앵커 화상(502)이 제 2 앵커 화상(504)에 의해 대체될 때까지 계속된다. 삽입된 B-화상들을 반복함으로써, 횟수, 와이프의 속도가 제어된다.
이 와이프 효과의 여러 변동들이 존재한다. 제 1 변동에서, 제 2 앵커 화상은 제 1 앵커 화상을 대체하지만, 모든 블록들은 스크린 상의 정규 위치에서 보여진다(그리고, 모든 움직임 벡터들은 영이다). 제 2 변동은 가장 왼쪽 칼럼에서 제 2 앵커 화상으로부터의 블록들의 가장 오른쪽 칼럼을 보여줌으로써 수행되고, 제 2 앵커 화상으로부터의 블록들은 제 1 앵커 화상을 가로질러 밀어낸다. 유사하게, 제 2 앵커 화상은 제 1 앵커 화상을 스크린 밖으로 밀어내는 것으로 나타날 수 있는데, 즉, 블록들은 각 반복 동안 오른쪽으로 한 위치를 이동한다. 이들의 변동들도 또한 가능하며, 예컨대, 새로운 화상은 구형 화상이 정지하는 것으로 나타나는 동안 가로질러 밀어내는 것으로 나타난다.
대안적 실시예에서, 와이프는 평탄한 픽셀마다 기초하지 않고 블록마다 기초하여 수행된다. 다른 변동들은 구형 및 새로운 화상들의 블록들을 병합하기 위하여 양방향 B-화상들을 사용하는 것이며, 즉, B-화상들은 제 1 화상으로부터의 블록 및 제 2 화상으로부터의 블록을 지시하며, 이것은 와이프 동안, 제 2 화상이 제 1 화상을 대체하기 전에 블록들이 병합되는 것을 의미한다. 유사하게, 이들 와이프 효과들은 수평 방향으로 행해질 수 있다.
다른 와이프 변형들이 또한 가능하며, 에컨데, 왼쪽 및 오른쪽(또는 상부 및 하부)으로부터 와이프하여 중간에서 만난다. 부가적으로, 와이프는 상부 코너에서 시작하여 대각선 식으로 완전한 화상을 통해 연장할 수 있다. 왼쪽으로부터 짝수 매크로블록 로우들 및 그 다음 오른쪽 방향으로부터 홀수 매크로블록 로우들을 와이프하거나, 또는 반대 방향들로부터 동시에 둘 다 와이프하는 것이 또한 가능하다. 또한, 유사한 동작들이 수평 와이프들에 대해 수행될 수 있다.
셀룰러 자동 조작 방식 전이들을 위해, 구형 화상으로부터의 몇몇 블록들은 새로운 화상으로부터의 블록들로 대체된다. 그 다음, 미리 결정된 규칙에 기초하여, 다른 블록들이 각각의 연속 반복으로 대체된다. 예를 들어, 대체 규칙은 이미 대체된 블록 부근에 있는 임의의 블록이 대체되는 규칙이 될 수 있다. 이것은 구형 화상의 외부로 나아가는(grow) 새로운 화상의 영향을 제공한다. 이것은 또한, 구형 화상이나 새로운 화상에 지적하는 0 크기의 움직임 벡터들을 사용하여 수행될 수 있다. 이러한 방식으로, 다른 화상의 동일한 블록이 선택된다. 이러한 동작의 변동은 구형 화상의 블록이 구형 및 새로운 화상 모두에서, 그리고 제 2 화상으로부터의 블록에 의해 대체되는 다음 반복에서 동일한 위치에 있는 블록을 조합함으로써(둘 다 영인 두 움직임 벡터들을 가짐으로써 행해짐) 대체되는 경우이다.
인트라-코딩된 화상들의 조작을 사용하는 효과들에 대해, 인트라-코딩된 블록들을 복사 및 조작함으로써 전이들이 발생된다. 이것은 구형 및 새로운 화상들을 독립적으로 조작하거나 둘을 서롤 조합하는 것을 수반할 수 있다. 2개의 오리지널 화상들은 둘 다 I-화상들이 되어야 하며, 삽입된 화상들은 또한 I-화상들로 코딩된다. 2개의 오리지널 화상들의 이산 코사인 변환(DCT) 계수 블록들은 편집 전이들을 야기하도록 조작된다. 이 실시예가 VLC 디코딩 및 인코딩을 수반하고 있지만 코딩은 전체 MPEG-2 디코딩 및 인코딩보다 훨씬 더 낮은 복잡성을 가진다. I-프레임들의 시퀀스를 삽입하는 것은 비트 레이트를 증가시킬 수 있지만 어떤 해결책들은: 평균 비트 레이트를 감소시키고 복사를 야기하기 위해 빈(empty) P-프레임들을 삽입하고, 또한 페이드의 속도를 낮추고; 코딩된 비트들을 감소시키기 위해 I-프레임의 양자화 규모를 증가시킨다. 일바적으로, 편집 효과는 쉽게 코딩될 수 있는 화상들로의 전이들을 수반하며, 요구된 비트들의 수가 전이시 나중에 더 작아질 것이다.
페이드 아웃 동작은 I-프레임을 다수 번 복사함으로써 수행될 수 있고, 각각의 회수는 미리 결정된 인자에 의해 모든 계수들의 크기를 감소시키며, 감소 크기는 전이의 속도를 결정한다. 화상이 페이드 아웃됨에 따라, 필요한 비트들의 수는 매우 신속히 감소해야 한다. 유사하게, 페이드-인 동작은 반대 방법으로 수행된다. 페이드 아웃은 또한 다른 효과들과 조합될 수 있다. 흐릿한 페이드 아웃은 매크로블록들에서 더 높은 주파수 성분들을 버림(throwing away)으로써 달성될 수 있다. 페이드 아웃이 뒤따르는 블랙-화이트로의 페이드는 휘도 성분을 감소하기 시작하기 전에 먼저 색 성분들을 (점진적을) 감소시킴으로써 달성될 수 있다.
교차-페이드 동작에 대해, 제 1 시퀀스로부터 제 2 시퀀스로의 평탄한 전이가 발생된다. 블랙으로의 페이드와 같이, 교차 페이드는 I-프레임들로부터의 DCT 계수들에 대해 동작함으로써 수행될 수 있다. 기본적으로 2개의 I-프레임들로부터의 DCT 계수들은 다음과 같이 부가된다: a*DCT1+(1-a)*DCT2, 여기서 a는 1에서 시작하여 1로 진행한다. 전이의 지속구간은 계수 a를 증가시키기 위한 속도를 선택함으로써 변경될 수 있다.
DC 교차 페이드 동작 동안, 구형 화상은 DC값만으로 페이드되며, 즉, 각각의 연속 화상에서 더 많은 AC 계수들이 제거된다. 그 외에도, 새로운 화상의 DC 계수의 인자가 가산되고 그 결과는 2개의 DC 값들의 평균이 되된다. 그 다음, 제 1 화상의 DC 계수는 새로운 화상의 AC 계수들을 부가하는 동안 페이드 아웃될 수 있다. 이러한 동작의 변동들은 먼저 색도(U, V) 계수들로 이를 수행하거나, 또는 이들을 특수한 값으로 페이드함으로써 생성될 수 있다. 제 3 번동은 구형 화상 휘도가 새로운 화상 색도와 조합된 다음 새로운 화상 휘도로 페이드되도록 (a, 1-a)를 상요하여 U, V 계수들 사이를 먼저 페이드하는 것이다.
동시에 인트라 코딩된 블록들의 조작과 2개의 움직임 벡터들을 사용하여 조합하는 편집 효과들을 생성하는 것이 또한 가능하다. 이 경우, 삽입된 화상은 일부 인트라 코딩된 매크로블록들과 B-화상들이 될 것이다. 상술한 바와 같이. 한 화상으로부터 다른 화상으로의 전이가 수평 또는 수직으로 수행되는 와이프가 발생한다. 도 6은 전이를 따르는 매크로블록이 오리지널 블록들로부터 생성되는 방법을 도시한다. 제 1 시퀀스(601) 및 제 2 시퀀스(602)로부터의 화상들의 선택된 부분들은 (디코딩 도메인에서) 조합되고, 블록들은 인트라-코딩된 블록들로서 재인코딩돈다.
다른 매크로블록들은 이전 또는 다음 화상으로부터 직접 복사된다. MPEG-2 표준이 화상 외부를 지적하는 움직임 벡터들을 명시적으로 포함하지 않기 때문에, 전이(604)를 따르는 이들 블록들이 재인코딩(인트라)될 필요가 있다. 도 6에 도시된 바와 같이, 2개의 화상들 사이에 하드 브레이크(hard break; 603)가 있다. 전이를 따르는 평균 효과를 제공하기 위해 2개의 화상들 사이에 일부 오버랩하는 픽셀들을 가지는 것이 또한 가능하다.
와이프의 여러 변동들이 가능하다. 제 1 경우, 새로운 화상은 스크린으로부터 구형 화상을 밀어낸다. 제 2 경우, 새로운 화상은 구형 화상을 겹쳐 쓰지만, 구형 화상의 스크린 상의 위치 변경은 없다. 다른 와이프 변형들이 또한 가능하며, 즉, 왼쪽 및 오른쪽 모두로부터(또는 상부 및 하부) 와이프하여 중간에서 만난다. 상부 코너로부터 와이프하여 완전한 화상을 통해 연장한다. 왼쪽으로부터 짝수 매크로블록 로우들과 오른쪽으로부터 홀수 매크로블록 로우들을 와이프하거나, 또는 반대 방향들로 둘 다 동시에 와이프하는 것이 가능하다.
원형 와이프들에 대해, 새로운 화상은 중앙 지점에서 나타나고 도 7(a)에 도시된 원들을 외부로 연장함으로써 구형 화상들을 대체한다. 새로운 화상이 에지들 상의 원 내에 나타나는 반대의 경우, 지점으로의 이동들이 또한 가능하고 도 7(b)에 도시된다. 이들 이미지들이 디스플레이될 때 일부 경우들에서 전이가 원형이 아니라 타원형이 될 수 있음을 이해할 것이다.
완전하게 원형 내부 또는 외부에 있는 매크로블록들에 대해, 문제가 없으며, 매크로블록들은 벡터 움직임을 사용함으로써 구형 화상 또는 새로운 화상으로부터 취해질 것이다. 원형 상의 매크로블록들에 대해, 원형 효과들을 생성하고 인트라 코딩된 블록으로서 그 블록을 인코딩하기 위하여 2개의 블록들을 디코딩하고 그 다음에 구형 및 새로운 화상들로부터 적절한 픽셀들을 선택하는 것이 필요하다. 원형 상의블록들을 재인코딩함으로써, 전이 지점의 깨끗한 브레이크가 달성될 수 있다. 예를 들면, 평탄하지 않은 흐릿한 전이를 제공하기 위하여 2개의 블록들(두 블록들에 대한 움직임 벡터들을 사용함)을 조합하는 것이 또한 가능하다. 중간 지점에서부터 나오지만 사각형으로서 확장하고 에지들에서 시작하여 중앙을 향해 내부로 이동하는 새로운 화상인 것을 제외하고 유사한 효과가 또한 도 8(a) 내지 도 8(b)에 도시된 바와 같이 가능하다. 이러한 경우에 다시, 경계 주위의 블록들은 깨끗한 브레이크를 얻기 위하여 재인코딩되어야 한다.
일부 단계들의 타이밍이 본 발명의 전체 동작에 악영향을 미치지 않고 교환될 수 있는 바와 같이, 본 발명의 상이한 실시예들이 상술된 단계들의 정확한 순서로 제한되는 것이 아님을 이해할 것이다. 더욱이, 용어 "포함"은 다른 요소들 또는 단계들을 배제하지 않으며, 용어 "하나(a 및 an)"는 복수를 배제하지 않으며, 단일 처리기 또는 다른 유닛들은 청구항에 청구된 여러 유닛들 또는 회로들의 기능들을 이행할 수 있다.
본 발명은 압축된 비디오에 대한 편집 효과들을 생성하기 위한 방법 및 장치가 개시된 것으로 요약될 수 있다. 먼저, 편집 지점이 선택된다. 그 다음, 편집 l점의 각각의 측면 상의 2개의 앵커 화상들이 선택된다. 편집 지점에서 편집 전이를 생성하기 위해 일련의 프레임들이 생성된다. 일련의 프레임들은 B-화상 프레임들이 될 수 있거나, 인트라-코딩 매크로블록들을 포함하는 B-화상 프레임들이 될 수 있다.

Claims (23)

  1. 압축된 비디오 데이터에 대한 편집 효과들을 생성하는 방법에 있어서:
    편집 지점을 선택하는 단계;
    상기 편집 지점의 각 측면 상에 2개의 다른 화상을 선택하는 단계; 및
    상기 편집 지점에서 편집 전이(edit transition)를 생성하기 위해 일련의 프레임들을 생성하는 단계를 포함하는 편집 효과들 생성 방법.
  2. 제 1 항에 있어서,
    상기 일련의 프레임들은 B-화상 프레임들인, 편집 효과들 생성 방법.
  3. 제 2 항에 있어서,
    상기 일련의 B-화상 프레임들은 제 1 고정 화상(anchor picture), 제 2 고정 화상 또는 상기 제 1 및 제 2 고정 화상들의 조합을 참조하는, 편집 효과들 생성 방법.
  4. 제 2 항에 있어서,
    상기 편집 효과는 와이프(wipe)인, 편집 효과들 생성 방법.
  5. 제 2 항에 있어서,
    상기 편집 효과는 페이드(fade)인, 편집 효과들 생성 방법.
  6. 제 3 항에 있어서,
    상기 편집된 이미지의 각각의 매크로블록은 상기 제 1 고정 화상, 상기 제 2 고정 화상 또는 상기 제 1 및 제 2 고정 화상들의 조합으로부터 선택되는, 편집 효과들 생성 방법.
  7. 제 6 항에 있어서,
    상기 메크로블록마다 움직임 벡터들이 정의되는, 편집 효과들 생성 방법.
  8. 제 4 항에 있어서,
    상기 와이프 효과는 상기 제 1 고정 화상으로부터의 전이의 제 1 측면에 대한 매크로블록들을 선택하고 상기 제 2 고정 화상으로부터의 전이의 제 2 측면에 대한 매크로블록들을 선택함으로써 생성되는, 편집 효과들 생성 방법.
  9. 제 8 항에 있어서,
    상기 전이의 제 2 측면에 대한 매크로블록들은 결과로서 생긴 화상의 최종 위치에 대응하는 위치에서 보여지는, 편집 효과들 생성 방법.
  10. 제 8 항에 있어서,
    상기 제 2 고정 화상의 매크로블록들은 상기 제 1 고정 화상을 가로질러 밀어내도록 나타나는, 편집 효과들 생성 방법.
  11. 제 8 항에 있어서,
    상기 제 2 고정 화상은 상ㄱ 제 1 고정 화상을 스크린밖으로 밀어내도록 나타나는, 편집 효과들 생성 방법.
  12. 제 4 항에 있어서,
    상기 와이프는 수직, 수평 또는 직각 방향으로 수행되는, 편집 효과들 생성 방법.
  13. 제 12 항에 있어서,
    상기 와이프는 상기 제 1 고정 화상의 두 측면 상에서 시작되어 상기 제 1 고정 화상의 중간에서 만나는, 편집 효과들 생성 방법.
  14. 제 6 항에 있어서,
    상기 제 1 고정 화상으로부터의 매크로블록들은 상기 제 2 고정 화상의 블록들을 대응시킴으로써 랜덤하게 대체되는, 편집 효과들 생성 방법.
  15. 제 6 항에 있어서,
    상기 제 1 고정 화상으로부터의 매크로블록들을 상기 제 1 및 제 2 고정 화상들의 대응하는 매크로블록들의 조합으로 랜덤하게 대체하는 단계; 및
    상기 조합 매크로블록들을 상기 제 2 고정 화상으로부터의 대응하는 매크로블록들로 대체하는 단계를 포함하는, 편집 효과들 생성 방법.
  16. 제 1 항에 있어서,
    상기 일련의 프레임들은 I-화상 프레임들인, 편집 효과들 생성 방법.
  17. 제 16 항에 있어서,
    상기 2개의 고정 화상의 DCT 계수 블록들은 상기 편집 전이를 생성하기 위해 상기 일련의 I-화상 프레임들에서 조작되는, 편집 효과들 생성 방법.
  18. 제 17 항에 있어서,
    상기 편집 효과는 페이드인, 편집 효과들 생성 방법.
  19. 제 18 항에 있어서,
    상기 페이드 효과는 상기 편집 전이의 각각의 연속하는 I-화상 프레임에서 미리 결정된 인자에 의해 모든 DCT 계수들의 크기를 감소시킴으로써 생성되는, 편집 효과들 생성 방법.
  20. 제 17 항에 있어서,
    제 1 고정 화상의 DCT 계수들은 0으로 감소되고, 제 2 고정 화상의 DCT 계수들은 0에서 상기 편집 전이의 각각의 연속하는 I-화상 프레임의 실제 값들로 증가되는, 편집 효과들 생성 방법.
  21. 제 1 항에 있어서,
    상기 일련의 프레임들은 인트라-코딩 매크로블록들을 포함할 수 있는 B-화상 프레임들인, 편집 효과들 생성 방법.
  22. 제 21 항에 있어서,
    상기 인트라-코딩 매크로블록들은 상기 2개의 고정 화상의 이미지들 사이의 전이를 형성하는 매크로블록들인, 편집 효과들 생성 방법.
  23. 압축된 비디오 데이터에 대한 편집 효과들을 생성하는 장치에 있어서:
    편집 지점을 선택하는 수단(130);
    상기 편집 지점의 각각의 측면에 대한 2개의 고정 화상을 선택하는 수단(100); 및
    상기 편집 지점에서 편집 전이를 생성하기 위해 일련의 프레임들을 생성하는 수단(100)을 포함하는, 편집 효과들 생성 장치.
KR1020057011530A 2002-12-20 2003-11-28 Ｍｐｅｇ－２ 압축 비디오에 대한 편집 효과들 생성 방법 KR20050085827A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02080531 2002-12-20
EP02080531.3 2002-12-20

Publications (1)

Publication Number Publication Date
KR20050085827A true KR20050085827A (ko) 2005-08-29

Family

ID=32668828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057011530A KR20050085827A (ko) 2002-12-20 2003-11-28 Ｍｐｅｇ－２ 압축 비디오에 대한 편집 효과들 생성 방법

Country Status (7)

Country Link
US (1) US20060285819A1 (ko)
EP (1) EP1579451A1 (ko)
JP (1) JP2006511147A (ko)
KR (1) KR20050085827A (ko)
CN (1) CN1726552A (ko)
AU (1) AU2003283675A1 (ko)
WO (1) WO2004057609A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9355681B2 (en) 2007-01-12 2016-05-31 Activevideo Networks, Inc. MPEG objects and systems and methods for using MPEG objects
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715898B2 (en) * 2003-12-16 2017-07-25 Core Wireless Licensing S.A.R.L. Method and device for compressed-domain video editing
JP4651344B2 (ja) * 2004-09-28 2011-03-16 池上通信機株式会社 Ｍｐｅｇ−２ストリームのワイプ切換方法
JP4438994B2 (ja) * 2004-09-30 2010-03-24 ソニー株式会社 動画像データの編集装置および動画像データの編集方法
US20060285586A1 (en) * 2005-05-16 2006-12-21 Ensequence, Inc. Methods and systems for achieving transition effects with MPEG-encoded picture content
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US8239766B2 (en) * 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
TWI393114B (zh) * 2007-09-05 2013-04-11 Htc Corp 在作業系統切換時逐步調整螢幕亮度的方法
US8149917B2 (en) * 2008-02-01 2012-04-03 Activevideo Networks, Inc. Transition creation for encoded video in the transform domain
US8233709B2 (en) * 2009-03-06 2012-07-31 Sony Corporation Color effects for compressed digital video
CN102194441A (zh) * 2010-03-10 2011-09-21 鸿富锦精密工业（深圳）有限公司 在电子装置中切换显示图片的方法
WO2012051528A2 (en) 2010-10-14 2012-04-19 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
WO2012138660A2 (en) 2011-04-07 2012-10-11 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
RU2565601C1 (ru) * 2014-08-15 2015-10-20 Александр Иванович Бурчак Способ автоматического редактирования видеоконтента
CN104469402A (zh) * 2014-12-13 2015-03-25 深圳国微技术有限公司 在压缩视频流中叠加应用数据的方法、装置及条件接收器
US10636451B1 (en) * 2018-11-09 2020-04-28 Tencent America LLC Method and system for video processing and signaling in transitional video scene

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997030544A2 (en) * 1996-02-20 1997-08-21 Sas Institute, Inc. Method and apparatus for transitions, reverse play and other special effects in digital motion video
JP4503858B2 (ja) * 1999-04-14 2010-07-14 ライト チャンス インコーポレイテッド 遷移ストリームの生成／処理方法
AUPR133700A0 (en) * 2000-11-09 2000-11-30 Mediaware Solutions Pty Ltd Transition templates for compressed digital video and method of generating same

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US9355681B2 (en) 2007-01-12 2016-05-31 Activevideo Networks, Inc. MPEG objects and systems and methods for using MPEG objects
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US10506298B2 (en) 2012-04-03 2019-12-10 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US10757481B2 (en) 2012-04-03 2020-08-25 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US11073969B2 (en) 2013-03-15 2021-07-27 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US10200744B2 (en) 2013-06-06 2019-02-05 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks

Also Published As

Publication number Publication date
WO2004057609A1 (en) 2004-07-08
CN1726552A (zh) 2006-01-25
AU2003283675A1 (en) 2004-07-14
EP1579451A1 (en) 2005-09-28
US20060285819A1 (en) 2006-12-21
JP2006511147A (ja) 2006-03-30

Similar Documents

Publication Publication Date Title
KR20050085827A (ko) Ｍｐｅｇ－２ 압축 비디오에 대한 편집 효과들 생성 방법
JP3493872B2 (ja) 画像データ処理方法およびその装置
JP3591033B2 (ja) 符号化データの特殊再生方法および特殊再生装置
US7127152B2 (en) Method of and arrangement for recording and reproducing video images
JPH10145798A (ja) デジタル符号化信号処理方式
JP2000278692A (ja) 圧縮データ処理方法及び処理装置並びに記録再生システム
JP3182289B2 (ja) 画像記録方法及び画像記録装置
JP4310195B2 (ja) エンコードされたオーディオ／ビデオシーケンスの編集
JP3034173B2 (ja) 画像信号処理装置
JP3253530B2 (ja) 動画像記録装置
KR20020069724A (ko) 디지털 영상 기록/재생 장치의 영상 데이터 관리방법
US6128340A (en) Decoder system with 2.53 frame display buffer
JP4171414B2 (ja) シャドー・イントラ・ピクチャの挿入によるビデオ変更方法およびシステム
JP2001352524A (ja) 再生装置及び再生方法
US20040179032A1 (en) Method of intelligent video stream modification
JP2007142809A (ja) 映像記録装置
CN100375541C (zh) 运动图像专家组编码信号的特技播放再现
KR100286413B1 (ko) 비디오 신호 처리 장치
JP3448961B2 (ja) 映像信号処理装置
JP3507990B2 (ja) 動画像再生装置及び動画像記録再生装置
JP2947581B2 (ja) Ｄｃｔ圧縮動画データの記録・再生方式
JPH0898142A (ja) 画像再生装置
JP3541910B2 (ja) 映像信号処理装置
JP4380068B2 (ja) データ再生装置及び編集装置
JP4651344B2 (ja) Ｍｐｅｇ−２ストリームのワイプ切換方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid