KR20100111739A - 변환 도메인에서 인코딩된 비디오용 장면전환 생성 - Google Patents

변환 도메인에서 인코딩된 비디오용 장면전환 생성 Download PDF

Info

Publication number
KR20100111739A
KR20100111739A KR1020107019512A KR20107019512A KR20100111739A KR 20100111739 A KR20100111739 A KR 20100111739A KR 1020107019512 A KR1020107019512 A KR 1020107019512A KR 20107019512 A KR20107019512 A KR 20107019512A KR 20100111739 A KR20100111739 A KR 20100111739A
Authority
KR
South Korea
Prior art keywords
image
images
transform
data
encoded
Prior art date
Application number
KR1020107019512A
Other languages
English (en)
Inventor
뎅지 장
찰스 로렌스
Original Assignee
액티브비디오 네트웍스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 액티브비디오 네트웍스, 인코포레이티드 filed Critical 액티브비디오 네트웍스, 인코포레이티드
Publication of KR20100111739A publication Critical patent/KR20100111739A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)

Abstract

인코딩된 도메인에서 제1 영상과 제2 영상 사이의 적어도 하나의 중간 장면전환 영상을 나타내는 데이터를 계산하는 시스템 및 방법이 개시된다. 영화 장면전환은 인코딩된 정지 영상들과 비디오 시퀀스로부터의 프레임들 사이에서 생성될 수 있다. 상기 제1 및 제2 영상 내의 각각의 대응하는 위치에 대해서, 변환 코딩된 값은 변환 인코딩된 데이터를 변환 디코딩하지 않고도 상기 제1 및 제2 영상들의 변환 인코딩된 데이터를 이용하여 상기 적어도 하나의 중간 영상에 대해서 계산된다. 상기 변환 코딩된 값들은 압축 프로토콜을 이용하여 완전히 인코딩될 수 있으며 영화 장면전환의 디코딩 및 디스플레이를 위한 장치로 전송될 수 있다.

Description

변환 도메인에서 인코딩된 비디오용 장면전환 생성{TRANSITION CREATION FOR ENCODED VIDEO IN THE TRANSFORM DOMAIN}
우선권
본 특허 출원은 "Transition Creation for Encoded Video in the Transform Domain" 이라는 명칭으로 2008년 2월 1일 출원된 미국 특허출원 제 12/024,707 호에 대하여 우선권을 주장하며, 그 개시 내용의 전체는 본 명세서에서 참조로써 포함된다.
본 발명은 영상 처리에 관한 것으로, 특히, 인코딩된 비디오 영상들 사이에서의 장면전환(transition)을 위해 인코딩된 도메인에서 중간 영상(intermediary images)을 구성하는 것에 관한 것이다.
성장하는 소프트웨어 및 하드웨어 비디오 인코더 및 디코더의 유용성과 연계하여 주목할 만한 현대의 압축 알고리즘의 성능은 인코딩된 콘텐츠를 일반화시켰다. MPEG(Motion Pictures Expert Group) 표준은 상업용 애플리케이션과 소비자 애플리케이션에 널리 사용되고 있다. 각종 모듈(150)을 갖는 샘플 MPEG 비디오 압축 및 압축해제 시스템이 도 1에 도시되어 있다. 화소 데이터(151)는 시스템에 입력되며 각각의 매크로블록(16x16 화소 그룹)에 대해 이산 코사인 변환(DCT)(152)을 이용하여 변환 코딩이 수행된다. 결과 데이터는 양자화되며(153), 매크로블록이 인트라 코딩되면(intracoded) 엔트로피(entropy) 인코딩될 것이다. 양자화된 데이터는 피드백 루프를 통과하는데 여기서 양자화된 데이터는 역양자화되고(dequantized)(155), 역변환(156)을 거친다. 이후에, 결과 화소 데이터가 저장되며, 또 이 결과 화소 데이터는 인터 코딩을 위해 움직임 추정된 오차값(158)(연속되는 프레임들에서 유사하게 배치된 매크로블록들 사이의 오차값)은 물론이고 움직임 추정 블록(157)에서 움직임 벡터를 계산하기 위해 연속되는 매크로블록들을 처리하는데 사용된다. 움직임 벡터 및 움직임 추정된 오차값들은 이어서 엔트로피 인코딩되고(154) 출력 비트스트림(160)으로 출력된다.
MPEG 디코더(170)는 인코더로부터 인코딩된 출력 비트스트림으로 수신하여 수신된 비트스트림을 먼저 엔트로피 디코딩한다(171). 데이터가 엔트로피 디코딩됨에 따라, 데이터가 공간적으로 인코딩된 매크로블록 데이터로서 식별되면, 데이터는 역 양자화기(172) 및 역 DCT 변환(173)을 통과하여 매크로블록 위치에 대한 화소값들을 산출한다. 이후에, 화소값이 저장되고 인터 코딩된(intercoded) 연속되는 매크로블록 내의 매크로블록에 대한 매크로블록 화소값을 결정하는데 사용될 수 있다. 결과 데이터가 움직임 벡터로서 식별되면, 움직임 벡터는 움직임 보상 모듈(174)로 전달된다. 주어진 매크로블록 위치에 대한 수신된 움직임 벡터에 기초하여, 움직임 보상 모듈(174)은 움직임 벡터가 가리키는 곳에 저장된 매크로블록 데이터를 검색하고, 움직임 보상 모듈(174)은 움직임 벡터와 연관된 매크로블록 위치에 대한 화소값을 결정한다. 또한, 인터 코딩된 매크로블록에 대한 오차값은 입력 비트스트림으로 수신될 수 있으며 이들 값은 가산되거나 동일 매크로블록 위치를 공유하는 이전 비디오 프레임으로부터의 매크로블록에 대한 저장된 화소값으로부터 감산된다. 일단 데이터가 화소값으로 디코딩되면, 결과 화소값 비트스트림이 출력되어 디스플레이 장치상에 디스플레이될 수 있다.
페이드-인(fade-in), 페이드-아웃(fade-out), 및 크로스 페이드(cross fade)와 같은 표준 영화 효과를 생성하고자하는 인코딩된 비디오 콘텐츠의 창작자 및 편집자는, 공간/화소 도메인에서 작업한다. 화소-도메인에서, 두 개의 영상 사이의 페이딩은 다음 식으로 표현될 수 있다.
Figure pct00001
여기서 p는 화소 도메인에서의 화소값이며, α=[0,1]은 페이딩 가중치이다. P b 가 단조(monotonic) 색이면, 그것은 페이드 인(α=0→1 인 경우) 및 페이드 아웃(α=1→0 인 경우) 이라고 한다. 그렇지 않으면, 그것은 크로스 페이드라고 한다. 따라서, 인코딩된 비디오 콘텐츠로 작업하는 창작자 및 편집자는 먼저 비디오 콘텐츠의 각 프레임을 디코딩하도록 하여 이들 효과를 생성하도록 공간/화소 도메인에서 데이터를 조작하고 이어서 프레임들을 다시 인코딩한다. 그러므로, 이러한 영화 효과를 생성하기 위해서, 다수의 광범위한 프로세서 집중적인 단계들이 일어나야 하며, 특히 변환 디코딩 및 인코딩이 수행이 일어나야 한다.
인터넷 또는 케이블 텔레비전 시스템을 통하는 것과 같은 네트워킹된 환경에서 실시간으로 그러한 효과를 자동으로 생성하는 것은 처리 요건 및 레이턴시(latency)로 인해서 어렵다는 것이 증명되었다.
본 발명의 제1 실시예에서, 제1 영상 및 제2 영상 사이에서 적어도 하나의 중간 장면전환 영상을 나타내는 데이터를 계산하는 방법이 제공된다. 제1 및 제2 영상은 DCT 계수와 같은 변환 인코딩된 데이터로 표현된다. 본 방법은 제1 및 제2 영상 내 대응하는 위치에서 변환 인코딩된 데이터를 변환 디코딩하지 않고도, 제1 및 제2 영상들의 변환 인코딩된 데이터를 이용하여 적어도 하나의 중간 영상에 대한 변환 코딩된 값을 계산하는 것을 포함한다. 각각의 중간 프레임의 경우, 변환 코딩된 값들은 각각의 화소 위치에 대해서 계산된다. 적어도 하나의 중간 영상에 대한 상기 변환 코딩된 값들은 메모리에 저장된다. 제1 및 제2 영상을 형성하는 영상 데이터는 하나 이상의 비디오 시퀀스로부터의 개별 프레임일 수 있거나 또는 정지 영상일 수 있다. 제1 및 제2 영상에 대한 영상 데이터는 인트라-프레임 인코딩될 수 있다.
만일 영상들 중 하나가 비디오 시퀀스로부터 발생되면, 영상 데이터는 비디오 시퀀스로부터 분석된다. 예를 들어, I-프레임은 MPEG 스트림 내에 배치될 수 있다. 이것은 제1 영상 및 제2 영상 모두에 대해서 수행될 수 있다. 중간 영상에 대해서 결정되는 변환 코딩된 값들은 인트라-프레임 또는 인터-프레임 코딩될 수 있다. 프레임들이 인트라-프레임 또는 인터-프레임 인코딩되어야 하는지를 결정하기 위해서 프로세스가 발생할 수 있다. 일부 실시예들에서, 이러한 결정은 컴퓨터 시스템에 의해 자동으로 이루어진다. 인트라-프레임 값들 및 인터-프레임 값들을 결정하기 위해 별도의 식들이 사용된다.
일부 실시예들에서, 제1 및 제2 영상은 모두 완전히 인코딩된 MPEG I-프레임 데이터로 표현될 수 있다. 다른 실시예들에서, 제1 및 제2 영상 데이터는 양자화된 변환 계수들일 수 있으며, 또 다른 실시예들에서, 제1 및 제2 영상 데이터는 단순히 변환 계수들일 수 있다. 시스템은 변환-인코딩된 데이터가 아닌 제1 또는 제2 영상으로부터의 임의의 데이터를 디코딩한다. 따라서, 일 실시예에서 MPEG I-프레임은 엔트로피 디코딩 및 역양자화될 것이다.
만일 제1 및 제2 영상 데이터가 MPEG I-프레임들이고 제1 및 제2 영상 데이터가 동일 양자화 스텝 사이즈 및 양자화 매트릭스를 이용하여 인코딩되었으면, 데이터는 단지 엔트로피 디코딩될 필요가 있어서, 데이터는 양자화된 변환-인코딩된 데이터로서 남게 된다. 따라서, 중간 프레임들은 양자화된 변환-인코딩된 데이터로부터 계산될 수 있다. 하나 이상의 중간 영상들에 대한 데이터가 계산되면, 데이터는 제1 영상 및 제2 영상 데이터 사이에 삽입될 수 있다. 예를 들어, 중간 영상들은 MPEG 시퀀스에 삽입될 수 있으며, 이 경우 헤더들에 대한 적당한 포맷팅 및 갱신이 발생한다.
중간 영상들은 페이드-인, 페이드-아웃 또는 크로스 페이드와 같은 효과들을 만들어낼 수 있다. 제1 또는 제2 영상은 페이드-인 또는 페이드-아웃을 위한 단조 영상일 수 있다.
다른 실시예들에서, 본 방법은 컴퓨터 판독가능 저장 매체 상에서 컴퓨터 프로그램으로서 구현될 수 있다.
본 발명의 전술된 특징은 첨부 도면을 참조하여 기술된 다음의 상세한 설명을 통해 더 쉽게 이해될 수 있을 것이다.
도 1은 예시적인 비디오 압축 블록도를 도시한다.
도 1a는 인코딩된 도메인에서 영화 효과를 생성하기 위한 본 발명이 구현될 수 있는 제1 환경을 도시한다.
도 2는 인코딩된 비디오 콘텐츠 간의 장면전환을 생성하기 위한 자동 시스템을 포함하는 제2 환경을 도시한다.
도 3a는 단조 영상 데이터의 전처리에 대한 흐름도를 도시한다.
도 3b는 영화 효과 및 프레임 유형을 선택하는 흐름도를 도시한다.
도 3c는 수신된 영상 데이터가 MPEG I-프레임이 아니고 중간 프레임 유형이 P-프레임인 경우에 영상 데이터를 처리하기 위한 흐름도를 도시한다.
도 3d는 수신된 영상 데이터가 MPEG I-프레임이 아니며 중간 프레임 유형이 I-프레임인 경우에 영상 데이터를 처리하기 위한 흐름도를 도시한다.
도 3e는 영화 효과가 크로스 페이드인 경우에 영상 데이터를 처리하기 위한 흐름도를 도시한다.
도 3f는 변환 도메인에서의 중간 영상 데이터를 결정하기 위한 흐름도를 도시한다.
도 4는 장면전환이 좌측에서 우측으로 와이프(wipe)를 제공하는 일련의 비디오 프레임들을 도시한다.
다음의 명세서 및 첨부의 특허청구범위에서 사용된 바와 같은 "인코딩된"이라는 용어는 문맥이 달리 나타내지 않는 한 압축된 영상 또는 비디오 스트림을 생성하는 프로세스를 의미할 것이다. 영상을 나타내는 데이터는 프로세스의 적어도 일부가 수행된 경우 인코딩되는 것으로 간주될 것이다. 예를 들면, 영상 및 비디오 데이터를 공간적으로 압축하는 압축 알고리즘은 일반적으로 세 단계, 즉, 변환 프로세싱, 양자화, 및 엔트로피 인코딩을 포함한다. 따라서, 영상 데이터는 공간 데이터가 변환을 거침으로써 데이터가 변환된 경우 인코딩되거나, 또는 부분적으로 인코딩되는 것으로 간주될 수 있다. "매크로블록"이라는 용어는 MPEG(Motion Picture Expert Group) 매크로블록을 의미한다. 매크로블록은 일반적으로 공간 도메인에서 참조될 때 영상 내의 특정된 매크로블록 위치에서의 16 x 16 화소 그룹이고, 변환 도메인에서 참조될 때 16 x 16 주파수 값의 그룹이다. 변환된 매크로블록 내의 값들은 변환 계수이다.
본 발명은 구현될 때 인코딩된 비디오 소스로부터의 두 개의 영상 사이에 하나 이상의 중간 영상을 생성하는 것에 관한 것으로, 이 경우 중간 영상은 변환 도메인에서 결정된다. 장면전환은 인코딩된 단조 영상(예컨대, 흑색, 백색 영상, 또는 다른 단일 색)과 비디오 스트림으로부터 인코딩된 영상 사이에서 발생되어 페이드-인 또는 페이드-아웃을 제공하거나 장면전환은 두 개의 인코딩된 소스들(비디오 스트림으로부터의 영상 또는 정지 영상) 사이에서 발생되어 크로스-페이드를 생성할 수 있다. 인코딩된 콘텐츠는 공간/화소 도메인으로 결코 완전히 디코딩되지 않으며, 오히려 장면전환에 대한 하나 이상의 중간 영상을 위한 인코딩된 데이터의 결정이 변환 도메인 내에서 결정된다. 만일 중간 영상이 MPEG 사양에 따라서 인코딩되게 되면, 본 발명은 구현시 중간 영상을 I 또는 P 프레임으로서 인코딩할 수 있다.
도 1a는 본 발명이 구현될 수 있는 제1 환경을 도시한다. 이 환경에서 클라이언트 장치(100)는 사용자가 하나 이상의 서버(101a, 101b, 101c)로부터 다수의 인코딩된 파일을 액세스하도록 해준다. 클라이언트 장치는 인코딩된 콘텐츠를 생성하기 위한 편집 환경(그래픽 사용자 인터페이스)(105)을 제공한다. 사용자는 선택 박스(102)에서 인코딩된 파일을 선택하고 제2 선택 박스(110)에서 다수의 장면전환들로부터 선택할 수 있다. 사용자는 단조 영상으로부터 인코딩된 영상 스트림으로 페이드-인(111)을 갖도록 선택할 수 있다. 예를 들어, 흑색 영상(115)으로부터 MPEG 비디오 스트림의 제1 I-프레임 인코딩된 영상으로의 페이드-인(111) 장면전환의 경우, 하나 이상의 중간 영상은 단조 영상 및 제1 I-프레임 사이에서 생성된다. 사용자는 장면전환(120)의 길이를 선택할 수 있으며, 이는 다수의 영상일 수 있으며 재생 포맷에 의존할 수 있다. 예를 들어, MPEG 비디오 스트림은 초당 24개의 프레임, 초당 30개의 프레임, 또는 초당 60개의 인터레이스된(interlaced) 필드로 디스플레이될 수 있다. 사용자는 MPEG 비디오 스트림 내의 마지막 비디오 영상으로부터 단조 영상으로 페이드-아웃(112)을 갖도록 선택할 수 있다. 예를 들어, MPEG 비디오로부터의 최종 I-프레임 비디오 영상은 하나 이상의 프레임 상에서 백색 단조 영상(116)으로 페이드할 것이다. 사용자는 또한 인코딩된 비디오 시퀀스 사이에서 장면전환하고자 할 수 있다. 예를 들어, 사용자는 크로스 페이드(113)를 갖고자 할 수 있으며, 이 경우 제1 인코딩된 비디오 시퀀스의 마지막 인트라 코딩된 영상은 하나 이상의 영상에 대해 제2 인코딩된 비디오 시퀀스의 제1 인트라 코딩된 영상으로 장면전환한다. 만일 두 비디오 시퀀스가 MPEG 인코딩된 비디오 시퀀스이면, 제1 인코딩된 비디오 시퀀스로부터의 마지막 I-프레임은 제2 인코딩된 비디오 시퀀스의 제1 I-프레임 영상으로 크로스-페이드된다. 이 환경은 장면전환(110)의 사용자 선택을 위한 사용자 인터페이스, (페이드-인 및 페이드-아웃의 경우에) 단조 장면전환 영상, (110a)를 생성하는 프레임의 유형(I-프레임 또는 P-프레임 또는 이 둘의 조합, 자동 선택 또는 디폴트 선택) 및 장면전환의 시간에 대응하는 프레임의 개수(예컨대, 2초 장면전환으로서 이 경우 표시 레이트는 60 프레임/초, 중간 영상의 개수는 118)(120)를 제공한다. 만일 생성자가 중간 영상을 I-프레임으로서 인코딩하도록 선택하면, 각각의 중간 프레임은 인트라 코딩될 것이다. 그러므로, 중간 영상의 각각의 매크로블록은 그 매크로블록에 대한 화소 데이터를 나타내는 DCT-변환 계수 데이터를 포함한다. 만일 생성자가 중간 영상을 P-프레임으로서 인코딩하도록 선택하면, 중간 영상은 현재 프레임과 이전 프레임 간의 오차 정보를 포함할 것이다. 움직임 벡터들은 모두 제로가 될 것이며, 그 이유는 움직임이 없기 때문이다. 생성자는 또한 I 및 P 프레임의 조합을 갖도록 선택할 수 있다. 중간 영상의 생성은 단일 프레임 유형으로 제한될 필요는 없다. 본 기술 분야에서 통상의 기술을 가진자라면 인코딩된 비디오 콘텐츠는 물론이고 비디오 콘텐츠의 프로세싱이 도 1에 도시된 클라이언트/서버 구성이 없이도 단일 컴퓨팅 장치상에서 이루어질 수 있음을 인식할 것이다.
도 2에 도시된 바와 같은 제2 환경에서, 콘텐츠의 사용자 생성을 허용하기 보다는, 이 환경은 인코딩된 비디오 콘텐츠 사이에서 장면전환을 위한 자동 시스템이다. 예를 들어, 모든 콘텐츠가 하나 이상의 MPEG 인코딩된 비디오 스트림으로서 사용자의 셋톱 박스에 제공되는 대화형 케이블 텔레비전 환경(200)에서, 사용자는 그 자신의 홈(210a, 210b, 210c)에서 주문형 서비스(on-demand service)를 선택할 수 있으며 디지털 텔레비전 분배 센터(220)로부터 그 콘텐츠를 제공받을 것이다. 디지털 텔레비전 분배 센터(220)는 저장된 콘텐츠 메모리 위치(225)로부터 콘텐츠를 검색하거나 또는 방송 콘텐츠 제공자(230a, 230b)로부터 방송 콘텐츠를 수신한다. 디지털 텔레비전 분배 센터(220)는 사용자에게 디스플레이되는 현재 시청한 영상(예컨대, 인코딩된 선택 스크린)과 선택된 주문형 서비스 사이에 자동으로 중간 영상을 삽입하는 장면전환 삽입 프로세서(240)를 액세스할 것이다. 따라서, 선택 스크린과 사용자가 선택한 콘텐츠 사이에서 크로스 페이딩이 존재할 수 있다. 자동 장면전환의 또 다른 응용으로서, IP 텔레비전 환경에서는, 광고 및 텔레비전 프로그래밍은 디지털 텔레비전 분배 센터의 장면전환 삽입 프로세서에 의해 실시간으로 함께 결합되며, 이는 미리결정된 시간 프레임워크에 기초하여 중간 영상의 개수를 결정한다. 예를 들어, 방송 네트워크 프로그램은 오후 7:13에 MPEG 비디오 스트림으로 2분간의 상업 광고가 삽입되도록 스케쥴될 수 있다. 로컬 IP 텔레비전 네트워크 제공자는 이 2분간의 기간 동안에 상업 광고를 삽입할 수 있다. 장면전환은 상업 광고 사이에 자동으로 생성될 수 있으며 장면전환의 길이가 계산될 수 있어서, 상업 광고 및 장면전환이 2분간의 간격을 완전히 채운다.
따라서, 본 시스템은 인코딩된 도메인에서 장면전환의 실시간 생성을 제공할 수 있다. 예를 들어, 세 개의 로컬 상업 광고는 전체가 단지 1:54가 될 수 있으며 따라서 6초간의 장면전환이 필요하다. 장면전환 삽입 프로세서는 6초간의 장면전환이 필요하며 각각의 상업 광고에 대해서 크로스-페이드, 또는 페이드-인, 페이드-아웃을 포함할 것을 결정할 것이다. 만일 장면전환 삽입 프로세서가 각각의 상업 광고에 대해서 페이드-인 및 페이드-아웃을 수행하도록 구성되면, 6개의 페이드가 존재할 것이다. 그 결과 각각의 페이드는 길이가 1초가 될 것이다.
도 3a 내지 도 3f는 영화 효과를 발생하도록 인트라 코딩된 두 개의 영상을 나타내는 인코딩된 또는 부분적으로 인코딩된 데이터로부터 중간 프레임을 생성하기 위하여, 도 2의 장면전환 삽입 프로세서와 같은 프로세싱 모듈에 의해 취해진 단계를 나타내는 흐름도이다. 본 응용은 비록 주파수 도메인 계수를 활용하는 다른 CODEC들이 사용될 수 있을지라도, MPEG(Motion Pictures Experts Group) 표준을 이용하여 영상을 인코딩하는 것을 가정할 것이다. 도3b 내지 도 3f의 흐름도에 도시된 단계들 이전에, 프로세서는 도3a에 도시된 바와 같이 단조 화소 데이터를 전처리할 것이다. 먼저, 단조 화소 데이터(예컨대, 백색 또는 흑색 영상)가 검색될 것이다(300). 이후에, 단조 화소 데이터는 변환 코딩(301)되며 각각의 매크로블록에 대한 변환 코딩된 계수는 메모리에 저장될 것이다(302). 변환 코딩된 계수는 또한 양자화될 것이다(303). 각 매크로블록에 대해서 양자화된 변환 계수는 또한 메모리에 저장될 것이다(304). 변환 계수 및 양자화된 변환 계수가 검색될 것이고, 후술하는 바와 같이 페이드-인 및 페이드-아웃을 위한 중간 영상을 생성할 때 사용될 것이다.
흐름도에 대한 입력 데이터는 인코딩된 정지 영상, 비디오 스트림으로부터의 인트라 코딩된 (I-프레임) 영상, 영상을 나타내는 매크로블록 변환 계수, 또는 영상을 나타내는 매크로블록 양자화된 변환 계수일 수 있다. 페이드-인 또는 페이드-아웃 효과가 생성되면, 하나의 입력 영상을 나타내는 단지 하나의 입력 영상 또는 데이터가 필요함을 알 수 있어야 하는데, 그 이유는 다른 영상이 메모리에 이미 저장되어 있는 단조 영상(예컨대, 흑색, 백색 등)이기 때문이다.
단조 영상 데이터의 전처리에 부가하여, 도 3b 내지 도 3f의 흐름도에 도시된 단계들을 시작하기 전에, 인코딩된 비디오 시퀀스가 처리되고 있으면, 페이드-인의 경우, 비디오 시퀀스로부터의 제1 I-프레임이 배치된다. 수행되는 프로세스가 페이드-아웃이면, 비디오 시퀀스의 마지막 I-프레임이 식별된다. 크로스 페이드의 경우, 제1 비디오 시퀀스의 마지막 I-프레임이 식별되고 제2 비디오 시퀀스의 제1 I-프레임이 식별된다. MPEG 비디오 시퀀스의 I-프레임을 식별하는 것은 본 기술 분야의 숙련자들에게 공지되어 있다. MPEG 화상 헤더는 프레임 유형을 나타내며 화상 그룹 헤더(GOP) 다음의 제1 프레임은 일반적으로 인트라 코딩된 I-프레임이다.
다시 흐름도를 참조하면, 먼저, 생성할 영화 효과는 도 3b의 페이드-인, 페이드-아웃 및 크로스-페이드(305) 사이에서 선택된다. 자동화 시스템에서, 그 선택은 사전에 규정된다. 영화 효과가 결정된 후에, 프로세서는 인코딩될 중간 프레임이 I-프레임 또는 P-프레임(306a, 306b, 306c)인지를 결정한다. 또한, 도 2에 도시된 바와 같은, 자동화 시스템에서, 프레임 유형은 미리 결정되며 사전 규정된 화상 그룹(GOP) 내의 I 및 P 프레임을 혼합한 것일 수 있다.
페이드-인 및 페이드-아웃의 경우, 단조 영상에 대해 미리 인코딩된 변환 계수가 검색된다(307a, 307b, 307c, 307d). 또한, 영상 데이터는 프로세싱 모듈에 의해 수신된다. 만일 중간 영상이 I-프레임이고 양자화 매트릭스 및 영상 데이터의 스텝 사이즈가 단조 영상과 동일하면, 양자화된 변환 계수가 검색된다(307b, 307d). 영상 데이터의 스텝 사이즈와 양자화 매트릭스가 동일하지 않거나 중간 영상이 P-프레임으로서 인코딩되게 되면, 단조 영상에 대한 변환 계수가 검색된다(307a, 307c).
프로세싱 모듈은 영상 데이터가 MPEG 영상으로서 인코딩되는지를 알아보기 위해 조사한다(309a, 309b, 309c, 309d). 만일 영상이 MPEG 영상이면, 프로세싱 모듈은 MPEG 영상 데이터를 엔트로피 디코딩한다(310a, 310b, 310c, 310d). 만일 인코딩될 중간 영상이 I-프레임이고 MPEG 영상 데이터에 대한 스텝 사이즈 및 양자화 매트릭스가 단조 영상과 동일하면, 양자화 변환 계수는 수신된 영상 데이터 및 단조 영상 모두에 대해서 도 3f에 도시된 단계 A로 전달될 것이다. 만일 인코딩될 중간 영상이 P-프레임이거나 스텝 사이즈 및 양자화 매트릭스가 동일하지 않으면, 프로세싱 모듈은 역 양자화를 수행하여 영상의 각 매크로블록에 대한 변환 계수를 생성할 것이다(311a, 311c). 이후에, 제1 및 제2 영상에 대한 영상 데이터는 도 3f의 단계 A로 전달된다. 페이드-인의 경우, 단조 영상 데이터는 제1 영상 데이터이며 수신된 영상 데이터는 제2 영상 데이터이다. 페이드-아웃의 경우, 수신된 영상 데이터는 제1 영상 데이터이며 단조 영상 데이터는 제2 영상 데이터이다.
만일 영상 데이터가 인코딩되지 않으면, 중간 프레임 유형이 P-프레임이거나 스텝 사이즈 또는 양자화 매트릭스가 단조 영상의 스텝 사이즈 또는 양자화 매트릭스와 일치할 경우 프로세스는 도 3c에 도시된 단계 C로 계속된다. 프로세싱 모듈은 수신된 영상 데이터가 양자화된 변환 계수인지를 알아보기 위해 조사한다(312). 만일 데이터가 양자화된 변환 계수이면, 프로세싱 모듈은 역 양자화를 적용하여(313) 변환 계수를 생성하며, 그리고 나서 수신된 영상 및 단조 영상에 대한 변환 계수는 도 3f의 단계 A로 전달된다. 만일 수신된 데이터가 양자화된 변환 계수가 아니면, 프로세싱 모듈은 그 데이터가 영상의 각각의 매크로블록에 대한 변환 계수를 포함하고 있는지를 알아보기 위해 조사한다(314). 만일 그렇다면, 수신된 영상 데이터 및 단조 영상 데이터에 대한 변환 계수는 도 3f의 단계 A를 따라서 전달된다.
영상 데이터가 인코딩되지 않고 선택된 중간 프레임 유형이 I-프레임이고 블록 사이즈 및 양자화 매트릭스가 단조 영상 데이터와 같으면, 프로세싱 모듈은 도 3d의 단계 D를 따른다. 프로세싱 모듈은 수신된 데이터가 양자화된 변환 계수인지를 알기 위해 체크한다(315). 만일 데이터가 영상의 매크로블록에 대한 양자화된 변환 계수이면, 양자화된 변환 계수는 역 양자화를 수행할 필요가 없으며 단조 영상 및 수신된 영상 모두에 대한 데이터는 단계 A로 전달된다. 수신된 데이터가 MPEG I-프레임 영상, 양자화된 변환 계수도 아니고 영상의 매크로블록에 대한 변환 계수도 아닌 경우, 프로세싱 모듈은 오류가 있음을 보고할 것이다.
만일 영화 효과가 크로스 페이드이면, 프로세스가 두 개의 영상 각각에 대해서 독립적으로 적용되는 것을 제외하면, 동일 프로세스가 적용되며, 그 결과 두 데이터 세트가 도 3f의 단계 A에 제공되기 전에 동일 포맷이 된다(변환 계수 또는 양자화된 변환 계수). 프로세싱 모듈은 도 3e의 (316)에서 중간 영상이 I-프레임으로 되는 지를 결정한다. 그 다음, 프로세싱 모듈은 제1 및 제2 영상에 대한 데이터를 검색한다(317a, 317b). 프로세싱 모듈은 각각의 영상에 대한 데이터 유형을 확인한다(318a, 318b). 전술한 바와 같이, 데이터는 I-프레임, 양자화된 변환 계수 데이터에 대한 MPEG 인코딩된 데이터이거나 또는 변환 계수 데이터일 수 있다. 프로세싱 모듈은 스텝 사이즈 및 양자화 매트릭스가 두 영상에 대해서 동일한지 여부를 결정한다. 만일 스텝 사이즈 및 양자화 매트릭스가 동일하면, 두 영상의 데이터 세트에 대한 바람직한 결과 포맷은 변환 계수이다. 만일 영상들 중 하나 또는 둘다에 대한 데이터가 MPEG I-프레임이면, 그 데이터는 엔트로피 디코딩된다(319a, 319b). 제1 및 제2 영상 모두에 대한 결과적인 양자화된 변환 계수는 단계 A로 전달된다. 만일 중간 영상이 P-프레임이면, 또 다른 프로세싱에 대한 바람직한 포맷은 변환 계수이다. 만일 두 영상에 대한 데이터 세트가 MPEG I-프레임이면, 데이터는 엔트로피 디코딩되며 그리고 나서 역양자화되어, 제1 및 제2 영상에 대한 변환 계수를 만들어 낸다(320a). 이후에, 제1 및 제2 영상의 각각의 매크로블록에 대한 이들 변환 계수는 단계 A로 전달된다.
일단 두 영상에 대한 데이터(페이드-인에 대한 단조 및 제2 영상, 페이드-아웃에 대한 제1 영상 및 단조 영상, 또는 크로스 페이드에 대한 제1 및 제2 영상)가 동일하게 포맷팅되면, 각 영상에 대한 각각의 매크로블록 위치는 A에서 시작하여 도 3f의 흐름도에 따라서 중간 영상에 대한 대응하는 매크로블록 데이터 세트를 결정하기 위해 처리될 수 있다.
단계 A의 시작에서 데이터는 양자화된 변환 계수 또는 제1 및 제2 영상의 각각의 매크로블록에 대한 변환 계수이다. 프로세싱 모듈은 제1 매크로블록 위치 및 제1 및 제2 영상에 대한 대응하는 계수 데이터를 선택함으로써 시작된다(330). 프로세싱 모듈은 선택된 매크로블록 위치가 영상에 대한 마지막 매크로블록 위치인지를 결정한다(331). 만약 그렇다면, 프로세싱 모듈은 이것이 생성될 마지막 중간 영상인지를 결정한다(332). 하나 이상의 중간 영상이 생성될 수 있음을 인식하여야 한다. 만일 선택된 매크로블록 위치가 마지막 매크로블록 위치가 아니면, 프로세싱 모듈은 중간 프레임 유형을 참조하고 매크로블록이 P-프레임으로서 인터 코딩되어야 하는지를 결정한다(333). 만일 매크로블록이 인터 코딩되면, 인터 코딩된 식들이 사용된다(334). 각 계수 위치에 대해 적용되는 인터 코딩된 식들은 아래와 같다.
Figure pct00002
페이드 인 및 크로스 페이드의 경우
Figure pct00003
페이드 인 및 크로스 페이드의 경우
여기서 pa 및 pb는 각기 제1 및 제2 영상에 대한 16 x 16 매크로블록 그룹핑 내의 단일 위치에서의 변환 계수를 나타내고, α=n/N이며, 여기서 n은 N개의 전체 프레임을 갖는 원해지는 중간 시퀀스의 n번째 프레임이다.
만일 프레임이 인트라 코딩되려 하면, 인트라 코딩된 식들이 사용된다(335). 각 변환 계수 또는 양자화된 변환 계수에 대해 사용되는 인트라 코딩된 식들은 아래와 같다.
Figure pct00004
페이드 인 및 크로스 페이드의 경우
Figure pct00005
페이드 아웃의 경우
누적된 예측 오차가 존재하므로, GOP 사이즈를 4로 선택하는 것이 적절하다. 따라서, 예를 들어, GOP가 4인 경우, 매 4개의 중간 영상들에는 하나의 I-프레임 및 세 개의 P-프레임 또는 네 개의 I-프레임이 있을 수 있다.
이후에, 새로운 중간 영상의 각 매크로블록에 대한 계수값은 메모리에 저장된다(336). 이후에 본 프로세스는 계속되는데 여기서 16 x 16 주파수 계수값 또는 양자화된 주파수 계수값으로 이루어진 다음번 매크로블록이 선택된다. 중간 영상에 대한 각 계수값은 16 x 16 그리드 내의 동일 위치에 위치된 계수값에 기초하여 결정된다. 프로세싱 모듈은 영상의 각 위치에 대한 값을 계산하도록 진행된다. 프로세싱 모듈은 변환 계수 또는 양자화된 변환 계수값이 원해지는 개수의 중간 영상 각각에 대해서 결정되면 종료할 것이다.
이후에, 제1 영상 데이터, 중간 영상 데이터, 및 제2 영상 데이터는 MPEG 데이터 스트림을 생성하도록 처리될 수 있다. 만일 모든 영상 데이터가 양자화된 변환 계수이면, 각 영상 프레임에 대한 데이터는 순차적인 순서로 배치되며 이어서 데이터는 엔트로피 인코딩될 것이다. 만일 영상 데이터가 변환 계수 데이터이면, 제1 영상, 중간 영상, 및 제2 영상에 대한 변환 계수는 동일 스텝 사이즈 및 양자화 매트릭스를 이용하여 양자화되며 이어서 데이터는 엔트로피 인코딩되어, MPEG 데이터 스트림을 생성할 것이다. 이후에, MPEG 데이터 스트림은 전송되고 MPEG 디코더에 의해 디코딩될 수 있는데 이 경우 영화 효과가 두 영상 사이에 존재하게 될 것이다.
다른 실시예들에서, 시스템은 P-포맷팅된 비디오 프레임을 이용하여 장면전환을 생성할 수 있다. P-프레임의 매크로블록은 인트라-프레임 인코딩되거나 또는 인터-프레임 인코딩될 수 있다. 전술한 바와 같이, 인트라-프레임 인코딩된 매크로블록은 매크로블록 내의 데이터를 더 조작하지 않고도 전술한 식들을 이용하여 처리될 것이다. 대조적으로, 만일 매크로블록이 인터 코딩되면, 매크로블록은 공간적으로 디코딩되고 이어서 전술한 기법들을 이용하기 전에 인트라-프레임 인코딩된 매크로블록으로서 다시 인코딩될 것이다. 따라서, 만일 프레임 2의 움직임 벡터가 프레임 1의 매크로블록의 인트라 코딩된 데이터를 가리키면, 시스템은 먼저 프레임 1로부터 인트라 코딩된 매크로블록을 디코딩하고 예측 오차를 고려하여 프레임 2에 대한 매크로블록의 공간 표현을 형성한다. 이후에, 프레임 2로부터의 매크로블록에 대한 공간 데이터는 DCT를 이용하여 다시 인코딩될 것이다. 이후에, 매크로블록에 대한 데이터는 인트라-프레임 인코딩되며 장면전환 프레임 데이터를 결정하는 동일 식들이 사용될 수 있다.
본 발명은 또한 다른 장면전환 효과를 생성할 수 있다. 예를 들어, 전술한 식들에 대해 가중 팩터를 조절함으로써, 좌-우 페이드(left-to-right fade) 및 우-좌 페이드(right-to-left fade)가 생성될 수 있다. 두 프레임 사이에서 좌-우 또는 우-좌 장면전환의 경우, 가중 팩터는 스크린에 걸쳐서 변할 수 있다. 따라서, 제1 프레임 상태 및 제2 프레임 상태 사이의 전체 영상의 장면전환이라기보다는, 프레임의 부분들이 상이한 레이트로 장면전환할 것이다. 도 4에 도시된 바와 같이, 프레임의 최좌측 부분은 제1 프레임 및 제2 프레임 사이에서 신속하게 장면전환할 수 있는 한편, 영상의 우측 측면은 매우 느린 레이트로 장면전환한다. 도 4는 프레임 1에서 프레임 2로의 장면전환이 시간 T=0에서 시간 T=5까지의 6 시간 주기에 대해 발생되는 것을 도시한다. 프레임 2는 시간 T=5에서 전체 스크린을 차지한다.
또 다른 장면전환 효과들이 생성될 수 있다. 가중 팩터는 각각의 프레임에 걸쳐서 공간적으로 그리고 프레임들 사이에서 시간적으로 변할 수 있다. 따라서, 가중 팩터는 X 차원(공간 방향), Y 차원(공간 방향), 및 T차원(시간)과 같은 상이한 파라미터들에 기초하여 식 또는 일련의 식들과 연관될 수 있다. 다른 실시예들에서, 가중 팩터는 단순히 사전결정된 값들의 세트 또는 매트릭스일 수 있으며 이 경우 각 값은 프레임의 하나 이상의 매크로블록에 적용된다. 또한, 미리정의된 값들의 다수의 세트 또는 매트릭스가 사용될 수 있으며 이 경우 각 세트 또는 매트릭스는 일련의 장면전환 프레임들의 상이한 프레임에 적용된다. 그러므로, 장면전환 동안에 페이드된 와이프, 디졸브(dissolves), 플래시, 랜덤 라인의 생성과 같은 장면전환은 인코딩된 도메인에서 구성될 수 있다.
본 명세서에서 사용된 흐름도는 본 발명의 다양한 양태들을 설명하는데 사용되며, 본 발명을 임의의 특정한 논리 흐름 또는 논리 구현으로 제한하는 것으로 해석해서는 않된다는 것을 유의하여야 한다. 전술한 논리는 전반적인 결과를 변경시키지 않거나, 그렇지 않은 경우 본 발명의 진정한 범주로부터 일탈함이 없이 상이한 논리 블록들(예컨대, 프로그램, 모듈, 기능, 또는 서브루틴)로 구획될 수 있다. 종종, 논리 소자들은, 전체 결과를 변경시키지 않거나 그렇지 않은 경우, 본 발명의 진정한 범주로부터 일탈함이 없이 첨가, 수정, 생략, 상이한 순서로 수행되거나, 또는 상이한 논리 구성(예컨대, 논리 게이트, 루핑 프리미티브(looping primitives), 조건부 논리, 및 다른 논리 구성)을 이용하여 구현될 수 있다.
본 발명은, 이것으로 제한되지 않지만, 프로세서(예컨대, 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서, 또는 범용 컴퓨터)와 사용하기 위한 컴퓨터 프로그램 논리, 프로그램가능 논리 소자(예컨대, FPGA(Field Programmable Gate Array) 또는 다른 PLD)와 함께 사용하기 위한 프로그램가능 논리, 이산 컴포넌트, 집적 회로(예컨대, ASIC(Application Specific Integrated Circuit), 또는 이들의 임의의 조합을 포함하는 임의의 다른 수단을 포함하는 다수의 상이한 형태로 구현될 수 있다.
본 명세서에서 전술한 기능의 전부 또는 일부를 구현하는 컴퓨터 프로그램 논리는, 이것으로 제한되지 않지만, 소스 코드 형태, 컴퓨터 실행가능 형태, 및 여러 중간 형태(예컨대, 어셈블러, 컴파일러, 링커 또는 로케이터에 의해 생성된 형태)를 포함하는 다양한 형태로 구현될 수 있다. 소스 코드는 각종 운영 체제 또는 조작 환경과 사용하기 위한 다양한 프로그래밍 언어(예컨대, 오브젝트 코드, 어셈블리 언어, 또는 포트란, C, C++, JAVA, 또는 HTML과 같은 고수준 언어) 중 임의의 언어로 구현되는 일련의 컴퓨터 프로그램 명령어들을 포함할 수 있다. 소스 코드는 다양한 데이터 구조 및 통신 메시지를 규정 및 이용할 수 있다. 소스 코드는 (예컨대, 해석기를 통해) 컴퓨터 실행가능 형태일 수 있거나, 또는 소스 코드는 (예컨대, 변환기, 어셈블러, 또는 컴파일러를 통해) 컴퓨터 실행가능 형태로 변환될 수 있다.
컴퓨터 프로그램은 반도체 메모리 소자(예컨대, RAM, ROM, PROM, EEPROM, 또는 플래시-프로그램가능 RAM), 자기 메모리 소자(예컨대, 디스켓 또는 고정형 디스크), 광 메모리 소자(예컨대, CD-ROM), PC 카드 (예컨대, PCMCIA 카드), 또는 다른 메모리 소자와 같은 실체적인 저장 매체에서 영구적으로 또는 일시적으로 임의의 형태(예컨대, 소스 코드 형태, 컴퓨터로 실행가능 형태, 또는 중간 형태)로 고정될 수 있다. 컴퓨터 프로그램은, 이것으로 제한되지 않지만, 아날로그 기술, 디지털 기술, 광 기술, 무선 기술, 네트워킹 기술, 및 인터네트워킹 기술을 포함하는 다양한 통신 기술들 중 임의의 기술을 이용하여 컴퓨터로 전송가능한 신호에서 임의의 형태로 고정될 수 있다. 컴퓨터 프로그램은 첨부의 인쇄 또는 전자 문서화를 갖는 제거가능한 저장 매체(예컨대, 압축(shrink wrapped) 소프트웨어 또는 자기 테이프)로서 임의의 형태로 분배되고, (예컨대, 시스템 ROM 또는 고정형 디스크 상에서) 컴퓨터 시스템과 사전로드되고(preloaded), 또는 통신 시스템(예컨대, 인터넷 또는 월드 와이드 웹)을 통해 하나의 서버 또는 전자 게시판으로부터 분배될 수 있다.
본 명세서에서 전술한 기능의 전부 또는 일부를 구현하는 (프로그램가능 논리 소자와 사용하기 위한 프로그램가능 논리를 포함하는) 하드웨어 논리는 전통적인 수동적 방법을 이용하여 설계될 수 있거나, 또는 컴퓨터 지원 설계(CAD), 하드웨어 기술 언어(예컨대, VHDL 또는 AHDL), 또는 PLD 프로그래밍 언어(예컨대, PALASM, ABEL, 또는 CUPL)과 같은 다양한 도구를 이용하여 설계, 획득, 시뮬레이션(simulation), 또는 전자적으로 문서화될 수 있다.
본 발명은 본 발명의 범주로부터 일탈함이 없이 다른 특정 형태로 구현될 수 있다. 설명된 실시예들은 모든 점에서 제한적이지 않고 단지 예시적인 것으로만 고려되어야 한다.
본 발명의 실시예들은 단지 예시적인 것으로 의도되며, 수많은 변경 및 변형은 본 기술 분야의 숙련자들에게 명백할 것이다. 그러한 모든 변경 및 변형은 첨부의 특허청구범위에 규정된 본 발명의 범주 내에 속하는 것으로 의도된다.

Claims (39)

  1. 인코딩된 데이터에 의해 표현되는 제1 영상과 제2 영상 사이의 적어도 하나의 중간 장면전환 영상을 나타내는 데이터를 계산하는 방법으로서,
    상기 제1 영상 및 제2 영상 내의 각각의 대응하는 위치에 대해서, 변환 인코딩된 데이터를 변환 디코딩하지 않고 상기 제1 영상 및 제2 영상의 변환 인코딩된 데이터를 이용하여 적어도 하나의 중간 영상에 대한 변환 코딩된 값을 계산하는 단계; 및
    상기 적어도 하나의 중간 영상에 대한 상기 변환 코딩된 값들을 메모리에 저장하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 제1 영상은 제1 비디오 시퀀스로부터 발생되고 상기 제2 영상은 제2 비디오 시퀀스로부터 발생되는 방법.
  3. 제2항에 있어서, 상기 제1 비디오 영상은 인트라-프레임 인코딩되는 방법.
  4. 제3항에 있어서, 상기 제2 비디오 영상은 인트라-프레임 인코딩되는 방법.
  5. 제1항에 있어서, 상기 제1 영상은 정지 영상인 방법.
  6. 제5항에 있어서, 상기 제2 영상은 정지 영상인 방법.
  7. 제1항에 있어서, 제1 비디오 시퀀스로부터 상기 제1 비디오 영상을 분석하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서, 제2 비디오 시퀀스로부터 상기 제2 비디오 영상을 분석하는 단계를 더 포함하는 방법.
  9. 제7항에 있어서, 상기 제1 비디오 영상은 인트라-코딩되는 방법.
  10. 제8항에 있어서, 상기 제2 비디오 영상은 인트라-코딩되는 방법.
  11. 제1항에 있어서,
    상기 중간 영상이 인트라 프레임 또는 인터 프레임 인코딩될지를 결정하는 단계;
    상기 중간 영상이 인트라 프레임 인코딩되어야 하면, 인트라 프레임 인코딩된 식을 선택하여 상기 적어도 하나의 중간 영상에 대한 상기 변환 코딩된 값을 결정하는 단계; 및
    상기 중간 영상이 인터 프레임 인코딩되어야 하면, 인터 프레임 인코딩된 식을 선택하여 상기 적어도 하나의 중간 영상에 대한 상기 변환 코딩된 값들을 결정하는 단계를 더 포함하는 방법.
  12. 제1항에 있어서,
    상기 제1 영상과 제2 영상 사이에서 생성될 영화 효과(cinematic effect)의 유형을 결정하는 단계;
    상기 중간 영상이 인트라 프레임 또는 인터 프레임 인코딩될지를 결정하는 단계;
    상기 중간 영상이 인트라 프레임 인코딩되어야 하면, 인트라 프레임 인코딩된 식을 선택하여 상기 영화 효과에 기초하여 상기 적어도 하나의 중간 영상에 대한 상기 변환 코딩된 값을 결정하는 단계; 및
    상기 중간 영상이 인터 프레임 인코딩되어야 하면, 인터 프레임 인코딩된 식을 선택하여 상기 영화 효과에 기초하여 상기 적어도 하나의 중간 영상에 대한 상기 변환 코딩된 값들을 결정하는 단계를 더 포함하는 방법.
  13. 제1항에 있어서, 상기 제1 및 제2 영상들은 MPEG 인코딩되는 방법.
  14. 제3항에 있어서,
    상기 제1 및 제2 MPEG 영상들을 엔트로피 디코딩하는 단계; 및
    상기 제1 및 제2 MPEG 영상들을 역양자화하여 상기 제1 및 제2 MPEG 영상들에 대한 변환 데이터를 생성하는 단계를 더 포함하는 방법.
  15. 제1항에 있어서, 변환 코딩된 값들을 결정하는 상기 단계는,
    상기 제1 영상의 상기 변환 인코딩된 데이터를 퍼센트 값으로 곱하고 상기 제2 영상의 상기 변환 인코딩된 데이터를 1에서 상기 퍼센트 값을 뺀 값으로 곱하는 단계; 및
    상기 제1 영상 및 제2 영상에 대한 상기 곱셈된 변환 데이터를 가산하여 상기 중간 영상의 변환 코딩된 데이터를 형성하는 단계를 포함하는 방법.
  16. 제1항에 있어서, 상기 제1 및 제2 영상들을 나타내는 변환 데이터 사이에 상기 중간 영상을 나타내는 상기 변환 코딩된 데이터를 삽입하는 단계를 더 포함하는 방법.
  17. 제16항에 있어서,
    상기 제1, 제2, 및 중간 영상들을 나타내는 상기 데이터를 양자화하는 단계; 및
    상기 제1, 제2, 및 중간 영상들을 나타내는 상기 데이터를 엔트로피 인코딩하여 인코딩된 데이터 스트림을 생성하는 단계를 더 포함하는 방법.
  18. 제17항에 있어서, 상기 인코딩된 데이터 스트림의 디코딩 및 디스플레이는 상기 제2 영상의 페이드-인(fade-in)을 생성하는 방법.
  19. 제17항에 있어서, 상기 인코딩된 데이터 스트림의 디코딩 및 디스플레이는 상기 제1 영상의 페이드-아웃(fade-out)을 생성하는 방법.
  20. 제17항에 있어서, 상기 인코딩된 데이터 스트림의 디코딩 및 디스플레이는 상기 제1 및 제2 영상들 사이의 크로스-페이드(cross-fade)를 생성하는 방법.
  21. 제17항에 있어서, 상기 인코딩된 데이터 스트림의 디코딩 및 디스플레이는 상기 제1 및 제2 영상들 사이에 와이프(wipe)를 제공하는 방법.
  22. 인코딩된 데이터에 의해 표현되는 제1 영상과 제2 영상 사이의 적어도 하나의 중간 장면전환 영상을 나타내는 데이터를 계산하는 방법으로서,
    상기 중간 영상이 인트라 코딩될지를 결정하는 단계;
    상기 제1 영상 및 상기 제2 영상에 대한 상기 인코딩된 데이터가 모두 동일 스텝 사이즈 및 양자화 매트릭스를 이용하여 양자화되었는지를 결정하는 단계;
    상기 중간 영상이 인트라 코딩되어야 하고 상기 스텝 사이즈 및 양자화 매트릭스가 상기 제1 영상 및 상기 제2 영상 모두에 대해서 동일하면, 상기 제1 및 제2 영상 내의 각각의 대응하는 위치에 대해서, 상기 제1 및 제2 영상들로부터 양자화된 변환 계수들을 이용하여 상기 적어도 하나의 중간 영상에 대한 양자화된 변환 코딩된 값을 계산하는 단계; 및
    각각의 양자화된 변환 코딩된 값을 메모리에 저장하는 단계
    를 포함하는 방법.
  23. 제1 MPEG 영상과 제2 MPEG 영상 사이의 적어도 하나의 중간 장면전환 영상을 나타내는 데이터를 계산하는 컴퓨터 코드를 갖는 컴퓨터 판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 코드는:
    상기 제1 및 제2 MPEG 영상들로부터의 변환 디코딩 데이터 없이도 상기 적어도 하나의 중간 영상에 대한 변환 코딩된 값들을 결정하는 컴퓨터 코드; 및
    상기 변환 코딩된 값들을 메모리에 저장하는 컴퓨터 코드
    를 포함하는 컴퓨터 프로그램 제품.
  24. 제23항에 있어서, 상기 제1 영상은 제1 비디오 시퀀스로부터 발생되고 상기 제2 영상은 제2 비디오 시퀀스로부터 발생되는 컴퓨터 프로그램 제품.
  25. 제23항에 있어서, 상기 제1 비디오 영상은 인트라 프레임 인코딩되는 컴퓨터 프로그램 제품.
  26. 제25항에 있어서, 상기 제2 비디오 영상은 인트라 프레임 인코딩되는 컴퓨터 프로그램 제품.
  27. 제23항에 있어서, 상기 제1 영상은 정지 영상인 컴퓨터 프로그램 제품.
  28. 제23항에 있어서,
    상기 제1 및 제2 MPEG 영상들을 엔트로피 디코딩하는 컴퓨터 코드; 및
    상기 제1 및 제2 MPEG 영상들을 역양자화하여 상기 제1 및 제2 MPEG 영상들에 대한 변환 데이터를 생성하는 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
  29. 제23항에 있어서,
    변환 코딩된 값들을 결정하는 상기 컴퓨터 코드는,
    상기 제1 영상의 상기 변환 데이터를 퍼센트 값으로 곱하고 상기 제2 영상의 상기 변환 데이터를 1에서 상기 퍼센트 값을 뺀 값으로 곱하는 컴퓨터 코드; 및
    상기 제1 영상 및 상기 제2 영상에 대한 상기 곱셈된 변환 데이터를 가산하여 상기 중간 영상의 변환 코딩된 데이터를 형성하는 컴퓨터 코드를 포함하는 컴퓨터 프로그램 제품.
  30. 제23항에 있어서, 상기 제1 및 제2 영상을 나타내는 변환 데이터 사이에 상기 중간 영상을 나타내는 상기 변환 코딩된 데이터를 삽입하는 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
  31. 제30항에 있어서,
    상기 제1, 제2, 및 중간 영상들을 나타내는 상기 데이터를 양자화하는 컴퓨터 코드; 및
    상기 제1, 제2, 및 중간 영상들을 나타내는 상기 데이터를 엔트로피 인코딩하여 MPEG 데이터 스트림을 생성하는 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
  32. 제31항에 있어서, 상기 MPEG 데이터 스트림의 디코딩 및 디스플레이는 상기 제2 영상의 페이드-인을 생성하는 컴퓨터 프로그램 제품.
  33. 제31항에 있어서, 상기 MPEG 데이터 스트림의 디코딩 및 디스플레이는 상기 제1 영상의 페이드-아웃을 생성하는 컴퓨터 프로그램 제품.
  34. 제31항에 있어서, 상기 MPEG 데이터 스트림의 디코딩 및 디스플레이는 상기 제1 및 제2 영상들 사이에 크로스-페이드를 생성하는 컴퓨터 프로그램 제품.
  35. 제1항에 있어서, 상기 제1 영상은 단조(monotonic) 영상인 방법.
  36. 제1항에 있어서, 상기 제2 영상은 단조 영상인 방법.
  37. 제23항에 있어서, 상기 제1 MPEG 영상은 단조 영상인 컴퓨터 프로그램 제품.
  38. 제23항에 있어서, 상기 제2 MPEG 영상은 단조 영상인 컴퓨터 프로그램 제품.
  39. 인코딩된 데이터에 의해 표현되는 제1 영상과 제2 영상 사이의 적어도 하나의 중간 장면전환 영상을 나타내는 데이터를 계산하는 방법으로서,
    상기 중간 영상이 인트라 코딩될지를 결정하는 단계;
    상기 제1 영상 및 상기 제2 영상에 대한 상기 인코딩된 데이터가 모두 동일 스텝 사이즈 및 양자화 매트릭스를 이용하여 양자화되었는지를 결정하는 단계;
    상기 중간 영상이 인트라 코딩되어야 하고 상기 스텝 사이즈 및 양자화 매트릭스가 상기 제1 영상 및 상기 제2 영상 모두에 대해서 동일하면, 상기 제1 및 제2 영상 내의 각각의 대응하는 위치에 대해서, 상기 제1 및 제2 영상들로부터 양자화된 변환 계수들을 이용하여 적어도 하나의 중간 영상에 대한 양자화된 변환 코딩된 값을 계산하는 단계; 및
    각각의 양자화된 변환 코딩된 값을 메모리에 저장하는 단계
    를 포함하는 방법.
KR1020107019512A 2008-02-01 2009-01-29 변환 도메인에서 인코딩된 비디오용 장면전환 생성 KR20100111739A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/024,707 US8149917B2 (en) 2008-02-01 2008-02-01 Transition creation for encoded video in the transform domain
US12/024,707 2008-02-01

Publications (1)

Publication Number Publication Date
KR20100111739A true KR20100111739A (ko) 2010-10-15

Family

ID=40931667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107019512A KR20100111739A (ko) 2008-02-01 2009-01-29 변환 도메인에서 인코딩된 비디오용 장면전환 생성

Country Status (8)

Country Link
US (1) US8149917B2 (ko)
EP (1) EP2248343A4 (ko)
JP (1) JP5580214B2 (ko)
KR (1) KR20100111739A (ko)
CN (1) CN101981931A (ko)
BR (1) BRPI0908469A2 (ko)
IL (1) IL207336A0 (ko)
WO (1) WO2009099895A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US10200744B2 (en) 2013-06-06 2019-02-05 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US11537777B2 (en) 2014-09-25 2022-12-27 Huawei Technologies Co., Ltd. Server for providing a graphical user interface to a client and a client

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
EP3145200A1 (en) 2007-01-12 2017-03-22 ActiveVideo Networks, Inc. Mpeg objects and systems and methods for using mpeg objects
US20080201736A1 (en) * 2007-01-12 2008-08-21 Ictv, Inc. Using Triggers with Video for Interactive Content Identification
US8149917B2 (en) * 2008-02-01 2012-04-03 Activevideo Networks, Inc. Transition creation for encoded video in the transform domain
CN102132578A (zh) * 2008-06-25 2011-07-20 活动视频网络有限公司 在管理网络上把电视广播和在非管理网络上把交互式内容提供给客户端设备
US8732749B2 (en) 2009-04-16 2014-05-20 Guest Tek Interactive Entertainment Ltd. Virtual desktop services
US8275038B2 (en) * 2009-11-30 2012-09-25 Faraday Technology Corp. Motion detecting method and motion detector
US9229734B2 (en) * 2010-01-15 2016-01-05 Guest Tek Interactive Entertainment Ltd. Hospitality media system employing virtual user interfaces
US8910046B2 (en) 2010-07-15 2014-12-09 Apple Inc. Media-editing application with anchored timeline
US9003455B2 (en) 2010-07-30 2015-04-07 Guest Tek Interactive Entertainment Ltd. Hospitality media system employing virtual set top boxes
JP5866125B2 (ja) 2010-10-14 2016-02-17 アクティブビデオ ネットワークス， インコーポレイテッド ケーブルテレビシステムを使用したビデオ装置間のデジタルビデオストリーミング
US8954477B2 (en) 2011-01-28 2015-02-10 Apple Inc. Data structures for a media-editing application
US9997196B2 (en) 2011-02-16 2018-06-12 Apple Inc. Retiming media presentations
US11747972B2 (en) 2011-02-16 2023-09-05 Apple Inc. Media-editing application with novel editing tools
US9412414B2 (en) * 2011-02-16 2016-08-09 Apple Inc. Spatial conform operation for a media-editing application
EP2695388B1 (en) 2011-04-07 2017-06-07 ActiveVideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US8744205B2 (en) * 2011-06-16 2014-06-03 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for decomposing images and recomposing adjusted images
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
US9419737B2 (en) 2013-03-15 2016-08-16 Concio Holdings LLC High speed embedded protocol for distributed control systems
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US20140372841A1 (en) * 2013-06-14 2014-12-18 Henner Mohr System and method for presenting a series of videos in response to a selection of a picture
JP6330816B2 (ja) * 2013-09-12 2018-05-30 ソニー株式会社 符号化装置、送信装置および受信装置
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
KR102326154B1 (ko) * 2014-08-29 2021-11-15 삼성전자 주식회사 저전력 모드의 표시 방법 및 이를 지원하는 전자 장치
CN105719332B (zh) 2016-01-20 2019-02-19 阿里巴巴集团控股有限公司 色彩补间动画的实现方法和装置
CN109076243B (zh) * 2016-05-04 2022-01-25 夏普株式会社 用于对变换数据进行编码的系统和方法
US10636451B1 (en) * 2018-11-09 2020-04-28 Tencent America LLC Method and system for video processing and signaling in transitional video scene
EP3965424A1 (en) * 2020-09-02 2022-03-09 Lemon Inc. Transition period for image transitions in a media file

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583696A (ja) * 1991-06-07 1993-04-02 Sony Corp 画像符号化装置
JP2993212B2 (ja) * 1991-09-18 1999-12-20 松下電器産業株式会社 画像の合成方法
US5408274A (en) 1993-03-11 1995-04-18 The Regents Of The University Of California Method and apparatus for compositing compressed video data
US5812216A (en) 1994-04-19 1998-09-22 Avid Technology, Inc. Method and apparatus for creating motion picture transitions according to non-linear light response
WO1999018735A1 (en) 1997-10-07 1999-04-15 Thomson Consumer Electronics, Inc. Picture masking and compositing in the frequency domain
JP3818615B2 (ja) * 1998-05-28 2006-09-06 キヤノン株式会社 画像合成装置及び方法並びに記憶媒体
JP2001086453A (ja) * 1999-09-14 2001-03-30 Sony Corp 信号処理装置及び方法並びに記録媒体
JP2001145021A (ja) * 1999-11-16 2001-05-25 Victor Co Of Japan Ltd 画像処理方法および画像処理装置
JP2001204044A (ja) * 2000-01-24 2001-07-27 Victor Co Of Japan Ltd 画像処理方法および画像処理装置
US6941019B1 (en) * 2000-05-10 2005-09-06 International Business Machines Corporation Reentry into compressed data
JP2002152755A (ja) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 映像ストリーム間のトランスコード方法、およびトランスコーダ、並びにトランスコード方法のプログラムを記録した記録媒体
US7050113B2 (en) * 2002-03-26 2006-05-23 International Business Machines Corporation Digital video data scaler and method
EP1579451A1 (en) * 2002-12-20 2005-09-28 Koninklijke Philips Electronics N.V. Creating edit effects on mpeg-2 compressed video
JP2004326447A (ja) * 2003-04-24 2004-11-18 Sony Corp 画像合成装置及び方法
FR2855992B1 (fr) * 2003-06-10 2005-12-16 Usinor Procede et installation de coule continue directe d'une bande metallique
JP4222557B2 (ja) * 2004-01-13 2009-02-12 Ｋｄｄｉ株式会社 映像合成装置
US20060285586A1 (en) * 2005-05-16 2006-12-21 Ensequence, Inc. Methods and systems for achieving transition effects with MPEG-encoded picture content
JP4881045B2 (ja) * 2006-03-23 2012-02-22 富士フイルム株式会社 動画生成装置、動画生成方法、及びプログラム
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US8149917B2 (en) * 2008-02-01 2012-04-03 Activevideo Networks, Inc. Transition creation for encoded video in the transform domain
US8411754B2 (en) * 2008-11-10 2013-04-02 Activevideo Networks, Inc. System, method, and computer program product for translating an element of a static encoded image in the encoded domain

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US11073969B2 (en) 2013-03-15 2021-07-27 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US10200744B2 (en) 2013-06-06 2019-02-05 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US11537777B2 (en) 2014-09-25 2022-12-27 Huawei Technologies Co., Ltd. Server for providing a graphical user interface to a client and a client

Also Published As

Publication number Publication date
US20090196346A1 (en) 2009-08-06
JP2011511573A (ja) 2011-04-07
JP5580214B2 (ja) 2014-08-27
WO2009099895A1 (en) 2009-08-13
CN101981931A (zh) 2011-02-23
EP2248343A4 (en) 2011-02-02
US8149917B2 (en) 2012-04-03
EP2248343A1 (en) 2010-11-10
IL207336A0 (en) 2010-12-30
BRPI0908469A2 (pt) 2015-12-15

Similar Documents

Publication Publication Date Title
KR20100111739A (ko) 변환 도메인에서 인코딩된 비디오용 장면전환 생성
KR100776529B1 (ko) 간결한 트랜스코딩 힌트 메타데이터를 생성하는 방법 및 장치
JP5305552B2 (ja) ビデオ画像を符号化する処理方法及びその装置
US6031575A (en) Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
EP2632165B1 (en) Interactive encoded content system including object models for viewing on a remote device
KR100481732B1 (ko) 다 시점 동영상 부호화 장치
US6480628B2 (en) Method for computational graceful degradation in an audiovisual compression system
US6400768B1 (en) Picture encoding apparatus, picture encoding method, picture decoding apparatus, picture decoding method and presentation medium
Van Der Schaar et al. Rate-distortion-complexity modeling for network and receiver aware adaptation
EP2538675A1 (en) Apparatus for universal coding for multi-view video
US20090328109A1 (en) Providing Television Broadcasts over a Managed Network and Interactive Content over an Unmanaged Network to a Client Device
US20080212942A1 (en) Automatic video program recording in an interactive television environment
HU228605B1 (en) Method of forwarding video information, encoder and decoder for coding and decoding video information, and coded cideo information signal
US20100158109A1 (en) Providing Television Broadcasts over a Managed Network and Interactive Content over an Unmanaged Network to a Client Device
EP1145558A2 (en) System for editing compressed image sequences
Haskell et al. Mpeg video compression basics
JPH08307860A (ja) シーン再エンコード装置
Xin et al. Bit-allocation for transcoding pre-encoded video streams
JPH1032826A (ja) 動画像処理装置
Rehan et al. Frame-Accurate video cropping in compressed MPEG domain
Cheng et al. Frame accuracy seamless splicing of MPEG-2 video streams in compressed domain
Mandal et al. Digital video compression techniques
Howard An Experimental analysis of the MPEG compression standard with respect to processing requirements, compression ratio, and image quality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application