KR100845623B1 - 변환 도메인 비디오 편집 방법 및 장치 - Google Patents

변환 도메인 비디오 편집 방법 및 장치 Download PDF

Info

Publication number
KR100845623B1
KR100845623B1 KR1020067011843A KR20067011843A KR100845623B1 KR 100845623 B1 KR100845623 B1 KR 100845623B1 KR 1020067011843 A KR1020067011843 A KR 1020067011843A KR 20067011843 A KR20067011843 A KR 20067011843A KR 100845623 B1 KR100845623 B1 KR 100845623B1
Authority
KR
South Korea
Prior art keywords
data
video
bitstream
residual
edit
Prior art date
Application number
KR1020067011843A
Other languages
English (en)
Other versions
KR20060111573A (ko
Inventor
라지프 커세렌
페흐미 체빌
아사드 이슬람
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20060111573A publication Critical patent/KR20060111573A/ko
Application granted granted Critical
Publication of KR100845623B1 publication Critical patent/KR100845623B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

비디오 시퀀스가 압축된 포맷으로 있는 상태에서 그 비디오 시퀀스를 편집하는 방법 및 장치. 어떤 비디오 효과를 내기 위해, 비디오 효과를 가리키는 편집 데이터(22)가 압축된 비트스트림(100)으로부터의 잔류 데이터(40)로 적용된다. 잔류 데이터는 잔류 에러 데이터, 변환된 잔류 에러 데이터, 변환되고 양자화된 잔류 에러 데이터, 또는 변환되고 코딩된 에러 데이터일 수 있다. 비디오 효과는 한 컬러나 어떤 일련의 컬러들로의 페이드 인, 한 컬러나 일련의 컬러로부터의 페이드 아웃, 또는 컬러 비디오 프레임의 컬러 성분들로부터 흑백 비디오 프레임의 컬러 성분들로의 페이딩을 포함한다. 편집 연산들은 곱셈 또는 덧셈, 혹은 둘 모두일 수 있다.

Description

변환 도메인 비디오 편집 방법 및 장치{Method and Apparatus for Transform-domain Video Editing}
본 발명은 일반적으로 비디오 코딩에 관한 것으로, 보다 상세하게는 비디오 편집에 관한 것이다.
대중들 사이에 디지털 비디오 카메라가 점점 더 확산돼 가고 있다. 최근의 모바일 전화들 다수가 비디오 카메라를 장착하여, 사용자에게 비디오 클립을 촬영하여 이들을 무선 네트워크를 통해 전송하도록 하는 기능을 제공한다.
디지털 비디오 시퀀스들은 파일 사이즈로 볼 때 매우 크다. 짧은 비디오 시퀀스라도 수십 개의 이미지들로 이뤄져 있다. 결과적으로, 보통 비디오는 압축 형식으로 저장되고/거나 전송되게 된다. 이러한 목적으로 사용될 수 있는 여러 비디오 코딩 기술들이 존재한다. MPEG-4 및 H.263이 무선 셀룰라 환경에 적합한 가장 널리 사용되는 표준 압축 포맷들이다.
사용자들이 그들의 단말기에서 양질의 비디오를 생성할 수 있도록 하기 위해서는, 비디오 카메라를 구비하는 모바일 전화, 통신기 및 PDA 같은 전자 기기들로 편집 기능을 반드시 제공해야 한다. 비디오 편집은 이용 가능한 비디오 시퀀스들을 새로운 한 비디오 시퀀스로 변경하는 프로세스이다. 비디오 편집 도구들은, 사용자가 기능적이고도 미학적으로 보다 나은 비디오 표현을 만들어내기 위한 목적으 로 자신들의 비디오 클립들에 대해 일련의 효과(effects)를 가할 수 있도록 한다. 비디오 시퀀스들에 대해 비디오 편집 효과들을 가하기 위한 몇몇 상업적 제품들이 존재한다. 그러나, 이들 소프트웨어 제품들은 주로 PC 플랫폼에 맞춰져 있다.
프로세싱 전력, 스토리지 및 메모리 제한 내용들은 오늘날 PC 플랫폼 안에서 이슈가 되지 못하기 때문에, 그러한 비디오 편집 제품에 활용되는 기술들은 대부분 자신들의 원래(raw) 포맷으로 되어 있는 비디오 시퀀스들에 대해 공간 도메인 상에서 작용한다. 즉, 압축된 비디오가 먼저 디코딩되고, 그 다음 편집 효과들이 공간 도메인 상에서 도입되고, 마지막으로 비디오가 다시 인코딩된다. 이것이 공간 도메인 비디오 편집 동작으로 알려져 있다.
상술한 방식은 프로세싱 전력, 스토리지 공간, 사용 가능한 메모리 및 배터리 전력에 있어 낮은 자원을 가진 모바일 전화기들 같은 장치들에는 적용될 수가 없다. 비디오 시퀀스를 디코딩하고 그것을 재 인코딩하는 것은 많은 시간이 걸리게 하고 상당한 배터리 전력을 소모시키게 하는, 비용이 드는 동작들이다.
선행 기술에서는, 비디오 효과들이 공간 도메인 상에서 수행된다. 더 구체적으로 말하면, 비디오 클립이 우선 압축해제되고, 그런 다음 비디오의 특수 효과들이 수행된다. 마지막으로, 그 결과로 나온 이미지 시퀀스들이 재 인코딩된다. 이러한 방식의 주 단점이, 계산적으로 크게 집중되어 있고 특히 인코딩 부분에 있어 더 그러하다는 데 있다.
예시할 목적으로, 한 비디오 클립에 페이드 인 (fade-in)과 페이드 아웃 (fade-out)을 도입하기 위해 수행되는 동작들을 고려해 볼 수 있다. 페이드 인은 이미지 내 픽셀들이 특정 컬러들의 집합으로 서서히 바뀌는 경우, 가령 픽셀들이 점차로 검게 되어가는 경우를 말한다. 페이드 아웃은 이미지 내 픽셀들이 특정 컬러들의 집합으로부터 서서히 사라져서 이들이 완전한 백색 프레임에서 나타나기 시작하게 되는 경우를 말한다. 이러한 것들이 비디오 편집시 가장 널리 사용되는 특수 효과들 가운데 두 경우들이다.
공간 도메인 상에서 이러한 효과들을 달성하기 위해, 일단 비디오가 완전히 디코딩되면 다음과 같은 연산이 수행된다:
Figure 112006041997112-pct00001
Figure 112006041997112-pct00002
는 디코딩된 비디오 시퀀스이고,
Figure 112006041997112-pct00003
는 편집된 비디오이고,
Figure 112006041997112-pct00004
및
Figure 112006041997112-pct00005
는 도입되는 편집 효과들을 나타낸다. 여기서,
Figure 112006041997112-pct00006
는 프레임들 내 픽셀들의 공간 좌표들이고
Figure 112006041997112-pct00007
는 시간 좌표축이다.
한 시퀀스를 특정 컬러 C로 서서히 변하게 하는 경우,
Figure 112006041997112-pct00008
는 이를테면 다음과 같은 식으로 세팅될 수 있다.
Figure 112006041997112-pct00009
과도적으로 C에 접근하는 것 같은 다른 효과들은 수학식 1로 표현될 수 있다.
공간 도메인에서의 픽셀들에 대한 변형은, 원하는 효과에 따라 비디오 시퀀스의 다양한 컬러 성분들에 적용될 수 있다. 그런 다음 변형된 시퀀스는 압축을 위해 비디오 인코더로 공급된다.
이러한 연산을 가속화하기 위해, Meng 등에 의해 한 알고리즘이 제안되었다 (1996년 보스톤, 프로시딩/ACM 멀티미디어 43-53 페이지, "CVEPS - 압축된 비디오 편집 및 파싱(parsing) 시스템"). 이 알고리즘은 8x8 DCT 블록들의 DC 계수를, 픽셀 인텐시티 (intensity)를 특정 컬러 C로 서서히 바꾸게 할 상수 값
Figure 112006041997112-pct00010
로 곱함으로써 DCT 레벨에서 수학식 2의 연산을 수행하는 방법을 제안한다.
이전의 대부분의 해법들은 공간 도메인에서 작용하고, 이것은 계산상으로나 메모리 요건에 있어 비용이 들게 한다. 공간 도메인 연산들은 완전 디코딩 및 편집된 시퀀스들의 인코딩을 요한다. Meng 등에서 제안된 가속화는, 실제로, 압축된 도메인 레벨에서 하나의 특수 편집 효과를 수행하는 것과 비슷한 것, 즉, 특정 컬러로의 페이드 인이다.
효율적 수행을 위해, 비디오 압축 기술들은 비디오를 이루는 프레임들의 공간적 리던던시 (redundancy, 중복)를 활용한다. 우선, 프레임 데이터가 이산 코사인 변환 (DCT) 도메인 같은 다른 도메인으로 변환되어 무상관화(dicoreelate) 된다. 그런 다음 변환된 데이터가 양자화되고 엔트로피 코딩된다.
그 외에, 압축 기술들은 프레임을 코딩하고 이전 프레임(들), 때때로 앞으로 의 프레임(들)을 이용하는 것이 압축할 데이터 량의 상당한 감소를 일으킬 때, 프레임들간 시간적 상관을 활용한다.
한 프레임 영역들의 변화를 나타내는 정보가 연속되는 프레임을 나타내기 충분할 수 있다. 이것을 예측이라고 하고, 이렇게 코딩된 프레임들을 예측 (P) 프레임들 또는 인터(Inter) 프레임들이라고 한다. 그러한 예측은 (일어난 변화들이 모든 픽셀로 표현되는 것이 아니라면) 100% 정확할 수 없기 때문에, 에러들을 표현하는 잔류(residual) 프레임 역시 예측 절차를 보상하는데 사용된다.
예측 정보는, 보통 프레임들 내 오브젝트들의 변위(displacement)를 나타내는 벡터들로서 표현된다. 이 벡터들을 모션 벡터들이라 한다. 이 벡터들을 추정하기 위한 절차를 모션 추정이라 한다. 프레임들을 복원하도록 이 벡터들을 이용하는 것은 모션 보상이라고 알려져 있다.
예측은 흔히 프레임 내 블록들에 적용된다. 블록 사이즈는 서로 다른 알고리즘들 마다 다르다 (가령, 8x8 또는 16x6 픽셀들, 혹은 2n x 2m 픽셀들 (n과 m은 양의 정수)). 어떤 블록들은 모든 블록 데이터를 이전의 어느 정보와도 무관하게, 즉 예측 없이 보내는 것이 나을 정도로, 프레임마다 크게 달라진다. 이러한 블록들을 인트라(Intra) 블록들이라고 한다.
비디오 시퀀스들에서, 온전히 인트라 모드로 코딩되는 프레임들이 존재한다. 예를 들어, 시퀀스의 최초 프레임은 예측이 불가능하기 때문에 온전히 인트라 모드로 코딩된다. 장면 전환이 존재할 때와 같이, 이전의 것들과는 크게 다른 프레임들 역시 인트라 모드로 코딩된다. 코딩 모드의 선택은 비디오 인코더에 의해 이뤄 진다. 도 1 및 2가 전형적인 비디오 인코더(410) 및 디코더(420)를 각각 도시한다.
디코더(420)는 멀티플렉싱(다중화)된 비디오 비트스트림 (비디오 및 오디오 포함)에 작용하며, 상기 비트스트림은 다중화해제되어 압축 비디오 프레임들이 얻어진다. 압축 데이터는 양자화된 후 엔트로피 코딩된 예측 에러 변환 계수들, 코딩된 모션 벡터들 및 매크로 블록 타입 정보를 포함한다. 양자화된 후 디코딩된 변환 계수들
Figure 112006041997112-pct00011
(x, y는 계수의 좌표들이고, t는 시간을 나타낸다)이 역 양자화되어 다음과 같은 관계식에 의해 변환 계수들
Figure 112006041997112-pct00012
이 얻어진다:
Figure 112006041997112-pct00013
Figure 112006041997112-pct00014
은 역 양자화 연산이다. 스칼라 양자화의 경우, 수학식 3은 다음과 같이 된다.
Figure 112006041997112-pct00015
Figure 112006041997112-pct00016
는 양자화 파라미터다. 역변환 블록에서, 변환 계수들이 역변환되어 예측 에러
Figure 112006041997112-pct00017
가 얻어진다:
Figure 112006041997112-pct00018
Figure 112006041997112-pct00019
은 역변환 연산으로서, 이것은 대부분의 압축 기술들에서 역 DCT가 된다.
데이터 브록이 인트라 타입 매크로 블록이면, 이 블록의 픽셀들은
Figure 112006041997112-pct00020
와 같다. 실제로, 앞에서 설명한 것처럼, 여기에는 어떤 예측도 없다, 즉, 다음 식처럼 된다:
Figure 112006041997112-pct00021
데이터 블록이 인터 타입 매크로 블록이면, 프레임 메모리로부터 검색된 참조 프레임
Figure 112006041997112-pct00022
에 대해, 수신된 모션 벡터들
Figure 112006041997112-pct00023
을 이용하여 예측 픽셀 위치를 찾음으로써, 그 블록의 픽셀들이 재구성된다. 구해진 예측 프레임은 다음과 같다:
Figure 112006041997112-pct00024
Figure 112006041997112-pct00025
수학식 1에 주어진 것처럼, 편집 동작의 공간 도메인 표현은 다음과 같다:
Figure 112006041997112-pct00026
본 발명은 비디오 시퀀스들이 아직 압축된 포맷 상태일 때 그러한 비디오 시퀀스들에 편집 동작을 수행한다. 이러한 기술은 선행하는 기술들에 비해, 요구되는 복잡도를 크게 줄이는 한편 중요한 가속화를 달성한다. 편집 기술은, 한 컬러나 컬러 집합으로의 페이드 인, 한 컬러나 컬러들의 집합으로부터의 페이드 아웃, 컬러 비디오 프레임들의 컬러 성분들로부터 흑백 비디오 프레임들의 컬러 성분들로 페이드 인, 및 오리지널 공간을 회복하기 위한 그 역 절차 등의 여러 편집 동작을 위한 플랫폼을 나타낸다.
본 발명이 제1양태에 따르면, 비디오 시퀀스를 가리키는 비디오 데이터를 운반하는 비트스트림을 편집하는 방법이 제공되며, 상기 비디오 데이터는 비디오 시퀀스 내에 잔류(residual) 데이터를 포함한다. 이 방법은, 비트스트림으로부터 잔류 데이터를 구하는 단계; 및 한 비디오 효과를 내기 위해, 변형된 비트스트림 내에 추가 데이터를 제공하기 위해 변환 도메인 상의 잔류 데이터를 변형시키는 단계를 포함한다.
본 발명에 따르면, 잔류 데이터는 잔류 에러 데이터, 변환된 잔류 에러 데이터, 변환되어 양자화된 잔류 에러 데이터 또는 변환되어 양자화되고 코딩된 잔류 에러 데이터일 수 있다.
본 발명의 제2양태에 따르면, 비디오 시퀀스를 가리키는 비디오 데이터를 운반하는 비트스트림을 편집하는데 사용하기 위한 비디오 편집 장치가 제공되며, 상기 비디오 데이터는 비디오 시퀀스 내에 잔류 데이터를 포함한다. 이 장치는, 비트스트림으로부터 변환 도메인 상에서 잔류 데이터를 가리키는 에러 신호를 구하기 위한 제1모듈; 상기 에러 신호에 반응하여, 어떤 편집 효과를 가리키는 편집 데이터를, 변형된 비트스트림을 제공하기 위해 에러 신호와 결합하는 제2모듈을 포함한다.
본 발명에 따르면, 비트스트림은 압축된 비트스트림을 포함하며, 제1모듈은 잔류 데이터를 포함한 복수의 변환 계수들을 제공하기 위한 역 양자화 모듈을 포함한다.
본 발명에 따르면, 편집 데이터는 곱셈이나 덧셈, 또는 그 둘 모두를 통해, 압축된 도메인 상의 복수의 편집된 변환 계수들을 제공하도록 변환 계수들로 적용될 수 있다.
편집 데이터는 잔류 데이터를 포함하는 양자화 파라미터들에 적용될 수도 있다.
본 발명의 제3양태에 따른 전자 기기가 제공되며, 이 장치는, 비디오 시퀀스를 가리키는 비디오 데이터에 반응하여, 잔류 데이터를 포함하는 비디오 데이터를 나타내는 비트스트림을 제공하기 위한 제1모듈; 및 상기 비트스트림에 반응하여, 변형된 비트스트림을 제공하기 위해 변환 도메인 상에서, 편집 효과를 나타내는 편집 데이터를 에러 신호와 결합하기 위한 제2모듈을 포함한다.
본 발명에 따르면, 비트스트림은 압축 비트스트림을 포함하며, 제2모듈은 에러 데이터를 포함하는 복수의 변환 계수들을 제공하기 위한 역 양자화 모듈을 구비한다.
전자 기기는 비디오 데이터를 나타내는 신호를 제공하기 위한 전자 카메라, 및/또는 비디오 데이터를 나타내는 신호를 수신하는 수신기를 더 포함한다.
전자 기기는 변형된 비트스트림에 반응하여, 디코딩된 비디오를 나타내는 비디오 신호를 제공하기 위한 디코더, 및/또는 변형된 비트스트림을 나타내는 비디오 신호를 저장하기 위한 저장 매체를 포함할 수 있다.
전자 기기는 변형된 비트스트림을 전송하기 위한 전송기를 포함할 수 있다.
본 발명의 제4양태에 따르면, 비디오 효과를 달성하기 위해 비디오 시퀀스를 나타내는 비디오 데이터를 운반하는 비트스트림을 편집하기 위해 비디오 편집 장치에 사용될 소프트웨어 프로그램이 제공되며, 상기 비디오 데이터는 비디오 시퀀스 내에 잔류 데이터를 포함한다. 소프트웨어 프로그램은, 비디오 효과를 나타내는 편집 데이터를 제공하기 위한 제1코드; 및 비트스트림에 부가 데이터를 제공하기 위해 변환 도메인 상의 잔류 데이터에 편집 데이터를 적용하기 위한 제2코드를 포함한다.
본 발명은 도 4 내지 도 11과 관련해 취해진 설명을 읽음으로써 명확해 질 것이다.
도 1은 종래의 비디오 인코더 프로세스를 도시한 블록도이다.
도 2는 종래의 비디오 디코더 프로세스를 도시한 블록도이다.
도 3은 통상적인 비디오 편집 채널을 보인 개략적 표현이다.
도 4는 본 발명에 따라, 인트라 프레임들/매크로 블록들의 페이드 인 및 페이드 아웃 효과를 위한 압축 도메인 방식의 실시예를 도시한 블록도이다.
도 5는 본 발명에 따라, 인트라 프레임들/매크로 블록들의 페이드 인 및 페이드 아웃 효과를 위한 압축 도메인 방식의 다른 실시예를 도시한 블록도이다.
도 6은 본 발명에 따라, 인트라 프레임들/매크로 블록들의 페이드 인 및 페이드 아웃 효과를 위한 압축 도메인 방식의 실시예를 도시한 블록도이다.
도 7은 본 발명에 따라, 압축 도메인 비디오 편집에 사용될 수 있는 확장형 비디오 인코더를 보인 블록도이다.
도 8은 본 발명에 따라, 압축 도메인 비디오 편집에 사용될 수 있는 확장형 비디오 디코더를 보인 블록도이다.
도 9는 본 발명에 따라, 압축 도메인 비디오 편집에 사용될 수 있는 또 다른 확장형 비디오 디코더를 보인 블록도이다.
도 10a는 본 발명에 따라, 압축 도메인 비디오 편집 장치를 포함하는 전자 기기를 보인 블록도이다.
도 10b는 본 발명에 따라, 압축 도메인 비디오 편집 장치를 포함하는 다른 전자 기기를 보인 블록도이다.
도 10c는 본 발명에 따라, 압축 도메인 비디오 편집 장치를 포함하는 또 다른 전자 기기를 보인 블록도이다.
도 10d는 본 발명에 따라, 압축 도메인 비디오 편집 장치를 포함하는 또 다른 전자 기기를 보인 블록도이다.
도 11은 편집 효과를 제공하기 위한 소프트웨어 프로그램들을 보인 개략적 표현이다.
본 발명에서 비디오 시퀀스 편집 동작은, 원하는 편집 효과를 달성하기 위해, (시간 t의) 프레임에서 시작하고 오리지널 클립 복원하기를 포함해 효과를 변경하는 수단을 제공하는 최소한의 복잡도만으로, 압축 도메인 상에서 수행된다.
편집 동작이, 편집이 어떤 한 클립에 대해 일어나고 있는 단말들 중 하나의 어떤 채널에서 발생한다고 전제할 수 있다. 편집된 비디오는 도 3에 도시된 것과 같이 다른 단말에서 수신된다. 입력 비디오 클립과 수신 단말 사이에 있는 구성요소가, 비디오 편집 동작을 수행하는 비디오 편집 채널(500)이다. 비디오 편집 동작이 시간
Figure 112006041997112-pct00027
에서 시작된다고 하자. 비디오 클립에 효과를 가하기 위해, 그 시간에 시작하는 비트스트림이 변경된다.
앞서 언급했다시피, 두 종류의 매크로 블록들이 존재한다. 첫 번째 종류인 인트라 매크로 블록들을 볼 때, 그들의 재구성은 서로 다른 시간의 블록들과는 무관하게 이뤄진다(우리는 동일한 프레임에서 발생하는 모든 진행된 인트라 예측들을 포기할 것이다). 따라서, 수학식 1의 편집 동작을 수행하는 데에는, 잔류 혹은 에러 데이터
Figure 112007055067532-pct00028
의 변형을 필요로 한다. 수학식 5를 수학식 1에 끼워 맞추면 수학식 9, 10이 된다:
Figure 112006041997112-pct00029
Figure 112006041997112-pct00030
사용된 변환이 직교이고 적용된 벡터 공간을 확장하는 것이면, 8x8 DCT가
Figure 112006041997112-pct00031
에 대한 것일 때, 수학식 11이 다음과 같이 쓰여질 것이다:
Figure 112006041997112-pct00032
Figure 112006041997112-pct00033
이고
Figure 112006041997112-pct00034
는 DCT 도메인 컨볼루션을 나타낸다 (1998년 12월 비디오 기술을 위한 회로 및 시스템 관련 IEEE 회보의 Shen 등이 발표한 "DCT 컨볼루션 및 압축 도메인에서의 그 적용" 참조). 보편성을 잃지 않으면서,
Figure 112006041997112-pct00035
가 블록 단위로 적용되고
Figure 112006041997112-pct00036
는 그 블록에 대해 상수라는 것을 가정하며, 그에 따라
Figure 112006041997112-pct00037
는 곱셈이 되고 수학식 11은 다음과 같이 쓰여지게 된다:
Figure 112006041997112-pct00038
수학식 12는 다음과 같이 재작성될 수 있다:
Figure 112006041997112-pct00039
Figure 112006041997112-pct00040
수학식 14는 압축 DCT 도메인 상에서 변환 계수들
Figure 112006041997112-pct00041
의 편집된 상태를 나타낸다. 도 4는 본 발명에 따라, 편집 모듈(5)에서 변환 도메인 상에 편집 효과를 가하는 방법을 보인다.
도 4에 도시된 바와 같이, 멀티플렉싱된 비디오 비트스트림(100)으로부터 양자화되고 디코딩된 변환 계수들
Figure 112006041997112-pct00042
(110)을 얻기 위해 디멀티플렉서(10)가 사용된다. 역양자화기(20)가 사용되어 변환 계수들
Figure 112006041997112-pct00043
(120)가 구해지도록 한다. 소정 편집 효과
Figure 112006041997112-pct00044
가 블록 22에서 적용되어 압축 DCT 도메인상에서 편집된 변환 계수들
Figure 112006041997112-pct00045
(122)의 일부가 얻어진다. 그런 다음 가산기 장치(24)가 사용되어 변환 도메인상에 추가 편집 효과(150), 혹은
Figure 112006041997112-pct00046
를 부가한다. 가산한 후, 압축 DCT 도메인 상에서 편집된 변환 계수들
Figure 112006041997112-pct00047
(124)이 얻어진다. 양자화기(26)에 의해 재 양자화 된 후, 그 편집된 변환 계수들은 양자화되고 디코딩되고 편집된 변환 계수들(126)이 된다. 그런 다음 이렇게 변형된 계수들은 멀티플렉서(70)에 의해 엔트로피 부호화되어 편집된 비트스트림(170)으로 된다.
사용된 양자화가 스칼라이고
Figure 112006041997112-pct00048
가 0일 때, 수학식 14는 다음과 같이 쓰여질 수 있다:
Figure 112006041997112-pct00049
위의 식은 양자화된 파라미터들을 단순하게 변형한 것, 즉
Figure 112006041997112-pct00050
와 같은 것으로서, 그로써 역양자화 및 재양자화 연산에 대한 필요를 없앨 수 있다. 도 5에 도시된 바와 같이, 편집 효과 블록(22)은 편집된 변환 계수들(122)을 얻기 위해 양자화 파라미터들(112)을 직접 변형한다. 변형된 파라미터들(112)은 다시 멀티플렉서(70)에 의해 엔트로피 코딩되어 변형 후 부호화된 계수들로 되어, 압축 스트림 안에 삽입된다.
매크로 블록이 인터(Inter) 타입이면, 수학식 1에서 나타낸 것처럼
Figure 112006041997112-pct00051
에서 시작하는 편집 동작을 적용하여 유사한 접근 방식을 추종한다.
수학식 7을 수학식 8에 대입하면 다음과 같은 식을 얻을 수 있다:
Figure 112006041997112-pct00052
이때,
Figure 112006041997112-pct00053
는 모션 벡터들과
Figure 112006041997112-pct00054
에서 버퍼링된 프레임을 이용해 얻어진 모션 보상된 프레임이다.
모든
Figure 112006041997112-pct00055
에 있어, 예측 에러 프레임과 모션 벡터는 채널 양측 모두에서 동일하다.
전송자 측에서 편집 동작을 적용할 때, 다음과 같이 프레임들을 변형할 필요가 있다:
Figure 112006041997112-pct00056
수학식16은 다음과 같이 쓰여질 수 있다:
Figure 112006041997112-pct00057
수신자 측에서,
Figure 112007055067532-pct00058
는 모션 벡터들로부터 얻어지며, 이러한 사실은 이 기술 상에서, 그리고 앞에서 버퍼링된 프레임 내에서 바뀌지 않는다. 따라서, 수신자 측에서 효과들을 얻으려면, 잔류 프레임 (에러 프레임)
Figure 112007055067532-pct00059
을 보내거나, 변경할 필요가 있다:
Figure 112006041997112-pct00060
임의의 시간 t에 대해 효과를 적용하는 것일 때, 수학식 18은 다음과 같이 된다:
Figure 112006041997112-pct00061
DCT 도메인에서 수학식 19는 다음과 같이 쓰여질 수 있다.
Figure 112006041997112-pct00062
Figure 112006041997112-pct00063
및
Figure 112006041997112-pct00064
는 각각
Figure 112006041997112-pct00065
및
Figure 112006041997112-pct00066
의 DCT이다.
도 6은 상술한 변경이 어떻게 구현될 수 있는지를 도시한 것이다. 도 6에 도시된 것과 같은 비디오 디코더(7)는 섹션 6과 섹션 5의 두 부문을 포함한다. 섹션 6은 변환 계수들(120)로부터 예측 에러
Figure 112007055067532-pct00067
(130)를 얻기 위한 역변환 블록(30) 및, 공간 도메인 상의 예측 프레임
Figure 112007055067532-pct00068
(136)을 추가함으로써 프레임
Figure 112007055067532-pct00069
(132)를 재구성하는 합산 장치(32)를 이용하는 일반 비디오 디코더이다. 섹션 5는 재구성되어 모션 보상된 프레임
Figure 112007055067532-pct00070
의 DCT 변환을 구하기 위한 변환 모듈(38)을 포함한다. 그 다음, 변환 도메인 상에서 재구성되고 모션 보상된 프레임의 계수들(138)은 스케일링 모듈(40)에 의해 스케일링된다. 그결과(140)가 변환 도메인 상에서 변형된 잔류 프레임의 계수들(122) 및 변환 도메인 상의 다른 편집 효과(150)에 더해진다. 변환 도메인 상에서 편집된 잔류 프레임의 변환 계수들(160)은 양자화기(26)에 의해 재양자화된다.
오리지널 잔류 프레임
Figure 112007055067532-pct00071
은 앞에서 인트라 매크로 블록에 관해 제안되었던 것과 유사하게 다뤄진다. 부가적으로 필요로 되는 연산들이, 재구성되어 모션 보상된 프레임
Figure 112007055067532-pct00072
의 DCT 변환, 및 구해진 계수들의
Figure 112007055067532-pct00073
에 의한 스케일링이다. 그 다음 그 구해진 값들이 양자화되고 엔트로피 코딩된다.
이하의 비디오 편집 동작들은 상술한 세팅이 이뤄지는 이러한 기술을 이용해 수행될 수 있다:
블랙으로의 페이드 인
비디오 시퀀스의 모든 성분들에 대한, 블랙 프레임
Figure 112006041997112-pct00074
효과로의 페이드 인은, 휘도 및 색도 성분들에 대해 상술한 단계들을 적용하고
Figure 112006041997112-pct00075
및
Figure 112006041997112-pct00076
를 선택함으로써 수행될 수 있다.
화이트로의 페이드 인
비디오 시퀀스의 모든 성분들에 대한, 8 비트 비디오 255인 화이트 프레임 효과
Figure 112006041997112-pct00077
로의 페이드 인은, 휘도 및 색도 성분들에 대해 상술한 단계들을 적용하고
Figure 112006041997112-pct00078
를 선택함으로써 수행될 수 있다.
임의 컬러로의 페이드 인
임의 컬러를 가진 프레임
Figure 112006041997112-pct00079
으로의 페이드 인은, 비디오 시퀀스의 휘도 및 색도 성분들에 대해 위에서 설명한 단계들을 적용하고
Figure 112006041997112-pct00080
를 선택하여 원하는 단계들을 거쳐 상기 컬러가 나오도록 함으로써 수행될 수 있다.
흑백 프레임들로의 페이드 인 (흑백 비디오)
흑백으로의 과도기적 페이드인은, 컬러 성분들을 페이드 아웃함으로써 행해진다. 이것은 색도 성분들에만 위에 설명한 기술을 적용해 이뤄질 수 있다.
페이드 인 연산 후의 오리지널 시퀀스 복원
본 발명의 방법은 잔류 프레임 레벨에서만 비트스트림의 변경을 행한다. 페이드 인 효과 후에 오리지널 시퀀스를 복원하기 위해, 비트스트림 레벨 상에서의 페이드 인 연산의 인버스(inverse)가 필요하다.
Figure 112007055067532-pct00081
를 이용하고 동일한 기술을 적용해 오리지널 시퀀스를 복구할 수 있을 것이다. 흑백으로의 페이드 인 적용 후 컬러 비디오 시퀀스를 복원하는 것은, 비트스트림으로의 색도 성분들의 과도적 재산입을 필요로 할 것이다.
본 발명에 따른, 압축 도메인 편집 모듈들(5 및 7)이 도 7 내지 도 9에 도시된 것과 같은 일반적 비디오 인코더 또는 디코더와 연계해 사용될 수 있다. 예를 들어, 편집 모듈(5)(도 4) 또는 모듈 5'(도 5)은 일반적 비디오 인코더(410)와 연계해 사용되어 도 7에 도시된 것과 같은 확장형 비디오 인코더(610)를 형성할 수 있다. 확장형 인코더(610)는 비디오 입력을 수신하여 디코더로 비트스트림을 제공한다. 이와 같이, 확장형 인코더(610)는 통상적 인코더처럼 동작할 수도 있고, 아니면 인트라 프레임들/매크로 블록들 압축 도메인 비디오 편집을 위해 사용될 수 있다. 편집 모듈(5 또는 5')는 또한 일반적 비디오 디코더(420)와 연계하여 사용되어, 도 8에 도시된 것 같은 확장형 비디오 디코더(620)를 형성할 수 잇다. 확장형 비디오 디코더(620)는 비디오 데이터를 포함하는 비트스트림을 수신하고 디코딩된 비디오 신호를 제공한다. 이와 같이, 확장형 디코더(620)는 통상적 디코더처럼 동작하거나, 인트라 프레임들/매크로 블록들 압축 도메인 비디오 편집에 사용될 수 있다. 편집 모듈(7)(도 6)은 일반적 디코더(420)와 연계해 사용되어 다른 버전의 확장형 비디오 디코더(630)를 형성할 수 있다. 확장형 비디오 디코더(630)는 비디오 데이터를 포함하는 비트스트림을 수신하여 디코딩된 비디오 신호를 제공한다. 이와 같이, 확장형 디코더(630)는 통상적 디코더처럼 동작할 수도 있고, 아니면 인터 프레임들/매크로 브록들 압축 도메인 비디오 편집에 사용될 수도 있다.
확장형 인코더(610)는 전자 기기(710, 720, 또는 730) 안에 병합되어 도 10a 내지 도 10c에 각각 도시된 것처럼, 전자 기기에 압축 도메인 비디오 편집 기능을 제공할 수 있다. 도 10a에 도시된 바와 같이, 전자 기기(710)는 비디오 입력을 수신할 확장형 인코더(610)를 포함한다. 인코더(61) 출력에서 나온 비트스트림이 디코더(420)로 공급됨으로써, 디코딩된 비디오가 디스플레이 등에서 보여질 수 있다. 도 10b에 도시된 바와 같이, 전자 기기(720)는 비디오 화면을 촬영하기 위한 비디오 카메라를 포함한다. 비디오 카메라로부터의 비디오 신호는, 어떤 저장 매체에 작동 가능하게 연결되어 있는 확장형 인코더(610)로 운반된다. 비디오 카메라로부터 입력된 비디오는 앞에서 설명한 것처럼, 하나 이상의 비디오 효과들을 낼 수 있도록 편집될 수 있다. 도 10c에 도시된 것과 같이, 전자 기기(730)는 확장형 비디오 인코더(610)로부터의 비트스트림을 전송하기 위한 전송기를 포함한다. 도 10에 도시된 바와 같이, 전자 기기(740)는 비디오 데이터를 포함하는 비트스트림을 수신할 수신기를 포함한다. 비디오 데이터는 확장형 디코더(620 또는 630)로 운반된다. 확장형 디코더로부터의 출력은 표시를 위해 디스플레이로 전달된다. 전자 기기들(710, 720, 730, 740)은 모바일 단말, 컴퓨터, PDA, 비디오 기록 시스템 등일 수 있다.
도 4, 5, 6에 도시된 블록(22)에서 제공되는 비디오 효과는 도 11에 보여지는 것처럼 소프트웨어 프로그램(422)에 의해 수행될 수 있음을 알아야 한다. 마찬가지로, 추가 편집 효과(150) 역시 다른 소프트웨어 프로그램(424)에 의해 행해질 수 있다. 이를테면, 이러한 소프트웨어 프로그램들은
Figure 112006041997112-pct00082
를 가리키는 편집 데이터를 제공하기 위한 제1코드 및 곱셈 연산을 통해 상기 편집 데이터를 변환 계수들
Figure 112006041997112-pct00083
에 적용하기 위한 제2코드를 포함한다. 제2코드는
Figure 112006041997112-pct00084
를 가리키는 다른 편집 데이터를 변환 계수들
Figure 112006041997112-pct00085
또는 변환되어 편집된 계수들
Figure 112006041997112-pct00086
에 적용하기 위한 덧셈 연산을 포함할 수도 있다.
본 발명이 그 바람직한 실시예를 기준으로 설명되었으나, 이 기술분야의 당업자라면 본 발명의 범위에서 벗어나지 않는 범위 내에서 형식 및 내용에 있어 다른 다양한 변형, 생략, 및 일탈이 이뤄질 수 있음을 알 수 있을 것이다.

Claims (32)

  1. 비디오 시퀀스를 가리키고, 비디오 시퀀스 내에 잔류(residual) 데이터를 포함하는 비디오 데이터를 운반하는 비트스트림을 편집하는 방법에 있어서,
    비트스트림으로부터 잔류 데이터를 얻는 단계; 및
    한 비디오 효과를 내기 위해, 변형된 비트스트림 안에 추가 데이터를 제공하도록 잔류 데이터를 변경하는 단계를 포함함을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 변경하는 단계는 변환 도메인 상에서 수행됨을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 잔류 데이터는 잔류 에러 데이터를 가리킴을 특징으로 하는 방법.
  4. 제1항 또는 제2항에 있어서, 상기 비트스트림은 압축된 비트스트림을 포함하고, 상기 변경하는 단계는 상기 압축된 비트스트림에 대해 수행됨을 특징으로 하는 방법.
  5. 제1항 또는 제2항에 있어서, 상기 잔류 데이터는 변환된 잔류 에러 데이터를 가리킴을 특징으로 하는 방법.
  6. 제1항 또는 제2항에 있어서, 상기 잔류 데이터는 변환되고 양자화된 잔류 에러 데이터를 가리킴을 특징으로 하는 방법.
  7. 제1항 또는 제2항에 있어서, 상기 잔류 데이터는 변환되고, 양자화되고, 코딩된 잔류 에러 데이터를 가리킴을 특징으로 하는 방법.
  8. 제1항 또는 제2항에 있어서, 상기 비디오 효과는 어떤 컬러로의 페이드 인 (fade-in)을 포함함을 특징으로 하는 방법.
  9. 제8항에 있어서, 상기 컬러는 블랙임을 특징으로 하는 방법.
  10. 제8항에 있어서, 상기 컬러는 화이트임을 특징으로 하는 방법.
  11. 제1항 또는 제2항에 있어서, 상기 비디오 효과는, 한 컬러에서 다른 컬러로의 페이드 인 효과를 포함함을 특징으로 하는 방법.
  12. 제1항 또는 제2항에 있어서, 상기 비디오 효과는 컬러 비디오 프레임들의 컬러 성분들로부터 흑백 비디오 프레임들의 컬러 성분들로의 페이드 인 효과를 포함함을 특징으로 하는 방법.
  13. 비디오 시퀀스를 가리키고, 비디오 시퀀스 내에 잔류 데이터를 포함하는 비디오 데이터를 운반하는 비트스트림을 편집하는데 사용하는 비디오 편집 장치에 있어서,
    변환 도메인 상에서 비트스트림으로부터 잔류 데이터를 가리키는 에러 신호를 구하기 위한 제1모듈;
    상기 에러 신호에 반응하여, 변형된 비트스트림을 제공하기 위해 한 편집 효과를 나타내는 편집 데이터를 상기 에러 신호와 결합하기 위한 제2모듈을 포함함을 특징으로 하는 편집 장치.
  14. 제13항에 있어서, 상기 비트스트림은 압축된 비트스트림을 포함하고, 상기 제1모듈은 잔류 데이터를 포함하는 복수의 변환 계수들을 제공하기 위한 역양자화 모듈을 포함함을 특징으로 하는 편집 장치.
  15. 제14항에 있어서, 상기 편집 데이터는, 압축 도메인 상의 복수의 편집된 변형 계수들을 제공하도록, 변환 계수들로 적용되어짐을 특징으로 하는 편집 장치.
  16. 제15항에 있어서, 상기 제2모듈은 추가 편집 효과를 내기 위해, 추가 편집 데이터를 상기 편집된 변환 계수들에 결합시킴을 특징으로 하는 편집 장치.
  17. 제13항에 있어서, 상기 비트스트림은 잔류 데이터를 포함하는 복수의 양자화 파라미터들을 포함함으로써, 변형된 비트스트림을 제공하기 위해 편집 데이터가 상기 양자화 파라미터들과 결합될 수 있게 함을 특징으로 하는 편집 장치.
  18. 전자 기기에 있어서,
    비디오 시퀀스를 가리키고 잔류 데이터를 포함하는 비디오 데이터에 응하여, 상기 비디오 데이터를 나타내는 비트스트림을 제공하는 제1모듈; 및
    상기 비트스트림에 응하여, 변형된 비트스트림을 제공하기 위해, 한 편집 효과를 가리키는 편집 데이터와 에러 신호를 변환 도메인 상에서 결합하는 제2모듈을 포함함을 특징으로 하는 전자 기기.
  19. 제18항에 있어서, 상기 비트스트림은 압축된 비트스트림을 포함하고, 상기 제2모듈은 에러 데이터를 포함하는 복수의 변환 계수들을 제공하기 위한 역양자화 모듈을 포함함을 특징으로 하는 전자 기기.
  20. 제19항에 있어서, 상기 편집 데이터는, 상기 압축 도메인 상에서 상기 변환 계수들에 적용되어 복수의 편집된 변환 계수들을 제공하게 됨을 특징으로 하는 전자 기기.
  21. 제20항에 있어서, 상기 제2모듈은 추가 편집 효과를 내기 위해 추가 편집 데 이터를 상기 편집된 변환 계수들에 결합하는 결합 모듈을 더 포함함을 특징으로 하는 전자 기기.
  22. 제18항 내지 제21항 중 어느 한 항에 있어서,
    상기 비디오 데이터를 가리키는 신호를 제공하기 위한 전자 카메라를 더 포함함을 특징으로 하는 전자 기기.
  23. 제18항 내지 제21항 중 어느 한 항에 있어서,
    상기 비디오 데이터를 가리키는 신호를 수신하기 위한 수신기를 더 포함함을 특징으로 하는 전자 기기.
  24. 제18항 내지 제21항 중 어느 한 항에 있어서,
    상기 변형된 비트스트림에 반응하여, 디코딩된 비디오를 가리키는 비디오 신호를 제공하기 위한 디코더를 더 포함함을 특징으로 하는 전자 기기.
  25. 제18항 내지 제21항 중 어느 한 항에 있어서,
    상기 변형된 비트스트림을 가리키는 비디오 신호를 저장하기 위한 저장 매체를 더 포함함을 특징으로 하는 전자 기기.
  26. 제18항 내지 제21항 중 어느 한 항에 있어서,
    상기 변형된 비트스트림을 전송하기 위한 전송기를 더 포함함을 특징으로 하는 전자 기기.
  27. 비디오 효과를 내기 위해, 비디오 시퀀스를 나타내는 비디오 데이터를 운반하는 비트스트림을 편집하기 위한 비디오 편집 장치에 사용되는 소프트웨어 제품을 저장한 컴퓨터에 의해 판독 가능한 저장 매체에 있어서,
    상기 비디어 데이터가 상기 비디오 시퀀스 내에 잔류 데이터를 포함하고,
    상기 소프트웨어 제품이,
    상기 비디오 효과를 나타내는 편집 데이터를 제공하기 위한 제1코드; 및
    상기 비트스트림에 추가 데이터를 제공하도록, 변환 도메인 상에서 상기 잔류 데이터로 상기 편집 데이터를 적용하기 위한 제2코드를 포함함을 특징으로 하는 컴퓨터에 의해 판독 가능한 저장 매체.
  28. 제27항에 있어서, 상기 제2코드는 상기 편집 데이터를 상기 잔류 데이터에 적용하기 위한 곱셈 연산을 포함함을 특징으로 하는 컴퓨터에 의해 판독 가능한 저장 매체.
  29. 제27항에 있어서, 상기 제2코드는 상기 편집 데이터를 상기 잔류 데이터에 적용하기 위한 덧셈 연산을 포함함을 특징으로 하는 컴퓨터에 의해 판독 가능한 저장 매체.
  30. 제27항에 있어서, 상기 편집 데이터는 제1편집 데이터 및 제2편집 데이터를 포함하고, 상기 제2코드는, 편집된 잔류 데이터를 제공하도록 상기 잔류 데이터에 상기 제1편집 데이터를 적용하기 위한 곱셈 연산; 및 추가 데이터를 제공하기 위해 상기 편집된 잔류 데이터에 제2편집 데이터를 적용하기 위한 덧셈 연산을 포함함을 특징으로 하는 컴퓨터에 의해 판독 가능한 저장 매체.
  31. 제27항에 있어서, 상기 비디오 효과는 한 컬러로의 페이드 인 효과임을 특징으로 하는 컴퓨터에 의해 판독 가능한 저장 매체.
  32. 제27항에 있어서, 상기 비디오 효과는 한 컬러에서 다른 컬러로의 페이드 인 효과임을 특징으로 하는 컴퓨터에 의해 판독 가능한 저장 매체.
KR1020067011843A 2003-12-16 2004-10-08 변환 도메인 비디오 편집 방법 및 장치 KR100845623B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/737,184 US20050129111A1 (en) 2003-12-16 2003-12-16 Transform-domain video editing
US10/737,184 2003-12-16

Publications (2)

Publication Number Publication Date
KR20060111573A KR20060111573A (ko) 2006-10-27
KR100845623B1 true KR100845623B1 (ko) 2008-07-10

Family

ID=34654052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067011843A KR100845623B1 (ko) 2003-12-16 2004-10-08 변환 도메인 비디오 편집 방법 및 장치

Country Status (5)

Country Link
US (1) US20050129111A1 (ko)
EP (1) EP1695551A4 (ko)
JP (1) JP2007519310A (ko)
KR (1) KR100845623B1 (ko)
WO (1) WO2005062612A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715898B2 (en) * 2003-12-16 2017-07-25 Core Wireless Licensing S.A.R.L. Method and device for compressed-domain video editing
US8199825B2 (en) * 2004-12-14 2012-06-12 Hewlett-Packard Development Company, L.P. Reducing the resolution of media data
US7760808B2 (en) * 2005-06-21 2010-07-20 Nokia Corporation Image processing of DCT-based video sequences in compressed domain
JP4674767B2 (ja) * 2006-08-18 2011-04-20 Ｋｄｄｉ株式会社 動画像編集方法および装置
US8245124B1 (en) * 2008-03-20 2012-08-14 Adobe Systems Incorporated Content modification and metadata
US8868684B2 (en) * 2011-06-17 2014-10-21 At&T Intellectual Property I, L.P. Telepresence simulation with multiple interconnected devices
US10678843B2 (en) * 2015-01-06 2020-06-09 Maxell, Ltd. Image display device, image display method and image display system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526099B1 (en) * 1996-10-25 2003-02-25 Telefonaktiebolaget Lm Ericsson (Publ) Transcoder
WO2004054225A2 (en) * 2002-12-04 2004-06-24 Thomson Licensing S.A. Encoding of video cross-fades using weighted prediction

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950007876B1 (ko) * 1992-12-12 1995-07-20 엘지전자주식회사 디지탈 브이 씨 알의 영상 데이타 기록 회로
US5477276A (en) * 1992-12-17 1995-12-19 Sony Corporation Digital signal processing apparatus for achieving fade-in and fade-out effects on digital video signals
JPH0993487A (ja) * 1995-09-21 1997-04-04 Roland Corp ビデオ編集装置
US5802226A (en) * 1996-03-29 1998-09-01 Matsushita Electric Industrial Co., Ltd. Method and apparatus for video fade effect with a single video source
KR0178756B1 (ko) * 1996-06-29 1999-04-15 김광호 셔플을 위한 최적의 메모리 제어방법 및 그 장치
US6035085A (en) * 1997-09-23 2000-03-07 Sony Corporation Digital and analog compatible triaxial cable system
JP3957915B2 (ja) * 1999-03-08 2007-08-15 パイオニア株式会社 フェード検出装置及び情報符号化装置
JP3784289B2 (ja) * 2000-09-12 2006-06-07 松下電器産業株式会社 メディア編集方法及びその装置
US7106366B2 (en) * 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
TWI248073B (en) * 2002-01-17 2006-01-21 Media Tek Inc Device and method for displaying static pictures
US7599565B2 (en) * 2004-03-10 2009-10-06 Nokia Corporation Method and device for transform-domain video editing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526099B1 (en) * 1996-10-25 2003-02-25 Telefonaktiebolaget Lm Ericsson (Publ) Transcoder
WO2004054225A2 (en) * 2002-12-04 2004-06-24 Thomson Licensing S.A. Encoding of video cross-fades using weighted prediction

Also Published As

Publication number Publication date
WO2005062612A1 (en) 2005-07-07
JP2007519310A (ja) 2007-07-12
EP1695551A1 (en) 2006-08-30
EP1695551A4 (en) 2007-06-13
US20050129111A1 (en) 2005-06-16
WO2005062612A8 (en) 2005-09-29
KR20060111573A (ko) 2006-10-27

Similar Documents

Publication Publication Date Title
US10321136B2 (en) Image processing apparatus and method
EP1894413B1 (en) Image processing of dct-based video sequences in compressed domain
JP2002500851A (ja) 符号化データストリームのデータ変更方法及び装置
US20050243917A1 (en) H.263/MPEG video encoder using average histogram difference and method for controlling the same
US10728544B2 (en) Encoding device, encoding method, decoding device, and decoding method
US5844607A (en) Method and apparatus for scene change detection in digital video compression
JP2005160084A (ja) ＳＮＲ（ｓｉｇｎａｌｔｏｎｏｉｓｅｒａｔｉｏ）スケーラビリティを実現するための動映像処理装置及びその方法
US6363113B1 (en) Methods and apparatus for context-based perceptual quantization
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
KR100845623B1 (ko) 변환 도메인 비디오 편집 방법 및 장치
EP1723784B1 (en) Method and device for transform-domain video editing
KR102321895B1 (ko) 디지털 비디오의 디코딩 장치
JPH08294125A (ja) 動画像符号化装置および動画像復号化装置
KR100598093B1 (ko) 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
EP1889487A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
KR20020054452A (ko) 동영상 부호화기, 동영상 복호화기에서 슬라이스 메모리와프레임 메모리간의 데이터 처리 방법
JPH0998421A (ja) 画像符号化／復号化装置
JP2004208146A (ja) 動画像符号化装置および動画像符号化方法
JP3798432B2 (ja) ディジタル画像を符号化および復号化する方法および装置
KR100497753B1 (ko) 이동통신 단말기용 동영상 부호화 시스템 및 방법
KR100522595B1 (ko) 엠펙 비디오 복호화방법 및 엠펙 비디오 복호화기
KR100497760B1 (ko) 이동통신 단말기용 동영상 부호화 시스템 및 방법
KR0130167B1 (ko) 동영상 압축 부호화 장치
Kurceren et al. Compressed domain video editing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee