KR100876316B1 - 압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물 - Google Patents

압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물 Download PDF

Info

Publication number
KR100876316B1
KR100876316B1 KR1020067018290A KR20067018290A KR100876316B1 KR 100876316 B1 KR100876316 B1 KR 100876316B1 KR 1020067018290 A KR1020067018290 A KR 1020067018290A KR 20067018290 A KR20067018290 A KR 20067018290A KR 100876316 B1 KR100876316 B1 KR 100876316B1
Authority
KR
South Korea
Prior art keywords
video
frame
delete delete
editing
data
Prior art date
Application number
KR1020067018290A
Other languages
English (en)
Other versions
KR20070018886A (ko
Inventor
아사드 이슬람
페흐미 체빌
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20070018886A publication Critical patent/KR20070018886A/ko
Application granted granted Critical
Publication of KR100876316B1 publication Critical patent/KR100876316B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

본 발명은 입력 비디오 프레임들을 포함하는 미디어 파일을 편집하는 방법 및 장치에 관한 것이다. 상기 편집 장치는 프레임 분석기(frame analyzer)를 포함하여 상기 입력 비디오 프레임들이 압축 영역(copressed domain) 편집에 적절한 프레임 특징(frame characteristic)들을 가지는지 또는 공간 영역(spatial domain) 편집에 적절한 프레임 특징들을 가지는지를 결정하도록 한다. 압축 영역 편집에 적절한 프레임들이면, 상기 프레임 분석기는 프레임 데이터를 압축 영역 처리기에 제공하여 비디오 프레임 데이터가 압축 영역에서 변형될 수 있도록 한다. 단지 공간 영역 편집에 적절한 프레임들이면, 상기 프레임 분석기는 프레임 데이터를 디코더에 제공하고 그리고나서 공간 영역 처리기에 제공하여 프레임 데이터가 변형되도록 한다. 상이한 영역들에서 변형된 데이터들은 파일 포맷 컴포저(file format composer)에 의해 결합하고 그리고 변환되어 파일 포맷 된다. 또한, 필요한 경우 파일 포맷 파서(file format parser)가 오디오 데이터를 비디오 데이터와 분리하여 상기 오디오 데이터 또한 변형될 수 있도록 하는데 사용된다.

Description

압축-영역 비디오 편집 방법, 장치들, 시스템 및 소프트웨어 생성물{Method, devices, system and software product for compressed-domain video editing}
본 발명은 일반적으로 비디오 코딩(video coding)에 관한 것이며, 더 상세하게는 비디오 편집(video editing)에 관한 것이다.
디지털 비디오 카메라들이 일반 대중 사이에서 점점 더 널리 보급되고 있다. 많은 수의 최신 이동 전화들에는 비디오 클립들을 촬영하고 그리고 그들을 무선 네트워크들을 통해 송신하는 기능을 사용자들에게 제공하는 비디오 카메라들이 장착되어 있다.
디지털 비디오 시퀀스(sequence)들은 파일 사이즈가 매우 크다. 심지어 짧은 비디오 시퀀스도 수십 개의 이미지들로 이루어진다. 결과적으로 비디오는 항상 압축된 형태로 저장 및/또는 전송된다. 이러한 목적을 위해 사용될 수 있는 몇몇 비디오-코딩 기술들이 존재한다. MPEG-4 및 H.263은 무선 셀룰러 환경들에 적당한 가장 널리 사용되는 표준 압축 포맷들이다.
사용자들로 하여금 그들의 단말기들에서 양질의 비디오를 생성하도록 하기 위해서는, 이동 전화들, 커뮤니케이터(communicator)들 및 PDA들과 같이 비디오 카메라가 장착된 전자 장치들에 비디오 편집 기능을 제공하는 것이 필수적이다. 비디 오 편집이란 이용 가능한 비디오 시퀀스들을 새로운 비디오 시퀀스로 변형하는 처리이다. 비디오 편집 툴(tool)들은 사용자들로 하여금 비디오 클립들에 대해 자신의 비디오의 보다 기능적이고 미적인 표현을 생성하는 것을 목적으로 하는 일련의 이펙트(effect)들을 적용할 수 있도록 한다. 비디오 편집 이펙트들을 비디오 시퀀스들에 적용하기 위한 몇몇 상품들이 존재한다. 그러나 상기 소프트웨어 상품들은 주로 PC 플랫폼(platform)을 타깃으로 하는 것들이다.
오늘날 PC 플랫폼에서는 처리 전력(processing power), 저장 및 메모리 제약들이 문제되지 않기 때문에, 상기 비디오-편집 상품들에 이용되는 기술들은 주로 공간 영역(spatial domain)에서 원시 포맷(raw format)들로 이루어진 비디오 시퀀스들에 투입한다. 환언하면, 압축된 비디오는 우선 디코딩되고, 그리고나서 편집 이펙트들이 공간 영역에서 도입되고, 그리고 마지막으로 상기 비디오가 다시 인코딩된다. 이는 공간 영역 비디오 편집 동작으로 공지되어 있다.
상기 기술은 처리 전력, 저장공간, 이용가능한 메모리 및 배터리 전력에 있어서 적은 자원을 가지는 이동 전화들과 같은 장치들에는 적용될 수 없다. 비디오 시퀀스를 디코딩하고 그리고 그것을 다시 인코딩하는 것은 오랜 시간이 걸리고 많은 배터리 전력을 소모하는 낭비적인 동작들이다.
종래기술에 있어서, 비디오 이펙트들은 공간 영역에서 실행된다. 더 상세하게는, 우선 비디오 클립이 압축해제되고 그리고나서 비디오 스페셜 이펙트(video special effect)들이 실행된다. 마지막으로, 결과 이미지 시퀀스(resulting image sequence)들이 다시 인코딩된다. 도 1에는 기존의 일반적인 비디오 편집 절차가 도 시되어 있다. 상기 접근법의 큰 단점은 상기 접근법, 특히 인코딩 부분(encoding part)이 상당히 계산 집약적이라는 것이다. 종래의 시스템은 이동 플랫폼에는 적당하지 않다. 공간 영역 동작들의 상기 요건들 때문에, 이동 장치들에서 비디오 편집 시스템들은 거의 사용되지 않고 있으며, 또한 이용가능한 편집 기능들도 매우 제한적이다.
따라서, 종래 처리기술의 단점들을 갖지 않는 비디오 편집 방법을 제공하는 것은 효과적이고 그리고 바람직하다.
본 발명은 압축-영역 비디오 편집(compressed-domain video editing) 방법 및 장치로서, 미디어 파일에서 오디오 데이터와 비디오 데이터를 분리하여 상기 오디오 데이터 및 상기 비디오 데이터가 개별적으로 편집될 수 있도록 하기 위해 파서(parser)가 사용되는 압축-영역 비디오 편집 방법 및 장치를 제공한다. 특히, 입력 비디오 프레임(input video frame)들의 프레임 특징(frame characteristic)들을 기반으로 상기 비디오 데이터가 압축 영역 편집용으로 적당한지 또는 공간 영역 처리용으로 적당한지를 결정하기 위해 프레임 분석기(frame analyzer)가 사용된다.
따라서 본 발명의 제 1 태양은, 1 이상의 편집 파라미터(editing parameter)에 의해 지정된 1 이상의 편집 이펙트(editing effect)를 지니는 1 이상의 편집 비디오 프레임(edited video frame)을 제공하기 위해 비트스트림(bitstream)으로 1 이상의 입력 비디오 프레임을 편집하는 방법을 제공한다. 상기 방법은:
상기 비트스트림에서 1 이상의 입력 비디오 프레임의 프레임 특징들을 식별하는 단계; 및
상기 편집 비디오 프레임들을 나타내는 변형 비트스트림(modified bitstream)을 제공하기 위해, 상기 1 이상의 프레임의 상기 프레임 특징들 및 지정 편집 파라미터(specified editing parameter)들을 기반으로 상기 비트스트림을 압축 영역(compressed domain)에서 변형하는 단계를 포함한다.
본 발명에 따르면, 상기 입력 비디오 프레임들이 비디오 데이터를 포함하고 그리고 상기 비트스트림을 변형하는 상기 단계가 편집 프레임 데이터(edited frame data)를 제공하기 위해 압축 영역 처리기(compression domain processor)에서 상기 비디오 데이터를 변형하는 단계를 포함한다.
본 발명에 따르면, 상기 비디오 데이터가 가변 길이 코드(variable-length code; VLC)로 코딩된다. 상기 방법은:
상기 비디오 데이터를 변형하는 상기 단계 전에 상기 VLC 코드 비디오 데이터(VLC coded video data)를 2진(binary) 형태로 변환하는 단계를 더 포함한다. 상기 방법은:
상기 VLC 코드 비디오 데이터를 변환하는 상기 단계 전에 상기 VLC 코드 비디오 데이터를 역 양자화하는 단계, 및
상기 VLC 코드 비디오 데이터를 변환하는 상기 단계 전에 상기 VLC 코드 비디오 데이터를 역 코사인 변환(inverse cosine transform) 동작으로 처리하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 상기 방법은:
상기 비트스트림에서 1 이상의 다른 비디오 프레임의 프레임 특징들을 식별하는 단계;
다른 변형 비트스트림을 제공하기 위해 상기 1 이상의 다른 비디오 프레임의 상기 프레임 특징들 및 상기 지정 편집 파라미터(specified editing parameter)들을 기반으로 상기 비트스트림을 상기 압축 영역과는 다른 상이한 영역에서 변형하는 단계; 및
상기 변형 비트스트림의 적어도 일부분과 상기 다른 변형 비트스트림의 적어도 일부분을 결합하는 단계를 더 포함한다.
상기 다른 영역은 공간 영역(spatial domain) 또는 파일 포맷 영역(file format domain)이다.
본 발명에 따르면, 상기 방법은:
상기 편집 프레임 데이터를 미디어 플레이어(media player)용 편집 미디어 파일(edited media file)로 변환하는 단계; 및
상기 편집 프레임 데이터를 상기 미디어 플레이어에 대해 호환가능한 편집 미디어 파일로 변환하기 위해 상기 편집 프레임 데이터의 편집 속성(editing property)들을 나타내는 포맷 정보(format information)를 제공하는 단계를 더 포함한다.
본 발명에 따르면, 상기 비트스트림이 상기 입력 비디오 프레임들의 비디오 데이터와 분리될 수 있는 오디오 데이터를 더 포함할 때, 상기 방법은:
상기 편집 프레임 데이터를 변환하는 상기 단계 전에 상기 오디오 데이터를 상기 편집 프레임 데이터와 결합하는 단계;
필요한 경우, 상기 편집 프레임 데이터와 결합하는 상기 단계 전에 상기 오디오 데이터를 변형하는 단계; 및
상기 편집 프레임 데이터와 결합하는 상기 단계에서 상기 오디오 데이터 및 상기 편집 프레임 데이터 간에 동기화를 유지하기 위해 타이밍 정보(timing information)를 제공하는 단계를 더 포함한다.
본 발명에 따르면, 상기 편집 파라미터들이 사용자에 의해 선택되는 1 이상의 편집 프레퍼런스(editing preference)들을 기반으로 지정된다.
본 발명의 제 2 태양은, 1 이상의 편집 파라미터(editing parameter)에 의해 지정된 1 이상의 편집 이펙트(editing effect)를 지니는 1 이상의 편집 비디오 프레임(edited video frame)을 제공하기 위해 비트스트림(bitstream)으로 1 이상의 입력 비디오 프레임을 편집하는 미디어 편집 장치를 제공한다. 상기 편집 장치는:
비디오 프레임 데이터를 나타내는 신호들에 응답하여, 상기 비트스트림에서 상기 1 이상의 입력 비디오 프레임의 프레임 특징(frame characteristic)들을 식별하는 프레임 분석기 모듈(frame analyzer module); 및
상기 프레임 특징들을 나타내는 신호들에 응답하여, 상기 편집 비디오 프레임들을 나타내는 변형 비디오 데이터(modified video data)를 제공하기 위해 상기 1 이상의 프레임의 상기 프레임 특징들 및 지정 편집 파라미터(specified editing parameter)들을 기반으로 상기 비디오 프레임 데이터를 변형하는 압축 영역 처리 모듈(compressed domain processing module)을 포함한다.
본 발명에 따르면, 상기 프레임 분석기는 또한 상기 비트스트림에서 1 이상의 다른 비디오 프레임의 프레임 특징들을 식별한다. 상기 편집 장치는:
상기 다른 비디오 프레임의 상기 프레임 특징들을 나타내는 신호들에 응답하여, 다른 변형 비디오 데이터(modified video data)를 제공하기 위해 상기 다른 비디오 프레임의 상기 프레임 특징들 및 상기 지정 편집 파라미터들을 기반으로 상기 다른 비디오 프레임의 비디오 프레임 데이터를 변형하는 공간 영역 처리 모듈(spatial domain processing module); 및
상기 변형 비디오 데이터의 적어도 일부분과 상기 다른 변형 비디오 데이터의 적어도 일부분을 결합하는 결합모듈을 더 포함한다.
본 발명에 따르면, 상기 편집 장치는:
상기 변형 비디오 데이터를 나타내는 신호들에 응답하여, 상기 변형 비디오 데이터를 미디어 플레이어용 편집 미디어 파일(edited media file)로 변환하는 포맷 컴포저 모듈(format composer module)을 더 포함하고, 그리고 상기 프레임 분석기 모듈이 상기 변형 비디오 데이터의 편집 속성(editing property)들을 나타내는 포맷 정보(format information)를 더 식별하여 상기 변형 비디오 데이터를 상기 미디어 플레이어에 대해 호환가능한 편집 미디어 파일로 변환하도록 한다.
상기 포맷 컴포저 모듈은 파일 포맷 컴포저(file format composer) 또는 미디어 포맷 컴포저(media format composer)일 수 있다.
본 발명에 따르면, 상기 비트스트림이 오디오 데이터를 더 포함할 때, 상기 편집 장치는:
상기 입력 비디오 프레임들에서 비디오 프레임 데이터와 오디오 데이터를 분리하는 포맷 파서 모듈(format parser module);
필요한 경우, 변형 오디오 데이터(modified audio data)를 제공하기 위해 상기 오디오 데이터를 변형하는 오디오 처리 모듈(audio processing module);
결합 데이터(combined data)를 나타내는 결합 신호(combined signal)들을 제공하기 위해 상기 변형 비디오 데이터 및 상기 변형 오디오 데이터를 결합하는 결합 모듈(combination module); 및
상기 결합 신호들에 응답하여, 상기 결합 데이터를 미디어 플레이어용 편집 미디어 파일(edited media file)로 변환하는 파일 또는 미디어 포맷 컴포저를 더 포함한다.
본 발명의 제 3 태양은, 1 이상의 편집 비디오 프레임(edited video frame)에 1 이상의 편집 이펙트(editing effect)를 제공하기 위해 1 이상의 입력 비디오 프레임을 포함하는 미디어 파일(media file)들을 편집할 수 있는 통신 장치를 제공한다. 상기 통신 장치는:
사용자로 하여금 상기 편집 이펙트들을 지정하도록 하는 비디오 편집 애플리케이션 모듈(video editing application module); 및
상기 입력 비디오 프레임들을 나타내는 신호들에 응답하여, 상기 편집 비디오 프레임들을 나타내는 변형 비디오 데이터(modified video data)를 제공하기 위해 상기 지정된 편집 이펙트들을 기반으로 상기 1 이상의 비디오 프레임의 비디오 프레임 데이터를 변형하는 압축 영역 처리 모듈(compressed domain processing module), 및 상기 비디오 프레임 데이터를 나타내는 신호들에 응답하여, 상기 압축 영역 처리 모듈로 하여금 프레임 특징(frame characteristic)들을 또한 기반으로 하여 상기 비디오 프레임 데이터를 변형하도록 하기 위해 상기 1 이상의 입력 비디오 프레임의 프레임 특징들을 식별하는 프레임 분석기 모듈(frame analyzer module)을 지니는 비디오 편집 시스템(video editing system)을 포함한다.
본 발명에 따르면, 상기 프레임 분석기는 상기 비트스트림에서 1 이상의 다른 비디오 프레임의 프레임 특징들을 더 식별하고, 그리고 상기 편집 시스템은:
상기 다른 비디오 프레임의 상기 프레임 특징들을 나타내는 신호들에 응답하여, 다른 변형 비디오 데이터를 제공하기 위해 상기 다른 비디오 프레임의 상기 프레임 특징들 및 상기 지정된 편집 파라미터들을 기반으로 상기 다른 비디오 프레임의 비디오 프레임 데이터를 변형하는 공간 영역 처리 모듈(spatial domain processing module);
상기 변형 비디오 데이터의 적어도 일부분과 상기 다른 변형 비디오 데이터의 적어도 일부분 결합하는 결합모듈; 및
상기 변형 비디오 데이터를 나타내는 신호들에 응답하여, 상기 변형 비디오 데이터를 미디어 플레이어용 편집 미디어 파일(edited media file)로 변환하는 포맷 컴포저 모듈을 더 지닌다.
본 발명에 따르면, 상기 통신 장치는:
변형 비디오 데이터를 기반으로 비디오 이미지들을 표시하는 디스플레이 스크린을 더 포함한다.
상기 통신 장치는 이동 단말기, 커뮤니케이터 장치(communicator device), PDA 등일 수 있다.
본 발명의 제 4 태양은, 1 이상의 편집 파라미터(editing parameter)에 의해 지정된 1 이상의 편집 이펙트(editing effect)를 가지는 1 이상의 편집 비디오 프레임(edited video frame)을 제공하기 위해 비트스트림(bitstream)으로 1 이상의 입력 비디오 프레임을 편집하는 비디오 편집 시스템용 소프트웨어 생성물을 제공한다. 상기 소프트웨어 생성물은:
상기 비트스트림에서 상기 1 이상의 입력 비디오 프레임의 프레임 특징(frame characteristic)들을 식별하는 코드; 및
상기 편집 비디오 프레임들을 나타내는 변형 비디오 데이터(modified video data)를 제공하기 위해 상기 1 이상의 프레임의 상기 프레임 특징들 및 지정 편집 파라미터(specified editing parameter)들을 기반으로 상기 1 이상의 입력 비디오 프레임의 비디오 데이터를 압축 영역에서 변형하는 코드를 포함한다.
본 발명에 따르면, 상기 입력 비디오 프레임들이 가변-길이 코드(variable-length code; VLC)로 코딩된 비디오 데이터를 포함할 때, 상기 소프트웨어 생성물은:
상기 1 이상의 입력 비디오 프레임의 상기 비디오 데이터를 변형하기 전에 상기 VLC 코드 비디오 데이터(VLC coded video data)를 2진 형태로 변환하는 코드를 더 포함한다.
본 발명에 따르면, 상기 프레임 특징들을 식별하는 상기 코드는 1 이상의 다른 입력 비디오 프레임의 프레임 특징들을 더 식별하고 그리고 상기 소프트웨어 생성물은:
다른 변형 비디오 데이터(modified video data)를 제공하기 위해 상기 다른 입력 비디오 프레임의 상기 프레임 특징들 및 상기 지정 편집 파라미터(specified editing parameter)들을 기반으로 상기 1 이상의 다른 입력 비디오 프레임들의 비디오 데이터를 상기 압축 영역과는 다른 상이한 영역에서 변형하는 코드를 더 포함한다. 상기 다른 영역은 공간 영역(spatial domain) 또는 파일 포맷 영역(file format domain)일 수 있다.
본 발명에 따르면, 상기 소프트웨어 생성물은:
편집 비디오 프레임들을 제공하기 위해 상기 변형 비디오 데이터와 상기 다른 변형 비디오 데이터를 결합하는 코드; 및
상기 변형 비디오 데이터를 미디어 플레이어용 편집 미디어 파일(edited media file)로 변환하는 코드를 더 포함한다.
본 발명의 제 5 태양은:
프레임 데이터를 가지는 복수의 프레임들에 인코딩 미디어 데이터(encoded media data)를 제공하기 위해 미디어 데이터를 인코딩하는 미디어 인코더;
상기 인코딩 미디어 데이터에 응답하여, 1 이상의 편집 파라미터(editing parameter)에 의해 지정된 1 이상의 편집 이펙트(editing effect)를 가지는 1 이상의 편집 프레임(edited frame)을 지니는 편집 데이터(edited data)를 제공하는 미디어 편집 장치; 및
상기 편집 데이터에 응답하여, 디코딩 미디어 데이터(decoded media data)를 제공하는 미디어 디코더를 포함하는 미디어 코딩 시스템(media coding system)에 있어서,
상기 미디어 편집 장치가, 인코딩 데이터를 나타내는 신호들에 응답하여 상기 인코딩 데이터에서 1 이상의 프레임의 프레임 특징(frame characteristic)들을 식별하는 프레임 분석기 모듈(frame analyzer module), 및 상기 프레임 특징들을 나타내는 신호들에 응답하여 상기 편집 미디어 프레임들을 나타내는 변형 미디어 데이터(modified media data)를 제공하기 위해 상기 1 이상의 프레임의 상기 프레임 특징들 및 지정 편집 파라미터(specified editing parameter)들을 기반으로 상기 인코딩 프레임 데이터를 변형하는 압축 영역 처리 모듈을 지니는 미디어 코딩 시스템을 제공한다.
본 발명에 따르면, 상기 편집 장치로 하여금 상기 미디어 인코더로부터 인코딩 미디어 데이터를 무선 방식으로 수신하도록 상기 미디어 디코더와 통신하게 하기 위해 상기 미디어 인코더가 접속 메커니즘(connectivity mechanism)을 가지고 그리고 상기 편집 장치가 다른 접속 메커니즘을 가진다.
본 발명에 따르면, 상기 편집 장치로 하여금 상기 편집 데이터를 상기 미디어 디코더에 무선으로 제공하도록 하기 위해 상기 미디어 디코더가 접속 메커니즘을 가지고 그리고 상기 편집 장치가 다른 접속 메커니즘을 가진다.
본 발명에 따르면, 상기 미디어 인코더 및 상기 편집 시스템은 확장 인코딩 시스템(expanded encoding system)에 통합된다.
본 발명에 따르면, 상기 확장 인코딩 시스템으로 하여금 상기 편집 데이터를 상기 미디어 디코더에 무선 방식으로 제공하도록 하기 위해 상기 미디어 디코더가 접속 메커니즘을 가지고 그리고 상기 확장 인코딩 시스템이 다른 접속 메커니즘을 가진다.
본 발명에 따르면, 상기 미디어 디코더 및 상기 편집 시스템은 확장 디코딩 시스템에 통합된다.
본 발명에 따르면, 상기 미디어 인코더로 하여금 상기 편집 데이터를 상기 확장 디코딩 시스템에 무선 방식으로 제공하도록 하기 위해 상기 미디어 인코더가 접속 메커니즘을 가지고 그리고 상기 확장 디코딩 시스템이 다른 접속 메커니즘을 가진다.
본 발명에 따르면, 상기 접속 메커니즘 및 상기 다른 접속 메커니즘은 각각 블루투스 접속(bluetooth connectivity) 모듈, 인프라-레드(infra-red) 모듈, 또는 무선 LAN 장치를 포함한다.
본 발명은 도 2 내지 도 10과 관련하여 취해진 설명을 이해하면 명료해질 것이다.
도 1은 종래기술의 비디오 편집 처리를 도시하는 블록도이다.
도 2는 본 발명에 따른 압축-영역 비디오 편집 원리를 개략적으로 도시하는 도면이다.
도 3은 전형적인 이동 장치용 비디오 편집 시스템을 도시하는 블록도이다.
도 4는 본 발명에 따른 비디오 편집 처리기 시스템을 도시하는 블록도이다.
도 5는 본 발명에 따른 비디오 처리기를 도시하는 블록도이다.
도 6은 공간 영역 비디오 처리기를 도시하는 블록도이다.
도 7은 오디오 처리기를 도시하는 블록도이다.
도 8은 편집되는 전형적인 비디오 시퀀스를 개략적으로 도시하는 도면이다.
도 9는 본 발명에 따른 압축-영역 비디오 편집을 수행할 수 있는 포터블 장치를 개략적으로 도시하는 도면이다.
도 10은 본 발명에 따른 비디오 처리기를 포함하는 미디어 코딩 시스템을 도시하는 블록도이다.
본 발명에 따른 비디오 편집 절차는 압축 영역 동작들을 기반으로 한다. 이로써 본 발명은 디코딩 및 인코딩 모듈들의 사용을 감소시킨다. 도 2에 도시된 바와 같이, 상기 편집은 압축 영역 처리기에서 수행된다. 도 3에는 이동 전화와 같이 통신 장치용으로 디자인된 전형적인 편집 시스템이 도시되어 있다. 상기 편집 시스템은 본 발명에 따른 상기 비디오 편집 방법 및 장치를 병합할 수 있다. 도 3에 도시된 바와 같이, 비디오 편집 시스템(10)은 사용자와 상호작용하여 비디오 편집 프레퍼런스(preference)들을 교환하도록 하는 비디오 편집 애플리케이션 모듈(12; 그래픽 사용자 인터페이스)을 포함한다. 상기 애플리케이션은 사용자에 의해 정의되거나 선택된 편집 프레퍼런스들을 기반으로 비디오 편집 엔진(14)을 사용하여 비디오 편집 파라미터(video editing parameter)들을 계산하고 그리고 비디오 편집 처 리기 모듈(18)에 출력한다. 상기 비디오 편집 처리기 모듈(18)은 압축-영역 편집 원리를 사용하여 실제 비디오 편집 동작들을 수행한다. 상기 비디오 편집 동작들이 소프트웨어로 구현된다면, 상기 비디오 편집 처리기 모듈(18)은 동적 링크 라이브러리(dynamically linked library; dll)일 수 있다. 또한, 상기 비디오 편집 엔진(14) 및 상기 비디오 편집 처리기(18)는 단일 모듈로 결합 될 수 있다.
도 4에는 비디오 편집 처리기 모듈(18)의 최상위-레벨 블록도가 도시되어 있다. 도 4에 도시된 바와 같이, 상기 비디오 편집 처리기 모듈(18)은 일반적으로 내부에 오디오를 포함할 수 있는 비디오 파일인 미디어 파일(100)을 받아들인다. 상기 비디오 편집 처리기 모듈(18)은 압축 영역에서 필요한 비디오 및 오디오 편집 동작들을 수행하고 그리고 편집 미디어 파일(edited media file; 180)을 출력한다. 상기 비디오 편집 처리기 모듈(18)은 4 개의 주요 유닛들: 파일 포맷 파서(file format parser; 20), 비디오 처리기(30), 오디오 처리기(60), 및 파일 포맷 컴포저(file format composer; 80)로 이루어진다.
A. 파일 포맷 파서(File Format Parser)
비디오 및 오디오와 같은 미디어 파일들은 대개 비디오용 H.263, MPEG-4 및 오디오용 AMR-NB, CELP와 같은 몇몇 표준 인코딩 포맷으로 되어 있다. 또한, 압축 미디어 데이터는 일반적으로 MP4 또는 3GP와 같은 파일 포맷으로 랩핑(wrapping)되어 있다. 상기 파일 포맷은 상기 미디어 데이터 부분들에 접근하고, 추출하고 그리고 처리하는데 효과적으로 사용될 수 있는 미디어 콘텐츠에 대한 정보를 포함한다. 상기 파일 포맷 파서의 목적은 개개의 비디오 및 오디오 프레임들과, 그리고 비디 오 프레임 사이즈, 상기 프레임의 타임 스탬프, 및 상기 프레임이 인트라 프레임(intra frame)인지 여부와 같은 상기 비디오 및 오디오 프레임들의 대응 속성들을 읽어들이는 것이다. 상기 파일 포맷 파서(20)는 미디어 파일(100)에서 개개의 미디어 프레임들을 그들의 프레임 속성들과 함께 읽어들이고 그리고 상기 정보를 미디어 처리기에 제공한다. 도 4에 도시된 바와 같이, 상기 비디오 프레임 데이터 및 프레임 속성들(120)은 비디오 처리기(30)에 제공되지만, 상기 오디오 프레임 데이터 및 프레임 속성들(122)은 오디오 처리기(60)에 제공된다.
B. 비디오 처리기(Video Processor)
상기 비디오 처리기(30)는 (전반에 걸쳐 참조번호(120)로 표시된)비디오 프레임 데이터 및 그에 대응하는 속성들을, 미디어 클립에 적용될 편집 파라미터들과 함께 받아들인다. 상기 미디어 클립에 수행될 편집 동작을 나타내기 위해 상기 편집 파라미터들은 비디오 편집 엔진(14)에 의해 비디오 편집 처리기 모듈(18)로 보내진다. 상기 비디오 처리기(30)는 상기 편집 파라미터들을 받아들이고 그리고 상기 비디오 프레임에 대한 편집 동작을 압축 영역에서 수행한다. 상기 비디오 처리기의 출력은 편집 비디오 프레임(edited video frame)과 상기 편집 비디오 프레임의 변경들을 반영하기 위해 업데이트된 프레임 속성들이다. 도 5에는 상기 비디오 처리기(30)가 상세히 도시되어 있다. 도시된 바와 같이, 상기 비디오 처리기(30)는 다음의 모듈들로 이루어진다.
B.1. 프레임 분석기(Frame Analyzer)
프레임 분석기(32)의 주된 기능은 프레임의 속성들을 조사하고 그리고 상기 프레임에 적용될 처리 타입을 결정하는 것이다. 비디오 클립의 상이한 프레임들은 상기 프레임 속성들 및 편집 파라미터들에 따라 상이한 타입의 처리를 받을 수 있다. 상기 프레임 분석기는 특정 프레임에 적용될 처리 타입에 대한 중요한 결정을 내린다. 도 8에는 전형적인 비디오 비트스트림이 도시되어 있다. 상기 비트스트림의 상이한 부분들은 상기 비트스트림의 프레임 특징(frame characteristic)들 및 지정 편집 파라미터(specified editing parameter)들에 따라 상이한 방식으로 처리된다. 도 8에 도시된 바와 같이, 상기 비트스트림의 몇몇 부분들은 출력 무비(movie)에 포함되지 않고, 그리고 폐기된다. 몇몇 부분들은 디코딩되고 나서야 폐기된다. 다른 부분들은 P-프레임에서 I-프레임으로 변환되도록 재 인코딩된다. 몇몇 부분은 압축 영역에서 편집되고 그리고 출력 무비에 추가되지만, 다른 부분들은 아무런 변경 없이 출력 무비에 단순히 카피된다. 상기 프레임 분석기의 작업은 상기 모든 중요한 결정들을 내리는 것이다.
B.2. 압축 영역 처리기(Compressed Domain Processor)
압축 영역에서의 프레임 코어 처리(core processing)는 압축 영역 처리기(34)에서 수행된다. 압축 비디오 데이터는 필요한 편집 이펙트를 적용하기 위해 변경된다. 상기 모듈은 상기 압축 데이터에 대해 여러 가지 상이한 종류의 동작들을 수행할 수 있다. 상기 동작들 중 일반적인 동작들의 하나는 상기 압축 비디오 데이터에서 크로미넌스(chrominance) 데이터를 제거함으로써 컬러 프레임을 블랙 앤 화이트 프레임으로 변경하는 블랙 앤 화이트 이펙트(Black & White effect)를 적용하는 것이다. 상기 모듈에 의해 수행될 수 있는 다른 이펙트들은 (컬러 필터 링, 세피아 등과 같은)스페셜 이펙트(special effect)들 및 (페이드 인 및 페이드 아웃과 같은) 트랜지셔널(transitional) 이펙트들이다. 유의할 점은, 상기 모듈은 상기 이펙트들에 국한되지 않고 가능한 모든 종류의 압축 영역 편집을 수행하는데 사용될 수 있다는 것이다.
비디오 데이터는 보통 VLC(variable-length code)로 코딩된 것이다. 따라서, 압축 영역에서 편집을 수행하기 위해, 우선 상기 데이터를 VLC 디코딩하여 상기 데이터가 정규의 2진 형태로 표현될 수 있도록 한다. 그 다음, 상기 2진 데이터는 필요한 이펙트에 따라 편집되고, 그리고나서 상기 편집 데이터를 다시 VLC 코딩하여 상기 편집 데이터를 컴플라이언트 압축 형태(compliant compressed form)로 되돌린다. 또한, 몇몇 편집 이펙트들은 VLC 디코딩 이상을 필요로 할 수 있다. 예컨대, 상기 데이터가 우선 역 양자화 및/또는 IDCT(inverse discrete cosine transform)를 거치고나서 그 다음 편집된다. 상기 편집 데이터는 재 양자화 및/또는 DCT 동작들을 거쳐 컴플라이언트(compliant) 압축 형태가 된다.
B.3. 디코더(Decorder)
본 발명은 압축 영역 처리와 관련되지만, 여전히 프레임들을 디코딩할 필요가 있다. 도 5에 도시된 바와 같이, 비디오 처리기(30)는 프레임 분석기(32) 및 가급적 인코더(38)를 통해 압축 영역 처리기(34)에 동작할 수 있게 연결되는 디코더(36)를 포함한다. 도 8에 도시된 비디오 비트스트림을 예로 들면, 입력 비디오의 개시 컷 포인트(beginning cut point)가 P-프레임에 해당하면, 그때 상기 프레임은 출력 무비에 단순히 P-프레임으로 포함될 수 없다. 비디오 시퀀스의 첫 번째 프레 임은 언제나 I-프레임으로 개시되어야 한다. 따라서, 상기 P-프레임을 I-프레임으로 변환할 필요가 있다.
상기 P-프레임을 I-프레임으로 변환하기 위해서는, 상기 프레임이 우선 디코딩되어야 한다. 더욱이, 상기 프레임이 P-프레임이기 때문에, 상기 디코딩은 상기 개시 컷 포인트 이전에 첫 번째 I-프레임으로 되돌아가 시작하여야 한다. 따라서, 상기 I-프레임에서 상기 첫 번째 포함된 프레임까지 상기 프레임들을 디코더(36)에 의해 디코딩하기 위해 적절한 디코더가 요구된다. 그리고나서 상기 프레임은 재 인코딩을 위해 인코더(38)로 보내진다.
B.4. 공간 영역 처리기(Spatial Domain Processor)
본 발명에 따르면, 공간 영역 처리기(50)를 상기 압축 영역 편집 시스템에 통합하는 것이 가능하다. 상기 공간 영역 처리기(50)는 주로 특정 프레임의 압축 영역 처리가 불가능한 상황에서 사용된다. 압축 2진 데이터에 바로 적용할 수 없는 몇몇 스페셜 또는 트랜지셔널 이펙트들이 존재할 수 있다. 그러한 상황에서, 상기 프레임은 디코딩되고 그리고 상기 이펙트들은 공간 영역에서 적용된다. 그리고나서 편집 프레임은 재 인코딩을 위해 인코더로 보내진다.
도 6에 도시된 바와 같이, 상기 공간 영역 처리기(50)는 두 개의 개별 모듈로 분리될 수 있다. 스페셜 이펙트 처리기(Special Effects Processor; 52)는 프레임에 대해 (올드 무비 이펙트 등과 같은)스페셜 이펙트들을 적용하는데 사용된다. 트랜지셔널 이펙트 처리기(Transitional effects Processor; 54)는 프레임에 대해 (슬라이싱 이펙트 등과 같은)트랜지셔널 이펙트들을 적용하는데 사용된다.
B.5. 인코더(Encoder)
프레임이 P-프레임에서 I-프레임으로 변환되어야 한다면, 또는 몇몇 이펙트들이 공간 영역에서 상기 프레임에 적용되어야 한다면, 그때 상기 프레임은 디코더에 의해 디코딩되고 그리고 선택한 이펙트가 공간 영역에서 적용된다. 그리고나서 도 5에 도시된 바와 같이, 편집 원시 비디오 프레임(edited raw video frame)은 이를 다시 필요한 타입의 프레임(P 또는 I)으로 압축하는 인코더(38)로 보내진다.
B.6. 프리-컴포저(Pre-Composer)
도 5에 도시된 프리-컴포저(40)의 주요 기능은 상기 편집 프레임의 속성들을 업데이트하여 상기 편집 프레임이 파일 포맷 컴포저(도 4의 80)에 의해 구성될 준비가 되도록 하는 것이다.
프레임이 압축 영역에서 편집될 때, 상기 프레임의 사이즈가 변경된다. 또한, 상기 프레임의 타임 듀레이션(time duration) 및 타임 스탬프(time stamp)가 변경될 수 있다. 예컨대, 슬로 모션(slow motion)이 비디오 시퀀스에 적용된다면, 프레임의 타임 스탬프는 물론 상기 프레임의 타임 듀레이션이 변경된다. 마찬가지로, 프레임이 출력 무비의 첫 번째 비디오 클립이 아닌 비디오 클립에 속한다면, 그때 상기 프레임의 개별 타임 듀레이션은 변경되지 않지만, 상기 프레임의 타임 스탬프는 상기 첫 번째 비디오 클립의 타임들을 조정하기 위해 변경된다.
상기 프레임이 P-프레임에서 I-프레임으로 변환된다면, 그때 상기 프레임의 타입이 인터(inter)에서 인트라(intra)로 변경된다. 또한, 프레임이 디코딩 및 재 인코딩될 때마다, 상기 프레임의 코딩된 사이즈의 변경을 야기할 것이다. 편집 프 레임 속성들의 상기 모든 변경들은 적절하게 업데이트되고 반영되어야 한다. 상기 컴포저는 적절한 파일 포맷으로 출력 무비를 구성하기 위해 상기 프레임 속성들을 사용한다. 상기 프레임 속성들이 올바르게 업데이트되지 않는다면, 무비가 구성될 수 없다.
C. 오디오 처리기(Audio Processor)
비디오 클립들은 보통 그들 내부에 포함되는 오디오를 가진다. 도 4 및 도 7에 도시된 바와 같이, 오디오 처리기(60)는 출력 무비에서 필요한 오디오 이펙트를 발생시키기 위해 편집 파라미터들에 따라 입력 비디오 클립들의 오디오 데이터를 처리하는데 사용된다.
도 7에 도시된 바와 같이, 상이한 종류의 많은 오디오 동작들이 상기 편집 시스템에 존재할 수 있다. 상기 동작들 중 가장 일반적인 것들은: 예컨대, 오리지널 오디오 유지, 새로운 오디오 대체 및 오디오 뮤팅이다. 파일 포맷 파서(20)로부터 편집 파라미터들에 의해 지정된 필요한 오디오 이펙트를 포함하여, 오디오 프레임 데이터 및 오디오 프레임 정보(120) 수신시, 정보 처리기(information processor; 62)는 어떤 종류의 오디오 동작들이 지정되는지를 알아내고 그리고 처리를 위해 상기 오디오 프레임 데이터의 상이한 데이터를 상이한 오디오 처리 모듈들로 전송한다.
C.1. 오리지널 오디오 유지(Retain Original Audio)
오디오 처리기에서의 오디오 데이터 처리의 가장 일반적인 경우는 편집 비디오 클립에 오리지널 오디오를 유지하는 것이다. 상기 경우에, 프레임 추출기 모 듈(frame extractor module; 64)에 의해 필요한 비디오 프레임들이 비디오 클립(162a)에서 추출되고 그리고 출력 편집 클립(output edited clip; 164)에 포함된다. 오리지널 오디오를 포함할 때 적절한 오디오/비디오 동기화가 유지되어야 하는 것은 중요하다. 비디오 클립은 모든 임의의 포인트로부터 컷(cut)될 수 있다. 상기 편집 비디오 클립의 오디오 드리프트(audio drift)를 피할 수 있도록 비디오 및 오디오의 컷 포인트(cut point)들이 정확하게 매치되어야 한다. 상기 문제 때문에, 상기 비디오에 대한 타이밍 정보(132)가 동기화(synchronization)용으로 상기 오디오 처리기에 제공된다. 압축 영역 오디오 처리기(65)를 통해, 오디오 프레임(164)을 압축 영역에서 처리하는 것이 가능하다. 예컨대, 상기 처리기(65)가 여러 가지 서브 모듈들 및 소프트웨어 프로그램들을 포함한다면, 오디오 페이딩(fading), 오디오 필터링(filtering), 오디오 믹싱(mixing), 스페셜 오디오 이펙트 등과 같은 여러 가지 압축 영역 동작들이 달성될 수 있다.
C.2. 새로운 오디오 대체(Replace New Audio)
오디오 처리기는 다른 소스로부터 오디오를 포함하고 그리고 상기 비디오 클립의 오리지널 오디오를 새로운 오디오 샘플로 대체하는 것도 역시 가능하다. 또한, 상기 새로운 오디오 샘플을 삽입하는 것은 출력 무비의 어떠한 포인트에서도 그리고 상기 출력 무비의 지속시간 중 언제라도 가능하다. 상기 새로운 오디오 샘플이 삽입에 필요한 지속시간보다 짧은 지속시간을 가지면, 그때 상기 오디오 처리기는 상기 오디오를 반복실행(loop)하여 오디오가 삽입되는 전체 지속시간 동안 오디오가 반복적으로 재생되도록 할 수 있다. 오디오 데이터 대체 목적들을 위해, (참조번호 (64)와 동일한 추출기일 수 있는)프레임 추출기(68)가 오디오 소스(67)에 동작할 수 있게 연결되어 새로운 오디오 샘플(167)을 얻고 그리고 적절한 타이밍에 상기 새로운 오디오 샘플을 새로운 오디오 프레임들(168)로서 출력한다. 압축 영역 오디오 처리기(69)를 통해, 상기 오디오 프레임(168)을 압축 영역에서 처리하는 것이 가능하다. 예컨대, 상기 처리기(69)가 여러 가지 서브 모듈들 및 소프트웨어 프로그램들을 포함한다면, 오디오 페이딩, 오디오 필터링, 오디오 믹싱, 스페셜 오디오 이펙트 등과 같은 여러 가지 압축 영역 동작들이 달성될 수 있다.
C.3. 오디오 뮤팅(Mute Audio)
오디오 처리기는 또한 출력 무비의 지속시간 중 언제라도 오리지널 오디오를 뮤팅하여, 편집된 무비가 상기 뮤트 지속시간 동안 어떠한 오디오도 가지지 않도록 할 수 있다. 무비 오디오를 뮤팅하는 상이한 방식들이 존재한다. 오디오가 뮤팅되어야 할 때 상기 오디오 처리기가 특정 지속기간 동안 단순히 아무런 오디오 프레임도 제공하지 않는 것이 가능하다. 변형적으로는, "사일런트(Silent)" 오디오 프레임들(166)을 오디오 프레임에 삽입하여, 재생시 상기 오디오 프레임들이 출력 무비에서 사일런스 또는 뮤트 이펙트를 주도록 하기 위해 사일런트 프레임 발생기(silent frame generator; 66)가 사용된다.
처리된 오디오 프레임들(170)을 제공하기 위해, 프레임 추출기(64, 68) 및 사일런트 프레임 발생기(66)와 같은 여러 가지 오디오 처리 모듈의 출력들은 오디오 프레임 결합 모듈(70)에서 결합한다. 상기 오디오 프레임 결합 모듈(70)의 출력(170)은, 압축 영역 오디오 처리기(71)에 의해 상기 삽입된 오디오 프레임들을 압축 영역에서 편집하여 그들의 콘텐트를 변경하는 압축 영역 오디오 처리를 더 거칠 수 있다. 상기 오디오 처리기(71)는 오디오 처리기들(65 및 67)에 부가해서 또는 상기 오디오 처리기들(65, 67)을 대신해서 사용될 수 있다.
유의할 점은 오디오 처리는 단지 상기 세 가지 동작들에 국한되지 않는다는 것이다. 오디오 믹싱, 다중 오디오 채널 지원(multiple audio channel support) 등과 같이, 상기 오디오 처리기에 포함되는 여러 가지 많은 오디오 처리 능력이 있을 수 있다. 상기 논의는 단지 설명의 목적을 위한 것이다.
오디오 프레임들은 일반적으로 그들의 대응 비디오 프레임들보다 지속시간이 더 짧다. 따라서, 일반적으로 모든 비디오 프레임을 위해 2 이상의 오디오 프레임이 출력 무비에 포함된다. 따라서, 특정 비디오 프레임에 대응하는 모든 오디오 프레임들을 올바른 타이밍 순서로 모으기 위해 상기 오디오 처리기에 가산기(adder)가 필요하다. 그리고나서 처리된 오디오 프레임들은 상기 출력 무비에서 상기 처리된 오디오 프레임을 구성(composing)하는 컴포저로 보내진다.
D. 파일 포맷 콤포저(File Format Composer)
도 4에 도시된 바와 같이, 일단 미디어 프레임들(비디오, 오디오 등)이 편집되고 그리고 처리되었으면, 이들은 파일 포맷 컴포저(80)로 보내진다. 상기 컴포저(80)는 편집 비디오(130) 및 오디오 프레임들(160)을, 프레임 사이즈, 프레임 타임 스탬프들, 프레임 타입(예컨대, P 또는 I) 등과 같은 그들 각각의 프레임 속성들과 함께 수신한다. 그때 상기 컴포저는 미디어 프레임 데이터를 적절한 파일 포맷으로 그리고 적절한 비디오 및 오디오 타이밍 정보에 의해 구성하고 랩 핑(wrapping)하기 위해 상기 프레임 정보를 사용한다. 그 결과는 어떤 컴플라이언트(compliant) 미디어 플레이어에서 플레이할 수 있는 적절한 파일 포맷의 최종 편집 미디어 파일(180)이다.
상기 기술된 바와 같이, 본 발명은 비디오 카메라가 장착된 또는 외부 소스로부터 비디오 데이터를 수신할 능력이 있는 이동 전화, 커뮤니케이터, 개인 휴대 정보 단말기(PDA) 등과 같은 소형 포터블 장치들에서 비디오 편집 동작들이 구현될 수 있는 장점을 제공한다. 도 9에는 본 발명에 따른, 압축 영역 비디오 편집용으로 사용될 수 있는 포터블 장치가 개략적으로 도시되어 있다. 도 9에 도시된 바와 같이, 포터블 장치(1)는 예컨대 비디오 이미지를 표시하는데 사용될 수 있는 디스플레이(5)를 포함한다. 또한, 상기 장치(1)는 도 3에 도시된, 비디오 편집 애플리케이션(12), 비디오 편집 엔진(14) 및 비디오 편집 처리기(18)을 지니는 비디오 편집 시스템(10)을 포함한다. 상기 비디오 편집 처리기(18)는 미디어 파일 소스(210)에서 입력 미디어 파일(100)을 수신하고 그리고 출력 미디어 파일(180)을 미디어 파일 수신기(220)에 전달한다. 상기 미디어 파일 소스(210)는 상기 포터블 장치(1)의 일부분이 될 수 있는 비디오 카메라일 수 있다. 그러나 상기 미디어 파일 소스(210)는 비디오 카메라에 동작할 수 있게 연결되는 비디오 수신기일 수 있다. 상기 비디오 수신기는 상기 포터블 장치의 일부분이 될 수 있다. 게다가, 상기 미디어 파일 소스(210)는 상기 포터블 장치의 일부분이 될 수 있는 비트스트림 수신기로서, 상기 입력 미디어 파일을 나타내는 비트스트림을 수신하는 비트스트림 수신기일 수 있다. 상기 편집 미디어 파일(180)은 상기 포터블 장치(1)의 디스플레 이(5)에서 표시될 수 있다. 그러나 상기 편집 미디어 파일(180)은 저장매체, 비디오 송신기 같은 미디어 파일 수신기에 전달될 수 있다. 상기 저장매체 및 상기 비디오 송신기 또한 상기 포터블 장치의 일부분이 될 수 있다. 게다가, 상기 미디어 파일 수신기(220)는 또한 외부 디스플레이 장치일 수 있다. 유의할 점은 상기 포터블 장치(1)는 또한 도 4, 도 5 및 도 7과 관련하여 기술된 많은 압축 영역 편집 절차들을 실행하는 소프트웨어 프로그램(7)을 포함한다는 것이다. 예컨대, 상기 소프트웨어 프로그램(7)은 파일 포맷 파싱, 파일 포맷 구성, 프레임 분석 및 압축 영역 프레임 처리용으로 사용될 수 있다.
유의할 점은, 본 발명에 따른 압축 영역 비디오 편집 처리기(18)가 도 10에 도시된 비디오 코딩 시스템(300)에 통합될 수 있다는 것이다. 도 10에 도시된 바와 같이, 상기 코딩 시스템(300)은 비디오 인코더(310), 비디오 디코더(330) 및 비디오 편집 시스템(2)을 포함한다. 상기 편집 시스템(2)은 도 9의 포터블 장치와 같은 개별 전자 장치에 구현될 수 있다. 그러나 상기 편집 시스템(2)은 또한 분산 코딩 시스템에 구현될 수 있다. 예컨대, 상기 편집 시스템(2)은 상기 비디오 디코더(330)와 함께, 확장 디코더(360)에서 구현되어 디스플레이 장치(332)에 표시하기 위한 디코딩 비디오 데이터(decoded video data)를 제공할 수 있다. 변형적으로, 상기 편집 시스템(2)은 상기 비디오 인코더(310)와 함께, 확장 인코더(350)에서 구현되어 편집 비디오 데이터를 개별 비디오 디코더에 제공한다. 상기 편집 비디오 데이터는 또한 송신을 위해 송신기(320)에 전달되거나, 또는 저장을 위해 저장 장치(340)에 전달될 수 있다.
몇몇 또는 모든 요소들(2, 310, 320, 330, 332, 340, 350, 360)은 그들이 블루투스, 인프라-레드, 무선 LAN과 같이 상이한 많은 방식 중 하나의 방식으로 원격동작가능 장치로서 동작할 수 있도록 접속 제어기(connectivity controller; 356 또는 356',356")에 동작할 수 있게 연결될 수 있다. 예컨대, 확장 인코더(350)는 무선 연결을 통해 비디오 디코더(330)와 통신할 수 있다. 마찬가지로, 편집 시스템(2)은, 비디오 인코더(310)에서 데이터를 수신하기 위해 그리고 비디오 디코더(330)에 데이터를 제공하기 위해 상기 비디오 인코더(310) 및 상기 비디오 디코더(330)와 개별적으로 통신할 수 있다.
따라서, 지금까지 본 발명에 따른 1 이상의 실시예와 관련하여 본 발명이 설명되었지만, 본 발명의 범위를 벗어나지 않고 본 발명의 형태 및 세부사항에 있어서 상술한 그리고 여러 가지 다른 변경들, 생략들 및 변형들이 이루어질 수 있음은 당업자라면 자명할 것이다.

Claims (51)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 1 이상의 편집 비디오 프레임을 제공하기 위해 1 이상의 입력 비디오 프레임을 비트스트림으로 편집하는 방법으로서, 상기 편집 비디오 프레임들이 1 이상의 편집 파라미터에 의해 지정된 1 이상의 편집 이펙트를 지니는 입력 비디오 프레임 편집 방법에 있어서,
    상기 비트스트림에서 1 이상의 입력 비디오 프레임의 프레임 특징들을 식별하는 단계;
    상기 편집 비디오 프레임들을 나타내는 변형 비트스트림을 제공하기 위해 상기 1 이상의 입력 비디오 프레임의 프레임 특징들 및 지정 편집 파라미터들을 기반으로 상기 비트스트림을 압축 영역에서 변형하는 단계; 및
    상기 변형 비트스트림을 미디어 파일 포맷의 오디오 프레임들과 결합하는 단계를 포함하고,
    상기 편집 이펙트는 컬러 변경 이펙트 및 프레임 트랜지셔널(frame transitional) 이펙트 중 1 이상의 이펙트를 포함하는 것을 특징으로 하는 입력 비디오 프레임 편집 방법.
KR1020067018290A 2004-03-10 2005-03-03 압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물 KR100876316B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/798,824 US9715898B2 (en) 2003-12-16 2004-03-10 Method and device for compressed-domain video editing
US10/798,824 2004-03-10
PCT/IB2005/000545 WO2005091709A2 (en) 2004-03-10 2005-03-03 Method, devices, system and software product for compressed-domain video editing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020087015465A Division KR100896974B1 (ko) 2004-03-10 2005-03-03 압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물

Publications (2)

Publication Number Publication Date
KR20070018886A KR20070018886A (ko) 2007-02-14
KR100876316B1 true KR100876316B1 (ko) 2008-12-31

Family

ID=34920355

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020067018290A KR100876316B1 (ko) 2004-03-10 2005-03-03 압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물
KR1020087015465A KR100896974B1 (ko) 2004-03-10 2005-03-03 압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020087015465A KR100896974B1 (ko) 2004-03-10 2005-03-03 압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물

Country Status (8)

Country Link
US (2) US9715898B2 (ko)
EP (2) EP1723794A2 (ko)
KR (2) KR100876316B1 (ko)
CN (2) CN1930888A (ko)
BR (1) BRPI0508980A (ko)
CA (1) CA2558392C (ko)
RU (1) RU2370906C2 (ko)
WO (1) WO2005091709A2 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060181547A1 (en) * 2005-02-12 2006-08-17 Patrick Loo Method and system for image editing in a mobile multimedia processor
US20070147510A1 (en) * 2005-12-27 2007-06-28 Islam Asad Method and module for altering color space parameters of video data stream in compressed domain
JP4704972B2 (ja) * 2006-07-24 2011-06-22 ルネサスエレクトロニクス株式会社 ストリーム編集方法及びストリーム編集装置
JP2008147838A (ja) * 2006-12-07 2008-06-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
WO2010030569A2 (en) * 2008-09-09 2010-03-18 Dilithium Networks, Inc. Method and apparatus for transmitting video
US8520983B2 (en) 2009-10-07 2013-08-27 Google Inc. Gesture-based selective text recognition
WO2011042064A1 (en) * 2009-10-09 2011-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Method for handling data stored by a communication system
US8515185B2 (en) * 2009-11-25 2013-08-20 Google Inc. On-screen guideline-based selective text recognition
US8965026B2 (en) * 2011-06-10 2015-02-24 Canopy Co. Method and apparatus for remote capture of audio in a handheld device
US8868684B2 (en) * 2011-06-17 2014-10-21 At&T Intellectual Property I, L.P. Telepresence simulation with multiple interconnected devices
US9406303B2 (en) 2011-11-18 2016-08-02 Sirius Xm Radio Inc. Systems and methods for implementing cross-fading, interstitials and other effects downstream
MX343807B (es) * 2012-03-06 2016-11-24 Sirius Xm Radio Inc Sistemas y métodos para el mapeo de atributos de audio.
CA2870884C (en) 2012-04-17 2022-06-21 Sirius Xm Radio Inc. Systems and methods for implementing efficient cross-fading between compressed audio streams
US9589594B2 (en) 2013-02-05 2017-03-07 Alc Holdings, Inc. Generation of layout of videos
CN103200371A (zh) * 2013-03-29 2013-07-10 天脉聚源(北京)传媒科技有限公司 一种视频音量定制调节的系统及方法
US9620169B1 (en) * 2013-07-26 2017-04-11 Dreamtek, Inc. Systems and methods for creating a processed video output
US10404277B2 (en) 2017-07-07 2019-09-03 iDensify LLC Compression and decompression engines and compressed domain processors

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0889650A2 (en) * 1997-06-30 1999-01-07 Hewlett-Packard Company Method and apparatus for processing a bitstream

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477397A (en) * 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
US5396497A (en) 1993-02-26 1995-03-07 Sony Corporation Synchronization of audio/video information
DE69408237T3 (de) 1993-09-16 2004-07-01 Kabushiki Kaisha Toshiba, Kawasaki Vorrichtung zur Komprimierung/Dekomprimierung von Videosignalen in einer Videoplattenaufzeichnungs-/wiedergabegerät
EP2190207A1 (en) 1994-10-21 2010-05-26 AT&T Corporation Method of video buffer verification
US6411725B1 (en) 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US5802226A (en) * 1996-03-29 1998-09-01 Matsushita Electric Industrial Co., Ltd. Method and apparatus for video fade effect with a single video source
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
WO1999005864A1 (fr) 1997-07-25 1999-02-04 Sony Corporation Dispositif d'edition, procede d'edition, dispositif d'epissage, procede d'epissage, dispositif de codage et procede de codage
JP3529599B2 (ja) 1997-09-02 2004-05-24 株式会社東芝 符号化装置における編集可能点挿入方法および符号化装置
US6301428B1 (en) 1997-12-09 2001-10-09 Lsi Logic Corporation Compressed video editor with transition buffer matcher
US6067126A (en) 1998-01-05 2000-05-23 Intel Corporation Method and apparatus for editing a video recording with audio selections
CA2265089C (en) 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
US6104441A (en) * 1998-04-29 2000-08-15 Hewlett Packard Company System for editing compressed image sequences
US6445828B1 (en) 1998-09-28 2002-09-03 Thomson Licensing S.A. Transform domain resizing of an image compressed with field encoded blocks
JP2000165803A (ja) 1998-11-26 2000-06-16 Sony Corp 映像信号記録再生装置
JP3569800B2 (ja) * 1998-12-24 2004-09-29 カシオ計算機株式会社 画像処理装置及び画像処理方法
US6697061B1 (en) 1999-01-21 2004-02-24 Hewlett-Packard Development Company, L.P. Image compression featuring selective re-use of prior compression data
US6633673B1 (en) 1999-06-17 2003-10-14 Hewlett-Packard Development Company, L.P. Fast fade operation on MPEG video or other compressed data
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US6747707B2 (en) * 2000-03-31 2004-06-08 Matsushita Electric Industrial Co., Ltd. Data editing system for finally editing a recording medium using received compressed data
EP1286544B1 (en) * 2000-04-21 2011-07-06 Sony Corporation Recording apparatus and method, reproducing apparatus and method, recording medium, and program
US6973130B1 (en) * 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US6507618B1 (en) * 2000-04-25 2003-01-14 Hewlett-Packard Company Compressed video signal including independently coded regions
JP4411499B2 (ja) * 2000-06-14 2010-02-10 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
US20040105492A1 (en) 2001-01-22 2004-06-03 Goh Kwong Huang Method and apparatus for video buffer verifier underflow and overflow control
US6700932B2 (en) 2001-03-06 2004-03-02 Sony Corporation MPEG video editing-cut and paste
US20020133486A1 (en) * 2001-03-15 2002-09-19 Kddi Corporation Video retrieval and browsing apparatus, video retrieval, browsing and editing apparatus, and recording medium
US20030005329A1 (en) * 2001-06-29 2003-01-02 Ari Ikonen System and method for transmitting data via wireless connection in a secure manner
US7274862B2 (en) * 2001-09-27 2007-09-25 Sony Corporation Information processing apparatus
JP3951778B2 (ja) * 2002-04-05 2007-08-01 ソニー株式会社 映像コンテンツ編集支援システム，撮像装置，編集者端末装置，記録媒体，プログラム，映像コンテンツ編集支援方法
EP1429544B1 (en) * 2002-12-10 2012-01-18 Sony Ericsson Mobile Communications AB Creating effects for images
US20060285819A1 (en) * 2002-12-20 2006-12-21 Koninklijke Philips Electronics N.V. Creating edit effects on mpeg-2 compressed video
US20050129111A1 (en) * 2003-12-16 2005-06-16 Nokia Corporation Transform-domain video editing
CN100501740C (zh) * 2007-01-25 2009-06-17 无敌科技(西安)有限公司 将不同格式的文本数据转换为统一格式的方法及其系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0889650A2 (en) * 1997-06-30 1999-01-07 Hewlett-Packard Company Method and apparatus for processing a bitstream

Also Published As

Publication number Publication date
US20050201723A1 (en) 2005-09-15
WO2005091709A2 (en) 2005-10-06
RU2006135628A (ru) 2008-04-20
CA2558392C (en) 2015-05-05
EP2688071A1 (en) 2014-01-22
KR20070018886A (ko) 2007-02-14
RU2370906C2 (ru) 2009-10-20
CA2558392A1 (en) 2005-10-06
US20170309310A1 (en) 2017-10-26
US9715898B2 (en) 2017-07-25
KR20080070872A (ko) 2008-07-31
BRPI0508980A (pt) 2007-08-28
KR100896974B1 (ko) 2009-05-14
CN102831911A (zh) 2012-12-19
EP1723794A2 (en) 2006-11-22
CN1930888A (zh) 2007-03-14
WO2005091709A3 (en) 2006-03-23

Similar Documents

Publication Publication Date Title
KR100876316B1 (ko) 압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물
US6546189B1 (en) Method and apparatus for editing compressed moving pictures and storage medium
US6989868B2 (en) Method of converting format of encoded video data and apparatus therefor
KR20060023041A (ko) 정지영상을 이용한 동영상 생성 기능을 가지는무선통신단말기 및 그 방법
KR20160003342A (ko) Gpu 가속을 갖는 소프트웨어 비디오 트랜스코더
WO2004038921A3 (en) Method and system for supercompression of compressed digital video
JP2004187161A (ja) 動画データ処理装置および動画データ処理方法
KR100733835B1 (ko) 음성 및 오디오 데이터를 포함한 제이피이지 파일의 생성장치, 그의 생성 방법 및 그의 저장 매체
KR20070119579A (ko) 화상 처리 방법, 화상 처리 장치, 화상 처리 프로그램 및화상 열람 시스템
KR20060051064A (ko) 기록 장치 및 기록 방법, 재생 장치 및 재생 방법, 및프로그램
US20060209947A1 (en) Video compression
JP4174960B2 (ja) 信号処理装置及び方法並びにファイル生成方法
US7050700B2 (en) Picture compression managing apparatus and picture compression managing method used therefor
JP2010525653A (ja) ビットストリーム復号化装置及び方法
KR100845623B1 (ko) 변환 도메인 비디오 편집 방법 및 장치
KR100826943B1 (ko) 제이펙 이미지 처리 방법, 이미지 처리 장치 및 이를구현하기 위한 프로그램이 기록된 기록매체
US20040208481A1 (en) Apparatus and method for image processing, and image processing system using the same and program
KR100792247B1 (ko) 이미지 데이터 처리 시스템 및 그 방법
Hourunranta et al. Video and audio editing for mobile applications
Islam et al. Efficient algorithms for editing H. 263 and MPEG-4 videos on mobile terminals
KR100771119B1 (ko) 복수의 개별 영상 데이터 합산 방법 및 그 장치
CN102577130A (zh) 从第一mpeg流到第二mpeg流的代码转换器
US20060291658A1 (en) Portable terminal having function of coupling and reproducing multimedia files and method thereof
Horta Platforms for Handling and Development of Audiovisual Data
WO2004064404A1 (en) Method, device and computer program for encoding digital image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121130

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141201

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee