KR100836667B1 - 비디오와 서브프레임 메타데이터의 동시 캡쳐 시스템 - Google Patents
비디오와 서브프레임 메타데이터의 동시 캡쳐 시스템 Download PDFInfo
- Publication number
- KR100836667B1 KR100836667B1 KR1020070061917A KR20070061917A KR100836667B1 KR 100836667 B1 KR100836667 B1 KR 100836667B1 KR 1020070061917 A KR1020070061917 A KR 1020070061917A KR 20070061917 A KR20070061917 A KR 20070061917A KR 100836667 B1 KR100836667 B1 KR 100836667B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- display
- subframe
- sequence
- metadata
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
- H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
Abstract
비디오 프로세싱 시스템은 비디오 카메라로 원본 비디오 프레임들의 시퀀스를 캡쳐하고, 비디오 디스플레이 상에 원본 비디오 프레임들의 시퀀스 중 적어도 한 프레임을 표시하며, 원본 비디오 프레임들의 시퀀스에 관련하여 사용자 입력을 입력받고, 원본 비디오 프레임들의 시퀀스 중의 적어도 한 프레임 상에서 사용자 입력에 의해 식별되는 일 구역에 상응하는 서브프레임을 비디오 디스플레이 상에 표시한다. 비디오 프로세싱 시스템은 또한, 서브프레임에 상응하는 메타데이터를 생성하는데, 메타데이터는 서브프레임에 상응하여 타겟 비디오 재생기에 의해 타겟 비디오 재생기기의 타겟 비디오 디스플레이 상에 전체 화면 표시를 할 수 있도록 원본 비디오 프레임들의 시퀀스를 변형시키는 데에 사용된다. 목표가 지정된 서브프레임 메타데이터는 특정한 종류의 화면, 또는 화면 크기에 특화되어 생성될 수 있다.
Description
도 1은 본 발명에 따라 구축된 비디오 프로세싱 시스템의 실시예를 설명하기 위한 시스템 설명도이다.
도 2는 본 발명의 일 실시예에 따라 구축된 비디오 프로세싱 시스템의 비디오 디스플레이 상에 서브프레임들의 배치(placement)를 설명하기 위한 블록도이다.
도 3은 본 발명에 따라 구축된 비디오 프로세싱 시스템의 다른 실시예를 설명하기 위한 블록도이다.
도 4는 본 발명에 따른 비디오 프로세싱 시스템의 다른 실시예를 설명하기 위한 개략도이다.
도 5는 본 발명에 따른 비디오 프로세싱 장치의 한 실시예를 설명하기 위한 개략도이다.
도 6은 본 발명에 따라 서브프레임 메타데이터를 생성하는 비디오 프로세싱 장치의 동작에 관한 실시예를 설명하기 위한 개략도이다.
도 7은 예로써 보인 원본 비디오 프레임과 이에 상응하는 서브프레임들을 예시하는 도면이다.
도 8은 서브프레임들의 한 시퀀스에 대한 예시적인 서브프레임 메타데이터를 설명하기 위한 차트이다.
도 9는 한 서브프레임에 대한 편집 정보를 포함하는 예시적인 서브프레임 메타데이터를 설명하기 위한 차트이다.
도 10은 서브프레임들을 생성할 수 있는 비디오 편집 도구를 포함하는 그래픽 사용자 인터페이스를 제공하는 비디오 프로세싱 시스템의 화면의 한 실시예를 설명하기 위한 도면이다.
도 11은 본 발명에 따라 여러 개의 서브프레임 메타데이터 세트들을 생성하는 비디오 프로세싱 시스템의 한 실시예를 나타내는 개략적인 블록도이다.
도 12는 본 발명의 일 실시예에 따라, 복수의 타겟 비디오 디스플레이들을 위한 복수의 서브프레임 메타데이터 세트들을 생성할 수 있는 비디오 프로세싱 시스템의 다른 실시예를 설명하기 위한 개략적인 블록도이다.
도 13은 본 발명에 따라 서브프레임 메타데이터를 생성하는 절차를 설명하기 위한 논리 순서도이다.
도 14는 본 발명에 따른 비디오 프로세싱 시스템의 다른 실시예를 설명하기 위한 개략적인 블록도이다.
도 15는 본 발명에 따른 비디오 프로세싱 시스템의 또 다른 실시예를 설명하기 위한 개략적인 블록도이다.
본 발명은 일반적으로 비디오 프로세싱 장치(video processing device)에 관한 것으로, 더욱 상세하게는 비디오 캡쳐 및 프로세싱 시스템(video capture and processing systems)에 관한 것이다.
영화나 기타 영상물(video content)은 종종 16:9의 종횡비(aspect ratio)를 35mm 필름을 이용하여 촬영된다. 영화가 1차적인 영화 시장에 진입하면, 이 35mm 필름은 관객들에게 그 영화를 상영할 수 있도록 많은 상영관들에 복제되고 배급된다. 예를 들어, 영화관은 일반적으로 고 루멘(lumen)의 빛을 이 35mm 필름을 통해 투과시킴으로써 유료 관객들과 같은 청중들에게 영화를 "대형 스크린" 상에 투사한다. 일단 영화가 "대형 스크린"을 떠나게 되면, 보통 2차적인 시장으로 진입하는데, 이때에 배급은 그 영화를 담고 있는 비디오 디스크 또는 비디오 테이프(예를 들어, VHS 테이프, DVD, 고화질 DVD(high-definition DVD, 즉 HD-DVD), 블루레이 DVD(Blue-ray DVD) 그리고 기타 기록 매체들)을 개별 관람자들에게 판매함으로써 이뤄진다. 2차적인 시장에서 영화를 배급하기 위한 다른 선택 수단들은 인터넷을 통해 다운로드하는 것이나 및 텔레비전 네트워크 공급자들을 통해 방송하는 것을 포함한다.
이와 같은 2차적인 시장을 통한 배급을 위해, 이 35mm 필름 영상물은 필름 프레임 단위로 비가공 디지털 비디오(raw digital video)로 변환된다. 필름 프레임당 적어도 1920x1080 픽셀을 요구하는 고화질(HD) 해상도를 위해서는, 이러한 비가공 디지털 비디오 영상물은 하나의 두 시간 분량의 영화에 대해 약 25GB의 저장 공간을 요구할 것이다. 이러한 저장 공간 요구량을 피하기 위해, 비가공 디지털 비디 오를 인코딩(encode)하고 압축(compress)하여, 저장 공간 요구량을 획기적으로 줄이는 인코더들(encoders)이 통상적으로 이용된다. 인코딩 표준들의 예로서, MPEG-1(Motion Pictures Expert Group), MPEG-2, HD용 MPEG-2(MEPG-2 enhanced for HD), MPEG-4 AVC(advanced video coding), H.261, H.263 및 SMPTE(Society of Motion Picture and Television Engineers) VC-1 등을 포함할 수 있으며, 하지만 이들에 한정되지는 않는다.
전화 상이나, PDA(personal digital assistants) 및 그 밖의 핸드헬드 장치들(handheld devices) 상에 영화를 디스플레이하려는 수요에 대응하기 위해, 보통 압축된 디지털 비디오 데이터를 인터넷을 통해 다운로드하거나, 그 밖의 방법을 통해 핸드헬드 장치에 업로드 또는 저장하며, 이 핸드헬드 장치가 이 장치에 연결된 비디오 디스플레이 상에 사용자에게 디스플레이할 수 있도록 그 비디오 데이터를 압축 해제하고 디코딩한다. 하지만, 이러한 핸드헬드 장치들의 크기는 보통 그 핸드헬드 장치의 비디오 디스플레이 (화면)의 크기를 제한한다. 예를 들어, 핸드헬드 장치들의 작은 화면들은 보통 대각선으로 2 인치를 조금 넘는 크기를 가진다. 이에 비해, 텔레비전들은 보통 대각선 측정값이 30 인치 내지 60 인치 또는 그 이상에 이르는 화면을 가진다. 이러한 화면 크기의 차이는 보는 사람이 인식하는 이미지 품질에 중대한 영향을 미친다.
예를 들어, 통상적인 종래의 PDA들 및 고성능(high-end) 전화기들은 인간의 눈에 맞는 폭 대 높이 화면 비율을 갖는다. 작은 화면에서는, 사람의 눈은 보통 작은 디테일한 부분들, 예를 들어 글자나, 얼굴 특징 그리고 원거리 물체와 같은 부 분들은 잘 인식하지 못한다. 예를 들어, 영화관에서는, 원거리의 배우와 도로 표지판을 비추는 파노라마 장면을 보고 있는 관객은 얼굴의 표정을 쉽게 알아차릴 수 있고 표지판의 글자도 잘 읽을 수 있을 것이다. HD 텔레비전 화면에서도, 이러한 인지는 역시 가능할 수 있을 것이다. 그러나, 핸드헬드 장치의 작은 화면으로 변환되었을 경우에는, 이러한 얼굴 표정이나 글자를 인식한다는 것은 종종 인간의 눈의 한계때문에 불가능한 것으로 판명된다.
화면의 해상도는 그 화면의 크기가 얼마냐에 상관없이, 설령 기술에 의해 제약되지 않더라도 인간의 눈 때문에 제한된다. 그런데 작은 화면에서는, 이러한 제약이 가장 큰 영향을 미친다. 예를 들어, 통상적인 종래의 PDA 및 고성능 전화기들은 종종 4:3의 종횡 화면비(width to height screen ratio)를 가지며, 보통 320x240 화소의 해상도를 갖는 QVGA 영상을 디스플레이할 수 있다. 이에 대조적으로, HD 텔레비전들은 통상적으로 16:9의 화면비를 가지며, 최대 1920x1080 화소의 해상도를 디스플레이할 수 있다. HD 비디오를 훨씬 낮은 화소수의 작은 화면에 맞게 변환하는 프로세스 과정에서, 픽셀 데이터들이 합쳐지고, 디테일들은 실질적으로 손실된다. 작은 화면 위의 화소 수를 HD 텔레비전의 화소 수까지 증가시키려는 시도로써 이런 변환 프로세스를 회피할 수는 있겠지만, 앞서 말하였듯이, 사람의 눈은 스스로의 한계를 지울 것이고, 따라서 디테일은 여전히 없어져 버릴 것이다.
비디오 트랜스코딩(transcoding) 및 편집(editing) 시스템들은 일반적으로 어떤 특정 화면에 재생할 수 있도록 비디오를 어느 한 포맷 및 해상도에서 다른 포맷 및 해상도로 변환하는 데에 사용된다. 예를 들어, 이러한 시스템들은 DVD 비디 오를 입력받으며, 변환 프로세스를 수행한 후에 QVGA 화면에 재생될 수 있는 비디오로 출력할 수 있다. 인터랙티브(interactive)한 편집 기능도 편집 및 변환된 출력 비디오를 생성할 수 있도록 이러한 변환 프로세스에 함께 채용될 수 있다. 다양한 서로 다른 화면 크기, 해상도 및 인코딩 표준 등을 지원하려면, 복수의 출력 비디오 스트림 또는 파일들이 생성되어야 할 것이다.
비디오는 보통 극장 상영에 잘 어울리는 "대형 화면" 포맷으로 촬영된다. 이 비디오가 추후에 트랜스코딩되기 때문에, 이러한 "대형 화면" 포맷의 비디오는 더 작은 화면 크기로 변환되는 것을 적절히 지원하지 못할 수 있다. 이러한 경우에, 어떠한 변환 프로세서로도 작은 화면에 디스플레이하기 적합한 비디오를 생성하지 못할 것이다. 기존의 전통적인 접근법에 따른 다른 한계점들 및 단점들은 당해 기술 분야의 숙련된 자에게, 본 출원의 나머지 부분들에서 도면들을 참조하여 설명되는 본 발명의 몇몇 측면들과 종래의 시스템들의 비교를 통해 명백해질 것이다.
본 발명의 목적은 화질의 손실없이 서로 다른 크기의 화면들에 디스플레이하기 적합하도록 비디오와 서브프레임의 메타데이터를 캡쳐하는 시스템 및 방법을 제공하는 것이다.
본 발명은 도면의 간단한 설명, 발명의 상세한 설명 및 청구범위 등을 통해 더욱 자세히 설명될 기술에 대한 장치 및 방법에 관한 것이다.
본 발명의 일 측면에 따르면, 제1 비디오 디스플레이(video display)를 갖는 제1 타겟 비디오 장치(target video device) 및 제2 비디오 디스플레이를 갖는 제2 타겟 비디오 장치와 함께 사용되며, 상기 제1 비디오 디스플레이는 상기 제2 비디오 디스플레이보다 화면 해상도(screen resolution)가 더 큰 비디오 카메라에 있어서, 상기 비디오 카메라는,
카메라 비디오 디스플레이;
사용자 입력 인터페이스(user input interface);
원본 비디오 프레임들로 이뤄진 시퀀스(sequence of original video frames)를 캡쳐(capture)하는 캡쳐 회로부; 및
상기 카메라 비디오 디스플레이, 상기 캡쳐 회로부 및 상기 사용자 입력 인터페이스에 결합되고, 상기 원본 비디오 프레임들의 시퀀스 중에서 적어도 하나의 프레임을 상기 카메라 비디오 디스플레이에 전달하는 프로세싱 회로부(processing circuitry)를 포함하며,
상기 프로세싱 회로부는 상기 사용자 입력 인터페이스에 응답하여 상기 카메라 비디오 디스플레이 상에 서브프레임(sub-frame)을 표시하고, 상기 서브프레임은 상기 원본 비디오 프레임들의 시퀀스 중의 상기 적어도 하나의 프레임 내의 일 구역에 상응하며,
상기 프로세싱 회로부는 상기 서브프레임에 상응하는 메타데이터(metadata)를 생성하고, 상기 메타데이터는 상기 제2 타겟 비디오 장치의 상기 제2 디스플레이 상에 상기 서브프레임에 상응하여 전체 화면 표시(full screen presentation)를 할 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 데에 사용된다.
바람직하게는, 상기 제1 타겟 비디오 장치는 상기 원본 비디오 프레임들의 시퀀스에 상응하여 상기 제1 비디오 디스플레이 상에 전체 화면 표시를 할 수 있다.
바람직하게는, 상기 프로세싱 회로부는 상기 카메라 비디오 디스플레이 상의 다른 서브프레임에 상응하는 추가 메타데이터를 생성하며, 상기 추가 메타데이터는 상기 제1 디스플레이 상에 상기 다른 서브프레임에 상응하여 전체 화면 표시를 할 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 데에 상기 제1 타겟 비디오 장치에 의해 사용된다.
바람직하게는, 상기 프로세싱 회로부는 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 상기 메타데이터를 이용하여, 제3 비디오 디스플레이 상에 전체 화면 표시를 할 수 있도록 제3 타겟 비디오 장치에 의해 이용되는 출력을 생성한다.
바람직하게는, 상기 제2 타겟 비디오 장치는 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 상기 메타데이터를 이용하여 상기 제2 비디오 디스플레이 상에 전체 화면 표시를 할 수 있다.
본 발명의 다른 측면에 따르면, 제1 타겟 비디오 장치 및 제2 타겟 비디오 장치와 함께 사용되는 비디오 카메라 시스템에 있어서, 이 비디오 카메라 시스템은
전체 화면 영역(full screen area)을 갖는 비디오 디스플레이;
사용자 입력 인터페이스;
상기 사용자 입력 인터페이스에 응답하여, 상기 전체 화면 영역 내의 일 구역(region)에 상응하는 서브프레임을 상기 비디오 디스플레이 상에 표시하는 프로 세싱 회로부; 및
원본 비디오 프레임들로 이뤄진 시퀀스를 캡쳐하는 비디오 캡쳐 회로부를 포함하며,
상기 프로세싱 회로부는 상기 원본 비디오 프레임들의 시퀀스 중 적어도 하나의 프레임을 상기 비디오 디스플레이의 전체 화면 영역을 이용한 화면 표시를 위해 전달하고,
상기 프로세싱 회로부는 상기 제1 타겟 비디오 장치 상에 제1 화면 표시를 하는 데에 사용될 제1 출력을 생성하며, 상기 제1 출력은 상기 전체 화면 영역에 상응하고,
상기 프로세싱 회로부는 상기 제2 타겟 비디오 장치 상에 제2 화면 표시를 하는 데에 사용될 제2 출력을 생성하며, 상기 제2 출력은 상기 서브프레임에 상응한다.
바람직하게는, 상기 제2 출력은 메타데이터를 포함한다.
바람직하게는, 상기 제2 출력은 비디오 출력을 포함한다.
바람직하게는, 상기 비디오 출력은 인코딩된 비디오 출력을 포함한다.
바람직하게는, 상기 프로세싱 회로부는 상기 비디오 디스플레이 상에 표시되는 추가 서브프레임에 상응하는 제3 출력을 생성한다.
바람직하게는, 상기 비디오 카메라 시스템은, 상기 비디오 디스플레이, 상기 사용자 입력 인터페이스, 상기 프로세싱 회로부 및 상기 비디오 캡쳐 회로부를 포함하는 카메라 하우징(camera housing)을 더 포함한다.
바람직하게는, 상기 비디오 카메라 시스템은, 카메라 하우징과 지원 시스템 하우징을 더 포함하며, 상기 카메라 하우징은 상기 비디오 캡쳐 회로부를 포함하고, 상기 지원 시스템 하우징은 상기 프로세싱 회로부의 적어도 일부분을 포함한다.
본 발명의 일 측면에 따르면, 비디오 카메라로 비디오를 캡쳐하는 것을 보조하는 비디오 프로세싱 시스템에 있어서, 상기 비디오 프로세싱 시스템은,
상기 비디오 카메라의 의한 캡쳐 시에 원본 비디오 프레임들의 시퀀스를 수신하도록 동작하는 비디오 카메라 인터페이스;
비디오 디스플레이에 대해 비디오 출력을 생성하도록 동작하는 비디오 디스플레이 인터페이스;
사용자 입력을 나타내는 신호들을 수신하도록 동작하는 입력 인터페이스; 및
상기 비디오 카메라 인터페이스, 상기 비디오 디스플레이 인터페이스 및 상기 입력 인터페이스에 결합되며, 상기 원본 비디오 프레임들의 시퀀스 중 적어도 하나의 프레임을 상기 비디오 디스플레이 인터페이스를 통해 상기 비디오 디스플레이에 표시하도록 동작하는 프로세싱 회로부를 포함하며,
상기 프로세싱 회로부는 상기 사용자 입력을 나타내는 신호들에 상응하여 서브프레임을 상기 비디오 디스플레이에 표시하도록 동작하고, 상기 서브프레임은 상기 원본 비디오 프레임들의 시퀀스 중 적어도 하나의 프레임 내에서 상기 사용자 입력을 나타내는 신호들에 의해 식별되는 일 구역에 상응하며,
상기 프로세싱 회로부는 상기 서브프레임에 상응하는 메타데이터를 생성하도 록 동작하고, 상기 메타데이터는 상기 서브프레임에 상응하여 타겟 비디오 재생기기(target video player)에 의해 상기 타겟 비디오 재생기기의 타겟 비디오 디스플레이 상에 전체 화면 표시를 할 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 데에 사용되며,
상기 비디오 디스플레이는 상기 타겟 비디오 디스플레이보다 더 큰 화면 표시 영역을 가진다.
바람직하게는, 상기 비디오 디스플레이 인터페이스는 추가적으로 상기 원본 비디오 프레임들의 시퀀스 중 적어도 한 프레임 내의 상기 일 구역에 상응하는 상기 서브프레임을 생성하여 제2 비디오 디스플레이에 보내도록 동작한다.
바람직하게는, 상기 프로세싱 회로부는 상기 메타데이터 내에 상기 원본 비디오 프레임들의 시퀀스 중의 복수의 프레임들에 대한 상기 서브프레임의 연관성(association)을 포함한다.
바람직하게는, 상기 프로세싱 회로부는 상기 비디오 디스플레이 상에, 상기 원본 비디오 프레임들의 시퀀스에 연관된 추가 서브프레임을 표시하는 방식으로 추가적인 사용자 입력을 나타내는 신호들에 응답하도록 추가적으로 동작하며,
상기 프로세싱 회로부는, 상기 추가 서브프레임에 상응하는 추가 메타데이터를 생성하도록 추가적으로 동작하며, 상기 추가 메타데이터는 추가적인 타겟 비디오 재생기기에 의해 상기 타겟 비디오 디스플레이 상에 전체 화면 표시를 할 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변형하는 데에 사용되고,
상기 프로세싱 회로부에 의해 생성된 상기 메타데이터 및 추가 메타데이터는 함께 한 세트의 서브프레임들을 정의한다.
바람직하게는, 상기 한 세트의 서브프레임들 중 적어도 두 개의 서브프레임들은 상기 원본 비디오 프레임들의 시퀀스 중의 하나의 프레임에 상응할 수 있다.
바람직하게는, 상기 한 세트의 서브프레임들 중 적어도 두 개의 서브프레임들은, 그 공간상의 위치가 원본 비디오 프레임들의 시퀀스 전체에 걸쳐 가변하는 객체(object)를 포함한다.
바람직하게는, 상기 한 세트의 서브프레임들 중 두 개의 서브프레임들은, 상기 원본 비디오 프레임들의 시퀀스 중의 적어도 두 개의 서로 다른 프레임들에 상응한다.
바람직하게는, 상기 한 세트의 서브프레임들의 적어도 일부는 상기 원본 비디오 프레임들의 시퀀스 전체에 걸쳐 묘사된 장면의 하위 장면에 상응한다.
바람직하게는, 상기 메타데이터는 상기 타겟 비디오 재생기기의 회로부에 의해 화면에 표시되는 상기 서브프레임을 편집하는 데에 사용하기 위한 편집 정보를 더 포함한다.
바람직하게는, 상기 편집 정보는 상기 서브프레임과 연관된 상기 원본 비디오 프레임들의 시퀀스의 상기 일 구역에 적용되는 시각적인 변경 정보를 포함한다.
바람직하게는, 상기 편집 정보는 상기 서브프레임에 적용되는 움직임 정보를 포함한다.
바람직하게는, 상기 편집 정보는 상기 서브프레임에 적용되는 크기 조절 정보를 포함한다.
바람직하게는, 상기 편집 정보는 상기 서브프레임에 적용되는 미디어를 포함한다.
바람직하게는, 상기 비디오 프로세싱 시스템은,
상기 원본 비디오 프레임들의 시퀀스에 상응하는 오디오 정보를 입력받도록 동작하는 마이크로폰 인터페이스를 더 포함하며,
상기 메타데이터는 상기 서브프레임에 상응하여 상기 타겟 비디오 재생기기에 의해 화면 표시를 할 수 있도록 상기 오디오 정보를 변형하는 데에 있어 상기 타겟 비디오 재생기기의 회로부(circuitry)에 의해 사용된다.
본 발명의 다른 측면에 따르면, 비디오 프로세싱 방법은,
비디오 카메라를 이용하여 원본 비디오 프레임들로 이뤄진 시퀀스를 캡쳐하는 단계;
비디오 디스플레이 상에 상기 원본 비디오 프레임들의 시퀀스 중 적어도 한 프레임을 표시하는 단계;
상기 원본 비디오 프레임들의 시퀀스에 관련하여 사용자 입력을 입력받는 단계;
상기 원본 비디오 프레임들의 시퀀스 중의 상기 적어도 한 프레임 상에서 상기 사용자 입력에 의해 식별되는 일 구역에 상응하는 서브프레임을 상기 비디오 디스플레이 상에 표시하는 단계; 및
상기 서브프레임에 상응하는 메타데이터를 생성하는 단계를 포함하며, 상기 메타데이터는 상기 서브프레임에 상응하여 타겟 비디오 재생기에 의해 상기 타겟 비디오 재생기기의 타겟 비디오 디스플레이 상에 전체 화면 표시를 할 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 데에 사용되며, 상기 비디오 디스플레이는 상기 타겟 비디오 디스플레이보다 더 큰 화면 표시 영역을 가진다.
바람직하게는, 상기 비디오 프로세싱 방법은 상기 원본 비디오 프레임들의 시퀀스 중의 상기 적어도 한 프레임 내의 상기 구역에 상응하는 서브프레임을 제2 비디오 디스플레이에 대해 생성하는 단계를 더 포함한다.
바람직하게는, 상기 메타데이터는 상기 원본 비디오 프레임들 중의 복수의 프레임들과 상기 서브프레임 사이의 연관성을 포함한다.
바람직하게는, 상기 비디오 프로세싱 방법은
상기 원본 비디오 프레임들의 시퀀스에 연관된 추가 서브프레임을 상기 비디오 디스플레이 상에 표시함으로써 추가적인 사용자 입력을 나타내는 신호들에 응답하는 단계; 및
상기 추가 서브프레임에 상응하는 추가 메타데이터를 생성하는 단계를 더 포함하며, 상기 추가 메타데이터는 상기 추가적인 비디오 디스플레이 상에 전체 화면 표시를 할 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 데에 상기 추가적인 타겟 비디오 장치에 의해 사용되며, 상기 생성된 메타데이터 및 추가 메타데이터는 함께 한 세트의 서브프레임들을 정의한다.
바람직하게는, 상기 한 세트의 서브프레임들 중 적어도 두 개의 서브프레임들은 상기 원본 비디오 프레임들의 시퀀스 중의 하나의 프레임에 상응할 수 있다.
바람직하게는, 상기 한 세트의 서브프레임들 중 적어도 두 개의 서브프레임 들은, 그 공간상의 위치가 원본 비디오 프레임들의 시퀀스 전체에 걸쳐 가변하는 객체를 포함한다.
바람직하게는, 상기 한 세트의 서브프레임들 중 두 개의 서브프레임들은, 상기 원본 비디오 프레임들의 시퀀스 중의 적어도 두 개의 서로 다른 프레임들에 상응한다.
바람직하게는, 상기 한 세트의 서브프레임들의 적어도 일부는 상기 원본 비디오 프레임들의 시퀀스 전체에 걸쳐 묘사된 장면의 하위 장면에 상응한다.
바람직하게는, 상기 메타데이터는 상기 타겟 비디오 재생기기의 회로부에 의해 화면에 표시되는 상기 서브프레임을 편집하는 데에 사용하기 위한 편집 정보를 더 포함한다.
바람직하게는, 상기 편집 정보는 상기 서브프레임과 연관된 상기 원본 비디오 프레임들의 시퀀스의 상기 일 구역에 적용되는 시각적인 변경 정보를 포함한다.
바람직하게는, 상기 편집 정보는 상기 서브프레임에 적용되는 움직임 정보를 포함한다.
바람직하게는, 상기 편집 정보는 상기 서브프레임에 적용되는 크기 조절 정보를 포함한다.
바람직하게는, 상기 편집 정보는 상기 서브프레임에 적용되는 미디어를 포함한다.
바람직하게는, 상기 비디오 프로세싱 방법은,.
상기 원본 비디오 프레임들의 시퀀스에 상응하는 오디오 정보를 입력는 단 계; 및
상기 서브프레임에 상응하여 상기 타겟 비디오 재생기기에 의해 화면 표시를 할 수 있도록 상기 오디오 정보를 변형하는 데에 있어 상기 타겟 비디오 재생기기의 회로부(circuitry)에 의해 사용하기 위한 정보를 포함하는 상기 메타데이터를 생성하는 단계를 더 포함한다.
본 발명의 다양한 특징들 및 장점들이 첨부되는 도면들을 참조한 이하에서의 본 발명의 상세한 설명들로부터 명백해질 것이다.
도 1은 본 발명에 따라 구축된 비디오 프로세싱 시스템(video processing system)의 실시예를 설명하기 위한 시스템 설명도이다. 비디오 프로세싱 시스템(120)은 비디오 카메라(video camera)(110)와 인터페이싱을 제공하여, 상기 비디오 카메라(110)로부터 원본 비디오 프레임들(original video frames)의 시퀀스(sequence)를 수신한다. 상기 비디오 카메라(110)에 의해 캡쳐(capture)되는 상기 원본 비디오 프레임들의 시퀀스는 장면(102)에 관한 것이다. 상기 장면(102)은 비디오 카메라(110)로 캡쳐될 어떠한 형태의 장면이라도 될 수 있다. 예를 들어, 장면(102)은 상당히 세부적이고 상대적으로 큰 촬영 면적을 갖는 풍경에 관한 장면일 수 있다. 또는, 상기 장면(102)은 서로 대화하고 있는 배우들의 두상을 찍은 것일 수도 있다. 더 나아가, 장면(102)은 도 1에서 예시하는 것처럼, 개가 공을 쫓아가는 역동적인 장면일 수 있다. 상기 장면(102)의 형태는 일반적으로 원본 비디오 프레임들을 캡쳐하는 동안에는 시간에 따라 변한다.
이전의 비디오 캡쳐 시스템을 가지고 설명하자면, 사용자는 카메라(110)를 작동시켜 상기 장면(102)의 "대형 스크린" 포맷에 최적화된 원본 비디오 프레임들을 캡쳐한다. 본 발명을 이용하면, 상기 원본 비디오 프레임들은, 추후에 각각의 비디오 디스플레이들을 갖는 각각의 타겟 비디오 재생기기들(target video players)에 의해 최종적으로 화면 표시(representation)될 수 있도록 변환될 것이다. 상기 비디오 프로세싱 시스템(120)은 소정의 시간에 걸쳐 여러 형태의 장면들을 캡쳐하기 때문에, 캡쳐된 비디오가 타겟 비디오 재생기기들에 표시되기 위한 서브프레임들을 생성하는 방식 또한 그 시간에 걸쳐 변한다. 상기 "대형 화면" 포맷은 언제나 더 작은 화면 방식의 포맷으로 잘 변환되는 것은 아니다. 따라서, 본 발명의 상기 비디오 프로세싱 시스템(120)은, 더 작은 화면 포맷으로 변환할 때에, 타겟 비디오 재생기기들의 하나 또는 그 이상의 비디오 디스플레이들에 영상을 표시할 수 있는, 높은 품질의 비디오 서브프레임들을 제공하는 원본 비디오 프레임들의 캡쳐를 지원한다.
높은 품질의 비디오 서브프레임들을 생성할 수 있도록 원본 비디오 프레임들의 캡쳐를 지원하기 위해서, 상기 비디오 프로세싱 시스템(120)은 서브프레임 메타데이터 생성 어플리케이션(sub-frame metadata generation application, SMGA)(140)을 구동하는데, 이 서브프레임 메타데이터 생성 어플리케이션(140)은, 소프트웨어 응용프로그램이거나, 전용 하드웨어이거나, 또는 하드웨어와 소프트웨어 양자를 조합한 것일 수 있다. 상기 비디오 프로세싱 시스템은 상기 비디오 카메라(110)로부터 장면(102)을 묘사한 원본 비디오 프레임들의 시퀀스를 수신한다. 상기 비디오 프로세싱 시스템(120)은 수치(132)로 지시된 특정한 대각선 크기를 갖는 비디오 디스플레이(130)를 포함한다. 상기 비디오 프로세싱 시스템(120)은, 상기 원본 비디오 프레임들의 시퀀스를 의미하는 비디오 출력을 상기 비디오 디스플레이(130)에 제공한다.
상기 비디오 프로세싱 시스템(120)은 더 나아가 하나 또는 그 이상의 사용자 입력 장치들로부터 사용자의 입력을 나타내는 신호들을 수신한다. 이러한 사용자 입력 장치들은 키보드(123), 마우스(121) 등과 사용자 입력을 수신하도록 작동할 수 있는 그 밖의 입력 장치들 등을 포함할 수 있다. 상기 비디오 프로세싱 시스템(120)은, 사용자 입력을 나타내는 신호들에 응답하여, 상기 비디오 디스플레이(130) 상에 사용자에게 서브프레임들을 보여준다. 각 서브프레임들은 변환 후에 타겟 비디오 재생기기의 디스플레이 상에 표시될 영상을 나타낸다. 따라서, 상기 비디오 프로세싱 시스템(120)은 사용자로 하여금, 추후에 하나 또는 그 이상의 타겟 비디오 재생기기들의 타겟 비디오 디스플레이들 상에 표시하기 위한 서브프레임들로 잘 변환될 원본 비디오 프레임들을 캡쳐할 수 있도록 한다. 상기 서브프레임들이 표시되는 방식은 도 2 내지 4를 참조하여 더 상세하게 설명될 것이다.
상기 비디오 프로세싱 시스템(120)은 또한 상기 서브프레임들에 상응하는 메타데이터를 생성한다. 이 메타데이터는, 타겟 비디오 재생기기가 상기 원본 비디오 프레임들의 시퀀스를 상기 서브프레임에 상응하여 상기 타겟 비디오 재생기기의 비디오 디스플레이 상에 전체 화면으로 표시할 수 있도록 변형을 가하는 데에 이용된다. 상기 메타데이터가 타겟 비디오 재생기기의 타겟 비디오 디스플레이 상에 전체 화면 표시를 하는 데에 사용되는 방식에 관하여는 도 4 내지 13을 참조하여 더 설 명될 것이다. 대부분의 경우 또는 모든 경우에, 상기 비디오 디스플레이(130)는 타겟 비디오 디스플레이의 표시 영역보다 더 큰 표시 영역을 갖는다. 이러한 개념은 도 2 내지 13을 참조하여 더 설명될 것이다.
상기 비디오 프로세싱 시스템(120)은 또한 상기 원본 비디오 프레임들의 시퀀스에 상응하여 오디오 정보를 수신하도록 동작할 수 있다. 상기 비디오 프로세싱 시스템(120)은 복수의 마이크로폰들(111a, 111b 및 111c)로부터 상기 오디오 정보를 수신한다. 일 실시예에서, 상기 복수의 마이크로폰들(111a, 111b 및 111c)은 상기 장면(102)에 관련된 서로 다른 오디오 정보를 캡쳐할 수 있도록 공간적으로 분산되어 있다. 본 발명에 따르면, 상기 비디오 프로세싱 시스템(120)은 상기 복수의 마이크로폰들(111a, 111b 및 111c)로부터 캡쳐된 오디오 정보를 상기 사용자 입력에 기초하여, 그리고 상기 서브프레임들에 상응하는 방식으로 변형시킬 수 있다. 더 나아가, 상기 메타데이터는, 서브프레임에 상응하는 화면 표시를 위해, 상기 타겟 비디오 재생기기가 상기 오디오 정보를 변형할 때에 상기 타겟 비디오 재생기기에 의해 사용되는 추가 정보를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따라 구축된 비디오 프로세싱 시스템의 비디오 디스플레이 시에 서브프레임들의 배치(placement)를 설명하기 위한 블록도이다. 도면에 나타난 바와 같이, 상기 비디오 디스플레이(130)는 도 1의 장면(102)을 나타내는 원본 비디오 프레임들의 시퀀스가 디스플레이되는 표시 영역을 갖는다. 도 2의 실시예에 따라, 상기 비디오 프로세싱 시스템(120)은, 사용자 입력을 나타내는 추가적인 신호들에 응답하여, 서브프레임(131)에 더하여 추가 서브프레임 들(additional sub-frames)(133, 135)을 상기 비디오 디스플레이(130) 상에 상기 원본 비디오 프레임들의 시퀀스와 함께 표시하도록 추가적으로 동작한다. 이들 서브프레임들(131)의 각각은 복수의 타겟 비디오 디스플레이들 중의 하나에 상응하는 종횡비를 가질 것이다. 더 나아가, 상기 비디오 프로세싱 시스템(120)은 이들 서브프레임들(131, 133, 135)의 각각에 연계된 메타데이터를 생성한다. 상기 비디오 프로세싱 시스템(120)이 생성하는, 상기 복수의 서브프레임들(131, 133, 135)에 연계된 메타데이터는, 상응하는 타겟 비디오 디스플레이들이 각 비디오 디스플레이에 적절한 화면 표시를 할 수 있도록 한다. 도 2의 예에서, 상기 비디오 프로세싱 시스템(120)은, 그 위에 복수의 서브프레임들(131, 133, 135)이 디스플레이되는 하나의 비디오 디스플레이(130)를 포함한다. 도 4를 참조하여 더 다뤄질 다른 실시예에서는, 상기 비디오 프로세싱 시스템에 의해 생성된 상기 복수의 서브프레임들은 각자 상응하는 타겟 비디오 재생기기에서 독립적으로 디스플레이될 수 있다.
도 2의 예를 보면, 상기 한 세트의 서브프레임 중에서 적어도 두 개의 상기 서브프레임들(133, 135)은 원본 비디오 프레임들의 시퀀스 중 하나의 프레임에 대응할 수 있다. 따라서, 예를 들면, 어떤 특정한 타겟 비디오 재생기기에 대해서, 서브프레임(133, 135)과, 여기에 포함된 관련 비디오 정보가 하나의 타겟 비디오 재생장치 상에 서로 다른 시점에 표시될 수 있다. 도 2의 예를 보면, 상기 타겟 비디오 재생장치에 표시되는 비디오의 제1 부분은 서브프레임(133) 내에 포함된 것과 같이 공을 쫓아가는 개를 보여줄 수 있고, 반면 상기 타겟 비디오 재생장치에 표시되는 비디오의 제2 부분은 서브프레임(135)에서 예시되듯이 튀고 있는 공을 보여줄 수 있다. 따라서, 이러한 예를 이용하면, 어떤 타겟 비디오 재생기기의 시간상으로 서로 인접한 비디오 시퀀스들을 원본 비디오 프레임들의 하나의 시퀀스로부터 생성할 수 있다.
더 나아가, 도 2의 예를 보면, 서브프레임의 세트 중에서 적어도 두 개의 서브프레임들은 상기 원본 비디오 프레임들의 시퀀스 전체에 걸쳐 그 공간상 위치가 가변하는 물체를 포함할 수 있다. 이러한 프레임들 내에서, 개로 인식되는 서브프레임(133)의 공간상 위치는, 튕기는 공을 나타내는 서브프레임(135)에 관하여, 상기 원본 비디오 프레임들의 시퀀스에 걸쳐 가변할 수 있다. 더 나아가, 도 2의 예를 보면, 서브프레임들의 세트 중 두 개의 서브프레임들은 상기 원본 비디오 프레임들의 시퀀스 중에서 적어도 두 개의 서로 다른 프레임들에 상응할 수 있다. 이 예를 이용하여 설명하자면, 서브프레임(133, 135)은 상기 비디오 디스플레이(130) 상에 표시되는 원본 비디오 프레임들의 시퀀스 중의 서로 다른 프레임들에 상응할 수 있다. 이 예를 보면, 제1 시구간 동안에는, 상기 서브프레임(133)이 소정의 시간 동안에 걸쳐 상기 개의 이미지를 디스플레이하도록 선택된다. 더 나아가, 위 예를 보면, 상기 서브프레임(135)은 상기 튕기는 공을 나타낼 수 있도록 앞서와 다른 시구간에 상응할 수 있다. 이런 예로 볼 때, 서브프레임들(133, 135) 세트의 적어도 일부는 상기 원본 비디오 프레임들의 시퀀스 전체를 통해 묘사되는 장면의 한 하위 장면(sub-scene)에 상응한다고 할 수 있다. 묘사된 이러한 시퀀스는 전체 디스플레이(130) 또는 서브프레임(131)에 걸쳐 묘사될 수 있다.
도 3은 본 발명에 따라 구축된 비디오 프로세싱 시스템의 다른 실시예를 설 명하기 위한 블록도이다. 도 3의 비디오 프로세싱 시스템(151)은 카메라를 포함하여 모든 부속 요소들이 단 하나의 유닛 내에 포함된다는 점에서, 도 1의 비디오 프로세싱 시스템과 다르다. 그래서, 상기 비디오 프로세싱 시스템(151)은 디스플레이(153), 입력 인터페이스(155), 출력 인터페이스(157), 프로세싱 회로부(159) 및 카메라 회로부(167)를 포함한다. 도 3의 상기 비디오 프로세싱 시스템(151)의 상기 부속 요소들(153, 155, 157, 159 및 167)은 상기 비디오 프로세싱 시스템(151)의 동작을 지원하는 데에 필요한 바와 같이 연결된다. 상기 인터페이스들(155, 157)과, 상기 비디오 프로세싱 시스템(151)의 부속 요소들의 연결 관계는 도 5를 참조하여 더 자세히 설명될 것이다. 상기 비디오 프로세싱 시스템의 부속 요소들 사이의 연결 관계는 여기서 본 발명의 사상과 관련된 바와 같이 설명될 것이다.
도 3의 실시예를 보면, 상기 비디오 프로세싱 시스템(151)은 내부의 카메라 회로부(167)를 이용하여 원본 비디오 프레임의 시퀀스를 캡쳐한다. 상기 입력 인터페이스(155)는 사용자로부터 인가된 사용자 입력을 나타내는 신호들을 수신하도록 동작한다. 상기 프로세싱 회로부(159)는 상기 카메라 회로부(167), 상기 비디오 디스플레이(153) 및 상기 입력 인터페이스(155)와 결합하며, 상기 비디오 디스플레이(153) 상에 상기 원본 비디오 프레임들의 시퀀스 중의 적어도 한 프레임을 제공하도록 동작한다. 더 나아가, 상기 프로세싱 회로부(159)는 사용자 입력을 나타내는 신호들에 응답하도록 동작하여, 상기 비디오 디스플레이(153) 상에 적어도 하나의 서브프레임(161, 163, 165)을 표시한다. 도 3의 실시예에 관하여, 각 서브프레임(161, 163, 165)은, 상기 원본 비디오 프레임들의 시퀀스 내의 적어도 한 프레임 내의, 사용자 입력을 나타내는 상기 신호들 내에서 식별될(identified) 수 있는 어느 구역에 상응할 수 있다.
상기 프로세싱 회로부(159)는 또한 상기 서브프레임들(161, 163, 165)에 상응하는 메타데이터를 생성하도록 동작한다. 도 1의 실시예에 관한 경우와 같이, 도 3의 실시예에서도, 상기 메타데이터는, 타겟 비디오 재생기기가 상기 원본 비디오 프레임들의 시퀀스를 상기 서브프레임에 상응하여 상기 타겟 비디오 재생기기의 비디오 디스플레이 상에 전체 화면으로 표시할 수 있도록 변형시키는 데에 이용된다. 도 1의 실시예에 관한 경우와 같이, 상기 비디오 디스플레이(153)는 타겟 비디오 디스플레이의 표시 영역보다 더 큰 표시 영역을 갖는다.
도 4는 본 발명에 따른 비디오 프로세싱 시스템의 다른 실시예를 설명하기 위한 개략도이다. 상기 비디오 프로세싱 시스템(120)은 컴퓨터 또는 그 밖의 장치로, 카메라로부터 수신된 비디오 데이터를 처리할 수 있으며, 상기 비디오 프로세싱 시스템(120)과 통신가능하도록 결합된 디스플레이(130)로 출력을 생성한다. 상기 카메라(110)는 영상물을 포함하는 원본 비디오 프레임들의 시퀀스를 어느 포맷으로든 캡쳐한다. 일 실시예에서, 상기 비디오 데이터는 고화질 비디오 데이터로, 각 비디오 프레임은 예를 들어 16:9의 종횡비를 가진 1920x1080 픽셀의 수평 대 수직 해상도로 구성된다. 다른 실시예에서는, 상기 비디오 데이터는 표준 화질이거나 또는 저화질의 비디오 데이터로서, 각 비디오 프레임들이 4:3의 종횡비를 가진 소정 숫자의 픽셀들로 구성된다. 예를 들어, 만약 표준 화질의 비디오 데이터가 NTSC(national television system committee) 비디오 데이터라면, 각 비디오 프레 임은 720x486 또는 720x540 픽셀 수평 대 수직 해상도로 생성된다. 또 다른 예에서, 만약 상기 표준 화질의 비디오 데이터가 PAL(phase alternation by line) 비디오 데이터라면, 각 비디오 프레임은 720x576 픽셀의 수평 대 수직 해상도로 생성된다. 추가적으로, 상기 비디오 데이터(115)는 여러 코딩 표준, 예를 들어, MPEG-1, MPEG-2, HD용 MPEG-2, MPEG-4 AVC, H.261, H.263 및 SMPTE VC-1 등을 이용하여 인코딩 및 압축되거나, 압축은 되지 않고 인코딩만 되거나, 또는 압축되지도 않고 인코딩되지도 않을 수 있다.
상기 비디오 프로세싱 시스템(120)은 더 나아가, 서브프레임 메타데이터 생성 어플리케이션(140)을 구현한다. 여기서 사용된 바와 같이, "서브프레임 메타데이터 생성 어플리케이션"이라는 용어는, 후술하는 것과 같은 상기 서브프레임 메타데이터 생성 어플리케이션(140)의 기능들을 수행하는 데에 필요한 어떠한 형태의 하드웨어, 소프트웨어, 펌웨어의 각각 또는 이들의 조합을 말한다. 일반적으로, 상기 서브프레임 메타데이터 생성 어플리케이션(140)은 상기 카메라(110)에 의해 생성된 비디오 데이터를 입력으로 받아들이고, 서로 다른 비디오 디스플레이 장치들(160)의 서로 다른 크기를 가지는 타겟 비디오 디스플레이들(165) 상에 표시하기 위해 상기 비디오 데이터(115)를 변형시키는 데에 사용할 수 있도록, 상기 서브프레임 메타데이터(150)를 상기 비디오 데이터(115)로부터 생성한다.
비디오 디스플레이 장치들(160)의 예로서는, 텔레비전(160a), PDA(160b), 셀룰러 폰(160c) 및 휴대용 컴퓨터(160d) 등이 있지만, 여기에 한정되는 것은 아니다. 각 비디오 디스플레이 장치(160a 내지 160d)는, 각각 소정의 크기(즉 화면 표 시 영역)(162, 165, 166, 168)를 가지는 각각의 비디오 디스플레이(165a 내지 165d)와 각각 통신가능하도록 연결된다. 각 비디오 디스플레이(165a 내지 165d)의 상기 화면 표시 영역(162, 165, 166, 168)은 각각의 비디오 디스플레이(165a 내지 165d)를 대각선으로 가로질러 측정된다. 상기 PDA(160b)와 셀룰러 폰(160c)의 상기 비디오 디스플레이(165b, 165c)는 소형 비디오 디스플레이를 대표하고, 이에 반해 상기 텔레비전(160a)과 휴대용 컴퓨터(160d)의 비디오 디스플레이(165a, 165d)는 대형 비디오 디스플레이를 대표한다. 여기서 사용된 바와 같이, "소형 비디오 디스플레이"라는 용어는 어떤 비디오 디스플레이가 그 화면 표시 영역(예를 들어 164, 166)이, 서브프레임 메타데이터(150)를 생성하는 비디오 프로세싱 시스템(120)에 연결된 상기 디스플레이(130)의 화면 표시 영역(132)보다 더 작은 경우에 그러한 비디오 디스플레이를 가리킨다.
한 가지 동작을 살펴보면, 상기 서브프레임 메타데이터 생성 어플리케이션(140)은 상기 카메라(110)로부터 비디오 데이터를 수신하고, 그 비디오 데이터를 상기 디스플레이(130) 상에 사용자에게 디스플레이하며, 디스플레이된 비디오 데이터에 대해 사용자로부터 사용자 입력을 수신하고, 상기 사용자 입력에 응답하여 서브프레임 메타데이터(150)를 생성하도록 동작할 수 있다. 더욱 상세하게는, 상기 서브프레임 메타데이터 생성 어플리케이션(140)은, 상기 비디오 데이터 내에 있는 원본 비디오 프레임의 시퀀스 중에서 적어도 한 프레임을 사용자에게 상기 디스플레이(130) 상에 표시하며, 상기 표시된 프레임(들)에서 묘사된 장면 내에서 어떤 관심 구역(region of interest)에 상응하는 서브프레임을 식별시키는 서브프레임 정보를 사용자의 입력으로서 수신하고, 상기 서브프레임 정보로부터 상기 서브프레임 메타데이터(150)를 생성하도록 동작할 수 있다. 여기서 사용된 바와 같이, "서브프레임"이라는 용어는, 어느 원본 비디오 프레임의 적어도 한 부분을 포함하나, 그 원본 비디오 프레임의 전체를 포함할 수도 있다. 결과적으로 얻은 상기 서브프레임 메타데이터(150)는, 타겟 비디오 디스플레이(165a 내지 165d) 상에 위 서브프레임들을 전체 화면으로 표시할 수 있도록 원본 비디오 프레임들(비디오 데이터)의 시퀀스를 변형시킨 서브프레임들의 시퀀스를 정의한다.
상기 서브프레임 메타데이터 생성 어플리케이션(140)에 의해 생성된 상기 서브프레임 메타데이터(150)는 하나 또는 그 이상의 서브프레임 메타데이터(150)의 세트들을 포함할 수 있으며, 이때 각 세트들은 특정한 타겟 비디오 디스플레이(165a 내지 165d) 또는 특정한 화면 크기(162 내지 168)의 비디오 디스플레이(165a 내지 165d), 각각 또는 이들의 조합을 위해 특화하여 생성된 것이다. 따라서, 특정한 비디오 디스플레이(예를 들어 디스플레이(165a)) 상에 디스플레이를 위해, 상기 비디오 디스플레이 장치들(160)의 각각은 원본 비디오 데이터를 수신하고, 상기 비디오 디스플레이(165)를 위해 특화적으로(specifically) 생성된 서브프레임 메타데이터(150) 세트들 중 수신된 하나의 세트를 이용하여 원본 비디오 데이터를 변형한다. 예를 들어, 원본 비디오 데이터와 서브프레임 메타데이터(150) 세트들 중 하나(예를 들어, 서브프레임 메타데이터 세트 C)를 모두 수신한 후, 상기 셀룰러 폰(160c)은 상기 원본 비디오 데이터를 상기 수신된 서브프레임 메타데이터(150) 세트를 이용하여 변형시키고, 자체 비디오 디스플레이, 즉 비디오 디스플 레이(165c) 상에 상기 변형된 비디오를 디스플레이한다.
추가적으로, 상기 서브프레임 메타데이터 생성 어플리케이션(140)은, 상기 타겟 비디오 디스플레이 장치에서 상기 원본 비디오 데이터에 대해 적용하기 위한 편집 정보(editing information)를 상기 서브프레임 메타데이터(150)에 추가하도록 동작할 수 있다. 예를 들어, 일 실시예에서는, 상기 편집 정보는 상기 원본 비디오 데이터의 대화식(interactive) 디스플레이에 응답한 추가적인 사용자 입력으로써 사용자에 의해 제공될 수 있다. 상기 편집 정보는 상기 서브프레임 메타데이터 생성 어플리케이션(140)에 입력되고, 생성된 상기 서브프레임 메타데이터(150)의 일부로서 포함된다.
편집 정보의 예로는, 팬 방향(pan direction) 및 팬 비율(pan rate), 줌(zoom) 비율, 컨트라스트(contrast) 조정, 밝기(brightness) 조정, 필터 파라미터(filter parameter) 및 비디오 효과 파라미터(video effect parameter) 등이 있으며, 이들에 한정되지는 않는다. 더욱 상세하게 말하자면, 서브프레임과 관련하여, 적용될 수 있는 몇 종류의 편집 정보가 있다. 이들 편집 정보는, a)시각적인 변형(visual modification)으로서 예를 들어, 밝기, 필터링, 비디오 효과들, 컨트라스트(contrast) 및 틴트(tint) 조정 등과, b) 움직임 관련 정보(motion information)로서, 예를 들어, 원본 프레임들의 한 시퀀스 전체에 걸친 서브프레임의 패닝(panning), 가속(acceleration), 속력(velocity), 방향(direction) 등과, c) 크기 변환 정보(resizing information)로서, 예를 들어, 원본 프레임들의 한 시퀀스 전체에 걸친 서브프레임의 주밍(zooming)(줌인과 줌아웃 그리고 그 비율을 포 함)과 d) 상기 원본 비디오 데이터 중에 서브프레밍의 영역 내에 해당하는 일부 영역들과 관련되었거나, 결합되었거나 또는 겹치게 놓인 여하한 형태의 보충적인 미디어(supplemental media)로서, 예를 들어, 텍스트나 그래픽 오버레이(overlay) 또는 보충적인 오디오 데이터(supplemental audio) 등을 포함한다.
도 1 내지 4를 모두 참조하면, 본 발명의 상기 비디오 프로세싱 시스템(120)은 영화 감독(directors)이나 카메라 오퍼레이터가 원본 비디오 프레임을 캡쳐하는 것을 보조한다. 영화 감독이나 카메라 오퍼레이터에게 상기 원본 비디오 프레임들과 함께 서브프레임들을 보여주는 방식을 통해 즉각적인 피드백을 제공함으로써, 상기 비디오 프로세싱 시스템은 영화 감독이나 카메라 오퍼레이터로 하여금 상기 캡쳐된 원본 비디오 데이터가 모든 의도한 타겟 비디오 재생기기들로 잘 변환될 것임을 확신할 수 있도록 할 수 있다. 상기 비디오 프로세싱 시스템(120)에 의해 제공되는 피드백을 이용하여, 영화 감독이나 카메라 오퍼레이터는 적절한 원본 비디오 프레임들이 캡쳐될 수 있도록 상기 카메라(110)의 동작을 변경할 수 있다.
도 5는 본 발명에 따른 비디오 프로세싱 장치의 한 실시예를 설명하기 위한 개략도이다. 상기 비디오 프로세싱 시스템(120)은 비디오 프로세싱 회로부(200)를 포함하는데, 이 비디오 프로세싱 회로부(200)는 비디오 데이터를 처리할 수 있고, 상기 비디오 데이터로부터 서브프레임 메타데이터(150)를 생성할 수 있도록 동작한다. 상기 비디오 프로세싱 회로부(200)는 프로세싱 회로부(210)와, 이 프로세싱 회로부(210)와 통신가능하도록 연결된 로컬 스토리지(local storage)(230)를 포함한다. 상기 로컬 스토리지(230)는, 이 발명의 상세한 설명에서 설명하는 기능들 중의 적어도 일부에 상응하는 동작 명령어들을 저장하고, 상기 프로세싱 회로부(210)는 이들 명령어들을 실행한다. 예를 들어, 일 실시예에서, 상기 로컬 스토리지(230)는 운영 체제(operating system)(240), 서브프레임 메타데이터 생성 소프트웨어 모듈(sub-frame metadata generation software module)(250), 디코더(260) 및 픽셀 변환 모듈(pixel translation module)(270)을 포함한다.
상기 서브프레임 메타데이터 생성(SMG) 소프트웨어 모듈(250)은 상기 비디오 데이터 및 사용자 입력으로부터 서브프레임 메타데이터(150)를 생성할 수 있도록 상기 프로세싱 회로부(210)에 의해 실행 가능한 명령어들을 포함한다. 즉, 상기 서브프레임 메타데이터 생성 소프트웨어 모듈(250)은 상기 원본 비디오 프레임들(115) 시퀀스의 수신, 저장 및 다시 불러들이기(retrieve)를 하기 위한 명령어, 상기 원본 비디오 프레임들(115)을 사용자에게 디스플레이하기 위한 명령어, 상기 디스플레이된 원본 비디오 프레임들에 대응하여 사용자로부터 입력된 사용자 입력을 수신하고 처리하는 명령어, 비디오 디스플레이에 표시하기 위해 서브프레임들을 생성하는 명령어, 그리고 상기 사용자 입력에 대응하여 서브프레임 메타데이터를 생성하는 명령어들을 상기 프로세싱 회로부(210)에 제공한다.
상기 비디오 데이터(115)가 인코딩되어 있는 실시예에서는, 상기 디코더(260)는 상기 인코딩된 비디오 데이터를 디코딩하여 디코딩된 비디오 데이터를 생성하도록 하는, 상기 프로세싱 회로부(210)에 의해 실행될 수 있는 명령어들을 포함한다. 예를 들어, 이산 코사인 변환(discrete cosine transform, DCT) 기반의 인코딩/압축 포맷들(예를 들어, MPEG-1, MPEG-2, HD용 MPEG-2, MPEG-4 AVC, H.261 및 H.263)에서는, 움직임 벡터들이, 보통 현존하는 인터프레임(inter-frame) 또는 인터필드(inter-field)를 고려하여 앞뒤의 프레임들로부터 프레임 기반의 또는 필드 기반의 예측 데이터를 구축하는 데에 이용된다. 예를 들어, MPEG 코딩 표준을 사용하면, 원본 비디오 프레임들의 시퀀스는 세 가지 다른 형태의 프레임들, 즉 "I" 프레임들, "B" 프레임들 및 "P" 프레임들의 시퀀스로써 인코딩된다. "I" 프레임들은 인트라코딩된 프레임이고, 반면 "P" 프레임들 및 "B" 프레임들은 인터코딩된 프레임들이다. 따라서, I 프레임들은 독립적이며, 다시 말해 I 프레임은 다른 그 밖의 프레임을 참조하지 않고 재구성(reconstruction)될 수 있는 반면, P 프레임들과 B 프레임들은 의존적이어서, 재구성을 위해서 다른 프레임들에 의존한다. 더 상세하게는, P 프레임들은 마지막 I 프레임 또는 P 프레임으로부터 순방향 예측되고(forward predicted), B 프레임들은 직전/이후 I 프레임 또는 P 프레임으로부터 순방향 예측되거나 역방향 예측된다. IPB 프레임들의 시퀀스는 "I", "P", 또는 "B" 프레임 내의 N x N 블록의 픽셀 데이터를 양자화가 좀더 쉽게 수행되는 DCT 도메인으로 변환하는 DCT 기법을 활용하여 압축한다. 여기서, N은 보통 8로 설정된다. 런 길이 인코딩(run-length encoding) 및 엔트로피 인코딩(entropy encoding)기법이 곧바로 상기 양자화된 비트스트림에 적용되어, 원래의 압축되지 않은 비디오 데이터보다 훨씬 줄어든 비트레이트를 갖는 압축된 비트스트림을 생성할 수 있다. 상기 디코더(260)는 상기 압축된 비디오 데이터를 압축 해제하여 인코딩된 비디오 데이터를 재구성하고, 이 인코딩된 비디오 데이터를 디코딩하여 원본 비디오 프레임들(디코딩된 비디오 데이터)의 시퀀스를 생성한다.
상기 디코딩된 비디오 데이터는, 상기 원본 비디오 프레임들을 사용자에게 디스플레이하고 또한 서브프레임 메타데이터(150)를 생성하기 위해, 상기 서브프레임 메타데이터 생성 소프트웨어 모듈(250)에 의해 상기 프로세싱 회로부(210)로 제공된다. 예를 들어, 일 실시예에서는, 상기 서브프레임 메타데이터(150)는 상기 비디오 프레임의 원래 시퀀스를 참조하여 생성된다. 다른 실시예에서는, 예를 들어 비디오 프레임들의 원래 시퀀스가 "I", "P" 및 "B" 프레임들의 시퀀스 형태로 인코딩되는 MPEG 코딩 표준을 이용하여 만약 비디오 데이터(115)가 인코딩되는 경우에, 상기 서브프레임 메타데이터(150)는 상기 비디오 프레임들의 IPB 시퀀스(인코딩된 시퀀스)를 참조하여 생성될 수 있다.
상기 픽셀 변환 모듈(270)은, 비디오 데이터(115)의 픽셀 해상도를 상기 서브프레임 메타데이터(150)와 관련이 있는 타겟 비디오 디스플레이의 픽셀 해상도로 변환하도록 상기 프로세싱 회로부(210)에 의해 실행되는 명령어들을 포함한다. 예를 들어, 상기 비디오 데이터(115)의 픽셀 해상도가 고화질 해상도(예를 들어, 프레임당 1920x1080 픽셀)이고, 또한 서브프레임 메타데이터(150)와 관련이 있는 상기 타겟 비디오 디스플레이가 단지 프레임당 320x240 픽셀의 해상도만을 가지고 있을 때, 상기 픽셀 변환 모듈(270)은 상기 타겟 비디오 디스플레이 상의 적절한 디스플레이를 위해, 상기 비디오 데이터(115)를 프레임당 1920x1080 픽셀의 해상도로부터 프레임당 320x240 픽셀의 해상도로 변환한다.
상기 프로세싱 회로부(210)는 공유되는 프로세싱 장치, 개별적인 프로세싱 장치들, 또는 복수의 프로세싱 장치들을 이용하여 구현될 수 있다. 이러한 프로세 싱 장치로는, 마이크로프로세서, 마이크로 컨트롤러, 디지털 신호 프로세서, 마이크로 컴퓨터, 중앙 처리 장치, FPGA(field programmable gate array), PLD(programmable logic device), 상태 머신(state machines), 로직 회로들, 아날로그 회로들, 디지털 회로들, 그리고 동작에 관한 명령어들(operational instructions)에 기초하여 신호들(아날로그든지 디지털이든지)을 조작할 수 있는 어떠한 형태의 장치라도 될 수 있다. 상기 로컬 스토리지(230)는 단일한 메모리 장치이거나 복수의 메모리 장치들일 수 있다. 이러한 메모리 장치로는 ROM(read-only memory), RAM(random access memory), 휘발성 메모리(volatile memory), 비휘발성 메모리(non-volatile memory), 정적 메모리(static memory), 동적 메모리(dynamic memory), 플래쉬 메모리(flash memory), 그 밖에 디지털 정보를 저장할 수 있는 어떠한 형태의 장치도 될 수 있다. 이때, 상기 프로세싱 회로부(210)는 하나 또는 그 이상의 기능들을 상태 머신, 아날로그 회로 장치, 디지털 회로 장치, 논리 회로 각각 또는 이들의 조합을 통해 구현할 경우에, 상응하는 동작 명령어들을 저장하는 상기 메모리 소자는 상기 상태 머신, 아날로그 회로 장치, 디지털 회로 장치, 논리 회로 각각 또는 이들의 조합을 포함하는 회로부 내에 내장(embedded)될 수 있다는 점을 주목한다.
상기 비디오 프로세싱 회로(200)는 더 나아가 주 디스플레이 인터페이스(Main Display I/F)(220), 제1 타겟 디스플레이 인터페이스(1st Target Display I/F)(222), 제2 타겟 디스플레이 인터페이스(2nd Target Display I/F)(224), 사용자 입력 인터페이스(User Input I/F)(217), 풀프레임 비디오 및 서브프레임 메타데 이터 출력 인터페이스(full-frame video and sub-frame metadata Output I/F)(280) 및 비디오 카메라 입력 인터페이스(Video Camera I/F)(290)를 포함하며, 각각은 상기 로컬 스토리지(230) 및 프로세싱 회로부(210)와 통신가능하도록 결합된다. 상기 주 디스플레이 인터페이스(220)는 상기 비디오 프로세싱 장치의 주 디스플레이에 대해 인터페이스를 제공하는 반면, 상기 제1 타겟 디스플레이 인터페이스(222) 및 제2 타겟 디스플레이 인터페이스(224) 각자는, 상기 비디오 데이터(115)가 상기 서브프레임 메타데이터(150)에 의해 변형된 대로 디스플레이되는 각각의 타겟 비디오 디스플레이들에 대해, 각각의 인터페이스를 제공한다. 상기 사용자 입력 인터페이스들(217)은, 상기 비디오 프로세싱 시스템(120)을 조작하는 사용자로부터 사용자 입력을 하나 또는 그 이상의 입력 장치들(예를 들어, 마우스, 키보드 기타 등등)로부터 수신할 수 있도록 하나 또는 그 이상의 인터페이스를 제공한다. 예를 들어, 사용자 입력은 상기 디스플레이되는 프레임들에서 묘사된 장면 내에서 관심 구역(서브프레임)을 식별시키는 서브프레임 정보와, 상기 서브프레임 정보를 편집하는 데에 사용되는 편집 정보를 포함할 수 있다.
상기 비디오 데이터 및 서브프레임 메타데이터 출력 인터페이스(280)는 상기 비디오 데이터(115) 및 생성된 서브프레임 메타데이터(150)를 출력시킬 수 있는 하나 또는 그 이상의 인터페이스들을 제공한다. 예를 들어, 상기 비디오 데이터 및 서브프레임 메타데이터 출력 인터페이스(280)는 상기 비디오 데이터(115) 및 서브프레임 메타데이터(150)를 저장하기 위한 저장 매체(storage medium)(예를 들어, 비디오 디스크, 비디오 테이프 또는 그 밖의 저장 매체들)들에 대한 인터페이스, 상기 비디오 데이터(115) 및 서브프레임 메타데이터(150)의 전송(예를 들어, 인터넷, 인트라넷 또는 기타 네트워크를 통한 전송)을 위한 전송 매체(transmission mediums)에 대한 인터페이스, 상기 비디오 데이터(115) 및 서브프레임 메타데이터(150)의 추가 처리를 수행하는 추가 프로세싱 회로부에 대한 인터페이스를 각각 또는 이들을 조합하여 포함할 수 있다. 상기 비디오 카메라 인터페이스(290)는 압축되거나 또는 압축되지 않은 포맷로 비디오 데이터(115)를 수신할 수 있는 하나 또는 그 이상의 인터페이스들을 포함한다.
다른 동작에 있어서, 상기 서브프레임 메타데이터 생성 소프트웨어 모듈(250)의 개시 시에, 상기 서브프레임 메타데이터 생성 소프트웨어 모듈(250)은 비디오 카메라 인터페이스(290)를 통해 상기 비디오 데이터(115)를 수신하든지, 아니면 로컬 스토리지(230)로부터 이전에 저장된 비디오 데이터(115)를 가져오도록(retrieve) 하는 명령어들을 상기 프로세싱 회로부(210)에 제공한다. 만약 상기 비디오 데이터(115)가 인코딩된 상태라면, 상기 서브프레임 메타데이터 생성 소프트웨어 모듈(250)은 더 나아가 상기 프로세싱 회로부(210)에 소정의 명령어들을 제공하여, 상기 디코더(260)에 액세스하고 또한 상기 디코더(260)에 의해 제공된 명령어들을 이용하여 상기 인코딩된 비디오 데이터를 디코딩한다.
상기 서브프레임 메타데이터 생성 소프트웨어 모듈(250)은 이어서, 상기 비디오 데이터(115)로부터 원본 비디오 프레임 시퀀스 중 적어도 한 프레임을 추출해 내고, 또한 그 원본 비디오 프레임들을 상기 주 디스플레이 인터페이스(22)를 통해 사용자에게 디스플레이할 수 있도록 하는 명령어들을 상기 프로세싱 회로부(210)에 제공한다. 상기 디스플레이된 프레임들에서 묘사된 장면 내의 관심 구역에 상응하는 서브프레임을 식별시켜주는, 사용자 입력 인터페이스(217)를 통한 사용자 입력의 수신에 응답하여, 상기 서브프레임 메타데이터 생성 소프트웨어 모듈(250)은 이어서 상기 사용자 입력으로부터 서브프레임 메타데이터(150)를 생성하고 또한 상기 생성된 서브프레임 메타데이터(150)를 로컬 스토리지(230)에 저장하도록 하는 명령어들을 상기 프로세싱 회로부(210)에 제공한다. 픽셀 변환이 필요한 실시예에서는, 상기 서브프레임 메타데이터 생성 소프트웨어 모듈(250)은 추가적으로, 상기 프로세싱 회로부(210)로 하여금, 상기 픽셀 변환 모듈(270)에 액세스하여 적절한 픽셀의 해상도를 가진 서브프레임 메타데이터(150)를 생성하도록 명령할 수 있다.
어떤 형태의 타켓 비디오 디스플레이를 위해 상기 서브프레임 메타데이터 생성 소프트웨어 모듈(250)이 프로그램되었느냐에 따라, 상기 서브프레임 메타데이터 생성 소프트웨어 모듈(250)에 의해 생성된 상기 서브프레임 메타데이터(150)는, 서브프레임 메타데이터(150)로 구성된, 각자 특정한 타겟 비디오 디스플레이를 위해 특화적으로 생성된 하나 또는 그 이상의 세트들을 포함할 수 있다. 예를 들어, 한 실시예에서는, 어느 특정한 비디오 디스플레이(예를 들어, 제1 타겟 비디오 디스플레이)에 표시하기 위해, 상기 프로세싱 회로부(210)는 상기 제1 타겟 비디오 디스플레이 인터페이스(222)를 통해 상기 원본 비디오 데이터와 상기 제1 타겟 비디오 디스플레이를 위한 서브프레임 메타데이터(150)의 세트를 출력한다. 또 다른 실시예에서는, 상기 프로세싱 회로부(210)는 추후의 처리, 저장 또는 전송을 위해 출력 인터페이스(280)를 통해 상기 원본 비디오 데이터 및 서브프레임 메타데이터(150) 의 하나 또는 그 이상의 세트들을 출력한다.
도 6은 본 발명에 따라 서브프레임 메타데이터를 생성하는 비디오 프로세싱 장치의 동작에 관한 실시예를 설명하기 위한 개략도이다. 도 6에서, 비디오 데이터(115)는 원본 비디오 프레임들(310)의 시퀀스 형태로 제공된다. 상기 원본 비디오 프레임들(비디오 데이터(115))의 시퀀스 내에서 각 프레임(310)은, 그로부터 서브프레임 메타데이터(150)의 생성을 위해, 상기 서브프레임 메타데이터 생성 응용제품(140)으로 입력된다. 이에 더하여, 상기 원본 비디오 프레임들의 시퀀스 내의 각 프레임(310)은 비디오 프로세싱 시스템(120)의 디스플레이(130) 상에 디스플레이 될 수 있는데, 이는 도 1 내지 5와 관련하여 앞에서 설명한 것과 같이, 화면에 표시 및 사용자에 의한 조작을 위함이다.
예를 들어, 사용자는 마우스와 같은 입력 장치(320)를 조작하여 디스플레이(130) 상의 커서(330)의 위치를 제어할 수 있다. 상기 커서(330)는 상기 디스플레이(130) 상에 디스플레이되는 현재 프레임(310) 내에서, 관심 구역에 상응하는 서브프레임(315)을 특정하기 위해 사용될 수 있다. 예를 들면, 사용자는 상기 커서(330)를 이용하여, 디스플레이(130) 상에 윈도우를 생성하고, 상기 마우스(320)에 일련의 마우스 클릭과 커서 끌기 동작들을 수행하여 상기 디스플레이(130) 상의 상기 윈도우의 크기 및 위치를 조절할 수 있다. 일단 상기 사용자가 상기 입력 장치(320)를 이용하여 상기 디스플레이(130) 상에 윈도우를 생성한 후에, 사용자는 더 나아가, 사용자 신호(325)를 상기 사용자 인터페이스(217)를 통해 상기 서브프레임 메타데이터 생성 어플리케이션(140)에 제공하여, 이 윈도우로써 서브프레 임(31)이 정의됨을 그 입력 장치(320)를 이용하여 지시할 수 있다. 상기 사용자 신호(325)로부터, 상기 서브프레임 메타데이터 생성 어플리케이션(140)은 서브프레임 메타데이터(150)를 생성한다. 예를 들어, 상기 서브프레임 메타데이터(150)는 현재 프레임(310) 상의 윈도우의 중심에 해당하는 공간상의 위치(예를 들어, 이 윈도우의 중심에 상응하는, 현재 프레임(310) 상의 픽셀 위치)와 그 윈도우의 크기(예를 들어, 픽셀의 수로 나타낸 이 윈도우의 길이 및 폭)를 설정할 수 있다.
상기 서브프레임 메타데이터 생성 어플리케이션(140)은 서브프레임 식별 모듈(sub-frame identification module)(340), 서브프레임 편집 모듈(sub-frame editing module)(350) 및 메타데이터 생성 모듈(metadata generation module)(360)을 포함한다. 서브프레임(315)을 만들어내는 사용자 신호들(325)을 수신하면, 상기 서브프레임 식별 모듈(340)은 서브프레임 식별자(sub-frame identifier)(345)를 해당 서브프레임에 할당한다. 이 서브프레임 식별자(345)는, 상기 서브프레임 메타데이터(150)에 의해 정의되는 서브프레임들의 시퀀스 내에서 해당 서브프레임을 식별시키는 데에 사용된다.
상기 서브프레임 편집 모듈(350)은 이 서브프레임에 대해 편집을 수행할 추가적인 사용자 신호들(325)에 대해 응답하는 모듈이다. 예를 들어, 일단 사용자가 입력 장치(320)를 이용하여 상기 서브프레임(315)을 생성해 낸 후, 사용자는 추가적으로 입력 장치(320)를 이용하여 이 서브프레임(315)을 편집할 수 있고, 이 편집 행위를 특징짓는 사용자 신호들(325)을 상기 사용자 인터페이스(217)를 통해 상기 서브프레임 메타데이터 생성 어플리케이션(140)에 제공한다. 이 사용자 신호들은 상기 서브프레임 편집 모듈(350)에 입력되고, 서브프레임(315)에 대해 수행된 편집 행위를 기록한 편집 정보(355)가 생성된다. 상기 편집 정보(355)는, 타겟 비디오 디스플레이에 표시되기에 앞서 상기 타겟 디스플레이 장치에서 서브프레임(315)을 편집하는 데에 사용될 수 있도록 상기 서브프레임 메타데이터(150)에 포함된다. 비록 편집 정보가 전체 비디오 데이터에 적용할 수 있도록 설정될 수도 있지만, 대부분의 편집 정보는 특정한 하나 또는 그 이상의 서브프레임들에 적용된다.
편집 정보(355)의 예로는, 팬 방향 및 팬 비율, 줌 비율, 컨트라스트 조정, 밝기 조정, 필터 파라미터 및 비디오 효과 파라미터 등이 있으며, 이들에 한정되지는 않는다. 비디오 효과(video effect)의 예로는, 와이핑(wipes), 페이딩(fades), 디졸빙(dissolves), 표면 및 물체의 모핑(morphing), 스팟라이트 및 하이라이트(spotlight and highlight), 컬러 채움 및 패턴 채움(color and pattern fill), 비디오 또는 그래픽 오버레이(video and graphic overlay), 색 교정, 3차원 원근감 교정 및 3차원 텍스쳐 맵핑(3D perspective correction and 3D texture mapping) 등이 있으며, 이들에 한정되지 않는다. 또 다른 비디오 효과의 예로는 "시간 천이 효과(time shiting)"가 있다. 제1 서브프레임으로 정의되는 제1 시퀀스는, 단순히 상기 메타데이터 내에, 상기 제1 서브프레임과 관련된, 저속 재생을 지시하는 편집 정보를 포함시킴으로써, 재생할 때에 느려질 수 있다. 제2 서브프레임에 관련된 제2 시퀀스는 정상 재생이라는 지시를 받을 수 있고, 제3 서브프레임에 관련된 제3 시퀀스의 재생은 빨라질 수 있다. 시간 천이 효과의 구현은 프레임 재생 비율을 높이거나 낮추기, 또는 원본 비디오 시퀀스 내에서 선택된 프레임들을 단순히 반복하 거나 버리기(discarding), 또는 좀더 복잡한 방식으로, 예를 들어 프레임들을 결합하여 새로운 프레임들을 생성하거나 또는 전체적으로 그 수를 줄이는 것 등을 포함할 수 있다.
상기 서브프레임 식별 모듈(340)에 의해 할당된 상기 서브프레임 식별자(345), 상기 서브프레임 편집 모듈(350)에 의해 생성된 상기 편집 정보(355), 현재의 원본 비디오 프레임(310) 그리고 상기 서브프레임(315)의 크기 및 위치를 정의하는 사용자 신호들(325)은 상기 서브프레임 메타데이터(150)를 생성하기 위해 상기 서브프레임 메타데이터 생성 모듈(360)에 입력된다. 일반적으로, 각 서브프레임(315)에 대해 상기 서브프레임 메타데이터(150)는, 서브프레임 식별자(345)와, 상기 서브프레임(315)이 추출된 원본 비디오 프레임(310)을 가리키는 식별자(identifier), 상기 원본 비디오 프레임(310)에 대한 상기 서브프레임(315)의 상대적인 위치 및 크기, 그리고 상기 서브프레임(315)에 관련된 여하한 편집 정보(355)를 포함한다.
상기 서브프레임 메타데이터 생성 모듈(360)은 각 서브프레임(315)에 대해 서브프레임 메타데이터(150)를 생성하고, 서브프레임들(315)의 시퀀스를 정의하는 총체적인(aggregate) 서브프레임 메타데이터(150)를 출력한다. 상기 서브프레임들(315)의 시퀀스는 각 원본 비디오 프레임(310)마다 하나의 서브프레임(315)을 포함할 수도 있고, 각 원본 비디오 프레임(310)마다 순차적으로 표시되는 복수의 서브프레임들(315)을 포함할 수도 있으며, 원본 비디오 프레임들(310)의 시퀀스 전체에 걸쳐 묘사되는 장면의 하위 장면에 상응하는 복수의 서브프레임들(315)을 포함 할 수도 있고, 또는 원본 비디오 프레임들(310)의 시퀀스 전체에 걸쳐 묘사되는 복수의 하위 장면들에 대해 복수의 서브프레임들(315)을 포함할 수도 있다. 예를 들어, 상기 서브프레임 메타데이터(150)는 하위 장면들의 시퀀스를 식별시켜 줄뿐 아니라, 이와 함께, 하위 장면들의 시퀀스 내의 각 하위 장면들과 연계된 서브프레임들(315)을 식별시켜 주는 순차 메타데이터(sequencing metadata)를 포함할 수 있다.
상기 서브프레임 메타데이터(150)는 더 나아가, 한 하위 장면 내의 상기 서브프레임들(315)의 위치에 있어서 상대적인 차이를 나타낼 수 있다. 예를 들어, 일 실시예에서, 상기 서브프레임 메타데이터(150)는 하위 장면 내의 각각의 서브프레임(315)이 상기 비디오 디스플레이(130) 상의 동일한 고정된 공간상 위치에 놓임(즉, 각 서브프레임(315)이 동일한 픽셀 위치를 가짐)을 나타낼 수 있다. 다른 실시예에서는, 상기 서브프레임 메타데이터(150)는 상기 하위 장면 내의 각 서브프레임(315)의 공간상 위치가 상기 서브프레임들 전체에 걸쳐 변화함을 나타낼 수 있다. 예를 들어, 하위 장면에 상응하는 서브프레임들의 시퀀스 내에서 각각의 서브프레임(315)은, 상응하는 원본 비디오 프레임들의 시퀀스 전체에 걸쳐 그 공간상 위치가 변화하는 물체를 포함할 수 있다.
도 7은 예로써 보인 원본 비디오 프레임과 이에 상응하는 서브프레임들을 예시하는 도면이다. 도 7에서, 제1 장면(405)은 원본 비디오 프레임들(310)의 제1 시퀀스(410)에 걸쳐 묘사되는 장면이고, 제2 장면(408)은 원본 비디오 프레임들(310)의 제2 시퀀스(420)에 걸쳐 묘사되는 장면이다. 즉, 각 장면들(405, 408)은 원본 비디오 프레임들(310)로부터 뽑은 각각의 시퀀스(410, 420)를 포함하며, 원본 비디오 프레임들(310)의 각 시퀀스(410, 420)의 형태로 상기 원본 비디오 프레임들(310)의 각 프레임들을 순차적으로 디스플레이함으로써 화면에 표시된다.
그런데, 보는 사람이 인식하는 화질을 감소시키지 않으면서 소형 비디오 디스플레이 상에 상기 장면들(405, 408)을 각각 디스플레이하기 위해서는, 상기 장면들(405, 408) 각각은 별도로 디스플레이되는 하위 장면들로 분할될 수 있다. 예를 들어, 도 7에 나타나 있듯이, 제1 장면(405) 내에는 두 개의 하위 장면들(406, 407)이 있고, 제2 장면(408) 내에는 하나의 하위 장면들(409)이 있다. 각 장면들(405, 408)이 원본 비디오 프레임들(310)의 각 시퀀스(410, 420)를 순차적으로 디스플레이함으로써 화면에 표시되는 것처럼, 각 하위 장면들(406, 407, 409)도 역시 서브프레임들(315)의 각 시퀀스를 디스플레이함으로써 화면에 표시될 수 있다.
예를 들어, 원본 비디오 프레임들로 된 제1 시퀀스(410) 내에서 제1 프레임(310a)을 보고, 사용자가 각각 서로 다른 하위 화면(406, 407)을 나타내는 비디오 데이터를 포함하는 두 개의 서브프레임들(315a, 315b)을 식별할 수 있다. 각 하위 장면(406, 407)이 원본 비디오 프레임들(310)로 이뤄진 상기 제1 시퀀스(410) 내내 지속된다고 가정하면, 사용자는 더 나아가, 원본 비디오 프레임들(310)로 이뤄진 상기 제1 시퀀스(410) 내의 연속하는 원본 비디오 프레임들(310) 각각에 나타나는 각 하위 화면(406, 407)에 대해 하나씩, 두 개의 서브프레임들(315)을 식별할 수 있다. 그 결과는, 서브프레임들(315a)로 이뤄진 제1 시퀀스(430)로서, 이때 상기 서브프레임들(315a)로 이뤄진 제1 시퀀스(430)의 서브프레임들(315a) 각각이 하 위 장면(406)을 나타내는 영상물을 포함한다. 또한, 서브프레임들(315b)로 이뤄진 제2 시퀀스(440)로서, 이때 상기 서브프레임들(315b)로 이뤄진 제2 시퀀스(440)의 서브프레임들(315b) 각각이 하위 장면(407)을 나타내는 영상물을 포함한다. 서브프레임들(315a, 315b)로 이뤄진 각 시퀀스(430, 440)는 순차적으로 디스플레이될 수 있다. 예를 들어, 제1 하위 장면(406)에 상응하는 모든 서브프레임들(315a)이 디스플레이된 후에 상기 제2 하위 장면(407)에 상응하는 모든 서브프레임들(315b)의 순차적인 디스플레이가 이어질 수 있다. 이러한 방식으로, 이 영화는 상기 장면(405)의 논리적인 흐름을 유지하면서, 시청자가 상기 장면(405)의 세세한 디테일들을 인지할 수 있도록 한다.
이와 유사하게, 원본 비디오 프레임들로 이뤄진 상기 제2 시퀀스(420) 내의 제1 프레임(310b)을 들여다 보면, 사용자는 하위 화면(409)에 상응하는 서브프레임(315c)을 식별할 수 있다. 마찬가지로, 상기 하위 장면(409)이 원본 비디오 프레임들(310)로 이뤄진 상기 제2 시퀀스(420) 내내 지속된다고 가정하면, 사용자는 또한 원본 비디오 프레임들(310)로 이뤄진 상기 제2 시퀀스(420) 내의 연속하는 원본 비디오 프레임들(310) 각각에 나타나는 하위 화면(409)을 포함하는 서브프레임(315c)을 식별할 수 있다. 그 결과는 서브프레임들(315c)로 이뤄진 시퀀스(450)로서, 이때 상기 서브프레임들(315c)로 이뤄진 상기 시퀀스(450) 내의 서브프레임들(315c) 각각은 하위 장면(409)을 나타내는 영상물을 포함한다.
도 8은 한 열의 서브프레임들에 대한 예시적인 서브프레임 메타데이터를 설명하기 위한 차트이다. 도 8에 보인 서브프레임 메타데이터(150) 내에는 상기 서브 프레임들의 시퀀스(예를 들어, 화면 표시의 순서)를 나타내는 순차 메타데이터(sequencing metadata)(500)가 있다. 예를 들어, 상기 순차 메타데이터(500)는 하위 장면들의 시퀀스와, 상기 각 하위장면들에 해당하는 서브프레임들의 시퀀스를 알려줄 수 있다. 도 7에 나타낸 예를 이용하면, 상기 순차 메타데이터(500)는 서브프레임 메타데이터(150)로 이뤄진 그룹들(520)로 분할될 수 있으며, 각 그룹(520)은 특정한 하위 장면들에 각각 상응한다.
예를 들어, 제1 그룹(520) 내에서, 상기 순차 메타데이터(500)는 서브프레임들로 이뤄진 제1 시퀀스(즉, 시퀀스(430)) 내의 첫 번째 서브프레임(즉, 서브프레임(315a))에서 시작하여, 상기 제1 시퀀스(430) 내의 각각의 추가되는 서브프레임들이 이어진다. 도 8에서, 상기 제1 시퀀스 내의 첫 프레임은 원본 비디오 프레임 A의 서브프레임 A라고 명칭이 붙어있고, 제1 시퀀스 내의 마지막 서브프레임은 원본 비디오 프레임 F의 서브프레임F라고 명칭이 붙어 있다. 제1 시퀀스(430)의 마지막 서브프레임 이후에서, 상기 순차 메타데이터(500)는 제2 그룹(520)과 함께 계속되는데, 이 제2 그룹(520)은 제2 시퀀스(즉 시퀀스(440))의 첫 번째 서브프레임(즉, 서브프레임(315b))으로 시작되어 상기 제2 시퀀스의 마지막 서브프레임과 함께 끝난다. 도 8을 살펴보면, 제2 시퀀스의 첫 번째 서브프레임은 원본 비디오 프레임 A의 서브프레임 G라고 명칭이 붙어 있고, 제2 시퀀스의 마지막 서브프레임은 원본 비디오 프레임 A의 서브프레임 L이라 명칭이 붙어 있다. 최후의 그룹(520)은 제3 시퀀스(즉, 시퀀스(450)) 내의 첫 번째 서브프레임(즉, 서브프레임(315c))부터 시작하여, 제3 시퀀스(450)의 마지막 서브프레임으로 끝난다. 도 8에서, 제3 시퀀 스의 첫 번째 서브프레임은 원본 비디오 프레임 G의 서브프레임 M이라고 명칭이 붙어 있고, 제3 시퀀스의 마지막 서브프레임은 원본 비디오 프레임 I의 서브프레임 P라고 명칭이 붙어 있다.
각 그룹(520) 내에는 그 그룹(520) 내의 개별적인 서브프레임 각각에 대해 서브프레임 메타데이터가 있다. 예를 들어, 제1 그룹(520)은 서브프레임들로 이뤄진 제1 시퀸스(430) 내의 서브프레임들 각각에 대해 서브프레임 메타데이터(150)를 포함한다. 일 실시예에서, 상기 서브프레임 메타데이터(150)는 다수의 입력항목들(entries)(510)을 포함하는 메타데이터 텍스트 파일(metadata text file) 형태로 짜여질 수 있다. 상기 메타데이터 텍스트 파일 내의 각 입력항목(510)은 특정한 서브프레임에 대한 서브프레임 메타데이터(150)를 포함한다. 즉, 상기 메타데이터 텍스트 파일 내의 각 입력항목(510)은 그 메타데이터와 연계된 특정한 서브프레임을 식별시켜주는 서브프레임 식별자를 포함하고, 원본 비디오 프레임들의 시퀀스 내의 프레임들 중 하나를 참조한다.
도 9는 한 서브프레임에 대한 편집 정보를 포함하는 예시적인 서브프레임 메타데이터를 설명하기 위한 차트이다. 즉, 도 9는, 도 8과 관련하여 위에서 논의한 메타데이터 텍스트 파일의 입력항목(510) 내에서 발견될 수 있는 다양한 서브프레임 메타데이터를 포함한다. 각 서브프레임에 대한 상기 서브프레임 메타데이터(150)는, 해당 서브프레임에 할당된 서브프레임 식별자(SF ID)와 같은 일반 서브프레임 정보(600), 해당 서브프레임이 유래하게 된 원본 비디오 프레임과 관련된 정보(OF ID, OF Count, Playback Offset), 서브프레임의 위치 및 크기(SF Location, SF Size) 및 상기 서브프레임이 표시될 디스플레이의 종횡비(SF Ratio)를 포함한다. 추가적으로, 도 9에 나타나 있듯이, 상기 특정한 서브프레임에 대한 서브프레임 메타데이터(150)는 해당 서브프레임의 편집에 사용될 수 있는 편집 정보(355)를 포함할 수 있다. 도 9에 나타난 편집 정보의 예는 팬 방향(pan direction) 및 팬 비율(pan rate), 줌 비율(zoom rate), 컬러 조정(color adjustments), 필터 파라미터(filter parameters), 영상 위의 보충 시청각 자료(supplemental overlay media) 또는 비디오 시퀀스(video sequence), 그리고 그 밖의 비디오 효과 및 각종 파라미터들(other video effects and associated parameters)을 포함한다.
도 10은 서브프레임들을 생성할 수 있는 비디오 편집 도구를 포함하는 그래픽 사용자 인터페이스(graphic user interface, GUI)를 제공하는 비디오 프로세싱 시스템의 화면의 한 실시예를 설명하기 위한 도면이다. 비디오 프로세싱 디스플레이(130) 상에는 현재의 프레임(310)과 이 현재의 프레임(310)의 서브프레임(315)이 표시되고 있다. 상기 서브프레임(315)은, 도 6과 관련하여 상술한 것과 같이, 사용자에 의해 지정되는 관심 구역 내부의 비디오 데이터를 포함한다. 일단 상기 서브프레임(315)이 지정되면, 사용자는 사용자에게 GUI(710)에 의해 제공된 하나 또는 그 이상의 비디오 편집 도구들을 이용하여 상기 서브프레임(315)을 편집할 수 있다. 예를 들어, 도 10에 나타나 있듯이, 상기 사용자는 상기 서브프레임(315)에 대해 상기 GUI(710) 내의 여러 편집 도구들 중 하나에 대해 클릭하거나 또는 기타의 방법으로 선택함으로써, 필터, 컬러 조정, 오버레이 또는 기타 편집 도구들을 적용 할 수 있다. 부가적으로, 상기 GUI(710)는 원본 프레임들의 시퀀스와 서브프레임들의 시퀀스를 보면서 서로 비교할 수 있도록, 사용자가 원본 프레임들 또는 서브프레임들 사이를 이동할 수 있게 할 수 있다.
도 11은 본 발명에 따라 여러 개의 서브프레임 메타데이터 세트들을 생성하는 비디오 프로세싱 시스템의 한 실시예를 나타내는 개략적인 블록도이다. 상기 비디오 프로세싱 시스템(120)이 서브프레임 메타데이터의 생성 대상인 타겟 비디오 디스플레이들의 수와 형태에 따라, 상기 비디오 프로세싱 시스템(120)의 프로세싱 회로부(210)는 원본 비디오 데이터로부터 하나 또는 그 이상의 서브프레임 메타데이터(150a, 150b, ... 150N)를 생산할 수 있는데, 이때 서브프레임 메타데이터(150a, 150b, ... 150N)의 각 세트는 어느 특정한 타겟 비디오 디스플레이를 위해 특화되어 생성된다. 예를 들어, 일 실시예에서, 제1 타겟 비디오 디스플레이 상에 표시하기 위해서, 상기 프로세싱 회로부(210)는 서브프레임들로 이뤄진 하나의 시퀀스를 정의하는 서브프레임 메타데이터(150a)의 제1 세트를 생성한다. 상기 서브프레임 메타데이터(150a)로 구성된 제1 세트는 원본 비디오 데이터를 변형하여 상기 제1 타겟 비디오 디스플레이 상에 상기 서브프레임의 시퀀스를 전체 화면으로 표시하는 데에 사용된다.
도 12는 본 발명의 일 실시예에 따라, 복수의 타겟 비디오 디스플레이들을 위한 복수의 서브프레임 메타데이터 세트들을 생성할 수 있는 비디오 프로세싱 시스템의 다른 실시예를 설명하기 위한 개략적인 블록도이다. 도 1에서와 같이, 비디오 프로세싱 시스템(120)은, 비디오 데이터(115)를 처리할 수 있는 컴퓨터나 기타 장치와 같은 것들로서, 서브프레임 메타데이터 생성 어플리케이션(140)을 구현한다. 상기 서브프레임 메타데이터 생성 어플리케이션(140)은 카메라(110)에 의해 캡쳐된 원본 비디오 데이터를 입력으로 취득하며, 비디오 디스플레이 장치(160)의 타겟 비디오 디스플레이(165) 상에 서브프레임들의 전체 화면 표시를 하기 위해 원본 비디오 프레임들(비디오 데이터(115))의 시퀀스를 변경하는 데에 사용할 수 있도록, 서브프레임의 시퀀스를 정의하는 서브프레임 메타데이터(150)를 생성한다.
도 12에 다음의 예시적인 비디오 디스플레이 장치들, 즉 텔레비전(160a), PDA(160b), 셀룰러 폰(160c) 및 휴대용 컴퓨터(160d)가 나타나 있다. 각 비디오 디스플레이 장치들(160a 내지 106d)은 각각의 비디오 디스플레이(165a 내지 165d)와 통신가능하도록 결합된다. 이에 더하여, 각 비디오 디스플레이 장치(160a 내지 160d)는 각각의 미디어 재생기기(910a 내지 910d)에 통신가능하도록 결합된다. 각 미디어 재생기기(910a 내지 910d)는 영상물을 처리하고 이를 각각의 비디오 디스플레이(165a 내지 165d) 상에 표시할 수 있는 비디오 재생 회로부를 포함한다. 상기 미디어 재생기기(910)는 상기 비디오 디스플레이 장치(160) 내에 포함될 수도 있고, 또는 상기 비디오 디스플레이 장치(160)와 통신가능하도록 결합될 수도 있다. 예를 들어, 텔레비전(160a)과 연결된 미디어 재생기기(910)는 VCR, DVD 재생기기 또는 그 밖의 유사한 장치일 수 있다.
상기 서브프레임 메타데이터 생성 어플리케이션(140)에 의해 생성된 서브프레임 메타데이터(150)는, 각각 특정한 타겟 비디오 디스플레이(165a 내지 165d)를 위해 특화되어 생성된 하나 또는 그 이상의 서브프레임 메타데이터 세트들(150a 내 지 150d)들을 포함할 수 있다. 예를 들어, 도 12에 나타나 있듯이, 상기 서브프레임 메타데이터 생성 어플리케이션(140)은, 각 타겟 비디오 디스플레이(165a 내지 165d)마다 하나씩, 네 개의 서브프레임 메타데이터 세트들(150a 내지 150d)을 생성한다. 따라서, 특정한 비디오 디스플레이(즉, 디스플레이(165a)) 위에 디스플레이하기 위해, 원본 비디오 데이터는 이 비디오 디스플레이(165a)를 위해 특화적으로 생성된 서브프레임 메타데이터 세트(150a)에 의해 변형된다.
예시적인 동작을 들면, 각 미디어 재생기기(910)는, 원본 비디오 프레임들로 이뤄진 시퀀스를 포함하는 원본 비디오 데이터(115)와, 서브프레임들의 시퀀스를 정의한 서브프레임 메타데이터의 상응하는 세트(150)를 수신할 수 있게 통신가능하도록 결합된다. 상기 원본 비디오 데이터 및 서브프레임 메타데이터(150)의 세트는 인터넷 또는 그 밖의 네트워크를 거친 다운로드, 브로드캐스팅(broadcasting), 또는 상기 미디어 재생기기(910)와 통신가능하도록 결합된 저장 장치(예를 들어 VHS 테이프, DVD 또는 그 밖의 저장 매체)로부터 업로딩 등을 통해 수신될 수 있다. 상기 미디어 재생기기(910)는 서브프레임 메타데이터(150)를 이용하여, 서브프레임의 시퀀스에 상응하는 타겟 비디오 디스플레이(165) 상에 전체 화면으로 표시될 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변경한다. 예를 들어, 미디어 재생기기(910a)는 원본 비디오 데이터 및 서브프레임 메타데이터(910a)를 수신할 수 있게 통신가능하도록 결합되고, 미디어 재생기기(910a)는 원본 비디오 데이터 및 서브프레임 메타데이터(150a)를 수신할 수 있게 통신가능하도록 결합되고, 미디어 재생기기(910b)는 원본 비디오 데이터 및 서브프레임 메타데이터(150b)를 수신할 수 있게 통신가능하도록 결합되며, 미디어 재생기기(910c)는 원본 비디오 데이터 및 서브프레임 메타데이터(150c)를 수신할 수 있게 통신가능하도록 결합되고, 미디어 재생기기(910d)는 원본 비디오 데이터 및 서브프레임 메타데이터(150d)를 수신할 수 있게 통신가능하도록 결합된다.
도 13은 본 발명에 따라 서브프레임 메타데이터를 생성하는 절차를 설명하기 위한 논리 순서도이다. 상기 절차는 단계(1010)에서 시작하는데, 여기서 영상물을 가지는 원본 비디오 데이터가 여하한 비디오 소스(예를 들어 비디오 카메라, 비디오 디스크 또는 비디오 테이프)로부터 수신된다. 상기 원본 비디오 데이터는 소정의 포맷 형태의 영상물을 가지는 원본 비디오 프레임들의 시퀀스를 포함한다. 추가적으로, 상기 수신된 비디오 데이터는 여하한 코딩 표준을 이용하여 인코딩 및 압축되거나, 압축은 되지 않고 인코딩만 되거나 또는 압축되지도 않고 인코딩도 되지 않을 수 있다. 만약 원본 비디오 데이터가 압축/인코딩되었다면, 상기 비디오 데이터는 압축 해제 및 디코딩되어 원본 비디오 프레임들의 시퀀스를 생성한다.
절차는 단계(1020)로 이어지는데, 여기서 원본 비디오 프레임들의 시퀀스 내의 제1 프레임이 사용자에게 제공된다. 예를 들어, 상기 제1 프레임을 사용자가 볼 수 있도록 디스플레이 상에 표시할 수 있다. 이 절차는 이어서 판단 단계(1030)로 이어지는데, 여기서 제1 프레임의 서브프레임이 식별되었는지 여부에 관해 판단이 이뤄진다. 예를 들어, 사용자는 상기 제1 프레임 내에서 관심 구역에 상응하는 서브프레임을 식별하는 사용자 입력을 제공할 수 있다. 만약 서브프레임이 식별되었다면(단계(1030)의 예 가지), 상기 절차는 단계(1040)로 진행하며, 여기서는 상기 식별된 서브프레임을 위한 서브프레임 메타데이터가 생성된다. 예를 들어, 특정 서브프레임을 위한 상기 서브프레임 메타데이터는 상기 서브프레임이 설정된 해당 원본 비디오 프레임(즉, 제1 프레임)의 식별자, 상기 서브프레임의 상기 원본 비디오 프레엠에 대한 상대적인 위치 및 크기, 그리고 상기 서브프레임을 편집하는데 사용할 수 있는 여타 편집 정보를 포함할 수 있다. 이 절차는 단계(1050)에서, 상기 제1 프레임 내에서 식별된 각 서브프레임에 대해 반복된다. 즉, 만약 또 다른 서브프레임이 상기 제1 프레임 내에서 식별되었다면(단계(1050)의 예 가지), 절차는 단계(1040)로 되돌아가고, 여기서 추가 서브프레임을 위한 서브프레임 메타데이터가 생성된다.
만약 상기 제1 프레임 내에서 아무런 서브프레임도 식별되지 않거나(단계(1030)의 아니오 가지), 또는 제1 프레임 내에 식별된 서브프레임이 더 이상 남아있지 않을 경우(단계(1050)의 아니오 가지), 상기 절차는 결정 단계(1060)로 진행한다. 여기서, 원본 비디오 프레임의 시퀀스 내에 프레임이 더 있는지 여부에 대해 판단이 이뤄진다. 만약 원본 비디오 프레임들이 더 남아 있다면(단계(1060)의 예 가지), 절차는 단계(1070)로 진행하며, 여기서 원본 비디오 프레임들의 시퀀스의 다음 프레임이 사용자에게 제공되고, 절차는 단계(1030)에서 반복된다. 그러나, 만약 더 이상의 원본 비디오 프레임들이 남아 있지 않으면(단계(1060)의 아니오 가지), 절차는 단계(1080)로 진행하며, 여기서 각각의 식별된 서브프레임들을 위해 생성된 서브프레임 메타데이터는 하나의 메타데이터 파일로 저장된다.
도 14는 본 발명에 따른 비디오 프로세싱 시스템의 다른 실시예를 설명하기 위한 개략적인 블록도이다. 도 14의 비디오 카메라(1400)는 제1 타겟 비디오 장치(1422) 및 제2 타겟 비디오 장치(1420)와 함께 사용된다. 상기 제1 타겟 비디오 장치(1422)는 제1 비디오 디스플레이를 갖고, 상기 제2 타겟 비디오 장치(1420)는 제2 비디오 디스플레이를 갖는다. 상기 제1 타겟 비디오 장치(1422)의 제1 비디오 디스플레이는 실질적으로 상기 제2 타겟 비디오 장치(1420)의 제2 비디오 디스플레이보다 더 큰 화면 해상도를 갖는다. 상기 제1 타겟 비디오 장치(1422)의 제1 비디오 디스플레이는 또한 상기 제2 타겟 비디오 장치(1420)보다 더 큰 표시 영역을 가진다.
상기 비디오 카메라(1400)는 카메라 비디오 디스플레이(1402), 사용자 입력 인터페이스(1408), 비디오 캡쳐 회로부(1410), 프로세싱 회로부(1406)과, 선택 사항으로서 코딩 회로부(1404)를 포함한다. 상기 카메라 비디오 디스플레이(1402)는 도 2에서 예시되고 이와 관련지어 설명되었듯이, 단일한 비디오 디스플레이일 수 있고, 또는 복수의 비디오 디스플레이들을 포함할 수도 있다. 상기 사용자 입력 인터페이스(1408)는 도 1을 참조하여 설명되었듯이, 사용자 입력을 수신하여 이와 함께 구현된 서브프레임 메타데이터 생성 어플리케이션에서 사용될 수 있도록 한다. 상기 사용자 입력 인터페이스는 키보드, 마우스 또는 사용자의 입력을 수신하도록 동작할 수 있는 그 밖의 사용자 인터페이스 장치를 포함할 수 있다. 상기 비디오 캡쳐 회로부(1410)는 원본 비디오 프레임들의 시퀀스를 캡쳐한다. 상기 캡쳐 회로부(1410)는 도 1 내지 5를 참조하여 앞서 설명된 것처럼 카메라 형태의 회로부를 포함한다.
상기 프로세싱 회로부(1406)는 상기 카메라 비디오 디스플레이(1402), 상기 캡쳐 회로부(1410) 및 상기 사용자 입력 인터페이스(1408)에 연결된다. 상기 프로세싱 회로부(1406)는 소프트웨어나 펌웨어 명령어들을 실행하고 데이터에 대해 조작할 수 있는 여하한 형태의 디지털 프로세싱 회로 장치일 수 있다. 상기 프로세싱 회로부(1406)는 상기 캡쳐 회로부(1410)에 의해 캡쳐된 원본 비디오 프레임들의 시퀀스 중에서 적어도 하나의 프레임을 상기 카메라 비디오 디스플레이(1402)로 전달한다. 원본 비디오 프레임들의 시퀀스의 적어도 한 프레임을 상기 카메라 비디오 디스플레이(1402) 상에 표시하는 방법은 도 2 및 도 3을 참조하여 앞서 설명되었다.
상기 프로세싱 회로부(1406)는 사용자 입력 인터페이스(1408)에 응답하여, 상기 카메라 비디오 디스플레이(1402) 상에 서브프레임을 표시한다. 서브프레임들이 상기 카메라 비디오 디스플레이(1402) 상에 디스플레이되는 방법은 도 2나 도 3을 참조하여 앞서 설명되었던 방법과 동일하거나 이와 유사하다. 상기 서브프레임은 상기 원본 비디오 프레임들 중의 적어도 한 프레임 내에 있는 어떤 영역에 상응한다. 상기 원본 비디오 프레임(들) 및 상기 서브프레임(들)이 상기 비디오 카메라 디스플레이(1402) 상에 디스플레이되는 방법은 도 2를 참조하여 설명하고 또한 관련하여 예시한 방법과 동일하거나 이와 유사하다.
상기 프로세싱 회로부(1406)는 상기 서브프레임들에 상응하는 메타데이터(150)를 생성한다. 상기 메타데이터(150)는 제2 타겟 비디오 장치(1420)의 제2 디스플레이 상에 전체 화면으로 표시할 수 있도록 상기 원본 비디오 프레임들의 시 퀀스를 변형하는 데에 사용된다. 이렇게 제2 타겟 비디오 장치(1420)의 제2 디스플레이 상에 전체 화면 표시는 상기 프로세싱 회로부(1406)에 의해 상기 카메라 비디오 디스플레이(1402) 상에 표시되는 서브프레임에 상응한다.
도면에 나타난 바와 같이, 상기 카메라(1400)는 원본 비디오 프레임들(115)의 시퀀스를 생성하여 상기 제1 타겟 비디오 장치(1422) 및 상기 제2 타겟 비디오 장치(1420) 둘 모두에 대해 보낸다. 더 나아가, 상기 카메라(1400)는 상기 제2 타겟 비디오 장치(1420)로 보낼 메타데이터(150n)를 생성하며, 선택 사항으로서, 상기 제1 타겟 비디오 장치(1422)로 보낼 메타데이터(150p)를 생성한다. 상기 카메라(1400)의 제1 동작 시에, 상기 제1 타겟 비디오 장치(1422)는 상기 제1 비디오 디스플레이 상에 상기 원본 비디오 프레임들(115)의 시퀀스에 상응하는 전체 화면 표시를 만들어 낸다. 더 나아가, 이 동작과 함께, 제2 타겟 비디오 장치(1420)는 상기 메타데이터(150n)를 이용하여 상기 원본 비디오 프레임들(115)의 시퀀스를 변경하여 상기 제2 비디오 디스플레이 상에 전체 화면 표시를 만들어 낸다.
앞서 설명한 것과 유사한 또 다른 동작 시에, 상기 제1 타겟 비디오 장치(1422)의 제1 비디오 디스플레이 상에 추가적인 전체 화면 표시를 만들어 낼 수 있도록 원본 비디오 프레임들(115)의 시퀀스를 변경하는 데에, 상기 메타데이터(150p)가 상기 제1 타겟 비디오 장치(1422)에 의해 사용된다. 상기 제1 타겟 비디오 장치(1422)의 제1 비디오 디스플레이 상에 이뤄지는 이러한 추가적인 전체 화면 표시는, 상기 사용자 입력 인터페이스(1408)에 응답하여 상기 카메라 비디오 디스플레이(1402) 상에 표시되는 또 다른 서브프레임에 해당할 수 있다. 사용자 입력 에 응답하여 생성되는 다양한 서브프레임들에 기초하여 메타데이터를 생성하는 데에 수행되는 본 발명의 동작들은 도 2 내지 13을 참조하여 앞서 설명되었다.
상기 카메라(1400)의 또 다른 동작에 따르면, 상기 코딩 회로부(1404)는 각각 타겟 비디오 장치들(1414, 1416, 1418)에 대해 인코딩된 출력들(1424, 1426, 1428)을 생성한다. 이러한 출력들(1424, 1426, 1428)을 생성하는 데 있어서, 상기 프로세싱 회로부(1406)는 출력들(1423)을 생성하여 상기 코딩 회로부(1405)로 보낸다. 이들 출력들은, 상기 타겟 비디오 장치들(1414, 1416, 1418) 모두에 대해 하나의 그룹인 것처럼 상응하도록 생성된 비디오, 또는 상기 타겟 비디오 장치들(1424, 1416, 1418) 각자에 개별적으로 맞춰진 비디오를 포함할 수 있다. 상기 코딩 회로부(1404)는 상기 프로세싱 회로부(1496)로부터 수신한 상기 출력들(1423)을 코딩하여 상기 출력들(1424, 1426, 1428)을 생성한다. 이들 출력들(1424, 1426, 1428)은 추가적인 타겟 비디오 장치들(1414, 1416, 1418)의 추가적인 타겟 비디오 디스플레이들 상에 전체 화면 표시하는 데에 이용될 수 있다. 특히, 상기 코딩 회로부(1404)는 상기 타겟 비디오 장치(1414)에 상응하는 제1 코딩 파라미터들에 기초하여 제1 인코딩 출력(1424)을 생성한다. 더 나아가, 상기 코딩 회로부(1404)는 상기 타겟 비디오 장치들(1416, 1418)에 상응하는 제2 및 제3 코딩 파라미터들에 기초하여 인코딩된 비디오 출력들(1426, 1428)을 생성한다.
따라서, 도 14의 실시예에 따르면, 상기 비디오 카메라(1400)는 그 출력으로서, 원본 비디오 프레임들(115)의 시퀀스, 메타데이터(150) 및 비디오 출력들(1424, 1426, 1428)을 생성한다. 상기 비디오 카메라(1400)의 출력은 상기 원본 비디오 프레임들(115) 시퀀스의 캡쳐 시점에 생성될 수 있다. 또는, 상기 비디오 카메라(1400)는 상기 원본 비디오 프레임들의 시퀀스를 캡쳐하고 저장하고, 나중에 그 출력들을 생성하여 비디오 장치들이나 저장 장치들에 보낼 수도 있다.
도 15는 본 발명에 따른 비디오 프로세싱 시스템의 또 다른 실시예를 설명하기 위한 개략적인 블록도이다. 도 15의 비디오 카메라 시스템(1500)은 카메라(1510) 및 병렬 비디오 프로세싱 시스템(1501)을 포함한다. 상기 카메라(1510)는 원본 비디오 프레임들(115)의 시퀀스를 캡쳐한다. 상기 비디오 카메라(1510)는 한편으로 비디오 캡쳐 회로부라고 지칭되는데, 원본 비디오 프레임들(115)의 시퀀스를 생성하여 상기 병렬 비디오 프로세싱 시스템(1501) 및 제1 타겟 비디오 장치(1522)로 보낸다.
상기 병렬 비디오 프로세싱 시스템(1501)은 하나 또는 그 이상의 비디오 디스플레이(1502), 사용자 입력 인터페이스(1508), 프로세싱 회로부(1506)를 포함하는데, 코딩 회로부(1504)를 포함할 수도 있다. 도 15의 상기 병렬 비디오 프로세싱 시스템(1501)의 일부 구성품은 도 14의 비디오 카메라에서 공통적으로 명명된 구성품과 공통인 기능을 가지며, 이러한 구성품들은 도 15를 참조하여서는 더 이상 설명되지 않을 것이다. 상기 비디오 디스플레이(1502)는 전체 화면 영역을 가지며, 도 2에 예시되고 관련되어 설명된 비디오 디스플레이(130)에 상응할 수 있다. 상기 병렬 비디오 프로세싱 시스템(1501)의 상기 프로세싱 회로부(1506)는 전용 하드웨어, 범용 하드웨어나, 기타 상기 병렬 비디오 프로세싱 시스템(1501) 또는 그 일부의 동작들을 수행할 수 있는 소프트웨어 등일 수 있다. 상기 프로세싱 회로 부(1506)는 상기 사용자 입력 인터페이스(1508)에 응답하여 상기 비디오 디스플레이(1502) 상에 서브프레임을 나타낸다. 상기 비디오 디스플레이(1502) 상에 디스플레이된 서브프레임은 상기 비디오 디스플레이(1502)의 전체 화면 영역 내의 한 구역에 상응한다. 도 2를 잠시 참조하면, 이 서브프레임은 서브프레임들(131, 133, 135)에 상응할 수 있고, 이 각각의 서브프레임들은 상기 비디오 디스플레이(1502)의 전체 화면 영역(130) 안에서 표시될 수 있다.
도 15를 다시 참조하면, 상기 비디오 캡쳐 회로부(즉 카메라)(1510)는 원본 비디오 프레임들(115)의 시퀀스를 캡쳐한다. 상기 프로세싱 회로부(1506)는 원본 비디오 프레임들의 시퀀스 중 적어도 한 프레임을, 비디오 디스플레이(1502)의 전체 화면 영역을 이용한 화면 표시를 위해 전달한다. 상기 프로세싱 회로부(1506)는 상기 전체 화면 영역에 상응하는 제1 타겟 비디오 장치(1522)의 제1 디스플레이 상에 제1 화면 표시(presentation)를 수행하는 데에 사용될 수 있도록 제1 출력을 추가적으로 생성한다. 또한, 상기 프로세싱 회로부(1506)는, 하나 또는 그 이상의 서브프레임들에 상응하는 제2 출력을 가지고 제2 타겟 비디오 장치(1520)의 제2 디스플레이 상에 제2 표시 화면을 생성하는 데에 사용될 수 있도록 제2 출력을 생성한다. 도 15에 나타나 있듯이, 상기 프로세싱 회로부(1506)는 상기 원본 비디오 프레임들의 시퀀스에 상응하는 제1 출력을 생성할 수 있다. 이와 다르게, 상기 제1 타겟 비디오 장치(1522)에 대해 생성된 상기 출력이 상기 원본 비디오 프레임들(115)의 시퀀스와 메타데이터(150r)를 모두 포함할 수도 있다. 상기 프로세싱 회로부(1506)는 더 나아가 서브프레임에 상응하는 제2 타겟 비디오 장치(1520) 상에 제 2 화면 표시를 수행하는 데에 사용될 제2 출력을 생성할 수 있다. 상기 제2 타겟 비디오 장치(1520)에 대해 생성되는 출력은 메타데이터(150q)와 또한 원본 비디오 프레임들(115)의 시퀀스도 포함할 수 있다. 상기 제1 타겟 비디오 장치(1522) 및 제2 타겟 비디오 장치1520)는 각각의 표시 화면들을 생성할 수 있도록 이들에 제공되는 상기 원본 비디오 프레임들(115)의 시퀀스 및 메타데이터(150q, 150r)를 포함하는 입력들을 이용한다.
도 15의 비디오 카메라 시스템의 또 다른 동작에 따르면, 상기 프로세싱 회로부(1506)는 상기 코딩 회로부(1504)와 함께 동작하여, 타겟 비디오 장치들(1514, 1516, 1518)에 대해 코딩된 비디오 출력들(1524, 1526, 1528)을 생성한다. 상기 인코딩된 비디오 출력들(1524, 1526, 1528)은 상기 타겟 비디오 장치들(1514, 1516, 1518) 각각의 제1, 제2 및 제3 코딩 파라미터들에 기초하며, 상기 프로세싱 회로부(1506)에 의해 상기 코딩 회로부(1504)에 제공될 수 있다.
따라서, 종래의 시스템들과는 대조적으로, 도 15의 비디오 카메라 시스템은 특정한 타겟 비디오 장치들에 맞게 재단된 인코딩된 비디오를 직접 생성한다. 더 나아가, 도 15의 비디오 카메라 시스템은 인코딩된 비디오뿐만 아니라, 메타데이터(150), 그리고 원본 비디오 프레임들(115)의 시퀀스를 생성한다. 게다가, 도 1 내지 14를 참조하여 앞서 설명했던 것과 같이, 상기 프로세싱 회로부(1506)는, 사용자 입력 인터페이스(1508)에 응답하여 상기 비디오 디스플레이(152) 상에 디스플레이되는 추가적인 서브프레임들에 관련된 다른 추가적인 출력들도 생성할 수 있다. 따라서, 각각의 특정 서브프레임에 대해, 도 15의 비디오 카메라 시스템(1500) 은 특정한 타겟 비디오 디스플레이들을 위해 재단된 출력들을 생성할 수 있다. 더 나아가, 상기 비디오 카메라 시스템(1500)은 단순히 많은 타겟 장치들 각각에 대한 정보를 포함하는 서브프레임 메타데이터를 생성할 수 있다. 이러한 타겟 장치들은 원본 비디오 프레임들의 시퀀스에 기초하여 비디오 데이터를 생성하는 데에 사용할 수 있도록, 메타데이터(150) 중에서 관련성이 있는 부분들을 추출할 것이다.
도 15의 비디오 카메라 시스템의 다른 측면에 따르면, 상기 비디오 카메라 시스템은 카메라 하우징(camera housing)에 비디오 디스플레이(1502), 사용자 입력 인터페이스(1508), 프로세싱 회로부(1506) 및 비디오 캡쳐 회로부(1510)를 포함한다. 이 카메라 하우징에는 더 나아가 코딩 회로부(1504)도 들어갈 수 있다. 도 15의 비디오 카메라 시스템(1500)의 또 다른 측면에 따르면, 상기 비디오 카메라 시스템(1500)은 카메라 하우징 및 지원 시스템 하우징(support system housing)을 포함한다. 상기 카메라 하우징은 상기 비디오 캡쳐 회로부(1510)를 포함하는 반면, 상기 지원 시스템 하우징은 상기 프로세싱 회로부(1506)의 적어도 일부를 포함한다. 상기 지원 시스템 하우징은 또한 디스플레이들(1502), 사용자 인터페이스(1508) 및 코딩 회로부(1504)를 포함할 수 있다.
당해 기술 분야에 통상의 지식을 가진 자가 또한 이해할 수 있듯이, "동작하도록 연결된(operably coupled)" 및 "통신가능하도록 연결된"(communicatively coupled)"과 같은 용어는, 본 명세서에서 사용되었을 수 있는데, 직접 연결과 또 다른 구성 성분(component), 요소(element), 회로 또는 모듈을 통한 간접 연결을 포함하며, 이때, 간접 연결에 대해서, 상기 중간 개재하는(intervening) 구성 성 분, 요소, 회로 또는 모듈은 어떤 신호가 갖는 정보를 변경하지는 않지만, 그 신호의 전류 레벨, 전압 레벨, 또는 전력 레벨 등을 조절할 수는 있다. 당해 기술 분야에 통상의 지식을 가진 자가 또한 이해할 수 있듯이, 추론적 연결(inferred coupling, 즉 어떤 요소가 추론(inference)에 의해 다른 요소에 연결되는 경우)도 "동작하도록 연결된" 경우 및 "통신가능하도록 연결된" 경우와 동일한 방식으로 두 요소들 사이를 직접적으로 및 간접적으로 연결하는 것을 포함한다.
본 발명은 지금까지 특정된 기능들의 수행 및 이들 사이의 관계들을 예시한 방법 단계들을 이용하여 위와 같이 설명되었다. 이러한 기능적인 구성 블록들 및 방법 단계들의 경계 및 순서(boundaries and sequences)는 설명의 편의를 위해 임의적으로 설명되었다. 이러한 특정 기능들 및 이들 사이의 관계들이 적절하게 수행되는 한, 그와 다른 경계 및 순서도 정의될 수 있다. 그러한 어떠한 다른 경계 또는 순서들도 청구 범위에 기재된 발명의 영역 및 사상 내에 포함된다.
본 발명은 또한 몇몇 중요 기능들의 수행을 예시한 기능적인 구성 블록들을 이용하여 위와 같이 설명되었다. 이러한 구성 블록들의 경계는 설명의 편의를 위해 임의적으로 정의되었다. 상기 중요 기능들이 적절히 수행되는 한, 이와 다른 경계도 정의될 수 있다. 유사하게, 순서도의 블록들도 역시 중요한 기능(functionality)을 예시하기 위해 정의되었다. 순서도 블록의 경계들 및 순서는 다른 식으로 정의되었어도 여전히 그러한 중요한 기능을 수행할 수 있을 것이다. 기능적인 구성 블록들과 순서도 블록들 및 순서들을 다른 형태로 정의한 것들도 이에 따라 청구 범위에 기재된 발명의 영역 및 사상 내에 포함된다.
당해 기술 분야의 통상의 기술을 가진 자는 또한 이러한 기능적 구성 블록들 및 이 명세서에 있는 그 밖의 예시적인 블록들, 모듈 및 구성품은, 예시된 대로 구현되거나, 또는 개별 부품, 주문형 집적 회로(application specific integrate circuits, ASIC), 적절한 소프트웨어나 이와 유사한 것을 실행하는 프로세서들, 또는 이들의 조합들에 의해 구현될 수 있다는 점을 인식할 것이다.
더 나아가, 비록 상술한 실시예를 이용하여 간단 명료함 및 이해를 목적으로 상세하게 설명하였지만, 본 발명은 이러한 실시예들에 한정되지 않는다. 본 발명의 사상과 범위가 첨부된 청구 범위의 기재에 의해서 제한되는 한, 당해 기술 분야의 동상의 지식을 가진 자에게 본 발명의 사상과 범위 내에서 다양한 변화와 변경이 실시될 수 있음은 명백할 것이다.
본 발명에 따른 실시예는 화질의 손실없이 서로 다른 크기의 화면들에 디스플레이하기 적합하도록 비디오와 서브프레임의 메타데이터를 캡쳐하는 시스템 및 방법을 제공할 수 있다.
Claims (10)
- 제1 비디오 디스플레이를 갖는 제1 타겟 비디오 장치 및 제2 비디오 디스플레이를 갖는 제2 타겟 비디오 장치와 함께 사용되며, 상기 제1 비디오 디스플레이는 상기 제2 비디오 디스플레이보다 화면 해상도가 더 큰 비디오 카메라에 있어서,카메라 비디오 디스플레이;사용자 입력 인터페이스;원본 비디오 프레임들로 이뤄진 시퀀스를 캡쳐하는 캡쳐 회로부; 및상기 카메라 비디오 디스플레이, 상기 캡쳐 회로부 및 상기 사용자 입력 인터페이스에 결합되고, 상기 원본 비디오 프레임들의 시퀀스 중에서 적어도 하나의 프레임을 상기 카메라 비디오 디스플레이에 전달하는 프로세싱 회로부를 포함하며,상기 프로세싱 회로부는 상기 사용자 입력 인터페이스에 응답하여 상기 카메라 비디오 디스플레이 상에 서브프레임을 표시하고, 상기 서브프레임은 상기 원본 비디오 프레임들의 시퀀스 중의 상기 적어도 하나의 프레임 내의 일 구역(region)에 상응하며,상기 프로세싱 회로부는 상기 서브프레임에 상응하는 메타데이터를 생성하고, 상기 메타데이터는 상기 서브프레임에 상응하여 상기 제2 타겟 비디오 장치의 상기 제2 디스플레이 상에 전체 화면 표시를 할 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 데에 사용되는 것을 특징으로 하는 비디오 카메라.
- 청구항 1에 있어서, 상기 제1 타겟 비디오 장치는 상기 원본 비디오 프레임들의 시퀀스에 상응하여 상기 제1 비디오 디스플레이 상에 전체 화면 표시를 할 수 있는 것을 특징으로 하는 비디오 카메라.
- 청구항 1에 있어서, 상기 프로세싱 회로부는 상기 카메라 비디오 디스플레이 상의 다른 서브프레임에 상응하는 추가 메타데이터를 생성하며, 상기 추가 메타데이터는 상기 다른 서브프레임에 상응하여 상기 제1 디스플레이 상에 전체 화면 표시를 할 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 데에 상기 제1 타겟 비디오 장치에 의해 사용되는 것을 특징으로 하는 비디오 카메라.
- 청구항 1에 있어서, 상기 프로세싱 회로부는 상기 원본 비디오 프레임들의 시퀀스를 변경하는 데에 상기 메타데이터를 이용하여, 제3 비디오 디스플레이 상에 전체 화면 표시를 할 수 있도록 제3 타겟 비디오 장치에 의해 이용되는 출력을 생성하는 것을 특징으로 하는 비디오 카메라.
- 제1 타겟 비디오 장치 및 제2 타겟 비디오 장치와 함께 사용되는 비디오 카메라 시스템에 있어서,전체 화면 영역(full screen area)을 갖는 비디오 디스플레이;사용자 입력 인터페이스;상기 사용자 입력 인터페이스에 응답하여, 상기 전체 화면 영역 내의 일 구 역(region)에 상응하는 서브프레임을 상기 비디오 디스플레이 상에 표시하는 프로세싱 회로부; 및원본 비디오 프레임들로 이뤄진 시퀀스를 캡쳐하는 비디오 캡쳐 회로부를 포함하며,상기 프로세싱 회로부는 상기 원본 비디오 프레임들의 시퀀스 중 적어도 하나의 프레임을 상기 비디오 디스플레이의 전체 화면 영역을 이용한 화면 표시를 위해 전달하고,상기 프로세싱 회로부는 상기 제1 타겟 비디오 장치 상에 제1 화면 표시를 하는 데에 사용될 제1 출력을 생성하며, 상기 제1 출력은 상기 전체 화면 영역에 상응하고,상기 프로세싱 회로부는 상기 제2 타겟 비디오 장치 상에 제2 화면 표시를 하는 데에 사용될 제2 출력을 생성하며, 상기 제2 출력은 상기 서브프레임에 상응하는 것을 특징으로 하는 비디오 카메라 시스템.
- 청구항 5에 있어서, 상기 제2 출력은 메타데이터를 포함하는 것을 특징으로 하는 비디오 카메라 시스템.
- 비디오 카메라로 비디오를 캡쳐하는 것을 보조하는 비디오 프로세싱 시스템에 있어서,상기 비디오 카메라에 의한 캡쳐 시에 원본 비디오 프레임들의 시퀀스를 수 신하도록 동작하는 비디오 카메라 인터페이스;비디오 디스플레이에 대한 비디오 출력을 생성하도록 동작하는 비디오 디스플레이 인터페이스;사용자 입력을 나타내는 신호들을 수신하도록 동작하는 입력 인터페이스; 및상기 비디오 카메라 인터페이스, 상기 비디오 디스플레이 인터페이스 및 상기 입력 인터페이스에 결합되며, 상기 원본 비디오 프레임들의 시퀀스 중 적어도 하나의 프레임을 상기 비디오 디스플레이 인터페이스를 통해 상기 비디오 디스플레이에 표시하도록 동작하는 프로세싱 회로부를 포함하며,상기 프로세싱 회로부는 상기 사용자 입력을 나타내는 신호들에 상응하여 서브프레임을 상기 비디오 디스플레이에 표시하도록 동작하고, 상기 서브프레임은 상기 원본 비디오 프레임들의 시퀀스 중 적어도 하나의 시퀀스 내에서 상기 사용자 입력을 나타내는 신호들에 의해 식별되는 일 구역에 상응하며,상기 프로세싱 회로부는 상기 서브프레임에 상응하는 메타데이터를 생성하도록 동작하고, 상기 메타데이터는 상기 서브프레임에 상응하여 타겟 비디오 재생기에 의해 상기 타겟 비디오 재생기기의 타겟 비디오 디스플레이 상에 전체 화면 표시를 할 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 데에 사용되며,상기 비디오 디스플레이는 상기 타겟 비디오 디스플레이보다 더 큰 화면 표시 영역을 가지는 것을 특징으로 하는 비디오 프로세싱 시스템.
- 청구항 7에 있어서, 상기 비디오 디스플레이 인터페이스는 추가적으로 상기 원본 비디오 프레임들의 시퀀스 중 적어도 한 프레임 내의 상기 일 구역에 상응하는 상기 서브프레임을 생성하여 제2 비디오 디스플레이에 보내도록 동작하는 것을 특징으로 하는 비디오 프로세싱 시스템.
- 비디오 카메라를 이용하여 원본 비디오 프레임들로 이뤄진 시퀀스를 캡쳐하는 단계;비디오 디스플레이 상에 상기 원본 비디오 프레임들의 시퀀스 중 적어도 한 프레임을 표시하는 단계;상기 원본 비디오 프레임들의 시퀀스에 관련하여 사용자 입력을 입력받는 단계;상기 원본 비디오 프레임들의 시퀀스 중의 상기 적어도 한 프레임 상에서 상기 사용자 입력에 의해 식별되는 일 구역에 상응하는 서브프레임을 상기 비디오 디스플레이 상에 표시하는 단계; 및상기 서브프레임에 상응하는 메타데이터를 생성하는 단계를 포함하며, 상기 메타데이터는 상기 서브프레임에 상응하여 타겟 비디오 재생기에 의해 상기 타겟 비디오 재생기기의 타겟 비디오 디스플레이 상에 전체 화면 표시를 할 수 있도록 상기 원본 비디오 프레임들의 시퀀스를 변형시키는 데에 사용되며, 상기 비디오 디스플레이는 상기 타겟 비디오 디스플레이보다 더 큰 화면 표시 영역을 가지는 것을 특징으로 하는 비디오 프로세싱 방법.
- 청구항 9에 있어서, 상기 원본 비디오 프레임들의 시퀀스 중의 상기 적어도 한 프레임 내의 상기 일 구역에 상응하는 서브프레임을 제2 비디오 디스플레이에 대해 생성하는 단계를 더 포함하는 비디오 프로세싱 방법.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/474,032 US20070268406A1 (en) | 2006-05-22 | 2006-06-23 | Video processing system that generates sub-frame metadata |
US11/474,032 | 2006-06-23 | ||
US11/491,019 | 2006-07-20 | ||
US11/491,019 US7893999B2 (en) | 2006-05-22 | 2006-07-20 | Simultaneous video and sub-frame metadata capture system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070122179A KR20070122179A (ko) | 2007-12-28 |
KR100836667B1 true KR100836667B1 (ko) | 2008-06-10 |
Family
ID=37882201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070061917A KR100836667B1 (ko) | 2006-06-23 | 2007-06-23 | 비디오와 서브프레임 메타데이터의 동시 캡쳐 시스템 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7893999B2 (ko) |
EP (1) | EP1871099A3 (ko) |
KR (1) | KR100836667B1 (ko) |
TW (1) | TWI477143B (ko) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3133809A3 (en) * | 2005-09-02 | 2017-03-01 | GVBB Holdings S.A.R.L | Automatic metadata extraction and metadata controlled production process |
US20080311997A1 (en) * | 2007-06-15 | 2008-12-18 | Microsoft Corporation | Data capture for interactive operation |
US8229159B2 (en) * | 2007-09-28 | 2012-07-24 | Dolby Laboratories Licensing Corporation | Multimedia coding and decoding with additional information capability |
JP5138048B2 (ja) * | 2007-12-19 | 2013-02-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 適応性動き推定 |
EP2338278B1 (en) | 2008-09-16 | 2015-02-25 | Intel Corporation | Method for presenting an interactive video/multimedia application using content-aware metadata |
TWI402821B (zh) * | 2008-12-12 | 2013-07-21 | Himax Tech Ltd | 潛意識導引觀看者注意力的方法 |
JP4715913B2 (ja) * | 2008-12-17 | 2011-07-06 | ソニー株式会社 | 撮像装置、画像処理装置、ズーム制御方法およびズーム制御プログラム |
CN101998137B (zh) * | 2009-08-21 | 2016-09-07 | 华为技术有限公司 | 视频质量参数获取方法和装置及电子设备 |
US8614737B2 (en) * | 2009-09-11 | 2013-12-24 | Disney Enterprises, Inc. | System and method for three-dimensional video capture workflow for dynamic rendering |
US8625973B2 (en) * | 2009-10-30 | 2014-01-07 | Verint Systems, Inc. | Method and apparatus for operating a video system |
US20110153768A1 (en) * | 2009-12-23 | 2011-06-23 | International Business Machines Corporation | E-meeting presentation relevance alerts |
US9426441B2 (en) | 2010-03-08 | 2016-08-23 | Dolby Laboratories Licensing Corporation | Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning |
US8705866B2 (en) | 2010-12-07 | 2014-04-22 | Sony Corporation | Region description and modeling for image subscene recognition |
US8587672B2 (en) | 2011-01-31 | 2013-11-19 | Home Box Office, Inc. | Real-time visible-talent tracking system |
WO2012145191A1 (en) * | 2011-04-15 | 2012-10-26 | Dolby Laboratories Licensing Corporation | Systems and methods for rendering 3d images independent of display size and viewing distance |
EP3044965A4 (en) * | 2013-09-13 | 2017-03-01 | Voke Inc. | Video production sharing apparatus and method |
US9330171B1 (en) * | 2013-10-17 | 2016-05-03 | Google Inc. | Video annotation using deep network architectures |
RU2608873C2 (ru) * | 2014-02-14 | 2017-01-25 | Общество С Ограниченной Ответственностью "Яндекс" | Способ связывания метаданных цифрового контента с цифровым контентом (варианты), электронное устройство (варианты), машиночитаемый носитель (варианты) |
JP6519374B2 (ja) | 2015-07-22 | 2019-05-29 | 富士通株式会社 | 動画再生プログラム、装置、及び方法 |
TWI679884B (zh) * | 2017-03-31 | 2019-12-11 | 鴻海精密工業股份有限公司 | 視頻加密和解密的方法及裝置 |
CN111133763B (zh) | 2017-09-26 | 2022-05-10 | Lg 电子株式会社 | 360视频系统中的叠加处理方法及其设备 |
US11849243B2 (en) * | 2018-03-13 | 2023-12-19 | Sharp Nec Display Solutions, Ltd. | Video control apparatus and video control method |
WO2020071632A1 (ko) * | 2018-10-02 | 2020-04-09 | 엘지전자 주식회사 | 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치 |
EP3876593A4 (en) * | 2018-11-01 | 2022-01-05 | Sony Group Corporation | COMMUNICATION DEVICE AND COMMUNICATION METHOD |
US11601184B2 (en) * | 2018-12-05 | 2023-03-07 | Sony Group Corporation | Communication apparatus and communication method |
US11357087B2 (en) * | 2020-07-02 | 2022-06-07 | Solomon Systech (Shenzhen) Limited | Method for driving a passive matrix LED display |
CN114338954A (zh) * | 2021-12-28 | 2022-04-12 | 维沃移动通信有限公司 | 视频生成电路、方法和电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040071555A (ko) * | 2003-02-06 | 2004-08-12 | (주)피카소정보통신 | 다채널 영상데이타 처리장치 및 방법 |
KR20050055579A (ko) * | 2003-12-08 | 2005-06-13 | 한국전자통신연구원 | 비트스트림 지도를 이용한 영상 부호화 및 복호화 장치 및방법과, 그 기록매체 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08163522A (ja) * | 1994-11-30 | 1996-06-21 | Canon Inc | テレビ会議システムおよび端末装置 |
US5568200A (en) * | 1995-06-07 | 1996-10-22 | Hitachi America, Ltd. | Method and apparatus for improved video display of progressively refreshed coded video |
US6282362B1 (en) * | 1995-11-07 | 2001-08-28 | Trimble Navigation Limited | Geographical position/image digital recording and display system |
US6930709B1 (en) * | 1997-12-04 | 2005-08-16 | Pentax Of America, Inc. | Integrated internet/intranet camera |
FR2805651B1 (fr) | 2000-02-24 | 2002-09-13 | Eastman Kodak Co | Procede et dispositif pour presenter des images numeriques sur un ecran de faible definition |
US6931661B2 (en) * | 2000-10-19 | 2005-08-16 | Motorola, Inc. | Dynamic image provisioning |
GB2374777B (en) * | 2001-04-20 | 2005-11-02 | Discreet Logic Inc | Processing image data |
KR100440953B1 (ko) * | 2001-08-18 | 2004-07-21 | 삼성전자주식회사 | 영상 압축 비트 스트림의 트랜스코딩 방법 |
AU2002366985A1 (en) * | 2001-12-26 | 2003-07-30 | Yeda Research And Development Co.Ltd. | A system and method for increasing space or time resolution in video |
KR100726819B1 (ko) * | 2002-03-20 | 2007-06-12 | 마쓰시타 덴키 산교 가부시끼 가이샤 | 촬영 장치, 영상 변환 장치 및 영상 편집 장치 |
US20050253966A1 (en) | 2002-07-01 | 2005-11-17 | Koninklijke Philips Electronics N.V. | System for processing video signals |
US7733366B2 (en) * | 2002-07-01 | 2010-06-08 | Microsoft Corporation | Computer network-based, interactive, multimedia learning system and process |
US7362349B2 (en) * | 2002-07-10 | 2008-04-22 | Seiko Epson Corporation | Multi-participant conference system with controllable content delivery using a client monitor back-channel |
US7325033B2 (en) * | 2002-07-18 | 2008-01-29 | Clearcube Technology, Inc. | Video conferencing system using video manager to provide picture-in-picture image to display devices located remotely from co-located computing systems |
JP2004120404A (ja) | 2002-09-26 | 2004-04-15 | Fuji Photo Film Co Ltd | 画像配信装置および画像処理装置並びにプログラム |
GB0230328D0 (en) | 2002-12-31 | 2003-02-05 | British Telecomm | Video streaming |
US7428000B2 (en) * | 2003-06-26 | 2008-09-23 | Microsoft Corp. | System and method for distributed meetings |
US8081205B2 (en) * | 2003-10-08 | 2011-12-20 | Cisco Technology, Inc. | Dynamically switched and static multiple video streams for a multimedia conference |
JP2006039919A (ja) * | 2004-07-27 | 2006-02-09 | Pioneer Electronic Corp | 画像共有表示システム、画像共有機能付端末、及びコンピュータプログラム |
JP2006129152A (ja) * | 2004-10-29 | 2006-05-18 | Konica Minolta Holdings Inc | 撮像装置および画像配信システム |
JP2006163877A (ja) * | 2004-12-08 | 2006-06-22 | Seiko Epson Corp | メタデータ生成装置 |
-
2006
- 2006-07-20 US US11/491,019 patent/US7893999B2/en not_active Expired - Fee Related
-
2007
- 2007-01-26 EP EP07001735A patent/EP1871099A3/en not_active Withdrawn
- 2007-06-22 TW TW096122599A patent/TWI477143B/zh not_active IP Right Cessation
- 2007-06-23 KR KR1020070061917A patent/KR100836667B1/ko not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040071555A (ko) * | 2003-02-06 | 2004-08-12 | (주)피카소정보통신 | 다채널 영상데이타 처리장치 및 방법 |
KR20050055579A (ko) * | 2003-12-08 | 2005-06-13 | 한국전자통신연구원 | 비트스트림 지도를 이용한 영상 부호화 및 복호화 장치 및방법과, 그 기록매체 |
Also Published As
Publication number | Publication date |
---|---|
TW200820755A (en) | 2008-05-01 |
EP1871099A3 (en) | 2010-06-02 |
TWI477143B (zh) | 2015-03-11 |
US20080018784A1 (en) | 2008-01-24 |
US7893999B2 (en) | 2011-02-22 |
EP1871099A2 (en) | 2007-12-26 |
KR20070122179A (ko) | 2007-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100836667B1 (ko) | 비디오와 서브프레임 메타데이터의 동시 캡쳐 시스템 | |
KR100915367B1 (ko) | 서브-프레임 메타데이터를 생성하는 영상 처리 시스템 | |
TWI400939B (zh) | 一種視頻播放器電路及視頻顯示方法 | |
KR100906957B1 (ko) | 서브-프레임 메타데이터를 이용한 적응 비디오 프로세싱 | |
KR100912599B1 (ko) | 풀 프레임 비디오 및 서브-프레임 메타데이터를 저장하는이동가능한 미디어의 프로세싱 | |
KR100909440B1 (ko) | 서브-프레임 메타데이터 분배 서버 | |
CN1939054B (zh) | 用于在pvr窍门模式回放期间提供可见消息的系统 | |
US20180077385A1 (en) | Data, multimedia & video transmission updating system | |
JP2003532316A (ja) | 独立コード化領域を特徴とする画像シーケンス圧縮 | |
JP4802524B2 (ja) | 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法 | |
CN101106704A (zh) | 视频摄像机、视频处理系统及其方法 | |
CN100587793C (zh) | 视频处理方法、电路和系统 | |
TWI826400B (zh) | 資訊處理裝置、資訊處理方法、記錄媒體、再生裝置、再生方法、及程式 | |
JP2005229553A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |