KR101447190B1 - 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법 - Google Patents

초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법 Download PDF

Info

Publication number
KR101447190B1
KR101447190B1 KR1020130057801A KR20130057801A KR101447190B1 KR 101447190 B1 KR101447190 B1 KR 101447190B1 KR 1020130057801 A KR1020130057801 A KR 1020130057801A KR 20130057801 A KR20130057801 A KR 20130057801A KR 101447190 B1 KR101447190 B1 KR 101447190B1
Authority
KR
South Korea
Prior art keywords
uhd
file
data
input
mxf
Prior art date
Application number
KR1020130057801A
Other languages
English (en)
Inventor
최병호
김제우
신화선
조충상
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020130057801A priority Critical patent/KR101447190B1/ko
Application granted granted Critical
Publication of KR101447190B1 publication Critical patent/KR101447190B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법에 관한 것으로, 더욱 상세하게는 초고화질의 영상 신호를 외부장치로부터 입력받아 실시간 처리하며, 처리한 초고화질의 영상 신호를 출력할 수 있는 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법에 관한 것이다.
이를 위해 본 발명의 UHD 데이터를 실시간으로 재생하는 방법은 수신된 UHD 파일의 MXF(Material eXchange Format) 헤더와 파일의 끝임을 표시하는 MXF 풋터(Footer)을 분석하여 외부 에센스의 위치를 파악하는 단계, 파악한 상기 외부 에센스 위치로 하드웨어 장치 드라이버를 전달하는 단계, 상기 하드웨어 장치 드라이버가 파악한 상기 외부 에센스 위치에서 UHD 파일을 독출하여 DMA 메모리로 통해 캡쳐 보드 하드웨어로 전달하는 단계, 상기 캡쳐 보드 하드웨어에서 상기 UHD 파일을 재생하는 단계를 포함한다.

Description

초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법{Input-output System for eding and playing of UHD image contents}
본 발명은 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법에 관한 것으로, 더욱 상세하게는 초고화질의 영상 신호를 외부장치로부터 입력받아 실시간 처리하며, 처리한 초고화질의 영상 신호를 출력할 수 있는 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법에 관한 것이다.
영상기술이 아날로그에서 디지털 방식으로 변화하면서 더 실제화면과 가까운 영상을 제공하기 위해 SD에서 HD로 발전해왔다. SD는 704×480의 해상도를 지원하고 35만 픽셀 정도로 구성되며, HD 중 Full-HD는 1920×1080의 해상도를 지원하며 200만 픽셀로 구성되어 SD에 비해 상당한 고화질이 영상을 제공한다.
현재 상용 서비스 중인 HDTV 이후에 예측 가능한 가장 실현성이 높이 차세대 미디어 환경의 핵심은 초고화질 및 초고해상도 영상 서비스이다. 미국을 비롯한 세계 영화 산업계는 디지털 시네마라는 새로운 디지털 영화를 2006년부터 본격적으로 제작 및 상영하고 있다. 초기에는 HDTV(1920x1080) 와 동일한 해상도인 2K (2048x1080) 크기의 디지털시네마가 주류였지만, 2009년 이후는 4K (4096x2160) 해상도 및 최대 16채널 오디오가 주류가 될 것이 확실시 되고 있다.
한편 디지털 방송 분야에서 차세대 방송으로 UHD TV(Ultra HDTV)가 유력시 되고 있고, UHD 콘텐츠는 4K(3840x2160)/8K(7680x4320) 해상도와 22.2 채널의 서라운드 오디오를 갖고 있다.
2008년에 일본 정부는 2015년에 UHDTV를 차세대 디지털 방송 표준으로 정하겠다는 계획을 발표하였다. 따라서 차세대 디지털 방송을 비롯한 미디어 환경을 미리 준비하기 위해서는 UHD 콘텐츠의 캡쳐, 저장, 편집, 및 재생 기술이 필수적이라고 볼 수 있다.
본 발명이 해결하려는 과제는 컨텐츠 입출력 장치의 부하를 감소시키는 방안을 제안함에 있다.
본 발명이 해결하려는 다른 과제는 다양한 해상도를 갖는 데이터를 UHD 데이터로 변환하는 방안을 제안함에 있다.
본 발명이 해결하려는 또 다른 과제는 수신한 데이터를 별도의 편집 장치에서 처리함으로써 데이터 변환 속도를 향상시킬 수 있는 방안을 제안함에 있다.
이를 위해 본 발명 UHD 데이터를 실시간 캡쳐하는 방법은 MXF 헤더를 생성하는 단계, MXF 로케이터(locater)를 이용하여 캡쳐로 저장될 외부 에센스 파일의 경로를 획득하는 단계, UHD 비디오 데이터와 UHD 오디오 데이터를 별도의 파일로 저장하는 단계를 포함한다.
이를 위해 본 발명의 UHD 데이터를 실시간으로 재생하는 방법은 수신된 UHD 파일의 MXF(Material eXchange Format) 헤더와 파일의 끝임을 표시하는 MXF 풋터(Footer)을 분석하여 외부 에센스의 위치를 파악하는 단계, 파악한 상기 외부 에센스 위치로 하드웨어 장치 드라이버를 전달하는 단계, 상기 하드웨어 장치 드라이버가 파악한 상기 외부 에센스 위치에서 UHD 파일을 독출하여 DMA 메모리로 통해 캡쳐 보드 하드웨어로 전달하는 단계, 상기 캡쳐 보드 하드웨어에서 상기 UHD 파일을 재생하는 단계를 포함한다.
본 발명에 따른 UHD 변환 시스템은 다양한 해상도를 갖는 데이터를 UHD 데이터로 변환하여 UHD 재생 장치로 제공한다. 또한, 본 발명은 별도의 편집 장치에서 데이터를 처리하거나, 수신된 데이터를 압축/부호화함으로써 컨텐츠 입출력 장치의 부하를 감소시킬 수 있다.
도 1은 본 발명의 일실시 예에 따른 초고화질 영상을 위한 입출력 시스템을 도시하고 있다.
도 2는 본 발명의 일실시 예에 따른 컨텐츠 입출력 장치의 구성을 도시하고 있다.
도 3은 본 발명의 일실시 예에 따른 편집 장치의 구성을 도시하고 있다.
도 4는 MXF Locator 계층적 위치를 도시하고 있다.
도 5는 본 발명의 일실시 예에 따른 외부 에센스를 사용할 때 Locator를 비롯하여 BodySID의 시나리오를 도시하고 있다.
도 6은 본 발명의 일실시 예에 따른 BodySID, IndexSID, Linked Package ID, Source Package ID, Source Track ID, UMID, Track ID, Track Number, 그리고 Linked Track ID 등의 관계로 논리적 성분과 물리적 성분으로 모두 구분하여 도시하고 있다.
도 7은 UHD 압축 데이터(Bit)의 캡처 구조를 보여주고 있다.
도 8은 UHD 비압축 데이터(Raw)의 캡처 구조를 보여주고 있다.
도 9는 UHD 압축 데이터(Bit)의 재생 구조를 보여주고 있다.
도 10은 UHD 비압축 데이터(Raw)의 재생 구조를 보여주고 있다.
도 11은 4K 영상을 두 개 포함하는 8Kx2K 영상용 UHD 파일을 보여주고 있다.
도 12는 본 발명의 일실시 예에 따른 컨텐츠 입출력 장치와 편집 장치의 구성을 상세하게 도시한 도면이다.
도 13은 본 발명의 일실시 예에 따른 초고화질 영상을 위한 입출력 시스템의 사양을 도시하고 있다.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 일실시 예에 따른 초고화질 영상을 위한 입출력 시스템을 도시하고 있다. 이하 도 1을 이용하여 본 발명의 일실시 예에 따른 초고화질 영상을 위한 입출력 시스템에 대해 상세하게 알아보기로 한다.
도 1에 의하면, 초고화질 영상을 위한 입출력 시스템은 컨텐츠 제공 장치, 컨텐츠 입출력 장치(컨텐츠 입출력부), 편집 장치, 컨텐츠 재생 장치를 포함한다. 물론 상술한 구성 이외에 다른 구성이 상술한 시스템에 포함될 수 있음은 자명한다.
컨텐츠 제공 장치(100)는 다채널 오디오 입력 장치, HD/UHD 비디오 카메라, HD-VTR 등을 포함하며, 오디오 신호 또는 비디오 신호를 포함하는 컨텐츠를 컨텐츠 입출력 장치(110)로 전달한다.
컨텐츠 재생 장치(130)는 영상기, UHDTV, 모디터, 다채널 오디오 재생 장치를 포함하며, 컨텐츠 입출력 장치로부터 제공받은 오디오 신호 또는 비디오 신호를 재생한다.
컨텐츠 입출력 장치(110)는 컨텐츠 제공 장치(100)로부터 오디오 신호 또는 비디오 신호를 입력받으며, 필요한 경우 가공한 오디오 신호 또는 비디오 신호를 컨텐츠 재생 장치(130)로 제공한다. 컨텐츠 입출력 장치(110)는 컨텐츠 제공 장치(100)로부터 제공받은 오디오 또는 비디오 신호를 필요한 경우 편집 장치(120)로 제공한다.
편집 장치(120)는 컨텐츠 입출력 장치(110)로부터 제공받은 오디오 또는 비디오 신호를 설정된 방식에 따라 편집한 후 컨텐츠 입출력 장치(110)로 제공한다. 편집 장치(120)는 컨텐츠 입출력 장치(110)로부터 제공받은 오디오 또는 비디오 신호를 일시 저장하거나 편집한 오디오 또는 비디오 신호를 일시 저장하기 위한 저장장치를 포함한다. 편집 장치에서 수행되는 동작은 초당 프레임(fps), 해상도, 오디오 채널 수를 가변적으로 조정한다. 이하에서는 컨텐츠 입출력 장치의 구성 및 동작에 대해 상세하게 알아보기로 한다.
도 2는 본 발명의 일실시 예에 따른 컨텐츠 입출력 장치의 구성을 도시하고 있다. 이하 도 2를 이용하여 본 발명의 일실시 예에 컨텐츠 입출력 장치의 구성에 대해 상세하게 알아보기로 한다.
도 2에 의하면, 컨텐츠 입출력 장치는 디지털 입출력부, 부복호화부, MCU 제어부, 제어 SW부, PCIe 프로세스부, A/V 프로세스부를 포함한다. 물론 상술한 구성 이외에 다른 구성이 컨텐츠 입출력 장치에 포함될 수 있음은 자명하다.
디지털 입출력부(250)는 SDI 입출력, Optic 입출력, HDMI 입출력 인터페이스가 가능하며, 각 입출력은 모듈방식으로 향후 외부 인터페이스이 변화에 따른 적용이 용이하도록 구성한다. Optic 비디오 인터페이스 모듈은 내부에 전기 신호를 광 신호로 광 신호를 전기 신호로 변환하는 구성을 포함하고 있다. SDI 입출력 모듈은 영상과 더불어 오디오도 최대 24개 채널을 사용할 수 있어야 하기 때문에 IC 한 개당 8개의 오디오를 처리할 수 있도록 한다. HDMI 입출력 모듈은 무압축, 무손실을 기반으로 한 영상 및 음성 공용 인터페이스이다.
A/V 프로세스부(240)는 병렬 분산 녹화 및 재생을 담당하며, A/V 프로세스부(240)는 다채널로 입력되는 오디오 및 비디오 데이터를 다중화/역다중화하며, 입력되는 오디오 및 비디오 데이터의 동기화를 위해서 임시로 저장한다. A/V 프로세스부(240)에서 최종적으로 동기화 및 통합된 데이터는 A/V 제어 신호에 따라 PCIe 프로세스부(230)로 송수신된다.
대용량 고속 데이터를 전송하고, 저장하기 위한 PCIe 프로세스부(230)는 통합된 비디오 및 오디오 데이터가 입력되면, 이 데이터를 PCIe 변환층(Transaction Layer) 포맷으로 변경하여 PCIe Lane(PCIe 통로)를 통해서 PC로 전송하고, 출력할 때는 위의 입력 스퀀스에 역 루틴을 수행한 후 A/V 프로세스부(240)에 비디오 및 오디오 데이터를 전송한다.
제어 SW부(220)는 컨텐츠 입출력 장치 전반을 제어하며, 다수의 블록으로 구성된다. 등록 제어 블록(Register control 블록)은 내부 등록(Internal Register), PCIe 등록(PCIe Register), MCU 레지스터를 제어를 할 수 있으며 여러 개의 보드를 장착할 경우 해당되는 보드를 선택하여 장착하거나, 필요한 경우 다수의 UHD보드를 장착할 수 있다. 또한 DMA 제어 블럭은 PCI 익스프레스(Express) DMA 메모리 사이즈를 설정하는 블록으로 PC 시스템에 따라 PCI 익스프레스에 할당되는 메모리 사이즈가 틀리기 때문에 PC 및 OS에 따라 가변적으로 구성한다. 캡쳐(Capture) 블록은 캡쳐 시에 소프트웨어 및 하드웨어 셋팅을 제어하는 부분으로서 비디오 입력소스를 선택하고 파일이 저장될 위치를 정하고 시작 버튼을 누르면 파일 저장 과정이 이루어지고, ViDmaCnt, FileSaveCnt 정보를 모니터링 하게 되어 있다. 디스플레이 파일 제어(Display file control)블록은 재생 시에 소프트웨어 및 하드웨어 셋팅을 제어하는 부분으로서 파일 소스를 선택하고 불러올 파일을 선택하고 시작 버튼을 누르면 재생 과정이 이루어진다.
MCU 제어부(210)는 주변 IC 및 FPGA의 초기 레지스터를 설정하며 제어한다.
부복화부(200)는 디지털 입출력부로부터 제공받은 디지털 신호를 부호화하거나 필요한 복호화한다.
도 3은 본 발명의 일실시 예에 따른 편집 장치의 구성을 도시하고 있다. 이하 도 3을 이용하여 본 발명의 일실시 예에 따른 편집 장치의 구성에 대해 상세하게 알아보기로 한다.
도 3에 의하면, 편집 장치는 상용 편집 SW 기반 프레임워크, 영상 변환부, 비디오 코덱, 오디오 코덱, 파일 포맷부를 포함한다. 물론 상술한 구성 이외에 다른 구성이 편집 장치에 포함될 수 있음은 자명하다.
상용 편집 SW 기반 프레임워크(300)은 영상 변환부(310), 비디오 코덱(320), 오디오 코덱(330), 파일 포맷부(340)의 상위단에 위치하며, 해당 구성의 동작을 제어한다.
영상 변환부(310)는 캡쳐부에 의해 캡쳐된 영상을 설정된 방식에 따라 변환한다. 즉, 영상 변환부(310)는 캡쳐된 영상을 UHD 영상으로 변환한다. 비디오 코덱(320)은 캡쳐부에 의해 캡쳐된 비디오를 압축 처리하며, 오디오 코텍(330)은 캡쳐부에 의해 캡쳐된 오디오를 압축 처리한다.
MXF (Material eXchange Format; 콘텐츠 교환 포맷)는 방송용 데이터(영상, 오디오 및 메타데이터 등)을 서로 다른 방송장비 간에 주고 받을 수 있도록 고안된 표준으로, 방송 및 영상관련 표준을 제정하는 SMPTE (Society of Motion Pictures and Television Engineers) 377M에서 표준화된 파일 저장 포맷 표준이다. Pro-MPEG 포럼 (http://www.pro-mpeg.org) 등을 중심으로 1999년부터 본격 논의된 표준으로, AAF (Advanced Authoring Format) 파일 포맷의 데이터 모델에서 파생된 것이다. 실제로 소니의 XDCAM, 파나소닉의 P2 등 디지털 저장 방식 (tapeless)의 카메라들이 영상을 MXF 파일로 저장하고 있으며, Avid, Apple, Adobe, Pinnacle 같은 상용 비선형 편집 제품들도 대부분 MXF를 지원한다. 파일 포맷부(340)는 상술한 바와 같이 표준에서 요청하는 방식으로 파일 포맷을 변경한다.
UHD 콘텐츠의 경우 미디어 용량이 크기 때문에 효율적인 데이터 운용에 따른 설계가 필요하다. 특히 실시간 캡쳐 시 캡쳐 보드 하드웨어(H/W)에서 전달된 데이터를 파일에 저장할 때, 하드웨어 디바이스 드라이버에서 직접 제어하지 않으면 I/O 지연이 발생하여 실시간 캡처를 수행할 수 없게 된다. 따라서 실시간 캡처 데이터를 편집 S/W 애플리케이션에서 메모리로 전달받아 파일로 전달하는 과정의 시나리오는 UHD 콘텐츠 데이터 처리에 적합하지 않다. 이를 위해 H/W 디바이스 드라이버에서 직접 캡처 보드 H/W에서 DMA로 전달하는 데이터를 수신하여 I/O 지연을 최소화하는 형태의 파일 저장을 수행해야 한다. 또한 H/W 캡처 보드로 실시간 재생을 하는 경우도 고속으로 데이터를 전달해야 하기 때문에 H/W 디바이스 드라이버에서 직접 파일을 열고 I/O 지연을 최소화하는 형태로 파일을 읽고 그 데이터를 DMA 메모리로 전달하는 과정을 수행해야 한다. 상술한 내용을 바탕으로 분석한 결과, 본 발명은 UHD 콘텐츠에 대해 외부 에센스 파일을 사용하는 방안을 제안한다. 아울러 4K 영상을 지원하는 H/W 캡처 보드를 이용하여 8K 영상을 캡처하는 경우에도 서로 다른 장치 간 파일을 섞을 수 없는 상황이기 때문에 이 둘을 함께 관리하기 위하여 외부 에센스를 도입하는 것이 바람직하다. 외부 에센스는 MXF 규격이 지원하는 로케이터(Locator) 방식을 사용한다. 이하에서는 외부 에센스와 로케이터에 대해 알아보기로 한다.
외부 에센스는 MXF 로케이터를 사용하여 에센스의 외부 위치를 지정한다. MXF 로케이터는 도 4에 도시되어 있는 바와 같이 네트워크 로케이터와 텍스트 로케이터가 존재하며, 네트워크 로케이터는 URLString 속성을 이용하여 주로 파일의 경로를 지칭하며, 텍스트 로케이터는 LocatorName 속성을 이용하여 사람이 인지할 수 있는 설명을 기재한다. 이렇게 준비된 로케이터는 Generic Descriptor의 Locators 항목에 레퍼런스 형태로 연결된다.
도 5는 본 발명의 일실시 예에 따른 외부 에센스를 사용할 때 로케이터를 비롯하여 BodySID의 시나리오를 도시하고 있다.
UHD 파일을 분석하는 시스템은 Essence Container Data의 BodySID 값이 0인 것을 발견하고 해당 UHD 파일이 외부 에센스임을 인지하게 된다. 따라서 UMID(Linked Package ID 속성)가 지칭하는 파일 패키지(File Package)의 메타데이터 내의 에센스 디스크립터를 검사한다. 정상적인 상황이라면 에센스 디스크립터 내 Locators 속성에 연결된 로케이터 항목을 발견할 수 있을 것이다. 네트워크 로케이터의 URLString을 이용하여 해당 에센스로 위치하여 파일을 로딩하려고 시도할 수 있으며, 텍스트 로케이터의 LocatorName을 이용하여 사용자에게 해당 에센스가 외부 에센스임을 알리고 그 위치에 대한 정보를 화면에 표시할 수 있다. 따라서 BodySID는 외부 에센스와 내부 에센스를 구분하는 중요한 정보이므로, UHD 파일을 생성할 때 명확히 기록되어야 하는 중요한 ID 성분이다.
도 6은 본 발명의 일실시 예에 따른 BodySID, IndexSID, Linked Package ID, Source Package ID, Source Track ID, UMID, Track ID, Track Number, 그리고 Linked Track ID 등의 관계로 논리적 성분과 물리적 성분으로 모두 구분하여 도시하고 있다.
Material Package는 Source Clip의 Source Package ID와 Source Track ID를 이용하여 Material Package가 포함하는 Source Package(File Package)를 인지할 수 있다. 다시 Source Package 내 Source Package ID와 Source Track ID가 0이 아니라면 다른 Source Package를 검사하는 식으로 반복된다. 이 값들이 모두 0이라면 현재 Source Package가 지칭하는 물리적 내용이 전부임을 의미한다. 물리적인 내용은 Track Number를 통해 KLV의 Key에 해당되는 정보와 매칭하게 된다. 하지만 해당 Partition을 지정하는 것은 Essence Container Data의 BodySID 또는 IndexSID이다. 따라서 BodySID가 0인 경우 물리적 성분을 지정할 수 없으므로, 외부 에센스임을 의미하게 되고, 에센스 디스크립터 내 Locators 항목을 검사하게 되는 것이다.
UHD 데이터의 실시간 캡처 시 UHD 파일의 생성 과정은 실시간 캡처가 수행되기 전에 MXF 헤더(header)를 생성한 후, 캡처가 완료된 후 저장된 파일 내용을 분석하여 MXF footer를 생성하여 정보를 기록하고 UHD 파일을 완성시킨다.
도 7은 UHD 압축 데이터(Bit)의 캡처 구조를 보여주고 있다. UHD 파일을 MXF Locator를 이용하여 캡처로 저장될 외부 에센스 파일의 경로를 보관하고, H/W 장치 드라이버는 UHD 비디오와 오디오 데이터를 각각 별도의 파일로 보관한다. 압축된 UHD 콘텐츠의 경우 프레임 별 크기가 가변적이므로 헤더가 없다면 시스템 단에서 원하는 프레임을 구분할 수 없다. 이를 위해 압축된 UHD 콘텐츠는 프레임마다 MXF Generic Container의 규칙에 따라 KLV(Key-Length-Value) 형태로 가공되어 있다. 단, KLV 포맷으로 가공하는 것은 파일을 저장하는 순간에 수행하는 것이 아니라 H/W 캡처 보드에서 UHD 콘텐츠를 압축하여 내보낼 때 가공 처리해야 한다. 저장하는 순간에 시스템 부하를 준다면 초고속으로 수행되는 UHD 콘텐츠는 실시간으로 캡처될 수 없기 때문이다.
도 8은 UHD 비압축 데이터(Raw)의 캡처 구조를 보여주고 있다. UHD 파일을 MXF Locator를 이용하여 캡처로 저장될 외부 에센스 파일의 경로를 보관하고, H/W 장치 드라이버는 UHD 비디오와 오디오 데이터를 각각 별도의 파일로 보관한다. 비압축된 UHD 콘텐츠의 경우 프레임 별 크기가 고정되어 있으므로 별도의 헤더가 없어도 시스템 단에서 원하는 프레임을 구분할 수 있다. 따라서 압축된 데이터 캡처와 달리 KLV 포맷으로 가공되어 있지 않고 그대로 저장한다. UHD 콘텐츠 데이터의 프레임을 구분하기 위한 UHD 콘텐츠의 포맷 정보는 MXF 헤더 메타데이터에 디스크립터 형식으로 보관된다.
UHD 데이터의 실시간 재생 시 먼저 UHD 파일의 MXF 헤더(XML 파일의 시작 표시)와 풋터(footer)(XML 파일의 끝 표시)를 분석하여 외부 에센스를 위치를 파악한다. 그리고 그 위치 정보를 H/W 장치 드라이버에 전달하여 실시간 재생 준비를 수행한다. H/W 장치 드라이버는 캡처 상황과 동일한 형태의 파일이므로 해당 파일의 데이터를 읽어낼 수 있는 능력이 있어야 한다. 추가적으로 특정 위치부터 재생이 가능하도록 시작 위치(Start Position)를 지정할 수 있고, H/W 장치 드라이버는 해당 위치부터UHD 콘텐츠 데이터를 읽은 후 DMA 메모리를 통해 캡처 보드 H/W에 전달한다.
도 9는 UHD 압축 데이터(Bit)의 재생 구조를 보여주고 있다. 압축된 UHD 콘텐츠는 KLV 포맷으로 구성되어 있으나 이러한 포맷은 캡처 보드 H/W 장치가 인지하고 있는 형태이므로, H/W 장치 드라이버는 KLV 포맷을 파싱할 필요 없이 파일을 읽어 DMA 메모리로 전달하면 된다. 만약 KLV 포맷을 파싱해야 한다면 이는 시스템 부하를 야기하여 UHD 콘텐츠의 실시간 재생을 방해할 수 있기 때문이다.
도 10은 UHD 비압축 데이터(Raw)의 재생 구조를 보여주고 있다. 비압축된 UHD 콘텐츠는 프레임별 고정된 크기로 구성되어 있으며, H/W 장치 드라이버가 파일로부터 직접 UHD 콘텐츠 데이터를 순차적으로 읽어 캡처 보드 H/W로 전달한다. UHD 비압축 데이터 재생 시 시작 위치를 지정하기 위해, 실시간 재생을 수행하기 전에 UHD 파일에 보관된 UHD 콘텐츠의 정보를 바탕으로 정확한 지점을 찾아서 H/W 장치 드라이버에 전달해야 한다.
UHD 파일 포맷은 4K 개별 영상이 동작해야 할 뿐만 아니라 4K 영상의 2개 결합되어 8K 영상이 동기에 맞춰 동작될 수 있도록 설계되어야 한다. 이에 따라 4K 개별 영상은 개별 UHD 파일 포맷으로 보관되고, 8K 영상은 2개의 4K 개별 영상을 함께 포괄할 수 있는 UHD 파일 포맷 설계가 필요하다. 이를 위해 MXF 규격의 로케이터 기능을 사용하여 4K 영상뿐만 아니라 8K 영상까지 확장 가능한(Scalable) UHD 파일을 생성하는 방식이 필요하다.
도 11은 4K 영상을 두 개 포함하는 8Kx2K 영상용 UHD 파일을 보여주고 있다. UHD 파일은 실제로 영상 데이터를 포함하고 있지 않은 대신, 8K 영상을 조합할 수 있도록 4K 개별 영상에 대한 레퍼런스(reference)를 MXF 로케이터 형태로 포함하고 있는 형태다. 이러한 방식은 8K x 2K 뿐만 아니라 8K x 4K 해상도의 영상에도 똑같이 확장할 수 있다는 장점이 있다. 외부 에센스 파일의 형태는 4K 영상의 구조와 동일하다.
도 12는 본 발명의 일실시 예에 따른 컨텐츠 입출력 장치와 편집 장치의 구성을 상세하게 도시한 다른 도면이다. 이하 도 12를 이용하여 본 발명의 일실시 예에 따른 컨텐츠 입출력 장치와 편집 장치의 구성에 대해 상세하게 알아보기로 한다.
도 12에 의하면 컨텐츠 입출력 장치와 편집 장치는 광 입력 인터페이스 모듈, 입력 인터페이스 모듈, 파서, 전처리 모듈, 오디오/UHD 압축 모듈, 패킷 타이저, 역패킷 타이저, 오디오/UHD 재생 모듈, 후처리 모듈, 포맷터, 광 출력 인터페이스 모듈, 출력 인터페이스 모듈, UHD F/F 모듈, 저장 미디어 컨트롤러, 메인 제어부, 저장 매체를 포함한다. 물론 상술한 구성 이외에 다른 구성이 컨텐츠 입출력 장치와 편집 장치에 포함될 수 있다.
광 입력 인터페이스 모듈(400)은 외부 장치로부터 UHD 데이터를 수신한다. 입력 인터페이스 모듈(420)은 외부 장치로부터 HD, HDMI 데이터를 수신한다. 파서(402)는 광 입력 인터페이스 모듈(400) 또는 인터페이스 모듈(420)로부터 수신된 테이터를 편집한다.
전처리 모듈(404)은 파서(402)로부터 편집한 데이터에 대해 전처리를 수행한다. 본 발명과 관련하여 전처리는 수신된 데이터에 대한 부호화 과정이 포함될 수 있다.
오디오/UHD 압축 모듈(406)은 전처리 모듈(404)에서 전처리를 수행한 데이터를 압축한다. 압축된 데이터는 패킷타이저(408)로 제공된다. 패킷타이저(408)는 압축된 데이터를 패킷화한다.
패킷화된 데이터는 UHD F/F 모듈(422)로 제공된다. UHD F/F 모듈(422)은 패킷타이저(408)로부터 수신한 데이터를 UHD 데이터로 변환한 후 역패킷 타이저(410)로 전달한다.
역패킷 타이저(410)는 수신한 UHD 패킷 데이터를 일반적인 데이터로 변환한다. 오디오/UHD 재생 모듈(412)은 수신한 데이터의 압축을 해제하고, 후처리 모듈(414)은 수신한 데이터에 대한 복호화 과정을 수행한다.
포맷터(416)는 복호화 과정을 수행한 데이터를 설정된 포맷으로 변환한 후 광 출력 인터페이스 모듈(418) 또는 출력 인터페이스 모듈(426)을 통해 외부 재생 장치로 제공한다.
저장 미디어 콘트롤러(424)는 UHD F/F 모듈(422)에서 처리한 데이터를 제어한다. 즉, 저장 미디어 콘트롤러(424)는 UHD F/F 모듈(422)에서 처리한 데이터를 저장 매체에 저장하도록 제어한다. 메인 제어부(428)는 편집 장치의 전반적인 동작을 제어한다. 저장매체(430)는 저장 미디어 콘트롤러의 명령에 따라 UHD F/F 모듈(422)에서 처리한 데이터를 임시 저장한다.
도 13은 본 발명의 일실시 예에 따른 초고화질 영상을 위한 입출력 시스템의 사양을 도시하고 있다. 도 13에 도시되어 있는 바와 같이 초고화질 영상을 위한 입출력 시스템의 사양은 비디오 입출력, 지원 포맷, PC 인터페이스, 저장, 통신/UI, PC 사양 등으로 구분된다.
비디오 입출력은 입력, 출력, 해상도, 오디오 항목으로 구성되며, 지원 포맷은 영상, 오디오 항목으로 구분되며, PC 인터페이스는 입출력, 입출력 속도 항목으로 구분된다. 저장은 저장매체/용량, 저장속도 항목으로 구분되며, 통신/UI는 통신, UI 항목으로 구분된다. 또한 도 13은 각 항목에 따른 사양을 상세하게 기술하고 있다. 물론 도 5에 도시되어 있는 사양은 일실시 예일 뿐이며, 도시되어 있는 사양 이외에 다른 사양으로 대체가 가능하다.
본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
100: 컨텐츠 제공 장치 110: 컨텐츠 입출력 장치(컨텐츠 입출력부)
120: 편집 장치 130: 컨텐츠 재생 장치

Claims (6)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. UHD 데이터를 실시간으로 재생하는 방법에 있어서,
    수신된 UHD 파일의 MXF(Material eXchange Format) 헤더와 파일의 끝임을 표시하는 MXF 풋터(Footer)을 분석하여 외부 에센스의 위치를 파악하는 단계;
    파악한 상기 외부 에센스 위치로 하드웨어 장치 드라이버를 전달하는 단계;
    상기 하드웨어 장치 드라이버가 파악한 상기 외부 에센스 위치에서 UHD 파일을 독출하여 DMA 메모리로 통해 캡쳐 보드 하드웨어로 전달하는 단계;
    상기 캡쳐 보드 하드웨어에서 상기 UHD 파일을 재생하는 단계를 포함함을 특징으로 하는 실시간 재생 방법.
  6. 제 5항에 있어서, 상기 UHD 데이터가 비압축 데이터이면,
    상기 외부 에센스의 위치와 더불어 재생 시점을 검출하여 상기 하드웨어 장치 드라이버를 전달함을 특징으로 하는 실시간 재생 방법.
KR1020130057801A 2013-05-22 2013-05-22 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법 KR101447190B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130057801A KR101447190B1 (ko) 2013-05-22 2013-05-22 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130057801A KR101447190B1 (ko) 2013-05-22 2013-05-22 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법

Publications (1)

Publication Number Publication Date
KR101447190B1 true KR101447190B1 (ko) 2014-10-06

Family

ID=51996521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130057801A KR101447190B1 (ko) 2013-05-22 2013-05-22 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법

Country Status (1)

Country Link
KR (1) KR101447190B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100071547A (ko) * 2008-12-19 2010-06-29 한국전자통신연구원 초고선명 ｄｖｄ 기록 장치와 재생 장치 및 그 제어 방법
KR20130041500A (ko) * 2011-10-17 2013-04-25 에이스텔 주식회사 셋톱박스에서 서브 단말기로 초고화질 영상을 제공하는 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100071547A (ko) * 2008-12-19 2010-06-29 한국전자통신연구원 초고선명 ｄｖｄ 기록 장치와 재생 장치 및 그 제어 방법
KR20130041500A (ko) * 2011-10-17 2013-04-25 에이스텔 주식회사 셋톱박스에서 서브 단말기로 초고화질 영상을 제공하는 시스템 및 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jim Wilkinson, Pro-MPEG-Forum (2004. 02.03. 공개) *
Jim Wilkinson, Pro-MPEG-Forum (2004. 02.03. 공개)*

Similar Documents

Publication Publication Date Title
US9514783B2 (en) Video editing with connected high-resolution video camera and video cloud server
CN103125123B (zh) 再现装置、再现方法、集成电路、广播系统及广播方法
US8922621B2 (en) Method of recording three-dimensional image data
JP4332365B2 (ja) メタデータ表示システム，映像信号記録再生装置，撮像装置，メタデータ表示方法
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
JP4332364B2 (ja) 映像記録システム，映像記録方法
US8676038B2 (en) Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program
US20150208078A1 (en) File generation apparatus, file generating method, file reproduction apparatus, and file reproducing method
US20100098161A1 (en) Video encoding apparatus and video encoding method
US9049362B2 (en) Photographing apparatus and method of providing photographed video
JP2016103830A (ja) ２ｄ映像メディア標準に基づいて３ｄ立体映像ファイルを生成及び再生するシステム及び方法
US20050025460A1 (en) Information-processing apparatus, information-processing method, program-recording medium, and program
US11206386B2 (en) Information processing apparatus and information processing method
JP6168453B2 (ja) 信号記録装置、カメラレコーダおよび信号処理装置
JP3632028B2 (ja) 多チャンネル動映像圧縮方法及び装置
US10104142B2 (en) Data processing device, data processing method, program, recording medium, and data processing system
US20230025664A1 (en) Data processing method and apparatus for immersive media, and computer-readable storage medium
KR101447190B1 (ko) 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법
JP2020048182A (ja) 異なる画質の画像ストリームが連続的に記録された統合画像ファイルを構成及び表示する方法及び装置
JP5808485B2 (ja) 移動端末の録画方法、関連装置及びシステム
US20130287361A1 (en) Methods for storage and access of video data while recording
JP2008288934A (ja) 動画撮影装置および動画再生装置
JP2008060622A (ja) 映像編集システム、映像処理装置、映像編集装置、映像処理方法、映像編集方法、プログラムおよびデータ構造
Kikuchi et al. Development of full-featured 8K recorder
WO2014033504A1 (en) Method and system for segmenting and separately package audio, video, subtitle and metadata

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190722

Year of fee payment: 6