KR102220742B1 - 기존의 hd 비디오 아키텍처를 통해 원시 고프레임률 비디오를 인코딩하기 위한 방법 - Google Patents

기존의 hd 비디오 아키텍처를 통해 원시 고프레임률 비디오를 인코딩하기 위한 방법 Download PDF

Info

Publication number
KR102220742B1
KR102220742B1 KR1020197038047A KR20197038047A KR102220742B1 KR 102220742 B1 KR102220742 B1 KR 102220742B1 KR 1020197038047 A KR1020197038047 A KR 1020197038047A KR 20197038047 A KR20197038047 A KR 20197038047A KR 102220742 B1 KR102220742 B1 KR 102220742B1
Authority
KR
South Korea
Prior art keywords
video
frame
standard
metadata
frames
Prior art date
Application number
KR1020197038047A
Other languages
English (en)
Other versions
KR20200010484A (ko
Inventor
타일러 엘. 후크
데이비드 엠. 짐머맨
앤서니 산타마리아
Original Assignee
레이던 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 레이던 컴퍼니 filed Critical 레이던 컴퍼니
Publication of KR20200010484A publication Critical patent/KR20200010484A/ko
Application granted granted Critical
Publication of KR102220742B1 publication Critical patent/KR102220742B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4342—Demultiplexing isochronously with video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4353—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving decryption of additional data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

고프레임률 이미지 센서로부터 고프레임률 비디오 데이터를 전송하기 위한 시스템은, 기존의 표준 비디오 아키텍처를 통한 전송을 위해 1920x1080p30 비디오 프레임으로 모자이크하고 확산시킨다. 패킹 정보, 확산 정보, 및 각 프레임에 대한 고유 ID/타임스탬프는, 메타데이터로 인코딩되고, 1080p30 비디오 프레임의 보조 메타데이터 공간에 삽입된다. 로버스트 인코딩 방식은 메타데이터를 생성하고, 멀티 채널을 통해 확산된 후에 전송된 비디오가 원본 고프레임률 형태로 재조립될 수 있도록 보장한다.

Description

기존의 HD 비디오 아키텍처를 통해 원시 고프레임률 비디오를 인코딩하기 위한 방법
본 발명은 이미지 프로세싱 아키텍처(image processing architectures)의 분야에 관한 것으로, 보다 구체적으로 고프레임률 비디오 프로세싱(high frame rate video processing)의 분야에 관한 것이다.
큰 이미지 포맷(large image format) 및 작은 픽셀 피치(small pixel pitch)를 갖는 고프레임률 이미지 센서들(High frame rate image sensors)은 복수의 새로운 제품들 및 애플리케이션들에서의 사용을 위해 일반적으로 이용 가능하게 되고 있다. 그러나, 종래의 비디오 아키텍처는 일반적으로 일부 고프레임률 이미지 센서(high framerate image sensors)의 대역폭 및 타이밍 요건(timing requirements)을 지원하지 않는다. 고프레임률 이미지 센서들의 대역폭 및 타이밍 요건들을 지원하는 새로운 비디오 아키텍처들이 개발되었으나, 이러한 새로운 비디오 아키텍처들은 일반적으로 이전에 이용가능한 하드웨어의 장점을 취하지 않고, 특정 용도를 위한 사전 준비 없이 개발된다.
고프레임률 이미지 센서 기술들에서의 개선들은 많은 기존의 비디오 전송 아키텍처들의 대역폭 및 전송 능력들을 크게 초과한다. 고화질(HD: High Definition) 비디오를 전송하기 위해 설계되고 구성된 기존의 비디오 하드웨어의 광범위한 인프라스트럭처(infrastructure)는, 전세계에 걸쳐 장비에 사용되고 설치된다. 이러한 인프라스트럭처는 일반적으로 고프레임률 비디오 카메라들로부터 디스플레이로 또는 최종 사용자(end-user)에게로의 비디오 데이터의 전송을 지원하지 않는다.
현존하는(existing) HD 비디오 아키텍처는 예를 들어, 영화 텔레비전 기술자 협회(SMPTE: Society of Motion Picture and Television Engineers) 표준 SMPTE 292M 및 SMPTE 424M과 같은 하나 이상의 표준 포맷을 따르는 비디오 데이터의 스트림을 프로세싱하기 위해 일반적으로 구성된다. 이러한 표준은 720p 고화질 텔레비전(HDTV: High Definition Television) 포맷을 포함하며, 비디오 데이터는 720 수평 데이터 경로(horizontal data paths) 및 16:9 의 종횡비(aspect ratio)를 갖는 프레임으로 포맷된다(formatted). SMPTE 292M 표준은 예를 들어 1280 x 720 픽셀의 해상도를 갖는 720p 포맷을 포함한다.
HD 비디오 데이터에 대한 일반적인 전송 포맷은 720p60이며, 720p 포맷의 비디오 데이터는 초당 60 프레임으로 전송된다. SMPTE 424M 표준은, 1080p 포맷의 데이터가 초당 60 프레임으로 전송되는 1080p60 전송 포맷을 포함한다. 1080p 포맷의 비디오 데이터는 때때로 "풀 HD(full HD)"로 지칭되고, 1920 x 1080 픽셀의 해상도를 갖는다.
다수의 현재 사용되는 이미지 검출 시스템은 일반적으로 사용되는 720p 표준과 같은 HD 비디오 표준에 적응하여 구축된다. 720p 표준 시스템의 1280 x 720 픽셀 프레임은 프레임당 약 1.5 메가픽셀(megapixels)을 포함한다. 대조적으로, 고프레임률 이미지 센서는 일반적으로 프레임 당 약 25 백만 픽셀을 갖는 5k x 5k 포맷으로 이미지 프레임을 출력한다. 따라서, 720p 표준 시스템에서 사용되는 1280 x 720 픽셀은 고프레임률 이미지 센서에 의해 생성된 훨씬 더 많은 수의 픽셀을 전송하기에는 거의 충분하지 않다.
고프레임률 이미지 센서는 고프레임률 비디오 데이터를 전송하도록 특히 설계된 비디오 아키텍처로 통상적으로 사용된다. 이러한 새로운 비디오 아키텍처들은 일반적으로 고프레임률 대역폭 및 타이밍 요건을 지원하는 비디오 압축 기술에 영향을 준다(leverage). 현재 고프레임률 비디오 데이터를 전송하는데 사용되는 일부 비디오 아키텍처들은, 고프레임률 비디오를 전송하기 위해 병렬 인코더 또는 코덱 및 데이터 압축을 사용한다. 그러나, 압축의 사용은 이러한 비디오 아키텍처들이 원시 센서 데이터(raw sensor data)를 수신하는 것에 의존하는 최종 사용자에게 부적합하게(unsuitable) 만든다.
레거시 하드웨어(legacy hardware)는 일반적으로 충분한 대역폭을 제공하지 않기 때문에, 차세대 카메라들(next generation cameras)로부터 고프레임률 비디오를 전송하기 위해 레거시 하드웨어를 사용하는 것은 문제가 된다. 또한, 고프레임률 비디오 데이터를 전송하기 위한 새로운 아키텍처들로 기존의 비디오 아키텍처들을 대체하는 것은, 많은 양의 종래의 비디오 프로세싱 장비를 이미 구현하였던 사용자들에게 비실용적이고/ 비실용적이거나 매우 고가일 수 있다.
다양한 공간적(spatial) 및 시간적(temporal) 비디오 압축 기술들이 기존의 HD 비디오를 통한 전송을 위해 고프레임률 이미지 센서들로부터 이미지 데이터를 프로세싱하기(process) 위해 사용되었다. 고프레임률 비디오 데이터는 개인 시청(human viewing)을 위한 가시 이미지들(visible images) 및 비디오 스트림들을 생성하기 위해 충분한 고프레임률 비디오 데이터를 유지하지만, 개인 열람가능 이미지들(human viewable images) 및 비디오 스트림들에 대해 필요하지 않을 수 있는 고프레임률 이미지 센서들로부터 데이터를 손실하거나 폐기하는 압축 알고리즘들을 사용하여 일반적으로 압축된다.
고프레임률 이미지 센서들로부터 데이터를 프로세싱하기 위한 다른 종래의 기술들은, 고프레임률 이미지 센서들의 특정 애플리케이션들(applications)을 위해 개발된 새로운 또는 독점 비디오 아키텍처들(proprietary video architectures)의 사용을 일반적으로 포함한다. 이러한 기술들은 비용이 많이 들고 비효율적인데, 왜냐하면 이들은 전세계에 걸쳐 사용되는 널리 이용가능한 HD 비디오 아키텍처의 장점을 가지지 않기 때문이다.
본 개시의 측면들은 고프레임률 데이터의 효율적이고 무손실 수집을 위한 고프레임률 이미지 센서 데이터 프로세싱 장치(high frame rate image sensor data processing apparatus) 및 방법을 포함한다. 본 개시의 일 측면에 따른 센서 데이터 프로세싱 장치는, 프로세싱 회로(processing circuitry)에 연결된 원시 고프레임률 데이터 입력 경로(raw high frame rate data input path), 및 프로세싱 회로에 병렬로 연결된 복수의 이미지 데이터 출력 경로들(image data output paths)을 포함한다. 하나 이상의 메타데이터 출력 경로(metadata output paths)는 이미지 데이터 출력 경로와 병렬로 프로세싱 회로에 연결된다(coupled).
프로세싱 회로는 고프레임률 이미지 센서로부터 원시 고프레임률 데이터를 수신하고, 작은 고속 프레임 데이터(fast frame data)를 무손실 세그먼트들(lossless segments)로 모자이크하고(mosaic), 무손실 세그먼트들을 이미지 데이터 출력 경로들 상으로 병렬로 전송하게 하도록(direct) 구성된다. 프로세서 회로(processor circuitry)는 또한 무손실 세그먼트들로부터 원시 고속 프레임률 데이터의 재구성을 용이하게 하는 인코딩된 정보(encoded information)를 포함하는 메타데이터(metadata)를 생성하고, 메타데이터를 메타데이터 출력 경로들 상으로 전송하도록 구성된다.
본 명세서에 설명된 바와 같은 현재의 비디오 전송 아키텍처(current video transport architectures)를 통해 고프레임률 이미지 센서로부터 디스플레이로 또는 최종 사용자에게 비디오 데이터를 전송하기 위해 개선된 방법 및 장치는, 데이터를 병렬로 전송하기 위해 복수의 물리적 연결(multiple physical connections)을 사용하는 픽셀 패킹 방법 및 방법들을 포함한다. 본 명세서에 개시된 방법들은 레거시 하드웨어의 대역폭 제한들을 극복하고, 레거시 하드웨어가 차세대 카메라들로부터 고프레임률 비디오 데이터를 전송할 수 있게 한다.
본 개시의 일 측면에 따르면, 비디오 프로세싱은 패킷 정보를 추적하는데 사용되는 메타데이터에 기초하여 비디오 이미지 데이터를 모자이크 타일들(mosaic tiles)로 재조립하기(reassemble) 위해 수행된다. 백-엔드 비디오 프로세싱(Back-end video processing)은 메타데이터에 포함된 위치 데이터(location data) 및 관성 데이터(inertial data)에 기초하여 비디오를 모자이크 타일 또는 스티칭된 파노라마 이미지(stitched panoramic imagery)로 재조립하기 위해 수행될 수 있다.
본 개시의 일 측면에 따르면, 모자이크(mosaicking)을 기술하는 정보는, 원시 비디오 데이터(raw video data)의 다운-스트림 실시간 재구성(down-stream real-time reconstruction)을 용이하게 하기 위해 비디오 데이터의 VANC/HANC 메타데이터 공간에서 인코딩된다.
본 출원의 일 측면에 따르면, 복수의 작은 고속 프레임들(multiple small fast frames)은 멀티 병렬 1080p30 비디오 경로들(multiple parallel 1080p30 video paths)을 사용하여 큰 1080p30 프레임(large 1080p30 frame)으로 모자이크된다(mosaicked). 작은 고속 프레임들은 현재 처리되는(fielded) 비디오 아키텍처들을 사용하여 산업 표준 SMPTE292M 1080p30 비디오 인터페이스(industry standard SMPTE292M 1080p30 video interface)의 멀티 채널들에서 확산된다(spread). 본 개시의 다른 측면에 따르면, 맞춤(custom)/독점 타임스탬핑(proprietary timestamping) 및 인코딩 방식(encoding scheme)이 생성되고, 각각의 큰 1080p30 프레임의 사용자 정의 키 길이 값(KLV: Key Length Value) 메타데이터 공간에 전송되어, 단일 프로세싱된 비디오 스트림으로 복수의 SMPTE 피드들(multiple SMPTE feeds)의 간단한 재구성을 허용한다.
개시된 비디오 전송 방법은, 고속 이미지 센서로부터 원시 비디오 데이터를 수신하는 것과, 표준 HD-SDI 인터페이스를 통해 전송되는 SMPTE 292M으로 인코딩된 1920x1080p30과 같은 산업 표준 포맷(industry standard formats)으로 비디오 데이터를 모자이크하는 것을 포함한다.
개시된 비디오 전송 방법은 전송 스트림에 대한 표준 SMPTE 인터페이스를 사용하고, 이미지의 모자이크에서 데이터를 인코딩한다. 본 개시의 일 측면에 따르면, 이미지들의 인코딩된 모자이크의 패킹 세부사항들은 각각의 이미지 데이터와 함께 메타데이터로 저장 및 전송된다.
본 발명의 개념에 대한 상기 및 다른 특징은 다음과 같이 첨부 도면을 참조하여 예시적인 실시 예를 상세히 설명함으로써 더욱 명백해질 것이다.
도 1은 본 개시의 일 측면에 따른 비디오 데이터 전송 장치의 예시적인 실시예에 대한 도면이다.
도 2는 본 개시의 일 측면에 따른 전송을 위한 비디오 데이터의 복수의 패킹 모드들을 도시하는 도표이다.
도 3은 본 개시의 측면들에 따른 비디오 데이터를 전송하기 위한 방법을 도시하는 프로세스 흐름도이다.
본 개시의 측면은 기존의 HD 비디오 아키텍처들을 사용하여 하나 이상의 고프레임률 이미지 센서들로부터 고프레임률 비디오 데이터의 무손실 통신 및 프로세싱을 위한 시스템 및 방법을 포함한다. 현재 이용가능한 비디오 아키텍처를 사용하여 고프레임률 비디오 데이터에 대해 프로세싱하는 것은, 하나 이상의 고프레임률 이미지 센서로부터 더 큰 컨테이너 프레임(larger container frame)으로 고프레임률 비디오 프레임을 모자이크하는 것을 포함한다. 컨테이너 프레임들은 조합되어(combined) HD 비디오의 멀티 채널들로 확산된다. 예시적인 실시예에서, 고프레임률 비디오 데이터는 720p60 컨테이너 프레임들로 모자이크되는 1 kHz보다 큰 128 x 128 픽셀들에서 고프레임률 이미지 센서로부터 제공될 수 있다. 예시적인 실시예에서, 세그먼트들은 SMPTE424M 1080p60 비디오의 멀티 채널들로 조합된다.
개시된 시스템의 예시적인 실시예에서, 고프레임률 이미지 센서는, 예를 들어 초당 1100 프레임으로 144x1024 픽셀을 갖는 프레임을 생성하는 작은 활성 초점면(small active focal planes)을 구비하는, 초당 1100 프레임보다 큰 프레임률(frame rate)을 갖는 편파 이미지 센서(polarimetric image sensor)일 수 있다. 본 개시의 측면들은, 기존의 표준 비디오 전송 아키텍처를 사용하여 편파 이미지 센서로부터 수신된 프레임들과 같은, 작은 고속 프레임들을 전송하기 위한 시스템 및 방법을 포함한다.
시각화를 위한 실시간 비디오 데이터의 재조립(reassembly) 및 손실은, 기존의 압축 기술을 사용하여 문제가 된다. 고프레임률 비디오 데이터를 전송하기 위한 많은 기존의 상업적으로 이용가능한 아키텍처들은, 시간적 압축을 사용하는데, 이는 메타데이터 정확성 및 무결성을 파괴하고, 비디오 프레임들에 대한 메타데이터의 정렬을 파괴하고, 해상도를 감소시키고/감소시키거나, 원하지 않는 레이턴시들(undesired latencies)을 더한다(adds). 고프레임률 비디오 데이터를 전송하기 위한 많은 기술들은 프레임률을 보존하고, 디스플레이된 비디오의 시각적 매력(appeal)을 유지하기 위해 최적화된다. 이러한 유형의 아키텍처는 모든 메타데이터의 데이터 정확성(data accuracy) 및 무결성(integrity)이 프레임률보다 더 중요한 감시와 같은 많은 애플리케이션에서 고프레임률 비디오 데이터를 전송하는데 부적합하다. 이러한 애플리케이션들에서는, 고프레임률 비디오 이미지 센서로부터 원시 비디오 데이터를 재구성(reconstruct)하는 것이 중요하다.
본 개시의 일 측면은, 예를 들어 편파 고속 이미지 센서로부터 수신된 프레임과 같은 하나 이상의 HD 비디오 입력으로부터 원시 고속 프레임률 비디오 데이터를 전송 및 버퍼링하기 위한 시스템을 포함한다. 예시적인 실시예에서, 개시된 시스템은 1920x1080p30 비디오 프레임으로 8 개의 채널들 중 3 개에 걸쳐 고속 프레임률 비디오 데이터를 모자이크하고 확산시킨다. 예시적인 실시예에서, 시스템은 KLV 메타데이터 내의 각 프레임에 대한 패킹 정보, 확산 정보, 및 고유 ID/타임스탬프를 인코딩하고, 1080p30 비디오 프레임의 보조 메타데이터 공간(예를 들어, VANC 및/또는 HANC)에 KVL 메타데이터를 삽입한다.
본 개시의 다른 측면은, KLV 메타데이터를 생성하고, 최종 비디오(final video)가 멀티 채널들을 통해 확산된 후에 원본 고속 프레임률 형태(original fast frame rate form)로 재조립될 수 있도록 보장하는 로버스트 인코딩 방식(robust encoding scheme)을 포함한다. 예시적인 실시예에서, KVL 메타데이터에서 인코딩된 패킹 정보는 고속 프레임이 1080p30 프레임으로 모자이크되는 방식을 기술한다. KVL 메타데이터에서 인코딩된 확산 정보는, 1080p30 프레임이 멀티 채널들에 걸쳐 전송하게 되는 방식을 기술한다. 1080p30 비디오 프레임들은 원시 고속 프레임률 비디오 데이터를 재생성하기(regenerate) 위해 KLV 메타데이터 정보를 사용하여 백 엔드 프로세서에 의해 언패킹될 수 있고, 이는 예를 들어 버퍼링될 수 있고, 상기 원시 고속 프레임률 비디오 데이터는 디스플레이되고, 기록되고 및/또는 후처리 프로세싱(post processing)을 받을 수 있다.
본 개시의 일 측면에 따라 비디오 데이터를 전송하기 위한 장치가 도 1을 참조하여 설명된다. 장치(100)는 비디오 프로세싱 회로를 포함하는 비디오 아키텍처 터릿(video architecture turret)(102)을 포함한다. 원시 비디오 데이터 입력 경로(104)는 터릿(102) 내의 비디오 프로세서 회로에 연결된다. 장치(100)는, 터릿(102) 내의 비디오 프로세싱 회로로부터 SMPTE 표준 비디오 프로세서(106)로 병렬로 연장하는 복수의 이미지 데이터 출력 경로(108)를 통해 비디오 아키텍처 터릿(102)에 연결된 SMPTE 표준 비디오 프로세서(106)를 또한 포함한다. 예시적인 실시예에서, 장치(100)는 예를 들어 광섬유 슬립 링 인터페이스(fiber optic slip ring interface)에 걸쳐 연장하는 8 개의 720p60 Hz 이미지 데이터 출력 경로(108)를 포함한다. 백 엔드 프로세서(110)는 SMPTE 비디오 전송 경로(112)를 통해 표준 비디오 프로세서(106)에 연결된다.
도 1에 도시된 장치(100)에서 터릿(102) 내의 비디오 프로세서 회로는, 원시 비디오 데이터 입력 경로(104) 상의 고프레임률 센서(high frame rate sensor)(122)로부터 고속 프레임을 수신하고, 고속 프레임을 표준 1080p30 크기 프레임(standard 1080p30 sized frames)으로 순차적으로 모자이크하고, 표준 1080p30 크기 프레임을 복수의 이미지 데이터 출력 경로(108)로 확산시키도록 구성된다. 터릿(102)은 또한 예를 들어 복수의 HD 이미지 센서(124)에 연결될 수 있다. 예시적인 실시예에서, 표준 1080p30 크기 프레임들은 8 개의 720p60 Hz 이미지 데이터 출력 경로들(108) 중 3 개에 걸쳐 확산된다. 본 개시의 일 측면에 따르면, 터릿(102) 내의 프로세서 회로는 고속 프레임들이 표준 1080p30 크기 프레임들로 모자이크되는 방식을 기술하고, 표준 1080p30 크기 프레임들이 상기 복수의 이미지 데이터 출력 경로들에 확산되는 방식을 기술하는 메타데이터를 인코딩하도록 또한 구성된다. 예시적인 실시예에서, 메타데이터는 이미지 데이터의 언패킹(unpacking) 및 재구성(reconstruction)을 용이하게 하기 위해 패킹 및 확산 정보를 갖는 수직 보조(VANC: Vertical ANCillary) 및/또는 수평 보조(HANC: Horizontal ANCillary) 기술을 사용하여, 표준 키 - 길이 - 값(KLV: Key - Length - Value) 메타데이터 포맷으로 인코딩된다. 본 기술 분야의 당업자는, VANC 및 HANC 가 비디오 신호에 비-비디오 정보를 내장하기(embedding) 위한 통상적인 기술이라는 것을 인식해야 한다. 예를 들어, 메타데이터는 프레임 시작 및 프레임의 종료에 대한 픽셀 위치(로우(row), 컬럼(column)), 프레임률(30, 60), 비트 깊이(8, 10, 12, 16), 및 비트 패킹 모드(픽셀 당 2 바이트, 픽셀 당 1 바이트 등)와 같은 패킹 세부사항을 포함한다. 동일한 메타데이터 공간은 시선(line of sight)(관성 측정 유닛(IMU: Inertial Measurement Unit), 자이로(gyro), 가속도계(accelerometers), 리졸버(resolvers), 서보 스테이트(servo state), 인코더 피드백(encoder feedback), 포커스 정보(focus information), 시스템 광학기(system optics)의 온도 등) 및/또는 이미지 센서가 각각의 적용가능한 프레임(applicable frame)에 대해 포인팅된 위치를 나타내는 포인팅 정보(pointing information)를 제공하기 위한 규정(provisions)을 갖는다. 메타데이터 내 정보는 이미지 센서로 캡처된(captured) 비디오 프레임에 컨텍스트(context)를 부가하기 위해 사용될 수 있다.
KLV 메타데이터는 대응하는 메타데이터 필드(corresponding metadata field)에 대한 고유 키(unique key), 및 대응하는 1080 p 30 크기 프레임의 HANC 공간 또는 VANC 공간 내 대응하는 메타데이터 필드의 길이를 포함한다. 예시적인 실시예에서, KLV 메타데이터는 1080p30 크기 프레임이 더 작은 고속 프레임으로 패킹되는 방식을 기술하는 데이터 패킷(data packet)을 포함하는 메타데이터 값(metadata value)을 포함한다. 메타데이터 값은 고속 프레임들 사이의 경계를 식별하기에 충분한 정보를 포함한다. 예를 들어, 예시적인 실시예에서 패킷은 고속 프레임들 각각에 대한 고유 식별자(unique identifier) 및 고속 프레임들 각각에 대한 타임 스탬프(time stamp)를 포함한다.
터릿(102) 내 프로세서 회로는, 표준 1080p30 크기 프레임의 대응하는 인스턴스(instances)의 표준 보조 메타데이터 공간(standard ancillary metadata space)에 메타데이터를 저장하고, 이미지 데이터 출력 경로(108)를 통해 SMPTE 표준 비디오 프로세서(106)로 메타데이터와 함께 표준 1080p30 크기 프레임을 전송하도록 더 구성된다. 예시적인 실시예에서, 58.8 메가바이트의 메타데이터는 표준 1080p30 크기 프레임 각각의 VANC 공간 또는 HANC 공간에 저장될 수 있다.
SMPTE 표준 비디오 프로세서(104)는 SMPTE 비디오 전송 경로(112)를 통해 백 엔드 프로세서(110)로 메타데이터와 함께 표준 1080p30 크기 프레임을 전송하도록 구성된다. 백엔드 프로세서(110)는 표준 1080p30 크기 프레임에 저장된 메타데이터에 기초하여 표준 1080p30 크기 프레임으로부터 고속 프레임을 언팩킹하고 재조립하도록 구성된다.
도 1에 도시된 장치(100)의 예시적인 실시예에서, 메타데이터는 대응하는 표준 1080p30 크기 프레임의 VANC 공간에 저장된 KLV 메타데이터이다. 본 개시의 일 측면에 따르면, KLV 메타데이터는 고속 프레임들 각각에 대한 식별자 및 타임 스탬프를 포함한다.
예시적인 실시예에서, 백엔드 프로세서(110)는 SMPTE 비디오 전송 경로(112)에 연결된 SMPTE 스플리터(SMPTE splitter)(114)를 포함한다. 비디오 레코더 회로(Video recorder circuitry)(116)는 제1 고속 버스(first high speed bus)(118)를 통해 SMPTE 스플리터(114)에 연결되고, 온-보드 프로세싱 회로(on-board processing circuitry)(120)는 제2 고속 버스(126)를 통해 SMPTE 스플리터(114)에 연결된다.
예시적인 실시예에서, 비디오 레코더 회로(116)는 재조립된 고속 비디오 프레임들을 저장하도록 구성될 수 있다. 온-보드 프로세싱 회로(120)는, 예를 들어 타겟들 및/또는 생성 추적 정보를 식별하기 위해, 오퍼레이터(operator) 또는 다운스트림 분석 시스템(downstream analysis system)에 실시간 애플리케이션 특정 출력(real-time application specific output)을 제공하도록 구성될 수도 있다.
본 개시의 다른 측면은, 현재 처리되는 비디오 아키텍처들을 사용하여 원시 고속 비디오 데이터를 전송하기 위한 방법을 포함한다. 상기 방법은, 표준 1080p30 프레임들에서 복수의 작은 고속 프레임들의 모자이크를 생성하는 단계, 및 SMPTE292M 1080p30 비디오(108)의 멀티 채널들에서 작은 고속 프레임들을 확산시키는 단계를 포함한다. 복수의 작은 프레임들이 개시된 시스템 및 방법의 상이한 애플리케이션들 또는 구현들을 위한 상이한 방식의 표준 1080p30 프레임들로 모자이크되는 상이한 패킹 모드들이 사용될 수 있다. 도 2를 참조하면, 예시적인 실시예에서, 고속 프레임은 예를 들어 고속 모드(fast mode), 저속 모드(slow mode) 및 풀 모드(full mode)를 제공하는 3 가지 상이한 방식의 표준 1080p30 프레임으로 패킹될 수 있다. 본 실시예에서, 530 x 1024 픽셀을 갖는 애퍼처 이미지(aperture image)(202)는 도 1의 고프레임률 이미지 센서(122)에 의해 센싱된다(sensed). 고속 이미지 센서(122)는 검출된 고프레임률 이미지 프레임(204)을 생성한다. 검출된 고프레임률 이미지 프레임(204)은 애퍼처 이미지(202)로부터의 원시 데이터의 복수의 대역(206)을 포함하고, 복수의 비활성 컬럼(inactive columns)(208)을 또한 포함할 수 있다. 각각의 고프레임률 이미지의 밴드(206)는, 비활성 컬럼(208)을 생략한(omitting), 도 1의 터릿(102) 내의 비디오 프로세서 회로에 의한 표준 1080p30 프레임(210)에 연관되어 기록된다. 순차적인 고프레임률 이미지 프레임(204)의 밴드(206)는 표준 1080p30 프레임에 순차적으로 기록된다. 표준 1080p30 프레임(210) 각각에 패킹된 밴드(206)의 수는, 구현되거나 또는 선택되는 패킹 모드(packing mode)에 의존한다.
도 2에 도시된 예시적인 실시예에서, 고프레임률 이미지 프레임(204)은 144x1024 픽셀을 포함하고, 초당 1100 프레임으로 전송되는 고속 모드가 구현될 수 있다. 고속 모드에서, 고프레임률 이미지 프레임(204) 각각은 76.8 라인(lines)의 표준 1080p30 프레임(212)을 채운다(fills). 고프레임률 이미지 프레임(204)은 208x1024 픽셀을 포함하고, 초당 800 프레임으로 전송되는 저속 모드가 구현될 수 있다. 저속 모드에서, 고프레임률 이미지 프레임(204) 각각은 110.9 라인의 표준 1080p30 프레임(214)을 채운다. 고프레임률 이미지 프레임(204)이 초당 30 프레임으로 전송되는 애퍼처 이미지(202)의 모든 530x1024 픽셀을 포함하는 풀 모드(full mode)가 구현될 수 있다. 풀 모드에서, 고프레임률 이미지 프레임(204) 각각은 1024 라인의 표준 1080p30 프레임(216)을 채운다.
본 개시의 일 측면에 따르면, 개시된 방법은 SMPTE 표준, 사용자 정의 KLV 메타데이터에서 각 프레임에 대한 패킹 정보, 확산 정보, 및 고유 ID/타임스탬프를 인코딩하는 단계, 도 1을 참조하여 전술한 바와 같이 별도의/새로운 데이터 버스가 필요하지 않도록, 각각의 표준 비디오 프레임의 HANC 및 VANC에 KLV 메타데이터를 삽입하는 단계를 포함한다. KLV 메타데이터는 원본 이미지의 재조립을 위해 단일 프로세싱된 비디오 스트림으로 SMPTE292M 1080p30의 멀티 채널을 재구성하기에 충분한 정보를 포함한다. 개시된 방법 및 장치의 구현들은 기존의 HD 비디오 아키텍처/하드웨어를 통해 다양한 새로운 고속 카메라들로부터 데이터를 전송하는데 사용될 수 있다.
본 개시의 측면에 따른 비디오 데이터를 전송하기 위한 방법은, 도 3을 참조하여 기술된다. 방법(300)은 블록(302)에서 고속 이미지 센서로부터 고속 비디오 프레임의 스트림을 수신하는 단계를 포함한다. 방법(300)은 블록(304)에서 고속 비디오 프레임을 압축하지 않고, 고속 비디오 프레임을 표준 크기 이미지 프레임으로 패킹하는 단계를 포함한다. 패킹은 압축 없이 고속 이미지 프레임으로부터 데이터 모두를 포함하도록 수행되어, 고속 프레임은 임의의 데이터의 손실 없이 그 원본 형태로 재구성될 수 있다.
방법(300)의 예시적인 실시예에서, 표준 크기 이미지 프레임은 SMPTE292M 1080p30 비디오 프레임이고, 멀티채널 비디오 아키텍처(multichannel video architecture)는 SMPTE292M 1080p30 비디오 아키텍처이고, 메타데이터는 SMPTE KLV 메타데이터로 인코딩된다.
예시적인 실시예에서, 비디오 프레임을 수신하는 단계(302) 및 비디오 프레임을 패킹하는 단계(304)는 도 1에 도시된 바와 같이 고프레임률 센서(122)로부터 고속 비디오 프레임을 수신하는 비디오 아키텍처 터릿(102)에 의해 수행된다. 예시적인 실시예에서, 표준 크기 이미지 프레임 각각은 순차적으로 패킹된 고속 프레임으로 구성된다. 표준 크기 프레임 각각을 패킹하는 단계는, 프레임 버퍼에서, 고속 비디오 프레임을 더 큰 표준 크기 프레임으로 시간적으로(temporally) 채움으로써 수행된다.
블록(305)에서, 상기 방법은 표준 멀티채널 비디오 아키텍처에서 복수의 채널에서 표준 크기 프레임의 전송을 확산시키는 단계를 포함한다. 더 작은 프레임들이 고속 이미지 센서(122)로부터 수신되고(도 1), 비디오 아키텍처 터릿(102) 내의 더 큰 표준 1080p30 크기 프레임들로 패킹됨에 따라, 이전에 패킹된 프레임들은 비디오 아키텍처 터릿(102)으로부터 SMPTE 비디오 프로세서(106)로 전송된다. 예시적인 실시예에서, 비디오 아키텍처 터릿(102) 내의 프레임 버퍼는, 3 개의 표준 1080p30 크기 프레임을 생성하기 위해 고속 프레임으로 패킹된다. 3 개의 표준 1080 p30 프레임들은, 프레임 버퍼들을 퍼지하기(purge) 위해 30 Hz의 더 느린 프레임률로 SMPTE 비디오 프로세서(106)에 의해 비디오 아키텍처 터릿(102)내의 프레임 버퍼들로부터 병렬로 판독되는 고프레임률로 비디오 아키텍처 터릿의 프레임 버퍼들에서 순차적으로 채워진다. 프레임 버퍼가 SMPTE 비디오 프로세서(106)에 의해 판독되고 있는 동안, 비디오 아키텍처 터릿(102) 내의 추가적인 프레임 버퍼는 다음 고속 프레임(next high speed frames)으로 채워진다.
방법(300)의 예시적인 실시예에서, 표준 크기 이미지 프레임은 SMPTE292M 1080p30 비디오 프레임이고, 멀티채널 비디오 아키텍처는 SMPTE292M 1080p30 비디오 아키텍처이고, 메타데이터는 SMPTE KLV 메타데이터로 인코딩된다. 예시적인 실시예에서, 메타데이터는 SMPTE292M 1080p30 비디오 프레임의 VANC 공간 및/또는 HANC 공간에 포함된다.
개시된 방법 및 장치의 예시적인 실시예가 표준 1080p30 크기 프레임을 참조하여 설명되었지만, 개시된 시스템 및 방법의 다양한 실시예가 1080p30 크기 프레임 대신에 또는 1080p30 크기 프레임에 부가하여 표준 720p60 크기 프레임을 사용하여 구현될 수 있다는 것이 이해되어야 한다. 표준 720p60 프레임은 프레임 버퍼를 퍼지하기 위해 60 Hz에서 판독된다. 720p60 프레임은 1080p30 크기 프레임보다 작기 때문에, 비디오 데이터를 전송하기 위한 결과적인 대역폭(resulting bandwidth)은 표준 1080p30 크기 프레임 및 720p60 크기 프레임에 대해 거의 동일하다.
예를 들어, 도 1에서 HD 이미지 센서들(124) 중 2 개는 1080p30 센서들일 수 있고, 다른 이미지 센서들(124) 중 2 개는 720p60 센서들일 수 있다. 본 개시의 일 측면에 따르면, 비디오 아키텍처 터릿(102) 내부의 프레임 버퍼들은 동일하거나 상이한 레이트(rates)로 채워질 수 있지만, 프레임 버퍼들은 동일한 레이트(예를 들어, 표준 1080p30 크기 프레임들에 대해 30 Hz 또는 표준 720 p60 크기 프레임들에 대해 60 Hz)로 SMPTE 비디오 프로세서(106)에 의해 모두 판독된다.
블록(306)에서, 상기 방법은, 복수의 고속 비디오 프레임들이 표준 크기 이미지 프레임으로 패킹되는 방식을 기술하는 패킹 정보, 및 표준 크기 프레임들이 병렬 채널들에 걸쳐 확산되는 방식을 기술하는 확산 정보를 포함하는 SMPTE KLV 메타데이터를 생성하는 것을 포함한다. 예시적인 실시예에서, 메타데이터는 SMPTE292M 1080p30 비디오 프레임의 VANC 공간 및/또는 HANC 공간에 포함된다.
예시적인 실시예에서, 메타데이터는 복수의 고속 프레임 각각에 대한 고유 식별자 및 타임 스탬프를 포함한다. 블록(307)에서, 상기 방법은, 멀티채널 비디오 아키텍처(multi-channel video architecture)에서 하나 이상의 채널 상의 비디오 스트림으로 메타데이터를 삽입하는 것을 포함한다. 메타데이터는 비디오 아키텍처 터릿에서 및/또는 SMPTE 비디오 프로세서(106)(도 1)에서 대응하는 표준 1080p30 크기 프레임 또는 표준 720p60 크기 프레임의 VANC 또는 HANC 공간으로 삽입될 수 있다. 예를 들어, 포인팅 정보 및 시선 정보와 같은 비디오 아키텍처 터릿의 기능(functionality)으로 적용가능한 메타데이터는, 비디오 아키텍처 터릿에 의해 대응하는 1080p30 프레임의 VANC 또는 HANC 공간으로 추가될 수 있다. 비디오를 범용 시간(universal time)과 상관시키기(correlating) 위한 정밀 타이밍 정보(precision timing information)와 같은 부가적인 정보(Additional information)는, 대응하는 1080p30 프레임까지(while) SMPTE 비디오 프로세서에 의해 VANC 또는 HANC 공간으로 부가될 수 있다.
블록(308)에서, 방법(300)은, VANC 공간에서 멀티채널 비디오 아키텍처의 멀티 채널들(multiple channels)에서 SMPTE KLV 메타데이터를 전송하는 단계를 포함한다. 블록(310)에서, 상기 방법은, 원본 이미지의 재조립을 위해 멀티 병렬 스트림들(multiple parallel streams)을 통해 수신된 표준 1080p30 프레임에서 SMPTE KLV 메타데이터를 디코딩하는(decoding) 단계를 포함한다. 블록(312)에서, 상기 방법은, 멀티 병렬 스트림들을 단일 프로세싱된 비디오 스트림(single processed video stream)으로 재구성하는 단계를 포함한다.
예시적인 실시예에서, 디코딩하는 단계(310) 및 재구성하는 단계(312)는, 표준 1080p30 프레임의 HANC 또는 VANC 공간으로부터 SMPTE KLV 메타데이터를 판독하고, 메타데이터를 디코딩하는, 도 1에 도시된 백 엔드 프로세서(back end processor)(110)에 의해 수행될 수 있다. KLV 메타데이터에서 디코딩된 값은, 대응하는 표준 1080p30 크기 프레임에 패킹된 작은 고속 프레임에 대한 시퀀싱 정보(sequencing information)와 작은 고속 프레임들 사이의 경계(boundaries)를 식별한다.
본 개시의 측면들이 특정하게 도시되고, 그 실시예를 참조하여 기술된 반면에, 해당 기술 분야의 당업자는 다음의 청구항으로 정의된 본 개시의 영역으로부터 벗어나지 않고, 형태 및 세부 사항에서 다양한 변경이 본 명세서에서 이루어질 수 있다는 것을 이해할 수 있을 것이다.

Claims (20)

  1. 비디오 데이터를 전송하기 위한 방법에 있어서,
    애퍼처 이미지(aperture image)를 센싱(sensing)함으로써 1 kHz(kilohertz)를 초과하는 제1 프레임률(frame rate)로 복수의 고속 프레임을 생성하는 단계 - 상기 고속 프레임 각각은 128x128 픽셀을 가지고, 상기 고속 프레임 각각은 상기 애퍼처 이미지의 복수의 대역(bands)을 포함함 - ;
    상기 복수의 고속 프레임의 상기 비디오 데이터를 720p60 표준 또는 SMPTE292M 1080p30 표준 크기 컨테이너 프레임(standard size container frame)으로 모자이크하는(mosaicking) 단계 - 상기 모자이크하는 단계는 상기 고속 프레임을 압축하지 않고 상기 고속 프레임으로부터 상기 복수의 대역을 연관시킴(concatenating)으로써 수행됨 - ;
    상기 복수의 고속 프레임이 상기 표준 크기 컨테이너 프레임으로 패킹되는 방식을 기술하는 메타데이터(metadata)를 생성하는 단계;
    멀티채널 비디오 아키텍처(multichannel video architecture)의 멀티 병렬 채널(multiple parallel channels)에서 상기 표준 크기 컨테이너 프레임을 상기 제1 프레임률 이하의 프레임률로 전송하는 단계; 및
    상기 멀티채널 비디오 아키텍처의 상기 병렬 채널에서 상기 메타데이터를 전송하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 메타데이터는,
    복수의 고속 프레임 각각에 대한 고유 식별자, 및 상기 복수의 고속 프레임 각각에 대한 타임 스탬프(time stamp)
    를 포함하는 방법.
  3. 제1항에 있어서,
    상기 메타데이터를 디코딩하는 단계; 및
    상기 디코딩된 메타데이터에 기초하여 상기 고속 프레임을 재조립하는(reassembling) 단계
    를 더 포함하는 방법.
  4. 제1항에 있어서,
    고속 이미지 센서로부터 상기 고속 프레임을 수신하는 단계
    를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 복수의 고속 프레임의 각각의 부분을 갖는 복수의 표준 크기 컨테이너 프레임 각각을 패킹하는 단계; 및
    상기 멀티채널 비디오 아키텍처의 상기 멀티 병렬 채널에서 상기 복수의 표준 크기 컨테이너 프레임의 전송을 확산시키는(spreading) 단계
    를 더 포함하고,
    상기 메타데이터는,
    상기 복수의 표준 크기 컨테이너 프레임이 상기 멀티 병렬 채널에서 확산되는 방식을 기술하는 확산 정보(spreading information)
    를 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 멀티 병렬 채널 중 하나 이상에서 비디오 스트림으로 상기 메타데이터를 삽입하는 단계
    를 더 포함하는 방법.
  7. 제5항에 있어서,
    상기 메타데이터를 디코딩하는 단계; 및
    상기 디코딩된 메타데이터에 기초하여 상기 고속 프레임을 재조립하는(reassembling) 단계
    를 더 포함하는 방법.
  8. 제7항에 있어서,
    상기 재조립된 고속 프레임을 포함하는 프로세싱된 비디오 스트림(processed video stream)을 재구성하는(reconstructing) 단계
    를 더 포함하는 방법.
  9. 제1항에 있어서,
    고속 이미지 센서로부터 상기 고속 프레임을 수신하는 단계
    를 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 메타데이터는,
    상기 복수의 고속 프레임 각각에 대한 고유 식별자 및 타임 스탬프
    를 포함하는 방법.
  11. 제1항에 있어서,
    상기 멀티채널 비디오 아키텍처는,
    SMPTE292M 1080p30 비디오 아키텍처인 방법.
  12. 제11항에 있어서,
    상기 메타데이터를 SMPTE KLV 메타데이터로 인코딩하는 단계; 및
    상기 표준 크기 컨테이너 프레임의 VANC 공간 및/또는 HANC 공간에 상기 메타데이터를 포함시키는 단계
    를 더 포함하는 방법.
  13. 제5항에 있어서,
    상기 복수의 표준 크기 컨테이너 프레임 각각을 패킹하는 단계는,
    상기 표준 크기 컨테이너 프레임에 모자이크로 상기 고속 프레임을 배치하는(arranging) 단계
    를 포함하는 방법.
  14. 비디오 데이터를 전송하기 위한 장치에 있어서,
    비디오 프로세싱 회로(video processing circuitry)를 포함하는 비디오 아키텍처 터릿(video architecture turret);
    상기 비디오 아키텍처 터릿 내 비디오 프로세서 회로(video processor circuitry)에 연결된 원시 비디오 데이터 입력 경로;
    상기 비디오 아키텍처 터릿 내 상기 비디오 프로세싱 회로로부터 SMPTE 표준 비디오 프로세서(SMPTE standard video processor)로 병렬로 연장하는 복수의 이미지 데이터 출력 경로를 통해 상기 비디오 아키텍처 터릿에 연결된 상기 SMPTE 표준 비디오 프로세서; 및
    SMPTE 비디오 전송 경로를 통해 상기 표준 비디오 프로세서에 연결된 백 엔드 프로세서(back end processor)
    를 포함하고,
    상기 비디오 아키텍처 터릿 내 상기 비디오 프로세서 회로는,
    1 kHz(kilohertz) 이상의 프레임률(frame rate)로, 상기 원시 비디오 데이터 입력 경로 상의 고속 이미지 센서로부터 고속 프레임을 수신하고 - 상기 고속 프레임 각각은 128x128 픽셀을 가지고, 상기 고속 프레임 각각은 애퍼처 이미지(aperture image)의 복수의 대역(bands)을 포함함 - ,
    상기 고속 프레임을 압축하지 않고 상기 고속 프레임으로부터 상기 복수의 대역을 표준 1080p30 크기 프레임(standard 1080p30 sized frames)으로 연관시킴(concatenating)으로써, 상기 고속 프레임을 상기 표준 1080p30 크기 프레임으로 순차적으로 모자이크하고(mosaic), 및
    상기 표준 1080p30 크기 프레임을 상기 복수의 이미지 데이터 출력 경로로 확산시키도록 구성된,
    장치.
  15. 제14항에 있어서,
    상기 비디오 아키텍처 터릿 내 상기 비디오 프로세서 회로는,
    상기 고속 프레임이 상기 표준 1080p30 크기 프레임으로 모자이크되는 방식을 기술하고, 상기 표준 1080p30 크기 프레임이 상기 복수의 이미지 데이터 출력 경로로 확산되는 방식을 기술하는 메타데이터를 인코딩하도록 구성된,
    장치.
  16. 제15항에 있어서,
    상기 비디오 아키텍처 터릿 내 상기 비디오 프로세서 회로는,
    상기 표준 1080p30 크기 프레임의 대응하는 인스턴스(instances)의 표준 보조 메타데이터 공간(standard ancillary metadata space)에 상기 메타데이터를 저장하고,
    상기 이미지 데이터 출력 경로를 통해 상기 SMPTE 표준 비디오 프로세서로 상기 메타데이터와 함께 상기 표준 1080p30 크기 프레임을 전송하도록 더 구성된,
    장치.
  17. 제16항에 있어서,
    상기 SMPTE 표준 비디오 프로세서는,
    상기 SMPTE 비디오 전송 경로를 통해 상기 백 엔드 프로세서로 상기 메타데이터와 함께 상기 표준 1080p30 크기 프레임을 전송하도록 구성되고,
    상기 백 엔드 프로세서는,
    상기 표준 1080p30 크기 프레임에 저장된 상기 메타데이터에 기초하여 상기 표준 1080p30 크기 프레임으로부터 상기 고속 프레임을 언패킹하도록(unpack) 구성된,
    장치.
  18. 제15항에 있어서,
    상기 메타데이터는,
    대응하는 표준 1080p30 크기 프레임의 VANC 공간에 저장된 KLV 메타데이터인,
    장치.
  19. 제18항에 있어서,
    상기 KLV 메타데이터는,
    상기 고속 프레임 각각에 대한 식별자 및 타임 스탬프
    를 포함하는 장치.
  20. 삭제
KR1020197038047A 2017-08-09 2018-05-02 기존의 hd 비디오 아키텍처를 통해 원시 고프레임률 비디오를 인코딩하기 위한 방법 KR102220742B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/672,499 2017-08-09
US15/672,499 US10701367B2 (en) 2017-08-09 2017-08-09 Method for encoding raw high frame rate video via an existing HD video architecture
PCT/US2018/030591 WO2019032160A1 (en) 2017-08-09 2018-05-02 METHOD FOR HIGH FREQUENCY VIDEO ENCODING OF RAW IMAGES VIA EXISTING HD VIDEO ARCHITECTURE

Publications (2)

Publication Number Publication Date
KR20200010484A KR20200010484A (ko) 2020-01-30
KR102220742B1 true KR102220742B1 (ko) 2021-02-26

Family

ID=62200569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197038047A KR102220742B1 (ko) 2017-08-09 2018-05-02 기존의 hd 비디오 아키텍처를 통해 원시 고프레임률 비디오를 인코딩하기 위한 방법

Country Status (8)

Country Link
US (1) US10701367B2 (ko)
EP (1) EP3665899A1 (ko)
JP (1) JP6896151B2 (ko)
KR (1) KR102220742B1 (ko)
CA (1) CA3070063C (ko)
IL (1) IL270733B (ko)
TW (1) TWI713364B (ko)
WO (1) WO2019032160A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293710A1 (en) 2011-05-19 2012-11-22 Shigeyuki Yamashita Signal transmission apparatus, signal transmission method, signal reception apparatus, signal reception method, and signal transmission system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4363104A (en) * 1980-09-22 1982-12-07 Hughes Aircraft Company Imaging system having multiple image copying and hierarchical busing
US8397272B2 (en) * 2008-08-05 2013-03-12 Analogix Semiconductor, Inc. Multi-stream digital display interface
US8495697B1 (en) * 2012-07-24 2013-07-23 Cbs Interactive, Inc. Techniques to provide an enhanced video replay
US9497457B1 (en) 2012-10-18 2016-11-15 Altia Systems Inc Repacking of panoramic video based on standard image formats
US10257523B2 (en) * 2012-12-14 2019-04-09 Avago Technologies International Sales Pte. Limited Adaptive decoding system
JP6365899B2 (ja) 2013-08-22 2018-08-01 ソニー株式会社 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム
CN107533543B (zh) * 2015-03-09 2022-01-18 英特尔公司 具有本地高速缓存的分布式存储器高速缓存系统
CN105635748B (zh) * 2015-12-30 2019-02-01 上海芃矽半导体技术有限公司 音频-视频数据的发送方法、接收方法和音频-视频数据的传输系统
US10154204B2 (en) * 2017-03-09 2018-12-11 Nokia Of America Corporation Video compressive sensing with side information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293710A1 (en) 2011-05-19 2012-11-22 Shigeyuki Yamashita Signal transmission apparatus, signal transmission method, signal reception apparatus, signal reception method, and signal transmission system

Also Published As

Publication number Publication date
JP6896151B2 (ja) 2021-06-30
US10701367B2 (en) 2020-06-30
IL270733A (en) 2020-01-30
CA3070063A1 (en) 2019-02-14
US20190052887A1 (en) 2019-02-14
EP3665899A1 (en) 2020-06-17
JP2020529175A (ja) 2020-10-01
WO2019032160A1 (en) 2019-02-14
CA3070063C (en) 2021-10-19
TW201921908A (zh) 2019-06-01
KR20200010484A (ko) 2020-01-30
IL270733B (en) 2020-11-30
TWI713364B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
US20210289145A1 (en) Transporting ultra-high definition video from multiple sources
KR102192405B1 (ko) 비디오 데이터의 실시간 프레임 정렬
AU2018230038B2 (en) Transporting ultra-high definition video from multiple sources
KR102220742B1 (ko) 기존의 hd 비디오 아키텍처를 통해 원시 고프레임률 비디오를 인코딩하기 위한 방법
KR102225111B1 (ko) 기존 hd 비디오 아키텍처를 통해 원시 uhd 비디오를 인코딩 및 프로세싱하는 방법
KR100899046B1 (ko) 동영상 촬영 장치, 동영상 재생 장치, 동영상 촬영 방법, 부호화 영상 신호 재생 방법, 및 동영상 재생 방법
KR102234076B1 (ko) 비디오 데이터의 심볼로지 인코딩 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant