KR20190088504A

KR20190088504A - 기존 hd 비디오 아키텍처를 통해 원시 uhd 비디오를 인코딩 및 프로세싱하는 방법

Info

Publication number: KR20190088504A
Application number: KR1020197017999A
Authority: KR
Inventors: 타일러 레인 후크; 칼 에이. 우디; 크리스토퍼 제이. 비어즐리
Original assignee: 레이던 컴퍼니
Priority date: 2017-01-11
Filing date: 2017-09-13
Publication date: 2019-07-26
Also published as: AU2017392150A1; CN110169047A; AU2017392150B2; US20180199047A1; IL266771B2; IL266771A; WO2018132136A1; IL266771B1; KR102225111B1; CN110169047B; US10944974B2; EP3568973A1

Abstract

센서 데이터 프로세싱 시스템 및 방법은, 통상적인 고화질 이미지 데이터 프로세싱 시스템 및 경로로 전송 및 프로세싱하기 위해, 하나 이상의 초고선명(UHD: Ultra-High Definition) 이미지 센서로부터의 이미지 데이터에 대해 세그먼트화 및 패킹을 수행한다. UHD 이미지 프레임은 복수의 더 작은 프레임으로 세그먼트화되고, 통상적인 HD 경로를 통해 병렬로 전송된다. 메타데이터는 더 작은 프레임과 함께 생성되고 전송된다. 메타데이터는 더 작은 프레임으로부터의 UHD 이미지 프레임에 대해 무손실로 재구성하기에 충분한 정보를 포함한다.

Description

기존 HD 비디오 아키텍처를 통해 원시 UHD 비디오를 인코딩 및 프로세싱하는 방법

본 발명은 이미지 프로세싱 아키텍처 분야에 관한 것이고, 보다 구체적으로 초고선명 비디오 프로세싱(Ultra-high Definition video processing) 분야에 관한 것이다.

대형 이미지 포맷 및 작은 픽셀 피치를 갖는 초고선명(UHD: Ultra High Definition) 이미지 센서는, 다수의 새로운 제품 및 애플리케이션에서 공통적으로 사용 가능해지고 있다. 그러나, 종래의 비디오 아키텍처는 일반적으로 UHD 센서의 대역폭 및 타이밍 요건을 지원하지 않는다. UHD 센서의 대역폭 및 타이밍 요건을 지원하는 새로운 비디오 아키텍처가 개발되었으나, 일반적으로 이러한 새로운 비디오 아키텍처는 이전에 사용 가능한 하드웨어의 장점을 취하지 않고 특정 용도를 위한 스크래치로부터 개발된다.

기존의 고화질(HD: High Definition) 비디오 아키텍처는 예를 들어, 심프티(SMPTE: Society of Motion Picture and Television Engineers) 표준 SMPTE 292M 및 SMPTE 424M와 같은 하나 이상의 표준 포맷에 따르는 비디오 데이터의 스트림을 프로세싱하도록 구성된다. 이러한 표준은, 720p 고화질(HDTV: high definition) 포맷을 포함하며, 비디오 데이터는 720 수평 라인(horizontal lines) 및 16:9의 종횡비를 가지는 프레임으로 포맷된다. 예를 들어, SMPTE 292M 표준은, 1280 x 720 픽셀의 해상도를 갖는 720p 포맷을 포함한다.

HD 비디오 데이터를 위한 공통 전송 포맷은 720p60이며, 720p 포맷으로 비디오 데이터가 초당 60 프레임으로 전송된다. SMPTE 424M 표준은, 1080p 포맷으로 데이터가 초당 60 프레임으로 전송되는 1080p60 전송 포맷을 포함한다. 종종, 1080P 포맷의 비디오 데이터는 "풀 HD(full HD)"로 지칭되며, 1920 x 1080 픽셀의 해상도를 갖는다.

다수의 현재 사용되는 이미지 검출 시스템은 공통적으로 사용되는 720p 표준과 같은 HD 비디오 표준에 부합하게 내장된다. 720p 표준 시스템의 1280 x 720 픽셀 프레임은 프레임 당 약 1.5 메가픽셀(megapixels)이다. 대조적으로, UHD 이미지 센서는 일반적으로 프레임 당 약 25 백만개의 픽셀을 갖는 5k x 5k 포맷의 이미지 프레임을 출력한다. 따라서, 720p 표준 시스템에서 사용되는 1280 Х 720 픽셀은 UHD 이미지 센서에 의해 생성된 보다 많은 수의 픽셀을 전송하기에 거의 충분하지 않다.

기존의 HD 비디오 아키텍처와 함께 UHD 이미지 센서로부터 이미지 데이터를 프로세싱하기 위해 다양한 기술이 사용되어 왔다. 예를 들어, HD 비디오 아키텍처와의 호환성을 위해, UHD 비디오 데이터는, 인간 시청자(human viewers)에 의해 인지할 수 있는 비디오 디스플레이 및 이미지로 데이터를 제공하게 하도록 선택되는 다양한 압축 알고리즘을 사용하여, 공간적으로 또는 시간적으로 공통적으로 압축된다. 이러한 압축 알고리즘은 비디오 디스플레이 및 이미지의 생성을 위해 필요하지 않을 수 있는 이미지 센서로부터 출력된 이미지 데이터 중 일부를 잃거나 폐기한다.

일부 이미지 프로세싱 애플리케이션에서, 개인 시청자에 의해 인지할 수 없는 원시 이미지 센서 데이터를 추출, 분석 및/또는 저장하는 것이 바람직하다. 예를 들어, 원시 이미지 센서 데이터의 이러한 추가적인 정보는, 컴퓨터 및 프로세싱 회로에 의해 추출 및 프로세싱될 수 있다. 이미지 센서로부터의 이미지 데이터 출력의 일부를 잃거나 폐기하는 압축 알고리즘은 이러한 애플리케이션에 적합하지 않다.

UHD 센서로부터 데이터를 프로세싱하기 위한 다른 종래의 기술은 일반적으로 UHD 센서의 특정 애플리케이션들에 대해 개발된 새롭거나 독점적인 비디오 아키텍처의 사용을 포함한다. 이러한 기술은, 세계에 걸쳐 사용된 널리 사용 가능한 HD 비디오 아키텍처의 이점을 취하지 않기 때문에 비용이 많이 들고 비효율적이다.

본 개시의 측면들은, UHD 데이터(UHD data)를 효율적이고 손실 없이(lossless)로 수집하기 위한 UHD 센서 데이터 프로세싱 장치(UHD sensor data processing apparatus) 및 방법을 포함한다. 본 개시의 일 측면에 따른 센서 데이터 프로세싱 장치(A sensor data processing apparatus)는 프로세싱 회로(processing circuitry)에 연결된(coupled) 원시 UHD 데이터 입력 경로(raw UHD data input path); 및 상기 프로세싱 회로에 병렬로 연결된 복수의 이미지 데이터 출력 경로(image data output paths)를 포함한다. 하나 이상의 메타데이터 출력 경로(metadata output paths)는 상기 이미지 데이터 출력 경로와 병렬로 상기 프로세싱 회로에 연결된다.

본 개시의 일 측면에 따르면, 상기 프로세싱 회로는, UHD 센서로부터 상기 원시 UHD 데이터를 수신하고; 상기 원시 UHD 데이터를 무손실 세그먼트로 분할하고; 상기 무손실 세그먼트를 병렬로 상기 이미지 데이터 출력 경로로 전송하도록(direct) 구성된다. 또한, 상기 프로세서 회로는, 상기 무손실 세그먼트로부터 상기 원시 UHD 데이터의 재구성을 하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하고; 상기 메타데이터를 상기 메타데이터 출력 경로로 전송하도록 구성된다.

본 개시의 다른 측면에 따르면, 상기 프로세싱 회로는 복수의 HD 이미지 데이터 프레임으로 상기 무손실 세그먼트를 패킹하고(pack); 상기 HD 이미지 데이터 프레임을 병렬로 상기 이미지 데이터 출력 경로로 전송하도록 구성된다. 상기 프로세싱 회로는 SMPTE 비디오 프로세서에 연결된 비디오 아키텍처 터릿(video architecture turret)을 포함한다. 상기 비디오 아키텍처 터릿은 복수의 원시 UHD 데이터 스트림을 수신하고, 720p60 비디오 포맷(720p60 video format)으로 8개의 병렬 채널(eight parallel channels)에 걸쳐 상기 원시 UHD 데이터 스트림(raw UHD data streams)을 확산하도록(spread) 구성된다. 또한, 상기 프로세싱 회로는 상기 720p60 비디오 포맷으로 상기 8개의 병렬 채널에서 상기 비디오 아키텍처 터릿으로부터 상기 확산된 원시 UHD 데이터를 수신하고; 상기 메타데이터를 생성하고; 상기 하나 이상의 메타데이터 출력 경로를 통해 1080p60 비디오 포맷으로 상기 메타데이터 및 상기 확산된 원시 UHD 데이터를 출력하도록 구성된다.

본 발명의 다른 측면에 따르면, 비디오 프로세싱 회로는 상기 이미지 데이터 출력 경로와 연결되고, 상기 메타데이터 출력 경로에 연결된다. 상기 비디오 프로세싱 회로는, 상기 메타데이터 출력 경로에서 수신된 상기 메타데이터를 기초로, 상기 이미지 데이터 출력 경로에서 수신된 상기 원시 UHD 데이터를 언패킹하고(unpack) 버퍼링하도록(buffer) 구성된다.

본 개시의 다른 측면은 UHD 센서 데이터 프로세싱 방법(UHD sensor data processing method)을 포함한다. 상기 방법은, UHD 센서로부터 원시 UHD 데이터를 수신하는 단계; 상기 원시 UHD 데이터를 무손실 세그먼트(lossless segments)로 분할하는 단계; 상기 무손실 세그먼트를 병렬로 복수의 이미지 데이터 출력 경로로 전송하는 단계를 포함한다. 또한, 상기 방법은, 상기 무손실 세그먼트로부터 상기 원시 UHD 데이터의 재구성(reconstruction)을 하게 하는(facilitates) 인코딩된 정보를 포함하는 메타데이터를 생성하는 단계; 및 상기 메타데이터를 상기 이미지 데이터 출력 경로와 함께 병렬로 하나 이상의 메타데이터 출력 경로로 전송하는 단계를 포함한다.

본 개시의 일 측면에 따르면, 상기 방법은 또한 복수의 HD 이미지 데이터 프레임으로 상기 무손실 세그먼트를 패킹하는(pack) 단계; 및 상기 HD 이미지 데이터 프레임을 병렬로 상기 이미지 데이터 출력 경로로 전송하는 단계를 포함한다. 본 개시의 다른 측면에 따르면, 상기 방법은 720p60 비디오 포맷으로 8개의 병렬 채널에 걸쳐 상기 원시 UHD 데이터 스트림을 확산시키는 단계; 상기 720p60 비디오 포맷으로 상기 8개의 병렬 채널에서 비디오 아키텍처 터릿으로부터 상기 확산된 원시 UHD 데이터를 수신하는 단계; 및 상기 하나 이상의 메타데이터 출력 경로를 통해 1080p60 비디오 포맷으로 상기 메타데이터 및 상기 확산된 원시 UHD 데이터를 출력하는 단계를 포함한다.

본 발명의 다른 측면에 따르면, 상기 방법은 상기 메타데이터를 기초로 상기 이미지 데이터 출력 경로로부터의 상기 원시 UHD 데이터를 언패킹(unpacking) 및 버퍼링하는(buffering) 단계; 및 상기 메타데이터에 기초하여 상기 이미지 데이터 출력 경로로부터의 상기 무손실 세그먼트를 다시 어셈블링하여(reassembling), 상기 원시 UHD 데이터를 재구성하는 단계를 포함한다.

본 발명의 개념의 상술된 특징 및 다른 특징은, 첨부된 도면을 참조하여 그 예시적인 실시예를 상세히 설명함으로써, 보다 명백해질 것이다.

도 1은 본 개시의 일 측면에 따른 UHD 센서 데이터 프로세싱 시스템의 도면이다.
도 2는 본 개시의 일 측면에 따른 UHD 센서 데이터를 프로세싱하기 위한 방법을 나타내는 프로세스 흐름도이다.
도 3은 UHD 센서 데이터 프로세싱 시스템의 예시적인 실시예에 대한 도면이다.
도 4는 본 개시의 일 측면에 따라 16 비트 픽셀 포맷을 갖는 이미지 프레임으로 패킹되고 있는 8 비트 픽셀 포맷의 UHD 이미지 프레임에 대한 도면이다.
도 5는 본 개시의 일 측면에 따라 1280 Х 720 픽셀 프레임으로 세그먼트화된(segmented) UHD 이미지 데이터에 대한 도면이다.

본 개시의 측면은, 기존의 HD 비디오 아키텍처를 이용하여 하나 이상의 UHD 이미지 센서로부터의 UHD 비디오 데이터에 대한 무손실 통신 및 프로세싱을 위한 시스템 및 방법을 포함한다. 본 개시의 측면에 따르면, 현재 이용가능한 비디오 아키텍처를 이용하여 UHD 비디오 데이터에 대해 프로세싱하는 것은, 하나 이상의 UHD 센서로부터의 UHD 비디오 데이터를 관리 가능한 세그먼트로 분할하는(breaking up) 것을 포함한다. 세그먼트들은 결합되고(combined), HD 비디오의 멀티 채널(multiple channels)로 확산된다. 예시적인 실시예에서, UHD 비디오 데이터는 30Hz의 5K x 5K 프레임(5K x 5K frames @ 30Hz)으로 UHD 센서로부터 제공될 수 있으며, 상기 프레임은 720p60 세그먼트로 분할된다. 예시적인 실시예에서, 세그먼트는 SMPTE424M 1080p60 비디오의 멀티 채널로 결합된다.

일부 공통적으로 사용되는 UHD 이미지 센서들은 프레임 당 5120 x 5120 픽셀을 갖는 이미지 프레임들을 생성한다. 그러나, 본 개시의 측면에 따라, "UHD 센서" 는 상이한 프레임 크기 및 픽셀 크기를 생성하는 다수의 상이한 유형의 이미지 센서를 지칭할 수 있다. 예를 들어, 일부 UHD 이미지 센서들은 4K x 4K 픽셀들을 갖는 이미지 프레임들을 생성하며, 픽셀 당 12 비트 또는 픽셀 당 10 비트를 가질 수 있다. 본원에서 사용되는 용어 "UHD 센서"는 특정 유형의 센서 또는 특정 프레임 크기 또는 픽셀 크기로 제한되지 않는다.

본 발명의 다른 측면에 따르면, 복수의 SMPTE 피드(multiple SMPTE feeds)는, 세그먼트들이 UHD 센서 데이터로부터 생성되는 방법을 기술한 메타데이터에 기초하여 단일 UHD 비디오 피드(single UHD video feed)로 재구성된다.

개시된 UHD 비디오 프로세싱 시스템 및 방법의 예시적인 실시예는 복수의 720p 비디오 프레임 버퍼들을 사용하여, 하나 이상의 UHD 이미지 센서들로부터 큰 포맷 비디오를 분할하여(break apart) 인코딩한다. UHD 이미지 센서들로부터의 이미지 데이터는 멀티-채널 720p HD 비디오 아키텍처에 걸쳐 확산된다. 로버스트 인코딩 방식(robust encoding scheme)은 원시 이미지 데이터의 부분이 복수의 채널을 통해 분산되고(distributed) 원본 UHD 비디오 데이터의 무손실 재구성을 가능하게 하는 메타데이터를 생성한다.

본 개시의 일 측면에 따른 UHD 센서 데이터 프로세싱 시스템의 예시적인 실시예가 도 1 을 참조하여 설명된다. 시스템(100)은 원시 UHD 데이터 입력 경로(106)를 통해 UHD 이미지 센서(104)에 연결된 UHD 세그먼트화 회로(UHD segmentation circuitry)(102)를 포함한다. 예시적인 실시예에서, 시스템(100)은 또한 복수의 이미지 데이터 출력 경로(110) 및 하나 이상의 메타데이터 경로들(112)를 통해 UHD 세그먼트화 회로(102)에 연결된 비디오 프로세싱 회로(108)를 포함한다. 데이터 출력 경로(110) 및 메타데이터 경로(112)는 동일한 도전성 경로 상에 공존할 수 있거나, 또는 별도의 도전성 경로들 상에서 대안적으로 구성될 수 있다.

예시적인 실시예에서, UHD 세그먼트화 회로(102)는 프로세서 회로에 연결된 메모리 회로를 포함한다. 프로세서 회로는 UHD 센서로부터의 원시 UHD 데이터를 수신하고, 원시 UHD 데이터를 무손실 세그먼트들로 분할하고(divide), 무손실 세그먼트들을 이미지 데이터 출력 경로들 상에 병렬로 전송하도록 구성된다. 예시적인 실시예에서, 프로세서 회로는 또한 무손실 세그먼트들로부터의 원시 UHD 데이터의 재구성을 용이하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하고, 메타데이터를 메타데이터 출력 경로 상으로 전송하도록 구성된다.

본 개시의 일 측면에 따른 UHD 센서 데이터를 프로세싱하기 위한 방법이 도 2를 참조하여 설명된다. 방법(200)은, 블록(202)에서 도 1의 UHD 센서(104)와 같은 UHD 센서로부터 원시 UHD 이미지 데이터를 수신하는 단계; 및 블록(204)에서 원시 UHD 데이터를 무손실 세그먼트로 분할하는 단계를 포함한다. 일 실시예에서, 이는 예를 들어 일련의 FPGA 및 프로세싱 시스템을 포함할 수 있는 UHD 세그먼트화 회로(예를 들어, 도 1의 102)에 의해 수행된다. 예시적인 실시예에서, 디지털 비디오 프로세서(DVP: Digital Video Processor) 회로 카드(circuit card)는 센서로부터의 비디오를 취하고(takes in), 상기 비디오를 복수의 720p 이미지로 분할한다. 방법(200)은 또한 블록(206)에서 무손실 세그먼트들을 병렬로 복수의 이미지 데이터 출력 경로 상으로 전송하는 단계를 포함한다. 이는 또한 UHD 세그먼트화 회로(예를 들어, 도1의 102) 내의 일련의 FPGA 및 프로세싱 시스템에 의해 수행된다. 상기 방법은 또한 블록(208)에서 무손실 세그먼트들로부터 원시 UHD 데이터의 재구성을 용이하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하는 단계; 및 블록(210)에서 이미지 데이터 출력 경로들과 병렬로 하나 이상의 메타데이터 출력 경로들 상으로 메타데이터를 전송하는 단계를 포함한다.

예시적인 실시예에서, SMPTE 비디오 프로세서(SVP: SMPTE Video Processor) 회로 카드는 DVP로부터의 720p 이미지들을 취하고, 상기 이미지들을 적절하게 포맷된 SMPTE 1080p 비디오 프레임들로 분할하고, 적절하게 포맷된 SMPTE 메타데이터를 보조 비디오 스페이스(ancillary video space)에 추가한다. 메타데이터는 프레임의 시작(start) 및 프레임의 끝(end)의 픽셀 위치(pixel location), 프레임 레이트(frame rate), 비트 깊이(bit depth), 비트 패킹 모드(bit packing mode) 등과 같은 패킹 세부 사항(packing details)을 포함한다. 동일한 메타데이터 스페이스(metadata space)는 가시선(line of sight)을 제공하기 위한 조건(provisions), 또는 각각의 적용가능한 프레임에 대해 지정된(pointed) 센서의 위치를 나타내는 포인팅 정보(pointing information)를 가지므로, 센서에 의해 캡처된 UHD 비디오 프레임에 콘텍스트(context)를 추가하기 위해 이러한 정보가 사용될 수 있다.

본 개시의 일 측면에 따른 이미지 데이터 프로세싱 시스템의 다른 예시적인 실시예가 도 3을 참조하여 설명된다. 예시적인 실시예에서, 시스템(300)은 UHD 세그먼트화 회로(304)에 연결된 UHD 이미지 센서(302)를 포함한다. UHD 이미지 센서(302)는 도 1 에 도시된 UHD 이미지 센서(104)의 예시적인 구현이다. UHD 세그먼트화 회로(310)는 도 1 에 도시된 UHD 세그먼트화 회로(102)의 예시적인 구현이다.

UHD 이미지 센서(302)는 5k Х 5k 픽셀 포맷을 갖는 이미지 프레임을 생성한다. 이러한 예시적인 실시예에서, 2 개의 720p 호환 HD 카메라(720p compatible HD cameras)( 306, 308)는 또한 UHD 세그먼테이션 회로(304)에 연결된다. 720p 호환 카메라들 중 제1 카메라는 1280 Х 720 포맷을 갖는 이미지 프레임들을 생성하는 중파 적외선 카메라(medium wave infrared camera)(306)이다. 720 호환 카메라들 중 제2 카메라는 1280 x 720 포맷을 갖는 이미지 프레임을 생성하는 단파 적외선 카메라(short wave infrared camera)(308)이다.

예시적인 실시예에서, 상기 시스템은 예를 들어 SMPTE424M 표준(SMPTE424M standard)과 같은 SMPTE 표준에 부합하여 데이터를 전송하도록 구성된다.

본 개시의 측면에 따르면, 하나 이상의 UHD 센서(302)는 UHD 세그먼트화 회로(304)에 연결될 수 있고, 복수의 상이한 UHD 프레임 포맷들로 UHD 세그먼트화 회로(304)에 UHD 비디오 데이터를 제공할 수 있다. 또한, 하나 이상의 720p 호환 이미지 센서(미도시)는 UHD 세그먼트화 회로(304)에 연결될 수 있고, 다양한 720p 프레임 포맷으로 UHD 세그먼트화 회로(304)에 비디오 데이터를 제공할 수 있다.

예시적인 실시예에서, UHD 세그먼트화 회로(304)는, UHD 이미지 센서(302)에 연결되고, 고속 카메라 인터페이스(high speed camera interface)를 통해 720p 호환 HD 카메라(306, 308)에 연결된 비디오 아키텍처 터릿(video architecture turret)(310)을 포함한다. 또한, UHD 세그먼트화 회로(304)는 슬립 링 인터페이스(slip ring interface)(314)와 같은 인터페이스를 통해 병렬 전달로(via a parallel pass through interface) 비디오 아키텍처 터릿(310)에 연결된 SMPTE 비디오 프로세서(312)를 포함한다.

비디오 아키텍처 터릿(310)은 UHD 이미지 센서(302)로부터의 UHD 이미지 데이터를 패킹하고, 예를 들어, 720p60Hz 비디오로 8 개의 표준 720p 병렬 출력 채널(parallel output channels) 중 6 개의 채널에 걸쳐 확산시킨다. 또한, 비디오 아키텍처 터릿(310)은 720p 호환 카메라(306, 308) 각각으로부터의 표준 720p 이미지 데이터를 720p60Hz 비디오로 8 개의 표준 720p 병렬 출력 채널 중 나머지 2 개의 각각의 채널로 전송한다.

SMPTE 비디오 프로세서(312)는 비디오 아키텍처 터릿(310)로부터 8 개의 병렬 입력 채널들을 수신하고, UHD 이미지 데이터에 대한 언패킹 및 재구성을 용이하게 하기 위한 패킹 및 확산 정보(packing and spreading information)를 갖는 VANC를 사용하여 KLV (키-길이-값(Key - Length - Value)) 메타데이터를 삽입한다. 당업자는 VANC(수직 보조(vertical ancillary))가 비디오 신호에 비디오가 아닌 정보(non-video information)를 삽입하는(embedding) 통상적인 기술이라는 것을 알 것이다. 예를 들어, 메타데이터는 예를 들어 프레임의 시작 및 프레임의 끝의 픽셀 위치(행, 열), 프레임 레이트(30, 60), 비트 깊이(8,10,12,16), 및 비트 패킹 모드(픽셀 당 2 바이트, 픽셀 당 1 바이트 등)와 같은 패킹 세부 사항을 포함한다. 동일한 메타데이터 스페이스는 가시선을 제공하기 위한 조건(관성 측정 장치(IMU: Inertial Measurement Unit), 자이로(gyro), 가속도계, 리졸버(resolvers), 서보 스테이트(servo state), 인코더 피드백(encoder feedback), 초점 정보(focus information), 광학 시스템(system optics)의 온도 등), 및/또는 각각의 적용가능한 프레임에 대해 지정된 센서의 위치를 나타내는 포인팅 정보를 가진다. 메타데이터 내 정보는 센서에 의해 캡처된 UHD 비디오 프레임에 콘텍스트를 추가하기 위해 사용될 수 있다. SMPTE 비디오 프로세서(312)는 또한 각각의 이미지 프레임에 대해 고유 식별자(unique identifier)를 삽입한다.

예시적인 실시예에서, 백 엔드 프로세서 회로(back-end processor circuitry)(316)는 UHD 세그먼트화 회로(304)에 연결되어, SMPTE 비디오 프로세서(312)로부터의 메타데이터와 함께 확산되고 패킹된 UHD 이미지 데이터를 수신한다. 백 엔드 프로세싱 회로(316)는 도 1에 도시된 비디오 프로세싱 회로(108)의 예시적인 구현이고, 복수의 출력들을 포함한다. 예를 들어, 백 엔드 프로세싱 회로의 출력은, 표준 비디오 디스플레이 상에서 디스플레이하기 위해 압축(compressed)/프로세싱될 수 있거나, 또는 이동 객체에 대한 추적(tracks) 등을 나타내는 추적 데이터(track data)일 수 있다. 백 엔드 프로세서 회로(316)는 KLV 메타데이터를 판독하고, UHD 이미지 센서(302)로부터의 UHD 이미지 데이터에 대해 무손실 재구성을 수행하여, UHD 비디오의 풀 프레임(full frames)을 생성 및 버퍼링한다. 예를 들어, 백 엔드 프로세서 회로(316)는 또한 타겟(targets)을 식별하도록 구성될 수 있고, 버퍼링된(buffered) UHD 비디오로부터 추적 정보를 생성한다.

도 4를 참조하면, 예시적인 실시예에서, 5120 x 5120 8 비트 픽셀 포맷(402)인 UHD 이미지 프레임은, 8 비트 픽셀의 쌍을 단일 16 비트 픽셀로 패킹하는 것으로 5120 x 2560 16 비트 픽셀 프레임(404)으로 매핑(mapping)함으로써 패킹된다. 예를 들어, 이는 도 3의 비디오 아키텍처 터릿(310)에 의해 수행되어, 기존의 16 비트 픽셀 비디오 아키텍처를 이용함으로써 슬립 링에 걸쳐 요구되는 대역폭을 감소시킬 수 있다. 이는 1/2(half) 만큼 필요로 하는 대역폭을 효과적으로 차단한다(cuts). 대안적으로, 이러한 패킹은 비디오 프로세서(312)에 의해 수행될 수 있다. 그러나, 슬립 링(314) 이전에 비디오 아키텍처 터릿(310)으로 픽셀을 패키징하는(packaging) 것은 비디오 프로세서(312) 이전에 슬립 링에서 발생할 수 있는 데이터 병목(data bottlenecks)을 완화하는 것을 도울 수 있다.

도 5를 참조하면, 예시적인 실시예에서, 5120 x 5120 이미지 프레임에 포함된 각각의 25 메가 픽셀(25 mega-pixels)의 이미지 데이터는, 픽셀 당 16 비트를 갖는 16 개의 1280 Х 720 프레임으로 이미지 당 5k Х 5k 8 비트를 분할함으로써(breaking up), 720 비디오 아키텍처와의 호환성을 위해 변환된다. 이는 16 비트 픽셀을 갖는 16 개의 1280 x 720 프레임(502)을 도출한다. 본 개시의 측면에 따르면, 프레임(0 - 7)은 제1 60 Hz 클록 사이클(first 60 Hz clock cycle)에서 병렬로 슬립 링(도 3의 314)을 걸쳐 전송된다. 프레임(8 - 15)은 제2 60 Hz 클록 사이클(second 60 Hz clock cycle)에서 병렬로 슬립 링(도 3의 314)을 걸쳐 전송된다. 1280 x 720 60 Hz 프레임(502) 중 8 개의 프레임 각각은 비디오 프로세서(도 3의 312)에 포함된 SMPTE 비디오 프로세서 프레임 메모리에 저장된다. 이러한 예시적인 실시예에서, SMPTE 비디오 프로세서 프레임 메모리는, 예를 들어 30Hz 사이클마다 적용 가능한 추가적인 데이터 전송을 위해 사용될 수 있는 초과 메모리 스페이스(excess memory space)(504)를 가진다. KLV 메타데이터는 예를 들어 프레임의 시작 및 프레임의 끝의 픽셀 위치(행, 열), 프레임 레이트(30, 60), 비트 깊이(8,10,12,16), 및 비트 패킹 모드(픽셀 당 2 바이트, 픽셀 당 1 바이트 등)와 같이 적용 가능한 패킹 및 확산 정보로 업데이트된다. 고유 프레임 ID(Unique frame identification)(ID), 이미지 센서에서 광자(photons)에 대한 정밀 타임스탬프(precision timestamp)(초, UTC 시간과 모두 상관되는 분초(fractional second)) 수신 등이다. 동일한 메타데이터 스페이스는 가시선을 제공하기 위한 조건(IMU, 자이로, 가속도계, 리졸버, 서보 스테이트, 인코더 피드백, 초점 정보, 광학 시스템의 온도 등); 및 각각의 적용가능한 프레임에 대해 지정된 센서의 위치를 나타내는 포인팅 정보를 가지므로, 이러한 정보는 센서에 의해 캡처된 UHD 비디오 프레임에 콘텍스트를 추가하기 위해 사용될 수 있다. 또한, SMPTE 비디오 프로세서(312)는 또한 각각의 이미지 프레임에 대해 고유 식별자(unique identifier)를 삽입한다. 또한, 메타데이터는 KLV 메타데이터를 포함하는 SMPTE242M 비디오에서 픽셀 당 20 비트를 갖는 1920 x 1080 60 Hz 프레임의 4 개의 채널을 생성 및 출력하기 위해 각각의 프레임에 대해 고유 식별자를 포함한다.

메모리 스페이스(504)의 크기(amount)는, 1280x720 프레임의 8 개의 병렬 720p 채널이 약 7.37백만 픽셀을 사용하는 것을 고려함으로써 알(observed) 수 있다. 720p 프레임은 초당 60 프레임 또는 프레임 당 16.667 밀리초로 실행되므로, UHD 센서보다 2 배로 빠르고, 7.37백만 픽셀은 약 14.75백만 픽셀로 2배가 된다. 5120X5120 픽셀 UHD 센서(도 3의 303)는 초당 30 프레임 또는 프레임 당 33.333 밀리초로 실행된다. 2 개의 8 비트 픽셀들은 각각의 720p 16 비트 픽셀로 패킹되기 때문에, 각각의 프레임은 유효 2560x5120 픽셀 크기로 감소된다. 이는 UHD 프레임 당 약 13.1 백만 픽셀을 도출한다. 30Hz UHD 프레임(33.333ms)마다, UHD 센서 데이터를 패킹하기 위해 이용가능한 16개의 720p 프레임이 있다. 따라서, 33.33ms마다 또는 30Hz 속도로 약 13.1 백만 UHD 픽셀을 패킹하기 위해 약 4.75 백만 픽셀이 이용 가능하다. 이러한 예시적인 실시예에서, 30 Hz UHD 프레임마다 이용 가능한 초과 메모리 스페이스(504)는, 약 1.65 백만 픽셀로 동일한 14.75 백만 및 13.1 백만 사이의 차이다.

본 개시의 측면들은 본 개시의 예시적인 실시예들을 참조하여 구체적으로 도시되고 설명되었으나, 다음의 청구항에 의해 정의된 본 개시의 범위를 벗어나지 않고 본원에서 다양한 형태 및 세부 사항에서의 변경이 이루어질 수 있다는 것을 당업자는 이해할 것이다.

Claims

센서 데이터 프로세싱 장치에 있어서,
프로세서 회로;
상기 프로세싱 회로에 연결된 원시 UHD 데이터 입력 경로;
상기 프로세싱 회로에 병렬로 연결된 복수의 이미지 데이터 출력 경로; 및
상기 이미지 데이터 출력 경로와 병렬로 상기 프로세싱 회로에 연결된 하나 이상의 메타데이터 출력 경로
를 포함하고,
상기 프로세싱 회로는,
UHD 센서로부터 상기 원시 UHD 데이터를 수신하고;
상기 원시 UHD 데이터를 무손실 세그먼트로 분할하고;
상기 무손실 세그먼트를 병렬로 상기 이미지 데이터 출력 경로로 전송하고;
상기 무손실 세그먼트로부터 상기 원시 UHD 데이터의 재구성을 하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하고;
상기 메타데이터를 상기 메타데이터 출력 경로로 전송하도록 구성된,
장치.
제1항에 있어서,
상기 프로세싱 회로는,
복수의 HD 이미지 데이터 프레임으로 상기 무손실 세그먼트를 패킹하고(pack);
상기 HD 이미지 데이터 프레임을 병렬로 상기 이미지 데이터 출력 경로로 전송하도록 구성된,
장치.
제1항에 있어서,
상기 원시 UHD 데이터 입력 경로에 연결된 UHD 이미지 센서
를 더 포함하는 장치.
제3항에 있어서,
상기 이미지 데이터 출력 경로와 연결되고, 상기 메타데이터 출력 경로에 연결된 비디오 프로세싱 회로
를 더 포함하는 장치.
제4항에 있어서,
상기 비디오 프로세싱 회로는,
상기 메타데이터 출력 경로에서 수신된 상기 메타데이터를 기초로, 상기 이미지 데이터 출력 경로에서 수신된 상기 원시 UHD 데이터를 언패킹하고(unpack) 버퍼링하도록(buffer) 구성된,
장치.
제1항에 있어서,
상기 복수의 이미지 데이터 출력 경로는,
1080p 비디오 출력 채널
을 포함하는 장치.
제1항에 있어서,
상기 메타데이터 출력 경로는,
1080p 비디오 출력 채널
을 포함하는 장치.
제1항에 있어서,
복수의 원시 UHD 데이터 스트림을 수신하고, 720p60 비디오 포맷으로 8개의 병렬 채널에 걸쳐 상기 원시 UHD 데이터 스트림을 확산하도록 구성된 비디오 아키텍처 터릿(video architecture turret)
을 포함하는 장치.
제8항에 있어서,
SMPTE 비디오 프로세서
를 더 포함하고,
상기 SMPTE 비디오 프로세서는,
상기 720p60 비디오 포맷으로 상기 8개의 병렬 채널에서 상기 비디오 아키텍처 터릿으로부터 상기 확산된 원시 UHD 데이터를 수신하고;
상기 메타데이터를 생성하고;
상기 하나 이상의 메타데이터 출력 경로를 통해 1080p60 비디오 포맷으로 상기 메타데이터 및 상기 확산된 원시 UHD 데이터를 출력하도록 구성된,
장치.
센서 데이터 프로세싱 방법에 있어서,
UHD 센서로부터 원시 UHD 데이터를 수신하는 단계;
상기 원시 UHD 데이터를 무손실 세그먼트로 분할하는 단계;
상기 무손실 세그먼트를 병렬로 복수의 이미지 데이터 출력 경로로 전송하는 단계;
상기 무손실 세그먼트로부터 상기 원시 UHD 데이터의 재구성을 하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하는 단계; 및
상기 메타데이터를 상기 이미지 데이터 출력 경로와 함께 병렬로 하나 이상의 메타데이터 출력 경로로 전송하는 단계
를 포함하는 방법.
제10항에 있어서,
복수의 HD 이미지 데이터 프레임으로 상기 무손실 세그먼트를 패킹하는(pack) 단계; 및
상기 HD 이미지 데이터 프레임을 병렬로 상기 이미지 데이터 출력 경로로 전송하는 단계
를 더 포함하는 방법.
제10항에 있어서,
상기 복수의 이미지 데이터 출력 경로는,
1080p 비디오 출력 채널
을 포함하는 방법.
제10항에 있어서,
상기 메타데이터 출력 경로는,
1080p 비디오 출력 채널
을 포함하는 방법.
제10항에 있어서,
720p60 비디오 포맷으로 8개의 병렬 채널에 걸쳐 상기 원시 UHD 데이터 스트림을 확산시키는 단계
를 포함하는 방법.
제14항에 있어서,
상기 720p60 비디오 포맷으로 상기 8개의 병렬 채널에서 비디오 아키텍처 터릿으로부터 상기 확산된 원시 UHD 데이터를 수신하는 단계; 및
상기 하나 이상의 메타데이터 출력 경로를 통해 1080p60 비디오 포맷으로 상기 메타데이터 및 상기 확산된 원시 UHD 데이터를 출력하는 단계
를 포함하는 방법.
제15항에 있어서,
상기 메타데이터를 기초로 상기 복수의 이미지 데이터 출력 경로로부터의 상기 원시 UHD 데이터를 언패킹(unpacking) 및 버퍼링하는(buffering) 단계
를 포함하는 방법.
제10항에 있어서,
상기 메타데이터에 기초하여 상기 이미지 데이터 출력 경로로부터의 상기 무손실 세그먼트를 다시 어셈블링하여(reassembling), 상기 원시 UHD 데이터를 재구성하는 단계
를 포함하는 방법.
센서 데이터 프로세싱 장치에 있어서,
원시 UHD 데이터 입력 경로에 연결된 프로세서 회로;
상기 원시 UHD 데이터 입력 경로에 직접 연결된 UHD 이미지 센서;
상기 프로세싱 회로에 병렬로 연결된 복수의 이미지 데이터 출력 경로; 및
상기 이미지 데이터 출력 경로와 병렬로 상기 프로세싱 회로에 연결된 하나 이상의 메타데이터 출력 경로
를 포함하는 장치.
제18항에 있어서,
상기 프로세서 회로는,
UHD 센서로부터 상기 원시 UHD 데이터를 수신하고;
상기 원시 UHD 데이터를 무손실 세그먼트로 분할하고;
상기 무손실 세그먼트를 병렬로 상기 이미지 데이터 출력 경로로 전송하고;
상기 무손실 세그먼트로부터 상기 원시 UHD 데이터의 재구성을 하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하고;
상기 메타데이터를 상기 메타데이터 출력 경로로 전송하도록 구성된,
장치.
제18항에 있어서,
상기 프로세싱 회로는,
복수의 HD 이미지 데이터 프레임으로 상기 무손실 세그먼트를 패킹하고(pack);
상기 HD 이미지 데이터 프레임을 병렬로 상기 이미지 데이터 출력 경로로 전송하도록 구성된,
장치.