KR102238372B1

KR102238372B1 - Uhd 이미지 데이터의 적응적 비트레이트 스트리밍

Info

Publication number: KR102238372B1
Application number: KR1020197028918A
Authority: KR
Inventors: 칼 에이. 우디; 타일러 레인 후크
Original assignee: 레이던 컴퍼니
Priority date: 2017-03-10
Filing date: 2018-02-01
Publication date: 2021-04-08
Also published as: AU2018230036B2; EP3593526A1; KR20190118664A; US11190724B2; US20210289145A1; EP4050884A1; AU2018230036A1; WO2018164785A1; IL269052B2; CN110383822B; IL269052A; US20180262711A1; CN110383822A

Abstract

센서 데이터 처리 장치는 상이한 유형의 복수의 이미지 센서에 연결될 수 있다. 상기 장치는, 센서 지리적 위치 정보를 기초로 각 프레임 또는 픽셀에서 이미징된 영역의 지리적 위치를 결정하고, 대응하는 프레임의 메타데이터 공간에 지리적 위치 정보를 인코딩한다. 상기 장치는, 지리적 위치 정보를 기초로 프레임의 에지 및/또는 코너를 인접한 프레임의 에지 또는 코너와 정렬하여, 프레임을 오버래핑하지 않고 모자이크 또는 파노라마 이미지를 함께 스티칭하도록 구성된다. 상기 장치는, 특징 등록을 수행하지 않고, 프레임을 리샘플링하지 않으며, 실시간으로 이미지 프레임을 함께 스티칭하도록 구상될(figured) 수 있다.

Description

UHD 이미지 데이터의 적응적 비트레이트 스트리밍

본 개시는 이미지 처리 아키텍처(image processing architectures) 분야에 관한 것이며, 보다 구체적으로, 초고화질 비디오 처리(ultra-high definition video processing) 분야에 관한 것이다.

대형 이미지 포맷(large image format)과 작은 픽셀 피치(small pixel pitch)를 가진 초고화질 (UHD: Ultra-High Definition) 이미지 센서는, 다양한 새로운 제품 및 적용에서 일반적으로 사용할 수 있게 되었다. 그러나, 통상적인 비디오 아키텍처는 일반적으로 UHD 센서의 대역폭 및 타이밍 요구 사항(timing requirements)을 지원하지 않는다. UHD 센서의 대역폭 및 타이밍 요구 사항을 지원하는 새로운 비디오 아키텍처가 개발되었으나, 그러나 이러한 새로운 비디오 아키텍처는 일반적으로 이전에 사용 가능한 하드웨어를 이용하지 않고 특정 용도로 처음부터 개발된다.

UHD 센서 기술의 향상은 기존의 많은 비디오 전송 아키텍처(video transport architectures)의 대역폭 및 전송 성능(transport capabilities)을 크게 초월한다. 고화질(HD: High Definition) 비디오를 전송하기 위해 설계 및 구성된 기존 비디오 하드웨어의 광범위한 인프라는 전 세계에 걸쳐 장비로 사용 및 설치된다. 이러한 인프라는 일반적으로 UHD 비디오 이미지 센서(UHD video image sensors)로부터 디스플레이 또는 최종 소비자(end-user)로 비디오 데이터를 전송하는 것을 지원하지는(support) 않는다.

기존 HD 비디오 아키텍처는 일반적으로 예를 들어, 영화 및 텔레비전 기술자 협회(SMPTE: Society of Motion Picture and Television Engineers) 표준 SMPTE 292M 및 SMPTE 424M과 같은 하나 이상의 표준 포맷(standard formats)을 준수하는 비디오 데이터의 스트림(streams)을 처리하도록 구성된다. 이러한 표준은 720p 고화질(HDTV) 포맷을 포함하며, 비디오 데이터는 720개의 수평 데이터 경로(horizontal data paths)와 16:9의 종횡비(aspect ratio)를 갖는 프레임으로 포맷된다. 예를 들어, SMPTE 292M 표준은 1280 x 720 픽셀의 해상도를 가지는 720p 포맷을 포함한다.

HD 비디오 데이터의 일반적인 전송 포맷(common transmission format)은 720p60이며, 720p 포맷의 비디오 데이터는 초당 60 프레임(frames)으로 전송된다. SMPTE 424M 표준은 1080p 포맷의 데이터가 초당 60 프레임으로 전송되는 1080p60 전송 포맷을 포함한다. 1080p 포맷의 비디오 데이터는 "풀 HD(full HD)"라고도 종종 지칭하며, 1920 x 1080 픽셀의 해상도를 가진다.

현재 사용되는 이미지 감지 시스템의 대부분은 일반적으로 사용되는 720p 표준과 같은 HD 비디오 표준을 준수하여 구축된다. 720p 표준 시스템의 1280 x 720 픽셀 프레임은 프레임 당 약 1.5 메가픽셀(megapixels)을 포함한다. 반면에, UHD 이미지 센서는 일반적으로 프레임 당 약 2,500만 픽셀을 가진 5k x 5k 포맷으로 이미지 프레임을 출력한다. 따라서, 720p 표준 시스템에 사용되는 1280 x 720 픽셀은 UHD 이미지 센서에 의해 생성되는 보다 더 많은 픽셀을 전송하기에는 거의 충분하지 않는다.

UHD 센서는 일반적으로 UHD 비디오 데이터 전송을 위해 특별히 설계된 비디오 아키텍처와 함께 사용된다. 이러한 새로운 비디오 아키텍처는 일반적으로 비디오 압축 기술을 활용하여(leverage) UHD 대역폭 및 타이밍 요구 사항을 지원한다. 현재 UHD 비디오 데이터 전송에 사용되는 일부 비디오 아키텍처는 병렬 인코더(parallel encoders) 또는 코덱(codecs) 및 데이터 압축(data compression)을 사용하여, UHD 비디오를 전송한다. 그러나, 압축의 사용은, 이러한 비디오 아키텍처가 원시 센서 데이터를 수신하는 것에 의존하는 최종 소비자에게 적합하지 않게 만든다.

레거시 하드웨어(legacy hardware)는 일반적으로 충분한 대역폭을 제공하지 않기 때문에, 차세대 이미지 센서에서 UHD 비디오를 전송하기 위해 레거시 하드웨어를 사용하는 것은 문제가 된다. 또한, 기존 비디오 아키텍처를 UHD 비디오 데이터를 전송하기 위한 새로운 아키텍처로 교체하는 것은, 이미 많은 양의 통상적인 비디오 처리 장비(conventional video processing equipment)를 구비한 사용자에게 비실용적이고/비실용적이거나 엄청난 비용을 지불할(prohibitively expensive) 수 있다.

기존 HD 비디오 아키텍처를 통해 전송하기 위해, UHD 이미지 센서의 이미지 데이터를 처리하도록, 다양한 공간 및 시간적 비디오 압축 기술(spatial and temporal video compression techniques)이 사용되었다. UHD 비디오 데이터는, 일반적으로 사람이 볼 수 있도록(human viewing) 가시 이미지(visible images) 및 비디오 스트림을 생성하기에 충분한 UHD 비디오 데이터를 유지하지만, 사람이 볼 수 있는(human viewable) 이미지 및 비디오 스트림을 필요로 하지 않는 UHD 이미지 센서에서 데이터를 잃거나 폐기하는 압축 알고리즘을 사용하여 압축된다.

그러나, 일부 이미지 처리 응용 프로그램에서, 개인 뷰어(human viewers)에 의해 인식할 수 없는 원시 이미지 센서 데이터를 추출, 분석 및/또는 저장하는 것은 바람직하다. 원시 이미지 센서 데이터에서 이러한 부가 정보(additional information)는, 예를 들어 컴퓨터 및 처리 회로에 의해 추출 및 처리될 수 있다. 이미지 센서에서 출력된 이미지 데이터 중 일부를 잃거나 폐기하는 압축 알고리즘(Compression algorithms)은 이러한 적용(applications)에 적합하지 않다.

UHD 센서의 데이터를 처리하기 위한 다른 통상적인 기술은, 일반적으로 UHD 센서의 특정 적용 분야에 대해 개발된 새로운 또는 독점적인 비디오 아키텍처의 사용을 포함한다. 이러한 기술은, 전 세계에 걸쳐 사용되는 널리 이용 가능한 HD 비디오 아키텍처를 이용하지 않기 때문에, 비용이 많이 들고 비효율적이다.

본 개시의 측면은, UHD 센서 데이터 처리 장치(UHD sensor data processing apparatus) 및 효율적 무손실 수집을 위한 UHD 데이터에 대한 방법(method for efficient and lossless collection and of UHD data)을 포함한다. 본 개시의 측면에 따른 센서 데이터 처리 장치(sensor data processing apparatus)는 처리 회로(processing circuitry)에 연결된(coupled) 원시 UHD 데이터 입력 경로(raw UHD data input path) 및 처리 회로와 병렬로 연결된 복수의 이미지 데이터 출력 경로(image data output paths)를 포함한다. 하나 이상의 메타데이터 출력 경로(metadata output paths)는 이미지 데이터 출력 경로와 병렬로 처리 회로에 연결된다.

처리 회로(processing circuitry)는 UHD 센서에서 원시 UHD 데이터를 수신하고, 원시 UHD 데이터를 무손실 세그먼트(lossless segments)로 분할하고(divide), 무손실 세그먼트를 이미지 데이터 출력 경로에 병렬로 전송하도록(direct) 구성된다. 또한, 프로세서 회로(processor circuitry)는, 무손실 세그먼트에서 원시 UHD 데이터의 재구성을 용이하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하고, 메타데이터를 메타데이터 출력 경로로 전송하도록 구성된다.

본 개시의 측면에 따르면, 현재 비디오 전송 아키텍처를 통해 UHD 센서로부터 디스플레이 또는 최종 소비자로 비디오 데이터를 전송하기 위한 개선된 방법 및 장치는, 병렬로 데이터를 전송하기 위한 복수의 물리적 연결(multiple physical connections)을 사용하는 방법 및 픽셀 패킹 방법(pixel packing methods)을 포함한다. 본 명세서에 공개된 방법은, 레거시 하드웨어(legacy hardware)의 대역폭 제한(bandwidth limitations)을 극복하고, 레거시 하드웨어가 차세대 이미지 센서(next generation image sensors)에서 UHD 비디오 데이터를 전송할 수 있게(enable) 한다.

또한, 본 개시의 측면은, 이용 가능한 자원의 최적 사용을 수용하기 위해 복수의 물리적 데이터 채널을 스케일링하기(scaling) 위한 방법, 및 복수의 SMPTE 424 HD 피드(multiple SMPTE 424 HD feeds)로부터 UHD 비디오 데이터의 동적 언패킹하기(dynamic unpacking) 위한 방법을 포함한다. 본 개시내용의 측면에 따르면, 언패킹된 데이터(unpacked data)는 실시간으로 디스플레이 및 시각화(visualization)를 위해 HD 이미지로 재조합될 수 있다.

본 발명 개념의 상기 특징들 및 다른 특징들은 첨부되는 도면을 참조하여 이러한 예시적인 실시예를 상세히 기술함으로써 더욱 명백해질 것이다.
도 1은 본 개시의 측면에 따른 UHD 센서 데이터 처리 시스템의 도면이다.
도 2는 본 개시의 측면에 따른 UHD 센서 데이터를 처리하기 위한 방법을 보여주는 프로세스 흐름도(process flow diagram)이다.
도 3은 UHD 센서 데이터 처리 시스템의 예시적인 실시예의 도면이다.
도 4는 본 개시의 측면에 따라 16비트 픽셀 포맷을 갖는 이미지 프레임에 패킹되는(packed) 8비트 픽셀 포맷의 UHD 이미지 프레임에 대한 도면이다.
도 5는 본 개시의 측면에 따라 1280 x 720 픽셀 프레임으로 세그먼트화된(segmented) UHD 이미지 데이터에 대한 도면이다.
도 6은 본 개시의 측면에 따른 대역폭 모니터 모듈을 포함하는 UHD 센서 데이터 처리 시스템의 예시적인 실시예의 도면이다.
도 7은 본 개시의 측면에 따라 이미지를 재구성하기 위한 메타데이터와 연관된 이미지의 복수의 프레임에 대한 도면이다.
도 8은 본 개시의 측면에 따라 메타데이터를 저장 및 전송하기 위한 메타데이터 공간을 각각 포함하는 비디오 스트림에 대한 도면이다.
도 9는 본 개시의 측면에 따라 비디오 데이터의 프레임을 전송하기 위한 방법을 보여주는 프로세스 흐름도이다.
도 10은 본 개시의 측면에 따라 전송되는 비디오 데이터의 비트 속도(bit rates)에 동적으로 적응하기(adapting) 위한 조절 모듈(throttle module)을 포함하는 UHD 센서 데이터 처리 시스템의 예시적인 실시예에 대한 도면이다.
도 11은 본 개시의 측면에 따른 상이한 데이터 속도(data rates)로 이미지의 상이한 프레임을 전송하기 위해 구성된 조절 모듈을 포함하는 UHD 센서 데이터 처리 시스템의 예시적인 실시예에 대한 도면이다.
도 12는 본 개시의 측면에 따른 UHD 이미지 센서로부터 비디오 데이터를 전송하는 방법을 보여주는 프로세스 흐름도이다.

본 개시의 측면은, 기존 HD 비디오 아키텍처를 이용한 하나 이상의 UHD 이미지 센서로부터 UHD 비디오 데이터의 무손실 통신 및 처리를 위한 시스템 및 방법을 포함한다. 본 개시의 측면에 따라 현재 이용 가능한 비디오 아키텍처를 사용하여 UHD 비디오 데이터를 처리하는 것은, 하나 이상의 UHD 센서로부터 UHD 비디오 데이터를 관리 가능한 세그먼트(manageable segments)로 분리하는(breaking up) 것을 포함한다. 세그먼트는 결합되어(combined) HD 비디오의 다중 채널(multiple channels)로 확산된다(spread). 예시적인 실시예에서, UHD 비디오 데이터는 30Hz에서 5K x 5K 프레임으로 UHD 센서로부터 제공될 수 있으며, 이는 720p60 세그먼트로 분리된다. 예시적인 실시예에서, 세그먼트는 SMPTE424M 1080p60 비디오의 다중 채널로 결합된다.

일반적으로 사용되는 일부 UHD 이미지 센서는 프레임 당 5120 x 5120 픽셀의 이미지 프레임을 생성한다. 그러나, 본 개시의 측면에 따르면, "UHD 센서"는 상이한 프레임 크기 및 픽셀 크기를 생성하는 복수의 상이한 유형의 이미지 센서를 지칭할 수 있다. 예를 들어, 일부 UHD 이미지 센서는 4K x 4K 픽셀을 갖는 이미지 프레임을 생성하며, 픽셀 당 12 비트(bits) 또는 픽셀 당 10 비트를 가질 수 있다. 본 명세서에서 사용되는 용어 "UHD 센서"는 특정 유형의 센서, 또는 특정 프레임 크기 또는 픽셀 크기로 한정되지 않는다.

본 개시의 또 다른 측면에 따르면, 복수의 SMPTE 피드(multiple SMPTE feeds)는 UHD 센서 데이터로부터 세그먼트가 생성된 방식을 기술하는 메타데이터를 기초로 단일 UHD 비디오 피드(single UHD video feed)로 재구성된다(reconstructed).

개시된 UHD 비디오 처리 시스템 및 방법의 예시적인 실시예는 복수의 720p 비디오 프레임 버퍼를 사용하고, 하나 이상의 UHD 이미지 센서로부터 대형 포맷 비디오(large format video)를 분리하고(break apart) 인코딩한다(encode). UHD 이미지 센서로부터의 이미지 데이터는 다중 채널(multi-channel) 720p HD 비디오 아키텍처에 걸쳐 분산된다. 강력한 인코딩 기법(robust encoding scheme)은 원시 이미지 데이터의 일부가 다중 채널을 통해 분산되는 방식을 기술하고, 원시 UHD 비디오 데이터를 무손실 재구성(lossless reconstruction)할 수 있는 메타데이터를 생성한다.

본 개시의 측면에 따른, UHD 센서 데이터 처리 시스템의 예시적인 실시예는, 도 1을 참조하여 기술된다. 시스템(100)은 원시 UHD 데이터 입력 경로(106)를 통해 UHD 이미지 센서(104)에 연결된 UHD 세그먼트화 회로(UHD segmentation circuitry)(102)를 포함한다. 예시적인 실시예에서, 시스템(100)은 또한 복수의 이미지 데이터 출력 경로(110) 및 하나 이상의 메타데이터 경로(112)를 통해 UHD 세그먼트화 회로(102)에 연결된 비디오 처리 회로(108)(video processing circuitry)를 포함한다. 데이터 출력 경로(110) 및 메타데이터 경로(112)는 동일한 전도성 경로(conductive pathway) 상에 공존할(coexist) 수 있거나, 대안적으로 별도의 전도성 경로 상에서 구성될 수 있다.

예시적인 실시예에서 UHD 세그먼트화 회로(102)는 프로세서 회로에 연결된 메모리 회로를 포함한다. 프로세서 회로는 UHD 이미지 센서(104)로부터 원시 UHD 데이터를 수신하고, 원시 UHD 데이터를 무손실 세그먼트로 분할하고, 무손실 세그먼트를 이미지 데이터 출력 경로(110)에 병렬로 전송하도록(direct) 구성된다. 예시적인 실시예에서, 프로세서 회로는 무손실 세그먼트로부터 원시 UHD 데이터의 재구성을 용이하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하고, 메타데이터를 메타데이터 출력 경로(112)로 전송하도록 구성된다.

본 개시의 측면에 따른 UHD 센서 데이터를 처리하기 위한 방법은, 도 2를 참조하여 기술된다. 방법(200)은, 블록(202)에서, 도 1의 UHD 이미지 센서(104)와 같은 UHD 센서로부터 원시 UHD 데이터를 수신하고, 블록(204)에서, 원시 UHD 데이터를 무손실 세그먼트로 분할하는 것을 포함한다. 예시적인 실시예에서 원시 UHD 데이터는 도 1의 UHD 세그먼트화 회로(102)에 의해 분할되며, UHD 세그먼트화 회로(102)는 예를 들어 일련의 FPGA 및 처리 시스템을 포함할 수 있다. 도 1의 UHD 세그먼트화 회로(102)는 UHD 이미지 센서(104)로부터 비디오를 수신하고 이를 복수의 720p 이미지로 분할하는 디지털 비디오 프로세서(DVP: Digital Video Processor) 회로를 포함한다. 방법(200)은 또한 블록(206)에서 도 1의 이미지 데이터 출력 경로(110)와 같은 복수의 이미지 데이터 출력 경로 상에 무손실 세그먼트를 병렬로 전송하는 것을 포함한다. 이는, 또한 UHD 세그먼트화 회로(102)에서 일련의 FPGA 및 처리 시스템에 의해 수행될 수 있다. 상기 방법은, 또한 블록(208)에서 무손실 세그먼트로부터 원시 UHD 데이터의 재구성을 용이하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하는 것과, 블록(210)에서 이미지 데이터 출력 경로(110)와 병렬로, 도 1의 메타데이터 출력 경로(112)와 같은 하나 이상의 메타데이터 출력 경로 상에서 메타데이터를 전송하는 것을 포함한다.

예시적인 실시예에서, 도 1의 UHD 세그먼트화 회로(102)는 DVP, 회로로부터 720p 이미지를 수신하는 SMPTE 비디오 프로세서(SVP: SMPTE Video Processor) 회로를 포함하고, 상기 이미지를 적절히 포맷된 SMPTE 1080p 비디오 프레임으로 분할하고, 적절하게 포맷된 SMPTE 메타데이터를 보조 비디오 공간(ancillary video space)에 부가한다(adds). 메타데이터는 프레임의 시작(start) 및 프레임의 종료(end)에 대한 픽셀 위치(pixel location), 프레임 속도(frame rate), 비트 깊이(bit depth), 비트 패킹 모드(bit packing mode)와 같은 패킹 세부사항(packing details)을 포함한다. 동일한 메타데이터 공간은 UHD 이미지 센서(104)가 각 해당되는 프레임(applicable frame)에 대해 포인팅되는 위치를 가리키는(indicating) 포인팅 정보(pointing information), 또는 시선 방향(line of sight)을 제공하는 것을 제공하므로, 이러한 정보는 UHD 이미지 센서(104)에 의해 캡처된 UHD 비디오 프레임에 문맥(context)을 부가하도록 사용될 수 있다.

본 개시의 측면에 따른 이미지 데이터 처리 시스템의 다른 예시적인 예는 도 3을 참조하여 기술된다. 예시적인 실시예에서, 시스템(300)은 UHD 세그먼트화 회로(304)에 연결된 UHD 이미지 센서(302)를 포함한다. UHD 이미지 센서(302)는 도 1에 도시된 UHD 이미지 센서(104)의 예시적인 구현이다. UHD 세그먼트화 회로(304)는 도 1에 도시된 UHD 세그먼트화 회로(102)의 예시적인 구현이다.

UHD 이미지 센서(302)는 5k x 5k 픽셀 포맷을 갖는 이미지 프레임을 생성한다. 이러한 예시적인 예에서, 2개의 720p 호환 HD 이미지 센서(compatible HD image sensors)(306, 308)는 또한 UHD 세그먼트화 회로(304)에 연결된다. 720p 호환 이미지 센서 중 제1 이미지 센서는 1280 x 720 포맷을 갖는 이미지 프레임을 생성하는 중파 적외선 이미지 센서(medium wave infrared image sensor)(306)이다. 720 호환 이미지 센서 중 제2 이미지 센서는 1280 x 720 포맷을 갖는 이미지 프레임을 생성하는 단파 적외선 이미지 센서(short wave infrared image sensor)(308)이다.

예시적인 실시예에서, 시스템(300)은 예를 들어 SMPTE424M 표준과 같은 SMPTE 표준을 준수하여 데이터를 전송하도록 구성된다.

예시적인 실시예에서, UHD 세그먼트화 회로(304)는 고속 이미지 센서 인터페이스(high speed image sensor interface)를 통해 UHD 이미지 센서(302) 및 720p 호환 HD 이미지 센서(306, 308)에 연결된 비디오 아키텍처 터릿(video architecture turret)(310)을 포함한다. 또한, UHD 세그먼트화 회로(304)는 슬립 링 인터페이스(slip ring interface)(314)와 같은 인터페이스를 통한 병렬 패스(parallel pass)를 통해 비디오 아키텍처 터릿(310)에 연결된 SMPTE 비디오 프로세서(312)를 포함한다.

예를 들어, 비디오 아키텍처 터릿(310)은, 720p60Hz 비디오와 같은 8 개의 표준 720p 병렬 출력 채널 중 6 개의 표준 720p 병렬 출력 채널에 걸쳐 UHD 이미지 센서 (302)로부터 UHD 이미지 데이터를 패킹 및 확산시킨다. 또한, 비디오 아키텍처 터릿(310)은, 720p60Hz 비디오와 같은 8 개의 표준 720p 병렬 출력 채널 중 나머지 2개의 표준 720p 병렬 출력 채널 각각에서, 720p 호환 이미지 센서(306, 308) 각각으로부터 표준 720p 이미지 데이터를 전송한다.

SMPTE 비디오 프로세서(312)는, 비디오 아키텍처 터릿(310)으로부터 8개의 병렬 입력 채널을 수신하고, UHD 이미지 데이터의 언패킹(unpacking) 및 재구성을 용이하게 하기 위해 패킹 및 확산 정보를 이용하는 수직 보조(VANC: Vertical ANCillary) 기술을 사용하여 KLV(키 - 길이 - 값(Key - Length - Value)) 메타데이터를 삽입한다. 당업자는 VANC가 비디오 신호에 비디오가 아닌 정보(non-video information)를 포함시키기(embedding) 위한 통상적인 기술임을 인식해야 한다. 예를 들어, 메타데이터는 예를 들어 프레임의 시작 및 프레임의 종료에 대한 픽셀 위치(행, 열), 프레임 속도(30, 60), 비트 깊이(8, 10, 12, 16), 및 비트 패킹 모드(bit packing mode)(픽셀 당 2바이트, 픽셀 당 1바이트 등)와 같은 패킹 세부 사항을 포함한다. 동일한 메타데이터 공간은 시선을 제공하는 것(관성 측정 장치(IMU: Inertial Measurement Unit), 자이로, 가속도계, 리졸버(resolvers), 서보 상태(servo state), 인코더 피드백(encoder feedback), 초점 정보(focus information), 광학계의 온도(temperatures of the system optics) 등) 및/또는 UHD 이미지 센서(302)에 의해 획득된 각 해당되는 프레임에 대해 UHD 이미지 센서(302)가 포인팅된 위치를 가리키는 포인팅 정보를 제공한다. 메타데이터의 정보는 UHD 이미지 센서(302)에 의해 캡처된 UHD 비디오 프레임에 문맥을 부가하는데 사용될 수 있다. 또한, SMPTE 비디오 프로세서(312)는 각 이미지 프레임에 대해 고유 식별자(unique identifier)를 삽입한다.

예시적인 실시예에서, 백-엔드 프로세서 회로(back-end processor circuitry)(316)는 SMPTE 비디오 프로세서(312)로부터의 KLV 메타데이터와 함께 비디오 아키텍처 터릿(310)으로부터 확산되고 패킹된 UHD 이미지 데이터를 수신하기 위해 UHD 세그먼트화 회로(304)에 연결된다. 백 엔드 처리 회로(back end processing circuitry)(316)는 도 1에 도시된 비디오 처리 회로(108)의 예시적인 구현이며, 복수의 출력을 포함한다. 예를 들어, 백 엔드 처리 회로(316)의 출력은 표준 비디오 디스플레이에 디스플레이하도록 압축/처리된 비디오일 수 있거나, 움직이는 객체(objects) 등에 대한 추적을 보여주는 추적 데이터(track data)일 수 있다. 백-엔드 프로세서 회로(316)는 KLV 메타데이터를 판독하고, UHD 이미지 센서(302)로부터 UHD 이미지 데이터에 대한 무손실 재구성을 수행하여, UHD 비디오의 전체 프레임을 생성 및 버퍼링한다(buffer). 백-엔드 프로세서 회로(316)는 또한 예를 들어 버퍼링된 UHD 비디오에서 타겟(targets)을 식별하고 추적 정보(tracking information)를 생성하도록 구성될 수 있다.

도 4를 참조하면, 예시적인 실시예에서 5120 x 5120 8 비트 픽셀 포맷의 UHD 이미지 프레임(402)은, UHD 이미지 프레임(402) 각각에서 2개의 8비트 픽셀 모두로부터의 데이터를 대응하는 5120 x 2560 16 비트 픽셀 프레임(404)의 단일 16비트 픽셀로 매핑함으로써, 5120 x 2560 16 비트 픽셀 프레임(404)으로 패킹된다. 이는 예를 들어, 도 3의 슬립 링 인터페이스(314)에 걸쳐 필요한 대역폭을 감소시키기 위해, 기존의 16 비트 픽셀 비디오 아키텍처를 활용함으로써, 도 3의 비디오 아키텍처 터릿(310)에 의해 수행될 수 있다. 이는 대역폭 요구(bandwidth need)를 절반(half)으로 효과적으로 줄인다(cuts). 대안적으로, 이러한 패킹은 SMPTE 비디오 프로세서(312)에 의해 수행될 수 있다. 그러나, 슬립 링 인터페이스(314) 이전에 비디오 아키텍처 터릿(310)에 의해 픽셀을 패키징하는(packaging) 것은, SMPTE 비디오 프로세서(312) 이전에 슬립 링 인터페이스(314)에서 발생할 수 있는 데이터 병목 현상을 완화하는 것을 돕는다.

도 5를 참조하면, 예시적인 실시예에서, 5120 x 5120 이미지 프레임에 포함된 원시 이미지 데이터의 각각 25 메가픽셀(25 mega-pixels)은, 도 2의 블록(204)에서 설명된 바와 같이 무손실 세그먼트로 분할된다. 5120 x 5120 프레임은 이미지 당 8비트의 5120 x 5210 프레임을 픽셀 당 16비트를 가지는 1280 x 720 프레임으로 분할하여, 720 비디오 아키텍처와의 호환성을 위해 변환된다. 이는 16 비트 픽셀을 가지는 16 개의 1280 x 720 프레임(502)을 야기한다. 본 개시의 측면에 따르면, 프레임(0 - 7)은 (도 3에 각각 도시된) 슬립 링(slip ring)(314)에 걸쳐 SMPTE 비디오 프로세서(312)로 비디오 아키텍처 터릿(310)에 의해 제1 60Hz 클럭 사이클(clock cycle)에서 병렬로 전송되며, 프레임(8 - 15)은 슬립 링 인터페이스(314)에 걸쳐 제2 60 Hz 클럭 사이클에서 병렬로 전송된다. 1280 x 720 60 Hz 프레임(502)의 각 8 개의 프레임은 SMPTE 비디오 프로세서(312)에 포함된 SMPTE 비디오 프로세서 프레임 메모리에 저장된다. 이러한 예시적인 실시예에서 SMPTE 비디오 프로세서 프레임 메모리는 적용 가능한 경우, 예를 들어 30Hz 사이클마다 부가적인 데이터 전송에 사용될 수 있는 초과 메모리 공간(excess memory space)(504)을 갖는다. KLV 메타데이터는, 예를 들어 프레임의 시작 및 프레임의 종료의 픽셀 위치(행, 열), 프레임 속도(30Hz, 60Hz), 비트 깊이(8, 10, 12, 16), 및 비트 패킹 모드(bit packing mode)(픽셀 당 2 바이트, 픽셀 당 1 바이트 등)와 같은 정보를 패킹하고 확산시키는 것이 적용 가능한 SMPTE 비디오 프로세서(312)에 의해 업데이트된다(updated). 고유 프레임 식별(Unique frame identification)(ID), 이미지 센서에서 광자(photons)에 대한 정밀 타임스탬프(precision timestamp)(UTC 시간과 상관된 모든 초, 분수 초(fractional seconds)) 수신 등. 동일한 메타데이터 공간은 시선을 제공하는 것(IMU, 자이로, 가속도계, 리졸버(resolvers), 서보 상태(servo state), 인코더 피드백(encoder feedback), 초점 정보(focus information), 광학계의 온도(temperatures of the system optics) 등), 또는 UHD 이미지 센서(302)가 각각의 적용 가능한 프레임에 대해 포인팅된 위치에 대한 포인팅 정보를 제공하므로, 이러한 정보는 UHD 이미지 센서(302)에 의해 캡처된(captured) UHD 비디오 프레임에 맥락(context)을 부가하는데 사용될 수 있다. 또한, 메타데이터는 KLV 메타데이터를 포함하는 SMPTE242M 비디오에서 픽셀 당 20 비트를 가지는 1920 x 1080 60Hz 프레임의 4 개의 채널을 생성하고 출력하는 각 프레임에 대한 고유 식별자(unique identifier)를 포함한다.

메모리 공간(504)의 크기(amount)는 1280x720 프레임의 8 개의 병렬 720p 채널이 약 737 만 픽셀을 사용한다는 점을 고려하여 관찰할 수 있다. 720p 프레임은, UHD 센서보다 두 배 빠른, 초 당 60프레임 또는 프레임 당 16.667 밀리초로 실행되기 때문에, 737 만 픽셀은 약 1475 만 픽셀로 두 배가 된다. 5120x5120픽셀 UHD 센서(303, 도3)는 초 당 30프레임 또는 프레임 당 33.333 밀리초로 실행된다. 두 개의 8 비트 픽셀이 각 720p 16비트 픽셀로 패킹되므로, 각 프레임은 효과적인 2560x5120 픽셀 크기(pixel size)로 감소된다. 이로 인해 UHD 프레임 당 약 1,310 만 픽셀이 생성된다. 모든 30Hz UHD 프레임(33.333ms)에 대해, UHD 센서 데이터를 패킹하는 데 이용할 수 있는 16 개의 720p 프레임이 있다. 따라서, 약 1,475 만 픽셀은 33.33ms 마다 또는 30Hz 속도로 약 1,310 만 UHD 픽셀을 패킹할 수 있다. 이러한 예시적인 실시예에서, 30Hz UHD 프레임마다 사용할 수 있는 초과 메모리 공간(504)은 약 165 만 픽셀과 동일한 1,475 만 내지 1,310 만 픽셀 사이의 차이(difference)이다.

시각화(visualization)를 위한 실시간의 비디오 데이터에 대한 재조합 및 손실(Reassembly and loss)은 기존 압축 기술을 사용하여 문제가 된다. UHD 비디오 데이터를 전송하기 위한 기존의 많은 상용 아키텍처(commercially available architectures)는 시간적인 압축(temporal compression)을 사용하고(employ), 이는 메타데이터 정확성과 무결성을 파괴하고, 비디오 프레임에 대한 메타데이터의 정렬(alignment)을 파괴하고, 해상도를 줄이고/줄이거나, 바람직하지 않은 지연(latencies)을 부가한다. UHD 비디오 데이터를 전송하기 위한 많은 기술은 프레임 속도를 유지하고 디스플레이된 비디오의 시각적 힘(visual appeal)을 유지하기 위해 최적화된다. 이러한 유형의 아키텍처는 모든 메타데이터의 데이터 정확성과 무결성이 프레임 속도보다 더 중요한 경우의 감시(surveillance)와 같은 많은 적용에서 UHD 비디오 데이터를 전송하는 데 적합하지 않다. 이러한 적용에서는, UHD 비디오 이미지 센서로부터 원시 비디오 데이터를 재구성하는 것이 중요하다.

본 개시의 측면은, 기존 HD 비디오 아키텍처를 사용하여, KLV 메타데이터를 사용하여 다중 비디오 채널(multiple video channels)에 걸쳐 가변 픽셀 카운트 소스 데이터(variable pixel count source data)를 인코딩한다. 가변 픽셀 카운트 소스 데이터는, 예를 들어 2 MP 소스 데이터 및 25 MP 소스 데이터를 포함할 수 있다.

본 개시의 측면에 따른, 복수의 SMPTE 424M 피드(multiple SMPTE 424M feeds)를 사용하여 UHD 비디오를 동적 스케일링(dynamic scaling), 언패킹 및 어셈블링하는(assembling) 것을 수행하는 SMPTE 물리 계층 관리자(SMPTE physical layer manager)를 포함하는 센서 데이터 처리 장치(sensor data processing apparatus)(600)는 도 6을 참조하여 설명된다.

예시적인 실시예에서, SMPTE 물리 계층 관리자는 SMPTE 비디오 프로세서(312)와 백엔드 프로세서(316) 사이의 복수의 물리적 데이터 경로(604)에 연결된 대역폭 모니터 모듈(bandwidth monitor module)(602)을 포함하며, 이는 도 3을 참조하여 상술되었다. 대역폭 모니터 모듈(602)은 비디오 프로세서(312)로부터 출력되는 물리적 데이터 경로(604)에서 이용 가능한 대역폭을 모니터링, 측정 및/또는 관리하도록 구성된다. 대역폭 모니터 모듈(602)은 또한 이용 가능한 대역폭의 활용(utilization)을 최적화하는 동적 비디오 확산(dynamic video spreading)을 수행하도록 구성된다.

본 개시의 측면에 따르면, 동적 비디오 확산은 큰 이미지를 분리하고(breaks up), 일련의 3Gbps SMPTE 표준 물리적 데이터 경로(3Gbps SMPTE standard physical data paths)(604)에 걸쳐 확산한다. 예시적인 실시예에서, 물리적 데이터 경로(604)는 6개의 SMPTE 424M 1080p60 채널을 포함한다. 본 개시의 다른 측면에 따르면, 대역폭 모니터 모듈(602)은 KLV 메타데이터 및 사용자 정의 필드(user defined fields)를 사용하여 동적 비디오 확산 기능(dynamic video spreading function)으로 통신하고, 메타데이터가 적용 가능한 비디오(applicable video)와 시간 정렬되는(time aligned) 것을 보장한다.

예시적인 실시예에서, 센서 데이터 처리 장치(600)는 처리 회로, 처리 회로에 연결된 원시 UHD 비디오 데이터 입력 경로, 및 처리 회로와 병렬로 연결된 복수의 이미지 데이터 출력 경로를 포함한다. 또한, 센서 데이터 처리 장치(600)는 이미지 데이터 출력 경로와 병렬로 처리 회로에 연결된 하나 이상의 메타데이터 출력 경로, 및 이미지 데이터 출력 경로에 연결된 대역폭 모니터 모듈(602)을 포함한다. 대역폭 모니터 모듈(602)은 센서 데이터 처리 장치(600)에서 복수의 물리적 데이터 경로에 연결된 이미지 센서(302, 306, 308) 각각에 의해 출력된 프레임 크기를 결정하고, 이미지 센서(302, 306, 308) 각각에 의해 출력된 각각의 프레임 크기에 기초하여 물리적 데이터 경로를 통해 이미지 센서(302, 306, 308)로부터의 전체 해상도 이미지(full resolution images)의 전송을 허용하는 제1 프레임 전송 속도를 계산하도록 구성된다. 대역폭 모니터 모듈(602)은 또한 복수의 물리적 데이터 경로에서 제1 프레임 전송 속도까지 데이터 전송 속도를 조절하도록(throttle) 구성된다.

예시적인 실시예에서, 대역폭 모니터 모듈(602)은 이용 가능한 대역폭을 활용하기 위해 비디오 확산을 최적화하기 위해 도 3의 비디오 아키텍처 터릿(video architecture turret)(310)과 통신하도록 구성된다. 예를 들어, 대역폭 모니터 모듈(602)은 KLV 메타데이터 및 사용자 정의 필드를 사용하여 비디오 아키텍처 터릿과 통신할 수 있다. 또한, 대역폭 모니터는 메타데이터가 UHD 데이터의 대응하는 비디오 데이터와 시간 정렬되는 것을 보장하도록 구성된다.

본 개시의 다른 측면에 따르면, 대역폭 모니터 모듈(602)은 비디오 데이터를 전체 해상도 및 제1 프레임 전송 속도로 전송하는 데 필요한 물리적 데이터 경로의 수를 동적으로 결정하도록 구성된다.

대역폭 모니터 모듈(602)은 연결된 센서의 수, 유형 및 모드에 기초하여 전체 해상도 및 제1 프레임 전송 속도로, 연결된 센서로부터 이미지를 전송하기에 충분한 물리적 데이터 경로의 양(quantity)을 결정한다. 제1 프레임 전송 속도는 예를 들어 실시간 또는 거의 실시간 전송 속도일 수 있다. 대역폭 모니터 모듈(602)은 제1 프레임 전송 속도로 전체 해상도에 충분한 물리적 데이터 경로의 양이 센서에 연결된 물리적 데이터 경로의 수보다 클 때, 프레임 전송 속도를 제2 프레임 전송 속도로 감소시킨다. 제2 프레임 전송 속도는 예를 들어, 센서로부터 디스플레이 또는 최종 소비자(end user)로 전체 해상도로 물리적 데이터 경로를 통해 프레임을 전송할 수 있도록 계산된다.

대역폭 모니터 모듈(602)은 이미지 센서 각각에 대해 각각의 유형 및 출력 모드를 결정하고, 이미지 센서의 각각의 유형 및 출력 모드에 기초하여 이미지 센서 각각에 대해 출력되는 프레임 크기를 결정하도록 구성될 수 있다.

도 7은 예시적인 실시예의 KVL 메타데이터의 예시적인 사용을 도시한다. 예시적인 실시예에서, 5120 픽셀 x 5120 라인을 갖는 이미지(700)는 복수의 1920 x 1080p 60Hz 프레임(702)으로 분할된다(broken up). 1920 x 1080p 60Hz 프레임(702) 각각은 더 큰 이미지(700)의 칩(chip)을 포함한다. 본 명세서의 측면에 따르면, KLV 메타데이터는 각각의 프레임(702)과 연관된다. KVL 메타데이터에는 칩이 더 큰 이미지에서 재조합될(reassembled) 때 위치될 위치를 나타내는 데이터를 포함한다. 본 개시의 측면에 따르면, KLV 메타데이터는, 인접 프레임의 에지를 함께 스티칭하여, 픽셀을 오버래핑하지 않고 모자이크 또는 파노라마 이미지를 생성하기 위해 사용될 수 있는, 시선 (LOS) 정보 및 위성항법시스템 (GPS) 정보와 같은 지리적 위치 정보를 또한 포함한다.

도 8을 참조하면, 병렬 비디오 스트림(parallel video streams)은 각각 자신의 수평 보조(HANC: Horizontal ANCillary) 메타데이터 공간(802) 및 VANC 메타데이터 공간(804)을 포함한다. 본 개시의 측면에 따르면, 각 프레임(806)에 대한 고유 시간 정렬된 패킹 및 확산 정보(unique time aligned packing and spreading information)가 각 VANC 메타데이터 공간(804)에 포함된다. 각 VANC 메타데이터 공간(804)에서 인코딩된 정보는 예를 들어, 타임 스탬프와 상관된(correlated) 시간대(time zone); 이미지의 시작 및/또는 중단 픽셀 위치(start and/or stop pixel location); 프레임에 포함된 이미지의 라인 길이 및 데이터 경로의 수; 픽셀 패킹 정보; 및 프레임 속도 정보와 같은 고유 프레임 식별자를 포함할 수 있다. 본 개시의 측면에 따르면, VANC는 예를 들어 시선 (LOS) 및 포인팅 정보, 및/또는 기체 또는 다른 센서 플랫폼의 위치를 정확하게 나타내는 위성항법시스템 정보를 또한 포함할 수 있다.

본 개시의 측면에 따라 비디오 데이터를 전송하기 위한 방법은 도 9를 참조하여 기술된다. 블록(902)에서, 방법(900)은 블록(902)에서 도 3의 시스템(300)과 같은 비디오 데이터 전송 장치에서 복수의 물리적 데이터 경로에 연결된 도 3의 각 이미지 센서(302, 306, 308)에 의해 출력되는 프레임 크기를 결정하는 것을 포함한다. 블록(904)에서, 방법(900)은 이미지 센서(302, 306, 308) 각각에 의해 출력되는 프레임 크기에 기초하여 물리적 데이터 경로에 걸쳐 이미지 센서(300, 306, 308)로부터 전체 해상도 이미지를 전송할 수 있는 제1 프레임 전송 속도를 계산하는(computing) 것을 포함한다. 블록(906)에서, 방법(900)은 제1 프레임 전송 속도로 복수의 물리적 데이터 경로에서 데이터 전송 속도를 조절하는 것을 포함한다.

예시적인 실시예에서, 방법(900)은 또한 실시간 또는 거의 실시간 프레임 전송 속도인 제1 전송 속도 및 전체 해상도로, 비디오 데이터를 전송하는 데 필요한 물리적 데이터 경로의 수를 동적으로 결정하는 것을 포함한다.

또 다른 예시적인 실시예에서, 방법(900)은 또한 연결된 센서의 수, 유형 및 모드에 기초하여 전체 해상도 및 제1 전송 속도로, 연결된 센서로부터 이미지를 전송하기에 충분한 물리적 데이터 경로의 양을 결정하는 것을 포함할 수 있다. 제1 프레임 전송 속도에서 전체 해상도에 충분한 물리적 데이터 경로의 양이 센서에 연결된 물리적 데이터 경로의 수보다 크면, 프레임 전송 속도는 제2 프레임 전송 속도로 감소된다. 제2 프레임 전송 속도는 예를 들어 센서로부터 디스플레이 또는 최종 소비자로 전체 해상도로 물리적 데이터 경로를 통해 프레임을 전송할 수 있도록 계산된다.

방법(900)은 또한 이미지 센서 각각에 대한 각각의 유형 및 출력 모드를 결정하는 단계, 이미지 센서의 각각의 유형 및 출력 모드에 기초하여, 이미지 센서 각각에 대해 출력되는 프레임 크기를 결정하는 단계를 포함할 수 있다.

예시적인 실시예에서, 방법(900)은 센서에 연결되는 물리적 데이터 경로의 수를 동적으로 결정하는 단계; 및 이미지 센서 각각에 의해 출력되는 각각의 프레임 크기에 기초하고, 상기 센서에 연결되는 물리적 데이터 경로의 수에 기초하여, 제1 프레임 전송 속도를 계산하는 단계를 포함할 수 있다. 상기 센서에 연결되는 상기 물리적 데이터 경로의 수는, 예를 들어 데이터를 전송하고 있는 상기 물리적 데이터 경로의 수를 감지하는 것(sensing)으로써 결정될 수 있다.

방법(900)은 또한 셋업(setup) 동안 사용자에 의해 입력된 셋업 구성 정보(setup configuration inputs information)에 기초하여, 상기 복수의 데이터 경로에 연결된 상기 센서의 유형 및 모드를 결정하는 것을 포함할 수 있다. 상기 구성(configuration)은 예를 들어 비휘발성 데이터 저장 장치(nonvolatile data storage apparatus)에 저장될 수 있다.

다른 예시적인 실시예에서, 상기 복수의 데이터 경로에 연결된 상기 센서의 유형 및 모드를 결정하는 것은, 전원 제공(power up)시 단일 데이터 경로(signal data paths)에서 센서 식별 정보(sensor identification information)를 판독함으로써 수행될 수 있다. 본 실시예는 구성 정보를 저장하기 위해 비휘발성 데이터 저장 장치를 필요로 하지 않을 수도 있다.

다른 예시적인 실시예에서, 복수의 데이터 경로에 연결된 센서의 유형과 모드를 결정하는 것은, 예를 들어 상기 프레임 버퍼에서 데이터의 양(amount) 또는 상기 데이터의 픽셀 크기(size of pixels)를 결정함으로써, 프레임 버퍼에서 상기 연결된 센서 각각으로부터 프레임을 버퍼링하는 것에 의해 수행될 수 있다.

본 개시의 또 다른 측면에 따르면, 비디오 데이터의 임베디드 UHD 적응 비트레이트 스트리밍(Embedded UHD Adaptive Bitrate Streaming)은 복수의 SMPTE 424M 연결(Multiple SMPTE 424M Connections)을 사용하여 수행된다.

도 10을 참조하면, 비트 레이트 스트리밍(bit rate streaming) 또는 초당 프레임(FPS: Frame Per Second) 조절(조절 모듈(throttle module))(1002)은 SMPTE 비디오 프로세서(312)와 비디오 프로세서(316) 사이의 복수의 SMPTE 연결을 검출하도록 구성된다. 복수의 SMPTE 연결이 검출되면, 조절 모듈(1002)은 병렬 채널을 따라 복수의 SMPTE 연결로부터 데이터를 전송한다. 예시적인 실시예에서, 조절 모듈(1002)은 비디오 데이터의 손실 없이 지연(latency)과 해상도 사이의 균형(balance)을 달성하기 위해 비디오의 비트 레이트(bit rates)를 동적으로 적응하기 위해 기존 알고리즘과 함께 사용된다.

본 개시의 측면에 따르면, 조절 모듈(1002)은 먼저 SMPTE 비디오 프로세서(312)와 비디오 프로세서(316) 사이의 물리적 연결의 수를 검출한다. 조절 모듈(1002)은 SMPTE 비디오 프로세서(312)와 비디오 프로세서(316) 사이의 물리적 연결의 수에 기초하여 압축 기술 및 데이터 경로를 선택하도록 구성될 수 있다. 압축 기술 및 데이터 경로는 예를 들어 조절 모듈(1002)의 소프트웨어 또는 펌웨어에서 프로그래밍될(programmed) 수 있는 미리 결정된 타이밍 제약 조건(timing constraints) 및/또는 압축 옵션에 대한 구성 가능한 파라미터(configurable parameters)에 기초하여 선택될 수 있다. 예시적인 실시예에서, SMPTE 표준에 따라 정의된 SMPTE 픽셀 공간의 사용을 최대화하기 위해 추가적인 픽셀 패킹(additional pixel packing)이 수행될 수 있다.

본 개시의 다른 측면에 따르면, 조절 모듈(1002)은, 이미지의 사용자 정의 임계 영역(user-defined critical regions)을 식별하고, 상기 이미지의 다른 영역에 대해 전송되는 데이터보다 높은 속도로 전송되는, SMPTE 비디오 프로세서(312)와 비디오 프로세서(316) 사이의 임계 영역에 대응하는 데이터를 전송하도록 구성될 수 있다. 예시적인 실시예에서, 임계 영역은 사용자 입력에 기초하여 식별될 수 있으며, 조절 모듈은 예를 들어 사용자 인터페이스와 통신하여 사용자로부터 임계 영역을 정의하는 파라미터를 수신한다. 대안적인 실시예에서, 조절 모듈은 예를 들어 중심 영역(center area)과 같은 각 프레임의 미리 결정된 영역을 식별하도록 구성될 수 있다.

도 11을 참조하면, 예시적인 실시예에서, 사용자는 HD 이미지 영역을 임계 영역(critical region)으로 식별함으로써, HD 이미지 영역을 선택한다. 조절 모듈(1002)은, 임계 영역에서 이미지 데이터(image data)를 식별하고(identify), 하나의 채널(1102)을 따라 전체 속도(full rate)로 임계 영역에 대응하는 데이터를 디스플레이(1106)의 임계 영역 메모리 공간(critical area memory space)(1105)으로 전송하도록 구성된다. 예시적인 실시예에서, 임계 영역에 대한 데이터는 조절 모듈(1002)의 출력 사이클(output cycle)마다 디스플레이(1106)에 언패킹된 픽셀로 전송되어, 이미지 센서(302)로부터 수신되는 임계 영역의 모든 프레임이 디스플레이(1106)로 전송될 수 있다.

조절 모듈(1002)은 나머지 비디오 및 연관된 메타데이터를 패킹된 픽셀(SMPTE 스트림의 16비트 당 2픽셀)로 전송하기 위해 나머지 이용 가능한 연결을 할당한다(allocates). 패킹된 픽셀은 연관된 메타데이터에 기초하여 언패킹되고, 전체 속도보다 적게 복수의 병렬 채널(1104)을 따라 디스플레이(1106)의 비임계 영역 메모리 공간(non-critical area memory space)(1107, 1109)으로 전송된다. 예시적인 실시예에서, 조절 모듈(1002)은 조절 모듈(1002)의 다른 출력 사이클마다 임계 영역의 외부 영역을 위해 이미지 센서(302)로부터 수신된 데이터의 교대 부분(alternating portions)을 디스플레이(1106)의 비임계 영역(non-critical area)(1107, 1109)으로 전송한다. 예를 들어, 본 실시예에서, 조절 모듈(1002)은, 조절 모듈(1002)의 짝수(even numbered) (N) 프레임 사이클(frame cycles)에서 병렬 채널(1107)에 메모리 공간의 제1 비임계 영역(1107)을 연결하고, 조절 모듈(1002)의 홀수(even numbered) (N+1) 프레임 사이클에서 병렬 채널(1104)에 메모리 공간의 제2 비임계 영역(1109)을 연결한다. 본 실시예에서, 이미지 센서(302)로부터 수신된 각 이미지의 상이한 비임계 영역은 교대 시퀀스(alternating sequence)로 다른 사이클마다 디스플레이(1106)에 업데이트되고, 반면에 이미지 센서(302)로부터 수신된 각 이미지의 임계 영역은 사이클마다 업데이트된다.

도 11은 이미지의 하나의 임계 영역 및 이미지의 복수의 비임계 영역에 대하여 설명되었지만, 복수의 임계 영역(multiple critical areas)이 사용자에 의해 미리 결정되거나 선택되는, 개시된 시스템 및 방법의 대안적인 실시예가 구현될 수 있다는 것을 이해해야 한다. 당업자는, 조절 모듈에 의해 이미지의 비임계 영역보다 높은 전송 속도로 이미지 센서(302)로부터 디스플레이(1106)로 복수의 임계 영역을 전송하기 위해 다양한 대안적인 멀티플렉싱 기술(multiplexing techniques)이 사용될 수 있다는 것을 이해해야 한다.

본 개시의 측면에 따른 UHD 이미지 센서(302)로부터 비디오 데이터를 전송하는 방법은, 도 12를 참조하여 설명된다. 예시적인 실시예에서, 방법(1200)의 하나 이상의 단계는 예를 들어 도 10 및 도 11의 조절 모듈(1002)에 의해 수행될 수 있다. 방법(1200)은, 단계(1202)에서 UHD 이미지 센서(302)로부터 이미지의 스트림을 수신하고 - 이미지 각각은, 복수의 UHD 프레임(UHD frames)을 포함함 -; 단계(1204)에서 이미지 내에서 선택된 프레임의 위치(position)에 기초하여, 각각의 이미지에 대해 선택된 프레임으로 UHD 프레임 중 하나 이상을 식별하는 것을 포함한다. 또한, 방법(1200)은, 단계(1206)에서 전체 해상도 및 제1 프레임 전송 속도로 제1 세트(set)의 데이터 경로를 통해, 선택된 프레임을 전송하고, 단계(1208)에서 제1 프레임 전송 속도보다 낮은 제2 프레임 전송 속도로 제2 세트의 데이터 경로를 통해 각각의 이미지의 다른 프레임을 전송하는 것을 포함한다. 상기 선택된 프레임은, 예를 들어 상기 이미지 각각의 중심을 포함할 수 있고, 다른 프레임은, 상기 이미지 각각의 에지 부분(edge portions)을 포함할 수 있다. 예시적인 실시예에서, 다른 프레임은 감소된 해상도로 제2 세트의 데이터 경로를 통해 전송될 수 있다.

다른 예시적인 실시예에서, 방법(1200)은 또한 상기 제2 세트의 데이터 경로의 데이터 경로를 복수의 데이터 경로 서브세트(subsets of data paths)의 구성원(members)으로 지정하고, 상기 제2 프레임 전송 속도로 상기 데이터 경로 서브세트 중 하나에서만 비디오 데이터를 전송하는 것을 포함할 수 있다. 본 실시예에서, 상기 제2 프레임 전송 속도는, 예를 들어 상기 제1 전송 속도의 일부(fraction)일 수 있다.

본 개시의 측면이 특히 예시적인 실시예들을 참조하여 도시되고 기술되었지만, 다음의 청구항에 의해 정의되는 본 개시의 범위에서 벗어나지 않고, 형태 및 세부 사항의 다양한 변경이 이루어질 수 있다는 것이 본 기술 분야의 당업자에 의해 이해될 것이다.

Claims

UHD 이미지 센서(UHD image sensor)로부터 비디오 데이터를 전송하는 방법에 있어서,
상기 UHD 이미지 센서로부터 비압축(uncompressed) 이미지의 스트림을 수신하는 단계 - 상기 비압축 이미지 각각은 시간상 연속적으로(consecutively in time) 획득되었고, 상기 비압축 이미지 각각은 복수의 비압축 UHD 프레임(UHD frames)을 포함하며, 상기 비압축 UHD 프레임 각각은 상기 비압축 이미지들 중 대응하는 하나(corresponding one of the uncompressed images)의 다른 공간 세그먼트(different spatial segment)를 포함함 - ;
상기 비압축 이미지 내에서 선택된 비압축 프레임의 위치(position)에 기초하여, 각각의 비압축 이미지에 대해 상기 비압축 UHD 프레임 중 하나 이상을 상기 선택된 비압축 프레임으로 식별하는 단계 - 상기 선택된 비압축 프레임은 상기 비압축 이미지의 사용자 정의 중요 영역(user-defined critical region)을 포함함-;
제1 세트(set)의 데이터 경로를 통해, 상기 선택된 비압축 프레임을 전송하는 단계; 및
제2 세트의 데이터 경로를 통해, 각각의 비압축 이미지의 다른 비압축 프레임을 전송하는 단계
를 포함하고,
상기 선택된 비압축 프레임은 상기 제1 세트의 데이터 경로를 통해 전체 해상도(full resolution) 및 제1 프레임 전송 속도로 전송되고,
상기 각각의 비압축 이미지의 상기 다른 비압축 프레임은 상기 제2 세트의 데이터 경로를 통해 상기 제1 프레임 전송 속도보다 낮은 제2 프레임 전송 속도로 전송되는,
방법.
삭제
삭제
삭제
제1항에 있어서,
상기 다른 비압축 프레임을 상기 제2 세트의 데이터 경로를 통해 감소된 해상도(reduced resolution)로 전송하는 단계
를 더 포함하는,
방법.
제1항에 있어서,
상기 제2 세트의 데이터 경로의 데이터 경로를 복수의 데이터 경로 서브세트(subsets of data paths)의 구성원(members)으로 지정하는 단계
를 포함하는,
방법.
제6항에 있어서,
상기 제2 프레임 전송 속도로 상기 데이터 경로 서브세트 중 하나에서만 비디오 데이터를 전송하는 단계
를 포함하는 방법.
제7항에 있어서,
상기 제2 프레임 전송 속도는,
상기 제1 프레임 전송 속도의 일부(fraction)인,
방법.
제1항에 있어서,
상기 선택된 비압축 프레임은,
상기 비압축 이미지 각각의 중심을 포함하는,
방법.
제9항에 있어서,
상기 다른 비압축 프레임은,
상기 비압축 이미지 각각의 에지 부분(edge portions)을 포함하는,
방법.
센서 데이터 처리 장치에 있어서,
처리 회로(processing circuitry);
상기 처리 회로에 연결된 원시 UHD 비디오 데이터 입력 경로(raw UHD video data input path);
상기 처리 회로에 병렬로 연결된 복수의 이미지 데이터 출력 경로;
상기 이미지 데이터 출력 경로와 병렬로 상기 처리 회로에 연결된 하나 이상의 메타데이터 출력 경로; 및
상기 이미지 데이터 출력 경로에 연결된 조절 모듈(throttle module)
을 포함하고,
상기 조절 모듈은,
UHD 이미지 센서(UHD image sensor)로부터 비압축 이미지(uncompressed image)의 스트림을 수신하고 - 상기 비압축 이미지 각각은 복수의 비압축 UHD 프레임(uncompressed UHD frames)을 포함하고, 상기 비압축 UHD 프레임 각각은 상기 비압축 이미지들 중 대응하는 하나(corresponding one of the uncompressed images)의 다른 공간 세그먼트(different spatial segment)를 포함함 - ;상기 비압축 이미지 내에서 선택된 비압축 프레임의 위치(position)에 기초하여, 각각의 비압축 이미지에 대해 상기 UHD 프레임 중 하나 이상을 상기 선택된 비압축 프레임으로 식별하고 - 상기 선택된 비압축 프레임은 상기 비압축 이미지의 사용자 정의 중요 영역(user-defined critical region)을 포함함-;
제1 세트(set)의 데이터 경로를 통해, 상기 선택된 비압축 프레임을 전송하고,
제2 세트의 데이터 경로를 통해, 각각의 비압축 이미지의 다른 비압축 프레임을 전송
하도록 구성되고,
상기 선택된 비압축 프레임은 상기 제1 세트의 데이터 경로를 통해 전체 해상도(full resolution) 및 제1 프레임 전송 속도로 전송되고,
상기 각각의 비압축 이미지의 상기 다른 비압축 프레임은 상기 제2 세트의 데이터 경로를 통해 상기 제1 프레임 전송 속도보다 낮은 제2 프레임 전송 속도로 전송되는,
장치.
삭제
삭제
삭제
제11항에 있어서,
상기 조절 모듈은,
상기 다른 비압축 프레임을 상기 제2 세트의 데이터 경로를 통해 감소된 해상도로 전송하도록 구성된,
장치.
제11항에 있어서,
상기 조절 모듈은,
상기 제2 세트의 데이터 경로의 데이터 경로를 복수의 데이터 경로 서브세트(subsets of data paths)의 구성원(members)으로 식별하도록 구성된,
장치.
제16항에 있어서,
상기 조절 모듈은,
상기 제2 프레임 전송 속도로 상기 데이터 경로 서브세트 중 하나에서만 비디오 데이터를 전송하도록 구성된,
장치.
제17항에 있어서,
상기 제2 프레임 전송 속도는,
상기 제1 프레임 전송 속도의 일부(fraction)인,
장치.
제11항에 있어서,
상기 선택된 비압축 프레임은,
상기 비압축 이미지 각각의 중심을 포함하는,
장치.
제19항에 있어서,
상기 다른 비압축 프레임은,
상기 비압축 이미지 각각의 에지 부분(edge portions)을 포함하는,
장치.