KR102234076B1 - 비디오 데이터의 심볼로지 인코딩 방법 - Google Patents

비디오 데이터의 심볼로지 인코딩 방법 Download PDF

Info

Publication number
KR102234076B1
KR102234076B1 KR1020197028880A KR20197028880A KR102234076B1 KR 102234076 B1 KR102234076 B1 KR 102234076B1 KR 1020197028880 A KR1020197028880 A KR 1020197028880A KR 20197028880 A KR20197028880 A KR 20197028880A KR 102234076 B1 KR102234076 B1 KR 102234076B1
Authority
KR
South Korea
Prior art keywords
symbology
metadata
video
frame
data
Prior art date
Application number
KR1020197028880A
Other languages
English (en)
Other versions
KR20190118662A (ko
Inventor
칼 에이. 우디
타일러 레인 후크
Original Assignee
레이던 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 레이던 컴퍼니 filed Critical 레이던 컴퍼니
Publication of KR20190118662A publication Critical patent/KR20190118662A/ko
Application granted granted Critical
Publication of KR102234076B1 publication Critical patent/KR102234076B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Abstract

센서 데이터 처리 장치는 상이한 유형의 복수의 이미지 센서에 연결될 수 있다. 상기 장치는, 이미지 프레임의 메타데이터 공간에서 심볼로지 메타데이터를 인코딩하고, 프레임 내의 센서로부터 원시 데이터를 유지한다. 심볼로지 메타데이터는 심볼이 오버레이될 수 있는 위치를 식별하는 프레임의 위치와 함께 프레임에 오버레이될 수 있는 심볼로지의 유형을 식별한다. 상기 장치는 프레임의 원시 데이터에 심볼로지를 오버레이하지 않고, 심볼로지 메타데이터를 포함한 프레임을 출력 경로로 전송한다. 심볼로지 메타데이터에 기초하여 대응하는 프레임의 이미지에 심볼로지를 선택적으로 오버레이하도록 후처리가 수행될 수 있다.

Description

비디오 데이터의 심볼로지 인코딩 방법
본 개시는 이미지 처리 아키텍처(image processing architectures) 분야에 관한 것이며, 보다 구체적으로, 초고화질 비디오 처리(ultra-high definition video processing) 분야에 관한 것이다.
대형 이미지 포맷(large image format)과 작은 픽셀 피치(small pixel pitch)를 가진 초고화질 (UHD: Ultra-High Definition) 이미지 센서는, 다양한 새로운 제품 및 적용에서 일반적으로 사용할 수 있게 되었다. 그러나, 통상적인 비디오 아키텍처는 일반적으로 UHD 센서의 대역폭 및 타이밍 요구 사항(timing requirements)을 지원하지 않는다. UHD 센서의 대역폭 및 타이밍 요구 사항을 지원하는 새로운 비디오 아키텍처가 개발되었으나, 그러나 이러한 새로운 비디오 아키텍처는 일반적으로 이전에 사용 가능한 하드웨어를 이용하지 않고 특정 용도로 처음부터 개발된다.
UHD 센서 기술의 향상은 기존의 많은 비디오 전송 아키텍처(video transport architectures)의 대역폭 및 전송 성능(transport capabilities)을 크게 초월한다. 고화질(HD: High Definition) 비디오를 전송하기 위해 설계 및 구성된 기존 비디오 하드웨어의 광범위한 인프라는 전 세계에 걸쳐 장비로 사용 및 설치된다. 이러한 인프라는 일반적으로 UHD 비디오 카메라로부터 디스플레이 또는 최종 소비자(end-user)로 비디오 데이터를 전송하는 것을 지원하지는(support) 않는다.
기존 HD 비디오 아키텍처는 일반적으로 예를 들어, 영화 및 텔레비전 기술자 협회(SMPTE: Society of Motion Picture and Television Engineers) 표준 SMPTE 292M 및 SMPTE 424M과 같은 하나 이상의 표준 포맷(standard formats)을 준수하는 비디오 데이터의 스트림(streams)을 처리하도록 구성된다. 이러한 표준은 720p 고화질(HDTV) 포맷을 포함하며, 비디오 데이터는 720개의 수평 데이터 경로(horizontal data paths)와 16:9의 종횡비(aspect ratio)를 갖는 프레임으로 포맷된다. 예를 들어, SMPTE 292M 표준은 1280 x 720 픽셀의 해상도를 가지는 720p 포맷을 포함한다.
HD 비디오 데이터의 일반적인 전송 포맷(common transmission format)은 720p60이며, 720p 포맷의 비디오 데이터는 초당 60 프레임(frames)으로 전송된다. SMPTE 424M 표준은 1080p 포맷의 데이터가 초당 60 프레임으로 전송되는 1080p60 전송 포맷을 포함한다. 1080p 포맷의 비디오 데이터는 "풀 HD(full HD)"라고도 종종 지칭하며, 1920 x 1080 픽셀의 해상도를 가진다.
현재 사용되는 이미지 감지 시스템의 대부분은 일반적으로 사용되는 720p 표준과 같은 HD 비디오 표준을 준수하여 구축된다. 720p 표준 시스템의 1280 x 720 픽셀 프레임은 프레임 당 약 1.5 메가픽셀(megapixels)을 포함한다. 반면에, UHD 이미지 센서는 일반적으로 프레임 당 약 2,500만 픽셀을 가진 5k x 5k 포맷으로 이미지 프레임을 출력한다. 따라서, 720p 표준 시스템에 사용되는 1280 x 720 픽셀은 UHD 이미지 센서에 의해 생성되는 보다 더 많은 픽셀을 전송하기에는 거의 충분하지 않는다.
UHD 센서는 일반적으로 UHD 비디오 데이터 전송을 위해 특별히 설계된 비디오 아키텍처와 함께 사용된다. 이러한 새로운 비디오 아키텍처는 일반적으로 비디오 압축 기술을 활용하여(leverage) UHD 대역폭 및 타이밍 요구 사항을 지원한다. 현재 UHD 비디오 데이터 전송에 사용되는 일부 비디오 아키텍처는 병렬 인코더(parallel encoders) 또는 코덱(codecs) 및 데이터 압축(data compression)을 사용하여, UHD 비디오를 전송한다. 그러나, 압축의 사용은, 이러한 비디오 아키텍처가 원시 센서 데이터를 수신하는 것에 의존하는 최종 소비자에게 적합하지 않게 만든다.
레거시 하드웨어(legacy hardware)는 일반적으로 충분한 대역폭을 제공하지 않기 때문에, 차세대 카메라에서 UHD 비디오를 전송하기 위해 레거시 하드웨어를 사용하는 것은 문제가 된다. 또한, 기존 비디오 아키텍처를 UHD 비디오 데이터를 전송하기 위한 새로운 아키텍처로 교체하는 것은, 이미 많은 양의 통상적인 비디오 처리 장비(conventional video processing equipment)를 구비한 사용자에게 비실용적이고/비실용적이거나 엄청난 비용을 지불할(prohibitively expensive) 수 있다.
기존 HD 비디오 아키텍처를 통해 전송하기 위해, UHD 이미지 센서의 이미지 데이터를 처리하도록, 다양한 공간 및 시간적 비디오 압축 기술(spatial and temporal video compression techniques)이 사용되었다. UHD 비디오 데이터는, 일반적으로 사람이 볼 수 있도록(human viewing) 가시 이미지(visible images) 및 비디오 스트림을 생성하기에 충분한 UHD 비디오 데이터를 유지하지만, 사람이 볼 수 있는(human viewable) 이미지 및 비디오 스트림을 필요로 하지 않는 UHD 이미지 센서에서 데이터를 잃거나 폐기하는 압축 알고리즘을 사용하여 압축된다.
UHD 센서의 데이터를 처리하기 위한 다른 통상적인 기술은, 일반적으로 UHD 센서의 특정 적용 분야에 대해 개발된 새로운 또는 독점적인(proprietary) 비디오 아키텍처의 사용을 포함한다. 이러한 기술은, 전 세계에 걸쳐 사용되는 널리 이용 가능한 HD 비디오 아키텍처를 이용하지 않기 때문에, 비용이 많이 들고 비효율적이다.
기존 장비에서 UHD 이미지 데이터를 전송하는 것은, 일반적으로 이미지 데이터를 복수의 패킷(multiple packets) 또는 하위 프레임(sub-frames)으로 분할하는(splitting up) 것을 포함한다. 일반적으로, 별도의 비디오 경로 패킷(separate video path packets)을 정렬하고 복수의 프레임에서 파노라마 장면(panoramic scenes)을 함께 스티칭하는(stitching) 것은, 이미지 데이터의 실시간 디스플레이(real-time display)를 방지할 수 있는 처리 단계(processing steps)를 부가한다.
복수의 프레임으로 파노라마 장면을 스티칭하는 이전 시스템 및 방법은 복수의 프레임에서 파노라마 장면을 함께 스티칭하기 위해 오버래핑 이미지 데이터(overlapping image data)를 혼합하는(blend) 장면 등록(scene registration) 및 이미지 처리(image processing)를 포함했다. 복수의 프레임으로 파노라마 장면을 스티칭하기 위한 다른 이전에 알려진 기술은, 이미지를 함께 융합하기(fuse imagery together) 위한 관성 기반 이미지 등록(inertial based image registration) 및 지리적 위치 기반 이미지 등록 기법(geo-location based image registration techniques)을 포함하며, 이는 하나의 유형의 이미지 데이터가 다른 유형의 이미지 데이터 상에 융합된다(fused on top).
복수의 프레임에서 파노라마 장면을 함께 스티칭하는 다양한 다른 방법이 특징 등록(feature registration)을 기초로 수행되었다. 이러한 방법은, 일반적으로 증가 지연(increase latency)을 증가시키는 이미지 데이터의 상당한 후처리(post-processing)를 포함한다. 특징 등록 기술은 특징이 풍부하지 않은 장면의 파노라마 이미지를 함께 스티칭하는 데 적합하지 않다. 또한, 단점으로, 기존 장면 기반 등록 기법(scene based registration schemes)의 대부분은 상이한/복수의 스펙트럼 대역(spectral bands)을 정확하게(accurately) 스티칭할 수 없다.
많은 UHD 이미징 적용(UHD imaging applications)에서, UHD 센서로부터 원시 데이터를 분석가 또는 다른 사용자에게 제공하는 것은 바람직할 것이다. UHD 비디오 데이터의 다른 소비자(consumers)는 임무 요구 사항(mission requirements)을 충족하기 위해 이미지 데이터와 오버레이된(overlaid) 매우 정확하고 시간 정렬된(time aligned) 심볼로지(symbology)를 필요로 한다. 그러나, 전송하기 전에 비디오 스트림에 심볼로지를 삽입하는 것은 원시 이미지 데이터를 대체하고, 원시 데이터의 분석가 또는 다른 소비자에게 유용할 수 있는 특정 정보(certain information)를 파괴한다(destroys). 이전 시스템 및 방법은 기록 태깅(archival tagging), 및 거의 실시간으로 심볼로지를 제공하는(presentation) 것을 허용하지 않는 시간 정렬된 메타 데이터(meta-data)의 사용을 포함한다. 그러나, 시간 정렬된 메타데이터에 의존하는 방법은 예를 들어 비동기 비디오(asynchronous video) 및 데이터 파이프라인(data pipelines)으로 인해 문제가 되었다.
본 개시의 측면은, UHD 센서 데이터 처리 장치(UHD sensor data processing apparatus) 및 효율적 무손실 수집을 위한 UHD 데이터에 대한 방법(method for efficient and lossless collection and of UHD data)을 포함한다. 본 개시의 측면에 따른 센서 데이터 처리 장치(sensor data processing apparatus)는 처리 회로(processing circuitry)에 연결된(coupled) 원시 UHD 데이터 입력 경로(raw UHD data input path) 및 처리 회로와 병렬로 연결된 복수의 이미지 데이터 출력 경로(image data output paths)를 포함한다. 하나 이상의 메타데이터 출력 경로(metadata output paths)는 이미지 데이터 출력 경로와 병렬로 처리 회로에 연결된다.
처리 회로(processing circuitry)는 UHD 센서에서 원시 UHD 데이터를 수신하고, 원시 UHD 데이터를 무손실 세그먼트(lossless segments)로 분할하고(divide), 무손실 세그먼트를 이미지 데이터 출력 경로에 병렬로 전송하도록(direct) 구성된다. 또한, 프로세서 회로(processor circuitry)는, 무손실 세그먼트에서 원시 UHD 데이터의 재구성을 용이하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하고, 메타데이터를 메타데이터 출력 경로로 전송하도록 구성된다.
본 명세서에 기술된 바와 같이 현재 비디오 전송 아키텍처를 통해 UHD 센서로부터 디스플레이 또는 최종 소비자로 비디오 데이터를 전송하기 위한 개선된 방법 및 장치는, 병렬로 데이터를 전송하기 위한 복수의 물리적 연결(multiple physical connections)을 사용하는 방법 및 픽셀 패킹 방법(pixel packing methods)을 포함한다. 본 명세서에 공개된 방법은, 레거시 하드웨어(legacy hardware)의 대역폭 제한(bandwidth limitations)을 극복하고, 레거시 하드웨어가 차세대 카메라(next generation cameras)에서 UHD 비디오 데이터를 전송할 수 있게(enable) 한다.
본 개시의 측면에 따르면, 비디오 처리(video processing)는 패킷 및 지리적 위치 정보(geo-location information)를 추적하는(track) 데 사용되는 메타데이터를 기초로 비디오 이미지 데이터를 모자이크 타일(mosaic tiles) 또는 스티칭된 이미지(stitched imagery)로 재조합하기(reassemble) 위해 수행된다. 매우 정확한 지리적 위치 및 관성 공간/좌표 데이터(inertial space/coordinate data)는 활용되어, 비디오 프레임을 정밀하게 스티칭한다. 백-엔드 비디오 처리(Back-end video processing)는 메타데이터에 포함된 위치 데이터 및 관성 데이터를 기초로 모자이크 타일 또는 스티칭된 파노라마 이미지(panoramic imagery)로 비디오를 재구성하기 위해 수행될 수 있다.
예시적인 구현예에서, 메타데이터 인코딩 기법(metadata encoding schemes)은 지리적 위치 정보(geolocation information)와 관성 공간을 통합하고, 이미지 픽셀과 연관된 정보를 표준 KLV 메타데이터 패킷으로 조정하기(coordinate) 위해 구현된다. 본 개시의 측면에 따르면, 정보는 비디오 데이터의 VANC/HANC 메타데이터 공간(VANC/HANC metadata space)에 인코딩되어, 다운스트림 실시간 비디오 스티칭(down-stream real-time video stitching)을 용이하게 한다. KLV 메타데이터(KLV metadata)는 비디오 칩과 시간 정렬된(time-aligned) 지리적 위치 및 관성 정보를 포함하는 패킷을 전송하는 데 사용된다.
주변/에지(periphery/edges)의 복수의 프레임(Multiple frames)은 지리적 위치 및 관성 데이터를 기초로 함께 스티칭된다. 개시된 기술은 스티칭된 이미지에서 이미지 데이터의 오버래핑을 줄이거나 제거하여, 센서 데이터의 그라운드 범위(ground coverage)를 증가시킨다. 본 개시의 측면은, 센서 플랫폼(sensor platform)의 매우 정확한 관성 공간 좌표, 및 이미징하는(imaging) 동안 센서가 포인팅하는(pointing) 방향을 정의하는 각 좌표(angular coordinates)에 대한 인식(knowledge)에 기초한 비디오 스트림의 비-오버래핑 재구성(non-overlapping reconstruction)을 위한 시스템 및 방법을 포함한다.
본 개시의 또 다른 측면에 따르면, 맥락상 적절한 심볼로지 정보(contextually appropriate symbology information)를 데이터의 원시 비디오에 오버레이하여, 효과적인 후처리(post-processing)를 위해, 원시 비디오를 보존하면서, 실시간으로 또는 거의 실시간으로 데이터를 보는(viewing) 엔티티(entities)에 상황 인식(situational awareness)을 제공할 수 있다. 예를 들어, 심볼로지 정보는 메타데이터로 인코딩되어, KLV 표준 메타데이터 패킷(KLV standard metadata packets)을 통해 주문(custom) 또는 독점 인코딩 기법(proprietary encoding schemes)를 사용하여 대응하는 이미지 프레임의 메타데이터 공간에 저장될 수 있다.
대응하는 프레임의 메타데이터 공간에 심볼로지 메타데이터를 통합하는 개시된 방법은, 맥락 시각화(contextual visualization) 및 상황 인식(situational awareness)을 위해 비디오에 시간과 위치 감지 심볼로지(location sensitive symbology)를 부가하는(add) 능력에 따라, 원시 비디오를 전송하게 할 수 있다. 본 개시의 측면은 동일한 원시 비디오 데이터와 함께 UHD 비디오 스트림의 상이한 소비자들에게 상이한 맥락상 적절한 심볼로지를 제공할 수 있다.
본 발명 개념의 상기 특징들 및 다른 특징들은 첨부되는 도면을 참조하여 이러한 예시적인 실시예를 상세히 기술함으로써 더욱 명백해질 것이다.
도 1은 본 개시의 측면에 따른 UHD 센서 데이터 처리 시스템의 도면이다.
도 2는 본 개시의 측면에 따른 UHD 센서 데이터를 처리하기 위한 방법을 보여주는 프로세스 흐름도(process flow diagram)이다.
도 3은 UHD 센서 데이터 처리 시스템의 예시적인 실시예의 도면이다.
도 4는 본 개시의 측면에 따라 16비트 픽셀 포맷을 갖는 이미지 프레임에 패킹되는(packed) 8비트 픽셀 포맷의 UHD 이미지 프레임에 대한 도면이다.
도 5는 본 개시의 측면에 따라 1280 x 720 픽셀 프레임으로 세그먼트화된(segmented) UHD 이미지 데이터에 대한 도면이다.
도 6은 본 개시의 측면에 따른 프레임 스티칭 모듈을 포함하는 UHD 센서 데이터 처리 시스템의 예시적인 실시예의 도면이다.
도 7은 본 개시의 측면에 따라 이미지 프레임을 정렬하기 위한 메타데이터와 연관된 이미지의 복수의 프레임에 대한 도면이다.
도 8은 본 개시의 측면에 따른 방법을 기술하는 메타데이터를 저장 및 전송하기 위한 메타데이터 공간을 각각 포함하는 비디오 스트림에 대한 도면이다.
도 9는 본 개시의 측면에 따라 복수의 프레임을 실시간으로 함께 스티칭하여 생성된 파노라마 이미지를 보여주는 도면이다.
도 10은 본 개시의 측면에 따라 비디오 데이터의 프레임을 정렬하기(aligning) 위한 방법을 보여주는 프로세스 흐름도이다.
도 11은 본 개시의 측면에 따른 이미지 프레임의 메타데이터 공간에 심볼로지 처리 모듈을 포함하거나 또는 심볼로지 정보를 통합하는 UHD 센서 데이터 처리 시스템의 예시적인 실시예에 대한 도면이다.
도 12는 본 개시의 측면에 따른 메타데이터로 저장될 수 있는 심볼로지 정보의 예를 도시하는 도면이다.
도 13은 본 개시의 측면에 따른 비디오 데이터 스트림에 심볼로지를 제공하는 방법을 보여주는 프로세스 흐름도이다.
본 개시의 측면은, 기존 HD 비디오 아키텍처를 이용한 하나 이상의 UHD 이미지 센서로부터 UHD 비디오 데이터의 무손실 통신 및 처리를 위한 시스템 및 방법을 포함한다. 본 개시의 측면에 따라 현재 이용 가능한 비디오 아키텍처를 사용하여 UHD 비디오 데이터를 처리하는 것은, 하나 이상의 UHD 센서로부터 UHD 비디오 데이터를 관리 가능한 세그먼트(manageable segments)로 분리하는(breaking up) 것을 포함한다. 세그먼트는 결합되어(combined) HD 비디오의 다중 채널(multiple channels)로 확산된다(spread). 예시적인 실시예에서, UHD 비디오 데이터는 30Hz에서 5K x 5K 프레임으로 UHD 센서로부터 제공될 수 있으며, 이는 720p60 세그먼트로 분리된다. 예시적인 실시예에서, 세그먼트는 SMPTE424M 1080p60 비디오의 다중 채널로 결합된다.
일반적으로 사용되는 일부 UHD 이미지 센서는 프레임 당 5120 x 5120 픽셀의 이미지 프레임을 생성한다. 그러나, 본 개시의 측면에 따르면, "UHD 센서"는 상이한 프레임 크기 및 픽셀 크기를 생성하는 복수의 상이한 유형의 이미지 센서를 지칭할 수 있다. 예를 들어, 일부 UHD 이미지 센서는 4K x 4K 픽셀을 갖는 이미지 프레임을 생성하며, 픽셀 당 12 비트(bits) 또는 픽셀 당 10 비트를 가질 수 있다. 본 명세서에서 사용되는 용어 "UHD 센서"는 특정 유형의 센서, 또는 특정 프레임 크기 또는 픽셀 크기로 한정되지 않는다.
본 개시의 또 다른 측면에 따르면, 복수의 SMPTE 피드(multiple SMPTE feeds)는 UHD 센서 데이터로부터 세그먼트가 생성된 방식을 기술하는 메타데이터를 기초로 단일 UHD 비디오 피드(single UHD video feed)로 재구성된다(reconstructed).
개시된 UHD 비디오 처리 시스템 및 방법의 예시적인 실시예는 복수의 720p 비디오 프레임 버퍼를 사용하고, 하나 이상의 UHD 이미지 센서로부터 대형 포맷 비디오(large format video)를 분리하고(break apart) 인코딩한다(encode). UHD 이미지 센서로부터의 이미지 데이터는 다중 채널(multi-channel) 720p HD 비디오 아키텍처에 걸쳐 분산된다. 강력한 인코딩 기법(robust encoding scheme)은 원시 이미지 데이터의 일부가 다중 채널을 통해 분산되는 방식을 기술하고, 원시 UHD 비디오 데이터를 무손실 재구성(lossless reconstruction)할 수 있는 메타데이터를 생성한다.
본 개시의 측면에 따른, UHD 센서 데이터 처리 시스템의 예시적인 실시예는, 도 1을 참조하여 기술된다. 시스템(100)은 원시 UHD 데이터 입력 경로(106)를 통해 UHD 이미지 센서(104)에 연결된 UHD 세그먼트화 회로(UHD segmentation circuitry)(102)를 포함한다. 예시적인 실시예에서, 시스템(100)은 또한 복수의 이미지 데이터 출력 경로(110) 및 하나 이상의 메타데이터 경로(112)를 통해 UHD 세그먼트화 회로(102)에 연결된 비디오 처리 회로(108)(video processing circuitry)를 포함한다. 데이터 출력 경로(110) 및 메타데이터 경로(112)는 동일한 전도성 경로(conductive pathway) 상에 공존할(coexist) 수 있거나, 대안적으로 별도의 전도성 경로 상에서 구성될 수 있다.
예시적인 실시예에서 UHD 세그먼트화 회로(102)는 프로세서 회로에 연결된 메모리 회로를 포함한다. 프로세서 회로는 UHD 이미지 센서(104)로부터 원시 UHD 데이터를 수신하고, 원시 UHD 데이터를 무손실 세그먼트로 분할하고, 무손실 세그먼트를 이미지 데이터 출력 경로(110) 상으로 병렬로 지향하도록(direct) 구성된다. 예시적인 실시예에서, 프로세서 회로는 무손실 세그먼트로부터 원시 UHD 데이터의 재구성을 용이하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하고, 메타데이터를 메타데이터 출력 경로(112) 상으로 지향하도록 구성된다.
본 개시의 측면에 따른 UHD 센서 데이터를 처리하기 위한 방법은, 도 2를 참조하여 기술된다. 방법(200)은, 블록(202)에서, 도 1의 UHD 이미지 센서(104)와 같은 UHD 센서로부터 원시 UHD 데이터를 수신하고, 블록(204)에서, 원시 UHD 데이터를 무손실 세그먼트로 분할하는 것을 포함한다. 예시적인 실시예에서 원시 UHD 데이터는 도 1의 UHD 세그먼트화 회로(102)에 의해 분할되며, UHD 세그먼트화 회로(102)는 예를 들어 일련의 FPGA 및 처리 시스템을 포함할 수 있다. 도 1의 UHD 세그먼트화 회로(102)는 UHD 이미지 센서(104)로부터 비디오를 수신하고 이를 복수의 720p 이미지로 분할하는 디지털 비디오 프로세서(DVP: Digital Video Processor) 회로를 포함한다. 방법(200)은 또한 블록(206)에서 도 1의 이미지 데이터 출력 경로(110)와 같은 복수의 이미지 데이터 출력 경로 상에 무손실 세그먼트를 병렬로 전송하는 것을 포함한다. 이는, 또한 UHD 세그먼트화 회로(102)에서 일련의 FPGA 및 처리 시스템에 의해 수행될 수 있다. 상기 방법은, 또한 블록(208)에서 무손실 세그먼트로부터 원시 UHD 데이터의 재구성을 용이하게 하는 인코딩된 정보를 포함하는 메타데이터를 생성하는 것과, 블록(210)에서 이미지 데이터 출력 경로(110)와 병렬로, 도 1의 메타데이터 출력 경로(112)와 같은 하나 이상의 메타데이터 출력 경로 상으로 메타데이터를 지향(direct)하는 것을 포함한다.
예시적인 실시예에서, 도 1의 UHD 세그먼트화 회로(102)는 DVP, 회로로부터 720p 이미지를 수신하는 SMPTE 비디오 프로세서(SVP: SMPTE Video Processor) 회로를 포함하고, 상기 이미지를 적절히 포맷된 SMPTE 1080p 비디오 프레임으로 분할하고, 적절하게 포맷된 SMPTE 메타데이터를 보조 비디오 공간(ancillary video space)에 부가한다(adds). 메타데이터는 프레임의 시작(start) 및 프레임의 종료(end)에 대한 픽셀 위치(pixel location), 프레임 속도(frame rate), 비트 깊이(bit depth), 비트 패킹 모드(bit packing mode)와 같은 패킹 세부사항(packing details)을 포함한다. 동일한 메타데이터 공간은 UHD 이미지 센서(104)가 각 해당되는 프레임(applicable frame)에 대해 포인팅되는 위치를 가리키는(indicating) 포인팅 정보(pointing information), 또는 시선 방향(line of sight)을 제공하는 것을 제공하므로, 이러한 정보는 UHD 이미지 센서(104)에 의해 캡처된 UHD 비디오 프레임에 문맥(context)을 부가하도록 사용될 수 있다.
본 개시의 측면에 따른 이미지 데이터 처리 시스템의 다른 예시적인 예는 도 3을 참조하여 기술된다. 예시적인 실시예에서, 시스템(300)은 UHD 세그먼트화 회로(304)에 연결된 UHD 이미지 센서(302)를 포함한다. UHD 이미지 센서(302)는 도 1에 도시된 UHD 이미지 센서(104)의 예시적인 구현이다. UHD 세그먼트화 회로(304)는 도 1에 도시된 UHD 세그먼트화 회로(102)의 예시적인 구현이다.
UHD 이미지 센서(302)는 5k x 5k 픽셀 포맷을 갖는 이미지 프레임을 생성한다. 이러한 예시적인 예에서, 2개의 720p 호환 HD 카메라(compatible HD cameras)(306, 308)는 또한 UHD 세그먼트화 회로(304)에 연결된다. 720p 호환 카메라 중 제1 카메라는 1280 x 720 포맷을 갖는 이미지 프레임을 생성하는 중파 적외선 카메라(medium wave infrared camera)(306)이다. 720 호환 카메라 중 제2 카메라는 1280 x 720 포맷을 갖는 이미지 프레임을 생성하는 단파 적외선 카메라(short wave infrared camera)(308)이다.
예시적인 실시예에서, 시스템(300)은 예를 들어 SMPTE424M 표준과 같은 SMPTE 표준을 준수하여 데이터를 전송하도록 구성된다.
예시적인 실시예에서, UHD 세그먼트화 회로(304)는 고속 카메라 인터페이스(high speed camera interface)를 통해 UHD 이미지 센서(302) 및 720p 호환 HD 카메라(306, 308)에 연결된 비디오 아키텍처 터릿(video architecture turret)(310)을 포함한다. 또한, UHD 세그먼트화 회로(304)는 슬립 링 인터페이스(slip ring interface)(314)와 같은 인터페이스를 통한 병렬 패스(parallel pass)를 통해 비디오 아키텍처 터릿(310)에 연결된 SMPTE 비디오 프로세서(312)를 포함한다.
예를 들어, 비디오 아키텍처 터릿(310)은, 720p60Hz 비디오와 같은 8 개의 표준 720p 병렬 출력 채널 중 6 개의 표준 720p 병렬 출력 채널에 걸쳐 UHD 이미지 센서 (302)로부터 UHD 이미지 데이터를 패킹 및 확산시킨다. 또한, 비디오 아키텍처 터릿(310)은, 720p60Hz 비디오와 같은 8 개의 표준 720p 병렬 출력 채널 중 나머지 2개의 표준 720p 병렬 출력 채널 각각에서, 720p 호환 카메라(306, 308) 각각으로부터 표준 720p 이미지 데이터를 전송한다.
SMPTE 비디오 프로세서(312)는, 비디오 아키텍처 터릿(310)으로부터 8개의 병렬 입력 채널을 수신하고, UHD 이미지 데이터의 언패킹(unpacking) 및 재구성을 용이하게 하기 위해 패킹 및 확산 정보를 이용하는 수직 보조(VANC: Vertical ANCillary) 기술을 사용하여 KLV(키 - 길이 - 값(Key - Length - Value)) 메타데이터를 삽입한다. 당업자는 VANC가 비디오 신호에 비디오가 아닌 정보(non-video information)를 포함시키기(embedding) 위한 통상적인 기술임을 인식해야 한다. 예를 들어, 메타데이터는 예를 들어 프레임의 시작 및 프레임의 종료에 대한 픽셀 위치(행, 열), 프레임 속도(30, 60), 비트 깊이(8, 10, 12, 16), 및 비트 패킹 모드(bit packing mode)(픽셀 당 2바이트, 픽셀 당 1바이트 등)와 같은 패킹 세부 사항을 포함한다. 동일한 메타데이터 공간은 시선을 제공하는 것(관성 측정 장치(IMU: Inertial Measurement Unit), 자이로, 가속도계, 리졸버(resolvers), 서보 상태(servo state), 인코더 피드백(encoder feedback), 초점 정보(focus information), 광학계의 온도(temperatures of the system optics) 등) 및/또는 UHD 이미지 센서(302)에 의해 획득된 각 해당되는 프레임에 대해 UHD 이미지 센서(302)가 포인팅된 위치를 가리키는 포인팅 정보를 제공한다. 메타데이터의 정보는 UHD 이미지 센서(302)에 의해 캡처된 UHD 비디오 프레임에 문맥을 부가하는데 사용될 수 있다. 또한, SMPTE 비디오 프로세서(312)는 각 이미지 프레임에 대해 고유 식별자(unique identifier)를 삽입한다.
예시적인 실시예에서, 백-엔드 프로세서 회로(back-end processor circuitry)(316)는 SMPTE 비디오 프로세서(312)로부터의 KLV 메타데이터와 함께 비디오 아키텍처 터릿(310)으로부터 확산되고 패킹된 UHD 이미지 데이터를 수신하기 위해 UHD 세그먼트화 회로(304)에 연결된다. 백 엔드 처리 회로(back end processing circuitry)(316)는 도 1에 도시된 비디오 처리 회로(108)의 예시적인 구현이며, 복수의 출력을 포함한다. 예를 들어, 백 엔드 처리 회로(316)의 출력은 표준 비디오 디스플레이에 디스플레이하도록 압축/처리된 비디오일 수 있거나, 움직이는 객체(objects) 등에 대한 추적을 보여주는 추적 데이터(track data)일 수 있다. 백-엔드 프로세서 회로(316)는 KLV 메타데이터를 판독하고, UHD 이미지 센서(302)로부터 UHD 이미지 데이터에 대한 무손실 재구성을 수행하여, UHD 비디오의 전체 프레임을 생성 및 버퍼링한다(buffer). 백-엔드 프로세서 회로(316)는 또한 예를 들어 버퍼링된 UHD 비디오에서 타겟(targets)을 식별하고 추적 정보(tracking information)를 생성하도록 구성될 수 있다.
도 4를 참조하면, 예시적인 실시예에서 5120 x 5120 8 비트 픽셀 포맷의 UHD 이미지 프레임(402)은, UHD 이미지 프레임(402) 각각에서 2개의 8비트 픽셀 모두로부터의 데이터를 대응하는 5120 x 2560 16 비트 픽셀 프레임(404)의 단일 16비트 픽셀로 매핑함으로써, 5120 x 2560 16 비트 픽셀 프레임(404)으로 패킹된다. 이는 예를 들어, 도 3의 슬립 링 인터페이스(314)에 걸쳐 필요한 대역폭을 감소시키기 위해, 기존의 16 비트 픽셀 비디오 아키텍처를 활용함으로써, 도 3의 비디오 아키텍처 터릿(310)에 의해 수행될 수 있다. 이는 대역폭 요구(bandwidth need)를 절반(half)으로 효과적으로 줄인다(cuts). 대안으로, 이러한 패킹은 SMPTE 비디오 프로세서(312)에 의해 수행될 수 있다. 그러나, 슬립 링 인터페이스(314) 이전에 비디오 아키텍처 터릿(310)에 의해 픽셀을 패키징하는(packaging) 것은, SMPTE 비디오 프로세서(312) 이전에 슬립 링 인터페이스(314)에서 발생할 수 있는 데이터 병목 현상을 완화하는 것을 돕는다.
도 5를 참조하면, 예시적인 실시예에서, 5120 x 5120 이미지 프레임에 포함된 원시 이미지 데이터의 각각 25 메가픽셀(25 mega-pixels)은, 도 2의 블록(204)에서 설명된 바와 같이 무손실 세그먼트로 분할된다. 5120 x 5120 프레임은 이미지 당 8비트의 5120 x 5210 프레임을 픽셀 당 16비트를 가지는 1280 x 720 프레임으로 분할하여, 720 비디오 아키텍처와의 호환성을 위해 변환된다. 이는 16 비트 픽셀을 가지는 16 개의 1280 x 720 프레임(502)을 야기한다. 본 개시의 측면에 따르면, 프레임(0 - 7)은 (도 3에 각각 도시된) 슬립 링(slip ring)(314)에 걸쳐 SMPTE 비디오 프로세서(312)로 비디오 아키텍처 터릿(310)에 의해 제1 60Hz 클럭 사이클(clock cycle)에서 병렬로 전송되며, 프레임(8 - 15)은 슬립 링 인터페이스(314)에 걸쳐 제2 60 Hz 클럭 사이클에서 병렬로 전송된다. 1280 x 720 60 Hz 프레임(502)의 각 8 개의 프레임은 SMPTE 비디오 프로세서(312)에 포함된 SMPTE 비디오 프로세서 프레임 메모리에 저장된다. 이러한 예시적인 실시예에서 SMPTE 비디오 프로세서 프레임 메모리는 적용 가능한 경우, 예를 들어 30Hz 사이클마다 부가적인 데이터 전송에 사용될 수 있는 초과 메모리 공간(excess memory space)(504)을 갖는다. KLV 메타데이터는, 예를 들어 프레임의 시작 및 프레임의 종료의 픽셀 위치(행, 열), 프레임 속도(30Hz, 60Hz), 비트 깊이(8, 10, 12, 16), 및 비트 패킹 모드(bit packing mode)(픽셀 당 2 바이트, 픽셀 당 1 바이트 등)와 같은 정보를 패킹하고 확산시키는 것이 적용 가능한 SMPTE 비디오 프로세서(312)에 의해 업데이트된다(updated). 고유 프레임 식별(Unique frame identification)(ID), 이미지 센서에서 광자(photons)에 대한 정밀 타임스탬프(precision timestamp)(UTC 시간과 상관된 모든 초, 분수 초(fractional seconds)) 수신 등. 동일한 메타데이터 공간은 시선을 제공하는 것(IMU, 자이로, 가속도계, 리졸버(resolvers), 서보 상태(servo state), 인코더 피드백(encoder feedback), 초점 정보(focus information), 광학계의 온도(temperatures of the system optics) 등), 또는 UHD 이미지 센서(302)가 각각의 적용 가능한 프레임에 대해 포인팅된 위치에 대한 포인팅 정보를 제공하므로, 이러한 정보는 UHD 이미지 센서(302)에 의해 캡처된(captured) UHD 비디오 프레임에 맥락(context)을 부가하는데 사용될 수 있다. 또한, 메타데이터는 KLV 메타데이터를 포함하는 SMPTE242M 비디오에서 픽셀 당 20 비트를 가지는 1920 x 1080 60Hz 프레임의 4 개의 채널을 생성하고 출력하는 각 프레임에 대한 고유 식별자(unique identifier)를 포함한다.
메모리 공간(504)의 크기(amount)는 1280x720 프레임의 8 개의 병렬 720p 채널이 약 737 만 픽셀을 사용한다는 점을 고려하여 관찰할 수 있다. 720p 프레임은, UHD 센서보다 두 배 빠른, 초 당 60프레임 또는 프레임 당 16.667 밀리초로 실행되기 때문에, 737 만 픽셀은 약 1475 만 픽셀로 두 배가 된다. 5120x5120픽셀 UHD 센서(303, 도3)는 초 당 30프레임 또는 프레임 당 33.333 밀리초로 실행된다. 두 개의 8 비트 픽셀이 각 720p 16비트 픽셀로 패킹되므로, 각 프레임은 효과적인 2560x5120 픽셀 크기(pixel size)로 감소된다. 이로 인해 UHD 프레임 당 약 1,310 만 픽셀이 생성된다. 모든 30Hz UHD 프레임(33.333ms)에 대해, UHD 센서 데이터를 패킹하는 데 이용할 수 있는 16 개의 720p 프레임이 있다. 따라서, 약 1,475 만 픽셀은 33.33ms 마다 또는 30Hz 속도로 약 1,310 만 UHD 픽셀을 패킹할 수 있다. 이러한 예시적인 실시예에서, 30Hz UHD 프레임마다 사용할 수 있는 초과 메모리 공간(504)은 약 165 만 픽셀과 동일한 1,475 만 내지 1,310 만 픽셀 사이의 차이(difference)이다.
시각화(visualization)를 위한 실시간의 비디오 데이터에 대한 재조합 및 손실(Reassembly and loss)은 기존 압축 기술을 사용하여 문제가 된다. UHD 비디오 데이터를 전송하기 위한 기존의 많은 상용 아키텍처(commercially available architectures)는 시간적인 압축(temporal compression)을 사용하고(employ), 이는 메타데이터 정확성과 무결성을 파괴하고, 비디오 프레임에 대한 메타데이터의 정렬(alignment)을 파괴하고, 해상도를 줄이고/줄이거나, 바람직하지 않은 지연(latencies)을 부가한다. UHD 비디오 데이터를 전송하기 위한 많은 기술은 프레임 속도를 유지하고 디스플레이된 비디오의 시각적 힘(visual appeal)을 유지하기 위해 최적화된다. 이러한 유형의 아키텍처는 모든 메타데이터의 데이터 정확성과 무결성이 프레임 속도보다 더 중요한 경우의 감시(surveillance)와 같은 많은 적용에서 UHD 비디오 데이터를 전송하는 데 적합하지 않다. 이러한 적용에서는, UHD 비디오 이미지 센서로부터 원시 비디오 데이터를 재구성하는 것이 중요하다.
본 개시의 측면은, 기존 HD 비디오 아키텍처를 사용하여, KLV 메타데이터를 사용하여 다중 비디오 채널(multiple video channels)에 걸쳐 가변 픽셀 카운트 소스 데이터(variable pixel count source data)를 인코딩한다. 가변 픽셀 카운트 소스 데이터는, 예를 들어 2 MP 소스 데이터 및 25 MP 소스 데이터를 포함할 수 있다.
프레임을 함께 스티칭하기 위해 이전에 알려진 기술은, 상이한 프레임을 등록하고 정렬하기 위해 특징을 식별하는 상당한 이미지 처리가 포함된다. 이러한 기술은 예를 들어 바다 또는 사막의 넓은 영역을 포함하는 비디오 데이터의 프레임과 같은 실질적으로 특징없는(featureless) 프레임을 스티칭하는 데 적합하지 않다. 또한, 이전에 알려진 기술은, 일반적으로 이미지 데이터를 다시 샘플링하고(re-sampling) 프레임의 일부를 오버래핑하는 것을 포함한다. 이는 센서 시스템에 의해 제공된 사용 가능한 정보를 감소시키고, 후처리 지연(post-processing delays)으로 인해 지연(latency)이 증가된다.
기체(Airframes) 및 다른 UHD 센서 플랫폼(UHD sensor platforms)은 종종 예를 들어 위성항법시스템 (GPS: global positioning system) 정보, 시선 (LOS: line of sight) 정보, 관성 안내 정보, 및 기타 센서 포인팅 정보와 같은 매우 정확한 위치 정보에 액세스할 수 있다. 각 픽셀로 덮인(covered) 위치 정보에 대해 아는 것은, 각 UHD 이미지 프레임에서 각 픽셀로 덮인 영역의 정확한 지리적 위치를 계산할 수 있게 한다. 본 개시의 측면에 따르면, 이용 가능한 위치 설정(positioning) 및/또는 포인팅 정보는 비디오 처리 시스템, 및 프레임의 리샘플링(resampling) 및 오버래핑을 방지하는 프레임을 함께 스티칭하기 위한 방법에서 활용되어, 지연을 감소시킨다. 각 픽셀로 덮인 타겟 영역(target areas)의 크기는 기체 및 다른 UHD 센서 플랫폼에서 일반적으로 알려져 있거나 액세스할(accessible) 수 있다.
예시적인 실시예에서, GPS 정보, LOS 정보, 관성 안내 정보 및/또는 센서 포인팅 정보와 같은 지리적 위치 정보는, 연관된 비디오 프레임에 따라 전송되는 메타데이터로 인코딩된다. 메타데이터는, 코너에서의 픽셀 및/또는 프레임의 에지와 같이 대응하는 프레임의 특정 픽셀의 정확한 그라운드 위치(ground positions)를 식별한다. 본 개시의 측면에 따르면, 비디오 데이터의 실질적으로 실시간 처리는, 프레임 내의 픽셀의 지리적 위치를 제공하는 프레임 내의 메타데이터에 기초한 에지에 대해 프레임 에지를 정렬(align)한다.
각 픽셀에 대한 매우 정밀한 포인팅 정보 또는 위치 정보에 액세스할 수 없는 시스템에서, 개시된 시스템 및 방법은 픽셀 또는 UHD 프레임에 대한 메타데이터에서 다른 덜 정밀한 지리적 위치 정보를 인코딩할 수 있다. 본 개시의 또 다른 측면에 따르면, 덜 정확한 지리적 위치 정보 및/또는 포인팅 정보는 프레임을 함께 스티칭하는 후처리를 위한 이미지 데이터의 더 좁은 영역(narrower regions)을 식별하는데 사용될 수 있다. 이는 통상적인 프레임 스티칭 기술을 사용하는 넓은 영역을 덮는 이미지 데이터의 후 처리에 비해 후처리 시간(post-processing time)을 상당히 감소시킨다.
도 6은 본 개시의 측면에 따른 프레임 스티칭 모듈(frame stitching module)(602)을 포함하는 센서 데이터 처리 장치(sensor data processing apparatus)(600)의 예시적인 실시예에 대한 도면이다. 예시적인 실시예에서, 센서 데이터 처리 장치(600)는 복수의 SMPTE 424M 피드(multiple SMPTE 424M feeds)를 사용하여 UHD 비디오의 동적 스케일링(dynamic scaling), 언패킹(unpacking) 및 구성(assembling)을 수행한다.
프레임 스티칭 모듈(602)은 비디오 프로세서(312)와 백엔드 프로세서(316) 사이의 경로에 연결되며, 이는 도 3을 참조하여 상술된다. 프레임 스티칭 모듈(602)은, LOS 정보 및/또는 GPS 정보와 같은 지리적 위치 정보를 사용하여, 지리적 위치(geo-location)의 관성 공간 프레임 스티칭을 수행하여, 이미징된 영역(imaged area)의 파노라마 비주얼(visuals)을 실시간으로 생성하도록 구성된다.
본 개시의 측면에 따르면, 센서 데이터 처리 장치는 이미지 센서(302, 306, 308)로부터 수신된 큰 이미지를 동적으로 분할하고, 일련(series)의 3Gbps SMPTE 표준 비디오 전송 경로(3Gbps SMPTE standard video transport paths)(604)에 걸쳐 분할된 이미지를 확산시킨다. 프레임 스티칭 모듈(602)은, 이미지의 프레임 및/또는 픽셀과 연관된 KLV 메타데이터, LOS 정보 및 GPS 정보를 인코딩한다. KLV 메타데이터는, 인접한 프레임의 지리적 위치 및 관성 공간 프레임 스티칭을 수행하여 더 큰 이미지를 재생성하는 데 사용된다.
본 개시의 다른 측면에 따르면, 백엔드 프로세서(316)는 복수의 비디오 전송 경로(604)에 걸쳐 KLV 메타데이터와 함께 분할된 이미지 데이터를 수신한다. 예시적인 실시예에서, 비디오 전송 경로(604)는 6 개의 SMPTE 424M 1080p60 채널(six SMPTE 424M 1080p60 channels)을 포함한다. 백엔드 프로세서(316)는 KLV 메타데이터의 프레임 또는 픽셀과 연관된 지리적 위치 정보를 판독하고, KLV 메타데이터의 지리적 위치 정보에 기초하여 전체 UHD 이미지를 재생성하도록 구성된다. 예시적인 실시예에서, 백엔드 프로세서(316)는 동적 프레임 스티칭 모듈(602)과 통신하기 위해 KLV 메타데이터를 판독하고, KLV 메타데이터가 적절한 이미지 데이터와 시간 정렬되는(time aligned) 것을 보장한다.
본 개시의 측면에 따르면, 센서 데이터 처리 장치는 처리 회로, 처리 회로에 연결된 원시 UHD 비디오 데이터 입력 경로, 및 처리 회로와 병렬로 연결된 복수의 이미지 데이터 출력 경로를 포함한다. 또한, 센서 데이터 처리 장치는 이미지 데이터 출력 경로와 병렬로 처리 회로에 연결된 하나 이상의 메타데이터 출력 경로, 및 이미지 데이터 출력 경로에 연결된 프레임 스티칭 모듈을 포함한다. 본 개시의 측면에 따르면, 프레임 스티칭 모듈은, 비디오 데이터 스트림의 제1 프레임의 에지 또는 코너의 제1 픽셀로 표현되는(represented) 영역에 대응하는 제1 지리적 위치(first geographical position)를 결정하고, 제1 지리적 위치를 인코딩하여 제1 픽셀과 연관된 지리적 위치 메타데이터를 생성하고, 제1 프레임의 메타데이터 공간에서 제1 픽셀과 연관된 지리적 위치 메타데이터를 통합하도록 구성된다.
본 개시의 측면에 따르면, 프레임 스티칭 모듈은 또한 비디오 데이터 스트림의 제2 프레임의 에지 또는 코너의 제2 픽셀로 표현되는 영역에 대응하는 제2 지리적 위치를 결정하고, 제2 지리적 위치를 인코딩하여 제2 픽셀과 연관된 지리적 위치 메타데이터를 생성하고, 제2 프레임의 메타데이터 공간에서 제2 픽셀과 연관된 지리적 위치 메타데이터를 통합하도록 구성된다. 프레임 스티칭 모듈은 제1 프레임과 제2 프레임을 정렬하여(align), 제1 프레임과 제2 프레임을 포함하는 이미지를 생성하도록 구성된다.
예시적인 실시예에서, 프레임 스티칭 모듈은, 제1 픽셀과 연관된 지리적 위치 메타데이터 및 제2 픽셀과 연관된 지리적 위치 정보를 비교하여, 제2 지리적 위치에 관해 제1 지리적 위치의 위치를 결정하고, 제2 지리적 위치에 관한 제1 지리적 위치의 위치를 기초로 제2 프레임의 에지 또는 코너와 제1 프레임의 에지 또는 코너를 정렬하여, 제1 프레임 및 제2 프레임을 포함하는 이미지를 생성하도록 구성된다. 본 개시의 측면에 따르면, 프레임 스티칭 모듈은 제1 프레임 또는 제2 프레임을 리샘플링하지 않고 실시간으로 제1 프레임과 제2 프레임을 정렬하도록 구성된다.
도 7은 예시적인 실시예의 KVL 메타데이터의 예시적인 사용을 도시한다. 예시적인 실시예에서, 5120 픽셀 x 5120 라인을 갖는 이미지(700)는 복수의 1920 x 1080p 60Hz 프레임(702)으로 분할된다(broken up). 1920 x 1080p 60Hz 프레임(702) 각각은 더 큰 이미지(700)의 칩(chip)을 포함한다. 본 명세서의 측면에 따르면, KLV 메타데이터는 각각의 프레임(702)과 연관된다. KVL 메타데이터에는 칩이 더 큰 이미지에서 재조합될(reassembled) 때 위치될 위치를 나타내는 데이터를 포함한다. 본 개시의 측면에 따르면, KLV 메타데이터는, 인접 프레임의 에지를 함께 스티칭하여, 픽셀을 오버래핑하지 않고 모자이크 또는 파노라마 이미지를 생성하기 위해 사용될 수 있는, 시선 (LOS) 정보 및 위성항법시스템 (GPS) 정보와 같은 지리적 위치 정보를 또한 포함한다.
도 8을 참조하면, 병렬 비디오 스트림(parallel video streams)은 각각 자신의 수평 보조(HANC: Horizontal ANCillary) 메타데이터 공간(802) 및 VANC 메타데이터 공간(804)을 포함한다. 본 개시의 측면에 따르면, 각 프레임(806)에 대한 고유 시간 정렬된 패킹 및 확산 정보(unique time aligned packing and spreading information)가 각 VANC 메타데이터 공간(804)에 포함된다. 각 VANC 메타데이터 공간(804)에서 인코딩된 정보는 예를 들어, 타임 스탬프와 상관된(correlated) 시간대(time zone); 이미지의 시작 및/또는 중단 픽셀 위치(start and/or stop pixel location); 프레임에 포함된 이미지의 라인 길이 및 데이터 경로의 수; 픽셀 패킹 정보; 및 프레임 속도 정보와 같은 고유 프레임 식별자를 포함할 수 있다. 본 개시의 측면에 따르면, VANC는 예를 들어 시선 (LOS) 및 포인팅 정보, 및/또는 기체 또는 다른 센서 플랫폼의 위치를 정확하게 나타내는 위성항법시스템 정보를 또한 포함할 수 있다.
도 9는 본 개시의 측면에 따라 메타데이터의 프레임과 함께 전송되는 지리적 위치 정보에 기초하여 복수의 프레임(902)을 실시간으로 함께 스티칭하여 생성된 파노라마 이미지(panoramic image)(900)를 도시한다. 예시적인 실시예에서, 도 6의 개시된 센서 데이터 처리 장치(sensor data processing apparatus)(600)는, 센서 플랫폼에서 일반적으로 이미 이용 가능한 정확한 시선 정보, 및/또는 기체 또는 다른 센서 플랫폼의 정확한 GPS 위치를 사용하여, 파노라마 이미지를 생성한다. 본 개시의 측면에 따르면, LOS 정보 및/또는 GPS 정보와 같은 지리적 위치 정보는, 프레임과 함께 전송되는 메타데이터에 저장된다. 정확한 지리적 위치 정보에 기초하여, 이미지를 리샘플링하지 않고 에지에서 프레임이 함께 스티칭될 수 있다. 개시된 기술은 특징 매칭 등록 기술에 의존하지 않기 때문에, 거의 실시간으로 파노라마 이미지를 생성하게 할 수 있도록 지연이 상당히 감소된다.
도 10은, 본 개시의 측면에 따른 비디오 데이터에서 프레임을 정렬하기 위한 방법(1000)을 도시하는 프로세스 흐름도이다. 블록(1002)에서, 상기 방법은 비디오 데이터 스트림의 제1 프레임의 에지(edge) 또는 코너(corner)의 제1 픽셀로 표현되는 영역(area)에 대응하는 제1 지리적 위치(first geographical position)를 결정하는(determining) 것을 포함한다. 본 개시의 측면에 따르면, 제1 지리적 위치를 결정하는 것은, 예를 들어 GPS 정보, LOS 정보, 관성 안내 정보(inertial guidance information) 및/또는 센서 포인팅 정보(sensor pointing information)와 같은 지리적 위치 정보(geolocation information)에 기초하여 결정될 수 있다.
블록(1004)에서, 상기 방법은, 제1 지리적 위치를 인코딩하여(encoding), 제1 픽셀과 연관된 지리적 위치 메타데이터(geolocation metadata)를 생성하는 것을 포함한다. 블록(1006)에서, 상기 방법은, 제1 프레임의 메타데이터 공간에서 제1 픽셀과 연관된 지리적 위치 메타데이터를 통합하는(incorporating) 것을 포함한다. 블록(1008)에서, 상기 방법은, 비디오 데이터 스트림의 제2 프레임의 에지 또는 코너의 제2 픽셀로 표현되는 영역에 대응하는 제2 지리적 위치(second geographical position)를 결정하는 것을 포함한다. 블록(1010)에서, 상기 방법은, 제2 지리적 위치를 인코딩하여, 제2 픽셀과 연관된 지리적 위치 메타데이터를 생성하는 것을 포함한다. 블록(1012)에서, 상기 방법은, 제2 프레임의 메타데이터 공간에서 제2 픽셀과 연관된 지리적 위치 메타데이터를 통합하는 것을 포함한다. 프레임 및 픽셀의 지리적 위치를 결정하는 단계(1002, 1008) 및 인코딩하는 단계(1004, 1010)와, 인코딩된 지리적 위치 정보를 메타데이터로 통합하는 단계(1006, 1012)는, 예를 들어 도 6의 프레임 스티칭 모듈(frame stitching module)(602)에 의해 수행될 수 있다.
본 개시의 측면에 따르면, 제1 지리적 위치 및 제2 지리적 위치는 예를 들어 제1 픽셀에 의해 덮인 타겟 영역(target area)의 크기, 비디오 스트림을 생성하는 비디오 센서(video sensor)의 위성항법시스템 위치 데이터(global positioning system location data), 및/또는 비디오 스트림을 생성하는 비디오 센서의 포인팅 정보에 기초하여 결정될 수 있다.
본 개시의 측면에 따르면, 방법(1000)은, 비디오 스트림의 제1 프레임과 함께, 도 3의 백엔드 프로세서(316)에 대한 프레임 스티칭 모듈(602)로부터 제1 픽셀과 연관된 지리적 위치 메타데이터를 전송하는 것을 또한 포함한다. 예시적인 실시예에서, 방법(1000)은, 제1 프레임의 HANC 메타데이터 공간 또는 VANC 메타데이터 공간에서 제1 픽셀과 연관된 지리적 위치 메타데이터를 통합하는 것을 포함할 수 있다.
블록(1014)에서, 상기 방법은, 제1 프레임과 제2 프레임을 정렬하여(aligning), 제1 프레임과 제2 프레임을 포함하는 이미지를 생성하는 것을 포함한다. 본 개시의 측면에 따르면, 제1 프레임은 제1 프레임 또는 제2 프레임을 리샘플링하지 않고 실시간으로 제2 프레임과 정렬된다. 제1 프레임 및/또는 제2 프레임에 표현된 이미징된 특징(imaged features)에 기초하여 특징 등록(feature registration)을 수행하지 않고, 제1 프레임의 픽셀과 제2 프레임의 픽셀을 오버래핑하지 않고, 제1 프레임과 제2 프레임의 정렬이 수행될 수 있다.
예시적인 실시예에서 제1 프레임을 제2 프레임과 정렬하는 것은 백엔드 프로세서(316)에 의해 수행될 수 있다. 정렬은, 제1 픽셀과 연관된 지리적 위치 메타데이터 및 제2 픽셀과 연관된 지리적 위치 메타데이터를 비교하여, 제2 지리적 위치에 관한 제1 지리적 위치의 위치를 결정하고, 제2 지리적 위치에 관한 제1 지리적 위치의 위치를 기초로 제2 프레임의 에지 또는 코너와 제1 프레임의 에지 또는 코너를 정렬하여, 제1 프레임 및 제2 프레임을 포함하는 이미지를 생성함으로써 수행될 수 있다.
본 개시의 또 다른 측면에 따라, 비디오 데이터에서 프레임을 정렬하기 위한 방법은, 비디오 데이터 스트림의 프레임으로 표현되는(represented) 영역에 대응하는 제1 지리적 위치(first geographical position)를 결정하고, 제1 지리적 위치를 인코딩하여 제1 프레임과 연관된 지리적 위치 메타데이터(geolocation metadata)를 생성하고, 및 제1 프레임의 메타데이터 공간(metadata space)에서 제1 프레임(the first)과 연관된 지리적 위치 메타데이터를 통합하는 것을 포함한다. 이러한 실시예에서, 상기 방법은, 비디오 데이터 스트림의 제2 프레임으로 표현되는 영역에 대응하는 제2 지리적 위치(second geographical position)를 결정하고, 제2 지리적 위치를 인코딩하여 제2 프레임과 연관된 지리적 위치 메타데이터를 생성하고, 제2 프레임의 메타데이터 공간에서 제2 픽셀(second pixel)과 연관된 지리적 위치 메타데이터를 통합하는 것을 또한 포함한다. 제1 프레임은, 지리적 위치 메타데이터에 기초하여 제2 프레임과 정렬되어(aligned), 제1 프레임 및 제2 프레임을 포함하는 이미지를 생성할 수 있다.
제1 프레임과 연관된 지리적 위치 메타데이터는 제2 프레임과 연관된 지리적 위치 정보와 비교되어, 제2 지리적 위치에 관해 제1 지리적 위치의 위치를 결정한다. 제1 프레임은, 제2 지리적 위치에 관한 제1 지리적 위치의 위치를 기초로 제2 프레임과 정렬되어, 제1 프레임 및 제2 프레임을 포함하는 이미지를 생성한다. 예시적인 실시예에서, 본 개시의 이러한 측면에 따르면, 제1 프레임 및 제2 프레임은 예를 들어 제1 프레임 및 제2 프레임에서 표현된 이미징된 특징에 기초하여 특징 등록을 수행함으로써 정렬될 수 있다.
본 개시의 다른 측면에 따른 심볼로지 정보와 별도로 원시 센서 데이터를 포함하는 UHD 비디오를 동적 스케일링(dynamic scaling), 언패킹(unpacking) 및 구성(assembling)을 수행하는 센서 데이터 처리 장치(sensor data processing apparatus)(1100)가 도 11을 참고하여 설명된다.
예시적인 실시예에서, 센서 데이터 처리 장치는 비디오 프로세서(312)와 백엔드 프로세서(316) 사이의 경로에 연결된 심볼로지 처리 모듈(symbology processing module)(1102)을 포함하며, 이는 도 3을 참조하여 상술된다. 본 개시의 측면에 따르면, 동적 비디오 확산(dynamic video spreading)은 큰 이미지(large images)를 분리하고(breaks up), 일련의 3Gbps SMPTE 표준 비디오 전송 경로(3Gbps SMPTE standard video transport paths)(604)에 걸쳐 이미지를 확산시킨다(spreads). 예시적인 실시예에서, 비디오 전송 경로(604)는 6개의 SMPTE 424M 1080p60 채널(six SMPTE 424M 1080p60 channels)을 포함한다. 본 개시의 또 다른 측면에 따르면 백엔드 프로세서(316)는 KLV 메타데이터를 판독하고, KLV 메타데이터 정보를 사용하여 복수의 HD 비디오 입력(multiple HD video inputs)으로부터 UHD 비디오(UHD video)의 전체 프레임(full frames)을 언패킹(unpack), 버퍼링한다(buffer). 백엔드 프로세서(316)는 KLV 메타데이터 및 사용자 정의 필드(user defined fields)를 사용하여, 동적 비디오 확산 기능(dynamic video spreading function)으로 통신하고, 메타데이터가 적용할 수 있는 비디오와 시간 정렬되는(time aligned) 것을 보장한다.
예시적인 실시예에서, 심볼로지 처리 모듈(symbology processing module)(1102)은 원시 비디오 데이터(raw video data)의 대응하는 프레임(corresponding frames)과 연관되는 메타데이터에 심볼로지를 내장하도록(embed) 구성된다. 심볼로지 처리 모듈(1102)은 이미지 센서(302, 306, 308) 중 하나 이상으로부터 비디오 프레임을 포함하는 비디오 스트림을 획득하고, 비디오 프레임과 연관된 심볼로지 정보를 식별하도록 구성된다. 심볼로지 처리 모듈(1102)은 비디오 프레임과 연관된 심볼로지 메타데이터로 심볼로지 정보를 인코딩하고, 비디오 프레임의 메타데이터 공간에 심볼로지 메타데이터를 통합하도록 구성된다.
복수의 UHD 센서(various UHD sensors)로부터 획득 및 출력되는 이미지 데이터 및 비디오 데이터는, 복수의 상이한 기술(a variety of different techniques)을 사용하여 상이한 목적을 위해 데이터를 분석하고 처리하는 복수의 엔티티(various entities)에 제공될 수 있다.
예를 들어, 다양한 분석을 포함하는 이러한 엔티티 중 일부는 압축 기술, 심볼로지의 부가(addition), 또는 다른 후 처리(post processing)에 의해 손상되거나(corrupted) 또는 변경되지(altered) 않은 원시 형태(raw form)로 이미지 데이터 및/또는 비디오 데이터를 수신하는 것에 의존한다. 예를 들어 파일럿(pilots) 및 무기 오퍼레이터(weapons operators)를 포함하는 이미지 및 비디오 데이터를 수신하는 다른 엔티티는, 이미지 데이터에 따라 디스플레이되는 복수의 심볼로지(various symbology)에 의존한다(rely). UHD 센서 플랫폼(UHD sensor platform)으로부터 비디오 데이터 스트림(video data stream)에 따라 디스플레이되는 심볼로지는, 십자선(cross hairs), 위치 정보(location information), 타겟 식별자(target identifiers), 조준 및 포인팅 정보(aiming and pointing information), 플랫폼 자세 정보(platform attitude information), 플랫폼 속도(platform velocity) 등을 포함할 수 있다. 통상적으로 심볼로지는 비디오 스트림의 프레임에 오버레이된다.
이미지 데이터 및 비디오 데이터에 심볼로지를 부가하는 통상적인 비디오 처리 시스템은, 예를 들어 일반적으로 원시 데이터를 오버라이트하거나(overwrite), 또는 압축 및/또는 압축 해제된(decompressed) 데이터를 오버라이트한다. 압축 기술 및 심볼로지의 부가는 각각 원시 데이터를 변경하고, 아니면 원시 데이터를 처리하여 액세스할 수 있는 정보를 파괴한다(destroy).
본 개시의 측면에 따르면, 심볼로지 정보는 프레임 내의 이미지 데이터에 오버레이되는 것이 아니라 각 비디오 프레임에 대한 표준 메타데이터와 함께 포함된다. 예시적인 실시예에서, 이미지 또는 비디오 스트림에 디스플레이될 각 심볼에 대해, 심볼로지 정보는 디스플레이될 심볼과 심볼이 표시될 위치를 정의하는 이미지 내 위치를 정의한다. 본 개시의 측면에 따르면, 이미지 데이터 및/또는 원시 비디오 데이터는 압축되지 않고(uncompressed) 손상되지 않은(uncorrupted) 형태로 제공될 수 있으며, 반면에 각 프레임에 대한 심볼로지 정보는, 대응하는 프레임에 바람직한 심볼로지를 오버레이하도록 후 처리로 필요에 따라 메타데이터로부터 액세스될 수 있다. 원시 데이터는 추가 분석을 위해 하나 이상의 UHD 센서로부터 감지된 모든 정보를 보유하는 반면에, 심볼로지 메타데이터는 적절한 맥락에서 상황 인식(situational awareness)을 향상시키기 위해 실시간 정보를 제공한다.
본 개시의 다른 측면에 따르면, 각 프레임에 대한 메타데이터로 인코딩되는 심볼로지 정보는 메타데이터의 2개 이상의 상이한 카테고리를 포함할 수 있다. 예시적인 실시예에서, 심볼로지 정보의 적절한 카테고리만이 후처리 동안 이미지 데이터 상에서 추출되고(extracted) 오버레이된다. 적절한 카테고리는 비디오 데이터를 수신 및/또는 보는(viewing) 엔티티의 유형에 기초하여 결정될 수 있으며, 예를 들어 뷰잉 엔티티(viewing entity)에 의해 선택할 수 있다. 본 개시의 다른 측면에 따르면, 기록된(archived) 비디오 데이터는 심볼로지 메타데이터에서 인코딩된 정보를 기초로 검색되어, 예를 들어 이후에 보거나 분석하기 위해 비디오 스트림에서 특정 속성(attributes)의 위치를 찾을(locate) 수 있다.
본 개시의 측면에 따르면, 센서 데이터 처리 장치는 처리 회로, 처리 회로에 연결된 원시 UHD 비디오 데이터 입력 경로, 및 처리 회로와 병렬로 연결된 복수의 이미지 데이터 출력 경로를 포함한다. 센서 데이터 처리 장치는 또한 이미지 데이터 출력 경로와 병렬로 처리 회로에 연결된 하나 이상의 메타데이터 출력 경로, 및 이미지 데이터 출력 경로에 연결된 프레임 스티칭 모듈을 포함한다. 본 개시의 측면에 따르면, 프레임 스티칭 모듈은 비디오 데이터 스트림의 제1 프레임의 에지 또는 코너의 제1 픽셀로 표현되는 영역에 대응하는 제1 지리적 위치를 결정하고, 제1 지리적 위치를 인코딩하여 제1 픽셀과 연관된 지리적 위치 메타데이터를 생성하고, 제1 프레임의 메타데이터 공간에서 제1 픽셀과 연관된 지리적 위치 메타데이터를 통합하도록 구성된다.
본 개시의 측면에 따르면, 프레임 스티칭 모듈은 또한 비디오 데이터 스트림의 제2 프레임의 에지 또는 코너의 제2 픽셀로 표현되는 영역에 대응하는 제2 지리적 위치를 결정하고, 제2 지리적 위치를 인코딩하여 제2 픽셀과 연관된 지리적 위치 메타데이터를 생성하고, 제2 프레임의 메타데이터 공간에 제2 픽셀과 연관된 지리적 위치 메타데이터를 통합하도록 구성된다. 프레임 스티칭 모듈은 제1 프레임과 제2 프레임을 포함하는 이미지를 생성하도록 제1 프레임과 제2 프레임을 정렬하도록 구성된다.
예시적인 실시예에서, 프레임 스티칭 모듈은, 제1 픽셀과 연관된 지리적 위치 메타데이터 및 제2 픽셀과 연관된 지리적 위치 정보를 비교하여 제2 지리적 위치에 관한 제1 지리적 위치의 위치를 결정하고, 제2 지리적 위치에 관한 제1 지리적 위치의 위치를 기초로 제2 프레임의 에지 또는 코너와 제1 프레임의 에지 또는 코너를 정렬하여 제1 프레임 및 제2 프레임을 포함하는 이미지를 생성하도록 구성된다. 본 개시의 측면에 따르면, 프레임 스티칭 모듈은 제1 프레임 또는 제2 프레임을 리샘플링하지 않고 실시간으로 제1 프레임과 제2 프레임을 정렬하도록 구성된다.
본 개시의 측면은 특정 메타데이터가 비디오 스트림의 각 프레임에 포함되는 것을 설명하지만, 개시된 시스템 및 기술은 예를 들어 일부 프레임이 특정 메타데이터를 포함할 수 없거나, 또는 프레임을 변경하는(alternating) 것은 특정 메타데이터를 포함할 수 있는 경우의 다른 실시예에서 구현될 수 있음을 이해해야 한다.
도 12는 본 개시의 측면에 따른 UHD 센서 데이터 처리의 메타데이터로 저장될 수 있는 심볼로지 정보의 예를 도시한 예이다. 심볼로지 정보는 예를 들어 도 8을 참조하여 상술한 바와 같이 VANC 메타데이터 공간(804)에 포함될 수 있다. VANC 메타데이터 공간(804)의 심볼로지 정보는 미처리된 원시 이미지 데이터(unprocessed raw image data)(1204)를 또한 포함하는 이미지 프레임(1202)과 연관된다. VANC 메타데이터 공간(804)에 위치될 수 있는 심볼로지 정보의 예는, 타겟 추적 게이트 이동(moving target track gates), 헤딩(heading), 고도(altitude), LOS, 콘트라스트 향상 및 비디오 처리를 위한 이미지 통계, 및/또는 레이저 범위 및/또는 타겟 암(targeting arm) 및 발사 정보(fire information)를 포함할 수 있다.
본 개시의 측면에 따르면, 원시 이미지 데이터는 저장 장치(storage device)(1206)로 내보낼(exported) 수 있거나, 또는 상이한 엔티티에 의해 보기 위해 상이한 심볼로비 정보와 실시간으로 또는 거의 실시간으로 결합될 수 있다. 예시적인 실시예에서, 제1 엔티티 디스플레이(first entity display)(1208)는 원시 이미지 데이터를 제1 카테고리의 심볼로지와 결합할 수 있고, 제2 엔티티 디스플레이(second entity display)(1210)는 원시 이미지 데이터를 제2 카테고리의 심볼로지와 결합할 수 있으며, 제3 엔티티 디스플레이(third entity display)(1212)는 원시 이미지 데이터를 제3 카테고리의 심볼로지와 결합할 수 있다. 이러한 실시예에서, 심볼로지의 3 개의 카테고리는 모두 각각의 대응하는 이미지 프레임(corresponding image frame)(1202)의 VANC 메타데이터 공간(VANC metadata space)(804)에 인코딩된다.
도 13은 본 개시의 측면에 따라 비디오 데이터 스트림에서 심볼로지(symbology)를 제공하기 위한 방법(1300)을 도시하는 프로세스 흐름도이다. 블록(1302)에서, 상기 방법은, 이미지 센서(302, 306, 308)와 같은 하나 이상의 이미지 센서로부터 비디오 프레임을 포함한 비디오 스트림(video stream)을 획득하는(acquiring) 것을 포함한다. 블록(1304)에서, 상기 방법은, 상기 비디오 프레임과 연관된 심볼로지 정보(symbology information)를 식별하는(identifying) 것을 포함한다. 블록(1306)에서, 상기 방법은, 상기 심볼로지 정보를 인코딩하여, 상기 비디오 프레임과 연관된 심볼로지 메타데이터(symbology metadata)를 생성하는 것을 포함한다. 블록(1308)에서, 상기 방법은, 상기 비디오 프레임의 메타데이터 공간에서 제1 픽셀(first pixel)과 연관된 상기 심볼로지 메타데이터를 통합하는(incorporating) 것을 포함한다. 상기 심볼로지 메타데이터는, 예를 들어 상기 비디오 프레임의 HANC 메타데이터 공간(HANC metadata space) 또는 VANC 메타데이터 공간(VANC metadata space)에서 통합될 수 있다. 심볼로지 정보를 식별하는 단계(1304), 심볼로지 정보를 인코딩하는 단계(1306), 및 메타데이터 공간에서 심볼로지 메타데이터를 통합하는 단계(1308)는, 예를 들어 도 11의 심볼로지 모듈(1102)에 의해 수행될 수 있다.
본 개시의 측면에 따르면, 비디오 프레임은 하나 이상의 센서(302, 306, 308)로부터 수신된 원시 데이터를 포함한다. 본 개시의 다른 측면에 따르면, 심볼로지 정보는 원시 데이터와 연관된 하나 이상의 심볼들을 정의하는 정보, 및 비디오 스트림에 대응하는 심볼을 디스플레이하는 위치를 정의하는 정보를 포함한다.
블록(1310)에서, 상기 방법은, 상기 비디오 스트림에서 대응하는(corresponding) 상기 비디오 프레임의 상기 원시 데이터(raw data)에 따라, 출력 경로(output path)로 상기 심볼로지 메타데이터를 전송하는(transporting) 것을 포함한다. 대응하는 상기 비디오 프레임의 상기 원시 데이터에 따라 상기 심볼로지 메타데이터를 전송하는 단계(1310)는, 예를 들어 도 11의 심볼로지 처리 모듈(symbology processing module)(1102)에 의해 수행될 수 있다. 블록(1312)에서, 상기 방법은, 상기 비디오 프레임에 대응하는 상기 심볼로지 메타데이터에 액세스하는(accessing) 것을 포함한다. 블록(1314)에서, 상기 방법은, 상기 심볼로지 메타데이터를 디코딩하여, 상기 원시 데이터와 연관된 하나 이상의 심볼들과, 상기 비디오 스트림에서 상기 대응하는 심볼을 디스플레이하기 위한 상기 위치를 정의하는 정보를 식별하는 것을 포함한다. 블록(1316)에서, 상기 방법은, 상기 비디오 스트림에서 대응하는 상기 위치에서, 상기 하나 이상의 심볼들을 상기 원시 데이터에 오버레이하는(overlaying) 것을 포함한다. 심볼로지 메타데이터에 액세스하는 단계(1314), 심볼로지 메타데이터를 디코딩 하는 단계(1314), 및 원시 데이터에 오버레이하는 단계(1316)는 예를 들어 도 3의 백엔드 프로세서(back end processor)(316) 또는 백엔드 프로세서(316)로부터 출력을 수신하는 디스플레이 장치(display apparatus)에 의해 수행될 수 있다.
예시적인 실시예에서, 심볼로지 정보는 두 개 이상의 상이한 심볼로지 카테고리의 심볼들을 포함할 수 있다. 본 개시의 측면에 따르면, 방법(1300)은 또한 심볼로지 카테고리 중 선택된 하나 이상에 있는 심볼만을 오버레이하는 것을 포함할 수 있다. 선택된 심볼로지 카테고리는 예를 들어, 비디오 데이터의 소비자 유형에 기초하여 결정될 수 있거나, 또는 뷰잉 엔티티(viewing entity)에 의해 선택될 수 있다.
본 개시의 측면이 특히 예시적인 실시예들을 참조하여 도시되고 기술되었지만, 다음의 청구항에 의해 정의되는 본 개시의 범위에서 벗어나지 않고, 형태 및 세부 사항의 다양한 변경이 이루어질 수 있다는 것이 본 기술 분야의 당업자에 의해 이해될 것이다.

Claims (20)

  1. 비디오 데이터 스트림에서 심볼로지(symbology)를 제공하기 위한 방법에 있어서,
    하나 이상의 이미지 센서로부터 비디오 프레임을 포함한 비디오 스트림을 획득하는 단계 - 상기 비디오 스트림은 상기 비디오 프레임에 대한 표준 메타데이터를 포함하는 메타데이터 공간을 더 포함함 -;
    상기 비디오 프레임에 오버레이될 심볼에 대한 심볼로지 정보를 식별하는 단계;
    상기 비디오 프레임과 연관된 심볼로지 메타데이터를 생성하도록 상기 심볼로지 정보를 인코딩하는 단계; 및
    상기 비디오 프레임의 상기 메타데이터 공간 내에서 상기 표준 메타데이터와 상기 심볼로지 메타데이터를 통합하는(incorporating) 단계
    를 포함하고,
    상기 비디오 프레임은,
    상기 하나 이상의 이미지 센서로부터 수신된 원시 데이터
    를 포함하고,
    상기 심볼로지 정보는,
    상기 원시 데이터와 연관된 하나 이상의 심볼들을 정의하는 정보; 및
    상기 비디오 스트림 내에서 대응하는 심볼을 디스플레이하기 위한 위치를 정의하는 정보
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 비디오 프레임의 수평 보조 메타데이터 공간(horizontal ancillary metadata space) 또는 수직 보조 메타데이터 공간(vertical ancillary metadata space) 내에서 상기 심볼로지 메타데이터를 통합하는 단계
    를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 비디오 스트림에서 상기 비디오 프레임에 대응하는 상기 원시 데이터에 따라, 출력 경로로 상기 심볼로지 메타데이터를 전송하는 단계
    를 더 포함하는 방법.
  4. 제3항에 있어서,
    상기 비디오 프레임에 대응하는 상기 심볼로지 메타데이터에 액세스하는(accessing) 단계; 및
    상기 원시 데이터와 연관된 하나 이상의 심볼들과, 상기 비디오 스트림에서 상기 하나 이상의 심볼들을 디스플레이하기 위한 상기 위치를 정의하는 정보를 식별하도록 상기 심볼로지 메타데이터를 디코딩하는 단계
    를 더 포함하는 방법.
  5. 제4항에 있어서,
    상기 비디오 스트림에서 대응하는 상기 위치에서, 상기 하나 이상의 심볼들을 상기 원시 데이터에 오버레이하는(overlaying) 단계
    를 더 포함하는 방법.
  6. 제1항에 있어서,
    상기 심볼로지 정보는,
    2 개 이상의 상이한 심볼로지 카테고리들의 심볼들
    을 포함하는 방법.
  7. 제6항에 있어서,
    상기 심볼로지 카테고리들 중 선택된 하나 이상의 심볼로지 카테고리에 있는 심볼들만 오버레이하는 단계
    를 포함하는 방법.
  8. 제7항에 있어서,
    상기 심볼로지 카테고리들 중 상기 선택된 하나 이상의 심볼로지 카테고리는,
    비디오 데이터의 소비자 유형(type of consumer)에 기초하여 결정되는,
    방법.
  9. 제7항에 있어서,
    상기 심볼로지 카테고리들 중 상기 선택된 하나 이상의 심볼로지 카테고리는,
    뷰잉 엔티티(viewing entity)에 의해 선택될 수 있는,
    방법.
  10. 센서 데이터 처리 장치에 있어서,
    처리 회로(processing circuitry);
    상기 처리 회로에 연결된 원시 비디오 데이터 입력 경로;
    상기 처리 회로에 병렬로 연결된 복수의 이미지 데이터 출력 경로;
    상기 처리 회로에 연결된 하나 이상의 메타데이터 출력 경로; 및
    상기 이미지 데이터 출력 경로에 연결된 심볼로지 처리 모듈
    을 포함하고,
    상기 심볼로지 처리 모듈은,
    하나 이상의 이미지 센서로부터 비디오 프레임을 포함한 비디오 스트림을 획득하고 - 상기 비디오 스트림은 상기 비디오 프레임에 대한 표준 메타데이터를 포함하는 메타데이터 공간을 더 포함함 -;
    상기 비디오 프레임에 오버레이될 심볼에 대한 심볼로지 정보를 식별하고;
    상기 비디오 프레임과 연관된 심볼로지 메타데이터를 생성하도록 상기 심볼로지 정보를 인코딩하고; 및
    상기 비디오 프레임의 상기 메타데이터 공간 내에서 상기 표준 메타데이터와 상기 심볼로지 메타데이터를 통합하도록(incorporating) 구성되고,
    상기 비디오 프레임은,
    상기 하나 이상의 이미지 센서로부터 수신된 원시 데이터
    를 포함하고,
    상기 심볼로지 정보는,
    상기 원시 데이터와 연관된 하나 이상의 심볼들을 정의하는 정보; 및
    상기 비디오 스트림 내에서 대응하는 심볼을 디스플레이하기 위한 위치를 정의하는 정보
    를 포함하는 장치.
  11. 제10항에 있어서,
    상기 심볼로지 처리 모듈은,
    상기 비디오 프레임의 수평 보조 메타데이터 공간(horizontal ancillary metadata space) 또는 수직 보조 메타데이터 공간(vertical ancillary metadata space) 내에서 상기 심볼로지 메타데이터를 통합하도록 구성된,
    장치.
  12. 제10항에 있어서,
    상기 심볼로지 처리 모듈은,
    상기 비디오 스트림에서 비디오 프레임에 대응하는 상기 원시 데이터에 따라, 출력 경로로 상기 심볼로지 메타데이터를 전송하도록 구성된,
    장치.
  13. 제12항에 있어서,
    상기 심볼로지 처리 모듈은,
    상기 비디오 프레임에 대응하는 상기 심볼로지 메타데이터에 액세스하고(access);
    상기 원시 데이터와 연관된 하나 이상의 심볼들과, 상기 비디오 스트림에서 대응하는 심볼을 디스플레이하기 위한 위치를 정의하는 정보를 식별하도록 상기 심볼로지 메타데이터를 디코딩하고; 및
    상기 비디오 스트림에서 대응하는 상기 위치에서, 상기 하나 이상의 심볼들을 상기 원시 데이터에 오버레이하도록(overlay) 구성되는,
    장치.
  14. 제12항에 있어서,
    상기 심볼로지 정보는,
    2 개 이상의 상이한 심볼로지 카테고리들의 심볼들
    을 포함하고,
    상기 심볼로지 처리 모듈은,
    상기 심볼로지 카테고리들 중 선택된 하나 이상의 심볼로지 카테고리에 있는 심볼들만 오버레이하도록 구성된,
    장치.
  15. 제14항에 있어서,
    상기 심볼로지 처리 모듈은,
    비디오 데이터의 소비자 유형(type of consumer)에 기초하여, 상기 심볼로지 카테고리들 중 상기 선택된 하나 이상의 심볼로지 카테고리를 결정하도록 구성된,
    장치.
  16. 제14항에 있어서,
    상기 심볼로지 카테고리들 중 상기 선택된 하나 이상의 심볼로지 카테고리는,
    비디오 데이터의 소비자에 의해 선택될 수 있는,
    장치.

  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020197028880A 2017-03-10 2018-02-01 비디오 데이터의 심볼로지 인코딩 방법 KR102234076B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/455,894 2017-03-10
US15/455,894 US10390030B2 (en) 2017-03-10 2017-03-10 Symbology encoding in video data
PCT/US2018/016439 WO2018164789A1 (en) 2017-03-10 2018-02-01 Symbology encoding in video data

Publications (2)

Publication Number Publication Date
KR20190118662A KR20190118662A (ko) 2019-10-18
KR102234076B1 true KR102234076B1 (ko) 2021-03-30

Family

ID=61193192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197028880A KR102234076B1 (ko) 2017-03-10 2018-02-01 비디오 데이터의 심볼로지 인코딩 방법

Country Status (7)

Country Link
US (1) US10390030B2 (ko)
EP (1) EP3593532B1 (ko)
KR (1) KR102234076B1 (ko)
CN (1) CN110447230B (ko)
AU (1) AU2018230040B2 (ko)
IL (1) IL269050B (ko)
WO (1) WO2018164789A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110145256A1 (en) * 2009-12-10 2011-06-16 Harris Corporation Video processing system providing overlay of selected geospatially-tagged metadata relating to a geolocation outside viewable area and related methods
US20150269258A1 (en) * 2011-12-23 2015-09-24 Prioria Robotics, Inc. Automated Self-Censoring of Remotely-Sensed Data Based on Automated ROI Awareness and People Detection Using a Prioritized Contact Transport Stream

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4179693A (en) 1977-05-23 1979-12-18 Rockwell Internation Corporation Autonomous, check-pointing, navigational system for an airborne vehicle
US5785281A (en) 1994-11-01 1998-07-28 Honeywell Inc. Learning autopilot
US5878356A (en) 1995-06-14 1999-03-02 Agrometrics, Inc. Aircraft based infrared mapping system for earth based resources
US7110457B1 (en) 2000-05-09 2006-09-19 Leitch Technology International Inc. System and method for time division multiplexing of asynchronous video and data signals
EP1317857A1 (en) * 2000-08-30 2003-06-11 Watchpoint Media Inc. A method and apparatus for hyperlinking in a television broadcast
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US20080037825A1 (en) 2006-08-08 2008-02-14 Gcs Research Llc Digital Watermarking for Geospatial Images
US7725257B2 (en) 2006-09-05 2010-05-25 Honeywell International Inc. Method and system for navigation of an ummanned aerial vehicle in an urban environment
JP4305483B2 (ja) * 2006-09-12 2009-07-29 ソニー株式会社 映像信号生成装置，映像信号受信装置及び映像信号生成・受信システム
JP2010512693A (ja) * 2006-12-07 2010-04-22 アダックス，インク． データの付加、記録および通信のためのシステムと方法
US20080253685A1 (en) 2007-02-23 2008-10-16 Intellivision Technologies Corporation Image and video stitching and viewing method and system
US8587659B1 (en) 2007-05-07 2013-11-19 Equinox Corporation Method and apparatus for dynamic image registration
JP4858294B2 (ja) 2007-05-09 2012-01-18 ソニー株式会社 撮像装置、撮像回路および画像処理回路
US20100271488A1 (en) 2009-04-22 2010-10-28 Alcatel-Lucent Usa Inc. Method for detecting corrupted payload in a serial digital interface video stream
CN102148958B (zh) * 2010-02-08 2016-04-20 北京中星微电子有限公司 一种在模拟视频数据中嵌入监控附加信息的方法及系统
US20130021475A1 (en) 2011-07-21 2013-01-24 Canant Ross L Systems and methods for sensor control
US8890863B1 (en) 2011-08-12 2014-11-18 Google Inc. Automatic method for photo texturing geolocated 3-D models from geolocated imagery
KR101853504B1 (ko) * 2011-10-18 2018-05-02 한국전자통신연구원 비디오 신호의 보조 데이터 공간에 동기 정보를 추가하여 영상을 동기화하는 장치 및 방법
KR101869370B1 (ko) 2012-01-02 2018-07-20 한국전자통신연구원 디지털 방송 시스템에서 초고화질 방송 송수신 방법 및 장치
CN102665031B (zh) 2012-04-28 2016-09-07 华为技术有限公司 视频信号处理方法和摄像设备
US9185321B1 (en) 2012-06-22 2015-11-10 Matrox Electronic Systems, Ltd. Apparatus, system and method for processing video data, audio data and ancillary data
US9497457B1 (en) 2012-10-18 2016-11-15 Altia Systems Inc Repacking of panoramic video based on standard image formats
US9668015B2 (en) * 2012-11-28 2017-05-30 Sony Corporation Using extra space on ultra high definition display presenting high definition video
US9264598B1 (en) 2012-12-12 2016-02-16 Amazon Technologies, Inc. Collaborative image capturing
WO2014107255A1 (en) * 2013-01-02 2014-07-10 Dolby Laboratories Licensing Corporation Backward-compatible coding for ultra high definition video signals with enhanced dynamic range
US9380275B2 (en) * 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
EP2843960A1 (en) * 2013-08-28 2015-03-04 Thomson Licensing Method and apparatus for managing metadata of media data
KR102107270B1 (ko) * 2013-07-15 2020-05-06 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
JP6221606B2 (ja) 2013-10-08 2017-11-01 ソニー株式会社 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US10638194B2 (en) * 2014-05-06 2020-04-28 At&T Intellectual Property I, L.P. Embedding interactive objects into a video session
TWI631835B (zh) * 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 用以解碼媒體信號之解碼器、及用以編碼包含用於主要媒體資料之元資料或控制資料的次要媒體資料之編碼器
US9681182B2 (en) 2015-11-02 2017-06-13 Disney Enterprises, Inc. Real-time transmission of dynamic range tags in a video broadcast
CN105407278A (zh) * 2015-11-10 2016-03-16 北京天睿空间科技股份有限公司 一种全景视频交通态势监控系统及方法
US10097790B2 (en) * 2016-03-15 2018-10-09 Disney Enterprises, Inc. Carriage of PTP time reference data in a real-time video signal
CN105812814B (zh) * 2016-03-24 2018-12-28 湖南优象科技有限公司 一种基于无人机视频的飞参数据可视化编码传输方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110145256A1 (en) * 2009-12-10 2011-06-16 Harris Corporation Video processing system providing overlay of selected geospatially-tagged metadata relating to a geolocation outside viewable area and related methods
US20150269258A1 (en) * 2011-12-23 2015-09-24 Prioria Robotics, Inc. Automated Self-Censoring of Remotely-Sensed Data Based on Automated ROI Awareness and People Detection Using a Prioritized Contact Transport Stream

Also Published As

Publication number Publication date
IL269050A (en) 2019-10-31
AU2018230040B2 (en) 2020-07-16
IL269050B (en) 2020-11-30
WO2018164789A1 (en) 2018-09-13
EP3593532B1 (en) 2022-04-20
KR20190118662A (ko) 2019-10-18
EP3593532A1 (en) 2020-01-15
US10390030B2 (en) 2019-08-20
CN110447230B (zh) 2021-12-31
US20180262766A1 (en) 2018-09-13
AU2018230040A1 (en) 2019-08-01
CN110447230A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
KR102192405B1 (ko) 비디오 데이터의 실시간 프레임 정렬
US20210289145A1 (en) Transporting ultra-high definition video from multiple sources
KR102250440B1 (ko) 복수의 소스에서 초고화질 비디오를 전송하는 방법
KR102234076B1 (ko) 비디오 데이터의 심볼로지 인코딩 방법
KR102225111B1 (ko) 기존 hd 비디오 아키텍처를 통해 원시 uhd 비디오를 인코딩 및 프로세싱하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant