KR102328151B1 - 제로 레이턴시를 위한 데이터 전송 장치 및 방법 - Google Patents

제로 레이턴시를 위한 데이터 전송 장치 및 방법 Download PDF

Info

Publication number
KR102328151B1
KR102328151B1 KR1020210105912A KR20210105912A KR102328151B1 KR 102328151 B1 KR102328151 B1 KR 102328151B1 KR 1020210105912 A KR1020210105912 A KR 1020210105912A KR 20210105912 A KR20210105912 A KR 20210105912A KR 102328151 B1 KR102328151 B1 KR 102328151B1
Authority
KR
South Korea
Prior art keywords
image data
gpu
memory
camera
cameras
Prior art date
Application number
KR1020210105912A
Other languages
English (en)
Inventor
박장한
Original Assignee
한화시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템(주) filed Critical 한화시스템(주)
Priority to KR1020210105912A priority Critical patent/KR102328151B1/ko
Application granted granted Critical
Publication of KR102328151B1 publication Critical patent/KR102328151B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H04N5/23206—
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

제로 레이턴시를 위한 데이터 전송 장치가 제공된다. 상기 장치는 복수의 EO 카메라 및 IR 카메라를 포함하는 360도 상황인식 EO/IR 카메라부 및 상기 복수의 EO 카메라 및 IR 카메라에 의해 촬영된 영상 데이터를 수신하여 주메모리 상에 저장하고, 상기 주메모리에 저장된 영상 데이터를 GPU용 메모리에 복사하고, 상기 GPU용 메모리 상에 저장된 영상 데이터를 GPU 내 소정의 제1 또는 제2 메모리 영역으로 복사한 후 인공지능 모델에 기초하여 파노라마 영상으로 생성하는 통합 제어부를 포함한다.

Description

제로 레이턴시를 위한 데이터 전송 장치 및 방법{DATA TRANSMISSION DEVICE AND METHOD FOR ZERO LATENCY}
본 발명은 제로 레이턴시를 위한 데이터 전송 장치 및 방법에 관한 것이다.
종래 기술은 가시광 센서(CCD, CMOS) 또는 적외선 센서(열영상, Thermal) 기반 EO(Electro-Optical, EO) 카메라와 IR(Infrared, IR) 카메라 영상에 있어서, 360도 EO/IR 카메라는 15m 이상의 대용량 영상 데이터를 고속으로 전송하기 위해 이더넷(Ethernet)을 적용하고 있다.
종래 기술에 따른 데이터 전송 기술은 대용량 영상 데이터를 전송하기 위해 인코딩 과정이 포함된 기능이 필수적이며, 주 기능을 처리하기 위한 최종 메모리로 전송하기 전에 특정 메모리 내에서 디코딩하는 과정이 필수적으로 요구되어 데이터 전송시 지연시간이 발생한다.
따라서, 일반적인 신호처리 장치는 AI(인공지능), 영상처리 및 파노라마 영상 생성시 360도 EO/IR 카메라에서 전송되는 영상 데이터에 대해 인코딩 및 디코딩시 지연된 시간을 포함한 누적시간을 결과로 제시하고 있다.
이와 같이 대용량 영상 데이터를 전송함에 있어 지연시간이 발생하는 문제를 해소하기 위하여, 인코딩 처리 및 디코딩 처리가 없는 데이터 전송 방법이 필요한 실정이다.
본 발명이 해결하고자 하는 과제는 대용량 영상 데이터 전송시 인코딩 및 디코딩 과정이 요구되는 이더넷 방식이 아닌 LVDS 방식을 통해 시간지연없이 영상 데이터를 주메모리로 전송할 수 있는, 제로 레이턴시를 위한 데이터 전송 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 제로 레이턴시를 위한 데이터 전송 방법은 복수의 EO 카메라 및 IR 카메라를 포함하는 360도 상황인식 EO/IR 카메라부 및 상기 복수의 EO 카메라 및 IR 카메라에 의해 촬영된 영상 데이터를 수신하여 주메모리 상에 저장하고, 상기 주메모리에 저장된 영상 데이터를 GPU용 메모리에 복사하고, 상기 GPU용 메모리 상에 저장된 영상 데이터를 GPU 내 소정의 제1 또는 제2 메모리 영역으로 복사한 후 인공지능 모델에 기초하여 파노라마 영상으로 생성하는 통합 제어부를 포함한다.
본 발명의 일부 실시예에서, 상기 통합 제어부는 LVDS 방식에 기반하여 상기 360도 상황인식 EO/IR 카메라부로부터 영상 데이터를 수신할 수 있다.
본 발명의 일부 실시예에서, 상기 통합 제어부는 상기 360도 상황인식 EO/IR 카메라부로부터 상기 복수의 EO 카메라 및 IR 카메라의 수에 각각 상응하도록 형성된 채널을 통해 영상 데이터를 수신할 수 있다.
본 발명의 일부 실시예에서, 상기 통합 제어부는, 상기 360도 상황인식 EO/IR 카메라부에 의해 출력되는 병렬 영상 데이터를 직렬로 변환하는 직렬 변환기, 상기 EO 카메라 및 IR 카메라에 의한 출력 신호를 판별하여 자동으로 채널을 선택하기 위한 전환 스위치, 최대 4채널의 상기 직렬 변환된 영상 데이터를 수신하기 위한 복수의 병렬 변환기, 복수의 병렬 변환기에서 출력되는 각 신호를 동시에 수신하기 위한 카메라 직렬 인터페이스 및 상기 카메라 직렬 인터페이스에서 출력되는 신호를 혼합하여 상기 주메모리로 출력하기 위한 가상 먹싱을 포함할 수 있다.
본 발명의 일부 실시예에서, 상기 통합 제어부는 주메모리를 제어하기 위한 CPU 및 GPU용 메모리를 제어하기 위한 GPU를 포함하고, 상기 GPU용 메모리는 CPU의 제어 없이 상기 주메모리에 저장된 영상 데이터를 복사하여 저장할 수 있다.
본 발명의 일부 실시예에서, 상기 통합 제어부의 GPU는 상기 인공지능 모델에 기초하여 생성된 파노라마 영상을 GPU 내 별도의 제3 메모리 영역에 저장하고, 이와 동시에 상기 생성된 파노라마 영상을 GPU용 메모리로 전송하여 저장할 수 있다.
본 발명의 일부 실시예에서, 360도 상황인식 EO/IR 카메라부는 드론의 EO/IR 카메라에 의해 촬영된 영상(이하, 드론 영상)을 수신하는 안테나 및 RF 송수신 모듈을 포함하고, 상기 통합 제어부는 상기 드론 영상을 이더넷 채널을 통해 수신할 수 있다.
또한, 본 발명의 제2 측면에 따른 데이터 전송 장치에서의 제로 레이턴시를 위한 데이터 전송 방법은 복수의 EO 카메라 및 IR 카메라를 포함하는 360도 상황인식 EO/IR 카메라부를 통해 촬영된 영상 데이터를 수신하는 단계; 상기 촬영된 영상 데이터를 주메모리 상에 저장하는 단계; 상기 주메모리 상에 저장된 영상 데이터를 GPU용 메모리에 복사하는 단계; 상기 GPU용 메모리 상에 저장된 영상 데이터를 GPU 내 소정의 제1 또는 제2 메모리 영역으로 복사하는 단계; 및 상기 GPU에서 제1 또는 제2 메모리 영역에 저장된 영상 데이터를 기반으로 인공지능 모델에 기초하여 파노라마 영상을 생성하는 단계를 포함한다.
본 발명의 일부 실시예에서, 복수의 EO 카메라 및 IR 카메라를 포함하는 360도 상황인식 EO/IR 카메라부를 통해 촬영된 영상 데이터를 수신하는 단계는, LVDS 방식에 기반하여 상기 360도 상황인식 EO/IR 카메라부로부터 영상 데이터를 수신할 수 있다.
본 발명의 일부 실시예에서, 상기 GPU용 메모리 상에 저장된 영상 데이터를 GPU 내 소정의 제1 또는 제2 메모리 영역으로 복사하는 단계는, 상기 제1 메모리 영역에 기 저장된 영상 데이터가 존재하는지 여부를 확인하는 단계; 및 상기 확인 결과 기 저장된 영상 데이터가 존재하지 않는 경우 제1 메모리 영역에, 존재하는 경우 제2 메모리 영역에 상기 영상 데이터를 복사하는 단계를 포함할 수 있다.
본 발명의 일부 실시예는, 상기 GPU에서 상기 인공지능 모델에 기초하여 생성된 파노라마 영상을 GPU 내 별도의 제3 메모리 영역에 저장하는 단계; 및 상기 생성된 파노라마 영상을 GPU용 메모리로 전송하여 저장하는 단계를 더 포함할 수 있다.
본 발명의 일부 실시예는, 상기 360도 상황인식 EO/IR 카메라부에 포함된 안테나 및 RF 송수신 모듈을 통해 수신한 드론의 EO/IR 카메라에 의해 촬영된 드론 영상을 이더넷 채널을 통해 수신하는 단계를 더 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 제로 레이턴시를 위한 데이터 전송 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
전술한 본 발명의 일 실시예에 의하면, EO 카메라 및 IR 카메라에 의해 촬영된 대용량 영상 데이터를 인코딩 및 디코딩 과정이 필요한 이더넷 방식이 아닌 LVDS 전송 방식을 통해 시간지연 없이 대용량 영상 데이터를 전송할 수 있다.
또한, EO/IR 카메라에서 고속으로 전송된 대용량의 영상 데이터에 대하여 CPU의 주메모리 제어 없이 GPU용 메모리로 바로 전송되며, GPU는 GPU용 메모리에서 대용량 영상 데이터를 독출하여 GPU 내 메모리로 전송하고, 전송된 대용량 영상 데이터를 GPU에서 빠르게 처리할 수 있는 장점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 일 실시예에 따른 데이터 전송 장치의 블록도이다.
도 2는 6대의 EO 카메라 및 IR 카메라의 감시영역을 도시한 도면이다.
도 3은 EO 카메라 8대와 IR 카메라 8대가 구비된 실시예이다.
도 4는 본 발명의 일 실시예에 따른 데이터 전송 방법의 순서도이다.
도 5는 본 발명의 일 실시예에서 생성된 파노라마 영상의 일 예시를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는 도 1 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 제로 레이턴시를 위한 데이터 전송 장치(100, 이하 데이터 전송 장치)에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 데이터 전송 장치(100)의 블록도이다.
본 발명의 일 실시예에 따른 데이터 전송 장치(100)는 360도 상황인식 EO/IR 카메라부(110) 및 통합 제어부를 포함한다.
360도 상황인식 EO/IR 카메라부(110)는 EO 카메라(111) 및 IR 카메라(112)를 포함하여 구성된다. 일 실시예로 본 발명에서의 360도 상황인식 EO/IR 카메라부(110)는 유무인 복합 운용 차량의 상단에 장착될 수 있다. 이러한 360도 상황인식 EO/IR 카메라부(110)를 통해 본 발명은 원거리 또는 중거리에 위치한 객체를 검출할 수 있다.
또한, 본 발명의 일 실시예에 따른 360도 상황인식 EO/IR 카메라부(110)는 1Km 이상에 위치한 드론과의 연동을 위한 RF 송수신 모듈(113) 및 안테나(114)를 포함하여 구성되는 것을 특징으로 한다.
360도 상황인식 EO/IR 카메라부(110)의 EO 카메라(111) 및 IR 카메라(112)에 의해 촬영된 영상 데이터는 낮은 전압 차등신호(Low voltage differential signaling, 이하 LVDS) 방식에 기반하여 통합 제어부(120)로 전송된다. 즉, 본 발명의 일 실시예는 EO 카메라 및 IR 카메라에 의해 촬영된 대용량 영상 데이터를 인코딩 및 디코딩 과정이 필요한 이더넷 방식이 아닌 LVDS 방식으로 전송하는 것을 특징으로 한다. 이때, 본 발명에 적용되는 LVDS 방식의 일 예로는 기가비트 멀티미디어 시리얼링크 전송 방식 또는 모바일 산업 프로세서 인터페이스 기반 전송 방식일 수 있으며, LVDS 전송 방식을 통해 시간지연 없이 통합 제어부(120)로 전송할 수 있다.
한편, 360도 상황인식 EO/IR 카메라부(110)는 복수의 EO 카메라(111) 및 IR 카메라(112)를 각각 6대 또는 8대를 구비할 수 있으며, 복수의 EO 카메라(111) 및 IR 카메라(112)의 수에 각각 상응하도록 형성된 채널을 통해 영상 데이터를 통합 제어부(120)로 전송한다. 즉, 360도 상황인식 EO/IR 카메라부(110)는 통합 제어부(120)와 6 라인 또는 8 라인으로 구성된 채널을 통해 영상 데이터를 전송할 수 있다.
또한, 360도 상황인식 EO/IR 카메라부(110)는 드론의 EO/IR 카메라로부터 촬영된 드론 영상을 RF 송수신 모듈(113)을 통해 수신할 수 있으며, RF 송수신 모듈(113)과의 연동을 위해 드론 영상은 이더넷 채널을 이용하여 통합 제어부(120)로 전송할 수 있다.
도 2는 6대의 EO 카메라(111) 및 IR 카메라(112)의 감시영역을 도시한 도면이다.
도 2를 참조하면, 360도 상황인식 EO/IR 카메라부(110)는 각각 6대의 EO 카메라(111) 및 IR 카메라(112)를 구비하여 복수의 감시 영역(A/B/C/D/E/F-zone)에 상응하는 영상 데이터를 촬영하고, 이를 통합 제어부(120)로 전송한다. 이때, 복수의 감시영역 간에는 서로 중첩되는 겹침 영역이 존재하며, 본 발명의 일 실시예에서는 겹침 영역의 겹침 정도를 제어하여 최대 386도의 감시영역을 확보할 수 있다.
통합 제어부(120)는 복수의 EO 카메라(111) IR 카메라(112)에 의해 촬영된 영상 데이터를 360도 상황인식 EO/IR 카메라부(110)로부터 수신하여 주메모리(125) 상에 저장하고, 주메모리(125) 상에 저장된 영상 데이터를 GPU(128) 내 소정의 메모리 영역(A, B)으로 복사한 후, 인공지능 모델에 기초하여 파노라마 영상으로 생성한다.
이때, 통합 제어부(120)는 복수의 EO 카메라(111) 및 IR 카메라(112)에 의해 촬영된 각 영상의 겹침 영역에 대한 스티칭을 위해 영상 주기를 제어한다. 그리고 촬영된 각 영상 중 사용자에 의해 선택된 관찰자 시점에 상응하도록 영상을 확대 또는 축소하고, 확대 또는 축소된 영상을 스티칭하여 파노라마 영상을 생성한다.
도 3은 도 1에 도시된 데이터 전송 장치(100)를 보다 구체적으로 설명하기 위한 일 실시예로서, EO 카메라(111) 8대와 IR 카메라(112) 8대가 구비된 실시예이다.
일 실시예로, 본 발명의 일 실시예에 따른 통합 제어부(120)는 직렬 변환기(121), 전환 스위치(122), 병렬 변환기(123), 카메라 직렬 인터페이스(124) 및 가상 먹싱(125)을 포함한다.
먼저, 직렬 변환기(121)는 360도 상황인식 EO/IR 카메라부(110)에 의해 출력되는 병렬 영상 데이터를 직렬로 변환한다. 이때, 360도 상황인식 EO/IR 카메라부(110)에 의해 출력되는 병렬 영상 데이터는 각 영상 출력의 신호 주기 정보를 포함할 수 있다.
전환 스위치(122)는 EO 카메라(111) 및 IR 카메라(112)에 의한 출력 신호를 판별하여 자동으로 채널을 선택한다.
병렬 변환기(123)는 복수 개가 구비될 수 있으며, 도 3의 예시에서는 2개의 병렬 변환기(123)가 제시된다. 이러한 병렬 변환기(123)는 최대 4채널의 직렬 변환된 영상 데이터를 수신하기 위한 구성이다.
카메라 직렬 인터페이스(124)는 복수의 병렬 변환기(123)에서 출력되는 각 신호를 동시에 수신하기 위한 것으로, 도 3의 실시예에서는 2개의 병렬 변환기(123)에서 출력되는 신호를 동시에 수신한다. 카메라 직렬 인터페이스(124)는 복수의 병렬 변환기(123)에서의 각 신호를 수신하는 브릭 0과 브릭 1로 구성될 수 있다.
가상 먹싱(125)은 카메라 직렬 인터페이스(124)에서 출력되는 신호를 혼합하여 주메모리(126)로 출력한다. 즉, 가상 먹싱(125)은 카메라 직렬 인터페이스(124)의 브릭 0가 브릭 1의 출력 신호를 혼합하여 주메모리(126) 상으로 출력한다.
주메모리(126)는 CPU(127)의 제어를 받으며, 가상 먹싱(125)으로부터 출력되는 영상 데이터를 저장한다.
GPU용 메모리(128)는 GPU(129)의 제어를 받으며, CPU(127)의 제어 없이 주메모리(126) 상에 저장된 영상 데이터를 복사하여 저장할 수 있다.
GPU용 메모리(128)에 저장된 영상 데이터는 GPU(129( 내 소정의 제1 또는 제2 메모리 영역(A, B)으로 복사된다. 제1 또는 제2 메모리 영역(A, B)으로 복사된 영상 데이터는 인공지능 알고리즘 모델에 기초하여 파노라마 영상으로 생성된다.
이때, 통합 제어부(120)의 GPU(129)는 인공지능 모델에 기초하여 생성된 파노라마 영상을 GPU(129) 내 별도의 제3 메모리 영역에 저장하고(T), 이와 동시에 생성된 파노라마 영상을 GPU용 메모리(128)에 저장한다.
한편, 본 발명의 일 실시예에서 적용되는 인공지능 모델은 임베디드 시스템에서 적용 가능한 YOLO tiny 또는 lite, Tensor Flow RT 등일 수 있다.
또한, 파노라마 영상을 생성하기 위한 알고리즘으로는 두 영상 간의 특징점 추출 및 매칭, 매칭된 결과를 활용하여 관찰자 시점의 감시영역 별 와핑 처리 및 블렌딩 처리 등이 있을 수 있다.
이하에서는 도 4를 참조하여 본 발명의 일 실시예에 따른 데이터 전송 장치(100)에서의 제로 레이턴시를 위한 데이터 전송 방법에 대하여 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 데이터 전송 방법의 순서도이다.
본 발명의 일 실시예에 따른 데이터 전송 방법은 먼저, 복수의 EO 카메라(111) 및 IR 카메라(112)를 포함하는 360도 상황인식 EO/IR 카메라부(110)를 통해 촬영된 영상 데이터를 수신한다(S110).
다음으로, 촬영된 영상 데이터를 주메모리 상에 저장한다(S120).
다음으로, 주메모리(126) 상에 저장된 영상 데이터를 GPU용 메모리(128)로 복사한다(S130).
다음으로, GPU용 메모리(128) 상에 저장된 영상 데이터를 GPU(129) 내 소정의 제1 메모리 또는 제2 메모리 영역(A, B)으로 저장한다(S140).
다음으로, GPU(129)에서 제1 또는 제2 메모리 영역(A, B)에 저장된 영상 데이터를 기반으로 인공지능 모델에 기초하여 파노라마 영상을 생성하고(S150), 이와 동시에 생성된 파노라마 영상을 GPU용 메모리(128)에 저장한다.
이후, CPU(127)는 GPU용 메모리(128)에서 주메모리(126)로 전송된 결과값, 즉 파노라마 영상을 확인한다(S160).
한편, 상술한 설명에서, 단계 S110 내지 S160은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 3의 데이터 전송 장치(100)의 내용은 도 4의 데이터 전송 방법에도 적용될 수 있다.
도 5는 본 발명의 일 실시예에서 생성된 파노라마 영상의 일 예시를 도시한 도면이다.
도 5는 EO 카메라 및 IR 카메라가 각각 6대로 구성되었을 때, IR 카메라 기반의 360도 상황인식 EO/IR 카메라부(110)에서의 A/B/C/D/E/F 감시영역을 갖는 카메라의 배치에 따른 영상 입력을 도시한 것이다.
이와 같은 배치 관계를 갖는 360도 상황인식 EO/IR 카메라부(110)에서 전송된 영상 데이터를 입력 받으면 인공지능 모델에 기초하여 도 5에 도시된 바와 같은 파노라마 영상을 생성할 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 데이터 전송 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 데이터 전송 장치
110: 360도 상황인식 EO/IR 카메라부
111: EO 카메라
112: IR 카메라
120: 통합 제어부
121: 직렬변환기
122: 전환 스위치
123: 병렬변환기
124: 카메라 직렬 인터페이스
125: 가상 먹싱
126: 주메모리
127: CPU
128: GPU용 메모리
129: GPU

Claims (12)

  1. 복수의 EO 카메라 및 IR 카메라를 포함하는 360도 상황인식 EO/IR 카메라부 및
    상기 복수의 EO 카메라 및 IR 카메라에 의해 촬영된 영상 데이터를 수신하여 주메모리 상에 저장하고, 상기 주메모리에 저장된 영상 데이터를 GPU용 메모리에 복사하고, 상기 GPU용 메모리 상에 저장된 영상 데이터를 GPU 내 소정의 제1 또는 제2 메모리 영역으로 복사한 후 인공지능 모델에 기초하여 파노라마 영상으로 생성하는 통합 제어부를 포함하고,
    상기 통합 제어부는 LVDS 방식에 기반하여 상기 360도 상황인식 EO/IR 카메라부로부터 영상 데이터를 수신하며,
    상기 통합 제어부는 상기 360도 상황인식 EO/IR 카메라부로부터 상기 복수의 EO 카메라 및 IR 카메라의 수에 각각 상응하도록 형성된 채널을 통해 영상 데이터를 수신하고,
    상기 통합 제어부는,
    상기 360도 상황인식 EO/IR 카메라부에 의해 출력되는 병렬 영상 데이터를 직렬로 변환하는 직렬 변환기,
    상기 EO 카메라 및 IR 카메라에 의한 출력 신호를 판별하여 자동으로 채널을 선택하기 위한 전환 스위치,
    최대 4채널의 상기 직렬 변환된 영상 데이터를 수신하기 위한 복수의 병렬 변환기,
    복수의 병렬 변환기에서 출력되는 각 신호를 동시에 수신하기 위한 카메라 직렬 인터페이스 및
    상기 카메라 직렬 인터페이스에서 출력되는 신호를 혼합하여 상기 주메모리로 출력하기 위한 가상 먹싱을 포함하며,
    상기 통합 제어부는 주메모리를 제어하기 위한 CPU 및 GPU용 메모리를 제어하기 위한 GPU를 포함하고, 상기 GPU용 메모리는 CPU의 제어 없이 상기 주메모리에 저장된 영상 데이터를 복사하여 저장하며,
    상기 통합 제어부의 GPU는 상기 인공지능 모델에 기초하여 생성된 파노라마 영상을 GPU 내 별도의 제3 메모리 영역에 저장하고, 이와 동시에 상기 생성된 파노라마 영상을 GPU용 메모리로 전송하여 저장하고,
    360도 상황인식 EO/IR 카메라부는 드론의 EO/IR 카메라에 의해 촬영된 영상(이하, 드론 영상)을 수신하는 안테나 및 RF 송수신 모듈을 포함하고, 상기 통합 제어부는 상기 드론 영상을 이더넷 채널을 통해 수신하는 것인, 제로 레이턴시를 위한 데이터 전송 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 데이터 전송 장치에서의 제로 레이턴시를 위한 데이터 전송 방법에 있어서,
    복수의 EO 카메라 및 IR 카메라를 포함하는 360도 상황인식 EO/IR 카메라부를 통해 촬영된 영상 데이터를 수신하는 단계;
    상기 촬영된 영상 데이터를 주메모리 상에 저장하는 단계;
    상기 주메모리 상에 저장된 영상 데이터를 GPU용 메모리에 복사하는 단계;
    상기 GPU용 메모리 상에 저장된 영상 데이터를 GPU 내 소정의 제1 또는 제2 메모리 영역으로 복사하는 단계; 및
    상기 GPU에서 제1 또는 제2 메모리 영역에 저장된 영상 데이터를 기반으로 인공지능 모델에 기초하여 파노라마 영상을 생성하는 단계를 포함하고

    복수의 EO 카메라 및 IR 카메라를 포함하는 360도 상황인식 EO/IR 카메라부를 통해 촬영된 영상 데이터를 수신하는 단계는,
    LVDS 방식에 기반하여 상기 360도 상황인식 EO/IR 카메라부로부터 영상 데이터를 수신하며,
    상기 GPU용 메모리 상에 저장된 영상 데이터를 GPU 내 소정의 제1 또는 제2 메모리 영역으로 복사하는 단계는,
    상기 제1 메모리 영역에 기 저장된 영상 데이터가 존재하는지 여부를 확인하는 단계; 및
    상기 확인 결과 기 저장된 영상 데이터가 존재하지 않는 경우 제1 메모리 영역에, 존재하는 경우 제2 메모리 영역에 상기 영상 데이터를 복사하는 단계를 포함하고,
    상기 GPU에서 상기 인공지능 모델에 기초하여 생성된 파노라마 영상을 GPU 내 별도의 제3 메모리 영역에 저장하는 단계; 및
    상기 생성된 파노라마 영상을 GPU용 메모리로 전송하여 저장하는 단계를 더 포함하며,
    상기 360도 상황인식 EO/IR 카메라부에 포함된 안테나 및 RF 송수신 모듈을 통해 수신한 드론의 EO/IR 카메라에 의해 촬영된 드론 영상을 이더넷 채널을 통해 수신하는 단계를 더 포함하는, 제로 레이턴시를 위한 데이터 전송 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020210105912A 2021-08-11 2021-08-11 제로 레이턴시를 위한 데이터 전송 장치 및 방법 KR102328151B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210105912A KR102328151B1 (ko) 2021-08-11 2021-08-11 제로 레이턴시를 위한 데이터 전송 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210105912A KR102328151B1 (ko) 2021-08-11 2021-08-11 제로 레이턴시를 위한 데이터 전송 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102328151B1 true KR102328151B1 (ko) 2021-11-17

Family

ID=78703168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210105912A KR102328151B1 (ko) 2021-08-11 2021-08-11 제로 레이턴시를 위한 데이터 전송 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102328151B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953701B1 (ko) * 2017-10-20 2019-03-04 국방과학연구소 다중채널 영상 처리 장치 및 방법
KR20200082466A (ko) * 2018-12-28 2020-07-08 국방과학연구소 무인항공기에 탑재되는 전자광학-적외선 카메라의 영상 지연보상 방법, 그 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953701B1 (ko) * 2017-10-20 2019-03-04 국방과학연구소 다중채널 영상 처리 장치 및 방법
KR20200082466A (ko) * 2018-12-28 2020-07-08 국방과학연구소 무인항공기에 탑재되는 전자광학-적외선 카메라의 영상 지연보상 방법, 그 시스템

Similar Documents

Publication Publication Date Title
US11328449B2 (en) Image processing apparatus, method for image processing, and electronic device
US20170099435A1 (en) Image Generation Method Based On Dual Camera Module And Dual Camera Apparatus
KR20110069271A (ko) 촬상 장치 및 칩 간의 메모리 공유 방법
US10841460B2 (en) Frame synchronization method for image data, image signal processing apparatus, and terminal
US20190158804A1 (en) System and method of generating panoramic virtual reality image using a plurality of photograph images
CN111416923B (zh) 图像处理器和图像处理方法
CN113498595B (zh) 一种基于PCIe的数据传输方法及装置
CN113890977A (zh) 机载视频处理装置及具有其的无人机
KR102328151B1 (ko) 제로 레이턴시를 위한 데이터 전송 장치 및 방법
CN103813124A (zh) 图像处理装置和图像处理方法
CN115225881A (zh) 一种数据传输方法、装置、设备和存储介质
CN116668837B (zh) 显示缩略图像的方法和电子设备
CN219204583U (zh) 一种图像采集装置及电子设备
US20220321771A1 (en) Method, system and apparatus for privacy enhancement mode for integrated cameras
KR101716861B1 (ko) 영상데이터 관리 장치 및 방법
US6798922B1 (en) Image transmission method and image transmission device for realizing the same
CN103841039B (zh) 网络流送的方法和装置
WO2022226978A1 (zh) 数据处理方法及装置
WO2019037022A1 (zh) 图像处理方法、设备及无人机
EP4184423A1 (en) Electronic system, camera module, and system on chip
KR102104327B1 (ko) 저전력 ｌｖｄｓ 영상 전송 시스템
KR101286328B1 (ko) 멀티미디어 스토리지 카드 시스템
CN116668836B (zh) 拍照处理方法和电子设备
WO2023109263A1 (zh) 缩减模块间走线的方法、信号传输方法及装置、图像传感器
US20240212305A1 (en) Imaging system, imaging device, information processing server, imaging method, information processing method, and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant