KR20210152163A - 도로주행 데이터 생성을 위한 압축/동기화장치 및 방법 - Google Patents

도로주행 데이터 생성을 위한 압축/동기화장치 및 방법 Download PDF

Info

Publication number
KR20210152163A
KR20210152163A KR1020200068897A KR20200068897A KR20210152163A KR 20210152163 A KR20210152163 A KR 20210152163A KR 1020200068897 A KR1020200068897 A KR 1020200068897A KR 20200068897 A KR20200068897 A KR 20200068897A KR 20210152163 A KR20210152163 A KR 20210152163A
Authority
KR
South Korea
Prior art keywords
compression
road
information
video stream
data
Prior art date
Application number
KR1020200068897A
Other languages
English (en)
Inventor
김재일
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020200068897A priority Critical patent/KR20210152163A/ko
Publication of KR20210152163A publication Critical patent/KR20210152163A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

도로주행 데이터 생성을 위한 압축/동기화장치 및 방법을 개시한다.
본 실시예는, 복수의 카메라로부터 획득한 주행 이미지 및 복수의 센서들로부터 획득한 센서 데이터를 UTC 기준으로 동기화시킨 프레임을 생성하여, 도로 구간별로 프레임 간의 시간적 중복(temporal correlation)이 제거된 비디오 스트림으로 변환함으로써 도로주행 데이터를 생성하는 압축/동기화장치 및 방법을 제공한다.

Description

도로주행 데이터 생성을 위한 압축/동기화장치 및 방법{Method and Apparatus for Compression and Synchronization for Generating Driving Data}
본 개시는 도로주행 데이터 생성을 위한 압축/동기화장치 및 방법에 관한 것이다. 더욱 상세하게는, 주행 이미지 및 센서 데이터가 동기화된 프레임을 생성하여, 도로 구간별로 프레임 간의 시간적 상관성(temporal correlation)이 제거된 비디오 스트림으로 변환함으로써 도로주행 데이터를 생성하는 압축/동기화장치 및 방법에 대한 것이다.
이하에 기술되는 내용은 단순히 본 발명과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
운전 보조 시스템(Advanced Driving Assistance System: ADAS) 또는 자율주행 시스템(automatic driving system)의 안전한 상용화를 위하여 고선명(High-Definition: HD) 지도의 제작이 필수적이며, MMS(Mobile Mapping System)를 이용하여 고정밀 지도가 제작될 수 있다. MMS는 다양한 센서를 이용하여 3차원 공간에 대한 정보를 조사하고 획득하는 시스템의 하나이다. MMS에 이용되는 센서는 이동체의 위치 측정 및 지형지물의 측량을 수행하며, 카메라, 라이다(LiDAR: Light Detection and Ranging), GPS(Global Positioning System), 관성 측정 유닛(Inertial Measurement Unit: IMU, 자이로 센서(gyro-sensor, 또는 gyroscope)와 가속도계(accelerometer)를 포함함) 등을 포함한다. 종래에는 카메라 및 다양한 센서들로부터 획득된 주행 이미지 및 센서 데이터가 독립적인 형태로 이용되었기 때문에, 자율주행 관점에서 안전 문제가 발생할 수 있었다. 따라서, 주행 이미지 및 센서 데이터를 UTC(Coordinated Universal Time) 기반으로 동기화함으로써 자율주행에 이용 가능한 정밀한 도로주행 데이터를 생성하는 것이 필요하다.
MMS는 복수의 카메라를 이용하여 주행 이미지를 수 미터 단위로 획득할 수 있다. MMS는 주행 이미지를 고화질(예컨대, 4K 이상) 비디오 압축 포맷(video compression format)으로 압축할 수 있는데, 총 도로 구간에 대하여 미터 단위의 촬영 및 압축이 적용될 경우, 대용량의 저장 공간이 요구된다. 또한, 신호등, 도로 표지판 등과 같은 도로 정보 데이터가 변경되는 경우, 특정 구간의 주행 이미지에 대한 업데이트가 필요할 수도 있다.
따라서, 복수의 카메라로부터 획득한 주행 이미지, 및 복수의 센서들로부터 획득한 센서 데이터를 동기화하고, 화면 간의 시간적 상관성(temporal correlation)이 제거된 비디오 스트림을 도로 구간별로 생성하는 것이 가능한 압축 및 동기화 방법을 필요로 한다.
본 개시는, 복수의 카메라로부터 획득한 주행 이미지 및 복수의 센서들로부터 획득한 센서 데이터를 UTC 기준으로 동기화시킨 프레임을 생성하여, 도로 구간별로 프레임 간의 시간적 상관성(temporal correlation)이 제거된 비디오 스트림으로 변환함으로써 도로주행 데이터를 생성하는 압축/동기화장치 및 방법을 제공하는 데 주된 목적이 있다.
본 발명의 실시예에 따르면, 압축 및 동기화(compression and synchronization)장치가 이용하는 압축 및 동기화방법에 있어서, 적어도 하나의 카메라로부터 입력 이미지를 획득하고, 적어도 하나의 센서로부터 센서 데이터를 획득하는 과정; 및 상기 입력 이미지와 상기 센서 데이터를 기준 시간(reference time)에 기초하여 동기화시킨 프레임들(frames)을 생성하여 상기 프레임들을 압축된 형태의 비디오 스트림으로 변환하는 과정을 포함하는 것을 특징으로 하는 압축 및 동기화방법을 제공한다.
본 발명의 다른 실시예에 따르면, 적어도 하나의 카메라로부터 입력 이미지를 획득하고, 적어도 하나의 센서로부터 센서 데이터를 획득하는 입력부; 및 상기 입력 이미지와 상기 센서 데이터를 기준 시간(reference time)에 기초하여 동기화시킨 프레임들(frames)을 생성하여 상기 프레임들을 압축된 형태의 비디오 스트림으로 변환하는 IV(Image to Video) 변환부를 포함하는 것을 특징으로 하는 압축 및 동기화장치를 제공한다.
본 발명의 다른 실시예에 따르면, 압축 및 동기화방법이 포함하는 각 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 따르면, 복수의 카메라로부터 획득한 주행 이미지 및 복수의 센서들로부터 획득한 센서 데이터를 UTC 기준으로 동기화시킨 프레임을 생성하여, 도로 구간별로 프레임 간의 시간적 상관성이 제거된 비디오 스트림으로 변환하는 압축/동기화장치 및 방법을 제공함으로써, 주행 이미지 데이터의 시간적 상관성을 제거하여 압축 성능의 개선이 가능해지는 효과가 있다.
또한 본 실시예에 따르면, 주행 이미지 및 센서 데이터를 동기화시킨 프레임을 생성하여, 도로 구간별로 프레임 간의 시간적 상관성이 제거된 비디오 스트림으로 변환하는 압축/동기화장치 및 방법을 제공함으로써, 프레임 별로 동기화된 센서 데이터, 라이다 데이터 등의 용이한 호출이 가능해지는 효과가 있다.
또한 본 실시예에 따르면, 주행 이미지 및 센서 데이터를 동기화시킨 프레임을 생성하여, 도로 구간별로 프레임 간의 시간적 상관성이 제거된 비디오 스트림으로 변환하는 압축/동기화장치 및 방법을 제공함으로써, 추후 저장된 비디오 스트림에 대한 도로 구간별 갱신이 용이해지는 효과가 있다.
도 1은 본 개시의 일 실시예에 따른 압축 및 동기화장치를 포함하는 MMS의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 센서 데이터를 비트스트림 형태로 표현한 예시도이다.
도 3은 본 개시의 일 실시예에 따른 센서 데이터의 메타데이터 형태로 표현한 예시도이다.
도 4는 본 개시의 일 실시예에 따른 도로주행 데이터의 갱신에 대한 예시도이다.
도 5는 본 개시의 일 실시예에 따른 도로주행 데이터의 갱신에 대한 예시도이다.
도 6은 본 개시의 일 실시예에 따른 도로주행 데이터의 갱신에 대한 예시도이다.
도 7은 본 개시의 일 실시예에 따른 도로주행 데이터의 갱신에 대한 예시도이다.
도 8은 본 개시의 일 실시예에 따른 복수의 MEC와 중앙서버의 구성도이다.
도 9는 본 개시의 일 실시예에 따른 압축 및 동기화방법 및 영상복원방법의 순서도이다.
도 10은 일반적인 운전 보조 시스템의 개념도이다.
이하, 본 발명의 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 실시예들의 구성요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
본 실시예는 도로주행 데이터의 생성을 위한 압축/동기화장치 및 방법에 대한 내용을 개시한다. 보다 자세하게는, 주행 이미지(driving image) 및 센서 데이터(sensor data)가 동기화된 프레임(frame)을 생성하여, 도로 구간별로 프레임 간 시간적 중복(temporal correlation)이 제거된 비디오 스트림(video stream)으로 변환함으로써 도로주행 데이터를 생성하는 압축/동기화장치 및 방법을 제공한다.
이하, 주행 이미지는 주행 중인 수집 차량에 탑재된 복수의 카메라로부터 획득한 이미지로서, 수집 차량이 주행하는 도로 및 주변에 대한 영상을 나타낸다. 도로주행 데이터는 주행 이미지와 센서 데이터가 동기화된 프레임이 도로 구간별로 압축된 비디오 스트림을 나타내는데, 해당되는 도로 구간에 대한 정보를 추가로 포함할 수 있다.
도 10은 일반적인 운전 보조 시스템의 개념도이다. 도로주행 데이터에 기반하는 운전 보조 시스템은, 도로주행 데이터 수집 차량(collecting vehicle), 수신 차량(receiving vehicle) 및 서버의 전부 또는 일부를 포함한다. 여기서 서버는 복수의 MEC(Mobile Edge Computing 또는 Multi-Access Edge Computing)와 중앙서버를 포함할 수 있다. MEC와 수집 차량 간, MEC와 수신 차량 간은 5G/LTE(Long Term Evolution) 망으로 연결될 수 있고, 서버의 구성요소 간은 전용망(dedicated network)으로 연결될 수 있다.
수집 차량은 도로주행 데이터를 수집한 후, 5G/LTE 망을 이용하여 MEC 측으로 전달하고, MEC를 포함하는 서버는 수집된 데이터를 저장하거나 가공할 수 있다. 수신 차량은 MEC 측으로부터 5G/LTE 망을 이용하여 필요한 도로주행 데이터를 수신한 후, 수신 차량의 운전 보조 또는 자율주행에 이용할 수 있다.
이하 도 1을 이용하여 수집 차량에 탑재되는 압축 및 동기화장치에 대하여 설명한다.
도 1은 본 개시의 일 실시예에 따른 압축 및 동기화장치를 포함하는 MMS의 블록도이다.
MMS(Mobile Mapping System)는, 수집 차량이 생성한 도로주행 데이터를 5G/LTE 망 또는 유선망을 이용하여 수집하고, 수신된 도로주행 데이터를 MEC에 저장하거나 MEC에서 가공하며, 수신 차량이 요청한 도로주행 데이터를 5G/LTE 망을 이용하여 수신 차량 측으로 전달한다. 여기서, 수집 차량은 압축 및 동기화(compression and synchronization)장치를 이용하여 도로주행 데이터를 생성하고, 수신 차량은 영상복원(image recovery)장치를 이용하여 도로주행 데이터로부터 수신 차량의 운전 보조 또는 자율주행에 이용하기 위한 주행 이미지를 생성할 수 있다.
MMS는 수집 차량에 탑재되는 압축 및 동기화장치(100), MEC(102) 및 수신 차량에 탑재되는 영상복원장치(104)의 전부 또는 일부를 포함할 수 있다. 여기서, MMS에 포함되는 구성요소가 반드시 이에 한정되는 것은 아니다. 예컨대, MMS는 복수의 MEC를 연결하기 위한 중앙서버(미도시)를 추가로 구비할 수 있다.
도 1의 도시는 본 실시예에 따른 예시적인 구성이며, 압축 및 동기화장치의 구조, 영상복원장치의 구조, 및 MEC/중앙서버의 동작에 따라 다른 구성요소 또는 구성요소 간의 다른 연결을 포함하는 다양한 구현이 가능하다.
본 개시에 따른 실시예에 있어서, 압축 및 동기화장치(100)는 주행 이미지 및 센서 데이터를 획득하고, UTC(Coordinated Universal Time)를 기준으로 주행 이미지와 센서 데이터를 동기화시킨 프레임(frame)을 생성하여, 프레임 간의 시간적 상관성(temporal correlation)이 제거된 비디오 스트림으로 변환하고, 비디오 스트림 및 해당되는 도로 구간에 대한 정보를 포함하는 도로주행 데이터를 생성한다. 압축 및 동기화장치(100)는 입력부(120), IV(Image to Video) 변환부(122) 및 전송부(124)의 전부 또는 일부를 포함할 수 있다.
본 실시예에 따른 입력부(120)는 복수의 카메라로부터 주행 이미지를 획득하고, 복수의 센서로부터 센서 데이터를 획득한다. 여기서 복수의 카메라 및 복수의 센서는 수집 차량의 지붕 또는 바퀴에 부착될 수 있다. 주행 이미지 및 센서 데이터는 일정 거리별(예컨대, 수 미터) 또는 도로 구간별로 획득될 수 있다.
주행 이미지는 복수의 고정된 카메라(예를 들어 수집 차량의 전면, 전면-좌측, 전면-우측, 좌측면, 우측면, 후면, 후면-좌측, 후면-우측 등을 촬영함)를 이용하여 촬영되며 일정 거리마다 획득될 수 있다. 여기서, 주행 이미지는 8K/4K 초고선명(Ultra-High-definition: UHD) 이미지일 수 있다. 주행 이미지는 도로, 건물, 주변 상황 등과 같이, 수집 차량에서 촬영할 수 있는 모든 대상을 포함할 수 있다.
복수의 센서들은 라이다(LiDAR: Light Detection and Ranging), GPS(Global Positioning System), 관성 측정 유닛(Inertial Measurement Unit: IMU, 자이로 센서(gyro-sensor, 또는 gyroscope)와 가속도계(accelerometer)를 포함함) 등을 포함하나, 반드시 이에 한정하는 것은 아니며, 운전 보조 시스템 또는 자율주행 시스템의 운용에 도움이 될 수 있는 센서 데이터를 생성하는 어느 센서든 이용될 수 있다. 예컨대, 일정 거리별 촬영을 위하여 바퀴에 장착되는 주행기록계(in-wheel odometer)가 이용되거나, 수집 차량에 부착된 주요 센서들의 동작 신뢰도에 영향을 주는 외부 온도를 측정하기 위하여 온도계가 이용될 수 있다.
입력부(102)는 이러한 복수의 센서들을 이용하여 수집 차량의 위치, 이동, 주변 등에 대한 정보를 센서 데이터로서 획득할 수 있다.
입력부(102)는 IMU 센서를 이용하여 수집차량의 이동에 대한 정보를 획득할 수 있다. 이동에 대한 정보는 자이로 센서로부터 획득되는 x, y, z 방향 자이로 데이터 및 가속도계로부터 획득되는 x, y, z 방향 가속도를 포함한다.
입력부(102)는 GPS를 이용하여 시간 및 위치에 관련된 GPS 정보를 획득할 수 있다. GPS 정보는 UTC 날짜/시간, 위도(latitude), 경도(longitude), 북위인지 남위인지를 나타내는 N/S 지표(indicator), 동경인지 서경인지를 나타내는 E/W 지표, 및 고도(altitude)와 고도의 단위를 알려주는 고도 단위들(altitude units)을 포함한다. NMEA(National Marine Electronics Association: 국립 해상 전자 위원회)의 표준 프로토콜에 따라서 저장된 데이터 중 전술한 바와 같은 항목이 GPS 정보로 선별될 수 있다.
입력부(102)는 라이다가 생성하는 포인트 클라우드(point cloud) 데이터를 주행 이미지가 촬영된 시간 단위(또는 거리 단위)별로 분할하여 획득할 수 있다.
본 실시예에 따른 IV(Image to Video) 변환부(122)는 UTC를 기준으로 주행 이미지와 센서 데이터를 동기화시킨 프레임을 생성하여, 프레임 간의 시간적 상관성(temporal correlation)이 제거된 비디오 스트림으로 변환하고, 비디오 스트림 및 해당되는 도로 구간에 대한 정보를 포함하는 도로주행 데이터를 생성한다. 따라서, 도로주행 데이터는 도로 구간에 해당하는 압축된 형태의 비디오 스트림, 비디오 스트림에 포함된 프레임 각각에 동기화된 센서 데이터, 및 도로 구간에 대한 정보의 전부 또는 일부를 포함할 수 있다.
도 2는 본 개시의 일 실시예에 따른 센서 데이터를 비트스트림 형태로 표현한 예시도이다.
도 3은 본 개시의 일 실시예에 따른 센서 데이터의 메타데이터 형태로 표현한 예시도이다.
IV 변환부(122)는 UTC를 기준으로 주행 이미지와 센서 데이터를 동기화시킨 프레임을 생성한다. 예컨대, 주행 이미지에 대응되는 센서 데이터를 도 2에 예시된 바와 같은 비트스트림 또는 도 3에 예시된 바와 같은 메타데이터(metadata) 형태로 표현하여 각 프레임의 SEI(Supplementary Enhanced Information)에 저장함으로써 동기화가 수행될 수 있다. MPEG(Motion Pictures Expert Group)과 같은 영상 압축 포맷인 경우, SEI 중 payloadType 4(USER_DATA_REGISTERED) 또는 payloadType 5(USER_DATA_UNREGISTERED) 메시지가 이용될 수 있다.
IV 변환부(122)는 UTC를 기준으로 라이다 데이터를 이미지 프레임에 동기화시킬 수 있다. 예를 들어, i 번째 이미지 데이터가 19:55:28.084217에 획득되고, (i+1) 번째 이미지 데이터가 19:55:28.584217에 획득된 경우, 두 시각 간에 획득된 라이다 데이터가 i 번째 프레임의 SEI payloadType 4 또는 payloadType 5에 비트스트림 또는 메타데이터 형태로 저장될 수 있다. IV 변환부(122)는 무손실 라이다 데이터 압축 기법의 하나인 LASZip 또는 PCC(Point Cloud Compression) 기술을 이용하여 라이다 데이터를 압축한 후 저장할 수 있다.
한편, 라이다 데이터는 프레임과 동기화되어 저장되지 않은 채로, 독립적으로 MEC(102) 측으로 전송될 수 있다.
IV 변환부(122)는 센서 데이터와 동기화된 프레임 간의 시간적 상관성을 제거하여, 도로 구간에 해당하는 프레임들을 압축된 형태의 비디오 스트림으로 변환한다. H.264/AVC, H.265/HEVC, VVC 등과 같은 영상 압축 포맷이 프레임들에 대한 변환 과정에 이용될 수 있다.
IV 변환부(122)는 도로 구간에 대한 정보를 비트스트림 또는 메타데이터 형태로 정의할 수 있다. 일정 도로 구간에 해당하는 비디오 스트림에 대하여, 도로 구간에 대한 정보는 도로 식별 정보(예컨대, 고속도로 번호, 지방도 번호, 국도 번호 등), 도로 구간의 시작/끝에 대한 위치 정보, 도로 구간에 대한 촬영의 시작/끝에 대한 시간 정보, 도로 구간의 도로주행 데이터 에 대한 전체 용량 등을 포함할 수 있다. 비트스트림 및 메타데이터 형태의 도로 구간에 대한 정보는 비디오 스트림에 포함된 하나의 프레임의 SEI payloadType 4 또는 payloadType 5에 저장되거나, 메타데이터 형태로 비디오의 트랙(track)에 저장될 수 있다.
특정 구간의 도로 상황이 변경되어 갱신이 필요한 경우, 압축 및 동기화장치(100)는 도로 구간에 대한 도로주행 데이터를 보강, 추가 또는 삭제함으로써 도로주행 데이터를 업데이트할 수 있다. 이때, 특정 구간의 비디오 스트림에 대응되는 도로 구간에 대한 정보(구간 식별 정보, 구간의 시작/끝에 대한 위치 정보, 구간 촬영의 시작/끝에 대한 시간 정보 등을 포함)를 이용하여 해당 구간의 변경 상황이 갱신될 수 있다. 또한, 압축 및 동기화장치(100)는 IRAP(Intra Random Access Point) 프레임을 기준으로 독립적으로 압축이 가능한 GOP(Group of Pictures) 단위로 비디오 스트림을 업데이트할 수 있다.
이하 도 4 내지 도 7의 도시를 이용하여, 도로 상황이 변경되어 도로주행 데이터를 갱신하는 예에 대하여 설명한다.
도 4 내지 도 7은 본 개시의 일 실시예에 따른 도로주행 데이터의 갱신에 대한 예시도이다.
설명의 편의를 위하여, 압축 및 동기화장치(100)는 5 미터 간격으로 도로주행 데이터를 생성하는 것으로 가정한다. 도 4 내지 도 7의 도시에서 I로 표시된 프레임은 인트라 예측 프레임(intra-prediction frame)을 나타내는데, IRAP(Intra Random Access Point) 프레임이 이용될 수 있다. 또한, B로 표시된 프레임은 인터 예측 프레임(inter-prediction frame)을 나타낸다. 하나의 I 프레임 및 그에 연속되는 복수의 B 프레임이 GOP를 형성할 수 있다.
교차로 A와 교차로 B 간의 도로 구간에 사고/장애가 발생한 경우, 압축 및 동기화장치(100)는 도 4에 도시된 바와 같이 도로주행 데이터를 갱신할 수 있다.
사고/장애가 발생한 50 미터 길이의 영역에 대하여, 도 4에 도시된 바와 같이 압축 및 동기화장치(100)는 더 밀집된 간격(예컨대, 2 미터)으로 정밀한 도로주행 데이터를 생성하여, 사고/장애 이전의 도로주행 데이터를 갱신한다. 또한, 사고/장애가 처리된 후, 압축 및 동기화장치(100)는 다시 5 미터 간격으로 도로주행 데이터를 생성하여, 사고/장애 발생에 따른 정밀한 도로주행 데이터를 갱신할 수 있다.
교차로 A, B 간의 도로 구간에서 중간 지점 C와 교차로 B 간에 위험 시설물의 추가와 같은 변경 상황이 발생한 경우, 압축 및 동기화장치(100)는 도 5에 도시된 바와 같이 도로주행 데이터를 갱신할 수 있다.
교차로 A와 중간 지점 C 간의 영역에서 압축 및 동기화장치(100)는 5 미터 간격으로 도로주행 데이터를 생성한다. 중간 지점 C와 교차로 B 간의 영역에서, 도 5에 도시된 바와 같이 압축 및 동기화장치(100)는 더 밀집된 간격(예컨대, 2 미터)으로 정밀한 도로주행 데이터를 생성하여, 위험 시설물이 추가되기 이전의 도로주행 데이터를 갱신할 수 있다.
지점 B 이후에 신규 도로가 추가된 경우, 압축 및 동기화장치(100)는 도 6에 도시된 바와 같이 도로주행 데이터를 갱신할 수 있다.
교차로 A와 지점 B 간의 영역에 대하여, 예컨대 5 미터 간격으로 기존의 도로주행 데이터가 저장되어 존재하는 것으로 가정한다. 신규 도로에 해당하는 지점 B와 지점 C 간의 영역에 대하여, 도 6에 도시된 바와 같이 압축 및 동기화장치(100)는 5 미터 간격으로 도로주행 데이터를 생성하여, 신규 도로에 대한 도로주행 데이터를 추가할 수 있다.
지점 B 이후의 기존 도로가 폐쇄된 경우, 압축 및 동기화장치(100)는 도 7에 도시된 바와 같이 도로주행 데이터를 갱신할 수 있다.
교차로 A에서 도로 끝까지의 영역에 대하여, 예컨대 5 미터 간격으로 기존의 도로주행 데이터가 저장되어 존재하는 것으로 가정한다. 폐쇄된 도로 영역에 대하여, 도 7에 도시된 바와 같이 압축 및 동기화장치(100)는 지점 B에서 도로 끝까지의 영역에 대한 기존의 도로주행 데이터를 제거할 수 있다.
본 실시예에 따른 전송부(124)는 도로주행 데이터를 5G/LTE 망을 이용하여 MEC 측으로 전송한다. 또한, 압축 및 동기화장치(100)에 포함된 저장장치(미도시)의 용량이 충분히 큰 경우, 기설정된 기간(예컨대, 하루) 동안 저장장치에 저장된 도로주행 데이터가 유선망을 이용하여 MEC 측으로 전송될 수 있다.
도 8은 본 개시의 일 실시예에 따른 복수의 MEC와 중앙서버의 구성도이다.
본 실시예에 따른 MEC(102)는 복수의 수집 차량들로부터 전송받은 도로주행 데이터를 중앙서버 및/또는 주변 MEC와 동기화하여 도로 구간별로 저장한다. MEC(102)는 도로주행 데이터의 저장을 위한 원시데이터(raw data) 저장장치(130)를 포함할 수 있다.
도 8에 도시된 바와 같이 중앙서버와 N(N은 자연수) 개의 MEC는 전용망을 이용하여 상호 연결될 수 있다
본 개시의 다른 실시예에 있어서, MEC(102)는 도로주행 데이터를 이용하여 고정밀 도로주행 데이터를 생성할 수 있다. 고정밀 도로주행 데이터를 생성 및 저장하기 위하여, MEC(102)는 추가적으로 고정밀 데이터 생성장치(604) 및 고정밀 데이터 저장장치(602)를 포함할 수 있다.
고정밀 데이터 생성장치(604)는 주행 이미지, 이동에 대한 센서 데이터, GPS 정보 및 라이다 데이터를 이용하여, 고정밀 도로주행 데이터를 생성한다. 고정밀 도로주행 데이터는 도로 중심선, 경계선 등과 같은 차선 정보, 신호등, 각종 구조물, 노면마크, 교통 표지판 등에 대한 정보를 3차원 디지털 데이터(예컨대, 포인트 클라우드 데이터)로 포함할 수 있다.
MEC(102)는 도로주행 데이터 및 고정밀 도로주행 데이터를 중앙서버 및/또는 주변 MEC와 동기화하여 도로 구간별로 저장할 수 있다.
본 개시의 다른 실시예에 있어서, 압축 및 동기화장치(100)의 컴퓨팅 파워 및 저장장치의 저장 용량이 충분한 경우, 고정밀 데이터 생성부(미도시)를 포함할 수 있다. MEC(102)와 유사한 과정을 이용하여, 압축 및 동기화장치(100)는 수집 차량이 수집한 도로주행 데이터로부터 고정밀 도로주행 데이터를 생성하여, MEC(102) 측으로 전송할 수 있다.
본 실시예에 따른 영상복원장치(104)는 도로주행 데이터를 수신하고, 수신된 도로주행 데이터를 이용하여 주행 이미지 및 센서 데이터를 복원하여 운전 보조 또는 자율주행 시스템 측으로 전달한다. 영상복원장치(104)는 송수신부(140), VI(Video to Image) 변환부(142) 및 출력부(144)의 전부 또는 일부를 포함할 수 있다.
본 실시예에 따른 송수신부(140)는 특정 위치 정보를 MEC(102) 측으로 전달하고, 5G/LTE 망을 이용하여 MEC(102) 측으로부터 특정 위치를 포함하는 도로 구간에 해당하는 도로주행 데이터를 수신한다.
수신 차량이 이동 중에 필요로 하는 특정 위치의 도로주행 데이터를 요청하기 위하여, 송수신부(140)는 특정 위치 정보를 MEC(102) 측으로 전달할 수 있다. MEC(102)는 특정 위치를 포함하는 도로 구간에 해당하는 도로주행 데이터를 5G/LTE 망을 이용하여 수신 차량 측으로 전달한다.
전술한 바와 같이, 수신된 도로주행 데이터는 특정 도로 구간에 해당하는 압축된 형태의 비디오 스트림, 비디오 스트림에 포함된 프레임 각각에 동기화된 센서 데이터, 및 도로 구간에 대한 정보의 전부 또는 일부를 포함할 수 있다. 또한, 컴퓨팅 파워 및 저장장치의 저장 용량이 충분한 경우, 영상복원장치(104)는 MEC(102) 측으로부터 라이다 데이터를 수신하여 이용할 수 있다.
본 실시예에 따른 VI 변환부(142)는 도로주행 데이터로부터 도로 구간에 대한 정보를 분리하고, 비디오 스트림으로부터 주행 이미지 및 센서 데이터를 생성한다. 여기서 센서 데이터는 위치 및 시간에 대한 정보로서 UTC 및 GPS 정보를 포함할 수 있다.
본 실시예에 따른 출력부(144)는 도로 구간에 대한 정보, 주행 이미지 및 센서 데이터를 수신 차량의 운전 보조 또는 자율주행 시스템 측으로 전달한다. 수신 차량의 운전 보조 또는 자율주행 시스템은 도로 구간에 대한 정보를 이용하여 요청한 특정 도로 구간의 도로주행 데이터에 대한 개요를 파악하고, 주행 이미지 및 센서 데이터를 수신 차량의 운전 운전 보조 또는 자율주행에 이용할 수 있다.
도 9는 본 개시의 일 실시예에 따른 압축 및 동기화방법 및 영상복원방법의 순서도이다.
도 9의 (a)의 도시는 수집 차량의 압축 및 동기화장치(100)가 실행되는 압축 및 동기화방법의 순서도이다.
본 실시예에 따른 압축 및 동기화장치(100)는 복수의 카메라로부터 주행 이미지를 획득하고, 복수의 센서들로부터 센서 데이터를 획득한다(S900). 여기서 복수의 카메라 및 복수의 센서는 수집 차량의 지붕 또는 바퀴에 부착될 수 있다. 주행 이미지 및 센서 데이터는 일정 거리별, 도로 구간별로 획득될 수 있다.
주행 이미지는 복수의 고정된 카메라를 이용하여 촬영되며 일정 거리마다 획득될 수 있다.
복수의 센서들은 라이다, GPS, IMU 등을 포함하나, 반드시 이에 한정하는 것은 아니며, 운전 보조 시스템 또는 자율주행 시스템의 운용에 도움이 될 수 있는 센서 데이터를 생성하는 어느 센서든 이용될 수 있다. 이러한 복수의 센서들을 이용하여 수집 차량의 위치, 이동, 주변 등에 대한 정보가 센서 데이터로서 획득될 수 있다.
IMU 센서를 이용하여 수집차량의 이동에 대한 정보가 획득될 수 있다. 또한, GPS를 이용하여 시간 및 위치에 관련된 GPS 정보가 획득될 수 있다. GPS 정보는 UTC에 대한 정보를 포함한다. 주행 이미지가 촬영된 시간 단위(또는 거리 단위)별로 분할된 채로, 라이다가 생성하는 포인트 클라우드(point cloud) 데이터도 획득될 수 있다.
압축 및 동기화장치(100)는 주행 이미지와 센서 데이터를 UTC를 기준으로 동기화시킨 프레임을 생성하여 프레임 간의 시간적 상관성(temporal correlation)이 제거된 비디오 스트림으로 변환하고, 상기 비디오 스트림 및 해당되는 도로 구간에 대한 정보를 포함하는 도로주행 데이터를 생성한다(S902). 따라서, 도로주행 데이터는 도로 구간에 해당하는 압축된 형태의 비디오 스트림, 비디오 스트림에 포함된 프레임 각각에 동기화된 센서 데이터, 및 도로 구간에 대한 정보의 전부 또는 일부를 포함할 수 있다.
압축 및 동기화장치(100)는 UTC를 기준으로 주행 이미지와 센서 데이터를 동기화시킨 프레임을 생성한다. 예컨대, 주행 이미지에 대응되는 센서 데이터를 도 2에 예시된 바와 같은 비트스트림 또는 도 3에 예시된 바와 같은 메타데이터(metadata) 형태로 표현하여 각 프레임의 SEI(Supplementary Enhanced Information)에 저장함으로써 동기화가 수행될 수 있다.
또한, 압축 및 동기화장치(100)는 UTC를 기준으로 라이다 데이터를 이미지 프레임에 동기화시킬 수 있다. 이때, 무손실 라이다 데이터 압축 기법의 하나인 LASZip 또는 PCC(Point Cloud Compression) 기술을 이용하여 라이다 데이터가 압축된 후 저장될 수 있다. 한편, 라이다 데이터는 프레임과 동기화되어 저장되지 않은 채로, 독립적으로 MEC(102) 측으로 전송될 수 있다.
압축 및 동기화장치(100)는 센서 데이터와 동기화된 프레임 간의 시간적 상관성을 제거하여, 도로 구간에 해당하는 프레임들을 압축된 형태의 비디오 스트림으로 변환한다. H.264/AVC, H.265/HEVC, VVC 등과 같은 영상 압축 포맷이 프레임들에 대한 변환 과정에 이용될 수 있다.
압축 및 동기화장치(100)는 도로 구간에 대한 정보를 비트스트림 또는 메타데이터 형태로 정의할 수 있다. 일정 도로 구간에 해당하는 비디오 스트림에 대하여, 도로 구간에 대한 정보는 도로 식별 정보, 도로 구간의 시작/끝에 대한 위치 정보, 도로 구간에 대한 촬영의 시작/끝에 대한 시간 정보, 도로 구간에 대한 도로주행 데이터의 전체 용량 등을 포함할 수 있다. 비트스트림 및 메타데이터 형태의 도로 구간에 대한 정보는 비디오 스트림에 포함된 하나의 프레임의 SEI에 저장되거나, 메타데이터 형태로 비디오의 트랙에 저장될 수 있다.
압축 및 동기화장치(100)는 특정 구간의 도로 상황이 변경되어 갱신이 필요한 경우, 도로 구간에 대한 도로주행 데이터를 보강, 추가 또는 삭제함으로써 도로주행 데이터를 업데이트한다(S904). 이때, 특정 구간의 비디오 스트림에 대응되는 도로 구간에 대한 정보를 이용하여 해당 구간의 변경 상황이 갱신될 수 있다. 또한, 압축 및 동기화장치(100)는 IRAP(Intra Random Access Point) 프레임을 기준으로 독립적으로 압축이 가능한 GOP(Group of Pictures) 단위로 비디오 스트림을 업데이트할 수 있다.
압축 및 동기화장치(100)는 도로주행 데이터를 5G/LTE 망을 이용하여 MEC 측으로 전송한다(S906). 또한, 압축 및 동기화장치(100)에 포함된 저장장치의 용량이 충분히 큰 경우, 기설정된 기간(예컨대, 하루) 동안 저장장치에 저장된 도로주행 데이터가 유선망을 이용하여 MEC 측으로 전송될 수 있다.
본 실시예에 따른 MEC(102)는 복수의 수집 차량들로부터 전송받은 도로주행 데이터를 중앙서버 및/또는 주변 MEC와 동기화하여 도로 구간별로 저장한다.
도 9의 (b)의 도시는 수신 차량의 영상복원장치(104)가 실행되는 영상복원방법의 순서도이다.
본 실시예에 따른 영상복원장치(104)는 특정 위치 정보를 MEC 측으로 전달하고, 5G/LTE 망을 이용하여 MEC 측으로부터 특정 위치를 포함하는 도로 구간에 해당하는 도로주행 데이터를 수신한다(S920).
전술한 바와 같이, 수신된 도로주행 데이터는 특정 도로 구간에 해당하는 압축된 형태의 비디오 스트림, 비디오 스트림에 포함된 프레임에 동기화된 센서 데이터, 및 도로 구간에 대한 정보의 전부 또는 일부를 포함할 수 있다.
영상복원장치(104)는 도로주행 데이터로부터 도로 구간에 대한 정보를 분리하고, 비디오 스트림으로부터 주행 이미지 및 센서 데이터를 생성한다(S922). 여기서 센서 데이터는 위치 및 시간에 대한 정보로서 UTC 및 GPS 정보를 포함할 수 있다.
영상복원장치(104)는 도로 구간에 대한 정보, 주행 이미지 및 센서 데이터를 수신 차량의 운전 보조 또는 자율주행 시스템 측으로 전달한다(S924). 수신 차량의 운전 보조 또는 자율주행 시스템은 도로 정보를 이용하여 요청 구간의 도로주행 데이터에 대한 개요를 파악하고, 주행 이미지 및 센서 데이터를 수신 차량의 운전 운전 보조 또는 자율주행에 이용할 수 있다.
이상에서 설명한 바와 같이 본 실시예에 따르면, 복수의 카메라로부터 획득한 주행 이미지 및 복수의 센서들로부터 획득한 센서 데이터를 UTC 기준으로 동기화시킨 프레임을 생성하여, 도로 구간별로 프레임 간의 시간적 상관성이 제거된 비디오 스트림으로 변환하는 압축/동기화장치 및 방법을 제공함으로써, 주행 이미지 데이터의 시간적 상관성을 제거하여 압축 성능의 개선이 가능해지는 효과가 있다.
또한 본 실시예에 따르면, 주행 이미지 및 센서 데이터를 동기화시킨 프레임을 생성하여, 도로 구간별로 프레임 간의 시간적 상관성이 제거된 비디오 스트림으로 변환하는 압축/동기화장치 및 방법을 제공함으로써, 프레임 별로 동기화된 센서 데이터, 라이다 데이터 등의 용이한 호출이 가능해지는 효과가 있다.
또한 본 실시예에 따르면, 주행 이미지 및 센서 데이터를 동기화시킨 프레임을 생성하여, 도로 구간별로 프레임 간의 시간적 상관성이 제거된 비디오 스트림으로 변환하는 압축/동기화장치 및 방법을 제공함으로써, 추후 저장된 비디오 스트림에 대한 도로 구간별 갱신이 용이해지는 효과가 있다.
본 실시예에 따른 각 순서도에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 순서도에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것이 적용 가능할 것이므로, 순서도는 시계열적인 순서로 한정되는 것은 아니다.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는　기록매체"에 저장된다.
컴퓨터가 읽을 수 있는　기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는　기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송) 및 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한 컴퓨터가 읽을 수 있는　기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋탑 박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩탑, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 압축 및 동기화장치 102: 영상복원장치
104: MEC
120: 입력부 122: IV 변환부
124: 전송부 130: 원시데이터 저장장치
140: 송수신부 142: VI 변환부
144: 출력부

Claims (10)

  1. 압축 및 동기화(compression and synchronization)장치가 이용하는 압축 및 동기화방법에 있어서,
    적어도 하나의 카메라로부터 입력 이미지를 획득하고, 적어도 하나의 센서로부터 센서 데이터를 획득하는 과정; 및
    상기 입력 이미지와 상기 센서 데이터를 기준 시간(reference time)에 기초하여 동기화시킨 프레임들(frames)을 생성하여 상기 프레임들을 압축된 형태의 비디오 스트림으로 변환하는 과정
    을 포함하는 것을 특징으로 하는 압축 및 동기화방법.
  2. 제1항에 있어서,
    상기 입력 이미지 및 상기 센서 데이터가 획득된 도로 구간에 대한 정보를 상기 비디오 스트림에 결합시키는 과정을 더 포함하는 것을 특징으로 하는 압축 및 동기화방법.
  3. 제1항에 있어서,
    상기 센서 데이터는,
    상기 카메라 및 센서가 탑재된 수집 차량(collecting vehicle)의 위치에 대한 GPS(Global Positioning System) 정보, 상기 GPS 정보에 포함된 상기 기준 시간에 대한 정보, 상기 수집 차량의 이동에 대한 정보, 및 상기 수집 차량의 주변에 대한 라이다(LiDAR: Light Detection and Ranging) 데이터의 전부 또는 일부를 포함하는 것을 특징으로 하는 압축 및 동기화방법.
  4. 제1항에 있어서,
    상기 센서 데이터를 메타데이터(metadata) 또는 비트스트림(bitstream) 형태로 표현하여, 상기 기준 시간에 기초하여 상기 입력 이미지에 대응되는 프레임의 SEI(Supplementary Enhanced Information)에 저장함으로써 상기 센서 데이터와 상기 입력 이미지가 동기화된 프레임을 생성하는 것을 특징으로 하는 압축 및 동기화방법.
  5. 제2항에 있어서,
    상기 도로 구간에 대한 정보는,
    도로 식별 정보, 도로 구간의 시작/끝에 대한 위치 정보, 상기 도로 구간에 대한 촬영의 시작/끝에 대한 시간 정보, 상기 도로 구간에 대한 비디오 스트림의 전체 용량을 포함하고, 메타데이터 또는 비트스트림 형태로 표현되어 상기 비디오 스트림에 포함된 프레임의 SEI에 저장되는 것을 특징으로 하는 압축 및 동기화방법.
  6. 제5항에 있어서,
    상기 도로 구간의 상황이 변경된 경우, 상기 도로 구간에 대한 비디오 스트림을 보강, 추가 또는 삭제함으로써 상기 비디오 스트림을 갱신하는 과정을 더 포함하는 것을 특징으로 하는 압축 및 동기화방법.
  7. 제6항에 있어서,
    상기 갱신하는 과정은,
    IRAP(Intra Random Access Point) 프레임을 기준으로 독립적으로 압축이 가능한 GOP(Group of Pictures) 단위로 상기 비디오 스트림을 업데이트하는 것을 특징으로 하는 압축 및 동기화방법.
  8. 적어도 하나의 카메라로부터 입력 이미지를 획득하고, 적어도 하나의 센서로부터 센서 데이터를 획득하는 입력부; 및
    상기 입력 이미지와 상기 센서 데이터를 기준 시간(reference time)에 기초하여 동기화시킨 프레임들(frames)을 생성하여 상기 프레임들을 압축된 형태의 비디오 스트림으로 변환하는 IV(Image to Video) 변환부
    를 포함하는 것을 특징으로 하는 압축 및 동기화장치.
  9. 제9항에 있어서,
    상기 IV 변환부는,
    상기 입력 이미지 및 상기 센서 데이터가 획득된 도로 구간에 대한 정보를 상기 비디오 스트림에 결합하고, 상기 도로 구간의 상황이 변경된 경우, 상기 도로 구간에 대한 비디오 스트림을 보강, 추가 또는 삭제함으로써 상기 비디오 스트림을 갱신하는 것을 특징으로 하는 압축 및 동기화장치.
  10. 제1항 내지 제7항 중 어느 한 항에 따른 압축 및 동기화방법이 포함하는 각 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램.
KR1020200068897A 2020-06-08 2020-06-08 도로주행 데이터 생성을 위한 압축/동기화장치 및 방법 KR20210152163A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200068897A KR20210152163A (ko) 2020-06-08 2020-06-08 도로주행 데이터 생성을 위한 압축/동기화장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200068897A KR20210152163A (ko) 2020-06-08 2020-06-08 도로주행 데이터 생성을 위한 압축/동기화장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210152163A true KR20210152163A (ko) 2021-12-15

Family

ID=78865785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200068897A KR20210152163A (ko) 2020-06-08 2020-06-08 도로주행 데이터 생성을 위한 압축/동기화장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210152163A (ko)

Similar Documents

Publication Publication Date Title
CN108413975B (zh) 地图获取方法、系统、云处理器及车辆
JP6468563B2 (ja) 運転サポート
US20220058834A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US12087023B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US12108085B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20220222863A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20230239491A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20220191545A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
EP4398183A1 (en) Image stitching method and system based on multiple unmanned aerial vehicles
US20230125048A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20220343556A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
CN111319560A (zh) 信息处理系统、程序和信息处理方法
US20220198719A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
WO2019039507A1 (ja) スマートカメラ、画像処理装置、およびデータ通信方法
US20210227102A1 (en) Systems and methods for synchronizing frame timing between physical layer frame and video frame
US20230281882A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
KR20210152163A (ko) 도로주행 데이터 생성을 위한 압축/동기화장치 및 방법
US20240005564A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20230230287A1 (en) Decoding methods, encoding method, decoding device, and encoding device
US20230162405A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
WO2022149589A1 (ja) 三次元データ復号方法、三次元データ符号化方法、三次元データ復号装置、及び三次元データ符号化装置
JP7254000B2 (ja) 画像配信装置及び方法並びに画像配信システム
CN114326764A (zh) 基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统
JP6921317B2 (ja) 情報収集装置
US11877014B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal