KR20240035988A - Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치 - Google Patents

Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치 Download PDF

Info

Publication number
KR20240035988A
KR20240035988A KR1020240034521A KR20240034521A KR20240035988A KR 20240035988 A KR20240035988 A KR 20240035988A KR 1020240034521 A KR1020240034521 A KR 1020240034521A KR 20240034521 A KR20240034521 A KR 20240034521A KR 20240035988 A KR20240035988 A KR 20240035988A
Authority
KR
South Korea
Prior art keywords
time
time information
synchronization
video
video frame
Prior art date
Application number
KR1020240034521A
Other languages
English (en)
Inventor
신장호
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020240034521A priority Critical patent/KR20240035988A/ko
Publication of KR20240035988A publication Critical patent/KR20240035988A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

본 실시 예에 따른 장치는, 다채널 카메라로부터 동기 시간 요구 메시지를 수신하면, gPTP(generalized precision time protocol) 프로토콜을 이용하여 시간 동기화를 수행하되, GM(GrandMaster) 클럭 시간정보를 수집하고, 상기 GM 클럭 시간정보를 기반으로 상기 시간 동기화를 수행하는 시간 동기화 수행부; 상기 다채널 카메라로부터 촬영된 각각의 영상 프레임을 수신하고, 상기 각각의 영상 프레임의 시간정보와 상기 GM 클럭 시간정보를 비교하고, 및 상기 GM 클럭 시간정보 대비 지연된 상기 각각의 영상 프레임에 대한 각각의 지연시간 정보를 산출하는 비교부; 및 상기 각각의 지연시간 정보를 기반으로 상기 각각의 영상 프레임의 출력 시간을 조정하여 상기 다채널 카메라 간 영상 동기화를 수행하는 영상 동기화 수행부를 포함하고, 상기 GM 클럭 시간정보는 기 설정된 시간 단위를 기반으로 하여 복수의 영역으로 분할되며, 상기 각각의 지연시간 정보는, 상기 GM 클럭 시간정보의 분할 영역에서의 시작 시간과 상기 시작 시간에 대응하는 상기 각각의 영상 프레임의 출력 시간의 차이로 결정된다.

Description

GM 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치{Method and Apparatus for Synchronizing Camera Image Based on GM Clock Time Information}
본 실시예는 GM 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 차량 이더넷 환경에서의 4채널 카메라 영상 동기화를 위한 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
차량에는 운전자의 편의 및 안전을 향상시키기 위한 각종 전자 제어 장치가 탑재되고 있으며, 이들 전자 제어 장치간의 상호 통신을 위한 차량 내 통신 네트워크도 탑재되고 있다.
많은 차량 제조사들이 차량 내 통신 네트워크로 이더넷(Ethernet)을 도입하고 있으며, 이와 더불어, 이더넷 기반의 SVM(Surround View Monitor) 시스템 또한 양산되고 있다.
SVM 시스템은 차량의 사방에 장착된 4채널 카메라를 통해 차량 주변의 영상을 획득하고, 획득한 영상을 기반으로, 차량의 주차시, 운전자가 실내에 장착된 표시장치를 통해 차량의 주변을 확인할 수 있는 시스템이다. SVM 시스템을 이용하여, 운전자는 차량 주변의 상황을 한 눈에 파악하고 안전하게 주차를 하거나, 좁은 길을 지날 수 있다.
한편, 일반적인 SVM 시스템에서는 장착된 4채널 카메라의 온(On) 시점이 다를 수 밖에 없으며, 동작 과정에서 카메라 노출 시간의 변경 등으로 인해 카메라 간 영상 출력 시점에 대한 오차가 점점 발생하게 될 수 밖에 없다. 이는 곧, SVM 시스템에서 제공되는 서라운드 뷰에서 영상 틀어짐 등으로 인해 성능 감소가 발생할 수 있다는 의미이다.
이를 해결하기 위해서는 카메라의 출력 시점을 외부에서 통제하거나 카메라 간 통신을 통해 4채널 카메라의 영상 출력 시점을 동일하게 조정하는 영상 동기화 과정을 필요로 한다. 하지만, 복잡한 통신 환경에서 카메라 간 통신은 시스템에 부하를 준다는 한계가 존재한다. 또한 외부 통제의 경우 이더넷 환경에서 실시간으로 외부에서 카메라와 통신을 하기 힘들다는 한계가 존재한다.
본 실시예는, 시간 동기화 과정에서 수집되는 GM 클럭 시간정보를 활용하여 4채널 카메라의 영상 출력이 동일 시간에 출력되도록 조정하는 영상 동기화 과정을 수행함으로써 SVM 시스템에서 영상의 공차로 인해 발생하는 성능 감소 문제를 근본적으로 해결하면서도, 통신 프로토콜 사용을 최소화하여 시스템 사양 단순화 및 부하 감소를 가능토록 하는 데 그 목적이 있다.
본 실시 예에 따른 장치는, 다채널 카메라로부터 동기 시간 요구 메시지를 수신하면, gPTP(generalized precision time protocol) 프로토콜을 이용하여 시간 동기화를 수행하되, GM(GrandMaster) 클럭 시간정보를 수집하고, 상기 GM 클럭 시간정보를 기반으로 상기 시간 동기화를 수행하는 시간 동기화 수행부; 상기 다채널 카메라로부터 촬영된 각각의 영상 프레임을 수신하고, 상기 각각의 영상 프레임의 시간정보와 상기 GM 클럭 시간정보를 비교하고, 및 상기 GM 클럭 시간정보 대비 지연된 상기 각각의 영상 프레임에 대한 각각의 지연시간 정보를 산출하는 비교부; 및 상기 각각의 지연시간 정보를 기반으로 상기 각각의 영상 프레임의 출력 시간을 조정하여 상기 다채널 카메라 간 영상 동기화를 수행하는 영상 동기화 수행부를 포함하고, 상기 GM 클럭 시간정보는 기 설정된 시간 단위를 기반으로 하여 복수의 영역으로 분할되며, 상기 각각의 지연시간 정보는, 상기 GM 클럭 시간정보의 분할 영역에서의 시작 시간과 상기 시작 시간에 대응하는 상기 각각의 영상 프레임의 출력 시간의 차이로 결정된다.
본 실시 예에 따른 방법은, 다채널 카메라로부터 동기 시간 요구 메시지를 수신하면, gPTP(generalized precision time protocol) 프로토콜을 이용하여 시간 동기화를 수행하되, GM 클럭 시간정보를 수집하고, 상기 GM 클럭 시간정보를 기반으로 상기 시간 동기화를 수행하는 시간 동기화 수행과정; 다채널 카메라로부터 촬영된 각각의 영상 프레임을 수신하고, 상기 각각의 영상 프레임의 시간정보와 상기 GM 클럭 시간정보를 비교하고, 상기 GM 클럭 시간정보 대비 지연된 상기 각각의 영상 프레임에 대한 각각의 지연시간 정보를 산출하는 비교과정; 및 상기 각각의 지연시간 정보를 기반으로 상기 각각의 영상 프레임의 출력 시간을 조정하여 상기 다채널 카메라 간 영상 동기화를 수행하는 영상 동기화 수행과정을 포함하고, 상기 GM 클럭 시간정보는 기 설정된 시간 단위를 기반으로 하여 복수의 영역으로 분할되며, 상기 각각의 지연시간 정보는, 상기 GM 클럭 시간정보의 분할 영역에서의 시작 시간과 상기 시작 시간에 대응하는 상기 각각의 영상 프레임의 출력 시간의 차이로 결정된다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 시간 동기화 과정에서 수집되는 GM 클럭 시간정보를 활용하여 4채널 카메라의 영상 출력이 동일 시간에 출력되도록 조정하는 영상 동기화 과정을 수행함으로써 SVM 시스템에서 영상의 공차로 인해 발생하는 성능 감소 문제를 근본적으로 해결하면서도, 통신 프로토콜 사용을 최소화하여 시스템 사양 단순화 및 부하 감소를 가능토록 하는 효과가 있다.
도 1은 본 실시예에 따른 SVM 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 전자제어장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 영상 동기화 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 시간 동기화 방법을 예시한 예시도이다.
도 5는 본 실시예에 따른 카메라 간 영상 출력 시점에 대한 오차 발생을 설명하기 위한 예시도이다.
도 6 및 도 7은 본 실시예에 따른 영상 동기화 수행 과정을 설명하기 위한 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 실시예에 따른 SVM 시스템을 개략적으로 나타낸 블록 구성도이다. 한편, 도 1은 차량의 이더넷 환경에서 서라운드 뷰 제공을 위한 SVM 시스템의 아키텍처를 도시하였다.
도 1에 도시하듯이, 본 실시예에 따른 SVM 시스템(100)은 카메라(110), 이더넷 스위치 장치(120) 및 SVM 장치(130)를 포함한다.
카메라(110)는 차량에 복수 개가 구비되고, 영상을 촬영하여 영상 데이터를 생성하고 송출할 수 있다.
본 실시예에 있어서, 카메라(110)는 제1 내지 제4 카메라를 포함하는 4채널 카메라로 구현될 수 있다. 예컨대, 제1 카메라는 차량 좌측방 영상을 획득한다. 제2 카메라는 차량 후방 영상을 획득한다. 제3 카메라는 차량 우측방 영상을 획득한다. 제4 카메라는 차량 전방 영상을 획득한다.
제1 내지 제4 카메라에서 각각 획득한 복수의 영상들은 프레임 단위로 출력한다.
제1 내지 제4 카메라는 각각 영상을 촬영하는 이미지 센서(예를 들면, CCD 또는 CMOS), 카메라의 영상 데이터를 제어하는 전자제어장치, 영상 데이터를 저장하는 메모리, 통신모듈 등을 포함한다.
본 실시예에 있어서, 제1 내지 제4 카메라는 이더넷 스위치 장치(120)와 연결되며, 이더넷 스위치 장치(120)와의 사이에 이더넷 환경의 통신 동기화 프로토콜인 gPTP를 사용하여 시간 동기화 과정을 수행한다.
이더넷 통신을 이용한 정보 전송 시 시간 동기화 과정이 필수적이다. 시간 동기화가 되지 않는다면, 예를 들어 차량에 설치된 전방, 후방, 좌측 및 우측에 설치된 각각의 카메라 영상이 결합되어 한 화면에 표시될 경우 각 영상 표시 화면 간에 시간차로 인한 왜곡이 발생할 수 있다.
이더넷 통신의 시간 동기화 과정에서는, 로컬 네트워크(Local Network)에 연결된 모든 객체(Entity)가 시간 동기화에 참여한다. 이더넷 통신에서는 전송되는 데이터 외에 시간 동기화를 위한 정보를 객체들간에 송수신한다. 송수신된 시간 동기화 정보 중 가장 정교한 클락(Clock)을 가진 하나의 객체를 그랜드마스터(GrandMaster)로 선정하여 기준이 되는 시간을 기타 객체들에게 제공한다.
즉, 제1 내지 제4 카메라는 그랜드마스터로서의 역할을 수행하는 이더넷 스위치 장치(120)로부터 GM 클럭 시간정보를 제공받고, 이를 기반으로 시간 동기화 과정을 수행한다. 한편, GM 클럭 시간정보에 기반한 시간 동기화 과정은 해당 분야에서 일반적인 바 자세한 설명은 생략하도록 한다.
본 실시예에 있어서, 제1 내지 제4 카메라는 시간 동기화 이외에도, 영상 동기화 과정을 추가로 수행한다. 여기서, 영상 동기화는, 4채널 카메라의 구조적 차이로 인한 온(On) 시점의 상이함 혹은 동작 과정에서 카메라 노출 시간의 변경 등으로 인해 야기되는 카메라 간 영상의 공차를 보정하기 위해 각 카메라의 영상 출력 시점이 동일하도록 보정하는 과정이다.
본 실시예에 있어서, 제1 내지 제4 카메라는 시간 동기화 과정에서 수집되는 GM 클럭 시간정보를 활용하여 4채널 카메라로부터의 영상이 동일 시간에 출력되도록 조정한다. 즉, 제1 내지 제4 카메라는, 각 카메라에 동일하게 구비되면서도, 개별적인 카메라의 동작과 무관하게 변동되지 않는 정확한 시간정보인 GM 클럭 시간정보를 기준으로 하여 각 카메라의 영상 출력이 동일 시간에 출력되도록 조정한다.
이러한, 본 실시예에 따른 영상 동기화에 의하는 경우, SVM 시스템에서 영상의 공차로 인해 발생하는 성능 감소 문제를 근본적으로 해결하면서도, 통신 프로토콜 사용을 최소화하여 시스템 사양 단순화 및 부하 감소를 가능토록 하는 효과가 있다. 이에 대한 자세한 내용은 도 2의 전자제어장치를 설명하는 과정에서 후술하도록 한다.
이더넷 스위치 장치(ESU: Ethernet Switch Unit, 120)는 카메라(110) 및 SVM 장치(130)를 포함한 차량 내 각종 제어기기와 연결되며, 각 제어기기의 신호를 분배하는 역할을 담당한다.
본 실시예에 있어서, 이더넷 스위치 장치(120)는 전체 제어기기의 시간 동기화를 위한 그랜드마스터로서의 역할을 수행하며, 각 제어기기로 시간 동기화를 위해 GM 클럭 시간정보를 포함하는 시간 동기화 메시지를 송신한다.
SVM 장치(130)는 카메라(110)에서 촬영된 복수의 이미지를 조합하여, 서라운드 뷰 이미지를 제공하는 장치를 의미한다. 특히, 차량을 기준으로 한 탑 뷰(Top View) 또는 버드 아이 뷰(Bird Eye View)를 제공하는 장치일 수 있다.
본 실시예에 있어서, SVM 장치(130)는 앞서 기술한 영상 동기화 과정에 따라 제1 내지 제4 카메라로부터 서로 동일한 시점에 맞춰 출력되는 영상을 제공받는다. 이는 곧, 종래 대비 영상의 왜곡 현상이 없는 보다 정확한 서라운드 뷰 이미지를 제공할 수 있음을 의미한다.
도 2는 본 실시예에 따른 전자제어장치를 개략적으로 나타낸 블록 구성도이다. 도 2에 도시된 전자제어장치(200)는 카메라(110) 내에 포함되는 형태로 구현되거나, 카메라(100)와 연동되는 별개의 장치로 구현될 수 있다. 전자제어장치(200)는 복수의 카메라별로 각각 대응되어 구비되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
본 실시예에 따른 전자제어장치(200)는 시간 동기화 수행부(210), 비교부(220), 영상 동기화 수행부(230)를 포함한다. 여기서, 전자제어장치(200)에 포함되는 구성요소는 반드시 이에 한정되는 것은 아니다.
시간 동기화 수행부(210)는 GM 클럭 시간정보를 수집하고, 수집한 GM 클럭 시간정보를 기반으로 시간 동기화 과정을 수행하는 장치를 의미한다.
도 4를 참조하여 설명하면, 시간 동기화 수행부(210)는 카메라가 부팅되는 경우 시간 동기화를 위한 동기 시간 요구 메시지를 이더넷 스위치 장치(120)로 전송한다.
시간 동기화 수행부(210)는 이더넷 스위치 장치(120)로부터 동기 시간 요구 메시지에 대응하여 동기 시간 예컨대, GM 클럭 시간정보를 포함하는 시간 동기화 메시지를 수신한다.
시간 동기화 수행부(210)는 수신한 GM 클럭 시간정보를 기반으로 카메라와 이더넷 스위치 장치(120)와의 사이에 시간을 동기화한다.
본 실시예에 있어서, 각 카메라의 시간 동기화 수행부(210)는 이더넷 스위치 장치(120)와 시간 동기화 과정을 수행하고, 시간 동기화가 완료된 카메라들은 모두 동기화된 동작 시간을 가지게 된다.
비교부(220)는 GM 클럭 시간정보를 기준으로 하여 각 카메라에 대한 출력 오차를 계산하고, 계산결과에 기반하여 영상 동기화를 위한 공차 보정 값을 산출하는 기능을 수행한다.
이를 위해, 본 실시예에 따른 비교부(220)는 카메라로부터 촬영된 영상 프레임을 입력받고, 입력받은 영상 프레임의 시간정보와 GM 클럭 시간정보를 비교하여 GM 클럭 시간정보 대비 영상 프레임에 대한 지연시간 정보를 산출한다.
이하, 도 5 및 도 6을 함께 참조하여, 비교부(220)의 동작에 대해 설명하도록 한다.
먼저 도 5를 참조하면, 비교부(220)는 GM 클럭 시간정보를 영상 프레임과 관련하여 기 설정된 시간 단위를 기반으로 하여 복수의 영역으로 분할한다. 여기서 기 설정된 시간 단위는 카메라 상에 설정된 영상 프레임의 초당 프레임 단위 시간에 따라 결정될 수 있다.
예컨대, 도 5의 ①을 참조하면, 비교부(220)는 GM 클럭 시간정보를 카메라 1 프레임의 이상적인 시간 33.333 ms 구간으로 나눌 수 있다. 이는, 카메라 영상이 1초에 30 프레임으로 구성되는 경우 한 프레임은 1초/30 = 33.333 ms이기 때문이다.
한편, 일반적인 영상 프레임의 초당 프레임 단위 시간에 따르면 4채널 카메라의 영상 출력은 33.333 ms 단위로 서로 동일한 시점에 영상 출력이 이루어져야 한다. 하지만, 각 카메라에 대한 온 시점이 구조적으로 다를 수 밖에 없으며, 동작 과정에서 카메라 조도가 변화는 경우 카메라 노출 시간이 변경됨에 따라 도 5의 ②에 도시된 바와 같이 33.333 ms에서 변동된 시간으로 영상 출력이 이루어지게 되며, 카메라 출력 오차가 누적되는 경우 한 프레임의 시간 구간에서 벗어나게 된다.
이러한 카메라 출력 오차를 제거하기 위해, 비교부(220)는 각 카메라에 동일하게 구비되면서도, 개별 카메라의 동작과 무관하게 변동되지 않는 정확한 시간정보인 GM 클럭 시간정보를 기준으로 영상 프레임에 대한 지연시간 정보를 산출한다.
도 6의 (a)를 참조하면, 본 실시예에 따른 비교부(220)는 카메라 부팅 후 일정의 구간을 정해 영상 동기화를 위한 상기의 지연시간 정보를 산출할 수 있다.
한편, 비교부(220)는 시간 동기화를 위한 GM 클럭으로서의 역할을 수행하는 이더넷 스위치 장치(120)와 카메라의 사이에 시간 동기화가 완료된 것으로 확인되는 경우 영상 프레임 및 GM 클럭 시간정보를 입력받아 상기의 지연시간 정보를 산출할 수 있다.
도 6의 (b)를 참조하면, 비교부(220)는 GM 클럭 시간정보의 분할 영역의 시작 시간과 해당 분할 영역에 대응하는 대응 영상 프레임의 출력 시간을 비교하여, 대응 영상 프레임이 분할 영역으로부터 벗어난 정도를 지연시간 정보로서 산출한다.
영상 동기화 수행부(230)는 비교부(200)에서 산출된 지연시간 정보를 기반으로 영상 동기화를 수행하는 장치이다.
영상 동기화 수행부(230)는 비교부(200)에서 산출된 지연시간 정보를 4채널 카메라 간 영상 동기화를 위한 공차 보정값으로서 활용하며, 지연시간 정보만큼 대응하는 카메라의 영상 출력 시간을 지연(Delay)시킨다. 이는, 결과적으로 4채널의 카메라의 영상 출력이 GM 클럭 시간정보에 맞춰 같은 시간에 수행되도록 제어됨을 의미한다.
도 6의 (c)를 참조하면, 영상 동기화 수행부(230)는 영상 동기화 수행 시점에 대응되는 영상 프레임에 대해 지연 시간 정보만큼 영상 출력 시간을 지연시켜 출력한다.
결과적으로, 도 7을 참조하면, 본 실시예에 따른 영상 동기화 방법에 의하는 경우 4개의 카메라의 영상 출력 시간이 GM 클럭 시간정보에 맞춰 각각 지연됨에 따라 동기화가 이루어지며, 이는 공차 보정에 필요한 카메라 상태를 만족하게 됨을 의미한다.
도 3은 본 실시예에 따른 영상 동기화 방법을 설명하기 위한 순서도이다.
전자제어장치(200)는 GM 클럭 시간정보를 수집하고, GM 클럭 시간정보를 기반으로 시간 동기화를 수행한다(S302). 단계 S302에서 전자제어장치(200)는 그랜드마스터로서의 역할을 수행하는 이더넷 스위치 장치(120)로부터 GM 클럭 시간정보를 제공받고, 이를 기반으로 시간 동기화 과정을 수행한다.
전자제어장치(200)는 카메라로부터 촬영된 영상 프레임을 입력받고, 영상 프레임의 시간정보와 단계 S302의 GM 클럭 시간정보를 비교하여 GM 클럭 시간정보 대비 영상 프레임에 대한 지연시간 정보를 산출한다(S304). 단계 S304에서 전자제어장치(200)는 GM 클럭 시간정보를 영상 프레임과 관련하여 기 설정된 시간 단위를 기반으로 하여 복수의 영역으로 분할한다.
전자제어장치(200)는 GM 클럭 시간정보의 분할 영역의 시작 시간과 해당 분할 영역에 대응하는 대응 영상 프레임의 출력 시간을 비교하여, 대응 영상 프레임이 분할 영역으로부터 벗어난 정도를 지연시간 정보로서 산출한다.
전자제어장치(200)는 단계 S304에서 산출한 지연시간 정보를 기반으로 카메라의 영상 출력 시간을 조정하여 4채널 카메라 간 영상 동기화를 수행한다(S306). 단계 S306에서 전자제어장치(200)는 지연시간 정보를 4채널 카메라 간 영상 동기화를 위한 공차 보정값으로서 활용하며, 지연시간 정보만큼 대응하는 카메라의 영상 출력 시간을 딜레이시킨다.
여기서, 단계 S302 내지 S306은 앞서 설명된 전자제어장치(200)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
도 3에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 3에 기재된 영상 동기화 방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: SVM 시스템 110: 카메라
120: 이더넷 스위치 장치 130: SVM 장치
200: 전자제어장치 210: 시간 동기화 수행부
220: 비교부 230: 영상 동기화 수행부

Claims (4)

  1. 다채널 카메라로부터 동기 시간 요구 메시지를 수신하면, gPTP(generalized precision time protocol) 프로토콜을 이용하여 시간 동기화를 수행하되, GM(GrandMaster) 클럭 시간정보를 수집하고, 상기 GM 클럭 시간정보를 기반으로 상기 시간 동기화를 수행하는 시간 동기화 수행부;
    상기 다채널 카메라로부터 촬영된 각각의 영상 프레임을 수신하고, 상기 각각의 영상 프레임의 시간정보와 상기 GM 클럭 시간정보를 비교하고, 및 상기 GM 클럭 시간정보 대비 지연된 상기 각각의 영상 프레임에 대한 각각의 지연시간 정보를 산출하는 비교부; 및
    상기 각각의 지연시간 정보를 기반으로 상기 각각의 영상 프레임의 출력 시간을 조정하여 상기 다채널 카메라 간 영상 동기화를 수행하는 영상 동기화 수행부를 포함하고,
    상기 GM 클럭 시간정보는 기 설정된 시간 단위를 기반으로 하여 복수의 영역으로 분할되며,
    상기 각각의 지연시간 정보는, 상기 GM 클럭 시간정보의 분할 영역에서의 시작 시간과 상기 시작 시간에 대응하는 상기 각각의 영상 프레임의 출력 시간의 차이로 결정되는 것을 특징으로 하는,
    영상 동기화 장치.
  2. 제1항에 있어서,
    상기 영상 동기화 수행부는,
    상기 각각의 지연시간 정보만큼 상기 각각의 영상 프레임의 출력 시간을 지연시켜 동일한 시간에 상기 각각의 영상 프레임이 출력되도록 하는 것을 특징으로 하는,
    영상 동기화 장치.
  3. 다채널 카메라로부터 동기 시간 요구 메시지를 수신하면, gPTP(generalized precision time protocol) 프로토콜을 이용하여 시간 동기화를 수행하되, GM 클럭 시간정보를 수집하고, 상기 GM 클럭 시간정보를 기반으로 상기 시간 동기화를 수행하는 시간 동기화 수행과정;
    다채널 카메라로부터 촬영된 각각의 영상 프레임을 수신하고, 상기 각각의 영상 프레임의 시간정보와 상기 GM 클럭 시간정보를 비교하고, 상기 GM 클럭 시간정보 대비 지연된 상기 각각의 영상 프레임에 대한 각각의 지연시간 정보를 산출하는 비교과정; 및
    상기 각각의 지연시간 정보를 기반으로 상기 각각의 영상 프레임의 출력 시간을 조정하여 상기 다채널 카메라 간 영상 동기화를 수행하는 영상 동기화 수행과정을 포함하고,
    상기 GM 클럭 시간정보는 기 설정된 시간 단위를 기반으로 하여 복수의 영역으로 분할되며,
    상기 각각의 지연시간 정보는, 상기 GM 클럭 시간정보의 분할 영역에서의 시작 시간과 상기 시작 시간에 대응하는 상기 각각의 영상 프레임의 출력 시간의 차이로 결정되는 것을 특징으로 하는,
    영상 동기화 방법.
  4. 제3항에 있어서,
    상기 영상 동기화 수행과정은,
    상기 각각의 지연시간 정보만큼 상기 각각의 영상 프레임의 출력 시간을 지연시켜 동일한 시간에 상기 각각의 영상 프레임이 출력되도록 하는 것을 특징으로 하는,
    영상 동기화 방법.

KR1020240034521A 2019-12-05 2024-03-12 Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치 KR20240035988A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020240034521A KR20240035988A (ko) 2019-12-05 2024-03-12 Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190160848A KR102656682B1 (ko) 2019-12-05 2019-12-05 Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치
KR1020240034521A KR20240035988A (ko) 2019-12-05 2024-03-12 Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190160848A Division KR102656682B1 (ko) 2019-12-05 2019-12-05 Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240035988A true KR20240035988A (ko) 2024-03-19

Family

ID=76210794

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190160848A KR102656682B1 (ko) 2019-12-05 2019-12-05 Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치
KR1020240034521A KR20240035988A (ko) 2019-12-05 2024-03-12 Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190160848A KR102656682B1 (ko) 2019-12-05 2019-12-05 Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치

Country Status (2)

Country Link
US (1) US11516526B2 (ko)
KR (2) KR102656682B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021190868A (ja) * 2020-05-29 2021-12-13 キヤノン株式会社 映像同期装置、映像同期装置の制御方法及びプログラム
CN112822480B (zh) * 2020-12-31 2022-05-17 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101589227B1 (ko) * 2015-01-20 2016-01-27 현대자동차주식회사 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치
DE102015212218A1 (de) * 2015-06-30 2017-01-05 Robert Bosch Gmbh Dezentral synchronisiertes Multisensorsystem
KR102250450B1 (ko) * 2016-06-20 2021-05-12 현대자동차주식회사 네트워크에서 오류 검출을 위한 통신 노드의 동작 방법
KR101767662B1 (ko) * 2016-10-21 2017-08-14 (주)플럭스플래닛 다시점 카메라 동기화 시스템 및 방법
KR20220042915A (ko) * 2020-09-28 2022-04-05 삼성전자주식회사 통신 시스템에서 제1 통신 네트워크의 동기 정보를 제2 통신 네트워크로 제공하기 위한 장치 및 방법

Also Published As

Publication number Publication date
KR102656682B1 (ko) 2024-04-09
US20210176379A1 (en) 2021-06-10
US11516526B2 (en) 2022-11-29
KR20210070746A (ko) 2021-06-15

Similar Documents

Publication Publication Date Title
KR20240035988A (ko) Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치
KR102521406B1 (ko) 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
CN107948463B (zh) 一种相机同步方法、装置及系统
EP1189460A2 (en) Image pickup apparatus
US20150294614A1 (en) Display panel driving method, driving device and display device
KR20210045106A (ko) 차량 및 차량의 제어방법
CN109842750B (zh) 摄像装置系统
US11380014B2 (en) Control modules and methods
WO2019239779A1 (ja) カメラシステム、そのコントローラ、自動車、デシリアライザ回路
KR101896890B1 (ko) 차량 카메라 영상 동기화 방법 및 시스템
JP6652463B2 (ja) 車載カメラ装置、車載カメラ調整装置及び車載カメラ調整システム
US9807282B2 (en) Synchronous camera
US9258543B2 (en) Method and device for generating three-dimensional image
US20240022824A1 (en) Control method for image acquisition device, control device therefor, and storage medium
JP2019087880A (ja) 信号出力装置、カメラ雲台、カメラ雲台連動システム、およびプログラム
US20200329195A1 (en) Synchronizing application of settings for one or more cameras
JP2009147831A (ja) 画像伝送装置及びワイヤレス画像受信装置
KR102275141B1 (ko) 차량용 이더넷 네트워크에서 다수의 서브 제어기로부터 수신되는 다중 스트림 데이터를 동기화하여 출력하기 위한 차량 기기 제어 장치 및 방법
JP2000184396A (ja) 映像処理装置及びその制御方法及び記憶媒体
JP2006203817A (ja) マルチカメラシステム
US20170289482A1 (en) Imaging apparatus
WO2021049354A1 (ja) 通信装置および通信方法、並びにプログラム
CN114520854B (zh) 一种多摄像头信号同步方法及装置
JP7467130B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN108683866B (zh) 图像处理及传输方法、图像处理器及相关存储介质和系统

Legal Events

Date Code Title Description
A107 Divisional application of patent