KR101589227B1

KR101589227B1 - 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치

Info

Publication number: KR101589227B1
Application number: KR1020150009401A
Authority: KR
Inventors: 박성진; 김승수; 김우섭; 박기곤
Original assignee: 현대자동차주식회사; 현대모비스 주식회사
Priority date: 2015-01-20
Filing date: 2015-01-20
Publication date: 2016-01-27
Also published as: CN106210503B; US10091431B2; US20160212307A1; CN106210503A; DE102015210790A1; DE102015210790B4

Abstract

본 발명은 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 이더넷 통신을 통해 그랜드마스터(GrandMaster)와 연동되는 카메라 제어기에서의 카메라 셔터 동기화 제어 방법은 상기 그랜드마스터와 시간 동기화 절차를 수행하는 시간 동기화 단계와 상기 시간 동기화 절차가 정상 완료되면, 미리 설정된 PPS(Pulse Per Second) 다운 카운터를 감소시키는 PPS 다운 카운팅 단계와 상기 PPS 다운 카운터가 0에 도달하면, 카메라 셔터(Shutter)를 구동시키는 카메라 셔터 구동 단계를 포함할 수 있다. 따라서, 본 발명은 차량용 이더넷에 연결된 카메라들의 셔터 동기화를 통해 원하는 시간대의 정확한 영상 프레임을 제공할 수 있는 장점이 있다.

Description

차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치{Method and apparatus for controlling synchronization of camera shutter in in-vehicle Ethernet communication network}

본 발명은 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치에 관한 것으로서, 차량용 이더넷 네트워크상에서 IEEE 802.1AS 시간 동기화에 기반하여 차량 내 모든 카메라의 셔터를 동기화하여 동작시키는 것이 가능한 카메라 셔터 동기화 제어 방법 및 장치에 관한 것이다.

최근 출시되고 있는 차량에는 운전자의 편의 및 안전을 향상시키기 위한 각종 전자 제어 장치가 탑재되고 있으며, 이들 전자 제어 장치간의 상호 통신을 위한 차량 내 통신 네트워크가 기본적으로 탑재되고 있다.

특히, 차량 내 전자 제어기 개수가 지속적으로 증가하고, 다양한 외부 기기와의 연동이 가능해짐에 따라, 기존 차량 통신망의 과부하 및 와이어링 하네스 관련 비용이 증가하고 있다.

또한, 고품질 영상 및 음성 데이터에 대한 소비자 요구 및 영상 활용 어플리케이션의 증가에 따라 대역폭 확장에 대한 필요성이 확대되고 있다.

이에 따라, 많은 차량 제조사들이 차량 내 통신 네트워크로 이더넷(Ethernet) 도입을 검토하고 있으며, 일부 차량 제조사는 최근 이더넷 기반의 AVM(Around View Monitor) 시스템을 양산하였다.

일반적인 이더넷은 다수의 랜(LAN: Local Area Network)과, LAN 간 연결을 위한 다수의 브릿지(Bridge)들로 구성된다.

이더넷은 CSMA/CD(Carrier Sense Multiple Access/Collision Detect) 프로토콜을 이용하여 공유 매체에 다수의 노드들이 경쟁적으로 접근 시도하는 특징이 있다. 그러나 CSMA/CD 방식은 모든 트래픽에 대해 동일한 우선권을 부여하고 다수의 노드들이 경쟁을 통해 자신의 트래픽을 전송하므로, 동영상, 음성 데이터와 같이 전송 시간 지연에 민감함 멀티미디어 데이터의 전송에는 적합하지 않다.

따라서, 이더넷은 전송 시간 지연에 민감한 멀티미디어 데이터 전송을 위해 네트워크 상의 모든 노드들의 시간을 동기화하는 기술을 사용한다.

현재, IEEE 1722와 같은 전송 프로토콜 계층 표준에서는 스트리밍 시간에 민감한 오디오나 비디오 신호의 전송을 위해 AVB(Audio Video Bridging) 표준을 개발하고 있다. 상세하게, AVB 표준은 이더넷상에서 오디오 및 비디오 등 멀티미디어 스트림(Stream)을 원활하게 전달하기 위한 전송 품질 보장형 기술을 개발하고자 하는 것이다.

앞서 언급한 바와 같이, 기존의 LAN, 특히 그 대표적 기술인 이더넷에서는 기본적으로 프레임에 기반한 패킷 스위칭 기술을 사용함으로써 효과적인 품질 보장형 전송을 제공하기 어려웠다. AVB는 이러한 단점을 극복하고자 처음에는 IEEE 802.2 에서 Synchronous Ethernet, Residential Ethernet 등의 이름으로 개발을 시작하였으며, 현재는 IEEE 802.1에서 기존 비동기 패킷 스위칭의 패러다임을 크게 훼손하지 않는 범위에서 유사한 기술을 브리지상에서 구현하는 방식을 연구하고 있다.

기본적으로, IEEE 802.1의 AVB 기술은 패킷 스위칭을 하는 기존 이더넷 브리지들을 이용해 Synchronous Traffic 전송을 가능하게 하는 기술로서, 일정 지리적 범주 내의 브리지들의 클럭을 동기화시키는 것이 핵심이다. 브리지들의 클럭이 동기화되면 정확하게 원하는 시간에 일정한 시간 간격으로 일정한 크기의 이더넷 프레임이 브리지 사이에서 전달되게 할 수 있으므로, 이러한 기본 개념을 확장 적용한 브리지 메쉬(Mesh)는 Synchronous Traffic을 안정되게 전달하는 인프라로서 사용될 수 있는 특징이 있다.

일 예로, IEEE 1588 PTP (Precision Time Protocol)는 OSI 계층 전반에서 동작이 가능한 시간 동기화 표준이고, IEEE 802.1AS는 IEEE 1588를 근간으로 OSI(Open Systems Interconnection) 제2계층-즉, 데이터 링크 계층(Data Link Layer)-의 프로파일만을 지원하는 시간 동기화 표준이다. 브릿지와 스위치 등의 제2계층 장치에 IEEE 802.1AS 표준을 적용할 경우, OSI 제2계층 시간 동기화 네트워크를 구성할 수 있다.

IEEE 802.1AS의 각 장치 간 시간 동기화 방법은 시간 동기화 정보를 포함하는 타임스탬프를 이용하여 송신측과 수신측의 동기를 맞추는 방식으로서, 시간 동기화를 위해 망 내의 장치들 중에 기준 시간을 제공하는 장치인 그랜드마스터(GM: GrandMaster)가 선정되고, 선정된 그랜드마스터의 로컬 시간이 공지(Announce) 메시지를 통해 다른 장치들에 전송됨으로써, 다른 장치들이 그랜드마스터의 로컬 시간을 기준 시간으로 사용한다. 이때, 그랜드마스터는 Announce 메시지를 다른 모든 장치들에 보내어 자신의 존재와 기준 시간 제공 장치로서의 적합성에 대한 비교수치를 다른 장치들에게 보낸다.

즉, 그랜드마스터는 IEEE 802.1AS 타이밍 트리의 최상위 노드로서 주기적으로 현재 시간 정보를 하위 노드에 전송한다.

IEEE 802.1AS는 그랜드마스터를 결정하고 시간 동기를 획득하는 절차와 다수의 컨트롤 메시지를 이용하여 망 내의 모든 장치들을 탐색하고 링크들에 대한 접근을 제어하는 절차와 Announce 메시지를 통해 지속적으로 링크 상태를 확인하는 절차 등이 정의되어 있다.

하지만, 종래의 차량 내 탑재된 이더넷 카메라는 IEEE 802.1AS의 시간 동기화에 따라 동일한 시간대에 캡쳐(Capture)를 시도하지만, 셔터의 비동기성으로 인해 정확하게 동일 시간대의 영상을 획득하데 어려움이 있었다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위해 고안된 것으로, 본 발명의 목적은 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치를 제공하는 것이다.

본 발명의 다른 목적은 차량 내 구비된 이더넷 카메라들의 셔터 동작을 동기화시키는 것이 가능한 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 IEEE 802.1AS 시간 동기화 여부에 기반하여 적응적으로 카메라 셔터의 동작을 제어함으로써 보다 안정적이고 정확한 카메라 시스템을 제공하는 것이 가능한 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치를 제공하는 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명은 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따른 이더넷 통신을 통해 그랜드마스터(GrandMaster)와 연동되는 카메라 제어기에서의 카메라 셔터 동기화 제어 방법은 상기 그랜드마스터와 시간 동기화 절차를 수행하는 시간 동기화 단계와 상기 시간 동기화 절차가 정상 완료되면, 미리 설정된 PPS(Pulse Per Second) 다운 카운터를 감소시키는 PPS 다운 카운팅 단계와 상기 PPS 다운 카운터가 0에 도달하면, 카메라 셔터(Shutter)를 구동시키는 카메라 셔터 구동 단계를 포함할 수 있다.

또한, 상기 카메라 셔터 구동 단계에서 상기 카메라 셔터를 단일 촬영 모드로 구동하여 1개의 영상 프레임을 생성할 수 있다.

또한, 상기 영상 프레임 생성되면, 상기 PPS 다운 카운팅 단계를 재개할 수 있다.

또한, 상기 생성된 영상 프레임을 상기 이더넷상의 AVB(Audio Vedio Bridging) 프로토콜을 통해 소정 제어기로 전송할 수 있다.

또한, 상기 시간 동기화 절차는 IEEE 802.1AS에 규격에 정의된 시간 동기화 절차일 수 있다.

또한, 상기 카메라 제어기에 전원이 인가되면, 상기 PPS 다운 카운터 값을 설정하는 단계를 더 포함하되, 상기 PPS 다운 카운터 값에 따라 초당 촬영되는 영상 프레임 개수가 결정될 수 있다.

또한, 상기 시간 동기화가 미리 지정된 시간 동안 정상 완료되지 않으면, 연속 촬영 모드로 전환하는 단계를 더 포함할 수 있다.

이때, 상기 연속 촬영 모드에서 상기 시간 동기화가 이루어지면 상기 PPS 다운 카운팅 단계를 수행할 수 있다.

본 발명의 다른 일 실시예는 상기한 카메라 셔터 동기화 제어 방법들 중 어느 하나의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

본 발명의 또 다른 일 실시예에 따른 이더넷을 통해 그랜드마스터와 연동되는 카메라 셔터 동기화 제어 장치는 영상 프레임을 생성하는 이미지 센서와 상기 그래드마스터로부터 수신된 기준 시간 정보를 이용하여 내부 기준 시간을 설정하고, 상기 내부 기준 시간에 기반하여 카메라 셔터 구동을 위한 제1 신호를 생성하는 주제어부와 상기 주제어부로부터 제1 신호가 수신되면, 상기 이미지 센서를 구동시키기 위한 제2 신호를 생성하여 상기 이미지 센서에 전송하고 상기 이미지 센서에 의해 촬영된 영상 프레임이 존재함을 알리는 제3 신호를 생성하여 상기 주제어부에 전송하는 이미지 신호 처리부를 포함할 수 있다.

또한, 상기 제1 신호의 라이징에지(Rising Edge)에서 상기 2 신호의 라이징에지를 트리거(Trigger)시킬 수 있다.

또한, 상기 제2 신호의 폴링에지(Falling Edge)에서 상기 제3 신호의 라이징에지를 트리거시킬 수 있다.

본 발명의 또 다른 일 실시예에 따른 이더넷 통신을 통해 그랜드마스터(GrandMaster)와 연동되는 카메라 셔터 동기화 제어 장치는 상기 그랜드마스터로부터 기준 시간 정보를 수신하여 내부 기준 시간을 설정하는 시간 동기화 절차를 수행하는 시간 동기화 수단과 상기 시간 동기화 절차가 정상 완료되면, 미리 설정된 PPS(Pulse Per Second) 다운 카운터를 감소시키는 PPS 다운 카운팅 수단과 상기 PPS 다운 카운터가 0에 도달하면, 카메라 셔터(Shutter)를 구동시키는 카메라 셔터 구동 수단을 포함할 수 있다.

상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.

본 발명에 따른 방법 및 장치에 대한 효과에 대해 설명하면 다음과 같다.

첫째, 본 발명은 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치를 제공하는 장점이 있다.

둘째, 본 발명은 차량 내 구비된 이더넷 카메라들의 셔터 동작을 동기화시킴으로써 보다 복수의 카메라로부터 동일 시점의 영상을 획득하는 것이 가능한 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치를 제공하는 장점이 있다.

셋째, 본 발명은 IEEE 802.1AS 시간 동기화 여부에 기반하여 적응적으로 카메라 셔터의 동작을 제어함으로써 보다 안정적이고 정확한 카메라 시스템을 제공하는 것이 가능한 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치를 제공하는 장점이 있다.

넷째, 본 발명은 카메라 셔터 동기화를 제공함으로써, 동일 시점의 다양한 각도에서 동시 촬영된 영상 프레임들이 요구되는 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)과 같은 영상 인식 어플리케이션에 적용 가능한 장점이 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1은 종래 기술에 따른 IEEE 802.1AS에 정의된 메시지 헤더 구조이다.
도 2는 종래 기술에 따른 IEEE 802.1AS에 정의된 Announce 메시지의 구조이다.
도 3은 종래 기술에 따른 IEEE 802.1AS에서의 Announce 메시지 비교 절차 및 포트 할당 방법을 설명하기 위한 도면이다.
도 4는 종래 기술에 따른 IEEE 802.1AS에서의 시간 동기화 절차를 설명하기 위한 도면이다.
도 5는 종래 기술에 따른 그랜드마스터 선정 및 Announce 메시지 전송 절차를 설명하기 위한 흐름도이다.
도 6은 IEEE 802.1AS 표준에 기반한 노드 간 시간 동기화 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 카메라 셔터 시간 동기화 시스템 구성을 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 카메라 제어기의 하드웨어 구성을 설명하기 위한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 ISP Single-Shot 모드에서의 카메라 제어기의 동작을 설명하기 위한 시그널 타이밍 다이어그램이다.
도 10은 본 발명의 일 실시예에 따른 차량용 이더넷 통신망에서의 카메라 셔터 시간 동기화 방법을 설명하기 위한 순서도이다.

이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

이하에서는 도 1 내지 5를 참조하여 종래 기술에 따른 IEEE 802.1AS에 정의된 시간 동기화 방법을 간단히 설명하기로 한다.

IEEE 802.1AS 표준은 네트워크 시간 동기화를 위해 사용되는 메시지들의 헤더 구조, 공지(Announce) 메시지의 구조, 기준 시간 정보를 제공하는 그랜드마스터(GM)의 선정 방법 및 스위치에서의 각 포트 역할 할당 방법 등이 정의되어 있다.

도 1은 종래 기술에 따른 IEEE 802.1AS에 정의된 메시지 헤더 구조이고, 도 2는 종래 기술에 따른 IEEE 802.1AS에 정의된 Announce 메시지의 구조이다.

Announce 메시지는 currentUtcOffset, 제1 내지 제2 grandmasterPriority, grandmasterClockQuality, grandmasterIdentity 등의 그랜드마스터를 선정하기 위해 필요한 정보가 포함될 수 있다. 이하에서는 설명의 편의를 위해 그랜드마스터를 선정하기 위해 필요한 정보를 기준 시간 정보라 명하기로 한다.

도 3은 종래 기술에 따른 IEEE 802.1AS에서의 Announce 메시지 비교 절차 및 포트 할당 방법을 설명하기 위한 도면이다.

네트워크상의 자격이 있는 모든 장치(Station)들은 자신의 기준 시간 정보를 포함하는 Announce 메시지를 구성한 후 다른 장치들로 전송할 수 있다. 이때, 가장 좋은 품질의 클락(Clock)을 가진 장치가 그랜드마스터로 선정될 수 있다. 즉, 각각의 장치는 다른 장치로부터 Announce 메시지가 수신되면, 수신된 Announce 메시지에 포함된 기준 시간 정보와 자신의 기준 시간 정보를 비교하여 우선 순위 및 정확도가 가장 높은 장치를 자신의 그랜드마스터로 선정할 수 있다. 물론, 자신의 기준 시간이 다른 장치의 기준 시간 보다 정확한 경우, 자신이 그랜드마스터가인 것으로 판단할 수도 있다.

그랜드마스터로 선정된 장치의 모든 포트는 다른 장치들에 기준 시간 정보를 전달하기 위한 역할을 한다. 이하, 설명의 편의를 위해 그랜드마스터의 기준 시간 정보를 전송하기 위해 사용되는 포트를 마스터포트라 정의한다. 반면, 마스터포트와 연결되는 다른 장치의 포트로서 그랜드마스터의 기준 시간 정보를 수신하는 포트를 슬레이브포트라 정의한다.

도 3에 도시된 바와 같이, 각 장치는 Announce 메시지가 수신되면, grandmasterIdentity, grandmasterPriority1, clockclass, clockAccuracy, offsetScaledLogVariance, grandmasterPriority2, grandmasterIdentity, StepRemoved, SourcePortIdentity 등의 기준 시간 정보를 자신의 기준 시간 정보와 비교하여 어느 장치가 그랜드마스터인지를 판단할 수 있다. 일 예로, 장치 A가 자신이 그랜드마스터인 것으로 판단되면, 장치 A는 자신의 모든 포트를 마스터포트로 할당한다. 반면, 다른 장치가 그랜드마스터인 것으로 판단되면, 장치 A는 자신의 모든 포트를 슬레이브포트로 할당한다.

도 4는 종래 기술에 따른 IEEE 802.1AS에서의 시간 동기화 절차를 설명하기 위한 도면이다.

상세하게, 도 4는 브리지를 이용한 스타 토폴로지(Star Topology) 네트워크 구조에서의 시간 동기화 절차를 설명하기 위한 도면이다.

일반적으로, 브리지는 두 개의 근거리통신망(LAN)을 상호 접속할 수 있도록 하는 통신망 연결 장치로서, OSI 참조 모델의 데이터 링크 계층에서 동작한다.

브리지는 (1)통신망의 범위와 길이를 확장할 때, (2)통신망에 더욱 많은 장치들을 연결시킬 때, (3)통신망에 과다하게 연결된 장치들로 인한 병목 현상을 줄이고자 할 때, (4)서로 다른 물리적 매체(통신선로)로 구성된 통신망을 연결할 때, (5)이더넷, 토큰 링(Token Ring) 같은 서로 다른 토폴로지의 통신망 구조를 연결할 때 등에 사용될 수 있다.

도 4를 참조하면, 초기 시간 동기화 절차를 통해, 스위치 E(400)가 그랜드마스터로 선정되었다고 가정하자. 스위치 E(400)는 자신의 기준 시간 정보가 포함된 Announce 메시지를 주기적으로 생성하여 브리지(Bridge, 450)에 전송할 수 있다. 연이어, 브리지(450)는 수신된 Announce 메시지를 스위치 A(410), 스위치 B(420), 스위치 C(430) 및 스위치 D(440)에 전달할 수 있다.

특히, 브리지(450)는 수신되는 Announce 메시지에 포함된 시간 정보를 분석하여, 가장 정확한 시간 정보를 제공하는 스위치를 식별하고, 식별된 스위치로부터 수신되는 Announce 메시지만이 슬레이브 노드들에 전달되도록 제어할 수도 있다.

도 5는 종래 기술에 따른 그랜드마스터 선정 및 Announce 메시지 전송 절차를 설명하기 위한 흐름도이다.

도 5를 참조하면, 스위치 1 내지 스위치 4(510 내지 540)는 각각 연결된 스위치로 Announce 메시지를 전송하고, 각 스위치상에서의 기준 시간 정보 비교 절차를 통해 그랜드마스터를 선정하고, 선정 결과에 따라 자신의 포트 역할을 할당한다(S501). 도 5에 도시된 바와 같이, 스위치 3(530)이 그랜드마스터로 선정되었다고 가정하자.

이 후, 스위치 3(530)는 주기적으로-예를 들면, 주기는 1초일 수 있음- Announce 메시지를 생성하여 마스터포트를 통해 스위치 2(520) 및 스위치 4(540)에 Announce 메시지를 전송하고, 스위치 2(520)는 수신된 Announce 메시지를 자신의 슬레이브 포트(Slave port)를 통해 스위치 1(510)에 전달한다(S502). 즉, 그랜드마스터로 선정된 장치는 Announce 메시지를 통해 그랜드마스터의 존재(Presence)와 자신의 기준 시간에 대한 우월함(superiority)을 타 장치에 알릴 수 있다.

도 6은 IEEE 802.1AS 표준에 기반한 노드 간 시간 동기화 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 801.1AS 디바이스(GM, 610)는 클락 마스터 포트(CM: Clock Master Port, 611)를 통해 동기 메시지(Sync message) 및 보정 후속 메시지(Correcting follow up message)-이하, 간단히, Follow Up 메시지라 명함-를 다른 801.1AS 디바이스(Bridge, 620)의 클락 슬레이브 포트(CS: Clock Slave Port, 624)에 전송한다.

연이어, 801.1AS 디바이스(Bridge, 620)는 클락 마스터 포트(621, 622, 623)을 통해 케이블 및 브릿지 자체 지연에 기반한 시간 보정 정보(Time correction information)을 다른 801.1AS 디바이스(end-point or bridge, 630, 640, 650)의 클락 슬레이브 포트(631, 641, 651)에 전송한다.

여기서, 시간 보정 정보는 링크 지연(Link Delay) 정보, 전송 시간 지연(Propagation Time Delay) 정보, Neighbor Rate Ratio 정보, CorrectionField 정보 등을 포함할 수 있다.

도 7은 본 발명의 일 실시예에 따른 이더넷 카메라의 셔터 시간 동기화를 위한 시스템 구성을 설명하기 위한 블록도이다.

도 7을 참조하면, 카메라 셔터 시간 동기화 시스템은 크게 IEEE 802.1AS 규격에 따라 기준 시간을 제공하는 그랜드마스터(GM:GrandMaster, 710)와 그랜드마스터(710)로부터 기준 시간 정보를 수신하여 시스템 동기를 획득하는 어라운드 뷰 모니터링 시스템(AVM(Around View Monitor) System, 720)을 포함하여 구성될 수 있다. 여기서, AVM 시스템(720)에 포함된 카메라 제어기들(721 내지 724)은 IEEE 802.1AS 규격에 따른 슬레이브 노드로 동작한다.

이하의 설명에서는, AVM 시스템(720)이 4개의 카메라 제어기(721 내지 724)로 구성되어 주변 영상을 촬영하는 것으로 설명하나, 이는 하나의 실시예에 불과하며, 본 발명의 다른 일 실시예는 그보다 많은 카메라 제어기를 포함하여 구성하거나 그보다 적은 카메라 제어기를 포함하여 구성될 수도 있음을 주의해야 한다.

그랜드마스터(710)는 기준 시간 정보를 제1 내지 제4 클락마스터 포트(711 내지 714)를 통해 제1 내지 제4 카메라 제어기(721 내지 724)의 클락슬레이브 포트에 전송한다.

제1 내지 제4 카메라 제어기(721) 각각은 전원이 인가되면 그랜드마스터(710)와 연동하여 IEEE 802.1AS 규격에 따른 시간 동기화가 절차를 수행한다. 제1 내지 제4 카메라 제어기(721)는 시간 동기화가 이루어지지 않는 동안 자동 구동(Auto Start)되어 주변 영상 촬영을 시작한다.

하지만, 시간 동기화가 이루어지지 않은 상태에서 영상이 촬영되면, 카메라 제어기 간 기준 시간이 상이하여 동일 시간대의 영상이 모든 카메라 제어기에서 동시에 촬영되기 쉽지 않다.

반면, IEEE 802.1AS 규격에 따른 시간 동기화가 이루어지면, 제1 내지 제4 카메라 제어기(721 내지 724)는 카메라를 자동 구동하지 않고, 미리 정의된 셔터 제어 알고리즘에 따라 카메라 셔터 구동을 서로 동기화시킬 수 있다. 따라서, 4개의 카메라 제어기(721 내지 724)에 의해 촬영된 영상이 동일 시점 영상이 되도록 제어될 수 있다.

특히, AVM 시스템(720)과 같은 다중 채널을 이용한 영상 인식 시스템은 정확한 영상 인식을 위해 다중 채널로부터 동일 시점의 영상이 동시에 수신되어 처리되는 것이 중요하다. 이를 위해, 모든 카메라 제어기의 셔터가 정확한 시간에 맞추어 동시에 동작되어야 한다.

도 8은 본 발명의 일 실시예에 따른 카메라 제어기의 하드웨어 구성을 설명하기 위한 블록도이다.

도 8을 참조하면, 카메라 제어기(800)는 주제어부(MCU:Main Control Unit, 810), 이미지 신호 처리부(ISP: Image Signal Processor, 820), 이미지 센서(Image Sensor, 830)을 포함하여 구성될 수 있다.

주제어부(810)는 클락슬레이브 포트를 통해 수신된 Announce 메시지의 기준 시간 정보에 기반하여 내부 기준 시간을 설정되면, 이 후, 주제어부(810) 내 RTC(Real Time Clock) 모듈(811)은 내부 클락 생성기를 이용하여 카메라 셔터 제어를 위한 소정 주기의 펄스 신호-이하, 펄스 신호를 FRAME_SYNC 신호라 명하기로 함-를 생성한다. 생성된 FRAME_SYNC 신호는 FSO(FRAME_SYNC OUT) Pin(812)을 통해 이미지 신호 처리부(820)의 FSI(FRAME_SYNC IN) Pin(821)에 입력된다. 여기서, 펄스 주기는 사용자 메뉴 설정을 통해 초당 펄스의 개수(PPS: Pulse Per Second) 단위로 정의될 수 있다.

이미지 신호 처리부(820)는 FSI Pin(821)을 통해 수신된 FRAME_SYNC 신호에 기반하여 TO(TRIGGER_OUT) Pin(822)을 통해 출력될 TRIGGER_OUT 신호를 생성한다. 이때, 생성된 TRIGGER_OUT 신호는 TO Pin(822)을 통해 이미지 센서(830)의 TI(TRIGGER_IN) Pin(831)에 입력된다.

이미지 센서(830)는 TI Pin(831)을 통해 수신된 TRIGGER_OUT 신호에 따라 카메라 렌즈를 통해 투영된 영상을 촬영한다.

또한, 이미지 신호 처리부(820)는 생성된 TRIGGER_OUT 신호에 기반하여 FVO(FRAME_VALID OUT) Pin(823)을 통해 출력할 FRAME_VALID 신호를 생성한다. 생성된 FRAME_VALID 신호는 이미지 신호 처리부(820)의 FVO Pin(823)을 통해 주제어부(810)의 FVI(FRAME_VALID IN) Pin(813)에 입력된다. 주제어부(810)는 FVI Pin(813)을 통해 수신된 FRAME_VALID 신호에 기반하여 이미지 센서(830)에 의해 촬상된 영상-즉, Valid Frame-이 존재함을 인지할 수 있다.

도 9는 본 발명의 일 실시예에 따른 ISP Single-Shot 모드에서의 카메라 제어기의 동작을 설명하기 위한 시그널 타이밍 다이어그램이다.

이하에서는, 상기한 도 9를 참조하여, 이미지 신호 처리부(820)에서의 카메라 셔터 구동을 위한 신호 생성 타이밍을 상세히 설명하기로 한다.

이미지 신호 처리부(820)는 IEEE802.1AS 규격에 따라 시간 동기화가 이루어지면, 단일 촬영 모드(Single_Shot Mode)로 전환된다.

단일 촬영 모드에서, 이미지 신호 처리부(820)는 주제어부(810)로부터 FSI Pin(821)을 통해 수신된 FRAME_SYNC 신호의 라이징에지(Rising Edge, 910)에서 TRIGGER_OUT 신호를 Rising Edge로 트리거시킨다. 이 후, 이미지 신호 처리부(820)는 TRIGGER_OUT 신호의 폴링에지(Falling Edge, 920)에서 FRAME_VALID 신호를 Rising Edge로 트리거시킨다.

이때, TRIGGER_OUT 신호가 Rising Edge로 트리거되면, 이미지 센서(830)에 의한 영상 촬영이 시작되고, FRAME_VALID 신호가 Rising Edge로 트리거되면, 주제어부(810)는 이미지 센서(830)에 의해 촬영된 영상이 존재함을 인지하여 이미지 센서(830)에 의해 촬영된 영상을 획득될 수 있다. 주제어부(810)에 의해 획득된 영상은 이더넷 기반의 AVB 프로토콜을 통해 해당 제어기에 전송될 수 있다.

도 10은 본 발명의 일 실시예에 따른 차량용 이더넷 통신망에서의 카메라 셔터 시간 동기화 방법을 설명하기 위한 순서도이다.

AVM 시스템(720) 카메라에 전원이 인가되면, 이미지 신호 프로세서(820)의 파라메터 설정 값 및 주제어부(810)의 PPS 값이 초기화될 수 있다(S1001). 이때, 주제어부(810)는 이미지 신호 프로세서(820)의 동작 모드를 자동 시작 모드(Auto Start Mode)에서 매뉴얼 시작 모드(Manual Start Mode)로 변경할 수 있다. 또한, 주제어부(810)는 카메라 셔터 동작 주기-즉, PPS 다운 카운터-를 33ms로 설정할 수 있다. 즉, 주제어부(810)는 이더넷 카메라를 위한 초당 30프레임 촬영을 설정할 수 있다.

따라서, 본 발명은 단일 촬영 모드에서 설정된 PPS 다운 카운터 값에 따라 초당 촬영되는 영상 프레임 개수가 결정될 수 있다.

이 후, 주제어부(810)는 IEEE 802.1AS 규격에 정의된 시간 동기화 절차를 개시하고 시간 동기화가 성공하였는지를 판단한다(S1003 내지 S1005). 이때, 시간 동기화 절차가 개시되면, 시간 동기화 지연 시간이 산출될 수 있다.

판단 결과, 시간 동기화에 성공하지 않은 경우, 주제어부(810)는 시간 동기화 지연 시간이 미리 지정된 시간-예를 들면, 500ms-을 초과하였는지를 확인한다(S1007).

확인 결과, 미리 지정된 시간을 초과하면, 주제어부(810)는 이미지 신호 프로세서(820)의 동작 모드를 매뉴얼 시작 모드에서 자유 실행 모드로 전환하고 카메라 셔터 구동을 시작할 수 있다(S1009).

자유 실행 모드에서, 주제어부(810)는 카메라 셔터가 연속 촬영 모드(Continuous_Shot Mode)로 동작되도록 제어한다(S1011). 여기서, 연속 촬영 모드는 카메라 제어기간 셔터 동기화가 이루어지지 않은 상태에서 이미지 센서(830)에 의해 연속된 촬영이 이루어지는 카메라 촬영 모드를 의미한다.

상기한 자유 실행 모드로의 전환은 AVM 시스템 동작 중에 시간 동기화가 지연되어 전체 시스템 동작에 영향을 미치는 것을 미연에 방지하기 위함이다. 즉, 본 발명에 따른 주제어부(810)는 IEEE 802.1AS 규격에 따른 시간 동기화 절차가 개시된 이후, 미리 지정된 시간-예를 들면, 500ms- 동안 시간 동기화가 이루어지지 않은 경우, 종래 AVM 시스템의 카메라 동작과 유사하게 카메라 셔터 동기화가 이루어지지 않은 상태에서의 영상 촬영이 이루어지도록 제어될 수 있다.

상기한 1005 단계의 판단 결과, 시간 동기화에 성공한 경우, 주제어부(810)는 33ms로 설정된 PPS 다운 카운터(PPS Down Counter) 값을 감소시키는 PPS 다운 카운팅 절차(PPS Down Counting Procedure)를 시작한다(S1013).

PPS 다운 카운터 값이 0에 도달하면, 주제어부(810)는 카메라 셔터 구동을 위한 FRAME_SYNC 신호를 생성하여 단일 촬영 모드가 수행되도록 제어한다(S1017 내지 S1019). 즉, 주제어부(810)는 카메라 셔터를 단일 촬영 모드로 동작시켜 하나의 영상 프레임이 생성되도록 제어할 수 있다.

이 후, 주제어부(810)는 상기한 1013 단계로 회귀하여, PPS 다운 카운팅 절차를 재개한다. 따라서, 카메라 제어기는 시간 동기화가 이루어지면 매 33ms마다 하나의 영상 프레임을 생성할 수 있다.

또한, 주제어부(810)는 상기 연속 촬영 모드에서 시간 동기화가 이루어지면, 상기 단일 촬영 모드로 전환하여 카메라 셔터 동기화된 영상 프레임이 생성되도록 제어할 수 있다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

710: 그랜드마스터(Grand Master)
720: AVM(Around View Monitor) 시스템
721 내지 724: 제1 내지 제4 카메라 제어기
810: 주제어부
820: 이미지 신호 처리부
830: 이미지 센서

Claims

이더넷 통신을 통해 그랜드마스터(GrandMaster)와 연동되는 카메라 제어기에서의 카메라 셔터 동기화 제어 방법에 있어서,
상기 그랜드마스터와 시간 동기화 절차를 수행하는 시간 동기화 단계;
상기 시간 동기화 절차가 정상 완료되면, 미리 설정된 PPS(Pulse Per Second) 다운 카운터를 감소시키는 PPS 다운 카운팅 단계; 및
상기 PPS 다운 카운터가 0에 도달하면, 카메라 셔터(Shutter)를 구동시키는 카메라 셔터 구동 단계
를 포함하는, 카메라 셔터 동기화 제어 방법.
제1항에 있어서,
상기 카메라 셔터 구동 단계에서 상기 카메라 셔터를 단일 촬영 모드로 구동하여 1개의 영상 프레임을 생성하는, 카메라 셔터 동기화 제어 방법.
제2항에 있어서,
상기 영상 프레임 생성되면, 상기 PPS 다운 카운팅 단계를 재개하는, 카메라 셔터 동기화 제어 방법.
제2항에 있어서,
상기 생성된 영상 프레임을 상기 이더넷상의 AVB(Audio Vedio Bridging) 프로토콜을 통해 소정 제어기로 전송하는, 카메라 셔터 동기화 제어 방법.
제1항에 있어서,
상기 시간 동기화 절차는 IEEE 802.1AS에 규격에 정의된 시간 동기화 절차인, 카메라 셔터 동기화 제어 방법.
제1항에 있어서,
상기 카메라 제어기에 전원이 인가되면, 상기 PPS 다운 카운터 값을 설정하는 단계를 더 포함하되, 상기 PPS 다운 카운터 값에 따라 초당 촬영되는 영상 프레임 개수가 결정되는, 카메라 셔터 동기화 제어 방법.
제1항에 있어서,
상기 시간 동기화가 미리 지정된 시간 동안 정상 완료되지 않으면, 연속 촬영 모드로 전환하는 단계를 더 포함하는, 카메라 셔터 동기화 제어 방법.
제7항에 있어서,
상기 연속 촬영 모드에서 상기 시간 동기화가 이루어지면 상기 PPS 다운 카운팅 단계를 수행하는, 카메라 셔터 동기화 제어 방법.
제 1항 내지 제 8항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
이더넷을 통해 그랜드마스터와 연동되는 카메라 셔터 동기화 제어 장치에 있어서,
영상 프레임을 생성하는 이미지 센서;
상기 그래드마스터로부터 수신된 기준 시간 정보를 이용하여 내부 기준 시간을 설정하고, 상기 내부 기준 시간에 기반하여 카메라 셔터 구동을 위한 제1 신호를 생성하는 주제어부; 및
상기 주제어부로부터 제1 신호가 수신되면, 상기 이미지 센서를 구동시키기 위한 제2 신호를 생성하여 상기 이미지 센서에 전송하고 상기 이미지 센서에 의해 촬영된 영상 프레임이 존재함을 알리는 제3 신호를 생성하여 상기 주제어부에 전송하는 이미지 신호 처리부
를 포함하는, 카메라 셔터 동기화 제어 장치.
제10항에 있어서,
상기 제1 신호의 라이징에지(Rising Edge)에서 상기 2 신호의 라이징에지를 트리거(Trigger)시키는, 카메라 셔터 동기화 제어 장치.
제11항에 있어서,
상기 제2 신호의 폴링에지(Falling Edge)에서 상기 제3 신호의 라이징에지를 트리거시키는, 카메라 셔터 동기화 제어 장치.
이더넷 통신을 통해 그랜드마스터(GrandMaster)와 연동되는 카메라 셔터 동기화 제어 장치에 있어서,
상기 그랜드마스터로부터 기준 시간 정보를 수신하여 내부 기준 시간을 설정하는 시간 동기화 절차를 수행하는 시간 동기화 수단;
상기 시간 동기화 절차가 정상 완료되면, 미리 설정된 PPS(Pulse Per Second) 다운 카운터를 감소시키는 PPS 다운 카운팅 수단; 및
상기 PPS 다운 카운터가 0에 도달하면, 카메라 셔터(Shutter)를 구동시키는 카메라 셔터 구동 수단
을 포함하는, 카메라 셔터 동기화 제어 장치.
제13항에 있어서,
상기 시간 동기화 절차가 정상 완료되면, 상기 카메라 셔터를 단일 촬영 모드로 구동하여 1개의 영상 프레임을 생성하는, 카메라 셔터 동기화 제어 장치.
제14항에 있어서,
상기 영상 프레임이 생성되면, 상기 미리 설정된 PPS 다운 카운터를 감소시키는 동작을 다시 수행하는, 카메라 셔터 동기화 제어 장치.
제14항에 있어서,
상기 생성된 영상 프레임을 상기 이더넷상의 AVB(Audio Vedio Bridging) 프로토콜을 통해 소정 제어기로 전송하는, 카메라 셔터 동기화 제어 장치.
제13항에 있어서,
상기 시간 동기화 절차는 IEEE 802.1AS에 규격에 정의된 시간 동기화 절차인, 카메라 셔터 동기화 제어 장치.
제13항에 있어서,
상기 장치에 전원이 인가되면, 상기 PPS 다운 카운터 값을 설정하되, 상기 설정된 PPS 다운 카운터 값에 따라 초당 촬영되는 영상 프레임 개수가 결정되는, 카메라 셔터 동기화 제어 장치.
제13항에 있어서,
상기 시간 동기화가 미리 지정된 시간 동안 정상 완료되지 않으면, 연속 촬영 모드로 전환하여 상기 카메라 셔터를 구동시키는, 카메라 셔터 동기화 제어 장치.
제19항에 있어서,
상기 연속 촬영 모드에서 상기 시간 동기화가 정상 완료되면, 상기 미리 설정된 PPS 다운 카운터를 감소시키는, 카메라 셔터 동기화 제어 장치.