KR102486788B1 - 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법 - Google Patents

자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법 Download PDF

Info

Publication number
KR102486788B1
KR102486788B1 KR1020220049452A KR20220049452A KR102486788B1 KR 102486788 B1 KR102486788 B1 KR 102486788B1 KR 1020220049452 A KR1020220049452 A KR 1020220049452A KR 20220049452 A KR20220049452 A KR 20220049452A KR 102486788 B1 KR102486788 B1 KR 102486788B1
Authority
KR
South Korea
Prior art keywords
image data
camera
unit
verification
video
Prior art date
Application number
KR1020220049452A
Other languages
English (en)
Inventor
김상민
신정훈
Original Assignee
주식회사 셀플러스코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 셀플러스코리아 filed Critical 주식회사 셀플러스코리아
Priority to KR1020220049452A priority Critical patent/KR102486788B1/ko
Application granted granted Critical
Publication of KR102486788B1 publication Critical patent/KR102486788B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법에 관한 것으로, 본 발명에 따른 영상분기장치는, 카메라에서 입력되는 실시간 촬영된 영상데이터를 수신하는 수신부와; 상기 수신부를 통해 수신되는 영상데이터를 서로 동일한 제1영상데이터와 제2영상데이터로 분기하는 분기부와; 상기 제1영상데이터를 전자제어유닛(ECU)에 전송하는 제1전송부와; 상기 제2영상데이터를 카메라의 검증을 위해 카메라 검증장치로 전송하는 제2전송부와; 상기 전자제어유닛(ECU)에 접속하여 상기 카메라에 인가되는 전원정보와 상기 전자제어유닛(ECU)에 연결된 각 디바이스들의 아이디 정보를 추출하여, 상기 전원정보에 대응하여 내부전원 또는 상기 전자제어유닛(ECU)에서 제공되는 전원으로 상기 카메라의 전원을 공급하고, 추출된 상기 아이디 정보와 중복되지 않는 새로운 아이디를 상기 수신부, 상기 제1전송부 및 상기 제2전송부에 각각 부여하여 세팅하는 제어부를 구비한다.

Description

자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법{Video branching apparatus for real-time verification of cameras mounted on self-driving vehicles and method for real-time verification of cameras using the same}
본 발명은 자율주행 차량에 장착된 카메라의 검증을 위한 것으로, 보다 구체적으로는, 카메라가 자율주행 차량에 장착된 상태에서 실제 주행환경 상태에서 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법에 관한 것이다.
자율주행 차량이란 운전자가 차량의 주행을 조작하는 것이 아닌 차량 자체적으로 주행을 제어하여 목적지까지 이동하는 차량을 말한다. 자율주행 차량의 구동을 위해서는 운전자를 대신해 주변 환경을 감시하기 위한 다양한 종류의 센서가 필요로 하며, 자율주행 차량은 이를 이용하여 사람, 동물, 다른 차량 및 교통신호등과 같은 대상물을 정확히 식별하고, 식별 후 설정된 상태로 차량이 동작해야만 한다.
특히 다수의 카메라를 이용한 자율주행차량에 대한 관심이 높아지고 있으며, 최근 자율주행 차량과 관련된 연구에서는 사람이나 차량을 인식하기 위해 카메라를 사용한 객체의 구별 및 위치 측정에 대한 연구가 활발히 이루어지고 있다.
이러한 카메라가 장착된 자율주행차량에서 탑승자의 안전을 위해서는 카메라가 정상적으로 동작되는지 여부와 카메라의 성능에 대한 검증이 반드시 필요하게 된다.
종래의 경우에는, 자율주행 차량에 부착된 카메라를 차량의 전자제어유닛(ECU)와 분리하여 별도의 검증을 수행하므로, 자율주행 차량 원래의 시스템이 유지된 상태에서의 실시간 검증이 이루어지지 않는다는 문제점이 있다. 또한, 실내 또는 별도로 지정된 검증장소에서 카메라 검증을 수행되는 방식으로 진행되므로, 실제 주행환경 상황에서 카메라의 성능이 제대로 유지되고 있는지에 대한 검증이 이루어지지 못하는 문제점이 있었다.
대한민국 공개특허공보 제10-2022-0029820호(2022.03.10.)
따라서, 본 발명의 목적은 상기한 종래의 문제점을 극복할 수 있는 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법을 제공하는 데 있다.
본 발명의 다른 목적은 실제 주행환경에서 적용가능하고 카메라의 실시간 검증이 가능한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법을 제공하는 데 있다.
본 발명의 또 다른 목적은, 영상데이터의 손실여부를 검증할 수 있어, 정확한 검증이 가능한 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법을 제공하는 데 있다.
상기한 기술적 과제들의 일부를 달성하기 위한 본 발명의 구체화에 따라, 본 발명에 따른 실시간 주행상황에서 자율주행 차량에 장착된 카메라를 실시간 검증하기 위해, 상기 카메라와 상기 자율주행 차량의 전자제어유닛(ECU:Electronic Control Unit) 및 카메라 검증장치를 서로 연결하는 영상분기장치는, 상기 카메라에서 입력되는 실시간 촬영된 영상데이터를 수신하는 수신부와; 상기 수신부를 통해 수신되는 영상데이터를 서로 동일한 제1영상데이터와 제2영상데이터로 분기하는 분기부와; 상기 제1영상데이터를 상기 전자제어유닛(ECU)에 전송하는 제1전송부와; 상기 제2영상데이터를 카메라의 검증을 위해 상기 카메라 검증장치로 전송하는 제2전송부와; 상기 전자제어유닛(ECU)에 접속하여 상기 카메라에 인가되는 전원정보와 상기 전자제어유닛(ECU)에 연결된 각 디바이스들의 아이디 정보를 추출하여, 상기 전원정보에 대응하여 내부전원 또는 상기 전자제어유닛(ECU)에서 제공되는 전원으로 상기 카메라의 전원을 공급하고, 추출된 상기 아이디 정보와 중복되지 않는 새로운 아이디를 상기 수신부, 상기 제1전송부 및 상기 제2전송부에 각각 부여하여 세팅하는 제어부를 구비한다.
상기 카메라 검증장치는, 상기 제2전송부를 통해 전송되는 상기 제2영상데이터를 검증하여 상기 카메라의 고장여부 및 상기 카메라의 성능을 파악하여 상기 카메라가 자율주행차량에 적합한지 여부를 평가하는 카메라 검증을 수행할 수 있다.
상기 영상분기장치는 상기 수신부를 통해 수신되는 상기 영상데이터를 증폭하기 위한 신호증폭부를 더 구비할 수 있다.
상기한 기술적 과제들의 일부를 달성하기 위한 본 발명의 다른 구체화에 따라, 본 발명에 따른 실시간 주행상황에서 자율주행 차량에 장착된 카메라를 실시간 검증하기 위해, 상기 카메라와 상기 자율주행 차량의 전자제어유닛(ECU:Electronic Control Unit) 및 카메라 검증장치를 서로 연결하는 영상분기장치는, 카메라 검증 모드에서는 상기 카메라에서 실시간 촬영된 촬영 영상데이터를 수신하고, 셀프검증모드에서는 제1모사 영상데이터를 수신하는 수신부와; 상기 수신부를 통해 수신된 영상데이터를 서로 동일한 제1영상데이터와 제2영상데이터로 분기하는 분기부와; 상기 제1영상데이터를 상기 전자제어유닛(ECU)에 전송하는 제1전송부와; 카메라검증 모드에서는 상기 제2영상데이터를 카메라의 검증을 위해 상기 카메라 검증장치로 전송하고, 셀프검증 모드에서는 상기 제2영상데이터를 셀프 검증을 위해 전송하는 제2전송부와; 셀프검증모드에서 동작하며, 미리 지정된 제1모사 영상데이터를 상기 수신부에 전송하는 모사부와; 셀프검증모드에서 동작하며, 상기 제2전송부를 통해 전송되는 상기 제2영상데이터를, 미리 저장되어 있거나 상기 모사부로부터 제공된 제2모사 영상데이터와 비교하여, 상기 영상분기장치의 데이터 전송경로를 통하여 전송된 상기 제1모사 영상데이터의 손실여부를 검증하여 상기 영상분기장치의 셀프검증을 수행하는 셀프검증부와; 상기 전자제어유닛(ECU)에 접속하여 상기 카메라에 인가되는 전원정보와 상기 전자제어유닛(ECU)에 연결된 각 디바이스들의 아이디 정보를 추출하여, 상기 전원정보에 대응하여 내부전원 또는 상기 전자제어유닛(ECU)에서 제공되는 전원으로 상기 카메라의 전원을 공급하고, 추출된 상기 아이디 정보와 중복되지 않는 새로운 아이디를 상기 수신부, 상기 제1전송부 및 상기 제2전송부에 각각 부여하여 세팅하는 제어부를 구비하되, 상기 제어부는 상기 영상분기 장치가, 카메라 검증을 위한 카메라검증 모드와 영상분기 장치 자체의 무손실 검증을 위한 셀프검증 모드로 동작하도록 제어한다.
상기 제어부는, 카메라 검증 모드에서는 상기 모사부 및 상기 셀프검증부의 동작을 오프시키고, 상기 제2전송부가 제2영상데이터를 상기 카메라검증장치로 전송하도록 하며, 상기 셀프검증모드에서는 상기 카메라 및 상기 제1전송부의 동작을 오프시키고, 상기 제2전송부가 상기 제2영상데이터를 상기 셀프검증부로 전송하도록 제어할 수 있다.
상기 카메라 검증장치는, 상기 제2전송부를 통해 전송되는 상기 제2영상데이터를 검증하여 상기 카메라의 고장여부 및 상기 카메라의 성능을 파악하여 상기 카메라가 자율주행차량에 적합한지 여부를 평가하는 카메라 검증을 수행할 수 있다.
상기 영상분기장치는 상기 수신부를 통해 수신되는 상기 영상데이터를 증폭하기 위한 신호증폭부를 더 구비할 수 있다.
상기 제1모사 영상데이터 및 상기 제2모사 영상데이터 각각은 특정 RGB값을 가지는 하나의 이미지 이거나, 서로 다른 RGB값을 가지는 적어도 두 개의 이미지일 수 있다.
상기 제1모사 영상데이터 및 상기 제2모사 영상데이터 각각은, 배이어(bayer)패턴의 이미지일 수 있다.
상기 제1모사 영상데이터 및 상기 제2모사 영상데이터 각각은 상기 카메라에서 실시간 촬영된 촬영 영상데이터와 동일한 포맷을 가지는 영상데이터일 수 있다.
상기 제1모사 영상데이터 및 상기 제2모사 영상데이터 각각은 사람, 차량, 자전거, 교통신호등 및 동물이 적어도 하나 포함된 영상데이터일 수 있다.
상기 제1모사 영상데이터는 상기 모사부에 미리 저장된 영상데이터이고, 상기 제2모사 영상데이터는 상기 셀프검증부에 미리 저장된 영상데이터이거나 상기 제1모사 영상데이터를 상기 모사부에서 다이렉트로 전송한 영상데이터일 수 있다.
상기 제1모사 영상데이터는 상기 모사부에서 자체 생성된 영상데이터이고, 상기 제2모사 영상데이터는, 상기 모사부에서의 상기 제1모사 영상데이터 생성방식과 동일한 방식으로 상기 셀프검증부에서 자체 생성되어 저장된 영상데이터이거나, 상기 제1모사 영상데이터를 상기 모사부에서 다이렉트로 전송한 영상데이터일 수 있다.
상기한 기술적 과제들의 일부를 달성하기 위한 본 발명의 또 다른 구체화에 따라, 본 발명에 따른 실시간 주행상황에서 자율주행 차량에 장착된 카메라를 실시간 검증하기 위해, 상기 카메라와 상기 자율주행 차량의 전자제어유닛(ECU:Electronic Control Unit) 및 카메라 검증장치를 서로 연결하는 영상분기장치를 이용한 카메라 실시간 검증방법은, 영상데이터 전송시에 상기 영상분기장치 자체를 통한 영상 데이터의 무손실 여부를 검증하기 위하여, 미리 설정된 제1모사 영상데이터를 전송경로를 통해 전송하여 영상데이터의 무손실여부를 검증하는 셀프검증모드로 동작하는 제1단계와; 상기 영상분기장치의 셀프 검증이 수행되면, 카메라 검증모드가 시작되어 상기 카메라를 통해 촬영된 촬영 영상데이터를 수신부를 통해 수신하여, 분기부를 통해 제1영상데이터와 제2영상데이터로 분기하는 제2단계와; 상기 제1영상데이터는 제1전송부를 통해 상기 전자제어유닛(ECU)에 전송하고, 상기 제2영상데이터는 제2전송부를 통해 카메라 검증장치에 전송하는 제3단계와; 상기 카메라 검증장치에서 상기 제2영상데이터를 검증하여 상기 카메라의 고장여부 및 상기 카메라의 성능을 파악하여 상기 카메라가 자율주행차량에 적합한지 여부를 평가하는 카메라 검증을 수행하는 제4단계를 구비한다.
상기 제1단계는, 제1모사 영상데이터를 미리 저장하고 있는 모사부를 통해 상기 수신부에 상기 제1모사 영상데이터를 전송하는 단계와; 상기 수신부를 통해 수신된 제1모사 영상데이터를 분기부를 통해 서로 동일한 제1영상데이터와 제2영상데이터로 분기하는 단계와; 상기 제2영상데이터를 상기 제2전송부를 통해 셀프 검증부로 전송하고, 상기 셀프 검증부에서 상기 모사부를 통해 다이렉트로 전송되거나 미리 저장되어 있던 제2모사 영상데이터와 상기 제2영상데이터를 동일성 여부를 비교하여 무손실 검증을 수행하는 단계를 구비할 수 있다.
본 발명에 따르면, 실제 주행환경상황에서 자율주행차량의 카메라 검증을 수행하는 것이 가능하며, 카메라의 실시간 영상데이터를 이용하여 카메라 검증을 수행하는 것이 가능하다. 또한, 셀프검증기능으로 영상데이터의 손실여부를 검증할 수 있어, 영상데이터의 무손실 전송상태에서 정확한 검증이 가능한 장점이 있다.
도 1은 본 발명에 따른 영상분기장치를 이용하여 자율주행차량에 장착된 카메라 검증을 위한 카메라 검증 시스템의 개략적 블록도이고,
도 2는 본 발명의 제1실시예에 따른 상기 영상분기장치의 내부구성 블록도를 나타낸 것이고,
도 3은 본 발명의 제2실시예에 따른 상기 영상분기장치의 내부구성 블록도를 나타낸 것이고,
도 4는 도 3의 영상분기장치의 셀프검증모드를 위한 제1모사 영상데이터를 나타낸 것이고,
도 5는 도 3의 영상분기장치의 셀프검증모드의 동작순서도이고,
도 6은 도 3의 영상분기장치의 카메라 검증모드에서의 동작순서도이다.
이하에서는 본 발명의 바람직한 실시예가, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 철저한 이해를 제공할 의도 외에는 다른 의도 없이, 첨부한 도면들을 참조로 하여 상세히 설명될 것이다.
도 1은 본 발명에 따른 영상분기장치를 이용하여 자율주행차량에 장착된 카메라 검증을 위한 카메라 검증 시스템의 개략적 블록도이다.
도 1에 도시된 바와 같이, 본 발명에서는 자율주행차량에 장착된 카메라(10)의 검증은 실제 자율주행차량이 주행되고 있는 주행환경에서 실시간으로 진행되도록 하기 위해, 상기 카메라(10)와 상기 자율주행 차량의 전자제어유닛(ECU:Electronic Control Unit)(200) 및 카메라 검증장치(300)가 영상분기장치를 통해 서로 연결되는 구성을 가진다.
상기 자율주행 차량의 전자제어유닛(ECU:Electronic Control Unit)(200) 및 상기 카메라(10)는 통상의 기술자에게 잘 알려진 전자제어유닛(ECU) 및 카메라(10)를 포함할 수 있다. 특히 상기 카메라(10)는 적어도 하나의 전방카메라, 측방카메라 및 후방카메라를 포함할 수 있다. 이하에서는 상기 카메라(10)가 하나인 경우를 가정하여 설명하고 있으나, 다수의 카메라들에도 동일하게 적용가능하다.
상기 카메라 검증장치(300)는 자율주행 차량에 장착된 카메라(10)의 정상동작여부(또는 고장여부)와 자율주행차량에 적합한 성능을 가지고 있는지에 대한 검증을 하기 위한 장치로, 통상의 기술자에게 잘 알려진 카메라 검증장치(300)가 이용될 수 있다. 상기 카메라 검증장치(300)는 차량의 검사를 수행하는 차량검사소 등에서 자율주행 차량의 카메라 적합성 평가시에 사용될 수 있다.
일반적으로 자율주행차량에 장착된 카메라(10)는 자율주행 차량의 전자제어유닛(ECU)에 직접 접속되어 있으며, 자율주행시에 카메라(10)를 통해 촬영된 영상데이터가 상기 전자제어유닛(ECU)에 바로 전송되는 구성을 가지고 있다.
카메라 검증을 위해서 종래의 경우에는 카메라(10)와 상기 전자제어유닛(ECU)의 접속을 분리하고, 상기 카메라(10)를 카메라 검증장치(300)에 직접 접속시킨상태에서, 카메라(10)에서 촬영된 영상이 바로 카메라 검증장치(300)로 전송되도록 하여 카메라 검증을 수행하였다.
그러나 이러한 종래의 카메라 검증방식은 실제 주행환경에서의 카메라 동작상태를 반영하지 못하고, 자율주행 차량 원래의 시스템이 유지된 상태에서의 실시간 검증이 이루어지지 않는다는 문제점이 있었다.
상기 영상분기장치(100)는 이러한 종래의 문제점을 개선하여 자율주행 차량 원래의 시스템이 유지되면서도 실제 주행환경에서 실시간으로 카메라 동작상태를 검증하기 위한 것으로, 상기 카메라(10)와 상기 자율주행 차량의 상기 전자제어유닛(ECU)(200) 및 상기 카메라 검증장치(300)를 서로 연결하여 원활한 검증이 이루어지도록 하기 위한 구성을 가진다.
이에 따라, 실제 주행환경에서 상기 카메라(10)는 실제 주행환경을 촬영하여 상기 영상분기장치(100)로 전송하게 되면, 상기 영상분기장치(100)에서는 상기 카메라(10)를 통해 촬영된 실시간 영상데이터를 서로 동일한 제1영상데이터와 제2영상데이터로 분기시켜 상기 자율주행 차량의 상기 전자제어유닛(ECU)(200)과 상기 카메라 검증장치(300)로 제공하게 된다. 상기 전자제어유닛(ECU)(200)에서는 수신되는 상기 제1영상데이터를 이용하여 자율주행 차량의 제어동작을 수행하게 되고, 상기 카메라 검증장치(300)는 수신되는 상기 제2영상데이터를 이용하여 카메라(10)에 대한 검증을 수행하는 것이다. 즉, 상기 카메라 검증장치(300)는, 상기 제2영상데이터를 통해 상기 카메라의 고장여부 및 상기 카메라(10)의 성능을 파악하여 상기 카메라(10)가 자율주행차량에 적합한지 여부를 평가하게 된다.
도 2는 본 발명의 제1실시예에 따른 상기 영상분기장치의 내부구성 블록도를 나타낸 것이다.
도 2에 도시된 바와 같이, 본 발명의 제1실시예에 따른 영상 분기장치(100)는, 수신부(110), 분기부(120), 제1전송부(130), 제2전송부(140) 및 제어부(150)를 구비한다.
상기 수신부(110)는 상기 카메라(10)에서 입력되는 실시간 촬영된 영상데이터를 수신하여 상기 분기부(120)에 전송한다. 상기 수신부(110)는 수신칩 또는 디시리얼라이저(deserializer)를 포함할 수 있으며, 상기 수신부(110)의 입력단자와 상기 카메라(10)의 출력단자가 전기적으로 연결되는 구조를 가진다.
상기 분기부(120)는 상기 수신부(110)를 통해 수신되는 영상데이터를 서로 동일한 제1영상데이터와 제2영상데이터로 분기한다. 상기 분기부(120)는 영상 분배 또는 영상분기를 위한 모듈을 구비할 수 있다.
상기 제1전송부(130)는 상기 제1영상데이터를 상기 전자제어유닛(ECU)에 전송한다. 상기 제1전송부(130)는 송신칩 또는 시리얼라이저(serializer)를 포함할 수 있으며, 상기 제1전송부(130)의 출력단자와 상기 전자제어유닛(ECU)의 영상입력단자가 전기적으로 연결되는 구조를 가진다. 상기 전자제어유닛(ECU)의 영상입력단자는 검증이 완료되어 상기 영상분기장치(100)가 분리된 경우에 상기 카메라(10)의 출력단자와 서로 접속되게 된다.
상기 제1영상데이터가 상기 전자제어유닛(ECU)에 전송되면, 상기 전자제어유닛(ECU)에서는 제1영상데이터를 분석하여 장애물 등을 판단하고 실제 주행환경의 자율주행을 제어하게 된다.
상기 제2전송부(140)는 상기 제2영상데이터를 카메라의 검증을 위해 상기 카메라 검증장치(300)로 전송한다. 상기 제2전송부(140)는 송신칩 또는 시리얼라이저(serializer)를 포함할 수 있으며, 상기 제2전송부(140)의 출력단자와 상기 카메라 검증장치(300)의 영상입력단자가 전기적으로 연결되는 구조를 가진다.
상기 카메라 검증장치(300)는 검증알고리즘을 이용하여 상기 제2영상데이터를 검증하여 상기 카메라의 고장여부 및 상기 카메라(10)의 성능을 파악하여 상기 카메라(10)가 자율주행차량에 적합한지 여부를 평가하게 된다.
상기 제어부(150)는 상기 전자제어유닛(ECU)(200)에 접속하여 상기 카메라(10)에 인가되는 전원정보와 상기 전자제어유닛(ECU)(200)에 연결된 각 디바이스들(예를 들면, 카메라, 라이다, 레이더, 각종 센서들 등의 디바이스)의 아이디 정보를 추출한다.
전원정보를 추출하는 이유는, 일반적으로 카메라의 경우 제조사나 종류에 따라 서로 다른 전원레벨을 가지고 있으므로, 카메라(10)의 전원레벨을 파악하여 상기 수신부(110)의 입력단자와 상기 카메라(10)의 출력단자가 전기적으로 연결되는 경우에 상기 카메라(10)의 전원도 공급될 수 있도록 하기 위한 것이다.
상기 제어부(150)는 추출된 상기 카메라(10)의 전원정보에 대응하여 상기 영상분기장치(100)에 내장된 전원장치(미도시)를 이용한 내부전원 또는 상기 전자제어유닛(ECU)에서 제공되는 전원으로 상기 카메라(10)의 전원을 공급할 수 있도록 제어하게 된다. 이를 위해, 상기 영상분기장치(100)는 상기 카메라(10)의 전원레벨에 맞는 전원공급이 가능한 전원 연결구성을 구비하여야 할 것이다.
상기 전자제어유닛(ECU)(200)에 연결된 각 디바이스들의 아이디(또는 식별기호)를 추출하는 이유는, 상기 영상분기장치(100)를 구성하는 상기 수신부(110), 상기 제1전송부(130) 및 상기 제2전송부(140)에 새로운 아이디를 부여함에 있어, 다른 아이디와 중복되지 않도록 하여 에러발생을 줄이기 위함이다.
이에 따라 상기 제어부(150)는 상기 전자제어유닛(ECU)(200)에 연결된 각 디바이스들의 아이디 정보와 중복되지 않는 새로운 아이디를 상기 수신부(110), 상기 제1전송부(130) 및 상기 제2전송부(140)에 각각 부여하여 검증을 위한 세팅작업을 수행하게 된다. 여기서 상기 제어부(150)는 새롭게 부여된 아이디 정보를 상기 전자제어유닛(ECU)(200)에 전송하여 저장되도록 할 수 있다.
추가적으로, 상기 영상분기장치(100)는 상기 수신부(110)를 통해 수신되는 상기 영상데이터를 증폭하기 위한 신호증폭부(미도시)를 더 구비할 수 있다. 상기 신호증폭부는 상기 수신부(110)와 상기 분기부(120) 사이에 구비되어 상기 수신부를 통해 수신되는 상기 영상데이터를 증폭하여 상기 분기부(120)에 제공하는 것이 가능하다.
상술한 바와 같이 본 발명의 제1실시예에 따른 영상분기장치(100)를 장착하게 되면, 실제 주행환경상황에서 자율주행차량의 카메라 검증을 수행하는 것이 가능하며, 카메라의 실시간 영상데이터를 이용하여 카메라 검증을 수행하는 것이 가능하다.
이러한 영상분기장치(100)를 이용하고 상기 카메라 검증장치(300)를 이용하여 카메라(10)를 검증하는 경우에 있어서, 상기 카메라 검증장치(300)로 입력된 상기 제2영상데이터에 에러나 손실이 발생되는 경우가 있을 수 있다. 이 경우 상기 제2영상데이터의 에러나 손실은 상기 카메라(10)에 의해서 발생된 것일 수도 있지만, 상기 영상분기장치(100)의 영상데이터 송수신 과정에서 발생되는 것일 수도 있다.
이에 따라, 상기 제2영상데이터의 에러나 손실이 상기 카메라(10) 때문인지 상기 영상분기장치(100) 때문인지 판단하기가 어렵게 된다. 이는 상기 카메라(10)를 통해 입력되는 영상데이터가 실제 주행환경에서 실시간으로 촬영되는 영상 데이터이기 때문에 어느 부분에서 에러나 손실이 일어났는지의 판단의 어려움은 더 가중되게 된다. 이 경우 상기 카메라 검증장치(300)를 통한 카메라(10)의 검증은 불가능하게 된다.
이러한 문제점을 해결하기 위해서는, 상기 영상분기장치(100)를 통해서는 영상데이터의 에러나 손실이 발생되지 않는다는 점이 보장되어야 정상적인 카메라 검증이 수행될 수 있다. 즉 카메라에 대한 검증이 수행되기 전에 상기 영상분기장치(100)의 무손실에 대한 검증이 이루어져야 하며, 이를 위해 도 3을 통해 설명될 본 발명의 제2실시예에 따른 영상분기장치가 구현된다.
도 3은 본 발명의 제2실시예에 따른 영상분기장치의 내부구성 블록도를 나타낸 것이다.
도 3에 도시된 바와 같이, 본 발명의 제2실시예에 따른 영상 분기장치(100)는, 수신부(110), 분기부(120), 제1전송부(130), 제2전송부(140) 및 제어부(150)에 추가하여 모사부(160) 및 셀프검증부(170)를 더 구비한다.
상기 영상분기장치(100)는 상기 카메라(10)의 검증을 위한 카메라 검증모드와 상기 영상분기장치(100) 자체를 통해서는 영상데이터의 손실이나 에러가 발생되지 않는 무손실 상태인지 여부를 검증하기 위한 셀프검증모드로 동작을 수행한다.
상기 카메라 검증모드와 상기 셀프 검증모드의 모드전환은 상기 제어부(150)를 통해 수행될 수 있다. 또한, 상기 셀프검증모드는 상기 영상분기장치(100)가 상기 카메라(10)와 상기 전자제어유닛(ECU)(200) 및 상기 카메라 검증장치(300) 사이에 연결된 상태에서, 상기 카메라 검증모드를 수행하기 전에 수행되는 것이 일반적이나, 필요에 따라 추가적으로 수행되는 것이 가능하다.
상기 수신부(110)는 수신칩 또는 디시리얼라이저(deserializer)를 포함할 수 있으며, 카메라 검증모드에서는 상기 수신부(110)가 상기 카메라(10)로부터 영상데이터(실시간 촬영 영상데이터)를 수신하여 상기 분기부(120)에 제공하고, 셀프검증모드에서는 상기 수신부(110)가 상기 모사부(160)로부터 영상데이터(제1모사 영상데이터)를 수신하여 상기 분기부(120)에 제공하게 된다. 상기 제1모사 영상데이터에 대해서는 상기 모사부(160)의 설명시에 자세히 설명하기로 한다.
상기 수신부(110)는 각 모드별로 영상데이터를 수신하기 위해 수신칩 또는 디시리얼라이저(deserializer)를 복수로 구비할 수 있다. 또한 모드별 동작을 위해 상기 제어부(150)에 의해 제어되는 제1스위칭 회로(미도시)를 포함할 수 있다. 상기 제1스위칭 회로는 카메라 검증모드에서는 상기 카메라(10)와 상기 수신부(110)를 서로 연결하고, 셀프검증모드에서는 상기 모사부(160)와 상기 수신부(110)를 서로 연결하게 된다.
상기 분기부(120)는 모드에 관계없이, 상기 수신부(110)를 통해 수신된 영상데이터(실시간 촬영 영상데이터 또는 제1모사 영상데이터)를 서로 동일한 제1영상데이터와 제2영상데이터로 분기한다. 상기 분기부(120)는 영상 분배 또는 영상분기를 위한 모듈을 구비할 수 있다. 상기 분기부(120)는 상기 제1영상데이터는 상기 제1전송부(130)로 전송하고 상기 제2영상데이터는 상기 제2전송부(140)로 전송한다.
상기 제1전송부(130)는 상기 제1영상데이터를 상기 전자제어유닛(ECU)에 전송한다. 상기 제1전송부(130)는 송신칩 또는 시리얼라이저(serializer)를 포함할 수 있으며, 상기 제1전송부(130)의 출력단자와 상기 전자제어유닛(ECU)의 영상입력단자가 전기적으로 연결되는 구조를 가진다. 상기 전자제어유닛(ECU)의 영상입력단자는 검증이 완료되어 상기 영상분기장치(100)가 분리된 경우에 상기 카메라(10)의 출력단자와 서로 접속되게 된다.
상기 제1전송부(130)는 카메라 검증모드에서는 상기 제1영상데이터가 상기 전자제어유닛(ECU)에 전송되면, 상기 전자제어유닛(ECU)에서는 제1영상데이터를 분석하여 장애물 등을 판단하고 실제 주행환경의 자율주행을 제어하게 된다. 그러나 셀프 검증모드의 경우에는 상기 제1영상데이터는 제1모사 영상데이터가 분기된 것이므로, 카메라(10)에서 촬영된 실시간 촬영 영상 데이터가 아니므로, 상기 전자제어유닛(ECU)까지 전송될 필요가 없을 수 있다. 또한 셀프 검증모드의 경우에 상기 카메라(10)의 실시간 촬영 영상데이터가 필요하지 않다. 따라서 셀프 검증모드에서 상기 제1전송부(130) 및 상기 카메라(10)는 상기 제어부(150)의 제어에 의해 동작이 오프(OFF)될 수 있다.
상기 제2전송부(140)는 카메라검증 모드에서는 수신되는 상기 제2영상데이터를 카메라의 검증을 위해 상기 카메라 검증장치(300)로 전송하고, 셀프검증 모드에서는 수신되는 상기 제2영상데이터를 셀프 검증을 위해 상기 셀프검증부(170)로 제공하게 된다.
상기 제2전송부(140)는 송신칩 또는 시리얼라이저(serializer)를 복수로 포함할 수 있다. 또한 모드별 동작을 위해 상기 제어부(150)에 의해 제어되는 제2스위칭 회로(미도시)를 포함할 수 있다. 상기 제2스위칭 회로는 카메라 검증모드에서는 상기 제2전송부(140)와 상기 카메라 검증장치(300)를 서로 연결하고, 셀프검증모드에서는 상기 제2전송부(140)와 상기 셀프검증부(170)를 서로 연결하도록 구성될 수 있다.
상기 카메라 검증장치(300)는 상기 제2영상데이터를 통해 상기 카메라의 고장여부 및 상기 카메라(10)의 성능을 파악하여 상기 카메라(10)가 자율주행차량에 적합한지 여부를 평가하는 카메라 검증을 수행하게 된다.
상기 모사부(160)는 미리 지정된 제1모사 영상데이터를 상기 수신부(110)에 전송한다. 상기 제1모사 영상데이터는 셀프 검증모드에서 상기 수신부(110)에 전송하기로 상기 셀프검증부(170)와 미리 약속된 영상데이터로, 2차원 이미지나 동영상 등을 포함하는 의미일 수 있다.
셀프 검증을 위해서는 송신하는 송신 영상데이터와 수신되는 수신 영상데이터를 서로 비교하여 무손실 여부를 검증하는 방식으로 진행되어야 하는데, 상기 카메라(10)를 통해 실시간으로 촬영되는 영상 데이터는 특정된 영상데이터가 아니기 때문에 수신되는 영상데이터와 비교할 수가 없게 된다. 즉 송신되는 영상데이터가 어떤 것인지를 모르는 상태에서 수신 데이터와 비교할 수가 없기 때문에, 어떤 영상데이터가 송신되었는지를 알 수 있도록 하기 위해 제1모사 영상데이터가 필요하게 된다.
상기 제1모사 영상데이터는 상기 모사부(160)에 저장되어 있는 영상데이터 를 포함할 수 있다. 또한 상기 제1모사 영상데이터는 도 4에 도시된 바와 같이, 특정 RGB값을 가지는 하나의 이미지이거나, 서로 다른 RGB값을 가지는 적어도 두 개의 이미지일 수 있다. 또한 상기 제1모사 영상데이터는 배이어(bayer)패턴 이미지일 수 있다.
도 4의 (a)에서는 상기 제1모사 영상데이터로, "R: 4, G: 0, B:199"의 RGB값을 가지는 청색이미지가 나타나 있고, 도 4의 (b)에는 "R:194, G: 30, B:29" 의 RGB값을 가지는 적색이미지가 나타나 있다. 그리고, 필요에 따라, 상기 제1모사 영상데이터는 상기 카메라(10)에서 실시간 촬영된 촬영 영상데이터와 동일한 포맷을 가지는 영상데이터일수도 있고, 사람, 차량, 자전거, 교통신호등 및 동물 중 적어도 하나가 포함된 영상데이터일수도 있다.
상기 셀프검증부(170)는 셀프검증모드에서 동작하며, 상기 제2전송부(140)를 통해 전송되는 상기 제2영상데이터를, 미리 저장되거나 상기 모사부(160)로터 제공된 제2모사 영상데이터와 비교하여, 상기 영상분기장치(100)를 통하여 전송된 상기 제1모사 영상데이터의 손실여부를 검증하여 상기 영상분기장치(100)의 셀프검증을 수행하게 된다.
상기 제1모사 영상데이터와 상기 제2모사 영상데이터는 서로 동일한 두 개의 영상데이터로, 하나의 영상데이터를 공지의 다양한 방법으로 2개로 분리한 영상데이터로서, 구분을 위해 상기 모사부(160)에 저장된 영상데이터는 제1모사 영상데이터로 칭하고, 상기 셀프검증부(170)에 저장된 영상데이터는 제2모사 영상데이터로 칭하기로 한 것이다. 여기서 상기 제1모사 영상데이터는 상기 모사부(160)에 미리 저장된 영상데이터 일 수 있고, 상기 제2모사 영상데이터는 상기 셀프검증부(170)에 미리 저장되어 있는 영상데이터일 수 있지만, 상기 모사부(160)에서 상기 제1모사 영상데이터를 상기 셀프검증부(170)로 다이렉트로 전송한(제공한) 영상데이터를 포함할 수 있다.
다른 실시예로, 상기 제1모사 영상데이터는 상기 모사부(160)에서 자체 생성된 영상데이터 일 수 있고, 상기 제2모사 영상데이터는 상기 모사부(160)와의 미리 설정된 약속에 따라 상기 모사부(160)에서의 제1모사 영상데이터 생성방식과 동일하게 상기 셀프검증부(170)에서 자체 생성된 영상데이터 일 수 있다. 이와 달리, 상기 제2모사 영상데이터는 상기 모사부(160)에서 자체 생성한 상기 제1모사 영상데이터를 상기 셀프검증부(170)로 다이렉트로 전송한(제공한) 영상데이터를 포함할 수 있다.
상기 셀프검증부(170)에서는 상기 제1모사 영상데이터가 상기 제2영상데이터로 하여 수신되면 상기 제2모사 영상데이터와 동일성 여부를 비교하여 무손실 검증을 수행하게 된다. 예를 들어, 도 4의 (a) 및 (b)에 도시된 바와 같은 청색이미지나 적색이미지 등이 상기 모사부(160)에서 전송된 모사 영상 데이터 인 경우에, 제2모사 영상데이터와 RGB값, 프레임 단위, 픽셀값 등을 포함하여 다양한 동일성 여부를 판단하는 요소들을 비교하여 영상 데이터의 손실 여부를 판단하게 된다. 여기서 두 개의 영상 데이터의 동일성 여부를 판단하기 위해 통상의 기술자에게 잘 알려진 다양한 동일성 판단 기술 및 동일성 판단방법이 다양하게 적용될 수 있음은 명백하다.
상기 셀프검증부(170)의 검증결과 제1모사 영상데이터가 전송된 상기 제2영상데이터와 제2모사 영상데이터의 동일성이 인정되어 상기 영상분기장치(100)의 무손실이 검증되면 이를 상기 제어부(150)에 통보되고, 이후 상기 제어부(150)는 카메라 검증모드를 수행하도록 제어하게 된다.
상기 제어부(150)는 상기 전자제어유닛(ECU)(200)에 접속하여 상기 카메라(10)에 인가되는 전원정보와 상기 전자제어유닛(ECU)(200)에 연결된 각 디바이스들(예를 들면, 카메라, 라이다, 레이더, 각종 센서들 등의 디바이스)의 아이디 정보를 추출한다.
전원정보를 추출하는 이유는, 일반적으로 카메라의 경우 제조사나 종류에 따라 서로 다른 전원레벨을 가지고 있으므로, 카메라(10)의 전원레벨을 파악하여 상기 수신부(110)의 입력단자와 상기 카메라(10)의 출력단자가 전기적으로 연결되는 경우에 상기 카메라(10)의 전원도 공급될 수 있도록 하기 위한 것이다.
상기 제어부(150)는 추출된 상기 카메라(10)의 전원정보에 대응하여 상기 영상분기장치(100)에 내장된 전원장치(미도시)를 이용한 내부전원 또는 상기 전자제어유닛(ECU)에서 제공되는 전원으로 상기 카메라(10)의 전원을 공급할 수 있도록 제어하게 된다. 이를 위해, 상기 영상분기장치(100)는 상기 카메라(10)의 전원레벨에 맞는 전원공급이 가능한 전원 연결구성을 구비하여야 할 것이다.
상기 전자제어유닛(ECU)(200)에 연결된 각 디바이스들의 아이디(또는 식별기호)를 추출하는 이유는, 상기 영상분기장치(100)를 구성하는 상기 수신부(110), 상기 제1전송부(130) 및 상기 제2전송부(140)에 새로운 아이디를 부여함에 있어, 다른 아이디와 중복되지 않도록 하여 에러발생을 줄이기 위함이다.
이에 따라 상기 제어부(150)는 상기 전자제어유닛(ECU)(200)에 연결된 각 디바이스들의 아이디 정보와 중복되지 않는 새로운 아이디를 상기 수신부(110), 상기 제1전송부(130) 및 상기 제2전송부(140)에 각각 부여하여 검증을 위한 세팅작업을 수행하게 된다. 여기서 상기 제어부(150)는 새롭게 부여된 아이디 정보를 상기 전자제어유닛(ECU)(200)에 전송하여 저장되도록 할 수 있다.
그리고, 상술한 바와 같이, 상기 제어부(150)는 상기 영상분기 장치(100)가, 카메라 검증을 위한 카메라검증 모드와 영상분기 장치 자체의 무손실 검증을 위한 셀프검증 모드로 동작하도록 제어하게 된다. 예를 들어, 카메라 검증 모드에서는 상기 모사부(160) 및 상기 셀프검증부(170)의 동작을 오프시키고, 상기 제2전송부(140)가 제2영상데이터를 상기 카메라 검증장치(300)로 전송하도록 하며, 상기 셀프검증모드에서는 상기 카메라(10) 및 상기 제1전송부(130)의 동작을 오프시키고, 상기 제2전송부(140)가 상기 제2영상데이터를 상기 셀프검증부(170)로 전송하도록 제어할 수 있다.
추가적으로, 상기 영상분기장치(100)는 상기 수신부(110)를 통해 수신되는 영상데이터를 증폭하기 위한 신호증폭부(미도시)를 더 구비할 수 있다. 상기 신호증폭부는 상기 수신부(110)와 상기 분기부(120) 사이에 구비되어 상기 수신부(110)를 통해 수신되는 상기 영상데이터를 증폭하여 상기 분기부(120)에 제공하는 것이 가능하다.
도 5는 도 3을 통해 설명된 영상분기장치의 셀프검증모드의 동작순서도이고, 도 6은 도 3을 통해 설명된 영상분기장치의 카메라 검증모드에서의 동작순서도이다. 도 5 및 도 6을 통해 영상분기장치의 각 모드에서의 동작을 설명하기로 한다.
도 5에 도시된 바와 같이, 셀프 검증모드가 시작되면(S110), 상기 제어부(150)는 상기 카메라(10) 및 상기 제1전송부(130)를 오프시키고 상기 제2전송부(140)와 상기 카메라 검증장치(300)의 전송경로를 차단하고 상기 제2전송부(140)와 상기 셀프검증부(170)의 전송경로를 오픈하게 된다. 상기 셀프 검증모드의 시작전에 상기 제어부(150)를 통한 세팅작업(전원정보 및 아이디 정보 추출, 전원세팅 및 신규 아이디 부여 등)이 수행되는 것은 당연하다.
이후 상기 모사부(160)에서는 상기 제1모사 영상데이터를 상기 수신부(110)에 전송하게 된다(S120). 상기 수신부(110)에서는 상기 제1모사 영상데이터를 상기 분기부(120)로 제공하게 된다(S130).
상기 분기부(120)에서는 상기 제1모사 영상데이터를 서로 동일한 제1영상데이터와 제2영상데이터로 분기시킨다(S140). 원칙적으로 손실이 없는 경우, 상기 제1모사 영상데이터와 상기 제1영상데이터 및 상기 제2영상데이터, 그리고 후술하는 상기 제2모사 영상데이터는 하나의 영상데이터가 분기되거나 복사된 것으로 서로 동일한 영상데이터이다.
상기 분기부(120)에서는 상기 제1영상데이터는 상기 제1전송부(130)로 제공하고, 상기 제2영상데이터는 상기 제2전송부(140)로 제공하게 된다(S150).
상기 제2전송부(140)에서는 상기 제2영상데이터를 상기 셀프검증부(170)로 전송하고(S160), 상기 셀프검증부(170)에서는 수신된 상기 제2영상데이터를 이용하여 무손실 여부를 검증하게 된다(S170). 즉 상기 셀프 검증부(170)에서는 상기 제1모사 영상데이터가 상기 제2영상데이터로 하여 수신되면 상기 제2모사 영상데이터와 동일성 여부를 비교하여 무손실 검증을 수행하게 된다.
상기 셀프검증부(170)의 검증결과 제1모사 영상데이터가 전송된 상기 제2영상데이터와 제2모사 영상데이터의 동일성이 인정되어 상기 영상분기장치(100)의 무손실이 검증되면 이를 상기 제어부(150)에 통보되고, 이후 상기 제어부(150)는 카메라 검증모드를 수행하도록 제어하게 된다.
도 6에 도시된 바와 같이, 카메라 검증모드가 시작되면(S210), 상기 제어부(150)는 상기 모사부(160) 및 상기 셀프 검증부(170)를 오프시키고, 상기 제1전송부(130)와 상기 카메라(10)를 온 시키게 된다. 또한 상기 제2전송부(140)와 상기 셀프 검증부(170)의 전송경로를 차단하고 상기 제2전송부(140)와 상기 카메라 검증장치(300)의 전송경로를 오픈하게 된다.
이후 상기 카메라(10)에서 실시간 영상을 촬영하게 되고, 촬영된 영상데이터가 전송된다(S220).
상기 수신부(110)는 상기 카메라(10)에서 입력되는 실시간 촬영된 영상데이터를 수신하여 상기 분기부(120)에 전송한다(S230).
상기 분기부(120)는 상기 수신부(110)를 통해 수신되는 촬영 영상데이터를 서로 동일한 제1영상데이터와 제2영상데이터로 분기한다(S240).
상기 분기부(120)에서는 상기 제1영상데이터는 상기 제1전송부(130)로 제공하고, 상기 제2영상데이터는 상기 제2전송부(140)로 제공하게 된다(S250).
상기 제1전송부(130)는 상기 제1영상데이터를 상기 전자제어유닛(ECU)에 전송한다(S260). 상기 제1영상데이터가 상기 전자제어유닛(ECU)에 전송되면, 상기 전자제어유닛(ECU)에서는 제1영상데이터를 분석하여 장애물 등을 판단하고 실제 주행환경의 자율주행을 제어하게 된다.
상기 제2전송부(140)는 상기 제2영상데이터를 카메라의 검증을 위해 상기 카메라 검증장치(300)로 전송한다(S260).
상기 카메라 검증장치(300)는 검증알고리즘을 이용하여 상기 제2영상데이터를 검증하여 상기 카메라의 고장여부 및 상기 카메라(10)의 성능을 파악하여 상기 카메라(10)가 자율주행차량에 적합한지 여부를 평가하게 된다(S270).
상술한 바와 같이 본 발명에 따른 영상분기장치(100)를 이용하게 되면, 실제 주행환경상황에서 자율주행차량의 카메라 검증을 수행하는 것이 가능하며, 카메라의 실시간 영상데이터를 이용하여 카메라 검증을 수행하는 것이 가능하다. 또한, 셀프검증기능으로 영상데이터의 손실여부를 검증할 수 있어, 영상데이터의 무손실 전송상태에서 정확한 검증이 가능한 장점이 있다.
상기한 실시예의 설명은 본 발명의 더욱 철저한 이해를 위하여 도면을 참조로 예를 든 것에 불과하므로, 본 발명을 한정하는 의미로 해석되어서는 안될 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기본적 원리를 벗어나지 않는 범위 내에서 다양한 변화와 변경이 가능함은 명백하다 할 것이다.
10 : 카메라 110 : 수신부
120 : 분기부 130 : 제1전송부
140 : 제2전송부 150 : 제어부
160 : 모사부 170 : 셀프검증부
200 : ECU 300 : 카메라 검증장치

Claims (15)

  1. 실시간 주행상황에서 자율주행 차량에 장착된 카메라를 실시간 검증하기 위해, 상기 카메라와 상기 자율주행 차량의 전자제어유닛(ECU:Electronic Control Unit) 및 카메라 검증장치를 서로 연결하는 영상분기장치에 있어서:
    상기 카메라에서 입력되는 실시간 촬영된 영상데이터를 수신하는 수신부와;
    상기 수신부를 통해 수신되는 영상데이터를 서로 동일한 제1영상데이터와 제2영상데이터로 분기하는 분기부와;
    상기 제1영상데이터를 상기 전자제어유닛(ECU)에 전송하는 제1전송부와;
    상기 제2영상데이터를 카메라의 검증을 위해 상기 카메라 검증장치로 전송하는 제2전송부와;
    상기 전자제어유닛(ECU)에 접속하여 상기 카메라에 인가되는 전원정보와 상기 전자제어유닛(ECU)에 연결된 각 디바이스들의 아이디 정보를 추출하여, 상기 전원정보에 대응하여 내부전원 또는 상기 전자제어유닛(ECU)에서 제공되는 전원으로 상기 카메라의 전원을 공급하고, 추출된 상기 아이디 정보와 중복되지 않는 새로운 아이디를 상기 수신부, 상기 제1전송부 및 상기 제2전송부에 각각 부여하여 세팅하는 제어부를 구비함을 특징으로 하는 영상분기장치.
  2. 청구항 1에 있어서,
    상기 카메라 검증장치는, 상기 제2전송부를 통해 전송되는 상기 제2영상데이터를 검증하여 상기 카메라의 고장여부 및 상기 카메라의 성능을 파악하는 카메라 검증을 수행함을 특징으로 하는 영상분기장치.
  3. 청구항 1에 있어서,
    상기 영상분기장치는 상기 수신부를 통해 수신되는 상기 영상데이터를 증폭하기 위한 신호증폭부를 더 구비함을 특징으로 하는 영상분기장치.
  4. 실시간 주행상황에서 자율주행 차량에 장착된 카메라를 실시간 검증하기 위해, 상기 카메라와 상기 자율주행 차량의 전자제어유닛(ECU:Electronic Control Unit) 및 카메라 검증장치를 서로 연결하는 영상분기장치에 있어서:
    카메라 검증 모드에서는 상기 카메라에서 실시간 촬영된 촬영 영상데이터를 수신하고, 셀프검증모드에서는 제1모사 영상데이터를 수신하는 수신부와;
    상기 수신부를 통해 수신된 영상데이터를 서로 동일한 제1영상데이터와 제2영상데이터로 분기하는 분기부와;
    상기 제1영상데이터를 상기 전자제어유닛(ECU)에 전송하는 제1전송부와;
    카메라검증 모드에서는 상기 제2영상데이터를 카메라의 검증을 위해 상기 카메라 검증장치로 전송하고, 셀프검증 모드에서는 상기 제2영상데이터를 셀프 검증을 위해 전송하는 제2전송부와;
    셀프검증모드에서 동작하며, 미리 지정된 제1모사 영상데이터를 상기 수신부에 전송하는 모사부와;
    셀프검증모드에서 동작하며, 상기 제2전송부를 통해 전송되는 상기 제2영상데이터를, 미리 저장되어 있거나 상기 모사부로부터 제공된 제2모사 영상데이터와 비교하여, 상기 영상분기장치의 데이터 전송경로를 통하여 전송된 상기 제1모사 영상데이터의 손실여부를 검증하여 상기 영상분기장치의 셀프검증을 수행하는 셀프검증부와;
    상기 전자제어유닛(ECU)에 접속하여 상기 카메라에 인가되는 전원정보와 상기 전자제어유닛(ECU)에 연결된 각 디바이스들의 아이디 정보를 추출하여, 상기 전원정보에 대응하여 내부전원 또는 상기 전자제어유닛(ECU)에서 제공되는 전원으로 상기 카메라의 전원을 공급하고, 추출된 상기 아이디 정보와 중복되지 않는 새로운 아이디를 상기 수신부, 상기 제1전송부 및 상기 제2전송부에 각각 부여하여 세팅하는 제어부를 구비하되,
    상기 제어부는 상기 영상분기장치가, 카메라 검증을 위한 카메라검증 모드와 영상분기장치 자체의 무손실 검증을 위한 셀프검증 모드로 동작하도록 제어함을 특징으로 하는 영상분기장치.
  5. 청구항 4에 있어서,
    상기 제어부는,
    카메라 검증 모드에서는 상기 모사부 및 상기 셀프검증부의 동작을 오프시키고, 상기 제2전송부가 제2영상데이터를 상기 카메라 검증장치로 전송하도록 하며,
    상기 셀프검증모드에서는 상기 카메라 및 상기 제1전송부의 동작을 오프시키고, 상기 제2전송부가 상기 제2영상데이터를 상기 셀프검증부로 전송하도록 제어함을 특징으로 하는 영상분기장치.
  6. 청구항 4에 있어서,
    상기 카메라 검증장치는, 상기 제2전송부를 통해 전송되는 상기 제2영상데이터를 검증하여 상기 카메라의 고장여부 및 상기 카메라의 성능을 파악하는 카메라 검증을 수행함을 특징으로 하는 영상분기장치.
  7. 청구항 4에 있어서,
    상기 영상분기장치는 상기 수신부를 통해 수신되는 상기 영상데이터를 증폭하기 위한 신호증폭부를 더 구비함을 특징으로 하는 영상분기장치.
  8. 청구항 4에 있어서,
    상기 제1모사 영상데이터 및 상기 제2모사 영상데이터 각각은 특정 RGB값을 가지는 하나의 이미지 이거나, 서로 다른 RGB값을 가지는 적어도 두 개의 이미지임을 특징으로 하는 영상분기장치.
  9. 청구항 4에 있어서,
    상기 제1모사 영상데이터 및 상기 제2모사 영상데이터 각각은, 배이어(bayer)패턴의 이미지임을 특징으로 하는 영상분기장치.
  10. 청구항 4에 있어서,
    상기 제1모사 영상데이터 및 상기 제2모사 영상데이터 각각은 상기 카메라에서 실시간 촬영된 촬영 영상데이터와 동일한 포맷을 가지는 영상데이터임을 특징으로 하는 영상분기장치.
  11. 청구항 10에 있어서,
    상기 제1모사 영상데이터 및 상기 제2모사 영상데이터 각각은 사람, 차량, 자전거, 교통신호등 및 동물이 적어도 하나 포함된 영상데이터임을 특징으로 하는 영상분기장치.
  12. 청구항 4에 있어서,
    상기 제1모사 영상데이터는 상기 모사부에 미리 저장된 영상데이터이고, 상기 제2모사 영상데이터는 상기 셀프검증부에 미리 저장된 영상데이터이거나 상기 제1모사 영상데이터를 상기 모사부에서 다이렉트로 전송한 영상데이터임을 특징으로 하는 영상분기장치.
  13. 청구항 4에 있어서,
    상기 제1모사 영상데이터는 상기 모사부에서 자체 생성된 영상데이터이고, 상기 제2모사 영상데이터는, 상기 모사부에서의 상기 제1모사 영상데이터 생성방식과 동일한 방식으로 상기 셀프검증부에서 자체 생성되어 저장된 영상데이터이거나, 상기 제1모사 영상데이터를 상기 모사부에서 다이렉트로 전송한 영상데이터임을 특징으로 하는 영상분기장치.
  14. 실시간 주행상황에서 자율주행 차량에 장착된 카메라를 실시간 검증하기 위해, 상기 카메라와 상기 자율주행 차량의 전자제어유닛(ECU:Electronic Control Unit) 및 카메라 검증장치를 서로 연결하는 영상분기장치를 이용한 카메라 실시간 검증방법에 있어서:
    영상데이터 전송시에 상기 영상분기장치 자체를 통한 영상 데이터의 무손실 여부를 검증하기 위하여, 미리 설정된 제1모사 영상데이터를 전송경로를 통해 전송하여 영상데이터의 무손실여부를 검증하는 셀프검증모드로 동작하는 제1단계와;
    상기 영상분기장치의 셀프 검증이 수행되면, 카메라 검증모드가 시작되어 상기 카메라를 통해 촬영된 촬영 영상데이터를 수신부를 통해 수신하여, 분기부를 통해 제1영상데이터와 제2영상데이터로 분기하는 제2단계와;
    상기 제1영상데이터는 제1전송부를 통해 상기 전자제어유닛(ECU)에 전송하고, 상기 제2영상데이터는 제2전송부를 통해 카메라 검증장치에 전송하는 제3단계와;
    상기 카메라 검증장치에서 상기 제2영상데이터를 검증하여 상기 카메라의 고장여부 및 상기 카메라의 성능을 파악하는 카메라 검증을 수행하는 제4단계를 구비함을 특징으로 하는 영상분기장치를 이용한 카메라 실시간 검증방법.
  15. 청구항 14에 있어서,
    상기 제1단계는,
    제1모사 영상데이터를 미리 저장하고 있는 모사부를 통해 상기 수신부에 상기 제1모사 영상데이터를 전송하는 단계와;
    상기 수신부를 통해 수신된 제1모사 영상데이터를 분기부를 통해 서로 동일한 제1영상데이터와 제2영상데이터로 분기하는 단계와;
    상기 제2영상데이터를 상기 제2전송부를 통해 셀프 검증부로 전송하고, 상기 셀프 검증부에서 상기 모사부를 통해 다이렉트로 전송되거나 미리 저장되어 있던 제2모사 영상데이터와 상기 제2영상데이터를 동일성 여부를 비교하여 무손실 검증을 수행하는 단계를 구비함을 특징으로 하는 영상분기장치를 이용한 카메라 실시간 검증방법.
KR1020220049452A 2022-04-21 2022-04-21 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법 KR102486788B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220049452A KR102486788B1 (ko) 2022-04-21 2022-04-21 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220049452A KR102486788B1 (ko) 2022-04-21 2022-04-21 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법

Publications (1)

Publication Number Publication Date
KR102486788B1 true KR102486788B1 (ko) 2023-01-11

Family

ID=84892332

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220049452A KR102486788B1 (ko) 2022-04-21 2022-04-21 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법

Country Status (1)

Country Link
KR (1) KR102486788B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102582497B1 (ko) * 2023-08-22 2023-09-26 주식회사 셀플러스코리아 자율주행 차량의 주행성능 검증장치 및 주행성능 검증방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102232138B1 (ko) * 2020-11-17 2021-03-25 (주)에이아이매틱스 지식 증류 기반 신경망 아키텍처 탐색 방법
KR20210034097A (ko) * 2018-08-20 2021-03-29 웨이모 엘엘씨 자율주행 차량들을 위한 카메라 평가 기술들
KR20210077651A (ko) * 2018-11-13 2021-06-25 삼성전기주식회사 운전 지원 시스템 및 방법
KR20210094762A (ko) * 2020-01-22 2021-07-30 주식회사 셀플러스코리아 자율 주행을 위한 데이터 수집 및 재생 시스템과 그 방법
KR20220029820A (ko) 2020-08-28 2022-03-10 사이텍 주식회사 자율주행 차량의 카메라 검교정 장치
KR20220041986A (ko) * 2020-09-25 2022-04-04 현대모비스 주식회사 차량의 안전 주행 제어 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210034097A (ko) * 2018-08-20 2021-03-29 웨이모 엘엘씨 자율주행 차량들을 위한 카메라 평가 기술들
KR20210077651A (ko) * 2018-11-13 2021-06-25 삼성전기주식회사 운전 지원 시스템 및 방법
KR20210094762A (ko) * 2020-01-22 2021-07-30 주식회사 셀플러스코리아 자율 주행을 위한 데이터 수집 및 재생 시스템과 그 방법
KR20220029820A (ko) 2020-08-28 2022-03-10 사이텍 주식회사 자율주행 차량의 카메라 검교정 장치
KR20220041986A (ko) * 2020-09-25 2022-04-04 현대모비스 주식회사 차량의 안전 주행 제어 시스템 및 방법
KR102232138B1 (ko) * 2020-11-17 2021-03-25 (주)에이아이매틱스 지식 증류 기반 신경망 아키텍처 탐색 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102582497B1 (ko) * 2023-08-22 2023-09-26 주식회사 셀플러스코리아 자율주행 차량의 주행성능 검증장치 및 주행성능 검증방법

Similar Documents

Publication Publication Date Title
US11184383B2 (en) Security test system, security test method, function evaluation device, and program
JP2020517037A (ja) オブジェクト認識のための複数のセンサのデータの融合
KR102486788B1 (ko) 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법
KR101673776B1 (ko) 자동차용 헤드유닛 및 카메라 유닛의 고장 진단 방법
US11556331B2 (en) Program update management device
KR20210045106A (ko) 차량 및 차량의 제어방법
US10469129B2 (en) Vehicle-mounted apparatus, relay apparatus and computer program
US11720097B2 (en) Vehicle control system and vehicle control method
CN115390546A (zh) 车辆诊断通信方法、装置、设备及介质
US11240489B2 (en) Testing method for a camera system, a control unit of the camera system, the camera system, and a vehicle having this camera system
EP0886410A2 (en) Data communication method, data communication apparatus, and data communication program recording medium
US20180152315A1 (en) Communication system
CN111142504B (zh) 总线检测装置和方法
JP2006313498A (ja) 画像処理装置
US7849375B2 (en) Semiconductor test system
CN114913687B (zh) 基于车-路-云的车辆内感知共享的方法、设备及系统
KR100860129B1 (ko) 차량진단 시스템 및 표시방법
CN112889035B (zh) 测试方法、测试装置及终端设备
US11961398B2 (en) Quality determining method, quality determining device, and motor vehicle
KR102585555B1 (ko) 합성 영상 제어기의 자가 진단 장치 및 방법
JP7187564B2 (ja) 画像処理装置
TWI855738B (zh) 網路服務切換方法、車載系統及電腦程式產品
US20220073081A1 (en) In-vehicle apparatus control system, in-vehicle apparatus, and in-vehicle apparatus control method
US20230259123A1 (en) Remote driving system, communication method
US20230283680A1 (en) Method for Coupling and Coupling Up a Sensor, and Communication Network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant