KR102124998B1 - 주행 중 a d a s 카메라의 위치 보정 방법 및 장치 - Google Patents

주행 중 a d a s 카메라의 위치 보정 방법 및 장치 Download PDF

Info

Publication number
KR102124998B1
KR102124998B1 KR1020180076103A KR20180076103A KR102124998B1 KR 102124998 B1 KR102124998 B1 KR 102124998B1 KR 1020180076103 A KR1020180076103 A KR 1020180076103A KR 20180076103 A KR20180076103 A KR 20180076103A KR 102124998 B1 KR102124998 B1 KR 102124998B1
Authority
KR
South Korea
Prior art keywords
vehicle
driving
road
data
camera
Prior art date
Application number
KR1020180076103A
Other languages
English (en)
Other versions
KR20200002514A (ko
Inventor
정지현
전성훈
Original Assignee
주식회사 대성엘텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 대성엘텍 filed Critical 주식회사 대성엘텍
Priority to KR1020180076103A priority Critical patent/KR102124998B1/ko
Publication of KR20200002514A publication Critical patent/KR20200002514A/ko
Application granted granted Critical
Publication of KR102124998B1 publication Critical patent/KR102124998B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

실시 예는 주행 중 ADAS 카메라의 위치를 보정하는 방법에 있어서, 차량의 주행 중 ADAS 카메라를 이용하여 도로 영상을 촬영하고, 촬영된 도로 영상으로부터 도로의 수평 데이터를 획득하고, 차량의 주행 중 차량의 센서를 이용하여 차체 기울기를 측정한 기울기 데이터를 획득하고, 획득된 수평 데이터 및 기울기 데이터를 기초로 ADAS 카메라의 위치를 보정함으로써, 차량의 주행 중에 ADAS의 기본 설정값이 도로의 상황에 따라 틀어짐으로써 감지 성능이 떨어지는 문제점을 해결할 수 있다.

Description

주행 중 A D A S 카메라의 위치 보정 방법 및 장치{Method and apparatus for correcting a position of ADAS camera during driving}
실시 예들은 차량의 주행 중 ADAS 카메라의 위치를 보정하는 방법 및 장치에 관한 것이다.
ADAS((Advanced　Driver　Assistance　Systems, 이하 'ADAS'라 한다)는 첨단 운전자 보조 시스템이라고 불리기도 하며, 이 시스템은 차량을 운전자보다 더 빠른 반응 속도로 상황을 대처하며 운전자에게 편리함은 물론 안전성까지 제공하며 도로 위 사고를 줄이는데 목표를 두고 있다. 무엇보다 ADAS 기술의 대부분이 센서를 통해 이루어지기에 센서가 굉장히 중요시 여겨지며, 또한 ADAS의 각 기술들은 앞으로 자율주행 자동차에 적용될 것으로 ADAS는 자율주행의 전 단계라고 불리기도 한다.
ADAS 센서는 크게 카메라, 레이더, 라이다로 나눠볼 수 있다.
레이더(Radio Detection And Ranging, Radar)는 허공에 전자파를 쏜 다음 어떤 물체에 부딪혀 돌아오는 반사파를 측정해 탐지된 물체의 방향, 거리, 속도 등을 파악하는 시스템이다. 전파를 이용하기 때문에 기상환경이나 밤낮을 구별하지 않고 안정적으로 거리 측정을 할 수 있어 카메라를 보완하는 역할을 한다. 레이더는 측정 거리와 측정 각도를 동시에 늘리는 게 어렵기 때문에 ADAS 기능에 따라 장거리용 레이더와 중·단거리용 레이더로 나뉘어 적용된다. 기술 측면에서 차량용 레이더는 데이터의 정확성을 높이기 위해 측정 거리와 측정 각도, 전파의 주파수 대역폭 확대를 목표로 발전하고 있는 한편 경량화, 소형화, 저가화를 위한 노력도 지속되고 있다.
라이다(Light Detection And Ranging, LiDAR)는 레이더와 기본 원리는 같지만 고출력의 펄스 레이저를 이용해 거리 정보를 획득한다는 점에서 다르다. 라이다 센서에서 끊임없이 광선을 쏘아 되돌아오는 속도를 측정하는 방식이다. 실제 거리를 계산하는 데 1초에 수백만 번의 광선을 쏘기 때문에 이를 모두 합쳐서 3D로 시각 정보를 재구성하는 것이 가능해진다. 자동차 진행방향의 전방 상황뿐 아니라 후방 상황까지 판단함으로써 타인의 고의 또는 과실로 일어날 수 있는 추돌사고까지 방지할 필요성이 있다.
카메라는 레이더, 라이다를 통해 파악할 수 없는 정확한 형상정보를 파악할 수 있기 때문에 ADAS 시스템에서 가장 기본이 된다. 교통표지판 인식, 사각지대 탐지, 차선 이탈 등을 판단하기 위해 카메라를 통한 정확한 데이터 분석이 필수다. 하지만, 차량이 주행하는 도로는 일직선의 수평이 아니며, 이로 인해 ADAS의 카메라의 기본 설정 값이 도로의 상황에 따라 틀어짐으로써, 감지성능이 떨어지는 문제점이 있었다.
[선행기술문헌번호]
선행 1: 한국공개특허 제2018-0052415호
선행 2: 한국등록특허 제10-0162342호
선행 3: 한국등록특허 제10-0820459호
실시 예들은 차량의 주행 중 ADAS 카메라의 위치를 보정하는 방법 및 장치를 제공하는 것이다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시 예에 따른 주행 중 ADAS 카메라의 위치를 보정하는 방법에 있어서, 차량의 주행 중 ADAS 카메라를 이용하여 도로 영상을 촬영하고, 촬영된 도로 영상으로부터 도로의 수평 데이터를 획득하는 단계; 상기 차량의 주행 중 차량의 센서를 이용하여 차체 기울기를 측정한 기울기 데이터를 획득하는 단계; 및 상기 획득된 수평 데이터 및 상기 기울기 데이터를 기초로 상기 ADAS 카메라의 위치를 보정하는 단계를 포함한다.
상기 보정 단계는, 상기 ADAS 카메라의 설정 값을 이전 설정 값에 대응되도록 보정하는 것을 특징으로 한다.
상기 센서는 기울기 센서 또는 자이로센서를 포함하는 것을 특징으로 한다.
상기 위치 보정 방법은 상기 기울기 센서 또는 자이로센서를 이용하여 주행중인 차량의 상하좌우 및 앞뒤 기울기 데이터를 획득하는 것을 특징으로 한다.
다른 실시 예에 따른 주행중인 차량에 탑재된 카메라의 위치를 보정하는 방법에 있어서, 차량의 주행 중 촬영된 도로 영상으로부터 수평 데이터를 획득하는 단계; 상기 차량의 주행 중 도로의 상태에 따라 기울어진 차제의 기울기를 측정하는 단계; 및 상기 획득된 수평 데이터 및 상기 측정된 기울기를 기초로 상기 카메라의 현재 위치를 보정하는 단계를 포함한다.
또 다른 실시 예에 따른 주행 중 ADAS 카메라의 위치를 보정하는 장치에 있어서, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 위치 보정 장치를 구동하는 프로세서를 포함하고,
상기 프로세서는, 차량의 주행 중 ADAS 카메라를 이용하여 도로 영상을 촬영하고, 촬영된 도로 영상으로부터 도로의 수평 데이터를 획득하고, 상기 차량의 주행 중 차량의 센서를 이용하여 차체 기울기를 측정한 기울기 데이터를 획득하고, 상기 획득된 수평 데이터 및 상기 기울기 데이터를 기초로 상기 ADAS 카메라의 위치를 보정한다.
또 다른 실시 예에 따른 주행 중 카메라의 위치를 보정하는 장치에 있어서,차량의 주행 중 도로 영상을 촬영하는 카메라; 상기 차량의 주행 중 도로의 상태에 따라 기울어진 차제의 기울기를 측정하는 기울기 센서; 및 상기 촬영된 도로 영상으로부터 수평 데이터를 획득하고, 상기 획득된 수평 데이터 및 상기 측정된 기울기를 기초로 상기 카메라의 현재 위치를 보정 하는 제어부를 포함한다.
또 다른 실시 예에 따른 상기 위치 보정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
도 1은 일 실시 예에 따른 차량의 내부 블록 도이다.
도 2는 도 1에 도시된 차량 운전 보조 시스템(ADAS)의 블록 도이다.
도 3은 다른 실시 예에 따른 차량 주행 중 카메라의 위치를 보정할 수 있는 카메라 위치 보정 장치의 개략 도이다.
도 4 및 5는 차량이 주행하는 도로의 경사를 설명하기 위한 예시 도이다.
도 6은 또 다른 실시 예에 따른 카메라 위치 보정의 예시 도이다.
도 7은 또 다른 실시 예에 따른 카메라 위치 보정 방법을 설명하기 위한 흐름 도이다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “메커니즘”, “요소”, “수단” 및 “구성” 등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 차량의 내부 블록도이다.
도 1을 참조하면, 차량(100)은, 통신부(110), 입력부(120), 센싱부(125) 메모리(130), 출력부(140), 차량 구동부(150), 차량 운전 보조 시스템(ADAS, 160), 제어부(170), 인터페이스부(180) 및 전원 공급부(190)를 포함할 수 있다.
통신부(110)는, 근거리 통신 모듈, 위치 정보 모듈, 광통신 모듈 및 V2X 통신 모듈을 포함할 수 있다.
입력부(120)는, 운전 조작 수단, 카메라, 마이크로폰 및 사용자 입력부를 포함할 수 있다.
운전 조작 수단은, 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작 수단은 조향 입력 수단, 쉬프트 입력 수단, 가속 입력 수단, 브레이크 입력 수단을 포함할 수 있다.
가속 입력 수단은, 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 수단은, 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다.
카메라는, 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(170)에 전달할 수 있다.
한편, 차량(100)은 차량 전방 영상을 촬영하는 전방 카메라, 차량 주변 영상을 촬영하는 어라운드 뷰 카메라 및 차량 후방 영상을 촬영하는 후방카메라를 포함할 수 있다. 각각의 카메라는 렌즈, 이미지 센서 및 프로세서를 포함할 수 있다. 프로세서는, 촬영되는 영상을 컴퓨터 처리하여, 데이터 또는 정보를 생성하고, 생성된 데이터 또는 정보를 제어부(170)에 전달할 수 있다. 카메라에 포함되는 프로세서는, 제어부(170)의 제어를 받을 수 있다.
카메라는 스테레오 카메라를 포함할 수 있다. 이 경우, 카메라의 프로세서는, 스테레오 영상에서 검출된 디스페리티(disparity) 차이를 이용하여, 오브젝트와의 거리, 영상에서 검출된 오브젝트와의 상대 속도, 복수의 오브젝트 간의 거리를 검출할 수 있다.
카메라는 TOF(Time of Flight) 카메라를 포함할 수 있다. 이 경우, 카메라는, 광원(예를 들면, 적외선 또는 레이저) 및 수신부를 포함할 수 있다. 이 경우, 카메라의 프로세서는, 광원에서 발신되는 적외선 또는 레이저가 오브젝트에 반사되어 수신될 때까지의 시간(TOF)에 기초하여 오브젝트와의 거리, 오브젝트와의 상대 속도, 복수의 오브젝트 간의 거리를 검출할 수 있다.
한편, 후방 카메라는, 후방 번호판 또는 트렁크 또는 테일 게이트 스위치 부근에 배치될 수 있으나, 후방 카메라가 배치되는 위치는 이에 제한되지 않는다.
복수의 카메라에서 촬영된 각각의 이미지는, 카메라의 프로세서에 전달되고, 프로세서는 상기 각각의 이미지를 합성하여, 차량 주변 영상을 생성할 수 있다. 이때, 차량 주변 영상은 탑뷰 이미지 또는 버드 아이 이미지로 디스플레이부를 통해 표시될 수 있다.
센싱부(125)는, 차량(100)의 각종 상황을 센싱한다. 이를 위해, 센싱부(125)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 레이더, 라이더 등을 포함할 수 있다.
이에 의해, 센싱부(125)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도 등에 대한 센싱 신호를 획득할 수 있다.
메모리(130)는, 제어부(170)와 전기적으로 연결된다. 메모리(130)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(130)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
출력부(140)는, 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이부, 음향 출력부 및 햅틱 출력부를 포함할 수 있다.
디스플레이부는 제어부(170)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이부는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다. 예를 들어, 디스플레이부는 현재 차량의 속도(또는 속력), 주변차량의 속도(또는 속력) 및 현재 차량과 주변차량 간의 거리 정보를 표시할 수 있다.
한편, 디스플레이부는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이 경우, 운전자는, 시선을 차량 전방에 유지한 채로 클러스터에 표시되는 정보를 확인할 수 있다.
음향 출력부는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부는 스피커 등을 구비할 수 있다.
차량 구동부(150)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는 동력원 구동부, 조향 구동부, 브레이크 구동부, 램프 구동부, 공조 구동부, 윈도우 구동부, 에어백 구동부, 썬루프 구동부 및 서스펜션 구동부를 포함할 수 있다.
동력원 구동부는, 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.
브레이크 구동부는, 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.
램프 구동부는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다. 상술한 추돌 방지 장치는 제어부(170)에 의해 구동될 수 있다.
제어부(170)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
일 실시 예에서 제어부(170)는 차량의 주행 중 ADAS 카메라를 이용하여 도로 영상을 촬영하고, 촬영된 도로 영상으로부터 도로의 수평 데이터를 획득하고, 차량의 주행 중 차량의 센서를 이용하여 차체 기울기를 측정한 기울기 데이터를 획득하고, 획득된 수평 데이터 및 상기 기울기 데이터를 기초로 ADAS 카메라의 위치를 보정한다.
인터페이스부(180)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 이동 단말기(미도시)와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기(미도시)와 연결할 수 있다. 이 경우, 인터페이스부(180)는 이동 단말기와 데이터를 교환할 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
도 2는 도 1에 도시된 차량 운전 보조 시스템(ADAS)의 블록 도이다.
ADAS(200)는, 편의, 안전 제공을 위해 운전자를 보조 하는 차량 운전 보조 시스템이다.
ADAS(200)는, 자동 비상 제동 모듈(이하, AEB: Autonomous Emergency Braking)(210), 전방 충돌 회피 모듈 (이하, FCW: Foward Collision Warning)(211), 차선 이탈 경고 모듈 (이하, LDW: Lane Departure Warning)(212), 차선 유지 보조 모듈 (이하, LKA: Lane Keeping Assist)(213), 속도 지원 시스템 모듈 (이하, SAS: Speed Assist System)(214), 교통 신호 검출 모듈 (TSR: Traffic Sign Recognition)(215), 적응형 상향등 제어 모듈 (이하, HBA: High Beam Assist)(216), 사각 지대 감시 모듈 (이하, BSD: Blind Spot Detection)(217), 자동 비상 조향 모듈 (이하, AES: Autonomous Emergency Steering)(218), 커브 속도 경고 시스템 모듈 (이하, CSWS: Curve Speed Warning System)(219), 적응 순향 제어 모듈 (이하, ACC: Adaptive Cruise Control)(220), 스마트 주차 시스템 모듈 (이하, SPAS: Smart Parking Assist System)(221), 교통 정체 지원 모듈 (이하, TJA: Traffic Jam Assist)(222) 및 어라운드 뷰 모니터 모듈 (이하, AVM: Around View Monitor)(223)을 포함할 수 있다.
상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223)들은 차량 운전 보조 기능 제어를 위한 프로세서를 포함할 수 있다.
상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223)에 포함되는 프로세서는, 제어부(270)의 제어를 받을 수 있다.
상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223) 프로세서는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
AEB(210)는, 검출된 오브젝트와의 충돌을 방지하기 위해, 자동 제동을 제어하는 모듈이다. FCW(211)는, 차량 전방 오브젝트와의 충돌을 방지하기 위해, 경고가 출력되도록 제어하는 모듈이다. LDW(212)는, 주행 중 차선 이탈 방지를 위해, 경고가 출력되도록 제어하는 모듈이다. LKA(213)는, 주행 중 주행 차선 유지하도록 제어하는 모듈이다. SAS(214)는, 설정된 속도 이하로 주행하도록 제어하는 모듈이다. TSR(215)은, 주행 중 교통 신호를 감지하여 감지된 교통 신호를 기초로 정보를 제공하는 모듈이다. HBA(216)는, 주행 상황에 따라 상향등의 조사 범위 또는 조사량을 제어하는 모듈이다. BSD(217)는, 주행 중, 운전자 시야 밖의 오브젝트를 검출하고, 검출 정보를 제공하는 모듈이다. AES(218)는, 비상시 조향을 자동으로 수행하는 모듈이다. CSWS(219)는, 커브 주행시 기 설정 속도 이상으로 주행하는 경우 경로를 출력하도록 제어하는 모듈이다. ACC(220)는, 선행 차량을 추종하여 주행하도록 제어하는 모듈이다. SPAS(221)는, 주차 공간을 검출하고, 주차 공간에 주차하도록 제어하는 모듈이다. TJA(222)는, 교통 정체시 자동 운행하도록 제어하는 모듈이다. AVM(223)은, 차량 주변 영상을 제공하고, 차량 주변을 모니터링하도록 제어하는 모듈이다.
ADAS(200)는, 입력부(230) 또는 센싱부(235)에서 획득한 데이터를 기초로, 각각의 차량 운전 보조 기능을 수행하기 위한 제어 신호를 출력부(250) 또는 차량 구동부(260)에 제공할 수 있다. ADAS(200)는, 상기 제어 신호를, 출력부(250) 또는 차량 구동부(260)에 차량 내부 네트워크 통신(예를 들면, CAN)을 통해, 직접 출력할 수 있다. 또는, ADAS(200)는, 상기 제어 신호를, 제어부(270)를 거쳐, 출력부(250) 또는 차량 구동부(260)에 출력할 수 있다.
도 3은 다른 실시 예에 따른 차량 주행 중 카메라의 위치를 보정할 수 있는 카메라 위치 보정 장치의 개략 도이다.
도 3을 참조하면, 위치 보정 장치는 제어부(300), 카메라(310), 차량 기울기 감지 센서(320) 및 표시부(330)를 포함한다. 여기서, 표시부(330)를 포함하는 것으로 도시하였지만, 제어부(300)가 카메라의 설정값을 이전 설정값으로 자동 보정하는 경우 제외하고 구성할 수 있다.
카메라(310)는 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(300)에 전달할 수 있다. 한편, 차량(100)은 차량 전방 영상을 촬영하는 전방 카메라, 차량 주변 영상을 촬영하는 어라운드 뷰 카메라 및 차량 후방 영상을 촬영하는 후방카메라를 포함할 수 있다. 각각의 카메라는 렌즈, 이미지 센서 및 프로세서를 포함할 수 있다. 프로세서는, 촬영되는 영상을 컴퓨터 처리하여, 데이터 또는 정보를 생성하고, 생성된 데이터 또는 정보를 제어부(300)에 전달할 수 있다. 카메라에 포함되는 프로세서는, 제어부(300)의 제어를 받을 수 있다.
카메라는 스테레오 카메라를 포함할 수 있다. 이 경우, 카메라의 프로세서는, 스테레오 영상에서 검출된 디스페리티(disparity) 차이를 이용하여, 오브젝트와의 거리, 영상에서 검출된 오브젝트와의 상대 속도, 복수의 오브젝트 간의 거리를 검출할 수 있다. 카메라는 TOF(Time of Flight) 카메라를 포함할 수 있다. 이 경우, 카메라는, 광원(예를 들면, 적외선 또는 레이저) 및 수신부를 포함할 수 있다. 이 경우, 카메라의 프로세서는, 광원에서 발신되는 적외선 또는 레이저가 오브젝트에 반사되어 수신될 때까지의 시간(TOF)에 기초하여 오브젝트와의 거리, 오브젝트와의 상대 속도, 복수의 오브젝트 간의 거리를 검출할 수 있다.
한편, 후방 카메라는, 후방 번호판 또는 트렁크 또는 테일 게이트 스위치 부근에 배치될 수 있으나, 후방 카메라가 배치되는 위치는 이에 제한되지 않는다.
복수의 카메라에서 촬영된 각각의 이미지는, 카메라의 프로세서에 전달되고, 프로세서는 상기 각각의 이미지를 합성하여, 차량 주변 영상을 생성할 수 있다. 이때, 차량 주변 영상은 탑뷰 이미지 또는 버드 아이 이미지로 디스플레이부를 통해 표시될 수 있다.
카메라(310)는 차량의 주행 중 도로 영상을 촬영한다. 카메라(310)의 촬영 동작은 제어부(300)의 제어에 따라 또는 차량의 시동 및 주행과 함께 시작될 수 있다. 카메라(310)에서 촬영된 도로 영상은 제어부(300)에 제공된다.
제어부(300)는 도로 영상으로부터 수평 데이터를 획득한다. 도로의 굴곡, 예를 들면 오르막 또는 내리막을 주행하면서 촬영된 도로 영상은 수평이 아닌 상태이지만, 영상의 에지 검출, 수평선 검출 등의 알고리즘을 통해 수평 데이터를 획득할 수 있다. 도 5에 도시된 것처럼, 도로의 수평 데이터로서, 오르막, 내리막, 좌, 우를 모두 포함하는 데이터이다.
차량 기울기 감지 센서(320)는 차량의 차체 기울기를 측정한다. 차량 기울기 감지 센서(320)는 기울기 센서 또는 자이로센서일 수 있다. 제어부(300)는 차량 기울기 감지 센서(320)로부터 측정된 기울기 데이터를 제공받는다. 여기서 기울기는 주행중인 차량의 상하좌우 및 앞뒤 기울기를 포함한다.
제어부(300)는 수평 데이터 및 기울기 데이터를 기초로 카메라의 위치를 보정한다. 예를 들면 도 4에 도시된 것처럼, 오르막에서 내리막으로 변경될 때, 수평값이 달라지므로 카메라의 위치를 자동으로 변경하여 보정한다. 여기서, 보정의 대상은 카메라 또는 카메라 렌즈의 설정값으로, 이전 설정값, 도로가 수평이고, 차체가 기울어지지 않은 상태에서의 설정값을 의미한다.
표시부(330)는 제어부(300)의 제어에 따라 카메라의 위치 보정된 결과를 표시할 수 있다. 예를 들면, 도 6에 도시된 것처럼, 카메라의 불일치 정보를 표시하고, 수평 데이터를 맞추는 형태로 표시할 수 있다. 도 6은 ADAS의 최초 설치시 카메라의 수평 위치를 맞추는 것을 예시한 것으로, 이렇게 맞추어진 ADAS 카메라의 수평 위치가 주행 중 도로 상황, 예를 들면 오르막, 내리막 등을 주행하면서 카메라의 위치가 변경될 수 있으며, 제어부(300)는 카메라가 촬영한 수평 데이터와 기울기 데이터를 기초로, 도 6에 도시된 것처럼, 최초 설정된 카메라 설정값에 대응하도록 카메라 위치를 보정할 수 있다.
도 7은 또 다른 실시 예에 따른 카메라 위치 보정 방법을 설명하기 위한 흐름 도이다.
도 7을 참조하면, 단계 700에서, 카메라로부터 도로 영상을 획득하고, 단계 702에서, 도로의 수평 데이터를 계산한다.
단계 704에서, 기울기 센서로부터 도로를 주행하는 차량의 차체 기울기 데이터를 획득한다.
단계 706에서, 수평 데이터 및 기울기 데이터를 기초로 카메라 위치를 보정한다. 여기서, 카메라 위치는 이전 설정값, 예를 들면 최초 설치시 맞추어진 수평 데이터에 맞는 카메라 설정값으로 자동 수정하는 것을 의미한다.
실시 예에 따른 위치 보정 방법을 통해, 차량이 주행 중에 ADAS의 기본 설정값이 도로의 상황에 따라 틀어짐으로써 감지 성능이 떨어지는 문제점을 해결할 수 있다.
본 실시 예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 실시 예의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. 주행 중 ADAS 카메라의 위치를 보정하는 방법에 있어서,
    차량의 주행 중 ADAS 카메라를 이용하여 도로 영상을 촬영하고, 촬영된 도로 영상으로부터 도로의 수평 데이터를 획득하는 단계 - 상기 도로 영상에 대해 에지 검출 및 수평선 검출 알고리즘을 통해 상기 수평데이터를 획득하고, 상기 도로의 수평 데이터는 오르막, 내리막, 좌우를 포함함 -;
    상기 차량의 주행 중 차량의 센서를 이용하여 차체 기울기를 측정한 기울기 데이터를 획득하는 단계 - 상기 기울기 데이터는 주행중인 차량의 상화좌우 및 앞뒤 기울기를 포함함 - ; 및
    상기 획득된 수평 데이터 및 상기 기울기 데이터를 기초로 상기 ADAS 카메라의 위치를 보정하는 단계를 포함하고,
    상기 보정 단계는,
    상기 ADAS 카메라의 설정 값을 이전 설정 값에 대응되도록 보정하는 것을 특징으로 하는 위치 보정 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 센서는 기울기 센서 또는 자이로센서를 포함하는 것을 특징으로 하는 위치 보정 방법.
  4. 제 3 항에 있어서,
    상기 기울기 센서 또는 자이로센서를 이용하여 주행중인 차량의 상하좌우 및 앞뒤 기울기 데이터를 획득하는 것을 특징으로 하는 위치 보정 방법.
  5. 차량의 주행 중 촬영된 도로 영상으로부터 도로의 수평 데이터를 획득하는 단계 - 상기 도로 영상에 대해 에지 검출 및 수평선 검출 알고리즘을 통해 상기 도로의 수평데이터를 획득하고, 상기 도로의 수평 데이터는 도로의 오르막, 내리막, 좌우를 포함함 -;
    상기 차량의 주행 중 도로의 상태에 따라 기울어진 차제의 기울기를 측정하는 단계 - 상기 기울기는 주행중인 차량의 상화좌우 및 앞뒤 기울기를 포함함 -; 및
    상기 획득된 수평 데이터 및 상기 측정된 기울기를 기초로 카메라의 현재 위치를 보정 하는 단계를 포함하고,
    상기 보정 단계는,
    상기 카메라의 설정 값을 이전 설정 값에 대응되도록 보정하는 것을 특징으로 하는 위치 보정 방법.
  6. 제 1 항, 제 3 항 내지 제 5 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 기록매체.
  7. 주행 중 ADAS 카메라의 위치를 보정하는 장치에 있어서,
    적어도 하나의 프로그램이 저장된 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 위치 보정 장치를 구동하는 프로세서를 포함하고,
    상기 프로세서는,
    차량의 주행 중 ADAS 카메라를 이용하여 도로 영상을 촬영하고, 촬영된 도로 영상으로부터 도로의 수평 데이터 - 상기 도로 영상에 대해 에지 검출 및 수평선 검출 알고리즘을 통해 상기 도로의 수평데이터를 획득하고, 상기 도로의 수평 데이터는 오르막, 내리막, 좌우를 포함함 -를 획득하고,
    상기 차량의 주행 중 차량의 센서를 이용하여 차체 기울기를 측정한 기울기 데이터- 상기 기울기 데이터는 주행중인 차량의 상화좌우 및 앞뒤 기울기를 포함함 -를 획득하고,
    상기 획득된 수평 데이터 및 상기 기울기 데이터를 기초로 상기 ADAS 카메라의 위치를 보정하는 위치 보정 장치.
  8. 주행 중 카메라의 위치를 보정하는 장치에 있어서,
    차량의 주행 중 도로 영상을 촬영하는 카메라;
    상기 차량의 주행 중 도로의 상태에 따라 기울어진 차제의 기울기- 상기 기울기는 주행중인 차량의 상화좌우 및 앞뒤 기울기를 포함함 -를 측정하는 기울기 센서; 및
    상기 촬영된 도로 영상으로부터 수평 데이터- 상기 도로 영상에 대해 에지 검출 및 수평선 검출 알고리즘을 통해 상기 수평데이터를 획득하고, 상기 도로의 수평 데이터는 오르막, 내리막, 좌우를 포함함 -를 획득하고, 상기 획득된 수평 데이터 및 상기 측정된 기울기를 기초로 상기 카메라의 현재 위치를 보정 하는 제어부를 포함하는 위치 보정 장치.
KR1020180076103A 2018-06-29 2018-06-29 주행 중 a d a s 카메라의 위치 보정 방법 및 장치 KR102124998B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180076103A KR102124998B1 (ko) 2018-06-29 2018-06-29 주행 중 a d a s 카메라의 위치 보정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180076103A KR102124998B1 (ko) 2018-06-29 2018-06-29 주행 중 a d a s 카메라의 위치 보정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200002514A KR20200002514A (ko) 2020-01-08
KR102124998B1 true KR102124998B1 (ko) 2020-06-22

Family

ID=69154701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180076103A KR102124998B1 (ko) 2018-06-29 2018-06-29 주행 중 a d a s 카메라의 위치 보정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102124998B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464797A (zh) * 2020-06-03 2020-07-28 上海商汤临港智能科技有限公司 行车辅助设备、方法、车辆及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245821A (ja) * 2009-04-06 2010-10-28 Denso Corp 車両用画像表示装置
JP2017188743A (ja) * 2016-04-04 2017-10-12 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置およびカメラキャリブレーション方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245821A (ja) * 2009-04-06 2010-10-28 Denso Corp 車両用画像表示装置
JP2017188743A (ja) * 2016-04-04 2017-10-12 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置およびカメラキャリブレーション方法

Also Published As

Publication number Publication date
KR20200002514A (ko) 2020-01-08

Similar Documents

Publication Publication Date Title
US10479269B2 (en) Lighting apparatus for vehicle and vehicle having the same
CN107272300B (zh) 车辆驾驶辅助装置
KR101965829B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
CN107272168B (zh) 车辆用照相机
US11472433B2 (en) Advanced driver assistance system, vehicle having the same and method for controlling the vehicle
US10462354B2 (en) Vehicle control system utilizing multi-camera module
US10919528B2 (en) Vehicle driving assistance device and vehicle
US11507789B2 (en) Electronic device for vehicle and method of operating electronic device for vehicle
KR102077575B1 (ko) 차량 운전 보조 장치 및 차량
KR102372566B1 (ko) 차량용 조명 장치 및 차량
KR20200115827A (ko) 운전자 보조 시스템 및 그 제어 방법
KR20200082457A (ko) A d a s 알람 출력 제어 방법 및 장치
KR102094405B1 (ko) 영상을 이용한 사고 유무 판단 방법 및 장치
KR102124998B1 (ko) 주행 중 a d a s 카메라의 위치 보정 방법 및 장치
KR102389728B1 (ko) 차량의 복수의 카메라로부터 획득된 영상처리방법 및 장치
KR102662730B1 (ko) 운전자 보조 장치 및 그 제어 방법
KR102675802B1 (ko) 운전자 보조 시스템 및 그 제어방법
KR102175793B1 (ko) 인지 장애 경고 방법 및 장치
KR102705475B1 (ko) 차량의 핸들 디스플레이의 영상 표시 방법 및 장치
KR20190079334A (ko) 후방 추돌 사고를 방지하는 장치 및 방법
KR102559534B1 (ko) 악천후에서의 차량의 주행차선 지원 방법 및 장치
KR102541416B1 (ko) 실시간 교통정보를 반영한 헤드업 디스플레이 영상 표시 방법 및 장치
KR102719767B1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
KR102244026B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR20220028939A (ko) 사운드 검출 기반의 영상녹화방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant