KR102506811B1 - 자율 주행용 차량의 근접 거리 측정 장치 및 방법 - Google Patents

자율 주행용 차량의 근접 거리 측정 장치 및 방법 Download PDF

Info

Publication number
KR102506811B1
KR102506811B1 KR1020210108343A KR20210108343A KR102506811B1 KR 102506811 B1 KR102506811 B1 KR 102506811B1 KR 1020210108343 A KR1020210108343 A KR 1020210108343A KR 20210108343 A KR20210108343 A KR 20210108343A KR 102506811 B1 KR102506811 B1 KR 102506811B1
Authority
KR
South Korea
Prior art keywords
camera
auxiliary
distance
main
image
Prior art date
Application number
KR1020210108343A
Other languages
English (en)
Other versions
KR20230026609A (ko
Inventor
김배훈
Original Assignee
김배훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김배훈 filed Critical 김배훈
Priority to KR1020210108343A priority Critical patent/KR102506811B1/ko
Publication of KR20230026609A publication Critical patent/KR20230026609A/ko
Application granted granted Critical
Publication of KR102506811B1 publication Critical patent/KR102506811B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

자율 주행용 차량의 주차나 감속 또는 급정거 시 근접한 물체와 차량 간의 거리를 근접 거리 내에서도 정밀하게 측정하고, 이를 기반으로 차량의 자율 주행을 안전하게 제어할 수 있는 자율 주행용 차량의 근접 거리 측정 장치 및 방법에 관한 것이다.

Description

자율 주행용 차량의 근접 거리 측정 장치 및 방법{PROXIMITY DISTANCE MESUREMENT DEVICE AND METHOD FOR AUTONOMOUS VEHICLE}
본 발명은 자율 주행용 차량의 근접 거리 측정 장치 및 방법에 관한 것으로서, 자율 주행용 차량의 주차나 급정거 시 근접한 물체와 차량 간의 거리를 근접 거리 내에서도 정밀하게 측정하고, 이를 기반으로 차량의 자율 주행을 안전하게 제어할 수 있는 자율 주행용 차량의 근접 거리 측정 장치 및 방법에 관한 것이다.
자율 주행 차량의 주행 시 차량을 둘러싼 주행 환경 파악은 특히 중요한 역할이다. 그리고 시각 정보의 처리는 주행 환경 파악에 가장 큰 비중을 차지하는 과정이다.
자율 주행 차량은 시각 정보에서 객체를 탐지하고, 이를 토대로 차량의 이동 경로를 계획하고, 차량을 구동하여 움직인다.
자율 주행 차량 분야의 객체 인식은 타 분야 객체 인식과 달리 다양하고 이질적인 센서를 동시에 활용하는데, 이는 어느 한 센서의 정보만으로는 만족할 만한 객체 인식이 이루어지지 않기 때문이다.
자율 주행 차량의 시각 정보를 수집하는 센서로 라이다, 레이더 및 카메라가 있다.
라이다와 레이더는 모두 전자기적 파동을 외부로 송신하여 물체에 의해 산란한 신호를 수집한다.
라이다는 3차원 정보를 가공해 제공하기 때문에 자율 주행 차량에 사용하기 적합하지만 속도를 직접 측정할 수 없고, 악천후 강한 햇빛 등의 열악한 환경에서 원거리 인식 능력 저하의 우려가 있다.
레이더는 외부와의 거리와 속도를 직접 감지할 수 있고, 라이더보다 원거리 인식이 가능하지만, 분해능이 떨어지고 대상물이 사람이나 차량일 경우에 부적합한 문제가 있다.
이 외에 최근 자동차 주차 시 인접 차량과 근접하는 경우 경고음을 내는 센서로 많이 사용하는 초음파 센서가 있다. 초음파 센서는 기계적인 음파를 발생하고 주변 물체와의 반사를 측정하여 거리를 계산한다. 악천후에도 오류없이 작동하며, 심지어 센서가 먼지에 덮이는 악조건에서도 잘 작동하지만, 아직 자율 주행 차량에 보편적으로 채택되지는 않고 있다.
자율 주행 차량에서 시각 정보를 수집하는 대표적인 센서는 카메라다. 카메라는 풍부한 정보를 수집할 수 있지만, 객체를 인식하려면 여러 연산이 필요하다.
자율 주행 차량은 객체를 인식할 뿐만 아니라 객체가 멀리 또는 가깝게 있는지를 판별하여 가까운 물체에 더 집중해야 자율 주행의 정확성과 안정성을 보장할 수 있다.
이에 자율 주행 차량은 카메라를 이용해서도 외부 객체를 인식하고, 객체와의 거리를 신속하고 정확하게 산출하기 위한 새로운 기술이 필요하다.
(특허문헌 0001) 대한민국 등록특허 제10-2249769호
(특허문헌 0002) 대한민국 등록특허 제10-2022773호
본 발명은 종래의 문제를 해결하기 위해 안출한 것으로서, 본 발명은 자율 주행용 차량의 주차나 급정거 시 근접한 물체와 차량 간의 거리를 근접 거리 내에서도 정밀하게 측정하고, 이를 기반으로 차량의 자율 주행을 안전하게 제어할 수 있는 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 실시예에 따른 자율 주행 차량용 근접 거리 측정 장치는 자율 주행용 차량의 적어도 일부에 구비되어 메인 이미지를 획득하는 메인 카메라; 상기 메인 카메라와 한 쌍으로 구비되어 보조 이미지를 획득하는 보조 카메라; 및 상기 자율 주행용 차량의 주행 속도가 미리 설정된 소정의 속도 범위 이하일 경우, 근접 모드를 실행하여 상기 메인 카메라 및 보조 카메라를 함께 동작시켜 상기 메인 이미지, 보조 이미지 및, 상기 메인 카메라와 상기 보조 카메라 사이의 거리에 기초하여 상기 차량에 근접한 물체와 상기 차량 간의 거리를 산출하는 프로세서;를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 자율 주행 차량용 근접 거리 측정 방법은 자율 주행용 차량의 속도를 감지하는 단계; 상기 감지된 속도를 미리 설정된 소정의 속도 범위와 비교하는 단계; 상기 자율 주행용 차량이 상기 속도 범위 이하인 경우, 근접 모드를 실행하여 메인 카메라 및 보조 카메라를 함께 동작시키는 단계; 상기 메인 카메라로부터 메인 이미지를 획득하고, 상기 보조 카메라로부터 보조 이미지를 획득하는 단계; 및 상기 메인 이미지, 보조 이미지 및, 상기 메인 카메라와 상기 보조 카메라 사이의 거리에 기초하여 상기 차량에 근접한 물체와 상기 차량 간의 거리를 산출하는 단계를 포함하는 것을 특징으로 한다.
상기와 같은 본 발명의 실시예에 따른 자율 주행용 차량의 근접 거리 측정 장치는 차량의 주행 속도에 따라 주행 모드 또는 근접 모드를 실행하고, 근접 모드에서는 주차나 급정거 시 근접한 물체와 차량 간의 거리를 근접 거리 내에서도 정밀하게 측정하고, 이를 기반으로 차량의 자율 주행을 안전하게 제어할 수 있다.
도 1은 본 발명의 실시예에 따른 자율 주행용 차량의 근접 거리 측정 장치의 구성을 도시하는 블록도이다.
도 2는 본 발명의 자율 주행용 차량의 근접 거리 측정 장치의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 자율 주행 차량용 근접 거리 측정 장치가 근접 물체까지의 거리를 산출하는 일 예를 도시하는 도면이다.
도 4는 본 발명의 실시 예에 따른 메인 카메라 및 보조 카메라의 다른 구성의 일 예를 도시하는 도면이다.
도 5는 본 발명의 실시 예에 따른 메인 카메라 및 보조 카메라의 다른 구성의 일 예를 도시하는 도면이다.
도 6은 본 발명의 실시 예에 따른 자율 주행용 차량의 근접 거리 측정 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 자율 주행용 차량의 뷰어의 일 실시예를 도시한다.
도 8은 본 발명의 다른 실시예에 따른 자율 주행용 차량의 뷰어를 통해 촬영 가능한 거리를 도시하는 예시도이다.
도 9는 본 발명의 실시예에 따른 자율 주행용 차량의 뷰어를 실장하는 일체형 프레임의 일 예를 도시하는 도면이다.
도 10은 본 발명의 실시예에 따른 일체형 프레임 내에 탑재되는 뷰어 및 주변장치의 일 예를 도시하는 도면이다.
도 11은 본 발명의 실시예에 따른 일체형 프레임 내에 탑재되는 뷰어 및 프로세서의 배선의 일 예를 도시하는 도면이다.
이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.
도 1은 본 발명의 실시예에 따른 자율 주행용 차량의 근접 거리 측정 장치의 구성을 도시하는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 자율 주행용 차량의 근접 거리 측정 장치는 메인 카메라(100), 보조 카메라(200) 및 프로세서(300)를 포함한다.
메인 카메라(100)는 차량의 자율 주행을 위해 외부 영상을 촬영하고, 촬영된 영상 데이터를 프로세서(300)로 전송한다. 보조 카메라(200)는 메인 카메라(100)와 한 쌍으로 구비되어 보조 이미지를 획득하면 프로세서(300)로 전송한다. 메인 카메라(100) 및 보조 카메라(200)의 구동에 대해서는 이하에서 상세히 설명하기로 한다.
본 발명의 실시예에서 메인 카메라(100) 및 보조 카메라(200)는 차량의 내부에 설치하는 것보다 화각을 좁혀 영상 데이터를 처리하는 부하를 줄이기 위해 차량의 외부에 설치하기로 하지만, 경우에 따라서는 차량의 내부에 설치할 수도 있으며 설치 위치에 대해서는 한정하지 않는다.
프로세서(300)는 자율 주행용 차량의 근접 거리 측정 장치의 전반적인 동작을 제어한다. 특히, 프로세서(300)는 자율 주행용 차량의 주행 속도를 감지하고, 감지된 주행 속도에 따라 근접 거리 측정 장치를 주행 모드 및 근접 모드로 실행시킬 수 있다.
일 실시예로, 프로세서(300)는 자율 주행용 차량이 미리 설정된 소정의 속도 범위 이상으로 주행하는 것으로 감지되면 주행 모드를 실행하고, 자율 주행용 차량이 미리 설정된 소정의 속도 범위 이하로 주행하는 것으로 감지되면 근접 모드를 실행한다.
주행 모드는 일반적으로 자율 주행 차량에서 이용되는 카메라를 통해 주행 중에 전방 영상을 촬영하며 촬영된 영상을 프로세서(300)로 전송하여 소정 속도 이상으로 주행중인 차량을 제어하는 데에 활용하는 실행을 의미한다. 이때 이용되는 카메라를 본 발명에서는 메인 카메라(100)로 설정할 수 있다.
근접 모드는 자율 주행 차량이 미리 설정된 소정 범위의 속도 이하로 주행하는 것으로 감지되면, 메인 카메라(100)와 한 쌍으로 구비된 보조 카메라(200)를 함께 동작시켜 메인 카메라(100)와 보조 카메라(200)로 획득한 이미지들을 이용하여 차량에 근접한 물체와 차량 간의 근접 거리를 측정하여 프로세서(300)로 측정된 거리 정보를 전송하는 실행을 의미한다.
자율 주행 차량이 기 설정된 속도 범위 이하로 주행하는 경우는 예를 들면, 주차중인 상태, 감속 중인 상태, 급 정거 중인 상태 등일 수 있다. 이에 주차 중이라면 인접한 측벽과 차량 간의 근접 거리를 정밀하게 측정하고, 급 정거 중이거나 감속 중인 상태에서는 근접한 물체와 차량 간의 근접 거리를 정밀하게 측정하여 측정된 거리 정보를 기반으로 차량을 제어하여 충돌을 방지하고 자율 주행의 안전성과 정확성을 높일 수 있을 것이다.
도 2는 본 발명의 자율 주행용 차량의 근접 거리 측정 장치의 구성을 개략적으로 도시한 도면이다.
도 2를 참조하면, 메인 카메라(100)는 자율 주행용 자동차의 카메라에 주로 채용되는 볼록렌즈(110)로 구성되고, 볼록렌즈(110)를 실장하는 메인 밀폐 하우징(110)을 구비한다. 메인 카메라(100)는 근접 물체에 대한 메인 이미지를 획득할 수 있다.
보조 카메라(200)는 핀홀 카메라로 구비될 수 있고, 메인 카메라(100)와 한 쌍으로 구비되어 보조 이미지를 획득한다. 보조 카메라(200) 전방에 대응하는 위치에 핀홀이 형성된 핀홀 렌즈(201), 핀홀 렌즈(201)의 전방에 대응하는 일부에 개폐 가능한 광투과부(202), 프로세서(300)의 제어에 의해 광투과부(202)의 개폐를 조절함으로써 핀홀을 외부로부터 개폐하는 핀홀 개폐 밸브(204)로 구성되고, 이들을 실장하는 보조 밀폐 하우징(205)을 구비한다.
핀홀 카메라는 작은 구멍인 핀홀(pinhole)을 통해 빛을 통과시켜 이미지 센서에 의해 피사체 정보를 감지하여 영상 신호로 변환함으로써 촬영하는 카메라이다. 핀홀 렌즈는 바늘구멍에서도 영상을 명확하게 확인할 수 있고, 초소형으로 설치장소에 구애받지 않고 설치 가능한 장점이 있다.
핀홀 카메라는 볼록 렌즈를 사용하는 카메라와 달라서 근접 거리에서 원거리까지 모두 초점이 잘 맞는 특징이 있지만, 홀(hole)을 통하여 들어오는 빛의 양이 적기 때문에 장시간의 노출을 필요로 하며, 움직이는 물체의 촬영에는 적합하지 않기 때문에 보조 카메라로 채용된다.
메인 카메라(100) 및 보조 카메라(200)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구비될 수 있고, 결상면에 결상된 광학 이미지를 화상 신호로 변환할 수 있다.
보조 카메라(200)는 메인 카메라(100)와 전방이 동일한 방향을 향하도록 구비될 수 있다. 그리고, 한 쌍의 메인 카메라(100) 및 보조 카메라(200)는 차량의 여러 부분에 구비될 수 있으며, 프로세서(300)는 각 쌍의 카메라들과 연결되어 공유될 수 있다.
구체적으로, 프로세서(300)는 자율 주행용 차량의 주행 속도가 제1 속도 범위 이상으로 감지된 경우에는 주행 모드를 실행한다. 주행 모드는 전술했듯이 일반적으로 자율 주행 차량에 탑재된 보통의 카메라를 통해 영상을 획득하여 프로세서(300)로 전송하는 실행을 의미한다.
그리고, 프로세서(300)는 자율 주행용 차량의 주행 속도가 미리 설정된 제2 속도 범위 이하로 감지되는 경우, 근접 모드를 실행하여 메인 카메라(100) 및 보조 카메라(200)를 함께 동작시켜 메인 카메라(100)로부터 메인 이미지를 획득하고, 보조 카메라(200)로부터 보조 이미지를 획득할 수 있다. 여기서, 제1 속도 범위와 제2 속도 범위는 설계자의 설정에 따라 동일한 수치로 설정될 수도 있고, 서로 상이한 수치로 설정될 수도 있다.
프로세서(300)는 근접 모드 실행 시, 핀홀 밸브 오픈 신호를 핀홀 개폐 밸브(204)로 전송하여 광투과부(202)를 오픈시켜, 보조 카메라(200)를 통해 근접 물체에 대한 보조 이미지를 획득할 수 있다.
일 실시예로, 프로세서(300)는 메인 이미지와 보조 이미지의 각각에서 근접 물체를 검출하고, 검출된 근접 물체의 좌표를 포함하는 검출 영역 정보를 산출할 수 있다.
이미지에서 근접 물체를 검출하기 위해 공지의 기술을 이용할 수 있다. 예를 들어, 프로세서(300)는 물체의 외형에 기반한 패턴 인식을 이용하여 근접 물체를 검출한다. 다양한 물체 외형의 학습 영상 집합에 대한 패턴 인식으로 물체 패턴을 학습하고 학습된 모델을 이용하여 근접 물체를 검출할 수 있으며, 예를 들어, 선형판별식 해석, 인공신경망, 아다부스트, Haar 특징 필터, 서포트 벡터 머신 등의 방법이 사용될 수 있다. 그러나, 프로세서(300)는 이러한 물체 검출 방식에 한정되지 않고 공지된 다양한 방식과 알고리즘을 이용하여 메인 이미지와 보조 이미지에서 근접 물체를 인식하고 검출할 수 있다.
프로세서(300)는 메인 이미지와 보조 이미지의 각각에서 매칭 포인트를 검출한다. 본 발명의 일 실시예에서 매칭 포인트는 메인 이미지와 보조 이미지에 기초하여 촬영 대상이 된 근접 물체까지의 거리를 산출할 때 기준이 되는 특징점 또는 특징 영역으로서, 메인 이미지와 보조 이미지의 각각에서 동일한 특징점을 각각 검출한다.
일 실시예로, 근접 물체가 차량으로 분석된 경우 프로세서(300)는 메인 이미지와 보조 이미지의 각각에서 검출한 차량의 특정 부품을 임의의 특징점으로 선정하여 이를 매칭 포인트로서 검출할 수 있다.
예를 들어, 근접한 차량의 두 헤드 라이트 사이의 중심점을 매칭 포인트로서 설정하며, 이 경우 각 이미지에서 두 헤드라이트의 무게중심을 계산하여 매칭 포인트를 검출할 수 있다. 무게 중심 계산은 일반적인 2차원 형상 면적이나 픽셀 영역에서 무게 중심점을 계산하는 공지의 알고리즘을 이용하여 계산할 수 있다.
프로세서(300)는 메인 이미지와 보조 이미지에서 각각 검출된 매칭 포인트에 기초하여 카메라(100, 200)에서부터 근접 물체까지의 거리를 산출한다. 일 실시예에서 프로세서(300)는 메인 이미지와 보조 이미지를 정합하여 근접 물체까지의 거리를 측정할 수 있다.
도 3은 본 발명의 실시예에 따른 자율 주행 차량용 근접 거리 측정 장치가 근접 물체까지의 거리를 산출하는 일 예를 도시하는 도면이다.
도 3을 참조하면, 메인 카메라(100)와 보조 카메라(200)가 각각 동일한 시야각으로 각 카메라의 정면을 바라보도록 설치되어 전방의 근접 물체(S)를 촬영한다. 이때 두 카메라(100, 200)는 소정 거리(D)만큼 이격 거리를 갖는다.
일 실시예로, 근접 물체(S)가 소정 위치에 있을 경우, 메인 카메라(100)가 촬영한 메인 이미지에서 근접 물체(S)의 매칭 포인트와 메인 이미지의 중심 사이의 각도가 제1 각도(θ1)로 측정되고, 보조 카메라(200)가 촬영한 보조 이미지에서는 근접 물체(S)의 매칭 포인트와 보조 이미지의 중심 사이의 각도는 제2 각도(θ2)로 측정된다.
따라서, 프로세서(300)는 각 이미지에서 제1 각도 (θ1)와 제2 각도(θ2)를 각각 산출하고 이 각도 및 카메라 사이의 거리(D)에 기초하여 카메라(100, 200)가 탑재된 차량으로부터 근접 물체(S)까지의 거리를 계산할 수 있다.
도 4 및 도 5는 본 발명의 실시 예에 따른 메인 카메라 및 보조 카메라의 다른 구성의 일 예를 도시하는 도면이다.
도 4를 참조하면, 보조 카메라(200)는 메인 카메라(100)와 전방이 동일한 방향을 향하도록 배치될 수 있으며, 메인 카메라(100)의 인접한 영역에 복수 개 구비될 수 있다.
도 4는 복수 개의 보조 카메라(210 ~ 240)가 메인 카메라(100)를 중심으로 일 직선으로 구비된 예를 도시하고, 도 5는 복수 개의 보조 카메라(210 ~ 270)가 메인 카메라(100)를 360도 방향으로 에워싸고 있는 구성을 도시한다.
이러한 구성을 기반으로, 프로세서(300)는 하나의 메인 카메라(100)에 대응하는 각 보조 카메라(210 ~ 270)를 한 쌍씩 이용하여 산출된 근접 물체까지의 거리들에 대해 평균값을 산출하고, 산출된 평균값을 차량으로부터 근접 물체(S)까지의 거리로 최종 결정할 수 있다.
이에, 차량에 탑재된 카메라로부터 근접 물체까지 측정한 거리에 대한 오차율을 줄일 수 있다. 이와 같이 본 발명은 자율 주행용 차량에서 고가의 장비를 사용하지 않으면서도, 근접 물체에 대해 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있다.
다른 실시예로서, 프로세서(300)는 메인 카메라(100)에 대응하는 복수 개의 각 보조 카메라(210 ~ 270)를 한 쌍씩 이용하여 산출된 근접 물체까지의 거리들을 이용하여 근접 물체의 길이, 폭 그리고 높이를 산출할 수 있고, 산출된 근접 물체의 길이, 폭 및 높이를 기반으로 부피를 산출할 수 있다. 근접 물체까지의 거리 산출 이전에, 근접 물체의 외형에 기반한 패턴 인식을 이용하여 근접 물체를 검출하는 방식에 대해서는 앞서 전술한바 있다.
이와 같이 본 발명은 메인 카메라(100)에 대응하는 복수 개의 각 보조 카메라(210 ~ 270)를 한 쌍씩 이용하여 근접 물체의 부피까지 산출함으로써, 주행 환경 인지에 정확성을 높이고, 자율 주행의 안정성을 더욱 높일 수 있다.
도 6은 본 발명의 실시 예에 따른 자율 주행용 차량의 근접 거리 측정 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 자율 주행용 차량의 속도를 감지하고(S100), 상기 감지된 속도를 미리 설정된 소정의 속도 범위(제1 속도 범위)와 비교하여(S110), 감지된 속도가 제1 속도 범위 이상인 경우에는 주행이 종료될 때까지 주행 모드를 실행한다(S120). 주행 모드를 실행하면서도 차량의 속도가 제1 속도 범위 미만으로 감지되는 경우에는 S140 단계로 전환한다.
S110 단계에서 차량의 감지된 속도가 제1 속도 범위 미만인 경우, 미리 설정된 제2 속도 범위 이하인지 비교하여(S140), 감지된 속도가 제2 속도 범위 이하인 경우에는 근접 모드를 실행한다(S150). 이에, 메인 카메라 및 보조 카메라를 함께 동작시키고(S160), 메인 카메라로부터 메인 이미지를 획득하고, 상기 보조 카메라로부터 보조 이미지를 획득하여(S170), 차량으로부터 근접 물체까지의 거리를 산출한다(S180).
구체적으로, 메인 이미지와 보조 이미지의 각각에서 매칭 포인트를 검출한다. 상기 매칭 포인트는 메인 이미지와 보조 이미지에 기초하여 촬영대상이 된 근접 물체까지의 거리를 산출할 때 기준이 되는 특징점 또는 특징 영역으로서, 메인 이미지와 보조 이미지의 각각에서 동일한 특징점을 각각 검출한다.
일 예로, 근접 물체가 차량으로 분석된 경우 메인 이미지와 보조 이미지의 각각에서 검출한 차량의 특정 부품을 임의의 특징점으로 선정하여 이를 매칭 포인트로서 검출할 수 있다. 이에, 메인 이미지와 보조 이미지에서 각각 검출된 매칭 포인트에 기초하여 카메라들에서부터 근접 물체까지의 거리를 산출한다. 일 실시예에서 메인 이미지와 보조 이미지를 정합하여 근접 물체까지의 거리를 측정할 수 있다.
이와 같이 산출된 근접 물체까지의 거리 정보를 기반으로 주행이 종료될 때까지 자율 주행 차량의 주행을 제어한다(S190). 주행이 종료되기 전까지는 계속 주행 속도를 감지하면서, 주행 속도가 변하는 경우 주행 모드로 변경될 수도 있고, 실시간 주행 속도에 따라 근접 모드를 유지할 수도 있다.
이와 같은 본 발명의 실시예에 따른 자율 주행용 차량의 근접 거리 측정 장치는 차량의 주행 속도에 따라 주행 모드 또는 근접 모드를 실행하여, 근접 모드에서는 주차나 급정거 시 근접한 물체와 차량 간의 거리를 근접 거리에서도 정밀하게 측정하고, 이를 기반으로 차량의 자율 주행을 안전하게 제어할 수 있다.
아울러, 차량이 움직이면서 측정되는 라이다의 데이터는 상대 속도에 따른 오차와 차량의 흔들림으로 발생하는 오차가 발생하기 때문에 정밀도가 떨어지는 반면, 본 발명은 2차원 영상을 획득하여, 정적인 상태(촬영된 영상)에서의 2차원 영상으로부터 3차원의 상대 좌표를 대응시킬 수 있기 때문에 정밀도를 높일 수 있다.
도 7은 본 발명의 다른 실시예에 따른 자율 주행용 차량의 뷰어의 일 실시예를 도시한다. 도 7을 참조하면, 본 발명의 다른 실시예에 따른 자율 주행용 차량의 뷰어는 차량의 외곽 둘레를 따라 구비되는 전방 좌측 뷰어(10), 전방 중심 뷰어(20), 전방 우측 뷰어(30), 우측 사이드 뷰어(40), 좌측 사이드 뷰어(50) 및 후방 중심 뷰어(60)를 포함한다.
각 뷰어(10~60)는 전술한 메인 카메라(100)와 보조 카메라(200)가 한 쌍으로 구성된 적어도 하나의 카메라 모듈로 구성될 수 있다. 각 뷰어(10~60)는 프로세서(300)에 의해 동작이 제어될 수 있다. 보조 카메라(200)는 전술한 실시예와 동일하게 핀홀 카메라로 구비되고, 프로세서(300)가 핀홀 밸브 오픈 신호를 핀홀 개폐 밸브(204)로 전송하여 광투과부(202)를 오픈시킴으로써 촬영이 가능하다.
구체적으로, 전방 좌측 뷰어(10)는 전술한 메인 카메라(101~103)와 보조 카메라(201~203)가 한 쌍으로 구성된 카메라 모듈을 복수 개 포함하고, 일 실시예로 제1 카메라 모듈(101, 201), 제2 카메라 모듈(102, 202) 및 제3 카메라 모듈(103, 203)이 차량의 전방 좌측 모서리에 구비될 수 있다.
전방 중심 뷰어(20)는 메인 카메라(104)와 보조 카메라(204)가 한 쌍으로 구성된 제4 카메라 모듈(104, 204)을 한 개 포함하여 차량의 전방 중심에 구비될 수 있다.
전방 우측 뷰어(30)는 메인 카메라(105~107)와 보조 카메라(205~207)가 한 쌍으로 구성된 카메라 모듈을 복수 개 포함하고 일 실시예로, 제5 카메라 모듈(105, 205), 제6 카메라 모듈(106, 206) 및 제7 카메라 모듈(107, 207)이 차량의 전방 우측 모서리에 구비될 수 있다.
우측 사이드 뷰어(40)는 메인 카메라(108, 109)와 보조 카메라(208, 209)가 한 쌍으로 구비된 카메라 모듈을 복수 개 포함하고 일 실시예로, 제8 카메라 모듈(108, 208) 및 제9 카메라 모듈(109, 209)이 차량의 우측 중심 사이드에 구비될 수 있다.
좌측 사이드 뷰어(50)는 메인 카메라(111, 112)와 보조 카메라(211, 212)가 한 쌍으로 구비된 카메라 모듈을 복수 개 포함하고 일 실시예로, 제10 카메라 모듈(111, 211) 및 제11 카메라 모듈(112, 212)이 차량의 좌측 중심 사이드에 구비될 수 있다.
후방 중심 뷰어(60)는 메인 카메라(113)와 보조 카메라(213)가 한 쌍으로 구성된 제12 카메라 모듈(113, 213)을 한 개 포함하여 차량의 후방 중심에 구비될 수 있다.
이와 같이 구성된 자율 주행용 차량의 뷰어를 통해 본 발명의 자율 주행용 차량은 도 8에 도시된 바와 같이 근접 거리(A), 단거리(B), 중거리, 장거리를 촬영할 수 있다.
구체적으로, 프로세서(300)는 제1 카메라 모듈부터 제12 카메라 모듈 각각을 기반으로 도 3을 통해 전술한 한 쌍의 메인 카메라(100) 및 보조 카메라(200)에 기초하여 근접 거리(A)를 촬영할 수 있다.
즉, 근접 거리(A) 촬영을 위해 프로세서(300)는 한 쌍의 메인 카메라(100) 및 보조 카메라(200)를 함께 동작 시킨다. 여기서, 한 쌍의 카메라 모듈의 메인 카메라와 보조 카메라가 이루는 화각을 제1 화각으로 설명하기로 한다.
전방 좌측 뷰어(10)에서 근접 거리(A) 촬영을 위해 제1 카메라 모듈(101, 201), 제2 카메라 모듈(102, 202) 및 제3 카메라 모듈(103, 203) 각각을 모두 동작시키면, 근접 거리(A) 촬영을 위한 135도 화각으로 전방 촬영이 가능하다.
전방 우측 뷰어(30)도 마찬가지로 제5 카메라 모듈(105, 205), 제6 카메라 모듈(106, 206) 및 제7 카메라 모듈(107, 207) 각각을 모두 동작시키면 근접 거리(A) 촬영을 위한 135도 화각으로 전방 촬영이 가능하다.
단거리(B) 촬영을 위해 프로세서(300)는 인접한 두 쌍의 카메라 모듈 중 한 쌍에서는 메인 카메라를 구동시키고, 다른 한 쌍에서는 보조 카메라를 구동시킴으로써, 근접 거리(A)보다 좀 더 길어진 단거리(B)를 촬영할 수 있다.
여기서, 인접한 두 쌍의 카메라 모듈은 제1 카메라 모듈(101, 201) 및 제2 카메라 모듈(102, 202)과 같이 서로 바로 옆에 구비된 두 개의 카메라 모듈을 의미한다. 즉, 두 카메라 모듈 간에 이격 거리를 거의 무시할 만큼 이웃하도록 구비된 두 개의 카메라 모듈을 의미한다.
일 실시예로, 인접한 두 쌍의 카메라 모듈 중 좌측 카메라 모듈의 메인 카메라와 우측 카메라 모듈의 보조 카메라를 구동시켜 이들이 이루는 제2 화각을 기반으로 단거리(B)를 촬영할 수 있다. 제2 화각은 제1 화각보다 크기 때문에 근접 거리(A)보다 긴 단거리(B) 촬영이 가능하다.
중거리 촬영(B)을 위해 프로세서(300)는 제1 거리만큼 이격된 두 쌍의 카메라 모듈 중 한 쌍에서는 메인 카메라를 구동시키고, 다른 한 쌍에서는 보조 카메라를 구동시킴으로써, 단거리(B)보다 좀 더 길어진 중거리(C)를 촬영할 수 있다.
여기서, 제1 거리만큼 이격된 두 쌍의 카메라 모듈은 제1 카메라 모듈(101, 201) 및 제11 카메라 모듈(112, 212)과 같이 소정 거리 이격 구비된 두 개의 카메라 모듈을 의미한다.
일 실시예로, 제1 거리만큼 이격된 두 쌍의 카메라 모듈 중 좌측 카메라 모듈의 메인 카메라와 우측 카메라 모듈의 보조 카메라를 구동시켜 이들이 이루는 제3 화각을 기반으로 중거리(C)를 촬영할 수 있다. 제3 화각은 제2 화각보다 크기 때문에 단거리(B)보다 긴 중거리(C) 촬영이 가능하다.
장거리 촬영(C)을 위해 프로세서(300)는 제2 거리만큼 이격된 두 쌍의 카메라 모듈 중 한 쌍에서는 메인 카메라를 구동시키고, 다른 한 쌍에서는 보조 카메라를 구동시킴으로써, 중거리(C)보다 좀 더 길어진 장거리(D)를 촬영할 수 있다.
여기서, 제2 거리만큼 이격된 두 쌍의 카메라 모듈은 제1 카메라 모듈(101, 201) 및 제5 카메라 모듈(105, 205)과 같이 소정 거리 이격 구비된 두 개의 카메라 모듈을 의미한다. 이때, 제2 거리는 상기 제1 거리보다 길게 설정된다.
일 실시예로, 제2 거리만큼 이격된 두 쌍의 카메라 모듈 중 좌측 카메라 모듈의 메인 카메라와 우측 카메라 모듈의 보조 카메라를 구동시켜 이들이 이루는 제4 화각을 기반으로 장거리(D)를 촬영할 수 있다. 제4 화각은 제3 화각보다 크기 때문에 중거리(C)보다 긴 장거리(D) 촬영이 가능하다.
본 발명의 자율 주행용 차량의 뷰어는 설계자의 설계에 따라 단거리(B)로서 0.02~3m 커버가 가능하고, 중거리(C)로서 2~40m 커버가 가능하며, 장거리로서 30~100m 커버가 가능하다.
이와 같이 본 발명의 실시예에 의한 자율 주행용 차량의 뷰어는 자율 주행 차량의 둘레를 따라 복수의 카메라 모듈을 구비하고, 프로세서(300)가 차량으로부터 주변을 촬영하고자 하는 거리 범위(근접거리, 단거리, 중거리 및 장거리)에 따라 복수의 카메라 모듈들 간의 이격 거리를 기반으로 두 쌍의 카메라 모듈을 선택하여, 선택된 두 쌍의 카메라 모듈의 메인 카메라 및 보조 카메라를 이용하여 선택적인 거리 촬영이 가능하다.
이에 의해, 본 발명의 실시예에 의한 자율 주행용 차량의 뷰어를 통해 차량으로부터 근접 거리, 단거리, 중거리 및 장거리까지 주변 거리를 다양하게 촬영하여 제공함으로써, 안전한 주행을 보장하고 사고를 예방할 수 있다.
도 9 내지 도 11은 본 발명의 실시예에 따른 자율 주행용 차량의 뷰어를 실장하는 일체형 프레임의 일 예를 도시하는 도면이다.
자율 주행용 차량의 뷰어를 실장하는 일체형 프레임(70)은 차량의 적어도 일부에 착탈 가능하게 장착할 수 있도록 프레임의 형태로 구성된다. 일 실시예로, 차량의 적어도 일부의 둘레의 형태와 동일한 형태로 구비될 수 있고, 도 9에서는 차량의 전방과 좌우측 일부의 둘레를 따라 'ㄷ'자 형태로 구비된 일 예를 도시한다.
도시되지 않았지만, 일체형 프레임(70)을 차량에 착탈 가능하게 장착되도록 하는 장착 수단을 더 포함하여 구성될 수 있고, 장착 수단은 나사, 클립, 장착용 자석 등과 같이 다양한 실시예 중 어느 하나로 구성될 수 있다.
프레임의 성분은 차체의 물질과 동일한 물질로 구비될 수 있다.
전술한 자율 주행용 차량의 외곽 둘레를 따라 구비되는 전방 좌측 뷰어(10), 전방 중심 뷰어(20), 전방 우측 뷰어(30), 우측 사이드 뷰어(40) 및 좌측 사이드 뷰어(50)가 일체형 프레임(70)의 내부에 구비될 수 있고, 각 뷰어를 구성하는 카메라 모듈들의 렌즈 부분에 대응하는 일부는 노출될 수 있다.
전술한 'ㄷ'자 형태의 일체형 프레임(70)과 다른 구조의 실시예로 'ㅁ'자 형태로 구비되면, 일체형 프레임(70)은 전방 좌측 뷰어(10), 전방 중심 뷰어(20), 전방 우측 뷰어(30), 우측 사이드 뷰어(40) 및 좌측 사이드 뷰어(50)와 더불어 후방 중심 뷰어(60)까지 일체형 프레임(70)에 실장할 수 있다.
아울러, 일체형 프레임(70)의 각 변은 차량의 크기에 따라 일체형 프레임(70)의 크기를 조절하여 차량에 장착할 수 있는 슬라이드 구조로 구비되거나, 신축이 가능한 링크 연결 구조로 구비될 수 있다. 한편, 일체형 프레임(70)을 구현하는 일 예는 상기한 슬라이드식이나 링크 구조에 한정되지 않고, 다양한 다른 실시예로 구현되는 것도 가능하다.
도 10을 참조하면, 자율 주행용 차량의 뷰어를 실장하는 일체형 프레임(70)은 내부에 각 카메라를 클리닝하기 위해 이용되는 에어 펌프(81), 에어 탱크(82) 및 용제부(83)를 탑재할 수 있고, 일체형 프레임(70) 내부에 탑재되는 각 구성에 전원을 공급하는 파워부(84)를 더 탑재할 수 있다.
도 11은 자율 주행용 차량의 뷰어를 실장하는 일체형 프레임(70)에 실장된 전방 좌측 뷰어(10), 전방 중심 뷰어(20), 전방 우측 뷰어(30), 우측 사이드 뷰어(40), 좌측 사이드 뷰어(50) 및 후방 중심 뷰어(60)가 하나의 프로세서(300)에 연결되는 배선의 일 예를 도시한다.
본 발명에 따른 방법 및 장치는 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세서를 수행하도록 하는 명령에 의하여 구동될 수 있다.
예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
100: 메인 카메라
200: 보조 카메라
300: 프로세서

Claims (14)

  1. 자율 주행용 차량의 적어도 일부에 구비되어 메인 이미지를 획득하는 메인 카메라;
    상기 메인 카메라와 한 쌍으로 구비되어 보조 이미지를 획득하는 보조 카메라; 및
    상기 자율 주행용 차량의 주행 속도가 미리 설정된 소정의 속도 범위 이하일 경우, 근접 모드를 실행하여 상기 메인 카메라 및 보조 카메라를 함께 동작시켜 상기 메인 이미지, 보조 이미지 및, 상기 메인 카메라와 상기 보조 카메라 사이의 거리에 기초하여 상기 차량에 근접한 물체와 상기 차량 간의 거리를 산출하는 프로세서를 포함하고,
    상기 메인 카메라와 상기 보조 카메라는 동일한 방향을 향하도록 구비되고,
    상기 메인 이미지에 포함된 근접 물체와 상기 보조 이미지에 포함된 근접 물체는 동일한 물체이고,
    상기 프로세서는, 상기 메인 이미지에서 검출한 근접 물체에서 제1 매칭 포인트를 검출하여 상기 제1 매칭 포인트와 상기 메인 이미지의 중심 사이의 제1 각도를 산출하고, 상기 보조 이미지에서 검출한 상기 근접 물체에서 제2 매칭 포인트를 검출하여 상기 제2 매칭 포인트와 상기 보조 이미지의 중심 사이의 제2 각도를 산출하고, 상기 제1 각도, 상기 제2 각도, 및 상기 메인 카메라와 상기 보조 카메라 사이의 거리에 기초하여 상기 근접 물체까지의 거리를 산출하는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 자율 주행 차량의 주행 속도가 미리 설정된 소정의 속도 범위 이상일 경우, 주행 모드를 실행하여 상기 메인 카메라만 동작 시키는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 장치.
  3. 제 1 항에 있어서,
    상기 메인 카메라 및 상기 보조 카메라의 광축이 평행하고, 초점거리가 동일한 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 장치.
  4. 제 1 항에 있어서,
    상기 메인 카메라는 볼록렌즈로 구비되고,
    상기 메인 카메라를 통해 촬영된 영상 데이터를 가공하여 가공된 데이터를 상기 프로세서로 전송하는 이미지 프로세싱 유닛; 및
    상기 메인 카메라를 밀폐하는 메인 밀폐 하우징;을 더 포함하는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 장치.
  5. 제 1 항에 있어서,
    상기 보조 카메라는 전방에 대응하는 위치에 핀홀이 형성된 핀홀 렌즈로 구비되고,
    상기 핀홀 렌즈를 밀폐하고, 상기 핀홀 렌즈의 전방에 대응하는 일부에 개폐 가능한 광투과부를 포함하는 보조 밀폐 하우징; 및
    상기 프로세서의 제어에 의해 상기 광투과부의 개폐를 조절함으로써, 상기 핀홀을 개폐하는 핀홀 개폐 밸브;를 더 포함하는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 근접 모드 실행 시, 핀홀 밸브 오픈 신호를 상기 핀홀 개폐 밸브로 전송하여 상기 광투과부를 오픈시켜, 상기 보조 카메라를 통해 근접 물체에 대한 보조 이미지를 획득하는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 장치.
  7. 제 5 항에 있어서,
    상기 프로세서는,
    주행 모드 실행 시, 핀홀 밸브 잠금 신호를 상기 핀홀 개폐 밸브로 전송하여 상기 광투과부를 닫아, 상기 보조 카메라의 촬영을 정지시키는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 장치.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 프로세서는,
    상기 자율 주행 차량으로부터 상기 근접 물체까지의 거리로 산출된 정보를 기반으로 상기 자율 주행 차량의 주행을 제어하는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 장치.
  10. 제 1 항에 있어서,
    상기 보조 카메라는,
    상기 메인 카메라를 중심으로 복수 개 구비되고,
    상기 프로세서는 상기 하나의 메인 카메라에 대응하는 각 상기 보조 카메라를 한 쌍씩 이용하여 산출된 상기 근접 물체까지의 거리들에 대해 평균값을 산출하고, 상기 산출된 평균값을 상기 차량으로부터 상기 근접 물체까지의 거리로 최종 결정하는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 장치.
  11. 자율 주행용 차량의 속도를 감지하는 단계;
    상기 감지된 속도를 미리 설정된 소정의 속도 범위와 비교하는 단계;
    상기 자율 주행용 차량이 상기 속도 범위 이하인 경우, 근접 모드를 실행하여 메인 카메라 및 보조 카메라를 함께 동작시키는 단계;
    상기 메인 카메라로부터 메인 이미지를 획득하고, 상기 보조 카메라로부터 보조 이미지를 획득하는 단계; 및
    상기 메인 이미지, 보조 이미지 및, 상기 메인 카메라와 상기 보조 카메라 사이의 거리에 기초하여 상기 차량에 근접한 물체와 상기 차량 간의 거리를 산출하는 단계를 포함하고,
    상기 메인 카메라와 상기 보조 카메라는 동일한 방향을 향하도록 구비되고,
    상기 메인 이미지에 포함된 근접 물체와 상기 보조 이미지에 포함된 근접 물체는 동일한 물체이고,
    상기 산출하는 단계는,
    상기 메인 이미지에서 검출한 근접 물체에서 제1 매칭 포인트를 검출하여 상기 제1 매칭 포인트와 상기 메인 이미지의 중심 사이의 제1 각도를 산출하고, 상기 보조 이미지에서 검출한 상기 근접 물체에서 제2 매칭 포인트를 검출하여 상기 제2 매칭 포인트와 상기 보조 이미지의 중심 사이의 제2 각도를 산출하고, 상기 제1 각도, 상기 제2 각도, 및 상기 메인 카메라와 상기 보조 카메라 사이의 거리에 기초하여 상기 근접 물체까지의 거리를 산출하는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 방법.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 자율 주행 차량으로부터 상기 근접 물체까지의 거리로 산출된 정보를 기반으로 상기 자율 주행 차량의 주행을 제어하는 단계를 더 포함하는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 방법.
  14. 제 11 항에 있어서,
    상기 보조 카메라는 상기 메인 카메라를 중심으로 복수 개 구비되고,
    상기 근접한 물체와 상기 차량 간의 거리를 산출하는 단계는,
    상기 하나의 메인 카메라에 대응하는 상기 각 보조 카메라를 한 쌍씩 이용하여 산출된 상기 근접 물체까지의 거리들에 대해 평균값을 산출하는 단계; 및
    상기 산출된 평균값을 상기 차량으로부터 상기 근접 물체까지의 거리로 최종 결정하는 단계를 포함하는 것을 특징으로 하는 자율 주행 차량용 근접 거리 측정 방법.
KR1020210108343A 2021-08-17 2021-08-17 자율 주행용 차량의 근접 거리 측정 장치 및 방법 KR102506811B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210108343A KR102506811B1 (ko) 2021-08-17 2021-08-17 자율 주행용 차량의 근접 거리 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210108343A KR102506811B1 (ko) 2021-08-17 2021-08-17 자율 주행용 차량의 근접 거리 측정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230026609A KR20230026609A (ko) 2023-02-27
KR102506811B1 true KR102506811B1 (ko) 2023-03-08

Family

ID=85329433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210108343A KR102506811B1 (ko) 2021-08-17 2021-08-17 자율 주행용 차량의 근접 거리 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102506811B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090028547A1 (en) * 2007-07-27 2009-01-29 Chih-Yi Yang Cartridge type attachment lens for a digital camera

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101432178B1 (ko) * 2012-01-10 2014-08-20 에스엘 주식회사 차량용 카메라 노출 제어 장치 및 그 방법
KR102022773B1 (ko) 2017-10-11 2019-09-18 한국철도기술연구원 자율주행차량의 정밀위치감지 장치, 감지방법, 그 정밀위치감지장치를 통한 정차지원 시스템 및 정차지원방법
KR20200130883A (ko) * 2019-04-26 2020-11-23 현대모비스 주식회사 주차 지원 장치 및 방법
KR102249769B1 (ko) 2019-12-06 2021-05-12 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090028547A1 (en) * 2007-07-27 2009-01-29 Chih-Yi Yang Cartridge type attachment lens for a digital camera

Also Published As

Publication number Publication date
KR20230026609A (ko) 2023-02-27

Similar Documents

Publication Publication Date Title
KR102231286B1 (ko) 선박 주변 모니터링 장치 및 선박 주변 모니터링 방법
JP4612635B2 (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
US10275649B2 (en) Apparatus of recognizing position of mobile robot using direct tracking and method thereof
CN109831660B (zh) 深度图像获取方法、深度图像获取模组及电子设备
EP2919197B1 (en) Object detection device and object detection method
US10728525B2 (en) Image capturing apparatus, image processing method, and recording medium
CN110443186B (zh) 立体匹配方法、图像处理芯片及移动载具
CN110573907B (zh) 基于运动信息的动态传感器操作和数据处理
RU151809U1 (ru) Видеосистема для обеспечения безопасности транспортных средств
JP2019049457A (ja) 画像処理装置および測距装置
CN108076263B (zh) 摄像装置及自动控制系统
CN109885053B (zh) 一种障碍物检测方法、装置及无人机
US20180365849A1 (en) Processing device and processing system
JP5071945B2 (ja) 移動装置及び方法
US20180270413A1 (en) Processing apparatus and processing system
US11503269B2 (en) Hybrid imaging system for underwater robotic applications
CN113658241A (zh) 单目结构光的深度恢复方法、电子设备及存储介质
CN114026610A (zh) 用于障碍物检测的设备和方法
Sorial et al. Towards a real time obstacle detection system for unmanned surface vehicles
CN209991983U (zh) 一种障碍物检测设备及无人机
CN113959398B (zh) 基于视觉的测距方法、装置、可行驶设备及存储介质
Cortés-Pérez et al. A mirror-based active vision system for underwater robots: From the design to active object tracking application
KR102506811B1 (ko) 자율 주행용 차량의 근접 거리 측정 장치 및 방법
KR102506812B1 (ko) 자율 주행용 차량
CN117406234A (zh) 基于单线激光雷达与视觉融合的目标测距和追踪的方法

Legal Events

Date Code Title Description
GRNT Written decision to grant