KR102325124B1 - 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량 - Google Patents

기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량 Download PDF

Info

Publication number
KR102325124B1
KR102325124B1 KR1020210054409A KR20210054409A KR102325124B1 KR 102325124 B1 KR102325124 B1 KR 102325124B1 KR 1020210054409 A KR1020210054409 A KR 1020210054409A KR 20210054409 A KR20210054409 A KR 20210054409A KR 102325124 B1 KR102325124 B1 KR 102325124B1
Authority
KR
South Korea
Prior art keywords
information
bounding box
image
processor
vehicle
Prior art date
Application number
KR1020210054409A
Other languages
English (en)
Inventor
임도영
김재승
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to KR1020210054409A priority Critical patent/KR102325124B1/ko
Application granted granted Critical
Publication of KR102325124B1 publication Critical patent/KR102325124B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 기계 학습과 모노 카메라의 영상 인식 및 영상에 포함된 대상체에 대응되는 바운딩 박스에 기초하여 대상체의 위치 정보를 효율적으로 획득하는 차량을 제공한다.
일 실시예에 따른 차량은 차량 주변에 마련된 대상체에 대응되는 대상체 이미지를 획득하는 획득하는 카메라;
미리 결정된 객체 정보를 저장하는 메모리; 및
상기 대상체 이미지에 바운딩 박스를 형성하고, 상기 대상체 이미지를 기초로 상기 바운딩 박스의 적어도 두 포인트의 직교 좌표를 예측하고,
상기 대상체의 객체 정보 및 상기 바운딩 박스의 적어도 두 포인트를 기초로 상기 대상체의 위치 정보를 결정하는 적어도 하나의 프로세서;를 포함한다.

Description

기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량{VEHICLES PROVIDING LOCATION INFORMATION OF OBJECTS BY USING MACHINE LEARNING AND MONO CAMERAS}
본 발명은 자율 주행을 수행하는 차량으로, 보다 상세하게는 모노 카메라 및 영상 처리를 통하여 물체의 3차원 위치 정보를 도출할 수 있는 발명이다.
자율 주행 프로세스는 주변 환경을 인식하는 인지 단계, 인식된 환경으로부터 주행 경로를 수정 및 계획하는 판단 단계, 그리고 계획된 경로를 따라 주행하는 제어 단계로 구성된다.
가장 먼저 실행되는 인지 단계는 자율 주행을 가능하게 하는 핵심 기술이라고 할 수 있다. 인지 단계에서 주변 환경 인식을 위해 카메라, 라이다(LiDAR), 레이다(RADAR) 및 초음파와 같은 센서가 주로 사용될 수 있다.
카메라는 해상도가 높아 2차원 객체 인식을 위해 많이 사용되고 가격이 저렴하다는 장점이 있다. 반면에, 햇빛이 강한 낮이나 어두운 야간에는 객체 인식이 어렵다는 점과 3차원으로 거리 측정이 어렵다는 단점이 있다.
라이다는 3차원 위치 정보를 얻는 센서로서 주로 사용되고 거리 측정 정밀도가 카메라보다 훨씬 우수하다는 장점이 있지만, 가격이 고가이며 해상도 측면에서 카메라보다 성능이 좋지 않아 객체 인식에 어려움이 있다.
따라서, 인지 단계에서는 센서들을 통해 입력되는 많은 양의 데이터들을 빠르게 처리하여 신뢰할만한 정밀도로 주변 환경을 인식할 수 있어야 하며, 3차원 객체 인식까지 이뤄져야 판단 단계 및 제어 단계로 이어지는 자율 주행 프로세스를 수행할 수 있게 된다. 또한, 고가의 센서 없이도 인지 기술 개발이 이루어져야 자율 주행 상용화가 가능하게 된다.
따라서 고가의 센서 없이 효율 적인 객체 인지를 위한 연구가 활발하게 이루어지고 있는 실정이다.
공개특허공보 KR 10-2019-0043035 (2019.04.25)
본 발명은 기계 학습과 모노 카메라의 영상 인식 및 영상에 포함된 대상체에 대응되는 바운딩 박스에 기초하여 대상체의 위치 정보를 효율적으로 획득하는 차량을 제공한다.
일 실시예에 따른 차량은 차량 주변에 마련된 대상체에 대응되는 대상체 이미지를 획득하는 획득하는 카메라;
미리 결정된 객체 정보를 저장하는 메모리; 및
상기 대상체 이미지에 바운딩 박스를 형성하고, 상기 대상체 이미지를 기초로 상기 바운딩 박스의 적어도 두 포인트의 직교 좌표를 예측하고,
상기 대상체의 객체 정보 및 상기 바운딩 박스의 적어도 두 포인트를 기초로 상기 대상체의 위치 정보를 결정하는 적어도 하나의 프로세서;를 포함한다.
상기 메모리는, 복수의 객체 각각의 카테고리 및 상기 복수의 객체 각각에 크기와 상기 복수의 객체에 대응되는 이미지를 기초로 학습된 상기 미리 결정된 객체 정보를 저장할 수 있다.
상기 메모리는, 상기 복수의 객체 각각의 좌측, 우측 및 중앙 이미지를 기초로 학습된 상기 미리 결정된 객체 정보를 저장할 수 있다.
상기 적어도 하나의 프로세서는,
상기 대상체의 이미지를 기초로 상기 대상체 이미지에 대응되는 바운딩 박스의 밑면의 두 포인트의 직교 좌표를 획득할 수 있다.
상기 적어도 하나의 프로세서는,
상기 대상체 이미지에 대응되는 바운딩 박스의 밑면의 두 포인트의 직교 좌표 중 적어도 하나를 기초로 상기 차량으로부터 상기 대상체에 거리 정보를 결정할 수 있다.
상기 적어도 하나의 프로세서는,
상기 미리 결정된 객체 정보 및 상기 거리 정보를 이용하여 상기 대상체의 가로 및 세로 길이를 추정하고,
상기 대상체 가로 및 세로 길이 및 상기 바운딩 박스의 밑면의 두 포인트의 직교 좌표를 기초로 결정 좌표를 결정할 수 있다.
상기 적어도 하나의 프로세서는,
상기 바운딩 박스의 밑면의 두 포인트 중 상기 대상체 이미지 및 상기 바운딩 박스의 교점을 기준 포인트로 결정하고,
상기 미리 결정된 객체 정보에 포함된 상기 대상체 가로 및 세로 길이를 기초로 상기 대상체 이미지에 대응되는 대각선 정보를 결정하고,
상기 기준 좌표와 임의의 직교 좌표의 거리와 상기 대각선 정보의 차이가 최소 값이 되도록 결정되는 상기 임의의 직교 좌표를 상기 결정 좌표로 결정할 수 있다.
상기 적어도 하나의 프로세서는,
상기 바운딩 박스의 밑면의 두 포인트 및 상기 결정 좌표를 기초로 상기 대상체의 크기 정보를 결정할 수 있다.
상기 적어도 하나의 프로세서는,
상기 객체 정보에 포함된 가로, 세로 및 임의의 각도를 기초로 상기 바운딩 박스의 길이를 결정하고,
상기 기준 포인트 및 상기 결정 좌표의 세로 좌표 차이를 결정하고,
상기 바운딩 박스의 길이와 상기 세로 좌표 차이가 최소가 되는 상기 임의의 각도를 상기 대상체의 방향 정보로 결정할 수 있다.
상기 카메라는, 단일 루트로 상기 대상체의 이미지를 획득하는 모노 카메라로 마련될 수 있다.
일 실시예에 따른 차량은 기계 학습과 모노 카메라의 영상 인식 및 영상에 포함된 대상체에 대응되는 바운딩 박스에 기초하여 대상체의 위치 정보를 효율적으로 획득할 수 있다.
일 실시예에 따른 차량은 카메라(Stereo camera), 뎁스 카메라(Depth camera), 라이다(LiDAR), 레이다(RADAR) 및 초음파 센서 없이 모노 카메라(Mono camera)만을 3차원 객체 인식 및 방향을 추정하여 효율적인 객체 인식이 가능하다.
일 실시예에 따른 차량은 이미지 한 장만으로 3차원 객체 인식과 방향 추정이 가능하며, 데이터 처리 속도가 월등히 빨라 실시간 처리를 수행하고 이를 기초로 안전한 자율 주행이 가능하다.
도1은 일 실시예에 다른 차량의 제어블럭도이다.
도2는 일 실시예에 따른 차량의 객체를 학습하는 동작을 설명하기 위한 도면이다.
도3및 도4는 일 실시예에 따른 대상체에 대응되는 바운딩 박스의 포인트를 도출하는 동작을 설명하기 위한 도면이다.
도5, 도6 및 도7은 방향에 따른 대상체의 위치 정보를 결정하는 동작을 설명하기 위한 도면이다.
도 8은 본 발명에 의한 결과와 라이다 포인트를 비교하는 도면이다.
도9, 10은 일 실시예에 따른 본 발명의 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도1은 일 실시예에 다른 차량(10)의 제어블럭도이다.
도1을 참고하면 일 실시예에 따른 차량은 카메라(110), 프로세서(120), 센서부(130) 및 메모리(140)를 포함할 수 있다.
카메라(110)는 차량 주변에 마련된 대상체에 대응되는 대상체 이미지를 획득할 수 있다.
한편 본 발명의 실시에 따른 카메라(110)는 스테레오 카메라가 아닌 모노 카메라로 마련될 수 있다. 모노 카메라는 복수의 경로를 통하여 이미지를 획득하는 카메라가 아닌 단일 경로로 이미지를 획득하는 카메라를 의미할 수 있다.
카메라(110)는 차량의 전방, 후방 및 측방에 마련되어 영상을 획득할 수 있다.
카메라(110)는 CCD(Charge-Coupled Device) 카메라 또는 CMOS 컬러 이미지 센서를 포함할 수 있다. 여기서 CCD 및 CMOS는 모두 카메라의 렌즈를 통해 들어온 빛을 전기 신호로 바꾸어 저장하는 센서를 의미한다.
센서부(130)는 레이더 센서와 라이다 센서를 포함할 수 있다.
센서부(130)는 레이더 센서 또는 라이다 센서를 포함할 수 있다.
레이더 센서는 마이크로파(극초단파, 10cm~100cm 파장) 정도의 전자기파를 물체에 발사시켜 그 물체에서 반사되는 전자기파를 수신하여 차량과 물체와의 거리, 방향, 고도 등을 알아내는 센서 모듈로 마련될 수 있다. 일 실시예에 따르면 차량 전방에 마련된 전방 레이더는 차량의 종방향 관련 위치 정보를 결정하는데 이용될 수 있다.
라이다 센서는 레이저 펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 센서 모듈로 마련될 수 있다.
메모리(140)는 미리 결정된 객체 정보를 저장할 수 있다.
객체 정보는 차량이 인식한 물체를 카테고리로 분류하고 카테고리 별로 저장된 크기 등을 의미할 수 있다.
객체 정보는 획득한 이미지의 복수의 객체 각각의 카테고리, 복수의 객체 각각에 크기와 복수의 객체에 대응되는 이미지를 기초로 학습된 데이터를 의미할 수 있다.
또한 이러한 객체 정보는 복수의 객체 각각의 좌측, 우측 및 중앙 이미지를 기초로 학습될 수 있다.
객체 정보는 합성곱 신경망(Convolutional Neural Network: CNN)을 통하여 학습될 수 있는데 이와 관련된 상세한 설명은 후술한다.
메모리(140)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 메모리는 프로세서와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
프로세서(120)는 대상체 이미지에 바운딩 박스를 형성할 수 있다.
바운딩 박스는 카메라가 인식한 객체를 단위 이미지로 분할하는 경계를 의미하는 라인을 의미할 수 있다.
프로세서(120)는 대상체 이미지를 기초로 바운딩 박스의 적어도 두 포인트의 직교 좌표를 예측할 수 있다.
바운딩 박스의 하단 양쪽 포인트과 2차원 영상의 픽셀 별 3차원 좌표 값 추정하는 방법은 통상의 기술자에게 자명한 기술인 바 상세한 설명은 생략한다.
프로세서(120)는 대상체의 객체 정보 및 바운딩 박스의 적어도 두 포인트를 기초로 대상체의 위치 정보를 결정할 수 있다.
위치 정보는 대상체의 크기와 방향 정보를 포함하는 정보를 의미할 수 있다.
프로세서(120)는 대상체 이미지에 대응되는 바운딩 박스의 밑면의 두 포인트의 직교 좌표 중 적어도 하나를 기초로 상기 차량으로부터 대상체에 거리 정보를 결정할 수 있다.
프로세서(120)는 대상체 이미지와 바운딩 박스의 교점을 대상체가 위치하는 지점으로 판단하고 카메라부터 거리를 도출할 수 있다.
프로세서(120)는 미리 결정된 객체 정보 및 거리 정보를 이용하여 상기 대상체의 가로 및 세로 길이를 추정할 수 있다.
객체 정보는 대상체의 대략적인 크기 정보를 포함할 수 있고 카메라가 인식하는 크기는 대상체와 카메라의 크기에 따라 달라질 수 있다.
상술한 동작을 기초로 카메라와 대상체의 크기를 도출할 수 있으므로 프로세서가 미리 결정된 객체 정보 및 거리 정보를 이용하여 상기 대상체의 가로 및 세로 길이를 추정할 수 있다.
프로세서(120)는 대상체 가로 및 세로 길이 및 바운딩 박스의 밑면의 두 포인트의 직교 좌표를 기초로 결정 좌표를 결정할 수 있다.
결정 좌표는 대상체의 방향을 결정하고 크기를 결정하는 대각선 좌표를 의미할 수 있는데 이와 관련된 자세한 설명은 후술한다.
프로세서(120)는 바운딩 박스의 밑면의 두 포인트 및 결정 좌표를 기초로 상기 대상체의 크기 정보를 결정할 수 있다.
즉 바운딩 박스 밑면의 두 포인트를 알면 카메라와 대상체와의 거리를 결정할 수 있고, 미리 결정된 객체 정보에 해당 거리를 적용할 수 있다.
또한 후술하는 바와 같이 나머지 결정 좌표를 이용하여 대상체의 크기를 결정할 수 있다. 또한 프로세서(120)는 객체 정보 및 바운딩 박스와 대상체 이미지의 교점을 이용하여 대상체의 방향 정보를 결정할 수 있는데 이와 관련한 자세한 설명은 후술한다.
도 1에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도2는 일 실시예에 따른 차량의 객체를 학습하는 동작을 설명하기 위한 도면이다.
도2는 카메라를 기준으로 카메라가 차량을 기준으로 좌측에 위치한 경우의 이미지(IL2), 카메라가 차량의 정방향에 위치한 경우의 이미지(IM2), 카메라가 우측에 위치한 경우의 이미지(IR2)를 나타내고 있다.
프로세서(120)는 이러한 이미지를 기초로 객체 정보를 형성할 수 있다.
구체적으로 차량은 도2에 개시된 이미지(IL2, IM2, IR2)를 이용하여 복수개의 레이어로 마련된 학습 프로세스를 수행할 수 있다.
일 실시예에 따르면 레이어에는 입력 레이어가 존재할 수 있다.
한편 차량은 차량 주변의 환경 정보, 대상체의 카테고리 정보를 입력 레이어를 구성하는데 이용할 수 있다.
한편 프로세서는 이러한 정보를 기초로 레이어의 가중치(Weight factor) 를 변경할 수 있다.
가중치는 해당 입력 값이 학습에 이용되는 비중을 의미할 수 있다.
프로세서는 대상체에 관련된 여러 정보와 대상체의 좌측, 정면 및 우측에서 획득한 이미지(IL2, IM2, IR2)를 기초로 합성곱 신경망에 대응되는 가중치를 변경하여 학습을 수행할 수 있다.
프로세서는 카테고리를 포함하는 대상체의 여러 정보와 대상체의 이미지를 대응되어 있는 학습 데이터인 객체 정보를 산출할 수 있으며 후술하는 바와 같이 이를 기초로 대상체의 위치 정보를 도출할 수 있다.
또한 도2에서 제시한 이미지들은 프로세서가 학습을 수행하는데 이용되는 이미지의 일 예시이며 프로세서가 학습을 수행하는데 이용하는 이미지에 대한 제한은 없다.
도3및 도4는 일 실시예에 따른 대상체에 대응되는 바운딩 박스의 포인트를 도출하는 동작을 설명하기 위한 도면이다.
도3은 차량에 마련된 카메라가 획득한 이미지(I3)를 나타낸 것이다. 카메라가 영상을 획득하면 프로세서는 영상에 포함된 객체를 분류할 수 있다.
도3에서는 프로세서가 복수개의 차량(B31, B32)과 벽(B33)을 객체를 인식한 것을 나타내고 있다.
한편 자율 주행에 있어서 해당 객체의 점유 정보가 필요하고 디테일한 이미지의 중요도는 떨어지므로 프로세서는 해당 객체에 바운딩 박스를 적용하여 객체를 인식할 수 있다.
바운딩 박스는 객체를 포함하는 직육면체의 라인으로 형성될 수 있다. 도4를 참고하면 도3에 제시된 차량 중 한대에 바운딩 박스(B4)가 적용된 것을 나타내고 있다.
도4를 참고하면 바운딩 박스(B4)의 양 포인트의 좌표(P41, P42)와 결정 좌표(P43)를 나타내었다.
결정 좌표(P43)는 후술하는 동작을 기초로 대상체의 크기 정보 및 방향 정보를 도출하는데 이용되는 특정 좌표를 의미할 수 있다.
바운딩 박스(B4)의 양 포인트의 좌표(P41, P42)를 도출하는 것은 통상의 기술자에게 자명한 기술인 바 이하에서는 상기 결정 좌표를 결정하는 동작 및 결정 좌표를 통하여 도출된 대상체의 크기 및 방향 정보를 결정하는 동작에 대하여 설명한다.
도5, 도6 및 도7은 방향에 따른 대상체의 위치 정보를 결정하는 동작을 설명하기 위한 도면이다.
도5는 카메라가 대상체의 좌측에서 획득한 이미지를 나타낸 도면이고 도6은 카메라가 대상체의 후면에서 획득한 이미지를 나타낸 도면이며, 도7는 카메라가 대상체의 우측에서 획득한 이미지를 나타낸 도면이다. 한편 도5, 도6 및 도7는 대상체의 탑뷰(Top-view)의 이미지를 나타내었다.
이하에서는 프로세서가 대상체의 이미지를 기준으로 대상체의 크기 정보 및 방향 정보를 결정하는 동작을 설명한다.
도5를 참고하면, L과 W는 객체 정보로 도출되는 클래스의 사전 입력 크기이며, Lp및 Lq는 바운딩 박스의 양 포인트를 의미할 수 있다. Ld는 절대 좌표를 의미할 수 있다.
한편 프로세서는 미리 결정된 객체 정보 및 거리 정보를 이용하여 대상체의 가로 길이(L)및 세로 길이(R)를 추정할 수 있다.
또한 프로세서는 대상체 가로 길이(L) 및 세로 길이(R) 및 바운딩 박스의 밑면의 두 포인트(Lp, Lq)의 직교 좌표를 기초로 결정 좌표(Ld)를 결정할 수 있다.
구체적으로 프로세서는, 바운딩 박스의 밑면의 두 포인트 대상체 이미지 및 바운딩 박스의 교점을 기준 포인트로 결정할 수 있다.
도5에서는 바운딩 박스와 대상체의 이미지가 Lp지점에서 교차되어 포인트가 형성된 것을 나타내고 있다.
한편 프로세서는 대상체 가로 길이(L) 및 세로 길이(W)를 기초로 상기 대상체 이미지에 대응되는 대각선 정보를 결정할 수 있다.
여기서 대각선 정보는 대상체를 탑뷰 상에서 관측했을 때 대각선에 해당되는 길이를 의미하고 Lp와 Ld사이 거리를 의미할 수 있다.
이러한 대각선 정보는 아래의 수학식1을 기초로 결정될 수 있다.
Figure 112021049223063-pat00001
상술한 수학식1의 D는 대각선 정보를 의미할 수 있다.
한편 프로세서는 기준 좌표와 임의의 직교 좌표의 거리와 대각선 정보의 차이가 최소 값이 되도록 결정되는 임의의 직교 좌표를 결정 좌표로 결정할 수 있다.
이와 같은 연산은 아래의 수학식2를 기초로 수행될 수 있다.
수학식2를 참고하면 아래와 같다.
Figure 112021049223063-pat00002
수학식2를 참고하면 임의의 좌표 xl,yl 및 zl은 바운딩 박스상 좌표 Lq에 투영된 점의 집합 SL에 점을 의미하며 상술한 조건이 만족되는 임의의 점이 Ld가 될 수 있음을 나타내고 있다.
프로세서는 상술한 수학식 2를 이용하여 결정좌표Ld를 구할 수 있다.
한편 도7를 참고하면, 도5와 같은 방법으로 결정좌표를 구할 수 있다.
구체적으로 도7에서는 바운딩 박스와 대상체의 이미지가 Rp지점에서 교차되어 포인트가 형성된 것을 나타내고 있다.
한편 프로세서는 대상체 가로 길이(L) 및 세로 길이(W)를 기초로 상기 대상체 이미지에 대응되는 대각선 정보를 결정할 수 있다.
여기서 대각선 정보는 대상체를 탑뷰 상에서 관측했을 때 대각선에 해당되는 길이를 의미하고 Rp와 Rd사이 거리를 의미할 수 있다.
이러한 대각선 정보는 상술한 수학식1을 기초로 결정될 수 있다.
한편 프로세서는 도7에서 기준 좌표와 임의의 직교 좌표의 거리와 상기 대각선 정보의 차이가 최소 값이 되도록 결정되는 임의의 직교 좌표를 결정 좌표로 결정할 수 있다.
이와 같은 연산은 아래의 수학식3을 기초로 수행될 수 있다.
수학식3을 참고하면 아래와 같다.
Figure 112021049223063-pat00003
수학식3를 참고하면 임의의 좌표 xr,yr 및 zr은 바운딩 박스상 좌표 Rq에 투영된 점의 집합 SL에 점을 의미하며 상술한 조건이 만족되는 임의의 점이 Rd가 될 수 있음을 나타내고 있다.
우측에서 이미지를 획득한 경우에는 프로세서는 상술한 수학식 3를 이용하여 결정좌표Rd를 구할 수 있다.
한편 도6와 같은 경우에는 정면 또는 후면에서 카메라가 대상체의 이미지를 획득한 경우로 Mp와 Mq의 좌표를 알고 가로 및 세로의 길이를 모두 인지하고 있는 상태이므로 프로세서는 별도의 추가연산 없이 대상체의 크기를 구할 수 있다.
프로세서는 상술한 동작을 기초로 대상체의 이미지를 좌측, 정면 및 우측에서 획득한 경우 대상체의 크기 정보를 구하는 연산을 수행할 수 있다.
한편 프로세서는 객체 정보에 포함된 가로, 세로 및 임의의 각도를 기초로 대상체 이미지에 대응되는 바운딩 박스의 길이를 결정할 수 있다.
다시 도5를 참고하면, 바운딩 박스의 길이는 아래의 수학식을 기초로 결정될 수 있다.
Figure 112021049223063-pat00004
또한 프로세서는 바운딩 박스의 기준 포인트 및 결정 좌표의 세로 좌표 차이를 결정할 수 있다.
세로 좌표의 차이는 상술한 바와 같이 대상체 이미지와 바운딩 박스의 교점으로 결정되는 기준 포인트와 결정좌표의 y좌표의 차이를 의미할 수 있다.
한편 프로세서는 바운딩 박스의 길이와 세로 좌표 차이가 최소가 되는 임의의 각도 θL를 상기 대상체의 방향 정보로 결정할 수 있다. 이와 같은 동작은 아래의 수학식5를 기초로 수행될 수 있다.
Figure 112021049223063-pat00005
수학식5를 참고하면 Δy는 기준 포인트와 결정 좌표의 y좌표 차이를 의미할 수 있다.
프로세서는 상술한 값의 최소 값을 만족하는 θL을 결정할 수 있고 결정된 θL을 대상체의 방향 정보로 결정할 수 있다.
도7를 참고하면, 바운딩 박스의 길이는 아래의 수학식을 기초로 결정될 수 있다.
Figure 112021049223063-pat00006
한편 프로세서는 바운딩 박스의 길이와 세로 좌표 차이가 최소가 되는 임의의 각도 θR를 상기 대상체의 방향 정보로 결정할 수 있다. 이와 같은 동작은 아래의 수학식7을 기초로 수행될 수 있다.
Figure 112021049223063-pat00007
수학식7를 참고하면 수학식5와 같이 최소 값을 만족하는 θR을 결정할 수 있고 결정된 θR을 대상체의 방향 정보로 결정할 수 있다.
따라서 프로세서는 상술한 동작을 기초로 결정 좌표를 결정하고 방향 정보를 결정할 수 있다.
한편 도6의 경우에는 프로세서가 대상체가 실질적으로 틀어진 각도가 없는 경우로 판단하고 방향 정보를 연산하는 동작을 생략할 수 있다.
프로세서는 상술한 동작을 기초로 결정 좌표를 결정하여 기존에 저장된 객체 정보와 카메라로부터 대상체까지의 거리를 이용하여 대상체의 크기 정보를 연산할 수 있다.
프로세서는 상술한 도5, 6 및 도7에서 미리 결정된 객체 정보를 통하여 획득한 높이 정보를 이용하여 최종적으로 대상체의 크기 정보를 산출할 수 있다.
또한 프로세서는 상술한 방향 정보를 이용하여 대상체가 카메라를 기준으로 어떠한 방향으로 향하고 있는지에 대한 정보를 산출할 수 있다.
한편 상술한 동작은 본 발명에서 프로세서가 대상체의 크기 정보와 방향 정보를 연산하는 일 실시예를 설명한 것이며 프로세서가 미리 결정된 객체 정보와 대상체 이미지 및 바운딩 박스를 기초로 대상체의 크기 정보와 방향 정보를 연산하는 동작에는 그 제한이 없다.
도 8은 본 발명에 의한 결과와 라이다 포인트를 비교하는 도면이다.
도8을 참고하면 상술한 동작으로 도출된 대상체의 바운딩 박스와 라이다 센서를 통하여 획득한 점군 데이터를 3차원 뷰어(Viewer)로 표현한 것을 나타내고 있다.
프로세스는 모노 카메라(Mono camera)와 라이다 캘리브레이션(Calibration)을 통해 결과값을 비교할 수 있다.
프로세서는 상술한 동작을 기초로 수행한 대상체의 정보를 획득하는 과정의 정확도를 피드백하여 향상된 연산을 통하여 모노 카메라를 통한 대상체의 정보를 획득할 수 있다.
또한 라이다 센서가 센싱하지 못한 영역에 위치한 객체까지도 바운딩 박스와 대상체 이미지를 이용하여 추정하는 연산을 수행할 수 있다.
한편 도8에 나타난 바운딩 박스의 형태 및 위치와 라이다 좌표는 본 발명의 동작을 설명하기 위한 일 예시에 불과하고 이에 대응되는 본 발명의 동작에는 그 제한이 없다.
도9, 10은 일 실시예에 따른 본 발명의 순서도이다.
도9를 참고하면 차량은 대상체의 이미지를 획득하고 해당 대상체에 대응되는 바운딩 박스를 형성할 수 있다(S901).
또한 차량은 바운딩 박스 상에서 두 개의 포인트의 직교 좌표를 산출할 수 있다(S902).
이후 차량은 바운딩 박스상의 포인트 직교 좌표를 기초로 차량으로부터 대상체까지 거리 정보를 결정할 수 있다(S903).
또한 차량은 객체 정보와 거리 정보를 이용하여 대상체에 대응되는 결정 좌표를 결정할 수 있다(S904). 결정 좌표를 결정하는 동작은 위에서 상세하게 설명한 바 설명은 생략한다.
차량은 도출한 결정 좌표를 이용하여 대상체의 크기 정보를 결정할 수 있다(S905).
한편 도10은 도9에 이어서 차량이 대상체의 방향 정보를 결정하는 동작을 나타내고 있다.
도10을 참고하면 차량은 대상체의 이미지를 획득하고 해당 대상체에 대응되는 바운딩 박스를 형성할 수 있다(S1001).
또한 차량은 바운딩 박스 상에서 두 개의 포인트의 직교 좌표를 산출할 수 있다(S1002).
이후 차량은 바운딩 박스상의 포인트 직교 좌표를 기초로 차량으로부터 대상체까지 거리 정보를 결정할 수 있다(S1003).
또한 차량은 객체 정보와 거리 정보를 이용하여 대상체에 대응되는 결정 좌표를 결정할 수 있다(S1004).
차량은 결정 좌표를 이용하여 바운딩 박스 길이 및 결정 좌표 기준 포인트의 값의 차이를 비교 할 수 있다(S1005).
기준 좌표는 상술한 바와 같이 바운딩 박스 상에서 결정되는 하나의 포인트를 의미할 수 있다.
또한 차량은 바운딩 박스 길이 및 결정 좌표 기준 포인트의 값의 차이가
최소가 되는 임의의 각도를 결정할 수 있다(S1006).
이후 차량은 해당 임의의 각도를 대상체의 방향 정보로 결정할 수 있다(S1007).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
10 : 차량
110 : 카메라
120 : 프로세서
130 : 센서부
140 : 메모리

Claims (10)

  1. 차량 주변에 마련된 대상체에 대응되는 대상체 이미지를 획득하는 카메라;
    미리 결정된 객체 정보를 저장하는 메모리; 및
    상기 대상체 이미지에 바운딩 박스를 형성하고,
    상기 대상체 이미지를 기초로 상기 바운딩 박스의 적어도 두 포인트의 직교 좌표를 예측하고,
    상기 대상체의 객체 정보 및 상기 바운딩 박스의 적어도 두 포인트를 기초로 상기 대상체의 위치 정보를 결정하는 적어도 하나의 프로세서;를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 대상체의 이미지를 기초로 상기 대상체 이미지에 대응되는 바운딩 박스의 밑면의 두 포인트의 직교 좌표를 획득하고,
    상기 적어도 하나의 프로세서는,
    상기 대상체 이미지에 대응되는 바운딩 박스의 밑면의 두 포인트의 직교 좌표 중 적어도 하나를 기초로 상기 차량으로부터 상기 대상체에 거리 정보를 결정하며,
    상기 적어도 하나의 프로세서는,
    상기 미리 결정된 객체 정보 및 상기 거리 정보를 이용하여 상기 대상체의 가로 및 세로 길이를 추정하고,
    상기 대상체 가로 및 세로 길이 및 상기 바운딩 박스의 밑면의 두 포인트의 직교 좌표를 기초로 결정 좌표를 결정하며,
    상기 적어도 하나의 프로세서는,
    상기 바운딩 박스의 밑면의 두 포인트 중 상기 대상체 이미지 및 상기 바운딩 박스의 교점을 기준 포인트로 결정하고,
    상기 미리 결정된 객체 정보에 포함된 상기 대상체 가로 및 세로 길이를 기초로 상기 대상체 이미지에 대응되는 대각선 정보를 결정하고,
    기준 좌표와 임의의 직교 좌표의 거리와 상기 대각선 정보의 차이가 최소 값이 되도록 결정되는 상기 임의의 직교 좌표를 상기 결정 좌표로 결정하는 차량.
  2. 제1항에 있어서,
    상기 메모리는,
    복수의 객체 각각의 카테고리 및 상기 복수의 객체 각각에 크기와 상기 복수의 객체에 대응되는 이미지를 기초로 학습된 상기 미리 결정된 객체 정보를 저장하는 차량.
  3. 제2항에 있어서,
    상기 메모리는,
    상기 복수의 객체 각각의 좌측, 우측 및 중앙 이미지를 기초로 학습된 상기 미리 결정된 객체 정보를 저장하는 차량.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 바운딩 박스의 밑면의 두 포인트 및 상기 결정 좌표를 기초로 상기 대상체의 크기 정보를 결정하는 차량.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 객체 정보에 포함된 가로, 세로 및 임의의 각도를 기초로 상기 바운딩 박스의 길이를 결정하고,
    상기 기준 포인트 및 상기 결정 좌표의 세로 좌표 차이를 결정하고,
    상기 바운딩 박스의 길이와 상기 세로 좌표 차이가 최소가 되는 상기 임의의 각도를 상기 대상체의 방향 정보로 결정하는 차량
  6. 제1항에 있어서,
    상기 카메라는,
    단일 루트로 상기 대상체의 이미지를 획득하는 모노 카메라로 마련되는 차량.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020210054409A 2021-04-27 2021-04-27 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량 KR102325124B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210054409A KR102325124B1 (ko) 2021-04-27 2021-04-27 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210054409A KR102325124B1 (ko) 2021-04-27 2021-04-27 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량

Publications (1)

Publication Number Publication Date
KR102325124B1 true KR102325124B1 (ko) 2021-11-12

Family

ID=78497520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210054409A KR102325124B1 (ko) 2021-04-27 2021-04-27 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량

Country Status (1)

Country Link
KR (1) KR102325124B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160140303A (ko) * 2015-05-29 2016-12-07 연세대학교 산학협력단 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
KR20190039382A (ko) * 2017-10-03 2019-04-11 주식회사 스트라드비젼 회귀 분석으로 2d 바운딩 박스에서 수도(pseudo)-3d박스를 획득하는 방법 및 이를 이용한 학습 장치 및 테스트 장치
KR20190043035A (ko) 2017-10-17 2019-04-25 현대자동차주식회사 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법
KR102103944B1 (ko) * 2019-05-23 2020-04-23 주식회사 모빌테크 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
KR102177880B1 (ko) * 2019-03-08 2020-11-12 현대모비스 주식회사 자율주행용 클래스 레이블링 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160140303A (ko) * 2015-05-29 2016-12-07 연세대학교 산학협력단 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
KR20190039382A (ko) * 2017-10-03 2019-04-11 주식회사 스트라드비젼 회귀 분석으로 2d 바운딩 박스에서 수도(pseudo)-3d박스를 획득하는 방법 및 이를 이용한 학습 장치 및 테스트 장치
KR20190043035A (ko) 2017-10-17 2019-04-25 현대자동차주식회사 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법
KR102177880B1 (ko) * 2019-03-08 2020-11-12 현대모비스 주식회사 자율주행용 클래스 레이블링 장치
KR102103944B1 (ko) * 2019-05-23 2020-04-23 주식회사 모빌테크 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법

Similar Documents

Publication Publication Date Title
KR102404155B1 (ko) 위치파악 참조 데이터를 생성 및 사용하기 위한 방법 및 시스템
CN110807350B (zh) 用于面向扫描匹配的视觉slam的系统和方法
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US20200326420A1 (en) Camera and radar fusion
CN107850448B (zh) 用于生成及使用定位参考数据的方法及系统
CN111918053A (zh) 车辆图像验证
CN111126269A (zh) 三维目标检测方法、装置以及存储介质
US9042639B2 (en) Method for representing surroundings
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
JP6712775B2 (ja) 路面推定装置、車両制御装置、路面推定方法、およびプログラム
US11062153B2 (en) Apparatus and method for converting image
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
JP7389729B2 (ja) 障害物検知装置、障害物検知システム及び障害物検知方法
CN108475471B (zh) 车辆判定装置、车辆判定方法和计算机可读的记录介质
EP3764124A1 (en) Distance measuring apparatus, method for measuring distance, on-vehicle apparatus, and mobile object
KR20220135186A (ko) 전자기기 및 제어방법
JP6204782B2 (ja) オフロードダンプトラック
US20230341558A1 (en) Distance measurement system
KR102325124B1 (ko) 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량
WO2024015891A1 (en) Image and depth sensor fusion methods and systems
US20240151855A1 (en) Lidar-based object tracking
US12112549B2 (en) Method for detecting traffic sign using lidar sensor and traffic sign detection device performing the method
WO2022141262A1 (en) Object detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant