KR102475960B1 - 운동체의 물체 인식 장치 및 방법, 및 운동체의 비전 장치 - Google Patents

운동체의 물체 인식 장치 및 방법, 및 운동체의 비전 장치 Download PDF

Info

Publication number
KR102475960B1
KR102475960B1 KR1020210120199A KR20210120199A KR102475960B1 KR 102475960 B1 KR102475960 B1 KR 102475960B1 KR 1020210120199 A KR1020210120199 A KR 1020210120199A KR 20210120199 A KR20210120199 A KR 20210120199A KR 102475960 B1 KR102475960 B1 KR 102475960B1
Authority
KR
South Korea
Prior art keywords
frame
main lens
disparity
focal length
variable
Prior art date
Application number
KR1020210120199A
Other languages
English (en)
Other versions
KR20220076290A (ko
Inventor
송영민
김민석
김현명
유영진
이중훈
장혁재
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Publication of KR20220076290A publication Critical patent/KR20220076290A/ko
Application granted granted Critical
Publication of KR102475960B1 publication Critical patent/KR102475960B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 물체인식장치에는, 운동체에 탑재되는 장치이고, 외부물체를 인식하는 융합센서; 및 상기 융합센서에서 인식한 정보를 이용하는 제어부가 포함된다.

Description

운동체의 물체 인식 장치 및 방법, 및 운동체의 비전 장치{Vehicle object recognition system and vehicle vision system}
본 발명은 운동체의 물체 인식 장치 및 운동체의 비전 장치에 관한 것이다.
공간에서 물체를 인식하는 다양한 물체 인식 시스템이 알려져 있다. 물체 인식 시스템의 대표적인 예로 비전 시스템이 알려져 있다. 물체를 인식하는 것은 운동체에게는 운동체가 이동하는 곳에 방해가 되는 방해물체가 있는지의 여부를 확인하는 방법이 될 수 있다. 상기 방해물체를 확인하는 대표적인 시스템으로 비전 시스템이 알려져있다. 상기 비전 시스템은 시각정보를 활용하여 물체를 인식하는 시스템이라고 할 수 있다.
종래 물제 인식 시스템에 대하여 설명한다.
먼저 레이다(Radar)를 이용하는 기술이 있다. 이 기술은 전파를 방사하여 되돌아오는 전파를 받아 분석하는 기술이다. 이 기술은, 열악한 외부환경(예시, 비, 안개, 및 스모그 등)에 영향이 적어 다양한 환경에서 깊이 정보를 인식할 수 있는 장점이 있다. 그러나, 물체의 형상에 대한 인식이 어렵다는 한계가 있다.
다른 기술로 라이다(Lidar)가 있다. 이 기술은 레이저(Laser)를 광원으로 사용하여, 되돌아오는 빛을 받아 물체의 정확한 깊이 정보 추출이 가능하고, 레이다 기술에 비해 정확한 객체인식이 가능하다는 장점이 있다. 그러나, 라이다는 스캐닝 시스템이라는 기계적 한계가 있다. 이때문에, 광범위 영역에 대한 깊이측정, 및 고해상도 이미지 확보가 어렵다. 고해상도를 얻기 위해서는 스캔속도(scanning rate)가 낮아져서 자율주행에 적용하기에 치명적이다. 더욱이 물체의 색상에 대한 인식 부재는, 신호등, 및 교통 지시선에 대한 정보획득을 위하여 추가적인 하드웨어, 소프트웨어 등이 필요하다.
위의 단점을 보완하기 위하여, 카메라와 라이다를 혼합하여 사용하는 센서 퓨전의 형태가 보고되고 있다. 이 기술은 색상 정보획득이 불가능한 라이다의 기존단점을 보완하지만 삼차원의 정보를 이차원으로 축소하여 저장한다. 이 때문에 자율 주행용 시스템에 필수적인 깊이 정보를 얻기 위해서 초음파 센서 등 별도의 센서를 요구하여 비용 및 부피의 증가가 발생한다. 더욱이, 초음파 센서는 근거리의 물체에 대한 깊이 정보를 획득할 뿐, 객체의 인식이 불가능해 새로운 센서 퓨전 방법 및 설계 방법 등의 제시가 필요한 추세이다.
이러한 배경에서 마이크로 렌즈를 이용하는 차량용 비전 시스템이 제안된 바가 있다. 예를 들어, US20140168415A1 'Vehicle vision system with micro lens array'가 있다.
상기 마이크로 렌즈를 이용하는 차량용 비전 시스템은 디스패리티(disparity)를 이용하여 시각정보와 함께 물제의 깊이정보를 ?t께 추출할 수 있는 장점이 있다. 그러나, 메인렌즈의 촛점거리에 따라서 정확한 거리정보를 획득할 수 있는 거리범위가 제한되는 문제가 있다.
US20140168415A1 'Vehicle vision system with micro lens array'
본 발명은 운동체의 근거리/중거리/장거리에 대한 거리 정보를 정확하게 알아낼 수 있는 운동체 물체 인식 장치 및 방법, 및 운동체의 비전 장치을 제안한다.
본 발명은 라이트 필드 카메라의 장점를 극대화하는 운동체 물체 인식 장치 및 방법, 및 운동체의 비전 장치을 제안한다.
본 발명은 운동체의 이동에 따르는 방해물체의 거리정보와 이미지정보를 함께 알아낼 수 있는 운동체 물체 인식 장치 및 방법, 및 운동체의 비전 장치를 제안한다.
본 발명의 물체인식장치에는, 운동체에 탑재되는 장치이고, 외부물체를 인식하는 융합센서; 및 상기 융합센서에서 인식한 정보를 이용하는 제어부가 포함된다.
상기 융합센서에는, 레이다, 및 라이다 중의 적어도 하나가 포함될 수 있다.
상기 융합센서에는, 메인렌즈의 촛점이 가변가능한 ?X점가변 라이트 필드 카메라가 포함될 수 있다.
상기 융합센서에는, 상기 ?X점가변 라이트 필드 카메라의 출력정보로부터 외부물체의 이미지를 획득하는 객체이미지 획득부가 포함될 수 있다.
상기 융합센서에는, 상기 ?X점가변 라이트 필드 카메라의 출력정보, 및 상기 레이다와 라이다 중의 적어도 하나로부터의 출력정보를 이용하여 상기 외부물체의 깊이정보를 획득하는 깊이정보 획득부가 포함될 수 있다.
상기 깊이정보 획득부는 상기 융합센서의 코어부에 제공될 수 있다.
상기 객체이미지 획득부는 상기 코어부의 외부에 놓일 수 있다.
상기 메인렌즈의 촛점거리를 자동으로 가변될 수 있다.
상기 융합센서에는 초음파 센서가 제공되지 않을 수 있다.
다른 측면에 따른 본 발명의 운동체의 비전 장치는, 운동체에 탑재되는 장치이고, 외부물체를 인식하는 융합센서; 및 상기 융합센서에서 인식한 정보를 이용하는 제어부가 포함될 수 있다.
상기 융합센서에는, 메인렌즈의 촛점이 가변가능한 ?X점가변 라이트 필드 카메라가 포함될 수 있다.
상기 융합센서에는, 상기 ?X점가변 라이트 필드 카메라의 출력정보로부터 상기 외부물체의 이미지를 획득하는 객체이미지 획득부가 포함될 수 있다.
상기 융합센서에는, 상기 ?X점가변 라이트 필드 카메라의 출력정보로부터 상기 외부물체의 깊이정보를 획득하는 깊이정보 획득부가 포함될 수 있다.
다른 측면에 따른 본 발명의 운동체의 물체 인식 방법은, 촛점가변 라이트 필드 카메라를 이용하는 방법이고, 미리 설정된 메인렌즈의 어느 촛점거리에서 제 1 프레임을 획득하고, 상기 제 1 프레임으로부터 디스패러티를 측정하는 것이 포함될 수 있다.
상기 운동체의 물체 인식 방법에는, 상기 제 1 프레임이 획득된 이후에 제 2 프레임을 획득하고, 상기 제 2 프레임으로부터 디스패러티를 측정하는 것이 포함될 수 있다.
상기 운동체의 물체 인식 방법에는, 상기 제 1, 2 프레임 간의 디스패리티의 기울기를 측정하는 것이 포함될 수 있다.
상기 운동체의 물체 인식 방법에는, 상기 디스패리티의 기울기에 가까운 상기 촛점가변 메인렌즈의 촛점거리로 결정하여 제 3 프레임을 획득하는 것이 포함될 수 있다.
상기 운동체의 물체 인식 방법에는, 상기 제 3 프레임을 이용하여 외부물체를 인식하는 것이 포함될 수 있다.
상기 제 1 프레임의 디스패러티를 측정할 수 없으면, 상기 메인렌즈의 촛점거리를 변경하여 다시 제 1 프레임의 디스패러티를 측정하는 것이 반복될 수 있다.
상기 디스패리티의 기울기가 크면, 상기 촛점가변 메인렌즈의 촛점거리를 작은 것으로 변경할 수 있다.
상기 디스패리티의 기울기가 작으면, 상기 촛점가변 메인렌즈의 촛점거리를 큰 것으로 변경할 수 있다.
본 발명에 따르면, 라이트 필드 카메라의 메인렌즈의 촛점거리를 가변제어하여, 운동체의 근거리/중거리/장거리에 놓이는 방해물체를 정확히 파악할 수 있는 장점이 있다.
본 발명에 따르면, 라이트 필드 카메라의 간단한 조작으로 많은 정보를 알아낼 수 있다.
본 발명은 운동체가 근거리/중거리/장거리에 놓이는 방해물체의 거리정보 이미지정보를 함께 정확히 알아낼 수 있다.
도 1은 실시예에 따른 운동체의 물체 인식 장치의 장치 구성도.
도 2는 촛점가변 라이트 필드 카메라의 구조를 설명하는 도면.
도 3은 마이크로 렌즈 어레이의 전후의 광로를 확대하여 보이는 도면.
도 4는 실시예에 따른 운동체의 물체인식방법을 설명하는 도면.
도 5는 상기 촛점가변 메인렌즈의 촛점거리(FL), 디스패러티, 및 외부물체까지의 거리를 미리 계산하여 나타낸 그래프.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상의 이하의 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함될 수 있다.
도면 설명에 있어서, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략할 수 있다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 실시예에 따른 운동체의 물체 인식 장치의 장치 구성도이다.
도 1을 참조하면, 운동체(1)에는 융합센서(10)가 마련될 수 있다.
상기 운동체(1)에는, 일반차량, 자율주행차량, 항공기, 웨어러블 장치, 및 드론 등의 이동하는 모든 물체가 포함될 수 있다. 상기 운동체(1), 자기에게 장착된 구동력에 의해서 운동하는 물체, 또는 다른 물체의 운동에 편승하여 운동하는 물체를 모두 포함할 수 있다. 바람직한 예로는 자율주행차량을 예시할 수 있다.
상기 융합센서(10)는 다수의 센서가 병합되어 운동체가 외부물체를 인식하는 작용을 수행할 수 있다. 상기 융합센서(10)에는 카메라(11), 레이다(12), 및 라이다(13)가 포함될 수 있다. 상기 카메라(11)는 촛점가변 라이트 필드 카메라를 예시할 수 있다. 상기 촛점가변 라이트 필드 카메라는 메인렌즈의 촛점거리가 가변되는 카메라를 말한다. 상기 촛점가변 라이트 필드 카메라는 모터에 의해서 메인렌즈의 촛점거리가 자동으로 고속으로 가변될 수 있다. 상기 촛점가변 라이트 필드 카메라는 초당 수회 내지 수백회의 속도로 촛점거리를 최단부터 최장으로 가변할 수 있다. 상기 외부물체는 상기 운동체의 외부에 있는 물체를 언급할 수 있다. 상기 방해물체는 상기 외부물체의 일 예가 될 수 있다.
상기 촛점가변 라이트 필드 카메라에서 출력되는 정보는 객체 이미지 획득부(14)로 전달될 수 있다. 상기 객체 이미지 획득부(14)는 객체의 이미지 정보를 출력할 수 있다.
상기 촛점가변 라이트 필드 카메라는 거리정보를 출력할 수 있다. 상기 촛점가변 라이트 필드 카메라가 거리정보를 출력하는 것은 추후에 더 상세하게 설명될 수 있다.
상기 촛점가변 라이트 필드 카메라에서 출력되는 정보는 깊이정보 획득부(15)로 전달될 수 있다. 상기 깊이정보 획득부(15)는 외부물체의 거리정보를 알아낼 수 있다. 상기 레이다(12) 및 상기 라이다(13) 중의 적어도 하나에서 출력되는 정보는 상기 깊이정보 획득부(15)로 전달될 수 있다.
상기 깊이정보 획득부(15)는 상기 외부물체와 상기 운동체와의 거리를 정밀하게 알아낼 수 있다. 상기 깊이정보 획득부(15)는 상기 카메라(11), 레이다(12), 및 라이다(13)에서 출력되는 정보를 종합적으로 이용하여 상기 외부물체의 거리정보를 더 정밀하게 알아낼 수 있다.
상기 깊이정보 획득부(15)는 운동체의 주행 또는 운동에 필수적으로 중요한 정보이다. 이 때문에, 상기 객체 이미지 획득부(14)와 달리 코어부(16)에 놓일 수 있다. 상기 코어부(16)는 상기 융합센서(10)의 코어에 해당할 수 있다.
상기 융합센서(10)에서 출력된 정보는 상기 운동체(1)의 경고부(16) 및 제어부(17) 중의 적어도 하나에 전달될 수 있다. 상기 경고부(16)는, 상기 운동체(1)의 운동에 방해가 되는 외부물체에 대하여 경고할 수 있다. 상기 제어부(17)는 운동체(1)의 운동에 상기 외부물체의 존재를 참조할 수 있다.
상기 레이다(12)와 상기 라이다(13)가 없는 시스템을 고려할 수 있다. 이 경우에는 상기 촛점가변 라이트 필드 카메라에서 출력되는 정보를 이용할 수 있다. 상기 출력정보를 이용하여 상기 깊이정보 획득부(15)에서는 외부물체의 거리정보를 획득할 수 있다. 상기 출력정보를 이용하여 상기 객체 이미지 획득부(14)는 이미지 정보를 획득할 수 있다. 이와 같이 상기 촛점가변 라이트 필드 카메라 만이 이용되더라도 이미지와 깊이정보를 알 수 있다. 이 실시예는 운동체의 비전 장치이라고 할 수 있다. 이때 이미지는 이차원 삼차원을 포함할 수 있다.
상기 운동체 물체 인식 장치 및 운동체의 비전 장치는 별도의 초음파 센서가 없다라도 물체의 이미지 정보와 깊이정보를 얻을 수 있다.
이하에서는 상기 촛점가변 라이트 필드 카메라의 작용을 상세하게 설명한다.
도 2는 상기 촛점가변 라이트 필드 카메라의 구조를 설명하는 도면이고, 도 3은 마이크로 렌즈 어레이의 전후의 광로를 확대하여 보이는 도면이다.
도 2를 참조하면, 상기 촛점가변 라이트 필드 카메라에는, 촛점가변 메인렌즈(vari-focal lens)가 전후로 움직일 수 있다. 이미 설명한 바와 같이 촛점가변 메인렌즈는 고속으로 동작할 수 있다.
상기 촛점가변 메인렌즈로부터 피사체 평면(object plane)까지의 거리(aL)가 궁극적으로 알고자 하는 정보일 수 있다. 이 거리(aL)가 외부물체의 깊이정보일 수 있다. 상기 깊이정보는 상기 거리정보를 포함할 수 있다.
상기 깊이정보는, 수학식 1을 이용하여 구할 수 있다.
Figure 112021104396134-pat00001
여기서, fL은 상기 촛점가변 메인렌즈의 촛점거리이고, BL은 상기 촛점가변 메인렌즈에서 이미지 센서(image sensor)까지의 거리이고, a는 이미지 평면(image plane)에서 마이크로렌즈어레이(MLA)까지의 거리이고, b는 상기 마이크로렌즈어레이(MLA)에서 상기 이미지센서(image sensor)까지의 거리이다.
상기 수학식 1은, 상기 촛점가변 메인렌즈에 얇은렌즈함수(thin lens equation)로부터 도출하였다.
더 정확하게는, 상기 촛점가변 메인렌즈의 얇은렌즈함수에서, 상기 촛점가변 메인렌즈로부터 상기 이미지 평면까지의 거리까지의 거리(bL)를, 상기 촛점가변 메인렌즈에서 이미지 센서(image sensor)까지의 거리(BL), 이미지 평면(image plane)에서 마이크로렌즈어레이(MLA)까지의 거리(a), 및 상기 마이크로렌즈어레이(MLA)에서 상기 이미지센서(image sensor)까지의 거리(b)로 나타내었다.
그 이후에, 상기 촛점가변 메인렌즈로부터 피사체 평면(object plane)까지의 거리(aL)만을 이항하여 수식을 정리한 것이다.
상기 수학식 1에, 상기 촛점가변 메인렌즈의 촛점거리(fL), 상기 촛점가변 메인렌즈에서 이미지 센서(image sensor)까지의 거리(BL), 이미지 평면(image plane)에서 마이크로렌즈어레이(MLA)까지의 거리(a), 및 상기 마이크로렌즈어레이(MLA)에서 상기 이미지센서(image sensor)까지의 거리(b)를 대입하면, 상기 촛점가변 메인렌즈로부터 피사체 평면(object plane)까지의 거리(aL)를 알아낼 수 있다.
여기서, 다른 값은 상기 촛점가변 라이트 필드 카메라에서 프레임 획득시에 정해질 수 있다. 구체적으로, 상기 촛점가변 메인렌즈의 촛점거리(fL)는 조정된 거리로서 결정될 수 있다. 상기 촛점가변 메인렌즈에서 이미지 센서(image sensor)까지의 거리(BL), 및 상기 마이크로렌즈어레이(MLA)에서 상기 이미지센서(image sensor)까지의 거리(b)는 상기 촛점가변 라이트 필드 카메라의 설계시에 정해질 수 있다.
상기 이미지 평면(image plane)에서 마이크로렌즈어레이(MLA)까지의 거리(a)를 구하는 것은 도 3을 참조하여 설명한다.
도 3은 두 개의 마이크로 이미지가 동시에 상을 맺은 경우를 보이는 경우이다. 즉, 상기 이미지 평면의 어느 지점이 서로 이격하는 두 개의 마이크로 렌즈를 통과하여 이미지 센서 상에 두 개의 지점으로서 정확히 상을 맺은 경우이다.
이 때, 각 이미지의 벡터합(Px1+Px1)으로 디스패러티(disparity)를 알아낼 수 있다. 구체적으로, 상기 벡터합은 상기 이미지 센서의 픽셀의 갯수로 나타날 수 있다. 예를 들어, 물체의 상에 대한 백터합이 크면 상기 이미지 센서의 픽셀의 갯수가 많고, 그만큼 디스패러티가 크고 광각이 커져 동일한 촛점거리일 때 상대적으로 가까이 있는 물체의 상이라는 것을 의미할 수 있다.
상기 촛점가변 라이트 필드 카메라는 상기 촛점가변 메인렌즈의 촛점거리가 정해지면, 결정된 디스패러티에 따른 상기 이미지 평면(image plane)에서 마이크로렌즈어레이(MLA)까지의 거리(a)를 알아낼 수 있다. 이 관계는 도 5와 같이 미리 알려져 있을 수 있다. 상기 이미지 평면(image plane)에서 마이크로렌즈어레이(MLA)까지의 거리(a)를 알면 상기 수학식 1에 따라서 외부물체까지의 거리를 알아낼 수 있다.
다시 설명하면, 상이 맺힌 두 물체의 벡터합이 클수록, 픽셀의 갯수가 크고, 광각이 크고, 외부물체와의 거리가 가까와지는 것을 의미할 수 있다.
한편, 상기 촛점가변 메인렌즈의 촛점거리가 정해지면, 상기 이미지 평면(image plane)에서 마이크로렌즈어레이(MLA)까지의 거리(a)의 범위는 정해진다. 그러므로, 상기 촛점가변 메인렌즈의 촛점거리 별로, 디스패러티가 정해지면, 상기 이미지 평면(image plane)에서 마이크로렌즈어레이(MLA)까지의 거리(a)를 알 수 있고, 결국, 외부물체까지의 거리를 알 수 있다.
알아낸 거리정보는 운동체의 운동에 사용될 수 있다.
도 5는 상기 촛점가변 메인렌즈의 촛점거리(FL), 디스패러티, 및 외부물체까지의 거리를 미리 계산하여 나타낸 도면이다. 수평축은 외부물체와의 거리이고, 수직축은 디스패러티이다. 상기 촛점가변 메인렌즈의 각 거리마다 그래프를 도시하였다.
도 5를 참조하면, 상기 촛점가변 메인렌즈의 촛점거리가 길어질수록(20 -> 75), 그래프의 기울기가 완만하다. 거리가 멀어질수록 그래프의 기울기가 완만하다. 물론, 그 반대도 마찬가지의 설명이 가능하다. 이 성질을 이용하여 외부물체의 거리를 정밀하게 측정할 수 있다. 이하에서 더 상세하게 설명한다.
도 4는 실시예에 따른 운동체의 물체인식방법을 설명하는 도면이다. 여기서 물체의 인식은 물체의 거리를 말할 수 있다. 본 방법은 상기 촛점가변 라이트 필드 카메라를 이용하는 방법일 수 있다.
도 4를 참조하면, 미리 설정된 메인렌즈의 어느 촛점거리에서 제 1 프레임을 획득하고, 상기 제 1 프레임으로부터 디스패러티를 측정한다(S1).
여기서 프레임은 어느 시각에 획득한 라이트 필드 카메라의 비전관련 정보를 의미할 수 있다.
상기 제 1 프레임의 디스패러티를 측정할 수 없을 수 있다. 이 경우는, 상기 외부물체가 현재의 촛점거리로는 측정할 수 없는 거리에 놓이는 것을 의미할 수 있다. 이 경우에는, 상기 메인렌즈의 촛점거리를 변경하여 다시 제 1 프레임의 디스패러티를 측정할 수 있다. 상기 제 1 프레임은 디스패러티가 처음으로 측정된 상태를 의미할 수 있다.
이후에는 제 2 프레임의 디스패러티를 측정할 수 있다(S2). 상기 제 2 프레임은 상기 제 1 프레임의 이후의 어느 시점일 수 있다. 상기 제 1 프레임과 상기 제 2 프레임의 시간 사이에는, 상기 운동체는 운동하는 것이 유의할 필요가 있다. 상기 제 1, 2 프레임의 간격은 충분히 짧은 간격일 수 있다. 상기 제 2 프레임은 상기 제 1 프레임과 동일한 메인렌즈 촛점거리의 상태에서 획득된 프레임일 수 있다.
상기 제 1, 2 프레임 간의 디스패리티 변화, 상기 운동체의 이동거리를 이용하여 상기 디스패리티의 기울기를 측정할 수 있다(S3). 다시 말하면, 도 5의 각 그래프의 기울기에 해당하는 기울기를 알아낼 수 있다.
상기 디스패리티의 기울기를 알아내면 최적의 상기 촛점가변 메인렌즈의 촛점거리를 결정할 수 있다. 이후에는 결정된 촛점거리로 제 3 프레임을 획득할 수 있다(S4).
예를 들어 설명한다.
상기 제 1 프레임에서 측정된 디스패리티가 26이면, 도 5에서 모든 촛점거리에 해당할 수 있다. 그러나, 제 1, 2 프레임 동안의 디스패리티의 변화량, 및 운동체의 이동거리를 이용하면, 제 1, 2 프레임 동안의 디스패러티 변화량, 즉 기울기를 알아낼 수 있다. 상기 디스패리티의 기울기와 가장 가까운 상기 촛점가변 메인렌즈의 촛점거리를 알아낼 수 있다. 현재 기울기가 크면 촛점거리(FL)를 20으로 조절하는 것이 바람직하다. 현재 기울기가 작으면 촛점거리(FL)를 75로 조절하는 것이 바람직하다.
그 이유를 설명한다.
상기 제 1, 2 프레임 동안의 디스패리티의 기울기가 클수록 상기 촛점가변 메인렌즈의 촛점거리를 짧게 하는 것이 바람직하다. 상기 촛점가변 메인렌즈의 촛점거리가 짧을 수록 거리가 가까운 외부물체의 거리정보를 더 정확하게 측정할 수 있기 때문이다.
반대로, 상기 제 1, 2 프레임 동안의 디스패리티의 기울기가 작을수록 상기 촛점가변 메인렌즈의 촛점거리를 길게 하는 것이 바람직하다. 상기 촛점가변 메인렌즈의 촛점거리가 길수록 거리가 먼 외부물체의 거리정보를 더 정확하게 측정할 수 있기 때문이다.
상기 제 3 프레임은 촛점이 변하지 않는 경우에는 제 2 프레임과 동일한 프레임일 수도 있다. 즉 새로이 프레임을 획득하지 않을 수 있다. 그러나, 운동체의 속도가 빠른 경우에는, 운동체의 거리가 변하기 때문에, 새로운 프레임을 획득하는 것이 정확한 거리정보의 측정에 바람직할 수 있다.
상기 제 3 프레임을 이용하여 피사체, 즉 외부물체의 깊이정보를 알아낼 수 있다(S5)
실시예에 따른 운동체의 물체 인식 방법에 따르면, 외부물체의 깊이정보를 더 정밀하게 알아낼 수 있는 장점이 있다. 이 장점은 상기 촛점가변 라이트 필드 카메라의, 상기 촛점가변 메인렌즈의 촛점거리를 정확하게 설정하는 것이 가능한 것이 그 일 요인이 될 수 있다.
본 발명에 따르면, 운동체가 외부물체까지의 거리정보를 정밀하게 알아낼 수 있다.
10: 융합센서
11: 카메라

Claims (8)

  1. 운동체에 탑재되는 장치이고,
    외부물체를 인식하는 융합센서; 및
    상기 융합센서에서 인식한 정보를 이용하는 제어부가 포함되고,
    상기 융합센서에는,
    레이다, 및 라이다 중의 적어도 하나;
    메인렌즈의 촛점이 가변가능한 촛점가변 라이트 필드 카메라;
    상기 촛점가변 라이트 필드 카메라의 출력정보로부터 외부물체의 이미지를 획득하는 객체이미지 획득부; 및
    상기 촛점가변 라이트 필드 카메라의 출력정보, 및 상기 레이다와 라이다 중의 적어도 하나로부터의 출력정보를 이용하여 상기 외부물체의 깊이정보를 획득하는 깊이정보 획득부가 포함되고,
    상기 촛점가변 라이트 필드 카메라는, 제 1 프레임 및 제 2 프레임 간의 디스패리티의 기울기를 측정하고, 상기 디스패리티의 기울기에 가까운 상기 메인렌즈의 촛점을 촛점가변 메인렌즈의 촛점으로 결정하여 제 3 프레임을 획득하고, 상기 제 3 프레임으로 상기 외부물체를 인식하는 것을 특징으로 하는
    운동체의 물체 인식 장치.
  2. 제 1 항에 있어서,
    상기 깊이정보 획득부는 상기 융합센서의 코어부에 제공되고,
    상기 객체이미지 획득부는 상기 코어부의 외부에 놓이는 운동체의 물체 인식 장치.
  3. 제 1 항에 있어서,
    상기 메인렌즈의 촛점거리를 자동으로 가변하는 운동체의 물체 인식 장치.
  4. 제 1 항에 있어서,
    상기 융합센서에는 초음파 센서가 없는 운동체의 물체 인식 장치.
  5. 운동체에 탑재되는 장치이고,
    외부물체를 인식하는 융합센서; 및
    상기 융합센서에서 인식한 정보를 이용하는 제어부가 포함되고,
    상기 융합센서에는,
    메인렌즈의 촛점이 가변가능한 촛점가변 라이트 필드 카메라;
    상기 촛점가변 라이트 필드 카메라의 출력정보로부터 상기 외부물체의 이미지를 획득하는 객체이미지 획득부; 및
    상기 촛점가변 라이트 필드 카메라의 출력정보로부터 상기 외부물체의 깊이정보를 획득하는 깊이정보 획득부가 포함되고,
    상기 촛점가변 라이트 필드 카메라는, 제 1 프레임 및 제 2 프레임 간의 디스패리티의 기울기를 측정하고, 상기 디스패리티의 기울기에 가까운 상기 메인렌즈의 촛점을 촛점가변 메인렌즈의 촛점으로 결정하여 제 3 프레임을 획득하고, 상기 제 3 프레임으로 상기 외부물체를 인식하는 것을 특징으로 하는
    운동체의 비전 장치.
  6. 촛점가변 라이트 필드 카메라를 이용하는 방법이고,
    미리 설정된 메인렌즈의 어느 촛점거리에서 제 1 프레임을 획득하고, 상기 제 1 프레임으로부터 디스패러티를 측정하는 것;
    상기 제 1 프레임이 획득된 이후에 제 2 프레임을 획득하고, 상기 제 2 프레임으로부터 디스패러티를 측정하는 것;
    상기 제 1, 2 프레임 간의 디스패리티의 기울기를 측정하는 것;
    상기 디스패리티의 기울기에 가까운 상기 메인렌즈의 촛점거리를 촛점가변 메인렌즈의 촛점거리로 결정하여 제 3 프레임을 획득하는 것; 및
    상기 제 3 프레임을 이용하여 외부물체를 인식하는,
    운동체의 물체 인식 방법.
  7. 제 6 항에 있어서,
    상기 제 1 프레임의 디스패러티를 측정할 수 없으면, 상기 메인렌즈의 촛점거리를 변경하여 다시 제 1 프레임의 디스패러티를 측정하는 것이 반복되는 운동체의 물체 인식 방법.
  8. 제 6 항에 있어서
    상기 디스패리티의 기울기가 크면, 상기 촛점가변 메인렌즈의 촛점거리를 작은 것으로 변경하고,
    상기 디스패리티의 기울기가 작으면, 상기 촛점가변 메인렌즈의 촛점거리를 큰 것으로 변경하는,
    운동체의 물체 인식 방법.

KR1020210120199A 2020-11-30 2021-09-09 운동체의 물체 인식 장치 및 방법, 및 운동체의 비전 장치 KR102475960B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200163724 2020-11-30
KR20200163724 2020-11-30

Publications (2)

Publication Number Publication Date
KR20220076290A KR20220076290A (ko) 2022-06-08
KR102475960B1 true KR102475960B1 (ko) 2022-12-12

Family

ID=81981545

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210120199A KR102475960B1 (ko) 2020-11-30 2021-09-09 운동체의 물체 인식 장치 및 방법, 및 운동체의 비전 장치

Country Status (1)

Country Link
KR (1) KR102475960B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281260B1 (ko) * 2009-04-07 2013-07-05 주식회사 만도 차량 인식 방법 및 장치
EP3230690A4 (en) * 2014-12-09 2018-11-14 Basf Se Optical detector

Also Published As

Publication number Publication date
KR20220076290A (ko) 2022-06-08

Similar Documents

Publication Publication Date Title
CN110325879B (zh) 用于压缩三维深度感测的系统和方法
KR102089036B1 (ko) 정보 디스플레이 장치, 정보 제공 시스템, 이동체 디바이스, 정보 디스플레이 방법 및 기록 매체
US11425359B2 (en) Apparatus and method for generating three-dimensional image
EP2803944A2 (en) Image Processing Apparatus, Distance Measurement Apparatus, Vehicle-Device Control System, Vehicle, and Image Processing Program
US20110018973A1 (en) Three-dimensional imaging device and method for calibrating three-dimensional imaging device
US11418695B2 (en) Digital imaging system including plenoptic optical device and image data processing method for vehicle obstacle and gesture detection
JP2019078716A (ja) 距離計測装置、距離計測システム、撮像装置、移動体、距離計測装置の制御方法およびプログラム
JP2019032296A (ja) 測距システム、および、移動体システム
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
KR101545971B1 (ko) 복합 영상 센싱 시스템
CN108881717B (zh) 一种深度成像方法及系统
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
JP7255345B2 (ja) 走行車線認識装置、走行車線認識方法およびプログラム
JP2021089288A (ja) ライダシステム用光学装置、ライダシステムおよび作業装置
JP2019033478A (ja) 構造物壁面の撮影装置、車両、構造物壁面の撮影方法、及びトンネル壁面の撮影方法
JP6653456B1 (ja) 撮像装置
CN112822348B (zh) 交通工具机载成像系统
KR102475960B1 (ko) 운동체의 물체 인식 장치 및 방법, 및 운동체의 비전 장치
US20230283758A1 (en) Multi-aperture zoom digital cameras and methods of using same
CN112602117A (zh) 图像处理装置和三维测量系统
CN110392818B (zh) 距离测量装置、头戴式显示器装置、便携信息终端、影像显示装置、周边监视系统
US10921119B2 (en) Three dimensional image measurement system
KR102493422B1 (ko) 간단한 대물렌즈위치 순차제어를 통한 2차원 주사광학시스템
US11747449B2 (en) Scanning unit of an optical transmission and receiving device of an optical detection apparatus of a vehicle
KR20170084966A (ko) 국소위치인식시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant