KR20180015093A - 스테레오 삼각 측량을 위한 시스템 및 방법 - Google Patents

스테레오 삼각 측량을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20180015093A
KR20180015093A KR1020170097796A KR20170097796A KR20180015093A KR 20180015093 A KR20180015093 A KR 20180015093A KR 1020170097796 A KR1020170097796 A KR 1020170097796A KR 20170097796 A KR20170097796 A KR 20170097796A KR 20180015093 A KR20180015093 A KR 20180015093A
Authority
KR
South Korea
Prior art keywords
camera
light
reflected light
source
reflected
Prior art date
Application number
KR1020170097796A
Other languages
English (en)
Inventor
제라드 더크 스미츠
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180015093A publication Critical patent/KR20180015093A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereo-Broadcasting Methods (AREA)

Abstract

본 발명에 따른 객체를 검출하는 시스템은 소스 광을 출력하도록 구성된 실질적으로 평행한 스캐닝 광 소스, 제1 반사 광을 수신하도록 구성된 제1 카메라, 제1 카메라로부터 분리되고, 제2 반사 광을 수신하도록 구성된 제2 카메라, 및 스캐닝 광 소스, 제1 카메라, 및 제2 카메라를 제어하고, 제1 반사광 및 제2 반사 광을 처리하여 객체를 검출하도록 구성된 하나 또는 그 이상의 프로세서들을 포함한다. 제1 반사광은 객체로부터 제1 카메라로 반사된 소스 광이고, 제2 반사광은 객체로부터 제2 카메라로 반사된 상기 소스 광이다.

Description

스테레오 삼각 측량을 위한 시스템 및 방법{SYSTEM AND METHOD FOR STEREO TRIANGULATION}
본 발명은 거리 측정에 관한 것으로, 더욱 상세하게는, 스테레오 삼각 측량(stereo triangulation)에 관한 것이다.
거리들을 측정하고, 3차원 이미징을 위한 스테레오 비젼 시스템들에 대한 다양한 노력들이 행해지고 있으나, 이러한 노력들은 많은 시간을 소모하고, 비싼 장치들을 필요로 할 수 있다.
종래의 그리고 전형적인 방식들의 다양한 제한들 및 단점들이 도면을 참조하여 본 발명의 나머지 부분에서 게시된 바와 같이, 본 발명의 일부 양상들과 이러한 시스템들의 비교를 통해 당업자에 의해 명백해질 것이다.
본 발명은 상술된 기술적 과제를 해결하기 위한 것으로써, 본 발명은 스테레오 삼각 측량을 위한 시스템 및 방법을 제공할 수 있다.
스테레오 삼각 측량을 위한 시스템 및/또는 방법은 적어도 하나의 도면과 연관되어 설명되고 도시된다.
본 발명뿐만 아니라 그것들의 게시된 실시 예의 상세한 설명의 다양한 이점들, 양상들, 및 새로운 특징들은 이하의 상세한 설명 및 도면들로부터 더욱 잘 이해될 것이다.
본 발명의 실시 예에 따르면, 향상된 성능을 갖는 스테레오 삼각 측량을 위한 시스템 및 방법이 제공된다.
본 발명의 상술된 그리고 다른 목적들, 특징들, 및 이점들은 첨부된 도면들과 연결되어 이하의 상세한 설명으로부터 더욱 명백하질 것이다.
도 1a는 본 발명의 실시 예에 따른 스테레오 삼각 측량의 도면이다.
도 1b는 본 발명의 실시 예에 따른, 자동차 플랫폼 상의 스테레오 삼각 측량의 도면이다.
도 2는 본 발명의 실시 예에 따른, 자동차 플랫폼에서의 스테레오 삼각 측량의 고-레벨 블록도이다.
도 3은 본 발명의 실시 예에 따른, 스테레오 삼각 측량에서 사용을 위한 RGB 스캐너의 도면이다.
도 4a는 글로벌 노출 카메라(global exposure camera)에 대한 처리 스케줄의 그래프이다.
도 4b는 본 발명의 실시 예에 따른, 롤링 셔터 카메라(rolling shutter camera)에 대한 처리 스케줄의 그래프이다.
본 발명의 실시 예들은 본문에 게시된 상세한 설명들에 국한되는 것으로 이해되어서는 안 된다. 더 정확히 말하면, 본문이 당업자에게 본 발명의 실시 예들의 양상을 완전히 이해하고, 실시하고, 전달될 수 있도록, 이러한 실시 예들이 예로서 제공된다. 첨부된 특허청구범위는 본 발명의 실시 예들의 일부를 보여준다.
상세한 설명 전반에 걸쳐, 유사한 참조 번호들은 유사한 요소들을 지칭한다. 기술되거나 또는 기술적인 용어들을 포함하는 모든 용어들은 당업자에 의해 자명한 의미를 갖는 것으로 이해되어야 할 것이다. 용어들이 언어들의 진화, 판례, 또는 새로운 기술의 등장으로 인하여 모호한 의미를 포함하는 경우, 본문에서 사용되는 용어의 의미는 본문에서의 그것의 사용 및/또는 정의에 의해 먼저 명확해져야 할 것이다. 그 이후에, 용어는 당업자가 본문에서의 용어를 이해할 수 있도록 명확해져야 할 것이다.
부분(part)이 요소를 "포함(include or comprise)"하는 경우, 그것에 대한 특정한 설명이 없는 한, 부분은 다른 요소들을 더 포함할 수 있다. 본 발명의 실시 예들에서 "유닛(unit)"의 용어는 특정 기능을 수행하는 하드웨어 구성 또는 소프트웨어 구성을 의미한다. 하드웨어 구성은, 예를 들어, FPGA(field-programmable gate array) 또는 ASIC(application-specific integrated circuit)을 포함할 수 있다.
소프트웨어 또는 소프트웨어 구성은 실행 가능한 코드 및/또는 주소 지정 가능한 저장 매체에서 실행 가능한 코드에 의해 사용되는 데이터를 지칭할 수 있다. 즉, 소프트웨어는, 예를 들어, 객체-지향형 소프트웨어 구성들, 클래스 구성들, 및 작업 구성들일 수 있고, 프로세스들, 기능들, 속성들, 절차들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 애플리케이션 프로그램, 마이크로 코드들/회로들, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 또는 다양한 것들을 포함할 수 있다.
"유닛(unit)"에 의해 제공되는 기능은 추가적인 구성들 및 "유닛들(unit)"로 분할될 수 있다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예들이 상세하게 설명될 것이다. 이에 대하여, 본 발명의 실시 예들은 다른 형태들을 포함할 수 있고, 본문에 게시된 상세한 설명들에 제한되는 것으로 이해되어서는 안 된다.
이하의 설명에서, 잘 알려진 기능들 또는 구성은 불필요한 설명들로 실시 예들이 모호해지지 않도록 상세하게 설명되지 않는다.
도 1a는 본 발명의 실시 예에 따른, 스테레오 삼각 측량의 도면이다. 도 1a를 참조하면, 카메라들(110, 112)을 구비한 플랫폼(100), 객체를 노출하기 위한 소스 광(source light)을 제공하는 스캐너(120), 및 기록되는 객체(130)(object)가 도시된다. 카메라들(110, 112)은, 예를 들어, CMOS 카메라들을 포함하는 적절한 카메라들의 형태일 수 있다. 스캐너(120)는, 예를 들어, 일련의 수평 라인으로 레이저 광을 출력하는 스캐닝 MEMS 기법을 사용하는 광 스캐너와 같은 래스터 방법(raster method)으로 영역을 비출 수 있는 적절한 광 소스의 형태일 수 있다. 따라서, 실시 예에서, 스캐너(120)는 프레임 당 1080개의 수평 라인들을 출력할 수 있다. 본 발명의 다양한 실시 예들에서, 스캐너(120)는 방출된 광의 분산(dispersion)을 최소화할 수 있는 실질적으로(substantially) 평행한 광(collimated light)을 제공할 수 있다. 본 발명의 다양한 실시 예들은 방출된 광을 위한 포인트 소스(point source)인 스캐너(120)를 포함할 수 있다.
다양한 실시 예들은 특수 목적을 위하여 다른 수평 및/또는 수직 해상도(resolution)을 제공할 수 있다. 예를 들어, 일부 실시 예들은 라인당 1920개의 픽셀들을 갖는 1080개의 라인들을 포함할 수 있다. 본문에서 다양한 설명들을 용이하게 하기 위하여, 프레임당 1080개의 라인들 및 라인당 1920 개의 픽셀들인 것으로 가정되나, 이러한 사항이 본 발명의 사상을 프레임 당 특정한 개수의 라인들 및 라인당 특정한 개수의 픽셀로 제한하지 않음이 이해될 것이다.
더욱이, 카메라들(110, 112) 및 스캐너(120) 사이의 거리가 알려져 있기 때문에, 각 카메라로부터의 대응하는 픽셀들은 각 카메라로부터의 거리 정보를 제공하는 것을 충족할 수 있고, 그로 인하여, 3차원 형상화(3-D imagery)가 가능하다. 더욱이, 스캐너(120) 및 카메라들(110, 112)의 구성에 대하여, 가능한 3개의 분리된 삼각 측량들이 존재할 수 있다. 제1 삼각형은 꼭지점들로서 카메라(110), 스캐너(120) 및 객체(130)로 구성된다. 제2 삼각형은 꼭지점들로서 카메라(112), 스캐너(120), 및 객체(130)로 구성된다. 제3 삼각형은 꼭지점들로서 카메라(110), 카메라(112), 및 객체(130)로 구성된다. 하나 또는 그 이상의 삼각형들로부터 수신된 정보는 다양한 형태의 이미지 생성을 최적화하기 위해 처리될 수 있다.
3차원 이미징을 포함하는 일반적인 이미징에 대하여, 예를 들어, de Bruijin 시퀀스와 같은 구조 광 시퀀스(structured light sequence)는 이미지 캡쳐를 최적화하는데 사용될 수 있다. 그러나 본 발명의 다양한 실시 예들은 구조 광 시퀀스들을 사용하는 것에 국한되지 않는다. 더욱이, 본 발명의 다양한 실시 예들은 스캐너(120)가 그것의 출력 강도를 바꾸도록 할 수 있다. 이는, 예를 들어, 카메라들(110, 112)이 멀리 떨어진 곳으로부터 이미지들을 캡쳐하도록 허용하는 것일 수 있다.
다양한 실시 예들은 스캐너(120)의 수평 이동(121)을 더 제어할 수 있다. 예를 들어, 스캔에 대한 좀 더 상세한 내용을 획득하기 위해, 스캐너(120)는 동일한 시간 동안 정상 스캔보다 더 짧은 수평 이동(121)에 대하여 제어될 수 있다. 이는 더욱 작은 이미지 영역을 좀 더 많이 비추어 더욱 상세한 내용을 획득하도록 할 수 있다. 다른 경우들에서, 스캐너(120)는 동일한 시간 동안 정상 스캔보다 더 긴 수평 이동(121)에 대하여 제어될 수 있다. 이는 좀 덜 상세한 구성으로 더욱 큰 이미지 영역을 커버하도록 할 수 있다. 스캐너(120)는 스캔된 수평 라인들의 개수에 대하여 제어될 수 있다.
더욱이, 스캐너(120)는 스캔된 수직 위치(vertical position) 뿐만 아니라, 스캔된 수평 위치(horizontal position) 에 대하여 제어될 수 있다. 예를 들어, 스캔된 수평 위치는 수평 시작 위치 및 수평 종료 위치를 지칭하여 객체 또는 환경의 특정 영역에 대하여 좀 더 상세한 구성을 획득할 수 있다. 유사하게, 스캔된 수직 위치에 대하여, 시작 라인 및 종료 라인들의 표시들(indications)이 존재할 수 있다. 이러한 방식에서, 스캔된 영역은 좁을 수 있으며, 이로 인하여, 줌 효과(zoom effect)를 제공할 수 있다. 스캐너(120)의 추가적인 제어는 정상 시간 또는 정상 스캔 속도에서 감소된 영역을 스캔할지에 대한 빔 출력의 강도를 포함할 수 있으나, 프레임들이 더 작기 때문에, 초당 좀 더 많은 "프레임들(frames)"을 효율적으로 포함할 수 있다.
이러한 방식에서, 본 발명의 다양한 실시 예들은 수평 스윕(horizontal sweep)의 시작 및 수평 스윕 범위를 특정하는 것을 허용할 수 있다. 유사하게, 수직 스윕(vertical sweep)의 시작뿐만 아니라, 수평 스윕 범위가 특정될 수 있다.
카메라들(110, 112)은 픽셀들의 일부 라인들(행들)을 노출시켜 스캐너(120)와 동기화시킴으로써, 특정 수평 라인(행)들을 독출하도록 제어될 수 있다. 스캐너(120)는 카메라들(110, 112)의 픽셀들의 행들의 개수와 다른 개수의 라인들을 스캔할 수 있다. 일부 실시 예들은 카메라들(110 or 112)이 행으로부터 읽어질 시작 픽셀 및 종료 픽셀을 특정하여 스캐너(120)와 추가적으로 동기화되도록 할 수 있다. 이는 프레임의 원하는 부분으로부터 픽셀들을 처리하고 독출하는 것을 허용할 수 있다.
더욱이, 일부 실시 예들은 카메라들이 일부 양만큼 회전하도록 제어되는 것을 허용할 수 있다. 이는, 예를 들어, 각각의 개별적인 카메라(110, 112)가 다른 영역들의 이미지들을 캡쳐하는 것을 허용할 수 있다. 따라서, 카메라들(110, 112)은 3차원 이미지일 수 있는 객체(130)의 이미지를 제공하도록 제어될 수 있거나, 또는 각 카메라(110, 112)는 중첩된 또는 중첩되지 않은 영역들의 이미지들을 제공할 수 있다. 그러므로, 카메라들(110, 112)은 카메라(110)의 전면의 영역의 좌측 및 카메라(112)의 전면의 영역의 우측의 개별적인 이미지들을 제공하도록 구성될 수 있다. 더욱이, 카메라들(110, 112) 중 하나가 비활성화되거나 또는 카메라들(110, 112) 중 하나에 대한 처리 회로/소프트웨어가 비활성화된 경우에서, 카메라들(110, 112) 중 다른 하나는 스캐너(120)에 의해 비춰지는 전면의 영역의 모노 이미지들(mono images)을 제공하는데 사용될 수 있다. 일부 경우들에서, 나머지 카메라(110 또는 112)는 수평적 및/또는 수직적으로 회전하여 더 넓은 전경(field of view)을 제공할 수 있다.
본 발명의 다양한 실시 예들은 스캐너(120)가 회전하도록 제어되는 것을 허용할 수 있다. 예를 들어, 이는 회전될 수 있는 카메라들(110 및/또는 112)에 대하여 더 나은 광 패턴을 제공하기 위함일 수 있다. 스캐너(120)의 회전은 스캐너(120) 및/또는 스캐너(120)의 개별적인 부분들을 제어하는 적절한 기법을 사용할 수 있다. 방출 광(emitted light)의 경로의 방향은 스캐너(120) 내에서 또는 스캐너(120)의 외부에서 제어될 수 있다. 경로의 방향은, 예를 들어, 광학 렌즈들(optical lenses)을 사용하여 제어될 수 있다.
도 1a가 카메라들(110, 112) 사이의 중간에 위치한 스캐너(120)를 보여주나, 본 발명이 이에 제한될 필요는 없다. 예를 들어, 스캐너(120)는 카메라들(110 또는 112) 중 하나의 방향으로 치우칠 수 있거나, 또는 스캐너(120)는 카메라들(110, 112) 모두의 우측 또는 카메라들(110, 112) 모두의 좌측에 위치될 수 있다.
더욱이, 카메라들(110, 112) 및 스캐너(120)는 가시광선(visible light), 적외선(infrared light) 등과 같은 광 스펙트럼(light spectrum)의 다른 부분들을 사용할 수 있다. 카메라들(110, 112)이 동일한 타입을 사용할 수 있으나, 본 발명의 다양한 실시 예들이 이에 제한될 필요는 없다. 예를 들어, 카메라(110)는 RGB 스펙트럼에 민감할 수 있으나, 카메라(112)는 적외선 스펙트럼에 민감할 수 있다. 사용될 수 있는 다른 타입들의 카메라들은 예를 들어, 가시광선 및 적외선에 민감할 수 있다. 따라서, 본 발명은 실시 예에서 사용되는 카메라를 특정 전자기장 스펙트럼에 제한하지 않는다. 각 카메라(110, 112)는 카메라들(110, 112)에 대한 유사한 수신 픽셀 범위들 및 스캐너(120)의 수평/수직 스캔 범위들을 명시하는 것으로부터의 효율적인 줌 기능 및 소프트웨어 줌 기능에 추가적으로 광학 줌 기능을 포함할 수 있다.
더욱이, 스캐너(120)가 서로 수평이고 평행한 래스터 출력 라인들(raster output lines)을 제공하는 것으로 설명되나, 본 발명의 다양한 실시 예들은 스캐너(120)의 제어가 다른 광 패턴들을 사용하는 것을 허용할 수 있다. 따라서, 광은 평행, 수평 라인들을 포함하지 않는 패턴으로 출력될 수 있다. 예를 들어, 평행한 대각 라인들, 다른 각도로 출력되는 다양한 라인들 등과 같은 다양한 패턴들이 사용될 수 있다. 평행 라인들은 우측으로부터 시작하거나 또는 평행선들이 수직인 라인으로 출력될 수 있다. 따라서, 스캐너(120)는 라인들이 반드시 좌측에서 시작하지 않거나 또는 평행, 수직 라인들이 아닌 광의 라인들을 출력하도록 제어될 수 있다.
본 발명의 다양한 실시 예들은 등극면(epipolar plane) 상에 위치되는 스캐너(120) 및 카메라들(110, 112)을 제공할 수 있다.
도 1b는 본 발명의 실시 예에 따른, 자동차 플랫폼상의 스테레오 삼각 측량의 도면이다. 도 1b를 참조하면, 도 1의 플랫폼(100)일 수 있는 자동차 플랫폼(150)이 도시된다. 따라서, 자동차 플랫폼(100)은 카메라들(110, 112) 및 스캐너(120)를 포함한다. 상술된 바와 같이, 카메라들(110, 112) 중 하나가 비활성화되더라도, 자동차 플랫폼(150)은 여전히 전면 환경을 볼 수 있다.
더욱이, 상술된 바와 같이, 카메라들(110, 112)은 전면의 3차원 이미징을 일반적으로 포기함으로써, 카메라들(110, 112)로 전면 우측 및 전면 좌측을 각각 좀 더 상세하게 봄으로써 실패하는 다른 센서들의 기능을 어느 정도 보완할 수 있다. 이는 스캐너(120)에 의해 스캔 영역을 조정하는 것뿐만 아니라, 카메라들(110, 112)의 각도를 조정하는 것을 수반할 수 있다. 일부 실시 예들은 이러한 상황에서도 자동차 플랫폼(150)의 중앙 전면에 근접한 제한된 3차원 이미징을 제공하도록 구성될 수 있다.
다양한 실시 예들은 전조등 내의 스캐너(120)를 포함할 수 있고, 전조등에 의해 방출된 전체 광이 전조등을 통제할 수 있는 지역 규제를 초과하지 않도록, 스캔된 광이 전조등에 의해 출력될 수 있다. 예를 들어, 미국 내의 사용을 위한 장치들은 미국 규제들(US regulations)을 준수할 것이다. 유럽 내의 사용을 위한 장치들은 유럽 규제들을 준수할 것이다. 중국 내의 사용을 위한 장치들은 중국 규제들을 준수할 것이다. 스캐너(120)가 전조등에 위치하던지 또는 자동차의 다른 부분에 위치하던지, 특정 대역(가시광선, 적외선 등)에 대하여 방출된 전체 광은 이러한 대역들을 통제하는 다양한 규제들을 만족하도록 제어될 수 있다.
따라서, 카메라들(110, 112)은 앞 길(road ahead)을 비추는 광의 파장보다 전조등의 스캐너(120)에 의해 출력된 스캔 광의 파장에 좀 더 민감할 수 있다. 전조등의 스캐너(120)로부터의 광은 상술된 바와 같이, 구조화(패턴화)될 수 있거나 또는 구조화되지 않을 수 있다. 더욱이, 전조등들 모두에, 또는 더욱 많은 광들에 스캐너(120)가 존재할 수 있고, 각 스캐너(120)는 비-구조 광(non-structured light)를 제공하거나 또는 구조 광(structured light)를 제공할 수 있다. 그러므로, 카메라는 하나의 카메라로부터의 구조 광 또는 다수의 카메라들로부터의 구조 광들을 사용하는 능력을 포함할 수 있다.
스캐너(120)는 수평 디테일에 대한 좀 더 나은 식별력을 허용할 수 있는 구조 광을 투영하도록 조율될 수 있고, 다른 스캐너(120)는 수직 디테일에 대한 좀 더 나은 식별력을 허용할 수 있는 구조 광을 투영하도록 조율될 수 있다. 스캐너들(120)은 방출 광의 구조화를 턴-온/턴-오프하는 것뿐만 아니라, 수평 식별력 또는 수직 식별력을 위한 구조 광을 제공하도록 제어될 수 있다. 일 실시 예는 수직 식별력을 위한 구조 광을 제공하는 하나의 스캐너(120) 및 수평 식별력을 위한 구조 광을 제공하는 다른 하나의 스캐너(120)를 포함할 수 있다. 하나 또는 그 이상의 카메라들은 하나 또는 그 이상의 스캐너들과 동기화되어, 구조광 이든 아니든 상관없이 광을 수신할 수 있다.
전조등의 스캐너가 자동차 플랫폼과 연관되어 설명되었으나, 본 발명의 다양한 실시 예들은 임의의 운송 수단(육상, 공중, 수중, 우주 등)의 전조등 실시 예의 스캐너 및 사람의 수신 카메라들과 동기된 플래시 광과 같은 다른 형태의 광들을 함께 사용할 수 있다. 당업자에게 인식될 수 있는 바와 같이, 본 발명의 실시 예는 다양한 다른 시나리오들과 함께 사용될 수 있다.
도 2는 본 발명의 실시 예에 따른 자동차 플랫폼의 스테레오 삼각 측량의 고수준 블록도이다. 도 2를 참조하면, 플랫폼(100) 또는 자동차 플랫폼(150)과 유사할 수 있는 플랫폼(200)이 도시된다. 플랫폼(200)은 프로세서(210), 메모리(220), 및 센서들(230)을 포함한다. 프로세서(210)는 명령어들을 실행할 수 있는 하나 또는 그 이상의 타입의 프로세서일 수 있다. 메모리(220)는 휘발성 메모리(222), 불휘발성 메모리(224), 및/또는 대용량 저장소(226)를 포함할 수 있다. 대용량 저장소(226)는, 예를 들어, 자기 하드 드라이브, 광학 매체, 플래시 메모리 등을 포함할 수 있다. 데이터 및 실행 가능한 명령어들은 메모리(220)에 저장될 수 있다. 센서(230)는 카메라들(232) 및 스캐너(234)뿐만 아니라, 플랫폼(200)에 의해 사용될 수 있는 다른 센서들을 포함할 수 있다. 예를 들어, 플랫폼(200)이 자동차 플랫폼인 경우, 다른 센서들은, 레이더(radar), 광선 레이더(lidar), 음파 탐지기(sonar) 등을 포함할 수 있다.
프로세서(210)는 센서들(230)과 독립적일 수 있거나, 다른 부분들과 집적된 프로세서일 수 있다. 예를 들어, 프로세서(210)는 카메라들(232) 및 스캐너(234)을 논리적으로 포함하거나, 또는 논리적으로 센서들(230)의 일부인 프로세서인 비전 모듈(vision module)과 집적될 수 있고, 따라서, 센서들(230)을 제어하고 센서들(230)로부터의/로의 데이터를 처리할 수 있다. 프로세서(210)는 센서들(230)의 일부일 수 있는 프로세서들을 포함하는 하나 또는 그 이상의 프로세서들과 연관되거나 또는 센서들(230)로부터의 데이터를 독립적으로 처리하거나 또는 다양한 센서들(230)을 제어하도록 작업하는 독립적인 프로세서일 수 있다.
프로세서(210)는 상술된 바와 같이 카메라들(232) 및 스캐너(234)를 제어하여 3차원 이미지들을 생성하거나 또는 다른 센서들 중 하나 또는 그 이상의 손실을 보상하도록 함께 동작시킬 수 있다. 프로세서(210)는 다른 거리들, 분해능, 커버된 다른 이미지 영역들 및/또는 근접 촬영들에서, 이미징을 위하여 카메라들(232) 및 스캐너(234)을 더 제어할 수 있다. 프로세서(210)는 카메라들(232)로부터 수신된 정보를 더 처리하는 단일 프로세서일 수 있으나, 본 발명의 다양한 실시 예들은 하나 또는 그 이상의 프로세서들(210)이 카메라들(232)로부터 수신된 정보를 처리할 수 있는 멀티 프로세서(210)를 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른, 스테레오 삼각 측량에서 사용을 위한 RGB 스캐너의 도면이다. 도 3을 참조하면, 레드, 그린, 및 블루(RGB)의 3개의 다른 조명 광들(illuminating lights)을 출력하도록 구성된 스캐너(300)가 도시된다. RGB는 공통적으로 사용되고, 그로 인하여 비용-효율적이나, 다른 컬러들이 다른 실시 예들에서 더 사용될 수 있다. RGB 광들을 출력하는 스캐너(300)를 사용함으로써, 예를 들어, 카메라들(110, 112)과 같은 수신 카메라들은, 예를 들어, 자동차 플랫폼(150)의 운전자 및/또는 승객들에게 표시하기 위한 전 컬러 이미지들을 생성할 수 있다.
2개의 카메라들로부터의 데이터가 각각과 상대적으로 근접하기 때문에, 2개의 카메라들(110, 112)을 사용하는 것은 단일 카메라를 사용하는 것보다 좀 더 나은 정확성 및 사실적인 컬러를 제공한다. 예를 들어, 단일 카메라로 투영된 광 시퀀스가 단일 카메라에 수신된 광 시퀀스와 비교된다. 수신된 광 시퀀스 강도는 객체의 반사율 및 거리의 함수이다. 그러므로, 수신된 광 강도들은 투영된 광 강도들과 매우 다를 수 있으므로, 강력하지 않은 비교를 야기한다. 그러나, 2개의 카메라들을 경우에서, 유사한 강도들의 시퀀스들이 비교되고, 이는 좀 더 강력하다. 더욱이, 심도, 디테일들, 및/또는 컬러 정확성/강도의 판별이 오클루젼(occlusion) 또는 다른 효과들로 인하여 하나의 카메라에 의해 수신된 일부 광에 의해 반대로 영향을 받을 수 있으나, 조금이더라도, 또는 동일한 방식으로 제2 카메라로의 광은 많이 영향을 받지 않을 수 있다. 따라서, 데이터의 개별적인 세트들이 처리되고 연관되어, 하나의 카메라를 사용하는 경우보다 좀 더 정확한 이미지를 형성할 수 있다.
본 발명은 단일 스캐너와 함께 사용될 수 있는 카메라들의 개수, 카메라들의 스캐너들에 대한 비율, 또는 주어진 플랫폼에서 사용될 수 있는 스캐너/카메라들 구성들의 개수를 제한하지 않는다. 스캐너/카메라(들) 구성들은 독립적으로, 또는 환경의 유사한 객체(들) 또는 환경의 영역을 처리하기 위하여 사용될 수 있다. 예를 들어, 하나 또는 그 이상의 스캐너(들)/카메라(들) 구성들은 360도(또는 그 이하) 3차원 출력을 생성하는데 사용될 수 있다. 일부 경우에서 출력은 2차원일 수 있다.
스캐너(300) 및 카메라들(110, 112)이 3개의 컬러들을 사용하는 것으로 설명되었으나, 다양한 실시 예들은 3개 이상의 컬러들을 사용할 수 있고, 사용되는 컬러들은 레드, 그린, 및/또는 블루, 또는 레드, 그린, 및 블루가 아닌 색상들을 포함하는 다수의 다른 컬러들을 포함할 수 있다.
도 4a는 글로벌 노출 카메라(global exposure camera)를 위한 처리 스케줄의 그래프이다. 도 4a를 참조하면, 세로축들에서 픽셀 행들 및 가로축에서, 픽셀 행들을 처리하고 캡쳐하는 시간의 그래프가 도시된다. 도시된 바와 같이, 이미지 데이터(402)의 전체 프레임은 데이터의 처리가 수행되기 이전에 캡쳐된다. 모든 픽셀들이 동일한 시간(T) 동안 광을 수신하기 때문에, 픽셀들의 단일 행이 더 짧은 시간(T')동안 입사 광을 수신하는 경우보다 더 많은 입력 광 노출이 있을 수 있다. 더욱이, 수신된 픽셀들의 처리는 시간 구간(T)이 경과할 때까지 시작하지 않을 수 있으므로, 픽셀들의 지연된 독출(404)로 인하여 더욱 긴 레이턴시를 초래할 수 있다. 노출 시간(exposure time)이 프레임당 1ms로 제한된 경우, 50Hz 프레임율에서 20의 팩터만큼 주변 광 감소가 있을 수 있다.
도 4b는 본 발명의 실시 예에 따른, 롤링 셔터 카메라(rolling shutter camera)를 위한 처리 스케줄의 그래프이다. 도 4b를 참조하면, 세로축에서 픽셀들의 행들, 가로축에서 픽셀 행들을 처리하고 캡쳐하는 시간의 그래프가 도시된다. 롤링 셔텨 카메라 처리를 사용하는 경우, 한번에, 이미지 데이터의 하나의 라인만 캡쳐된다. 단일 라인에 대한 이미지 데이터를 캡쳐하기 위한 시간(T')이 전체 프레임에 대한 이미지 데이터를 캡쳐하는데 요구되는 시간보다 짧기 때문에, 노출된 라인에 대한 이미지 데이터는 도 4a에 도시된 바와 같이 전-프레임 노출에 대한 이미지 데이터를 독출하는 것보다 먼저 독출될 수 있다. 이미지 데이터가 독출되고 처리되는 동안 다음 라인이 노출될 수 있기 때문에, 롤링 셔터 카메라 프로세스는 이미지 데이터의 더욱 빠른 처리를 야기한다. 더욱이, 노출 시간이 라인당 20us로 제한된 경우, 50Hz의 프레임율에서, 1000의 팩터만큼 주변광이 감소되므로, 더 적은 잡음을 갖는 이미지 캡쳐를 초래할 수 있다. 이는 도 4a에서 설명된 글로벌 노출 카메라보다 50의 팩터만큼의 주변광 감소를 초래한다.
이는, 예를 들어, 카메라들(110, 112)에 의한 더 높은 프레임율 및 저조도 성능의 향상을 가능하게 한다. 더욱이, 카메라들(110, 112)에 대하여 롤링 셔터 방식을 사용하는 스캐너(120)로부터의 스캔 광을 정렬시키고, 동기화함으로써, 3차원 이미징을 포함하는 이미지 처리에 대하여 연관시킬 데이터가 더 적어진다. 행들은 행 단위(row by row)로 독출되고, 3차원 데이터는 한번에 하나의 행 또는 한번에 제한된 개수의 행들에 대한 삼각 측량(triangulation)을 사용하여 생성될 수 있다. 이는 픽셀들의 하나의 행이 한번에 노출되는 경우, 처리된 픽셀들이 한번에 하나의 행을 위한 것인 더 작은 개수의 픽셀들만을 처리함으로써, 카메라들(110, 112)로부터의 데이터의 처리를 단순화한다.
롤링 셔터 카메라 프로세스는, 예를 들어, 스캐너(120)에 의한 컬러 코딩을 사용하여 픽셀 처리를 가능하게 할 수 있다.
더욱이, 예를 들어, RGB 레이저 광들을 출력하는 스캐너(120) 및 RGB 광들을 검출할 수 있는 카메라들(110, 112)을 사용함으로써, 복잡한 처리 프로세스 및 데이터 충돌의 잠재적인 소스를 단순화하는 2차원 센서들 및 3차원 센서들의 센서 결합이 요구되지 않는다.
상술된 설명은 한번에 처리되는 픽셀들의 행에 대한 롤링 셔터 카메라 프로세스를 참조하나, 본 발명의 다양한 실시 예들이 이에 제한될 필요는 없다. 예를 들어, 더 작은 수의 픽셀들이 한번에 노출될 수 있다. 노출된 픽셀들의 개수는 한번에 하나의 픽셀일 수 있다. 따라서, 픽셀로의 주변광 입력이 픽셀 단위로(pixel by pixel)로 이미지를 처리할 때, 좀 더 감소될 수 있다. 각 픽셀 또는 픽셀들의 그룹을 제어하여 적절한 시간에 광을 수신하는 것을 포함하는, 광에 노출된 픽셀들을 제어하는 다양한 방법들이 존재할 수 있다. 스캐너(120, 234, 300)는 객체로 방출되는 광 빔(또는 광자들)의 조임(tightness)에 대하여 조절될 수 있다. 예를 들어, 광 빔이 좁혀질 수록, 광 빔을 반사하는 객체의 영역은 더 작아진다. 주어진 시간에 노출되는 픽셀들의 개수는, 예를 들어, 주변 광, 개별적인 광 검출기들(픽셀들)의 민감도, 픽셀 정보를 처리하는데 사용되는 프로세서(들), 스캐너에 의해 출력되는 광 등과 같은 다양한 변수들에 의존할 수 있다.
그러나, 2개의 카메라들에 대하여 픽셀들의 감소된 개수로부터 정보를 연관시키는 것이 더욱 어려워지는 경우, 픽셀들의 개수는 주기적으로 또는 다른 카메라들로부터 수신된 정보를 동기화하는데 필요한 만큼 증가될 수 있다.
픽셀들이 한번에 하나씩 처리되는 경우, 그것들은 시간 코딩이 각 보셀(voxel)로 심도의 3차원을 제공할 수 있는 보셀들인 것으로 간주될 수 있다. 각 보셀에 대한 시간 코딩으로 인하여 수반되는 인코딩 또는 디코딩이 존재하지 않을 수 있기 때문에, 처리가 단순화될 수 있다. 따라서, 처리로 인한 레이턴시가 완화될 수 있다.
그러므로, 본 발명의 일 실시 예는 스테레오 삼각 측량을 위한 시스템 및 방법에 관한 것이며, 이는 다음 행이 광에 노출되는 동안, 행이 종료되는것에 대한 노출 시간 이후에 각 행으로부터 읽어지는 RGB 행 데이터를 가지는 롤링 노출 RGB 카메라들(rolling exposure RGB cameras), 및 RGB 행 데이터를 읽은 이후에 RGB 행 데이터를 처리하는 것을 포함하는 환경의 3차원 매핑에 대해 사용될 수 있다. 앞서 언급된 바와 같이, 주어진 시간에서 노출된 픽셀들의 개수는 행보다 작을 수 있다. 따라서, 롤링 노출(또는 롤링 셔터) 프로세스는, 카메라들이 하나, 또는 둘, 또는 그 이상인 것과 상관없이, 사용되는 카메라들의 개수에 대한 상당한 이점을 제공한다.
스캐너의 사용은 카메라들에 의해 수신된 이미지들에 대한 처리 부담을 상당히 감소시키고, 롤링 노출 방법의 사용은 라인 단위로(line by line)로 삼각 측량 데이터를 독출할 수 있는 것에 의한 상당히 낮은 레이턴시를 허용한다. 픽셀들이 보셀들(voxels)로서 시간 코딩된 각 픽셀과 함께 한번에 하나씩(또는 한번에 몇몇의 픽셀들씩) 독출되는 경우, 처리 레이턴시는 상당히 감소되거나 또는 제거된다. 따라서, 스캐너 및/또는 롤링 노출이 사용되지 않으면 필요한 처리의 단편으로 3차원 이미지들이 생성될 수 있다.
다양한 실시 예들이 본 발명의 기능적인 사용들을 위하여 설명되었으나, 이러한 사용들이 단순히 기재된 예시들에 제한되지 않는 것으로 이해되어야 한다. 더욱이, 롤링 노출 카메라들이 한번에 단일 행을 노출하는 것으로 설명되었으나, 다양한 실시 예들은 한번에 하나 이상의 행들을 노출할 수 있다. 예를 들어, 둘 또는 그 이상의 행들이 한번에 노출되거나, 또는 라인의 픽셀들의 서브세트가 한번에 노출될 수 있다. 서브세트는 다양한 설계들 및/또는 환경 조건들에 따라 오직 하나의 픽셀 또는 하나 이상의 픽셀로 구성될 수 있다.
더욱이, 본 발명은 지금까지 하나 또는 그 이상의 카메라들과 함께 사용되는 스캐너(들)을 설명하였으나, 다른 실시 예들은, 예를 들어, 레이더, 광선 레이더, 음파 탐지기 등과 같은 다른 장치들을 구비한 스캐너(들)/카메라(들) 시스템을 사용할 수 있다. 따라서, 다양한 실시 예들은 구조화된 시퀀스들이거나 또는 그렇지 않을 수 있는 신호를 투영하는 하나 또는 그 이상의 전송기들, 신호를 수신하는 하나 또는 그 이상의 수신기들, 및 수신된 신호를 처리하는 프로세서들 각각을 포함할 수 있다. 일부 경우들에서, 전송기 및 수신기는 분리된 장치들일 수 있다. 다른 경우들에서, 전송기 및 수신기는, 예를 들어, 신호를 전송하고, 그 신호의 반사파를 수신하는 레이더 안테나와 같이 동일한 장치의 일부일 수 있다.
다양한 실시 예들이 어떤 플랫폼에 의해 사용되어 그것들의 주변 환경을 알아차릴 수 있다. 따라서, 로컬 또는 원격 운전자/운영자, 반자동(semi-autonomous), 또는 전 자동의 전체 제어에 따른 것과 무관하게, 운송 수단은 본문에 게시된 다양한 실시 예들을 사용할 수 있다. 운송 수단은, 예를 들어, 자동차, 보트, 비행기, 우주선, 항공, 육상, 및/또는 해상-기반의 드론, 로봇 등일 수 있고, 로봇 진공 청소기, 로봇 잔디 깎는 기계 등을 포함할 수 있다.
더욱이, 비유동적인 플랫폼(stationary platform)이 다양한 실시 예들을 사용하게 할 수 있다. 예를 들어, 등대(light house)가 하나 또는 그 이상의 다양한 실시 예들을 사용하여 교통(항공 교통, 육상 교통, 및/또는 해상 교통)을 추적하고 제어할 뿐만 아니라, 신호등(빛, 전자, 또는 소리 등)을 제공하여 선박 또는 다른 형태의 운송 수단들에게 위험을 경고할 수 있다. 더욱이, 항공 교통 제어 시스템들 및/또는 교통 제어 시스템들은 본 발명의 다양한 실시 예들을 사용할 수 있다.
더욱이, 본 발명의 다양한 실시 예들은 다른 목적들을 위하여 사용될 수 있다. 예를 들어, 실시 예들은 주변 객체들(게임 디스플레이의 일부로서 삽입된 게임 플레이어(들))을 검출하는 게임에 대해, 또는 본 발명의 다양한 실시 예들을 포함하는 장치를 착용한 개인들에 의해 사용될 수 있다. 예를 들어, 사용자가 착용한 장치의 예들은 증강 현실 헤드셋(augmented reality headsets), 가상 현실 헤드셋(virtual reality headsets) 등일 수 있다. 본 발명의 다양한 실시 예들은 시각 장애인들을 안내하는데 사용될 수 있다. 그 점에 대해서는, 비 시각장애인이 이동(도보/조깅/런닝, 자전거, 롤러블레이드 타기, 세그웨어 타기 등)하거나 또는 정지하는 동안 그들의 환경에 주의를 기울이지 않는 경우, 비 시각장애인은 그들에게 장애물들, 위험 등을 경고하도록 본 발명의 실시 예들을 포함하는 장치를 착용할 수 있다. 따라서, 본 발명의 다양한 실시 예들은 영역의 지도를 만들거나 또는 객체를 검출하는데 필요한 다양한 장치들 및 사용자 착용 장치들(헤드셋들, 고글들 등), 및 운송 수단의 모든 형태들에 대하여 사용될 수 있다. 본 발명은 다양한 실시 예들을 특정한 사용으로 제한하지 않는다.
그러므로, 본 발명의 다양한 실시 예들은 다양한 애플리케이션들에서 사용되어, 주변 영역을 감지하고, 감지된 신호들을 분석하고, 필요에 따라 응답들(responses)을 생성할 수 있다. 예를 들어, 응답은 회피 조치를 취하는 것, 다른 플랫폼들/장치들/사람들에게 무엇이 감지/분석/응신 되었는지를 알리는 것뿐만 아니라, 다른것들로 부터 유사한 정보를 수신하는 것일 수 있다. 즉, 감지/분석/응신 방식에 보호되는 효율적인 영역은 적어도 하나의 다른 플랫폼과 정보를 공유함으로써, 단일 플랫폼에 의해 달성될 수 있는 것보다 상당히 증가될 수 있다. 다양한 정보는 직접적으로 또는 제3 의 플랫폼들 또는 인터넷/클라우드(Internet/cloud)를 통해 공유될 수 있다. 따라서, 다양한 객체들(이동 및 정지), 도로의 조건, 도로 상의, 상공에서, 및/또는 수중에서의 교통은 모든 시간에서 추적될 수 잇고, 정확한 응답들이 필요에 따라 생성될 수 있다.
본 발명의 실시 예는 객체를 검출하는 시스템일 수 있다. 시스템은 소스 광(source light)을 출력하도록 구성된 실질적으로 평행한 스캐닝 광 소스(substantially collimated scanning light source)를 포함한다. 제1 카메라는 제1 반사광을 수신하도록 구성될 수 있고, 제1 반사광은 객체로부터 제1 카메라로 반사된 소스 광이다. 제2 카메라는 제2 반사 광을 수신하도록 구성될 수 있고, 제2 반사 광은 객체로부터 제2 카메라로 반사된 소스 광이고, 제2 카메라는 제1 카메라와 공간적으로 이격된다. 하나 또는 그 이상의 프로세서들은 평행한 스캐닝 광 소스, 제1 카메라, 및 제2 카메라를 제어하고, 제1 반사 광, 제2 반사광을 처리하여, 객체를 검출하도록 구성될 수 있다. 제1 카메라, 제2 카메라, 및 평행한 스캐닝 광 소스는 등극면(epipolar plane)에 위치하도록 구성될 수 있다.
평행한 스캐닝 광 소스는 그것의 수평적인 스윕 범위(horizontal sweep range) 및/또는 수평적인 스윕 범위(vertical sweep range)를 바꾸도록 구성될 수 있다. 제1 카메라 및/또는 제2 카메라는 수평적으로 및/또는 수직적으로 회전될 수 있다. 평행한 스캐닝 광 소스는 소스 광의 강도를 바꾸도록 구성될 수 있다. 평행한 스캐닝 광 소스는 소스 광을 래스터 출력(raster output)으로서 출력하도록 구성될 수 있다.
본 발명의 다른 실시 예는 객체를 검출하는 방법일 수 있다. 방법은 실질적으로 평행한 스캐닝 광 소스에 의해 소스 광을 출력하는 단계, 제1 카메라에 의해 제1 반사 광을 수신하는 단계, 제2 카메라에 의해 제2 반사 광을 수신하는 단계를 포함하고, 단, 제1 반사 광은 객체로부터 제1 카메라로 반사된 소스 광이고, 단, 제2 반사 광은 객체로부터 제2 카메라로 반사된 소스 광이고, 제2 카메라는 제1 카메라와 공간적으로 이격된다. 적어도 하나의 프로세서는 평행한 스캐닝 광 소스, 제1 카메라, 및 제2 카메라를 제어하고, 제1 반사광 및 제2 반사광 중 하나 또는 모두를 제어하여 객체를 검출한다. 제1 카메라, 제2 카메라, 및 평행한 스캐닝 광 소스는 등극면(epipolar plane) 상에 위치한다. 평행한 스캐닝 광 소스 스윕 범위는 수평적으로 및/또는 수직적으로 바뀔 수 있고, 평행한 스캐닝 광 소스의 소스 광의 강도 또한 바뀔 수 있다.
제1 카메라 및 제2 카메라는 제1 반사 광 및 제2 반사 광을 롤링 셔터 카메라 프로세스에 의해 각각 수신할 수 있다. 적어도 하나의 프로세서는 제1 카메라 및/또는 제2 카메라로부터 한번에 픽셀들의 행의 일부(단일 픽셀을 포함함) 또는 한번에 픽셀들의 행을 처리할 수 있다. 픽셀들이 한번에 단일 픽셀로 처리된 경우, 각 픽셀은 시간 코딩(time-coded)될 수 있다. 객체는 객체, 제1 카메라, 및 제2 카메라의 꼭지점들을 갖는 삼각형을 사용함으로써 삼각 측량(triangulate)될 수 있다.
본 발명의 다른 실시 예는 객체를 검출하는 시스템일 수 있다. 시스템은 소스 광을 출력하도록 구성된 실질적으로 평행한 스캐닝 광 소스(substantially collimated scanning source light)를 포함하되, 단, 소스 광은 레드, 그린, 및 블루의 3개의 구분된 광들을 포함한다. 제1 카메라는 롤링 셔터 카메라 프로세스(rolling shutter camera process)를 사용하여 제1 반사 광을 수신하도록 구성될 수 있고, 단, 제1 반사 광은 객체로부터 제1 카메라로 반사된 소스 광이다. 제2 카메라는 롤링 셔터 카메라 프로세스를 사용하여 제2 반사 광을 수신하도록 구성될 수 있고, 제2 반사 광은 객체로부터 제2 카메라로 반사된 소스 광이고, 제2 카메라는 제1 카메라로부터 공간적으로 이격된다. 적어도 하나의 프로세서는 평행한 스캐닝 광 소스, 제1 카메라, 및 제2 카메라를 제어하고, 제1 반사 광 및 제2 반사 광을 처리하여 객체를 검출하도록 구성될 수 있다.
제1 카메라, 제2 카메라, 및 평행한 스캐닝 광 소스는 등극면(epipolar plane) 상에 위치할 수 있다. 제1 카메라 및/또는 제2 카메라는 제1 반사 광 및 제2 반사 광을 롤링 셔터 카메라 프로세스에 의해 각각 수신할 수 있다. 적어도 하나의 프로세서는 제1 카메라 및 제2 카메라 중 하나 또는 모두로부터 한번에 픽셀들의 행 또는 픽셀들의 행의 일부(하나의 픽셀을 포함)를 처리하도록 구성될 수 있다. 한번에 하나의 픽셀을 처리하는 경우, 각 픽셀은 시간 코딩될 수 있다. 적어도 하나의 프로세서는 객체, 제1 카메라, 및 제2 카메라를 삼각형의 꼭지점들로 사용함으로써, 객체를 삼각 측량할 수 있다.
제1 카메라 및/또는 제2 카메라는 제1 반사 광 및 제2 반사 광을 롤링 셔터 카메라 프로세스에 의해 각각 수신하도록 구성될 수 있다. 적어도 하나의 프로세서는 제1 카메라 및/또는 제2 카메라로부터 한번에 단일 픽셀을 포함하는 픽셀들의 행의 일부 또는 한번에 픽셀들의 행을 처리하도록 구성될 수 있다. 처리가 단일 픽셀에 대한 것인 경우, 각 픽셀은 시간 코딩될 수 있다.
객체는 객체, 제1 카메라, 및 제2 카메라의 꼭지점들을 갖는 삼각형을 사용함으로써, 삼각 측량될 수 있다.
본 발명의 다양한 실시 예들의 다양한 부분들은 컴퓨터 프로그램들로 기입될 수 있고, 비일시적인 컴퓨터-판독 가능한 기록 매체를 사용하여 프로그램들을 실행하는 프로세서들로 구현될 수 있다.
비일시적인 컴퓨터-판독 가능한 기록 매체는, 예를 들어, 자기 저장 매체(예를 들어, 롬, 플로피 디스크들, 하드 디스크들 등), 광학 기록 매체(예를 들어, CD-ROM 또는 DVD), 플래시 드라이브 등을 포함할 수 있다.
본 발명의 다양한 실시 예들이 도면들을 참조하여 설명되었으나, 세부 사항들 및 형태들의 다양한 변화들이 본 발명의 사상 및 범위로부터의 벗어남 없이 이하의 특허청구범위에 의해 정의되는 바와 같이 행해질 수 있음이 당업자에 의해 이해될 것이다. 따라서, 상술된 실시 예들 및 그것들의 모든 사상들은 오직 예시적인 것이며, 이에 제한되지 않는다.

Claims (23)

  1. 객체를 검출하는 시스템에 있어서,
    소스 광을 출력하도록 구성된 실질적으로 평행한 스캐닝 광 소스;
    제1 반사 광을 수신하도록 구성된 제1 카메라, 단, 상기 제1 반사광은 상기 객체로부터 상기 제1 카메라로 반사된 상기 소스 광이고;
    제2 반사 광을 수신하도록 구성된 제2 카메라, 단 상기 제2 반사광은 상기 객체로부터 상기 제2 카메라로 반사된 상기 소스 광이고, 상기 제2 카메라는 상기 제1 카메라로부터 공간적으로 이격되고; 그리고
    상기 스캐닝 광 소스, 상기 제1 카메라, 및 상기 제2 카메라를 제어하고, 상기 제1 반사광 및 상기 제2 반사 광을 처리하여 상기 객체를 검출하도록 구성된 하나 또는 그 이상의 프로세서들을 포함하는 시스템.
  2. 제 1 항에 있어서,
    상기 제1 카메라, 상기 제2 카메라, 및 상기 스캐닝 광 소스는 등극면(epipolar plane) 상에 위치한 시스템.
  3. 제 1 항에 있어서,
    상기 스캐닝 광 소스는 수평적으로 또는 수직적으로 스윕 범위를 변화하도록 구성되는 시스템.
  4. 제 1 항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라 중 하나 또는 모두는 수직적으로 또는 수평적으로 회전할 수 있는 시스템.
  5. 제 1 항에 있어서,
    상기 스캐닝 광 소스는 상기 소스 광의 강도를 바꾸도록 구성되는 시스템.
  6. 제 1 항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라 중 하나 또는 모두는 롤링 셔터 카메라 프로세스에 의해 상기 제1 반사 광 및 상기 제2 반사 광을 각각 수신하도록 구성되는 시스템.
  7. 제 6 항에 있어서,
    상기 하나 또는 그 이상의 프로세서들 중 적어도 하나는 한 번에 픽셀들의 행을 처리하도록 구성되는 시스템.
  8. 제 6 항에 있어서,
    상기 하나 또는 그 이상의 프로세서들 중 적어도 하나는 한 번에 픽셀들의 행의 일부분을 처리하도록 구성되는 시스템.
  9. 제 6 항에 있어서,
    상기 하나 또는 그 이상의 프로세서들 중 적어도 하나는 상기 제1 반사 광 및 상기 제2 반사 광 중 하나 또는 모두로부터 생성된 픽셀들을 한 번에 한 픽셀씩 처리하도록 구성되는 시스템.
  10. 제 9 항에 있어서,
    상기 제1 반사 광 및 상기 제2 반사 광 중 하나 또는 모두로부터 생성된 상기 픽셀들 각각은 시간-코딩되는 시스템.
  11. 제 1 항에 있어서,
    상기 프로세서는 상기 객체, 상기 제1 카메라, 상기 제2 카메라를 삼각형의 꼭지점들로서 사용함으로써, 상기 객체의 삼각 측량(triangulation)을 수행하도록 구성되는 시스템.
  12. 제 1 항에 있어서,
    상기 평행한 스캐닝 광 소스는 래스터 출력(raster output)으로서 상기 소스 광을 출력하도록 구성되는 시스템.
  13. 객체를 검출하는 방법에 있어서,
    실질적으로 평행한 스캐닝 광 소스에 의해 소스 광을 출력하는 단계;
    제1 카메라에 의해 제1 반사 광을 수신하되, 상기 제1 반사광은 상기 객체로부터 상기 제1 카메라로 반사된 상기 소스 광인 단계;
    제2 카메라에 의해 제2 반사 광을 수신하되, 상기 제2 반사 광은 상기 객체로부터 상기 제2 카메라로 반사된 상기 소스 광이고, 상기 제2 카메라는 상기 제1 카메라와 공간적으로 이격된 단계;
    하나 또는 그 이상의 프로세서들에 의해 상기 스캐닝 광 소스, 상기 제1 카메라, 및 상기 제2 카메라를 제어하는 단계; 및
    상기 하나 또는 그 이상의 프로세서들에 의해, 상기 제1 반사 광 및 상기 제2 반사 광 중 하나 또는 모두를 처리하여 상기 객체를 검출하는 단계를 포함하는 방법.
  14. 제 13 항에 있어서,
    상기 제1 카메라, 상기 제2 카메라, 및 상기 스캐닝 광 소스는 등극면(epipolar plane) 상에 위치하는 방법.
  15. 제 13 항에 있어서,
    상기 스캐닝 광 소스의 스윕 범위를 수평 및 수직 중 하나 또는 모두의 방향으로 바꾸는 단계를 포함하는 방법.
  16. 제 13 항에 있어서,
    상기 스캐닝 광 소스의 상기 소스 광의 강도를 바꾸는 단계를 포함하는 방법.
  17. 제 13 항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라 중 하나 또는 모두는 롤링 셔터 카메라 프로세스에 의해 상기 제1 반사 광 및 상기 제2 반사 광을 각각 수신하는 방법.
  18. 제 17 항에 있어서,
    상기 하나 또는 그 이상의 프로세서들 중 적어도 하나에 의해, 상기 제1 카메라 및 상기 제2 카메라 중 하나 또는 모두 각각으로부터 픽셀들의 행을 한 번에 처리하는 단계를 포함하는 방법.
  19. 제 17 항에 있어서,
    상기 하나 또는 그 이상의 프로세서들 중 적어도 하나에 의해, 상기 제1 카메라 및 상기 제2 카메라의 각각의 하나 또는 모두로부터 픽셀들의 행의 일부를 한 번에 처리하는 단계를 포함하는 방법.
  20. 제 19 항에 있어서,
    상기 픽셀들의 행의 상기 일부가 단일 픽셀인 경우, 상기 단일 픽셀을 타임-코딩하는 단계를 포함하는 방법.
  21. 제 13 항에 있어서,
    상기 객체, 상기 제1 카메라, 및 상기 제2 카메라를 삼각형의 꼭지점들로서 사용함으로써, 상기 객체를 삼각 측량하는 단계를 포함하는 방법.
  22. 객체를 검출하는 시스템에 있어서,
    실질적으로 평행한 적어도 2개의 구분된 광들을 포함하는 스캐닝 광은 소스 광을 출력하도록 구성되는 스캐닝 광 소스;
    롤링 셔터 카메라 프로세스를 사용하여 제1 반사광을 수신하도록 구성되는 제1 카메라, 단 상기 제1 반사 광은 상기 객체로부터 상기 제1 카메라로 반사된 상기 소스 광이고;
    상기 롤링 셔터 카메라 프로세스를 사용하여 제2 반사광을 수신하도록 구성되는 제2 카메라, 단, 상기 제2 반사 광은 상기 객체로부터 상기 제2 카메라로 반사된 상기 소스 광이고, 상기 제2 카메라는 상기 제1 카메라로부터 공간적으로 이격되고; 그리고
    상기 스캐닝 광 소스, 상기 제1 카메라, 및 상기 제2 카메라를 제어하고, 상기 제1 반사 광 상기 제2 반사광을 한번에 픽셀들의 행으로 처리하여 상기 객체를 검출하도록 구성된 하나 또는 그 이상의 프로세서들을 포함하는 시스템.
  23. 제 22 항에 있어서,
    상기 하나 또는 그 이상의 프로세서들 중 적어도 하나는 상기 스캐닝 광 소스, 상기 제1 카메라, 및 상기 제2 카메라 중 둘 그리고 상기 객체를 삼각형의 꼭지점들로써 사용함으로써, 상기 객체를 삼각 측량하도록 구성되는 시스템.

KR1020170097796A 2016-08-02 2017-08-01 스테레오 삼각 측량을 위한 시스템 및 방법 KR20180015093A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662369879P 2016-08-02 2016-08-02
US62/369,879 2016-08-02
US15/658,952 US10884127B2 (en) 2016-08-02 2017-07-25 System and method for stereo triangulation
US15/658,952 2017-07-25

Publications (1)

Publication Number Publication Date
KR20180015093A true KR20180015093A (ko) 2018-02-12

Family

ID=61069938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170097796A KR20180015093A (ko) 2016-08-02 2017-08-01 스테레오 삼각 측량을 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US10884127B2 (ko)
JP (1) JP7140474B2 (ko)
KR (1) KR20180015093A (ko)
CN (1) CN107678041B (ko)
TW (1) TWI781109B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097952A1 (ko) * 2020-11-05 2022-05-12 주식회사 케이티 라이다 장치
EP4113055A2 (en) 2021-06-29 2023-01-04 Medit Corp. Method of compensating data and system for compensating data using same
KR20230002038A (ko) 2021-06-29 2023-01-05 주식회사 메디트 데이터 보완 방법 및 이를 이용한 데이터 보완 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018031607A (ja) * 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
WO2018138584A1 (en) * 2017-01-26 2018-08-02 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
DE102018214182A1 (de) * 2018-08-22 2020-02-27 Robert Bosch Gmbh LIDAR-Vorrichtung mit einer beschleunigten Laufzeitanalyse
US11317031B2 (en) * 2020-03-30 2022-04-26 Amazon Technologies, Inc. High intensity pattern projection and general illumination using rolling shutter camera and a synchronized scanning laser

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US6343810B1 (en) * 1994-05-23 2002-02-05 Automotive Technologies International Inc. Side impact airbag system with anticipatory sensor
CA2373284A1 (en) * 1999-05-14 2000-11-23 3D Metrics, Incorporated Color structured light 3d-imaging system
CN100417976C (zh) * 2002-09-15 2008-09-10 深圳市泛友科技有限公司 三维摄影技术方法
JP4402400B2 (ja) * 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
US7533989B2 (en) * 2003-12-25 2009-05-19 National University Corporation Shizuoka University Sight-line detection method and device, and three-dimensional view-point measurement device
US7916932B2 (en) * 2005-02-16 2011-03-29 In-G Co., Ltd. Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof
CN100480625C (zh) * 2005-11-18 2009-04-22 北京航空航天大学 基于自适应正弦条纹投射的立体视觉检测系统
JP4929869B2 (ja) * 2006-06-21 2012-05-09 三菱電機株式会社 車載運転支援カメラ装置
US7978892B2 (en) * 2006-10-25 2011-07-12 D4D Technologies, Llc 3D photogrammetry using projected patterns
EP2120007A4 (en) * 2007-02-13 2010-12-01 Panasonic Corp IMAGE PROCESSING SYSTEM, METHOD AND APPARATUS AND IMAGE FORMAT
US8326020B2 (en) * 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
JP5043629B2 (ja) 2007-12-17 2012-10-10 オリンパス株式会社 レーザ走査型顕微鏡及びその表面形状の測定方法
JPWO2009119229A1 (ja) * 2008-03-26 2011-07-21 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法
CN101526337B (zh) 2009-04-21 2011-01-05 吴晓军 三维图像扫描系统及三维图像扫描方法
DE102009031732B3 (de) * 2009-07-04 2010-11-25 Sick Ag Entfernungsmessender optoelektronischer Sensor
US20130087719A1 (en) * 2010-08-13 2013-04-11 Lumos Technology Co., Ltd. Light source device for time-delayed detection of fluorescence, and image pick-up system and method
JP2012058076A (ja) * 2010-09-09 2012-03-22 3D Media Co Ltd ３次元計測装置及び３次元計測方法
JP2012198075A (ja) 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
JP2014516409A (ja) * 2011-04-15 2014-07-10 ファロ テクノロジーズ インコーポレーテッド レーザトラッカの改良位置検出器
JP6285958B2 (ja) * 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
JP6514681B2 (ja) * 2013-03-15 2019-05-15 ウーバー テクノロジーズ，インコーポレイテッド ロボット用多重知覚ステレオ視のための方法、システム、および装置
US20150015701A1 (en) * 2013-07-10 2015-01-15 Faro Technologies, Inc. Triangulation scanner having motorized elements
KR20150022352A (ko) * 2013-08-23 2015-03-04 주식회사 고영테크놀러지 솔더 조인트 검사 방법
TWI486551B (zh) * 2013-10-21 2015-06-01 Univ Nat Taiwan Science Tech 三維資料擷取方法及其系統
CN103776390B (zh) * 2014-01-22 2017-05-17 广东工业大学 基于三维自然纹理数据扫描机的多视场数据拼接方法
US9704232B2 (en) * 2014-03-18 2017-07-11 Arizona Board of Regents of behalf of Arizona State University Stereo vision measurement system and method
JP6409307B2 (ja) 2014-04-07 2018-10-24 大同特殊鋼株式会社 形状計測装置
CN105025193B (zh) * 2014-04-29 2020-02-07 钰立微电子股份有限公司 手提式立体扫描仪和产生对应对象的立体扫描结果的方法
WO2016009688A1 (ja) * 2014-07-16 2016-01-21 株式会社リコー システム、機械、制御方法、プログラム
CN105282375B (zh) * 2014-07-24 2019-12-31 钰立微电子股份有限公司 附着式立体扫描模块
US10306217B2 (en) * 2015-04-17 2019-05-28 Seiko Epson Corporation Display device, control method for display device, and computer program
CN105203046B (zh) * 2015-09-10 2018-09-18 北京天远三维科技股份有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097952A1 (ko) * 2020-11-05 2022-05-12 주식회사 케이티 라이다 장치
EP4113055A2 (en) 2021-06-29 2023-01-04 Medit Corp. Method of compensating data and system for compensating data using same
KR20230002038A (ko) 2021-06-29 2023-01-05 주식회사 메디트 데이터 보완 방법 및 이를 이용한 데이터 보완 시스템

Also Published As

Publication number Publication date
TW201805594A (zh) 2018-02-16
US20180038961A1 (en) 2018-02-08
CN107678041B (zh) 2023-05-23
CN107678041A (zh) 2018-02-09
US10884127B2 (en) 2021-01-05
JP7140474B2 (ja) 2022-09-21
TWI781109B (zh) 2022-10-21
JP2018031776A (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
US11725956B2 (en) Apparatus for acquiring 3-dimensional maps of a scene
JP7140474B2 (ja) ステレオ三角測量のためのシステム
JP6387407B2 (ja) 周辺検知システム
JP7203217B2 (ja) 構造化光照明付き飛行時間型センサ
US10684370B2 (en) Multifunction vehicle detection system
CN103852754B (zh) 飞行时间(tof)测量系统中的干扰抑制的方法
JP7321246B2 (ja) ハイブリッド飛行時間型イメージャモジュール
EP2910971B1 (en) Object recognition apparatus and object recognition method
EP3566078A1 (en) Lidar systems and methods for detection and classification of objects
CN110998596A (zh) 夜间感测
EP3392152B1 (en) Method and system for aircraft taxi strike alerting
US20180343400A1 (en) Spherical infrared emitter
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
US10343603B2 (en) Image processing device and image processing method
US20190391592A1 (en) Positioning system
JP7465958B2 (ja) 赤外線検知のためのシステムおよび方法
CN117769661A (zh) 一种收发光学系统、激光雷达、终端设备、方法及装置
US20240053480A1 (en) Hybrid depth imaging system
US10742881B1 (en) Combined temporal contrast sensing and line scanning
CN113227839B (zh) 具有结构光照明器的飞行时间传感器
US20230266472A1 (en) System and method for performing active distancemeasurements
WO2022064576A1 (ja) 位置情報取得装置、ヘッドマウントディスプレイ、および位置情報取得方法
WO2022064605A1 (ja) 位置情報取得システム、位置情報取得方法、および位置情報取得装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application