KR20200103885A - 필수 이미지 및 위치 캡처 시스템 및 방법 - Google Patents
필수 이미지 및 위치 캡처 시스템 및 방법 Download PDFInfo
- Publication number
- KR20200103885A KR20200103885A KR1020207024634A KR20207024634A KR20200103885A KR 20200103885 A KR20200103885 A KR 20200103885A KR 1020207024634 A KR1020207024634 A KR 1020207024634A KR 20207024634 A KR20207024634 A KR 20207024634A KR 20200103885 A KR20200103885 A KR 20200103885A
- Authority
- KR
- South Korea
- Prior art keywords
- sensors
- capture
- data
- location
- interest
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000033001 locomotion Effects 0.000 claims abstract description 21
- 230000015654 memory Effects 0.000 claims description 37
- 230000000007 visual effect Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000010363 phase shift Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H04N5/2258—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G06K9/00791—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 하나 이상의 컴퓨팅 디바이스에 의해 실행 가능한 이동 차량 상의 하나 이상의 센서를 제어하는 방법을 제공한다. 하나 이상의 컴퓨팅 디바이스는 하나 이상의 센서를 사용하여 제1 위치에서 제1 외면을 검출하고 제2 위치에서 제2 외면을 검출할 수 있다. 제2 외면은 관심 타겟으로 분류될 수 있다. 그 후, 하나 이상의 컴퓨팅 디바이스는 제1 외면의 제1 위치 및 제2 외면의 제2 위치에 대한 하나 이상의 센서의 자세 또는 움직임에 기초하여 하나 이상의 센서의 하나 이상의 타이밍 특성을 결정할 수 있다. 이어서, 하나 이상의 컴퓨팅 디바이스는 결정된 하나 이상의 타이밍 특성에 따라 데이터를 캡처하도록 하나 이상의 센서를 제어할 수 있다.
Description
다양한 시스템은 상이한 위치의 이미지를 캡처할 수 있다. 예를 들어, 이들 이미지는 항공 이미지, 위성 이미지, 거리 레벨 이미지 등을 포함할 수 있다. 이들 거리 레벨 이미지 중 일부는 위치의 파노라마 뷰를 제공할 수 있다. 따라서, 이러한 거리 레벨 이미지들은 항공 또는 위성 뷰들보다 거리 장면의 높은 해상도를 사용자들에게 제공할 수 있다. 그러나, 이러한 거리 레벨 이미지들은 다른 객체 들(objects)에 의해 방해된 객체 뷰를 가질 가능성이 더 많은데, 예를 들어, 건물 뷰는 도로가 식물, 주차 차량, 이동 차량, 보행자, 자전거 타는 사람 등과 같은 정적 및 이동 장애물(obstacles)에 의해 방해받을 수 있다.
이러한 장애물은 이미지가 다양한 장면의 3D 모델을 생성하는데 사용될 때 더욱 분명해질 수 있다. 예를 들어, 나무와 차량은 이미지가 카메라와 관련된 이들 장애물 뒤에 있는 영역을 캡처하는 것을 방해할 수 있다. 따라서, 이미지들이 3D 모델을 생성하는데 사용될 때, 이들 장애물 뒤에 있는 영역들은 반드시 3D 모델에 표시되거나 포함되지는 않는다. 이로 인해 모델을 보는 사용자에게 모델이 불완전하게 보일 수 있다.
본 발명의 양태는 이동 차량상의 하나 이상의 센서를 제어하여 차량 주위에 관한 정보를 결정하는 방법을 제공한다. 상기 방법은 하나 이상의 컴퓨팅 디바이스를 사용하여 하나 이상의 관심 타겟을 식별하고, 상기 하나 이상의 컴퓨팅 디바이스를 사용하여 타겟 정보를 결정하며, 하나 이상의 관심 타겟에 관한 데이터를 캡처하기 위한 하나 이상의 타이밍 특성을 결정하고, 그리고 하나 이상의 결정된 타이밍 특성에 기초하여 하나 이상의 관심 타겟에 관한 데이터를 캡처하도록 상기 하나 이상의 센서를 제어하는 단계들을 포함한다. 상기 타겟 정보는 식별된 하나 이상의 관심 타겟에 관한 정보를 포함하고, 상기 하나 이상의 타이밍 특성은 타겟 정보 및 정보 요구와 관련된 사전 결정된 규칙 세트에 기초하여 결정된다.
일 실시예에서, 하나 이상의 관심 타겟을 식별하는 단계는 제1 및 제2 관심 타겟을 식별하는 단계를 포함한다. 또한, 이 예에서, 하나 이상의 타이밍 특성들을 결정하는 단계는 제1 관심 타겟에 관한 데이터를 캡처하기 위한 제1 캡처 속도를 결정하는 단계 및 제2 관심 타겟에 관한 데이터를 캡처하기 위한 제2 캡처 속도를 결정하는 단계를 포함한다. 추가적으로, 하나 이상의 결정된 타이밍 특성들에 기초하여 하나 이상의 관심 타겟에 관한 데이터를 캡처하는 단계는, 제1 캡처 속도에서 상기 제1 관심 타겟에 관한 제1 데이터 세트를 캡처하는 단계 및 상기 제2 캡처 속도에서 제2 관심 타겟에 관한 제2 데이터 세트를 캡처하는 단계를 포함한다.
타겟 정보를 결정하는 단계는 또한 차량 위치로부터 제1 관심 타겟까지의 제1 거리를 결정하는 단계 및 차량 위치로부터 제2 관심 타겟까지의 제2 거리를 결정하는 단계를 선택적으로 포함한다. 이 예에서, 제1 캡처 속도는 제1 거리에 기초하여 결정되고 제2 캡처 속도는 제2 거리에 기초하여 결정된다. 게다가, 하나 이상의 관심 타겟에 관한 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계는 제1 관심 타겟에 관한 제1 데이터 세트를 캡처하도록 제1 센서를 제어하는 단계 및 제2 관심 타겟에 관한 제2 데이터 세트를 캡처하도록 제2 센서를 제어하는 단계를 포함한다.
제1 캡처 속도를 결정하는 단계는 제1 관심 타겟을 캡처하기 위한 제1 프레임 레이트를 결정하는 단계를 포함하고, 제2 캡처 속도를 결정하는 단계는 제2 관심 타겟을 캡처하기 위한 제2 프레임 레이트를 결정하는 단계를 포함하며, 여기서 제2 프레임 레이트는 상기 제1 프레임 레이트와 상이하다. 이 예에서, 제1 센서는 제1 시각 센서를 포함하고 제2 센서는 제2 시각 센서를 포함한다. 추가적으로, 제1 데이터 세트를 캡처하도록 제1 센서를 제어하는 단계는 제1 프레임 레이트에서 제1 관심 타겟에 관한 시각 데이터를 캡처하도록 제1 시각 센서를 제어하는 단계를 포함하고, 제2 데이터 세트를 캡처하도록 제2 센서를 제어하는 단계는 제2 프레임 레이트에서 제2 관심 타겟에 관한 시각 데이터를 캡처하도록 제2 시각 센서를 제어하는 단계를 포함한다.
추가적으로 또는 대안적으로, 제1 및 제2 관심 타겟은 각각 제1 및 제2 대향 배치된 파사드(facade)를 포함한다. 다른 예에서, 타겟 정보를 결정하는 단계는 폐색물(occluder)이 차량과 관심 타겟 사이에 위치하는지 또는 위치할 것인지를 결정하는 단계를 포함하고, 데이터를 캡처링하기 위한 하나 이상의 타이밍 특성을 결정하는 단계는 폐색물의 적어도 일부가 상기 센서에 의해 캡처되지 않도록 데이터가 센서에 의해 캡처되어야 하는 타이밍을 결정하는 단계를 포함하고, 그리고 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계는 결정된 타이밍에 따라 데이터를 캡처하도록 센서를 제어하는 단계를 포함한다. 하나 이상의 타이밍 특성은 또한 이동 차량의 속도에 또한 기초하여 선택적으로 결정된다. 또 다른 예에서, 상기 방법은 또한 캡처된 관심 타겟의 지도 또는 3D 모델을 생성하도록 하나 이상의 컴퓨팅 디바이스를 제어하는 단계와, 상기 지도 또는 3D 모델을 이용하여 여전히 캡처될 필요가 있는 하나 이상의 관심 타겟을 결정하는 단계를 포함한다. 부가적으로 또는 대안적으로, 상기 방법은 또한 하나 이상의 센서에 의해 캡처된 데이터가 관심 타겟에 관련된 것인지 결정하고 관심 타겟에 관련되지 않는 것으로 결정된 적어도 일부 데이터를 폐기하도록 하나 이상의 컴퓨팅 디바이스를 제어하는 단계를 포함한다.
본 발명의 다른 양태는 전술한 방법들 중 어느 한 항의 방법을 수행하도록 구성된 장치를 제공한다.
본 발명의 또 다른 양태는 컴퓨팅 장치에 의해 실행될 때 컴퓨팅 장치로 하여금 전술한 방법들 중 어느 하나의 방법을 수행하게 하는 컴퓨터 판독 가능 명령들을 제공한다.
본 발명의 또 다른 양태는 차량의 주변 환경에 관한 정보를 결정하는 하나 이상의 센서, 하나 이상의 프로세서 및 컴퓨터 판독 가능 명령들을 포함하는 메모리를 포함하는 차량을 제공한다. 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 하나 이상의 관심 타겟에 관한 타겟 정보를 획득하고, 하나 이상의 관심 타겟에 관한 데이터를 캡처하기 위한 하나 이상의 타이밍 특성을 결정하고, 그리고 하나 이상의 결정된 타이밍 특성들에 기초하여 하나 이상의 관심 타겟에 관한 데이터를 캡처하도록 하나 이상의 센서들을 제어하도록 한다. 상기 하나 이상의 타이밍 특성은 획득된 타겟 정보 및 정보 요구에 관한 사전 결정된 규칙 세트에 기초하여 결정된다. 일 실시예에서, 하나 이상의 센서는 카메라와 같은 이미지 센서를 포함한다. 부가적으로 또는 대안적으로, 하나 이상의 센서는 LIDAR 유닛과 같은 위치 센서를 포함한다.
또한, 본 개시의 양태는 이동 차량상의 하나 이상의 센서를 제어하는 다른 방법을 제공한다. 상기 방법은 하나 이상의 센서를 사용하여 제1 위치에서 제1 외면 및 제2 위치에서 제2 외면을 검출하고, 제2 외면을 관심 타겟으로 분류하고, 제1 외면의 제1 위치 및 제2 외면의 제2 위치에 대한 하나 이상의 센서의 자세 또는 움직임에 기초하여 하나 이상의 센서의 하나 이상의 타이밍 특성을 결정하고, 그리고 결정된 하나 이상의 타이밍 특성들에 기초하여 데이터를 캡처하도록 하나 이상의 센서를 제어하도록 하나 이상의 컴퓨팅 디바이스를 사용하는 단계를 포함한다.
일 실시예에서, 타이밍 특성을 결정하는 단계는 제1 위치에 기초하여 제1 외면을 캡처하기 위한 제1 캡처 속도를 결정하는 단계; 및 제2 위치에 기초하여 제2 외면을 캡처하기 위한 제2 캡처 속도를 결정하는 단계를 포함한다. 상기 제2 캡처 속도는 제1 캡처 속도보다 높다. 이 에에서, 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계는 제1 캡처 속도에서 제1 외면에 관한 제1 데이터 세트를 캡처하도록 하나 이상의 센서의 제1 센서를 제어하는 단계 및 제2 캡처 속도에서 제2 외면에 관한 제2 데이터 세트를 캡처하도록 하나 이상의 센서의 제2 센서를 제어하는 단계를 포함한다.
다른 예에서, 상기 방법은 또한 제1 위치가 하나 이상의 센서의 위치와 제2 위치 사이에 있거나 있을 것으로 결정될 때 제1 외면을 폐색물로서 분류하도록 하나 이상의 컴퓨팅 디바이스를 제어하는 단계를 포함한다. 이 예에서 데이터를 캡처하기 위한 하나 이상의 타이밍 특성을 결정하는 단계는 폐색물의 적어도 일부가 하나 이상의 센서에 의해 캡처되지 않도록 상기 하나 이상의 센서에 의해 데이터가 캡처되어야 하는 하나 이상의 트리거 위치를 결정하는 단계를 포함하고, 이 예에서 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계는 결정된 하나 이상의 트리거 위치에 따라 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계를 포함한다.
하나 이상의 타이밍 특성은 또한 이동 차량의 속도에 기초하여 선택적으로 결정된다. 또 다른 예에서, 하나 이상의 센서는 이미지 센서를 포함한다. 부가적으로 또는 대안적으로, 하나 이상의 센서는 3차원 위치 데이터를 캡처하도록 구성된 위치 센서를 포함한다. 게다가, 상기 방법은 관심 타겟에 관한 데이터가 상기 캡처된 데이터에서 지정된 시간량으로 캡처되었는지 결정하는 단계 및 관심 타겟에 관한 더 많은 데이터가 필요함을 나타내는 메시지를 전송하는 단계를 선택적으로 포함할 수 있다.
본 발명의 다른 양태는 시스템을 제공한다. 시스템은 시각 데이터, 위치 데이터 또는 양자 모두를 캡처하기 위한 하나 이상의 센서, 하나 이상의 컴퓨팅 디바이스 및 컴퓨터 판독 가능 명령들을 포함하는 메모리를 포함한다. 컴퓨터 판독 가능 명령들은, 하나 이상의 컴퓨팅 디바이스에 의해 실행될 때 하나 이상의 컴퓨팅 디바이스로 하여금, 하나 이상의 센서를 사용하여, 제1 위치에서 제1 외면 및 제2 위치에서 제2 외면을 검출하고, 제2 외면을 관심 타겟으로 분류하고, 제1 외면의 제1 위치 및 제2 외면의 제2 위치에 대한 하나 이상의 센서의 자세 또는 움직임에 기초하여 하나 이상의 센서의 하나 이상의 타이밍 특성을 결정하며, 결정된 하나 이상의 타이밍 특성들에 기초하여 데이터를 캡처하도록 하나 이상의 센서를 제어한다.
일 실시예에서, 타이밍 특성은 제1 위치에 기초하여 제1 외면을 캡처하기 위한 제1 캡처 속도를 결정하고, 및 제2 위치에 기초하여 제2 외면을 캡처하기 위한 제2 캡처 속도를 결정함으로써 결정된다. 상기 제2 캡처 속도는 제1 캡처 속도보다 높다. 이 실시예에서, 하나 이상의 센서의 제1 센서는 제1 캡처 속도에서 제1 외면에 관한 제1 데이터 세트를 캡처하도록 제어되고, 하나 이상의 센서의 제2 센서는 제2 캡처 속도에서 제2 외면에 관한 제2 데이터 세트를 캡처하도록 제어된다.
다른 예에서, 하나 이상의 컴퓨팅 디바이스는 또한 제1 위치가 하나 이상의 센서의 위치와 제2 위치 사이에 있거나 있을 것으로 결정될 때 제1 외면을 폐색물(occluder)로서 분류하게 한다. 데이터를 캡처하기 위한 하나 이상의 타이밍 특성은 폐색물의 적어도 일부가 상기 하나 이상의 센서에 의해 캡처되지 않도록 하나 이상의 센서에 의해 데이터가 캡처되어야 하는 하나 이상의 트리거 위치를 결정함으로써 결정된다. 하나 이상의 센서는 또한 결정된 하나 이상의 트리거 위치에 따라 데이터를 캡처하기 위해 하나 이상의 센서를 제어함으로써 데이터를 캡처하도록 제어된다. 다른 예에서, 하나 이상의 센서는 차량에 장착되고, 하나 이상의 타이밍 특성은 또한 차량의 속도에 기초하여 결정된다.
하나 이상의 센서는 이미지 센서를 선택적으로 포함한다. 추가적으로 또는 대안적으로, 하나 이상의 센서는 3차원 위치 데이터를 캡처하도록 구성된 위치 센서를 포함한다. 또 다른 예에서, 하나 이상의 컴퓨팅 디바이스는 또한 관심 타겟에 관한 데이터가 상기 캡처된 데이터에서 지정된 시간량으로 캡처되었는지 여부를 결정하고, 관심 타겟에 관한 더 많은 데이터가 필요함을 나타내는 메시지를 전송하게 한다. 시스템은 선택적으로 차량을 포함하며, 하나 이상의 센서는 차량 상에 장착된다.
본 발명의 또 다른 양태는 프로그램의 컴퓨터 판독 가능 명령들이 저장되는 유형의 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다. 상기 명령들은 하나 이상의 컴퓨팅 디바이스에 의해 실행될 때, 하나 이상의 컴퓨팅 디바이스로 하여금 방법을 수행하게 한다. 상기 방법은 하나 이상의 센서를 사용하여 제1 위치에서 제1 외면 및 제2 위치에서 제2 외면을 검출하는 단계, 제2 외면을 관심 타겟으로 분류하는 단계; 제1 외면의 제1 위치 및 제2 외면의 제2 위치에 대한 하나 이상의 센서의 자세 또는 움직임에 기초하여 하나 이상의 센서의 하나 이상의 타이밍 특성을 결정하는 단계, 및 결정된 하나 이상의 타이밍 특성에 기초하여 데이터를 캡처하도록 하나 이상의 센서들을 제어하는 단계를 포함한다.
일 실시예에서, 상기 타이밍 특성을 결정하는 단계는 제1 위치에 기초하여 제1 외면을 캡처하기 위한 제1 캡처 속도를 결정하는 단계 및 제2 위치에 기초하여 제2 외면을 캡처하기 위한 제2 캡처 속도를 결정하는 단계를 포함한다. 상기 제2 캡처 속도는 제1 캡처 속도보다 높다. 이 실시예에서, 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계는 제1 캡처 속도에서 제1 외면에 관한 제1 데이터 세트를 캡처하도록 하나 이상의 센서의 제1 센서를 제어하는 단계와, 제2 캡처 속도에서 제2 외면에 관한 제2 데이터 세트를 캡처하도록 하나 이상의 센서의 제2 센서를 제어하는 단계를 포함한다.
다른 예에서, 상기 방법은 또한 제1 위치가 하나 이상의 센서의 위치와 제2 위치 사이에 있거나 있을 것으로 결정될 때 제1 외면을 폐색물로서 분류하는 단계를 포함한다. 이 예에서, 데이터를 캡처하기 위한 하나 이상의 타이밍 특성을 결정하는 단계는 폐색물의 적어도 일부가 하나 이상의 센서에 의해 캡처되지 않도록 하나 이상의 센서에 의해 데이터가 캡처되어야 하는 하나 이상의 트리거 위치를 결정하는 단계를 포함하고, 그리고 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계는 상기 결정된 하나 이상의 트리거 위치에 따라 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계를 포함한다.
하나 이상의 센서는 차량에 장착되고, 하나 이상의 타이밍 특성은 또한 차량의 속도에 기초하여 결정된다. 또 다른 예에서, 상기 방법은 관심 타겟에 관한 데이터가 캡처된 데이터에서 지정된 시간량으로 캡처되었는지 여부를 결정하는 단계 및 관심 타겟에 관한 더 많은 데이터가 필요함을 나타내는 메시지를 전송하는 단계를 포함한다.
도 1은 본 발명의 양태에 따른 이미지 캡처 시스템(100)의 기능도이다.
도 2는 본 발명의 양태에 따른 차량(200)의 기능도이다.
도 3은 본 개시의 양태에 따른 시스템(300)의 도식도이다.
도 4는 본 발명의 양태에 따른 시스템(300)의 기능도이다.
도 5는 본 발명의 양태에 따른 지리적 영역(500)의 항공뷰이다.
도 6은 본 발명의 양태들에 따른 지리적 영역(500)의 일부의 거리 레벨 뷰 시점이다.
도 7은 본 발명의 양태들에 따른 지리적 영역(500)의 일부의 항공뷰이다.
도 8은 본 개시의 양태에 따른 지리적 영역(500)의 또 다른 항공뷰이다.
도 9는 본 발명의 양태에 따른 지리적 영역(500)의 추가 항공뷰이다.
도 10은 본 발명의 양태에 따른 방법에 대한 흐름도(1000)이다.
도 2는 본 발명의 양태에 따른 차량(200)의 기능도이다.
도 3은 본 개시의 양태에 따른 시스템(300)의 도식도이다.
도 4는 본 발명의 양태에 따른 시스템(300)의 기능도이다.
도 5는 본 발명의 양태에 따른 지리적 영역(500)의 항공뷰이다.
도 6은 본 발명의 양태들에 따른 지리적 영역(500)의 일부의 거리 레벨 뷰 시점이다.
도 7은 본 발명의 양태들에 따른 지리적 영역(500)의 일부의 항공뷰이다.
도 8은 본 개시의 양태에 따른 지리적 영역(500)의 또 다른 항공뷰이다.
도 9는 본 발명의 양태에 따른 지리적 영역(500)의 추가 항공뷰이다.
도 10은 본 발명의 양태에 따른 방법에 대한 흐름도(1000)이다.
개요
본 기술은 관심 타겟의 이미지를 캡처하는 시스템에 관한 것이다. 예로서, 시스템은 차량-탑재 이미지 센서 또는 시각 센서가 시각 데이터를 포함하는 이미지를 캡처하는 속도(rate)를 변경할 수 있고, 위치 센서는 차량의 속도(speed) 및 이미지 센서와 캡처되는 외면(surface) 사이의 거리에 기초하여 객체의 외면 또는 외관(facade)의 3차원(3D) 위치 데이터를 캡처한다.
시스템은 하나 이상의 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 이미지 또는 위치 센서를 포함하는 하나 이상의 센서를 포함할 수 있다. 이미지 센서 및 위치 센서는 로젯 패턴(rosette pattern) 또는 회전 센서(예를 들어, 단일 회전 카메라 또는 레이저 거리 측정기)들에 배치된 다수의 개별 센서를 포함할 수 있다. 센서들은 차량에 장착될 수 있다. 대안적으로, 이미지 센서들은 공간에서 x, y 및 z 방향으로 조종될 수 있도록 짐벌(gimbal) 상에 배치될 수 있다.
시스템은 센서들에 의해 캡처된 객체의 외면을 감지하고 분류할 수 있다. 예를 들어, 감지된 외면은 신경망 또는 심층 학습과 같은 기계 학습 기술을 사용하여 관심 타겟(target of interest)으로 분류될 수 있다. 예를 들어, 기계 학습 기술은 외면이 상점 전면 또는 거리 표지판과 같은 텍스트를 표시하거나 표시할 가능성이 있는지 여부를 결정하는 심층 신경망(예를 들어, 본원에 참고로 인용된 미국 특허 제9,594,984호에 개시된 기술)을 포함할 수 있다.
외면은 또한 폐색물(occluder)로서 분류될 수 있다. 예를 들어, 만약 위치 센서가 상기 이미지 센서와 관심 타겟(예컨대, 정지된 자동차 또는 상점 정면 앞에 있는 나무) 사이에 외면이 있음을 나타내면, 외면은 폐색물로 분류될 수 있다. 외면의 분류 유형은 이전에 수집된 데이터 또는 사용자 입력에 기초하여 감지되기 전에 결정될 수도 있다.
시스템은 이미지 센서가 이미지를 캡처하거나 위치 센서가 위치를 캡처할 시간 특성(이하, "타이밍 특성")을 결정할 수 있다. 일부 구현 예에서, 타이밍 특성은 캡처 속도(예를 들어, 프레임 레이트 또는 리프레쉬 레이트), 평균 캡처 속도, 캡처 속도의 위상 시프트, 및/또는 이미지를 캡처할 하나 이상의 트리거 위치를 포함할 수 있다. 타이밍 특성은 이미지 또는 위치 센서의 자세(pose) 또는 움직임(motion), 관심 타겟에 관련된 이미지 또는 위치 센서의 자세 또는 움직임, 관심 타겟의 존재 또는 부재 및 폐색물의 존재 또는 부재에 기초하여 결정될 수 있다. 하나의 센서의 특성이 다른 센서의 특성과 다를 수 있으므로, 하나의 센서의 타이밍 특성은 다른 센서와 다를 수 있다.
결정된 타이밍에 기초하여, 시스템은 실시간으로 하나 이상의 이미지 센서 및 위치 센서를 제어할 수 있다. 시스템은 결정된 타이밍 특성을 설정된 간격으로 연속적으로 업데이트하거나 센서, 관심 타겟 또는 폐색물의 자세 또는 움직임의 특성에서 변경이 감지된 경우에 업데이트할 수 있다.
또한, 시스템은 캡처된 이미지 및/또는 위치의 충분성에 대하여 차량 또는 사용자에게 통지할 수 있다. 일부 예에서, 차량은 자율 주행 차량일 수 있다. 캡처된 이미지 및 위치가 충분하다는 것을 나타내는 메시지는, 관심 타겟의 3D 위치 지점들이 수집된 이미지 및 3D 위치 지점에서 2배 이상과 같은 충분한 양으로 캡처될 때 전송될 수 있다. 관심 타겟의 3D 위치 지점이 수집된 이미지 또는 3D 위치 지점 중 불충분한 양, 예를 들어 2회 미만으로 캡처된 경우, 관심 타겟에 의해 달리 실행됨을 나타내는 메시지가 전송될 수 있다. 일부 예에서, 하나 이상의 프로세서는 불충분하게 캡처된 3D 위치 지점에 주석을 달 수도 있다.
예제 시스템
*도 1은 이미지 캡처 시스템(100)의 기능적 다이어그램이다. 이미지 캡처 시스템(100)은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다. 하나 이상의 컴퓨팅 디바이스(110)는 정보를 수용하고, 그 정보에 기초하여 동작들을 수행하며, 이에 대한 조치를 취하거나 응답으로 추가 정보를 제공하도록 구성된다. 하나 이상의 컴퓨팅 디바이스(110)는 입력으로서 수치(numerical value)로 표현된 정보를 나타내는 하나 이상의 전기 신호를 수신할 수 있고, 명령들에 따라 입력에 기초한 수치를 결정할 수 있고, 결정된 수치를 나타내는 하나 이상의 전기적 신호를 출력으로서 제공할 수 있다. 하나 이상의 컴퓨팅 디바이스(110)는 상업적으로 이용 가능한 중앙 처리 장치(CPU), 주문형 집적 회로(ASIC) 또는 필드 프로그래머블 게이트 어레이일 수 있는 하나 이상의 프로세서를 포함할 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(110)는 이미지 캡처 시스템(100)이 이미지를 이동시키거나 캡처하도록 할 수 있다. 하나 이상의 컴퓨팅 디바이스(110)는 또한 하나 이상의 이미지 센서(120) 또는 하나 이상의 위치 센서(130)와 같은 이미지 캡처 시스템(100)의 센서 구성 요소를 개별적으로 제어할 수 있다. 이미지 캡처 시스템의 다른 센서 구성 요소는 예를 들어 레이더, 공기질(air quality) 센서 및 다른 유형의 센서들을 포함할 수 있다.
일부 예들에서, 이미지 캡처 시스템(100)은, 하나 이상의 프로세서에 의해 액세스될 수 있고, 시스템을 동작시키기 위해 하나 이상의 프로세서에 의해 실행될 수 있는 데이터 및 명령들을 저장하는 메모리를 포함할 수 있으며, 도 2와 관련하여 이하에서 설명되는 것과 유사하다. 또한, 이미지 캡처 시스템(100)의 하나 이상의 컴퓨팅 디바이스(110)는 다른 컴퓨팅 디바이스와 통신하기 위한 하나 이상의 구성 요소를 포함할 수 있다. 예로서, 하나 이상의 컴퓨팅 디바이스(110)는 도 3 및 도 4와 관련하여 이하에서 보다 상세히 설명되는, 통신 네트워크의 다른 노드에 각각의 디바이스를 연결하는 회로(예를 들어, 네트워크 인터페이스)를 포함할 수 있다. 하나 이상의 컴퓨팅 디바이스(110)가 정보를 원격 디바이스에 전송할 때, 정보는 하나 이상의 인터넷(예컨대, 전송 제어 프로토콜(TCP) 및 인터넷 프로토콜(IP)에 따라 코어 인터넷 라우터를 통해), 셀룰러 네트워크(예컨대, LTE(Long-Term Evolution) 표준에 따라), 로컬 네트워크(예컨대, 이더넷 또는 Wi-Fi 네트워크) 또는 블루투스 연결을 통해 전송될 수 있다. 디바이스는 다른 디바이스를 통해 사용자에게 정보를 제공할 수 있는데, 예를 들어 디바이스(110)는 디스플레이를 위해 네트워크를 통해 원격 디바이스로 정보를 전송함으로써 사용자에게 정보를 디스플레이할 수 있다. 컴퓨팅 디바이스는 또한 네트워크를 사용하지 않고 정보를 다른 컴퓨팅 디바이스로 제공할 수 있다. 예로서, 하나의 컴퓨팅 디바이스는 디스플레이로 정보를 출력할 수 있고, 다른 컴퓨팅 디바이스는 카메라로 그 정보를 검출할 수 있다.
이미지 캡처 시스템(100)의 하나 이상의 이미지 센서(120)는(예를 들어, 망원 렌즈가 장착된 고정식 카메라에 의해 캡처된) 좁은 시야를 갖는 사진 또는 넓은 시야를 갖는 파노라마 이미지(예를 들어, 광각 렌즈가 장착된 카메라로 캡처한 이미지 또는 회전하는 카메라 또는 상이한 방향을 가리키는 다수의 고정식 카메라로 찍은 다수의 이미지를 결합한(stitched) 이미지를 캡처하도록 구성될 수 있다. 파노라마 이미지는 수평 및 수직 방향으로 360°또는 한 방향 또는 양방향으로 360° 미만의 장면을 캡처할 수 있다. 또한, 하나 이상의 이미지 센서(120)는 고정 초점 거리(focal length)를 가지거나 가변 초점 거리를 가질 수 있다. 주어진 이미지의 캡처 시점에서 하나 이상의 이미지 센서(120)의 지리적 위치는 주어진 이미지와 연관될 수 있으며, 경우에 따라 캡처 시간의 타임 스탬프와 같은 다른 데이터와 연관될 수 있다.
하나 이상의 위치 센서는 LiDAR 센서와 같이 능동적일 수 있고, 또는 모션으로부터 구조와 같이 수동적일 수 있다. LiDAR 센서는 3D 기하 데이터(geometry data)를 생성하기 위한 레이저 거리 측정기(laser range finder)를 포함할 수 있다. 레이저 거리 측정기를 사용하여 LiDAR 센서는 외면의 다양한 지점에서 깊이 측정을 포함한 레이저 데이터를 캡처할 수 있다. LiDAR 센서의 위치 및 방향에 관한 정보를 사용하여, 이러한 깊이 측정치는 3D 위치의 추정치로 변환될 수 있고, 레이저 데이터와 동일하거나 거의 동일한 지리적 위치에서 이미지 센서에 의해 캡처된 이미지에서 볼 수 있는 외면들의 위치를 추정하도록 보간될 수 있다. 수동 위치 센서의 경우, 위치 센서는 이전의 장면 지식을 이용하여 위치 데이터를 결정할 수 있다. 수동 위치 센서는, 예를 들어, 이전의 장면 지식으로부터 도출된 지리적 영역의 기하학적 구조의 최상의 추정을 하나 이상의 이미지 센서에 의해 캡처된 지리적 영역의 시각적 특징과 비교할 수 있다.
하나 이상의 이미지 및 위치 센서들은 로젯 패턴으로 배열된 다수의 개별 센서를 포함할 수 있거나 단일 회전 카메라 또는 레이저 거리 측정기와 같은 회전 센서를 포함할 수 있다. 당 업계에 공지된 다른 구성 및 유형(type)의 이미지 및 위치 센서들이 이미지 캡처 시스템(100)에서 이용되거나 대안적으로 이용될 수도 있다.
일부 실시예에서, 하나 이상의 컴퓨팅 디바이스(110)는 신경망 또는 심층 학습 기술과 같은 기계 학습 동작을 수행하도록 구성된 기계 학습 구성 요소를 포함할 수 있다. 다른 예에서, 하나 이상의 컴퓨팅 디바이스(110)는 기계 학습 동작을 수행하는 원격 시스템으로 데이터를 전송하도록 구성될 수 있다. 어느 경우에나 하나 이상의 컴퓨팅 디바이스(110)는 원격 시스템의 기계 학습 동작의 결과를 수신하도록 더 구성될 수 있다.
도 2에 도시된 바와 같이, 이미지 캡처 시스템(100)은 차량(200)에 통합될 수 있다. 차량은 자율적 또는 반 자율적으로 작동할 수 있다. 본 발명의 특정 양태는 특정 유형의 차량들과 관련하여 특히 유용하지만, 차량은 자동차, 트럭, 오토바이, 버스, 레크리에이션 차량 등을 포함하는 임의의 유형의 차량일 수 있으며, 이에 한정되는 것은 아니다. 차량은 하나 이상의 프로세서(220), 메모리(230) 및 일반적으로 범용 컴퓨팅 디바이스에 존재하는 다른 구성 요소를 포함하는 하나 이상의 컴퓨팅 디바이스들(210)과 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다. 이미지 캡처 시스템(100)은 하나 이상의 컴퓨팅 디바이스(210)에 연결되어 차량(200)에 장착될 수 있다. 이미지 캡처 시스템(100)이 차량(200)에 장착될 수 있는 높이는 임의의 높이일 수 있지만, 일부 경우 표준 차량 높이 제한(예를 들어, 미국의 경우 도로 외면에서 4.2~4.3 미터(13.5~14피트))보다 낮게 선택될 수 있다. 차량이 거리를 따라 운행됨에 따라, 이미지 캡처 시스템(100)의 하나 이상의 이미지 센서(120)와 하나 이상의 위치 센서(130)는 이미지 및 위치 정보를 캡처할 수 있다. 이와 관련하여, 캡처된 이미지의 전부 또는 일부가 "거리 레벨 이미지"로 간주될 수 있다. 일부 예에서, 이미지 센서는 공간에서 x, y 및 z 방향으로 조종될 수 있도록 짐벌 상에 배치될 수도 있다. 대안적으로, 이미지 캡처 시스템(100)은 백팩(backpack)과 같이 사람에 의해 운반될 수 있는 액세서리에 통합될 수 있다. 액세서리를 사용하여 캡처된 이미지는, 인도(sidewalk)에서 사용자가 캡처한 건물 사진이나 보도에서 보도(footpath)에서 여행자가 캡처한 폭포 사진과 같은 거리 레벨 이미지들일 수도 있다.
하나 이상의 컴퓨팅 디바이스(210)는 정보를 수용하고, 그 정보에 기초하여 동작들을 수행하며, 이에 대한 조치를 취하거나 응답으로 추가 정보를 제공하도록 구성된다. 하나 이상의 컴퓨팅 디바이스들(210)의 하나 이상의 프로세서(220)는 입력으로서 수치로 표현된 정보를 나타내는 하나 이상의 전기 신호를 수신할 수 있고, 명령들에 따라 입력에 기초한 수치를 결정할 수 있으며, 결정된 수치를 나타내는 하나 이상의 전기적 신호를 출력으로서 제공할 수 있다. 하나 이상의 프로세서(220)는 상업적으로 이용 가능한 중앙 처리 장치(CPU), 주문형 집적 회로(ASIC) 또는 필드 프로그래머블 게이트 어레이일 수 있다.
메모리(230)는 프로세서(220)에 의해 실행되거나 다른 방식으로 사용될 수 있는 데이터(232) 및 명령들(234)을 포함하여, 하나 이상의 프로세서(220)에 의해 액세스 가능한 정보를 저장한다. 메모리(230)는 컴퓨팅 디바이스에 의해 판독될 수 있는 비일시적인 저장 매체, 예를 들어 하나 이상의 프로세서(220)에 의해 제공되는 레지스터들, RAM(random-access memory), 플래시 메모리(예컨대, 보안(SD) 카드), 하드 디스크 드라이브, SSD(Solid-State Drive), 광학 저장 장치 또는 테이프 백업 장치와 같은 비 휘발성 메모리상에 정보를 저장할 수 있는 임의의 구성 요소일 수 있다. 하나 이상의 컴퓨팅 디바이스(210), 하나 이상의 프로세서(220) 및 메모리(230)는 하나 이상의 컴퓨팅 디바이스(210)가 메모리(230)에 저장된 값을 판독, 수정, 삭제 및 부가할 수 있도록 구성된다. 메모리(230)는 제한된 액세스를 제공하도록 구성될 수 있으며, 예를 들어, 메모리는 판독 전용일 수 있다.
메모리(230)는 하나 이상의 컴퓨팅 디바이스(210)에 의해 수행되는 동작에 의해 사용되거나 그로부터 오는 정보를 저장할 수 있다. 예를 들어, 메모리(230)는 본 명세서에 기술된 동작들 중 일부를 수행할 때 하나 이상의 컴퓨팅 장치(210)에 의해 요구되거나 결정된 정보와 같이, 명령들(234)에 따라 하나 이상의 프로세서(220)에 의해 검색되거나 저장된 값들을 포함하는 데이터(232)를 저장한다. 메모리(230)에 저장된 값들은 하나 이상의 데이터 구조에 따라 저장될 수 있다. 예를 들어, 메모리(230)에 저장된 값은 단일 수치(예컨대, 이진수, 정수, 부동 소수점 수, 텍스트의 단일 문자를 나타내는 유니 코드 값, 숫자 또는 구두점 또는 단일 기계 코드 명령), 다수의 수치 세트(예컨대, 숫자들의 배열, 텍스트 문자의 문자열, XML 포맷의 데이터 또는 파일), 또는 명령(234)에 따라 처리될 값들이 획득될 수 있는 정보(예컨대, 원격 위치에 저장된 값 또는 요구된 값이 계산되는 함수의 파라미터에 대한 참조)를 나타낼 수 있다. 시스템들 및 방법들은 데이터(232) 및 명령(234)의 상이한 부분이 상이한 유형의 매체에 저장되는 전술한 것들의 상이한 조합을 포함할 수 있다.
데이터(232)는 관심 타겟으로 분류된 객체의 외면 및 각 식별된 외면의 지리적 위치뿐만 아니라 관심 타겟과 관련될 수 있는 특성을 식별하는 관심 타겟 데이터베이스를 포함할 수 있다. 또한, 데이터(232)는 거리 또는 다른 경로 및 각 식별된 외면의 지리적 위치로부터 관심 타겟 데이터베이스에서 식별된 관심 타겟을 차단하는 것으로 알려진 객체의 외면을 식별하는 폐색물 데이터베이스를 포함할 수 있다.
하나 이상의 컴퓨팅 디바이스(210)에 의해 사용되는 명령들(234)은 하나 이상의 컴퓨팅 디바이스(210)에 의해 액세스되고 실행되는 하나 이상의 명령의 임의의 세트를 포함한다. 예를 들면, 하나 이상의 컴퓨팅 디바이스(210)는 명령들(234)을 나타내는 값들을 저장하고, 하나 이상의 프로세서(220)는 이들 값에 액세스하여 하나 이상의 컴퓨팅 디바이스(210), 차량(200) 또는 이미지 캡처 시스템(100)의 다른 구성 요소가 이들 명령들과 관련된 동작들을 자동으로 수행하도록 할 수 있다. 명령들(234)은 추가적인 프로세싱, 예를 들어 머신 코드, 오브젝트 코드, 스크립트, 또는 요구에 따라 해석되는 독립적인 소스 코드 모듈들과 같은 부가 처리를 가지거나 가지지 않는 하나 이상의 프로세서들(220)에 의해 실행될 수 있는 포맷으로 저장될 수 있다. 하나의 포맷의 단일 명령으로 표현된 동작은 다른 포맷의 다중 명령들에 대응할 수 있다. 예를 들어, 스크립트에서 단일 명령을 실행하는 것은 다수의 머신 코드 명령들의 실행을 요구할 수 있다. 본 명세서에서 설명되는 일부 동작은 운영 체제에 의해 제공되는 명령의 실행을 수반할 수 있다.
도 2는 컴퓨팅 디바이스(210)의 프로세서, 메모리 및 다른 요소들을 동일한 블록 내에 있는 것으로 기능적으로 도시하고 있지만, 당업자는 프로세서, 컴퓨팅 디바이스 또는 메모리가 실제로 동일한 물리적 하우징 내에 저장되거나 저장되지 않을 수도 있는 다수의 프로세서, 컴퓨팅 디바이스 또는 메모리를 포함할 수도 있음을 이해할 것이다. 예를 들어, 메모리는 컴퓨팅 디바이스(210)의 하우징과 다른 하우징에 위치된 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 참조는 병렬로 동작할 수도 있고 그렇지 않을 수도 있는 프로세서 또는 컴퓨팅 디바이스 또는 메모리의 집합에 대한 참조를 포함하는 것으로 이해될 것이다.
컴퓨팅 디바이스(210)는 또한 사용자에게 직접 출력을 제공하기 위해 디바이스를 둘러싸는 물리적 환경을 통해 정보를 제공하기 위한 구성 요소를 포함할 수 있다. 예를 들어, 구성 요소는 측위(positioning) 시스템(240)을 포함할 수 있다. 측위 시스템(240)은 이미지 또는 위치 데이터가 캡처될 때 지도 또는 지구상에서 차량(200), 하나 이상의 이미지 센서(120) 및/또는 하나 이상의 위치 센서(130)의 상대 또는 절대 위치를 결정할 수 있다. 예를 들어, 측위 시스템(240)은 차량(200)의 지리적 위치 및 방위 데이터를 각각 결정하는 위치 구성 요소 및 방위 구성 요소와 같은 회로를 포함할 수 있다. 예로서, 위치 구성 요소는 위성 신호에 기초하여 위도 및 경도 좌표(및 잠재적으로 고도)를 출력하는 GPS(Global Positioning System) 수신기와 같은 글로벌 항법 위성 시스템(GNSS)을 포함할 수 있다. 방위 구성 요소는 지리적(또는 자기적) 북쪽 및 중력의 방향에 관련된 피치, 요 또는 롤 방향(또는 이들의 임의의 조합)을 결정하는데 사용되는 자기 나침반, 가속도계 또는 자이로 스코프를 포함할 수 있다. 선택적으로 또는 부가적으로, 측위 시스템(240)은 지리적 위치 또는 방향을 결정하기 위해 주로 지향되지 않는 구성 요소들로 구성될 수 있다. 예를 들어, 하나 이상의 프로세서(220)는 디바이스에 설치된 셀 폰 안테나 또는 Wi-Fi 안테나에 의해 검출된 셀 폰 타워 또는 Wi-Fi 라우터의 알려진 지리적 위치에 기초하여 차량(200)의 위치를 결정할 수 있다. 측위 시스템(240)은 하나 이상의 프로세서(220)에 물리적으로 연결되지 않을 수 있다. 예를 들어, 하나 이상의 프로세서(220)는 원격 컴퓨팅 디바이스들이 인터넷에 연결될 때, 도 3과 관련하여 더 설명된 것과 같은, 원격 컴퓨팅 디바이스들에 의해 사용되는 IP 주소의 전부 또는 일부의 알려진 지리적 위치에 기초하여 차량(200)의 위치를 결정할 수 있다.
결정된 위치 및 방위 데이터는 그들이 캡처되어 메모리(230), 저장 시스템(350), 다른 컴퓨팅 디바이스 또는 이들의 조합에 저장될 때 이미지 및 위치 데이터와 연관될 수 있다. 이미지 캡처 시스템(100) 및 측위 시스템(240)은 차량(200) 내의 별도의 구성 요소들로 도시되어 있지만, 이들 구성 요소는 동일한 물리적 하우징에 포함되거나 포함되지 않을 수 있다. 이와 관련하여, 측위 시스템(240)은 이미지 캡처 시스템(100)과 다른 디바이스일 수 있어서, 두 구성 요소가 위치 정보, 방향 정보 및 이미지를 컴퓨팅 디바이스(210)로 출력하고, 컴퓨팅 디바이스(210)는 하나 이상의 프로세서(220)(230)를 사용하여 이들을 서로 연관시키고 이들을 메모리(230), 저장 시스템(150), 기타 컴퓨팅 디바이스 또는 이들의 조합에 저장할 수 있다.
하나 이상의 컴퓨팅 디바이스(210)는 또한 하나 이상의 무선 네트워크 연결(250)과 같은 다른 컴퓨팅 디바이스와 통신하기 위한 하나 이상의 구성 요소를 포함할 수 있다. 예로서, 하나 이상의 무선 네트워크 연결(250)은 도 3 및 도 4에 도시된 통신 네트워크(360)의 다른 노드에 하나 이상의 컴퓨팅 디바이스(210)를 접속시키는 회로(예컨대, 네트워크 인터페이스)를 포함한다. 네트워크(360)는 상이한 통신 프로토콜을 사용하는 다수의 네트워크로 구성될 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(210)가 네트워크(360) 내의 원격 디바이스에 정보를 전송할 때, 정보는 하나 이상의 인터넷(예컨대, 전송 제어 프로토콜(TCP) 및 인터넷 프로토콜(IP)에 따른 코어 인터넷 라우터를 통해), 셀룰러 네트워크(예컨대, LTE(Long-Term Evolution) 표준에 따른), 로컬 네트워크(예컨대, 이더넷 또는 Wi-Fi 네트워크) 또는 블루투스 연결을 포함할 수 있다. 하나 이상의 컴퓨팅 디바이스(210)는 네트워크(360)를 통해 디스플레이를 위해 원격 디바이스로 정보를 전송함으로써 사용자에게 정보를 디스플레이할 수 있다. 하나 이상의 컴퓨팅 디바이스(210)는 또한 네트워크의 사용없이 정보를 다른 컴퓨팅 디바이스로 제공할 수 있다. 예로서, 하나의 컴퓨팅 디바이스는 디스플레이로 정보를 출력할 수 있고 다른 컴퓨팅 디바이스는 카메라로 해당 정보를 검출할 수 있다.
이미지 캡처 시스템(100)에 추가하여, 컴퓨팅 디바이스(210)는 또한 차량(200)의 하나 이상의 차량 조작 시스템(260)과 통신할 수 있다. 차량 조작 시스템(260)은 감속, 가속, 조향, 신호, 항법, 측위, 검출 등의 하나 이상의 것과 같은 차량의 작동에 관련된 시스템을 포함할 수 있다. 비록 하나 이상의 차량 조작 시스템(260)이 컴퓨팅 디바이스(210) 외부에 도시되어 있지만, 실제로 시스템은 컴퓨팅 디바이스(210)에 통합될 수도 있다.
이미지 캡처 시스템(100)은 캡처된 이미지와 같은 정보를 다른 컴퓨팅 디바이스로 전송하거나 다른 컴퓨팅 디바이스로부터 수신할 수도 있다. 도 3 및 도 4는 각각 네트워크(360)를 통해 연결된 복수의 컴퓨팅 디바이스(310, 320, 330, 340) 및 저장 시스템(350)을 포함하는 예시적인 시스템(300)의 도식 및 기능도이다. 시스템(300)은 또한 이미지 캡처 시스템(100)을 포함한다. 간략화를 위해 소수의 컴퓨팅 디바이스만이 도시되었지만, 전형적인 시스템은 훨씬 더 많은 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 차량(200)과 같은 하나 이상의 차량이 시스템(300)에 포함될 수 있다.
도 3에 도시된 바와 같이, 디바이스(310)는 서버 컴퓨팅 디바이스일 수 있고, 디바이스(320, 330, 340)는 사용자(322, 332, 342)에 의한 사용을 의도한 클라이언트 컴퓨팅 디바이스일 수 있다. 예를 들어, 서버 컴퓨팅 디바이스(310)는 웹 서버일 수 있고, 클라이언트 컴퓨팅 디바이스(320)는 디스플레이(324) 및 사용자 입력 구성 요소(326) 모두로서 기능하는 터치 스크린을 갖는 무선 전화일 수 있다. 클라이언트 컴퓨팅 디바이스(330)는 접안(near-eye) 디스플레이와 같은 디스플레이(334) 및 소형 키보드, 키패드, 터치 스크린, 마이크로폰 또는 웨어러블 컴퓨팅 시스템상의 카메라와 같은 사용자 입력 구성 요소(336)를 포함하는 헤드 장착 컴퓨팅 시스템으로 도시된 웨어러블 컴퓨팅 시스템일 수 있다. 클라이언트 컴퓨팅 디바이스(340)는 케이블에 의해 개인용 컴퓨터에 연결된 외부 모니터와 같은 디스플레이(344) 및 블루투스를 통해 컴퓨터와 통신하는 외부 키보드와 같은 사용자 입력 구성 요소(346)를 포함하는 데스크탑 컴퓨터 시스템일 수 있다.
다른 클라이언트 디바이스, 디스플레이 및 사용자 입력 구성 요소 또는 이와 같은 다른 구성들이 시스템(300)에서 이용될 수 있음을 이해해야 한다. 다른 클라이언트 디바이스는 예를 들어 랩탑, 노트북, 넷북, 태블릿, 셋탑 박스(예컨대, TV에 연결된 케이블 TV 셋탑 박스) 및 웨어러블 디바이스(예컨대, 스마트 워치)를 포함할 수 있다. 이와 관련하여, 컴퓨팅 디바이스는 일반적으로 이러한 디바이스 또는 범용 컴퓨터에 존재하지만 본 명세서에서는 명시적으로 설명되지 않은 다른 유형의 구성 요소를 포함할 수 있다.
도 4에 도시된 바와 같이, 컴퓨팅 디바이스들(310, 320, 330, 340) 각각은 하나 이상의 프로세서, 메모리, 데이터 및 명령들을 포함할 수 있다. 이러한 프로세서, 메모리,데이터 및 명령은 전술한 바와 같이 컴퓨팅 디바이스(210)의 하나 이상의 프로세서(220), 메모리(230), 데이터(232) 및 명령(234)과 유사하게 구성될 수 있다.
또한, 클라이언트 컴퓨팅 디바이스(320 및 330)는 또한 클라이언트 컴퓨팅 디바이스(320 및 330)의 지리적 위치 및 방위를 결정하기 위한 지리적 자세 구성 요소들(328 및 338)을 포함할 수 있다. 예를 들어, 이들 구성 요소는 차량(200)의 측위 시스템(240)과 관련하여 전술한 것과 같은 위치 구성 요소 및 방위 구성 요소를 포함할 수 있다.
저장 시스템(350)은 본 명세서에 설명된 일부 또는 모든 특징을 수행하기 위해 하나 이상의 서버 컴퓨팅 디바이스(310)와 같은 서버 컴퓨팅 디바이스에 의해 검색되거나 액세스될 수 있는 다양한 유형의 정보를 저장할 수 있다. 메모리(230)에서와 같이, 저장 시스템(350)은 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기록 가능 및 판독 전용 메모리 등과 같은 서버 컴퓨팅 디바이스(310)에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형의 컴퓨터 저장 디바이스일 수 있다. 또한, 저장 시스템(350)은 데이터가 동일하거나 상이한 지리적 위치에 물리적으로 위치할 수 있는 복수의 상이한 저장 디바이스 상에 저장되는 분산 저장 시스템을 포함할 수 있다. 저장 시스템(350)은 도 3에 도시된 바와 같이 네트워크(360)를 통해 컴퓨팅 디바이스들에 접속될 수 있고 및/또는 임의의 컴퓨팅 디바이스(310, 320, 330, 340), 이미지 캡처 시스템(100) 등에 직접 연결되거나 통합될 수 있다.
저장 시스템(350)은 이미지 캡처 시스템(100)에 의해 캡처된 이미지를 저장할 수 있다. 위치 정보 및 자세 정보와 같은 이미지와 관련된 정보는 이미지와 관련하여 저장될 수 있다. 지리적 위치는 위도/경도/고도 좌표, 거리 주소, 거리 교차점, 지도 가장자리에 대한 xy 좌표(예컨대, 픽셀 위치), 측량 지도에서의 로트(lot) 및 블록 번호, 진북, 자북 또는 지리적 위치 또는 방위이 유도될 수 있는 정보(예컨대, 예컨대, 공지 위치를 갖는 건물 이름)와 같은 하나 이상의 로컬 또는 범용 참조 프레임과 관련하여 저장되거나 처리될 수 있다. 지리적 위치는 정확한 지점(정확한 위도/경도/고도 좌표) 또는 범위(예컨대, 도시 국경의 위도/경도 위치에 의한)일 수 있다. 지리적 방위는 하나 이상의 참조 프레임(진북, 자북 또는 중력에 상대적인)에 대해 저장되거나 처리될 수 있으며 정확한 방향(진북에서 서쪽으로 30°, 수평선에서 20°위쪽) 또는 범위(북쪽의 45°에서 90°사이)일 수 있다. 지리적 위치와 방향은 절대적(예컨대, 복쪽에 상대적인 위도/경도/고도 좌표 또는 나침반 방향과 같은 지구상의 고정된 지점 또는 방향과 관련하여)이거나 상대적(예컨대, 모바일 디바이스에서의 거리 또는 나침반 방향)일 수 있다. 저장 시스템(350)은 기준 시스템의 한 프레임으로부터 다른 프레임으로 위치를 변환할 수 있다. 예를 들어, 지오코더 루틴(geocoder routine )은 거리 주소로 저장된 위치를 위도/경도 좌표로 변환하는데 사용될 수 있다. 일부 구현 예에서, 하나 이상의 컴퓨팅 디바이스(110, 210, 310, 320, 330, 330) 중 하나는 저장 시스템(350)에 저장하기 위한 지리적 위치를 전송하기 전에 지리적 위치를 처리할 수 있다.
저장 시스템(350)은 지리적 위치 그 자체가 아니지만 지리적 위치(이하, "지리적으로 위치된")와 관련된 데이터를 처리할 수 있다. 예를 들어, 저장 시스템(350)은 본 명세서에서 설명된 기술의 목적을 위해 사용자에게 잠재적 관심 장소를 의미하는 하나 이상의 관심 지점(POI : Points of Interest)에 관한 데이터를 저장할 수 있다. 예로써, 시스템은 건물, 비즈니스(예컨대, 레스토랑), 도로, 보도, 기념물, 호수, 공원, 이웃, 도시 또는 주에 대한 지리적 위치를 저장할 수 있다. 저장 시스템(350)은 하나 이상의 식별자(예를 들어, "John's Cafe" 또는 고유 식별자(UID)와 같은 이름), 카테고리(예컨대, "레스토랑"), 관련 POI(예컨대, 위치하는 쇼핑몰의 POI 식별자), 소유자 또는 영업 시간과 요일과 같은, POI와 관련된 정보를 저장할 수 있다.
전술한 바와 같이, 네트워크(360) 및 개재 노드(intervening nodes)는, 인터넷(예컨대, TCP(Transmission Control Protocol) 및 IP(Internet Protocol)에 따른 코어 인터넷 라우터들을 통해), 셀룰러 네트워크(예컨대, 셀룰러 네트워크(예컨대, LTE 표준에 따른), 로컬 네트워크(예컨대, 이더넷 또는 Wi-Fi 네트워크) 또는 블루투스 연결과 같은 근거리 통신 프로토콜 및 전술한 다양한 조합을 포함하는 다양한 구성 및 프로토콜을 포함할 수 있다. 이러한 통신은 모뎀 및 무선 인터페이스와 같은 다른 컴퓨팅 디바이스로/로부터 데이터를 전송할 수 있는 임의의 디바이스에 의해 용이하게 될 수 있다.
예제 방법
동작시, 시스템은 이하에서 상세히 설명되는 바와 같이, 이미지 및/또는 위치 데이터를 수집하기 위해 하나 이상의 타이밍 특성을 결정하고 이에 따라 이미지 및/또는 위치 센서를 제어할 수 있다.
도 5는 4개의 레인(504, 506, 510, 512)을 포함하는 거리(502)의 일부를 포함하는 지리적 영역(500)의 조감도이다. 레인은 이중 레인 라인(508)에 의해 2개의 섹션으로 분할된다. 이중 레인(508) 위에 보이는 레인(504 및 506)은 서향 레인이고, 아래의 레인(510 및 512)은 동향이다. 거리(502)를 따라 건물들(530-538) 뿐만 아니라 나무(540, 542)와 같은 다른 객체가 될 수 있다. 이 예에서, 세트(529)의 원은 차량(200)이 시간당 25마일 또는 25마일 정도와 같은 일정 속도로 이동할 때 이미지 또는 위치 데이터가 이미지 캡처 시스템(100)에 의해 캡처될 수 있는 캡처 위치(x, y)에 해당하고, 캡처 또는 리프레쉬 속도(rate)는 1Hz 또는 1Hz 정도와 같은 주어진 속도로 설정된다. 따라서, 이 예에서 세트(520)의 각 캡처 위치 사이의 거리는 약 30-40 피트일 수 있다. 이들 이미지 또는 위치 데이터는 메모리(230) 또는 저장 시스템(350)에 저장될 수 있고, 필요에 따라 컴퓨팅 디바이스(110)와 같은 하나 이상의 컴퓨팅 디바이스에 의해 검색될 수 있다.
이미지 캡처 시스템(100)의 하나 이상의 컴퓨팅 디바이스(110)는 하나 이상의 이미지 또는 위치 센서에 의해 캡처된 객체들의 외면을 검출하도록 구성될 수 있다. 도 5에 도시된 예에서, 차량(200)이 위치(522)에 도달할 때, 하나 이상의 이미지 센서(120)의 제1 이미지 센서는 도 6에 도시된 이미지(600)를 캡처할 수 있다. 제1 이미지 센서의 방위는 자동차의 오른쪽에 있고 거리에 평행할 수 있으므로, 이미지(600)는 거리(502) 북측의 거리 뷰 레벨을 캡처한다. 이미지(600)에서, 나무(542) 및 건물(532, 534)와 나무(540)의 부분 뷰가 캡처된다. 하나 이상의 컴퓨팅 디바이스(110) 및 센서들은 건물(532 및 534), 나무(540 및 542)의 외면을 검출하여, 각각의 검출된 외면에 대한 추정된 지리적 위치를 결정할 수 있다. 예를 들어, 각 외면의 위치는 이미지(600)와 연관된 지리적 위치 및 LIDAR 센서로부터의 정보에 기초할 수 있다. 일부 경우에, 추정된 지리적 위치는 광학 문자인식을 통해 검출된 주소와 같은 검출된 외면과 관련된 정보에 기초하여 결정되거나 검출된 객체 및/또는 이미지(600)와 관련된 위치 데이터에 기초하여 결정될 수 있다.
캡처된 이미지 또는 위치 데이터에서 검출된 객체의 외면은 하나 이상의 컴퓨팅 디바이스(110)에 의해 하나 이상의 관심 타겟으로 식별될 수 있다. 예를 들어, 캡처된 이미지에서 검출된 객체들은 관심 타겟과 관련된 특성을 가질 수 있다. 다른 예로서, 이미지 센서에 의해 캡처된 검출 객체의 하나 이상의 시각 특성, 또는 위치 센서에 의해 캡처된 검출 객체의 하나 이상의 위치 특성은, 관심 타겟 데이터베이스에 저장된 시각 또는 위치 특성과 일치할 수 있다. 관심 타겟은 관심 타겟 데이터베이스에서 명시적으로 식별될 수 있다. 예를 들어, 특정 지리적 위치에 있는 객체는 이전에 관심 타겟으로 결정되었을 수 있다. 하나 이상의 컴퓨팅 디바이스들(110)은 위치 센서 및 차량(200)의 위치에 기초하여 계산된 검출 객체의 지리적 위치가 관심 타겟 데이터베이스에 저장된 관심 타겟의 지리적 위치와 일치하는지 여부를 결정함으로써 검출 객체가 관심 타겟인지를 결정할 수 있다.
하나 이상의 컴퓨팅 디바이스(110)는 외면이 관심 타겟의 특성("관심값")과 일치하는 범위와 관련된 값을 결정할 수 있다. 관심값은 외면이 검출되기 전, 검출되는 동안 또는 검출된 후에 결정될 수 있다. 예로서, 사용자는 소정의 지리적 위치에 위치하는 임의의 객체의 모델을 요청할 수 있으며, 이 경우 그 위치에서 연속적으로 감지되는 모든 외면의 시각 정보 및 위치 정보는 데이터베이스에 저장될 수 있고 관심 타겟으로 외면을 식별하는 플래그와 연관될 수 있다. 다른 예로서, 외면들이 감지된 후에, 하나 이상의 컴퓨팅 디바이스(110)는 감지된 시각 및 형상 정보를 사용하여 기계 학습 구성 요소를 사용하여 외면이 관심 타겟이 될 가능성(likelihood)과 관련된 스코어를 계산할 수 있다. 예를 들어, 기계 학습 구성 요소는 상점 전면 또는 거리 표지판과 일치하는 모양 및 시각적 특성을 인식하도록 사용자에 의해 트레이닝될 수 있다. 시스템은 또한 실시간으로 외면을 관심 타겟으로 분류할 수 있다. 예를 들어, 차량(200)에 설치된 컴퓨팅 디바이스는 외면이 인공 객체와 일치할 가능성 때문에 임의의 편평한 수직 외면을 관심 타겟으로 식별할 수 있다. 관심값은 또한 외면의 시각 또는 위치 기반 특성의 조합에 기초하여, 예를 들어 시각적 외관, 형상 및 주어진 지리적 위치에 대한 근접도의 조합에 기초하여 결정될 수 있다. 외면은 관심값이 임계값을 초과하는지 여부와 같이 관심값에 기초하여 관심 타겟으로 분류될 수 있다. 하나 이상의 컴퓨팅 디바이스(110)는 외면이 폐색물의 특성과 일치하는 범위("폐색물 값")와 관련된 값을 결정할 수 있다. 예를 들어, 만약 이미지 또는 위치 센서가 이미지 센서와 관심 타겟 사이에 외면이 있음을 나타내면, 상기 외면은 폐색물로서 데이터베이스내에 플래그될 수 있다. 이미지(600)에 도시된 바와 같이, 설명할 목적으로 시스템에 의해 관심 타겟으로 식별된 건물(532)의 외면은 나무들(540 및 542)에 의해 부분적으로 차단되거나 폐색(가려짐)된다. 하나 이상의 컴퓨팅 디바이스(110)는 나무(540 및 542)가 이미지 (600)에서 검출된 폐색에 기초하여 상기 식별된 관심 타겟의 폐색물임을 결정할 수 있다. 다른 예에서, 위치 센서는 건물(532) 및 나무(540 및 542)의 외면의 위치를 검출할 수 있고, 하나 이상의 컴퓨팅 디바이스(110)는 나무(540 및 542)의 외면의 위치가 건물(532)의 외면, 관심 타겟 및 차량(200)이 주행하는 거리(502) 사이에 위치하는 것으로 결정할 수 있다. 하나 이상의 컴퓨팅 디바이스(110)는 위치 센서에 의해 검출된 위치 데이터에 기초하여 나무(540 및 542)가 폐색물임을 결정할 수 있다. 대안적인 실시예에서, 폐색물은 거리 또는 다른 경로로부터 관심 타겟 데이터베이스에서 식별된 관심 타겟을 차단하는 것으로 알려진 외면들을 식별하는 데이터베이스에서 미리 식별될 수 있다. 외면은 관심 타겟의 일부를 차단할 때 또는 관심 타겟을 차단하는 범위가 임계값을 초과할 때 폐색물로서 분류될 수 있다.
하나 이상의 컴퓨팅 디바이스(110)는 이미지 또는 위치 센서가 이미지 또는 위치 데이터를 캡처했거나 캡처할 가능성이 있는 시간의 특성("타이밍 특성")을 결정할 수 있다. 타이밍 특성은 캡처 속도(예컨대, 하나의 이미지 또는 데이터 세트의 캡처와 다음 이미지 또는 데이터 세트의 캡처 또는 많은 이미지에 대한 평균 캡처 속도 사이의 시간) 또는 캡처 속도의 위상 시프트와 관련될 수 있다. 타이밍 특성은, 예를 들어 아래에서 보다 상세히 설명되는 바와 같이, 외면을 캡처하는 트리거 위치와 대응할 수 있으며, 하나 이상의 컴퓨팅 디바이스(110)는 이동하는 차량의 이미지 센서가 특정 지리적 위치와 일치할 것으로 예상되는 순간을 결정할 수 있다.
상기 타이밍 특성은 다양한 인자에 의존할 수 있다. 예를 들어, 차량에 장착된 이미지 센서에 대한 일반적인 캡처 속도는 1Hz 정도일 수 있다. 그러나, 이미지 센서가 장착된 자동차 또는 운송 수단의 속도 및 관심 타겟으로부터의 거리에 의존하여, 캡처 속도는 아래에서 더 논의되는 바와 같이, 더 큰 또는 더 작은 크기의 순서일 수 있다.
하나 이상의 컴퓨팅 디바이스(110)는 이미지 캡처 시스템의 이미지 또는 위치 센서의 자세 또는 움직임에 기초하여 타이밍 특성을 결정할 수 있다. 이미지 캡처 시스템(100)이 차량(200)에 장착될 때, 이미지 또는 위치 센서의 자세 또는 움직임은 차량(200)의 자세 또는 움직임에 기초하여 결정될 수 있다. 차량(200)의 자세 또는 움직임은 측위 시스템(164)에 기초하여 결정될 수 있다. 차량(200)의 자세 또는 움직임은 또한 하나 이상의 이미지 센서(120), 하나 이상의 위치 센서(130), 또는 차량 내외부의 다른 구성 요소들에 의해 제공되는 정보에 기초하여 결정될 수 있다. 일부 실시예에서, 하나 이상의 이미지 센서 및 하나 이상의 위치 센서는 또한 짐벌과 같이 독립적으로 움직일 수 있으며, 이 경우 각 센서의 자세 또는 움직임은 차량에 대한 각 센서의 자세 및 움직임에 또한 기초하여 결정될 수 있다.
도 5로 돌아가서, 차량(200)에 장착된 이미지 캡처 시스템(100)의 예에서, 제1 이미지 센서는 차량(200)의 우측을 직접 포인팅하도록 구성될 수 있고, 제2 이미지 센서는 차량(200)의 좌측을 직접 포인팅하도록 구성될 수 있다. 도 5에 도시된 바와 같이, 차량(200)은 거리(502)의 최북단 레인(504)상에서 이동할 수 있다. 거리(502)의 북측을 따르는 객체들은 거리(502)의 다른 측면상의 객체들보다 평균적으로 차량(200) 및 하나 이상의 이미지 또는 위치 센서에 더 가깝고 따라서 더 큰 각속도를 갖는다. 이와 같이, 건물(532)의 외면을 캡처하려고 하는 차량(200)상의 제1 이미지 센서의 캡처 속도는 차량(200)의 보다 신속하게 변화하는 우측 뷰를 캡처하기 위하여 레인(512)의 차량상의 제2 이미지 센서의 캡처 속도보다 빠를 수 있다. 제1 이미지 센서의 캡처 속도와 제2 이미지 센서의 캡처 속도 사이의 비율은 차량 우측에 있는 객체들의 차량(200)으로부터의 평균 거리와 차량 좌측에 있는 객체들의 평균 거리사이의 비율의 역수일 수 있다. 예를 들어, 만약 평균 거리의 비율이 1:2이면 캡처 속도의 비율은 2:1일 수 있다. 다른 비율 또는 계산이 제1 및 제2 이미지 센서 간의 차이를 결정하는데 사용될 수 있다.
또한, 주어진 이미지 또는 위치 센서의 캡처 속도는 차량의 속도가 증가 또는 감소함에 따라 각각 증가 또는 감소할 수 있다. 세트(520)의 선호 캡처 위치는 차량이 속도가 증가 또는 감소하는지 여부에 관계없이 약 30~40 피트 간격으로 유지될 수 있다. 하나 이상의 컴퓨팅 디바이스(110)는 차량의 속도가 증가할 때 캡처 속도를 증가시키고 차량 속도가 감소할 때 캡처 속도를 감소시킬 수 있다.
타이밍 특성은 관심 타겟에 대한 이미지 또는 위치 센서의 자세 또는 움직임에 기초하여 결정될 수 있다. 예를 들어, 타이밍 특성은 관심 타겟의 위치 또는 방위에 대한 차량의 위치, 방위, 속도 또는 가속도 중 하나 이상에 기초하여 결정될 수 있다. 또 다른 예로서, 이미지 캡처 시스템(100)은 관심 타겟의 2개의 연속적인 이미지 사이의 오버랩 양이 임계값을 초과하도록 이미지 캡처 속도를 결정할 수 있다. 예를 들어, 하나 이상의 이미지 센서(120)의 제1 이미지 센서의 화각 및 제1 이미지 센서로부터의 관심 타겟의 평균 거리에 기초하여, 관심 타겟의 이미지들 사이에서 적어도 50%의 중첩을 허용하는 하나 이상의 캡처 위치가 결정될 수 있다. 하나 이상의 캡처 위치를 사용하여, 캡처 속도는 차량의 속도에 따라 차량에 대해 결정될 수 있다.
예로써, 객체가 센서에 더 가깝거나 멀어질수록, 이미지 캡처 시스템(100)은 센서의 캡처 속도를 각각 증가 시키거나 감소시킬 수 있다. 도 7에 도시된 바와 같이, 차량(200)이 주행하는 경로가 관심 타겟, 건물(532)의 외면에 더 가까워짐에 따라, 이미지 또는 위치 센서의 캡처 속도는 세트(720)의 캡처 위치들이 건물(532)의 전방에 대한 각도보다 영역(730)내의 건물(532)의 전방에서 더 밀집되어 있음에 의해 입증되는 바와 같이 증가할 수 있다.
이미지 또는 위치 센서의 캡처 속도는 관심 타겟의 일부가 캡처된 이미지 내에 나타나는 것으로 결정되었을 때 증가할 수 있고, 관심 타겟의 일부가 캡처된 이미지 내에 나타나지 않는 것으로 결정되었을 감소할 수 있다. 이미지 캡처 시스템(100)의 하나 이상의 컴퓨팅 디바이스(110)는, 건물(532) 및 차량의 현재 위치를 포함하는 지리적 영역(500)과 같은 같은 관심 타겟을 포함하는 지리적 영역의 3D 모델을 먼저 생성하거나 액세스함으로써, 캡처된 이미지 데이터의 시야 내에서, 관심 타겟의 일부가 나타나는지 또는 관심 타겟이 언제 또는 어디에 나타날 것으로 예상되는지를 결정할 수 있다. 그런 다음, 하나 이상의 컴퓨팅 디바이스(110)는 이미지 또는 위치 센서의 화각에 기초하여 센서가 향하는 방향 또는 앞으로 향할 방향으로 센서의 현재 또는 장래의 위치로부터 프레임을 투영할 수 있으며, 상기 투영된 프레임이 관심 타겟과 관련된 하나 이상의 3D 지점들과 교차하는 센서의 위치를 결정할 수 있다. 예를 들어, 하나 이상의 이미지 센서(120)의 제1 이미지 센서는 740의 시야각을 가질 수 있으며, 따라서 캡처 위치(722)에서 시작하여 캡처 위치(724)에서 끝나는 건물(532)의 외면의 적어도 일부를 캡처할 수 있다. 차량(200)이 일정 속도로 주행하고 있다고 가정하면, 제1 이미지 센서의 캡처 속도는 캡처 위치(722)에서 증가하기 시작하여 건물(532) 앞에서 가장 높은 속도에 도달하고, 위치(724)까지 서서히 감소한 후에 일정한 속도로 복귀할 수 있다.
이미지 캡처 시스템(100)의 하나 이상의 컴퓨팅 디바이스(110)는 또한 이미지 또는 위치 센서의 자세 또는 폐색물에 관련된 움직임에 기초하여 타이밍 특성을 결정할 수 있다. 예를 들어, 시스템은 관심 타겟의 이미지 또는 위치 데이터를 수집할 때 관심 타겟의 앞에 폐색물을 캡처하는 것을 피하는 트리거 위치를 결정할 수 있다. 제1 트리거 위치는 폐색물의 일측이 센서의 시야로 진입하기 직전에 위치하도록 결정될 수 있고, 제1 트리거 위치는 폐색물의 타측이 센서의 시야를 벗어난 직후에 위치하도록 결정될 수 있다. 제1 및 제2 트리거 위치는 이미지 캡처 시스템(100)이 각각 제1 이미지 및 제2 이미지, 또는 각각 제1 위치 데이터 및 제2 위치 데이터를 캡처하도록 구성된 위치일 수 있다. 이러한 방식으로 캡처될 때, 제1 이미지 및 제2 이미지의 일부 또는 제1 위치 데이터 및 제2 위치 데이터는 결합되어 관심 타겟의 재구성된 이미지를 형성할 수 있다. 제1 트리거 위치와 제2 트리거 위치 사이의 추가 트리거 위치는 관심 타겟의 다른 부분들이 제1 및 제2 트리거 위치 사이에서 보여질 수 있을 때 결정될 수 있다. 트리거 위치들은 주어진 센서의 시야각 및 주어진 센서의 자세에 기초하여 결정될 수 있다. 이와 같이 트리거 위치들은 센서마다 다를 수 있으며 관심 타겟이 다른 각도로 캡처될 수 있도록 한다.
예를 들어, 나무(540)가 관심 타겟으로 식별된 건물(532)의 외면 앞에 있기 때문에, 이미지 센서가 건물(532) 바로 앞에 있는 기준 도로 위치(810)에 있을 때 캡처된 이미지는 도 6의 이미지(600)와 같이 대부분이 폐색하는(가리는) 나무(540)일 수 있다. 따라서, 제1 트리거 위치(822)는 도로 위로(Up) 수십 야드와 같이, 기준 도로 위치(810)로부터 거리(502) 위의 거리가 되도록 결정될 수 있다. 이미지 센서가 제1 트리거 위치(822)에 있을 때, 제1 이미지는 제1 이미지 센서에 의해 캡처될 수 있다. 제2 트리거 위치(824)는 거리(502) 아래로 수 야드와 같이, 기준 도로 위치(810)로부터 도로 아래의 거리가 되도록 결정될 수 있다. 이미지 센서가 제2 트리거 위치(824)에 도달할 때, 제2 이미지가 제1 이미지 센서에 의해 캡처될 수 있다.
제1 트리거 위치(822) 및 제2 트리거 위치(824) 이외에, 세트(820)는 제1 트리거 위치 이전 및 제2 트리거 위치 이후에 일정 간격으로 다른 캡처 위치들을 포함할 수 있다. 개재(intervening) 캡처 위치가 존재하지 않을 수 있거나, 대안적으로, 제1 트리거 위치와 제2 트리거 위치 사이의 세트(820)에 하나 이상의 캡처 위치 및/또는 다른 트리거 위치가 포함될 수 있다. 예를 들어, 개재 트리거 위치는 다른 폐색물을 피하도록 결정될 수 있다. 도 8에 도시된 바와 같이, 개재 트리거 위치(826)는 건물(532)의 외면을 부분적으로 폐색하는(가리는) 나무(542)를 피하기 위해 세트(820)의 일부로서 결정될 수 있다. 개재 캡처 위치는 제1 트리거 위치 이전의 캡처 위치들과 동일하거나 유사한 일정한 간격으로 이격될 수 있다. 대안적으로, 폐색 나무(540)로 인해 덜 유용한 정보가 캡처될 것이므로 개재 캡처 위치는 더 멀리 확산될 수 있다.
일부 예에서, 제1 이미지 센서의 자세는 도 9에 도시된 바와같이, 제1 트리거 위치로부터 비즈니스 매장을 향하는(pointing) 제1 자세 및 짐벌을 사용하여 제2 트리거 위치로부터 비즈니스 상점을 가리키는 제2 자세로 조정될 수 있다. 제1 이미지 센서의 자세가 조정 가능할 때, 하나 이상의 컴퓨팅 디바이스(110)는 관심 타겟이 폐색물을 피하면서 캡처될 수 있는 최상의 각도에 기초하여 제1 트리거 위치를 결정할 수 있다. 북쪽을 향하지 않고, 제1 이미지 센서는 세트(920)의 제1 트리거 위치(922)에서 북서쪽을 향하는 제1 자세 및 세트(920)의 제2 트리거 위치(924)에서 북쪽을 향하는 제2 자세를 가질 수 있다. 제1 트리거 위치(922)와 제2 트리거 위치(924) 사이의 간격에서, 제1 이미지 센서는 제1 자세로부터 제2 자세로 이동될 수 있다. 제1 이미지 센서의 자세가 다르다면, 제1 트리거 위치(922)는 제 1 트리거 위치(822)와 다른 위치에 있다고 결정된다. 유사하게, 제2 트리거 위치(924)는 또한 제2 트리거 위치(824)와 다를 수 있다.
일부 실시예에서, 제1 트리거 위치(922)는 제1 이미지 센서의 사용을 위해 지정될 수 있고, 제2 트리거 위치(924)는 제2 이미지 센서를 위해 지정될 수 있다. 제1 이미지 센서는 제1 자세에서 선택적으로 고정될 수 있고, 제2 자세에서 제2 이미지 센서 또는 하나 또는 둘 모두의 센서의 자세는 조정 가능할 수 있다.
타이밍 특성을 결정하는 것은, 이미지 또는 위치 센서가 폐색물의 일측이 센서의 시야로 진입하기 직전에 관심 타겟의 제1 이미지 또는 제1 위치 데이터를 수집하고, 폐색물의 타측이 센서의 시야를 벗어난 직후에 관심 타겟의 제2 이미지를 캡처할 수 있도록 부가적으로 또는 대안적으로, 이미지 캡처를 지연 또는 전진시킴으로써 캡처 속도의 위상을 시프트하는 것을 포함한다. 예를 들어, 전술한 바와 같이 제1 트리거 위치 및 제2 트리거 위치를 결정한 후에, 제1 트리거 위치에 가장 가까운 세트(520)의 제1 캡처 위치는 제1 트리거 위치로 시프트될 수 있고, 세트(520)의 제2 캡처 위치는 제2 트리거 위치로 시프트될 수 있다. 그렇지 않으면 세트(520)의 다른 캡처 위치가 동일한 위치에 남아 있을 수 있다. 대안적으로, 제1 캡처 위치의 위상 시프트는 이후의 모든 캡처 위치가 제1 캡처 위치와 동일한 양으로 시프트되도록 하고, 제2 캡처 위치의 후속 위상 시프트는 이후의 모든 모든 캡처 위치가 제2 캡처 위치와 동일한 양으로 다시 시프트되도록 할 수 있다. 상이한 센서들의 캡처 속도는 상이한 각도 및 상이한 시간에서 관심 타겟을 캡처하기 위해 다르게 시프트될 수 있다.
결정된 타이밍에 기초하여, 이미지 캡처 시스템(100)의 하나 이상의 컴퓨팅 디바이스(110)는 실시간으로 하나 이상의 이미지 센서(120) 또는 위치 센서(130)를 제어할 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(110)가 이미지 캡처 시스템(100)이 캡처 위치 또는 트리거 위치에 있다는 것을 검출할 때, 하나 이상의 컴퓨팅 디바이스(110)는 이미지 및 위치 데이터를 수집하기 위해 하나 이상의 이미지 센서(120) 및 하나 이상의 위치 센서(130)를 제어할 수 있다. 하나 이상의 컴퓨팅 디바이스(110)는 설정된 간격으로, 또는 센서, 관심 타겟 또는 폐색물의 자세 또는 움직임의 특성에서 변화가 검출될 때, 상기 결정된 타이밍 특성을 연속적으로 업데이트할 수 있다.
대안적으로, 실시간으로 센서의 타이밍 특성을 제어하는 대신에, 하나 이상의 컴퓨팅 디바이스(110)는 이미지 또는 위치 데이터가 수집된 후 추가 처리 이전에 상기 결정된 타이밍 특성에 기초하여 삭제(drop)되거나 폐기되는 특정 이미지 또는 위치 데이터를 식별할 수 있다. 예로서, 하나 이상의 컴퓨팅 디바이스(110)는 복수의 캡처 위치에 대응하는 복수의 캡처 시간을 포함하도록 제1 이미지 센서의 타이밍 특성을 결정할 수 있다. 제1 이미지 센서에 의해 캡처된 이미지로부터의 이미지의 서브 세트는 상기 결정된 캡처 위치들에서 또는 가장 가까운 위치에서 캡처된 이미지를 포함할 수 있다. 서브 세트에 없는 나머지 이미지들은 전송되거나 메모리에 저장되기 전에 삭제되거나 후 처리 과정(post-processing)에서 메모리로부터 폐기될 수 있다.
이미지 캡처 시스템은 캡처된 이미지 및/또는 위치의 충분성에 관하여 차량(200) 또는 사용자의 하나 이상의 컴퓨팅 디바이스(210)에 추가적으로 통지할 수 있다. 관심 타겟의 3D 위치 데이터가 수집된 이미지 및 3D 위치 데이터에서, 2배 이상과 같이 충분한 양으로 캡처될 때 상기 캡처된 이미지들 및 위치들이 충분하다는 것을 나타내는 메시지가 전송될 수 있다. 관심 타겟의 3D 위치 데이터가 수집된 이미지 또는 3D 위치 데이터 중 불충분한 양, 예컨대 2배 미만으로 캡처되는 경우, 관심 타겟에 의해 달리 실행되는 것이 요구됨을 나타내는 메시지가 전송될 수 있다. 자율 차량의 경우, 하나 이상의 컴퓨팅 디바이스(210)는 관심 타겟을 지나 다른 실행을 자동으로 계획 및 실행하거나 다른 실행을 요청하는 사용자 입력을 수신한 후에 이를 수행할 수 있다. 일부 예에서, 하나 이상의 컴퓨팅 디바이스(110)는 또한 불충분하게 캡처된 외면들 또는 영역들에 주석을 달 수 있으며, 주석 처리된 외면 또는 영역에 관한 메시지를 선택적으로 하나 이상의 컴퓨팅 디바이스(210)로 전송하거나 관심 타겟 데이터베이스내의 주석을 메모리(230) 또는 저장 시스템(350)에 저장할 수 있다.
또한, 시스템은 관심 타겟의 위치에 기초하여 하나 이상의 이미지 센서 각각의 초점 거리를 사용하여 결정될 수 있다. 초점 거리는 주어진 인스턴스에서 주어진 이미지 센서로부터의 관심 타겟의 평균 거리를 사용하여 결정될 수 있다. 초점 거리는 시간 경과에 따라 상기 주어진 이미지 센서로부터의 관심 타겟의 평균 거리의 변화에 기초하여 시간에 따라 변화하도록 결정될 수 있다.
상술한 예들은 캡처 속도로 이미지들을 캡처하도록 구성된 이미지 센서에 관한 것이지만, 타이밍 특성에 관한 동일하거나 유사한 결정들은 위치 데이터를 수집하도록 구성된 위치 센서에 대해 이루어질 수 있다. 또한, 전술한 방법의 일부 또는 전부는 이미지 캡처 시스템(100)의 하나 이상의 컴퓨팅 디바이스(110)보다는 차량(200)의 하나 이상의 컴퓨팅 디바이스(210)에 의해 수행될 수 있다.
도 10에서, 흐름도(1000)는 이미지 캡처 시스템(100)의 하나 이상의 컴퓨팅 디바이스(110) 및/또는 차량(200)의 하나 이상의 컴퓨팅 디바이스(210)에 의해 수행될 수 있는 전술한 일부 양태들에 따라 도시된다. 도 10은 특정 순서로 블록들을 도시하지만, 순서는 변경될 수 있고, 다수의 동작들은 동시에 수행될 수 있다. 또한, 동작들이 추가되거나 생략될 수 있다
블록(1010)에서, 하나 이상의 컴퓨팅 디바이스(110 또는 210)는 하나 이상의 관심 타겟을 식별할 수 있다. 관심 타겟은 예를 들어 건물의 정면, 비즈니스 상점, 광고판 등일 수 있다. 블록(1020)에서, 식별된 하나 이상의 관심 타겟에 관한 타겟 정보가 결정될 수 있다. 타겟 정보는 타겟과 센서 사이의 거리 또는 센서와 관심 타겟 사이에 올 수 있는 폐색물의 존재를 포함할 수 있다. 블록(1030)에서, 하나 이상의 관심 타겟에 관련된 데이터를 캡처링하기 위해 하나 이상의 타이밍 특성이 결정될 수 있다. 하나 이상의 타이밍 특성은 정보 요구와 관련된 타겟 정보 및 사전 결정된 규칙 세트에 기초하여 결정될 수 있다. 타이밍 특성의 예는 캡처 속도, 위상 시프트 또는 트리거 위치를 포함한다. 블록(1040)에서, 하나 이상의 컴퓨팅 디바이스(110 또는 210)는 하나 이상의 결정된 타이밍 특성에 기초하여 하나 이상의 관심 타겟에 관련된 데이터를 캡처하도록 하나 이상의 센서를 제어할 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(110 또는 210)는 하나 이상의 센서 각각의 캡처 속도를 설정하거나 하나 이상의 센서가 결정된 트리거 위치에서 데이터를 캡처하도록 할 수 있다.
이미지 캡처 시스템(100)은 이미지 센서 또는 위치 센서에 의해 수집된 모든 데이터보다 적은 것을 선택적으로 처리하도록 또한 구성될 수 있다. 예를 들어, 차량(200)에 설치된 하나 이상의 컴퓨팅 디바이스(110)는 실시간으로 관심 타겟의 지도 또는 3D 모델을 생성하기 위해 동시 위치 및 매핑("SLAM")을 사용할 수 있다. 지도 또는 모델은 캡처된 외면과 여전히 캡처해야 하는 외면을 결정하는데 사용될 수 있다. 예를 들어, 이미지 캡처 시스템(100)은 관심 타겟의 간단한 모델을 실시간으로 시스템의 운영자에게 구성하여 표시할 수 있으므로, 운영자는 모든 타겟 외면이 캡처되었는지 여부를 결정할 수 있다. 만약 커버리지(coverage)에 갭이 있으면, 이미지 캡처 시스템(100)은 갭을 채워 더 완전한 모델을 생성하기 위해 상이한 위치들로 이동될 수 있다. 이러한 특징은 이미지 캡처 시스템이 무인 항공 차량( "UAV", 예컨대, 쿼드 코터) 또는 웨어러블 디바이스(예컨대, 거리 뷰 트레커 백팩(Street View Trekker backpack))와 같은, 고도로 이동 가능한 차량에 저장될 때 특히 유리할 수 있다. 이미지 캡처 시스템은 모델을 완성하기 위해 자율적으로 위치하도록 추가적으로 구성될 수 있다. 예로서, UAV는 관심 타겟 주위를 비행하고 모델이 완료될 때까지 이미지 데이터를 수집하도록 프로그래밍될 수 있다. 보다 상세한 모델 또는 부가 정보는 이미지 캡처 시스템에 의해 액세스 가능한 것보다 많은 메모리 및 프로세싱 리소스를 갖는 더 많은 컴퓨팅 디바이스로 전송된 후에 감지된 데이터로부터 추출될 수 있다.
이미지 캡처 시스템(100)은 또한 이미지 또는 위치 센서에 의해 수집된 모든데이터보다 적은 것을 선택적으로 저장하도록 구성될 수 있다. 예를 들어, 시스템이 이미지의 작은 부분만 관심 타겟(예를 들어, 거리 표지판)과 관련이 있다고 결정하는 기계 학습 컴포넌트를 포함하는 경우, 하나 이상의 컴퓨팅 디바이스(110)는 관심 타겟의 이미지 데이터(예컨대, 속도 제한표에 대응하는 픽셀값)를 저장하고 이미지에서 캡처된 다른 이미지 데이터를 폐기할 수 있다. 또한, 관심 타겟과 관련된 이미지 데이터를 저장하는 대신에, 시스템은 데이터의 보다 작은 표현(예컨대, 속도 제한표의 위치 및 그 위에 표시된 갯수)을 저장할 수 있다.데이터는 처리된 후에 비 휘발성 메모리에 데이터를 저장하지 않음으로써 폐기될 수 있으며, 비 휘발성 메모리에 데이터를 저장하고 나중에 삭제하거나 도착할 때 무시하는 등의 방법으로 폐기될 수 있다.
추가 예로서, 만약 이미지들이 중첩하는 이미지 데이터를 포함하는 경우, 이미지 캡처 시스템(100)은 중첩 데이터의 하나의 복사본을 저장하고 나머지를 폐기할 수 있다. 예를 들어 상술한 바와 같이, 시스템은 상대적으로 가까운 관심 타겟이 상대적으로 고속으로 통과(pass)할 때 캡처 속도를 증가시킬 수 있다. 이미지 데이터는 관심 타겟뿐만 아니라 먼 타겟도 캡처할 수 있으며, 시차(parallax)로 인해 이미지들 간의 오버랩 양이 상당히 클 수 있다. 따라서, 하나 이상의 컴퓨팅 디바이스는 중첩 이미지 데이터(예컨대, 이미지 내의 먼 객체의 픽셀값)를 폐기하고 나머지 이미지 데이터를 보유할 수 있다.
이미지 캡처 시스템(100)은 이미지 데이터를 3D 모델 상에 투영함으로써 이미지 및 위치 데이터를 저장할지 또는 폐기할지를 결정할 수 있다. 예를 들어, 만약 이미지 데이터가 상술한 관심 타겟의 3D 모델과 일치하지 않으면, 이미지 데이터는 폐기될 수 있다. 만약 이후의 이미지내의 이미지 데이터가 이전 이미지의 데이터로 이미 형성된(painted) 모델의 외면과 일치하면, 이후의 이미지로부터의 이미지 데이터도 마찬가지로 폐기될 수 있다. 일부 실시예에서, 시스템은 모델의 사본을 보유할 수 있으며, 이미지 캡처 시스템(100)이 모델링된 외면의 시야에서 벗어나자마자 상기 모델을 생성하는데 사용된 이미지 데이터를 폐기할 수 있다.
이미지 데이터는 또한 관심 타겟을 캡처하는 이미지들의 수에 기초하여 저장되거나 폐기될 수 있다. 예로서, 시스템은 외면의 지정된 수의 이미지를 캡처 및 유지하고 동일한 외면의 후속 이미지를 폐기할 수 있다. 시스템은 또한 각 이미지의 품질값을 계산하고 최상의 품질값(들)을 갖는 이미지 또는 지정된 수의 이미지를 유지할 수 있다. 예를 들어, 이미지 캡처 시스템(100)이 외면에 가까워질 수록,보다 상세한 이미지 및 위치 데이터를 수집하는 경향이 있다. 그 결과, 품질값은 모델 상에 투영된 이미지 데이터의 입도(granularity), 예를 들어 관련 외면의 제곱 센티미터 당 캡처된 픽셀 수에 기초할 수 있다. 캡처된 이미지 데이터는 이미지 센서가 외면에 가까워질 수록 더 미세해지는 경향이 있으므로, 품질값은 관련 이미지 센서로부터 외면까지의 감지된 지리적 거리에 기초할 수도 있다.
외면의 이미지는 이미지 데이터에 특정하는 인자들에 기초하여 폐기되거나 유지될 수 있다. 예를 들어, 조명 조건은 시간대와 요일에 따라 다르다. 만약 동일한 외면의 두 이미지가 다른 조명 조건에서 촬영된 경우, 두 이미지는 유지될 수 있다. 대안으로, 만약 두 이미지 중의 하나가 아침 일찍 서향 외면의 이미지와 같이 상대적으로 열악한 조명 조건에서 촬영되었을 가능성이 있는 경우, 상기 열악한 조명 조건을 갖는 이미지는 폐기될 수 있다.
시스템이 특정 이미지로부터 이미지 데이터를 폐기하더라도, 해당 이미지에 기초하여 이미지 데이터를 보유할 수 있다. 예를 들어, 관심 타겟의 이미지가 처리를 위해 도착함에 따라, 시스템은 관심 타겟의 모델의 텍셀(texels) 상에 이미지 데이터를 투영하고 각 텍셀에 투영된 컬러 및 밝기 데이터의 이동 평균을 저장할 수 있다.
상술한 특징들은 정보를 보다 효율적으로 그리고 명확하게 캡처하는 이미지 및 위치 정보를 캡처할 수 있게 한다. 상술한 방식으로 수집된 이미지 및 위치 정보는 최소량의 데이터 캡처 및 저장과 함께 관심 영역을 보다 자세하게 나타내는 지리적 영역의 재구성을 제공하는데 사용될 수 있다. 위에서 설명한 대로 상기 수집된 이미지와 위치 정보가 중첩하는 양은 사용자가 지리적 영역의 재구성을 생성하는데 필요한 충분한 정보를 갖도록 보장한다. 지리적 영역의 정확한 묘사를 위한 충분한 정보를 캡처하면서 데이터 캡처 및 저장하는 것은 비용이 적게 들기 때문에, 사용자는 수집된 정보를 사용하여 관련 정보를 보다 쉽게 찾을 수 있거나 관심 영역을 볼 수 있다. 보다 관련성이 높은 정보를 볼 수 있으므로 사용자는 수집된 정보를 기반으로 재구성을 보거나 다른 재구성을 볼 가능성이 크다.
다른 언급이 없다면, 전술한 대안적인 예들은 상호 배타적이지 않지만, 고유한 이점을 달성하기 위해 다양한 조합으로 구현될 수 있다. 상술한 특징들의 이들 및 다른 변형 및 조합이 청구 범위에 정의된 주제를 벗어나지 않고 이용될 수 있기 때문에, 실시예들의 전술된 설명은 청구 범위에 의해 한정된 주제의 제한이 아닌 예시로서 취해져야 한다. 예시들("와 같은(such as)", "예를들어(e.g.)", "포함하는(including)" 등으로 표현된)의 제공은 청구 범위를 특정 예들로 한정하는 것으로 해석되어서는 안되며, 오히려, 이 예들은 많은 가능한 측면들 중 일부만 설명하기 위한 것이다. 유사하게, "기초한(based on)"등은 "적어도 부분적으로 기초한 (based at least in part on)"을 의미한다. 또한, 상이한 도면에서 동일한 참조 번호는 동일하거나 유사한 요소들을 식별할 수 있다.
Claims (20)
- 이동 차량상의 하나 이상의 센서들을 제어하는 방법으로서,
하나 이상의 컴퓨팅 디바이스에 의해, 하나 이상의 센서를 사용하여 제1 위치에서 제1 외면(surface) 및 제2 위치에서 제2 외면을 검출하는 단계;
하나 이상의 컴퓨팅 디바이스에 의해, 제2 외면을 관심 타겟으로서 분류하는 단계;
하나 이상의 컴퓨팅 디바이스에 의해, 제1 외면의 제1 위치와 제2 외면의 제2 위치에 대한 하나 이상의 센서의 자세 또는 움직임에 기초하여 하나 이상의 센서의 하나 이상의 타이밍 특성을 결정하는 단계;
하나 이상의 컴퓨팅 디바이스에 의해, 결정된 하나 이상의 타이밍 특성에 기초하여 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계; 및
하나 이상의 컴퓨팅 디바이스에 의해, 제1 위치가 하나 이상의 센서의 위치와 제2 위치 사이에 있거나 그 사이에 있을 것에 응답하여 제1 외면을 폐색물 (occluder)로 분류하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 타이밍 특성을 결정하는 단계는,
제1 위치에 기초하여 제1 외면을 캡처하기 위한 제1 캡처 속도를 결정하는 단계; 및
제2 위치에 기초하여 제2 외면을 캡처하기 위한 제2 캡처 속도를 결정하는 단계를 포함하고, 상기 제2 캡처 속도는 제1 캡처 속도보다 높으며; 그리고
상기 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계는 제1 캡처 속도로 제1 외면에 관한 제1 데이터 세트를 캡처하도록 하나 이상의 센서의 제1 센서를 제어하는 단계와, 제2 캡처 속도로 제2 외면에 관한 제2 데이터 세트를 캡처하도록 하나 이상의 센서의 제2 센서를 제어하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 데이터를 갭처하기 위한 하나 이상의 타이밍 특성을 결정하는 단계는,
폐색물의 적어도 일부가 하나 이상의 센서에 의해 캡처되지 않도록 데이터가 하나 이상의 센서에 의해 캡처되어야하는 하나 이상의 트리거 위치를 결정하는 단계를 포함하고,
상기 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계는 결정된 하나 이상의 트리거 위치에 따라 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 하나 이상의 타이밍 특성은 또한 이동 차량의 속도에 기초하여 결정되는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 하나 이상의 센서는 이미지 센서를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 하나 이상의 센서는 3차원 위치 데이터를 캡처하도록 구성된 위치 센서를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
하나 이상의 컴퓨팅 디바이스에 의해, 관심 타겟과 관련된 데이터가 캡처된 데이터에서 지정된 회수(amount of times)만큼 캡처되었는지 여부를 결정하는 단계; 및
하나 이상의 컴퓨팅 디바이스에 의해, 관심 타겟과 관련된 더 많은 데이터가 필요함을 나타내는 메시지를 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 시스템으로서
시각 데이터, 위치 데이터 또는 둘 모두를 캡처하기 위한 하나 이상의 센서;
하나 이상의 컴퓨팅 디바이스; 및
컴퓨터 판독 가능 명령들을 포함하는 메모리를 포함하여, 하나 이상의 컴퓨팅 디바이스에 의해 실행될 때 하나 이상의 컴퓨팅 디바이스로 하여금:
하나 이상의 센서를 사용하여, 제1 위치에서 제1 외면 및 제2 위치에서 제2 외면을 검출하는 동작;
제2 외면을 관심 타겟으로 분류하는 동작;
제1 외면의 제1 위치와 제2 외면의 제2 위치에 대한 하나 이상의 센서의 자세 또는 움직임에 기초하여 하나 이상의 센서의 하나 이상의 타이밍 특성을 결정하는 동작;
결정된 하나 이상의 타이밍 특성들에 기초하여 데이터를 캡처하도록 하나 이상의 센서를 제어하는 동작; 및
제1 위치가 하나 이상의 센서의 위치와 제2 위치 사이에 있거나 그 사이에 있을 것에 응답하여 제1 외면을 폐색물로 분류하는 동작을 포함하는 것을 특징으로 하는 시스템. - 제8항에 있어서,
상기 하나 이상의 타이밍 특성은,
제1 위치에 기초하여 제1 외면을 캡처하기 위한 제1 캡처 속도를 결정하는 동작; 및
제2 위치에 기초하여 제2 외면을 캡처하기 위한 제2 캡처 속도를 결정하는 동작에 의해 결정되고, 상기 제2 캡처 속도는 상기 제1 캡처 속도보다 높으며; 및
상기 하나 이상의 센서의 제1 센서는 제1 캡처 속도로 제1 외면에 관한 제1 데이터 세트를 캡처하도록 제어되고, 상기 하나 이상의 센서의 제2 센서는 제2 캡처 속도로 제2 외면에 관한 제2 데이터 세트를 캡처하도록 제어되는 것을 특징으로 하는 시스템. - 제8항에 있어서,
상기 하나 이상의 타이밍 특성은,
폐색물의 적어도 일부가 하나 이상의 센서에 의해 캡처되지 않도록 데이터가 하나 이상의 센서에 의해 캡처되어야하는 하나 이상의 트리거 위치를 결정함으로써 결정되고, 그리고
상기 하나 이상의 센서는 결정된 하나 이상의 트리거 위치에 따라 데이터를 캡처하도록 하나 이상의 센서를 제어함으로써 데이터를 캡처하도록 제어되는 것을 특징으로 하는 시스템. - 제8항에 있어서,
상기 하나 이상의 센서는 차량에 장착되고, 상기 하나 이상의 타이밍 특성은 또한 차량의 속도에 기초하여 결정되는 것을 특징으로 하는 시스템. - 제8항에 있어서,
상기 하나 이상의 센서는 이미지 센서를 포함하는 것을 특징으로 하는 시스템. - 제8항에 있어서,
상기 하나 이상의 센서는 3차원 위치 데이터를 캡처하도록 구성된 위치 센서를 포함하는 것을 특징으로 하는 시스템. - 제8항에 있어서,
컴퓨터 판독 가능 명령들을 실행할 때, 하나 이상의 컴퓨팅 디바이스는,
관심 타겟과 관련된 데이터가 캡처된 데이터에서 지정된 횟수만큼 캡처되었는지 여부를 결정하는 동작; 및
관심 타겟에 관한 더 많은 데이터가 필요함을 나타내는 메시지를 전송하는 동작을 더 수행하도록 하는 것을 특징으로 하는 시스템. - 제8항에 있어서,
차량을 더 포함하고, 상기 하나 이상의 센서는 차량상에 장착되는 것을 특징으로 하는 시스템. - 프로그램의 컴퓨터 판독 가능 명령들이 저장되는 유형의 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 명령들은 하나 이상의 컴퓨팅 디바이스에 의해 실행될 때, 상기 하나 이상의 컴퓨팅 디바이스로 하여금 방법을 수행하도록 하고, 상기 방법은,
하나 이상의 센서를 사용하여 제1 위치에서 제1 외면 및 제2 위치에서 제2 외면을 검출하는 단계;
제2 외면을 관심 타겟으로서 분류하는 단계;
제1 외면의 제1 위치와 제2 외면의 제2 위치에 대한 하나 이상의 센서의 자세 또는 움직임에 기초하여 하나 이상의 센서의 하나 이상의 타이밍 특성을 결정하는 단계;
결정된 하나 이상의 타이밍 특성에 기초하여 데이터를 캡처하도록 하나 이상의 센서들을 제어하는 단계; 및
제1 위치가 하나 이상의 센서의 위치와 제2 위치 사이에 있거나 그 사이에 있을 것에 응답하여 제1 외면을 폐색물로 분류하는 단계를 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체. - 제16항에 있어서,
상기 타이밍 특성을 결정하는 단계는,
제1 위치에 기초하여 제1 외면을 캡처하기 위한 제1 캡처 속도를 결정하는 단계; 및
제2 위치에 기초하여 제2 외면을 캡처하기 위한 제2 캡처 속도를 결정하는 단계를 포함하고, 상기 제2 캡처 속도는 제1 캡처 속도보다 높으며; 그리고
상기 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계는 제1 캡처 속도로 제1 외면에 관한 제1 데이터 세트를 캡처하도록 하나 이상의 센서의 제1 센서를 제어하는 단계와, 제2 캡처 속도로 제2 외면에 관한 제2 데이터 세트를 캡처하도록 하나 이상의 센서의 제2 센서를 제어하는 단계를 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체. - 제16항에 있어서,
상기 데이터를 갭처하기 위한 하나 이상의 타이밍 특성을 결정하는 단계는,
폐색물의 적어도 일부가 하나 이상의 센서에 의해 캡처되지 않도록 데이터가 하나 이상의 센서에 의해 캡처되어야하는 하나 이상의 트리거 위치를 결정하는 단계를 포함하고, 그리고
상기 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계는 결정된 하나 이상의 트리거 위치에 따라 데이터를 캡처하도록 하나 이상의 센서를 제어하는 단계를 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체. - 제16항에 있어서,
상기 하나 이상의 센서는 차량에 장착되고, 상기 하나 이상의 타이밍 특성은 또한 차량의 속도에 기초하여 결정되는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체. - 제16항에 있어서,
상기 방법은,
관심 타겟에 관한 데이터가 상기 캡처된 데이터에서 지정된 횟수만큼 캡처되었는지 여부를 결정하는 단계; 및
관심 타겟에 관한 더 많은 데이터가 필요함을 나타내는 메시지를 전송하는 단계를 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2017/044450 WO2019022774A1 (en) | 2017-07-28 | 2017-07-28 | SYSTEM AND METHOD FOR IMAGE AND LOCATION CAPTURE BASED ON NEEDS |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187021921A Division KR20190028359A (ko) | 2017-07-28 | 2017-07-28 | 필수 이미지 및 위치 캡처 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200103885A true KR20200103885A (ko) | 2020-09-02 |
| KR102191445B1 KR102191445B1 (ko) | 2020-12-15 |
Family
ID=59702805
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187021921A KR20190028359A (ko) | 2017-07-28 | 2017-07-28 | 필수 이미지 및 위치 캡처 시스템 및 방법 |
| KR1020207024634A KR102191445B1 (ko) | 2017-07-28 | 2017-07-28 | 필수 이미지 및 위치 캡처 시스템 및 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187021921A KR20190028359A (ko) | 2017-07-28 | 2017-07-28 | 필수 이미지 및 위치 캡처 시스템 및 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10817735B2 (ko) |
| EP (2) | EP3459238B1 (ko) |
| KR (2) | KR20190028359A (ko) |
| CN (1) | CN109588060B (ko) |
| WO (1) | WO2019022774A1 (ko) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11327475B2 (en) | 2016-05-09 | 2022-05-10 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for intelligent collection and analysis of vehicle data |
| US11156998B2 (en) | 2016-05-09 | 2021-10-26 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for process adjustments in an internet of things chemical production process |
| US11774944B2 (en) | 2016-05-09 | 2023-10-03 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for the industrial internet of things |
| US11237546B2 (en) | 2016-06-15 | 2022-02-01 | Strong Force loT Portfolio 2016, LLC | Method and system of modifying a data collection trajectory for vehicles |
| US11397428B2 (en) | 2017-08-02 | 2022-07-26 | Strong Force Iot Portfolio 2016, Llc | Self-organizing systems and methods for data collection |
| US20190339362A1 (en) * | 2018-05-03 | 2019-11-07 | Mediatek Inc. | Signature-based object detection method and associated apparatus |
| US11454976B1 (en) | 2019-06-06 | 2022-09-27 | Zoox, Inc. | Optimizing data levels for processing,transmission, or storage |
| US11354914B1 (en) * | 2019-06-06 | 2022-06-07 | Zoox, Inc. | Optimizing data levels for processing, transmission, or storage based on location information |
| EP4034914A4 (en) * | 2019-09-27 | 2022-11-23 | Pointcloud Inc. | DYNAMIC RECONFIGURATION OF LIDAR AREAS |
| US20210191424A1 (en) * | 2019-12-23 | 2021-06-24 | Lyft, Inc | Camera-sensor fusion module for surface detection and fleet vehicle control systems and methods |
| JP2021148746A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社リコー | 測距装置及び測距方法 |
| US11107244B1 (en) * | 2020-04-17 | 2021-08-31 | Applied Research Associates, Inc. | Location determination in a GPS-denied environment with user annotation |
| DK3929093T3 (da) * | 2020-06-25 | 2023-05-01 | Google Llc | Omdannelse af harddisk med høj kapacitet fra oem-emballage til automatiseringsvenlige beholdere |
| EP4062520A2 (en) | 2020-06-26 | 2022-09-28 | X Development LLC | Electrical power grid modeling |
| US11512956B2 (en) | 2020-07-09 | 2022-11-29 | Trimble Inc. | Construction layout using augmented reality |
| US11360310B2 (en) * | 2020-07-09 | 2022-06-14 | Trimble Inc. | Augmented reality technology as a controller for a total station |
| US20220124960A1 (en) * | 2020-10-23 | 2022-04-28 | James Canyon | Commercial Farm Optimization Utilizing Simulation, Remote Sensing, and Farmer Inputs |
| US11628859B1 (en) * | 2022-07-29 | 2023-04-18 | Plusai, Inc. | Vehicle placement on aerial views for vehicle control |
| US11634156B1 (en) | 2022-07-29 | 2023-04-25 | Plusai, Inc. | Aerial view generation for vehicle control |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100204974A1 (en) * | 2009-02-09 | 2010-08-12 | Utah State University | Lidar-Assisted Stero Imager |
| US20170168494A1 (en) * | 2015-12-11 | 2017-06-15 | Uber Technologies, Inc. | Formatting sensor data for use in autonomous vehicle communications platform |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6266442B1 (en) | 1998-10-23 | 2001-07-24 | Facet Technology Corp. | Method and apparatus for identifying objects depicted in a videostream |
| JP2007520934A (ja) | 2003-12-24 | 2007-07-26 | ウオーカー ディジタル、エルエルシー | 画像を自動的に捕捉し、管理する方法および装置 |
| DE102004046360B4 (de) * | 2004-09-24 | 2014-03-27 | Daimler Ag | Kraftfahrzeug mit einem präventiv wirkenden Schutzsystem |
| US8532419B2 (en) | 2010-01-13 | 2013-09-10 | iParse, LLC | Automatic image capture |
| US8798840B2 (en) | 2011-09-30 | 2014-08-05 | Irobot Corporation | Adaptive mapping with spatial summaries of sensor data |
| EP2791899B1 (en) | 2011-12-16 | 2016-11-09 | Nokia Technologies Oy | Method and apparatus for image capture targeting |
| JP5772714B2 (ja) * | 2012-05-16 | 2015-09-02 | 株式会社デンソー | 灯火検出装置及び車両制御システム |
| US9607370B2 (en) | 2014-01-15 | 2017-03-28 | The Boeing Company | System and methods of inspecting an object |
| US9098753B1 (en) | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using multiple sensors |
| KR102129798B1 (ko) * | 2014-05-08 | 2020-07-03 | 엘지전자 주식회사 | 비히클 및 그 제어 방법 |
| CN104575006B (zh) | 2014-12-25 | 2017-01-18 | 北京凌云光技术有限责任公司 | 图像拍摄时刻确定方法及系统、车辆速度检测方法及系统 |
| US9594984B2 (en) | 2015-08-07 | 2017-03-14 | Google Inc. | Business discovery from imagery |
| KR20180071663A (ko) * | 2016-12-20 | 2018-06-28 | 현대자동차주식회사 | 차량 및 그 제어방법 |
-
2017
- 2017-07-28 US US16/482,395 patent/US10817735B2/en active Active
- 2017-07-28 CN CN201780011028.7A patent/CN109588060B/zh active Active
- 2017-07-28 EP EP17757928.1A patent/EP3459238B1/en active Active
- 2017-07-28 WO PCT/US2017/044450 patent/WO2019022774A1/en unknown
- 2017-07-28 KR KR1020187021921A patent/KR20190028359A/ko active Application Filing
- 2017-07-28 KR KR1020207024634A patent/KR102191445B1/ko active IP Right Grant
- 2017-07-28 EP EP21173140.1A patent/EP3893484B1/en active Active
-
2020
- 2020-09-29 US US17/036,393 patent/US11386672B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100204974A1 (en) * | 2009-02-09 | 2010-08-12 | Utah State University | Lidar-Assisted Stero Imager |
| US20170168494A1 (en) * | 2015-12-11 | 2017-06-15 | Uber Technologies, Inc. | Formatting sensor data for use in autonomous vehicle communications platform |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3893484A1 (en) | 2021-10-13 |
| CN109588060A (zh) | 2019-04-05 |
| EP3459238A1 (en) | 2019-03-27 |
| CN109588060B (zh) | 2021-05-11 |
| US20200034638A1 (en) | 2020-01-30 |
| KR102191445B1 (ko) | 2020-12-15 |
| US10817735B2 (en) | 2020-10-27 |
| US11386672B2 (en) | 2022-07-12 |
| EP3893484B1 (en) | 2023-05-10 |
| KR20190028359A (ko) | 2019-03-18 |
| WO2019022774A1 (en) | 2019-01-31 |
| US20210012122A1 (en) | 2021-01-14 |
| EP3459238B1 (en) | 2021-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102191445B1 (ko) | 필수 이미지 및 위치 캡처 시스템 및 방법 | |
| US10962366B2 (en) | Visual odometry and pairwise alignment for high definition map creation | |
| CN112204343B (zh) | 高清晰地图数据的可视化 | |
| US10437252B1 (en) | High-precision multi-layer visual and semantic map for autonomous driving | |
| US10794710B1 (en) | High-precision multi-layer visual and semantic map by autonomous units | |
| EP3359918B1 (en) | Systems and methods for orienting a user in a map display | |
| US11415986B2 (en) | Geocoding data for an automated vehicle | |
| CN108810473B (zh) | 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统 | |
| WO2020043081A1 (zh) | 定位技术 | |
| CA2949543A1 (en) | Platform for constructing and consuming realm and object feature clouds | |
| JP6950832B2 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
| US11668577B1 (en) | Methods and systems for response vehicle deployment | |
| EP3644013B1 (en) | Method, apparatus, and system for location correction based on feature point correspondence | |
| WO2022077296A1 (zh) | 三维重建方法、云台负载、可移动平台以及计算机可读存储介质 | |
| US20200272847A1 (en) | Method, apparatus, and system for generating feature correspondence from camera geometry | |
| JP2020126612A (ja) | スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置 | |
| CN109891188A (zh) | 移动平台、摄像路径生成方法、程序、以及记录介质 | |
| US11947354B2 (en) | Geocoding data for an automated vehicle | |
| Wang et al. | Pedestrian positioning in urban city with the aid of Google maps street view | |
| US20240013554A1 (en) | Method, apparatus, and system for providing machine learning-based registration of imagery with different perspectives | |
| KR20230027456A (ko) | 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |