KR20180068578A - 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법 - Google Patents

복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법 Download PDF

Info

Publication number
KR20180068578A
KR20180068578A KR1020160170404A KR20160170404A KR20180068578A KR 20180068578 A KR20180068578 A KR 20180068578A KR 1020160170404 A KR1020160170404 A KR 1020160170404A KR 20160170404 A KR20160170404 A KR 20160170404A KR 20180068578 A KR20180068578 A KR 20180068578A
Authority
KR
South Korea
Prior art keywords
sensing data
sensor
recognition reliability
information
object recognition
Prior art date
Application number
KR1020160170404A
Other languages
English (en)
Inventor
홍현석
박상규
문보석
전해인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160170404A priority Critical patent/KR20180068578A/ko
Priority to US15/840,424 priority patent/US10600197B2/en
Priority to PCT/KR2017/014619 priority patent/WO2018110964A1/en
Priority to EP17880707.9A priority patent/EP3539081A4/en
Publication of KR20180068578A publication Critical patent/KR20180068578A/ko
Priority to US16/783,690 priority patent/US11295469B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/2258—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Abstract

객체를 인식하는 방법 및 그 장치를 개시한다. 객체를 인식하는 방법은, 제 1 센서로부터 제 1 센싱 데이터를 획득하는 단계, 제 2 센서로부터 제 2 센싱 데이터를 획득하는 단계, 제 1 센싱 데이터 및 제 2 센싱 데이터에 기초하여, 객체에 대한 제 1 객체 인식신뢰도 및 객체에 대한 제 2 객체 인식신뢰도를 획득하는 단계, 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도에 기초하여, 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 제 1 센싱 데이터에 매칭하여 매칭된 객체 정보를 제 1 센서의 데이터베이스에 저장하는 단계를 포함할 수 있다.

Description

복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법{ELECTRONIC DEVICE AND METHOD FOR RECOGNIZING OBJECT BY USING A PLURALITY OF SENSES}
본 개시는 복수의 센서를 이용하여 객체를 인식하는 전자 기기 (2100) 및 방법에 관한 것으로서, 보다 상세하게는, 복수의 센서를 통해 획득된 데이터에 기초하여 데이터를 데이터베이스에 저장하는 장치 및 방법에 관한 것이다.
종래의 객체를 인식하는 기술은 기존 센서 1 개만을 활용한 영상 인식, 즉, 단일 센서를 통한 영상 인식을 사용하였다. 단일 센서를 이용하는 경우, 센서별로 인식 정확도가 낮은 환경 (예를 들어, 밤, 비, 겨울, 여름, 주위 다량 쇠 존재 등) 이 존재하여, 단일 센서만으로 영상 인식이 어려운 경우가 존재한다. 단일 센서를 통한 영상 인식은 단일 센서 데이터로부터 인식이 실패하는 경우, 성능 향상을 위해 시스템 외부의 수작업을 통해 알고리즘의 수정이나 알고리즘 파라미터 수정이 추가적으로 필요하다. 이와 같은 추가적인 수정 작업은 순차적으로 입력되는 객체 인식 영상의 인식지연 (delay) 을 발생시켜, 객체 인식을 위한 충분한 물리적 시간이 부족하게 만든다. 최종적으로 객체를 인식하지 못하는 기술적 문제가 발생한다. 또한, 복수의 센서를 이용하여 객체를 인식하는 경우에, 복수의 센싱 데이터를 효과적으로 보완하여 객체를 인식하는데 이용하기 힘든 문제가 있었다.
본 개시는 복수의 센서를 활용하여, 기존 센서가 객체를 미인식 (또는 인식 실패) 하는 경우, 기존 센서 데이터를 처리하는 알고리즘 혹은 알고리즘 파라미터를 업데이트함으로써, 추후 기존 센서에서도 별도의 수정 작업 없이 객체 인식에 성공할 수 있게 하는 것을 목적으로 한다.
본 개시에 관한 객체를 인식하는 방법은, 제 1 센서로부터 제 1 센싱 데이터를 획득하는 단계, 제 2 센서로부터 제 2 센싱 데이터를 획득하는 단계, 제 1 센싱 데이터 및 제 2 센싱 데이터에 기초하여, 객체에 대한 제 1 객체 인식신뢰도 및 객체에 대한 제 2 객체 인식신뢰도를 획득하는 단계, 및 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도에 기초하여, 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 제 1 센싱 데이터에 매칭하여 제 1 센서의 데이터베이스에 저장하는 단계를 포함하는 것이다.
또한, 본 개시에 관한 객체를 인식하는 전자 기기는, 제 1 센싱 데이터를 획득하는 제 1 센서, 제 2 센싱 데이터를 획득하는 제 2 센서, 제 1 센싱 데이터 및 제 2 센싱 데이터에 기초하여, 객체에 대한 제 1 객체 인식률인식신뢰도 및 객체에 대한 제 2 객체 인식신뢰도를 획득하는 제어부로서, 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도에 기초하여, 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 제 1 센싱 데이터에 매칭하고, 매칭된 객체 정보를 제 1 센서의 데이터베이스에 저장하는 제어부를 포함하는 것이다.
본 개시에 의해, 매칭된 객체 정보를 제 1 센서의 데이터베이스에 저장함으로써, 추후 기존 센서에서 별도의 수정 작업 없이 객체 인식에 성공할 수 있다.
도 1 은 본 개시의 일 실시예에 따른 객체를 인식하는 전자 기기의 일례를 도시한 도면이다.
도 2 는 본 개시의 일 실시예에 따른 전자 기기가 복수의 센서를 이용하여 생성된 객체 정보를 저장하는 방법의 흐름도이다.
도 3 은 본 개시의 일 실시예에 따른 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도의 크기에 따라 전자 기기가 객체를 인식하는 방법의 세부 흐름도이다.
도 4 는 본 개시의 일 실시예에 따른 제 2 객체 인식신뢰도 및 제 1 임계값의 크기에 따라 전자 기기가 객체를 인식하는 방법의 세부 흐름도이다.
도 5 는 본 개시의 일 실시예에 따른 제 1 객체 인식신뢰도, 제 2 객체 인식신뢰도 및 제 2 임계값의 크기에 따라 전자 기기가 객체를 인식하는 방법의 세부 흐름도이다.
도 6 은 본 개시의 일 실시예에 따른 객체 정보의 예시를 나타내는 도면이다.
도 7 은 본 개시의 일 실시예에 따른 센서의 데이터베이스에 제 2 센싱 데이터를 이용하여 인식된 객체 정보가 별도로 저장되는 일례를 도시한 도면이다.
도 8 은 본 개시의 일 실시예에 따른 제 2 센싱 데이터를 이용하여 인식된 객체 정보에 포함된 위치 정보 좌표를 제 1 센싱 데이터에 대한 위치 정보 좌표로 변환하는 일례를 도시한 도면이다.
도 9 는 본 개시의 일 실시예에 따른 제 1 센서의 센싱 시각 및 제 2 센서의 센싱 시각 차이에 기초하여 제 2 센싱 데이트를 보정하는 방법의 세부 흐름도이다.
도 10 은 본 개시의 일 실시예에 따른 전자 기기 주변의 환경 정보를 획득하고, 획득된 환경 정보에 기초하여 제 1 센싱 데이터 및 제 2 센싱 데이터의 가중치를 결정하는 방법의 세부 흐름도이다.
도 11 은 본 개시의 일 실시예에 따른 제 2 센싱 데이터에 기초하여 객체의 일부만 인식되는 경우 객체의 전부를 추정하고, 추정된 전체 부분에 기초하여 제 2 센싱 데이터를 보정하는 방법의 세부 흐름도이다.
도 12 는 본 개시의 일 실시예에 따른 객체를 인식하는 전자 기기를 도시한 도면이다.
도 13 는 본 개시의 일 실시예에 따른 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도의 크기에 따라 전자 기기가 객체를 인식하는 일 예를 나타내는 도면이다.
도 14 는 본 개시의 일 실시예에 따른 제 2 객체 인식신뢰도 및 제 1 임계값의 크기에 따라 전자 기기가 객체를 인식하는 일 예를 나타내는 도면이다.
도 15 은 본 개시의 일 실시예에 따른 제 1 객체 인식신뢰도, 제 2 객체 인식신뢰도 및 제 2 임계값의 크기에 따라 전자 기기가 객체를 인식하는 일 예를 나타내는 도면이다.
도 16 은 본 개시의 일 실시예에 따른 객체의 객체 정보에 객체 이미지 데이터, 객체의 식별 정보 및 위치 정보가 포함되는 일례를 도시한 도면이다.
도 17 은 본 개시의 일 실시예에 따른 제 1 센서의 데이터베이스에 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보가 별도로 저장되어 상이한 알람을 발생시키는 일례를 도시한 도면이다.
도 18 는 본 개시의 일 실시예 따른 객체를 인식하는 전자 기기가 제 1 센서의 센싱 시각 및 제 2 센서의 센싱 시각 차이를 획득하여, 시각 차이에 따라 제 2 센싱 데이터를 보정하는 일례를 도시한 도면이다.
도 19 은 본 개시의 일 실시예에 따른 센서에 따라 적용되는 가중치 적용 환경요소의 일례를 도시한 도면이다.
도 20 은 본 개시의 일 실시예에 따른 제 2 센싱 데이터에 기초하여 객체의 일부만 인식되는 경우 객체의 전부를 추정하고, 추정된 전체 부분에 기초하여 제 2 센싱 데이터를 보정하는 일례를 도시한 도면이다.
도 21 은 본 개시의 일 실시예에 따른 객체를 인식하는 전자 기기의 일례를 도시한 세부 도면이다.
도 22 는 본 개시의 일 실시예에 따른 객체를 인식하는 서버의 일례를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1 은 본 개시의 일 실시예에 따른 전자 기기 (2100) 가 복수의 센서를 이용하여 객체를 인식하는 예시를 도시한 도면이다.
도 1 에 도시된 바와 같이, 본 개시의 일 실시예에 따른 전자 기기 (2100) 는 제 1 센서 (2141) 및 제 2 센서 (2142) 를 이용하여 전자 기기 (2100) 주변 (110) 의 객체 (111) 를 인식할 수 있다. 한편, 전자 기기 (2100) 는 제어부 (2110), 제 1 센서 (2141), 제 2 센서 (2142), 및 메모리 (2150) 를 포함할 수 있다.
제 1 센서 (2141) 및 제 2 센서 (2142) 는 각각 제 1 센싱 데이터 및 제 2 센싱 데이터를 획득 할 수 있다. 제어부 (131) 는 제 1 센싱 데이터 및 제 2 센싱 데이터의 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도를 획득할 수 있다. 제어부는 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도에 기초하여 제 2 센서 (2142) 를 통해 획득된 제 2 센싱 데이터를 이용하여 인식된 객체 (111) 의 객체 정보를 제 1 센서 (2141)의 데이터베이스에 업데이트 할지 여부를 결정할 수 있다. 제어부 (2110) 는 제 2 센서 (2142) 를 통해 획득된 제 2 센싱 데이터를 이용하여 인식된 객체 (111) 의 객체 정보를 제 1 센싱 데이터에 매칭하여 매칭된 객체 정보를 제 1 센서 (2141) 의 데이터베이스에 저장할 수 있다.
예를 들어, 자동차가 도로를 주행하는 경우 자동차의 주변에는 사람, 과속방지턱, 가로수, 동물들이 있을 수 있고, 자동차의 내부에는 주변 객체들을 인식하는 복수의 센서가 포함되어 있을 수 있다. 예를 들어, 자동차의 내부에 RGB 센서와 IR 센서가 포함되어 있는 경우, RGB 센서는 낮에 객체 인식을 더 잘 할 수 있고, IR 센서는 밤에 객체 인식을 더 잘 할 수 있다. 자동차가 낮에 도로를 주행하고 있는 경우, 자동차의 RGB 센서는 IR 센서보다 객체 인식을 더 잘 할수 있다. 자동차에 포함되어 있는 제어부는 낮에 RGB 센서를 이용하여 인식한 객체의 객체 정보를 IR 센서의 센싱 데이터에 매칭하여 IR 센서의 데이터베이스 저장함으로써, IR 센서의 객체 인식 성능을 향상시킬 수 있다.
예를 들어, 제어부가 매칭하여 저장하는 것은 제 1 센싱 데이터 중 객체의 위치에 대응하는 일부분을 제 2 센싱 데이터 중 객체의 위치에 대응하는 일부분으로 대응시켜 제 1 센싱 데이터의 인식결과로서 데이터베이스에 분류하여 저장하는 것을 포함할 수 있다. 제어부는 제 2 센싱 데이터에서 객체가 인식된 부분의 데이터를 추출하고, 인식된 객체의 위치에 대응하는 제 1 센싱 데이터의 일부분을 선별할 수 있다. 그리고 제어부는 제 2 센싱 데이터를 이용하여 인식된 객체에 대한 식별정보를 제 1 센싱 데이터의 일부분과 함께 객체 정보로서 제 1 센싱 데이터의 데이터베이스에 분류하여 저장할 수 있다.
또한, 예를 들어, 제어부가 매칭하여 저장하는 것은 획득된 제 2 센싱 데이터의 객체 정보를 제 1 센서의 객체 정보로 변환하고, 변환된 제 2 센싱 데이터의 객체 정보를 제1 센서의 데이터베이스에 저장하는 것을 포함할 수 있다. 제 2 센싱 데이터를 이용하여 객체가 인식된 경우, 인식된 객체의 식별정보와 제 2 센싱 데이터 중 인식된 객체에 해당하는 부분의 정보를 객체 정보로서 제1 센서의 데이터베이스에 저장하는 것을 포함할 수 있다. 예를 들어, 제 2 센싱 데이터 중 인식된 객체에 해당하는 부분의 정보는 객체의 객체 이미지 데이터를 포함할 수 있다.
메모리 (2150) 는 트레이닝 데이터베이스, 기존 파라미터 데이터베이스, 또는 타센서 이용 파라미터 데이터베이스를 포함할 수 있다. 트레이닝 데이터베이스에는 센서를 통해 획득된 일부 센싱이미지 또는 데이터가 저장될 수 있다. 기존 파라미터 데이터베이스에는 트레이닝 데이터베이스로부터 추출된 파라미터가 저장될 수 있다. 타센서 이용 파라미터 데이터베이스에는 각각의 센싱데이터에 매칭하여 추출된 파라미터가 저장될 수 있다.
전자 기기 (2100) 는 자동차, 드론, 청소 로봇, 애완 로봇를 포함할 수 있으나, 이에 제한되지 않으며, 적어도 하나의 센서를 이용하여 객체를 인식할 수 있는 모든 종류의 전자 기기 (2100) 를 포함할 수 있다. 또한, 객체는 센서가 인식할 수 있는 모든 사물들을 의미할 수 있다. 예를 들어, 보행자(어린이), 보행자(어른), 자동차(버스, 세단, SUV, 벤, 트럭, 트레일러, 포크레인, 또는 승용차), 이륜차 (자전거 타고 있는 사람, 오토바이에 탄 사람), 동물 (개, 고양이, 사슴, 새), 나무, 센서 (온도센서, 이산화탄소센서, 스프링쿨러), 벽, 과속방지턱, 변일 수 있으나, 이에 제한되지 않는다.
인식신뢰도는 데이터베이스 이미지와 센싱한 이미지의 형태, 또는 색상 등을 기초로 한 유사도에 결정되는 값을 의미할 수 있다. 또한, 인식신뢰도는 입력 데이터에서 추출된 특징과 데이터 베이스의 파라미터를 통해 결정되는 값을 의미할 수 있다. 또한, 인식신뢰도는 센서의 종류 및 전자 기기 (1200) 의 외부 조건에 기초하여 결정될 수 있다. 또한, 센서데이터에서 인식신뢰도가 없는 경우, 센서데이터에 가장 낮은 인식신뢰도가 할당될 수 있다.
일 실시예에 따라, 인식신뢰도의 기준값이 센서별로 상이한 경우, 인식신뢰도의 기준값을 소정의 기준에 따라 보정하여, 공통 인식신뢰도를 획득할 수 있다. 예를 들어, 공통 인식신뢰도는 RGB 카메라, IR 카메라, 열화상 카메라, 라이다, 레이더, 초음파, IR 센서 등에 모두 동일하게 적용될 수 있는 인식신뢰도의 기준값을 나타낼 수 있다.
도 2 는 본 개시의 일 실시예에 따른 전자 기기 (2100) 가 복수의 센서를 이용하여 생성된 객체 정보를 저장하는 방법의 흐름도이다.
단계 S210 에서 전자 기기 (2100) 는 제 1 센서 (2141) 로부터 전자 기기 (2100) 의 주변 객체에 대한 제 1 센싱 데이터를 획득할 수 있다. 단계 S220 에서 전자 기기 (2100) 는 제 2 센서 (2142) 로부터 전자 기기 (2100) 의 주변 객체에 대한 제 2 센싱 데이터를 획득할 수 있다.
도 2 에 따르면, 제 1 센서 (2141) 는 이미지 센서 또는 거리 센서일 수 있다. 제 2 센서 (2142) 는 이미지 센서 또는 거리 센서일 수 있다. 이미지 센서는 물체를 가시광선, IR, 또는 온도 등을 이용하여 식별하는 센서로서, RGB 카메라, IR 카메라, 또는 열화상 카메라를 포함할 수 있으나, 이에 제한되지 않는다. RGB 카메라로부터 획득되는 데이터는 x, y 픽셀값 및 이미지 (가시광선) 일 수 있다. IR 카메라로부터 획득되는 데이터는 x, y 픽셀값 및 이미지 (IR값) 일 수 있다. 열화상 카메라로부터 획득되는 데이터는 x, y 픽셀값 및 이미지 (온도값) 일 수 있다. 또한, 거리센서는 물체와의 거리를 측정할 수 있는 센서로서, 라이다, 레이더, 초음파, 또는 IR 센서를 포함할 수 있으나, 이에 제한되지 않는다. 라이다로부터 획득되는 데이터는 거리, 방위값, 높이, 3D 이미지 (표면 특성), 또는 금속/비금속 (물성특성) 일 수 있다. 레이더로부터 획득되는 데이터는 거리, 방위각, 속도 (움직이는 속도), 금속/비금속/움직이는 물체 (물성특성) 일 수 있다. 초음파로부터 획득되는 데이터는 거리 (방위각), 물체의 유무에 대한 정보 일 수 있다. IR 센서로부터 획득되는 데이터는 거리, 물체의 유무에 대한 정보 일 수 있다.
또한, 제 1 센서 (2141) 및 제 2 센서 (2142) 는 서로 상이한 종류의 센서일 수 있으나, 이에 제한되지 않는다. 제 1 센서 (2141) 및 제 2 센서 (2142) 는 서로 동일한 종류의 센서일 수도 있다.
또한, 여기서 센싱 데이터는 가시광선, IR 값, 온도 등을 이미지로 표현한 데이터 또는 물체와의 거리, 금속, 비금속 등의 물체특성이 포함될 수 있다.
단계 S230 에서 전자 기기 (2100) 는 객체에 대한 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도를 판단할 수 있다. 제 1 객체 인식신뢰도는 제 1 센서 (2141) 를 이용하여 인식된 객체의 객체 인식신뢰도일 수 있으며, 제 2 객체 인식신뢰도는 제 2 센서 (2142) 를 이용하여 인식된 객체의 객체 인식신뢰도일 수 있다. 객체 인식신뢰도는, 예를 들어, 센싱 데이터의 신뢰도, 또는 센싱 데이터의 정확도를 포함할 수 있으나, 이에 제한되지 않으며, 기 설정된 기준에 의해 산출될 수 있다. 예를 들어, 제어부는 인식된 센싱 데이터의 해상도와 기 저장된 기준 해상도와의 차이에 기초하여 객체 인식신뢰도를 판단할 수 있다.
일 실시예에 따라, 전자 기기 (2100) 는 제 1 센서 (2141) 또는 제 2 센서 (2142) 로부터 제 1 센싱 데이터 또는 제 2 센싱 데이터를 획득할 수 있고, 제 1 센싱 데이터 및 제 2 센싱 데이터는 이미지, 거리, 방위각 등 센서의 원본 데이터 (raw data) 또는 원본 데이터를 가공한 정보 중 적어도 하나를 포함할 수 있다. 전자 기기(2100) 의 제어부 (2110) 는 제 1 센싱 데이터 및 제 2 센싱 데이터의 특징값을 추출 할 수 있다. 예를 들어, 특징값은 원본 데이터에서 추출한 경계 (edge), 선, 점, 레이더 반사 면적 (radar cross section; RCS), 물체 속도 또는 여러 특징값들의 조합을 포함할 수 있다. 또한, 전자 기기 (2100) 의 제어부 (2110) 는 추출된 특징값과 파라미터 데이터 베이스에 저장된 파라미터를 이용하여 획득된 센싱 데이터의 인식신뢰도를 결정할 수 있다. 예를 들어, 파라미터는 특정 객체를 인식하기 위한 특정 객체의 이미지 또는 데이터 중 적어도 하나로부터 추출한 경계 (edge), 선, 점, 레이더 반사 면적 (radar cross section; RCS), 물체 속도 또는 여러 파라미터들의 조합을 포함할 수 있다. 특징값과 파라미터는 기재된 구성에 한정되지 않고 센서로부터 수신한 데이터와 관련된 다양한 값들을 포함할 수 있다. 또한, 예를 들어, 파라미터 데이터 베이스에는 차량의 분류 외에 보행자, 유모차, 가로등 등의 다양한 분류들이 저장될 수 있다.
일 실시예에 따라, 전자 기기 (2100) 의 제어부 (2110) 가 인식신뢰도를 산출하는 경우, 제어부 (2110) 는 인식 대상 분류들에 대응하는 파라미터들을 이용하여 인식 대상이 해당 분류일 인식신뢰도를 결정할 수 있다. 예를 들어, 제어부 (2110) 는 제 1 센서로부터 획득된 제 1 센싱 데이터의 특징값이 ‘자동차’인 경우, 파라미터 데이터 베이스의 ‘자동차’ 분류에 대응하는 파라미터와 제 1 센싱 데이터의 특징값을 비교하여 인식신뢰도를 결정할 수 있다.
일 실시예에 따라, 전자 기기 (2100) 의 제어부 (2110) 가 딥 러닝 방식으로 물체를 인식하는 경우, 특징값 추출 단계에서 특징값 데이터 베이스를 이용할 수 있다. 특징값 데이터 베이스는 경계 (edge), 선, 점, 레이더 반사 면적 (radar cross section; RCS), 물체 속도 또는 여러 특징값들의 조합들을 미리 저장할 수 있다.단계 S240 에서 전자 기기 (2100) 는 획득된 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도에 기초하여 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 제 1 센싱 데이터에 매칭하여 제 1 센서 (2141) 의 데이터베이스에 저장할 수 있다. 매칭하여 저장하는 것은 인식된 객체의 위치에 대응하는 제 1 센싱 데이터의 일부분을 선별하고, 인식된 객체에 대한 식별정보를 제 1 센싱 데이터의 일부분과 함께 객체 정보로서 제 1 센서의 데이터 베이스에 저장하는 것을 포함할 수 있다.
예를 들어, 전자 기기 (2100) 는 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도의 크기를 비교하고, 비교 결과에 기초하여 객체 인식신뢰도가 큰 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 객체 인식신뢰도가 작은 센싱 데이터에 매칭하여 저장할 수 있다. 또한, 예를 들어, 전자 기기 (2100) 는, 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도가 소정의 임계값 이상인지 또는 이하인지를 판단하고, 판단 결과에 기초하여 어느 하나의 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 다른 하나의 센싱 데이터에 매칭하여 저장할 수 있다. 또한, 예를 들어, 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 제 1 센서 (2141), 제 1 센싱 데이터, 또는 제 1 센싱 데이터를 이용하여 인식된 객체 정보 중 하나에 매칭하여 저장할 수 있다.
.일 실시예에 따라, 제 1 센서 (2141) 의 데이터베이스는 제 1 센서 (2141) 에 포함될 수도 있고, 외부 저장장치에 포함될 수도 있다
일 실시예에 따라, 전자 기기 (2100) 는, 제 1 센싱 데이터의 종류에 맞춰 제 2 센싱 데이터에 의해 인식된 객체 정보를 제 1 센싱 데이터와 동종의 센싱 데이터의 종류로 변환하고, 변환된 객체 정보를 제 1 센서 (2141) 에 매칭하여 저장할 수 있다 또한, 예를 들어, 전자 기기 (2100) 는, 제 2 센싱 데이터에 의해 인식된 객체 정보의 위치 정보 좌표를 제 1 센싱 데이터의 위치 정보 좌표에 맞춰 변환하고, 변환된 위치 정보 좌표에 대응하는 센싱 데이터의 일부분을 데이터 베이스에 분류하여 저장할 수 있다.
예를 들어, 제 1 센서 (2141) 가 RGB 카메라이고 제 2 센서 (2142) 가 IR 카메라인 경우, 전자 기기 (2100) 는 밝은 환경 (예를 들어, 낮) 에서 RGB 카메라로 인식한 객체 정보를 IR 카메라의 센싱 데이터에 매칭하여 데이터베이스에 저장할 수 있다. 또는, 전자 기기 (2100) 는 밝은 환경에서 RGB 카메라가 인식한 객체의 특징값을 이용하여 추출된 파라미터를 추출하여, 추출된 파라미터를 IR 카메라의 데이터베이스에 저장할 수 있다. 반대로, 어두운 환경 (예를 들어, 겨울 또는 밤) 에서 전자 기기 (2100) 는 RGB 카메라의 객체 인식신뢰도가 낮을 경우, IR 카메라로 인식한 객체 정보를 RGB 카메라의 센싱 데이터에 매칭하여 데이터베이스에 저장할 수 있다. 또는, 전자 기기 (2100) 는 어두운 환경에서 IR 카메라가 인식한 객체의 특징값을 이용하여 추출된 파라미터를 추출하여, 추출된 파라미터를 RGB 카메라의 데이터베이스에 저장할 수 있다.
예를 들어, 제 1 센서 (2141) 가 RGB 카메라이고 제 2 센서 (2142) 도 RGB 카메라인 경우, 객체를 인식하는 각도에 따른 차이를 산출하고, 산출된 객체를 인식하는 각도 차이에 기초하여 보정하고, 보정된 객체 정보를 데이터베이스에 저장할 수 있다.
예를 들어, 제 1 센서 (2141) 가 레이다이고 제 2 센서 (2142) 가 RGB 카메라인 경우, 어두운 환경에서 레이다가 인식한 객체 정보를 RGB 카메라의 센싱 데이터에 매칭하여 RGB 카메라의 데이터베이스에 저장할 수 있다. 또는, 전자 기기 (2100) 는 어두운 환경에서 레이다가 인식한 객체의 특징값을 이용하여 추출된 파라미터를 추출하여, 추출된 파라미터를 RGB 카메라의 데이터베이스에 저장할 수 있다.
예를 들어, 제 1 센서 (2141) 가 RGB 카메라이고 제 2 센서 (2142) 가 라이다인 경우, 밝은 환경에서 RGB 카메라가 인식한 객체 정보를 라이다의 센싱 데이터에 매칭하여 라이다의 데이터베이스에 저장할 수 있다. 또는, 전자 기기 (2100) 는 밝은 환경에서 RGB 카메라가 인식한 객체의 특징값을 이용하여 추출된 파라미터를 추출하여, 추출된 파라미터를 라이다의 데이터 베이스에 저장할 수 있다.
또한, 예를 들어, 제 1 센서 (2141) 가 RGB 카메라이고 제 2 센서 (2142) 가 초음파 센서인 경우, 밝은 환경에서 RGB 카메라가 인식한 객체 정보를 초음파 센서의 센싱 데이터에 매칭하여 초음파 센서의 데이터베이스에 저장할 수 있다. 또는, 전자 기기 (2100) 는 밝은 환경에서 RGB 카메라가 인식한 객체의 특징값을 이용하여 추출된 파라미터를 초음파 센서의 데이터베이스에 저장할 수 있다.
예를 들어, 제 1 센서 (2141) 가 레이더이고 제 2 센서 (2142) 가 라이다인 경우, 우천 시 레이더가 인식한 객체 정보를 라이다의 센싱 데이터에 매칭하여 라이다의 데이터베이스에 저장할 수 있다. 또는, 전자 기기 (2100) 는 우천 시 레이더가 인식한 객체의 특징값을 이용하여 추출된 파라미터를 라이다의 데이터 베이스에 저장할 수 있다.
다만, 일 실시예에 따라, 전자 기기 (2100) 는 각각의 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도가 소정의 제 3 임계값 미만인지 결정할 수 있다. 여기서, 소정의 제 3 임계값은 센싱 데이터를 통해 추출되는 특징값이 없거나 너무 작아서, 특징값과 파라미터를 이용하여 인식신뢰도를 획득할 수 없거나 데이터베이스의 특정 분류와 유사도를 산출할 수 없음을 나타내는 값일 수 있다. 예를 들어, 센싱 데이터의 객체 인식신뢰도가 소정의 제 3 임계값 미만인 경우 전자 기기 (2100) 의 제어부는 센서가 객체를 전혀 인식하지 못했다고 결정할 수 있다.
예를 들어, 전자 기기 (2100) 가 제 1 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도가 제 3 임계값 미만이라고 결정하는 경우, 전자 기기 (2100) 는 제 2 센서로부터 획득된 센싱 데이터의 인식신뢰도의 크기와 상관 없이, 제 2 센서로부터 획득된 센싱 데이터의 특징값에 대응하는 파라미터를 추출하여 제 1 센서의 데이터베이스에 저장하지 않는다.
일 실시예에 따라, 전자기기 (2100) 는 제 1 센서 (2141) 가 획득한 제 1 센싱 데이터와 제 2 센서 (2142) 가 획득한 제 2 센싱 데이터가 인식한 객체가 서로 동일한 객체인지 여부를 판단할 수 있다. 제 1 센싱 데이터와 제 2 센싱 데이터가 인식한 객체가 동일한 객체인 것으로 판단되는 경우, 전자 기기 (2100) 는 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 각각의 센서로부터 획득된 센싱 데이터의 특징값에 대응하는 파라미터를 추출하여 각각의 센서의 데이터베이스에 저장하지 않는다. 또는, 제 1 센싱 데이터와 제 2 센싱 데이터가 인식한 객체가 동일한 객체인 것으로 판단되는 경우, 전자 기기 (2100) 는 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 각각의 센서로부터 획득된 정보를 매칭하여 저장하지 않는다.
도 3 은 본 개시의 일 실시예에 따른 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도의 크기에 따라 전자 기기 (2100) 가 객체를 인식하는 방법의 세부 흐름도이다.
단계 S310 에서 전자 기기 (2100) 는 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도의 크기를 결정할 수 있다. 단계 S320 에서 전자 기기 (2100) 는 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도의 크기를 비교할 수 있다. 예를 들어, 어두운 환경에서는 RGB 카메라의 객체 인식신뢰도가 IR 카메라 또는 레이다의 인식신뢰도보다 낮을 수 있다. 또한, 예를 들어, 밝은 환경에서는 라이다의 객체 인식신뢰도가 RGB 카메라의 인식신뢰도보다 낮을 수 있다. 또한, 예를 들어, 비가 오는 경우 산란 때문에 라이다의 객체 인식신뢰도가 레이더의 객체 인식신뢰도 보다 낮을 수 있다.
단계 S330 에서 전자 기기 (2100) 는 제 1 객체 인식신뢰도의 크기가 제 2 객체 인식신뢰도의 크기 보다 작은 경우 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 제 1 센싱 데이터에 매칭하여 제 1 센서 (2141) 의 데이터베이스에 저장할 수 있다. 매칭하여 저장하는 것은 인식된 객체의 위치에 대응하는 제 1 센싱 데이터의 일부분을 선별하고, 인식된 객체에 대한 식별정보를 제 1 센싱 데이터의 일부분과 함께 객체 정보로서 제 1 센서의 데이터 베이스에 저장하는 것을 포함할 수 있다.
일 실시예에 따라, 전자 기기 (2100) 는 제 2 센싱 데이터의 특징값을 이용하여 추출된 파라미터를 결정할 수 있다. 예를 들어, 전자 기기 (2100) 는 제 1 센서 (2141) 및 제 2 센서 (2142) 가 서로 상이한 객체로 인식한 경우, 객체 인식신뢰도가 높은 제 2 센서 (2142) 데이터를 이용하여 인식된 객체 정보를 객체 인식신뢰도가 낮은 제 1 센서 (2141) 데이터로 매칭하여 저장 할 수 있다. 한편, 제 1 객체 인식신뢰도가 제 2 객체 인식신뢰도 보다 큰 경우, 제 1 센서 (2141) 의 데이터베이스에 새로운 객체 정보를 저장하지 않을 수 있다. 예를 들어, 전자 기기 (2100) 는 제 2 센서가 인식한 객체의 특징값을 이용하여 추출된 파라미터를 제 1 센서의 데이터 베이스에 저장할 수 있다.
한편, 전자 기기 (2100) 가 제 1 객체 인식신뢰도의 크기가 제 2 객체 인식신뢰도의 크기 보다 크다고 결정한 경우, 인식된 객체 정보로 획득된 센싱 데이터를 분류하여 저장할 수 있다.
다만, 상술한 바와 같이, 전자 기기 (2100) 가 제 1 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도가 제 3 임계값 미만이라고 결정하는 경우, 전자 기기 (2100) 는 제 2 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 제 2 센서로부터 획득된 센싱 데이터의 특징값에 대응하는 파라미터를 추출하여 제 1 센서의 데이터베이스에 저장하지 않는다.
일 실시예에 따라, 전자기기 (2100) 는 제 1 센서 (2141) 가 획득한 제 1 센싱 데이터와 제 2 센서 (2142) 가 획득한 제 2 센싱 데이터가 인식한 객체가 서로 동일한 객체인지 여부를 판단할 수 있다. 제 1 센싱 데이터와 제 2 센싱 데이터가 인식한 객체가 동일한 객체인 것으로 판단되는 경우, 전자 기기 (2100) 는 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 각각의 센서로부터 획득된 센싱 데이터의 특징값에 대응하는 파라미터를 추출하여 각각의 센서의 데이터베이스에 저장하지 않는다. 또는, 제 1 센싱 데이터와 제 2 센싱 데이터가 인식한 객체가 동일한 객체인 것으로 판단되는 경우, 전자 기기 (2100) 는 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 각각의 센서로부터 획득된 정보를 매칭하여 저장하지 않는다.도 4 는 본 개시의 일 실시예에 따른 제 2 객체 인식신뢰도 및 제 1 임계값의 크기에 따라 전자 기기 (2100) 가 객체를 인식하는 방법의 세부 흐름도이다.
단계 S410 에서 전자 기기 (2100) 는 제 2 객체 인식신뢰도가 소정의 제 1 임계값 이상인지 결정할 수 있다. 소정의 제 1 임계값은 센싱 데이터의 정확도 또는 신뢰도가 소정의 기준 이상임을 나타내는 값일 수 있다. 예를 들어, 센싱 데이터의 객체 인식신뢰도가 소정의 제 1 임계값 이상인 경우, 전자 기기 (2100) 의 제어부는 센서가 인식한 객체에 대한 신뢰도를 다른 센서가 인식한 객체에 대한 신뢰도 보다 우선한다고 결정할 수 있다.
단계 S420 에서 제 2 객체 인식신뢰도가 소정의 제 1 임계값 이상이라고 결정되는 경우, 단계 S430 에서 전자 기기 (2100) 는 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 제 1 센싱 데이터에 매칭하여 제 1 센서 (21241) 의 데이터베이스에 저장할 수 있다. 매칭하여 저장하는 것은 인식된 객체의 위치에 대응하는 제 1 센싱 데이터의 일부분을 선별하고, 인식된 객체에 대한 식별정보를 제 1 센싱 데이터의 일부분과 함께 객체 정보로서 제 1 센서의 데이터 베이스에 저장하는 것을 포함할 수 있다.
일 실시예에 따르면, 전자 기기 (2100) 는 제 2 센싱 데이터의 특징값을 이용하여 추출된 파라미터를 결정할 수 있다. 예를 들어, 전자 기기 (2100) 는 제 1 센싱 데이터에 매칭된 객체 정보를 제 1 센서 (2141) 의 데이터베이스에 저장할 수 있다. 예를 들어, 전자 기기 (2100) 는 제 2 센서가 인식한 객체의 특징값을 이용하여 추출된 파라미터를 제 1 센서의 데이터 베이스에 저장할 수 있다. 예를 들어, 제 1 센서 (2141) 가 객체를 전혀 인식하지 못하고 제 2 센서 (2142) 가 객체를 인식한 경우, 제 2 센싱 데이터의 제 2 객체 인식신뢰도가 소정의 제 1 임계값 이상인지 결정함으로써, 제 1 센서 (2141) 의 데이터베이스에 객체 정보를 저장할지 결정할 수 있다.
다만, 상술한 바와 같이, 전자 기기 (2100) 가 제 1 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도가 제 3 임계값 미만이라고 결정하는 경우, 전자 기기 (2100) 는 제 2 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 제 2 센서로부터 획득된 센싱 데이터의 특징값에 대응하는 파라미터를 추출하여 제 1 센서의 데이터베이스에 저장하지 않는다.
한편, 단계 S420 에서 제 2 객체 인식신뢰도가 소정의 제 1 임계값 보다 작다고 결정되는 경우, 전자 기기 (2100) 는 제 1 센서 (2141) 또는 제 2 센서 (2142) 로부터 획득된 데이터를 업데이트하지 않을 수 있다. 예를 들어, 제 1 센서 (2141) 가 객체를 인식하지 못하고, 제 2 센서 (2142) 가 물체를 소정의 객체 인식신뢰도로 인식하였다고 하더라도, 제 2 센서의 객체 인식신뢰도가 제 21 임계값 미만이라면, 제 1 센서 (2141) 의 데이터베이스 및 제 2 센서 (2142) 의 데이터베이스에 새로운 객체 정보를 저장하지 않을 수 있다.
도 5 는 본 개시의 일 실시예에 따른 제 1 객체 인식신뢰도, 제 2 객체 인식신뢰도 및 제 2 임계값의 크기에 따라 전자 기기 (2100) 가 객체를 인식하는 방법의 세부 흐름도이다.
단계 S510 에서 전자 기기 (2100) 는 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도가 소정의 제 2 임계값 미만인지 결정할 수 있다. 여기서, 소정의 제 2 임계값은 센싱 데이터의 정확도 또는 신뢰도가 소정의 기준 미만임을 나타내는 값일 수 있다. 예를 들어, 센싱 데이터의 객체 인식신뢰도가 소정의 제 2 임계값 미만인 경우 전자 기기 (2100) 의 제어부는 센서가 객체를 인식하지 못했다고 결정할 수 있다.
단계 S520 에서 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도가 각각 소정의 제 2 임계값 미만이라고 결정되는 경우, 단계 S530 에서 전자 기기 (2100) 는 제 1 센싱 데이터 및 제 2 센싱 데이터를 함께 이용하여 인식된 객체의 객체 정보를 각각 제 1 센싱 데이터 및 제 2 센싱 데이터에 매칭하여 각각 제 1 센싱 데이터 및 제 2 센싱 데이터에 매칭된 객체 정보를 제 1 센서 (2141) 의 데이터베이스 및 제 2 센서 (2142) 의 데이터베이스에 저장할 수 있다. 매칭하여 저장하는 것은 인식된 객체의 위치에 대응하는 제 1 센싱 데이터의 일부분을 선별하고, 인식된 객체에 대한 식별정보를 제 1 센싱 데이터의 일부분과 함께 객체 정보로서 제 1 센서의 데이터 베이스에 저장하는 것을 포함할 수 있다.
예를 들어, 전자 기기 (2100) 는 제 1 센싱 데이터 및 제 2 센싱 데이터를 이용하여 인식한 객체의 특징값을 이용하여 추출된 파라미터를 제 1 센서의 데이터베이스 및 제 2 센서의 데이터베이스에 저장할 수 있다. 예를 들어, 제 1 센서 (2141) 가 객체를 인식하지 못하고 제 2 센서 (2142) 도 객체를 인식하지 못한 경우 (즉, 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도가 소정의 제 2 임계값 미만인 경우), 제 1 센싱 데이터 및 제 2 센싱 데이터를 함께 이용하여 인식된 객체의 객체 정보를 각각의 센서 데이터에 매칭하여 데이터베이스에 저장할 수 있다. 나아가, 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도가 소정의 제 1 임계값 미만인 경우, 데이터베이스에 새로운 객체 정보를 저장하지 않을 수 있다.또한, 전자 기기 (2100) 는 제 1 센싱 데이터 및 제 2 센싱 데이터를 함께 이용하여 인식된 객체의 제 3 객체 인식신뢰도를 획득할 수 있다. 또한, 제어부는 제 3 객체 인식신뢰도가 상술한 소정의 제 1 임계값 이상인지 결정할 수 있다. 제어부가 제 3 객체 인식신뢰도가 제 1 임계값 보다 높다고 결정하는 경우, 제어부는 제 1 센싱 데이터 및 제 2 센싱 데이터를 함께 이용하여 인식된 객체의 객체 정보를 제 1 센싱 데이터 및 제 2 센싱 데이터 각각에 매칭할 수 있다. 제어부는 매칭된 객체 정보 를 제 1 센서 (2141) 의 데이터베이스 및 제 2 센서 (2142) 의 데이터베이스에 저장할 수 있다. 매칭하여 저장하는 것은 인식된 객체의 위치에 대응하는 제 1 센싱 데이터의 일부분을 선별하고, 인식된 객체에 대한 식별정보를 제 1 센싱 데이터의 일부분과 함께 객체 정보로서 제 1 센서의 데이터 베이스에 저장하는 것을 포함할 수 있다.
한편, 단계 S520 에서 제 2 객체 인식신뢰도가 소정의 제 2 임계값 보다 크다고 결정되는 경우, 한편, 전자 기기 (2100) 는 인식된 객체 정보값으로 획득된 센싱 데이터를 분류하여 저장할 수 있다.
다만, 상술한 바와 같이, 전자 기기 (2100) 가 제 1 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도 및 제 2 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도가 제 3 임계값 미만이라고 결정하는 경우, 전자 기기 (2100) 는 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 각각의 센서로부터 획득된 센싱 데이터의 특징값에 대응하는 파라미터를 추출하여 각각의 센서의 데이터베이스에 저장하지 않는다.
도 6 은 본 개시의 일 실시예에 따른 객체 정보의 예시를 나타내는 도면이다.
도 6 을 참조하면, 전자 기기 (2100) 는 센싱 데이터로부터 인식하고자 하는 객체 부분에 해당하는 객체 부분 이미지 데이터 (620) 를 획득할 수 있고, 객체 부분 이미지 데이터 (620) 로부터 객체 정보 (630) 를 획득할 수 있다. 또한, 객체 정보 (630) 는 객체 부분 이미지 데이터 (620) 상의 객체의 형상을 나타내는 객체 이미지 데이터, 객체의 식별 정보 또는 객체의 위치 정보 중 적어도 하나를 포함할 수 있다. 객체 정보 (630) 는 객체 부분에 해당하는 이미지에 대응하는 객체 이미지 데이터, 객체의 종류를 나타내는 식별 정보 또는 전자 기기 (2100) 주변에서 객체의 상대적 위치를 나타내는 위치 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 객체 부분 이미지 데이터 (620) 는 센서가 RGB 카메라인 경우 가시광선으로 파악된 RGB 이미지 데이터일 수 있고, 센서가 열화상 카메라인 경우 온도를 이용하여 파악된 온도 이미지 데이터일 수 있으며, 센서가 라이다인 경우 표면특성을 이용하여 파악된 표면 특성 이미지 데이터일 수 있다. 또한, 예를 들어, 위치 정보는 센서가 이미지 센서인 경우, x, y 좌표값으로 나타날 수 있고, 센서가 거리센서인 경우, r, θ, φ 좌표 값으로 나타날 수 있으나, 이에 제한되지는 않는다.
예를 들어, 전자 기기 (2100)는 RGB 카메라를 이용하여 전자 기기 (2100) 주변의 센싱데이터 (610) 를 획득할 수 있고, 획득된 센싱데이터 (610) 로부터 객체 부분 이미지 데이터 (620) 를 획득할 수 있다. 전자 기기 (2100) 는 회득된 객체 부분 이미지 데이터 (620) 로부터 객체 정보를 획득할 수 있고, 객체 정보는 객체의 종류를 나타내는 식별 정보 및 전자 기기 (2100) 주변 내에서 객체의 상대적 위치를 나타내는 위치 정보를 포함할 수 있다. 센서가 RGB 카메라인 경우, RGB 카메라는 이미지 센서로서 인식된 객체의 이미지에 대한 정보인 객체 이미지 데이터, 객체 이미지 데이터로부터 획득된 객체에 대한 식별 정보로서 객체가 자동차임을 나타내는 식별 정보, 또는 자동차의 x, y 좌표값 형태의 위치 정보 중 적어도 하나를 포함하는 객체 정보를 획득할 수 있다.
나아가, 전자 기기 (2100) 는 소정의 조건에 따라 객체 정보에 포함되는 객체 이미지 데이터, 식별 정보 또는 위치 정보 중 적어도 하나를 데이터베이스에 저장할 수 있다.
도 7 은 본 개시의 일 실시예에 따른 센서의 데이터베이스 (710) 에 제 2 센싱 데이터를 이용하여 인식된 객체 정보가 별도로 저장되는 일례를 도시한 도면이다.
도 7 을 참조하면, 센서의 데이터베이스는 이미 저장되어 있는 객체 정보를 저장하는 저장 공간 (711) 과 제 2 센싱 데이터를 이용하여 인식된 객체 정보를 저장하는 저장 공간 (712) 을 포함할 수 있다. 예를 들어, 저장 공간 (711), 저장 공간 (712) 는 물리적으로 구분되거나 논리적으로 구분될 수 있다.
일 실시예에 따라, 센서의 데이터베이스 (710) 는 기존 파라미터의 데이터베이스 또는 다른 센서를 이용하여 획득된 파라미터의 데이터베이스 중 적어도 하나를 포함할 수 있다
일 실시예에 따라, 센서의 데이터베이스 (710) 에는 제1 센싱 데이터가 저장될 수 있고, 저장 공간 (711) 에는 제 1 센싱 데이터만을 이용하여 객체인식에 성공한 제 1 센싱 데이터들이 저장될 수 있고, 저장 공간 (712) 에는 제 1 센싱데이터로는 인식에 실패했지만 제 2 센싱 데이터를 이용해서 객체인식이 된 제 1 센싱데이터들이 저장될 수 있다.
일 실시예에 따라, 제 1 센싱 데이터에 할당되는 표시 (annotation) 또는 라벨 (label) 이 객체정보 (객체 식별 정보) 일 수 있다. 객체 정보는 저장 공간 (711), 저장 공간 (712) 가 모두 동일한 정보를 이용하여 분류될 수 있고, 서로 다른 정보를 이용하여 분류될 수 있다. 예를 들어, 동일한 정보를 이용하여 분류하는 것은 저장공간 (711) 및 저장공간 (712) 에서 사람 (human), 사람류 (human like), 자동차 (vehicle), 자동차류 (vehicle like 로 동일하게 분류하는 것일 수 있고, 다른 정보를 이용하여 분류하는 것은 저장공간 (711) 에서는 사람 (human), 자동차 (vehicle) 로 분류되고, 저장공간 (712) 에서는 사람류 (human like), 자동차 류 (vehicle like) 로 분류되는 것일 수 있다.
일 실시예에 따라, 전자 기기 (2100) 는 제 2 센싱 데이터를 이용하여 인식된 객체 정보를 이미 저장되어 있는 객체 정보와 별도의 저장 공간에 저장함으로써, 이미 저장되어 있는 객체 정보만을 이용하여 인식된 객체와 제 2 센싱 데이터를 이용하여 인식된 객체에 대한 알람을 상이하게 할 수 있다. 알람은 소리알람, 그래픽알람, 또는 진동알람을 포함할 수 있으나, 이에 제한되지 않는다.
또한, 저장 공간 (711) 내에 저장된 객체 정보는, 기 설정된 디폴트 값일 수 있다. 예를 들어, 전자 기기 (2100) 의 제조 시에, 전자 기기 (2100) 에 포함된 센서 별로 센싱 데이터에 대응되는 객체 정보가 저장 공간 (711) 에 미리 저장될 수 있다.
도 8 은 본 개시의 일 실시예에 따른 제 2 센싱 데이터를 이용하여 인식된 객체 정보에 포함된 위치 정보 좌표를 제 1 센싱 데이터에 대한 위치 정보 좌표로 변환하는 일례를 도시한 도면이다.
도 8 을 참조하면, 이미지 센서에서 객체의 위치는 (x, y) 로 나타낼 수 있고, 거리 센서에서 객체의 위치는 (r, θ, φ) 로 나타낼 수 있다 (800). 이미지 센서는 객체의 높이를 좌표값으로 나타낼 수 없지만, 초점거리, 카메라와 객체 간의 거리, 객체의 면적, 센서에 맺힌 객체의 면적 사이의 관계를 통하여 산출 될 수 있다 (810). 또한, 예를 들어, 거리 센서에서 객체와의 거리는 r 이고, 이미지 센서에서 이미지의 가로축 값은 x, 이미지의 세로축 값은 y 일 수 있다.
일 실시예에 따라, 이미지 센서에서 거리 센서로 위치 정보 좌표를 변환하는 경우, 하기 식 (1) 을 이용하여 변환할 수 있다.
Figure pat00001
또한, 예를 들어, 거리 센서에서 이미지 센서로 위치 정보 좌표를 변환하는 경우, 하기 식 (2) 를 이용하여 변화할 수 있다.
Figure pat00002
일 실시예에 따라, 이미지 센서에서 센서에 맺힌 물체의 길이를 실제 물체 길이로 변환하는 경우 (820), 하기 식 (3) 을 이용하여 변환할 수 있다.
Figure pat00003
또한, 예를 들어, 제 1 센서 (2141) 및 제 2 센서 (2142) 가 모두 이미지 센서이거나 거리 센서이지만 화각이 상이한 경우, 화각별 대응하는 시야각에 대한 소정의 테이블을 이용하여 위치 정보 좌표를 변환할 수 있다.
또한, 예를 들어, 센서에 따라 객체를 센싱하는 시각이 일치하지 않는 경우 또는 센싱하는 시각 차이 동안 객체 혹은 센서에서 움직임이 발생한 경우, 동일 위치의 객체를 센싱한 것이 아니기 때문에 센싱 시각에 따른 위치 보정이 필요하다. 이에 대한 자세한 내용은 도 18 에서 후술한다.
도 9 는 본 개시의 일 실시예에 따른 제 1 센서 (2141) 의 센싱 시각 및 제 2 센서 (2142) 의 센싱 시각 차이에 기초하여 제 2 센싱 데이트를 보정하는 방법의 세부 흐름도이다.
단계 S910 에서 전자 기기 (2100) 는 제 1 센서 (2141) 의 센싱 시각 및 제 2 센서 (2142) 의 센싱 시각 차이를 획득할 수 있다. 센싱 시각 차이는 화각의 차이, 센싱 프레임의 차이를 포함할 수 있으나, 이에 제한되지 않는다.
단계 S920 에서 전자 기기 (2100) 는 센싱 시각 차이에 기초하여 제 2 센싱 데이터를 보정할 수 있다. 예를 들어, 제 1 센서 (2141) 및 제 2 센서 (2142) 의 센싱 프레임 차이를 비교하여 중심위치 기준으로 객체 이동 속도를 산출하고, 센싱 시각 차이 및 객체 이동 속도를 이용하여 제 1 센서 (2141) 센싱 시점에서 제 2 센서 (2142) 가 인식할 수 있는 객체의 예상 위치를 보정할 수 있다.
단계 S930 에서 전자 기기 (2100) 는 보정된 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 제 1 센싱 데이터에 매칭할 수 있다.
도 10 은 본 개시의 일 실시예에 따른 전자 기기 (2100) 주변의 환경 정보를 획득하고, 획득된 환경 정보에 기초하여 제 1 센싱 데이터 및 제 2 센싱 데이터의 가중치를 결정하는 방법의 세부 흐름도이다.
단계 S1010 에서 전자 기기 (2100) 는 전자 기기 (2100) 주변의 환경을 나타내는 환경 정보를 획득할 수 있다. 환경 정보는 이미지 센서 및 거리 센서가 객체를 인식하는데 영향을 미칠 수 있는 조도, 적설량, 강수량, 터널 환경 또는 코너 환경일 수 있지만, 이에 제한되지 않는다. 전자 기기 (2100) 는 외부환경 정보를 센서만을 이용하여 획득할 수도 있고, 인터넷 정보와 같은 외부 정보로부터 획득할 수 있다.
단계 S1020 에서 전자 기기 (2100) 는 획득된 환경 정보에 기초하여 제 1 센싱 데이터의 가중치 및 제 2 센싱 데이터의 가중치를 결정할 수 있다. 예를 들어, RGB 카메라의 센싱 데이터에 적용되는 조도에 대응되는 가중치는 조도가 높아짐에 따라 증가할 수 있다. 또한, 예를 들어, 라이다의 센싱 데이터에 적용되는 강수량에 대응되는 가중치는 강수량이 커짐에 따라 감소할 수 있다.
단계 S1030 에서 전자 기기 (2100) 는 제 1 센싱 데이터의 가중치 및 제 2 센싱 데이터의 가중치에 기초하여 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도를 획득할 수 있다. 예를 들어, 강수량이 많은 경우 산란에 의한 노이즈로 인하여 라이다의 객체 인식신뢰도는 저하될 수 있는데, 강수량에 따라 가중치를 적용함으로써 보다 신뢰도 높은 객체 인식신뢰도를 획득할 수 있다.
상기에서는 전자 기기 (2100) 가 가중치를 반영하여 객체 인식신뢰도를 산출하고, 산출된 객체 인식신뢰도를 비교하는 것으로 설명하였지만, 이에 제한되지 않는다. 전자 기기 (2100) 는 객체 인식신뢰도를 산출하고 산출된 객체 인식신뢰도를 비교하기 위하여 객체 인식신뢰도에 대응되는 가중치를 고려할 수 있다.
도 11 은 본 개시의 일 실시예에 따른 제 2 센싱 데이터에 기초하여 객체의 일부만 인식되는 경우 객체의 전부를 추정하고, 추정된 전체 부분에 기초하여 제 2 센싱 데이터를 보정하는 방법의 세부 흐름도이다.
단계 S1110 에서 전자 기기 (2100) 는 제 2 센서 (2142) 로부터 제 2 센싱 데이터를 획득할 수 있다.
단계 S1120 에서 전자 기기 (2100) 는 획득된 제 2 센싱 데이터를 이용하여 객체의 일부분만 인식되는 경우에도 객체의 전체 부분을 추정할 수 있다. 예를 들어, 일부분만 인식된 객체가 자동차의 바퀴부분인 경우 기 저장된 데이터를 이용하여 자동차의 전체 부분을 추정할 수 있다.
단계 S1130 에서 장치는 추정된 전체 부분에 기초하여 제 2 센싱 데이터의 객체 정보 중 객체의 종류를 나타내는 식별 정보를 보정할 수 있다. 예를 들어, 전자 기기 (2100) 는 추정된 객체의 전체 부분이 자동차인 경우 자동차의 일부분인 바퀴만을 인식한 제 2 센싱 데이터의 위치 정보를 자동차 전체 부분의 위치로 보정할 수 있다. 또한, 예를 들어, 전자 기기 (2100) 는 보정된 제 2 센싱 데이터를 이용하여 인식된 추정된 객체의 객체 정보에 포함된 객체 이미지 데이터, 식별 정보 또는 위치 정보 중 적어도 하나를 제 1 센싱 데이터에 매칭하여 제 1 센서 (2141) 의 데이터베이스에 저장할 수 있다. 매칭하여 저장하는 것은 인식된 객체의 위치에 대응하는 제 1 센싱 데이터의 일부분을 선별하고, 인식된 객체에 대한 식별정보를 제 1 센싱 데이터의 일부분과 함께 객체 정보로서 제 1 센서의 데이터 베이스에 저장하는 것을 포함할 수 있다. 예를 들어, 전자 기기 (2100) 는 추정된 객체의 전체 부분의 위치 정보를 이용하여 제 1 센싱 데이터 중 객체의 위치에 대응하는 일부분을 제 1 센싱 데이터의 인식결과로 데이터베이스에 분류하여 저장할 수 있다. 또는, 예를 들어, 전자 기기 (2100) 는 추정된 객체의 전체 부분 및 전체 부분의 위치 정보를 업데이트 할 수 있다. 또한, 예를 들어, 전자 기기 (2100) 는 인식된 객체의 일부분을 제외한 객체의 부분 및 객체의 일부분을 제외한 객체의 부분의 위치 정보를 업데이트 할 수도 있다.
도 12 는 본 개시의 일 실시예에 따른 객체를 인식하는 전자 기기 (2100) 의 구성을 도시한 도면이다.
도 12 에 도시된 바와 같이, 객체를 인식하는 전자 기기 (2100) 는 제어부 (2110), 제 1 센서 (2141), 제 2 센서 (2142), 메모리 (2150) 를 포함할 수 있다. 그러나, 도 12 에 도시된 구성 요소보다 많은 구성 요소에 의해 객체를 인식하는 전자 기기 (2100) 가 구현될 수도 있고, 도 12 에 도시된 구성 요소보다 적은 구성 요소에 의해 객체를 인식하는 전자 기기 (2100) 가 구현될 수도 있다.
도 12 에 따르면, 객체를 인식하는 전자 기기 (2100) 는 전자 기기 (2100) 주변의 객체에 대한 센싱 데이터를 획득하는 제 1 센서 (2141) 및 제 2 센서 (2142) 를 포함하여 구성될 수 있다. 또한, 객체를 인식하는 전자 기기 (2100) 는 제 1 센싱 데이터 및 제 2 센싱 데이터의 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도를 획득하고, 객체 인식신뢰도에 기초하여 제 2 센서 (2142) 를 통해 획득된 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 제 1 센싱 데이터에 매칭하며, 매칭된 객체 정보를 메모리 (2150) 에 저장하는 제어부 (2110) 를 포함하여 구성될 수 있다.
일 실시예에 따라, 메모리 (2150) 는 트레이닝 데이터베이스, 기존 파라미터 데이터베이스, 또는 타센서 이용 파라미터 데이터베이스를 포함할 수 있다. 트레이닝 데이터베이스에는 센서를 통해 획득된 일부 센싱이미지 또는 데이터가 저장될 수 있다. 기존 파라미터 데이터베이스에는 트레이닝 데이터베이스로부터 추출된 파라미터가 저장될 수 있다. 타센서 이용 파라미터 데이터베이스에는 각각의 센싱데이터에 매칭하여 추출된 파라미터가 저장될 수 있다.
도 13 는 본 개시의 일 실시예에 따른 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도의 크기에 따라 전자 기기 (2100) 가 객체를 인식하는 일 예를 나타내는 도면이다.
도 13 에 따르면, 제 1 센서 (2141) 로서 RGB 카메라가 제 1 센싱 데이터 (1310) 를 획득하고, 제 2 센서 (2142) 로서 IR 카메라가 제 2 센싱 데이터 (1320) 를 획득할 수 있다. 제 1 센서 (2141) 는 제 1 센싱 데이터 (1310) 에서 객체를 바위로 인식하고 제 2 센서 (2142) 는 제 2 센싱 데이터 (1320) 에서 객체를 차량으로 인식한 경우, 제어부는 제 1 센싱 데이터 및 제 2 센싱 데이터의 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도를 획득할 수 있다. 제어부는 제 1 객체 인식신뢰도의 크기 및 제 2 객체 인식신뢰도를 크기를 결정할 수 있다. 제어부가 제 1 객체 인식신뢰도가 제 2 객체 인식신뢰도 보다 작다고 결정하는 경우 (1330), 제어부는 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보 (2150) 를 제 1 센싱 데이터에 매칭하여 매칭된 객체 정보 (1350) 를 제 1 센서 (2141) 로서 RGB 카메라의 데이터베이스에 저장할 수 있다. 매칭하여 저장하는 것은 인식된 객체의 위치에 대응하는 제 1 센싱 데이터의 일부분을 선별하고, 인식된 객체에 대한 식별정보를 제 1 센싱 데이터의 일부분과 함께 객체 정보로서 RGB 카메라의 데이터 베이스에 저장하는 것을 포함할 수 있다. 또는, 제어부는 IR 카메라를 이용하여 인식된 객체의 특징값을 이용하여 추출된 파라미터를 RGB 카메라의 데이터베이스에 저장할 수 있다.
다만, 상술한 바와 같이, 전자 기기 (2100) 가 제 1 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도 및 제 2 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도가 제 3 임계값 미만이라고 결정하는 경우, 전자 기기 (2100) 는 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 각각의 센서로부터 획득된 센싱 데이터의 특징값에 대응하는 파라미터를 추출하여 각각의 센서의 데이터베이스에 저장하지 않는다.한편, 제 1 센서 (2141) 로서 RGB 카메라가 획득한 제 1 센싱 데이터 (1310) 와 제 2 센서 (2142) 로서 IR 카메라가 획득한 제 2 센싱 데이터 (1320) 가 인식한 객체가 서로 동일한 객체인지 여부를 판단할 수 있다. 제 1 센싱 데이터 (1310) 와 제 2 센싱 데이터 (1320) 가 인식한 객체가 동일한 객체인 것으로 판단되는 경우, 전자 기기 (2100) 는 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 각각의 센서로부터 획득된 센싱 데이터의 특징값에 대응하는 파라미터를 추출하여 각각의 센서의 데이터베이스에 저장하지 않는다. 또는, 제 1 센싱 데이터와 제 2 센싱 데이터가 인식한 객체가 동일한 객체인 것으로 판단되는 경우, 전자 기기 (2100) 는 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 각각의 센서로부터 획득된 정보를 매칭하여 저장하지 않는다.
도 14 에 따르면, 제 1 센서 (2141) 로서 RGB 카메라가 제 1 센싱 데이터 (1410) 를 획득하고, 제 2 센서 (2142) 로서 IR 카메라가 제 2 센싱 데이터 (1420) 를 획득할 수 있다. 예를 들어, 제어부는 제 2 객체 인식신뢰도가 소정의 제 1 임계값 이상인지 결정 (1430) 할 수 있다. 소정의 제 1 임계값은 센싱 데이터의 정확도 또는 인식신뢰도가 소정의 기준 이상임을 나타내는 값일 수 있다. 예를 들어, 제 2 객체 인식신뢰도가 소정의 제 1 임계값 이상인 경우, 제어부는 제 2 센싱 데이터에 특징점이 있는 것으로 판단하고, 제 1 센싱 데이터에서 객체가 인식되지 않은 경우에도 제어부는 높은 신뢰도로 제 2 센싱 데이터에 대응되는 객체에 대한 정보를 추정할 수 있다. 제어부가 제 2 객체 인식신뢰도가 제 1 임계값 보다 높다고 결정하는 경우 (1430), 제어부는 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보 (1440) 를 제 1 센싱 데이터에 매칭하여 매칭된 객체 정보 (1450) 를 제 1 센서 (2141) 로서 RGB 카메라의 데이터베이스에 저장할 수 있다. 매칭하여 저장하는 것은 인식된 객체의 위치에 대응하는 제 1 센싱 데이터의 일부분을 선별하고, 인식된 객체에 대한 식별정보를 제 1 센싱 데이터의 일부분과 함께 객체 정보로서 RGB 카메라의 데이터 베이스에 저장하는 것을 포함할 수 있다. 또는, 제어부는 IR 카메라를 이용하여 인식된 객체의 특징값을 이용하여 추출된 파라미터를 RGB 카메라의 데이터베이스에 저장할 수 있다.
다만, 상술한 바와 같이, 전자 기기 (2100) 가 제 1 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도 및 제 2 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도가 제 3 임계값 미만이라고 결정하는 경우, 전자 기기 (2100) 는 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 각각의 센서로부터 획득된 센싱 데이터의 특징값에 대응하는 파라미터를 추출하여 각각의 센서의 데이터베이스에 저장하지 않는다.
도 15 은 본 개시의 일 실시예에 따른 제 1 객체 인식신뢰도, 제 2 객체 인식신뢰도 및 제 2 임계값의 크기에 따라 전자 기기 (2100) 가 객체를 인식하는 일 예를 나타내는 도면이다.
도 15 에 따르면, 제 1 센서 (2141) 로서 RGB 카메라가 제 1 센싱 데이터 (1510) 를 획득하고, 제 2 센서 (2142) 로서 IR 카메라가 제 2 센싱 데이터 (1520) 를 획득할 수 있다. 제어부는 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도가 소정의 제 2 임계값 미만인지 결정 (1530) 할 수 있다. 소정의 제 2 임계값은 객체 인식신뢰도가 소정의 값 미만인 경우 객체가 인식되지 않은 것으로 결정할 수 있는 값일 수 있다. 예를 들어, 제 2 객체 인식신뢰도가 소정의 제 2 임계값 미만인 경우, 제어부는 제 2 센싱 데이터에 객체가 없는 것으로 결정할 수 있다. 제어부가 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도가 제 2 임계값 미만이라고 결정하는 경우 (1530), 제어부는 제 1 센싱 데이터 및 제 2 센싱 데이터를 함께 이용하여 인식된 객체의 객체 정보 (1540) 를 제 1 센싱 데이터 및 제 2 센싱 데이터 각각에 매칭할 수 있다. 제어부는 매칭된 객체 정보 (1540) 를 제 1 센서 (2141) 로서 RGB 카메라의 데이터베이스 및 제 2 센서 (2142) 로서 IR 카메라의 데이터베이스에 저장할 수 있다. 매칭하여 저장하는 것은 인식된 객체의 위치에 대응하는 제 1 센싱 데이터의 일부분을 선별하고, 인식된 객체에 대한 식별정보를 제 1 센싱 데이터의 일부분과 함께 객체 정보로서 RGB 카메라의 데이터 베이스에 저장하는 것을 포함할 수 있다. 또는, 제어부는 IR 카메라 및 RGB 카메라를 이용하여 인식된 객체의 특징값을 이용하여 추출된 파라미터를 IR 카메라 및 RGB 카메라의 데이터베이스에 저장할 수 있다.
또한, 도15 에 따르면, 제어부는 제 1 센싱 데이터 및 제 2 센싱 데이터를 함께 이용하여 인식된 객체의 객체 정보 (1540) 의 제 3 객체 인식신뢰도를 획득할 수 있다. 또한, 제어부는 제 3 객체 인식신뢰도가 상술한 소정의 제 1 임계값 이상인지 결정할 수 있다. 제어부가 제 3 객체 인식신뢰도가 제 1 임계값 보다 높다고 결정하는 경우, 제어부는 제 1 센싱 데이터 및 제 2 센싱 데이터를 함께 이용하여 인식된 객체의 객체 정보 (1540) 를 제 1 센싱 데이터 및 제 2 센싱 데이터 각각에 매칭하여 매칭된 객체 정보 (1540) 를 제 1 센서 (2141) 로서 RGB 카메라의 데이터베이스 및 제 2 센서 (2142) 로서 IR 카메라의 데이터베이스에 저장할 수 있다. 또는, 제어부는 IR 카메라 및 RGB 카메라를 이용하여 인식된 객체의 특징값을 이용하여 추출된 파라미터를 IR 카메라 및 RGB 카메라의 데이터베이스에 저장할 수 있다.
다만, 상술한 바와 같이, 전자 기기 (2100) 가 제 1 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도 및 제 2 센서로부터 획득된 센싱 데이터의 객체 인식신뢰도가 제 3 임계값 미만이라고 결정하는 경우, 전자 기기 (2100) 는 획득된 센싱 데이터의 객체 인식신뢰도의 크기와 상관 없이, 각각의 센서로부터 획득된 센싱 데이터의 특징값에 대응하는 파라미터를 추출하여 각각의 센서의 데이터베이스에 저장하지 않는다.
도 16 은 본 개시의 일 실시예에 따른 객체의 객체 정보에 객체 이미지 데이터, 객체의 식별 정보 및 위치 정보가 포함되는 일례를 도시한 도면이다.
도 16 을 참조하면, 객체 정보 (1600) 는 객체의 종류를 나타내는 식별 정보 (1610), 전자 기기 (2100) 주변에서 인식된 객체의 상대적 위치를 나타내는 위치 정보 (1620) 및 센서가 획득한 센싱 데이터로부터 추출한 객체 이미지 데이터 (1630) 를 포함할 수 있다. 예를 들어, 제어부는 위치 정보 (1620) 를 이용하여 제 1 센싱 데이터 중 객체의 위치에 해당하는 일 부분을 제 2 센싱 데이터 중 객체의 위치에 해당하는 일 부분과 매칭할 수 있고, 매칭된 제 1 센싱 데이터의 인식결과를 데이터베이스에 분류하여 저장할 수 있다. 나아가, 제어부는 객체 정보에 포함되는 식별 정보 (1610), 위치 정보 (1620) 또는 객체 이미지 데이터 (1630) 중 적어도 하나를 센싱 데이터에 매칭시키고, 센서의 데이터베이스에 저장할 수 있다.
도 17 은 본 개시의 일 실시예에 따른 제 1 센서 (2141) 의 데이터베이스에 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보 가 별도로 저장되어 상이한 알람을 발생시키는 일례를 도시한 도면이다.
도 17 을 참조하면, 전자 기기 (2100) 는 제 2 센싱 데이터를 이용하여 인식된 객체 정보가 제 1 센싱 데이터에 매칭되어 제 1 센서의 데이터 베이스에 저장된 경우, 매칭되어 저장된 객체 정보를 이미 저장되어 있는 객체 정보와 구별하여 저장함으로써, 이미 저장되어 있는 객체 정보만을 이용하여 인식된 객체와 제 2 센싱 데이터를 이용하여 인식된 객체에 대한 알람을 상이하게 할 수 있다. 예를 들어, 제 1 센서 (2141) 는 객체를 인식하지 못하고 제 2 센서 (2142) 가 객체의 위치 및 형상을 인식한 경우, 전자 기기 (2100) 는 디스플레이부 (1710) 에 객체의 위치 정보 및 형상을 그래픽 알람 (1711) 으로 나타낼 수 있다. 한편, 제 1 센서 (2141) 및 제 2 센서 (2142) 모두가 객체의 위치 및 객체의 종류를 인식한 경우, 전자 기기 (2100) 는 디스플레이부 (1720) 에 객체의 위치 및 종류를 나타내는 그래픽 알람 (1722) 을 나타내고, 추가적으로 소리알람 (1721) 도 나타낼 수 있다.
도 18 는 본 개시의 일 실시예 따른 객체를 인식하는 전자 기기 (2100) 가 제 1 센서 (2141) 의 센싱 시각 및 제 2 센서 (2142) 의 센싱 시각 차이를 획득하여, 시각 차이에 따라 제 2 센싱 데이터를 보정하는 일례를 도시한 도면이다.
도 18 을 참조하면, 제어부는 제 1 센서 (2141) 의 센싱 프레임 (1811) 및 제 2 센서 (2142) 의 센싱 프레임 (1821) 사이의 센싱 시각 차이를 획득 할 수 있다. 예를 들어, 라이다의 센싱 프레임 간격은 10 ms 이고, RGB 카메라의 센싱 프레임 간격은 33 ms 인바, 라이다의 센싱 데이터 및 RGB 카메라의 센싱 데이터 사이에는 센싱 프레임 간격 차이에 의한 센싱 시각 차가 발생할 수 있다. 또한, 제어부 (2110) 는 제 1 센서 (2141) 의 센싱 프레임 (1811) 및 제 2 센서 (2142) 의 센싱 프레임 (1821) 사이의 센싱 시각 차이에 기초하여 전자 기기 (2100) 의 중심 위치를 기준으로 객체 (1812) 의 이동 속도를 산출할 수 있다. 또한, 제어부 (2110) 는 산출된 객체의 이동 속도 및 센싱 시각 차이를 이용하여 제 1 센서 (2141) 센싱 시점에서 제 2 센서 (2142) 가 인식할 수 있는 객체의 예상 위치 (1822) 를 보정할 수 있다.
일 실시예에 따라, 제어부 (2110) 는 객체의 이동 속도뿐만 아니라 추가적인 정보를 취합하여 객체의 예상 위치를 보정할 수 있다.
일 실시예에 따라, 제어부 (2110) 는 객체를 인식하기 위해 센서의 동작을 제어할 수 있다. 예를 들어, 제어부 (2110) 는 제 1 센서 (2141) 에 의한 인식신뢰도가 낮은 미검출 객체 (1812) 가 존재하는 경우, 제 2 센서 (2142) 의 동작을 보완제어함으로써 미검출 객체 (1812) 의 식별을 도울 수 있다. 예를 들어, 제 2 센서 (2142) 가 이미지 센서인 경우, 제어부 (2110) 는 제 2 센서 (2142) 가 미검출 객체 (1812) 를 용이하게 인식할 수 있도록 제 2 센서 (2142) 의 해당 위치 부분을 줌-인 (zoom-in) 하게 할 수 있다. 또한, 예를 들어, 제 2 센서 (2142) 가 거리 센서인 경우, 제어부 (2110) 는 제 2 센서 (2142) 의 해상도를 높이기 위하여 제 2 센서의 화각을 좁히게 할 수 있다. 예를 들어, 보완제어는 기울임 (tilt), 줌-인 (zoom-in), 줌-아웃 (zoom-out) 또는 화각 제어를 포함할 수 있으나, 이에 제한되지 않는다.
도 19 은 본 개시의 일 실시예에 따른 객체 인식신뢰도에 관한 가중치를 결정하는데 고려되는 환경요소의 일례를 도시한 도면이다.
예를 들어, 센서가 RGB 카메라인 경우 객체를 식별하는데 영향을 미치는 환경 요소는 조도 및 적설량일 수 있다. 또한, 예를 들어, 센서가 IR 카메라, 열화상 카메라 또는 라이다 중 하나인 경우 객체를 식별하는데 영향을 미치는 환경 요소는 강수량일 수 있다. 또한, 예를 들어, 센서가 초음파 센서인 경우 객체를 식별하는데 영향을 미치는 환경 요소는 터널 또는 코너영역일 수 있다.
도 20 은 본 개시의 일 실시예에 따른 제 2 센싱 데이터에 기초하여 객체의 일부만 인식되는 경우 객체의 전부를 추정하고, 추정된 전체 부분에 기초하여 제 2 센싱 데이터를 보정하는 일례를 도시한 도면이다.
도 20 을 참조하면, 제 2 센서 (2142) 의 제 2 센싱 데이터 (2010) 에서 제어부가 객체의 일부분 (2020) 만을 인식한 경우 제어부는 인식된 객체의 일부분에 기초하여 객체의 전체 부분 (2030) 을 추정할 수 있다. 또한, 상기 제어부는 객체의 추정된 전체 부분에 기초하여 제 2 센싱 데이터의 객체에 대응되는 부분을 보정 할 수 있다. 또한, 제어부는 보정된 제 2 센싱 데이터를 이용하여 인식된 추정된 객체의 객체 정보에 포함된 객체 이미지 데이터, 식별 정보 또는 위치 정보 중 적어도 하나를 제 1 센싱 데이터에 매칭하여 제 1 센서 (2141) 의 데이터베이스에 저장할 수 있다.
예를 들어, 제 1 센서 (2141) 가 라이다이고 제 2 센서 (2142) 가 RGB 카메라이며, 라이다에서 객체의 일부분만이 인식되었으나 RGB 카메라는 객체 인식을 실패한 경우, 라이다는 인식된 객체의 위치 정보 및 인식된 일부분만에 기초하여 객체의 크기를 추정하여 RGB 카메라의 센싱 이미지에 위치 정보를 전송할 수 있다.
한편, 상기에서는 전자 기기 (2100) 가 하나의 객체를 인식하기 위하여 복수의 센싱 데이터를 이용하는 예시를 설명하였지만, 이에 제한되지 않는다.
예를 들어, 사용자 인증을 위하여 복수의 객체를 인식하는 경우에, 복수의 객체 각각에 대한 센싱 데이터를 서로 보완하여 이용할 수 있다. 예를 들어, 복수의 객체 각각에 대한 센싱 데이터의 객체 인식신뢰도를 종합하여 사용자 인증에 대한 신뢰도를 산출하고, 사용자가 인증되었는지 여부를 결정할 수 있다. 예를 들어, 복수의 객체에 대한 센싱 데이터는 홍채 인식 데이터 또는 지문 인식 데이터를 포함할 수 있으나, 이에 제한되지는 않는다.
도 21 은 본 개시의 일 실시예에 따른 객체를 인식하는 전자 기기 (2100) 의 일례를 도시한 세부 도면이다.
도 21 을 참조하면, 일부 실시예에 따른 객체를 인식하는 전자 기기 (2100) 는, 제어부 (2110), 사용자 입력부 (2120), 출력부 (2130), 센싱부 (2140), 통신부 (2170), A/V 입력부 (2160) 및 메모리 (2150) 을 더 포함할 수 있다.
제어부 (2110) 는 통상적으로 상술한 전자 기기 (2100) 의 전반적인 동작들을 제어할 수 있다. 예를 들어, 제어부 (2110) 는 센싱부가 획득한 센싱 데이터를 처리하여 객체 인식신뢰도를 획득할 수 있고, 객체 인식신뢰도에 기초하여 객체 정보를 센싱 데이터에 매칭할 수 있고, 매칭된 객체 정보를 센서의 데이터베이스에 저장할 수 있다. 또한, 제어부 (2110)는 메모리에 저장된 프로그램들을 실행함으로써, 사용자 입력부 (2120), 출력부 (2130), 센싱부 (2140), 통신부 (2170), 및 A/V 입력부 (2160) 등을 전반적으로 제어할 수 있다. 또한, 제어부 (2110)는 사용자 입력부 (2120), 출력부 (2130), 센싱부 (2140), 통신부 (2170), 및 A/V 입력부 (2160) 중 적어도 하나를 제어함으로써, 도 1 내지 도 20에서의 전자 기기 (2100) 의 동작을 수행할 수 있다.
사용자 입력부 (2120) 는, 사용자가 객체를 인식하는 전자 기기 (2100) 를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(2120)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
출력부 (2130) 는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부 (2130) 는 디스플레이부 (2131), 음향 출력부 (22141), 및 진동 모터 (22142) 를 포함할 수 있다.
디스플레이부 (2131) 는 객체를 인식하는 전자 기기 (2100) 에서 처리되는 정보를 표시 출력할 수 있다. 예를 들어, 디스플레이부 (2131) 는 제 1 센싱 데이터에 매칭된 객체 정보를 제 1 센싱 데이터와 함께 디스플레이할 수 있다.
한편, 디스플레이부 (2131) 와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부 (2131) 는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부 (2131) 는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 객체를 인식하는 전자 기기 (2100) 의 구현 형태에 따라 객체를 인식하는 전자 기기 (2100) 는 디스플레이부 (2131) 를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부 (2131) 는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부 (22141) 는 객체를 인식하는 전자 기기 (2100) 에서 수행되는 기능(예를 들어, 객체 정보 알림음)과 관련된 음향 신호를 출력할 수 있다. 이러한 음향 출력부(2141)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터 (22142) 는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(22142)는 매칭되는 센싱 데이터의 종류에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터 (22142) 는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
센싱부(2140)는, 객체를 인식하는 전자 기기 (2100) 주변의 상태를 감지하고, 감지된 정보를 제어부 (2110) 로 전달할 수 있다.
센싱부 (2140) 는, 지RGB 카메라, IR 카메라, 열화상 카메라, 라이다, 레이더, 초음파, 또는 IR 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부 (2170) 는 객체를 인식하는 전자 기기 (2100) 와 서버 또는 주변기기 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부 (2170) 는, 근거리 통신부 (2171), 이동 통신부 (2172), 방송 수신부 (2173) 를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit) (2171) 는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부 (2172) 는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부 (2173) 는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신할 수 있다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 객체를 인식하는 전자 기기 (2100) 가 방송 수신부(1530)를 포함하지 않을 수도 있다.
A/V(Audio/Video) 입력부 (2160) 는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라 (2161) 와 마이크로폰 (2162) 등이 포함될 수 있다. 카메라 (2161) 은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(2110) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라 (2161) 에서 처리된 화상 프레임은 메모리 (2150) 에 저장되거나 통신부 (2170) 를 통하여 외부로 전송될 수 있다. 카메라 (2161) 는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰 (2162) 은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 예를 들어, 마이크로폰 (2162) 은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰 (2162) 는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리 (2150) 는, 제어부 (2110) 의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 객체를 인식하는 전자 기기 (2100) 로 입력되거나 객체를 인식하는 전자 기기 (2100) 로부터 출력되는 데이터를 저장할 수도 있다.
메모리 (2150) 는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 22 는 본 개시의 일 실시예에 따른 객체를 인식하는 서버의 일례를 도시한 도면이다.
도 22 를 참조하면, 객체를 인식하는 전자 기기 (2100) 는 제 1 센서 (2141) 및 제 2 센서 (2142) 로부터 획득한 제 1 센싱 데이터 및 제 2 센싱 데이터를 서버 (2220) 로 전송할 수 있는 통신부 (2170) 를 포함할 수 있다. 서버 통신부 (2221) 는 객체를 인식하는 전자 기기 (2100) 의 통신부 (2170) 가 전송한 제 1 센싱 데이터 및 제 2 센싱 데이터를 수신할 수 있다. 서버의 제어부 (2222) 는 수신된 센싱 데이터에 기초하여 객체에 대한 제 1 객체 인식신뢰도 및 제 2 객체 인식신뢰도를 획득할 수 있다. 서버의 제어부 (2222) 는 획득된 객체 인식신뢰도에 기초하여 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 제 1 센싱 데이터에 매칭할 수 있다. 서버의 제어부 (2222) 는 제 1 센싱 데이터에 매칭된 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 서버의 저장부 (2223) 에 저장할 수 있다. 또는, 서버의 제어부 (2222) 는 제 1 센싱 데이터에 매칭된 제 2 센싱 데이터를 이용하여 인식된 객체의 객체 정보를 통신부 (2221) 를 통해 객체를 인식하는 전자 기기 (2100) 로 전송하고 제 1 센서 (2141) 의 데이터베이스에 저장할 수 있다. 서버의 저장부 (2223) 는 각 센싱 데이터에 매칭된 객체 정보를 저장하고, 제어부 (2222) 의 요청이 있는 경우 따라 통신부 (2221) 를 통해 다른 객체를 인식하는 전자 기기 (2100) 에 전송할 수 있다.
일 실시예에 따라, 객체를 인식하는 하는 전자 기기 (2100) 는 각각의 센서로부터 획득된 센싱 데이터를 메모리 (2150) 에 저장해두었다가, 한번에 서버로 전송할 수 있다. 예를 들어, 서버 부분은 전자 기기 (2100) 를 포함하는 자동차의 데이터베이스를 업데이트할 수 있고, 다른 자동차의 데이터베이스를 업데이트할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (27)

  1. 전자 기기가 객체를 인식하는 방법으로서, 상기 방법은
    제 1 센서로부터 제 1 센싱 데이터를 획득하는 단계;
    제 2 센서로부터 제 2 센싱 데이터를 획득하는 단계;
    상기 제 1 센싱 데이터 및 상기 제 2 센싱 데이터에 기초하여, 상기 객체에 대한 제 1 객체 인식신뢰도 및 상기 객체에 대한 제 2 객체 인식신뢰도를 획득하는 단계; 및
    상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도에 기초하여, 상기 제 2 센싱 데이터를 이용하여 인식된 상기 객체의 객체 정보를 상기 제 1 센싱 데이터에 매칭하여 제 1 센서의 데이터베이스에 저장하는 단계를 포함하는, 상기 객체를 인식하는 방법.
  2. 제 1 항에 있어서,
    상기 매칭하여 저장하는 단계는,
    상기 제 1 객체 인식신뢰도와 상기 제 2 객체 인식신뢰도를 비교하는 단계; 및
    상기 제 1 객체 인식신뢰도가 상기 제 2 객체 인식신뢰도 보다 작은 경우,
    상기 제 2 센싱 데이터를 이용하여 인식된 상기 객체의 객체 정보를 상기 제 1 센싱 데이터에 매칭하여 저장하는 단계를 포함하는, 상기 객체를 인식하는 방법.
  3. 제 1 항에 있어서,
    상기 매칭하여 저장하는 단계는,
    상기 제 2 객체 인식신뢰도가 소정의 제 1 임계값 이상인지 판단하는 단계; 및
    상기 제 2 객체 인식신뢰도가 상기 소정의 제 1 임계값 이상인 경우,
    상기 제 2 센싱 데이터를 이용하여 인식된 상기 객체의 객체 정보를 상기 제 1 센싱 데이터에 매칭하여 저장하는 단계를 포함하는, 상기 객체를 인식하는 방법.
  4. 제 1 항에 있어서,
    상기 매칭하여 저장하는 단계는,
    상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도가 소정의 제 2 임계값 미만인지 판단하는 단계; 및
    상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도가 상기 소정의 제 2 임계값 미만인 경우,
    상기 제 1 센싱 데이터 및 상기 제 2 센싱 데이터를 함께 이용하여 인식된 상기 객체의 객체 정보를 상기 제 1 센싱 데이터 및 상기 제 2 센싱 데이터에 각각 매칭하여 저장하는 단계를 포함하는, 상기 객체를 인식하는 방법.
  5. 제 1 항에 있어서,
    상기 매칭하여 저장하는 단계는 상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도가 소정의 제 3 임계값 이상인지 판단하는 단계를 포함하고,
    상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도가 소정의 제 3 임계값 이상인 경우, 상기 매칭하여 저장하는 단계가 수행되는, 상기 객체를 인식하는 방법.
  6. 제 1 항에 있어서,
    상기 객체 정보는 상기 객체의 객체 이미지 데이터, 상기 객체의 식별 정보 또는 상기 전자 기기에 대한 상기 객체의 위치를 나타내는 위치 정보 중 적어도 하나를 포함하고,
    상기 매칭하여 저장하는 단계는 상기 객체 이미지 데이터, 상기 식별 정보 또는 상기 위치 정보 중 적어도 하나를 매칭하여 저장하는 단계를 포함하는, 상기 객체를 인식하는 방법.
  7. 제 1 항에 있어서,
    상기 제 1 센싱 데이터에 매칭된 상기 객체 정보는 상기 제 1 센서의 데이터베이스에 기 저장된 소정의 객체 정보와 구별되는, 상기 객체를 인식하는 방법.
  8. 제 1 항에 있어서,
    상기 매칭하여 저장하는 단계는,
    상기 제 2 센싱 데이터를 이용하여 인식된 상기 객체 정보에 포함된 위치 정보 좌표를 제 1 센싱 데이터에 대한 위치 정보 좌표로 변환하는 단계; 및
    상기 변환된 위치 정보 좌표를 상기 제 1 센싱 데이터에 매칭하여 저장하는 단계를 포함하는, 상기 객체를 인식하는 방법.
  9. 제 1 항에 있어서,
    상기 제 1 센서의 센싱 시각 및 상기 제 2 센서의 센싱 시각의 차이를 획득하는 단계; 및
    상기 센싱 시각의 차이에 기초하여 상기 제 2 센싱 데이터를 보정하는 단계를 더 포함하며,
    상기 매칭하여 저장하는 단계는, 상기 보정된 제 2 센싱 데이터를 이용하여 인식된 상기 객체의 객체 정보를 상기 제 1 센싱 데이터에 매칭하여 저장하는 것인, 상기 객체를 인식하는 방법.
  10. 제 1 항에 있어서,
    상기 전자 기기 주변의 환경을 나타내는 환경 정보를 획득하는 단계; 및
    상기 획득된 환경 정보에 기초하여, 상기 제 1 센싱 데이터의 가중치 및 상기 제 2 센싱 데이터의 가중치를 결정하는 단계를 포함하며,
    상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도를 획득하는 단계는, 상기 결정된 제 1 센싱 데이터의 가중치 및 상기 결정된 제 2 센싱 데이터의 가중치에 각각 기초하여 상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도를 획득하는 것인, 상기 객체를 인식하는 방법.
  11. 제 1 항에 있어서,
    제 2 센서로부터 제 2 센싱 데이터를 획득하는 단계는:
    상기 제 2 센싱 데이터에 기초하여 상기 객체의 일부분만 인식되는 경우 상기 객체의 전체 부분을 추정하는 단계; 및
    상기 객체의 추정된 전체 부분을 이용하여, 제 2 센싱 데이터를 보정하는 단계를 더 포함하는, 상기 객체를 인식하는 방법.
  12. 제 1 항에 있어서,
    상기 제 1 센서 및 제 2 센서는 이미지 센서 또는 거리 센서 중 하나인, 상기 객체를 인식하는 방법.
  13. 제 12 항에 있어서,
    상기 이미지 센서는 RGB 카메라, IR 카메라, 및 열화상 카메라를 포함하고,
    상기 거리 센서는 레이더, 라이다, 초음파, 및 IR 센서를 포함하는, 상기 객체를 인식하는 방법.
  14. 객체를 인식하는 장치로서, 상기 장치는,
    제 1 센싱 데이터를 획득하는 제 1 센서;
    제 2 센싱 데이터를 획득하는 제 2 센서; 및
    상기 제 1 센싱 데이터 및 상기 제 2 센싱 데이터에 기초하여, 상기 객체에 대한 제 1 객체 인식신뢰도 및 상기 객체에 대한 제 2 객체 인식신뢰도를 획득하는 제어부로서, 상기 제어부는,
    상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도에 기초하여, 상기 제 2 센싱 데이터를 이용하여 인식된 상기 객체의 객체 정보를 상기 제 1 센싱 데이터에 매칭하고, 상기 매칭된 객체 정보를 상기 제 1 센서의 데이터베이스에 저장하는, 상기 제어부를 포함하는, 상기 객체를 인식하는 장치.
  15. 제 14 항에 있어서,
    상기 제어부는, 상기 제 1 객체 인식신뢰도와 상기 제 2 객체 인식신뢰도의 크기를 판단하고,
    상기 제 1 객체 인식신뢰도가 상기 제 2 객체 인식신뢰도 보다 작은 경우,
    상기 제 2 센싱 데이터를 이용하여 인식된 상기 객체의 객체 정보를 상기 제 1 센싱 데이터에 매칭하여 저장하는, 상기 객체를 인식하는 장치.
  16. 제 14 항에 있어서,
    상기 제어부는, 상기 제 2 객체 인식신뢰도가 소정의 제 1 임계값 이상인지 판단하고,
    상기 제 2 객체 인식신뢰도가 상기 소정의 제 1 임계값 이상인 경우,
    상기 제 2 센싱 데이터를 이용하여 인식된 상기 객체의 객체 정보를 상기 제 1 센싱 데이터에 매칭하여 저장하는, 상기 객체를 인식하는 장치.
  17. 제 14 항에 있어서,
    상기 제어부는, 상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도가 소정의 제 2 임계값 미만인지 판단하고,
    상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도가 상기 소정의 제 2 임계값 미만인 경우,
    상기 제 1 센싱 데이터 및 상기 제 2 센싱 데이터를 함께 이용하여 인식된 상기 객체의 객체 정보를 상기 제 1 센싱 데이터 및 상기 제 2 센싱 데이터에 각각 매칭하여 저장하는, 상기 객체를 인식하는 장치.
  18. 제 14 항에 있어서,
    상기 제어부는 상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도가 소정의 제 3 임계값 이상인지 판단하고,
    상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도가 소정의 제 3 임계값 이상인 경우, 상기 매칭하여 저장하는 단계가 수행되는, 상기 객체를 인식하는 장치.
  19. 제 14 항에 있어서,
    상기 객체 정보는 상기 객체의 객체 이미지 데이터, 상기 객체의 식별 정보 또는 상기 장치에 대한 상기 객체의 위치를 나타내는 위치 정보 중 적어도 하나를 포함하고,
    상기 매칭하여 저장하는 것은 상기 객체 이미지 데이터, 상기 식별 정보 또는 상기 위치 정보 중 적어도 하나를 매칭하여 저장하는 것인, 상기 객체를 인식하는 장치.
  20. 제 14 항에 있어서,
    상기 제 1 센싱 데이터에 매칭된 상기 객체 정보는 상기 제 1 센서의 데이터베이스에 기 저장된 소정의 객체 정보와 구별되는, 상기 객체를 인식하는 장치.
  21. 제 14 항에 있어서,
    상기 제어부는, 상기 제 2 센싱 데이터를 이용하여 인식된 상기 객체 정보에 포함된 위치 정보 좌표를 제 1 센싱 데이터에 대한 위치 정보 좌표로 변환하고, 상기 변환된 위치 정보 좌표를 상기 제 1 센싱 데이터에 매칭하여 저장하는, 상기 객체를 인식하는 장치.
  22. 제 14 항에 있어서,
    상기 제어부는,
    상기 제 1 센서의 센싱 시각 및 상기 제 2 센서의 센싱 시각의 차이를 획득하고,
    상기 센싱 시각의 차이에 기초하여 상기 제 2 센싱 데이터를 보정하며,
    상기 매칭하여 저장하는 것은, 상기 보정된 제 2 센싱 데이터에 기초하여 인식된 상기 객체의 객체 정보를 상기 제 1 센싱 데이터에 매칭하여 저장하는 것인, 상기 객체를 인식하는 장치.
  23. 제 14 항에 있어서,
    상기 제 1 센서 및 상기 제 2 센서는, 상기 장치 주변의 환경을 나타내는 환경 정보를 획득하고,
    상기 제어부는, 상기 획득된 환경 정보에 기초하여, 상기 제 1 센싱 데이터의 가중치 및 상기 제 2 센싱 데이터의 가중치를 결정하며,
    상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도를 획득하는 것은, 상기 결정된 제 1 센싱 데이터의 가중치 및 상기 결정된 제 2 센싱 데이터의 가중치에 각각 기초하여 상기 제 1 객체 인식신뢰도 및 상기 제 2 객체 인식신뢰도를 획득하는 것인, 상기 객체를 인식하는 장치.
  24. 제 14 항에 있어서,
    상기 제어부는,
    상기 제 2 센싱 데이터에 기초하여 상기 객체의 일부분만 인식되는 경우 상기 객체의 전체 부분을 추정하며,
    상기 객체의 추정된 전체 부분에 기초하여, 제 2 센싱 데이터를 보정하는, 상기 객체를 인식하는 장치.
  25. 제 14 항에 있어서,
    상기 제 1 센서 및 제 2 센서는 이미지 센서 또는 거리 센서 중 하나인, 상기 객체를 인식하는 장치.
  26. 제 25 항에 있어서,
    상기 이미지 센서는 RGB 카메라, IR 카메라, 및 열화상 카메라를 포함하고,
    상기 거리 센서는 레이더, 라이다, 초음파, 및 IR 센서를 포함하는, 상기 객체를 인식하는 장치.
  27. 제 1 항 내지 제 13 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020160170404A 2016-12-14 2016-12-14 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법 KR20180068578A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160170404A KR20180068578A (ko) 2016-12-14 2016-12-14 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
US15/840,424 US10600197B2 (en) 2016-12-14 2017-12-13 Electronic device and method for recognizing object by using plurality of sensors
PCT/KR2017/014619 WO2018110964A1 (en) 2016-12-14 2017-12-13 Electronic device and method for recognizing object by using plurality of sensors
EP17880707.9A EP3539081A4 (en) 2016-12-14 2017-12-13 ELECTRONIC APPARATUS AND METHOD FOR OBJECT DETECTION USING SEVERAL SENSORS
US16/783,690 US11295469B2 (en) 2016-12-14 2020-02-06 Electronic device and method for recognizing object by using plurality of sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160170404A KR20180068578A (ko) 2016-12-14 2016-12-14 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법

Publications (1)

Publication Number Publication Date
KR20180068578A true KR20180068578A (ko) 2018-06-22

Family

ID=62489200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160170404A KR20180068578A (ko) 2016-12-14 2016-12-14 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법

Country Status (4)

Country Link
US (2) US10600197B2 (ko)
EP (1) EP3539081A4 (ko)
KR (1) KR20180068578A (ko)
WO (1) WO2018110964A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200076056A (ko) * 2018-12-19 2020-06-29 전자부품연구원 농연 환경 데이터 시각화 장치 및 방법
KR20200125502A (ko) * 2019-04-25 2020-11-04 울산과학기술원 이미지 내 객체를 식별하는 신경망 모델을 학습하는 방법 및 장치
KR102348294B1 (ko) * 2020-08-24 2022-01-12 한국철도기술연구원 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법
KR102404771B1 (ko) * 2021-05-13 2022-06-02 서울대학교 산학협력단 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법 및 장치
KR20220073354A (ko) * 2020-11-26 2022-06-03 주식회사 강릉에이티시 공연무대 장치용 통합 퍼포먼스 시스템
KR20220084849A (ko) * 2020-12-14 2022-06-21 이기현 전자기파 데이터의 ai 기계학습을 위한 어노테이션 방법
KR102469015B1 (ko) * 2022-04-12 2022-11-21 주식회사 인피닉 서로 다른 파장 범위를 갖는 복수의 카메라를 이용한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102531281B1 (ko) * 2022-06-03 2023-05-12 포티투닷 주식회사 센싱부를 활용한 통행객체 정보 생성 방법 및 시스템
WO2023234567A1 (ko) * 2022-05-30 2023-12-07 경북대학교 산학협력단 카메라와 레이더 센서를 이용한 딥러닝 기반 레이더 센서 고장 분류 장치 및 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540777B2 (en) * 2015-06-10 2020-01-21 Hitachi, Ltd. Object recognition device and object recognition system
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
US11091162B2 (en) * 2018-01-30 2021-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. Fusion of front vehicle sensor data for detection and ranging of preceding objects
US10979861B2 (en) * 2018-12-27 2021-04-13 Micware Co., Ltd. Information transmission system
CN112069862A (zh) * 2019-06-10 2020-12-11 华为技术有限公司 目标检测方法和装置
CN110223342B (zh) * 2019-06-17 2022-06-24 电子科技大学 一种基于深度神经网络的空间目标尺寸估计方法
US11100651B1 (en) * 2019-08-08 2021-08-24 National Technology & Engineering Solutions Of Sandia, Llc Infrared intrusion detection system (IRIDS)
KR20210033808A (ko) * 2019-09-19 2021-03-29 엘지전자 주식회사 아웃도어 영역에서 이종의 위치정보 획득 메커니즘을 적용하는 방법 및 이를 구현하는 로봇과 클라우드 서버
US10997467B1 (en) 2019-10-18 2021-05-04 Robert Bosch Gmbh Visual analytics exposure of image object detector weakness
CN110705526B (zh) * 2019-10-25 2023-08-08 云南电网有限责任公司电力科学研究院 一种基于无人机的树障清除方法、装置及系统
KR20220082551A (ko) * 2020-12-10 2022-06-17 현대자동차주식회사 차량
CN112687107B (zh) * 2021-03-15 2021-05-25 中智行科技有限公司 感知数据获取方法和装置
WO2023283468A1 (en) * 2021-07-08 2023-01-12 Cyngn, Inc. Flexible multi-channel fusion perception
CN113963327B (zh) * 2021-09-06 2023-09-08 阿波罗智能技术(北京)有限公司 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质
US11928662B2 (en) * 2021-09-30 2024-03-12 Toshiba Global Commerce Solutions Holdings Corporation End user training for computer vision system

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063603A (en) * 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
KR100415266B1 (ko) * 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
US6801655B2 (en) * 2001-05-10 2004-10-05 The United States Of America As Represented By The Secretary Of The Navy Spatial image processor
JP3879732B2 (ja) 2003-11-27 2007-02-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検知方法、およびコンピュータプログラム
EP1906339B1 (en) * 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
JP4571617B2 (ja) * 2006-12-28 2010-10-27 三星デジタルイメージング株式会社 撮像装置及び撮像方法
CA2712673A1 (en) * 2008-02-04 2009-08-13 Tele Atlas North America Inc. Method for map matching with sensor detected objects
TWI506565B (zh) * 2008-03-03 2015-11-01 Avo Usa Holding 2 Corp 動態物件分類
JP5166102B2 (ja) * 2008-04-22 2013-03-21 株式会社東芝 画像処理装置及びその方法
US8358855B2 (en) * 2009-07-08 2013-01-22 Honeywell International Inc. Determining probabilities from compared covariance appearance models to detect objects of interest in images
JP5631086B2 (ja) * 2010-07-12 2014-11-26 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP5593217B2 (ja) 2010-12-28 2014-09-17 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両システム
DE102012204441A1 (de) * 2011-03-21 2012-09-27 Denso Corporation Verfahren und Vorrichtung zur Erkennung eines Verlaufs einer Straße für Fahrzeuge
US20130308856A1 (en) * 2012-01-12 2013-11-21 Google Inc. Background Detection As An Optimization For Gesture Recognition
EP2907082B1 (en) * 2012-10-11 2018-07-18 OpenText Corporation Using a probabilistic model for detecting an object in visual data
JP6261206B2 (ja) 2013-06-28 2018-01-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP5892129B2 (ja) * 2013-08-29 2016-03-23 株式会社デンソー 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
JP6180262B2 (ja) * 2013-09-27 2017-08-16 三菱電機株式会社 空気調和装置の室内機
KR20150068550A (ko) 2013-12-11 2015-06-22 삼성전자주식회사 전경 물체 정보 획득 방법 및 장치.
WO2015177643A2 (en) * 2014-05-22 2015-11-26 Erez Dagan Systems and methods for braking a vehicle based on a detected object
JP6220327B2 (ja) * 2014-07-23 2017-10-25 株式会社Ｓｏｋｅｎ 走行区画線認識装置、走行区画線認識プログラム
KR102284750B1 (ko) * 2014-12-15 2021-08-03 삼성전자주식회사 사용자 단말 장치 및 그의 대상 인식 방법
KR101607912B1 (ko) 2015-04-21 2016-03-31 곽한섭 영상처리기능이 탑재된 통합형 카메라를 이용한 분리형 차량번호 인식시스템 및 방법
JP6491959B2 (ja) * 2015-06-03 2019-03-27 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
US10540777B2 (en) * 2015-06-10 2020-01-21 Hitachi, Ltd. Object recognition device and object recognition system
JP6410949B2 (ja) * 2015-08-19 2018-10-24 三菱電機株式会社 車線認識装置および車線認識方法
KR102490602B1 (ko) * 2015-09-04 2023-01-19 현대모비스 주식회사 차량 주변의 물체 인식 장치 및 그 방법
US9727800B2 (en) * 2015-09-25 2017-08-08 Qualcomm Incorporated Optimized object detection
JP6522768B2 (ja) * 2015-09-30 2019-05-29 富士フイルム株式会社 撮像装置および撮像方法
DE102015013031B4 (de) * 2015-10-09 2018-12-27 Drägerwerk AG & Co. KGaA Vorrichtung, Verfahren und Computerprogramm zur Bestimmung einer Lage von zumindest zwei Teilsegmenten einer Patientenlagerungsvorrichtung
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9846808B2 (en) * 2015-12-31 2017-12-19 Adaptive Computation, Llc Image integration search based on human visual pathway model
KR20180046586A (ko) * 2016-10-28 2018-05-09 삼성에스디에스 주식회사 멀티 센싱을 활용한 객체 식별 방법 및 장치
US10380755B2 (en) * 2016-11-21 2019-08-13 University Of New Hampshire Whole object surface area and volume of partial-view 3-D models
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200076056A (ko) * 2018-12-19 2020-06-29 전자부품연구원 농연 환경 데이터 시각화 장치 및 방법
KR20200125502A (ko) * 2019-04-25 2020-11-04 울산과학기술원 이미지 내 객체를 식별하는 신경망 모델을 학습하는 방법 및 장치
KR102348294B1 (ko) * 2020-08-24 2022-01-12 한국철도기술연구원 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법
KR20220073354A (ko) * 2020-11-26 2022-06-03 주식회사 강릉에이티시 공연무대 장치용 통합 퍼포먼스 시스템
KR20220084849A (ko) * 2020-12-14 2022-06-21 이기현 전자기파 데이터의 ai 기계학습을 위한 어노테이션 방법
KR102404771B1 (ko) * 2021-05-13 2022-06-02 서울대학교 산학협력단 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법 및 장치
KR102469015B1 (ko) * 2022-04-12 2022-11-21 주식회사 인피닉 서로 다른 파장 범위를 갖는 복수의 카메라를 이용한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2023234567A1 (ko) * 2022-05-30 2023-12-07 경북대학교 산학협력단 카메라와 레이더 센서를 이용한 딥러닝 기반 레이더 센서 고장 분류 장치 및 방법
KR102531281B1 (ko) * 2022-06-03 2023-05-12 포티투닷 주식회사 센싱부를 활용한 통행객체 정보 생성 방법 및 시스템

Also Published As

Publication number Publication date
US20200175714A1 (en) 2020-06-04
US20180165829A1 (en) 2018-06-14
EP3539081A1 (en) 2019-09-18
WO2018110964A1 (en) 2018-06-21
EP3539081A4 (en) 2019-10-16
US10600197B2 (en) 2020-03-24
US11295469B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
KR20180068578A (ko) 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
EP3338248B1 (en) Systems and methods for object tracking
US20170072850A1 (en) Dynamic vehicle notification system and method
JP2019533209A (ja) 運転者監視のためのシステム及び方法
JP6444835B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理システム
JP5423631B2 (ja) 画像認識装置
US11709282B2 (en) Asset tracking systems
US20180017799A1 (en) Heads Up Display For Observing Vehicle Perception Activity
KR102404791B1 (ko) 입력 영상에 포함된 객체를 인식하는 디바이스 및 방법
CN107358168B (zh) 一种车辆可行驶区域的检测方法及装置、车载电子设备
JP2019015692A (ja) 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム
JP5760090B2 (ja) 生体認識装置
WO2021213241A1 (zh) 目标检测方法及装置、电子设备、存储介质及程序
KR20180074568A (ko) 차선 정보를 추정하는 방법 및 전자 장치
US11225265B2 (en) Electronic device and method for recognizing object using plurality of sensors
WO2021090943A1 (ja) 画像処理装置および画像処理方法
US20230343108A1 (en) Systems and methods for detecting projection attacks on object identification systems
JP5083164B2 (ja) 画像処理装置及び画像処理方法
JP2008026999A (ja) 障害物検出システム、及び障害物検出方法
KR20180051422A (ko) 전자 장치 및 그 제어 방법
CN115088248A (zh) 摄像装置、摄像系统和摄像方法
KR101578434B1 (ko) 차선 인식 장치 및 그 방법
WO2022004413A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
CN108363996B (zh) 车辆智能环视方法、装置及计算机可读存储介质
US11840253B1 (en) Vision based, in-vehicle, remote command assist

Legal Events

Date Code Title Description
A201 Request for examination