KR20210061839A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20210061839A
KR20210061839A KR1020190149859A KR20190149859A KR20210061839A KR 20210061839 A KR20210061839 A KR 20210061839A KR 1020190149859 A KR1020190149859 A KR 1020190149859A KR 20190149859 A KR20190149859 A KR 20190149859A KR 20210061839 A KR20210061839 A KR 20210061839A
Authority
KR
South Korea
Prior art keywords
image
feature
information
electronic device
processor
Prior art date
Application number
KR1020190149859A
Other languages
English (en)
Inventor
강성민
한흥우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190149859A priority Critical patent/KR20210061839A/ko
Priority to EP20891234.5A priority patent/EP4004872A4/en
Priority to CN202080079361.3A priority patent/CN114830177A/zh
Priority to PCT/KR2020/012200 priority patent/WO2021101045A1/en
Priority to US17/091,802 priority patent/US11417007B2/en
Publication of KR20210061839A publication Critical patent/KR20210061839A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

전자 장치의 제어 방법이 개시된다. 본 개시에 따른 제어 방법은 이미지 및 이미지의 뎁스 정보를 획득하는 단계, 신경망 모델에 획득된 이미지를 입력하여, 중간 특징 값을 획득하는 단계, 중간 특징 값을 바탕으로 이미지에 포함된 적어도 하나의 오브젝트에 대한 특징 영역을 식별하는 단계, 및 적어도 하나의 오브젝트에 대한 특징 영역 및 이미지의 뎁스 정보를 바탕으로 적어도 하나의 오브젝트의 거리 정보를 획득하는 단계를 포함한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF}
본 개시는 전자 장치 및 그 제어 방법으로, 보다 상세하게는, 오브젝트 인식 신경망 모델의 중간 레이어의 출력 값을 이용하여 전자 장치와 오브젝트 사이의 거리 정보를 획득하는 방법에 관한 것이다.
근래에는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습시키고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.
인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습시키는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 수행하기 위한 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다. 특히, 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다.
한편, 최근에는 인공지능 시스템을 이용하여 오브젝트의 거리 정보를 획득하려는 시도가 활발히 진행되고 있다. 그러나, 이미지 상에 인식하고자 하는 오브젝트 외 다른 장애물이 존재하거나, 하나의 이미지 상에 복수의 오브젝트가 중첩되는 경우, 오브젝트의 거리 정보의 정확도가 감소하는 문제가 있었다
이에 따라, 오브젝트의 거리 정보의 정확도 향상을 위한 기술의 필요성이 대두된다.
본 발명이 해결하고자 하는 일 기술적 과제는, 정확도가 향상된 오브젝트의 거리 정보를 획득하는 전자 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 하는 전자 장치가 제공될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 포함하는 제어 방법이 제공될 수 있다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치를 통해 사용자는 정확도가 향상된 오브젝트의 거리 정보를 획득할 수 있다.
이에 따라, 사용자 편의성 및 만족도가 향상될 수 있다.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 신경망 모델을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 신경망 모델을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 오브젝트 거리 획득 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 다른 일 실시 예에 따른 오브젝트 거리 정보 획득 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 또 다른 일 실시 예에 따른 오브젝트 거리 정보 획득 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 특징 맵 획득 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 또 다른 일 실시 예에 따른 오브젝트 거리 정보 획득 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 또 다른 일 실시 예에 따른 오브젝트 거리 정보 획득 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 출력 이미지를 나타내는 도면이다.
도 12는 본 개시의 일 실시 예에 따른 제어 방법을 도시한 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
전자 장치는 촬상 이미지(10)를 획득할 수 있다. 이 때, 전자 장치는 촬상 이미지(10)를 신경망 모델(110)에 입력하여 촬상 이미지(10)에 포함된 타겟 오브젝트(1)에 대한 정보를 획득할 수 있다. 구체적으로, 전자 장치는 신경망 모델(110)의 최종 특징 값(25)을 획득할 수 있다. 이 때, 전자 장치는 최종 특징 값(25)을 바탕으로 타겟 오브젝트(1)에 대한 유형 정보(26)를 획득할 수 있다. 예를 들어, 유형 정보(26)는 타겟 오브젝트(1)에 대한 분류값일 수 있다.
또한, 전자 장치는 최종 특징 값(25)을 바탕으로 타겟 오브젝트(1)에 대한 오브젝트 영역 정보(27)를 획득할 수 있다. 이 때, 오브젝트 영역 정보(27)는 촬상 이미지(10) 내에서 타겟 오브젝트(1)의 위치 정보를 포함할 수 있다. 예를 들어, 오브젝트 영역 정보(27)는 타겟 오브젝트(1)를 포함하도록 설정되는 바운딩 박스(bounding box)의 좌표값을 포함할 수 있다.
한편, 전자 장치는 중간 특징 값(21)을 바탕으로 특징 영역(22)을 식별할 수 있다. 여기서, 특징 영역이란 신경망 모델(110)이 타겟 오브젝트(1)를 인식함에 있어 타겟 오브젝트(1)의 특징이 되는 영역을 의미할 수 있다. 예를 들어, 타겟 (1)오브젝트가 사람인 경우, 특징 영역은 사람의 안면 주변 영역이 될 수 있다. 다만 이는 일 예시에 불과하며 특징 영역은 타겟 오브젝트(1)의 유형에 따라 다양한 영역으로 정의될 수 있다. 한편, 전자 장치는 중간 특징 값(21)과 오브젝트 영역 정보(27)를 매핑하여 타겟 오브젝트(1)에 대응되는 특징 영역(22)을 식별할 수 있다. 이 때, 특징 영역(22)은 오브젝트 영역 정보(27)에 대응되는 바운딩 박스 내에 존재할 수 있다. 또한, 전자 장치는 신경망 모델(110)에 포함된 복수의 중간 레이어 중 적어도 일부로부터 중간 특징 값(21)을 추출될 수 있다. 한편, 본 개시에 따른 특징 영역은 활성화 영역, 활성화 맵 또는 타겟 영역을 통칭할 수 있다.
한편, 전자 장치는 촬상 이미지(10)의 뎁스(depth) 정보(30)를 획득할 수 있다. 뎁스 정보(30)는 타겟 오브젝트(1)에 대한 깊이 정보를 포함할 수 있다. 전자 장치는 다양한 방벙으로 뎁스 정보(30)를 획득할 수 있다. 예를 들어, 전자 장치는 촬상 이미지(10)를 분석하여 뎁스 정보(30)를 획득할 수 있다. 다만 이는 일 예시에 불과하며 전자 장치는 뎁스 카메라가 획득한 이미지 데이터를 바탕으로 뎁스 정보(30)를 획득할 수 있다.
한편, 전자 장치는 중간 특징 값(21) 및 뎁스 정보(30)를 바탕으로 타겟 오브젝트(1)에 대한 거리 정보(40)를 획득할 수 있다. 이 때, 전자 장치는 뎁스 정보(30) 중 중간 특징 값(21)의 특징 영역(22)에 대응되는 특징 픽셀(31)을 바탕으로 거리 정보(40)를 획득할 수 있다. 구체적으로, 전자 장치는 특징 픽셀(31)의 대표값을 중간 특징 값(21)에 매핑하여 거리 정보(40)를 획득할 수 있다. 여기서, 특징 픽셀(31)의 대표값은 특징 픽셀(31)의 최빈값, 중간값, 평균값 및 최소값 중 적어도 하나일 수 있다. 또한, 거리 정보(40)는 촬상 이미지(10)를 획득한 카메라로부터 타겟 오브젝트(1)까지의 거리 정보를 의미할 수 있다. 예를 들어, 전자 장치가 타겟 오브젝트(1)를 촬상한 경우, 거리 정보(40)는 전자 장치로부터 타겟 오브젝트(1)까지의 거리 정보를 의미할 수 있다.
한편, 전자 장치는 타겟 오브젝트(1)에 대한 유형 정보(26), 오브젝트 영역 정보(27) 및 거리 정보(40)를 바탕으로 이미지를 생성할 수 있다. 예를 들어, 전자 장치는 타겟 오브젝트(1)에 대한 유형 정보(26), 오브젝트 영역 정보(27) 및 거리 정보(40)가 포함된 이미지를 생성할 수 있다. 또한, 전자 장치는 생성된 이미지를 디스플레이를 통해 출력하거나, 다른 외부 장치로 전송할 수 있다.
이하에서는 전자 장치를 구성하는 각 구성요소에 대하여 상세히 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다. 도 2를 참조하면, 전자 장치(100)는 카메라(110), 메모리(120), 통신 인터페이스(130), 프로세서(140) 및 센서(150)를 포함할 수 있다. 한편, 전자 장치(100)가 반드시 상술한 구성들을 모두 포함하여 구현되어야 하는 것은 아니며, 상술한 구성 중 일부가 생략되어 구현될 수 있다.
이하에서는 전자 장치(100)의 각 구성에 대하여 상세히 설명한다.
카메라(110)는 다양한 이미지를 획득할 수 있다. 예를 들어, 카메라(110)는 전자 장치(110)에 설치되어 전자 장치(110)의 주변을 촬상하여 이미지를 획득할 수 있다. 또한, 카메라(110)는 다양한 종류의 카메라를 포함할 수 있다. 예를 들어, 카메라(110)는 2D기반의 RGB 카메라 및 IR 카메라를 포함할 수 있다. 또한, 카메라(110)는 3D기반의 ToF(Time of Flight) 카메라 및 스테레오 카메라를 포함할 수 있다.
메모리(120)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 이를 위해 메모리(120)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다.
또한, 메모리(120)는 적어도 하나의 인스터럭션을 포함할 수 있다. 예를 들어, 메모리(120)는, 실행될 때 프로세서(140)로 하여금, 카메라(110)로부터 이미지가 획득되면, 이미지에 포함된 오브젝트에 관한 정보를 획득하도록 하는 인스터럭션을 저장할 수 있다. 또한, 메모리(120)는 오브젝트를 인식하기 위한 신경망 모델(혹은 오브젝트 인식 모델 등)을 저장할 수 있다. 특히, 신경망 모델은 기존의 범용 프로세서(예를 들어, CPU(Central Processing Unit)) 또는 별도의 AI 전용 프로세서(예를 들어, GPU(Graphics Processing Unit), NPU(Neural Processing Unit) 등)에 의해 실행될 수 있다.
통신 인터페이스(130)는 적어도 하나의 회로를 포함하며 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 서버 또는 외부 장치와 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(130)는 와이파이 통신 모듈, 셀룰러 통신모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 및 5G(5세대) 이동통신 모듈 중 적어도 하나를 포함할 수 있다.
한편, 전자 장치(100)는 통신 인터페이스(130)를 통해 외부 장치가 전자 장치(100) 주변을 촬상한 이미지를 획득할 수 있다. 이 때, 전자 장치(100)는 외부 장치로부터 획득한 이미지에 포함된 오브젝트에 관한 정보를 획득할 수 있다. 또한, 전자 장치(100)는 획득한 오브젝트에 관한 정보를 통신 인터페이스(130)를 통해 외부 장치로 전송할 수 있다. 이 때, 전자 장치(100)는 서버 장치일 수 있다.
프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
예를 들어, 프로세서(140)는 전자 장치(100)의 주변을 촬상한 이미지 및 이미지의 뎁스(depth) 정보(또는 깊이 정보)를 획득할 수 있다. 이 때, 프로세서(140)는 카메라(110)를 통해 이미지 및 이미지의 뎁스 정보를 획득할 수 있다. 구체적으로, 프로세서(140)는 RGB 카메라가 촬상한 이미지를 획득할 수 있다. 또한, 프로세서(140)는 전자 장치(100)의 주변을 촬상하는 뎁스 카메라 또는 스테레오 카메라를 통해 이미지의 뎁스 정보를 획득할 수 있다. 또는, 프로세서(140)는 RGB 카메라가 촬상한 이미지의 픽셀값을 분석하여 이미지에 포함된 오브젝트의 뎁스 정보를 획득할 수 있다.
또한, 프로세서(140)는 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 신경망 모델에 획득된 이미지를 입력하여, 신경망 모델의 중간 레이어에 의해 출력되는 중간 특징 값을 획득할 수 있다. 이 때, 프로세서(140)는 중간 특징 값을 바탕으로 이미지에 포함된 적어도 하나의 오브젝트에 대한 특징 영역을 식별할 수 있다. 또한, 프로세서(140)는 중간 특징 값을 바탕으로 이미지에 포함된 적어도 하나의 오브젝트에 대한 특징 영역을 포함하는 특징 맵을 획득할 수 있다. 이 때, 특징 맵은 기정의된 복수의 중간 레이어에 의해 획득된 복수의 중간 특징 값을 합하여 획득될 수 있다.
또한, 프로세서(140)는 신경망 모델에 획득된 이미지를 입력하여 신경망 모델의 최종 레이어에 의해 출력되는 최종 특징 값을 바탕으로 오브젝트에 대한 특징 영역을 식별할 수 있다. 구체적으로, 프로세서(140)는 획득된 최종 특징 값을 바탕으로 이미지에 포함된 적어도 하나의 오브젝트 각각에 대한 유형 정보 및 오브젝트 영역에 대한 정보를 식별할 수 있다. 이 때, 프로세서(140)는 특징 맵 및 적어도 하나의 오브젝트 각각에 대한 오브젝트 영역을 매핑하여 적어도 하나의 오브젝트 각각에 대응되는 특징 영역을 식별할 수 있다.
또한, 프로세서(140)는 적어도 하나의 오브젝트에 대한 특징 영역 및 이미지의 뎁스 정보를 바탕으로 전자 장치(100)와 적어도 하나의 오브젝트 사이의 거리 정보를 획득할 수 있다. 예를 들어, 프로세서(140)는 획득된 뎁스 정보 중 오브젝트에 대한 특징 영역에 대응되는 픽셀 값을 오브젝트에 대한 특징 영역에 매핑함으로써 전자 장치(100)와 오브젝트 사이의 거리 정보를 획득할 수 있다. 이 때, 프로세서(140)는 이미지의 뎁스 정보의 대표 값을 획득하고, 획득된 대표 값을 오브젝트의 특징 영역에 매핑하여 거리 정보를 획득할 수 있다. 여기서, 대표 값은 이미지를 구성하는 복수의 픽셀의 뎁스값의 최빈값, 중간값, 평균값 및 최소값 중 적어도 하나일 수 있다.
한편, 프로세서(140)는 적어도 하나의 오브젝트 각각에 대한 오브젝트 영역 주위에 오브젝트의 유형 정보 및 거리 정보가 표시된 이미지를 생성할 수 있다. 프로세서(140)는 생성된 이미지가 디스플레이되도록 전자 장치(100)에 포함된 디스플레이를 제어할 수 있다. 또는, 프로세서(140)는 생성된 이미지가 다른 외부 장치를 통해 디스플레이되도록 통신 인터페이스(130)를 통해 외부 장치로 신호를 전송할 수 있다. 이에 따라, 전자 장치(100)는 사용자에게 전자 장치(100)로부터 이미지에 포함된 오브젝트 사이의 거리 정보 및 이미지에 포함된 오브젝트의 유형 정보 중 적어도 하나를 제공할 수 있다.
센서(150)는 오브젝트에 대한 뎁스 정보를 획득하기 위한 구성일 수 있다. 예를 들어, 센서(150)는 ToF 센서, 라이다(LiDAR) 센서 및 레이더(radar) 센서를 포함할 수 있다. 전자 장치(100)는 센서(150)가 획득한 오브젝트에 대한 뎁스 정보를 바탕으로 오브젝트의 거리 정보를 획득할 수 있다. 또한, 전자 장치(100)는 전술한 바와 같이 카메라(110)가 촬상한 이미지를 분석하여 이미지에 포함된 오브젝트의 뎁스 정보를 획득할 수 있다.
이상에서는 전자 장치(100)의 각 구성에 대하여 설명하였다. 이하에서는 본 개시의 일 실시 예에 따른 신경망 모델 및 신경망 모델을 이용한 전자 장치(100)의 제어 방법에 대하여 설명한다.
도 3은 본 개시의 일 실시 예에 따른 신경망 모델을 설명하기 위한 블록도이다. 도 3을 참조하면, 신경망 모델(310)은 입력 레이어(320), 중간 레이어(330) 및 최종 레이어(350)를 포함할 수 있다. 이 때, 각각의 레이어는 복수의 신경망 레이어를 포함할 수 있다.
입력 레이어(320)는 입력 이미지(301)를 수신하여, 입력 이미지(301)로부터 입력 특징 값을 출력할 수 있다. 또한, 입력 레이어(320)는 입력 특징 값을 중간 레이어(330)로 전송할 수 있다. 이 때, 중간 레이어(330)는 입력 레이어(320)로부터 수신한 입력 특징 값을 바탕으로 입력 이미지(301)의 중간 특징 값(340)을 추출 및 출력할 수 있다.
한편, 프로세서(140)는 중간 특징 값(340)을 바탕으로 입력 이미지(301)에 포함된 오브젝트에 대한 특징 영역에 대한 정보를 획득할 수 있다. 예를 들어, 프로세서(140)는 중간 특징 값(340)을 분석하여 이미지(301)에 포함된 오브젝트에 대한 특징 영역을 추출할 수 있다. 이 때, 중간 특징 값(340)의 성분 중 오브젝트에 대한 특징 영역에 대응되는 성분의 크기는 오브젝트가 존재하지 않는 영역에 대응되는 성분의 크기보다 클 수 있다.
한편, 중간 레이어(330)는 중간 특징 값(340)을 최종 레이어(350)로 전송할 수 있다. 이 때, 최종 레이어(350)는 중간 레이어(330)로부터 수신한 중간 특징 값(340)을 바탕으로 입력 이미지(301)에 대한 최종 특징 값(360)을 추출 및 출력할 수 있다. 최종 특징 값(360)은 오브젝트에 대한 다양한 정보와 관련될 수 있다. 예를 들어, 최종 특징 값(360)은 오브젝트가 위치한 영역에 대한 위치 정보 및 오브젝트의 유형 정보 중 적어도 하나와 관련될 수 있다. 구체적으로, 신경망 모델(310)이 오브젝트 분류 동작을 수행하도록 학습된 경우, 최종 특징 값(360)은 오브젝트의 유형 정보와 관련될 수 있다. 또한, 신경망 모델(310)인 오브젝트 인식 동작을 수행하도록 학습된 경우, 최종 특징 값(360)은 오브젝트가 위치한 영역에 대한 위치 정보 및 오브젝트의 유형 정보와 관련될 수 있다.
한편, 전술한 바와 같이 신경망 모델(310)은 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
이하에서는 본 개시의 일 실시 예에 따른 신경망 모델 및 이를 이용한 오브젝트 정보 획득 방법에 대하여 설명한다.
도 4는 본 개시의 일 실시 예에 따른 신경망 모델을 설명하기 위한 도면이다.
도 4를 참조하면, 신경망 모델(410)은 입력 이미지(401)를 바탕으로 최종 특징 값(420)을 출력할 수 있다. 이 때, 프로세서(140)는 신경망 모델(410)로부터 출력되는 최종 특징 값(420)을 획득할 수 있다. 또한, 프로세서(140)는 최종 특징 값(420)을 바탕으로 타겟 오브젝트(ob)에 대한 유형 정보(421) 및 오브젝트 영역 정보(422)를 식별할 수 있다. 이 때, 프로세서(140)는 식별된 유형 정보(421)(즉, 사람) 및 오브젝트 영역 정보(422)를 바탕으로 이미지를 생성할 수 있다.
한편, 신경망 모델(410)은 복수의 중간 레이어(411)를 포함할 수 있다. 복수의 중간 레이어(411)에서는 다양한 연산이 수행될 수 있다. 예를 들어, 복수의 중간 레이어(411) 각각에 의해 출력되는 중간 특징값과 중간 특징값에 대응되는 가중치(w1, w2, w3)를 곱한 값이 합해지는 연산이 수행될 수 있다. 또한, 중간 레이어(411)에서는 GAP(Global Average Pooling)이 수행될 수 있다. 신경망 모델은(410)은 다수의 컨볼루션 레이어(CONV, convolution layer)들을 포함할 수 있다. 이 때, 다수의 컨볼루션 레이어들은 중간 레이어(411)에 포함될 수 있다.
도 5는 본 개시의 일 실시 예에 따른 오브젝트 거리 획득 방법을 설명하기 위한 도면이다.
프로세서(140)는 제1 이미지(510) 및 제1 이미지(510)를 바탕으로 추출된 제1 오브젝트(ob1)에 대한 제1 오브젝트 영역 정보(511)를 획득할 수 있다. 이 때, 프로세서(140)는 도 4의 신경망 모델(410)에 제1 이미지(510)를 입력하여 제1 오브젝트 영역 정보(511)를 획득할 수 있다. 또한, 프로세서(140)는 제1 이미지(510)에 대응되는 제1 뎁스 정보(520)를 획득할 수 있다. 이 때, 프로세서(140)는 제1 오브젝트 영역 정보(511) 및 제1 뎁스 정보(520)를 바탕으로 제1 오브젝트(ob1)의 거리 정보를 획득할 수 있다. 구체적으로, 예를 들어, 프로세서(140)는 제1 뎁스 정보(520) 중 제1 오브젝트 영역 정보(511)에 대응되는 제1 서브 뎁스 정보(521)를 제1 오브젝트 영역 정보(511)에 매핑함으로써 제1 오브젝트(ob1)의 거리 값을 획득할 수 있다. 구체적으로, 프로세서(140)는 제1 서브 뎁스 정보(521)의 픽셀의 대표값을 제1 오브젝트(ob1)의 거리 값으로 정의할 수 있다. 여기서, 대표값은 제1 서브 뎁스 정보(521)에 대응되는 픽셀의 최빈값, 중간값, 평균값 및 최소값 중 적어도 하나일 수 있다. 즉, 대표값은 각각 거리값을 포함하는 복수의 픽셀값을 바탕으로 산출된 대표 거리값을 의미할 수 있다.
한편, 전자 장치는 거리 정보를 획득하고자 하는 타겟 오브젝트 앞에 다른 장애물이 있는 경우에도, 타겟 오브젝트의 거리 정보를 획득할 수 있다.
도 6은 본 개시의 다른 일 실시 예에 따른 오브젝트 거리 정보 획득 방법을 설명하기 위한 도면이다.
프로세서(140)는 제2 이미지(610) 및 제2 이미지(610)를 바탕으로 추출된 제1 오브젝트(ob1)에 대한 제2 오브젝트 영역 정보(611)를 획득할 수 있다. 이 때, 프로세서(140)는 도 4의 신경망 모델(410)에 제2 이미지(610)를 입력하여 제2 오브젝트 영역 정보(611)를 획득할 수 있다. 또한, 제2 오브젝트 영역 정보(611)는 도 5의 제1 오브젝트 영역 정보(511)와 동일할 수 있다. 또한, 프로세서(140)는 제2 이미지(610)에 대응되는 제2 뎁스 정보(620)를 획득할 수 있다. 여기서, 제2 뎁스 정보(620)는 제2 이미지(610)에 대응되는 뎁스 이미지일 수 있다. 이 때, 프로세서(140)는 제2 뎁스 정보(620)를 바탕으로 제1 오브젝트(ob1)의 거리 값을 정의 또는 획득할 수 있다. 예를 들어, 프로세서(140)는 제2 뎁스 정보(620) 중 제2 오브젝트 영역 정보(611)에 대응되는 제2 서브 뎁스 정보(621)를 제2 오브젝트 영역 정보(611)에 매핑함으로써 제1 오브젝트(ob1)의 거리 값을 정의할 수 있다. 구체적으로, 프로세서(140)는 제2 서브 뎁스 정보(621)의 픽셀의 대표값을 제1 오브젝트(ob1)의 거리 값으로 정의할 수 있다.
한편, 제2 오브젝트 영역 정보(611)에는 제1 오브젝트(ob1)가 아닌 제2 오브젝트(ob2)에 대한 데이터가 포함될 수 있다. 즉, 거리 정보 획득 대상인 제1 오브젝트(ob1)에 대한 제2 오브젝트 영역 정보(611)에는 거리 정보 획득 대상이 아닌 장애물인 제2 오브젝트(ob2)에 대한 데이터가 포함될 수 있다. 즉, 도 5에 도시된 바와 같이 오브젝트 영역 정보(52)를 지시하는 바운딩 박스 내에는 제1 오브젝트(ob1)뿐만 아니라 제2 오브젝트(ob2)가 포함될 수 있다. 이에 따라, 제2 서브 뎁스 정보(621)에는 제1 오브젝트(ob1)뿐만 아니라 제2 오브젝트(ob2)에 대응되는 뎁스 정보가 포함될 수 있다.
따라서, 프로세서(140)가 제2 서브 뎁스 정보(621)의 대표값을 산출할 때, 제1 오브젝트(ob1)와 무관한 제2 오브젝트(ob2)에 대한 뎁스 정보가 반영될 수 있다. 이에 따라, 제1 오브젝트(ob1)의 거리 정보의 정확도가 감소할 수 있다. 이를 방지하기 위해 프로세서(140)는 제2 서브 뎁스 정보(621)의 대표 값 산출 시 제2 서브 뎁스 정보(621)에 대응되는 픽셀 중 제2 오브젝트(ob2)에 대응되는 픽셀을 제외한 나머지 픽셀의 값을 바탕으로 대표 값을 산출할 수 있다.
이와 같이, 하나의 바운딩 박스 내에 복수의 오브젝트가 존재하는 경우, 타겟 오브젝트 외 다른 장애물 오브젝트로 인해 타겟 오브젝트의 거리 정확도가 감소하는 것을 방지하기 위한 기술이 필요하다.
도 7은 본 개시의 또 다른 일 실시 예에 따른 오브젝트 거리 정보 획득 방법을 설명하기 위한 도면이다.
프로세서(140)는 제1 오브젝트(ob1)를 포함하는 제3 이미지(710)를 바탕으로 제1 오브젝트(ob1)에 대한 제3 오브젝트 영역 정보(711)를 획득할 수 있다. 또한, 프로세서(140)는 제3 이미지(710)에 대응되는 제3 뎁스 정보(730)를 획득할 수 있다. 한편, 제3 오브젝트 영역 정보(711) 및 제3 뎁스 정보(730)는 각각 도 6의 제2 오브젝트 영역 정보(611) 및 제2 뎁스 정보(620)에 대응될 수 있는 바, 도 6과 중복되는 설명은 생략하도록 한다.
프로세서(140)는 제3 이미지(710)를 바탕으로 제1 오브젝트(ob1)에 대한 특징 영역(721)을 포함하는 특징 맵(720)을 획득할 수 있다. 이 때, 특징 맵(720)은 제1 오브젝트(ob1)에 대한 특징 영역(721)에 위치 정보를 포함할 수 있다. 또한, 특징 영역(721)은 제3 오브젝트 영역 정보(711)에 대응되는 바운딩 박스 내에 위치할 수 있다.
한편, 프로세서(140)는 제1 오브젝트(ob1)에 대한 특징 영역(721)을 바탕으로 제1 오브젝트(ob1)의 거리 정보를 획득 또는 정의할 수 있다. 예를 들어, 프로세서(140)는 제3 뎁스 정보(730) 중 제1 오브젝트(ob1)에 대한 특징 영역(721)에 대응되는 제3 서브 뎁스 정보(731)를 바탕으로 제1 오브젝트(ob1)의 거리 정보를 획득할 수 있다. 구체적으로, 프로세서(140)는 제3 서브 뎁스 정보(731)에 대응되는 픽셀의 대표 값을 특징 맵에(720)에 매핑하여 제1 오브젝트(ob1)의 거리 정보를 획득할 수 있다.
이와 같이, 프로세서(140)는 바운딩 박스 전체에 대응되는 뎁스 정보가 아닌 특징 영역(721)에 대응되는 제3 서브 뎁스 정보(731)를 바탕으로 제1 오브젝트(ob1)의 거리 정보를 획득할 수 있다. 이에 따라, 프로세서(140)는 제1 오브젝트(ob1)의 거리 정보 획득 시 제2 오브젝트(ob2)의 뎁스 정보가 반영되는 것을 방지할 수 있다. 따라서, 본 실시 예에 따르면 프로세서(140)는 타겟 오브젝트(즉, 제1 오브젝트인 사람)와 장애물 오브젝트(즉, 책상)가 오버랩되는 경우에도 타겟 오브젝트에 대한 정확한 거리 정보를 획득할 수 있다. 즉, 본 실시 예에 따르면 제1 오브젝트(ob1)의 거리 정보의 정확도가 향상될 수 있다.
한편, 상술한 특징 맵(720)은 신경망 모델의 중간 특징 값을 바탕으로 획득될 수 있다.
도 8은 본 개시의 일 실시 예에 따른 특징 맵 획득 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 프로세서(140)는 입력 이미지(801)를 신경망 모델(810)에 입력하여 최종 특징 값(820)을 획득할 수 있다. 이 때, 최종 특징 값(820)은 제1 오브젝트(ob1)에 대한 유형 정보(821) 및 오브젝트 영역 정보(822)를 포함할 수 있다. 한편, 도 8의 신경망 모델(810)은 도 4의 신경망 모델(410)에 대응될 수 있으므로, 도 4와 중복되는 설명은 생략하도록 한다.
한편, 신경망 모델(810)은 복수의 중간 레이어(830)를 포함할 수 있다. 프로세서(140)는 복수의 중간 레이어(830)로부터 적어도 하나의 중간 특징 값을 획득할 수 있다. 예를 들어, 프로세서(140)는 복수의 중간 레이어(830)에 의해 출력되는 제1 중간 특징 값(831), 제2 중간 특징 값(832) 및 제3 중간 특징 값(833)을 획득할 수 있다. 이 때, 프로세서(140)는 제1 중간 특징 값(831), 제2 중간 특징 값(832) 및 제3 중간 특징 값(833)을 합하여 특징 맵(834)을 획득할 수 있다. 또한, 특징 맵(834)은 제1 중간 특징 값(831), 제2 중간 특징 값(832) 및 제3 중간 특징 값(833) 각각에 가중치(w1, w3, w3)를 곱한 값들의 합으로 산출될 수 있다.
제1 중간 특징 값(831), 제2 중간 특징 값(832) 및 제3 중간 특징 값(833) 각각은 적어도 하나의 오브젝트에 대한 특징 영역에 대한 위치 정보를 포함할 수 있다. 예를 들어, 제1 중간 특징 값(831)은 제1 오브젝트(ob1)에 대한 특징 영역에 대한 위치 정보를 포함할 수 있다.
한편, 이상에서는 설명의 편의상 입력 이미지에 거리 정보 추출 대상인 오브젝트가 하나인 경우를 예로 설명하였으나, 이에 한정되는 것은 아니며, 프로세서(140)는 입력 이미지 내에 포함된 복수의 오브젝트에 대한 거리 정보를 획득할 수 있다.
도 9는 본 개시의 또 다른 일 실시 예에 따른 오브젝트 거리 정보 획득 방법을 설명하기 위한 도면이다.
프로세서(140)는 제3 오브젝트(ob3) 및 제4 오브젝트(ob4)를 포함하는 제4 이미지(910) 및 제4 이미지(910)에 대응되는 제4 뎁스 정보(930)를 획득할 수 있다. 또한, 프로세서(140)는 제4 이미지(910)를 바탕으로 제3 오브젝트(ob3) 및 제4 오브젝트(ob4) 각각에 오브젝트 영역 정보를 획득할 수 있다. 이 때, 프로세서(140)는 신경망 모델에 제4 이미지(910)를 입력하여 획득된 최종 특징 값을 바탕으로 제3 오브젝트(ob3) 및 제4 오브젝트(ob4) 각각에 오브젝트 영역 정보를 획득할 수 있다.
또한, 프로세서(140)는 제4 이미지(910)를 바탕으로 제4 특징 맵(920)을 획득할 수 있다. 이 때, 제4 특징 맵(920)은 제3 오브젝트(ob3)에 대한 제3 특징 영역(921) 및 제4 오브젝트(ob4)에 대한 제4 특징 영역(922)에 대한 정보를 포함할 수 있다. 또한, 프로세서(140)는 제3 특징 영역(921) 및 제4 특징 영역(922)을 각각 식별할 수 있다. 한편, 프로세서(140)는 신경망 모델에 제4 이미지(910)를 입력하여 획득된 중간 특징 값을 바탕으로 제3 특징 영역(921) 및 제4 특징 영역(922) 각각에 대한 정보를 획득할 수 있다.
또한, 프로세서(140)는 제3 특징 맵(920) 및 제4 뎁스 정보(930)를 바탕으로 제3 오브젝트(ob3) 및 제4 오브젝트(ob4) 각각에 대한 거리 정보를 획득할 수 있다. 구체적으로, 프로세서(140)는 제4 뎁스 정보(940) 중 제3 특징 영역(921)에 대응되는 제3 특징 픽셀(931) 및 제4 특징 영역(922)에 대응되는 제4 특징 픽셀(932)을 식별할 수 있다. 이 때, 프로세서(140)는 제3 특징 픽셀(931)을 바탕으로 제3 대표 값을 획득할 수 있다. 또한, 프로세서(140)는 제4 특징 픽셀(932)을 바탕으로 제4 대표 값을 획득할 수 있다. 이 때, 프로세서(140)는 제3 대표 값 및 제4 대표 값을 각각 제3 특징 영역(921) 및 제4 특징 영역(922)에 매핑하여 매핑하여 제3 오브젝트(ob3) 및 제4 오브젝트(ob4)의 거리 정보를 획득할 수 있다.
이와 같이 프로세서(140)는 특징 영역을 바탕으로 오브젝트의 거리를 획득할 수 있다. 이에 따라, 도 9와 같이 제3 오브젝트(ob3) 및 제4 오브젝트(ob4) 각각의 바운딩 박스가 오버랩되는 경우에도, 프로세서(140)는 제3 오브젝트(ob3) 및 제4 오브젝트(ob4) 각각에 대한 거리 정보를 정확히 획득할 수 있다.
도 10은 본 개시의 또 다른 일 실시 예에 따른 오브젝트 거리 정보 획득 방법을 설명하기 위한 도면이다.
프로세서(140)는 제3 오브젝트(ob3) 및 제4 오브젝트(ob4)를 포함하는 입력 이미지(1001)를 신경망 모델(1100)에 입력할 수 있다. 이 때, 신경망 모델(1100)은 소정의 유형을 갖는 오브젝트에 대응되는 적어도 하나의 중간 레이어를 포함할 수 있다. 예를 들어, 신경망 모델(1100)은 제1 유형(즉, 사람)의 제3 오브젝트(ob3)에 대응되는 제3 중간 레이어(1110)를 포함할 수 있다. 또한, 신경망 모델(1100)은 제2 유형(즉, 강아지)의 제4 오브젝트(1120)에 대응되는 제4 중간 레이어(1120)를 포함할 수 있다. 이 때, 제3 중간 레이어(1110)는 제5 중간 특징 값(1210)을 출력할 수 있다. 프로세서(140)는 제5 중간 특징 값(1210)을 바탕으로 제3 오브젝트(ob3)에 대응되는 제5 특징 영역(1211)에 대한 정보를 획득할 수 있다. 또한, 제4 중간 레이어(1120)는 제6 중간 특징 값(1220)을 출력할 수 있다. 프로세서(140)는 제6 중간 특징 값(1220)을 바탕으로 제4 오브젝트(ob4)에 대응되는 제6 특징 영역(1221)에 대한 정보를 획득할 수 있다.
이처럼, 신경망 모델(1100)에 포함된 중간 레이어는 특정 유형의 오브젝트에 대응될 수 있다. 이 때, 프로세서(140)는 신경망 모델(1100)의 최종 특징 값 없이도 제3 오브젝트(ob3) 및 제4 오브젝트(ob4)에 대한 유형 정보를 획득할 수 있다. 또한, 프로세서(140)는 입력 이미지(1001)에 대응되는 제5 뎁스 정보(1300)를 바탕으로 제3 오브젝트(ob3) 및 제4 오브젝트(ob4) 각각에 대한 거리 정보를 획득할 수 있다. 구체적으로, 프로세서(140)는 제5 특징 영역(1211)에 대한 정보를 바탕으로 제5 특징 영역(1211)에 대응되는 제5 서브 뎁스 정보(1310)를 획득할 수 있다. 이 때, 프로세서(140)는 제5 서브 뎁스 정보(1310)를 제5 중간 특징 값(1210)에 매핑하여 제3 오브젝트(ob3)에 대한 거리 정보를 획득할 수 있다. 마찬가지로, 프로세서(140)는 제6 특징 영역(1221)에 대한 정보를 바탕으로 제6 특징 영역(1221)에 대응되는 제6 서브 뎁스 정보(1320)를 획득할 수 있다. 이 때, 프로세서(140)는 제6 서브 뎁스 정보(1320)를 제6 중간 특징 값(1220)에 매핑하여 제4 오브젝트(ob4)에 대한 거리 정보를 획득할 수 있다.
이처럼, 신경망 모델에 포함된 복수의 중간 레이어 중 적어도 일부가 특정 유형의 오브젝트에 대응되는 경우, 프로세서(140)는 특징 맵이 아닌 중간 특징 값을 바탕으로 오브젝트의 거리 정보를 획득할 수 있다.
한편, 프로세서(140)는 획득된 오브젝트의 정보를 바탕으로 이미지를 생성할 수 있다.
도 11은 본 개시의 일 실시 예에 따른 출력 이미지를 나타내는 도면이다.
프로세서(140)는 오브젝트의 유형 정보, 거리 정보 및 오브젝트 영역 정보를 바탕으로 출력 이미지를 생성할 수 있다. 출력 이미지는 오브젝트 영역에 대한 표시를 포함할 수 있다. 예를 들어, 출력 이미지는 오브젝트 영역 주변에 표시되는 바운딩 박스(bounding box)를 포함할 수 있다. 또한, 출력 이미지에는 바운딩 박스(bounding box) 주위에 오브젝트의 유형 정보(즉, 도 11에서는 사람, 강아지)가 표시될 수 있다. 또한, 출력 이미지에는 오브젝트의 유형 정보 또는 오브젝트 영역 주변에, 오브젝트의 거리 정보가 표시될 수 있다.
한편, 프로세서(140)는 상술한 바와 같인 생성된 출력 이미지를 전자 장치(100)에 포함된 디스플레이를 통해 표시되도록 디스플레이를 제어할 수 있다. 또는, 프로세서(140)는 생성된 출력 이미지가 다른 외부 장치를 통해 디스플레이되도록 통신 인터페이스(130)를 통해 외부 장치로 신호를 전송할 수 있다. 이처럼, 전자 장치(100)는 사용자에게 오브젝트에 대한 다양한 정보를 제공할 수 있다.
도 12는 본 개시의 일 실시 예에 따른 제어 방법을 도시한 순서도이다.
도 12를 참조하면, 제어 방법은 이미지 및 이미지의 뎁스 정보를 획득하는 단계(S1210), 신경망 모델에 획득된 이미지를 입력하여 중간 특징 값을 획득하는 단계(S1220), 이미지에 포함된 오브젝트에 대한 특징 영역을 식별하는 단계(S1230) 및 특징 영역 및 뎁스 정보를 바탕으로 전자 장치와 오브젝트 사이의 거리 정보를 획득하는 단계(S1240)를 포함할 수 있다.
이하에서는 각 단계에 대하여 상세히 설명한다.
프로세서(140)는 이미지 및 이미지의 뎁스 정보를 획득할 수 있다(S1210). 프로세서(140)는 전자 장치(100)의 카메라(110)가 전자 장치(100) 주변을 촬상한 이미지 및 이미지의 뎁스 정보를 획득할 수 있다. 이 때, 이미지는 카메라(110)에 포함된 RGB 카메라가 촬상한 RGB이미지일 수 있고, 이미지의 뎁스 정보는 카메라(110)에 포함된 뎁스 카메라가 촬상한 뎁스 이미지일 수 있다. 또한, 프로세서(140)는 외부 장치가 촬상한 이미지 및 이미지의 뎁스 정보를 획득할 수 있다.
또한, 프로세서(140)는 신경망 모델에 획득된 이미지를 입력하여 중간 특징 값을 획득할 수 있다(S1220). 신경망 모델은 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습될 수 있다. 오브젝트에 대한 정보는 오브젝트의 유형 정보, 거리 정보 및 위치 정보를 포함할 수 있다.
또한, 프로세서(140)는 이미지에 포함된 오브젝트에 대한 특징 영역을 식별할 수 있다(S1230). 이 때, 프로세서(140)는 신경망 모델로부터 획득되는 최종 특징 값을 바탕으로 오브젝트에 대한 유형 정보 및 오브젝트 영역에 대한 정보를 식별할 수 있다. 또한, 프로세서(140)는 중간 특징 값을 바탕으로 획득된 특징 맵과 오브젝트 영역을 매핑하여 오브젝트에 대한 특징 영역을 식별할 수 있다. 한편, 프로세서(140)는 신경망 모델의 기정의된 중간 레이어에 의해 획득된 복수의 중간 특징 값을 합하여 특징 맵을 획득할 수 있다.
또한, 프로세서(140)는 오브젝트에 대한 특징 영역 및 이미지의 뎁스 정보를 바탕으로 전자 장치와 오브젝트 사이의 거리 정보를 획득할 수 있다(S1240). 이 때, 프로세서(140)는 이미지의 뎁스 정보 중 특징 영역에 대응되는 특징 픽셀을 바탕으로 대표 값을 획득할 수 있다. 또한, 프로세서(140)는 획득된 대표 값을 특징 영역에 매핑하여 전자 장치와 오브젝트 사이의 거리 정보를 획득할 수 있다.
한편, 전자 장치(100)는 다양한 종류의 전자 기기로 구현될 수 있다. 예를 들어, 전자 장치(100)는 로봇 청소기, 무인 운반 차(AGV, Automated Guided Vehicle) 등으로 구현될 수 있다. 이 때, 프로세서(140)는 획득된 오브젝트에 대한 정보를 바탕으로 전자 장치(100)의 주행 제어 신호를 생성할 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 카메라
120: 메모리 130: 통신 인터페이스
140: 프로세서 150: 센서

Claims (19)

  1. 전자 장치의 제어 방법에 있어서,
    이미지 및 상기 이미지의 뎁스 정보를 획득하는 단계;
    이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 신경망 모델에 상기 획득된 이미지를 입력하여, 상기 신경망 모델의 중간 레이어에 의해 출력되는 중간 특징 값을 획득하는 단계;
    상기 중간 특징 값을 바탕으로 상기 이미지에 포함된 적어도 하나의 오브젝트에 대한 특징 영역을 식별하는 단계; 및
    상기 적어도 하나의 오브젝트에 대한 특징 영역 및 상기 이미지의 뎁스 정보를 바탕으로 상기 전자 장치와 상기 적어도 하나의 오브젝트의 사이의 거리 정보를 획득하는 단계;를 포함하는
    제어 방법.
  2. 제1 항에 있어서,
    상기 신경망 모델에 상기 획득된 이미지를 입력하여 상기 신경망 모델의 최종 레이어에 의해 출력되는 최종 특징 값을 획득하고,
    상기 획득된 최종 특징 값을 바탕으로 상기 이미지에 포함된 상기 적어도 하나의 오브젝트 각각에 대한 유형 정보 및 오브젝트 영역에 대한 정보를 식별하는 단계;를 더 포함하며,
    상기 식별하는 단계는,
    상기 중간 특징값을 바탕으로 상기 이미지에 포함된 적어도 하나의 오브젝트에 대한 특징 영역을 포함하는 특징 맵을 획득하는 단계, 및 상기 특징 맵 및 상기 적어도 하나의 오브젝트 각각에 대한 오브젝트 영역을 매핑하여 상기 적어도 하나의 오브젝트 각각에 대응되는 특징 영역을 식별하는 단계를 포함하는
    제어 방법.
  3. 제2 항에 있어서,
    상기 특징 맵을 획득하는 단계는,
    기정의된 복수의 중간 레이어에 의해 획득된 복수의 중간 특징 값을 합하여 상기 특징 맵을 획득하는
    제어 방법.
  4. 제2 항에 있어서,
    상기 적어도 하나의 오브젝트 각각에 대한 오브젝트 영역 주위에 상기 유형 정보 및 상기 거리 정보를 표시된 이미지를 생성하는 단계;를 더 포함하는
    제어 방법.
  5. 제1 항에 있어서,
    상기 거리 정보를 획득하는 단계는,
    상기 이미지의 뎁스 정보 중 상기 특징 영역에 대응되는 특징 픽셀을 바탕으로 대표 값을 획득하고,
    상기 대표 값을 상기 특징 영역에 매핑하여 상기 거리 정보를 획득하는
    제어 방법.
  6. 제1 항에 있어서,
    상기 뎁스 정보를 획득하는 단계는,
    뎁스 카메라 또는 스테레오 카메라를 이용하여 상기 뎁스 정보를 획득하거나, 상기 이미지를 분석하여 상기 뎁스 정보를 획득하는
    제어 방법.
  7. 제1 항에 있어서,
    상기 중간 레이어는 제1 유형의 오브젝트에 대응되는 제1 중간 레이어를 포함하며,
    상기 식별하는 단계는,
    상기 제1 중간 레이어에 의해 출력되는 제1 중간 특징 값을 바탕으로
    상기 적어도 하나의 오브젝트 상기 제1 유형을 갖는 제1 오브젝트에 대한 제1 특징 영역을 식별하고,
    상기 거리 정보를 획득하는 단계는
    상기 이미지의 뎁스 정보 중 상기 제1 특징 영역에 대응되는 제1 특징 픽셀을 바탕으로 산출된 제1 대표 값을 상기 제1 특징 영역에 매핑하여 상기 전자 장치와 상기 제1 오브젝트 사이의 거리 정보를 획득하는
    제어 방법.
  8. 제1 항에 있어서,
    상기 유형 정보, 상기 오브젝트 영역에 대한 정보 및 상기 거리 정보를 바탕으로 상기 전자 장치의 주행 제어 신호를 생성하는 단계;를 더 포함하는
    제어 방법.
  9. 전자 장치에 있어서,
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 적어도 하나의 인스트럭션을 실행하는 프로세서;를 포함하고,
    상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행함으로써,
    이미지 및 상기 이미지의 뎁스 정보를 획득하고,
    이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 신경망 모델에 상기 획득된 이미지를 입력하여, 상기 신경망 모델의 중간 레이어에 의해 출력되는 중간 특징 값을 획득하고,
    상기 중간 특징 값을 바탕으로 상기 이미지에 포함된 적어도 하나의 오브젝트에 대한 특징 영역을 식별하고,
    상기 적어도 하나의 오브젝트에 대한 특징 영역 및 상기 이미지의 뎁스 정보를 바탕으로 상기 전자 장치와 상기 적어도 하나의 오브젝트의 사이의 거리 정보를 획득하는
    전자 장치.
  10. 제9 항에 있어서,
    상기 프로세서는,
    상기 신경망 모델에 상기 획득된 이미지를 입력하여 상기 신경망 모델의 최종 레이어에 의해 출력되는 최종 특징 값을 획득하고,
    상기 획득된 최종 특징 값을 바탕으로 상기 이미지에 포함된 상기 적어도 하나의 오브젝트 각각에 대한 유형 정보 및 오브젝트 영역에 대한 정보를 식별하고,
    상기 중간 특징값을 바탕으로 상기 이미지에 포함된 적어도 하나의 오브젝트에 대한 특징 영역을 포함하는 특징 맵을 획득하는
    전자 장치.
  11. 제10 항에 있어서,
    상기 프로세서는,
    상기 획득된 특징 맵 및 상기 적어도 하나의 오브젝트 각각에 대한 오브젝트 영역을 매핑하여 상기 적어도 하나의 오브젝트 각각에 대응되는 특징 영역을 식별하는
    전자 장치.
  12. 제10 항에 있어서,
    상기 특징 맵은 기정의된 복수의 중간 레이어에 의해 획득된 복수의 중간 특징 값들이 합해져 획득되는
    전자 장치.
  13. 제9 항에 있어서,
    상기 프로세서는,
    상기 이미지의 뎁스 정보 중 상기 특징 영역에 대응되는 특징 픽셀을 바탕으로 대표 값을 획득하고,
    상기 대표 값을 상기 특징 영역에 매핑하여 상기 거리 정보를 획득하는
    전자 장치.
  14. 제9 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 오브젝트 각각에 대한 오브젝트 영역 주위에 상기 유형 정보 및 상기 거리 정보가 표시된 이미지를 생성하는
    전자 장치.
  15. 제14 항에 있어서,
    디스플레이;를 더 포함하고,
    상기 프로세서는,
    상기 생성된 이미지가 출력되도록 상기 디스플레이를 제어하는
    전자 장치.
  16. 제14 항에 있어서,
    상기 프로세서는,
    상기 생성된 이미지가 출력되도록 외부 장치를 통해 출력되도록 상기 통신 인터페이스를 통해 상기 외부 장치로 신호를 전송하는
    전자 장치.
  17. 제9 항에 있어서,
    상기 프로세서는,
    뎁스 카메라 또는 스테레오 카메라를 통해 상기 이미지의 뎁스 정보를 획득하거나, 상기 획득된 이미지를 분석하여 상기 이미지의 뎁스 정보를 획득하는
    전자 장치.
  18. 제1 항에 있어서,
    상기 중간 레이어는 제1 유형의 오브젝트에 대응되는 제1 중간 레이어를 포함하며,
    상기 프로세서는,
    상기 제1 중간 레이어에 의해 출력되는 제1 중간 특징 값을 바탕으로 상기 제1 유형의 오브젝트에 대한 제1 특징 영역을 식별하고,
    상기 이미지의 뎁스 정보 중 상기 제1 특징 영역에 대응되는 특징 픽셀을 바탕으로 제1 대표 값을 획득하고,
    상기 제1 특징 영역에 상기 제1 대표 값을 상기 제1 거리 정보를 획득하는
    전자 장치.
  19. 제1 항에 있어서,
    상기 프로세서는,
    상기 유형 정보, 상기 오브젝트 영역에 대한 정보 및 상기 거리 정보를 바탕으로 상기 전자 장치의 주행 제어 신호를 생성하는 단계를 더 포함하는
    제어 방법.

KR1020190149859A 2019-11-20 2019-11-20 전자 장치 및 그 제어 방법 KR20210061839A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190149859A KR20210061839A (ko) 2019-11-20 2019-11-20 전자 장치 및 그 제어 방법
EP20891234.5A EP4004872A4 (en) 2019-11-20 2020-09-09 ELECTRONIC DEVICE AND ASSOCIATED CONTROL METHOD
CN202080079361.3A CN114830177A (zh) 2019-11-20 2020-09-09 电子设备和用于控制该电子设备的方法
PCT/KR2020/012200 WO2021101045A1 (en) 2019-11-20 2020-09-09 Electronic apparatus and method for controlling thereof
US17/091,802 US11417007B2 (en) 2019-11-20 2020-11-06 Electronic apparatus and method for controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190149859A KR20210061839A (ko) 2019-11-20 2019-11-20 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20210061839A true KR20210061839A (ko) 2021-05-28

Family

ID=75908927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190149859A KR20210061839A (ko) 2019-11-20 2019-11-20 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US11417007B2 (ko)
EP (1) EP4004872A4 (ko)
KR (1) KR20210061839A (ko)
CN (1) CN114830177A (ko)
WO (1) WO2021101045A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230009714A (ko) * 2021-07-09 2023-01-17 세종대학교산학협력단 Dnn을 이용한 fmcw 레이더의 해상도 향상 장치 및 방법
WO2023068511A1 (ko) * 2021-10-22 2023-04-27 삼성전자주식회사 실시간 사람 감지 및 추적 시스템을 위한 전자 장치 및 그 제어 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062396B (zh) * 2019-11-29 2022-03-25 深圳云天励飞技术有限公司 车牌号码识别方法、装置、电子设备及存储介质
KR102159052B1 (ko) * 2020-05-12 2020-09-23 주식회사 폴라리스쓰리디 영상 분류 방법 및 장치

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100938195B1 (ko) 2008-07-28 2010-01-21 재단법인대구경북과학기술원 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
US10776635B2 (en) * 2010-09-21 2020-09-15 Mobileye Vision Technologies Ltd. Monocular cued detection of three-dimensional structures from depth images
JP6245140B2 (ja) * 2014-10-27 2017-12-13 株式会社デンソー 対象物識別装置、運転支援システム、車両および対象物識別方法
US9594984B2 (en) 2015-08-07 2017-03-14 Google Inc. Business discovery from imagery
CN106548127B (zh) * 2015-09-18 2022-11-04 松下电器（美国）知识产权公司 图像识别方法
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
KR102592076B1 (ko) 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
KR101735997B1 (ko) 2016-02-03 2017-05-16 한국기술교육대학교 산학협력단 깊이 정보 혼합을 위한 이미지 추출방법
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
KR20170119167A (ko) 2016-04-18 2017-10-26 한국전자통신연구원 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법
US10210418B2 (en) * 2016-07-25 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Object detection system and object detection method
CN106295678B (zh) * 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
US20180068459A1 (en) * 2016-09-08 2018-03-08 Ford Global Technologies, Llc Object Distance Estimation Using Data From A Single Camera
US10262237B2 (en) * 2016-12-08 2019-04-16 Intel Corporation Technologies for improved object detection accuracy with multi-scale representation and training
JP6912215B2 (ja) 2017-02-09 2021-08-04 国立大学法人東海国立大学機構 対象物の姿勢等を検出する検出方法、検出プログラム
JP6738296B2 (ja) * 2017-03-23 2020-08-12 株式会社日立製作所 畳込みニューラルネットワークによる処理方法、畳込みニューラルネットワークの学習方法、および畳込みニューラルネットワークを備える処理装置
US11157764B2 (en) * 2017-03-27 2021-10-26 Intel Corporation Semantic image segmentation using gated dense pyramid blocks
JP7023613B2 (ja) 2017-05-11 2022-02-22 キヤノン株式会社 画像認識装置および学習装置
CN108229479B (zh) * 2017-08-01 2019-12-31 北京市商汤科技开发有限公司 语义分割模型的训练方法和装置、电子设备、存储介质
JP6972756B2 (ja) * 2017-08-10 2021-11-24 富士通株式会社 制御プログラム、制御方法、及び情報処理装置
KR102434574B1 (ko) * 2017-08-14 2022-08-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
KR102463175B1 (ko) 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
US10783640B2 (en) * 2017-10-30 2020-09-22 Beijing Keya Medical Technology Co., Ltd. Systems and methods for image segmentation using a scalable and compact convolutional neural network
US10970518B1 (en) * 2017-11-14 2021-04-06 Apple Inc. Voxel-based feature learning network
US10769411B2 (en) * 2017-11-15 2020-09-08 Qualcomm Technologies, Inc. Pose estimation and model retrieval for objects in images
JP2019096006A (ja) 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法
KR101921608B1 (ko) 2018-01-29 2018-11-26 한국과학기술원 깊이 정보 생성 장치 및 방법
US11164003B2 (en) * 2018-02-06 2021-11-02 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in video sequences
DE112019000049T5 (de) * 2018-02-18 2020-01-23 Nvidia Corporation Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
KR102595787B1 (ko) 2018-02-27 2023-11-24 삼성전자주식회사 전자 장치 및 그 제어 방법
CN108345890B (zh) * 2018-03-01 2022-10-28 腾讯科技（深圳）有限公司 图像处理方法、装置和相关设备
US10628686B2 (en) * 2018-03-12 2020-04-21 Waymo Llc Neural networks for object detection and characterization
CN108875904A (zh) * 2018-04-04 2018-11-23 北京迈格威科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
WO2020033345A1 (en) * 2018-08-06 2020-02-13 Google Llc Action localization using relational features
CN110163197B (zh) * 2018-08-24 2023-03-10 腾讯科技（深圳）有限公司 目标检测方法、装置、计算机可读存储介质及计算机设备
EP3620978A1 (de) * 2018-09-07 2020-03-11 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur klassifizierung von objekten
WO2020051776A1 (en) * 2018-09-11 2020-03-19 Intel Corporation Method and system of deep supervision object detection for reducing resource usage
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
US10579924B1 (en) * 2018-09-17 2020-03-03 StradVision, Inc. Learning method, learning device with multi-feeding layers and testing method, testing device using the same
US11106903B1 (en) * 2018-11-02 2021-08-31 Amazon Technologies, Inc. Object detection in image data
CN109784186B (zh) * 2018-12-18 2020-12-15 深圳云天励飞技术有限公司 一种行人重识别方法、装置、电子设备及计算机可读存储介质
KR102646889B1 (ko) * 2018-12-21 2024-03-12 삼성전자주식회사 스타일 변환을 위한 영상 처리 장치 및 방법
CN109903331B (zh) * 2019-01-08 2020-12-22 杭州电子科技大学 一种基于rgb-d相机的卷积神经网络目标检测方法
CN111428535A (zh) * 2019-01-09 2020-07-17 佳能株式会社 图像处理装置和方法及图像处理系统
US10402977B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same
US10410352B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
US10551846B1 (en) * 2019-01-25 2020-02-04 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting road user events using double embedding configuration in multi-camera system and testing method and testing device using the same
CN109978989B (zh) * 2019-02-26 2023-08-01 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110147836B (zh) * 2019-05-13 2021-07-02 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质
WO2020240808A1 (ja) * 2019-05-31 2020-12-03 楽天株式会社 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
JP6612487B1 (ja) * 2019-05-31 2019-11-27 楽天株式会社 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
US20200394458A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Weakly-supervised object detection using one or more neural networks
US11010605B2 (en) * 2019-07-30 2021-05-18 Rapiscan Laboratories, Inc. Multi-model detection of objects
US11126855B2 (en) * 2019-08-08 2021-09-21 Robert Bosch Gmbh Artificial-intelligence powered ground truth generation for object detection and tracking on image sequences

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230009714A (ko) * 2021-07-09 2023-01-17 세종대학교산학협력단 Dnn을 이용한 fmcw 레이더의 해상도 향상 장치 및 방법
WO2023068511A1 (ko) * 2021-10-22 2023-04-27 삼성전자주식회사 실시간 사람 감지 및 추적 시스템을 위한 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20210150746A1 (en) 2021-05-20
US11417007B2 (en) 2022-08-16
EP4004872A4 (en) 2022-11-02
CN114830177A (zh) 2022-07-29
EP4004872A1 (en) 2022-06-01
WO2021101045A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
US10861225B2 (en) Neural network processing for multi-object 3D modeling
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
KR20210061839A (ko) 전자 장치 및 그 제어 방법
CN109478239B (zh) 检测图像中的对象的方法和对象检测系统
JP6837597B2 (ja) 能動学習のシステム及び方法
US11164003B2 (en) System and method for detecting objects in video sequences
US10706505B2 (en) Method and system for generating a range image using sparse depth data
CN111507166A (zh) 通过一起使用照相机和雷达来学习cnn的方法及装置
US11111785B2 (en) Method and device for acquiring three-dimensional coordinates of ore based on mining process
US20220058818A1 (en) Object-centric three-dimensional auto labeling of point cloud data
US10945888B2 (en) Intelligent blind guide method and apparatus
US20160093046A1 (en) Apparatus and method for supporting computer aided diagnosis
US20240029303A1 (en) Three-dimensional target detection method and apparatus
WO2021098587A1 (zh) 手势分析方法、装置、设备及计算机可读存储介质
EP3623991B1 (en) Learning method, learning device for detecting lanes on the basis of cnn and testing method, testing device using the same
KR102310606B1 (ko) 자율주행 데이터 수집을 위한 센서 간의 위상차 제어 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310602B1 (ko) 다중 센서의 오차 보정 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310608B1 (ko) 레이더 및 라이다를 기반으로 하는 자율주행 학습 데이터의 처리 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310601B1 (ko) 레이저 프리뷰를 이용한 학습 데이터 수집 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310604B1 (ko) 다중 센서에 의해 수집된 데이터의 처리 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN112287955A (zh) 基于图像的处理、训练、前景提取方法、装置及系统
KR102310605B1 (ko) 데이터 수집용 다중 센서의 제어 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
US20230267749A1 (en) System and method of segmenting free space based on electromagnetic waves
KR102538225B1 (ko) 센서 퓨전 기반의 시맨틱 세그멘테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102454538B1 (ko) 인공지능을 이용한 행동 추정 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination