KR20210039237A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20210039237A
KR20210039237A KR1020190121838A KR20190121838A KR20210039237A KR 20210039237 A KR20210039237 A KR 20210039237A KR 1020190121838 A KR1020190121838 A KR 1020190121838A KR 20190121838 A KR20190121838 A KR 20190121838A KR 20210039237 A KR20210039237 A KR 20210039237A
Authority
KR
South Korea
Prior art keywords
camera
neural network
information
image
network model
Prior art date
Application number
KR1020190121838A
Other languages
English (en)
Inventor
여해동
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190121838A priority Critical patent/KR20210039237A/ko
Priority to PCT/KR2020/006413 priority patent/WO2021066275A1/ko
Publication of KR20210039237A publication Critical patent/KR20210039237A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

카메라를 포함하는 전자 장치가 개시된다. 상기 전자 장치는, 상기 카메라의 설치 정보를 획득하여 외부 서버로 전송하며, 상기 외부 서버로부터 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 복수의 신경망 모델 중 상기 설치 정보에 대응되는 하나의 신경망 모델을 수신하고, 상기 수신된 신경망 모델을 이용하여 상기 카메라를 통해 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득할 수 있다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF}
본 개시는 이미지에 포함된 오브젝트를 검출하는 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는, 카메라의 설치 정보에 기초하여 식별된 신경망 모델을 이용하여 이미지에 포함된 오브젝트를 검출하는 기술에 관한 것이다.
근래에는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습시키고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.
인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습시키는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다. 특히, 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다.
한편, 인공지능 기술을 이용하여 오브젝트를 인식하는 전자 장치는 사용 목적에 따라 다양한 위치에 다양한 각도로 설치되어 사용될 수 있는데, 전자 장치가 설치된 위치나 각도에 따라 오브젝트에 대한 인식률이 크게 저하되는 문제가 있다.
이에 따라, 다양한 환경에서 설치되거나 사용되더라도 오브젝트 인식이 가능한 전자 장치에 대한 기술의 필요성이 대두된다.
본 발명이 해결하고자 하는 기술적 과제는, 다양한 위치에 다양한 각도로 설치되더라도 오브젝트를 인식할 수 있는 전자 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 통신 인터페이스; 카메라; 적어도 하나의 인스트럭션을 포함하는 메모리; 및 상기 카메라, 상기 통신 인터페이스 및 상기 메모리와 전기적으로 연결되는 프로세서;를 포함하고, 상기 프로세서는, 상기 카메라의 설치 정보를 획득하고, 상기 획득된 카메라의 설치 정보를 상기 통신 인터페이스를 통해 상기 외부 서버로 전송하며, 상기 통신 인터페이스를 통해 상기 외부 서버로부터 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 복수의 신경망 모델 중 상기 설치 정보에 대응되는 하나의 신경망 모델을 수신하고, 상기 카메라를 통해 이미지가 획득되면, 상기 수신된 신경망 모델을 이용하여 상기 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득하는 전자 장치가 제공될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 카메라를 포함하는 전자 장치의 제어 방법으로, 상기 카메라의 설치 정보를 획득하는 단계; 상기 획득된 카메라의 설치 정보를 통신 인터페이스를 통해 외부 서버로 전송하는 단계; 상기 통신 인터페이스를 통해 상기 외부 서버로부터 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 복수의 신경망 모델 중 상기 설치 정보에 대응되는 하나의 신경망 모델을 수신하는 단계; 및 상기 카메라를 통해 이미지가 획득되면, 상기 수신된 신경망 모델을 이용하여 상기 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득하는 단계;를 포함하는 제어 방법이 제공될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면, 카메라, 휘발성 메모리 및 비휘발성 메모리를 포함하는 전자 장치의 제어 방법에 있어서, 외부 서버로부터 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 적어도 하나의 신경망 모델을 수신하여 상기 비휘발성 메모리에 저장하는 단계; 상기 카메라의 설치 정보를 획득하는 단계; 상기 비휘발성 메모리에 저장된 적어도 하나의 신경망 모델 중 상기 획득된 카메라의 설치 정보에 대응되는 신경망 모델을 상기 휘발성 메모리에 로딩하는 단계; 및 상기 로딩된 신경망 모델을 이용하여 상기 카메라를 통해 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득하는 단계;를 포함하는 제어 방법이 제공될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면, 카메라를 포함하는 전자 장치의 제어 서버로서, 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 적어도 하나의 신경망 모델이 저장된 메모리; 통신 인터페이스; 및 프로세서;를 포함하고, 상기 프로세서는, 상기 통신 인터페이스를 통해 상기 전자 장치로부터 상기 카메라의 설치 정보를 수신하고, 상기 수신된 카메라의 설치 정보에 기초하여 상기 적어도 하나의 신경망 모델 중 하나의 신경망 모델을 식별하고, 상기 통신 인터페이스를 통해 상기 식별된 하나의 신경망 모델을 상기 전자 장치로 전송하는 전자 장치 제어 서버가 제공될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면, 카메라를 포함하는 전자 장치의 제어 서버로서, 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 적어도 하나의 신경망 모델이 저장된 메모리; 통신 인터페이스; 및 프로세서;를 포함하고, 상기 프로세서는, 상기 통신 인터페이스를 통해 상기 전자 장치로부터 상기 카메라의 설치 정보를 수신하고, 상기 수신된 카메라의 설치 정보에 기초하여 상기 적어도 하나의 신경망 모델 중 하나의 신경망 모델을 식별하고, 상기 통신 인터페이스를 통해 상기 식별된 하나의 신경망 모델을 상기 전자 장치로 전송하는 전자 장치 제어 서버가 제공될 수 있다.
전자 장치에 있어서, 통신 인터페이스; 카메라; 적어도 하나의 인스트럭션을 저장하며, 휘발성 메모리 및 비휘발성 메모리를 포함하는 메모리; 및 상기 카메라, 상기 통신 인터페이스 및 상기 메모리와 전기적으로 연결되는 프로세서;를 포함하고, 상기 프로세서는, 외부 서버로부터 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 적어도 하나의 신경망 모델을 수신하여 비휘발성 메모리에 저장하고, 상기 카메라의 설치 정보를 획득하고, 상기 비휘발성 메모리에 저장된 적어도 하나의 신경망 모델 중 상기 획득된 카메라의 설치 정보에 대응되는 신경망 모델을 휘발성 메모리에 로딩하고, 상기 로딩된 신경망 모델을 이용하여 상기 카메라를 통해 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득하는 전자 장치가 제공될 수 있다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 사용자는 전자 장치를 다양한 위치에 다양한 각도로 설치하여 사용하더라도, 오브젝트를 인식할 수 있다.
이에 따라, 사용자 편의성 및 만족도가 향상될 수 있다.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 오브젝트 정보 출력 동작을 설명하기 위한 도면이다.
도 3은 카메라 설치 정보를 획득하는 방법의 일 실시 예를 설명하기 위한 도면이다.
도 4는 카메라 설치 정보를 획득하는 방법의 다른 일 실시 예를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 오브젝트 정보 획득 방법을 설명하기 위한 시퀀스 도이다.
도 6은 다른 일 실시 예에 따른 오브젝트 정보 획득 방법을 설명하기 위한 시퀀스 도이다.
도 7은 일 실시 예에 따른 오브젝트 정보 획득 방법을 나타내는 순서도이다.
도 8은 다른 일 실시 예에 따른 오브젝트 정보 획득 방법을 나타내는 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 전자 장치(100)는 카메라(110), 센서(120), 통신 인터페이스(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다.
이하에서는 전자 장치(100)의 각 구성에 대하여 상세히 설명하도록 한다.
카메라(110)는 이미지를 획득할 수 있다. 예를 들어, 카메라(110)는 전자 장치(100) 주변을 촬상하여 이미지를 획득할 수 있다.
카메라(110)는 다양한 종류의 카메라로 제공될 수 있다. 예를 들어, 카메라(110)는 2D기반의 RGB 카메라 및 IR 카메라 중 어느 하나일 수 있다. 또는, 카메라(110)는 3D기반의 ToF(Time of Flight) 카메라 및 스테레오 카메라 중 어느 하나일 수 있다.
카메라(110)는 다양한 종류의 광학 센서를 포함할 수 있다. 예를 들어, 카메라(110)는 CMOS(Complementary Metal Oxide Semiconductor) 센서 및 CCD(Charge-Coupled Device) 센서 중 적어도 어느 하나를 포함할 수 있다.
카메라(110)는 그 용도에 따라 다양한 장소에 다양한 각도(또는 자세)로 설치될 수 있다. 예를 들어, 방범용으로 사용되는 경우, 카메라(110)는 천장에 설치되며, 천장으로부터 하방으로 경사지도록 설치될 수 있다. 또는, 기타 다른 용도로 사용되는 경우, 카메라(110)는 지면으로부터 상방으로 경사지게 설치되거나, 지면과 수직한 방향을 바라보도록 설치될 수 있다.
카메라(110)는 획득된 이미지를 프로세서(150)에 제공할 수 있다.
센서(120)는 카메라(110)의 설치 위치, 설치 자세, 설치 환경과 같은 설치 정보를 획득할 수 있다. 센서(120)는 다양한 종류의 센서를 포함할 수 있다. 예를 들어, 센서(120)는 카메라(110)가 그 설치면과 이루는 각도를 획득하기 위한 자이로(gyro) 센서를 포함할 수 있다. 이 때, 센서(120)는 카메라(110)의 설치 자세에 대한 데이터, 즉, 롤(roll) 데이터, 피치(pitch) 데이터, 요(yaw) 데이터를 획득할 수 있다.
또한, 센서(120)는 카메라(110) 주변의 밝기를 획득하기 위한 조도 센서, 카메라(110)의 설치 높이를 획득하기 위한 고도 센서 및 카메라(110)의 설치 지역을 획득하기 위한 GPS 센서를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 센서(120)는 카메라(110)의 설치 정보를 획득하기 위한 기타 다른 센서(예로, 움직임 센서, 가속도 센서, 지자기 센서 등)를 포함할 수 있다.
통신 인터페이스(130)는 적어도 하나의 회로를 포함하며 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 도시되지 않았으나, 통신 인터페이스(130)는 와이파이칩, 불루투스 칩을 포함할 수 있다.
통신 인터페이스(130)를 통해 프로세서(150)는 외부 서버 또는 외부 장치와 통신을 수행할 수 있다. 예를 들어, 프로세서(150)는 통신 인터페이스(130)를 통해 서버(200)와 통신할 수 있다.
통신 인터페이스(130)는 서버(200)와 무선 혹은 유선으로 데이터 통신을 수행할 수 있다.
무선 통신 방식으로 서버(200)와 데이터 통신을 수행할 경우, 통신 인터페이스(130)는 와이파이 통신 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 적어도 하나를 포함할 수 있다. 한편, 본 개시의 일 실시예에 따른, 통신 인터페이스(130)는 무선 통신 모듈로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 유선 통신 모듈(예를 들어, LAN 등)로 구현될 수 있다.
일 예로, TV 또는 CCTV인 전자 장치(100)는 통신 인터페이스(130)를 통해 카메라(110)의 설치 정보를 서버(200)로 전송할 수 있다. 이 때, 서버(200)가 전송된 설치 정보에 대응되는 오브젝트 인식 신경망 모델을 전자 장치(100)로 전송하면, 전자 장치(100)는 통신 인터페이스(130)를 통해 수신된 신경망 모델에 기초하여 오브젝트 인식 동작을 수행할 수 있다.
메모리(140)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 이를 위해 메모리(140)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다.
예를 들어, 메모리(140)는, 실행될 때 프로세서(150)로 하여금, 카메라(110)로부터 이미지가 획득되면, 이미지에 포함된 오브젝트에 관한 정보를 획득하도록 하는 인스터럭션을 저장할 수 있다.
한편, 메모리(140)에는 카메라(110)의 사양을 포함하는 모델에 관한 정보가 저장되어 있을 수 있다. 이 때, 전자 장치(100)는 통신 인터페이스(130)를 통해 모델에 관한 정보를 서버(200)로 전송하고, 서버(200)는 전송된 모델에 관한 정보를 바탕으로 복수의 신경망 모델 중 하나의 신경망 모델을 식별할 수 있다.
메모리(110)는 오브젝트를 인식하기 위한 신경망 모델(혹은 오브젝트 인식 모델 등)을 저장할 수 있다. 특히, 신경망 모델은 기존의 범용 프로세서(예를 들어, CPU) 또는 별도의 AI 전용 프로세서(예를 들어, GPU, NPU 등)에 의해 실행될 수 있다.
프로세서(150)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
예를 들어, 프로세서(150)는 통신 인터페이스(130)를 통해 카메라(110)의 설치 정보를 서버(200)로 전송할 수 있다. 이 때, 프로세서(150)는 설치 정보를 바탕으로 식별된 적어도 하나의 신경망 모델을 서버(200)로부터 수신하여, 수신된 적어도 하나의 신경망 모델을 메모리(140)에 저장할 수 있다. 또는, 프로세서(150)는 서버(200)로부터 오브젝트를 인식하도록 학습된 복수의 신경망 모델을 수신하여 비휘발성 메모리에 저장할 수 있다. 이 때, 프로세서(150)는 복수의 신경망 모델 중 카메라 설치 정보에 대응되는 하나의 신경망 모델을 휘발성 메모리에 로딩할 수 있다.
프로세서(150)는 전자 장치(100) 주변의 오브젝트에 관한 정보를 획득하는 동작을 수행할 수 있다.
예를 들어, 프로세서(150)는 카메라(110)가 전자 장치(100) 주변을 촬상한 이미지를 획득할 수 있다. 이 때, 프로세서(150)는 서버(200)로부터 수신한 학습된 신경망 모델을 이용하여 획득된 이미지에 포함된 오브젝트에 관한 정보를 획득할 수 있다.
구체적으로, 오브젝트에 관한 정보는 오브젝트의 거리 정보 및 종류 정보 중 적어도 하나를 포함할 수 있다. 오브젝트의 거리 정보는, 전자 장치(100)로부터 오브젝트까지의 거리를 의미할 수 있다. 이 때, 거리 정보는 단일의 고정된 값(예를 들어, 2m)이 될 수 있다. 또는, 거리 정보는 소정의 범위를 갖는 값(예를 들어, 1~3m)이 될 수 있다. 이 때, 거리 정보는 거리에 따라 근거리, 중거리, 원거리로 분류될 수 있다.
또한, 오브젝트의 종류 정보는 오브젝트의 속성에 관한 정보를 포함할 수 있다. 예를 들어, 종류 정보는 오브젝트가 이동체인지 고정물인지, 또는, 사람인지 동물인지에 관한 정보를 포함할 수 있다.
특히, 본 개시에 따른 인공지능과 관련된 기능은 프로세서(150)와 메모리(140)를 통해 동작된다. 프로세서(150)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리(140)에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
서버(200)는 전자 장치(100)의 외부 장치 또는 외부 서버로서, 전자 장치(100)와 통신을 수행할 수 있다.
도시 되지 않았으나, 서버(200)는 전자 장치(100)와 유사하게 구현될 수 있다. 예를 들어, 서버(200)는 전자 장치(100)의 통신 인터페이스, 메모리 및 프로세서에 각각 대응되는 구성들을 포함할 수 있다. 각 구성들에 대해서는 상술한 전자 장치(100)에 관한 설명을 참조하도록 하고, 설명의 편의상 이에 대한 상세한 설명은 생략하고 차별점을 중심으로 설명한다.
서버(200)에는 이미지에 포함된 오브젝트를 인식하도록 학습된 복수의 신경망 모델이 저장되어 있을 수 있다. 복수의 신경망 모델들은, 각각 서로 다른 설치 정보에 기초하여 학습될 수 있다. 이 때, 서버(200)는 전자 장치(100)로부터 수신되는 카메라(110)의 설치 정보에 대응되는 복수의 신경망 모델 중 하나의 신경망 모델을 식별할 수 있다. 서버(200)는 식별된 신경망 모델을 전자 장치(100)로 전송할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 오브젝트 정보 출력 동작을 설명하기 위한 도면이다. 한편, 이하에서 도 2를 참조하여 설명되는 전자 장치(100)의 일련의 동작들은, 상술한 프로세서(150)에 의해 수행되는 것으로 이해될 수 있다.
전자 장치(100)는 카메라 설치 정보를 서버(200)로 전송할 수 있다. 카메라 설치 정보란, 전자 장치(100)에 포함된 카메라(110)의 설치 정보를 의미할 수 있다. 일 예로, 카메라의 설치 정보는 카메라가 설치된 위치(예를 들어, 지면으로부터의 거리), 설치된 면과 이루는 각도, 설치된 지역의 위치 및 설치된 위치 주변의 환경 정보(예를 들어, 조명의 세기) 중 적어도 하나를 포함할 수 있다.
서버(200)는 전송된 카메라 설치 정보에 대응되는 신경망 모델을 전자 장치(100)로 전송할 수 있다.
일 실시 예에 따른 신경망 모델은 이미지를 입력되면 이미지에 포함된 오브젝트의 정보를 출력하도록 학습된 신경망 모델일 수 있다. 즉, 신경망 모델은 입력된 이미지에 포함된 오브젝트를 검출/인식하도록 학습된 신경망일 수 있다. 그러나, 이는 일 실시 예에 불과할 뿐, 다른 신경망 모델(예로, 음성 인식 모델 등)일 수 이다. 이 때, 입력되는 이미지는 다양한 데이터가 될 수 있다. 예를 들어, 입력되는 이미지는 카메라가 촬상한 이미지 또는 촬상한 이미지와 관련 데이터일 수 있다. 이때, 출력되는 오브젝트 정보는 다양한 정보를 포함할 수 있다. 예를 들어, 출력되는 오브젝트 정보는 이미지에 포함된 오브젝트의 거리 정보 및 종류 정보 중 적어도 하나를 포함할 수 있다.
한편, 서버(200)는 서로 다른 설치 정보를 갖는 복수의 카메라가 각각 촬상한 이미지로부터 오브젝트 인식 동작을 수행하도록 학습된 복수의 신경망 모델들을 포함할 수 있다. 예를 들어, 제1 신경망 모델은 지면으로부터 3m 높이에 하방으로 45도 각도로 경사지게 설치된 제1 카메라가 촬상한 이미지를 기초로 학습될 수 있다. 또한, 제2 신경망 모델은 지면으로부터 1m 높이에 상방으로 15도 경사지게 설치된 제2 카메라가 촬상한 이미지를 기초로 학습될 수 있다.
이 때, 전자 장치(100)가 제1 신경망 모델을 이용하여 제2 카메라가 촬상한 이미지를 바탕으로 오브젝트 인식 동작을 수행하게 되면, 전자 장치(100)의 오브젝트 인식률은 제1 카메라가 촬상한 이미지를 바탕으로 오브젝트 인식 동작을 수행할 때에 비하여 저하될 수 있다.
즉, 오브젝트 인식 동작을 수행하는 신경망 모델이 전자 장치(100)에 적용되는 경우, 전자 장치(100) 또는 전자 장치(100)에 포함된 카메라(110)의 설치 정보에 따라, 오브젝트 인식률이 달라질 수 있다.
따라서, 전자 장치(100)는, 전자 장치(100) 또는 카메라(110)의 설치 정보에 기반하여 설치 정보에 대응되는 신경망 모델을 서버(200)로부터 수신하고, 수신된 신경망 모델을 이용하여 오브젝트를 인식할 수 있다.
이에 따라, 전자 장치(100)는 어떠한 조건으로 설치되더라도 오브젝트를 인식할 수 있어, 사용자 편의성이 증대되는 효과가 있다.
한편, 전자 장치(100) 또는 카메라(110)의 설치 환경에 적합한 신경망 모델이 서버(200)로부터 제공되려면, 카메라 설치 정보의 정확도가 중요하다.
한편, 카메라 설치 정보는 다양한 방식으로 획득될 수 있다.
이하에서는 도 3 및 도 4를 참조하여, 카메라 설치 정보를 획득하는 방법에 대해 상세히 설명하도록 한다.
도 3은 카메라 설치 정보를 획득하는 방법의 일 실시 예를 설명하기 위한 도면이다.
제1 이미지(10)는 소정의 패턴을 갖는 캘리브레이션 타겟(CT, Calibration Target)을 촬상한 이미지이다. 캘리브레이션 타겟(CT)은, 캘리브레이션 보드라 지칭되기도 하며, 소정의 패턴을 갖는 대상체 일 수 있다. 도 3에서는, 캘리브레이션 타겟(CT)이 체커보드(checkerboard) 패턴을 갖는 것으로 도시 되었으나, 이에 한정되는 것은 아니며, 캘리브레이션 타겟(CT)은 다양한 패턴을 가질 수 있다. 예를 들어, 캘리브레이션 타겟(CT)은 격자 패턴 또는 도트 패턴을 가질 수 있다.
제1 이미지(10)는 카메라(110)가 설치 완료되기 전 캘리브레이션 타겟(CT)을 촬상한 이미지일 수 있다. 예를 들어, 제1 이미지(10)는 카메라(110)가 캘리브레이션 타겟(CT)을 정면에서 촬상한 이미지일 수 있다. 또는, 제1 이미지(10)는 카메라(110)의 시야각(FOV, Field Of View)의 중심축이 캘리브레이션 타겟(CT)의 중심에 위치할 때 카메라(110)가 획득한 이미지일 수 있다. 제2 이미지(20)는 카메라(110)가 설치가 완료된 후 캘리브레이션 타겟(CT)을 촬상한 이미지이다. 예를 들어, 제2 이미지(20)는 카메라(110)가 캘리브레이션 타겟(CT)을 하방에서 비스듬히 올려다본 이미지일 수 있다.
전자 장치(100)는 제1 이미지(10) 및 제2 이미지(20)에 기초하여 카메라(110)의 설치 정보를 획득할 수 있다. 또는, 서버(200)가 제1 이미지(10) 및 제2 이미지(20)에 기초하여 카메라(110)의 설치 정보를 획득할 수 있다.
일 예로, 전자 장치(100)는 제1 이미지(10)의 픽셀 값 및 제2 이미지(20)의 픽셀 값을 비교하여 설치가 완료된 카메라(110)의 설치 정보를 획득할 수 있다. 이 때, 제1 이미지(10)의 픽셀 값은 메모리(140)에 미리 저장되어 있을 수 있다.
다른 일 예로, 전자 장치(100)는 제2 이미지(20)에 포함된 캘리브레이션 타겟(CT)의 패턴을 바탕으로 설치 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 제2 이미지(20)에 포함된 패턴을 바탕으로 카메라(110)의 설치 각도 또는 설치 자세를 획득할 수 있다.
또 다른 일 예로, 전자 장치(100)는 제2 이미지(20)를 서버(200)로 전송할 수 있다. 이 때, 서버(200)는 제2 이미지(20)에 포함된 패턴을 바탕으로 카메라(110)의 설치 각도를 획득할 수 있다. 서버(200)는 획득된 설치 정보를 전자 장치(100)로 전송할 수 있다.
이상에서는 캘리브레이션 타겟(CT)을 촬상한 이미지를 이용하여 이미지를 촬상한 카메라의 설치 정보를 획득하는 방법에 대하여 설명하였다.
이하에서는, 도 4를 참조하여 카메라 설치 정보를 획득하는 다른 방법에 대하여 설명한다.
도 4는 카메라 설치 정보를 획득하는 방법의 다른 일 실시 예를 설명하기 위한 도면이다.
프로세서(150)는 센서(120)를 통해 카메라(110)의 설치 정보를 획득할 수 있다.
센서(120)는 전자 장치(100) 내에 위치하여 카메라(110)의 다양한 설치 정보를 획득할 수 있다.
일 예로, 센서(120)는 자이로 센서일 수 있다. 이 때, 센서(120)는 카메라(110)의 설치 각도 또는 설치 자세를 획득할 수 있다.
다른 일 예로, 센서(120)는 GPS 센서일 수 있다. 이 때, 센서(120)는 카메라(110)가 설치된 위치에 관한 정보를 획득할 수 있다.
또 다른 일 예로, 센서(120)는 고도 센서일 수 있다. 이 때, 센서(120)는 카메라(110)가 설치된 높이 또는 고도에 관한 정보를 획득할 수 있다.
또 다른 일 예로, 센서(120)는 조도 센서일 수 있다. 이 때, 센서(120)는 카메라(110)가 설치된 장소의 조명에 관한 정보를 획득할 수 있다.
프로세서(150)는 센서(120)를 통해 획득한 카메라(110)의 설치 정보를 통신 인터페이스(130)를 통해 서버(200)로 전송할 수 있다.
한편, 이상에서는 설명의 편의상 전자 장치(100)가 설치 정보를 획득하는 것으로 설명하였으나, 서버(200)가 전자 장치(100)가 아닌 전자 장치(100) 또는 서버(200)와 연결된 외부 장치에 구비된 센서를 통해 획득된 데이터를 바탕으로 카메라 설치 정보를 획득할 수도 있다.
도 5는 일 실시 예에 따른 오브젝트 정보 획득 방법을 설명하기 위한 시퀀스 도이다. 도 5의 절차는 설치 정보가 전자 장치(100)에 의해 획득되는 경우를 나타낸다.
단계 S510에서, 전자 장치(100)는 카메라의 설치 정보를 획득할 수 있다. 이에 대한 상세한 설명은 도 3 및 도 4와 함께 설명된 사항들을 참조하도록 하고, 그 상세한 설명은 생략한다.
단계 S520에서, 전자 장치(100)는 설치 정보를 서버(200)로 전송할 수 있다.
단계 S530에서, 서버(200)는 설치 정보를 바탕으로 신경망 모델을 식별할 수 있다.
서버(200)는 다양한 방식으로 신경망 모델을 식별할 수 있다. 예컨대, 서버(200)에는 설치 정보를 나타내는 적어도 하나의 파라미터와 매칭되는 신경망 모델이 저장되어 있을 수 있다. 구체적으로, 설치 정보에 대응되는 신경망 모델이 룩-업 테이블(look-up table) 형태로 저장되어 있을 수 있다. 서버(200)는 전송된 설치 정보에 대응되는 신경망 모델을 식별할 수 있다.
단계 S540에서, 서버(200)는 식별된 신경망 모델을 전자 장치(100)로 전송할 수 있다. 전자 장치(100)는 전송된 신경망 모델을 메모리(140)에 저장할 수 있다.
단계 S550에서, 전자 장치(100)는 카메라(110)를 통해 이미지를 획득할 수 있다. 이때, 이미지는 전자 장치(100)에 위치한 카메라(110)가 그 주변을 촬상한 이미지일 수 있다.
단계 S560에서, 전자 장치(100)는 서버(200)로부터 전송된 신경망 모델을 이용하여 획득된 이미지에 포함된 오브젝트 정보를 획득할 수 있다.
도 6은 다른 일 실시 예에 따른 오브젝트 정보 획득 방법을 설명하기 위한 시퀀스 도이다. 도 6의 절차는 설치 정보가 서버(200)에 의해 획득되는 경우를 나타낸다.
단계 S610에서, 전자 장치(100)는 카메라(110)를 통해 제3 이미지를 획득할 수 있다. 제3 이미지는 카메라(110)가 캘리브레이션 타겟(CT)을 미리 정해진 조건에서 촬상한 이미지일 수 있다. 예를 들어, 제3 이미지는, 캘리브레이션 타겟(CT)이 지면으로부터 수직하게 CT를 배치된 상태에서, 캘리브레이션 타겟(CT)을 촬상된 이미지일 수 있다. 이 때, 제3 이미지는 전자 장치(100)의 설치가 완료된 후 촬상된 이미지일 수 있다.
단계 S620에서, 전자 장치(100)는 제3 이미지를 서버(200)로 전송할 수 있다. 예를 들어, 전자 장치(100)는 제3 이미지의 픽셀 데이터(R, G, B)를 서버(200)로 전송할 수 있다.
단계 S630에서, 서버(200)는 제3 이미지를 바탕으로 카메라(110)의 설치 정보를 획득할 수 있다. 예를 들어, 서버(200)는 제3 이미지에 포함된 캘리브레이션 타겟(CT)의 패턴을 바탕으로 카메라(110)의 설치 정보를 획득할 수 있다. 또는, 서버(200)는 미리 저장된 캘리브레이션 타겟(CT)에 관한 데이터와 제3 이미지를 비교하여 설치 정보를 획득할 수 있다.
한편, 서버(200)는 신경망을 이용하여 단계 S630의 동작을 수행할 수 있다. 이 때, 신경망은 캘리브레이션 타겟(CT)을 촬상한 이미지를 입력 받아, 이미지를 촬상한 카메라의 설치 정보를 출력하도록 학습될 수 있다.
단계 S640에서, 서버(200)는 설치 정보를 바탕으로 신경망 모델을 식별할 수 있다. 여기서, 신경망 모델이란, 이미지를 입력받아 이미지에 포함된 오브젝트에 관한 정보를 출력하도록 학습된 신경망일 수 있다.
단계 S640은, 도 5의 단계 S530에 대응될 수 있다.
단계 S650에서, 서버(200)는 식별된 신경망 모델을 전자 장치(100)로 전송할 수 있다. 본 단계는, 도 5의 단계 S540에 대응될 수 있다.
단계 S660에서, 전자 장치(100)는 카메라(110)를 통해 제4 이미지를 획득할 수 있다. 여기서, 제4 이미지는 카메라(110)가 그 주변을 촬상한 이미지일 수 있다. 본 단계는, 도 5의 단계 S550에 대응될 수 있다.
단계 S670에서, 전자 장치(100)는 제4 이미지에 포함된 오브젝트 정보를 획득할 수 있다. 본 단계는, 도 5의 단계 S560에 대응될 수 있다.
도 7은 일 실시 예에 따른 오브젝트 정보 획득 방법을 나타내는 순서도이다.
도 7을 참조하면, 일 실시 예에 따른 오브젝트 정보 획득 방법은 카메라 설치 정보를 획득하고(S710), 획득된 카메라의 설치 정보를 외부 서버로 전송하고(S720), 외부 서버로부터 신경망 모델을 수신하고(S730), 카메라를 통해 이미지가 획득되면, 신경망 모델을 이용하여 오브젝트에 대한 정보를 획득하는(S740) 단계를 포함할 수 있다.
이하에서는 각 단계에 대하여 설명한다.
프로세서(150)는 카메라(110)의 설치 정보를 획득할 수 있다(S710). 이 때, 캘리브레이션 타겟(CT) 또는 센서(120)를 이용하여 설치 정보가 획득될 수 있다. 이에 대한 상세한 설명은 도 3 및 도 4를 참조하도록 하고, 설명의 편의상 생략한다.
프로세서(150)는 통신 인터페이스(130)를 통해 획득된 카메라의 설치 정보를 외부 서버(200)로 전송할 수 있다(S720).
프로세서(150)는 통신 인터페이스(130)를 통해 외부 서버(200)로부터 신경망 모델을 수신할 수 있다(S730). 신경망 모델은 이미지를 입력 받아 이미지에 포함된 오브젝트에 관한 정보를 출력하도록 학습된 신경망 모델일 수 있다. 즉, 신경망 모델은 입력 이미지에 포함된 오브젝트를 검출/인식하는 알고리즘일 수 있다.
프로세서(150)는 카메라를 통해 이미지가 획득되면, 신경망 모델을 이용하여 오브젝트에 대한 정보를 획득할 수 있다(S740). 여기서, 오브젝트에 대한 정보란, 오브젝트의 거리 정보 및 종류 정보 중 적어도 어느 하나를 포함할 수 있다.
한편, 이상에서 설명한 본 실시 예에 따른 오브젝트 정보 획득 방법에 대한 보다 상세한 설명은 도 1 내지 도 6에서 설명된 내용을 참조하도록 한다.
도 8은 다른 일 실시 예에 따른 오브젝트 정보 획득 방법을 나타내는 순서도이다.
도 8을 참조하면, 다른 일 실시 예에 따른 오브젝트 정보 획득 방법은 외부 서버로부터 적어도 하나의 신경망 모델을 수신하여 비휘발성 메모리에 저장하고(S810), 카메라의 설치 정보를 획득하고(S820), 비휘발성 메모리에 저장된 적어도 하나의 신경망 모델 중 획득된 카메라의 설치 정보에 대응되는 신경망 모델을 휘발성 메모리에 로딩하고(S830), 로딩된 신경망 모델을 이용하여 카메라를 통해 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득(S840)하는 단계를 포함할 수 있다.
이하에서는 각 단계에 대하여 설명한다.
프로세서(150)는 외부 서버(200)로부터 적어도 하나의 신경망 모델을 수신하여 비휘발성 메모리에 저장할 수 있다(S810). 적어도 하나의 신경망 모델은, 이미지를 입력 받아 이미지에 포함된 오브젝트에 대한 정보를 출력하도록 학습된 신경망 모델일 수 있다.
프로세서(150)는 카메라의 설치 정보를 획득할 수 있다(S820). 본 단계는, 도 7의 단계 S710에 대응될 수 있다.
프로세서(150)는 비휘발성 메모리에 저장된 적어도 하나의 신경망 모델 중 획득된 카메라의 설치 정보에 대응되는 신경망 모델을 휘발성 메모리에 로딩할 수 있다(S830). 예를 들어, 프로세서(150)는 획득된 카메라의 설치 정보에 기초하여 비휘발성 메모리에 저장된 적어도 하나의 신경망 모델 중 획득된 카메라의 설치 정보에 대응되는 하나의 신경망 모델을 식별하여 휘발성 메모리에 로딩할 수 있다.
프로세서(150)는 로딩된 신경망 모델을 이용하여 카메라를 통해 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득할 수 있다(S840). 획득된 이미지는, 카메라가 그 주변을 촬상한 이미지일 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치　　 　　　　　　110: 카메라
120: 센서 130: 통신 인터페이스
140: 메모리 150: 프로세서
200: 서버

Claims (15)

  1. 전자 장치에 있어서,
    통신 인터페이스;
    카메라;
    적어도 하나의 인스트럭션을 포함하는 메모리; 및
    상기 카메라, 상기 통신 인터페이스 및 상기 메모리와 전기적으로 연결되는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 카메라의 설치 정보를 획득하고,
    상기 획득된 카메라의 설치 정보를 상기 통신 인터페이스를 통해 상기 외부 서버로 전송하며,
    상기 통신 인터페이스를 통해 상기 외부 서버로부터 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 복수의 신경망 모델 중 상기 설치 정보에 대응되는 하나의 신경망 모델을 수신하고,
    상기 카메라를 통해 이미지가 획득되면, 상기 수신된 신경망 모델을 이용하여 상기 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득하는
    전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 소정의 패턴을 갖는 캘리브레이션 타겟(calibration target)을 촬상한 이미지를 획득하고,
    상기 캘리브레이션 타겟을 촬상한 이미지에 기초하여 상기 카메라의 설치 위치 및 설치 자세 중 적어도 하나를 포함하는 설치 정보를 획득하고,
    상기 획득된 카메라의 설치 정보를 상기 통신 인터페이스를 통해 상기 외부 서버로 전송하고,
    상기 획득된 카메라의 설치 정보에 대응되는 신경망 모델을 수신하는
    전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 소정의 패턴을 갖는 캘리브레이션 타겟(calibration target)을 촬상한 이미지를 획득하고,
    상기 캘리브레이션 타겟을 촬상한 이미지에 관한 데이터를 상기 통신 인터페이스를 통해 상기 외부 서버로 전송하고,
    상기 통신 인터페이스를 통해 상기 외부 서버로부터 상기 복수의 신경망 모델 중 상기 캘리브레이션 타겟을 촬상한 이미지에 관한 데이터를 기초로 식별된 하나의 신경망 모델을 수신하는
    전자 장치.
  4. 제1 항에 있어서,
    상기 설치 정보를 획득하기 위한 센서;를 더 포함하고,
    상기 프로세서는,
    상기 센서를 통해 상기 카메라의 설치 정보를 획득하고,
    상기 획득된 카메라의 설치 정보를 상기 통신 인터페이스를 통해 상기 외부 서버로 전송하는
    전자 장치.
  5. 제4 항에 있어서,
    상기 센서는, 상기 카메라의 설치 높이를 측정하기 위한 고도 센서, 상기 카메라의 설치 자세를 획득하기 위한 자이로(gyro) 센서, 및 상기 카메라 주변의 밝기를 측정하기 위한 조도 센서 중 적어도 하나를 포함하는
    전자 장치.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 카메라의 모델 정보를 상기 통신 인터페이스를 통해 상기 외부 서버로 전송하고,
    상기 통신 인터페이스를 통해 상기 외부 서버로부터 상기 복수의 신경망 모델 중 상기 카메라의 설치 정보 및 모델 정보를 고려하여 식별된 하나의 신경망 모델을 수신하는
    전자 장치.
  7. 카메라를 포함하는 전자 장치의 제어 방법에 있어서,
    상기 카메라의 설치 정보를 획득하는 단계;
    상기 획득된 카메라의 설치 정보를 통신 인터페이스를 통해 외부 서버로 전송하는 단계;
    상기 통신 인터페이스를 통해 상기 외부 서버로부터 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 복수의 신경망 모델 중 상기 설치 정보에 대응되는 하나의 신경망 모델을 수신하는 단계; 및
    상기 카메라를 통해 이미지가 획득되면, 상기 수신된 신경망 모델을 이용하여 상기 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득하는 단계;를 포함하는
    제어 방법.
  8. 제7 항에 있어서,
    상기 카메라의 설치 정보를 획득하는 단계는,
    상기 카메라를 통해 소정의 패턴을 갖는 캘리브레이션 타겟을 촬상한 이미지를 획득하면, 상기 캘리브레이션 타겟을 촬상한 이미지에 기초하여 상기 카메라의 설치 위치 및 설치 자세 중 적어도 하나를 포함하는 설치 정보를 획득하는
    제어 방법.
  9. 제7 항에 있어서,
    상기 카메라의 설치 정보는,
    소정의 패턴을 갖는 캘리브레이션 타겟을 촬상한 이미지에 관한 정보를 포함하는
    제어 방법.
  10. 제7 항에 있어서,
    상기 카메라의 설치 정보를 획득하는 단계는,
    상기 카메라의 설치 높이를 측정하기 위한 고도 센서, 상기 카메라의 설치 자세를 획득하기 위한 자이로(gyro) 센서, 및 상기 카메라 주변의 밝기를 측정하기 위한 조도 센서 중 적어도 하나의 센서를 통해 상기 카메라의 설치 정보를 획득하는
    제어 방법.
  11. 카메라, 휘발성 메모리 및 비휘발성 메모리를 포함하는 전자 장치의 제어 방법에 있어서,
    외부 서버로부터 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 적어도 하나의 신경망 모델을 수신하여 상기 비휘발성 메모리에 저장하는 단계;
    상기 카메라의 설치 정보를 획득하는 단계;
    상기 비휘발성 메모리에 저장된 적어도 하나의 신경망 모델 중 상기 획득된 카메라의 설치 정보에 대응되는 신경망 모델을 상기 휘발성 메모리에 로딩하는 단계; 및
    상기 로딩된 신경망 모델을 이용하여 상기 카메라를 통해 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득하는 단계;를 포함하는
    제어 방법.
  12. 제7 항 내지 제11 항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  13. 카메라를 포함하는 전자 장치의 제어 서버로서,
    이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 적어도 하나의 신경망 모델이 저장된 메모리;
    통신 인터페이스; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 통신 인터페이스를 통해 상기 전자 장치로부터 상기 카메라의 설치 정보를 수신하고,
    상기 수신된 카메라의 설치 정보에 기초하여 상기 적어도 하나의 신경망 모델 중 하나의 신경망 모델을 식별하고,
    상기 통신 인터페이스를 통해 상기 식별된 하나의 신경망 모델을 상기 전자 장치로 전송하는
    전자 장치 제어 서버.
  14. 제13항에 있어서,
    상기 설치 정보는 상기 카메라가 촬상한 촬상 이미지를 포함하고,
    상기 프로세서는 상기 촬상 이미지에 포함된 오브젝트의 패턴을 바탕으로 상기 카메라 상기 적어도 하나의 신경망 모델 중 하나의 신경망 모델을 식별하는
    전자 장치 제어 서버.
  15. 전자 장치에 있어서,
    통신 인터페이스;
    카메라;
    적어도 하나의 인스트럭션을 저장하며, 휘발성 메모리 및 비휘발성 메모리를 포함하는 메모리; 및
    상기 카메라, 상기 통신 인터페이스 및 상기 메모리와 전기적으로 연결되는 프로세서;를 포함하고,
    상기 프로세서는,
    외부 서버로부터 이미지에 포함된 오브젝트에 대한 정보를 획득하도록 학습된 적어도 하나의 신경망 모델을 수신하여 비휘발성 메모리에 저장하고,
    상기 카메라의 설치 정보를 획득하고,
    상기 비휘발성 메모리에 저장된 적어도 하나의 신경망 모델 중 상기 획득된 카메라의 설치 정보에 대응되는 신경망 모델을 휘발성 메모리에 로딩하고,
    상기 로딩된 신경망 모델을 이용하여 상기 카메라를 통해 획득된 이미지에 포함되는 오브젝트에 대한 정보를 획득하는
    전자 장치.

KR1020190121838A 2019-10-01 2019-10-01 전자 장치 및 그 제어 방법 KR20210039237A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190121838A KR20210039237A (ko) 2019-10-01 2019-10-01 전자 장치 및 그 제어 방법
PCT/KR2020/006413 WO2021066275A1 (ko) 2019-10-01 2020-05-15 전자 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190121838A KR20210039237A (ko) 2019-10-01 2019-10-01 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20210039237A true KR20210039237A (ko) 2021-04-09

Family

ID=75338174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190121838A KR20210039237A (ko) 2019-10-01 2019-10-01 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20210039237A (ko)
WO (1) WO2021066275A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024019345A1 (ko) * 2022-07-18 2024-01-25 네이버랩스 주식회사 센서 보강 및 인지 성능 향상을 위한 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10115185B2 (en) * 2014-12-05 2018-10-30 At&T Intellectual Property I, L.P. Dynamic image recognition model updates
US10339595B2 (en) * 2016-05-09 2019-07-02 Grabango Co. System and method for computer vision driven applications within an environment
CN109313011A (zh) * 2016-05-30 2019-02-05 索尼公司 信息处理装置、信息处理方法、程序和成像系统
KR101908680B1 (ko) * 2016-08-30 2018-10-17 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
KR102404791B1 (ko) * 2017-03-30 2022-06-02 삼성전자주식회사 입력 영상에 포함된 객체를 인식하는 디바이스 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024019345A1 (ko) * 2022-07-18 2024-01-25 네이버랩스 주식회사 센서 보강 및 인지 성능 향상을 위한 방법 및 장치

Also Published As

Publication number Publication date
WO2021066275A1 (ko) 2021-04-08

Similar Documents

Publication Publication Date Title
US20180278820A1 (en) Optical detection apparatus and methods
KR102522415B1 (ko) 전자 장치의 객체 인증 장치 및 방법
KR102595787B1 (ko) 전자 장치 및 그 제어 방법
US11931906B2 (en) Mobile robot device and method for providing service to user
KR20230069892A (ko) 이상 온도를 나타내는 객체를 식별하는 방법 및 장치
US11611710B2 (en) Light sensor chip adaptable to low illumination environment
KR20210061839A (ko) 전자 장치 및 그 제어 방법
KR20190119212A (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20210061146A (ko) 전자 장치 및 그 제어 방법
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
CN112822471B (zh) 投影控制方法、智能机器人及相关产品
CN116235506A (zh) 用于提供图像的方法和支持该方法的电子装置
KR20210039237A (ko) 전자 장치 및 그 제어 방법
KR102349851B1 (ko) 카메라를 이용한 반려동물 다중객체 인지 서비스 제공 시스템 및 방법
US11470248B2 (en) Data compression apparatus, model generation apparatus, data compression method, model generation method and program recording medium
JP7459959B2 (ja) 生体検知装置、制御方法、及びプログラム
US10789472B1 (en) Multiple image processing and sensor targeting for object detection
US20230388441A1 (en) Electronic device and method for capturing image by using angle of view of camera module
KR102305613B1 (ko) 감정 인식 방법 및 장치
KR20220127642A (ko) 전자 장치 및 그 제어 방법
US11558545B2 (en) Electronic apparatus, controlling method of electronic apparatus, and computer readable medium
KR20210079823A (ko) 전자 장치 및 이의 제어 방법
KR20210052153A (ko) 전자 장치 및 그 제어 방법
US20230214632A1 (en) Method for processing image through neural network and electronic device thereof
US20240004980A1 (en) Method, device, and storage medium for user authentication