KR102464130B1

KR102464130B1 - 대상 객체의 크기를 식별하는 방법 및 장치

Info

Publication number: KR102464130B1
Application number: KR1020200119669A
Authority: KR
Inventors: 이규빈; 백승혁; 신성호; 강래영; 노상준
Original assignee: 광주과학기술원
Priority date: 2020-09-17
Filing date: 2020-09-17
Publication date: 2022-11-08
Also published as: US20220084234A1; KR20220037108A

Abstract

본 개시는 측정 대상 객체의 크기를 식별하는 방법 및 이를 수행하는 전자 장치에 관한 것이다. 일 실시 예에 의하면, 전자 장치가 대상 객체의 크기를 식별하는 방법은 상기 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득하는 단계; 상기 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득하는 단계; 상기 획득된 기준 객체 이미지 및 대상 객체 이미지를 합성하는 단계; 및 상기 합성된 기준 객체 이미지 및 대상 객체 이미지를 제1 신경망 모델에 입력함으로써, 상기 제1 신경망 모델로부터 상기 측정 대상 객체의 크기 정보를 획득하는 단계; 를 포함할 수 있다.

Description

대상 객체의 크기를 식별하는 방법 및 장치 {APPARATUS AND METHOD IDENTIFYING THE SIZE OF THE TARGET OBJECT}

본 개시는 대상 객체의 크기를 식별하는 장치 및 방법에 관한 것이다. 보다 상세하게는 신경망을 이용하여 대상 객체의 크기를 식별하는 장치 및 방법에 관한 것이다.

카메라 장치 및 디스플레이 장치가 발달함에 따라 디스플레이 장치를 통하여 출력되는 이미지 내 객체의 형상 또는 크기를 식별하기 위한 기술들이 활발하게 연구되고 있다. 특히, 대단위 제품 제조 과정에서 이미지 분석 기술을 통하여 제품 이미지를 분석하고, 분석된 제품 이미지의 분석 결과를 통하여 제품의 하자를 발견함으로써, 불량률을 낮추고 정상 제품의 수율을 높이는데 사용되려는 시도가 증가하고 있으며, 이러한 이미지 분석 기술은 제품 분류, 검수 등 산업 현장의 다양한 분야에서 활용되고 있다.

일반적으로 종래의 기술은 이미지로부터 실제 거리 정보를 추정하기 위해 거리 측정 센서를 이용하거나, 측정 대상 물체의 크기를 측정하기 위해 기준 물체를 측정 대상 물체와 함께 촬영해야 하며, 카메라의 특성 정보(예컨대 초점 거리)등을 미리 획득해야 하는 한계가 있었다.

따라서, 측정 대상 물체와 기준 물체를 함께 촬영하지 않거나, 카메라의 특성 정보를 미리 알지 않아도 측정 대상 제품의 크기를 정확하게 식별하기 위한 기술 개발이 요구되고 있다.

한국공개특허 제2013-0043970호

일 실시 예에 의하면, 측정 대상 객체의 크기를 식별하는 방법 및 상기 방법을 수행하는 전자 장치가 제공될 수 있다.

보다 상세하게는 인공 신경망 모델을 활용하여 이미지 내 측정 대상 객체의 크기를 식별하는 방법 및 장치가 제공될 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시 예에 의하면, 전자 장치가 측정 대상 객체의 크기를 식별하는 방법은 상기 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득하는 단계; 상기 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득하는 단계; 상기 획득된 기준 객체 이미지 및 대상 객체 이미지를 합성하는 단계; 및 상기 합성된 기준 객체 이미지 및 대상 객체 이미지를 제1 신경망 모델에 입력함으로써, 상기 제1 신경망 모델로부터 상기 측정 대상 객체의 크기 정보를 획득하는 단계; 를 포함할 수 있다.

일 실시 예에 의하면, 상기 방법은 상기 대상 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 대상 객체 이미지 내 대상 객체 영역을 기준으로 생성된 대상 객체 마스크 이미지를 획득하는 단계; 를 더 포함하고, 상기 합성하는 단계는 상기 대상 객체 마스크 이미지 및 상기 기준 객체 이미지를 합성하는 단계; 를 더 포함할 수 있다.

또 다른 실시 예에 의하면, 측정 대상 객체의 크기를 식별하는 전자 장치는 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서; 를 포함하고, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득하고, 상기 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득하고, 상기 획득된 기준 객체 이미지 및 대상 객체 이미지를 합성하고, 상기 합성된 기준 객체 이미지 및 대상 객체 이미지를 제1 신경망 모델에 입력함으로써, 상기 제1 신경망 모델로부터 상기 측정 대상 객체의 크기 정보를 획득할 수 있다.

또한, 일 실시 예에 의하면, 전자 장치가 측정 대상 객체의 크기를 식별하는 방법에 있어서, 상기 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득하는 단계; 상기 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득하는 단계; 상기 획득된 기준 객체 이미지 및 대상 객체 이미지를 합성하는 단계; 및 상기 합성된 기준 객체 이미지 및 대상 객체 이미지를 제1 신경망 모델에 입력함으로써, 상기 제1 신경망 모델로부터 상기 측정 대상 객체의 크기 정보를 획득하는 단계; 를 포함하는, 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

일 실시 예에 의하면 측정 대상 객체의 크기를 효과적으로 식별할 수 있다.

일 실시 예에 의하면, 기준 물체를 함께 촬영하지 않고 간편하게 카메라의 추정된 자세에 기초하여 대상 객체의 크기를 식별할 수 있다.

도 1은 일 실시 예에 따라 전자 장치가 측정 대상 객체의 크기를 식별하는 과정을 개략적으로 나타내는 도면이다.
도 2는 또 다른 실시 예에 따라 전자 장치가 측정 대상 객체의 크기를 식별하는 과정을 나타내는 도면이다.
도 3은 일 실시 예에 따른 전자 장치가 측정 대상 객체의 크기를 식별하는 방법의 흐름도이다.
도 4는 일 실시 예에 따라 전자 장치가 대상 객체의 크기를 식별하기 위해 이용하는 제1 신경망 모델을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따라 전자 장치가 대상 객체의 크기를 식별하기 위해 이용하는 제2 신경망 모델을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따라 전자 장치가 대상 객체의 크기를 식별하는 과정을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따라 전자 장치가 대상 객체 이미지 및 기준 객체 이미지를 입력단위에서 합성하는 과정을 나타내는 도면이다.
도 8은 또 다른 실시 예에 따른 전자 장치가 대상 객체의 크기를 식별하는 방법의 흐름도이다.
도 9는 또 다른 실시 예에 따라 전자 장치가 대상 객체의 크기를 식별하는 과정을 설명하기 위한 도면이다.
도 10은 또 다른 실시 예에 따른 전자 장치가 대상 객체의 크기를 식별하는 방법의 흐름도이다.
도 11은 또 다른 실시 예에 따른 전자 장치가 신경망 모델의 출력 값 단위에서, 대상 객체 이미지가 제2 신경망 모델에 입력됨에 따라 출력된 제2 신경망 모델의 출력 값 및 기준 객체 이미지가 제2 신경망 모델에 입력 됨에 따라 출력된 제2 신경망 모델의 출력 값을 합성하는 과정을 나타내는 도면이다.
도 12는 또 다른 실시 예에 따른 전자 장치가 대상 객체의 크기를 식별하는 방법의 흐름도이다.
도 13은 또 다른 실시 예에 따른 전자 장치가 특징 단위에 기초하여 대상 객체 특징 및 기준 객체 특징을 합성하는 과정을 나타내는 도면이다.
도 14는 일 실시 예에 따라 전자 장치가 제1 신경망 모델을 이용하여 대상 객체의 크기를 측정하는 과정을 설명하기 위한 도면이다.
도 15는 일 실시 예에 따른 전자 장치가 신경망 모델을 학습하기 위해 생성한 학습 데이터를 설명하기 위한 도면이다.
도 16은 일 실시 예에 따른 전자 장치의 블록도이다.
도 17은 또 다른 실시 예에 따른 전자 장치의 블록도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.

본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 일 실시 예에 따라 전자 장치가 측정 대상 객체의 크기를 식별하는 과정을 개략적으로 나타내는 도면이다.

일 실시 예에 의하면, 전자 장치(1000)는 외부 디바이스(3000)로부터 기준 객체 이미지(112) 및 대상 객체 이미지(114)를 획득하고, 획득된 기준 객체 이미지(112) 및 대상 객체 이미지(114)를 분석함으로써, 대상 객체 이미지 내(114)내 측정 대상 객체의 크기(134)를 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 대상 객체 이미지(114)를 분석함으로써, 측정 대상 객체 정보(132)의 하나로 측정 대상 객체의 크기를 식별할 수 있다. 일 실시 예에 의하면 외부 디바이스(3000)는 기준 객체 또는 측정 대상 객체를 촬영하기 위한 카메라 장치일 수 있다.

도 1에는 전자 장치(1000)가 외부 디바이스(3000)로부터 기준 객체 이미지(112) 및 대상 객체 이미지(114)를 수신하는 것으로 도시되었으나, 또 다른 실시 예에 의하면, 전자 장치(1000)는 적어도 하나의 카메라를 포함하고, 직접 기준 객체 이미지(112) 및 대상 객체 이미지(114)를 획득할 수 있다. 일 실시 예에 의하면, 기준 객체 이미지(112)는 기준 객체를 촬영함으로써 생성되는 이미지이고, 대상 객체 이미지(114)는 측정 대상 객체를 촬영함으로써 획득되는 이미지일 수 있다. 일 실시 예에 의하면, 대상 객체 이미지(114)는 적어도 하나의 측정 대상 객체에 대한 이미지를 포함할 수도 있다.

일 실시 예에 의하면, 전자 장치(1000)는 적어도 하나의 신경망 모델을 포함할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 제1 신경망 모델(122) 및 제2 신경망 모델(124)을 포함할 수 있다. 전자 장치(1000)는 상술한 적어도 하나의 신경망 모델을 이용하여 기준 객체 이미지(112) 및 대상 객체 이미지(114)를 분석함으로써, 대상 객체 이미지 내 측정 대상 객체의 크기(134)를 식별할 수 있다.

도 1에는 전자 장치(1000)가 측정 대상 객체의 크기를 식별하는 것으로 도시되었으나, 또 다른 실시 예에 의하면, 전자 장치(1000)는 측정 대상 객체의 크기뿐만 아니라, 측정 대상 객체의 종류, 측정 대상 객체가 대상 객체 이미지 내에서 존재하는 객체 영역을 식별할 수도 있다.

일 실시 예에 의하면, 전자 장치(1000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 전자 장치(1000)는, 디지털 카메라, 모바일 단말, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다.

일 실시 예에 의하면, 외부 디바이스(3000)는 카메라(102), 카메라 구동 디바이스(104) 및 네트워크 인터페이스(106)를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니고, 외부 디바이스(3000)는 객체를 촬영하고, 객체를 촬영함으로써 생성하는 이미지에 대한 정보를 전자 장치(1000)로 전송하기 위한 기타 장치들을 더 포함할 수도 있다. 일 실시 예에 의하면, 외부 디바이스(3000)는 적어도 하나의 카메라를 포함하는 카메라 장치, 정지 영상 획득 장치, 또는 동적 영상 획득 장치 일 수도 있다.

일 실시 예에 의하면 카메라(102)는 적어도 하나의 이미지 센서를 포함하고, 이미지 센서를 통하여 객체로부터 반사된 광을 센싱함으로써 이미지를 생성할 수 있다. 카메라 구동 디바이스(104)는 카메라의 위치 또는 자세를 제어할 수 있다. 네트워크 인터페이스(106)는 외부 디바이스(3000)가 객체를 촬영함으로써 획득한 객체에 대한 정보를 전자 장치(1000)로 전송할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)는 서버(2000)와 연동함으로써, 대상 객체 이미지 내 측정 대상 객체의 크기를 식별할 수 있다. 일 실시 예에 의하면, 서버(2000)는 외부 디바이스(3000)와 연결됨으로써, 기준 객체 이미지(112) 및 대상 객체 이미지(114)를 획득하고, 획득한 기준 객체 이미지(112) 및 대상 객체 이미지(114)에 대한 정보를 전자 장치(1000)로 전송할 수도 있다.

일 실시 예에 의하면, 서버(2000)는 측정 대상 객체의 크기를 측정하는 전자 장치(1000)와 네트워크를 통하여 통신 연결되고, 데이터를 송수신할 수 있는 기타 컴퓨팅 장치를 포함할 수 있다. 일 실시 예에 의하면, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 도 1에 도시된 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다.

도 2는 또 다른 실시 예에 따라 전자 장치가 측정 대상 객체의 크기를 식별하는 과정을 나타내는 도면이다.

도 2를 참조하여 전자 장치(1000)가 측정 대상 객체의 크기를 식별하는 과정을 설명한다. 일 실시 예에 의하면, 전자 장치(1000)는 카메라1(202) 또는 카메라1(202)와 다른 자세로 고정되는 카메라2(206)와 연결될 수 있다. 일 실시 예에 의하면 카메라 1(202) 및 카메라 2(206)는 서로 다른 위치에서 다른 자세로 설정된 카메라일 수 있다. 또한, 일 실시 예에 의하면, 카메라 1(202) 및 카메라2(206)는 서로 다른 카메라일 수도 있으나, 동일한 카메라이고, 자세만 다른 카메라를 나타낼 수도 있다.

일 실시 예에 의하면, 전자 장치(1000)는 카메라 1(202)로부터 기준 이미지 1(212)를 획득하고, 획득된 기준 이미지 1(212)를 제2 신경망 모델(222)에 입력할 수 있다. 전자 장치(1000)는 제2 신경망 모델(222)로부터 기준 이미지 1(212)에 대응되는 기준 객체 특징 1(224)를 획득하고, 획득된 기준 객체 특징 1(224)를 제1 신경망 모델(228)에 입력할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)는 카메라 1(204)를 활용하여 측정 대상 객체 1를 촬영함으로써 획득되는 대상 객체 이미지1(232)를 제1 신경망 모델(228)에 입력할 수 있다. 전자 장치(1000)는 기준 객체 특징 1(224)와 함께 대상 객체 이미지 1(232)를 제1 신경망 모델(228)에 입력할 수 있다. 전자 장치(1000)는 제1 신경망 모델(228)로부터 대상 객체 이미지 1(232) 내 측정 대상 객체의 실제 크기 1(236)에 대한 정보를 획득할 수 있다. 일 실시 예에 의하면, 카메라 1(202)는 카메라 1(204)와 동일한 위치에서 동일한 자세를 가지는 카메라를 의미할 수 있다.

또 다른 실시 예에 의하면, 전자 장치(1000)는 카메라 2(206)로부터 기준 이미지 2(214)를 획득하고, 획득된 기준 이미지 2(214)를 제2 신경망 모델(222)에 입력할 수 있다. 전자 장치(1000)는 제2 신경망 모델(222)로부터 기준 이미지 2(214)에 대응되는 기준 객체 특징 2(226)를 획득하고, 획득된 기준 객체 특징 2(226)를 제1 신경망 모델(228)에 입력할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)는 카메라 2(208)를 활용하여 측정 대상 객체 2를 촬영함으로써 획득되는 대상 객체 이미지2(234)를 제1 신경망 모델(228)에 입력할 수 있다. 전자 장치(1000)는 기준 객체 특징 2(226)와 함께 대상 객체 이미지 2(234)를 제1 신경망 모델(228)에 입력할 수 있다. 전자 장치(1000)는 제1 신경망 모델(228)로부터 대상 객체 이미지 2(234) 내 측정 대상 객체의 실제 크기 2(238)에 대한 정보를 획득할 수 있다.

일 실시 예에 의하면, 카메라 2(206)는 카메라 2(208)와 동일한 위치에서 동일한 자세를 가지는 카메라를 의미할 수 있다.

도 3은 일 실시 예에 따른 전자 장치가 측정 대상 객체의 크기를 식별하는 방법의 흐름도이다.

S310에서, 전자 장치(1000)는 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 기준 객체를 촬영함으로써 획득되는 기준 객체 이미지를 전자 장치와 연결되는 카메라 장치로부터 수신할 수도 있다.

S320에서, 전자 장치(1000)는 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 측정 대상 객체를 촬영함으로써 획득되는 측정 대상 객체 이미지를 전자 장치와 연결되는 카메라로부터 획득할 수도 있다.

S330에서, 전자 장치(1000)는 기준 객체 이미지 및 대상 객체 이미지를 합성할 수 있다. 예를 들어, 전자 장치(1000)는 기준 객체 이미지에 나타나는 기준 객체에 대한 이미지 정보를 대상 객체 이미지에 반영함으로써, 기준 객체 이미지 및 대상 객체 이미지를 합성할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 대상 객체 이미지를 제2 신경망 모델에 입력함으로써 생성될 수 있는 대상 객체 마스크 이미지를 획득하고, 획득된 대상 객체 마스크 이미지와 기준 객체 이미지를 합성할 수도 있다.

일 실시 예에 의하면, 전자 장치(1000)는 대상 객체 이미지에 상기 기준 객체 이미지 정보를 반영함으로써, 상기 기준 객체 이미지 및 상기 대상 객체 이미지를 합성하거나, 소정의 채널 단위로 상기 기준 객체 이미지 및 상기 대상 객체 이미지를 합성할 수도 있다.

S340에서, 전자 장치(1000)는 합성된 기준 객체 이미지 및 대상 객체 이미지를 제1 신경망 모델에 입력함으로써, 제1 신경망 모델로부터 측정 대상 객체의 크기 정보를 획득할 수도 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 합성된 대상 객체 마스크 이미지 및 기준 객체 이미지를 제1 신경망 모델에 입력함으로써, 측정 대상 객체의 크기 정보를 획득할 수도 있다.

일 실시 예에 의하면, 전자 장치(1000)가 이용하는 제1 신경망 모델 및 제2 신경망 모델은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 역시 이에 한정되는 것은 아니다.

도 4는 일 실시 예에 따라 전자 장치가 대상 객체의 크기를 식별하기 위해 이용하는 제1 신경망 모델을 설명하기 위한 도면이다.

일 실시 예에 의하면, 전자 장치(1000)는 제1 신경망 모델(406)을 이용하여 대상 객체 이미지(402) 내 측정 대상 객체의 크기 정보를, 식별 결과(408)로써 획득할 수 있다. 예를 들어, 전자 장치(1000)는 측정 대상 객체를 촬영함으로써 대상 객체 이미지(402)를 획득하고, 기준 객체를 촬영함으로써 기준 객체 이미지(404)를 획득할 수 있다. 전자 장치(1000)는 대상 객체 이미지(402) 및 기준 객체 이미지(404)를 제1 신경망 모델(406)에 입력할 수 있다.

또 다른 실시 예에 의하면, 전자 장치(1000)는 대상 객체 이미지(402)를 제2 신경망 모델에 입력함으로써, 대상 객체 이미지 내 객체 영역을 기준으로, 이진화된 이미지인 대상 객체 마스크 이미지를 획득한 후, 대상 객체 마스크 이미지 및 기준 객체 이미지(404)를 제1 신경망 모델(406)에 입력할 수도 있다.

일 실시 예에 의하면 제1 신경망 모델(406)은 심층 신경망으로써 ResNet-32구조의 신경망 네트워크일 수 있다. 그러나, 이에 한정되는 것은 아니다. 일 실시 예에 의하면, 제1 신경망 모델(406)은 대상 객체 이미지 및 기준 객체 이미지가 입력되면, 대상 객체 이미지 내 측정 대상 객체의 정보를 출력하도록 미리 학습될 수 있다. 일 실시 예에 의하면, 제1 신경망 모델(406)은 상기 대상 객체 마스크 이미지 및 기준 객체 이미지를 획득하고, 상기 획득된 대상 객체 마스크 이미지 및 기준 객체 이미지를 비교하며, 비교 결과에 기초하여 상기 측정 대상 객체를 포함하는 이미지 내 객체 박스가 나타내는 측정 대상 객체의 종류 및 상기 측정 대상 객체의 크기 정보를 출력하는 객체 크기 식별 네트워크를 포함할 수 있다.

일 실시 예에 의하면, 제1 신경망 모델(406)은 측정 대상 객체의 크기 외에, 측정 대상 객체의 종류, 상기 대상 객체 이미지(402)내에서 상기 측정 대상 객체가 나타는 영역에 대한 정보를 더 출력할 수도 있다. 전자 장치(1000)는 1 신경망 모델(406)의 출력 값에 기초하여 대상 객체 이미지(402)내 식별 결과로써, 측정 대상 객체의 크기, 종류 또는 객체 영역에 대한 정보를 획득할 수 있다.

도 5는 일 실시 예에 따라 전자 장치가 대상 객체의 크기를 식별하기 위해 이용하는 제2 신경망 모델을 설명하기 위한 도면이다.

일 실시 예에 의하면, 전자 장치(1000)는 제2 신경망 모델(504)를 이용하여 적어도 하나의 대상 객체 마스크 이미지를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 대상 객체 이미지(502)를 획득하고, 획득된 대상 객체 이미지(502)를 제2 신경망 모델(504)에 입력함으로써, 적어도 하나의 대상 객체 마스크 이미지(506, 508)를 획득할 수 있다. 일 실시 예에 의하면, 제2 신경망 모델(504)은 Mask R-CNN 신경망 네트워크일 수 있으나, 이에 한정되는 것은 아니다.

일 실시 예에 의하면, 제2 신경망 모델(504)은 제2 신경망 모델로 입력된 적어도 하나의 측정 대상 객체를 포함하는 대상 객체 이미지(502) 내 적어도 하나의 측정 대상 객체 각각을 포함하는 객체 영역을 식별하고, 상기 객체 영역을 포함하는 객체 박스를 생성하며, 상기 객체 박스가 나타내는 측정 대상 객체의 종류를 식별하고, 상기 객체 영역을 기준으로 상기 제2 신경망 모델로 입력된 이미지를 이진화함으로써, 상기 대상 객체 마스크 이미지를 생성하는, 객체 검출 네트워크를 포함할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)는 제2 신경망 모델(504)를 이용하여 대상 객체 이미지(502) 내 픽셀 값에 기초하여, 객체 영역의 경계를 식별하고, 식별된 경계에 기초하여 객체 영역을 식별하며, 식별된 객체 영역과 대상 객체 이미지 내 객체 영역을 제외한 부분을 이진화함으로써, 대상 객체 마스크 이미지를 생성할 수 있다. 전자 장치(1000)는 생성한 대상 객체 마스크 이미지를 기준 객체 이미지와 합성하고, 합성된 이미지를 제1 신경망 모델에 입력함으로써, 측정 대상 객체의 크기 정보를 획득할 수 있다.

도 6은 일 실시 예에 따라 전자 장치가 대상 객체의 크기를 식별하는 과정을 설명하기 위한 도면이다.

도 6을 참조하여, 전자 장치(1000)가 대상 객체의 크기를 식별하는 과정을 간략하게 설명한다. 전자 장치(1000)는 기준 객체 이미지(602) 및 대상 객체 이미지(604)를 획득하고, 획득된 기준 객체 이미지(602) 및 대상 객체 이미지(604)를 합성함으로써 합성 이미지(606)를 생성할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 대상 객체 이미지를 마스킹함으로써 생성되는 대상 객체 마스크 이미지 및 기준 객체 이미지를 합성할 수도 있음은 물론이다.

전자 장치(1000)는 합성 이미지(606)를 제1 신경망 모델(609)에 입력할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 합성 이미지(606)를 제1 신경망 모델(609)내 객체 크기 식별 네트워크 (608)로 전달할 수 있다. 전자 장치(1000)는 제1 신경망 모델(609)의 출력 값에 기초하여 대상 객체 이미지(604)내 대상 객체의 크기(612)를 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 객체 크기 식별부(607)를 포함하고, 객체 크기 식별부(607)를 이용하여 기준 객체 이미지(602) 및 대상 객체 이미지(604)를 합성하고, 합성 결과로 생성된 합성 이미지(606)를 객체 크기 식별 네트워크(608)에 입력할 수도 있다.

도 7은 일 실시 예에 따라 전자 장치가 대상 객체 이미지 및 기준 객체 이미지를 입력단위에서 합성하는 과정을 나타내는 도면이다.

본 개시에 따른 전자 장치(1000)는 다양한 레벨에서 대상 객체 이미지에 대한 정보 및 기준 객체 이미지에 대한 정보를 합성할 수 있다. 일 실시 예에 따라 도 7을 참조하면, 전자 장치(1000)는 대상 객체 이미지(702) 및 기준 객체 이미지(704)가 제1 신경망 모델에 입력되기 전, 이미지 레벨(level)에서, 대상 객체 이미지(702) 및 기준 객체 이미지(704)를 합성할 수 있다. 전자 장치(1000)는 합성된 대상 객체 이미지(702) 및 기준 객체 이미지(704)를 제1 신경망 모델(708)에 입력함으로써, 측정 대상 객체의 크기 정보를 식별 결과(712)로 획득할 수 있다.

또 다른 실시 예에 의하면, 전자 장치(1000)는 대상 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 획득되는 대상 객체 마스크 이미지를 기준 객체 이미지(704)와 합성할 수도 있고, 합성 결과로 생성된 합성 이미지를 제1 신경망 모델(708)에 입력할 수도 있다.

도 8은 또 다른 실시 예에 따른 전자 장치가 대상 객체의 크기를 식별하는 방법의 흐름도이다.

S810에서, 전자 장치(1000)는 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득할 수 있다. S810은 도 3의 S310에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다. S820에서, 전자 장치(1000)는 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득할 수 있다. S820은 도 3의 S320에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.

S830에서, 전자 장치(1000)는 기준 객체 이미지를 제2 신경망 모델에 입력함으로써 제2 신경망 모델로부터 기준 객체 특징을 획득할 수 있다. 일 실시 예에 의하면, 기준 객체 특징(Feature)은 제2 신경망 모델 내 네트워크 레이어의 출력 값으로써 특정 레이어의 벡터 시퀀스일 수 있다. 일 실시 예에 의하면, 기준 객체 특징은 제2 신경망 모델 내 네트워크 레이어의 출력 값으로써, 히든 레이어 벡터의 시퀀스 일 수도 있다.

S840에서, 전자 장치(1000)는 기준 객체 특징 및 대상 객체 이미지를 제1 신경망 모델에 입력함으로써 측정 대상 객체의 크기 정보를 획득할 수 있다.

도 9는 또 다른 실시 예에 따라 전자 장치가 대상 객체의 크기를 식별하는 과정을 설명하기 위한 도면이다.

도 9를 참조하여 전자 장치(1000)가 대상 객체의 크기를 식별하는 또 다른 과정을 간략하게 설명하기로 한다. 예를 들어, 전자 장치(1000)는 기준 객체 이미지(902) 및 대상 객체 이미지(904)를 획득하고, 획득된 기준 객체 이미지(902)를 제2 신경망 모델(906)에 입력함으로써 기준 객체 특징(908)을 획득할 수 있다. 전자 장치(1000)는 기준 객체 특징(908) 및 대상 객체 이미지(904)를 제1 신경망 모델(912)에 입력함으로써 대상 객체의 크기(914)에 대한 정보를 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)가 제2 신경망 모델에 기준 객체 이미지(902) 및 대상 객체 이미지(904)를 입력하고, 제2 신경망 모델(906)로부터 기준 객체 특징(908)을 획득하며, 획득된 기준 객체 특징(908) 및 대상 객체 이미지(904)를 제1 신경망 모델(912)에 입력하는 동작은, 전자 장치(1000)내 크기 식별부(905)에 의해 수행될 수도 있다.

도 10은 또 다른 실시 예에 따른 전자 장치가 대상 객체의 크기를 식별하는 방법의 흐름도이다.

S1010에서, 전자 장치(1000)는 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득할 수 있다. S1010은 도 3의 S310에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다. S1020에서, 전자 장치(1000)는 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득할 수 있다. S1020은 도 3의 S320에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.

S1030에서, 전자 장치(1000)는 기준 객체 이미지를 제2 신경망 모델에 입력함으로써, 제2 신경망 모델의 제1 출력 값을 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 기준 객체 이미지를 제2 신경망 모델에 입력 시 제2 신경망 모델의 출력 레이어로부터 출력되는 벡터 시퀀스를 제2 신경망 모델의 제1 출력 값으로 획득할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 기준 객체 이미지를 제2 신경망 모델에 입력 시, 제2 신경망 모델 내 선택된 하나의 레이어로부터 출력되는 벡터 시퀀스를 제2 신경망 모델의 제1 출력 값으로 획득할 수도 있다.

S1040에서, 전자 장치(1000)는 대상 객체 이미지를 제2 신경망 모델에 입력함으로써, 제2 신경망 모델의 제2 출력 값을 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 대상 객체 이미지를 제2 신경망 모델에 입력 시, 제2 신경망 모델의 출력 레이어로부터 출력되는 벡터 시퀀스를 제2 신경망 모델의 제2 출력 값으로 획득할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 대상 객체 이미지를 제2 신경망 모델에 입력 시, 제2 신경망 모델 내 선택된 하나의 레이어로부터 출력되는 벡터 시퀀스를 제2 신경망 모델의 제2 출력 값으로 획득할 수도 있다.

S1050에서, 전자 장치(1000)는 제2 신경망 모델의 제1 출력 값 및 제2 신경망 모델의 제2 출력 값을 합성할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 제2 신경망 모델의 제1 출력 값 및 제2 신경망 모델의 제2 출력 값을 평균함으로써, 제1 출력 값 및 제2 출력 값을 합성할 수도 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 제1 출력 값 및 제2 출력 값 각각이 제2 신경망 모델 내 소프트 맥스 레이어의 출력 값인 경우, 각각의 소프트 맥스 레이어의 출력 값을 평균함으로써 제1 출력 값 및 제2 출력 값을 합성할 수도 있다.

S1060에서, 전자 장치(1000)는 합성된 제2 신경망 모델의 제1 출력 값 및 제2 신경망 모델의 제2 출력 값을 제1 신경망 모델에 입력함으로써, 측정 대상 객체의 크기 정보를 획득할 수 있다.

도 11은 또 다른 실시 예에 따른 전자 장치가 신경망 모델의 출력 값 단위에서, 대상 객체 이미지가 제2 신경망 모델에 입력됨에 따라 출력된 제2 신경망 모델의 출력 값 및 기준 객체 이미지가 제2 신경망 모델에 입력 됨에 따라 출력된 제2 신경망 모델의 출력 값을 합성하는 과정을 나타내는 도면이다.

도 11을 참조하여 도 10에서 상술한, 전자 장치(1000)가 대상 객체의 크기를 식별하는 과정을 간략하게 설명하기로 한다. 일 실시 예에 의하면, 전자 장치(1000)는 대상 객체 이미지(1102) 및 기준 객체 이미지(1104)를 제2 신경망 모델(1106)에 입력함으로써, 대상 객체 이미지(1102) 및 기준 객체 이미지(1104)에 각각 대응되는, 제2 신경망 모델의 제1 출력 값 및 제2 신경망 모델의 제2 출력 값을 획득할 수 있다.

전자 장치(1000)는 제2 신경망 모델의 출력 단위 레벨에서 상술한 제2 신경망 모델의 제1 출력 값 및 제2 신경망 모델의 제2 출력 값을 합성함으로써 합성 출력 값을 획득하고, 획득된 합성 출력 값을 제1 신경망 모델(1108)에 입력함으로써, 측정 대상 객체의 크기 정보를 식별 결과(1112)로 획득할 수 있다.

본 개시에 따른 전자 장치(1000)는 제2 신경망 모델의 출력 레이어 수준에서 Output Fusion 알고리즘을 수행함으로써, 대상 객체 이미지(1102) 및 기준 객체 이미지(1104)에 각각 대응되는, 제2 신경망 모델의 제1 출력 값 및 제2 신경망 모델의 제2 출력 값을 합성할 수 있다.

도 12는 또 다른 실시 예에 따른 전자 장치가 대상 객체의 크기를 식별하는 방법의 흐름도이다.

S1210에서, 전자 장치(1000)는 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득할 수 있다. S1210은 도 3의 S310에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다. S1220에서, 전자 장치(1000)는 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득할 수 있다. S1220은 도 3의 S320에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.

S1230에서, 전자 장치(1000)는 기준 객체 이미지를 제2 신경망 모델에 입력함으로써 제2 신경망 모델로부터 기준 객체 특징을 획득할 수 있다. 예를 들어, 전자 장치(1000)는 기준 객체 이미지를 제2 신경망 모델에 입력함으로써, 제2 신경망 모델 내 적어도 하나의 레이어에서 출력되는 벡터 시퀀스를 기준 객체 특징으로 획득할 수도 있다. 일 실시 예에 의하면 기준 객체 특징은 소정의 시퀀스를 포함하는 벡터 형태로 생성될 수 있다.

S12240에서, 전자 장치(1000)는 대상 객체 이미지를 제2 신경망 모델에 입력함으로써, 제2 신경망 모델로부터 대상 객체 특징을 획득할 수 있다. 예를 들어, 전자 장치(1000)는 대상 객체 이미지를 제2 신경망 모델에 입력함으로써, 제2 신경망 모델 내 적어도 하나의 레이어에서 출력되는 벡터 시퀀스를 대상 객체 특징으로 획득할 수도 있다. 일 실시 예에 의하면 대상 객체 특징은 소정의 시퀀스를 포함하는 벡터 형태로 생성될 수 있다.

S1250에서, 전자 장치(1000)는 획득된 기준 객체 특징 및 대상 객체 특징을 합성할 수 있다. 예를 들어, 전자 장치(1000)는 기준 객체 특징 및 대상 객체 특징을 특징간 요소별 덧셈(element-wise addition)함으로써, 기준 객체 특징 및 대상 객체 특징을 합성할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 획득된 기준 객체 특징 및 대상 객체 특징을 채널 단위로 병합(concatenation)함으로써, 기준 객체 특징 및 대상 객체 특징을 합성할 수 있다.

S1260에서, 전자 장치(1000)는 합성된 기준 객체 특징 및 대상 객체 특징을 제1 신경망 모델에 입력함으로써 측정 대상 객체의 크기 정보를 획득할 수 있다.

도 13은 또 다른 실시 예에 따른 전자 장치가 특징 단위에 기초하여 대상 객체 특징 및 기준 객체 특징을 합성하는 과정을 나타내는 도면이다.

도 13을 참조하여 도 12에서 상술한 전자 장치(1000)가 대상 객체의 크기를 식별하는 과정을 합성과정을 중점으로 설명하기로 한다. 예를 들어, 전자 장치(1000)는 대상 객체 이미지(1302) 및 기준 객체 이미지(1304)를 획득하고, 획득된 대상 객체 이미지 (1302) 및 기준 객체 이미지(1304)를 제2 신경망 모델(1306)에 입력함으로써, 상기 제2 신경망 모델로부터 각각 출력되는 대상 객체 특징 및 기준 객체 특징을 획득할 수 있다.

본 개시에 따른 전자 장치(1000)는 제2 신경망 모델로부터 출력된 대상 객체 특징 및 기준 객체 특징을 특징(feature) 레벨에서 합성하기 위한 Feature Fusion 알고리즘을 수행함으로써, 합성할 수 있다. 전자 장치(1000)가 수행하는 Feature Fusion 알고리즘은 상술한 요소별 덧셈 알고리즘 또는 병합(concatenation) 알고리즘을 포함할 수 있다.

전자 장치(1000)는 특징 레벨에서 합성된 대상 객체 특징 및 기준 객체 특징을 제1 신경망 모델에 입력함으로써, 측정 대상 객체의 크기 정보를 결과(1312)로써 획득할 수 있다.

상술한 바와 같이, 본 개시에 따른 전자 장치(1000)는 대상 객체 이미지 내 측정 대상 객체의 크기를 측정하기 위해, 다양한 수준에서 기준 객체 정보와 대상 객체 정보를 합성할 수 있다. 본 개시에 따른 전자 장치(1000)는 이미지 수준(level)에서의 이미지 합성, 신경망 레이어의 출력 수준(level)에서의 합성, 신경망 레이어로부터 출력된 특징(feature) 수준(level)에서의 합성 중 적어도 하나의 합성에 따른 결과를 제1 신경망 모델에 입력함으로써, 대상 객체의 크기를 정확하게 식별할 수 있다.

도 14는 일 실시 예에 따라 전자 장치가 제1 신경망 모델을 이용하여 대상 객체의 크기를 측정하는 과정을 설명하기 위한 도면이다.

일 실시 예에 의하면, 전자 장치(1000)는 제1 신경망 모델을 이용하여 기준 객체 1(1404)와 대상 객체 이미지를 각각 비교할 수 있다. 예를 들어, 전자 장치(1000)는 카메라 1(1402)를 이용하여 기준 객체 1을 촬영함으로써, 기준 객체 이미지를 획득하고, 획득된 기준 객체 이미지와 다양한 측정 대상 객체를 포함하는 대상 객체 이미지 각각을 비교함으로써, 기준 객체 특징 1(1406), 기준 객체 특징 2(1408) 등을 결정할 수 있다.

도 15는 일 실시 예에 따른 전자 장치가 신경망 모델을 학습하기 위해 생성한 학습 데이터를 설명하기 위한 도면이다.

도 15를 참조하면 전자 장치(1000)가 제1 신경망 모델 및 제2 신경망 모델을 학습시키기 위해 사용하는 학습 데이터(1514)가 도시된다.

일 실시 예에 의하면, 전자 장치(1000)는 측정 대상 객체 및 기준 객체를 가상으로 촬영할 수 있는 가상 환경 내에서, 기 설정된 3D CAD 모델(1511) 및 기 설정된 카메라 특성 파라미터를 포함하는 카메라 특성 모델(1510)을 획득하고, 카메라 특성 모델(1510)을 이용하여, 3D CAD 모델(1511)내 나타나는 다양한 종류의 측정 대상 객체들(1512)을 촬영함으로써, 학습 데이터(1514)를 생성할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 3D CAD 모델(1511)내 나타나는 다양한 종류의 측정 대상 객체들(1512)을 촬영함으로써, 학습 데이터(1514)를 생성함에 있어, 기준이 되는 객체 이미지를 더 반영함으로써 학습 데이터(1514)를 생성할 수도 있다.

본 개시에 따른 전자 장치(1000)는 실제 카메라를 사용하여 데이터를 수집하는 경우 주변 환경(빛 세기, 조명 등)과 조리개의 변화를 모두 고려하여야 하는 것과는 달리, 가상 환경 내에서 카메라 특성 모델(1510) 및 3D CAD 모델(1514)을 이용하여 데이터를 수집하기 때문에, 원하는 측정 대상 객체에 대한 데이터를 수집할 수 있는 장점이 있다.

또한, 본 개시에 따른 전자 장치(1000)는 여러 가지 도메인 정보를 무작위로 변화시킴으로써 다양한 주변 환경 변화 요소에 강인한 학습 데이터를 생성할 수 있다. 일 실시 예에 의하면, 도메인 정보는 텍스처(texture) 정보로써, 광이 객체에서 어떻게 반사되는지 여부에 관한 정보를 포함할 수 있다. 일 실시 예에 의하면 도메인 정보는 광이 객체에서 반사되는 경로에 기초하여 다르게 변화될 수 있다.

본 개시에 따른 전자 장치(1000)는 3D CAD 모델(1514) 및 카메라 특성 모델을 가상환경 내로 반영한 후, 카메라 특성 모델을 이용하여 3D CAD 모델(1514)로 나타나는 복수의 측정 대상 객체를 촬영할 수 있다. 특히 본 개시에 따른 전자 장치(1000)는 카메라 특성 모델을 이용하여 가상 환경 내에서 3D CAD 모델을 촬영할 때마다 도메인 정보를 무작위로 변환함으로써, 다양한 주변 환경 변화 요소에 강인한 학습 데이터를 생성할 수 있는 장점이 있다. 전자 장치(1000)는 상술한 방법에 따라 생성된 학습 데이터에 기초하여 제1 신경망 모델 및 제2 신경망 모델을 학습 시킬 수 있다.

도 16은 일 실시 예에 따른 전자 장치의 블록도이다.

도 17은 또 다른 실시 예에 따른 전자 장치의 블록도이다.

도 16에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(1000)는 프로세서(1300) 및 메모리(1700)를 포함할 수 있다. 그러나, 도시된 구성 요소가 모두 필수구성요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 그 보다 적은 구성 요소에 의해서도 전자 장치(1000)는 구현될 수도 있다.

예를 들어, 도 17에 도시된 바와 같이, 전자 장치(1000)는 프로세서(1300) 및 메모리(1700)외에, 사용자 입력 인터페이스(1100), 출력부(1200), 센싱부(1400), 네트워크 인터페이스(1500), A/V 입력부(1600) 및 메모리(1700)를 더 포함할 수도 있다.

사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

사용자 입력부(1100)는, 전자 장치(1000)가 측정 대상 객체에 대한 정보를 식별하도록 하기 위한 적어도 하나의 사용자 입력을 수신할 수도 있다.

출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.

디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력하기 위한 화면을 포함한다. 또한, 화면은 영상을 디스플레이 할 수 있다. 예를 들면, 화면의 적어도 일부는 측정 대상 객체를 촬영함으로써 획득된 대상 객체 이미지, 기준 객체를 촬영함으로써 획득되는 기준 객체 이미지를 디스플레이 할 수 있다.

음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.

프로세서(1300)는 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 네트워크 인터페이스(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다. 또한, 프로세서(1300)는 메모리(1700)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 15에 기재된 전자 장치(1000)의 기능을 수행할 수 있다.

일 실시 예에 의하면, 프로세서(1300)는 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득하고, 상기 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득하고, 상기 획득된 기준 객체 이미지 및 대상 객체 이미지를 합성하고, 상기 합성된 기준 객체 이미지 및 대상 객체 이미지를 제1 신경망 모델에 입력함으로써, 상기 제1 신경망 모델로부터 상기 측정 대상 객체의 크기 정보를 획득할 수 있다.

일 실시 예에 의하면, 프로세서(1300)는 상기 대상 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 대상 객체 이미지 내 대상 객체 영역을 기준으로 생성된 대상 객체 마스크 이미지를 획득하고, 상기 대상 객체 마스크 이미지 및 상기 기준 객체 이미지를 합성할 수 있다.

일 실시 예에 의하면, 프로세서(1300)는 상기 기준 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 기준 객체 특징을 획득하고, 상기 획득된 기준 객체 특징 및 상기 획득된 대상 객체 이미지를 상기 제1 신경망 모델에 입력함으로써, 상기 측정 대상 객체의 크기 정보를 획득할 수 있다.

센싱부(1400)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다. 센싱부(1400)는 전자 장치(1000)의 사양 정보, 전자 장치(1000)의 상태 정보, 전자 장치(1000)의 주변 환경 정보, 사용자의 상태 정보 및 사용자의 디바이스 사용 이력 정보 중 일부를 생성하는데 이용될 수 있다.

센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

네트워크 인터페이스(1500)는 전자 장치(1000)가 다른 장치(미도시) 및 서버(2000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(1000)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 제한되지 않는다. 예를 들어, 네트워크 인터페이스(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다. 또한, 네트워크 인터페이스(1500)는, 카메라 장치를 포함하는 외부 디바이스 또는 서버로부터 대상 객체 이미지 또는 기준 객체 이미지를 획득할 수도 있다. 일 실시예에 따르면, 네트워크 인터페이스(1500)는 전자 장치가 식별한 측정 대상 객체에 대한 정보를 서버 또는 외부 디바이스로 전송할 수도 있다.

A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.

마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 사용자의 음성 입력을 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다. 또한, 메모리(1700)는 대상 객체 이미지, 기준 객체 이미지 및 메모리(1700)에 저장된 이미지를 탐색한 결과를 저장할 수 있다.

또한, 메모리(1700)는 전자 장치(1000)가 이용하는 적어도 하나의 신경망 모델에 대한 정보를 저장할 수 있다. 예를 들어, 메모리(1700)는 적어도 하나의 신경망 모델 내 레이어들, 노드들, 상기 레이어들의 연결 강도에 관한 가중치 값들을 저장할 수 있다. 또한, 전자 장치(1000)는 신경망 모델을 학습하기 위해 전자 장치(1000)가 생성한 학습 데이터를 더 저장할 수도 있다. 또한, 메모리(1700)는 학습 데이터를 생성하기 위한 3D CAD 모델, 카메라 특성 모델을 더 저장할 수도 있다.

메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.

UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.

알림 모듈(1730)은 전자 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.

일 실시예에 따른 전자 장치가 측정 대상 객체의 크기를 식별하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

또한, 안구 운동 측정 장치가 사용자의 안구 운동을 측정하는 방법, 안구 운동 측정 장치가 사용자의 안구 운동에 기초하여 사용자의 간성 뇌증을 진단하는 방법 또는 전자 장치가 사용자의 간성 뇌증을 진단하는 방법을 수행하도록 하는 프로그램이 저장된 기록 매체를 포함하는 컴퓨터 프로그램 장치가 제공될 수 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. 또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품(computer program product)으로도 구현될 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims

전자 장치가 측정 대상 객체의 크기를 식별하는 방법에 있어서,
상기 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득하는 단계;
상기 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득하는 단계;
상기 획득된 기준 객체 이미지 및 대상 객체 이미지를 합성하는 단계;
상기 합성된 기준 객체 이미지 및 대상 객체 이미지를 제1 신경망 모델에 입력함으로써, 상기 제1 신경망 모델로부터 상기 측정 대상 객체의 크기 정보를 획득하는 단계; 및
상기 대상 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 대상 객체 이미지 내 대상 객체 영역을 기준으로 생성된 대상 객체 마스크 이미지를 획득하는 단계; 를 포함하고,
상기 합성하는 단계는 상기 대상 객체 마스크 이미지 및 상기 기준 객체 이미지를 합성하는 단계; 를 포함하는, 방법.
삭제
제1항에 있어서, 상기 방법은
상기 기준 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 기준 객체 특징을 획득하는 단계; 및
상기 획득된 기준 객체 특징 및 상기 획득된 대상 객체 이미지를 상기 제1 신경망 모델에 입력함으로써, 상기 측정 대상 객체의 크기 정보를 획득하는 단계; 를 포함하는, 방법.
제1항에 있어서, 상기 방법은
상기 기준 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 기준 객체 특징을 획득하는 단계;
상기 대상 객체 이미지를 상기 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 대상 객체 특징을 획득하는 단계;
상기 획득된 기준 객체 특징 및 상기 대상 객체 특징을 합성하는 단계;
상기 합성된 기준 객체 특징 및 상기 대상 객체 특징을 상기 제1 신경망 모델에 입력함으로써, 상기 측정 대상 객체의 크기 정보를 획득하는 단계; 를 포함하는, 방법.
제1항에 있어서, 상기 방법은
상기 기준 객체 이미지를 상기 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델의 출력 값을 획득하는 단계;
상기 대상 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델의 출력 값을 획득하는 단계;
상기 획득된 기준 객체 이미지 입력 값에 대한 제2 신경망 모델의 출력 값 및 상기 대상 객체 이미지 입력 값에 대한 제2 신경망 모델의 출력 값을 합성하는 단계; 및
상기 합성된 제2 신경망 모델의 출력 값 및 상기 제2 신경망 모델의 출력 값을 상기 제1 신경망 모델에 입력함으로써, 상기 측정 대상 객체의 크기 정보를 획득하는 단계; 를 포함하는, 방법.
제1항에 있어서, 상기 기준 객체 이미지 및 상기 대상 객체 이미지를 합성하는 단계는
상기 대상 객체 이미지에 상기 기준 객체 이미지 정보를 반영함으로써, 상기 기준 객체 이미지 및 상기 대상 객체 이미지를 합성하거나, 소정의 채널 단위로 상기 기준 객체 이미지 및 상기 대상 객체 이미지를 합성하는 단계; 를 포함하는, 방법.
제1항에 있어서, 상기 제2 신경망 모델은
상기 제2 신경망 모델로 입력된 적어도 하나의 측정 대상 객체를 포함하는 이미지 내 적어도 하나의 측정 대상 객체 각각을 포함하는 객체 영역을 식별하고, 상기 객체 영역을 포함하는 객체 박스를 생성하며, 상기 객체 박스가 나타내는 측정 대상 객체의 종류를 식별하고, 상기 객체 영역을 기준으로 상기 제2 신경망 모델로 입력된 이미지를 이진화함으로써, 상기 대상 객체 마스크 이미지를 생성하는, 객체 검출 네트워크를 포함하는 것을 특징으로 하는, 방법.
제7항에 있어서, 상기 제1 신경망 모델은
상기 대상 객체 마스크 이미지 및 기준 객체 이미지를 획득하고, 상기 획득된 대상 객체 마스크 이미지 및 기준 객체 이미지를 비교하며, 비교 결과에 기초하여 상기 측정 대상 객체를 포함하는 이미지 내 객체 박스가 나타내는 측정 대상 객체의 종류 및 상기 측정 대상 객체의 크기 정보를 출력하는 객체 크기 식별 네트워크를 더 포함하는 것을 특징으로 하는, 방법.
제1항에 있어서, 상기 제1 신경망 모델 및 상기 제2 신경망 모델은
측정 대상 객체 및 기준 객체를 가상으로 촬영할 수 있는 가상환경에서, 기 설정된 CAD 모델 및 기 설정된 카메라 특성 파라미터를 포함하는 카메라 특성 모델을 이용하여 생성된 학습 데이터에 기초하여 미리 학습되는 것을 특징으로 하는, 방법.
제9항에 있어서, 상기 학습 데이터는
상기 가상환경 내에서, 가상의 광이 상기 측정 대상 객체 또는 상기 기준 객체에 반사되는 경로에 기초하여 서로 달라지는 도메인 정보를 다르게 변화시키면서, 상기 CAD 모델 및 상기 카메라 특성 모델을 이용하여 생성되는 것을 특징으로 하는, 방법.
제1항에 있어서, 상기 방법은
상기 제1 신경망 모델로부터 상기 측정 대상 객체의 종류, 상기 대상 객체 이미지 내 측정 대상 객체의 영역 정보를 획득하는 단계; 를 더 포함하는, 방법.
측정 대상 객체의 크기를 식별하는 전자 장치에 있어서,
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서; 를 포함하고,
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득하고,
상기 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득하고,
상기 획득된 기준 객체 이미지 및 대상 객체 이미지를 합성하고,
상기 합성된 기준 객체 이미지 및 대상 객체 이미지를 제1 신경망 모델에 입력함으로써, 상기 제1 신경망 모델로부터 상기 측정 대상 객체의 크기 정보를 획득하고,
상기 적어도 하나의 프로세서는,
상기 대상 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 대상 객체 이미지 내 대상 객체 영역을 기준으로 생성된 대상 객체 마스크 이미지를 획득하고,
상기 대상 객체 마스크 이미지 및 상기 기준 객체 이미지를 합성하는 것을 특징으로 하는, 전자 장치.
삭제
제12항에 있어서, 상기 적어도 하나의 프로세서는
상기 기준 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 기준 객체 특징을 획득하고,
상기 획득된 기준 객체 특징 및 상기 획득된 대상 객체 이미지를 상기 제1 신경망 모델에 입력함으로써, 상기 측정 대상 객체의 크기 정보를 획득하는, 전자 장치.
전자 장치가 측정 대상 객체의 크기를 식별하는 방법에 있어서,
상기 측정 대상 객체의 크기를 식별하기 위한 기준이 되는 기준 객체를 촬영함으로써 기준 객체 이미지를 획득하는 단계;
상기 측정 대상 객체를 촬영함으로써 대상 객체 이미지를 획득하는 단계;
상기 획득된 기준 객체 이미지 및 대상 객체 이미지를 합성하는 단계;
상기 합성된 기준 객체 이미지 및 대상 객체 이미지를 제1 신경망 모델에 입력함으로써, 상기 제1 신경망 모델로부터 상기 측정 대상 객체의 크기 정보를 획득하는 단계; 및
상기 대상 객체 이미지를 제2 신경망 모델에 입력함으로써, 상기 제2 신경망 모델로부터 대상 객체 이미지 내 대상 객체 영역을 기준으로 생성된 대상 객체 마스크 이미지를 획득하는 단계; 를 포함하고,
상기 합성하는 단계는 상기 대상 객체 마스크 이미지 및 상기 기준 객체 이미지를 합성하는 단계; 를 포함하는, 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체.