KR20220011450A

KR20220011450A - 물품을 식별하는 장치, 서버 및 식별하는 방법

Info

Publication number: KR20220011450A
Application number: KR1020200090374A
Authority: KR
Inventors: 황성목; 권영탁; 김상윤; 김진옥
Original assignee: 엘지전자 주식회사
Priority date: 2020-07-21
Filing date: 2020-07-21
Publication date: 2022-01-28

Abstract

본 발명은 물품을 식별하는 장치, 서버 및 식별하는 방법에 관한 것으로, 본 발명의 일 실시예에 의하면 장치에 투입되거나 장치 주변에 배치된 물품을 촬영한 제1이미지에 로컬라이제이션을 수행하여 객체 별로 구분한 후, 객체가 인식 대상에서 제외될 확률을 판단하여 객체 인식을 수행하는 장치, 서버, 및 방법을 구현할 수 있다.

Description

물품을 식별하는 장치, 서버 및 식별하는 방법{OBJECT IDENTIFYING DEVICE, SERVER AND METHOD OF IDENTIFYING THEREOF}

본 발명은 물품을 식별하는 장치 및 식별하는 방법에 관한 기술이다.

가전제품은 다양한 물품을 수납 및 보관하거나 처리하는 기능을 제공한다. 예를 들어, 음식을 조리하는 오븐의 경우에 다양한 식품이나 포장된 물품이 반입될 수 있다. 세탁기의 경우 다양한 형태의 세탁물이 투입될 수 있다.

또한, 냉장고의 경우에도 다양한 물품이 투입될 수 있다.

다양한 종류의 저장물의 온도를 낮은 온도로 유지하거나 혹은 냉각시키기 위한 장치인 냉장고는 하나 이상의 분리된 공간으로 구성된 저장실을 포함한다. 냉장고는 다양한 크기의 물품들을 수납하고 이를 보관하기 위해 적어도 다수의 제품들이 상하좌우로 중첩하여 수납될 수 있는 보관공간을 둘 이상 포함한다.

한편, 냉장고의 보관공간에 배치된 물품들은 다양한 종류와 다양한 크기들로 인해 사용자가 쉽게 파악하기 어려우며, 이로 인해 냉장고 내의 물품들에 대한 정보를 제공하는 기술에 대한 연구가 요청된다.

마찬가지로, 오븐이나 세탁기 역시 투입되는 물품을 인식하고 그에 적합한 기능을 제공하는 기술에 대한 연구가 요청된다.

물품들에 대한 정보를 제공함에 있어서 단순히 사진을 찍어 제공하는 방식도 있으나, 물품에 대한 명칭이나 종류, 투입 시간 등의 정보가 제공될 경우, 사용자의 가전 제품 내에 투입된 물품의 확인에 더 큰 도움이 되므로, 가전 제품 내의 물품들에 대한 인식의 정확도를 높이는 것이 필요하다.

본 명세서는 전술한 문제점을 해결하기 위한 것으로, 냉장고, 오븐, 세탁기, 조리기기, 청소기 등이 물품을 수납하거나 혹은 물품별 기능을 제공하기 위해 물품을 인식하는 과정에서 오인식 발생 가능성이 높은 물품을 인식 대상에서 제외시켜서 전체적인 오인식 발생을 낮추는 장치 및 방법을 제공하고자 한다.

또한, 본 명세서는 각 물품의 인식 특성에 따라 오인식 발생 가능한 물품을 구별하는 분류기의 가중치를 조절하여 객체 인식의 정확도를 높이는 장치 및 방법을 제공하고자 한다.

또한, 본 명세서는 객체 인식의 결과에 대한 후속 검증에 따라 객체 인식에 사용된 분류기의 가중치를 조정하여 객체 인식의 과정이 누적된 결과가 객체 인식의 정확도를 향상시키는 장치 및 방법을 제공하고자 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 일 실시예에 의한 장치는 물품을 촬영하는 카메라부가 촬영한 제1이미지에 로컬라이제이션을 수행하여 객체 별로 구분한 후, 객체가 인식 대상에서 제외될 확률을 판단하는 제1분류기와 객체가 인식 대상에 포함될 확률 또는 객체에 대한 인식 결과를 산출하는 제2분류기를 포함하는 딥러닝 학습 네트워크를 포함한다.

본 발명의 일 실시예에 의한 장치는 제1이미지에서 구분되는 하나 이상의 객체의 제2이미지를 딥러닝 학습 네트워크에 입력한 후 제1분류기 및 제2분류기가 산출한 결과에 따라 객체 인식 결과를 생성한다.

본 발명의 일 실시예에 의한 장치는 제1이미지에 포함된 객체에 대해 로컬라이제이션을 수행한 결과인 제2이미지를 딥러닝 학습 네트워크에 입력하여 로컬라이제이션으로 구분된 객체에 대한 제1분류기의 결과를 산출한다.

본 발명의 일 실시예에 의한 서버는 다수의 장치가 전송하는 제1이미지를 수신하여, 수신한 제1이미지에 로컬라이제이션을 수행하여 객체 별로 구분한 후, 객체가 인식 대상에서 제외될 확률을 판단하는 제1분류기와 객체가 인식 대상에 포함될 확률 또는 객체에 대한 인식 결과를 산출하는 제2분류기를 포함하는 딥러닝 학습 네트워크를 포함한다.

본 발명의 일 실시예에 의한 서버는 제1이미지에서 구분되는 하나 이상의 객체의 제2이미지를 딥러닝 학습 네트워크에 입력한 후 제1분류기 및 제2분류기가 산출한 결과에 따라 객체 인식 결과를 생성한다.

본 발명의 일 실시예에 의한 서버는 다수의 장치가 전송하는 보관 공간 내의 전체 이미지 또는 객체 별 이미지를 저장하는 서버데이터베이스부를 포함한다.

본 발명의 일 실시예에 의한 장치가 물품을 인식하는 방법은 장치의 카메라부가 내부에 투입되거나 주변에 배치된 물품을 촬영하는 단계와, 장치의 제어부가 카메라부가 촬영한 제1이미지에 로컬라이제이션을 수행하여 객체 별로 구분하는 단계와, 제어부가 제1이미지에서 구분되는 하나 이상의 객체의 제2이미지를 딥러닝 학습 네트워크에 입력하는 단계와, 제어부의 제1분류기가 객체가 인식 대상에서 제외될 확률을 판단하는 단계와, 제어부의 제2분류기가 객체가 인식 대상에 포함될 확률 또는 객체에 대한 인식 결과를 산출하는 단계와 제어부가 제1분류기 및 제2분류기가 산출한 결과에 따라 객체 인식 결과를 생성하는 단계를 포함한다.

본 발명을 적용할 경우 학습되지 않은 물품을 인식 대상에서 제외시켜 객체 인식의 정확도를 높일 수 있다.

또한, 본 발명을 적용할 경우, 각 물품의 인식 특성에 따라 오인식 발생 가능한 물품을 구별하는 분류기의 가중치를 조절하여 객체 인식의 정확도를 높일 수 있다.

또한, 본 발명을 적용할 경우, 이전에 수행된 객체 인식의 결과에 대한 후속 검증 결과를 이용하여 객체 인식의 분류기의 가중치를 조정하여 객체 인식의 과정이 누적된 결과가 객체 인식의 정확도를 향상시킬 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 구성에서 본 발명의 다양한 효과들이 쉽게 도출될 수 있다.

도 1은 본 발명의 일 실시예가 적용되는 물품을 식별하는 냉장고를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 제어부가 물품을 인식하는 과정을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 의한 인식 과정을 보여주는 도면이다.
도 5는 도 4에서 미분류의 품목을 제외시키지 않고 인식을 시도할 경우의 오인식률을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 제어부가 두 종류의 분류기를 제어하는 구성을 보여준다.
도 7 및 도 8은 본 발명의 일 실시예에 의한 둘 이상의 분류기를 적용한 컨피던스 평가 히스토그램 및 오인식률의 크기를 보여준다.
도 9는 본 발명의 일 실시예에 의한 냉장고 내의 다양한 상황에 따른 인식률을 보여준다.
도 10은 본 발명의 일 실시예에 의한 객체를 인식하는 과정을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 대한 컨벌루션(convolution)을 적용하는 과정을 보여주는 도면이다.
도 12는 본 발명의 다른 실시예에 의한 맥스 풀링(max pooling) 방식으로, 하나의 필터를 적용하여 해당 셀 내에서 가장 큰 값으로 설정하는 실시예이다.
도 13은 본 발명의 일 실시예에 의한 전체적인 인식 과정을 보여준다.
도 14는 본 발명의 일 실시예에 의한 OOD 분류기에 의해 미인식으로 분류된 객체들에 대해 인식을 수행하는 과정을 보여주는 도면이다.
도 15는 본 발명의 일 실시예에 의한 OOD 분류기에 의해 미인식으로 분류된 객체들에 대해 인식을 수행하는 과정을 보여주는 도면이다.
도 16은 본 발명의 일 실시예에 의한 객체 인식이 완료된 후, 정확도에 따라 분류기의 가중치를 조절하는 과정을 보여주는 도면이다.
도 17은 본 발명의 일 실시예에 의한 서버의 구성을 보여주는 도면이다.
도 18은 본 발명의 일 실시예에 의한 조리용 기기가 반입된 물품을 인식하고 동작하는 과정을 보여주는 도면이다.
도 19는 본 발명의 일 실시예에 의한 세탁-건조용 기기가 투입된 물품을 인식하고 동작하는 과정을 보여주는 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

본 명세서에서 물품을 인식하는 과정에서 학습되지 않은 물품의 인식 여부를 결정하는 장치는 조리용 기기, 냉장고, 세탁기, 건조기, 청소기 등 다양한 가전 제품을 포함한다. 즉, 본 명세서에서 물품을 식별하는 장치의 예시적 가전기기들은 다양한 가전 제품을 실시예로 포함하며, 특정한 가전 제품에 한정되지 않는다.

한편, 본 발명의 일 실시예에 따라 냉장고를 중심으로 물품 인식의 정확도를 높이는 과정 및 구성을 설명한다.

본 명세서에서 저장물의 냉장 혹은 냉동을 위한 장치로 냉장고를 중심으로 설명하며, 이는 통상의 음식을 저장하는 냉장고와 김치 냉장고, 음료 냉장고, 가정용 냉장고, 업소용 냉장고, 그리고 냉동고 만으로 구성된 냉동장치 등 다양한 냉장 및 냉동 기능을 주로 하는 장치들을 모두 포함한다. 뿐만 아니라, 화장품 냉장고와 같이 음식이 아닌 저장물을 냉장하는 장치에도 적용되며, 또한, 고정식이 아닌 이동식, 예를 들어 대형 냉장 트레일러에 설치된 냉장장치 역시 본 명세서에서 언급하는 실시예에 포함된다.

냉장고 내의 물품들은 정형화된 외관을 가지지 않는다. 왜냐하면 상품으로 생산된 물품들의 경우에도 그 종류가 다양하며, 개별 물품의 경우에는 포장 방식과 크기, 색상 등이 다양하므로 이들을 정확하게 인식하는 것에 한계가 있다. 특히, 학습되지 않은 물품이 냉장고 내에 들어올 경우, 이를 기존에 학습된 품목 중 어느 하나로 오인식하는 문제가 있으므로, 이를 해결하는 방안이 필요하다.

이를 위해 본 명세서에서는 물품 내에서 1차로 인식이 필요한 물품인지를 구분하여 인식이 필요한 물품에 대해서만 인식을 수행하여 물품에 대한 인식의 정확도를 높이고자 한다.

도 1은 본 발명의 일 실시예가 적용되는 물품을 식별하는 냉장고를 보여주는 도면이다. 10은 냉장고(100)가 닫힌 상태의 외관이며, 20은 냉장고(100)가 열린 상태의 외관이다. 냉장고(100)를 구성하는 다수의 도어(21, 31, 41, 51) 중 어느 하나의 도어(21)가 개폐를 관리하는 공간은 다수의 구분된 보관공간들(23, 24)로 나뉘어질 수 있으며, 각 보관공간들(23, 24)은 독립적으로 온도가 제어될 수 있다. 물론, 하나의 도어에 의해 개폐되는 공간들에 대해 동일하게 온도가 제어될 수도 있다. 그리고 각 보관공간들은 다시 내부에 선반으로 구분될 수 있다.

냉장고(100)에는 정보를 표시하거나, 혹은 냉장고(100)의 내부를 보여주는 디스플레이부(110)를 더 포함할 수 있다. 디스플레이부(110)는 특정한 도어(31)의 전면에 배치될 수도 있고, 또한 냉장고(100)의 측면에 배치될 수도 있다. 디스플레이부(110)는 냉장고 내부를 확인할 수 있는 투명 디스플레이 패널을 포함할 수 있다. 또한, 디스플레이부(110)는 냉장고 내부의 이미지를 표시하는 디스플레이 패널을 포함할 수 있다.

또한, 도 1에는 미도시되었으나 각각의 보관공간들(23, 24)의 벽면 또는 후면에도 카메라가 배치될 수 있다. 이는 중첩하여 적층된 물품들을 확인하기 위한 것이다.

냉장고(100)의 물리적 구성요소들은 도 1의 구성 외에도 다양하게 변형 구현될 수 있으며, 본 발명이 이에 한정되는 것은 아니다.

다음으로, 냉장고(100)가 물품을 식별하는데 필요한 구성요소에 대해 보다 상세히 살펴본다.

도 2는 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다. 냉장고(100) 내에 배치되는 구성요소들의 논리적 구성 관계를 보여주며, 이들 구성요소들은 물리적으로 이격하여 배치될 수도 있다.

디스플레이부(110)는 보관공간 내의 물폼들을 이미지로 표시하거나 각 물품의 설명을 표시하는 기능을 제공한다.

카메라부(120)는 보관공간에 수납된 물품을 촬영한다. 보관공간을 촬영하여 현재 수납되어 있는 물품 또는 새로이 입고되는 물품의 종류와 크기를 식별한다. 이때, 제어부(150)는 식별된 물품이 앞서 입고되어 수납되었던 물품인지를 데이터베이스부(190)에서 확인할 수 있다. 또한, 제어부(150)는 앞서 입고된 물품의 위치나 방향이 바뀐 경우 이러한 사항을 데이터베이스부(190)에서 업데이트할 수 있다.

데이터베이스부(190)는 입고된 물품에 대해 카메라부(120)가 촬영한 이미지를 누적하여 저장한다. 이 과정에서 카메라부(120)가 다양한 각도에서 촬영한 이미지가 데이터베이스부(190)에서 누적하여 저장될 수 있다. 또한, 데이터베이스부(190)는 카메라부(120)가 다수일 경우, 어느 위치에 배치된 카메라부가 촬영했는지에 대한 정보, 해당 물품이 어느 보관공간 혹은 보관공간을 세분화시킨 선반 중 어느 선반에 배치되었는지에 대한 정보를 함께 저장할 수 있다. 또한, 제어부(150)가 해당 물품에 대해 식별한 결과 역시 데이터베이스부(190)에 저장될 수 있다.

데이터베이스부(190)는 카메라부(120)가 촬영한 캡쳐 이미지를 저장하며, 또한 제어부(150)가 캡쳐 이미지에서 물품별로 분리한 물품의 이미지를 저장한다. 또한 데이터베이스부(190)는 각각의 캡쳐 이미지 또는 물품의 이미지에 대응하는 메타 정보를 함께 저장한다.

메타 정보란, 앞서 제어부(150)에 의해 물품의 인식 과정을 수행한 결과 산출되는 물품의 명칭, 물품의 카테고리, 물품이 입고된 시간, 물품의 사용 가능 기한, 물품에 적용되는 알람 시간, 물품이 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함할 수 있다. 명칭은 사용자가 라벨링을 하는 경우 이를 명칭으로 할 수 있다.

입고된 시간은 물품이 입고된 시간을 의미한다. 입고된 시간은 물품이 최초로 냉장고에 입고된 시간 혹은 가장 최근에 입고된 시간 중 어느 하나 이상이 될 수 있다. 물품이 냉장고에서 자주 반출되고 입고되고 제어부(150)에 의해 해당 물품이 동일한 물품인 것으로 식별된 경우, 해당 물품의 반출 및 입고 시간이 누적하여 저장될 수 있다.

또한, 해당 물품의 사용 가능 기한 혹은 물품에 적용되는 알람 시간 등도 메타 정보가 될 수 있다. 이는 사용자가 직접 입력하거나 선택할 수 있다. 예를 들어, 사용자는 출력된 물품별 이미지에 대해 사용 가능 기한 정보를 입력할 수 있다.

그리고 해당 물품을 사용하기 위해 알람 시간도 설정할 수 있다. 뿐만 아니라 제어부(150)는 해당 물품이 배치된 위치 정보도 저장할 수 있는데, 이 과정에서 물품의 누적된 위치 정보들을 데이터베이스부(190)에 저장하고 이를 출력할 수 있다.

뿐만 아니라, 무게 센싱부(130)가 각 선반 혹은 각 보관공간에서 센싱한 정보 역시 데이터베이스부(190)에 저장되어 고내에서 제1선반에서 제2선반으로 이동하는 등 위치 이동이 발생하는 경우 각 선반 별로 무게의 변화를 통해 물품 식별의 정확도를 높일 수 있다.

이외에도 물품별 이미지를 분리함에 있어 정확도를 높이기 위해 뎁스 카메라부(141)를 더 포함할 수 있다. 뎁스 카메라부(141)는 물품의 뎁스 정보를 생성한다.

하나의 물품은 동일한 뎁스 정보를 가지거나 혹은 일정하게 증가하거나 줄어드는 뎁스 정보를 가질 수 있다. 따라서, 제어부(150)가 캡쳐된 이미지에서 특정한 물품의 이미지를 추출함에 있어서 해당 물품의 뎁스 정보를 이용하여 정확도를 높일 수 있다.

제어부(150)는 전술한 구성요소들을 제어하며 각 구성요소들이 제공한 정보들을 이용하여 물품의 정보를 표시하거나 출력하거나 혹은 외부의 기기에서 통신을 통해 정보를 출력할 수 있도록 통신부(160) 등을 제어할 수 있다.

또한 제어부(150)는 카메라부(120)가 촬영한 이미지 또는 데이터베이스부(190)에 저장된 정보에 기반하여 각 물품에 대한 메타 정보를 생성한다. 메타 정보란 해당 물품의 명칭, 입고 시간, 추정된 무게 등을 포함할 수 있다. 뿐만 아니라 통신부(160)가 수신한 각 물품별 유통기한 등도 제어부(150)가 생성할 수 있다.

통신부(160)는 물품의 메타 정보를 생성하는데 필요한 정보를 외부 서버에서 수신하거나, 혹은 외부의 스마트폰 등에서 고내 정보를 확인 요청할 경우 물품의 정보들을 전송하는 기능 등을 할 수 있다. 예를 들어, 물품의 이미지와 메타 정보를 특정한 통신 장치에게 전송하고 통신 장치로부터 보관공간 내에 수납된 물품의 검색정보 또는 출력방식을 지시하는 정보를 수신할 수 있다.

도어 감지부(170)는 도어의 개폐를 감지하여 물품의 유입을 확인할 수 있도록 한다. 이 과정에서 사용자가 도어를 단순히 열고 닫은 경우를 확인할 수 있도록 도어 감지부(170)는 보관공간의 경계 지점에서 사용자의 신체가 보관공간 내에 진입하였는지를 감지할 수도 있다.

압축기(180)는 냉장고 및 냉동고에 냉력을 제공한다., 새로운 물품이 냉장고에 수납될 경우 제어부(150)의 설정에 기반하여 압축기(180)는 냉장고에 냉력을 제공할 수 있다. 또한 제어부(150)가 외부에 소정의 물품 정보를 출력한 후 외부에서 냉장고(100)의 동작을 지시한 경우, 이에 기반하여 압축기(180)가 동작할 수 있다.

데이터베이스부(190)는 입고된 물품의 이미지를 저장한다. 다양한 각도에서 촬영된 이미지를 저장하므로 추후 제어부(150)가 새로 입고된 물품을 식별함에 있어서 데이터베이스부(190)에 저장된 후보 이미지를 검색할 수 있다.

제어부(150)는 오인식을 방지하기 위해, 도 6에서 후술하는 바와 같이 제1분류기(예를 들어 OOD 분류기)와 제2분류기(예를 들어 로컬라이제이션 분류기)를 포함할 수 있다. 이들 제1분류기 및 제2분류기는 딥러닝 학습 네트워크를 구성한다.

딥러닝 학습 네트워크는 제어부(150) 내에 구성될 수 있다. 한편, 냉장고(100)와 상호 통신하는 서버에도 딥러닝 학습 네트워크가 포함될 수 있다. 만약, 냉장고(100) 및 서버 양측에 모두 딥러닝 학습 네트워크가 포함된 경우 이미지 내의 객체 분포의 복잡도나 냉장고 내의 물품의 변화 상황 등에 따라 컴퓨팅 파워가 적게 필요한 경우에는 냉장고(100)의 제어부(150)가 객체 인식을 수행한다. 반대로, 이미지 내의 객체가 복잡하고 다양한 종류인 경우, 혹은 물품이 많이 입고된 상황에서는 더 빠른 계산과 정확한 계산을 위해 서버가 객체 인식을 수행한다.

어느 장치에서 객체 인식을 수행할 지 여부에 대해서는 물품의 변화, 입고된 물품의 수, 도어가 열린 시간 등을 파라미터로 하여 냉장고(100)의 제어부(150)가 계산한 결과에 따라 결정될 수 있다.

일 실시예로, 제어부(150)는 카메라부(120)가 촬영한 제1이미지에 로컬라이제이션을 수행하여 객체 별로 이미지들을 생성할 수 있다. 이를 제2이미지라 지칭한다. 그리고 제1분류기는 제1이미지에서 구분되는 하나 이상의 객체들의 제2이미지들 각각에 대하여, 해당 객체가 인식 대상에서 제외될 확률을 판단한다. 여기서 확률은 해당 객체가 인식 대상에서 제외될 가능성, 혹은 해당 객체가 아웃라이어(outlier)일 확률, 혹은 스코어(score) 등 다양한 수치로 계산될 수 있다.

제2분류기는 제1이미지에서 구분되는 하나 이상의 객체들의 제2이미지들 각각에 대하여, 인식 대상에 포함될 확률 또는 상기 객체에 대한 인식 결과를 산출한다. 일 실시예로, 제1분류기와 제2분류기가 동일한 객체에 대해 각각 판단하여 결과를 산출할 수 있다. 또는 다른 실시예로 제1분류기에서 제1이미지 내의 모든 객체들에 대해, 각각의 객체가 인식 대상에서 제외될 확률을 산출한 후, 그 확률이 낮은 객체의 이미지만 제2분류기에 입력되어 해당 객체에 대한 인식 결과를 산출할 수도 있다.

제어부는 제1분류기 및 제2분류기가 산출한 결과에 따라 인식 결과를 생성한다. 이때, 제1분류기에서 인식 대상에서 제외될 확률이 높은 것으로 판단한 객체에 대해서는 인식 자체를 하지 않으므로, 오인식의 가능성을 낮춘다.

도 2의 구성은 장치에 따라 다양할 수 있다. 예를 들어, 음식을 포함하는 물품을 조리하는 조리용 기기인 경우, 카메라부(120)와 제어부(150), 데이터베이스부(190), 그리고 통신부(160)와 도어 감지부(170) 등을 구성요소로 하며, 그 외 음식 조리를 위한 구성요소를 추가로 포함할 수 있다.

한편, 의류를 포함하는 물품을 세탁 또는 건조하는 세탁-건조용 기기의 경우, 카메라부(120)와 제어부(150), 데이터베이스부(190), 그리고 통신부(160) 등을 구성요소로 하며, 그 외 세탁 또는 건조를 위한 구성요소를 추가로 포함할 수 있다.

한편, 청소를 수행하며 인접한 물품을 인식하여 이동 경로를 수정하는 청소용 기기의 경우, 카메라부(120)와 제어부(150), 데이터베이스부(190), 그리고 통신부(160) 등을 구성요소로 하며, 그 외 청소를 위한 구성요소를 추가로 포함할 수 있다.

즉, 카메라부(120)는 장치 내부에 투입되거나 혹은 장치 외부에 배치된 물품을 촬영할 수 있다.

각각의 구성요소에 기반한 동작을 살펴본다.

도 3은 본 발명의 일 실시예에 의한 제어부가 물품을 인식하는 과정을 보여주는 도면이다. 전술한 바와 같이 제어부는 다양한 가전제품에 포함될 수 있으며, 설명의 편의를 위해 이하 냉장고를 중심으로 설명한다.

냉장고(100)의 카메라부(120)는 냉장고 내의 물품들에 대해 이미지를 획득한다(S201). 이때 획득하는 이미지는 도어 쪽에서의 이미지, 측면에서의 이미지, 또는 뒷면에서의 이미지 등 다양한 방향에서 촬영된 이미지 중 어느 하나 이상인 것을 일 실시예로 한다.

이미지가 획득되면, 제어부(150)는 이미지를 크롭한다(S202). 이는 물품을 인식함에 있어서 불필요한 영역을 삭제하는 것을 의미한다. 또한, 제어부(150)는 크롭(crop)한 이미지에 대해 로컬라이제이션을 수행한다(S203). 이는 이미지 내에서 식별된 객체(object)를 다른 영역과 구분하는 것으로, 통상 바운딩 박스(bounding box)를 이용하여 객체를 구분짓는 것을 의미한다.

물론, 본 발명은 바운딩 박스 외에도 원이나 다각형 등을 이용하여 객체를 구분지을 수 있다. 실시예에 따라, 전체 이미지에서 로컬라이제이션(S203)을 먼저 수행하고, 크롭을 수행할 수도 있다.

또는 제어부(150)는 크롭을 1차로 수행한 후, 로컬라이제이션(S203)을 수행한 후, 로컬라이제이션에서 제외되는 영역에 대해 크롭을 2차로 수행할 수 있다.

이후, 제어부(150)는 NMS(Non-maximum suppression)을 수행하는데, 이는 객체의 경계선(edge)를 확인하는 프로세스를 포함한다.

S201~S204의 과정을 수행하면, 물품의 후보군이 되는 박스의 수가 0 이상인지 확인한다(S205). S205 단계는 인식이 필요한 물품들에 대한 이미지의 수 혹은 객체를 구분지어 산출된 물품의 수 등을 일 실시예로 한다.

그 결과 0 이상인 경우, 해당 이미지에 대해 분류 작업을 수행한다(S206). 이는 분류 모델(classifier model)을 적용하여, 해당 물품이 배경에 해당하는지 여부를 확인할 수 있도록 한다(S207). 그 결과 제어부(150)는 해당 이미지에 포함된 어떤 객체 혹은 물품이 배경인 것으로 판단되면, 감지된 결과에서, 즉 해당 이미지에서 그 배경인 객체나 물품을 삭제한다(S208). 이는 배경에 대한 인식을 수행하지 않도록 하는 것을 일 실시예로 한다.

한편 S207에서 해당 이미지 또는 해당 이미지에 포함된 객체나 물품이 배경이 아닌 것으로 판단되면, 제어부(150)는 해당 이미지의 객체를 인식 대상으로 결정한다(S209). 그리고 S208에서 배경이 삭제된 후 다른 부분, 혹은 S209에서의 삭제 없이 인식대상으로 결정된 부분에 대해 제어부(150)는 물품에 대한 인식의 최종 결과를 산출하고(S210) 종료한다.

도 3의 프로세스에서 S206 내지 S209의 프로세스를 수행함으로써, OOD(Out-Of-Distribution)에 해당하는 물품들은 인식을 중단하여 오인식의 가능성을 낮출 수 있다.

도 3의 실시예는 카메라부(120)가 촬영한 제1이미지에 포함된 객체에 대해 제어부(150)가 로컬라이제이션을 수행한 결과인 객체를 구분짓는 제2이미지(예를 들어 바운딩 박스로 구분)를 딥러닝 학습 네트워크에 입력하여 제2이미지에 포함된 객체에 대해 제1분류기(OOD 분류기)의 결과를 산출하는 과정(S206, S207, S208)을 포함한다.

또한, 제1분류기에서 분류된 결과에 따라 제어부(150)는 특정 객체(제2이미지)를 인식 대상에서 제외시킨 후, 제외되지 않은 나머지 객체들에 대해 인식을 수행할 수 있다. 이때 인식의 수행은 제2분류기가 수행할 수 있다. 이는 도 3의 S207, S209, S210 과정을 포함한다.

전술한 실시예를 적용할 경우, 냉장고 내의 식자재 인식 과정에서 오동작을 개선할 수 있다. 즉, OOD에 해당하는 품목(분류에 포함되지 않는, 학습되지 않은 품목)을 별도로 처리하여 이들 OOD를 오인식하여 오동작하는 문제를 해결할 수 있다. 따라서, 본 발명의 실시예들을 적용할 경우, 인식 성능을 유지하면서도 오동작 성능을 개선시켜, 전체적인 인식률의 정확도를 높일 수 있다.

도 4는 본 발명의 일 실시예에 의한 인식 과정을 보여주는 도면이다. 전술한 바와 같이 이미지는 다양한 가전제품에 장착된 카메라부에 의해 촬영될 수 있으며, 설명의 편의를 위해 이하 냉장고를 중심으로 설명한다. 냉장고 내를 촬영한 이미지(71)는 로컬라이제이션이 적용되어 객체들의 주변에 바운딩 박스가 표시된 상태이다. 71에서 a 및 b가 지시하는 바운딩 박스는 "eggplant"(가지)가 나타난 상태이다. 그리고 c는 "peach"로 표시되어 있다.

여기서 제어부(150)는 3개의 바운딩 박스(a, b, c)를 기준으로 크롭을 수행한 후, 리사이즈를 수행한다. 그 결과 3 개의 독립된 이미지(a1, b1, c1)이 산출된다. 각각의 이미지에 대해 제어부(150)는 OOD 감지부(detector)를 적용하여 미리 설정된 기준(ood detector threshold) 보다 높아서 미분류의 품목으로 확인되면 이를 감지 결과에서 삭제한다.

한편, 미분류의 품목으로 확인되지 않은 이미지에 대해서는 앙상블 방법을 적용하여 감지 결과를 생성한다.

제어부(150)는 인공지능 학습을 수행하는 구성요소 내에 OOD detector 기능을 수행하는 네트워크를 추가하여 오동작의 가능성을 줄여 물품 인식의 정확도를 높일 수 있다.

특히, 제어부(150)는 물품에 대한 인식의 성능을 유지하며, 오동작을 개선하기 위해 분류기(classifier)간의 앙상블 방법(ensemble method)을 사용할 수 있다.

도 4에서 OOD 감지부 없이 a1/b1에 대해 인식을 시도할 경우, a1/b1은 봉투가 아닌 가지로 오인식될 수 있다.

도 5는 도 4에서 미분류의 품목을 제외시키지 않고 인식을 시도할 경우의 오인식률을 보여주는 도면이다. 도 5에서 0.9~1.0 사이에 매우 높은 카운트(약 950)가 표시되어 있다. 이는 미분류의 품목을 제외시키지 않고 인식을 시도할 경우에 도 5와 같이 그래프가 치우쳐진 상태이며 오인식률이 높음을 보여준다. 앞서 도 4의 a1/b1에 대해 인식을 시도할 경우 도 5와 같이 오인식률이 높아진다.

도 6은 본 발명의 일 실시예에 의한 제어부가 두 종류의 분류기를 제어하는 구성을 보여준다. 전술한 바와 같이 두 종류의 분류기는 다양한 가전제품에 포함될 수 있다.

제1분류기의 일 실시예인 OOD 분류기(OOD classifier, 151)는 분류된 물품을 인식할 것인지 여부를 판단한다. 제2분류기의 일 실시예인 로컬라이제이션 분류기(Localization classifier, 혹은 localization model classifier, 152)는 분류된 물품을 인식 가능한 것으로 판단하고 인식을 시도한다.

따라서, 제어부(150)는 각각의 분류기의 가중치(weight)를 조절하여 오인식률을 조절할 수 있다.

로컬라이제이션 분류기(152)의 가중치를 w_lc라 지칭하며 OOD 분류기(151)의 가중치를 w_ood라 지칭한다. 여기서 w_lc + w_ood는 1이라 설정할 수 있따. 이때, 일 실시예로 제어부(150)는 OOD 분류기(151)의 가중치 w_ood를 0.1로, 로컬라이제이션 분류기(152)의 가중치 w_lc를 0.9로 설정할 수 있다. 이는 입력된 물품의 이미지에 대해 OOD 분류기가 판단한 결과의 가중치를 0.1로 하고, 입력된 물품의 이미지에 대해 로컬라이제이션 분류기가 판단한 결과의 가중치를 0.9로 하는 것을 의미한다.

따라서, OOD 분류기(151)가 특정 이미지에 대해 매우 높은 값으로 출력한 결과는 0.1의 가중치를 곱해도 해당 이미지에 대해 로컬라이제이션 분류기(152)가 출력한 결과보다 높은 값을 가질 수 있다. 이 경우 제어부(150)는 해당 이미지의 물품을 인식하지 않는 것으로 결정할 수 있다.

예를 들어, 제어부(150) 또는 냉장고(100)와 통신하는 서버는 딥러닝과 같은 인공지능 네트워크를 포함할 수 있으며, 다양한 노드와 에지들의 결합으로 입력된 이미지를 판단할 수 있다.

여기서 판단된 이미지의 결과는 OOD 분류기(151)와 로컬라이제이션 분류기(152) 두 곳에서 출력되며, 각각의 가중치에 따라 제어부(150)는 입력된 이미지를 인식할 것인지 혹은 미인식 처리할 것인지 결정한다.

제어부(150)는 제1분류기의 가중치와 제2분류기의 가중치를 반비례의 관계로 설정할 수 있다.

즉, 제1분류기의 일 실시예인 OOD 분류기(151)의 가중치 w_ood를 높게 설정하고 그 결과 제2분류기의 일 실시예인 로컬라이제이션 분류기(152)의 가중치 w_lc를 낮게 설정하면, 미인식으로 처리하는 물품의 수가 증가한다. 이 경우, 오인식률을 낮출 수는 있지만 실제 인식 가능한 물품도 미인식으로 처리되는 가능성이 높아진다.

한편, 제1분류기의 일 실시예인 OOD 분류기(151)의 가중치 w_ood를 낮게 설정하고 그 결과 제2분류기의 일 실시예인 로컬라이제이션 분류기(152)의 가중치 w_lc를 높게 설정하면, 오인식으로 처리하는 물품의 수가 증가한다. 이 경우, 미인식으로 처리하는 물품의 수는 줄어들 수 있으나 오인식하는 물품의 수가 증가할 수 있다.

따라서, 제어부(150)는 인식한 물품의 수, 동일 종류의 품목의 수, 이전의 오인식/미인식 히스토리 등에 기반하여 전술한 분류기들(151, 152)의 가중치를 조절할 수 있다.

도 7 및 도 8은 본 발명의 일 실시예에 의한 둘 이상의 분류기를 적용한 컨피던스 평가 히스토그램 및 오인식률의 크기를 보여준다. 컨피던스 평가(confidence estimation)는 해당 분류기를 이용하여 검증된 항목이 해당 분류에 속하는 확률의 평가를 일 실시예로 한다. 또는 컨피던스 평가는 분류기를 이용하여 검증된 항목의 정확도에 대한 평가를 일 실시예로 한다.

도 7에서 OOD 분류기(151)를 이용한 제1컨피던스(out of class prediction)와 로컬라이제이션 분류기(152)를 이용한 제2컨피던스(correct prediction)의 분포를 보면 제1컨피던스는 -3~0 사이에 집중되어 있으며, 제2컨피던스는 -25~-3 사이에 넓게 분포되어 있다. 일 실시예로 제1컨피던스는 두 개의 클래스 중 어느 하나에 속함을 보여주는 logits를 의미하며 로그(log, last layer)를 수식화한 결과일 수 있다.

도 7의 그래프에서 분류에 속하지 않는 객체들과 분류가 확인되는 객체들 사이에서 중첩되는 영역이 크지 않아 미분류의 정확도가 높음을 확인할 수 있다. 이는 분류에 속하지 않는 객체를 하나의 클래스에 속하는 것으로 판단하고, 분류가 확인되는 객체들을 또다른 클래스에 속하는 것으로 판단하여, 미분류 클래스와 분류 클래스로 구분하는 것을 일 실시예로 한다.

그 결과 도 8에 도시된 바와 같이, 오인식률의 크기는 OOD 분류기를 적용하지 않은 경우, 예를 들어 딥러닝에 랭킹 로스(Ranking loss)를 적용하지 않은 경우에는 오인식률이 6.9이다. 반면, OOD 분류기를 적용한 경우, 예를 들어 딥러닝에 랭킹 로스를 적용한 경우에는 오인식률이 2.4이다. 따라서, 도 7 및 도 8을 참고하면 OOD 분류기를 적용하여 학습된 클래스에 포함되지 않는 객체들은 제외시킬 경우, 오인식률이 낮아짐을 확인할 수 있다.

제어부(150)는 앙상블 방식(ensemble method)를 적용하여 두 개의 분류기(ood 분류기, 로컬라이제이션 모델 분류기)의 인식된 결과에 가중치를 두어 최종 결과를 획득할 수 있으며, 이로 인해 인식 성능을 유지 혹은 증가시킬 수 있다.

앙상블 방식은 다수의 분류기나 평가기(estimator)를 결합하여 뛰어난 결과를 생성하는 것으로, 본 발명의 일 실시예에서는 미분류로 처리해야 할 품목은 인식을 수행하지 않음으로써 오인식률을 낮추도록 두 개의 분류기에 가중치를 부여할 수 있다.

또한, 제어부(150)는 인식 과정에서 가중치를 조절할 수 있다. 이는 제어부(150)가 포함하는 학습 네트워크(learning network) 또는 냉장고(100)가 통신하는 서버의 학습 네트워크를 업데이트 되는 과정에서 가중치의 조절을 수행할 수 있다. 예를 들어, 인식 가능한 품목의 종류가 증가할 경우, 미인식 대상으로 분류하는 ood 분류기의 가중치를 낮출 수 있다.

또는 제어부(150)는 인식 과정에서 물품의 수에 따라 가중치를 조절할 수 있다. 예를 들어 물품의 수나 종류가 적을 때에는 개별 물품을 다른 물품과 혼동하거나 오인식할 가능성이 낮으므로, ood 분류기의 가중치를 낮출 수 있다. 또한 물품의 수나 종류가 많거나 중첩된 이미지가 많을 경우, 예를 들어 바운딩 박스들의 수 혹은 바운딩 박스들의 거리 등에 따라 ood 분류기의 가중치를 높일 수 있다.

도 9는 본 발명의 일 실시예에 의한 냉장고 내의 다양한 상황에 따른 인식률을 보여준다. 이는 제어부(150)가 냉장고의 상황에 따라 ood 분류기의 가중치를 0.1로 설정한 경우에 산출되는 값이며, 제어부(150)는 개별 상황에 따라 ood 분류기의 가중치를 조절할 수 있다. 도 9는 인식률을 90% 이상 확보한 예시를 보여준다.

예를 들어 물품의 종류와 관련된 single/complex인 경우에 ood 분류기의 가중치를 각각 0.09/0.11로 조절할 수 있다. 제어부(150)는 이러한 인식률 결과를 누적 저장하여, 인식 상황에 따라 ood 분류기의 가중치를 변경하여 인식률을 높일 수 있다.

기존에 ood 분류기가 없을 경우에는 도 8과 같이 오인식률이 높았으나, ood 분류기를 딥러닝과 같은 학습 네트워크에 포함시켜 미인식 대상인 객체들을 미리 필터링함으로써, 오인식률을 개선할 수 있다.

도 10은 본 발명의 일 실시예에 의한 객체를 인식하는 과정을 보여주는 도면이다. 도 10는 일 실시예로 CNN(Convolutional Neural Network)를 이용하는 과정을 보여준다. 물론, 본 발명의 실시예들은 객체 인식(object detection)을 위해 CNN 외에도 다양한 알고리즘(Faster RCNN, YOLOv2, Mask RCNN)을 적용할 수 있으며, 본 발명이 이에 한정되는 것은 아니다.

도 10에 도시된 바와 같이, 물품이 투입되면 냉장고 내의 카메라부(120)가 내부를 촬영한다(S212). 이때, 카메라부(120)는 냉장고의 도어가 닫힌 후에 촬영을 시작할 수 있다. 촬영한 이미지를 이용하여 학습 네트워크가 학습 추론을 통해 객체를 식별한다. 일 실시예로, 딥러닝 학습 네트워크에 이미지가 입력될 수 있다. 냉장고(100)의 제어부(150)가 객체에 대한 인식을 시작하거나, 혹은 통신부(160)가 서버(300)로 전송하여 서버(300)가 객체에 대한 인식을 시작할 수 있다. 서버(300) 또는 제어부(150)는 여러 사물들, 즉 객체들의 이미지를 이용하여 학습한 데이터베이스를 보유할 수 있다. 또한, 서버(300) 또는 제어부(150)는 이들 객체 이미지들의 학습 과정에서 생성된 학습 네트워크를 포함할 수 있다.

그 결과 학습 네트워크에 입력된 이미지는 학습 네트워크의 다양한 추론 모델링 과정에서 특정한 결과를 산출한다(S216).

산출된 결과에 대해 후속 검증 절차를 통해 객체 인식의 정확도를 확인할 수 있다.

정상으로 감지된 객체의 수를 NC라 하고, 오인식된 객체의 수를 OC라 하며 객체로 구분되지 않아 미감지된 수를 MC라고 할 경우, 제어부(150) 또는 서버(300)는 객체 인식의 정확도(Precision)를 NC / (NC + OC)로 구할 수 있다. 또한 리콜정도(recall)를 NC/(NC + MC)로 구할 수 있다.

한편, 제어부(150) 또는 서버(300)는 테스트의 정확도를 나타내는 F1 스코어(F1 score)를 2*(Precision * recall) / (precision + recall)로 산출할 수 있다.

물론, 정확도나 리콜 정도, 또는 F1 스코어외에도 다른 방식으로 학습 결과를 측정할 수 있으며 본 발명이 이에 한정되는 것은 아니다.

객체 인식을 위해서 CNN은 특징 추출(Feature Extraction)을 수행한다.

도 11은 본 발명의 일 실시예에 대한 컨벌루션(convolution)을 적용하는 과정을 보여주는 도면이다. 딥러닝 학습 네트워크는 CNN 기반의 네트워크인 것을 일 실시예로 한다. 컨벌루션은 특정한 필터(예를 들어 3x3 필터)를 이미지 내에서 이동하며 피쳐를 추출하는 것을 일 실시예로 한다. 도 11에서 이미지(60)의 각 픽셀은 1과 0의 값이 설정되었다. 여기에 3x3 커널 필터(65)를 적용하여 컨벌루션 연산을 수행하면 S67에서는 이미지(60) 중 첫 3x3 매트릭스(60a) 에 필터(65)를 적용시킨 결과인 4가 산출됨(66a)을 보여준다.

그리고 필터를 우측으로 쉬프트하여 S68에서는 이미지(60) 중 두번째 3x3 매트릭스(60b) 에 필터(65)를 적용시킨 결과인 3이 산출됨(66b)을 확인할 수 있다.

도 12는 본 발명의 다른 실시예에 의한 맥스 풀링(max pooling) 방식으로, 하나의 필터를 적용하여 해당 셀 내에서 가장 큰 값으로 설정하는 실시예이다. 2x2필터를 이미지(70)에 적용하여 4개의 픽셀 중 가장 큰 값을 75와 같이 저장한다.

도 11 및 도 12는 산출된 이미지에서 피쳐를 추출하기 위한 실시예를 보여준다. 도 11 및 도 12에서 냉장고 내에서 촬영된 객체들의 이미지에 필터를 적용하면 이미지의 특징을 추출할 수 있다.

도 13은 본 발명의 일 실시예에 의한 전체적인 인식 과정을 보여준다. 일련의 과정은 제어부(150) 또는 서버(300)의 학습 네트워크에서 이루어진다.

CNN 은 이미지에서 특징을 추출한다(S222). 생성된 특징들로 구성된 특징맵에서 인식의 대상이 되는 객체를 식별하기 위해 먼저 ROI(Region of Interest)가 추출된다(S224). 이때, ROI를 추출하기 위한 일 실시예로 RPN(Region Proposal Network)를 사용하여 선택적 검색(selective search)를 수행할 수 있다. RPN을 이용하며 후보가 되는 영역에 대해 정확한 위치를 선택하기 위해 바운딩 박스 리그레션(Bounding Box Regression)을 적용할 수 있다.

식별할 객체들이 선택되면, 앞서 살펴본 바와 같이 OOD 분류기(151)와 로컬라이제이션 모델 분류기(152)가 결과를 산출한다(S226). 이때, OOD 분류기(151)는 해당 객체들에 대해 인식을 진행할 필요가 있는지 여부를 판단한다. 로컬라이제이션 모델 분류기(152)는 해당 객체에 대한 인식 결과를 산출한다. OOD 분류기(151)의 결과에 대한 가중치와 로컬라이제이션 모델 분류기(152)의 결과에 대한 가중치가 적용된다.

그 결과 객체들 중 OOD 분류기(151)의 결과가 일정 기준 이상인 경우, 제어부(150)나 서버(300)는 해당 객체에 대한 후속 프로세스를 진행하지 않고 객체를 인식하지 않는다.

도 13의 프로세스를 적용할 경우, 학습되지 않은 객체가 냉장고 내에 입고될 경우, 해당 객체에 대한 인식을 중단함으로써, 오동작을 방지할 수 있다. 특히, 냉장고 내에 입고되는 물품들은 매우 다양하며, 또한 포장으로 가려지는 경우도 많으므로, OOD 분류기(151)를 통해 불필요하게 오동작할 수 있는 객체에 대해서는 인식을 하지 않음으로써 객체 인식의 효율성을 높일 수 있다.

또한, 제어부(150)나 서버(300)는 추가 학습이 이루어진 경우에는 OOD 분류기(151)에 대한 가중치를 조절할 수 있다.

특히, OOD 분류기(151)에서 아웃라이어(outlier)로 판단된 객체의 이미지를 저장하고, 이에 대해 주기적으로 학습을 수행할 경우, 객체 인식의 성능을 높일 수 있다.

도 14는 본 발명의 일 실시예에 의한 OOD 분류기에 의해 미인식으로 분류된 객체들에 대해 인식을 수행하는 과정을 보여주는 도면이다. 이하의 과정은 제어부(150)를 중심으로 하지만 서버(300) 역시 동일한 프로세스에 따라 처리할 수 있다.

앞서 도 13의 S226 과정에서 살펴본 바와 같이, OOD 분류기(151)는 특정 객체의 이미지를 미인식으로 분류하며 저장한다(S231). 또는 제어부(150)는 통신부(160)를 제어하여 미인식으로 분류된 객체의 이미지를 서버(300)로 전송한다. 제어부(150) 또는 서버(300)는 저장된 이미지들을 로딩하여 이를 기반으로 학습을 수행한다(S232).

이 과정에서 외부로부터 학습 모델 생성을 위해 다른 냉장고에서 학습된 이미지를 학습 데이터(learning data)로 이용할 수 있다. 미인식으로 분류된 이미지들에 대해 학습을 수행한 제어부(150) 또는 서버(300)는 모델을 생성할 수 있다.

학습은 1회 모델을 생성한 후 N일 주기로 반복될 수도 있다. 냉장고의 카메라부(120)를 통해 다양한 물체를 포함한 이미지, 특히 미인식으로 분류된 이미지들이 누적 확보되면 제어부(150) 또는 서버(300)는 학습을 수행할 수 있다.

학습 과정에서 객체 인식을 위해 CNN 을 이용할 수 있다. 이외에도 학습 기반 객체 인식을 위해 Faster RCNN, YOLO9000, Mask RCNN 등을 적용하여 미인식으로 분류된 이미지를 학습하여 모델을 생성한다. 일정 신뢰도 이상이 될 때까지 학습은 반복된다.

또한 제어부(150) 또는 서버(300)는 학습 결과에 대한 검증을 선택적으로 수행할 수 있다(S233). 이후 제어부(150) 또는 서버(300)는 학습 네트워크 및 데이터베이스를 업데이트한다(S234).

따라서, 학습이 되기 전 미인식으로 분류된 객체가 학습이 완료되면 인식 대상으로 판단된다. 그 결과 동일한 객체라도 S231~S234 과정 전에는 OOD 분류기(151)가 미인식 객체로 판단하지만, S234 이후에는 인식 가능한 객체로 판단한다.

또한, 제어부(150) 또는 서버(300)는 도 14의 학습이 완료되면 OOD 분류기(151)의 가중치를 낮추어서 미인식으로 판단되는 객체의 범위를 줄일 수 있다(S325).

도 15는 본 발명의 일 실시예에 의한 OOD 분류기에 의해 미인식으로 분류된 객체들에 대해 인식을 수행하는 과정을 보여주는 도면이다. 제어부(150)는 냉장고 내에서 카메라부(120)가 촬영한 제1이미지의 특성을 분석한다(S236). 특성 분석이란, 제1이미지에 포함된 객체의 수, 전체 공간에서 물품으로 판단될 가능성이 있는 객체들이 차지하는 범위 등 이미지 내에서 객체 인식에 영향을 미칠 수 있는 특성들을 분석하는 것이다.

제어부(150)는 이를 위해 제1이미지 내에서 색상의 분포, 바운딩 박스의 수, 또는 바운딩 박스들의 중첩 정도 등을 판단한다. 만약 바운딩 박스가 많거나, 중첩도가 클 경우에는 오인식할 객체들의 수가 증가했음을 의미하므로, 제1분류기(예를 들어 OOD 분류기)의 가중치를 높일 수 있다.

또한, 제어부(150)는 이전 시점에 촬영한 카메라부(120)가 촬영한 제3이미지와 제1이미지를 비교한다(S237). 이는 제1이미지의 촬영 시점에서 새로운 물품이 다수 입고되었는지를 확인하기 위함이다.

예를 들어 제어부(150)는 제3이미지와 제1이미지를 그대로 비교할 수도 있고, 바운딩박스에 기반하여 비교할 수도 있다. 만약 제3이미지와 제1이미지 사이의 차이가 크지 않다면, 제3이미지의 객체 인식 과정에서 적용했던 제1분류기의 가중치를 제1이미지의 객체 인식 과정에서 제1분류기의 가중치로 적용할 수 있다. 이를 위해 제어부(150)는 일정 기간 동안 제1분류기에 적용한 가중치의 값을 저장할 수 있다.

반대로, 제3이미지와 제1이미지의 차이가 큰 경우, 혹은 동일한 객체가 포함될 가능성이 낮은 경우, 제어부(150)는 제1분류기의 가중치를 리셋하거나, 미리 설정된 값으로 복원할 수 있다.

전술한 S236 및 S237의 과정에서 분석 및 비교 결과에 따라 제어부(150)는 제1분류기의 가중치를 조절할 수 있다.

도 16은 본 발명의 일 실시예에 의한 객체 인식이 완료된 후, 정확도에 따라 분류기의 가중치를 조절하는 과정을 보여주는 도면이다.

제어부(150)는 제1분류기(예를 들어 OOD 분류기) 및 제2분류기가 산출한 결과를 디스플레이부(110)에 출력한다. 즉, 디스플레이부(110)는 객체 인식 결과를 출력하며, 또한 출력한 결과에 대한 사용자의 선택 정보를 입력받는다(S241). 선택 정보란 사용자가 오인식된 객체를 선택하거나, 혹은 정확하게 인식된 객체를 선택한 결과를 포함한다.

그리고 제어부(150)는 선택 정보를 이용하여 상기 객체 인식의 정확도를 계산한다(S242). 선택 정보는 외부적으로 객체 인식의 정확도를 검증한 결과이다. 따라서, 오인식이 높은 경우라면, 제어부(150)는 제1분류기(OOD 분류기)의 가중치를 높여서 오인식을 줄일 수 있다. 반대로, 오인식이 낮은 경우라면 제어부(150)는 제1분류기(OOD 분류기)의 가중치를 낮추어 더 많은 물품들이 인식될 수 있도록 한다. 즉, 제어부(150)는 정확도에 대응하여 제1분류기의 가중치를 조절할 수 있다(S243).

또한, S241~S243의 과정을 생략한 경우라도, 제어부(150)는 딥러닝 학습 네트워크가 새로운 학습을 수행하면, 제1분류기의 가중치를 낮출 수 있다(S244). 딥러닝 학습 네트워크가 새로운 학습을 수행하면, 새로운 물품에 대한 인식이 이루어진 것이므로, 인식 가능한 물품의 수가 증가함을 의미한다. 따라서 제어부(150)는 OOD 분류기와 같은 제1분류기의 가중치를 낮출 수 있다.

도 17은 본 발명의 일 실시예에 의한 서버의 구성을 보여주는 도면이다. 설명의 편의를 위해 냉장고를 중심으로 설명하지만, 서버는 냉장고 외에도 조리용 기기, 세탁-건조용 기기, 또는 청소기가 전송한 이미지를 처리하며 촬영된 이미지 내의 사물을 구분할 수 있다. 서버통신부(360)는 다수의 장치들, 예를 들어 냉장고들이 촬영하여 전송하는 이미지(전술한 제1이미지)를 수신한다.

서버제어부(350)는 앞서 살펴본 냉장고(100)의 제어부(150)와 동일한 구성이다. 따라서, 제1분류기 및 제2분류기를 포함하며, 각각의 설명은 앞서 설명한 내용으로 대신한다.

서버 데이터베이스부(390)는 다수의 냉장고들이 전송한 제1이미지 또는 제1이미지에서 구분된 객체 별 제2이미지를 저장한다. 저장된 정보가 누적되면 서버제어부(350)는 학습을 수행할 수 있다.

앞서 살펴본 제어부(150)의 설명들은 모두 서버제어부(350)에 적용 가능하다. 또한, 서버 제어부(350)는 냉장고(100) 보다 컴퓨팅 파워를 가지므로 인식 결과를 처리하는 속도나 정확성이 높으며, 멀티 태스킹이 가능하다. 따라서, 서버(300)에게 냉장고(100)가 촬영한 이미지가 전달되면, 이에 기반하여 서버(300)가 OOD 분류기에 따라 인식에서 제외될 객체들을 선별하고, 나머지 객체들에 대해 인식을 수행할 수 있다.

한편, 서버(300)는 다른 냉장고가 송신한 이미지들을 저장하고 있으므로, 제어부(350)는 서버 데이터베이스부(390)에 저장된 이미지들과 수신받은 새로운 이미지를 비교하여 객체 인식을 수행할 수도 있다.

또한, 서버통신부(350)가 제1분류기 및 상기 제2분류기가 산출한 결과를 이용하여 객체 인식 결과를 냉장고(100)에게 전송한 후, 냉장고(100)로부터 전송한 결과에 대한 선택 정보를 수신하면, 서버통신부(350)는 해당 냉장고(100)에 적용할 제1분류기의 가중치를 조절할 수 있다.

즉, 서버제어부(350)는 선택 정보를 이용하여 상기 객체 인식의 정확도를 계산한 후, 정확도에 대응하여 상기 제1분류기의 가중치를 조절한다.

이를 위해 서버제어부(350)는 냉장고 식별 정보(ID)와 제1분류기의 가중치에 대한 정보를 표 1과 같이 별도로 저장할 수 있다.

Ref_ID	OOD_Weight
ID_03897	0.11
ID_54866	0.09
ID_15368	0.12
ID_68979	0.15

제1분류기의 가중치(표에서 OOD_Weight)가 낮은 경우, 해당 냉장고에는 예외적인 물품의 입고 횟수가 낮음을 의미한다. 반대로 제1분류기의 가중치(표에서 OOD_Weight)가 높은 경우, 해당 냉장고에는 예외적인 물품의 입고 횟수가 높거나 혹은 새로운 물품의 입고가 빈번함을 의미한다.

전술한 냉장고에서 살펴본 실시예들은 오븐과 같은 조리용 기기, 세탁기 및 건조기와 같은 세탁용 기기, 청소기 등에도 적용이 가능하다. 또한, 냉장고와 조리용 기기는 투입되는 물품이 유사하므로 서버(300)는 이들 두 기기에서 전송된 이미지 정보를 이용할 수 있다. 특히 동일 공간(집, 사무실 등) 내의 냉장고와 조리용 기기는 동일한 물품이 투입될 가능성이 높으므로, 서버(300)는 어느 한쪽 기기(예를 들어 냉장고)에서 물품의 미인식이 발생하면, 해당 미인식 물품에 대한 정보를 저장한다. 그리고 서버(300)는 저장된 정보를 이용하여 다른 기기(예를 들어 오븐)에서 해당 물품의 인식 여부를 판단할 수 있다.

오븐과 같은 조리용 기기의 경우, 투입된 물품에 대한 인식 과정에서 도 3 내지 도 16의 실시예를 적용할 수 있다. 또한, 오븐과 같은 조리용 기기는 투입된 물품 중에서 그릇을 인식할 수 있다. 그릇이 두껑이나 덮개를 포함하여, 조리 대상인 내용물을 확인할 수 없는 상태라면, 오븐과 같은 조리용 기기는 알람 메시지를 출력하여 사용자가 해당 물품에 적합한 기능을 선택할 수 있도록 한다.

마찬가지로, 세탁기/건조기의 경우, 투입된 물품에 대한 인식 과정에서 도 3 내지 도 16의 실시예를 적용할 수 있다. 또한, 세탁기/건조기의 경우, 투입된 물품(의류, 이불, 수건, 봉제인형 등)에서 컬러를 인식할 수 있다. 그리고 컬러를 인식한 결과 학습된 물품이나 이전에 처리했던 물품이 아닌 경우, 세탁기/건조기는 알람 메시지를 출력하여 사용자가 해당 물품에 적합한 기능을 선택할 수 있도록 한다.

또한, 청소기의 경우 이동 과정에서 마주치는 물품(예를 들어 식탁의 다리, 바닥의 카페트 등)에 대한 인식 과정에서 도 3 내지 도 16의 실시예를 적용할 수 있다. 또한, 청소기의 경우, 주변의 물품의 크기나 폭, 높이 등 물리적인 특성을 인식할 수 있다. 그리고 물리적인 특성을 인식한 결과 학습된 물품이나 이전에 처리했던 물품이 아닌 경우, 청소기는 알람 메시지를 출력하여 사용자가 해당 물품에 적합한 기능을 선택할 수 있도록 한다.

도 18은 본 발명의 일 실시예에 의한 조리용 기기가 반입된 물품을 인식하고 동작하는 과정을 보여주는 도면이다.

조리용 기기, 예를 들어 오븐이나 전자레인지는 반입된 물품을 촬영한다(S251). 그리고 해당 물품이 그릇을 포함하는지 조리용 기기의 제어부(150)가 판단한다(S252). 판단 결과, 그릇이 포함된 경우 S253에서 그릇 외에 인식 가능한 물품이 있는지를 판단한다. 그릇 외에 인식 가능한 물품이 없는 경우, 조릭용 기기는 해당 물품에 대해 인식 불가 메시지를 출력하여 사용자에게 기능 선택을 요청한다(S255).

한편 S252에서 반입된 물품이 그릇을 포함하지 않거나, 혹은 S253에서 그릇 외에 인식 가능한 물품이 있는 경우 조리용 기기는 S254 단계에서 물품을 인식한 결과 OOD 분류기에 의해 미인식 물품에 해당하는지 판단한다. 그리고 OOD 분류기에 의해 미인식 물품에 해당할 경우, S255단계와 같이 기능 선택을 요청한다.

반면 OOD 분류기에 의해 미인식 물품에 해당하지 않는 경우, 조리용 기기는 해당 물품에 대한 인식 결과 메시지(예를 들어, 냉동 돼지고기, 즉석밥 등)를 출력하고 인식 결과에 대응하는 기능(예를 들어 3분간 해동)이 선택되었음을 출력한다(S256).

만약, 사용자가 미리 설정된 시간(예를 들어 1분)동안 선택된 기능에 대해 취소를 하지 않으면, 조리용 기기는 인식된 결과 및 선택한 기능에 따라 조리를 수행할 수 있다(S257).

도 19는 본 발명의 일 실시예에 의한 세탁-건조용 기기가 투입된 물품을 인식하고 동작하는 과정을 보여주는 도면이다.

세탁-건조용 기기의 카메라부는 투입된 물품을 촬영한다(S251). 그리고 S262 단계에서 물품을 인식한 결과 OOD 분류기에 의해 미인식 물품에 해당하는지 판단한다.

그리고 OOD 분류기에 의해 미인식 물품에 해당할 경우, S263단계와 같이 세탁 혹은 건조의 기능 선택을 요청한다.

반면 OOD 분류기에 의해 미인식 물품에 해당하지 않는 경우, 세탁-건조용 기기는 해당 물품에 대한 인식 결과 메시지(예를 들어, 이불, 파카, 블라우스 등)를 출력하고 인식 결과에 대응하는 기능(예를 들어 불림 세탁, 저온 건조 등)이 선택되었음을 출력한다(S264).

만약, 사용자가 미리 설정된 시간(예를 들어 1분)동안 선택된 기능에 대해 취소를 하지 않으면, 세탁-건조용 기기는 인식된 결과 및 선택한 기능에 따라 세탁 혹은 건조 기능을 수행할 수 있다(S266).

도 18 및 도 19와 같은 프로세스는 청소기와 같은 가전제품에도 적용할 수 있다. 예를 들어, 로봇 청소기가 이동 과정에서 근접 청소가 필요한 물품과 그렇지 않은 물품을 구분할 수 있다. 이 과정에서 OOD 분류기에 의해 미인식 물품에 해당할 경우, 로봇 청소기는 해당 미인식 물품을 근접 청소가 필요하지 않은 물품으로 설정하고, 이를 음성 메시지로 출력하여 사용자가 이에 대한 정보를 입력할 수 있도록 한다.

그 결과, 청소기가 처음 인식한 도자기의 경우, 이를 미인식 물품으로 판단하므로, 청소기가 근접 청소를 수행하는 과정에서 도자기를 파손하는 문제를 해결할 수 있다.

이와 같이, 다양한 물품을 인식하여 인식된 물품에 적합한 기능을 제공하는 다양한 가전제품들은 물품의 인식 과정에서 오인식을 하는 것 보다는 아예 인식을 하지 않는 것이 가전 제품의 물품 인식 및 기능 제공의 정확도를 높일 수 있다.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.

이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

100: 냉장고 110: 디스플레이부
120: 카메라부 130: 무게센싱부
141: 뎁스 카메라부 150: 제어부
170: 도어 감지부 180: 압축기
190: 데이터베이스부 300: 서버

Claims

물품을 촬영하는 카메라부; 및
상기 카메라부가 촬영한 제1이미지에 로컬라이제이션을 수행하여 객체 별로 구분한 후, 상기 객체가 인식 대상에서 제외될 확률을 판단하는 제1분류기와 상기 객체가 인식 대상에 포함될 확률 또는 상기 객체에 대한 인식 결과를 산출하는 제2분류기를 포함하는 딥러닝 학습 네트워크를 포함하며, 상기 제1이미지에서 구분되는 하나 이상의 객체의 제2이미지를 상기 딥러닝 학습 네트워크에 입력한 후 상기 제1분류기 및 상기 제2분류기가 산출한 결과에 따라 객체 인식 결과를 생성하는 제어부를 포함하는, 물품을 인식하는 장치.
제1항에 있어서,
상기 장치는 물품을 수납하는 냉장고, 또는 음식을 포함하는 물품을 조리하는 조리용 기기, 또는 의류를 포함하는 물품을 세탁 또는 건조하는 세탁-건조용 기기, 또는 청소를 수행하며 인접한 물품을 인식하여 이동 경로를 수정하는 청소용 기기 중 어느 하나를 포함하는, 물품을 인식하는 장치.
제1항에 있어서,
상기 장치는 냉장고이며,
상기 장치는 상기 냉장고 내부를 구성하는 하나 이상의 구분된 보관공간을 더 포함하며,
상기 카메라부는 상기 보관공간에 수납된 물품을 촬영하는, 물품을 인식하는 장치.
제1항에 있어서,
상기 장치는 조리용 기기이며,
상기 카메라부는 상기 조리용 기기에 반입된 물품을 촬영하며,
상기 카메라부가 촬영한 물품이 그릇인 경우 상기 제어부는 상기 물품이 미확인 상태이며 상기 물품에 적합한 기능의 선택을 요청하는 메시지를 상기 장치가 출력하도록 제어하는, 물품을 인식하는 장치.
제1항에 있어서,
상기 장치는 세탁용 또는 건조용 기기이며,
상기 카메라부는 상기 기기 내에 투입된 물품을 촬영하며,
상기 카메라부가 촬영한 물품이 미확인 물품인 경우, 상기 제어부는 상기 물품에 적합한 기능의 선택을 요청하는 메시지를 상기 장치가 출력하도록 제어하는, 물품을 인식하는 장치.
제1항에 있어서,
상기 제어부는 상기 제1이미지에 포함된 객체에 대해 로컬라이제이션을 수행한 결과인 상기 제2이미지를 상기 딥러닝 학습 네트워크에 입력하여 상기 로컬라이제이션으로 구분된 객체에 대한 상기 제1분류기의 결과를 산출하는, 물품을 인식하는 장치.
제6항에 있어서,
상기 제어부는 상기 제1분류기의 결과에 따라 상기 객체를 인식 대상에서 제외시킨 후, 제외되지 않은 나머지 객체들에 대해 인식을 수행하는, 물품을 인식하는 장치.
제6항에 있어서,
상기 제어부는 상기 인식 대상에서 제외시킨 객체의 이미지를 저장한 후 학습하거나 혹은 저장한 이미지를 서버로 전송하는, 물품을 인식하는 장치.
제1항에 있어서,
상기 제어부는 상기 카메라부가 촬영한 제1이미지의 특성 또는 상기 카메라부가 상기 제1이미지의 촬영 이전에 촬영한 제3이미지와 상기 제1이미지를 비교하여 상기 제1분류기의 가중치를 조절하는, 물품을 인식하는 장치.
제1항에 있어서,
상기 제1분류기 및 상기 제2분류기가 산출한 결과를 이용하여 객체 인식 결과를 출력하고, 상기 출력한 결과에 대한 선택 정보를 입력받는 디스플레이부를 더 포함하며,
상기 제어부는 상기 선택 정보를 이용하여 상기 객체 인식의 정확도를 계산한 후, 상기 정확도에 대응하여 상기 제1분류기의 가중치를 조절하는, 물품을 인식하는 장치.
제1항에 있어서,
상기 제1분류기의 가중치와 상기 제2분류기의 가중치는 반비례의 관계인, 물품을 인식하는 장치.
제1항에 있어서,
상기 딥러닝 학습 네트워크가 새로운 학습을 수행하면, 상기 제어부는 상기 제1분류기의 가중치를 낮추는, 물품을 인식하는 장치.
제1항에 있어서,
상기 딥러닝 학습 네트워크는 CNN 기반의 네트워크인, 물품을 인식하는 장치.
다수의 장치가 전송하는 제1이미지를 수신하는 서버 통신부; 및
상기 수신한 제1이미지에 로컬라이제이션을 수행하여 객체 별로 구분한 후, 상기 객체가 인식 대상에서 제외될 확률을 판단하는 제1분류기와 상기 객체가 인식 대상에 포함될 확률 또는 상기 객체에 대한 인식 결과를 산출하는 제2분류기를 포함하는 딥러닝 학습 네트워크를 포함하며, 상기 제1이미지에서 구분되는 하나 이상의 객체의 제2이미지를 상기 딥러닝 학습 네트워크에 입력한 후 상기 제1분류기 및 상기 제2분류기가 산출한 결과에 따라 객체 인식 결과를 생성하는 서버제어부; 및
상기 장치가 전송하는 제1이미지 또는 상기 제2이미지를 저장하는 서버데이터베이스부를 포함하는, 장치가 촬영한 물품을 인식하는 서버.
제14항에 있어서,
상기 제어부는 상기 제1이미지에 포함된 객체에 대해 로컬라이제이션을 수행한 결과인 상기 제2이미지를 상기 딥러닝 학습 네트워크에 입력하여 상기 로컬라이제이션으로 구분된 객체에 대한 상기 제1분류기의 결과를 산출하는, 장치가 촬영한 물품을 인식하는 서버.
제15항에 있어서,
상기 서버제어부는 상기 제1분류기의 결과에 따라 상기 객체를 인식 대상에서 제외시킨 후, 제외되지 않은 나머지 객체들에 대해 인식을 수행하는, 장치가 촬영한 물품을 인식하는 서버.
제15항에 있어서,
상기 서버제어부는 상기 인식 대상에서 제외시킨 객체의 이미지를 저장한 후 학습하는, 장치가 촬영한 물품을 인식하는 서버.
제14항에 있어서,
상기 서버제어부는 상기 제1이미지의 특성 또는 상기 장치가 이전에 촬영한 제3이미지와 상기 제1이미지를 비교하여 상기 제1분류기의 가중치를 조절하는, 장치가 촬영한 물품을 인식하는 서버.
제14항에 있어서,
상기 서버통신부는 상기 제1분류기 및 상기 제2분류기가 산출한 결과를 이용하여 객체 인식 결과를 상기 장치에게 전송한 후, 상기 장치로부터 전송한 결과에 대한 선택 정보를 수신하며,
상기 서버제어부는 상기 선택 정보를 이용하여 상기 객체 인식의 정확도를 계산한 후, 상기 정확도에 대응하여 상기 제1분류기의 가중치를 조절하는, 장치가 촬영한 물품을 인식하는 서버.
제14항에 있어서,
상기 제1분류기의 가중치와 상기 제2분류기의 가중치는 반비례의 관계인, 장치가 촬영한 물품을 인식하는 서버.
제14항에 있어서,
상기 딥러닝 학습 네트워크가 새로운 학습을 수행하면, 상기 서버제어부는 상기 제1분류기의 가중치를 낮추는, 장치가 촬영한 물품을 인식하는 서버.
제14항에 있어서,
상기 딥러닝 학습 네트워크는 CNN 기반의 네트워크인, 장치가 촬영한 물품을 인식하는 서버.
장치의 카메라부가 장치 내부에 투입되거나 혹은 장치 외부에 배치된 물품을 촬영하는 단계;
상기 장치의 제어부가 상기 카메라부가 촬영한 제1이미지에 로컬라이제이션을 수행하여 객체 별로 구분하는 단계;
상기 제어부가 상기 제1이미지에서 구분되는 하나 이상의 객체의 제2이미지를 상기 딥러닝 학습 네트워크에 입력하는 단계;
상기 제어부의 제1분류기가 상기 객체가 인식 대상에서 제외될 확률을 판단하는 단계;
상기 제어부의 제2분류기가 상기 객체가 인식 대상에 포함될 확률 또는 상기 객체에 대한 인식 결과를 산출하는 단계; 및
상기 제어부가 상기 제1분류기 및 상기 제2분류기가 산출한 결과에 따라 객체 인식 결과를 생성하는 단계를 포함하는, 장치가 물품을 인식하는 방법.
제23항에 있어서,
상기 장치는 냉장고이며,
상기 촬영하는 단계는 상기 카메라부는 상기 냉장고 내부를 구성하는 하나 이상의 구분된 보관공간에 수납된 물품을 촬영하는 단계를 포함하는, 장치가 물품을 인식하는 방법.
제23항에 있어서,
상기 제어부는 상기 카메라부가 촬영한 제1이미지의 특성 또는 상기 카메라부가 상기 제1이미지의 촬영 이전에 촬영한 제3이미지와 상기 제1이미지를 비교하여 상기 제1분류기의 가중치를 조절하는 단계를 더 포함하는, 장치가 물품을 인식하는 방법.
제23항에 있어서,
상기 장치의 디스플레이부가 상기 제1분류기 및 상기 제2분류기가 산출한 결과를 이용하여 객체 인식 결과를 출력하고, 상기 출력한 결과에 대한 선택 정보를 입력받는 단계; 및
상기 제어부는 상기 선택 정보를 이용하여 상기 객체 인식의 정확도를 계산한 후, 상기 정확도에 대응하여 상기 제1분류기의 가중치를 조절하는 단계를 더 포함하는, 장치가 물품을 인식하는 방법.
제23항에 있어서,
상기 딥러닝 학습 네트워크가 새로운 학습을 수행하는 단계; 및
상기 제어부가 상기 제1분류기의 가중치를 낮추는 단계를 더 포함하는, 장치가 물품을 인식하는 방법.