KR101959504B1

KR101959504B1 - 냉장고 제어 방법, 냉장고 제어 장치 및 상기 방법을 실행시키기 위한 컴퓨터 프로그램

Info

Publication number: KR101959504B1
Application number: KR1020170084406A
Authority: KR
Inventors: 구영모
Original assignee: 구영모
Priority date: 2017-07-03
Filing date: 2017-07-03
Publication date: 2019-03-18
Also published as: KR20190004162A

Abstract

본 실시예는 냉장고의 내부 상황을 촬영한 현재 프레임을 수신하는 이미지 획득부; 상기 현재 프레임의 각 픽셀에 대해서 픽셀값을 산출하고, 이전 프레임의 대응 픽셀에 대한 픽셀값과 비교함으로써, 변화 영역을 검출하는 영역 검출부; 상기 변화 영역을 기준으로, 상기 현재 프레임의 각 픽셀의 픽셀값을 제1 값 또는 제2 값으로 변경하는 이분 이미지를 생성하는 이분 이미지 생성부; 상기 이분 이미지 내에 포함된 제1 값으로 설정된 픽셀을 포함하는 바운딩 박스를 추출하는 박스 추출부; 상기 박스 추출부를 통해 추출된 바운딩 박스를 기 저장된 하나 이상의 바운딩 박스와 비교함으로써, 냉장고의 상태 변화를 결정하는 판단부; 상기 판단부를 통해 상태 변화가 적재로 판단된 경우, 상기 바운딩 박스와 대응되되, 시각적으로 인식되는 사이즈를 조절시킨 이미지들을 생성하고, 상기 생성된 이미지들을 제1 순서로 배열한 맵을 생성하고, 누적적으로 수신된 바운딩 박스 및 바운딩 박스와 대응된 이미지들로 구축된 개체 데이터베이스 및 상기 맵을 비교함으로써, 적재된 개체의 명칭을 결정하는 처리부;를 포함하는, 냉장고 제어 장치를 개시한다.

Description

냉장고 제어 방법, 냉장고 제어 장치 및 상기 방법을 실행시키기 위한 컴퓨터 프로그램{METHOD FOR CONTROLLING REFRIGERATOR AND REFRIGERATOR CONTROLLER}

본 발명의 실시예는 냉장고 제어 방법, 냉장고 제어 장치 및 상기 방법을 실행시키기 위한 컴퓨터 프로그램에 관한 것이다.

일반적으로 냉장고는 냉동 사이클의 구동에 따라 발생된 냉기를 공급하는 장치로서, 식품을 저온의 상태로 보관 하기 위한 장치이다. 종래의 냉장고의 경우, 단순히 식품을 저온의 상태로 보관하기 위한 기능만을 수행할 수 있었다. 그러나, 근래에 들어서는 식품 보관 기능 외에 추가적인 기능의 필요성이 증가되고 있다.

냉장고는 일정 수납물을 수납하여 보관하는 장치로서, 내부를 확인하기 위해서는 냉장고 도어를 열어서 확인하는 수밖에 없다. 또한 사용자가 시장이나 마트에서 물건을 사려고 할 때에 냉장고에 보관된 식품의 양과 종류에 대해서 파악하지 못하는 경우에 동일한 식품을 중복해서 사거나, 필요한 식품을 사지 못하는 불편함이 있었다.

종래 기술인 일본특허공보 특허 제3450907호와, 특허공개공보 특개 2004-183987에 따르면 카메라가 도어에 설치되어 냉장고의 고내를 촬영하는 기술이 개시되어 있다. 또한 일본특허공개공보 특개2001-294308호에 따르면 카메라가 고내, 드로워 내부, 도어에 각각 설치되어 있는 기술이 개시되어 있다.

본 발명은 냉장고 내부를 촬영한 현재 프레임을 획득하고, 이전에 촬영된 이전 프레임 간의 비교를 통해 냉장고 내부에 발생한 상태 변화를 결정하는데 그 목적이 있다.

또한, 본 발명은 변화가 발생한 변화 영역을 기초로 현재 프레임으로부터 바운딩 박스를 추출하고, 사전 훈련된 데이터 베이스를 이용하여 바운딩 박스에 포함된 개체를 특정하는데 그 목적이 있다.

또한, 본 발명은 현재 프레임 및 이전 프레임 간의 대응 픽셀의 픽셀값의 차이를 기초로 상태 변화가 하적인지 또는 적재인지 여부를 결정하는데 그 목적이 있다.

본 발명의 실시예들에 따른 냉장고 제어 장치는 냉장고의 내부 상황을 촬영한 현재 프레임을 수신하는 이미지 획득부; 상기 현재 프레임의 각 픽셀에 대해서 픽셀값을 산출하고, 이전 프레임의 대응 픽셀에 대한 픽셀값과 비교함으로써, 변화 영역을 검출하는 영역 검출부; 상기 변화 영역을 기준으로, 상기 현재 프레임의 각 픽셀의 픽셀값을 제1 값 또는 제2 값으로 변경하는 이분 이미지를 생성하는 이분 이미지 생성부; 상기 이분 이미지 내에 포함된 제1 값으로 설정된 픽셀을 포함하는 바운딩 박스를 추출하는 박스 추출부; 상기 박스 추출부를 통해 추출된 바운딩 박스를 기 저장된 하나 이상의 바운딩 박스와 비교함으로써, 냉장고의 상태 변화를 결정하는 판단부; 상기 판단부를 통해 상태 변화가 적재로 판단된 경우, 상기 바운딩 박스와 대응되되, 시각적으로 인식되는 사이즈를 조절시킨 이미지들을 생성하고, 상기 생성된 이미지들을 제1 순서로 배열한 맵을 생성하고, 누적적으로 수신된 바운딩 박스 및 바운딩 박스와 대응된 이미지들로 구축된 개체 데이터베이스 및 상기 맵을 비교함으로써, 적재된 개체의 명칭을 결정하는 처리부;를 포함할 수 있다.

상기 판단부는 상기 추출된 바운딩 박스의 식별값 및 기 저장된 바운딩 박스의 식별값들을 대응 비교하여 비유사도를 산출하고, 상기 비유사도가 기 설정된 제1 임계값 이상이면, 상태 변화를 적재로 판단하고, 상기 비유사도가 상기 제1 임계값 미만이면, 상태 변화를 하적으로 판단할 수 있다.

상기 영역 검출부는 현재 프레임 및 버퍼에 저장된 이전 프레임의 대응 픽셀의 픽셀값 사이의 차이인 차분값을 산출하고, 기설정된 제2 임계값을 초과하는 차분값을 가지는 픽셀을 변화 영역으로 설정할 수 있다.

상기 이분 이미지 생성부는 상기 변화 영역에 포함된 픽셀의 픽셀값은 제1 값으로, 상기 변화 영역에 포함되지 않은 픽셀의 픽셀값은 제2 값으로 변경한 이분 이미지를 생성할 수 있다.

상기 판단부는 상기 판단부를 통해 상태 변화가 적재로 판단된 경우, 사전 훈련된 데이터베이스를 이용하여 상기 바운딩 박스에 포함된 개체의 형태, 및 색상에 따른 적재된 개체의 명칭을 결정할 수 있다.

상기 판단부는 상기 개체의 명칭을 결정한 이후에, 상기 판단부를 통해 적재된 개체의 명칭, 및 적재 일시를 포함하는 알림 메시지를 생성하여 사용자 단말기로 제공할 수 있다.

본 발명의 실시예들에 따른 냉장고 제어 방법은 제어 장치가 냉장고의 내부 상황을 촬영한 현재 프레임을 수신하는 단계; 상기 제어 장치가 상기 현재 프레임의 각 픽셀에 대해서 픽셀값을 산출하고, 이전 프레임의 대응 픽셀에 대한 픽셀값과 비교함으로써, 변화 영역을 검출하는 단계; 상기 제어 장치가 상기 변화 영역을 기준으로, 상기 현재 프레임의 각 픽셀의 픽셀값을 제1 값 또는 제2 값으로 변경하는 이분 이미지를 생성하는 단계; 상기 제어 장치가 상기 이분 이미지 내에 포함된 제1 값으로 설정된 픽셀을 포함하는 바운딩 박스를 추출하는 단계; 상기 제어 장치가 상기 추출된 바운딩 박스를 기 저장된 하나 이상의 바운딩 박스와 비교함으로써, 냉장고의 상태 변화를 결정하는 단계;를 포함할 수 있다.

상기 상태 변화를 결정하는 단계는 상기 추출된 바운딩 박스의 식별값 및 기 저장된 바운딩 박스의 식별값들을 대응 비교하여 비유사도를 산출하고, 상기 비유사도가 기 설정된 제1 임계값 이상이면, 상태 변화를 적재로 판단하고, 상기 비유사도가 상기 제1 임계값 미만이면, 상태 변화를 하적으로 판단할 수 있다.

상기 변화 영역을 검출하는 단계는 현재 프레임 및 버퍼에 저장된 이전 프레임의 대응 픽셀의 픽셀값 사이의 차이인 차분값을 산출하고, 기설정된 제2 임계값을 초과하는 차분값을 가지는 픽셀을 변화 영역으로 설정할 수 있다.

상기 이분 이미지를 생성하는 단계는 상기 변화 영역에 포함된 픽셀의 픽셀값은 제1 값으로, 상기 변화 영역에 포함되지 않은 픽셀의 픽셀값은 제2 값으로 변경한 이분 이미지를 생성할 수 있다.

상기 상태 변화를 결정하는 단계는 상기 상태 변화가 적재로 판단된 경우, 사전 훈련된 데이터베이스를 이용하여 상기 바운딩 박스에 포함된 개체의 형태, 및 색상에 따른 적재된 개체의 명칭을 결정할 수 있다.

상기 상태 변화를 결정하는 단계는 상기 개체의 명칭을 결정한 이후에, 상기 판단부를 통해 적재된 개체의 명칭, 및 적재 일시를 포함하는 알림 메시지를 생성하여 사용자 단말기로 제공할 수 있다.

본 발명의 실시예들에 따른 냉장고 제어 장치는 냉장고의 내부 상황을 촬영한 현재 프레임을 수신하는 이미지 획득부; 상기 현재 프레임의 각 픽셀에 대해서 픽셀값을 산출하고, 이전 프레임의 대응 픽셀에 대한 픽셀값과 비교함으로써, 변화 영역을 검출하는 영역 검출부; 상기 변화 영역을 기준으로, 상기 현재 프레임의 각 픽셀의 픽셀값을 제1 값 또는 제2 값으로 변경하는 이분 이미지를 생성하는 이분 이미지 생성부; 상기 이분 이미지 내에 포함된 제1 값으로 설정된 픽셀을 포함하는 바운딩 박스를 추출하는 박스 추출부; 상기 박스 추출부를 통해 추출된 바운딩 박스를 기 저장된 하나 이상의 바운딩 박스와 비교함으로써, 냉장고의 상태 변화를 결정하는 판단부; 상기 판단부를 통해 상태 변화가 적재로 판단된 경우, 상기 바운딩 박스와 대응되며 사이즈를 조절시켜 하나 이상의 이미지를 생성하고, 상기 생성된 이미지들을 제1 순서로 배열한 맵을 형성하고, 누적적으로 수신된 이미지들로 구축된 개체 데이터베이스 및 상기 맵을 비교함으로써, 적재된 개체의 명칭을 추론하는 처리부;를 포함할 수 있다.

상기 처리부는 상기 맵에 포함된 이미지들을 기 설정된 알고리즘을 이용하여 변환시켜 변환 맵을 생성하고, 상기 변환 맵의 제1 이미지 및 상기 개체 데이터에서 상기 제1 이미지와 대응되는 사이즈를 가지는 제2 이미지를 비교함으로써, 개체의 명칭을 결정하는 점을 특징으로 할 수 있다.

본 발명의 실시예들에 따른 냉장고 제어 방법은 제어 장치가 냉장고의 내부 상황을 촬영한 현재 프레임을 수신하는 단계; 상기 제어 장치가 상기 현재 프레임의 각 픽셀에 대해서 픽셀값을 산출하고, 이전 프레임의 대응 픽셀에 대한 픽셀값과 비교함으로써, 변화 영역을 검출하는 단계; 상기 제어 장치가 상기 변화 영역을 기준으로, 상기 현재 프레임의 각 픽셀의 픽셀값을 제1 값 또는 제2 값으로 변경하는 이분 이미지를 생성하는 단계; 상기 제어 장치가 상기 이분 이미지 내에 포함된 제1 값으로 설정된 픽셀을 포함하는 바운딩 박스를 추출하는 단계; 상기 제어 장치가 상기 추출된 바운딩 박스를 기 저장된 하나 이상의 바운딩 박스와 비교함으로써, 냉장고의 상태 변화를 결정하는 단계; 상기 상태 변화가 적재로 판단된 경우, 상기 바운딩 박스의 사이즈를 조절시켜 상기 바운딩 박스와 대응되는 하나 이상의 이미지를 생성하고, 상기 생성된 이미지를 제1 순서로 배열한 맵을 형성하고, 누적적으로 수신된 이미지들로 구축된 개체 데이터베이스 및 상기 맵을 비교함으로써, 적재된 개체의 명칭을 추론하는 단계;를 포함할 수 있다.

상기 개체의 명칭을 추론하는 단계는 상기 맵에 포함된 이미지들을 기 설정된 알고리즘을 이용하여 변환시켜 변환 맵을 생성하고, 상기 변환 맵의 제1 이미지 및 상기 개체 데이터에서 상기 제1 이미지와 대응되는 사이즈를 가지는 제2 이미지를 비교함으로써, 개체의 명칭을 결정하는 점을 특징으로 할 수 있다.

본 발명의 실시예들에 따른 냉장고 제어 방법은 상기 개체의 명칭이 복수로 획득되는 경우, 상기 맵 및 상기 개체 데이터베이스로부터 추출된 대응 이미지들의 하위 이미지들을 비교하여 적재된 개체의 명칭을 상기 개체 데이터베이스의 하위 이미지의 명칭으로 결정하는 단계;를 더 포함할 수 있다.

본 발명의 실시예들에 따른 냉장고 제어 방법은 상기 개체의 명칭을 결정한 이후에, 상기 판단부를 통해 적재된 개체의 명칭, 및 적재 일시를 포함하는 알림 메시지를 생성하여 사용자 단말기로 제공하는 단계;를 더 포함할 수 있다.

본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 냉장고의 제어 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.

이와 같은 본 발명에 의해서, 냉장고 내부를 촬영한 현재 프레임을 획득하고, 이전에 촬영된 이전 프레임 간의 비교를 통해 냉장고 내부에 발생한 상태 변화를 결정할 수 있다.

또한, 본 발명에 의해서, 변화가 발생한 변화 영역을 기초로 현재 프레임으로부터 바운딩 박스를 추출하고, 사전 훈련된 데이터 베이스를 이용하여 바운딩 박스에 포함된 개체를 특정할 수 있다.

또한, 본 발명에 의해서, 현재 프레임 및 이전 프레임 간의 대응 픽셀의 픽셀값의 차이를 기초로 상태 변화가 하적인지 또는 적재인지 여부를 결정할 수 있다.

도 1은 본 발명의 실시예에 따른 냉장고 제어 장치을 나타내는 도면이다.
도 2는 처리부의 구조를 나타내는 도면이다.
도 3 내지 도 8은 본 발명의 실시예들에 따른 냉장고의 제어 방법의 흐름도이다.
도 9은 본 발명의 실시예들에 따른 냉장고 제어 장치를 포함하는 냉장고의 일 예를 나타내는 도면이다.
도 10은 본 발명의 실시예들에 따른 냉장고 제어 시스템을 설명하기 위한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는한, 복수의 표현을 포함한다.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서 상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징을 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.

이하의 실시예에서, "회로"는, 예를 들어, 프로그램가능한 회로에 의해 실행되는 인스트럭션을 저장하는 하드와이어드 회로, 프로그램가능한 회로, 상태 머신 회로, 및/또는 펌웨어를 단독으로 또는 임의의 조합으로 포함할 수 있다. 애플리케이션은 호스트 프로세서 또는 다른 프로그램가능한 회로와 같은 프로그램가능한 회로 상에서 실행될 수 있는 코드 또는 인스트럭션으로서 구현될 수 있다. 본원의 임의의 실시예에서 사용되는 바와 같은, 모듈은,회로로서 구현될 수 있다. 회로는 집적 회로 칩과 같은 집적 회로로서 구현될 수 있다.

이하의 실시예에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 실시예에 따른 냉장고 제어 장치(110)을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 냉장고 제어 장치(110)는 이미지 획득부(111), 버퍼(112), 영역 검출부(113), 이미지 생성부(114), 박스 추출부(115), 판단부(116), 처리부(117)를 포함할 수 있다.

본 발명의 실시예들에 따른 냉장고 제어 장치(110)는 전기적으로 연결된 하나 이상의 촬상 장치로부터 이미지를 획득할 수 있다. 이때, 냉장고 제어 장치(110)는 전기적으로 연결된 센서로부터 소정의 신호가 감지되는 경우 촬상 장치로부터 이미지를 획득하도록 제어할 수 있다. 예를 들어 냉장고 제어 장치(110)는 도어의 개폐가 감지되는 경우, 촬상 장치로부터 이미지를 획득할 수 있다. 냉장고 제어 장치(110)는 주기적으로 이미지를 획득하고 상태 변화를 감지하기 보다는 도어의 개폐가 감지되는 경우에만 이미지를 획득하고 상태 변화를 감지하게 된다. 냉장고 제어 장치(110)는 3개 이상의 촬상 장치로부터 이미지를 획득할 수 있다. 3개의 촬상 장치들은 동일 지점을 각 90도의 촬영 각도로 촬영할 수 있다. 촬상 장치들은 동일 평면이 아닌 서로 직교하는 평면들을 촬영하게 된다.

이미지 획득부(111)는 전기적으로 연결된 하나 이상의 촬상 장치로부터 현재 프레임을 획득할 수 있다. 획득된 현재 프레임은 버퍼(112)로 전달될 수 있다.

버퍼(112)는 획득된 프레임, 이미지를 기록할 수 있다. 새로운 프레임이 수신되면, 버퍼(112)는 기 저장된 프레임을 삭제하고, 새로운 프레임을 저장할 수 있다. 예를 들어, 버퍼(112)는 냉장고의 내부 상태가 변경된다고 판단되는 경우에만, 기 저장된 프레임을 삭제하고 새로운 프레임을 저장할 수 있다. 버퍼(112)는 연결된 촬상 장치의 수 만큼의 저장 영역을 가질 수 있다. 예를 들어, 3개의 촬상 장치들과 연결된 냉장고의 제어 장치(110)는 하나의 프레임 용량의 3배 만큼의 크기를 가지는 저장 영역을 가질 수 있다. 버퍼(112)는 촬상 장치 별로 구분되어 관리될 수 있다. 예를 들어, 제1 주소는 제1 촬상 장치와 연결되고, 제2 주소는 제2 촬상 장치와 연결되고, 제3 주소는 제3 촬상 장치와 연결될 수 있다.

영역 검출부(113)는 현재 프레임(frame) 및 버퍼에 저장된 이전 프레임(ex_frame)을 비교함으로써 변화 영역(area)을 검출할 수 있다. 영역 검출부(113)는 현재 프레임 내의 픽셀값과 이전 프레임 내의 픽셀값 사이의 차분값을 산출하여 소정의 임계값을 초과하는 차분값을 가지는 영역을 변화 영역으로 검출할 수 있다. 영역 검출부(113)는 현재 프레임 내의 각 픽셀의 픽셀값과 이전 프레임 내의 상기 각 픽셀의 대응 픽셀의 픽셀값 사이의 차이를 차분값으로 산출할 수 있다. 여기서, 픽셀값은 각 픽셀의 컬러값들의 평균에 해당하는 값일 수 있다. 컬러값들은 R, G, B 값일 수 있다. 여기서, 이전 프레임은 버퍼에 저장된 프레임이며, 냉장고에 아무것도 적재되지 않은 상태에 촬영된 프레임일 수도 있다. 또한, 이전 프레임은 현재 시점 이전의 임의의 시점에 촬영된 프레임일 수 있다.

이분 이미지 생성부(114)는 변화 영역을 명확하게 구분될 수 있는 이분 이미지(bw_frame)를 생성할 수 있다. 이분 이미지 생성부(114)는 현재 프레임의 각 픽셀의 픽셀값을 변경함으로써 이분 이미지를 생성할 수 있다. 현재 프레임 내의 각 픽셀 중에서 변화 영역에 포함되는 픽셀의 픽셀값은 제1 값으로 변경하고, 변화 영역에 포함되지 않는 픽셀의 픽셀값은 제2 값으로 변경할 수 있다. 이때, 제1 값 및 제2 값은 서로 다른 값일 수 있다. 예를 들어, 제1 값은 #FFFFFF, 제2 값은 #000000 일 수 있다. 이때, 이분 이미지 생성부(114)는 현재 프레임의 각 픽셀의 픽셀값과 이전 프레임의 대응 픽셀의 픽셀값을 차분한 차분 이미지를 기초로 이분 이미지를 생성할 수 있다. 이분 이미지 생성부(114)는 차분 이미지 내의 각 픽셀의 픽셀값이 소정의 제2 임계값을 초과하는 경우, 해당 픽셀의 픽셀값을 제1 값으로 설정하고, 그렇지 않은 경우, 해당 픽셀의 픽셀값을 제2 값으로 설정할 수 있다.

선택적 실시예에서, 이분 이미지 생성부(114)는 이분 이미지의 노이즈를 제거하는 과정을 더 수행할 수 있다. 이분 이미지에서 제2 값으로 설정된 하나 이상의 영역들에 대해서 대응되는 직사각형을 추출할 수 있다. 이때, 직사각형은 이미지의 가로 축 또는 세로 축에 대해서 소정의 각도로 회전될 수 있다. 이분 이미지 생성부(114)는 하나 이상의 직사각형들 중에서, 가로 또는 세로 중 하나의 길이가 임계 길이 미만인 직사각형들을 검색하여 제거하고 남은 나머지 직사각형, 즉 가로 및 세로의 길이가 임계 길이를 초과하는 직사각형에 포함되는 객체의 외곽선을 추출하고 상기 개체의 외곽선을 기초로 상기 객체와 대응되는 블록다각형(convex)으로 변환한다. 최종적으로, 이분 이미지 생성부(114)는 개체 즉, 볼록 다각형의 내부를 흰색으로 채움으로써 보완된 이분 이미지를 생성할 수 있다.

냉장고 제어 장치(110)는 복수의 촬상 장치들로부터 이미지들을 획득하는 경우, 획득된 현재 프레임들 및 대응 촬상 장치 별 이전 프레임들을 이용하여 변화 영역을 검출하고, 이분 이미지를 생성하는 과정을 수행할 수 있다.

박스 추출부(115)는 상기 이분 이미지 내에 포함된 제1 값으로 설정된 픽셀을 포함하는 바운딩 박스(box)를 추출할 수 있다. 바운딩 박스는 직사각형의 형태를 이루게 되며, 바운딩 박스와 대응되는 식별값은 시작점의 좌표 및 박스의 길이들(x, y, width, height)을 포함하게 된다. 박스 추출부(115)는 먼저, 이분 이미지로부터는 2차원의 바운딩 박스(box)를 추출할 수 있다. 박스 추출부(115)는 대응되는 현재 프레임들, 이분 이미지들을 이용하여 3차원의 바운딩 박스(box)로 변환할 수 있다. 박스 추출부(115)는 동일한 지점을 다른 각도에서 촬영한 현재 프레임들을 기초로 획득된 이분 이미지들을 이용하여 3차원의 바운딩 박스를 생성할 수 있다. 2차원의 바운딩 박스의 식별값은 소스인 현재 프레임이 획득된 위치에 따라서 식별값이 x-y, y-z, z-x 평면 기준으로 작성될 수 있다. 예를 들어, 좌측면에서 획득된 바운딩 박스의 식별값이 y-z 평면을 기준으로 설정되며, 후면에서 획득된 바운딩 박스의 식별값이 x-y 평면을 기준으로 설정될 수 있다.

제1 지점에 대해서 제1 내지 제3 이분 이미지를 획득한 경우를 가정해 보겠다. 제1 내지 제3 이분 이미지는 다른 각도에서 촬영된 프레임으로부터 획득될 수 있다. 박스 추출부(115)는 3차원의 라운딩 박스를 획득하기 위해서, 적어도 3개의 2차원의 라운딩 박스들을 활용할 수 있다. 박스 추출부(115)는 3차원의 좌표계를 생성하고, 상기 좌표계의 x축, y축, z축에 따라 각 2차원의 라운딩 박스를 배치시킨다. 3개의 축을 설정하는데 있어서, 공간의 임의의 방향을 x축으로 설정하고, x축과 동일 평면 상에 있어서, 직교 관계에 있는 y축을 설정하고, x축 및 y축과 모두 90도를 이루는 직교 관계를 가지는 z축을 설정할 수 있다. 각 이분 이미지들의 바운딩 박스의 식별 값들을 기초로 가장 전면으로 돌출된 좌표값(z 성분 좌표가 가장 작은 좌표)이 선택되고, 상기 전면 좌표값을 z 성분으로 하는 평면이 제1 평면으로 결정된다. 각 이분 이미지들의 바운딩 박스의 식별 값들을 기초로 가장 후면에 위치한 좌표값(z 성분 좌표가 가장 큰 좌표)이 결정되고, 상기 후면 좌표값을 z 성분으로 하는 평면이 제2 평면으로 결정된다. 각 이분 이미지들의 바운딩 박스의 식별 값들을 기초로 가장 상위에 위치한 좌표값이 상위 좌표값(y 성분 좌표가 가장 큰 좌표)으로 사용된다. 상위 좌표값을 y 성분으로 하는 평면이 제3 평면으로 결정된다. 각 이분 이미지들의 바운딩 박스의 식별 값들을 기초로 가장 하위에 위치한 좌표값(y 성분 좌표가 가장 작은 좌표)이 하위 좌표값으로 사용된다. 하위 좌표값을 y 성분으로 하는 평면이 제4 평면으로 결정된다. 각 이분 이미지들의 바운딩 박스의 식별 값들을 기초로 가장 좌측에 위치한 좌표값(x 성분 좌표가 가장 큰 좌표)은 좌면 좌표값으로 사용된다. 좌면 좌표값을 x 성분으로 하는 평면이 제5 평면으로 결정된다. 각 이분 이미지들의 바운딩 박스의 식별 값들을 기초로 가장 우측에 위치한 좌표값(x 성분 좌표가 가장 작은 좌표)은 우면 좌표값으로 사용된다. 우면 좌표값을 x 성분으로 하는 평면이 제6 평면으로 결정된다. 상기의 과정을 통해 추출된 제1 내지 제6 평면 으로 이루어진 직육면체를 3차원의 바운딩 박스로 추출할 수 있다.

만약, 2차원의 바운딩 박스들 간의 불일치 영역이 존재하는 경우, 즉, 제1 이분 이미지를 통해서는 바운딩 박스로 추출된 지점이 제2 이분 이미지로부터는 바운딩 박스에 포함되지 않는 경우가 발생할 수 있다. 본 발명의 실시예에서, 3차원의 바운딩 박스를 추출하는 것은 불일치 영역이 발생하는 경우를 대비한 것이다. 박스 추출부(115)는 단순히 3개의 이분 이미지들로부터 추출된 바운딩 박스의 식별 값들에서 해당 조건을 만족하는 6개의 좌표 지점을 추출함으로써, 3차원의 바운딩 박스를 추출할 수 있다. 본 발명의 실시예들에 따르면, 3차원의 바운딩 박스를 추출함으로써 적재 또는 하적된 개체의 명칭을 더 정확하게 검색할 수 있다. 박스 추출부(115)를 통해 추출된 바운딩 박스 특히 3차원의 바운딩 박스는 저장 매체(118)에 저장될 수 있다. 저장 매체(118)는 적재 리스트에 포함된 개체와 대응시켜 바운딩 박스를 저장할 수 있다.

판단부(116)는 변화가 감지되어 박스 추출부(115)를 통해 추출된 바운딩 박스를 기 저장된 하나 이상의 적재 항목의 바운딩 박스와 각각 비교함으로써, 추출된 바운딩 박스의 상태 변화를 추론한다. 추론된 바운딩 박스의 상태 변화는 적재 또는 하적인지 여부를 판단할 수 있다. 판단부(116)는 개체의 이동으로 인해 감지된 변화 일 수 있기 때문에, 추출된 바운딩 박스를 모든 적재 항목의 바운딩 박스와 비교하는 과정을 반복적으로 수행할 수 있다. 본 발명의 실시예들에 따르면, 개체의 이동과 관련하여, 판단부(116)는 개체의 하적 또는 개체의 적재를 감지할 수 있다.

이때, 판단부(116)는 추출된 바운딩 박스를 이루는 식별 값(기준 좌표, 가로, 세로, 높이)과 기 저장된 적재 항목의 바운딩 박스의 식별 값들을 비교하여 비유사도를 산출할 수 있다. 비유사도가 기 설정된 제3 임계값 미만인 경우에는 바운딩 박스의 상태 변화가 하적이라고 판단되고, 비유사도가 제3 임계값을 초과하는 경우에는 바운딩 박스의 상태 변화가 적재라고 판단될 수 있다.

판단부(116)를 통해 바운딩 박스의 상태 변화가 하적으로 판단된 경우, 처리부(117)는 바운딩 박스에 포함된, 하적된 개체에 대한 데이터를 저장 매체(118)에서 삭제하게 된다. 냉장고의 개체 리스트에서 하적된 개체는 삭제될 수 있다. 하적된 개체와 관련된 이미지, 하적된 개체의 3차원 바운딩 박스, 하적된 개체의 적재 일시 등의 데이터는 개체 리스트에서 삭제된다.

판단부(116)를 통해 적재로 판단된 경우, 처리부(117)는 2차적으로 적재인지를 확증하는 과정을 더 수행할 수 있다. 처리부(117)는 바운딩 박스와 대응되는 위치에 대해서 기 저장된 바운딩 박스를 비교하여 대응 픽셀들의 컬러값들의 차분을 색깔 별로 각각 산출할 수 있다. 처리부(117)에 의해 산출된 컬러값(Red, green, blue 값)들의 차분 들의 평균이 제4 임계값 이상인 경우, 바운딩 박스의 상태 변화는 적재로 컨폼(confirm)된다. 여기서, 기 저장된 바운딩 박스는 추출된 바운딩 박스와 대응되는 위치를 이전 시점에 촬영한 이미지 중에서, 상기 대응되는 위치가 비어있는 경우 촬영된 이미지에 포함된 바운딩 박스 일 수 있다. 산출된 컬러값들의 차이의 평균이 제4 임계값 미만인 경우, 바운딩 박스의 상태 변화는 하적으로 컨폼된다.

처리부(117)는 바운딩 박스에 포함된 개체를 사전 훈련된 데이터베이스를 활용하여 결정할 수 있다. 만약, 개체의 결정에 실패하게 되면, 즉 사전 훈련된 데이터베이스를 통해 바운딩 박스에 포함된 개체를 검색 또는 식별할 수 없는 경우에는 개체의 명칭은 개체와 가장 유사한 개체의 포괄적 명칭으로 결정될 수 있다. 여기서 사전 훈련된 데이터베이스는 개체를 포함하는 바운딩 박스의 경계(edge), 색상 등을 기초로 해당 개체에 적합한 명칭을 검색한다. 예를 들어, 처리부(117)는 개체를 포함하는 바운딩 박스가 가지는 특징들을 기준으로 개체와 관련된 명칭 그룹(group), 집합(set) 등을 결정하고 상기 명칭 그룹, 집합 내에서의 정확한 명칭을 확인하기 위해서, 개체의 형태 또는 특징을 활용할 수 있다. 개체의 전체적인 특징이 아니라 일부 특징 만으로 개체가 특정될 수 있다. 적재된 개체의 명칭이 검색되면, 처리부(117)는 사용자의 단말기 또는 냉장고의 표시부를 통해서 개체의 적재 일시, 권장 사용 제한일 등을 산출하여 제공할 수 있다. 이때, 권장 사용 제한일은 개체의 표준 유통 기한, 사용 가능 기한 등을 기준으로 결정되되, 개체의 신선도 또는 성숙도를 더 고려하여 결정할 수 있다. 권장 사용 제한일은 개체 별로 달라지며, 특히 개체의 구체적인 상태(신선도, 성숙도, 크기 등)에 따라서도 달라질 수 있다. 예를 들어, 성숙도가 기 설정된 기준 성숙도 미만인 과일의 경우에는 권장 사용 제한일은 기준 성숙도를 가지는 과일의 권장 사용 제한일 보다 더 길게 설정될 수 있다. 신선도가 기 설정된 기준 신선도 이상인 야채의 경우에는 권장 사용 제한일은 신선도 값이 기준 신선도 인 야채의 권장 사용 제한일 보다 더 짧게 설정될 수 있다. 권장 사용 제한일은 개체 별로 테이블화되며, 개체의 상태(신선도 또는 성숙도) 별로 테이블화 될 수 있다.

처리부(117)는 개체 데이터 베이스에 저장된 데이터를 기초로 개체의 명칭을 결정할 수 있다. 처리부(117)는 개체를 포함하는 바운딩 박스(이하, 개체 영역)과 대응되며, 상기 바운딩 박스를 다른 타입 또는 형식으로 변환할 수 있다. 처리부(117)는 개체 영역을 표현하는 색상 정보, 경계선 정보, 밝기 정보 중 적어도 하나의 정보를 채택하거나 제거함으로써 개체 영역을 변환 할 수 있다. 처리부(117)는 개체 영역을 구성하는 색상 정보, 경계선 정보, 밝기 정보 중 적어도 하나의 정보를 표현하도록 개체 영역의 타입 또는 형식을 변경할 수 있다. 처리부(117)는 개체의 명칭을 결정하는데 필요한 정보 만을 남기도록 개체 영역을 변환할 수 있다. 예를 들어, 처리부(117)는 개체의 색상 정보를 제거하고, 개체의 경계선 정보 만이 표현되도록 개체 영역을 변환할 수 있다. 또 다른 실시예에서, 처리부(117)는 각 픽셀과 각 픽셀의 주변에 인접하여 위치한 주변 픽셀들 사이의 픽셀값의 차분을 각각 산출하고, 산출된 차분을 기초로 각 픽셀의 방향을 결정할 수 있다.

이를 통해, 처리부(117)는 컴퓨터가 이해할 수 있도록 개체 영역을 이루는 다양한 정보들을 단순화시킬 수 있다. 본 발명의 실시예에 따르면, 단순화시키는 과정에서 불필요한 정보는 제거되거나, 다른 정보로 각각 변경될 수 있다.

여기서, 개체 데이터 베이스는 수신된 이미지 및 이미지에 포함된 개체 정보에 대한 학습을 통해 구축될 수 있다. 본 발명은 식품의 명칭을 검색하기 위한 용도로 개체 데이터 베이스를 활용할 수 있다. 개체 데이터 베이스는 동일한 개체에 속하는 하나 이상의 이미지를 개별적으로 관리하게 된다. 개체 데이터 베이스는 반복적으로 이미지를 수신하고, 각 이미지에 포함된 개체를 학습하는 과정을 통해 구축될 수 있다. 개체 데이터베이스는 인간이 하나의 사물을 인식하기 위해 다소 많은, 예를 들어 10,000번 이상의 사물 인식이 필요한 점에 착안하여 고안될 수 있다. 개체 데이터 베이스는 ‘고양이’에 속하는 복수의 이미지들을 수신하고, 각 이미지 및 각 이미지를 기초로 변환된 변환 이미지를 개별적으로 미리 설정된 기준, 또는 순서로 서열화 시킨 데이터를 포함할 수 있다.

처리부(117)는 개체 영역을 다양한 사이즈로 변환하고, 변환된 개체 영역을, 대응되는 사이즈를 가지는 개체 데이터 베이스에 저장된 이미지와 비교하게 됩니다. 구체적으로 처리부(117)는 변환된 개체 영역 중에서 가장 작은 제1 사이즈에 속하는 이미지를 개체 데이터 베이스에 저장된 이미지와 비교할 수 있다. 제1 사이즈의 이미지는 사이즈가 작아진 만큼 개체가 가지는 개별적인 특징이 희석될 수 있다. 처리부(117)는 개체를 포함하는 바운딩 박스의 크기, 해상도를 기준으로 바운딩 박스를 변환하는 과정을 수행할 수 있다.

추가적으로, 처리부(117)는 현재 명칭을 검색하기 위해 인식된 개체 영역들을 일정 순서로 배열시킨 맵을 생성할 수 있다. 상기 맵은 크기 순서로 생성될 수 있다. 처리부(117)는 맵과 개체 데이터베이스를 크기 별로 비교할 수 있다. 처리부(117)는 맵에 배열된 제1 사이즈의 제1-1 이미지 및 개체 데이터 베이스의 제1 사이즈에 해당하는 제1-2 이미지를 비교하고, 제1-1 이미지 및 제1-2 이미지 사이의 유사도가 임계 유사도 이상인 경우, 제1 사이즈 보다 한단계 큰 제2 사이즈의 제2-1 이미지 및 제2-2 이미지를 비교하게 된다. 제2-1 이미지는 제1-1 이미지의 자식 이미지라고 명명할 수 있다. 제2-2 이미지는 제1-2 이미지의 자식 이미지라고 명명할 수 있다. 이러한 비교 과정은 사이즈를 계속 감소 또는 증가시켜 반복하게 된다. 비교 과정은 수신된 이미지와 대응되는, 개체 데이터 베이스에 포함된 이미지의 명칭의 수가 1, 즉 단수가 될 때까지 반복된다.

이미지가 포함하는 다양한 정보(색상 정보, 경계 정보, 밝기 정보 등) 중에서 처리부(117)는 일부의 정보 만을 활용하고, 유사한 이미지를 검색할 수 있다. 예를 들어, 처리부(117)는 이미지의 경계 정보 만을 기초로 유사한 이미지를 검색할 수 있다.

개체의 신선도는 바운딩 박스의 현재 프레임을 이용하여 결정될 수 있다. 개체의 신선도는 현재 프레임 내의 개체의 형태 또는 색상 등을 이용하여 결정될 수 있다. 예를 들어, 개체의 형태 즉, 개체의 경계선이 매끄럽지 못하고 울퉁불퉁한 경우, 개체의 신선도는 낮게 판단되며, 이런 경우, 개체의 권장 사용 제한일은 결정된 권장 사용 제한일 보다 앞선 시점으로 결정될 수 있다. 개체의 표준 유통 기한, 사용 가능 기한에 비례하는 만큼 앞선 시점으로 결정될 수 있다.

처리부(117)는 하적된 개체를 냉장고의 개체 리스트에서 삭제하고, 적재된 개체를 냉장고의 개체 리스트에 추가할 수 있다. 개체 리스트에 포함된 하나 이상의 객체의 권장 사용 제한일이 도래 또는 임박하게 되면, 개체의 사용을 독촉하는 알림 메시지를 생성하여 사용자의 단말기 또는 냉장고로 전송할 수 있다. 사용을 독촉하는 알림 메시지는 해당 식품을 활용한 레시피와 함께 제공될 수 있다.

본 발명의 실시예에 따르면, 냉장고 제어 장치는 냉장고의 내부 상황을 촬영한 현재 프레임을 수신하는 이미지 획득부; 상기 현재 프레임의 각 픽셀에 대해서 픽셀값을 산출하고, 이전 프레임의 대응 픽셀에 대한 픽셀값과 비교함으로써, 변화 영역을 검출하는 영역 검출부; 상기 변화 영역을 기준으로, 상기 현재 프레임의 각 픽셀의 픽셀값을 제1 값 또는 제2 값으로 변경하는 이분 이미지를 생성하는 이분 이미지 생성부; 상기 이분 이미지 내에 포함된 제1 값으로 설정된 픽셀을 포함하는 바운딩 박스를 추출하는 박스 추출부;를 포함할 수 있다. 또한, 판단부는 추출된 바운딩 박스에 포함된 개체 및 개체와 대응되는 명칭을 수신받고, 상기 박스 추출부를 통해 추출된 바운딩 박스를 기 저장된 하나 이상의 바운딩 박스와 비교함으로써, 냉장고의 상태 변화를 결정하는 판단부; 상기 판단부를 통해 상태 변화가 적재로 판단된 경우, 상기 바운딩 박스로부터 변환된 이미지들을 미리 설정된 순서로 배열한 맵을 생성하고, 개체 데이터베이스 및 상기 맵을 크기 별로 대응 비교함으로써, 적재된 개체의 명칭을 결정하는 처리부;를 포함할 수 있다.

도 2는 처리부(117)의 동작을 설명하기 위한 도면이다.

처리부(117)는 변환부(1171) 및 비교부(1172)를 포함할 수 있다. 처리부(117)는 수신된 개체의 명칭을 검색하기 위한 기능을 수행할 수 있다. 또한, 처리부(117)는 수신된 개체 및 개체를 포함하는 이미지를 학습시키는 기능을 수행할 수 있다. 처리부(117)는 개체의 특징을 희석시키기 위해서, 바운딩 박스의 형식을 변환하는 변환부(1171) 및 개체를 포함하는 바운딩 박스와 개체 데이터 베이스에 저장된 이미지를 비교하는 비교부(1172)를 포함할 수 있다. 처리부(117)는 상태 변화가 적재로 판단된 경우, 상기 바운딩 박스의 사이즈를 조절시켜 상기 바운딩 박스와 대응되는 하나 이상의 이미지를 생성하고, 상기 생성된 이미지들을 제1 순서로 배열한 맵을 형성하고 누적적으로 수신된 이미지들로 구축된 개체 데이터 베이스 및 상기 맵을 비교함으로써 적재된 개체의 명칭을 추론할 수 있다.

변환부(1171)는 개체를 포함하는 바운딩 박스를 기초로 변환된 이미지들을 미리 설정된 순서로 배열된 맵을 생성한다. 변환부(1171)는 개체를 포함하는 바운딩 박스(이하, 개체 영역)의 가로 세로 비율이 정해진 비율로 변환될 수 있도록 변환 과정을 더 수행할 수 있다. 변환부(1171)는 개체 영역을 미리 정해진 비율(예를 들어, 0.5, 0.7)로 개체 영역의 사이즈 또는 해상도를 다운사이징 할 수 있다. 변환부(1171)는 개체 영역의 이미지를 상기 이미지의 원 사이즈에 미리 정해진 비율을 적용한 제1 비율로 변환하고, 제1 비율에 미리 정해진 비율을 적용한 제2 비율로 상기 제1 비율로 변환된 이미지를 다시 변환한다. 이미지의 사이즈 또는 해상도를 조절하는 비율은 정해진 비율을 이용하여 산출될 수 있다.

변환부(1171)는 개체 영역으로부터 색상 정보, 경계선 정보, 밝기 정보 중 적어도 하나의 정보를 추출할 수 있다. 변환부(1171)는 추출된 정보로 표현되는 이미지를 생성할 수 있다. 추가적으로, 변환부(1171)는 크기가 조절된 복수의 개체 영역들로부터 색상 정보, 경계선 정보, 밝기 정보 중 적어도 하나를 추출할 수 있다. 이때, 추출된 정보로 이루어진 이미지들은 크기 순서로 배열된 변환 맵으로 생성될 수 있다.

변환부(1171)는 맵에 포함된 이미지들에 포함된 개체의 특징이 드러나도록 이미지를 변환한다. 변환부(1171)는 이미지에 포함된 경계선의 방향성을 포함하도록 이미지를 변환할 수 있다. 변환된 이미지들을 포함하는 변환 맵이 생성될 수 있다.

비교부(1172)는 생성된 맵 또는 변환 맵의 n번째에 위치한 개체 영역과 유사한 이미지(이하, 제1 이미지)를 개체 데이터베이스(D1)에서 검색한다. 비교부(1172)는 n번째에 위치한 개체 영역의 사이즈와 대응되는 사이즈를 가지는 이미지들 중에서, n번째에 위치한 개체 영역과 유사한 이미지(이하, 제2 이미지)를 검색한다. 비교부(1172)는 검색된 이미지의 명칭을 제1 명칭으로 결정한다. 비교부(1172)는 이미지의 각 픽셀의 관계값들을 기초로 유사한 이미지를 검색할 수 있다. 예를 들어, 비교부(1172)는 각 픽셀과 각 픽셀의 주변 픽셀 사이의 특징값들의 차이값을 기초로 유사한 이미지를 검색할 수 있다. 이때, 비교부(1172)는 제1 이미지에 포함된 각 픽셀들 사이의 특징값들의 차이값들을 배열한 매트릭스와 유사하게 배열된 차이값들을 포함한 이미지를 유사한 이미지로 검색할 수 있다.

검색된 유사한 제2 이미지에 연결된 개체의 명칭이 개체 영역에 포함된 개체의 명칭이 된다. 제2 이미지에 연결된 개체의 명칭이 복수인 경우, 검색된 이미지의 명칭이 하나가 될 때까지 상기 과정을 반복하게 된다.

예를 들어, 제2 이미지가 검색되고, 제2 이미지에 연결된 개체의 명칭이 복수인 경우, 비교부(1172)는 제2 이미지보다 큰 사이즈를 가지는 하나 이상의 제4 이미지들 중에서, 상기 맵의 n-1 번째에 위치한 이미지와 유사한 이미지를 검색한다. 검색된 이미지의 명칭이 하나가 될 때까지 검색 과정이 반복된다. 개체의 명칭이 특정될 때까지 n번째, n-1번째, n-2 번째, … 1번째에 위치한 이미지를 기초로 개체 데이터 베이스에서 유사한 이미지를 검색한다. 검색된 이미지의 명칭이 개체의 명칭으로 결정된다. 이때, 비교되는 두 이미지의 크기는 동일해야 한다. 비교부(1172)는 비교되는 이미지의 크기를 증가시킬 수 있다.

최종적으로, 개체와 대응되는 이미지가 검색되지 못한 경우에는, 비교부(1172)는 개체 영역들로부터 생성된 맵을 개체 데이터 베이스(D1)에 추가할 수 있다. 이때, 개체로부터 생성된 맵 또는 변환 맵은 개체 데이터 베이스(D1)에서 개체 영역과 대응되는 이미지에 추가된다. 추가된 맵의 개체의 명칭은 사용자에 의해 설정될 수 있다.

개체의 명칭이 결정된 이후, 개체를 포함하는 바운딩 박스로부터 생성된 맵, 또는 변환 맵은 개체 데이터 베이스에 대응 위치로 추가될 수 있다. 대응 위치는 개체의 명칭에 따라 결정되는 위치이다.

도 3 내지 도 7은 본 발명의 실시예들에 따른 냉장고의 제어 방법의 흐름도이다.

도 3를 참조하면, 냉장고의 제어 방법은 현재 프레임을 획득하는 단계(S100), 변화 영역을 검출하는 단계(S200), 이분 이미지를 생성하는 단계(S300), 박스 영역을 생성하는 단계(S400), 상태 변화를 결정하는 단계(S500)를 포함할 수 있다.

S100에서는 냉장고의 제어 장치는 전기적으로 연결된 하나 이상의 촬상 장치로부터 현재 프레임을 획득할 수 있다.

S200에서는 냉장고의 제어 장치는 현재 프레임 및 버퍼에 저장된 이전 프레임을 비교함으로써 변화 영역을 검출할 수 있다. 냉장고의 제어 장치는 현재 프레임 내의 각 픽셀의 픽셀값과 이전 프레임 내의 대응 픽셀의 픽셀값 사이의 차분값을 산출할 수 있다. 냉장고의 제어 장치는 제1 임계값을 초과하는 차분값을 가지는 영역을 변화 영역으로 검출할 수 있다. 여기서, 픽셀값은 각 픽셀의 컬러값들의 평균에 해당하는 값일 수 있다. 컬러값들은 R, G, B 값일 수 있다. 여기서, 이전 프레임은 버퍼에 저장된 프레임이며, 현재 시점 이전의 임의의 시점에 촬영된 프레임이다. 이전 프레임은 냉장고에 아무것도 적재되지 않은 시점에 촬영된 프레임일 수도 있다. 또한, 이전 프레임은 하적 또는 적재가 판단된 시점에 촬영된 프레임일 수 있다.

S300에서는 냉장고의 제어 장치는 현재 프레임의 각 픽셀의 픽셀값을 변경함으로써 이분 이미지를 생성할 수 있다. 현재 프레임 내의 각 픽셀 중에서 변화 영역에 포함되는 픽셀의 픽셀값은 제1 값으로 변경하고, 변화 영역에 포함되지 않는 픽셀의 픽셀값은 제2 값으로 변경할 수 있다. 이때, 제1 값 및 제2 값은 서로 다른 값일 수 있다. 예를 들어, 제1 값은 #FFFFFF, 제2 값은 #000000 일 수 있다. 이때, 냉장고의 제어 장치는 현재 프레임의 각 픽셀의 픽셀값과 이전 프레임의 대응 픽셀의 픽셀값을 차분한 차분 이미지를 기초로 이분 이미지를 생성할 수 있다. 냉장고의 제어 장치는 차분 이미지 내의 각 픽셀의 픽셀값이 소정의 제2 임계값을 초과하는 경우, 해당 픽셀의 픽셀값을 제1 값으로 설정하고, 그렇지 않은 경우, 해당 픽셀의 픽셀값을 제2 값으로 설정할 수 있다.

S400에서는 냉장고의 제어 장치는 상기 이분 이미지 내에 포함된 제1 값으로 설정된 픽셀을 포함하는 바운딩 박스를 추출할 수 있다. 바운딩 박스는 직사각형의 형태를 이루게 되며, 바운딩 박스와 대응되는 식별값은 시작점의 좌표 및 박스의 길이들(x, y, width, height)을 포함하게 된다. 냉장고의 제어 장치는 먼저, 이분 이미지로부터는 2차원의 바운딩 박스를 추출할 수 있다. 냉장고의 제어 장치는 대응되는 현재 프레임들, 이분 이미지들을 이용하여 3차원의 바운딩 박스로 변환할 수 있다. 냉장고의 제어 장치는 동일한 지점을 다른 각도에서 촬영한 현재 프레임들을 기초로 획득된 이분 이미지들을 이용하여 3차원의 바운딩 박스를 생성할 수 있다. 3차원의 바운딩 박스를 생성하는 과정은 도 1에 대한 설명의 내용과 동일하므로 생략한다.

S500에서는 냉장고의 제어 장치는 박스 추출부(115)를 통해 추출된 바운딩 박스를 기 저장, 추출된 적재 항목의 바운딩 박스와 비교함으로써, 추출된 바운딩 박스의 상태 변화가 적재 또는 하적인지 여부를 판단할 수 있다. 이때, 냉장고의 제어 장치는 추출된 바운딩 박스를 이루는 식별 값(기준 좌표, 가로, 세로, 높이)과 적재 항목의 바운딩 박스의 식별 값들을 비교하여 비유사도를 산출할 수 있다. 냉장고의 제어 장치는 비유사도가 기 설정된 제3 임계값 미만인 경우에는 바운딩 박스의 상태 변화가 하적이라고 판단되고, 비유사도가 제3 임계값을 초과하는 경우에는 바운딩 박스의 상태 변화가 적재라고 판단될 수 있다.

다음으로, 변화 영역을 검출하는 단계를 상세히 설명하겠다. 도 3를 참조하면, 변화 영역을 검출하는 단계(S200)는 현재 프레임 및 이전 프레임의 대응 픽셀들의 픽셀값들의 차분값을 산출하는 단계(S210), 대응 픽셀들의 차분값이 소정의 제1 임계값을 초과하는지 여부를 판단하는 단계(S220), 해당 픽셀을 포함하는 변화 영역을 검출하는 단계(S230)를 포함할 수 있다.

S210에서는 냉장고 제어 장치는 현재 프레임 및 버퍼에 저장된 이전 프레임을 비교함으로써 변화 영역을 검출할 수 있다. 냉장고 제어 장치는 현재 프레임 내의 픽셀값과 이전 프레임 내의 픽셀값 사이의 차분값을 산출할 수 있다. 냉장고 제어 장치는 현재 프레임 내의 각 픽셀의 픽셀값과 이전 프레임의 대응 픽셀의 픽셀값 간의 차분값을 산출할 수 있다. S220에서는 냉장고 제어 장치는 각 픽셀의 차분값이 제1 임계값을 초과하는지 여부를 판단할 수 있다. S230에서는 냉장고 제어 장치는 차분값이 제1 임계값을 초과하는 픽셀을 포함하는 변화 영역을 검출할 수 있다.

다음으로 상태 변화를 결정하는 단계(S500)를 상세히 설명하겠다. 도 4를 참조하면, 상태 변화를 결정하는 단계(S500)는 비유사도를 산출하는 단계(S510), 비유사도가 제3 임계값의 미만인지 여부를 판단하는 단계(S520), 하적으로 처리하는 단계(S530), 적재로 처리하는 단계(S540)를 포함할 수 있다.

S510에서는 냉장고 제어 장치는 박스 추출부를 통해 추출된 바운딩 박스를 기 저장 또는 추출된 적재 항목의 바운딩 박스와 비교하여 비유사도를 산출할 수 있다. 냉장고 제어 장치는 추출된 바운딩 박스를 이루는 식별 값(기준 좌표, 가로, 세로, 높이)과 적재 항목의 바운딩 박스의 식별 값들을 비교하여 비유사도를 산출할 수 있다. 예를 들어, 추출된 바운딩 박스의 식별 값 및 적재 항목의 바운딩 박스의 식별 값 간의 차이 값을 산출하고, 차이 값과 비례하여 비유사도가 산출할 수 있다. 비유사도는 0으로 수렴할수록 바운딩 박스 간에 유사하다고 볼 수 있다.

S520에서는 냉장고 제어 장치는 바운딩 박스 간의 비유사도가 제3 임계값 미만인지 여부를 판단한다. 즉, 비유사도가 낮다는 것, 제3 임계값 미만이라는 것은 바운딩 박스 간에 유사하다는 것을 의미할 수 있다. S530에서는 바운딩 박스 간의 비유사도가 제3 임계값 미만인 경우, 냉장고 제어 장치는 바운딩 박스의 상태를 하적으로 결정할 수 있다. S540에서는 바운딩 박스 간의 비유사도가 제3 임계값 이상인 경우, 냉장고 제어 장치는 바운딩 박스의 상태를 적재로 결정할 수 있다. S530 및 S540에서는 하적 또는 적재를 확증하는 과정이 추가적으로 더 수행될 수 있다. 본 발명의 실시예들에 따른 냉장고 제어 장치는 비유사도 뿐만 아니라 현재 프레임 및 이전 프레임 내의 대응 픽셀 간의 컬러값들의 차이의 평균값들의 합계를 픽셀수로 나눈 차분값의 평균을 기초로 상태 변화가 하적 또는 적재 인지 여부를 판단할 수 있다. 현재 프레임 및 이전 프레임 내의 대응 픽셀 간의 컬러값들의 차이의 평균값들의 합계를 픽셀수로 나눈 차분값이 기 설정된 제4 임계값 미만인 경우, 상태 변화는 하적으로 판단되고, 그렇지 않은 경우, 상태 변화는 적재로 판단될 수 있다.

도 6 및 도 7은 상태 변화가 감지된 경우의 처리 과정을 설명하기 위한 도면이다.

S610에서는 하적의 상태 변화가 감지된 경우, 냉장고의 제어 장치는 하적된 개체를 개체 리스트에서 삭제할 수 있다. 또한, 냉장고의 제어 장치는 저장 매체(118)에 저장된 하적된 개체에 대한 바운딩 박스를 검색하여 삭제할 수 있다.

S620에서는 냉장고의 제어 장치는 하적된 개체에 대한 메시지를 제공할 수 있다. ‘OO이 하적되었습니다.’와 같은 알림 메시지가 사용자 단말기 또는 냉장고의 출력부를 통해 출력될 수 있다. 알림 메시지는 하적 사실이 잘못 감지된 것으로 판단되는 경우, 이를 수정할 수 있는 아이콘을 포함할 수 있다. 수정할 수 있는 아이콘이 선택되는 입력이 수신되면, 하적된 개체가 개체 리스트에서 삭제되지 않고, 해당 개체의 바운딩 박스 역시 삭제되지 않도록 제어할 수 있다.

도 7에 도시된 바와 같이, S710에서는 적재의 상태 변화가 감지된 경우, 냉장고의 제어 장치는 적재된 개체를 사전 훈련된 데이터베이스를 이용하여 검색할 수 있다. 개체의 형태, 색상, 크기 등을 현재 프레임 및 바운딩 박스를 기초로 결정하고, 해당 개체의 형태, 색상, 크기에 따른 개체의 명칭을 검색할 수 있다. 식품의 형태는 다양하게 변형될 수 있기 때문에 냉장고의 제어 장치는 1차적으로는 색상을 기준으로 개체를 포함하는 명칭 그룹, 집합을 결정할 수 있다. 명칭 그룹, 집합 내의 정확한 명칭을 결정하기 위해서, 개체의 형태, 크기 등이 활용될 수 있다.

S720에서는 냉장고의 제어 장치는 데이터베이스를 활용하여 검색된 개체의 명칭을 기초로 개체의 권장 사용 제한일을 결정할 수 있다. 이때, 권장 사용 제한일은 개체의 명칭 뿐만 아니라 개체의 상태(신선도, 익은 정도 등)에 따라 조절될 수 있다. 냉장고의 제어 장치는 현재 시점을 개체의 적재 일시로 판단할 수 있다. 적재 일시를 기준으로 권장 사용 제한일이 계산될 수 있다.

S730에서는 냉장고의 제어 장치는 개체의 명칭, 적재 일시, 권장 사용 제한일을 포함하는 메시지를 생성할 수 있다. 개체의 명칭, 적재 일시, 권장 사용 제한일은 개체 리스트에 저장될 수 있다. 또한, 개체에 대한 바운딩 박스는 개체 리스트 내의 위치와 연결되어, 저장 매체에 저장될 수 있다.

본 실시예에 따르면, 메시지는 적재 리스트에 포함된 각 개체의 부패 여부, 부패 정도 정보를 포함할 수 있다. 즉, 이는 각 개체의 권장 사용 제한일을 이용하여 결정될 수 있다. 알림을 원치 않는 사용자는 메시지의 하단에 존재하는 알림 중지 아이콘을 선택함으로써, 메시지의 수신을 중지 시킬 수 있다.

본 실시예에 따른 냉장고의 제어 장치는 네트워크로 연결된 사용자 단말기로부터 수신된 요청에 따라 적재 리스트를 생성하여 제공할 수 있다. 사용자는 외부의 장소에 있으면서도 냉장고에 있는 식품들을 확인할 수 있게 된다.

도 8은 개체를 검색하는 과정(S710)의 동작을 상세히 표현하는 흐름도이다.

개체를 검색하는 과정(S710)은 바운딩 박스를 수신하는 단계(S711), 바운딩 박스를 다운 사이징 하는 단계(S712), 다운 사이즈된 복수의 이미지들을 연결한 맵을 생성하는 단계(S713), 맵에 포함된 각 이미지의 형식을 변환한 변환 맵을 생성하는 단계(S714), 변환 맵 또는 맵의 n 번째에 위치한 이미지와 유사한 이미지를 개체 데이터 베이스에서 검색하는 단계(S715), 제1 명칭이 복수인지 여부를 판단하는 단계(S716), 바운딩 박스에 포함된 개체의 명칭을 제1 명칭으로 결정하는 단계(S718)을 포함할 수 있다.

S711에서는 냉장고 제어 장치는 적재된 개체를 포함하는 바운딩 박스를 수신한다. S712에서 냉장고 제어 장치는 개체를 포함하는 바운딩 박스의 크기가 2x2가 될 때까지 개체를 포함한 바운딩 박스를 다운사이징 한다. S713에서는 냉장고 제어 장치는 바운딩 박스를 다운사이징 함에 따라 생성된 복수의 이미지들을 크기 순서로 배열한 맵을 생성한다. 만약, 바운딩 박스의 가로 및 세로 길이가 1대1이 아니라면, 바운딩 박스를 정사각형화하는 작업이 선행적으로 필요할 수 있다.

S714에서는 냉장고 제어 장치는 상기 맵에 포함된 각 이미지를 변환한 후, 변환된 이미지들로 구성된 변환 맵을 생성한다. 냉장고 제어 장치는 각 이미지를 표현하는 색상 정보, 경계선 정보, 밝기 정보 중 적어도 하나의 정보를 표현하도록 변환할 수 있다. 예를 들어, 냉장고 제어 장치는 개체의 경계선 정보를 표현하도록 이미지를 변환할 수 있다.

S715에서는 냉장고 제어 장치는 변환 맵의 n 번째에 위치한 이미지와 유사한 이미지를 개체 데이터 베이스에서 검색할 수 있다. 냉장고 제어 장치는 n 번째에 위치한 이미지와 유사한 이미지를 개체 데이터베이스의 동일 사이즈를 가지는 이미지들 중에서 검색한다. 냉장고 제어 장치는 검색된 이미지의 명칭을 제1 명칭으로 결정한다. 냉장고 제어 장치는 이미지의 각 픽셀의 관계값들을 기초로 유사한 이미지를 검색할 수 있다. 예를 들어, 냉장고 제어 장치는 각 픽셀과 각 픽셀의 주변 픽셀 사이의 특징값들의 차이값을 기초로 유사한 이미지를 검색할 수 있다. 이때, 냉장고 제어 장치는 제1 이미지에 포함된 각 픽셀들 사이의 특징값들의 차이값들을 배열한 매트릭스와 유사하게 배열된 차이값들을 포함한 이미지를 유사한 이미지로 검색할 수 있다.

S716에서는 냉장고 제어 장치는 제1 명칭이 복수인지 판단할 수 있다.

S717에서는 냉장고 제어 장치는 제1 명칭이 복수인 경우, 변환 맵의 n-1 번째에 위치한 이미지와 개체 데이터 베이스에 위치한 이미지의 자식 이미지를 비교한다. 냉장고 제어 장치는 상기 자식 이미지의 명칭을 제1 명칭으로 결정한다. S718에서는 냉장고 제어 장치는 제1 명칭이 단수인 경우, 제1 명칭을 출력한다.

다른 실시예에서, 바운딩 박스에 포함된 개체의 명칭이 특정되지 않는 경우, 냉장고 제어 장치는 개체와 대응되는 이미지의 포괄적 명칭을 개체의 명칭으로 결정할 수 있다.

도 9는 본 발명의 실시예들에 따른 냉장고 제어 장치를 포함하는 냉장고(100)의 일 예를 나타내는 도면이다.

냉장고의 제어 장치(110)는 센서부(120), 촬상 장치(130), 입력부(140), 출력부(150)와 전기적으로 연결될 수 있다. 센서부(120), 촬상 장치(130), 입력부(140), 출력부(150) 중 적어도 하나는 냉장고에 포함되기도 하고 냉장고와 전기적으로 연결될 수 있다.

센서부(120)는 냉장고의 도어의 개폐 여부, 또는 사물의 근접 여부를 센싱하는 기능을 수행한다. 센서부(200)에 의해 냉장고의 도어의 개폐 여부가 감지되면, 냉장고의 제어 장치는 냉장고 내에 발생한 상태 변화에 대해서 결정하는 과정을 수행할 수 있다. 센서부(120)에 의해 냉장고에 근접하는 사용자를 감지하게 되면, 냉장고의 제어 장치는 냉장고 내의 상태, 즉 적재 리스트를 출력부(150)를 통해 출력하도록 제어할 수 있다.

촬상 장치(130)는 냉장고의 내부에 장착되어 내부 영상을 촬영하는 기능을 수행한다. 카메라 일 수 있으나, 실시 예가 이에 한정되는 것은 아니다. 냉장고의 내부의 상태, 상태의 변화를 확인하기 위해서 복수의 지점 즉 좌측, 우측, 후측에 촬상 장치(130)가 장착되어 있다. 각 촬상 장치(130)로부터 획득된 현재 프레임은 촬상 장치 별로 관리 될 수 있다. 촬상 장치(130)는 냉장고의 분할 구역 각각을 촬영할 수 있다. 냉장고에 포함된 복수의 분할 구역들을

입력부(140)는 사용자로부터의 요청을 입력하는 수단으로서, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

출력부(150)는 하적 또는 적재로 판단된 경우, 냉장고의 상태 변화 및 적재 리스트와 관련된 메시지를 제공하는 수단으로서, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.

도 10은 본 발명의 실시예들에 따른 냉장고 제어 시스템을 설명하기 위한 도면이다.

본 발명의 실시예들에 따른 냉장고 제어 시스템은 냉장고 제어 장치를 포함하는 냉장고(100), 사용자 단말기(200), 통신망(300)을 포함할 수 있다.

사용자 단말기(200)는 통신망(300)을 통해 수신된 적재 리스트 또는 상태 메시지를 제공하는 기능을 수행할 수 있다. 사용자 단말기(200)에 포함된 출력부를 통해 메시지들이 제공될 수 있다. 유무선 통신 환경에서 웹 서비스를 이용할 수 있는 통신 단말기를 의미한다. 여기서, 사용자 단말기(200)는 사용자의 퍼스널 컴퓨터일 수도 있고, 또는 사용자의 휴대용 단말일 수도 있다.

이를 더욱 상세히 설명하면, 사용자 단말기(200)는 컴퓨터(예를 들면, 데스크톱, 랩톱, 태블릿 등), 미디어 컴퓨팅 플랫폼(예를 들면, 케이블, 위성 셋톱박스, 디지털 비디오 레코더), 핸드헬드 컴퓨팅 디바이스(예를 들면, PDA, 이메일 클라이언트 등), 핸드폰의 임의의 형태, 또는 다른 종류의 컴퓨팅 또는 커뮤니케이션 플랫폼의 임의의 형태를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.

한편, 통신망(300)은 사용자 단말기(200)와 냉장고(100)를 연결하는 역할을 수행한다. 즉, 통신망(300)은 사용자 단말기(200)가 냉장고 제어 장치(110)에 접속한 후 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims

냉장고의 내부 상황을 촬영한 현재 프레임을 수신하는 이미지 획득부;
상기 현재 프레임의 각 픽셀에 대해서 픽셀값을 산출하고, 이전 프레임의 대응 픽셀에 대한 픽셀값과 비교함으로써, 변화 영역을 검출하는 영역 검출부;
상기 변화 영역을 기준으로, 상기 현재 프레임의 각 픽셀의 픽셀값을 제1 값 또는 제2 값으로 변경하는 이분 이미지를 생성하는 이분 이미지 생성부;
상기 이분 이미지 내에 포함된 제1 값으로 설정된 픽셀을 포함하는 바운딩 박스를 추출하는 박스 추출부;
상기 박스 추출부를 통해 추출된 바운딩 박스를 기 저장된 하나 이상의 바운딩 박스와 비교함으로써, 냉장고의 상태 변화를 결정하는 판단부;
상기 판단부를 통해 상태 변화가 적재로 판단된 경우, 상기 바운딩 박스와 대응되며 사이즈를 조절시켜 하나 이상의 이미지를 생성하고, 상기 생성된 이미지들을 제1 순서로 배열한 맵을 형성하고, 누적적으로 수신된 이미지들로 구축된 개체 데이터베이스 및 상기 맵을 비교함으로써, 적재된 개체의 명칭을 추론하는 처리부;를 포함하고,
상기 처리부는
상기 맵에 포함된 이미지들을 기 설정된 알고리즘을 이용하여 변환시켜 변환 맵을 생성하고, 상기 변환 맵의 제1 이미지 및 상기 개체 데이터에서 상기 제1 이미지와 대응되는 사이즈를 가지는 제2 이미지를 비교함으로써, 개체의 명칭을 결정하고,
상기 개체의 명칭이 복수로 획득되는 경우, 상기 맵 및 상기 개체 데이터베이스로부터 추출된 대응 이미지들의 하위 이미지들을 비교하여 적재된 개체의 명칭을 상기 개체 데이터베이스의 하위 이미지의 명칭으로 결정하는 점을 특징으로 하는, 냉장고 제어 장치.
삭제
제1항에 있어서,
상기 판단부는
상기 개체의 명칭을 결정한 이후에, 상기 판단부를 통해 적재된 개체의 명칭, 및 적재 일시를 포함하는 알림 메시지를 생성하여 사용자 단말기로 제공하는, 냉장고 제어 장치.
제어 장치가 냉장고의 내부 상황을 촬영한 현재 프레임을 수신하는 단계;
상기 제어 장치가 상기 현재 프레임의 각 픽셀에 대해서 픽셀값을 산출하고, 이전 프레임의 대응 픽셀에 대한 픽셀값과 비교함으로써, 변화 영역을 검출하는 단계;
상기 제어 장치가 상기 변화 영역을 기준으로, 상기 현재 프레임의 각 픽셀의 픽셀값을 제1 값 또는 제2 값으로 변경하는 이분 이미지를 생성하는 단계;
상기 제어 장치가 상기 이분 이미지 내에 포함된 제1 값으로 설정된 픽셀을 포함하는 바운딩 박스를 추출하는 단계;
상기 제어 장치가 상기 추출된 바운딩 박스를 기 저장된 하나 이상의 바운딩 박스와 비교함으로써, 냉장고의 상태 변화를 결정하는 단계;
상기 상태 변화가 적재로 판단된 경우, 상기 바운딩 박스의 사이즈를 조절시켜 상기 바운딩 박스와 대응되는 하나 이상의 이미지를 생성하고, 상기 생성된 이미지를 제1 순서로 배열한 맵을 형성하고, 누적적으로 수신된 이미지들로 구축된 개체 데이터베이스 및 상기 맵을 비교함으로써, 적재된 개체의 명칭을 추론하는 단계;를 포함하고,
상기 개체의 명칭을 추론하는 단계는
상기 맵에 포함된 이미지들을 기 설정된 알고리즘을 이용하여 변환시켜 변환 맵을 생성하고, 상기 변환 맵의 제1 이미지 및 상기 개체 데이터에서 상기 제1 이미지와 대응되는 사이즈를 가지는 제2 이미지를 비교함으로써, 개체의 명칭을 결정하고,
상기 추론하는 단계 이후에, 상기 개체의 명칭이 복수로 획득되는 경우, 상기 맵 및 상기 개체 데이터베이스로부터 추출된 대응 이미지들의 하위 이미지들을 비교하여 적재된 개체의 명칭을 상기 개체 데이터베이스의 하위 이미지의 명칭으로 결정하는 단계;를 더 포함하는, 냉장고 제어 방법.
삭제
삭제
제4항에 있어서,
상기 개체의 명칭을 결정한 이후에, 상기 적재된 개체의 명칭, 및 적재 일시를 포함하는 알림 메시지를 생성하여 사용자 단말기로 제공하는 단계;를 더 포함하는, 냉장고 제어 방법.
컴퓨터를 이용하여 제4항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.