KR101756620B1

KR101756620B1 - 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법

Info

Publication number: KR101756620B1
Application number: KR1020170015827A
Authority: KR
Inventors: 구영모
Original assignee: 구영모
Priority date: 2017-02-03
Filing date: 2017-02-03
Publication date: 2017-07-12
Also published as: WO2018143550A1

Abstract

본 발명은 냉장고에 수납되는 식품의 포장지에 기재된 인쇄영역을 카메라로 촬영한 영상정보로부터 문자인식을 통해 유통기한을 검출하여 사용자에게 유통기한 정보를 알려줄 수 있고, 냉장고문을 열면 유통기한이 임박하거나 경과한 식품에 대해 알림메시지를 출력하여 사용자에게 알려줄 수 있으며, 원격의 스마트폰앱을 통해 유무선으로 접속하여 냉장고 보관식품을 확인할 수 있도록 하는 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법에 관한 것이다.

Description

냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법{METHOD AND DEVICE FOR ALARMING SHELF LIFE FOR STORAGE-FOOD IN REFRIGERATOR USING CHARACTER RECOGNITION ARTIFICIAL INTELLIGENCE}

본 발명은 냉장고에 수납된 식품의 유통기한을 판단하여 유통기한이 임박하거나 경과한 식품에 대한 정보를 사용자에게 알려 주도록 하는 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법에 관한 것으로, 더욱 상세하게는 냉장고에 수납된 식품의 포장지에 인쇄된 영역을 촬영한 영상정보로부터 문자인식을 통해 유통기한을 검출하여 사용자에게 유통기한 정보를 알려줄 수 있도록 하는 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법에 관한 것이다.

일반적으로 냉장고는 고내 보관식품을 종류나 크기에 따라 효율적으로 수납할 수 있도록 착탈가능한 선반 등을 이용하여 다수의 수납칸으로 구획되어 있다. 또한 최근 가정용 냉장고도 점차 대형화되고 있고, 냉장고 내에는 장기간 보관할 식품이나 수일내 소비할 식품을 대량 구매하여 적재하고 있는 추세에 있어서, 냉장고내에는 다양한 종류의 식품들이 각 수납칸마다 다수 보관되어 사용자가 보관식품에 대한 정보를 다 기억할 수가 없으며, 하나 이상의 냉장고를 사용하는 경우에는 더욱 기억하기가 어렵게 된다.

이에 따라 사용자가 냉장고에 수납되어 있는 식품의 종류나 유통기한 등을 확인하기 위하여 냉장고문을 자주 열게 되면 에너지가 낭비될 뿐만 아니라, 보관 중인 식품이 외기에 자주 노출되어 변질될 수 있으므로 유통기한이 단축될 수 있는 문제점이 있어서, 종래에는 이를 방지하고자 냉장고문의 외측에 터치 스크린 기능을 갖는 표시장치를 설치하여 사용자가 냉장고문을 열고 내부를 확인하지 않고도 냉장고에 보관중인 식품의 종류나 수량, 위치정보, 유통기한 등 식품정보를 손쉽게 확인할 수 있게 하거나, 냉장고내에 카메라를 설치하여 보관식품의 촬영정보를 표시장치를 통하여 표시해 주도록 하는 기술이 제안되어 있다.

그러나 이러한 기능을 수행하기 위해서는 우선적으로 사용자가 냉장고에 보관되는 식품정보를 터치 스크린을 이용하여 입력하여야 하는 번거로움이 발생한다.

또한 카메라가 촬영한 영상이미지는 보관식품의 이미지정보만 디스플레이되어 보관식품의 종류만 확인할 수 있을 뿐 유통기한정보는 사용자가 별도로 입력해 주어야 하는 번거로움이 마찬가지로 발생한다.

한편, 종래 냉장고에서 보관식품의 유통기한을 효율적으로 관리하기 위한 기술로는 카메라 또는 바코드리더를 통해 음식물에 구비된 바코드를 촬영하여 보관식품의 유통기한을 표시해 주도록 하는 기술이 제안되어 있으나, 이는 촬영된 바코드를 식품관리서버로 전송하면 식품관리서버가 바코드를 분석하여 유통기한을 포함하는 식품정보를 생성하여 전송하고, 이를 냉장고가 수신하여 표시하도록 이루어져 있어서, 바코드 스캔영역에 한계가 있고 바코드없이 제조일자나 유통기한이 표시된 식품에 대하여는 유통기한을 확인할 수 없다는 문제점이 있다.

국내공개특허공보 10-2006-0111009 (2006년10월26일 공개) 국내공개특허공보 10-2013-0030526 (2013년03월27일 공개)

본 발명은 상기한 사정을 감안하여 발명한 것으로, 각 수납칸에 수납되는 식품을 촬영한 영상신호로부터 이미지 분석을 통해 제조일자 또는 유통기한을 판단하여 유통기한이 임박하거나 경과한 식품에 대한 정보를 사용자에게 알려 주도록 하는 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법을 제공하는 것을 기술적 과제로 한다.

또한 냉장고문을 열면 유통기한이 임박하거나 경과한 식품에 대해 알림메시지를 출력하도록 된 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법을 제공하는 것을 기술적 과제로 한다.

아울러, 냉장고내 보관식품정보를 유선망 또는 무선망의 인터넷으로 전송하여 사용자가 원격지에서 확인할 수 있도록 된 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법을 제공하는 것을 기술적 과제로 한다.

본 발명의 일 실시예에 따른 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치는,

각 수납칸의 좌측면,우측면 또는 상측면 중 하나 이상의 개소에 설치되어 수납되는 식품을 촬영하여 수납식품 이미지를 획득하는 복수의 카메라; 상기 수납식품 이미지를 분석하여 유통기한을 추출하는 유통기한 추출부; 상기 유통기한 추출부에서 검출된 유통기한을 해당 식품정보와 함께 저장하는 데이터베이스부; 상기 유통기한 추출부를 구비하고, 상기 카메라를 제어하여 수납식품 이미지를 획득한 후 유통기한을 검출하여 데이터베이스부에 저장하도록 제어하는 제어부; 상기 데이터베이스부에 저장된 식품정보 및 유통기한을 사용자에게 디스플레이하도록 냉장고문의 외측면에 설치된 터치스크린;을 포함하여 이루어져 있다.

상기 냉장고문의 열림을 감지하는 도어센서와 경보음을 출력하는 스피커가 설치되어, 상기 제어부는 도어센서를 통해 냉장고문의 열림을 감지하면 데이터베이스부를 검색하여 유통기한이 임박하거나 경과한 식품에 대한 정보를 스피커로 출력하거나 터치스크린에 디스플레이하여 사용자에게 알려주도록 이루어진 것을 특징으로 한다.

상기 제어부에는 인터넷망과 연결되는 유선통신부와 무선통신부가 추가로 설치되어, 원격지에서 접속한 사용자에게 냉장고내 보관식품의 유통기한에 대한 정보를 전송할 수 있도록 된 것을 특징으로 한다.

상기 터치스크린은 사용자의 입력정보에 따라 데이터베이스에 저장된 식품정보를 수정할 수 있도록 이루어진 것을 특징으로 한다.

본 발명에 따른 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법은,

제어부가 냉장고문이 열리는지 여부를 판단하는 단계; 냉장고문 열림을 감지하면 적재/하적 감지모드를 개시하여 각 수납칸에 설치된 카메라를 작동시켜 각 수납칸의 움직임 직전 이미지를 획득하고 움직임이 있는지 여부를 판단하는 움직임 유무 판단 단계; 상기 움직임 유무 판단 단계에서 움직임이 감지된 수납칸의 카메라가 촬영한 움직임 직전 이미지와 움직임 종료후 이미지를 메모리에 임시 저장하는 단계; 상기 움직임 직전 이미지와 움직임 종료후 이미지를 비교하여 움직임감지 전후 차값 이미지를 추출하는 변경영역 이미지 추출 단계; 상기 움직임감지 전후 차값 이미지로부터 중간 밝기 없는 흑백 이원화 이미지인 불투명도 이미지를 생성하는 단계; 상기 불투명도 이미지를 알파채널로 선정하고 상기 변경영역 이미지를 컬러 채널로 선정하는 '컬러+알파 이미지'를 생성하여 임시 메모리에 저장하는 단계; 상기 불투명도 이미지로부터 3차원의 바운딩 박스를 추출하는 바운딩 박스 추출 단계; 상기 3차원 바운딩 박스의 부피가 사전에 설정된 임계점 이상인 경우 적재/하적 여부 판명 단계를 수행하고 임계점 이하인 경우 적재/하적 감지모드로 되돌아가는 단계; 상기 적재/하적 여부 판명 단계에서는 새로이 추출된 상기 3차원 바운딩 박스를 데이터베이스에 기 저장된 바운딩 박스들과 비교하여 각각에 대해 비유사성을 산출하되, 산출된 비유사성 중에서 가장 작은 비유사성이 사전에 설정된 임계점 미만인 비유사성을 갖는 바운딩 박스에 대하여 하적으로 판명하여 데이터베이스의 적재목록에서 삭제하는 한편, 사전에 설정된 임계점 이상이거나 기 저장된 바운딩 박스가 없는 경우 적재로 판명하여 데이터베이스의 적재목록에 추가하도록 이루어진 것을 특징으로 한다.

상기 움직임 유무 판단 단계는 현재 프레임과 직전 프레임의 적색, 녹색, 청색의 화소 차값에 대한 평균을 구하여, 화소차값 평균이 사전에 설정된 임계값을 초과하면 움직임이 있는 것으로 판단하는 것을 특징으로 한다.

상기 바운딩 박스 추출 단계는 상측, 우측, 좌측 카메라가 촬영한 이미지로부터 획득한 각각의 불투명도 이미지에서 2차원 바운딩 박스를 각각 추출하여 각 모서리의 좌표값을 메모리에 임시저장하고, 상기 2차원 바운딩 박스에 대해 합집합 방식으로 연산하여 3차원 바운딩 박스로 변환하는 것을 특징으로 한다.

상기 바운딩 박스 추출 단계에서 2차원 바운딩 박스를 3차원 바운딩 박스로 변환시 상측, 우측, 좌측 카메라가 촬영한 이미지 중에서 가장 좌측으로 돌출된 좌표를 3차원 바운딩 박스의 x좌표로 설정함과 아울러 가장 우측으로 돌출된 좌표를 3차원 바운딩 박스의 x2좌표로 설정하고, 가장 상위로 돌출된 좌표를 3차원 바운딩 박스의 y좌표로 설정함과 아울러 가장 하위로 돌출된 좌표를 3차원 바운딩 박스의 y2좌표로 설정하며, 가장 전면으로 돌출된 좌표를 3차원 바운딩 박스의 z좌표로 설정함과 아울러 가장 후면으로 돌출된 좌표를 3차원 바운딩 박스의 z2좌표로 설정하는 것을 특징으로 한다.

상기 적재/하적 여부 판명 단계에서 비유사성은 3차원 바운딩 박스에 대해 각각의 꼭지점 거리를 합산하여 0에 수렴할수록 유사한 것으로 판단하는 것을 특징으로 한다.

상기 적재/하적 여부 판명 단계에서 적재로 판명되는 경우 '컬러+알파 이미지'로부터 윤곽 추출 알고리듬을 사용해 문자 인쇄부위로 추정되는 영역들을 각각 사각형의 낱자박스로 추출하는 낱자박스 추출단계를 수행하고, 이어 낱자박스 내 인쇄부위를 분석하여 유통기한 추출단계를 수행하는 것을 특징으로 한다.

상기 낱자박스 추출단계 수행결과 낱자박스의 가로폭, 세로높이, 또는 면적이 사전에 설정된 하한임계점 미만이거나 상한임계점을 초과하는 것들은 노이즈 개체로 판단하여 배제하는 것을 특징으로 한다.

상기 낱자박스 추출단계 수행결과 낱자박스의 중심점간 최단거리가 임계점을 초과하는 것들은 노이즈 개체로 판단하여 배제하는 것을 특징으로 한다.

상기 낱자박스 추출단계 수행결과 중심점간 거리를 기준으로 노이즈 개체를 배제하고 남은 낱자박스들에 대하여 사전에 설정된 임계점 미만으로 인접한 낱자박스들을 묶어 그룹박스로 생성한 후 낱자박스가 4개 미만으로 이루어진 그룹박스는 노이즈 개체로 판단하여 배제하는 것을 특징으로 한다.

상기 그룹박스의 가로길이와 세로길이를 비교하여 그룹박스의 방향성이 가로형인지 세로형인지 판단하고, 해당 방향성에 따라 각 그룹박스내 낱자박스들에 대하여 차례로 순번을 지정한 후, 첫번째 순번의 낱자박스부터 마지막 순번의 낱자박스까지 각 낱자박스의 중심점을 직선으로 연결하는 관통선을 추출하며, 추출된 관통선들의 방향각의 평균값을 산출하여, 상기 평균값과 비교하여 사전에 설정된 임계점 이상의 방향각 차이가 나는 낱자박스는 노이즈 개체로 판단하여 배제한다음 낱자박스의 갯수가 4개 미만인 그룹박스는 노이즈 개체로 판단하여 배제하는 방향성 검사를 수행하는 것을 특징으로 한다.

상기 방향성 검사 이후, 그룹박스내 각 낱자박스의 이미지를 관통선각만큼 역회전시켜 수평화된 낱자이미지를 생성하고, OCR 알고리듬을 이용하여 각 낱자박스내 문자를 판독하여 유통기한 추출단계를 수행하는 것을 특징으로 한다.

상기 유통기한 추출단계는 판독된 그룹박스의 문자가 사전에 설정된 8자리의 연월일 패턴, 6자리의 연월일 패턴, 혹은 4자리의 월일 패턴과 부합되는지 여부를 판단하여 유통기한을 추출하는 것을 특징으로 한다.

상기 유통기한 추출단계에서 4자리수의 연도로 표시되거나 2자리수의 연도로 표시되는 상기 연월일 패턴에 부합되는 그룹박스가 1개만 선출될 경우에는 해당 그룹박스에서 추출한 연월일을 적재식품의 유통기한으로 간주하고, 2개 이상 선출될 경우에는 그 중 가장 늦은 날자를 유통기한으로 간주하여 데이터베이스에 저장하는 것을 특징으로 한다.

상기 유통기한 추출단계에서 월일 패턴에 부합되는 그룹박스가 1개만 선출될 경우 해당 날자를 적재식품의 유통기한으로 간주하고, 2개 이상 선출될 경우 추출된 날자들간의 최대 차이값이 6개월 이상인 경우 그 중 값이 가장 작은 날자를 유통기한으로 간주하면서 유통기한의 년도는 당해년도+1로 간주하는 한편, 2개 이상의 그룹박스에서 추출된 날자들간의 최대 차이값이 6개월 미만인 경우 그 중 값이 가장 큰 날자를 유통기한으로 간주하면서 유통기한의 년도는 당해년도로 간주하여 유통기한으로서 데이터베이스에 저장하는 것을 특징으로 한다.

상기 유통기한 추출단계에서 새로이 판독된 유통기한을 데이터베이스에 저장하는 경우 유통기한을 감안하여 해당 식품을 취식 또는 폐기를 알리는 알림메시지를 출력하는 것을 특징으로 한다.

상기 제어부는 유선통신부 혹은 무선통신부를 통하여 접속하는 외부의 단말기로부터 데이터베이스에 저장되어 있는 식품정보의 전송을 요청받으면 문자메시지 또는 '컬러+알파이미지'를 이용한 식품이미지를 전송하는 것을 특징으로 한다.

상기 외부의 단말기는 앱을 통하여 상기 제어부에 접속하여 식품정보의 전송을 요청하는 것을 특징으로 한다.

상기한 본 발명의 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법에 의하면, 사용자의 수조작 없이도 냉장고에서 자체적으로 수납되는 식품의 유통기한을 판명하여 사용자에게 알려줄 수 있으므로 냉장고내 식품의 유통기한 경과에 따른 변질을 방지할 수 있고, 유통기한 입력조작없이도 유통기한의 확인이 가능하여 사용상 편리성이 있으며, 원격지에서도 인터넷망을 통해 냉장고내 보관식품의 유통기한을 확인할 수 있어서 불필요한 구매를 방지할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치에 대한 구성도를 나타낸다.
도 2는 본 발명에 따른 냉장고의 터치스크린 설치상태를 나타내는 도면,
도 3은 본 발명에 따른 냉장고의 각 수납칸의 카메라 설치상태 개요도,
도 4는 본 발명에 따른 인공지능 냉장고의 보관식품 유통기한 알림 방법을 설명하는 흐름도,
도 6은 본 발명에서 적재/하적 감지 동작을 설명하는 도면,
도 7은 본 발명에서 변경된 이미지영역을 추출하는 동작을 설명하는 도면,
도 8은 본 발명에서 불투명도 이미지영역을 추출하는 동작을 설명하는 도면,
도 9는 본 발명에서 '컬러+알파 이미지'를 추출하는 동작을 설명하는 도면,
도 10은 본 발명에서 바운딩 박스를 추출하는 동작을 설명하는 도면,
도 11은 본 발명에서 낱자박스를 추출하는 동작을 설명하는 도면,
도 12는 도 11에서 낱자박스의 가로폭과 세로높이 및 면적을 비교하여 노이즈 개체라고 판단된 이미지를 배제한 상태의 이미지를 나타내는 도면,
도 13은 도 12에서 중심점 거리가 인접하지 않은 이미지를 노이즈 개체라고 판단하여 배제한 상태의 이미지를 나타내는 도면,
도 14는 도 13에서 그룹박스를 추출하는 동작을 설명하는 도면,
도 15는 도 14에서 그룹박스에 포함된 낱자박스가 4개 미만인 그룹박스를 배제한 상태의 이미지를 나타내는 도면,
도 16의 (a)는 그룹박스내 낱자박스의 순번결정예를 나타내는 도면, 도 16의 (b)는 그룹박스내 관통선 추출예를 나타내는 도면, 도 16의 (c)는 관통선각이 임계점을 벗어난 낱자박스를 배제하는 동작을 설명하는 도면, 도 16의 (d)는 관통선각을 기준으로 수평화된 낱자이미지를 추출하는 동작을 설명하는 도면,
도 17은 본 발명에 따라 스마트폰앱을 통해 냉장고내 식품을 확인할 수 있도록 디스플레이하는 동작을 설명하는 도면이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

도 1 내지 도 3은 본 발명의 일 실시예에 따른 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치에 대한 구성도를 나타낸다.

본 발명에 따른 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치에서는 도 3에 도시된 바와 같이 냉장고의 각 수납칸의 전면, 후면, 좌면, 우면, 상면에 수납칸의 내부를 촬영하여 수납식품 이미지를 촬영할 수 있도록 하는 복수의 카메라(20a~20n)가 설치된다. 수납칸의 전면이라 함은 도어의 내측면 또는 별도로 수납칸에 전면에 배치되는 지지체가 될 수 있다. 바람직하기로 수납칸 내부를 촬영하는 카메라는 좌면, 우면, 상면에 설치될 수 있다.

상기 카메라(20a~20n)의 출력측에는 유통기한 추출부(30)가 구비되어, 제어부(10)의 제어에 따라 카메라(20a~20n)에서 획득된 수납식품 이미지를 분석하여 해당 식품의 유통기한을 추출할 수 있도록 되어 있다. 이러한 유통기한 추출부(30)는 별도로 구비될 수도 있지만, 제어부(10)내에 소프트웨어 모듈로서 구비될 수도 있다.

데이터베이스부(40)에는 상기 제어부(10)가 카메라(20a~20n)에서 획득된 수납식품 이미지를 분석한 결과 새로운 식품이 적재된 것으로 판단되면 신규 ID를 발급하여 해당 식품에 대한 유통기한과 함께 식품정보를 저장할 수 있도록 이루어져 있다.

제어부(10)는 상기 카메라(20a~20n)를 제어하여 수납식품 이미지를 획득하고, 내부에 구비되는 유통기한 추출부(30)를 통해 유통기한을 검출하여 해당 식품정보 등과 함께 일련의 정보를 데이터베이스부(40)에 저장하도록 제어하는 역할을 한다.

또한 터치스크린부(50)는 도 2에 도시된 바와 같이 상기 데이터베이스부(40)에 저장된 식품정보 및 유통기한을 디스플레이하여 사용자가 용이하게 확인할 수 있도록 도 2에 도시된 바와 같이 냉장고문의 외측면에 설치될 수 있으며, 아울러 사용자가 터치입력을 통해 데이터베이스부(40)에 저장된 식품정보를 수정 또는 추가할 수 있도록 이루어져 있다.

이와 더불어 제어부(10)에는 냉장고문의 열림을 감지하는 도어센서(60)와 경보음을 출력하는 스피커(70)가 설치되어 있다.

상기 도어센서(60)는 냉장고문의 열림을 감지하여 제어부(10)로 전송하여 제어부(10)가 수납식품의 상태정보를 사용자에게 알려주거나 카메라(20a~20n)들을 작동시켜 각 수납칸에 식품이 적재되거나 하적되는 상태감지를 개시하도록 하고, 상기 스피커(70)는 도어센서(60)에 의해 냉장고문의 열림이 감지되면 제어부(10)가 데이터베이스부(40)를 검색하여 유통기한이 임박하거나 경과한 식품에 대한 정보를 음성신호로 출력하여 사용자에게 알려주는 작용을 한다. 물론 도어열림이 감지될 때 유통기한이 임박하거나 경과한 식품에 대한 정보는 터치스크린부(50)를 통해 디스플레이할 수도 있다.

한편, 상기 제어부(10)에는 인터넷망과 연결되는 유선통신부(80)와 무선통신부(90)가 연결될 수 있다. 상기 유선통신부(80)와 무선통신부(90)는 원격지에서 유무선 단말기를 이용하여 접속한 사용자의 요청에 따라 냉장고내 보관식품 및 유통기한에 대한 정보를 전송하는 작용을 한다.

다음에는 도 4에 의거 본 발명에 따른 인공지능 냉장고의 보관식품 유통기한 알림 방법에 대하여 설명한다.

먼저, 제어부(10)는 도어센서(60)로부터 수신되는 신호를 판단하여 냉장고문이 열리는지 여부를 판단하고, 냉장고문이 열림으로 판단되면 식품이 신규로 적재되거나 하적되는지를 감지하기 위하여 적재/하적 감지모드를 개시한다.

상기 제어부(10)는 적재/하적 감지모드를 개시하면, 냉장고의 각 수납칸에 설치된 카메라(20a~20n)들을 작동시켜 각 수납칸의 움직임전 이미지를 획득하고, 이어 연속적으로 새 프레임을 촬영하여 움직임이 있는지 여부를 판단하는 움직임 유무 판단 단계를 수행한다.

상기 움직임 유무 판단 단계에서는 직전 프레임을 촬영하고나서 프레임간 촬영지연시간만큼 대기한 후 촬영하여 획득한 새 프레임간에 화소값의 변화를 비교하여 변화가 있는 경우 다시 화소값의 변화가 없을 때가지 프레임간 촬영지연시간만큼 대기한 후 촬영하여 새 프레임을 획득하는 동작을 반복하고 화소값의 변화가 없는 마지막 새 프레임 즉 움직임 종료후 이미지를 저장한다.

움직임 유무를 판단하기 위한 화소차값 비교는 다음과 같다.

화소 차값(Difference) =

(|After.R-Before.R|+|After.G-Before.G|+|After.B-Before.B|)/3

차값평균(Avg Difference) =

Sum(Difference)/이미지 화소수(image width*image height)

이때 차값평균(Avg Difference)이 임계점을 초과하면 움직임 감지 상태로 간주한다.

여기서 Before는 직전 프레임, After는 최종 프레임, Sum(Difference)는 화소 차값 전체 합계를 나타내고, R은 적색 화소값, G는 녹색 화소값, B는 청색 화소값을 나타내며, After.R은 움직임 종료후 이미지의 적색 화소값, Before.R은 움직임 직전 이미지의 적색 화소값, After.G는 움직임 종료후 이미지의 녹색 화소값, Before.G는 움직임 직전 이미지의 녹색 화소값, After.B는 움직임 종료후 이미지의 청색 화소값, Before.B는 움직임 직전 이미지의 청색 화소값을 나타낸다.

도 6의 (a)는 냉장고문을 연 초기상태에 어떤 수납칸에 제1식품(101)이 저장되어 있고 움직임이 없는 상태에서 촬영한 움직임 직전 이미지의 예를 나타내고, 도 6의 (b)는 해당 수납칸에 제2식품(102)을 수납함에 따라 움직임이 발생하고 있는 동안 촬영한 움직임 감지 중의 이미지 예를 나타내며, 도 6의 (c)는 해당 수납칸에 제2식품(102)이 수납된 후 프레임간 촬영지연시간동안 움직임이 없다고 판단되었을 때 촬영한 움직임 종료후 이미지의 예를 나타낸다. 도 6의 (a)에 도시된 바와 같이 해당 수납칸에는 움직임 직전에 좌측에만 식품이 적재되어 있었으나, 도 6의 (c)에 도시된 바와 같이 움직임 감지 이후에는 해당 수납칸의 우측에 다른 식품이 추가로 수납된 상태를 나타낸다.

이와 같은 움직임 유무 판단 단계는 각 수납칸의 카메라에서 획득한 프레임에 대하여 모두 수행한다.

이와 같이 하여 총 촬영된 프레임의 수가 2장 미만이 아니라고 판단된 경우에는 해당 수납칸에 식품을 적재하거나, 해당 수납칸에서 식품을 하적한 것으로 판단하고, 변경된 이미지영역을 추출하는 단계를 수행한다.

도 7은 변경 이미지영역을 추출하는 동작을 설명하는 도면으로, 도 7의 (a)는 움직임 직전 이미지의 예를 나타내고, 도 7의 (b)는 움직임 종료후 이미지의 예를 나타내며, 도 7의 (c)는 차값 이미지를 나타낸다.

제어부(10)는 모든 카메라(20a~20n)라로부터 획득한 움직임 직전 이미지(B)와 움직임 종료후 이미지(C)의 각 화소에 대하여 다음의 화소 차값 공식을 적용해 차값 이미지(D)를 추출해낸다. 만일 움직임 직전 이미지(B)가 존재하지 않을 경우 냉장고가 비어있는 상태에서 촬영한 빈 수납칸 이미지(A)로 대체한다.

화소 차값(Difference) =

(|Before.R-After.R|+|Before.G-After.G|+|Before.B-After.B|)/3

여기서 After.R은 움직임 종료후 이미지의 적색 화소값, Before.R은 움직임 직전 이미지의 적색 화소값, After.G는 움직임 종료후 이미지의 녹색 화소값, Before.G는 움직임 직전 이미지의 녹색 화소값, After.B는 움직임 종료후 이미지의 청색 화소값, Before.B는 움직임 직전 이미지의 청색 화소값을 나타낸다.

도 7에 의거 설명한 바와 같이 움직임 직전 이미지와 움직임 종료후 이미지간의 차값 이미지(D)로부터 도 8에 도시된 바와 같이 중간 밝기 없는 흑백 이원화 이미지인 불투명도 이미지(F)를 생성하는 단계하는 단계를 수행한다.

이때 제어부(10)는 상기 변경 이미지영역 추출단계에서 추출된 차값 이미지(D)를 보완하여 중간 밝기 없는 완전한 흑과 백으로 이루어진 불투명도 이미지(F)를 생성한다. 이러한 과정은 각각의 카메라에 의해 촬영된 이미지에 대하여 수행한다.

이후 제어부(10)는 상기 불투명도 이미지(F)를 알파채널로 선정하고 상기 변경 이미지영역으로 추출한 이미지를 컬러 채널로 선정하는 '컬러+알파 이미지'(G)를 생성하여 임시 메모리에 저장한다. 도 9의 (a)는 움직임 종료후 이미지를 나타내고, 도 9의 (b)는 불투명도 이미지를 나타내며, 도 9의 (c)는 '컬러+알파 이미지'(G)를 나타낸다.

한편, 도 8에 따른 불투명도 이미지 생성단계에서 생성한 불투명도 이미지로부터 도 10에 도시한 바와 같이 3차원의 신규 바운딩 박스를 추출하기 위해 2차원 바운딩 박스 추출 단계를 수행한다.

도 10은 2차원 바운딩 박스 추출 단계를 설명하는 도면으로, 각 수납칸의 상측, 우측, 좌측에 설치된 카메라가 촬영한 이미지로부터 획득한 각각의 불투명도 이미지에서 2차원 바운딩 박스를 각각 추출한다.

이때 도 10의 (b)에 도시된 바와 같이, 불투명도 이미지(F)로부터 2차원 바운딩 박스(H)를 추출하여 각 모서리의 좌표값(x, x2, y, y2)을 메모리에 임시저장하고, 이 과정을 각 카메라에서 촬영된 이미지에 대해 수행한다.

이후, 제어부(10)는 같은 수납칸에 귀속되는 2개 이상의 카메라가 촬영한 이미지로부터 산출된 2차원 바운딩 박스(H)를 3차원 바운딩 박스로 변환한다. 이 때 각 2차원 바운딩 박스간의 불일치 영역은 합집합(U)의 방식으로 한다. 이는 다른 물체에 가려졌을 수도 있는 영역을 최대한 복구하기 위함이다. 변환방법의 일예는 다음과 같다.

상측, 우측, 좌측 3개의 카메라에서 촬영한 이미지로부터 추출된 각각의 2차원 바운딩박스 중 가장 전면으로 돌출된 좌표를 선택하여 3차원 바운딩박스의 z좌표로 사용하고, 가장 후면으로 돌출된 좌표를 선택하여 3차원 바운딩박스의 z2좌표로 사용한다.

또한, 우측, 좌측 2개의 카메라에서 촬영한 이미지로부터 추출된 각각의 2차원 바운딩박스 중 가장 상위로 돌출된 좌표를 선택하여 3차원 바운딩 박스의 y좌표로 사용하고, 가장 하위로 돌출된 좌표를 선택하여 3차원 바운딩 박스의 y2 좌표로 사용한다.

이와 같이 각각의 수납칸에 대하여 3차원 바운딩 박스를 추출한 후, 이 중 부피가 가장 큰 것을 유효 3차원 바운딩 박스로 선정하여 메모리에 임시저장한다.

아울러, 유효 3차원 바운딩 박스를 저장한 수납칸을 적재 또는 하적이 발생한 수납칸으로 임시판단한다.

제어부(10)는 유효 3차원 바운딩 박스의 부피가 사전에 설정된 임계점 이상인 경우 해당 유효 3차원 바운딩 박스가 해당 수납칸에서 식품의 적재에 의해 생성된 것인지 하적에 의해 생성된 것이지 판명하는 과정을 수행한다. 그리고 부피가 임계점 미만인 경우 적재 또는 하적의 변화가 일어나지 않은 것으로 간주하여 초기의 적재/하적 감지모드로 다시 되돌아간다.

다음에는 상기 단계에서 산출된 신규 유효 3차원 바운딩 박스를 이용하여 적재 또는 하적 여부를 판명하는 동작에 대하여 설명한다.

먼저 신규 유효 3차원 바운딩 박스를 기존 데이터베이스(40)에 저장되어 있는 적재항목의 3차원 바운딩박스와 비교하여 적재인지 하적인지 여부를 판단하게 되며, 이때 데이터베이스(40)의 적재항목에 포함되어 있지 않다고 판단되면 적재로 간주하고 곧바로 후술의 유통기한 추출단계를 수행한다.

그러나 데이터베이스(40)의 적재항목에 3차원 바운딩 박스들이 포함되어 있는 것으로 판단되면, 데이터베이스(40)의 적재항목에 포함된 3차원 바운딩 박스들 각각에 대하여 신규 유효 3차원 바운딩 박스와의 비유사성을 판단한다.

비유사성은 비교대상의 2개의 3차원 바운딩 박스에 대하여 꼭지점 두개의 거리의 합을 검사함으로서 두개의 3차원 바운딩박스의 위치 및 부피가 얼마나 일치하는지를 수치적으로 판단하며, 이에 따른 비유사성의 판단예를 나타내는 수식은 아래와 같다.

비유사성(0에 수렴할수록 유사) =

length(H.xyz-OH.xyz)+length(H.xyz2-OH.xyz2)

여기서 length(H.xyz-OH.xyz)는 제1 꼭지점간의 거리, length(H.xyz2-OH.xyz2)는 제2 꼭지점간의 거리를 나타낸다.

제어부(10)는 위와 같은 방법으로 데이터베이스(40)에 저장되어 있는 적재항목들에 대해 각각 비유사성값을 산출한 다음에 가장 작은 비유사성값인 최소 비유사성값을 추출한다.

상기 최소 비유사성값이 임계점 미만인 경우 하적으로 판명하고, 그에 따라 데이터베이스(40)의 적재 항목중 해당되는 개체에 대한 적재항목(예컨대, '컬러+알파 이미지', 3차원 바운딩 박스, 적재일시)을 데이터베이스(40)에서 삭제하고, 스피커(70)를 통해 음성으로 출력하거나 터치스크린부(50)를 통해 디스플레이하여 사용자에게 알리고, 초기의 적재/하적 감지 모드로 돌아간다.

그러나 상기 최소 비유사성값이 임계점을 초과하는 경우 최종적으로 적재인지 여부를 확증하는 적재여부 최종 확증단계를 수행한다.

적재여부 최종 확증단계에서는 '컬러+알파 이미지'와 냉장고가 비어 있는 상태에서 촬영한 빈 수납칸 이미지를 다음과 같이 비교하여 최종적으로 적재인지 여부를 판단한다.

화소 차값(Difference) =

(|G.Red-A.Red|+|G.Green-A.Green|+|G.Blue-A.Blue|)/3 * G.Alpha / 255

차값평균(Avg Difference) =

Sum(Difference)/이미지 화소수(image width*image height)

이때 각 카메라에서 촬영한 이미지에 대해 상기와 같은 비교를 하다가 차값평균이 임계점 미만일 경우 하적으로 판명하고, 하적 판명이 나지 않는 경우 적재로 확증하여 해당 개체의 적재정보(예컨대, '컬러+알파 이미지',3차원 바운딩 박스, 적재일시)를 데이터베이스(40)에 저장하고 후술의 유통기한 추출단계를 수행한다.

다음에는 유통기한 추출단계에 대해 설명한다.

제어부(10)는 도 11에 도시된 바와 같이 신규 적재되는 식품의 '컬러+알파 이미지'로부터 윤곽 추출 알고리듬을 사용해 문자 인쇄부위로 추정되는 다수의 영역들을 사각형의 형태로 추출해낸다. 이하에서는 사각형 형태로 추출된 영역을 '낱자박스'라 칭한다. 도면에서 낱자박스는 녹색 사각형으로 표시되어 있다.

상기와 같이 추출된 낱자박스(BX1 ~ BXn)들 중에서 가로폭이 사전에 설정된 하한임계점 미만이거나 상한임계점을 초과하는 것들은 배제한다. 이는 감지된 낱자박스(BX1 ~ BXn)들 중 유통기한 라벨에 해당될 가능성이 희박한 '노이즈 개체'를 배제하기 위함이다.

또, 상기와 같이 추출된 낱자박스(BX1 ~ BXn)들 중에서 세로높이가 사전에 설정된 하한임계점 미만이거나 상한임계점을 초과하는 것들도 배제한다. 이는 마찬가지로 감지된 낱자박스(BX1 ~ BXn)들 중 유통기한 라벨에 해당될 가능성이 희박한 '노이즈 개체'를 배제하기 위함이다.

또한, 상기와 같이 추출된 낱자박스(BX1 ~ BXn)들 중에서 면적이 사전에 설정된 하한임계점 미만이거나 상한임계점을 초과하는 것들은 배제한다. 이또한 감지된 영역들 중 유통기한 라벨에 해당될 가능성이 희박한 '노이즈 개체'를 배제하기 위함이다. 도 12는 상기와 같이 추출된 낱자박스(BX1 ~ BXn)들 중에서 낱자박스의 가로폭과 세로높이 및 면적이 사전에 설정된 각 임계점을 벗어나 '노이즈 개체'라고 판단된 이미지를 배제한 상태의 이미지를 나타낸다.

상기와 같이 추출된 낱자박스(BX1 ~ BXn)들 중에서 다른 낱자박스와 중심점 거리가 인접하지 않은 홀로 동떨어진 것들 즉 중심점거리가 임계점을 초과하는 것들은 배제한다. 중심점거리의 임계점은 사전에 설정되어 있다. 이또한 감지된 영역들 중 유통기한 라벨에 해당될 가능성이 희박한 '노이즈 개체'를 배제하기 위함이다(도 13 참조).

이후, 도 14에 도시된 바와 같이 임계점 미만으로 인접한 개체들끼리 둘러싸는 합집합의 그룹박스를 생성한다. 그룹박스는 자신이 포함하는 낱자박스에 대한 정보를 데이터 구조적으로 포함하고 있다.

상기 그룹박스들 중 도 15와 같이 그룹박스에 포함된 낱자박스가 4개 미만인 것은 배제한다. 이는 감지된 영역들 중 유통기한 라벨에 해당될 가능성이 희박한 '노이즈 개체'를 배제하기 위함이다.

이와 같이 낱자박스의 크기 및 그룹박스에 포함된 낱자박스의 수량을 판단하여 '노이즈 개체'라고 판단된 낱자박스 및 그룹박스를 제거하고 남은 각 그룹박스들에 대하여 각 그룹박스마다 각 그룹박스 내에서 낱자박스의 순번을 결정한다. 낱자박스의 순번을 결정할 때 예컨대, 그룹박스의 가로가 세로보다 넓은 가로형일 경우 각 낱자박스의 x좌표값이 작은 것부터 순번이 결정되고, 그룹박스의 세로가 가로보다 큰 세로형일 경우 낱자박스의 y좌표값이 작은 것부터 순번이 결정될 수 있다.

도 16의 (a)는 그룹박스내 낱자박스의 순번결정예를 나타내는 도면으로, 2,0,1,6,1,1,1,0 이라는 8개의 낱자박스로 이루어지는 가로형 그룹박스에서 x좌표값이 작은 좌측부터 우측으로 차례로 1부터 8까지 순번을 지정하고 있다.

그룹박스내 낱자박스의 순번이 결정된 그룹박스에 대하여는 도 16의 (b)와 같이 그룹박스내 첫번째 낱자박스의 중심선과 마지막 낱자박스의 각 중심점을 직선으로 연결하는 관통선을 추출하는 단계를 수행한다.

이어, 도 16의 (c)에 도시된 바와 같이 글자의 방향성에 위배되는 낱자박스를 찾아내 배제하는 방향성 검사단계를 수행한다. 이는 하나의 그룹박스내 모든 관통선의 방향각의 평균값을 산출한 후, 상기 평균값을 갖는 관통선과 사전에 설정된 임계점 이상의 방향각 차이가 있는 낱자박스를 배제하는 단계이다. 이에 따라 일부 낱자박스의 배제가 발생할 경우 상기 관통선 추출단계를 수행한 후 방향성을 검사하는 단계를 반복 수행한다.

상기와 같은 방향성 검사 단계를 거친 그룹박스 중 낱자박스의 갯수가 4개 미만인 그룹박스는 배제한다.

그리고 도 16의 (d)에 도시된 바와 같이 그룹박스내 각각의 낱자박스 영역의 이미지를 관통선각만큼 역회전시킴으로서 수평화된 낱자 이미지들을 생성한다. 그러나 그룹박스가 세로방향인 경우 시계방향 또는 반시계방향으로 90도만큼 추가로 회전시킨다. 도 16의 (d)는 관통선각과 회전각간의 관계를 나타냄과 아울러, 역회전 전의 원본이미지와 역회전 후 수평화된 낱자이미지의 일례를 나타낸다.

위와 같이 관통선각을 기준으로 수평화한 낱자이미지에 대하여 정방향 순번대로 OCR(Optical Character Recognition) 알고리듬을 이용하여 문자를 판독한다. 또 모든 수평화된 낱자이미지를 180도 회전시킨 후 역방향 순번대로 한번 더 OCR 알고리듬을 이용하여 문자를 판독한다.

그룹박스의 정방향 혹은 180도 회전방향의 OCR판독 결과 문장의 전체 혹은 중간이 예컨대 연도가 4자리인 다음의 연월일 패턴중 하나에 부합되는 그룹박스를 선출한다.

[연월일 패턴 일예]

20YY-MM-DD, 20YY.MM.DD, 20YY/MM/DD, 20YY MM DD, 20YYMMDD

여기서 YY는 연도의 뒤 두자리를 나타내는 문자로서, 예컨대 16부터 99사이의 숫자인 경우만 유효처리하여 최근에 유통기한이 경과하였는지 혹은 유통기한이 아직 도래하지 않았는지 여부를 판단할 수 있도록 하고, MM은 월의 두자리를 나타내는 문자로서, 예컨대 1 혹은 01 부터 12사이의 숫자인 경우만 유효처리하며, DD은 일의 두자리를 나타내는 문자로서, 예컨대 1 혹은 01 부터 31사이의 숫자인 경우만 유효처리한다.

만일 위와 같이 4자리수의 연도로 표시되는 상기 연월일 패턴에 부합되는 그룹박스가 1개만 선출될 경우에는 해당 그룹박스에서 추출한 연월일을 적재식품의 유통기한으로 간주하고, 2개 이상 선출될 경우에는 그 중 가장 늦은 날자를 유통기한으로 간주한다. 하지만, 선출된 그룹박스가 없는 경우 재검사하여, 예컨대 연도가 2자리인 다음의 연월일 패턴중 하나에 부합되는 그룹박스를 선출한다.

[연월일 패턴 다른 예]

YY-MM-DD, YY.MM.DD, YY/MM/DD, YY MM DD, YYMMDD

여기서 YY는 연도, MM은 월, DD는 일을 나타내는 문자로서, 유효처리방법은 연도가 4자리인 경우와 동일하다.

이와 같이 2자리수의 연도로 표시되는 위 연월일 패턴에 부합되는 그룹박스가 1개만 선출될 경우에는 해당 그룹박스에서 추출한 연월일을 적재식품의 유통기한으로 간주하고, 2개 이상 선출될 경우에는 그 중 가장 늦은 날자를 유통기한으로 간주한다. 하지만, 위 연월일 패턴에 부합되는 그룹박스가 없고 추출된 숫자가 4자리수인 그룹박스가 있는 경우, 예컨대 연도없이 월일만 표시되는 다음의 월일 패턴중 하나에 부합되는 그룹박스를 선출한다.

[월일 패턴 예]

MM-DD, MM.DD, MM/DD, MM DD, MMDD

여기서 MM은 월, DD는 일을 나타내는 문자로서, 유효처리방법은 연월일 패턴 검사예와 동일하다.

위 월일 조건(4자리 숫자)에 부합되는 그룹박스가 선출될 경우 적재식품을 단기 유통 식품으로 간주하여 다음의 과정을 수행한다.

예컨대, MMDD 패턴에 부합되는 그룹박스가 1개만 선출될 경우, 해당 날자를 적재식품의 유통기한으로 간주한다. 이때, 현재시각이 12월이고 유통기한이 1월인 경우 유통기한의 년도는 당해 연도+1로, 그렇지 않은 경우 당해 연도로 간주하여 데이터베이스(40)에 기억한다.

그러나, MMDD 패턴에 부합되는 그룹박스가 2개 이상 선출될 경우, 수평으로 인접하여 나란히 위치한 그룹박스 둘이 있을 경우 우측의 그룹박스는 시분각(HHMM)의 정보로 간주하여 배제한다. 해당 그룹박스의 낱자이미지 검사에 180도 회전 이력이 있다면 우측이 아닌 좌측의 그룹박스를 배제한다. 최종적으로 남은 그룹박스가 1개인 경우 위 MMDD 패턴에 부합되는 패턴의 경우와 동일하게 처리한다.

다음에는 MMDD 패턴에 부합되는 그룹박스가 2개 이상인 경우 유통기한을 판단하는 방법에 대하여 설명한다.

2개 이상의 그룹박스에서 추출된 날자들간의 최대 차이값이 6개월 이상인 경우 그 중 값이 가장 작은 날자를 유통기한으로 간주하도록 이루어져 있는데, 이는 유통기한이 짧은 식품은 연도를 표시하지 않고 월/일만 표시하는 경우가 많기 때문이다. 이 경우 유통기한의 년도는 당해년도+1로 간주하여 데이터베이스(40)에 기억한다. 예컨대, 2개 이상의 그룹박스에서 추출된 날자가 12/29(12월29일)와 01/05(1월5일)인 경우 01/05를 유통기한으로 간주하며, 01/05는 12/29 이 해당하는 해의 다음 해에 도래하는 해의 날자로 간주한다.

2개 이상의 그룹박스에서 추출된 날자들간의 최대 차이값이 6개월 미만인 경우 그 중 값이 가장 큰 날자를 유통기한으로 간주한다. 이 경우 유통기한의 년도는 당해년도로 간주하여 기억한다.

상기와 같이 수납칸에 새로이 식품이 저장된 것으로 판단하고나서 유통기한을 확인하는 과정에서 판독에 실패한 것으로 판단되면 판독실패를 알리는 알림음을 출력하고, 초기의 적재/하적 감지모드로 되돌아간다.

한편, 수납칸에 새로이 식품이 저장된 것으로 판단하고나서 유통기한을 확인하는 과정에서 판독에 성공한 것으로 판단되면, 유통기한 날자에서 현재 날자를 차감하여 남은 유효기간을 일수로 환산하여 예컨대, "180일 내로 드시길 권장합니다"라고 스피커(70)를 통해 음성으로 재생할 수 있다.

유효기간 일수가 많아질 경우 예컨대 편의상 개월수로 환산하여 "12개월 내로 드시길 권장합니다"라고 재생할 수도 있고, 유통기한이 당일인 경우 "오늘 내로 드시길 권장합니다"라고 재생할 수 있으며, 유통기한이 경과한 경우 경고 음성으로서 "유통기한이 지난 식품입니다. 폐기를 권장합니다"라고 재생할 수 있다.

유통기한 판독성공에 따른 안내메시지를 출력하고나서 다시 초기의 적재/하적 감지모드로 되돌아간다.

그러다가 사용자가 냉장고문을 닫으면 식품의 적재/하적을 감지하여 유통기한을 판독하는 동작과 관련된 모든 동작을 종료한다.

나아가, 냉장고에 유선통신부(80) 혹은 무선통신부(90)를 설치하여 유선이나 무선으로 인터넷을 통해 데이터베이스(40)에 저장된 정보를 외부로 전송할 수 있다. 또한 외부에서는 상기 냉장고에 접속하여 데이터베이스(40)의 저장정보를 확인할 수 있는 앱을 스마트폰에 설치하여, 사용자는 어느 장소에서든 스마트폰 앱을 통해 사용자의 냉장고에 적재된 식품들을 확인할 수 있다.

이때 사용자의 스마트폰 앱을 통해 디스플레이되는 정보는 문자정보일 수도 있지만, 도 17에 도시된 바와 같이 앞의 과정에서 추출된 '컬러+알파 이미지' 인 RGBA이미지들을 이용한 식품 이미지를 디스플레이할 수도 있다.

특히, 유통기한이 임박하거나 경과한 식품에 대해서는 차별화된 테투리 색상 혹은 아이콘 등으로 강조하여 인지가 쉽도록 할 수 있다. 이렇게 사용자는 원격으로 유통기한이 임박, 마감된 식품을 쉽게 알 수 있어 식품을 구매할 때 등 유용하게 활용할 수 있다.

또한, 제어부(10)는 주기적으로 데이터베이스(40) 검색을 통하여 적재된 식품들 중에서 유통기한이 임박한 식품에 대해 스피커(70)나 터치스크린부(50)를 통해 음성이나 화면으로 안내할 수 있고, 또한 스마트폰으로 전송하여 사용자에게 알려줄 수 있다.

아울러, 제어부(10)는 유통기한이 경과된 식품에 대하여 반복적으로 음성,화면 및 스마트폰으로 사용자에게 알려줄 수 있으며, 사용자는 터치스크린을 통해 해당 알림기능을 선택 또는 강제 종료할 수 있다.

10 -- 제어부, 20a ~ 20n -- 카메라
30 -- 유통기한 추출부, 40 -- 데이터베이스부,
50 -- 터치스크린부, 60 -- 도어센서,
70 -- 스피커, 80 -- 유선통신부,
90 -- 무선통신부.

Claims

각 수납칸의 좌측면,우측면 또는 상측면 중 하나 이상의 개소에 설치되어 수납되는 식품을 촬영하여 수납식품 이미지를 획득하는 복수의 카메라;
상기 수납식품 이미지를 분석하여 유통기한을 추출하는 유통기한 추출부;
상기 유통기한 추출부에서 검출된 유통기한을 해당 식품정보와 함께 저장하는 데이터베이스부;
상기 유통기한 추출부를 구비하고, 상기 카메라를 제어하여 수납식품 이미지를 획득한 후 유통기한을 검출하여 데이터베이스부에 저장하도록 제어하는 제어부;
상기 데이터베이스부에 저장된 식품정보 및 유통기한을 사용자에게 디스플레이하도록 냉장고문의 외측면에 설치된 터치스크린;을 포함하여 이루어지되, 상기 제어부는,
냉장고문 열림을 감지하면 적재/하적 감지모드를 개시하여 각 수납칸에 설치된 카메라를 작동시켜 각 수납칸의 움직임 직전 이미지를 획득하고 움직임이 있는지 여부를 판단하고,
움직임이 감지된 수납칸의 카메라가 촬영한 움직임 직전 이미지와 움직임 종료후 이미지를 메모리에 임시 저장하며,
상기 움직임 직전 이미지와 움직임 종료후 이미지를 비교하여 움직임감지 전후 차값 이미지를 추출하여 변경영역 이미지를 추출하며,
상기 움직임감지 전후 차값 이미지로부터 중간 밝기 없는 흑백 이원화 이미지인 불투명도 이미지를 생성하며,
상기 불투명도 이미지를 알파채널로 선정하고 상기 변경영역 이미지를 컬러 채널로 선정하는 '컬러+알파 이미지'를 생성하여 임시 메모리에 저장하며,
상기 불투명도 이미지로부터 3차원의 바운딩 박스를 추출하며,
상기 3차원 바운딩 박스의 부피가 사전에 설정된 임계점 이상인 경우 적재/하적 여부를 판명하는 한편 임계점 이하인 경우 적재/하적 감지모드로 되돌아가도록 제어하는 것을 특징으로 하는,
냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치.
제1항에 있어서, 상기 냉장고문의 열림을 감지하는 도어센서와 경보음을 출력하는 스피커가 설치되어, 상기 제어부는 도어센서를 통해 냉장고문의 열림을 감지하면 데이터베이스부를 검색하여 유통기한이 임박하거나 경과한 식품에 대한 정보를 스피커로 출력하거나 터치스크린에 디스플레이하여 사용자에게 알려주도록 이루어진 것을 특징으로 하는 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치.
제1항 또는 제2항에 있어서, 상기 제어부에는 인터넷망과 연결되는 유선통신부와 무선통신부가 추가로 설치되어, 원격지에서 접속한 사용자에게 냉장고내 보관식품의 유통기한에 대한 정보를 전송할 수 있도록 된 것을 특징으로 하는 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치.
제1항에 있어서, 상기 터치스크린은 사용자의 입력정보에 따라 데이터베이스에 저장된 식품정보를 수정할 수 있도록 이루어진 것을 특징으로 하는 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치.
제어부가 냉장고문이 열리는지 여부를 판단하는 단계;
냉장고문 열림을 감지하면 적재/하적 감지모드를 개시하여 각 수납칸에 설치된 카메라를 작동시켜 각 수납칸의 움직임 직전 이미지를 획득하고 움직임이 있는지 여부를 판단하는 움직임 유무 판단 단계;
상기 움직임 유무 판단 단계에서 움직임이 감지된 수납칸의 카메라가 촬영한 움직임 직전 이미지와 움직임 종료후 이미지를 메모리에 임시 저장하는 단계;
상기 움직임 직전 이미지와 움직임 종료후 이미지를 비교하여 움직임감지 전후 차값 이미지를 추출하는 변경영역 이미지 추출 단계;
상기 움직임감지 전후 차값 이미지로부터 중간 밝기 없는 흑백 이원화 이미지인 불투명도 이미지를 생성하는 단계;
상기 불투명도 이미지를 알파채널로 선정하고 상기 변경영역 이미지를 컬러 채널로 선정하는 '컬러+알파 이미지'를 생성하여 임시 메모리에 저장하는 단계;
상기 불투명도 이미지로부터 3차원의 바운딩 박스를 추출하는 바운딩 박스 추출 단계;
상기 3차원 바운딩 박스의 부피가 사전에 설정된 임계점 이상인 경우 적재/하적 여부 판명 단계를 수행하고 임계점 이하인 경우 적재/하적 감지모드로 되돌아가는 단계;
상기 적재/하적 여부 판명 단계에서는 새로이 추출된 상기 3차원 바운딩 박스를 데이터베이스에 기 저장된 바운딩 박스들과 비교하여 각각에 대해 비유사성을 산출하되, 산출된 비유사성 중에서 가장 작은 비유사성이 사전에 설정된 임계점 미만인 비유사성을 갖는 바운딩 박스에 대하여 하적으로 판명하여 데이터베이스의 적재목록에서 삭제하는 한편, 사전에 설정된 임계점 이상이거나 기 저장된 바운딩 박스가 없는 경우 적재로 판명하여 데이터베이스의 적재목록에 추가하도록 이루어진 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제5항에 있어서, 상기 움직임 유무 판단 단계는 현재 프레임과 직전 프레임의 적색, 녹색, 청색의 화소 차값에 대한 평균을 구하여, 화소차값 평균이 사전에 설정된 임계값을 초과하면 움직임이 있는 것으로 판단하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제5항에 있어서, 상기 바운딩 박스 추출 단계는 상측, 우측, 좌측 카메라가 촬영한 이미지로부터 획득한 각각의 불투명도 이미지에서 2차원 바운딩 박스를 각각 추출하여 각 모서리의 좌표값을 메모리에 임시저장하고, 상기 2차원 바운딩 박스에 대해 합집합 방식으로 연산하여 3차원 바운딩 박스로 변환하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제7항에 있어서, 상기 바운딩 박스 추출 단계에서 2차원 바운딩 박스를 3차원 바운딩 박스로 변환시 상측, 우측, 좌측 카메라가 촬영한 이미지 중에서 가장 좌측으로 돌출된 좌표를 3차원 바운딩 박스의 x좌표로 설정함과 아울러 가장 우측으로 돌출된 좌표를 3차원 바운딩 박스의 x2좌표로 설정하고, 가장 상위로 돌출된 좌표를 3차원 바운딩 박스의 y좌표로 설정함과 아울러 가장 하위로 돌출된 좌표를 3차원 바운딩 박스의 y2좌표로 설정하며, 가장 전면으로 돌출된 좌표를 3차원 바운딩 박스의 z좌표로 설정함과 아울러 가장 후면으로 돌출된 좌표를 3차원 바운딩 박스의 z2좌표로 설정하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제5항에 있어서, 상기 적재/하적 여부 판명 단계에서 비유사성은 3차원 바운딩 박스에 대해 각각의 꼭지점 거리를 합산하여 0에 수렴할수록 유사한 것으로 판단하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제9항에 있어서, 상기 적재/하적 여부 판명 단계에서 적재로 판명되는 경우 '컬러+알파 이미지'로부터 윤곽 추출 알고리듬을 사용해 문자 인쇄부위로 추정되는 영역들을 각각 사각형의 낱자박스로 추출하는 낱자박스 추출단계를 수행하고, 이어 낱자박스 내 인쇄부위를 분석하여 유통기한 추출단계를 수행하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제10항에 있어서, 상기 낱자박스 추출단계 수행결과 낱자박스의 가로폭, 세로높이, 또는 면적이 사전에 설정된 하한임계점 미만이거나 상한임계점을 초과하는 것들은 노이즈 개체로 판단하여 배제하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제11항에 있어서, 낱자박스의 가로폭, 세로높이, 또는 면적을 고려한 노이즈 개체 배제 이후, 낱자박스의 중심점간 최단거리가 임계점을 초과하는 것들은 노이즈 개체로 판단하여 배제하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제12항에 있어서, 중심점간 거리를 고려한 노이즈 개체 배제이후, 남은 낱자박스들에 대하여 사전에 설정된 임계점 미만으로 인접한 낱자박스들을 묶어 그룹박스로 생성한 후 낱자박스가 4개 미만으로 이루어진 그룹박스는 노이즈 개체로 판단하여 배제하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제13항에 있어서, 상기 그룹박스의 가로길이와 세로길이를 비교하여 그룹박스의 방향성이 가로형인지 세로형인지 판단하고, 해당 방향성에 따라 각 그룹박스내 낱자박스들에 대하여 차례로 순번을 지정한 후, 첫번째 순번의 낱자박스부터 마지막 순번의 낱자박스까지 각 낱자박스의 중심점을 직선으로 연결하는 관통선을 추출하며, 추출된 관통선들의 방향각의 평균값을 산출하여, 상기 평균값과 비교하여 사전에 설정된 임계점 이상의 방향각 차이가 나는 낱자박스는 노이즈 개체로 판단하여 배제한다음 낱자박스의 갯수가 4개 미만인 그룹박스는 노이즈 개체로 판단하여 배제하는 방향성 검사를 수행하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제14항에 있어서, 상기 방향성 검사 이후, 그룹박스내 각 낱자박스의 이미지를 관통선각만큼 역회전시켜 수평화된 낱자이미지를 생성하고, OCR 알고리듬을 이용하여 각 낱자박스내 문자를 판독하여 유통기한 추출단계를 수행하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제15항에 있어서, 상기 유통기한 추출단계는 판독된 그룹박스의 문자가 사전에 설정된 8자리의 연월일 패턴, 6자리의 연월일 패턴, 혹은 4자리의 월일 패턴과 부합되는지 여부를 판단하여 유통기한을 추출하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제15항에 있어서, 상기 유통기한 추출시 8자리의 연월일 패턴이나 6자리의 연월일 패턴에 부합되는 그룹박스가 1개만 선출될 경우에는 해당 그룹박스에서 추출한 연월일을 적재식품의 유통기한으로 간주하고, 2개 이상 선출될 경우에는 그 중 가장 늦은 날자를 유통기한으로 간주하여 데이터베이스에 저장하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제15항에 있어서, 상기 유통기한 추출시 월일 패턴에 부합되는 그룹박스가 1개만 선출될 경우 해당 날자를 적재식품의 유통기한으로 간주하고, 2개 이상 선출될 경우 추출된 날자들간의 최대 차이값이 6개월 이상인 경우 그 중 값이 가장 작은 날자를 유통기한으로 간주하면서 유통기한의 년도는 당해년도+1로 간주하는 한편, 2개 이상의 그룹박스에서 추출된 날자들간의 최대 차이값이 6개월 미만인 경우 그 중 값이 가장 큰 날자를 유통기한으로 간주하면서 유통기한의 년도는 당해년도로 간주하여 유통기한으로서 데이터베이스에 저장하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제17항 또는 제18항에 있어서, 상기 데이터베이스에 새로이 추출한 유통기한 저장하는 경우 유통기한까지의 일수를 감안하여 해당 식품의 취식 또는 폐기를 알리는 알림메시지를 출력하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제18항에 있어서, 제어부는 유선통신부 혹은 무선통신부를 통하여 접속하는 외부의 단말기로부터 데이터베이스에 저장되어 있는 식품정보의 전송을 요청받으면 문자메시지 또는 '컬러+알파이미지'를 이용한 식품이미지를 전송하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.
제20항에 있어서, 상기 외부의 단말기는 앱을 통하여 상기 제어부에 접속하여 식품정보의 전송을 요청하는 것을 특징으로 하는 냉장고의 인공지능에 의한 보관식품 유통기한 알림방법.