KR20200066705A - 냉장고 및 냉장고 시스템 - Google Patents

냉장고 및 냉장고 시스템 Download PDF

Info

Publication number
KR20200066705A
KR20200066705A KR1020207013804A KR20207013804A KR20200066705A KR 20200066705 A KR20200066705 A KR 20200066705A KR 1020207013804 A KR1020207013804 A KR 1020207013804A KR 20207013804 A KR20207013804 A KR 20207013804A KR 20200066705 A KR20200066705 A KR 20200066705A
Authority
KR
South Korea
Prior art keywords
camera
image
refrigerator
food
storage room
Prior art date
Application number
KR1020207013804A
Other languages
English (en)
Other versions
KR102378032B1 (ko
Inventor
츠요시 우치다
사토시 미네자와
에이지 니이쿠라
요코 이노우에
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20200066705A publication Critical patent/KR20200066705A/ko
Application granted granted Critical
Publication of KR102378032B1 publication Critical patent/KR102378032B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F25D23/028—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72522—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • H04N5/2257—
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/02—Sensors detecting door opening
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

화상의 흐려짐 및 왜곡을 억제하고, 각각의 선반판의 속까지 찍은, 보다 선명한 저장실 화상을 보다 적은 카메라의 수로 얻어지는 냉장고를 제공한다. 이를 위해, 냉장고는, 식품을 수납하는 저장실이 형성된 본체와, 저장실 내에 설치되고, 식품이 재치되는 1 이상의 선반판과, 저장실의 일측을 개폐하는 문과, 문의 내측의 면에 마련되고, 저장실 내의 화상을 촬영하는 카메라(2)와, 카메라(2)를 상하 방향으로 이동시키는 카메라 이동 장치(20)를 구비한다. 카메라 이동 장치(20)는, 이웃하는 선반판끼리의 사이 및 저장실의 상단 내면과 상단 내면에 인접하는 선반판 사이의 각각의 적어도 1개소에서 카메라(2)를 정지시킨다. 카메라(2)는, 카메라 이동 장치(20)가 카메라(2)의 이동을 정지시킬 때마다 촬영한다.

Description

냉장고 및 냉장고 시스템
본 발명은 냉장고 및 냉장고 시스템에 관한 것이다.
냉장고 내의 화상을 검지하는 카메라를 구비한 냉장고에 있어서, 이동 범위의 상단부터 하단으로, 미리 정하여진 일정한 속도로 카메라를 이동시키면서 촬영을 행하는 것이 알려져 있다(예를 들면, 특허 문헌 1 참조).
특허 문헌 1 : 일본 특개2016-148503호 공보
그렇지만, 특허 문헌 1에 나타내는 바와 같은 냉장고에서는, 일정한 속도로 카메라를 이동시키면서 촬영을 행하기 때문에, 촬영된 화상에 흐려짐이 생긴다. 또한, 카메라가 촬영한 타이밍에 따라서는, 촬영된 화상 중, 저장실 내의 선반판상의 식품이 찍혀져 있는 부분이 크게 왜곡되어 버릴 가능성이 있다. 또한, 카메라가 촬영한 타이밍에 따라서는, 선반판의 속에 있는 식품이, 앞쪽의 식품 또는 선반판에 은폐되어 버릴 가능성이 있다. 그리고, 이상의 것으로부터, 얻어진 화상이 화상 인식에 적합하지 않은 것이 되어, 화상 인식에 사용한 경우에, 저장실 내의 수납 상황의 판정 정밀도가 저하되어 버린다.
본 발명은, 이와 같은 과제를 해결하기 위해 이루어진 것이다. 그 목적은, 화상의 흐려짐 및 왜곡을 억제하고, 각각의 선반판의 속까지 찍은, 보다 선명한 저장실 화상을 보다 적은 카메라의 수로 얻을 수 있는 냉장고 및 냉장고 시스템을 얻는 것에 있다.
본 발명에 관한 냉장고는, 식품을 수납하는 저장실이 형성된 본체와, 상기 저장실 내에 설치되고, 식품이 재치되는 1 이상의 선반판과, 상기 저장실의 일측을 개폐하는 문과, 상기 문의 내측의 면에 마련되고, 상기 저장실 내의 화상을 촬영하는 카메라와, 상기 카메라를 상하 방향으로 이동시키는 카메라 이동 장치를 구비하고, 상기 카메라 이동 장치는, 이웃하는 상기 선반판끼리의 사이 및 상기 저장실의 상단 내면과 상기 상단 내면의 옆의 상기 선반판 사이의 각각의 적어도 1개소에서 상기 카메라를 정지시키고, 상기 카메라는, 상기 카메라 이동 장치가 상기 카메라의 이동을 정지시킬 때마다 촬영한다.
본 발명에 관한 냉장고는, 상기한 바와 같이 구성된 냉장고와, 상기 카메라가 촬영한 화상을 송신하는 통신 장치와, 상기 통신 장치와 통신 가능하게 마련되고, 통신 장치가 송신한 상기 카메라가 촬영한 화상을 수신 가능한 단말 장치를 구비한다.
본 발명에 관한 냉장고 및 냉장고 시스템에 의하면, 화상의 흐려짐 및 왜곡을 억제하고, 각각의 선반판의 속까지 찍은 보다 선명한 저장실 화상을 보다 적은 카메라의 수로 얻을 수 있다는 효과를 이룬다.
도 1은 본 발명의 실시의 형태 1에 관한 냉장고의 정면도.
도 2는 본 발명의 실시의 형태 1에 관한 냉장고의 단면도.
도 3은 본 발명의 실시의 형태 1에 관한 냉장고의 카메라 이동 장치의 사시도.
도 4는 본 발명의 실시의 형태 1에 관한 카메라 이동 장치의 주요부를 투시하여 도시하는 확대 사시도.
도 5는 본 발명의 실시의 형태 1에 관한 카메라 이동 장치의 다른 예의 주요부를 투시하여 도시하는 확대 사시도.
도 6은 본 발명의 실시의 형태 1에 관한 카메라 이동 장치의 최하부에서의 움직임을 설명하는 도면.
도 7은 본 발명의 실시의 형태 1에 관한 카메라 이동 장치의 최하부에서의 움직임을 설명하는 도면.
도 8은 본 발명의 실시의 형태 1에 관한 카메라 이동 장치의 최하부에서의 움직임을 설명하는 도면.
도 9는 본 발명의 실시의 형태 1에 관한 냉장고의 저장실 내의 화상의 한 예를 비교례와 함께 도시하는 도면.
도 10은 본 발명의 실시의 형태 1에 관한 냉장고의 시각(A)에서의 저장실 내의 화상의 한 예를 도시하는 도면.
도 11은 본 발명의 실시의 형태 1에 관한 냉장고의 시각(B)에서의 저장실 내의 화상의 한 예를 도시하는 도면.
도 12는 본 발명의 실시의 형태 1에 관한 냉장고의 시각(C)에서의 저장실 내의 화상의 한 예를 도시하는 도면.
도 13은 본 발명의 실시의 형태 1에 관한 냉장고의 시각(D)에서의 저장실 내의 화상의 한 예를 도시하는 도면.
도 14는 본 발명의 실시의 형태 1에 관한 냉장고를 구비한 냉장고 시스템의 구성을 도시하는 도면.
도 15는 본 발명의 실시의 형태 1에 관한 냉장고 시스템의 유저 단말의 표시례를 도시하는 도면.
도 16은 본 발명의 실시의 형태 1에 관한 냉장고 시스템의 유저 단말의 표시례를 도시하는 도면.
도 17은 본 발명의 실시의 형태 1에 관한 냉장고 시스템의 유저 단말의 표시례를 도시하는 도면.
도 18은 본 발명의 실시의 형태 1에 관한 냉장고의 식품 화상 데이터베이스에 기억되는 내용의 한 예를 도시하는 도면.
도 19는 본 발명의 실시의 형태 2에 관한 냉장고의 카메라의 촬영 위치의 한 예를 도시하는 주요부 단면도.
본 발명을 실시하기 위한 형태에 관해 첨부한 도면을 참조하면서 설명한다. 각 도면에서, 동일 또는 상당하는 부분에는 동일한 부호를 붙이고, 중복되는 설명은 적절하게 간략화 또는 생략한다. 또한, 본 발명은 이하의 실시의 형태로 한정되는 일 없이, 본 발명의 취지를 일탈하지 않는 범위에서 여러가지 변형하는 것이 가능하다.
실시의 형태 1.
도 1부터 도 18은 본 발명의 실시의 형태 1에 관한 것으로, 도 1은 냉장고의 정면 도, 도 2는 냉장고의 단면도, 도 3은 냉장고의 카메라 이동 장치의 사시도, 도 4는 카메라 이동 장치의 주요부를 투시하여 도시하는 확대 사시도, 도 5는 카메라 이동 장치의 다른 예의 주요부를 투시하여 도시하는 확대 사시도, 도 6부터 도 8은 카메라 이동 장치의 최하부에서의 움직임을 설명하는 도면, 도 9는 냉장고의 저장실 내의 화상의 한 예를 비교례와 함께 도시하는 도면, 도 10은 냉장고의 시각(A)에서의 저장실 내의 화상의 한 예를 도시하는 도면, 도 11은 냉장고의 시각(B)에서의 저장실 내의 화상의 한 예를 도시하는 도면, 도 12는 냉장고의 시각(C)에서의 저장실 내의 화상의 한 예를 도시하는 도면, 도 13은 냉장고의 시각(D)에서의 저장실 내의 화상의 한 예를 도시하는 도면, 도 14는 냉장고를 구비한 냉장고 시스템의 구성을 도시하는 도면, 도 15부터 도 17은 냉장고 시스템의 유저 단말의 표시례를 도시하는 도면, 도 18은 냉장고의 식품 화상 데이터베이스에 기억되는 내용의 한 예를 도시하는 도면이다.
또한, 각 도면에서는 각 구성 부재의 치수의 관계나 형상 등이 실제의 것과는 다른 경우가 있다. 또한, 명세서 중에서의 각 구성 부재끼리의 위치 관계(예를 들면, 상하 관계 등)는 원칙으로서, 냉동 냉장고를 사용 가능한 상태로 설치한 때의 것이다.
본 발명의 실시의 형태 1에 관한 냉장고는, 도 1에 도시하는 냉장고 본체(1000)를 구비하고 있다. 이 실시의 형태 1에서는 냉장고 본체(1000)에는 냉장실(100), 제빙실(200), 전환실(300), 냉동실(400) 및 야채실(500)이 형성되어 있다. 이들의 냉장실(100), 제빙실(200), 전환실(300), 냉동실(400) 및 야채실(500)은 식품을 수납하는 저장실이다.
이들의 저장실은, 도 1에 도시하는 바와 같이, 위로부터 냉장실(100), 제빙실(200) 및 전환실(300), 냉동실(400), 야채실(500)의 순서로 배치되어 있다. 제빙실(200)과 전환실(300)은, 같은 상하 위치에서 좌우로 나열하여 배치되어 있다. 냉장실(100)의 전면에는, 냉장실(100)을 개폐하는 냉장실문(101)이 마련되어 있다. 냉장실문(101)은, 저장실의 일측을 개폐하는 문의 한 예이다. 또한, 제빙실(200), 전환실(300), 냉동실(400) 및 야채실(500)은, 각각의 전면에 마련된 문과 함께, 냉장고 본체(1000)의 앞쪽측으로 인출할 수 있도록 구성되어 있다.
냉장실문(101)의 전면에는, 조작 패널(1)이 마련되어 있다. 조작 패널(1)은, 패널 표시부(1a)를 구비하고 있다. 패널 표시부(1a)는, 정보를 표시 가능한 본체 표시부이다. 패널 표시부(1a)에는, 예를 들면, 각 저장실의 설정 온도 및 현재의 온도 등의 고내 정보를 표시 가능하다. 패널 표시부(1a)는, 예를 들면 액정 디스플레이 등을 구비하고 있다. 조작 패널(1)은, 예를 들면 터치 패널, 버튼, 스위치 등의 조작부를 구비하고 있다. 유저는, 조작 패널(1)의 조작부를 조작함에 의해, 필요한 정보를 입력할 수 있도록 되어 있다. 또한, 조작 패널(1)의 설치 위치는, 냉장실(100)의 문으로 한하는 것이 아니고, 다른 저장실의 문, 냉장고 본체(1000)의 측면 등이라도 좋다.
도 2에 도시하는 바와 같이, 냉장실(100)은, 전면측(동 도면을 향하여 좌측)을 냉장실문(101)에 의해 막혀 있다. 또한, 도 2에 도시하는 단면도는, 도 1 중의 단면 A-A'에 의한 것이다. 냉장실(100)의 내부에는, 1 이상의 냉장실 선반판(102)이 마련되어 있다. 여기서는, 냉장실 선반판(102)이 복수 마련되어 있는 경우를 예로 들고 있다. 냉장실(100)의 내부는, 이들의 냉장실 선반판(102)에 의해, 상하 방향으로 복수의 공간(선반)으로 구획되어 있다. 냉장실 선반판(102)의 위에는, 식품이 재치된다.
각각의 냉장실 선반판(102)은, 선반판 지지부(103)에 의해, 냉장실(100) 내의 미리 정하여진 위치에서 지지되어 있다. 선반판 지지부(103)는, 냉장실(100)의 측벽 내면부터 냉장실(100)의 내측으로 돌출하여 형성되어 있다. 또한, 하나의 냉장실 선반판(102)의 상하 위치를 변경할 수 있도록 선반판 지지부(103)를 구성하여도 좋다.
최하단의 냉장실 선반판(102)의 하측의 공간은 칠드실(110)이다. 칠드실(110)의 내부에는, 칠드 케이스(111)가 설치되어 있다. 칠드 케이스(111)는, 레일 등의 안내부재(도시 생략)에 따라, 전방으로 인출할 수 있다. 또한, 냉장실문(101)의 내측의 면에는, 도어 포켓(104)이 마련되어 있다. 이 도어 포켓(104)에도 식품을 재치, 수납할 수 있다.
냉장실문(101)의 내측의 면에는, 카메라(2)가 설치되어 있다. 카메라(2)는, 냉장실문(101)의 측에서 저장실(여기서는 냉장실(100))의 내부의 화상을 촬영하고, 저장실 화상으로서 출력한다. 본 발명의 실시의 형태 1에 관한 냉장고 본체(1000)는, 카메라 이동 장치(20)를 구비하고 있다. 카메라 이동 장치(20)는, 카메라(2)를 상하 방향으로 이동시키는 장치이다. 카메라 이동 장치(20)는, 냉장실문(101)의 내측의 면에 마련되어 있다.
카메라 이동 장치(20)는, 카메라(2)를 가동 범위 내에서 상하 방향으로 이동시킨다. 가동 범위는, 미리 설정된 범위이다. 여기서는, 가동 범위의 상단은, 냉장실(100) 내의 상단부이다. 또한, 가동 범위의 하단은, 가장 아래에 있는 도어 포켓(104)의 바로 위의 위치이다.
다음에, 도 3부터 도 5를 참조하면서, 카메라 이동 장치(20)의 구성에 관해 설명한다. 카메라 이동 장치(20)는, 도 3 및 도 4에 도시하는 바와 같이, 스테핑 모터(21), 웜 기어(22), 피니언(23), 래크(24), 가이드부(25) 및 카메라 지지부(28)를 구비하고 있다. 카메라(2)는, 카메라 지지부(28)에 고정되어 있다. 가이드부(25)는, 냉장실문(101)에 고정되어 있다. 카메라 지지부(28)는, 가이드부(25)에 대해 이동 가능하다. 가이드부(25)는, 적어도 전술한 가동 범위에 걸쳐서 상하 방향에 따라 배치되어 있다. 가이드부(25)는, 전술한 가동 범위에 걸치는 카메라(2) 및 카메라 지지부(28)의 이동을 안내한다.
도 4에 도시하는 바와 같이, 카메라 지지부(28)에는, 스테핑 모터(21), 웜 기어(22) 및 피니언(23)이 부착되어 있다. 가이드부(25)에는, 래크(24)가 부착되어 있다. 래크(24)는, 전술한 가동 범위에 걸쳐서 상하 방향에 따라 배치되어 있다. 또한, 가이드부(25)에는, 홈부(29)가 형성되어 있다. 홈부(29)는, 전술한 가동 범위에 걸쳐서 배치되어 있다.
스테핑 모터(21)는, 카메라(2)의 이동을 구동한다. 스테핑 모터(21)의 구동축에는, 웜 기어(22)가 고정되어 있다. 피니언(23)은, 대기어와 소기어가 일체로 구성되어 있다. 피니언(23)의 대기어와 소기어는 회전축이 동일하게 되도록 고정되어 있다. 피니언(23)의 대기어는, 웜 기어(22)와 맞물려 있다. 피니언(23)의 소기어는, 래크(24)와 맞물려 있다.
스테핑 모터(21)에 의해 웜 기어(22)를 회전시키면, 피니언(23)이 회전한다. 래크(24)와 맞물려진 상태의 피니언(23)이 회전함으로써, 피니언(23)의 회전축이 래크(24)에 따라 직선형상으로 이동한다. 피니언(23)의 회전축은, 카메라 지지부(28)에 회전 가능하게 지지되어 있다. 따라서 이와 같은 래크·앤드·피니언 기구에 의해, 카메라 이동 장치(20)는, 스테핑 모터(21)의 회전 운동을 가이드부(25)에 대한 카메라 지지부(28)의 직선 운전으로 변환하고, 냉장실문(101)에 대해 카메라(2)를 상하 방향으로 이동시킨다.
또한, 카메라(2)의 이동량은 스테핑 모터(21)의 회전량에 비례한다. 그리고, 스테핑 모터(21)의 회전량은, 스텝 수를 이용하여 제어할 수 있다. 따라서 카메라 이동 장치(20)는, 스테핑 모터(21)의 스텝 수를 이용하여 카메라(2)의 이동량을 제어할 수 있다.
도 5에 도시하는 것은, 카메라 이동 장치(20)의 구성의 다른 예이다. 이 다른 예에서는, 이송나사 기구에 의해 카메라(2)를 이동시킨다. 이 다른 예에서는, 카메라 이동 장치(20)는, 스테핑 모터(21), 웜 기어(22), 웜 휠(26), 이송나사(27) 및 카메라 지지부(28)를 구비하고 있다.
스테핑 모터(21)의 구동축에는, 웜 기어(22)가 고정되어 있다. 웜 기어(22)에는, 웜 휠(26)이 맞물려 있다. 웜 휠(26)에는, 회전축이 동일하게 되도록 이송나사(27)가 연결되어 있다. 이송나사(27)는, 전술한 가동 범위에 걸쳐서 상하 방향에 따라 배치되어 있다. 이송나사(27)에는, 카메라 지지부(28)가 장착되어 있다. 카메라 지지부(28)에는, 이송나사(27)의 나사산과 계합하는 암나사가 깎여 있다. 카메라 지지부(28)에는 카메라(2)가 고정되어 있다.
스테핑 모터(21)에 의해 웜 기어(22)를 회전시키면, 웜 휠(26) 및 이송나사(27)가 회전한다. 이송나사(27)가 회전함으로써, 나사 작용에 의해 카메라 지지부(28)가 이송나사(27)의 회전축에 따라 직선형상으로 이동한다. 이와 같은 이송나사 기구에 의해, 카메라 이동 장치(20)는, 스테핑 모터(21)의 회전 운동을 카메라 지지부(28)의 직선 운전으로 변환하여, 냉장실문(101)에 대해 카메라(2)를 상하 방향으로 이동시킨다.
다음에, 도 6부터 도 8을 참조하면서, 카메라 이동 장치(20)가 전술한 가동 범위의 하단 부분의 구성 및 카메라 이동 장치(20)가 카메라(2)를 전술한 가동 범위의 하단에 이동시킨 때의 동작에 관해 설명한다. 전술한 바와 같이, 가이드부(25)에는 홈부(29)가 전술한 가동 범위에 걸쳐서 형성되어 있다. 이들의 도면에 도시하는 바와 같이, 이 홈부(29)는, 전술한 가동 범위의 하단 부분에서, 상하 방향부터 냉장실문(101)측의 방향으로 매끈하게 구부러져 있다. 이 밖의 부분에서는, 홈부(29)는 상하 방향에 따르고 있다.
홈부(29) 내에는, 카메라 지지부(28)에 형성된 도시하지 않은 돌기부가 삽입되어 있다. 이 돌기부는 피니언(23)보다도 냉장실문(101)측에 배치되어 있다. 래크(24)상을 피니언(23)이 회전한 때, 카메라 지지부(28)의 돌기부가 홈부(29) 내에 규제된 상태에서 홈부(29) 내를 이동함으로써, 카메라 지지부(28) 방향, 즉, 카메라(2) 방향이 결정된다.
도 6에 도시하는 바와 같이, 홈부(29)는 상하 방향에 따르고 있는 부분에서는, 카메라 지지부(28)가 이동하여도 카메라(2) 방향이 냉장실문(101)과는 반대측의 상태가 유지된다. 카메라(2)가 하강을 계속하여 카메라 지지부(28)의 돌기부가 홈부(29)의 커브에 다다르면, 카메라 지지부(28)의 피니언(23)은 그대로 하강을 계속하고자 함에 대해, 카메라 지지부(28)의 돌기부는, 홈부(29)에 안내되어 하강을 그만두고 냉장실문(101)측으로 이동을 시작한다. 이 때문에, 도 7에 도시하는 바와 같이 카메라 지지부(28)가 기울기 시작하여, 카메라(2)가 아래를 향하기 시작한다.
그리고, 카메라(2)가 전술한 가동 범위의 하단에 오면, 도 8에 도시하는 바와 같이, 카메라(2)는 직하를 향한다. 전술한 바와 같이, 가동 범위의 하단은 도어 포켓(104)의 바로 위의 위치이다. 이 때문에, 가동 범위의 하단에 있는 카메라(2)는, 도어 포켓(104)의 내부를 상방에서 촬영할 수 있다. 이와 같이, 카메라 이동 장치(20)는, 도어 포켓(104)의 내부를 상방에서 촬영할 수 있는 위치 및 방향으로 카메라(2)를 이동 가능하다.
카메라(2)는, 예를 들면, 냉장실문(101)이 개폐된 때에 냉장실(100) 내를 촬영한다. 냉장실문(101)이 개폐되면, 냉장실(100) 내의 식품이 출입되어, 냉장실(100) 내의 수납 상태가 변화할 가능성이 있기 때문이다. 냉장고 본체(1000)는, 문의 개폐를 검지 가능한 센서를 구비하고 있다. 이 센서는, 예를 들면, 일반적인 마그넷 방식의 센서이다. 즉, 이 센서는, 예를 들면, 냉장실문(101)에 매입된 자석의 근접을 냉장고 본체(1000)측에 설치된 한 쌍의 리드 스위치에 의해 검출한다. 카메라(2)는, 예를 들면, 열려 있던 냉장실문(101)이 닫혀진 것을 검지한 후, 냉장실(100) 내가 조명되고 있는 사이에 촬영을 행한다.
이 카메라(2)에 의한 냉장실(100) 내의 촬영은, 카메라 이동 장치(20)에 의한 카메라(2)의 이동과 연계하여 행하여진다. 다음에, 카메라(2)와 카메라 이동 장치(20)의 연계한 촬영 동작에 관해 설명한다. 냉장실(100) 내의 촬영을 행할 때, 카메라 이동 장치(20)는, 도중에 카메라(2)의 이동을 정지시키면서, 전술한 가동 범위의 일단부터 타단까지 카메라(2)를 이동시킨다. 그리고, 카메라(2)는 카메라 이동 장치(20)가 카메라(2)의 이동을 정지시킬 때마다 촬영을 행한다.
예를 들면, 카메라 이동 장치(20)는, 카메라(2)를 전술한 가동 범위의 상단부터 하단까지 카메라(2)를 하방향으로 이동시킨다. 이때, 카메라 이동 장치(20)는, 냉장실(100)의 상단 내면과, 이 상단 내면에 인접하는 냉장실 선반판(102) 사이에서의 적어도 1개소에서 카메라(2)를 정지시킨다. 그리고, 이 위치에서 정지하고 있는 사이에 카메라(2)는 화상을 촬영한다. 이때에 카메라(2)가 촬영한 화상은, 냉장실(100)의 상단 내면에 인접하는 냉장실 선반판(102) 즉 최상단의 냉장실 선반판(102)의 수납 상황을 나타내는 것이다. 카메라(2)가 화상을 촬영하면, 카메라 이동 장치(20)는 카메라(2)의 하강을 재개한다.
또한, 카메라 이동 장치(20)는, 이웃하는 냉장실 선반판(102)끼리의 사이의 각각의 적어도 1개소에서 카메라(2)를 정지시킨다. 그리고, 이 위치에서 정지하고 있는 사이에 카메라(2)는 화상을 촬영한다. 이때에 카메라(2)가 촬영한 화상은, 카메라(2)의 위치의 바로 아래에 있는 냉장실 선반판(102)의 수납 상황을 나타내는 것이다. 카메라(2)가 화상을 촬영하면, 카메라 이동 장치(20)는 카메라(2)의 하강을 재개한다.
이와 같이 하여, 카메라(2)가 전술한 가동 범위의 하단에 까지 달하면, 전술한 바와 같이, 도어 포켓(104)의 내부를 상방에서 촬영할 수 있는 위치 및 방향에 카메라(2)가 온다. 그리고, 이 위치에서 정지하고 있는 사이에 카메라(2)는 화상을 촬영한다. 이때에 카메라(2)가 촬영한 화상은, 최하부의 도어 포켓(104)의 수납 상황을 나타내는 것이다.
이상과 같이 하여, 카메라(2)가 이웃하는 냉장실 선반판(102)끼리의 사이의 위치에 있을 때에 카메라(2)는 촬영을 행한다. 또한, 카메라(2)가 냉장실(100)의 상단 내면과, 이 상단 내면에 인접하는 냉장실 선반판(102) 사이의 위치에 있는 때에도, 카메라(2)는 촬영을 행한다. 또한, 이 실시의 형태 1에서는, 카메라(2)는, 도어 포켓(104)의 내부를 상방에서 촬영한다. 또한, 카메라 이동 장치(20)는, 카메라(2)를 전술한 가동 범위의 하단부터 상단까지 카메라(2)를 상방향으로 이동시켜도 좋다.
이 실시의 형태 1에서는, 카메라 이동 장치(20)는, 전술한 가동 범위 내에서의 카메라(2)의 위치를 스테핑 모터(21)의 스텝 수를 이용하여 제어한다. 즉, 카메라 이동 장치(20)는, 카메라(2)를 정지시키는 위치를 스테핑 모터(21)의 스텝 수를 계수함으로써 특정한다.
여기서, 냉장실 선반판(102)의 위치가 고정되어 있고 변경할 수 없는 경우, 카메라(2)를 정지시키는 위치도 고정할 수 있다. 따라서 예를 들면, 카메라 이동 장치(20)는, 카메라(2)를 정지시키는 위치에 관한 정보, 예를 들면 스테핑 모터(21)의 스텝 수를 미리 기억하여 둔다. 그리고, 스테핑 모터(21)의 스텝 수가 미리 기억하고 있던 값이 되었을 때에 카메라 이동 장치(20)는 카메라(2)를 정지시키는 것이 고려될 수 있다.
또한, 냉장실 선반판(102)의 위치를 변경 가능한 경우는, 다음과 같이 하여 현재의 냉장실 선반판(102)의 위치를 특정하고, 카메라(2)의 정지 위치를 결정하는 것이 생각된다. 우선, 첫번째의 예는, 선반판 지지부(103)에 냉장실 선반판(102)의 위치를 검출하는 수단을 마련하는 방법이다. 냉장실 선반판(102)의 위치를 검출하는 수단으로서는, 구체적으로 예를 들면, 마이크로 스위치 등을 이용하는 것이 생각된다. 이 경우, 냉장실 선반판(102)을 선반판 지지부(103)의 적절한 위치에 배치한 때에, 당해 냉장실 선반판(102)에 의해 눌려지도록 마이크로 스위치를 설치하여 둔다. 그리고, 어느 마이크로 스위치가 눌려져 있는지에 의해, 냉장실 선반판(102)의 위치를 검출할 수 있다.
두번째의 예는, 카메라(2)가 촬영한 화상을 이용하여 냉장실 선반판(102)의 위치를 특정하는 방법이다. 이 방법에서는, 우선, 최초에 카메라 이동 장치(20)로 전술한 가동 범위의 전체에 카메라(2)를 이동시키면서, 카메라(2)로 화상을 촬영한다. 이때의 촬영 위치는, 최종적으로 카메라(2)로 촬영 가능한 냉장실(100)의 전 범위를 망라할 수 있다면, 특히 한정되지 않는다. 그리고, 이렇게 하여 촬영한 화상을 해석하여, 현재의 냉장실 선반판(102)의 위치를 특정할 수 있다.
또한, 카메라 이동 장치(20)는, 냉장실문(101)의 개폐를 검지하는 센서가 냉장실문(101)의 폐동작을 검지한 경우에, 전술한 가동 범위의 일단(一端)에 카메라(2)를 이동시켜서 스테핑 모터(21)의 제로점 보정을 행하도록 하면 좋다. 즉, 센서가 냉장실문(101)의 폐동작을 검지한 경우, 카메라 이동 장치(20)는, 최초에 카메라(2)를 전술한 가동 범위의 예를 들면 상단에 이동시킨다. 그리고, 카메라 이동 장치(20)는, 스테핑 모터(21)의 스텝 수의 계수치를 0으로 한다. 이와 같이 함으로써, 스테핑 모터(21)의 스텝 수와 실제의 카메라(2)의 위치와의 어긋남을 수정할 수 있다.
재차 도 2를 참조하면서 설명을 계속한다. 냉장고 본체(1000)는, 제어 기판(1001)을 구비하고 있다. 제어 기판(1001)은, 예를 들면, 냉장고 본체(1000)의 배면측의 상부에 수용되어 있다. 제어 기판(1001)에는, 냉장고 본체(1000)의 동작에 필요한 각종의 제어를 실시하기 위한 제어 회로 등이 구비되어 있다. 제어 기판(1001)은, 예를 들면 마이크로 컴퓨터를 구비하고 있고, 즉, 프로세서 및 메모리를 구비하고 있다. 제어 기판(1001)은, 메모리에 기억된 프로그램을 프로세서가 실행함에 의해, 미리 설정된 처리를 실행하여, 냉장고 본체(1000)를 제어한다.
본 발명의 실시의 형태 1에 관한 냉장고 시스템은, 이상과 같이 구성된 냉장고 본체(1000)를 우선 구비하고 있다. 또한, 이 냉장고 시스템은, 또한 화상 서버(3)를 구비하고 있다. 화상 서버(3)는, 저장실 화상의 보존, 관리 및 외부에의 송신을 행하기 위한 것이다. 화상 서버(3)는, 냉장고 본체(1000)가 설치된 댁내(이하, 단지 「댁내」라고 한다)이고, 또한, 냉장고 본체(1000)의 저장실의 외측에 설치된다. 도 1 및 도 2에 도시하는 것은, 화상 서버(3)를 냉장고 본체(1000)의 천장부의 외면부에 배치한 예이다. 또한, 화상 서버(3)의 설치 위치는, 냉장고 본체(1000)의 천장부로 한정되지 않는다. 화상 서버(3)를 냉장고 본체(1000)의 저장실의 밖이라면, 냉장고 본체(1000)의 측면, 배면 또는 저장실의 문에 설치하여도 좋다. 또한, 제어 기판(1001)에 화상 서버(3)를 실장하여도 좋다.
화상 서버(3)는, 전술한 제어 기판(1001)과 마찬가지로 예를 들면 마이크로 컴퓨터를 구비하고 있고, 즉, 프로세서 및 메모리를 구비하고 있다. 또한, 화상 서버(3)는, 도 2에 도시하는 바와 같이, 저장실 화상 기억부(4), 저장실 화상 관리부(5) 및 무선 통신부(6)를 구비하고 있다. 이들 각 부분의 기능은, 예를 들면, 화상 서버(3)의 마이크로 컴퓨터에서, 메모리에 기억된 프로그램을 프로세서가 실행하고, 미리 설정된 처리를 행함으로써 실현된다. 또한, 화상 서버(3)는, 예를 들면, 제어 기판(1001)과 접속되어, 제어 기판(1001)으로부터 전력의 공급을 받아 동작한다.
저장실 화상 기억부(4)는, 카메라(2)로부터 출력된 저장실 화상을 기억한다. 전술한 바와 같이, 냉장실문(101)의 개폐가 검지되면, 카메라(2)는, 카메라 이동 장치(20)와 연계하여, 냉장실(100) 내의 각각의 냉장실 선반판(102) 및 최하부의 도어 포켓(104)의 수납 상황을 촬영한다. 카메라(2)는, 촬영한 화상을 저장실 화상 기억부(4)에 출력한다. 카메라(2)로부터 출력된 화상은, 저장실 화상 기억부(4)에 입력된다.
따라서 저장실 화상 기억부(4)에는, 냉장실문(101)이 개폐될 때마다(즉, 냉장실(100) 내의 수납 상태가 변화할 가능성이 있을 때마다), 카메라(2)로부터 출력된 화상이 입력되게 된다. 이렇게 하여, 저장실 화상 기억부(4)에는 항상 최신 상태의 냉장실(100) 내의 화상이 입력된다.
저장실 화상 기억부(4)는, 입력된 최신의 저장실 화상을 일시적으로 기억한다. 이때, 저장실 화상 기억부(4)는, 저장실 화상이 저장실 화상 기억부(4)에 입력된 시각을 촬영 시각 정보로서 당해 저장실 화상과 함께 일시적으로 기억한다. 또한, 촬영 시각 정보에는, 촬영된 날(월일 또는 연월일)의 정보도 포함되어 있다.
여기서, 도 9를 참조하면서, 본 발명의 실시의 형태 1의 냉장고 본체(1000)에 의해 촬영된 화상의 특징에 관해, 비교례와 대비하면서 설명한다. 도 9의 지면을 향하여 우측의 5개의 화상이, 본 발명의 실시의 형태 1의 냉장고 본체(1000)에 의해 촬영된, 각 냉장실 선반판(102) 및 최하부의 도어 포켓(104)의 수납 상황의 화상례이다.
또한, 바라볼 때 좌측의 5개의 화상이, 비교례에서의 각 냉장실 선반판(102) 및 최하부의 도어 포켓(104)의 수납 상황의 화상례이다. 이 비교례에서는, 2개의 카메라가 고정된 위치에 마련되어 있다. 2개의 카메라로 모든 냉장실 선반판(102)과 최하부의 도어 포켓(104)의 수납 상황을 촬영할 수 있도록 하기 위해, 각 카메라에는 어안 렌즈가 사용되고 있다.
이 비교례에서는, 카메라의 정면에서 벗어난 냉장실 선반판(102)이 존재하여 버린다. 이 때문에, 도 9의 예에서는 특히 최상단과 위로부터 세번째의 화상에서 왜곡이 크게 되어 버린다. 또한, 이들의 화상에서는 냉장실 선반판(102)의 아래로부터 올려다보는 시점(視點)서의 화상이 되어 버린다. 이 때문에, 화상으로부터 속의 수납 상황을 확인하는 것이 곤란하다. 또한, 수납 상황을 판정하기 위한 화상 인식에는 부적합하다.
이에 대해, 본 발명의 실시의 형태 1의 냉장고 본체(1000)에 의해 촬영된 화상에서는, 모든 냉장실 선반판(102)의 화상에서, 비교례보다도 왜곡이 적다. 그리고, 속의 수납 상황의 확인도 용이하다. 이 때문에, 화상 인식에 사용함으로써, 수납 상황을 보다 정확하게 판정할 수 있게 된다.
이와 같이, 본 발명의 실시의 형태 1의 냉장고 본체(1000)에서는, 카메라(2)를 상하 방향으로 이동시키는 카메라 이동 장치(20)는, 이웃하는 선반판끼리의 사이 및 저장실의 상단 내면과 이 상단 내면에 인접하는 선반판 사이의 각각의 적어도 1개소에서 카메라(2)를 정지시킨다. 그리고, 카메라(2)는, 카메라 이동 장치(20)가 카메라(2)의 이동을 정지시킬 때마다 촬영한다. 이 때문에, 보다 적은 카메라의 수로, 화상의 흐려짐 및 왜곡을 억제하고, 각각의 선반판의 속까지 찍은, 보다 선명한 저장실 화상을 얻을 수 있다. 그리고, 이와 같이 하여 얻어진 화상을 화상 인식에 사용함으로써, 저장실 내의 수납 상황을 보다 정확하게 판정할 수 있다.
재차 도 2를 참조하면서 설명을 계속한다. 저장실 화상 기억부(4)에는, 이상에서 설명한 바와 같은 각 냉장실 선반판(102) 및 최하부의 도어 포켓(104)의 수납 상황의 최신 화상이 기억되어 있다. 저장실 화상 관리부(5)는, 저장실 화상 기억부(4)에 기억되어 있는 이들의 저장실 화상 및 촬영 시각 정보를 저장실 화상 기억부(4)로부터 취득한다.
단, 저장실 화상 기억부(4)에 기억되어 있는 저장실 화상에도, 카메라(2)의 렌즈의 특성상의 이유에 의해 약간의 왜곡이 생길 가능성이 있다. 또한, 냉장실(100) 내의 조명 및 수납 상태에 따라서는, 각 화상 사이에서 밝기에 편차가 있을 경우도 생각된다. 그래서, 필요에 응하여, 저장실 화상 관리부(5)는, 카메라(2)가 촬영한 화상의 밝기 및 왜곡의 일방 또는 양방을 보정한다. 즉, 이 의미에서, 저장실 화상 관리부(5)는, 카메라(2)가 촬영한 화상의 밝기 및 왜곡의 일방 또는 양방을 보정하는 화상 처리부이다.
저장실 화상 관리부(5)는, 필요에 응하여 보정한 각 냉장실 선반판(102)의 수납 상황의 최신 화상으로부터, 냉장실(100) 내의 전체의 최신 화상을 합성한다. 그리고, 저장실 화상 관리부(5)는, 합성 후의 저장실 화상을 촬영 시각 정보에 의거하여 촬영 시각 순서로 재배열하여 기억한다. 이와 같이 하여, 카메라(2)에 의해 촬영된 저장실 화상은, 저장실 화상 기억부(4)에 일시적으로 기억된 후, 저장실 화상 관리부(5)로 이동되어, 관리된다.
또한, 저장실 화상 관리부(5)는, 카메라(2)에 의해 촬영된 식품의 화상을 입고 및 출고를 판별한 다음 시계열로 보존하여 관리한다. 예를 들면, 저장실 화상 관리부(5)는, 우선, 카메라(2)에 의해 촬영된 화상으로부터, 개개의 식품의 화상을 추출한다. 다음에, 저장실 화상 관리부(5)는, 연속하는 2개의 시점에서 카메라(2)에 의해 촬영된 화상으로부터 추출된 개개의 식품의 화상을 비교함에 의해, 개개의 식품에 관해 냉장실(100)에 입고되었는지 출고되었는지를 판별한다. 이때, 입고 및 출고의 판별에 이용한 2개의 화상의 촬영 일시로부터, 대강의 입고 일시 및 출고 일시를 특정할 수 있다. 이렇게 하여, 저장실 화상 관리부(5)는, 카메라(2)에 의해 촬영된 화상에 의거하여, 개개의 식품의 화상에 관해, 입고 일시 및 출고 일시를 특정하고, 각각의 식품의 화상을 시계열로 보존하여 관리한다.
다음에, 도 10부터 도 13을 참조하여, 카메라(2)에 의해 촬영된 화상을 이용한 식품의 입고 및 출고의 판별에 대해 구체례를 들어 설명한다. 도 10에 도시하는 것은, 시각(A)에서의 냉장실(100) 내의 화상의 예이다. 이 시각(A)을 입출고 판정의 기준 시각으로 한다.
도 11에 도시하는 것은, 시각(B)에서의 냉장실(100) 내의 화상의 예이다. 시각(B)은 시각(A)보다도 후의 시각이다. 저장실 화상 관리부(5)는, 시각(A)의 냉장실(100) 내의 화상과 시각(B)의 냉장실(100) 내의 화상과의 차분을 취함에 의해, 가장(一番) 위의 냉장실 선반판(102)부터 맥주 2개가 출고되었다고 판정한다. 저장실 화상 관리부(5)는, 시각(A)의 화상으로부터 당해 맥주 2개의 화상을 추출한다. 그리고, 저장실 화상 관리부(5)는, 추출한 화상과 함께 입출고의 구별, 즉 여기서는 「출고」와 출고시각(B)을 기억한다.
도 12에 도시하는 것은, 시각(C)에서의 냉장실(100) 내의 화상의 예이다. 시각(C)은 시각(B)보다도 후의 시각이다. 저장실 화상 관리부(5)는, 시각(B)의 냉장실(100) 내의 화상과 시각(C)의 냉장실(100) 내의 화상과의 차분을 취함에 의해, 아래로부터 2단째의 냉장실 선반판(102)부터 샐러드가 출고되었다고 판정한다. 저장실 화상 관리부(5)는, 시각(A) 또는 시각(B)의 화상으로부터 당해 샐러드의 화상을 추출한다. 그리고, 저장실 화상 관리부(5)는, 추출한 화상과 함께 입출고의 구별, 즉 여기서는 「출고」와 출고시각(C)을 기억한다.
도 13에 도시하는 것은, 시각(D)에서의 냉장실(100) 내의 화상의 예이다. 시각(D)은 시각(C)보다도 후의 시각이다. 저장실 화상 관리부(5)는, 시각(C)의 냉장실(100) 내의 화상과 시각(D)의 냉장실(100) 내의 화상과의 차분을 취함에 의해, 가장 위의 냉장실 선반판(102)에 우유 2개가 입고되고, 또한 아래로부터 2단째의 냉장실 선반판(102)에 케이크가 입고되었다고 판정한다. 저장실 화상 관리부(5)는, 시각(D)의 화상으로부터 당해 우유 2개 및 당해 케이크의 화상을 추출한다. 그리고, 저장실 화상 관리부(5)는, 추출한 화상과 함께 입출고의 구별, 즉 여기서는 「입고」와 입고시각(D)을 기억한다.
이와 같이, 저장실 화상 관리부(5)는, 카메라(2)가 촬영한 화상에 의거하여, 냉장실(100)에의 입출고의 유무를 판정할 수 있다.
재차 도 2를 참조하면서 설명을 계속한다. 무선 통신부(6)는, 외부와 통신 가능한 통신 장치이다. 무선 통신부(6)는, 예를 들면 주지의 무선 통신 기술을 이용하여, 냉장고 본체(1000)의 화상 서버(3)와 루터 장치(7)와의 사이에서 정보의 상호 통신을 행한다. 또한, 화상 서버(3)와 루터 장치(7)와의 통신은 무선 방식으로 한정되지 않고 유선 방식이라도 좋다.
도 14에 도시하는 것은, 본 발명의 실시의 형태 1에 관한 냉장고 시스템의 전체 구성이다. 동 도면에 도시하는 바와 같이, 본 발명의 실시의 형태 1에 관한 냉장고 시스템은, 유저 단말(10)을 구비하고 있다. 유저 단말(10)은, 통신 장치인 무선 통신부(6)와 통신 가능하게 마련된 단말 장치이다. 유저 단말(10)은, 구체적으로 예를 들면, PC, 스마트 폰, 태블릿 단말 등이다. 또한, 유저 단말(10)은, 1 이상 마련되고, 바람직하게는 복수 마련된다.
유저 단말(10)은, 도시하지 않은 단말 표시부를 구비하고 있다. 단말 표시부는, 예를 들면, 액정 디스플레이 등을 구비하고 있다. 또한, 단말 표시부를 터치 패널로 구성하고, 정보를 표시함과 함께, 유저로부터의 조작을 접수할 수 있도록 하여도 좋다. 유저 단말(10)의 단말 표시부는, 저장실 화상 및 촬영 시각 정보를 포함하는 각종의 정보를 표시 가능하다.
도 14에 도시하는 바와 같이, 냉장고 본체(1000), 화상 서버(3) 및 루터 장치(7)는, 댁내에 설치되어 있다. 루터 장치(7)는, 예를 들면 인터넷(8)을 통하여, 클라우드 서버(9)와 통신 가능하게 접속되어 있다. 클라우드 서버(9)는, 전술한 외부 서버이다. 동 도면에서는 외부 서버로서, 인터넷(8)에 접속된 복수의 서버(서버군)로 이루어지는 클라우드 서버(9)를 이용한 경우를 예시하고 있다. 그렇지만, 외부 서버는 클라우드 서버(9)로 한정되지 않고, 1대의 서버라도 좋다. 인터넷(8) 및 클라우드 서버(9)는, 냉장고 본체(1000)가 설치된 댁내의 외측의 댁외(이하, 단지 「댁외」라고 한다)에 있다.
무선 통신부(6)는, 저장실 화상 기억부(4) 및 저장실 화상 관리부(5)에 기억되어 있는 화상 및 정보를 루터 장치(7) 및 인터넷(8)을 통하여, 댁외의 클라우드 서버(9)애 송신한다. 그리고, 클라우드 서버(9)는, 수신한 화상 및 정보를 기억한다.
이때, 클라우드 서버(9)에의 통신이 혼잡하여, 저장실 화상을 1회에 업로드(송신)할 수 없는 경우를 상정하여, 무선 통신부(6)로부터 클라우드 서버(9)에의 저장실 화상의 업로드의 최대 리트라이 수를 설정하도록 하여도 좋다. 그리고, 무선 통신부(6)는, 최대 리트라이 수에 도달한 경우에는 즉시에 업로드하도록 하여도 좋다.
댁외의 유저 단말(10)은, 인터넷(8)을 통하여 클라우드 서버(9)로 액세스한다. 유저가, 유저 단말(10)에서 냉장고 본체(1000)에 관한 화상 및 정보의 표시 조작을 행하면, 유저 단말(10)은 송신 요구를 송신한다. 송신 요구를 수신한 클라우드 서버(9)는, 자신에게 기억하여 있는 화상 및 정보를 유저 단말(10)애 송신한다. 유저 단말(10)은, 클라우드 서버(9)로부터 인터넷(8)을 통하여 화상 및 정보를 수신한다. 그리고, 유저 단말(10)은, 수신한 냉장고 본체(1000)에 관한 화상 및 정보를 단말 표시부에 표시한다.
또한, 유저 단말(10)은, 클라우드 서버(9) 등 외부 서버를 통하는 일 없이, 무선 통신부(6)로부터 송신된 냉장고 본체(1000)에 관한 화상 및 정보를 루터 장치(7) 및 인터넷(8)을 통하여 수신하여도 좋다. 또한, 저장실 화상 관리부(5)가 냉장실(100)에의 입출고가 있다고 판정한 경우, 무선 통신부(6)는 그 취지를 루터 장치(7) 및 인터넷(8)을 통하여 유저 단말(10)에 통지하여도 좋다.
도 15부터 도 17은, 유저 단말(10)에 표시되는 화면의 예이다. 도 15에 도시하는 것은, 「입출고 타임 라인」의 표시례이다. 전술한 바와 같이, 화상 서버(3)의 저장실 화상 관리부(5)는, 카메라(2)가 촬영한 냉장실(100) 내의 화상에 의거하여, 입출고 일시, 입출고의 구별, 입출고된 식품의 화상을 기억하고 있다. 입출고 타임 라인은, 이들의 화상 및 정보를 시계열로 나열하여 표시하는 화면이다.
도 16에 도시하는 것은, 「입출고 리스트」의 표시례이다. 이 입출고 리스트도, 입출고 타임 라인과 같이, 화상 서버(3)의 저장실 화상 관리부(5)에 기억되어 있다, 입출고 일시, 입출고의 구별, 입출고된 식품의 화상을 표시한다. 단, 이 입출고 리스트와 입출고 타임 라인에서는, 표시 형식이 다르다. 이 입출고 리스트는, 입출고 일시 및 입출고된 식품의 화상을 「입고」의 열과 「출고」의 열로 나누어 리스트형상으로 표시하는 화면이다.
도 17에 도시하는 것은, 「재고 식품 일람」의 표시례이다. 전술한 바와 같이, 화상 서버(3)의 저장실 화상 관리부(5)는, 카메라(2)가 촬영한 냉장실(100) 내의 화상으로부터, 개개의 식품의 화상을 추출하여 기억하고 있다. 이 재고 식품 일람은, 어느 시각에서 냉장실(100) 내에 수납되어 있는 개개의 식품의 화상을 일람 형식으로 표시하는 화면이다.
또한, 이상의 「입출고 타임 라인」, 「입출고 리스트」 및 「재고 식품 일람」의 각 화면은, 조작 패널(1)의 패널 표시부(1a)에도 표시 가능하다. 또한, 패널 표시부(1a)에는, 이들의 화면 외에, 저장실 화상 관리부(5)에서 관리 및 기억되어 있는 각종의 화상 및 정보 및 저장실 화상 기억부(4)에 기억되어 있는 화상 등을 표시할 수 있도록 하여도 좋다.
저장실 화상 관리부(5)는, 카메라(2)가 촬영한 화상으로부터 냉장실(100) 내의 개개의 식품의 화상을 추출할 뿐만 아니라, 카메라(2)가 촬영한 화상으로부터 냉장실(100) 내의 개개의 식품의 종류 및 양을 판정하여도 좋다. 이 판정을 위해, 저장실 화상 관리부(5)는, 식품 화상 데이터베이스를 미리 기억하고 있다. 식품 화상 데이터베이스는, 식품의 종류의 각각에, 당해 식품의 형상, 크기, 색 및 외장 라벨의 적어도 하나를 대응시킨 데이터의 집합이다. 이 의미에서, 저장실 화상 관리부(5)에는, 식품의 종류의 각각에, 당해 식품의 형상, 크기, 색 및 외장 라벨의 적어도 하나를 대응시켜서 미리 기억하는 식품 정보 기억부를 구비하고 있다.
식품 화상 데이터베이스에 기억되어 있는 정보의 구체례를 도 18을 참조하면서 설명한다. 식품 화상 데이터베이스는, 식품 종류의 각각에 관해, 당해 식품 종류를 다른 식품 종류와 구별할 수 있는 특징적인 속성을 기억하고 있다. 여기서는, 당해 식품 종류에 속하는 식품 자체 또는 당해 식품이 들어간 용기의 특징량을 당해 식품 종류에 대응시켜서 기억하고 있다. 구체적으로는, 각 식품 종류에 관해, 형상(윤곽), 직축의 크기, 대표색(RGB값) 및 라벨(문자) 등의 정보를 특징량으로 하고 있다.
또한, 식품 화상 데이터베이스에 기억하는 식품 종류마다의 형상으로서는, 여기서 예로 든 윤곽 외에, 예를 들면, 당해 식품의 외형에 가장 가까운 기하학적 형상(예를 들면, 원주, 사다리꼴 등)으로 하여도 좋다. 이 경우, 저장실 화상 관리부(5)에 의한 판정에서는, 예를 들면, 패턴 매칭 등의 수법에 의해 식품 화상 데이터베이스에 기억되어 있는 형상과의 대조를 행한다. 또한, 색에 관해서는 대표색의 RGB값 외에, 예를 들면 명도, 채도 등의 다른 지표치를 이용하도록 하여도 좋다.
저장실 화상 관리부(5)는, 이상과 같은 식품 화상 데이터베이스에 기억되어 있는 정보를 참조하면서, 저장실 화상 관리부(5)가 보존, 관리하고 있는 화상에 의거하여, 저장실(여기서는 냉장실(100)) 내의 식품의 종류 및 양을 판정한다. 이 판정에서는, 저장실 화상 관리부(5)는, 카메라(2)가 촬영한 화상으로부터 추출한 개개의 식품의 화상에 관해, 식품 화상 데이터베이스에 기억되어 있는 식품의 종류 중, 어느 식품의 종류의 특징량과 맞는지를 대조한다.
그리고, 개개의 식품의 화상과 합치하는 식품 화상 데이터베이스에 기억되어 있는 특징량이 있는 경우, 당해 화상의 식품의 종류는, 식품 화상 데이터베이스에서 이 합치한 특징량에 대응시켜져 있는 종류라고, 저장실 화상 관리부(5)는 판정하다. 또한, 식품 화상 데이터베이스에 특징량이 합치하는 데이터가 없는 경우, 당해 화상의 식품의 종류를 가장 유사한 식품의 종류로 대체하든지, 또는, 당해 화상의 식품은 종류 불명의 수납물로서 크기만을 식별하도록 하여도 좋다.
이와 같이 하여, 저장실 화상 관리부(5)는, 카메라(2)가 촬영한 화상으로부터 추출한 식품의 화상과, 식품 화상 데이터베이스에 기억되어 있는 특징량을 비교함에 의해, 냉장실(100) 내에 수납되어 있는 식품에 관해, 종류 및 그 양을 특정할 수 있다.
실시의 형태 2.
도 19는, 본 발명의 실시의 형태 2에 관한 것으로, 냉장고의 카메라의 촬영 위치의 한 예를 도시하는 주요부 단면도이다. 이하, 이 실시의 형태 2에 관한 냉장고 시스템에 관해, 실시의 형태 1의 구성을 기초로 한 경우를 예로 들어, 실시의 형태 1과의 상위점을 중심으로 설명한다.
여기서 설명하는 실시의 형태 2는, 전술한 실시의 형태 1의 구성에서, 카메라 이동 장치(20)는, 이웃하는 냉장실 선반판(102)끼리의 사이 및 냉장실 선반판(102)의 상단 내면과 이 상단 내면에 인접하는 냉장실 선반판(102) 사이의 각각의 적어도 2개소 이상에서 카메라(2)를 정지시키도록 한 것이다. 그리고, 카메라(2)는, 카메라 이동 장치(20)가 카메라(2)의 이동을 정지시킬 때마다 촬영을 행한다.
즉, 이웃하는 냉장실 선반판(102)끼리의 사이가 다른 2 이상의 위치에서 카메라(2)는 촬영을 행한다. 또한, 카메라(2)가 냉장실(100)의 상단 내면과, 이 상단 내면에 인접하는 냉장실 선반판(102) 사이의 다른 2 이상의 위치에서도, 카메라(2)는 촬영을 행한다.
도 19에 도시하는 것은, 이웃하는 냉장실 선반판(102)끼리의 사이의 3개소에서, 카메라(2)를 정지시켜서 촬영하는 예이다. 동 도면에 도시하는 바와 같이, 이웃하는 냉장실 선반판(102)끼리의 사이의 비교적 상측의 위치에서 카메라(2)를 정지시켜서 촬영한 경우, 냉장실 선반판(102)의 속에 있는 식품(30)을 촬영할 수 있다. 또한, 식품(30)의 패키지 상면에 대해서도 선명하게 촬영하기 쉽다. 그러나, 냉장실 선반판(102)의 앞쪽에 있는 식품(30)을 전면부터 촬영하기가 어렵다.
이에 대해, 이웃하는 냉장실 선반판(102)끼리의 사이의 비교적 하측의 위치에서 카메라(2)를 정지시켜서 촬영한 경우, 냉장실 선반판(102)의 앞쪽에 있는 식품(30)을 전면부터 촬영할 수 있다. 이 한편으로, 냉장실 선반판(102)의 속에 있는 식품(30)는, 앞쪽에 있는 식품(30)의 음영이 되어 버린다.
그래서, 하나의 냉장실 선반판(102)에 관해, 상하 위치가 다른 복수의 개소에서 카메라(2)로 촬영함에 의해, 냉장실 선반판(102)의 앞쪽측부터 속측까지, 보다 많은 식품을 촬영할 수 있다.
이 실시의 형태 2에서는, 저장실 화상 관리부(5)는, 각각의 냉장실 선반판(102)마다, 당해 냉장실 선반판(102)보다 상측의 2개소 이상의 위치에 있는 카메라(2)가 촬영한 화상의 밝기 및 왜곡의 일방 또는 양방을 보정한 후, 합성하여 당해 냉장실 선반판(102)의 식품 수납 상태 화상을 생성한다. 그리고, 저장실 화상 관리부(5)는, 각각의 냉장실 선반판(102)의 식품 수납 상태 화상을 합성하여, 냉장실(100)내 전체의 화상을 생성한다.
또한, 다른 구성 및에 관해서는 실시의 형태 1과 마찬가지이고, 여기서는 그 설명을 생략한다.
이상과 같이 구성된 냉장고 시스템에서도, 실시의 형태 1과 같은 효과를 이룰 수 있다. 또한, 냉장실 선반판(102)의 앞쪽측부터 속측까지, 보다 많은 식품을 선명하게 촬영한 화상을 얻을 수 있기 때문에, 수납 상황의 확인이 용이하다. 또한, 이와 같이 하여 얻어진 화상을 화상 인식에 사용함으로써, 저장실 내의 수납 상황을 더욱 정확하게 판정할 수 있다.
[산업상의 이용 가능성]
본 발명은, 저장실 내의 화상을 촬영하는 카메라를 구비한 냉장고에 이용할 수 있다. 또한, 저장실 내의 화상을 냉장고의 외부에 송신하는 냉장고 시스템에 이용할 수 있다.
1 : 조작 패널 1a : 패널 표시부
2 : 카메라 3 : 화상 서버
4 : 저장실 화상 기억부 5 : 저장실 화상 관리부
6 : 무선 통신부 7 : 루터 장치
8 : 인터넷 9 : 클라우드 서버
10 : 유저 단말 20 : 카메라 이동 장치
21 : 스테핑 모터 22 : 웜 기어
23 : 피니언 24 : 래크
25 : 가이드부 26 : 웜 휠
27 : 이송나사 28 : 카메라 지지부
29 : 홈부 30 : 식품
100 : 냉장실 101 : 냉장실문
102 : 냉장실 선반판 103 : 선반판 지지부
104 : 도어 포켓 110 : 칠드실
111 : 칠드 케이스 200 : 제빙실
300 : 전환실 400 : 냉동실
500 : 야채실 1000 : 냉장고 본체
1001 : 제어 기판

Claims (13)

  1. 식품을 수납하는 저장실이 형성된 본체와,
    상기 저장실 내에 설치되고, 식품이 재치되는 1 이상의 선반판과,
    상기 저장실의 일측을 개폐하는 문과,
    상기 문의 내측의 면에 마련되고, 상기 저장실 내의 화상을 촬영하는 카메라와,
    상기 카메라를 상하 방향으로 이동시키는 카메라 이동 장치를 구비하고,
    상기 카메라 이동 장치는, 이웃하는 상기 선반판끼리의 사이 및 상기 저장실의 상단 내면과 상기 상단 내면에 인접하는 상기 선반판 사이의 각각의 적어도 1개소에서 상기 카메라를 정지시키고,
    상기 카메라는 상기 카메라 이동 장치가 상기 카메라의 이동을 정지시킬 때마다 촬영하는 것을 특징으로 하는 냉장고.
  2. 제1항에 있어서,
    상기 카메라 이동 장치는, 이웃하는 상기 선반판끼리의 사이 및 상기 저장실의 상단 내면과 상기 상단 내면에 인접하는 상기 선반판 사이의 각각의 적어도 2개소 이상에서 상기 카메라를 정지시키는 것을 특징으로 하는 냉장고.
  3. 제2항에 있어서,
    각각의 선반판마다, 당해 선반판보다 상측의 2개소 이상의 위치에 있는 상기 카메라가 촬영한 화상의 밝기 및 왜곡의 일방 또는 양방을 보정한 후, 합성하여 당해 선반판의 식품 수납 상태 화상을 생성하는 화상 처리부를 더 구비하는 것을 특징으로 하는 냉장고.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 문의 내측에 마련된 도어 포켓을 더 구비하고,
    상기 카메라 이동 장치는, 상기 도어 포켓의 내부를 상방에서 촬영할 수 있는 위치 및 방향으로 상기 카메라를 이동 할 수도 있는 것을 특징으로 하는 냉장고.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 카메라 이동 장치는,
    상기 카메라의 이동을 구동하는 스테핑 모터를 구비하고,
    상기 카메라를 미리 설정된 가동 범위 내에서 상하 방향으로 이동시키고,
    상기 가동 범위 내에서의 상기 카메라의 위치를 상기 스테핑 모터의 스텝 수를 이용하여 제어하는 것을 특징으로 하는 냉장고.
  6. 제5항에 있어서,
    상기 문의 개폐를 검지하는 센서를 더 구비하고,
    상기 카메라 이동 장치는, 상기 센서가 상기 문의 폐동작을 검지한 경우에, 상기 가동 범위의 일단에 상기 카메라를 이동시켜서 상기 스테핑 모터의 제로점 보정을 행하는 것을 특징으로 하는 냉장고.
  7. 제1항 내지 제6항 중 어느 한 항에 기재된 냉장고와,
    상기 카메라가 촬영한 화상을 송신하는 통신 장치와,
    상기 통신 장치와 통신 가능하게 마련되고, 통신 장치가 송신한 상기 카메라가 촬영한 화상을 수신 가능한 단말 장치를 구비한 것을 특징으로 하는 냉장고 시스템.
  8. 제7항에 있어서,
    상기 카메라가 촬영한 화상에 의거하여, 상기 저장실에의 입출고의 유무를 판정하는 화상 관리부를 더 구비하고,
    상기 통신 장치는, 상기 저장실에의 입출고가 있다고 상기 화상 관리부가 판정한 경우, 그 취지를 상기 단말 장치에 통지하는 것을 특징으로 하는 냉장고 시스템.
  9. 제8항에 있어서,
    상기 화상 관리부는, 상기 카메라가 촬영한 화상으로부터 상기 저장실에의 입출고가 있는 식품의 화상을 추출함과 함께, 입출고의 구별 및 입출고 일시를 판정하고,
    상기 통신 장치는, 상기 카메라가 촬영한 화상으로부터 추출된 입출고가 있는 식품의 화상과, 입출고의 구별 및 입출고 일시의 정보를 상기 단말 장치에 송신하는 것을 특징으로 하는 냉장고 시스템.
  10. 제9항에 있어서,
    상기 단말 장치는, 입출고가 있는 식품의 화상과, 입출고의 구별 및 입출고 일시의 정보를 시계열로 표시 가능한 것을 특징으로 하는 냉장고 시스템.
  11. 제9항에 있어서,
    상기 단말 장치는, 입출고가 있는 식품의 화상과, 입출고의 구별 및 입출고 일시의 정보를 입고와 출고로 나누어서 표시 가능한 것을 특징으로 하는 냉장고 시스템.
  12. 제8항에 있어서,
    상기 화상 관리부는, 상기 카메라가 촬영한 화상으로부터 상기 저장실 내의 개개의 식품의 화상을 추출하고,
    상기 통신 장치는, 상기 카메라가 촬영한 화상으로부터 추출된 상기 저장실 내의 개개의 식품의 화상을 상기 단말 장치에 송신하고,
    상기 단말 장치는, 상기 저장실 내의 개개의 식품의 화상을 표시 가능한 것을 특징으로 하는 냉장고 시스템.
  13. 제8항 내지 제12항 중 어느 한 항에 있어서,
    상기 화상 관리부는, 식품의 종류에, 당해 식품의 형상, 크기, 색 및 외장 라벨의 적어도 하나를 대응시켜서 미리 기억함과 함께, 당해 기억한 정보를 참조하여, 상기 카메라가 촬영한 화상으로부터 상기 저장실 내의 개개의 식품의 종류 및 양을 판정하는 것을 특징으로 하는 냉장고 시스템.
KR1020207013804A 2017-11-27 2017-11-27 냉장고 및 냉장고 시스템 KR102378032B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/042403 WO2019102616A1 (ja) 2017-11-27 2017-11-27 冷蔵庫及び冷蔵庫システム

Publications (2)

Publication Number Publication Date
KR20200066705A true KR20200066705A (ko) 2020-06-10
KR102378032B1 KR102378032B1 (ko) 2022-03-24

Family

ID=66631867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207013804A KR102378032B1 (ko) 2017-11-27 2017-11-27 냉장고 및 냉장고 시스템

Country Status (7)

Country Link
US (1) US11506449B2 (ko)
EP (1) EP3719424B1 (ko)
JP (1) JP7092794B2 (ko)
KR (1) KR102378032B1 (ko)
CN (1) CN111386435B (ko)
TW (1) TWI660147B (ko)
WO (1) WO2019102616A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102619657B1 (ko) * 2018-06-15 2023-12-29 삼성전자주식회사 냉장고와 서버 및 서버의 제어 방법
JP7301137B2 (ja) * 2019-08-02 2023-06-30 三菱電機株式会社 冷蔵庫
DE102019121949A1 (de) * 2019-08-14 2021-02-18 Liebherr-Hausgeräte Ochsenhausen GmbH Kühl- und/oder Gefriergerät
US11408611B2 (en) * 2020-01-21 2022-08-09 Haier Us Appliance Solutions, Inc. Oven appliance with an adjustable camera assembly
US20230123202A1 (en) * 2020-03-18 2023-04-20 Vestel Elektronik Sanayi Ve Ticaret A.S. System for capturing and preferably processing images of a compartment of a refrigerator and refrigerator
CN113468359A (zh) * 2020-07-14 2021-10-01 青岛海信电子产业控股股份有限公司 一种智能冰箱及食材识别方法
US20220136766A1 (en) * 2020-11-04 2022-05-05 Scott C Harris Smart Refrigerator
JP7453133B2 (ja) 2020-12-15 2024-03-19 日立グローバルライフソリューションズ株式会社 貯蔵庫、貯蔵システム及び画像認識方法
US20220397338A1 (en) * 2021-06-14 2022-12-15 Haier Us Appliance Solutions, Inc. Inventory management system in a refrigerator appliance
CN114294885B (zh) * 2021-06-23 2023-04-07 海信视像科技股份有限公司 冰箱及图像采集方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060099985A (ko) * 2005-03-15 2006-09-20 엘지전자 주식회사 카메라가 구비된 냉장고
WO2009138359A2 (de) * 2008-05-13 2009-11-19 BSH Bosch und Siemens Hausgeräte GmbH Haushaltsgerät mit bilderfassungsvorrichtung
KR20120117464A (ko) * 2011-04-15 2012-10-24 엘지전자 주식회사 냉장고 및 냉장고의 제어방법
KR20140120386A (ko) * 2013-03-27 2014-10-14 엘지전자 주식회사 냉장고
JP2014196835A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 冷蔵庫
JP2015154259A (ja) * 2014-02-14 2015-08-24 株式会社東芝 収納装置、画像処理装置、画像処理方法およびプログラム
JP2016057022A (ja) * 2014-09-11 2016-04-21 株式会社東芝 食材管理システム
JP2016148503A (ja) 2015-02-05 2016-08-18 日本電産コパル株式会社 冷蔵庫、冷蔵庫管理方法及びプログラム
JP2016223735A (ja) * 2015-06-02 2016-12-28 三菱電機株式会社 冷蔵庫
JP2017089913A (ja) * 2015-11-04 2017-05-25 三菱電機株式会社 冷蔵庫及びそれを含むネットワークシステム
KR20170065680A (ko) * 2013-03-12 2017-06-13 도시바 라이프스타일 가부시키가이샤 냉장고 및 카메라 장치

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3738196B2 (ja) 2001-03-30 2006-01-25 三洋電機株式会社 冷蔵庫
JP2005276992A (ja) * 2004-03-24 2005-10-06 Yamaha Motor Co Ltd 部品認識装置、表面実装機、及び、部品検査装置
JP2007046833A (ja) * 2005-08-09 2007-02-22 Funai Electric Co Ltd 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム
JP4618355B2 (ja) * 2008-09-25 2011-01-26 ソニー株式会社 画像処理装置及び画像処理方法
JP2012055031A (ja) * 2010-08-31 2012-03-15 Nidec Sankyo Corp モータ
CN108955070A (zh) * 2012-07-27 2018-12-07 博西华电器（江苏）有限公司 智能冰箱、包含该智能冰箱的冰箱系统及其控制方法
JP6411753B2 (ja) * 2013-03-12 2018-10-24 東芝ライフスタイル株式会社 冷蔵庫、及びカメラ装置
JP6391943B2 (ja) * 2013-03-12 2018-09-19 東芝ライフスタイル株式会社 冷蔵庫、カメラ装置、庫内画像表示プログラム
JP6167288B2 (ja) 2013-03-29 2017-07-26 パナソニックＩｐマネジメント株式会社 冷蔵庫
WO2014168265A1 (ko) 2013-04-10 2014-10-16 엘지전자 주식회사 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
DE102013211096A1 (de) 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerätesystem
JP6313014B2 (ja) * 2013-08-27 2018-04-18 東芝ライフスタイル株式会社 カメラシステム、冷蔵庫
EP2843336A1 (en) * 2013-09-03 2015-03-04 Panasonic Corporation Refrigerator and refrigerator system for monitoring food
CN103927755A (zh) 2014-04-23 2014-07-16 东莞市天勤仪器有限公司 多景深图像处理方法
US20160203591A1 (en) * 2015-01-09 2016-07-14 Umm Al-Qura University System and process for monitoring the quality of food in a refrigerator
JP2016183826A (ja) * 2015-03-26 2016-10-20 日本電産コパル株式会社 撮像ユニット及び冷蔵庫
CN204806813U (zh) * 2015-06-15 2015-11-25 合肥华凌股份有限公司 移动摄像头结构和冰箱
JP6814531B2 (ja) * 2015-07-29 2021-01-20 シャープ株式会社 収納庫
US10027866B2 (en) * 2015-08-05 2018-07-17 Whirlpool Corporation Refrigerators having internal content cameras, and methods of operating the same
KR20170027246A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 냉장고
US9784497B2 (en) * 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator
CN106382789B (zh) * 2016-08-30 2019-04-02 青岛海尔股份有限公司 冰箱内储物信息的管理方法与冰箱
CN206257852U (zh) * 2016-12-12 2017-06-16 哈尔滨理工大学 智能冰箱
CN108507250A (zh) * 2017-02-24 2018-09-07 富泰华工业（深圳）有限公司 冰箱及其摄像系统
CN107036389A (zh) * 2017-05-10 2017-08-11 江苏新安电器有限公司 一种智能化的冰箱内置摄像头监控系统
CN107270627A (zh) * 2017-07-30 2017-10-20 张亚平 智慧节能电冰箱

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060099985A (ko) * 2005-03-15 2006-09-20 엘지전자 주식회사 카메라가 구비된 냉장고
WO2009138359A2 (de) * 2008-05-13 2009-11-19 BSH Bosch und Siemens Hausgeräte GmbH Haushaltsgerät mit bilderfassungsvorrichtung
KR20120117464A (ko) * 2011-04-15 2012-10-24 엘지전자 주식회사 냉장고 및 냉장고의 제어방법
KR20170065680A (ko) * 2013-03-12 2017-06-13 도시바 라이프스타일 가부시키가이샤 냉장고 및 카메라 장치
KR20140120386A (ko) * 2013-03-27 2014-10-14 엘지전자 주식회사 냉장고
JP2014196835A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 冷蔵庫
JP2015154259A (ja) * 2014-02-14 2015-08-24 株式会社東芝 収納装置、画像処理装置、画像処理方法およびプログラム
JP2016057022A (ja) * 2014-09-11 2016-04-21 株式会社東芝 食材管理システム
JP2016148503A (ja) 2015-02-05 2016-08-18 日本電産コパル株式会社 冷蔵庫、冷蔵庫管理方法及びプログラム
JP2016223735A (ja) * 2015-06-02 2016-12-28 三菱電機株式会社 冷蔵庫
JP2017089913A (ja) * 2015-11-04 2017-05-25 三菱電機株式会社 冷蔵庫及びそれを含むネットワークシステム

Also Published As

Publication number Publication date
US11506449B2 (en) 2022-11-22
EP3719424B1 (en) 2023-09-20
EP3719424A1 (en) 2020-10-07
TWI660147B (zh) 2019-05-21
US20200363125A1 (en) 2020-11-19
EP3719424A4 (en) 2020-11-11
JPWO2019102616A1 (ja) 2020-11-19
WO2019102616A1 (ja) 2019-05-31
TW201925706A (zh) 2019-07-01
CN111386435B (zh) 2022-02-01
CN111386435A (zh) 2020-07-07
KR102378032B1 (ko) 2022-03-24
JP7092794B2 (ja) 2022-06-28

Similar Documents

Publication Publication Date Title
KR20200066705A (ko) 냉장고 및 냉장고 시스템
KR102569605B1 (ko) 냉장고 및 냉장고 시스템
JP7040193B2 (ja) 冷蔵庫システム
JP6323279B2 (ja) 保冷保温庫、及び、その管理システム
US9920979B2 (en) Refrigerator and control method for the same
US20160153701A1 (en) Refrigerator And Control Method For The Same
WO2014198610A1 (de) Kältegerätesystem
EP3008414A1 (de) Kältegerät mit einem kameramodul
JP2016196981A (ja) 庫内管理システムおよび庫内管理方法
JP2015068525A (ja) 冷蔵庫
WO2014198611A1 (de) Kältegerät mit einem kameramodul
WO2014198628A1 (de) Kältegerät mit einer tür
JP2019219110A (ja) 冷蔵庫
JP7263914B2 (ja) 冷蔵庫
KR20180013448A (ko) 냉장고
KR20200106474A (ko) 냉장고 및 그 제어 방법
TWI638126B (zh) 冰箱系統
CN114484982B (zh) 冰箱及冰箱内的图像处理方法
JP2023122404A (ja) 教師データ作成システム、及び、教師データ作成方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant