KR20220156026A - 냉장고의 격실의 화상을 캡쳐하고 바람직하게 프로세스하기 위한 시스템 및 냉장고 - Google Patents

냉장고의 격실의 화상을 캡쳐하고 바람직하게 프로세스하기 위한 시스템 및 냉장고 Download PDF

Info

Publication number
KR20220156026A
KR20220156026A KR1020227035601A KR20227035601A KR20220156026A KR 20220156026 A KR20220156026 A KR 20220156026A KR 1020227035601 A KR1020227035601 A KR 1020227035601A KR 20227035601 A KR20227035601 A KR 20227035601A KR 20220156026 A KR20220156026 A KR 20220156026A
Authority
KR
South Korea
Prior art keywords
refrigerator
compartment
camera
optical
image
Prior art date
Application number
KR1020227035601A
Other languages
English (en)
Inventor
오누르 울루아그
Original Assignee
베스텔 일렉트로닉 사나이 베 티카레트 에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 filed Critical 베스텔 일렉트로닉 사나이 베 티카레트 에이에스
Publication of KR20220156026A publication Critical patent/KR20220156026A/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/10—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Devices That Are Associated With Refrigeration Equipment (AREA)

Abstract

냉장고(1)의 격실(3)의 화상을 캡쳐하고 바람직하게 프로세스하기 위한 시스템(2)이며, 시스템(2)은: 냉장고(1)의 격실(3)의 완전히 외부에 또는 부분적으로 외부에 위치되는 하나 이상의 카메라(21)를 포함하는 카메라 모듈(20); 및 카메라(21) 및 냉장고(1)의 격실(3)에 광학적으로 연결되고 카메라(21)가 격실(3)의 내부의 사진을 캡쳐할 수 있게 광을 전달하도록 구성된 하나 이상의 광학 도파관(30)을 포함한다.

Description

냉장고의 격실의 화상을 캡쳐하고 바람직하게 프로세스하기 위한 시스템 및 냉장고
본 발명은 냉장고의 격실의 화상을 캡쳐하고 바람직하게 프로세스하기 위한 시스템에 관한 것이다. 본 발명은 또한 그러한 시스템을 포함하는 냉장고에 관한 것이다.
예를 들어 냉장고의 재고를 결정하기 위해서, 제품의 목록을 만들기 위해서, 식품 제품의 신선도를 결정하기 위해서, 기타 등등을 위해서, 냉장고 내에 저장된 제품의 화상을 캡쳐하기 위한 시스템이 이미 제안되어 있다. 이러한 목적을 위해서, 예를 들어 JP 2001-317858 A, US 2016/0047587 A1 및 US 2016/0138859 A1에서 설명된 바와 같이, 하나 이상의 카메라가 냉장고 내에 배치된다.
카메라를 냉장고 내에 설치하는 것은 공간을 필요로 하고, 그에 따라 냉장고의 격실의 유효 체적을 감소시킨다. 또한, 예를 들어 카메라의 케이블 작업 및 적절한 배치로 인해서, 제조 및 유지 보수 프로세스가 복잡하다. 카메라 및 화상을 프로세스하고 제어하기 위한 각각의 전자기기가 전기 라인을 통해서 통신할 수 있다. 무선 통신의 경우에, 카메라는 별도의 전원을 필요로 한다. 카메라의 수리 및 교체에 비용이 많이 든다. 또한, 하나 이상의 카메라의 설치는 공학적 및 산업적 설계 프로세스에 영향을 미친다.
전술한 것을 고려하면, 본 발명의 목적은, 전술한 단점 중 하나 이상을 극복할 수 있는, 냉장고의 내부의 화상을 캡쳐하고 바람직하게 프로세스하기 위한 시스템을 제공하는 것, 그리고 또한 그러한 시스템을 구비한 냉장고를 제공하는 것이다.
이러한 목적은 독립 청구항에서 규정된 시스템 및 냉장고에 의해서 해결된다. 바람직한 특징 및 실시형태가 종속 청구항, 본 발명의 전반적인 설명 및 특정 실시형태 및 도면의 설명에서 규정되어 있다.
본 발명에 따른 시스템은 냉장고의 격실의 화상을 캡쳐하고 바람직하게 적어도 부분적으로 프로세스하도록 구성된다. 여기에서, "격실"이라는 용어는, 식품, 음료, 의약품 등과 같이, 온도 제어되는, 특히 냉각되는 물품 또는 제품을 수용하도록 의도된 냉장고의 내부 체적부를 나타낸다.
시스템은, 적어도 부분적으로 냉장고의 격실 외부에 위치된 하나 이상의 카메라를 포함하는 카메라 모듈을 포함한다. 다시 말해서, 적어도, 카메라의 주요 구성요소, 예를 들어 화상 센서, 전원 등이 격실의 외부에 배치된다. 시스템은 카메라 및 냉장고의 격실에 광학적으로 연결된 하나 이상의 광학 도파관을 더 포함한다. 도파관은 광을 전달하도록 구성되고, 그에 따라 카메라는 격실의 내부의 사진을 캡쳐할 수 있다.
본 발명에 따른 시스템은, 냉장고에 위치된 또는 심지어 냉장고로부터 이격된 임의의 곳에 격실 내부의 화상을 촬영하기 위한 카메라(들)를 배치할 수 있게 한다. 카메라(들)의 위치는, 격실의 내부로 제한되지 않고, 특정 설치 요건에 따라 자유롭게 선택될 수 있다. 따라서, 냉장고의 유효 체적이 카메라(들)에 의해서 영향을 받지 않는다. 카메라(들)의 케이블 작업 및 적절한 배치가 단순화되고, 그에 의해서 제조 및 유지 보수 프로세스를 개선한다. 특히, 예를 들어 냉장고의 실내 덮개 내에 매립되지 않도록 카메라(들)를 배치하는 것은 카메라(들)를 용이하게 교체, 유지 보수 및/또는 수리할 수 있게 한다. 카메라(들)의 위치는 격실의 설계에 영향을 미치지 않거나 그러한 설계를 결정하지 않는다.
카메라(들)를 냉장고의 격실 외부에 설치함으로써, 조합된 무선(RF), 카메라 및 메인보드 설계가 이용될 수 있는데, 이는 냉장고의 금속 케이스가 RF 신호를 차폐하기 때문이다.
화상이 광학적으로 전달되기 때문에, 시스템은 전자기 간섭(EMI)에 특히 저항적이다.
바람직하게, 적어도 하나의, 그 초과의 또는 각각의 도파관은 다수의 광섬유를 포함하고, 각각의 광섬유는 코어 및 클래딩(cladding)을 가지며, 다수의 광섬유는 섬유 번들을 형성한다. 특정 도파관에 속하는 다수의 광섬유는 바람직하게 완전히 또는 부분적으로 함께 융합된다. 다수의 섬유 또는 섬유의 번들을 이용하는 것은, 예를 들어 마이크로-섬유의 이용에 의해서, 도파관의 작은 부분 내에서 광학 파동을 전달할 수 있다. 각각의 섬유는 도파관에 각각 연결된 카메라의 화상 센서의 개별적인 픽셀을 나타낼 수 있으나; 그러한 1-대-1 상응은 필수적인 것이 아니다. 그 대신, 섬유 면(fiber facet)으로부터 화상 센서의 픽셀 어레이로의 N-대-M 맵핑이 또한 구현될 수 있다. 또한, 하나의 카메라가 다수의 섬유 번들에 연결될 수 있고, 부가적으로 또는 대안적으로, 셋업에 다수의 카메라가 있을 수 있다.
다시 말해서, 바람직한 실시형태에 따라, 하나의, 그 초과의 또는 각각의 도파관은 M개의 광섬유의 번들을 가지고, 상응 카메라, 즉 각각의 도파관에 광학적으로 연결된 카메라는 M개의 픽셀의 어레이를 가지는 화상 센서를 포함하고, 여기에서 N≠M이다.
바람직하게, 카메라 중 적어도 하나가 다수 섬유 번들에 연결되고, 그에 의해서, 검출 필드를 손상시키지 않으면서 또는 격실의 내부로부터 수신되고 프로세스될 수 있는 정보를 감소시키지 않으면서, 카메라의 수를 줄인다.
바람직하게, 카메라 모듈은 하나 이상의 카메라로부터 수신된 화상 데이터를 프로세스 및/또는 사전-프로세스 및/또는 저장 및/또는 전달하기 위한 추가적인 전자기기를 포함한다. 화상 데이터는 국소적으로 또는 네트워크 시스템 내에서 프로세스될 수 있다. 광 캡쳐 위치와 카메라를 분리함으로써, 격실 내의 상이한 위치들 및 방향들로부터 수신된 화상 데이터가 광학적으로 및/또는 전자적으로 조합될 수 있고, 그에 의해서 시스템의 유연성을 개선할 수 있다.
바람직하게, 각각의 도파관은, 격실의 내부로부터 광을 수용하도록 구성된 도파관의 화상 입력 표면을 포함하는 수용 헤드를 갖는다. 수용 헤드만이 격실 내에 또는 격실과 광학적으로 접촉되게 배열될 필요가 있고, 그에 의해서, 시스템을 설치할 때 또는 그러한 시스템으로 통상의 냉장고를 업그레이드할 때, 냉장고 격실의 구조적 수정을 최소화한다.
바람직하게, 수용 헤드는, 화상 입력 표면과 광학적으로 접촉되는 광학 시스템을 더 포함한다. 예를 들어, 유입 광의 포커싱 또는 분산을 위한 렌즈가 제공될 수 있다. 따라서, 관찰각과 같은 광학 매개변수가 예를 들어 격실의 형상 및 크기와 관련하여 간단히 조정 및 최적화될 수 있다.
바람직하게, 도파관에 각각 연결된 다수의 수용 헤드가 제공된다. 이러한 경우에, 상이한 위치들 및/또는 방향들 및/또는 관찰각들로부터 화상이 캡쳐될 수 있도록 다수의 수용 헤드가 구성되고; 그에 의해서 격실의 유효 체적을 손상시키지 않으면서 격실 내부의 가시화를 개선한다.
바람직하게, 시스템은, 모델에 따라 유입 화상의 특성을 결정하도록 구성된 프로세싱 유닛을 더 포함한다. 바람직한 실시형태에 따라, 프로세싱 유닛은, 예를 들어 개별적인 및/또는 조합된 화상을 기초로, 모델을 훈련시키도록 또는 모델에 관한 훈련을 허용하도록 구성된다.
수신된 화상 데이터는 개발 기간 내에 그리고 고객 측의 제품 수명을 통해서 수집될 수 있다. 이러한 화상을 이용하여 기계 학습 모델(들)을 훈련시킬 수 있고, 이는 다양한 사용-사례를 가능하게 한다. 모델(들)은 온-엣지로(즉 장치에서) 또는 네트워크 시스템에서 훈련될 수 있다. 이러한 경우에, 시스템의 복잡성이 감소될 수 있다. 또한, 클라우드 기반의 훈련 및 예측을 가능하게 하기 위한 선택적 통신 유닛이 제공될 수 있다.
훈련된 모델은 예를 들어 케첩, 토마토, 식품, 병, 설탕, 조미료, 음료 등과 같은 물품에 관한 제품 로고, 제품 케이스 또는 포장 상의 텍스트, 예를 들어 "꿀로 단맛을 낸", "무설탕", "인공감미료 없음" 등, 물품 또는 포장의 크기, 주요 색상, 식품 및 음료수의 위치, 제품의 소비 정도 등을 검출할 수 있다.
전술한 목적은 또한 전술한 구현예 중 임의의 구현예에 따른 시스템을 포함하는 냉장고에 의해서 해결된다.
시스템에 대해서 설명된 특징, 기술적 기여, 효과 및 장점이 또한 냉장고와 관련하여 여기에서 개시된다.
본 발명의 바람직한 실시형태를 이하에서 도면과 관련하여 설명할 것이다.
도 1은 냉장고 내부의 화상을 캡쳐하고 프로세스하기 위한 시스템을 구비한 냉장고를 도시하는 개략도이다.
도 2는 도 1에 도시된 시스템의 일부를 형성하는 화상 전달 부분의 개략도이다.
도 3은 광섬유 번들로 구성된 예시적인 도파관의 종료점을 도시한다.
이하에서, 도면을 참조하여 본 발명의 바람직한 실시형태를 설명할 것이다. 여기에서, 동일한, 유사한, 또는 동일하거나 유사한 효과를 가지는 요소들은 도면들에서 동일한 참조 번호를 갖는다. 중복 설명을 피하기 위해서, 그러한 요소의 반복 설명이 생략되었을 수 있다.
도 1은 냉장고(1)를 개략적으로 도시한다. 냉장고(1)는 이동식 또는 고정식의 자율 장치로 구현될 수 있거나, 가정용 가전기기 네트워크 시스템과 같은 네트워크의 일부일 수 있다. 냉장고(1)는 가정의 적용예 또는 산업적 적용예에서 사용될 수 있다.
냉장고(1)는 냉장고(1) 내부의, 특히 냉장고(1)의 격실(3)의 화상을 캡쳐하고 프로세스하기 위한 시스템(2)을 구비한다.
이러한 목적을 위해서, 시스템(2)은 적어도 하나의 카메라 모듈(20)을 포함하고, 각각의 카메라 모듈은 하나 이상의 카메라(21) 그리고 가능하게는 추가적인 전자기기(22), 예를 들어 카메라(21)로부터 수신된 화상 데이터를 프로세스 또는 사전-프로세스, 저장, 전달 등을 하기 위한 메인보드를 갖는다.
각각의 카메라(21)는 전하 결합 소자(CCD)와 같은 화상 센서(21a)(도 2 참조)를 포함한다. 화상 센서(21a)는 일반적으로, 유입 광자를 반도체-산화물 계면에서 전하로 변환하고 이러한 전하를 판독하여 캡쳐된 화상의 표상을 획득하도록 구성된 감광 반도체 기반의 픽셀의 어레이를 갖는다.
시스템(2)은, 격실(3)의 내부로부터 카메라(21)로 광을 전달하도록 구성된 하나 이상의 광학 도파관(30)을 더 포함한다. 도 2를 참조하면, 각각의 도파관(30)은 각각 화상을 수용 및 출력하기 위한 2개의 화상 표면(31, 32)을 갖는다. 본원에서 "화상 출력 표면"으로도 지칭되는, 화상 표면들 중 하나의 화상 표면(31)은 카메라 측에 위치되고 카메라(21)의 화상 센서(21a)에 연결된다. 본원에서 "화상 입력 표면"으로도 지칭되는 다른 화상 표면(32)은 냉장고(1)의 내부 측에 위치되고 그로부터 광을 수용하도록 구성된다.
화상 입력 표면(32)은 유입 광을 포커싱 또는 분산시키기 위한 렌즈(33)와 같은 광학 시스템을 구비할 수 있다. 광학 도파관(30) 및 가능하게는 렌즈(33)와 같은 광학 요소를 포함하는 조립체가 본원에서 화상 전달 부분(34)으로 지칭된다. 가능하게는 렌즈(33)와 같은 광학 요소를 포함하는 화상 입력 표면(32)이 본원에서 수용 헤드(35)로 지칭된다. 화상이 상이한 위치들, 방향들 및 관찰각들로부터 캡쳐될 수 있다는 것을 보여 주기 위해서, 몇 개의 수용 헤드(35)가 도 1에 개략적으로 도시되어 있다.
렌즈(33)와 같은 광학 시스템은 유리 섬유 및 화상 전달 케이블에 의해서 형성될 수 있다. 이는 특히 소형이고 비용-효과적인 구현을 가능하게 한다. 도파관(30)은 가요성 또는 강성일 수 있다. 도파관이 설치 후에 추가적으로 굽혀지지 않는 경우에, 강성 도파관의 제공은 시스템(2)의 효율에 영향을 미치지 않는다.
바람직하게, 다수의 화상 전달 부분(34)이 제공되고 냉장고(1)의 내부 덮개 내에 설치된다. 화상 입력 표면(32)은 냉장고(1)의 내부로부터 광을 수용하고, 광학 도파관(30)은 광을 화상 출력 표면(31)에 전달한다. 화상 출력 표면(31)과 광학적으로 접촉되는 화상 센서(21a)가 광을 검출하고, 그에 의해서 냉장고 격실(3) 내부의 화상을 캡쳐한다.
바람직한 실시형태에 따라, 도파관(30)은 소위 융합 섬유 광학 도파관에 의해서 실현된다. 융합 섬유 광학 도파관은 다수의 섬유, 즉 섬유 번들을 포함한다. 각각의 섬유는 큰 굴절률의 코어 및 작은 굴절률의 클래딩을 갖는다. 화상 입력 표면(32)에서 섬유에 진입하는 광선은 코어와 클래딩 사이의 계면에서의 전반사를 통해서 코어를 따라 안내된다. 강성 또는 가요성 도파관(30)을 형성하기 위해서 (접착제를 이용하여 또는 접착제가 없이, 열을 이용하여 또는 열이 없이) 섬유의 번들이 조합되고 융합될 수 있다.
다수의 섬유를 이용하는 것은, 예를 들어 마이크로-섬유의 이용에 의해서, 작은 부분에서 광학 파동을 전달할 수 있다. 각각의 섬유는 화상 센서(21a)의 개별적인 픽셀을 나타낼 수 있으나; 그러한 1-대-1 상응은 필수적인 것이 아니다. 예를 들어, 섬유 면으로부터 화상 센서(21a)의 픽셀 어레이로의 N-대-M 맵핑이 이용될 수 있다. 또한, 하나의 카메라(21)가 다수의 섬유 번들에 연결될 수 있고, 대안적으로, 셋업에 다수의 카메라(21)가 있을 수 있다.
도 3은 광섬유 번들을 기초로 하는 예시적인 도파관(30)의 종료점, 즉 화상 출력 표면(31)을 도시한다. 다수의 섬유 및/또는 번들이 화상 센서(21a) 측에서 함께 조합 또는 결합되어 결합 화상 데이터를 제공한다. 바람직한 구현예는 도 3에 도시된 바와 같은 직사각형 또는 육각형 형상을 이용하지만, 이러한 구현예는 적용예에 따라 달라질 수 있다. 화상 데이터가 공간적으로 분리된 구역들로부터 또는 동일한 위치로부터 수집될 수 있고; 화상 데이터는 부가적으로 또는 대안적으로 상이한 관찰 방향들 및/또는 상이한 관찰각들로부터 수집될 수 있다.
수신된 화상 데이터는 개발 기간 내에 그리고 고객 측의 제품 수명을 통해서 수집될 수 있다. 이러한 화상을 이용하여 기계 학습 모델을 훈련시킬 수 있고, 이는 다양한 사용-사례를 가능하게 한다. 모델(들)은 온-엣지로(on-edge)(즉 장치에서) 또는 네트워크 시스템에서 훈련될 수 있다.
이러한 목적을 위해서, 시스템(2)은 바람직하게, 유입 화상의 특성을 결정하기 위한 모델을 획득하고 가능하게는 훈련시키도록 구성된 프로세싱 유닛(40)을 포함한다. 이러한 모델은 별도의 화상들 대신 조합된 화상들을 이용하여 훈련될 수 있다. 이러한 경우에, 시스템(2)의 복잡성이 감소될 수 있다. 또한, 클라우드 기반의 훈련 및 예측을 가능하게 하도록 선택적 통신 유닛(50)이 제공될 수 있다.
훈련된 모델은 예를 들어 케첩, 토마토, 식품, 병, 설탕, 조미료, 음료, 음료수 등과 같은 물품에 관한 제품 로고, 제품 케이스 또는 포장 상의 텍스트, 예를 들어 "꿀로 단맛을 낸", "무설탕", "인공감미료 없음" 등, 제품 또는 포장의 크기, 주요 색상, 식품 및 음료수의 위치, 제품의 소비 정도 등을 검출할 수 있다.
본원에서 설명된 바와 같은 시스템(2)은 냉장고(1)의 내부, 즉 격실(3)의 화상을 캡쳐 및 프로세스하도록 구성된다. 시스템(2)의 카메라(21)는 격실(3)의 외부에 위치되고, 다시 말해서 시스템(2)은 카메라(21)를 설치 요건에 따라 냉장고(1)에 또는 심지어 냉장고로부터 이격된 임의의 곳에 배치할 수 있게 한다. 따라서, 냉장고(1)의 유효 체적이 카메라(21)에 의해서 영향을 받지 않는다. 카메라(21)의 케이블 작업 및 적절한 배치가 단순화되고, 그에 의해서 제조 및 유지 보수 프로세스를 개선한다. 특히, 예를 들어 냉장고(1)의 실내 덮개 내에 매립되지 않도록 카메라(21)를 배치하는 것은 카메라(21)를 용이하게 교체 또는 수리할 수 있게 한다. 카메라(21)의 위치는 냉장고(1), 특히 격실(3)의 설계에 영향을 미치지 않거나 그러한 설계를 결정하지 않는다.
카메라(21)를 냉장고(1)의 격실(3) 외부에 설치함으로써, 조합된 무선(RF), 카메라 및 메인보드 설계가 이용될 수 있는데, 이는 냉장고(1)의 금속 케이스가 RF 신호를 차폐하기 때문이다.
화상이 광학적으로 전달되기 때문에, 시스템(2)은 전자기 간섭(EMI)에 특히 저항적이다.
앞서 설명한 실시형태로 본 발명을 상세하게 예시하고 설명하였지만, 이러한 실시형태로 제한되는 것은 아니다. 첨부된 청구항의 범위를 벗어나지 않고 당업자에 의해 다른 변형이 도출될 수 있다.
일반적으로, 예를 들어 "정확히 하나" 등과 같은 용어에 의해 명시적으로 배제되지 않는 한, 용어("a" 또는 "an")는 단수 또는 복수로, 특히 "적어도 하나", "하나 이상" 등의 의미로 이해될 수 있다.
실시형태, 특히 상이한 실시형태에 도시된 특징들은 본 발명의 범위를 벗어나지 않고 조합되거나 대체될 수 있다.
1 냉장고
2 화상을 캡쳐 및 프로세스하기 위한 시스템
3 격실
20 카메라 모듈
21 카메라
21a 화상 센서
22 전자기기
30 도파관
31 화상 출력 표면
32 화상 입력 표면
33 렌즈
34 화상 전달 부분
35 수용 헤드
40 프로세싱 유닛
50 통신 유닛

Claims (12)

  1. 냉장고(1)의 격실(3)의 화상을 캡쳐하고 바람직하게 프로세스하기 위한 시스템(2)이며, 시스템(2)은:
    냉장고(1)의 격실(3)의 완전히 외부에 또는 부분적으로 외부에 위치되는 하나 이상의 카메라(21)를 포함하는 카메라 모듈(20); 및
    카메라(21) 및 냉장고(1)의 격실(3)에 광학적으로 연결되고 카메라(21)가 격실(3)의 내부의 사진을 캡쳐할 수 있게 광을 전달하도록 구성된 하나 이상의 광학 도파관(30)을 포함하는, 시스템(2).
  2. 제1항에 있어서, 도파관(30) 중 적어도 하나가 다수의 광섬유를 포함하고, 각각의 광섬유는 코어 및 클래딩을 갖고, 다수의 광섬유는 섬유 번들을 형성하고, 번들을 형성하는 다수의 광섬유가 바람직하게 함께 완전히 또는 부분적으로 융합되는, 시스템(2).
  3. 제2항에 있어서, 도파관(30)은 N개의 광섬유의 번들을 갖고, 상응 카메라(21)는 M개의 픽셀의 어레이를 갖는 화상 센서(21a)를 포함하고, 여기에서 N≠M인, 시스템(2).
  4. 제2항 또는 제3항에 있어서, 카메라(21) 중 적어도 하나가 다수의 섬유 번들에 연결되는, 시스템(2).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 카메라 모듈(20)은, 카메라(21)의 하나 이상으로부터 수신된 화상 데이터를 프로세스 및/또는 사전-프로세스 및/또는 저장 및/또는 전달하기 위한 추가적인 전자기기(22)를 포함하는, 시스템(2).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 각각의 도파관(30)은, 격실(3)의 내부로부터 광을 수용하도록 구성된 도파관(30)의 화상 입력 표면(32)을 포함하는 수용 헤드(35)를 갖는, 시스템(2).
  7. 제6항에 있어서, 수용 헤드(35)는, 화상 입력 표면(32)과 광학적으로 접촉되는 광학 시스템, 바람직하게 렌즈(33)를 더 포함하는, 시스템(2).
  8. 제6항 및 제7항에 있어서, 상이한 위치들 및/또는 방향들 및/또는 관찰각들로부터의 화상이 카메라(21)의 하나 이상에 의해서 캡쳐될 수 있도록 구성된, 다수의 수용 헤드(35)가 제공되는, 시스템(2).
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 시스템(2)은, 모델에 따라 유입 화상의 특성을 결정하도록 구성된, 카메라(21)에 연결된, 프로세싱 유닛(40)을 더 포함하는, 시스템(2).
  10. 제9항에 있어서, 프로세싱 유닛은, 바람직하게 개별적인 및/또는 조합된 화상을 기초로, 모델을 훈련시키도록 또는 모델에 관한 훈련을 허용하도록 구성되는, 시스템(2).
  11. 제9항 또는 제10항에 있어서, 모델이 제품 로고 및/또는 제품 케이스 또는 포장 상의 텍스트 및/또는 제품의 크기 및/또는 컬러 및/또는 격실(3) 내의 제품의 위치 및/또는 제품의 소비 정도를 검출하도록 구성되는, 시스템(2).
  12. 제1항 내지 제11항 중 어느 한 항에 따른 시스템(2)을 포함하는 냉장고(1).
KR1020227035601A 2020-03-18 2020-03-18 냉장고의 격실의 화상을 캡쳐하고 바람직하게 프로세스하기 위한 시스템 및 냉장고 KR20220156026A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2020/057419 WO2021185436A1 (en) 2020-03-18 2020-03-18 System for capturing and preferably processing images of a compartment of a refrigerator and refrigerator

Publications (1)

Publication Number Publication Date
KR20220156026A true KR20220156026A (ko) 2022-11-24

Family

ID=69941358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227035601A KR20220156026A (ko) 2020-03-18 2020-03-18 냉장고의 격실의 화상을 캡쳐하고 바람직하게 프로세스하기 위한 시스템 및 냉장고

Country Status (6)

Country Link
US (1) US12092391B2 (ko)
EP (1) EP4121705A1 (ko)
JP (1) JP2023525632A (ko)
KR (1) KR20220156026A (ko)
CN (1) CN115298495A (ko)
WO (1) WO2021185436A1 (ko)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001317858A (ja) 2000-05-09 2001-11-16 Matsushita Refrig Co Ltd 冷蔵庫
US10039445B1 (en) * 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP6411753B2 (ja) 2013-03-12 2018-10-24 東芝ライフスタイル株式会社 冷蔵庫、及びカメラ装置
DE102013211096A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerätesystem
DE102013211099A1 (de) 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul
US10027866B2 (en) * 2015-08-05 2018-07-17 Whirlpool Corporation Refrigerators having internal content cameras, and methods of operating the same
JP6563117B2 (ja) * 2016-04-08 2019-08-21 三菱電機株式会社 冷蔵庫
CN205785284U (zh) * 2016-07-06 2016-12-07 北京大恒图像视觉有限公司 一种利用图像回传的方式进行图像采集的检测系统
DE102017216959A1 (de) * 2017-09-25 2019-03-28 BSH Hausgeräte GmbH Digitalkamera und Haushaltskältegerät mit einer Digitalkamera
EP3719424B1 (en) * 2017-11-27 2023-09-20 Mitsubishi Electric Corporation Refrigerator and refrigerator system
US10846552B1 (en) * 2018-09-06 2020-11-24 A9.Com, Inc. Universal object recognition
US20220335402A1 (en) * 2019-10-10 2022-10-20 Crane Payment Innovations, Inc. Payment acceptor with a multifunction imaging sensor
CN115004128A (zh) * 2020-01-27 2022-09-02 奇跃公司 基于注视计时器的用户输入设备的功能增强

Also Published As

Publication number Publication date
US12092391B2 (en) 2024-09-17
EP4121705A1 (en) 2023-01-25
CN115298495A (zh) 2022-11-04
US20230123202A1 (en) 2023-04-20
JP2023525632A (ja) 2023-06-19
WO2021185436A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
US8149327B2 (en) Camera module with dual lens modules and image sensors
CN101930125B (zh) 头戴型显示器以及头戴型显示器中的图像显示方法
US8451252B2 (en) Image sensor for touch screen and image sensing apparatus
US9338342B2 (en) Infrared lens unit and infrared camera system provided with the infrared lens unit
CN104914577A (zh) 光学装置及其组装方法、头戴式显示器及对准装置
US10863061B2 (en) Image sensor
US11463568B2 (en) Camera module and electronic device
US8113661B2 (en) Projection-type display apparatus
US7211784B2 (en) Photo-detection device and temperature distribution detection device using the same
CN105634607A (zh) 利用光波导的光信号收发装置
KR20220156026A (ko) 냉장고의 격실의 화상을 캡쳐하고 바람직하게 프로세스하기 위한 시스템 및 냉장고
US7887209B2 (en) Light source device and display apparatus
US20210364797A1 (en) Optical device displaying image in short-distance
TR202004201A2 (tr) System for capturing and preferably processing images of a compartment of a refrigerator and refrigerator.
US20040008920A1 (en) Optically sensed high density switch position sensor
US20090195896A1 (en) Imaging system
US20180160104A1 (en) Head Mounted Display
US20200225428A1 (en) One-to-many optical fiber array structures and methods
CN110995965A (zh) 一种拍摄模组及电子设备
US12099201B2 (en) Display system, display glasses and display system control method
US20240027329A1 (en) Lensless imaging device
US20240264443A1 (en) Display system, display glasses and display system control method
CN109669249B (zh) 一种双波长双向传输光组件及方法
US11756180B2 (en) Image processing system and imaging device
JP7493965B2 (ja) 撮像装置

Legal Events

Date Code Title Description
WITB Written withdrawal of application