KR20200064181A - 디스플레이 장치를 갖는 인공지능 냉장고 - Google Patents

디스플레이 장치를 갖는 인공지능 냉장고 Download PDF

Info

Publication number
KR20200064181A
KR20200064181A KR1020180141529A KR20180141529A KR20200064181A KR 20200064181 A KR20200064181 A KR 20200064181A KR 1020180141529 A KR1020180141529 A KR 1020180141529A KR 20180141529 A KR20180141529 A KR 20180141529A KR 20200064181 A KR20200064181 A KR 20200064181A
Authority
KR
South Korea
Prior art keywords
food
refrigerator
coordinates
display
processor
Prior art date
Application number
KR1020180141529A
Other languages
English (en)
Other versions
KR102377971B1 (ko
Inventor
이중근
김민수
최유현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180141529A priority Critical patent/KR102377971B1/ko
Publication of KR20200064181A publication Critical patent/KR20200064181A/ko
Application granted granted Critical
Publication of KR102377971B1 publication Critical patent/KR102377971B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F25D23/028—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Thermal Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

본 발명의 실시 예에 따른 인공지능 기반의 냉장고는, 도어에 설치되고, 터치 패널과 디스플레이를 포함하는 디스플레이 장치, 내부에 보관된 식품들을 포함하는 이미지를 획득하는 카메라, 획득된 이미지를 표시하도록 상기 디스플레이를 제어하는 디스플레이 컨트롤러, 음성을 획득하는 마이크로폰, 획득된 음성을 인식하여 인식 결과를 출력하는 음성 인식 모듈, 및 상기 터치 패널을 통해 수신되는 터치 입력의 좌표를 획득하고, 획득된 좌표와 상기 음성의 인식 결과에 기초하여, 상기 좌표에 대응하는 식품을 인식하고, 인식된 식품에 대한 기능을 수행하는 프로세서를 포함한다.

Description

디스플레이 장치를 갖는 인공지능 냉장고{ARTIFICIAL INTELLIGENCE REFRIGERATOR INCLUDING DISPLAY APPARATUS}
본 발명은 냉장고에 관한 것으로서, 특히 도어에 디스플레이 장치가 구비된 인공지능 냉장고에 관한 것이다.
냉장고는 냉동 또는 냉장 사이클을 반복하면서 냉동실 또는 냉장실을 특정 온도로 냉각시켜 식품을 일정기간 동안 신선하게 보관할 수 있는 장치이다. 일반적으로 냉장고에는 저장 공간을 형성하는 본체 및 저장 공간을 개방 또는 폐쇄하는 도어가 포함된다. 저장 공간에는 음식과 같은 저장물이 저장되며 사용자는 저장물을 보관하거나 보관된 저장물을 인출하기 위해 도어를 개방할 수 있다.
최근 냉장고의 폭 넓은 보급 및 기술의 발전에 따라, 냉장고의 부가적인 기능에 대한 다양한 요구사항이 증가하고 있다. 최근에는 디스플레이 장치와 카메라를 갖는 냉장고, 또는 유리와 같은 투명한 소재로 제작되는 도어를 갖는 냉장고가 개발되고 있다. 이러한 냉장고는 카메라를 이용하여 저장물들의 이미지를 획득하고, 획득된 이미지를 디스플레이 장치를 통해 출력하거나, 투명한 도어를 통해 냉장고의 내부를 외부에서 확인하도록 할 수 있다. 이에 따라, 사용자는 냉장고의 도어를 열지 않고도 내부의 저장물을 편리하게 확인할 수 있다. 또한, 이러한 냉장고를 활용하여, 냉장고 내의 식품의 등록, 관리, 구매 등 추가적인 기능을 제공하려는 시도가 증가하고 있다.
한편, 최근에는 인공지능(artificial intelligence) 기술에 대한 관심이 증가하고 있다. 상기 인공지능 기술의 여러 분야 중 인간의 학습 능력을 컴퓨터 상에서 실현하기 위한 기술로서 머신 러닝이 존재한다.
종래의 머신 러닝은 통계학 기반의 분류, 회귀, 군집 모델이 중심이었다. 특히, 분류, 회귀 모델의 지도 학습에서는 학습 데이터의 특성과 이러한 특성을 기반으로 새로운 데이터를 구별하는 학습 모델이 사전에 정의되었다. 이와 달리, 최근 빅데이터 개념의 등장과 함께 관심도가 증가하는 딥러닝은, 방대한 양의 데이터를 이용하여 컴퓨터가 스스로 특성을 찾아내고 판별하는 것이다.
최근 이러한 딥러닝과 관련되어 오픈소스로 제공되는 딥러닝 프레임워크들이 등장하였고, 이에 따라 효과적인 학습 및 인식을 위해, 딥러닝 알고리즘 외에 학습 과정, 학습 방법, 학습에 사용되는 데이터의 추출 및 선정과 관련된 기술이 더욱 중요해지고 있다. 또한, 머신 러닝을 다양한 제품이나 서비스에 이용하기 위한 연구가 증가하고 있다.
1. 공개특허공보 제10-2015-0026412호 (2015.03.11. 공개)
본 발명이 해결하고자 하는 과제는, 내부에 보관된 식품을 정확히 인식할 수 있는 인공지능 냉장고를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 냉장고 내부에 보관된 식품에 대한 기능의 사용 편의성을 향상시킬 수 있는 인공지능 냉장고를 제공하는 것이다.
본 발명의 실시 예에 따른 인공지능 기반의 냉장고는, 도어에 설치되고, 터치 패널과 디스플레이를 포함하는 디스플레이 장치, 내부에 보관된 식품들을 포함하는 이미지를 획득하는 카메라, 획득된 이미지를 표시하도록 상기 디스플레이를 제어하는 디스플레이 컨트롤러, 음성을 획득하는 마이크로폰, 획득된 음성을 인식하여 인식 결과를 출력하는 음성 인식 모듈, 및 상기 터치 패널을 통해 수신되는 터치 입력의 좌표를 획득하고, 획득된 좌표와 상기 음성의 인식 결과에 기초하여, 상기 좌표에 대응하는 식품을 인식하고, 인식된 식품에 대한 기능을 수행하는 프로세서를 포함한다.
상기 음성 인식 모듈은, 상기 음성의 주파수 특성에 기초하여 상기 음성에 포함된 적어도 하나의 부분 음성 각각을 인식하는 인식 모델을 갖는 음성 인식기를 포함하고, 상기 적어도 하나의 부분 음성 각각은, 상기 이미지에 포함된 식품의 식별 정보, 또는 상기 식품에 대한 상기 기능과 관련된 명령일 수 있다.
상기 음성 인식기는, 상기 적어도 하나의 부분 음성 각각의 주파수 특성과, 상기 적어도 하나의 부분 음성 각각의 인식 결과를 이용하여 상기 인식 모델을 업데이트할 수 있다.
실시 예에 따라, 상기 인식 결과에 상기 식품의 등록과 관련된 명령이 포함된 경우, 상기 프로세서는 상기 획득된 좌표와 상기 식품의 식별 정보를 포함하는 식품 관리 정보를 생성하고, 생성된 식품 관리 정보를 메모리에 저장할 수 있다.
실시 예에 따라, 상기 디스플레이 컨트롤러는 상기 식품 관리 정보 중 적어도 일부를 포함하는 태그를 상기 좌표에 대응하는 위치에 표시하도록 상기 디스플레이를 제어할 수 있다.
실시 예에 따라, 상기 인식 결과에 상기 식품의 구매와 관련된 명령이 포함된 경우, 상기 프로세서는 메모리로부터 상기 좌표에 대응하는 식품 관리 정보를 획득하고, 상기 명령에 기초하여, 상기 인식 결과로부터 획득되는 주문 식품, 주문 수량, 및 주문 타이머 중 적어도 하나를 포함하도록 상기 식품 관리 정보를 업데이트할 수 있다.
상기 프로세서는, 상기 식품의 구매와 관련된 명령에 기초하여, 통신부를 통해 상기 식품의 판매 서비스 제공 서버로 접속하고, 상기 식품의 구매 정보를 상기 판매 서비스 제공 서버로 전송할 수 있다.
실시 예에 따라, 상기 프로세서는 메모리로부터 상기 획득된 좌표 정보에 대응하는 식품 관리 정보를 획득하고, 획득된 식품 관리 정보에 포함된 식별 정보와, 상기 인식 결과에 포함된 식별 정보를 비교하고, 비교 결과 상기 획득된 식품 관리 정보에 포함된 식별 정보와 상기 인식 결과에 포함된 식별 정보가 일치하는 경우, 상기 인식된 식품에 대한 기능을 수행할 수 있다.
상기 냉장고는 상기 획득된 좌표에 기초하여, 상기 획득된 이미지로부터 상기 좌표를 포함하는 식품 이미지를 추출하는 이미지 처리 프로세서를 더 포함할 수 있다.
실시 예에 따라, 상기 디스플레이는 투명 디스플레이로 구현되고, 상기 프로세서는, 상기 투명 디스플레이를 통해 외부로 투시되는 식품들 중 어느 하나의 식품이 투시된 위치에 대응하는 터치 입력을 상기 터치 패널을 통해 수신하고, 수신된 터치 입력의 좌표를, 상기 획득된 이미지 상의 대응하는 좌표로 변환할 수 있다.
상기 프로세서는, 상기 변환된 좌표와 상기 음성의 인식 결과에 기초하여, 상기 이미지 내의 상기 변환된 좌표에 대응하는 식품을 인식하고, 인식된 식품에 대한 기능을 수행할 수 있다.
본 발명의 실시 예에 따르면, 냉장고는 인공지능 기반의 음성 인식 모듈을 통해 사용자의 음성으로부터 식품의 식별정보나 명령을 정확히 인식할 수 있다. 또한, 냉장고는 터치 입력의 좌표와 식품의 식별정보에 기초하여, 카메라에 의해 획득된 이미지에 포함된 식품이나 투명 디스플레이를 통해 투시되는 식품을 보다 정확히 인식할 수 있다.
또한, 사용자는 식품의 등록이나 구매 등의 각종 기능을 실행하기 위한 절차를 한 번의 터치 입력과 음성 입력으로 간소화할 수 있으므로, 사용자의 편의성이 증대되고, 냉장고가 제공하는 기능들의 활용도가 높아질 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치를 갖는 냉장고의 정면도이다.
도 2는 본 발명의 일 실시 예에 따른 냉장고의 제어 구성과 관련된 블록도이다.
도 3과 도 4는 본 발명의 실시 예에 따른 웨어러블 기기의 음성 인식 모듈에 적용되는 인공지능의 일례로서 딥러닝(deep learning)을 설명하기 위한 도면들이다.
도 5는 음성 인식 모듈의 인식 동작 및 학습 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 냉장고의 동작을 설명하기 위한 플로우차트이다.
도 7은 도 6에 도시된 냉장고의 동작과 관련하여, 냉장고가 특정 식품을 식품 관리 데이터베이스에 등록하는 동작을 설명하기 위한 예시도이다.
도 8은 도 7의 실시 예와 관련하여, 냉장고의 이미지 처리 프로세서가 식품의 이미지를 추출하는 동작을 설명하기 위한 플로우차트이다.
도 9는 도 6에 도시된 냉장고의 동작과 관련하여, 냉장고가 특정 식품의 구매 기능을 제공하는 동작을 설명하기 위한 예시도이다.
도 10은 디스플레이 장치가 냉장고 내부의 식품이 외부로 투시되도록 투명 디스플레이로 구현되는 경우, 냉장고가 사용자의 터치 입력에 기반하여 식품을 인식하는 실시 예를 설명하기 위한 플로우차트이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명한다. 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치를 갖는 냉장고의 정면도이다.
본 발명에 따른 디스플레이 장치(100)는 냉장고(10)의 도어(11)의 전면에 설치되며, 투명하게 형성된다. 도 1에서는 복수의 도어 중 어느 하나의 도어에만 디스플레이 장치(100)가 형성된 것으로 도시되어 있으나, 실시 예에 따라 디스플레이 장치(100)는 복수의 도어들 중 둘 이상의 도어 각각에 형성될 수도 있다.
상기와 같이 디스플레이 장치(100)가 투명하게 형성되면, 냉장고(10) 외부에서, 디스플레이 장치(100)를 통해서, 냉장고(10) 내부에 보관된 식품 등의 컨텐츠(20)를 확인할 수 있다.
또한, 상기와 같이 냉장고 도어에 투명 디스플레이가 적용되면, 외부에서, 냉장고(10)에 보관된 식품 등의 컨텐츠(20)에 대한 정보를 확인할 수 있다. 상세히, 사용자가 냉장고(10)에 보관된 식품 등의 컨텐츠(20)를 바라볼 때, 해당 컨텐츠(20)에 대한 정보가 컨텐츠(20)와 중첩되게 표시될 수 있다. 물론, 해당 컨텐츠(20)에 대한 정보는 사용자에 의해 미리 입력 후, 저장된 상태이다. 따라서, 사용자는 컨텐츠(20)의 종류, 용도, 유통기한 등의 정보를 실시간으로 제공받을 수 있다.
한편, 냉장고(10)의 내부에는 카메라(110)가 배치될 수 있다. 예컨대, 카메라(110)는 도어(11)의 양면 중 냉장고(10)의 내부를 바라보는 면에 배치되어, 냉장고(10)의 내부에 대한 이미지를 획득할 수 있다. 다만, 실시 예에 따라서는 카메라(110)는 냉장고(10) 내의 다양한 위치에 적어도 하나가 배치될 수도 있다.
냉장고(10)는 획득된 이미지를 저장하거나, 디스플레이 장치(100)를 통해 표시할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 냉장고의 제어 구성과 관련된 블록도이다.
도 2를 참조하면, 냉장고(10)는 도 1에 도시된 디스플레이 장치(100)와 카메라(110)를 포함할 수 있다. 또한, 냉장고(10)는, 마이크로폰(120), 스피커(130), 메모리(140), 통신부(150), 및 제어부(160)를 포함할 수 있다. 도 2에 도시된 구성요소들은 냉장고(10)를 구현하는 데 있어서 필수적인 것은 아닌 바, 냉장고(10)는 도 2에 도시된 구성 요소들보다 많거나 적은 구성 요소들을 포함할 수도 있다.
디스플레이 장치(100)는 사용자로부터 터치 입력을 수신하는 터치 패널(101)과, 그래픽이나 텍스트 등을 표시하는 디스플레이(102)를 포함할 수 있다. 터치 패널(101)과 디스플레이(102)는 일체형으로 형성될 수도 있고, 적층된 별도의 구성으로 형성될 수도 있다.
제어부(160)에 포함된 프로세서(161)는, 터치 패널(101)을 통해 수신되는 터치 입력에 기초하여, 터치 입력의 종류(예컨대, 숏-터치, 롱-터치, 드래그 앤 드랍 등)를 감지하고, 터치 입력의 좌표 정보를 획득할 수 있다.
제어부(160)에 포함된 디스플레이 컨트롤러(162)는, 프로세서(161)로부터 제공되는 신호나 데이터에 기초하여 디스플레이(102)의 동작을 제어할 수 있다. 디스플레이(102)는 디스플레이 컨트롤러(162)의 제어에 따라 그래픽 또는 텍스트 등을 출력할 수 있다.
카메라(110)는 도 1에서 상술한 바와 같이 냉장고(10)의 내부에 배치될 수 있다. 제어부(160)에 포함된 카메라 컨트롤러(163)는 도어(11)가 사용자에 의해 오픈되면, 도어(11)가 클로즈되는 시점까지 적어도 하나의 이미지를 획득하도록 카메라(110)를 제어할 수 있다. 카메라(110)에 의해 획득되는 적어도 하나의 이미지는 메모리(140)의 이미지 DB(144)에 저장될 수 있다. 실시 예에 따라, 카메라(110)에 의해 획득되는 적어도 하나의 이미지는 통신부(150)를 통해 서버(미도시)나 단말기 등으로 전송될 수도 있다.
실시 예에 따라, 카메라 컨트롤러(163)는 도어(11)의 열림각이 기설정된 열림각에 도달한 경우 이미지를 획득하도록 카메라(110)를 제어할 수도 있다. 상기 기설정된 열림각은 카메라(110)가 냉장고(10) 내부의 영역들을 최대로 포함하는 이미지를 획득 가능한 각도일 수 있다.
실시 예에 따라, 카메라 컨트롤러(163)는 터치 패널(101)이나 마이크로폰(120) 등의 입력부를 통해 수신되는 특정 제어 명령에 기초하여, 냉장고(10) 내부의 이미지를 획득하도록 카메라(110)를 제어할 수도 있다.
한편, 제어부(160)의 이미지 처리 프로세서(164)는, 각종 이미지 처리 기법을 통해 카메라(110)에 의해 획득된 이미지로부터 식품 이미지를 추출할 수 있다. 또는, 이미지 처리 프로세서(164)는 도어(11)의 열림 전 후 획득된 이미지들로부터, 식품이 냉장고(10) 내로 입고 또는 출고됨에 따른 이미지 변화를 감지할 수 있다. 프로세서(161) 또는 이미지 처리 프로세서(164)는 감지된 이미지 변화에 기초하여 상기 입고 또는 출고된 식품을 감지할 수도 있다.
마이크로폰(120)은 사용자로부터 음성을 획득하고, 획득된 음성을 프로세서(161)로 제공할 수 있다. 예컨대, 상기 음성은 사용자가 특정 식품과 관련하여 제공받고자 하는 기능과 관련된 것일 수 있다.
상기 음성은 적어도 하나의 부분 음성을 포함할 수 있다. 상기 부분 음성은, 상기 특정 식품의 식별 정보(예컨대, 식품명), 또는 상기 기능과 관련된 명령일 수 있다. 즉, 상기 음성에는 상기 특정 식품의 식별 정보와 명령 중 적어도 하나가 포함될 수 있다.
스피커(130)는 냉장고(10)의 동작과 관련된 정보를 음향 또는 음성 형태로 출력할 수 있다. 실시 예에 따라, 냉장고(10)는 디스플레이 장치(100)를 통해 냉장고(10)의 동작과 관련된 정보를 출력할 수 있다.
메모리(140)는 냉장고(10)에 포함된 구성들의 동작을 위한 제어 데이터나 알고리즘 등을 저장할 수 있다. 한편, 메모리(140)는 냉장고(10) 내에 보관 중인 식품들과 관련된 각종 정보를 저장하는 식품 관리 DB(142)와, 카메라(110)에 의해 획득된 이미지를 저장하는 이미지 DB(144)를 포함할 수 있다. 실시 예에 따라, 식품 관리 DB(142)와 이미지 DB(144)는 냉장고(10)와 통신부(150)를 통해 연결되는 서버 등에 존재할 수도 있다.
통신부(150)는 냉장고(10)를 사용자의 단말기나 서버 등과 연결시키는 적어도 하나의 통신 모듈을 포함할 수 있다. 예컨대, 통신부(150)는 와이파이(Wi-Fi) 등과 같은 무선 인터넷 모듈이나, 블루투스(Bluetooth) 등과 같은 근거리 무선 통신 모듈 등을 포함할 수 있다.
제어부(160)는 냉장고(10)의 전반적인 동작을 제어할 수 있다. 제어부(160)는 사용자에게 냉장고(10)가 지원하는 기능을 제공하기 위해, 냉장고(10)에 포함된 적어도 하나의 구성을 제어할 수 있다.
이러한 제어부(160)는 적어도 하나의 CPU, AP(application processor), 컨트롤러, 마이크로컴퓨터, 집적회로 등을 포함할 수 있다. 예컨대, 도 2에 도시된 바와 같이, 제어부(160)는 프로세서(161), 디스플레이 컨트롤러(162), 카메라 컨트롤러(163), 이미지 처리 프로세서(164), 및 음성 인식 모듈(165)을 포함할 수 있으나, 이에 한정되는 것은 아니다.
한편, 본 발명의 실시 예에 따른 제어부(160; 또는 프로세서(161))는, 마이크로폰(230)으로부터 획득되는 음성을 인공지능 기반의 음성 인식 모듈(165)로 입력하여, 상기 음성을 인식할 수 있다. 음성 인식 모듈(165)은 상기 음성에 포함된 적어도 하나의 부분 음성을 인식하고, 인식된 적어도 하나의 부분 음성을 포함하는 인식 결과를 출력할 수 있다.
상술한 바와 같이, 상기 부분 음성은 상기 특정 식품의 식별 정보(예컨대, 식품명), 또는 상기 기능과 관련된 명령일 수 있다. 즉, 상기 음성에는 상기 특정 식품의 식별 정보와 명령 중 적어도 하나가 포함될 수 있다.
예컨대, 음성 인식 모듈(165)은 머신 러닝(machine learning)으로 기학습된 인공신경망(artificial neural network; ANN)을 갖는 음성 인식기를 포함하여, 입력된 음성을 인식하여 상기 식별 정보나 특성 정보를 포함하는 인식 결과를 출력할 수 있다.
프로세서(161)는 음성 인식 모듈(165)의 인식 결과와, 터치 패널(101)을 통해 획득된 터치 입력에 기초하여 식품 관리와 관련된 기능을 수행할 수 있다.
이하, 도 3 내지 도 5를 참조하여 음성 인식 모듈(165)에 적용되는 인공지능 기술의 일례로서 딥러닝에 대해 보다 상세히 설명한다.
도 3과 도 4는 본 발명의 실시 예에 따른 웨어러블 기기의 음성 인식 모듈에 적용되는 인공지능의 일례로서 딥러닝(deep learning)을 설명하기 위한 도면들이다.
인공지능이란 인간의 지능으로 할 수 있는 사고, 학습, 자기 개발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 일 분야에 해당한다. 이러한 인공지능의 연구 분야 중 하나인 머신 러닝은 경험적 데이터를 기반으로 예측을 수행하고, 학습을 통해 스스로의 성능을 향상시키는 시스템을 의미할 수 있다. 머신 러닝의 일종인 딥러닝 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.
딥러닝은 단계를 높여갈수록 복수의 데이터로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(artificial neural network(ANN))을 포함할 수 있고, 예를 들어 딥러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(deep neural network)으로 구성될 수 있다.
도 3을 참조하면, 인공신경망은 입력 레이어(Input Layer), 히든 레이어(Hidden Layer), 및 출력 레이어(Output Layer)를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 각 레이어는 다음 레이어와 연결된다. 인접한 레이어 사이의 노드들은 웨이트(weight)를 가지고 서로 연결될 수 있다.
도 4를 참조하면, 컴퓨팅 장치(머신)는 투입된 입력 데이터(410)로부터 일정한 패턴을 발견해 특징맵(feature map)을 형성할 수 있다. 예컨대, 컴퓨팅 장치(머신)는 하위레벨 특징(420)부터, 중간레벨 특징(430), 및 상위레벨 특징(440)을 추출하여, 대상을 인식하고 그 결과를 출력(450)할 수 있다.
인공신경망은 다음 순서의 레이어로 갈수록 더욱 상위레벨의 특징으로 추상화할 수 있다.
도 3과 도 4를 참조하면, 각 노드들은 활성화 모델에 기초하여 동작할 수 있고, 활성화 모델에 따라 입력값에 대응하는 출력값이 결정될 수 있다.
임의의 노드, 예를 들어, 하위레벨 특징(420)의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 중간레벨 특징(430)의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 중간레벨 특징(430)의 노드는 하위레벨 특징(420)의 복수의 노드들로부터 출력되는 값들을 입력받을 수 있다.
이 때, 각 노드의 입력값은 이전 레이어의 노드의 출력값에 웨이트(weight)가 적용된 값일 수 있다. 웨이트는 노드 간의 연결 강도를 의미할 수 있다.
또한, 딥러닝 과정은 적절한 웨이트를 찾아내는 과정으로도 볼 수 있다.
한편, 임의의 노드, 예를 들어, 중간레벨 특징(430)의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 상위레벨 특징(440)의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 상위레벨 특징(440)의 노드는 중간레벨 특징(430)의 복수의 노드로부터 출력되는 값들을 입력받을 수 있다.
인공신경망은 각 레벨에 대응하는 학습된 레이어(layer)를 이용하여, 각 레벨에 대응하는 특징 정보를 추출할 수 있다. 인공신경망은 순차적으로 추상화하여, 가장 상위 레벨의 특징 정보를 활용하여 소정 대상을 인식할 수 있다.
예를 들어, 딥러닝에 의한 얼굴인식 과정을 살펴보면, 컴퓨터는 입력 영상으로부터, 픽셀의 밝기에 따라 밝은 픽셀과 어두운 픽셀을 구분하고, 테두리, 에지 등 단순한 형태를 구분한 후, 조금 더 복잡한 형태와 사물을 구분할 수 있다. 최종적으로 컴퓨터는 인간의 얼굴을 규정하는 형태를 파악할 수 있다.
본 발명에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등일 수 있다.
RNN(Recurrent Neural Network)은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.
DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)를 구성할 수 있다.
CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.
한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.
한편, 메모리(140) 또는 서버에는 상기 인공신경망을 학습하기 위한 데이터가 저장될 수 있다. 또한, 실시 예에 따라서는, 메모리(140)에는 인공신경망 구조를 이루는 웨이트, 바이어스들이 저장될 수 있다. 또는, 실시 예에 따라서는, 상기 인공신경망 구조를 이루는 웨이트, 바이어스들은 음성 인식 모듈(165)의 임베디드 메모리에 저장될 수도 있다.
한편, 음성 인식 모듈(165)은 마이크로폰(120)으로부터 획득되는 음성이 인식될 때마다, 획득된 음성과 인식 결과를 이용하여 음성 인식기의 학습 과정을 수행할 수 있다. 상기 학습 과정이 수행됨에 따라, 웨이트 등 인공신경망 구조가 업데이트될 수 있다. 이를 위해, 냉장고(10)는 학습 모듈을 포함할 수 있다. 상기 학습 모듈은 음성 인식 모듈(165) 내에 구현되거나, 별도로 구현될 수 있다.
도 5는 음성 인식 모듈의 인식 동작 및 학습 동작을 설명하기 위한 도면이다.
도 5를 참조하면, 음성 인식 모듈(165)의 음성 인식기는 마이크로폰(120)을 통해 사용자의 음성이 입력되면, 입력된 음성을 인식하여 인식 결과를 출력할 수 있다. 실시 예에 따라, 음성 인식기는 1회의 인식 결과를 최종 인식 결과로서 출력할 수 있으나, 복수 회의 인식 동작을 반복 또는 연속 수행하고, 복수 회의 인식 결과에 기초하여 최종 인식 결과를 출력함으로써, 입력된 음성에 대한 인식 정확도를 보다 향상시킬 수도 있다.
한편, 음성 인식기는 수신된 음성을 수집하여 데이터베이스를 구축하고, 획득된 음성에 포함된 부분 음성 각각으로부터 추출된 특징점들과, 부분 음성 각각의 인식 결과를 이용하여 음성 인식기의 학습을 수행할 수 있다. 도 2에서 상술한 바와 같이, 상기 부분 음성은 식품의 식별 정보(식품명 등) 또는 냉장고(10)가 제공하는 기능과 관련된 명령에 해당할 수 있다.
예컨대, 음성 인식기는 수집된 음성에 포함된 부분 음성 각각의 주파수 특성을 추출할 수 있다. 음성 인식기는 MFCC(mel-frequency cepstral coefficient) 등의 공지된 알고리즘을 이용하여 상기 부분 음성 각각의 주파수 특성을 추출할 수 있다. 음성 인식기는 상기 부분 음성 각각의 주파수 특성에 기초하여 상기 음성 인식기의 학습 및 인식 동작을 수행할 수 있다.
구체적으로, 음성 인식기는 입력된 음성을 일정 구간씩 분할하고, 분할된 구간 각각에 대한 주파수 스펙트럼을 분석함으로써 구간들 각각의 주파수 특성을 추출할 수 있다. 음성 인식기는 구간들 각각의 주파수 특성(주파수 특징 벡터)을 인공신경망에 입력함으로써, 각 구간의 음성을 인식할 수 있다. 음성 인식기는 인식 결과에 기초하여, 획득된 음성에 포함된 부분 음성들을 구분하고, 부분 음성들 각각의 인식 결과를 출력할 수 있다. 부분 음성들 각각은 적어도 하나의 구간을 포함할 수 있다.
음성 인식기는 획득된 음성에 포함된 부분 음성들 각각의 주파수 특성과, 상기 부분 음성들 각각의 인식 결과에 기초하여 음성 인식기의 학습을 수행할 수 있다.
이러한 음성 인식기는 시간의 흐름에 따라 변화하는 주파수 패턴을 갖는 음성을 인식하므로, 상기 인공신경망은 RNN(recurrent neural network), CNN(convolutional neural network), 또는 이들의 조합으로 구성될 수 있다.
음성 인식기의 학습을 통해, 상기 음성 인식기에 포함된 인공신경망의 파라미터들(웨이트 및 바이어스)이 업데이트될 수 있다. 상기 데이터베이스는 냉장고(10)의 메모리(140) 또는 음성 인식 모듈(165)의 임베디드 메모리에 저장되거나, 냉장고(10)와 연결된 서버(미도시)의 메모리에 저장될 수 있다.
이하 도 6 내지 도 10을 참조하여, 본 발명의 실시 예에 따른 냉장고(10)가 인공지능 기반의 음성 인식을 통해 식품의 관리와 관련된 다양한 기능을 제공하는 동작을 설명하기로 한다.
도 6은 본 발명의 실시 예에 따른 냉장고의 동작을 설명하기 위한 플로우차트이다.
도 6을 참조하면, 냉장고(10)는 사용자에 의해 도어(11)가 오픈되면(S100), 카메라(110)를 이용하여 냉장고(10) 내부의 이미지를 획득할 수 있다(S110). 예컨대, 냉장고(10)는 도어(11)가 클로즈될 때까지(S120), 카메라(110)를 이용하여 적어도 하나의 이미지를 획득할 수 있다.
제어부(160)의 프로세서(161)는 도어(11)가 열림이 감지되면, 카메라(110)를 이용하여 냉장고(10) 내부의 이미지를 획득하도록 카메라 컨트롤러(163)로 제어 신호를 전송할 수 있다. 예컨대, 냉장고(10)에는 도어(11)의 열림/닫힘, 또는 열림각을 감지하는 감지 센서가 구비될 수 있고, 프로세서(161)는 상기 감지 센서를 이용하여 도어(11)의 열림을 감지할 수 있다.
카메라 컨트롤러(163)는 수신된 제어 신호에 기초하여, 냉장고(10) 내부의 이미지를 획득하도록 카메라(110)를 제어할 수 있다. 상기 냉장고(10) 내부의 이미지는, 냉장고(10)의 저장실 내에 수용된 적어도 하나의 식품 각각의 식품 이미지를 포함할 수 있다.
카메라(110)는 도어(11)의 열림 동안 적어도 하나의 이미지를 획득할 수 있다. 프로세서(161) 또는 이미지 처리 프로세서(164)는, 획득된 적어도 하나의 이미지를 메모리(140)의 이미지 DB(144)에 저장할 수 있다. 또는, 프로세서(161) 또는 이미지 처리 프로세서(164)는, 획득된 적어도 하나의 이미지 중 어느 하나의 이미지만을 이미지 DB(144)에 저장할 수도 있다. 이미지 DB(144)에 저장되는 어느 하나의 이미지는, 도어(11)의 열림각이 최대일 때 획득된 이미지이거나, 상기 적어도 하나의 이미지 중 마지막으로 획득된 이미지일 수 있으나, 이에 한정되는 것은 아니다.
실시 예에 따라, 카메라(110)는 도어(11)의 열림각이 기설정된 열림각에 해당하는 경우 냉장고(10) 내부의 이미지를 획득할 수도 있다. 이 경우, 프로세서(161)는 상기 감지 센서를 이용하여 도어(11)의 열림각을 감지하고, 감지된 열림각이 기설정된 열림각에 해당하는 경우 카메라 컨트롤러(163)로 제어 신호를 전송할 수 있다.
프로세서(161)는 도어(11)의 닫힘이 감지되면, 카메라(110)의 동작을 종료하도록 카메라 컨트롤러(163)로 제어 신호를 전송할 수 있다.
냉장고(10)는 디스플레이 장치(100)를 통해 사용자의 터치 입력을 수신하고, 마이크로폰(120)을 통해 사용자의 음성을 수신할 수 있다(S130).
프로세서(161)는 S110 단계에서 획득된 이미지를 디스플레이 장치(100)를 통해 디스플레이하도록 디스플레이 컨트롤러(162)로 제어 신호를 전송할 수 있다. 예컨대, 프로세서(161)는 도어(11)가 닫힌 후 상기 제어 신호를 전송하거나, 터치 패널(101) 또는 마이크로폰(120)을 통해 사용자로부터 이미지의 표시 요청을 수신한 경우 상기 제어 신호를 전송할 수 있다.
디스플레이 컨트롤러(162)는 수신된 제어 신호에 응답하여, 상기 이미지를 표시하도록 디스플레이(102)를 제어할 수 있다.
실시 예에 따라, 프로세서(161)는 상기 이미지의 표시 대신, 냉장고(10)의 내부가 외부에서 가시화되도록 냉장고 내부의 라이트를 제어하여, 사용자로 하여금 냉장고(10)의 내부를 확인하도록 할 수도 있다. 이와 관련된 실시 예는 추후 도 10을 통해 보다 상세히 설명하기로 한다.
사용자는 디스플레이(102)를 통해 표시된 이미지에 기초하여, 상기 이미지에 포함된 특정 식품과 관련된 명령을 입력할 수 있다. 예컨대, 사용자는 상기 이미지에 포함된 복수의 식품들 중, 상기 특정 식품이 표시된 위치를 터치할 수 있고, 상기 명령을 포함하는 음성 또는 상기 특정 식품의 식별정보(식품명 등)와 명령을 포함하는 음성을 발화할 수 있다.
프로세서(161)는 터치 패널(101)을 통해 사용자의 터치 입력을 수신할 수 있고, 마이크로폰(120)을 통해 상기 발화된 음성을 수신할 수 있다.
상기 터치 입력과 음성은 동시에 수신될 수도 있고, 순차적으로 수신될 수도 있다.
냉장고(10)는, 인공지능 기반의 음성 인식 모듈(165)을 통해, 상기 수신된 음성을 인식할 수 있다(S140).
프로세서(161)는 상기 수신된 음성을 음성 인식 모듈(165)로 입력할 수 있다. 실시 예에 따라, 프로세서(161)는 수신된 음성을 처리(필터링, 증폭, 노이즈 제거 등)하고, 처리된 음성을 음성 인식 모듈(165)로 입력할 수도 있다.
상술한 바와 같이, 음성 인식 모듈(165)은 인공지능의 일 분야인 머신 러닝 기반의 인공신경망이 적용된 음성 인식기를 포함할 수 있다.
음성 인식 모듈(165)은 상기 음성 인식기를 통해, 상기 입력된 음성에 포함된 적어도 하나의 부분 음성(식품의 식별정보 및/또는 명령)을 인식하고, 상기 인식된 정보를 포함하는 인식 결과를 출력할 수 있다.
냉장고(10)는 터치 입력의 좌표와 상기 인식된 음성 내의 식품 식별정보에 기초하여 식품을 인식할 수 있다(S150). 냉장고(10)는 인식된 식품에 대해, 상기 인식된 음성 내의 명령과 관련된 동작을 수행함으로써 상기 명령을 처리할 수 있다(S160).
프로세서(161)는 S130 단계에서 수신된 터치 입력의 좌표를 획득할 수 있다. 프로세서(161)는 음성 인식 모듈(165)의 인식 결과에 포함된 식품의 식별정보와 상기 터치 입력의 좌표로부터, 상기 이미지에 포함된 식품들 중 선택된 식품을 인식할 수 있다.
실시 예에 따라, 식품 관리 DB(142)에 상기 터치 입력의 좌표에 대응하는 식품 정보가 저장되어 있는 경우, 프로세서(161)는 상기 음성의 인식 결과에 포함된 식품의 식별정보와, 상기 터치 입력의 좌표에 대응하는 식품 정보로부터, 터치 입력에 의해 선택된 식품과 음성에 포함된 식품의 일치 여부를 확인할 수도 있다. 확인 결과 터치 입력에 의해 선택된 식품과 음성에 포함된 식품이 일치하는 경우, 프로세서(161)는 선택된 식품을 인식할 수 있다. 반면, 일치하지 않는 경우, 프로세서(161)는 사용자로 하여금 재입력을 요청할 수 있다.
다른 실시 예에 따라, 음성 인식 모듈(165)의 인식 결과에 식품의 식별정보가 포함되지 않은 경우, 프로세서(161)는 식품 관리 DB(142)로부터 상기 터치 입력의 좌표에 대응하는 식품 정보를 획득함으로써 식품을 인식할 수도 있다.
프로세서(161)는 인식된 식품에 대해, 음성 인식 모듈(165)의 인식 결과에 포함된 명령과 관련된 동작을 수행할 수 있다.
예컨대, 상기 명령은 인식된 식품의 등록, 구매, 레시피 제공, 기타 관리 등 다양한 기능과 관련될 수 있다. 프로세서(161)는 상기 인식 결과에 포함된 명령에 따라, 인식된 식품에 대한 어느 하나의 기능을 제공할 수 있다.
즉, 본 발명의 실시 예에 따르면, 냉장고(10)는 인공지능 기반의 음성 인식 모듈(165)을 통해 사용자의 음성으로부터 식품의 식별정보와 명령을 정확히 인식할 수 있다. 또한, 냉장고(10)는 터치 입력의 좌표와 식품의 식별정보에 기초하여, 카메라(110)에 의해 획득된 이미지에 포함된 식품을 보다 정확히 인식할 수 있다.
도 7은 도 6에 도시된 냉장고의 동작과 관련하여, 냉장고가 특정 식품을 식품 관리 데이터베이스에 등록하는 동작을 설명하기 위한 예시도이다. 도 8은 도 7의 실시 예와 관련하여, 냉장고의 이미지 처리 프로세서가 식품의 이미지를 추출하는 동작을 설명하기 위한 플로우차트이다.
도 7을 참조하면, 냉장고(10)는 카메라(110)에 의해 획득된 냉장고(10) 내부의 이미지(700)를 디스플레이 장치(100)를 통해 표시할 수 있다. 이미지(700)에는 냉장고(10)의 내부에 보관 중인 적어도 하나의 식품 각각의 식품 이미지가 포함될 수 있다.
사용자(USER)는 이미지(700)에 포함된 적어도 하나의 식품 이미지 중 어느 하나의 식품 이미지(701)에 대응하는 위치를 터치(702)할 수 있다. 또한, 사용자(USER)는 상기 어느 하나의 식품 이미지(701)를 식품 관리 DB(142)에 등록하기 위한 등록 명령을 포함하는 음성(703)을 발화할 수 있다. 예컨대, 등록하고자 하는 식품이 'AA 우유'인 경우, 사용자는 “Hi LG, AA 우유 등록해줘”와 같은 음성(703)을 발화할 수 있다. 상기 음성(703)에는 식품의 식별정보(식품명)로서 'AA 우유'가 포함되고, 명령으로서 '등록'이 포함될 수 있다.
프로세서(161)는, 터치 패널(101)을 통해 상기 터치(702)에 대응하는 터치 입력을 수신하고, 수신된 터치 입력의 좌표를 획득할 수 있다.
또한, 프로세서(161)는 마이크로폰(120)을 통해 상기 음성(703)을 수신하고, 수신된 음성(703)을 음성 인식 모듈(165)로 입력할 수 있다. 음성 인식 모듈(165)은 상술한 인공지능 기반의 음성 인식기를 통해, 음성(703)에 포함된 상기 식별정보(식품명)와 명령을 인식할 수 있다.
프로세서(161)는 음성(703)의 인식 결과와 상기 터치 입력의 좌표에 기초하여, 상기 식품(AA 우유)에 대한 식품 관리 정보(704)를 생성할 수 있다. 식품 관리 정보(704)는, 상기 식품의 좌표값, 식별정보(식품명), 고유정보(예컨대 UUID(unique user identifier) 등), 등록일자 등의 정보를 포함할 수 있다.
즉, 프로세서(161)는 이미지(700) 중 상기 좌표값에 대응하는 위치에는 상기 식품(AA 우유)이 존재하는 것으로 인식할 수 있다. 이에 따라, 이미지 처리 기법을 통해 이미지로부터 식품을 인식하지 않고도, 이미지에 포함된 식품의 식별이 가능하다.
프로세서(161)는 생성된 식품 관리 정보(704)를 메모리(140)의 식품 관리 DB(142)에 저장함으로써, 상기 식품의 등록을 완료할 수 있다. 식품의 등록이 완료된 경우, 프로세서(161)는 스피커(130) 또는 디스플레이(102)를 통해, 상기 식품이 등록되었음을 사용자에게 알릴 수 있다.
또한, 프로세서(161)는 상기 좌표값에 대응하는 위치에 상기 식품(AA 우유)과 관련된 정보를 포함하는 태그(705)를 표시하도록 디스플레이 컨트롤러(162) 및 디스플레이(102)를 제어할 수도 있다. 표시된 태그(705)는 상기 생성된 식품 관리 정보(704) 중 적어도 일부를 포함할 수 있다.
즉, 도 7의 실시 예에 따르면, 냉장고(10)는 터치 입력과 음성 입력에 기반하여 등록할 식품을 정확히 인식할 수 있다. 또한, 사용자는 식품의 등록을 위한 절차를 한 번의 터치 입력과 음성 입력으로 간소화할 수 있으므로, 사용자의 편의성 또한 증대될 수 있다.
한편, 냉장고(10)는 상기 터치 입력의 좌표값에 기초하여, 이미지(700) 중 상기 식품의 식품 이미지(701)를 추출할 수도 있다.
이와 관련하여 도 8을 참조하면, 냉장고(10)는 상술한 터치 입력 및 식품의 등록 명령을 포함하는 음성을 수신할 수 있다(S200).
냉장고(10)는 이미지 처리 기법을 통해, 수신된 터치 입력의 좌표를 포함하는 식품 이미지를 추출할 수 있다(S210).
프로세서(161)는 상기 터치 입력의 좌표를 포함하는 제어 신호를 이미지 처리 프로세서(164)로 전송할 수 있다. 이미지 처리 프로세서(164)는 수신된 제어 신호에 응답하여, 이미지(700) 중 상기 터치 입력의 좌표를 포함하는 식품 이미지(701)를 추출할 수 있다.
예컨대, 이미지 처리 프로세서(164)는 기 공지된 윤곽선(또는 엣지) 추출 기법을 이용하여, 이미지(700) 중 상기 좌표를 포함하는 부분 이미지의 윤곽선을 추출하고, 추출된 윤곽선에 기초하여 식품 이미지(701)를 추출할 수 있다. 또는, 이미지 처리 프로세서(164)는 기 공지된 각종 이미지 처리 기법을 이용하여 상기 식품 이미지(701)를 추출할 수도 있다.
프로세서(161)는 이미지 처리 프로세서(164)에 의해 추출된 식품 이미지(701)를 포함하는 상기 식품 관리 정보(704)를 생성하고, 생성된 식품 관리 정보(704)를 식품 관리 DB(142)에 저장할 수 있다.
한편, 식품 이미지(701)는 별도의 데이터베이스에 저장될 수 있다. 이 경우, 냉장고(10) 또는 서버는 데이터베이스에 누적 저장되는 식품 이미지들을 이용하여, 상술한 음성 인식기와 유사하게 인공지능 기반의 이미지 인식기를 구축할 수 있다. 이에 따라, 냉장고(10)는 추후 카메라(110)를 통해 획득된 이미지에 포함된 다양한 식품들 각각을, 상기 이미지 인식기를 통해 정확히 인식할 수 있다.
도 9는 도 6에 도시된 냉장고의 동작과 관련하여, 냉장고가 특정 식품의 구매 기능을 제공하는 동작을 설명하기 위한 예시도이다.
도 9를 참조하면, 냉장고(10)는 카메라(110)에 의해 획득된 냉장고(10) 내부의 이미지(900)를 디스플레이 장치(100)를 통해 표시할 수 있다. 이미지(900)에는 냉장고(10)의 내부에 보관 중인 적어도 하나의 식품 각각의 식품 이미지가 포함될 수 있다.
사용자(USER)는 이미지(900)에 포함된 적어도 하나의 식품 이미지 중 어느 하나의 식품 이미지(901)에 대응하는 위치를 터치(902)할 수 있다. 또한, 사용자(USER)는 상기 어느 하나의 식품 이미지(901)에 대응하는 식품의 구매를 요청하는 구매 명령을 포함하는 음성(903)을 발화할 수 있다. 예컨대, 등록하고자 하는 식품이 'AA 우유'인 경우, 사용자는 “Hi LG, 3일 후에 AA 우유 1000ml 구매해줘”와 같은 음성(903)을 발화할 수 있다. 상기 음성(903)에는 식품의 식별정보(식품명)로서 'AA 우유 1000ml'가 포함되고, 명령으로서 '3일 후 구매'가 포함될 수 있다.
프로세서(161)는, 터치 패널(101)을 통해 상기 터치(902)에 대응하는 터치 입력을 수신하고, 수신된 터치 입력의 좌표를 획득할 수 있다. 프로세서(161)는 식품 관리 DB(142)로부터, 상기 좌표에 대응하는 식품 관리 정보를 획득할 수 있다.
또한, 프로세서(161)는 마이크로폰(120)을 통해 상기 음성(903)을 수신하고, 수신된 음성(903)을 음성 인식 모듈(165)로 입력할 수 있다. 음성 인식 모듈(165)은 상술한 인공지능 기반의 음성 인식기를 통해, 음성(903)에 포함된 상기 식별정보(식품명)와 명령을 인식할 수 있다.
프로세서(161)는 음성(903)의 인식 결과와 상기 터치 입력의 좌표에 대응하는 식품 관리 정보에 기초하여, 상기 식품(AA 우유)의 일치 여부를 확인할 수 있다.
즉, 프로세서(161)는 인식 결과에 포함된 식별정보(식품명)와, 식품 관리 정보에 포함된 식품명이 일치하는 경우, 상기 식품(AA 우유)을 인식할 수 있다. 반면, 프로세서(161)는 인식 결과에 포함된 식별정보(식품명)와, 식품 관리 정보에 포함된 식품명이 일치하지 않는 경우, 사용자의 재입력을 요청할 수 있다.
상기 식품이 인식된 경우, 프로세서(161)는 인식 결과에 포함된 구매 명령을 처리할 수 있다.
예컨대, 프로세서(161)는 상기 구매 명령에 기초하여, 주문 타이머, 주문 식품, 주문 용량, 및 주문 수량 중 적어도 하나를 포함하도록 식품 관리 정보(904)를 업데이트할 수 있다.
프로세서(161)는 업데이트된 식품 관리 정보(904)를 메모리(140)의 식품 관리 DB(142)에 저장할 수 있다. 프로세서(161)는 스피커(130) 또는 디스플레이(102)를 통해, 사용자의 명령이 처리되었음을 알릴 수 있다.
또한, 프로세서(161)는 상기 좌표값에 대응하는 위치에 상기 식품(AA 우유)의 업데이트된 관리 정보 중 적어도 일부를 포함하는 태그(905)를 표시하도록 디스플레이 컨트롤러(162) 및 디스플레이(102)를 제어할 수도 있다.
도시되지는 않았으나, 프로세서(161)는 상기 업데이트된 식품 관리 정보(904)에 기초하여, 3일 후에 AA 우유의 구매 기능을 수행할 수 있다. 프로세서(161)는 통신부(150)를 통해 식품의 판매 서비스를 제공하는 서버로 접속하고, 상기 서버로 AA 우유의 구매를 위한 구매 정보를 전송함으로써, 상기 구매 기능을 수행할 수 있다. 예컨대, 상기 구매 정보는 식품 정보, 주소 정보, 결제 정보 등을 포함할 수 있다.
즉, 도 9의 실시 예에 따르면, 냉장고(10)는 터치 입력과 음성 입력에 기반하여 사용자가 구매하고자 하는 식품을 정확히 인식할 수 있다. 또한, 사용자는 식품의 구매를 위한 절차를 한 번의 터치 입력과 음성 입력으로 간소화할 수 있으므로, 사용자의 편의성 또한 증대될 수 있다.
비록 도시되지는 않았으나, 냉장고(10)는 상술한 식품의 등록 기능 및 구매 기능 외의 추가적인 기능들을 유사한 방식으로 제공할 수 있다.
일례로, 냉장고(10)는 상기 터치 입력과 음성 입력에 기초하여, 인식된 식품에 대한 레시피 정보를 제공할 수도 있다. 도 9와 유사하게, 프로세서(161)는 통신부(150)를 통해 레시피 제공 서버로 접속하고, 상기 서버로부터 상기 인식된 식품과 관련된 레시피 정보를 획득하고, 획득된 레시피 정보를 디스플레이(102)를 통해 사용자에게 제공할 수 있다.
다른 예로, 냉장고(10)는 상기 터치 입력과 음성 입력에 기초하여, 식품 관리 정보를 식품 관리 DB(142)로부터 삭제하는 기능을 수행할 수도 있다. 예컨대, 디스플레이(102)에 표시된 이미지
도 10은 디스플레이 장치가 냉장고 내부의 식품이 외부로 투시되도록 투명 디스플레이로 구현되는 경우, 냉장고가 사용자의 터치 입력에 기반하여 식품을 인식하는 실시 예를 설명하기 위한 플로우차트이다.
본 발명의 실시 예에 따른 냉장고(10)의 디스플레이 장치(100)는 투명 디스플레이로 구현될 수 있다. 이 경우, 사용자는 냉장고(10) 내의 식품들을 디스플레이(102)를 통해 육안으로 확인할 수 있다.
예컨대, 냉장고(10)의 저장실에 대응하는 라이트(조명)를 점등시키는 경우, 저장실 내부가 밝아지게 되고, 그 결과 디스플레이(102)를 통해 내부의 가시화가 가능하게 된다. 반면, 디스플레이(102)에 대응하는 라이트를 점등시키고 상기 저장실에 대응하는 라이트를 소등시키는 경우, 디스플레이(102)에 표시되는 화면에 의해 저장실 내부의 가시화가 불가능해질 수 있다. 한편, 저장실에 대응하는 라이트 및 디스플레이(102)에 대응하는 라이트 각각을 점등시키는 경우, 사용자는 저장실 내부의 식품들에 오버랩되어 표시되는 화면을 확인할 수도 있다.
이에 기초하여 도 10을 참조하면, 냉장고(10)는 냉장고 내부의 식품들을 포함하는 이미지를 획득할 수 있다(S300). S300 단계는 도 6의 S100 단계 내지 S120 단계와 실질적으로 동일한 바, 이에 대한 설명은 생략한다.
냉장고(10)는, 냉장고 내부의 식품들이 디스플레이(102)를 통해 투시되도록 라이트를 제어할 수 있다(S310).
프로세서(161)는 저장실에 대응하는 라이트를 점등시켜, 저장실에 보관된 식품들이 디스플레이(102)를 통해 외부로 투시되도록 할 수 있다. 상기 라이트가 점등됨에 따라, 사용자는 디스플레이(102)를 통해 상기 식품들을 육안으로 확인할 수 있다.
냉장고(10)는 상기 투시된 식품들 중 어느 하나의 식품에 대응하는 좌표의 터치 입력을 수신할 수 있다(S320).
도 6의 S130 단계와 유사하게, 사용자는 상기 디스플레이(102)를 통해 투시되는 식품들 중 어느 하나의 식품이 투시된 위치를 터치할 수 있다. 또한, 사용자는 상기 식품에 대한 기능을 제공받기 위한 음성을 발화할 수 있다.
프로세서(161)는 터치 패널(101)을 통해 사용자의 터치 입력을 수신하고, 수신된 터치 입력에 기초하여 상기 터치 입력의 좌표를 획득할 수 있다.
또한, 프로세서(161)는 마이크로폰(120)을 통해 상기 음성을 수신하고, 음성 인식 모듈(165)을 통해 상기 음성을 인식할 수 있다.
냉장고(10)는, 획득된 터치 입력의 좌표를, S300 단계에서 획득된 이미지의 좌표로 변환하고(S330), 변환된 좌표에 기초하여 상기 이미지에 포함된 식품을 인식할 수 있다(S340).
예컨대, 디스플레이(102)를 통해 외부로 투시되는 식품의 위치와, 카메라(110)에 의해 획득된 이미지에 포함된 식품의 위치는 서로 다를 수 있다. 이 경우, 프로세서(161)는 상기 터치 입력의 좌표에 대응하는 식품이 카메라(110)에 의해 획득된 이미지에 포함된 식품들 중 어느 식품에 해당하는지를 인식할 필요가 있다.
이에 따라, 프로세서(161)는, 터치 입력의 좌표를 상기 이미지 내의 좌표로 변환하여, 사용자가 터치 입력을 통해 선택한 식품이 이미지 내에서 어느 위치에 존재하는지를 인식할 수 있다.
한편, 냉장고 내부의 식품들이 디스플레이(102)를 통해 투시되는 경우, 사용자의 눈 위치에 따라 동일한 식품에 대한 터치 입력의 좌표가 서로 다를 수 있다.
냉장고(10)는 도어 외부 또는 본체의 외부에 배치되어, 사용자의 눈 위치를 검출하는 카메라를 더 구비할 수도 있다. 프로세서(161)는 상기 카메라를 이용하여 검출된 눈 위치에 기초하여, 상기 터치 입력의 좌표를 기준 좌표로 변환하고, 변환된 기준 좌표를 상기 이미지 내의 좌표로 변환할 수도 있다.
프로세서(161)는 상기 변환된 좌표와, 음성 인식 모듈(165)의 인식 결과에 기초하여 식품을 정확히 인식할 수 있고, 인식된 식품에 대한 기능을 제공할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 도어에 설치되고, 터치 패널과 디스플레이를 포함하는 디스플레이 장치;
    내부에 보관된 식품들을 포함하는 이미지를 획득하는 카메라;
    획득된 이미지를 표시하도록 상기 디스플레이를 제어하는 디스플레이 컨트롤러;
    음성을 획득하는 마이크로폰;
    획득된 음성을 인식하여 인식 결과를 출력하는 음성 인식 모듈; 및
    상기 터치 패널을 통해 수신되는 터치 입력의 좌표를 획득하고,
    획득된 좌표와 상기 음성의 인식 결과에 기초하여, 상기 좌표에 대응하는 식품을 인식하고, 인식된 식품에 대한 기능을 수행하는 프로세서를 포함하는 냉장고.
  2. 제1항에 있어서,
    상기 음성 인식 모듈은,
    상기 음성의 주파수 특성에 기초하여 상기 음성에 포함된 적어도 하나의 부분 음성 각각을 인식하는 인식 모델을 갖는 음성 인식기를 포함하고,
    상기 적어도 하나의 부분 음성 각각은, 상기 이미지에 포함된 식품의 식별 정보, 또는 상기 식품에 대한 상기 기능과 관련된 명령인 냉장고.
  3. 제2항에 있어서,
    상기 음성 인식기는,
    상기 적어도 하나의 부분 음성 각각의 주파수 특성과, 상기 적어도 하나의 부분 음성 각각의 인식 결과를 이용하여 상기 인식 모델을 업데이트하는 냉장고.
  4. 제2항에 있어서,
    상기 인식 결과에 상기 식품의 등록과 관련된 명령이 포함된 경우, 상기 프로세서는,
    상기 획득된 좌표와 상기 식품의 식별 정보를 포함하는 식품 관리 정보를 생성하고,
    생성된 식품 관리 정보를 메모리에 저장하는 냉장고.
  5. 제4항에 있어서,
    상기 디스플레이 컨트롤러는,
    상기 식품 관리 정보 중 적어도 일부를 포함하는 태그를 상기 좌표에 대응하는 위치에 표시하도록 상기 디스플레이를 제어하는 냉장고.
  6. 제2항에 있어서,
    상기 인식 결과에 상기 식품의 구매와 관련된 명령이 포함된 경우, 상기 프로세서는,
    메모리로부터 상기 좌표에 대응하는 식품 관리 정보를 획득하고,
    상기 명령에 기초하여, 상기 인식 결과로부터 획득되는 주문 식품, 주문 수량, 및 주문 타이머 중 적어도 하나를 포함하도록 상기 식품 관리 정보를 업데이트하는 냉장고.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 명령에 기초하여, 통신부를 통해 상기 식품의 판매 서비스 제공 서버로 접속하고,
    상기 식품의 구매 정보를 상기 판매 서비스 제공 서버로 전송하는 냉장고.
  8. 제2항에 있어서,
    상기 프로세서는,
    메모리로부터 상기 획득된 좌표 정보에 대응하는 식품 관리 정보를 획득하고,
    획득된 식품 관리 정보에 포함된 식별 정보와, 상기 인식 결과에 포함된 식별 정보를 비교하고,
    비교 결과 상기 획득된 식품 관리 정보에 포함된 식별 정보와 상기 인식 결과에 포함된 식별 정보가 일치하는 경우, 상기 인식된 식품에 대한 기능을 수행하는 냉장고.
  9. 제1항에 있어서,
    상기 획득된 좌표에 기초하여, 상기 획득된 이미지로부터 상기 좌표를 포함하는 식품 이미지를 추출하는 이미지 처리 프로세서를 더 포함하는 냉장고.
  10. 제1항에 있어서,
    상기 디스플레이는 투명 디스플레이로 구현되고,
    상기 프로세서는,
    상기 투명 디스플레이를 통해 외부로 투시되는 식품들 중 어느 하나의 식품이 투시된 위치에 대응하는 터치 입력을 상기 터치 패널을 통해 수신하고,
    수신된 터치 입력의 좌표를, 상기 획득된 이미지 상의 대응하는 좌표로 변환하는 냉장고.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 변환된 좌표와 상기 음성의 인식 결과에 기초하여, 상기 이미지 내의 상기 변환된 좌표에 대응하는 식품을 인식하고, 인식된 식품에 대한 기능을 수행하는 냉장고.
KR1020180141529A 2018-11-16 2018-11-16 디스플레이 장치를 갖는 인공지능 냉장고 KR102377971B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180141529A KR102377971B1 (ko) 2018-11-16 2018-11-16 디스플레이 장치를 갖는 인공지능 냉장고

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180141529A KR102377971B1 (ko) 2018-11-16 2018-11-16 디스플레이 장치를 갖는 인공지능 냉장고

Publications (2)

Publication Number Publication Date
KR20200064181A true KR20200064181A (ko) 2020-06-08
KR102377971B1 KR102377971B1 (ko) 2022-03-25

Family

ID=71090045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180141529A KR102377971B1 (ko) 2018-11-16 2018-11-16 디스플레이 장치를 갖는 인공지능 냉장고

Country Status (1)

Country Link
KR (1) KR102377971B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419432A (zh) * 2020-11-11 2021-02-26 珠海格力电器股份有限公司 冰箱内食物的控制方法和装置、电子设备和存储介质
CN114485038A (zh) * 2022-02-11 2022-05-13 海信（山东）冰箱有限公司 一种冰箱、食材定位方法和系统
JP2022552662A (ja) * 2019-11-25 2022-12-19 アイフライテック カンパニー，リミテッド 音声認識誤り訂正方法、関連装置及び読取可能な記憶媒体
WO2023249138A1 (ko) * 2022-06-23 2023-12-28 엘지전자 주식회사 냉장고 및 냉장고 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120116207A (ko) * 2011-04-12 2012-10-22 엘지전자 주식회사 디스플레이 장치 및 이를 구비하는 냉장고
KR20150026412A (ko) 2013-09-03 2015-03-11 엘지전자 주식회사 전기제품
KR20160087182A (ko) * 2015-01-13 2016-07-21 엘지전자 주식회사 냉장고 및 그 제어 방법
KR20180025041A (ko) * 2016-08-31 2018-03-08 엘지전자 주식회사 냉장고 및 냉장고의 제어 방법
KR20180080109A (ko) * 2017-01-03 2018-07-11 삼성전자주식회사 식품 보관 장치 및 그 제어 방법
KR20180080112A (ko) * 2017-01-03 2018-07-11 삼성전자주식회사 냉장고 및 이의 정보 표시 방법
KR20180081961A (ko) * 2017-01-09 2018-07-18 삼성전자주식회사 냉장고 및 냉장고의 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120116207A (ko) * 2011-04-12 2012-10-22 엘지전자 주식회사 디스플레이 장치 및 이를 구비하는 냉장고
KR20150026412A (ko) 2013-09-03 2015-03-11 엘지전자 주식회사 전기제품
KR20160087182A (ko) * 2015-01-13 2016-07-21 엘지전자 주식회사 냉장고 및 그 제어 방법
KR20180025041A (ko) * 2016-08-31 2018-03-08 엘지전자 주식회사 냉장고 및 냉장고의 제어 방법
KR20180080109A (ko) * 2017-01-03 2018-07-11 삼성전자주식회사 식품 보관 장치 및 그 제어 방법
KR20180080112A (ko) * 2017-01-03 2018-07-11 삼성전자주식회사 냉장고 및 이의 정보 표시 방법
KR20180081961A (ko) * 2017-01-09 2018-07-18 삼성전자주식회사 냉장고 및 냉장고의 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022552662A (ja) * 2019-11-25 2022-12-19 アイフライテック カンパニー，リミテッド 音声認識誤り訂正方法、関連装置及び読取可能な記憶媒体
CN112419432A (zh) * 2020-11-11 2021-02-26 珠海格力电器股份有限公司 冰箱内食物的控制方法和装置、电子设备和存储介质
CN114485038A (zh) * 2022-02-11 2022-05-13 海信（山东）冰箱有限公司 一种冰箱、食材定位方法和系统
WO2023249138A1 (ko) * 2022-06-23 2023-12-28 엘지전자 주식회사 냉장고 및 냉장고 제어 방법

Also Published As

Publication number Publication date
KR102377971B1 (ko) 2022-03-25

Similar Documents

Publication Publication Date Title
US11353259B2 (en) Augmented-reality refrigerator and method of controlling thereof
KR102377971B1 (ko) 디스플레이 장치를 갖는 인공지능 냉장고
US11544524B2 (en) Electronic device and method of obtaining emotion information
CN110168298B (zh) 冰箱及其信息显示方法
US20200302928A1 (en) Electronic device and controlling method thereof
KR102663888B1 (ko) 냉장고 및 그의 제어방법
US10970900B2 (en) Electronic apparatus and controlling method thereof
US11407106B2 (en) Electronic device capable of moving and operating method thereof
US11721333B2 (en) Electronic apparatus and control method thereof
US20200135213A1 (en) Electronic device and control method thereof
EP3444809A1 (en) Personalized speech recognition method, and user terminal performing the method
EP3820369B1 (en) Electronic device and method of obtaining emotion information
US11599928B2 (en) Refrigerator and method for managing products in refrigerator
KR102515023B1 (ko) 전자 장치 및 그 제어 방법
KR20210134092A (ko) 냉장고 및 냉장고의 물품 관리 방법
US20240095143A1 (en) Electronic device and method for controlling same
US11436558B2 (en) Refrigerator, operating method thereof and information providing system
KR20190140519A (ko) 전자 장치 및 그의 제어방법
US20200142956A1 (en) Electronic apparatus and control method thereof
KR20230169016A (ko) 전자 장치 및 그의 제어방법
EP3857545B1 (en) Electronic apparatus and control method thereof
KR102499379B1 (ko) 전자 장치 및 이의 피드백 정보 획득 방법
WO2020175802A1 (en) Electronic apparatus and control method thereof
KR102440963B1 (ko) 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
CN117077812B (zh) 网络训练方法、睡眠状态评估方法及相关设备

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2021101000171; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210121

Effective date: 20220119

GRNO Decision to grant (after opposition)