KR20240045864A - 조리 기기 및 이의 제어 방법 - Google Patents

조리 기기 및 이의 제어 방법 Download PDF

Info

Publication number
KR20240045864A
KR20240045864A KR1020220125712A KR20220125712A KR20240045864A KR 20240045864 A KR20240045864 A KR 20240045864A KR 1020220125712 A KR1020220125712 A KR 1020220125712A KR 20220125712 A KR20220125712 A KR 20220125712A KR 20240045864 A KR20240045864 A KR 20240045864A
Authority
KR
South Korea
Prior art keywords
image
setting value
cooking appliance
cooking
processor
Prior art date
Application number
KR1020220125712A
Other languages
English (en)
Inventor
정주희
송민진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220125712A priority Critical patent/KR20240045864A/ko
Priority to PCT/KR2023/011691 priority patent/WO2024071655A1/ko
Publication of KR20240045864A publication Critical patent/KR20240045864A/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00—Details
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00—Details
    • F24C15/008—Illumination for oven cavities
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0219—Electrical interface; User interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Preparation And Processing Of Foods (AREA)
  • Cookers (AREA)

Abstract

조리 기기 및 이의 제어 방법이 개시된다. 특히, 본 개시에 따른 조리 기기는 카메라, 적어도 하나의 인스트럭션(instruction)을 저장하는 메모리 및 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는 조리 기기에 배치된 식재료를 촬영하기 위한 제1 이벤트가 식별되면, 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득하고, 카메라를 통해 제1 설정 값을 바탕으로 촬영이 수행되는 동안 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트가 식별되면, 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공하며, 제1 이미지의 획득에 이용된 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득하고, 식재료를 인식하기 위한 객체 인식 모델에 제2 이미지를 입력하여, 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다.

Description

조리 기기 및 이의 제어 방법{COOKING DEVICE AND CONTROLLING METHOD THEREOF}
본 개시는 조리 기기 및 이의 제어 방법에 관한 것으로서, 구체적으로는 식재료에 대한 이미지를 인식할 수 있는 조리 기기 및 이의 제어 방법에 관한 것이다.
근래에는 전기 오븐(electric oven), 전기 쿡탑(electric cooktop) 또는 전기 레인지(electric stove) 등과 같은 조리 기기의 기능이 다양화되고 있으며, 특히, 카메라를 이용하여 조리 기기에 배치된 식재료에 대한 이미지를 획득하고, 객체 인식 모델을 이용하여 이미지에 포함된 식재료를 인식하며, 그 인식 결과를 바탕으로 조리 기기의 동작을 제어하는 기술이 발전하고 있다.
그런데, 조리 과정이 진행됨에 따라 식재료의 색상이 변화될 수 있는바, 이 경우 변화된 색상에 따라 카메라에 관련된 파라미터에 대한 설정 값을 자동으로 조정하여 식재료에 대한 이미지를 획득하면, 획득된 이미지에 대한 식재료의 인식률이 저하될 수 있다는 문제가 있다.
한편, 식재료의 색상이 변화되더라도 카메라에 관련된 파라미터에 대한 설정 값을 변경하지 않고 초기 값으로 고정하여 식재료에 대한 이미지를 획득할 수도 있으나, 이와 같이 획득된 이미지를 사용자에게 제공하면, 사용자에게 제공되는 이미지의 품질이 저하될 수 있다는 문제가 있다.
본 개시는 상술한 바와 같은 문제를 해결하기 위한 것으로서, 본 개시의 목적은 조리 과정이 수행되는 동안 식재료에 대한 이미지를 획득하여 높은 인식률로 식재료에 대한 인식을 수행하면서도, 사용자에게 식재료에 대한 정보를 포함하는 높은 품질의 이미지를 제공할 수 있는 조리 기기 및 이의 제어 방법을 제공하기 위한 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 조리 기기는 카메라, 적어도 하나의 인스트럭션(instruction)을 저장하는 메모리 및 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 조리 기기에 배치된 식재료를 촬영하기 위한 제1 이벤트가 식별되면, 상기 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 상기 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득하고, 상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 촬영이 수행되는 동안 상기 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트가 식별되면, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공하며, 상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하고, 상기 식재료를 인식하기 위한 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득한다.
여기서, 상기 프로세서는 상기 제1 이미지에 대한 데이터에서 상기 제2 설정 값을 상기 제1 설정 값으로 변경함으로써 상기 제2 이미지를 획득할 수 있다.
한편, 상기 프로세서는 상기 제1 설정 값, 상기 제2 설정 값 및 상기 제1 이미지를 학습된 이미지 획득 모델에 입력하여 상기 제2 이미지를 획득할 수 있다.
한편, 상기 조리 기기는 적어도 하나의 센서를 더 포함하고, 상기 제1 이벤트는 상기 조리 기기의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 상기 적어도 하나의 센서를 통해 상기 조리 기기에 포함된 도어가 닫힌 것이 감지되는 경우 및 상기 적어도 하나의 센서를 통해 상기 조리 기기에 상기 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함할 수 있다.
여기서, 상기 제2 이벤트는 상기 설정 값을 상기 식재료에 대한 촬영에 적합하도록 자동으로 조정하는 파라미터 안정화 동작이 수행되는 동안 상기 식재료의 색상이 변경되었음이 식별되는 경우, 상기 파라미터 안정화 동작이 수행되는 동안 상기 적어도 하나의 센서를 통해 상기 조리 기기 주변의 조도가 변경되었음이 감지되는 경우 및 상기 파라미터 안정화 동작이 수행되지 않는 동안 상기 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함할 수 있다.
한편, 상기 조리 기기는 통신부를 더 포함하고, 상기 프로세서는 상기 제1 이미지가 획득되면, 상기 사용자의 사용자 단말로 상기 제1 이미지를 전송하도록 상기 통신부를 제어할 수 있다.
한편, 상기 조리 기기는 디스플레이를 더 포함하고, 상기 프로세서는 상기 제1 이미지가 획득되면, 상기 제1 이미지를 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 조리 기기는 조명부를 더 포함하고, 상기 프로세서는 상기 제1 이미지에 포함된 상기 식재료의 색상을 바탕으로 상기 조명부에 의해 조사되는 광의 색상 및 밝기 중 적어도 하나를 제어할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 조리 기기의 제어 방법은 상기 조리 기기에 배치된 식재료를 촬영하기 위한 제1 이벤트가 식별되면, 상기 조리 기기의 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 상기 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득하는 단계, 상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 촬영이 수행되는 동안 상기 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트가 식별되면, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공하는 단계, 상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하는 단계 및 상기 식재료를 인식하기 위한 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득하는 단계를 포함한다.
여기서, 상기 제2 이미지를 획득하는 단계는 상기 제1 이미지에 대한 데이터에서 상기 제2 설정 값을 상기 제1 설정 값으로 변경함으로써 상기 제2 이미지를 획득할 수 있다.
한편, 상기 제2 이미지를 획득하는 단계는 상기 제1 설정 값, 상기 제2 설정 값 및 상기 제1 이미지를 학습된 이미지 획득 모델에 입력하여 상기 제2 이미지를 획득할 수 있다.
여기서, 상기 제1 이벤트는 상기 조리 기기의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 상기 조리 기기에 포함된 적어도 하나의 센서를 통해 상기 조리 기기에 포함된 도어가 닫힌 것이 감지되는 경우 및 상기 적어도 하나의 센서를 통해 상기 조리 기기에 상기 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함할 수 있다.
여기서, 상기 제2 이벤트는 상기 설정 값을 상기 식재료에 대한 촬영에 적합하도록 자동으로 조정하는 파라미터 안정화 동작이 수행되는 동안 상기 식재료의 색상이 변경되었음이 식별되는 경우, 상기 파라미터 안정화 동작이 수행되는 동안 상기 적어도 하나의 센서를 통해 상기 조리 기기 주변의 조도가 변경되었음이 감지되는 경우 및 상기 파라미터 안정화 동작이 수행되지 않는 동안 상기 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함할 수 있다.
한편, 조리 기기의 제어 방법은 상기 제1 이미지가 획득되면, 상기 사용자의 사용자 단말로 상기 제1 이미지를 전송하는 단계를 더 포함할 수 있다.
한편, 조리 기기의 제어 방법은 상기 제1 이미지가 획득되면, 상기 제1 이미지를 표시하는 단계를 더 포함할 수 있다.
한편, 상기 제1 이미지에 포함된 상기 식재료의 색상을 바탕으로 상기 조리 기기에 포함된 조명부에 의해 조사되는 광의 색상 및 밝기 중 적어도 하나를 제어하는 단계를 더 포함할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 조리 기기의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 상기 조리 기기의 제어 방법은 상기 조리 기기에 배치된 식재료를 촬영하기 위한 제1 이벤트가 식별되면, 상기 조리 기기의 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 상기 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득하는 단계, 상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 촬영이 수행되는 동안 상기 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트가 식별되면, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공하는 단계, 상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하는 단계 및 상기 식재료를 인식하기 위한 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 조리 기기를 나타내는 도면,
도 2는 본 개시의 일 실시 예에 따른 조리 기기의 제어 방법을 나타내는 흐름도,
도 3은 본 개시에 따른 파라미터 안정화 동작의 활성화 여부를 이용한 실시 예에 대해 설명하기 위한 흐름도,
도 4는 본 개시의 일 실시 예에 따른 조리 기기의 구성을 간략하게 나타내는 블록도,
도 5는 본 개시의 일 실시 예에 따른 복수의 모듈을 나타내는 블록도,
도 6은 본 개시의 일 실시 예에 따른 조리 기기의 구성을 상세하게 나타내는 블록도, 그리고,
도 7은 본 개시의 일 실시 예에 따른 시스템을 나타내는 블록도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른 조리 기기(100)를 나타내는 도면이다.
본 개시에 따른 조리 기기(100)는 가스, 전기 및 증기 등을 이용하여 식재료에 열을 공급함으로써 식재료를 조리할 수 있는 장치를 말한다. 예를 들어, 본 개시에 따른 조리 기기(100)는 도 1에 도시된 바와 같은 전기 오븐일 수 있으며, 그 밖에도 쿡탑(cooktop) 또는 전기레인지 등과 같이 식재료를 조리할 수 있는 장치라면 그 종류의 제한 없이 본 개시에 따른 조리 기기(100)에 해당될 수 있다.
구체적으로, 본 개시에 따른 조리 기기(100)는 카메라(110)를 통해 식재료에 대한 이미지를 획득하고, 획득된 이미지를 사용자에게 제공할 수 있다. 또한, 조리 기기(100)는 카메라(110)를 통해 획득된 이미지를 분석함으로써 식재료에 대한 정보를 획득하고, 식재료에 대한 정보를 바탕으로 조리 동작을 제어할 수도 있다. 예를 들어, 이미지의 분석 결과 조리 과정이 진행되는 동안 식재료 표면의 색상이 변경된 것으로 식별되면, 조리 기기(100)는 변경된 식재료 표면의 색상에 대한 정보를 바탕으로 조리 동작을 제어하거나, 사용자에게 안내 메시지를 제공하거나, 나아가 사용자에게 추천 레시피에 대한 정보를 제공할 수도 있다.
다시 말해, 조리 기기(100)는 조리 과정이 수행되는 동안 식재료에 대한 이미지를 획득하여 식재료에 대한 인식을 수행하면서도, 사용자에게 식재료에 대한 정보를 포함하는 이미지를 제공할 수 있다. 이하에서는 도 2 내지도 7을 참조하여, 본 개시에 따른 조리 기기(100)에 의해 수행될 수 있는 다양한 실시 예에 대해 설명한다.
도 2는 본 개시의 일 실시 예에 따른 조리 기기(100)의 제어 방법을 나타내는 흐름도이다.
도 2를 참조하면, 본 개시에 따른 조리 기기(100)는 조리 기기(100)에 배치된 식재료를 촬영하기 위한 제1 이벤트의 발생 여부를 식별할 수 있다(S210). 본 개시의 설명에 있어서, '제1 이벤트'는 조리 기기(100)에 배치된 식재료 촬영의 개시 조건이 되는 이벤트를 총칭하기 위한 용어로 사용된다. 예를 들어, 제1 이벤트는 조리 기기(100)의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 조리 기기(100)에 포함된 적어도 하나의 센서(150)를 통해 조리 기기(100)에 포함된 도어가 닫힌 것이 감지되는 경우 및 적어도 하나의 센서(150)를 통해 조리 기기(100)에 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함할 수 있다.
제1 이벤트가 식별되지 않으면(S210-N), 조리 기기(100)는 현재의 동작을 유지하고, 제1 이벤트가 발생할 때까지 다시 제1 이벤트의 발생 여부를 식별할 수 있다(S210). 반면, 제1 이벤트가 식별되면(S210-Y), 조리 기기(100)는 카메라(110)에 관련된 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득할 수 있다(S220).
본 개시에 대한 설명에 있어서, '적어도 하나의 파라미터'란 카메라(110)의 촬영에 관련된 파라미터들을 총칭하기 위한 용어로 사용된다. 예를 들어, 적어도 하나의 파라미터는 카메라(110)의 초점, 노출 및 화이트 밸런스(white balance)를 포함할 수 있으며, 다만 이에 국한되는 것은 아니다.
적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정한다는 것은 식재료의 색상, 식재료와의 초점 거리, 조리 기기(100) 주변의 조도 등과 같은 다양한 요인을 바탕으로, 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영을 안정화시킬 수 있는 임계 범위 이내의 설정 값으로 조정하는 것을 의미할 수 있다. 예를 들어, 조리 기기(100)는 조리 기기(100) 주변의 조도를 바탕으로 노출에 대한 설정 값을 조정함으로써, 촬영 결과 획득되는 이미지의 밝기가 기 설정된 임계 범위의 밝기가 되도록 조정할 수 있다. 촬영을 안정화시킬 수 있는 각각의 파라미터에 대한 설정 값의 임계 범위는 개발자 또는 사용자의 설정에 따라 변경될 수 있다.
특히, 적어도 하나의 파라미터가 초점, 노출 및 화이트 밸런스를 포함하는 경우, 초점, 노출 및 화이트 밸런스에 대한 설정 값을 자동으로 조정하는 동작은 소위 '3A(Auto Focus, Auto Exposure, Auto White Balance) 안정화 동작'이라고 지칭될 수 있다. 이하에서는 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하는 동작을 간략하게 '파라미터 안정화 동작'이라고 지칭한다.
그리고, 본 개시에 있어서, 적어도 하나의 파라미터에 대한 제1 설정 값이란 파라미터 안정화 동작을 수행하여 최초로 획득된 설정 값, 즉 초기 설정 값을 의미한다.
한편, 도 2에 도시하지는 않았으나, 조리 기기(100)는 제1 이벤트의 발생에 응답하여 조리 동작을 수행할 수 있으며, 뿐만 아니라 제1 이벤트의 발생 전 또는 제1 이벤트의 발생 후에 별도로 입력된 사용자 입력을 바탕으로 조리 동작을 수행할 수 있다. 예를 들어, 제1 이벤트가 조리 기기(100)의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우이면, 조리 기기(100)는 제1 이벤트의 식별에 응답하여 기 설정된 조리 동작을 수행할 수 있다. 한편, 제1 이벤트가 조리 기기(100)에 포함된 도어가 닫힌 것이 감지되는 경우, 조리 기기(100)는 조리 동작을 수행하기 위한 별도의 사용자 입력을 바탕으로 기 설정된 조리 동작을 수행할 수 있다.
제1 설정 값이 획득되면, 조리 기기(100)는 카메라(110)를 통해 제1 설정 값을 바탕으로 촬영을 수행할 수 있다(S230). 즉, 본 개시에 따른 파라미터 안정화 동작이 완료되어 제1 설정 값이 획득되면, 조리 기기(100)는 식재료의 촬영에 적합하도록 적어도 하나의 파라미터에 대한 설정 값이 조정된 상태에서 식재료에 대한 촬영을 개시할 수 있다.
또한, 도 2에 명시하지는 않았으나, 제1 설정 값이 획득되면, 조리 기기(100)는 획득된 제1 설정 값을 메모리(120)에 저장할 수 있다. 이는 후술하는 바와 같이, 제1 설정 값을 이용하여 제1 이미지를 후처리함으로써 제2 이미지를 획득하기 위한 것이다.
한편, 조리 기기(100)는 제1 설정 값을 바탕으로 촬영이 수행되는 동안 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트의 발생 여부를 식별할 수 있다(S240). 여기서, 제2 이벤트는 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정할 필요가 있는 상황을 총칭하기 위한 용어이다. 즉, 조리 동작이 수행되는 동안 식재료의 색상, 식재료와의 초점 거리, 조리 기기(100) 주변의 조도 등과 같은 다양한 요인이 변경될 수 있으며, 이 경우 조리 기기(100)는 파라미터 안정화 동작에 따라 새로운 설정 값을 획득할 수 있다.
예를 들어, 제2 이벤트는 본 개시에 따른 파라미터 안정화 동작이 수행되는 동안 식재료의 색상이 변경되었음이 식별되는 경우, 파라미터 안정화 동작이 수행되는 동안 적어도 하나의 센서(150)를 통해 조리 기기(100) 주변의 조도가 변경되었음이 감지되는 경우 및 파라미터 안정화 동작이 수행되지 않는 동안 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함할 수 있다.
제2 이벤트가 식별되지 않으면(S240-N), 조리 기기(100)는 현재의 동작을 유지하고, 다시 제2 이벤트의 발생 여부를 식별할 수 있다(S240). 반면, 제2 이벤트가 식별되면(S240-Y), 조리 기기(100)는 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공할 수 있다(S250).
본 개시에 있어서, 적어도 하나의 파라미터에 대한 제2 설정 값이란 파라미터 안정화 동작을 수행하여 초기 설정 값인 제1 설정 값이 획득된 후, 재차 파라미터 안정화 동작을 수행한 결과 획득된 설정 값, 즉 현재의 설정 값을 의미한다.
조리 기기(100)는 적어도 하나의 파라미터에 대한 설정 값이 현재 식재료의 촬영에 적합하도록 조정된 설정 값인 제2 설정 값을 바탕으로, 식재료에 대한 제1 이미지를 획득할 수 있다. 본 개시에 있어서, 제1 이미지는 현재의 식재료의 촬영에 적합한 제2 설정 값을 바탕으로 획득된 이미지로서, 현재의 조리 상태에 대한 정보를 사용자에게 제공하는 경우에 적합한 이미지라고 할 수 있다.
한편, 조리 기기(100)는 제1 이미지의 획득에 이용된 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득할 수 있다(S260). 구체적으로, 조리 기기(100)는 제1 이미지에 대한 후처리를 수행하여 제2 이미지를 획득할 수 있으며, 이미지에 대한 후처리를 위한 신경망 모델을 이용하여 제2 이미지를 획득할 수도 있다.
본 개시에 있어서, 제2 이미지는 제1 이미지의 설정 값을 초기 설정 값인 제1 설정 값으로 변경함으로써 획득된 이미지로서, 객체 인식 모델에 입력하기 위한 이미지를 말한다. 즉, 객체 인식에 있어서는 현재의 식재료 상태를 명확하게 나타낼 수 있는 제1 이미지보다는 초기 설정 값인 제1 설정 값을 갖는 제2 이미지를 이용하는 것이 객체 인식률에 있어서 용이할 수 있기 때문에, 조리 기기(100)는 제1 이미지를 객체 인식 모델에 입력하는 것이 아니라, 초기 설정 값을 갖는 제2 이미지를 객체 인식 모델에 입력할 수 있다.
일 실시 예에 있어서, 조리 기기(100)는 제1 이미지에 대한 데이터에서 제2 설정 값을 제1 설정 값으로 변경함으로써 제2 이미지를 획득할 수 있다. 예를 들어, 제1 설정 값이 화이트 밸런스의 r gain 값이 20인 것을 포함하고, 제2 설정 값이 화이트 밸런스의 r gain 값이 23인 것을 포함하는 경우, 조리 기기(100)는 제1 이미지에 대한 데이터에서 제2 설정 값의 r gain 값을 3만큼 뺌으로써, 제1 이미지에 대한 데이터에서 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득할 수 있다.
일 실시 예에 있어서, 조리 기기(100)는 제1 설정 값, 제2 설정 값 및 제1 이미지를 학습된 이미지 획득 모델에 입력하여 제2 이미지를 획득할 수 있다. 여기서, 이미지 획득 모델은 적어도 하나의 파라미터에 대한 초기 설정 값, 원본 이미지 및 원본 이미지에 대한 현재의 설정 값이 입력되면, 초기 설정 값을 갖는 새로운 이미지를 출력하도록 학습된 신경망 모델을 말한다. 예를 들어, 초기 설정 값인 제1 설정 값, 제1 이미지 및 제1 이미지의 획득에 이용된 제2 설정 값이 입력되면, 이미지 획득 모델은 제1 설정 값을 갖는 제2 이미지를 출력할 수 있다. 이미지 획득 모델은 조리 기기(100) 자체에 온 디바이스(on-device)로 구현될 수 있을 뿐만 아니라, 서버를 비롯한 외부 장치에 구현될 수도 있다.
제2 이미지가 획득되면, 조리 기기(100)는 식재료를 인식하기 위한 객체 인식 모델에 제2 이미지를 입력하여, 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다(S270). 그리고, 제2 이미지에 포함된 식재료에 대한 정보가 획득되면, 조리 기기(100)는 식재료에 대한 정보를 바탕으로 조리 동작을 제어하거나, 사용자에게 안내 메시지를 제공하거나, 나아가 사용자에게 추천 레시피에 대한 정보를 제공하는 것과 같은 다양한 동작을 수행할 수 있다.
한편, 본 개시에 따른 객체 인식 모델은 이미지가 입력되면 이미지에 포함된 객체의에 대한 정보를 획득할 수 있는 신경망 모델을 말한다. 특히, 객체 인식 모델은 이미지에 포함된 식재료의 유형에 대한 정보 및 식재료의 색상에 대한 정보 등을 출력하도록 학습될 수 있다. 객체 인식 모델은 조리 기기(100) 자체에 온 디바이스(on-device)로 구현될 수 있을 뿐만 아니라, 서버를 비롯한 외부 장치에 구현될 수도 있다.
이상에서 도 2를 참조하여 상술한 실시 예에 따르면, 조리 기기(100)는 현재 식재료의 촬영에 적합한 현재의 설정 값인 제2 설정 값을 바탕으로 제1 이미지를 획득하여 사용자에게 제공하면서도, 파라미터 안정화에 따른 초기 설정 값인 제1 설정 값을 바탕으로 제2 이미지를 획득하여 객체 인식을 수행할 수 있다. 이에 따라, 조리 기기(100)는 조리 과정이 수행되는 동안 식재료에 대한 이미지를 획득하여 높은 인식률로 식재료에 대한 인식을 수행하면서도, 사용자에게 식재료에 대한 명확한 정보를 포함하는 이미지를 제공할 수 있게 된다.
도 3은 본 개시에 따른 파라미터 안정화 동작의 활성화 여부를 이용한 실시 예에 대해 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 개시에 따른 조리 기기(100)는 조리 기기(100)에 배치된 식재료를 촬영하기 위한 제1 이벤트의 발생 여부를 식별할 수 있다(S310). 그리고, 제1 이벤트가 식별되면(S310-Y), 조리 기기(100)는 카메라(110)에 관련된 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득할 수 있다(S315). 제1 이벤트의 발생 여부를 식별하는 과정과 파라미터 안정화 동작에 대해서는 도 2를 참조하여 상술하였으므로, 동일한 내용에 대한 중복 설명은 생략한다.
제1 설정 값이 획득되면, 조리 기기(100)는 적어도 하나의 파라미터에 대한 설정 값을 제1 설정 값으로 고정할 수 있다(S320). 그리고, 조리 기기(100)는 카메라(110)를 통해 제1 설정 값을 바탕으로 촬영을 수행할 수 있다(S325). 다시 말해, 조리 기기(100)는 파라미터 안정화 동작이 수행된 결과 초기 설정 값인 제1 설정 값이 획득되면, 파라미터 안정화 동작을 중지하고 제1 설정 값을 바탕으로 촬영을 수행할 수 있다.
조리 기기(100)는 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는지 여부에 따라(S330) 상이한 동작을 수행할 수 있다. 구체적으로, 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되면(S330-Y), 조리 기기(100)는 적어도 하나의 파라미터에 대한 설정 값 고정을 해제할 수 있다(S335). 그리고, 조리 기기(100)는 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 다시 조정하여 제2 설정 값을 획득할 수 있으며(S340), 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공할 수 있다(S345).
다시 말해, 파라미터 안정화 동작을 중지하고 제1 설정 값을 바탕으로 촬영을 수행하는 동안, 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우, 현재의 설정 값이 아닌 제1 설정 값을 바탕으로 획득된 이미지를 사용자에게 제공하는 것은 부적절할 수 있다. 따라서, 조리 기기(100)는 다시 파라미터 안정화 동작을 수행하여 제2 설정 값을 획득하고, 제2 설정 값을 바탕으로 획득된 이미지를 사용자에게 제공할 수 있다.
한편, 제2 설정 값을 바탕으로 획득된 제1 이미지가 사용자에게 제공되면, 조리 기기(100)는 다시 파라미터 안정화 동작을 중지하고, 제1 설정 값을 바탕으로 식재료에 대한 촬영을 수행할 수 있다(S325).
한편, 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되지 않으면(S330-N), 조리 기기(100)는 제1 설정 값을 바탕으로 식재료에 대한 제2 이미지를 획득할 수 있다(S350). 그리고, 조리 기기(100)는 식재료를 인식하기 위한 객체 인식 모델에 제2 이미지를 입력하여, 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다(S355).
다시 말해, 파라미터 안정화 동작을 중지하고 제1 설정 값을 바탕으로 촬영을 수행하는 동안, 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우와 같이 파라미터 안정화 동작을 다시 수행할 만한 상황이 발생하지 않는 한 조리 기기(100)는 파라미터 안정화 동작을 중지한 상태에서 고정된 제1 설정 값을 바탕으로 식재료에 대한 제2 이미지를 획득하고, 제2 이미지를 이용하여 객체 인식을 수행할 수 있다.
이상에도 도 3을 참조하여 상술한 실시 예에 따르면, 조리 기기(100)는 조리 과정이 수행되는 동안 파라미터 안정화 동작에 따른 설정 값을 고정함으로써 높은 인식률로 식재료에 대한 인식을 수행하면서도, 사용자에게 제공될 이미지를 획득할 때에는 파라미터 안정화 동작에 따른 설정 값을 다시 획득함으로써 사용자에게 식재료에 대한 고품질의 이미지를 제공할 수 있게 된다.
도 4는 본 개시의 일 실시 예에 따른 조리 기기(100)의 구성을 간략하게 나타내는 블록도이다. 그리고, 도 5는 본 개시의 일 실시 예에 따른 복수의 모듈을 나타내는 블록도이다.
도 4에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 조리 기기(100)는 카메라(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.
카메라(110)는 적어도 하나의 객체에 대한 이미지를 획득할 수 있다. 구체적으로, 카메라(110)는 이미지 센서를 포함하고, 이미지 센서는 렌즈를 통해 들어오는 빛을 전기적인 영상 신호로 변환할 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 카메라(110)를 통해 식재료에 대한 이미지를 획득할 수 있다. 구체적으로, 프로세서(130)는 적어도 하나의 파라미터에 대한 제1 설정 값을 바탕으로 식재료에 대한 제2 이미지를 획득할 수 있다. 또한, 프로세서(130)는 적어도 하나의 파라미터에 대한 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득할 수 있다.
메모리(120)에는 조리 기기(100)에 관한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리(120)에는 조리 기기(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(120)에는 본 개시의 다양한 실시 예들에 따라 조리 기기(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(120)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
구체적으로, 메모리(120)에는 본 개시의 다양한 실시 예에 따라 조리 기기(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(130)는 메모리(120)에 저장된 각종 소프트웨어 모듈을 실행하여 조리 기기(100)의 동작을 제어할 수 있다. 즉, 메모리(120)는 프로세서(130)에 의해 액세스되며, 프로세서(130)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
한편, 본 개시에서 메모리(120)라는 용어는 메모리(120), 프로세서(130) 내 롬(미도시), 램(미도시) 또는 조리 기기(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 메모리(120)에는 본 개시에 따른 제1 이미지 및 제2 이미지를 포함하는 식재료에 대한 이미지가 저장될 수 있다. 또한, 메모리(120)에는 본 개시에 따른 적어도 하나의 파라미터에 대한 설정 값, 즉 제1 설정 값, 제2 설정 값 등이 저장될 수 있다. 그리고, 메모리(120)에는 본 개시에 따른 이미지 획득 모델 및 객체 인식 모델을 포함하는 신경망 모델에 대한 정보가 저장될 수 있다. 뿐만 아니라, 메모리(120)에는 본 개시에 따른 제1 이벤트 및 제2 이벤트가 무엇인지를 나타내는 정보가 저장될 수 있다.
그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(120)에 저장될 수 있으며, 메모리(120)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.
프로세서(130)는 조리 기기(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(130)는 카메라(110) 및 메모리(120)를 포함하는 조리 기기(100)의 구성과 연결되며, 상술한 바와 같은 메모리(120)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 조리 기기(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(130)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(130)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크(182)로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(130)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Micro Processor Unit)등을 포함하는 의미로 사용될 수 있다.
특히, 프로세서(130)는 도 5에 도시된 바와 같은 복수의 모듈을 이용하여 본 개시에 따른 다양한 실시 예를 구현할 수 있다. 여기서, 복수의 모듈은 파라미터 안정화 모듈(131), 이미지 획득 모듈(132), 이미지 후처리 모듈(133) 및 객체 인식 모듈(134)을 포함할 수 있으며, 소프트웨어 모듈 또는 하드웨어 모듈로 구현될 수 있다. 이하에서는 본 개시에 따른 복수의 모듈이 프로세서(130)에 의해 구현되는 경우를 전제로 설명할 것이지만, 실시 예에 따라서는 복수의 모듈 중 적어도 일부 모듈은 이미지 처리를 위한 별도의 프로세서(130)에 포함된 형태로 구현될 수도 있다.
프로세서(130)는 조리 기기(100)에 배치된 식재료를 촬영하기 위한 제1 이벤트의 발생 여부를 식별할 수 있다. 그리고, 제1 이벤트가 식별되면, 프로세서(130)는 파라미터 안정화 모듈(131)을 통해 제1 설정 값을 획득할 수 있다.
파라미터 안정화 모듈(131)은 카메라(110)에 관련된 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하여 설정 값을 획득할 수 있는 모듈을 말한다. 구체적으로, 파라미터 안정화 모듈(131)은 현재 카메라(110)에 노출된 빛의 양, 피사체(예: 식재료)와의 거리 및 피사체의 색상 등을 바탕으로 기 정의된 알고리즘을 수행함으로써, 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영을 안정화시킬 수 있는 임계 범위 이내의 설정 값으로 조정할 수 있다. 이에 따라, 파라미터 안정화 모듈(131)은 본 개시에 따른 제1 설정 값 및 제2 설정 값을 획득할 수 있다. 나아가, 파라미터 안정화 모듈(131)은 획득된 설정 값을 메모리(120)에 저장할 수 있으며, 또한 이미지 획득 모듈(132)로 전송할 수 있다.
제1 설정 값이 획득되면, 프로세서(130)는 카메라(110)를 통해 제1 설정 값을 바탕으로 촬영을 수행할 수 있으며, 또한, 프로세서(130)는 제1 설정 값을 바탕으로 촬영이 수행되는 동안 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트의 발생 여부를 식별할 수 있다.
제2 이벤트가 식별되면, 프로세서(130)는 이미지 획득 모듈(132)을 이용하여 제1 이미지를 획득할 수 있다. 이미지 획득 모듈(132)은 카메라(110)를 통해 식재료에 대한 이미지를 획득할 수 있는 모듈을 말한다. 구체적으로, 이미지 획득 모듈(132)은 파라미터 안정화 모듈(131)로부터 수신된 설정 값을 바탕으로 식재료에 대한 이미지를 획득할 수 있다. 예를 들어, 이미지 획득 모듈(132)은 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공할 수 있다. 나아가, 이미지 획득 모듈(132)은 획득된 이미지를 메모리(120)에 저장할 수 있으며, 또한 이미지 후처리 모듈(133)로 전송할 수 있다.
프로세서(130)는 이미지 후처리 모듈(133)을 이용하여 제2 이미지를 획득할 수 있다. 이미지 후처리 모듈(133)은 제1 이미지에 대한 후처리를 수행하여 제2 이미지를 획득할 수 있는 모듈을 말한다. 구체적으로, 이미지 후처리 모듈(133)은 제1 이미지의 획득에 이용된 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득할 수 있다. 일 실시 예에 있어서, 이미지 후처리 모듈(133)은 제1 이미지에 대한 데이터에서 제2 설정 값을 제1 설정 값으로 변경함으로써 제2 이미지를 획득할 수 있으며, 제1 설정 값, 제2 설정 값 및 제1 이미지를 학습된 이미지 획득 모델에 입력하여 제2 이미지를 획득할 수도 있다. 나아가, 이미지 후처리 모듈(133)은 제1 이미지에 대한 후처리 결과 획득된 제2 이미지를 객체 인식 모듈(134)에 전송할 수 있다.
제2 이미지가 획득되면, 프로세서(130)는 객체 인식 모듈(134)을 이용하여 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다. 객체 인식 모듈(134)은 이미지에 포함된 식재료를 인식할 수 있는 모듈을 말하며, 특히, 입력된 이미지에 포함된 객체를 식별할 수 있도록 학습된 객체 인식 모델의 형태로 구현될 수 있다. 구체적으로, 객체 인식 모듈(134)은 이미지 후처리 모듈(133)로부터 제2 이미지가 수신되면, 제2 이미지에 대한 객체 인식을 수행하여 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다.
그 밖의 프로세서(130)의 제어를 바탕으로 한 본 개시에 따른 다양한 실시 예에 대해서는 도 1 내지 도 3를 참조하여 상술하였으므로 중복 설명은 생략한다.
도 6은 본 개시의 일 실시 예에 따른 조리 기기(100)의 구성을 상세하게 나타내는 블록도이다.
도 6에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 조리 기기(100)는 통신부(140), 적어도 하나의 센서(150), 발열부(160), 조명부(170), 입력부(180) 및 출력부(190)를 더 포함할 수 있다. 그러나, 도 4 및 도6에 도시된 바와 같은 구성들은 예시적인 것에 불과할 뿐이며, 본 개시를 실시함에 있어 도 4 및 도 6에 도시된 바와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음은 물론이다.
통신부(140)는 회로를 포함하며, 외부 장치와의 통신을 수행할 수 있다. 구체적으로, 프로세서(130)는 통신부(140)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.
통신부(140)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, NFC 모듈 및 UWB 모듈(Ultra Wide Band) 중 적어도 하나를 포함할 수 있다. 구체적으로, WiFi 모듈과 Bluetooth 모듈 각각은 WiFi 방식, Bluetooth 방식으로 통신을 수행할 수 있다. WiFi 모듈이나 Bluetooth 모듈을 이용하는 경우에는 SSID 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
또한, 무선 통신 모듈은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. 그리고, NFC 모듈은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 통신을 수행할 수 있다. 또한, UWB 모듈은 UWB 안테나 간 통신을 통하여, 펄스가 목표물에 도달하는 시간인 ToA(Time of Arrival), 송신 장치에서의 펄스 도래각인 AoA(Ange of Arrival)을 정확히 측정할 수 있고, 이에 따라 실내에서 수십 cm 이내의 오차 범위에서 정밀한 거리 및 위치 인식이 가능하다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 제1 이미지가 획득되면, 프로세서(130)는 사용자의 사용자 단말로 제1 이미지를 전송하도록 통신부(140)를 제어할 수 있다. 또한, 프로세서(130)는 통신부(140)를 통해 조리 동작을 수행하기 위한 사용자 입력을 수신할 수 있다. 그리고, 프로세서(130)는 본 개시에 따른 신경망 모델(예: 이미지 획득 모델, 객체 인식 모델)을 포함하는 서버로 신경망 모델의 입력 데이터를 전송하도록 통신부(140)를 제어할 수 있고, 통신부(140)를 통해 신경망 모델의 출력 데이터를 수신할 수도 있다.
적어도 하나의 센서(150)는 조리 기기(100) 내부 및 외부의 다양한 정보를 감지할 수 있다. 특히, 적어도 하나의 센서(150)는 도어 센서, 무게 감지 센서 및 조도 센서를 포함할 수 있다. 또한, 적어도 하나의 센서(150)는 GPS(Global Positioning System) 센서, 자이로 센서(gyro sensor, gyroscope), 가속도 센서(acceleration sensor, accelerometer), 라이다 센서(lidar sensor), 관성 센서(Inertial Measurement Unit, IMU) 및 모션 센서 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 센서는 온도 센서, 습도 센서, 적외선 센서, 바이오 센서 등과 같은 다양한 종류의 센서를 포함할 수도 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 도어 센서를 통해 조리 기기(100)에 포함된 도어의 여닫힘을 감지할 수 있다. 그리고, 도어 센서를 통해 도어가 닫힌 것이 감지되면, 프로세서(130)는 제1 이벤트가 발생되었음을 식별할 수 있으며, 도어 센서를 통해 도어가 열린 것이 감지되면, 프로세서(130)는 조리 동작이 중지되었음을 감지할 수 있다.
또한, 프로세서(130)는 무게 감지 센서를 통해 조리 기기(100)에 식재료가 배치되었는지 여부를 감지할 수 있다. 그리고, 무게 감지 센서를 통해 조리 기기(100)에 식재료가 배치된 것이 감지되면, 프로세서(130)는 제1 이벤트가 발생되었음을 식별할 수 있다.
그리고, 프로세서(130)는 파라미터 안정화 동작이 수행되는 동안 조도 센서를 통해 조리 기기(100) 주변의 조도를 감지할 수 있다. 그리고, 조도 센서를 통해 조리 기기(100) 주변의 조도가 변경된 것이 감지되면, 프로세서(130)는 변경된 조도를 바탕으로 적어도 하나의 파라미터에 대한 설정 값을 변경할 수 있다.
발열부(160)는 음식물을 가열할 수 있는 구성을 말한다. 특히, 조리 기기(100)가 전기 오븐 또는 전기 레인지로 구현되는 경우 발열부(160)는 전력의 공급에 의해 발열할 수 있으며 이 때의 열원은 래디언트 히터 또는 인덕션 히터 등일 수 있다. 발열부(160)를 동작시키거나 발열부(160)의 발열 온도 및 발열 시간은 사용자 입력을 바탕으로 수행될 수도 있으며, 뿐만 아니라, 이미지에 포함된 식재료에 대한 정보를 바탕으로 프로세서(130)에 의해 수행될 수도 있다.
조명부(170)는 광원을 포함하며 광원에 의해 조리 기기(100) 내부에 광을 조사할 수 있는 구성을 말한다. 구체적으로, 조명부(170)는 복수의 광원을 포함할 수 있으며, 프로세서(130)는 복수의 광원 각각 또는 복수의 광원의 조합에 따라 다양한 색상의 광을 조리 기기(100) 내부에 조사할 수 있다. 예를 들어, 조명부(170)는 복수의 LED(light-emitting diode) 광원을 포함할 수 있으며, 다만 이에 국한되는 것이 아님은 물론이다.
특히, 프로세서(130)는 제1 이미지에 포함된 식재료의 색상을 바탕으로 조명부(170)에 의해 조사되는 광의 색상 및 밝기 중 적어도 하나를 제어할 수 있다. 예를 들어, 식재료가 크로와상인 경우, 조리 동작이 개시된 시점에서는 생지 상태인 크로와상이 선명하게 보일 수 있도록 주광색 광을 조사할 수 있으며, 조리 동작이 진행되는 동안 크로와상이 익어갈수록 노란색 광을 조사함으로써 크로와상을 더 노랗게 보이도록 할 수 있다. 이에 따라, 조리 기기(100)는 식재료의 종류와 조리 상태에 적합한 조명을 이용하여 사용자에게 더 나은 이미지를 제공할 수 있게 된다.
입력부(180)는 회로를 포함하며, 프로세서(130)는 입력부(180)를 통해 조리 기기(100)의 동작을 제어하기 위한 사용자 명령을 수신할 수 있다. 구체적으로, 입력부(180)는 마이크(182), 카메라(110)(미도시), 및 리모컨 신호 수신부(미도시) 등과 같은 구성으로 이루어질 수 있다. 그리고, 입력부(180)는 터치 스크린으로서 디스플레이(191)에 포함된 형태로 구현될 수도 있다. 특히, 마이크(182)는 음성 신호를 수신하고, 수신된 음성 신호를 전기 신호로 변환할 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 입력부(180)를 통해 조리 동작을 수행하기 위한 사용자 입력, 조리 동작이 수행되는 시간을 설정하기 위한 사용자 입력, 조리 동작을 종료하기 위한 사용자 입력, 식재료에 대한 이미지를 요청하기 위한 사용자 입력 등을 수신할 수 있다.
출력부(190)는 회로를 포함하며, 프로세서(130)는 출력부(190)를 통해 조리 기기(100)가 수행할 수 있는 다양한 기능을 출력할 수 있다. 그리고, 출력부(190)는 디스플레이(191), 스피커(192) 및 인디케이터 중 적어도 하나를 포함할 수 있다.
디스플레이(191)는 프로세서(130)의 제어에 의하여 영상 데이터를 출력할 수 있다. 구체적으로, 디스플레이(191)는 프로세서(130)의 제어에 의하여 메모리(120)에 기 저장된 영상을 출력할 수 있다.
특히, 본 개시의 일 실시 예에 따른 디스플레이(191)는 메모리(120)에 저장된 사용자 인터페이스(User Interface)를 표시할 수도 있다. 디스플레이(191)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으며, 또한 디스플레이(191)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 다만, 본 개시에 따른 디스플레이(191)가 특정한 종류에 한정되는 것은 아니다. 스피커(192)는 프로세서(130)의 제어에 의하여 오디오 데이터를 출력할 수 있으며, 인디케이터는 프로세서(130)의 제어에 의하여 점등될 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 본 개시에 따른 제1 이미지가 획득되면, 제1 이미지를 표시하도록 디스플레이(191)를 제어할 수 있다. 그 밖에도, 프로세서(130)는 조리 동작의 진행 상황을 나타내는 정보, 사용자 입력을 수신하기 위한 사용자 인터페이스 등을 표시할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 시스템을 나타내는 블록도이다.
도 7에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 시스템은 조리 기기(100), 서버(200) 및 사용자 단말(300)을 포함할 수 있다.
이상에서는 조리 기기(100)에 의해 본 개시에 따른 다양한 실시 예가 구현되는 경우를 전제로 설명하였으나, 이상에서 상술한 실시 예의 일부 과정은 서버(200)를 통해 수행될 수 있으며, 일부 과정은 사용자 단말(300)을 통해 수행될 수도 있다.
본 개시에 있어서, 서버(200)는 본 개시에 따른 신경망 모델이 구현된 장치를 말한다. 구체적으로, 서버(200)는 본 개시에 따른 이미지 획득 모델 및 객체 인식 모델을 포함하는 신경망 모델을 포함할 수 있다.
일 실시 예에 있어서, 서버(200)는 이미지 획득 모델을 포함할 수 있다. 이 경우, 조리 기기(100)는 적어도 하나의 파라미터에 대한 초기 설정 값인 제1 설정 값, 현재의 설정 값인 제2 설정 값, 그리고 제1 이미지에 대한 데이터를 서버(200)로 전송하도록 통신부를 제어할 수 있다. 조리 기기(100)로부터 제1 설정 값, 제2 설정 값 및 제1 이미지에 대한 데이터가 수신되면, 서버(200)는 학습된 이미지 획득 모델에 제1 설정 값, 제2 설정 값 및 제1 이미지에 대한 데이터를 입력하여, 제1 이미지의 획득에 이용된 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득하고, 조리 기기(100)에 전송할 수 있다.
일 실시 예에 있어서, 서버(200)는 객체 인식 모델을 포함할 수 있다. 조리 기기(100)는 제2 이미지에 대한 데이터를 서버(200)로 전송하도록 통신부를 제어할 수 있다. 조리 기기(100)로부터 제2 이미지에 대한 데이터가 수신되면, 서버(200)는 객체 인식 모델에 제2 이미지에 대한 데이터를 입력하여 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다.
한편, 서버(200)가 객체 인식 모델과 함께 이미지 획득 모델을 포함하는 경우이면, 서버(200)는 이미지 획득 모델을 이용하여 제2 이미지를 획득하고, 객체 인식 모델을 이용하여 제2 이미지에 포함된 식재료에 대한 정보를 획득하며, 그 후 제2 이미지에 대한 데이터와 함께 제2 이미지에 포함된 식재료에 대한 정보를 조리 기기(100)로 전송할 수 있다.
본 개시에 있어서, 사용자 단말(300)은 조리 동작이 수행되는 상황에 대한 정보를 수신하여 표시할 수 있는 장치를 말한다. 예를 들어, 사용자 단말(300)은 스마트 폰, 태블릿 PC 또는 스마트워치 등으로 구현될 수 있으며, 다만 이에 국한되는 것은 아니다.
일 실시 예에 있어서, 제1 이미지가 획득되면, 조리 기기(100)는 사용자 단말(300)로 제1 이미지를 전송하도록 통신부를 제어할 수 있다. 그리고, 제1 이미지가 수신되면, 사용자 단말(300)은 사용자 단말(300)의 디스플레이를 통해 제1 이미지를 출력할 수 있다.
한편, 사용자 단말(300)은 조리 동작을 수행하기 위한 사용자 입력, 조리 동작이 수행되는 시간을 설정하기 위한 사용자 입력, 조리 동작을 종료하기 위한 사용자 입력, 식재료에 대한 이미지를 요청하기 위한 사용자 입력 등을 수신할 수 있으며, 수신된 사용자 입력을 조리 기기(100)에 전송할 수 있다.
한편, 상술한 실시 예에 따른 조리 기기(100)의 제어 방법은 프로그램으로 구현되어 조리 기기(100)에 제공될 수 있다. 특히, 조리 기기(100)의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
구체적으로, 조리 기기(100)의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 조리 기기(100)의 제어 방법은 조리 기기(100)에 배치된 식재료를 촬영하기 위한 제1 이벤트가 식별되면, 조리 기기(100)의 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득하는 단계, 카메라를 통해 제1 설정 값을 바탕으로 촬영이 수행되는 동안 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트가 식별되면, 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공하는 단계, 제1 이미지의 획득에 이용된 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득하는 단계 및 식재료를 인식하기 위한 객체 인식 모델에 제2 이미지를 입력하여, 제2 이미지에 포함된 식재료에 대한 정보를 획득하는 단계를 포함한다.
이상에서 조리 기기(100)의 제어 방법, 그리고 조리 기기(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해 간략하게 설명하였으나, 이는 중복 설명을 생략하기 위한 것일 뿐이며, 조리 기기(100)에 대한 다양한 실시 예는 조리 기기(100)의 제어 방법, 그리고 조리 기기(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해서도 적용될 수 있음은 물론이다.
상술한 바와 같은 본 개시의 다양한 실시 예에 따르면, 조리 기기(100)는 조리 과정이 수행되는 동안 식재료에 대한 이미지를 획득하여 높은 인식률로 식재료에 대한 인식을 수행하면서도, 사용자에게 식재료에 대한 명확한 정보를 포함하는 이미지를 제공할 수 있게 된다.
본 개시에 따른 인공지능과 관련된 기능은 조리 기기(100)의 프로세서(130)와 메모리를 통해 동작된다.
프로세서(130)는 하나 또는 복수의 프로세서(130)로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서(130)는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), NPU(Neural Processing Unit) 중 적어도 하나를 포함할 수 있으나 전술한 프로세서(130)의 예시에 한정되지 않는다.
CPU는 일반 연산뿐만 아니라 인공지능 연산을 수행할 수 있는 범용 프로세서(130)로서, 다계층 캐시(Cache) 구조를 통해 복잡한 프로그램을 효율적으로 실행할 수 있다. CPU는 순차적인 계산을 통해 이전 계산 결과와 다음 계산 결과의 유기적인 연계가 가능하도록 하는 직렬 처리 방식에 유리하다. 범용 프로세서(130)는 전술한 CPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
GPU는 그래픽 처리에 이용되는 부동 소수점 연산 등과 같은 대량 연산을 위한 프로세서(130)로서, 코어를 대량으로 집적하여 대규모 연산을 병렬로 수행할 수 있다. 특히, GPU는 CPU에 비해 컨볼루션(Convolution) 연산 등과 같은 병렬 처리 방식에 유리할 수 있다. 또한, GPU는 CPU의 기능을 보완하기 위한 보조 프로세서(130)(co-processor)로 이용될 수 있다. 대량 연산을 위한 프로세서(130)는 전술한 GPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
NPU는 인공 신경망을 이용한 인공지능 연산에 특화된 프로세서(130)로서, 인공 신경망을 구성하는 각 레이어를 하드웨어(예로, 실리콘)로 구현할 수 있다. 이때, NPU는 업체의 요구 사양에 따라 특화되어 설계되므로, CPU나 GPU에 비해 자유도가 낮으나, 업체가 요구하기 위한 인공지능 연산을 효율적으로 처리할 수 있다. 한편, 인공지능 연산에 특화된 프로세서(130)로, NPU 는 TPU(Tensor Processing Unit), IPU(Intelligence Processing Unit), VPU(Vision processing unit) 등과 같은 다양한 형태로 구현 될 수 있다. 인공 지능 프로세서(130)는 전술한 NPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
또한, 하나 또는 복수의 프로세서(130)는 SoC(System on Chip)으로 구현될 수 있다. 이때, SoC에는 하나 또는 복수의 프로세서(130) 이외에 메모리, 및 프로세서(130)와 메모리 사이의 데이터 통신을 위한 버스(Bus)등과 같은 네트워크 인터페이스를 더 포함할 수 있다.
조리 기기(100)에 포함된 SoC(System on Chip)에 복수의 프로세서(130)가 포함된 경우, 조리 기기(100)는 복수의 프로세서(130) 중 일부 프로세서(130)를 이용하여 인공지능과 관련된 연산(예를 들어, 인공지능 모델의 학습(learning)이나 추론(inference)에 관련된 연산)을 수행할 수 있다. 예를 들어, 조리 기기(100)는 복수의 프로세서(130) 중 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공지능 연산에 특화된 GPU, NPU, VPU, TPU, 하드웨어 가속기 중 적어도 하나를 이용하여 인공지능과 관련된 연산을 수행할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, CPU 등과 범용 프로세서(130)를 이용하여 인공지능과 관련된 연산을 처리할 수 있음은 물론이다.
또한, 조리 기기(100)는 하나의 프로세서(130)에 포함된 멀티 코어(예를 들어, 듀얼 코어, 쿼드 코어 등)를 이용하여 인공지능과 관련된 기능에 대한 연산을 수행할 수 있다. 특히, 조리 기기(100)는 프로세서(130)에 포함된 멀티 코어를 이용하여 병렬적으로 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공 지능 연산을 수행할 수 있다.
하나 또는 복수의 프로세서(130)는, 메모리에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어질 수도 있다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서 상술한 바와 같은 본 개시의 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다.
다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 조리 기기(100))를 포함할 수 있다.
상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 조리 기기 110: 카메라
120: 메모리 130: 프로세서
140: 통신부 150: 적어도 하나의 센서
160: 발열부 170: 조명부
180: 입력부 190: 출력부
200: 서버 300: 사용자 단말

Claims (17)

  1. 조리 기기에 있어서,
    카메라;
    적어도 하나의 인스트럭션(instruction)을 저장하는 메모리; 및
    상기 적어도 하나의 인스트럭션을 실행하는 프로세서; 를 포함하고,
    상기 프로세서는,
    상기 조리 기기에 배치된 식재료를 촬영하기 위한 제1 이벤트가 식별되면, 상기 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 상기 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득하고,
    상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 촬영이 수행되는 동안 상기 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트가 식별되면, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공하며,
    상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하고,
    상기 식재료를 인식하기 위한 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득하는 조리 기기.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 이미지에 대한 데이터에서 상기 제2 설정 값을 상기 제1 설정 값으로 변경함으로써 상기 제2 이미지를 획득하는 조리 기기.
  3. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 설정 값, 상기 제2 설정 값 및 상기 제1 이미지를 학습된 이미지 획득 모델에 입력하여 상기 제2 이미지를 획득하는 조리 기기.
  4. 제1 항에 있어서,
    적어도 하나의 센서; 를 더 포함하고,
    상기 제1 이벤트는,
    상기 조리 기기의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 상기 적어도 하나의 센서를 통해 상기 조리 기기에 포함된 도어가 닫힌 것이 감지되는 경우 및 상기 적어도 하나의 센서를 통해 상기 조리 기기에 상기 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함하는 조리 기기.
  5. 제4 항에 있어서,
    상기 제2 이벤트는,
    상기 설정 값을 상기 식재료에 대한 촬영에 적합하도록 자동으로 조정하는 파라미터 안정화 동작이 수행되는 동안 상기 식재료의 색상이 변경되었음이 식별되는 경우, 상기 파라미터 안정화 동작이 수행되는 동안 상기 적어도 하나의 센서를 통해 상기 조리 기기 주변의 조도가 변경되었음이 감지되는 경우 및 상기 파라미터 안정화 동작이 수행되지 않는 동안 상기 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함하는 조리 기기.
  6. 제1 항에 있어서,
    통신부; 를 더 포함하고,
    상기 프로세서는,
    상기 제1 이미지가 획득되면, 상기 사용자의 사용자 단말로 상기 제1 이미지를 전송하도록 상기 통신부를 제어하는 조리 기기.
  7. 제1 항에 있어서,
    디스플레이; 를 더 포함하고,
    상기 프로세서는,
    상기 제1 이미지가 획득되면, 상기 제1 이미지를 표시하도록 상기 디스플레이를 제어하는 조리 기기.
  8. 제1 항에 있어서,
    조명부; 를 더 포함하고,
    상기 프로세서는,
    상기 제1 이미지에 포함된 상기 식재료의 색상을 바탕으로 상기 조명부에 의해 조사되는 광의 색상 및 밝기 중 적어도 하나를 제어하는 조리 기기.
  9. 조리 기기의 제어 방법에 있어서,
    상기 조리 기기에 배치된 식재료를 촬영하기 위한 제1 이벤트가 식별되면, 상기 조리 기기의 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 상기 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득하는 단계;
    상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 촬영이 수행되는 동안 상기 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트가 식별되면, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공하는 단계;
    상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하는 단계; 및
    상기 식재료를 인식하기 위한 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득하는 단계; 를 포함하는 조리 기기의 제어 방법.
  10. 제9 항에 있어서,
    상기 제2 이미지를 획득하는 단계는 상기 제1 이미지에 대한 데이터에서 상기 제2 설정 값을 상기 제1 설정 값으로 변경함으로써 상기 제2 이미지를 획득하는 조리 기기의 제어 방법.
  11. 제9 항에 있어서,
    상기 제2 이미지를 획득하는 단계는 상기 제1 설정 값, 상기 제2 설정 값 및 상기 제1 이미지를 학습된 이미지 획득 모델에 입력하여 상기 제2 이미지를 획득하는 조리 기기의 제어 방법.
  12. 제9 항에 있어서,
    상기 제1 이벤트는,
    상기 조리 기기의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 상기 조리 기기에 포함된 적어도 하나의 센서를 통해 상기 조리 기기에 포함된 도어가 닫힌 것이 감지되는 경우 및 상기 적어도 하나의 센서를 통해 상기 조리 기기에 상기 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함하는 조리 기기의 제어 방법.
  13. 제12 항에 있어서,
    상기 제2 이벤트는,
    상기 설정 값을 상기 식재료에 대한 촬영에 적합하도록 자동으로 조정하는 파라미터 안정화 동작이 수행되는 동안 상기 식재료의 색상이 변경되었음이 식별되는 경우, 상기 파라미터 안정화 동작이 수행되는 동안 상기 적어도 하나의 센서를 통해 상기 조리 기기 주변의 조도가 변경되었음이 감지되는 경우 및 상기 파라미터 안정화 동작이 수행되지 않는 동안 상기 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함하는 조리 기기의 제어 방법.
  14. 제9 항에 있어서,
    상기 제1 이미지가 획득되면, 상기 사용자의 사용자 단말로 상기 제1 이미지를 전송하는 단계; 를 더 포함하는 조리 기기의 제어 방법.
  15. 제9 항에 있어서,
    상기 제1 이미지가 획득되면, 상기 제1 이미지를 표시하는 단계; 를 더 포함하는 조리 기기의 제어 방법.
  16. 제9 항에 있어서,
    상기 제1 이미지에 포함된 상기 식재료의 색상을 바탕으로 상기 조리 기기에 포함된 조명부에 의해 조사되는 광의 색상 및 밝기 중 적어도 하나를 제어하는 단계; 를 더 포함하는 조리 기기의 제어 방법.
  17. 조리 기기의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서,
    상기 조리 기기의 제어 방법은,
    상기 조리 기기에 배치된 식재료를 촬영하기 위한 제1 이벤트가 식별되면, 상기 조리 기기의 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 상기 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득하는 단계;
    상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 촬영이 수행되는 동안 상기 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트가 식별되면, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공하는 단계;
    상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하는 단계; 및
    상기 식재료를 인식하기 위한 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득하는 단계; 를 포함하는 컴퓨터 판독 가능 기록매체.
KR1020220125712A 2022-09-30 2022-09-30 조리 기기 및 이의 제어 방법 KR20240045864A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220125712A KR20240045864A (ko) 2022-09-30 2022-09-30 조리 기기 및 이의 제어 방법
PCT/KR2023/011691 WO2024071655A1 (ko) 2022-09-30 2023-08-08 조리 기기 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220125712A KR20240045864A (ko) 2022-09-30 2022-09-30 조리 기기 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20240045864A true KR20240045864A (ko) 2024-04-08

Family

ID=90478304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220125712A KR20240045864A (ko) 2022-09-30 2022-09-30 조리 기기 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR20240045864A (ko)
WO (1) WO2024071655A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214194A (ja) * 2012-04-02 2013-10-17 Sharp Corp レシピ提供システム
KR20180083167A (ko) * 2017-01-12 2018-07-20 엘지전자 주식회사 조리 기기 및 그를 포함하는 조리 시스템
JP7077506B2 (ja) * 2017-12-30 2022-05-31 美的集団股▲フン▼有限公司 食材識別に基づく食品の調理方法及びシステム
KR20190105531A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 인공지능 기반 조리 제어 방법 및 지능형 디바이스
KR20210074648A (ko) * 2019-12-12 2021-06-22 엘지전자 주식회사 조리장치 및 조리장치 제어방법

Also Published As

Publication number Publication date
WO2024071655A1 (ko) 2024-04-04

Similar Documents

Publication Publication Date Title
RU2635836C2 (ru) Способ и устройство для управления вспышкой и терминал
US20180041724A1 (en) Electronic device having camera module, and image processing method for electronic device
US9792878B2 (en) Method for content adaptation based on ambient environment of electronic device and electronic device thereof
CN108696680A (zh) 用于焦点控制的电子设备和方法
KR102045290B1 (ko) 발열 제어 방법 및 그 전자 장치
US10908568B2 (en) Electronic device for controlling IoT device to correspond to state of external electronic device and operation method thereof
JP6732977B2 (ja) サーバー及びその動作方法（ｓｅｒｖｅｒ ａｎｄ ｏｐｅｒａｔｉｎｇ ｍｅｔｈｏｄ ｔｈｅｒｅｏｆ）
CN110140351A (zh) 用于校准立体相机的方法和电子装置
US20210232863A1 (en) Electronic device and controlling method of electronic device
CN108353152A (zh) 图像处理设备及其操作方法
CN110462617A (zh) 用于通过多个相机认证生物数据的电子装置和方法
US20160373653A1 (en) Method for processing image and electronic device thereof
EP4029417A1 (en) Method for controlling cooker by using artificial intelligence and system therefor
KR102487926B1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
US11687635B2 (en) Automatic exposure and gain control for face authentication
KR20240045864A (ko) 조리 기기 및 이의 제어 방법
EP4379505A1 (en) Electronic device and electronic device control method
US20220006939A1 (en) Electronic device and method for controlling same
US11196400B2 (en) Method for controlling equalizer based on artificial intelligence
US20210142171A1 (en) Electronic apparatus and method of controlling thereof
KR20220027012A (ko) 디스플레이 장치의 화질을 조정하는 전자 장치 및 이의 동작 방법
CN110414673A (zh) 多媒体识别方法、装置、设备及存储介质
US20240212649A1 (en) Electronic apparatus and controlling method thereof
CN110178142A (zh) 单一处理器计算机视觉硬件控制和应用执行
US20230418244A1 (en) Electronic device and controlling method of electronic device