KR20190121064A - 디스플레이 장치 및 디스플레이 장치의 제어 방법 - Google Patents

디스플레이 장치 및 디스플레이 장치의 제어 방법 Download PDF

Info

Publication number
KR20190121064A
KR20190121064A KR1020180044562A KR20180044562A KR20190121064A KR 20190121064 A KR20190121064 A KR 20190121064A KR 1020180044562 A KR1020180044562 A KR 1020180044562A KR 20180044562 A KR20180044562 A KR 20180044562A KR 20190121064 A KR20190121064 A KR 20190121064A
Authority
KR
South Korea
Prior art keywords
information
server
image
cooking
refrigerator
Prior art date
Application number
KR1020180044562A
Other languages
English (en)
Other versions
KR102535152B1 (ko
Inventor
양관식
김재홍
이상경
정지학
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180044562A priority Critical patent/KR102535152B1/ko
Priority to US16/980,280 priority patent/US11606619B2/en
Priority to CN201980022877.1A priority patent/CN111989930A/zh
Priority to PCT/KR2019/000174 priority patent/WO2019203421A1/ko
Priority to EP19788486.9A priority patent/EP3739896A4/en
Publication of KR20190121064A publication Critical patent/KR20190121064A/ko
Application granted granted Critical
Publication of KR102535152B1 publication Critical patent/KR102535152B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N5/2257—
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

디스플레이 장치가 개시된다. 개시되는 디스플레이 장치는, 디스플레이, 통신부, 프로세서 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 냉장고와 관련되는 정보를 요청하는 입력이 수신되면, 상기 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령이 상기 냉장고로 전송되도록 상기 통신부를 제어하고, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 상기 통신부를 통해 수신하고, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하고, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하도록 상기 통신부를 제어하고, 상기 디스플레이를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하도록 설정된 명령어들을 저장하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것일 수 있다.
또한, 상기 서버의 적어도 일부는 규칙 기반 모델 또는 기계 학습, 신경망 또는 딥러닝 알고리즘 중 적어도 하나에 따라서 학습 된 인공 지능 데이터 인식 모델을 이용할 수 있다.
상기 규칙 기반 모델 또는 인공 지능 데이터 인식 모델은 식재료 정보를 입력값으로 하여 요리 방송 콘텐트를 추정할 수 있다.

Description

디스플레이 장치 및 디스플레이 장치의 제어 방법{DISPLAY DEVICE AND METHOD FOR CONTROLLING THEREOF}
본 개시는 디스플레이 장치를 이용하는 콘텐트 제공 방법으로서, 특히 냉장고와 관련되는 명령에 대응하여 요리 방송 콘텐트를 제공하는 디스플레이 장치 및 그의 제어 방법에 관한 것이다.
최근 요리와 관련된 다양한 컨텐츠가 생성되고 있다. 예를 들어, 신선한 식재료를 구입하는 방법, 식재료를 활용한 다양한 요리 방법 등에 관한 미디어 콘텐트가 생성되어, 사용자는 언제든지 원하는 컨텐츠를 확인하고 식재료를 구입하거나 직접 요리를 할 수 있게 되었다.
사용자는 원하는 요리 방법 컨텐츠를 찾기 위해 현재 보유하고 있는 식재료를 확인하고 이와 관련되는 요리 방송 콘텐트를 검색하여야 하는 번거로움이 있을 수 있다.
따라서 사용자의 냉장고에 저장된 식재료를 바탕으로 다양한 요리 방송 콘텐트들 중에서 저장된 식재료와 관련성이 높은 요리 방송 콘텐트가 제공될 필요성이 요구 된다.
일 실시예에 따른 디스플레이 장치는, 디스플레이, 통신부, 프로세서 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 냉장고와 관련되는 정보를 요청하는 입력이 수신되면, 상기 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령이 상기 냉장고로 전송되도록 상기 통신부를 제어하고, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 상기 통신부를 통해 수신하고, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하고, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하도록 상기 통신부를 제어하고, 상기 디스플레이를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하도록 설정된 명령어들을 저장하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것일 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 제1 정보는, 상기 적어도 하나의 이미지에 포함된 식재료의 명칭에 관련되는 제1 텍스트이고, 상기 요리 정보와 관련되는 제2 정보는, 상기 서버에 기 저장된 미디어 콘텐트에 포함되는 이미지 프레임을 식별하여 요리 정보와 관련되는 적어도 하나의 이미지 프레임을 획득하고, 상기 적어도 하나의 이미지 프레임을 식별하여 획득한 제2 텍스트일 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 요리 정보는, 요리법 또는 식재료의 명칭 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 요리 방송 콘텐트는, 상기 제1 정보에 포함된 상기 식재료의 명칭이 상기 제2 정보에 포함되는 경우에, 상기 제2 정보에 대응하는 미디어 콘텐트를 이용하여 획득될 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 요리 방송 콘텐트는, 상기 서버에 기 저장된 미디어 콘텐트를 구성하는 복수 개의 이미지 프레임들 중에서 요리 정보와 관련되는 이미지 프레임을 이용하여 획득되는 비디오 클립을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 메모리는, 상기 프로세서가, 상기 디스플레이에 표시된 상기 요리 방송 콘텐트를 선택하는 사용자의 입력이 수신되면, 선택된 요리 방송 콘텐트를 재생하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 메모리는, 상기 프로세서가, 상기 선택된 요리 방송 콘텐트와 상기 제1 정보를 이용하여 구매가 필요한 식재료를 식별하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 메모리는, 상기 프로세서가, 식재료의 구매를 안내하는 사용자 인터페이스에 상기 구매가 필요한 식재료를 포함하여 표시하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따른 냉장고는, 카메라, 통신부, 프로세서 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 냉장고와 관련되는 정보를 요청하는 입력을 수신하면, 상기 카메라를 이용하여 적어도 하나의 이미지를 획득하고, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료 명칭에 관련되는 제1 정보를 획득하고, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하도록 상기 통신부를 제어하고, 상기 통신부를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하도록 설정된 명령어들을 저장하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것인, 냉장고.
일 실시예에 따른 서버는, 통신부, 프로세서 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 상기 통신부를 통해, 냉장고와 관련되는 정보를 요청하는 입력이 수신되면, 상기 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령이 상기 냉장고로 전송되도록 상기 통신부를 제어하고, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 상기 통신부를 통해 수신하고, 상기 적어도 하나의 이미지에 포함된 식재료를 인식하여 상기 식재료의 명칭에 관련되는 제1 정보를 획득하고, 상기 제1 정보와 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 요리 방송 콘텐트를 획득하고, 상기 통신부를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법은, 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 상기 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령을 상기 냉장고에게 전송하는 동작, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 수신하는 동작, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하는 동작 및 상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하는 동작을 포함하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것일 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법에 있어서, 상기 제1 정보는, 상기 적어도 하나의 이미지에 포함된 식재료의 명칭에 관련되는 제1 텍스트이고, 상기 요리 정보와 관련되는 제2 정보는, 상기 서버에 기 저장된 미디어 콘텐트에 포함되는 이미지 프레임을 식별하여 요리 정보와 관련되는 적어도 하나의 이미지 프레임을 획득하고, 상기 적어도 하나의 이미지 프레임을 식별하여 획득한 제2 텍스트인, 디스플레이 장치의 제어 방법.
일 실시예에 따른 디스플레이 장치의 제어 방법에 있어서, 상기 요리 방송 콘텐트는, 상기 제1 정보에 포함된 상기 식재료의 명칭이 상기 제2 정보에 포함되는 경우에, 상기 제2 정보에 대응하는 미디어 콘텐트를 이용하여 획득될 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법에 있어서, 상기 요리 방송 콘텐트는, 상기 서버에 기 저장된 미디어 콘텐트를 구성하는 복수 개의 이미지 프레임들 중에서 요리 정보와 관련되는 이미지 프레임을 이용하여 획득되는 비디오 클립을 포함할 수 있다.
상기 디스플레이 장치의 제어 방법은, 상기 표시되는 요리 방송 콘텐트를 선택하는 사용자의 입력에 따라서, 선택된 요리 방송 콘텐트를 재생하는 동작을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법은, 상기 요리 방송 콘텐트와 상기 제1 정보를 이용하여 구매가 필요한 식재료를 식별하는 동작을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법은, 식재료의 구매를 안내하는 사용자 인터페이스에 상기 구매가 필요한 식재료를 포함하여 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 냉장고의 제어 방법은, 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 카메라를 이용하여 식재료를 포함하는 적어도 하나의 이미지를 획득하는 동작, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하는 동작 및 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하는 동작을 포함하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것일 수 있다.
일 실시예에 따른 서버의 제어 방법은, 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 상기 냉장고에 포함된 카메라를 이용하여 촬영된, 식재료를 포함하는 이미지의 전송을 요청하는 요청 명령을 상기 냉장고에게 전송하는 동작, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지의 수신하는 동작, 상기 적어도 하나의 이미지에 포함된 식재료를 인식하여 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작, 상기 제1 텍스트와 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 요리 방송 콘텐트를 획득하는 동작 및 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하는 동작을 포함할 수 있다.
일 실시예에 따른 컴퓨터에서 실행시키기 위한 명령어들을 저장하는 컴퓨터로 읽을 수 있는 기록 매체를 포함하는 컴퓨터 프로그램 제품은, 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 상기 냉장고에 포함된 카메라를 이용하여 획득된, 이미지의 전송을 요청하는 요청 명령을 상기 냉장고에게 전송하는 동작, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 수신하는 동작, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하는 동작 및 상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하는 동작을 포함하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것일 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치는 냉장고에 저장된 식재료를 이용하는 요리 방송 콘텐트를 제공할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치는 냉장고에 저장된 식재료 이미지에서 획득한 텍스트와, 서버에 저장된 요리 방송 콘텐트에서 획득한 텍스트를 이용하여 사용자에게 요리 방송 콘텐트를 제공할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치는 요리 방송 콘텐트에 포함된 요리법에 포함되는 식재료의 구매를 안내할 수 있다.
도 1a는 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 1b는 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 2는 일 실시예에 따른 디스플레이 장치의 대략적인 블록도이다.
도 3은 일 실시예에 따른 디스플레이 장치가 식재료를 포함하는 이미지와 요리 방송 콘텐트 목록을 함께 표시하는 다른 방법을 설명하는 도면들이다.
도 4는 일 실시예에 따른 디스플레이 장치가 식재료 구매를 진행하는 사용자 인터페이스를 표시하는 상황을 설명하는 도면들이다.
도 5는 일 실시예에 따른 전자 장치가 선택된 요리 정보 콘텐트를 재생하는 방법을 설명하기 위한 도면들이다.
도 6은 일 실시예에 따른 콘텐트 추천 시스템에서 냉장고에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 7은 일 실시예에 따른 냉장고의 대략적인 블록도이다.
도 8은 일 실시예에 따른 콘텐트 추천 시스템에서 서버에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 9는 일 실시예에 따른 서버의 대략적인 블록도이다.
도 10은 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
도 11은 일 실시예에 따른 콘텐트 추천 시스템에서 냉장고에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
도 12는 일 실시예에 따른 콘텐트 추천 시스템에서 서버에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
도 13은 일 실시예에 따른 프로세서의 블록도이다.
도 14는 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “메커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1a는 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 1a을 참조하면, 콘텐트 추천 시스템(1)은 디스플레이 장치(10), 냉장고(20), 또는 서버(40)를 포함할 수 있다. 그러나 콘텐트 추천 시스템(1)을 구성하는 구성 요소들은 이에 한정되지는 않고, 콘텐트 추천 시스템(1)의 동작을 위해 필요한 구성 요소가 추가되거나, 또는 구성 요소들 중 하나가 제외될 수 있다.
디스플레이 장치(10), 냉장고(20), 및 서버(40)는 각 장치에 포함된 통신부를 이용하여 직접 통신을 수행할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10), 냉장고(20), 및 서버(40)는 유선 또는 무선 통신 방법을 이용하여 통신망을 수립할 수 있다. 디스플레이 장치(10), 냉장고(20), 및 서버(40)는 무선 통신부(예를 들면, 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신부(예를 들면, LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신부 이용하여 제1 네트워크(예를 들면, 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(예를 들면, 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 디스플레이 장치(10), 냉장고(20), 및 서버(40)는 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현된 통신부를 각각 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 외부에서 수신되는 영상 신호를 처리하고, 처리된 영상을 시각적으로 표시할 수 있는 영상 표시 장치(예를 들면, 텔레비전(television, TV)일 수 있으나, 이에 한정되지 않으며, 메모리와 프로세서를 포함하는 장치로 구현될 수 있다. 예를 들어, 디스플레이 장치(10)는 휴대폰, 스마트폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 플레이어, 착용형 기기(wearable device) 등과 같은 다양한 영상 표시 장치로 구현될 수 있다. 또한, 디스플레이 장치(10)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 내부에 저장된 앱(app)(또는, 어플리케이션 프로그램(application program))(예: 알람 앱, 사진(갤러리) 앱 등)을 통해 사용자에게 필요한 서비스를 제공할 수 있다.
일 실시예에 따르면, 서버(40)는 통신망을 통해 연결된 디스플레이 장치(10) 또는 기타 장치(예를 들면, 인공 지능 스피커 등)로부터 사용자의 음성 입력을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다양한 실시예에 다르면, 서버(40)는 텍스트 데이터에 기초하여 적어도 하나 이상의 기능을 실행시키는 명령을 생성(또는 선택)할 수 있다. 명령은 적어도 하나의 기능을 실행하기 위한 동작(또는 과정)에 대한 정보 또는 상기 동작을 실행하기 위한 파라미터에 대한 정보를 포함할 수 있다. 상기 명령은 적어도 하나의 기능을 실행하기 위한 동작의 순서를 포함할 수 있다. 디스플레이 장치(10)는 서버(40)가 생성한 명령을 수신하고, 명령에 따라서 앱(또는 기능)을 선택하고, 선택된 앱에서 상기 명령에 따른 동작을 실행할 수 있다.
다양한 실시예에 따르면, 서버(40)는 제1 서버와 제2 서버를 포함하는 복수 개의 서버들로 이루어질 수 있다. 예를 들어, 제1 서버는 미디어 콘텐트를 저장하는 서버이고, 제2 서버는 음성 인식과 관련되는 기능을 수행하는 서버일 수 있다. 그러나 이에 한정되는 것은 아니다. 예를 들어, 서버(40)는 미디어 콘텐트를 저장하는 기능과 음성 인식과 관련되는 기능을 모두 수행할 수도 있다.
일 실시예에 따르면, 냉장고(20)는 식품을 보관하는 저장실과 저장실에 냉기를 공급하는 냉기 공급 장치를 포함하는, 식품을 신선하게 보관할 수 있는 가전 기기이다. 냉장고(20)는 카메라를 더 포함할 수 있다. 일 실시예에 따르면, 냉장고(20)는 카메라를 이용하여 저장실에 저장된 식품을 촬영하여 이미지를 획득할 수 있다.
이하에서, 일 실시예에 따른 콘텐트 추천 시스템(1)을 이용하는 방법을 설명한다.
동작 ①에서, 디스플레이 장치(10)는 냉장고와 관련되는 정보를 요청하는 사용자의 이력(예를 들면, 발화)을 수신할 수 있다. 예를 들어, 디스플레이 장치(10)는 디스플레이 장치(10)에 포함된 마이크(미도시)를 이용하여 냉장고와 관련되는 정보를 요청하는 사용자의 입력을 수신할 수 있다.
냉장고와 관련되는 정보를 요청하는 사용자의 입력은, 예를 들면, "냉장고에 있는 식재료와 관련되는 방송을 표시해 줘", "냉장고에 있는 재료로 어떤 음식을 만들 수 있어?" 또는 "지금 냉장고에 뭐 있어?" 중 적어도 하나일 수 있다. 그러나 사용자의 입력은 이에 한정되지 않고, 냉장고와 관련된 정보를 요청하는 다양한 사용자의 입력을 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 사용자의 발화를 서버(40)로 전송할 수 있다.
동작 ②에서, 서버(40)는 음성 인식 알고리즘(또는, 음성 인식 모듈)을 이용하여 사용자의 발화를 인식하고, 인식한 발화와 관련되는 기능을 수행할 수 있다. 인식된 발화와 관련되는 기능은, 예를 들면, 냉장고(20)에 저장된 재료와 관련되는 요리 방송 콘텐트를 추천하는 기능일 수 있다.
다양한 실시예에 따르면, 서버(40)는 음성 인식을 수행하는 인공 지능 알고리즘을 이용하여 사용자의 발화를 인식하고, 발화와 관련되는 기능의 수행할 수 있다. 예를 들어, 서버(40)는 음성과 음성을 인식한 결과를 이용하여 학습된 데이터 인식 모델에 사용자의 발화를 적용하여 사용자의 발화에 포함된 내용을 인식할 수 있다.
동작 ③에서, 서버(40)는, 발화 인식 결과에 따라서, 냉장고(20)에 포함된 카메라를 이용하여 획득한 이미지의 전송을 요청 명령을 냉장고(20)에게 전송할 수 있다.
동작 ④에서, 냉장고(20)는 수신된 요청 명령에 대응하여, 냉장고(20)에 포함된 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 예를 들면, 냉장고(20)는 냉장고(20)의 내부를 촬영할 수 있는 복수 개의 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다.
동작 ⑤에서, 서버(40)는 냉장고(20)가 획득한 적어도 하나의 이미지를 수신할 수 있다.
다양한 실시예에 따르면, 서버(40)는 냉장고(20)의 저장실을 촬영한 이미지를 기 저장하고 있을 수 있다. 이 경우, 서버(40)는 상술한 동작 ③ 내지 동작 ⑤를 생략할 수도 있다.
동작 ⑥에서, 서버(40)는 냉장고(20)로부터 수신한 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 정보(예를 들면, 제1 텍스트)를 획득할 수 있다.
일 실시예에 따르면, 서버(40)는 이미지에 포함된 객체(예를 들면, 식재료)를 인식할 수 있다. 서버(40)는, 예를 들면, 이미지를 에지 영역을 강조하는 이미지로 변경한 후, 에지의 형상을 분석하여 객체의 형상을 인식할 수 있다.
일 실시예에 따르면, 서버(40)는 인식된 객체의 명칭을 식별하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
다양한 실시예에 따르면, 서버(40)는 인공 지능 알고리즘을 이용하여 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다. 예를 들어, 서버(40)는 객체를 포함하는 이미지와 객체의 명칭을 학습용 데이터로 하여 학습된 데이터 인식 모델에 냉장고(20)의 내부를 촬영한 적어도 하나의 이미지를 적용하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
일 실시예에 따르면, 서버(40)는 제1 정보(예를 들면, 제1 텍스트)와 서버(40)가 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보(예를 들면, 제2 텍스트)를 이용하여 요리 방송 콘텐트를 생성할 수 있다.
일 실시예에 따르면, 서버(40)는 서버(40)에 저장된 미디어 콘텐트에서 요리 정보를 텍스트 형태로 인식할 수 있다. 예를 들면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 각각의 이미지 프레임들에 텍스트 인식 방법(예를 들면, OCR(optical character reader) 기술)을 적용하여 텍스트를 인식할 수 있다. 구체적으로, 서버(40)는 미디어 콘텐트 중에서 요리 정보(예를 들면, 식재료의 명칭 또는 조리법 등)와 관련되는 적어도 하나의 이미지 프레임을 결정하고, 이미지 프레임에 포함된 텍스트를 이용하여 요리 정보와 관련되는 제2 텍스트를 획득할 수 있다. 이 경우, 제2 텍스트는 서버(40)가 저장하고 있는 미디어 콘텐트의 개수에 따라 복수 개가 생성될 수 있다.
다양한 실시예에 따르면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 복수 개의 이미지 프레임들 중에서, 요리 정보와 관련되는 이미지 프레임, 요리 정보와 관련되지 않는 이미지 프레임을 구분할 수 있다. 요리 정보와 관련되는 이미지 프레임은, 예를 들면, 텍스트 인식 결과 텍스트에 식재료, 요리 방법 등을 포함하는 글자가 있는 이미지 프레임일 수 있다.
일 실시예에 따르면, 서버(40)는 식재료의 명칭에 관련되는 제1 텍스트와 요리 정보와 관련되는 제2 텍스트를 이용하여 미디어 콘텐트 중에서 디스플레이 장치(10)로 전송할 요리 방송 콘텐트를 획득할 수 있다.
예를 들어, 서버(40)는 복수 개의 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득(또는, 추가) 할 수 있다.
다양한 실시예에 따르면, 서버(40)는 제1 텍스트에 포함된 식재료와 동일 유사한 식재료를 가지고 있는 제3 자가 시청한 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
다양한 실시예에 따르면, 서버(40)는 일정 기간(예를 들면, 최근 3개월, 6개월, 또는 1년)동안 가장 많이 재생된 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
동작 ⑦에서, 서버(40)는 획득한 요리 방송 콘텐트 및 요리 정보와 관련되는 제2 텍스트 중 적어도 하나를 디스플레이 장치(10)로 전송할 수 있다.
동작 ⑧에서, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트를 식재료를 포함하는 이미지와 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 표시 영역(11)을 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 디스플레이 장치(10)는 요리 방송 콘텐트(120)가 복수 개인 경우, 목록 형태로 요리 방송 콘텐트(120)를 표시할 수 있다. 그러나 디스플레이 장치(10)가 요리 방송 콘텐트(120)와 식재료를 포함하는 이미지(110)를 표시하는 방법은 이에 한정되지는 않는다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 수신된 제2 텍스트를 식재료를 포함하는 이미지와 함께 표시할 수 있다. 또한, 디스플레이 장치(10)는 제2 텍스트에서 요리 과정에 대한 내용만을 획득하여 식재료를 포함하는 이미지와 함께 표시할 수 있다.
이와 같이, 본 개시의 일 실시예에 따른 콘텐트 추천 시스템(1)은 냉장고와 관련되는 사용자의 발화를 인식하고, 사용자에게 필요한 요리 관련 콘텐트를 제공할 수 있다.
도 1b는 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 1b를 참조하면, 콘텐트 추천 시스템(1)은 디스플레이 장치(10), 서버(40), 냉장고(20), 또는 홈 게이트웨이(30)를 포함할 수 있다. 그러나 콘텐트 추천 시스템(1)을 구성하는 구성 요소들은 이에 한정되지는 않고, 콘텐트 추천 시스템(1)의 동작을 위해 필요한 구성 요소가 추가되거나, 또는 구성 요소들 중 하나가 제외될 수 있다.
일 실시예에 따르면, 디스플레이 장치(10), 서버(40), 냉장고(20), 또는 홈 게이트웨이(30)는 모두 통신망을 통해 연결될 수 있다. 예를 들면, 디스플레이 장치(10)와 냉장고(20)가 홈 게이트웨이(30)에 통신망을 통해 연결되고, 홈 게이트웨이(30)는 서버(40)와 통신망을 통해 연결될 수 있다. 그러나 통신망을 통한 연결 구조는 이에 한정되지 않고 다양한 구조로 이루어질 수 있다.
일 실시예에 따르면, 디스플레이 장치(10), 서버(40), 냉장고(20), 또는 홈 게이트웨이(30)는 유선 또는 무선 통신 방법을 이용하여 통신망을 수립할 수 있다. 디스플레이 장치(10), 서버(40), 냉장고(20), 또는 홈 게이트웨이(30)는 무선 통신부(예를 들면, 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신부(예를 들면, LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신부 이용하여 제1 네트워크(예를 들면, 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(예를 들면, 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 디스플레이 장치(10), 서버(40), 냉장고(20), 또는 홈 게이트웨이(30)는 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현된 통신부를 각각 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 사용자의 발화를 사용자 입력으로 수신할 수 있다. 디스플레이 장치(10)는 사용자의 발화를 수신하고, 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 예를 들면, 디스플레이 장치(10)는 사용자의 발화를 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다양한 실시예에 다르면, 디스플레이 장치(10)는 텍스트 데이터에 기초하여 적어도 하나 이상의 기능을 실행시키는 명령을 생성(또는 선택)할 수 있다. 명령은 적어도 하나의 기능을 실행하기 위한 동작(또는 과정)에 대한 정보 또는 상기 동작을 실행하기 위한 파라미터에 대한 정보를 포함할 수 있다. 상기 명령은 적어도 하나의 기능을 실행하기 위한 동작의 순서를 포함할 수 있다. 디스플레이 장치(10)는 명령에 따라서 앱(또는 기능)을 선택하고, 선택된 앱에서 상기 명령에 따른 동작을 실행할 수 있다.
일 실시예에 따르면, 서버(40) 또는 홈 게이트웨이(30)는 통신망을 통해 연결된 디스플레이 장치(10) 또는 기타 장치(예를 들면, 인공 지능 스피커 등)로부터 사용자의 음성 입력을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다양한 실시예에 다르면, 서버(40) 또는 홈 게이트웨이(30)는 텍스트 데이터에 기초하여 적어도 하나 이상의 기능을 실행시키는 명령을 생성(또는 선택)할 수 있다. 명령은 적어도 하나의 기능을 실행하기 위한 동작(또는 과정)에 대한 정보 또는 상기 동작을 실행하기 위한 파라미터에 대한 정보를 포함할 수 있다. 상기 명령은 적어도 하나의 기능을 실행하기 위한 동작의 순서를 포함할 수 있다. 디스플레이 장치(10)는 서버(40) 또는 홈 게이트웨이(30)가 생성한 명령을 수신하고, 명령에 따라서 앱(또는 기능)을 선택하고, 선택된 앱에서 상기 명령에 따른 동작을 실행할 수 있다.
이하에서, 다양한 실시예에 따른 콘텐트 추천 시스템(1)을 이용하는 방법을 설명한다.
동작 ①에서, 디스플레이 장치(10)는 냉장고와 관련되는 정보를 요청하는 사용자의 입력(예를 들면, 발화)을 수신할 수 있다. 예를 들어, 디스플레이 장치(10)는 디스플레이 장치(10)에 포함된 마이크(미도시)를 이용하여 냉장고와 관련되는 정보를 요청하는 사용자의 입력을 수신할 수 있다.
냉장고와 관련되는 정보를 요청하는 사용자의 입력은, 예를 들면, "냉장고에 있는 식재료와 관련되는 방송을 표시해 줘", "냉장고에 있는 재료로 어떤 음식을 만들 수 있어?" 또는 "지금 냉장고에 뭐 있어?" 중 적어도 하나일 수 있다. 그러나 사용자의 입력은 이에 한정되지 않고, 냉장고와 관련된 정보를 요청하는 다양한 사용자의 입력을 포함할 수 있다.
동작 ②에서, 디스플레이 장치(10)는 내부에 저장된 음성 인식 알고리즘(또는, 음성 인식 모듈)을 이용하여 사용자의 발화를 인식하고, 인식된 발화와 관련되는 기능을 수행할 수 있다. 인식된 발화와 관련되는 기능은, 예를 들면, 냉장고(20)에 저장된 재료와 관련되는 요리 방송 콘텐트를 추천하는 기능일 수 있다.
동작 ③에서, 발화 인식 결과에 따라서, 디스플레이 장치(10)는 냉장고(20)에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령을 냉장고(20)에게 전송할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 홈 게이트웨이(30)를 이용하여 냉장고(20)에게 이미지의 전송을 요청하는 요청 명령을 전송할 수 있다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 사용자의 발화 입력을 홈 게이트웨이(30)로 전송하고, 홈 게이트웨이(30)가 음성 인식 알고리즘 등을 이용하여 사용자의 발화 입력을 인식하고, 인식된 발화와 관련되는 기능을 수행하기 위해 생성한 명령어들을 수신 받아서 이후의 동작을 수행할 수 있다.
다양한 실시예에 따르면, 홈 게이트웨이(30)가 인식된 발화와 관련된 명령어를 이용하여 냉장고(20)에 이미지 전송을 요청하는 요청 명령을 전송할 수 있다.
동작 ④에서, 냉장고(20)는 수신된 요청 명령에 대응하여, 냉장고(20)에 포함된 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 예를 들면, 냉장고(20)는 냉장고(20)의 내부를 촬영할 수 있는 복수 개의 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다.
동작 ⑤에서, 디스플레이 장치(10)는 홈 게이트웨이(30)를 통해 냉장고(20)가 획득한 적어도 하나 이상의 이미지를 수신할 수 있다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 냉장고(20)의 저장실을 촬영한 이미지를 기 저장하고 있을 수 있다. 이 경우, 디스플레이 장치(10)는 상술한 동작 ③ 내지 동작 ⑤를 생략할 수도 있다.
동작 ⑥에서, 디스플레이 장치(10)는 냉장고(20)로부터 수신한 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 정보(예를 들면, 제1 텍스트)를 획득할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 이미지에 포함된 객체(예를 들면, 식재료)를 인식할 수 있다. 디스플레이 장치(10)는, 예를 들면, 이미지를 에지 영역을 강조하는 이미지로 변경한 후, 에지의 형상을 분석하여 객체의 형상을 인식할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 인식된 객체의 명칭을 식별하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 인공 지능 알고리즘을 이용하여 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다. 예를 들어, 디스플레이 장치(10)는 객체를 포함하는 이미지와 객체의 명칭을 학습용 데이터로 하여 학습된 데이터 인식 모델에 냉장고(20)의 내부를 촬영한 적어도 하나의 이미지를 적용하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
동작 ⑦에서, 디스플레이 장치(10)는 획득한 제1 텍스트를 홈 게이트웨이(30)를 통해 서버(40)로 전송할 수 있다.
동작 ⑧에서, 서버(40)는 제1 정보(예를 들면, 제1 텍스트)와 서버(40)가 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보(예를 들면, 제2 텍스트)를 이용하여 요리 방송 콘텐트를 생성할 수 있다.
일 실시예에 따르면, 서버(40)는 서버(40)에 저장된 미디어 콘텐트에서 요리 정보를 텍스트 형태로 인식할 수 있다. 예를 들면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 각각의 이미지 프레임들에 텍스트 인식 방법(예를 들면, OCR(optical character reader) 기술)을 적용하여 텍스트를 인식할 수 있다. 구체적으로, 서버(40)는 미디어 콘텐트 중에서 요리 정보(예를 들면, 식재료의 명칭 또는 조리법 등)와 관련되는 적어도 하나의 이미지 프레임을 결정하고, 이미지 프레임에 포함된 텍스트를 이용하여 요리 정보와 관련되는 제2 텍스트를 획득할 수 있다. 이 경우, 제2 텍스트는 서버(40)가 저장하고 있는 미디어 콘텐트의 개수에 따라 복수 개가 생성될 수 있다.
다양한 실시예에 따르면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 복수 개의 이미지 프레임들 중에서, 요리 정보와 관련되는 이미지 프레임, 요리 정보와 관련되지 않는 이미지 프레임을 구분할 수 있다. 요리 정보와 관련되는 이미지 프레임은, 예를 들면, 텍스트 인식 결과 텍스트에 식재료, 요리 방법 등을 포함하는 글자가 있는 이미지 프레임일 수 있다.
일 실시예에 따르면, 서버(40)는 식재료의 명칭에 관련되는 제1 텍스트와 요리 정보와 관련되는 제2 텍스트를 이용하여 미디어 콘텐트 중에서 디스플레이 장치(10)로 전송할 요리 방송 콘텐트를 획득할 수 있다.
예를 들어, 서버(40)는 복수 개의 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득(또는, 추가) 할 수 있다.
다양한 실시예에 따르면, 서버(40)는 제1 텍스트에 포함된 식재료와 동일 유사한 식재료를 가지고 있는 제3 자가 시청한 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
다양한 실시예에 따르면, 서버(40)는 일정 기간(예를 들면, 최근 3개월, 6개월, 또는 1년)동안 가장 많이 재생된 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
동작 ⑨에서, 디스플레이 장치(10)는 서버(40)가 획득한 요리 정보와 관련되는 제2 텍스트 및 서버(40)가 획득한 요리 방송 콘텐트 중 적어도 하나를 홈 게이트웨이(30)를 통해 수신할 수 있다.
동작 ⑩에서, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트를 식재료를 포함하는 이미지를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 표시 영역(11)을 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 디스플레이 장치(10)는 요리 방송 콘텐트(120)가 복수 개인 경우, 목록 형태로 요리 방송 콘텐트(120)를 표시할 수 있다. 그러나 디스플레이 장치(10)가 요리 방송 콘텐트(120)와 식재료를 포함하는 이미지(110)를 표시하는 방법은 이에 한정되지는 않는다.
이와 같이, 본 개시의 일 실시예에 따른 콘텐트 추천 시스템(1)을 이용하면, 디스플레이 장치(10)는 냉장고와 관련되는 사용자의 발화를 인식하고, 사용자에게 필요한 요리 관련 콘텐트를 제공할 수 있다.
도 2는 일 실시예에 따른 디스플레이 장치의 대략적인 블록도이다.
도 2를 참조하면, 디스플레이 장치(10)는 프로세서(210), 통신부(220), 디스플레이(230), 입력부(250), 및 메모리(240)를 포함할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들어, 디스플레이 장치(10)는 구성 요소를 더 포함하거나, 일부 구성 요소를 포함하지 않을 수 있다.
일 실시예에 따르면, 프로세서(210)는 디스플레이 장치(10)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(210)는 입력부(250)를 제어하여 사용자의 입력을 수신할 수 있다. 프로세서(210)는 디스플레이(230)를 제어하여 이미지를 표시할 수 있다. 프로세서(210)는 메모리(240)를 제어하여 메모리(240)에 저장된 프로그램을 실행시키고, 필요한 정보를 불러오거나 저장할 수 있다.
일 실시예에 따르면, 프로세서(210)는 냉장고(20)와 관련되는 정보를 요청하는 입력이 수신되면, 냉장고(20) 내부에 위치한 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령이 냉장고에 전송되도록 통신부(220)를 제어할 수 있다.
일 실시예에 따르면, 프로세서(210)는 냉장고(20)로부터 적어도 하나의 이미지를 수신하고, 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
일 실시예에 따르면, 프로세서(210)는 제1 텍스트를 서버(40)로 전송하도록 통신부(220)를 제어하고, 서버(40)가 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 획득한 요리 방송 콘텐트를 수신할 수 있다.
일 실시예에 따르면, 프로세서(210)는 디스플레이(230)를 제어하여, 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이(230)는, 이미지나 비디오, 및/또는 어플리케이션의 실행 화면을 표시할 수 있다.
일 실시예에 따르면, 디스플레이(230)는 프로세서(210)의 제어에 기반하여, 냉장고(20)로부터 수신한 이미지, 서버(40)로부터 수신한 콘텐트 목록 등을 표시할 수 있다.
일 실시예에 따르면, 통신부(220)는 프로세서(210)의 제어에 의해 디스플레이 장치(10)를 외부 장치와 연결할 수 있다. 통신부(220)는 디스플레이 장치(10)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 등 다양한 유선 또는 무선 통신 방법을 구현하는 구성 요소들 중 하나를 포함할 수 있다.
일 실시예에 따르면, 메모리(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시예에 따르면, 메모리(240)는 프로세서(210)가 냉장고(20)와 관련되는 정보를 요청하는 입력을 수신하면, 냉장고(20) 내부에 위치한 카메라를 이용하여 획득된 이미지의 전송을 냉장고(20)에게 요청하는 요청 명령이 냉장고에 전송되도록 통신부(220)를 제어하고, 냉장고(20)로부터 적어도 하나의 이미지를 수신하고, 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득하고, 제1 텍스트를 서버(40)로 전송하도록 통신부(220)를 제어하고, 서버(40)가 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 획득한 요리 방송 콘텐트를 수신하고, 디스플레이(230)를 제어하여, 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따르면, 입력부(250)는 사용자로부터 사용자 입력을 수신할 수 있다. 예를 들어, 입력부(250)는 연결된 외부 장치(예를 들면, 키보드, 헤드셋 등)로부터 사용자 입력을 수신할 수 있다. 입력부(250)는 사용자의 발화를 음성 신호로 수신할 수 있는 마이크를 포함할 수 있다.
도 3은 일 실시예에 따른 디스플레이 장치가 식재료를 포함하는 이미지와 요리 방송 콘텐트를 함께 표시하는 다른 방법을 설명하는 도면들이다.
도 3의 (a)를 참조하면, 디스플레이 장치(10)는 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 디스플레이를 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 디스플레이 장치(10)는 요리 방송 콘텐트(120)가 복수 개인 경우, 목록 형태로 요리 방송 콘텐트(120)를 표시할 수 있다. 다양한 실시예에 따르면, 디스플레이 장치(10)는 식재료를 포함하는 이미지(110)가 표시되는 위치와 요리 방송 콘텐트(120)가 표시되는 위치를 서로 변경할 수 있다.
도 3의 (b)를 참조하면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트와 이에 대응하는 식재료를 다른 식재료와 구분하여 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 표시된 요리 방송 콘텐트를 선택하는 입력을 수신할 수 있다. 예를 들면, 디스플레이 장치(10)는 제어 장치(예를 들면, 리모컨, 스마트폰 등)를 통해 요리 방송 콘텐트를 선택하는 사용자의 입력을 수신할 수 있다. 다양한 실시예에 따르면, 디스플레이 장치(10)는 요리 방송 콘텐트를 선택하는 사용자의 발화를 수신할 수 있다. 디스플레이 장치(10)는 사용자의 발화를 인식하고, 인식한 결과에 따라서 콘텐트를 선택할 수 있다.
예를 들어, 디스플레이 장치(10)는 표시 영역(11) 중에서 요리 방송 콘텐트(120)가 표시되던 영역에 선택된 콘텐트(330)를 확대하여 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 선택된 콘텐트에 포함된 요리법 또는 식재료 명칭을 식별할 수 있다. 디스플레이 장치(10)는 냉장고(20)로부터 수신한 이미지(110)에 포함된 객체 중 선택된 콘텐트에 포함된 요리법 또는 식재료 명칭에 대응하는 객체를 다른 객체들과 구분하여 표시할 수 있다.
예를 들면, 디스플레이 장치(10)는 선택된 콘텐트에 대응하는 제2 텍스트와 식재료의 명칭을 포함하는 제1 텍스트를 비교할 수 있다. 디스플레이 장치(10)는 제1 텍스트와 제2 텍스트에 동시에 포함되는 식재료의 명칭을 식별할 수 있다. 디스플레이 장치(10)는 식별된 식재료의 명칭에 대응하는 객체를 식별하여 다른 객체들과 구분하여 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 박스 표시(305)를 이용하여 식별된 식재료의 명칭에 대응하는 식재료들(310, 320)을 다른 식재료와 구분하여 표시할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 디스플레이 장치(10)는 기호(예를 들면, 원 모양, 별 모양, 화살표 등)를 이용하여 식별된 식재료의 명칭에 대응하는 식재료들(310, 320)을 구분하여 표시할 수 있다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 상술한 바와 같이 식별된 식재료의 명칭에 대응하는 식재료들(310, 320)을 다른 식재료와 구분하여 표시할 때, 이와 동시에 또는 순차적으로, 스피커 등을 이용하여 식별된 식재료들(310, 320)의 명칭을 출력할 수 있다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 사용자에 의해 하나의 콘텐트가 선택되는 경우에, 도 3의 (b)와 같이 선택된 콘텐트를 확대하여 표시하지 않고, 목록 형태로 요리 방송 콘텐트를 표시한 채, 선택된 콘텐트를 다른 콘텐트와 구분하여 표시할 수 있다. 이 경우, 디스플레이 장치(10)는 선택된 콘텐트와 식별된 식재료들(310, 320) 사이에 화살표, 점선 등 다양한 효과를 표시할 수 있다. 또한, 다양한 실시예에 따르면. 디스플레이 장치(10)는 선택된 요리 방송 콘텐트를 제외한 나머지 요리 방송 콘텐트를 흐리게 표시할 수 있다.
그러나 이에 한정되는 것은 아니다. 디스플레이 장치(10)는 다양한 방법을 이용하여 선택된 요리 방송 콘텐트와 선택된 콘텐트를 제외한 나머지 요리 방송 콘텐트를 구분하여 표시할 수 있다.
도 4는 일 실시예에 따른 디스플레이 장치가 식재료 구매를 진행하는 사용자 인터페이스를 표시하는 상황을 설명하는 도면들이다.
도 4의 (a)를 참조하면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트와 이에 대응하는 식재료를 다른 식재료와 구분하여 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 박스 표시(305)를 이용하여 식별된 식재료의 명칭에 대응하는 식재료들(310, 320)을 다른 식재료와 구분하여 표시할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 디스플레이 장치(10)는 기호(예를 들면, 원 모양, 별 모양, 화살표 등)를 이용하여 식별된 식재료의 명칭에 대응하는 식재료들(310, 320)을 표시할 수 있다.
도 4의 (b)를 참조하면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트에 대응하는 식재료를 구입할 수 있는 사용자 인터페이스(410)를 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트에 대응하는 조리법을 식별할 수 있다. 예를 들면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트에 대응하는 제2 텍스트에서 조리법에 해당하는 내용을 식별할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 식별된 조리법에 포함되는 식재료의 명칭들을 식별할 수 있다. 디스플레이 장치(10)는 식별된 식재료의 명칭들을 제1 텍스트에 포함된 식재료의 명칭과 비교하여, 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 식별할 수 있다. 디스플레이 장치(10)는 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 구매가 필요한 식재료로 결정할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 구매가 필요한 식재료를 구매하기 위하여 식재료를 구입할 수 있는 사용자 인터페이스(410)를 표시할 수 있다. 예를 들어, 디스플레이 장치(10)는 식재료 쇼핑 웹사이트에 접속하고, 구매가 필요한 식재료에 대하여 검색한 결과를 표시할 수 있다.
도 4의 (c)를 참조하면, 디스플레이 장치(10)는 외부 전자 장치(420)로 구매가 필요한 식재료에 대한 정보를 전송할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트에 대응하는 조리법을 식별할 수 있다. 예를 들면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트에 대응하는 제2 텍스트에서 조리법에 해당하는 내용을 식별할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 식별된 조리법에 포함되는 식재료의 명칭들을 식별할 수 있다. 디스플레이 장치(10)는 식별된 식재료의 명칭들을 제1 텍스트에 포함된 식재료의 명칭과 비교하여, 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 식별할 수 있다. 디스플레이 장치(10)는 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 구매가 필요한 식재료로 결정할 수 있다.
일 실시예에 따르며, 디스플레이 장치(10)는 구매가 필요한 식재료에 대한 정보와 식재료를 구입할 수 있는 사용자 인터페이스의 주소(예를 들어, URL(uniform resource locator))를 외부 전자 장치(420)로 전송할 수 있다. 예를 들어, 디스플레이 장치(10)는 식재료 쇼핑 웹 사이트의 주소와 구매가 필요한 식재료에 대한 정보를 디스플레이 장치(10)와 통신이 연결된 외부 전자 장치(420)(예를 들면, 스마트 폰, 태블릿 PC, 웨어러블 장치 등)로 전송할 수 있다.
외부 전자 장치(420)는 수신된 식재료 쇼핑 웹 사이트의 URL과 구매가 필요한 식재료에 대한 정보를 이용하여 식재료 쇼핑 웹 사이트(430)에 접속하고, 구매가 필요한 식재료에 대하여 검색한 결과를 표시할 수 있다.
다양한 실시예에 따르면, 서버(40)는 식별된 조리법에 포함되는 식재료의 명칭들을 식별할 수 있다. 서버(40)는 식별된 식재료의 명칭들을 제1 텍스트에 포함된 식재료의 명칭과 비교하여, 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 식별할 수 있다. 서버(40)는 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 구매가 필요한 식재료로 결정할 수 있다.
일 실시예에 따르며, 서버(40)는 구매가 필요한 식재료에 대한 정보와 식재료를 구입할 수 있는 사용자 인터페이스의 주소(예를 들어, URL(uniform resource locator))를 외부 전자 장치(420)로 전송할 수 있다. 예를 들어, 디스플레이 장치(10)는 식재료 쇼핑 웹 사이트의 주소와 구매가 필요한 식재료에 대한 정보를 디스플레이 장치(10)와 통신이 연결된 외부 전자 장치(420)(예를 들면, 스마트폰, 태블릿 PC, 웨어러블 장치 등)로 전송할 수 있다.
외부 전자 장치(420)는 수신된 식재료 쇼핑 웹 사이트의 URL과 구매가 필요한 식재료에 대한 정보를 이용하여 식재료 쇼핑 웹 사이트(430)에 접속하고, 구매가 필요한 식재료에 대하여 검색한 결과를 표시할 수 있다.
도 5는 일 실시예에 따른 전자 장치가 선택된 요리 정보 콘텐트를 재생하는 방법을 설명하기 위한 도면들이다.
도 5의 (a)를 참조하면, 디스플레이 장치(10)는 요리 방송 콘텐트(120)와 식재료를 포함하는 이미지(110)를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 표시 영역(11)을 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 다양한 실시예에 따르면, 디스플레이 장치(10)는 식재료를 포함하는 이미지(110)가 표시되는 위치와 요리 방송 콘텐트(120)가 표시되는 위치를 서로 변경할 수 있다.
도 5의 (b)를 참조하면, 디스플레이 장치(10)는 콘텐트를 선택하는 입력이 수신되면, 해당 콘텐트를 재생할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 도 2에서 상술한 바와 같이, 서버(40)가 획득한 요리 방송 콘텐트를 수신할 수 있다.
일 실시예에 따르면, 서버(40)는 서버(40)에 기 저장된 미디어 콘텐트를 구성하는 복수 개의 이미지 프레임들 중에서 요리 정보(예를 들면, 요리법, 또는 식재료 명칭 등)와 관련되는 적어도 하나의 이미지 프레임을 결정할 수 있다. 서버(40)는 요리 정보와 관련되는 이미지 프레임에 포함된 텍스트를 이용하여 요리 정보를 포함하는 제2 텍스트를 획득할 수 있다.
일 실시예에 따르면, 서버(40)는 요리 정보와 관련되는 적어도 하나의 이미지 프레임을 이용하여 외부 장치(예를 들면, 디스플레이 장치(10) 또는 냉장고(20) 등)으로 전송할 요리 방송 콘텐트를 획득할 수 있다. 예를 들어, 서버(40)는 기 저장된 미디어 콘텐트에 포함된 이미지 프레임들 중에서 요리 정보와 관련되는 프레임을 식별하고, 요리 정보와 관련되는 이미지 프레임으로만 이루어진 비디오 클립(video clip)을 생성할 수 있다. 비디오 클립은, 예를 들면, 1분 내지 3분 정도에 해당하는 짧은 정지 영상의 묶음 또는 동영상 콘텐트를 의미할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 비디오 클립을 선택하는 사용자의 입력이 수신되면, 선택된 비디오 클립을 재생할 수 있다. 이 경우, 비디오 클립은 요리 정보를 포함하는 이미지 프레임으로만 이루어져 있으므로 사용자는 요리 방송 콘텐트의 전체 내용을 시청할 필요 없이, 요리법 또는 식재료 등 요리 정보가 소개되는 내용만을 시청할 수 있다.
다양한 실시예에 따르면, 서버(40)는 획득한 요리 방송 콘텐트의 대표 이미지 프레임을 디스플레이 장치(10)로 전송할 수 있다. 예를 들어. 서버(40)는 요리 방송 콘텐트의 방송 제목이 포함된 이미지 프레임을 전송할 수 있다. 이로 인해, 사용자는 디스플레이(10)에 표시된 요리 방송 콘텐트의 제목을 보고 선호하는 방송 콘텐트를 선택할 수 있다.
다양한 실시예에 따르면, 상술한 바와 같이, 요리법 또는 식재료가 소개되는 비디오 클립을 시청하는 경우에, 디스플레이 장치(10)는 선택한 비디오 클립의 전체 내용의 재생을 요청하는 사용자의 입력이 수신되면. 서버(40)로부터 스트리밍 등의 방법을 사용하여 전체 내용을 다운로드하여 재생할 수 있다.
다양한 실시예에 따르면, 서버(40)는 획득한 요리 방송 콘텐트를 구성하는 전체 이미지 프레임들을 디스플레이 장치(10)로 전송할 수도 있다. 이 경우, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트에 포함된 이미지 프레임들을 OCR 방법 등으로 분석하여, 요리법 또는 식재료 명칭이 포함되는 이미지 프레임을 식별할 수 있다. 이 경우, 디스플레이 장치(10)는 식별된 이미지 프레임부터 재생할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트를 선택하는 사용자의 입력에 대응하여 선택된 요리 방송 콘텐트를 처음부터 재생할 수도 있다.
도 6은 일 실시예에 따른 콘텐트 추천 시스템에서 냉장고에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 6을 참조하면, 콘텐트 추천 시스템(1)은 디스플레이 장치(10), 서버(40), 냉장고(20), 홈 게이트웨이(30), 또는 인공 지능 스피커(50)를 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10), 서버(40), 냉장고(20), 인공 지능 스피커(50) 또는 홈 게이트웨이(30)는 모두 통신망을 통해 연결될 수 있다. 예를 들면, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)가 홈 게이트웨이(30)에 통신망을 통해 연결되고, 홈 게이트웨이(30)는 서버(40)와 통신망을 통해 연결될 수 있다. 그러나 통신망을 통한 연결 구조는 이에 한정되지 않고 다양한 구조로 이루어질 수 있다.
예를 들면, 인공 지능 스피커(50), 디스플레이 장치(10), 냉장고(20), 및 서버(40)는 각 장치에 포함된 통신부를 이용하여 직접 통신을 수행할 수 있다. 이하에서, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)가 홈 게이트웨이(30)를 통해 서버(40)와 통신을 수행하여 콘텐트를 추천 시스템(1)을 구성하는 것으로 기재하였으나, 이에 한정되지 않고, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)는 서버(40)와 직접 통신을 수행하고, 필요한 데이터 또는 신호를 송수신하여 콘텐트 추천 시스템(1)을 구성할 수 있다.
일 실시예에 따르면, 인공 지능 스피커(50)는 사용자의 발화를 사용자 입력으로 수신할 수 있다. 인공 지능 스피커(50)는 사용자의 발화를 수신하고, 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 예를 들면, 인공 지능 스피커(50)는 사용자의 발화를 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다양한 실시예에 다르면, 인공 지능 스피커(50)는 텍스트 데이터에 기초하여 적어도 하나 이상의 기능을 실행시키는 명령을 생성(또는 선택)할 수 있다. 명령은 적어도 하나의 기능을 실행하기 위한 동작(또는 과정)에 대한 정보 또는 상기 동작을 실행하기 위한 파라미터에 대한 정보를 포함할 수 있다. 상기 명령은 적어도 하나의 기능을 실행하기 위한 동작의 순서를 포함할 수 있다. 인공 지능 스피커(50)는 명령에 따라서 앱(또는 기능)을 선택하고, 선택된 앱에서 상기 명령에 따른 동작을 실행할 수 있다.
동작 ①에서, 인공 지능 스피커(50)는 냉장고와 관련되는 정보를 요청하는 사용자의 입력(예를 들면, 발화)을 수신할 수 있다. 예를 들어, 인공 지능 스피커(50)는 인공 지능 스피커(50)에 포함된 마이크(미도시)를 이용하여 냉장고와 관련되는 정보를 요청하는 사용자의 입력을 수신할 수 있다.
냉장고와 관련되는 정보를 요청하는 사용자의 입력은, 예를 들면, "냉장고에 있는 식재료와 관련되는 방송을 표시해 줘", "냉장고에 있는 재료로 어떤 음식을 만들 수 있어?" 또는 "지금 냉장고에 뭐 있어?" 중 적어도 하나일 수 있다. 그러나 사용자의 입력은 이에 한정되지 않고, 냉장고와 관련된 정보를 요청하는 다양한 사용자의 입력을 포함할 수 있다.
동작 ②에서, 인공 지능 스피커(50)는 내부에 저장된 음성 인식 알고리즘(또는, 음성 인식 모듈)을 이용하여 사용자의 발화를 인식하고, 인식된 발화와 관련된 기능을 수행하는 명령어를 생성할 수 있다. 인식된 발화와 관련된 기능을 수행하는 명령어는, 예를 들면, 냉장고(20)에 저장된 재료와 관련되는 요리 방송 콘텐트를 추천하는 기능일 수 있다.
동작 ③에서, 발화 인식 결과에 따라서, 인공 지능 스피커(50)는 사용자의 발화에 기반하여 생성된 명령어를 홈 게이트웨이(30)를 통해 냉장고(20)에 전송할 수 있다.
다양한 실시예에 따르면, 인공 지능 스피커(50)는 사용자의 발화 입력을 홈 게이트웨이(30)를 통해 서버(40)로 전송하고, 서버(40)가 음성 인식 알고리즘 등을 이용하여 사용자의 발화 입력을 인식하여 인식된 발화와 관련되는 기능을 수행하기 위해 생성한 명령어들을 수신받을 수 있다. 이 경우, 인공 지능 스피커(50)는 수신된 명령어들을 이용하여 냉장고(20)에 이미지의 전송을 요청하는 등 이후의 동작들을 수행할 수 있다.
동작 ④에서, 냉장고(20)는 수신된 명령어에 대응하여, 냉장고(20)에 포함된 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 예를 들면, 냉장고(20)는 냉장고(20)의 내부를 촬영할 수 있는 복수 개의 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다.
동작 ④에서, 냉장고(20)는 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭을 획득할 수 있다.
일 실시예에 따르면, 냉장고(20)는 이미지에 포함된 객체(예를 들면, 식재료)를 인식할 수 있다. 냉장고(20)는, 예를 들면, 이미지를 에지 영역을 강조하는 이미지로 변경한 후, 에지의 형상을 분석하여 객체의 형상을 인식할 수 있다.
일 실시예에 따르면, 냉장고(20)는 인식된 객체의 명칭을 식별하여 식재료의 명칭에 관련되는 제1 정보(예를 들면, 제1 텍스트)를 획득할 수 있다.
동작 ⑤에서, 냉장고(20)는 획득한 제1 텍스트를 홈 게이트웨이(30)를 통해 서버(40)로 전송할 수 있다.
동작 ⑥에서, 서버(40)는 제1 텍스트와 서버(40)가 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보(예를 들면, 제2 텍스트)를 이용하여 요리 방송 콘텐트를 생성할 수 있다.
일 실시예에 따르면, 서버(40)는 서버(40)에 저장된 미디어 콘텐트에서 요리 정보를 텍스트 형태로 인식할 수 있다. 예를 들면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 각각의 이미지 프레임들에 텍스트 인식 방법(예를 들면, OCR(optical character reader) 기술)을 적용하여 텍스트를 인식할 수 있다. 구체적으로, 서버(40)는 미디어 콘텐트 중에서 요리 정보(예를 들면, 식재료 명칭 또는 조리법 등)와 관련되는 적어도 하나의 이미지 프레임을 결정하고, 이미지 프레임에 포함된 문자를 식별하여 요리 정보와 관련되는 제2 텍스트를 획득할 수 있다. 이 경우, 제2 텍스트는 서버(40)가 저장하고 있는 미디어 콘텐트의 개수에 따라 복수 개가 생성될 수 있다.
일 실시예에 따르면, 서버(40)는 식재료의 명칭이 포함된 제1 텍스트와 요리 정보와 관련되는 제2 텍스트를 이용하여 미디어 콘텐트 중에서 디스플레이 장치(10)로 전송할 요리 방송 콘텐트를 획득할 수 있다.
예를 들어, 서버(40)는 복수 개의 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 이용하여 요리 방송 콘텐트를 획득(또는, 추가)할 수 있다.
다양한 실시예에 따르면, 서버(40)는 제1 텍스트에 포함된 식재료와 동일 유사한 식재료를 가지고 있는 제3 자가 시청한 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
다양한 실시예에 따르면, 서버(40)는 일정 기간(예를 들면, 최근 3개월, 6개월, 또는 1년)동안 가장 많이 재생된 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
동작 ⑦에서, 냉장고(20)는 서버(40)가 획득한 요리 정보와 관련되는 제2 텍스트 및 서버(40)가 획득한 요리 방송 콘텐트 중 적어도 하나를 홈 게이트웨이(30)를 통해 수신할 수 있다.
다양한 실시예에 따르면, 냉장고(20)는 획득한 이미지를 서버(40)로 전송할 수 있다. 냉장고(20)는 서버(40)가 객체 인식 알고리즘 등을 이용하여 이미지로부터 제1 텍스트를 획득하고, 제1 텍스트를 이용하여 획득한 요리 방송 콘텐트를 수신할 수도 있다.
동작 ⑧에서, 냉장고(20)는 수신된 요리 방송 콘텐트와 식재료를 포함하는 이미지를 하나의 콘텐트로 생성할 수 있다.
동작 ⑨에서, 냉장고(20)는 요리 방송 콘텐트와 식재료를 포함하는 이미지를 이용하여 생성한 콘텐트를 홈 게이트웨이(30)를 통해 디스플레이 장치(10)로 전송할 수 있다.
동작 ⑩에서, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 표시 영역(11)을 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 디스플레이 장치(10)는 요리 방송 콘텐트(120)가 복수 개인 경우, 목록 형태로 요리 방송 콘텐트(120)를 표시할 수 있다. 그러나 디스플레이 장치(10)가 요리 방송 콘텐트(120)와 식재료를 포함하는 이미지(110)를 표시하는 방법은 이에 한정되지는 않는다.
다양한 실시예에 따르면, 냉장고(20)가 수신된 요리 방송 콘텐트와 식재료를 포함하는 이미지를 디스플레이 장치(10)로 전송하면, 디스플레이 장치(10)가 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시할 수 있다.
도 7은 일 실시예에 따른 냉장고의 대략적인 블록도이다.
도 7을 참조하면, 냉장고(20)는 프로세서(710), 통신부(720), 메모리(730), 및 카메라(740)를 포함할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들어, 냉장고(20)는 구성 요소를 더 포함하거나, 일부 구성 요소를 포함하지 않을 수 있다.
일 실시예에 따르면, 프로세서(710)는 냉장고(20)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(710)는 통신부(720)를 통해 사용자의 입력을 수신할 수 있다. 프로세서(710)는 메모리(730)를 제어하여 저장된 프로그램을 실행시키고, 필요한 정보를 불러오거나 저장할 수 있다.
일 실시예에 따르면, 프로세서(710)는 통신부(720)를 통해 냉장고(20)와 관련되는 정보를 요청하는 입력을 수신하면, 카메라(740)를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 프로세서(710)는 적어도 하나의 이미지에 포함되는 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
일 실시예에 따르면, 프로세서(710)는 제1 텍스트를 서버(40)로 전송하도록 통신부(720)를 제어하고, 서버(40)가 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 획득한 요리 방송 콘텐트를 수신할 수 있다.
일 실시예에 따르면, 프로세서(710)는 수신한 요리 방송 콘텐트와 식재료를 포함하는 이미지를 하나의 콘텐트로 생성하고, 홈 게이트웨이(30)를 통해 디스플레이 장치(10)로 전송할 수 있다.
일 실시예에 따르면, 통신부(720)는 프로세서(710)의 제어에 의해 냉장고(20)를 외부 장치와 연결할 수 있다. 통신부(720)는 냉장고(20)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 등 다양한 유선 또는 무선 통신 방법을 구현하는 구성 요소들 중 하나를 포함할 수 있다.
일 실시예에 따르면, 메모리(730)는 프로세서가(710) 냉장고와 관련되는 정보를 요청하는 입력을 수신하면, 카메라(740)를 이용하여 적어도 하나의 이미지를 획득하여, 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득하고, 제1 텍스트를 서버(40)로 전송하도록 통신부(720)를 제어하고, 서버(40)가 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 획득한 요리 방송 콘텐트를 수신하고, 통신부를 제어하여, 요리 방송 콘텐트와 이미지를 디스플레이 장치(10)로 전송하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따르면, 카메라(740)는 프로세서(710)의 제어에 따라 냉장고(20)의 내부에 저장된 식재료를 촬영하여 이미지를 생성할 수 있다.
도 8은 일 실시예에 따른 콘텐트 추천 시스템에서 서버에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 8을 참조하면, 콘텐트 추천 시스템(1)은 디스플레이 장치(10), 서버(40), 냉장고(20), 홈 게이트웨이(30), 또는 인공 지능 스피커(50)를 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10), 서버(40), 냉장고(20), 인공 지능 스피커(50) 또는 홈 게이트웨이(30)는 모두 통신망을 통해 연결될 수 있다. 예를 들면, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)가 홈 게이트웨이(30)에 통신망을 통해 연결되고, 홈 게이트웨이(30)는 서버(40)와 통신망을 통해 연결될 수 있다. 그러나 통신망을 통한 연결 구조는 이에 한정되지 않고 다양한 구조로 이루어질 수 있다.
예를 들면, 인공 지능 스피커(50), 디스플레이 장치(10), 냉장고(20), 및 서버(40)는 각 장치에 포함된 통신부를 이용하여 직접 통신을 수행할 수 있다. 이하에서, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)가 홈 게이트웨이(30)를 통해 서버(40)와 통신을 수행하여 콘텐트를 추천 시스템(1)을 구성하는 것으로 기재하였으나, 이에 한정되지 않고, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)는 서버(40)와 직접 통신을 수행하고, 필요한 데이터 또는 신호를 송수신하여 콘텐트 추천 시스템(1)을 구성할 수 있다.
동작 ①에서, 인공 지능 스피커(50)는 냉장고와 관련되는 정보를 요청하는 사용자의 입력(예를 들면, 발화)을 수신할 수 있다. 예를 들어, 인공 지능 스피커(50)는 인공 지능 스피커(50)에 포함된 마이크(미도시)를 이용하여 냉장고와 관련되는 정보를 요청하는 사용자의 입력을 수신할 수 있다.
냉장고와 관련되는 정보를 요청하는 사용자의 입력은, 예를 들면, "냉장고에 있는 식재료와 관련되는 방송을 표시해 줘", "냉장고에 있는 재료로 어떤 음식을 만들 수 있어?" 또는 "지금 냉장고에 뭐 있어?" 중 적어도 하나일 수 있다. 그러나 사용자의 입력은 이에 한정되지 않고, 냉장고와 관련된 정보를 요청하는 다양한 사용자의 입력을 포함할 수 있다.
동작 ②에서, 인공 지능 스피커(50)는 내부에 저장된 음성 인식 알고리즘(또는, 음성 인식 모듈)을 이용하여 사용자의 발화를 인식하고, 인식된 발화와 관련된 기능을 수행하는 명령어를 생성할 수 있다. 인식된 발화와 관련된 기능을 수행하는 명령어는, 예를 들면, 냉장고(20)에 저장된 재료와 관련되는 요리 방송 콘텐트를 추천하는 기능일 수 있다.
동작 ③에서, 발화 인식 결과에 따라서, 인공 지능 스피커(50)는 사용자의 발화에 기반하여 생성된 명령어를 홈 게이트웨이(30)를 통해 서버(40)에 전송할 수 있다.
동작 ④에서, 서버(40)는 수신된 명령어에 대응하여, 서버(40)는 냉장고(20)에 포함된 카메라를 이용하여 촬영된 이미지의 전송을 요청하는 요청 명령을 냉장고(20)에게 전송할 수 있다.
일 실시예에 따르면, 서버(40)는 홈 게이트웨이(30)를 이용하여 냉장고(20)에게 이미지의 전송을 요청하는 요청 명령을 냉장고(20)에게 전송할 수 있다.
다양한 실시예에 따르면, 홈 게이트웨이(30)는 내부에 저장된 음성 인식 알고리즘(또는, 음성 인식 모듈)을 이용하여 사용자의 발화를 인식하고, 인식된 발화와 관련된 기능을 수행하는 명령어를 생성할 수 있다. 이 경우, 홈 게이트웨이(30)는 냉장고(20)에 포함된 카메라를 이용하여 촬영된 이미지를 서버(40)로 전송할 것을 요청하는 요청 명령을 냉장고(20)에게 전송할 수 있다.
동작 ⑤에서, 냉장고(20)는 수신된 요청 명령에 대응하여, 냉장고(20)에 포함된 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 예를 들면, 냉장고(20)는 냉장고(20)의 내부를 촬영할 수 있는 복수 개의 카메라를 이용하여 적어도 하나 이상의 이미지를 획득할 수 있다.
동작 ⑥에서, 서버(40)는 홈 게이트웨이(30)를 통해 냉장고(20)가 획득한 적어도 하나 이상의 이미지를 수신할 수 있다.
동작 ⑦에서, 서버(40)는 냉장고(20)로부터 수신한 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭을 획득할 수 있다.
일 실시예에 따르면, 서버(40)는 적어도 하나의 이미지에 포함된 객체(예를 들면, 식재료)를 인식할 수 있다. 서버(40)는, 예를 들면, 이미지를 에지 영역을 강조하는 이미지로 변경한 후, 에지의 형상을 분석하여 객체의 형상을 인식할 수 있다.
일 실시예에 따르면, 서버(40)는 인식된 객체의 명칭을 식별하여 식재료의 명칭에 관련되는 제1 정보(예를 들면, 제1 텍스트)를 획득할 수 있다.
동작 ⑦에서, 서버(40)는 제1 텍스트와 서버(40)가 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보(예를 들면, 제2 텍스트)를 이용하여 요리 방송 콘텐트를 생성할 수 있다.
일 실시예에 따르면, 서버(40)는 서버(40)에 저장된 미디어 콘텐트에서 요리 정보를 텍스트 형태로 인식할 수 있다. 예를 들면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 각각의 이미지 프레임들에 텍스트 인식 방법(예를 들면, OCR(optical character reader) 기술)을 적용하여 텍스트를 인식할 수 있다. 구체적으로, 서버(40)는 미디어 콘텐트 중에서 요리 정보(예를 들면, 식재료 명칭 또는 조리법 등)와 관련되는 적어도 하나의 이미지 프레임을 결정하고, 이미지 프레임에 포함된 문자를 식별하여 요리 정보와 관련되는 제2 텍스트를 획득할 수 있다. 이 경우, 제2 텍스트는 서버(40)가 저장하고 있는 미디어 콘텐트의 개수에 따라 복수 개가 생성될 수 있다.
일 실시예에 따르면, 서버(40)는 식재료의 명칭이 포함된 제1 텍스트와 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트 중에서 디스플레이 장치(10)로 전송할 요리 방송 콘텐트를 획득할 수 있다.
예를 들어, 서버(40)는 복수 개의 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 이용하여 요리 방송 콘텐트를 획득(또는, 추가)할 수 있다.
다양한 실시예에 따르면, 서버(40)는 제1 텍스트에 포함된 식재료와 동일 유사한 식재료를 가지고 있는 제3 자가 시청한 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
다양한 실시예에 따르면, 서버(40)는 일정 기간(예를 들면, 최근 3개월, 6개월, 또는 1년)동안 가장 많이 재생된 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제2 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
동작 ⑧에서, 디스플레이 장치(10)는 서버(40)가 획득한 요리 정보와 관련되는 제2 텍스트 및 서버(40)가 획득한 요리 방송 콘텐트 목록 중 적어도 하나를 홈 게이트웨이(30)를 통해 수신할 수 있다.
동작 ⑨에서, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 디스플레이를 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 그러나 디스플레이 장치(10)가 요리 방송 콘텐트(120)와 식재료를 포함하는 이미지(110)를 표시하는 방법은 이에 한정되지는 않는다.
도 9는 일 실시예에 따른 서버의 대략적인 블록도이다.
도 9를 참조하면, 서버(40)는 프로세서(910), 통신부(920), 및 메모리(930)를 포함할 수 있다. 그러나 이에 한정되는 것은 아니다. 예를 들면, 서버(40)는 구성 요소를 더 포함하거나, 또는 일부 구성 요소를 포함하지 않을 수 있다.
일 실시예에 따르면, 프로세서(910)는 서버(40)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(910)는 통신부(920)를 통해 사용자의 입력을 수신할 수 있다. 프로세서(910)는 메모리(930)를 제어하여 저장된 프로그램을 실행시키고, 필요한 정보를 불러오거나 저장할 수 있다.
일 실시 예 따르면, 프로세서(910)는 통신부(920)를 통해 냉장고(20)와 관련되는 정보를 요청하는 입력을 수신하면, 냉장고(20)에 포함된 카메라를 이용하여 획득된, 이미지의 전송을 요청하는 요청 명령이 냉장고(20)로 전송되도록 통신부(920)를 제어할 수 있다.
일 실시예에 따르면, 요청 명령에 대응하여, 냉장고(20)로부터 적어도 하나의 이미지를 프로세서(910)는 통신부(920)를 통해 수신하여, 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
일 실시예에 따르면, 프로세서(910)는 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트를 획득하고, 통신부(920)를 제어하여 요리 방송 콘텐트와 식재료를 포함하는 이미지를 외부 장치로 전송할 수 있다.
일 실시예에 따르면, 통신부(920)는 프로세서(910)의 제어에 의해 서버(40)를 외부 장치와 연결할 수 있다. 통신부(920)는 서버(40)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 등 다양한 유선 또는 무선 통신 방법을 구현하는 구성 요소들 중 하나를 포함할 수 있다.
일 실시예에 따르면, 메모리(930)는 프로세서가(910) 통신부(920)를 통해 냉장고와 관련되는 정보를 요청하는 입력을 수신하면, 냉장고(20) 내부에 위치한 카메라를 이용하여 획득된, 이미지의 전송을 요청하는 요청 명령이 냉장고(20)로 전송되도록 통신부(920)를 제어하고, 요청 명령에 대응하여 냉장고(20)로부터 적어도 하나의 이미지를 통신부(920)를 통해 수신하여 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득하고, 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트를 획득하고, 통신부(920)를 제어하여, 요리 방송 콘텐트와 이미지를 외부 장치로 전송하도록 설정된 명령어들을 저장할 수 있다.
도 10은 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
동작 1010에서, 디스플레이 장치(10)는 냉장고와 관련되는 정보를 요청하는 입력을 수신할 수 있다.
동작 1020에서, 디스플레이 장치(10)는 냉장고 내부에 위치한 카메라를 이용하여 획득된 이미지의 전송을 냉장고에 요청할 수 있다.
동작 1030에서, 디스플레이 장치(10)는 적어도 하나의 이미지를 수신할 수 있다.
동작 1040에서, 디스플레이 장치(10)는 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다. 예를 들면, 디스플레이 장치(10)는 적어도 하나의 이미지에 포함된 식재료를 식별하여 제1 텍스트를 획득할 수 있다.
동작 1050에서, 디스플레이 장치(10)는 제1 텍스트를 서버(40)로 전송할 수 있다.
동작 1060에서, 서버(40)는 제1 텍스트와 미디어 콘텐트로부터 획득한 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트를 획득할 수 있다.
동작 1070에서, 서버(40)는 요리 방송 콘텐트를 디스플레이 장치(10)로 전송할 수 있다.
동작 1080에서, 디스플레이 장치(10)는 요리 방송 콘텐트와 식재료 이미지를 표시할 수 있다.
도 11은 일 실시예에 따른 콘텐트 추천 시스템에서 냉장고에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
동작 1110에서. 냉장고(20)는 냉장고와 관련되는 정보를 요청하는 입력을 수신할 수 있다.
동작 1120에서. 냉장고(20)는 냉장고에 포함된 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다.
동작 1130을 참조하면, 냉장고(20)는 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다. 예를 들면, 냉장고(20)는 적어도 하나의 이미지에 포함된 식재료를 식별하여 제1 텍스트를 획득할 수 있다.
동작 1140을 참조하면, 냉장고(20)는 제1 텍스트를 서버(40)로 전송할 수 있다.
동작 1150을 참조하면, 서버(40)는 제1 텍스트와 미디어 콘텐트로부터 획득한 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트를 획득할 수 있다.
동작 1160에서, 서버(40)는 요리 방송 콘텐트를 냉장고(20)로 전송할 수 있다.
동작 1170에서. 냉장고(20)는 요리 방송 콘텐트와 식재료 이미지를 하나의 콘텐트로 생성하고 외부 장치(예를 들면, 디스플레이 장치)로 전송할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 냉장고(20)는 요리 방송 콘텐트와 식재료 이미지를 각각 외부 장치로 전송할 수 있다.
도 12는 일 실시예에 따른 콘텐트 추천 시스템에서 서버에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
동작 1210에서, 서버(40)는 냉장고와 관련되는 정보를 요청하는 입력을 수신할 수 있다.
동작 1220에서, 서버(40)는 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 냉장고에 요청할 수 있다.
동작 1230에서, 서버(40)는 적어도 하나의 이미지를 수신할 수 있다.
동작 1240에서, 서버(40)는 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다. 예를 들면, 서버(40)는 적어도 하나의 이미지에 포함된 식재료를 식별하여 제1 텍스트를 획득할 수 있다.
동작 1250에서, 서버(40)는 제1 텍스트와 미디어 콘텐트로부터 획득한 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트를 획득할 수 있다.
동작 1260에서, 서버(40)는 요리 방송 콘텐트와 식재료 이미지를 하나의 콘텐트로 생성하고 외부 장치로 전송할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 서버(40)는 요리 방송 콘텐트와 식재료 이미지를 각각 외부 장치로 전송할 수 있다.
도 13은 일 실시예에 따른 프로세서의 블록도이다.
도 13을 참조하면, 다양한 실시예에 따른 프로세서(1310)는 데이터 학습부(1320) 및 데이터 인식부(1330)를 포함할 수 있다. 프로세서(1310)는 도 2의 프로세서(210), 도 7의 프로세서(710), 및 9의 프로세서(910)를 포함할 수 있다.
데이터 학습부(1320)는 데이터 인식 모델이 요리 방송 콘텐트를 추정하는 기준을 갖도록 학습할 수 있다. 데이터 학습부(1320)는 데이터 인식 모델이 요리 방송 콘텐트를 추정하기 위해 어떤 학습용 데이터를 이용할지, 학습용 데이터를 이용하여 요리 방송 콘텐트를 어떻게 추정할 지에 관한 기준을 갖도록 학습할 수 있다.
일 실시예에 따르면, 데이터 학습부(1320)는 학습용 데이터로서, 식재료 정보(예를 들면, 식재료의 명칭, 식재료의 이미지 등), 상기 식재료 정보와 관련되는 요리 방송 콘텐트를 이용하여 데이터 인식 모델을 학습시킬 수 있다.
예를 들어, 학습용 데이터는 밀가루 이미지, 딸기 이미지와, 요리법에 밀가루, 딸기를 포함하는 요리 방송 콘텐트일 수 있다.
다양한 실시예에 따르면, 학습용 데이터는 고기 이미지, 김치 이미지와, 요리법에 고기, 김치를 포함하는 요리 방송 콘텐트일 수 있다.
이와 같이, 데이터 학습부(1320)는 다양한 식재료 정보 및 상기 식재료 정보와 관련되는 요리법을 포함하는 요리 방송 콘텐트를 학습용 데이터로 이용하여 데이터 인식 모델을 학습시킬 수 있다.
데이터 인식부(1330)는 다양한 종류의 인식용 데이터에 기초하여, 요리 방송 콘텐트를 추정할 수 있다. 데이터 인식부(1330)는 학습된 데이터 인식 모델을 이용하여 입력된 식재료 정보(예를 들면, 식재료의 명칭, 식재료의 이미지 등)에 기초하여, 요리 방송 콘텐트를 추정할 수 있다.
일 실시예에 따르면, 데이터 인식부(1330)는 입력된 식재료 정보를 데이터 인식 모델의 입력 값으로 하여 요리 방송 콘텐트를 추정한 결과와 추정 결과에 대한 사용자의 응답을 데이터 인식 모델을 갱신하는데 이용할 수 있다.
예를 들어, 밀가루, 계란, 고구마를 포함하는 식재료의 명칭을 포함하는 텍스트가 입력되는 경우, 데이터 인식부(1330)는 조리법에 밀가루, 계란, 고구마를 포함하는 요리 방송 콘텐트를 획득할 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 데이터 인식 모델은 인간의 뇌 구조를 컴퓨터상에서 모의하도록 설계될 수 있다. 데이터 인식 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 데이터 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 데이터 인식 모델이 사용될 수 있으나, 이에 한정되지 않는다.
데이터 학습부(1320) 및 데이터 인식부(1330) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1320) 및 데이터 인식부(1330) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
일 실시예에 따르면, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다.
데이터 학습부(1320) 및 데이터 인식부(1330)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1320) 및 데이터 인식부(1330) 중 하나는 디스플레이 장치(10), 또는 냉장고(20)에 포함되고, 나머지 하나는 서버(40)에 포함될 수 있다. 또한, 데이터 학습부(1320) 및 데이터 인식부(1330)는 유선 또는 무선으로 통하여, 데이터 학습부(1320)가 구축한 모델 정보를 데이터 인식부(1330)로 제공할 수도 있고, 데이터 인식부(1330)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1320)로 제공될 수도 있다.
한편, 데이터 학습부(1320) 및 데이터 인식부(1330) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1320) 및 데이터 인식부(1330) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비 일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 14는 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 14에 도시된 바와 같이, 디스플레이 장치(10)는, 프로세서(210), 디스플레이(230), 통신부(220), 입력부(250) 및 메모리(240) 이외에 튜너부(1410), 감지부(1420), 입출력부(1430), 비디오 처리부(1440), 오디오 처리부(1450), 및 오디오 출력부(1460)를 더 포함할 수 있다. 프로세서(210), 디스플레이(230), 통신부(220), 입력부(250) 및 메모리(240)에 대하여, 도 2에서 설명한 내용과 동일한 내용은 도 14에서 생략하기로 한다.
튜너부(1410)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(10)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(1410)는 사용자 입력에 따라 채널 번호에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.
튜너부(1410)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1410)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너부(1410)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(210)의 제어에 의해 메모리(240)에 저장될 수 있다.
디스플레이 장치(10)의 튜너부(1410)는 하나이거나 복수일 수 있다. 튜너부(1410)는 디스플레이 장치(10)와 일체형(all-in-one)으로 구현되거나 또는 디스플레이 장치(10)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 도시되지 아니함), 입출력부(1430)에 연결되는 튜너부(도시되지 아니함))로 구현될 수 있다.
통신부(220)는 프로세서(210)의 제어에 의해 디스플레이 장치(10)를 외부 장치(예를 들어, 오디오 장치 등)와 연결할 수 있다. 프로세서(210)는 통신부(220)를 통해 연결된 외부 장치로 콘텐트를 송/수신, 외부 장치에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(220)는 디스플레이 장치(10)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 중 하나를 포함할 수 있다.
또한, 통신부(220)는 무선랜, 블루투스, 및 유선 이더넷(Ethernet)의 조합을 포함할 수 있다. 통신부(220)는 프로세서(210)의 제어에 의해 제어 장치(예를 들면, 리모컨, 스마트폰)의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다. 통신부(220)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다.
감지부(1420)는 사용자의 음성, 사용자의 영상, 또는 사용자의 인터랙션을 감지하며, 마이크, 카메라부, 및 광 수신부를 포함할 수 있다.
마이크는 사용자의 발화(utterance)된 음성을 수신한다. 마이크는 수신된 음성을 전기 신호로 변환하여 프로세서(210)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(10)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(미도시)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(210)는, 수신된 모션의 인식 결과를 이용하여, 디스플레이 장치(10)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다. 예를 들어, 채널 조정, 볼륨 조정, 지시자 이동, 커서 이동을 포함할 수 있다.
광 수신부(미도시)는, 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이(230)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광신호를 수신할 수 있다. 수신된 광신호로부터 프로세서(320)의 제어에 의해 제어 신호가 추출될 수 있다.
입출력부(1430)는 프로세서(210)의 제어에 의해 디스플레이 장치(10)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력부(1430)는 HDMI 포트(High-Definition Multimedia Interface port), 컴포넌트 잭(component jack), PC 포트(PC port), 및 USB 포트(USB port) 중 하나를 포함할 수 있다. 입출력부(1430)는 HDMI 포트, 컴포넌트 잭, PC 포트, 및 USB 포트의 조합을 포함할 수 있다.
프로세서(210)는, 디스플레이 장치(10)의 전반적인 동작 및 디스플레이 장치(10)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(210)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(240)에 저장된 OS(Operation System) 및 다양한 어플리케이션을 실행할 수 있다.
비디오 처리부(1440)는, 디스플레이(230)에 표시될 영상 데이터를 처리하며, 영상 데이터에 대한 디코딩, 렌더링, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 및 해상도 변환 등과 같은 다양한 영상 처리 동작을 수행할 수 있다.
디스플레이(230)는, 비디오 처리부(1440)에서 처리된 영상 데이터를 표시할 수 있다. 디스플레이(230)는 프로세서(210)의 제어에 의해 튜너부(1410)를 통해 수신된 방송 신호에 포함된 비디오를 표시할 수 있다. 또한, 디스플레이(230)는 통신부(220) 또는 입출력부(1430)를 통해 입력되는 콘텐트(예를 들어, 동영상)를 표시할 수 있다. 디스플레이(230)는 프로세서(210)의 제어에 의해 메모리(240)에 저장된 영상을 출력할 수 있다. 또한, 디스플레이(230)는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(User Interface: 예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다.
디스플레이(230)가 터치 스크린으로 구현되는 경우, 디스플레이(230)는 출력 장치 이외에 입력 장치로 사용될 수 있다. 디스플레이(230)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기 영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
또한, 디스플레이 장치(10)의 구현 형태에 따라, 디스플레이 장치(10)는 디스플레이(230)를 2개 이상 포함할 수 있다.
오디오 처리부(1450)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1450)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1450)는 복수의 콘텐트에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(1460)는, 프로세서(210)의 제어에 의해 튜너부(1410)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1460)는 통신부(220) 또는 입출력부(1430)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1460)는 프로세서(210)의 제어에 의해 메모리(240)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1460)는 스피커(1461), 헤드폰 출력 단자(1462) 또는 S/PDIF(Sony/Philips Digital Interface) 출력 단자(1463) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(1460)는 스피커(1461), 헤드폰 출력 단자(1462) 및 S/PDIF 출력 단자(1463)의 조합을 포함할 수 있다.
사용자 입력부(1470)는, 사용자가 디스플레이 장치(10)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 사용자 입력부(1470)는 도 2의 입력부(250)에 대응할 수 있다. 예를 들어, 사용자 입력부(1470)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 사용자 입력은, 포커스의 위치를 이동시키는 입력 또는 현재 포커스가 위치하는 어플리케이션을 선택하는 입력 등을 포함할 수 있다. 사용자 입력부(1470)가 키 패드 또는 돔 스위치로 구성되는 경우, 포커스의 위치를 이동시키는 사용자 입력은 특정 방향에 대응되는 키를 클릭(click)하거나 누르는 입력일 수 있다. 또한, 사용자 입력부(1445)가 터치 패드로 구성되는 경우, 특정 방향에 대응하는 키를 터치하는 입력일 수 있으나, 전술한 예에 한정되지 않는다.
본 개시에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 디스플레이 장치(10)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(240))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기(예: 디스플레이 장치(10))의 프로세서(예: 프로세서(210))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
10: 디스플레이 장치
20: 냉장고
30: 홈 게이트웨이
40: 서버

Claims (20)

  1. 디스플레이;
    통신부;
    프로세서; 및
    메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    냉장고와 관련되는 정보를 요청하는 입력이 수신되면, 상기 냉장고에 포함된 카메라를 이용하여 획득(obtain)된 이미지의 전송을 요청하는 요청 명령이 상기 냉장고로 전송되도록 상기 통신부를 제어하고,
    상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 상기 통신부를 통해 수신하고,
    상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하고,
    상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하도록 상기 통신부를 제어하고,
    상기 디스플레이를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하도록 설정된 명령어(instruction)들을 저장하고,
    상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것인, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제1 정보는,
    상기 적어도 하나의 이미지에 포함된 식재료의 명칭에 관련되는 제1 텍스트이고,
    상기 요리 정보와 관련되는 제2 정보는,
    상기 서버에 기 저장된 미디어 콘텐트에 포함되는 이미지 프레임을 식별하여 요리 정보와 관련되는 적어도 하나의 이미지 프레임을 획득하고, 상기 적어도 하나의 이미지 프레임을 식별하여 획득한 제2 텍스트인, 디스플레이 장치.
  3. 제1항에 있어서,
    상기 요리 정보는,
    요리법 또는 식재료의 명칭 중 적어도 하나를 포함하는, 디스플레이 장치.
  4. 제1항에 있어서,
    상기 요리 방송 콘텐트는,
    상기 제1 정보에 포함된 상기 식재료의 명칭이 상기 제2 정보에 포함되는 경우에, 상기 제2 정보에 대응하는 미디어 콘텐트를 이용하여 획득되는, 디스플레이 장치.
  5. 제1항에 있어서,
    상기 요리 방송 콘텐트는,
    상기 서버에 기 저장된 미디어 콘텐트를 구성하는 복수 개의 이미지 프레임들 중에서 요리 정보와 관련되는 이미지 프레임을 이용하여 획득되는 비디오 클립을 포함하는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 디스플레이에 표시된 상기 요리 방송 콘텐트를 선택하는 사용자의 입력이 수신되면, 선택된 요리 방송 콘텐트를 재생하도록 설정된 명령어들을 저장하는, 디스플레이 장치.
  7. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 선택된 요리 방송 콘텐트와 상기 제1 정보를 이용하여 구매가 필요한 식재료를 식별하도록 설정된 명령어들을 저장하는, 디스플레이 장치.
  8. 제7항에 있어서,
    상기 메모리는, 상기 프로세서가,
    식재료의 구매를 안내하는 사용자 인터페이스에 상기 구매가 필요한 식재료를 포함하여 표시하도록 설정된 명령어들을 저장하는, 디스플레이 장치.
  9. 카메라;
    통신부;
    프로세서; 및
    메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    냉장고와 관련되는 정보를 요청하는 입력을 수신하면, 상기 카메라를 이용하여 적어도 하나의 이미지를 획득하고,
    상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료 명칭에 관련되는 제1 정보를 획득하고,
    상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하도록 상기 통신부를 제어하고,
    상기 통신부를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하도록 설정된 명령어들을 저장하고,
    상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것인, 냉장고.
  10. 통신부;
    프로세서; 및
    메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    상기 통신부를 통해, 냉장고와 관련되는 정보를 요청하는 입력이 수신되면, 상기 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령이 상기 냉장고로 전송 되도록 상기 통신부를 제어하고,
    상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 상기 통신부를 통해 수신하고,
    상기 적어도 하나의 이미지에 포함된 식재료를 인식하여 상기 식재료의 명칭에 관련되는 제1 정보를 획득하고,
    상기 제1 정보와 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 요리 방송 콘텐트를 획득하고,
    상기 통신부를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하도록 설정된 명령어들을 저장하는, 서버.
  11. 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 상기 냉장고에 구비된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령을 상기 냉장고에게 전송하는 동작;
    상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 수신하는 동작;
    상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작;
    상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하는 동작; 및
    상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하는 동작; 을 포함하고,
    상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것인, 디스플레이 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 제1 정보는,
    상기 적어도 하나의 이미지에 포함된 식재료의 명칭에 관련되는 제1 텍스트이고,
    상기 요리 정보와 관련되는 제2 정보는,
    상기 서버에 기 저장된 미디어 콘텐트에 포함되는 이미지 프레임을 식별하여 요리 정보와 관련되는 적어도 하나의 이미지 프레임을 획득하고, 상기 적어도 하나의 이미지 프레임을 식별하여 획득한 제2 텍스트인, 디스플레이 장치의 제어 방법.
  13. 제11항에 있어서,
    상기 요리 방송 콘텐트는,
    상기 제1 정보에 포함된 상기 식재료의 명칭이 상기 제2 정보에 포함되는 경우에, 상기 제2 정보에 대응하는 미디어 콘텐트를 이용하여 획득되는, 디스플레이 장치의 제어 방법.
  14. 제11항에 있어서,
    상기 요리 방송 콘텐트는,
    상기 서버에 기 저장된 미디어 콘텐트를 구성하는 복수 개의 이미지 프레임들 중에서 요리 정보와 관련되는 이미지 프레임을 이용하여 획득되는 비디오 클립을 포함하는, 디스플레이 장치의 제어 방법.
  15. 제11항에 있어서,
    상기 디스플레이 장치의 제어 방법은,
    상기 표시되는 요리 방송 콘텐트를 선택하는 사용자의 입력에 따라서, 선택된 요리 방송 콘텐트를 재생하는 동작; 을 포함하는, 디스플레이 장치의 제어 방법.
  16. 제11항에 있어서,
    상기 디스플레이 장치의 제어 방법은,
    상기 요리 방송 콘텐트와 상기 제1 정보를 이용하여 구매가 필요한 식재료를 식별하는 동작; 을 포함하는, 디스플레이 장치의 제어 방법.
  17. 제16항에 있어서,
    상기 디스플레이 장치의 제어 방법은,
    식재료의 구매를 안내하는 사용자 인터페이스에 상기 구매가 필요한 식재료를 포함하여 표시하는 동작; 을 포함하는, 디스플레이 장치의 제어 방법.
  18. 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 카메라를 이용하여 식재료를 포함하는 적어도 하나의 이미지를 획득하는 동작;
    상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작;
    상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하는 동작; 및
    상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하는 동작; 을 포함하고,
    상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것인, 냉장고의 제어 방법.
  19. 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 상기 냉장고에 포함된 카메라를 이용하여 촬영된, 식재료를 포함하는 이미지의 전송을 요청하는 요청 명령을 상기 냉장고에게 전송하는 동작;
    상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지의 수신하는 동작;
    상기 적어도 하나의 이미지에 포함된 식재료를 인식하여 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작;
    상기 제1 텍스트와 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 요리 방송 콘텐트를 획득하는 동작; 및
    상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하는 동작; 을 포함하는, 서버의 제어 방법.
  20. 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 상기 냉장고에 구비된 카메라를 이용하여 획득된, 이미지의 전송을 요청하는 요청 명령을 상기 냉장고에게 전송하는 동작;
    상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 수신하는 동작;
    상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작;
    상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하는 동작; 및
    상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하는 동작; 을 포함하고,
    상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것인, 컴퓨터에서 실행시키기 위한 명령어들을 저장하는 컴퓨터로 읽을 수 있는 기록 매체를 포함하는 컴퓨터 프로그램 제품.
KR1020180044562A 2018-04-17 2018-04-17 디스플레이 장치 및 디스플레이 장치의 제어 방법 KR102535152B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180044562A KR102535152B1 (ko) 2018-04-17 2018-04-17 디스플레이 장치 및 디스플레이 장치의 제어 방법
US16/980,280 US11606619B2 (en) 2018-04-17 2019-01-07 Display device and display device control method
CN201980022877.1A CN111989930A (zh) 2018-04-17 2019-01-07 显示装置和显示装置的控制方法
PCT/KR2019/000174 WO2019203421A1 (ko) 2018-04-17 2019-01-07 디스플레이 장치 및 디스플레이 장치의 제어 방법
EP19788486.9A EP3739896A4 (en) 2018-04-17 2019-01-07 DISPLAY DEVICE AND DISPLAY DEVICE CONTROL PROCESS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180044562A KR102535152B1 (ko) 2018-04-17 2018-04-17 디스플레이 장치 및 디스플레이 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20190121064A true KR20190121064A (ko) 2019-10-25
KR102535152B1 KR102535152B1 (ko) 2023-05-22

Family

ID=68239671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180044562A KR102535152B1 (ko) 2018-04-17 2018-04-17 디스플레이 장치 및 디스플레이 장치의 제어 방법

Country Status (5)

Country Link
US (1) US11606619B2 (ko)
EP (1) EP3739896A4 (ko)
KR (1) KR102535152B1 (ko)
CN (1) CN111989930A (ko)
WO (1) WO2019203421A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102313279B1 (ko) * 2021-01-18 2021-10-14 김현환 식재료 기반 최적 레시피 제공 장치
WO2024058397A1 (ko) * 2022-09-13 2024-03-21 삼성전자주식회사 서버 장치, 가전기기 관리 시스템 및 서버 장치의 제어방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210020702A (ko) * 2019-08-16 2021-02-24 엘지전자 주식회사 인공지능 서버
CN113723498A (zh) * 2021-08-26 2021-11-30 广东美的厨房电器制造有限公司 食物熟度识别方法、装置、系统、电器、服务器及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002156181A (ja) * 2000-11-16 2002-05-31 Yozan Inc 冷蔵庫
JP2011039846A (ja) * 2009-08-12 2011-02-24 Nec Corp コンテンツ一斉配信システム、コンテンツ選択装置、その選択方法、そのプログラム及びプログラム記録媒体
KR20160034344A (ko) * 2013-08-28 2016-03-29 가부시끼가이샤 도시바 저장고용 카메라 장치 및 이를 구비한 저장고
US20170139385A1 (en) * 2015-11-16 2017-05-18 ChefSteps, Inc. Data aggregation and personalization for remotely controlled cooking devices
KR101754372B1 (ko) * 2016-05-26 2017-07-19 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200164614Y1 (ko) 1999-07-28 2000-02-15 박지헌 가정용 컴퓨터와 통신하여 저장중인 음식 재료의 종류를 파악하여 조리 가능한 음식물 종류 및 조리 방법을 제공하는 기능을 가지며, 냉장고의 상태를 파악하고, 냉장고 저장물 및 생활용품 목록을 원거리에 위치한 사용자에게 전송할 수 있는기능을 가진 컴퓨터와 결합된 냉장고 시스템
JP2004086684A (ja) 2002-08-28 2004-03-18 Nec Fielding Ltd お料理レシピ問い合わせシステム、お料理レシピ問い合わせ方法、及びお料理レシピ問い合わせ用プログラム
KR20090070075A (ko) 2007-12-26 2009-07-01 전자부품연구원 상황 맞춤형 요리추천 서비스 시스템 및 그 방법
US20170185596A1 (en) * 2012-07-16 2017-06-29 Gary Spirer Trigger-based content presentation
KR20140026917A (ko) 2012-08-24 2014-03-06 엘지전자 주식회사 조리법 추천 서비스 제공 장치 및 방법
KR102011836B1 (ko) 2013-01-17 2019-08-19 엘지전자 주식회사 식재료 안내 방법
JP6402353B2 (ja) 2013-03-29 2018-10-10 パナソニックＩｐマネジメント株式会社 冷蔵庫及び冷蔵庫システム
KR20140139736A (ko) 2013-05-28 2014-12-08 삼성전자주식회사 냉장고 및 그 제어 방법
KR20150005131A (ko) * 2013-07-04 2015-01-14 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
CN104239433B (zh) * 2014-08-27 2017-12-01 百度在线网络技术（北京）有限公司 可联网冰箱及其信息推荐方法和系统
WO2016205548A1 (en) * 2015-06-17 2016-12-22 Wal-Mart Stores, Inc. Systems and methods for selecting media for meal plans
JP6570898B2 (ja) * 2015-06-30 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 食材位置提示方法及び冷蔵庫
CN105091499B (zh) * 2015-08-18 2017-06-16 小米科技有限责任公司 信息生成方法及装置
CN106871567B (zh) * 2015-12-14 2020-06-26 北京奇虎科技有限公司 基于智能冰箱的食物推荐处理方法、装置及智能冰箱
CN106885441A (zh) * 2015-12-16 2017-06-23 北京奇虎科技有限公司 食材智能管理方法、装置及系统
KR20170076992A (ko) 2015-12-26 2017-07-05 삼성전자주식회사 냉장고
US20170284733A1 (en) 2016-03-29 2017-10-05 Teco Electric & Machinery Co., Ltd. Remote food management system
JP6696269B2 (ja) 2016-03-31 2020-05-20 京セラドキュメントソリューションズ株式会社 情報処理装置、情報処理方法
CN105930533B (zh) * 2016-06-17 2019-03-08 腾讯科技（深圳）有限公司 多媒体节目展示方法及装置
KR20180005521A (ko) * 2016-07-06 2018-01-16 엘지전자 주식회사 이동 단말기 및 그 제어방법
US11016634B2 (en) * 2016-09-01 2021-05-25 Samsung Electronics Co., Ltd. Refrigerator storage system having a display
KR20180025754A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9965798B1 (en) * 2017-01-31 2018-05-08 Mikko Vaananen Self-shopping refrigerator
CN107477971B (zh) * 2017-08-04 2020-09-18 三星电子（中国）研发中心 一种对冰箱内食物的管理方法和设备
CN107610750A (zh) * 2017-08-30 2018-01-19 合肥美的智能科技有限公司 膳食健康信息管理的方法、系统、冰箱

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002156181A (ja) * 2000-11-16 2002-05-31 Yozan Inc 冷蔵庫
JP2011039846A (ja) * 2009-08-12 2011-02-24 Nec Corp コンテンツ一斉配信システム、コンテンツ選択装置、その選択方法、そのプログラム及びプログラム記録媒体
KR20160034344A (ko) * 2013-08-28 2016-03-29 가부시끼가이샤 도시바 저장고용 카메라 장치 및 이를 구비한 저장고
US20170139385A1 (en) * 2015-11-16 2017-05-18 ChefSteps, Inc. Data aggregation and personalization for remotely controlled cooking devices
KR101754372B1 (ko) * 2016-05-26 2017-07-19 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102313279B1 (ko) * 2021-01-18 2021-10-14 김현환 식재료 기반 최적 레시피 제공 장치
WO2024058397A1 (ko) * 2022-09-13 2024-03-21 삼성전자주식회사 서버 장치, 가전기기 관리 시스템 및 서버 장치의 제어방법

Also Published As

Publication number Publication date
US11606619B2 (en) 2023-03-14
CN111989930A (zh) 2020-11-24
WO2019203421A1 (ko) 2019-10-24
EP3739896A4 (en) 2021-03-24
US20210044871A1 (en) 2021-02-11
EP3739896A1 (en) 2020-11-18
KR102535152B1 (ko) 2023-05-22

Similar Documents

Publication Publication Date Title
US11398223B2 (en) Electronic device for modulating user voice using artificial intelligence model and control method thereof
KR102535152B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP2020087449A (ja) 映像処理装置及びその動作方法
KR102628037B1 (ko) 제품의 판매 정보를 제공하는 방법 및 장치
US20200372911A1 (en) Speech recognition device and method
US20230036080A1 (en) Device and method for providing recommended words for character input
EP3489860B1 (en) Image display apparatus and method of operating the same
KR20200085143A (ko) 외부 장치를 등록하는 대화형 제어 시스템 및 방법
KR20190117837A (ko) 사용자 입력에 대한 답변 메시지를 제공하는 디바이스 및 방법
KR20200036084A (ko) 애플리케이션의 번역 정보를 제공하는 디바이스 및 방법
US11210525B2 (en) Method and terminal for providing content
US20210201146A1 (en) Computing device and operation method thereof
CN111316662A (zh) 图像显示设备及其操作方法
US10997947B2 (en) Electronic device and control method thereof
KR20210051349A (ko) 전자장치 및 그 제어방법
US20210321166A1 (en) Electronic apparatus and controlling method thereof
US11240568B2 (en) Apparatus and method for replacing and outputting advertisement
US11675973B2 (en) Electronic device and operation method for embedding an input word using two memory operating speeds
US11645036B2 (en) Electronic device and operating method for providing feedback information in response to user input
KR20200069251A (ko) 대화형 게임을 제공하는 전자 장치 및 그 동작 방법
US11961512B2 (en) System and method for providing voice assistance service
KR20230123343A (ko) 음성 지원 서비스를 제공하는 방법 및 장치
KR20230103577A (ko) 전자 장치 및 그의 동작 방법
CN117093768A (zh) 一种内容推荐方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant