KR102629330B1 - 디스플레이 장치 및 이의 제어 방법 - Google Patents

디스플레이 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR102629330B1
KR102629330B1 KR1020180149326A KR20180149326A KR102629330B1 KR 102629330 B1 KR102629330 B1 KR 102629330B1 KR 1020180149326 A KR1020180149326 A KR 1020180149326A KR 20180149326 A KR20180149326 A KR 20180149326A KR 102629330 B1 KR102629330 B1 KR 102629330B1
Authority
KR
South Korea
Prior art keywords
image
images
information
identified
display device
Prior art date
Application number
KR1020180149326A
Other languages
English (en)
Other versions
KR20200063531A (ko
Inventor
허혜선
박경재
안영춘
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180149326A priority Critical patent/KR102629330B1/ko
Priority to US16/687,065 priority patent/US11232306B2/en
Priority to CN201911171816.XA priority patent/CN111246264A/zh
Priority to EP19211838.8A priority patent/EP3660632A1/en
Publication of KR20200063531A publication Critical patent/KR20200063531A/ko
Application granted granted Critical
Publication of KR102629330B1 publication Critical patent/KR102629330B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Architecture (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는 통신 인터페이스, 카메라, 디스플레이 및 사용자에 의해 선택된 오브젝트와 동일한 타입에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 이미지 및 복수의 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 수신하고, 카메라를 통해 촬영된 이미지에서 식별된 제3 오브젝트 이미지 및 수신된 제2 오브젝트 이미지에 대한 정보에 기초하여 복수의 이미지 중 하나를 식별하고, 식별된 이미지, 사용자에 의해 선택된 오브젝트에 대응되는 제4 오브젝트 이미지 및 제3 오브젝트 이미지에 기초하여 획득된 이미지를 디스플레이하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

디스플레이 장치 및 이의 제어 방법{ Display apparatus and control method thereof }
본 발명은 디스플레이 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 인테리어 이미지를 처리하는 디스플레이 장치 및 이의 제어 방법에 관한 것이다.
전자 기술이 발달함에 따라, 다양한 유형의 전자 장치가 개발 및 보급되고 있는 실정이다.
특히, 최근 실내 인테리어에 대한 관심이 증가함에 따라 증강 현실(AR) 기술과 인테리어를 접목하여 사용자에게 가상의 인테리어 결과물을 제공하기 위한 다양한 시도가 있었다.
다만, 종래의 방법들은 기존에 배치된 실내 가구, 가전, 소품에 대한 고려 없이 기 저장되어 있는 인테리어 이미지를 제공하는데 그치는 실정이다. 또한, 실내 벽지 색상, 실내 조명의 밝기 정도가 반영된 가상의 인테리어 결과물을 제공하기에는 어려움이 있었다.
따라서, 실내에 배치된 가구, 가전, 소품을 최대한 유지한 채, 가구, 가전, 소품 등의 위치만을 조정하여 가상의 인테리어 결과물이 제공되어야 할 필요성이 대두되었다.
또한, 새로운 가전, 가구를 배치함에 있어서, 기존의 실내 인테리어와 어울리는지 사용자에게 직관적인 인테리어 정보가 제공되어야 할 필요성이 있었다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 촬영된 이미지에 포함된 오브젝트 이미지를 고려하여 인테리어 이미지를 변경하는 디스플레이 장치 및 이의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는 통신 인터페이스, 카메라, 디스플레이 및 사용자에 의해 선택된 오브젝트와 동일한 타입에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 이미지 및 상기 복수의 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 수신하고, 상기 카메라를 통해 촬영된 이미지에서 식별된 제3 오브젝트 이미지 및 상기 수신된 제2 오브젝트 이미지에 대한 정보에 기초하여 상기 복수의 이미지 중 하나를 식별하고, 상기 식별된 이미지, 상기 사용자에 의해 선택된 오브젝트에 대응되는 제4 오브젝트 이미지 및 상기 제3 오브젝트 이미지에 기초하여 획득된 이미지를 디스플레이하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 식별된 이미지에서 상기 제1 오브젝트 이미지를 상기 제4 오브젝트 이미지로 대체하고, 상기 식별된 이미지에 포함된 제2 오브젝트 이미지를 상기 제3 오브젝트 이미지로 대체하여 상기 이미지를 획득할 수 있다.
여기서, 상기 수신된 제2 오브젝트 이미지에 대한 정보는, 상기 복수의 이미지 각각에 포함된 제2 오브젝트 이미지의 개수, 크기 또는 색상 중 적어도 하나에 대한 정보를 포함하고, 상기 프로세서는, 상기 촬영된 이미지에서 식별된 상기 제3 오브젝트 이미지의 개수, 크기 또는 색상 중 적어도 하나에 기초하여 상기 복수의 이미지 각각과 상기 촬영된 이미지 간 유사도를 식별하고, 상기 유사도가 임계 값 이상인 이미지를 식별할 수 있다.
또한, 상기 프로세서는, 상기 복수의 이미지 각각의 환경 정보와 상기 촬영된 이미지의 환경 정보에 기초하여 상기 유사도를 식별하고, 상기 환경 정보는, 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 상기 촬영된 이미지에서 식별된 제3 오브젝트 이미지 중 적어도 하나에 대한 선택 명령이 입력되면, 상기 제3 오브젝트 이미지 중 상기 선택 명령에 대응되는 오브젝트 이미지와 상기 복수의 이미지 각각에 포함된 제2 오브젝트 이미지와의 유사도를 우선적으로 판단하여, 상기 복수의 이미지 각각과 상기 촬영된 이미지 간 유사도를 식별할 수 있다.
또한, 상기 프로세서는, 상기 복수의 이미지 중 상기 식별된 이미지의 환경 정보에 기초하여 추천된 상기 사용자에 의해 선택된 오브젝트와 동일한 타입의 추천 오브젝트 이미지를 상기 식별된 이미지에서 상기 제1 오브젝트 이미지가 제거된 영역에 추가하여 획득된 이미지를 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 상기 획득된 이미지에 상기 촬영된 이미지의 환경 정보를 처리하여 상기 디스플레이를 통해 제공하고, 상기 촬영된 이미지의 환경 정보는, 상기 촬영된 이미지의 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 오브젝트의 식별 정보 또는 설치 타입 중 적어도 하나를 포함하는 리스트를 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 실내 이미지 및 상기 실내 이미지에 포함된 오브젝트에 대한 정보를 크롤링하여 저장하는 서버로부터, 상기 복수의 이미지 및 상기 복수의 이미지 각각에 포함된 상기 제2 오브젝트 이미지에 대한 정보를 수신할 수 있다.
또한, 상기 프로세서는, 상기 획득된 이미지에서 상기 촬영된 이미지에 포함되어 있지 않은 오브젝트 이미지가 식별되면, 상기 식별된 오브젝트 이미지를 나머지 오브젝트 이미지와 구별되게 디스플레이하도록 상기 디스플레이를 제어하고, 상기 식별된 오브젝트 이미지에 상기 식별된 오브젝트 이미지에 대응되는 제품의 구매 사이트를 링크시켜 제공할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 사용자에 의해 선택된 오브젝트와 동일한 타입에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 이미지 및 상기 복수의 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 수신하는 단계, 촬영된 이미지에서 식별된 제3 오브젝트 이미지 및 상기 수신된 제2 오브젝트 이미지에 대한 정보에 기초하여 상기 복수의 이미지 중 하나를 식별하는 단계, 및 상기 식별된 이미지, 상기 사용자에 의해 선택된 오브젝트에 대응되는 제4 오브젝트 이미지 및 상기 제3 오브젝트 이미지에 기초하여 획득된 이미지를 디스플레이하는 단계를 포함한다.
여기서, 상기 획득된 이미지를 디스플레이하는 단계는, 상기 식별된 이미지에서 상기 제1 오브젝트 이미지를 상기 사용자에 의해 선택된 오브젝트에 대응되는 제4 오브젝트 이미지로 대체하고, 상기 식별된 이미지에 포함된 제2 오브젝트 이미지를 상기 제3 오브젝트 이미지로 대체하여 상기 이미지를 획득할 수 있다.
여기서, 상기 수신된 제2 오브젝트 이미지에 대한 정보는, 상기 복수의 이미지 각각에 포함된 제2 오브젝트 이미지의 개수, 크기 또는 색상 중 적어도 하나에 대한 정보를 포함하고, 상기 복수의 이미지 중 하나를 식별하는 단계는, 상기 촬영된 이미지에서 식별된 상기 제3 오브젝트 이미지의 개수, 크기 또는 색상 중 적어도 하나에 기초하여 상기 복수의 이미지 각각과 상기 촬영된 이미지 간 유사도를 식별하고, 상기 유사도가 임계 값 이상인 이미지를 식별할 수 있다.
또한, 상기 복수의 이미지 중 하나를 식별하는 단계는, 상기 복수의 이미지 각각의 환경 정보와 상기 촬영된 이미지의 환경 정보에 기초하여 상기 유사도를 식별하고, 상기 환경 정보는, 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 복수의 이미지 중 하나를 식별하는 단계는, 상기 촬영된 이미지에서 식별된 제3 오브젝트 이미지 중 적어도 하나에 대한 선택 명령이 입력되면, 상기 제3 오브젝트 이미지 중 상기 선택 명령에 대응되는 오브젝트 이미지와 상기 복수의 이미지 각각에 포함된 제2 오브젝트 이미지와의 유사도를 우선적으로 판단하여, 상기 복수의 이미지 각각과 상기 촬영된 이미지 간 유사도를 식별할 수 있다.
또한, 상기 복수의 이미지 중 상기 식별된 이미지의 환경 정보에 기초하여 추천된 상기 사용자에 의해 선택된 오브젝트와 동일한 타입의 추천 오브젝트 이미지를 상기 식별된 이미지에서 상기 제1 오브젝트 이미지가 제거된 영역에 추가하여 이미지를 획득하는 단계를 포함할 수 있다.
또한, 상기 획득된 이미지를 디스플레이하는 단계는, 상기 획득된 이미지에 상기 촬영된 이미지의 환경 정보를 처리하여 상기 디스플레이를 통해 제공하는 단계를 포함하고, 상기 촬영된 이미지의 환경 정보는, 상기 촬영된 이미지의 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함할 수 있다.
또한, 오브젝트의 식별 정보 또는 설치 타입 중 적어도 하나를 포함하는 리스트를 디스플레이하는 단계를 포함할 수 있다.
또한, 상기 수신하는 단계는, 실내 이미지 및 상기 실내 이미지에 포함된 오브젝트에 대한 정보를 크롤링하여 저장하는 서버로부터, 상기 복수의 이미지 및 상기 복수의 이미지 각각에 포함된 상기 제2 오브젝트 이미지에 대한 정보를 수신할 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 획득된 이미지에서 상기 촬영된 이미지에 포함되어 있지 않은 오브젝트 이미지가 식별되면, 상기 식별된 오브젝트 이미지를 나머지 오브젝트와 구별되게 디스플레이하는 단계 및 상기 식별된 오브젝트 이미지에 상기 식별된 오브젝트 이미지에 대응되는 제품의 구매 사이트를 링크시켜 제공하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자는 실내에 배치된 가구, 가전, 소품이 반영된 가상의 인테리어 결과물을 제공받을 수 있고, 새로운 가구 또는 가전을 배치함에 있어서 직관적인 인테리어 예상도를 제공받을 수 있게 된다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 도시한 블록도이다.
도 2는 도 1에 도시된 디스플레이 장치의 세부 구성을 나타내는 블럭도이다.
도 3a 및 3b는 본 개시의 일 실시 예에 따른 복수의 인테리어 이미지를 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 유사도를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 추천 오브젝트 이미지를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 환경 정보를 설명하기 위한 도면이다.
도 7은 본 개시의 다른 실시 예에 따른 리스트를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 구매 사이트 링크를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 도시한 블록도이다.
디스플레이 장치(100)는 TV, 스마트폰, 태블릿 PC, PMP, PDA, 노트북 PC, 스마트 워치, HMD(Head mounted Display), NED(Near Eye Display) 등과 같이 디스플레이 기능을 갖춘 장치로 구현될 수 있다. 디스플레이 장치(100)는 디스플레이 기능을 제공하기 위해 다양한 형태의 디스플레이를 구비할 수 있다.
다만, 본 개시에 따른 다양한 실시 예는 디스플레이 기능이 구비되지 않은 전자 장치를 통해서도 구현할 수도 있다. 예를 들어, 블루레이 플레이어(Blu Ray Player), DVD(Digital Versatile Disc) 플레이어, 스트리밍 컨텐츠 출력 장치, 셋탑 박스 등과 같이 컨텐츠를 디스플레이 장치로 제공하는 다양한 유형의 전자 장치가 본 개시의 다양한 실시 예를 구현할 수 있다. 다른 예로, 스피커, 냉장고, 세탁기, 에어컨, 공기 청정기, 각종 사물 인터넷 장치(internet of things) 등과 같은 다양한 형태의 가전 제품(home appliance)이 본 개시의 다양한 실시 예를 구현할 수도 있음은 물론이다. 이하에서는, 설명의 편의를 위해 디스플레이 장치(100)를 카메라(120)가 구비된 사용자 단말 장치로 상정하여 설명하도록 한다.
도 1은 참조하면, 디스플레이 장치(100)는 통신 인터페이스(110), 카메라(120), 디스플레이(130) 및 프로세서(140)를 포함한다.
통신 인터페이스(110)는 외부 서버와 통신하기 위한 구성이다.
특히, 통신 인터페이스(110)는 사용자에 의해 선택된 오브젝트와 동일한 타입에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 이미지 및 복수의 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 수신할 수 있다. 일 예로, 오브젝트는 가전 또는 가구 중 적어도 하나일 수 있다. 또한, 이미지는 실내/외 인테리어와 관련된 이미지일 수 있다. 다만, 이는 일 실시 예로서 이에 한정되는 것은 아니다. 예를 들어, 사용자에 의해 선택된 오브젝트는 실내/외에 배치 가능한 다양한 형태의 가전, 가구, 가정용품, 인테리어 소품 등이 될 수 있음은 물론이다. 또한, 실내/외 인테리어와 관련된 이미지는 카메라 등을 통해 촬영된 이미지, 2D/3D 이미지, 가상 현실 이미지 등 다양한 형태의 오브젝트를 포함하는 이미지를 의미할 수 있다. 이하에서는 설명의 편의를 위해 오브젝트를 가전, 가구 등으로 상정하고, 이미지를 인테리어와 관련된 이미지로 상정하여 설명하도록 한다.
카메라(120)는 디스플레이 장치(100)의 전면 또는 후면 상의 적어도 하나의 위치에 배치될 수 있다. 디스플레이 장치(100)는 카메라(120)를 이용하여 디스플레이 장치(110)의 전면 또는 후면을 촬영할 수 있다.
일 예로, 카메라(120)는 디스플레이 장치(100)의 후면 상에 배치될 수 있고, 디스플레이 장치(100)는 카메라(120)를 통해 디스플레이 장치(100)의 주변 환경이 촬영된 이미지를 획득할 수 있다. 예를 들어, 디스플레이 장치(100)는 카메라(120)를 통해 실내 환경이 촬영된 이미지를 획득할 수 있다. 여기서, 카메라(120)를 통해 촬영된 이미지는 복수의 오브젝트 이미지를 포함할 수 있다. 예를 들어, 카메라(120)를 통해 촬영된 실내 환경 이미지는, 실내에 구비된 가구, 가전, 조명, 홈데코 용품(예를 들어, 액자, 화분, 시계 및 거울 등) 등 복수의 오브젝트 이미지를 포함할 수 있다. 한편, 이에 한정되는 것은 아니며 카메라(120)를 통해 촬영된 이미지는 다양한 유형의 오브젝트에 대응되는 오브젝트 이미지를 포함할 수 있다. 예를 들어, 촬영된 이미지는 실내에 구비된 창문에 대응되는 창문 이미지, 수납 공간에 대응되는 수납 가구 이미지 등을 포함할 수 있다. 여기서, 촬영된 이미지는 카메라(120)를 통해 촬영되고, 디스플레이 장치(100) 또는 외부 서버에 저장된 영상일 수 있다. 다만, 이는 일 예로, 촬영된 이미지는 카메라(120)를 통해 수신되는 라이브 뷰 이미지를 의미할 수도 있음은 물론이다.
디스플레이(130)는 디스플레이 장치(100)을 통해 제공 가능한 다양한 컨텐츠 화면을 제공할 수 있다. 여기서, 컨텐츠 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다.
디스플레이(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(130) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(130)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 발명의 일 실시 예에 따른, 디스플레이(130)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 발명의 일 실시예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
특히, 디스플레이(130)는 복수의 인테리어 이미지, 카메라(120)를 통해 촬영된 이미지 또는 후술하는 바와 같이 프로세서(140)에 의해 획득된 이미지 중 적어도 하나를 디스플레이할 수 있다.
프로세서(140)는 디스플레이 장치(100)의 전반적인 동작을 제어한다.
프로세서(140)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 프로세서(140)는 메모리(120)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
특히, 프로세서(140)는 통신 인터페이스(110)를 통해 사용자에 의해 선택된 가전 또는 가구 중 적어도 하나와 동일한 타입에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 인테리어 이미지 및 복수의 인테리어 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 수신할 수 있다. 여기서, 사용자에 의해 선택된 가전 또는 가구 중 적어도 하나는 사용자의 선택 명령, 입력 등에 따라 선택된 가전 또는 가구 중 적어도 하나일 수 있다. 예를 들어, 프로세서(140)는 디스플레이(130)를 통해 복수의 가전 제품 또는 가구 제품 등을 포함하는 리스트를 출력할 수 있다.
이어서, 사용자의 입력에 따라 리스트에 포함된 가전 제품 또는 가구 제품 중 적어도 하나가 선택되면, 선택된 가전 또는 가구 중 적어도 하나와 동일한 타입에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 인테리어 이미지 및 복수의 인테리어 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 수신할 수 있다.
일 예로, 선택된 가전이 TV이면, TV를 포함하는 복수의 인테리어 이미지를 수신할 수 있다. 또한, TV를 포함하는 복수의 인테리어 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 서버(미도시)로부터 수신할 수 있다.
여기서, 서버는 실내 인테리어 이미지 및 실내 인테리어 이미지에 포함된 오브젝트에 대한 정보를 크롤링하여 저장할 수 있다. 여기서, 크롤링이란 무수히 많은 웹 서버에 분산 저장되어 있는 정보를 수집하여 검색 대상의 색인으로 포함시키는 기술을 의미한다.
일 예로, 서버는 웹 크롤링(Web Crawling, 또는 Web Scraping)을 통해 복수의 이미지를 획득하고, 복수의 이미지 중 실내 인테리어 이미지를 식별할 수 있다. 또한, 실내 인테리어 이미지에 포함된 복수의 오브젝트 이미지에 대한 인덱싱(indexing)을 수행하여 데이터베이스(Database, DB)를 생성할 수 있다. 예를 들어, 웹 크롤링을 통해 획득된 복수의 이미지 중 실내 인테리어 이미지를 식별하고, 식별된 인테리어 이미지에 포함된 소파, 테이블, 창문 및 액자 등에 대한 정보를 저장할 수 있다. 여기서, 소파, 테이블, 창문 및 액자 등은 인테리어 이미지에 포함된 제2 오브젝트 이미지의 일 예시로서, 반드시 이에 한정되는 것은 아니다. 제2 오브젝트 이미지는 인테리어 이미지에 포함된 식별 가능한 오브젝트 이미지(예를 들어, 가구, 가전, 조명, 홈데코 용품 등)가 될 수 있음은 물론이다. 또한, 제2 오브젝트 이미지에 대한 정보는 식별된 오브젝트 이미지의 개수, 종류(또는, 타입), 크기, 색상 또는 인테리어 이미지 상의 위치 중 적어도 하나를 포함할 수 있다.
다른 예로, 선택된 가구가 소파이면, 소파를 포함하는 복수의 인테리어 이미지를 수신할 수 있다. 또한, 소파를 포함하는 복수의 인테리어 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 서버로부터 수신할 수 있음은 물론이다.
한편, 디스플레이 장치(100)는 제1 오브젝트 이미지를 포함하는 인테리어 이미지 및 인테리어 이미지에 포함된 제2 오브젝트 이미지에 대한 정보를 서버로부터 수신하는 외에도, 자체적으로 획득할 수도 있음은 물론이다. 예를 들어, 디스플레이 장치(100)는 웹 크롤링을 통해 복수의 인테리어 이미지를 획득하고, 복수의 인테리어 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 획득 및 저장할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 카메라(120)를 통해 촬영된 이미지에서 식별된 제3 오브젝트 이미지 및 수신된 제2 오브젝트 이미지에 대한 정보에 기초하여 복수의 인테리어 이미지 중 하나를 식별할 수 있다.
여기서, 제3 오브젝트 이미지는 촬영된 이미지에 포함된 복수의 오브젝트 이미지를 의미한다. 예를 들어, 카메라(120)를 통해 촬영된 실내 이미지는, 실내에 구비된 가구, 가전, 조명, 홈데코 용품(예를 들어, 액자, 화분, 시계 및 거울 등) 등 다양한 유형의 제3 오브젝트 이미지를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 촬영된 이미지에서 식별된 제3 오브젝트 이미지 및 복수의 인테리어 이미지에 포함된 제2 오브젝트 이미지에 대한 정보에 기초하여 복수의 인테리어 이미지 중 하나를 식별할 수 있다.
구체적으로, 복수의 인테리어 이미지 중 제1 인테리어 이미지에 포함된 제2 오브젝트 이미지에 대한 정보, 및 복수의 인테리어 이미지 각각에 포함된 제3 오브젝트 이미지에 대한 정보에 기초하여 제1 인테리어 이미지와 촬영된 이미지 간 유사도를 식별할 수 있다. 여기서, 제2 또는 제3 오브젝트 이미지에 대한 정보는, 오브젝트 이미지의 개수, 크기, 색상, 타입 또는 위치 중 적어도 하나를 포함할 수 있다.
프로세서(140)는 복수의 인테리어 이미지 중 제1 인테리어 이미지와 촬영된 이미지에 대한 유사도가 식별되면, 복수의 인테리어 이미지 중 제2 인테리어 이미지와 촬영된 이미지에 대한 유사도를 동일한 방식으로 식별할 수 있다.
일 예로, 프로세서(140)는 제1 인테리어 이미지에 포함된 제2 오브젝트 이미지의 개수와 촬영된 이미지에 포함된 제3 오브젝트 이미지의 개수에 기초하여 제1 인테리어 이미지와 촬영된 이미지 간 유사도를 식별할 수 있다. 예를 들어, 프로세서(140)는 제2 오브젝트 이미지의 개수 및 제3 오브젝트 이미지의 개수 간 차이가 기설정된 임계 개수 미만이면, 제1 인테리어 이미지와 촬영된 이미지가 유사한 것으로 식별하거나, 기설정된 값의 유사도 스코어를 부여할 수 있다.
일 실시 예에 따라 프로세서(120)는 오브젝트 이미지의 개수, 크기, 색상, 타입 또는 위치 중 복수 개에 대한 유사도 스코어를 산출하고, 각 유사도 스코어를 합산하여 최종 유사도 스코어를 식별할 수 있다.
다른 실시 예에 따라 프로세서(120)는 오브젝트 이미지의 개수, 크기, 색상, 타입 또는 위치 중 복수 개에 대한 유사도 스코어를 산출되면, 산출된 유사도 스코어에 서로 다른 가중치를 적용한 후 합산하여 최종 유사도 스코어를 식별할 수 있다. 예를 들어, 프로세서(120)는 오브젝트 이미지의 개수에 대해 산출된 유사도 스코어에 오브젝트 이미지의 크기에 대해 산출된 유사도 이미지보다 큰 가중치를 적용할 수 있다.
이어서, 프로세서(140)는 복수의 인테리어 이미지 중 유사도(예를 들어, 유사도 스코어)가 임계 값 이상인 인테리어 이미지를 식별할 수 있다. 일 실시 예에 따라, 제1 인테리어 이미지와 촬영된 이미지 간 유사도가 임계 값 이상이고, 제2 인테리어 이미지와 촬영된 이미지 간 유사도가 임계 값 이상이면, 프로세서(140)는 제1 및 제2 인테리어 이미지 중 유사도가 상대적으로 높은 어느 하나의 이미지만 선택할 수 있다. 다만, 이에 한정되는 것은 아니고 제1 및 제2 인테리어 이미지 모두 선택할 수도 있음은 물론이다.
일 예로 프로세서(140)는 제제1 인테리어 이미지에 포함된 홈 데코 용품인 ‘액자’ 이미지가 2개이고, 촬영된 이미지에 포함된 홈 데코 용품인 ‘액자’ 이미지가 2개로 동일하면, 제1 인테리어 이미지와 촬영된 이미지 간 유사도가 임계 값 이상인 것으로 판단할 수 있다.
다른 예로, 제1 인테리어 이미지에 포함된 가구 ‘소파’ 이미지의 크기와 촬영된 이미지에 포함된 가구 ‘소파’ 이미지의 크기가 유사하면, 제1 인테리어 이미지와 촬영된 이미지 간 유사도가 임계 값 이상인 것으로 판단할 수 있다.또 다른 예로, 제1 인테리어 이미지에 포함된 액자 이미지 개수와 촬영된 이미지에 포함된 액자 이미지 개수가 동일하면, 유사도 스코어 0.5를 부여하고, 액자 이미지 크기와 촬영된 이미지에 포함된 액자 이미지 크기 차이에 기초하여, 유사도 스코어 0.3을 부여하고, 각 유사도 스코어를 합산한 0.8이 기설정된 임계값 이상인지 여부를 식별할 수 있다.
이어서, 본 개시의 일 실시 예에 따른 프로세서(140)는 식별된 이미지, 사용자에 의해 선택된 오브젝트(예를 들어, 가전 또는 가구 등)에 대응되는 제4 오브젝트 이미지 및 이미지에서 식별된 제3 오브젝트 이미지에 기초하여 이미지를 획득할 수 있다. 일 예로, 프로세서(140)는 식별된 인테리어 이미지에서 제1 오브젝트 이미지를 사용자에 의해 선택된 가전 또는 가구 중 적어도 하나에 대응되는 제4 오브젝트 이미지로 대체할 수 있다. 예를 들어, 유사도가 임계 값 이상인 것으로 식별된 제1 인테리어 이미지에 포함된 ‘TV’ 이미지는 사용자에 의해 선택된 ‘TV’로 대체될 수 있다. 일 예로, 프로세서(140)는 제1 인테리어 이미지에 포함된 ‘TV’이미지를 삭제하는 영상처리를 수행하고, 해당 위치에 사용자에 의해 선택된 ‘TV’를 추가하는 렌더링을 수행할 수 있다.
또한, 일 실시 예에 따른 프로세서(140)는 식별된 인테리어 이미지에 포함된 제2 오브젝트 이미지를 제3 오브젝트 이미지로 대체하여 획득된 이미지를 디스플레이(130)를 통해 제공할 수 있다. 예를 들어, 식별된 제1 인테리어 이미지에 포함된 ‘소파’이미지는 카메라(120)를 통해 촬영된 이미지에 포함된 ‘소파’이미지로 대체될 수 있다. 일 예로, 프로세서(140)는 제1 인테리어 이미지에 포함된 ‘소파’이미지를 삭제하는 영상처리를 수행하고, 해당 위치에 촬영된 이미지에 포함된 ‘소파’이미지를 추가하는 렌더링을 수행할 수 있다. 이에 따라, 프로세서(140)는 서버로부터 수신된 제1 인테리어 이미지를 배경으로 하되, 사용자에 의해 선택된 가구 또는 가전이 추가되고, 실내 환경에 구비된 가구, 가전, 또는 홈 데코 용품 등이 추가된 이미지를 획득할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 복수의 인테리어 이미지 각각의 환경 정보와 촬영된 이미지의 환경 정보에 기초하여 유사도를 식별할 수 있다. 여기서, 환경 정보는 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 프로세서(140)는 복수의 인테리어 이미지 중 제1 인테리어 이미지와 촬영된 이미지의 환경 정보를 비교하여 유사도를 식별할 수 있다. 일 예로, 프로세서(140)는 제1 인테리어 이미지의 배경 색상과 촬영된 이미지에 따른 실내 배경 색상이 동일 또는 유사한 것으로 식별되면, 유사도가 임계 값 이상인 것으로 판단할 수 있다. 다른 예로, 프로세서(140)는 복수의 인테리어 이미지 중 제2 인테리어 이미지의 밝기와 촬영된 이미지에 따른 실내 밝기가 동일 또는 유사한 것으로 식별되면, 유사도가 임계 값 이상인 것으로 판단할 수 있다.
한편, 본 개시의 일 실시 예에 따른 프로세서(140)는 촬영된 이미지에서 식별된 제3 오브젝트 이미지 중 적어도 하나에 대한 선택 명령이 입력되면, 제3 오브젝트 이미지 중 선택 명령에 대응되는 오브젝트 이미지와 복수의 인테리어 이미지 각각에 포함된 제2 오브젝트 이미지와의 유사도를 우선적으로 판단하여, 복수의 인테리어 이미지 각각과 촬영된 이미지 간 유사도를 식별할 수 있다. 일 예로, 촬영된 이미지에서 식별된 제3 오브젝트 이미지 중 ‘소파’, ‘기둥’, ‘책장(built-in bookcases)’등 다른 가전 또는 가구에 비해 상대적으로 이동이 어려운 오브젝트 이미지에 대한 사용자의 선택 명령이 입력될 수 있다. 이어서, 프로세서(140)는 제3 오브젝트 이미지 중 선택 명령에 대응되는 오브젝트 이미지와 제1 인테리어 이미지에 포함된 제2 오브젝트 이미지와의 유사도를 우선적으로 판단할 수 있다. 예를 들어, 촬영된 이미지에서 식별된 제3 오브젝트 이미지 중 ‘책장’이미지에 대한 선택 명령이 입력되면, 제1 인테리어 이미지에 포함된 제2 오브젝트 이미지에서 ‘책장’과의 유사도를 우선적으로 판단할 수 있다. 이어서, 프로세서(140)는 복수의 인테리어 이미지 각각과 촬영된 이미지 간 유사도를 식별할 수 있다. 이에 대한 구체적인 설명은 도 4에서 하도록 한다.
본 개시의 일 실시 예에 따른 프로세서(140)는 복수의 인테리어 이미지 중 하나가 식별되면, 식별된 인테리어 이미지에서 제1 오브젝트 이미지를 제거하고, 식별된 인테리어 이미지의 환경 정보에 기초하여 사용자에 의해 선택된 가전 또는 가구 중 적어도 하나와 동일한 타입에 대응되는 추천 오브젝트 이미지를 제거된 영역에 추가하여 획득된 이미지를 디스플레이(130)를 통해 디스플레이할 수 있다.
일 예로, 사용자에 의해 선택된 가전이 TV이면, 식별된 인테리어 이미지에서 TV 이미지를 제거하고, TV 타입에 대응되는 추천 오브젝트 이미지를 식별된 인테리어 이미지 상에서 제거된 영역에 추가할 수 있다. 여기서, TV 타입에 대응되는 추천 오브젝트 이미지는 TV 종류에 속하는 복수의 제품(또는, 모델) 중 어느 하나를 의미할 수 있다. 예를 들어, 사용자에 의해 선택된 가전이 55 inch의 TV이면, 프로세서(140)는 제1 인테리어 이미지에서 TV를 제거하고, 제1 인테리어 이미지의 환경 정보에 기초하여 65 inch의 TV를 추천 오브젝트 이미지로 제공할 수 있다. 프로세서(140)는 65 inch의 TV 이미지를 제1 인테리어 이미지 상에서 TV가 제거된 영역에 추가하여 디스플레이(130)를 통해 제공할 수 있다. 여기서, 제1 인테리어 이미지의 환경 정보는 제1 인테리어 이미지의 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함할 수 있다.
다른 예로, 사용자에 의해 선택된 가구가 하얀색 테이블이면, 프로세서(140)는 제1 인테리어 이미지에 포함된 테이블 이미지를 제거하고, 제1 인테리어 이미지의 배경 색상에 기초하여 검은색 테이블을 테이블 이미지가 제거된 영역에 추가하여 제거할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 획득된 이미지에 촬영된 이미지의 환경 정보를 처리하여 디스플레이(130)를 통해 제공할 수 있다. 예를 들어, 프로세서(140)는 식별된 제1 인테리어 이미지에 포함된 ‘소파’이미지를 카메라(120)를 통해 촬영된 이미지에 포함된 ‘소파’이미지로 대체될 수 있다. 이에 따라, 프로세서(140)는 서버로부터 수신된 제1 인테리어 이미지를 배경으로 하되, 사용자에 의해 선택된 가구 또는 가전이 추가되고, 실내 환경에 구비된 가구, 가전, 또는 홈 데코 용품 등이 추가된 이미지를 획득할 수 있다. 이어서, 프로세서(140)는 카메라(120)를 통해 촬영된 이미지의 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나에 기초하여 획득된 이미지에 렌더링을 수행할 수 있다.
이에 따라, 촬영된 이미지를 배경으로 하되, 사용자에 의해 선택된 가구 또는 가전이 추가되고, 실내 환경에 구비된 가구, 가전, 또는 홈 데코 용품 등이 추가된 이미지를 획득할 수 있다. 여기서, 실내 환경에 구비된 가구, 가전 또는 홈 데코 용품 등의 위치는 제1 인테리어 이미지에 포함된 제2 오브젝트 이미지의 위치에 대응할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 획득된 이미지에서 촬영된 이미지에 포함되어 있지 않은 오브젝트 이미지가 식별되면, 식별된 오브젝트 이미지를 나머지 오브젝트 이미지와 구별되게(또는, 상이하게) 디스플레이할 수 있다. 예를 들어, 식별된 제1 인테리어 이미지에 포함된 ‘소파’이미지는 카메라(120)를 통해 촬영된 이미지에 포함된 ‘소파’이미지로 대체될 수 있다. 여기서, 제1 인테리어 이미지에 ‘조명 스탠드’ 이미지가 포함되어 있고, 촬영된 이미지에 ‘조명 스탠드’이미지가 없는 경우를 상정할 수 있다. 프로세서(140)는 제1 인테리어 이미지를 배경으로 할 수 있으므로, ‘조명 스탠드’를 제거하지 않고 그대로 유지할 수 있다. 프로세서(140)는 제2 오브젝트 이미지 중 제3 오브젝트 이미지로 대체되지 않고 그대로 유지된 오브젝트 이미지를 나머지 오브젝트 이미지와 상이하게 디스플레이할 수 있다. 예를 들어, 촬영된 이미지에 포함된 ‘소파’이미지와 달리, 촬영된 이미지에는 포함되어 있지 않고 제1 인테리어 이미지에만 포함된 ‘조명 스탠드’는 하이라이트 처리될 수 있다. 이어서, 프로세서(140)는 식별된 오브젝트 이미지에 대응되는 제품의 구매 사이트를 링크시켜 제공할 수 있다. 프로세서(140)는 식별된 오브젝트 이미지에 대한 선택 명령이 수신되면, 해당 제품의 구매 사이트를 디스플레이(130)를 통해 제공할 수 있다. 이에 대한 구체적인 설명은 도 8에서 하도록 한다.
도 2는 도 1에 도시된 디스플레이 장치의 세부 구성을 나타내는 블럭도이다.
도 2에 따르면, 디스플레이 장치(100)는 통신 인터페이스(110), 카메라(120), 디스플레이(130), 프로세서(140), 메모리(150), 입출력 인터페이스(160) 및 사용자 인터페이스(170)를 포함한다. 도 2에 도시된 구성 중 도 1에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
통신 인터페이스(110)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(110)는 와이파이 모듈(111), 블루투스 모듈(112), 적외선 통신 모듈(113) 및 무선 통신 모듈(114) 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
프로세서(130)는 통신 인터페이스(110)를 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 여기서, 외부 장치는 TV와 같인 디스플레이 장치, set-top box와 같은 영상 처리 장치, 외부 서버, 리모컨과 같은 제어 장치, 블루투스 스피커와 같은 음향 출력 장치, 조명 장치, 스마트 청소기, 스마트 냉장고와 같은 가전 기기, IOT 홈 매니저 등과 같은 서버 등을 포함할 수 있다.
와이파이 모듈(111), 블루투스 모듈(112)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈(111)이나 블루투스 모듈(112)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈(113)은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈(114)은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
그 밖에 통신 인터페이스(130)는LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.
일 예에 따라 통신 인터페이스(130)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 동일한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다.
다른 예에 따라 통신 인터페이스(130)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 상이한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다. 예를 들어, 통신 인터페이스(130)는 외부 서버와 통신하기 위해 이더넷 모듈 또는 WiFi 모듈 중 적어도 하나를 이용할 수 있고, 리모컨과 같은 외부 장치와 통신하기 위해 BT 모듈을 이용할 수도 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(130)는 복수의 외부 장치 또는 외부 서버와 통신하는 경우 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다.
특히, 통신 인터페이스(110)는 실내 인테리어 이미지 및 실내 인테리어 이미지에 포함된 오브젝트에 대한 정보를 크롤링하여 저장하는 서버로부터, 복수의 인테리어 이미지 및 복수의 인테리어 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 수신할 수 있다. 한편, 이는 일 실시 예로서 이에 한정되는 것은 아니다. 예를 들어, 통신 인터페이스(110)는 프로세서(140)의 제어에 따라 외부 서버로부터 복수의 실내 인테리어 이미지를 수신할 수 있다. 이어서, 프로세서(140)는 수신된 복수의 실내 인테리어 이미지로부터 복수의 실내 인테리어 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 획득할 수도 있음은 물론이다.
다른 예로, 본 개시의 다양한 실시 예에 따른 이미지를 획득하는 방법은 서버(미도시)에서 수행되고, 디스플레이 장치(100)는 통신 인터페이스(110)를 통해 수신되는 이미지를 디스플레이하여 사용자에게 제공할 수도 있음은 물론이다. 예를 들어, 디스플레이 장치(100)는 사용자에 의해 선택된 오브젝트에 대한 정보를 서버로 전송할 수 있다. 이어서, 서버는 수신된 오브젝트에 대한 정보에 기초하여 해당 오브젝트와 동일한 타입에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 이미지를 획득할 수 있다. 또한, 서버는 획득된 복수의 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 획득 및 저장할 수 있다. 이어서, 디스플레이 장치(100)로부터 촬영된 이미지가 수신되면, 서버는 촬영된 이미지에서 식별된 제3 오브젝트 이미지 및 제2 오브젝트 이미지에 대한 정보에 기초하여 복수의 이미지 중 어느 하나를 식별할 수 있다. 서버는 식별된 이미지, 사용자에 의해 선택된 오브젝트에 대응되는 제4 오브젝트 이미지 및 제3 오브젝트 이미지에 기초하여 이미지를 생성하고, 생성된 이미지를 디스플레이 장치(100)로 전송할 수 있다. 다만, 이는 일 실시 예로서, 상술한 단계 중 일부는 서버에서 수행되고, 나머지는 디스플레이 장치(100)에서 수행될 수도 있음은 물론이다.
디스플레이(130)는 디스플레이 장치(100)을 통해 제공 가능한 다양한 컨텐츠 화면을 제공할 수 있다. 여기서, 컨텐츠 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다.
디스플레이는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), Micro LED, QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.
또한, 본 발명의 일 실시 예에 따른, 디스플레이는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 발명의 일 실시예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
특히, 디스플레이(130)는 복수의 인테리어 이미지, 카메라(120)를 통해 촬영된 이미지 또는 후술하는 바와 같이 프로세서(140)에 의해 획득된 이미지 중 적어도 하나를 디스플레이할 수 있다.
한편, 디스플레이 장치(100)에 구비된 디스플레이(130)는 그래픽 처리부에서 생성된 다양한 화면을 디스플레이할 수 있다. 디스플레이 장치(100)는 디스플레이(130)를 구성요소로 포함하고 있을 수 있으나, 인터페이스(미도시)를 통해 연결된 외부 장치로 화면에 대응되는 신호를 전송하여 외부 장치의 디스플레이를 통해 다양한 화면을 디스플레이할 수도 있음은 물론이다.
프로세서(140)는 메모리(150)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(140)는 RAM(141), ROM(142), 메인 CPU(143), 제1 내지 n 인터페이스(144-1 ~ 144-n), 버스(145)를 포함한다.
RAM(141), ROM(142), 메인 CPU(143), 제1 내지 n 인터페이스(144-1 ~ 144-n) 등은 버스(145)를 통해 서로 연결될 수 있다.
ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(143)는 ROM(142)에 저장된 명령어에 따라 메모리(150)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(143)는 메모리(150)에 저장된 각종 어플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU(143)는 메모리(150)에 액세스하여, 메모리(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(150)에 저장된 각종 프로그램, 컨텐츠 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(144-1 내지 144-n)는 상술한 각종 구성 요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
한편, 프로세서(140)는 그래픽 처리 기능(비디오 처리 기능)을 수행할 수 있다. 예를 들어, 프로세서(140)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 여기서, 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. 또한, 프로세서(140)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
한편, 프로세서(140)는 오디오 데이터에 대한 처리를 수행할 수 있다. 구체적으로, 프로세서(140)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
메모리(150)는 디스플레이 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다.
예를 들어, 메모리(150)는 프로세서(140)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(140)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(150)는 데이터 저장 용도에 따라 디스플레이 장치(100)에 임베디드된 메모리 형태로 구현되거나, 디스플레이 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 디스플레이 장치(100)의 구동을 위한 데이터의 경우 디스플레이 장치(100)에 임베디드된 메모리에 저장되고, 디스플레이 장치(100)의 확장 기능을 위한 데이터의 경우 디스플레이 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 디스플레이 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 디스플레이 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
입출력 인터페이스(160)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다.
입출력 인터페이스(160)는 오디오 및 비디오 신호 중 적어도 하나를 입출력 할 수 있다.
구현 예에 따라, 입출력 인터페이스(160)는 오디오 신호만을 입출력하는 포트와 비디오 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 비디오 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
사용자 인터페이스(170)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 디스플레이 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
디스플레이 장치(100)는 디스플레이를 포함하지 않는 장치로 구현되어, 별도의 디스플레이 장치로 영상 신호를 전송할 수 있다.
한편, 디스플레이 장치(100)는 마이크를 포함하는 외부 장치로부터 사용자 음성 신호를 수신할 수 있다. 이 경우, 수신된 사용자 음성 신호는 디지털 음성 신호일 수있으나, 구현 예에 따라 아날로그 음성 신호일 수 있다. 일 예로, 디스플레이 장치(100)는 Bluetooth 또는 Wi-Fi 등의 무선 통신 방법을 통해 사용자 음성 신호를 수신할 수 있다. 여기서, 외부 장치는 원격 제어 장치 또는 스마트폰으로 구현될 수 있다.
디스플레이 장치(100)는 외부 장치로부터 수신된 음성 신호의 음성 인식을 위해, 외부 서버로 해당 음성 신호를 전송할 수 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 음성 인식 서버로 수신된 디지털 음성 신호를 전송할 수 있다. 이 경우, 음성 인식 서버는 STT(Speech To Text)를 이용하여 디지털 음성 신호를 텍스트 정보로 변환할 수 있다. 이 경우, 음성 인식 서버는 텍스트 정보에 대응되는 검색을 수행하기 위하여 다른 서버 또는 디스플레이 장치로 텍스트 정보를 전송할 수 있으며, 경우에 따라서는 직접 검색을 수행하는 것도 가능하다.
한편, 본 개시의 다른 실시 예에 따른 디스플레이 장치(100)는 디지털 음성 신호에 직접 STT(Speech To Text) 기능을 적용하여 텍스트 정보로 변환하고 변환된 텍스트 정보를 외부 서버에 전송할 수도 있다.
스피커(미도시)는 입출력 인터페이스(160)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.
한편, 디스플레이 장치(100)는 마이크(미도시)를 더 포함할 수 있다. 마이크는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다.
마이크(미도시)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크는 디스플레이 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수 있다. 마이크는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다. 즉, 디스플레이 장치(100)에 구비된 마이크를 통해 아날로그 형태의 사용자 음성이 수신되면, 마이크는 사용자 음성을 디지털 신호로 변환하여 프로세서(140)로 전송할 수 있다. 이어서, 프로세서(140)는 디지털 신호에 대응되는 동작이 수행되도록 디스플레이 장치(100)를 제어할 수 있다. 한편, 이는 일 실시 예로서 이에 한정되는 것은 아니다.
다른 실시 예에 따라, 디스플레이 장치(100)는 마이크를 구비하는 외부 장치(미도시)로부터 사용자 음성을 수신할 수 있다. 예를 들어, 외부 장치는 마이크를 포함하는 원격 제어 장치(리모컨)로 구현될 수 있으나 이에 한정되는 것은 아니다. 여기서, 원격 제어 장치(리모컨)가 사용자의 아날로그 음성 신호를 마이크를 통해 수신하면, 원격 제어 장치(리모컨)는 아날로그 음성 신호를 디지털 음성 신호로 변환할 수 있다. 그리고 원격 제어 장치(리모컨)는 적외선, 와이파이 또는 블루투스 통신 방식 중 적어도 하나를 이용하여 변환된 디지털 음성 신호를 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 디지털 음성 신호가 외부 장치로부터 수신되면, 수신된 디지털 음성 신호에 기초하여 음성 인식을 수행하고, 음성 인식 결과에 기초하여 제어 동작을 수행할 수 있다. 다만 다른 실시 예에 따르면, 원격 제어 장치(리모컨)가 디지털 음성 신호에 대한 음성 인식 동작을 수행하고, 음성 인식 결과에 대응되는 정보를 디스플레이 장치(100)에 전송하는 형태로 구현될 수 있다. 여기서, 음성 인식 결과에 대응되는 정보는, 음성 인식 결과 그 자체 또는 음성 인식 결과에 대응되는 제어 명령 중 적어도 하나일 수 있다.
한편, 또 다른 실시 예에 따라, 외부 장치는 마이크를 포함하는 스마트폰으로 구현될 수 있다. 이 경우, 스마트폰은 기 설치된 원격 제어 기능을 수행하는 원격 제어 어플리케이션을 이용하여 디스플레이 장치(100)를 원격으로 제어할 수 있다.
스마트 폰은 사용자의 아날로그 음성 신호가 마이크를 통해 수신되면, 아날로그 음성 신호를 디지털 음성 신호로 변환할 수 있다. 이 경우, 스마트폰은 음성 인식 어플리케이션을 이용하여 디지털 음성 신호에 대한 음성 인식을 수행할 수 있다. 여기서, 음성 인식 어플리케이션은 상술한 원격 제어 어플리케이션과 동일하거나, 상이한 어플리케이션일 수 있다. 스마트폰은 디지털 음성 신호에 대한 음성 인식 인식이 수행되면, 음성 인식 결과에 기초하여 원격 제어 어플리케이션을 이용하여 디스플레이 장치(100)를 원격으로 제어할 수 있다. 다만 다른 실시 예에 따르면, 스마트 폰은 적외선, 와이파이 또는 블루투스 통신 방식 중 적어도 하나를 이용하여 변환된 디지털 음성 신호를 디스플레이 장치(100)로 전송할 수 있다. 이 경우, 디스플레이 장치(100)는 디지털 음성 신호가 외부 장치로부터 수신되면, 수신된 디지털 음성 신호에 기초하여 음성 인식을 수행하고, 음성 인식 결과에 기초하여 제어 동작을 수행할 수 있다.
리모콘 신호 수신부(미도시)는 리모콘으로부터 전송되는 리모콘 신호를 수신하기 위한 구성이다. 리모콘 신호 수신부는 IR(Infra Red) 신호를 입력받기 위한 수광부를 포함하는 형태로 구현될 수도 있고, 리모콘과 블루투스나 와이파이와 같은 무선 통신 프로토콜에 따라 통신을 수행하여 리모콘 신호를 수신하는 형태로 구현될 수도 있다. 예를 들어, 리모콘 신호 수신부는 무선 통신 칩을 포함할 수 있다. 여기서, 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution), WI-FI, Bluetooth 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 일 실시 예에 따른 디스플레이 장치(100)는 리모콘에 구비된 마이크를 통해 입력된 사용자 음성을 리모콘 신호 수신부를 통해 수신할 수 있다.
여기서, 리모콘 신호 수신부는 리모콘과 무선 통신을 수행할 수 있고, 사용자의 음성, 제어 명령 등을 리모콘으로부터 수신할 수 있다. 예를 들어, 디스플레이 장치(100)는 리모콘에 구비된 마이크를 통해 입력된 사용자의 발화 음성을 리모콘 신호 수신부를 통해 수신할 수 있다. 다만, 이에 한정되는 것은 아니며, 디스플레이 장치(100)는 리모콘 신호 수신부를 통해 다양한 유형의 통신 방식으로 리모콘과 통신을 수행할 수 있고, 사용자 음성, 제어 명령, 데이터, 다양한 유형의 신호 등을 리모콘과 송수신할 수 있음은 물론이다.
한편, 디스플레이 장치(100)는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도 3a 및 3b는 본 개시의 일 실시 예에 따른 복수의 인테리어 이미지를 설명하기 위한 도면이다.
도 3a를 참조하면, 디스플레이 장치(100)는 사용자에 의해 선택된 가전 또는 가구 중 적어도 하나와 동일한 타입에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 인테리어 이미지(10-1, 10-2, 10-3)를 수신할 수 있다. 일 예로, 사용자에 의해 선택된 가전이 A사의 55inch TV이면, 디스플레이 장치(100)는 A사의 55inch TV와 동일한 타입 즉, TV 이미지를 포함하는 복수의 인테리어 이미지(10-1, 10-2, 10-3)를 수신할 수 있다. 다른 예로, 사용자에 의해 선택된 가구가 B사의 옷장이면, 디스플레이 장치는 B사의 옷장과 동일한 타입 즉, 옷장을 포함하는 복수의 인테리어 이미지(10-1, 10-2, 10-3)를 수신할 수 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 복수의 인테리어 이미지(10-1, 10-2, 10-3) 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 수신할 수 있다. 일 예로, 제1 인테리어 이미지(10-1)에 포함된 제2 오브젝트 이미지 즉, 스탠드 조명(12-1) 및 테이블(12-2)에 대한 정보를 수신할 수 있다. 여기서, 제1 인테리어 이미지(10-1)은 제1 오브젝트 이미지(11-1)를 포함하고 있음은 물론이다.
또한, 디스플레이 장치(100)는 제2 인테리어 이미지(10-2)에 포함된 제2 오브젝트 이미지 즉, 테이블(12-3)에 대한 정보를 수신할 수 있다. 또한, 디스플레이 장치(100)는 제3 인테리어 이미지(10-3)에 포함된 제2 오브젝트 이미지 즉, 제1 액자 이미지(12-4) 및 제2 액자 이미지(12-5)에 대한 정보를 수신할 수 있다.
여기서 제2 오브젝트 이미지에 대한 정보는 식별된 오브젝트 이미지의 개수, 종류(또는, 타입), 크기, 색상 또는 인테리어 이미지 상의 위치 중 적어도 하나를 포함할 수 있다. 예를 들어, 제1 인테리어 이미지(10-1)에 포함된 제2 오브젝트 이미지 중 스탠드 조명(12-1)에 대한 정보는 스탠드 조명(12-1)의 종류, 색상, 크기 또는 제1 인테리어 이미지(10-1) 상의 위치 중 적어도 하나를 포함할 수 있다. 여기서, 스탠드 조명(12-1)의 제1 인테리어 이미지(10-1) 상의 위치는 (x, y) 좌표 정보를 의미할 수도 있다. 다른 예로, 스탠드 조명(12-1)의 위치는 제1 인테리어 이미지(10-1)에 포함된 제1 오브젝트 이미지(11-1)를 기준으로 스탠드 조명(12-1)이 이격된 거리, 왼쪽 또는 오른쪽에 위치하는지 등에 대한 정보를 의미할 수도 있음은 물론이다.
다른 예로, 제3 인테리어 이미지(10-3)에 포함된 제2 오브젝트 이미지에 대한 정보는 제1 및 제2 액자 이미지(12-4, 12-5)의 개수 정보를 포함할 수도 있다. 또한, 제1 및 제2 액자 이미지(12-4, 12-5) 각각이 제3 인테리어 이미지(10-3) 상에서 제1 오브젝트 이미지(11-3)를 기준으로 이격된 거리, 왼쪽 또는 오른쪽에 위치하는지 등에 대한 정보를 의미할 수도 있음은 물론이다.
도 3b를 참조하면, 디스플레이 장치(100)는 카메라(120)를 통해 촬영된 이미지에서 제3 오브젝트 이미지를 식별할 수 있다. 여기서, 제3 오브젝트 이미지는 실내 환경에 위치한 다양한 종류의 오브젝트에 대응되는 이미지를 의미할 수 있다. 예를 들어, 촬영된 이미지는 실내에 위치한 복수의 액자에 대응되는 제3 오브젝트 이미지(21-1, 21-2)를 포함할 수 있다. 한편, 이는 일 실시 예로서 디스플레이 장치(100)는 촬영된 이미지에 포함된, 실내에 위치한 다양한 유형의 오브젝트(예를 들어, 가구, 가전, 조명, 홈데코 용품 등)에 대응되는 제3 오브젝트 이미지를 식별할 수 있음은 물론이다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 제3 오브젝트 이미지 및 수신된 제2 오브젝트 이미지에 대한 정보에 기초하여 복수의 인테리어 이미지 중 하나를 식별할 수 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 복수의 인테리어 이미지(10-1, 10-2, 10-3) 각각에 포함된 제2 오브젝트 이미지의 개수, 크기 또는 색상 중 적어도 하나에 정보 및 촬영된 이미지에서 식별된 제3 오브젝트 이미지의 개수, 크기 또는 색상 중 적어도 하나에 기초하여 하나의 인테리어 이미지를 식별할 수 있다.
도 3a 및 3b를 참조하면, 복수의 인테리어 이미지(10-1, 10-2, 10-3) 중 제3 인테리어 이미지(10-3)는 제1 및 제2 액자 이미지(12-4, 12-5)에 대한 정보 및 촬영된 이미지에서 식별된 제3 오브젝트 이미지(21-1, 21-2)에 기초하여 제3 인테리어 이미지(10-3)와 촬영된 이미지 간 유사도를 식별할 수 있다.
예를 들어, 디스플레이 장치(100)는 제3 인테리어 이미지(10-3)에 포함된 제2 오브젝트 이미지에 대한 정보에 따라 제1 및 제2 액자 이미지(12-4, 12-5) 2개, 제1 및 제2 액자 이미지(12-4, 12-5) 각각의 크기, 색상, 위치에 대한 정보를 획득할 수 있다. 이어서, 디스플레이 장치(100)는 촬영된 이미지에서 식별된 제3 오브젝트 이미지(21-1, 21-2)에 기초하여 실내 환경에 배치된 액자 2개 각각의 크기. 색상, 위치에 대한 정보를 획득할 수 있다. 이어서, 디스플레이 장치(100)는 획득된 정보에 기초하여 제3 인테리어 이미지(10-3)와 촬영된 이미지 간 유사도를 식별할 수 있다. 이와 같은 방법으로 디스플레이 장치(100)는 제1 인테리어 이미지(10-1)와 촬영된 이미지 간 유사도를 식별하고, 제2 인테리어 이미지(10-2)와 촬영된 이미지 간 유사도를 식별할 수 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 인테리어 이미지에 포함된 제2 오브젝트 이미지의 타입 및 개수와, 촬영된 이미지에 포함된 제3 오브젝트 이미지의 타입 및 개수를 우선적으로 판단하여 유사도를 식별할 수 있다. 도 3a 및 3b를 참조하면, 디스플레이 장치(100)는 제3 인테리어 이미지(10-3)에 포함된 제2 오브젝트 이미지에 대한 정보에 따른 제1 및 제2 액자 이미지(12-4, 12-5) 2개와 촬영된 이미지에 포함된 제3 오브젝트 이미지(21-1, 21-2)에 따른 액자 2개 간의 유사도에 따라, 복수의 인테리어 이미지(10-1, 10-2, 10-3) 중 제3 인테리어 이미지를 식별(또는, 선택)할 수 있다.
이어서, 디스플레이 장치(100)는 식별된 인테리어 이미지에서 제1 오브젝트 이미지를 사용자에 의해 선택된 가전 또는 가구 중 적어도 하나에 대응되는 제4 오브젝트 이미지(22)로 대체할 수 있다. 일 예로, 사용자에 의해 선택된 가전이 A사의 65inch TV이면, 디스플레이 장치(100)는 식별된 제3 인테리어 이미지(10-3)에서 TV 이미지를 제거하고, A사의 65inch TV에 대응되는 TV 이미지를 제거된 영역에 추가할 수 있다. 또한, 디스플레이 장치(100)는 식별된 인테리어 이미지에 포함된 제2 오브젝트 이미지를 제3 오브젝트 이미지(21-1, 21-2)로 대체할 수 있다. 예를 들어, 식별된 제3 인테리어 이미지에 포함된 제1 및 제2 액자 이미지(12-4. 12-5)를 제거하고, 촬영된 이미지에서 식별된 제3 오브젝트 이미지(예를 들어, 2개의 액자 이미지, 21-1, 21-2)를 제거된 영역에 추가할 수 있다. 디스플레이 장치(100)는 식별된 인테리어 이미지에서 제1 오브젝트 이미지(11-3)를 사용자에 의해 선택된 가전 또는 가구 중 적어도 하나에 대응되는 제4 오브젝트 이미지(22)로 대체하고, 식별된 인테리어 이미지에 포함된 제2 오브젝트 이미지(12-4, 12-5)를 제3 오브젝트 이미지(21-1, 21-2)로 대체하여 획득된 이미지(20)를 디스플레이할 수 있다.
도 3b를 참조하면, 실내에 구비된 액자의 위치와 디스플레이 장치(100)를 통해 제공되는 획득된 이미지(20) 상에 액자의 위치가 상이할 수 있다. 디스플레이 장치(100)는 식별된 인테리어 이미지를 배경으로 하되, 사용자에 의해 선택된 가구 또는 가전을 추가하고, 실내 환경에 구비된 가구, 가전, 또는 홈 데코 용품 등을 추가한 이미지를 획득할 수 있다. 일 예로, 인테리어 이미지에 포함된 가구, 가전, 또는 홈 데코 용품의 위치는 그대로 유지하고, 형상, 색상 또는 크기를 카메라(110)를 통해 촬영된 이미지에서 획득된 가구, 가전, 또는 홈 데코 용품의 형상, 색상 또는 크기로 대체할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 유사도를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 촬영된 이미지에서 식별된 제3 오브젝트 이미지(21-1, 21-2, 21-3) 중 적어도 하나에 대한 선택 명령이 입력되면, 제3 오브젝트 이미지 중 선택 명령에 대응되는 오브젝트 이미지(21-3)와 복수의 인테리어 이미지(10-1, 10-2, 10-3) 각각에 포함된 제2 오브젝트 이미지와의 유사도를 우선적으로 판단하여, 복수의 인테리어 이미지(10-1, 10-2, 10-3) 각각과 촬영된 이미지 간 유사도를 식별할 수 있다.
도 4를 참조하면, 촬영된 이미지에서 식별된 제3 오브젝트 이미지(21-1, 21-2, 21-3)로 액자 이미지(21-1, 21-2)와 화분 이미지(21-3)가 식별될 수 있다. 여기서, 화분 이미지(21-3)에 대한 사용자의 선택 명령이 입력되면, 디스플레이 장치(100)는 선택된 화분 이미지(21-3)와 복수의 인테리어 이미지(10-1, 10-2, 10-3) 각각에 포함된 제2 오브젝트 이미지와의 유사도를 우선적으로 판단할 수 있다. 예를 들어, 화분 이미지(21-3)에 대응되는 실내에 배치된 화분은 사용자에 의해 이동이 어렵거나, 실내 인테리어에 중요하다고 판단되는 오브젝트일 수 있다. 다른 예로, 기둥, 책장(built-in bookcases)과 같이 반드시 고려되어야 하는 오브젝트에 대응되는 오브젝트 이미지에 대한 사용자의 선택 명령이 입력되면, 디스플레이 장치(100)는 선택 명령에 대응되는 오브젝트 이미지(예를 들어, 화분 이미지(21-3))와 인테리어 이미지에 포함된 제2 오브젝트 이미지와의 유사도를 우선적으로 판단할 수 있다. 이어서, 인테리어 이미지에 포함된 제2 오브젝트 이미지를 제3 오브젝트 이미지로 대체할 수 있다.
예를 들어, 도 4를 참조하면, 디스플레이 장치(100)는 식별된 인테리어 이미지에 포함된 제2 오브젝트 이미지(예를 들어, 화분 이미지)를 사용자에 의해 선택된 오브젝트 이미지(예를 들어, 화분 이미지(21-3))로 대체할 수 있다.
한편, 이는 일 실시 예로서, 사용자에 의해 선택된 오브젝트 이미지가 복수이면, 선택된 복수의 오브젝트 이미지를 우선적으로 고려하여 유사도를 판단할 수도 있음은 물론이다. 다른 예로, 사용자에 의해 선택된 복수의 오브젝트 이미지 중 우선 순위가 존재할 수 있으며, 디스플레이 장치(100)는 선택된 복수의 오브젝트 이미지 중 우선 순위가 높은 순서대로 우선적으로 고려하여 인테리어 이미지와 촬영된 이미지 간 유사도를 판단할 수도 있다.
도 5는 본 개시의 일 실시 예에 따른 추천 오브젝트 이미지를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 복수의 인테리어 이미지 중 하나가 식별되면, 식별된 인테리어 이미지에서 제1 오브젝트 이미지를 제거하고, 식별된 인테리어 이미지의 환경 정보에 기초하여 사용자에 의해 선택된 가전 또는 가구 중 적어도 하나와 동일한 타입에 대응되는 추천 오브젝트 이미지를 제거된 영역에 추가하여 획득된 이미지를 디스플레이 할 수 있다.
예를 들어, 디스플레이 장치(100)는 사용자에 의해 선택된 가전이 A사의 55inch TV이면, 식별된 인테리어 이미지에서 TV 이미지를 제거하고, 식별된 인테리어 이미지의 환경 정보에 기초하여 TV에 대응되는 추천 오브젝트 이미지를 제거된 영역에 추가할 수 있다. 일 예로, 추천 오브젝트 이미지는 A사의 65inch TV일 수 있다.
디스플레이 장치(100)는 사용자에 의해 선택된 가전에 대응되는 제4 오브젝트 이미지를 식별된 인테리어 이미지에 추가하는 외에도, 식별된 인테리어 이미지의 환경 정보에 기초하여 추천 오브젝트 이미지를 제공할 수 도 있음은 물론이다.
다른 예로, 사용자에 의해 선택된 가전이 A사의 검은색 에어컨이면, 디스플레이 장치(100)는 식별된 인테리어 이미지에서 에어컨 이미지를 제거하고 제거된 영역에 A사의 검은색 에어컨 이미지를 추가하여 제공할 수 있다.
다만, 이에 한정되는 것은 아니고, 디스플레이 장치(100)는 에어컨 이미지가 제거된 인테리어 이미지의 환경 정보에 따라 A사의 흰색 에어컨 이미지를 추천 오브젝트 이미지(30)로 식별하고, 식별된 추천 오브젝트 이미지(30)를 인테리어 이미지에 추가하여 이미지(20)를 획득할 수 있다.
또 다른 예로, 사용자에 의해 선택된 가구가 B 사의 와인색 책장이면, 디스플레이 장치(100)는 식별된 인테리어 이미지에서 책장 이미지를 제거하고, 식별된 인테리어 이미지의 환경 정보에 기초하여 제거된 영역에 B 사의 흰색 책장 이미지를 추가하여 제공할 수도 있다.
디스플레이 장치(100)는 사용자에 의해 선택된 가전 또는 가구에 대응되는 제4 오브젝트 이미지를 인테리어 이미지에 추가할 수도 있고, 사용자에 의해 선택된 가전 또는 가구의 타입에 대응되는 제4 오브젝트 이미지를 인테리어 이미지에 추가할 수도 있음은 물론이다.
도 6은 본 개시의 일 실시 예에 따른 환경 정보를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 획득된 이미지에 촬영된 이미지의 환경 정보를 렌더링하여 제공할 수 있다.
예를 들어, 디스플레이 장치(100)는 서버로부터 수신된 인테리어 이미지(10)를 배경으로 하되, 사용자에 의해 선택된 TV 이미지(22) 및 실내 환경에 구비된 액자에 대응되는 제3 오브젝트 이미지(21-1, 22-2)가 추가된 이미지를 획득할 수 있다. 이어서, 획득된 이미지의 배경을 촬영된 이미지의 환경 정보로 변환할 수 있다. 예를 들어, 인테리어 이미지(10)의 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보가 촬영된 이미지의 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보와 상이한 경우를 상정할 수 있다. 디스플레이 장치(100)는 인테리어 이미지(10)의 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 촬영된 이미지의 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나로 대체할 수 있다.
도 6을 참조하면, 인테리어 이미지(10)는 벽돌 모양의 벽지를 배경으로 하고 있으며, 실내 환경은 빗금 모양의 벽지를 포함하고 있는 경우를 상정할 수 있다. 디스플레이 장치(100)는 도 3b에 도시된 바와 같이 인테리어 이미지(10)의 배경에 기초하되, 오브젝트 이미지를 제거 또는 추가한 이미지를 제공할 수 있다. 다른 예로, 도 6에 도시된 바와 같이 촬영된 이미지의 배경에 기초하되, 오브젝트 이미지를 제거 또는 추가한 이미지를 제공할 수도 있음은 물론이다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 증강 현실(augmented reality, AR)로 획득된 이미지를 제공할 수 있다. 예를 들어, 카메라(120)를 통해 수신되는 라이브 뷰 이미지에서 실내 환경에 배치된 오브젝트에 대응되는 오브젝트 이미지를 식별하고, 사용자에 의해 선택된 가전을 포함하는 복수의 인테리어 이미지를 획득할 수 있다. 이어서, 획득된 복수의 인테리어 이미지에서 사용자에 의해 선택된 가전의 타입과 동일한 타입의 오브젝트 이미지를 제거할 수 있다. 예를 들어, 디스플레이 장치(100)는 복수의 인테리어 이미지 각각에서 사용자에 의해 선택된 TV 타입의 오브젝트 이미지를 제거할 수 있다. 이어서, 디스플레이 장치(100)는 복수의 인테리어 이미지 중 실내 환경이 촬영된 라이브 뷰 이미지와 유사도가 임계 값 이상인 인테리어 이미지를 식별할 수 있다. 식별된 인테리어 이미지에 사용자에 의해 선택된 가전에 대응되는 오브젝트 이미지(예를 들어, TV 이미지)를 추가하고, 나머지 오브젝트 이미지는 실내 환경이 촬영된 라이브 뷰 이미지에서 식별된 오브젝트 이미지로 대체할 수 있다. 디스플레이 장치(100)는 실내 환경에 배치된 오브젝트(예를 들어, 가전, 가구, 홈 데코 용품 등)의 위치가 변경되고, 선택된 가전 또는 가구(예를 들어, TV 또는 테이블)가 배치된 가상의 이미지를 생성하여 제공할 수 있다.
도 6을 참조하면, 디스플레이 장치(100)는 복수의 인테리어 이미지 중 실내 환경이 촬영된 이미지에 포함된 오브젝트 이미지(21-1, 21-2, 21-3)에 기초하여 유사도가 임계 값 이상인 인테리어 이미지(10)를 식별할 수 있다. 도 6에 도시된 바와 같이, 식별된 인테리어 이미지(10)는 동일한 타입의 오브젝트 이미지(12-1 12-2 12-3)를 포함할 수 있다. 디스플레이 장치(100)는 오브젝트 이미지의 개수, 타입을 우선적으로 판단하여 복수의 인테리어 이미지 중 어느 하나를 식별할 수도 있다. 예를 들어, 복수의 인테리어 이미지 중 액자 2개, 테이블 1개를 포함하는 인테리어 이미지를 우선적으로 식별할 수 있다. 이어서, 액자 2개 각각의 크기 및 테이블의 크기에 기초하여 인테리어 이미지를 식별할 수 있다. 다만, 이는 일 실시 예에 불과하며 다양한 유형의 이미지 검색 API(Application Programming Interface), 이미지 검색 알고리즘 등을 이용하여 복수의 인테리어 이미지 중 촬영된 이미지와 유사도가 임계 값 이상인 적어도 하나의 인테리어 이미지를 식별할 수도 있음은 물론이다.
도 7은 본 개시의 다른 실시 예에 따른 리스트를 설명하기 위한 도면이다.
도 7에 따르면, 디스플레이 장치(100)는 가전 또는 가구 중 적어도 하나의 식별 정보 또는 설치 타입 중 적어도 하나를 포함하는 리스트(40)를 디스플레이할 수 있다. 예를 들어, 디스플레이 장치(100)는 가전의 식별 정보 또는 가전의 설치 타입 중 적어도 하나를 포함하는 리스트(40)를 디스플레이할 수 있다. 여기서, 가전의 식별 정보는 가전에 대한 타입, 스펙 정보(Product Specification), 제품명, 특징, 제조사 명칭, 규격 등을 포함할 수 있다. 가전의 설치 타입은 가전의 설치 방식을 의미할 수 있다. 예를 들어, TV는 스탠드형 또는 벽걸이형으로 구분될 수 있고, 에어컨은 스탠드형, 벽걸이형 또는 시스템형 등으로 구분될 수 있다. 디스플레이 장치(100)는 가전의 식별 정보 또는 설치 타입 중 적어도 하나를 포함하는 리스트(40)를 디스플레이할 수 있다. 이어서, 리스트(40)에 대한 사용자의 선택 명령이 입력되면, 디스플레이 장치(100)는 선택 명령에 따른 가전에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 인테리어 이미지를 수신할 수 있다.
다른 예로, 가구의 식별 정보는 가구에 대한 타입, 스펙 정보(Product Specification), 제품명, 특징, 제조사 명칭, 규격, 색상, 크기, 수납 공간의 유무 등을 포함할 수 있다. 가구의 설치 타입은 가구의 설치 방식을 의미할 수 있다. 예를 들어, 가구의 설치에 요구되는 여유 공간에 대한 정보 등을 포함할 수 있다. 디스플레이 장치(100)는 가구의 식별 정보 또는 설치 타입 중 적어도 하나를 포함하는 리스트(40)를 디스플레이할 수 있다. 이어서, 리스트(40)에 대한 사용자의 선택 명령이 입력되면, 디스플레이 장치(100)는 선택 명령에 따른 가구에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 인테리어 이미지를 수신할 수 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 서버로부터 리스트(40)를 수신하고, 수신된 리스트(40)를 디스플레이할 수도 있다. 또한, 디스플레이 장치(100)는 사용자에 의해 키워드가 입력되면, 해당 키워드에 대한 검색 결과에 기초하여 리스트(40)를 생성 및 디스플레이할 수도 있다. 예를 들어, 사용자에 의해 TV가 입력되면, 디스플레이 장치(100)는 A사의 55 inch TV, A사의 Curved TV, A사의 Wall Mount TV 등을 리스트(40)로 생성 및 디스플레이할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 구매 사이트 링크를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 획득된 이미지에서 촬영된 이미지에 포함되어 있지 않은 오브젝트 이미지가 식별되면, 식별된 오브젝트 이미지를 나머지 오브젝트 이미지와 상이하게 디스플레이할 수 있다.
일 예로, 디스플레이 장치(100)는 제1 인테리어 이미지를 배경으로 하되, 사용자에 의해 선택된 가구 또는 가전이 추가되고, 실내 환경에 구비된 가구, 가전, 또는 홈 데코 용품 등이 추가된 이미지를 획득할 수 있다. 이어서, 디스플레이 장치(100)는 배경이 된 제1 인테리어 이미지에는 포함되어 있으나, 촬영된 이미지에는 포함되어 있지 않은 오브젝트 이미지를 식별할 수 있다. 도 8을 참조하면, 테이블 이미지(50)는 제1 인테리어 이미지에는 포함되어 있으나, 촬영된 이미지에는 포함되어 있지 않은 오브젝트 이미지일 수 있다. 실내 환경에 테이블이 배치되지 않은 경우를 상정할 수 있다.
디스플레이 장치(100)는 획득된 이미지에서 테이블 이미지(50)를 식별할 수 있고, 식별된 테이블 이미지를 나머지 오브젝트 이미지와 상이하게 디스플레이할 수 있다. 이어서, 식별된 오브젝트 이미지에 식별된 오브젝트 이미지에 대응되는 제품의 구매 사이트를 링크시켜 제공할 수 있다. 상이하게 디스플레이된 오브젝트 이미지에 대해 선택 명령이 입력되면, 디스플레이 장치(100)는 오브젝트 이미지에 대응되는 제품의 구매 사이트를 디스플레이할 수 있다.
예를 들어, 사용자에게 획득된 이미지가 제공되는 경우를 상정할 수 있다. 도 8의 테이블 이미지(50)처럼, 실내 환경에는 배치되어 있지 않으나 인테리어 이미지에만 포함된 오브젝트 이미지가 획득된 이미지를 통해 제공될 수 있다. 테이블 이미지(50)에 대한 선택 명령이 입력되면, 디스플레이 장치(100)는 테이블 이미지(50)에 대응되는 테이블 구매 사이트를 제공할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 사용자에 의해 선택된 오브젝트와 동일한 타입에 대응되는 제1 오브젝트 이미지를 포함하는 복수의 이미지 및 복수의 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 수신한다(S910).
이어서, 촬영된 이미지에서 식별된 제3 오브젝트 이미지 및 수신된 제2 오브젝트 이미지에 대한 정보에 기초하여 복수의 이미지 중 하나를 식별한다(S920).
이어서, 식별된 이미지, 사용자에 의해 선택된 오브젝트에 대응되는 제4 오브젝트 이미지 및 제3 오브젝트 이미지에 기초하여 획득된 이미지를 디스플레이한다(S930).
여기서, 획득된 이미지를 디스플레이하는 S930 단계는, 식별된 이미지에서 제1 오브젝트 이미지를 사용자에 의해 선택된 오브젝트에 대응되는 제4 오브젝트 이미지로 대체하고, 식별된 이미지에 포함된 제2 오브젝트 이미지를 제3 오브젝트 이미지로 대체하여 이미지를 획득한다할 수 있다.
여기서, 수신된 제2 오브젝트 이미지에 대한 정보는, 복수의 이미지 각각에 포함된 제2 오브젝트 이미지의 개수, 크기 또는 색상 중 적어도 하나에 대한 정보를 포함할 수 있다.
본 개시의 일 실시 예에 따른 복수의 이미지 중 하나를 식별하는 S920 단계는, 촬영된 이미지에서 식별된 제3 오브젝트 이미지의 개수, 크기 또는 색상 중 적어도 하나에 기초하여 복수의 이미지 각각과 촬영된 이미지 간 유사도를 식별하고, 유사도가 임계 값 이상인 이미지를 식별할 수 있다.
또한, 복수의 이미지 중 하나를 식별하는 S920 단계는, 복수의 이미지 각각의 환경 정보와 촬영된 이미지의 환경 정보에 기초하여 유사도를 식별할 수 있다. 여기서, 환경 정보는, 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함할 수 있다.
또한, 복수의 이미지 중 하나를 식별하는 S920 단계는, 촬영된 이미지에서 식별된 제3 오브젝트 이미지 중 적어도 하나에 대한 선택 명령이 입력되면, 제3 오브젝트 이미지 중 선택 명령에 대응되는 오브젝트 이미지와 복수의 이미지 각각에 포함된 제2 오브젝트 이미지와의 유사도를 우선적으로 판단하여, 복수의 이미지 각각과 촬영된 이미지 간 유사도를 식별할 수 있다.
본 개시의 일 실시 예에 따른 제어 방법은, 복수의 이미지 중 식별된 이미지의 환경 정보에 기초하여 추천된 사용자에 의해 선택된 오브젝트와 동일한 타입의 추천 오브젝트 이미지를 식별된 이미지에서 제1 오브젝트 이미지가 제거된 영역에 추가하여 이미지를 획득하는 단계를 포함할 수 있다.
또한, 획득된 이미지를 디스플레이하는 S930 단계는, 획득된 이미지에 촬영된 이미지의 환경 정보를 처리하여 디스플레이할 수 있다.
본 개시의 일 실시 예에 따른 제어 방법은 오브젝트의 식별 정보 또는 설치 타입 중 적어도 하나를 포함하는 리스트를 디스플레이하는 단계를 포함할 수 있다.
또한, 수신하는 S910 단계는, 실내 이미지 및 실내 이미지에 포함된 오브젝트에 대한 정보를 크롤링하여 저장하는 서버로부터, 복수의 이미지 및 복수의 이미지 각각에 포함된 제2 오브젝트 이미지에 대한 정보를 수신할 수 있다.
본 개시의 일 실시 예에 따른 이미지를 디스플레이하는 S930 단계는, 획득된 이미지에서 촬영된 이미지에 포함되어 있지 않은 오브젝트 이미지가 식별되면, 식별된 오브젝트 이미지를 나머지 오브젝트와 구별되게 디스플레이하는 단계 및 식별된 오브젝트 이미지에 식별된 오브젝트 이미지에 대응되는 제품의 구매 사이트를 링크시켜 제공하는 단계를 포함할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 통신 인터페이스
120: 카메라 130: 디스플레이
140: 프로세서

Claims (20)

  1. 통신 인터페이스;
    카메라;
    디스플레이; 및
    제품의 타입을 선택하는 사용자 입력을 수신하고,
    각각이 상기 선택된 제품의 타입에 대응되는 제1 오브젝트를 포함하는 복수의 이미지 및 상기 복수의 이미지 각각에 포함된 제2 오브젝트를 식별하기 위한 상기 복수의 이미지에 대한 정보를 수신하고,
    상기 카메라를 통해 촬영된 이미지를 획득하고,
    상기 촬영된 이미지에 포함된 제3 오브젝트를 식별하고,
    상기 복수의 이미지에 대한 정보 및 상기 제3 오브젝트에 대한 정보에 기초하여 상기 복수의 이미지 중 하나를 식별하고,
    상기 식별된 이미지에 포함된 상기 제1 오브젝트는 상기 선택된 제품의 타입을 나타내는 제4 오브젝트로 대체하고, 상기 식별된 이미지에 포함된 상기 제2 오브젝트는 상기 촬영된 이미지에 포함된 상기 제3 오브젝트로 대체하여 상기 식별된 이미지에 기초하여 획득된 이미지를 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 디스플레이 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 복수의 이미지에 대한 정보는,
    상기 복수의 이미지 각각에 포함된 상기 제2 오브젝트의 개수, 크기 또는 색상 중 적어도 하나에 대한 정보를 포함하고,
    상기 프로세서는,
    상기 촬영된 이미지에서 식별된 상기 제3 오브젝트의 개수, 크기 또는 색상 중 적어도 하나에 기초하여 상기 복수의 이미지 각각과 상기 촬영된 이미지 간 유사도를 식별하고,
    상기 유사도가 임계 값 이상인 이미지를 식별하는, 디스플레이 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지 각각의 환경 정보와 상기 촬영된 이미지의 환경 정보에 기초하여 상기 유사도를 식별하고,
    상기 환경 정보는,
    배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함하는, 디스플레이 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    상기 촬영된 이미지에서 식별된 제3 오브젝트 중 적어도 하나에 대한 선택 명령이 입력되면, 상기 선택 명령에 대응되는 상기 제3 오브젝트와 상기 복수의 이미지 각각에 포함된 상기 제2 오브젝트와의 유사도를 우선적으로 판단하여 상기 복수의 이미지 각각과 상기 촬영된 이미지 간 유사도를 식별하는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지 중 상기 식별된 이미지의 환경 정보에 기초하여 상기 선택된 제품의 타입에 대응되는 추천 오브젝트를 획득하고,
    상기 식별된 이미지에서 상기 제1 오브젝트가 제거된 영역에 상기 추천 오브젝트를 추가하여 획득된 이미지를 디스플레이하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 이미지에 상기 촬영된 이미지의 환경 정보를 처리하여 상기 디스플레이를 통해 제공하고,
    상기 촬영된 이미지의 환경 정보는,
    상기 촬영된 이미지의 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함하는, 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자 입력에 따라 선택 가능한 상기 제품의 타입의 식별 정보 또는 설치 타입 중 적어도 하나를 포함하는 리스트를 디스플레이하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    실내 이미지 및 상기 실내 이미지에 포함된 오브젝트에 대한 정보를 크롤링하여 저장하는 서버로부터, 상기 복수의 이미지 및 상기 복수의 이미지에 대한 정보를 수신하는, 디스플레이 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 이미지에서 상기 촬영된 이미지에 포함되어 있지 않은 오브젝트가 식별되면, 상기 식별된 오브젝트를 나머지 오브젝트와 구별되게 디스플레이하고,
    상기 식별된 오브젝트에 상기 식별된 오브젝트에 대응되는 웹사이트 관련 정보를 제공하는, 디스플레이 장치.
  11. 디스플레이 장치의 제어 방법에 있어서,
    제품의 타입을 선택하는 사용자 입력을 수신하는 단계;
    각각이 상기 선택된 제품의 타입에 대응되는 제1 오브젝트를 포함하는 복수의 이미지 및 상기 복수의 이미지 각각에 포함된 제2 오브젝트를 식별하기 위한 상기 복수의 이미지에 대한 정보를 수신하는 단계;
    카메라에 의해 촬영된 이미지를 획득하는 단계;
    상기 촬영된 이미지에 포함된 제3 오브젝트를 식별하는 단계;
    상기 복수의 이미지에 대한 정보 및 상기 제3 오브젝트에 대한 정보에 기초하여 상기 복수의 이미지 중 하나를 식별하는 단계; 및
    상기 식별된 이미지에 포함된 상기 제1 오브젝트는 상기 선택된 제품의 타입을 나타내는 제4 오브젝트로 대체하고, 상기 식별된 이미지에 포함된 상기 제2 오브젝트는 상기 촬영된 이미지에 포함된 상기 제3 오브젝트로 대체하여 상기 식별된 이미지에 기초하여 획득된 이미지를 디스플레이하는 단계;를 포함하는 제어 방법.
  12. 삭제
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 복수의 이미지에 대한 정보는,
    상기 복수의 이미지 각각에 포함된 상기 제2 오브젝트의 개수, 크기 또는 색상 중 적어도 하나에 대한 정보를 포함하고,
    상기 복수의 이미지 중 하나를 식별하는 단계는,
    상기 촬영된 이미지에서 식별된 상기 제3 오브젝트의 개수, 크기 또는 색상 중 적어도 하나에 기초하여 상기 복수의 이미지 각각과 상기 촬영된 이미지 간 유사도를 식별하고, 상기 유사도가 임계 값 이상인 이미지를 식별하는 단계;를 포함하는, 제어 방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서,
    상기 복수의 이미지 중 하나를 식별하는 단계는,
    상기 복수의 이미지 각각의 환경 정보와 상기 촬영된 이미지의 환경 정보에 기초하여 상기 유사도를 식별하는 단계;를 포함하고,
    상기 환경 정보는,
    배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함하는, 제어 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서,
    상기 복수의 이미지 중 하나를 식별하는 단계는,
    상기 촬영된 이미지에서 식별된 제3 오브젝트 중 적어도 하나에 대한 선택 명령이 입력되면, 상기 선택 명령에 대응되는 상기 제3 오브젝트와 상기 복수의 이미지 각각에 포함된 상기 제2 오브젝트와의 유사도를 우선적으로 판단하여 상기 복수의 이미지 각각과 상기 촬영된 이미지 간 유사도를 식별하는, 제어 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 제어 방법은,
    상기 복수의 이미지 중 상기 식별된 이미지의 환경 정보에 기초하여 상기 선택된 제품의 타입에 대응되는 추천 오브젝트를 획득하는 단계; 및
    상기 식별된 이미지에서 상기 제1 오브젝트가 제거된 영역에 상기 추천 오브젝트를 추가하여 이미지를 획득하는 단계;를 더 포함하는, 제어 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 획득된 이미지를 디스플레이하는 단계는,
    상기 획득된 이미지에 상기 촬영된 이미지의 환경 정보를 처리하여 디스플레이하는 단계;를 포함하고,
    상기 촬영된 이미지의 환경 정보는,
    상기 촬영된 이미지의 배경 색상 정보, 밝기 정보 또는 공간의 크기 정보 중 적어도 하나를 포함하는, 제어 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 사용자 입력에 따라 선택 가능한 상기 제품의 타입의 식별 정보 또는 설치 타입 중 적어도 하나를 포함하는 리스트를 디스플레이하는 단계;를 더 포함하는, 제어 방법.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 복수의 이미지에 대한 정보를 수신하는 단계는,
    실내 이미지 및 상기 실내 이미지에 포함된 오브젝트에 대한 정보를 크롤링하여 저장하는 서버로부터, 상기 복수의 이미지 및 상기 복수의 이미지에 대한 정보를 수신하는 단계;를 포함하는, 제어 방법.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 디스플레이하는 단계는,
    상기 획득된 이미지에서 상기 촬영된 이미지에 포함되어 있지 않은 오브젝트가 식별되면, 상기 식별된 오브젝트를 나머지 오브젝트와 구별되게 디스플레이하는 단계; 및
    상기 식별된 오브젝트에 상기 식별된 오브젝트에 대응되는 웹사이트 관련 정보를 제공하는 단계;를 포함하는, 제어 방법.
KR1020180149326A 2018-11-28 2018-11-28 디스플레이 장치 및 이의 제어 방법 KR102629330B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180149326A KR102629330B1 (ko) 2018-11-28 2018-11-28 디스플레이 장치 및 이의 제어 방법
US16/687,065 US11232306B2 (en) 2018-11-28 2019-11-18 Display apparatus and control method thereof
CN201911171816.XA CN111246264A (zh) 2018-11-28 2019-11-25 显示设备及其控制方法
EP19211838.8A EP3660632A1 (en) 2018-11-28 2019-11-27 Display apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180149326A KR102629330B1 (ko) 2018-11-28 2018-11-28 디스플레이 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200063531A KR20200063531A (ko) 2020-06-05
KR102629330B1 true KR102629330B1 (ko) 2024-01-26

Family

ID=68699353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180149326A KR102629330B1 (ko) 2018-11-28 2018-11-28 디스플레이 장치 및 이의 제어 방법

Country Status (4)

Country Link
US (1) US11232306B2 (ko)
EP (1) EP3660632A1 (ko)
KR (1) KR102629330B1 (ko)
CN (1) CN111246264A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102581146B1 (ko) * 2018-11-23 2023-09-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN112037497B (zh) * 2020-09-16 2022-04-15 深圳市爱尚智联科技有限公司 一种集蓝牙ble和红外于一体的遥控组件及遥控方法
US20230306652A1 (en) * 2022-03-11 2023-09-28 International Business Machines Corporation Mixed reality based contextual evaluation of object dimensions
US20240098378A1 (en) * 2022-09-15 2024-03-21 Snap-On Incorporated Systems, Devices, and Methods for User Selectable Temperature Scale Bandwidth for Thermography

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20160364793A1 (en) 2011-10-27 2016-12-15 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US20180121988A1 (en) 2016-10-31 2018-05-03 Adobe Systems Incorporated Product recommendations based on augmented reality viewpoints
US20180165370A1 (en) 2015-06-16 2018-06-14 My EyeSpy Pty Ltd Methods and systems for object recognition

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007045834B4 (de) 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US8768070B2 (en) * 2008-06-27 2014-07-01 Nokia Corporation Method, apparatus and computer program product for providing image modification
US9014510B2 (en) * 2012-06-29 2015-04-21 Intellectual Ventures Fund 83 Llc Method for presenting high-interest-level images
EP2953099B1 (en) * 2013-02-01 2019-02-13 Sony Corporation Information processing device, terminal device, information processing method, and programme
KR101483851B1 (ko) 2013-04-03 2015-01-19 목원대학교 산학협력단 홈 컨트롤을 위한 유비쿼터스 가상 현실(uvr) 기반의 저작 장치 및 방법
KR20140145217A (ko) 2013-05-30 2014-12-23 (주)브이알엑스 공간정보를 이용한 3차원 가상 모델링 시스템 및 그 방법
KR102317386B1 (ko) * 2014-01-10 2021-10-27 삼성전자주식회사 전자 장치 및 그 디스플레이 방법
WO2015142071A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
US9639957B2 (en) * 2014-06-12 2017-05-02 A9.Com, Inc. Recommendations utilizing visual image analysis
KR20160033495A (ko) 2014-09-18 2016-03-28 서강대학교산학협력단 증강현실을 이용한 가구 배치 장치 및 방법
US9881024B1 (en) * 2014-10-30 2018-01-30 Allscripts Software, Llc Mobile healthcare application for facilitating color determination
DE102015000616A1 (de) * 2015-01-16 2016-07-21 Oschmann Comfortbetten GmbH System und Verfahren zum Erkennen eines Möbelstücks und zum Erzeugen einer Darstellung dieses Möbelstücks und/oder einer virtuellen Darstellung wenigstens eines Merkmals desselben und/oder wenigstens eines Merkmal-Auswahlfelds für virtuelle Darstellungen von Merkmalen desselben
US9524435B2 (en) * 2015-03-20 2016-12-20 Google Inc. Detecting the location of a mobile device based on semantic indicators
KR20170015622A (ko) * 2015-07-29 2017-02-09 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
EP3324270A1 (en) 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment
KR102424354B1 (ko) * 2016-11-16 2022-07-25 삼성전자주식회사 공간 내에 오브젝트를 배치하기 위한 전자 장치 및 방법
US20180336732A1 (en) * 2017-05-16 2018-11-22 Michael J. Schuster Augmented reality task identification and assistance in construction, remodeling, and manufacturing
CN107993289B (zh) * 2017-12-06 2021-04-13 重庆欧派信息科技有限责任公司 基于ar增强现实技术的装修系统
US11113883B2 (en) * 2017-12-22 2021-09-07 Houzz, Inc. Techniques for recommending and presenting products in an augmented reality scene
CN108596971B (zh) * 2018-04-27 2024-03-19 北京小米移动软件有限公司 图像显示方法及装置
US10956967B2 (en) * 2018-06-11 2021-03-23 Adobe Inc. Generating and providing augmented reality representations of recommended products based on style similarity in relation to real-world surroundings

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20160364793A1 (en) 2011-10-27 2016-12-15 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US20180165370A1 (en) 2015-06-16 2018-06-14 My EyeSpy Pty Ltd Methods and systems for object recognition
US20180121988A1 (en) 2016-10-31 2018-05-03 Adobe Systems Incorporated Product recommendations based on augmented reality viewpoints

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kán, Peter, and Hannes Kaufmann. Automatic furniture arrangement using greedy cost minimization. 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). IEEE, 2018.
Tang, Jeff KT, et al. AR interior designer: Automatic furniture arrangement using spatial and functional relationships. 2014 International Conference on Virtual Systems & Multimedia. IEEE. 2014.

Also Published As

Publication number Publication date
EP3660632A1 (en) 2020-06-03
US11232306B2 (en) 2022-01-25
CN111246264A (zh) 2020-06-05
US20200167567A1 (en) 2020-05-28
KR20200063531A (ko) 2020-06-05

Similar Documents

Publication Publication Date Title
KR102629330B1 (ko) 디스플레이 장치 및 이의 제어 방법
US11128970B2 (en) Electronic device and music visualization method thereof
US11763535B2 (en) Electronic device and control method thereof
CN107770604B (zh) 电子装置和操作电子装置的方法
CN104731441A (zh) 信息处理的方法、以及电子设备
KR102620073B1 (ko) 가전 기기 및 그 제어 방법
US11431909B2 (en) Electronic device and operation method thereof
KR20200063777A (ko) 디스플레이 장치 및 그 제어 방법
US10609305B2 (en) Electronic apparatus and operating method thereof
KR102640581B1 (ko) 전자 장치 및 그 제어 방법
JP2022512473A (ja) 様々なタイプのコンテンツを出力するためのディスプレイ装置
KR102581146B1 (ko) 디스플레이 장치 및 그 제어 방법
EP3863277A1 (en) Electronic device and control method thereof
CN111314756B (zh) 电子装置和用于控制电子装置的方法
KR20210049582A (ko) 전자 장치 및 그 제어 방법
US20230180001A1 (en) Electronic apparatus and controlling method thereof
KR102622082B1 (ko) 디스플레이 장치, 서버, 전자 장치 및 그 제어 방법들
KR102004869B1 (ko) 디스플레이장치 및 그 제어방법
KR102679851B1 (ko) 가전 기기 및 그 제어 방법
KR20240069443A (ko) 전자 장치 및 그 제어 방법
KR20230137202A (ko) 디스플레이 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant