KR102524586B1 - 전자 장치 및 그 동작방법 - Google Patents

전자 장치 및 그 동작방법 Download PDF

Info

Publication number
KR102524586B1
KR102524586B1 KR1020180050187A KR20180050187A KR102524586B1 KR 102524586 B1 KR102524586 B1 KR 102524586B1 KR 1020180050187 A KR1020180050187 A KR 1020180050187A KR 20180050187 A KR20180050187 A KR 20180050187A KR 102524586 B1 KR102524586 B1 KR 102524586B1
Authority
KR
South Korea
Prior art keywords
electronic device
box
image
display
information
Prior art date
Application number
KR1020180050187A
Other languages
English (en)
Other versions
KR20190125855A (ko
Inventor
이혜인
이혜민
강희준
박정선
윤지훈
반석호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180050187A priority Critical patent/KR102524586B1/ko
Priority to EP19161679.6A priority patent/EP3564792B1/en
Priority to US16/299,963 priority patent/US10877645B2/en
Priority to CN201980029421.8A priority patent/CN112041803A/zh
Priority to PCT/KR2019/003039 priority patent/WO2019212144A1/en
Publication of KR20190125855A publication Critical patent/KR20190125855A/ko
Application granted granted Critical
Publication of KR102524586B1 publication Critical patent/KR102524586B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이, 사용자 입력부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 프로세서는 하나 이상의 인스트럭션들을 실행함으로써, 모니터링될 실제 공간이 촬영된 이미지를 디스플레이에 표시하고, 이미지에 포함된 적어도 하나의 지점에 기초하여, 3차원 박스를 생성하며, 사용자 입력부에서 수신한 사용자 입력에 기초하여, 3차원 박스의 크기 및 위치 중 적어도 하나를 조절하고, 3차원 박스에 대응하는 인터랙티브 영역이 실제 공간에 설정되도록 제어하는, 전자 장치가 개시된다.

Description

전자 장치 및 그 동작방법{Image display device and operating method for the same}
다양한 실시예들은 전자 장치 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 인터랙티브 시스템에서, 이벤트를 감지하기 위한 인터랙티브 영역을 설정할 수 있는 전자 장치 및 그 동작방법에 관한 것이다.
인터랙티브 시스템은, 인터랙티브 영역을 모니터링할 수 있는 모니터링 장치를 포함할 수 있다. 모니터링 장치는 깊이 센서를 이용하여, 인터랙티브 영역을 모니터링할 수 있다. 깊이 센서는, 해당 영역의 깊이를 나타내는 깊이 이미지를 생성할 수 있다. 깊이 이미지는, 스테레오 삼각 측량, 광학 삼각 측량 시트, 구조형 광, 간섭법, 부호화 개구 등에 의해 생성될 수 있다.
한편, 인터랙티브 시스템은 인터랙티브 영역을 실제 공간에 설정하여, 설정된 인터랙티브 영역에서 이벤트가 발생하는지 여부를 모니터링할 수 있다.
다양한 실시예들은, 실제 공간이 촬영된 이미지에 기초하여, 인터랙티브 영역을 설정할 수 있는 사용자 인터페이스를 제공하는 전자 장치 및 그 동작방법을 제공할 수 있다.
일 실시예에 따른 전자 장치는, 디스플레이, 사용자 입력부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 모니터링될 실제 공간이 촬영된 이미지를 상기 디스플레이에 표시하고, 상기 이미지에 포함된 적어도 하나의 지점에 기초하여, 3차원 박스를 생성하며, 상기 사용자 입력부에서 수신한 사용자 입력에 기초하여, 상기 3차원 박스의 크기 및 위치 중 적어도 하나를 조절하고, 상기 3차원 박스에 대응하는 인터랙티브 영역이 상기 실제 공간에 설정되도록 제어할 수 있다.
일 실시예에 따른 전자 장치의 동작 방법은, 모니터링될 실제 공간이 촬영된 이미지를 상기 디스플레이에 표시하는 단계, 상기 이미지에 포함된 적어도 하나의 지점에 기초하여, 3차원 박스를 생성하는 단계, 사용자 입력에 기초하여, 상기 3차원 박스의 크기 및 위치 중 적어도 하나를 조절하는 단계, 및
상기 3차원 박스에 대응하는 인터랙티브 영역을 상기 실제 공간에 설정하는 단계를 포함할 수 있다.
일 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는, 모니터링될 실제 공간이 촬영된 이미지를 상기 디스플레이에 표시하는 단계, 상기 이미지에 포함된 적어도 하나의 지점에 기초하여, 3차원 박스를 생성하는 단계, 사용자 입력에 기초하여, 상기 3차원 박스의 크기 및 위치 중 적어도 하나를 조절하는 단계, 및 상기 3차원 박스에 대응하는 인터랙티브 영역을 상기 실제 공간에 설정하는 단계를 포함하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록할 수 있다.
일 실시예에 따른 전자 장치는, 인터랙티브 영역을 쉽게 설정할 수 있는 사용자 인터페이스를 제공함으로써, 사용자의 이용 편의성을 향상시킬 수 있다.
일 실시예에 따른 전자 장치는, 인터랙티브 영역에 대응하는 컨텐츠를 쉽게 설정하거나 변경할 수 있는 사용자 인터페이스를 제공함으로써, 사용자의 이용 편의성을 향상시킬 수 있다.
도 1은 일 실시예에 따른, 인터랙티브 시스템을 나타내는 도면이다.
도 2는 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 3은 다른 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 5는 일 실시예에 따른 인터랙티브 시스템의 동작방법을 나타내는 흐름도이다.
도 6은 일 실시예에 따른 전자 장치의 동작방법을 나타내는 흐름도이다.
도 7 내지 도 9는 일 실시예에 따른 전자 장치가 인터랙티브 영역을 설정하는 방법을 설명하기 위해 참조되는 도면들이다.
도 10 및 11은 일 실시예에 따른 전자 장치가 인터랙티브 영역에 대응하는 컨텐츠를 설정하는 방법을 설명하기 위해 참조되는 도면들이다.
도 12는 일 실시예에 따른 전자 장치 및 디스플레이 장치를 포함하는 인터랙티브 시스템이 동작하는 일 예를 나타내는 도면이다.
도 13은 일 실시예에 따른 인터랙티브 영역에 태그 정보를 설정하는 방법을 나타내는 도면이다.
도 14의 (a) 및 (b)는 일 실시예에 따른 전자 장치가 설정된 인터랙티브 영역을 저장하는 방법을 설명하기 위해 참조되는 도면이다.
도 15는 일 실시예에 따른 인터랙티브 시스템의 동작방법을 설명하기 위해 참조되는 도면이다.
도 16은 일 실시예에 따른 인터랙티브 시스템의 동작방법을 설명하기 위해 참조되는 도면이다.
도 17은 일 실시예에 따른 인터랙티브 시스템의 동작방법을 나타내는 흐름도이다.
도 18은 일 실시예에 따른 인터랙티브 시스템의 동작방법을 설명하기 위해 참조되는 도면이다.
도 19는 일 실시예에 따른 인터랙티브 시스템의 동작방법을 설명하기 위해 참조되는 도면이다.
도 20은 일 실시예에 따른 디스플레이 장치에서 인터랙티브 영역을 설정하는 방법을 설명하기 위해 참조되는 도면이다.
도 21은 일 실시예에 따른 디스플레이 장치가 동작하는 일 예를 나타내는 도면이다.
도 22는 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른, 인터랙티브 시스템을 나타내는 도면이다. 일 실시예에 따른 인터랙티브 시스템은, 전자 장치(100) 및 디스플레이 장치(200)를 포함할 수 있다.
일 실시예에 따른 전자 장치(100)는, 다양한 형태로 구현될 수 있다. 예를 들어, 전자 장치는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크 탑, 태블릿 PC, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 캠코더, IPTV(Internet Protocol Television), DTV(Digital Television), 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 다만, 이에 한정되는 것은 아니다.
또한, 일 실시예에 따른 디스플레이 장치(200)는, 사이니지(signage) 또는 TV일 수 있으나, 이는 일 실시예에 불과하며, 디스플레이를 포함하는 전자 장치로 구현될 수 있다. 예를 들어, 디스플레이 장치(200)는 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 특히, 실시예들은 사이니지나 TV와 같이 디스플레이가 대형인 디스플레이 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이 장치(200)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다.
본 명세서의 실시예에서 “사용자”라는 용어는 실시예에 따른 전자 장치, 디스플레이 장치, IoT 장치 등의 기능 또는 동작을 제어하는 사람을 의미하며, 관리자 또는 설치 기사를 포함할 수 있다.
일 실시예에 따른 전자 장치(100)와 디스플레이 장치(200)는 서로 통신을 수행할 수 있다. 예를 들어, 전자 장치(100)는 근거리 통신을 이용하여, 디스플레이 장치(200)와 데이터, 신호 등을 송신 또는 수신할 수 있다. 이때, 근거리 통신은 Wi-Fi 방식, NFC 방식, 블루투스 방식, 적외선 방식 지그비(Zigbee) 방식 등을 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 전자 장치(100)는 모니터링될 실제 공간(10)이 촬영된 이미지를 획득할 수 있다. 전자 장치(100)는 전자 장치(100)에 포함된 카메라를 이용하여, 모니터링될 공간을 촬영함으로써 이미지를 획득할 수 있다. 또는, 전자 장치(100)는 외부 장치에서 촬영된 이미지를 외부 장치와의 통신을 수행하여, 수신할 수 있다. 예를 들어, 일 실시예에 따른 디스플레이 장치(200)는 디스플레이 장치(200)에 내장되거나, 디스플레이 장치(200)에 별도로 설치된 카메라를 이용하여, 디스플레이 장치(200)의 전방에 위치하는 모니터링될 실제 공간(10)을 촬영할 수 있다. 디스플레이 장치(200)는 전자 장치(100)와 통신을 수행하여, 촬영된 이미지를 전자 장치(100)로 전송할 수 있다.
일 실시예에 따른 전자 장치(100)는 실제 공간(10)이 촬영된 이미지에 기초하여, 실제 공간(10)에 적어도 하나의 인터랙티브 영역(50)을 설정할 수 있다. 예를 들어, 전자 장치(100)는 실제 공간(10)이 촬영된 이미지를 디스플레이에 표시하고, 이미지에 포함된 적어도 하나의 지점에 기초하여, 3차원 박스를 생성할 수 있다. 전자 장치(100)는 사용자 입력에 기초하여, 3차원 박스의 크기 및 위치 중 적어도 하나를 조절할 수 있으며, 3차원 박스에 대응하는 인터랙티브 영역(50)을 촬영된 실제 공간(10)에 설정할 수 있다.
또한, 전자 장치(100)는, 생성된 3차원 박스에 대응하는 적어도 하나의 컨텐츠를 설정하여, 실제 공간에 설정된 인터랙티브 영역(50)에서 이벤트의 발생이 감지되는 경우, 설정된 컨텐츠가 디스플레이 장치(200)에 표시되도록 제어할 수 있다. 이때, 이벤트는, 인터랙티브 영역에서 객체가 감지되는 이벤트, 인터랙티브 영역에서 감지되던 객체가 감지되지 않는 이벤트, 또는, 인터랙티브 영역에서 객체의 움직임이 감지되는 이벤트, 인터랙티브 영역에서 특정 모션이 감지되는 이벤트 등을 포함할 수 있으나, 이에 한정되지 않으며, 다양한 이벤트를 포함할 수 있다.
일 실시예에 따른 전자 장치(100)는 디스플레이 장치(200)로 설정된 3차원 박스에 대한 정보(인터랙티브 영역에 대한 정보), 이벤트에 대한 정보, 및 3차원 박스(인터랙티브 영역)에 대응하는 컨텐츠 정보를 전송할 수 있다.
일 실시예에 따른 디스플레이 장치(200)는 3차원 박스에 대한 정보(예를 들어, 3차원 박스에 대한 좌표 값 정보 등)에 기초하여, 실제 공간(10) 상에서 인터랙티브 영역(50)을 결정할 수 있다. 또한, 디스플레이 장치(200)는 이벤트 정보에 기초하여, 인터랙티브 영역(50)에서 이벤트가 발생하는지 여부를 모니터링할 수 있다. 예를 들어, 디스플레이 장치(200)는 이벤트가 “객체가 감지되는 이벤트”라는 정보에 기초하여, 인터랙티브 영역(50)에서 객체가 감지되는지 여부를 모니터링할 수 있다. 또한, 디스플레이 장치(200)는 컨텐츠 정보에 기초하여, 인터랙티브 영역에서 이벤트가 발생하면(예를 들어, 객체가 감지되면), 그에 대응하는 컨텐츠를 표시할 수 있다.
도 2는 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 일 실시예에 따른 전자 장치(100)는 통신부(110), 프로세서(120), 메모리(130), 디스플레이(140) 및 사용자 입력부(150)를 포함할 수 있다.
일 실시예에 따른 통신부(110)는 전자 장치(100)와 외부 장치(예를 들어, 디스플레이 장치, 서버 등) 간의 통신을 수행하기 위한 하나 이상의 구성요소를 포함할 수 있다.
통신부(110)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 통하여 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 또한, 통신부(110)는 외부 장치 또는 외부 서버와 직접 무선랜(예를 들어, 와이-파이(Wi-Fi)) 등을 이용하여 무선으로 데이터 또는 신호를 송수신할 수 있다.
예를 들어, 통신부(110)는 외부 장치로부터 모니터링 될 실제 공간을 촬영한 이미지를 수신할 수 있다. 또한, 통신부(110)는 인터랙티브 영역에 대한 정보, 이벤트 정보, 컨텐츠 정보 등을 디스플레이 장치(200)로 전송할 수 있다.
일 실시예에 따른 프로세서(120)는 메모리(130)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(120)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
일 실시예에 따른 메모리(130)는 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(130)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(130)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(120)는 모니터링 될 실제 공간이 촬영된 이미지를 디스플레이(140)에 표시할 수 있다. 이때, 디스플레이(140)에 표시되는 이미지는 실제 공간에 포함되는 객체들의 깊이 값 정보에 기초하여, 실제 공간을 3차원으로 나타내는 이미지일 수 있다. 또한, 프로세서(120)는 이미지에 포함된 적어도 하나의 지점에 기초하여, 3차원 박스를 생성할 수 있다. 프로세서(120)는 사용자 입력부(150)에서 수신한 사용자 입력에 기초하여, 생성된 3차원 박스의 크기 및 위치 중 적어도 하나를 조절할 수 있다. 프로세서(120)는 3차원 박스에 대응하는 인터랙티브 영역이 촬영된 실제 공간에 설정되도록 제어할 수 있다. 또한, 프로세서(120)는 3차원 박스에 대응하는 이벤트 및 컨텐츠를 설정하여, 인터랙티브 영역에서 이벤트가 발생되면, 해당 컨텐츠가 실행되도록 제어할 수 있다.
일 실시예에 따른 디스플레이(140)는, 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(140)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(140)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이(140)는 프로세서(120)의 제어에 의해 인터랙티브 영역을 설정하기 위한 사용자 인터페이스 화면을 표시할 수 있다. 예를 들어, 디스플레이(140)는 모니터링 될 공간이 촬영된 이미지, 생성된 3차원 박스, 3차원 박스의 위치 및 크기를 조절하기 위한 인터페이스 화면, 3차원 박스에 대응하는 컨텐츠를 설정하기 위한 인터페이스 화면 등을 표시할 수 있다.
일 실시예에 따른 사용자 입력부(150)는, 사용자가 전자 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(150)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시예에 따른 사용자 입력부(150)는 표시된 이미지의 뷰 앵글을 조절하기 위한 사용자 입력, 3차원 박스를 생성하기 위해 이미지에 포함된 적어도 하나의 지점 또는 객체를 선택하는 입력, 3차원 박스의 크기 및 위치를 조절하기 위한 사용자 입력 등을 수신할 수 있으나, 이에 한정되는 것은 아니다.
도 3은 다른 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다. 도 3의 전자 장치(300)는 도 1의 전자 장치(100)의 일 실시예일 수 있다.
도 3을 참조하면, 일 실시예에 따른 전자 장치(300)는 제어부(330), 센서부(320), 통신부(340), 출력부(350), 사용자 입력부(360), A/V 입력부(370) 및 저장부(380)를 포함할 수도 있다.
도 3의 통신부(340)는 도 2의 통신부(110)에, 도 3의 제어부(330)는 도 2의 프로세서(120))에, 도 3의 디스플레이부(351)는 도 2의 디스플레이(130)에, 도 3의 저장부(380)는 도 2의 메모리(140)에, 도 3의 사용자 입력부(360)는 도 2의 사용자 입력부(150)에 각각 대응될 수 있다. 도 2에서 설명한 내용과 동일한 내용은 도 3에서 생략하기로 한다.
통신부(340)는, 전자 장치(300)와 외부 장치(예를 들어, 서버 등) 간의 통신을 수행하기 위한 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(340)는, 근거리 통신부(341), 이동 통신부(342), 방송 수신부(343)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(341)는, 블루투스 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(342)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(343)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(300)가 방송 수신부(343)를 포함하지 않을 수도 있다.
통신부(340)는, 외부 장치로부터 적어도 하나의 사용자 이미지를 수신할 수 있다.
출력부(350)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(351)와 음향 출력부(352), 진동 모터(353) 등이 포함될 수 있다.
음향 출력부(352)는 통신부(340)로부터 수신되거나 저장부(380)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(352)는 전자 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(352)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. 예를 들어, 음향 출력부(352)는 인식한 사용자가 정당한 사용자가 아닌 경우, 알람을 출력할 수 있다.
진동 모터(353)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(353)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(353)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
제어부(330)는, 전자 장치(300)의 전반적인 동작을 제어한다. 예를 들어, 제어부(330)는, 저장부(380)에 저장된 프로그램들을 실행함으로써, 통신부(340), 출력부(350), 사용자 입력부(360), 센싱부(320), A/V 입력부(370) 등을 제어할 수 있다.
센서부(320)는, 사용자의 생체 정보를 센싱하는 센서뿐만 아니라, 전자 장치(300)의 상태 또는 전자 장치(300) 주변의 상태를 감지하는 센서를 포함할 수 있다. 또한, 센서부(320)는 센서에서 감지된 정보를 제어부(320)로 전달할 수 있다.
센서부(320)는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS)), 기압 센서, 근접 센서, 및 RGB 센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
A/V(Audio/Video) 입력부(370)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(371)와 마이크로폰(372) 등이 포함될 수 있다. 카메라(371)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(330) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(371)에서 처리된 화상 프레임은 저장부(380)에 저장되거나 통신부(340)를 통하여 외부로 전송될 수 있다. 카메라(371)는 전자 장치(300)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(372)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(372)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(372)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
저장부(380)는, 제어부(330)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 애플리케이션, 콘텐트, 외부 디바이스의 시간대 정보, 주소록 등)을 저장할 수도 있다.
저장부(380)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 전자 장치(300)는 인터넷(internet)상에서 저장부(380)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
저장부(380)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(381), 터치 스크린 모듈(382), 알림 모듈(383) 등으로 분류될 수 있다.
UI 모듈(381)은, 어플리케이션 별로 전자 장치(300)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(382)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(130)로 전달할 수 있다.
터치 스크린 모듈(382)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(382)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈(383)은 전자 장치(300)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(300)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(383)은 디스플레이부(351)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(352)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(353)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
한편, 도 2 및 3에 도시된 전자 장치(100, 300)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치(100, 300)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 4는 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 4를 참조하면, 일 실시예에 따른 디스플레이 장치(200)는, 센싱부(210), 통신부(220), 프로세서(230), 메모리(240) 및 디스플레이(250)를 포함할 수 있다.
일 실시예에 따른 센싱부(210)는 디스플레이 장치(200)의 상태 또는 디스플레이 장치(200) 주변의 상태를 감지하고, 감지된 정보를 프로세서(230)로 전달할 수 있다.
센싱부(210)는 이미지 센서 및 깊이 센서를 포함할 수 있다. 디스플레이 장치는 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이때, 이미지 센서를 통해 캡쳐된 이미지는 프로세서 또는 별도의 이미지 프로세서(미도시)를 통해 처리될 수 있다.
예를 들어, 이미지 센서는 모니터링 될 실제 공간을 촬영하거나, 인터랙티브 영역에서 객체를 인식하거나, 객체의 움직임 등을 감지할 수 있다. 이때, 객체는, 사람, 사람의 손, 사람의 손가락 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 깊이 센서는 모니터링 될 실제 공간에 존재하는 실제 객체의 깊이 값 등을 측정할 수 있다. 깊이 값은 깊이 센서로부터 특정 객체까지의 거리에 대응할 수 있다. 이때, 깊이 센서로부터 특정 객체까지의 거리가 멀수록 깊이 값이 커질 수 있다.
일 실시예에 따른 깊이 센서는 다양한 방식으로 객체의 깊이 값을 획득할 수 있다. 예를 들어, 깊이 센서는 TOF(Time of flight) 방식, 스테레오스코프 비전(stereoscopic vision) 방식, 구조화 광 패턴(structured light pattern) 방식 중 적어도 하나의 방식을 이용하여 깊이 값을 측정할 수 있다.
한편, 이미지 센서와 깊이 센서는 별개의 센서로 구성될 수도 있고, 하나의 센서로 구성될 수도 있다. 또한, 이미지 센서와 깊이 센서는 디스플레이 장치(200)의 구성 태양에 따라 2개 이상이 포함될 수도 있다.
일 실시예에 따르면, 센싱부(210)는 이미지 센서 및 깊이 센서 이외에 마이크로폰, 인체 감지 센서(적외선 센서, 초음파 센서 등), 조도 센서, 온/습도 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
마이크로폰은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
인체 감지 센서(적외선 센서, 초음파 센서 등), 조도 센서, 온/습도 센서 들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
일 실시예에 따른 통신부(220)는 디스플레이 장치(200)와 외부 장치(예를 들어, 전자 장치, 서버 등) 간의 통신을 수행하기 위한 하나 이상의 구성요소를 포함할 수 있다.
통신부(220)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 통하여 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 또한, 통신부(220)는 외부 장치 또는 외부 서버와 직접 무선랜(예를 들어, 와이-파이(Wi-Fi)) 등을 이용하여 무선으로 데이터 또는 신호를 송수신할 수 있다.
예를 들어, 통신부(220)는 전자 장치(100)로부터 인터랙티브 영역에 대한 정보, 이벤트 정보 및 컨텐츠 정보를 수신할 수 있다. 또는, 통신부(220)는 전자 장치(100) 또는 외부 서버로부터 디스플레이 장치(200)에서 실행시키기 위한 컨텐츠를 수신할 수 있다.
일 실시예에 따른 프로세서(230)는 메모리(240)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(230)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(230)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(230)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
일 실시예에 따른 메모리(240)는 디스플레이 장치(200)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(240)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(240)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(230)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(230)는 인터랙티브 영역에 대한 정보(예를 들어, 3차원 박스의 좌표 값 정보 등)에 기초하여, 인터랙티브 영역을 결정하고, 인터랙티브 영역을 모니터링하도록 제어할 수 있다. 예를 들어, 프로세서(230)는 인터랙티브 영역에서 기 설정된 이벤트가 발생하는지 여부를 모니터링할 수 있으며, 이벤트 발생이 감지되면, 이벤트 발생에 대응하는 컨텐츠를 실행시킬 수 있다.
일 실시예에 따른 디스플레이(250)는, 프로세서(230)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(250)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(250)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다. 일 실시예에 따른 디스플레이(250)는, 이벤트 발생에 대응하는 컨텐츠의 실행 화면을 표시할 수 있다.
도 5는 일 실시예에 따른 인터랙티브 시스템의 동작방법을 나타내는 흐름도이다.
일 실시예에 따른 인터랙티브 시스템은, 전자 장치(100) 및 디스플레이 장치(200)를 포함할 수 있다.
도 5를 참조하면, 디스플레이 장치(200)는 모니터링 할 실제 공간을 촬영할 수 있다(S410). 예를 들어, 디스플레이 장치(200)는 이미지 센서 및 깊이 센서를 이용하여, 모니터링 할 실제 공간을 촬영하고, 모니터링 할 공간에 포함된 하나 이상의 객체들의 깊이 값 정보를 획득할 수 있다.
디스플레이 장치(200)는 전자 장치(100)로 촬영된 이미지와 이미지에 포함된 하나 이상의 객체들에 대한 깊이 값 정보를 전송할 수 있다(S420).
전자 장치(100)는 촬영된 실제 공간에 대한 이미지를 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치(100)는 실제 공간에 포함되는 객체들의 깊이 값 정보에 기초하여, 실제 공간을 3차원으로 나타내는 이미지를 표시할 수 있다.
전자 장치(100)는 표시된 이미지에 기초하여, 인터랙티브 영역을 설정하고, 인터랙티브 영역에 대응하는 컨텐츠를 설정할 수 있다(S430).
예를 들어, 전자 장치(100)는 이미지에 포함되는 적어도 하나의 지점에 기초하여, 3차원 박스를 생성할 수 있다. 또한, 전자 장치(100)는 사용자 입력에 기초하여, 생성된 3차원 박스의 크기 및 위치 중 적어도 하나를 조절할 수 있다. 전자 장치(100)는 3차원 박스에 대응하는 인터랙티브 영역이 촬영된 실제 공간에 설정되도록 제어할 수 있다. 또한, 전자 장치(100)는 3차원 박스에 대응하는 이벤트 및 컨텐츠를 설정하여, 3차원 박스에 대응하는 인터랙티브 영역에서 이벤트가 발생되면, 해당 컨텐츠가 실행되도록 제어할 수 있다.
도 5의 430 단계(S430)에 대해서는 후술하는 도 6내지 도 11에서 자세히 설명하기로 한다.
전자 장치(100)는 인터랙티브 영역에 대한 정보(예를 들어, 3차원 박스의 좌표 값 정보 등), 이벤트에 대한 정보, 컨텐츠에 대한 정보를 디스플레이 장치(200)로 전송할 수 있다(S440).
디스플레이 장치(200)는 전자 장치(100)로부터 수신한 인터랙티브 영역에 대한 정보에 기초하여, 인터랙티브 영역을 모니터링할 수 있다(S450). 예를 들어, 디스플레이 장치(200)는 디스플레이 장치(200)에서 촬영되는 실제 공간에서, 3차원 박스에 대응하는 인터랙티브 영역을 결정하고, 인터랙티브 영역에서 기 설정된 이벤트가 발생하는지 여부를 모니터링할 수 있다.
디스플레이 장치(200)는 이벤트의 발생이 감지되면(S460), 이벤트 발생에 대응하는 컨텐츠를 실행시킬 수 있다(S470). 컨텐츠는, 이미지 컨텐츠, 텍스트 컨텐츠, 오디오 컨텐츠, 비디오 컨텐츠 및 게임 컨텐츠 등을 포함할 수 있으나, 이에 한정되지 않는다. 이때, 컨텐츠는, 일 실시예에 따른 전자 장치(100) 또는 외부 서버로부터 수신한 컨텐츠일 수 있으며, 디스플레이 장치(200)에 기 저장된 컨텐츠일 수 있다.
도 6은 일 실시예에 따른 전자 장치의 동작방법을 나타내는 흐름도이다.
도 6은 도 5의 430 단계(S430)에서, 전자 장치(100)가 인터랙티브 영역을 설정하는 동작들을 구체적으로 나타내는 흐름도이다.
도 6을 참조하면, 일 실시예에 따른 전자 장치(100)는 실제 공간이 촬영된 이미지를 표시할 수 있다(S510).
예를 들어, 전자 장치(100)는 일 실시예에 따른 디스플레이 장치(200) 또는 다른 외부 장치로부터 실제 공간이 촬영된 이미지를 수신할 수 있다. 이때, 실제 공간이 촬영된 이미지는 실제 공간에 포함되는 객체들의 깊이 값 정보를 포함하는 이미지일 수 있다. 다만, 이에 한정되지 않는다.
전자 장치(100)는 이미지에 포함되는 적어도 하나의 지점에 기초하여, 3차원 박스를 생성할 수 있다(S520). 예를 들어, 이미지의 어느 한 지점을 선택하는 사용자 입력을 수신하는 경우, 전자 장치(100)는 선택된 지점이 객체에 포함되는 지점인지 아닌지를 결정할 수 있다. 전자 장치(100)는 선택된 지점이 객체에 포함되지 않는 경우, 기 설정된 사이즈의 3차원 박스를 생성할 수 있다. 반면에, 전자 장치(100)는 선택된 지점이 객체에 포함되는 경우, 해당 객체의 모양 및 크기에 따라 3차원 박스를 생성할 수 있다. 또는, 전자 장치(100)는 이미지에 포함된 객체들을 검출하여, 검출된 객체들을 3차원 형태로 재구성한 3차원 박스들을 생성할 수 있다. 전자 장치(100)는 생성된 3차원 박스를 이미지 상에 표시할 수 있다.
또한, 전자 장치(100)는 사용자 입력(예를 들어, 이미지를 드래그하는 입력)에 기초하여, 표시되는 이미지의 뷰 앵글(view angle)을 조절할 수 있다. 표시되는 이미지의 뷰 앵글이 변경되면, 이미지 내에서 객체들의 위치, 크기, 방향 등이 변경될 수 있다. 전자 장치(100)는 서로 다른 뷰 앵글을 가지는 이미지들을 저장할 수 있으며, 저장한 이미지들을 바로 가기(shortcut)로 제공할 수 있다.
전자 장치(100)는 생성된 3차원 박스의 크기 및 위치 중 적어도 하나를 조절할 수 있다(S530).
예를 들어, 전자 장치(100)는 생성된 3차원 박스에서 이미지의 뷰 앵글을 기준으로 가장 정면으로 보이는 면에 수평/수직 크기 조절 오브젝트를 표시할 수 있다. 수평/수직 크기 조절 오브젝트는 가장 정면으로 보이는 면에 대하여, 수평 방향 또는 수직 방향으로 크기를 조절하기 위한 오브젝트일 수 있다. 또한, 전자 장치(100)는 3차원 박스를 회전시킬 수 있는 회전 오브젝트를 표시할 수 있다.
전자 장치(100)는 수평/수직 크기 조절 오브젝트 또는 회전 오브젝트에 대한 사용자 입력에 기초하여, 3차원 박스의 크기나 위치를 조절할 수 있다.
전자 장치(100)는 3차원 박스에 대응하는 인터랙티브 영역이 실제 공간에 설정되도록 제어할 수 있다(S540).
예를 들어, 전자 장치(100)는 3차원 박스의 좌표 값 정보를 디스플레이 장치(200)로 전송할 수 있다. 디스플레이 장치(200)는 수신한 3차원 박스의 좌표 값 정보에 기초하여, 실제 공간에서 인터랙티브 영역을 결정하고, 결정된 인터랙티브 영역에서 이벤트가 발생되는지 여부를 모니터링 할 수 있다.
도 7 내지 도 9는 일 실시예에 따른 전자 장치가 인터랙티브 영역을 설정하는 방법을 설명하기 위해 참조되는 도면들이다.
도 7을 참조하면, 전자 장치(100)는 모니터링될 실제 공간이 촬영된 이미지(601)를 디스플레이에 표시할 수 있다. 모니터링될 실제 공간이 촬영된 이미지(601)는, 외부 장치(예를 들어, 디스플레이 장치(200))로부터 수신한 이미지이거나 전자 장치(100)가 촬영한 이미지일 수 있다. 또한, 실제 공간이 촬영된 이미지는 적어도 하나의 객체를 포함할 수 있으며, 전자 장치(100)는 객체들의 깊이 값 정보에 기초하여, 촬영된 이미지를 3차원 이미지로 표시할 수 있다.
전자 장치(100)는 이미지에 포함되는 적어도 하나의 지점에 기초하여, 3차원 박스(610)를 생성할 수 있다. 예를 들어, 이미지의 어느 한 지점을 선택하는 사용자 입력을 수신하는 경우, 전자 장치(100)는 기 설정된 사이즈의 3차원 박스를 생성할 수 있다. 또는 선택한 지점이 객체에 포함되는 지점인 경우, 전자 장치(100)는 해당 객체의 모양 및 크기에 따라 객체를 3차원 박스를 생성할 수 있다.
또는, 전자 장치(100)는 도 8의 (a)에 도시된 바와 같이, 이미지에 포함된 객체들을 검출하여, 검출된 객체들을 3차원 형태로 재구성한 3차원 박스들(701, 702, 703, 704, 705, 706, 707)을 생성할 수 있다. 이때, 전자 장치(100)는 객체들의 깊이 값 정보를 이용하여, 3차원 박스들을 생성할 수 있다.
전자 장치(100)는 사용자 입력에 기초하여, 이미지의 뷰 앵글(view angle)을 조절할 수 있다. 예를 들어, 도 8의 (a)에 도시된 바와 같이, 제1 뷰 앵글을 가지는 이미지(710)의 한 지점을 터치하여, 소정의 방향으로 이동하는 드래그 입력(720)을 수신하면, 전자 장치(100)는 도 8의 (b)에 도시된 바와 같이, 이미지가 제2 뷰 앵글을 가지도록 표시할 수 있다.
전자 장치(100)는 서로 다른 뷰 앵글을 가지는 이미지들을 저장할 수 있으며, 저장한 이미지들을 바로 가기로 제공할 수 있다. 예를 들어, 제1 뷰 앵글을 가지는 이미지(710, 도 8의 (a)에 표시된 이미지)와 제2 뷰 앵글을 가지는 이미지(730, 도 8의 (b)에 도시된 이미지)를 저장하여, 바로 가기로 제공할 수 있다. 또는, 전자 장치(100)는 카메라에서 촬영한 뷰 앵글을 가지는 이미지를 저장하여 바로 가기로 제공할 수 있다.
전자 장치(100)는 생성된 3차원 박스의 크기 및 위치 중 적어도 하나를 조절할 수 있다. 예를 들어, 도 9의 (a)에 도시된 바와 같이, 생성된 3차원 박스에서 이미지의 뷰 앵글을 기준으로 가장 정면으로 보이는 면(810, 이하, 제1 면이라 한다)에 수평/수직 크기 조절 오브젝트(820)를 표시할 수 있다. 예를 들어, 수평/수직 크기 조절 오브젝트(820)가 표시되고, 수평 방향으로 드래그하는 입력을 수신하면, 전자 장치(100)는 제1 면(810)의 수평 방향 크기를 늘이거나 줄일 수 있다. 또는, 수평/수직 크기 조절 오브젝트(820)가 표시되고, 수직 방향으로 드래그하는 입력을 수신하면, 전자 장치(100)는 제1 면(810)의 수직 방향 크기를 늘이거나 줄일 수 있다. 이때, 제1 면(810)의 크기가 조절됨에 따라, 제1 면(810)을 포함하는 3차원 박스의 크기(예를 들어, 3차원 박스의 가로 길이 또는 세로 길이)가 조절될 수 있다. 다만, 이에 한정되지 않는다.
또한, 전자 장치(100)는 회전 조절 오브젝트(830)를 표시할 수 있다. 회전 조절 오브젝트(830)가 표시되고, 시계 방향 또는 반시계 방향으로 드래그하는 입력을 수신하면, 전자 장치(100)는 제1 면(810)의 중심을 지나면서, 제1 면(810)에 수직인 직선을 기준으로 3차원 박스를 시계 방향 또는 반시계 방향으로 회전시킬 수 있다.
또한, 전자 장치(100)는 도 9의 (b)에 도시된 바와 같이, 이미지의 뷰 앵글이 변경되면, 변경된 뷰 앵글을 기준으로 이미지에서 가장 정면으로 보이는 면(840, 이하, 제2 면이라 한다)에 수평/수직 크기 조절 오브젝트(850) 및 회전 오브젝트(860)를 표시할 수 있다. 이에 따라, 전자 장치(100)는 수직 방향으로 드래그하는 입력을 수신하여, 3차원 박스의 높이를 조절하거나, 수평 방향으로 드래그하는 입력을 수신하여, 3차원 박스의 가로 길이를 조절할 수 있다. 또는, 전자 장치(100)는 시계 방향 또는 반시계 방향으로 드래그하는 입력을 수신하여, 제2 면과 수직인 직선을 기준으로 3차원 박스를 시계 방향 또는 반시계 방향으로 회전시킬 수 있다.
또한, 전자 장치(100)는 3차원 박스의 크기 및 위치를 조절하는 동안 표시된 이미지의 뷰 앵글이 변경되지 않도록 배경화면 잠금 기능을 제공할 수 있다. 예를 들어, 전자 장치(100)는 배경화면 잠금 아이콘(870)을 표시하고, 배경화면 잠금 아이콘(870)을 선택하는 입력이 수신되면, 이미지를 드래그하는 입력이 수신되어도 이미지의 뷰 앵글을 변경하지 않고, 유지할 수 있다.
한편, 전자 장치(100)는 이미지에 표시된 3차원 박스의 좌표 값 정보를 기초로 하여, 실제 공간 상에 3차원 박스에 대응하는 인터랙티브 영역을 설정할 수 있다. 이에 따라, 실시예에 따른 디스플레이 장치(200)는 설정된 인터랙티브 영역에서 기 설정된 이벤트가 발생하는지 여부를 모니터링할 수 있다.
도 10 및 11은 일 실시예에 따른 전자 장치가 인터랙티브 영역에 대응하는 컨텐츠를 설정하는 방법을 설명하기 위해 참조되는 도면들이다.
도 10을 참조하면, 전자 장치(100)는 3차원 박스가 설정되면, 3차원 박스에 대응하는 컨텐츠를 설정할 수 있다. 예를 들어, 전자 장치(100)는 도 10에 도시된 바와 같이, 복수의 컨텐츠들을 포함하는 컨텐츠 리스트(910)를 표시할 수 있다. 컨텐츠는, 이미지 컨텐츠, 텍스트 컨텐츠, 오디오 컨텐츠, 비디오 컨텐츠 및 게임 컨텐츠 등을 포함할 수 있으나, 이에 한정되지 않는다.
전자 장치(100)는 디스플레이에 표시된 복수의 3차원 박스들 중 어느 하나(920)를 선택하는 입력이 수신되면, 제1 이벤트에 대응하는 제1 영역(930) 및 제2 이벤트에 대응하는 제2 영역(940)을 표시할 수 있다. 이때, 제1 이벤트는 3차원 박스에 대응하는 인터랙티브 영역에서 소정의 객체가 감지되는 이벤트일 수 있다. 또한, 제2 이벤트는 3차원 박스에 대응하는 인터랙티브 영역에서 감지되던 소정의 객체가 감지되지 않는 이벤트일 수 있다. 다만, 이에 한정하는 것은 아니다.
전자 장치(100)는 컨텐츠 리스트(910)에 포함되는 하나 이상의 컨텐츠들을 제1 영역(930) 또는 제2 영역(940)에 드래그 앤 드롭(drag & drop)하는 입력을 수신할 수 있다. 예를 들어, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 제1 영역(930)으로 드래그 앤 드롭하는 입력을 수신하여, 제1 영역에 제1 컨텐츠 및 제2 컨텐츠의 썸네일 이미지들(931, 932)을 표시할 수 있다. 또한, 전자 장치(100)는 제3 컨텐츠를 제2 영역(940)으로 드래그 앤 드롭하는 입력을 수신하여, 제2 영역에 제3 컨텐츠의 썸네일 이미지(933)를 표시할 수 있다.
이에 따라, 전자 장치(100)는 3차원 박스에 대응하는 인터랙티브 영역에서 제1 이벤트의 발생이 감지된 경우, 제1 컨텐츠 및 제2 컨텐츠들이 디스플레이 장치(200)에서 실행되도록 설정할 수 있다. 또한, 3차원 박스에 대응하는 인터랙티브 영역에서 제2 이벤트의 발생이 감지된 경우, 제3 컨텐츠가 디스플레이 장치(200)에서 실행되도록 설정할 수 있다.
도 11을 참조하면, 하나의 이벤트에 복수의 컨텐츠들이 설정되는 경우, 전자 장치(100)는 서브 인터랙티브 영역을 설정할 수 있다.
예를 들어, 선택된 3차원 박스(1010)에 대응하는 인터랙티브 영역에서 제1 이벤트 발생이 감지되면, 복수의 컨텐츠들(제1 내지 제4 컨텐츠들(A,B,C,D))이 실행되도록 설정될 수 있다. 이때, 전자 장치(100)는 도 11에 도시된 바와 같이 서브 인터랙티브 영역(1030)에 대응하는 서브 박스(1020)를 생성하여 표시할 수 있다. 서브 인터랙티브 영역(1030)은 디스플레이 장치(200)의 전방에 설정될 수 있다. 다만, 이에 한정되지 않는다.
서브 인터랙티브 영역(1030)에 대응하는 서브 박스(1020)도, 수평/수직 크기 조절 오브젝트(1040) 및 회전 오브젝트(1050)를 이용하여, 크기 및 위치 중 적어도 하나를 조절할 수 있다. 서브 인터랙티브 영역(1030)은, 복수의 컨텐츠들 각각에 대응하는 인디케이터 영역들을 포함할 수 있다. 또한, 전자 장치(100)는 인디케이터 영역들 각각의 크기 및 위치 중 적어도 하나를 조절할 수 있다.
예를 들어, 서브 박스(1020)는 복수의 컨텐츠들 각각에 대응하는 복수의 인디케이터 박스들을 포함할 수 있으며, 복수의 인디케이터 박스들에 대응하는 복수의 인디케이터 영역들은, 서브 인터랙티브 영역(1030) 내에 포함될 수 있다. 전자 장치(100)는 제1 인디케이터 영역에서 이벤트(예를 들어, 소정의 객체가 감지)가 발생하는 경우, 제1 컨텐츠(A)를 실행하고, 제2 인디케이터 영역에서 이벤트가 발생하는 경우, 제2 컨텐츠(B)를, 제3 인디케이터 영역에서 이벤트가 발생하는 경우, 제3 컨텐츠(C)를, 제4 인디케이터 영역에서 이벤트가 발생하는 경우, 제4 컨텐츠(D)를 실행하도록 설정할 수 있다.
또한, 일 실시예에 따른 디스플레이 장치(200)는 제1 내지 제4 인디케이터 영역들의 위치를 나타내는 인디케이터들(1060)을 표시할 수 있다. 또한, 디스플레이 장치(200)는, 현재 디스플레이 장치(200)에 표시되고 있는 컨텐츠에 대응하는 인디케이터를 하이라이트하여 표시할 수 있다.
도 12는 일 실시예에 따른 전자 장치 및 디스플레이 장치를 포함하는 인터랙티브 시스템이 동작하는 일 예를 나타내는 도면이다.
전자 장치(100)는 생성된 3차원 박스의 좌표 값 정보, 3차원 박스에 대응하는 이벤트에 대한 정보, 이벤트에 대응하는 컨텐츠에 대한 정보를 디스플레이 장치(200)로 전송할 수 있다.
이에 따라, 디스플레이 장치(200)는 3차원 박스의 좌표 값 정보에 기초하여, 실제 공간 상에서 3차원 박스에 대응하는 인터랙티브 영역(1150)을 결정하고, 인터랙티브 영역(1150)에서 이벤트(예를 들어, 소정의 객체가 감지)가 발생하는지 여부를 모니터링할 수 있다. 디스플레이 장치(200)는 인터랙티브 영역에서 소정의 객체를 감지하는 경우, 기 설정된 컨텐츠를 실행할 수 있다.
또한, 디스플레이 장치(200)는 객체가 감지된 위치 정보(예를 들어, 좌표 값 정보)를 전자 장치(100)로 전송할 수 있으며, 도 12에 도시된 바와 같이, 전자 장치(100)는 객체가 감지된 위치 정보를 점, 면, 박스 등으로 표시할 수 있다.
도 13은 일 실시예에 따른 인터랙티브 영역에 태그 정보를 설정하는 방법을 나타내는 도면이다.
도 13을 참조하면, 전자 장치(100)는 3차원 박스에 태그 정보를 설정할 수 있다. 예를 들어, 3차원 박스에 대응하는 인터랙티브 영역에 위치하는 제품 또는 위치시킬 제품에 대한 제품명(모델명), 제조사, 제조연도, 발매 연도, 색상, 가격 등을 태그 정보로 설정할 수 있다. 다만, 이에 한정되지 않는다.
전자 장치(100) 또는 외부 서버는 인터랙티브 영역에서 이벤트 발생이 감지되는 경우, 인터랙티브 영역에 대응하는 태그 정보들을 수집할 수 있다. 예를 들어, 제1 인터랙티브 영역에는 제1 태그 정보(갤럭시 S9, 블랙, 80만원)가, 제2 인터랙티브 영역에는 제2 태그 정보(갤럭시 노트 8, 블루, 70만원)가, 제3 인터랙티브 영역에는 제3 태그 정보(갤럭시 노트 8, 블랙, 70만원)가 설정될 수 있다. 제1 인터랙티브 영역에서 소정의 객체가 감지되는 이벤트가 5회 발생하고, 제2 인터랙티브 영역에서 소정의 객체가 감지되는 이벤트가 2회 발생하고, 제3 인터랙티브 영역에서 소정의 객체가 감지되는 이벤트가 1회 발생하는 경우, 모델명에서, 갤럭시 S9은 5회, 갤럭시 노트 8은 3회로 데이터가 수집되고, 색상면에서 블랙은 6회, 블루는 2회로 데이터가 수집되며, 가격면에서 80만원은 5회, 60만원은 3회로 데이터가 수집될 수 있다.
이에 따라, 전자 장치(100) 또는 외부 서버는 태그 정보가 수집된 횟수를 이용하여, 이벤트 발생과 제품의 매출 간의 상호작용에 대한 데이터를 분석할 수 있다.
도 14의 (a) 및 (b)는 일 실시예에 따른 전자 장치가 설정된 인터랙티브 영역을 저장하는 방법을 설명하기 위해 참조되는 도면이다.
전자 장치(100)는 복수의 3차원 박스들을 생성하고, 복수의 3차원 박스들에 대응하는 복수의 인터랙티브 영역들을 설정할 수 있다.
예를 들어, 전자 장치(100)는 도 14의 (a)에 도시된 바와 같이, 3개의 3차원 박스들(1310, 1320, 1330)을 생성하고, 3개의 3차원 박스들(1310, 1320, 1330) 각각에 대응하는 제1 내지 제3 인터랙티브 영역들을 실제 공간 상에 설정할 수 있다. 이때, 전자 장치(100)는 3개의 3차원 박스들(1310, 1320, 1330)을 포함하는 레이아웃을 제1 파일로 저장할 수 있다. 예를 들어, 3개의 3차원 박스들(1310, 1320, 1330)에 대한 좌표 값 정보 및 태그 정보를 저장할 수 있다.
또한, 전자 장치(100)는 도 14의 (b)에 도시된 바와 같이, 4개의 3차원 박스들(1340, 1350, 1360, 1370)을 생성하고, 4개의 3차원 박스들 각각에 대응하는 제4 내지 7 인터랙티브 영역들을 실제 공간 상에 설정할 수 있다. 이때, 전자 장치(100)는 4개의 3차원 박스들(1340, 1350, 1360, 1370)을 포함하는 레이아웃을 제2 파일로 저장할 수 있다. 예를 들어, 4개의 3차원 박스들(1340, 1350, 1360, 1370)에 대한 좌표 값 정보 및 태그 정보를 저장할 수 있다.
이에 따라, 전자 장치(100)는 저장된 제1 파일 또는 제2 파일을 이용하여, 3차원 박스들(인터랙티브 영역들)에 대응하는 컨텐츠만 변경하여 설정함으로써, 용이하게 인터랙티브 시스템을 구성할 수 있다.
도 15는 일 실시예에 따른 인터랙티브 시스템의 동작방법을 설명하기 위해 참조되는 도면이다.
도 15를 참조하면, 전자 장치(100)는 복수의 이벤트들이 동시에 발생하였을 때, 복수의 이벤트들 각각에 대응하는 컨텐츠들이 동시에 실행되도록 설정할 수 있다. 예를 들어, 일 실시예에 따른 전자 장치(100)에 의해 실제 공간 상에 설정된 제1 인터랙티브 영역(1410) 및 제2 인터랙티브 영역(1420)에서 동시에 이벤트가 발생하면, 제1 인터랙티브 영역(1410)에 대응하는 제1 컨텐츠 및 제2 인터랙티브 영역(1420)에 대응하는 제2 컨텐츠를 동시에 실행하도록 설정할 수 있다. 이에 따라, 제1 인터랙티브 영역(1410) 및 제2 인터랙티브 영역(1420)에서 동시에 이벤트가 발생하면, 디스플레이 장치(200)는 화면을 2개의 영역들(제1 영역(1430), 제2 영역(1440))로 분할하고, 제1 영역(1430)에는 제1 컨텐츠를 표시하고, 제2 영역(1440)에는 제2 컨텐츠를 표시할 수 있다.
또한, 제1 인터랙티브 영역(1410)에서 이벤트가 발생하여, 디스플레이 장치(200)가 전체 화면으로 제1 컨텐츠를 표시하는 동안, 기 설정된 시간 내에 제2 인터랙티브 영역(1420)에서 이벤트가 발생하는 경우, 디스플레이 장치(200)는 화면을 2개의 영역들(제1 영역(1430), 제2 영역(1440))로 분할할 수 있다. 이때, 기 설정된 시간은 사용자 입력에 기초하여 결정되거나, 제1 컨텐츠의 실행 시간에 기초하여 결정될 수 있다. 또한, 디스플레이 장치(200)는 분할된 제1 영역(1430)에 제1 컨텐츠를 표시하고, 제2 영역(1440)에는 제2 컨텐츠를 표시할 수 있다. 다만, 이에 한정되지 않는다.
도 16은 일 실시예에 따른 인터랙티브 시스템의 동작방법을 설명하기 위해 참조되는 도면이다.
도 16을 참조하면, 일 실시예에 따른 인터랙티브 시스템은, 전자 장치(100), 디스플레이 장치(200) 및 IOT 장치(1400)를 포함할 수 있다. 일 실시예에 따른 전자 장치(100)는 설정된 인터랙티브 영역에서 이벤트 발생이 감지되는 경우, IOT 장치(1400)가 동작하도록 설정할 수 있다. IOT 장치(1400)는, 조명 기기일 수 있다.
예를 들어, 도 16에 도시된 바와 같이, 전자 장치(100)는 3차원 박스(1460)에 대응하는 인터랙티브 영역(1450)에서 제1 이벤트(예를 들어, 소정의 객체가 감지되는 이벤트)의 발생이 감지되는 경우, 조명 기기(1400)의 전원을 켜도록 설정할 수 있다. 또는, 3차원 박스(1460)에 대응하는 인터랙티브 영역(1450)에서 제2 이벤트(예를 들어, 감지되던 소정의 객체가 감지되지 않는 이벤트)의 발생이 감지되는 경우, 조명 기기(1400)의 전원을 끄도록 설정할 수 있다.
이때, 디스플레이 장치(200)는 인터랙티브 영역(1450)을 모니터링하여, 제1 이벤트의 발생이 감지되면, 조명기기(1400)로 제1 이벤트 발생을 알리는 정보를 전송하거나 온(On) 명령을 전송할 수 있다. 또는, 디스플레이 장치(200)는 인터랙티브 영역(1450)에서 제2 이벤트 발생이 감지되면, 조명기기(1400)로 제2 이벤트 발생을 알리는 정보를 전송하거나, 오프(Off) 명령을 전송할 수 있다.
조명 기기(1400)는 디스플레이 장치(200)로부터 이벤트 발생을 알리는 정보, 온(On) 명령, 오프(Off) 명령 등을 수신하여, 이벤트 발생에 따라 조명기기의 전원을 온/오프(On/Off)할 수 있다.
도 17은 일 실시예에 따른 인터랙티브 시스템의 동작방법을 나타내는 흐름도이다.
도 17을 참조하면, 일 실시예에 따른 인터랙티브 시스템은, 전자 장치(100), 모니터링 장치(400) 및 IOT 장치(500)를 포함할 수 있다.
일 실시예에 따른 전자 장치(100)는 모니터링할 실제 공간을 촬영한 이미지를 획득할 수 있다(S1510). 모니터링할 실제 공간을 촬영한 이미지는, 전자 장치(100) 또는 모니터링 장치(400)에서 촬영한 이미지일 수 있다. 또는, 외부 장치에서 촬영한 이미지일 수 있다.
전자 장치(100)는 촬영된 실제 공간에 대한 이미지를 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치(100)는 실제 공간에 포함되는 객체들의 깊이 값 정보에 기초하여, 실제 공간을 3차원으로 나타내는 이미지를 표시할 수 있다.
전자 장치(100)는 표시된 이미지에 기초하여, 인터랙티브 영역을 설정하고, 인터랙티브 영역에 대응하는 IoT 장치의 동작을 설정할 수 있다(S1520). 전자 장치(100)가 인터랙티브 영역을 설정하는 방법은, 도 5의 430 단계(S430), 도 6 내지 도 9에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
또한, 전자 장치(100)는 인터랙티브 영역에서 이벤트가 발생되면, IoT 장치가 소정의 동작을 수행하도록 설정할 수 있다.
전자 장치(100)는 인터랙티브 영역에 대한 정보(예를 들어, 3차원 박스의 좌표 값 정보 등) 및 이벤트에 대한 정보를 모니터링 장치(400)로 전송하고(S1530), 설정된 IoT 장치의 동작에 대한 정보를 IoT 장치(500)로 전송할 수 있다(S1540). 또는, 전자 장치(100)는 설정된 IoT 장치의 동작에 대한 정보도 모니터링 장치(400)로 전송할 수도 있다.
모니터링 장치(400)는 전자 장치(100)로부터 수신한 인터랙티브 영역에 대한 정보에 기초하여, 인터랙티브 영역을 모니터링할 수 있다(S1550). 예를 들어, 모니터링 장치(400)는 모니터링 장치(400)에서 촬영되는 실제 공간에서, 3차원 박스에 대응하는 인터랙티브 영역을 결정하고, 인터랙티브 영역에서 기 설정된 이벤트가 발생하는지 여부를 모니터링할 수 있다.
모니터링 장치(400)는 이벤트의 발생이 감지되면(S1560), IoT 장치(500)로 이벤트의 발생을 알리는 정보를 전송할 수 있다(S1570).
IoT 장치(500)는 발생된 이벤트에 대응하는 동작을 수행할 수 있다(S1580).
도 18은 일 실시예에 따른 인터랙티브 시스템의 동작방법을 설명하기 위해 참조되는 도면이다.
도 18을 참조하면, 일 실시예에 따른 인터랙티브 시스템은, 전자 장치(100), 모니터링 장치(400) 및 IoT 장치(500)를 포함할 수 있다.
일 실시예에 따른 전자 장치(100)는 제1 인터랙티브 영역(1610), 제2 인터랙티브 영역(1620) 및 제3 인터랙티브 영역(1630)이 실제 공간에 설정되도록 제어할 수 있다. 전자 장치(100)는 모니터링 할 실제 공간을 촬영한 이미지를 획득하고, 획득한 이미지에 기초하여, 인터랙티브 영역을 설정할 수 있다. 전자 장치(100)가 인터랙티브 영역을 설정하는 방법에 대해서는, 도 6 내지 도 9에서 자세히 설명하였으므로 구체적인 설명은 생략한다.
모니터링 장치(400)는 제1 내지 제3 인터랙티브 영역들(1610, 1620, 1630) 각각에서 기 설정된 이벤트가 발생되는지 여부를 모니터링할 수 있다.
예를 들어, 전자 장치(100)는 제1 내지 제3 인터랙티브 영역들(1610, 1620, 1630) 각각에 대응하는 이벤트를 소정의 객체가 감지되는 이벤트로 설정할 수 있다. 또한, 전자 장치(100)는 제1 인터랙티브 영역(1610)에 대응하는 동작으로, 세탁기(511)의 온/오프 동작을 설정하고, 제2 인터랙티브 영역(1620)에 대응하는 동작으로 오븐(512)의 온/오프 동작을 설정하고, 제3 인터랙티브 영역(1630)에 대응하는 동작으로 스피커(513)의 온/오프 동작이나 볼륨 조절 동작을 설정할 수 있다. 다만, 이에 한정되지 않는다.
모니터링 장치(400)는 제1 내지 제 3 인터랙티브 영역들(1610, 1620, 1630) 각각에서 이벤트의 발생이 감지되면, 세탁기(511), 오븐(512), 스피커(513)로 이벤트의 발생을 알리는 정보를 전송할 수 있다. 또는, 이벤트 발생에 대응하는 기 설정된 동작을 수행하도록 제어 명령을 전송할 수 있다. 세탁기(511), 오븐(512), 스피커(513) 각각은 발생된 이벤트에 대응하여, 온/오프 동작이나 볼륨 조절 동작을 수행할 수 있다.
이에 따라, 제1 내지 제3 인터랙티브 영역들(1610, 1620, 1630)은 IoT 장치들(세탁기, 오븐, 스피커)에 대한 가상 스위치로써 동작할 수 있다.
도 19는 일 실시예에 따른 인터랙티브 시스템의 동작방법을 설명하기 위해 참조되는 도면이다.
도 19를 참조하면, 인터랙티브 시스템은 모니터링 장치(400) 및 IoT 장치들(520, 530, 540, 550, 560) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 모니터링 장치(400)는 디스플레이 장치일 수 있으며, TV일 수 있다. 다만, 이에 한정되지 않는다. 모니터링 장치(400)는 카메라(410), 마이크로폰(420), 인체 감지 센서(430), 조도 센서(440), 온도 센서(450) 등을 포함할 수 있다. 카메라(410), 마이크로폰(420), 인체 감지 센서(430), 조도 센서(440), 온도 센서(450) 등은 모니터링 장치(400)에 내장된 모듈일 수 있으며, 또는, 별도의 모듈로 구성되어 모니터링 장치(400)에 설치될 수 있다.
모니터링 장치(400)는 기 설정된 이벤트가 발생하는지 여부를 모니터링하고, 이벤트가 발생되는 경우, 발생된 이벤트에 대응하는 IoT 장치로 이벤트 발생을 알리는 정보를 전송할 수 있다.
예를 들어, 모니터링 장치(400)는 카메라(410)를 이용하여, 설정된 인터랙티브 영역에서 사람을 감지할 수 있으며, 감지되는 사람을 인식하거나 사람의 수를 모니터링할 수 있다. 모니터링 장치(400)는 인식된 사람에 대한 정보나 감지된 사람의 수에 대한 정보를 TV로 전송할 수 있다. TV는 수신한 정보에 기초하여, 전원을 켜거나, 현재 채널을 인식된 사람에 대응하는 채널로 변경하거나, 감지된 사람 수에 대응하는 채널로 변경할 수 있다.
모니터링 장치(400)는 마이크로폰(420)을 이용하여, 아기 울음 소리를 감지할 수 있다. 모니터링 장치(400)는 오디오(520) 또는 휴대폰(530)으로 이벤트 발생(아기 울음 소리 감지)을 알리는 정보를 전송할 수 있다. 수신한 정보에 기초하여, 오디오(520)는 자장가를 재생하고, 휴대폰(530)은 기 설정된 외부 장치로 문자나 전화를 발신할 수 있다.
모니터링 장치(400)는 마이크로폰(420)을 통하여 입력되는 음성을 분석하여 화자를 인식할 수 있다. 모니터링 장치(400)는 특정 화자가 인식되는 경우, 인식된 특정 화자에 대응하는 동작을 수행하도록 IoT 장치들로 이벤트 발생(특정 화자 인식)을 알리는 정보를 전송할 수 있다. IoT 장치들은 수신한 정보에 기초하여, 기 설정된 동작을 수행할 수 있다. 예를 들어, 오디오(520)는 인식된 특정 화자에 대응하는 음악을 재생시키고, 조명 기기(550)는 인식된 특정 화자에 대응하는 밝기로 조명을 켜고, 에어컨(560)은 인식된 특정 화자에 대응하는 온도로 희망 온도를 설정할 수 있다.
모니터링 장치(400)는 인체 감지 센서를 이용하여, 인체를 감지할 수 있다. 모니터링 장치(400)는 인체가 감지되는 경우, 조명 기기(550), TV, 오디오(520)로 이벤트 발생을 알리는 정보를 전송할 수 있다. 수신한 정보에 기초하여, 조명 기기(550), TV, 오디오(520)는 전원을 켜는 동작을 수행할 수 있다.
또는, 모니터링 장치(400)는 인체가 감지되는 경우, 카메라 및 휴대폰(530)으로 이벤트 발생을 알리는 정보를 전송하고, 휴대폰(530)은 기 설정된 외부 장치로 문자를 전송하거나 카메라로 촬영되는 영상을 전송할 수 있다.
모니터링 장치(400)는 기 설정된 시간 이상으로 인체가 감지되지 않는 경우, 조명 기기(550)나 TV로 이벤트 발생을 알리는 정보를 전송하고, 조명 기기(550)나 TV는 전원을 끄는 동작을 수행할 수 있다.
일 실시예에 따른 모니터링 장치(400)는 조도 센서(440)를 이용하여, 조도를 감지할 수 있다. 모니터링 장치(400)는 조도가 기 설정된 조도보다 밝은 것으로 감지되는 경우, 조명 기기(550)나 전동 커튼으로 이벤트 발생을 알리는 정보를 전송할 수 있다. 수신한 정보에 기초하여, 조명 기기(550)는 조명을 끄거나 조도를 어둡게 조절하고, 전동 커튼은 커튼을 닫는 동작을 수행할 수 있다.
반면에, 모니터링 장치(400)에서 조도가 기 설정된 조도보다 어두운 것으로 감지되는 경우, 조명 기기(550)나 전동 커튼으로 이벤트 발생을 알리는 정보를 전송할 수 있다. 수신한 정보에 기초하여, 조명 기기(550)는 조명을 켜거나 조도를 밝게 조절하고, 전동 커튼은 커튼을 여는 동작을 수행할 수 있다.
일 실시예에 따른 모니터링 장치(400)는 온도 센서(450)를 이용하여, 온도를 감지할 수 있다. 모니터링 장치(400)는 온도가 기 설정된 온도보다 높거나 낮은 것으로 감지되는 경우, 에어컨(560), 선풍기, 난로, 히터 등으로 이벤트 발생을 알리는 정보를 전송할 수 있다. 에어컨(560), 선풍기, 난로, 히터 등은 수신한 정보에 기초하여, 전원을 온/오프 하거나 적정 온도를 설정할 수 있다.
일 실시예에 따른 모니터링 장치(400)는 현재 시간 정보를 수집할 수 있다. 모니터링 장치(400)는 기 설정된 시간에 도달하면, 기 설정된 시간에 대응하는 동작을 수행하도록 IoT 장치들로 이벤트 발생(기 설정된 시간 도달)을 알리는 정보를 전송할 수 있다. IoT 장치들은 수신한 정보에 기초하여, 기 설정된 동작을 수행할 수 있다. 예를 들어, 전동 커튼은 커튼을 여는 동작을 수행하고, TV는 전원을 켜고, 로봇 청소기(540)는 청소 동작을 수행하고, 오디오(520)는 음악을 재생시키는 동작을 수행할 수 있다.
일 실시예에 따른 모니터링 장치(400)는 오븐의 동작을 감지할 수 있다. 모니터링 장치(400)는 오븐이 동작하면, 환풍기로 이벤트 발생을 알리는 정보를 전송할 수 있다. 환풍기는 수신한 정보에 기초하여, 동작될 수 있다. 또는, 요리가 완료되어 오븐 동작이 종료되면, 환풍기는 동작을 정지할 수 있다.
일 실시예에 따른 인터랙티브 시스템은 도 19에서 설명한 실시예들에 한정되는 것은 아니다. 도 19에서 설명한 실시예들은 일 예들에 불과하며, 인터랙티브 시스템은 다양하게 변형 또는 응용된 형태로 구현될 수 있다.
도 20은 일 실시예에 따른 디스플레이 장치에서 인터랙티브 영역을 설정하는 방법을 설명하기 위해 참조되는 도면이다.
일 실시예에 따르면, 도 6 내지 도 14에서 도시하고 설명한 인터랙티브 영역을 설정하는 동작들, 인터랙티브 영역에 대응하는 컨텐츠를 설정하는 동작들, 인터랙티브 영역에 태그 정보를 설정하는 동작들, 인터랙티브 영역을 저장하는 동작들은, 일 실시예에 따른 디스플레이 장치(2000)에 의해 수행될 수 있다.
도 20을 참조하면, 디스플레이 장치(2000)는 모니터링될 실제 공간이 촬영된 이미지(2110)를 디스플레이에 표시할 수 있다. 모니터링될 실제 공간이 촬영된 이미지는, 외부 장치로부터 수신한 이미지이거나, 디스플레이 장치(2000)가 촬영한 이미지일 수 있다. 또한, 실제 공간이 촬영된 이미지는 적어도 하나의 객체를 포함할 수 있으며, 객체들의 깊이 값 정보를 포함하는 이미지일 수 있다.
디스플레이 장치(2000)는 이미지에 포함되는 적어도 하나의 지점 또는 객체에 기초하여, 3차원 박스를 생성할 수 있다. 이때, 디스플레이 장치(2000)는 이미지에 포함된 어느 하나의 지점을 선택하는 입력, 이미지에 포함된 어느 하나의 지점에서 다른 지점으로 드래그하는 입력, 이미지에 포함된 객체를 선택하는 입력 등을 제어 장치(2200)로부터 수신할 수 있다.
일 실시예에 따른 제어 장치(2200)는, 리모콘 또는 휴대폰과 같이 디스플레이 장치(2000)를 제어하기 위한 다양한 형태의 장치로 구현될 수 있다. 또한, 제어 장치(2200)는 적외선(infrared) 또는 블루투스(bluetooth)를 포함하는 근거리 통신을 이용하여 디스플레이 장치(2000)를 제어할 수 있다. 제어 장치(2200)는 구비된 키(하드 키 버튼, 소프트 키, 스크롤 휠 등을 포함), 터치 패드(touchpad), 사용자의 음성의 수신이 가능한 마이크(도시되지 아니함), 및 제어 장치(200)의 모션 인식이 가능한 센서(도시되지 아니함) 중 적어도 하나를 이용하여 디스플레이 장치(2000)의 기능을 제어할 수 있다.
또한, 디스플레이 장치(2000)는 생성된 3차원 박스(2130)를 표시할 수 있다. 디스플레이 장치(2000)는 제어 장치(2200)로부터 수신한 사용자 입력에 기초하여, 표시되는 이미지의 뷰 앵글, 3차원 박스의 크기 및 위치 중 적어도 하나를 조절할 수 있다. 이에 대해서는 도 7 내지 9b에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
디스플레이 장치(2000)는 3차원 박스(2130)에 대응하는 인터랙티브 영역이 실제 공간에 설정되도록 제어할 수 있다. 예를 들어, 도 21에 도시된 바와 같이, 3차원 박스(2130)에 대응하는 인터랙티브 영역(2140)이 실제 공간에 설정될 수 있다.
또한, 디스플레이 장치(2000)는 3차원 박스가 생성되면, 3차원 박스에 대응하는 이벤트 및 이벤트가 감지되었을 때, 실행할 동작을 설정할 수 있다. 디스플레이 장치(2000)는 3차원 박스에 대응하는 이벤트로, 특정 모션(제스쳐) 감지, 소정의 객체 감지, 감지되던 소정의 객체가 감지되지 않는 이벤트 등을 설정할 수 있다. 다만, 이에 한정되지 않는다.
예를 들어, 디스플레이 장치(2000)는 도 20에 도시된 바와 같이, 3차원 박스(2130)에 대응하는 이벤트로, 특정 모션을 감지하는 이벤트를 설정할 수 있다. 예를 들어, 특정 모션은 손바닥을 폈다가 오므려서 주먹을 쥐는 제1 모션, 손바닥을 펴서 아래 위로 이동시키는 제2 모션, 손바닥을 펴서 좌우로 흔드는 제3 모션을 포함할 수 있다.
또한, 디스플레이 장치(2000)는 3차원 박스에 대응하는 인터랙티브 영역에서 이벤트가 감지되었을 때, 실행할 동작으로, 전원 온/오프 동작, 채널 전환 동작, 볼륨 조절 동작, 화면 밝기 조절 동작 등을 설정할 수 있다. 다만, 이에 한정되지 않는다. 이때, 디스플레이 장치(2000)는 실행 동작을 나타내는 아이템들을 포함하는, 리스트(2150)를 표시할 수 있으며, 아이템을 복수의 이벤트들 각각에 대응하는 영역(2161, 2162, 2163)에 드래그 앤 드롭하는 입력으로, 이벤트에 대응하는 실행 동작을 설정할 수 있다.
디스플레이 장치(2000)는 도 20에 도시된 바와 같이, 제1 모션에는 전원의 온/오프 동작을, 제2 모션에는 채널 전환 동작을, 제3 모션에는 볼륨 조절 동작을 설정할 수 있다.
도 21은 일 실시예에 따른 디스플레이 장치가 동작하는 일 예를 나타내는 도면이다.
디스플레이 장치(2000)는 생성된 3차원 박스의 좌표 값 정보에 기초하여, 실제 공간 상에서 3차원 박스에 대응하는 인터랙티브 영역(2140)을 결정하고, 3차원 박스에 설정된 이벤트 정보에 기초하여, 인터랙티브 영역(2140)에서 이벤트가 발생하는지 여부를 모니터링할 수 있다. 일 실시예에 따른 디스플레이 장치(2000)는 모션 센서(2170)를 포함할 수 있으며, 모션 센서를 이용하여, 인터랙티브 영역(2140)에서 특정 모션을 감지할 수 있다. 디스플레이 장치(2000)는 인터랙티브 영역에서 이벤트(예를 들어, 특정 모션)가 감지되는 경우, 3차원 박스에 설정된 실행 동작 정보에 기초하여, 해당 동작을 수행할 수 있다.
예를 들어, 디스플레이 장치(2000)는 인터랙티브 영역(2140)에서 손바닥을 폈다가 오므려서 주먹을 쥐는 모션을 감지하는 경우, 디스플레이 장치(2000)의 전원을 켜거나 끌 수 있다. 또는, 디스플레이 장치(2000)는 인터랙티브 영역(2000)에서 손바닥을 펴서 위, 아래로 이동시키는 모션을 감지하는 경우, 현재 채널을 다른 채널로 전환할 수 있다.
도 22는 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 22를 참조하면, 일 실시예에 따른 디스플레이 장치(2000)는, 튜너부(2040), 제어부(2010), 디스플레이부(2020), 통신부(2050), 감지부(2030), 비디오 처리부(2080), 저장부(2090)를 포함할 수 있다.
튜너부(2040)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(2000)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(2040)는 사용자 입력(예를 들어, 제어 장치(2200)로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널의 업/다운(up/down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.
튜너부(2040)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(2040)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
통신부(2050)는 제어부(2010)의 제어에 의해 외부 장치 또는 서버와 데이터 또는 신호를 송수신할 수 있다. 제어부(2010)는 통신부(2050)를 통해 연결된 외부 장치로 컨텐츠를 송/수신, 외부 장치로부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(2050)는 디스플레이 장치(2000)의 성능 및 구조에 대응하여 무선랜(예를 들어, 와이- 파이(Wi-Fi)), 블루투스, 및 유선 이더넷(Ethernet) 중 적어도 하나의 방식으로 데이터 또는 신호를 송수신할 수 있다.
비디오 처리부(2080)는, 디스플레이 장치(2000)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(2080)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
감지부(2030)는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부(2020)의 베젤의 광창(도시되지 아니함) 등을 통해 수신할 수 있다. 감지부(2030)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 제어부(2010)는 수신된 광 신호로부터 제어 신호를 추출할 수 있다. 또한, 감지부(2030)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지한다. 일 실시예에 따른 감지부(2030)는 사용자의 발화된 음성을 수신하는 마이크를 포함할 수 있다. 마이크는 수신된 음성을 전기 신호로 변환하여 제어부(2010)로 출력할 수 있다.
또한, 일 실시예에 따른 감지부(2030)는 사용자 입력을 감지하여, 감지된 신호를 제어부(2010)로 전달할 수 있다. 감지부(2030)는 제어 장치(2200)로부터 채널-업/다운, 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력을 감지할 수 있다. 또한, 일 실시예에 따른 감지부(2030)는 제어 장치(2200)에 포함된 채널-업 키 또는 채널-다운 키를 누르는 입력, 채널-업 키 또는 채널-다운 키를 길게 누르는(long press) 입력, 채널-업 키 또는 채널-다운 키를 릴리즈(release)하는 입력 등을 감지할 수 있다.
제어부(2010)는 디스플레이 장치(2000)의 전반적인 동작 및 디스플레이 장치(2000)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(2010)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 저장부(2090)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
디스플레이부(2020)는, 제어부(2010)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(2020)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이부(2020)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
저장부(2090)는 제어부(2010)의 제어에 의해 디스플레이 장치(2000)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부(2090)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 저장부(2090)의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(2000)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 제어부(220)는 저장부(240)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
한편, 도 22에 도시된 디스플레이 장치(2000)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치(2000)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 전자 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 전자 장치 또는 전자 장치의 동작방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (19)

  1. 전자 장치와 디스플레이 장치를 포함하는 시스템에 있어서,
    제1 디스플레이;
    사용자 입력부;
    제1 통신부;
    하나 이상의 인스트럭션들을 저장하는 제1 메모리; 및
    상기 제1 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 제1 통신부를 통해, 모니터링될 물리적 공간이 상기 디스플레이 장치에 의해 촬영된 이미지를 수신하고, 상기 촬영된 이미지는 상기 물리적 공간에 포함되는 복수의 객체들 및 상기 복수의 객체들의 깊이 값 정보를 포함하고,
    상기 제1 디스플레이에 상기 촬영된 이미지를 표시하도록 제어하고,
    상기 사용자 입력부를 통해, 상기 복수의 객체들 중 제1 객체를 선택하는 제1 사용자 입력을 수신하고,
    상기 제1 객체의 깊이 값 정보에 기초하여, 상기 제1 객체의 크기 및 모양에 따른 3차원 박스를 결정하여, 표시하고,
    상기 사용자 입력부를 통해 수신한 제2 사용자 입력에 기초하여, 상기 3차원 박스의 위치 및 크기 중 적어도 하나를 조절하고,
    상기 3차원 박스에 대응하는 컨텐츠를 설정하고,
    상기 제1 통신부를 통해 상기 3차원 박스에 대한 좌표 값 정보 및 상기 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하도록 제어하는 적어도 하나의 제1 프로세서를 포함하는 상기 전자 장치, 및
    이미지 센서 및 깊이 센서를 포함하는 센서;
    제2 디스플레이;
    제2 통신부;
    하나 이상의 인스트럭션들을 저장하는 제2 메모리; 및
    상기 제2 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 이미지 센서를 통해 모니터링될 상기 물리적 공간의 이미지를 촬영하고, 상기 촬영된 이미지는 상기 물리적 공간에 포함되는 상기 복수의 객체들 및 상기 깊이 센서를 통해 획득한 상기 복수의 객체들의 깊이 값 정보를 포함하고,
    상기 제2 통신부를 통해 상기 전자 장치로 상기 촬영된 이미지를 전송하고,
    상기 제2 통신부를 통해 상기 3차원 박스에 대한 좌표 값 정보 및 상기 컨텐츠에 대한 정보를 상기 전자 장치로부터 수신하고,
    상기 3차원 박스에 대한 좌표 값 정보에 기초하여, 상기 3차원 박스에 대응하는 인터랙티브 영역에서 이벤트를 감지하도록 상기 센서를 제어하고,
    상기 인터랙티브 영역에서 감지된 이벤트에 기초하여, 상기 3차원 박스의 컨텐츠에 대한 정보에 대응하는 상기 컨텐츠를 디스플레이하도록 상기 제2 디스플레이를 제어하는 적어도 하나의 제2 프로세서를 포함하는 상기 디스플레이 장치를 포함하는, 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 촬영된 이미지는, 상기 촬영된 물리적 공간을 3차원으로 렌더링한 이미지를 포함하며,
    상기 적어도 하나의 제1 프로세서는, 상기 제1 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 이미지를 드래그하는 사용자 입력에 기초하여, 상기 이미지의 뷰 앵글(view angle)을 조절하는, 시스템.
  5. 제1항에 있어서,
    상기 제1 디스플레이는,
    배경화면 잠금 아이콘을 표시하고,
    상기 적어도 하나의 제1 프로세서는, 상기 제1 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 배경화면 잠금 아이콘을 선택하는 사용자 입력에 기초하여, 상기 이미지의 뷰 앵글을 고정하는, 시스템.
  6. 제1항에 있어서,
    상기 적어도 하나의 제1 프로세서는, 상기 제1 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 3차원 박스에 포함되는 복수의 면들 중 적어도 하나에 상기 3차원 박스의 크기를 조절할 수 있는 수평/수직 크기 조절 오브젝트 및 상기 3차원 박스를 회전시킬 수 있는 회전 오브젝트를 표시하는, 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 적어도 하나의 제1 프로세서는, 상기 제1 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 3차원 박스에 설정된 컨텐츠가 복수의 컨텐츠들로 구성된 경우,
    상기 복수의 컨텐츠들 각각에 대응하는 서브 인터랙티브 영역들을 상기 물리적 공간에 설정되도록 제어하는, 시스템.
  9. 제1항에 있어서,
    상기 적어도 하나의 제1 프로세서는, 상기 제1 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 3차원 박스에 대응하는 적어도 하나의 태그 정보를 설정하고,
    상기 인터랙티브 영역에서 이벤트가 감지되는 것에 기초하여, 상기 적어도 하나의 태그 정보를 외부 장치로 전송하는, 시스템.
  10. 전자 장치와 디스플레이 장치를 포함하는 시스템의 동작 방법에 있어서,
    모니터링 될 물리적 공간의 이미지를 촬영하도록 상기 디스플레이 장치를 제어하는 단계, 상기 촬영된 이미지는 상기 물리적 공간에 포함되는 복수의 객체들 및 상기 복수의 객체들의 깊이 값 정보를 포함함;
    상기 촬영된 이미지를 상기 전자 장치로 전송하는 단계;
    상기 전자 장치가 상기 촬영된 이미지를 수신하는 단계;
    상기 촬영된 이미지를 디스플레이에 표시하도록 상기 전자 장치를 제어하는 단계;
    상기 전자 장치에 의해, 상기 복수의 객체들 중 제1 객체를 선택하는 제1 사용자 입력을 수신하는 단계;
    상기 전자 장치에 의해, 상기 제1 객체의 깊이 값 정보에 기초하여, 상기 제1 객체의 모양 및 크기에 따른 3차원 박스를 결정하여, 표시하는 단계;
    상기 전자 장치에 의,해 제2 사용자 입력에 기초하여, 상기 3차원 박스의 크기 및 위치 중 적어도 하나를 조절하는 단계;
    상기 전자 장치에 의해, 상기 3차원 박스에 대응하는 컨텐츠를 설정하는 단계;
    상기 전자 장치에 의해, 상기 3차원 박스에 대한 좌표 정보 및 상기 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하는 단계;
    상기 디스플레이 장치에 의해, 상기 3차원 박스에 대한 좌표 정보 및 상기 컨텐츠에 대한 정보를 수신하는 단계;
    상기 디스플레이 장치에 의해, 상기 3차원 박스의 좌표 값 정보에 기초하여, 상기 3차원 박스에 대응하는 인터랙티브 영역에서 이벤트를 감지하는 단계;
    상기 인터랙티브 영역에서 이벤트가 감지되는 것에 기초하여, 상기 3차원 박스의 컨텐츠에 대한 정보에 대응하는 상기 컨텐츠를 표시하도록 상기 디스플레이 장치를 제어하는 단계를 포함하는, 시스템의 동작 방법.
  11. 삭제
  12. 삭제
  13. 제10항에 있어서,
    상기 이미지는, 상기 촬영된 물리적 공간을 3차원으로 렌더링한 이미지를 포함하며,
    상기 동작 방법은,
    상기 전자 장치에 의해, 상기 이미지를 드래그하는 사용자 입력에 기초하여, 상기 이미지의 뷰 앵글(view angle)을 조절하는 단계를 더 포함하는, 동작 방법.
  14. 제10항에 있어서,
    상기 동작 방법은,
    배경화면 잠금 아이콘을 표시하도록 상기 전자 장치를 제어하는 단계; 및
    상기 전자 장치에 의해, 상기 배경화면 잠금 아이콘을 선택하는 사용자 입력에 기초하여, 상기 이미지의 뷰 앵글을 고정하는 단계를 더 포함하는, 동작 방법.
  15. 제10항에 있어서,
    상기 동작 방법은,
    상기 전자 장치에 의해, 상기 3차원 박스에 포함되는 복수의 면들 중 적어도 하나에 상기 3차원 박스의 크기를 조절할 수 있는 수평/수직 크기 조절 오브젝트 및 상기 3차원 박스를 회전시킬 수 있는 회전 오브젝트를 표시하는 단계를 더 포함하는, 동작 방법.
  16. 삭제
  17. 제10항에 있어서,
    상기 동작 방법은,
    상기 전자 장치에 의해, 상기 3차원 박스에 설정된 컨텐츠가 복수의 컨텐츠들로 구성된 경우, 상기 복수 컨텐츠들 각각에 대응하는 서브 인터랙티브 영역들을 상기 물리적 공간에 설정하는 단계를 더 포함하는, 동작 방법.
  18. 제10항에 있어서,
    상기 동작 방법은,
    상기 전자 장치에 의해, 상기 3차원 박스에 대응하는 적어도 하나의 태그 정보를 설정하는 단계; 및
    상기 인터랙티브 영역에서 이벤트 발생 시, 상기 전자 장치에 의해, 상기 적어도 하나의 태그 정보를 외부 장치로 전송하는 단계를 더 포함하는, 동작 방법.
  19. 제10항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180050187A 2018-04-30 2018-04-30 전자 장치 및 그 동작방법 KR102524586B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180050187A KR102524586B1 (ko) 2018-04-30 2018-04-30 전자 장치 및 그 동작방법
EP19161679.6A EP3564792B1 (en) 2018-04-30 2019-03-08 System and operating method thereof
US16/299,963 US10877645B2 (en) 2018-04-30 2019-03-12 Electronic device and operating method thereof
CN201980029421.8A CN112041803A (zh) 2018-04-30 2019-03-15 电子设备及其操作方法
PCT/KR2019/003039 WO2019212144A1 (en) 2018-04-30 2019-03-15 Electronic device and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180050187A KR102524586B1 (ko) 2018-04-30 2018-04-30 전자 장치 및 그 동작방법

Publications (2)

Publication Number Publication Date
KR20190125855A KR20190125855A (ko) 2019-11-07
KR102524586B1 true KR102524586B1 (ko) 2023-04-21

Family

ID=65818168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180050187A KR102524586B1 (ko) 2018-04-30 2018-04-30 전자 장치 및 그 동작방법

Country Status (5)

Country Link
US (1) US10877645B2 (ko)
EP (1) EP3564792B1 (ko)
KR (1) KR102524586B1 (ko)
CN (1) CN112041803A (ko)
WO (1) WO2019212144A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182124B1 (en) * 2020-05-21 2021-11-23 International Business Machines Corporation Execution of voice commands by selected devices
CN112783413B (zh) * 2020-12-31 2023-01-24 维沃移动通信（杭州）有限公司 图像处理方法、装置及电子设备
CN112819741B (zh) * 2021-02-03 2024-03-08 四川大学 一种图像融合方法、装置，电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170054569A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Company, Ltd. User-Configurable Interactive Region Monitoring
WO2017165705A1 (en) * 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
US20170287230A1 (en) * 2016-03-29 2017-10-05 Mental Canvas LLC Touch gestures for navigation and interacting with content in a three-dimensional space

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016147A (en) * 1995-05-08 2000-01-18 Autodesk, Inc. Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device
JPH08314608A (ja) * 1995-05-15 1996-11-29 Wacom Co Ltd デジタイザ、デジタイザ用の補助装置及びデジタイザシステム
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US7508377B2 (en) * 2004-03-05 2009-03-24 Nokia Corporation Control and a control arrangement
KR100960577B1 (ko) * 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
WO2009062153A1 (en) * 2007-11-09 2009-05-14 Wms Gaming Inc. Interaction with 3d space in a gaming system
KR101507797B1 (ko) 2008-05-29 2015-04-03 엘지전자 주식회사 단말기 및 그 제어 방법
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US20100149096A1 (en) * 2008-12-17 2010-06-17 Migos Charles J Network management using interaction with display surface
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
KR101096617B1 (ko) 2010-03-25 2011-12-21 동서대학교산학협력단 공간 멀티 인터랙션 기반 3차원 입체 인터랙티브 비전 시스템 및 그 방법
EP2689413A4 (en) * 2011-03-25 2015-07-22 Oblong Ind Inc QUICK FINGER FINGER DETECTION TO INITIALIZE A VISION BASED HAND TRACER
US8717318B2 (en) * 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
KR101758164B1 (ko) 2011-04-08 2017-07-26 엘지전자 주식회사 이동 단말기 및 3ｄ 멀티 앵글 뷰 제어방법
US8811719B2 (en) * 2011-04-29 2014-08-19 Microsoft Corporation Inferring spatial object descriptions from spatial gestures
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US9104271B1 (en) * 2011-06-03 2015-08-11 Richard Adams Gloved human-machine interface
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
CN102360489B (zh) * 2011-09-26 2013-07-31 盛乐信息技术（上海）有限公司 实现二维图像到三维图像转换的方法及装置
EP2779907B1 (en) * 2011-11-16 2022-06-15 Philips Image Guided Therapy Corporation Medical measuring system and method
US10168873B1 (en) * 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
US9996797B1 (en) * 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
US20150199022A1 (en) * 2014-01-13 2015-07-16 Fisoc, Inc. Gesture recognition for drilling down into metadata in augmented reality devices
US9971492B2 (en) * 2014-06-04 2018-05-15 Quantum Interface, Llc Dynamic environment for object and attribute display and interaction
CN104252561A (zh) * 2014-09-05 2014-12-31 北京尔宜居科技有限责任公司 一种在单一界面中同时展示同一装修场景的2d图像和3d图像的方法
CN104766354B (zh) * 2015-03-19 2018-05-04 深圳市创梦天地科技有限公司 一种增强现实绘图的方法及移动终端
US20170177087A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Hand skeleton comparison and selection for hand and gesture recognition with a computing interface
CN105760106B (zh) * 2016-03-08 2019-01-15 网易（杭州）网络有限公司 一种智能家居设备交互方法和装置
CN107622524A (zh) * 2017-09-29 2018-01-23 百度在线网络技术（北京）有限公司 用于移动终端的显示方法和显示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170054569A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Company, Ltd. User-Configurable Interactive Region Monitoring
WO2017165705A1 (en) * 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
US20170287230A1 (en) * 2016-03-29 2017-10-05 Mental Canvas LLC Touch gestures for navigation and interacting with content in a three-dimensional space

Also Published As

Publication number Publication date
CN112041803A (zh) 2020-12-04
US10877645B2 (en) 2020-12-29
EP3564792B1 (en) 2022-03-02
WO2019212144A1 (en) 2019-11-07
EP3564792A1 (en) 2019-11-06
US20190332250A1 (en) 2019-10-31
KR20190125855A (ko) 2019-11-07

Similar Documents

Publication Publication Date Title
US20140337749A1 (en) Display apparatus and graphic user interface screen providing method thereof
US9557808B2 (en) Display apparatus and method for motion recognition thereof
US10416786B2 (en) Method of displaying pointing information and device for performing the method
US10536742B2 (en) Display apparatus and display method
KR102338899B1 (ko) 홈 디바이스를 제어하는 방법 및 디바이스
RU2689412C2 (ru) Устройство отображения и способ отображения
KR102524586B1 (ko) 전자 장치 및 그 동작방법
KR102414806B1 (ko) 영상 표시 장치 및 영상 표시 방법
CN107736030B (zh) 用于显示图像的设备及其操作方法
KR102185367B1 (ko) 영상 표시 장치 및 영상 표시 방법
KR20160060846A (ko) 디스플레이 장치 및 디스플레이 방법
CN105763920A (zh) 显示装置和显示方法
CN107852425B (zh) 图像显示装置及其操作方法
EP3056974B1 (en) Display apparatus and method
KR20210074877A (ko) 디스플레이 장치 및 그 동작방법
CN105872681B (zh) 显示装置和显示方法
US20180024696A1 (en) Image projection apparatus and operation method thereof
KR20170125004A (ko) 디스플레이 장치 및 그 ui 화면 제공 방법
KR101685108B1 (ko) 홈 기기를 제어하는 방법 및 장치
KR20240045954A (ko) 전자 장치, 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant