KR20180020887A - 이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법 - Google Patents

이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20180020887A
KR20180020887A KR1020170101098A KR20170101098A KR20180020887A KR 20180020887 A KR20180020887 A KR 20180020887A KR 1020170101098 A KR1020170101098 A KR 1020170101098A KR 20170101098 A KR20170101098 A KR 20170101098A KR 20180020887 A KR20180020887 A KR 20180020887A
Authority
KR
South Korea
Prior art keywords
electronic devices
electronic device
electronic
identified
circuits
Prior art date
Application number
KR1020170101098A
Other languages
English (en)
Other versions
KR101938082B1 (ko
Inventor
아브히지트 허브슈어
마드흐베쉬 슐리브하비
프라모드 친탈라푸디
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180020887A publication Critical patent/KR20180020887A/ko
Application granted granted Critical
Publication of KR101938082B1 publication Critical patent/KR101938082B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N99/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/19—Controlling the light source by remote control via wireless transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Abstract

이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법의 다양한 양태들이 본원에서 개시된다. 실시예에 따르면, 시스템은 제1 전자 디바이스 상에서의 이미지의 디스플레이를 제어하는 제1 전자 디바이스를 포함한다. 이미지는 무선 통신 네트워크에 통신가능하게 결합된 하나 이상의 다른 전자 디바이스들을 포함한다. 하나 이상의 다른 전자 디바이스들은 하나 이상의 다른 전자 디바이스들과 연관된 아이덴티티 파라미터에 기초하여 디스플레이된 이미지에서 식별된다. 식별된 하나 이상의 다른 전자 디바이스들과 연관된 디바이스 설정들에 기초하여 식별된 하나 이상의 다른 전자 디바이스들 중의 제2 전자 디바이스가 제어된다.

Description

이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법{SYSTEM AND METHOD FOR DATA COMMUNICATION BASED ON IMAGE PROCESSING}
개시내용의 다양한 실시예들은 데이터 통신을 위한 시스템 및 방법에 관한 것이다. 더욱 구체적으로, 개시내용의 다양한 실시예들은 이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법에 관한 것이다.
통신 기술의 분야에서의 진보들은 무선 네트워크에서 전자 디바이스들 사이의 데이터 통신을 가능하게 하였다. 예를 들어, "올-조인(All-joyn)" 또는 사물 인터넷(Internet-of-Things)(IoT) 프레임워크와 같은 신흥 기술들은 무선 네트워크에서 전자 디바이스들 사이의 데이터 통신을 위한 어떤 복잡성들을 감소시켰다. 그러나, 여전히 어떤 시나리오들에서, 바람직한 결과를 달성하기 위하여 전자 디바이스들 사이의 통신을 확립하는 것은 어려울 수 있다. 데이터 통신 프로세스의 추가의 단순화가 바람직할 수 있다. 전자 디바이스들 사이의 데이터 통신 프로세스를 단순화할 수 있을 뿐만 아니라, 직관적 경험을 사용자에게 제공하여 데이터 통신을 수행하는 개량된 시스템이 요구될 수 있다.
기존의, 그리고 전통적인 접근법들의 추가의 제한들 및 단점들은 설명된 시스템들과, 본 출원의 나머지에서, 그리고 도면들을 참조하여 기재된 바와 같은 본 개시내용의 일부 양태들과의 비교를 통해, 본 기술 분야의 통상의 기술자에게 명백해질 것이다.
청구항들에서 더욱 완전하게 기재된 바와 같은, 도면들 중의 적어도 하나에서 실질적으로 도시되고, 및/또는 도면들 중의 적어도 하나와 관련하여 설명되는 바와 같은, 이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법이 개시된다.
본 개시내용의 이러한 그리고 다른 특징들 및 장점들은 유사한 참조 번호들이 그 전반에 걸쳐 유사한 부분들을 지칭하는 동반된 도면들과 함께, 본 개시내용의 다음의 상세한 설명의 검토로부터 인식될 수 있다.
도 1은 개시내용의 실시예에 따라, 이미지 프로세싱에 기초한 데이터 통신을 위한 네트워크 환경을 예시하는 블록도이다.
도 2는 개시내용의 실시예에 따라, 예시적인 전자 디바이스를 예시하는 블록도이다.
도 3a, 도 3b, 및 도 3c는 개시내용의 실시예에 따라, 이미지 프로세싱에 기초한 데이터 통신을 위한 개시된 시스템 및 방법의 구현예에 대한 제1 예시적인 시나리오를 집합적으로 예시한다.
도 4a, 도 4b, 및 도 4c는 개시내용의 실시예에 따라, 이미지 프로세싱에 기초한 데이터 통신을 위한 개시된 시스템 및 방법의 구현예에 대한 제2 예시적인 시나리오를 집합적으로 예시한다.
도 5는 개시내용의 실시예에 따라, 이미지 프로세싱에 기초한 데이터 통신을 위한 예시적인 방법을 예시하는 플로우차트이다.
다음의 설명된 구현예들은 이미지 프로세싱에 기초한 데이터 통신을 위한 개시된 시스템 및 방법에서 발견될 수 있다. 개시내용의 예시적인 양태들은 제1 전자 디바이스 상에서의 이미지의 디스플레이를 제어할 수 있는 방법을 포함할 수 있다. 이미지는 무선 통신 네트워크에 통신가능하게 결합된 하나 이상의 다른 전자 디바이스들을 포함할 수 있다. 하나 이상의 다른 전자 디바이스들은 하나 이상의 다른 전자 디바이스들과 연관된 아이덴티티 파라미터(identity parameter)에 기초하여 이미지에서 식별될 수 있다. 식별된 하나 이상의 다른 전자 디바이스들과 연관된 디바이스 설정들에 기초하여 식별된 하나 이상의 다른 전자 디바이스들 중의 제2 전자 디바이스가 제어될 수 있다.
실시예에 따르면, 제1 전자 디바이스는 내장형 이미지 캡처 유닛을 갖는 사물 인터넷(IoT) 디바이스에 대응할 수 있다. 제2 전자 디바이스를 포함하는 하나 이상의 다른 전자 디바이스들은 무선 통신 네트워크에 접속된 하나 이상의 다른 IoT 디바이스들에 대응할 수 있다.
실시예에 따르면, 하나 이상의 다른 전자 디바이스들과 연관된 하나 이상의 시각적 큐(visual cue)들은 이미지 프로세싱 기법의 이용에 의해 이미지에서 검출될 수 있다. 하나 이상의 시각적 큐들은 디바이스 마크(device mark), 디바이스 텍스처(device texture), 형상, 크기, 디바이스 구성, 및/또는 다른 디바이스 식별자들에 대응할 수 있다.
실시예에 따르면, 디바이스-타입은 검출된 하나 이상의 시각적 큐들, 아이덴티티 파라미터, 제1 전자 디바이스의 로케이션(location), 하나 이상의 다른 전자 디바이스들에 대한 제1 전자 디바이스의 방위(orientation), 이미지를 디스플레이하는 제1 전자 디바이스로부터의 하나 이상의 다른 전자 디바이스들의 거리에 기초하여 식별될 수 있다. 실시예에 따르면, 하나 이상의 다른 전자 디바이스들의 아이덴티티 파라미터는 인터넷 프로토콜(Internet Protocol)(IP) 어드레스, 매체 액세스 제어(Media Access Control)(MAC) 어드레스, 고유한 디바이스 식별자, 및/또는 서비스 세트 식별자(Service Set Identifier)(SSID)에 대응할 수 있다.
실시예에 따르면, 접속은 아이덴티티 파라미터에 기초하여 무선 통신 네트워크에서의 식별된 하나 이상의 다른 전자 디바이스들과 확립될 수 있다. 증강-현실(augmented-reality)(AR) 뷰는 식별된 하나 이상의 다른 전자 디바이스들의 제어를 가능하게 하기 위하여 제1 전자 디바이스 상에서 생성될 수 있다. AR 뷰는 하나 이상의 다른 전자 디바이스들의 시야(field-of-view)(FOV), FOV 내에 디스플레이된 식별된 하나 이상의 다른 전자 디바이스들과 연관된 하나 이상의 그래픽 제어들, 및/또는 식별된 하나 이상의 다른 전자 디바이스들의 디바이스-타입에 따라 호환가능한 하나 이상의 컨텐츠 항목들을 포함할 수 있다.
실시예에 따르면, 하나 이상의 그래픽 제어들은 FOV 내의 식별된 하나 이상의 다른 전자 디바이스들 각각의 디바이스-타입에 따라 AR 뷰 상에서 생성될 수 있다. 컨텐츠 항목은 제1 전자 디바이스 상의 AR 뷰로부터 선택될 수 있다. 선택된 컨텐츠 항목은, 선택된 컨텐츠 항목을 식별된 하나 이상의 다른 전자 디바이스들 중에서 특정 전자 디바이스로 통신하기 위하여, AR 뷰 상의 특정 전자 디바이스를 향해 드래깅(dragging)될 수 있다. 제1 전자 디바이스 상의 생성된 AR 뷰 상에서의 사용자 입력(또는 액션)에 기초하여, 미디어 항목의 비디오 컴포넌트는 제2 전자 디바이스로 통신될 수 있고 미디어 항목(동일한 미디어 항목)의 오디오 컴포넌트는 식별된 하나 이상의 다른 전자 디바이스들 중의 제3 전자 디바이스로 통신될 수 있다. 컨텐츠 항목의 선택 및/또는 통신을 개시하기 위한 AR 뷰 상의 특정 전자 디바이스를 향한 선택된 컨텐츠 항목들의 드래깅과 같은, 위에서 논의된 바와 같은 하나 이상의 동작들은 사용자 액션(들) 및/또는 입력에 기초하여 발생할 수 있다.
실시예에 따르면, 디바이스 설정들은 무선 통신 네트워크에 접속된 복수의 전자 디바이스들에 대하여 설정될 수 있다. 복수의 전자 디바이스들은 하나 이상의 다른 전자 디바이스들을 포함할 수 있다. 디바이스 설정들은 복수의 전자 디바이스들 상에서 수행되어야 할 동작과 연관된 사용자-선호도 및/또는 복수의 전자 디바이스들 각각의 디바이스-타입에 기초하여 설정될 수 있다. 디바이스 설정들은 머신 학습 기법의 적용에 의해 복수의 전자 디바이스들에 대하여 이전에 수행된 동작들의 시간적 분석에 기초하여 동적으로 업데이트될 수 있다.
실시예에 따르면, 특정 디바이스 설정은 제2 전자 디바이스를 제어하기 위한 디바이스 설정들로부터 선택될 수 있다. 특정 디바이스 설정은 현재의 동작 상태, 통신되어야 할 컨텐츠 항목의 데이터 타입, 및/또는 제2 전자 디바이스에 의해 지원된 하나 이상의 호환가능한 컨텐츠 항목들 또는 제어 기능들에 기초하여 선택될 수 있다. 식별된 하나 이상의 다른 전자 디바이스들 중의 제2 전자 디바이스는 무선 통신 네트워크로부터 검색된(retrieved) 제어 정보에 추가로 기초하여 제1 전자 디바이스에 의해 제어될 수 있다.
실시예에 따르면, 제1 전자 디바이스는 제1 전자 디바이스로부터 하나 이상의 다른 전자 디바이스들로의 데이터의 연속적인 전송을 표시하기 위하여 AR 뷰 상에서 시각적으로 지각가능한 그래픽 효과들을 디스플레이하도록 제어될 수 있다. 시각적으로 지각가능한 그래픽 효과들의 디스플레이는 통신되는 데이터의 타입에 따라 실시간으로 또는 실시간에 근접하여 수행될 수 있다.
실시예에 따르면, 호환가능한 미디어 타입들의 리스트는 무선 통신 네트워크로부터 검색된 제어 정보에 기초하여 식별된 하나 이상의 다른 전자 디바이스들의 각각에 대하여 식별될 수 있다. 제어 정보는 디바이스 사양 정보, 디바이스-타입, 및/또는 무선 통신 네트워크에서의 각각의 접속된 디바이스의 대응하는 고유한 디바이스 식별자와의 하나 이상의 시각적 큐들의 맵핑 정보를 포함할 수 있다. 실시예에 따르면, 무선 통신 네트워크는 무선 로컬 영역 네트워크 또는 다른 무선 통신 네트워크일 수 있다.
도 1은 개시내용의 실시예에 따라, 이미지 프로세싱에 기초한 데이터 통신을 위한 네트워크 환경을 예시하는 블록도이다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은 제1 전자 디바이스(102) 및, 제2 전자 디바이스(104a), 제3 전자 디바이스(104b), 및 제4 전자 디바이스(104c)와 같은 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있다. 무선 통신 네트워크(106), 사용자 인터페이스(User Interface)(UI)(108), 및 사용자(110)와 같은 하나 이상의 사용자들이 추가로 도시되어 있다.
실시예에 따르면, 제1 전자 디바이스(102)는 무선 통신 네트워크(106)에 접속될 수 있다. 하나 이상의 다른 전자 디바이스들(104)은 무선 통신 네트워크(106)에 또한 접속될 수 있다. 제1 전자 디바이스(102)는 사용자(110)와 연관될 수 있다.
제1 전자 디바이스(102)는 제1 전자 디바이스(102) 상에서 렌더링된 UI(108)의 뷰파인더(viewfinder) 상에서 디스플레이될 수 있는 하나 이상의 다른 전자 디바이스들(104)을 제어하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 제1 전자 디바이스(102)는 이미지 캡처 애플리케이션을 저장하도록 추가로 구성될 수 있다. 이미지 캡처 애플리케이션은 제1 전자 디바이스(102) 상에서 UI(108)를 렌더링할 수 있다. 제1 전자 디바이스(102)는 내장형 이미지 캡처 유닛을 갖는 사물 인터넷(IoT) 디바이스에 대응할 수 있다. 제1 전자 디바이스(102)의 예들은 스마트폰, 스마트안경 또는 스마트시계와 같은 웨어러블 디바이스, ma 카메라, 태블릿 컴퓨터, 랩톱, 및/또는 내장형 카메라를 갖는 휴대용 전자 디바이스를 포함할 수 있지만, 이것으로 제한되지는 않는다.
하나 이상의 다른 전자 디바이스들(104)은 제어 정보를 무선 통신 네트워크(106)를 통해 제1 전자 디바이스(102)로 통신하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 하나 이상의 다른 전자 디바이스들(104)은 무선 통신 네트워크(106)에 접속된 하나 이상의 다른 IoT 디바이스들에 대응할 수 있다. 하나 이상의 다른 전자 디바이스들(104)의 예들은 텔레비전, 스피커 시스템, 자동차 인포-엔터테인먼트 시스템(car info-entertainment system), 스마트폰, 랩톱, 조명 유닛과 같은 IoT 디바이스, 가정 소비자 전자 기기, 및/또는 다른 IoT 호환가능한 전자 디바이스들을 포함할 수 있지만, 이것으로 제한되지는 않는다.
무선 통신 네트워크(106)는 제1 전자 디바이스(102)가 제2 전자 디바이스(104a), 제3 전자 디바이스(104b), 및 제4 전자 디바이스(104c)와 같은 하나 이상의 다른 전자 디바이스들(104)과 매체를 통해 통신할 수 있는 매체를 포함할 수 있다. 무선 통신 네트워크(106)의 예들은 디지털 리빙 네트워크 얼라이언스(Digital Living Network Alliance)(DLNA) 기반 네트워크, 무선 로컬 영역 네트워크(wireless local area network)(WLAN), 인터넷, 또는 다른 무선 통신 네트워크들을 포함할 수 있지만, 이것으로 제한되지는 않는다. 네트워크 환경(100)에서의 다양한 디바이스들은 다양한 무선 통신 프로토콜들에 따라 무선 통신 네트워크(106)에 접속하도록 구성될 수 있다. 이러한 무선 통신 프로토콜들의 예들은 송신 제어 프로토콜 및 인터넷 프로토콜(Transmission Control Protocol and Internet Protocol)(TCP/IP), 사용자 데이터그램 프로토콜(User Datagram Protocol)(UDP), 하이퍼텍스트 전송 프로토콜(Hypertext Transfer Protocol)(HTTP), 파일 전송 프로토콜(File Transfer Protocol)(FTP), 지그비(ZigBee), EDGE, 적외선(infrared)(IR), IEEE 802.11, 802.16, 롱텀 에볼루션(Long Term Evolution)(LTE)과 같은 셀룰러 통신 프로토콜들, 및/또는 블루투스(Bluetooth)(BT) 통신 프로토콜들을 포함할 수 있지만, 이것으로 제한되지는 않는다.
UI(108)는 제1 전자 디바이스(102)의 디스플레이 스크린 상에서 렌더링된 애플리케이션 인터페이스일 수 있다. UI(108)는 사용자(110)가 하나 이상의 다른 전자 디바이스들(104)을 제어하는 것을 가능하게 할 수 있는 하나 이상의 UI 엘리먼트(element)들을 포함할 수 있다. UI(108)는 하나 이상의 다른 전자 디바이스들(104)로 송신되어야 할 컨텐츠 항목들을 디스플레이하도록 추가로 구성될 수 있다. UI(108)는 제1 전자 디바이스(102) 상에서 증강 현실(AR) 뷰를 디스플레이하도록 구비될 수 있다. UI(108)는 하나 이상의 다른 전자 디바이스들(104)의 각각의 디바이스-타입에 따라 AR 뷰 상에서 하나 이상의 그래픽 제어들을 디스플레이하도록 구비될 수 있다.
동작 시에, 사용자(110)는 UI(108)를 통해, 제1 전자 디바이스(102)에서 입력을 제공할 수 있다. 사용자(110)로부터 수신된 입력에 응답하여, 제1 전자 디바이스(102)는 제1 전자 디바이스(102)의 이미지 캡처 유닛의 이용에 의해 하나 이상의 이미지들 또는 비디오의 캡처를 가능하게 하기 위하여 UI(108)의 적어도 부분 상에서 뷰파인더를 디스플레이하도록 구성될 수 있다. 그 다음으로, 사용자(110)는 UI(108)의 뷰파인더를 통해 하나 이상의 다른 전자 디바이스들(104)을 시각화하기 위하여, 제1 전자 디바이스(102)의 이미지 캡처 유닛을 하나 이상의 다른 전자 디바이스들(104)을 향해 지시할 수 있다.
제1 전자 디바이스(102)는 제1 전자 디바이스(102) 상에서의 이미지의 디스플레이를 제어하도록 구성될 수 있다. 이미지는 제1 전자 디바이스(102)의 이미지 캡처 유닛의 현재의 시야(FOV)에 기초한 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있다. 실시예에 따르면, 제1 전자 디바이스(102)는 제1 전자 디바이스(102)의 로케이션 및/또는 하나 이상의 다른 전자 디바이스들(104)에 대한 제1 전자 디바이스(102)의 방위를 검출하도록 구성될 수 있다. 또한, 이미지를 디스플레이하는 제1 전자 디바이스(102)로부터 하나 이상의 다른 전자 디바이스들(104)의 거리가 결정될 수 있다.
실시예에 따르면, 제1 전자 디바이스(102)는 하나 이상의 이미지-프로세싱 기법들에 기초하여 디스플레이된 이미지에서 하나 이상의 다른 전자 디바이스들(104)을 검출하도록 구성될 수 있다. 제1 전자 디바이스(102)는 디스플레이된 이미지에서 하나 이상의 다른 전자 디바이스들(104)과 연관된 하나 이상의 시각적 큐들을 검출하도록 구성될 수 있다. 하나 이상의 시각적 큐들은 디바이스 마크, 디바이스 텍스처, 형상, 크기, 디바이스 구성, 및/또는 다른 디바이스 식별자들일 수 있다.
제1 전자 디바이스(102)는 무선 통신 네트워크(106)로부터 하나 이상의 다른 전자 디바이스들(104)과 연관된 아이덴티티 파라미터를 검색하도록 구성될 수 있다. 하나 이상의 다른 전자 디바이스들(104)의 아이덴티티 파라미터는 인터넷 프로토콜(IP) 어드레스, 매체 액세스 제어(MAC) 어드레스, 고유한 디바이스 식별자, 및/또는 서비스 세트 식별자(SSID)에 대응할 수 있다. 복수의 전자 디바이스들과 연관된 아이덴티티 파라미터는 무선 통신 네트워크(106)에서의 각각의 접속된 디바이스의 대응하는 고유한 디바이스 식별자와 사전-맵핑(pre-map)될 수 있다. 무선 통신 네트워크(106)에서 접속된 복수의 전자 디바이스들은 하나 이상의 다른 전자 디바이스들(104) 및 제1 전자 디바이스(102)를 포함할 수 있다. 디스플레이된 이미지에서의 검출된 하나 이상의 시각적 큐들 각각과 연관된 아이덴티티 파라미터는 무선 통신 네트워크(106)로부터 검색될 수 있다. 맵핑 정보는 제1 전자 디바이스(102)에서 사전-저장(pre-store)될 수 있거나, 무선 통신 네트워크(106)로부터 검색가능할 수 있다. 어떤 시나리오들에서는, 새로운 디바이스들이 무선 통신 네트워크(106)에 추가(통신가능하게 결합)될 수 있다. 이러한 시나리오들에서는, 이러한 새로운 디바이스들과 연관된 아이덴티티 파라미터가 또한 검색될 수 있다. 이러한 디바이스들에 대한 맵핑 정보는 무선 통신 네트워크(106)에서 동적으로 업데이트될 수 있다. 이에 따라, 사전-맵핑된 디바이스들 및 무선 통신 네트워크(106)에 새롭게 추가된 디바이스들의 양자는 대응하는 아이덴티티 파라미터(들)의 검색을 가능하게 하도록 작용할 수 있다.
실시예에 따르면, 하나 이상의 다른 전자 디바이스들(104)은 하나 이상의 다른 전자 디바이스들(104)과 연관된 적어도 검색된 아이덴티티 파라미터에 기초하여 제1 전자 디바이스(102)에 의해 식별될 수 있다. 제1 전자 디바이스들은 아이덴티티 파라미터에 기초하여, 무선 통신 네트워크(106)에서 식별된 하나 이상의 다른 전자 디바이스들(104)과 접속을 확립하도록 구성될 수 있다.
실시예에 따르면, 제1 전자 디바이스(102)는 하나 이상의 다른 전자 디바이스들(104)의 디바이스-타입을 식별하도록 구성될 수 있다. 디바이스-타입은 검출된 시각적 큐들 및 검색된 아이덴티티 파라미터에 기초하여 식별될 수 있다. 디바이스-타입은 하나 이상의 다른 전자 디바이스들(104)에 대한 제1 전자 디바이스(102)의 검출된 로케이션에 기초하여 추가로 식별될 수 있거나 검증될 수 있다. 예를 들어, 복수의 전자 디바이스들의 각각은 홈 공간에서 어떤 알려진 위치를 점유할 수 있다. 이에 따라, 제1 전자 디바이스(102)의 실내 위치결정은 검출된 로케이션에 대한 어떤 전자 디바이스들로의 그 근접성을 표시할 수 있다.
실시예에 따르면, 디바이스-타입은 하나 이상의 다른 전자 디바이스들(104)을 향한 제1 전자 디바이스(102)의 이미지 캡처 유닛의 지시의 방향을 표시할 수 있는 제1 전자 디바이스(102)의 검출된 방위에 기초하여 추가로 식별될 수 있다. 디바이스-타입은 제1 전자 디바이스(102)로부터의 하나 이상의 다른 전자 디바이스들(104)의 거리에 기초하여 추가로 식별될 수 있다. 예를 들어, 하나 이상의 다른 전자 디바이스들(104)이 UI(108) 상의 디스플레이된 이미지에서 큰 영역을 점유할 때, 그것은 하나 이상의 다른 전자 디바이스들(104)이 제1 전자 디바이스(102)에 밀접하게 근접하여 위치된다는 것을 표시할 수 있다. 큰 영역은 UI(108) 상의 사전설정된 문턱 영역보다 더 큰 영역일 수 있다. 유사하게, 하나 이상의 다른 전자 디바이스들(104)이 UI(108) 상의 디스플레이된 이미지에서 작은 영역을 점유할 때, 그것은 하나 이상의 다른 전자 디바이스들(104)이 제1 전자 디바이스(102)로부터 멀리 위치된다는 것을 표시할 수 있다. 작은 영역은 UI(108) 상의 사전설정된 문턱 영역보다 더 작은 영역일 수 있다.
실시예에 따르면, 디바이스 설정들은 무선 통신 네트워크(106)에 접속된 복수의 전자 디바이스들에 대하여 설정될 수 있다. 복수의 전자 디바이스들은 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있다. 디바이스 설정들은 복수의 전자 디바이스들의 각각에 의해 수행되어야 할 동작과 연관된 사용자-선호도 및/또는 복수의 전자 디바이스들 각각의 디바이스-타입에 기초하여 설정될 수 있다. 디바이스 설정들은 복수의 전자 디바이스들에 대하여 이전에 수행된 동작들의 시간적 분석에 기초하여 동적으로 업데이트될 수 있다. 업데이트는 머신 학습 기법의 적용에 의해 수행될 수 있다.
실시예에 따르면, 제1 전자 디바이스(102)는 식별된 하나 이상의 다른 전자 디바이스들(104)과 연관된 디바이스 설정들에 기초하여 식별된 하나 이상의 다른 전자 디바이스들(104)로부터, 제2 전자 디바이스(104a)와 같은 희망하는 전자 디바이스를 제어하도록 구성될 수 있다. 제1 전자 디바이스(102)는 제2 전자 디바이스(104a)의 제어를 위한 디바이스 설정들로부터 특정 디바이스 설정을 선택하도록 구성될 수 있다. 선택은 식별된 디바이스-타입, UI(108) 상에서 디스플레이된 것과 같은 이미지 캡처 유닛의 현재의 FOV, 및/또는 UI(108) 상의 현재의 FOV(또는 이미지)에서 디스플레이될 수 있는 식별된 하나 이상의 다른 전자 디바이스들(104)의 현재의 동작 상태에 기초하여 수행될 수 있다. 예를 들어, 제4 전자 디바이스(104c)는 제1 전자 디바이스(102)의 이미지 캡처 유닛에 의해 캡처된 바와 같은 현재의 FOV에 있을 수 있다. 이미지는 하나 이상의 다른 전자 디바이스들(104)의 제4 전자 디바이스(104c)를 오직 포함할 수 있다. 제4 전자 디바이스(104c)의 디바이스-타입은 조명 디바이스로서 식별될 수 있고, 제3 전자 디바이스(104b)의 동작 상태는 "OFF" 상태에 있는 것으로 결정될 수 있다. 이에 따라, 이 예에서의 제어는 제3 전자 디바이스(104b)를 "ON"으로 스위칭하기 위하여 제어 커맨드를 제3 전자 디바이스(104b)로 통신하는 것과 같이, 제3 전자 디바이스(104b)의 현재의 상태를 변경하는 것일 수 있다. 유사하게, 디바이스-타입이 예컨대, 제2 전자 디바이스(104a)를 위한 미디어 렌더러(media renderer)로서 식별되고 제2 전자 디바이스(104a)(미디어 렌더러)의 현재의 상태가 "ON" 상태에 있는 것으로 결정될 경우, 대응하는 액션이 제1 전자 디바이스(102)에 의해 취해질 수 있다. 예를 들어, 제2 전자 디바이스(104a)와 호환가능한 하나 이상의 컨텐츠 항목들 및/또는 제2 전자 디바이스(104a)에 의해 지원된 제어 기능들은 UI(108)를 통해 제1 전자 디바이스(102) 상에서 디스플레이될 수 있다.
실시예에 따르면, 제1 전자 디바이스(102)는 UI(108)를 통해 제1 전자 디바이스(102) 상에서 AR 뷰를 생성하고 디스플레이하도록 구성될 수 있다. 제1 전자 디바이스(102) 상에서 디스플레이된 AR 뷰는 하나 이상의 다른 전자 디바이스들(104)의 FOV, FOV 내에 디스플레이된 식별된 하나 이상의 다른 전자 디바이스들(104)과 연관된 하나 이상의 그래픽 제어들, 및/또는 식별된 하나 이상의 다른 전자 디바이스들(104)의 식별된 디바이스-타입과 호환가능한 하나 이상의 컨텐츠 항목들을 포함할 수 있다. 그래픽 제어들은 제1 전자 디바이스(102)의 이미지 캡처 유닛의 FOV 내에서 디스플레이된 식별된 하나 이상의 다른 전자 디바이스들(104)의 각각의 디바이스-타입에 따라 AR 뷰 상에서 생성될 수 있다. FOV는 UI(108)의 제1 부분과 같은 UI(108)의 어떤 부분 상에서 디스플레이될 수 있다. FOV는 디스플레이된 이미지에 대응할 수 있다.
실시예에 따르면, 하나 이상의 다른 전자 디바이스들은 UI(108) 상의 디스플레이된 그래픽 제어들의 선택에 의해 제어될 수 있다. 실시예에 따르면, 제1 전자 디바이스(102)는 UI(108)의 제1 부분 상에서 하나 이상의 다른 전자 디바이스들(104)의 이미지를 디스플레이하도록 구성될 수 있다. 실시예에 따르면, 객체, 전자 디바이스, 또는 그래픽 제어들의 선택과 같은 다양한 선택 동작들은 웨어러블 디바이스 또는 스마트안경을 이용하여 수행될 수 있다. UI(108)의 제2 부분 상에서, 제1 전자 디바이스(102)는 복수의 아이콘(icon)들 또는 선택가능한 링크들을 디스플레이하도록 구성될 수 있다. 복수의 아이콘들 또는 선택가능한 링크들은 디바이스-타입과 호환가능한 하나 이상의 컨텐츠 항목들, 또는 컨텐츠 항목이 송신되어야 하는 제2 전자 디바이스(104a)와 같은 식별된 하나 이상의 다른 전자 디바이스들(104)에 의해 지원된 하나 이상의 제어 기능들에 대응할 수 있다. 제1 전자 디바이스(102)는 제1 전자 디바이스(102)로부터 선택된 전자 디바이스로 통신되어야 할 컨텐츠 항목에 기초하여 식별된 하나 이상의 다른 전자 디바이스들(104)로부터 (제2 전자 디바이스(104a)와 같은) 특정 전자 디바이스를 선택하도록 구성될 수 있다.
실시예에 따르면, 사용자(110)는 제1 전자 디바이스(102) 상에서 디스플레이된 호환가능한 컨텐츠 항목들의 리스트로부터 컨텐츠 항목을 선택할 수 있다. 사용자(110)는 선택된 컨텐츠 항목을 AR 뷰 상의 FOV에서 디스플레이된 특정 전자 디바이스를 향해 드래깅해서 선택된 컨텐츠 항목을 식별된 하나 이상의 다른 전자 디바이스(104)들 중에서 특정 전자 디바이스로 통신할 수 있다. 예를 들어, 제1 전자 디바이스(102)는 제1 전자 디바이스(102) 상의 생성된 AR 뷰를 이용하여, 제2 전자 디바이스(104a)와 호환가능한 컨텐츠 항목의 비디오 컴포넌트 및 컨텐츠 항목의 오디오 컴포넌트를 식별된 하나 이상의 다른 전자 디바이스들(104)의 제3 전자 디바이스(104b)로 통신하도록 구성될 수 있다. (영화와 같은) 단일의 컨텐츠 항목으로부터의 오디오 컴포넌트 및 비디오 컴포넌트의 분리를 위한 이러한 판단은 사용자 액션 또는 입력에 기초하여 동적으로 발생할 수 있다. 이에 따라, 사용자(110)와 같은 사용자는 분리를 수행할 것인지 아닌지 여부를 판단할 수 있다. 동일한 미디어 항목의 오디오 및 비디오 컴포넌트의 분리된 송신의 예는 도 3b 및 도 3c에서 설명된다.
도 2는 개시내용의 실시예에 따라, 예시적인 전자 디바이스를 예시하는 블록도이다. 도 2는 도 1로부터의 엘리먼트들과 함께 설명된다. 도 2를 참조하면, 제1 전자 디바이스(102)가 도시되어 있다. 제1 전자 디바이스(102)는 프로세서(202)와 같은 하나 이상의 프로세서들, 메모리(204), I/O 디바이스(206)와 같은 하나 이상의 입력/출력(I/O) 디바이스들, 센싱 디바이스(208), 트랜시버(210), 및 이미지 캡처 유닛(212)을 포함할 수 있다. I/O 디바이스(206)는 디스플레이(214)를 포함할 수 있다. 도 2를 참조하면, 도 1의 무선 통신 네트워크(106)가 추가로 도시되어 있다.
프로세서(202)는 메모리(204), 및 I/O 디바이스(206), 센싱 디바이스(208), 트랜시버(210), 및 이미지 캡처 유닛(212)에 통신가능하게 결합될 수 있다. 트랜시버(210)는 무선 통신 네트워크(106)를 통해, 식별된 하나 이상의 다른 전자 디바이스들(104)과 같은 복수의 전자 디바이스들과 통신하도록 구성될 수 있다.
프로세서(202)는 메모리(204) 내에 저장된 명령들의 세트를 실행하도록 구성될 수 있는 적절한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 프로세서(202)는 본 기술 분야에서 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서(202)의 예들은 X86-기반 프로세서, X86-64-기반 프로세서, 축소 명령 세트 컴퓨팅(Reduced Instruction Set Computing)(RISC) 프로세서, 애플리케이션-특정 집적 회로(Application-Specific Integrated Circuit)(ASIC) 프로세서, 복합 명령 세트 컴퓨팅(Complex Instruction Set Computing)(CISC) 프로세서, 중앙 프로세싱 유닛(central processing unit)(CPU), 명시적 병렬 명령 컴퓨팅(Explicitly Parallel Instruction Computing)(EPIC) 프로세서, 초장 명령 워드(Very Long Instruction Word)(VLIW) 프로세서, 및/또는 다른 프로세서들 또는 회로들일 수 있다.
메모리(204)는 프로세서(202)에 의해 실행가능한 명령들의 세트를 저장하도록 구성될 수 있는 적당한 로직, 회로부, 및/또는 인터페이스들을 포함할 수 있다. 메모리(204)는 그 대응하는 시각적 큐들과 연관된 복수의 전자 디바이스들의 디바이스-타입들을 포함할 수 있는 데이터베이스를 저장하도록 구성될 수 있다. 메모리(204)는 무선 통신 네트워크(106)에 접속된 복수의 전자 디바이스들을 위한 디바이스 설정들을 저장하도록 추가로 구성될 수 있다. 디바이스-타입들은 대응하는 시각적 큐들, 호환가능한 컨텐츠 항목들의 리스트, 지원된 기능들, 및/또는 복수의 전자 디바이스들의 디바이스 설정들과의 연관 관계로 저장될 수 있다. 복수의 전자 디바이스들은 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있다. 메모리(204)는 오퍼레이팅 시스템들 및 연관된 애플리케이션들을 저장하도록 추가로 구성될 수 있다. 메모리(204)의 구현의 예들은 랜덤 액세스 메모리(Random Access Memory)(RAM), 판독 전용 메모리(Read Only Memory)(ROM), 전기적 소거가능 프로그래밍가능 판독-전용 메모리(Electrically Erasable Programmable Read-Only Memory)(EEPROM), 하드 디스크 드라이브(Hard Disk Drive)(HDD), 솔리드-스테이트 드라이브(Solid-State Drive)(SSD), CPU 캐시, 및/또는 시큐어 디지털(Secure Digital)(SD) 카드를 포함할 수 있지만, 이것으로 제한되지는 않는다.
I/O 디바이스(206)는 사용자(110)로부터 입력을 수신하고 출력을 사용자(110)에게 제공하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. I/O 디바이스(206)는 프로세서(202)와 사용자(110) 사이의 통신을 가능하게 하도록 구성될 수 있는 다양한 입력 및 출력 디바이스들을 포함할 수 있다. 입력 디바이스들의 예들은 이미지 캡처 유닛(212)을 활성화하기 위한 제1 전자 디바이스(102) 상의 버튼, UI(108) 상의 소프트웨어 버튼, 이미지 캡처 유닛(212), 캠코더(camcorder), 터치 스크린(touch screen), 마이크로폰(microphone), 모션 센서(motion sensor), 및/또는 광 센서를 포함할 수 있지만, 이것으로 제한되지는 않는다. 출력 디바이스들의 예들은 디스플레이(214), 프로젝터 스크린(projector screen), 및/또는 스피커를 포함할 수 있지만, 이것으로 제한되지는 않는다.
센싱 디바이스(208)는 물리적 또는 정량적 속성들을 검출하고 대응하는 출력을 센서 데이터로서 제공하기 위한 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함하는 하나 이상의 센서들을 포함할 수 있다. 물리적 또는 정량적 속성들은 방위, 모션, 접촉, 근접성, 지자기장(geo-magnetic field), 실내 위치결정, 및/또는 주변 조명을 포함할 수 있지만, 이것으로 제한되지는 않는다. 센싱 디바이스(208)에서의 하나 이상의 센서들은 제1 전자 디바이스(102)의 방위 및 지오-로케이션(geo-location)을 검출하도록 구성될 수 있다. 센싱 디바이스(208)에서의 하나 이상의 센서들은 탭(tap) 검출 및/또는 제스처(gesture) 검출을 위하여 추가로 구성될 수 있다. 센싱 디바이스(208)에서의 하나 이상의 센서들은 센싱 디바이스(208)에 의해 검출된 입력에 기초하여, 제2 전자 디바이스(104a) 및 제3 전자 디바이스(104b)와 같은 하나 이상의 다른 전자 디바이스들(104)의 제어를 보조하도록 추가로 구성될 수 있다. 하나 이상의 센서들의 예들은 가속도계, 글로벌 위치결정 시스템(global positioning system)(GPS) 센서, 실내 위치결정 시스템, 나침반 또는 마그노미터(magnometer), 주변 광 센서, 트리코더(tricorder), 자이로스코프(gyroscope), 근접 센서, 이미지 센서, 룩스 미터(lux meter), 터치 센서, 및/또는 적외선 센서를 포함할 수 있지만, 이것으로 제한되지는 않는다.
트랜시버(210)는 (도 1에서 도시된 바와 같은) 무선 통신 네트워크(106)를 통해, 식별된 하나 이상의 다른 전자 디바이스들(104)과 같은 복수의 전자 디바이스들과 통신하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 트랜시버(210)는 무선 통신 네트워크(106)와의 제1 전자 디바이스(102)의 무선 통신을 지원하기 위한 알려진 기술들을 구현할 수 있다. 트랜시버(210)는 안테나, 라디오 주파수(radio frequency)(RF) 트랜시버, 하나 이상의 증폭기들, 튜너(tuner), 하나 이상의 발진기들, 디지털 신호 프로세서, 코더-디코더(coder-decoder)(CODEC) 칩셋, GSM/GPRS 모듈, 및/또는 로컬 버퍼를 포함할 수 있지만, 이것으로 제한되지는 않는다.
트랜시버(210)는 무선 통신 네트워크(106)와 무선 통신을 통해 통신할 수 있다. 무선 통신은 블루투스(Bluetooth), (다양한 IEEE 802.11 표준들, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11, IEEE 802.11n과 같은) 무선 충실도(Wireless Fidelity)(Wi-Fi), 보이스 오버 인터넷 프로토콜(voice over Internet Protocol)(VoIP), Wi-MAX, 이메일을 위한 프로토콜, 인스턴트 메시징, 및/또는 단문 메시지 서비스(Short Message Service)(SMS), 인터넷, 메시지 큐 원격측정 전송(Message Queue Telemetry Transport)(MQTT), 확장가능 메시징 및 프레즌스 프로토콜(Extensible Messaging and Presence Protocol)(XMPP), 데이터 분산 서비스(Data Distribution Service)(DDS), 진보된 메시지 큐잉 프로토콜(Advanced Message Queuing Protocol)(AMQP), 제약된 애플리케이션 프로토콜(Constrained Application Protocol)(CoAP), 및/또는 셀룰러 통신 프로토콜들과 같은 통신 표준들, 프로토콜들, 및 기술들 중의 하나 이상을 이용할 수 있다.
이미지 캡처 유닛(212)은 하나 이상의 다른 전자 디바이스들(104)을 포함하는 이미지와 같은 하나 이상의 이미지들을 캡처하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 이미지 캡처 유닛(212)은 스마트폰과 같은 제1 전자 디바이스(102)의 내장형 카메라 또는 이미지 센서를 지칭할 수 있다. 이미지 캡처 유닛(212)은 프로세서(202)의 제어 하에서, 식별된 하나 이상의 다른 전자 디바이스들(104)의 시각적 큐들을 로컬 버퍼 및/또는 메모리(204)에서 저장하도록 구성될 수 있다. 실시예에 따르면, 시각적 큐들은 디스플레이된 이미지로부터 추출될 수 있고, 이미지 프로세싱 기법들에 기초하여 식별될 수 있다.
디스플레이(214)는 제1 전자 디바이스(102)의 UI(108)를 렌더링하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 디스플레이(214)는 음극선관(Cathode Ray Tube)(CRT) 기반 디스플레이, 액정 디스플레이(Liquid Crystal Display)(LCD), 발광 다이오드(Light Emitting Diode)(LED) 기반 디스플레이, 유기 LED 디스플레이 기술, 망막 디스플레이(Retina display) 기술, 및/또는 등등과 같은 몇몇 알려진 기술들을 통해 실현될 수 있다. 실시예에 따르면, 디스플레이(214)는 사용자(110)로부터 입력을 수신할 수 있을 수 있다. 이러한 시나리오에서, 디스플레이(214)는 사용자(110)가 입력을 제공하는 것을 가능하게 하는 터치 스크린일 수 있다. 터치 스크린은 저항성 터치 스크린, 용량성 터치 스크린, 또는 열 터치 스크린 중의 적어도 하나에 대응할 수 있다. 실시예에 따르면, 디스플레이(214)는 가상 키패드, 스타일러스(stylus), 제스처-기반 입력부, 및/또는 터치-기반 입력부를 통해 입력을 수신할 수 있다. 이러한 경우, 입력 디바이스는 디스플레이(214) 내에 통합될 수 있다. 실시예에 따르면, 제1 전자 디바이스(102)는 터치-기반 디스플레이 스크린일 수 있는 디스플레이(214) 외에, 보조 입력 디바이스를 포함할 수 있다.
동작 시에, 프로세서(202)는 제1 전자 디바이스(102)의 이미지 캡처 유닛(212)의 방위 또는 지시의 방향을 검출하도록 구성될 수 있다. 사용자(110)는 FOV 내에서 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있는 시야(FOV)를 캡처하기 위하여 제1 전자 디바이스(102)의 이미지 캡처 유닛(212)을 지시할 수 있다. 프로세서(202)는 제1 전자 디바이스(102) 상에서의 이미지의 디스플레이를 제어하도록 구성될 수 있다. 이미지는 제1 전자 디바이스(102)의 이미지 캡처 유닛(212)의 현재의 FOV에 기초한 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있다. 프로세서(202)는 디스플레이된 이미지(또는 FOV)에서 디스플레이된 하나 이상의 다른 전자 디바이스들(104)을 식별하도록 구성될 수 있다. 인식 프로세스는 사용자(110)가 미리-특정된 기간 동안에 FOV를 캡처하기 위하여 이미지 캡처 유닛(212)을 유지하거나 지시하는 것을 계속할 때에 개시될 수 있다. 프로세서(202)는 하나 이상의 다른 전자 디바이스들(104)과 연관된 적어도 아이덴티티 파라미터에 기초하여 하나 이상의 다른 전자 디바이스들(104)을 식별하도록 구성될 수 있다. 아이덴티티 파라미터는 트랜시버(210)를 통해 무선 통신 네트워크(106)로부터 검색될 수 있다.
실시예에 따르면, 프로세서(202)는 (도 1에서 논의된 바와 같은) 시각적 큐들의 검출과 같은 이미지 프로세싱, 검색된 아이덴티티 파라미터 또는 로케이션, 검출된 방위, 또는 제1 전자 디바이스(102)로부터의 하나 이상의 다른 전자 디바이스들(104)의 거리에 기초하여 디바이스-타입을 식별하도록 구성될 수 있다. 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있는 복수의 전자 디바이스들의 각각에 대한 디바이스-타입은 데이터베이스에서 사전-저장될 수 있다. 데이터베이스에서, 디바이스-타입은 연관된 관계로 대응하는 하나 이상의 시각적 큐들과 맵핑될 수 있다.
실시예에 따르면, 하나 이상의 디바이스 설정들은 무선 통신 네트워크(106)에 접속된 복수의 전자 디바이스들의 각각에 대하여 설정될 수 있다. 복수의 전자 디바이스들은 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있다. 디바이스 설정들은 복수의 전자 디바이스들의 각각에 의해 수행되어야 할 동작과 연관된 사용자-선호도 및/또는 복수의 전자 디바이스들 각각의 디바이스-타입에 기초하여 설정될 수 있다. 하나 이상의 디바이스 설정들의 구성은 1회 활동일 수 있다.
실시예에 따르면, 프로세서(202)는 복수의 전자 디바이스들의 각각에 대한 하나 이상의 디바이스 설정들을 추천된 디바이스 설정들로서 동적으로 생성하도록 구성될 수 있다. 복수의 전자 디바이스들의 각각에 대한 하나 이상의 디바이스 설정들은 복수의 전자 디바이스들의 각각과 연관된 하나 이상의 기준들에 기초하여 생성될 수 있다. 하나 이상의 기준들은 식별된 디바이스-타입, 및/또는 식별된 하나 이상의 다른 전자 디바이스들(104)과 같은 복수의 전자 디바이스들의 각각에 의해 지원된 제어 기능들을 포함할 수 있다. 그 다음으로, 사용자(110)는 디바이스-타입과 같은 디바이스들의 특정한 카테고리 하에서 분류될 수 있는 특정 디바이스 또는 다수의 디바이스들에 대하여 설정되어야 할 추천된 디바이스 설정들 중의 하나를 선택할 수 있다. 그 다음으로, 선택된 디바이스 설정(들)은 사용자(110)의 사용자-선호도에 따라 추가로 구성될 수 있거나 변경(미세 튜닝)될 수 있다. 이것은 하나 이상의 디바이스 설정들을 설정하거나 구성하기 위하여 이용된 시간을 감소시킬 수 있다.
실시예에 따르면, 하나 이상의 디바이스 설정들은 복수의 전자 디바이스들에 대하여 이전에 수행된 동작들의 시간적 분석에 기초하여 동적으로 업데이트될 수 있다. 업데이트는 머신 학습 기법의 적용에 의해 수행될 수 있다. 무선 통신 네트워크(106)에 접속된 복수의 전자 디바이스들의 하나 이상의 디바이스 설정들은 메모리(204)에서, 또는 무선 통신 네트워크(106)에 접속된 또 다른 네트워크 디바이스에서 저장될 수 있다. 복수의 전자 디바이스들의 하나 이상의 디바이스 설정들은 제1 전자 디바이스(102) 상의 현재의 FOV 또는 디스플레이된 이미지의 프로세싱에 따라, 상이한 동작 시나리오들 하에서 프로세서(202)에 의해 설정될 수 있고 적용될 수 있다.
실시예에 따르면, 프로세서(202)는 식별된 하나 이상의 다른 전자 디바이스들(104)과 연관된 디바이스 설정들에 기초하여 식별된 하나 이상의 다른 전자 디바이스들(104)을 제어하도록 구성될 수 있다. 예를 들어, 식별된 하나 이상의 다른 전자 디바이스들(104)의 제2 전자 디바이스(104a)와 같은 특정 IoT 디바이스는 무선 통신 네트워크(106)를 통해 원격으로 제어될 수 있다.
실시예에 따르면, 프로세서(202)는 제2 전자 디바이스(104a)를 제어하기 위하여 사전-저장된 디바이스 설정들로부터 특정 디바이스 설정을 선택하도록 구성될 수 있다. 제어는 식별된 디바이스-타입, 제2 전자 디바이스(104a)의 현재의 동작 상태, 및/또는 제2 전자 디바이스(104a)에 의해 지원된 제어 기능들에 기초하여 수행될 수 있다. 제2 전자 디바이스(104a)에 의해 지원된 제어 기능들은 무선 통신 네트워크(106)로부터, 또는 제2 전자 디바이스(104a)로부터 직접적으로 검색될 수 있다.
제1 예에서, 디바이스 설정-1은 프로세서(202)가 제2 전자 디바이스(104a) 및 제3 전자 디바이스(104b)가 FOV 내에서 캡처되고 UI(108)를 통해, 디스플레이(214) 상에서 렌더링된 이미지에서 디스플레이된다는 것을 식별할 수 있는 시나리오에서 선택될 수 있고 적용될 수 있다. 이러한 시나리오에 대한 디바이스 설정-1은 디바이스-타입에 따른 호환가능한 컨텐츠 항목들 또는 (제어 버튼들과 같은) 제어 메뉴의 결정과, 제2 전자 디바이스(104a)로의 선택된 미디어 항목의 제1 컴포넌트 및 제3 전자 디바이스(104b)로의 동일한 미디어 항목의 제2 컴포넌트의 통신에 대응할 수 있다. 예를 들어, 미디어 항목은 비디오 컴포넌트 및 오디오 컴포넌트로 분할될 수 있다. 비디오 컴포넌트는 (제2 전자 디바이스(104a)와 같은) 비디오 렌더러 상에서 캐스트(cast)될 수 있고, 오디오 컴포넌트는 (제3 전자 디바이스(104b)와 같은) 오디오 렌더러 상에서 캐스트될 수 있다.
제2 예에서, 디바이스 설정-2는 프로세서(202)가 제2 전자 디바이스(104a)와 같은 단일 디바이스가 FOV 내에서 캡처될 수 있고 UI(108)를 통해, 디스플레이(214) 상에서 렌더링된 이미지에서 디스플레이될 수 있다는 것을 식별할 수 있는 시나리오에서 선택될 수 있고 적용될 수 있다. 이러한 시나리오에 대한 디바이스 설정-2는 디바이스-타입에 따른 호환가능한 컨텐츠 항목들 또는 제어 메뉴의 결정과, 제2 전자 디바이스(104a)로의 비디오 컴포넌트와 오디오 컴포넌트 둘다를 가지는 선택된 컨텐츠 항목의 통신에 대응할 수 있다. 프로세서(202)는 제2 전자 디바이스(104a)의 디바이스-타입의 식별에 기초하여, 제2 전자 디바이스(104a)로 통신되도록 호환가능할 수 있는, 메모리(204)에서 또는 무선 통신 네트워크(106)로부터 중의 어느 하나에 저장된 어떤 컨텐츠 항목들을 검출할 수 있고 검색할 수 있다. 예를 들어, 미디어 항목은 비디오 컴포넌트 및 오디오 컴포넌트의 양자를 가지는 비디오일 수 있다. 미디어 항목은 비디오 컴포넌트와 오디오 컴포넌트 둘다를 플레이(play)할 수 있는 (스마트 TV와 같은) 제2 전자 디바이스(104a) 상에서 캐스팅될 수 있다.
제3 예에서, 디바이스 설정-3은 프로세서(202)가 오직 제3 전자 디바이스(104b)가 FOV 내에서 캡처되고 UI(108)를 통해, 디스플레이(214) 상에서 렌더링된 이미지에서 디스플레이된다는 것을 인식할 수 있는 시나리오에서 선택될 수 있고 적용될 수 있다. 이러한 시나리오에 대한 디바이스 설정-3은 미디어 항목의 오디오 컴포넌트를 제3 전자 디바이스(104b)로 통신하도록 설정될 수 있다. 프로세서(202)는 제3 전자 디바이스(104b)로 통신되어야 할 컨텐츠 항목이 디바이스-타입의 식별에 기초하여 컨텐츠 항목의 오디오 컴포넌트를 플레이하도록 호환가능하다는 것을 추가로 검출할 수 있다. 예를 들어, 미디어 항목은 비디오 컴포넌트 및 오디오 컴포넌트의 양자를 가지는 비디오일 수 있다. 오디오 컴포넌트는 오디오 컴포넌트와 호환가능하도록 검출될 수 있는 (음악 시스템 또는 홈시어터(home theatre)와 같은) 제3 전자 디바이스(104b) 상에서 캐스팅될 수 있다. 실시예에 따르면, 비디오 컴포넌트는 제1 전자 디바이스(102) 상에서 디스플레이될 수 있다.
제4 예에서, 디바이스 설정-4는 프로세서(202)가 제4 전자 디바이스(104c)가 FOV 내에서 캡처되고 UI(108)를 통해, 디스플레이(214) 상에서 렌더링된 이미지에서 디스플레이된다는 것을 인식할 수 있는 시나리오에서 선택될 수 있고 적용될 수 있다. 프로세서(202)는 디바이스-타입을 조명 디바이스인 것으로 식별할 수 있다. 디바이스 설정-4는 제4 전자 디바이스(104c)의 현재의 동작 상태의 결정과, 그 다음으로, 검출된 현재의 동작 상태에서의 변경에 대응할 수 있다. 그 다음으로, 프로세서(202)는 이전에 "OFF" 동작 상태에 있을 수 있는 제4 전자 디바이스(104c)를 파워 "ON"하기 위하여, 제어 신호를 제4 전자 디바이스(104c)로 통신할 수 있다. 이에 따라, 디바이스 설정들은 위에서 설명된 바와 같은 상이한 조건들로 자동으로 또는 수동으로 설정될 수 있고 업데이트될 수 있다.
상기 예들에서 설명된 디바이스 설정들 및 조건들은 예시적인 디바이스 설정들이고, 개시내용의 범위는 그 적용을 위한 개시된 디바이스 설정들 또는 조건들로 제한되지 않을 수 있다는 것이 이해되어야 한다. 다양한 디바이스 설정들은 위에서 논의된 바와 같은 디바이스-타입 및 다른 기준들에 따라 다양한 디바이스들에 대하여 설정될 수 있다. 추가의 디바이스-타입은 조명 디바이스, 미디어 렌더러, 및/또는 오디오 플레이어로 제한되지 않을 수 있다. 가열 디바이스, 냉각 디바이스, 또는 사용자-특정된 디바이스-타입 또는 디바이스 카테고리와 같은 다른 디바이스-타입은 제어의 목적을 위하여 설정될 수 있고 사용될 수 있다. 실시예에 따르면, 도 1에서 설명된 바와 같이 제1 전자 디바이스(102)에 의해 수행된 기능성들 또는 동작들은 프로세서(202)에 의해 수행될 수 있다. 프로세서(202)에 의해 수행된 다른 동작들은 도 3a, 도 3b, 도 3c, 도 4a, 도 4b, 도 4c, 및 도 5에서의 설명으로부터 이해될 수 있다.
도 3a, 도 3b, 및 도 3c는 개시내용의 실시예에 따라, 이미지 프로세싱에 기초한 데이터 통신을 위한 개시된 시스템 및 방법의 구현예에 대한 제1 예시적인 시나리오를 예시한다. 도 3a 내지 도 3c는 도 1 및 도 2로부터의 엘리먼트들과 함께 설명되었다. 도 3a를 참조하면, 스마트폰(302), 사용자 인터페이스(UI)(304), UI(304)에서 렌더링된, FOV(306), 복수의 아이콘들(308a 내지 308h), 및 제어 버튼들(310)의 제1 세트를 포함하는 UI(304) 상의 레이아웃의 개략적 표현이 도시되어 있다. 복수의 아이콘들(308a 내지 308h)은 제2 전자 디바이스(104a) 및 제3 전자 디바이스(104b)와 호환가능한 컨텐츠 항목들에 대응할 수 있다. 제2 전자 디바이스(104a), 제3 전자 디바이스(104b), 및 이미지 캡처 유닛(212)이 추가로 도시되어 있다(도 1 및 도 2). 사용자(110)는 스마트폰(302)과 연관될 수 있다.
제1 예시적인 시나리오에 따르면, 스마트폰(302)은 제1 전자 디바이스(102)의 그것과 유사한 기능성들을 가질 수 있다. 스마트폰(302), 제2 전자 디바이스(104a), 및 제3 전자 디바이스(104b)는 무선 통신 네트워크(106)에 접속된 IoT 디바이스들에 대응할 수 있다. UI(304)는 제1 전자 디바이스(102)의 UI(108)(도 1 및 도 2)에 대응할 수 있다. 스마트폰(302)은 어떤 수의 디바이스 설정들을 저장하도록 구성될 수 있다. 사용자(110)는 희망하는 IoT 디바이스 상에서 미디어 항목을 플레이하는 것과 같이, 스마트폰(302)으로부터, 제2 전자 디바이스(104a) 또는 제3 전자 디바이스(104b)와 같은 IoT 디바이스를 제어하는 것을 원할 수 있다.
IoT 디바이스의 제어를 위하여, FOV(306)에서 디스플레이된 디바이스-타입과, 식별된 디바이스-타입의 IoT 디바이스 상에서 플레이되도록 호환가능할 수 있는 컨텐츠 항목들의 식별이 요구될 수 있다. 일부 컨텐츠 항목은 제2 전자 디바이스(104a) 또는 제3 전자 디바이스(104b)와 호환가능하지 않을 수 있다. 예를 들어, 확장자 .doc를 갖는 파일은 제2 전자 디바이스(104a), 제3 전자 디바이스(104b), 또는 (IoT 전구와 같은) 조명 디바이스와 같은 IoT 디바이스와 호환가능하지 않을 수 있다. 이 때문에, UI(304)를 통해 스마트폰(302) 상에서 렌더링된 바와 같은 복수의 아이콘들(308a 내지 308h)은 FOV(306) 내의 식별된 제2 전자 디바이스(104a) 또는 제3 전자 디바이스(104b)와 호환가능한 컨텐츠 항목들을 검색하기 위한 링크들에 대응할 수 있다.
동작 시에, 사용자(110)는 스마트폰(302)을, 무선 홈 네트워크와 같은 무선 통신 네트워크(106)에 접속된 제2 전자 디바이스(104a) 및 제3 전자 디바이스(104b)와 같은 하나 이상의 IoT 디바이스들을 향해 지시할 수 있다. 스마트폰(302)은 도시된 바와 같은 UI(304)를 통해, 스마트폰(302)의 디스플레이 상에서, FOV(306)와 같은 이미지의 디스플레이를 제어하도록 구성될 수 있다.
스마트폰(302)은 제2 전자 디바이스(104a) 및 제3 전자 디바이스(104b)와 연관된 아이덴티티 파라미터에 기초하여 FOV(306)에서 제2 전자 디바이스(104a) 및 제3 전자 디바이스(104b)를 인식할 수 있다. 스마트폰(302)은 제2 전자 디바이스(104a)를 텔레비전(TV)인 것으로 식별할 수 있고, 식별된 제2 전자 디바이스(104a)의 디바이스-타입을, 비디오 또는 오디오를 플레이할 수 있는 미디어 렌더러인 것으로 식별할 수 있다. 인식에 기초하여, 스마트폰(302)은 식별된 제2 전자 디바이스(104a)(TV) 상에서 캐스팅(또는 그것으로 통신)될 수 있는 복수의 아이콘들(308a 내지 308h)을 디스플레이할 수 있다.
스마트폰(302)은 제2 전자 디바이스(104a) 및 제3 전자 디바이스(104b)의 식별된 디바이스-타입에 따라 제어 버튼들(310)의 제1 세트를 생성할 수 있다. 예를 들어, 플레이, 정지, 일시정지, 되감기, 순방향 동작들과 같은 제어 버튼들(310)의 제1 세트는 제2 전자 디바이스(104a) 및 제3 전자 디바이스(104b)의 식별된 디바이스-타입에 따라 적당할 수 있다. 사용자(110)는 복수의 아이콘들(308a 내지 308h)의 선택에 의해, 식별된 제2 전자 디바이스(104a) 또는 제3 전자 디바이스(104b)와 호환가능한 컨텐츠 항목들의 플레이를 제어하기 위하여 제어 버튼들(310)의 생성된 세트를 이용할 수 있다.
도 3b를 참조하면, 도 3a에서 설명된 바와 같이, 제1 예시적인 시나리오의 동작들의 시퀀스를 묘사하기 위한 드래그 동작(drag operation)(312)이 도시되어 있다. FOV(306) 내에 제1 부분(314), 제2 부분(316), 및 제3 부분(318)이 추가로 도시되어 있다. 실시예에 따르면, 사용자(110)는 아이콘(308b)으로서 도시된 영화 "efg.mp4"일 수 있는 컨텐츠 항목을 선택할 수 있다. 사용자(110)는 아이콘(308b)과 같은 선택된 컨텐츠 항목을 FOV(306)에서 디스플레이된 특정 전자 디바이스를 향해 드래깅해서 컨텐츠 항목을 특정 전자 디바이스 상에 드롭시킬 수 있다. 이것은 선택된 컨텐츠 항목이 특정 전자 디바이스 상에서 플레이되는 것을 가능하게 할 수 있다.
예를 들어, 사용자(110)는 UI(304) 상에서 디스플레이된 아이콘(308b)과 같은 컨텐츠 항목을 선택할 수 있다. 그 다음으로, 사용자(110)는 선택된 아이콘(308b)을 드래깅(드래그 동작(312)으로서 도시됨)해서 그것을 (음악 시스템과 같은) 제3 전자 디바이스(104b)를 포함하는 FOV(306)의 제1 부분(314) 상에 드롭시켜 제3 전자 디바이스(104b) 상에서 플레이되어야 할 선택된 컨텐츠 항목(영화 "efg.mp4")의 오디오 컴포넌트를 플레이할 수 있다. 비디오 컴포넌트는 플레이되지 않을 수 있다. 실시예에 따르면, 비디오 컴포넌트는 스마트폰(302) 상에서 플레이될 수 있다. 또한, 도시된 바와 같이, 사용자(110)는, 어떤 시간 간격 후에, 선택된 아이콘(308b)을 드래깅해서 그것을 (TV와 같은) 제2 전자 디바이스(104a)를 포함하는 FOV(306)의 제2 부분(316) 상에 추가로 드롭시킬 수 있다. 그 다음으로, 선택된 컨텐츠 항목(영화 "efg.mp4")의 오디오 컴포넌트가 제3 전자 디바이스(104b)(음악 시스템) 상에서 플레이될 수 있는 동안에, 스마트폰(302)은 제2 전자 디바이스(104a)(TV) 상에서 플레이되어야 할 선택된 컨텐츠 항목(영화 "efg.mp4")의 비디오 컴포넌트를 또한 통신할 수 있다.
실시예에 따르면, 사용자(110)는 UI(304) 상에서 디스플레이된 아이콘(308b)과 같은 컨텐츠 항목을 선택할 수 있다. 그 다음으로, 사용자(110)는 선택된 아이콘(308b)을 드래깅해서 그것을 제2 전자 디바이스(104a)와 제3 전자 디바이스(104b) 둘다를 포함하는 FOV(306)의 제3 부분(318) 상에 드롭시킬 수 있다. 제3 부분(318)은 제2 전자 디바이스(104a)와 제3 전자 디바이스(104b) 둘다를 포함하는 공통 부분, 또는 임의의 식별된 디바이스를 포함하지 않을 수 있는 FOV의 자유 부분일 수 있다. 이 경우, 스마트폰(302)은 다음의 대응하는 액션이 스마트폰(302)이 사전설정된 디바이스 설정들에 기초하여 수행하기 위한 것이라는 것을 이해할 수 있다. 따라서, 스마트폰(302)은 제2 전자 디바이스(104a)(TV) 상에서 플레이되어야 할 선택된 컨텐츠 항목(영화 "efg.mp4")의 비디오 컴포넌트와, 제3 전자 디바이스(104b)(음악 시스템) 상에서 플레이되어야 할 동일한 컨텐츠 항목(영화 "efg.mp4")의 오디오 컴포넌트를 동시에 통신할 수 있다.
도 3c를 참조하면, UI(304) 상에 AR 뷰(320)가 추가로 도시되어 있다. 제1 예시적인 시나리오에 따르면, 제1 전자 디바이스(102)는 스마트폰(302) 상의 생성된 AR 뷰(320)의 이용에 의해 특정 전자 디바이스와 호환가능한 컨텐츠 항목을 통신하도록 구성될 수 있다. UI(304)는 컨텐츠 항목 또는 제어 신호가 스마트폰(302)으로부터 특정 전자 디바이스로 현재 전송된다는 것을 표시하기 위하여, AR 뷰(320) 상에서, 화살표들, 파형들, 심볼들, 포물선 경로들, 이모티콘(emoticon)들과 같은 시각적으로 지각가능한 그래픽 효과들을 디스플레이하도록 구성될 수 있다. AR 뷰 (320) 상에서의 시각적으로 지각가능한 그래픽 효과들의 흐름에 기초하여, 사용자(110)는 데이터가 전송되고 있는 동안에 데이터의 전송을 모니터링할 수 있다.
도 3b에서 설명된 바와 같이, 스마트폰(302)이 선택된 컨텐츠 항목(영화 "efg.mp4")의 비디오 컴포넌트를 제2 전자 디바이스(104a)(TV)로, 그리고 동일한 컨텐츠 항목(영화 "efg.mp4")의 오디오 컴포넌트를 제3 전자 디바이스(104b)(음악 시스템)으로 통신할 때, AR 뷰(320)는 스마트폰(302)에서의 UI(304) 상에서 렌더링될 수 있다. AR 뷰(320)에서, 시각적으로 지각가능한 그래픽 효과들(322 및 324)은 전송되는 컨텐츠 항목의 데이터-타입 또는 현재 전송된 컨텐츠 항목의 개별적인 컴포넌트들에 따라 선택된 컨텐츠 항목의 실시간 전송을 표시하기 위하여, UI(304) 상에서 렌더링될 수 있다. 예를 들어, 도시된 바와 같이, 필름 스트립(film strip)(322)과 같은 제1 시각적으로 지각가능한 그래픽 효과는 (TV와 같은) 제2 전자 디바이스(104a)로의 선택된 컨텐츠 항목의 호환가능한 비디오 컴포넌트의 전송을 나타낼 수 있다. 도시된 바와 같이, 음악 선율들의 흐름(a flow of music tunes)(324)과 같은 제2 시각적으로 지각가능한 그래픽 효과는 (음악 시스템과 같은) 제3 전자 디바이스(104b)로의 선택된 컨텐츠 항목의 호환가능한 오디오 컴포넌트의 전송을 나타낼 수 있다. 스마트폰(302)과, 제2 전자 디바이스(104a) 및 제3 전자 디바이스(104b)와 같은 식별된 전자 디바이스들 사이의 데이터 통신을 수행하면서, 필름 스트립(322) 및 음악 선율들(324)의 흐름과 같은 시각적으로 지각가능한 그래픽 효과들을 갖는 AR 뷰(320)는 직관적 경험을 사용자(110)와 같은 사용자에게 제공할 수 있다.
도 4a, 도 4b, 및 도 4c는 개시내용의 실시예에 따라, 이미지 프로세싱에 기초한 데이터 통신을 위한 개시된 시스템 및 방법의 구현예에 대한 제2 예시적인 시나리오를 집합적으로 예시한다. 도 4a, 도 4b, 및 도 4c는 도 1, 도 2, 도 3a, 도 3b, 및 도 3c로부터의 엘리먼트들과 함께 설명되었다. 도 4a를 참조하면, 스마트폰(302), UI(304), 제1 FOV(402) 및 복수의 제어 버튼들(404a 내지 404h)을 포함하는 UI(304) 상의 레이아웃의 개략적 표현이 도시되어 있다. 복수의 IoT 전구들(406a 내지 406d)이 추가로 도시되어 있다. 복수의 제어 버튼들(404a 내지 404h)은 도 3a 내지 도 3c에서 설명된 바와 같은 제어 버튼들(310)의 제1 세트와는 상이한 제어 버튼들의 제2 세트일 수 있다.
제2 예시적인 시나리오에 따르면, 복수의 IoT 전구들(406a 내지 406d)은 하나 이상의 다른 전자 디바이스들(104)에 대응할 수 있다. 복수의 IoT 전구들(406a 내지 406d) 및 스마트폰(302)은 무선 통신 네트워크(106)와 같은 무선 홈 네트워크에 접속될 수 있다. IoT 전구들(406a, 406c, 및 406d)은 "ON" 동작 상태에 있을 수 있는 반면, IoT 전구(406b)는 "OFF" 동작 상태에 있을 수 있다.
동작 시에, 사용자(110)는 스마트폰(302)의 이미지 캡처 유닛(212)을 복수의 IoT 전구들(406a 내지 406d)을 향해 지시할 수 있다. 스마트폰(302)의 간단한 지시는, 다른 IoT 전구들(406a, 406c, 및 406d)이 "ON" 동작 상태에 있는 것을 계속할 수 있는 동안에, IoT 전구(406b)가 "ON"으로 되도록, IoT 전구(406b)의 현재의 동작 상태를 자동으로 변경할 수 있다. 스마트폰(302)은 식별된 복수의 IoT 전구들(406a 내지 406d)과 연관된 선택된 디바이스 설정에 기초하여 복수의 IoT 전구들(406a 내지 406d)로부터의 IoT 전구(406b)를 선택적으로 제어하기 위한 액션을 지능적으로 취할 수 있다.
예를 들어, 제1 FOV(402)에 대응하는 디스플레이된 이미지의 이미지 프로세싱에 기초하여, 스마트폰(302)은 디스플레이된 이미지에서 검출된 복수의 IoT 전구들(406a 내지 406d)의 텍스처, 형상, 크기, 및/또는 디바이스 마크와 같은 하나 이상의 시각적 큐들을 검출할 수 있다. 그 다음으로, 검출된 하나 이상의 시각적 큐들은 무선 통신 네트워크(106)와 같은 무선 홈 네트워크로부터 검출된 복수의 IoT 전구들(406a 내지 406d)과 연관된 아이덴티티 파라미터를 검색하기 위하여 이용될 수 있다. 스마트폰(302)은 복수의 IoT 전구들(406a 내지 406d)과 연관된, 고유한 디바이스 식별자와 같은 검색된 아이덴티티 파라미터에 기초하여 검출된 복수의 IoT 전구들(406a 내지 406d)을 식별할 수 있다. 실시예에 따르면, 스마트폰(302) 및, IoT 전구들(406a 내지 406d)과 같은 IoT 디바이스들의 위치는 제어되어야 할 IoT 디바이스(들)를 식별하기 위한 파라미터들 중의 하나로서 추가로 이용될 수 있다. 자이로스코프, GPS, 나침반, 가속도계, 심도 센서 등등과 같은 센싱 디바이스들(208)은 스마트폰(302)의 위치를 식별하기 위하여 이용될 수 있다.
스마트폰(302)은 식별된 복수의 IoT 전구들(406a 내지 406d)과 연관된 디바이스 설정들에 기초하여, 식별된 복수의 IoT 전구들(406a 내지 406d) 중의 하나 이상을 제어하도록 구성될 수 있다. 복수의 IoT 전구들(406a 내지 406d)의 각각의 디바이스-타입이 디스플레이된 이미지에서 조명 디바이스로서 식별되고 복수의 IoT 전구들(406a 내지 406d) 중의 하나 이상의 동작 상태가 "OFF" 상태에 있는 것으로 결정될 때, 이 예에서의 (조명 디바이스에 대한 디바이스 설정에 기초한) 제어는 IoT 전구(406b)를 파워 "ON" 하기 위하여, 제어 커맨드를 무선 홈 네트워크를 통해 IoT 전구(406b)로 통신하기 위한 것일 수 있다.
실시예에 따르면, 사용자(110)는 복수의 제어 버튼들(404a 내지 404h)의 이용에 의해 식별된 복수의 IoT 전구들(406a 내지 406d)의 동작 상태를 수동으로 선택할 수 있고 변경할 수 있다. 복수의 제어 버튼들(404a 내지 404h)은 식별된 디바이스-타입 및 복수의 IoT 전구들(406a 내지 406d)의 디바이스 능력에 따라 UI(304) 상에서 생성될 수 있고 디스플레이될 수 있다. 실시예에 따르면, 복수의 제어 버튼들(404a 내지 404h)의 생성은 복수의 IoT 전구들(406a 내지 406d)의 동작 상태의 초기의 자동적 및 지능적 변경이 사전-설정된 디바이스 설정들 또는 머신 학습에 기초하여 수행된 후에 발생할 수 있다. 복수의 제어 버튼들(408a 내지 408h)은 도시된 바와 같이, 복수의 IoT 전구들(406a 내지 406d)의 각각의 동작 상태를 제어하기 위한 "ON" 및 "OFF" 그래픽 제어들에 대응할 수 있다. 사용자(110)는 복수의 IoT 전구들(406a 내지 406d)의 각각의 현재의 동작 상태를 선택하고 변경하기 위하여, 복수의 제어 버튼들(404a 내지 404h)로부터 제어 버튼을 수동으로 선택할 수 있다.
실시예에 따르면, 사전-설정된 디바이스 설정들은 복수의 IoT 전구들(406a 내지 406d)에 대하여, UI(304)를 통해 사용자(110)에 의해 취해진 이력적 액션들과 같은, 이전에 수행된 동작들의 시간적 분석에 기초한 머신 학습의 이용에 의해, 스마트폰(302)에 의해 재구성될 수 있다. 예를 들어, 현재 일자의 시간에 기초하여, IoT 전구(406a)의 동작 상태는 시간이 주간 시간으로서 검출될 때에 OFF로 될 수 있거나, 시간이 야간 시간으로서 검출될 때에 ON으로 될 수 있다. 실시예에 따르면, 복수의 IoT 전구들(406a 내지 406d)의 휘도(luminance)가 또한 제어될 수 있다.
도 4b를 참조하면, UI(304) 상에서 렌더링된 제2 FOV(408) 및 슬라이더 제어 버튼(410)이 추가로 도시되어 있다. 사용자(110)는 (제2 FOV(408)인) 현재의 FOV가 도시된 바와 같이, IoT 전구(406a)와 같은 단일 디바이스를 포함하도록, 스마트폰(302)의 이미지 캡처 유닛(212)을 IoT 전구(406a)를 향해 지시할 수 있다. 이 경우, 스마트폰(302)의 간단한 지시는 IoT 전구(406a)의 동작 상태를 자동으로 변경할 수 있다. 예를 들어, 단일 조명 디바이스가 제2 FOV(408)에서 식별될 때, 스마트폰(302)은 IoT 전구(406a)가 "ON"일 경우에 IoT 전구(406a)를 파워 "OFF" 하기 위하여, 또는 그 반대도 마찬가지로, 식별된 IoT 전구(406a)를 제어하도록 구성될 수 있다.
또한, 슬라이더 제어 버튼(410)은 제2 FOV(408)에서, IoT 전구(406a)와 같은 디바이스의 식별된 디바이스-타입 및 디바이스 능력에 따라 렌더링될 수 있다. 사용자(110)는 슬라이더 제어 버튼(410)을 "OFF" 상태로 슬라이딩하기 위하여, UI(304)를 통해 입력을 제공할 수 있다. 그 다음으로, 스마트폰(302)은 IoT 전구(406a)의 현재의 동작 상태를 "OFF" 동작 상태로 변경하기 위하여 제어 커맨드를 IoT 전구(406a)로 통신할 수 있다.
도 4c를 참조하면, 제3 FOV(412), 제어 버튼들(414)의 제3 세트, 및 이미지 캡처 유닛(212)의 뷰파인더를 통해 관측된 바와 같이, IoT-가능형 팬(416)과 같은 새로운 IoT 디바이스가 추가로 도시되어 있다. 사용자(110)는 스마트폰(302)의 이미지 캡처 유닛(212)을 IoT 전구들(406c 및 406d) 및 IoT-가능형 팬(416)을 향해 지시할 수 있다. 따라서, 제3 FOV(412)에 대응하는 이미지는 도시된 바와 같이, UI(304) 상에서 디스플레이될 수 있다. 스마트폰(302)은 제3 FOV(412)에서의 디바이스들의 식별된 디바이스-타입 및 디바이스 능력에 따라 제어 버튼들(414)의 제3 세트를 생성하도록 구성될 수 있다. 예를 들어, 식별된 IoT 전구들(406c 및 406d)의 제어를 위하여 생성된 "ON" 및 "OFF" 제어 버튼들에 추가하여, ("HIGH" 및 "LOW"로서 표현된) 새로운 제어 버튼들(414a 및 414b)은 IoT-가능형 팬(416)의 속력 조절을 가능하게 하기 위하여 UI(304) 상에서 생성될 수 있고 렌더링될 수 있다. UI(304)로부터의 제어 버튼(414a)의 선택은 IoT-가능형 팬(416)의 속력을 실시간으로 증가시킬 수 있다. 유사하게, UI(304)로부터의 제어 버튼(414b)의 선택은 IoT-가능형 팬(416)의 속력을 감소시킬 수 있다. 이에 따라, 스마트폰(302)은 무선 홈 네트워크에서의 식별된 디바이스들을 향한 스마트폰(302)의 이미지 캡처 유닛(212)의 단지 지시에 의해 간략화된 방식으로 식별된 디바이스들을 지능적으로 제어할 수 있다. 또한, 스마트폰(302) 상에서 렌더링된 UI(304)를 통한 통신 및 제어를 유발시키기 위하여, 직관적 경험이 사용자(110)에게 제공될 수 있다.
다양한 실시예들은 IoT 전구들(406a 내지 406d) 또는 IoT-가능형 팬(416)과 같은 특정 타입의 전자 디바이스들로 제한되지 않는다는 것이 본 기술 분야의 통상의 기술자에 의해 이해되어야 한다. 따라서, 스마트 전자레인지들 또는 냉장고들과 같은 다른 적당한 전자 디바이스들 또는 IoT 디바이스들은 개시내용의 사상 및 범위로부터 이탈하지 않으면서, 제2 전자 디바이스(104a), 제3 전자 디바이스(104b), IoT 전구들(406a 내지 406d), 및/또는 IoT-가능형 팬(416)에 관하여 설명된 것과 유사한 동작들을 수행함으로써 제어될 수 있다. 이에 따라, 스마트폰(302)은 무선 홈 네트워크에서의 식별된 디바이스들을 향한 스마트폰(302)의 이미지 캡처 유닛(212)의 단지 지시에 의해 간략화된 방식으로 식별된 디바이스들을 지능적으로 제어할 수 있다. 예를 들어, 식별된 디바이스 타입에 따라, 전자레인지들의 제어의 경우에 요리하기 위한 온도 및 시간을 조절하는 것과, 냉장고들의 경우에 냉각하거나 파워 "ON" 또는 "OFF"하는 것을 조절하는 것.
도 5는 개시내용의 실시예에 따라, 이미지 프로세싱에 기초한 데이터 통신을 위한 예시적인 방법을 예시하는 플로우차트이다. 도 5를 참조하면, 플로우차트(500)가 도시되어 있다. 플로우차트(500)는 도 1, 도 2, 도 3a로부터의 엘리먼트들과 함께 설명된다. 방법은 단계(502)에서 시작하고, 단계(504)로 진행한다.
단계(504)에서는, 제1 전자 디바이스(102) 상에서의 이미지의 디스플레이가 제어될 수 있다. 이미지는 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있다. 단계(506)에서는, 디스플레이된 이미지에서의 하나 이상의 다른 전자 디바이스들(104)과 연관된 하나 이상의 시각적 큐들이 검출될 수 있다.
단계(508)에서, 하나 이상의 다른 전자 디바이스들(104)과 연관된 아이덴티티 파라미터는 무선 통신 네트워크(106)로부터 검색될 수 있다. 하나 이상의 다른 전자 디바이스들(104)의 아이덴티티 파라미터는 IP 어드레스, MAC 어드레스, 고유한 디바이스 식별자, 및/또는 SSID에 대응할 수 있다. 아이덴티티 파라미터의 검색은 무선 통신 네트워크(106)에 접속된 복수의 전자 디바이스들과 연관된 대응하는 하나 이상의 시각적 큐들과의 연관 관계로 무선 통신 네트워크(106)에서의 각각의 접속된 디바이스의 고유한 디바이스 식별자를 포함하는 사전-맵핑된 데이터에 기초하여 수행될 수 있다. 복수의 전자 디바이스들은 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있다. 단계(510)에서, 하나 이상의 다른 전자 디바이스들(104)은 하나 이상의 다른 전자 디바이스들(104)과 연관된 검색된 아이덴티티 파라미터에 기초하여 식별될 수 있다.
단계(512)에서는, 식별된 하나 이상의 다른 전자 디바이스들(104)의 디바이스-타입이 식별될 수 있다. 디바이스-타입은 검출된 하나 이상의 시각적 큐들, 검색된 아이덴티티 파라미터, 제1 전자 디바이스(102)의 로케이션, 하나 이상의 다른 전자 디바이스들(104)에 대한 제1 전자 디바이스(102)의 방위, 및/또는 이미지를 디스플레이하는 제1 전자 디바이스(102)로부터의 하나 이상의 다른 전자 디바이스들(104)의 거리에 기초하여 식별될 수 있다. 단계(514)에서, 식별된 하나 이상의 다른 전자 디바이스들(104)과의 접속은 무선 통신 네트워크(106)에서 확립될 수 있다.
단계(516)에서는, 무선 통신 네트워크(106)에 접속된 복수의 전자 디바이스들과 연관된 사전설정된 디바이스 설정들로부터의 특정 디바이스 설정이 선택될 수 있다. 디바이스 설정들은 하나 이상의 다른 전자 디바이스들(104)을 포함하는 복수의 전자 디바이스들에 대하여 수행되어야 할 동작과 연관된 사용자-선호도, 및/또는 복수의 전자 디바이스들 각각의 디바이스-타입에 기초하여 사전설정될 수 있다. 단계(518)에서는, 식별된 하나 이상의 다른 전자 디바이스들(104)의, 제2 전자 디바이스(104a)와 같은, 특정 전자 디바이스가 제어될 수 있다. 제2 전자 디바이스(104a)는 식별된 하나 이상의 다른 전자 디바이스들(104)과 연관된 디바이스 설정들에 기초하여 제어될 수 있다. 제2 전자 디바이스(104a) 또는 식별된 하나 이상의 다른 전자 디바이스들(104)의 제어는 하나 이상의 기준들에 기초할 수 있다. 하나 이상의 기준들은 식별된 디바이스-타입, 현재의 동작 상태, 통신되어야 할 컨텐츠 항목의 데이터-타입, 하나 이상의 호환가능한 컨텐츠 항목들, 및/또는 제2 전자 디바이스(104a) 또는 식별된 하나 이상의 다른 전자 디바이스들(104)에 의해 지원된 제어 기능들일 수 있다. 특정 디바이스 설정의 선택은 위에서 논의된 하나 이상의 기준들과 같은 유사한 기준들에 기초하여 또한 수행될 수 있다.
단계(520)에서는, AR 뷰(320)와 같은 증강-현실(AR) 뷰가 식별된 하나 이상의 다른 전자 디바이스들(104)의 제어를 가능하게 하기 위하여 제1 전자 디바이스(102) 상에서 생성될 수 있다. 다시 말해서, AR 뷰(320)는 사용자가 식별된 하나 이상의 다른 전자 디바이스들(104)을 제어하는 것을 가능하게 할 수 있는 직관적 뷰일 수 있다. 그러나, 다양한 디바이스들 사이의 실제적인 통신은 백엔드(backend)에서 발생할 수 있고, 이러한 제어를 위한 사용자 액션 또는 입력에 기초할 수 있다. 실시예에 따르면, AR 뷰는 하나 이상의 다른 전자 디바이스들(104)의 시야(FOV), FOV 내에 디스플레이될 수 있는 식별된 하나 이상의 다른 전자 디바이스들(104)과 연관된 하나 이상의 그래픽 제어들, 및/또는 식별된 하나 이상의 다른 전자 디바이스들(104)의 식별된 디바이스-타입과 호환가능한 하나 이상의 컨텐츠 항목들을 포함할 수 있다. 하나 이상의 그래픽 제어들은 제어를 위한 FOV(현재 디스플레이된 FOV 또는 이미지) 내의 식별된 하나 이상의 다른 전자 디바이스들(104)의 각각의 식별된 디바이스-타입에 따라 AR 뷰 상에서 생성될 수 있다. 제어는 종료 단계(522)로 전달될 수 있다.
개시내용의 실시예에 따르면, 이미지 프로세싱에 기초한 데이터 통신을 위한 시스템이 개시되어 있다. (제1 전자 디바이스(102)(도 1)와 같은) 시스템은 하나 이상의 회로들(이하 프로세서(202)(도 2)로서 지칭됨)을 포함할 수 있다. 프로세서(202)는 제1 전자 디바이스(102) 상에서의 이미지의 디스플레이를 제어하도록 구성될 수 있다. 이미지는 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있다. 디스플레이된 이미지에서의 하나 이상의 다른 전자 디바이스들(104)은 하나 이상의 다른 전자 디바이스들(104)과 연관된 아이덴티티 파라미터에 기초하여 식별될 수 있다. 식별된 하나 이상의 다른 전자 디바이스들(104)의 제2 전자 디바이스(104a)는 식별된 하나 이상의 다른 전자 디바이스들(104)과 연관된 디바이스 설정들에 기초하여 제어될 수 있다.
개시내용의 다양한 실시예들은, 이미지 프로세싱에 기초하여 데이터 통신을 수행하기 위하여 머신 및/또는 컴퓨터에 의해 실행가능한 머신 코드 및/또는 명령들의 세트를 저장한, 비-일시적 컴퓨터 판독가능 매체 및/또는 저장 매체, 및/또는 비-일시적 머신 판독가능 매체 및/또는 저장 매체를 제공할 수 있다. 명령들의 세트는 머신 및/또는 컴퓨터로 하여금, 제1 전자 디바이스(102) 상에서의 이미지의 제어를 포함하는 단계들을 수행하게 할 수 있다. 이미지는 무선 통신 네트워크(106)에 통신가능하게 결합된 하나 이상의 다른 전자 디바이스들(104)을 포함할 수 있다. 하나 이상의 다른 전자 디바이스들(104)은 하나 이상의 다른 전자 디바이스들(104)과 연관된 아이덴티티 파라미터에 기초하여 디스플레이된 이미지에서 식별될 수 있다. 식별된 하나 이상의 다른 전자 디바이스들(104)의 제2 전자 디바이스(104a)와 같은 IoT 디바이스는 사전-정의된 디바이스 설정들에 기초하여 제어될 수 있다. 사전-정의된 디바이스 설정들은 하나 이상의 다른 전자 디바이스들(104)과 연관될 수 있다.
본 개시내용은 하드웨어, 또는 하드웨어 및 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은 적어도 하나의 컴퓨터 시스템에서 중앙집중화된 방식으로, 또는 분산된 방식으로 실현될 수 있고, 여기서, 상이한 엘리먼트들은 몇몇 상호접속된 컴퓨터 시스템들에 걸쳐 확산될 수 있다. 본원에서 설명된 방법들을 수행하도록 구비된 컴퓨터 시스템 또는 다른 장치가 적합할 수 있다. 하드웨어 및 소프트웨어의 조합은, 로딩되거나 실행될 때, 그것이 본원에서 설명된 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 또한 수행하는 집적 회로의 부분을 포함하는 하드웨어로 실현될 수 있다.
본 개시내용은, 본원에서 설명된 방법들의 구현을 가능하게 할 수 있는 모든 특징들을 포함하고, 컴퓨터 시스템에서 로딩될 때, 이 방법들을 수행할 수 있는 컴퓨터 프로그램 제품에서 또한 구체화될 수 있다. 본 맥락에서의 컴퓨터 프로그램은, 정보 프로세싱 능력을 갖는 시스템으로 하여금, 특정한 기능을 직접적으로, 또는 다음: a) 또 다른 언어, 코드, 또는 표기로의 변환; b) 상이한 자료 형태에서의 재현 중의 어느 하나 또는 양자 후에 수행하게 하도록 의도된 명령들의 세트의, 임의의 언어, 코드, 또는 표기로된 임의의 표현을 의미한다.
본 개시내용은 어떤 실시예들을 참조하여 설명되었지만, 본 개시내용의 범위로부터의 이탈 없이, 다양한 변경들이 행해질 수 있고 등가물들이 대체될 수 있다는 것이 본 기술 분야의 통상의 기술자들에 의해 이해될 것이다. 게다가, 그 범위로부터 이탈하지 않으면서, 특정한 상황 또는 자료를 본 개시내용의 교시사항들에 적응시키기 위하여 많은 수정들이 행해질 수 있다. 그러므로, 본 개시내용은 개시된 특정한 실시예에 제한되는 것이 아니라, 본 개시내용은 첨부된 청구항들의 범위 내에 속하는 모든 실시예들을 포함할 것이라는 점이 의도된다.

Claims (21)

  1. 데이터 통신을 위한 시스템으로서, 상기 시스템은
    제1 전자 디바이스에서의 하나 이상의 회로들을 포함하고, 상기 하나 이상의 회로들은,
    상기 제1 전자 디바이스 상에서의 이미지 - 상기 이미지는 무선 통신 네트워크에 통신가능하게 결합된 하나 이상의 다른 전자 디바이스들을 포함함 - 의 디스플레이를 제어하고;
    상기 하나 이상의 다른 전자 디바이스들과 연관된 아이덴티티 파라미터(identity parameter)에 기초하여 상기 디스플레이된 이미지에서 상기 하나 이상의 다른 전자 디바이스들을 식별하고; 그리고
    상기 식별된 하나 이상의 다른 전자 디바이스들과 연관된 디바이스 설정들에 기초하여 상기 식별된 하나 이상의 다른 전자 디바이스들 중의 제2 전자 디바이스를 제어하도록 구성되는, 시스템.
  2. 제1항에 있어서, 상기 제1 전자 디바이스는 이미지 캡처 유닛(image-capturing unit)을 갖는 사물 인터넷(Internet-of-Things)(IoT) 디바이스에 대응하고, 상기 하나 이상의 다른 전자 디바이스들은 상기 무선 통신 네트워크에 접속된 하나 이상의 다른 IoT 디바이스들에 대응하는, 시스템.
  3. 제1항에 있어서, 상기 하나 이상의 회로들은 상기 이미지에서 상기 하나 이상의 다른 전자 디바이스들과 연관된 하나 이상의 시각적 큐(visual cue)들을 검출하도록 추가로 구성되는, 시스템.
  4. 제3항에 있어서, 상기 하나 이상의 시각적 큐들은 디바이스 마크(device mark), 디바이스 텍스처(device texture), 형상, 크기, 디바이스 구성, 및/또는 다른 디바이스 식별자들 중의 하나 이상에 대응하는, 시스템.
  5. 제3항에 있어서, 상기 하나 이상의 회로들은 상기 검출된 하나 이상의 시각적 큐들, 상기 아이덴티티 파라미터, 상기 제1 전자 디바이스의 로케이션(location), 상기 하나 이상의 다른 전자 디바이스들에 대한 상기 제1 전자 디바이스의 방위(orientation), 및/또는 상기 이미지를 디스플레이하는 상기 제1 전자 디바이스로부터의 상기 하나 이상의 다른 전자 디바이스들의 거리 중의 하나 이상에 기초하여 상기 하나 이상의 다른 전자 디바이스들의 디바이스-타입을 식별하도록 추가로 구성되는, 시스템.
  6. 제1항에 있어서, 상기 하나 이상의 다른 전자 디바이스들의 상기 아이덴티티 파라미터는 인터넷 프로토콜(Internet Protocol)(IP) 어드레스, 매체 액세스 제어(Media Access Control)(MAC) 어드레스, 고유한 디바이스 식별자, 및/또는 서비스 세트 식별자(Service Set Identifier)(SSID) 중의 하나 이상에 대응하는, 시스템.
  7. 제1항에 있어서, 상기 하나 이상의 회로들은 상기 아이덴티티 파라미터에 기초하여, 상기 무선 통신 네트워크에서의 상기 식별된 하나 이상의 다른 전자 디바이스들과 접속을 확립(establish)하도록 추가로 구성되는, 시스템.
  8. 제1항에 있어서, 상기 하나 이상의 회로들은 상기 식별된 하나 이상의 다른 전자 디바이스들의 상기 제어를 가능하게 하기 위하여 상기 제1 전자 디바이스 상에서 증강-현실(augmented-reality)(AR) 뷰를 생성하도록 추가로 구성되고, 상기 AR 뷰는 상기 하나 이상의 다른 전자 디바이스들의 시야(field-of-view)(FOV), 상기 FOV 내에서 디스플레이된 상기 식별된 하나 이상의 다른 전자 디바이스들과 연관된 하나 이상의 그래픽 제어들, 및/또는 상기 식별된 하나 이상의 다른 전자 디바이스들의 디바이스-타입과 호환가능한 하나 이상의 컨텐츠 항목들을 포함하는, 시스템.
  9. 제8항에 있어서, 상기 하나 이상의 회로들은 상기 제어를 위한 상기 FOV 내의 상기 식별된 하나 이상의 다른 전자 디바이스들 각각의 디바이스-타입에 따라 상기 AR 뷰 상에서 상기 하나 이상의 그래픽 제어들을 생성하도록 추가로 구성되는, 시스템.
  10. 제8항에 있어서, 상기 하나 이상의 회로들은 상기 제1 전자 디바이스 상의 상기 AR 뷰로부터 컨텐츠 항목을 선택하고, 상기 선택된 컨텐츠 항목을 상기 AR 뷰 상의 특정 전자 디바이스를 향해 드래깅해서 상기 선택된 컨텐츠 항목을 상기 식별된 하나 이상의 다른 전자 디바이스들 중에서 상기 특정 전자 디바이스로 통신하도록 추가로 구성되는, 시스템.
  11. 제8항에 있어서, 상기 하나 이상의 회로들은 상기 제1 전자 디바이스 상의 상기 생성된 AR 뷰를 통한 사용자 입력에 기초하여 미디어 항목의 비디오 컴포넌트를 상기 제2 전자 디바이스로, 그리고 상기 미디어 항목의 오디오 컴포넌트를 상기 식별된 하나 이상의 다른 전자 디바이스들 중의 제3 전자 디바이스로 통신하도록 추가로 구성되는, 시스템.
  12. 제1항에 있어서, 상기 디바이스 설정들은 상기 하나 이상의 다른 전자 디바이스들을 포함하는 상기 복수의 전자 디바이스들에 대하여 수행되어야 할 동작과 연관된 사용자-선호도, 및/또는 상기 복수의 전자 디바이스들 각각의 디바이스-타입 중의 하나 이상에 기초하여 상기 무선 통신 네트워크에 접속된 복수의 전자 디바이스들에 대하여 설정되는, 시스템.
  13. 제12항에 있어서, 상기 디바이스 설정들은 머신 학습 기법(machine learning technique)의 적용에 의해 상기 복수의 전자 디바이스들에 대하여 이전에 수행된 동작들의 시간적 분석에 기초하여 동적으로 업데이트되는, 시스템.
  14. 제1항에 있어서, 상기 하나 이상의 회로들은 디바이스-타입, 현재의 동작 상태, 통신되어야 할 컨텐츠 항목의 데이터 타입, 하나 이상의 호환가능한 컨텐츠 항목들, 또는 상기 제2 전자 디바이스에 의해 지원된 제어 기능들 중의 하나 이상에 기초하여 상기 제2 전자 디바이스의 상기 제어를 위한 상기 디바이스 설정들로부터 특정 디바이스 설정을 선택하도록 추가로 구성되는, 시스템.
  15. 제14항에 있어서, 상기 식별된 하나 이상의 다른 전자 디바이스들의 상기 제2 전자 디바이스는 상기 무선 통신 네트워크로부터 검색된 제어 정보에 기초하여 상기 제1 전자 디바이스에 의해 제어되는, 시스템.
  16. 데이터 통신을 위한 방법으로서,
    제1 전자 디바이스에서의 하나 이상의 회로들에 의해, 상기 제1 전자 디바이스 상에서의 이미지 - 상기 이미지는 무선 통신 네트워크에 통신가능하게 결합된 하나 이상의 다른 전자 디바이스들을 포함함 - 의 디스플레이를 제어하는 단계;
    상기 하나 이상의 회로들에 의해, 상기 하나 이상의 다른 전자 디바이스들과 연관된 아이덴티티 파라미터에 기초하여 상기 디스플레이된 이미지에서 상기 하나 이상의 다른 전자 디바이스들을 식별하는 단계; 및
    상기 하나 이상의 회로들에 의해, 상기 식별된 하나 이상의 다른 전자 디바이스들과 연관된 디바이스 설정들에 기초하여 상기 식별된 하나 이상의 다른 전자 디바이스들 중의 제2 전자 디바이스를 제어하는 단계
    를 포함하는 방법.
  17. 제16항에 있어서, 상기 하나 이상의 회로들에 의해, 상기 아이덴티티 파라미터에 기초하여, 상기 무선 통신 네트워크에서의 상기 식별된 하나 이상의 다른 전자 디바이스들과 접속을 확립하는 단계를 더 포함하는, 방법.
  18. 제16항에 있어서, 상기 하나 이상의 회로들에 의해, 상기 식별된 하나 이상의 다른 전자 디바이스들의 상기 제어를 가능하게 하기 위하여 상기 제1 전자 디바이스 상에서 증강-현실(AR) 뷰를 생성하는 단계를 더 포함하고, 상기 AR 뷰는 상기 하나 이상의 다른 전자 디바이스들의 시야(FOV), 상기 FOV 내에서 디스플레이된 상기 식별된 하나 이상의 다른 전자 디바이스들과 연관된 하나 이상의 그래픽 제어들, 및/또는 상기 식별된 하나 이상의 다른 전자 디바이스들의 디바이스-타입과 호환가능한 하나 이상의 컨텐츠 항목들을 포함하는, 방법.
  19. 제18항에 있어서, 상기 하나 이상의 회로들에 의해, 상기 제어를 위한 상기 FOV 내의 상기 식별된 하나 이상의 다른 전자 디바이스들 각각의 디바이스-타입에 따라 상기 AR 뷰 상에서 상기 하나 이상의 그래픽 제어들을 생성하는 단계를 더 포함하는, 방법.
  20. 제18항에 있어서, 상기 하나 이상의 회로들에 의해, 상기 제1 전자 디바이스 상의 상기 AR 뷰로부터 컨텐츠 항목을 선택하고, 상기 선택된 컨텐츠 항목을 상기 AR 뷰 상의 특정 전자 디바이스를 향해 드래깅해서 상기 선택된 컨텐츠 항목을 상기 식별된 하나 이상의 다른 전자 디바이스들 중에서 상기 특정 전자 디바이스로 통신하는 단계를 더 포함하는, 방법.
  21. 제16항에 있어서, 상기 하나 이상의 회로들에 의해, 디바이스-타입, 현재의 동작 상태, 통신되어야 할 컨텐츠 항목의 데이터 타입, 하나 이상의 호환가능한 컨텐츠 항목들, 또는 상기 제2 전자 디바이스에 의해 지원된 제어 기능들 중의 하나 이상에 기초하여 상기 제2 전자 디바이스의 상기 제어를 위한 상기 디바이스 설정들로부터 특정 디바이스 설정을 선택하는 단계를 더 포함하는, 방법.
KR1020170101098A 2016-08-19 2017-08-09 이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법 KR101938082B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/241,719 2016-08-19
US15/241,719 US10110678B2 (en) 2016-08-19 2016-08-19 System and method for data communication based on image processing

Publications (2)

Publication Number Publication Date
KR20180020887A true KR20180020887A (ko) 2018-02-28
KR101938082B1 KR101938082B1 (ko) 2019-01-11

Family

ID=61192393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170101098A KR101938082B1 (ko) 2016-08-19 2017-08-09 이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법

Country Status (3)

Country Link
US (1) US10110678B2 (ko)
KR (1) KR101938082B1 (ko)
CN (1) CN107770238B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436701B2 (en) 2020-02-14 2022-09-06 Samsung Electronics Co., Ltd. Method and apparatus for streaming VR image
KR102495670B1 (ko) 2022-11-10 2023-02-06 이현창 패류 자동 탈거장치
US11620824B2 (en) 2018-10-12 2023-04-04 Samsung Electronics Co., Ltd. Mobile apparatus and control method thereof to control an object displayed on a target device

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861608B2 (en) * 2016-03-16 2020-12-08 Kiomars Anvari Internet of things (IoT) with novel time of day acquisition
US10320583B2 (en) * 2016-10-07 2019-06-11 Verizon Patent And Licensing Inc. System and method for facilitating interoperability across internet of things (IOT) domains
US10778742B2 (en) * 2016-10-10 2020-09-15 Sony Corporation System and method for sharing multimedia content with synched playback controls
US10169884B2 (en) * 2017-01-03 2019-01-01 International Business Machines Corporation Image-based device configuration
US11145122B2 (en) * 2017-03-09 2021-10-12 Samsung Electronics Co., Ltd. System and method for enhancing augmented reality (AR) experience on user equipment (UE) based on in-device contents
US9998790B1 (en) * 2017-03-30 2018-06-12 Rovi Guides, Inc. Augmented reality content recommendation
US10887195B2 (en) * 2017-04-28 2021-01-05 Optim Corporation Computer system, remote control notification method and program
US10791077B2 (en) 2017-08-08 2020-09-29 Snap Inc. Application-independent messaging system
CN111052042B (zh) 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
KR102397886B1 (ko) * 2017-12-06 2022-05-13 삼성전자주식회사 전자 장치, 사용자 단말 장치 및 그 제어 방법
US11131973B2 (en) * 2017-12-06 2021-09-28 Arris Enterprises Llc System and method of IOT device control using augmented reality
US10706628B2 (en) * 2018-02-28 2020-07-07 Lenovo (Singapore) Pte. Ltd. Content transfer
US11146459B2 (en) 2018-04-05 2021-10-12 Starry, Inc. System and method for facilitating installation and configuration of network devices
CN112041788B (zh) 2018-05-09 2024-05-03 苹果公司 使用眼睛注视来选择文本输入字段
JP7204351B2 (ja) * 2018-06-13 2023-01-16 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、及び、プログラム
WO2020022780A1 (en) * 2018-07-25 2020-01-30 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
CN109068161B (zh) * 2018-07-25 2021-04-16 三星电子（中国）研发中心 一种设备连接建立方法和装置
US11475664B2 (en) 2018-12-03 2022-10-18 Signify Holding B.V. Determining a control mechanism based on a surrounding of a remove controllable device
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
US11134036B2 (en) 2019-07-05 2021-09-28 Snap Inc. Event planning in a content sharing platform
US11329891B2 (en) * 2019-08-08 2022-05-10 Vonage Business Inc. Methods and apparatus for managing telecommunication system devices
CN113262478B (zh) * 2020-02-17 2023-08-25 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
US11411900B2 (en) 2020-03-30 2022-08-09 Snap Inc. Off-platform messaging system
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
CN113970888A (zh) * 2020-07-07 2022-01-25 华为技术有限公司 家居设备控制方法、终端设备及计算机可读存储介质
US11561758B2 (en) * 2020-08-11 2023-01-24 Virtual Sound Engineer, Llc Virtual sound engineer system and method
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device
US11973730B2 (en) 2022-06-02 2024-04-30 Snap Inc. External messaging function for an interaction system
US20240077935A1 (en) * 2022-09-01 2024-03-07 Youjean Cho Virtual interfaces for controlling iot devices

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003102077A (ja) 2001-09-25 2003-04-04 Matsushita Electric Ind Co Ltd 家電機器制御装置、家電機器、及び家電ネットワークシステム
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
TWI458291B (zh) * 2009-06-22 2014-10-21 Wistron Corp 實像網控裝置及其相關方法
US8799496B2 (en) 2009-07-21 2014-08-05 Eloy Technology, Llc System and method for video display transfer between video playback devices
KR101657565B1 (ko) 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US8751942B2 (en) 2011-09-27 2014-06-10 Flickintel, Llc Method, system and processor-readable media for bidirectional communications and data sharing between wireless hand held devices and multimedia display systems
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
KR20130048533A (ko) 2011-11-02 2013-05-10 엘지전자 주식회사 원격제어장치의 동작 방법
US9728009B2 (en) * 2014-04-29 2017-08-08 Alcatel Lucent Augmented reality based management of a representation of a smart environment
KR102201906B1 (ko) * 2014-04-29 2021-01-12 삼성전자주식회사 전자 장치에서 다른 전자 장치를 제어하기 위한 장치 및 방법
KR20140088052A (ko) 2014-05-16 2014-07-09 연세대학교 산학협력단 복합 컨텐츠 제공 서버
US9886162B2 (en) * 2014-06-02 2018-02-06 Qualcomm Incorporated Device-provided tracking data for augmented reality
KR102367551B1 (ko) * 2014-06-10 2022-02-25 삼성전자 주식회사 전자 장치의 정보 처리 방법 및 장치
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
KR102218901B1 (ko) * 2014-10-15 2021-02-23 삼성전자 주식회사 색 보정 방법 및 장치
KR20170015622A (ko) * 2015-07-29 2017-02-09 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR20170035678A (ko) * 2015-09-23 2017-03-31 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US11361148B2 (en) * 2015-10-16 2022-06-14 Samsung Electronics Co., Ltd. Electronic device sharing content with an external device and method for sharing content thereof
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
KR20170071347A (ko) * 2015-12-15 2017-06-23 엘지전자 주식회사 이동단말기 및 그 제어방법
EP3345379B1 (en) * 2015-12-23 2022-01-26 Samsung Electronics Co., Ltd. Method for electronic device to control object and electronic device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620824B2 (en) 2018-10-12 2023-04-04 Samsung Electronics Co., Ltd. Mobile apparatus and control method thereof to control an object displayed on a target device
US11436701B2 (en) 2020-02-14 2022-09-06 Samsung Electronics Co., Ltd. Method and apparatus for streaming VR image
KR102495670B1 (ko) 2022-11-10 2023-02-06 이현창 패류 자동 탈거장치

Also Published As

Publication number Publication date
CN107770238A (zh) 2018-03-06
CN107770238B (zh) 2021-01-29
KR101938082B1 (ko) 2019-01-11
US20180054487A1 (en) 2018-02-22
US10110678B2 (en) 2018-10-23

Similar Documents

Publication Publication Date Title
KR101938082B1 (ko) 이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법
US11307733B2 (en) Always on display method and electronic device
US11546410B2 (en) Device and method for adaptively changing task-performing subjects
KR101276846B1 (ko) 미디어 데이터의 스트리밍 제어방법 및 제어장치
CN111050076B (zh) 拍摄处理方法及电子设备
US8732691B2 (en) Method for installing application in portable terminal
TW201923528A (zh) 直接操縱多層使用者介面的方法
US20200169427A1 (en) Smart internet of things menus with cameras
AU2015202698B2 (en) Method and apparatus for processing input using display
US10270614B2 (en) Method and device for controlling timed task
US10678427B2 (en) Media file processing method and terminal
CN110366027B (zh) 一种视频管理方法及终端设备
EP3001300B1 (en) Method and apparatus for generating preview data
KR20170137445A (ko) 파일 공유 방법 및 이를 구현한 전자 장치
CN105763552B (zh) 远程控制中的传输方法、装置及系统
WO2023083089A1 (zh) 拍摄控件显示方法, 装置, 电子设备及介质
KR20170071654A (ko) 사물인터넷 서비스 시나리오 생성을 위한 컴퓨터 프로그램, 휴대용 단말기, 및 게이트웨이 장치
EP3035313B1 (en) Method and apparatus for remote control
CN106325667A (zh) 一种快速定位目标对象的方法及装置
CN109992339B (zh) 一种应用图标的处理方法及移动终端
CN107222630B (zh) 设备控制方法、移动终端以及计算机可读介质
KR102535086B1 (ko) 전자 장치 및 그의 동작 방법
CN113793407A (zh) 动态图像制作方法、移动终端及存储介质
JP2017054251A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20180076620A (ko) 메시지의 알림에 대한 차단을 제공하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant