KR20220026114A - 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법 - Google Patents

전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법 Download PDF

Info

Publication number
KR20220026114A
KR20220026114A KR1020200106773A KR20200106773A KR20220026114A KR 20220026114 A KR20220026114 A KR 20220026114A KR 1020200106773 A KR1020200106773 A KR 1020200106773A KR 20200106773 A KR20200106773 A KR 20200106773A KR 20220026114 A KR20220026114 A KR 20220026114A
Authority
KR
South Korea
Prior art keywords
electronic device
external electronic
information
identification operation
candidate
Prior art date
Application number
KR1020200106773A
Other languages
English (en)
Inventor
이반 본다레츠
드미트로 시도렌코
스비트라나 알키모바
볼로디미르 사빈
아르템 셰르비나
김기병
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200106773A priority Critical patent/KR20220026114A/ko
Priority to US17/116,298 priority patent/US20220070431A1/en
Priority to PCT/KR2020/018146 priority patent/WO2022045478A1/en
Publication of KR20220026114A publication Critical patent/KR20220026114A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Abstract

다양한 실시 예들에 따른 전자 장치는, 카메라, 디스플레이, 및 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이를 통해 증강 현실을 제공하는 동안 제1 외부 전자 장치와 통신을 성립하면, 상기 제1 외부 전자 장치로부터 수신하는 정보와 상기 카메라부터 획득하는 정보를 기반으로 상기 카메라의 시야에 존재하는 적어도 하나의 외부전자 장치 중 상기 제1 외부 전자 장치를 식별하고, 상기 디스플레이를 통해 제공되는 상기 증강 현실에서 상기 제1 외부 전자 장치에 관련된 정보를 가상의 객체 정보로 표시하도록 설정될 수 있다. 그 밖에 다양한 실시 예가 제공될 수 있다.

Description

전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법{ELECTRONIC DEVICE, AND METHOD FOR IDENTIFING REALTED EXTERNAL ELECTRONIC DEVICE IN AUGMENTED REALITY OF ELECTRONIC DEVICE}
다양한 실시 예들은, 전자 장치에서 제공하는 증강 현실(AR: augmented reality)에서 표시되는 적어도 하나의 외부 전자 장치 중 전자 장치와 관련된 외부 전자 장치를 식별할 수 있는 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 외부 전자 장치를 식별하는 방법에 관한 것이다.
증강 현실(AR: augmented reality)이란, 가상 현실의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여, 원래의 환경에 존재하는 사물처럼 보이도록 하는 기술을 말한다. 즉, 사용자가 보고 있는 실사에 가상의 영상을 투영하여 사용자에게 보여준다. 사용자는 증강현실 기술을 통해 객관적인 물리 세계에서 경험했던 직접적인 현실감을 느낄 수 있고, 현실 세계에서 경험할 수 없는 체험을 할 수 있다. 증강현실은 실제 주변환경을 볼 수 없는 가상 현실과는 구별되며, 실제 환경과 가상 객체의 혼합을 통해 보다 나은 현실감과 부가 정보를 제공하는데 그 의의가 있다.
현재 다양한 전자 장치의 종류에 증강현실 기술이 포함됨에 따라, 사용자는 전자 장치를 통해 쉽게 증강 현실 기술에 따른 서비스를 제공받을 수 있다.
전자 장치는 디스플레이를 통해 증강 현실(AR: augmented reality)을 제공할 수 있으며, 상기 증강 현실에서는 전자 장치의 카메라의 시야(FOA: field of view)에 존재하는 적어도 하나의 외부 전자 장치를 표시하는 동안 상기 적어도 하나의 외부 전자 장치들 각각에 관련된 정보를 가상의 객체 정보로 중첩하여 표시할 수 있다.
그러나, 전자 장치의 디스플레이를 통해 제공하는 증강 현실에서 전자 장치의 카메라의 시야에 존재하는 적어도 하나의 외부 전자 장치를 표시하는 동안 상기 적어도 하나의 외부 전자 장치 각각에 관련된 정보를 모두 가상의 객체 정보로 표시하는 경우, 전자 장치의 사용자는 상기 전자 장치와 관련된 특정 외부 전자 장치를 식별하기 어려울 수 있다. 예를 들어, 전자 장치와 상기 적어도 하나의 외부 전자 장치 중 특정 외부 전자 장치와 통신이 성립되는 경우, 상기 증강 현실에서 상기 적어도 하나의 외부 전자 장치를 표시하는 동안 상기 적어도 하나의 외부 전자 장치 각각에 관련된 정보가 모두 가상 객체 정보로 표시됨에 따라, 사용자는 전자 장치와 통신이 성립된 특정 외부 전자 장치를 식별하기가 어려울 수 있다.
다양한 실시 예들에 따르면, 전자 장치에서 제공하는 증강 현실(AR: augmented reality)에서 표시되는 적어도 하나의 외부 전자 장치 중 전자 장치와 관련된 외부 전자 장치를 식별할 수 있는 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 외부 전자 장치를 식별하는 방법에 관한 것이다.
다양한 실시 예들에 따른 전자 장치는, 카메라, 디스플레이, 및 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이를 통해 증강 현실을 제공하는 동안 제1 외부 전자 장치와 통신을 성립하면, 상기 제1 외부 전자 장치로부터 수신하는 정보와 상기 카메라부터 획득하는 정보를 기반으로 상기 카메라의 시야에 존재하는 적어도 하나의 외부전자 장치 중 상기 제1 외부 전자 장치를 식별하고, 상기 디스플레이를 통해 제공되는 상기 증강 현실에서 상기 제1 외부 전자 장치에 관련된 정보를 가상의 객체 정보로 표시하도록 설정될 수 있다.
다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법은, 상기 전자 장치의 디스플레이를 통해 증강 현실을 제공하는 동안 제1 전자 장치와 통신을 성립하는 동작, 상기 제1 전자 장치로부터 수신하는 정보와 상기 전자 장치의 카메라부터 획득하는 정보를 기반으로 상기 카메라의 시야에 존재하는 적어도 하나의 주변 장치 중 상기 제1 전자 장치를 식별하는 동작, 및 상기 디스플레이를 통해 제공되는 상기 증강 현실에서 상기 제1 전자 장치에 관련된 정보를 표시하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치에서 제공하는 증강 현실(AR: augmented reality)에서 적어도 하나의 외부 전자 장치를 표시하는 동안 상기 적어도 하나의 외부 전자 장치 중 상기 전자 장치와 관련된 외부 전자 장치를 식별하여 상기 식별된 외부 전자 장치에 관련된 정보만을 가상 객체 정보로 사용자에게 제공할 수 있다.
도 1a 및 도 1b는 다양한 실시 예들에 따른 전자 장치에서 제공하는 증강 현실에서 상기 전자 장치와 관련된 외부 전자 장치를 식별하는 동작을 설명하기 위한 도면들이다.
도 2는 다양한 실시 예들에 따른 전자 장치의 블록도이다.
도 3은 다양한 실시 예에 따른 전자 장치에서 제1 식별 동작을 설명하기 위한 도면이다.
도 4a 및 도 4b는 다양한 실시 예에 따른 전자 장치에서 제2 식별 동작을 설명하기 위한 도면들이다.
도 5a 내지 도 5b는 다양한 실시 예에 따른 전자 장치에서 제3 식별 동작을 설명하기 위한 도면들이다.
도 6은 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 흐름도이다.
도 7a 및 도 7b는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 제1 식별 동작으로 관련 장치를 식별하는 동작을 설명하기 위한 흐름도이다.
도 8은 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 제2 식별 동작으로 관련 장치를 식별하는 동작을 설명하기 위한 흐름도이다.
도 9는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 제3 식별 동작으로 관련 장치를 식별하는 동작을 설명하기 위한 흐름도이다,
도 10a 내지 도 10c은 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들이다.
도 11a 내지 도 11c은 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들이다.
도 12a 내지 도 12c은 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들이다.
도 13a 및 도 13b는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들이다.
도 14a 및 도 14b는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들이다.
도 15a 내지 도 15c는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들이다.
도 16a 및 도 16b는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들이다.
도 1a 및 도 1b는 다양한 실시 예들에 따른 전자 장치에서 제공하는 증강 현실에서 상기 전자 장치와 관련된 외부 전자 장치를 식별하는 동작을 설명하기 위한 도면들(100a 및 100b)이다.
상기 도 1a 및 도 1b에 따르면, 사용자가 증강 현실(AR: augmented reality)를 제공하는 전자 장치(예: AR글래스)를 착용하는 동안, 상기 전자 장치(101)는, 디스플레이(160)를 통해 증강 현실을 제공할 수 있다. 상기 전자 장치(101)는, 상기 제1 전자 장치(101)가 제1 외부 전자 장치(121)와 통신을 성립하고 있는 상태에서, 상기 전자 장치(101)의 카메라의 시야에 복수의 외부 전자 장치들(120)이 존재하면, 상기 제1 외부 전자 장치(121)로부터 수신하는 정보와 상기 전자 장치(101)의 카메라부터 획득하는 정보를 기반으로, 상기 복수의 외부 전자 장치들(120) 중 상기 제1 외부 전자 장치(121)를 식별할 수 있다.
상기 전자 장치(101)는 상기 디스플레이(160)을 통해 복수의 외부 전자 장치들(120)을 표시하는 동안, 상기 식별된 제1 외부 전자 장치(121)에 관련된 정보를 가상 객체 정보(121a)(예: AR 인터페이스)로 중첩하여 표시할 수 있다. 상기 전자 장치(101)는, 상기 제1 외부 전자 장치(121)가 식별되면 상기 제1 외부 전자 장치(121)를 추적하여 상기 증강 현실에서 상기 제1 외부 전자 장치(121)에 관련된 정보만을 가상 객체 정보(121a)로 지속적으로 표시할 수 있다.
도 2는 다양한 실시 예들에 따른 전자 장치의 블록도(200)이다. 상기 도 2에서는 상기 도 1의 전자 장치(101)의 블록도를 설명하고 있으나, 상기 도 2의 전자 장치의 블록도는 상기 도 1의 복수의 외부 전자 장치들(120) 각각에도 동일하게 적용할 수 있다.
상기 도 2를 참조하면, 전자 장치(201)(예: 도 1의 전자 장치(101))는 프로세서(220), 메모리(230), 입력모듈(250), 디스플레이(260), 카메라(280) 및 통신 모듈(290)을 포함할 수 있다.
다양한 실시 예들에 따르면, 프로세서(220)는, 전자 장치(201)의 전반적인 동작을 제어할 수 있다.
다양한 실시 예들에 따르면, 프로세서(220)는, 디스플레이(260)를 통해 제공하는 증강 현실에서 카메라(280)의 시야에 존재하는 적어도 하나의 외부 전자 장치(예: 도 1의 복수의 외부 전자 장치(120)) 중 통신 모듈(290)을 통해 전자 장치(201)와 통신을 성립한 제1 외부 전자 장치(예: 도 1의 제1 외부 전자 장치(121))를 식별할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 카메라(280)의 시야에 존재하는 상기 적어도 하나의 외부 전자 장치 중 상기 제1 외부 전자 장치를 식별하기 위해, 장치 정보를 이용한 제1 식별 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제1 식별 동작에서, 상기 카메라(280)를 통해 획득한 프레임 정보와 상기 제1 외부 전자 장치로부터 수신한 제1 외부 전자 장치의 장치 정보를 기반으로, 상기 적어도 하나의 외부 전자 장치에서, 제1 외부 전자 장치의 유형 정보, 제품 정보, 시각적 특징 정보 또는 센서 정보 중 일치하는 적어도 하나의 정보를 가지는 후보 외부 전자 장치를 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 카메라(280)를 통해 획득한 프레임 정보를 기반으로 상기 적어도 하나의 외부 전자 장치 각각의 장치 정보(예: 유형 정보, 제품 정보, 시각적 특징 정보 및/또는 센서 정보)를 확인할 수 있다.
일 실시 예에 따르면, 상기 프레임 정보는 상기 카메라(280)을 통해 실시간으로 획득되는 이미지 프레임이며, 상기 이미지 프레임에는 상기 카메라(280)의 시야에 존재하는 상기 적어도 하나의 외부 전자 장치에 대응되는 적어도 하나의 객체를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제1 외부 전자 장치로부터 수신한 상기 제1 외부 전자 장치의 장치 정보를 기반으로, 상기 제1 외부 전자 장치의 유형 정보, 제품 정보, 시각적 특징 정보 또는 센서 정보 중 적어도 하나를 확인할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는 상기 카메라(280)를 통해 프레임 정보를 획득하고, 상기 획득한 프레임 정보에서 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치의 유형 정보(예: 스마트 워치)와 동일한 유형 정보를 가지는 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출할 수 있다. 상기 프로세서는(220)는, 검출기 알고리즘 또는 컨볼루션 신경망 분류와 같은 방법을 이용하여 상기 프레임 정보에서 상기 적어도 하나의 외부 전자 장치 각각의 유형 정보를 확인할 수 있다. 상기 프로세서(220)는 상기 제1 외부 전자 장치의 유형 정보와 동일 유형 정보를 가지는 상기 후보 외부 전자 장치에 대한 일정 스코어를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 카메라(280)를 통해 획득한 프레임 정보에서 상기 적어도 하나의 외부 전자 장치 각각에서 디자인 특징 및/또는 로고를 검출하고, 메모리(230)에서 저장된 장치의 제품(제조사 및 모델) 관련 데이터를 기반으로 상기 적어도 하나의 외부 전자 장치 각각의 디자인 특징 및/또는 로고에 대응되는 제품 정보(제조사 및 모델)을 확인할 수 있다. 상기 프로세서(220)는 상기 프레임 정보를 기반으로 확인된 상기 적어도 하나의 외부 전자 장치 중 상기 제1 외부 전자 장치의 제품 정보(예: 삼성 AA모델)와 동일한 제품 정보를 가지는 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출할 수 있으며, 상기 후보 외부 전자 장치에 대한 일정 스코어를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 카메라(280)를 통해 획득한 프레임 정보를 기반으로서, 상기 적어도 하나의 외부 전자 장치 각각에 대한 시각적 특징 정보(예: 화면 상태(예: 화면의 잠금 또는 잠금 해제상태, 화면을 차지하는 주조 색 dominant color) 및/또는 배경 화면의 이미지 종류) 및/또는 상기 후보 외부 전자 장치에 장착된 외부 액세서리의 종류(예: 커버 케이스))를 검출 할 수 있다. 상기 프로세서(220)는, 특징 검출 및/또는 매칭 알고리즘과 같은 방법을 이용하여 상기 프레임 정보에서 상기 적어도 하나의 외부 전자 장치의 시각적 특징 정보를 확인할 수 있다. 상기 프로세서(220)는 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치의 시각적 특징 정보(예: 화면을 차지하는 주조 색 dominant color)은 블루)와 동일한 시각적 특징을 가지는 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 일정 스코어를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 카메라(280)를 통해 프레임 정보를 획득하고, 상기 획득한 프레임 정보를 기반으로 상기 적어도 하나의 외부 전자 장치 각각에 대한 상태 정보(예: 사용자가 장치를 잡고 있는 상태, 사용자가 장치를 잡은 상태에서 좌우로 흔들고 있는 상태, 또는/및 장치가 사용자의 팔에 착용된 상태등)를 검출할 수 있다. 상기 프로세서(220)는, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치의 상태를 나타내는 센서 정보(예: 그립 센서 정보)에 대응되는 상태 정보(예: 사용자가 제1 외부 전자 장치를 잡고 있는 상태)를 가지는 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 일정 스코어를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제1 식별 동작을 통해 상기 후보 외부 전자 장치가 획득한 스코어가 식별 임계 값보다 크거나 동일하면, 상기 후보 외부 전자 장치를 상기 제1 외부 전자 장치로 식별할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제1 식별 동작을 통해 상기 후보 외부 전자 장치가 획득한 스코어가 상기 식별 임계 값보다 작으면, 위치 정보를 이용하여 상기 제1 외부 전자 장치인지 식별하기 위한 제2 식별 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제2 식별 동작에서, 상기 카메라(280)를 통해 상기 카메라(280)의 시야에 존재하는 제1 장치에 대응되는 객체를 포함하는 제1 프레임 정보를 획득할 수 있다. 상기 프로세서(220)는, 상기 카메라(280)를 통해 획득하는 제1 프레임 정보를 기반으로 상기 제1 장치의 제1 위치(P1)를 검출할 수 있으며, 상기 제1 장치의 제1 위치(P1)는 여섯 방향으로 움직임을 감지할 수 있는 6DOF(degree of freedom) 기술을 이용하여 검출할 수 있다.
상기 프로세서(220)는, 상기 제1 외부 전자 장치로부터 상기 제1 외부 전자 장치의 카메라 시야에 포함된 장치B에 대응되는 객체를 포함하는 제2 프레임 정보를 수신할 수 있다. 상기 프로세서(220)는 상기 제1 외부 전자 장치로부터 수신한 제2 프레임 정보를 기반으로 상기 장치B의 제1 위치(P2)를 검출할 수 있다.
상기 프로세서(220)는 상기 제1 외부 전자 장치로부터 수신한 제2 프레임 정보를 기반으로 획득한 상기 장치B의 제1 위치(P2)를 여섯 방향으로 움직임을 감지할 수 있는 6DOF(degree of freedom) 기술을 이용하여 검출할 수 있다.
상기 프로세서(220)는, 좌표 변환 시스템을 이용하여 제1 장치의 제1 위치(P1)를 장치B의 좌표 시스템에 대응되는 제1위치(P1')로 변환할 수 있다. 상기 프로세서(220)는, 상기 제1 장치의 제1 위치(P1)와 상기 장치B의 좌표 시스템으로 변환된 제1 장치의 제2 위치(P1')가 동일하면, 상기 제1 장치와 상기 장치B 각각이 통신이 성립된 상기 제1 외부 전자 장치와 상기 전자 장치(201)로 예측할 수 있다. 상기 프로세서(220)는, 상기 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 일정 스코어를 업데이트 할 수 있다.
상기 프로세서(220)는, 좌표 변환 시스템을 이용하여, 상기 장치B의 제1 위치(P2)를 상기 제1 장치의 좌표 시스템에 대응되는 장치 B의 제2 위치(P2')로 변환할 수 있다. 상기 프로세서(220)는, 상기 장치B의 제1 위치(P2)와 상기 제1 장치의 좌표 시스템으로 변환된 장치B의 제2 위치(P2')가 동일하면, 상기 제1 장치와 상기 장치B 각각이 통신이 성립된 상기 제1 외부 전자 장치와 상기 전자 장치(201)로 예측할 수 있다. 상기 프로세서(220)는, 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 일정 스코어를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 제2 식별 동작에서 사용되는 상기 좌표 시스템은 하나의 좌표 시스템의 위치 정보(예: 좌표)를 다른 시스템의 위치 정보 (좌표)로 변환할 수 있는 알고리즘으로 수행될 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제1 식별 동작 및 상기 제2 식별 동작을 통해 상기 후보 외부 전자 장치가 획득한 전체 스코어가 식별 임계 값보다 크거나 동일하면, 상기 후보 외부 전자 장치를 상기 제1 외부 전자 장치로 식별할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제1 식별 동작 및 상기 제2 식별 동작을 통해 상기 후보 외부 전자 장치가 획득한 전체 스코어가 식별 임계 값보다 작으면, 화면 패턴 정보를 이용하여 상기 후보 외부 전자 장치가 상기 제1 외부 전자 장치인지 식별하기 하기 위한 제3 식별 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제1 외부 전자 장치가 카메라를 포함하고 있지 않다고 확인하는 경우, 상기 제1 식별 동작을 통해 상기 적어도 하나의 외부 전자 장치 중 스코어를 획득한 후보 외부 전자 장치가 상기 식별 임계 값보다 작으면, 상기 제2 식별 동작을 스킵하고, 화면 패턴 정보를 이용하여 상기 후보 외부 전자 장치가 상기 제1 외부 전자 장치인지 식별하기 하기 위한 제3 식별 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제3 식별 동작에서, 통신이 성립된 제1 외부 전자 장치로 특정 화면 패턴 정보의 입력을 요청하는 정보를 포함하는 제1 신호를 전송할 수 있다. 상기 프로세서(220)는 상기 제1 신호 전송 후 일정 시간 동안 상기 카메라(280)를 통해 획득한 프레임 정보를 기반으로 상기 카메라(280)의 시야에 존재하는 적어도 하나의 외부 전자 장치 중 화면에 특정 패턴을 입력한 제1 장치를 후보 외부 전자 장치로 검출할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 제1 외부 전자 장치로 제1 패턴 정보와 함께 제1 패턴 정보의 입력을 요청하는 정보를 포함하는 제1 신호를 전송하는 경우, 상기 카메라(280)를 통해 획득한 프레임 정보를 기반으로 상기 카메라(280)의 시야에 존재하는 적어도 하나의 외부 전자 장치 중 화면에 제1 패턴을 입력한 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 외부 전자 장치로 검출할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 제1 외부 전자 장치로 특정 패턴 정보의 입력을 요청하는 정보를 포함하는 제1 신호를 전송하는 경우, 상기 제1 외부 전자 장치로부터 사용자에 의해 화면에 입력된 제1 패턴 정보를 수신하고, 상기 카메라(280)를 통해 획득한 프레임 정보를 기반으로 상기 카메라(280)의 시야에 존재하는 적어도 하나의 외부 전자 장치 중 화면에 제1 패턴을 입력한 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제1 식별 동작, 상기 제2 식별 동작 및 상기 제3 식별 정보를 통해 상기 후보 외부 전자 장치가 획득한 전체 스코어가 식별 임계 값보다 크거나 동일하면, 상기 후보 외부 전자 장치를 상기 전자 장치(201)와 통신을 성립한 상기 제1 외부 전자 장치로 식별할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 제1 식별 동작 및 상기 제2 식별 동작을 통해 상기 후보 외부 전자 장치가 획득한 전체 스코어가 식별 임계 값보다 작으면, 상기 제1 식별 동작을 다시 수행하거나 또는 전자 장치(201)와 통신 성립된 제1 외부 전자 장치가 상기 전자 장치(201)의 카메라(280)의 시야 밖에 존재함으로, 상기 전자 장치(201)의 위치 이동을 요청할 수 있다.
다양한 실시 예들에 따르면, 프로세서(220)는, 디스플레이(260)를 통해 제공하는 증강 현실에서 카메라(280)의 시야에 존재하는 적어도 하나의 외부 전자 장치(예: 도 1의 복수의 외부 전자 장치(120)) 중 통신 모듈(290)을 통해 전자 장치(201)와 통신을 성립한 제1 외부 전자 장치(예: 도 1의 제1 외부 전자 장치(121))를 식별하면, 상기 제1 외부 전자에 관련 정보를 가상 객체 정보로 표시 할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 디스플레이(260)를 통해 제공되는 증강 현실에서 카메라(280)를 통해 획득한 적어도 하나의 외부 전자 장치를 표시하는 동안, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치에 관련 정보 만을 가상 객체 정보로 표시할 수 있다.
일 실시 예에 따르면, 상기 프로세서(220)는, 상기 식별된 제1 외부 전자 장치를 추적하여 제1 외부 전자 장치에 관련 정보를 가상 객체 정보로 지속적으로 표시할 수 있다. 상기 프로세서(220)는 객체 추적 방법을 이용하여 상기 제1 외부 전자 장치의 위치를 추적할 수 있다.
다양한 실시 예에 따르면, 메모리(230)는, 전자 장치(201)의 적어도 하나의 구성요소(예: 프로세서(220) 또는 센서 모듈)에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(230)는, 휘발성 메모리 또는 비휘발성 메모리)를 포함할 수 있다. 상기 프로그램은 메모리(230)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제, 미들 웨어 또는 어플리케이션을 포함할 수 있다. 일 실시 예에 따르면, 메모리(230)는 증강 현실 모듈(255)를 포함하는 컴퓨터 코드를 저장할 수 있으며, 상기 프로세서(220)에 의해 증강 현실 모듈(255)를 포함하는 컴퓨터 코드가 실행될 수 있다.
다양한 실시 예에 따르면, 입력 모듈(250)는, 전자 장치(201)의 구성요소(예: 프로세서(220))에 사용될 명령 또는 데이터를 전자 장치(201)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(250)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
다양한 실시 예에 따르면, 디스플레이(260)는, 전자 장치(201)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(260)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(260)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이(260)는 증강 현실에서 전자 장치(201)와 관련된, 예를 들어 통신이 성립된 외부 전자 장치의 관련 정보를 가상 객체로 표시할 수 있다.
다양한 실시 예에 따르면, 카메라(280)는, 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라(280)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
다양한 실시 예에 따르면, 통신 모듈(290)는, 전자 장치(201)와 외부 전자 장치(예: 도 1의 외부 전자 장치(121) 또는 서버)간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(290)은 프로세서(220)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(290)은 무선 통신 모듈 (예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈 (예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크 (예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크 또는 제 2 네트워크 (예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다.
도 3은 다양한 실시 예에 따른 전자 장치에서 제1 식별 동작을 설명하기 위한 도면(300)이다.
상기 도 3을 참조하면, 사용자의 눈에 착용된 전자 장치(301)(예: AR 글래스)는, 상기 전자 장치(301)의 디스플레이(예: 도 1의 디스플레이(260))를 통해 증강 현실을 제공하는 동안, 제1 외부 전자 장치와 통신을 성립할 수 있다. 상기 전자 장치(301)는 상기 전자 장치(301)의 카메라(예: 도 1의 카메라(280))의 시야에 존재하는 복수의 외부 전자 장치들(321,323) 중 통신이 성립된 제1 외부 전자 장치를 식별하기 위한 제1 식별 동작을 수행할 수 있다.
상기 전자 장치(301)는, 상기 전자 장치(301)의 상기 카메라를 통해 복수의 외부 전자 장치(321, 323)에 대응되는 객체들을 포함하는 프레임 정보를 획득하고, 통신이 성립된 제1 외부 전자 장치로부터 제1 외부 전자 장치의 장치 정보를 수신할 수 있다.
상기 전자 장치(301)는, 상기 전자 장치(301)의 상기 카메라를 통해 획득한 프레임 정보를 기반으로, 복수의 외부 전자 장치들(321,323) 중 제1 장치(321)의 장치 정보로써, 유형 정보(예: 스마트 폰), 제품 정보(예: 삼성전자 의 AA모델), 시각적 특징 정보(예: 잠금 해제 상태) 및/또는 센서 정보(예: 사용자가 장치를 잡고 있고 Y축을 중심으로 장치의 움직임)를 검출할 수 있다.
상기 전자 장치(301)는, 상기 전자 장치(301)의 상기 카메라를 통해 획득한 프레임 정보를 기반으로, 복수의 외부 전자 장치들(321,323) 중 제2 장치(323)의 장치 정보로써, 유형 정보(예: 스마트 폰), 제품 정보(예: 삼성전자 의 BB모델), 시각적 특징 정보(예: 잠금 상태) 및/또는 센서 정보(예: X축을 중심으로 장치의 움직임)를 검출할 수 있다.
상기 전자 장치(301)는, 통신이 성립된 제1 외부 전자 장치로부터 수신한 제1 외부 전자 장치의 장치 정보를 기반으로, 상기 제1 외부 전자 장의 유형 정보(예: 스마트 폰), 제품 정보(예: 없음), 시각적 특징 정보(예: 잠금 해제 상태) 및/또는 센서 정보(예: 사용자가 장치를 잡고 있고 Y축을 중심으로 움직임)를 검출할 수 있다.
상기 전자 장치(301)는, 상기 전자 장치(301)의 상기 제1 장치(321)의 장치 정보와 제1 외부 전자 장치의 장치 정보를 비교하고, 상기 제2 장치(323)의 장치 정보와 제1 외부 전자 장치의 장치 정보를 비교한 결과, 일치되는 정보 개수가 많은 제1 장치(321)를 전자 장치(301)와 통신이 성립된 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출할 수 있다. 상기 전자 장치(301)는, 상기 후보 외부 전자 장치로 검출된 제1 장치(321)의 일치된 정보의 개수에 대응되게 상기 후보 외부 전자 장치인 제1 장치(321)에 대한 일정 스코어를 업데이트 할 수 있다.
상기 전자 장치(301)는 상기 제1 식별 동작을 통해 상기 후보 외부 전자 장치(321)가 획득한 스코어가 식별 임계 값보다 크거나 동일하면, 상기 후보 외부 전자 장치(321)를 상기 전자 장치(301)와 통신이 성립된 제1 외부 전자 장치로 결정할 수 있다.
상기 전자 장치(301)는 상기 제1 식별 동작을 통해 상기 후보 외부 전자 장치(321)가 획득한 스코어가 식별 임계 값보다 작으면, 장치 정보를 이용하여 제1 외부 전자 장치를 식별할 수 있는 제2 식별 동작을 수행할 수 있다.
도 4a 및 도 4b는 다양한 실시 예에 따른 전자 장치에서 제2 식별 동작을 설명하기 위한 도면들(400a 및 400b)이다.
상기 도 4a 및 도 4b와 같이, 사용자의 눈에 착용된 전자 장치(401, 예: AR 글래스, 도 3의 전자 장치(301))가 제1 외부 전자 장치와 통신이 성립된 상태에서, 상기 전자 장치(401)는 상기 카메라(480)의 시야에 존재하는 복수의 외부 전자 장치들(421, 423, 425) 중 상기 전자 장치(401)와 통신이 성립된 제1 외부 전자 장치를 식별하기 위한 제2 식별 동작을 수행할 수 있다.
상기 전자 장치(401)는, 상기 카메라(480)(예: 도 1의 카메라(280))를 통해 상기 카메라(480)의 시야에 존재하는 복수의 외부 전자 장치들(421, 423, 425)에 대응되는 복수의 객체들을 포함하는 제1 프레임 정보를 획득할 수 있다. 상기 전자 장치(401)는, 상기 제1 프레임 정보를 기반으로 복수의 외부 전자 장치들(421, 423, 425) 각각의 위치 정보로써, 제1 장치(421, 예: 도 3의 제1 장치(321))의 제1 위치 정보(P1, 6DOF 기술을 기반하여 검출된 위치), 제2 장치(423)의 제1 위치 정보(P2, 6DOF 기술을 기반하여 검출된 위치) 및 장치3(425)의 제1 위치 정보(P3, 6DOF 기술을 기반하여 검출된 위치)을 검출할 수 있다.
상기 전자 장치(401)는, 통신이 성립된 제1 외부 전자 장치로부터 상기 제1 외부 전자 장치의 카메라의 시야에 포함된 복수의 외부 전자 장치들(401, 411)에 대응되는 복수의 객체들을 포함하는 제2 프레임 정보를 수신할 수 있다. 상기 전자 장치(401)는 상기 제1 외부 전자 장치로부터 수신한 제2 프레임 정보를 기반으로 복수의 외부 전자 장치들(411, 401) 각각의 위치 정보인 장치A(411)의 제1 위치(ARP1, 6DOF 기술을 기반하여 검출된 위치) 및 장치B(401)의 제1 위치(ARP2, 6DOF 기술을 기반하여 검출된 위치)를 검출할 수 있다.
상기 전자 장치(401)는, 좌표 변환 프로그램을 이용하여, 장치B(401)의 제1 위치 정보(ARP2, 좌표 값)를 제1 장치(421)의 좌표 시스템에 대응되는 제2 위치 정보(ARP2', 좌표 값)로 변환하고, 상기 장치B(401)의 제1 위치 정보(ARP2, 좌표 값)를 제2 장치(423)의 좌표 시스템에 대응되는 제3 위치 정보(ARP2", 좌표 값)로 변환하고, 상기 장치B(401)의 제1 위치 정보(ARP2, 좌표 값)를 장치3(425)의 좌표 시스템에 대응되는 제4 위치 정보(ARP2"', 좌표 값)로 변환할 수 있다.
상기 전자 장치(401)는, 장치A(421)의 제1 위치 정보(ARP1), 장치B(401)의 제1 위치 정보(ARP2), 상기 제1 장치(421)의 좌표 시스템에 대응되게 변환된 장치B(401)의 제2 위치정보(ARP2'), 상기 제2 장치(423)의 좌표 시스템에 대응되게 변환된 장치B(401)의 제3 위치 정보(ARP2"), 및 상기 장치3(425)의 좌표 시스템에 대응되게 변환된 장치B(401) 제4 위치 정보(ARP2"') 중 장치B(401)의 제1 위치(ARP2)의 좌표와 상기 제1 장치(421)의 좌표 시스템에 대응되게 변환된 장치B(401)의 제2 위치(ARP2')의 좌표가 동일한 것으로 확인되면, 장치B(401)와 제1 장치(421) 각각을 통신이 성립된 전자 장치(401)와 제1 외부 전자 장치로 예측할 수 있다. 상기 전자 장치(401)는, 상기 제1 장치(421)을 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출하고 상기 후보 외부 전자 장치에 대한 일정 스코어를 스코어를 업데이트 할 수 있다.
상기 전자 장치(401)는 도 3의 제1 식별 동작 및 상기 제2 식별 동작을 통해 상기 후보 외부 전자 장치(421)(예: 도 3의 후보 외부 전자 장치 (321))가 획득한 전체 스코어가 식별 임계 값보다 크거나 동일하면, 상기 후보 외부 전자 장치(421)를 상기 전자 장치(401)와 통신이 성립된 제1 외부 전자 장치로 결정할 수 있다.
상기 전자 장치(401)는 도 3의 제1 식별 동작 및 상기 제2 식별 동작을 통해 상기 후보 외부 전자 장치(421)(예: 도 3의 후보 외부 전자 장치 (321))가 획득한 전체 스코어가 식별 임계 값보다 작으면, 상기 후보 외부 전자 장치(421)가 상기 전자 장치(401)와 통신이 성립된 제1 외부 전자 장치인지 추가 식별하기 위한 제3 식별 동작을 수행할 수 있다.
도 5a 내지 도 5b는 다양한 실시 예에 따른 전자 장치에서 제3 식별 동작을 설명하기 위한 도면들(500a 내지도 500b)이다.
상기 도 5a를 참조하면, 사용자의 눈에 착용된 전자 장치(501)(예: AR 글래스, 예: 도 3의 전자 장치(301) 및/또는 도 4의 전자 장치(401))가 제1 외부 전자 장치(521, 예: 도 3의 제1 외부 전자 장치(321) 및/또는 도 4의 제1 외부 전자 장치(421))와 통신이 성립된 상태에서, 상기 전자 장치(501)는 상기 전자 장치(501)의 카메라(예: 도 1의 카메라(280))의 시야에 존재하는 복수의 외부 전자 장치들(521, 523) 중 상기 전자 장치(501)와 통신이 성립된 제1 외부 전자 장치를 식별하기 위한 제3 식별 동작을 수행할 수 있다.
상기 전자 장치(501)는, 통신이 성립된 제1 외부 전자 장치에게 제1 외부 전자 장치의 화면에 특정 패턴의 입력을 요청하는 제1 신호를 전송할 수 있다(a1). 상기 전자 장치(501)는 제1 신호를 전송한 이후 일정 시간 동안 상기 전자 장치의 상기 카메라를 통해 복수의 외부 전자 장치들(521, 523)에 대응되는 객체들을 포함하는 프레임 정보를 획득할 수 있다. 상기 전자 장치(501)는 상기 프레임 정보를 기반으로 복수의 외부 전자 장치들(521, 523) 중 제1 장치(521)의 화면에서 상기 특정 패턴의 입력을 확인하고, 상기 제1 장치(521)을 제1 외부 전자 장치로 예측하고, 상기 제1 장치(521)을 후보 외부 전자 장치로써 상기 제1 장치에 대한 일정 스코어를 업데이트 할 수 있다. 상기 전자 장치(501)는, 제1 패턴의 정보와 함께 상기 제1 패턴의 입력에 대한 요청 정보를 포함하는 제1 신호를 상기 제1 외부 전자 장치에게 전송하고, 상기 복수의 외부 전자 장치들(521,523) 중 장치의 화면에 상기 제1 패턴이 입력된 제1 장치(521)을 제1 외부 전자 장치로 예측하고, 상기 제1 장치(521)을 후보 외부 전자 장치로써 상기 제1 장치에 대한 일정 스코어를 스코어를 업데이트 할 수 있다.
상기 전자 장치(501)는, 특정 패턴의 입력에 대한 요청 정보만을 포함하는 제1 신호를 상기 제1 외부 전자 장치에게 전송하면, 상기 제1 외부 전자 장치로부터 사용자에 의해 화면에 입력된 제1 패턴 정보를 수신할 수 있다. 상기 전자 장치는 상기 프레임 정보를 기반으로, 상기 복수의 외부 전자 장치들(521,523) 중 장치의 화면에 상기 제1 패턴이 입력된 제1 장치(521)을 제1 외부 전자 장치로 예측하고, 상기 제1 장치(521)을 후보 외부 전자 장치로써 상기 제1 장치에 대한 일정 스코어를 업데이트 할 수 있다.
도 5b는, 제1 장치(521)의 디스플레이에 표시되는 화면을 나타내는 것으로, 제1 장치(521)는 상기 전자 장치(501)부터 상기 제1 신호를 수신하는 시점(b1)에 사용자에 의해 화면에 제1 패턴(예: 별 모양)이 입력될 수 있다.
상기 전자 장치(501)는, 도 3의 제1 식별 동작, 도 4의 상기 제2 식별 동작 및 상기 제3 식별 동작을 통해 상기 후보 외부 전자 장치(521, 예: 도 3의 후보 외부 전자 장치 (321) 및/또는 도 4의 후보 외부 전자 장치(421))가 획득한 전체 스코어가 식별 임계 값보다 크거나 동일하면, 상기 후보 외부 전자 장치(521)를 상기 전자 장치(501)와 통신이 성립된 제1 외부 전자 장치로 결정할 수 있다.
상기 전자 장치(501)는, 도 3의 제1 식별 동작, 도 4의 상기 제2 식별 동작 및 상기 제3 식별 동작을 통해 상기 후보 외부 전자 장치(521, 예: 도 3의 후보 외부 전자 장치 (321) 및/또는 도 4의 후보 외부 전자 장치(421))가 획득한 전체 스코어가 식별 임계 값보다 작으면, 상기 제1 식별 동작부터 다시 수행하거나, 또는 상기 전자 장치(501)의 카메라의 시야에 통신이 성립된 제1 외부 전자 장치가 존재하진 않음으로, 전자 장치의 위치 이동을 요청할 수 있다.
도 6은 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 흐름도(600)이다. 상기 관련 장치를 식별하기 위한 동작들은 601동작 내지 617동작을 포함할 수 있다. 일 실시 예에 따르면, 601동작 내지 617 동작 중 적어도 하나가 생략되거나, 일부 동작들의 순서가 바뀌거나, 다른 동작이 추가될 수 있다. 상기 관련 장치를 식별하기 위한 동작들은 도 1의 전자 장치(101), 도 2의 전자 장치(201, 도 2의 프로세서(220), 도 3의 전자 장치(301), 도 4의 전자 장치(401) 및/또는 도 5의 전자 장치(501)에 수행될 수 있다.
601동작에서, 전자 장치는, 상기 전자 장치의 디스플레이(예: 도 2의 디스플레이(260))를 통해 증강 현실을 제공하는 동안 통신 모듈(예: 도 2의 통신 모듈(290))을 통해 제1 외부 전자 장치와 통신을 성립할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(201)는, 수동 또는 자동으로 상기 통신 모듈을 통해 제1 외부 전자 장치와 통신을 성립할 수 있다.
603동작에서, 전자 장치는, 상기 전자 장치의 카메라(예: 도 2의 카메라(280))의 시야에 존재하는 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치를 식별하기 위한 제1 식별 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 장치 정보를 이용하여 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치를 식별하기 위한 제1 식별 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 카메라를 통해 상기 적어도 하나의 외부 전자 장치에 대응되는 객체를 포함하는 프레임 정보를 획득하고, 통신이 성립된 제1 외부 전자 장치로부터 제1 외부 장치의 장치 정보를 수신할 수 있다. 상기 전자 장치는, 상기 카메라로부터 획득한 상기 프레임 정보와 상기 제1 외부 전자 장치로부터 수신한 상기 1 외부 장치의 장치 정보를 기반으로, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치를 검출할 수 있다. 상기 제1 식별 동작은 하기 도 7에서 상세히 설명한다.
605동작에서, 전자 장치는, 제1 식별 동작에서 후보 외부 전자 장치가 획득한 스코어가 식별 임계 값보다 크거나 동일하다고 결정하면, 615동작에서 상기 후보 외부 전자 장치를 제1 외부 전자 장치로 식별할 수 있다.
상기 605동작에서, 전자 장치는, 제1 식별 동작에서 후보 외부 전자 장치가 획득한 스코어가 식별 임계 값보다 작다고 결정하면, 607에서 상기 전자 장치의 카메라의 시야에 존재하는 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치를 식별하기 위한 제2 식별 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 위치 정보를 이용하여 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치를 식별하기 위한 제2 식별 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는 상기 카메라를 통해 상기 적어도 하나의 외부 전자 장치에 대응되는 객체를 포함하는 제1 프레임 정보를 획득하고, 통신이 성립된 제1 외부 전자 장치로부터 제1 외부 장치의 카메라의 시야에 존재하는 적어도 하나의 외부 전자 장치에 대응되는 객체를 포함하는 제2 프레임 정보를 수신할 수 있다. 상기 전자 장치는 상기 제1 프레임 정보에서 검출된 적어도 하나의 외부 전자 장치 각각이 위치 정보와 상기 제2 프레임 정보에서 검출된 적어도 하나의 외부 전자 장치 각각의 위치 정보를 기반으로, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치를 검출할 수 있다. 상기 제2 식별 동작은 하기 도 8에서 상세히 설명한다.
일 실시 예에 따르면, 상기 전자 장치의 카메라의 시야에 존재하는 적어도 하나의 외부 전자 장치 중 카메라를 가지고 있지 않은 장치는 제2 식별 동작을 스킵 하고 611동작에서의 제3 식별동작을 수행할 수 있다.
609동작에서, 전자 장치는, 제1 식별 동작 및 제2 식별 동작에서 후보 외부 전자 장치가 획득한 전체 스코어가 식별 임계 값보다 크거나 동일하다고 결정하면, 상기 615동작에서 상기 후보 외부 전자 장치를 제1 외부 전자 장치로 식별할 수 있다.
상기 609동작에서, 전자 장치는, 제1 식별 동작 및 제2 식별 동작에서 후보 외부 전자 장치가 획득한 전체 스코어가 식별 임계 값보다 작다고 결정하면, 611에서 상기 전자 장치의 카메라의 시야에 존재하는 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치를 식별하기 위한 제3 식별 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 화면 패턴 정보를 이용하여 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치를 식별하기 위한 제3 식별 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 통신이 성립된 제1 외부 전자 장치로 화면에 특정 패턴 정보의 입력을 요청하는 제1 신호를 전송한 후, 일정 시간 동안 상기 카메라를 통해 상기 적어도 하나의 외부 전자 장치에 대응되는 객체를 포함하는 프레임 정보를 획득하고, 상기 프레임 정보를 기반으로 상기 적어도 하나의 외부 전자 장치 중 상기 특정 패턴 정보가 화면에 입력된 제1 장치를 상기 전자 장치와 통신이 성립된 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치를 검출할 수 있다. 상기 제3 식별 동작은 하기 도 9에서 상세히 설명한다.
613동작에서, 상기 전자 장치는, 제1 식별 동작, 제2 식별 동작 및 제3 식별 동작에서 후보 외부 전자 장치가 획득한 전체 스코어가 식별 임계 값보다 작다고 결정하면, 상기 603동작에서의 제1 식별 동작을 다시 수행하거나, 또는 도 7의 제2 식별 동작을 수행하거나, 또는 상기 전자 장치의 카메라의 시야에 제1 외부 전자 장치가 존재하지 않음으로 사용자에게 전자 장치의 위치 이동을 요청할 수 있다.
상기 613동작에서, 전자 장치는, 제1 식별 동작, 제2 식별 동작 및 제3 식별 동작에서 후보 외부 전자 장치가 획득한 전체 스코어가 식별 임계 값보다 크거나 동일하다고 결정하면, 615동작에서 상기 후보 외부 전자 장치를 제1 외부 전자 장치로 식별할 수 있다.
617동작에서, 전자 장치는, 전자 장치의 상기 디스플레이를 통해 제공되는 증강 현실에서 제1 외부 전자 장치와 관련된 정보 만을 가상 객체 정보로 표시하고, 상기 제1 외부 전자 장치를 추적할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 전자 장치의 상기 디스플레이를 통해 제공되는 증강 현실에서 적어도 하나의 외부 전자 장치 중 식별된 제1 외부 전자 장치와 관련된 정보 만을 가상 객체 정보로 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 식별된 제1 외부 전자 장치의 움직임을 추적하여 상기 제1 외부 전자 장치와 관련된 정보를 지속적으로 가상 객체 정보로 표시할 수 있다.
도 7a 및 도 7b는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 제1 식별 동작으로 관련 장치를 식별하는 동작을 설명하기 위한 흐름도(700a 및 700b)이다. 상기 관련 장치를 식별하기 위한 동작들은 701동작 내지 725동작을 포함할 수 있다. 일 실시 예에 따르면, 701동작 내지 725 동작 중 적어도 하나가 생략되거나, 일부 동작들의 순서가 바뀌거나, 다른 동작이 추가될 수 있다. 상기 관련 장치를 식별하기 위한 동작들은 도 1의 전자 장치(101), 도 2의 전자 장치(201, 도 2의 프로세서(220), 도 3의 전자 장치(301), 도 4의 전자 장치(401) 및/또는 도 5의 전자 장치(501)에 수행될 수 있다.
701동작에서, 전자 장치는, 전자 장치의 카메라(예: 도 1의 카메라(280))를 통해 획득한 프레임 정보와 통신이 성립된 제1 외부 전자 장치로부터 제1 외부 전자 장치의 장치 정보를 비교할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 디스플레이(예: 도 1의 디스플레이(260))을 통해 사용자에게 증강 현실을 제공하는 동안 통신 모듈(예: 도 1의 통신 모듈(290))을 통해 제1 외부 전자 장치와 통신을 성립할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 카메라(예: 도 1의 카메라(280))를 통해 상기 카메라의 시야에 존재하는 적어도 하나의 외부 전자 장치(예: 도 3의 적어도 하나의 외부 전자 장치(321, 323))에 대응되는 객체를 포함하는 프레임 정보를 획득하고, 상기 획득한 프레임 정보를 기반으로 상기 적어도 하나의 외부 전자 장치의 각각의 장치 정보(예: 유형 정보, 제품 정보, 시각적 특징 정보 및/또는 센서 정보)를 검출할 수 있다. 상기 전자 장치는, 통신이 성립된 제1 외부 전자 장치로부터 제1 외부 전자 장치의 장치 정보(예: 제1 외부 전자 장치의 유형 정보, 제품 정보, 시각적 특징 정보 및/또는 센서 정보)를 수신할 수 있다. 상기 전자 장치는 상기 프레임을 기반으로 검출된 상기 적어도 하나의 외부 전자 장치의 각각의 장치 정보와 상기 제1 외부 전자 장치로부터 수신한 제1 외부 전자 장치의 장치 정보를 비교할 수 있다.
703동작에서, 전자 장치는, 제1 외부 전자 장치의 유형 정보(예; 스마트 워치)와 동일한 유형 정보를 가지는 제1 장치를 검출할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치의 유형 정보와 동일한 유형 정보를 가지는 제1 장치(예: 도3의 제1 장치(321))을 검출할 수 있다.
상기 703동작에서, 전자 장치는, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치의 유형 정보와 동일한 장치를 검출하지 못하면, 스코어 획득 없이, 707동작을 수행할 수 있다.
705동작에서, 전자 장치는, 상기 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출하고, 상기 제1 장치에 대한 스코어를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 유형 정보 일치에 따른 일정 스코어를 상기 후보 외부 전자 장치에게 전송할 수 있다.
707동작에서, 전자 장치는, 제1 외부 전자 장치의 제품 정보 정보(모델, 제조사)와 동일한 제품 정보를 가지는 제1 장치를 검출할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치의 제품 정보와 동일한 제1 장치(예: 도3의 제1 장치(321))가 검출할 수 있다.
상기 707동작에서, 전자 장치는, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치의 제품 정보와 동일한 장치를 검출하지 못하면, 스코어 획득 없이, 711동작을 수행할 수 있다.
709동작에서, 전자 장치는, 상기 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출하고, 상기 제1 장치에 대한 스코어를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 제품 정보 일치에 따른 일정 스코어를 상기 후보 외부 전자 장치에게 전송할 수 있다.
711동작에서, 전자 장치는, 제1 외부 전자 장치의 시각적 특징 정보(예: 화면을 차지하는 주조 색 dominant color이 블루)와 동일한 시각적 정보를 가지는 제1 장치를 검출할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치의 시각적 특징 정보와 동일한 제1 장치(예: 도3의 제1 장치(321))가 검출되면, 상기 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출할 수 있다.
상기 711동작에서, 전자 장치는, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치의 시각적 특징 정보와 동일한 장치를 검출하지 못하면, 스코어 획득 없이, 715동작을 수행할 수 있다.
713동작에서, 전자 장치는, 제1 장치를 후보 외부 전자 장치로 검출하고, 상기 제1 장치에 대한 스코어를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 시각적 특징 정보 일치에 따른 일정 스코어를 상기 후보 외부 전자 장치에게 전송할 수 있다.
715동작에서, 전자 장치는, 제1 외부 전자 장치의 센서 정보와 대응되는 상태 정보를 가지는 제1 장치를 검출할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 제1 외부 전자 장치의 장치 정보에서 센서 정보(예: 그립 센서 정보 및/또는 가속도 센서 정보)를 검출하고, 상기 프레임 정보를 기반으로 적어도 하나의 전자 장치 중 제1 장치(예: 도 3의 제2 장치(321))의 상태 정보(예: 사용자가 제1 외부 전자 장치를 잡고 있는 상태 및/또는 사용자가 제1 외부 전자 장치를 잡은 상태에서 좌우로 흔들고 있는 상태)를 검출할 수 있다,
상기 715동작에서, 전자 장치는, 상기 적어도 하나의 외부 전자 장치 중 제1 외부 전자 장치의 센서 정보에 대응되는 상태 정보를 가지는 장치를 검출하지 못하면, 719동작에서 후보 외부 전자 장치가 획득한 스코어와 식별 임계 값을 비교할 수 있다.
717동작에서, 전자 장치는, 제1 장치를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출하고, 상기 제1 장치에 대한 스코어를 업데이트 할 수 있다.
상기 719동작에서, 전자 장치는, 후보 외부 전자 장치인 제1 장치가 획득한 스코어와 식별 임계 값을 비교하고, 상기 비교 결과 상기 후보 외부 전자 장치가 획득한 스코어가 상기 식별 임계 값 보다 크거나 동일하면, 723동작에서 후보 외부 전자 장치를 제1 외부 전자 장치로 식별할 수 있다.
상기 719동작에서, 전자 장치는, 상기 후보 외부 전자 장치가 획득한 스코어가 상기 식별 임계 값 보다 작으면, 721동작에서 도 8의 제2 식별 동작을 수행할 수 있다.
725동작에서, 전자 장치는, 상기 디스플레이를 통해 제공되는 증강 현실에서 제1 외부 전자 장치와 관련된 정보 만을 가상 객체 정보로 표시하고, 상기 제1 외부 전자 장치를 추적할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 전자 장치의 디스플레이를 통해 제공되는 증강 현실에서 적어도 하나의 외부 전자 장치 중 식별된 제1 외부 전자 장치와 관련된 정보 만을 가상 객체 정보로 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 식별된 제1 외부 전자 장치의 움직임을 추적하여 상기 제1 외부 전자 장치와 관련된 정보를 지속적으로 가상 객체 정보로 표시할 수 있다.
도 8은 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 제2 식별 동작으로 관련 장치를 식별하는 동작을 설명하기 위한 흐름도(800)이다. 상기 관련 장치를 식별하기 위한 동작들은 801동작 내지 817동작을 포함할 수 있다. 일 실시 예에 따르면, 801동작 내지 817 동작 중 적어도 하나가 생략되거나, 일부 동작들의 순서가 바뀌거나, 다른 동작이 추가될 수 있다. 상기 관련 장치를 식별하기 위한 동작들은 도 1의 전자 장치(101), 도 2의 전자 장치(201, 도 2의 프로세서(220), 도 3의 전자 장치(301), 도 4의 전자 장치(401) 및/또는 도 5의 전자 장치(501)에 수행될 수 있다.
801동작에서, 전자 장치는, 상기 전자 장치의 카메라(예: 도 1의 카메라(280))를 통해 획득한 제1 프레임 정보를 기반으로, 상기 전자 장치의 상기 카메라의 시야에 존재 하는 적어도 하나의 외부 전자 장치 중 제1 장치의 제1 위치 정보(P1)를 검출할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 디스플레이(예: 도 1의 디스플레이(260))을 통해 사용자에게 증강 현실을 제공하는 동안 통신 모듈(예: 도 1의 통신 모듈(290))을 통해 제1 외부 전자 장치와 통신을 성립할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 전자 장치의 카메라를 통해 획득하는 상기 제1 프레임 정보를 기반으로, 상기 전자 장치의 카메라에 시야에 존재하는 적어도 하나의 외부 전자 장치(예: 도 4a 및 도 4b의 적어도 하나의 외부 전자 장치(421, 423, 425)) 각각의 제1 위치 정보(예: P1, P2, P3)를 검출할 수 있다. 상기 전자 장치는, 상기 적어도 하나의 외부 전자 장치 각각의 위치 정보 중 제1 장치(예: 도 4a 및 도 4b의 제1 장치(421))의 제1 위치 정보(P1)를 검출할 수 있다.
803동작에서, 전자 장치는, 제1 외부 전자 장치로부터 획득한 제2 프레임 정보를 기반으로, 상기 제1 외부 전자 장치의 카메라의 시야에 존재하는 적어도 하나의 외부 전자 장치(예: 도 4a 및 도 4b의 401, 411) 중 장치 B(예: 도 4a 및 도 4b의 401)의 제1 위치 정보(P2)를 검출할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 제1 외부 전자 장치로부터 수신한 상기 제2 프레임 정보를 기반으로, 상기 제1 외부 전자 장치의 카메라에 시야에 존재하는 적어도 하나의 외부 전자 장치(예: 도 4a 및 도 4b의 적어도 하나의 외부 전자 장치(401, 411)) 각각의 제1 위치 정보를 검출할 수 있다. 상기 전자 장치는, 상기 적어도 하나의 외부 전자 장치 각각의 제1 위치 정보 중 장치B(예: 도 4a 및 도 4b의 장치B(401))의 위치 정보(P2)를 검출할 수 있다.
805동작에서, 전자 장치는, 좌표 변환 시스템을 이용하여, 제1 장치의 제1 위치 정보(P1, 좌표)를 장치 B의 좌표 시스템에 대응되는 제1 장치의 제2 위치 정보(P1', 좌표)로 변환할 수 있다.
807동작에서, 전자 장치는, 제1 장치의 제1 위치 정보(P1)과 제1 장치의 제2 위치 정보(P1')가 동일하면, 장치 B와 제1 장치를 통신이 성립된 전자 장치와 제1 외부 전자 장치로 예측하고, 809동작에서 제1 장치를 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 좌표 변환 시스템을 이용하여, 장치 B의 제1 위치 정보(P2, 좌표)를 제1 장치의 좌표 시스템에 대응되는 장치 B의 제2 위치 정보(P2', 좌표)로 변환할 수 있다. 상기 전자 장치는, 장치 B의 제1 위치 정보(P2)와 장치 B의 제2 위치 정보(P2') 가 동일하면, 장치 B와 제1 장치를 통신이 성립된 전자 장치와 제1 외부 전자 장치로 예측하고, 제1 장치를 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 할 수 있다.
상기 807동작에서, 전자 장치는, 제1 장치의 제1 위치 정보(P1)과 제1 장치의 제2 위치 정보(P1')가 동일하지 않으면, 813동작에서 도 9의 제3 식별 동작을 수행할 수 있다
일 실시 예에 따르면, 상기 전자 장치는, 장치 B의 제1 위치 정보(P2)와 장치 B의 제2 위치 정보(P2') 가 동일하지 않으면, 도 9의 제3 식별 동작을 수행할 수 있다
811동작에서, 전자 장치는, 후보 외부 전자 장치가 획득한 스코어와 식별 임계 값을 비교하고, 상기 비교 결과 상기 후보 외부 전자 장치가 획득한 스코어가 상기 식별 임계 값 보다 크거나 동일하면, 815동작에서 후보 외부 전자 장치를 제1 외부 전자 장치로 식별할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 후보 외부 전자 장치가 도 7의 제1 식별 동작과 상기 809 동작에서 획득한 전체 스코어와 식별 임계 값을 비교할 수 있다.
상기 811동작에서, 전자 장치는, 상기 후보 외부 전자 장치가 획득한 스코어가 상기 식별 임계 값 보다 작으면, 상기 813동작에서 도 9의 제3 식별 동작을 수행할 수 있다.
817동작에서, 전자 장치는, 상기 디스플레이를 통해 제공되는 증강 현실에서 제1 외부 전자 장치와 관련된 정보 만을 가상 객체 정보로 표시하고, 상기 제1 외부 전자 장치를 추적할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 전자 장치의 디스플레이를 통해 제공되는 증강 현실에서 적어도 하나의 외부 전자 장치 중 식별된 제1 외부 전자 장치와 관련된 정보 만을 가상 객체 정보로 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 식별된 제1 외부 전자 장치의 움직임을 추적하여 상기 제1 외부 전자 장치와 관련된 정보를 지속적으로 가상 객체 정보로 표시할 수 있다.
도 9는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 제3 식별 동작으로 관련 장치를 식별하는 동작을 설명하기 위한 흐름도(900)이다, 상기 관련 장치를 식별하기 위한 동작들은 901동작 내지 913동작을 포함할 수 있다. 일 실시 예에 따르면, 901동작 내지 913 동작 중 적어도 하나가 생략되거나, 일부 동작들의 순서가 바뀌거나, 다른 동작이 추가될 수 있다. 상기 관련 장치를 식별하기 위한 동작들은 도 1의 전자 장치(101), 도 2의 전자 장치(201, 도 2의 프로세서(220), 도 3의 전자 장치(301), 도 4의 전자 장치(401) 및/또는 도 5의 전자 장치(501)에 수행될 수 있다.
901동작에서, 전자 장치는, 제1 외부 전자 장치에게 화면에 특정 패턴 정보 입력을 요청하는 제1신호를 전송할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 디스플레이(예: 도 1의 디스플레이(260))을 통해 사용자에게 증강 현실을 제공하는 동안 통신 모듈(예: 도 1의 통신 모듈(290))을 통해 제1 외부 전자 장치와 통신을 성립할 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 패턴의 정보와 함께 상기 제1 패턴의 입력에 대한 요청 정보를 포함하는 제1 신호를 상기 제1 외부 전자 장치로 전송할 수 있다.
일 실시 예에 따르면, 전자 장치는 특정 패턴의 입력에 대한 요청 정보만을 포함하는 제1 신호를 상기 제1 외부 전자 장치로 전송할 수 있다,
903동작에서, 전자 장치는, 카메라를 통해 획득된 프레임 정보를 기반으로 적어도 하나의 외부 전자 장치 중 화면에 특정 패턴 정보가 입력된 제1 장치를 검출할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 제1 신호를 전송한 이후 일정 시간 동안 카메라를 통해 프레임을 획득할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 카메라를 통해 획득된 프레임 정보를 기반으로, 적어도 하나의 외부 전자 장치(예: 도 5a의 적어도 하나의 외부 전자 장치(521, 523)) 각각의 화면에 특정 패턴 정보가 입력된 장치를 확인한 결과, 특정 패턴 정보가 입력된 제1 장치(예: 도 5a의 제1 장치(521))을 검출할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 제1 패턴의 정보와 함께 상기 제1 패턴의 입력에 대한 요청 정보를 포함하는 제1 신호에 응답하여, 사용자에 의해 화면에 제1 패턴 정보를 입력한 제1 장치를 검출할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 특정 패턴 정보의 입력에 대한 요청 정보만을 포함하는 제1 신호에 응답하여, 제1 외부 전자 장치로부터 상기 제1 외부 전자 장치의 화면에 사용자에 의해 입력된 제1 패턴 정보를 수신하고, 상기 적어도 하나의 외부 전자 장치 중 화면에 제1 패턴 정보를 입력한 제1 장치를 검출할 수 있다.
905동작에서, 전자 장치는, 제1 장치를 후보 외부 전자 장치로 검출하고, 상기 제1 장치에 대한 스코어를 업데이트 할 수 있다.
907동작에서, 전자 장치는, 후보 외부 전자 장치가 획득한 스코어와 식별 임계 값을 비교하고, 상기 비교 결과 상기 후보 외부 전자 장치가 획득한 스코어가 상기 식별 임계 값 보다 크거나 동일하면, 911동작에서 후보 외부 전자 장치를 제1 외부 전자 장치로 식별할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 후보 외부 전자 장치가 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및 상기 905 동작에서 획득한 전체 스코어와 식별 임계 값을 비교할 수 있다.
상기 907동작에서, 전자 장치는, 상기 후보 외부 전자 장치가 획득한 스코어가 상기 식별 임계 값 보다 작으면, 909동작에서 도6의 제1 식별 동작을 수행하거나 또는 전자 장치의 카메라의 시야에 통신이 성립된 제1 외부 전자 장치가 존재하지 않음으로 전자 장치의 위치 이동을 사용자에게 요청할 수 있다.
913동작에서, 전자 장치는, 상기 디스플레이를 통해 제공되는 증강 현실에서 제1 외부 전자 장치와 관련된 정보 만을 가상 객체 정보로 표시하고, 상기 제1 외부 전자 장치를 추적할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 전자 장치의 디스플레이를 통해 제공되는 증강 현실에서 적어도 하나의 외부 전자 장치 중 식별된 제1 외부 전자 장치와 관련된 정보 만을 가상 객체 정보로 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 식별된 제1 외부 전자 장치의 움직임을 추적하여 상기 제1 외부 전자 장치와 관련된 정보를 지속적으로 가상 객체 정보로 표시할 수 있다.
도 10a 내지 도 10c은 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들(1000a 내지 도 1000c)이다.
상기 도 10a와 같이, 사용자의 눈에 착용한 전자 장치(1001, 예: AR 글래스)가 디스플레이를 통해 증강 현실을 제공하는 동안, 제1 외부 전자 장치와 통신을 성립할 수 있다. 상기 전자 장치(1001)는, 상기 전자 장치(1001)의 카메라의 시야(FOA)에 존재하는 복수의 외부 전자 장치들(1021, 1023) 중 통신이 성립한 제1 외부 전자 장치를 식별하기 위해 제1 식별 동작을 수행할 수 있다.
상기 전자 장치(1001)는, 상기 전자 장치(1001)의 카메라의 시야(FOA)에 존재 하는 복수의 외부 전자 장치들(1021, 1023)에 대응되는 객체들을 포함하는 프레임 정보를 획득하고, 통신이 성립한 제1 외부 전자 장치로부터 제1 외부 전자 장치의 장치 정보를 수신할 수 있다.
상기 전자 장치(1001)는, 상기 전자 장치의 카메라로부터 획득한 프레임 정보와 상기 제1 외부 전자 장치로부터 획득한 제1 외부 전자 장치의 장치 정보를 기반으로, 상기 복수의 외부 전자 장치들(1021, 1023)에서 제1 외부 전자 장치의 유형 정보(예: 스마트 워치), 제품 정보(예: 삼성, AA모델), 시각적 특징 정보(예: 화면의 주조 색(dominant color)이 블루) 또는 센서 정보(나침반 센서 정보) 중 일치하는 적어도 하나의 정보를 가지는 장치를 검출할 수 있다. 하기 <표 1>은 제1 식별 동작에 따른 결과 데이터를 나타내는 것으로, 하기 <표 1>을 기반으로 상기 복수의 외부 전자 장치들(1021, 1023) 중 제1 장치(1021)를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출할 수 있다.
장치 정보 제1 장치(1021) 제2 장치(1023)
유형 정보 스마트 워치 +0.1 스마트 폰 0
제품 정보 비 검출 0 비 검출 0
시각적 특징 정보 화면의 주조 색 (dominant color)이 블루 +0.2 비 검출 0
센서 정보 나침반 모드 +0.2 비 검출 0
상기 전자 장치는, 상기 <표 l>을 기반으로, 후보 외부 전자 장치로 결정된 제1 장치(1023)의 스코어(예: 0.5)가 식별 임계 값(예: 1.0)보다 작음으로, 제2 식별 동작을 수행할 수 있다.상기 전자 장치는 위치 정보를 이용하는 제2 식별 동작을 통해, 상기 전자 장치의 카메라를 통해 획득된 제1 프레임 정보를 기반으로 제1 장치의 위치 정보(P1)를 검출하고, 상기 제1 외부 전자 장치로부터 수신한 제2 프레임 정보를 기반으로 장치 B의 위치 정보(P2)를 검출할 수 있다. 상기 전자 장치는, 제1 장치의 제1 위치 정보(P1)와 상기 제1 장치의 위치 정보(P1)를 장치 B의 좌표 시스템에 대응되게 변환한 제1 장치의 제2 위치 정보(P1')가 동일 하거나, 또는 장치 B의 제1 위치 정보(P2)와 상기 장치B의 위치 정보(P2)를 제1 장치의 좌표 시스템에 대응되게 변환한 장치 B의 제2 위치 정보(P2')가 동일하면, 상기 장치 B와 상기 제1 장치 각각이 통신이 성립된 전자 장치(1001)와 제1 외부 전자 장치로 예측하여 후보 전자 장치로 검출하고, 상기 제1 장치에 대한 스코어를 "+0.5" 업데이트할 수 있다.
상기 전자 장치는, 상기 제1 식별 동작에서 획득한 스코어(0.5)와 상기 제2 식별동작에서 획득한 스코어(0.5)를 합한 후보 외부 전자 장치인 제1 장치(1021)의 전체 스코어(예: 1.0)가 식별 임계 값(예: 1.0)과 동일함으로, 상기 제1 장치(1021)를 전자 장치(1001)와 통신이 성립된 제1 외부 전자 장치로 식별할 수 있다.
상기 도 10b와 같이, 사용자의 눈에 착용한 전자 장치(1001, 예: AR 글래스)가 디스플레이를 통해 증강 현실을 제공하는 동안, 제1 외부 전자 장치와 통신을 성립할 수 있다. 상기 전자 장치(1001)는, 상기 전자 장치(1001)의 카메라의 시야(FOA)에 존재 하는 냉장고(1025)가 통신이 성립한 제1 외부 전자 장치인지 식별하기 위해 제1 식별 동작을 수행할 수 있다.
상기 전자 장치(1001)는, 상기 전자 장치(1001)의 카메라의 시야(FOA)에 존재 하는 냉장고(1025)에 대응되는 객체를 포함하는 프레임 정보를 획득하고, 통신이 성립한 제1 외부 전자 장치로부터 제1 외부 전자 장치의 장치 정보를 수신할 수 있다.
상기 전자 장치(1001)는, 상기 전자 장치의 카메라로부터 획득한 프레임 정보와 상기 제1 외부 전자 장치로부터 획득한 제1 외부 전자 장치의 장치 정보를 기반으로, 상기 냉장고(1205)의 장치 정보가 상기 제1 외부 전자 장치의 유형 정보(예: 냉장고), 제품 정보(예: 삼성RT26모델), 시각적 특징 정보(예: 특정 스티커 및 자석) 또는 센서 정보(정보 없음) 중 적어도 하나의 정보와 일치하는지 검출할 수 있다. 하기기 <표 2>는 제1 식별 동작에 따른 결과 데이터를 나타내는 것으로, 하기 <표 2>를 기반으로 상기 냉장고(1025)를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출할 수 있다.
장치 정보 제1 장치(1025)
유형 정보 냉장고 +0.1
제품 정보 삼성 RT-26 +0.2
시각적 특징 정보 냉장고 외부에 특정 스티커 및 자석 부착 +0.2
센서 정보 비 검출 0
상기 전자 장치는, 상기 <표 2>를 기반으로 후보 외부 전자 장치로 결정된 냉장고(1025)의 스코어(예: 0.5)가 식별 임계 값(예: 1.0)보다 작음으로, 제2 식별 동작을 수행할 수 있다.상기 전자 장치는, 상기 냉장고에 카메라가 포함되어 있지 않음을 인지하고 상기 제2 식별동작을 스킵하고, 제3식별 동작을 수행할 수 있다.
상기 전자 장치는, 화면 패턴 정보를 이용하는 제3 식별 동작을 통해, 상기 냉장고에서 일정 시간 동안 LED깜박인지 정보를 카메라를 통한 프레임 정보로 검출하고, 일정 시간 동안 LED깜박임이 미리 설정된 화면 패턴 정보와 일치되면, 상기 냉장고(1025)를 제1 외부 전자 장치로 예측하여 후보 외부 전자 장치로 검출하고, 상기 냉장고(1025)에 대한 스코어를 "+0.5" 업데이트 할 수 있다.
상기 전자 장치는, 상기 제1 식별 동작에서 획득한 스코어(0.5)와 상기 제3 식별동작에서 획득한 스코어(예: 0.5)를 합한 후보 외부 전자 장치인 냉장고(1025)의 전체 스코어(1.0)가 식별 임계 값(예: 1.0)과 동일함으로, 상기 냉장고(1025)를 전자 장치(1001)와 통신이 성립된 제1 외부 전자 장치로 식별할 수 있다.
상기 도 10c와 같이, 사용자의 눈에 착용한 전자 장치(1001, 예: AR 글래스)가 디스플레이를 통해 증강 현실을 제공하는 동안, 제1 외부 전자 장치와 통신을 성립할 수 있다. 상기 전자 장치(1001)는, 상기 전자 장치(1001)의 카메라의 시야(FOA)에 존재 하는 로봇 청소기(1027)가 통신이 성립한 제1 외부 전자 장치인지 식별하기 위해 제1 식별 동작을 수행할 수 있다.
상기 전자 장치(1001)는, 상기 전자 장치(1001)의 카메라의 시야(FOA)에 존재 하는 로봇 청소기(1027)에 대응되는 객체를 포함하는 프레임 정보를 획득하고, 통신이 성립한 제1 외부 전자 장치로부터 제1 외부 전자 장치의 장치 정보를 수신할 수 있다.
상기 전자 장치(1001)는, 상기 전자 장치의 카메라로부터 획득한 프레임 정보와 상기 제1 외부 전자 장치로부터 획득한 제1 외부 전자 장치의 장치 정보를 기반으로, 상기 로봇 청소기(1027)의 장치 정보가 상기 제1 외부 전자 장치의 유형 정보(예: 로봇 청소기), 제품 정보(예: 삼성 파워봇), 시각적 특징 정보(정보 없음) 또는 센서 정보(가속도 정보) 중 적어도 하나의 정보와 일치하는지 검출할 수 있다. 하기 <표 3>은 제1 식별 동작에 따른 결과 데이터를 나타내는 것으로, 하기< 표 3>을 기반으로 냉장고(1025)를 제1 외부 전자 장치로 예측할 수 있는 후보 외부 전자 장치로 검출할 수 있다.
장치 정보 제1 장치(1027)
유형 정보 로봇 청소기 +0.1
제품 정보 삼성 파워봇 +0.3
시각적 특징 정보 비검출 0
센서 정보 움직이는 상태 +0.6
상기 전자 장치는, 상기 <표 3>을 기반으로 후보 외부 전자 장치로 결정된 로봇 청소기(1027)의 스코어(예: 1.0)가 식별 임계 값(예: 1.0)과 동일함으로, 상기 로봇 청소기(1027)를 전자 장치(1001)와 통신이 성립된 제1 외부 전자 장치로 식별할 수 있다.
도 11a 내지 도 11c은 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들(1100a 내지 도 1100c)이다.
상기 도 11a와 같이, 사용자의 눈에 착용한 전자 장치(1101, 예: AR 글래스)는, 디스플레이(1160)를 통해 증강 현실을 제공하는 동안, 지도 어플리케이션이 선택되면 증강 현실에서 지도 어플리케이션을 실행할 수 있다.
상기 도 11b와 같이, 상기 전자 장치(1101)는, 증강 현실에서 상기 지도 어플리케이션을 실행하는 동안 목적지의 입력을 위해 사용자가 전자 장치와(1101)와 통신이 성립된 제1 외부 전자 장치(1121, 예: 스마트 폰)를 잡고 바라보면, 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 통해 상기 전자 장치(1101)의 카메라의 시야에 존재하는 제1 장치(1121)을 제1 외부 전자 장치로 식별하고 상기 제1 외부 전자 장치의 관련 정보(1160a, 예: 목적지 입력을 위한 키워드)를 가상 객체 정보로 표시할 수 있다.
상기 도 11c와 같이, 상기 전자 장치(1101)는, 사용자가 제1 외부 전자 장치의 키워드를 통해 목적지를 입력한 후 상기 제1 외부 전자 장치(1121)가 상기 전자 장치의 카메라의 시야에서 사라지면, 증강 현실을 통해 상기 지도 어플리케이션에서 상기 목적지로 안내를 표시할 수 있다.
도 12a 내지 도 12c은 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들(1200a 내지 도 1200c)이다.
상기 도 12a와 같이, 사용자의 눈에 착용한 전자 장치(1201, 예: AR 글래스)는, 디스플레이(1260)를 통해 증강 현실을 제공하는 동안, 인터넷 어플리케이션이 선택되면 증강 현실에서 인터넷 어플리케이션을 실행할 수 있다.
상기 도 12b와 같이, 상기 전자 장치(1201)는, 증강 현실에서 상기 인터넷 어플리케이션을 실행하는 동안, 상기 전자 장치(1201)와 통신이 성립된 제1 외부 전자 장치로부터 메시지의 수신을 알리는 정보가 수신되면, 디스플레이(1260)의 상단에 메시지의 수신을 알리는 통보(1260a)를 표시할 수 있다.
상기 도 12c와 같이, 상기 전자 장치(1201)는, 상기 전자 장치(1201)를 착용하고 있는 사용자의 움직임으로 상기 전자 장치(1201)의 카메라의 시야에 제1 장치(1221)가 존재하면, 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 통해 상기 전자 장치(1201)의 카메라의 시야에 존재하는 제1 장치(1221)을 제1 외부 전자 장치로 식별하고 상기 제1 외부 전자 장치의 관련 정보(1260b, 예: 전체 메시지의 내용)를 가상 객체 정보로 표시할 수 있다.
도 13a 및 도 13b는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들(1300a 및 도 1300b)이다.
상기 도 13a와 같이, 사용자의 눈에 착용한 전자 장치(1301, 예: AR 글래스)는, 디스플레이(1360)를 통해 증강 현실을 제공하는 동안, 상기 전자 장치(1301)의 카메라의 시야에 로봇 청소기(1321)가 존재하면, 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 통해 상기 로봇 청소기(1321)가 상기 전자 장치(1301)와 통신을 성립한 제1 외부 전자 장치로 식별하고, 상기 로봇 청소기(1321)에 관련된 정보(1360a, 예: 로봇 청소기의 상태 정보)를 가상 객체 정보로 표시할 수 있다.
상기 도 13a와 같이, 사용자의 눈에 착용한 전자 장치(1301, 예: AR 글래스)는, 디스플레이(1360)를 통해 증강 현실을 제공하는 동안, 상기 전자 장치(1301)의 카메라의 시야에 세탁기(1323)가 존재하면, 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 통해 상기 세탁기(1323)가 상기 전자 장치(1301)와 통신을 성립한 제1 외부 전자 장치로 식별하고, 상기 세탁기(1323)와 관련된 정보(1360a, 예: 세탁기의 상태 정보)를 가상 객체 정보로 표시할 수 있다.
도 14a 및 도 14b는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들(1400a 및 1400b)이다.
상기 도 14a와 같이, 사용자의 눈에 착용한 전자 장치(1401, 예: AR 글래스)는, 디스플레이(1460)를 통해 증강 현실을 제공하는 동안, 상기 전자 장치(1401)의 카메라의 시야에 다른 사용자의 제2 장치(1423, 예: 스마트 폰)가 존재하더라도 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 통해, 제2 장치(1423)가 상기 전자 장치(1401)와 통신을 성립한 제1 외부 전자 장치로 식별되지 않으면, 상기 제2 장치(1423)에 관련된 정보를 가상 객체 정보로 표시하지 않는다.
상기 도 14b와 같이, 상기 전자 장치(1401)는, 사용자의 주머니에 있던 사용자의 제1 장치(1241, 예: 스마트 폰)를 꺼내어 바라보면, 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 통해, 상기 전자 장치(1401)의 카메라의 시야에 존재하는 제1 장치(1421)을 상기 전자 장치(1401)와 통신을 성립한 제1 외부 전자 장치로 식별하고 상기 제1 외부 전자 장치와 관련된 정보(1460a) 가상 객체 정보로 표시할 수 있다.
도 15a 내지 도 15c는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들(1500a 내지 도 1500c)이다.
상기 도 15a와 같이, 사용자의 눈에 착용한 전자 장치(1501, 예: AR 글래스)는 사용자가 대중 교통을 이용할 때 주위에 복수의 외부 전자 장치들이 존재하더라고, 상기 전자 장치(1501)와 통신을 성립한 제1 외부 전자 장치와 관련된 정보만을 가상 객체 정보로 표시할 수 있다. 상기 전자 장치(1501)는, 디스플레이(1560)를 통해 증강 현실을 제공하는 동안, 상기 전자 장치의 카메라의 시야에 복수의 외부 전자 장치들이 존재하는 경우, 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 통해, 제1 장치(1521, 예: 스마트 폰)만을 상기 전자 장치(1501)와 통신을 성립한 제1 외부 전자 장치로 식별하고, 상기 제1 장치(1521)과 관련된 정보(1560a)만을 가상 객체 정보로 표시할 수 있다.
상기 도 15b와 같이, 사용자의 눈에 착용한 전자 장치(1501, 예: AR 글래스)는, 디스플레이(1560)를 통해 증강 현실을 제공하는 동안, 상기 전자 장치(1501)의 카메라의 시야에 동일한 유형(예: 스마트 폰)의 두 개의 외부 전자 장치들(1521, 1523)이 존재하는 경우, 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 통해, 제1 장치(1521)만을 상기 전자 장치(1501)와 통신을 성립한 제1 외부 전자 장치로 식별하고, 상기 제1 장치(1521)에 관련된 정보(1560b)만을 가상 객체 정보로 표시할 수 있다.
상기 도 15c와 같이, 사용자의 눈에 착용한 전자 장치(1501, 예: AR 글래스)는, 회의 탁자 위에 복수의 외부 전자 장치들이 존재하더라고, 상기 전자 장치(1501)와 통신을 성립한 제1 외부 전자 장치의 관련 정보만을 가상 객체 정보로 표시할 수 있다. 상기 전자 장치(1501)는, 디스플레이(1560)를 통해 증강 현실을 제공하는 동안, 상기 전자 장치의 카메라의 시야에 존재 하는 회의실 탁자 위의 복수의 외부 전자 장치들(1521, 1525, 1527)에 대해, 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 수행하여, 제1 장치(1521, 스마트 폰)만을 상기 전자 장치(1501)와 통신을 성립한 제1 외부 전자 장치로 식별하고, 상기 제1 장치(1521)와 관련된 정보(1560c)만을 가상 객체 정보로 표시할 수 있다.
도 16a 및 도 16c는 다양한 실시 예들에 따른 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 동작을 설명하기 위한 도면들(1600a 및 도 1600b)이다.
상기 도 16a와 같이, 전자 장치(1501, 예: 스마트 폰)가, 디스플레이(1660)를 통해 증강 현실을 제공하는 동안, 제1 방에서 상기 전자 장치(1601)의 카메라의 시야에 제1 에어컨(1621)이 존재하면, 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 통해, 제1 에어컨(1621)을 상기 전자 장치(1501)와 통신을 성립한 제1 외부 전자 장치로 식별하고, 상기 제1 에어컨(1621)에 관련된 정보(1660a)를 가상 객체 정보로 표시할 수 있다.
상기 도 16a와 같이, 전자 장치(1501, 예: 스마트 폰)가, 디스플레이(1660)를 통해 증강 현실을 제공하는 동안, 제2 방을 이동했을 때 상기 전자 장치(1601)의 카메라의 시야에 제2 에어컨(1623)이 존재하면, 도 7의 제1 식별 동작, 도 8의 제2 식별 동작 및/또는 도 9의 제3 식별 동작 중 적어도 하나의 식별 동작을 통해, 제2 에어컨(1623)을 상기 전자 장치(1601)와 통신을 성립한 제1 외부 전자 장치로 식별하고, 상기 제2 에어컨(1623)에 관련ㄷ한 정보(1660b)를 가상 객체 정보로 표시할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(#01)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(#36) 또는 외장 메모리(#38))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(#40))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(#01))의 프로세서(예: 프로세서(#20))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    카메라;
    디스플레이; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 디스플레이를 통해 증강 현실을 제공하는 동안 제1 외부 전자 장치와 통신을 성립하면, 상기 제1 외부 전자 장치로부터 수신하는 정보와 상기 카메라부터 획득하는 정보를 기반으로 상기 카메라의 시야에 존재하는 적어도 하나의 외부전자 장치 중 상기 제1 외부 전자 장치를 식별하고, 상기 디스플레이를 통해 제공되는 상기 증강 현실에서 상기 제1 외부 전자 장치에 관련된 정보를 가상의 객체 정보로 표시하도록 설정된 전자 장치.
  2. 제1 항에 있어서, 상기 프로세서는,
    장치 정보를 이용하여 상기 적어도 하나의 외부 전자 장치 중 상기 제1 외부 전자 장치를 식별하기 위한 제1 식별 동작을 수행하고,
    상기 적어도 하나의 외부 전자 장치 중 상기 제1 식별 동작을 통해 스코어를 획득한 제1 장치가 존재하면, 상기 제1 장치를 후보 외부 전자 장치로 검출하고,
    상기 후보 외부 전자 장치가 획득한 스코어가 식별 임계 값 보다 작으면, 위치 정보를 이용하여 상기 제1 외부 전자 장치를 식별하기 위한 제2 식별 동작을 수행하고,
    상기 제1 식별 동작 및 상기 제2 식별 동작을 통해, 상기 후보 외부 전자 장치가 획득한 전체 스코어가 상기 식별 임계 값 보다 작으면, 화면 패턴 정보를 이용하여 상기 제1 외부 전자 장치를 식별하기 위한 제3 식별 동작을 수행하고,
    상기 제1 식별 동작, 상기 제2 식별 동작 및 상기 제3 식별 동작을 통해, 상기 후보 외부 전자 장치가 획득한 전체 스코어가 상기 식별 임계 값 보다 크거나 동일하면, 상기 후보 외부 전자 장치를 상기 제1 외부 전자 장치로 식별하도록 설정된 전자 장치.
  3. 제2 항에 있어서,
    상기 제1 식별 동작을 통해, 상기 후보 외부 전자 장치가 획득한 스코어와 상기 식별 임계 값 보다 크거나 동일하면, 상기 후보 외부 전자 장치를 상기 제1 외부 전자 장치로 식별하도록 설정된 전자 장치.
  4. 제2 항에 있어서, 상기 프로세서는,
    상기 제1 식별 동작 및 상기 제2 식별 동작을 통해, 상기 후보 외부 전자 장치가 획득한 전체 스코어가 상기 식별 임계 값 보다 크거나 동일하면, 상기 후보 외부 전자 장치를 상기 제1 외부 전자 장치로 식별하도록 설정된 전자 장치.
  5. 제2 항에 있어서, 상기 프로세서는,
    상기 제1 외부 전자 장치가 카메라를 포함하지 않는 경우, 상기 제1 식별 동작을 통해 상기 후보 외부 전자 장치가 획득한 스코어가 상기 식별 임계 값 보다 작으면, 상기 제2 식별 동작을 스킵하고 상기 제3 식별 동작을 수행하도록 설정된 전자 장치.
  6. 제2 항에 있어서, 상기 프로세서는,
    상기 제1 식별 동작에서, 상기 카메라를 통해 획득한 프레임 정보와 상기 제1 외부 전자 장치로부터 수신한 제1 외부 전자 장치의 장치 정보를 기반으로, 제1 외부 전자 장치의 유형 정보, 제품 정보, 시각적 특징 정보 또는 센서 정보 중 일치하는 적어도 하나의 정보를 가지는 상기 제1 장치를 상기 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 하도록 설정된 전자 장치.
  7. 제2 항에 있어서, 상기 프로세서는,
    상기 제2 식별 동작에서, 상기 카메라를 통해 획득한 제1 프레임 정보를 기반으로 상기 카메라의 시야에 존재하는 제 1 장치의 제1 위치 정보를 검출하고,
    상기 제1 외부 전자 장치로부터 수신한 제2 프레임 정보를 기반으로, 상기 제1 외부 전자 장치의 카메라 시야에 존재하는 제2 장치의 제1 위치 정보를 검출하고,
    상기 제1 장치의 제1 위치 정보와 상기 제1 장치의 제1 위치 정보를 상기 제2 장치의 좌표 시스템에 대응되게 변환한 상기 제1 장치의 제2 위치 정보가 일치하면, 상기 제1 장치를 상기 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 하도록 설정된 전자 장치.
  8. 제7 항에 있어서, 상기 프로세서는,
    상기 제2 장치의 제1 위치 정보와 상기 제2 장치의 제1 위치 정보를 상기 제1 장치의 좌표 시스템에 대응되게 변환한 상기 제2 장치의 제2 위치 정보가 일치하면, 상기 제1 장치를 상기 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 하도록 설정된 전자 장치.
  9. 제2 항에 있어서, 상기 프로세서는,
    상기 제3 식별 동작에서, 카메라를 통해 획득한 프레임을 기반으로 상기 적어도 하나의 외부 전자 장치 중 상기 제1 외부 전자 장치의 화면 패턴 정보와 일치하는 화면 패턴 정보를 가지는 상기 제1 장치를 검출하고,
    상기 제1 장치를 상기 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 하도록 설정된 전자 장치.
  10. 제1 항에 있어서, 상기 프로세서는,
    상기 적어도 하나의 외부 전자 장치 중 상기 제1 외부 전자 장치가 식별되면, 상기 제1 외부 전자 장치에 대한 추적 기능을 수행하여 상기 제1 외부 전자 장치에 관련된 정보를 가상의 객체 정보로 지속적으로 표시하도록 설정된 전자 장치.
  11. 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법에 있어서,
    상기 전자 장치의 디스플레이를 통해 증강 현실을 제공하는 동안 제1 전자 장치와 통신을 성립하는 동작;
    상기 제1 전자 장치로부터 수신하는 정보와 상기 전자 장치의 카메라부터 획득하는 정보를 기반으로 상기 카메라의 시야에 존재하는 적어도 하나의 주변 장치 중 상기 제1 전자 장치를 식별하는 동작; 및
    상기 디스플레이를 통해 제공되는 상기 증강 현실에서 상기 제1 전자 장치에 관련된 정보를 표시하는 동작을 포함하는 방법.
  12. 제11 항에 있어서,
    장치 정보를 이용하여 상기 적어도 하나의 외부 전자 장치 중 상기 제1 외부 전자 장치를 식별하기 위한 제1 식별 동작을 수행하는 동작;
    상기 적어도 하나의 외부 전자 장치 중 상기 제1 식별 동작을 통해 스코어를 획득한 제1 장치가 존재하면, 상기 제1 장치를 후보 외부 전자 장치로 검출하는 동작;
    상기 후보 외부 전자 장치가 획득한 스코어가 식별 임계 값 보다 작으면, 위치 정보를 이용하여 상기 제1 외부 전자 장치를 식별하기 위한 제2 식별 동작을 수행하는 동작;
    상기 제1 식별 동작 및 상기 제2 식별 동작을 통해, 상기 후보 외부 전자 장치가 획득한 전체 스코어가 상기 식별 임계 값 보다 작으면, 화면 패턴 정보를 이용하여 상기 제1 외부 전자 장치를 식별하기 위한 제3 식별 동작을 수행하는 동작; 및
    상기 제1 식별 동작, 상기 제2 식별 동작 및 상기 제3 식별 동작을 통해, 상기 후보 외부 전자 장치가 획득한 전체 스코어가 상기 식별 임계 값 보다 크거나 동일하면, 상기 후보 외부 전자 장치를 상기 제1 외부 전자 장치로 식별하는 동작을 더 포함하는 방법.
  13. 제12 항에 있어서,
    상기 제1 식별 동작을 통해, 상기 후보 외부 전자 장치가 획득한 스코어와 상기 식별 임계 값 보다 크거나 동일하면, 상기 후보 외부 전자 장치를 상기 제1 외부 전자 장치로 식별하는 동작을 더 포함하는 방법.
  14. 제12 항에 있어서,
    상기 제1 식별 동작 및 상기 제2 식별 동작을 통해, 상기 후보 외부 전자 장치가 획득한 전체 스코어가 상기 식별 임계 값 보다 크거나 동일하면, 상기 후보 외부 전자 장치를 상기 제1 외부 전자 장치로 식별하는 동작을 더 포함하는 방법.
  15. 제12 항에 있어서,
    상기 제1 외부 전자 장치가 카메라를 포함하지 않는 경우, 상기 제1 식별 동작을 통해 상기 후보 외부 전자 장치가 획득한 스코어가 상기 식별 임계 값 보다 작으면, 상기 제2 식별 동작을 스킵하고 상기 제3 식별 동작을 수행하는 동작을 더 포함하는 방법.
  16. 제12 항에 있어서,
    상기 제1 식별 동작에서, 상기 카메라를 통해 획득한 프레임 정보와 상기 제1 외부 전자 장치로부터 수신한 제1 외부 전자 장치의 장치 정보를 기반으로, 제1 외부 전자 장치의 유형 정보, 제품 정보, 시각적 특징 정보 또는 센서 정보 중 일치하는 적어도 하나의 정보를 가지는 상기 제1 장치를 상기 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 하는 동작을 더 포함하는 방법.
  17. 제12 항에 있어서,
    상기 제2 식별 동작에서, 상기 카메라를 통해 획득한 제1 프레임 정보를 기반으로 상기 카메라의 시야에 존재하는 제 1 장치의 제1 위치 정보를 검출하는 동작;
    상기 제1 외부 전자 장치로부터 수신한 제2 프레임 정보를 기반으로, 상기 제1 외부 전자 장치의 카메라 시야에 존재하는 제2 장치의 제1 위치 정보를 검출하는 동작;
    상기 제1 장치의 제1 위치 정보와 상기 제1 장치의 제1 위치 정보를 상기 제2 장치의 좌표 시스템에 대응되게 변환한 상기 제1 장치의 제2 위치 정보가 일치하면, 상기 제1 장치를 상기 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 하는 동작을 더 포함하는 방법.
  18. 제17 항에 있어서,
    상기 제2 장치의 제1 위치 정보와 상기 제2 장치의 제1 위치 정보를 상기 제1 장치의 좌표 시스템에 대응되게 변환한 상기 제2 장치의 제2 위치 정보가 일치하면, 상기 제1 장치를 상기 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 하는 동작을 더 포함하는 방법.
  19. 제12 항에 있어서,
    상기 제3 식별 동작에서, 카메라를 통해 획득한 프레임을 기반으로 상기 적어도 하나의 외부 전자 장치 중 상기 제1 외부 전자 장치의 화면 패턴 정보와 일치하는 화면 패턴 정보를 가지는 상기 제1 장치를 검출하는 동작; 및
    상기 제1 장치를 상기 후보 외부 전자 장치로 검출하고, 상기 후보 외부 전자 장치에 대한 스코어를 업데이트 하는 동작을 더 포함하는 방법.
  20. 제11 항에 있어서,
    상기 적어도 하나의 외부 전자 장치 중 상기 제1 외부 전자 장치가 식별되면, 상기 제1 외부 전자 장치에 대한 추적 기능을 수행하여 상기 제1 외부 전자 장치에 관련된 정보를 가상의 객체 정보로 지속적으로 표시하는 동작을 더 포함하는 방법.
KR1020200106773A 2020-08-25 2020-08-25 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법 KR20220026114A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200106773A KR20220026114A (ko) 2020-08-25 2020-08-25 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법
US17/116,298 US20220070431A1 (en) 2020-08-25 2020-12-09 Electronic device and method for identifying relevant device in augmented reality mode of electronic device
PCT/KR2020/018146 WO2022045478A1 (en) 2020-08-25 2020-12-11 Electronic device and method for identifying relevant device in augmented reality mode of electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200106773A KR20220026114A (ko) 2020-08-25 2020-08-25 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법

Publications (1)

Publication Number Publication Date
KR20220026114A true KR20220026114A (ko) 2022-03-04

Family

ID=80353575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200106773A KR20220026114A (ko) 2020-08-25 2020-08-25 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법

Country Status (3)

Country Link
US (1) US20220070431A1 (ko)
KR (1) KR20220026114A (ko)
WO (1) WO2022045478A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599022B1 (ko) * 2022-11-25 2023-11-06 주식회사 피앤씨솔루션 증강현실 글래스 장치의 전자제품 조작 방법 및 전자제품 조작 기능이 있는 증강현실 글래스 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9900541B2 (en) * 2014-12-03 2018-02-20 Vizio Inc Augmented reality remote control
US9646419B2 (en) * 2015-01-14 2017-05-09 International Business Machines Corporation Augmented reality device display of image recognition analysis matches
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
US10620721B2 (en) * 2018-01-29 2020-04-14 Google Llc Position-based location indication and device control
EP3892069B1 (en) * 2018-12-03 2023-06-07 Signify Holding B.V. Determining a control mechanism based on a surrounding of a remote controllable device
CN109766066B (zh) * 2018-12-29 2022-03-01 华为技术有限公司 一种消息处理的方法、相关装置及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599022B1 (ko) * 2022-11-25 2023-11-06 주식회사 피앤씨솔루션 증강현실 글래스 장치의 전자제품 조작 방법 및 전자제품 조작 기능이 있는 증강현실 글래스 장치

Also Published As

Publication number Publication date
WO2022045478A1 (en) 2022-03-03
US20220070431A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
US11995774B2 (en) Augmented reality experiences using speech and text captions
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
US20210405761A1 (en) Augmented reality experiences with object manipulation
US10198146B2 (en) Information processing apparatus, information processing method, and recording medium
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
JP7064040B2 (ja) 表示システム、及び表示システムの表示制御方法
US11854147B2 (en) Augmented reality guidance that generates guidance markers
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
CN103105926A (zh) 多传感器姿势识别
EP3748473A1 (en) Electronic device for providing second content for first content displayed on display according to movement of external object, and operating method therefor
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
US11740852B2 (en) Eyewear including multi-user, shared interactive experiences
US20210406542A1 (en) Augmented reality eyewear with mood sharing
KR20220026114A (ko) 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법
US11867495B2 (en) Electronic device for providing image data using augmented reality and control method for same
KR20200122754A (ko) 증강 현실 이미지를 제공하는 스마트 안경 시스템
US20230360264A1 (en) Identifying a position of a controllable device using a wearable device