KR20200109812A - 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법 - Google Patents

전자 장치 및 증강 현실 기반의 공유 정보 표시 방법 Download PDF

Info

Publication number
KR20200109812A
KR20200109812A KR1020190029495A KR20190029495A KR20200109812A KR 20200109812 A KR20200109812 A KR 20200109812A KR 1020190029495 A KR1020190029495 A KR 1020190029495A KR 20190029495 A KR20190029495 A KR 20190029495A KR 20200109812 A KR20200109812 A KR 20200109812A
Authority
KR
South Korea
Prior art keywords
camera
information
electronic device
location
shared
Prior art date
Application number
KR1020190029495A
Other languages
English (en)
Other versions
KR102583682B1 (ko
Inventor
이선영
김정은
문하린
박항규
신동준
오영학
최용호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190029495A priority Critical patent/KR102583682B1/ko
Priority to PCT/KR2020/003511 priority patent/WO2020185029A1/ko
Publication of KR20200109812A publication Critical patent/KR20200109812A/ko
Priority to US17/474,599 priority patent/US11688146B2/en
Application granted granted Critical
Publication of KR102583682B1 publication Critical patent/KR102583682B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다양한 실시예에 따르면, 전자 장치에 있어서, 통신 장치, 센서 장치, 카메라 장치, 표시 장치, 프로세서, 상기 프로세서와 연결된 메모리를 포함하고, 상기 메모리는, 실행 시 상기 프로세서가, 상기 통신 장치를 통해 다른 전자 장치로부터 증강 현실에 기반한 공유 객체의 정보를 수신하는 경우, 상기 정보에 포함된 공유 객체의 제1 위치를 확인하고, 상기 제1 위치가 상기 카메라 장치의 카메라 뷰거리 및 카메라방향 내에 포함되는지를 확인하고, 상기 전자 장치의 제2 위치를 기준점으로 상기 제1 위치가 상기 카메라 뷰거리 및 카메라방향 중 적어도 하나의 범위에 포함되는 조건 별로 상기 공유 객체의 수신 정보를 지정된 타입으로 생성하고, 상기 카메라 장치로부터 획득한 실제 영상에 상기 생성된 수신 정보를 병합한 증강 현실 영상을 상기 표시 장치로 출력하도록 하는 인스트럭션들을 저장할 수 있다.

Description

전자 장치 및 증강 현실 기반의 공유 정보 표시 방법{ELECTRONIC DEVICE AND METHOD FOR DISPALYING SHARING INFORMATION BASED ON AUGMENTED REALITY}
본 발명은 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법에 관한 것이다.
증강 현실(AR: augmented reality)은, 현실 (Real-world elements) 이미지와 배경에 가상의 이미지를 결합하여 하나의 영상으로 보여주는 기술이다. 증강 현실은 가상 현실(VR: virtual reality)과 달리 다양한 현실 환경에서 응용이 가능하다. 증강 현실은 개인화된 경험을 기반으로 3차원 공간을 갖는 증강 현실 서비스를 제공할 수 있으며, 실시간으로 인터렉션(interaction)이 가능하다.
증강 현실 분야에서 전자 장치 간 정보의 공유는 증강 현실 시스템에서 보여주는 영상을 캡처하여 제공하거나, 공유 대상에 대한 위치 정보를 제공하고 있다. 그러나, 전자 장치는 증강 현실 시스템을 통해 제공되는 실제 공간의 장소 또는 위치와 관계없이 다른 장치로부터 공유된 정보를 일관적으로 표시하고 있다.
예컨대, 다른 전자 장치와 전자 장치가 동일한 장소에 있거나 혹은 다른 소에 위치하더라도 정보를 수신하는 전자 장치는 동일한 공유 정보만을 제공하므로 사용자의 상황에 따라 공유 정보를 정확하게 인지할 수 없는 이슈가 발생되고 있다. 예를 들어, 전자 장치가 다른 전자 장치와 카메라 시야가 다를 경우, 전자 장치의 사용자는 다른 사용자로부터 공유된 장소 또는 공유된 객체의 위치가 어느 방향에 존재하는지 확인할 수 없는 이슈가 있다.
다양한 실시예에 따르면 증강 현실 분야에서 다른 사용자로부터 전달된 정보를 전자 장치의 위치와 공유 객체의 위치를 반영하여 다른 사용자로부터 전달된 공유 정보를 상황에 따라 다르게 출력할 수 있는 서비스를 제안하고자 한다.
다양한 실시예에 따르면, 전자 장치에 있어서, 통신 장치, 센서 장치, 카메라 장치, 표시 장치, 프로세서, 상기 프로세서와 연결된 메모리를 포함하고, 상기 메모리는, 실행 시 상기 프로세서가, 상기 통신 장치를 통해 다른 전자 장치로부터 증강 현실에 기반한 공유 객체의 정보를 수신하는 경우, 상기 정보에 포함된 공유 객체의 제1 위치를 확인하고, 상기 제1 위치가 상기 카메라 장치의 카메라 뷰거리 및 카메라방향 내에 포함되는지를 확인하고, 상기 전자 장치의 제2 위치를 기준점으로 상기 제1 위치가 상기 카메라 뷰거리 및 카메라방향 중 적어도 하나의 범위에 포함되는 조건 별로 상기 공유 객체의 수신 정보를 지정된 타입으로 생성하고, 상기 카메라 장치로부터 획득한 실제 영상에 상기 생성된 수신 정보를 병합한 증강 현실 영상을 상기 표시 장치로 출력하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 전자 장치에서 증강 현실에 기반하여 수신된 공유 정보를 표시하는 방법에 있어서, 다른 전자 장치로부터 증강 현실에 기반한 공유 객체의 정보를 수신하는 동작과, 상기 정보에 포함된 공유 객체의 제1 위치와 전자 장치의 제2 위치를 확인하는 동작과, 상기 전자 장치에 포함된 카메라의 카메라 뷰거리 및 카메라의 카메라방향을 확인하는 동작과, 상기 공유 객체의 제1 위치가 상기 제2 위치를 기준점으로 상기 카메라 장치의 카메라 뷰거리 및 카메라방향 중 적어도 하나의 범위에 포함되는지 조건 별로 상기 공유 객체의 수신 정보를 지정된 타입으로 생성하는 동자과, 상기 카메라로부터 획득한 실제 영상에 상기 생성된 수신 정보를 병합한 증강 현실 영상을 상기 표시 장치로 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 증강 현실 공유 정보를 수신한 전자 장치의 위치를 기반으로 공유 대상(예: 장소 또는 객체)의 거리 및 방향을 확인하여 상황에 따라 다양한 타입으로 수신 정보를 사용자에게 제공할 수 있다. 이로 인해 다른 전자 장치로부터 제공된 공유 정보를 포함하는 현실 증강 영상을 사용자의 시점에서 최적화된 수신 정보로 제공함으로써 수신된 공유 정보를 보다 정확하게 인지할 수 있어 새로운 유형의 사용자 경험을 구현할 수 있다.
도 1은 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예에 따른 전자 장치의 구성을 도시한다.
도 3은 다양한 실시예에 따른 전자 장치 간 증강 현실에 기반한 공유 정보 표시 방법을 도시한다.
도 4는 다양한 실시예에 따른 전자 장치 간 증강 현실을 이용한 정보 공유 서비스에 대한 상황도를 도시한다.
도 5는 다양한 실시예에 따른 전자 장치에서 증강 현실에 기반한 공유 정보의 표시 방법을 도시한다.
도6a내지 6c는 다양한 실시예에 따른 전자 장치에서 공유 객체를 다른 전자 장치로 전송하는 화면 예시도를 도시한다.
도7a내지 7c는 다양한 실시예에 따른 전자 장치에서 공유 객체에 대한 수신 정보를 다르게 표시하는 예시도를 도시한다.
도 8은 다양한 실시예에 따른 전자 장치 간 증강 현실을 이용한 공유 정보 표시 방법을 도시한다.
도9a내지 9c는 다양한 실시예에 따른 전자 장치에서 공유 객체에 대한 수신 정보를 다르게 표시하는 예시도를 도시한다.
도10a및 10b는 다양한 실시예에 따른 전자 장치에서 공유 객체에 대한 수신 정보를 다르게 표시하는 예시도를 도시한다.
도 1은 다양한 실시 예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성 요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성 요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드(embedded)된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성 요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(volatile memory)(132)에 로드(load)하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(non-volatile memory)(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(active)(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성 요소들 중 적어도 하나의 구성 요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))과 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성 요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들 웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성 요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜) 등을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커(speaker) 또는 리시버(receiver)를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서(pressure sensor))를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서(gesture sensor), 자이로 센서(gyro sensor), 기압 센서(barometer sensor), 마그네틱 센서(magnetic sensor), 가속도 센서(acceleration sensor), 그립 센서(grip sensor), 근접 센서(proximity sensor), 컬러 센서(color sensor)(예: RGB(red, green, blue) 센서), IR(infrared) 센서, 생체 센서(biometric sensor), 온도 센서(temperature sensor), 습도 센서(humidity sensor), 또는 조도 센서(illuminance sensor) 등을 포함할 수 있다.
인터페이스(177)는 전자 장치(101)의 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜(protocol)들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스 등을 포함할 수 있다.
연결 단자(connection terminal)(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터) 등을 포함할 수 있다.
햅틱 모듈(haptic module)(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터(motor), 압전 소자(piezoelectric element), 또는 전기 자극 장치(electrical stimulation device) 등을 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지(fuel cell)를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, Wi-Fi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.
무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI, international mobile subscriber identity))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC)가 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성 요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고, 신호(예: 명령 또는 데이터)를 상호 간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다.
일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104 또는 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들(102, 104)에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들(102, 104)은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.
다양한 실시 예들에 따른 전자 장치(101)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 도 1의 전자 장치(101)는, 휴대용 통신 장치(예: 스마트폰), 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치(wearable device), 또는 가전 장치를 포함할 수 있으며, 이에 한정되지 않는다.
다양한 실시예에 따르면, 도 1의 전자 장치(101)는, 카메라 모듈(180)를 통해 촬영되는 현실 영상(real image)에 가상 사물 또는 가상 객체를 실시간으로 병합하여 증강 현실 영상(또는 증강 영상)을 생성하고, 생성된 증강 현실 영상을 표시 장치(160)를 통해 디스플레이할 수 있다. 다양한 실시예에 따르면, 도 1의 전자 장치(101)는, 적어도 하나의 증강 현실 프로그램(program) 또는 어플리케이션(application)이 설치되어 있을 수 있다. 예를 들어, 전자 장치(101)는, 복수의 사용자 간 증강 현실 영상 또는 정보를 송수신하는 동작 또는 인스트럭션들을 실행할 수 있는 컴퓨터 프로그램(Computer Program), API(Application Program Interface) 또는 임베디드 소프트웨어(Embaded Software)를 포함하는 어플리케이션이 설치되어 있을 수 있다.
일 실시예에 따르면, 도 1의 전자 장치(101)는, 설치된 적어도 하나의 프로그램 또는 어플리케이션을 통해 증강 현실 영상을 생성할 수 있다.
도 2는 다양한 실시예에 따른 전자 장치의 구성을 도시한다.
도 2를 참조하면, 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101))는, 통신 모듈(210)(예: 도 1의 통신 모듈(190)), 카메라 모듈(220)(예: 도 1의 카메라 모듈(180)), 표시 모듈(230)(예: 도 1의 표시 장치(160)), 센서 모듈(240) (예: 도 1의 센서 모듈(176)), 메모리(250)(예: 도 1의 메모리(130)) 및 프로세서(260)(예: 도 1의 프로세서(120))를 포함할 수 있다. 일 예를 들어, 프로세서(260)는 위치/방향 판단 모듈(261) 및 증강 현실 뷰 생성 모듈(262)을 포함할 수 있다.
다양한 실시예에 따르면, 통신 모듈(210)은 다른 전자 장치와 통신 신호를 송수신할 수 있다. 일 실시예에 따르면, 송신 기능에서 통신 모듈(210)은 증강 현실 공유 정보 및 공유 요청 신호를 서버 또는 다른 전자 장치로 전송할 수 있다. 수신 기능에서 통신 모듈(210)는 서버 또는 다른 전자 장치로부터 제공되는 증강 현실 공유 정보 및 공유 신호를 수신할 수 있다.
다양한 실시예에 따르면, 카메라 모듈(220)은, 이미지 센서(미도시)가 전자 장치(101)에 설치된 전방 방향의 정지 영상 또는 동영상 중 적어도 하나를 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(220)은 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 3D 깊이(Depth) 센서, 이미지 프로세서 중 적어도 하나를 포함할 수 있다. 예를 들어, 카메라 모듈(220)은 카메라 영상의 3D 깊이(depth) 정보 획득 기능, 객체 인식 기능, 객체 거리 추적(tracker) 기능 중 적어도 하나의 기능을 지원할 수 있다. 이하, 카메라 모듈(220)의 이미지 센서를 통해 영상을 획득할 수 있는 방향 및 거리를 카메라방향 및 카메라 뷰거리로 정의하기로 한다. 카메라방향은 카메라 모듈의 이미지 센서의 시야각(또는 화각)에 대한 전방 방향을 의미하고, 카메라 뷰거리는 이미지 센서와 렌즈 사이의 초점 거리, 시야각 및 렌즈 종류 중 적어도 하나를 기반으로 전방 방향에 대해 영상을 촬영할 수 있는 줌 거리 또는 가시 거리를 의미할 수 있다. 어떤 실시예에 따르면, 전자 장치는 카메라 뷰거리에 대응하여 특정 임계 거리를 기 설정할 수도 있다.
다양한 실시예에 따르면, 표시 모듈(230)은 프로세서(260)에서 처리되는 정보를 출력할 수 있다. 일 실시예에 따르면, 표시 모듈(230)은 카메라 모듈(220)로부터 획득한 영상 예컨대, 실제 영상(real image)에 가상 객체가 병합된 증강 현실 영상을 출력할 수 있다. 표시 모듈(230)은 증강 현실 영상과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 출력할 수도 있다..
다양한 실시예에 따르면, 센서 모듈(240)은, 적어도 하나 이상의 센서를 포함하며, 적어도 하나 이상의 센서를 통해 전자 장치(101)와 관련된 상태 정보를 수집할 수 있다. 일 실시예에 따르면 센서 모듈(240)은, 증강 현실 서비스를 제공하기 위한 GPS 센서, 위치 측정 센서, 3차원 위치 이동 및 3차원 회전을 감지할 수 있는 6축 센서(6 axis sensor), 고도 센서, 방향 센서, 움직임 센서 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(260)는 센서 모듈(240)을 기반으로 전자 장치(101)의 위치 정보, 이동 속도 정보, 이동 방향 정보, 카메라 모듈(220)의 카메라 방향 정보 및/또는 카메라 뷰거리 정보 중 적어도 하나를 획득할 수 있다.
다양한 실시예에 따르면, 메모리(240)는 오퍼레이팅 시스템(operating system), 어플리케이션, 및 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 프로세서(260)는 통신 모듈(210), 표시 모듈(230), 카메라 모듈(220), 센서 모듈(240) 및 메모리(250)와 전기적으로 연결되어 각 구성요소를 제어할 수 있다.
일 실시예에 따르면, 프로세서(260)는 카메라 모듈(220)을 통해 촬영되는 현실 영상(real image)에 가상 사물 또는 가상 객체를 실시간으로 병합하여 증강 현실 영상(또는 증강 영상)을 생성하고, 생성된 증강 현실 영상을 표시 모듈(230)을 통해 출력하도록 제어할 수 있다.
일 실시예에 따르면, 프로세서(260)는 증강 현실 영상 내에 포함된 객체를 인식하고 인식된 객체(또는 공유 객체)와 관련된 증강 현실 기반의 공유 정보를 통신 모듈(210)을 통해 외부로 전송할 수 있다. 공유 객체는 가상 사물 또는 가상 객체일 수 있으나, 이에 한정하는 것은 아니다.
일 실시예에 따르면, 프로세서(260)는 증강 현실 기반의 공유 정보를 통신 모듈을 통해 수신하고, 증강 현실 기반의 공유 정보에 대응하여 지정된 타입의 수신 정보를 표시 모듈(230)을 통해 출력하도록 제어할 수 있다.
일 실시예에 따르면, 프로세서(260)는 위치/방향 판단 모듈(261) 및 증강 현실 뷰 생성 모듈(262)을 제어할 수 있다.
위치/방향 판단 모듈(261)은 센서 모듈(240)로부터 획득한 위치 정보를 기반으로 전자 장치(101)의 지리적 위치를 확인할 수 있다. 전자 장치의 위치 정보는 위도, 도 및 고도 정보일 수 있다.
위치/방향 판단 모듈(261)은 센서 모듈(240)로부터 획득한 전자 장치(101)의 자세 정보를 기반으로 카메라 모듈(220)의 카메라(또는 이미지 센서의 시야각 ) 방향을 확인할 수 있다.
위치/방향 판단 모듈(261)은 다른 전자 장치로부터 전송된 수신 정보(예: 공유 정보)를 기반으로 공유 객체(예: 다른 전자 장치의 사용자에 의해 선택된 객체, 또는 가상 객체)의 지리적 위치를 확인할 수 있다. 예를 들어, 전자 장치(101)는 다른 전자 장치로부터 공유 객체가 위치한 지리적 위치 정보를 수신할 수 있다. 다른 예를 들어, 전자 장치(101)는 공유 객체가 포함된 증강 현실 영상의 캡처 이미지를 기반으로 공유 객체와 전자 장치(101)간의 거리를 추정하여 캡처 이미지에 포함된 공유 객체의 지리적 위치를 확인할 수 있다.
일 실시예에 따르면, 위치/방향 판단 모듈(261)은 전자 장치(101)의 지리적 위치 a와 공유 객체의 지리적 위치 b를 기반으로 전자 장치(110)와 공유 객체 사이의 거리를 측정할 수 있다. 위치/방향 판단 모듈(261)은 공유 객체의 위치가 카메라 모듈(220)의 카메라방향 및 카메라 뷰거리에 포함되는지를 확인할 수 있다. 예를 들어, 카메라 방향은 카메라 시야각(또는 화각)을 기반으로 확인할 수 있다. 카메라 뷰 거리는 이미지센서와 렌즈 사이를 나타내는 초점 거리, 시야각 및 렌즈 종류 중 적어도 하나를 기반으로 추정될 수 있다.
일 실시예에 따르면, 위치/방향 판단 모듈(261)은 공유 객체의 위치와 전자 장치 사이의 측정된 거리를 전자 지도(map)의 도보 시간으로 환산하고, 도보 시간이 설정된 값 이내인 경우 공유 객체가 전자 장치(101)의 카메라 뷰거리에 위치되어 있는지를 확인할 수 있다.
일 실시예에 따르면, 위치/방향 판단 모듈(261)은 카메라 모듈(220)의 시야각 또는 화각(optical angle)을 기반으로 공유 객체가 카메라방향 내에 위치하는지, 카메라방향을 벗어나서 위치하는지를 확인할 수 있다.
일 실시예에 따르면, 위치/방향 판단 모듈(261)은 다른 전자 장치로부터 공유정보에 포함된 캡처 이미지와, 카메라 모듈(220)로부터 획득한 현실 영상을 비교하여 동일 객체(또는 물체, 장소, 위치, 건물, 이정표, 가구, 표지판 등)가 존재하는지를 확인하여 공유 객체가 카메라 모듈(220)의 카메라방향 내에 위치하는지를 결정할 수 있다.
일 실시예에 따르면, 증강 현실 뷰 생성 모듈(261)은 공유 객체가)의 카메라 뷰거리 및 카메라방향 내에 포함되는지 조건에 따라 지정된 타입의 수신 정보를 생성하고, 이를 기반으로 표시 모듈(230)을 통해 공유 객체에 대한 수신 정보를 출력하도록 제어할 수 있다.
일 실시예에 따르면, 증강 현실 뷰 생성 모듈(230)은 공유 객체가 카메라 모듈(220)을 통해 보일 수 있는 카메라 뷰거리 내에 위치하고 카메라방향의 범위 내에 위치하는 조건일 시 카메라 모듈(220)을 통해 획득한 현실 영상에 공유 객체를 나타내는 가상 객체가 출력되는 제1 타입의 수신 정보를 생성할 수 있다.
일 실시예에 따르면, 증강 현실 뷰 생성 모듈(262)은, 공유 객체가 카메라 뷰거리 내에 위치하나, 카메라방향의 범위를 벗어나서 위치하는 조건 일 시, 카메라 모듈(220)을 통해 획득한 현실 영상에 공유 객체가 위치한 방향으로 움직임을 안내하는 제2 타입의 수신 정보를 생성할 수 있다.
일 실시예에 따르면, 증강 현실 뷰 생성 모듈(262)은, 공유 객체가 카메라 뷰거리를 벗어나서 위치한 경우 카메라 모듈(220)을 통해 획득한 현실 영상에 공유 정보에 포함된 이미지 또는 공유 객체까지의 경로 안내 정보가 출력되는 제3 타입의 수신 정보를 생성할 수 있다.
증강 현실 뷰 생성 모듈(262)은, 카메라 모듈(220)을 통해 획득한 현실 영상에 생성된 수신 정보를 병합하여 증강 현실 영상을 생성하고, 증강 현실 영상을 표시 모듈(230)을 통해 출력하도록 제어할 수 있다.
도 3은 다양한 실시예에 따른 전자 장치 간 증강 현실에 기반한 공유 정보 표시 방법을 도시한다. 도 3의 실시예에서 제1 장치(303)는 증강 현실 기반의 공유 정보를 제공하는 송신측 장치이고, 제2장치(301)는 송신측 장치로부터 제공되는 증강 현실 기반의 공유 정보를 수신하는 수신측 장치일 수 있다.
도 3을 참조하면, 다양한 실시예에 따른 송신측 동작을 살펴보면, 310 동작에서, 제1 장치(303)는 증강 현실 모드로 동작할 수 있다. 증강 현실 모드는, 예를 들어, 제1 장치(303)에서 증강 현실 어플리케이션이 실행된 상태 또는 제1 장치(303)가 스마트 글라스인 경우, 사용자가 스마트 글라스를 착용한 상태일 수 있다. 증강 현실 모드에서 제1 장치(303)는 카메라를 통해 촬영되는 현실 영상(real image)에 가상 사물 또는 가상 객체가 병합된 증강 현실 영상을 디스플레이를 통해 출력할 수 있다.
320 동작에서, 제1 장치(303)는 증강 현실 영상 또는 증강 현실 영상에 포함된 객체(예: 실제 객체 또는 가상 객체)를 제2 장치(301)와 공유를 요청하는 사용자 입력을 검출할 수 있다. 325 동작에서, 제1 장치(303)는 증강 현실 기반의 공유 정보를 제2 장치(301)로 전달할 수 있다. 공유 정보는 예를 들어, 객체의 위치 정보일 수 있으나, 제1 장치 시점의 증강 현실 영상을 캡처한 캡처 이미지 및 객체와 관련된 데이터(예, 위치 정보, 비디오, 오디오)를 포함할 수 있다.
수신측 동작을 살펴보면, 315동작에서, 제2 장치(301)는 증강 현실 모드로 동작할 있으나, 이에 한정하지 않는다. 제2 장치(301)는 제1 장치(303)로부터 전달된 증강 현실 기반의 공유 정보를 수신할 수 있다.
330 동작에서, 제2 장치(301)는 공유 객체와의 카메라 뷰거리 및 카메라방향을 확인할 수 있다.
예를 들어, 제2 장치(300)는 GPS 정보를 기반으로 제2 장치(301)의 지리적 위치 a와, 공유 객체의 지리적 위치 b를 확인하고, 이를 기반으로 제2 장치(301)와 공유 객체 사이의 거리를 측정할 수 있다. 제2 장치(301)는, 제2 장치(301)의 카메라가 바라보는 카메라방향 및 카메라 뷰거리 내에 공유 객체가 위치하는지 여부를 결정할 수 있다.
340 동작에서, 제2 장치(301)는 제2 장치(301)의 위치를 고려하여 공유 객체가 제2 장치(301)의 카메라가 바라보는 카메라 뷰거리 및 카메라방향에 위치하는지 여부의 조건에 따라 지정된 타입의 수신 정보를 생성할 수 있다.
일 실시예에 따르면, 제2 장치(301)는 공유 객체가 제2 장치(301)의 카메라를 통해 바라보는 시야에서 보일 수 있는 카메라방향에 위치하고, 카메라 뷰거리 내에 위치한 경우 공유 객체를 나타내는 가상 객체가 출력되도록 제1 타입의 수신 정보를 생성할 수 있다.
일 실시예에 따르면, 제2 장치(301)는, 공유 객체가 제2 장치(301)의 카메라 뷰거리에 위치하나, 카메라방향의 범위를 벗어난 경우, 공유 객체가 위치한 방향으로 움직임을 안내하는 제2 타입의 수신 정보를 생성할 수 있다.
일 실시예에 따르면, 제2 장치(301)는 공유 객체가 카메라 뷰거리를 벗어난 위치(예를 들어, 제2 장치(301)의 카메라를 통해 바라보는 시야에서 보일 수 없는 거리)에 존재하는 경우 공유 정보에 포함된 캡처 이미지 또는 공유 객체까지의 이동 경로 정보를 제공하는 제3 타입의 수신 정보를 생성할 수 있다.
350 동작에서, 제2 장치(301)는 제2 장치(301)에 의해 생성된 증강 현실 영상에 제 1장치(301)로부터 전달된 공유 객체의 수신 정보를 출력할 수 있다.
도 4는 다양한 실시예에 따른 전자 장치 간 증강 현실을 이용한 정보 공유 서비스에 대한 상황도를 도시한다.
도 4를 참조하면, 다양한 실시예에 따르면, 제1 사용자(414)와 제2 사용자(411)는 증강 현실 시스템이 구현된 제1 전자 장치(404) 및 제2 전자 장치(401)를 이용하여 증강 현실 기반의 정보를 송수신할 수 있다. 제1 전자 장치(404)는 제1 전자 장치(404)에 장착된 카메라를 통해 획득한 실제 영상에 가상 객체를 구현한 증강 현실 영상을 디스플레이에 출력할 수 있다. 제1 전자 장치(404)의 카메라는 제1 시야각(θ1)을 가질 수 있다. 가상 객체는 제1 시야각(θ1) 내에 위치할 수 있다.
제1 사용자(414)는 제1 전자 장치(404)의 제1 시야각(θ1) 내에서 생성된 가상 객체(425)를 제2 사용자와 공유할 수 있다. 예를 들어, 제1 전자 장치(404)는 제1 사용자(414)의 요청 입력에 따라 가상 객체(425)에 대한 공유 정보를 제2 전자 장치(401)로 전송할 수 있다. 가상 객체(425)는 제2 사용자(411)의 위치에 따라 제2 전자 장치(401)의 카메라를 통해 출력되거나 출력되지 않을 수 있다. 예를 들어, 제2 사용자(411)가 가상 객체(425)가 위치한 방향과 다른 방향을 바라보고 있을 수 있다. 도 4에 도시된 바와 같이, 제2 전자 장치(401)의 카메라는 제2 시야각(θ2)을 가질 수 있다. 제2 전자 장치(401)는 공유 정보를 수신한 경우, 제2 전자 장치(401)의 지리적 위치와 가상 객체(425)의 지리적 위치를 확인하고, 가상 객체(425)와의 거리를 측정할 수 있다. 제2 전자 장치(401)는 측정된 거리를 기반으로 가상 객체(425)가 제2 전자 장치(401)의 카메라 뷰거리에 포함되어 있는지를 확인하고, 제2 시야각(θ2)을 기반으로 카메라방향에 가상 객체가 위치되어 있는지를 확인할 수 있다.
제2 전자 장치(401)는 제2 전자 장치(401)의 위치를 기준으로 가상 객체(425)가 위치한 방향 및 거리를 고려하여 공유 객체에 대한 수신 정보를 다르게 생성하여 디스플레이에 출력할 수 있다. 예를 들어, 제2 전자 장치(401)는 제2 시야각(θ2) 내에 가상 객체(425)가 위치하는 경우, 제1 전자 장치(404)에 실제 영상에 대응하는 위치에 가상 객체(425)를 구현하여 증강 현실 영상을 생성할 수 있다. 또는 제2 전자 장치(401)는 제2 시야각(θ2)을 벗어나서 가상 객체가 위치하는 경우 가상 객체가 어느 방향에 존재하는지 또는 가상 객체까지의 이동 거리를 안내하는 수신 정보를 포함하여 증강 현실 영상을 생성할 수 있다.
도 5는 다양한 실시예에 따른 전자 장치에서 증강 현실에 기반한 공유 정보의 표시 방법을 도시한다.
도 5를 참조하면, 다양한 실시예에 따르면 전자 장치(예: 수신측 장치)(예: 도 1의 전자 장치(101)) 또는 전자 장치의 프로세서는 510동작에서, 송신 장치로부터 공유 요청 및 증강 현실 기반으로 공유 객체와 관련된 공유 정보를 수신할 수 있다.
515동작에서, 프로세서는, 공유 요청에 응답하여 디스플레이에 다른 전자 장치로부터 전달된 공유 정보가 수신됐음을 안내하는 공유 수신 안내 정보를 출력할 수 있다. 일 예를 들어, 515동작은 생략될 수 있으나, 이에 한정하는 것은 아니다.
520동작에서, 프로세서는, 증강 현실 기반의 공유 정보에 포함된 공유 객체의 위치와 전자 장치간의 거리를 확인할 수 있다. 일 예를 들어, 전자 장치는 전자 장치의 지리적 위치 및 공유 객체의 지리적 위치를 기반으로 공유 객체와의 거리를 측정할 수 있다.
530동작에서, 프로세서는, 카메라를 통해 수신되는 현실 영상(real image)의 카메라 뷰거리에 공유 객체의 위치가 포함되는지를 결정할 수 있다.
예를 들어, 프로세서는, 전자 장치의 위치를 확인하고, 전자 장치의 위치를 기점으로 공유 객체의 위치가 카메라 영상 내에서 보여질 수 있는 카메라 뷰거리에 포함되는 경우 540동작을 진행하고 카메라 뷰거리에 포함되지 않는 경우 570동작으로 진행할 수 있다. 일 예를 들어, 530 동작과 540 동작은 선행/후행 동작으로 교체 가능할 수 있다.
540동작에서, 프로세서는, 카메라 영상의 카메라방향과 전자 장치를 기점으로 공유 객체가 위치하는 방향이 일치하는지를 결정할 수 있다.
550 동작에서 프로세서는, 전자 장치의 위치를 기점으로 공유 객체의 위치가 카메라방향 및 카메라 뷰거리 내에 포함되는 경우, 카메라로부터 획득한 실제 영상에 공유된 객체를 나타내는 가상 객체가 출력되는 수신 정보(예: 제1 타입 수신 정보)를 생성할 수 있다. 555동작에서, 전자 장치는 실제 영상에 수신 정보(예: 제1 타입 수신 정보)를 디스플레이에 출력할 수 있다.
560동작에서 프로세서는, 카메라 영상 내의 카메라 뷰거리에 위치하나, 카메라의 카메라방향과 다른 방향에 위치하는 경우 공유 객체가 위치한 방향으로의 안내를 제공하는 방향 가이드 정보를 생성할 수 있다. 565동작에서, 프로세서는, 실제 영상에 방향 가이드 정보를 수신 정보(예: 제2 타입 수신 정보)로 출력하고, 540 동작으로 진행하여 실제 영상의 카메라방향과 공유 객체가 위치한 방향이 일치되는지를 재판단할 수 있다.
570동작에서, 프로세서는, 카메라 영상의 카메라 뷰거리에 공유 객체의 위치가 포함되지 않는 경우, 실제 영상에 공유 객체 포함된 이미지를 표시하거나, 공유 객체의 위치를 기반으로 맵 안내(예; 이동 경로) 정보를 수신 정보(예: 제3 타입 수신 정보)로 디스플레이에 출력할 수 있다.
도6a 내지 도 6c는 다양한 실시예에 따른 전자 장치에서 공유 객체를 다른 전자 장치로 전송하는 화면 예시도를 도시한다.
도 6a 내지 도 6c를 참조하면, 송신측에서의 전자 장치는, 도 6a에 도시된 바와 같이, 증강 현실 영상(610)을 디스플레이에 출력 할 수 있다. 증강 현실 영상(610)은 전자 장치가 증강 현실 모드로 동작 시에 디스플레이로 출력될 수 있다. 증강 현실 영상(610)은 전자 장치의 카메라로부터 획득한 실제 영상(611)에 적어도 하나의 가상 객체(612)를 병합하여 생성할 수 있다. 예를 들어, 도 6a의 실시예에서 가상 객체(612)는 전자 장치의 사용자가 위치한 장소 또는 도로 인근에 위치한 관심 지점 정보를 가상 객체(612)로 구현된 증강 현실 영상(610)일 수 있다. 관심 지점의 가상 객체(612)는 식당 정보, 약국 정보, 마트 정보일 수 있으나, 이에 한정하는 것은 아니며 카테고리로 구별된 장소 정보일 수 있다. 관심 지점의 가장 객체는 전자 장치의 위치 정보를 중심으로 서버로부터 제공된 관심 지점 정보를 기반으로 구현된 가상 객체일 수 있다.
예를 들어, 전자 장치는 GPS 정보를 기반으로 전자 장치를 중심점으로 반경 N 거리에 위치하는 관심 지점 정보를 서버로부터 획득하고, 카메라의 시야각(635)을 기반으로 관심 지점들(631)에 대한 위치 가이드 정보(630)를 증강 현실 영상에 포함하여 출력할 수 있다, 예를 들어, 관심 지점 정보는 POI(Point Of Interest) 정보 일 수 있다. 전자 장치는 카메라의 시야각(635) 내에 포함된 관심 지점 정보를 확인하고, 시야각(635) 내에 포함된 관심 지점에 대응하는 가상 객체(621)를 610에 도시된 바와 같이, 디스플레이에 출력할 수 있다.
사용자가 가상 객체로 구현된 특정 장소를 다른 사용자에게 전달하기 위해 공유 객체(620)를 선택하고 공유 요청하는 경우, 전자 장치는 도 6b에 도시된 바와 같이, 공유 정보를 전송하기 위한 전송 수단 정보(640)을 디스플레이에 출력할 수 있다. 전송 수단 정보(640)는 메시지 항목, 클라우드 항목, 블루투스 항목, 인터넷 통신 기능 항목, 소셜 네트워크 서비스 항목, 에어 패스 항목 중 적어도 하나를 포함할 수 있으나, 이는 설명을 위해 도시한 것일 뿐 이에 한정하는 것은 아니다.
사용자가 전송 수단 중 소셜 네트워크 서비스 항목(641)을 선택하는 경우 전자 장치는 도 6c에 도시된 바와 같이, 공유 객체(620)를 다른 전자 장치로 전송하는 전송 메뉴를 포함하는 공유 정보(625)를 출력할 수 있다. 공유 정보(625)는 공유 객체를 나타내는 이미지(651), 공유 객체의 식별 정보, 공유 객체의 위치 정보, 증강 현실 영상을 캡처한 캡처 이미지, 전송 항목(652) 중 적어도 하나를 포함할 수 있다. 사용자가 공유 정보(650)에 포함된 전송 항목(652)을 선택하는 경우, 전자 장치는 선택된 다른 전자 장치로 선택된 공유 객체에 대한 정보를 전송할 수 있다.
도 7a 내지 도 7c는 다양한 실시예에 따른 전자 장치에서 공유 객체에 대한 수신 정보를 다르게 표시하는 예시도를 도시한다.
도 7a 내지 도 7c를 참조하면, 다양한 실시예에 따르면, 전자 장치(예: 수신측 장치)는, 전자 장치의 카메라 뷰거리 및 카메라방향을 고려하여 공유 객체의 수신 정보를 다르게 출력하는 기능을 지원할 수 있다.
전자 장치는 다른 전자 장치로부터 증강 현실에 기반하여 특정 장소(또는 위치)에 대한 공유 정보를 수신할 수 있다. 특정 장소는 증강 현실 영상에서 구현된 가상 객체에 대응하는 장소일 수 있다.
일 실시예에 따르면, 도 7a에 도시된 바와 같이, 전자 장치는 증강 현실에 기반한 공유 장소를 수신하는 경우 다른 전자 장치로부터 관심 장소에 대한 공유를 안내하는 수신 안내 정보(720)를 디스플레이에 출력할 수 있다. 전자 장치는 증강 현실 모드로 동작하기 위해 증강 현실 어플리케이션을 실행하거나 카메라를 구동하여 실제 영상(711)을 출력할 수 있다. 수신 안내 정보(720)는 카메라를 통해 획득한 실제 영상(711)(예: 프리뷰 이미지)에 출력될 수 있으나, 이에 한정하지 않는다. 수신 안내 정보(730)는 공유 객체와 관련된 이미지, 식별 정보 및 정보 보기 항목(721)를 포함할 수 있으나, 이는 예시일 뿐 이에 한정하는 것은 아니다.
사용자가 정보 보기 항목(721)을 선택하여 공유 객체에 대한 정보를 호출할 수 있다.
일 실시예에 따르면, 전자 장치는 공유 객체가 전자 장치의 카메라방향에 위치하고, 카메라 뷰거리의 범위 내에 존재하는 장소에서 카메라의 실제 영상을 획득할 수 있다. 도 7a의 710에 도시된 바와 같이 전자 장치는 다른 전자 장치로부터 전달된 공유 객체(712)의 위치가 카메라를 통해 실제 영상(711)의 범위 내에 존재하므로, 실제 영상(711)에 공유 객체를 나타내는 가상 객체(712)를 구현하여 출력할 수 있다. 가상 객체(712)는 가상 객체의 식별 정보, 가상 객체까지의 거리 정보를 포함하여 출력될 수 있다.
일 실시예에 따르면, 증강 현실 모드에서 전자 장치는 전자 장치가 위치한 지점을 기준으로 설정된 거리 이내에 존재하는 관심 지점들에 대한 정보를 서버로부터 수신할 수 있다. 전자 장치는 카메라의 카메라방향 및 시야각(732)을 기반으로 관심 지점들(731)에 대한 위치 가이드 정보(730)를 증강 현실 영상(710)에 출력할 수 있다. 관심 지점 정보는 POI(Point Of Interest) 정보 일 수 있으며, 관심 지점의 좌표, 종류, 이름 또는 지역 정보를 포함할 수 있으며, 카테고리로 분류될 수도 있다. 전자 장치는 전자 장치의 위치 좌표를 중심으로 증강 현실 영상에 표시될 카메라방향을 확인하고, 카메라방향에 포함되는 관심 지점에 대한 가상 객체를 디스플레이에 출력할 수 있다. 사용자는 위치 가이드 정보(730)를 통해 전자 장치의 이동, 전자 장치를 중심으로 배치된 관심 지점의 위치를 확인할 수 있다.
일 예를 들어, 전자 장치는 전자 장치의 위치를 중심으로 획득하는 다른 가상 객체(712-1)가 존재하는 경우, 다른 가상 객체(721-1)와 공유 객체를 나타내는 가상 객체(712)가 구별되도록 객체의 모양, 색상, 형태 중 적어도 하나를 다르게 표현하거나 공유 객체임을 알림하는 지시자를 추가적으로 출력할 수 있으나, 다른 다양한 방법을 통해 구현될 수도 있다.
다른 예를 들어, 전자 장치는 공유 객체의 위치가 전자 장치의 카메라방향에 위치하고, 카메라 뷰거리의 범위 내에 존재하는 조건의 경우, 전자 장치를 중심으로부터 획득한 관심 지점 정보 중 공유 객체를 제외한 다른 관심 지점에 대한 다른 가상 객체(712-1)의 구현을 생략할 수 있다. 전자 장치는 710 화면에서 공유 객체를 나타내는 가상 객체(712)만을 구현하여 출력할 수도 있다. 예컨대, 710 화면에서 gapbody, banabna, requplic 의 가상 객체(712-1)는 출력하지 않고, old town에 대한 가상 객체(712)만을 출력할 수도 있다.
다른 실시예에 따르면, 전자 장치는 711 화면의 실제 영상(711)과 다른 위치 및 방향을 기준으로 실제 영상(711-1)을 획득할 수 있다. 예를 들어, 가상 객체의 위치는 카메라의 시야각에서 카메라 뷰거리에 존재하나, 카메라방향과 다른 방향에 위치할 수 있다.
도 7b의 실시예에서 전자 장치는 공유 객체의 위치가 카메라 뷰거리의 범위 내에 존재하나, 카메라 방향을 벗어난 경우, 실제 영상(710)에 공유 객체가 위치한 방향으로의 안내를 제공하는 방향 가이드 정보(740)를 출력할 수 있다. 사용자는 위치 가이드 정보(730)를 통해 카메라의 카메라방향을 확인할 수 있다. 방향 가이드 정보(730)를 따라 카메라의 카메라방향을 움직여 공유 객체가 위치한 방향으로 카메라의 시야각이 이동되도록 움직일 수 있다. 카메라의 카메라방향이 변경되어 카메라의 시야에서 공유 객체의 위치를 포함하는 경우, 도 7a의 에서와 같이 공유 객체를 나타내는 가상 객체(720)를 구현하여 현실 증강 영상을 출력할 수 있다.
다른 실시예에 따르면, 전자 장치는 전자 장치의 위치에 따라 7a 또는 7b와 다른 실제 영상(711-2)을 획득할 수 있다. 예를 들어, 가상 객체는 카메라의 시야각에서 카메라 뷰거리를 벗어난 위치에 존재할 수 있다.
도 7c의 실시예에서 전자 장치는 공유 객체의 위치가 카메라 뷰거리의 범위 내에 존재하지 않는 경우 실제 영상(711-2)에 공유 객체의 위치를 기반으로 맵 안내 정보(예; 이동 경로) (750)를 출력할 수 있다. 맵 안내 정보는 이동 경로 정보(751), 공유 객체의 이미지(725), 상세 안내 항목(753)을 포함할 있으나, 이에 한정하지 않는다. 사용자는 맵 안내 정보(750)를 기반으로 현재 위치한 장소에서 카메라의 시야 내에 공유 객체가 위치할 수 있는 장소를 찾아갈 수 있다.
도 8은 다양한 실시예에 따른 전자 장치 간 증강 현실을 이용한 공유 정보 표시 방법을 도시한다. 도 8의 실시예에서 제1 장치(801)는 증강 현실 기반의 공유 정보를 제공하는 송신측 장치이고, 제2장치(802)는 송신측 장치로부터 제공되는 증강 현실 기반의 공유 정보를 수신하는 수신측 장치일 수 있다.
도 8을 참조하면, 다양한 실시예에 따르면 송신측 동작을 살펴보면 810 동작에서, 제1 장치(801)는 증강 현실 영상 또는 증강 현실 영상에 포함된 객체를 제2 장치(802)와 공유 요청하는 사용자 입력을 검출할 수 있다. 815 동작에서 제1 장치(801)는 공유 요청에 따라 서버(803)로 공유 요청 신호를 전달할 수 있다.
820 동작에서, 제1 장치(801)는 객체가 포함된 증강 현실 영상을 캡처하여 캡처 이미지를 생성할 수 있다. 825 동작에서, 제1 장치(801)는 공유 객체와 관련된 공유 정보를 제2 장치로 전송할 수 있다.
827 동작에서 서버(803)는 제1 장치(801)에 의한 공유 요청에 응답하여 공유 객체에 관련된 정보를 제2 장치(802)로 전송할 수 있다.
수신측 동작을 살펴보면, 830 동작에서, 제2 장치(802)는 공유 정보에 포함된 공유 객체의 위치를 확인하고 제2 장치(802)에 포함된 카메라와의 카메라 뷰거리 및 카메라방향을 확인할 수 있다. 예를 들어, 제2 장치(802)는 제2 장치(802)의 지리적 위치와, 공유 객체의 지리적 위치를 확인하고, 이를 기반으로 제2 장치(802)와 공유 객체 사이의 거리를 측정할 수 있다. 제2 장치(802)는, 제2 장치(802)의 카메라가 바라보는 카메라방향 및 카메라 뷰거리 내에 공유 객체가 존재하는지 여부를 결정할 수 있다.
840 동작에서, 제2 장치(802)는 제2 장치(802)의 위치를 고려하여 공유 객체와의 카메라 뷰거리 및 카메라방향 조건에 따라 지정된 타입의 수신 정보를 생성할 수 있다.
일 실시예에 따르면, 제2 장치(802)는 공유 객체가 제2 장치(802)의 카메라를 통해 바라보는 시야에서 보일 수 있는 카메라방향에 위치하고, 카메라 뷰거리 내에 위치한 경우 공유 객체를 나타내는 가상 객체가 출력되도록 제1 타입의 수신 정보를 생성할 수 있다.
일 실시예에 따르면, 제2 장치(802)는, 공유 객체가 제2 장치(802)의 카메라 뷰거리에 위치하나, 카메라방향의 범위를 벗어난 경우, 공유 객체가 위치한 방향으로 움직임을 안내하는 제2 타입의 수신 정보를 생성할 수 있다.
일 실시예에 따르면, 제2 장치(802)는 공유 객체가 제2 장치(802)의 카메라를 통해 바라보는 시야에서 보일 수 없는 거리(예: 비가시 거리)에 위치하는 경우 공유 정보에 포함된 캡처 이미지 또는 공유 객체까지의 이동 경로 정보를 제공하는 제3 타입의 수신 정보를 생성할 수 있다.
850 동작에서, 제2 장치(802)는 제2 장치(802)에 의해 생성된 증강 현실 영상에 제 1장치로부터 전달된 공유 객체의 수신 정보를 출력할 수 있다.
도 9a내지 도 9c는 다양한 실시예에 따른 전자 장치에서 공유 객체에 대한 수신 정보를 다르게 표시하는 예시도를 도시한다.
도 9a내지 도 9c를 참조하면, 일 실시예에 따르면, 전자 장치는 다른 전자 장치로부터 증강 현실에 기반하여 실내 공간에서 구현된 가상의 가구 객체에 대한 공유 정보를 수신하고 공유 정보를 기반으로 증강 현실 영상을 디스플레이에 출력할 수 있다.
전자 장치는 증강 현실에 기반한 가상의 가구 객체에 대한 공유 정보를 수신하는 경우, 도 9a에 도시된 바와 같이, 가구 객체에 대한 수신을 안내하는 수신 안내 정보(920)를 디스플레이에 출력할 수 있다. 수신 안내 정보(920)는 공유 객체와 관련된 이미지(921), 식별 정보 및 정보 보기 항목(922)를 포함할 수 있으나, 이는 예시일 뿐 이에 한정하는 것은 아니다. 수신 안내 정보(920)는 카메라를 통해 획득한 실제 영상(911)에 출력할 수 있다.
사용자가 정보 보기 항목(922)을 선택하여 가상의 가구 객체에 대한 정보를 호출할 수 있다.
일 실시예에 따르면, 전자 장치는 송신 장치와 동일한 실내 장소에 위치할 수 있으나, 송신 장치의 카메라방향과 수신 장치의 카메라방향이 서로 다를 수 있다. 예를 들어, 송신 장치의 카메라 영상에서 가구 객체는 정면을 바라보는 방향으로 배치될 수 있으나, 수신 장치의 카메라 영상은 수신 장치가 동일한 장소에 있더라도 가구 객체가 위치한 장소를 좌측의 시야각으로 바라볼 수 있다.
도 9a의 실시예에서 전자 장치는 가상의 가구 객체 위치가 카메라를 통해 실제 영상(911)의 범위 내에 존재하므로, 실제 영상(911)에 공유 객체를 나타내는 가상의 가구 객체(912)를 구현하여 현실 증강 영상(910)을 제공할 수 있다. 910 에 도시된 바와 같이 전자 장치는 송신 장치의 카메라 영상에서 바라보는 정면의 배치가 아닌 전자 장치의 카메라 영상에서 바라보는 좌측의 방향으로 가상의 가구 객체의 배치 방향을 다르게 구현할 수 있다.
다른 실시예에 따르면, 전자 장치는 도 9a의 실제 영상(911)과 다른 위치에서의 실제 영상(911-1)을 획득할 수 있다. 예를 들어, 전자 장치가 송신 장치와 동일한 장소에 위치할 수 있으나, 전자 장치의 카메라 시야각의 카메라방향은 도 9a의 실제 영상(911)을 촬영한 카메라와 다른 방향에 위치할 수 있다.
도 9b의 실시예에서 전자 장치는 가상의 가구 객체가 카메라 뷰거리의 범위 내에 존재하나, 카메라방향을 벗어난 경우, 실제 영상(911-1)에 가구 객체가 위치한 방향으로 카메라의 시야각을 이동하라는 안내를 제공하는 방향 가이드 정보(920)를 출력하여 증강 현실 영상(910)을 제공할 수 있다. 사용자는 방향 가이드 정보(920)를 따라 카메라의 카메라방향을 움직여 가상이 가구 객체가 위치한 방향으로 카메라의 시야각을 이동시켜 가상의 가구가 배치된 공간을 확인할 수 있다.
다른 실시예에 따르면, 전자 장치는 송신 장치와 동일한 실내 장소가 아닌 외부의 실외 장소에 있을 수 있다. 실외 장소에 있는 전자 장치는 9a 또는 9b와 다른 실제 영상(911-2)을 획득할 수 있다.
도 9c의 실시예에서 전자 장치는 가상의 가구 객체가 카메라 뷰거리의 범위 내에 존재하지 않는 경우, 가상의 가구 객체가 배치된 실내 공간의 증강 현실 영상의 캡처 이미지(930)를 실제 영상(911-1)에 출력하여 증강 현실 영상을 제공할 수 있다. 사용자는 캡처 이미지(930)를 통해 송신 장치에서 전송한 실내 공간과 가상의 가구 객체가 병합된 증강 현실 영상의 이미지를 확인할 수 있다.
도10a 및 10b는 다양한 실시예에 따른 전자 장치에서 공유 객체에 대한 수신 정보를 다르게 표시하는 예시도를 도시한다.
도 10a 및 10b를 참조하면, 다양한 실시예에 따른 전자 장치는 증강 현실에 기반한 공유 정보에 오디오 데이터 또는 비디오 데이터가 포함된 경우, 증강 현실 영상에 오디오 데이터 또는 비디오 데이터의 재생 기능을 제어하는 항목을 출력하는 기능을 지원할 수 있다.
일 실시예에 따르면, 전자 장치는 어떠한 장소에 위치한 건물, 랜드 마크, 사물과 같이, 카메라를 통해 획득한 실제 영상에서 선택된 객체와 객체와 관련된 오디오 데이터 또는 비디오 데이터를 포함한 공유 정보를 수신할 수 있다. 예를 들어, 송신 장치는 카메라의 시야각에 존재하는 특정 랜드 마크를 선택하고, 선택된 특정 랜드마크에 대한 정보를 사운드 형태로 제공하는 오디오 설명 데이터를 공유할 수 있다.
일 실시예에 따르면, 전자 장치가 증강 현실에 기반한 특정 랜드마크의 공유 정보와 오디오 설명 데이터를 수신하는 경우, 전자 장치는 도 10a에 도시된 바와 같이, 특정 랜드마크와 오디오 설명 데이터의 수신을 안내하는 수신 안내 정보(1010)를 디스플레이에 출력할 수 있다. 수신 안내 정보(1010)는 공유 정보에 대한 설명과 상세 보기 항목(1011)를 포함할 수 있으나, 이는 예시일 뿐 이에 한정하는 것은 아니다. 수신 안내 정보(1011)는 카메라를 통해 획득한 실제 영상(1001)에 출력할 수 있다.
사용자가 정보 보기 항목(1011)을 선택하여 특정 랜드 마크에 대한 가이드 정보를 호출할 수 있다.
일 실시예에 따르면, 전자 장치는 송신 장치와 동일한 장소에 위치할 수 있다. 도 10a의 실시예에서 전자 장치는 특정 랜드 마크의 위치가 카메라를 통해 실제 영상의 시야각 범위 내에 존재하므로, 실제 영상(1001)에서 포함된 랜드 마크(1020)가 포커스 되도록 가상의 그래픽 표현(예: 하이라이트 라인)을 출력하여 증강 현실 영상을 제공할 수 있다. 사용자는 가상의 그래픽 표현을 통해 카메라를 통해 획득한 실제 영상(1001)에서 가상의 그래픽 표현된 위치가 공유된 랜드 마크(1020)임을 확인할 수 있다. 전자 장치는 랜드 마크(1020)에 대한 오디오 설명 데이터를 재생하기 위해 재생 항목(1021)을 출력할 있다. 재생 항목(1021)은 play 및 stop 기능으로 토글될 수 있다. 사용자가 play 상태의 재생 항목(1021)을 선택하는 경우 전자 장치는 랜드 마크(1020)에 대한 오디오 데이터를 재생할 수 있으며, stop 상태의 재생 항목(1021)을 선택하는 경우 전자 장치는 오디오 데이터의 재생을 중단할 수 있다.
다른 실시예에 따르면, 전자 장치는 다른 장소에서도 도 10a의 실제 영상(1001)과 다른 실제 영상(100-1)을 획득할 수 있다. 예를 들어, 전자 장치가 송신 장치와 근거리 장소에 위치할 수 있으나, 전자 장치의 카메라방향과 다른 방향에 랜드 마크(1020)가 위치할 수 있다. 도 10b의 실시예에서 1001-1은 랜드 마크(1020)의 위치가 카메라 뷰거리의 범위 내에 존재하나, 카메라방향을 벗어난 경우, 실제 영상(1001-1)에 랜드 마크가 위치한 방향으로 카메라의 시야각을 이동하라는 안내를 제공하는 방향 가이드 정보(1022)를 출력할 수 있다. 사용자는 방향 가이드 정보(1022)를 따라 카메라의 카메라방향을 움직여 랜드 마크(1020)가 카메라의 시야각에서 보일 수 있도록 이동할 수 있다.
도 10b의 실시예에서 전자 장치는 카메라의 시야각의 카메라 뷰거리를 벗어난 위치에 랜드 마크가 존재 할 수 있다. 전자 장치는 특정 랜드 마크가 카메라 뷰거리의 범위 내에 존재하지 않는 경우 전자 장치는 실제 영상(1001-2)에 랜드 마크의 위치를 기반으로 맵 안내 정보 (1030)를 출력할 수 있다. 맵 안내 정보(1030)는 이동 경로 정보(1031), 랜드 마크 이미지(1032), 상세 안내 항목(1033)을 포함할 수 있으나, 이에 한정하지 않는다. 사용자는 맵 안내 정보(1030)를 기반으로 현재 위치한 장소에서 카메라의 시야각 내에 특정 랜드 마크가 보여질 수 있는 해당 장소를 찾아갈 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구현된 유닛(unit)을 포함할 수 있으며, 예를 들면, 로직(logic), 논리 블록(logic block), 부품(component), 또는 회로(circuit) 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들(instructions)을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러(compiler) 생성된 코드 또는 인터프리터(interpreter)에 의해 실행될 수 있는 코드(code)를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
101: 전자 장치
120, 260: 프로세서
210: 통신모듈
220: 카메라 모듈
230: 표시 모듈
240: 센서 모듈
261: 위치 및 방향 판단모듈
262: 증강 현실 뷰 생성 모듈

Claims (20)

  1. 전자 장치에 있어서,
    통신 장치;
    카메라 장치;
    표시 장치;
    프로세서; 및
    상기 프로세서와 연결된 메모리를 포함하고,
    상기 메모리는, 실행 시 상기 프로세서가,
    상기 통신 장치를 통해 다른 전자 장치로부터 증강 현실에 기반한 공유 객체의 정보를 수신하는 경우, 상기 정보에 포함된 공유 객체의 제1 위치를 확인하고, 상기 제1 위치가 상기 카메라 장치의 카메라 뷰거리 및 카메라방향 내에 포함되는지를 확인하고, 상기 전자 장치의 제2 위치를 기준점으로 상기 제1 위치가 상기 카메라 뷰거리 및 카메라방향 중 적어도 하나의 범위에 포함되는 조건 별로 상기 공유 객체의 수신 정보를 지정된 타입으로 생성하고, 상기 카메라 장치로부터 획득한 실제 영상에 상기 생성된 수신 정보를 병합한 증강 현실 영상을 상기 표시 장치로 출력하도록 하는 인스트럭션들을 저장하는 전자 장치.
  2. 제1항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 제1 위치가 상기 카메라 장치의 카메라방향에 위치하고, 상기 카메라 뷰거리 내에 포함되는 조건 일 시 상기 카메라 장치로부터 출력된 실제 영상에서 상기 제1 위치에 대응하는 방향에 상기 공유 객체를 나타내는 가상 객체를 제1 타입의 수신 정보로 생성하고,
    상기 제1 위치가 상기 카메라 뷰거리 내에 포함되나, 상기 카메라방향에 위치하지 않는 조건 일 시 상기 공유 객체가 위치한 방향으로 상기 전자 장치의 움직임을 안내하는 방향 가이드 정보를 제2 타입의 수신 정보로 생성하고,
    상기 제1 위치가 상기 카메라 뷰 거리 내에 포함되지 않는 조건일 시 상기 공유 정보에 포함된 이미지 또는 상기 제1 위치까지의 이동 경로 정보를 제3 타입의 수신 정보로 생성하도록 하는 인스트럭션들을 더 저장하는 전자 장치.
  3. 제1항에 있어서,
    상기 공유 정보는, 상기 다른 전자 장치의 사용자에 의해 카메라 영상에서 선택된 객체 정보, 선택된 객체의 위치 정보, 선택된 객체가 출력된 증강 현실 영상의 캡처 이미지, 상기 다른 전자 장치에서 증강 현실 영상이 촬영된 장소 정보, 상기 장소 정보와 관련된 오디오 또는 비디오 데이터, 상기 다른 전자 장치와 관련된 POI(point of interest) 정보 중 적어도 하나를 포함하는 전자 장치.
  4. 제1항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 전자 장치가 증강 현실에 기반한 공유 정보를 수신하는 경우 증강 현실 어플리케이션을 실행하거나 상기 카메라 장치를 구동하여 획득되는 실제 영상을 상기 표시 장치를 통해 출력하도록 하는 인스트럭션들을 더 포함하는 전자 장치.
  5. 제2항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 공유 정보 수신 시 서버로부터 상기 전자 장치의 위치를 중심으로 설정된 반경 이내에 위치하는 관심 지점 정보를 수신하고, 상기 수신된 관심 지점 정보에 상기 공유 객체의 제1 위치가 포함되는 경우 상기 공유 객체를 나타내는 가상 객체를 상기 관심 지점 정보에 포함된 다른 가상 객체들과 구별되도록 상기 가상 객체의 모양, 색상, 형태 중 적어도 하나를 다르게 표현하여 상기 제1 타입의 수신 정보를 생성하도록 하는 인스트럭션들을 더 포함하는 전자 장치.
  6. 제2항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 공유 정보 수신 시 서버로부터 상기 전자 장치의 제2 위치를 중심으로 설정된 반경 이내에 위치하는 관심 지점 정보를 수신하고, 상기 수신된 관심 지점 정보에 상기 공유 객체의 제1 위치가 포함되는 경우, 상기 관심 지점 정보에 포함된 다른 가상 객체들의 표현을 제외하고, 상기 공유 객체를 나타내는 가상 객체만을 표현하여 상기 제1 타입의 수신 정보를 생성하도록 하는 인스트럭션들을 더 포함하는 전자 장치.
  7. 제1항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 공유 정보에 포함된 GPS 정보를 기반으로 상기 제1 위치를 확인하고, 상기 센서 모듈을 통해 획득한 GPS 정보를 기반으로 상기 제2 위치를 확인하도록 하는 인스트럭션들을 더 포함하는 전자 장치.
  8. 제1항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 제1 위치와 상기 제2 위치 사이에서의 거리를 측정하고, 상기 측정된 거리를 전자 지도의 도보 시간으로 확산하고, 도보 시간이 설정된 값 이내인 경우 공유 객체가 상기 카메라 장치의 카메라 뷰거리 이내에 포함되는 것으로 결정하도록 하는 인스트럭션들을 더 포함하는 전자 장치.
  9. 제1항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 카메라 장치의 시야각 또는 화각(optical angle)을 기반으로 상기 공유 객체가 상기 카메라 장치의 카메라방향의 범위를 벗어났는지를 결정하도록 하는 인스트럭션들을 더 포함하는 전자 장치.
  10. 제1항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 카메라 장치의 이미지 센서 및 렌즈 사이의 거리를 나타내는 초점 거리, 시야각 및 렌즈 종류 중 적어도 하나를 기반으로 카메라 뷰거리를 추정하거나, 특정 임계 거리를 카메라 뷰 거리로 설정하도록 하는 인스트록션들을 더 포함하는 전자 장치.
  11. 제1항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 공유 정보에 캡처 이미지가 포함된 경우, 상기 캡처 이미지와 상기 카메라 장치로부터 획득한 현실 영상을 비교하여 동일객체가 존재하는지 여부를 판단하여 상기 공유 객체가 상기 카메라 장치의 카메라방향의 범위를 벗어났는지를 결정하도록 하는 인스트럭션들을 더 포함하는 전자 장치.
  12. 제1항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 공유 정보에 공유 객체와 관련된 오디오 데이터 또는 비디오 데이터가 포함된 경우, 상기 증강 현실 영상에 오디오 데이터 또는 비디오 데이터 재생을 제어하는 제어 항목을 포함하여 출력하도록 하는 인스트럭션들을 더 포함하는 전자 장치.
  13. 제2항에 있어서,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 통신 장치를 통해 서버로부터 공유 객체와 관련된 가상 객체 정보를 수신하고, 상기 수신된 가상 객체 정보를 기반으로 상기 카메라 장치의 카메라방향에 따라 공유 객체의 배치 방향을 변경하여 상기 가상 객체를 상기 표시 장치에 출력하도록 하는 인스트럭션들을 더 포함하는 전자 장치.
  14. 전자 장치에서 증강 현실에 기반하여 수신된 공유 정보를 표시하는 방법에 있어서,
    다른 전자 장치로부터 증강 현실에 기반한 공유 객체의 정보를 수신하는 동작;
    상기 정보에 포함된 공유 객체의 제1 위치와 전자 장치의 제2 위치를 확인하는 동작;
    상기 전자 장치에 포함된 카메라의 카메라 뷰거리 및 카메라의 카메라방향을 확인하는 동작;
    상기 공유 객체의 제1 위치가 상기 제2 위치를 기준점으로 상기 카메라 장치의 카메라 뷰거리 및 카메라방향 중 적어도 하나의 범위에 포함되는지 조건 별로 상기 공유 객체의 수신 정보를 지정된 타입으로 생성하는 동작; 및
    상기 카메라로부터 획득한 실제 영상에 상기 생성된 수신 정보를 병합한 증강 현실 영상을 상기 표시 장치로 출력하는 동작을 포함하는 방법.
  15. 제14항에 있어서,
    상기 공유 객체의 수신 정보를 지정된 타입으로 생성하는 동작은,
    상기 공유 객체의 제1 위치가 상기 카메라의 카메라방향에 위치하고, 상기 카메라 뷰거리 내에 포함되는 조건 일 시 상기 카메라 장치로부터 출력된 실제 영상에서 상기 제1 위치에 대응하는 방향에 상기 공유 객체를 나타내는 가상 객체를 제1 타입의 수신 정보로 생성하는 동작;
    상기 공유 객체의 제1 위치가 상기 카메라의 카메라 뷰거리 내에 포함되나, 상기 카메라의 카메라방향에 위치하지 않는 조건 일 시 상기 공유 객체가 위치한 방향으로 상기 전자 장치의 움직임을 안내하는 방향 가이드 정보를 제2 타입의 수신 정보로 생성하는 동작; 및
    상기 공유 객체의 제1 위치가 상기 카메라의 카메라 뷰거리 내에 포함되지 않는 조건일 시 상기 공유 정보에 포함된 이미지 또는 상기 제1 위치까지의 이동 경로 정보를 제3 타입의 수신 정보로 생성하는 동작을 더 포함하는 방법.
  16. 제15항에 있어서,
    상기 제1 타입의 수신 정보로 생성하는 동작은,
    상기 공유 정보 수신 시 서버로부터 상기 전자 장치의 제2 위치를 중심으로 설정된 반경 이내에 위치하는 관심 지점 정보를 수신하고, 상기 수신된 관심 지점 정보에 상기 공유 객체의 제1 위치가 포함되는 경우 상기 공유 객체를 나타내는 가상 객체를 상기 관심 지점 정보에 포함된 다른 가상 객체들과 구별되도록 상기 가상 객체의 모양, 색상, 형태 중 적어도 하나를 다르게 표현하여 상기 제1 타입의 수신 정보를 생성하는 것을 특징으로 하는 방법.
  17. 제15항에 있어서,
    상기 제1 타입의 수신 정보로 생성하는 동작은,
    상기 공유 정보 수신 시 서버로부터 상기 전자 장치의 위치를 중심으로 설정된 반경 이내에 위치하는 관심 지점 정보를 수신하고, 상기 수신된 관심 지점 정보에 상기 공유 객체의 제1 위치가 포함되는 경우, 상기 관심 지점 정보에 포함된 다른 가상 객체들의 표현을 제외하고, 상기 공유 객체를 나타내는 가상 객체만을 표현하여 상기 제1 타입의 수신 정보를 생성하는 것을 특징으로 하는 방법.
  18. 제14항에 있어서,
    상기 공유 객체의 수신 정보를 지정된 타입으로 생성하는 동작은,
    상기 카메라 장치의 초점 거리, 시야각, 렌즈 종류 중 적어도 하나를 기반으로 추정된 카메라 뷰거리를 확인하고, 상기 공유 객체의 제1 위치가 카메라 뷰 거리 이내에 존재하는 경우 상기 공유 객체가 상기 카메라 장치의 카메라 뷰거리 이내에 포함되는 것으로 결정하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  19. 제14항에 있어서,
    상기 공유 객체의 수신 정보를 지정된 타입으로 생성하는 동작은,
    상기 제1 위치와 제2 위치 사이에서의 거리를 측정하고, 상기 측정된 거리를 전자 지도의 도보 시간으로 확산하고, 도보 시간이 설정된 값 이내인 경우 공유 객체가 상기 카메라 장치의 카메라 뷰거리 이내에 포함되는 것으로 결정하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  20. 제14항에 있어서,
    상기 공유 객체의 수신 정보를 지정된 타입으로 생성하는 동작은,
    상기 카메라 장치의 시야각 또는 화각(optical angle)을 기반으로 상기 공유 객체가 상기 카메라의 카메라방향의 범위를 벗어났는지를 결정하거나 상기 공유 정보에 캡처 이미지가 포함된 경우, 상기 캡처 이미지와 상기 카메라 장치로부터 획득한 현실 영상을 비교하여 동일 객체가 존재하는지 여부를 판단하여 상기 공유 객체가 상기 카메라의 카메라방향의 범위를 벗어났는지를 결정하는 동작을 더 포함하는 것을 특징으로 하는 방법.
KR1020190029495A 2019-03-14 2019-03-14 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법 KR102583682B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190029495A KR102583682B1 (ko) 2019-03-14 2019-03-14 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
PCT/KR2020/003511 WO2020185029A1 (ko) 2019-03-14 2020-03-13 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
US17/474,599 US11688146B2 (en) 2019-03-14 2021-09-14 Electronic device and method for displaying sharing information on basis of augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190029495A KR102583682B1 (ko) 2019-03-14 2019-03-14 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법

Publications (2)

Publication Number Publication Date
KR20200109812A true KR20200109812A (ko) 2020-09-23
KR102583682B1 KR102583682B1 (ko) 2023-10-04

Family

ID=72427173

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190029495A KR102583682B1 (ko) 2019-03-14 2019-03-14 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법

Country Status (3)

Country Link
US (1) US11688146B2 (ko)
KR (1) KR102583682B1 (ko)
WO (1) WO2020185029A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114820A1 (ko) * 2020-11-26 2022-06-02 (주) 애니펜 사용자 간의 경험 공유를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2022131578A1 (ko) * 2020-12-18 2022-06-23 삼성전자 주식회사 증강 현실 환경을 제공하기 위한 방법 및 전자 장치
KR20220107778A (ko) 2021-01-26 2022-08-02 창원대학교 산학협력단 증강현실을 이용한 산업시설 정보 공유 시스템
WO2023003126A1 (ko) * 2021-07-19 2023-01-26 삼성전자 주식회사 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법
US11867904B2 (en) 2020-12-18 2024-01-09 Samsung Electronics Co., Ltd. Method and electronic device for providing augmented reality environment
WO2024050245A1 (en) * 2022-08-31 2024-03-07 Snap Inc. Multi-perspective augmented reality experience
WO2024096671A1 (ko) * 2022-11-04 2024-05-10 삼성전자 주식회사 가상 현실 컨텐트와 관련된 영상을 획득하기 위한 방법 및 이를 지원하는 전자 장치
US12039096B2 (en) 2021-07-19 2024-07-16 Samsung Electronics Co., Ltd. Glasses-type wearable device providing augmented reality guide and method for controlling the same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114336A (ko) * 2021-02-08 2022-08-17 현대자동차주식회사 사용자 단말 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
KR20110136024A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 증강현실 장치 간 정보 공유 방법
KR20130138141A (ko) * 2012-06-08 2013-12-18 삼성전자주식회사 주변 위치 정보의 증강 현실 배치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343939A (ja) * 2005-06-08 2006-12-21 Navitime Japan Co Ltd 周辺条件物件検索システム、周辺条件物件検索サーバ、端末装置
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
KR101658087B1 (ko) * 2010-07-02 2016-09-21 엘지전자 주식회사 이동단말기 및 그의 증강현실을 이용한 정보 표시 방법
US10430147B2 (en) * 2017-04-17 2019-10-01 Intel Corporation Collaborative multi-user virtual reality
KR20190025391A (ko) * 2017-09-01 2019-03-11 렛츠컴바인 주식회사 유적지에 대한 증강현실 3d 이미지의 출력방법 및 시스템
CN108037863B (zh) * 2017-12-12 2021-03-30 北京小米移动软件有限公司 一种显示图像的方法和装置
KR102390935B1 (ko) 2019-03-15 2022-04-26 구글 엘엘씨 증강 현실을 통한 차량공유 및 전달을 위한 픽업 및 드롭-오프 위치 식별

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
KR20110136024A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 증강현실 장치 간 정보 공유 방법
KR20130138141A (ko) * 2012-06-08 2013-12-18 삼성전자주식회사 주변 위치 정보의 증강 현실 배치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114820A1 (ko) * 2020-11-26 2022-06-02 (주) 애니펜 사용자 간의 경험 공유를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2022131578A1 (ko) * 2020-12-18 2022-06-23 삼성전자 주식회사 증강 현실 환경을 제공하기 위한 방법 및 전자 장치
US11867904B2 (en) 2020-12-18 2024-01-09 Samsung Electronics Co., Ltd. Method and electronic device for providing augmented reality environment
KR20220107778A (ko) 2021-01-26 2022-08-02 창원대학교 산학협력단 증강현실을 이용한 산업시설 정보 공유 시스템
WO2023003126A1 (ko) * 2021-07-19 2023-01-26 삼성전자 주식회사 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법
US12039096B2 (en) 2021-07-19 2024-07-16 Samsung Electronics Co., Ltd. Glasses-type wearable device providing augmented reality guide and method for controlling the same
WO2024050245A1 (en) * 2022-08-31 2024-03-07 Snap Inc. Multi-perspective augmented reality experience
WO2024096671A1 (ko) * 2022-11-04 2024-05-10 삼성전자 주식회사 가상 현실 컨텐트와 관련된 영상을 획득하기 위한 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
US20210407211A1 (en) 2021-12-30
US11688146B2 (en) 2023-06-27
KR102583682B1 (ko) 2023-10-04
WO2020185029A1 (ko) 2020-09-17

Similar Documents

Publication Publication Date Title
KR102583682B1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
US10950205B2 (en) Electronic device, augmented reality device for providing augmented reality service, and method of operating same
KR102560689B1 (ko) Ar 객체를 표시하기 위한 장치 및 방법
KR102479052B1 (ko) 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
US12072201B2 (en) Method and apparatus for displaying surrounding information using augmented reality
KR20190001822A (ko) 두 개의 디스플레이를 구비하는 전자 장치 및 이의 화면 운용 방법
KR102371212B1 (ko) 전자 장치 및 그의 지오펜스 관리 방법
KR20150096947A (ko) 증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법
US11442274B2 (en) Electronic device and method for displaying object associated with external electronic device on basis of position and movement of external electronic device
US20240144617A1 (en) Methods and systems for anchoring objects in augmented or virtual reality
KR20190021066A (ko) 전자 장치 및 그의 문자 인식 방법
EP4050563A1 (en) Electronic device for providing indoor positioning and method therefor
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN110349527B (zh) 虚拟现实显示方法、装置及系统、存储介质
KR20190046559A (ko) 증강 현실 콘텐츠를 제공하는 방법
KR20200086570A (ko) 이미지의 촬영 장소를 추천하는 전자 장치 및 방법
KR20210138923A (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
CN111754564B (zh) 视频展示方法、装置、设备及存储介质
KR20200074780A (ko) 이미지 처리 방법 및 그 전자 장치
KR20200046610A (ko) 전자 장치 및 전자 장치의 위치 측정 방법
CN112400082B (zh) 基于用户的位置使用发光元件提供视觉效果的电子装置及其方法
KR20220137314A (ko) Uwb 통신에 기반한 컨텐츠 운용 방법 및 장치
KR20210085256A (ko) 사용자의 위치를 제공하기 위한 전자 장치 및 방법
KR102422491B1 (ko) 전자 장치 및 전자 장치 제어 방법
CN111798358B (zh) 确定算路时间的方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right