KR20220017344A - Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치 - Google Patents

Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치 Download PDF

Info

Publication number
KR20220017344A
KR20220017344A KR1020210004178A KR20210004178A KR20220017344A KR 20220017344 A KR20220017344 A KR 20220017344A KR 1020210004178 A KR1020210004178 A KR 1020210004178A KR 20210004178 A KR20210004178 A KR 20210004178A KR 20220017344 A KR20220017344 A KR 20220017344A
Authority
KR
South Korea
Prior art keywords
uwb
electronic device
external device
communication circuit
information
Prior art date
Application number
KR1020210004178A
Other languages
English (en)
Inventor
임채길
김근석
신재화
조지만
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2021/010249 priority Critical patent/WO2022031019A1/ko
Priority to CN202180056720.8A priority patent/CN116097667A/zh
Priority to EP21852515.2A priority patent/EP4184955A4/en
Publication of KR20220017344A publication Critical patent/KR20220017344A/ko
Priority to US17/895,628 priority patent/US20220407666A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24—Transfer of terminal data
    • H04W8/245—Transfer of terminal data from a network towards a terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals

Abstract

일 실시 예에 따른 전자 장치는, 카메라, 디스플레이, 위치 측정 회로, UWB 안테나, UWB 통신 회로, 근거리 통신을 지원하는 제1 무선 통신 회로, 셀룰러 통신을 지원하는 제2 무선 통신 회로, 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 제2 무선 통신 회로를 이용하여 서버로부터 외부 장치에 대한 정보를 획득하고, 상기 전자 장치가 상기 외부 장치로부터 지정된 거리 이내에 존재하면 상기 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하고, 상기 외부 장치로 상기 외부 장치에 탑재된 UWB 기능을 활성화하는 요청을 전송하고, 상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하고, 상기 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 디스플레이에 출력할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

UWB와 AR를 이용한 분실기기 찾는 방법 및 그 장치{Method and Apparatus for Finding Lost Device using UWB and AR}
본 문서에서 개시되는 다양한 실시 예들은, 전자 장치의 위치 확인 서비스를 제공하는 기술에 관한 것이다.
최근 다양한 전자 제품의 보급이 증가함에 따라, 사용자들은 스마트폰과 같은 모바일 통신 장치 외에 스마트폰과 연결해서 사용할 수 있는 스마트 워치, 이어폰, 또는 태블릿과 같은 다수의 장치를 사용하고 있다. 그러나 이어폰과 같은 장치의 작은 크기 또는 사용자의 부주의로 인해 사용자가 일부 장치를 분실하는 경우가 발생할 수 있고, 장치의 제조사나 서비스 제공 업체에서는 이러한 경우에 대비하여 분실 장치의 위치를 확인해주는 서비스를 제공할 수 있다.
기존에 제공되는 서비스는, 예를 들어 분실된 사용자의 스마트폰의 위치를 서버가 수집하고, 스마트폰의 위치를 사용자에게 제공하는 방식일 수 있다. 예를 들어, 스마트폰을 분실한 사용자는 스마트폰 제조사의 웹사이트에 본인 계정으로 로그인한 후 스마트폰의 위치 확인을 요청하면, 서버는 스마트폰과 통신을 통해 확인된 위치 정보를 웹사이트 또는 어플리케이션을 통해 제공할 수 있다.
위 방법은 스마트폰과 같이 서버와 직접 통신이 가능한 전자 장치가 분실된 경우를 전제로 하므로, 스마트폰과 근거리 통신(예: Bluetooth 또는 Wi-Fi direct)으로 페어링은 가능하지만 서버와 직접 통신을 수행할 능력을 보유하지 않은 장치(예: 이어폰 또는 헤드셋)에서는 사용될 수 없었다. 이 경우, 분실된 장치가 자신의 식별 정보를 주변 장치로 전송하면, 주변 장치가 자신의 정보와 분실된 장치의 식별 정보를 같이 서버로 제공하고, 서버에서는 분실 장치의 식별 정보를 이용하여 분실 장치의 원래 사용자에게 분실 장치의 위치 정보를 제공해줄 수 있다.
분실 장치의 소유자가 분실 장치의 위치 정보를 획득하더라도 이는 GPS와 같은 측위 시스템에 기반한 좌표 정보에 해당하므로, 실제 해당 좌표에 방문하더라도 사용자는 분실 장치를 쉽게 발견하기 어려울 수 있다. 예를 들어, 획득된 분실 장치의 좌표가 어떤 공원이나 건물을 특정하더라도, 현실적으로 특정된 장소는 사용자 입장에서 엄청난 탐색 범위에 해당할 수 있다.
이에 따라 본 문서의 다양한 실시 예들에서는, 사용자가 분실 장치의 근처에 근접한 경우, UWB(ultra-wide band) 통신과 증강현실(AR, augmented reality) 기능을 이용하여 분실 장치를 용이하게 발견하는 방법을 제공할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라, 디스플레이, 위치 측정 회로, UWB 안테나, 상기 UWB 안테나와 연결된 UWB 통신 회로, 근거리 통신을 지원하는 제1 무선 통신 회로, 셀룰러 통신을 지원하는 제2 무선 통신 회로, 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 제2 무선 통신 회로를 이용하여 서버로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치에 대한 정보를 획득하고, 상기 서버로부터 획득된 정보 및 상기 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여 상기 전자 장치가 상기 외부 장치에 대한 정보에 포함된 상기 외부 장치의 좌표로부터 지정된 거리 이내에 존재하는지 여부를 판단하고, 상기 판단 결과에 응답하여 상기 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하고, 상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치에 탑재된 UWB 기능을 활성화하는 요청을 전송하고, 상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하고, 상기 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 디스플레이에 출력할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 방법은, 전자 장치의 제2 무선 통신 회로를 이용하여 서버로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치에 대한 정보를 획득하는 동작, 상기 서버로부터 획득된 정보 및 상기 전자 장치의 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여 상기 전자 장치가 상기 외부 장치에 대한 정보에 포함된 상기 외부 장치의 좌표로부터 지정된 거리 이내에 존재하는지 여부를 판단하는 동작, 상기 판단 결과에 응답하여 상기 전자 장치의 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하는 동작, 상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치에 탑재된 UWB 기능을 활성화하는 요청을 전송하는 동작, 상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하는 동작, 및 상기 전자 장치의 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 전자 장치의 디스플레이에 출력하는 동작을 포함할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 무선 통신 회로, UWB 통신 회로, 상기 UWB 통신 회로와 전기적으로 연결된 UWB 안테나, 및 상기 무선 통신 회로 및 상기 UWB 통신 회로와 전기적 또는 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 무선 통신 회로를 이용하여 외부 장치와 근거리 통신 연결을 수립하고, 상기 근거리 통신 연결을 통해 UWB 활성화 요청을 수신하고, 상기 UWB 활성화 요청에 응답하여, 상기 UWB 통신 회로를 이용하여 지정된 주파수의 UWB 신호를 전송할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 위치 측정 회로, 근거리 통신을 지원하는 제1 무선 통신 회로, 셀룰러 통신을 지원하는 제2 무선 통신 회로, 및 상기 위치 측정 회로, 제1 무선 통신 회로, 및 상기 제2 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치로부터 애드버타이징 패킷을 획득하고, 상기 제2 무선 통신 회로를 이용하여, 상기 애드버타이징 패킷에서 획득된 상기 외부 장치의 식별 정보 및 상기 위치 측정 회로를 통해 획득된 상기 전자 장치의 위치 정보를 서버로 전송하고, 상기 서버로부터 상기 외부 장치와 연관된 인증 키를 획득하고, 상기 인증 키를 이용하여 상기 외부 장치와 통신 연결을 수립할 수 있다.
다양한 실시 예에 따르면, 전자 장치는 분실 장치와의 거리에 따라 적절한 가이드를 제공할 수 있고, 사용자는 증강 현실을 이용한 가이드를 따라 직관적으로 분실 장치의 위치를 파악할 수 있다.
다양한 실시 예에 따르면, 전자 장치는 분실 메시지를 미리 등록하고 제한적으로 분실 장치와 타인의 장치 사이의 연결을 허용함으로써 분실 장치에 대한 탐색 효율을 높일 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 일 실시 예에 따른 사용자 장치의 위치를 확인하는 시스템을 나타낸다.
도 3은 일 실시 예에 따른 전자 장치의 다양한 기능과 관련된 모듈들을 나타낸다.
도 4는 일 실시 예에 따른 서버의 다양한 기능과 관련된 모듈들을 나타낸다.
도 5는 일 실시 예에 따른, 제1 장치가 제2 장치를 서버에 등록하는 흐름도를 나타낸다.
도 6은 일 실시 예에 따른 파인딩 시스템(finding system)에서 분실 장치의 현재 위치를 추적하는 흐름도를 나타낸다.
도 7은 일 실시 예에 따른 제1 장치에서 사용자 장치들의 위치를 확인하기 위한 사용자 인터페이스를 나타낸다.
도 8은 일 실시 예에 따른 전자 장치가 임의의 외부 장치를 찾기 위해 스캔을 수행하는 흐름도를 나타낸다.
도 9는 일 실시 예에 따른 전자 장치의 화면 ON/OFF에 따른 스캔 간격을 조절하는 흐름도이다.
도 10은 일 실시 예에 따른 제2 장치의 구성 및 제2 장치에 의해 브로드캐스팅 되는 패킷의 데이터 구조를 나타낸다.
도 11은 일 실시 예에 따른 제1 장치의 하드웨어 구성요소들을 나타낸다.
도 12는 일 실시 예에 따른 제1 장치의 하드웨어 구성요소들 및 하드웨어 구성요소들을 통해 구현되는 각종 기능과 관련된 다양한 모듈들을 나타낸다.
도 13은 일 실시 예에 따른 분실 장치를 찾기 위한 가이드를 제공하는 흐름도이다.
도 14는 일 실시 예에 따른 거리에 따라 전자 장치가 제공하는 예시적인 UI들을 나타낸다.
도 15는 일 실시 예에 따른 전자 장치가 증강 현실을 이용하여 제공하는 예시적인 UI들을 나타낸다.
도 16은 일 실시 예에 따른 전자 장치에서 UWB와 센서 데이터를 이용하여 타겟 위치를 업데이트하는 흐름도를 나타낸다.
도 17은 도 16의 흐름도에 대한 구체적인 세부 동작들을 나타낸다.
도 18은 일 실시 예에 따른 분실 장치와 연결을 수립하는 흐름도를 나타낸다.
도 19는 일 실시 예에 따른 제1 장치에서 분실 장치를 찾기 위한 요청(help request)을 활성화하고 분실 메시지를 등록하는 예시적인 UI들을 나타낸다.
도 20은 일 실시 예에 따른 전자 장치에서 분실 장치 찾기 기능을 활성화하는 예시적인 UI들을 나타낸다.
도 21은 일 실시 예에 따른 전자 장치에서 분실 장치와 연결을 수행하는 예시적인 UI들을 나타낸다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 일 실시 예에 따른 네트워크 환경(100) 내의 전자 장치를 도시한 도면이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted Boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, Wi-Fi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시 예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗면 또는 측면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 일 실시 예에 따른 사용자 장치의 위치를 확인하는 시스템을 나타낸다.
도 2를 참조하면, 일 실시 예에 따른 시스템은 사용자 장치들(200), 서버(300), 및 전자 장치(400)를 포함할 수 있다. 사용자 장치들(200) 중 적어도 하나와 전자 장치(400)는 제2 네트워크(199)(예: Wi-Fi, 또는 셀룰러 네트워크)를 통해 서버(300)와 연결될 수 있다.
일 실시 예에서, 사용자 장치들(200)은 복수의 장치들을 포함할 수 있다. 예를 들어, 어떤 사용자는 주로 사용하는 제1 장치(201) 외에, 제2 장치(202), 제3 장치(203), 제4 장치(204), 제5 장치(205), 및 제6 장치(206) 중 적어도 하나를 더 소유할 수 있다. 제1 장치(201)는, 예를 들어 스마트 폰(smartphone)과 같은 모바일 통신 장치일 수 있다. 제2 장치(202)는 스마트 워치와 같은 웨어러블 장치일 수 있다. 제3 장치(203)는 이어버즈(earbuds)와 같은 블루투스 이어폰일 수 있다. 제4 장치(204)는 블루투스 헤드폰 또는 헤드셋일 수 있다. 제5 장치(205)는 노트북일 수 있다. 제6 장치(206)는 태블릿(tablet)일 수 있다. 도 2에 도시된 예시 외에도 사용자는 제1 장치(201) 외에 적절한 다른 장치를 연동하여 사용할 수 있다. 예를 들어, 키팝(key fob), 지갑(wallet), 백팩(backpack), 강아지나 고양이의 인식 장치, 자동차, 자전거, 신분증, 서류가방, 우산, 및/또는 기타 장비(gear)도 본 문서에서 설명하는 통신 기능을 충족한다면 제1 장치(201)와 연동될 수 있고, 분실 시에 제1 장치(201)에서 위치 추적을 수행할 수 있다. 또한, 어떤 실시 예에서 사용자는 동일한 장치를 2개 이상 사용할 수 있다. 예를 들어, 사용자는 복수 개의 스마트폰(예: 제1 장치(201))을 상호 연동하여 사용할 수 있다. 또한, 사용자는 2개 이상의 태블릿(예: 제6 장치(206))을 제1 장치(201)와 연동하여 사용할 수 있다.
일 실시 예에서, 사용자 장치들(200)은 서로 소정의 통신 프로토콜을 이용하여 서로 연결될 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202), 제3 장치(203), 제4 장치(204), 제5 장치(205), 및 제6 장치(206) 중 적어도 하나와 근거리 네트워크를 통해 연결될 수 있다. 예를 들어, 사용자 장치들(200)의 사이의 연결을 수립하기 위한 네트워크(예: 근거리 네트워크)는 적절하게 선택될 수 있다. 예를 들어, Bluetooth와 함께 또는 Bluetooth 대신에 BLE(Bluetooth Low Energy), Wi-Fi direct, NFC(near field communication), UWB(ultra-wide band) 통신, 또는 적외선(Infra-red) 통신이 사용자 장치들(200)의 사이의 연결을 수립하기 위해 사용될 수 있다. 또한, 일 실시 예에서, 사용자 장치들(200)은 근거리 무선 통신으로, 메시 네트워크(mesh network)(예: zigbee, 또는 Z-Wave)를 이용하여 연결을 수립할 수 있다.
일 실시 예에서, 제1 장치(201) 외에 제2 장치(202), 제3 장치(203), 제4 장치(204), 제5 장치(205), 및 제6 장치(206) 중 적어도 하나는 제2 네트워크(199)를 통해 서버(300)와 직접 연결될 수 있다. 예를 들면, 어떤 사용자 장치는 제1 장치(201)에 의존하지 않고 독자적으로(stand-alone) 제2 네트워크(199)와 연결을 수립할 수 있다.
일 실시 예에서, 사용자 장치들(200)은, 디바이스 정보(예: 장치 구성 요소)에 따라, 서로 연결하는 방법이 다양할 수 있다. 예를 들면, 사용자 장치들(200) 중 적어도 하나가, IP 기반(IP 주소) 장치인 경우, SSID(service set identifier)를 이용하여 제2 네트워크(199)와 연결을 수립할 수 있고, IP 기반 장치가 아닌 경우(예: BLE, zigbee, 또는 Z-Wave), 사용자 장치(예: 제1 장치(201)) 또는 허브 장치(미도시)를 이용하여, 제2 네트워크(199)와 연결을 수립할 수 있다.
일 실시 예에서, 사용자 장치들(200) 중 적어도 하나는 분실 시 찾기(finding) 기능을 제공하기 위한 애드버타이징 패킷(advertising packet)을 브로드캐스팅(broadcasting) 할 수 있다. 예를 들어, 제2 장치(202)는 자신이 분실되었다고 판단되면 제2 장치(202)의 식별 정보를 포함하는 다양한 정보를 담은 패킷을 브로드캐스팅 할 수 있다. 상기 패킷은 제2 장치(202)외에 소정의 통신 가능 거리 내에 위치하는 전자 장치들이 수신할 수 있도록 브로드캐스팅 될 수 있다. 본 문서의 다양한 실시 예들에서 패킷, 또는 애드버타이징 패킷은 장치가 분실되었음을 인식할 수 있는 신호, 메시지, 또는 비콘으로 이해될 수 있다.
일 실시 예에서, 사용자 장치들(200) 중 적어도 하나는 다양한 기준에 따라 자신의 분실 여부를 판단할 수 있다. 예를 들어, 제2 장치(202)는 모단말, 또는 메인 단말인 제1 장치(201)와 마지막으로 연결된 시점으로부터 제1 시간(예: 48시간)이 경과한 경우, 및/또는 제1 장치(201)와 마지막으로 연결된 시점으로부터 제1 시간보다 짧은 제2 시간(예: 24시간)이 경과하였으나 배터리 잔량이 기준치(예: 30%) 이하로 내려가는 경우 자신을 분실 상태로 판단할 수 있다. 제1 시간, 제2 시간 및/또는 배터리 잔량은 사용자 설정이나 제조사의 기준에 의해 다양한 분실 판단 기준이 적용될 수 있다.
다양한 실시 예에서, 도 1을 참조하여 전자 장치(101)에 대한 설명은 사용자 장치들(200)에 적절하게 적용될 수 있다. 예를 들어, 사용자의 제1 장치(201)가 스마트폰인 경우, 제1 장치(201)와 전자 장치(101)는 동일한 장치일 수 있다. 또한, 예를 들어 사용자의 제3 장치(203)가 디스플레이를 구비하지 않는 이어버즈인 경우, 전자 장치(101)에 대한 설명 중 디스플레이 모듈(160)에 대한 부분을 제외한 다른 설명이 제3 장치(203)에 적절하게 적용될 수 있다.
일 실시 예에서, 서버(300)는 도 1의 서버(108)에 대응될 수 있다. 서버(300)는 사용자 장치들(200) 중 어느 하나를 사용자가 분실한 경우, 분실된 장치의 위치를 확인하는 기능을 제공할 수 있다. 본 문서에 개시되는 다양한 실시 예에서는 설명의 편의상, 사용자 장치들(200) 중 제2 장치(202)가 분실된 경우, 제1 장치(201)에서 잃어버린 제2 장치(202)의 위치를 확인하는 예시를 중심으로 설명한다.
일 실시 예에서, 전자 장치(400)는 제2 장치(202)의 소유자와는 다른 사용자의 장치일 수 있다. 전자 장치(400)는 분실된 제2 장치(202)의 근처에 있어서, 제2 장치(202)로부터 브로드캐스팅되는 애드버타이징 패킷을 직접 또는 간접적으로 획득할 수 있다. 전자 장치(400)는 분실된 제2 장치(202)가 근거리 통신 기법(예: BLE)을 이용하여 브로드캐스팅하는 신호를 수신하기 위한 근거리 통신 회로를 포함할 수 있다. 또한, 전자 장치(400)는 스스로의 위치를 측정하기 위한 위치 측정 회로(예: GPS 회로)를 포함할 수 있다. 또한 전자 장치(400)는 제2 장치(202)에 대한 정보와 자신의 위치를 서버(300)로 전송하기 위한 원거리 통신 회로(예: 셀룰러 네트워크 및/또는 Wi-Fi 네트워크를 지원하는 통신 회로)를 포함할 수 있다.
일 실시 예에서, 전자 장치(400) 역시 제1 장치(201)와 동종의 장치(예: 스마트폰)일 수 있다. 따라서 도 1을 참조하여 설명된 전자 장치(101)에 대한 설명의 일부 또는 전부가 전자 장치(400)에도 적용될 수 있다. 또한, 본 문서에서 제1 장치(201)의 구성이나 기능에 대해 설명되는 내용은 전자 장치(400)에도 적용될 수 있다. 그러나 이에 제한되지 않으며, 전자 장치(400)는 상술한 통신 기능을 지원하는 임의의 전자 장치가 될 수 있다.
도 3은 일 실시 예에 따른 전자 장치의 다양한 기능과 관련된 모듈들을 나타낸다.
도 3에서 설명되는 다양한 기능들은, 분실 장치를 찾는 관점에서는 제1 장치(201)에서 지원되는 기능으로 이해될 수 있다. 또한, 분실 장치로부터 획득한 애드버타이징 패킷을 처리하는 관점에서는 전자 장치(400)에서 지원되는 기능으로 이해될 수 있다. 전술한 것과 같이, 제1 장치(201)와 전자 장치(400)는 잃어버린 장치를 찾는 사용자의 장치인지, 잃어버린 장치를 찾기 위해 도움을 제공하는 사용자의 장치인지에 따른 구분이 있을 뿐이며, 도 3에서 설명하는 기능은 제1 장치(201)와 전자 장치(400)에 모두 구비될 수 있다. 이하에서는 제1 장치(201)를 기준으로 설명한다.
도 3을 참조하여 설명되는 기능이나 동작은 제1 장치(201)의 프로세서에 의해 수행되는 기능으로 이해될 수 있다. 프로세서는 도 3에 도시된 소프트웨어 모듈을 구현하기 위해 메모리에 저장된 명령어들(예: 인스트럭션(instruction))을 실행시킬 수 있고, 기능과 연관된 하드웨어(예: 도 1의 통신 모듈(180))를 제어할 수 있다.
일 실시 예에서, 제1 장치(201)는 적어도 하나의 장치 카드를 관리할 수 있다. 예를 들어, 제1 장치(201)에는 제1 장치(201)에 대한 제1 장치 카드(211)가 등록될 수 있다. 또한 제1 장치(201)에는 제1 장치(201)와 연동된 이력이 있는 제2 장치(202)에 대한 제2 장치 카드(212)가 등록될 수 있다. 장치 카드(예: 제1 장치 카드(211), 제2 장치 카드(212))에는 장치의 이름 및/또는 식별 정보, 장치의 상태, 장치의 배터리 정보, 장치의 위치 이력 및/또는 장치의 현재 위치, 또는 장치와 관련된 메시지와 같은 정보가 포함될 수 있다. 일 실시 예에서, 제1 장치 카드(211) 및/또는 제2 장치 카드(212)에 포함된 정보는, 사용자를 통해 설정 및/또는 변경될 수 있다. 예를 들면, 제1 장치(201) 및/또는 제2 장치(202)의 사용자는 제1 장치(201) 및/또는 제2 장치(202)와 관련된 이름, 장치 종류(예: 타입), 또는 정책 정보를 설정할 수 있다.
일 실시 예에서, 제1 장치(201)와 제2 장치(202)는 동일한 사용자 계정을 공유할 수 있고, 또한 제1 장치 카드(211)와 제2 장치 카드(212)는 동일한 사용자 계정에 대해 등록된 것일 수 있다. 예를 들어, 제1 장치(201)의 사용자에 의해 제1 장치(201)와 연동된 사용자의 장치들의 위치를 확인하고자 하는 입력이 수신되는 경우, 제1 장치(201)는 메모리에 저장된 제1 장치 카드(211)와 제2 장치 카드(212)에 대한 정보를 보여주는 사용자 인터페이스(user interface, UI)를 디스플레이(예: 도 1의 디스플레이 모듈(160))에 제공할 수 있다. 예시적인 UI가 도 7을 참조하여 후술된다.
일 실시 예에서, 제1 장치(201)와 제2 장치(202)는 서로 다른 사용자 계정을 가진 장치일 수 있다. 제1 장치(201)와 제2 장치(202)가 서로 다른 사용자 계정을 가지면서, 서로 신뢰할 수 있는 장치임이 확인되는 경우, 제1 장치 카드(211)와 제2 장치 카드(212)는 동일한 사용자 계정에 대해 등록될 수 있다. 예를 들어, 제1 장치(201)의 제1 사용자와 제2 장치(202)의 제2 사용자가 서로 가족 관계인 것으로 확인되는 경우, 제1 장치(201)의 제1 사용자의 제1 사용자 계정을 통해서 제2 장치(202)에 대한 정보를 확인할 수 있다. 이하에서는 편의를 위해 동일 사용자 기준으로 설명하지만, 제1 장치(201)와 제2 장치(202)의 사용자가 서로 다른 경우에도 다양한 실시 예들이 적용될 수 있다.
일 실시 예에서, 트래커 플러그 인(tracker plugin)(220)은 사용자 장치를 등록하기 위한 모듈로 이해될 수 있다. 예를 들어, 제1 장치(201)는 트래커 플러그인(220)을 구동할 수 있다. 트래커 플러그인(220)은 손쉬운 사용자 설정(easy setup pop)을 제공하거나, QR 코드를 이용한 등록(QR triggering), 또는 수동 등록(manual onboarding) 기능을 제공할 수 있다. 예를 들어, 사용자는 제1 장치(201)에 탑재된 카메라(예: 도 1의 카메라 모듈(180)를 이용하여 제2 장치(202)의 일면이나 제품 케이스에 부착된 QR 코드를 촬영함으로써 제2 장치(202)를 사용자 계정과 연동하여 서버(300)에 등록할 수 있다.
일 실시 예에서, 파인딩 플랫폼(finding platform)(230)은 분실 장치(lost device)를 찾기 위한 기능을 수행할 수 있다. 파인딩 플랫폼(230)은 분실 장치와의 거리에 따라 효과적으로 분실 장치를 찾을 수 있도록 하드웨어를 제어할 수 있다. 예를 들어, 파인딩 플랫폼(230)은 BT 파인더(finder)(231), UWB 파인더(232), 및/또는 AR 파인더(233)와 함께 동작할 수 있다. BT 파인더(231)는 Bluetooth 통신 회로를, UWB 파인더(232)는 UWB 통신 회로를, AR 파인더(233)는 디스플레이를 제어할 수 있다.
일 실시 예에서, BT 파인더(231)는 제1 장치(201)와 제2 장치(202) 사이가 제1 거리(예: 약 100m) 이내인 경우에 동작할 수 있다. 파인딩 플랫폼(230)은 BT 파인더(231)를 제어하여, 제1 장치(201)와 제2 장치(202) 사이가 제1 거리 이내에 해당하면 Bluetooth 통신 및/또는 BLE 통신을 지원하는 근거리 통신 회로를 이용하여 제2 장치(202)로부터 패킷을 수신하거나, 제2 장치(202)와 근거리 통신 연결을 수립하도록 할 수 있다.
일 실시 예에서, UWB 파인더(232)는 제1 장치(201)와 제2 장치(202)가 상기 제1 거리보다 작은 제2 거리(예: 약 50m) 이내인 경우에 동작할 수 있다. 파인딩 플랫폼(230)은 UWB 파인더(232)를 제어하여, 측위에 사용되는 UWB 채널의 신호를 수신하도록 복수의 UWB 안테나와 연결된 UWB 통신 회로를 활성화시킬 수 있다. 파인딩 플랫폼(230)은 UWB 통신 회로를 이용하여 제2 장치(202)로부터 수신되는 UWB 신호를 수신하고, 복수의 UWB 안테나 각각이 수신하는 신호의 도달 시간 및/또는 도달 각도에 기반하여 제2 장치(202)의 위치를 추정할 수 있다.
일 실시 예에서, AR 파인더(233)는 제2 장치(202)가 근거리에 있는 경우 디스플레이에 증강 현실을 구현함으로써 사용자가 제2 장치(202)를 찾는 것을 시각적으로 도와줄 수 있다. 여기서 근거리라 함은 상기 제2 거리와 실질적으로 동일하거나, 제2 거리보다 더 짧은 제3 거리 이내일 수 있다. 파인딩 플랫폼(230)은 카메라를 통해 획득된 이미지 데이터를 디스플레이에 출력하고, 디스플레이에 출력된 화면에 UWB 파인더(232)를 통해 식별되는 제2 장치(202)의 위치를 표시하도록 AR 파인더(233)를 제어할 수 있다. 또한 AR 파인더(233)는 제1 장치(201)가 제2 장치(202)로부터의 UWB 신호를 효과적으로 수신하지 못하는 경우(예: 수신 감도가 임계 값 이하인 경우) 제1 장치(201)가 UWB 신호의 수신에 적합한 자세(각도)를 가지도록 디스플레이를 통해 가이드할 수 있다.
일 실시 예에서, AR 파인더(233)가 동작하는 경우, AR 코어 서비스(240)가 함께 활성화될 수 있다. AR 코어 서비스(240)는 증강 현실 환경을 강화하기 위해 메모리에 저장된 인물/객체 인식 데이터베이스 및/또는 AR 서비스 제공 서버에 접근하도록 제1 장치(201)를 제어할 수 있다.
일 실시 예에서, 파인딩 플랫폼(230)에 포함된 BT 파인더(231), UWB 파인더(232), 및/또는 AR 파인더(233)는 제2 장치(202)와의 거리에 기반하여 동시에 동작하거나 또는 선택적으로 동작할 수 있다. 예를 들어, 제1 장치(201)와 제2 장치(202)와의 거리가 제2 거리(예: 약 50m 이내)인 경우, BT 파인더(231) 및 UWB 파인더(232)가 동시에 동작하거나 또는 UWB 파인더(232)가 선택적으로 동작할 수 있다.
일 실시 예에서, 국가 코드 매칭 모듈(242)은 제1 장치(201)가 임의의 분실 장치(예: 제2 장치(202))로부터 애드버타이징 패킷을 수신한 경우, 분실 장치에 대한 정보를 제공하기 위한 국가 또는 그 국가 소속의 서버를 결정할 수 있다. 예를 들면, 국가 코드 매칭 모듈(242)은 제1 장치(201)가 전자 장치(400)의 역할(예를 들어, 잃어버린 장치를 찾기 위해 도움을 제공하는 사용자의 장치 역할)을 수행할 때 동작할 수 있다. 일 실시 예에서, 제1 장치(201)(또는 전자 장치(400))는, 국가 또는 그 국가 소속의 서버를 결정함에 있어서, 서버(예: 도 4의 서버(300))에 포함된 국가 코드 ? 서버 매칭 DB(database)(330)의 데이터를 이용할 수 있다. 예를 들면, 제1 장치(201)(또는 전자 장치(400))는 서버(300)로부터 획득된 국가 코드 ? 서버 매칭 DB(330)의 데이터를 저장할 수 있고, 상기 데이터를 제1 장치(201)(또는 전자 장치(400))에 연결된 제2 장치(202)에도 전달할 수 있다. 다른 실시 예에 따르면, 제1 장치(201)(또는 전자 장치(400))는, 장치의 공정 과정 또는 소프트웨어 업그레이드를 통해, 국가 또는 그 국가 소속과 관련된 데이터(예: 국가 코드 ? 서버 매칭 DB)를 저장할 수 있다. 예를 들면, 제1 장치(201)(또는 전자 장치(400))는 소프트웨어 업그레이드로, OTA(over the air) 소프트웨어 업데이트를 수행할 수 있다. 예를 들면, OTA 소프트웨어 업데이트는 OMA(open mobile alliance) 다운로드, FOTA(firmware OTA), 또는 플레인 FTP(plain FTP)를 포함할 수 있다.
일 실시 예에서, 중복 보고 관리 모듈(244)은 제1 장치(201)가 임의의 분실 장치로부터 애드버타이징 패킷을 수신한 경우, 수신한 애드버타이징 패킷을 다시 브로드캐스팅 하거나, 서버로 보고하는 동작을 관리할 수 있다. 예를 들어, 중복 보고 관리 모듈(244)은 임의의 분실 장치로부터 수신된 애드버타이징 패킷이 소정 조건을 만족하는 경우에 서버로 보고/재-브로드캐스팅 동작을 수행하고, 소정 조건을 만족하지 않는 경우에는 서버로 보고하는 동작이나 재-브로드캐스팅 하는 동작을 수행하지 않을 수 있다. 예를 들면, 중복 보고 관리 모듈(244)은 제1 장치(201)가 전자 장치(400)의 역할을 수행할 때 동작할 수 있다.
일 실시 예에서, 위치 관리 모듈(246)은 서버(300)로부터 획득하는 제2 장치(202)의 현재 위치 및/또는 위치의 변경 이력을 관리할 수 있다. 또한, 위치 관리 모듈(246)은 제1 장치(201)에 포함된 GPS와 같은 위치 측정 회로를 제어하여 제1 장치(201)의 위치를 확인 및/또는 관리할 수 있다.
일 실시 예에서, 트래커 정보 모듈(248)은 제2 장치(202)의 타입 및/또는 제2 장치(202)의 식별 정보를 관리할 수 있다. 트래커 정보 모듈(248)은 제1 장치(201)가 전자 장치(400)의 역할을 수행할 때 동작할 수 있다. 예를 들어, 트래커 정보 모듈(248)은 제2 장치(202)의 장치 타입(예: 스마트 워치, 이어폰, 헤드폰, 또는 태블릿), 통신 타입(예: BLE 지원 여부, Bluetooth 지원 여부, 셀룰러 네트워크 지원 여부, 또는 UWB 통신 지원 여부), 및/또는 식별 정보(예: 장치 고유 ID, 네트워크 식별 ID, 또는 사용자 정의 ID)를 저장 및/또는 관리할 수 있다.
일 실시 예에서, E2E 암호화 모듈(250)은 종단간 암호화를 수행할 수 있다. E2E 암호화 모듈(250)은 제1 장치(201)가 전자 장치(400)의 역할을 수행할 때 동작할 수 있다. 예를 들어, E2E 암호화 모듈(250)은 전자 장치(400)가 임의의 분실 장치(예: 제2 장치(202))로부터 애드버타이징 패킷을 수신한 것에 응답하여 서버(300)로 분실 장치의 식별 정보와 전자 장치(400)의 위치 정보를 포함하는 메시지를 전송하는 경우, 상기 메시지에 암호화 알고리즘을 적용할 수 있다. E2E 암호화 모듈(250)이 분실 장치와 관련된 암호화 키를 이용하여 메시지를 암호화하면, 분실 장치의 암호화 키에 대응하는 복호화 키를 가진 장치에서 분실 장치의 위치 정보를 획득할 수 있다. 예를 들어, 전자 장치(400)가 제2 장치(202)의 식별 정보 및 전자 장치(400)의 위치 정보를 포함하는 메시지를 제2 장치(202)의 공개 키로 암호화하여 서버(300)로 전송하면, 제1 장치(201)는 서버(300)로부터 분실된 제2 장치(202)에 대한 암호화된 정보를 획득한 후, 제2 장치(202)의 개인 키로 복호화하여 제2 장치(202)의 위치(=전자 장치(400)의 위치)를 확인할 수 있다. 예를 들면, 제1 장치(201)는 제2 장치(202)를 사용자 계정에 등록하는 과정이나 서버(300)에 등록하는 과정, 또는 제2 장치(202)와 페어링을 수행하는 과정에서 제2 장치(202)의 개인 키를 확보할 수 있다.
일 실시 예에서, 랜덤 장치 ID 모듈(252)은 장치의 식별 ID를 소정의 알고리즘을 이용하여 랜덤 ID로 변경할 수 있다. 랜덤 장치 ID 모듈(252)은 제1 장치(201)가 전자 장치(400)의 역할을 수행할 때 동작할 수 있다. 예를 들어, 전자 장치(400)가 제2 장치(202)로부터 애드버타이징 패킷을 수신한 경우, 전자 장치(400)는 제2 장치(202)의 식별 ID를 랜덤 ID로 변경하여 서버(300)로 메시지를 전송할 수 있다. 제1 장치(201)는 소정의 알고리즘을 이용하여 랜덤 ID로부터 제2 장치(202)의 ID를 확인할 수 있다.
도 4는 일 실시 예에 따른 서버의 다양한 기능과 관련된 모듈들을 나타낸다.
도 4를 참조하면, 서버(300)는 계정 관리자(310), 사용자 정보 관리자(320), 국가 코드 - 서버 매칭 DB(database)(330), 공개 키 관리자(340), 및 FME(find my everything) 시스템(350)을 포함할 수 있다. 도 4에 도시된 서버(300)의 구성요소들은 다양한 실시 예를 구현하기 위해 기능적인 관점에서 분류된 것이며, 서버(300)는 다수의 하드웨어(예: 서버 용 다수의 프로세서 및 저장장치)를 통해 구현될 수 있다. 또한 서버(300)는 복수 개의 서버들로 이해될 수 있다. 예를 들어, 서버(300)는 제1 국가에서 분실 장치 찾기 서비스를 제공하기 위한 제1 서버와 제2 국가에서 분실 장치 서비스를 제공하기 위한 제2 서버를 포함할 수 있다.
일 실시 예에서, 서버(300)는 계정 관리자(310)를 포함할 수 있다. 계정 관리자(310)는 서버(300)에 등록된 사용자 계정 및/또는 상기 사용자 계정과 연결된 적어도 하나의 장치를 관리할 수 있다. 예를 들어, 제1 사용자 계정으로 제1 장치(201), 제2 장치(202), 및 제3 장치(203)가 등록된 경우, 계정 관리자(310)는 제1 장치(201)로부터 제2 장치(202)와 관련된 요청을 접수하더라도, 제1 장치(201)와 제2 장치(202)가 동일한 제1 사용자 계정에 연결되어 있으므로 제2 장치(202)에 대한 정보에 제1 장치(201)가 접근하도록 허용할 수 있다.
일 실시 예에서, 서버(300)는 사용자 정보 관리자(320)를 포함할 수 있다. 사용자 정보 관리자(320)는 사용자 계정과 연관된 사용자 정보의 등록, 추가, 삭제, 및/또는 수정을 관리할 수 있다.
일 실시 예에서, 국가 코드 - 서버 매칭 DB(330)는 국가 코드와 분실 장치 찾기 서비스를 제공하는 서버를 매칭하는 데이터베이스를 유지 관리 및 업데이트 할 수 있다. 예를 들어, 서버(300)는 국가 코드 - 서버 매칭 DB(330)를 최신 데이터로 관리하고, 변경 사항이 발생한 경우 서버(300)에 사용자 계정이 등록된 장치들 중 적어도 하나로 국가 코드와 연결된 서버에 대한 정보를 제공할 수 있다. 예를 들어, 서버(300)는 상기 데이터베이스를 서버(300)에 등록된 제1 장치(201)나 전자 장치(400)로 제공할 수 있다. 일 실시 예에서, 전자 장치(400)는 분실 장치로부터 획득되는 애드버타이징 패킷에 포함된 국가 정보에 기초하여 위치 정보를 제공할 서버를 결정할 수 있다.
일 실시 예에서, 국가 코드는 국가를 나타내는 국제 전화 나라 번호에 기반할 수 있다. 예를 들어, 미국은 +1, 대한민국은 +82, 베트남은 +84, 영국은 +44 등의 국제 전화 나라 번호를 가지고, 이 경우 국가 코드 - 서버 매칭 DB(330)는 표 1과 같은 데이터를 포함할 수 있다.
국가 국가 코드 서버 주소
대한민국 82 168.121.63.2
미국 1 164.124.101.2
베트남 84 180.182.54.1
영국 44 149.112.132.1
일본 81 120.123.222.1
필리핀 63 180.124.191.2
… … …
다양한 실시 예에서, 국가 코드는 국제 전화 나라 번호로 제한되지 않으며, 국가를 식별할 수 있는 임의의 정보일 수 있다. 예를 들어, 도메인 코드와 같이 알파벳을 이용한 국가 표기(예: 한국 - KR, 미국 - US, 또는 프랑스 - FR), 또는 MCC(mobile country code)(예: 독일 - 262, 한국 - 450, 또는 프랑스 - 208)와 같은 포맷도 국가 코드로 활용될 수 있다. 또한 전술한 국가 코드의 표기 방법은 예시적인 것이며, 국가 코드는 비트(bit) 단위로 표기될 수 있다.
일 실시 예에서, 공개 키 관리자(340)는 서버(300)에 등록된 장치들의 공개 키를 관리할 수 있다. 공개 키는 사용자 계정 단위로 관리될 수도 있고, 장치 단위로 관리될 수도 있다. 예를 들어, 공개 키는 1개의 사용자 계정 당 1개가 설정될 수 있다. 다른 예를 들어, 동일 사용자 계정으로 5개의 장치가 연결된 경우, 서로 다른 5개의 공개 키가 5개의 장치에 각각 할당될 수 있다.
일 실시 예에서, FME 시스템(350)은 분실 장치 찾기 서비스를 제공하기 위한 처리를 수행할 수 있다. 예를 들어, FME 시스템(350)은 전자 장치(400)로부터 분실된 제2 장치(202)에 대한 공개 키를 요청 받으면, 공개 키 관리자(340)로부터 제2 장치(202)에 대한 공개 키를 획득하고, 획득된 공개 키를 전자 장치(400)로 제공할 수 있다. 예를 들면, FME 시스템(350)은 계정 관리자(310)를 통해 제2 장치(202)가 등록되어 있는 사용자 계정을 확인할 수 있다. 또한 FME 시스템(350)은 사용자 정보 관리자(320)를 통해 사용자 계정 및/또는 제2 장치(202)에 대응하는 국가를 확인할 수 있다. 또한 FME 시스템(350)은 국가 코드 - 서버 매칭 DB(330)를 통해 전자 장치(400)로부터의 요청이 적절한 국가의 서버로 전달된 것인지 확인하고, 국가 지정이 잘못된 경우, 또는 제2 장치(202)에 대한 정보를 확인할 수 없는 경우, 국가 코드 - 서버 매칭 DB(330)에 저장된 데이터의 적어도 일부를 전자 장치(400)로 제공할 수 있다. 예를 들어, FME 시스템(350)은 국가 코드와 분실 장치 찾기 서비스를 제공하는 서버를 매칭하는 데이터베이스를 최신으로 유지 관리 및 업데이트된 데이터의 적어도 일부를 전자 장치(400)로 제공할 수 있다.
도 5는 일 실시 예에 따른, 제1 장치가 제2 장치를 서버에 등록하는 흐름도를 나타낸다.
도 5를 참조하면, 동작 501에서 제1 장치(201)와 제2 장치(202)는 근거리 통신 채널을 수립할 수 있다. 예를 들어, 근거리 통신 채널은 Bluetooth 또는 Wi-Fi direct와 같은 장치 대 장치(device to device) 연결일 수 있으나, 이에 제한되지는 않는다.
일 실시 예에 따르면, 동작 503에서 제2 장치(202)는 제2 장치(202)의 정보를 상기 근거리 통신 채널을 통해 제1 장치(201)로 제공할 수 있다. 제2 장치(202)의 정보는, 예를 들어 제2 장치(202)의 종류(예: 스마트 워치, 또는 태블릿), 고유 식별 정보(예: 장치 ID), 제2 장치(202)의 제조사, 제2 장치(202)의 하드웨어 정보(예: 프로세서 성능, 메모리 용량, 및/또는 배터리 용량), 제2 장치(202)의 소프트웨어 정보(예: 운영체제 종류 및 버전, 설치되어 있는 어플리케이션, 및/또는 장치 찾기 서비스 지원 여부), 및/또는 통신 성능에 대한 정보(예: Bluetooth 지원 여부, BLE 지원 여부, UWB 지원 여부, 셀룰러 지원 여부, Wi-Fi 지원 여부, NFC 지원 여부, 및/또는 MST 지원 여부)를 포함할 수 있다.
일 실시 예에 따르면, 동작 505에서 제1 장치(201)는 제2 장치(202)의 정보를 획득할 수 있다. 제1 장치(201)는 획득된 제2 장치(202)의 정보를 제1 장치(201)의 메모리(예: 도 1의 메모리(130))에 저장할 수 있다.
일 실시 예에 따르면, 동작 507에서 제1 장치(201)는 제2 장치(202)에 대한 정보를 서버(300)로 전송하고 제2 장치(202)의 등록을 요청할 수 있다. 예를 들어, 제1 장치(201)는 서버(300)로 지정된 형식의 메시지를 전송하고, 상기 지정된 형식의 메시지는 제1 장치(201)의 정보, 제1 장치(201)의 사용자 정보, 제2 장치(202)의 등록 요청, 및/또는 제2 장치(202)의 정보를 포함할 수 있다. 예를 들어, 제1 장치(201)가 서버(300)에 등록된 제1 사용자 계정에 등록된 경우, 제1 장치(201)는 상기 메시지를 서버(300)로 전송함으로써 상기 제1 사용자 계정에 제2 장치(202)도 등록할 것을 요청할 수 있다. 다른 예를 들어, 제1 장치(201)가 서버(300)에 등록된 제1 사용자 계정에 등록되고, 제2 장치(202)가 서버(300)에 등록된 제2 사용자 계정에 등록된 경우, 제1 장치(201)는 상기 메시지를 서버(300)로 전송함으로써 상기 제1 사용자 계정과 상기 제2 사용자 계정을 포함하는 제3 사용자 계정(예: 그룹 계정)에 등록할 것을 요청하거나, 제2 사용자 계정에 등록된 제2 장치(202)의 정보를 삭제하고, 제2 장치(202)를 제1 사용자 계정에 등록할 것을 요청할 수 있다.
일 실시 예에 따르면, 동작 509에서 서버(300)는 제1 장치(201)로부터 제2 장치(202)의 정보를 획득할 수 있다. 서버(300)와 제1 장치(201)는 소정의 네트워크(예: 셀룰러 네트워크 또는 Wi-Fi 네트워크)를 통해 연결될 수 있고, 서버(300)는 상기 소정의 네트워크를 통해 제1 장치(201)로부터 전송된 제2 장치(202)의 정보를 획득할 수 있다.
일 실시 예에 따르면, 동작 511에서 서버(300)는 제2 장치(202)를 제1 장치(201)에 대해 등록할 수 있다. 예를 들어, 서버(300)의 계정 관리자(310)는 제1 장치(201)로부터 획득된 정보를 이용하여 제1 장치(201)에 해당하는 제1 사용자 계정에 대해 제2 장치(202)도 등록할 수 있다.
일 실시 예에 따르면, 동작 513에서 서버(300)는 제1 장치(201)로 제2 장치(202)가 등록되었음을 나타내는 통지를 전송할 수 있다. 상기 통지에는 제2 장치(202)에 대한 국가 정보가 포함될 수 있다. 예를 들어, 서버(300)가 대한민국에서 서비스를 제공하는 경우, 제2 장치(202)에는 대한민국에 대응하는 국가 정보가 포함될 수 있다. 다른 예를 들어, 서버(300)에 등록된 제1 사용자 계정의 국가 정보가 대한민국인 경우, 제1 사용자 계정에 대해 등록되는 모든 사용자 장치들(200)의 국가 정보는 대한민국으로 설정될 수 있다.
일 실시 예에 따르면, 동작 515에서 제1 장치(201)는 서버(300)로부터 등록 통지를 수신할 수 있다. 등록 통지에는 국가 정보가 포함될 수 있다. 다만 일 실시 예에서, 제2 장치(202)의 제조 시점에 이미 제2 장치(202)의 국가 정보가 제2 장치(202)에 등록되어 있거나, 제1 장치(201)가 직접 제1 장치(201)의 국가 정보 또는 제1 장치(201)의 사용자 계정의 국가 정보를 제2 장치(202)의 국가 정보로 설정하는 경우에는, 서버(300)로부터 수신되는 등록 통지에 국가 정보가 생략될 수 있다.
일 실시 예에서, 동작 501 내지 동작 515는 제2 장치(202)의 등록 절차 또는 온보딩(onboarding) 절차로 참조될 수 있다. 또한, 일 실시 예에서, 등록 절차 또는 온보딩 절차는, 제2 장치(202)(예: tracker)의 식별 정보(ID)를 서버(300)에 저장하는 절차를 포함할 수 있다.
일 실시 예에 따르면, 동작 517에서 제1 장치(201)는 제2 장치(202)로 국가 정보를 전송할 수 있다. 상술한 것과 같이, 국가 정보는 서버(300)로부터 수신된 것일 수도 있고, 제1 장치(201)가 알고 있는(또는 저장된) 국가 정보(예: 제1 장치(201)에 대해 등록된 국가 정보 또는 제1 장치(201)의 사용자 계정에 해당하는 국가 정보)일 수 있다.
일 실시 예에 따르면, 동작 519에서 제2 장치(202)는 제1 장치(201)로부터 국가 정보를 획득할 수 있다. 또한 다른 실시 예에서, 제2 장치(202)의 저장 공간(예: 도 1의 메모리(130))에는 제2 장치(202)의 국가 정보가 이미 등록되어 있을 수 있다. 일 실시 예에서 제2 장치(202)가 이미 스스로의 국가 정보를 알고 있는 경우에는 동작 517 및 동작 519가 생략될 수 있다. 예를 들어, 제1 장치(201)는 동작 503 및 동작 505를 통해 제2 장치(202)의 국가 정보가 이미 등록된 상태임을 알 수 있다. 제2 장치(202)는 분실 상태에서 국가 정보를 포함하는 애드버타이징 패킷을 브로드캐스팅 할 수 있는데, 이와 관련해서는 후술한다.
도 6은 일 실시 예에 따른 파인딩 시스템(finding system)에서 분실 장치의 현재 위치를 추적하는 흐름도를 나타낸다. 참고로 도 6은, 도 2의 시스템에서 제1 장치(201)와 제2 장치(202)는 동일 사용자 계정을 공유하는 사용자 장치이고, 이 중 제2 장치(202)가 분실된 상황을 나타낸다. 전자 장치(400)는 제1 장치(201)의 사용자와는 무관한 임의의 장치이며, 제2 장치(202)로부터 브로드캐스팅되는 패킷을 수신할 수 있는 거리에 위치한 장치로 이해될 수 있다.
일 실시 예에 따르면, 동작 601에서 제2 장치(202)는 지정된 통신 프로토콜을 이용하여 애드버타이징 패킷을 브로드캐스팅(broadcasting)할 수 있다. 상기 지정된 통신 프로토콜은 배터리 소모를 최소화하기 위해 저전력 근거리 통신 프로토콜의 한 종류에 해당할 수 있다. 예를 들어, 지정된 통신 프로토콜은 BLE 일 수 있다.
일 실시 예에서, 제2 장치(202)는 분실 상태임을 감지하면 애드버타이징 패킷을 브로드캐스팅할 수 있다. 앞서 설명한 것과 같이 제2 장치(202)가 분실 상태임을 판단하는 조건은 다양하게 설정될 수 있다. 다만 다른 실시 예에서, 제2 장치(202)는 분실 상태임을 감지하는 것과 무관하게 애드버타이징 패킷을 브로드캐스팅할 수 있다. 예를 들어, 제2 장치(202)는 소정 주기(예: 1시간) 마다 일정 시간 동안(예: 15분) 애드버타이징 패킷을 반복적으로 브로드캐스팅 할 수 있다. 다른 예를 들어, 제2 장치(202)는 지정된 시간(예: 사용자 설정 시간) 마다 일정 시간 동안 애드버타이징 패킷을 반복적으로 브로드캐스팅 할 수 있다.
일 실시 예에 따르면, 동작 611에서 전자 장치(400)는 외부 장치에 의해 브로드캐스팅 된 애드버타이징 패킷을 수신할 수 있다. 설명의 편의를 위해 이하에서는 제2 장치(202)에 의해 브로드캐스팅 된 애드버타이징 패킷을 수신한 것으로 가정한다.
일 실시 예에서, 전자 장치(400)는 다양한 통신 회로를 포함할 수 있다. 예를 들어, 애드버타이징 패킷을 수신하기 위한 근거리 통신을 지원하는 제1 무선 통신 회로를 포함할 수 있다. 또한 서버(300)와 통신하기 위한 원거리 통신(예: 셀룰러 통신)을 지원하는 제2 무선 통신 회로를 포함할 수 있다. 또한 전자 장치(400) 자신의 위치를 측정하기 위한 위치 측정 회로(예: GPS)를 포함할 수 있다. 위치 측정 회로에는 GPS와 같은 위성 항법을 이용한 측위 시스템 외에, 기지국이나 Wi-Fi의 AP(access point)를 이용한 측위 시스템, 또는 NFC 비콘을 이용한 측위 시스템이 포함될 수 있다.
일 실시 예에서, 제2 장치(202)가 브로드캐스팅하는 애드버타이징 패킷은 지정된 근거리 통신 프로토콜을 이용하므로, 애드버타이징 패킷을 수신하였다는 것은 상기의 근거리 통신 프로토콜에서 허용하는 통신 거리 내에 제2 장치(202)와 전자 장치(400)가 존재한다는 것을 의미할 수 있다. 예를 들어, 전자 장치(400)가 BLE를 통해 애드버타이징 패킷을 수신한 경우, 전자 장치(400)는 제2 장치(202)로부터 약 100m 이내에 위치한 것으로 추정될 수 있다. 따라서, 거시적인 관점에서는 전자 장치(400)의 위치는 제2 장치(202)의 위치와 동일하게 취급될 수 있다.
일 실시 예에 따르면, 동작 613에서 전자 장치(400)는 위치 측정 회로를 이용하여 전자 장치(400)의 위치를 측정할 수 있다. 전자 장치(400)는 측정 결과에 기반하여 전자 장치(400)의 위치(예: 위도 및/또는 경도 좌표)를 확인할 수 있다.
일 실시 예에 따르면, 동작 615에서 전자 장치(400)는 측정된 위치 정보 및 제2 장치(202)의 식별 정보를 서버(300)로 전송할 수 있다. 예를 들어, 전자 장치(400)는 전술한 제2 무선 통신 회로를 이용하여 서버(300)로 제2 장치(202)의 식별 정보(예: 고유 ID, 및/또는 일련번호)와 위치 정보를 포함하는 메시지를 서버(300)로 전송할 수 있다. 전자 장치(400)는 상기 메시지에 포함된 위치 정보가 전자 장치(400)의 위치 정보임을 명시할 수도 있으나, 위치 정보의 주체를 명시하지 않고 단순히 위치 정보 자체만 포함시킬 수도 있다.
일 실시 예에 따르면, 동작 617에서 전자 장치(400)는 서버(300)로 메시지를 전송한 후에 애드버타이징 패킷을 브로드캐스팅 할 수 있다. 예를 들어, 전자 장치(400)가 제2 장치(202)로부터 획득한 애드버타이징 패킷을 제1 패킷으로, 전자 장치(400)가 다시 브로드캐스팅하는 애드버타이징 패킷을 제2 패킷이라 하면, 제2 패킷은 제1 패킷과 실질적으로 동일하거나 더 적은 내용(데이터)을 포함할 수 있다. 다만 전자 장치(400)는 제2 패킷의 일부 필드는 제1 패킷과 다른 값을 가지도록 할 수 있다. 예를 들어, 전자 장치(400)는 그 자신이 애드버타이징 패킷의 직접 전파자가 아닌 간접 전파자임을 표시하기 위해, 멀티 홉 카운트(multi-hop count) 필드 값을 다르게 설정할 수 있다. 예를 들어, 제1 패킷의 멀티 홉 카운트가 n이었으면, 제2 패킷의 멀티 홉 타운트는 n+1로 설정될 수 있다. 일 실시 예에서, 제2 장치(202)에 의해 직접 생성된 애드버타이징 패킷의 멀티 홉 카운트는 0으로 설정(즉, n=0)될 수 있다. 일 실시 예에 따르면, 제1 패킷에 기반하여 생성되는 제2 패킷은 제1 패킷과 일부 상이한 포맷으로 정의될 수 있다. 예를 들어, 제2 패킷의 포맷에서는 제1 패킷의 포맷에 포함된 복수의 필드들 중 적어도 일부의 필드가 생략될 수 있다.
다양한 실시 예에서, 전자 장치(400)는 서버(300)로 메시지를 전송하기 전에, 또는 전송하는 것과 실질적으로 동시에 애드버타이징 패킷을 브로드캐스팅 할 수 있다. 또한 단순히 동작 617은 수행되지 않을 수도 있다.
일 실시 예에 따르면, 동작 621에서, 서버(300)는 전자 장치(400)로부터 제2 장치(202)의 식별 정보 및 위치 정보를 포함하는 메시지를 획득할 수 있다. 서버(300)는 메시지의 획득 이전 및/또는 이후에 제1 장치(201)로부터 제2 장치(202)의 위치에 대한 추적 요청이 있는 경우(예: 동작 631), 동작 623에서 제1 장치(201)로 외부 장치(예: 제2 장치(202))의 위치 정보를 제1 장치(201)로 전송할 수 있다. 예를 들어, 동작 631에서 제1 장치(201)는 서버(300)로 제2 장치(202)에 대한 위치 추적(또는 위치 확인) 요청을 전송할 수 있고, 서버(300)는 제1 장치(201)로부터 수신된 요청에 응답하여 제1 장치(201)로 확인된 제2 장치(202)의 위치에 대한 정보를 전송할 수 있다. 예를 들어, 서버(300)는 제1 장치(201)로 가장 최근에 확인된 제2 장치(202)의 위치에 대한 정보를 전송할 수 있다.
일 실시 예에 따르면, 동작 635에서 제1 장치(201)는 서버(300)로부터 제2 장치(202)의 위치 정보를 획득할 수 있다. 동작 635에서 제1 장치(201)는 서버(300)로부터 획득된 정보에 기반하여 제2 장치(202)의 위치 확인을 수행할 수 있다. 동작 631, 동작 633, 및/또는 동작 635는 제1 장치(201)에 탑재된 위치 확인 서비스를 제공하는 어플리케이션을 통해 구현될 수 있다. 이와 관련하여 도 7을 참조하여 설명한다.
일 실시 예에 따르면, 동작 621에서, 서버(300)는 전자 장치(400)로부터 제2 장치(202)의 식별 정보 및 위치 정보를 획득한 경우, 제2 장치(202)를 서버(300)에 제1 계정으로 등록한 제1 장치(201) 또는 제1 계정을 갖는 다른 장치로부터 위치 추적 요청(예: 동작 631)이 수신되었는지 판단할 수 있다. 예를 들어, 제1 장치(201)로부터 위치 추적 요청(예: 동작 631)이 수신되지 않은 경우, 서버(300)는 동작 623을 수행하지 않을 수 있다. 일 실시 예에 따르면, 미도시 되었지만, 서버(300)는 제1 장치(201)로부터 위치 추적 요청(예: 동작 631)이 수신되었는지 여부에 기반하여 전자 장치(400)로 응답 메시지를 전송할 수 있다. 예를 들어, 제1 장치(201)로부터 위치 추적 요청(예: 동작 631)이 수신된 경우, 서버(300)는 전자 장치(400)로 제2 장치(202)의 식별 정보 및 위치 정보를 제1 장치(201)로 전송했음을 알리는 응답 메시지를 전송할 수 있다. 다른 예를 들어, 제1 장치(201)로부터 위치 추적 요청(예: 동작 631)이 수신되지 않은 경우, 서버(300)는 전자 장치(400)로 제2 장치(202)의 식별 정보 및 위치 정보를 지정된 시간 동안 전송하지 말 것을 요청할 수 있다. 일 실시 예에 따르면, 전자 장치(400)는 서버(300)로부터의 응답에 기반하여 애드버타이징 패킷을 브로드캐스팅하는 동작(예: 동작 617)을 수행할 수 있다.
도 7은 일 실시 예에 따른 제1 장치에서 사용자 장치들의 위치를 확인하기 위한 사용자 인터페이스를 나타낸다.
도 7을 참조하면, 제1 화면(701)은 제1 장치(201)의 위치 확인 서비스를 제공하는 어플리케이션의 실행 화면일 수 있다. 제1 장치(201)는 제1 장치(201)에 등록된 사용자 장치들에 대한 정보를 목록 형태로 디스플레이 할 수 있다. 일 실시 예에 따르면, 제1 화면(701)은 제1 장치 카드(211)에 대응하는 항목(미도시)과 제2 장치 카드(212)에 대응하는 항목을 포함하는 목록을 제공할(present) 수 있다. 예를 들어 제1 화면(701)의 목록은 제1 장치(201)의 사용자 계정에 등록된 제1 장치(201)를 나타내는 스마트폰(예: Galaxy A)에 대응하는 제1 항목(710)과 상기 사용자 계정에 등록된 임의의 태블릿(예: Galaxy Tab S6 LTE)에 대응하는 제2 항목(720)을 포함할 수 있다. 이하의 설명에서, 제1 항목(710) 및/또는 제2 항목(720)에 대한 설명은, 제1 화면(701)에서 특정되지 않은 다른 항목들(예: “Jamie(Galaxy S10)”, “Jamie(_tale device name_), 및/또는 “Galaxy Watch Active2”)에 대해서도 적용될 수 있다.
일 실시 예에서, 목록에 포함된 각 항목은 다양한 정보를 포함할 수 있다. 예를 들어, 제1 항목(710)은 상기 스마트폰을 지시하는 아이콘(711), 상기 스마트폰의 별칭(nickname)(예: Anne) 및 모델 명(Galaxy A)(712), 마지막으로 확인된 위치(713)(예: 124 W Main St, Belleville, IL), 마지막으로 위치가 확인된 시간(714)(예: Last updated: 1 minute ago), 제1 장치(201)의 현재 위치에서 상기 스마트폰까지의 거리(715), 제1 장치(201)의 현재 위치와 상기 마지막으로 확인된 위치(713)에 기반하여 지도 어플리케이션 또는 지도 기능을 실행시키기 위한 내비게이션 메뉴(716) 중 적어도 하나를 포함할 수 있다. 상술한 내용들 중 일부 항목은 생략될 수 있다. 예를 들어, 장치의 위치가 확인되지 않는 경우 마지막으로 확인된 위치(713)나 마지막으로 위치가 확인된 시간(714) 또는 내비게이션 메뉴(716) 중 적어도 일부는 표시되지 않을 수 있다.
일 실시 예에서, 제1 장치(201)는 상기 어플리케이션이 실행되면 자동으로 동작 631을 수행할 수 있다. 다른 실시 예에서, 제1 장치(201)는 상기 어플리케이션이 실행된 이후 사용자 입력에 의해 동작 631을 수행할 수도 있다. 또 다른 실시 예에서, 제1 장치(201)는 소정 주기(예: 12시간)마다 동작 631을 수행하고, 제1 장치(201)에 등록된 사용자 장치들(200)의 위치를 업데이트 할 수 있다.
일 실시 예에서, 목록에 포함된 여러 항목들 중 제2 항목(720)을 선택하는 사용자 입력(700)이 발생하면, 제1 장치(201)는 제2 화면(702)을 제1 장치(201)의 디스플레이에 제공할 수 있다. 제2 화면(702)은, 예를 들어 제2 장치 카드(212)에 기초하여 생성되는 UI일 수 있다.
일 실시 예에서, 제2 화면(702)은 지도 영역(730)과 제2 장치 카드 영역(750)을 포함할 수 있다. 예를 들어, 지도 영역(730)은 제2 화면(702) 중 상단 부분(영역)에 표시되고, 제2 장치 카드 영역(750)은 하단 부분(영역)에 표시될 수 있다. 다만 이는 예시적인 것이고, 제2 장치 카드 영역(750)은 도시된 예와 다른 위치에 배치될 수 있다. 예를 들어, 제2 장치 카드 영역(750)은 제2 화면(702)의 대부분을 차지하는 지도 위에 떠다니는 형태로(floating) 제공될 수 있다. 또한, 제2 장치 카드 영역(750)의 위치나 크기는 사용자 입력에 의해 이동/확대/축소될 수 있다.
일 실시 예에서, 지도 영역(730)에는 서버(300)를 통해 확인된 사용자 장치들의 위치가 표시될 수 있다. 사용자 장치들의 위치는 아이콘 형태로 표시될 수 있다. 예를 들어, 제1 항목(710)에 대응하는 스마트폰의 위치는 제1 아이콘(732)과 같이 지도 상에 표시될 수 있다. 또한, 사용자 입력(700)에 의해 선택된 제2 항목(720)에 대응하는 태블릿의 위치는 제2 아이콘(731)과 같이 지도 상에 표시될 수 있다. 일 실시 예에서, 사용자 입력(700)에 의해 선택된 제2 항목(720)에 대응하는 태블릿의 위치가 지도 영역(730)의 중심에 위치할 수 있다. 또한, 지도 영역(730)에는 제1 장치(201)의 현재 위치(740)가 표시될 수 있다. 일 실시 예에서, 제1 장치(201)의 현재 위치(740)가 지도 영역(730)의 중심에 위치할 수 있다.
일 실시 예에서, 제2 장치 카드 영역(750)에는 장치 액션 메뉴(751), 내비게이션 메뉴(752), 알림(ring) 메뉴(753), 및/또는 상세보기(view details) 메뉴(754)가 포함될 수 있다.
일 실시 예에서, 장치 액션 메뉴(751)가 선택되면, 제1 장치(201)는 제2 장치(202)(예: 제2 항목(720)에 대응하는 태블릿)가 제1 장치(201)의 주변에 있는지 확인할 수 있다. 예를 들어, 장치 액션 메뉴(751)가 선택되면 제1 장치(201)는 제1 장치(201)의 위치 및 서버(300)로부터 수신되는 사용자 장치들(200)의 위치 정보에 기반하여 지도 영역(730)을 제공 및/또는 업데이트 할 수 있다. 또한, 예를 들어, 제1 장치(201)는 장치 액션 메뉴(751)가 선택되는 것에 응답하여 근처에 제2 장치(202)가 존재하는지 지정된 통신 프로토콜(예: BLE)을 이용하여 탐색할 수 있다. 만약 지정된 통신 프로토콜을 이용하여 제2 장치(202)와 연결이 되면, 제1 장치(201)는 AR 파인더(233)를 구동하고 제2 장치(202)의 위치를 증강 현실 인터페이스를 통해 제공하거나, 제공 여부를 결정할 수 있다.
일 실시 예에서, 내비게이션 메뉴(752)가 선택되면, 제1 장치(201)는 확인된 제2 장치(202)의 위치까지의 경로를 지도 영역(730)에 표시할 수 있다. 일 실시 예에서, 알림 메뉴(753)가 선택되면 또한, 제1 장치(201)는 제2 장치(202)로 통화를 시도하거나 제2 장치(202)가 지정된 소리를 내도록 시도할 수 있다. 예를 들어 제2 장치(202)가 통화 기능을 지원하는 경우, 알림 메뉴(753)의 선택에 응답하여 제1 장치(201)는 제2 장치(202)로 통화를 시도할 수 있다. 다른 예를 들어, 제2 장치(202)가 제1 장치(201)와 소정의 근거리 통신 네트워크를 통해 연결된 경우, 알림 메뉴(753)의 선택에 응답하여 제1 장치(201)는 상기 근거리 통신 네트워크를 통해 제2 장치(202)로 지정된 신호를 전송할 수 있다. 지정된 신호를 수신한 제2 장치(202)는 지정된 신호에 대응하여 미리 정의된 알림 신호(예: 알람, 진동 및/또는 발광)를 발생시켜서 자신의 위치를 알릴 수 있다.
일 실시 예에서, 상세보기 메뉴(754)가 선택되면, 제1 장치(201)는 제2 장치(202)에 대한 보다 자세한 정보를 제공할 수 있다. 예를 들어, 제1 장치(201)는 다양한 조건에 따라 제2 장치(202)의 상태를 표시할 수 있다. 예를 들어, 제2 장치(202)가 제1 장치(201) 또는 사용자 장치들(200) 중 다른 장치(예: 제5 장치(205)나 제6 장치(206))에 연결되어 있는 경우에는, 제1 장치(201)는 "Nearby Finding"과 같은 제1 상태 메시지를 표시할 수 있다. 상기 메시지는 팝업 형태로 디스플레이 되거나 제2 장치(202)의 제2 장치 카드 영역(750)에 표시될 수 있다. 또한 제2 장치(202)가 제1 장치(201) 또는 사용자 장치들(200) 중 다른 장치에 연결되어 있지는 않지만 "offline finding" 상태가 아닌 경우, 제1 장치(201)는 "Not in Range Finding"과 같은 제2 상태 메시지를 표시할 수 있다. 여기서 "offline finding 상태"라는 것은 제2 장치(202)가 분실된 것으로 판단된 상태, 제2 장치(202)가 사용자 장치들(200) 중 어느 하나와 마지막으로 연결된 시점 이후 임계 시간이 경과된 상태를 의미할 수 있다.
일 실시 예에서, 제2 장치(202)가 제1 장치(201) 또는 사용자 장치들(200) 중 다른 장치에 연결되어 있지 않고 "offline finding" 상태도 아니지만 제2 장치(202)에 대한 찾기 시도가 있었던 경우, "Lost mode Finding"과 같은 제3 상태 메시지를 표시할 수 있다. 또한 제2 장치(202)가 제1 장치(201) 또는 사용자 장치들(200) 중 다른 장치에 연결되어 있지는 않고 "offline finding" 상태인 경우, 제1 장치(201)는 "Update mode Finding"과 같은 제4 상태 메시지를 표시할 수 있다. 또한, 제1 장치(201)가 제2 장치(202)가 대한 연결을 시도하는 경우 "connecting"과 같은 제5 상태 메시지가 표시될 수 있다. 일 실시 예에서, 장치 액션 메뉴(751)와 관련된 제1 내지 제5 상태 메시지는 도 3의 제1 장치 카드(211) 및/또는 제2 장치 카드(212)에 포함될 수 있다.
전술한 제1 내지 제5 상태 메시지는 예시적인 것이며, 다양한 실시 예에 따라 더 적거나 더 많은 상태 메시지가 적절하게 제조사 또는 사용자에 의해 설정될 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202)의 배터리 잔량 정보를 제공할 수 있다. 또한 제1 장치(201)는 제2 장치(202)의 위치(위치 정보)를 타임 스탬프(time stamp) 기반으로 표시할 수 있다. 또한 제1 장치(201)는 현재 제2 장치(202)의 상태를 적절한 메시지(장치 카드 메시지)를 이용하여 표시할 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202)가 제1 장치(201)의 근처에 있는지, 사용자 장치들(200) 중 다른 장치(예: 제4 장치(204)) 근처에 있는지, 제2 장치(202)의 마지막 위치는 어디인지, 제2 장치(202)를 찾고 있는 중인지, 또는 제2 장치(202)를 찾았는지를 지시하는 메시지를 디스플레이에 표시할 수 있다.
일 실시 예에서, 제2 장치 카드 영역(750)에 표시(present)되는 정보는, 도시된 예에 한정하지 않으며, 장치 액션 메뉴(751)와 관련된 정보와 상세보기 메뉴(754)에 포함된 정보(예: 배터리 잔량 정보, 위치 정보, 및/또는 장치 카드 메시지) 중 적어도 하나의 정보와 같이 제공될 수 있다.
도 8은 일 실시 예에 따른 전자 장치가 임의의 외부 장치를 찾기 위해 스캔을 수행하는 흐름도를 나타낸다.
일 실시 예에 따르면, 동작 811에서 전자 장치(400)는 오프라인 찾기를 활성화할 수 있다. 예를 들어, 전자 장치(400)의 사용자는 설정 메뉴에서 오프라인 찾기 기능을 활성화시킬 수 있다. 다른 예를 들어, 오프라인 찾기 기능은 주기적으로 활성화되거나 항상 활성화된 상태일 수 있다. 또 다른 예를 들어, 오프라인 찾기 기능은 지정된 시간 구간(예: 오전 9시 내지 오후 6시)에만 활성화될 수 있다.
일 실시 예에 따르면, 동작 813에서 전자 장치(400)는 오프라인 찾기 기능의 활성화에 응답하여, 오프라인 찾기와 관련된 파라미터들을 설정할 수 있다. 예를 들어, 스캔 주기 및 스캔 윈도우(window), 스캔 간격(interval), 스캔 유지 시간, 및/또는 웨이크업 인텐트(wakeup intent)와 같은 파라미터들이 설정될 수 있다. 여기서 스캔 주기는 스캔이 1회 발생하는 시간을 의미할 수 있다. 스캔 윈도우는 스캔 주기 중에서, 실제로 스캔이 수행되는 시간을 의미할 수 있다. 예를 들어 스캔 주기가 2000ms이고 스캔 윈도우가 200ms인 경우, 근거리 통신 회로는 웨이크업 이후 200ms 동안 1차 스캔을 수행하고 나머지 1800ms는 슬립 상태를 유지하다가, 웨이크업 이후 2000ms가 경과한 시점에 다시 200ms 동안 2차 스캔을 수행할 수 있다.
스캔 유지 시간은 상술한 스캔 주기로 스캔을 유지하는 시간을 의미할 수 있다. 예를 들어, 전자 장치(400)는 매 2000ms마다 수행하는 스캔을 1시간동안 유지할 수 있다. 스캔 간격은 스캔 유지 시간 사이의 간격을 의미할 수 있다. 예를 들어, 스캔 유지 시간이 1시간이고 스캔 간격이 4시간인 경우, 전자 장치(400)는 00시부터 1시간동안 스캔을 유지하고 3시간동안은 슬립 상태를 유지하다가, 00시부터 4시간이 경과한 04시부터 다시 1시간동안 스캔을 유지할 수 있다.
일 실시 예에 따르면, 동작 813은 생략될 수 있다. 동작 813이 생략되는 경우, 오프라인 찾기와 관련된 파라미터 설정은 지정된 설정 값(예: 디폴트 값)을 사용할 수 있다.
일 실시 예에 따르면, 동작 815에서 전자 장치(400)는 스캔을 시작할 수 있다. 전자 장치(400)의 스캔은 동작 813에서 설정된 스캔과 관련된 파라미터들에 의해 정의된 규칙에 따라 수행될 수 있다. 전자 장치(400)는 스캔이 수행되는 동안 외부 장치(예: 제2 장치(202))로부터 획득되는 애드버타이징 패킷을 획득하기 위해 근거리 통신을 지원하는 제1 통신 회로를 활성화시킬 수 있다.
일 실시 예에 따르면, 제2 장치(202)는 동작 801에서 지정된 근거리 통신 프로토콜을 이용하여 애드버타이징 패킷을 브로드캐스팅할 수 있다. 예를 들어, 제2 장치(202)는 BLE 프로토콜을 이용하여 제2 장치(202)의 식별 정보 및 국가 코드, 및/또는 멀티 홉 카운트를 포함하는 애드버타이징 패킷을 일정 시간 간격으로 브로드캐스팅 하고 있을 수 있다.
일 실시 예에서, 제2 장치(202)는 네트워크 상태의 변화에 따라 애드버타이징 패킷을 브로드캐스팅 할 수 있다. 예를 들어, 제2 장치(202) 현재 네트워크가 이용 가능한 상태인지 판단할 수 있다. 예를 들어, 제2 장치(202)와 서버(300) 또는 제1 장치(201) 사이의 네트워크 연결이 유실된 경우 제2 장치(202)는 네트워크 연결의 유실이 비행기 모드(airplane mode)에 의한 것인지 판단할 수 있다. 제2 장치(202)의 어플리케이션이 현재 네트워크 상태를 확인하기 위해서, 해당 어플리케이션(예: 위치 찾기 서비스를 제공하는 어플리케이션)은 제2 장치(202)의 메모리에 상주할 수 있다. 일 실시 예에서, 비행기 모드가 아닌 경우 제2 장치(202)는 알람을 설정하고, 설정된 알람 시간이 도래하면 애드버타이징 패킷을 브로드캐스팅 할 수 있다. 이후 네트워크가 다시 회복되면(예: 제1 장치(201)와의 연결이 회복), 제2 장치(202)는 설정된 알람을 취소하고 애드버타이징 패킷을 브로드캐스팅하는 동작을 중단할 수 있다.
일 실시 예에 따르면, 스캔이 시작된 이후 동작 817에서 전자 장치(400)는 외부 장치, 예를 들어 제2 장치(202)로부터 애드버타이징 패킷을 수신할 수 있다. 동작 817에서 전자 장치(400)는 수신된 애드버타이징 패킷에 포함된 정보로부터 제2 장치(202)에 대한 정보를 획득하고, 동작 819에서 획득한 정보를 전자 장치(400)의 메모리에 저장할 수 있다.
일 실시 예에 따르면, 동작 821에서 전자 장치(400)는 제2 장치(202)로부터 수신한 정보(예: 국가 코드)에 기반하여 서버(300)로 제2 장치(202)에 대한 정보를 전송할 수 있다. 전자 장치(400)는 제2 장치(202)에 대한 정보 및 위치 정보를 포함시킬 수 있다. 여기서 위치 정보는 전자 장치(400)의 위치 측정 회로에 의해 측정된 전자 장치(400)의 위치일 수 있다. 또한, 전자 장치(400)는 보안을 향상시키기 위해 서버(300)로부터 서버(300)로 전송되는 정보를 암호화하기 위한 암호화 키를 획득하고, 획득된 암호화 키로 제2 장치(202)에 대한 정보를 암호화하고, 암호화된 정보를 서버(300)로 전송할 수 있다. 예를 들어, 전자 장치(400)는 서버(300)로 제2 장치(202)에 대한 정보의 적어도 일부를 전송하고, 서버(300)로부터 암호화 키를 획득한 후, 획득된 암호화 키로 제2 장치(202)에 대한 정보 및/또는 위치 정보를 암호화하여 서버(300)로 전송할 수 있다.
일 실시 예에 따르면, 서버(300)는 동작 831에서 전자 장치(400)로부터 제2 장치(202)의 정보 및/또는 위치 정보를 획득하고, 이를 제1 장치(201)에 요청에 응답하여 제2 장치(202)의 위치에 대한 정보를 제1 장치(201)로 제공할 수 있다.(예: 도 6의 동작 623)
일 실시 예에서, 전자 장치(400)는 동작 815, 817, 819, 및/또는 821을 소정 시간, 예를 들어 스캔 유지 시간 동안 반복하고, 스캔 유지 시간이 종료되면 동작 823에서 오프라인 찾기 기능을 비활성화 할 수 있다. 다만 다른 실시 예에서, 사용자 입력이나 전자 장치(400)의 배터리 잔량 상태와 같은 다양한 이벤트에 의해 오프라인 찾기 기능은 비활성화 될 수 있다.
도 9는 일 실시 예에 따른 전자 장치의 화면 ON/OFF에 따른 스캔 간격을 조절하는 흐름도이다.
도 9를 참조하면, 동작 911에서 전자 장치(400)는 화면 ON/OFF와 관련된 파라미터를 설정할 수 있다. 예를 들어, 전자 장치(400)는 도 8의 동작 813에서 오프라인 찾기 기능이 활성화되는 것에 응답하여 오프라인 찾기 기능과 관련된 파라미터들을 설정할 수 있는데, 일부 파라미터는 전자 장치(400)의 화면(디스플레이)이 ON 상태인지 OFF 상태인지에 따라 다르게 설정될 수 있다. 예를 들어, 전자 장치(400)는 화면 ON 상태에서는 제1 주기(예: 1000ms)로 스캔을 수행하지만, 화면 OFF 상태에서는 제2 주기(예: 1시간)로 스캔을 수행할 수 있다. 다른 예를 들어, 전자 장치(400)는 화면 ON 상태에서는 스캔 윈도우를 제1 길이(예: 200ms)로 스캔을 수행하지만, 화면 OFF 상태에서는 제2 길이(예: 100ms)로 스캔을 수행할 수 있다.
일 실시 예에 따르면, 동작 913에서 전자 장치(400)의 화면이 ON 될 수 있다. 전자 장치(400)의 화면이 ON 상태로 전환되면, 동작 915에서 전자 장치(400)는 제1 간격으로 외부 장치로부터 브로드캐스팅되는 애드버타이징 패킷에 대한 스캔을 시작할 수 있다.
일 실시 예에 따르면, 동작 901에서, 제2 장치(202)는 도 8의 동작 801에서와 같이 지정된 근거리 통신 프로토콜을 이용하여 애드버타이징 패킷을 지속적으로 브로드캐스팅할 수 있다. 제1 간격으로 스캔을 수행하는 동안 전자 장치(400)는 동작 917에서 외부 장치, 예를 들어 제2 장치(202)로부터 애드버타이징 패킷을 획득하고, 애드버타이징 패킷을 통해 획득된 제2 장치(202)에 대한 정보 및/또는 위치 정보를 서버(300)로 전송할 수 있다.
일 실시 예에 따르면, 서버(300)는 동작 931에서 전자 장치(400)로부터 제2 장치(202)의 정보 및/또는 위치 정보를 획득하고, 이를 제1 장치(201)에 요청에 응답하여 제2 장치(202)의 위치에 대한 정보를 제1 장치(201)로 제공할 수 있다.(예: 도 6의 동작 623)
일 실시 예에 따르면, 동작 921에서 전자 장치(400)는 전자 장치(400)의 화면이 OFF되는지 여부를 판단할 수 있다. 전자 장치(400)의 화면이 OFF되지 않는 경우(즉, ON 상태를 유지하는 경우), 전자 장치(400)는 제1 간격으로 스캔하는 동작을 지속적으로 수행할 수 있다. 전자 장치(400)의 화면이 OFF 되는 경우, 동작 923에서 전자 장치(400)는 스캔을 종료하거나 제1 간격보다 길게 설정된 제2 간격으로 스캔을 수행할 수 있다.
도 10은 일 실시 예에 따른 제2 장치의 구성 및 제2 장치에 의해 브로드캐스팅 되는 패킷의 데이터 구조를 나타낸다.
도 10을 참조하면, 제2 장치(202)는 프로세서(1010), 메모리(1020), 및 통신 회로(1030)를 포함할 수 있다. 도 10에 도시된 제2 장치(202)의 구성요소들은 예시적인 것이며, 도 1을 참조하여 설명한 구성요소들이 제2 장치(202)에 적절히 적용될 수 있다. 또한 도 10의 구성요소들 중 도 1에 대응되는 구성요소들에 대해서는 도 1의 설명이 적용될 수 있다.
일 실시 예에서, 프로세서(1010)는 메모리(1020)로부터 명령어를 실행하고, 패킷 생성 모듈(1040) 및/또는 연결 관리자(1050)를 구현할 수 있다. 패킷 생성 모듈(1040)과 연결 관리자(1050)는 메모리(1020)에 저장된 프로그램 코드를 실행함으로써 구현되는 소프트웨어 모듈로 이해될 수 있다. 또한 이하의 설명에서 패킷 생성 모듈(1040)이나 연결 관리자(1050)에 의해 수행되는 것으로 설명되는 동작은, 프로세서(1010)에 의해 수행되는 것으로 이해될 수 있다.
도 10을 참조하면, 프로세서(1010)는 메모리(1020)에 저장된 명령어들을 실행함으로써 패킷 생성 모듈(1040)을 구동시킬 수 있다. 패킷 생성 모듈(1040)은 제2 장치(202)에 대한 정보를 포함하는 애드버타이징 패킷(1000)을 생성할 수 있다. 프로세서(1010)는 연결 관리자(1050)를 통해(이용하여), 생성된 애드버타이징 패킷(1000)을 통신 회로(1030)로 제공하고, 통신 회로(1030)는 지정된 프로토콜을 이용하여 애드버타이징 패킷(1000)을 브로드캐스팅 할 수 있다.
일 실시 예에서, 애드버타이징 패킷(1000)은 버전(1001), 패킷 타입(1002), 멀티 홉 카운트(1003), 개인 ID(privacy ID)(1004), 지역(1005), UWB(1006), 및/또는 페어링(1007) 필드를 포함할 수 있다.
일 실시 예에서, 버전(1001)은 애드버타이징 패킷의 버전을 의미할 수 있다. 애드버타이징 패킷은 이를 브로드캐스팅하는 제2 장치(202)와 이를 수신해서 해석하는 전자 장치(400) 사이에서 공유되는 규칙에 의거해야 하므로, 애드버타이징 패킷이 가지는 버전은 이를 수신한 전자 장치(400)가 애드버타이징 패킷에 포함된 데이터를 해석하는 규칙을 결정하기 위해 사용될 수 있다. 예를 들어, 전자 장치(400)는 최신 버전이 아닌 구버전의 애드버타이징 패킷을 수신하는 경우, 구버전에 대응하는 규칙에 따라 애드버타이징 패킷을 해석할 수 있다. 다른 예를 들어, 전자 장치(400)의 버전이 애드버타이징 패킷이 가지는 버전보다 낮을 경우, 전자 장치(400)는 서버(예: 도 1의 서버(108))를 통해 버전을 업데이트 할 수 있다.
일 실시 예에서, 패킷 타입(1002)은 애드버타이징 패킷에 대한 멀티 홉을 지원하는 패킷인지 여부를 지시할 수 있다. 추가적으로 및/또는 대체적으로, 패킷 타입(1002)은 현재 제2 장치(202)가 오프라인 모드(예: offline finding)인지 온라인 모드인지에 대한 정보를 지시할 수 있다.
일 실시 예에서, 멀티 홉 카운트(1003)는 애드버타이징 패킷이 몇 번째로 전파된 것인지 여부를 나타낼 수 있다. 예를 들어, 제2 장치(202)에서 직접 브로드캐스팅 되는 경우 애드버타이징 패킷의 멀티 홉 카운트는 0으로 정의될 수 있다. 만약 제2 장치(202)로부터 애드버타이징 패킷을 수신한 다른 장치가, 다시 애드버타이징 패킷을 브로드캐스팅하는 경우, 다시 브로드캐스팅 되는 애드버타이징 패킷의 멀티 홉 카운트는 1 또는 그 이상의 숫자로 정의될 수 있다.
일 실시 예에서, 개인 ID(1004)는 제2 장치(202)의 고유 식별 정보일 수 있다. 추가적으로 및/또는 대체적으로, 개인 ID(1004)는 제2 장치(202)의 고유 식별 정보를 기반으로 하여 소정 알고리즘에 따라 생성되는 랜덤 ID일 수 있다.
일 실시 예에서, 지역(region)(1005)은 제2 장치(202)의 국가 정보를 포함할 수 있다. 예를 들어, 제2 장치(202)가 온보딩 되는 시점에 서버(300)로부터 받은 국가 정보 및/또는 서버(300)의 주소를 알 수 있는 정보일 수 있다. 예를 들면, 지역(1005)은, 도 3의 국가 코드 매칭 모듈(242) 또는 도 4의 국가 코드 - 서버 매칭 DB(330)에 포함된 데이터와 관련된 정보일 수 있다.
일 실시 예에서, UWB(1006)는 제2 장치(202)가 UWB 통신을 지원하는 장치인지 여부를 나타낼 수 있다. 애드버타이징 패킷(1000)은 UWB 외에, 제2 장치(202)가 E2E, 또는 MCF 지원 여부를 알 수 있는 정보를 더 포함할 수 있다.
일 실시 예에서, 페어링(1007)은 제2 장치(202)가 단독으로 동작하는 장치인지, 아니면 이어버즈와 같이 한쌍으로 동작하는 장치인지, 한쌍으로 동작하는 장치인 경우 서로 페어링이 되어 있는 상태인지에 대한 정보를 포함할 수 있다.
도 11은 일 실시 예에 따른 제1 장치의 하드웨어 구성요소들을 나타낸다.
도 11을 참조하면, 제1 장치(201)는 제1 무선 통신 회로(1121), 제2 무선 통신 회로(1122), UWB 통신 회로(1123), 위치 측정 회로(1124), 카메라(1131), 디스플레이(1140), 및 이들과 전기적 또는 작동적으로 연결되는 적어도 하나의 프로세서(1110)를 포함할 수 있다. 도 11의 제1 장치(201)는 서버(300)로부터 분실된 제2 장치(202)의 좌표 정보를 획득하고, 해당 좌표 근처로 이동하여 제2 장치(202)에 대한 근거리 연결 및 UWB 통신을 수행하는 장치로 이해될 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202)를 제1 사용자 계정에 기반하여 서버(300)에 등록한 장치이거나 또는 동일한 제1 사용자 계정에 기반하여 서버(300)에 등록된 장치일 수 있다.
다양한 실시 예에서, 도 1의 전자 장치(101) 및 도 2의 제1 장치(201)에 대한 설명이 도 11 내지 도 17에서 설명되는 제1 장치(201)에 적용될 수 있다. 예를 들어, 제1 장치(201)의 프로세서(1110)는 도 1의 프로세서(120)에 대응될 수 있다. 또한 제1 장치(201)의 카메라(1131)는 도 1의 카메라 모듈(180)에 대응될 수 있다. 제1 장치(201)의 제1 무선 통신 회로(1121), 제2 무선 통시 회로(1122), UWB 통신 회로(1123), 위치 측정 회로(1124)는 도 1의 통신 모듈(190) 또는 무선 통신 모듈(192)에 대응될 수 있다. 이 외에 도 1의 전자 장치(101)에 대한 설명이 적절히 제1 장치(201)에 적용될 수 있다.
일 실시 예에서, 제1 무선 통신 회로(1121)는 근거리 통신을 지원할 수 있다. 예를 들어, 제1 무선 통신 회로(1121)는 BLE 및/또는 BT 통신을 지원할 수 있다. 제1 장치(201)는 제2 장치(202)와 근거리 통신이 가능한 범위 내로 접근하면, 제1 무선 통신 회로(1121)를 이용하여 근거리 통신 채널을 수립할 수 있다.
일 실시 예에서, 제2 무선 통신 회로(1122)는 서버(300)와의 통신을 수행할 수 있다. 제1 장치(201)는 제2 무선 통신 회로(1122)를 이용하여 셀룰러 네트워크나 Wi-Fi 네트워크를 통해 서버(300)에 보고된 제2 장치(202)의 위치 정보를 획득할 수 있다.
일 실시 예에서, UWB 통신 회로(1123)는 안테나를 이용하여 약 3 ~ 10.6GHz 주파수 대역의 신호를 이용한 통신을 수행할 수 있다. 예를 들어, UWB 통신 회로(1123)는 복수의 안테나와 전기적으로 연결될 수 있으며, 상기 복수의 안테나는 패치 안테나, 다이폴 안테나 또는 제1 장치(201)의 하우징(미도시)의 일부를 사용하는 안테나를 포함할 수 있다. UWB 통신 회로(1123)는 복수의 안테나들을 통해 신호의 AOA(angle of arrival)를 측정함으로써 대상 객체와 제1 장치(201) 사이의 거리 및 방향을 측정할 수 있다. UWB 통신 회로(1123)는 UWB 범위 데이터(UWB ranging data) 포맷의 형태로 측위 정보를 생성 및 제공할 수 있는데, UWB 범위 데이터는, 예를 들어 제1 AOA(aoaFirst), 제2 AOA(aoaSecond), 거리(distance), 장치 식별자(device id), 및/또는 BT 정보(Bluetooth information)를 포함할 수 있다. 여기서 제1 AOA는 전자 장치의 가로 축(또는 너비 방향)에 대한 대상 객체의 각도를 의미하고, 제2 AOA는 전자 장치의 세로 축(또는 길이 방향)에 대한 대상 객체의 각도를 의미할 수 있다. 제1 AOA는 aoaPortrait로, 제2 AOA는 aoaLandscape로 참조될 수 있다.
일 실시 예에서, 위치 측정 회로(1124)는 GPS를 포함할 수 있다. 또한, 카메라(1131)는 일반적으로 제1 장치(201)의 후면에 배치된 후면 카메라일 수 있으나, 이에 제한되지는 않는다. 예를 들어, 카메라(1131)는 전면 카메라를 포함할 수도 있고, 적절한 광학식 센서(예: IR 카메라)를 포함할 수도 있다.
일 실시 예에서, 디스플레이(1140)는 제1 장치(201)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이(1140)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이(1140)는 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다. 일 실시 예에서, 디스플레이(1140)는 롤러블(rollable) 또는 폴더블(foldable) 가능할 수 있다. 다양한 실시 예에서, 제1 장치(201)가 AR 글래스 장치인 경우, 제1 장치(201)는 글래스를 포함할 수 있고, 디스플레이(1140)는 글래스의 적어도 일부에 위치할 수 있으며, 디스플레이(1140)의 적어도 일부는 투명 재질을 포함할 수 있다.
도 12는 일 실시 예에 따른 제1 장치의 하드웨어 구성요소들 및 하드웨어 구성요소들을 통해 구현되는 각종 기능과 관련된 다양한 모듈들을 나타낸다.
일 실시 예에 따른 제1 장치(201)는 프로세서(1110), 하나 이상의 센서들(1130), 디스플레이(1140), 메모리(1150), 셀룰러 회로(circuitry)(1241), Wi-Fi 회로(1242), UWB 회로(1243)(예: 도 11의 UWB 통신 회로(1123)), BLE/BT 회로(1244), 및/또는 GPS 회로(1245)를 포함할 수 있다.
도 12를 참조하면 프로세서(1110)는 메모리(1150)에 저장된 프로그램 코드를 실행함으로써, 위치 안내 서비스(1200)를 구현할 수 있다. 예를 들어, 위치 안내 서비스(1200)는 메모리(1150)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 위치 안내 서비스(1200)는 프로세서(1110) 및 적절한 다른 하드웨어를 이용하여 수행되는 것으로 이해될 수 있다.
일 실시 예에 따른 위치 안내 서비스(1200)는 UI 레이어(1210), 환경 이해 모듈(1221), 광 추정 모듈(1222), 움직임 추적 모듈(1223), 데이터 저장소(1231), 앵커 생성 모듈(1232) 및/또는 연결 매니저(1240)을 포함할 수 있다.
도 3 및 도 12를 참조하면, 위치 안내 서비스(1200)는 파인딩 플랫폼(230), BT 파인더(231), UWB 파인더(232), AR 파인더(122), 및/또는 AR 코어 서비스(240)를 통해 구현될 수 있다. 예를 들어, 파인딩 플랫폼(230)은 UI 레이어(1210)를 구성하고 디스플레이(1140)를 통해 UI를 제공할 수 있다. 또한 디스플레이(1140)의 UI를 통해 획득되는 사용자 입력을 적절한 모듈로 제공할 수 있다. BT 파인더(231), UWB 파인더(232)는 연결 매니저(1240)를 통해 적절한 통신 회로를 제어할 수 있다. 예를 들어, BT 파인더(231)는 BLE/BT 회로(1244)를, UWB 파인더(232)는 UWB 회로(1243)를 제어할 수 있다.
일 실시 예에서, 적어도 하나 이상의 센서들(1130)은 카메라(1131), 가속도 센서(1132), 자이로 센서(1133) 및/또는 지자기 센서(1134)를 포함할 수 있다.
일 실시 예에서, AR 코어 서비스(240)는 환경 이해(environment understanding) 모듈(1221), 광 추정(light estimation) 모듈(1222), 및/또는 움직임 추적(motion tracking) 모듈(1223)을 포함할 수 있다.
일 실시 예에서, 환경 이해 모듈(1221)은 바닥이나 탁자와 같이 주위 환경의 특징 점을 분석함으로써 수평면을 감지할 수 있다. 예를 들어, 환경 이해 모듈(1221)은 특징 점 분석을 위해 카메라(1131)를 활성화하고 주변 영상을 촬영할 수 있다.
일 실시 예에서, 광 추정 모듈(1222)은 주변 조명을 관찰하고, 증강 현실 인터페이스에 생성되는 가상 객체에 적절한 조명 효과를 부가함으로써, 가상 객체를 보다 사실적으로 구현할 수 있다. 예를 들어, 광 추정 모듈(1222)은 조도 센서 및/또는 카메라(1131)를 이용하여 주변 조명을 감지 및 분석할 수 있다.
일 실시 예에서, 움직임 추적 모듈(1223)은 하나 이상의 센서들(1130)을 이용하여 제1 장치(201)의 움직임에 따른 제1 장치(201)의 위치와 방향과 같은 제1 장치(201)의 자세(pose)를 결정할 수 있다. 본 문서에서 자세(pose)란, 로컬 좌표 공간에서의 객체를 표준 좌표 공간(또는 world 좌표 공간)으로 좌표 변환한 것으로 참조될 수 있다. 즉, 제1 장치(201)가 로컬 좌표 공간에서 움직이더라도 표준 좌표 공간으로 조정함으로써 일관된 환경을 유지할 수 있다.
일 실시 예에서, 움직임 추적 모듈(1223)은 카메라(1131), 가속도 센서(1132), 자이로 센서(1133), 및/또는 지자기 센서(1134) 중 적어도 하나 이상을 이용하여 제1 장치(201)의 자세를 결정할 수 있다. 움직임 추적 모듈(1223)은 주변 공간의 특징 점을 분석하기 위해 카메라(1131)를 이용할 수 있다. 아울러, 가속도 센서(1132)와 자이로 센서(1133)는 관성 측정 유닛(inertial measurement unit, IMU)으로 참조될 수 있다.
일 실시 예에서, AR 파인더(233)는 데이터 저장소(1231) 및 앵커 생성 모듈(anchor create module)(1232)을 포함할 수 있다. AR 파인더(233)는 BT 파인더(231) 및 UWB 파인더(232)로부터 획득되는 신호에 기반하여 UWB 신호 및/또는 BT 신호를 받는 시점에 임시 점(temp point) 및 목표 점(target point)을 결정할 수 있다. 이후 AR 파인더(233)는 목표 점에 기반하여 생성되는 증강 현실을 증강 현실 인터페이스로서 디스플레이(1140)에 제공할 수 있다. 만약 UWB 신호가 일시적으로/지속적으로 수신되지 않는 경우, AR 파인더(233)는 임시 점에 기반하여 증강 현실 인터페이스를 업데이트 할 수 있다.
일 실시 예에서, 데이터 저장소(data repository)(1231)는 UI 레이어(1210)를 통해 디스플레이(1140)로 증강 현실 인터페이스가 제공되기 전에 각종 데이터를 적절히 저장 및 처리하는 기능을 수행할 수 있다. 예를 들어, 데이터 저장소(1231)는 일정 기간 수집된 데이터 중 지정된 범위 이상의 편차를 가지는 데이터를 제거하거나, 정규화(normalization) 또는 평탄화(smoothing) 작업을 수행할 수 있다.
일 실시 예에서, 앵커 생성 모듈(1232)은 획득된 UWB 신호(예: UWB 범위 데이터)에 기반하여 분실 장치(예: 제2 장치(202))에 대응하는 앵커를 생성할 수 있다. 앵커 생성 모듈(1232)은 제1 장치(201) 또는 제1 장치(201)의 카메라(1131)와 앵커의 좌표가 실제 위치와 적절한 상대적인 위치를 유지할 수 있도록 설정할 수 있다. 예를 들어, 앵커 생성 모듈(1232)은 획득된 UWB 신호와 제1 장치(201)의 자세에 기반하여 표준 좌표 공간에서 앵커를 설정하고, 제1 장치(201)와 제2 장치(202) 사이의 거리 및 방향 정보를 계산할 수 있다. 또한 앵커 생성 모듈(1232)은 하나 이상의 센서들(1130)을 통해 획득되는 정보에 기반하여 제1 장치(201)와 제2 장치(202) 사이의 거리 및 방향 정보를 업데이트 할 수 있다.
다만 본 문서에서 설명하는 소프트웨어 모듈의 구분은 예시적인 것이며, 적절한 변형이 가능하다. 예를 들어, AR 파인더(233)가 AR 코어 서비스(240)의 기능까지 포함할 수 있다. 아울러, 도 12에서 화살표로 표시된 연결 관계는 예시적인 것이며, 하드웨어/소프트웨어 사이의 연결을 제한하지 않는다. 예를 들어, 도 12에는 도시되지 않았으나 프로세서(1110)와 디스플레이(1140)는 소정의 인터페이스를 통해 전기적 및/또는 작동적으로 직접 연결될 수 있다.
도 13은 일 실시 예에 따른 분실 장치를 찾기 위한 가이드를 제공하는 흐름도이다.
도 13을 참조하면, 동작 1301에서 제1 장치(201)는 서버(300)로부터 분실 장치의 정보를 획득할 수 있다. 설명의 편의를 위해 분실 장치는 제1 장치(201)와 동일 사용자 계정을 공유하는 사용자 장치들(200) 중 제2 장치(202)인 것으로 가정한다. 일 실시 예에서, 제1 장치(201)는 제2 무선 통신 회로(1122)를 이용하여 서버(300)로부터 제1 장치(201) 또는 제1 장치(201)의 사용자 계정에는 등록되어 있으나 현재 제1 장치(201)와 연결되어 있지 않은 제2 장치(202)에 대한 정보를 획득할 수 있다.
일 실시 예에서, 동작 1301은 사용자가 위치 안내 서비스를 제공하는 어플리케이션을 실행한 경우에 자동으로 수행되거나, 사용자가 소정 인터페이스를 통해 위치 정보를 요청하는 입력을 제공한 경우에 수행될 수 있다. 예를 들어, 제1 장치(201)는 서버(300)로 제2 장치(202)에 대한 정보 요청을 전송하고, 서버(300)로부터 제2 장치(202)의 정보를 수신할 수 있다.
일 실시 예에서, 제2 장치(202)에 대한 정보에는 제2 장치(202)의 좌표에 대한 정보가 포함될 수 있다. 제2 장치(202)의 좌표는 다른 장치(예: 전자 장치(400) 등)에 의해 측정된, 제2 장치(202)로부터 애드버타이징 패킷을 수신한 장치의 GPS 위치 정보를 의미할 수 있다. 또한, 제2 장치(202)에 대한 정보에는 제2 장치(202)가 UWB 통신을 지원하는지 여부(예: 제2 장치(202)가 UWB 안테나 및 UWB 통신 회로를 포함하는지 여부), 제2 장치(202)의 배터리 잔량, 및/또는 제2 장치(202)의 배터리 잔량에 따른 UWB 통신 지원 여부 등에 대한 정보가 더 포함되어 있을 수 있다.
일 실시 예에 따르면, 동작 1303에서 제1 장치(201)는 서버(300)로부터 획득된 제2 장치(202)에 대한 정보 및 위치 측정 회로(1124)에 의해 측정되는 제1 장치(201)의 위치에 기반하여, 제1 장치(201)가 제2 장치(202)의 좌표로부터 지정된 거리 이내에 존재하는지 여부를 판단할 수 있다. 즉, 제1 장치(201)는 제1 장치(201)의 현재 위치와 제2 장치(202)의 좌표 사이의 거리(D)가 임계 거리(TH) 미만인지 판단할 수 있다. 예를 들어, 제1 장치(201)의 사용자는 서버(300)로부터 획득된 제2 장치(202)에 대한 정보에 기반하여 제2 장치(202)의 위치로 이동하고, 위치 측정 회로(1124) 또는 GPS 회로(1245)를 통해, 제1 장치(201)의 현재 위치와 제2 장치(202)의 좌표 사이의 거리(D)가 임계 거리(TH) 미만인지 판단할 수 있다.
동작 1303의 판단 결과에 응답하여, 제1 장치(201)는 제2 장치(202)와 근거리 통신 연결을 시도할지, 제2 장치(202)가 있는 방향으로 이동을 가이드할 지 결정할 수 있다. 예를 들어, 제1 장치(201)는 제1 장치(201)의 현재 위치와 제2 장치(202)의 좌표 사이의 거리(D)가 임계 거리(TH)(예: 제1 거리) 미만인 경우, 동작 1305에서 제1 장치(201)는 제2 장치(202)와 제1 무선 통신 회로(1121)를 이용하여 근거리 통신 연결을 수립할 수 있다. 상기 근거리 통신 연결은 Bluetooth 통신 채널일 수 있다. 다른 예를 들어, 제1 장치(201)는 제1 장치(201)의 현재 위치와 제2 장치(202)의 좌표 사이의 거리(D)가 임계 거리(TH) 이상인 경우, 동작 1307에서 제1 장치(201)는 디스플레이(1140)에 제2 장치(202)에 보다 근접할 것을 지시하는 이동 가이드를 표시할 수 있다.
일 실시 예에 따르면, 제2 장치(202)와 근거리 통신 연결이 수립되면 동작 1309에서 제1 장치(201)는 상기 근거리 통신 연결을 통해 제2 장치(202)로 제2 장치(202)에 탑재된 UWB 기능을 활성화하는 요청을 전송할 수 있다. 상기 요청은 근거리 통신 연결이 수립되는 즉시 수행될 수도 있고, 근거리 통신 연결이 수립되더라도, UWB 통신이 가능한 범위(예: 제2 거리) 내로 제1 장치(201)가 접근한 후에 수행될 수도 있다. 예를 들어, UWB 통신이 가능한 범위(예: 제2 거리)는 임계 거리(TH)(예: 제1 거리) 보다 작을 수 있다. 또한, 일단 근거리 통신 연결이 수립되면 제1 장치는 UWB 통신의 가능 여부가 결정될 때까지 주기적으로 상기 요청을 전송할 수도 있다.
일 실시 예에서, 동작 1309는 제1 장치(201)가 서버(300)로부터 획득한 제2 장치(202)에 대한 정보에, 제2 장치(202)가 현재 UWB를 지원할 수 있다는 내용이 포함된 경우에 수행될 수 있다. 예를 들어, 서버(300)로부터 획득한 제2 장치(202)가 현재 UWB를 지원할 수 있다는 내용은, 제2 장치가 UWB 통신을 지원하는지 여부 및/또는 제2 장치가 UWB 통신을 수행할 수 있는 배터리 잔량인지에 대한 정보를 포함할 수 있다. 다만 이에 제한되지는 않으며, 동작 1309는 제1 장치(201)가 서버(300)로부터 획득한 제2 장치(202)에 대한 정보에 UWB 관련 정보가 포함되어 있지 않거나, UWB를 지원하지 않는다는 내용이 포함된 경우에도 수행될 수 있다. 또한, 제2 장치(202)의 UWB의 지원 여부에 대한 정보는 상기 근거리 통신 연결을 수행하는 과정에서 제2 장치(202)로부터 제공될 수도 있다. 또는, 제2 장치(202)의 UWB 지원 여부에 대한 정보는 도 5를 참조하여 설명된 온보딩 절차 중 적절한 과정(예: 동작 503 또는 동작 515 등)에서 제공될 수도 있다.
일 실시 예에서, 제1 장치(201)와 수립된 근거리 통신 연결을 통해 UWB 활성화 요청을 수신한 제2 장치(202)는, UWB 활성화 요청에 응답하여 제2 장치(202)의 UWB 통신 기능을 활성화할 수 있다. 예를 들어, 제2 장치(202)는 무선 통신 회로를 통해 제1 장치(201)와 근거리 통신 연결이 수립되면, 제1 장치(201)로부터 수신된 UWB 활성화 요청에 응답하여 제2 장치(202)에 포함된 UWB 통신 회로를 활성화할 수 있다. 일 실시 예에서, 제2 장치(202)는 UWB 통신 회로 및 상기 UWB 통신 회로와 연결된 UWB 안테나를 이용하여 상기 UWB 활성화 요청에 의해 설정된 채널(주파수) 및 주기(예: 100ms)로 UWB 신호를 전송할 수 있다. 다양한 실시 예에서, 제1 장치(201)에 포함되는 것으로 설명된 구성 요소들 중 제2 장치(202)에도 포함되는 구성요소들에 대해서는, 제1 장치(201)를 참조하여 제공된 설명이 적용될 수 있다.
일 실시 예에서, 제1 장치(201)는 UWB 기능을 활성화하는 요청에 응답하여 제2 장치(202)로부터 UWB 기능의 활성화가 가능하지 않다는 것을 지시하는 응답을 수신하면, UWB 기능 대신 다른 통신 기능을 이용하여 제2 장치(202)까지의 거리를 추정할 수 있다. 예를 들어, 제1 장치(201)는 제1 무선 통신 회로(112)를 이용하여 감지되는 신호의 세기(예: Bluetooth 신호의 세기)를 판단하고, 신호의 세기가 강해지는 방향으로 이동할 것을 안내할 수 있다. 또한 제1 장치(201)는 소정의 룩업테이블(look-up table)을 이용하여 신호의 세기에 따른 대략적인 거리를 안내할 수 있다.
일 실시 예에 따르면, 동작 1311에서 제1 장치(201)는 제2 장치(202)로부터 수신되는 UWB 신호에 기반하여 제1 장치(201)에 대한 제2 장치(202)의 위치를 식별할 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202)가 위치한 방향과 제2 장치(202)까지의 거리를 식별할 수 있다.
일 실시 예에 따르면, 동작 1313에서 제1 장치(201)는 디스플레이(1140)를 통해 증강 현실 인터페이스를 출력할 수 있다. 예를 들어, 제1 장치(201)는 카메라(1131)를 이용하여 제1 장치(201)의 주변 이미지 데이터를 획득하고, 획득된 이미지 데이터와 식별된 제2 장치(202)의 위치에 기반하여 증강 현실 인터페이스를 생성하고, 이를 디스플레이(1140)에 출력할 수 있다. 이와 관련된 예시적인 UI들이 도 14를 통해 설명된다.
도 14는 일 실시 예에 따른 거리에 따라 전자 장치가 제공하는 예시적인 UI들을 나타낸다.
도 14를 참조하면, 위치 안내 서비스를 제공하는 어플리케이션이 실행되면, 제1 장치(201)는 제1 화면(1410)과 같은 안내 화면을 제공할 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202)(예: Galaxy Note 20)를 찾기 위해 위치 안내 서비스를 실행하고, 제2 장치(202)와의 신호 세기에 따라 외측에서 내측으로 원이 소정 색상으로 채워지는 형태의 UI를 제공할 수 있다. 예를 들어, 제1 화면(1410)이 표시된 상태에서 제1 장치(201)가 제2 장치(202)를 향해 근접하면 제2 화면(1420)이 디스플레이 될 수 있다. 제1 화면(1410)과 제2 화면(1420)이 디스플레이 되는 동안에는 BT 파인더(231)가 동작할 수 있다.
일 실시 예에서, 미리 정의된 AR 파인더 실행 이벤트가 발생하면 제1 장치(201)는 제1 화면(1401) 또는 제2 화면(1420)에서 제3 화면(1430)이나 제4 화면(1440)으로 안내 화면을 전환할 수 있다. 예를 들어, 제2 화면(1420)은 증강 현실 인터페이스로 전환하기 위한 제1 아이콘(1401)을 포함할 수 있다. 제1 아이콘(1401)에 대한 사용자 선택에 응답하여, 제2 화면(1420)은 증강 현실 인터페이스를 제공하는 제3 화면(1430)으로 전환될 수 있다. 이 경우, 제1 아이콘(1401)을 선택하는 사용자 입력은 AR 파인더 실행 이벤트에 해당할 수 있다. 유사하게, 제3 화면(1430)은 증강 현실 인터페이스를 BT 인터페이스로 전환하기 위한 제2 아이콘(1402)을 포함할 수 있다. 예를 들어, 제2 화면(1420)이 제3 화면(1430)으로 전환되면, 제2 화면(1420)에 있던 제1 아이콘(1401)이 동일 위치에서 제2 아이콘(1402)으로 변경되어 표시될 수 있다. 제2 아이콘(1402)에 대한 사용자 선택에 응답하여, 제3 화면(1430)은 BT 인터페이스를 제공하는 제2 화면(1420)으로 다시 전환될 수 있다.
일 실시 예에서, 제2 화면(1420)은 제3 화면(1430)으로 자동적으로 전환될 수 있다. 예를 들어, 제1 장치(201)는 제1 장치(201)가 제2 장치(202)의 좌표로부터 지정된 거리 이내에 위치하고 제2 장치(202)와 근거리 통신 연결이 수립되는 것에 응답하여, 제2 화면(1420)에서 제3 화면(1430)으로 인터페이스를 전환할 수 있다. 이 경우, 제1 장치(201)가 제2 장치(202)의 좌표로부터 지정된 거리 이내에 위치하고 제2 장치(202)와 근거리 통신 연결이 수립되는 것은 AR 파인더 실행 이벤트에 해당할 수 있다. 다른 예를 들어, 제1 장치(201)와 제2 장치(202)의 근거리 통신 연결이 수립되고, 제2 장치(202)에서 UWB 활성화하는 것에 응답하여, 제2 화면(1420)에서 제3 화면(1430)으로 인터페이스를 전환할 수 있다. 이 경우, 제2 장치(202)로부터 UWB 활성화에 대한 응답을 수신하는 것은 AR 파인더 실행 이벤트에 해당할 수 있다. 또 다른 예를 들어, 제1 장치(201)는 가속도 센서(1132), 자이로 센서(1133) 및/또는 지자기 센서(1134)에 기반하여 사용자가 제1 장치(201)를 지정된 범위 이상으로 움직임을 감지함에 기반하여, 제2 화면(1420)에서 제3 화면(1430)으로 인터페이스를 전환할 수 있다.
일 실시 예에서, 제3 화면(1430)은 동작 1313에서 출력되는 증강 현실 인터페이스일 수 있다. 제3 화면(1430)은, 전술한 제2 아이콘(1402) 외에, 제1 장치(201)의 현재 위치로부터 UWB 신호에 기반하여 식별된 제2 장치(202)의 위치까지의 거리를 나타내는 제1 객체(1431)를 포함할 수 있다. 또한, 제1 장치(201)의 자세를 기준으로 결정되는 좌표 공간에서, 제2 장치(202)에 대응하는 위치를 지시하는(pointing) 제2 객체(1432)를 포함할 수 있다. 여기서 제2 장치(202)에 대응하는 위치는, 앵커 생성 모듈(1232)에 의해 생성된 앵커의 위치에 해당할 수 있다. 또한 제2 객체(1432)는 앵커를 향하는 방향을 지시하기 위한 화살표와 같이 방향을 나타내는 객체일 수 있다. 상기 제2 객체(1432)는 현재 제2 장치(202)가 제1 장치(201)의 카메라(1131)에 의해 촬영되는 프레임의 외부에 위치하거나, 프레임 내부에 위치하긴 하나 충분히 근접하지 않은 상태임을 나타낼 수 있다.
일 실시 예에서, 제1 장치(201)가 제2 장치(202)에 매우 근접(예: 3.5m 이내)하여, 제1 장치(201)의 카메라(1131)에 의해 촬영되는 프레임 내에 제2 장치(202)가 위치하는 것으로 판단된 경우, 제1 장치(201)는 제4 화면(1440)을 디스플레이(1140)에 출력할 수 있다. 일 실시 예에서, 제4 화면(1440)은 증강 현실 인터페이스 상에 제2 장치(202)를 나타내는 객체와 함께 상기 객체를 가리키는 화살표(1442)를 표시할 수 있다.
도 15는 일 실시 예에 따른 전자 장치가 증강 현실을 이용하여 제공하는 예시적인 UI들을 나타낸다.
도 15를 참조하면, 제1 장치(201)가 제2 장치(202)에 대해 기준 거리 내에 근접한 경우, 제1 UI(1501)를 제공할 수 있다. 예를 들어, 도 14의 제1 화면(1410)이나 제2 화면(1420), 또는 임의의 다른 화면이 디스플레이(1140)에 출력된 상태에서 제1 장치(201)가 제2 장치(202)에 대해 기준 거리(예: 30m 또는 50m) 내에 근접한 경우, 제2 장치(202)가 근처에 있음을 나타내는 메시지(예: Your Galaxy Note 20 might be nearby)와 함께 팝업 형태로 파인더(finder)를 실행할 것인지 묻는 메뉴(예: Start Finder(1511) 및/또는 Cancel(1512))가 디스플레이 될 수 있다.
일 실시 예에서, 제1 장치(201)는 파인더를 실행하는 사용자 입력(1500)에 응답하여 제2 장치(202)와 통신을 시도할 수 있다. 상기 통신 시도는 Bluetooth를 이용한 근거리 통신 연결을 수립하는 과정일 수 있다. 근거리 통신 연결을 수립하는 동안 제1 장치(201)와 제2 장치(202) 사이의 거리 및/또는 신호 강도에 따라 수초 정도 시간이 소요될 수 있고 그 동안 제2 UI(1502)가 제공될 수 있다. 제2 UI(1502)가 디스플레이 되는 동안 동작 1305 및 동작 1309가 수행되고, 제2 장치(202)로부터 UWB 활성화에 대한 응답이 수신될 수 있다.
일 실시 예에서, 제2 장치(202)와의 연결에 실패하면, 찾기 기능을 취소(Cancel)(1532)하거나 재시도(Retry)(1531)를 유도하는 제3 UI(1503)가 팝업 형태로 디스플레이 될 수 있다. 제2 장치(202)와의 연결에 성공하면, UWB 신호를 이용하여 제2 장치(202)의 상세 위치를 스캔하기 위한 제4 UI(1504)가 제공될 수 있다.
일 실시 예에서, 제4 UI(1504)는 UWB 신호를 보다 정확하게 수신하기 위해 파노라마 스캔(panoramic scan)을 가이드하는 화면일 수 있다. 일반적으로 UWB 안테나는 제1 AOA와 제2 AOA를 인식하기 위해 제1 방향으로 배열된 2개의 안테나, 및 상기 제1 방향에 실질적으로 수직한 제2 방향으로 배열되는 2개의 안테나를 포함할 수 있다. 각각의 안테나들은 서로 UWB 통신에 사용되는 신호가 가지는 파장의 약 1/2 정도의 간격을 두고 서로 이격될 수 있다. 어느 하나의 안테나가 제1 방향과 제2 방향에 대해서 공통으로 사용될 수 있으며, 이 경우 UWB 안테나 모듈은 3개의 안테나를 포함할 수 있다. 사용자가 제1 장치(201)를 잡는 방법, 즉 제1 장치(201)의 자세에 따라 UWB 안테나를 통해 측정되는 AOA 값이 달라질 수 있기 때문에, 정확한 측정을 위해서는 다양한 각도로 천천히 제1 장치(201)를 움직여가며 일정 시간 동안 UWB 신호를 획득하는 것이 효과적일 수 있다. 따라서, 제1 장치(201)는 제4 UI(1504)와 같이 UI의 중심에 화살표를 표시하여 화살표 방향으로 장치를 이동시킬 것을 가이드할 수 있다. 제1 장치(201)는 이동하는 범위나 각도에 따라 화살표를 이동시키거나, 화살표의 색상을 변경시킬 수 있다. 예를 들어, 제4 UI(1504)가 4개의 화살표를 포함하는 경우, 제1 장치가 90도만큼 이동하면 이 중 1개의 화살표의 색상을 변경하고, 360도만큼 이동하면 4개의 화살표 색상을 모두 변경할 수 있다. 다른 예를 들어, 제4 UI(1504)는 제1 장치(201)를 세로 방향(portrait)에서 가로 방향(landscape)으로 전환하라는 가이드를 제공할 수도 있다.
일 실시 예에서, 제4 UI(1504)와 같이 UWB 신호를 효과적으로 수신하기 위한 가이드는 제1 장치(201)의 자세에 따라 적절한 시점에 제공될 수 있다. 예를 들어, 사용자가 제1 장치(201)의 카메라(1131)가 지면을 향하도록 들고 있는 경우, 카메라(1131)를 통해 획득되는 영상은 증강 현실을 생성하기에 적절하지 않고, 또한 제1 장치(201)에 포함된 UWB 안테나들이 지면과 평행하게 배치되면서 제2 장치(202)로부터 UWB 신호가 잘 수신되지 못할 수 있다. 따라서 제1 장치(201)는 하나 이상의 센서들(1130)을 통해 수신되는 센싱 데이터에 기반하여 사용자가 제1 장치(201)를 지면과 실질적으로 수직한 방향으로 들고 있도록 가이드 할 수 있다.
일 실시 예에서, 가이드에 따른 이동이 완료되면 제1 장치(201)는 제5 UI(1505)를 디스플레이 할 수 있다. 다만 UWB 신호 상태에 따라 제5 UI(1505)는 생략될 수도 있다. 예를 들어 제5 UI(1505)는 제1 장치(201)가 이동하며 수신된 UWB 신호에 기반하여 제2 장치(202)의 위치를 산출하는 동작을 나타낼 수 있다.
일 실시 예에서, 제1 장치(201)는 제2 장치(202)의 위치 확인에 실패하면 제6 UI(1506)를 디스플레이 할 수 있다. 제6 UI(1506)는 찾기 기능을 취소(Cancel)(1562)하거나, 재시도(Retry)(1561)하기 위한 메뉴를 포함할 수 있다.
일 실시 예에서, UWB 신호에 기반하여 제2 장치(202)의 위치가 확인되면, 제1 장치(201)는 제7 UI(1507)를 디스플레이 할 수 있다. 제7 UI(1507)는 도 14를 참조하여 전술한 제3 화면(1430)에 대응될 수 있으며, 중복되는 설명은 생략한다. 일 실시 예에서, 제7 UI(1507)는 증강 현실 인터페이스를 이용한 안내를 종료하고 지도 및/또는 방위를 이용한 안내를 제공하는 디렉션 뷰(direction view)로 UI를 전환하는 아이콘(1571)을 더 포함할 수 있다. 아이콘(1571)을 선택하는 사용자 입력에 응답하여, 제1 장치(201)는 제2 장치(202)가 위치하는 방향을 안내하는 지도 또는 방위(예: 나침반) UI를 제공할 수 있다.
일 실시 예에서, 제7 UI(1507)의 안내를 따라 이동하던 중 제2 장치(202)로부터 신호가 유실되면 제8 UI(1508)가 디스플레이 될 수 있다. 제8 UI(1508)는 찾기 기능을 취소(Cancel)(1582)하거나, 재시도(Retry)(1581)하기 위한 메뉴를 포함할 수 있다.
일 실시 예에서, 제1 장치(201)가 제2 장치(202)에 매우 근접하고, 제1 장치(201)의 카메라(1131)에 의해 촬영되는 프레임 내에 제2 장치(202)가 위치하는 것으로 판단된 경우, 제1 장치(201)는 제9 UI(1509)를 디스플레이(1140)에 출력할 수 있다. 제9 UI(1509)는 도 14의 제4 화면(1440)에 대응될 수 있으며, 중복되는 설명은 생략한다. 일 실시 예에서, 제9 UI(1509)를 디스플레이 하는 것과 함께, 제1 장치(201)는 제2 장치(202)를 호출(예: ring 호출)하거나, 햅틱 발생 요청 및/또는 발광 요청과 같은 상호 작용을 제공하여, 사용자에게 제2 장치(202)의 정확한 위치를 제공할 수 있다.
도 16은 일 실시 예에 따른 전자 장치에서 UWB와 센서 데이터를 이용하여 타겟 위치를 업데이트하는 흐름도를 나타낸다.
도 16을 참조하면, 동작 1601에서 제1 장치(201)는 제2 장치(202)로부터 UWB 신호를 수신할 수 있다. 일 실시 예에서, 제1 장치(201)는 제2 장치(202)로 UWB 활성화 요청을 전송할 때 UWB 신호를 전송하는 간격을 제1 주기로 설정할 수 있고, 제1 주기가 도래하는 시점에 제2 장치(202)로부터 UWB 신호를 수신할 수 있다.
일 실시 예에 따르면, 동작 1603에서, 제1 장치(201)는 수신된 UWB 신호에 기반하여 타겟의 위치를 결정할 수 있다. 여기서 타겟이란, 앵커 생성 모듈(1232)에 의해 생성되는, 제2 장치(202)에 대응되는 앵커일 수 있다. 즉 앵커는 UWB 신호가 수신될 때마다 업데이트 될 수 있다. 다시 말해서, 앵커는 제1 주기 간격으로 업데이트 될 수 있다.
일 실시 예에 따르면, 동작 1605에서 제1 장치(201)는 하나 이상의 센서들(1130)을 이용하여 제1 장치(201)에 대한 상대적인 타겟의 위치를 업데이트 할 수 있다. 예를 들어, 동작 1603에서 앵커의 위치가 결정된 이후 앵커의 위치가 업데이트 되기 전에 제1 장치(201)가 이동하는 경우, 제1 장치(201)는 하나 이상의 센서들(1130)을 통해 획득되는 정보를 이용하여 제1 장치(201)와 앵커의 상대적인 위치를 업데이트 할 수 있다. 동작 1605는 제1 주기보다 짧은 제2 주기마다 수행될 수 있다. 예를 들어, 제1 주기는 100ms로 설정되고, 제2 주기는 10ms로 설정될 수 있다.
일 실시 예에 따르면, 동작 1607에서 제1 장치(201)는 제1 주기가 도래하였는지 판단할 수 있다. 아직 제1 주기가 경과하지 않았다면 제1 장치(201)는 하나 이상의 센서들(1130)을 통해 획득되는 정보를 기반으로 타겟 위치를 제2 주기 마다 업데이트할 수 있다. 도 16의 흐름도에 의해 업데이트되는 타겟의 위치가 도 13, 14, 15에서 설명된 증강 현실 인터페이스에 반영될 수 있다.
일 실시 예에서, 제1 주기가 도래하면 동작 1609에서 제1 장치(201)는 제2 장치(202)로부터 UWB 신호가 수신되는지 확인할 수 있다. 만약 정상적으로 UWB 신호가 수신되면 제1 장치(201)는 다시 동작 1603을 수행함으로써, 새로 수신된 UWB 신호에 기반하여 앵커를 업데이트 할 수 있다.
일 실시 예에서, 제1 주기가 도래하였음에도 새로운 UWB 신호가 수신되지 않을 수 있다. 예를 들어, 제1 장치(201)가 제2 장치(202)를 향해 이동하는 동안 UWB 신호에 해당하는 주파수 대역이 통과하기 어려운 공간을 지나가는 경우에 UWB 통신 장애가 발생할 수 있다. 이 경우, 제1 장치는 동작 1611에서 제1 주기와 제2 주기 중 적어도 하나를 변경할 수 있다. 예를 들어, 제1 장치(201)는 새로운 UWB 신호를 보다 빨리 수신할 수 있도록 제1 주기(예: 100ms)를 제1 주기보다 짧은 제3 주기(예: 20ms 또는 50ms)로 변경할 수 있다. 이 과정에서 제1 장치(201)는 기존에 수립된 근거리 통신 연결(예: Bluetooth 채널)을 통해 UWB 연결을 해제하고 제2 장치와 변경된 주기로 다시 UWB 연결을 수행하는 요청을 전송할 수 있다. 또한 제1 장치(201)는 마지막으로 수신된 UWB 신호를 기반으로 설정된 앵커를 기준으로 제1 장치(201)와 타겟의 상대적인 위치를 업데이트 하고 있으므로, 앵커의 위치는 시간이 경과함에 따라 신뢰도가 낮아지게 된다. 즉 앵커의 위치가 UWB 신호가 수신되는 경우에 비해 신뢰도가 낮으므로, 제1 장치(201)는 하나 이상의 센서들(1130)을 이용하여 상대적인 위치를 업데이트 하는 주기를, 제2 주기(예: 10ms)보다 긴 제4 주기(예: 20ms 또는 30ms)로 변경할 수 있다.
일 실시 예에 따르면, 제1 장치(201)는 제1 주기와 제2 주기 중 적어도 하나를 변경한 후 UWB 신호가 지정된 횟수 이상 수신되는 경우, UWB 신호 수신 주기를 제3 주기에서 제1 주기로 변경 및/또는 하나 이상의 센서들(1130)을 이용하여 상대적인 위치를 업데이트 하는 주기를 제4 주기에서 제2 주기로 변경할 수 있다.
도 17은 도 16의 흐름도에 대한 구체적인 세부 동작들을 나타낸다.
일 실시 예에 따르면, 제1 장치(201)는 AR 코어 서비스(240), 적어도 하나 이상의 센서들(1130), UI 레이터(1210), 데이터 저장소(1231), 앵커 생성 모듈(1232) 및/또는 UWB 회로(1243)을 포함할 수 있다.
도 16을 참조하면, 동작 1701에서 UI 레이어(1210)를 통해 리스너를 등록(register listener)하는 동작이 수행될 수 있다. 일 실시 예에서 리스너를 등록하는 동작은, 제2 장치(202)로부터 수신되는 UWB 신호와 관련된 다양한 파라미터를 데이터 저장소(1231)에 등록하는 과정으로 이해될 수 있다. 예를 들어, UWB 통신의 시작에 대한 정보와 제2 장치(202)와 UWB 신호의 전송 주기(예: 제1 주기 ? 100ms)가 데이터 저장소(1231)에 등록될 수 있다. 또한 리스너를 등록하는 동작은, UWB 신호를 보조하기 위해 센서 신호들을 수신하고 센서 신호에 기반하여 UI를 업데이트 하는 주기(예: 제2 주기 ? 10ms)를 등록하는 과정을 포함할 수 있다.
일 실시 예에 따르면, 동작 1703에서 UWB 회로(1243)는 제2 장치(202)와 UWB 연결을 수립할 수 있다. UWB 연결에는 데이터 저장소(1231)에 등록된 파라미터들이 이용될 수 있다. 또한 UWB 회로(1243)는 UWB 파인더(232)로 이해될 수 있다.
일 실시 예에 따르면, 동작 1705에서 UWB 회로(1243)는 제1 주기 간격으로 UWB 신호를 수신할 수 있다. 수신된 UWB 데이터는 AR 코어 서비스(240)로 제공될 수 있다.
일 실시 예에 따르면, 동작 1707에서 AR 코어 서비스(240)는 앵커 생성 모듈(1232)로 UWB 데이터를 제공할 수 있다. AR 코어 서비스(240)는 UWB 회로(1243)로부터 획득된 UWB 데이터(예: UWB 범위 데이터)에 부가하여 증강 현실을 생성하는데 사용되는 로컬 좌표에 대한 정보, 월드 좌표에 대한 정보, 및/또는 로컬 및 월드 좌표 사이의 관계에 대한 정보를 앵커 생성 모듈(1232)에 제공할 수 있다.
일 실시 예에 따르면, 동작 1709에서 앵커 생성 모듈(1232)은 AR 코어 서비스(240)로부터 획득된 데이터에 기반하여 가상의 앵커를 생성할 수 있다. 예를 들어, 제1 장치(201)의 자세(pose)를 생성하고 표준 좌표 공간에서 앵커를 설정한 경우, 제1 장치(201)의 카메라(1131)를 기준으로 제1 방향 및 제1 거리에 앵커가 위치할 수 있다. 제1 장치(201)의 위치와 자세가 변경되더라도 표준 좌표 공간에서 카메라(1131)가 앵커를 향하게 배치되면, 카메라(1131)의 화각 내에 앵커가 표시될 수 있다. 따라서 하나 이상의 센서들(1130)을 이용하여 제1 장치(201)의 움직임, 및/또는 기울기를 검출하면 제1 장치(201)는 현재 카메라(1131)가 향하는 방향과 앵커 사이의 각도 및 거리를 확인할 수 있다.
일 실시 예에 따르면, 동작 1711에서 하나 이상의 센서들(1130)은 앵커 생성 모듈(1232)로 센서 데이터를 제공할 수 있다. 예를 들어, 카메라(1131)를 통해 획득되는 데이터, 가속도 센서(1132)를 통해 획득되는 제1 장치(201)의 움직임 정보, 자이로 센서(1133)를 통해 획득되는 제1 장치(201)의 기울기 정보, 및/또는 지자기 센서(1134)를 통해 획득되는 제1 장치(201)의 방향 정보 중 적어도 하나의 데이터가 앵커 생성 모듈(1232)로 제공될 수 있다. 하나 이상의 센서들(1130)은 지속적으로 또는 주기적으로 센서 데이터를 앵커 생성 모듈(1132)로 제공할 수 있다.
일 실시 예에 따르면, 동작 1713에서 앵커 생성 모듈(1132)은 생성된 가상의 앵커 좌표에 제1 장치(201)의 센서 데이터를 반영하여 증강 현실 인터페이스를 제2 주기로 업데이트 할 수 있다. 예를 들어, 앵커 생성 모듈은 제1 장치(201)와 앵커와의 거리 및 방향 정보를 제2 주기(예: 10ms)마다 업데이트 해서 데이터 저장소(1231)로 제공할 수 있다.
일 실시 예에 따르면, 동작 1715에서 데이터 저장소(1231)는 다양한 알고리즘을 이용하여 데이터의 정규화, 평탄화, 및/또는 필터링을 수행할 수 있다. 예를 들어, 데이터 저장소(1231)는 칼만 필터를 이용하여 소정 범위를 벗어나는 데이터를 제거할 수 있다. 데이터 저장소(1231)는 데이터 저장소(1231)로 제공되는 모든 데이터에 대하여 상술한 동작을 수행할 수 있으며, 이하에서는 그 설명을 생략한다.
일 실시 예에 따르면, 동작 1717에서 데이터 저장소(1231)는 UI 레이어(1210)로 앵커와의 거리 및/또는 방향 정보를 제공할 수 있다. 제1 장치(201)의 사용자는 제1 장치(201)의 디스플레이(1140)를 통해 지정된 간격(예: 10ms) 단위로 업데이트 되는 증강 현실 인터페이스를 통해 제2 장치(202)의 위치를 제공받을 수 있다. 일 실시 예에 따르면, 지정된 간격은 증강 현실 인터페이스를 제공하는 디스플레이의 주사율에 기반하여 결정될 수 있다.
일 실시 예에서, 새로운 UWB 데이터가 수신되어야 할 시점에, UWB 신호가 정상적으로 수신되지 않을 수 있다. 예를 들어, 마지막으로 UWB 신호를 수신한 시점 이후로 제1 주기가 경과하였음에도 제2 장치(202)로부터 새로운 UWB 신호가 수신되지 않으면, 동작 1719에서 UWB 회로(1243)는 AR 코어 서비스(240)로 UWB 신호가 수신되지 않았음을 통지할 수 있다. 다른 실시 예에서, UWB 회로(1243)는 UWB 신호가 수신되지 않는 경우 아무런 데이터를 AR 코어 서비스(240)로 제공하지 않을 수 있고, AR 코어 서비스(240)는 제1 주가가 도래하였음에도 새로운 UWB 데이터가 제공되지 않는 경우, UWB 통신에 장애가 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 동작 1721에서 AR 코어 서비스(240)는 UWB 신호의 수신 주기인 제1 주기와 하나 이상의 센서들(1130)의 데이터를 이용한 타겟 위치의 업데이트 주기인 제2 주기 중 하나 이상을 변경할 수 있다. 예를 들어, AR 코어 서비스(240)는 UWB 회로(1243)로 제1 주기를 제1 주기보다 짧은 제3 주기로 변경할 것을 요청할 수 있다. 일 실시 예에 따르면, UWB 회로(1243)는 AR 코어 서비스(240)로부터 수신된 주기 변경 요청에 기반하여, 제1 주기로 설정된 기존의 UWB 연결을 해제하고, 제3 주기로 UWB 신호를 전송할 것을 요청하는 새로운 UWB 연결을 설정할 수 있다. UWB 연결의 해제/재설정과 관련된 메시지들은 제1 통신 회로(1121)에 의해 형성된 근거리 통신 연결을 통해 교환될 수 있다. 다른 예를 들어, AR 코어 서비스(240)는 앵커 생성 모듈(1232)로 제2 주기를 제2 주기보다 긴 제4 주기로 변경할 것을 요청할 수 있다.
동작 1722에서, 앵커 생성 모듈(1232)은 AR 코어 서비스(240)로부터 수신한 주기 변경 요청을 하나 이상의 센서들(1130)로 요청할 수 있다. 다만 일 실시 예에서, 하나 이상의 센서들(1130)로부터 획득되는 센서 데이터의 주기는 유지하되 앵커 생성 모듈(1232)이 업데이트하는 주기만 증가시킬 수 있다. 앵커 생성 모듈(1232)이 업데이트하는 주기만 증가시키는 경우 앵커 생성 모듈(1232)이 하나 이상의 센서들(1130)로 전송하는 요청 과정은 생략될 수 있다.
일 실시 예에 따르면, 동작 1723에서, 앵커 생성 모듈(1232)은 UWB 신호가 수신되지 않은 이후에도 센서 데이터를 획득할 수 있다. 이 경우, 앵커 생성 모듈(1232)은 마지막으로 수신된 UWB 신호를 기준으로 생성된 앵커의 좌표를 유지할 수 있다. 즉, 마지막으로 생성된 앵커를 기준으로 새로 획득된 센서 데이터를 반영할 수 있다.
일 실시 예에 따르면, 동작 1725에서, 앵커 생성 모듈(1232)은 마지막 앵커를 기준으로 거리 및 방향 정보를 데이터 저장소(1231)로 제공할 수 있다. 예를 들어, 앵커 생성 모듈(1232)은 제2 주기보다 긴 제4 주기로 제1 장치(201)에 대한 상대적인 앵커의 위치를 데이터 저장소(1231)로 제공할 수 있다.
일 실시 예에 따르면, 동작 1727에서 데이터 저장소(1231)는 UI 레이어(1210)로 변경된 주기에 기초하여 앵커와의 거리 및/또는 방향 정보를 제공할 수 있다. UI 레이어(1210)는 데이터 저장소(1231)로부터 수신된 앵커와의 거리 및 방향 정보에 기반하여 증강 현실 인터페이스를 업데이트 할 수 있다.
도 18은 일 실시 예에 따른 분실 장치와 연결을 수립하는 흐름도를 나타낸다.
도 18을 참고하면, 제2 장치(202)를 분실한 제1 장치(201)의 사용자가 제2 장치(202)의 분실과 관련된 설정을 적용한 경우에, 다른 사용자의 전자 장치(400)가 제2 장치(202)를 발견하고 제2 장치(202)와 통신 연결을 수행하는 실시 예가 설명된다. 도 1 내지 도 17을 참조하여 설명한 내용 중 도 18 내지 도 21과 배치되지 않은 내용은 도 18 내지 도 21의 설명에도 동일하게 적용될 수 있다.
일 실시 예에 따르면, 동작 1801에서 제1 장치(201)는 도움 요청을 활성화 할 수 있다. 예를 들어, 제2 장치(202)의 분실을 인지한 제1 장치(201)의 사용자는, 제2 장치(202)의 발견에 도움이 되는 정보를 등록할 수 있다. 추가적으로 또는 대체적으로 제1 장치(201)의 사용자는 제2 장치(202)의 발견을 위해 다른 사용자들의 도움을 적극적으로 요청할 수 있다. 정보의 등록 및 도움의 요청과 관련된 예시적인 UI가 도 19를 참조하여 설명된다.
일 실시 예에서, 제1 장치(201)의 UI를 통해 도움 요청이 활성화되면, 제1 장치(201)는 도움 요청이 활성화되었음을 나타내는 정보를 서버(300)로 전송할 수 있다. 서버(300)는 제1 장치(201)로부터 분실된 장치, 즉 제2 장치(202)에 대한 도움 요청이 활성화되었음을 나타내는 정보를 수신할 수 있다. 또한, 상기 정보는 분실 메시지에 대한 정보를 포함할 수 있다. 분실 메시지는, 예를 들어 분실 장치를 찾았을 때 연락을 희망하는 연락처(예: 제1 장치(201)의 사용자의 연락처), 분실 시 사례에 대한 정보 등을 포함할 수 있다.
일 실시 예에서, 도움 요청은 제2 장치(202)의 분실 전에 이루어질 수도 있고, 분실 후에 이루어질 수도 있다. 도움 요청이 제2 장치(202)의 분실 전에 이루어진 경우, 제1 장치(201)는 근거리 통신(예: BT)을 지원하는 제1 무선 통신 회로(1121)를 이용하여 제2 장치(202)로 분실 메시지를 제공할 수 있다. 제2 장치(202)는 획득한 분실 메시지를 메모리(1020)에 저장하고 있다가, 전자 장치(400)과의 연결이 수립된 후에 전자 장치(400)에 분실 메시지를 제공할 수 있다.
일 실시 예에서, 도움 요청이 제2 장치(202)의 분실 후에 이루어진 경우, 분실 메시지는 서버(300)에 의해 전자 장치(400)로 제공될 수 있다.
일 실시 예에 따르면, 동작 1810에서 전자 장치(400)는 분실 장치 찾기를 허용할 수 있다. 동작 1810은 도 8의 동작 811에 대응될 수 있다. 예를 들어, 전자 장치(400)는 적절한 세팅 화면을 통해 분실 장치를 탐색하는 기능을 활성화할 수 있다. 이와 관련된 예시적인 UI가 도 20을 통해 설명된다.
일 실시 예에서, 전자 장치(400)의 분실 장치 찾기 기능은 기본적으로 활성화 상태일 수 있다. 이 경우, 전자 장치(400)의 사용자는 전력 소모를 절감하기 위해 분실 장치 찾기 기능을 비활성화시킬 수 있다. 다른 실시 예에서, 전자 장치(400)의 분실 장치 찾기 기능은 전자 장치(400)의 배터리가 지정된 수준(50%) 이상인 경우에 자동으로 활성화될 수 있다. 또 다른 실시 예에서, 전자 장치(400)의 분실 장치 찾기 기능은 기본적으로 비활성화 상태일 수 있다. 적절한 세팅 화면에 대한 사용자 입력을 통해 분실 장치 찾기 기능은 활성화될 수 있다.
일 실시 예에 따르면, 동작 1811에서 분실 상태에 있는 제2 장치(202)는 애드버타이징 패킷을 브로드캐스팅 할 수 있다. 동작 1811은 도 6의 동작 601, 도 8의 동작 801, 도 9의 동작 901에 대응될 수 있다.
일 실시 예에 따르면, 동작 1820에서 전자 장치(400)는 제2 장치(201)에 의해 브로드캐스팅 된 애드버타이징 패킷을 수신할 수 있다. 동작 1820은 도 6의 동작 611에 대응될 수 있다.
일 실시 예에 따르면, 동작 1830에서 전자 장치(400)는 제2 장치(202)의 식별 정보 및 전자 장치(400)의 위치 정보를 서버(300)로 전송할 수 있다. 예를 들어, 전자 장치(400)는 제2 장치(202)의 애드버타이징 패킷에 포함된 제2 장치(202)의 식별 정보(예: 개인 ID(1004))를 확인할 수 있다. 또한 전자 장치(400)는 위치 측정 회로를 이용하여 전자 장치(400)의 위치 정보를 확인할 수 있다. 전자 장치(400)는 상기 확인된 식별 정보 및 위치 정보를 서버(300)로 전송할 수 있다. 동작 1830은, 도 6의 동작 613 및 615에 대응될 수 있다.
일 실시 예에 따르면, 동작 1831에서 서버(300)는 제2 장치(202)의 식별 정보 및 위치 정보를 획득할 수 있다. 동작 1831은 도 6의 동작 621에 대응될 수 있다.
일 실시 예에 따르면, 동작 1833에서 서버(300)는 분실 메시지 및/또는 인증 키를 전자 장치(400)로 전송할 수 있다. 예를 들어, 서버(300)는 전자 장치(400)로부터 수신된 제2 장치(202)의 식별 정보에 대응하는 제1 장치(201)의 설정을 확인할 수 있다. 예를 들어, 서버(300)는 제1 장치(201)에서 분실 장치에 대한 도움 요청이 활성화되어 있는 것을 확인할 수 있다. 도움 요청이 활성화되어 있는 경우, 서버(300)는 전자 장치(400)로 분실 메시지와 일회용 세션 키(onetime session key)와 같은 인증 키를 전송할 수 있다. 인증 키는 전자 장치(400)와 제2 장치(202)가 무선 통신 연결(예: BLE GATT 연결) 시 별도의 암호화/복호화 없이 신뢰할 수 있는 장치임을 인증하기 위해 사용될 수 있다.
일 실시 예에서, 도움 요청이 활성화되지 않은 경우, 서버(300)는 도 18의 동작 1833 내지 1850을 수행하는 대신 도 6의 동작 623을 수행할 수 있다.
일 실시 예에서, 제2 장치(202)의 개인 ID(1004)는 보안을 위해 일정 주기로 변경될 수 있다. 예를 들어, 제2 장치(202)는 애드버타이징 패킷에 포함되는 개인 ID(1004)를 소정 알고리즘에 따라 15분 간격으로 변경할 수 있다. 상기 알고리즘은 제1 장치(201) 및/또는 서버(300)에서도 동일하게 구현될 수 있다. 예를 들어, 서버(300)는 제2 장치(202)의 식별 정보가 제1 개인 키로 유지되는 제1 시간 구간(예: 15분)에는 상기 제1 개인 키에 해당하는 일회용 세션 키를 생성할 수 있고, 이 일회용 세션 키는 상기 제1 시간 구간에만 제2 장치(202)와의 통신에 있어서 유효할 수 있다. 예를 들어, 전자 장치(400)가 상기 일회용 세션 키를 수신한 후 소정 시간이 경과한 후(예: 제2 장치(202)의 개인 ID(1004)가 제2 개인 키로 변경된 후), 상기 제1 개인 키에 해당하는 상기 일회용 세션 키로 상기 제2 장치(202)와 통신 연결을 시도한다면, 제2 장치(202)에 의해 통신 연결이 거부될 수 있다.
일 실시 예에 따르면, 동작 1840에서 전자 장치(400)는 서버(300)로부터 분실 메시지 및/또는 인증 키를 수신할 수 있다. 동작 1841에서 전자 장치(400)는 전자 장치(400)의 디스플레이에 분실 장치에 대한 알림을 출력할 수 있다. 예를 들어, 전자 장치(400)는 주변에 분실 장치가 있다는 알림을 팝업, 노티(notification), 소리, 진동 등을 이용하여 디스플레이에 표시할 수 있다.
일 실시 예에 따르면, 동작 1843에서 전자 장치(400)는 인증 키를 이용하여 제2 장치(202)와 연결을 시도할 수 있다. 전자 장치(400)는 근거리 통신 네트워크를 지원하는 제1 무선 통신 회로와, 원거리 통신 네트워크(예: 셀룰러, Wi-Fi)를 지원하는 제2 무선 통신 회로를 포함할 수 있다. 전자 장치(400)는 서버(300)와의 통신에 있어서는 제2 무선 통신 회로를 이용하고, 제2 장치(202)와의 통신에 있어서는 제1 무선 통신 회로를 이용할 수 있다.
일 실시 예에 따르면, 동작 1845에서 제2 장치(202)는 전자 장치(400)로부터 수신된 인증 키에 기반하여 전자 장치(400)와의 연결을 허용할 수 있다. 예를 들어, 제2 장치(202)는 인증 키에 기반하여 전자 장치와 BLE GATT(generic attribute) 연결을 허용할 수 있다. 그러나 제2 장치(202)와 전자 장치(400) 사이의 연결은 근거리 통신을 이용한 다양한 연결이 가능하며, GATT 연결로 제한되지 않는다.
일 실시 예에 따르면, 동작 1850에서 전자 장치(400)는 제2 장치(202)와 통신 연결을 수립할 수 있다. 전자 장치(400)는 이 통신 연결을 이용하여 제2 장치(202)의 일부 기능을 제어하거나, 제2 장치(202)로부터 분실 메시지를 획득할 수 있다.
이하에서는 도 19 내지 도 21을 참고하여, 도 18의 동작들을 수행하는 제1 장치(201) 및 전자 장치(400)의 예시적인 UI를 설명한다.
도 19는 일 실시 예에 따른 제1 장치에서 분실 장치를 찾기 위한 도움 요청(help request)을 활성화하고 분실 메시지를 등록하는 예시적인 UI들을 나타낸다.
도 19를 참고하면, 도움 요청과 관련된 설정을 하기 위해 제1 장치(201)의 디스플레이에는 제1 화면(1910)과 같은 인터페이스가 제공될 수 있다. 제2 장치(202)는, 예를 들어 "Galaxy Tag"와 같은 이름으로 제1 장치(201)에 미리 등록되어 있을 수 있다.
일 실시 예에서, 제1 화면(1910)은 분실 장치가 발견되었을 때 알림을 제공하도록 하는 제1 설정 항목(1911) 및 소유자가 메시지/설정을 등록하기 위한 제2 설정 항목(1913)을 포함할 수 있다. 제2 설정 항목(1913)의 선택에 응답하여 전자 장치(400)는 제2 화면(1920)을 디스플레이 할 수 있다.
일 실시 예에서, 제2 화면(1920)은 플리킹이나 드래그, 스크롤과 같은 터치 입력을 통해 설정 화면을 전환할 수 있음을 나타내는 영역(1921)을 포함할 수 있다. 제2 화면(1920)에서 제3 화면(1930)으로 전환되는 경우, 영역(1921) 내의 인디케이터가 현재 페이지를 나타낼 수 있다.
일 실시 예에서, 제1 장치(201)는 "다른 사용자들에게 도움 요청(Request help to others) " 항목(1923)에 대한 선택에 응답하여, 비활성화 상태인 도움 요청 기능을 활성화 상태로 전환할 수 있다. 만약 도움 요청 기능이 활성화 상태인 경우, 상기 선택에 응답하여 도움 요청 기능은 비활성화 상태로 전환될 수 있다.
일 실시 예에서, 도움 요청 기능이 비활성화 상태에서 활성화 상태로 전환되는 경우 적절한 경고 메시지(1925)가 제공될 수 있다. 경고 메시지(1925)는 제2 화면(1920)에 중첩되어 팝업 형태로 제공될 수도 있고, 항목(1923)을 대체하는 형태로 제공될 수도 있다. 도움 요청 기능이 활성화되는 경우, 사용자의 연락처에 관한 정보가 제공될 수 있다는 점, 제2 장치(202)의 일부 기능(예: ring)이 다른 장치에 의해 제어될 수 있다는 점, 및/또는 보상을 약속한 경우 법적 구속력이 있을 수 있다는 점에 관한 경고가 출력될 수 있다. 경고 메시지(1925)에 대해 승인(예: Turn On 선택)한 경우, 항목(1923)의 토글(toggle) 스위치가 활성화될 수 있다.
다른 실시 예에서, 경고 메시지(1925)는 생략될 수 있다. 이 경우, 항목(1923)을 선택하는 것에 응답하여 분실 장치 찾기 기능은 바로 활성화될 수 있다. 예를 들어, 제2 화면(1920)에서 항목(1923)은 항목(1927)로 대체될 수 있다.
일 실시 예에서, 제1 장치(201)는 분실 메시지 항목(1931)에 대한 선택에 응답하여 분실 메시지 입력을 위한 제4 화면(1940)을 디스플레이 할 수 있다. 예를 들어, 사용자는 키 패드 영역(1943) 또는 적절한 입력 수단을 이용하여 분실 메시지(1941)를 작성 및 저장할 수 있다.
도 20은 일 실시 예에 따른 전자 장치에서 분실 장치 찾기 기능을 활성화하는 예시적인 UI들을 나타낸다.
일 실시 예에서, 제1 화면(2010)은 분실 장치 찾기 기능을 활성화하는 항목(2011)을 포함할 수 있다. 분실 장치 찾기 기능을 활성화하는 항목(2011)에 대한 선택에 응답하여, 전자 장치(400)는 제2 화면(2020)을 디스플레이 할 수 있다. 분실 장치 찾기 기능이 활성화되면, 전자 장치(400)는 도 18의 근거리 통신을 위한 제1 무선 통신 회로를 활성화하고 주변 장치에 의해 브로드캐스팅되는 애드버타이징 패킷을 스캐닝할 수 있다.
일 실시 예에서 제2 화면(2020)은 분실 장치 찾기 기능이 활성화되었음을 나타내는 설명을 포함할 수 있다. 사용자는 제2 화면의 OFF 버튼(2021)을 선택함으로써 분실 장치 찾기 기능을 비활성화 상태로 전환할 수 있다.
도 21은 일 실시 예에 따른 전자 장치에서 분실 장치와 연결을 수행하는 예시적인 UI들을 나타낸다.
도 18 및 도 20을 참고하여 설명한 것과 같이, 전자 장치(400)는 분실 장치 찾기 기능을 활성화할 수 있다. 분실 장치 찾기 기능이 활성화되면, 전자 장치(400)는 주변에 존재하는 제2 장치(202)와 같은 분실 장치로부터 애드버타이징 패킷을 수신함으로써, 주위에 분실 장치가 있음을 인지할 수 있다.
일 실시 예에서, 제2 장치(202)에 대해 도움 요청이 활성화되어 있는 경우, 전자 장치(404)는 서버(300)로부터 분실 메시지/인증 키를 포함하는 정보를 수신할 수 있다. 상기 정보의 수신에 응답하여 전자 장치(400)는 디스플레이에 분실 장치에 대한 알림을 출력할 수 있다. 예를 들어, 전자 장치(400)는 도 18의 동작 1841을 수행할 수 있다.
일 실시 예에서, 전자 장치(400)는 동작 1841의 수행 시 제1 UI(2110)를 디스플레이에 출력할 수 있다. 예를 들어, 전자 장치(400)는 주변에 분실 장치가 있으며, 검색(search)을 수행할 것인지를 확인하는 메시지(2111)를 포함하는 제1 UI(2110)를 디스플레이 할 수 있다. 도 21의 메시지는 예시적이고 적절히 변경될 수 있다. 예를 들어, 제2 장치(202)와 연결(connection)을 수행할 것인지 확인하는 메시지가 출력될 수 있다. 또한, 메시지는 팝업, 소리, 진동, 알림 또는 이들 중 둘 이상의 조합으로 출력될 수 있다.
일 실시 예에서, 메시지에 대한 사용자 입력에 응답하여 전자 장치(400)는 제2 장치(202)와 연결을 시도할 수 있다. 예를 들어, 전자 장치(400)는 서버(300)로부터 수신된 인증 키(예: 일회용 세션 키)를 이용하여 제2 장치(202)와 BLE GATT 연결을 시도할 수 있다. 전자 장치(400)이 연결을 시도하는 동안 연결 시도 중임을 나타내는 제2 UI(2120)가 디스플레이 될 수 있다.
일 실시 예에서, 인증 키를 이용한 제2 장치(202)와의 연결이 수립되면 전자 장치(400)는 제2 장치(202)와 연결이 수립되었음을 나타내는 제3 UI(2130)를 디스플레이 할 수 있다. 제3 UI(2130)는 연결된 장치의 식별 정보(예: Galaxy Tag)를 포함할 수 있다.
일 실시 예에서, 제3 UI(2130)에 대한 사용자 입력에 응답하여 제4 UI(2140)이 디스플레이 될 수 있다. 다른 예시에서, 제3 UI(2130)가 표시된 이후 지정된 시간의 경과 후에 자동적으로 제4 UI(2140)가 디스플레이 될 수 있다. 또 다른 실시 예에서, 제3 UI(2130)의 표시가 생략되고 바로 제4 UI(2140)가 디스플레이 될 수 있다.
일 실시 예에서, 제4 UI(2140)는 제1 장치(201)에 의해 등록된 분실 메시지(2141)를 포함할 수 있다. 또한 제4 UI(2140)는 제2 장치(202)의 링을 울리기 위한 아이콘(2143)을 포함할 수 있다. 예를 들어, 아이콘(2143)의 선택에 응답하여, 전자 장치(400)는 BLE GATT 연결을 통해 제2 장치(202)로 링을 울리기 위한 제어 신호를 전송할 수 있다. 제2 장치(202)는 제어 신호의 수신에 응답하여 제2 장치(202)의 스피커를 제어함으로써 링 소리를 출력할 수 있다. 상술한 제어를 통해 전자 장치(400)는 제2 장치(202)를 보가 효과적으로 발견할 수 있다.
위의 예시에서 전자 장치(400)가 아이콘(2143)을 통해 제2 장치(202)의 링 소리를 제어하는 것을 설명하였으나, 전자 장치(400)는 적절한 아이콘, 메뉴, 버튼 등을 통해 제2 장치(202)의 하나 이상의 기능을 제어할 수 있다. 예를 들어, 전자 장치(400)는 제2 장치(202)에서 진동을 발생시키거나, 제2 장치(202)가 UWB 신호를 송출하도록 제어할 수 있다. 전자 장치(400)는 제2 장치(202)에서 수신된 UWB 신호를 이용하여 제2 장치(202)의 위치를 효과적으로 확인할 수 있다. 이와 관련하여, 전자 장치(400)는 도 13 내지 17을 이용하여 제1 장치(201)가 수행할 수 있는 것으로 설명된 기능의 적어도 일부를 수행할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치(예: 전자 장치(101), 제1 장치(201))는, 카메라(예: 카메라 모듈(180), 카메라(1131)), 디스플레이(예: 디스플레이 모듈(160), 디스플레이(1140)), 위치 측정 회로(1124), UWB 안테나, 상기 UWB 안테나와 연결된 UWB 통신 회로(1123), 근거리 통신을 지원하는 제1 무선 통신 회로(1121), 셀룰러 통신을 지원하는 제2 무선 통신 회로(1122), 및 적어도 하나의 프로세서(예: 프로세서(120), 프로세서(1110))를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 제2 무선 통신 회로를 이용하여 서버(예: 서버(300))로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치(예: 제2 장치(201))에 대한 정보를 획득하고, 상기 서버로부터 획득된 정보 및 상기 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여 상기 전자 장치가 상기 외부 장치에 대한 정보에 포함된 상기 외부 장치의 좌표로부터 지정된 거리 이내에 존재하는지 여부를 판단하고, 상기 판단 결과에 응답하여 상기 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하고, 상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치에 탑재된 UWB 기능을 활성화하는 요청을 전송하고, 상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하고, 상기 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 디스플레이에 출력할 수 있다.
일 실시 예에서, 상기 증강 현실 인터페이스는 상기 전자 장치의 현재 위치로부터 상기 외부 장치의 상기 식별된 위치까지의 거리를 나타내는 제1 객체를 포함할 수 있다. 또한 상기 증강 현실 인터페이스는 상기 외부 장치의 상기 식별된 위치를 지시하는(pointing) 제2 객체를 포함할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우, 상기 디스플레이에 상기 외부 장치의 좌표를 향해 이동하도록 하는 가이드를 제공할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 UWB 기능을 활성화하는 요청에 응답하여 상기 외부 장치로부터 상기 UWB 기능의 활성화가 가능하지 않다는 것을 지시하는 응답을 수신하면, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치까지의 거리를 감지할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 서버로부터 획득한 상기 외부 장치에 대한 정보에 기초하여 상기 UWB 기능의 사용 여부를 결정할 수 있다.
일 실시 예에서, 상기 서버로부터 획득한 상기 정보는, 상기 외부 장치가 UWB 통신을 지원하는지 여부 또는 상기 외부 장치의 배터리를 나타내는 정보를 포함할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우 제1 UI를 상기 디스플레이에 출력하고, 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 위치하고 외부 장치와 상기 근거리 통신 연결이 수립되는 것에 응답하여 상기 제1 UI를 상기 카메라를 이용하여 획득되는 상기 이미지 데이터를 포함하는 제2 UI로 전환할 수 있다.
일 실시 예에서, 상기 전자 장치는 하나 이상의 센서들(예: 하나 이상의 센서들(1130))을 더 포함하고, 상기 적어도 하나의 프로세서는 상기 UWB 통신 회로를 이용하여 제1 주기마다 상기 외부 장치로부터 상기 UWB 신호를 수신하고, 상기 UWB 신호에 기반하여 식별된 상기 외부 장치의 위치를 상기 하나 이상의 센서들을 통해 획득되는 센서 데이터에 기반하여 상기 제1 주기보다 짧은 제2 주기마다 업데이트할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 제1 주기가 도래하였으나 상기 외부 장치로부터 상기 UWB 신호가 수신되지 않은 경우, 상기 제1 주기 및 상기 제2 주기 중 적어도 하나를 변경할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 방법은, 전자 장치(예: 전자 장치(101), 제1 장치(201))의 제2 무선 통신 회로를 이용하여 서버(예: 서버(300))로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치(예: 제2 장치(201))에 대한 정보를 획득하는 동작, 상기 서버로부터 획득된 정보 및 상기 전자 장치의 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여 상기 전자 장치가 상기 외부 장치에 대한 정보에 포함된 상기 외부 장치의 좌표로부터 지정된 거리 이내에 존재하는지 여부를 판단하는 동작, 상기 판단 결과에 응답하여 상기 전자 장치의 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하는 동작, 상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치에 탑재된 UWB 기능을 활성화하는 요청을 전송하는 동작, 상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하는 동작, 및 상기 전자 장치의 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 전자 장치의 디스플레이에 출력하는 동작을 포함할 수 있다.
일 실시 예에 따른 상기 방법은, 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우, 상기 디스플레이에 상기 외부 장치의 좌표를 향해 이동하도록 하는 가이드를 제공하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 상기 방법은, 상기 UWB 기능을 활성화하는 요청에 응답하여 상기 외부 장치로부터 상기 UWB 기능의 활성화가 가능하지 않다는 것을 지시하는 응답을 수신하면, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치까지의 거리를 감지하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 상기 방법은, 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우 제1 UI를 상기 디스플레이에 출력하는 동작, 및 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 위치하고 외부 장치와 상기 근거리 통신 연결이 수립되는 것에 응답하여 상기 제1 UI를 상기 카메라를 이용하여 획득되는 상기 이미지 데이터를 포함하는 제2 UI로 전환하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 상기 방법은, 상기 UWB 통신 회로를 이용하여 제1 주기마다 상기 외부 장치로부터 상기 UWB 신호를 수신하는 동작, 및 상기 UWB 신호에 기반하여 식별된 상기 외부 장치의 위치를 상기 전자 장치의 하나 이상의 센서들을 통해 획득되는 센서 데이터에 기반하여 상기 제1 주기보다 짧은 제2 주기마다 업데이트 하는 동작을 더 포함할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치(예: 제2 장치(202))는, 무선 통신 회로(예: 통신 회로(1030)), UWB 통신 회로, 상기 UWB 통신 회로와 전기적으로 연결된 UWB 안테나, 및 상기 무선 통신 회로 및 상기 UWB 통신 회로와 전기적 또는 작동적으로 연결된 프로세서(예: 프로세서(1010))를 포함하고, 상기 프로세서는, 상기 무선 통신 회로를 이용하여 외부 장치와 근거리 통신 연결을 수립하고, 상기 근거리 통신 연결을 통해 UWB 활성화 요청을 수신하고, 상기 UWB 활성화 요청에 응답하여, 상기 UWB 통신 회로를 이용하여 지정된 주파수의 UWB 신호를 전송할 수 있다.
일 실시 예에서, 상기 프로세서는, 상기 무선 통신 회로를 이용하여 상기 UWB 통신 회로가 이용 가능한지 여부를 지시하는 정보를 포함하는 애드버타이징 패킷(1000)을 브로드캐스팅 할 수 있다.
일 실시 예에서, 상기 프로세서는, 상기 근거리 통신 연결을 통해, 상기 외부 장치(예: 제1 장치(201))로 상기 UWB 통신 회로가 이용 가능한지 여부를 지시하는 정보를 제공할 수 있다.
일 실시 예에서, 상기 프로세서는, 상기 전자 장치의 배터리 잔량이 기준 값 이하인 경우 상기 UWB 통신 회로가 이용 가능하지 않다는 정보를 상기 외부 장치로 제공할 수 있다.
일 실시 예에서, 상기 UWB 활성화 요청은 상기 UWB 통신 회로를 이용하여 상기 UWB 신호를 전송하는 주기에 대한 정보를 포함하고, 상기 프로세서는 상기 UWB 통신 회로를 이용하여 상기 주기마다 상기 UWB 신호를 전송할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 위치 측정 회로, 근거리 통신을 지원하는 제1 무선 통신 회로, 셀룰러 통신을 지원하는 제2 무선 통신 회로, 및 상기 위치 측정 회로, 제1 무선 통신 회로, 및 상기 제2 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치로부터 애드버타이징 패킷을 획득하고, 상기 제2 무선 통신 회로를 이용하여, 상기 애드버타이징 패킷에서 획득된 상기 외부 장치의 식별 정보 및 상기 위치 측정 회로를 통해 획득된 상기 전자 장치의 위치 정보를 서버로 전송하고, 상기 서버로부터 상기 외부 장치와 연관된 인증 키를 획득하고, 상기 인증 키를 이용하여 상기 외부 장치와 통신 연결을 수립할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 제2 무선 통신 회로를 이용하여 상기 서버로부터 상기 인증 키와 함께 분실 메시지를 더 획득할 수 있다.
일 실시 예에서, 상기 전자 장치는 디스플레이를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 디스플레이에 상기 분실 메시지를 출력할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 통신 연결을 통해 상기 외부 장치의 적어도 하나의 기능을 제어하기 위한 제어 신호를 전송할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치와 BLE GATT 연결을 수립할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C," "A, B 및 C 중 적어도 하나", 및 " A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, "비일시적"은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (25)

  1. 전자 장치에 있어서,
    카메라;
    디스플레이;
    위치 측정 회로(GPS);
    UWB 안테나;
    상기 UWB 안테나와 연결된 UWB 통신 회로;
    근거리 통신을 지원하는 제1 무선 통신 회로;
    셀룰러 통신을 지원하는 제2 무선 통신 회로; 및
    상기 카메라, 상기 디스플레이, 상기 UWB 통신 회로, 상기 위치 측정 회로, 상기 제1 무선 통신 회로 및 상기 제2 무선 통신 회로와 전기적 또는 작동적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는:
    상기 제2 무선 통신 회로를 이용하여, 서버로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치에 대한 정보를 획득하고, 상기 외부 장치에 대한 정보는 상기 외부 장치의 좌표에 대한 정보를 포함함;
    상기 서버로부터 획득된 정보 및 상기 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여, 상기 전자 장치가 상기 외부 장치의 좌표로부터 지정된 거리 이내에 존재하는지 여부를 판단하고,
    상기 판단 결과에 응답하여 상기 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하고,
    상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치에 탑재된 UWB 기능을 활성화하는 요청을 전송하고,
    상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하고,
    상기 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 디스플레이에 출력하는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 증강 현실 인터페이스는 상기 전자 장치의 현재 위치로부터 상기 외부 장치의 상기 식별된 위치까지의 거리를 나타내는 제1 객체를 포함하는, 전자 장치.
  3. 청구항 2에 있어서,
    상기 증강 현실 인터페이스는 상기 외부 장치의 상기 식별된 위치를 지시하는(pointing) 제2 객체를 포함하는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는, 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우, 상기 디스플레이에 상기 외부 장치의 좌표를 향해 이동하도록 하는 가이드를 제공하는, 전자 장치.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는, 상기 UWB 기능을 활성화하는 요청에 응답하여 상기 외부 장치로부터 상기 UWB 기능의 활성화가 가능하지 않다는 것을 지시하는 응답을 수신하면, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치까지의 거리를 감지하는, 전자 장치.
  6. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는, 상기 서버로부터 획득한 상기 외부 장치에 대한 정보에 기초하여 상기 UWB 기능의 사용 여부를 결정하는, 전자 장치.
  7. 청구항 6에 있어서,
    상기 서버로부터 획득한 상기 정보는, 상기 외부 장치가 UWB 통신을 지원하는지 여부 또는 상기 외부 장치의 배터리를 나타내는 정보를 포함하는, 전자 장치.
  8. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우 제1 UI를 상기 디스플레이에 출력하고,
    상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 위치하고 외부 장치와 상기 근거리 통신 연결이 수립되는 것에 응답하여 상기 제1 UI를 상기 카메라를 이용하여 획득되는 상기 이미지 데이터를 포함하는 제2 UI로 전환하는, 전자 장치.
  9. 청구항 1에 있어서,
    하나 이상의 센서들을 더 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 UWB 통신 회로를 이용하여 제1 주기마다 상기 외부 장치로부터 상기 UWB 신호를 수신하고,
    상기 UWB 신호에 기반하여 식별된 상기 외부 장치의 위치를 상기 하나 이상의 센서들을 통해 획득되는 센서 데이터에 기반하여 상기 제1 주기보다 짧은 제2 주기마다 업데이트 하는, 전자 장치.
  10. 청구항 9에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제1 주기가 도래하였으나 상기 외부 장치로부터 상기 UWB 신호가 수신되지 않은 경우, 상기 제1 주기 및 상기 제2 주기 중 적어도 하나를 변경하는, 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 제2 무선 통신 회로를 이용하여, 서버로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치에 대한 정보를 획득하는 동작, 상기 외부 장치에 대한 정보는 상기 외부 장치의 좌표에 대한 정보를 포함함;
    상기 서버로부터 획득된 정보 및 상기 전자 장치의 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여, 상기 전자 장치가 상기 외부 장치의 좌표로부터 지정된 거리 이내에 존재하는지 여부를 판단하는 동작;
    상기 판단 결과에 응답하여 상기 전자 장치의 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하는 동작;
    상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치에 탑재된 UWB 기능을 활성화하는 요청을 전송하는 동작;
    상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하는 동작; 및
    상기 전자 장치의 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 전자 장치의 디스플레이에 출력하는 동작을 포함하는, 방법.
  12. 청구항 11에 있어서,
    상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우, 상기 디스플레이에 상기 외부 장치의 좌표를 향해 이동하도록 하는 가이드를 제공하는 동작을 더 포함하는, 방법.
  13. 청구항 11에 있어서,
    상기 UWB 기능을 활성화하는 요청에 응답하여 상기 외부 장치로부터 상기 UWB 기능의 활성화가 가능하지 않다는 것을 지시하는 응답을 수신하면, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치까지의 거리를 감지하는 동작을 더 포함하는, 방법.
  14. 청구항 11에 있어서,
    상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우 제1 UI를 상기 디스플레이에 출력하는 동작, 및,
    상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 위치하고 외부 장치와 상기 근거리 통신 연결이 수립되는 것에 응답하여 상기 제1 UI를 상기 카메라를 이용하여 획득되는 상기 이미지 데이터를 포함하는 제2 UI로 전환하는 동작을 더 포함하는, 방법.
  15. 청구항 11에 있어서,
    UWB 통신 회로를 이용하여 제1 주기마다 상기 외부 장치로부터 상기 UWB 신호를 수신하는 동작, 및
    상기 UWB 신호에 기반하여 식별된 상기 외부 장치의 위치를 상기 전자 장치의 하나 이상의 센서들을 통해 획득되는 센서 데이터에 기반하여 상기 제1 주기보다 짧은 제2 주기마다 업데이트 하는 동작을 더 포함하는, 방법.
  16. 전자 장치에 있어서,
    무선 통신 회로,
    UWB 통신 회로,
    상기 UWB 통신 회로와 전기적으로 연결된 UWB 안테나, 및
    상기 무선 통신 회로 및 상기 UWB 통신 회로와 전기적 또는 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는:
    상기 무선 통신 회로를 이용하여 외부 장치와 근거리 통신 연결을 수립하고,
    상기 근거리 통신 연결을 통해 UWB 활성화 요청을 수신하고,
    상기 UWB 활성화 요청에 응답하여, 상기 UWB 통신 회로를 이용하여 지정된 주파수의 UWB 신호를 전송하는, 전자 장치.
  17. 청구항 16에 있어서,
    상기 프로세서는, 상기 무선 통신 회로를 이용하여 상기 UWB 통신 회로가 이용 가능한지 여부를 지시하는 정보를 포함하는 애드버타이징 패킷을 브로드캐스팅 하는, 전자 장치.
  18. 청구항 16에 있어서,
    상기 프로세서는, 상기 근거리 통신 연결을 통해, 상기 외부 장치로 상기 UWB 통신 회로가 이용 가능한지 여부를 지시하는 정보를 제공하는, 전자 장치.
  19. 청구항 18에 있어서,
    상기 프로세서는, 상기 전자 장치의 배터리 잔량이 기준 값 이하인 경우 상기 UWB 통신 회로가 이용 가능하지 않다는 정보를 상기 외부 장치로 제공하는, 전자 장치.
  20. 청구항 16에 있어서,
    상기 UWB 활성화 요청은 상기 UWB 통신 회로를 이용하여 상기 UWB 신호를 전송하는 주기에 대한 정보를 포함하고,
    상기 프로세서는 상기 UWB 통신 회로를 이용하여 상기 주기마다 상기 UWB 신호를 전송하는, 전자 장치.
  21. 전자 장치에 있어서,
    위치 측정 회로;
    근거리 통신을 지원하는 제1 무선 통신 회로;
    셀룰러 통신을 지원하는 제2 무선 통신 회로; 및
    상기 위치 측정 회로, 제1 무선 통신 회로, 및 상기 제2 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는:
    상기 제1 무선 통신 회로를 이용하여 상기 외부 장치로부터 애드버타이징 패킷을 획득하고,
    상기 제2 무선 통신 회로를 이용하여, 상기 애드버타이징 패킷에서 획득된 상기 외부 장치의 식별 정보 및 상기 위치 측정 회로를 통해 획득된 상기 전자 장치의 위치 정보를 서버로 전송하고,
    상기 서버로부터 상기 외부 장치와 연관된 인증 키를 획득하고,
    상기 인증 키를 이용하여 상기 외부 장치와 통신 연결을 수립하는, 전자 장치.
  22. 청구항 21에 있어서,
    상기 적어도 하나의 프로세서는 제2 무선 통신 회로를 이용하여 상기 서버로부터 상기 인증 키와 함께 분실 메시지를 더 획득하는, 전자 장치.
  23. 청구항 22에 있어서,
    디스플레이를 더 포함하고,
    상기 적어도 하나의 프로세서는 상기 디스플레이에 상기 분실 메시지를 출력하는, 전자 장치.
  24. 청구항 21에 있어서,
    상기 적어도 하나의 프로세서는 상기 통신 연결을 통해 상기 외부 장치의 적어도 하나의 기능을 제어하기 위한 제어 신호를 전송하는, 전자 장치.
  25. 청구항 21에 있어서,
    상기 적어도 하나의 프로세서는 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치와 BLE GATT(Bluetooth Low Energy Generic Attribute) 연결을 수립하는, 전자 장치.
KR1020210004178A 2020-08-04 2021-01-12 Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치 KR20220017344A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2021/010249 WO2022031019A1 (ko) 2020-08-04 2021-08-04 Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치
CN202180056720.8A CN116097667A (zh) 2020-08-04 2021-08-04 通过使用uwb和ar来搜索丢失装置的方法及其设备
EP21852515.2A EP4184955A4 (en) 2020-08-04 2021-08-04 PROCEDURE TO SEARCH FOR LOST DEVICES USING UWB AND AR AND DEVICE THEREOF
US17/895,628 US20220407666A1 (en) 2020-08-04 2022-08-25 Method and apparatus for finding lost device using uwb and ar apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200097683 2020-08-04
KR20200097683 2020-08-04

Publications (1)

Publication Number Publication Date
KR20220017344A true KR20220017344A (ko) 2022-02-11

Family

ID=80266423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210004178A KR20220017344A (ko) 2020-08-04 2021-01-12 Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20220017344A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116321268A (zh) * 2023-03-06 2023-06-23 乾位智通(深圳)技术有限公司 检测数据记录系统、方法、装置和uwb模块检测装置
WO2024085376A1 (en) * 2022-10-18 2024-04-25 Samsung Electronics Co., Ltd. Method and electronic device for displaying position of first device on second device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085376A1 (en) * 2022-10-18 2024-04-25 Samsung Electronics Co., Ltd. Method and electronic device for displaying position of first device on second device
CN116321268A (zh) * 2023-03-06 2023-06-23 乾位智通(深圳)技术有限公司 检测数据记录系统、方法、装置和uwb模块检测装置
CN116321268B (zh) * 2023-03-06 2023-11-03 乾位智通(深圳)技术有限公司 检测数据记录系统、方法、装置和uwb模块检测装置

Similar Documents

Publication Publication Date Title
KR102371212B1 (ko) 전자 장치 및 그의 지오펜스 관리 방법
KR20220017344A (ko) Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치
US20220407666A1 (en) Method and apparatus for finding lost device using uwb and ar apparatus
US20230188980A1 (en) Method for providing electronic device positioning service and apparatus thereof
US20230188934A1 (en) Method for managing wireless connection of electronic device and device therefor
US20150163340A1 (en) Portable terminal and a method for operating the same
KR20220018872A (ko) 전자 장치의 위치 알람 서비스를 제공하는 방법 및 그 장치
KR20220018869A (ko) 전자 장치의 무선 연결을 관리하는 방법 및 그 장치
EP4187935A1 (en) Method for managing wireless connection of electronic device, and apparatus therefor
KR20220096725A (ko) 액세서리 장치와 무선 통신을 수행하는 전자 장치 및 그 운용 방법
KR20220073352A (ko) 액세서리 장치의 전력 소모를 제어하는 전자 장치 및 그 운용 방법
KR20220017326A (ko) 전자 장치의 위치 확인 서비스를 제공하는 방법 및 그 장치
EP4167603A1 (en) Method for providing location alarm service for electronic device and device therefor
KR20220102036A (ko) 전자 장치의 무선 연결을 관리하는 방법 및 그 장치
US20240056773A1 (en) Locating method using advertisement and electronic device therefor
EP4369749A1 (en) Method for managing electronic devices on basis of group account, and device providing same
KR20220018874A (ko) 전자 장치의 무선 연결을 관리하는 방법 및 그 장치
US20230189357A1 (en) Packet transmission method for electronic device positioning service and apparatus thereof
KR20220133583A (ko) 전자 장치의 분실 상태 확인 방법 및 그 장치
KR20220018876A (ko) 전자 장치의 위치 확인 서비스를 위한 패킷 전송 방법 및 그 장치
KR20230023231A (ko) 그룹 계정 기반으로 전자 장치들을 관리하는 방법 및 이를 제공하는 장치
KR20210156604A (ko) 외부 장치로 요청을 전송하는 방법 및 이를 지원하는 전자 장치
KR20220037189A (ko) 블루투스 통신을 위한 무선 통신 회로를 포함하는 전자 장치 및 그의 동작 방법
KR20240064483A (ko) 위치 찾기 서비스를 제공하기 위한 전자 장치, 그 동작 방법 및 저장 매체
KR20220138981A (ko) 개인화된 그룹 서비스를 제공하는 전자 장치 및 그 제어 방법