KR102258735B1 - 객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치 - Google Patents

객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치 Download PDF

Info

Publication number
KR102258735B1
KR102258735B1 KR1020200055912A KR20200055912A KR102258735B1 KR 102258735 B1 KR102258735 B1 KR 102258735B1 KR 1020200055912 A KR1020200055912 A KR 1020200055912A KR 20200055912 A KR20200055912 A KR 20200055912A KR 102258735 B1 KR102258735 B1 KR 102258735B1
Authority
KR
South Korea
Prior art keywords
mobile terminal
augmented reality
measuring
communication distance
unit
Prior art date
Application number
KR1020200055912A
Other languages
English (en)
Inventor
고영배
최홍범
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020200055912A priority Critical patent/KR102258735B1/ko
Priority to US17/148,696 priority patent/US11215690B2/en
Application granted granted Critical
Publication of KR102258735B1 publication Critical patent/KR102258735B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0258—Hybrid positioning by combining or switching between measurements derived from different systems
    • G01S5/02585—Hybrid positioning by combining or switching between measurements derived from different systems at least one of the measurements being a non-radio measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0249—Determining position using measurements made by a non-stationary device other than the device whose position is being determined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves
    • G01S11/06—Systems for determining distance or velocity not using reflection or reradiation using radio waves using intensity measurements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 객체를 촬영하며 이동 단말기의 현재 위치를 측정하는 센싱부와, 이동 단말기 및 객체 간 통신 거리를 측정하는 통신부와, 이동 단말기의 이동 중 현재 위치 및 통신 거리의 측정을 복수 회 반복시키는 제어부와, 복수 회 반복 측정된 현재 위치 및 통신 거리를 기초로 객체의 추정 위치를 산출하는 산출부와, 객체의 추정 위치에 객체에 관한 가상 정보를 표시하는 표시부를 포함하는 증강 현실 서비스 제공 장치를 제공한다.

Description

객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치{OBJECT LOCATION MEASUREMENT METHOD AND AUGMENTED REALITY SERVICE PROVIDING DEVICE USING THE SAME}
본 발명은 객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치에 관한 것이다.
단말기는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
최근 단말기의 화면에 증강 현실을 구현하는 기술이 상용화되고 있다. 여기서, 증강 현실(Argumented Reality; AR)이란 사용자가 눈으로 보는 현실 영상에 가상의 영상을 합쳐 하나의 영상으로 보여주는 것으로서 혼합 현실(Mixed Reality; MR)이라고도 한다.
예를 들어, 사용자가 야외 공간에서 스마트 폰을 이용하여 건물이나 조형물을 촬영하면, 스마트 폰의 화면에는 건물이나 조형물의 영상이 표시됨과 동시에 스마트 폰이 인식한 건물이나 조형물에 대한 정보도 표시된다.
단말기 화면에 증강 현실을 구현하기 위해서는 객체의 위치를 파악해야 한다. 즉, 전술한 예에서 현실 영상인 건물이나 조형물의 위치를 파악해야 한다.
이와 같이 객체의 위치를 파악하기 위해, 야외 공간에서는 GNSS(Global Navigation Satellite System)를 이용하여 계산된 객체들의 상대 위치를 기반으로 구현하는 것이 일반적이며, 실내 또는 작은 규모의 공간에서는 GNSS를 이용할 수 없기 때문에 실내 측위 기술 또는 카메라 비전 기반의 방식으로 구현하는 것이 일반적이다.
현재까지 사물 인터넷의 유저 인터페이스 중 하나로 증강 현실 어플리케이션을 활용하는 여러 가지 아이디어들이 제안되어 왔다. 대표적으로 QR Code 등을 이용하여 해당 센서의 ID 를 획득하고 이를 이용하여 서버에서 가져온 정보를 표시하는 방식인 비전 기반 마커 방식과, 미리 입력된 객체들의 위치와 디바이스의 위치를 이용하여 상대 위치를 계산하고 이를 표시하는 방식 등이 있다.
그러나, 이와 같은 방식들은 노동 집약적이거나 컴퓨팅 요구사항 등의 한계로, 또는 정확성 측면에서 실제 이동 단말기에서 구동되는 어플리케이션에서 활용되기에는 한계가 있었다. 따라서, 사전 설치 또는 공간 학습 등을 필요로 하지 않으면서 일정 수준 이상의 정확도를 제공할 수 있는 증강 현실에서의 객체 상대 위치 측정 기술이 필요하다.
본 발명은, 일정 수준 이상의 정확도로 객체의 위치를 산출하여 증강 현실 서비스를 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이러한 과제를 해결하기 위해, 본 발명은, 객체를 촬영하며 이동 단말기의 현재 위치를 측정하는 센싱부와, 이동 단말기 및 객체 간 통신 거리를 측정하는 통신부와, 이동 단말기의 이동 중 현재 위치 및 통신 거리의 측정을 복수 회 반복시키는 제어부와, 복수 회 반복 측정된 현재 위치 및 통신 거리를 기초로 객체의 추정 위치를 산출하는 산출부와, 객체의 추정 위치에 객체에 관한 가상 정보를 표시하는 표시부를 포함하는 증강 현실 서비스 제공 장치를 제공한다.
여기서, 센싱부는, 카메라 및 관성 측정 장치를 포함하며, VIO(Visual Inertial Odometry)를 통해 이동 단말기의 현재 위치를 측정한다.
또한, 통신부는, 객체로부터 수신한 수신 신호의 세기 또는 이동 단말기 및 객체 간 신호의 왕복 시간(Time of Flight)을 이용하여 통신 거리를 측정한다.
또한, 산출부는, 다변 측정법을 이용하여 객체의 추정 위치를 산출한다.
또한, 통신부는, 객체로부터 가상 정보를 수신하며, 객체를 제어하기 위한 제어 신호를 객체로 송신한다.
또한, 제어부는, 가상 정보에 객체의 추정 위치를 레이블링한다.
또한, 본 발명의 증강 현실 서비스 제공 장치는, 사용자가 객체를 제어하기 위한 입력부를 더 포함한다.
또한, 제어부는, 사용자의 입력에 따라 제어 신호를 생성한다.
또한, 본 발명은, 객체를 증강 현실에서 시각화하기 위해 객체의 위치를 측정하는 방법으로서, 이동 단말기의 현재 위치와 이동 단말기 및 객체 간 통신 거리를 측정하는 단계와, 이동 단말기의 이동 중 현재 위치 및 통신 거리의 측정을 복수 회 반복하는 단계와, 복수 회 반복 측정된 현재 위치 및 통신 거리를 기초로 객체의 추정 위치를 산출하는 단계를 포함하는 객체의 위치 측정 방법을 제공한다.
여기서, 이동 단말기의 현재 위치를 측정하는 단계는, VIO(Visual Inertial Odometry)를 통해 측정하는 단계이다.
또한, 이동 단말기 및 객체 간 통신 거리를 측정하는 단계는, 객체로부터 수신한 수신 신호의 세기를 기초로 통신 거리를 측정하는 단계이다.
또한, 객체의 추정 위치를 산출하는 단계는, 다변 측정법을 이용하여 추정 위치를 산출하는 단계이다.
본 발명에 따르면, 객체의 위치를 미리 입력하거나 실내 공간 학습 등을 하지 않더라도, 일정 수준 이상의 정확도로 객체의 위치를 산출하여 증강 현실 서비스를 제공할 수 있다.
또한, 본 발명에 따르면 증강 현실을 통해 객체와 상호 작용할 수 있어 사용자에게 직관적이고 효율적인 사용자 경험을 제공할 수 있다.
또한, 본 발명에 따르면, 객체의 가상 정보에 객체의 추정 위치를 레이블링(labeling)할 수 있고, 이를 통해, 실내 네비게이션, 화재 등의 재난 초기 대응 및 분실물 찾기 등 다양한 응용 분야에서 활용할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 증강 현실 서비스 제공 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른 증강 현실 서비스 제공 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 객체의 위치 측정 방법의 순서도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 증강 현실 서비스 제공 장치의 블록도이고, 도 2는 본 발명의 실시예에 따른 증강 현실 서비스 제공 장치의 동작을 설명하기 위한 도면이다.
이하, 도 1 및 도 2를 참조하여 본 발명의 실시예에 따른 증강 현실 서비스 제공 장치를 자세히 설명하겠다.
본 발명의 실시예에 따른 증강 현실 서비스 제공 장치는, 센싱부(110), 통신부(120), 제어부(130), 산출부(140), 표시부(150) 및 입력부(160)를 포함하여 구성될 수 있다. 이와 같은, 증강 현실 서비스 제공 장치는 이동 단말기(100)로 구현될 수 있다. 즉, 이동 단말기(100)에 증강 현실 어플리케이션을 저장하고 이 증강 현실 어플리케이션을 실행하면 증강 현실 서비스를 제공할 수 있다.
이동 단말기(100)에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 네비게이션 등이 포함될 수 있다.
증강 현실(Argumented Reality; AR)이란 사용자가 눈으로 보는 현실 영상에 가상의 영상을 합쳐 하나의 영상으로 보여주는 것으로서 혼합 현실(Mixed Reality; MR)이라고도 한다. 본 발명의 실시예에서는, 이동 단말기(100)의 카메라로 객체(200)를 비추면 객체(200)에 관한 가상 정보(20)가 현실 영상인 객체(200)와 합쳐져 하나의 영상으로 표시됨으로써 증강 현실이 구현된다.
객체(200)는 각종 센서 또는 사물 인터넷(Internet of Things; IoT) 장치로서 실내 공간의 소정의 위치에 고정될 수 있다. 여기서, 사물 인터넷은 인터넷 등의 네트워크를 통해 각종 사물을 연결하여 사람과 사물, 사물과 사물 간의 정보가 상호 소통될 수 있도록 하는 지능형 기술 및 서비스를 의미한다. 그리고, 이와 같은 사물 인터넷에 연결되는 장치를 사물 인터넷 장치라고 칭한다.
본 발명의 실시예에서는, 이동 단말기(100)의 카메라로 온도 센서를 비추면 온도 센서로부터 온도 정보를 수신하여 가상의 온도 정보를 생성하고 이를 현실 영상인 온도 센서의 위치에 표시할 수 있다.
이와 같이, 현실 영상인 객체(200)의 위치에 가상 정보(20)를 표시하기 위해서는 객체(200)의 위치를 측정해야 한다.
한편, 야외 공간에서는 GNSS(Global Navigation Satellite System)를 이용하여 객체(200)의 위치를 비교적 정확히 측정할 수 있지만, 본 발명과 같이 객체(200)가 실내 공간에 위치한 경우에는 위와 같은 GNSS를 이용하여 객체의(200) 위치 정보를 얻을 수 없다.
이에 따라, 본 발명의 실시예에 따른 증강 현실 서비스 제공 장치는, 이동 단말기(100)의 현재 위치와 이동 단말기(100) 및 객체(200) 간 통신 거리를 기초로 실내 공간에 있는 객체(200)의 위치를 추정한다.
센싱부(110)는 객체(200)를 촬영하며 이동 단말기(100)의 현재 위치를 측정한다. 구체적으로, 센싱부(110)는 카메라 및 관성 측정 장치를 포함하며, VIO(Visual Inertial Odometry)를 통해 이동 단말기(100)의 현재 위치를 측정한다.
여기서, VIO는 카메라가 촬영한 영상과 관성 측정 장치가 측정한 관성값을 함께 분석하여 이동 단말기(100)의 현재 위치를 비교적 정확히 측정하는 기술로서, 증강 현실 어플리케이션 및 자율 주행 로봇 분야에서 널리 사용되는 기술이다.
한편, 카메라는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 표시부(150)에 표시될 수 있다. 그리고, 카메라에서 처리된 화상 프레임은 메모리에 저장되거나 통신부(120)를 통하여 외부로 전송될 수 있다. 이와 같은 카메라는 사용 환경에 따라 2개 이상이 구비될 수 있다.
통신부(120)는 인터넷 서비스 제공 서버 및 증강 현실 서비스 제공 서버와 무선 통신을 수행할 수 있다. 이와 같은 무선 통신 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), GPRS (General Packet Radio Service), CDMA, WCDMA, LTE(Long Term Evolution)(이에 한정되지 않음) 등이 이용될 수 있다.
또한, 통신부(120)는 객체(200)와 근거리 통신을 수행할 수 있다. 이와 같은 근거리 통신(short range communication) 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
또한, 통신부(120)는 이동 단말기(100) 및 객체(200) 간 통신 거리를 측정한다. 구체적으로, 통신부(120)는, 객체(200)와 통신을 수행하여 객체(200)의 식별자(ID) 및 객체(200)가 센싱한 센싱 정보를 수신하며, 객체(200)로부터 수신한 수신 신호의 세기 또는 이동 단말기(100) 및 객체(200) 간 신호의 왕복 시간(Time of Flight)을 이용하여 이동 단말기(100) 및 객체(200) 간 통신 거리를 측정한다.
물론, 객체(200)에도 통신 기능 및 통신 거리 측정 기능을 수행하는 통신부가 구비되어 있음은 당연하다.
제어부(130)는 이동 단말기(100)의 이동 중 이동 단말기(100)의 현재 위치와 이동 단말기(100) 및 객체(200) 간 통신 거리의 측정을 복수 회 반복하도록 제어한다.
구체적으로, 제어부(130)는 이동 단말기(100)가 객체(200)가 위치한 실내 공간을 이동하면 일정 이동 거리 마다 복수 개의 가상 앵커(Virtual Anchor)를 생성한다. 여기서, 가상 앵커는, 이동 단말기(100)의 현재 위치에 있는 노드로서, 이동 단말기(100) 및 객체(200) 간 통신 거리를 측정하기 위한 기준 노드이다.
제어부(130)는, 이동 단말기(100)가 이동함에 따라 위치가 변하는 복수 개의 가상 앵커에서, 센싱부(110)가 이동 단말기(100)의 현재 위치를 측정하도록 제어하고, 통신부(120)가 이동 단말기(100) 및 객체(200) 간 통신 거리를 측정하도록 제어한다.
산출부(140)는 복수 회 반복 측정된 이동 단말기(100)의 현재 위치와 이동 단말기(100) 및 객체(200) 간 통신 거리를 기초로 객체(200)의 추정 위치를 산출한다.
여기서, 산출부(140)는 다변 측정법(Multi-Lateration)을 이용하여 객체(200)의 추정 위치를 산출할 수 있다.
객체(200)의 추정 위치는 절대 위치가 아니라 이동 단말기(100)를 기준으로 한 상대 위치이다.
또한, 객체(200)의 추정 위치는 2차원 위치 좌표(x, y) 및 3차원 위치 좌표(x, y, z)로 나타낼 수 있다. 2차원 위치 좌표의 경우 3개의 가상 앵커에서 이동 단말기(100)의 현재 위치와 이동 단말기(100) 및 객체(200) 간 통신 거리를 측정해야 하며, 3차원 위치 좌표의 경우 4개의 가상 앵커에서 이동 단말기(100)의 현재 위치와 이동 단말기(100) 및 객체(200) 간 통신 거리를 측정해야 한다.
즉, 2차원 위치 좌표를 산출하기 위해서는, 이동 단말기(100)의 현재 위치가 중심이 되고 이동 단말기(100) 및 객체(200) 간 통신 거리가 반지름이 되는 3개의 원의 방정식이 필요하고, 3차원 위치 좌표를 산출하기 위해서는, 이동 단말기(100)의 현재 위치가 중심이 되고 이동 단말기(100) 및 객체(200) 간 통신 거리가 반지름이 되는 4개의 원의 방정식이 필요하다. 이 때, 3개 또는 4개의 원이 교차하는 지점이 객체(200)의 추정 위치가 된다.
이하에서는 객체(200)의 3차원 위치 좌표(x, y, z)를 다변 측정법을 이용하여 산출하는 방법에 대해 설명하지만, 2차원 위치 좌표도 동일한 방법으로 산출할 수 있다.
산출부(140)는 4개의 가상 앵커에서 이동 단말기(100)의 현재 위치가 중심이 되고 이동 단말기(100) 및 객체(200) 간 통신 거리가 반지름이 되는 4개의 원의 방정식을 아래의 수학식1과 같이 산출한다.
Figure 112020047284719-pat00001
여기서, xi, yi 및 zi(여기서, i는 1, 2, 3, 4)는 위치가 변하는 가상 앵커의 3차원 위치 좌표이고, d1, d2, d3 및 d4는 가상 앵커 및 객체(200) 간 통신 거리이다.
이와 같이, 상기 수학식1에 정의된 4개의 방정식을 연립하여 풀면 객체(200)의 3차원 위치 좌표(x, y, z)를 산출할 수 있다.
그러면, 표시부(150)는 객체(200)의 추정 위치에 객체(200)에 관한 가상 정보(20)를 표시한다. 구체적으로, 카메라로 객체(200)를 비추면 통신부(120)는 객체(200)로부터 객체(200)에 관한 가상 정보(20)를 수신하고, 수신한 가상 정보(20)는 표시부(150)에 의해 현실 영상인 객체(200)와 합쳐져 하나의 영상으로 표시한다.
한편, 표시부(151)는 이동 단말기(100)에서 처리되는 정보를 표시한다. 예를 들어, 이동 단말기(100)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고, 이동 단말기(100)가 영상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는 수신된 영상 또는 UI 및 GUI를 표시한다.
이와 같은 표시부(150)는 액정 디스플레이(liquid crystal display; LCD), 유기 발광 다이오드(organic light-emitting diode; OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
입력부(160)는 사용자가 객체(200)를 제어하기 위한 구성으로서, 키 패드(key pad), 돔 스위치(dome switch) 및 터치 패드(touch pad) 등으로 구성될 수 있으며, 표시부(150)와 일체로 터치 스크린(touch screen)으로 구현될 수도 있다. 이하에서는 입력부(160)가 터치 스크린으로 구현되는 것을 일 예로 설명하지만 이에 한정되는 것은 아니다.
예를 들어, 객체(200)의 가상 정보(20)에는 객체(200)를 제어하기 위한 UI(User Interface) 또는 GUI(Graphic User Interface)을 포함할 수 있다. 이 때, 표시부(150)가 가상 정보(20)를 표시하면 사용자는 UI 또는 GUI를 터치 방식으로 객체(200)를 제어할 수 있다.
사용자가 입력부(160)를 통해 객체(200)를 제어하면, 제어부(130)는 사용자의 입력에 따라 제어 신호를 생성하고, 통신부(120)는 객체(200)를 제어하기 위한 제어 신호를 객체(200)로 송신한다. 그러면, 객체(200)는 수신한 제어 신호에 따라 동작하게 된다.
이와 같이 본 발명의 실시예에 따른 증강 현실 서비스 제공 장치에 따르면, 객체(200)의 위치를 미리 입력하거나 실내 공간 학습 등을 하지 않더라도, 일정 수준 이상의 정확도로 객체(200)의 위치를 산출하여 증강 현실 서비스를 제공할 수 있다.
또한, 본 발명의 실시예에 따른 증강 현실 서비스 제공 장치는 증강 현실을 통해 객체(200)와 상호 작용할 수 있어 사용자에게 직관적이고 효율적인 사용자 경험을 제공할 수 있다.
제어부(130)는 객체(200)의 가상 정보(20)에 객체의 추정 위치를 레이블링(labeling)할 수 있다. 이를 통해, 실내 네비게이션, 화재 등의 재난 초기 대응 및 분실물 찾기 등 다양한 응용 분야에서 활용할 수 있다.
도 3은 본 발명의 실시예에 따른 객체의 위치 측정 방법의 순서도이다.
이하, 도 1 내지 도 3을 참조하여 본 발명의 실시예에 따른 객체의 위치 측정 방법을 설명하되 전술한 증강 현실 서비스 제공 장치와 동일한 내용에 대해서는 생략하겠다.
본 발명의 실시예에 따른 객체의 위치 측정 방법은, 객체(200)를 증강 현실에서 시각화하기 위해 객체(200)의 위치를 측정하는 방법이다.
먼저, 센싱부(110)가 이동 단말기(100)의 현재 위치를 측정하고(S10), 통신부(120)가 이동 단말기(100) 및 객체(200) 간 통신 거리를 측정한다(S20).
이 때, 이동 단말기(100)의 현재 위치는 VIO(Visual Inertial Odometry)를 통해 측정될 수 있다. 그리고, 이동 단말기(100) 및 객체(200) 간 통신 거리는 객체(200)로부터 수신한 수신 신호의 세기를 기초로 측정될 수 있다.
다음, 제어부(130)가 이동 단말기(100)의 이동 중 이동 단말기(100)의 현재 위치와 이동 단말기(100) 및 객체(200) 간 통신 거리의 측정을 복수 회 반복한다(S30). 이 때, 객체(200)의 2차원 위치 좌표를 측정하기 위해서는 3회 반복하고, 객체(200)의 3차원 위치 좌표를 측정하기 위해서는 4회 반복할 수 있다.
다음, 산출부(140)가 복수 회 반복 측정된 이동 단말기(100)의 현재 위치와 이동 단말기(100) 및 객체(200) 간 통신 거리를 기초로 객체(200)의 추정 위치를 산출한다(S40). 이 때, 객체(200)의 추정 위치는 다변 측정법을 이용하여 산출될 수 있다.
이와 같이 본 발명의 실시예에 따른 객체의 위치 측정 방법에 따르면, 객체(200)의 위치를 미리 입력하거나 실내 공간 학습 등을 하지 않더라도, 일정 수준 이상의 정확도로 객체(200)의 위치를 산출하여 증강 현실 서비스를 제공할 수 있다.
전술한 본 발명의 실시예에 따른 객체의 위치 측정 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 이러한 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내고 설명하는 것에 불과하며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉, 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시예들은 본 발명을 실시하는데 있어 최선의 상태를 설명하기 위한 것이며, 본 발명과 같은 다른 발명을 이용하는데 당업계에 알려진 다른 상태로의 실시, 그리고 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
100: 이동 단말기
110: 센싱부
120: 통신부
130: 제어부
140: 산출부
150: 표시부
200: 객체

Claims (12)

  1. 객체를 촬영하며 이동 단말기의 현재 위치를 측정하는 센싱부;
    상기 이동 단말기 및 객체 간 통신 거리를 측정하는 통신부;
    상기 이동 단말기의 이동 중 상기 현재 위치 및 통신 거리의 측정을 복수 회 반복시키는 제어부;
    복수 회 반복 측정된 상기 현재 위치 및 통신 거리를 기초로 상기 객체의 추정 위치를 산출하는 산출부; 및
    상기 객체의 추정 위치에 상기 객체에 관한 가상 정보를 표시하는 표시부를 포함하고,
    상기 제어부는
    상기 이동 단말기가 상기 객체가 위치한 실내 공간을 이동하면 일정 거리 마다 복수 개의 가상 앵커를 생성하며,
    상기 이동 단말기가 이동함에 따라 위치가 변하는 상기 복수 개의 가상 앵커에서 상기 센싱부가 이동 단말기의 현재 위치를 측정하도록 제어하고, 상기 통신부가 상기 이동 단말기 및 객체 간 통신 거리를 측정하도록 제어하는
    증강 현실 서비스 제공 장치.
  2. 제 1 항에 있어서,
    상기 센싱부는
    카메라 및 관성 측정 장치를 포함하며,
    VIO(Visual Inertial Odometry)를 통해 상기 이동 단말기의 현재 위치를 측정하는
    증강 현실 서비스 제공 장치.
  3. 제 1 항에 있어서,
    상기 통신부는
    상기 객체로부터 수신한 수신 신호의 세기를 기초로 상기 통신 거리를 측정하는
    증강 현실 서비스 제공 장치.
  4. 제 1 항에 있어서,
    상기 산출부는
    다변 측정법을 이용하여 상기 객체의 추정 위치를 산출하는
    증강 현실 서비스 제공 장치.
  5. 제 1 항에 있어서,
    상기 통신부는
    상기 객체로부터 상기 가상 정보를 수신하며, 상기 객체를 제어하기 위한 제어 신호를 상기 객체로 송신하는
    증강 현실 서비스 제공 장치.
  6. 제 1 항에 있어서,
    상기 제어부는
    상기 가상 정보에 상기 객체의 추정 위치를 레이블링하는
    증강 현실 서비스 제공 장치.
  7. 제 1 항에 있어서,
    사용자가 상기 객체를 제어하기 위한 입력부
    를 더 포함하는 증강 현실 서비스 제공 장치.
  8. 제 7 항에 있어서,
    상기 제어부는
    상기 사용자의 입력에 따라 상기 객체를 제어하기 위한 제어 신호를 생성하는
    증강 현실 서비스 제공 장치.
  9. 객체를 증강 현실에서 시각화하기 위해 상기 객체의 위치를 측정하는 방법으로서,
    이동 단말기가 상기 객체가 위치한 실내 공간을 이동하면 일정 거리 마다 복수 개의 가상 앵커를 생성하는 단계;
    상기 이동 단말기가 이동함에 따라 위치가 변하는 상기 복수 개의 가상 앵커에서 센싱부가 이동 단말기의 현재 위치를 측정하도록 제어하고, 통신부가 상기 이동 단말기 및 객체 간 통신 거리를 측정하도록 제어하는 단계;
    상기 이동 단말기의 현재 위치와 상기 이동 단말기 및 객체 간 통신 거리를 측정하는 단계;
    상기 이동 단말기의 이동 중 상기 현재 위치 및 통신 거리의 측정을 복수 회 반복하는 단계; 및
    복수 회 반복 측정된 상기 현재 위치 및 통신 거리를 기초로 상기 객체의 추정 위치를 산출하는 단계
    를 포함하는 객체의 위치 측정 방법.
  10. 제 9 항에 있어서,
    상기 이동 단말기의 현재 위치를 측정하는 단계는
    VIO(Visual Inertial Odometry)를 통해 측정하는 단계인
    객체의 위치 측정 방법.
  11. 제 9 항에 있어서,
    상기 이동 단말기 및 객체 간 통신 거리를 측정하는 단계는
    상기 객체로부터 수신한 수신 신호의 세기를 기초로 상기 통신 거리를 측정하는 단계인
    객체의 위치 측정 방법.
  12. 제 9 항에 있어서,
    상기 객체의 추정 위치를 산출하는 단계는
    다변 측정법을 이용하여 상기 추정 위치를 산출하는 단계인
    객체의 위치 측정 방법.
KR1020200055912A 2020-05-11 2020-05-11 객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치 KR102258735B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200055912A KR102258735B1 (ko) 2020-05-11 2020-05-11 객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치
US17/148,696 US11215690B2 (en) 2020-05-11 2021-01-14 Object location measurement method and augmented reality service providing device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200055912A KR102258735B1 (ko) 2020-05-11 2020-05-11 객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치

Publications (1)

Publication Number Publication Date
KR102258735B1 true KR102258735B1 (ko) 2021-05-28

Family

ID=76140151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200055912A KR102258735B1 (ko) 2020-05-11 2020-05-11 객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치

Country Status (2)

Country Link
US (1) US11215690B2 (ko)
KR (1) KR102258735B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150087955A (ko) * 2014-01-23 2015-07-31 에스케이플래닛 주식회사 증강현실 기반의 기상 정보 제공 장치 및 방법과, 기상 정보 제공 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260647B1 (ko) 2011-08-19 2013-05-06 서울대학교산학협력단 무선센서네트워크 상에서 효율적인 다변측량을 이용한 무선측위방법과 이를 실시하기 위한 프로그램이 기록된 기록매체
KR20140110584A (ko) 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR20160109828A (ko) 2015-03-13 2016-09-21 한국전자통신연구원 증강 현실 시스템
CN108604129B (zh) 2016-02-04 2021-12-14 苹果公司 基于无线测距来控制电子设备和显示信息
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
US20190253580A1 (en) * 2018-02-09 2019-08-15 Kabushiki Kaisha Toshiba System and method for augmented reality viewing for document processing devices
US20200201513A1 (en) * 2018-12-21 2020-06-25 Zebra Technologies Corporation Systems and methods for rfid tag locationing in augmented reality display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150087955A (ko) * 2014-01-23 2015-07-31 에스케이플래닛 주식회사 증강현실 기반의 기상 정보 제공 장치 및 방법과, 기상 정보 제공 시스템

Also Published As

Publication number Publication date
US11215690B2 (en) 2022-01-04
US20210349175A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
Hile et al. Positioning and orientation in indoor environments using camera phones
Croce et al. An indoor and outdoor navigation system for visually impaired people
CN108562869B (zh) 一种室内定位导航系统及方法
KR101547040B1 (ko) 비-맵-기반의 모바일 인터페이스
CN105814609B (zh) 用于用户识别、跟踪与设备关联的融合设备与图像运动
JP2017146749A (ja) 制御プログラム、制御方法およびコンピュータ
Al Delail et al. Indoor localization and navigation using smartphones augmented reality and inertial tracking
EP2735844B1 (en) System and method for indoor navigation
Feng et al. Augmented reality markers as spatial indices for indoor mobile AECFM applications
Rehman et al. Augmented reality-based indoor navigation using google glass as a wearable head-mounted display
CN104378735A (zh) 室内定位方法、客户端及服务器
Rajeev et al. Augmented reality-based vision-aid indoor navigation system in GPS denied environment
Liu et al. Xyz indoor navigation through augmented reality: a research in progress
Chung et al. Guiding light: Navigation assistance system using projection based augmented reality
CN112424832A (zh) 用于检测对象的3d关联的系统与方法
CN113094966A (zh) 用于使用粒子滤波器进行定位的基于射频的虚拟运动模型
Low et al. SunMap+: An intelligent location-based virtual indoor navigation system using augmented reality
Maran et al. Augmented reality-based indoor navigation using unity engine
Rahman et al. Spatial-geometric approach to physical mobile interaction based on accelerometer and IR sensory data fusion
KR102258735B1 (ko) 객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치
Gómez et al. Indoor augmented reality based on ultrasound localization systems
KR101733681B1 (ko) 모바일 단말기, 이를 이용한 위치정보 제공 시스템 및 방법
Falleri et al. Designing an indoor real-time location system for healthcare facilities
Lo et al. Using intelligent mobile devices for indoor wireless location tracking, navigation, and mobile augmented reality
Koc et al. Indoor mapping and positioning using augmented reality

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant