KR20210048928A - 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말 - Google Patents

가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말 Download PDF

Info

Publication number
KR20210048928A
KR20210048928A KR1020190133223A KR20190133223A KR20210048928A KR 20210048928 A KR20210048928 A KR 20210048928A KR 1020190133223 A KR1020190133223 A KR 1020190133223A KR 20190133223 A KR20190133223 A KR 20190133223A KR 20210048928 A KR20210048928 A KR 20210048928A
Authority
KR
South Korea
Prior art keywords
terminal
information
virtual object
camera
pose information
Prior art date
Application number
KR1020190133223A
Other languages
English (en)
Inventor
유연걸
임승욱
정준영
윤찬민
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190133223A priority Critical patent/KR20210048928A/ko
Publication of KR20210048928A publication Critical patent/KR20210048928A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

본 발명의 일 실시 예에 따른 증강 현실 프로그램을 실행하는 단말에서 가상 객체를 구현할 위치를 결정하는 방법은, GPS 센서를 이용하여 측정한 상기 단말의 위치에 기초하여, 지도 생성 서버로부터 하나 이상의 지도 정보를 수신하는 단계; 상기 하나 이상의 지도 정보와 상기 단말에 구비된 카메라에 의해 촬영된 이미지를 비교하여, 상기 카메라의 포즈 정보를 결정하는 단계; 적어도 하나의 센서를 이용하여 상기 포즈 정보를 수정하는 단계; 및 상기 포즈 정보를 이용하여 상기 단말에 디스플레이되고 있는 화면 상에서 가상 객체를 구현할 위치를 결정하는 단계를 포함할 수 있다.

Description

가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말 {METHOD FOR DETERMINING LOCATION TO IMPLEMENT VIRTUAL OBJECT AND USER EQUIPMENT PERFORMING METHOD}
본 발명은 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말에 관한 것이다.
증강 현실(Augmented Reality: AR)은 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술이다.
더욱 구체적으로, 증강 현실은 가상현실(Virtual Reality: VR)의 한 분야로서 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이며, 증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반에 가상 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 기술이다.
이러한 증강 현실 기술은 5G 통신의 상용화에 따라 통신 단말기에서 사용되는 모바일 AR 기술 분야에서 각광받고 있으며, 현재의 모바일 AR 기술의 어플리케이션에는 마커 기반의 모바일 AR 기술 또는 센서 기반의 모바일 AR 기술이 일반적으로 사용되고 있다.
마커 기반의 모바일 AR 기술은 가상 객체를 이용하여 증강시키고자 하는 실물 객체를 촬영할 때, 상기 실물 객체에 대응되는 마커를 같이 촬영함으로써, 마커의 인식을 통해 상기 실물 객체를 인식하는 기술이며, 센서 기반의 모바일 AR 기술은 단말기에 탑재된 GPS와 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치와 바라보고 있는 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.
하지만, 마커 기반의 모바일 AR 기술은 마커가 없이는 가상 객체를 증강할 수 없다는 문제가 있으며, 센서 기반의 모바일 AR 기술은 감지된 단말의 현재 위치 및 방향의 오차로 인해, 특정 물체 상에 정확히 가상 객체를 증강시키지 못하는 문제가 있다.
본 발명이 해결하고자 하는 과제는 단말이 단말에 구비된 카메라의 포즈를 계산하고, 계산한 포즈를 이용하여 현실의 이미지에 가상 객체를 구현하는 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 증강 현실 프로그램을 실행하는 단말에서 가상 객체를 구현할 위치를 결정하는 방법은, GPS 센서를 이용하여 측정한 상기 단말의 위치에 기초하여, 지도 생성 서버로부터 하나 이상의 지도 정보를 수신하는 단계; 상기 하나 이상의 지도 정보와 상기 단말에 구비된 카메라에 의해 촬영된 이미지를 비교하여, 상기 카메라의 포즈 정보를 결정하는 단계; 적어도 하나의 센서를 이용하여 상기 포즈 정보를 수정하는 단계; 및 상기 포즈 정보를 이용하여 상기 단말에 디스플레이되고 있는 화면 상에서 가상 객체를 구현할 위치를 결정하는 단계를 포함할 수 있다.
상기 카메라의 포즈 정보를 결정하는 단계는, 상기 이미지에 포함된 특징점들을 추출하는 단계; 및 상기 이미지에 포함된 특징점들과 상기 지도 정보에서 기 추출된 특징점들의 차이에 기초하여 상기 포즈 정보를 결정하는 단계를 포함할 수 있다.
상기 카메라의 포즈 정보는 제2 주기마다 계산되며, 상기 포즈 정보를 수정하는 단계는, 상기 제2 주기보다 작은 제1 주기마다 상기 포즈 정보를 수정할 수 있다.
상기 포즈 정보는 상기 카메라의 절대적인 위치 및 방향에 대한 정보를 포함할 수 있다.
상기 하나 이상의 지도 정보를 수신하는 단계는, 상기 지도 생성 서버에 저장된 지도 정보들 중에서 상기 단말과 가장 가까운 곳에서 촬영된 지도 정보들을 수신할 수 있다.
본 발명의 다른 실시 예에 따른 증강 현실 프로그램에서 가상 객체를 구현할 위치를 결정하는 단말은, 지도 생성 서버와 신호를 송수신하는 송수신기; 상기 증강 현실 프로그램을 저장하는 메모리; 상기 증강 현실 프로그램을 이용하여 상기 가상 객체가 구현될 이미지를 촬영하는 카메라; 및 상기 송수신기, 상기 메모리 및 상기 카메라를 제어하여 상기 증강 현실 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 송수신기를 제어하여, GPS 센서를 이용하여 측정한 상기 단말의 위치에 기초하여, 상기 지도 생성 서버로부터 하나 이상의 지도 정보를 수신하고, 상기 하나 이상의 지도 정보와 상기 이미지를 비교하여, 상기 카메라의 포즈 정보를 결정하고, 적어도 하나의 센서를 이용하여 상기 포즈 정보를 수정하고, 상기 포즈 정보를 이용하여 상기 단말에 디스플레이되고 있는 화면 상에서 상기 가상 객체를 구현할 위치를 결정할 수 있다.
본 발명의 실시 예에 의하면, 단말이 GPS 정보를 이용하여 자신의 정확한 위치를 알 수 있게 됨에 따라 QR 코드 등의 정의된 패턴이 없이도 특정 물체에 가상 객체를 구현할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 현실 객체를 증강하는 증강 현실 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 증강 현실 프로그램의 기능을 개념적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따라 단말이 지도 생성 서버로부터 지도 정보들을 수신하는 일 예시를 나타낸다.
도 4는 본 발명의 일 실시 예에 따라 단말에서 가상 객체를 구현할 위치를 결정하는 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 현실 객체를 증강하는 증강 현실 시스템을 나타내는 블록도이다.
도 1을 참조하면, 증강 현실(Augmented Reality) 시스템(10)은 단말(100) 및 지도 생성 서버(200)을 포함할 수 있다.
단말(100)은 프로세서(110), 송수신기(120), 메모리(130), 카메라(140) 및 센서부(150)를 포함할 수 있다.
프로세서(110)는 단말(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(110)는, 송수신기(120)를 이용하여, 지도 생성 서버(200)로부터 지도 정보(MIi, i는 자연수)를 수신할 수 있다.
프로세서(110)는 증강 현실(Augmented Reality, AR) 프로그램(300)을 실행할 수 있다.
프로세서(110)는 증강 현실 프로그램(300)을 실행하여, 단말(100)의 대략적인 위치를 측정하고, 지도 생성 서버(200)에 저장된 지도 정보들 중에서 측정한 단말(100)의 위치와 촬영 위치가 가장 가까운 지도 정보들을 수신하고, 수신한 지도 정보들을 이용하여 카메라(140)의 포즈 정보를 생성하고, 상기 포즈 정보를 이용하여 카메라(140)가 촬영하고 있는 영상 내에서 가상 객체를 증강시킬 위치를 결정하고, 결정된 위치에 상기 가상 객체를 증강시킬 수 있다. 상기 포즈 정보는 카메라(140)의 위치에 대한 정보 및 방향에 대한 정보를 포함할 수 있다.
프로세서(110)는 카메라(140)를 이용하여 제1 주기마다(예컨대, 1/30초(즉, 30 프레임/초), 1/60초(즉, 60 프레임/초) 등) 2D 이미지를 촬영(캡쳐)할 수 있다. 프로세서(110)는 카메라(140)의 포즈 정보를 계산하기 위하여 제1 주기보다 큰 제2 주기(예컨대, 1초)마다 촬영한 2D 이미지를 저장할 수 있다.
메모리(130)는 증강 현실 프로그램(300) 및 증강 현실 프로그램(300)의 실행에 필요한 정보를 저장할 수 있다. 프로세서(110)는 증강 현실 프로그램(300)을 실행하기 위하여 증강 현실 프로그램(300) 및 증강 현실 프로그램(300)의 실행에 필요한 정보를 메모리(130)로부터 로드할 수 있다.
센서부(150)는 카메라(140)의 위치 및 방향을 결정하는데 이용될 수 있다. 센서부(250)는 GPS 센서, 기울기 센서, 지자기 센서, 중력 센서, 자이로 센서 및 가속도 센서 중 적어도 하나를 포함할 수 있다.
지도 생성 서버(200)는 특정 구역을 여러 위치에서 촬영한 복수의 지도 정보들을 생성하고, 생성한 지도 정보 중에서 일부를 단말(100)의 요청에 의해 단말(100)로 전송할 수 있다.
지도 생성 서버(200)가 생성한 지도 정보는 2D 이미지, 상기 2D 이미지에 포함된 복수의 특징점들(features or feature points) 각각의 2D 이미지 상에서의 위치(u, v), 상기 복수의 특징점들 각각의 지구 상에서의 절대적인 3D 좌표(x, y, z), 및 상기 복수의 특징점들 각각에 대한 이미지 설명자(image descriptor)를 포함할 수 있다. 여기서, 이미지 설명자는 특정 구역을 촬영한 이미지 상에서의 특징점을 다른 구역을 촬영한 이미지에 포함된 특징점과 구분하기 위한 것으로서, 상기 특징점과 상기 특징점 주위의 픽셀과의 상관 관계가 벡터로 표현된 다차원 벡터를 의미할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 증강 현실 프로그램의 기능을 개념적으로 설명하기 위한 블록도이다.
도 2를 참조하면, 증강 현실 프로그램(300)은 구역 검색부(310), 위치 계산부(320), 위치 개선부(330) 및 가상 객체 구현부(340)를 포함할 수 있다.
도 2에 도시된 구역 검색부(310), 위치 계산부(320), 위치 개선부(330) 및 가상 객체 구현부(340)는 증강 현실 프로그램(300)의 기능을 쉽게 설명하기 위하여 증강 현실 프로그램(300)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 실시 예들에 따라, 구역 검색부(310), 위치 계산부(320), 위치 개선부(330) 및 가상 객체 구현부(340)는 하나의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.
구역 검색부(310)는 센서부(150)에 포함된 GPS 센서를 이용하여 단말(100)의 위치를 대략적으로 측정할 수 있다. 구역 검색부(310)는 측정한 단말(100)의 위치와 촬영 위치가 가장 가까운 지도 정보들(MIi)을 지도 생성 서버(200)로부터 수신할 수 있다. 실시 예에 따라, 수신하는 지도 정보의 수는 상이할 수 있다.
위치 계산부(320)는 단말(100)이 제2 주기(예컨대, 1초)마다 저장한 2D 이미지를 분석하여 상기 2D 이미지에 포함된 특징점들을 추출하고, 추출한 특징점들의 2D 이미지 상에서의 위치(u, v), 상기 특징점들 각각의 지구 상에서의 3D 좌표(x, y, z), 및 상기 복수의 특징점들 각각에 대한 이미지 설명자(image descriptor)를 결정할 수 있다.
위치 계산부(320)는 상기 2D 이미지와 지도 생성 서버(200)로부터 수신한 지도 정보들(MIi)을 비교하여 카메라(140)의 포즈를 결정할 수 있다. 보다 자세하게는, 위치 계산부(320)는 상기 2D 이미지로부터 추출 및 결정한 정보들(예컨대, 2D 이미지에 포함된 특징점들, 상기 특징점들의 위치(u, v), 상기 특징점들의 지구 상에서의 3D 좌표(x, y, z), 및 상기 특징점들 각각에 대한 이미지 설명자(image descriptor))을 수신한 지도 정보(MI)에 포함된 정보들과 비교함으로써, 단말(200)에 포함된 카메라(140)의 포즈 정보를 결정할 수 있다. 위치 계산부(320)는 상기 제2 주기마다 카메라(140)의 포즈 정보를 계산할 수 있다.
여기서, 카메라(140)의 포즈 정보는 카메라(140)의 위치와 방향에 대한 정보를 포함하며, 상기 포즈 정보는 6-자유도(Degree of Freedom, DOF)를 이용하여 표현될 수 있다.
위치 개선부(330)는 센서부(150)에 포함된 센서들을 이용하여 위치 계산부(330)에서 결정한 포즈 정보를 상기 제2 주기보다 작은 제1 주기(예컨대, 1/30초, 1/60초)마다 개선(refine)(수정)할 수 있다. 즉, 위치 개선부(330)는 상기 제2 주기마다 입력받은 카메라(140)의 포즈 정보를 이용하여 카메라(140)의 위치 및 방향을 인지하고, 위치 계산부(320)에서 다음 포즈 정보를 계산하기 전까지 센서부(250)를 이용하여 센싱된 정보들을 이용하여 카메라(240)의 위치 및 방향을 계산(수정)할 수 있다.
객체 증강부(340)는 위치 개선부(330)를 이용하여 인지 및 개선한 카메라(140)의 위치 및 방향을 이용하여 단말(100)에 디스플레이되고 있는 화면 상에서 가상 객체를 구현할 위치를 결정할 수 있다. 객체 증강부(340)는 결정된 위치에 상기 가상 객체를 구현할 수 있다.
도 3은 본 발명의 일 실시 예에 따라 단말이 지도 생성 서버로부터 지도 정보들을 수신하는 일 예시를 나타낸다.
도 3을 참조하면, 구역 검색부(310)는 제2 주기(예컨대, 1초)마다 카메라(140)를 이용하여 촬영된 2D 이미지(UE_IMG)를 저장하고, 2D 이미지(UE_IMG)를 저장할 때마다 센서부(150)에 포함된 GPS 센서를 이용하여 단말(100)의 위치를 대략적으로 측정하고, 측정한 단말(100)의 위치와 촬영 위치가 가장 가까운 지도 정보들(MI1, MI2, MI3, MI4, MI5)을 지도 생성 서버(200)로부터 수신할 수 있다.
실시 예에 따라, 지도 정보들은 단말(100)과 가까운 순서대로 정렬되어 수신될 수 있다. 즉, 2D 이미지(UE_IMG)가 저장될 때의 단말(100)과 가장 가까운 제1 지도 정보(MI1)가 가장 먼저 수신되고, 두 번째로 가까운 제2 지도 정보(MI2)가 두 번째로 수신되고, 5번째로 가까운 제5 지도 정보(MI5)가 마지막으로 수신될 수 있다.
구역 검색부(310)는 지도 정보들(MI1, MI2, MI3, MI4, MI5)을 수신한 순서대로 위치 계산부(320)로 전달할 수 있다. 또는 실시 예에 따라, 구역 검색부(310)는 수신한 지도 정보들(MI1, MI2, MI3, MI4, MI5)을 위치 계산부(320)로 전달하면서, 지도 정보들의 수신 순서에 대한 정보도 함께 전달할 수 있다.
도 4는 본 발명의 일 실시 예에 따라 단말에서 가상 객체를 구현할 위치를 결정하는 방법을 나타내는 흐름도이다.
도 1, 도 2 및 도 4를 참조하면, 구역 검색부(310)는 센서부(150)에 포함된 GPS 센서를 이용하여 단말(100)의 위치를 대략적으로 측정하고(S400), 측정한 단말(100)의 위치와 촬영 위치가 가장 가까운 지도 정보들(MIi)을 지도 생성 서버(200)로부터 수신할 수 있다(S410).
위치 계산부(320)는 카메라를 이용하여 촬영한 2D 이미지와 지도 생성 서버(200)로부터 수신한 지도 정보들(MIi)을 비교하여 카메라(140)의 포즈를 결정할 수 있다(S420).
위치 개선부(330)는, 센서부(150)에 포함된 센서들을 이용하여, 위치 계산부(330)에서 다음 포즈 정보를 계산할 때까지 상기 포즈 정보를 개선(수정)할 수 있다(S430).
객체 증강부(340)는 위치 개선부(330)를 이용하여 인지 및 개선한 카메라(140)의 포즈를 이용하여 단말(100)에 디스플레이되고 있는 화면 상에서 가상 객체를 구현할 위치를 결정하고(S440), 결정된 위치에 상기 가상 객체를 구현할 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 단말
110: 프로세서
120: 송수신기
130: 메모리
140: 카메라
150: 센서부
200: 지도 생성 서버
300: 증강 현실 프로그램

Claims (10)

  1. 증강 현실 프로그램을 실행하는 단말에서 가상 객체를 구현할 위치를 결정하는 방법에 있어서,
    GPS 센서를 이용하여 측정한 상기 단말의 위치에 기초하여, 지도 생성 서버로부터 하나 이상의 지도 정보를 수신하는 단계;
    상기 하나 이상의 지도 정보와 상기 단말에 구비된 카메라에 의해 촬영된 이미지를 비교하여, 상기 카메라의 포즈 정보를 결정하는 단계;
    적어도 하나의 센서를 이용하여 상기 포즈 정보를 수정하는 단계; 및
    상기 포즈 정보를 이용하여 상기 단말에 디스플레이되고 있는 화면 상에서 가상 객체를 구현할 위치를 결정하는 단계를 포함하는
    가상 객체를 구현할 위치를 결정하는 방법.
  2. 제1 항에 있어서,
    상기 카메라의 포즈 정보를 결정하는 단계는,
    상기 이미지에 포함된 특징점들을 추출하는 단계; 및
    상기 이미지에 포함된 특징점들과 상기 지도 정보에서 기 추출된 특징점들의 차이에 기초하여 상기 포즈 정보를 결정하는 단계를 포함하는
    가상 객체를 구현할 위치를 결정하는 방법.
  3. 제1 항에 있어서,
    상기 카메라의 포즈 정보는 제2 주기마다 계산되며,
    상기 포즈 정보를 수정하는 단계는, 상기 제2 주기보다 작은 제1 주기마다 상기 포즈 정보를 수정하는
    가상 객체를 구현할 위치를 결정하는 방법.
  4. 제1 항에 있어서,
    상기 포즈 정보는 상기 카메라의 절대적인 위치 및 방향에 대한 정보를 포함하는
    가상 객체를 구현할 위치를 결정하는 방법.
  5. 제1 항에 있어서,
    상기 하나 이상의 지도 정보를 수신하는 단계는,
    상기 지도 생성 서버에 저장된 지도 정보들 중에서 상기 단말과 가장 가까운 곳에서 촬영된 지도 정보들을 수신하는
    가상 객체를 구현할 위치를 결정하는 방법.
  6. 증강 현실 프로그램에서 가상 객체를 구현할 위치를 결정하는 단말에 있어서,
    지도 생성 서버와 신호를 송수신하는 송수신기;
    상기 증강 현실 프로그램을 저장하는 메모리;
    상기 증강 현실 프로그램을 이용하여 상기 가상 객체가 구현될 이미지를 촬영하는 카메라; 및
    상기 송수신기, 상기 메모리 및 상기 카메라를 제어하여 상기 증강 현실 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 송수신기를 제어하여, GPS 센서를 이용하여 측정한 상기 단말의 위치에 기초하여, 상기 지도 생성 서버로부터 하나 이상의 지도 정보를 수신하고,
    상기 하나 이상의 지도 정보와 상기 이미지를 비교하여, 상기 카메라의 포즈 정보를 결정하고,
    적어도 하나의 센서를 이용하여 상기 포즈 정보를 수정하고,
    상기 포즈 정보를 이용하여 상기 단말에 디스플레이되고 있는 화면 상에서 상기 가상 객체를 구현할 위치를 결정하는
    단말.
  7. 제6 항에 있어서,
    상기 프로세서는,
    상기 이미지에 포함된 특징점들을 추출하고,
    상기 이미지에 포함된 특징점들과 상기 지도 정보에서 기 추출된 특징점들의 차이에 기초하여 상기 포즈 정보를 결정하는
    단말.
  8. 제6 항에 있어서,
    상기 프로세서는,
    상기 카메라의 포즈 정보를 제2 주기마다 계산하고,
    상기 포즈 정보를 상기 제2 주기보다 작은 제1 주기마다 수정하는
    단말.
  9. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은,
    제1 항 내지 제5 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.
  10. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    제1 항 내지 제5 항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램.
KR1020190133223A 2019-10-24 2019-10-24 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말 KR20210048928A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190133223A KR20210048928A (ko) 2019-10-24 2019-10-24 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190133223A KR20210048928A (ko) 2019-10-24 2019-10-24 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말

Publications (1)

Publication Number Publication Date
KR20210048928A true KR20210048928A (ko) 2021-05-04

Family

ID=75914131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190133223A KR20210048928A (ko) 2019-10-24 2019-10-24 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말

Country Status (1)

Country Link
KR (1) KR20210048928A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023282524A1 (ko) * 2021-07-05 2023-01-12 삼성전자 주식회사 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023282524A1 (ko) * 2021-07-05 2023-01-12 삼성전자 주식회사 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법

Similar Documents

Publication Publication Date Title
US9875579B2 (en) Techniques for enhanced accurate pose estimation
US20190355173A1 (en) Leveraging crowdsourced data for localization and mapping within an environment
KR102198851B1 (ko) 물체의 3차원 모델 데이터 생성 방법
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
US20140320593A1 (en) Monocular visual slam with general and panorama camera movements
US20150116502A1 (en) Apparatus and method for dynamically selecting multiple cameras to track target object
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
CN110361005B (zh) 定位方法、定位装置、可读存储介质及电子设备
US10838515B1 (en) Tracking using controller cameras
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
CN106289263A (zh) 室内导航方法和装置
US20230298344A1 (en) Method and device for determining an environment map by a server using motion and orientation data
US10540809B2 (en) Methods and apparatus for tracking a light source in an environment surrounding a device
KR20210048928A (ko) 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말
KR102383567B1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
KR20210050997A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR20210049527A (ko) 지도 생성 서버로부터 지도 정보를 수신하는 방법 이를 수행하는 단말
JP2015005220A (ja) 情報表示装置及び情報表示方法
KR20210048798A (ko) 단말에 구비된 카메라의 포즈를 결정하는 방법 및 이를 수행하는 위치 계산 서버
KR102299902B1 (ko) 증강현실을 제공하기 위한 장치 및 이를 위한 방법
KR20160109828A (ko) 증강 현실 시스템
KR100387901B1 (ko) 카메라 센서를 이용한 이미지 추적 및 삽입 시스템
KR20210051002A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR20210051040A (ko) 단말에 구비된 카메라의 포즈를 결정하는 방법 및 이를 수행하는 포즈 결정 장치

Legal Events

Date Code Title Description
A201 Request for examination