KR102312531B1 - 위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치 - Google Patents

위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치 Download PDF

Info

Publication number
KR102312531B1
KR102312531B1 KR1020200146842A KR20200146842A KR102312531B1 KR 102312531 B1 KR102312531 B1 KR 102312531B1 KR 1020200146842 A KR1020200146842 A KR 1020200146842A KR 20200146842 A KR20200146842 A KR 20200146842A KR 102312531 B1 KR102312531 B1 KR 102312531B1
Authority
KR
South Korea
Prior art keywords
feature point
location
electronic device
user
extracted
Prior art date
Application number
KR1020200146842A
Other languages
English (en)
Other versions
KR102312531B9 (ko
Inventor
권귀태
Original Assignee
(주)케이넷 이엔지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)케이넷 이엔지 filed Critical (주)케이넷 이엔지
Priority to KR1020200146842A priority Critical patent/KR102312531B1/ko
Application granted granted Critical
Publication of KR102312531B1 publication Critical patent/KR102312531B1/ko
Publication of KR102312531B9 publication Critical patent/KR102312531B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G06T3/0006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 본 발명의 일 실시예에 따른 위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치는 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 소정 지역의 기준 영상 및 3차원 지도를 획득하고, 전자기기로부터 상기 소정 지역에서 사용자가 바라보는 장면을 촬영한 촬영 영상을 획득하는 통신 모듈; 상기 기준 영상의 구조물에 대한 제1 특징점을 추출하고, 상기 추출된 제1 특징점의 3차원 좌표와 상기 3차원 지도를 매칭하여 상기 소정 지역에 대한 3차원 디지털 트윈을 생성하는 3차원 디지털 트윈 모듈; 및 상기 촬영 영상의 구조물에 대한 제2 특징점을 추출하고, 상기 추출한 제2 특징점과 상기 3차원 디지털 트윈의 제1 특징점들을 각각 매칭하고, 상기 제1 특징점과 상기 제2 특징점의 매칭 결과에 기초하여 촬영 영역을 산출하여 사용자의 위치를 추정하는 위치 추적 모듈을 포함한다.

Description

위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치{LOCATION SYSTEM AND COMPUTING DEVICE FOR EXECUTING THE SYSTEM}
본 발명의 실시예들은 위치 추적 기술과 관련된다.
원자력 발전소 내부, 선박 내부 또는 지하 구조물 등의 현장에서는 작업자의 위치 정보를 확보하기 위한 요구와 노력이 증대되고 있다. 원자력 발전 소 내부, 선박 내부 또는 지하 구조물 등의 구조적 특성으로 인해 작업자의 위치 및 상태 파악, 작업 진행 상황 파악 등이 이뤄지기 힘들기 때문에 안전사고, 화재 또는 붕괴 등의 위험 상황 발생시 작업자의 신속한 구조가 어렵다. 또한, 작업 현장에서 안전하고 원활한 작업 진행을 위한 작업자의 위치 파악이 중요하다.
실내 내부의 경우 복잡하고 다양한 공간 및 구조물이 산재하여 열린 공간에서만 활용 가능한 위성항법장치(GPS: Global Positioning System)로는 실제 실내 작업 현장에 적용하기 어렵기 때문에 RTLS(Real Time Location System)을 활용하여 작업자의 위치를 추정하는 연구가 진행되고 있다.
그러나, 이러한 RTLS를 이용한 위치 인식 방법은 작업 현장의 복잡한 구조, 소음, 진동, 분진 및 전파 간섭등의 열악한 환경으로 인해 작업자의 위치를 측위하는데 오차가 발생하는데, 특히 작업자가 이동하는 경우 오차는 누적되어 위치 측위의 정확성 및 신뢰성이 떨어지는 문제점이 있다. 또한, RTLS를 이용한 위치 인식 방법은 각 섹터마다 센서를 부착해야 하므로, 작업 공간 및 장비의 한계가 존재하는 문제점이 있다.
대한민국 등록특허공보 제10-0936265호 (2010.01.13.)
본 발명의 실시예들은 GPS(Global Positioning System)가 작동하지 않는 공간에서도 사용자로부터 획득된 영상을 기반으로 사용자의 위치를 추적하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 소정 지역의 기준 영상 및 3차원 지도를 획득하고, 전자기기로부터 상기 소정 지역에서 사용자가 바라보는 장면을 촬영한 촬영 영상을 획득하는 통신 모듈; 상기 기준 영상의 구조물에 대한 제1 특징점을 추출하고, 상기 추출된 제1 특징점의 3차원 좌표와 상기 3차원 지도를 매칭하여 상기 소정 지역에 대한 3차원 디지털 트윈을 생성하는 3차원 디지털 트윈 모듈; 및 상기 촬영 영상의 구조물에 대한 제2 특징점을 추출하고, 상기 추출한 제2 특징점과 상기 3차원 디지털 트윈의 제1 특징점들을 각각 매칭하고, 상기 제1 특징점과 상기 제2 특징점의 매칭 결과에 기초하여 촬영 영역을 산출하여 사용자의 위치를 추정하는 위치 추적 모듈을 포함하는 컴퓨팅 장치가 제공된다.
상기 위치 추적 모듈은 상기 제2 특징점과 상기 3차원 디지털 트윈의 제1 특징점을 각각 매칭하여 상기 제1 특징점 중에서 상기 제2 특징점과 대응되는 제3 특징점의 개수가 기 설정된 임계값 이상인 경우, 상기 대응되는 제3 특징점을 포함하는 영역을 촬영 영역으로 산출할 수 있다.
상기 위치 추적 모듈은 상기 제3 특징점을 2차원 좌표로 변환하여 2차원 지도에 표시하고, 상기 2차원 지도에 표시된 제3 특징점 중 최대 이격 거리를 가지는 한 쌍의 특징점을 추출하며, 상기 추출된 한 쌍의 특징점 및 상기 전자기기의 시야 각도를 기반으로 상기 사용자의 위치를 추정할 수 있다.
상기 위치 추적 모듈은 상기 추출된 한 쌍의 특징점과 상기 전자기기의 시야 각도를 만들 수 있는 좌표를 산출하고, 해당 좌표 중 사람이 위치할 수 있는 영역에 있는 좌표를 상기 사용자의 위치로 추정할 수 있다.
상기 위치 추적 모듈은 상기 촬영 영상이 측면에서 촬영된 영상으로 확인되면 어파인 변환(Affine Transform)을 이용하여 상기 전자기기의 시야 회전 각도를 구하고, 상기 추출된 한 쌍의 특징점, 상기 전자기기의 시야 각도 및 상기 전자기기의 시야 회전 각도를 기반으로 상기 사용자의 위치를 추정할 수 있다.
상기 위치 추적 모듈은 상기 추출된 한 쌍의 특징점과 상기 전자기기의 시야 각도를 만들 수 있는 좌표를 산출하고, 상기 산출된 좌표에서 상기 전자기기의 시야 회전 각도만큼 이동된 좌표를 상기 사용자의 위치로 추정할 수 있다.
상기 컴퓨팅 장치는 상기 3차원 디지털 트윈에 상기 추정된 사용자의 위치를 표시하고, 상기 사용자가 상기 소정 지역에서 이동한 이동 경로를 제공하는 콘텐츠 제공 모듈을 포함할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 소정 지역에서 사용자가 바라보는 장면을 촬영하는 카메라를 포함하는 전자기기; 및 상기 소정 지역의 기준 영상 및 3차원 지도를 획득하고, 상기 전자기기로부터 촬영한 촬영 영상을 획득하는 통신 모듈과; 상기 기준 영상의 구조물에 대한 제1 특징점을 추출하고, 상기 추출된 제1 특징점의 3차원 좌표와 상기 3차원 지도를 매칭하여 상기 소정 지역에 대한 3차원 디지털 트윈을 생성하는 3차원 디지털 트윈 모듈과; 상기 촬영 영상의 구조물에 대한 제2 특징점을 추출하고, 상기 추출한 제2 특징점과 상기 3차원 디지털 트윈의 제1 특징점들을 각각 매칭하고, 상기 제1 특징점과 상기 제2 특징점의 매칭 결과에 기초하여 촬영 영역을 산출하여 사용자의 위치를 추정하는 위치 추적 모듈을 포함하는 관리 서버를 포함하는 위치 추적 시스템이 제공된다.
본 발명의 실시예들에 따르면, GPS(Global Positioning System)가 작동하지 않는 공간에서도 사용자로부터 획득된 영상을 기반으로 사용자의 위치를 추적할 수 있다.
도 1은 본 발명의 일 실시예에 따른 위치 추적 시스템의 구성을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 위치 추적 시스템의 전자기기의 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 위치 추적 시스템의 관리 서버의 구성을 나타낸 블록도
도 4 및 도 5는 본 발명의 일 실시예에 따른 위치 추적 시스템의 관리 서버에서 위치 추적 모듈을 설명하기 위한 도면
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 위치 추적 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 위치 추적 시스템의 전자기기의 구성을 나타낸 블록도이며, 도 3은 본 발명의 일 실시예에 따른 위치 추적 시스템의 관리 서버의 구성을 나타낸 블록도이다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 위치 추적 시스템은 전자기기(100) 및 관리 서버(200)를 포함할 수 있다. 전자기기(100) 및 관리 서버(200)는 통신 네트워크를 통해 통신 가능하게 연결된다.
몇몇 실시 예들에서, 통신 네트워크는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
전자기기(100)는 무선 통신을 사용할 수 있는 HMD(Head Mounted Display), 스마트 폰, 태블릿 PC, 웨어러블 디바이스(wearable device), 워치형 단말기(smart watch) 및 컨택트 렌즈(Contact lens) 등으로서, 전자 기기는 프레임(110), 촬영부(120), 통신부(130) 및 디스플레이부(140)를 포함할 수 있다. 도 2에 도시된 구성요소들은 전자기기(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 전자기기(100)는 위에서 열거된 구성요소들 보다 많거나, 적은 구성요소들을 가질 수 있다. 본 발명의 일 예로서 설명되는 전자기기(100)는 AR 글래스(GLASS)에 적용되는 실시예를 기준으로 설명하기로 한다.
전자기기(100)는 글라스 타입(smart glass)으로 마련될 수 있다. 글라스 타입의 전자기기(100)는 인체의 두부에 착용 가능하도록 구성되며, 이를 위한 프레임(110)(케이스, 하우징 등)을 구성할 수 있다. 프레임(110)은 착용이 용이하도록 플렉서블 재질로 형성될 수 있다.
프레임(110)은 두부에 지지되며, 각종 부품들이 장착되는 공간을 마련할 수 있다. 프레임(110)에는 촬영부(120), 통신부(130) 및 디스플레이부(140)와 같은 전자부품이 장착될 수 있다. 또한, 프레임(110)에는 좌안 및 우안 중 적어도 하나를 덮는 렌즈가 장착될 수 있다. 프레임(110)은 사용자(1)의 신체 중 안면에 착용되는 안경 형태를 가질 수 있으나, 이에 한정되는 것은 아니며, 사용자(1)의 안면에 밀착되어 착용되는 고글 등의 형태를 가질 수도 있다.
촬영부(120)는 사용자(1)가 바라보는 장면을 촬영할 수 있다. 촬영부(120)는 전자기기(100) 등에 일체로 형성될 수 있다. 구체적으로, 촬영부(120)는 전자기기(100)에 일체로 형성되어 사용자(1)가 바라보는 현실 세계를 영상으로 촬영할 수 있다. 촬영부(120)는 촬영된 영상을 통신부(130)를 통하여 관리 서버(200)로 제공할 수 있다.
통신부(130)는 촬영된 영상을 네트워크를 통하여 관리 서버(200)로 전송할 수 있다. 또한, 통신부(130)는 관리 서버(200)로부터 증강 현실(Augmented Reality, AR) 콘텐츠를 수신할 수 있다.
디스플레이부(140)는 카메라를 통해 인식된 현실세계에 대응하는 증강 현실 콘텐츠를 화면에 표시할 수 있다. 증강 현실 콘텐츠는 현실 세계의 사용자(1)의 위치를 제공할 수 있다. 또한, 디스플레이부(140)는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 형태로 구현될 수 있다. HMD 형태란, 두부에 장착되어, 사용자(1)의 눈 앞에 직접 영상을 보여주는 디스플레이 방식을 말한다. 사용자(1)가 전자기기(100)를 착용하였을 때, 사용자(1)의 눈 앞에 직접 영상을 제공할 수 있도록, 디스플레이부(140)는 좌안 및 우안 중 적어도 하나에 대응되게 배치될 수 있다.
디스플레이부(140)는 사용자(1)가 외부 환경을 시각적으로 인지하면서, 동시에 관리 서버(200)로부터 수신한 증강 현실 콘텐츠가 사용자(1)에게 보이도록 할 수 있다. 예를 들어, 디스플레이부(140)는 프리즘을 이용하여 디스플레이 영역에 이미지를 투사할 수 있다. 또한, 디스플레이부(140)는 투사된 이미지와 전방의 일반 시야(사용자(1)가 눈을 통하여 바라보는 범위)가 동시에 보이도록 하기 위해 투광성으로 형성될 수 있다. 예를 들어, 디스플레이부(140)는 반투명일 수 있으며, 글라스(glass)를 포함하는 광학 소자로 형성될 수 있다.
즉, 디스플레이부(140)를 통하여 출력되는 증강 현실 콘텐츠는 일반 시야와 오버랩(overlap)되어 보일 수 있다. 전자기기(100)는 이러한 디스플레이 특성을 이용하여 현실의 이미지나 배경에 가상 이미지를 겹쳐서 하나의 이미지로 보여주는 증강현실(Augmented Reality, AR)을 제공할 수 있다.
관리 서버(200)는 통신 모듈(210), 저장 모듈(220), 3차원 디지털 트윈(digital twin) 모듈(230), 위치 추적 모듈(240) 및 콘텐츠 제공 모듈(250)을 포함할 수 있다.
통신 모듈(210)은 전자기기(100)로부터 촬영된 영상(촬영 영상)을 네트워크를 통하여 수신할 수 있다. 통신 모듈(210)은 증강현실 콘텐츠를 전자기기(100)로 전송할 수 있다. 또한, 통신 모듈(210)은 외부 서버로부터 소정 지역(작업 현장)에 대한 영상(기준 영상) 및 3차원 지도를 수신할 수 있다. 여기서, 3차원 지도는 3차원 라이다로부터 획득한 구조물 데이터를 이용하여 스캔 매칭(scan matching) 같은 알고리즘으로 정합하여 작성된 지도일 수 있다.
저장 모듈(220)은 통신 모듈(210)을 통하여 수신한 촬영된 영상을 저장할 수 있다. 또한, 저장 모듈(220)은 통신 모듈(210)을 통하여 수신한 소정 지역에 대한 영상 및 3차원 지도를 수신할 수 있다.
3차원 디지털 트윈(digital twin) 모듈(230)(데이터베이스)은 통신 모듈(210)을 통해 수신한 소정 지역에 대한 영상(기준 영상) 및 3차원 지도를 바탕으로 소정 지역에 대한 3차원 디지털 트윈을 생성할 수 있다. 구체적으로, 3차원 디지털 트윈(digital twin) 모듈(230)은 지역 영상(소정 지역에 대한 영상)의 구조물에 대하여 특징점(제1 특징점)을 추출할 수 있다. 여기서, 특징점을 추출하는 방법으로는 SIFT(Scale Invariant Feature Transform), MSER(maximally stable extremal regions) 등과 같은 특징점 추출 기법을 활용하여 구조물의 기하 변화에 강이한 특징점을 추출할 수 있다. 또한, 3차원 디지털 트윈 모듈(230)은 추출한 특징점들의 3차원 좌표를 산출하고, 특징점들의 3차원 좌표와 3차원 지도를 매칭하여 3차원 디지털 트윈을 생성할 수 있다. 여기서, 3차원 디지털 트윈은 현실 세계와 동일한 환경을 소프트웨어로 복제하여 디지털 환경에 구현한 디지털 가상 객체로서, 소정 지역에 포함된 현실세계의 설비, 구조물, 건물 등을 가상 공간에 동일하게 구현하는 기술이다.
한편, 본 발명에서는 3차원 디지털 트윈 모듈(230)이 소정 지역에 대한 영상 및 3차원 지도를 바탕으로 소정 지역에 대한 3차원 디지털 트윈을 생성하는 것으로 설명하였으나, 이에 한정되는 것은 아니며, 데이터베이스(미도시)에 기 저장된 3차원 디지털 트윈을 사용할 수 있다. 이 때, 기 저장된 3차원 디지털 트윈은 외부 서버로부터 소정 지역에 대한 3차원 디지털 트윈을 수신하여 데이터베이스에 저장할 수 있다.
위치 추적 모듈(240)은 촬영 영상(전자기기(100)로부터 촬영된 영상)의 구조물에 대하여 특징점(제2 특징점)을 추출할 수 있다. 여기서, 특징점을 추출하는 방법으로는 SIFT(Scale Invariant Feature Transform), MSER(maximally stable extremal regions) 등과 같은 특징점 추출 기법을 활용하여 구조물의 기하 변화에 강이한 특징점을 추출할 수 있다. 위치 추적 모듈(240)은 촬영 영상의 구조물의 특징점과 3차원 디지털 트윈의 특징점들을 각각 매칭하고, 촬영 영상의 구조물의 특징점과 3차원 디지털 트윈의 특징점들의 매칭 결과에 기초하여 촬영 영역(S)(영상이 촬영된 지역)을 추정할 수 있다. 특징점 매칭 결과로는 서로 대응되는 특징점(제3 특징점)의 위치와 개수가 산출될 수 있으며, 촬영 영상과 3차원 디지털 트윈 간 서로 대응되는 제3 특징점의 개수를 기반으로 촬영 영역(S)을 추정할 수 있다. 예를 들어, 3차원 디지털 트윈의 제1 특징점들 중에서 촬영 영상에 포함된 구조물에서 추출된 제2 특징점들과 대응되는 제3 특징점의 개수가 기 설정된 임계값 이상인 경우, 대응되는 제3 특징점들을 포함하는 영역을 촬영 영역(S)으로 추정할 수 있다.
예시적인 실시예에서, 위치 추적 모듈(240)은 머신러닝(Machine Learning) 기반 기술을 사용하여 촬영 영상을 입력받고, 촬영 영상 및 3차원 디지털 트윈을 기반으로 촬영 영역(S)을 추정하도록 학습되는 머신러닝 모델을 포함할 수 있다. 머신 러닝 모델은 촬영 영상이 입력되는 경우, 촬영 영상 및 3차원 디지털 트윈을 매칭하여 촬영 영역(S)을 추정하도록 학습될 수 있다.
예를 들어, 머신 러닝 모델은 촬영 영상을 입력받아 촬영 영상의 구조물에 대한 특정점을 추출하고 촬영 영상의 구조물의 특징점과 3차원 디지털 트윈의 특징점들을 각각 매칭하여 소정 지역에서 촬영 영역(S)을 추정하도록 할 수 있다.
또한, 위치 추적 모듈(240)은 촬영 영역(S)에 포함된 3차원 디지털 트윈의 특징점들을 2차원 좌표로 변환하여 2차원 지도에 표시할 수 있다. 여기서, 2차원 지도는 3차원 지도를 위에서 바라본 평면 지도일 수 있다. 위치 추적 모듈(240)은 2차원 지도에 표시된 제3 특징점들 중 최대 이격 거리를 가지는 한 쌍의 특징점을 추출하고, 추출된 한 쌍의 특징점과 전자기기(100)의 시야 각도(θ1)를 기반으로 사용자(1)의 위치를 추정할 수 있다. 도 4와 같이, 위치 추적 모듈(240)은 추출된 한 쌍의 특징점과 전자기기(100)의 시야 각도(θ1)를 만들 수 있는 좌표(a1, a2)를 산출할 수 있다. 해당 좌표(a1, a2) 중 사람이 위치할 수 있는 영역(예를 들어, 길)에 있는 좌표(a1)를 현재 사용자(1)의 위치로 추정할 수 있다. 즉, 위치 추적 모듈(240)은 산출된 좌표(a1, a2)가 위치하는 영역이 사람이 위치할 수 없는 영역(예를 들어, 구조물)인지 사람이 위치할 수 있는 영역(예를 들어, 길)인지 2차원 지도를 이용하여 판단하고, 사람이 위치할 수 있는 영역에 있는 좌표(a1)를 선택하여 현재 사용자(1)의 위치로 추정할 수 있다.
또한, 위치 추적 모듈(240)은 도 5와 같이, 촬영 영상이 정면에서 촬영된 영상이 아닌 측면에서 촬영된 영상으로 확인되면, 어파인 변환(Affine Transform)을 이용하여 전자기기(100)의 시야 회전 각도(θ2)를 구하고, 추출된 한 쌍의 특징점, 전자기기(100)의 시야 회전 각도(θ2)를 기반으로 좌표를 산출할 수 있다. 즉, 위치 추적 모듈(240)은 추출된 한 쌍의 특징점과 전자기기(100)의 시야 각도(θ1)를 만들 수 있는 좌표(a1)를 산출하고, 산출된 좌표(a1)에서 전자기기(100)의 시야 회전 각도(θ2)만큼 이동된 좌표(a3)를 현재 사용자(1)의 위치로 추정할 수 있다.
콘텐츠 제공 모듈(250)은 카메라를 통해 촬영된 현실세계에 대응하는 증강현실 이미지를 제공할 수 있다. 콘텐츠 제공 모듈(250)은 증강현실 이미지에 사용자(1)의 위치를 표시하여 제공할 수 있다. 또한, 콘텐츠 제공 모듈(250)은 증강현실 이미지에 사용자(1)가 소정 지역에서의 이동 경로를 제공할 수 있다. 또한, 콘텐츠 제공 모듈(250)은 증강현실 이미지에 사용자(1)가 이동하려는 목적지를 제공하는 네비게이션을 제공할 수 있다. 예를 들어, 콘텐츠 제공 모듈(250)은 원자력 발전소 내부와 같은 지역에서 사용되는 경우, 원자력 발전소 사용자(1)의 이동 경로에 따른 피폭선량을 계산하여 제공할 수 있다.
본 발명의 실시예들에 따르면, GPS(Global Positioning System)가 작동하지 않는 공간에서도 사용자로부터 획득된 영상을 기반으로 사용자의 위치를 추적할 수 있다.
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 전자기기(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 관리 서버(200)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 전자기기
110 : 프레임
120 : 촬영부
130 : 통신부
140 : 디스플레이부
200 : 관리 서버
210 : 통신 모듈
220 : 저장 모듈
230 : 3차원 디지털 트윈 모듈
240 : 위치 추적 모듈
250 : 콘텐츠 제공 모듈

Claims (8)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
    소정 지역의 기준 영상 및 3차원 지도를 획득하고, 전자기기로부터 상기 소정 지역에서 사용자가 바라보는 장면을 촬영한 촬영 영상을 획득하는 통신 모듈;
    상기 기준 영상의 구조물에 대한 제1 특징점을 추출하고, 상기 추출된 제1 특징점의 3차원 좌표와 상기 3차원 지도를 매칭하여 상기 소정 지역에 대한 3차원 디지털 트윈을 생성하는 3차원 디지털 트윈 모듈; 및
    상기 촬영 영상의 구조물에 대한 제2 특징점을 추출하고, 상기 추출한 제2 특징점과 상기 3차원 디지털 트윈의 제1 특징점들을 각각 매칭하고, 상기 제1 특징점 중에서 상기 제2 특징점과 대응되는 제3 특징점의 개수가 기 설정된 임계값 이상인 경우 상기 대응되는 제3 특징점을 포함하는 영역을 촬영 영역으로 산출하여 사용자의 위치를 추정하는 위치 추적 모듈을 포함하며,
    상기 위치 추적 모듈은,
    상기 제3 특징점을 2차원 좌표로 변환하여 2차원 지도에 표시하고, 상기 2차원 지도에 표시된 제3 특징점 중 최대 이격 거리를 가지는 한 쌍의 특징점을 추출하며, 상기 추출된 한 쌍의 특징점 및 상기 전자기기의 시야 각도를 기반으로 상기 사용자의 위치를 추정하는, 컴퓨팅 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 위치 추적 모듈은,
    상기 추출된 한 쌍의 특징점과 상기 전자기기의 시야 각도를 만들 수 있는 좌표를 산출하고, 해당 좌표 중 사람이 위치할 수 있는 영역에 있는 좌표를 상기 사용자의 위치로 추정하는, 컴퓨팅 장치.
  5. 청구항 1에 있어서,
    상기 위치 추적 모듈은,
    상기 촬영 영상이 측면에서 촬영된 영상으로 확인되면 어파인 변환(Affine Transform)을 이용하여 상기 전자기기의 시야 회전 각도를 구하고, 상기 추출된 한 쌍의 특징점, 상기 전자기기의 시야 각도 및 상기 전자기기의 시야 회전 각도를 기반으로 상기 사용자의 위치를 추정하는, 컴퓨팅 장치.
  6. 청구항 5에 있어서,
    상기 위치 추적 모듈은,
    상기 추출된 한 쌍의 특징점과 상기 전자기기의 시야 각도를 만들 수 있는 좌표를 산출하고, 상기 산출된 좌표에서 상기 전자기기의 시야 회전 각도만큼 이동된 좌표를 상기 사용자의 위치로 추정하는, 컴퓨팅 장치.
  7. 청구항 1에 있어서,
    상기 컴퓨팅 장치는,
    상기 3차원 디지털 트윈에 상기 추정된 사용자의 위치를 표시하고, 상기 사용자가 상기 소정 지역에서 이동한 이동 경로를 제공하는 콘텐츠 제공 모듈을 더 포함하는, 컴퓨팅 장치.
  8. 소정 지역에서 사용자가 바라보는 장면을 촬영하는 카메라를 포함하는 전자기기; 및
    상기 소정 지역의 기준 영상 및 3차원 지도를 획득하고, 상기 전자기기로부터 촬영한 촬영 영상을 획득하는 통신 모듈과; 상기 기준 영상의 구조물에 대한 제1 특징점을 추출하고, 상기 추출된 제1 특징점의 3차원 좌표와 상기 3차원 지도를 매칭하여 상기 소정 지역에 대한 3차원 디지털 트윈을 생성하는 3차원 디지털 트윈 모듈과; 상기 촬영 영상의 구조물에 대한 제2 특징점을 추출하고, 상기 추출한 제2 특징점과 상기 3차원 디지털 트윈의 제1 특징점들을 각각 매칭하고, 상기 제1 특징점 중에서 상기 제2 특징점과 대응되는 제3 특징점의 개수가 기 설정된 임계값 이상인 경우 상기 대응되는 제3 특징점을 포함하는 영역을 촬영 영역으로 산출하여 사용자의 위치를 추정하는 위치 추적 모듈을 포함하는 관리 서버를 포함하며,
    상기 위치 추적 모듈은,
    상기 제3 특징점을 2차원 좌표로 변환하여 2차원 지도에 표시하고, 상기 2차원 지도에 표시된 제3 특징점 중 최대 이격 거리를 가지는 한 쌍의 특징점을 추출하며, 상기 추출된 한 쌍의 특징점 및 상기 전자기기의 시야 각도를 기반으로 상기 사용자의 위치를 추정하는, 위치 추적 시스템.
KR1020200146842A 2020-11-05 2020-11-05 위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치 KR102312531B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200146842A KR102312531B1 (ko) 2020-11-05 2020-11-05 위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200146842A KR102312531B1 (ko) 2020-11-05 2020-11-05 위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치

Publications (2)

Publication Number Publication Date
KR102312531B1 true KR102312531B1 (ko) 2021-10-14
KR102312531B9 KR102312531B9 (ko) 2023-08-04

Family

ID=78116190

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200146842A KR102312531B1 (ko) 2020-11-05 2020-11-05 위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치

Country Status (1)

Country Link
KR (1) KR102312531B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004957A (zh) * 2021-10-29 2022-02-01 腾讯科技（深圳）有限公司 增强现实图片的生成方法、装置、设备和存储介质
CN114612537A (zh) * 2022-03-29 2022-06-10 新智认知数据服务有限公司 数字孪生图像与真实图像配准方法、设备及可读存储介质
CN117475041A (zh) * 2023-12-28 2024-01-30 湖南视觉伟业智能科技有限公司 一种基于rcms的数字孪生岸桥模拟方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100936265B1 (ko) 2007-12-28 2010-01-13 울산광역시 제조업의 산업안전재해 감시를 위한 휴대형센서
WO2015049717A1 (ja) * 2013-10-01 2015-04-09 株式会社日立製作所 移動体位置推定装置および移動体位置推定方法
KR20180075723A (ko) * 2016-12-26 2018-07-05 경희대학교 산학협력단 증강현실 서비스를 수행하는 이동 단말기 및 이를 수행하는 방법
JP2018194366A (ja) * 2017-05-15 2018-12-06 日本電信電話株式会社 位置推定装置、方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100936265B1 (ko) 2007-12-28 2010-01-13 울산광역시 제조업의 산업안전재해 감시를 위한 휴대형센서
WO2015049717A1 (ja) * 2013-10-01 2015-04-09 株式会社日立製作所 移動体位置推定装置および移動体位置推定方法
KR20180075723A (ko) * 2016-12-26 2018-07-05 경희대학교 산학협력단 증강현실 서비스를 수행하는 이동 단말기 및 이를 수행하는 방법
JP2018194366A (ja) * 2017-05-15 2018-12-06 日本電信電話株式会社 位置推定装置、方法、及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004957A (zh) * 2021-10-29 2022-02-01 腾讯科技（深圳）有限公司 增强现实图片的生成方法、装置、设备和存储介质
CN114004957B (zh) * 2021-10-29 2024-07-09 腾讯科技（深圳）有限公司 增强现实图片的生成方法、装置、设备和存储介质
CN114612537A (zh) * 2022-03-29 2022-06-10 新智认知数据服务有限公司 数字孪生图像与真实图像配准方法、设备及可读存储介质
CN117475041A (zh) * 2023-12-28 2024-01-30 湖南视觉伟业智能科技有限公司 一种基于rcms的数字孪生岸桥模拟方法
CN117475041B (zh) * 2023-12-28 2024-03-29 湖南视觉伟业智能科技有限公司 一种基于rcms的数字孪生岸桥模拟方法

Also Published As

Publication number Publication date
KR102312531B9 (ko) 2023-08-04

Similar Documents

Publication Publication Date Title
KR102312531B1 (ko) 위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치
US10475249B2 (en) Safety for wearable virtual reality devices via object detection and tracking
CN109084746B (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
CN110047104B (zh) 对象检测和跟踪方法、头戴式显示装置和存储介质
KR101930657B1 (ko) 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
US10621751B2 (en) Information processing device and computer program
KR101835434B1 (ko) 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US8965741B2 (en) Context aware surface scanning and reconstruction
KR101295714B1 (ko) 3차원 증강 현실 제공 장치 및 방법
CN112753050A (zh) 信息处理装置、信息处理方法和程序
TW201443699A (zh) 圖像處理裝置及方法、以及程式
KR20130058424A (ko) 특징점의 삼차원 위치 계산 장치 및 방법
EP2851868A1 (en) 3D Reconstruction
US11263818B2 (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
CN110796703A (zh) 一种位姿跟踪系统、方法和存储介质
KR20210087075A (ko) 패스 스루 시각화
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
KR102033118B1 (ko) 작업 현장의 위험을 경고하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
US11741671B2 (en) Three-dimensional scene recreation using depth fusion
JP6993282B2 (ja) 情報端末装置、プログラム及び方法
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
KR102350226B1 (ko) 증강현실 컨텐츠 배치 장치 및 방법
US12125157B2 (en) Safety for wearable virtual reality devices via object detection and tracking
US12073516B2 (en) Information processing device and method for displaying AR object at accurate position
RU2702495C1 (ru) Способ и система сбора информации для устройства совмещенной реальности в режиме реального времени

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]