KR20210087804A - 위치 측정을 위한 단말의 헤딩 방향을 추정하는 방법 - Google Patents

위치 측정을 위한 단말의 헤딩 방향을 추정하는 방법 Download PDF

Info

Publication number
KR20210087804A
KR20210087804A KR1020200000977A KR20200000977A KR20210087804A KR 20210087804 A KR20210087804 A KR 20210087804A KR 1020200000977 A KR1020200000977 A KR 1020200000977A KR 20200000977 A KR20200000977 A KR 20200000977A KR 20210087804 A KR20210087804 A KR 20210087804A
Authority
KR
South Korea
Prior art keywords
heading direction
calculating
value
images
reliability
Prior art date
Application number
KR1020200000977A
Other languages
English (en)
Other versions
KR102329785B1 (ko
Inventor
양세훈
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020200000977A priority Critical patent/KR102329785B1/ko
Publication of KR20210087804A publication Critical patent/KR20210087804A/ko
Application granted granted Critical
Publication of KR102329785B1 publication Critical patent/KR102329785B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

본 발명은 위치 측정을 위한 단말의 헤딩 방향을 추정하는 방법에 관한 것으로, 적어도 하나의 프로세스에 의해 동작하는 컴퓨팅 장치가 헤딩 방향을 추정하는 방법으로서, 일정시간 동안 지자기 센서로부터 헤딩 방향값들을 수집하고, 이미지 센서로부터 이미지들을 수집하는 단계, 수집된 이미지들간에 복수개의 방향 변화량을 산출하는 단계, 헤딩 방향값들에 대해서 산출된 방향 변화량을 적용한 복수개의 신뢰도 범위를 산정하는 단계, 헤딩 방향값이 복수개의 신뢰도 범위 중에서 포함되는 경우를 카운팅하여 신뢰도 점수를 산정하는 단계, 그리고 산정된 신뢰도 점수 중에서 가장 높은 값을 가지는 헤딩 방향 값을 기준 헤딩 방향값으로 설정하는 단계를 포함한다.

Description

위치 측정을 위한 단말의 헤딩 방향을 추정하는 방법{METHOD FOR ESTIMATING HEAD DIRECTION OF TERMINAL FOR POSITION MEASUREMENT}
본 발명은 위치 측정을 위한 단말의 헤딩 방향을 추정하는 방법에 관한 것이다.
일반적으로 절대 위치를 추정하거나 위치의 변화 정도를 추정하는 방법을 이용하여 실내 위치를 추정한다, 절대 위치를 추정하는 방법으로는 무선망을 활용하거나 이미지나 전파 맵을 활용한다.
예를 들어, 무선망을 활용하는 경우에는 신호 발생원의 위치를 기준점으로 설정하고, 시간 또는 신호 세기의 손실 정도를 기반으로 거리를 추정한 후, 단말의 위치를 추정한다. 또는 이미지나 전파 맵을 활용하는 경우에는 실내 임의 위치 별로 사전에 수집한 정보를 기준으로 실내에서의 측위를 수행한다.
다만, 이와 같은 위치를 추정하는 방법은 단말의 센서 값을 직접 활용하지 않고 외부 정보를 수신한 후 비교 분석을 수행하여 위치를 추정하기 때문에 지연 시간이 발생하며, 연속적으로 정확한 위치 추정이 어렵다. 상세하게는 전자파 맵 기반 측위 기술의 경우에는 데이터베이스를 격자 단위로 구성하게 되고, 대표 격자를 중심으로 위치를 추정하기 때문에 격자의 중심간 이격 거리가 발생하게 되고, 불연속적인 추정 결과를 얻게 된다.
한편, 위치의 변화 정도를 추정하는 방법에는 단말의 센서로부터 지자기, 가속도, 중력 센서 등을 활용하는 PDR 방식과 카메라 기반 이미지의 변화를 활용하는 방식이 이용된다.
이러한 PDR 방식의 경우 단기간 동안 매우 높은 정확도를 확보할 수 있다는 장점을 가지고 있으나 센서에서 기본적으로 가지고 있는 오차에 의해 시간이 경과할수록 정확도가 급격하게 저하된다. 특히 단말의 방향을 잡기 위한 지자기 센서의 경우에는 실내 환경에 의해 오차 값이 매우 크게 나타날 수 있어 신뢰도를 확보하기에 어렵다. 그리고 이미지 센서를 활용하여 위치를 추정하는 방법으로는 이미지로부터 특징점의 변화량을 직접적으로 추정하기가 어렵기 때문에 절대적인 위치 변화에 대한 정보에 기초하여 초기값을 설정해야 한다.
그러므로 실내 환경에서 절대 위치 추정을 위한 기준 위치 설정이 없이도 불연속성을 개선하여 신뢰도 높은 상대 위치 추정 결과를 얻기 위한 헤딩 방향을 추정하는 기술이 요구된다.
해결하고자 하는 과제는 지자기 센서에 의한 측위 정보와 이미지 센서를 이용한 측위 정보 간의 결합을 통해 신뢰도가 향상된 단말의 헤딩 방향을 추정 및 보정하는 기술을 제공하는 것이다.
본 발명의 한 실시예에 따른 적어도 하나의 프로세스에 의해 동작하는 컴퓨팅 장치가 헤딩 방향을 추정하는 방법으로서, 일정시간 동안 지자기 센서로부터 헤딩 방향값들을 수집하고, 이미지 센서로부터 이미지들을 수집하는 단계, 수집된 이미지들간에 복수개의 방향 변화량을 산출하는 단계, 헤딩 방향값들에 대해서 산출된 방향 변화량을 적용한 복수개의 신뢰도 범위를 산정하는 단계, 헤딩 방향값이 복수개의 신뢰도 범위 중에서 포함되는 경우를 카운팅하여 신뢰도 점수를 산정하는 단계, 그리고 산정된 신뢰도 점수 중에서 가장 높은 값을 가지는 헤딩 방향 값을 기준 헤딩 방향값으로 설정하는 단계를 포함한다.
수집하는 단계는, 일정시간 동안에 헤딩 방향값을 측정하는 동일한 타이밍에 대응되는 이미지를 수집할 수 있다.
방향 변화량을 산출하는 단계는, 이미지들간에 변화량을 산출하기 위한 복수개의 그룹핑을 수행하는 단계, 그룹핑된 이미지들 각각에 대해서 중심선을 추출하는 단계, 그룹핑된 이미지들 사이에서 추출된 중심선의 이동 거리를 산출하는 단계, 그리고 중심선의 이동 거리에 기초하여 방향 변화량을 산출하는 단계를 더 포함할 수 있다.
추출된 중심선의 이동 거리를 산출하는 단계는, 그룹핑된 이미지들 중에서 기준이 되는 이미지의 중심선 상에 위치하는 특징점을 선정하고, 그룹핑된 이미지들에서 특징점을 추출하여, 추출된 특징점과 각 이미지의 중심선과의 픽셀 수를 산출할 수 있다.
복수개의 신뢰도 범위를 산정하는 단계는, 각 헤딩 방향 값마다 동일한 타이밍에 대응되는 이미지를 기준으로 그룹핑된 개수만큼의 신뢰도 범위를 산정할 수 있다.
기준 헤딩 방향값이 설정되면, 서로 상이한 타이밍에 촬영된 이미지에서 방향 변화량을 산출하고, 산출된 방향 변화량을 기준 헤딩 방향값에 적용하여 현재 시점의 헤딩 방향값을 보정하는 단계를 더 포함할 수 있ek.
기준 헤딩 방향값으로 설정하는 단계는, 산정된 상기 신뢰도 점수가 가장 큰 값이 설정된 임계치보다 작으면, 일정 시간에 대한 구간을 늘리거나 기준 헤딩 방향값을 초기화하는 단계를 더 포함할 수 있다.
횡 방향 또는 종 방향으로의 임계치 이상의 이동을 감지하면 기준 헤딩 방향값을 초기화하는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따른 적어도 하나의 프로세스에 의해 동작하는 컴퓨팅 장치가 헤딩 방향을 보정하는 방법으로서, 일정시간 동안 지자기 센서로부터 헤딩 방향값들을 수집하고, 이미지 센서로부터 이미지들을 수집하는 단계, 수집된 이미지들간에 복수개의 방향 변화량을 산출하고, 방향 변화량에 기초하여 헤딩 방향 값들의 신뢰도 점수를 산정하는 단계, 산정된 신뢰도 점수 중에서 가장 높은 값을 가지는 헤딩 방향 값을 기준 헤딩 방향값으로 설정하는 단계, 그리고 기준 헤딩 방향값이 설정되면, 서로 상이한 타이밍에 촬영된 이미지에서 방향 변화량을 산출하고, 산출된 방향 변화량을 기준 헤딩 방향값에 적용하여 현재 시점의 헤딩 방향값을 산출하는 단계를 포함한다.
실시예에 따르면 측위 과정에서 발생할 수 있는 불연속성을 개선하면서, 신뢰도를 향상시켜 보다 정확한 단말의 헤딩 방향을 추정 및 보정할 수 있다.
실시예에 따르면, 임의의 위치에서 별도의 인프라 없이도 단말의 이동 경로가 추정가능하며, 정확한 헤딩 방향에 따른 측위 정보를 제공함에 따라 사용자 위치에 따른 응용 서비스에 대한 높은 만족감을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 실내 공간에서의 단말이 위치 측정을 위한 일련의 과정을 나타내는 예시도이다.
도 2는 본 발명의 실시예에 따른 단말을 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 단말의 헤딩 방향을 추정하는 방법을 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 방향 변화량을 추정하는 과정을 설명하기 위한 단말의 디스플레이 화면을 나타낸 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 실시예에 따른 실내 공간에서의 단말이 위치 측정을 위한 일련의 과정을 나타내는 예시도이다.
도 1에 도시한 바와 같이, 실내 공간에서 이동하는 사용자의 이동 방향을 알기 위해서는 사용자가 소지한 단말(100)의 헤딩 방향에 기초하여 확인할 수 있다.
먼저 도 1의 A와 같이, 단말(100)의 기준 헤딩 방향값을 설정한다.
이때, 단말(100)의 헤딩 방향을 알기 위해서는 지자기 센서를 이용하여 측정할 수 있으나, 지자기 센서(161)로 측정된 헤딩 방향값은 실내에서의 환경에 의해 매우 큰 오차값을 포함할 수 있다. 그렇기 때문에 지자기 센서(161)의 측정된 헤딩 방향값의 정확도를 보장하기 위해 단말(100)은 일정 시간 동안 측정된 헤딩 방향값들에 대해서 신뢰도 점수를 산정하여 신뢰도가 높은 헤딩 방향을 기준 헤딩 방향으로 설정할 수 있다.
이에, 단말(100)을 소지한 사용자가 일정한 방향으로의 실내 이동을 하면, 단말(100)은 설정된 기준 헤딩 방향값에 기초하여 실시간으로 이동 방향 값을 보정한다(B). 이때, 이동 방향을 보정하는 방법으로는 단말(100)의 이미지 센서를 통해 촬영된 이미지를 이용하면 보다 정확한 방향 변화값을 산출할 있어, 기준 헤딩 방향값으로부터 정확한 이동 방향을 추정할 수 있다.
이처럼 이동 방향값이 보정되면, 단말(100)은 해당 이동 방향값에 다음 타이밍에 촬영된 이미지로부터 산출된 방향 변화값을 적용하여 실시간으로 이동 방향 값을 보정해 갈 수 있다.
다시 말해, 단말(100)은 별도로 지자기 센서로부터 헤딩 방향값을 측정하지 않아도 촬영되는 이미지만으로도 이동 방향을 추정할 수 있다.
한편, 사용자의 급격한 방향 전환으로 촬영된 이미지에서 방향 변화값을 산출하기 어렵다고 판단하는 경우에는 단말(100)은 A 에서와 동일한 방법으로 기준 헤딩 방향값을 재설정한다(C).
단말(100)은 이미지를 통해 방향 변화값을 산출하기 때문에, 급격한 방향 전환이 이뤄지는 경우, 이전 타이밍에 촬영된 이미지와 현재 시점에서 촬영된 이미지간의 비교가 어렵다. 그러므로 단말(100)은 급격한 방향 전환 또는 방향 변화값을 산출하기 어려운 경우에는 기준 헤딩 방향값을 재설정한다.
그리고 단말(100)은 재설정된 기준 헤딩 방향값에 기초하여 실시간 이동 방향값을 보정할 수 있다(D).
한편, 이와 동일한 과정을 통해 실내공간에서 사용자가 자신의 위치 정보와 이동하고자 하는 장소로의 방향 정보를 확인하고자 단말(100)의 헤딩 방향을 확인할 수 있다.
그러므로 실내 공간에서 외부의 환경 영향을 최소화하여 보다 정확한 단말의 헤딩 방향을 추정할 수 있다.
도 2는 본 발명의 실시예에 따른 단말을 나타낸 구성도이다.
도 2에 도시한 바와 같이, 단말(100)의 하드웨어는 프로세서(110), 메모리(120), 스토리지(130), 디스플레이(140) 통신 인터페이스(150) 그리고 하나 이상의 센서(160)를 포함한다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 단말(100)는 컴퓨팅 장치로서 프로그램을 구동할 수 있는 운영체제를 비롯한 각종 소프트웨어가 탑재하여 연산 처리 능력을 갖춘 장치를 통칭한다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등과 같은 다양한 형태의 단말을 포함한다.
또한, 단말(100)은 설정된 업무를 자동으로 처리하거나 작동하는 로봇(robot)을 포함할 수 있다.
프로세서(110)는 컴퓨팅 장치의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(110)일 수 있다. 예를 들면, 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다.
메모리(120)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(110)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(120)는 예를 들면, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.
스토리지(130)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다.
디스플레이(140)는 UI 표시 수단으로, 단말(100)에서 제공하는 서비스 정보 또는 액션 정보를 실시간으로 출력한다. 디스플레이(140)는 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.
통신 인터페이스(150)는 유선 통신, 근거리 또는 원거리 무선 통신, 이들이 혼합된 통신을 제공하는 모듈일 수 있다.
하나 이상의 센서(160)는 지자기 센서(161), 이미지 센서(162)를 포함하며, 가속도 센서(163), 자이로 센서(164)를 더 포함할 수 있으나 센서(160)의 개수나 종류가 한정되는 것은 아니다.
지자기 센서(161)는 단말(100)의 헤딩 방향(진행 방향)에 대응하여 지자기를 검출함으로써 방위 정보를 제공한다. 지자기 센서(161)은 2축 또는 3축 타입으로 측정할 수 있으며, MR(Magneto Resistance) 센서, MI(Magneto Impedance) 센서 등을 포함한다.
이미지 센서(162)는 헤딩 방향에 대응하여 실시간으로 전방의 이미지를 촬영하고, 촬영된 이미지를 제공한다. 이미지 센서(162)는 카메라, 고체 촬상 소자 등 전방의 환경을 촬상 가능한 센서 또는 장치를 모두 포함한다.
가속도 센서(163)는 중력 가속도를 이용하여 3축(X,Y,Z) 방향의 단위 시간당 속도를 측정할 수 있다. 가속도 센서(163)은 물체의 속도, 변화, 운동량의 변화등을 측정할 수 있다.
자이로 센서(Gyro sensor, 164)는 각속도를 측정할 수 있는 센서로서, 3축에 대한 물리량을 측정할 수 있다. 자이로 센서(164)는 모션이 발생한 직후에 해당 각속도를 측정하는 정확도가 높지만, 모션이 발생한 이후에는 누적 오차의 발생으로 정확도가 다소 낮다.
단말(100)은 센서(160)에서 측정된 헤딩 방향 값, 이미지, 가속도 또는 각속도 값을 이용하여 실내 공간에서의 헤딩 방향 및 이동 방향을 산출할 수 있다.
이하에서는 도 3 내지 도 4를 이용하여 실내 공간과 같이, 제한된 환경에서도 정확한 헤딩 방향을 추정하는 단말의 방향 추정 방법에 대해서 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 단말의 헤딩 방향을 추정하는 방법을 나타낸 순서도이다.
도 3에 도시한 바와 같이, 단말(100)은 일정 시간 동안 수집된 지자기 센서(161)의 헤딩 방향 값들을 수집하고, 이미지 센서(162)로부터 촬영된 이미지들을 수집한다(S110).
S110 단계는 단말(100)의 헤딩 방향 값을 초기화하는 단계로, 기준 헤딩 방향 값을 설정하기 위해 미리 설정된 일정 시간 동안 헤딩 방향값들과 이미지들을 수집한다.
여기서 일정 시간이란, 실제로 n초에 해당되는 짧은 시간으로, 1초에 약 10~20번 헤딩 방향값을 측정하는 지자기 센서(161) 또는 초당 촬영 프레임의 개수를 가지는 이미지 센서(162)의 조건에 대응하여 추후에 사용자에 의해 용이하게 변경 및 설계 가능하다.
이때, 헤딩 방향값이 수집되는 타이밍에 촬영된 이미지를 수집하는 것으로, 헤딩 방향값과 이미지는 동일한 타이밍에 동일한 개수로 수집될 수 있다.
다음으로 단말(100)은 수집된 이미지들간에 각각의 방향 변화량을 산출한다(S120).
먼저, 단말(100)은 변화량을 산출하기 위해서는 두 이미지를 분석해야 하기 때문에, 하나의 이미지에 대해서 다른 이미지들과 그룹핑을 수행할 수 있다. 예를 들어, N개의 이미지가 수집되면 하나의 이미지에 대해서 N-1개와의 페어링 또는 그룹핑을 통해 N-1개의 그룹핑을 수행할 수 있다.
예를 들어, 첫번째 타이밍의 이미지와 두번째 타이밍의 이미지는 페어링을 수행하며, 첫번째 타이밍의 이미지와 세번째 타이밍의 이미지간에 변화량을 산출하고자 하는 경우에는 첫번째 타이밍의 이미지와, 두번째 타이밍의 이미지 그리고 세번째 타이밍의 이미지를 그룹핑할 수 있다.
그러므로 N개의 이미지 각각에 대하여 N-1개의 그룹핑을 수행하고, 단말(100)은 그룹핑된 이미지들 간에 방향 변화량을 산출한다.
그리고 단말(100)은 수집된 이미지들에 대해서 각각 중심선을 추출한다.
상세하게는 단말(100)은 이미지에서 가로 방향으로 중앙을 선택하여 이미지의 중심선을 세로로 추출할 수 있다. 이때, 중심선을 세로 선으로 설명하지만, 반드시 이에 한정하는 것은 아니며, 추후에 적용되는 조건에 대응하여 가로 또는 대각선 등으로 중심선을 추출할 수 있다.
예를 들어, 1번째 이미지를 기준으로 설명한다면, 단말(100)은 1번째 이미지의 추출된 중심선 상에 위치하는 한 지점을 특징점으로 선정한다.
이때, 특징점은 색상, 형태, 밝기 등을 통해 이미지에서 개별적으로 인식하기 용이한 지점을 의미할 수 있다.
다음으로 단말(100)은 1번째 이미지에서 추출된 특징점들을 그룹핑된 이미지들에서 추출한다. 그리고 단말(100)은 그룹핑된 이미지들에서 각각 추출된 특징점 위치에서부터 이미지들의 중심선까지 잇는 가상의 선을 생성할 수 있다. 즉, 단말(100)은 추출된 특징점의 위치에서부터 각 중심선까지의 거리가 이동 거리로 추정할 수 있다.
여기서, 가상의 선은 특징점에서부터 중심선까지 가장 가까운 거리가 되도록 수직방향을 잇는다.
한편, 그룹핑된 N개의 이미지에서 1번째 이미지에서 선정된 특징점이 N번째 이미지에서 추출되지 않은 경우에는 마지막으로 특징점이 추출된 이미지를 검색한다.
그리고 마지막으로 선정된 특징점이 추출된 이미지의 중심선 상에 위치하는 한 지점을 제2 특징점으로 선정한다. 그리고 제2 특징점을 N번째 이미지에서 추출한다.
이와 같은 경우에는 단말(100)은 특징점과 제2 특징점의 변화량을 모두 고려하여 1번째 이미지에서 N번째 이미지간의 방향 변화량을 산출할 수 있다.
도 4는 본 발명의 실시예에 따른 방향 변화량을 추정하는 과정을 설명하기 위한 단말의 디스플레이 화면을 나타낸 예시도이다.
도 4의 (a)는 1번째 이미지를 나타낸 단말(100)의 디스플레이 화면이고, (b)는 1번재 이미지와 그룹핑된 이미지를 나타낸 단말(100)의 디스플레이 화면이다.
도 4의 (a)와 같이, 단말(100)은 1번째 이미지에서의 중심선(At) 상에서 특징점(B)를 선정한다. 그리고 도 4의 (b)와 같이 단말(100)은 그룹핑된 이미지에서의 중심선(At+1)을 추출하고, 1번째 이미지에 대한 특징점(B)를 추출한다.
그러면, 단말(100)은 중심선(At+1)과 특징점(B)를 수직 방향으로 연결하면 중심선의 C지점과 특징점(B)와 연결된다. 이때, 단말(100)은 그룹핑된 이미지에서 중심선의 C지점과 특징점(B)의 연결 선에 위치하는 픽셀 수를 산출한다.
단말(100)은 이동한 픽셀 수에 의해 헤딩 방향의 변화량(Δθk)을 추정한다.
예를 들어, 단말(100)은 이미지 센서(162)와 상이 맺히는 CMOS(complementary metal-oxide semiconductor)상의 물리적 거리를 d라고 할 때, Δθk은 단위 arctan[(픽셀 크기* 이동 픽셀)/d]]를 통해 산출할 수 있다.
여기서 물리적 거리 d와 픽셀의 크기는 단말의 특성에 의해 결정되는 값이므로 상수값이 된다.
이와 같은 방법으로 단말(100)은 N개의 이미지마다 그룹핑된 이미지들간에 N-1개의 방향 변화량을 산출할 수 있다. 그러면, 도 4의 (a)와 (b)도시한 화살표(Ct와 Ct+1)와 같이 방향 변화량을 확인할 수 있다.
다음으로 단말(100)은 각각의 헤딩 방향 값들에 대해서 산출된 방향 변화량을 적용한 복수개의 신뢰도 범위를 산정한다(S130).
단말(100)은 헤딩 방향 값에 대해서 신뢰도를 산정하기 위해 S120 단계에서 산출한 방향 변화량을 이용하여 신뢰도 범위를 산정한다.
예를 들어, 첫번째 타이밍에 측정된 제1 헤딩 방향값과 두번째 타이밍에 측정된 제2 헤딩 방향값은 첫번째 타이밍의 제1 이미지와 그룹핑된 두번째 타이밍의 제2 이미지에서 산출된 방향 변화량만큼의 차이를 가지는 것이 가장 이상적이다.
이를 수학식으로 나타내면 다음 수학식 1과 같다.
[수학식 1]
Figure pat00001
여기서, θM, t+1은 제2 헤딩 방향 값, θM, t는 제1 헤딩 방향 값, 그룹핑된 제1 과 제2 이미지간의 방향의 변화량을 Δθt, eI 는 이미지 센서에서 발생할 수 있는 오차 범위를 나타낸다.
다시 말해, 단말(100)은 그룹핑된 이미지로부터 산출된 방향 변화량에 오차범위를 고려하여 신뢰도 범위로 산정할 수 있다.
이때, 제1 헤딩 방향값은 이미지 그룹핑 개수에 대응하는 신뢰도 범위를 가질 수 있다. 그러므로 각각의 헤딩 방향 값들은 복수개의 신뢰도 범위를 가진다.
다음으로, 단말(100)은 헤딩 방향 값에 대응되는 복수개의 신뢰도 범위 중에서 포함되는 경우를 카운팅하여 신뢰도 점수를 산정한다(S140).
단말(100)은 각 수집된 헤딩 방향 값 마다 복수개의 신뢰도 범위와 비교하여, 신뢰도 범위에 포함되는 경우만 별도로 카운팅할 수 있다.
이때, 단말(100)은 카운팅한 숫자를 신뢰도 점수로 치환할 수 있으며, 별도의 신뢰도 점수 테이블을 설정하고, 카운팅 숫자에 대응하는 신뢰도 점수를 추출하여 선정할 수 있다.
한편, 단말(100)의 신뢰도 점수를 산정하는 방법은 다음 표와 같은 알고리즘으로 나타낼 수 있다.
[표 1]
Figure pat00002
표 1에 도시한 바와 같이, 단말(100)은 복수개의 헤딩 방향값에 대응하여 복수개의 신뢰도 범위를 확인하여 각각의 헤딩 방향값에 대한 신뢰도 점수를 산정할 수 있다. 단말(100)은 N 개의 헤딩 방향값과 N개의 이미지를 이용하여 신뢰도 점수를 산정한다.
표 1를 보면, 신뢰도 점수를 산정하는 i번째 헤딩 방향값에 대응하여 j번째 헤딩 방향값과 i와 j간의 방향 변화값을 이용하여 j가 1에서부터 N이 될때까지 반복적으로 신뢰도 점수를 산정한다.
그리고 i번째 헤딩 방향값이 신뢰도 범위를 만족하는 경우, 해당 점수에 대응하여 누적 카운팅함으로서 최종 신뢰도 점수를 산정할 수 있다.
표 1에서 k와 l은 N에 포함되는 숫자로, k는 i번째 이미지와 j번째 이미지간을 의미하며, l은 i번째 이미지와 j번째 이미지 사이의 숫자를 의미한다.
그러므로, Δθk 는 i번째 이미지와 j번째 이미지간의 방향 변화량을 나타내며, i와 j의 값이 크거나 같을 때의 방향 변화량을 각각 달리 적용할 수 있다.
다시 말해, Δθl 은 연속된 두 이미지 사이의 헤딩 변화량을 의미한다. 예를 들어 l=1 이면 1과 2번 이미지로부터 추정된 변화량을 의미하고, l=2 이면 2와 3 이미지 사이의 변화량을 의미한다. 따라서 신뢰도 범위는 1부터 N-1까지 증가할 수 있고, 범위가 증가하면 해당 범위 동안 발생한 값을 누적하여 반영해야 하므로 sigma를 사용하여 영역 내 변화량의 합을 Δθk 로 나타낸다.
이때 이미지로부터 발생할 수 있는 헤딩 방향 변화량에 대한 발생 가능 오차 범위에 대해서는 편의상 0으로 설정하여 표기하지 않았으나, 추후에 오차 범위를 포함하여 산출할 수 있다.
다음으로 단말(100)은 산정된 신뢰도 점수 중에서 가장 높은 값을 가지는 헤딩 방향값을 기준 헤딩 방향 값으로 설정한다(S150).
단말(100)은 각각의 헤딩 방향값마다 산정된 신뢰도 점수 중에서 가장 높은 값을 선택한다. 이때, 단말(100)은 신뢰도 점수가 최대값을 가지는 헤딩 방향값이 기준치 이하로 낮거나 정확하지 않을 것으로 판단되면, 앞서 설정된 일정 시간을 늘리거나 다시 S110 단계로 회귀하여 초기화를 수행할 수 있다.
예를 들어, 단말(100)은 선정된 기준 헤딩 방향값의 신뢰도 값이
Figure pat00003
의 조건을 만족하지 못하는 경우, 선정된 헤딩 방향 값이 정확하지 않을 가능성이 높다고 판단할 수 있다.
이에, 단말(100)은 신뢰도의 정확성을 위해서 복수개의 헤딩 방향값과 이미지들을 더 수집하여 먼저 수집한 헤딩 방향값과 이미지들과 함께 새롭게 신뢰도 점수를 산정할 수 있다. 또는 단말(100)은 해당 헤딩 방향값과 이미지들을 삭제하고 새롭게 복수의 헤딩 방향값과 이미지들을 수집하여 신뢰도 점수를 산정할 수 있다.
또한, 헤딩 방향 추정 장치(100)는 헤딩 방향값을 초기화하고, 다시 S111 단계로 회귀하여 다시 기준 헤딩 방향값을 설정할 수 있다.
다음으로 단말(100)은 서로 상이한 타이밍에 촬영된 이미지에서 중심선과 특징점을 이용하여 방향 변화량을 산출한다(S160).
기준 헤딩 방향값을 설정한 이후에 단말(100)은 이미지 센서(162)를 통해 수집한 이미지에 대응하여 실시간으로 방향 변화량을 산출할 수 있다. 방향 변화량을 산출하는 방법은 앞서 S120 단계에서 설명한 방법과 동일하므로 중복되는 설명은 생략한다.
이때, 단말(100)은 이미지 센서(162) 이외에도 가속도 센서(163) 또는 각속도(164)등의 센서의 측정값을 통해 방향 변화량을 산출할 수도 있다. 이러한 구성은 추후에 사용자에 의해 용이하게 변경 및 설정가능하다.
그리고 단말(100)은 기준 헤딩 방향값에 방향 변화량을 적용하여 헤딩 방향 값을 보정하여 이동 방향값을 산출한다(S170).
한편, 단말(100)은 가속도 센서(163) 또는 각속도(164)등을 통해 급격한 이동을 감지하면, 이미지 센서(162)로부터 획득한 이미지를 통해 헤딩 방향의 변화량을 산출하기 어렵다고 판단한다. 그러면, 단말(100)은 S110 단계로 회귀하여 헤딩 방향값을 재설정할 수 있다.
이와 같이, 지자기 센서(161)에 의한 측위 정보와 이미지 센서(162)를 이용한 측위 정보 간의 결합을 통해 그러므로 실내 환경에서 절대 위치 추정을 위한 기준 위치 설정이 없이도 불연속성을 개선하여 신뢰도가 높은 정확한 장치의 헤딩 방향을 추정하고, 보정할 수 있다.
또한, 실내 환경과 같은 상대적으로 제한된 통신을 수행하는 임의의 위치에서 별도의 인프라 없이도 정확하게 장치의 이동 경로를 추정할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

  1. 적어도 하나의 프로세스에 의해 동작하는 컴퓨팅 장치가 헤딩 방향을 추정하는 방법으로서,
    일정시간 동안 지자기 센서로부터 헤딩 방향값들을 수집하고, 이미지 센서로부터 이미지들을 수집하는 단계,
    수집된 상기 이미지들간에 복수개의 방향 변화량을 산출하는 단계,
    상기 헤딩 방향값들에 대해서 산출된 상기 방향 변화량을 적용한 복수개의 신뢰도 범위를 산정하는 단계,
    상기 헤딩 방향값이 복수개의 상기 신뢰도 범위 중에서 포함되는 경우를 카운팅하여 신뢰도 점수를 산정하는 단계, 그리고
    산정된 상기 신뢰도 점수 중에서 가장 높은 값을 가지는 헤딩 방향 값을 기준 헤딩 방향값으로 설정하는 단계
    를 포함하는 헤딩 방향을 추정하는 방법.
  2. 제1항에서,
    상기 수집하는 단계는,
    일정시간 동안에 헤딩 방향값을 측정하는 동일한 타이밍에 대응되는 이미지를 수집하는 헤딩 방향을 추정하는 방법.
  3. 제2항에서,
    상기 방향 변화량을 산출하는 단계는,
    상기 이미지들간에 변화량을 산출하기 위한 복수개의 그룹핑을 수행하는 단계,
    상기 그룹핑된 이미지들 각각에 대해서 중심선을 추출하는 단계,
    상기 그룹핑된 이미지들 사이에서 추출된 중심선의 이동 거리를 산출하는 단계, 그리고
    상기 중심선의 이동 거리에 기초하여 방향 변화량을 산출하는 단계
    를 더 포함하는 헤딩 방향을 추정하는 방법.
  4. 제3항에서,
    상기 추출된 중심선의 이동 거리를 산출하는 단계는,
    상기 그룹핑된 이미지들 중에서 기준이 되는 이미지의 중심선 상에 위치하는 특징점을 선정하고, 상기 그룹핑된 이미지들에서 상기 특징점을 추출하여, 추출된 상기 특징점과 각 이미지의 중심선과의 픽셀 수를 산출하는 헤딩 방향을 추정하는 방법.
  5. 제2항에서,
    상기 복수개의 신뢰도 범위를 산정하는 단계는,
    각 헤딩 방향 값마다 동일한 타이밍에 대응되는 이미지를 기준으로 그룹핑된 개수만큼의 신뢰도 범위를 산정하는 헤딩 방향을 추정하는 방법.
  6. 제1항에서,
    상기 기준 헤딩 방향값이 설정되면, 서로 상이한 타이밍에 촬영된 이미지에서 방향 변화량을 산출하고, 산출된 방향 변화량을 상기 기준 헤딩 방향값에 적용하여 현재 시점의 헤딩 방향값을 보정하는 단계를 더 포함하는 헤딩 방향을 추정하는 방법.
  7. 제1항에서,
    상기 기준 헤딩 방향값으로 설정하는 단계는,
    산정된 상기 신뢰도 점수가 가장 큰 값이 설정된 임계치보다 작으면, 상기 일정 시간에 대한 구간을 늘리거나 상기 기준 헤딩 방향값을 초기화하는 단계를 더 포함하는 헤딩 방향을 추정하는 방법.
  8. 제1항에서,
    횡 방향 또는 종 방향으로의 임계치 이상의 이동을 감지하면 상기 기준 헤딩 방향값을 초기화하는 단계를 더 포함하는 헤딩 방향을 추정하는 방법.
  9. 적어도 하나의 프로세스에 의해 동작하는 컴퓨팅 장치가 헤딩 방향을 보정하는 방법으로서,
    일정시간 동안 지자기 센서로부터 헤딩 방향값들을 수집하고, 이미지 센서로부터 이미지들을 수집하는 단계,
    수집된 상기 이미지들간에 복수개의 방향 변화량을 산출하고, 상기 방향 변화량에 기초하여 상기 헤딩 방향 값들의 신뢰도 점수를 산정하는 단계,
    산정된 상기 신뢰도 점수 중에서 가장 높은 값을 가지는 헤딩 방향 값을 기준 헤딩 방향값으로 설정하는 단계, 그리고
    상기 기준 헤딩 방향값이 설정되면, 서로 상이한 타이밍에 촬영된 이미지에서 방향 변화량을 산출하고, 산출된 방향 변화량을 상기 기준 헤딩 방향값에 적용하여 현재 시점의 헤딩 방향값을 산출하는 단계
    를 포함하는 헤딩 방향 보정 방법.
  10. 제9항에서,
    상기 신뢰도 점수를 산정하는 단계는,
    수집된 상기 이미지들간에 복수개의 방향 변화량을 산출하는 단계,
    상기 헤딩 방향값들에 대해서 산출된 상기 방향 변화량을 적용한 복수개의 신뢰도 범위를 산정하는 단계, 그리고
    상기 헤딩 방향값이 복수개의 상기 신뢰도 범위 중에서 포함되는 경우를 카운팅하여 신뢰도 점수를 산정하는 단계를 포함하는 헤딩 방향 보정 방법.
  11. 제10항에서,
    상기 신뢰도 점수를 산정하는 단계는
    산정된 상기 신뢰도 점수가 가장 큰 값이 설정된 임계치보다 작으면, 상기 일정 시간에 대한 구간을 늘리거나 상기 기준 헤딩 방향값을 초기화하는 헤딩 방향 보정 방법.
  12. 제10항에서,
    상기 방향 변화량을 산출하는 단계는,
    N개의 이미지에 대응하여 N-1개의 그룹핑을 수행하고, 상기 그룹핑된 이미지 각각에 대해서 추출된 중심선의 이동 거리를 상기 이미지의 픽셀 수로 산출하면, 상기 이미지의 픽셀 수와 상기 이미지의 픽셀 크기를 이용하여 상기 그룹핑된 이미지간의 방향 변화량을 산출하는 헤딩 방향 보정 방법.
KR1020200000977A 2020-01-03 2020-01-03 위치 측정을 위한 단말의 헤딩 방향을 추정하는 방법 KR102329785B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200000977A KR102329785B1 (ko) 2020-01-03 2020-01-03 위치 측정을 위한 단말의 헤딩 방향을 추정하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200000977A KR102329785B1 (ko) 2020-01-03 2020-01-03 위치 측정을 위한 단말의 헤딩 방향을 추정하는 방법

Publications (2)

Publication Number Publication Date
KR20210087804A true KR20210087804A (ko) 2021-07-13
KR102329785B1 KR102329785B1 (ko) 2021-11-19

Family

ID=76858782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200000977A KR102329785B1 (ko) 2020-01-03 2020-01-03 위치 측정을 위한 단말의 헤딩 방향을 추정하는 방법

Country Status (1)

Country Link
KR (1) KR102329785B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016061604A (ja) * 2014-09-16 2016-04-25 株式会社東芝 移動体位置推定装置、移動体位置推定方法及び移動体位置推定プログラム
KR20180112090A (ko) * 2016-03-25 2018-10-11 삼성전자주식회사 카메라의 포즈를 판단하기 위한 장치 및 방법
KR20190042247A (ko) * 2017-10-16 2019-04-24 삼성전자주식회사 위치 추정 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016061604A (ja) * 2014-09-16 2016-04-25 株式会社東芝 移動体位置推定装置、移動体位置推定方法及び移動体位置推定プログラム
KR20180112090A (ko) * 2016-03-25 2018-10-11 삼성전자주식회사 카메라의 포즈를 판단하기 위한 장치 및 방법
KR20190042247A (ko) * 2017-10-16 2019-04-24 삼성전자주식회사 위치 추정 장치 및 방법

Also Published As

Publication number Publication date
KR102329785B1 (ko) 2021-11-19

Similar Documents

Publication Publication Date Title
US11295472B2 (en) Positioning method, positioning apparatus, positioning system, storage medium, and method for constructing offline map database
CN105940429B (zh) 用于确定设备运动的估计的方法和系统
US10991124B2 (en) Determination apparatus and method for gaze angle
JP6462528B2 (ja) 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム
JP2018510406A (ja) 指移動を推定するための方法及びシステム
CN113012224B (zh) 定位初始化方法和相关装置、设备、存储介质
JP2018524657A (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
CN104848861A (zh) 一种基于图像消失点识别技术的移动设备姿态测量方法
WO2015039215A1 (en) Method and apparatus for determination of misalignment between device and pedestrian using vision
CN107193820B (zh) 位置信息获取方法、装置及设备
CN113052897A (zh) 定位初始化方法和相关装置、设备、存储介质
JP3702260B2 (ja) 目標角速度計測装置および目標角速度計測方法
CN109902675A (zh) 物体的位姿获取方法、场景重构的方法和装置
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN112087728B (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备
CN113344906A (zh) 车路协同中相机评估方法、装置、路侧设备和云控平台
KR102329785B1 (ko) 위치 측정을 위한 단말의 헤딩 방향을 추정하는 방법
US20230069018A1 (en) Image processing apparatus, imaging apparatus, image processing system, image processing method, and non-transitory computer readable medium
KR101845612B1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
WO2018134866A1 (ja) カメラ校正装置
JP2023503750A (ja) ロボットの位置決め方法及び装置、機器、記憶媒体
CN110428452B (zh) 非静态场景点的检测方法、装置、电子设备及存储介质
CN111288972A (zh) 应用于虚拟射箭系统的箭的运动参数测量系统和方法
KR102445400B1 (ko) 사용자 단말의 이동 경로 추적 방법 및 장치
JP7346342B2 (ja) 計測装置、計測方法およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant