KR20150135714A - 명암 및 색상 정보를 이용한 단말기 측위장치 및 방법 - Google Patents

명암 및 색상 정보를 이용한 단말기 측위장치 및 방법 Download PDF

Info

Publication number
KR20150135714A
KR20150135714A KR1020140062508A KR20140062508A KR20150135714A KR 20150135714 A KR20150135714 A KR 20150135714A KR 1020140062508 A KR1020140062508 A KR 1020140062508A KR 20140062508 A KR20140062508 A KR 20140062508A KR 20150135714 A KR20150135714 A KR 20150135714A
Authority
KR
South Korea
Prior art keywords
information
terminal
grid
lattice
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140062508A
Other languages
English (en)
Other versions
KR101630402B1 (ko
Inventor
강석연
이혜민
정민우
조채환
김종연
윤종필
이민형
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140062508A priority Critical patent/KR101630402B1/ko
Publication of KR20150135714A publication Critical patent/KR20150135714A/ko
Application granted granted Critical
Publication of KR101630402B1 publication Critical patent/KR101630402B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

명암 및 색상 정보를 이용한 단말기 측위장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 단말기 전파정보 및 단말기 조명정보를 포함하는 단말환경정보를 상기 단말기로부터 수신하고, 격자 전파정보 및 격자 조명정보를 포함하는 격자환경정보를 데이터베이스로부터 수신하는 환경정보수신부; 상기 단말환경정보와 상기 격자환경정보 중에서 서로 상응하는 항목끼리 상호 비교하여 하나 이상의 후보격자를 도출하는 후보격자 도출부; 및 상기 단말기 전파정보 및 상기 후보격자의 상기 격자 전파정보 중 서로 상응하는 항목을 상호 비교하여 최적격자를 도출하고, 상기 최적격자의 좌표를 상기 단말기의 위치로 산출하는 위치산출부를 포함하는 것을 특징으로 하는 단말측위장치를 제공하는 데 주된 목적이 있다.

Description

명암 및 색상 정보를 이용한 단말기 측위장치 및 방법{Method and Apparatus for Positioning Terminal Using Information on Contrast and Color}
본 실시예는 조명의 명암과 색상 정보를 이용하여 단말기의 위치를 확인할 수 있는 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
다양한 멀티미디어 통신 서비스 중 특히, 위치 및 지리 정보를 활용해 서비스를 제공하는 위치기반서비스(LBS: Location-Based Service)가 넓은 활용성 및 편리함으로 크게 각광받고 있다. 위치기반서비스 제공을 위한 위치 측정 기술은 네트워크 기반(Network Based) 방식, 핸드셋 기반(Handset Based) 방식 및 혼합(Hybrid) 방식으로 분류된다. 네트워크 기반(Network Based) 방식은 단말기의 위치를 측정하기 위하여 중계장치의 전파환경을 이용하여 소프트웨어적으로 단말기의 위치를 확인한다. 핸드셋 기반(Handset Based) 방식은 단말기에 탑재된 GPS(Global Positioning System) 수신기를 이용하여 단말기의 위치를 확인한다. 혼합(Hybrid) 방식은 네트워크 기반 방식과 핸드셋 기반 방식을 혼합하여 단말기의 위치를 확인한다.
최근에는 실내 및 건물 지하와 같은 GPS 음영지역에서 네트워크 기반 측위 기술이 점점 많이 활용되고 있는 추세이다. 이중, 무선랜 기반의 측위 방식은 무선랜의 단말기 수신신호강도 RSSI(Received Signal Strength Indication)를 바탕으로 삼각 측량, 핑거프린트 방식을 이용하여 위치를 추정하는 방식과 무선랜의 전파시간 측정정보인 RTT(Round Trip Time)를 바탕으로 추정된 거리 추정치를 이용하여 위치를 추정하는 방식이 대표적으로 사용되고 있다. 하지만, 이러한 측위 방식은 전파 환경에 따라 오차가 발생하여 상대적으로 낮은 위치 추정 정확성을 제공한다는 문제점이 있다.
본 실시예는, 단말기의 위치를 확인함에 있어 명암과 색상정보, 특히 조명의 명암 및 색상에 대한 정보를 수집하여 수집한 정보를 이용하여 위치를 확인하는 장치 및 방법을 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 단말기 전파정보 및 단말기 조명정보를 포함하는 단말환경정보를 상기 단말기로부터 수신하고, 격자 전파정보 및 격자 조명정보를 포함하는 격자환경정보를 데이터베이스로부터 수신하는 환경정보수신부; 상기 단말환경정보와 상기 격자환경정보 중에서 서로 상응하는 항목끼리 상호 비교하여 하나 이상의 후보격자를 도출하는 후보격자 도출부; 및 상기 단말기 전파정보 및 상기 후보격자의 상기 격자 전파정보 중 서로 상응하는 항목을 상호 비교하여 최적격자를 도출하고, 상기 최적격자의 좌표를 상기 단말기의 위치로 산출하는 위치산출부를 포함하는 것을 특징으로 하는 단말측위장치를 제공한다.
본 실시예의 다른 측면에 의하면, 단말기의 위치를 측정하기 위한 방법에 있어서, 단말기 전파정보 및 단말기 조명정보를 포함하는 단말환경정보를 상기 단말기로부터 수신하고, 격자 전파정보 및 격자 조명정보를 포함하는 격자환경정보를 데이터베이스로부터 수신하는 과정; 상기 단말환경정보와 상기 격자환경정보 중에서 서로 상응하는 항목끼리 상호 비교하여 하나 이상의 후보격자를 도출하는 과정; 상기 단말기 전파정보 및 상기 후보격자의 상기 격자 전파정보 중 서로 상응하는 항목을 상호 비교하여 최적격자를 도출하는 과정; 및 상기 최적격자의 좌표를 상기 단말기의 위치로 산출하는 과정을 포함하는 것을 특징으로 하는 단말측위방법을 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 단말기의 위치를 측정하기 위한 후보격자 도출방법에 있어서, 단말기 조명정보 및 단말기 수신신호강도(RSSI: Received Signal Strength Indication)를 상기 단말기로부터 수신하고, 격자 ID 별로 구분된 각각의 격자의 격자 조명정보 및 상기 격자의 단말기 수신신호강도(RSSI: Received Signal Strength Indication)를 데이터베이스로부터 수신하는 과정; 및 상기 단말기와 상기 데이터베이스로부터 수신한 각각의 조명정보 및 각각의 단말기 수신신호강도(RSSI: Received Signal Strength Indication) 중 서로 상응하는 항목을 상호 비교하여 상기 후보격자를 도출하는 과정을 포함하는 것을 특징으로 하는 후보격자 도출방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 조명의 명암 및 색상에 대한 정보를 위치를 확인하는데 이용함으로써, 특히 실내에서의 단말기의 위치를 보다 정확히 확인할 수 있다,
도 1은 본 실시예에 따른 명암 및 색상 정보를 이용한 단말기 위치 확인 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 단말기를 개략적으로 나타낸 블럭 구성도이다.
도 3은 본 실시예에 따른 측위 장치를 개략적으로 나타낸 블럭 구성도이다.
도 4는 본 실시예에 따른 데이터베이스를 개략적으로 나타낸 블럭 구성도이다.
도 5는 본 실시예에 따른 명암 및 색상 정보를 이용한 단말기 위치 확인 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 실시예에 따른 명암 및 색상 정보를 이용한 단말기 위치 확인 시스템을 개략적으로 나타낸 블럭 구성을 도시한다.
본 실시예에 따른 명암 및 색상 정보를 이용한 단말기 위치 확인 시스템은 AP(110), 단말기(120), 측위장치(130) 및 데이터베이스(140)를 포함한다. 여기서, AP(110)는 복수 개의 AP 장치(112, 114 및 116)를 포함할 수 있다. 도 1에 도시된 측위 시스템은 일 실시예에 따른 것이며, 측위 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다. 예컨대, 데이터베이스(140)는 측위장치(130)의 내부에 구비되는 형태로 구현될 수 있다.
AP(110)는 무선 데이터 통신을 중계하는 장치로서, 송신 측에서 보낸 정보에 포함된 도착지 정보를 확인하여 수신 측에 도달하기 위한 가장 적절한 통신 경로를 지정한 후 지정된 통신 경로에 해당하는 통신망으로 데이터를 전송할 수 있는 장치를 말한다. 즉, AP(110)는 데이터 패킷의 도착지 위치를 추출하며, 추출된 위치에 대한 최선의 통신 경로를 지정하고, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치로 전달할 수 있다. AP(110)에 복수 개의 단말기(120)가 동시에 연결될 수 있으며, 동일 AP(110)에 연결된 네트워크 환경에서 복수 개의 단말기(120) 간에 정보를 공유할 수 있는 로컬지역 내 통신(LAN)을 수행할 수도 있다. 본 실시예에 따른 AP(110)는 통신사업자에 의해 설치된 통신사 AP인 것이 바람직하나 반드시 이에 한정되는 것은 아니며 개인 사용자 또는 개인사업자가 설치한 사설 AP를 포함한다.
본 실시예에 따른 AP(110)는 근거리 통신을 이용하여 AP(110)에 대한 맥 어드레스(MAC Address) 정보, 단말기 수신신호강도(RSSI: Received Signal Strength Indication), SSID(Service Set Identifier) 정보, AP 식별정보 및 무선랜의 전파시간 측정정보(RTT: Round Trip Time) 등과 같은 정보를 포함하는 AP 전파환경정보를 단말기(120)로 전송한다. 여기서, AP(110)는 AP 전파환경정보를 비컨(Beacon) 신호의 형태로 소정의 주기마다 단말기(120)에 전송하여 연결상태를 확인할 수 있다.
AP(110)는 라우터(Router), 리피터(Repeater), 스위치(Switch) 및 브릿지(Bridge) 중 하나일 수 있으며, 무선랜, UWB(Ultra Wideband), 무선 주파수(Radio Frequency), 적외선 통신(IrDA:Infrared Data Association), 지그비(Zigbee) 및 블루투스(Bluetooth) 등과 같은 근거리 통신이 가능하다면 그 어떤 장치로도 구현될 수 있다.
단말기(120)는 사용자의 키 조작 또는 명령에 따라 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보 단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 또한, 단말기(120)는 UWB(Ultra Wide Band) 태그, 블루투스(Bluetooth) 태그 등을 포함하는 스마트 시계(Smart Watch), 스마트 앱세서리(Smart Appcessory) 등으로 구현될 수도 있다. 한편, 본 실시예에서는 단말기(120)는 측위 장치(130)와 별도의 장치로 구현된 것으로 기재하고 있으나, 실제 실시예의 구현에 있어서, 단말기(120)는 측위 장치(130)를 모두 포함하는 형태의 자립형(Stand Alone) 장치로 구현될 수 있을 것이다.
본 실시예에 따른 단말기는 위치 기반 애플리케이션을 탑재하여 위치 기반 서비스를 수행할 수 있다. 즉, 단말기는 사용자의 조작 또는 명령에 의해 위치 기반 애플리케이션을 구동하며, 위치 기반 애플리케이션을 이용해 위치 확인 결과를 출력할 수 있다. 이러한 위치 기반 애플리케이션의 설치 방식에 대해 설명하자면, 단말기가 스마트 폰인 경우 애플리케이션 스토어를 통해 위치 기반 애플리케이션을 다운로드한 후 인스톨할 수 있으며, 단말기가 피쳐폰 (Feature Phone)인 경우 통신사 서버를 통해 다운로드된 VM(Virtual Machine) 상에서 구동될 수 있다.
단말기(120)는 사용자의 명령 또는 조작에 의해 위치 기반 애플리케이션이 구동되면, 단말환경정보를 생성하고, 이를 측위 장치(130)로 전송한다. 여기서 단말환경정보는 단말기 전파정보와 단말기 조명정보를 포함한다. 단말기 전파정보는 단말기가 송/수신하는 전파 정보를 일컫는 개념으로, 기지국 전파 환경정보, Wi-Fi 전파 환경정보, 블루투스 전파 환경정보, 단말기 수신신호강도(RSSI: Received Signal Strength Indication) 및 전파시간 측정정보(RTT: Round Trip Time)를 포함한다. 단말기 조명정보는 단말기가 위치하는 장소의 조명 상태를 센싱한 데이터를 일컫는 개념으로, 단말기의 현재 위치의 조명의 명암과 색상에 관한 정보를 포함한다. 단말기 조명정보는 단말기의 현재 위치에서 수광센서가 센싱하는 조도, 휘도 및 색 온도 등을 포함하는 광원에 관한 정보를 이용하여 판단한다. 이때, 단말기(120)는 프로토콜을 이용하여 측위장치(130)와 통신할 수 있다.
측위장치(130)는 단말기(120)로부터 단말환경정보를 수신하고, 수신한 정보 및 데이터베이스에 저장된 정보를 비교하여 단말기(120)의 현재 위치를 추출하여 단말기(120)로 전송한다. 도 1에서는 단말기(120)와 측위장치(130)는 별도의 장치로 표현이 되어 있으나, 반드시 이에 한정하는 것은 아니다. 별도의 장치로 구현이 가능할 뿐만 아니라, 단말기(120) 내에 측위장치(130)를 포함하는 구성도 가능하다. 즉, 별도의 측위장치의 구비 없이 단말기 자체로 측위가 가능하도록 구성을 할 수 있다.
본 실시예에 따른 측위장치(130)는 단말기(120)로부터 단말환경정보를 수신한다. 또한, 측위장치(130)는 데이터베이스(140)에 저장된 격자환경정보를 단말기로부터 수신한 단말환경정보와 비교하여 비교결과를 생성한다. 또한, 측위장치(130)는 비교결과에 근거하여 각각의 격자 셀 중 후보격자를 추출하고, 추출된 후보격자 및 단말에서 검색한 정보에 근거하여 위치를 확인함으로써 단말기(120)의 위치정보를 산출한다. 이후, 측위장치(130)는 산출된 위치정보를 단말기(120)에 제공한다. 여기서 격자환경정보는 격자 전파정보 및 격자 조명정보를 포함한다. 격자 전파정보는 기지국 전파 환경정보, Wi-Fi 전파 환경정보, 블루투스 전파 환경정보, 단말기 수신신호강도(RSSI: Received Signal Strength Indication) 및 전파시간 측정정보(RTT: Round Trip Time)를 포함하며, 격자 조명정보는 격자에서의 조명상태를 센싱한 데이터를 일컫는 개념으로, 격자에 대한 조명의 명암과 색상에 관한 정보를 포함한다.
이하, 측위장치(130)가 동작하는 과정에 대해 구체적으로 설명하도록 한다. 측위장치(130)는 단말기(120)로부터 단말환경정보를 수신하는 경우, 수신한 정보 및 데이터베이스(140)를 이용하여 후보격자 N개를 추출한다. 여기서 N은 Parameter로서, 임의로 설정 가능한 값에 해당하므로, 추출하는 후보격자의 수는 임의로 정할 수 있다. 한편, 본 실시예에 따른, 데이터베이스(140)는 격자 ID 별로 구분된 각각의 격자에 대한 격자환경정보를 저장하고 있다. 이에, 본 실시예에 따른, 측위장치(130)는 기존의 AP 신호 세기 정보를 기반으로 한 핑거프린트 기법에 단말기(120)의 카메라 모듈을 이용하여 현재 위치의 격자 조명정보를 추가로 활용하여 핑거프린트 맵을 구축하며, 이를 이용해 후보격자를 추출할 수 있으며, 이에 따라 위치 확인의 정밀도를 향상시킬 수 있다. 여기서 핑거프린트 기법이란 확률론적 모델링에 의한 측위 기법으로서, 노이즈 및 주변 환경 정보를 위치 추적을 위한 정보로 활용하는 기법으로, 특정 위치에서 특정 정보를 기록하여 데이터베이스화하고 임의의 위치에서 얻은 특정 정보를 데이터베이스에서 찾아 현 위치를 추정하는 기법이다.
한편, 측위장치(130)는 수신한 정보와 데이터베이스(140)에 저장된 정보와 비교한다. 비교결과에 근거하여 각각의 격자 중 단말기 전파정보가 데이터베이스에 저장된 격자 전파정보와 매칭되는 격자를 후보격자로 추출한다. 이때, 매칭의 의미는 서로 동일하거나 유사도가 높은 경우를 의미한다. 후보격자를 추출한 후에, 데이터베이스에 저장된 후보 격자들의 격자 조명정보를 단말기에서 검색한 단말기 조명정보와 비교한다. 또한 데이터베이스에 저장된 후보 격자들의 격자 전파정보 중 단말기 수신신호강도와 단말기에서 검색한 단말기 전파정보 중 단말기 수신신호강도를 비교하여 최적격자의 좌표를 위치로 설정한다. 즉, 측위장치(130)는 단말기 수신신호강도뿐만 아니라 단말기 조명정보를 동시에 패턴 정보로 활용하여 각각의 격자에 매칭된 정보와 비교하는 핑거프린트 기법을 수행하고, 이를 통해, 추출된 격자를 최적격자로 추출한다.
데이터베이스(140)는 각각의 ID를 갖는 격자로 구분하되, 각각의 격자에 단말기의 카메라 모듈을 활용하여 수집된 격자에 대한 격자환경정보의 파라미터를 매칭하여 저장한다. 이러한 데이터베이스(140)는 측위장치(130)의 내부 또는 외부에 구현될 수 있다. 한편, 본 실시예에 따른 데이터베이스(140)는 격자에 대한 격자 조명정보를 각각의 격자 셀에 추가로 매칭하여 저장함으로써, 측위장치(130)가 단말기가 전송한 현재 위치의 단말기 조명정보를 활용하여 후보격자를 도출하는데 이용한다.
도 2는 본 실시예에 따른 단말기를 개략적으로 나타낸 블럭 구성도이다.
단말기(120)는 MPU(Micro Processor Unit: 210), 조명정보 수신모듈(220), 통신모듈(230) 및 위치 표시 모듈(240)을 포함한다.
MPU(Micro Processor Unit: 210)는 중앙처리장치로서, 조명정보 수신모듈에서 필요한 정보를 수신하거나 통신모듈이 필요한 정보를 송신하도록 제어하고, 서버로부터 수신한 위치를 위치표시모듈(240)을 이용해 단말기의 애플리케이션 상에 나타낼 수 있다. 본 발명의 일 실시예는 중앙처리장치로 MPU만을 예시하고 있으나, 반드시 이에 한정하지 않고, MPU와 같이 연산기능 및 제어기능을 갖는 장치를 포함한다.
조명정보 수신모듈(220)은 단말기의 카메라모듈이나 센서를 이용하여 단말기 조명 정보를 수신한다. 단말기 조명 정보로는 현재 위치의 조명의 명암과 색상 정보 등을 수신한다. 예를 들어, 위치 기반 애플리케이션이 구동 중에 위치 확인을 필요로 하는 경우, 조명정보 수신모듈(220)은 단말기의 카메라모듈이나 센서를 구동하여 단말기 조명정보를 수신한다. 현재 위치의 조명의 명암 정보는 센서를 이용하여 현재 위치의 조도, 휘도 등을 파악함으로써 판단한다. 현재 위치의 조명의 색상 정보는 센서를 이용하여 현재 위치의 조명의 색 온도를 파악함으로써 판단한다. 빛은 색상에 따라 온도가 달라지므로 이를 이용해 색 온도로부터 색상을 파악한다.
조명의 명암과 색상은 조명의 설치 위치 및 조명의 유형에 따라 변경될 수 있다. 조명의 유형으로는 백열등, 형광등 및 할로겐 램프 등이 있는데, 각각의 조명에 따라 다른 조명의 색상을 갖기 때문에, 조명의 유형에 따라 조명의 색상은 달라진다. 다만 타지역과 구별하여 위치를 측정하도록 조명의 명암과 색상을 제어할 수 있다. 예를 들어, 타지역과 구별이 힘든 곳에 타지역과는 다른 조명의 유형을 사용함으로써, 타지역과 구별하여 정확한 위치를 측정할 수 있다. 또한, 기존에 위치파악이 힘들었던 곳에 다른 곳과 구별 가능한 조명을 새로이 설치함으로써, 위치를 측정할 수 있다.
통신모듈(230)은 단말기의 안테나(235)를 이용하여 단말기 전파정보를 수신하거나, 단말기 전파정보 및 단말기 조명 정보를 송신하는 역할을 한다. 도 2에서는 편의상 기지국, Wi-Fi 및 블루투스 정보를 하나의 안테나와 하나의 모듈에서 송수신하는 것으로 도시하였으나, 통신 모듈 내에서 기지국 전파환경정보, Wi-Fi 및 블루투스 정보는 각각의 모듈에서 각각의 안테나를 이용하여 송수신한다.
위치표시모듈(240)은 MPU에서 수신한 위치정보를 단말기에 표시하는 역할을 한다. 예를 들어, 위치 기반 애플리케이션이 구동 중인 경우 위치표시모듈(240)은 단말기의 애플리케이션 상에 수신한 위치정보를 나타낼 수 있다.
도 3은 본 실시예에 따른 측위 장치(130)를 개략적으로 나타낸 블럭 구성도이다.
측위 장치(130)는 환경정보수신부(310), 후보격자 도출부(320), 위치 산출부(330) 및 정보 제공부(340)를 포함한다.
환경정보수신부(310)는 위치를 산출함에 있어 필요로 하는 정보들을 수신하는 역할을 한다. 구체적으로는 단말기로부터 단말환경정보를 수신하고, 데이터베이스로부터 격자환경정보를 수신한다.
후보격자 도출부(320)는 수신한 정보로부터 후보격자를 도출하는 역할을 한다. 후보격자를 도출함에 있어, 단말기 전파정보와 데이터베이스에 저장된 격자 전파정보를 비교한다. 비교를 하여 후보격자 N개를 도출한다. 여기서 N개는 파라미터(Parameter)로서, 설계자가 임의로 정할 수 있다.
위치 산출부(330)는 도출된 후보격자들 중에서 최적격자의 좌표를 위치로 산출하게 된다. 구체적으로, 사전에 구축한 격자의 단말기 수신신호강도 및 격자 조명정보를 이용하여 핑거 프린트 맵(Finger Print Map)을 구축한다. 이를 이용하여 후보격자 도출부에서 도출한 후보격자들의 격자 조명정보 및 단말기 수신신호강도와 단말기에서 검색한 단말기 조명정보 및 단말기 수신신호강도를 비교한다. 비교를 한 결과, 만족하는 격자가 유일한 경우에는 이 격자의 좌표를 단말기의 위치로 산출하게 된다. 그러나, 만족하는 격자가 2 이상인 경우에는, 위치 산출부(330)는 단말기의 단말기 전파정보와 후보격자의 격자 전파정보간의 차이 값을 기반으로 후보격자 별로 차등 가중치를 부여한다. 이후, 위치 산출부(330)는 후보격자 셀 별 차등 가중치를 이용하여 가중 평균을 계산하고, 이를 통해, 단말기(120)의 위치정보를 산출한다. 본 실시예에서는 위치 산출부(330)가 가중치 평균 산출법을 이용하여 단말기(120)의 위치정보를 산출한다고 명시하였지만 반드시 이에 한정되지 않고, 삼각 측위 등과 같은 다양한 측위 기법을 이용하여 단말기(120)의 위치정보를 산출할 수도 있다.
정보 제공부(340)는 위치 산출부에서 산출된 위치정보를 단말기의 위치표시모듈에 제공하는 역할을 한다. 또한 데이터베이스에 최적격자의 위치, 최적격자의 격자 조명정보 및 최적격자의 격자 전파정보를 데이터베이스에 제공하는 역할을 한다. 데이터베이스는 제공받은 정보를 이용하여 최적격자의 정보를 업데이트(Update)하는 과정을 거친다.
도 4는 본 실시예에 따른 데이터베이스를 개략적으로 나타낸 블럭 구성도이다.
데이터베이스(140)를 참조하면, 위치 측정 서비스 대상 지역을 소정의 크기의 격자 단위로 분할하고 각 격자를 하나의 셀(Cell)로 정의하여 정의된 셀 별로 측위 결과를 데이터베이스로 구축한다. 도 4에서 도시된 격자 셀은 특정 지역을 기 설정된 사이즈로 구분한 셀이며, 격자 조명정보 및 격자 전파정보를 근거로 한 셀 ID를 포함한다. 즉, 격자 셀은 NxM의 사이즈로 설정될 수 있다. 예를 들어, 격자 셀이 100x100, 50x50, 30x30, 25x25, 20x20, 10x10, 5x5, 2x2 및 1x1 등의 정사각형 형태로 설정될 수 있으나 반드시 이에 한정되는 것은 아니며, 향후 최적화 작업을 통해 각 환경에 적합한 다양한 형태로 설정될 수 있다.
데이터베이스(140)는 격자 조명정보 및 격자 전파정보를 포함하는 격자환경정보를 각각 대응되는 격자 셀에 매칭하여 저장하는 구조이다. 이때, 격자 조명정보 중에서 격자에 대한 조명의 명암 정보는 일정한 수치범위 내의 스케일(Scale)로 보정하여 저장할 수 있다.
이러한, 데이터베이스(140)는 데이터베이스 관리 프로그램(DBMS)을 이용하여 컴퓨터 시스템의 저장공간(하드디스크 또는 메모리)에 구현된 일반적인 데이터 구조를 의미하는 것으로, 데이터의 검색(추출), 삭제, 편집, 추가 등을 자유롭게 행할 수 있는 데이터 저장형태를 뜻하는 것으로, 오라클(Oracle), 인포믹스(Infomix), 사이베이스(Sybase), DB2와 같은 관계형 데이터베이스 관리 시스템(RDBMS)이나, 겜스톤(Gemston), 오리온(Orion), O2 등과 같은 객체 지향 데이타베이스 관리 시스템(OODBMS) 및 엑셀론(Excelon), 타미노(Tamino), 세카이주(Sekaiju) 등의 XML 전용 데이터베이스(XML Native Database)를 이용하여 본 발명의 일 실시예의 목적에 맞게 구현될 수 있고, 자신의 기능을 달성하기 위하여 적당한 필드(Field) 또는 엘리먼트들을 가지고 있다.
도 5는 본 실시예에 따른 명암 및 색상 정보를 이용한 단말기 위치 확인 방법을 설명하기 위한 순서도이다.
먼저, 단말기(120)의 카메라 모듈을 이용하여 격자 전파정보 및 격자 조명정보을 포함하는 격자환경정보를 수집하여 데이터베이스에 저장한다(S510).
다음으로, 예를 들어, 사용자가 위치 기반 애플리케이션을 실행하는 경우와 같이 위치 확인이 필요한 경우, 단말기의 카메라 센서를 이용하여 단말기 전파정보 및 단말기 조명정보를 포함하는 단말환경정보를 검색하여 측위 장치(130)에 전송한다(S520).
단말기의 단말환경정보 중 단말기 전파정보와 데이터베이스에 저장된 격자환경정보 중 격자 전파정보와 비교를 하여 후보격자 N개를 도출한다(S530).
검색한 단말기 조명정보 및 단말기 전파정보 중 단말기 수신신호강도를 데이터베이스에 저장된 후보 격자들의 격자 조명정보 및 격자 전파정보 중 단말기 수신 신호강도와 비교를 하여 적합한 격자를 찾는다(S540).
비교한 결과, 적합한 격자의 수가 2개 이상인지 여부를 판단한다(S550).
적합한 격자가 유일한 경우, 도출된 최적격자의 좌표를 위치로 설정하여 단말기의 위치표시모듈에 전달한다(S560).
적합한 격자로 2 이상 도출된 경우, 단말기의 단말기 전파정보와 데이터베이스에 저장된 후보격자들의 격자 전파정보간의 차이 값을 기반으로 후보격자 별로 차등 가중치를 부여한다, 부여한 후보격자 별 차등 가중치를 이용하여 가중 평균을 계산하고, 이를 통해 최적격자의 단말기의 위치정보를 산출하여 위치표시모듈에 전달한다(S570).
데이터베이스는 단말기의 위치, 최적격자의 격자 조명정보 및 최적격자의 격자 전파정보를 다시 피드백(Feedback)하여 업데이트(Update)하는 과정을 거침으로 인해, 지속적으로 최신의 데이터를 유지하도록 한다(S580).
도 5에서는 과정 S510 내지 과정 S580을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 과정 S510 내지 과정 S580 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5은 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 5에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: AP 120: 단말기
130: 측위 장치 140: 데이터베이스
210: MPU 220: 조명정보 수신모듈
230: 통신모듈 235: 안테나
240: 위치표시모듈 310: 환경정보수신부
320: 후보격자 도출부 330: 위치 산출부
340: 정보 제공부

Claims (19)

  1. 단말기 전파정보 및 단말기 조명정보를 포함하는 단말환경정보를 상기 단말기로부터 수신하고, 격자 전파정보 및 격자 조명정보를 포함하는 격자환경정보를 데이터베이스로부터 수신하는 환경정보수신부;
    상기 단말기 전파정보와 상기 격자 전파정보 중에서 서로 상응하는 항목끼리 상호 비교하여 하나 이상의 후보격자를 도출하는 후보격자 도출부; 및
    상기 단말환경정보 및 상기 후보격자의 상기 격자환경정보 중 서로 상응하는 항목을 상호 비교하여 최적격자를 도출하고, 상기 최적격자의 좌표를 상기 단말기의 위치로 산출하는 위치산출부
    를 포함하는 것을 특징으로 하는 단말측위장치.
  2. 제1항에 있어서,
    상기 단말측위장치는,
    상기 단말기의 위치, 상기 최적격자의 격자 전파정보 및 상기 최적격자의 격자 조명정보의 전부 또는 일부를 상기 단말기 또는 상기 데이터베이스로 제공하는 정보 제공부를 추가로 포함하는 것을 특징으로 하는 단말측위장치.
  3. 제1항에 있어서,
    상기 단말기 전파정보 및 상기 격자 전파정보는,
    기지국 전파환경정보, Wi-Fi 전파환경정보, 블루투스 전파환경정보, 단말기 수신신호강도(RSSI: Received Signal Strength Indication) 및 전파시간 측정정보(RTT: Round Trip Time)의 전부 또는 일부를 포함하는 것을 특징으로 하는 단말측위장치.
  4. 제1항에 있어서,
    상기 데이터베이스는,
    격자 ID 별로 구분된 각각의 격자에 대해서 상기 격자 전파정보와 상기 격자 조명정보를 포함한 상기 격자환경정보 중 일부 또는 전부를 매칭하여 저장하는 것을 특징으로 하는 단말측위장치.
  5. 제2항에 있어서,
    상기 데이터베이스는,
    상기 정보 제공부에서 제공받은 정보 중 상기 단말기의 위치, 상기 최적격자의 격자 조명정보 및 상기 최적격자의 격자 전파정보 중 일부 또는 전부를 다시 피드백(Feedback)하여 상기 격자에 저장된 정보를 업데이트(Update)하는 과정을 더 거치는 것을 특징으로 하는 단말측위장치.
  6. 제1항에 있어서,
    상기 후보격자 도출부는,
    상기 후보격자의 개수를 임의로 조절할 수 있는 것을 특징으로 하는 단말측위장치.
  7. 단말기의 위치를 측정하기 위한 방법에 있어서,
    단말기 전파정보 및 단말기 조명정보를 포함하는 단말환경정보를 상기 단말기로부터 수신하고, 격자 전파정보 및 격자 조명정보를 포함하는 격자환경정보를 데이터베이스로부터 수신하는 과정;
    상기 단말기 전파정보와 상기 격자 전파정보 중에서 서로 상응하는 항목끼리 상호 비교하여 하나 이상의 후보격자를 도출하는 과정;
    상기 단말환경정보 및 상기 후보격자의 상기 격자환경정보 중 서로 상응하는 항목을 상호 비교하여 최적격자를 도출하는 과정; 및
    상기 최적격자의 좌표를 상기 단말기의 위치로 산출하는 과정
    을 포함하는 것을 특징으로 하는 단말측위방법.
  8. 제7항에 있어서,
    상기 단말측위방법은,
    상기 단말기의 위치, 상기 최적격자의 격자 전파정보 및 상기 최적격자의 격자 조명정보의 전부 또는 일부를 상기 단말기 또는 상기 데이터베이스로 제공하는 과정을 추가로 포함하는 것을 특징으로 하는 단말측위방법.
  9. 제7항에 있어서,
    상기 단말기 전파정보 및 상기 격자 전파정보는,
    기지국 전파환경정보, Wi-Fi 전파환경정보, 블루투스 전파환경정보, 단말기 수신신호강도(RSSI: Received Signal Strength Indication) 및 전파시간 측정정보(RTT: Round Trip Time)의 전부 또는 일부를 포함하는 것을 특징으로 하는 단말측위방법.
  10. 제7항에 있어서,
    상기 데이터베이스는,
    격자 ID 별로 구분된 각각의 격자에 대해서 상기 격자 전파정보 및 상기 격자 조명정보를 포함한 상기 격자환경정보 중 일부 또는 전부를 매칭하여 저장하는 것을 특징으로 하는 단말측위방법.
  11. 제8항에 있어서,
    상기 데이터베이스는,
    제공받은 정보 중 상기 단말기의 위치, 상기 최적격자의 격자 조명정보 및 상기 최적격자의 격자 전파정보 중 일부 또는 전부를 다시 피드백(Feedback)하여 상기 격자에 대해 저장된 정보를 업데이트(Update) 과정을 더 거치는 것을 특징으로 하는 단말측위방법.
  12. 제7항에 있어서,
    상기 단말측위방법은,
    상기 후보격자의 수를 임의로 설정 가능한 것을 특징으로 하는 단말측위방법.
  13. 제7항에 있어서,
    상기 데이터베이스는,
    상기 격자 조명정보 중에서 상기 격자에 대한 조명의 명암을 일정한 수치 범위 내의 스케일(Scale)로 보정하여 저장하는 것을 특징으로 하는 단말측위방법.
  14. 제7항에 있어서,
    상기 단말측위방법은,
    상기 단말기 조명정보 또는 상기 격자 조명정보 중에서 조명의 색상을 상기 단말기를 이용하여 색 온도를 수신함으로써 간접적으로 파악할 수 있는 것을 특징으로 하는 단말측위방법.
  15. 제7항에 있어서,
    상기 단말기 조명정보 또는 상기 격자 조명정보는,
    측위가 필요한 특정 지역에 대해 조명이 없는 지역에 상기 조명을 추가로 설치함으로써, 수신 가능한 것을 특징으로 하는 단말측위방법.
  16. 단말기의 위치를 측정하기 위한 후보격자 도출방법에 있어서,
    단말기 조명정보 및 단말기 수신신호강도(RSSI: Received Signal Strength Indication)를 상기 단말기로부터 수신하고, 격자 ID 별로 구분된 각각의 격자의 격자 조명정보 및 상기 격자의 단말기 수신신호강도(RSSI: Received Signal Strength Indication)를 데이터베이스로부터 수신하는 과정; 및
    상기 단말기와 상기 데이터베이스로부터 수신한 각각의 조명정보 및 각각의 단말기 수신신호강도(RSSI: Received Signal Strength Indication) 중 서로 상응하는 항목을 상호 비교하여 상기 후보격자를 도출하는 과정
    을 포함하는 것을 특징으로 하는 후보격자 도출방법.
  17. 제16항에 있어서,
    상기 데이터베이스는,
    상기 단말기 수신신호강도와 상기 격자 ID 별로 구분된 각각의 격자에 대한 상기 격자 조명정보를 수집하여 핑거프린트 맵(Finger Print Map)을 구축하는 것을 특징으로 하는 후보격자 도출방법.
  18. 제16항에 있어서,
    상기 데이터베이스는,
    상기 격자 조명정보 중 상기 격자에 대한 조명의 명암을 일정한 수치 범위 내의 스케일(Scale)로 보정하여 저장하는 것을 특징으로 하는 후보격자 도출방법.
  19. 제16항에 있어서,
    상기 후보격자 도출방법은,
    상기 단말기 조명정보 또는 상기 격자 조명정보 중에서 조명의 색상을 상기 단말기를 이용하여 색 온도를 수신함으로써 간접적으로 파악할 수 있는 것을 특징으로 하는 후보격자 도출방법.
KR1020140062508A 2014-05-23 2014-05-23 명암 및 색상 정보를 이용한 단말기 측위장치 및 방법 Active KR101630402B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140062508A KR101630402B1 (ko) 2014-05-23 2014-05-23 명암 및 색상 정보를 이용한 단말기 측위장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140062508A KR101630402B1 (ko) 2014-05-23 2014-05-23 명암 및 색상 정보를 이용한 단말기 측위장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150135714A true KR20150135714A (ko) 2015-12-03
KR101630402B1 KR101630402B1 (ko) 2016-06-27

Family

ID=54872005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140062508A Active KR101630402B1 (ko) 2014-05-23 2014-05-23 명암 및 색상 정보를 이용한 단말기 측위장치 및 방법

Country Status (1)

Country Link
KR (1) KR101630402B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180083525A (ko) * 2017-01-13 2018-07-23 조선대학교산학협력단 라디오 맵 구축 효율성을 갖는 핑거프린팅 기반의 실내 측위 시스템 및 그 방법
WO2019045191A1 (ko) * 2017-08-29 2019-03-07 주식회사 스튜디오매크로그래프 실시간 실내 위치 측위 시스템을 이용한 범퍼카 서비스 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194697A (ja) * 2005-01-12 2006-07-27 Seiko Epson Corp 位置情報信号受信手段を有する携帯用電子機器
KR20090073715A (ko) * 2007-12-31 2009-07-03 삼성전자주식회사 가시광 통신을 이용한 네비게이션 시스템 및 방법
KR20110123148A (ko) * 2010-05-06 2011-11-14 에스케이 텔레콤주식회사 무선랜 신호를 이용한 위치 측위 방법 및 장치
KR20120030756A (ko) * 2010-09-20 2012-03-29 서울대학교산학협력단 복수의 광원을 포함하는 단일 가시광통신 장치 기반 위치 확인 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194697A (ja) * 2005-01-12 2006-07-27 Seiko Epson Corp 位置情報信号受信手段を有する携帯用電子機器
KR20090073715A (ko) * 2007-12-31 2009-07-03 삼성전자주식회사 가시광 통신을 이용한 네비게이션 시스템 및 방법
KR20110123148A (ko) * 2010-05-06 2011-11-14 에스케이 텔레콤주식회사 무선랜 신호를 이용한 위치 측위 방법 및 장치
KR20120030756A (ko) * 2010-09-20 2012-03-29 서울대학교산학협력단 복수의 광원을 포함하는 단일 가시광통신 장치 기반 위치 확인 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180083525A (ko) * 2017-01-13 2018-07-23 조선대학교산학협력단 라디오 맵 구축 효율성을 갖는 핑거프린팅 기반의 실내 측위 시스템 및 그 방법
WO2019045191A1 (ko) * 2017-08-29 2019-03-07 주식회사 스튜디오매크로그래프 실시간 실내 위치 측위 시스템을 이용한 범퍼카 서비스 방법 및 시스템

Also Published As

Publication number Publication date
KR101630402B1 (ko) 2016-06-27

Similar Documents

Publication Publication Date Title
US11067664B2 (en) System and method for indoor localization using beacons
EP2604080B1 (en) Automatic place detection
RU2707737C1 (ru) Носитель записи, на котором записана программа определения нахождения в помещении/вне помещения, система определения нахождения в помещении/вне помещения, способ определения нахождения в помещении/вне помещения, мобильный терминал, и средство для классификации и определения среды в помещении/вне помещения
US10021767B2 (en) Zone based lighting access
CN103644905B (zh) 一种情境相关的室内定位方法及系统
US20130260790A1 (en) Method and system for providing location identification
EP3354086B1 (en) Localization of a mobile device
KR101600190B1 (ko) 환경 변수를 고려한 실내 측위 장치 및 그 방법
KR101405894B1 (ko) 기압 정보를 이용한 측위 방법과 그를 위한 측위 장치
Noh et al. Infrastructure-free collaborative indoor positioning scheme for time-critical team operations
CN104584090A (zh) 使用智能计量器作为可靠的众包代理
US11226391B2 (en) Floor levels of a venue
US20160330041A1 (en) Feedback in a positioning system
KR101297483B1 (ko) 위치 추적 방법 및 위치 추적 시스템
KR102084042B1 (ko) Ap 위치 관리 방법 및 그를 위한 장치
KR20210088483A (ko) 파라미터 계수를 활용한 단말기 위치 측위 방법 및 장치
KR101630402B1 (ko) 명암 및 색상 정보를 이용한 단말기 측위장치 및 방법
KR101597272B1 (ko) 비콘장치의 자동 관리 방법 및 장치
KR101545562B1 (ko) 전파시간 측정정보를 활용한 단말기 위치 측위 방법 및 장치
KR102204038B1 (ko) 로그 데이터를 이용한 ａｐ 위치 추정 방법 및 장치
KR20180031150A (ko) 라디오 맵 구축 기능을 가진 핑거프린팅 방식을 이용한 측위 시스템 및 이의 라디오 맵 구축 방법
KR101590519B1 (ko) 무선 네트워크를 기반으로 측위 정확도 산출방법 및 장치
KR20150016454A (ko) 무선랜 신호를 이용한 측위장치 및 방법
KR102055001B1 (ko) 그룹핑을 이용한 측위 방법 및 장치
Akhare et al. Proposed framework for improving localization using bluetooth low energy beacons

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140523

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150518

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151111

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160519

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160608

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160608

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190502

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200330

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220317

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230404

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20240320

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20250508

Start annual number: 10

End annual number: 10