KR102638934B1 - 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템 - Google Patents

멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템 Download PDF

Info

Publication number
KR102638934B1
KR102638934B1 KR1020230124650A KR20230124650A KR102638934B1 KR 102638934 B1 KR102638934 B1 KR 102638934B1 KR 1020230124650 A KR1020230124650 A KR 1020230124650A KR 20230124650 A KR20230124650 A KR 20230124650A KR 102638934 B1 KR102638934 B1 KR 102638934B1
Authority
KR
South Korea
Prior art keywords
unit
user
location
uwb
module
Prior art date
Application number
KR1020230124650A
Other languages
English (en)
Inventor
박찬배
Original Assignee
박찬배
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박찬배 filed Critical 박찬배
Priority to KR1020230124650A priority Critical patent/KR102638934B1/ko
Application granted granted Critical
Publication of KR102638934B1 publication Critical patent/KR102638934B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B3/00—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor
    • B62B3/14—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor characterised by provisions for nesting or stacking, e.g. shopping trolleys
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B5/00—Accessories or details specially adapted for hand carts
    • B62B5/0026—Propulsion aids
    • B62B5/0033—Electric motors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0258—Hybrid positioning by combining or switching between measurements derived from different systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0284—Relative positioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

본 발명은 실시간으로 사용자를 인식하고 사용자를 추적하기 위해 초광대역 신호, GPS 신호, 비전 카메라를 사용하여 객체추적의 정확성을 높인 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템을 개시한다.
본 발명에 의하면, 기존의 카메라을 사용하여 객체를 촬영 방식과 GPS 음영지역인 실내나 인도어(INDOOR)를 해소하며, UWB 의 장점인 -10cm 내지 10cm 의 범위의 정밀도를 갖는 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템을 제공한다.
본 발명의 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템은, 사용자의 위치 추적을 위해 사용자가 휴대하는 휴대 모듈; 상기 휴대 모듈에 의해 사용자의 위치가 추적되는 객체추적 모듈; 및 상기 객체추적 모듈이 장착되며, 사용자를 따라 이동하는 전동카트 모듈;을 포함한다.

Description

멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템{Positioning-Based Object Recognition Tracking System Combining Multi-Sensors}
본 발명은 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템에 관한 것으로, 보다 상세하게는 실시간으로 사용자를 인식하고 사용자를 추적하기 위해 초광대역 신호, GPS 신호, 및 비전 카메라를 사용하여 객체추적의 정확성을 높인 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템에 관한 것이다. 본 발명에 의하면, 기존의 카메라을 사용하여 객체를 촬영 방식과 GPS 음영지역인 실내나 인도어(INDOOR)를 해소하며, UWB 의 장점인 -10cm 내지 10cm 의 범위의 정밀도를 갖는 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템을 제공한다.
초광대역(Ultra-wideband)은 기존 주파수 대역에 비해 수배~수십배 이상 넓은 500㎒ 폭 이상을 활용해 저전력으로 대용량 정보를 빠르게 전송하는 근거리 무선통신 기술이다. 주파수는 3.1∼10.6㎓ 대역을 사용하며, 10m∼1㎞의 전송거리를 보장한다. UWB 기술을 이용하면 근거리 무선기기 간에 무선통신뿐만 아니라, 무선기가 간의 거리를 측정하는 것이 가능하다는 장점으로 인해 UWB 기술이 재조명되게 되었다.
UWB 기술에 의해 거리를 측정하는 방법은 다음과 같다. UWB 신호는 펄스폭이 작으므로 하나의 송신펄스를 이상적인 임펄스 신호로 가정할 수 있다. 수신기에는 송신신호가 시간이 지연되어 수신되는 직접파(LoS: line of sight)와 주변 환경에 의한 반사되어 수신되는 반사파(NLoS: non-line of sight)의 중첩되어 수신된다. 이러한 수신신호는 송신신호가 임펄스 신호이므로 수신신호는 바로 채널의 특성을 나타내는 채널임펄스 응답(CIR: channel impulse response) 신호가 된다. 직접파는 모든 반사파보다 먼저 수신되므로 CIR의 첫 번째 피크까지의 시간지연이 바로 송신기에서 떠난 전파가 수신기에 도착한 직접파의 도달시간(ToF)이 된다. 이 신호는 송신기와 수신기 간의 거리에 비례하므로 이 시간을 정확히 측정할 수 있다면 UWB 송신기와 수신기 간의 거리를 계산할 수 있다.
이러한 UWB 기술은 GPS 기술을 대체할 수 있는데, 기존의 GPS는 위성 데이터를 수신하여 위치를 실시간 갱신할 수 있어야 하는데 GPS의 경우 외부에서만 유효한 데이터로 사용될 수 있고, 실내의 경우는 GPS 신호가 닿지 않아 유효한 데이터로 활용될 수 없다. UWB는 실내에서 신호가 양호하게 수신되며, 측정오차 또한 10cm 미만이기 때문에 GPS 신호가 수신되지 않는 실내에서 GPS를 대체할 수 있다. 이러한 UWB 기술을 객체를 추적하여 이동하는 스마트 전동카트와 같은 '팔로우 미' 기능을 요구하는 장치에 접목시킨다면 보다 정확한 객체 추적이 가능하며, 관련 연구 개발이 필요한 실정이다.
대한민국 등록특허공보 제10-2520764호 대한민국 등록특허공보 제10-1902715호 대한민국 공개특허공보 제10-2023-0110941호 대한민국 공개특허공보 제10-2022-0036209호
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 실시간으로 사용자를 인식하고 사용자를 추적하기 위해 초광대역 신호, GPS 신호, 비전 카메라를 사용하여 객체추적의 정확성을 높인 객체 인식 트래킹 시스템, 보다 구체적으로 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템은, 사용자의 위치 추적을 위해 사용자가 휴대하는 휴대 모듈; 상기 휴대 모듈에 의해 사용자의 위치가 추적되는 객체추적 모듈; 및 상기 객체추적 모듈이 장착되며, 사용자를 따라 이동하는 전동카트 모듈;을 포함한다.
상기 휴대 모듈은, 사용자의 위치 결정을 위해 위성의 신호를 수신하고 사용자의 위치 데이터를 상기 객체추적 모듈로 송신하는 GPS 장치부 및 객체추적을 위해 UWB 신호를 송출하는 UWB 송출부를 포함한다.
상기 객체추적 모듈은, 상기 GPS 장치부에서 전송하는 위치 데이터가 수신되는 GPS 통신부, 상기 UWB 송출부에서 송출하는 UWB 신호가 수신되는 복수의 UWB 수신부, 사용자의 위치를 추적하기 위해 사용자가 촬영되는 카메라부, 상기 복수의 UWB 수신부에서 수신된 UWB 신호가 위치 데이터로 처리되는 UWB 처리부 및 상기 GPS 통신부에서 수신된 위치 데이터, 상기 카메라부에서 감지된 위치 데이터 및 상기 UWB 처리부에서 처리된 위치 데이터에 의해 사용자의 위치를 계산하여 이동 신호를 생성하는 위치 제어부를 포함한다.
상기 위치 제어부는, 상기 GPS 통신부에서 수신된 위치 데이터 상기 카메라부에서 감지된 위치 데이터 및 상기 UWB 처리부에서 처리된 위치 데이터 중에 우선 순위 알고리즘에 따라 사용자의 위치를 결정하는 위치 결정부 및 상기 위치 결정부에서 결정된 사용자의 위치로 상기 전동카트 모듈이 이동되도록 이동 신호를 생성하는 이동 신호 생성부를 포함한다.
상기 우선 순위 알고리즘은, 사용자가 상기 카메라부에 촬영되는 위치에 있는 경우에는 상기 카메라부에서 감지된 위치 데이터에 의해 사용자의 위치를 결정하고, 사용자가 카메라부에 의해 촬영되는 위치가 아닌 경우에는 상기 GPS 통신부에서 수신된 위치 데이터에 의해 사용자의 위치를 결정하고, 사용자가 위성의 신호가 수신되지 않는 실내에 위치한 경우에는 상기 UWB 처리부에서 처리된 위치 데이터에 의해 사용자의 위치를 결정하는 것을 특징으로 한다.
상기 전동카트 모듈은, 상기 객체추적 모듈이 장착되며, 프레임이 구비되는 본체부, 상기 본체부에 후면에 연결되어 사용자가 수동으로 상기 전동카트 모듈을 이동할 수 있도록 하는 핸들부, 상기 본체부의 안쪽에 연결되며, 화물이 적재되고 높이 조절이 가능한 리프트 장치부, 상기 본체부에 하부에 위치하며, 구동모터를 구비하여 이동되는 휠부, 상기 위치 제어부에서 생성된 이동 신호에 따라 상기 휠부가 작동되게 제어하고, 상기 리프트 장치부의 높이를 제어하는 이동 제어부를 포함하며, 상기 리프트 장치부는, 상기 본체부의 안쪽 전면에 일측이 위치하는 제1 사다리부, 상기 본체부의 안쪽 후면에 일측이 위치하며, 상기 제1 사다리부와 X자 형태로 대응되게 위치하는 제2 사다리부, 상기 제2 사다리부의 일측과 연결되며, 상기 제2 사다리부를 이동시켜 플레이트부의 높이를 조절하는 사다리 구동부 및 상기 제1 사다리부의 타측 및 제2 사다리부의 타측이 하부면에 연결되며, 화물이 적재되는 플레이트부를 포함한다.
본 발명의 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템은 예를 들어 실시간 객체추적을 위한 초광대역 객체추적 시스템을 의미한다.
상술한 바와 같이, 본 발명은 UWB 신호를 사용하여 객체추적의 정확성을 높였으며, GPS 신호와 비전 카메라를 병행하여 사용하여 객체추적을 효율성을 배가시키는 장점이 있다.
또한, 본 발명은 전동카트에 자동으로 작동되는 리프트를 구비하여 화물의 적재를 용이하게 했고, 자세 밸런싱에 의해 리프트에 사람이 올라가 고공 작업을 하더라고 평행을 유지할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 의한 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템의 개요도이다.
도 2은 본 발명의 일 실시예에 의한 휴대 모듈의 구성도이다.
도 3은 통상적인 UWB 주파수 대역을 나타낸다.
도 4는 본 발명의 일 실시예에 의한 객체추적 모듈의 구성도이다.
도 5는 복수의 UWB 수신부를 이용하여 삼각측량법에 의해 UWB 송출부의 위치를 결정하는 것을 나타낸다.
도 6은 본 발명의 일 실시예에 의한 위치 제어부의 구성도이다.
도 7은 본 발명의 일 실시예에 의한 전동카트 모듈의 개략도이다.
도 8은 본 발명의 전동카트 모듈(300)에서 외부인의 향하는 방향을 기준으로 경고 방송을 수행하는 개념도를 나타낸다.
본 개시의 다양한 실시예에서 사용될 수 있는 "포함한다." 또는 "포함할 수 있다." 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시의 다양한 실시예에서, "포함하다." 또는 "가지다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 개시의 다양한 실시예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 개시의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
본 개시의 다양한 실시예에서 사용한 용어는 단지 특정일 실시예를 설명하기 위해 사용된 것으로, 본 개시의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 본 발명의 일 실시예에 의한 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템에 대해 도면을 참조하여 설명한다. 도 1은 본 발명의 일 실시예에 의한 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템의 개요도이다. 도 1을 참조하면, 본 발명의 일 실시예에 의한 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템은 휴대 모듈(100), 객체추적 모듈(200) 및 전동카트 모듈(300)을 포함하여 구성될 수 있다.
휴대 모듈(100)은 사용자의 위치 추적을 위해 사용자가 휴대한다. 도 2은 본 발명의 일 실시예에 의한 휴대 모듈(100)의 구성도이다. 도 2를 참조하면, 본 발명에 일 실시예에 의한 휴대 모듈(100)은 GPS 장치부(110) 및 UWB 송출부(120)를 포함하여 구성될 수 있다. 사용자는 객체추적 모듈(200) 및 전동카트 모듈(300)이 사용자를 추적하여 이동할 수 있도록 휴대 모듈(100)을 휴대해야 한다. 휴대 모듈(100)은 사용자가 용이하게 휴대할 수 있도록 작은 사이즈의 장치일 수 있다. 휴대 모듈(100)은 내부에 배터리를 구비하여 내장된 GPS 장치부(110)와 UWB 송출부(120)가 작동되도록 한다.
GPS 장치부(110)는 사용자의 위치 결정을 위해 위성의 신호를 수신하고 사용자의 위치 데이터를 객체추적 모듈(200)로 송신한다. 상기 GPS 장치부(110)는 위성의 신호를 수신하는 GPS 수신부, 상기 GPS 수신부에서 수신한 위성의 신호로 사용자의 위치를 계산하는 GPS 처리부, 상기 GPS 처리부에서 계산한 위치 데이터를 상기 객체추적 모듈(200)로 무선을 통해 송신하는 위치 데이터 송신부를 포함한다. GPS 수신부는 위성의 식별 코드인 의사랜덤코드(Pseudorandom code), 위성 위치 정보인 천체력 데이터(Ephemeris data), 하루의 특정 시간에 각 GPS 위성이 어디에 위치해야 하는지를 알려주는 책력 데이터(Almanac data)를 수신하고, GPS 처리부는 의사랜덤코드, 천체력 데이터 및 책력 데이터에 의해 사용자의 정확한 위치를 계산한다. 위치 데이터 송신부는 계산된 사용자의 위치 데이터를 무선 통신을 통해 객체추적 모듈(200)로 전송한다. 여기서, 무선 통신은 RF 통신을 사용할 수 있다. RF 통신은 radio frequency에서 작동하는 통신으로, 통신 주파수 대역은 일반적으로 300kHz에서 300GHz이다. RF 통신은 적외선 통신에 비교해 더 멀리까지 신호를 전달할 수 있고, 중간에 장애물이 있어도 통신이 가능하며, 또한 RF 통신은 특정 주파수 대역을 사용하므로 간섭의 영향이 낮은 장점이 있다.
UWB 송출부(120)는 객체추적을 위해 UWB 신호를 송출한다. GPS 신호는 GPS 수신기에 도달하기 전에 높은 건물이나 거대한 바위 표면과 같은 물체에 반사될 수도 있으며, 이것은 신호의 이동 시간을 증가시켜 오차를 일으키게 된다. 또한, GPS 신호는 건물을 통과하기 어려워 본 발명에서는 GPS 신호를 보완하기 위해 실내에서의 측위의 정확성이 높은 UWB 신호를 사용한다. UWB 기술에서 위치 측정을 위해서는 UWB 신호를 송출하고 UWB 신호를 수신하여 UWB 수신 시간에 의해 UWB 신호를 송출한 지점의 위치를 측정하게 된다. UWB 송출부(120)는 객체추적 모듈(200)이 UWB 신호를 추적하여 사용자의 위치를 계산할 수 있도록 UWB 신호를 송출한다. 도 3은 통상적인 UWB 주파수 대역을 나타낸다. UWB 송출부(120)는 UWB 송신장치를 구비하여, 3.1∼10.6㎓ 대역의 UWB 신호를 생성하여 송출한다.
객체추적 모듈(200)은 휴대 모듈(100)에 의해 사용자의 위치를 추적한다. 도 4는 본 발명의 일 실시예에 의한 객체추적 모듈(200)의 구성도이다. 도 4를 참조하면, 본 발명의 일 실시예에 의한 객체추적 모듈(200)은 GPS 통신부(210), UWB 수신부(220), 카메라부(230), UWB 처리부(240) 및 위치 제어부(250)를 포함하여 구성될 수 있다. 객체추적 모듈(200)은 전동카트 모듈(300)에 장착되며, 사용자의 위치를 계산하여 전동카트 모듈(300)이 사용자를 따라서 이동할 수 있게 한다.
GPS 통신부(210)는 GPS 장치부(110)에서 전송하는 위치 데이터를 수신한다. 휴대 모듈(100)의 GPS 장치부(110)에서 위성 신호를 수신하여 사용자의 위치가 결정되고 이에 따라 생성된 위치 데이터는 RF 통신에 의해 GPS 통신부(210)로 수신되게 된다.
UWB 수신부(220)는 UWB 송출부(120)에서 송출하는 UWB 신호를 수신한다. 사용자의 정확한 위치 측정을 위해 본 발명에서는 복수의 UWB 수신부(220)를 구비한다. 복수의 UWB 수신부(220)가 전동카트 모듈(300)의 본체부(310)의 전면 양측, 전면 중앙 등의 위치에 설치될 수 있다. 본 발명의 일 실시예에서는 3개의 UWB 수신부(220)를 구비할 수 있다. UWB 수신부(220)를 서로 다른 위치에 설치하게 되면 삼각측량법에 의해 UWB 송출부(120)의 위치를 계산할 수 있다.
카메라부(230)는 사용자의 위치를 추적하기 위해 사용자를 촬영한다. 카메라부(230)는 전동카트 모듈(300)의 본체부(310)의 전면에 설치된다. 본 발명의 카메라부(230)는 사용자의 안면 인식을 위해 비전 카메라를 사용할 수 있다. 카메라부(230)는 미리 저장된 사용자의 안면과 신체에 대한 정보에 따라 인공지능 객체인식 기술에 따라 촬영된 영상에서 사용자를 인식한다. 객체인식 모델은 크게 One-Stage Detector와 Two-Stage Detector로 구분할 수 있다. One-stage Detector에는 YOLO, SSD, RetinaNet가 있고, Two-stage Detector에는 R-CNN, Fast R-CNN, Faster R-CNN이 있다. 본 발명의 객체인식 인공지능으로는 YOLO, SSD, RetinaNet, R-CNN, Fast R-CNN, Faster R-CNN 중에서 하나를 선택하여 사용할 수 있다. 카메라부(230)는 사용자를 촬영하는 비전 카메라, 상기 비전 카메라에서 촬영된 영상에서 인공지능에 의해 사용자를 감지하는 사용자 감지부, 상기 사용자 감지부에서 감지된 사용자까지의 거리 산출을 위해 초음파를 발사하여 거리를 계산하는 초음파 거리 계산부를 포함한다. 카메라부(230)는 사용자를 따라 촬영할 수 있도록 비전 카메라의 방향을 변경하여 주는 짐벌부를 더 포함한다. 카메라부(230)는 미리 저장된 사용자의 안면과 신체를 인식하여 사용자를 따라 촬영하게 되는데, 사용자가 사용자 감지부에 의해 감지되고 있으면 초음파 거리 계산부에 의해 사용자까지의 거리가 계산되고, 사용자를 촬영하고 있는 각도가 짐벌부에 의해 계산되며 거리 데이터와 각도 데이터가 위치 제어부(250)에 의해 처리되어 전동카트 모듈(300)이 이동하게 된다.
UWB 처리부(240)는 복수의 UWB 수신부(220)에서 수신한 UWB 신호를 처리하여 사용자의 위치를 계산하여 위치 데이터를 생성한다. 복수의 UWB 수신부(220)에서 수신한 UBW 송출부까지의 거리에 의해 UWB 처리부(240)는 사용자의 정확한 위치를 계산할 수 있다. 도 5는 복수의 UWB 수신부(220)를 이용하여 삼각측량법에 의해 UWB 송출부(120)의 위치를 결정하는 것을 나타낸다. 도 5를 참조하면, 고정된 3개의 UWB 수신부(220)로부터 UWB 송출부(120)까지의 거리를 측정하여 UWB 송출부(120)의 위치를 삼각법으로 계산할 수 있다. 제1 UWB 수신부(220a)의 위치를 (x1, y1), 제2 UWB 수신부(220b)의 위치를 (x2, y2), 제3 UWB 수신부(220c)의 위치를 (x3, y3), 제1 UWB 수신부(220a)에서 UWB 송출부(120)까지의 거리를 r1, 제2 UWB 수신부(220b)에서 UWB 송출부(120)까지의 거리를 r2, 제3 UWB 수신부(220c)에서 UWB 송출부(120)까지의 거리를 r3라고 가정하면, 제1 UWB 수신부(220a) 내지 제3 UWB 수신부(220c)의 위치는 이미 알고 있기 때문에, r1 내지 r3을 측정하면 삼각측량법에 의해 UWB 송출부(120)의 위치인 (x,y)를 구할 수 있다. (x,y)를 구하는 공식은 다음의 식 (1) 및 식 (2)와 같다.
식 (1)
식 (2)
위치 제어부(250)는 GPS 통신부에서 수신된 위치 데이터, 카메라부(230)에서 감지된 사용자의 위치 데이터 및 UWB 처리부(240)에서 처리된 위치 데이터에 의해 사용자의 위치를 계산하여 이동 신호를 생성한다. 도 6은 본 발명의 일 실시예에 의한 위치 제어부(250)의 구성도이다. 도 6을 참조하면, 본 발명의 일 실시예에 의한 위치 제어부(250)는 위치 결정부(251) 및 이동 신호 생성부(252)를 포함하여 구성될 수 있다.
위치 결정부(251)는 GPS 통신부(210)에서 수신된 위치 데이터, 카메라부(230)에서 감지된 사용자의 위치 데이터 및 UWB 처리부(240)에서 처리된 위치 데이터 중에 우선 순위 알고리즘에 따라 사용자의 위치를 결정한다. 순위 알고리즘은 사용자가 카메라부(230)에 촬영되는 위치에 있는 경우에는 카메라부(230)에서 감지된 위치 데이터에 의해 사용자의 위치를 결정하고, 사용자가 카메라부(230)에 의해 촬영되는 위치가 아닌 경우에는 GPS 통신부(210)에서 수신된 위치 데이터에 의해 사용자의 위치를 결정하고, 사용자가 위성의 신호가 수신되지 않는 실내에 위치한 경우에는 UWB 처리부(240)에서 처리된 위치 데이터에 의해 사용자의 위치를 결정한다. 위치 결정부(251)는 사용자와 객체추적 모듈(200)이 근거리에 있어 카메라부(230)에 의해 사용자의 위치가 감지될 수 있는 경우에는 카메라부(230)에서 감지된 위치 데이터를 우선으로 사용할 수 있다. 위치 결정부(251)는 카메라부(230)에서 전송한 거리 데이터와 각도 데이터를 기반으로 사용자의 위치를 계산할 수 있다. 그렇지만, 위치 결정부(251)는 카메라부(230)에서 사용자를 촬영할 수 없는 원거리에 사용자가 있는 경우는 GPS 통신부(210)에서 수신된 위치 데이터를 우선으로 사용할 수 있다. 사용자가 실내에 있어, 위성 신호의 수신이 양호하지 않은 경우 UWB 처리부(240)에서 처리된 위치 데이터를 우선으로 사용할 수 있다. 이와 같이 위치 결정부(251)는 실시간으로 사용자의 위치에 따라 우선 순위를 변경하면서 최적의 위치 정보를 결정할 수 있다. 그렇지만, 본 발명의 초광대역 객체추적 시스템이 사용되는 환경이 대부분 실내이고, 여러 물체가 가로막고 있는 상태의 산업현장이기 때문에 카메라부(230) 및 GPS 통신부(210)의 기능이 제한될 수 있다. 이런 경우 사용자는 위치 결정부(251)의 입력부를 통해 우선 순위를 수동으로 조절할 수 있는데, 일반적으로 UWB 처리부(240)를 우선 순위로 변경하여 사용하는 것이 바람직하다. UWB 처리부(240)에서 제공하는 위치 데이터는 오차가 10cm 미만이기 때문에 카메라부(230) 또는 GPS 통신부(210)의 데이터에 우선하여 사용하는 것이 객체추적을 정확성을 높일 수 있다.
이동 신호 생성부(252)는 위치 결정부(251)에서 결정된 사용자의 위치로 전동카트 모듈(300)이 이동되도록 이동 신호를 생성한다. 이동 신호 생성부(252)는 위치 결정부(251)에서 결정된 사용자의 위치로 전동카트 모듈(300)이 이동할 수 있도록 이동 신호를 생성한다. 이동 신호 생성부(252)는 이동 신호와 함께 전동카트 모듈(300)이 이동할 수 있는 경로를 같이 생성할 수 있다.
전동카트 모듈(300)은 객체추적 모듈(200)이 장착되며, 객체추적 모듈(200)의 이동 신호에 따라 사용자를 따라 이동한다. 도 7은 본 발명의 일 실시예에 의한 전동카트 모듈(300)의 개략도이다. 도 7을 참조하면, 본 발명의 일 실시예에 의한 전동카트 모듈(300)은 본체부(310), 핸들부(320), 리프트 장치부(330), 휠부(340) 및 이동 제어부를 포함하여 구성될 수 있다.
본체부(310)는 객체추적 모듈(200)을 장착하고, 프레임을 구비한다. 본체부(310)는 전동카트 모듈(300)의 몸체를 형성하고, 프레임으로 이루어진다. 프레임의 하부에는 휠부(340)가 연결되고 프레임 안쪽에는 리프트 장치부(330)가 위치하며, 프레임 후면에는 핸들부(320)가 연결된다. 프레임은 전동카드 모듈에 200kg 수준의 무게가 적재되더라고 견딜 수 있도록 금속재의 재질로 제작된다. 또한, 본체부(310)는 객체추적 모듈(200)과 전동카트 모듈(300)과 작동시키도록 전력을 공급하는 배터리를 내부에 구비한다.
핸들부(320)는 본체부(310)에 후면에 연결되어 사용자가 수동으로 전동카트 모듈(300)을 이동할 수 있도록 하게 한다. 핸들부(320)는 사용자가 손으로 지지할 수 있는 손잡이 역할을 하는데, 사용자가 전동카트 모듈(300)을 고정시키거나 수동으로 이동시킬 때 사용된다.
리프트 장치부(330)는 본체부(310)의 안쪽에 연결되며, 화물이 적재되고 높이 조절이 가능하다. 도 7을 참조하면, 본 발명의 일 실시예에 의한 리프트 장치부(330)는 제1 사다리부(331), 제2 사다리부(332), 사다리 구동부(333) 및 플레이트부(334)를 구비할 수 있다. 리프트 장치부(330)의 플레이트부(334)는 높이가 상하로 조절될 수 있고, 카메라부(230)에 의해 사용자의 높이가 인식되어 사용자에게 알맞은 높이로 플레이트부(334)의 높이가 조절될 수 있다.
제1 사다리부(331)는 본체부(310)의 안쪽 전면에 일측이 연결된다. 제1 사다리부(331)는 사다리의 형태로 안쪽에 발판으로 사용할 수 있는 격자가 구비되고, 일측은 본체부(310) 안쪽에 연결되고, 타측은 플레이트부(334)의 하부에 위치한다. 제1 사다리부(331)의 일측은 본체부(310) 안쪽을 연결되어 고정된 본체부(310)를 따라 각도 이동이 되도록 축으로 연결되고, 제1 사다리부(331)의 타측은 플레이부의 하부를 따라 플레이트부(334)의 높이에 따라 플레이트부(334) 하부에 형성된 홈을 따라 이동한다.
제2 사다리부(332)는 본체부(310)의 안쪽 후면에 일측이 위치하며, 제1 사다리부(331)와 X자 형태로 대응되게 위치한다. 제2 사다리부(332)의 일측은 본체부(310)의 안쪽 후면에 위치하여 사다리 구동부(333)와 연결되어 본체부(310) 안쪽면을 따라 평면 운동을 한다. 또한, 제2 사다리부(332)의 타측은 플레이트부(334)의 하부에 위치하여 플레이트부(334)의 하부에 형성된 홈부을 따라 이동한다. 제2 사다리부(332)는 사다리의 형태로 안쪽에 발판으로 사용할 수 있는 격자가 구비되고, 제1 사다리부(331)와 X자 형태로 서로 엇갈리게 위치한다. 제1 사다리부(331)는 일측이 회전하고, 제2 사다리부(332)는 본체부(310) 안쪽면을 따라 수평 운동을 하여 플레이트부(334)의 높이를 조절하게 된다.
사다리 구동부(333)는 제2 사다리부(332)의 일측과 연결되며, 제2 사다리부(332)를 이동시켜 플레이트부(334)의 높이를 조절한다. 사다리 구동부(333)는 회전 모터 또는 리니어 모터를 구비하여 제2 사다리부(332)가 본체부(310) 안쪽면을 따라 수평 운동을 하게 한다. 회전 모터를 구비하는 경우에는 기어장치를 통해 회전 운동을 수평 운동으로 변환할 수 있고, 리니어 모터를 구비하는 경우에는 리니어 모터의 수평 운동을 그대로 사용할 수 있다. 사다리 구동부(330)의 작동은 이동 제어부에 의해 제어되고, 카메라부에서 감지한 사용자의 높이에 맞게 플레이트부(334)의 높이가 조절되도록 사다리 구동부(333)가 작동한다.
플레이트부(334)는 제1 사다리부(331) 및 제2 사다리부(332)가 하부면에 연결되며, 화물을 상부에 적재한다. 본 발명에서는 플레이트부(334), 제1 사다리부(331) 및 제2 사다리부(332)를 결합하여 사다리로 사용할 수 있다. 플레이트부(334) 하부면에는 선형의 홈부가 있어 제1 사다리부(331)의 타측 및 제2 사다리부(332)의 타측이 선형의 홈부를 따라 이동할 수 있다.
휠부(340)는 본체부(310)에 하부에 위치하며, 구동모터를 구비하며 구동모터의 회전력에 의해 회전하여 전동카트 모듈(300)이 이동하게 한다. 휠부(340)는 4개의 바퀴를 구비하고, 구동모터를 구비하여 전동카트 모듈(300)을 이동시킨다.
이동 제어부는 위치 제어부(250)에서 생성된 이동 신호에 따라 휠부(340)가 작동하게 제어하고, 리프트 장치부(330)의 높이를 제어한다. 이동 제어부는 이동 신호와 이동 경로를 이동 신호 생성부(252)로부터 수신하고 휠부(340)가 이동할 수 있는 이동 제어 신호로 변경하여 휠부(340)의 이동을 제어한다. 또한, 이동 제어부는 리프트 장치부(330)를 높이를 제어하는데, 카메라부(230)에 의해 감지된 사용자에게 알맞은 높이로 조절하여 사용자가 용이하게 화물을 적재 또는 하역할 수 있도록 한다 사다리 구동부(333)의 작동을 제어한다. 이동 제어부는 이동 신호 및 사용자 높이를 처리할 수 있는 프로세서를 포함한다. 또한, 이동 제어부는 카메라부(230)를 작동시켜 전면에 장애물이 있는 경우 우회하여 휠부(340)가 작동하게 할 수 있다.
상기 리프트 장치부(330)는 상기 플레이트부(334) 상부에 작업자가 올라가서 작업할 때 상기 플레이트부(334)의 균형을 잡아서 작업자의 자세에 대한 밸런싱이 가능하게 한다. 상기 제1 사다리부(331)가 상기 플레이트부(334)를 지지하는 제1 사다리부(331)의 타측에는 제1 무게센서를 위치하여 제1 사다리부(331)에 집중되는 하중을 측정하며, 상기 제2 사다리부(332)가 상기 플레이트부(334)를 지지하는 제2 사다리부(332)의 타측에는 제2 무게센서를 위치하여 제2 사다리부(332)에 집중되는 하중을 측정하며, 상기 이동 제어부는 제1 무게센서 및 제2 무게센서에 집중되는 하중에 따라 상기 휠부(340)의 바퀴의 회전을 제어하여 자세 밸런싱을 유지하는 것을 특징으로 한다. 제1 사다리부(331) 및 제2 사다리부(332)를 작동시켜 플레이트부(334)가 가장 높은 높이까지 올라가게 설정하면 대략 2m까지 올리는 것이 가능한데, 본 발명에서는 플레이트부(334)에 사람이 올라가서 2m까지 올려 고공 작업이 가능하다. 전동카트 모듈(300)은 휠부(340)를 구비하여 리프트 장치부(330)에 사람이 올라가는 경우 휠부(340)가 움직여 사람이 균형을 잃을 수 있는 위험이 있는데, 이를 방지하기 위해 본 발명에서는 자세 밸런싱이 가능하다. 제1 사다리부(331)에 집중되는 하중은 제1 무게센서에 의해 측정하는데, 이는 플레이트부(334)의 후면에 집중되는 하중과 동일하다. 또한, 제2 사다리부(332)에 집중되는 하중은 제2 무게센서에 의해 측정하는데, 이는 플레이트부(334)의 전면에 집중되는 하중과 동일하다. 제1 무게센서 및 제2 무게센서에 의해 측정된 하중값은 이동 제어부에 의해 처리된다. 제1 무게센서 및 제2 무게센서에 의해 측정되는 하중값이 동일한 경우 이동 제어부는 전면의 바퀴와 후면의 바퀴가 모두 이동되지 않도록 하여 자세 밸런싱을 유지할 수 있다. 제1 무게센서에서 측정된 하중값이 제2 무게센서에서 측정된 하중값보다 큰 경우는 플레이트부(334)의 후면에 더 많은 하중이 집중되는 상태이다. 이 경우 이동 제어부는 휠부(340)의 후면의 바퀴를 전진시켜 전동카트 모듈(300)이 후면으로 이동하지 않도록 하여 자세 밸런싱을 유지할 수 있다. 반면, 제2 무게센서에서 측정된 하중값이 제1 무게센서에서 측정된 하중값보다 큰 경우는 플레이트부(334)의 전면에 더 많은 하중이 집중되는 상태이다. 이 경우 이동 제어부는 휠부(340)의 전면의 바퀴를 후진시켜 전동카트 모듈(300)이 전면으로 이동하지 않도록 하여 자세 밸런싱을 유지할 수 있다. 사용자는 이동 제어부에 구비된 입력부를 통해 정지 모드, 이동 모드, 사다리 모드 등 다양한 모드 중에서 선택을 하여 필요한 작업을 실시할 수 있다.
상기 이동제어부는 상기 휠부(340)를 제어하는 수평이동 제어부, 상기 리프트 장치부의 높이를 제어하는 수직이동 제어부를 구비하며, 또한 상기 이동제어부는 작업자 선택부를 구비하며, 상기 작업자 선택부는 초보 모드와 전문가 모드를 구비하며, 상기 초보 모드에서는 상기 제1 사다리부(331)와 제2 사다리부(332)에 걸리는 하중의 비율이 특정값을 초과할 때, 상기 수평이동 제어부가 휠부(340)를 제어하면서 상기 수직이동 제어부가 상기 리프트 장치부의 높이를 낮추게 제어하며, 상기 전문가 모드에서는 제1 사다리부(331)와 제2 사다리부(332)에 걸리는 하중의 비율이 특정값을 초과할 때, 상기 수평이동 제어부만 동작하고 수직이동 제어부는 동작하지 않게 할 수 있다. 따라서, 숙련자는 전문가 모드를 선택할 상태에서 플레이트부에 걸리는 하중의 편차가 생겼을 때 휠부(340)만을 움직여서 자세를 위치를 바로 잡을 수 있으나, 비숙련자는 초보 모드를 선택한 상태에서 플레이트부에 걸리는 하중의 편차가 생겼을 때 휠부(340)를 움직여 자세 밸랭싱을 하면서 리프트 장치부의 높이는 낮추어지게 작동하게 되어 전동카트 모듈의 사용에 익숙하지 않은 비숙련자가 플레이트부의 하강에 따른 자세의 밸런싱은 쉽고, 바닥으로 떨어지더라도 높이를 낮추어 충격을 최소화할 수 있게 된다. 다만, 숙련자는 자세 밸렁싱에 충분히 익숙하므로 플레이트부의 하강 후 다시 상승을 할 필요없이 바로 작업하므로 시간을 절약하여 작업할 수 있다.
또한, 상기 리프트 장치부는 플레이트부의 상부에서 작업하는 작업자에게 자세 밸런싱에 대한 경고를 진동으로 알려주는 진동알림부를 구비한다. 상기 진동알림부는 상기 제1 사다리부(331)와 제2 사다리부(332)에 걸리는 하중의 비율이 특정값을 초과할 때, 일정 주기로 플레이트부의 상부에 진동을 가하여 작업자가 진동을 통하여 자세 밸런싱을 해야한다는 것을 인식할 수 있다. 상기 진동알림부는 진동세기 조절부 및 영역별 조절부를 구비한다. 상기 진동세기 조절부는 상기 제1 사다리부(331)와 제2 사다리부(332)에 걸리는 하중의 비율이 증가하는 것에 비례하여 진동의 세기도 증가하게 되어 작업자에게 위험도에 대한 인식을 알려줄 수 있으며, 상기 영역별 조절부는 상기 플레이트부 상의 영역을 상기 제1 사다리부(331)의 상부의 제1 플레이트 영역 및 상기 제2 사다리부(332)의 상부의 제2 플레이트 영역으로 구분하고, 상기 제1 플레이트 영역 및 제2 플레이트 영역에 가해지는 하중의 크기를 비교하여, 더 큰 하중이 가해지는 영역에만 진동을 발생시켜 작업자가 작업 중에 플레이트부의 어느 곳에 하중이 더 크게 작용하는지를 보다 쉽게 인지할 수 있다.
도 8은 본 발명의 전동카트 모듈(300)에서 외부인의 향하는 방향을 기준으로 경고 방송을 수행하는 개념도를 나타낸다. 상기 카메라부(230)는 전동카트 모듈(300)의 전면, 후면, 좌측면 및 우측면에 각각 카메라를 구비하고, 또한, 상기 카메라부(230)는 상기 카메라에 의하여 촬영된 영상에 대하여 외부인(500)에게 경고 방송을 전송하는 경보부를 구비한다. 또한, 상기 카메라부(230)는 외부인 검출부를 구비하며, 상기 외부인 검출부는 전면, 후면, 좌측면 및 우측면에 구비된 카메라에 의하여 인공지능 객체인식 기술에 의하여 촬영된 외부인에 대한 영상 데이터를 분석하여 전동카트 모듈(300)에 대하여 외부인이 향하는 방향에 대한 정보를 생성하고, 상기 경보부는 상기 전동카트 모듈(300)에 대하여 외부인이 향하는 방향에 대한 정보에 기초하여 경고 방송을 송출한다. 여기서, 상기 경고 방송은 외부인이 위치하는 방향에 따라 전동카트 모듈(300)에 대한 경고 방향을 전방 우측에 카트가 있음, 전방 좌측에 카트가 있음, 후방 우측에 카트가 있음, 및 후방 좌측에 카트가 있음의 어느 하나의 경고를 방송한다. 예를 들어, 전동카트 모듈(300)의 전방 좌측에 사람이 있는 경우, 외부인이 전동카트 모듈(300)의 전방과 같은 방향(I)을 바라보고 있을 때(①)에 "후방 우측에 카트가 있음"의 경고 방송을 하고, 외부인이 전동카트 모듈(300)의 우측 방향과 같은 방향(II)을 바라보고 있을 때(②)에 "전방 우측에 카트가 있음"의 경고 방송을 하고, 외부인이 전동카트 모듈(300)의 좌측 방향(III)과 같은 방향을 바라보고 있을 때(③)에 "후방 좌측에 카트가 있음"의 경고 방송을 하고,외부인이 전동카트 모듈(300)의 후방과 같은 방향(IV)을 바라보고 있을 때(④)에 "전방 좌측에 카트가 있음"의 경고 방송을 하여, 외부인의 방향에 따라 전동카트 모듈(300)의 위치를 인공지능이 분석하여 알려주게 되어 전동카트 모듈(300)을 기준으로 하는 것이 아니라 외부인의 향하는 방향을 기준으로 경고를 해주어 보다 효과적으로 전동카트 모듈(300)에 대한 위험을 인식하여 대피를 할 수 있게 된다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100 : 휴대 모듈
110 : GPS 장치부
120 : UWB 송출부
200 : 객체추적 모듈
210 : GPS 통신부
220 : UWB 수신부
220a : 제1 UWB 수신부
220b : 제2 UWB 수신부
220c : 제3 UWB 수신부
230 : 카메라부
240 : UWB 처리부
250 : 위치 제어부
251 : 위치 결정부
252 : 이동 신호 생성부
300 : 전동카트 모듈
310 : 본체부
320 : 핸들부
330 : 리프트 장치부
331 : 제1 사다리부
332 : 제2 사다리부
333 : 사다리 구동부
334 : 플레이트부
340 : 휠부

Claims (6)

  1. 사용자의 위치 추적을 위해 사용자가 휴대하는 휴대 모듈;
    상기 휴대 모듈에 의해 사용자의 위치가 추적되는 객체추적 모듈; 및
    상기 객체추적 모듈이 장착되며, 사용자를 따라 이동하는 전동카트 모듈;을 포함하며,
    상기 휴대 모듈은,
    사용자의 위치 결정을 위해 위성의 신호를 수신하고 사용자의 위치 데이터를 상기 객체추적 모듈로 송신하는 GPS 장치부 및
    객체추적을 위해 UWB 신호를 송출하는 UWB 송출부를 포함하며,
    상기 객체추적 모듈은,
    상기 GPS 장치부에서 전송하는 위치 데이터가 수신되는 GPS 통신부,
    상기 UWB 송출부에서 송출하는 UWB 신호가 수신되는 복수의 UWB 수신부,
    사용자의 위치를 추적하기 위해 사용자가 촬영되는 카메라부,
    상기 복수의 UWB 수신부에서 수신된 UWB 신호가 위치 데이터로 처리되는 UWB 처리부 및
    상기 GPS 통신부에서 수신된 위치 데이터, 상기 카메라부에서 감지된 위치 데이터 및 상기 UWB 처리부에서 처리된 위치 데이터에 의해 사용자의 위치를 계산하여 이동 신호를 생성하는 위치 제어부를 포함하며,
    상기 위치 제어부는,
    상기 GPS 통신부에서 수신된 위치 데이터 상기 카메라부에서 감지된 위치 데이터 및 상기 UWB 처리부에서 처리된 위치 데이터 중에 우선 순위 알고리즘에 따라 사용자의 위치를 결정하는 위치 결정부 및
    상기 위치 결정부에서 결정된 사용자의 위치로 상기 전동카트 모듈이 이동되도록 이동 신호를 생성하는 이동 신호 생성부를 포함하는 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 우선 순위 알고리즘은,
    사용자가 상기 카메라부에 촬영되는 위치에 있는 경우에는 상기 카메라부에서 감지된 위치 데이터에 의해 사용자의 위치를 결정하고,
    사용자가 카메라부에 의해 촬영되는 위치가 아닌 경우에는 상기 GPS 통신부에서 수신된 위치 데이터에 의해 사용자의 위치를 결정하고,
    사용자가 위성의 신호가 수신되지 않는 실내에 위치한 경우에는 상기 UWB 처리부에서 처리된 위치 데이터에 의해 사용자의 위치를 결정하는 것을 특징으로 하는 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템
  6. 청구항 5에 있어서,
    상기 전동카트 모듈은,
    상기 객체추적 모듈이 장착되며, 프레임이 구비되는 본체부,
    상기 본체부에 후면에 연결되어 사용자가 수동으로 상기 전동카트 모듈을 이동할 수 있도록 하는 핸들부,
    상기 본체부의 안쪽에 연결되며, 화물이 적재되고 높이 조절이 가능한 리프트 장치부,
    상기 본체부에 하부에 위치하며, 구동모터를 구비하여 이동되는 휠부,
    상기 위치 제어부에서 생성된 이동 신호에 따라 상기 휠부가 작동되게 제어하고, 상기 리프트 장치부의 높이를 제어하는 이동 제어부를 포함하며,
    상기 리프트 장치부는,
    상기 본체부의 안쪽 전면에 일측이 위치하는 제1 사다리부,
    상기 본체부의 안쪽 후면에 일측이 위치하며, 상기 제1 사다리부와 X자 형태로 대응되게 위치하는 제2 사다리부,
    상기 제2 사다리부의 일측과 연결되며, 상기 제2 사다리부를 이동시켜 플레이트부의 높이를 조절하는 사다리 구동부 및
    상기 제1 사다리부의 타측 및 제2 사다리부의 타측이 하부면에 연결되며, 화물이 적재되는 플레이트부를 포함하는 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템.
KR1020230124650A 2023-09-19 2023-09-19 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템 KR102638934B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230124650A KR102638934B1 (ko) 2023-09-19 2023-09-19 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230124650A KR102638934B1 (ko) 2023-09-19 2023-09-19 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템

Publications (1)

Publication Number Publication Date
KR102638934B1 true KR102638934B1 (ko) 2024-02-20

Family

ID=90056532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230124650A KR102638934B1 (ko) 2023-09-19 2023-09-19 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템

Country Status (1)

Country Link
KR (1) KR102638934B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060106003A (ko) * 2005-04-04 2006-10-12 주식회사 팬택 측량기능을 갖는 이동통신단말기 및 그 제어방법
KR101902715B1 (ko) 2017-12-26 2018-09-28 주식회사 지오플랜코리아 Uwb 신호를 이용하는 태그 위치 식별 방법 및 그 태그 위치 식별 장치
KR20220036209A (ko) 2020-09-15 2022-03-22 삼성전자주식회사 UWB(Ultra Wide Band)에 기초하여 타겟 위치에 관한 서비스를 제공하기 위한 장치 및 방법
KR102477855B1 (ko) * 2015-10-16 2022-12-15 레밍스 엘엘씨 로봇 골프 캐디
KR102520764B1 (ko) 2022-09-05 2023-04-11 한양대학교 산학협력단 Uwb 측위 시스템에서의 시각 동기화 방법 및 위치 추정 방법
KR20230110941A (ko) 2022-01-17 2023-07-25 삼성전자주식회사 전자 장치 및 전자 장치에서 uwb 신호를 이용하여 위치를 판단하는 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060106003A (ko) * 2005-04-04 2006-10-12 주식회사 팬택 측량기능을 갖는 이동통신단말기 및 그 제어방법
KR102477855B1 (ko) * 2015-10-16 2022-12-15 레밍스 엘엘씨 로봇 골프 캐디
KR101902715B1 (ko) 2017-12-26 2018-09-28 주식회사 지오플랜코리아 Uwb 신호를 이용하는 태그 위치 식별 방법 및 그 태그 위치 식별 장치
KR20220036209A (ko) 2020-09-15 2022-03-22 삼성전자주식회사 UWB(Ultra Wide Band)에 기초하여 타겟 위치에 관한 서비스를 제공하기 위한 장치 및 방법
KR20230110941A (ko) 2022-01-17 2023-07-25 삼성전자주식회사 전자 장치 및 전자 장치에서 uwb 신호를 이용하여 위치를 판단하는 방법
KR102520764B1 (ko) 2022-09-05 2023-04-11 한양대학교 산학협력단 Uwb 측위 시스템에서의 시각 동기화 방법 및 위치 추정 방법

Similar Documents

Publication Publication Date Title
US11561275B2 (en) Moving robot, method for controlling the same, and terminal
US11266067B2 (en) Moving robot, method for controlling moving robot, and moving robot system
KR102060715B1 (ko) 이동 로봇 및 그 제어방법
US11960278B2 (en) Moving robot and controlling method thereof
EP3603371B1 (en) Lawn mower robot, system of lawn mower robot and control method of lawn mower robot system
US11910742B2 (en) Moving robot, system of moving robot and method for moving to charging station of moving robot
EP3919238B1 (en) Mobile robot and control method therefor
US20210302967A1 (en) Station apparatus and moving robot system
EP3919237A2 (en) Mobile robot and control method therefor
KR102638934B1 (ko) 멀티 센서를 융합한 포지셔닝 기반 객체 인식 트래킹 시스템
EP4063079A1 (en) Mobile robot system and boundary information generation method for mobile robot system
EP4074469A1 (en) Mobile robot system, and method for generating boundary information of mobile robot system
US11914392B2 (en) Moving robot system and method for generating boundary information of the same
US11721224B2 (en) Drone apparatus and method for deploying drone working zone

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant