KR20230031038A - 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치 - Google Patents

3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치 Download PDF

Info

Publication number
KR20230031038A
KR20230031038A KR1020210113407A KR20210113407A KR20230031038A KR 20230031038 A KR20230031038 A KR 20230031038A KR 1020210113407 A KR1020210113407 A KR 1020210113407A KR 20210113407 A KR20210113407 A KR 20210113407A KR 20230031038 A KR20230031038 A KR 20230031038A
Authority
KR
South Korea
Prior art keywords
region
static
interest
point cloud
point
Prior art date
Application number
KR1020210113407A
Other languages
English (en)
Inventor
박재일
Original Assignee
(주)서울로보틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)서울로보틱스 filed Critical (주)서울로보틱스
Priority to KR1020210113407A priority Critical patent/KR20230031038A/ko
Priority to PCT/KR2022/012342 priority patent/WO2023027422A1/ko
Publication of KR20230031038A publication Critical patent/KR20230031038A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

라이다 센서를 이용하여 3차원 공간에 대한 시간별 점군을 획득하는 센서부, 메모리, 및 메모리에 저장된 하나 이상의 명령어들을 실행함으로써, 3차원 공간의 관심 영역을 설정하고, 설정된 관심 영역에 대한 시간별 점군에 기초하여, 관심 영역의 정적 객체 영역을 결정하고, 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 소정의 시간 차를 갖는 정적 점군에 기초하여, 관심 영역의 높이 변화에 따른 비상상황을 감지하는 프로세서를 포함하는 센싱 장치가 개시된다.

Description

3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치{METHOD AND SENSING DEVICE FOR MONITORING REGION OF INTEREST IN THREE-DIMENSIONAL SPACE}
3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치에 관한 것이다.
라이다(Light Detection And Ranging, LiDAR) 기술과 같은 센싱 기술의 발전에 따라, 최근 다양한 산업 기술 분야에서 센싱 기술이 접목된 첨단 제어 기능들이 활용되고 있다.
라이다는 3차원 공간의 객체에 광을 방출한 후 반사된 광을 수신하여, 이로부터 3차원 공간에 대한 정보를 획득하는 기술이다. 라이다는 카메라 이미지 센서처럼 컬러를 인지할 수 없으나, 멀리 있는 물체까지 감지할 수 있고, 뛰어난 공간 분해능을 가지고 있다.
산사태, 낙석과 같은 비상상황을 감지하기 위해 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치에 관한 것이다.
제1 측면에 따른 3차원 공간의 관심 영역을 모니터링하는 방법은, 라이다 센서를 이용하여 3차원 공간에 대한 시간별 점군을 획득하는 단계, 상기 3차원 공간의 관심 영역을 설정하는 단계, 상기 설정된 관심 영역에 대한 시간별 점군에 기초하여, 상기 관심 영역의 정적 객체 영역을 결정하는 단계, 및 상기 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 소정의 시간 차를 갖는 정적 점군에 기초하여, 상기 관심 영역의 높이 변화에 따른 비상상황을 감지하는 단계를 포함한다.
제2 측면에 따른 컴퓨터 판독 가능 저장매체는, 라이다 센서를 이용하여 3차원 공간에 대한 시간별 점군을 획득하는 명령어들, 상기 3차원 공간의 관심 영역을 설정하는 명령어들, 상기 설정된 관심 영역에 대한 시간별 점군에 기초하여, 상기 관심 영역의 정적 객체 영역을 결정하는 명령어들, 및 상기 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 소정의 시간 차를 갖는 정적 점군에 기초하여, 상기 관심 영역의 높이 변화에 따른 비상상황을 감지하는 명령어들을 포함하는, 컴퓨터에서 실행시키기 위한 프로그램을 저장한다.
제3 측면에 따른 3차원 공간의 관심 영역을 모니터링하는 센싱 장치는, 라이다 센서를 이용하여 3차원 공간에 대한 시간별 점군을 획득하는 센서부, 하나 이상의 명령어들을 저장하는 메모리, 및 상기 하나 이상의 명령어들을 실행함으로써, 상기 3차원 공간의 관심 영역을 설정하고, 상기 설정된 관심 영역에 대한 시간별 점군에 기초하여, 상기 관심 영역의 정적 객체 영역을 결정하고, 상기 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 소정의 시간 차를 갖는 정적 점군에 기초하여, 상기 관심 영역의 높이 변화에 따른 비상상황을 감지하는 프로세서를 포함를 포함한다.
도 1은 센싱 장치가 설치된 환경을 설명하기 위한 도면이다.
도 2는 센싱 장치의 감지 영역과 관심 영역을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 센싱 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 4는 센싱 장치가 생성한 공간 정보 맵에서 동적 점군, 정적 점군, 및 정적 객체 영역을 설명하기 위한 도면이다.
도 5는 복셀 맵과 복셀 맵의 단위 영역에 대응되는 복셀을 설명하기 위한 도면이다.
도 6은 정적 복셀과 동적 복셀을 구분하는 프로세스를 설명하기 위한 도면이다.
도 7은 관심 영역의 높이 변화에 따른 비상상황을 감지하는 프로세스를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 서버의 구성 및 동작을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 3차원 공간의 관심 영역을 모니터링하는 방법을 설명하기 위한 흐름도이다.
도 10은 관심 영역의 높이 변화에 따른 비상상황을 감지하는 프로세스를 설명하기 위한 상세 흐름도이다.
이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.
한편, 본 명세서에서 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 다른 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들 더 포함할 수도 있다는 것을 의미한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 실시예들은 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 센싱 장치(100)가 설치된 환경을 설명하기 위한 도면이다.
센싱 장치(100)는 3차원 공간에 대한 공간 정보로서 점군(point cloud data)을 획득할 수 있는 장치로서, 적어도 하나의 센서를 포함할 수 있다. 센싱 장치(100)는 3차원 공간에 광을 방출하고, 이에 대한 응답으로 수신된 광에 기초하여 3차원 공간에 대한 점군을 획득할 수 있다.
센싱 장치(100)는 실내 또는 실외에서, 관심 영역에 해당하는 공간 또는 가능한 넓은 공간을 감지할 수 있는 곳에 설치될 수 있다. 넓은 지역을 모니터링하기 위해서는 센싱 장치(100)의 센서가 감지할 수 있는 범위에 따른 감지 영역을 고려하여 복수 개의 센싱 장치(100)들이 설치될 수 있다. 예를 들어, 도 1에서와 같이, 산사태나 낙석과 같은 비상상황이 발생할 여지가 있는 곳에 철로 또는 도로가 연결되어 있는 경우, 비상상황에 따른 철로 또는 도로의 상태를 모니터링하기 위해, 복수 개의 센싱 장치(100)들이 일정 간격을 두고 설치될 수 있다.
센싱 장치(100)는 3차원 공간을 감지하는 3D 센서로써 라이다(Light Detection and Ranging) 센서를 구비할 수 있으며, 체적형 점군(volumetric point cloud data)을 획득할 수 있다. 센싱 장치(100)는 필요에 따라, 레이더(radar) 센서, 적외선 영상 센서, 카메라 등과 같은 다양한 종류의 센서를 더 포함할 수도 있다. 센싱 장치(100)는 각 종류의 센서가 가지고 있는 감지 범위나 획득할 수 있는 데이터의 종류 등을 고려하여, 동종의 센서를 복수 개 이용하거나, 이종의 센서들을 조합하여 이용할 수도 있다.
라이다 센서는 3차원 공간의 객체들의 컬러를 감지할 수 없으나, 형태, 크기, 위치를 감지할 수 있다. 3차원 공간에 대한 정보를 수집할 수 있는 다채널 라이다 센서는 객체의 컬러나 텍스쳐를 감지할 수 없지만, 객체의 대략적인 형태와 크기, 체적을 활용할 수 있는 분야에 적합하다.
도 1에 도시한 바와 같이, 센싱 장치(100) 각각은 소정의 감지 영역을 가지고 있으며, 고정된 구조물과 같은 인프라에 설치될 수 있다. 이하, 산사태나 낙석, 싱크홀과 같은 비상상황이 발생할 우려가 있는 곳의 철로 또는 도로의 상태를 모니터링하기 위해, 라이다 센서를 이용하여 획득되는 점군의 변화에 기초하여, 3차원 공간의 관심 영역을 모니터링하는 방법 및 이를 수행하는 센싱 장치(100)에 대해 설명한다.
도 2는 센싱 장치(100)의 감지 영역과 관심 영역을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 산사태, 낙석 위험이 있는 곳에 설치되어 있는 센싱 장치(100)는 감지 영역 내의 객체를 검출할 수 있다. 센싱 장치(100)는 센서의 종류에 따라 소정의 시야각과 감지 한계 거리를 가질 수 있으며, 이에 따라 센싱 장치(100)가 3차원 공간 내의 객체를 검출하고 추적할 수 있는 감지 영역이 정해질 수 있다.
센싱 장치(100)는 감지 영역 내에서 철로 또는 도로에 해당하는 관심 영역의 상태를 모니터링할 수 있다. 관심 영역은 감지 영역 내의 소정의 범위를 가지는 영역으로 센싱 장치(100)에 설정될 수 있으며, 그 범위는 센싱 장치(100)가 설치된 위치에 따라, 감지 영역의 일부분 내지 전체로 조정될 수 있다.
센싱 장치(100)는 산사태나 낙석에 의해 철로 또는 도로가 손상되거나 노면을 토사가 덮쳐 기차나 자동차의 운행이 어려운 비상상황인지 파악하여, 상황 관리실과 같은 통제 센터의 서버나 해당 지역 관리자의 단말로 비상상황 발생 사실을 통지할 수 있다.
도 3은 일 실시예에 따른 센싱 장치(100)의 구성 및 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 센싱 장치(100)는 메모리(110), 프로세서(120), 센서부(130), 통신 인터페이스(140)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(110)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 메모리(110)는 프로세서(120)에 의해 실행 가능한 명령어들을 저장할 수 있다.
프로세서(120)는 메모리(110)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(110)에 저장할 수 있다. 프로세서(120)는 메모리(110)에 저장된 명령어들을 실행할 수 있다. 프로세서(120)는 센싱 장치(100)에 설치된 컴퓨터 프로그램을 실행할 수 있다. 또한, 프로세서(120)는 외부로부터 수신한 컴퓨터 프로그램 또는 애플리케이션을 메모리(110)에 저장하고 실행시킬 수 있다. 프로세서(120)는 적어도 하나의 프로세싱 모듈을 실행하여, 소정의 동작을 수행할 수 있다. 예를 들어, 프로세서(120)는 3차원 공간의 관심 영역을 모니터링하는 프로그램을 실행하는 프로세싱 모듈을 실행 또는 제어할 수 있다. 프로세서(120)는 명령어 또는 컴퓨터 프로그램 등의 실행 결과에 대응되는 동작을 수행하도록 센싱 장치(100)에 포함된 다른 구성들을 제어할 수 있다.
센서부(130)는 3차원 공간을 감지하기 위한 적어도 하나의 센서를 포함할 수 있다. 센서부(130)는 3차원 공간에 광을 방출하는 발광부와 광을 수신하는 수광부를 포함할 수 있으며, 수광부에 수신된 광의 세기에 기초하여 3차원 공간에 대한 점군을 획득하는 전용 프로세서를 더 포함할 수도 있다. 센서부(130)는 감지 영역 내의 3차원 공간에 위치한 객체를 추적하기 위해, 3차원 공간에 대한 시간별 점군을 획득할 수 있다.
센서부(130)는 라이다(Light Detection and Ranging) 센서일 수 있으며, 적어도 하나의 3차원 라이다 센서를 포함하여 소정의 범위의 공간에 대한 데이터를 획득할 수 있다. 센서부(130)는 환경에 따라, 레이더(radar) 센서, 적외선 영상 센서, 초음파 센서, 이미지 센서 등과 같은 다양한 종류의 센서를 더 포함할 수도 있다. 예를 들어, 센서부(130)는 라이다 센서를 이용하여 3차원 공간의 관심 영역을 모니터링하다가, 관심 영역에서 비상상황이 발생하는 경우, 카메라와 같은 이미지 센서를 실행하여, 비상상황이 발생한 관심 영역에 대한 추가 정보를 획득할 수 있다.
통신 인터페이스(140)는 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스(140)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, RFID(Radio Frequency Identification), NFC(Near Field Communication), 블루투스(Bluetooth)와 같은 근거리 통신, 다양한 종류의 무선 통신 또는 동축 케이블이나 광케이블 등을 이용하는 유선 통신을 수행하는 통신 모듈이 포함될 수 있다. 통신 인터페이스(140)는 센싱 장치(100)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 센싱 장치(100)는 통신 인터페이스(140)를 통해 관리자의 단말 장치나 상황 관리실과 같은 통제 센터의 서버와 통신을 수행하여, 비상상황 발생 사실을 통지할 수 있다. 또한, 센싱 장치(100)는 통신 인터페이스(140)를 통해 3차원 공간에 대한 시간별 점군을 이용하여 기기의 제어에 활용하거나 소정의 서비스를 제공하는 외부 서버와 연결될 수 있다.
센싱 장치(100)는 상기한 구성 외에, GPS와 같은 위치 센서를 더 포함할 수 있고, 센싱 장치(100)의 설치 환경에 따라 센싱 성능을 향상시키기 위한 구성들이 더 포함될 수 있다.
상기한 구성에 따른 일 예의 프로세서(120)는 메모리(110)에 저장된 하나 이상의 명령어들을 실행함으로써, 라이다 센서를 이용하여 3차원 공간에 대한 점군을 획득하고, 획득된 3차원 공간에 대한 점군에 기초하여, 3차원 공간에 있는 객체를 식별할 수 있다. 센싱 장치(100)가 객체 분류 모델을 이용한 객체 분류 기능을 지원하는 경우, 프로세서(120)는 3차원 공간에 대한 점군을 객체 분류 모델에 적용하거나, 3차원 공간에 대한 점군을 클러스터링함으로써 지면이나 건물과 같은 정적 객체나 동물과 같은 동적 객체를 식별할 수도 있다.
센싱 장치(100)가 3차원 공간을 모니터링하기 위해, 3차원 공간을 연속적으로 감지하는 경우, 프로세서(120)는 라이다 센서를 이용하여 3차원 공간에 대한 시간별 점군을 획득할 수 있다. 프로세서(120)는 획득된 3차원 공간에 대한 시간별 점군에 기초하여, 이하에서 설명하는 방식으로, 3차원 공간의 관심 영역을 모니터링할 수 있다.
프로세서(120)는 메모리(110)에 저장된 하나 이상의 명령어들을 실행함으로써, 3차원 공간의 관심 영역을 설정하고, 설정된 관심 영역에 대한 시간별 점군에 기초하여, 관심 영역의 정적 객체 영역을 결정할 수 있다. 프로세서(120)는 획득된 3차원 공간에 대한 점군에 기초하여, 3차원 공간에 있는 객체를 검출하여, 3차원 공간에 대한 공간 정보 맵을 생성할 수 있다. 이때, 프로세서(120)는 3차원 공간에 있는 객체를 정적 객체와 동적 객체로 구분할 수 있다. 3차원 공간에 대한 시간별 점군에 기초하여 생성되는 공간 정보 맵에서, 동적 객체는 검출되었다가 사라지기도 하고, 공간 정보 맵 내에서 위치를 이동하는 반면, 정적 객체는 공간 정보 맵의 같은 위치에서 연속적으로 검출될 수 있다.
프로세서(120)는 센싱 장치(100)의 감지 영역 내에 설정된 관심 영역에 대한 시간별 점군에 기초하여, 관심 영역의 객체를 정적 객체와 동적 객체로 구분할 수 있으며, 이에 따라 정적 객체 영역을 결정할 수 있다.
이하, 도 4 내지 도 6을 참조하여, 공간 정보 맵에서 동적 객체에 대응되는 동적 점군과 정적 객체에 대응되는 정적 점군을 구분하는 방식과 공간 정보 맵에서 정적 객체 영역을 결정하는 방식에 대해 설명한다.
도 4는 센싱 장치(100)가 생성한 공간 정보 맵에서 동적 점군, 정적 점군, 및 정적 객체 영역을 설명하기 위한 도면이다.
도 4를 참조하면, 센싱 장치(100)가 라이다 센서를 이용하여 관심 영역에 대한 시간별 점군을 획득하는 모습과 이에 따라 획득된 3차원 공간에 대한 시간별 점군에 기초하여 생성되는 공간 정보 맵을 표시하고 있다. 도 4의 공간 정보 맵은 철로를 관찰할 수 있는 위치에 설치된 센싱 장치(100)가 라이다 센서를 이용하여 획득한 것으로, 관심 영역인 철로를 모니터링하는데 이용될 수 있다.
도 4의 공간 정보 맵을 보면, 노면 및 철로에 대응되는 점군 뿐만 아니라 철로 위를 이동하고 있는 야생 동물에 대응되는 점군을 확인할 수 있다. 야생 동물은 움직이므로 동적 객체에 해당하며, 이와 같은 동적 객체에 대응되는 동적 점군은 공간 정보 맵에서 그 위치가 변경되어, 동일한 영역에서 일정 기간 이상으로 연속적으로 검출되지 않는다. 반면, 철로나 노면 등은 움직이지 않으므로 정적 객체에 해당하며, 이와 같은 정적 객체에 대응되는 정적 점군은 공간 정보 맵의 동일한 영역에서 일정 기간 이상으로 연속적으로 검출될 수 있다.
특정 좌표에 해당하는 특정 영역에서 점군이 일정 기간 이상으로 연속적으로 검출되는 경우, 해당 점군은 정적 객체에 대응되는 정적 점군으로 분류될 수 있다. 반면, 특정 영역에서 점군이 일정 기간 미만으로 검출되거나 점군이 생성되었다가 사라지는 경우, 해당 점군은 동적 객체에 대응되는 동적 점군으로 분류될 수 있다.
따라서, 프로세서(120)는 공간 정보 맵의 동일한 영역에 대한 점군이 연속적으로 검출되는 기간에 기초하여, 해당 점군을 동적 객체에 대응되는 동적 점군과 정적 객체에 대응되는 정적 점군으로 구분할 수 있다. 프로세서(120)는 3차원 공간의 관심 영역에 대응되는 전체 점군에서 동적 객체에 대응되는 동적 점군을 제거하거나, 관심 영역에 대응되는 전체 점군에서 정적 객체에 대응되는 정적 점군만을 추출함으로써, 이 중 적어도 일부 또는 그 전체를 정적 객체 영역으로 결정할 수 있다. 즉, 프로세서(120)는 공간 정보 맵의 프레임들에서 동일한 영역에 대한 점군의 연속성에 기초하여, 정적 객체 영역을 결정할 수 있다.
프로세서(120)는 설정된 관심 영역에 대한 시간별 점군으로부터 생성되는 공간 정보 맵의 프레임들 간에 서로 대응되는 위치의 단위 영역 내의 점군이 연속적으로 검출되는 기간에 기초하여, 상기 정적 객체 영역을 결정할 수 있다. 프로세서(120)는 공간 정보 맵의 특정 시점의 기준 프레임에서 정적 점군으로 이루어진 정적 객체 영역을 결정할 수 있다. 예를 들어, 프로세서(120)는 센싱 장치(100)가 설치되고, 동적 점군과 정적 점군을 구분하는데 요구되는 소정의 기간이 지난 후의 어느 시점에 대응되는 공간 정보 맵의 프레임에서 정적 점군으로 이루어진 정적 객체 영역을 결정할 수 있다.
프로세서(120)는 공간 정보 맵의 프레임들 간에 서로 대응되는 위치의 단위 영역 내의 점군이 최소 검출 임계값 이상의 점 개수로 연속적으로 검출되는 기간에 기초하여, 정적 객체 영역을 결정할 수 있다. 동일한 영역에 대해 점군이 연속적으로 검출되더라도, 해당 점군에 노이즈가 포함되어 있을 수 있으므로, 연속적으로 검출되는 점군의 점의 개수가 최소 검출 임계값 이상의 점 개수를 유지하는 경우만 포함시켜, 노이즈에 의해 정적 점군으로 분류되는 경우를 필터링하기 위함이다.
최소 검출 임계값은 센싱 장치(100)가 설치된 환경이나 기상 조건에 따라, 적정한 값으로 설정될 수 있다. 이때, 최소 검출 임계값은 사용자로부터 직접 입력받을 수도 있고, 센싱 장치(100)가 외부 환경이나 기상 조건에 대한 정보를 수신하여, 수신된 정보에 따라 적정한 값으로 자동으로 설정될 수도 있다.
한편, 프로세서(120)는 설정된 관심 영역에 대한 시간별 점군 중에서 지정된 영역의 점군에 기초하여, 상기 관심 영역의 정적 객체 영역을 결정할 수도 있다. 센싱 장치(100)는 설정된 관심 영역에 대한 시간별 점군 전체를 사용하는 대신, 동적 점군이 거의 발생되지 않는 레퍼런스 영역이 지정되면, 지정된 영역의 점군에 기초하여 관심 영역의 정적 개체 영역을 결정할 수 있다. 레퍼런스 영역은 사용자가 지정하거나, 센싱 장치(100)가 학습된 모델(trained model)을 이용하여 적당한 높이와 사이즈에 해당하는 정적 객체에 대응되는 정적 점군의 영역이라고 판단된 영역으로 자동 지정될 수 있다.
한편, 프로세서(120)는 관심 영역에 대한 시간별 점군으로부터 복셀 맵(voxel map), 뎁스 맵(depth map) 등과 같이, 공간 정보를 나타내는 정규화된 맵을 생성할 수 있다. 예를 들어, 공간 정보 맵이 복셀 맵인 경우, 프로세서(120)는 복셀 맵의 각 프레임에서, 정적 복셀과 동적 복셀을 구분하고, 복셀 맵의 특정 시점의 기준 프레임에서 정적 복셀로 이루어진 정적 객체 영역을 결정할 수 있다.
도 5는 복셀 맵과 복셀 맵의 단위 영역에 대응되는 복셀을 설명하기 위한 도면이다.
도 5를 참조하면, 센싱 장치(100)가 모니터링하는 3차원 공간에 대응되는 복셀 맵을 나타내고 있다. 복셀 맵은 복셀 어레이들로 구성되고, 복셀 어레이는 복셀들로 구성될 수 있다. 복셀은 복셀 맵의 단위 영역에 해당하며, 각 복셀에는 3차원 공간에 대응되는 점군이 포함될 수 있다. 이때, 복셀 내에 존재하는 점군이 동적 점군이면 해당 복셀을 동적 복셀이라 하고, 복셀 내에 존재하는 점군이 정적 점군이면 정적 복셀이라 할 수 있다.
도 6은 정적 복셀과 동적 복셀을 구분하는 프로세스를 설명하기 위한 도면이다.
프로세서(120)는 복셀 맵의 각 프레임에서, 복셀 내의 점군이 연속적으로 검출되는 기간이 임계값 이상인 정적 복셀과 복셀 내의 점군이 연속적으로 검출되는 기간이 임계값 미만인 동적 복셀을 구분할 수 있다. 복셀 맵의 특정 복셀에서, 복셀 내의 점군이 일정 기간 이상으로 연속적으로 검출되는 경우, 해당 점군은 정적 객체에 대응되는 정적 점군이므로, 해당 복셀은 정적 복셀로 분류될 수 있다. 반대로, 복셀 맵의 특정 복셀에서, 복셀 내의 점군이 일정 기간 미만으로 검출되거나 점군이 생성되었다가 사라지는 경우, 해당 점군은 동적 객체에 대응되는 동적 점군이므로, 해당 복셀은 동적 복셀로 분류될 수 있다.
도 6을 참조하면, 복셀 맵을 구성하는 두 개의 복셀(Voxel 1, Voxel 2)에 대해 T-10 시점부터 T 시점까지 복셀 내에 존재하는 점군을 확인할 수 있다. 제1 복셀(Voxel 1)은 T-10 시점부터 T-1 시점 이전까지 복셀 내에 점군이 연속적으로 검출되는 것을 알 수 있다. 반면, 제2 복셀(Voxel 2)은 T-9 시점에 점군이 존재하였다가 T-8 시점부터 T-2 시점까지는 점군이 존재하지 않고, 다시 T-1 시점에 점군이 존재함을 확인할 수 있다. 제1 복셀(Voxel 1)은 적어도 두 개의 점으로 이루어진 점군이 T-10 시점부터 T-1 시점 이전까지 연속적으로 검출되므로 정적 복셀이라 할 수 있고, 제2 복셀(Voxel 2)은 T-9 시점과 T-1 시점에서만 일시적으로 검출되므로 동적 복셀이라 할 수 있다.
프로세서(120)는 복셀 맵의 동일한 복셀에 대한 점군이 연속적으로 검출되는 기간에 기초하여, 해당 점군이 존재하는 복셀을 동적 복셀과 정적 복셀로 구분할 수 있다. 프로세서(120)는 복셀 맵의 전체 복셀에서 동적 복셀을 제거하거나, 복셀 맵의 전체 복셀에서 정적 복셀만을 추출함으로써, 이 중 적어도 일부 또는 그 전체를 정적 객체 영역으로 결정할 수 있다. 즉, 프로세서(120)는 복셀 맵의 프레임들에서 동일한 위치의 복셀에 대한 점군의 연속성에 기초하여, 정적 객체 영역을 결정할 수 있다.
프로세서(120)는 설정된 관심 영역에 대한 시간별 점군으로부터 생성되는 복셀 맵의 프레임들 간에 서로 대응되는 위치의 복셀 내의 점군이 연속적으로 검출되는 기간에 기초하여, 정적 객체 영역을 결정할 수 있다. 프로세서(120)는 복셀 맵의 특정 시점의 기준 프레임에서 정적 복셀로 이루어진 정적 객체 영역을 결정할 수 있다.
도 7은 관심 영역의 높이 변화에 따른 비상상황을 감지하는 프로세스를 설명하기 위한 도면이다.
프로세서(120)는 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 소정의 시간 차를 갖는 정적 점군에 기초하여, 관심 영역의 높이 변화에 따른 비상상황을 감지할 수 있다. 정적 객체 영역은 센싱 장치(100)의 관심 영역에 비상상황이 발생하기 전 임의의 시점에 대응되는 공간 정보 맵의 기준 프레임으로부터 결정될 수 있다. 예를 들어, 센싱 장치(100)의 관심 영역에 대해 관리자가 비상상황이 발생하지 않았음을 확인한 과거의 어느 시점에서의 공간 정보 맵의 프레임으로부터 결정될 수 있다.
프로세서(120)는 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 제1 시점의 제1 정적 점군과 제1 시점과 소정의 시간 차를 갖는 제2 시점의 제2 정적 점군을 추출할 수 있다. 프로세서(120)는 제1 정적 점군과 제2 정적 점군의 차이에 기초하여, 관심 영역의 높이 변화에 따른 비상 상황을 판단할 수 있다.
도 7을 참조하면, 센싱 장치(100)가 제1 시점과 제2 시점 각각에서, 관심 영역의 정적 객체 영역에 대응되는 높이 값들의 집합을 나타내고 있다. 프로세서(120)는 제1 시점의 정적 객체 영역에 대응되는 제1 정적 점군의 높이 값들의 집합과 제2 시점의 정적 객체 영역에 대응되는 제2 정적 점군의 높이 값들을 비교할 수 있다.
예를 들어, 프로세서(120)는 제1 정적 점군의 정적 객체 영역의 평면 좌표 전체에 대응되는 높이 값들의 집합과 제2 정적 점군의 정적 객체 영역의 평면 좌표 전체에 대응되는 높이 값들의 집합을 비교하여, 관심 영역의 높이 변화에 따른 비상 상황을 판단할 수 있다. 관심 영역의 정적 객체 영역에 대응되는 제2 정적 점군의 높이 값들의 집합에서 제1 정적 점군의 높이 값들의 집합을 각각 대응시켜 차이를 구한 결과, 높이 변화량이 임계값 이상인 영역이 존재하는지에 따라, 비상 상황을 판단할 수 있다.
프로세서(120)는 관심 영역의 높이 변화량이 임계값 이상인 영역의 면적에 기초하여, 비상상황의 종류 정보를 결정할 수 있다. 프로세서(120)는 복수의 기준 값들을 이용하여, 관심 영역의 높이 변화량이 임계값 이상인 영역의 면적이 관심 영역에서 국소 영역인지, 일부 영역인지, 아니면 대부분 영역인지 분류할 수 있다. 예를 들어, 국소 영역의 변화는 선로 위에 미확인 물체가 감지되는 경우라 볼 수 있고, 일부 영역의 변화는 일부 구간에 낙석이 있는 경우라 볼 수 있으며, 대부분 영역의 변화는 산사태가 발생하여 토사가 선로 위를 덮친 경우라 볼 수 있다.
프로세서(120)는 하나 이상의 명령어들을 실행함으로써, 통신 인터페이스(140)를 통해, 비상상황의 종류 정보를 외부 장치로 전송할 수 있다. 외부 장치는 상황 관리실과 같은 통제 센터의 서버나 해당 지역 관리자의 단말이 될 수 있다. 프로세서(120)는 센싱 장치(100)의 위치 센서로부터 확인된 현장 위치와 현장 상황을 촬영한 카메라 영상을 외부 장치로 전송할 수 있다.
도 8은 일 실시예에 따른 서버(200)의 구성 및 동작을 설명하기 위한 도면이다. 서버(200)는 컴퓨팅 디바이스, 오퍼레이터, 콘솔 장치 등으로 대체될 수 있다.
앞서 설명한 바와 같이, 센싱 장치(100)는 3차원 공간에 대한 공간 정보로서 시간별 점군을 획득하여, 3차원 공간상의 정적 객체나 동적 객체를 검출하고, 검출된 객체를 추적하는 프로세서를 탑재할 수 있으나, 이에 한정되는 것은 아니다. 센싱 장치(100)에서 획득된 3차원 공간에 대한 시간별 점군을 서버(200)가 수신하여, 서버(200)가 3차원 공간상의 정적 객체나 동적 객체를 검출하고, 검출된 객체를 추적하는 일련의 프로세싱을 처리할 수 있다. 서버(200)는 클라우드 컴퓨팅과 같은 기술로 구현될 수 있다. 서버(200)는 센싱 장치(100)와 고속의 데이터 통신을 수행할 수 있다.
도 8을 참조하면, 서버(200)는 메모리(210), 프로세서(220), 통신 인터페이스(230)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 8에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다. 앞서, 센싱 장치(100)에 대하여 설명한 내용은 이하 생략된 내용이라 하더라도, 서버(200)의 동일한 명칭의 구성에 대해서 그대로 적용될 수 있다.
도 8의 블록도의 각 구성요소는 서버(200)의 구현 방식에 따라 분리, 추가, 또는 생략될 수 있다. 즉, 구현 방식에 따라 하나의 구성요소가 2 이상의 구성요소로 세분화되거나, 2 이상의 구성요소가 하나의 구성요소로 합쳐질 수도 있고, 일부 구성요소가 더 추가되거나 제거될 수 있다.
메모리(210)는 프로세서(220)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(210)는 소프트웨어 또는 프로그램을 저장할 수 있다.
프로세서(220)는 메모리(210)에 저장된 명령어들을 실행할 수 있다. 프로세서(220)는 서버(200)의 전반적인 제어를 수행할 수 있다. 프로세서(220)는 통신 인터페이스(230)를 통해 수신되는 정보 및 요청 사항을 획득하고, 수신되는 정보를 스토리지(미도시)에 저장할 수 있다. 또한, 프로세서(220)는 수신되는 정보를 가공할 수 있다. 예를 들어, 프로세서(220)는 센싱 장치(100)로부터 수신되는 정보로부터 기기의 제어에 활용하거나 소정의 서비스를 제공하는데 이용되는 정보를 획득하거나, 수신되는 정보들을 관리하기 위한 가공행위를 수행하여, 스토리지(미도시)에 저장할 수 있다. 또한, 프로세서(220)는 관리자의 단말로부터 획득된 요청 사항에 대한 응답으로써, 스토리지(미도시)에 저장된 데이터 또는 정보를 이용하여, 통신 인터페이스(230)를 통해 관리자의 단말에 요청 사항에 대응되는 정보를 전송할 수 있다. 예를 들어, 프로세서(220)는 비상상황 발생 현황이나 통계 자료 등을 스토리지에 저장할 수 있고, 비상상황과 관련된 리포트를 생성하여, 통신 인터페이스(230)를 통해 관리자의 단말과 같은 외부 장치로 전송할 수 있다.
통신 인터페이스(230)는 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 통신 인터페이스(230)는 서버(200)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 서버(200)는 통신 인터페이스(230)를 통해 센싱 장치(100)와 통신을 수행하거나, 네트워크로 연결된 다른 서버와도 연결될 수 있다.
스토리지(미도시)는 서버(200)가 기기의 제어에 활용하거나 소정의 서비스를 제공하기 위해 필요한 각종 소프트웨어 및 정보들을 저장할 수 있다. 예를 들어, 스토리지(미도시)는 서버(200)에서 실행되는 프로그램, 애플리케이션, 및 소정의 서비스에 이용되는 각종 데이터 또는 정보를 저장할 수 있다.
서버(200)는 부하 분산 서버와 소정의 서비스를 제공하는 기능 서버들로 구성될 수 있다. 서버(200)는 기능별로 나눠진 복수의 서버들로 구성되거나, 하나로 통합된 형태의 서버가 될 수도 있다.
상기 구성에 따라, 서버(200)는 통신 인터페이스(230)를 통해 센싱 장치(100)로부터 3차원 공간에 대한 시간별 점군을 획득하거나, 센싱 장치(100)가 비상상황을 감지한 결과를 수신할 수 있다. 서버(200)는 센싱 장치(100)로부터 비상상황의 종류 정보, 비상상황이 발생한 현장 위치 정보, 현장 상황을 촬영한 카메라 영상 등을 수신할 수 있다.
도 9는 일 실시예에 따른 3차원 공간의 관심 영역을 모니터링하는 방법을 설명하기 위한 흐름도이다. 이상에서 센싱 장치(100)에 대하여 설명한 내용과 중복되는 내용에 대해서는 이하 그 상세한 설명을 생략한다.
910 단계에서, 센싱 장치(100)는 라이다 센서를 이용하여 3차원 공간에 대한 시간별 점군을 획득할 수 있다. 센싱 장치(100)는 3차원 공간에 대한 점군을 연속적으로 획득할 수 있다.
920 단계에서, 센싱 장치(100)는 3차원 공간의 관심 영역을 설정할 수 있다. 관심 영역은 센싱 장치(100)의 감지 영역 내의 소정의 범위를 가지는 영역으로 센싱 장치(100)에 설정될 수 있으며, 그 범위는 센싱 장치(100)가 설치된 위치에 따라, 감지 영역의 일부분 내지 전체로 조정될 수 있다.
930 단계에서, 센싱 장치(100)는 설정된 관심 영역에 대한 시간별 점군에 기초하여, 관심 영역의 정적 객체 영역을 결정할 수 있다. 센싱 장치(100)는 관심 영역에 대한 시간별 점군으로부터 공간 정보 맵을 생성할 수 있다. 센싱 장치(100)는 생성된 공간 정보 맵의 프레임들 간에 서로 대응되는 위치의 단위 영역 내의 점군이 연속적으로 검출되는 기간에 기초하여, 정적 객체 영역을 결정할 수 있다. 센싱 장치(100)는 공간 정보 맵의 프레임들 간에 서로 대응되는 위치의 단위 영역 내의 점군이 최소 검출 임계값 이상의 점 개수로 연속적으로 검출되는 기간에 기초하여, 정적 객체 영역을 결정할 수 있다.
예를 들어, 공간 정보 맵이 복셀 맵인 경우, 센싱 장치(100)는 복셀 맵의 각 프레임에서, 복셀 내의 점군이 연속적으로 검출되는 기간이 임계값 이상인 정적 복셀과 임계값 미만인 동적 복셀을 구분하고, 복셀 맵의 특정 시점의 기준 프레임에서 정적 복셀로 이루어진 정적 객체 영역을 결정할 수 있다.
한편, 센싱 장치(100)는 설정된 관심 영역에 대한 시간별 점군 중에서 지정된 영역의 점군에 기초하여, 관심 영역의 정적 객체 영역을 결정할 수도 있다. 센싱 장치(100)는 관심 영역에 대한 시간별 점군 전체를 사용하는 대신, 동적 점군이 거의 발생되지 않는 레퍼런스 영역이 지정되면, 지정된 영역의 점군에 기초하여 관심 영역의 정적 개체 영역을 결정할 수 있다. 레퍼런스 영역은 사용자가 지정하거나, 센싱 장치(100)가 학습된 모델을 이용하여 적당한 높이와 사이즈에 해당하는 정적 객체에 대응되는 정적 점군의 영역이라고 판단된 영역으로 자동 지정될 수 있다.
940 단계에서, 센싱 장치(100)는 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 소정의 시간 차를 갖는 정적 점군에 기초하여, 관심 영역의 높이 변화에 따른 비상상황을 감지할 수 있다. 이에 대해서는 이하 도 10을 참조하여 자세히 설명한다.
도 10은 관심 영역의 높이 변화에 따른 비상상황을 감지하는 프로세스를 설명하기 위한 상세 흐름도이다. 앞서 설명한 도 9의 940 단계를 상세히 설명한다.
1010 단계에서, 센싱 장치(100)는 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 제1 시점의 제1 정적 점군과 제1 시점과 소정의 시간 차를 갖는 제2 시점의 제2 정적 점군을 추출할 수 있다.
1020 단계에서, 센싱 장치(100)는 제1 정적 점군과 제2 정적 점군의 차이에 기초하여, 관심 영역의 높이 변화에 따른 비상 상황을 판단할 수 있다.
예를 들어, 센싱 장치(100)는 제1 정적 점군의 정적 객체 영역의 평면 좌표 전체에 대응되는 높이 값들의 집합과 제2 정적 점군의 정적 객체 영역의 평면 좌표 전체에 대응되는 높이 값들의 집합을 비교하여, 관심 영역의 높이 변화에 따른 비상 상황을 판단할 수 있다.
설명의 편의상, 센싱 장치(100)가 움직이지 않는 구조물에 설치된 경우를 전제로 설명하였으나, 센싱 장치(100)는 움직이지 않는 구조물 뿐만 아니라, 움직이는 사물에도 설치될 수 있다. 예를 들어, 센싱 장치(100)가 차량이나 드론에 설치된 것인 경우, 차량이나 드론의 이동에 따라 3차원 공간이 변화하므로, 3차원 공간 내의 정적 객체도 공간 정보 맵에서 그 위치가 변화될 수 있다. 그러나, 차량이나 드론이 동일한 공간을 반복적으로 지나치게 되는 경우, 차량이나 드론의 위치 정보에 기초하여, 동일한 공간에 대한 점군을 획득할 수 있다. 다른 예를 들어, 보다 넓은 공간을 모니터링하기 위해, 센싱 장치(100)가 설치된 구조물이 소정의 각도로 주기적으로 회전하는 경우, 센싱 장치(100)는 동일한 각도에서 획득되는 3차원 공간에 대한 점군을 동일한 공간에 대한 점군으로써 획득할 수 있다.
상술한 실시예들 각각은 3차원 공간의 관심 영역을 모니터링하는 방법을 수행하는 소정의 단계들을 실행시키기 위하여, 매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다. 다시 말해서, 상술한 실시예들 각각은 센싱 장치(100)의 적어도 하나의 프로세서로 하여금, 3차원 공간의 관심 영역을 모니터링하는 방법을 수행하는 소정의 단계들을 수행하도록 하는, 매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다.
상술한 실시예들은 컴퓨터 또는 프로세서에 의하여 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 명령어 및 데이터 중 적어도 하나는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있고, 프로세서나 컴퓨터가 명령어를 실행할 수 있도록 프로세서나 컴퓨터에 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 제공할 수 있는 어떠한 장치라도 될 수 있다.
이제까지 실시예들을 중심으로 살펴보았다. 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자는 개시된 실시예들이 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 발명의 범위는 전술한 실시예들의 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명의 범위에 포함된 것으로 해석되어야 할 것이다.

Claims (17)

  1. 라이다 센서를 이용하여 3차원 공간에 대한 시간별 점군을 획득하는 단계;
    상기 3차원 공간의 관심 영역을 설정하는 단계;
    상기 설정된 관심 영역에 대한 시간별 점군에 기초하여, 상기 관심 영역의 정적 객체 영역을 결정하는 단계; 및
    상기 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 소정의 시간 차를 갖는 정적 점군에 기초하여, 상기 관심 영역의 높이 변화에 따른 비상상황을 감지하는 단계;
    를 포함하는, 3차원 공간의 관심 영역을 모니터링하는 방법.
  2. 제1 항에 있어서,
    상기 관심 영역의 정적 객체 영역을 결정하는 단계는,
    상기 설정된 관심 영역에 대한 시간별 점군으로부터 생성되는 공간 정보 맵의 프레임들 간에 서로 대응되는 위치의 단위 영역 내의 점군이 연속적으로 검출되는 기간에 기초하여, 상기 정적 객체 영역을 결정하는, 3차원 공간의 관심 영역을 모니터링하는 방법.
  3. 제2 항에 있어서,
    상기 관심 영역의 정적 객체 영역을 결정하는 단계는,
    상기 공간 정보 맵의 프레임들 간에 서로 대응되는 위치의 단위 영역 내의 점군이 최소 검출 임계값 이상의 점 개수로 연속적으로 검출되는 기간에 기초하여, 상기 정적 객체 영역을 결정하는, 3차원 공간의 관심 영역을 모니터링하는 방법.
  4. 제2 항에 있어서,
    상기 관심 영역의 정적 객체 영역을 결정하는 단계는,
    상기 공간 정보 맵이 복셀 맵인 경우, 상기 복셀 맵의 각 프레임에서, 복셀 내의 점군이 연속적으로 검출되는 기간이 임계값 이상인 정적 복셀과 상기 임계값 미만인 동적 복셀을 구분하고, 상기 복셀 맵의 특정 시점의 기준 프레임에서 상기 정적 복셀로 이루어진 상기 정적 객체 영역을 결정하는, 3차원 공간의 관심 영역을 모니터링하는 방법.
  5. 제1 항에 있어서,
    상기 관심 영역의 정적 객체 영역을 결정하는 단계는,
    상기 설정된 관심 영역에 대한 시간별 점군 중에서 지정된 영역의 점군에 기초하여, 상기 관심 영역의 정적 객체 영역을 결정하는, 3차원 공간의 관심 영역을 모니터링하는 방법.
  6. 제1 항에 있어서,
    상기 비상상황을 감지하는 단계는,
    상기 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 제1 시점의 제1 정적 점군과 상기 제1 시점과 상기 소정의 시간 차를 갖는 제2 시점의 제2 정적 점군을 추출하는 단계; 및
    상기 제1 정적 점군과 상기 제2 정적 점군의 차이에 기초하여, 상기 관심 영역의 높이 변화에 따른 비상 상황을 판단하는 단계;
    를 포함하는, 3차원 공간의 관심 영역을 모니터링하는 방법.
  7. 제6 항에 있어서,
    상기 관심 영역의 높이 변화에 따른 비상 상황을 판단하는 단계는,
    상기 제1 정적 점군의 상기 정적 객체 영역의 평면 좌표 전체에 대응되는 높이 값들의 집합과 상기 제2 정적 점군의 상기 정적 객체 영역의 평면 좌표 전체에 대응되는 높이 값들의 집합을 비교하여, 상기 관심 영역의 높이 변화에 따른 비상 상황을 판단하는, 3차원 공간의 관심 영역을 모니터링하는 방법.
  8. 제1 항에 있어서,
    상기 관심 영역의 높이 변화량이 임계값 이상인 영역의 면적에 기초하여, 비상상황의 종류 정보를 결정하는 단계;
    상기 결정된 비상상황의 종류 정보를 외부 장치로 전송하는 단계;
    를 더 포함하는, 3차원 공간의 관심 영역을 모니터링하는 방법.
  9. 라이다 센서를 이용하여 3차원 공간에 대한 시간별 점군을 획득하는 명령어들;
    상기 3차원 공간의 관심 영역을 설정하는 명령어들;
    상기 설정된 관심 영역에 대한 시간별 점군에 기초하여, 상기 관심 영역의 정적 객체 영역을 결정하는 명령어들; 및
    상기 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 소정의 시간 차를 갖는 정적 점군에 기초하여, 상기 관심 영역의 높이 변화에 따른 비상상황을 감지하는 명령어들;
    을 포함하는, 컴퓨터에서 실행시키기 위한 프로그램을 저장한 컴퓨터 판독 가능 저장매체.
  10. 라이다 센서를 이용하여 3차원 공간에 대한 시간별 점군을 획득하는 센서부;
    하나 이상의 명령어들을 저장하는 메모리; 및
    상기 하나 이상의 명령어들을 실행함으로써, 상기 3차원 공간의 관심 영역을 설정하고, 상기 설정된 관심 영역에 대한 시간별 점군에 기초하여, 상기 관심 영역의 정적 객체 영역을 결정하고, 상기 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 소정의 시간 차를 갖는 정적 점군에 기초하여, 상기 관심 영역의 높이 변화에 따른 비상상황을 감지하는 프로세서;
    를 포함하는, 3차원 공간의 관심 영역을 모니터링하는 센싱 장치.
  11. 제10 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 설정된 관심 영역에 대한 시간별 점군으로부터 생성되는 공간 정보 맵의 프레임들 간에 서로 대응되는 위치의 단위 영역 내의 점군이 연속적으로 검출되는 기간에 기초하여, 상기 정적 객체 영역을 결정하는, 센싱 장치.
  12. 제11 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 공간 정보 맵의 프레임들 간에 서로 대응되는 위치의 단위 영역 내의 점군이 최소 검출 임계값 이상의 점 개수로 연속적으로 검출되는 기간에 기초하여, 상기 정적 객체 영역을 결정하는, 센싱 장치.
  13. 제11 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 공간 정보 맵이 복셀 맵인 경우, 상기 복셀 맵의 각 프레임에서, 복셀 내의 점군이 연속적으로 검출되는 기간이 임계값 이상인 정적 복셀과 상기 임계값 미만인 동적 복셀을 구분하고, 상기 복셀 맵의 특정 시점의 기준 프레임에서 상기 정적 복셀로 이루어진 상기 정적 객체 영역을 결정하는, 센싱 장치.
  14. 제10 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 설정된 관심 영역에 대한 시간별 점군 중에서 지정된 영역의 점군에 기초하여, 상기 관심 영역의 정적 객체 영역을 결정하는, 센싱 장치.
  15. 제10 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 결정된 정적 객체 영역에 대응되는 시간별 정적 점군 중에서 제1 시점의 제1 정적 점군과 상기 제1 시점과 상기 소정의 시간 차를 갖는 제2 시점의 제2 정적 점군을 추출하고, 상기 제1 정적 점군과 상기 제2 정적 점군의 차이에 기초하여, 상기 관심 영역의 높이 변화에 따른 비상 상황을 판단하는, 센싱 장치.
  16. 제15 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 제1 정적 점군의 상기 정적 객체 영역의 평면 좌표 전체에 대응되는 높이 값들의 집합과 상기 제2 정적 점군의 상기 정적 객체 영역의 평면 좌표 전체에 대응되는 높이 값들의 집합을 비교하여, 상기 관심 영역의 높이 변화에 따른 비상 상황을 판단하는, 센싱 장치.
  17. 제10 항에 있어서,
    통신 인터페이스를 더 포함하고,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 관심 영역의 높이 변화량이 임계값 이상인 영역의 면적에 기초하여, 비상상황의 종류 정보를 결정하고, 상기 결정된 비상상황의 종류 정보를 상기 통신 인터페이스를 통해 외부 장치로 전송하는, 센싱 장치.
KR1020210113407A 2021-08-26 2021-08-26 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치 KR20230031038A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210113407A KR20230031038A (ko) 2021-08-26 2021-08-26 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치
PCT/KR2022/012342 WO2023027422A1 (ko) 2021-08-26 2022-08-18 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210113407A KR20230031038A (ko) 2021-08-26 2021-08-26 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치

Publications (1)

Publication Number Publication Date
KR20230031038A true KR20230031038A (ko) 2023-03-07

Family

ID=85323280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210113407A KR20230031038A (ko) 2021-08-26 2021-08-26 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치

Country Status (2)

Country Link
KR (1) KR20230031038A (ko)
WO (1) WO2023027422A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10663594B2 (en) * 2016-03-14 2020-05-26 Imra Europe S.A.S. Processing method of a 3D point cloud
KR102004206B1 (ko) * 2017-11-30 2019-10-01 현대건설주식회사 건설 현장 안전 관리 시스템
KR102140973B1 (ko) * 2019-03-27 2020-09-14 주식회사 이에스피 LiDAR를 이용한 광산 갱내 붕괴 감시 시스템
KR102238522B1 (ko) * 2019-09-27 2021-04-09 주식회사 서울로보틱스 3차원 공간에 대응되는 맵을 생성하는 차량 및 방법
KR20210103172A (ko) * 2020-02-13 2021-08-23 공주대학교 산학협력단 방범 경비 시스템

Also Published As

Publication number Publication date
WO2023027422A1 (ko) 2023-03-02

Similar Documents

Publication Publication Date Title
US11854307B2 (en) Multi-target detection and tracking method, system, storage medium and application
KR102338370B1 (ko) 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버
US10522040B2 (en) Real-time video analytics for traffic conflict detection and quantification
KR102103834B1 (ko) 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법
US9367733B2 (en) Method and apparatus for detecting people by a surveillance system
US20140160295A1 (en) Road condition detection
KR102052114B1 (ko) 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법
JP5353455B2 (ja) 周辺監視装置
KR20190114523A (ko) 라이다 데이터를 이용한 지형 변화 실시간 탐지 방법, 이를 위한 시스템 및 서버에 저장된 컴퓨터프로그램
EP4105908A1 (en) Method, apparatus, server, and computer program for collision accident prevention
CN113487759A (zh) 一种停车巡检方法、装置、移动巡逻设备及巡检系统
US11507101B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
KR102664328B1 (ko) 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치
US10109191B2 (en) Method of quickly detecting road distress
CN109993107A (zh) 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法
KR20230031038A (ko) 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치
KR102255924B1 (ko) 레인을 검출하는 차량 및 방법
KR102656646B1 (ko) 센싱 장치의 설치 이상을 감지하는 방법 및 이를 수행하는 센싱 장치
US20240192342A1 (en) Method for sensing installation abnormality of sensing device, and sensing device for performing same
JP7294323B2 (ja) 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム
JP5604893B2 (ja) 目標物管理装置および目標物管理方法
KR20220128787A (ko) 라이다 센서를 이용한 객체 추적 방법 및 장치와, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN113220805A (zh) 地图生成装置、记录介质以及地图生成方法
KR102587926B1 (ko) 객체 추적 장치, 객체 추적 방법 및 이를 수행하는 프로그램을 기록한 기록매체
US20230408686A1 (en) Method and apparatus for detecting static object by means of radar sensor of roadside unit

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application