KR102255981B1 - 다종 이동수단 탑재형 주변 환경 관측 장치 및 방법 - Google Patents
다종 이동수단 탑재형 주변 환경 관측 장치 및 방법 Download PDFInfo
- Publication number
- KR102255981B1 KR102255981B1 KR1020200145937A KR20200145937A KR102255981B1 KR 102255981 B1 KR102255981 B1 KR 102255981B1 KR 1020200145937 A KR1020200145937 A KR 1020200145937A KR 20200145937 A KR20200145937 A KR 20200145937A KR 102255981 B1 KR102255981 B1 KR 102255981B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- surrounding environment
- thermal image
- sensors
- essential
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000037230 mobility Effects 0.000 title description 4
- 230000002159 abnormal effect Effects 0.000 claims description 59
- 239000000428 dust Substances 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 239000003570 air Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000005358 geomagnetic field Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 1
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 239000012080 ambient air Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
- B62J45/00—Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
- B62J45/40—Sensor arrangements; Mounting thereof
- B62J45/41—Sensor arrangements; Mounting thereof characterised by the type of sensor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62K—CYCLES; CYCLE FRAMES; CYCLE STEERING DEVICES; RIDER-OPERATED TERMINAL CONTROLS SPECIALLY ADAPTED FOR CYCLES; CYCLE AXLE SUSPENSIONS; CYCLE SIDE-CARS, FORECARS, OR THE LIKE
- B62K3/00—Bicycles
- B62K3/002—Bicycles without a seat, i.e. the rider operating the vehicle in a standing position, e.g. non-motorized scooters; non-motorized scooters with skis or runners
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/40—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/60—Positioning; Navigation
Abstract
다종 이동수단 탑재형 주변 환경 관측 장치 및 방법이 제공된다. 센서 보드는 다종 이동수단에 탑재되고, 다종 이동수단의 주변 환경 정보 중 필수 정보를 획득하기 위한 다수의 필수 센서들을 포함하며, 다수의 필수 센서들에 의해 센싱되는 신호를 컨트롤 보드로 전달하고, 컨트롤 보드는 다종 이동수단에 센서 보드와는 물리적으로 분리되어 탑재되고, 다수의 필수 센서들에 의해 센싱되는 신호한다) 및 다수의 호환 센서들에 의해 센싱되는 신호를 설정된 주변 환경 관측 서버로 전송하고, 다수의 호환 센서들은 센서 보드 및 컨트롤 보드 중 어느 하나에 장착되어 주변 환경 정보 중 부가 정보를 센싱한다.
Description
본 발명은 다종 이동수단 탑재형 주변 환경 관측 장치 및 방법에 관한 것으로서, 보다 상세하게는, 다수의 센서들을 구비하여 이동 중 또는 정지 상태에서 주변 환경을 관측할 수 있는 다종 이동수단 탑재형 주변 환경 관측 장치 및 방법에 관한 것이다.
기후 변화와 지구 온난화로 인해 세계 곳곳에서 홍수, 태풍, 폭설, 폭염, 한파, 국지성 집중호우, 열섬현상 등 기상이변을 겪고 있으며, 아울러 급격한 산업발전으로 인해 미세먼지, 대기오염, 소음공해 등 도시의 환경 문제도 날로 심각해지고 있다.
반면, 현재 도심지에서 발생되는 기상이변, 도시환경 등을 국지적·고밀도로 모니터링 하는 기술이 부재하며, 전기 누전, 수도/하수관 파열, 가스 누출 등의 고위험에 의한 전조현상을 사전에 검지하는 기술 역시 전무한 상태이다.
따라서, 도시환경 및 재난 문제 해결과 실질적인 스마트시티 재난에 대응하기 위한 솔루션 개발이 필요하다.
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 스마트 모빌리티 기술을 이용하여 실시간으로 도시환경을 관측하여 재난 문제를 해결할 수 있는 다종 이동수단 탑재형 주변 환경 관측 장치 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 다종 이동수단 탑재형 주변 환경 관측 장치는, 다종 이동수단에 탑재되고, 상기 다종 이동수단의 주변 환경 정보 중 필수 정보를 획득하기 위한 다수의 필수 센서들을 포함하며, 상기 다수의 필수 센서들에 의해 센싱되는 신호를 하기 컨트롤 보드로 전달하는 센서 보드; 상기 다종 이동수단에 상기 센서 보드와는 물리적으로 분리되어 탑재되고, 상기 다수의 필수 센서들에 의해 센싱되는 신호(이하, '필수 센싱 신호'라 한다) 및 하기 다수의 호환 센서들에 의해 센싱되는 신호(이하, '호환 센싱 신호'라 한다)를 설정된 주변 환경 관측 서버로 전송하는 컨트롤 보드; 및 상기 센서 보드 및 컨트롤 보드 중 어느 하나에 장착되어 주변 환경 정보 중 부가 정보를 센싱하는 다수의 호환 센서들;을 포함한다.
상기 다수의 필수 센서들은, 상기 다종 이동수단의 주변 온습도를 센싱하는 온습도 센서, 상기 다종 이동수단의 주변 노면 온도를 센싱하는 비접촉 온도 센서 및 자이로/지자계/가속도 센서를 포함하고, 상기 다수의 호환 센서들은, 상기 다종 이동수단의 주변을 촬영하는 비전 센서, 상기 다종 이동수단의 전방에 위치하는 열원을 탐지하기 위한 열화상 센서, 대기압을 측정하는 대기압 센서 및 미세먼지 센서를 포함한다.
상기 컨트롤 보드는, 상기 컨트롤 보드의 위치 정보를 제공하는 GPS(Global Positioning System)부; 상기 필수 센싱 신호 및 호환 센싱 신호를 선택적으로 저장하는 저장부; 상기 저장부에 저장된 필수 센싱 신호 및 호환 센싱 신호를 상기 주변 환경 관측 서버로 전송하는 통신부; 및 드라이빙 모드 및 파킹 모드 중 적어도 하나로 동작하며, 상기 드라이빙 모드로 동작하는 경우 상기 다수의 필수 센서들과 다수의 호환 센서들의 센싱 주기를 제1주기로 감소시키고, 파킹 모드로 동작하는 경우 센싱 주기를 제2주기로 증가시키는 MCU(Micro Control Unit)부;를 포함한다.
상기 다종 이동수단이 공용 이동수단인 경우, 상기 MCU부는, 상기 다종 이동수단의 잠금 해제가 완료되면 상기 드라이빙 모드로 전환하고, 사용 종료 후 잠금이 설정되면 상기 파킹 모드로 전환하며, 상기 다종 이동수단이 개인 이동수단인 경우, 상기 MCU부는 상기 다종 이동수단을 드라이빙 모드로 운영한다.
상기 MUC부는, 상기 비전 센서로부터 입력되는 비전영상데이터와 상기 열화상 센서로부터 입력되는 열화상데이터를 이용하여 상기 다종 이동수단의 주변에 위치하는 열원을 탐지한다.
상기 MCU부는, 상기 열화상 센서로부터 입력되는 열화상데이터를 픽셀의 온도값에 따라 의사색을 매핑하여 열화상 영상을 생성하고, 상기 생성된 열화상 영상 중 이상 온도 영역을 검지하고, 이상온도 영역이 검지되는 경우, 해상도 변환 및 보간법을 이용하여 상기 비전영상데이터와의 해상도를 일치시키고 열화상 영상을 확대하고, 확대된 열화상 영상으로부터 이상온도 영역에 대해 마스크 영상을 생성하며, 마스크 영상을 이용하여 상기 비전영상데이터로부터 이상 온도 영역에 해당하는 이상 온도 영상을 추출하여 객체 인식을 수행한다.
한편, 본 발명의 다른 실시 예에 따르면, 다종 이동수단 탑재형 주변 환경 관측 장치는, 다종 이동수단에 탑재되고, 상기 다종 이동수단의 주변 환경 정보를 센싱하기 위한 다수의 필수 센서들과 호환 센서들을 포함하며, 상기 다수의 필수 센서들에 의해 센싱되는 신호(이하, '필수 센싱 신호'라 한다)와 다수의 호환 센서들에 의해 센싱되는 신호(이하, '호환 센싱 신호'라 한다)를 하기 주변 환경 관측 서버로 전송하는 주변 환경 관측 장치; 및 상기 주변 환경 관측 장치의 상태를 제어하고, 주변 환경 관측 장치로부터 수신되는 필수 센싱 신호 및 호환 센싱 신호를 분석하여 주변 환경을 분석 및 예측하는 주변 환경 관측 서버;를 포함하고, 상기 다수의 필수 센서들은, 상기 다종 이동수단의 주변 온습도를 센싱하는 온습도 센서, 상기 다종 이동수단의 주변 노면 온도를 센싱하는 비접촉 온도 센서 및 자이로/지자계/가속도 센서를 포함하고, 상기 다수의 호환 센서들은, 상기 다종 이동수단의 주변을 촬영하는 비전 센서, 상기 다종 이동수단의 전방에 위치하는 열원을 탐지하기 위한 열화상 센서, 대기압을 측정하는 대기압 센서 및 미세먼지 센서를 포함한다.
상기 주변 환경 관측 장치는, 상기 비전 센서로부터 입력되는 비전 영상데이터와 상기 열화상 센서로부터 입력되는 열화상데이터를 픽셀의 온도값에 따라 의사색을 매핑하여 열화상 영상을 생성하고, 상기 생성된 열화상 영상 중 이상 온도 영역을 검지하고, 이상온도 영역이 검지되는 경우, 해상도 변환 및 보간법을 이용하여 상기 영상데이터와의 해상도를 일치시키고 열화상 영상을 확대하고, 확대된 열화상 영상으로부터 이상온도 영역에 대해 마스크 영상을 생성하며, 마스크 영상을 이용하여 상기 비전 영상데이터으로부터 이상 온도 객체 영상을 추출하고, 추출된 이상 온도 객체 영상을 상기 주변 환경 관측 서버로 전송하며, 상기 주변 환경 관측 서버는, 수신되는 이상 온도 객체 영상에 대해 인공지능 기반 객체인식 알고리즘을 수행하여 열원을 판단한다.
한편, 본 발명의 다른 실시 예에 따르면, 다종 이동수단 탑재형 주변 환경 관측 방법은, (A) 센서 보드가, 다종 이동수단의 주변 환경 정보 중 필수 정보를 획득하기 위한 다수의 필수 센서들에 의해 센싱되는 신호를 하기 컨트롤 보드로 전달하는 단계; 및 (B) 컨트롤 보드가, 상기 (A) 단계로부터 수신되는 다수의 필수 센서들에 의해 센싱되는 신호(이하, '필수 센싱 신호'라 한다) 및 다수의 호환 센서들에 의해 센싱되는 신호(이하, '호환 센싱 신호'라 한다)를 주변 환경 관측 서버로 전송하는 단계; 상기 센서 보드 및 컨트롤 보드는 다종 이동수단에 물리적으로 분리되어 탑재되고, 상기 다수의 호환 센서들은 상기 센서 보드 및 컨트롤 보드 중 어느 하나에 장착되어 주변 환경 정보를 센싱한다.
상기 다수의 필수 센서들은, 상기 다종 이동수단의 주변 온습도를 센싱하는 온습도 센서, 상기 다종 이동수단의 주변 노면 온도를 센싱하는 비접촉 온도 센서 및 자이로/지자계/가속도 센서를 포함하고, 상기 다수의 호환 센서들은, 상기 다종 이동수단의 주변을 촬영하는 비전 센서, 상기 다종 이동수단의 전방에 위치하는 열원을 탐지하기 위한 열화상 센서, 대기압을 측정하는 대기압 센서 및 미세먼지 센서를 포함한다.
상기 (A) 단계 이전에, (C) 상기 컨트롤 보드가, 상기 다종 이동수단이 공용 이동수단인 경우, 상기 다종 이동수단의 잠금 해제가 완료되면 드라이빙 모드로 동작하고, 잠금 설정이 유지되면 파킹 모드로 동작하는 단계;를 더 포함한다.
상기 (B) 단계는, (B1) 상기 컨트롤 보드가, 상기 비전 센서로부터 입력되는 비전영상데이터와 상기 열화상 센서로부터 입력되는 열화상데이터를 이용하여 상기 다종 이동수단의 주변에 위치하는 열원을 탐지하는 단계;를 포함한다.
상기 (B1) 단계는, 상기 컨트롤 보드가, (B11) 상기 열화상 센서로부터 입력되는 열화상데이터를 픽셀의 온도값에 따라 의사색을 매핑하여 열화상 영상을 생성하는 단계; (B12) 상기 생성된 열화상 영상 중 이상 온도 영역을 검지하는 단계; (B13) 이상온도 영역이 검지되는 경우, 해상도 변환 및 보간법을 이용하여 상기 비전영상데이터와의 해상도를 일치시키고 열화상 영상을 확대하는 단계; 및 (B14) 상기 확대된 열화상 영상으로부터 이상온도 영역에 대해 마스크 영상을 생성하고, 생성된 마스크 영상을 이용하여 상기 비전영상데이터로부터 이상 온도 영역에 해당하는 이상 온도 영상을 추출하여 객체 인식을 수행하는 단계;를 포함한다.
본 발명에 따르면, 전동 킥보드와 같은 스마트 모빌리티를 활용하여 저전력 및 저비용의 실시간 도시환경 정밀 관측이 가능하며, 이로써 도시환경 및 재난 문제 해결과 실질적인 스마트시티 재난대응 솔루션을 제공할 수 있다.
또한, 본 발명에 따르면 열화상 센서와 비전 센서를 이용하여 열원을 탐지하고 객체를 인식함으로써 보다 정확하고 신속한 열원 탐지가 가능하다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치가 적용된 네트워크 또는 시스템을 도시한 예시도,
도 2는 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치가 적용된 다종 이동수단을 도시한 예시도,
도 3은 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치가 적용된 주변 환경 관측 시스템을 도시한 블록도,
도 4 및 도 5는 다수의 호환 센서들이 센서 보드와 컨트롤 보드에 구비된 일 예를 보여주는 도면,
도 6은 다수의 필수 센서들과 다수의 호환 센서들에 의해 센싱되는 신호와 신호를 이용한 서비스를 보여주는 도면,
도 7은 본 발명의 다른 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치가 적용된 주변 환경 관측 시스템을 도시한 블록도,
도 8은 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치의 주변 환경 관측 방법을 설명하기 위한 흐름도,
도 9는 도 8에 도시된 S850단계 중 객체 인식과 관련된 동작을 자세히 도시한 흐름도, 그리고,
도 10은 본 발명의 다른 실시 예에 따른 주변 환경 관측 장치와 주변 환경 관측 서버의 주변 환경 관측 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치가 적용된 다종 이동수단을 도시한 예시도,
도 3은 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치가 적용된 주변 환경 관측 시스템을 도시한 블록도,
도 4 및 도 5는 다수의 호환 센서들이 센서 보드와 컨트롤 보드에 구비된 일 예를 보여주는 도면,
도 6은 다수의 필수 센서들과 다수의 호환 센서들에 의해 센싱되는 신호와 신호를 이용한 서비스를 보여주는 도면,
도 7은 본 발명의 다른 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치가 적용된 주변 환경 관측 시스템을 도시한 블록도,
도 8은 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치의 주변 환경 관측 방법을 설명하기 위한 흐름도,
도 9는 도 8에 도시된 S850단계 중 객체 인식과 관련된 동작을 자세히 도시한 흐름도, 그리고,
도 10은 본 발명의 다른 실시 예에 따른 주변 환경 관측 장치와 주변 환경 관측 서버의 주변 환경 관측 방법을 설명하기 위한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.
또한, 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 '부', '모듈', '서버', '시스템', '플랫폼', '장치' 또는 '단말' 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되거나 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 지칭하는 것으로 의도될 수 있다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 상기 용어들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
도 3 및 도 7에 도시된 주변 환경 관측 장치(10, 30), 주변 환경 관측 서버(40)의 각각의 구성은 기능 및 논리적으로 분리될 수도 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치(10)가 적용된 네트워크 또는 시스템을 도시한 예시도, 도 2는 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치(10)가 적용된 다종 이동수단을 도시한 예시도이다.
도 1 및 도 2를 참조하면, 시스템은 다종 이동수단 탑재형 주변 환경 관측 장치(10) 및 컨트롤 타워로 적용된 주변 환경 관측 서버(20)를 포함한다.
본 발명의 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치(10)는 자전거, 킥보드, 카트, 훨체어 등의 휴대가 용이한 장치에 설치되어 주변 환경을 관측할 수 있는 초소형 환경 관측 장치(Sensors on Multimodal Mobility, SoMMbi)이다.
주변 환경 관측 장치(10)가 자체 동원력을 가지는 다종 이동수단(예를 들어, 전동 자전거, 전동 킥보드, 전동 카트 등)에 탑재될 경우, 주변 환경 관측 장치(10)는 다종 이동수단으로부터 전원을 공급받을 수 있다.
주변 환경 관측 서버(20)는 주변 환경 관측 장치(10)의 상태를 제어하고, 주변 환경 관측 장치(10)에서 관측된 데이터를 분석하여 주변 환경을 예측할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치(10)가 적용된 주변 환경 관측 시스템을 도시한 블록도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치(10)는 센서 보드(100) 및 컨트롤 보드(200)를 포함한다.
센서 보드(100)는 컨트롤 보드(200)와 물리적으로 분리되어 다종 이동수단에 구비되며, 컨트롤 보드(200)와 유무선 연결을 통해 통신할 수 있다.
센서 보드(100)는 다종 이동수단의 주변 환경 정보 중 필수 정보를 획득하기 위한 다수의 필수 센서들(111~115)로 이루어진 필수 센서부(110)를 포함하며, 다종 이동수단의 주변 환경 정보 중 부가 정보를 획득하기 위한 다수의 호환 센서들(121~129)로 이루어진 호환 센서부(120)를 포함할 수 있다.
주변 환경 정보는 다종 이동수단이 이동하거나 정지되어 있을 때 획득되는 주변의 환경에 대한 정보로서, 관리자에 의해 필수 정보와 부가 정보로 구분된다.
필수 정보는 온습도 정보, 열화상 정보, 기울기와 기울어진 방향 정보 등을 포함할 수 있다.
부가 정보는 비전 영상 정보, 열화상 정보, 대기압 정보, 미세먼지 농도 정보, 오존 등의 다양한 대기질 정보를 포함할 수 있다.
센서 보드(100)는 다수의 필수 센서들(111~115)에 의해 센싱되는 신호(이하, '필수 센싱 신호'라 한다) 또는 다수의 호환 센서들(121~129)에 의해 센싱되는 신호(이하, '호환 센싱 신호'라 한다)를 컨트롤 보드(200)로 전달할 수 있다. 이를 위해 센서 보드(100)의 전원선과 신호선은 컨트롤 보드(200)와 연결될 수 있다.
다수의 필수 센서들(111~115)은 온습도 센서(111), 비접촉 온도 센서(113) 및 자이로/지자계/가속도 센서(115)를 포함할 수 있다.
온습도 센서(111)는 다종 이동수단의 주변 온도와 습도를 센싱한다.
비접촉 온도 센서(113)는 다종 이동수단의 주변 노면 온도를 센싱하며 적외선 센서일 수 있다.
자이로/지자계/가속도 센서(115) 중 자이로 센서는 x,y,z 축의 회전 방향과 회전 속도 측정에 사용되고, 가속도 센서는 가속도값을 이용한 진동 추출에 사용되고, 지자계 센서는 자장의 크기와 가속도값을 더 이용하여 방위 정보 추출에 사용될 수 있다.
본 발명에서, 자이로/지자계/가속도 센서(115)는 파킹 모드(Parking Mode)에서 다종 이동수단의 상태(기울어진 정보와 방향 등)를 파악하는데 필요한 정보를 센싱하고, 진동, 흔들림을 센싱하여 현재 위치의 상태(지진, 공사 등)를 추정하는데 사용될 수 있다. 드라이빙 모드(Driving Mode)에서는 GPS 정보와 함께 자이로/지자계/가속도 센서(115)의 센싱 정보를 이용하여 다종 이동수단의 진행 방향(즉, 열화상 센서(123) 또는 비전 센서(121)의 관측 방향)을 추정하는데 사용될 수 있다.
다수의 호환 센서들(121~129)은 비전 센서(121), 열화상 센서(123), 대기압 센서(125), 미세먼지 센서(127) 및 공기질 센서(129)를 포함할 수 있다.
비전 센서(121)는 다종 이동수단의 주변을 촬영하는 카메라로서, 이벤트 발생 시 주변을 촬영한 영상을 저장할 수 있다. 비전 센서(121)는 차량에 구비되는 블랙박스 역할을 더 수행할 수 있다.
열화상 센서(123)는 다종 이동수단의 전방에 위치하는 열원(구조물, 주차된 자동차, 에이컨 실외기 등)을 탐지하기 위한 열화상을 제공한다.
대기압 센서(125)는 주변 대기압을 측정하고, 미세먼지 센서(127)는 미세먼지 농도를 측정하고, 공기질 센서(129)는 주변 공기질(대기질)을 측정할 수 있다.
비전 센서(121)와 열화상 센서(123)는 다종 이동수단이 진행하는 방향, 즉, 전방을 향하도록 구비되며 동일한 지점을 촬영하도록 동기화될 수 있다. 또한, 미세먼지 센서(127)와 비접촉 온도 센서(113)는 노면에 근접하도록 구비하여 관측 효율을 높일 수 있다. 또한, 노면에 가까울수록 파손이나 오작동 위험이 높아지며, 빠른 데이터 처리 속도를 요하는 모듈들(비전 센서, 열화상 센서, 통신부 등)과 MCU부(240)는 컨트롤 보드(200)에 장착하여 전면 상향에 장착할 수 있다.
상술한 다수의 필수 센서들(111~115)은 주변 환경 관측 장치(10)의 운영 및 관측 정확성을 위해 컨트롤 보드(200)와 물리적으로 분리되어 센서 보드(100)에 구비되며, 다수의 호환 센서들(121~129) 각각은 탑재되는 다종 이동수단의 종류 또는 관측 효율에 따라 센서 보드(100)와 컨트롤 보드(200) 중 어느 하나에 구비될 수 있다.
도 4 및 도 5는 다수의 호환 센서들(121~129)이 센서 보드(100)와 컨트롤 보드(200)에 구비된 일 예를 보여준다.
도 4 및 도 5를 참조하면, 대기압 센서(125)와 미세먼지 센서(127)는 센서 보드(100)에 구비되고, 비전 센서(121)와 열화상 센서(123)는 컨트롤 보드(200)의 호환 센서부(120)에 구비되었다.
도 6은 다수의 필수 센서들(111~115)과 다수의 호환 센서들(121~129)에 의해 센싱되는 신호를 이용한 서비스를 보여주는 도면이다.
도 6을 참조하면, IoT 센서는 다종 이동수단에 장착되는 다수의 필수 센서들(111~115)과 다수의 호환 센서들(121~129)이고, 수집데이터는 IoT 센서 별로 수집되는 raw 데이터이고, 시공간정보는 수집데이터를 시공간 단위로 가공한 정보이고, 서비스는 각 시공간 정보를 활용한 이용자 정보 서비스이다.
한편, 컨트롤 보드(200)는 센서 보드(100)와는 물리적으로 분리되어 다종 이동수단에 탑재되고, 다수의 필수 센서들(111~115)에 의해 센싱되는 필수 센싱 신호 및 다수의 호환 센서들(121~129)에 의해 센싱되는 호환 센싱 신호를 설정된 주변 환경 관측 서버(20)로 전송할 수 있다.
이를 위하여, 컨트롤 보드(200)는 GPS(Global Positioning System)부(210), 저장부(220), 통신부(220), MCU(Micro Control Unit)부(240) 및 AI 객체 인식부(250)를 포함한다.
GPS부(210)는 컨트롤 보드(200)의 위치 정보를, 즉, 다종 이동수단의 위치정보를 제공한다.
저장부(220)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 저장부(220)에는 장치(10)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(210~250)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
또한, 저장부(220)에는 이벤트 감지 프로그램과, 필수 센싱 신호 또는 호환 센싱 신호와 비교하여 이상 상황이 발생하였음을 감지하기 위한 기준 신호가 센서 종류 별로 더 저장될 수 있다.
또한, 저장부(220)에는 필수 센싱 신호 및 호환 센싱 신호가 선택적으로 저장될 수 있다. 예를 들어, 비전 센서(121)에 의한 비전 영상데이터는 임시 저장된 후 이벤트가 감지되면 이벤트가 감지된 시점(또는 이벤트가 감지된 시점부터 정해진 시간만큼의 이전 시점)부터 저장부(220)에 저장되고 그 이전에 촬영된 비전 영상데이터는 삭제될 수 있다.
또한, 저장부(220)에는 도 6을 참조하여 설명한 수집데이터와 시공간정보가 더 저장될 수 있다.
통신부(220)는 저장부(220)에 저장된 필수 센싱 신호 및 호환 센싱 신호를 주변 환경 관측 서버(20)로 전송한다.
MCU부(240)는 저장부(220)에 저장된 하나 이상의 프로그램을 실행하여 장치(10)의 전반적인 동작을 제어한다.
MCU부(240)는 필수 센싱 신호 또는 호환 센싱 신호를 분석하여 이벤트를 감지하고, 감지되는 이벤트에 따라 필수 센싱 신호 또는 호환 센싱 신호가 저장부(220)에 선택적으로 저장되도록 할 수 있다.
예를 들어, 열화상 센서(123)로부터 센싱된 신호로부터 열원이 관측되거나, 기준값 이상의 진동이 관측되거나, 미세먼지가 기준값을 초과하여 악화되는 등 주변 환경에 이상 상황이 발생한 것으로 판단되면, MCU부(240)는 이벤트를 발생하고 비전 센서(121)에 의해 촬영된 주변 영상을 이벤트가 발생한 시점(t) 또는 t 시점의 이전 시점부터 저장부(220)에 기록하고, 이벤트와 관련된 센싱 신호(예를 들어, 미세먼지 농도)를 저장부(200)에 주변 영상과 매핑저장한 후 주변 환경 관측 서버(20)로 전송할 수 있다.
이벤트 종류 또는 이벤트 상황은 도 6의 서비스 항목에 도시된 것처럼 미세먼지 위험정보, 열섬현상 위험정보, 빌딩풍 위험정보, 악기상 위험정보, 노면상태 위험정보, 기상재해 위험정보, 도시시설물 위험정보를 포함한다.
또한, MCU부(240)는 드라이빙 모드 및 파킹 모드 중 적어도 하나로 동작할 수 있다.
드라이빙 모드는 시공간적 고밀도 관측 모드로서, 다종 이동수단이 이동 중에 환경을 관측할 때에는 시공간적으로 고밀도 관측을 수행할 필요가 있다. 따라서, 드라이빙 모드에서 동작하는 경우, MCU부(240)는 GPS부(210), 미세먼지 센서(127), 온습도 센서(111) 등 모든 센서들의 관측 주기를 최대한 짧게 하여 이동하는 경로 상의 공간적 관측 공백이 최소화되도록 운영할 수 있다.
파킹 모드는 저전력 지점 상세 관측 모드로서, 파킹 모드에서 다종 이동수단은 공간의 이동이 없으므로 센서 관측 주기 및 송신 주기를 드라이빙 모드 운영 시 보다 늘림으로써, 정지 상태에서 GPS 보정 등을 통해 안정적인 관측을 수행하고, 전력 낭비를 최소화할 수 있다.
따라서, 드라이빙 모드로 동작하는 경우, MCU부(240)는 다수의 필수 센서들(111~115)과 다수의 호환 센서들(121~129)의 센싱 주기를 제1주기로 감소시키고, 파킹 모드로 동작하는 경우 센싱 주기를 제2주기로 증가시킬 수 있다. 제1주기는 다종 이동수단의 이동 속도가 커질수록 작아지며, 제1주기의 범위는 사전에 정해져 저장부(220)에 저장될 수 있다. 제2주기는 고정된 값을 가질 수 있고, 변경가능하며, 제1주기보다 더 큰 값을 갖는다.
또한, MCU부(240)는 다종 이동수단이 다수의 사용자들이 사용하는 공용 이동수단인지 또는 개인이 관리하는 개인 이동수단인지에 따라 동작 모드를 설정할 수 있다.
예를 들어, MCU부(240)는 다종 이동수단이 공용 이동수단인 경우, 다종 이동수단의 잠금 해제가 완료되면 드라이빙 모드로 전환하고, 공용 이동수단의 사용이 종료되어 잠금이 설정되면 파킹 모드로 전환할 수 있다. 자세히 설명하면, 사용자가 사용을 원하는 시간대를 공용 이동수단에서 설정하여 공용 이동수단을 관리하는 서비스 기관에 통지한 후 서비스 기관의 제어에 의해 잠금이 해제되거나 요금 지불 등에 의해 잠금이 해제되면, MCU부(240)는 자동으로 드라이빙 모드로 전환할 수 있다. 또한, 사용자에 의해 잠금이 걸리면 MCU부(240)는 파킹 모드로 전환한다.
반면, 다종 이동수단이 개인 이동수단인 경우, MCU부(240)는 개인 이동수단을 드라이빙 모드로 운영할 수 있다.
또한, 다종 이동수단이 공용 이동수단인 경우, 서비스 기관에 의해 주기적으로 전원이 충전되는 시스템으로 운영되므로 다종 이동수단에게 최초 전원인가 후 상시 전원이 공급된다. 따라서, MCU부(240)는 최초 공유 서비스를 위해 공용 이동수단이 셋팅되는 시점에 부팅한 후 상시 운영될 수 있다.
반면, 다종 이동수단이 개인 이동수단인 경우, MCU부(240)는 개인 사용자에 의해 전원이 공급되면 부팅하고 전원이 차단되면 운영을 종료한다.
또한, MCU부(240)는 비전 센서(121)로부터 입력되는 비전영상데이터와 열화상 센서(123)로부터 입력되는 열화상데이터를 이용하여 다종 이동수단의 주변에 위치하는 열원을 탐지할 수 있다. 이를 위하여 비전 센서(121)와 열화상 센서(123)는 동일한 영역을 촬영하도록 사전에 촬영 각도, 수평/수직해상도 비율 등을 조정하여 설치될 수 있다. 탐지되는 열원은 예를 들어 에어컨 실외기, 주차된 차량, 지하철 환풍구 등 주변에 비해 열이 높은 객체이거나 화재, 열섬 현상, 누전 등에 의한 문제 상황이 발생한 영역일 수 있다.
이를 위하여, MCU부(240)는, 비전 센서(121)와 열화상 센서(123)로부터 동시에 획득되거나 또는 동일한 장면을 촬영하여 획득되는 프레임 단위의 자료(이하, 각각 '비전영상데이터', '열화상데이터'라 한다)를 이용할 수 있다.
MCU부(240)는 열화상 센서(123)로부터 입력되는 온도값에 해당하는 2차원 배열 데이터인 열화상데이터를 픽셀의 온도값에 따라 의사색을 매핑하여 열화상 영상을 생성한다. MCU부(240)는 시간적 평균 온도 및/또는 공간적 온도 분포(열화상 영상 내 주변 온도 또는 평균 온도)와 열화상 영상을 비교하여 열화상 영상 중 이상 온도 영역을 검지한다. 예를 들어, MCU부(240)는 열화상 영상 중 평균 온도보다 허용 범위 이상 높거나 또는 낮은 온도 영역을 이상 온도 영역으로서 검지할 수 있다.
그리고, MCU부(240)는 이상온도 영역이 검지되는 경우, 해상도 변환 및 보간법을 이용하여 비전영상데이터의 해상도와 일치시킨다. 일반적으로 초소형 열화상 센서(123)의 경우 해상도가 매우 낮으므로 보간법을 이용하여 열화상 영상을 확대할 수 있다.
MCU부(240)는 확대된 열화상 영상으로부터 이상 온도 영역을 쓰레솔딩(Thresholding)하여 마스크 영상을 생성하고, 마스크 영상을 비전영상데이터에 적용하여 비전영상데이터로부터 이상 온도 영역에 해당하는 이상 온도 영상을 매칭 및 세그먼테이션하여 비전영상데이터로부터 이상 온도 대상(즉, 오브젝트)를 추출한다.
AI 객체 인식부(250)는 AI 기계학습 기반의 객체인식 알고리즘을 이용하여 MCU부(240)에서 추출된 이상 온도 대상에 대해 객체인식을 수행하여 열원, 즉, 인식된 객체 정보를 획득할 수 있다. AI 객체 인식부(250)는 객체의 종류(예를 들어, 에어컨 실외기인지, 차량 인지 등) 또는 화재, 열섬 현상, 누전 등 화재와 관련된 문제 상황이 발생한 영역을 객체로서 인식할 수 있다.
MCU부(240)는 AI 객체 인식부(250)에서 인식된 객체 정보를 주변 환경 관측 서버(20)로 전송한다.
주변 환경 관측 서버(20)는 주변 환경 관측 장치(10)로부터 수신되는 수집데이터(필수 센싱 신호와 호환 센싱 신호)를 가공하여 시공간정보를 생성하거나 또는 시공간정보를 직접 수신하여 저장 및 분석하고 주변 환경에 대한 정보를 제공할 수 있다.
또한, 주변 환경 관측 서버(20)는 주변 환경 관측 장치(10)로부터 AI 객체 인식된 정보를 GPS 정보와 함께 수신하여 열원을 탐지하고, 이상 발생 여부를 파악할 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치(30)가 적용된 주변 환경 관측 시스템을 도시한 블록도이다.
도 7을 참조하면, 본 발명의 다른 실시 예에 따른 주변 환경 관측 시스템은 다종 이동수단 탑재형 주변 환경 관측 장치(30) 및 주변 환경 관측 서버(40)를 포함한다.
또한, 주변 환경 관측 장치(30)는 센서 보드(300) 및 컨트롤 보드(400)를 포함한다. 도 7에 도시된 주변 환경 관측 장치(30)와 주변 환경 관측 서버(40)의 동작은 도 1 내지 도 6을 참조하여 설명한 주변 환경 관측 장치(10) 및 주변 환경 관측 서버(20)와 거의 동일하므로 상세한 설명은 생략한다.
다만, 도 7에 도시된 컨트롤 보드(400)는 비전 센서(미도시)로부터 입력되는 비전 영상데이터와 열화상 센서로부터 입력되는 열화상데이터를 픽셀의 온도값에 따라 의사색을 매핑하여 열화상 영상을 생성하고, 생성된 열화상 영상 중 이상 온도 영역을 검지하고, 이상온도 영역이 검지되는 경우, 해상도 변환 및 보간법을 이용하여 영상데이터와의 해상도를 일치시키고 열화상 영상을 확대하고, 확대된 열화상 영상으로부터 이상온도 영역에 대해 마스크 영상을 생성하며, 마스크 영상을 이용하여 비전 영상데이터으로부터 이상 온도 객체 영상을 추출하고, 추출된 이상 온도 객체 영상을 주변 환경 관측 서버(40)로 전송할 수 있다.
따라서, 주변 환경 관측 서버(40)는 AI 객체 인식부(41)를 통해 컨트롤 보드(400)로부터 수신되는 이상 온도 객체 영상에 대해 인공지능 기반 객체인식 알고리즘을 수행하여 열원, 즉, 객체를 판단할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 다종 이동수단 탑재형 주변 환경 관측 장치(10)의 주변 환경 관측 방법을 설명하기 위한 흐름도이다.
도 8에 도시된 주변 환경 관측 방법을 수행하는 주변 환경 관측 장치(10)의 동작은 도 1 내지 도 6을 참조하여 설명하였으므로 자세한 설명은 생략한다.
도 8을 참조하면, 주변 환경 관측 장치(10)의 컨트롤 보드(200)는 다종 이동수단이 공용 이동수단인 경우, 공용 이동수단의 잠금 해제가 완료되면(S810-Yes), 드라이빙 모드로 전환하여 동작한다(S820).
컨트롤 보드(200)는 다수의 필수 센서들(111~115)과 호환 센서들(121~129), GPS부(210)의 센싱 주기를 제1주기로 하향 조정한다(S830). S830단계에서 조정되는 제1주기는 각 센서들마다 동일할 수도 있고 다를 수도 있다.
센서 보드(100)는 다수의 필수 센서들(111~115) 또는 다수의 호환 센서들(121~129)에 의해 센싱되는 신호를 컨트롤 보드(200)로 전달한다(S840).
컨트롤 보드(200)는 S840단계로부터 수신되는 필수 센싱 신호 또는 호환 센싱 신호를 포함하는 센싱 정보를 주변 환경 관측 서버(20)로 전송한다(S850). S850단계에서 컨트롤 보드(200)는 필수 센싱 신호 또는 호환 센싱 신호를 분석하여 이상 발생을 탐지할 수도 있으며, 이상이 탐지된 시점의 이벤트 영상, 즉, 비전영상데이터를 별도로 더 저장하여 주변 환경 관측 서버(20)로 전송할 수도 있다.
주변 환경 관측 서버(20)는 수신되는 센싱 정보(즉, 로우 데이터)를 분석하여 주변 환경에 대한 정보를 제공할 수 있다.
반면, S810단계에서 공용 다종 이동수단의 잠금이 유지된 경우(S810-No), 컨트롤 보드(200)는 파킹 모드를 유지하고 센싱 주기도 제2주기로 유지한다(S860).
도 9는 도 8에 도시된 S850단계 중 객체 인식과 관련된 동작을 자세히 도시한 흐름도이다.
도 9를 참조하면, 컨트롤 보드(200)는 비전 센서(121)로부터 입력되는 비전영상데이터와 열화상 센서(123)로부터 입력되는 열화상데이터를 획득하면(S910), 열화상데이터를 픽셀의 온도값에 따라 의사색을 매핑하여 열화상 영상을 생성한다(S920).
컨트롤 보드(200)는 생성된 열화상 영상과 시간적 평균 온도 및/또는 공간적 온도 분포를 비교하여 열화상 영상 중 이상 온도 영역을 검지한다(S930).
컨트롤 보드(200)는 이상온도 영역이 검지되는 경우, 해상도 변환 및 보간법을 이용하여 비전영상데이터의 해상도와 일치시키고 열화상 영상을 확대한다(S940).
컨트롤 보드(200)는 확대된 열화상 영상으로부터 이상 온도 영역에 대한 마스크 영상을 생성하고(S950), 마스크 영상을 이용하여 비전영상데이터로부터 이상 온도 영역에 해당하는 이상 온도 영상을 매칭 및 세그먼테이션하여 비전영상데이터로부터 이상 온도 대상(즉, 오브젝트)를 추출한다(S960).
컨트롤 보드(200)는 추출된 이상 온도 대상에 대해 AI 기계학습 기반의 객체인식 알고리즘을 적용하여 객체를 인식한다(S970).
컨트롤 보드(200)는 인식된 객체 정보를 포함하는 센싱 정보를 주변 환경 관측 서버(20)로 전송한다(S980).
도 10은 본 발명의 다른 실시 예에 따른 주변 환경 관측 장치(30)와 주변 환경 관측 서버(40)의 주변 환경 관측 방법을 설명하기 위한 흐름도이다.
도 10에 도시된 주변 환경 관측 방법을 수행하는 주변 환경 관측 장치(30)와 주변 환경 관측 서버(40)의 동작은 도 7을 참조하여 설명하였으며, 또한, 도 9에 도시된 동작과 유사하므로 자세한 설명은 생략한다.
다만, 도 10의 S1060단계에서 컨트롤 보드(400)는 마스크 영상을 이용하여 비전영상데이터로부터 이상 온도 영역에 해당하는 이상 온도 영상을 매칭 및 세그먼테이션하여 비전영상데이터로부터 이상 온도 대상(즉, 오브젝트)를 추출하면(S1060), 추출된 이상 온도 대상에 대한 객체 인식을 수행하지 않고, 이상 온도 대상에 대한 정보를 포함하는 센싱 정보를 주변 환경 관측 서버(20)로 전송한다(S1070).
따라서, 주변 환경 관측 서버(40)는 S1070단계로부터 수신되는 센싱 정보를 분석하여 이상 온도 대상에 대한 객체 인식을 수행하고, 수집데이터로부터 시공간정보를 분석하여 주변 환경에 대해 관측된 정보를 서비스할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 다종 이동수단 탑재형 주변 환경 관측 장치
20: 컨트롤 타워로 적용된 주변 환경 관측 서버
100: 센서 보드
111: 온습도 센서
113: 비접촉 온도 센서
115: 자이로/지자계/가속도 센서
200: 컨트롤 보드
121: 비전 센서
123: 열화상 센서
125: 대기압 센서
127: 미세먼지 센서
129: 공기질 센서
20: 컨트롤 타워로 적용된 주변 환경 관측 서버
100: 센서 보드
111: 온습도 센서
113: 비접촉 온도 센서
115: 자이로/지자계/가속도 센서
200: 컨트롤 보드
121: 비전 센서
123: 열화상 센서
125: 대기압 센서
127: 미세먼지 센서
129: 공기질 센서
Claims (11)
- 다종 이동수단에 탑재되고, 상기 다종 이동수단의 주변 환경 정보 중 필수 정보를 획득하기 위한 다수의 필수 센서들을 포함하며, 상기 다수의 필수 센서들에 의해 센싱되는 신호를 하기 컨트롤 보드로 전달하는 센서 보드;
상기 다종 이동수단에 상기 센서 보드와는 물리적으로 분리되어 탑재되고, 상기 다수의 필수 센서들에 의해 센싱되는 신호(이하, '필수 센싱 신호'라 한다) 및 하기 다수의 호환 센서들에 의해 센싱되는 신호(이하, '호환 센싱 신호'라 한다)를 설정된 주변 환경 관측 서버로 전송하는 컨트롤 보드; 및
상기 센서 보드 및 컨트롤 보드 중 어느 하나에 장착되어 주변 환경 정보 중 부가 정보를 센싱하는 다수의 호환 센서들;을 포함하고,
상기 컨트롤 보드는,
상기 컨트롤 보드의 위치 정보를 제공하는 GPS(Global Positioning System)부;
상기 필수 센싱 신호 및 호환 센싱 신호를 선택적으로 저장하는 저장부;
상기 저장부에 저장된 필수 센싱 신호 및 호환 센싱 신호를 상기 주변 환경 관측 서버로 전송하는 통신부;
드라이빙 모드 및 파킹 모드 중 적어도 하나로 동작하며, 상기 드라이빙 모드로 동작하는 경우 상기 다수의 필수 센서들과 다수의 호환 센서들의 센싱 주기를 제1주기로 감소시키고, 파킹 모드로 동작하는 경우 센싱 주기를 제2주기로 증가시키고, 상기 다종 이동수단의 주변을 촬영하는 비전 센서로부터 입력되는 비전영상데이터와 상기 다종 이동수단의 전방에 위치하는 열원을 탐지하기 위한 열화상 센서로부터 입력되는 열화상데이터를 이용하여 상기 다종 이동수단의 주변에 위치하는 열원을 이상 온도 대상으로서 추출하는 MCU(Micro Control Unit)부; 및
인공지능 기반 객체인식 알고리즘을 이용하여 상기 MCU부에서 추출된 이상 온도 대상에 대한 객체를 인식하는 AI 객체 인식부;를 포함하고,상기 MCU부는,
상기 열화상 센서로부터 입력되는 열화상데이터를 픽셀의 온도값에 따라 의사색을 매핑하여 열화상 영상을 생성하고, 시간적 평균 온도 및 공간적 온도 분포 중 적어도 하나와 상기 생성된 열화상 영상을 비교하여 열화상 영상 중 이상 온도 영역을 검지하고, 이상온도 영역이 검지되는 경우, 해상도 변환 및 보간법을 이용하여 상기 비전영상데이터와의 해상도를 일치시키고 열화상 영상을 확대하고, 확대된 열화상 영상으로부터 이상온도 영역에 대해 마스크 영상을 생성하며, 마스크 영상을 상기 비전영상데이터에 적용하여 비전영상데이터로부터 이상 온도 영역에 해당하는 이상 온도 대상을 추출하는 것을 특징으로 하는 다종 이동수단 탑재형 주변 환경 관측 장치. - 제1항에 있어서,
상기 다수의 필수 센서들은,
상기 다종 이동수단의 주변 온습도를 센싱하는 온습도 센서, 상기 다종 이동수단의 주변 노면 온도를 센싱하는 비접촉 온도 센서 및 자이로/지자계/가속도 센서를 포함하고,
상기 다수의 호환 센서들은,
상기 비전 센서, 상기 열화상 센서, 대기압을 측정하는 대기압 센서 및 미세먼지 센서를 포함하는 것을 특징으로 하는 다종 이동수단 탑재형 주변 환경 관측 장치. - 삭제
- 제1항에 있어서,
상기 다종 이동수단이 공용 이동수단인 경우,
상기 MCU부는, 상기 다종 이동수단의 잠금 해제가 완료되면 상기 드라이빙 모드로 전환하고, 사용 종료 후 잠금이 설정되면 상기 파킹 모드로 전환하며,
상기 다종 이동수단이 개인 이동수단인 경우,
상기 MCU부는 상기 다종 이동수단을 드라이빙 모드로 운영하는 것을 특징으로 하는 다종 이동수단 탑재형 주변 환경 관측 장치. - 삭제
- 삭제
- (A) 센서 보드가, 다종 이동수단의 주변 환경 정보 중 필수 정보를 획득하기 위한 다수의 필수 센서들에 의해 센싱되는 신호를 하기 컨트롤 보드로 전달하는 단계; 및
(B) 컨트롤 보드가, 상기 (A) 단계로부터 수신되는 다수의 필수 센서들에 의해 센싱되는 신호(이하, '필수 센싱 신호'라 한다) 및 다수의 호환 센서들에 의해 센싱되는 신호(이하, '호환 센싱 신호'라 한다)를 주변 환경 관측 서버로 전송하는 단계;를 포함하고,
상기 센서 보드 및 컨트롤 보드는 다종 이동수단에 물리적으로 분리되어 탑재되고, 상기 다수의 호환 센서들은 상기 센서 보드 및 컨트롤 보드 중 어느 하나에 장착되어 주변 환경 정보를 센싱하고,
상기 컨트롤 보드는 드라이빙 모드로 동작하는 경우 상기 다수의 필수 센서들과 다수의 호환 센서들의 센싱 주기를 제1주기로 감소시키고, 파킹 모드로 동작하는 경우 센싱 주기를 제2주기로 증가시키고,
상기 (B) 단계는,
(B1) 상기 다종 이동수단의 주변을 촬영하는 비전 센서로부터 입력되는 비전영상데이터와 상기 다종 이동수단의 전방에 위치하는 열원을 탐지하기 위한 열화상 센서로부터 입력되는 열화상데이터를 이용하여 상기 다종 이동수단의 주변에 위치하는 열원을 이상 온도 대상으로서 추출하는 단계; 및
(B2) 인공지능 기반 객체인식 알고리즘을 이용하여 상기 (B1) 단계에서 추출된 이상 온도 대상에 대한 객체를 인식하는 단계;를 포함하고,
상기 (B1) 단계는,
(B11) 상기 열화상 센서로부터 입력되는 열화상데이터를 픽셀의 온도값에 따라 의사색을 매핑하여 열화상 영상을 생성하는 단계;
(B12) 시간적 평균 온도 및 공간적 온도 분포 중 적어도 하나와 상기 생성된 열화상 영상을 비교하여 열화상 영상 중 이상 온도 영역을 검지하는 단계;
(B13) 이상온도 영역이 검지되는 경우, 해상도 변환 및 보간법을 이용하여 상기 비전영상데이터와의 해상도를 일치시키고 열화상 영상을 확대하는 단계; 및
(B14) 상기 확대된 열화상 영상으로부터 이상온도 영역에 대해 마스크 영상을 생성하고, 생성된 마스크 영상을 상기 비전영상데이터에 적용하여 비전영상데이터로부터 이상 온도 영역에 해당하는 이상 온도 대상을 추출하여 객체 인식을 수행하는 단계;를 포함하는 것을 특징으로 하는 주변 환경 관측 방법. - 제7항에 있어서,
상기 다수의 필수 센서들은,
상기 다종 이동수단의 주변 온습도를 센싱하는 온습도 센서, 상기 다종 이동수단의 주변 노면 온도를 센싱하는 비접촉 온도 센서 및 자이로/지자계/가속도 센서를 포함하고,
상기 다수의 호환 센서들은,
상기 비전 센서, 상기 열화상 센서, 대기압을 측정하는 대기압 센서 및 미세먼지 센서를 포함하는 것을 특징으로 하는 주변 환경 관측 방법. - 제8항에 있어서,
상기 (A) 단계 이전에,
(C) 상기 컨트롤 보드가, 상기 다종 이동수단이 공용 이동수단인 경우, 상기 다종 이동수단의 잠금 해제가 완료되면 드라이빙 모드로 동작하고, 잠금 설정이 유지되면 파킹 모드로 동작하는 단계;를 더 포함하는 것을 특징으로 하는 주변 환경 관측 방법. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200145937A KR102255981B1 (ko) | 2020-11-04 | 2020-11-04 | 다종 이동수단 탑재형 주변 환경 관측 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200145937A KR102255981B1 (ko) | 2020-11-04 | 2020-11-04 | 다종 이동수단 탑재형 주변 환경 관측 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102255981B1 true KR102255981B1 (ko) | 2021-05-25 |
Family
ID=76145298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200145937A KR102255981B1 (ko) | 2020-11-04 | 2020-11-04 | 다종 이동수단 탑재형 주변 환경 관측 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102255981B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230081019A (ko) | 2021-11-30 | 2023-06-07 | 주식회사 케이티 | 이상 탐지 서버, 방법 및 컴퓨터 프로그램 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100850448B1 (ko) | 2008-01-17 | 2008-08-07 | 주식회사 혜성엘앤엠 | 주변밝기에 따라서 자동 점멸 및 휘도가 자동 조절되는ｌｅｄ 경관조명등 |
| KR101625471B1 (ko) * | 2014-12-30 | 2016-05-30 | 목원대학교 산학협력단 | 보급형 열화상 카메라의 해상도 향상 방법 및 장치 |
| KR20190110476A (ko) * | 2018-03-20 | 2019-09-30 | 조용호 | 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법 |
| KR20200096028A (ko) * | 2019-02-01 | 2020-08-11 | 주식회사 바이시큐 | 잠금 장치가 구비된 공유 자전거의 반납 방법 및 그 장치 |
| KR102145296B1 (ko) * | 2018-11-20 | 2020-08-19 | 주식회사 케이벨 | 이동형센서단말을 이용한 환경정보관리 시스템 |
-
2020
- 2020-11-04 KR KR1020200145937A patent/KR102255981B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100850448B1 (ko) | 2008-01-17 | 2008-08-07 | 주식회사 혜성엘앤엠 | 주변밝기에 따라서 자동 점멸 및 휘도가 자동 조절되는ｌｅｄ 경관조명등 |
| KR101625471B1 (ko) * | 2014-12-30 | 2016-05-30 | 목원대학교 산학협력단 | 보급형 열화상 카메라의 해상도 향상 방법 및 장치 |
| KR20190110476A (ko) * | 2018-03-20 | 2019-09-30 | 조용호 | 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법 |
| KR102145296B1 (ko) * | 2018-11-20 | 2020-08-19 | 주식회사 케이벨 | 이동형센서단말을 이용한 환경정보관리 시스템 |
| KR20200096028A (ko) * | 2019-02-01 | 2020-08-11 | 주식회사 바이시큐 | 잠금 장치가 구비된 공유 자전거의 반납 방법 및 그 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230081019A (ko) | 2021-11-30 | 2023-06-07 | 주식회사 케이티 | 이상 탐지 서버, 방법 및 컴퓨터 프로그램 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102026685B1 (ko) | 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버 | |
| JP5776545B2 (ja) | 路面調査プログラム及び路面調査装置 | |
| KR101758576B1 (ko) | 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법 | |
| EP2214122B1 (en) | Methods and devices for assisting a vehicle driver | |
| JP6369654B2 (ja) | 検知装置および路面情報システム、並びに車両 | |
| JP2019022205A (ja) | センシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラム | |
| US10937319B2 (en) | Information provision system, server, and mobile terminal | |
| US20220246005A1 (en) | Security cameras with thermal imaging sensors | |
| KR102255981B1 (ko) | 다종 이동수단 탑재형 주변 환경 관측 장치 및 방법 | |
| CN108320497B (zh) | 行人闯红灯行为检测方法、装置及计算机可读存储介质 | |
| US9286689B2 (en) | Method and device for detecting the gait of a pedestrian for a portable terminal | |
| KR101538488B1 (ko) | 전방위 카메라를 이용한 1대 다면 주차장 관리 시스템 및 관리방법 | |
| US20210342601A1 (en) | Information processing system, method of information processing, and program | |
| KR20100025338A (ko) | 영상 촬영을 통한 물체 추적 시스템 및 그 방법 | |
| KR102625000B1 (ko) | 딥러닝 기반의 자동차 번호판 인식 방법 및 그 시스템 | |
| CN113505704A (zh) | 图像识别的人员安全侦测方法、系统、设备及存储介质 | |
| Lee et al. | Distant object localization with a single image obtained from a smartphone in an urban environment | |
| KR20130084753A (ko) | 모바일 기기의 멀티 센서를 이용한 차량 운행 정보 제공 방법 | |
| Castro et al. | A prototype of a car parking management service based on wireless sensor networks for its | |
| KR20180051422A (ko) | 전자 장치 및 그 제어 방법 | |
| KR20210158037A (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
| CN113366485A (zh) | 通过与导航相关的感测进行认证 | |
| CN109564084B (zh) | 记录介质、位置推断装置以及位置推断方法 | |
| KR102572907B1 (ko) | 회전 카메라 영상 객체 위치정보 제공 시스템 및 방법 | |
| KR20220150145A (ko) | 주차위치 식별 장치, 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |