KR102612438B1 - 교통 객체 위치 추정 장치 및 방법 - Google Patents
교통 객체 위치 추정 장치 및 방법 Download PDFInfo
- Publication number
- KR102612438B1 KR102612438B1 KR1020200095542A KR20200095542A KR102612438B1 KR 102612438 B1 KR102612438 B1 KR 102612438B1 KR 1020200095542 A KR1020200095542 A KR 1020200095542A KR 20200095542 A KR20200095542 A KR 20200095542A KR 102612438 B1 KR102612438 B1 KR 102612438B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- traffic
- traffic object
- pedestrian
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000004891 communication Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 4
- 238000003066 decision tree Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 238000004579 scanning voltage microscopy Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 교통 객체 위치 추정 장치에 관한 것이다.
본 발명은 임의의 영상을 촬영하는 이미지 센싱부; 상기 이미지 센싱부를 통해 촬영된 영상에서 교통 객체를 인식하는 객체 인식부; 상기 인식된 교통 객체의 좌표 정보를 추정하는 위치 추정부 및 상기 추정된 교통 객체의 좌표 정보를 제공하는 통신부를 포함한다.
본 발명은 임의의 영상을 촬영하는 이미지 센싱부; 상기 이미지 센싱부를 통해 촬영된 영상에서 교통 객체를 인식하는 객체 인식부; 상기 인식된 교통 객체의 좌표 정보를 추정하는 위치 추정부 및 상기 추정된 교통 객체의 좌표 정보를 제공하는 통신부를 포함한다.
Description
본 발명은 교통 객체 위치 추정 장치 및 방법에 관한 것으로, 더욱 상세하게는 도로 인프라에 설치된 카메라 영상을 이용하여 교차로 및 횡단보도의 보행자의 위치를 추정하고, 추정된 보행자의 위치정보를 제공하는 교통 객체 위치 추정 장치 및 방법에 관한 것이다.
자율주행차의 보급이 본격화되면 일반 자동차와 자율주행차가 동시에 운행될 것이고 자율협력주행이 중요한 기술이 될 전망이다.
자율주행차는 차에 장착한 여러 센서(레이다, 라이다, 카메라, 초음파 등)를 이용하여 객체(보행자, 자동차, 장애물, 도로 등)를 인지하여 주행한다. 하지만, 자율주행차가 장착한 센서로 자율주행에 필요한 모든 객체를 인지할 수 없다.
특히, 빌딩이나 펜스가 있고 사람이 많이 모이는 교차로의 경우 보행자 검지가 어렵고 갑작스러운 보행자 출현이 잦아 자율주행차가 대응하기 어려운 문제점이 있다.
본 발명은 종래 문제점을 해결하기 위한 것으로, 도로 인프라에 설치된 카메라를 활용하여 자율차의 센싱 범위에 있거나 사각지역에 있는 보행자를 검출하고 위치를 추정하여 보행자의 GPS 정보를 제공하는 교통 객체 위치 추정 장치 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 교통 객체 위치 추정 장치 및 방법은 촬영된 영상으로부터 교통 객체를 인식하고, 카메라의 위치 정보를 이용하여 교통 객체의 좌표 정보를 산출하고, 상기 추정된 교통 객체의 좌표 정보를 전달하는 영상 촬영기; 및 상기 카메라를 통해 산출된 교통 객체의 좌표 정보를 자율주행차에 제공하는 통신부를 포함한다.
상기 영상 촬영기는, 임의의 영상을 촬영하는 이미지 센싱부; 상기 이미지 센싱부를 통해 전달된 영상에서 교통 객체를 인식하는 객체 인식부; 및 상기 인식된 교통 객체의 위치를 추정하는 위치 추정부를 포함한다.
그리고, 본 발명은 교통 객체 검출리스트를 저장 관리하는 데이터 저장부를 더 포함할 수 있다.
상기 통신부는, RSU(Road Side Unit) 및 관제센터서버와 통신을 수행할 수 있다.
상기 객체 인식부는, 영상 이미지의 리사이징 및 노이즈 제거와 같은 전처리 과정을 수행할 수 있다.
상기 객체 인식부는, Faster RCNN, YOLO, SSD의 심층신경망 객체 검출 알고리즘 중 하나를 이용하는 것이 바람직하다.
상기 객체 인식부는, SVM, Decision Tree, Random Forest 머신러닝 기법 중 하나의 기법을 이용할 수 있다.
상기 객체 인식부는, MobileNetV1, MobileNetV2, PeleeNet, Tiny-yolov2, Tiny-yolov3의 심층신경망 경량네트워크 중 하나이다.
상기 위치 추정부는, 상기 인식된 보행자의 위치정보(보행자 위치, 이동방향, 이동속도)를 추적하고, 보행자 별로(보행자 ID 부여) 위치 정보를 추출한다.
상기 위치 추정부는, GPS 좌표 정보가 포함된 카메라의 위치정보, 수직각도 및 수평각도를 포함하는 카메라의 설치정보, 카메라의 초점, 화각 및 화소 정보가 포함된 카메라의 사용정보를 이용하여 카메라에 상대적인 교통 객체의 좌표를 추정할 수 있다.
또한 본 발명은 보행자의 이동방향과 속도를 추출하여 보행자 추적하는 보행자 추적부를 더 포함하고, 상기 보행자 추적부는 KCF(kernelized colleration filter) 추적기, IOU(intersection of union) 추적기 중 하나이다.
상기 보행자 추적부는, 칼만필터를 결합하여 보행자를 추적할 수 있다.
본 발명의 일 실시예에 따르면, 교차로 CCTV 카메라에서 보행자를 검출하고 위치정보를 추정하여 보행자의 위치, 이동방향, 속도 정보를 자율주행자동차에 전송함으로써 사각지역의 보행자의 위치를 사전에 파악하고 대응할 수 있는 효과가 있다.
또한, 본 발명은 자율주행자동차 뿐만 아니라 V2X 통신 장치(OBU)를 장착한 차량의 운전자에 보행자 위치 정보를 전송하여 충돌 위험에 대비할 수 있게 해주는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 교통 객체 위치 추정 장치 및 방법을 설명하기 위한 기능블록도.
도 2는 본 발명의 일 실시예에 따른 교통 객체 위치 추정 장치 및 방법을 설명하기 위한 참고도.
도 3은 본 발명의 일 실시예에 채용된 역학 모션 센싱유닛을 설명하기 위한 기능블록도.
도 4는 본 발명의 일 실시예에 채용된 탑승자 센싱유닛을 설명하기 위한 기능블록도.
도 5는 본 발명의 일 실시예에 채용된 조작 검출부를 설명하기 위한 기능블록도.
도 6은 본 발명의 일 실시예에 따른 교통 객체 위치 추정 장치 및 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 교통 객체 위치 추정 장치 및 방법을 설명하기 위한 참고도.
도 3은 본 발명의 일 실시예에 채용된 역학 모션 센싱유닛을 설명하기 위한 기능블록도.
도 4는 본 발명의 일 실시예에 채용된 탑승자 센싱유닛을 설명하기 위한 기능블록도.
도 5는 본 발명의 일 실시예에 채용된 조작 검출부를 설명하기 위한 기능블록도.
도 6은 본 발명의 일 실시예에 따른 교통 객체 위치 추정 장치 및 방법을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 교통 객체 위치 추정 장치를 설명하기 위한 기능블록도이다.
이미지 센싱부(110)는 임의의 영상을 촬영한다. 본 발명의 일 실시예에서는 CCTV(closed circuit television)가 이용될 수 있다.
객체 인식부(120)는 이미지 센싱부(110)를 통해 촬영된 영상에서 교통 객체(차량 및 보행자)를 인식한다. 여기서, 상기 객체 인식부(120)는, 영상 이미지의 리사이징 및 노이즈 제거와 같은 전처리 과정을 수행할 수 있다.
그리고, 객체 인식부(120)는, Faster RCNN, YOLO, SSD의 심층신경망 객체 검출 알고리즘 중 하나를 이용할 수 있다.
이러한 본 발명의 일 실시예에 따르면, 심층신경망 객체 검출 알고리즘을 이용하는 경우, 엣지 컴퓨팅 HW기술과 심층신경망 경량/고속화 알고리즘 기술로 정확도가 매우 높고 다양한 객체를 검출할 수 있는 효과가 있다.
또한 객체 인식부(120)는, SVM, Decision Tree, Random Forest 머신러닝 기법 중 하나의 기법을 이용할 수 있다.
그리고, 객체 인식부(120)는, MobileNetV1, MobileNetV2, PeleeNet, Tiny-yolov2, Tiny-yolov3의 심층신경망 경량네트워크 중 하나의 기법을 이용할 수 있다.
위치 추정부(130)는 상기 인식된 교통 객체의 위치를 추정한다. 상기 위치 추정부(130)는 이미지 센싱부의 높이 정보 및 GPS 좌표 정보와 상기 인식된 교통 객체의 정보를 이용하여 교통 객체의 좌표 정보를 추정하는 것이 바람직하다.
한편, 위치 추정부(130)는, 상기 인식된 보행자의 위치정보(보행자 위치, 이동방향, 이동속도)를 추적하고, 보행자 별로(보행자 ID 부여) 위치 정보를 추출하는 것이 바람직하다.
위치 추정부(130)는 GPS 좌표 정보가 포함된 카메라의 위치정보, 수직각도 및 수평각도를 포함하는 카메라의 설치정보, 카메라의 초점, 화각 및 화소 정보가 포함된 카메라의 사용정보를 이용하여 카메라에 상대적인 교통 객체의 좌표를 추정할 수 있다.
그리고 데이터 저장부(140)는 교통 객체 검출리스트를 저장 관리할 수 있다. 즉, 데이터 저장부는, 기 설정된 기간동안 교통 객체의 인식 정보를 산출하여 해당 지역(횡단보도 또는 사거리)에서의 교통 객체의 예상 정보를 제공해줄 수도 있다. 또한, 횡단보도의 경우, 신호등 정보와 시간 정보를 이용하여 객체의 이동 성향이 포함된 정보를 저장하고 관리할 수 있다.
일 예로, 도 3에 도시된 바와 같이, 카메라 설치 위치를 원점(0,0,0)으로 설정하고 카메라의 수직각도(θ), 수평각도(φ)알고 있으므로 카메라와 객체와의 직선거리(r)만 찾으면 카메라에 상대적인 교통 객체의 좌표(x, y, z)를 알 수 있다.
[수학식 1]
x = rsinθconφ, y = rsinθsinφ, z = rcosθ
여기서, r은 카메라와 교통 객체와의 직선거리이고, P는 카메라의 높이와 좌표 정보이다. 한편, 직선거리(r)은 삼각비율 공식과 핀홀 카메라 방정식을 이용하여 쉽게 구할 수 있다.
그리고, 도 4에 도시된 바와 같이, 촬영 지면에서 교통 객체와의 거리(d)를 [수학식 2]를 참조하여 산출할 수 있다.
[수학식 2]
여기서, d는 촬영 지면에서 교통 객체와의 거리이고, h는 카메라의 높이이며, α는 카메라의 높이 값에서 교통 객체의 중심점간의 거리이다.
한편, 객체의 GPS 좌표값은 카메라의 GPS 좌표 값을 이용하여 산출할 수 있다. 만약, 카메라의 GPS 좌표 값이 (xc, yc, zc) 이고, 교통 객체인 보행자가 서 있는 바닥면의 좌표가 (xp, yp, zp)이면, [수학식 3]과 같이, 보행자의 GPS 좌표를 산출할 수 있다.
[수학식 3]
xp = xc +dconφ
yp = yc + dsinφ
zp = zc - h = 0
이후, 보행자 추적부(150)는 보행자의 이동방향과 속도를 추출하여 보행자 추적할 수 있다. 여기서 상기 보행자 추적부(150)는 KCF(kernelized colleration filter) 추적기, IOU(intersection of union) 추적기 중 하나이다.
이러한 상기 보행자 추적부(150)는 칼만필터를 결합하여 보행자를 추적할 수 있다.
즉, 보행자 추적부(150)는 도 5에 도시된 바와 같이, 이전 프레임의 보행자 위치가 Pt-1(xt-1, yt-1, 0)이고, 현재 보행자 위치가 Pt(xt, yt, 0)이면, 벡터의 변위 값을 사용하여 이동 방향과 속도를 구할 수 있다.
[수학식 4]
Ax = (xt - xt-1), Ay = (yt - yt-1)이고,
이동방향 θ = tan-1(Ay/Ax)
이동거리 =
이동속도 = * FPS
여기서, FPS는 카메라의 초당 이미지 캡쳐 수를 의미한다.
통신부(140)는 카메라를 통해 산출된 보행자의 위치 정보를 자율주행차에 제공한다. 여기서, 통신부(140)는 RSU 및 관제센터서버와 통신을 수행한다.
본 발명의 일 실시예에 따르면, 교차로 CCTV 카메라에서 보행자를 검출하고 위치정보를 추정하여 보행자의 위치, 이동방향, 속도 정보를 자율주행자동차에 전송함으로써 사각지역의 보행자의 위치를 사전에 파악하고 대응할 수 있는 효과가 있다.
또한, 본 발명은 자율주행자동차 뿐만 아니라 V2X 통신 장치(OBU)를 장착한 차량의 운전자에 보행자 위치 정보를 전송하여 충돌 위험에 대비할 수 있게 해주는 효과가 있다.
이하, 하기에서는 본 발명의 일 실시예에 따른 교통 객체 위치 추정 방법에 대하여 도 6을 참조하여 설명하기로 한다.
기설정된 높이에 설치된 카메라를 통해 임의의 지역(교차로 또는 횡단보도)을 촬영하여 영상 정보를 획득한다(S110).
상기 촬영된 영상에서 교통 객체인 보행자를 인식한다(S120). 본 실시예에서는 Faster RCNN, YOLO, SSD의 심층신경망 객체 검출 알고리즘 중 하나를 이용하여 교통 객체를 인식하거나, SVM, Decision Tree, Random Forest 머신러닝 기법 중 하나의 기법을 이용하여 교통 객체를 인식하거나, MobileNetV1, MobileNetV2, PeleeNet, Tiny-yolov2, Tiny-yolov3의 심층신경망 경량네트워크 중 하나의 기법을 이용하여 교통 객체를 인식할 수 있다. 여기서 교통 객체는 보행자인 것이 바람직하나 자전거, 전동 퀵보드 및 오토바이 등도 교통 객체로 인식할 수 있다.
상기 카메라의 높이 정보와 상기 카메라의 GPS 좌표 정보를 이용하여 상기 인식된 교통 객체의 좌표정보를 추정한다(S130). 일 예로, 도 3에 도시된 바와 같이, 카메라 설치 위치를 원점(0,0,0)으로 설정하고 카메라의 수직각도(θ), 수평각도(φ)를 알고 있으므로, 카메라와 객체와의 직선거리(r)만 찾으면 카메라에 상대적인 교통 객체의 좌표(x, y, z)를 알 수 있다.
그리고, 도 4에 도시된 바와 같이, 촬영 지면에서 교통 객체와의 거리(d)를 [수학식 2]를 참조하여 산출할 수 있다.
한편, 객체의 GPS 좌표값은 카메라의 GPS 좌표 값을 이용하여 산출할 수 있다. 만약, 카메라의 GPS 좌표 값이 (xc, yc, zc) 이고, 교통 객체인 보행자가 서 있는 바닥면의 좌표가 (xp, yp, zp)이면, [수학식 3]과 같이, 보행자의 GPS 좌표를 산출할 수 있다.
이후, 상기 추정된 교통 객체의 이동을 추적한다(S140). 여기서 교통 객체의 이동을 추적하는 단계는 KCF(kernelized colleration filter) 추적기, IOU(intersection of union) 추적기 중 하나가 이용될 수 있으며, 칼만필터를 결합하여 보행자를 추적할 수도 있다.
본 발명의 일 실시예에 따르면, 교차로 CCTV 카메라에서 보행자를 검출하고 위치정보를 추정하여 보행자의 위치, 이동방향, 속도 정보를 자율주행자동차에 전송함으로써 사각지역의 보행자의 위치를 사전에 파악하고 대응할 수 있는 효과가 있다.
또한, 본 발명은 자율주행자동차 뿐만 아니라 V2X 통신 장치(OBU)를 장착한 차량의 운전자에 보행자 위치 정보를 전송하여 충돌 위험에 대비할 수 있게 해주는 효과가 있다.
한편, 도 1을 참조하면 본 발명의 일 실시예에서 통신부(140)는 V2X 통신 장치간 데이터를 송수신한다. 이와 같은 통신부(140)은 무선 통신 모듈을 모두 포함할 수 있다. 무선 통신 모듈은 5G 이동통신 네트워크, WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
메모리에는 보행자를 인식하기 위한 프로그램과 보행자의 이동을 검출하기 위한 프로그램이 저장되며, 프로세서는 메모리에 저장된 프로그램을 실행시킨다.
이때, 메모리는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
참고로, 본 발명의 실시예에 따른 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터를 이용하거나 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터를 이용하거나 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
Claims (10)
- 임의의 영상을 촬영하는 이미지 센싱부;
상기 이미지 센싱부를 통해 촬영된 영상에서 교통 객체를 인식하는 객체 인식부;
상기 인식된 교통 객체의 좌표 정보를 추정하는 위치 추정부 및
상기 추정된 교통 객체의 좌표 정보를 제공하는 통신부를 포함하되,
상기 위치 추정부는,
상기 이미지 센싱부의 높이 정보 및 GPS 좌표 정보와 상기 인식된 교통 객체의 정보를 이용하여 교통 객체의 좌표 정보를 추정하고,
인식된 보행자의 위치정보(보행자 위치, 이동방향, 이동속도)를 추적하고, 보행자 별로(보행자 ID 부여) 위치 정보를 추출하며,
교통 객체 검출리스트와 기 설정된 기간동안 교통 객체의 인식 정보를 산출하여 해당 지역에서의 교통 객체의 예상 정보를 저장 관리하는 데이터 저장부를 포함하는
교통 객체 위치 추정 장치.
- 삭제
- 삭제
- 제 1항에 있어서,
상기 통신부는, RSU(Road Side Unit) 및 관제센터서버와 통신을 수행하는 것인 교통 객체 위치 추정 장치.
- 제 1항에 있어서,
상기 객체 인식부는,
영상 이미지의 리사이징 및 노이즈 제거하는 전처리 과정을 수행하는 것인 교통 객체 위치 추정 장치.
- 제 1항에 있어서,
상기 객체 인식부는,
Faster RCNN, YOLO, SSD의 심층신경망 객체 검출 알고리즘 중 하나를 이용하는 것인 교통 객체 위치 추정 장치.
- 제 1항에 있어서,
상기 객체 인식부는,
SVM, Decision Tree, Random Forest 머신러닝 기법 중 하나의 기법을 이용하는 것인 교통 객체 위치 추정 장치.
- 제 1항에 있어서,
상기 객체 인식부는,
MobileNetV1, MobileNetV2, PeleeNet, Tiny-yolov2, Tiny-yolov3의 심층신경망 경량네트워크 중 하나인 교통 객체 위치 추정 장치.
- 삭제
- 기설정된 높이에 설치된 카메라를 통해 임의의 지역을 촬영하여 영상 정보를 획득하는 단계;
상기 촬영된 영상에서 교통 객체인 보행자를 인식하는 단계;
상기 카메라의 높이 정보와 상기 카메라의 GPS 좌표 정보를 이용하여 상기 인식된 교통 객체의 좌표정보를 추정하는 단계; 및
상기 추정된 교통 객체의 이동을 추적하는 단계를 포함하되,
상기 인식된 교통 객체의 좌표정보를 추정하는 단계는,
상기 카메라의 높이 정보 및 GPS 좌표 정보와 상기 인식된 교통 객체의 정보를 이용하여 교통 객체의 좌표 정보를 추정하고,
인식된 보행자의 위치정보(보행자 위치, 이동방향, 이동속도)를 추적하고, 보행자 별로(보행자 ID 부여) 위치 정보를 추출하며,
교통 객체 검출리스트와 기 설정된 기간동안 교통 객체의 인식 정보를 산출하여 해당 지역에서의 교통 객체의 예상 정보를 저장 관리하는 저장 관리하는 단계를 포함하는
교통 객체 위치 추정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200095542A KR102612438B1 (ko) | 2020-07-30 | 2020-07-30 | 교통 객체 위치 추정 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200095542A KR102612438B1 (ko) | 2020-07-30 | 2020-07-30 | 교통 객체 위치 추정 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220015253A KR20220015253A (ko) | 2022-02-08 |
| KR102612438B1 true KR102612438B1 (ko) | 2023-12-12 |
Family
ID=80251755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200095542A KR102612438B1 (ko) | 2020-07-30 | 2020-07-30 | 교통 객체 위치 추정 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102612438B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001195698A (ja) * | 2000-01-07 | 2001-07-19 | Nissan Motor Co Ltd | 歩行者検知装置 |
| JP2002140790A (ja) * | 2000-10-31 | 2002-05-17 | Natl Inst For Land & Infrastructure Management Mlit | 横断歩行者検出方法 |
| JP2003109169A (ja) * | 2001-09-26 | 2003-04-11 | Mitsubishi Heavy Ind Ltd | 道路情報提供システム |
| KR101935399B1 (ko) * | 2018-07-11 | 2019-01-16 | 주식회사 두원전자통신 | 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템 |
-
2020
- 2020-07-30 KR KR1020200095542A patent/KR102612438B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001195698A (ja) * | 2000-01-07 | 2001-07-19 | Nissan Motor Co Ltd | 歩行者検知装置 |
| JP2002140790A (ja) * | 2000-10-31 | 2002-05-17 | Natl Inst For Land & Infrastructure Management Mlit | 横断歩行者検出方法 |
| JP2003109169A (ja) * | 2001-09-26 | 2003-04-11 | Mitsubishi Heavy Ind Ltd | 道路情報提供システム |
| KR101935399B1 (ko) * | 2018-07-11 | 2019-01-16 | 주식회사 두원전자통신 | 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220015253A (ko) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10970859B2 (en) | Monitoring method and device for mobile target, monitoring system and mobile robot | |
| EP3283843B1 (en) | Generating 3-dimensional maps of a scene using passive and active measurements | |
| Gavrila | Sensor-based pedestrian protection | |
| Pfeiffer et al. | Efficient representation of traffic scenes by means of dynamic stixels | |
| Keller et al. | The benefits of dense stereo for pedestrian detection | |
| Wijesoma et al. | Road-boundary detection and tracking using ladar sensing | |
| US7103213B2 (en) | Method and apparatus for classifying an object | |
| Eum et al. | Enhancing light blob detection for intelligent headlight control using lane detection | |
| Guo et al. | Robust road detection and tracking in challenging scenarios based on Markov random fields with unsupervised learning | |
| Reisman et al. | Crowd detection in video sequences | |
| KR101891460B1 (ko) | 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치 | |
| Gavrila et al. | Real time vision for intelligent vehicles | |
| US20150363940A1 (en) | Robust Anytime Tracking Combining 3D Shape, Color, and Motion with Annealed Dynamic Histograms | |
| US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
| Liu et al. | A novel distance estimation method leading a forward collision avoidance assist system for vehicles on highways | |
| Lefebvre et al. | Vehicle detection and tracking using mean shift segmentation on semi-dense disparity maps | |
| Dornaika et al. | A new framework for stereo sensor pose through road segmentation and registration | |
| WO2019065970A1 (ja) | 車両用外界認識装置 | |
| Taubel et al. | An experimental study of a lane departure warning system based on the optical flow and Hough transform methods | |
| Bajracharya et al. | Results from a real-time stereo-based pedestrian detection system on a moving vehicle | |
| Mosberger et al. | An inexpensive monocular vision system for tracking humans in industrial environments | |
| Ma et al. | A real time object detection approach applied to reliable pedestrian detection | |
| KR102612438B1 (ko) | 교통 객체 위치 추정 장치 및 방법 | |
| KR20170138842A (ko) | 템플릿 매칭 기반의 차량 추적 시스템 및 방법 | |
| KR101340014B1 (ko) | 위치 정보 제공 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |