KR20190080020A - Lane traffic situation judgement apparatus, system, and method thereof - Google Patents
Lane traffic situation judgement apparatus, system, and method thereof Download PDFInfo
- Publication number
- KR20190080020A KR20190080020A KR1020170182181A KR20170182181A KR20190080020A KR 20190080020 A KR20190080020 A KR 20190080020A KR 1020170182181 A KR1020170182181 A KR 1020170182181A KR 20170182181 A KR20170182181 A KR 20170182181A KR 20190080020 A KR20190080020 A KR 20190080020A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- road
- traffic
- vehicle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G06K9/3258—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G06K2209/00—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
Abstract
Description
본 발명은 차선별 교통상황 판단 장치, 시스템, 및 방법에 관한 것으로, 보다 상세하게는 현재 주행 중인 차선의 상황을 촬영한 영상 정보로부터 교통상황에 관련된 오브젝트를 인식하여 차선별 교통상황을 판단할 수 있도록 하는 차선별 교통상황 판단 장치, 시스템, 및 방법에 관한 것이다.[0001] The present invention relates to an apparatus, system and method for determining a lane-by-lane traffic situation. More particularly, the present invention relates to an apparatus, The present invention relates to an apparatus, system,
일반적으로, 교통정보에는 교통의 흐름과 사고, 정체, 공사, 집회시위 등 돌발 상황이 있고, 수집된 교통정보를 이용하여 도로교통의 흐름을 원활하게 하고, 교통사고의 예방을 위하여 설치된 교통신호기의 효율적 운영을 도모하고자 이용되고 있다. 또한, 교통정보는 실시간으로 제공되어야 하는데, 이는 도로교통 흐름, 돌발 상황은 시간에 따라서 지속적으로 변화하기 때문이다. Generally, there are unexpected situations such as traffic flow, accident, congestion, construction, protest demonstration, etc., and traffic information is used to smooth the flow of traffic through the collected traffic information and traffic signals And is being used for efficient operation. In addition, traffic information should be provided in real time because road traffic flow and unexpected situation change continuously with time.
통상적으로 교통정보(또는 교통상황 정보)를 측정하는 시스템은 감시 카메라(CCTV 카메라)가 많은 비중을 차지하며, 상기 감시 카메라(CCTV 카메라)는 차량 번호판을 식별할 수 있게 배치된다.Generally, a surveillance camera (CCTV camera) occupies a large portion of a system for measuring traffic information (or traffic situation information), and the surveillance camera (CCTV camera) is arranged to identify the license plate.
그런데 기존의 교통정보(또는 교통상황 정보)를 판단하는 방식은, 교통상황 정보(예 : 영상 정보)를 수집하는 시스템, 및 이 정보(예 : 영상 정보)를 분석하는 인력으로 이루어진 아날로그 방식으로서, 이와 같이 분석된 교통정보(또는 교통상황 정보)를 방송 또는 교통정보 디스플레이를 통해 알려주고 있다. 따라서 이러한 기존의 교통상황 판단 시스템은 대부분 아날로그 방식이기 때문에 많은 인력과 작업 시간을 필요로 하는 문제점이 있다.The conventional method of determining traffic information (or traffic situation information) is an analog method comprising a system for collecting traffic situation information (for example, image information) and a manpower for analyzing the information (for example, image information) The traffic information (or traffic situation information) analyzed in this manner is reported through broadcasting or traffic information display. Therefore, the existing traffic situation judgment system is mostly analog system, which requires a lot of manpower and work time.
이에 따라 복수의 카메라들로부터 촬영된 도로 영상을 분석하고, 분석 결과에 따라 영상에 포함된 각종 객체(오브젝트)들을 검출하여, 이로부터 교통 상황을 분석하기 위한 장비(예컨대, 영상 분석 서버)가 고가이고 처리할 영상이 증가함에 따라 분석에 어려움이 있고 효율성이 떨어지는 문제점이 있다. 따라서 다수의 카메라들로부터 촬영된 영상들을 분석하여 교통상황을 효율적으로 판단할 수 있도록 하는 방법이 요구되고 있다.Accordingly, a device (e.g., an image analysis server) for analyzing road images photographed from a plurality of cameras, detecting various objects (objects) included in the image according to the analysis results, and analyzing traffic conditions therefrom, And as the image to be processed increases, the analysis becomes difficult and the efficiency becomes poor. Accordingly, there is a need for a method for efficiently determining traffic conditions by analyzing images taken from a plurality of cameras.
본 발명의 배경기술은 대한민국 공개특허 10-2017-0094805호(2017.08.22. 공개, 레이더 및 비디오 카메라 일체형 교통정보 측정 시스템)에 개시되어 있다. The background art of the present invention is disclosed in Korean Patent Laid-Open Publication No. 10-2017-0094805 (published on July 21, 2017, integrated radar and video camera traffic information measurement system).
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 현재 주행 중인 차선의 상황을 촬영한 영상 정보로부터 교통상황에 관련된 오브젝트를 인식하여 차선별 교통상황을 판단할 수 있도록 하는 차선별 교통상황 판단 장치, 시스템, 및 방법을 제공하는데 그 목적이 있다. According to one aspect of the present invention, there is provided a traffic information management system for a vehicle, which is created in order to solve the above-described problems, and recognizes an object related to a traffic situation from image information of a current lane, The present invention provides an apparatus, system, and method for discriminating a traffic situation in a car.
본 발명의 일 측면에 따른 차선별 교통상황 판단 장치는, 교통상황 판단을 위하여, 차량 전방의 영상 정보를 수집하는 카메라부; 상기 차량의 현재 위치를 검출하기 위한 지피에스 신호를 수신하는 지피에스 수신부; 및 상기 카메라부에서 촬영된 복수의 영상을 합성하여 현재 주행중인 차선이나 도로를 인식하고, 현재의 차선이나 도로의 위치 정보와 상기 합성된 영상을 서버에 전송하는 제어부;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for determining a lane-by-lane traffic situation, comprising: a camera unit for collecting image information of a vehicle ahead, A GPS receiver for receiving a GPS signal for detecting a current position of the vehicle; And a control unit for synthesizing a plurality of images photographed by the camera unit, recognizing a lane or a road currently being driven, and transmitting position information of the current lane or road and the synthesized image to a server .
본 발명에 있어서, 상기 카메라부는, 전용 카메라, 감시 카메라(CCTV), 및 휴대 단말기에 장착된 카메라 중 적어도 하나 이상을 포함하며, 상기 휴대 단말기는 스마트폰, 스마트패드, 내비게이션, 및 블랙박스 중 적어도 하나를 포함하는 것을 특징으로 한다.In the present invention, the camera unit may include at least one of a camera, a surveillance camera (CCTV), and a camera mounted on the portable terminal, and the portable terminal may include at least one of a smart phone, a smart pad, And one of them.
본 발명에 있어서, 상기 제어부는, 상기 카메라부의 각 카메라에서 촬영된 영상을 합성하여, 상기 각 카메라 중 어느 하나의 카메라를 이용해 촬영된 영상보다 더 넓은 범위로 확장된 광시야각 영상을 생성하는 것을 특징으로 한다.In the present invention, the control unit combines the images photographed by the respective cameras of the camera unit, and generates a wide viewing angle image that is wider than the photographed images by using any one of the cameras .
본 발명에 있어서, 상기 제어부는, 상기 카메라부의 각 카메라에서 촬영된 영상을 합성하기 위하여, 시간 정보 및 지피에스 정보를 참조하여 영상 동기화를 수행하고, 상기 영상 동기화된 영상을 합성하는 것을 특징으로 한다.In the present invention, the control unit performs image synchronization with reference to time information and the JPEG information in order to synthesize images photographed by each camera of the camera unit, and synthesizes the image-synchronized images.
본 발명에 있어서, 상기 제어부는, 오차 범위 내에서 상기 시간 정보와 지피에스 정보가 동일한 영상을 합성하여, 중복된 객체를 제외한 나머지 객체들이 추가로 포함됨으로써, 영상 입력 범위가 확장된 영상으로 합성하는 것을 특징으로 한다.In the present invention, the control unit may synthesize an image having the same time information and the JPEG information within an error range, and further include the remaining objects excluding the overlapping objects, thereby synthesizing the image with the expanded image input range .
본 발명에 있어서, 상기 서버는, 상기 차선별 교통상황 판단 장치가 전송한 현재 차선이나 도로의 위치 정보와 상기 합성된 영상을 바탕으로 차량이 현재 주행중인 도로가 일반도로인지 고속도로인지 그 도로의 종류를 판단하고, 상기 판단된 도로의 종류에 따른 교통상황을 판단하는 것을 특징으로 한다.In the present invention, the server may be configured to determine whether the road in which the vehicle is currently traveling is an ordinary road or a highway, based on the position information of the present lane or the road transmitted by the lane- And determines a traffic situation according to the determined road type.
본 발명에 있어서, 상기 서버는, 상기 위치 정보에 기초한 차량의 현재 위치가 고속도로이거나 감시 카메라(CCTV)가 설치된 도로인 경우, 상기 감시 카메라(CCTV) 영상을 추가로 참조하여 교통상황을 판단하는 것을 특징으로 한다.In the present invention, when the current position of the vehicle based on the positional information is a highway or a road on which a CCTV is installed, the server further refers to the CCTV image to determine a traffic situation .
본 발명에 있어서, 상기 서버는, 상기 차선별 교통상황 판단 장치가 전송한 위치 정보와 영상 정보를 바탕으로 상기 차량이 주행중인 도로의 교통상황을 판단하고, 이 판단된 교통상황 정보를 내비게이션 장치에 제공하는 서버인 것을 특징으로 한다.In the present invention, the server determines the traffic situation of the road on which the vehicle is running based on the location information and the image information transmitted by the traffic-line-by-traffic-condition determination apparatus, and transmits the determined traffic- And a server that provides the server.
본 발명에 있어서, 상기 차선별 교통상황 판단 장치는, 무선 방식을 이용하여, 상기 서버와 교통상황을 판단하기 위한 위치 정보와 영상 정보를 무선 방식으로 전송하는 통신부;를 더 포함하는 것을 특징으로 한다.In the present invention, the lane-by-line traffic situation determination apparatus may further include a communication unit for wirelessly transmitting location information and image information for determining a traffic situation with the server using a wireless scheme .
본 발명에 있어서, 상기 차선별 교통상황 판단 장치는, 현재 위치 판단 및 경로 판단을 위한 가장 최신 버전의 디지털 지도 정보를 다운로드 받아 저장하는 맵 저장부;를 더 포함하는 것을 특징으로 한다.According to another aspect of the present invention, the traffic situation determination apparatus further includes a map storage unit for downloading and storing the latest version of digital map information for current position determination and path determination.
본 발명의 다른 측면에 따른 차선별 교통상황 판단 방법은, 주행중인 차량의 전방 영상 및 위치 정보를 수집하여 서버에 전송하는 차선별 교통상황 판단 장치와, 상기 전송받은 전방 영상 및 위치 정보를 바탕으로 상기 차량이 주행중인 도로의 교통상황을 판단하는 서버를 포함하는 차선별 교통상황 판단 시스템에서 차선별 교통상황 판단 방법에 있어서, 차선별 교통상황 판단 장치의 제어부가 카메라부의 적어도 하나 이상의 카메라에서 촬영된 영상을 수집하는 단계; 상기 제어부가 시간 정보 및 지피에스 정보를 참조하여 상기 적어도 하나 이상의 카메라에서 촬영된 영상을 합성한 영상을 생성하는 단계; 상기 제어부가 상기 합성된 영상을 처리하고 지도 정보를 참조하여 차선이나 도로를 인식하는 단계; 상기 제어부가 맵 저장부에 저장되어 있는 지도 정보를 참조하여, 현재 차선이나 도로의 위치 정보와 상기 합성된 영상을 상기 서버에 전송하는 단계; 및 상기 서버가 상기 위치 정보와, 상기 합성된 영상을 바탕으로 상기 차량이 주행중인 도로의 교통상황을 판단하는 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a traffic-condition-by-traffic-condition determining method comprising: a traffic-condition-by-traffic-condition determining device for collecting forward image and position information of a vehicle in operation and transmitting the same to a server; A traffic situation determination method for a traffic light in a traffic light condition determination system including a server for determining a traffic situation of a road in which the vehicle is running is characterized in that the controller of the traffic light situation condition determination apparatus comprises: Collecting images; Generating a synthesized image of an image photographed by the at least one camera with reference to the time information and the JPEG information; Processing the combined image and recognizing a lane or road by referring to the map information; Transmitting the synthesized image to the server by referring to the map information stored in the map storage unit; And a step in which the server determines the traffic conditions of the road on which the vehicle is traveling based on the positional information and the synthesized image.
본 발명에 있어서, 상기 카메라부의 적어도 하나 이상의 카메라에서 촬영된 영상을 합성하기 위하여, 상기 제어부는, 시간 정보 및 지피에스 정보를 참조하여 영상 동기화를 수행하고, 상기 동기화된 영상을 합성하여, 상기 적어도 하나 이상의 카메라 중 어느 하나의 카메라를 이용해 촬영된 영상보다 더 넓은 범위로 확장된 광시야각 영상을 생성하는 것을 특징으로 한다.In the present invention, in order to synthesize an image photographed by at least one camera of the camera unit, the control unit performs image synchronization with reference to time information and the JPEG information, synthesizes the synchronized images, And a wide viewing angle image expanded to a wider range than the image captured using any one of the cameras is generated.
본 발명에 있어서, 상기 교통상황을 판단하는 단계에서, 상기 서버는, 상기 차선별 교통상황 판단 장치가 전송한 현재 차선이나 도로의 위치 정보와 상기 합성된 영상을 바탕으로 차량이 현재 주행중인 도로가 일반도로인지 고속도로인지 그 도로의 종류를 판단하고, 상기 위치 정보에 기초한 차량의 현재 위치가 고속도로이거나 감시 카메라(CCTV)가 설치된 도로인 경우, 상기 감시 카메라(CCTV) 영상을 추가로 참조하여 교통상황을 판단하는 것을 특징으로 한다.In the present invention, in the step of determining the traffic situation, the server determines whether the vehicle is currently traveling on the basis of the position information of the present lane or the road, transmitted by the traffic lane- (CCTV) image is additionally referenced when the current position of the vehicle based on the positional information is a highway or a road on which a surveillance camera (CCTV) is installed, .
본 발명에 있어서, 상기 교통상황을 판단하는 단계에서, 상기 서버는, 상기 위치 정보와 상기 합성된 영상 정보를 수신하고, 상기 영상 정보로부터 차량의 화면 점유 비율이 기 설정된 기준 이상이면서 차량의 주행 속도가 기 설정된 기준 이하의 저속인 경우, 상기 차량의 지도상의 위치가 일반도로이면 합성 영상에서 미리 학습된 신호등이나 표지판을 검출하여, 신호등이 있는 구간에서의 정체는 신호등에 의한 대기 시간에 의한 정체인 것으로 판단하고, 신호등이 없고 표지판이 있는 구간에서의 정체는 병목현상에 의한 정체인 것으로 교통상황을 판단하는 것을 특징으로 한다.In the present invention, in the step of determining the traffic situation, the server may receive the position information and the combined image information, and determine, based on the image information, whether the occupancy rate of the vehicle is equal to or greater than a predetermined reference, The traffic lights or signs previously learned in the composite image are detected and the congestion in the section where the traffic lights are present is detected as a congestion due to the waiting time by the traffic lights And the traffic congestion in the section where the traffic light is not present and the sign is present is a congestion due to the bottleneck phenomenon.
본 발명에 있어서, 상기 교통상황을 판단하는 단계에서, 상기 서버는, 현재 위치가 고속도로이거나 감시 카메라(CCTV)가 설치된 도로인 경우, 상기 감시 카메라(CCTV) 영상을 추가로 참조하여 교통상황을 판단하는 것을 특징으로 한다.In the present invention, in the step of determining the traffic situation, when the current location is a highway or a road on which a CCTV is installed, the server further refers to the CCTV image to determine a traffic situation .
본 발명에 있어서, 상기 감시 카메라(CCTV) 영상을 추가로 참조하여 교통상황을 판단함에 있어서, 상기 서버는, 주간의 감시 영상에서 객체를 인식하여, 밀집도나 혼잡도, 시간당 이동거리, 및 이동 방향을 산출하여 교통상황을 판단하고, 야간의 감시 영상에서 헤드라이트나 차체에서 반사되는 빛을 이용해 객체를 인식하여, 밀집도나 혼잡도, 시간당 이동거리, 및 이동 방향을 산출하여 교통상황을 판단하는 것을 특징으로 한다.In the present invention, when the traffic situation is determined by further referring to the CCTV image, the server recognizes the object in the monitoring image during the day, and determines the density, the congestion degree, the moving distance per hour, The traffic situation is determined and the object is recognized using the light reflected from the headlight or the vehicle body in the nightly monitoring image and the traffic situation is determined by calculating the density or the congestion degree, do.
본 발명의 또 다른 측면에 따른 차선별 교통상황 판단 시스템은, 주행중인 차량의 전방 영상 및 위치 정보를 수집하여 서버에 전송하는 차선별 교통상황 판단 장치; 상기 전송받은 전방 영상 및 위치 정보를 바탕으로 상기 차량이 주행중인 도로의 교통상황을 판단하는 서버; 및 상기 서버가 도로의 교통상황을 더 정확하게 판단할 수 있도록 하기 위하여 상기 서버에 감시 카메라(CCTV) 영상을 추가로 제공하는 감시 카메라부;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a lane-specific traffic situation determination system comprising: a lane-specific traffic situation determination device for collecting forward image and position information of a driving vehicle and transmitting the information to a server; A server for determining a traffic condition of a road on which the vehicle is traveling based on the forward image and the position information; And a surveillance camera unit for providing a surveillance camera (CCTV) image to the server so that the server can more accurately determine a traffic situation of the road.
본 발명에 있어서, 상기 서버는, 상기 차선별 교통상황 판단 장치가 전송한 현재 차선이나 도로의 위치 정보와 상기 합성된 영상을 바탕으로 차량이 현재 주행중인 도로가 일반도로인지 고속도로인지 그 도로의 종류를 판단하고, 상기 판단된 도로의 종류에 따른 교통상황을 판단하되, 상기 위치 정보에 기초한 차량의 현재 위치가 고속도로이거나 감시 카메라(CCTV)가 설치된 도로인 경우, 상기 감시 카메라(CCTV) 영상을 추가로 참조하여 교통상황을 판단하는 것을 특징으로 한다.In the present invention, the server may be configured to determine whether the road in which the vehicle is currently traveling is an ordinary road or a highway, based on the position information of the present lane or the road transmitted by the lane- (CCTV) image is added when the current position of the vehicle based on the positional information is a highway or a road on which a CCTV is installed, To determine the traffic situation.
본 발명에 있어서, 상기 서버는, 상기 위치 정보에 기초한 차량의 현재 위치가 일반 도로이고, 상기 영상 정보로부터 차량의 화면 점유 비율이 기 설정된 기준 이상이면서 차량의 주행 속도가 기 설정된 기준 이하의 저속인 경우, 상기 합성 영상에서 미리 학습된 신호등이나 표지판을 검출하여, 신호등이 있는 구간에서의 정체는 신호등에 의한 대기 시간에 의한 정체인 것으로 판단하고, 신호등이 없고 표지판이 있는 구간에서의 정체는 병목현상에 의한 정체인 것으로 교통상황을 판단하는 것을 특징으로 한다.In the present invention, the server may be configured such that the current position of the vehicle based on the positional information is a general road, and that the occupancy rate of the vehicle from the image information is equal to or greater than a predetermined reference and the traveling speed of the vehicle is a low speed In this case, it is judged that the traffic lights or signs previously learned in the composite image are stagnant due to the waiting time due to the traffic lights, and the congestion in the section where the traffic lights are not present is the bottleneck So that the traffic situation is judged.
본 발명의 일 측면에 따르면, 본 발명은 현재 주행 중인 차선의 상황을 촬영한 영상 정보로부터 교통상황에 관련된 오브젝트를 인식하여 차선별 교통상황을 판단할 수 있도록 한다.According to an aspect of the present invention, an object related to a traffic situation is recognized from image information obtained by photographing a current lane of a driving lane so that a lane-by-line traffic situation can be determined.
도 1은 본 발명의 일 실시예에 따른 차선별 교통상황 판단 장치 및 시스템의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 차선별 교통상황 판단 시스템에서 차선별 교통상황 판단 장치의 차선별 교통상황 판단 방법을 설명하기 위한 흐름도.
도 3은 상기 도 1에 있어서, 다중 카메라를 이용하여 전방 영상을 촬영하여 합성하고 이 합성된 영상을 이용하여 차선을 인식하는 방법을 보인 예시도.
도 4는 상기 도 1에 있어서, 설치 위치나 스펙이 다른 적어도 하나 이상의 카메라를 이용하여 취득한 복수의 영상을 하나의 영상으로 합성하여 광시야각 영상을 생성하는 방법을 설명하기 위하여 보인 예시도.
도 5는 본 발명의 일 실시예에 따른 차선별 교통상황 판단 시스템에서 서버의 차선별 교통상황 판단 방법을 설명하기 위한 흐름도.
도 6은 상기 도 5에 있어서, 서버가 차선별 교통상황 판단 장치로부터 수신하는 차선별 위치 정보와 합성된 영상 정보를 보인 예시도.
도 7은 상기 도 5에 있어서, 일반도로에서 신호등이나 표지판을 인식하여 교통상황을 판단하는 방법을 설명하기 위하여 보인 예시도.
도 8은 상기 도 5에 있어서, 고속도로에서 CCTV 감시 영상을 참조하여 교통상황을 판단하는 방법을 설명하기 위하여 보인 예시도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram illustrating a schematic configuration of an apparatus and system for determining a lane-by-lane traffic situation according to an embodiment of the present invention;
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a traffic situation determination system for a traffic lane according to an embodiment of the present invention.
FIG. 3 is an exemplary view showing a method of photographing and synthesizing a forward image using multiple cameras in FIG. 1 and recognizing a lane using the synthesized image. FIG.
FIG. 4 is an exemplary view for explaining a method of generating a wide viewing angle image by combining a plurality of images acquired by using at least one camera having different installation positions or specifications in FIG. 1 into one image. FIG.
FIG. 5 is a flowchart for explaining a traffic situation determination method according to a traffic lane of a server in a lane-based traffic situation determination system according to an embodiment of the present invention.
FIG. 6 is an exemplary view showing the image information synthesized with the position information by the traffic line received from the traffic-situation-by-traffic-condition determination device in FIG. 5;
FIG. 7 is an exemplary view for explaining a method of determining a traffic situation by recognizing a traffic light or a sign on an ordinary road in FIG. 5; FIG.
FIG. 8 is an exemplary diagram for explaining a method of determining a traffic situation by referring to a CCTV surveillance image on a highway in FIG. 5; FIG.
이하, 첨부된 도면을 참조하여 본 발명에 따른 차선별 교통상황 판단 장치, 시스템, 및 방법의 일 실시예를 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an embodiment of an apparatus, system, and method for determining a lane-by-lane traffic situation according to the present invention will be described with reference to the accompanying drawings.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.
도 1은 본 발명의 일 실시예에 따른 차선별 교통상황 판단 장치 및 시스템의 개략적인 구성을 보인 예시도이다.Brief Description of the Drawings Fig. 1 is an exemplary diagram showing a schematic configuration of an apparatus and system for determining a lane-by-lane traffic situation according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 차선별 교통상황 판단 장치(100)는, 카메라부(110), 지피에스 수신부(120), 제어부(130), 통신부(140), 및 맵 저장부(150)를 포함한다. 또한 도 1에 도시된 바와 같이, 차선별 교통상황 판단 시스템은, 상기 차선별 교통상황 판단 장치(100)와 통신하는 서버(210), 및 상기 서버(210)에 감시 영상(즉, CCTV 영상)을 제공하는 감시 카메라부(310)를 포함한다.1, the traffic light
상기 카메라부(110)는 디지털 방식의 이미지 센서(예 : CCD, CMOS 등)를 이용한 카메라로서, 교통상황 판단을 전방 영상 정보를 수집하기 위한 전용 카메라, 및 휴대 단말기(예 : 스마트폰, 스마트패드, 내비게이션, 블랙박스 등)에 장착된 카메라 중 적어도 하나를 포함할 수 있다.The
따라서 상기 카메라부(110)는 적어도 하나 이상의 카메라(즉, 다중 카메라)를 포함할 수 있으며, 상기 카메라부(110)의 각 카메라가 설치된 위치(예 : 차량 천장, 대쉬 보드 등), 또는 각 카메라의 스펙(예 : 렌즈 사양)에 따라 촬영되는 범위가 다를 수 있다(도 3의 (b), 도 4 참조). Therefore, the
도 3은 상기 도 1에 있어서, 다중 카메라를 이용하여 전방 영상을 촬영하여 합성하고 이 합성된 영상을 이용하여 차선을 인식하는 방법을 보인 예시도이다.FIG. 3 is a diagram illustrating a method of photographing a forward image using multiple cameras and synthesizing the images, and recognizing a lane using the synthesized image in FIG.
도 3의 (a)에 도시된 바와 같이, 도로를 주행하고 있는 차량(자차)에 설치된 복수의 카메라, 즉, 설치 위치(예 : 차량 천장, 대쉬 보드 등)나 스펙(예 : 렌즈 사양)이 다른 복수의 카메라를 이용해 촬영된 영상을 광시야각 영상으로 합성하여, 어느 하나의 카메라를 이용해 촬영된 영상보다 더 넓은 범위로 확장시킴으로써, 도 3의 (b)에 도시된 바와 같이, 상기 광시야각 영상을 이용하여 보다 명확하고 쉽게(즉, 좌/우 차선이 모두 하나의 영상에 포함되므로) 차선을 인식할 수 있도록 한다.3 (a), a plurality of cameras installed on a vehicle (a vehicle) traveling on a road, that is, an installation position (e.g., a vehicle ceiling, a dashboard, The image captured using other multiple cameras is converted into a wide viewing angle image 3 (b), it is possible to more clearly and easily (i. E., By using the left / right lane < RTI ID = 0.0 > Are included in one image) so that the lane can be recognized.
도 4는 상기 도 1에 있어서, 설치 위치나 스펙이 다른 적어도 하나 이상의 카메라를 이용하여 취득한 복수의 영상을 하나의 영상으로 합성하여 광시야각 영상을 생성하는 방법을 설명하기 위하여 보인 예시도이다.FIG. 4 is an exemplary view for explaining a method of generating a wide viewing angle image by combining a plurality of images acquired using at least one camera having different installation positions or specifications in FIG. 1 into one image.
가령, 도 4의 (a)에 도시된 바와 같이, 상단(예 : 룸미러 위치)의 블랙박스(가)의 카메라(즉, 제1 카메라)를 이용해 취득한 영상과, 도 4의 (b)에 도시된 바와 같이, 하단(예 : 데쉬보드)의 AVN(Audio Video Navigation)(나) 카메라(즉, 제2 카메라)를 이용해 취득한 영상이 있다고 가정할 때, 상기 제어부(130)는 상기 각 카메라를 이용해 취득한 두 개의 영상(즉, 설치 위치에 따른 촬영 각도와 스펙이 다른 카메라(제1, 제2 카메라)를 이용해 촬영한 각각의 영상)을 합성하여 하나의 광시야각 영상을 생성할 수 있다.For example, as shown in Fig. 4 (a), the image obtained by using the camera of the black box (a) at the top (e.g., the room mirror position) As shown in the figure, when it is assumed that there is a video obtained by using an AVN (Audio Video Navigation) (b) camera (that is, a second camera) at the bottom (e.g., dashboard), the control unit 130 (I.e., each image photographed using cameras (first and second cameras) having different shooting angles and specs depending on the installation position) using the acquired images can be combined to generate one wide viewing angle image.
예컨대, 제1 카메라(카메라1)에서 촬영된 영상에는 보이는 객체(오브젝트)가 제2 카메라(카메라2)에서 촬영된 영상에는 상기 객체(오브젝트)가 보이지 않을 수 있다. 이에 따라 상기 제어부(130)는 상기 카메라부(110)의 각 카메라(다중 카메라)에서 촬영된 영상을 합성하여, 어느 하나의 카메라를 이용해 촬영된 영상보다 더 넓은 범위로 확장된 영상(즉, 광시야각 영상)을 생성한다.For example, the object (object) displayed on the image captured by the first camera (camera 1) may not be displayed on the image captured by the second camera (camera 2). Accordingly, the
이때 상기 제어부(130)는 상기 카메라부(110)의 각 카메라(다중 카메라)에서 촬영된 영상을 합성하기 위하여, 시간 정보 및 지피에스 정보를 참조하여 영상 동기화를 수행한다. 즉, 상기 제어부(130)는 오차 범위 내에서 상기 시간 정보와 지피에스 정보가 동일한 영상을 합성하여, 중복된 객체(예 : 차량, 차선, 주변 시설물 등)를 제외한 나머지 객체들이 추가로 포함된(즉, 영상 입력 범위가 확장된) 영상으로 합성한다.At this time, the
상기 지피에스 수신부(120)는 차량의 현재 위치를 검출하기 위한 지피에스 신호를 수신한다.The
또한 상기 제어부(130)는 상기 어느 하나의 카메라를 이용해 촬영된 영상보다 더 넓은 범위로 확장된 영상(즉, 광시야각 영상)을 합성하고, 이 합성된 영상을 이용하여 차선을 인식하고(도 3의 (a) 참조), 현재 차선(또는 도로)의 위치 정보(즉, 지도상에 매칭되는 정보, 또는 지피에스 정보)와 상기 합성된 영상(전방 영상)을 함께 서버(210)에 전송한다.In addition, the
이에 따라 상기 서버(210)는 상기 차선별 교통상황 판단 장치(100)가 전송한 현재 차선(또는 도로)의 위치 정보(즉, 지도상에 매칭되는 정보, 또는 지피에스 정보)와 상기 합성된 영상(전방 영상)을 바탕으로 교통상황(즉, 일반도로의 교통상황)을 판단한다. 이때 상기 위치 정보에 기초한 차량의 현재 위치가 고속도로인 경우(또는 CCTV가 설치된 도로인 경우), 상기 서버(210)는 감시 카메라부(310)를 통해 촬영된 감시 영상(즉, CCTV 영상)을 참조하여 교통상황을 판단한다.Accordingly, the
상기 통신부(140)는 상기 서버(210)(예 : 교통상황을 판단하고 이 판단된 교통상황 정보를 내비게이션 장치에 제공하는 서버)와 무선 방식으로 통신하여, 현재 차선(또는 도로)의 위치 정보(즉, 지도상에 매칭되는 정보, 또는 지피에스 정보)와 상기 합성된 영상(전방 영상)을 전송한다.The
상기 통신부(140)는 어느 하나의 무선 방식을 이용하여, 상기 서버(210)와 교통상황을 판단하기 위한 정보와 교통상황을 판단한 정보를 상호간에 송수신한다. The
여기서 상기 무선 방식은, 라이파이(LiFi : Light Fidelity), 와이파이(WiFi), 블루투스, NFC(Near Field Communication), 이동통신(3G, 4G, 5G 등), 및 적외선 중 적어도 하나를 이용한 무선 통신 방식을 포함한다. 다만 상술한 무선 방식은 일 예시적으로 기재된 것일 뿐, 무선 통신 방식을 한정시키기 위하여 기재된 것은 아니다. Here, the wireless method may be a wireless communication method using at least one of LiFi (Light Fidelity), WiFi, Bluetooth, NFC (Near Field Communication), mobile communication (3G, 4G, . However, the wireless method described above is only described as an example, and is not described for limiting the wireless communication method.
상기 맵 저장부(150)는 현재 위치 판단 및 경로 판단을 위한 가장 최신 버전의 디지털 지도 정보를 다운로드 받아 저장한다. 이때 상기 디지털 지도 정보는 자율 주행 차량을 위한 고정밀 지도 정보를 포함할 수 있다.The
도 2는 본 발명의 일 실시예에 따른 차선별 교통상황 판단 시스템에서 차선별 교통상황 판단 장치의 차선별 교통상황 판단 방법을 설명하기 위한 흐름도이다.FIG. 2 is a flowchart for explaining a traffic situation determination method according to a lane of a lane-by-lane traffic situation determining device in a lane-by-lane traffic situation determining system according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 차선별 교통상황 판단 장치(100)의 제어부(130)는, 카메라부(110)의 각 카메라(즉, 다중 카메라)에서 촬영된 영상을 수집한다(S101).2, the
그리고 상기 제어부(130)는 시간 정보 및 지피에스 정보를 참조하여, 상기 수집된 각 카메라(즉, 다중 카메라)에서 촬영된 영상을 동기화시키고(S102), 상기 동기화된 영상을 합성하여 어느 하나의 카메라를 이용해 촬영된 영상보다 더 넓은 범위로 확장된 영상(즉, 광시야각 영상)을 생성한다(S103).The
즉, 상기 제어부(130)는 오차 범위 내에서 상기 시간 정보와 지피에스 정보가 동일한 영상을 합성하여, 중복된 객체(예 : 차량, 차선, 주변 시설물 등)를 제외한 나머지 객체들이 추가로 포함된(즉, 영상 입력 범위가 확장된) 영상으로 합성한다.That is, the
또한 상기 제어부(130)는 상기 합성된 영상(즉, 광시야각 영상)을 처리하여 차선(또는 도로)을 인식한다(S104). Also, the
예컨대 상기 제어부(130)는 상기 합성된 영상에서 차선(또는 도로)의 경계를 구분하기 위한 점선이나 실선을 인식한다. 상기와 같이 차선(또는 도로)을 인식함으로써, 해당 차선(또는 도로)을 기준으로 한 차량(또는 자차) 전방의 표지판이나 신호등을 인식할 수 있도록 한다.For example, the
아울러 상기 제어부(130)는 맵 저장부(150)에 저장되어 있는 지도 정보를 참조하여, 현재 차선(또는 도로)의 위치 정보(즉, 지도상에 매칭되는 정보, 또는 지피에스 정보)와 상기 합성된 영상(전방 영상)을 함께 서버(210)에 전송한다(S105).The
이에 따라 상기 서버(210)는 상기 차선별 교통상황 판단 장치(100)가 전송한 현재 차선(또는 도로)의 위치 정보와 상기 합성된 영상(전방 영상)을 바탕으로 교통상황(즉, 일반도로의 교통상황)을 판단하며, 또한 상기 차량의 현재 위치가 CCTV(감시 카메라)가 설치된 도로인 경우(또는 고속도로인 경우), 상기 서버(210)는 감시 영상(즉, CCTV 영상)을 참조하여 교통상황을 판단한다.Accordingly, the
도 5는 본 발명의 일 실시예에 따른 차선별 교통상황 판단 시스템에서 서버의 차선별 교통상황 판단 방법을 설명하기 위한 흐름도이다.FIG. 5 is a flowchart for explaining a traffic situation determination method according to a traffic lane of a server in a lane-based traffic situation determination system according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 서버(210)는 차량(즉, 차량에 장착된 차선별 교통상황 판단 장치)으로부터 현재 차선(또는 도로)의 위치 정보와 상기 합성된 영상(전방 영상) 정보를 수신한다(S201)(도 6 참조).5, the
도 6은 상기 도 5에 있어서, 서버가 차선별 교통상황 판단 장치로부터 수신하는 차선별 위치 정보와 합성된 영상 정보를 보인 예시도이다. FIG. 6 is an exemplary diagram showing the image information combined with the position information by the traffic line received from the traffic-situation-by-traffic-condition determining device in FIG.
다만, 도 6에서는 지도 이미지가 위치 정보로서 영상에 포함된 것으로 도시되어 있으나, 사실상 지도 정보(또는 위치 정보)는 화면상에 보이지 않는 숨겨진 형태의 정보로서 포함될 수 있음에 유의한다.In FIG. 6, it is shown that the map image is included in the image as the position information, but it is noted that the map information (or the position information) can be actually included as hidden information invisible on the screen.
그리고 상기 서버(210)는 상기 수신된 전방 영상에서 차량(즉, 전방 차량)의 화면 점유 비율이 기 설정된 기준(예 : 70%) 이상인지 체크한다(S202).Then, the
상기 체크(S202) 결과, 차량(즉, 전방 차량)의 화면 점유 비율이 기 설정된 기준(예 : 70%) 이상인 경우(S202의 예), 즉, 자차와 그 전방 차량이 가까이 근접한 경우, 상기 서버(210)는 차량(즉, 자차)의 주행 속도가 기 설정된 기준(예 : 10km/h) 이하의 저속인지 체크한다(S203).As a result of the check (S202), if the occupancy rate of the vehicle (that is, the preceding vehicle) is equal to or larger than a preset reference (for example, 70% The
상기 체크(S203) 결과, 차량(즉, 자차)의 주행 속도가 기 설정된 기준(예 : 10km/h) 이하인 경우(S203의 예), 즉, 차량(즉, 자차)이 기준(예 : 10km/h) 이하로 서행하는 경우, 상기 서버(210)는 상기 차량(즉, 자차)의 지도상의 위치를 확인한다(S204).If the driving speed of the vehicle (that is, the vehicle) is less than or equal to a predetermined reference (for example, 10 km / h) (S203) as a result of the check (S203) h), the
상기와 같이 차량(즉, 자차)이 서행하면서 촬영한 전방 영상에서 차량(즉, 전방 차량)의 화면 점유 비율이 기 설정된 기준(예 : 70%) 이상인 경우, 교통상황이 혼잡하여(즉, 대기열 증가) 자차와 전방 차량이 근접한 것을 의미한다.If the occupancy rate of the vehicle (that is, the preceding vehicle) in the forward image photographed while the vehicle (i.e., the vehicle) is moving slowly is equal to or greater than a preset reference (for example, 70%), traffic conditions are congested Increase) means that the vehicle is close to the preceding vehicle.
그런데 상기 대기열 증가가 차량 증가에 의한 대기열 증가인지 아니면 신호등에 의한 일시적인 대기열 증가인지 판단할 필요가 있다.However, it is necessary to judge whether the increase in the queue is an increase in the queue due to an increase in the number of vehicles or an increase in the number of queues due to a traffic light.
따라서 상기 서버(210)는 상기 차량(즉, 자차)의 지도상의 위치를 확인인 결과에 기초하여 일반도로(예 : 시내구간의 도로)인지 아니면 고속도로인지를 체크한다(S205).Accordingly, the
예컨대 상기 일반도로와 고속도로는 각 도로별로 미리 구분해 둘 수 있으며, 통상적으로는 신호등에 의해 차량의 주행을 제어하는 도로 구간이 일반도로이고, 신호등이 설치되지 않고 단지 속도 제한 표지판에 의해서만 차량의 주행을 제어하는 도로 구간이 고속도로이다.For example, the general road and the expressway may be classified in advance for each road. Normally, the road section for controlling the running of the vehicle is a general road, and no signal lamp is installed. Only the speed limit sign Is a highway.
이에 따라, 상기 체크(S205) 결과, 상기 차량(즉, 자차)의 지도상의 위치가 일반 도로인 경우(S205의 예), 상기 서버(210)는 합성 영상(즉, 전방 영상)에서 미리 학습된 신호등이나 표지판을 검출한다(도 7의 (a),(b) 참조)(S206).As a result of the check (S205), when the position on the map of the vehicle (that is, the vehicle) is a general road (YES in S205) A traffic light or a sign is detected (see Figs. 7A and 7B) (S206).
도 7은 상기 도 5에 있어서, 일반도로에서 신호등이나 표지판을 인식하여 교통상황을 판단하는 방법을 설명하기 위하여 보인 예시도이다.FIG. 7 is an exemplary diagram for explaining a method of determining a traffic situation by recognizing a traffic light or a sign on an ordinary road in FIG.
예컨대 상기와 같이 차량(즉, 자차)의 전방에 신호등이나 표지판이 있는지 검출하는 이유는, 신호등의 색상에 따라 차량이 정차되어 있는 구간이 증가하고, 또한 다른 도로 구간으로 빠지는 구간이나 다른 도로 구간에서 합류되는 구간에서 차량이 정차되는 구간이 증가하기 때문이다. 즉, 단지 신호등 대기 시간 동안에만 차량이 정차되는 것인지, 아니면 병목 현상에 의해 도로가 수용할 수 있는 차량수보다 더 많은 차량이 도로에 진입하여 정차되는 것인지를 판단하기 위한 것이다.For example, the reason for detecting the presence of a traffic light or a sign on the front of a vehicle (i.e., a vehicle) as described above is that a section in which the vehicle is stationary is increased according to the color of the traffic light, This is because the interval in which the vehicle stops is increased in the merging section. That is, it is determined whether the vehicle is stopped only during the traffic light wait time, or whether more vehicles than the number of vehicles that the road can accommodate due to the bottleneck are entering and stopping on the road.
따라서 상기 서버(210)는 상기 신호등 및 표지판의 인식 결과(S206)를 바탕으로, 신호등이 있는 구간에서의 정체는 신호등(예 : 빨간색 신호등)에 의한 대기 시간에 의한 정체인 것으로 판단하고, 신호등이 없는 일반도로에서 표지판이 있는 구간에서의 정체는 병목현상에 의한 정체인 것으로 교통상황(즉, 정체 여부)을 판단하는 것이다(S208).Therefore, based on the recognition result (S206) of the signal lamp and the signboard, the
한편 지도상의 차량의 현재 위치를 확인한 결과(S204), 미리 구분된(즉, 미리 분류된) 일반도로가 아닌 경우(즉, 고속도로인 경우), 상기 서버(210)는 현재 위치에 대응하는 감시 영상(즉, CCTV 영상)을 감시 카메라부(310)에 요청하여 수신하고(도 8 참조), 해당 위치에서 상기 수신된 감시 영상(즉, CCTV 영상)을 참조하여 도로 교통상황(즉, 정체 여부)를 판단한다(S208).On the other hand, if the current position of the vehicle on the map is confirmed (S204) and the road is not classified (i.e., classified on a highway) in advance, the
도 8은 상기 도 5에 있어서, 고속도로에서 CCTV 감시 영상을 참조하여 교통상황을 판단하는 방법을 설명하기 위하여 보인 예시도로서, (a)는 주간의 감시 영상에서 객체(오브젝트)를 인식하여, 밀집도(혼잡도), 시간당 이동거리, 및 이동 방향을 산출하는 방법을 보인 예시도이고, (b)는 야간의 감시 영상에서 헤드라이트나 차체에서 반사되는 빛을 이용해 객체(오브젝트)를 인식하여, 밀집도(혼잡도), 시간당 이동거리, 및 이동 방향을 산출하는 방법을 보인 예시도이다.FIG. 8 is a diagram for explaining a method of determining a traffic situation by referring to a CCTV surveillance image on a highway in FIG. 5, where (a) recognizes an object (object) (B) shows an example of a method of calculating a moving distance (a congestion degree), a moving distance per hour, and a moving direction, and (b) recognizing an object (object) using light reflected from a headlight or a body in a nightly monitoring image, The degree of congestion), the moving distance per hour, and the moving direction.
일반도로와 달리 감시 영상(즉, CCTV 영상)을 취득할 수 있는 도로(예 : 고속도로)에서는 객체의 인식을 통해 각 방향 및 차선별, 밀집도(혼잡도)와 시간당 이동거리를 산출하여 교통상황(즉, 정체 여부)를 판단할 수 있다.In a road (eg, a highway) that can acquire a surveillance image (ie, a CCTV image) unlike an ordinary road, it is possible to calculate the traffic situation (ie, , Whether or not it is congested).
즉, 상기 서버(210)는 상기 감시 영상(즉, CCTV 영상)에서 인식한 객체간의 밀집도(혼잡도)와 시간당 이동거리를 산출하고 이 값들과 미리 설정된 기준 값을 비교하여 이 기준 값의 초과 여부를 바탕으로 교통상황(즉, 정체 여부)을 판단하는 것이다(S208).That is, the
상기와 같이 본 실시예는 현재 주행 중인 차선의 상황을 촬영한 영상 정보로부터 교통상황에 관련된 오브젝트를 인식하여(예 : 일반도로에서 전방차량, 신호등, 및 표지판 등을 오브젝트로 인식하고, 고속도로에서 차선별 차량들을 오브젝트로 인식하여) 차선별 교통상황을 판단할 수 있도록 한다.As described above, the present embodiment recognizes an object related to a traffic situation (e.g., recognizes a forward vehicle, a traffic light, a signboard, etc. as an object on an ordinary road) from the image information of the current lane of the current driving situation, And recognizes the screening vehicles as an object) so as to judge the traffic situation according to the traffic.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I will understand the point. Accordingly, the technical scope of the present invention should be defined by the following claims.
100 : 차선별 교통상황 판단 장치 110 : 카메라부
120 : 지피에스 수신부 130 : 제어부
140 : 통신부 150 : 맵 저장부
210 : 서버 310 : 감시 카메라부100: car traffic condition determining device 110:
120: GPS receiver 130:
140: communication unit 150: map storage unit
210: server 310: surveillance camera unit
Claims (19)
상기 차량의 현재 위치를 검출하기 위한 지피에스 신호를 수신하는 지피에스 수신부; 및
상기 카메라부에서 촬영된 복수의 영상을 합성하여 현재 주행중인 차선이나 도로를 인식하고, 현재의 차선이나 도로의 위치 정보와 상기 합성된 영상을 서버에 전송하는 제어부;를 포함하는 것을 특징으로 하는 차선별 교통상황 판단 장치.
A camera unit for collecting image information on the front of the vehicle, for determining a traffic situation;
A GPS receiver for receiving a GPS signal for detecting a current position of the vehicle; And
And a control unit for synthesizing a plurality of images photographed by the camera unit, recognizing a lane or a road currently being driven, and transmitting position information of the current lane or road and the synthesized image to a server Selective Traffic Situation Apparatus.
전용 카메라, 감시 카메라(CCTV), 및 휴대 단말기에 장착된 카메라 중 적어도 하나 이상을 포함하며, 상기 휴대 단말기는 스마트폰, 스마트패드, 내비게이션, 및 블랙박스 중 적어도 하나를 포함하는 것을 특징으로 하는 차선별 교통상황 판단 장치.
The camera system according to claim 1,
Wherein the portable terminal comprises at least one of a camera, a private camera, a surveillance camera (CCTV), and a camera mounted on the portable terminal, the portable terminal including at least one of a smart phone, a smart pad, Selective Traffic Situation Apparatus.
상기 카메라부의 각 카메라에서 촬영된 영상을 합성하여,
상기 각 카메라 중 어느 하나의 카메라를 이용해 촬영된 영상보다 더 넓은 범위로 확장된 광시야각 영상을 생성하는 것을 특징으로 하는 차선별 교통상황 판단 장치.
The apparatus of claim 1,
Wherein the image processing unit synthesizes images photographed by each camera of the camera unit,
Wherein the controller is configured to generate a wide viewing angle image that is wider than a captured image using any one of the cameras.
상기 카메라부의 각 카메라에서 촬영된 영상을 합성하기 위하여,
시간 정보 및 지피에스 정보를 참조하여 영상 동기화를 수행하고, 상기 영상 동기화된 영상을 합성하는 것을 특징으로 하는 차선별 교통상황 판단 장치.
The apparatus of claim 3,
In order to synthesize images photographed by each camera of the camera unit,
Time information, and geospatial information, and synthesizes the image-synchronized images.
오차 범위 내에서 상기 시간 정보와 지피에스 정보가 동일한 영상을 합성하여, 중복된 객체를 제외한 나머지 객체들이 추가로 포함됨으로써, 영상 입력 범위가 확장된 영상으로 합성하는 것을 특징으로 하는 차선별 교통상황 판단 장치.
The apparatus of claim 1,
Wherein the image combining unit synthesizes the image having the same time information and the JPEG information within the error range and further includes the remaining objects excluding the overlapping objects so as to synthesize the image with the expanded image input range, .
상기 차선별 교통상황 판단 장치가 전송한 현재 차선이나 도로의 위치 정보와 상기 합성된 영상을 바탕으로 차량이 현재 주행중인 도로가 일반도로인지 고속도로인지 그 도로의 종류를 판단하고, 상기 판단된 도로의 종류에 따른 교통상황을 판단하는 것을 특징으로 하는 차선별 교통상황 판단 장치.
The server according to claim 1,
Based on the position information of the present lane or the road transmitted by the lane-by-lane traffic situation determining apparatus, and the type of the road based on the synthesized image, whether the road currently being traveled by the vehicle is an ordinary road or an expressway, And the traffic condition according to the type of traffic is determined.
상기 위치 정보에 기초한 차량의 현재 위치가 고속도로이거나 감시 카메라(CCTV)가 설치된 도로인 경우, 상기 감시 카메라(CCTV) 영상을 추가로 참조하여 교통상황을 판단하는 것을 특징으로 하는 차선별 교통상황 판단 장치.
7. The server according to claim 6,
Wherein the traffic situation determination unit further determines a traffic situation by referring to the CCTV image when the current location of the vehicle based on the location information is a highway or a road on which a CCTV is installed, .
상기 차선별 교통상황 판단 장치가 전송한 위치 정보와 영상 정보를 바탕으로 상기 차량이 주행중인 도로의 교통상황을 판단하고, 이 판단된 교통상황 정보를 내비게이션 장치에 제공하는 서버인 것을 특징으로 하는 차선별 교통상황 판단 장치.
The server according to claim 1,
Wherein the server is a server for determining a traffic situation of the road on which the vehicle is running based on the location information and the image information transmitted by the traffic light situation determination apparatus and providing the determined traffic situation information to the navigation device Selective Traffic Situation Apparatus.
무선 방식을 이용하여, 상기 서버와 교통상황을 판단하기 위한 위치 정보와 영상 정보를 무선 방식으로 전송하는 통신부;를 더 포함하는 것을 특징으로 하는 차선별 교통상황 판단 장치.
2. The traffic situation determination apparatus according to claim 1,
Further comprising: a communication unit for wirelessly transmitting location information and image information for determining a traffic situation with the server using a wireless scheme.
현재 위치 판단 및 경로 판단을 위한 가장 최신 버전의 디지털 지도 정보를 다운로드 받아 저장하는 맵 저장부;를 더 포함하는 것을 특징으로 하는 차선별 교통상황 판단 장치.
2. The traffic situation determination apparatus according to claim 1,
Further comprising: a map storage unit for downloading and storing the latest version digital map information for current position determination and path determination.
차선별 교통상황 판단 장치의 제어부가 카메라부의 적어도 하나 이상의 카메라에서 촬영된 영상을 수집하는 단계;
상기 제어부가 시간 정보 및 지피에스 정보를 참조하여 상기 적어도 하나 이상의 카메라에서 촬영된 영상을 합성한 영상을 생성하는 단계;
상기 제어부가 상기 합성된 영상을 처리하고 지도 정보를 참조하여 차선이나 도로를 인식하는 단계;
상기 제어부가 맵 저장부에 저장되어 있는 지도 정보를 참조하여, 현재 차선이나 도로의 위치 정보와, 상기 합성된 영상을 상기 서버에 전송하는 단계; 및
상기 서버가 상기 위치 정보와 상기 합성된 영상을 바탕으로 상기 차량이 주행중인 도로의 교통상황을 판단하는 단계;를 포함하는 것을 특징으로 하는 차선별 교통상황 판단 방법.
And a server for determining a traffic situation of the road on which the vehicle is traveling based on the forward image and the position information transmitted thereto A method for judging a traffic situation according to a traffic lane discrimination system comprising:
Collecting images photographed by at least one camera of the camera unit;
Generating a synthesized image of an image photographed by the at least one camera with reference to the time information and the JPEG information;
Processing the combined image and recognizing a lane or road by referring to the map information;
Transmitting the synthesized image to the server by referring to the map information stored in the map storage unit, the position information of the current lane or road, and the synthesized image; And
And determining the traffic situation of the road on which the vehicle is traveling based on the position information and the synthesized image.
상기 제어부는,
시간 정보 및 지피에스 정보를 참조하여 영상 동기화를 수행하고,
상기 동기화된 영상을 합성하여, 상기 적어도 하나 이상의 카메라 중 어느 하나의 카메라를 이용해 촬영된 영상보다 더 넓은 범위로 확장된 광시야각 영상을 생성하는 것을 특징으로 하는 차선별 교통상황 판단 방법.
The method of claim 11, wherein, in order to synthesize an image photographed by at least one camera of the camera unit,
Wherein,
Time information and the JPEG information,
And synthesizing the synchronized images to generate a wide viewing angle image that is wider than a captured image using one of the at least one cameras.
상기 서버는,
상기 차선별 교통상황 판단 장치가 전송한 현재 차선이나 도로의 위치 정보와 상기 합성된 영상을 바탕으로 차량이 현재 주행중인 도로가 일반도로인지 고속도로인지 그 도로의 종류를 판단하고,
상기 위치 정보에 기초한 차량의 현재 위치가 고속도로이거나 감시 카메라(CCTV)가 설치된 도로인 경우, 상기 감시 카메라(CCTV) 영상을 추가로 참조하여 교통상황을 판단하는 것을 특징으로 하는 차선별 교통상황 판단 방법.
12. The method according to claim 11, wherein, in the step of determining the traffic situation,
The server comprises:
And a control unit for determining the type of the road based on the position information of the current lane or the road transmitted by the lane-specific traffic situation determination apparatus and the road on which the vehicle is currently traveling based on the synthesized image,
Wherein the traffic situation is judged by further referring to the surveillance camera (CCTV) image when the present location of the vehicle based on the location information is a highway or a road on which a surveillance camera (CCTV) is installed .
상기 서버는,
상기 위치 정보와 상기 합성된 영상 정보를 수신하고,
상기 영상 정보로부터 차량의 화면 점유 비율이 기 설정된 기준 이상이면서 차량의 주행 속도가 기 설정된 기준 이하의 저속인 경우,
상기 차량의 지도상의 위치가 일반도로이면 합성 영상에서 미리 학습된 신호등이나 표지판을 검출하여, 신호등이 있는 구간에서의 정체는 신호등에 의한 대기 시간에 의한 정체인 것으로 판단하고, 신호등이 없고 표지판이 있는 구간에서의 정체는 병목현상에 의한 정체인 것으로 교통상황을 판단하는 것을 특징으로 하는 차선별 교통상황 판단 방법.
12. The method according to claim 11, wherein, in the step of determining the traffic situation,
The server comprises:
Receiving the position information and the combined image information,
When the occupancy rate of the vehicle is equal to or higher than a preset reference and the traveling speed of the vehicle is lower than a predetermined reference from the image information,
If the position on the map of the vehicle is a general road, it is detected that the signal lamp or signboard previously learned in the composite image is detected, and the congestion in the section where the traffic light exists is judged to be congested due to the waiting time by the traffic lights. Wherein the traffic congestion is a congestion caused by a bottleneck phenomenon.
상기 서버는,
현재 위치가 고속도로이거나 감시 카메라(CCTV)가 설치된 도로인 경우,
상기 감시 카메라(CCTV) 영상을 추가로 참조하여 교통상황을 판단하는 것을 특징으로 하는 차선별 교통상황 판단 방법.
15. The method according to claim 14, wherein, in the step of determining the traffic situation,
The server comprises:
If the current location is a highway or a road with a surveillance camera (CCTV) installed,
And the traffic condition is determined by further referring to the CCTV image.
상기 서버는,
주간의 감시 영상에서 객체를 인식하여, 밀집도나 혼잡도, 시간당 이동거리, 및 이동 방향을 산출하여 교통상황을 판단하고, 야간의 감시 영상에서 헤드라이트나 차체에서 반사되는 빛을 이용해 객체를 인식하여, 밀집도나 혼잡도, 시간당 이동거리, 및 이동 방향을 산출하여 교통상황을 판단하는 것을 특징으로 하는 차선별 교통상황 판단 방법.
16. The method of claim 15, further comprising the step of:
The server comprises:
It recognizes the objects in the daytime monitoring image, determines the traffic situation by calculating density, congestion, travel distance and movement direction per hour, recognizes the object by using the light reflected from the headlight or the body in the nightly monitoring image, Wherein the traffic situation is determined by calculating the density, the congestion degree, the travel distance per hour, and the travel direction.
상기 전송받은 전방 영상 및 위치 정보를 바탕으로 상기 차량이 주행중인 도로의 교통상황을 판단하는 서버; 및
상기 서버가 도로의 교통상황을 더 정확하게 판단할 수 있도록 하기 위하여 상기 서버에 감시 카메라(CCTV) 영상을 추가로 제공하는 감시 카메라부;를 포함하는 것을 특징으로 하는 차선별 교통상황 판단 시스템.
A traffic-condition-by-traffic-condition determining device for collecting forward image and position information of a vehicle in operation and transmitting the information to a server;
A server for determining a traffic condition of a road on which the vehicle is traveling based on the forward image and the position information; And
And a surveillance camera unit for providing a surveillance camera (CCTV) image to the server so that the server can more accurately determine a traffic situation of the road.
상기 차선별 교통상황 판단 장치가 전송한 현재 차선이나 도로의 위치 정보와 상기 합성된 영상을 바탕으로 차량이 현재 주행중인 도로가 일반도로인지 고속도로인지 그 도로의 종류를 판단하고, 상기 판단된 도로의 종류에 따른 교통상황을 판단하되,
상기 위치 정보에 기초한 차량의 현재 위치가 고속도로이거나 감시 카메라(CCTV)가 설치된 도로인 경우, 상기 감시 카메라(CCTV) 영상을 추가로 참조하여 교통상황을 판단하는 것을 특징으로 하는 차선별 교통상황 판단 시스템.
18. The server of claim 17,
Based on the position information of the present lane or the road transmitted by the lane-by-lane traffic situation determining apparatus, and the type of the road based on the synthesized image, whether the road currently being traveled by the vehicle is an ordinary road or an expressway, The traffic situation according to the type is judged,
(CCTV) image is additionally referenced when the current position of the vehicle based on the positional information is a highway or a road on which a CCTV is installed, .
상기 위치 정보에 기초한 차량의 현재 위치가 일반 도로이고, 상기 영상 정보로부터 차량의 화면 점유 비율이 기 설정된 기준 이상이면서 차량의 주행 속도가 기 설정된 기준 이하의 저속인 경우,
상기 합성 영상에서 미리 학습된 신호등이나 표지판을 검출하여, 신호등이 있는 구간에서의 정체는 신호등에 의한 대기 시간에 의한 정체인 것으로 판단하고, 신호등이 없고 표지판이 있는 구간에서의 정체는 병목현상에 의한 정체인 것으로 교통상황을 판단하는 것을 특징으로 하는 차선별 교통상황 판단 시스템.19. The server of claim 18,
When the current position of the vehicle based on the positional information is a general road and the occupancy rate of the vehicle is equal to or higher than a predetermined reference from the image information and the traveling speed of the vehicle is lower than a predetermined reference,
The traffic lights or signs previously learned in the synthesized image are detected and it is judged that the congestion in the section with the traffic lights is congested due to the waiting time by the traffic lights and the congestion in the section with the traffic lights without the traffic lights is caused by the bottleneck And the traffic situation is judged to be congestion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170182181A KR102418051B1 (en) | 2017-12-28 | 2017-12-28 | Lane traffic situation judgement apparatus, system, and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170182181A KR102418051B1 (en) | 2017-12-28 | 2017-12-28 | Lane traffic situation judgement apparatus, system, and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190080020A true KR20190080020A (en) | 2019-07-08 |
KR102418051B1 KR102418051B1 (en) | 2022-07-07 |
Family
ID=67256521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170182181A KR102418051B1 (en) | 2017-12-28 | 2017-12-28 | Lane traffic situation judgement apparatus, system, and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102418051B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112466112A (en) * | 2019-09-09 | 2021-03-09 | 现代自动车株式会社 | Apparatus and method for generating vehicle data and system |
KR20210059493A (en) * | 2019-11-15 | 2021-05-25 | 한국건설기술연구원 | Lane information generation system by lane |
KR102342003B1 (en) * | 2020-07-22 | 2021-12-23 | (주)하나텍시스템 | Method for detecting lane information using ultra-precision digital map and system for providing traffic information therewith |
KR20220097176A (en) * | 2020-12-31 | 2022-07-07 | 주식회사 피플카 | Vehicle electronic device and method for transmitting driving information of the vehicle according to the moving distance of the vehicle |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06276523A (en) * | 1993-03-17 | 1994-09-30 | Mitsubishi Electric Corp | Surrounding confirming equipment |
KR20110024285A (en) * | 2009-09-01 | 2011-03-09 | 주식회사 한국정보기술단 | Driving information system capable of sharing with camera shooting information |
KR101149756B1 (en) * | 2011-02-16 | 2012-06-01 | 주식회사 네비웨이 | The system for collecting road and traffic data using a moving camera on road network |
KR20160143304A (en) * | 2015-06-05 | 2016-12-14 | 아주대학교산학협력단 | Apparatus for generating traffic information base on image and Method thereof |
KR101750876B1 (en) * | 2015-05-28 | 2017-06-26 | 엘지전자 주식회사 | Display apparatus for vehicle and Vehicle |
-
2017
- 2017-12-28 KR KR1020170182181A patent/KR102418051B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06276523A (en) * | 1993-03-17 | 1994-09-30 | Mitsubishi Electric Corp | Surrounding confirming equipment |
KR20110024285A (en) * | 2009-09-01 | 2011-03-09 | 주식회사 한국정보기술단 | Driving information system capable of sharing with camera shooting information |
KR101149756B1 (en) * | 2011-02-16 | 2012-06-01 | 주식회사 네비웨이 | The system for collecting road and traffic data using a moving camera on road network |
KR101750876B1 (en) * | 2015-05-28 | 2017-06-26 | 엘지전자 주식회사 | Display apparatus for vehicle and Vehicle |
KR20160143304A (en) * | 2015-06-05 | 2016-12-14 | 아주대학교산학협력단 | Apparatus for generating traffic information base on image and Method thereof |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112466112A (en) * | 2019-09-09 | 2021-03-09 | 现代自动车株式会社 | Apparatus and method for generating vehicle data and system |
KR20210059493A (en) * | 2019-11-15 | 2021-05-25 | 한국건설기술연구원 | Lane information generation system by lane |
KR102342003B1 (en) * | 2020-07-22 | 2021-12-23 | (주)하나텍시스템 | Method for detecting lane information using ultra-precision digital map and system for providing traffic information therewith |
KR20220097176A (en) * | 2020-12-31 | 2022-07-07 | 주식회사 피플카 | Vehicle electronic device and method for transmitting driving information of the vehicle according to the moving distance of the vehicle |
Also Published As
Publication number | Publication date |
---|---|
KR102418051B1 (en) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102011618B1 (en) | Automatic drive assist system, automatic drive monitoring device, road management device, and automatic drive information collection device | |
US9747800B2 (en) | Vehicle recognition notification apparatus and vehicle recognition notification system | |
JP5070809B2 (en) | Driving support device, driving support method, and program | |
US7429825B2 (en) | Headlight beam control system and headlight beam control method | |
US20170025008A1 (en) | Communication system and method for communicating the availability of a parking space | |
JP4923736B2 (en) | Road communication system and road communication method | |
KR102418051B1 (en) | Lane traffic situation judgement apparatus, system, and method thereof | |
US20120133738A1 (en) | Data Processing System and Method for Providing at Least One Driver Assistance Function | |
CN110036429B (en) | Driving support system and driving support device | |
JP5365792B2 (en) | Vehicle position measuring device | |
US20170178591A1 (en) | Sign display apparatus and method for vehicle | |
CN113012445A (en) | Intelligent traffic control system and control method thereof | |
JP2007164328A (en) | Vehicle run support system | |
KR20200068776A (en) | Telecommunication service providing method and system for connected & autonomous vehicles | |
KR20200043252A (en) | Overlooking image generation system of vehicle and method thereof | |
JP7187806B2 (en) | Information processing device, system, method, and computer program | |
CN113111682A (en) | Target object sensing method and device, sensing base station and sensing system | |
US11361687B2 (en) | Advertisement display device, vehicle, and advertisement display method | |
KR20150055278A (en) | System and method for collecting traffic information using vehicle radar | |
JP2015210584A (en) | Image processing apparatus | |
KR20090090049A (en) | Apparatus and method for real-time traffic information service | |
JP2009037462A (en) | Traffic information providing system and method | |
JP4961311B2 (en) | Driving support device and driving support method | |
JP5151716B2 (en) | Vehicle travel support system, roadside system, and vehicle side system | |
JP6942913B1 (en) | car |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |