KR101874352B1 - VMS, In-vehicle terminal and intelligent transport system including the same for efficient transmission of traffic information on the road - Google Patents

VMS, In-vehicle terminal and intelligent transport system including the same for efficient transmission of traffic information on the road Download PDF

Info

Publication number
KR101874352B1
KR101874352B1 KR1020170172612A KR20170172612A KR101874352B1 KR 101874352 B1 KR101874352 B1 KR 101874352B1 KR 1020170172612 A KR1020170172612 A KR 1020170172612A KR 20170172612 A KR20170172612 A KR 20170172612A KR 101874352 B1 KR101874352 B1 KR 101874352B1
Authority
KR
South Korea
Prior art keywords
traffic
image
information
unit
vehicle
Prior art date
Application number
KR1020170172612A
Other languages
Korean (ko)
Inventor
최현수
Original Assignee
최현수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최현수 filed Critical 최현수
Priority to KR1020170172612A priority Critical patent/KR101874352B1/en
Application granted granted Critical
Publication of KR101874352B1 publication Critical patent/KR101874352B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G06K9/3258
    • G06Q50/30
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • G06K2209/21
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Analytical Chemistry (AREA)
  • Tourism & Hospitality (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention discloses an in-vehicle terminal for efficient traffic information delivery from a traffic electronic display and a traffic light, and an intelligent traffic system including the same. According to an embodiment of the present invention, the in-vehicle terminal comprises: an input unit which acquires an image photographed by a vehicle; a control unit which recognizes display information of a roadside traffic device including a traffic electronic display and a traffic light from the acquired image, converts the recognized display information into traffic information, determines a dangerous situation from the display information, and generates a danger warning signal; an output unit which outputs the traffic information or the danger warning signal to the inside of a vehicle; a first communication unit which delivers or receives the traffic information or the danger warning signal to/from a control server; and a second communication unit which delivers or receives the traffic information or the danger warning signal to or from surrounding vehicles.

Description

효율적인 교통정보 전달을 위한 교통 전광판과 차내 단말 및 이를 포함하는 지능형 교통 시스템 {VMS, In-vehicle terminal and intelligent transport system including the same for efficient transmission of traffic information on the road}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an intelligent transportation system including a traffic signboard, an in-vehicle terminal, and an intelligent transportation system for efficiently transmitting traffic information,

본 발명은 교통신호 인식 및 전달기술에 관한 것이다.The present invention relates to traffic signal recognition and transmission technology.

차량을 운행하게 되면 주위의 상황, 예를 들어, 도로나 주변차량 또는 보행자들의 흐름을 파악하는 것도 중요하지만, 무엇보다 도로변에 설치된 교통장치를 통해 교통정보를 파악하는 것이 중요하다. 예를 들어, 차량의 진행 방향을 지시하는 교통 신호등의 상태를 주시해야 한다. 운전자가 잠깐 한눈을 팔거나 부주의하여 이러한 신호등을 정확하고 신속하게 인식하지 못할 경우 교통사고로 이어져 차량뿐만 아니라 큰 인명피해도 일으킬 수 있다.It is important to understand the surrounding situation, for example, the flow of roads or nearby vehicles or pedestrians when the vehicle is driven, but it is important to grasp the traffic information through the traffic device installed on the roadside. For example, it is necessary to monitor the state of a traffic light signal indicating the direction of the vehicle. If the driver fails to recognize the traffic light accurately and quickly by selling a sight for a short time or carelessly, it can lead to a traffic accident, which can cause not only a car but also a big loss of life.

도로변에 설치되는 교통장치 중 하나로, 교통 전광판(Variable Message Sign: VMS)이 있다. 교통 전광판은 도로 이용자에게 교통량, 교통사고, 정체구간, 기상상황 및 공사로 인한 통제 등에 대한 실시간 정보를 제공함으로써. 교통 흐름의 효율화와 통행의 안전성을 향상시키기 위한 장비를 말한다.One of the traffic devices installed on the roadside is the Variable Message Sign (VMS). Traffic signboards provide road users with real-time information on traffic volume, traffic accidents, congestion zones, weather conditions and construction controls. It is equipment to improve efficiency of traffic flow and safety of traffic.

이러한 교통 전광판이나 신호등과 같은 도로변 교통장치가 있음에도 운전자의 부주의나 복잡한 교통 환경 등에 따라 사고가 많이 발생한다. 또한 차량이 밀집되는 도심 지역에서와 같이, 주변 차량에 의해 도로변 교통장치의 가림, 카메라 화각의 한계, 원거리의 도로변 교통장치 인식 불가능 등에 의해 도로변 교통장치를 인식하지 못하는 현상이 빈번하게 발생한다.Although there are roadside traffic devices such as traffic signs and traffic lights, many accidents occur due to driver's carelessness and complicated traffic environment. Also, as in the case of a downtown area where vehicles are concentrated, there are frequent occurrences of not recognizing a roadside traffic device due to obstruction of the roadside traffic device, limitation of the camera angle of view, and inability to recognize a remote roadside traffic device.

일 실시 예에 따라, 이와 같은 문제를 해결하기 위해 효율적인 교통정보 전달을 위한 교통 전광판과 차내 단말 및 이를 포함하는 지능형 교통 시스템을 제안한다. 보다 상세하게는 주행 중인 차량 전방의 교통 전광판 및 신호등과 같은 도로변 교통장치를 통해 표시되는 정보를 영상으로 인식 및 분석하여 이를 음성신호, 진동 등의 형태로 사용자에게 전달함에 따라, 운전자가 교통상황이나 위험상황을 실시간으로 정확하게 파악할 수 있고, 위험상황에 사전에 대비할 수 있게 할 수 있는 지능형 교통 시스템을 제안한다.According to an embodiment of the present invention, an intelligent traffic system including a traffic signboard, a vehicle terminal, and an intelligent traffic system for efficiently transmitting traffic information is proposed. More particularly, the present invention relates to a method and apparatus for recognizing and analyzing information displayed through a roadside traffic device such as a traffic signboard and a traffic light in front of a running vehicle, and transmitting the information to a user in the form of a voice signal or vibration. We propose an intelligent transportation system that can accurately grasp the dangerous situation in real time and can prepare for the danger situation in advance.

일 실시 예에 따른 지능형 교통 시스템은 교통 전광판과 신호등 중 적어도 하나를 포함하는 도로변 교통장치와, 도로변 교통장치로부터 표시되는 정보를 인식하고 인식된 표시정보를 가공하여 출력하는 차내 단말을 포함하며, 차내 단말은, 차량에서 촬영된 영상을 획득하는 입력부와, 획득된 영상으로부터 도로변 교통장치의 표시정보를 인식하여 인식된 표시정보를 교통정보로 변환하고 표시정보로부터 위험상황을 판단하여 위험 경보신호를 생성하는 제어부와, 교통정보 또는 위험 경보신호를 차량 내에 출력하는 출력부와, 교통정보 또는 위험 경보신호를 관제서버에 전달하거나 관제서버로부터 전달받는 제1 통신부와, 교통정보 또는 위험 경보신호를 주변차량에 전달하거나 주변차량으로부터 전달받는 제2 통신부를 포함한다.An intelligent traffic system according to an embodiment includes a roadside traffic device including at least one of a traffic light board and a traffic light, an in-vehicle terminal for recognizing information displayed from the roadside traffic equipment and processing and outputting the recognized information, The terminal recognizes the display information of the roadside traffic apparatus from the obtained image, converts the recognized display information into traffic information, determines a dangerous situation from the display information, and generates a danger warning signal A first communication unit for transmitting traffic information or a danger warning signal to the control server or receiving a traffic information or a danger warning signal from the control server, And a second communication unit for receiving the signal from the neighboring vehicle.

출력부는 교통정보 또는 위험 경보신호를 차량 내 사용자에 전달하고, 제1 통신부는 네트워크를 통해 교통정보 또는 위험 경보신호를 관제서버에 제공하여 관제서버를 거쳐 주변차량에 전달하며, 제2 통신부는 주변차량에 직접 교통정보 또는 위험 경보신호를 전달할 수 있다.The output unit transmits traffic information or a danger warning signal to the user in the vehicle. The first communication unit provides the traffic information or the danger warning signal to the control server through the network and transmits the traffic information or the danger warning signal to the surrounding vehicle through the control server. Traffic information or a danger warning signal can be transmitted directly to the vehicle.

일 실시 예에 따른 제어부는, 프레임 단위로 순차적으로 입력되는 영상 데이터의 노이즈를 제거하고 관심영역을 추출하는 전 처리부와, 추출된 관심영역 내에서 색 공간을 분리하고 분리된 색 공간으로부터 색 신호의 색상, 위치 및 형태 중 적어도 하나를 통해 도로변 교통장치의 표시정보를 인식하는 제1 영상 분석부와, 추출된 관심영역을 대상으로 광학적 문자 인식을 통해 도로변 교통장치의 표시정보를 인식하는 제2 영상 분석부와, 제1 영상 분석부 및 제2 영상 분석부 중 적어도 하나를 통해 인식된 표시정보를 교통정보 또는 위험 경보신호로 변환하는 신호 변환부를 포함한다.According to an exemplary embodiment of the present invention, there is provided an image processing apparatus including a preprocessor for removing noise of image data sequentially input on a frame-by-frame basis and extracting a region of interest, a color processing unit for separating a color space in the extracted region of interest, A first image analyzing unit for recognizing the display information of the roadside traffic apparatus through at least one of color, position, and shape, and a second image recognizing display information of the roadside traffic apparatus through optical character recognition on the extracted ROI And a signal conversion unit for converting the recognized display information through at least one of the first image analysis unit and the second image analysis unit to traffic information or a danger warning signal.

제2 영상 분석부는, 영상 프레임 데이터의 관심영역을 비월 주사(interlaced scanning) 형태로 스캔하고 광학적 문자 인식(Optical Character Recognition: OCR)을 통해 도로변 교통장치의 표시정보를 인식할 수 있다.The second image analyzing unit may scan the area of interest of the image frame data in the form of interlaced scanning and recognize the display information of the roadside traffic device through optical character recognition (OCR).

제어부는, 전 처리된 입력 영상 프레임 데이터의 픽셀 별로 위치의 이동을 다르게 하여 이동시키는 영상 워핑을 수행함에 따라 프레임 내 픽셀 간을 보간하여 오류가 제거된 복원 영상 데이터를 생성하고 이를 제1 영상 분석부 및 제2 영상 분석부에 제공하는 영상 워핑부를 더 포함할 수 있다. 영상 워핑부는, 입력 영상의 각 픽셀 V(x,y)을 대상으로 각 제어선 Li에 대하여 입력 영상 픽셀 V(x,y)과 제어선 Li의 수직 교차점의 위치 u를 계산하는 수직 교차점 위치 계산부와, 입력 영상 픽셀 V(x,y)과 제어선 Li의 수직 변위 h를 계산하는 수직 변위 계산부와, 수직 교차점의 위치 u와 수직 변위 h를 이용하여 복원 영상에서의 대응 위치 V'(x',y')를 구하는 대응 픽셀 위치 계산부와, 입력 영상 픽셀 V(x,y)과 제어선 Li 사이의 거리 d를 계산하는 거리 계산부와, 입력 영상 픽셀 V(x, y)와 제어선 Li 사이의 거리 d를 이용하여 제어선의 가중치(weight)를 계산하는 가중치 계산부와, 입력 영상 픽셀 V(x, y)와 복원 영상 픽셀 V' 사이의 변위 값을 구하고 이들의 변위 누적(tx, ty)을 계산하는 누적 계산부와, 계산된 변위 누적(tx, ty)과 제어선의 가중치를 이용하여 입력 영상 픽셀 V(x, y)에 대응되는 복원 영상 픽셀 V(X, Y)의 위치를 계산하고 복원 영상 픽셀 V(X, Y)을 입력 영상 V(x, y) 픽셀에 복사하는 입력 영상 픽셀 위치 계산부를 포함할 수 있다.The control unit interpolates pixels in the frame by performing image warping to move the position of each pixel of the preprocessed input image frame data differently to generate reconstructed image data from which the error has been removed, And an image warping unit for providing the image to the second image analysis unit. The image warping unit calculates a vertical intersection position calculation for calculating the position u of the vertical intersection point of the input image pixel V (x, y) and the control line Li with respect to each control line Li with respect to each pixel V (x, y) (X, y) and a vertical displacement h of the control line Li, and a corresponding position V '((x, y)) in the reconstructed image using the vertical displacement h and the vertical intersection position u. a distance calculator for calculating a distance d between the input image pixel V (x, y) and the control line Li, a distance calculator for calculating a distance d between the input image pixel V (x, y) (X, y) and a reconstructed image pixel V ', and calculates displacement values of the input image pixel V (x, y) and the reconstructed image pixel V' using the distance d between the control line Li x t, y t) to calculate input by using the cumulative calculation unit, and a calculated cumulative displacement (x t, y t) and controlling the weight of the line to zero (X, Y) corresponding to the image pixel V (x, y) and for copying the reconstructed image pixel V (X, Y) to the input image V And a position calculation unit.

신호 변환부는, 표시정보를 교통상황 또는 위험상황을 알리는 텍스트 정보로 변환하고 변환된 텍스트 정보를 음성신호, 영상신호 및 진동신호 중 적어도 하나에 해당하는 출력신호로 변환하여 출력부에 제공할 수 있다. 출력신호는 차량 운전대 또는 차량 의자에서 활성화될 수 있다.The signal conversion unit converts the display information into text information indicating a traffic situation or a dangerous situation, and converts the converted text information into an output signal corresponding to at least one of a voice signal, a video signal, and a vibration signal, and provides the output signal to the output unit . The output signal can be activated in the vehicle steering wheel or in the vehicle chair.

차내 단말은, 교통정보 또는 위험 경보신호를 교통 전광판에 전달하는 제3 통신부를 더 포함하며, 차내 단말이 교통 전광판에 전송하는 정보는 차내 단말이 교통 전광판의 표시정보로부터 얻은 정보와 상이하며, 교통 전광판의 표시정보로부터 얻은 정보를 가공한 정보일 수 있다.The terminal in the vehicle further includes a third communication unit for transmitting traffic information or a danger warning signal to the traffic light board. The information transmitted from the in-vehicle terminal to the traffic light board is different from the information obtained from the display information of the traffic light board, It may be information obtained by processing information obtained from the display information of the electric sign board.

다른 실시 예에 따른 지능형 교통 시스템은, 교통 전광판과 신호등 중 적어도 하나를 포함하는 도로변 교통장치와, 차량에서 촬영된 영상을 획득하고 획득된 영상으로부터 도로변 교통장치에서 표시되는 정보를 인식하여 인식된 표시정보를 교통정보로 변환하고 위험상황이면 위험 경보신호를 생성한 후 교통정보 또는 위험 경보신호를 차량 내에 출력하면서 이를 관제서버에 송신하는 제1 차내 단말과, 제1 차내 단말로부터 교통정보 또는 위험 경보신호를 수신하여 이를 제2 차내 단말에 전달하는 관제서버와, 관제서버로부터 수신된 교통정보 또는 위험 경보신호를 차량 내에 출력하는 제2 차내 단말을 포함한다.According to another aspect of the present invention, there is provided an intelligent traffic system comprising: a roadside traffic device including at least one of a traffic light signboard and a traffic light; an image acquisition unit that recognizes information displayed on the roadside traffic device from the acquired image, A first in-vehicle terminal that converts information into traffic information, generates a danger warning signal in the event of a dangerous situation, and outputs traffic information or a danger warning signal to the control server while transmitting the traffic information or the danger warning signal to the control server; And a second in-vehicle terminal for outputting traffic information or a danger warning signal received from the control server in the vehicle.

또 다른 실시 예에 따른 지능형 교통 시스템은, 교통 전광판과 신호등 중 적어도 하나를 포함하는 도로변 교통장치와, 차량에서 촬영된 영상을 획득하고 획득된 영상으로부터 도로변 교통장치에서 표시되는 정보를 인식하여 인식된 표시정보를 교통정보로 변환하고 위험상황이면 위험 경보신호를 생성한 후 교통정보 또는 위험 경보신호를 차량 내에 출력하면서 제2 차내 단말에 송신하는 제1 차내 단말과, 제1 차내 단말로부터 수신된 교통정보 또는 위험 경보신호를 차량 내에 출력하는 제2 차내 단말을 포함한다.According to another embodiment of the present invention, there is provided an intelligent traffic system comprising: a roadside traffic device including at least one of a traffic light signboard and a traffic light; an image acquisition unit that recognizes information displayed on the roadside traffic device from the acquired image, A first in-vehicle terminal that converts the display information into traffic information, generates a danger warning signal in the event of a dangerous situation, and outputs traffic information or a danger warning signal to the terminal in the second vehicle while outputting the traffic information or the danger warning signal; And an in-vehicle terminal that outputs an information or danger warning signal in the vehicle.

일 실시 예에 따르면, 신호등이나 교통 전광판과 같은 도로변 교통장치의 표시정보를 인식하여 인식된 표시정보를 효율적으로 차량 내 사용자에게 전달할 수 있다. 이때 교통상황을 알리는 교통정보나 위험상황을 알리는 위험 경보신호를 생성하여 전달함에 따라 교통정보를 실시간으로 파악하고 위험상황에 사전에 대비할 수 있게 한다. 또한, 차량 대 인프라, 차량 대 차량 간 통신으로 확장하여 다양한 방식으로 효율적인 정보 전달이 가능하다.According to an embodiment, the display information of the roadside traffic apparatus such as a traffic light or a traffic light board can be recognized and the recognized display information can be efficiently delivered to the in-vehicle user. At this time, traffic information informing the traffic situation and danger warning signal indicating the danger situation are generated and transmitted, so that the traffic information can be grasped in real time and prepared in advance for the dangerous situation. In addition, it can be extended to vehicle-to-infrastructure and vehicle-to-vehicle communications to enable efficient information delivery in a variety of ways.

나아가, 영상 워핑 방법을 통해 입력되는 영상의 캡처 속도만큼 영상 처리 속도를 빠르게 구현할 수 있다. 차량은 매우 빠른 속도로 달리기 때문에 달리는 차 내에서 실시간으로 캡처되는 입력 영상은 화질이 좋지 못하여 왜곡되는 오류가 발생할 수 있다. 일 실시 예에 따르면 입력 영상을 대상으로 영상 워핑을 적용하여 보정하여 오류를 제거함에 따라 복원할 수 있다. 복원된 영상을 대상으로 영상 분석이 이루어지면 입력 영상의 캡쳐 속도에 맞추어 빠른 속도로 영상 분석이 가능하다.Furthermore, the image processing speed can be rapidly realized by the capturing speed of the input image through the image warping method. Since the vehicle runs at a very high speed, the input image captured in real time in the running car may be distorted due to poor image quality. According to an embodiment, image warping is applied to an input image to correct the input image, and the image can be restored by eliminating the error. When the image analysis is performed on the reconstructed image, it is possible to perform the image analysis at a high speed according to the capture speed of the input image.

또한, 비월주사 방식으로 스캔하고 광학적 문자 인식(Optical Character Recognition: OCR)을 수행함에 따라 실시간으로 정확도가 높은 데이터를 얻을 수 있다. 즉, 입력된 이미지 정보를 비월 주사 형태로 스캔하여 광학적 문자 인식(OCR)을 수행함으로써 보다 빠른 속도로 처리할 수 있으며, 정확도가 매우 높은 데이터를 얻을 수 있다.In addition, by scanning in the interlaced scanning mode and performing optical character recognition (OCR), data with high accuracy can be obtained in real time. In other words, by performing the optical character recognition (OCR) by scanning the input image information in the interlaced scanning mode, it is possible to process at a higher speed, and highly accurate data can be obtained.

도 1은 본 발명의 일 실시 예에 따른 지능형 교통 시스템의 구성도,
도 2는 본 발명의 일 실시 예에 따른 도 1의 차내 단말의 세부 구성도,
도 3은 본 발명의 일 실시 예에 따른 도 2의 제어부의 세부 구성도,
도 4는 본 발명의 일 실시 예에 따른 도 3의 영상 워핑부의 세부 구성도,
도 5a 내지 도 5e는 본 발명의 일 실시 예에 영상 워핑 방법을 설명하기 위한 참조도,
도 6은 본 발명의 일 실시 예에 따른 차내 단말을 이용한 효율적인 교통정보 전달방법을 도시한 흐름도이다.
FIG. 1 is a block diagram of an intelligent traffic system according to an embodiment of the present invention.
FIG. 2 is a detailed configuration diagram of an in-vehicle terminal of FIG. 1 according to an embodiment of the present invention;
FIG. 3 is a detailed configuration diagram of the control unit of FIG. 2 according to an embodiment of the present invention,
FIG. 4 is a detailed configuration diagram of the image warping unit of FIG. 3 according to an embodiment of the present invention,
FIGS. 5A through 5E are views for explaining an image warping method according to an embodiment of the present invention;
6 is a flowchart illustrating an efficient traffic information transmission method using an in-vehicle terminal according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. , Which may vary depending on the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.Each block of the accompanying block diagrams and combinations of steps of the flowcharts may be performed by computer program instructions (execution engines), which may be stored in a general-purpose computer, special purpose computer, or other processor of a programmable data processing apparatus The instructions that are executed through the processor of the computer or other programmable data processing equipment will generate means for performing the functions described in each block or flowchart of the block diagram.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible for the instructions stored in the block diagram to produce an article of manufacture containing instruction means for performing the functions described in each block or flowchart of the flowchart.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.And computer program instructions may be loaded onto a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible that the instructions that perform the data processing equipment provide the steps for executing the functions described in each block of the block diagram and at each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.Also, each block or step may represent a portion of a module, segment, or code that includes one or more executable instructions for executing the specified logical functions, and in some alternative embodiments, It should be noted that functions may occur out of order. For example, two successive blocks or steps may actually be performed substantially concurrently, and it is also possible that the blocks or steps are performed in the reverse order of the function as needed.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the following embodiments of the present invention may be modified into various other forms, and the scope of the present invention is not limited to the embodiments described below. The embodiments of the present invention are provided to enable those skilled in the art to more fully understand the present invention.

도 1은 본 발명의 일 실시 예에 따른 지능형 교통 시스템의 구성도이다.1 is a configuration diagram of an intelligent traffic system according to an embodiment of the present invention.

도 1을 참조하면, 지능형 교통 시스템(Intelligent Transport System: ITS)(1)은 차내 단말(2), 도로변 교통장치(3), 관제서버(4) 및 네트워크 장치(5)를 포함한다. 도 1의 실시 예는 본 발명의 이해를 돕기 위해 3개의 차내 단말(2-1,2-2,2-3), 2개의 도로변 교통장치(3-1,3-2) 및 2개의 네트워크 장치(5-1,5-2)를 도시하였으나, 각 구성요소의 개수 및 배치는 이에 한정되는 것은 아니다.1, an intelligent transport system (ITS) 1 includes an in-vehicle terminal 2, a roadside traffic apparatus 3, a control server 4, and a network apparatus 5. The embodiment of FIG. 1 includes three in-vehicle terminals (2-1, 2-2, 2-3), two roadside traffic apparatuses (3-1, 3-2) and two network apparatuses (5-1, 5-2). However, the number and arrangement of the respective components are not limited thereto.

차내 단말(2)은 차량 내에 구비되는 단말기이다. 차내 단말(2)은 차량에서 촬영된 영상을 획득한다. 이를 위해, 차내 단말(2)은 카메라와 같은 영상촬영장치를 포함하거나 외부의 영상촬영장치와 연결될 수 있다. 외부의 영상촬영장치는 예를 들어 블랙박스에 탑재된 카메라일 수 있다. 영상촬영장치는 차량 전방을 연속적으로 촬영함으로써, 도로변에 설치된 도로변 교통장치를 포함하는 영상을 획득할 수 있다. 이 입력 받는 영상은 주행 중에 지속적으로 받게 되고, 단일 프레임 단위로 받을 수 있다. 프레임이란 동영상을 이루는 짧은 시간에 찍히는 사진으로, 영상처리에서 영상은 통상 프레임 단위로 처리된다.The in-vehicle terminal 2 is a terminal provided in the vehicle. The in-vehicle terminal 2 acquires an image photographed in the vehicle. To this end, the in-vehicle terminal 2 may include a video image pickup device such as a camera or may be connected to an external video image pickup device. The external image capturing apparatus may be, for example, a camera mounted on a black box. The image photographing apparatus can acquire an image including the roadside traffic apparatus installed on the road side by continuously photographing the front of the vehicle. The input image is continuously received during driving and can be received in a single frame unit. A frame is a picture taken in a short time which forms a moving picture. In the image processing, an image is usually processed in a frame unit.

도로변 교통장치(3)는 도로변에 설치되어 교통상황을 알리는 장치로서, 교통 전광판(Variable Message Sign: VMS)(3-1)과 신호등(3-2)을 포함한다. 교통 전광판(VMS)(3-1)은 도로의 교통 혼잡 교차로 등에서 교통정보를 문자와 그래픽 형태로 제공하는 전자장치이다. 교통정보는 예를 들어, 도로 소통 상황, 도착 소요 시간, 교통 예보, 위험 상황, 기상 상황 등이다. 도로 소통 상황은 교통량, 교통사고, 정체현황, 공사 등이 있다. 신호등(3-2)은 자동차 신호등, 보행자 신호등일 수 있다. 신호등(3-2)을 통해 표시되는 신호는 빨강(정지 표시), 녹색(건넘 표시)과 같은 색상으로 이루어질 수 있고, 좌회전, 직진 등의 방향을 나타내는 화살표 모양으로 이루어질 수도 있으며, 다른 신호로 바뀌기 전까지의 잔여시간 정보를 알려주는 숫자 형태로 이루어질 수도 있다.The roadside traffic device 3 is a device installed on the road side to notify a traffic situation and includes a traffic light sign (VMS) 3-1 and a traffic light 3-2. A traffic signboard (VMS) (3-1) is an electronic device that provides traffic information in text and graphics form at traffic congestion intersections of roads and the like. Traffic information is, for example, road traffic situation, arrival time, traffic forecast, risk situation, and weather conditions. Road traffic conditions include traffic volume, traffic accidents, traffic congestion, and construction. The traffic lights (3-2) may be automobile traffic lights, pedestrian traffic lights, and the like. The signal displayed through the traffic light 3-2 may be a color such as red (stop display), green (threshold display), an arrow indicating the direction of left turn, straight ahead, etc., Or may be in the form of a number indicating the remaining time information before.

차내 단말(2)은 이러한 다양한 형태의 교통 전광판(VMS)(3-1) 및 신호등(3-2)에 표시되는 신호를 인식하여 인식한 표시신호를 교통정보로 변환한다. 표시신호는 교통 전광판(VMS)(3-1), 신호등(3-2) 등을 통해 보이는 문자나 신호 등을 포함한다. 교통정보로부터 위험상황임을 인식하면 위험 경보신호를 생성할 수 있다. The in-vehicle terminal 2 recognizes the signals displayed on the various types of traffic light display boards (VMS) 3-1 and 3-2 and converts the recognized display signals into traffic information. The display signal includes characters or signals that are visible through the traffic light display (VMS) 3-1, the traffic light 3-2, or the like. If traffic information identifies a dangerous situation, a danger warning signal can be generated.

차내 단말(2)은 교통정보, 위험 경보신호 등을 자동으로 전달하여 각종 사고를 줄이고, 소통을 원활하게 하는 지능형 교통 서비스를 제공한다. 차내 단말(2)은 이러한 교통정보, 위험 경보신호를 다양한 방법으로 전달한다. 예를 들어, 전달방법은 차내 단말(2)이 설치된 차량 내에서 음성신호나 진동 등의 형태로 사용자에 전달하는 방법, 네트워크를 통해 관제서버(4)에 전달하고 관제서버(4)를 통해 주변차량에 전달하는 방법, 주변차량에 직접 전달하는 방법 등이 있다.The in-vehicle terminal 2 provides an intelligent transportation service that automatically transmits traffic information, a danger warning signal, etc. to reduce various incidents and smooth communication. The in-vehicle terminal 2 transmits the traffic information and the danger warning signal in various ways. For example, the delivery method is a method of delivering to a user in the form of a voice signal or vibration in a vehicle in which the terminal 2 is installed in the vehicle, a method of delivering it to the control server 4 via the network, How to deliver it to a vehicle, and how to deliver it directly to a nearby vehicle.

일 실시 예에 따른 차내 단말(2)은 V2X를 지원하다. 예를 들어, 차내 단말(2)은 차량 대 인프라 간 통신(V2I: Vehicle To Infra)을 지원한다. 차량 대 인프라 간 통신에 의하면, 차내 단말(2)과 도로에 설치된 네트워크 장치(5) 등의 인프라를 통해 외부, 예를 들어 관제서버(4)와 실시간 교통상황, 돌발상황, 교통류 제어상태 등의 정보를 교환한다. 교통상황은 사고, 공사, 교통량 등일 수 있다. 다른 예로 차내 단말(2)은 차량 대 차량 간 통신(V2V: Vehicle To Vehicle)을 지원한다. 차량 대 차량 간 통신에 의하면, 전방 교통정보, 차량끼리 전후방 상황, 차간 거리, 주행속도, 추돌 경보 등의 정보를 주고받는다.The in-vehicle terminal 2 according to one embodiment supports V2X. For example, the in-vehicle terminal 2 supports vehicle to infra (V2I). According to the vehicle-to-infrastructure communication, the real time traffic situation, the unexpected situation, the traffic flow control status, and the like with the outside, for example, the control server 4 through the infrastructure such as the terminal 2 in the vehicle and the network device 5 installed in the road Exchange information. Traffic conditions can be accident, construction, traffic volume, and so on. As another example, the in-vehicle terminal 2 supports vehicle to vehicle (V2V). According to the vehicle-to-vehicle communication, information such as forward traffic information, front and rear situations between the vehicles, the headway distance, the traveling speed, and the collision alert are exchanged.

관제서버(4)는 사전에 등록된 차내 단말(2)과 연결되어, 차내 단말(2)을 모니터링 및 제어하며, 차내 단말(2) 간에 정보를 전달하는 역할도 수행한다. 관제서버(4)가 원격에 위치하는 경우, 네트워크 장치(5)를 통해 차내 단말(2)과 네트워크 연결된다. 차내 단말(2) 간에 정보를 전달하는 경우를 예로 들면, 관제서버(4)는 제1 차내 단말(2-1)로부터 수신된 교통정보 또는 위험 경보신호를 제2 차내 단말(2-2)에 전달한다. 관제서버(4)가 차내 단말(2)로부터 영상을 수신하는 경우 수신 영상에 기반하여 교통정보 또는 위험 경보를 생성하고 이를 차내 단말(2)에 제공할 수도 있다. 예를 들어, 제1 차내 단말(2-1)로부터 수신된 영상을 분석하여 도로변 교통장치(3)의 표시정보를 인식하고 인식된 표시정보를 교통정보로 변환하고 위험상황이면 위험 경보신호를 생성한다. 그리고 생성된 교통정보 또는 위험 경보를 제1 차내 단말(2-1)에 전달한다. 나아가, 주변의 차내 단말(2-2,2-3)에 이를 전달할 수도 있다.The control server 4 is connected to a previously registered in-vehicle terminal 2 to monitor and control the in-vehicle terminal 2 and to transmit information between the in-vehicle terminals 2. When the control server 4 is located remotely, it is connected to the terminal 2 in the vehicle via the network device 5. For example, in the case where information is transmitted between terminals 2 in the vehicle, the control server 4 transmits traffic information or a danger warning signal received from the first terminal 2-1 to the second terminal 8-2 . When the control server 4 receives an image from the in-vehicle terminal 2, it can generate traffic information or a danger warning based on the received image and provide it to the terminal 2 in the vehicle. For example, it analyzes the image received from the first terminal (2-1) to recognize the display information of the roadside traffic apparatus (3), converts the recognized display information into traffic information, and generates a danger warning signal do. And transmits the generated traffic information or danger warning to the first terminal (2-1). Further, it may transmit it to the in-vehicle terminals 2-2 and 2-3.

네트워크 장치(5)는 차내 단말(2)과 관제서버(4) 간을 연결해 주는 장치로서, 예를 들어, 셀룰러 베이스스테이션(Cellular BS), 와이파이 액세스 포인트(Wi-Fi AP) 등이 있다. 또는 도로에 설치된 센서일 수 있으며, 이 경우 센서 네트워크를 통해 관제서버(4)는 차내 단말(2)과 연결된다.The network device 5 is a device for connecting the terminal 2 and the control server 4, for example, a cellular base station, a Wi-Fi AP, and the like. Or a sensor installed on the road. In this case, the control server 4 is connected to the terminal 2 in the vehicle through the sensor network.

V2I 기반 지능형 교통 시스템(1)은 차내 단말(2)과 관제서버(4) 간 통신을 통해 교통정보 또는 위험 경보신호를 전달한다. 예를 들어, 제1 차내 단말(2-1)은 차량에서 촬영된 영상을 획득하고 획득된 영상으로부터 도로변 교통장치(3) 표시정보를 인식하여 인식된 표시정보를 기반으로 교통정보 또는 위험 경보신호를 생성하여 차 내에 출력한다. 이때, 제1 차내 단말(2-1)은 획득된 영상 또는 생성된 교통정보 또는 위험 경보신호를 관제서버(4)에 송신한다. 관제서버(4)는 제1 차내 단말(2-1)로부터 영상, 교통정보 또는 위험 경보신호를 수신하고, 영상을 획득하면 획득된 영상으로부터 교통정보 또는 위험 경보신호를 생성하며, 수신되거나 생성된 교통정보 또는 위험 경보신호를 주변 차내 단말(2-2,2-3)에 송신한다. 주변 차내 단말(2-2,2-3)은 관제서버(4)로부터 수신된 교통정보 또는 위험 경보신호를 차량 내에 차 내에 출력한다.The V2I-based intelligent traffic system 1 transmits traffic information or a danger warning signal through communication between the terminal 2 and the control server 4. For example, the first terminal (2-1) acquires an image photographed by the vehicle, recognizes the roadside traffic apparatus (3) display information from the obtained image, and displays traffic information or a danger warning signal And outputs it to the car. At this time, the first terminal (2-1) transmits the obtained image or generated traffic information or a danger warning signal to the control server (4). The control server 4 receives the video, traffic information or danger warning signal from the first terminal 2-1, generates traffic information or a danger warning signal from the acquired image when the video is acquired, And transmits traffic information or a danger warning signal to the terminals 2-2 and 2-3 in the nearby cars. The terminals 2-2 and 2-3 in the nearby vehicles output traffic information or a danger warning signal received from the control server 4 in the vehicle.

V2V 기반 지능형 교통 시스템(1)은 차내 단말(2) 간에 교통정보 또는 위험 경보신호를 전달한다. 예를 들어, 제1 차내 단말(2-1)은 차량에서 촬영된 영상을 획득하고 획득된 영상으로부터 획득된 영상으로부터 도로변 교통장치(3) 표시정보를 인식하여 인식된 표시정보를 기반으로 교통정보 또는 위험 경보신호를 생성하고 이를 차량 내에 출력하면서 주변 차내 단말(2-2,2-3)에 송신한다. 주변 차내 단말(2-2,2-3)은 제1 차내 단말(2-1)로부터 수신된 교통정보 또는 위험 경보신호를 차 내에 출력한다.The V2V-based intelligent traffic system (1) transmits traffic information or danger warning signals between terminals (2) in the vehicle. For example, the first terminal (2-1) acquires an image photographed by the vehicle, recognizes the roadside traffic apparatus (3) display information from the image obtained from the obtained image, and displays the traffic information Or a danger warning signal, and transmits it to the terminals 2-2 and 2-3 in the vicinity of the vehicle while outputting the signal in the vehicle. The terminals 2-2 and 2-3 in the nearby vehicles output traffic information or a danger warning signal received from the first terminal 2-1 in the car.

도 2는 본 발명의 일 실시 예에 따른 도 1의 차내 단말의 세부 구성도이다.FIG. 2 is a detailed configuration diagram of the in-vehicle terminal of FIG. 1 according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 차내 단말(2)은 입력부(20), 제어부(22), 출력부(24), 제1 통신부(26-1), 제2 통신부(26-2), 제3 통신부(26-3) 및 메모리(28)를 포함한다.1 and 2, the in-vehicle terminal 2 includes an input unit 20, a control unit 22, an output unit 24, a first communication unit 26-1, a second communication unit 26-2, 3 communication unit 26-3 and a memory 28. [

입력부(20)는 사용자 명령을 입력받아 이를 제어부(22)에 제공한다. 또한 입력부(20)는 운행차량 전방의 영상을 획득한다. 이때, 입력부(20)는 카메라를 통해 영상을 직접 획득할 수 있고, 카메라부터 촬영된 영상을 입력받을 수도 있다. 카메라는 운행차량의 내부 또는 외부에 배치되어 정면을 촬영하여 영상을 획득한다. 카메라는 예를 들어 일반적인 내비게이션 시스템, 차량용 블랙박스 시스템 등에 사용되는 카메라와 동일한 카메라를 포함할 수 있다.The input unit 20 receives a user command and provides it to the controller 22. The input unit 20 also acquires an image of the front of the driving vehicle. At this time, the input unit 20 can directly acquire an image through a camera, and can also receive a captured image from a camera. The camera is placed inside or outside the vehicle to capture the image of the front. The camera may include the same camera as the camera used, for example, in a common navigation system, a vehicle black box system, and the like.

출력부(24)는 제어부(22)에 의해 처리된 정보, 제1 통신부(26-1), 제2 통신부(26-2)를 통해 수신된 정보를 차량 내에 출력한다. 정보는 교통정보 또는 위험 경보신호일 수 있다. 출력 형태는 음성신호, 영상신호, 진동 형태일 수 있다. 음성신호는 경고 음을 포함할 수 있으며, 스피커를 통해 출력된다. 영상신호는 디스플레이장치를 통해 화면에 표시된다. 진동의 경우, 차량 운전대 또는 차량 의자에서 진동을 발생하여 사용자에 전달할 수 있다. 음성신호로 출력되는 교통정보의 예로는, "전방 20m 안전거리 유지하세요", "교통이 혼잡하니 경로를 우회하세요.", '우회도로는 00입니다.", "돌발상황입니다. 급정거하세요." 등이 있을 수 있다. 위험 상황은 차량 또는 주변차량에 위험 경보신호를 즉각적으로 전달하여 위험한 상황에 사전 대응하도록 하기 위함이다.The output unit 24 outputs the information processed by the control unit 22 and the information received through the first communication unit 26-1 and the second communication unit 26-2 in the vehicle. The information can be traffic information or a danger warning signal. The output format may be a voice signal, a video signal, or a vibration type. The voice signal may include a warning tone and is output through a speaker. The video signal is displayed on the screen through the display device. In the case of vibration, vibration can be generated from the vehicle steering wheel or the vehicle chair and transmitted to the user. Examples of traffic information output by voice signals include "Keep safe distance 20m ahead", "Bypass the route because traffic is congested", "Bypass road is 00", "It is an unexpected situation. Please stop. "The danger situation is to immediately transmit a danger warning signal to the vehicle or a nearby vehicle to proactively respond to a dangerous situation.

제어부(22)는 입력부(20)에 의해 획득된 영상으로부터 도로변 교통장치(3)의 표시정보를 인식하고 인식된 표시정보를 교통정보로 변환한다. 그리고 인식된 표시정보가 위험상황이면 위험 경보신호를 생성한다. 제어부(22)의 세부 구성은 도 3을 참조로 하여 후술한다.The control unit 22 recognizes the display information of the roadside traffic apparatus 3 from the image acquired by the input unit 20 and converts the recognized display information into traffic information. And generates a critical alarm signal if the recognized indication information is in a dangerous situation. The detailed configuration of the control unit 22 will be described later with reference to Fig.

제1 통신부(26-1)는 관제서버(4)와 통신하는 모듈이고, 제2 통신부(26-2)는 주변차량과 통신하는 모듈이다. 예를 들어, 제1 통신부(26-1)는 교통정보나 위험 경보신호를 관제서버(4)와 송수신한다. 제2 통신부(26-2)는 교통정보 또는 위험 경보신호를 주변차량에 전달하거나 주변차량으로부터 전달받는다. 제3 통신부(26-3)는 차내 단말(2)과 VMS(3-2) 간에 직접 통신하는 모듈이다. 일반적으로 VMS(3-2)는 관제서버(4)의 제어에 의해 관제서버(4)로부터 정보를 받아 이를 출력하는데, 차내 단말(2)이 VMS(3-2)와의 통신을 통해 VMS(3-2)에 정보를 제공할 수 있다. 예를 들어, 차량이 주변차량과의 통신을 통해 사고가 발생하여 긴박한 상황임을 인식하면, 이를 관제서버(4)를 거치지 않고 직접 VMS(3-2)에 전송할 수 있다. VMS(3-2)의 표시정보로부터 얻는 교통정보는 차내 단말(2)이 VMS(3-2)에 전송하는 정보와 다를 수 있다. 예를 들어, 차내 단말(2)이 VMS(3-2)에 전송하는 정보는 VMS(3-2)의 표시정보로부터 얻은 교통정보를 가공한 정보일 수 있다. 가공은 차내 단말(2)이 현장에서 직접 얻을 수 있는 정보를 반영하여 이루어질 수 있다.The first communication unit 26-1 is a module that communicates with the control server 4, and the second communication unit 26-2 is a module that communicates with nearby vehicles. For example, the first communication unit 26-1 transmits traffic information or a danger warning signal to / from the control server 4. The second communication unit 26-2 transmits traffic information or a danger warning signal to the surrounding vehicles or receives the signals from the surrounding vehicles. The third communication unit 26-3 is a module that directly communicates between the in-vehicle terminal 2 and the VMS 3-2. The VMS 3-2 receives information from the control server 4 under the control of the control server 4 and outputs the information to the VMS 3-2 via the communication with the VMS 3-2, -2). ≪ / RTI > For example, if a vehicle recognizes that an accident occurs due to communication with a nearby vehicle and is in an urgent situation, the vehicle can directly transmit it to the VMS 3-2 without going through the control server 4. The traffic information obtained from the display information of the VMS 3-2 may be different from the information transmitted from the in-vehicle terminal 2 to the VMS 3-2. For example, the information transmitted from the in-vehicle terminal 2 to the VMS 3-2 may be information obtained by processing the traffic information obtained from the display information of the VMS 3-2. The processing can be performed by reflecting the information that the terminal 2 in the vehicle can directly obtain from the field.

일 실시 예에 따른 차내 단말(2)은 다양한 방법으로 교통정보 또는 위험 경보신호를 전달한다. 예를 들어, 출력부(24)는 교통정보 또는 위험 경보신호를 차량 내 사용자에 전달하고, 제1 통신부(26-1)는 네트워크를 통해 교통정보 또는 위험 경보신호를 관제서버에 전달하여 관제서버(4)를 거쳐 주변차량에 전달하며, 제2 통신부(26-2)는 주변차량에 직접 교통정보 또는 위험 경보신호를 전달한다.The in-vehicle terminal 2 according to an embodiment transmits traffic information or a danger warning signal in various ways. For example, the output unit 24 transmits traffic information or a danger warning signal to a user in the vehicle, and the first communication unit 26-1 transmits traffic information or a danger warning signal to the control server through the network, The second communication unit 26-2 transmits the traffic information or the danger warning signal directly to the surrounding vehicle through the first communication unit 4 and the second communication unit 26-2.

메모리(28)는 차내 단말(2)에서 동작 수행을 위해 필요한 정보와 동작 수행에 따라 생성되는 정보가 저장된다. 메모리(28)에는 입력부(20)를 통해 입력받은 영상에서 도로변 교통장치(3)의 표시정보를 인식하기 위해 도로변 교통장치(3)의 형상 패턴, 색 패턴, 신호 패턴 등의 패턴 정보가 저장될 수 있다. 이때, 제어부(22)는 입력받은 영상 데이터와 메모리(28)에 저장된 패턴 정보를 비교하여 교통정보를 인식할 수 있다. 예를 들어, 제어부(22)는 영상 데이터와 신호등 패턴을 비교하여 전방에 존재하는 신호등을 검출하고, 신호등 검출 시 영상 데이터로부터 검출된 색 패턴과 메모리(28)에 저장된 신호등의 색 패턴을 비교하여 색을 인지하고, 신호등 패턴과 색에 의해 신호를 판단하며, 판단된 신호와 검출된 방향지시등 방향과 일치하면 진행방향에 따른 주행방향을 안내하는 안내정보를 생성하여 출력부(24)를 통해 출력한다.The memory 28 stores information necessary for performing operations in the in-vehicle terminal 2 and information generated according to the performance of the operations. The memory 28 stores pattern information such as a shape pattern, a color pattern, and a signal pattern of the roadside traffic apparatus 3 in order to recognize the display information of the roadside traffic apparatus 3 from the image received through the input unit 20 . At this time, the control unit 22 can recognize the traffic information by comparing the inputted image data with the pattern information stored in the memory 28. [ For example, the control unit 22 compares the image data with a traffic light pattern to detect a traffic light existing in front of the vehicle, compares the color pattern detected from the image data with the color pattern of the traffic light stored in the memory 28 Generates guidance information for guiding the driving direction according to the traveling direction, and outputs the guide information to the output unit 24 through the output unit 24 do.

도 3은 본 발명의 일 실시 예에 따른 도 2의 제어부의 세부 구성도이다.3 is a detailed configuration diagram of the control unit of FIG. 2 according to an embodiment of the present invention.

도 1 내지 도 3을 참조하면, 제어부(22)는 전 처리부(220), 영상 분석부(222) 및 신호 변환부(226)를 포함하며, 영상 워핑부(224)를 더 포함할 수 있다. 영상 분석부(222)는 제1 영상 분석부(222-1)와 제2 영상 분석부(222-2)를 포함할 수 있다.1 to 3, the control unit 22 may include a pre-processing unit 220, an image analysis unit 222, and a signal conversion unit 226, and may further include an image warping unit 224. The image analyzing unit 222 may include a first image analyzing unit 222-1 and a second image analyzing unit 222-2.

전 처리부(220)는 입력받은 영상 데이터를 전 처리하여 노이즈를 제거한다. 예를 들어, 휘도가 너무 밝거나 어두운 경우 이를 보정하고, 노이즈 제거작업 등을 수행할 수 있다. 또한, 이미지 데이터 중에서 불필요한 상하, 좌우, 마진(margin) 측 영역을 제거하여 관심영역(Region Of Interest: ROI)만을 추출할 수 있다. 영상촬영장치는 주행 중인 차량의 전방을 촬영하고 있으므로, 도로변 교통장치(3)는 화면 상부에 위치하게 될 확률이 높다. 따라서 전 처리부(220)는 입력받은 프레임이 첫 번째 프레임이거나 직전 프레임에서 도로변 교통장치(3)가 검출되지 않았다면 입력받은 프레임의 Y축 방향의 1/2 지점보다 상부를 관심영역으로 지정할 수 있다.The pre-processing unit 220 preprocesses the input image data to remove noise. For example, when the luminance is too bright or dark, it can be compensated and a noise removing operation or the like can be performed. In addition, unnecessary top, bottom, right and left marginal regions can be removed from the image data to extract ROI only. Since the image capturing apparatus captures the front of the vehicle in motion, there is a high probability that the roadside traffic apparatus 3 will be located in the upper portion of the screen. Therefore, if the input frame is the first frame or the roadside traffic device 3 is not detected in the immediately preceding frame, the pre-processing unit 220 can designate the upper part of the inputted frame as the region of interest above the half-point in the Y-axis direction.

이전 프레임에서 도로변 교통장치(3)가 검출되었으면, 이전 프레임에서 도로변 교통장치(3)가 검출된 영역보다 미리 정해진 범위만큼 확장된 영역을 관심영역으로 지정할 수 있다. 이전 프레임에서 검출된 도로변 교통장치(3)의 영역보다 확장되는 이유는, 주행하는 차량에서 정면에 촬영되는 도로변 교통장치(3)의 크기는 도로변 교통장치(3)와 차량 사이의 거리가 줄어들수록 커지기 때문이다. 확장되는 길이나 확장되는 방식은 차량의 속도, 카메라의 해상도 및 기타 요인에 의해 변경될 수 있다.If the roadside traffic device 3 has been detected in the previous frame, it is possible to designate an area extended by a predetermined range from the area where the roadside traffic device 3 is detected in the previous frame as the area of interest. The size of the roadside traffic apparatus 3 photographed in front of the traveling vehicle is smaller than that of the roadside traffic apparatus 3 as the distance between the roadside traffic apparatus 3 and the vehicle is reduced It is because it grows. The way of extending or extending can be changed by the speed of the vehicle, the resolution of the camera, and other factors.

제1 영상 분석부(222-1)는 추출된 관심영역 내에서 색 공간(Color Space)을 분리하고 분리된 색 공간으로부터 색 신호의 색상, 위치 및 형태 중 적어도 하나를 통해 도로변 교통장치(3)의 표시정보를 인식한다. 예를 들어, 제1 영상 분석부(222-1)는 입력된 영상 프레임 데이터에서 5개의 색 공간(Yellow, Red, Green, White, Blue)을 분리한다. 나아가, 분리 단계에서, 색 공간을 RGB(Red: 빨강, Green: 초록, Blue: 파랑) 영역에서 HSL(Hue: 색상, Saturation: 채도, Lightness: 명도) 영역으로 변환할 수 있다. 모든 영상촬영장치가 외부의 색깔을 인지하는 방법으로 RGB를 사용하지만, RGB는 밝기 및 명암을 제대로 표현하지 못할 수 있으므로, 도로변 교통장치(3)의 색깔을 보다 효과적으로 검출하기 위해 RGB 영역을 HSL 영역으로 변경할 수 있다. 색 공간을 RGB 영역에서 HSL 영역으로 바꾸는 수식은 공지된 방식을 사용한다.The first image analyzing unit 222-1 separates the color space within the extracted ROI and extracts the color space from the separated color space through at least one of the color, As shown in FIG. For example, the first image analyzing unit 222-1 separates five color spaces (Yellow, Red, Green, White, and Blue) from the input image frame data. Furthermore, in the separation step, the color space can be converted from the RGB (Red: Green: Green: Blue) region to the HSL (Hue: Saturation: Saturation: Lightness) region. However, in order to more effectively detect the color of the roadside traffic device 3, the RGB region is referred to as the HSL region . The formula for changing the color space from the RGB area to the HSL area uses a known method.

제1 영상 분석부(222-1)의 표시정보 인식의 예를 들면, 촬영한 영상 내에서 신호등(3-2)을 인식하고, 인식된 신호등(3)에 의해 점등된 램프의 색채를 읽어들인다. 즉, 신호등(3-2)에 켜진 색상(빨강, 녹색, 황색 등)을 감지한다. 또한, 녹색 신호의 경우, 그것이 좌회전 신호인지 여부도 녹색 신호의 모양을 감지하여 구별함으로써 차량 전방의 신호등(3-2)의 표시정보를 인식한다.For example, in the case of recognizing the display information of the first image analyzing unit 222-1, the signal lamp 3-2 is recognized in the photographed image, and the color of the lamp illuminated by the recognized signal lamp 3 is read . That is, it detects a color (red, green, yellow, etc.) that is illuminated in the traffic light 3-2. In the case of a green signal, whether or not it is a left-turn signal is also recognized by recognizing the shape of the green signal and recognizing the display information of the traffic light 3-2 in front of the vehicle.

제2 영상 분석부(222-2)는 추출된 관심영역을 대상으로 광학적 문자 인식을 통해 도로변 교통장치(3)의 표시정보를 인식한다. 예를 들어, 교통 전광판(3-1)에 표시되는 신호를 광학적 문자 인식을 통해 식별한다. 일 실시 예에 따른 제2 영상 분석부(222-2)는 영상 프레임 데이터의 추출된 관심영역을 비월 주사(interlaced scanning) 방식으로 스캔하고 광학적 문자 인식(Optical Character Recognition: OCR)을 통해 도로변 교통장치(3)의 표시정보를 인식한다. 비월 주사 방식은 하나의 화면을 주사하는 데 한 줄 건너 두 번의 주사로 전체의 면을 주사하는 방식인데, 정확한 정보를 실시간으로 데이터로 인식하기 위해, 입력된 이미지 정보를 비월 주사 형태로 스캔하여 광학적 문자 인식(OCR)을 수행함으로써 보다 빠른 속도로 처리할 수 있으며, 정확도가 매우 높은 데이터를 얻을 수 있다.The second image analyzing unit 222-2 recognizes the display information of the roadside traffic apparatus 3 through optical character recognition on the extracted ROI. For example, the signal displayed on the traffic light board 3-1 is identified through optical character recognition. The second image analyzing unit 222-2 according to an embodiment scans the extracted region of interest of the image frame data by an interlaced scanning method and transmits the image data to the roadside traffic apparatus through Optical Character Recognition (OCR) And recognizes the display information of the display device (3). In the interlaced scanning method, the entire surface is scanned by scanning two lines in a row in order to scan one screen. In order to recognize accurate information as data in real time, the input image information is scanned in an interlaced scanning manner, By performing character recognition (OCR), processing can be performed at a higher speed, and highly accurate data can be obtained.

신호 변환부(226)는 제1 영상 분석부(222-1) 및 제2 영상 분석부(222-2)를 통해 인식된 표시정보를 교통정보로 변환하고, 표시정보로부터 위험상황이 인식되면 위험 경보신호를 생성한다. 교통정보나 위험 경보신호는 차 내에 출력된다. 일 실시 예에 따른 신호 변환부(226)는 표시정보를 교통상황 또는 위험상황을 알리는 텍스트 정보로 변환하고 변환된 텍스트 정보를 음성신호, 경고음 또는 진동신호 중 적어도 하나로 변환하여 출력부(24)에 제공한다. 텍스트를 음성으로 변환하는 기술은 문자 음성 변환(Text To Speech: TTS) 기술을 이용하여 문자를 음성으로 바꿔 스피커를 통해 출력할 수 있다. 경고음 또는 진동신호는 차량 운전대 또는 차량 의자에서 활성화될 수 있다. 예를 들어, 위험상황이 발생하면 차량 의자에 진동을 주어 사용자가 위험상황임을 즉각적으로 감지하게 한다.The signal converting unit 226 converts the recognized display information into traffic information through the first image analyzing unit 222-1 and the second image analyzing unit 222-2, And generates an alarm signal. Traffic information and danger warning signals are output in the car. The signal converting unit 226 converts the display information into text information indicating a traffic situation or a dangerous situation, converts the converted text information into at least one of a voice signal, a warning sound, and a vibration signal, and outputs the converted text information to the output unit 24 to provide. Text to speech technology can convert text to speech using a text to speech (TTS) technique and output it through a speaker. The beep or vibration signal may be activated in the vehicle steering wheel or in the vehicle chair. For example, when a dangerous situation occurs, the vehicle chair may be vibrated so that the user is immediately aware of the danger.

위험상황 경보의 예를 들면, 차량의 교통 전광판에 표시되는 문자로부터 근방의 "○○ 지역 사고 발생"이라는 문자를 인식한 경우, 즉각 위험 경보신호를 생성하고 이를 차량 또는 주변차량에 즉각적으로 전달하여 위험한 상황에 사전 대응할 수 있게 한다. 전달 방법으로는, 경고음을 출력할 수 있고 차량 의자에 진동을 가할 수 있으며, 경고음과 진동을 함께 전달할 수도 있다. 또한, "전방 20m 안전거리 유지하세요", "교통이 혼잡하니 경로를 우회하세요.", '우회도로는 00입니다.", "돌발상황입니다. 급정거하세요." 등의 음성신호를 출력할 수도 있다. 다른 예로, 차량의 전방에 위치하는 신호등이 원형의 녹색이고, 차량이 정차중이며, 차량의 방향 전환 신호가 좌향 신호가 아닌 모든 경우를 경보신호를 발하는 조건으로 판단하여 위험 경보신호를 생성한다. 이로써, 차량의 운전자는 신호등의 적색 신호를 받고 정지해 있는 상황에서 신호등이 녹색 신호로 바뀌었음에도 불구하고 부주의하게 이를 인식하지 못한 상황으로부터 벗어날 수 있다. 또 다른 예로, 신호등에 표시된 숫자를 잔여시간으로 인식하여, 잔여시간을 음성신호로 출력할 수 있다.For example, in the case of a dangerous situation alarm, when a character "O.J.A. area accident occurred" is recognized from a character displayed on a traffic signboard of a vehicle, a danger warning signal is immediately generated and immediately transmitted to the vehicle or a nearby vehicle Allows you to proactively respond to dangerous situations. As a delivery method, a warning sound can be outputted, a vibration can be applied to a vehicle chair, and a warning sound and vibration can be transmitted together. Also, please keep a safe distance of 20m in front of you, please avoid the route because traffic is congested, and the bypass road is 00. Quot ;, " Please stop suddenly. "In another example, if the signal lamp located in front of the vehicle is a circular green, the vehicle is stationary, and the directional signal of the vehicle is not a left- The driver of the vehicle receives the red signal of the traffic light and stops in a situation where the traffic light is changed to a green signal in a situation where the vehicle is stationary, As another example, the number displayed in the traffic light can be recognized as the remaining time, and the remaining time can be output as a voice signal.

영상 워핑부(224)는 입력 영상 프레임 데이터의 픽셀 별로 위치의 이동을 다르게 하여 이동시키는 영상 워핑(Image warping)을 수행함에 따라 프레임 내 픽셀 간을 보간하여 복원 영상 데이터를 생성한다. 영상 워핑은 픽셀의 위치를 이동하는 기하학적 처리 중의 한 기법이다. 영상의 확대나 축소와 같은 기하학적 처리는 모든 픽셀에 대하여 일정한 규칙을 적용함으로써 균일한 반환 결과를 얻는다. 이에 비해, 영상 워핑은 픽셀별로 이동 정도를 달리할 수 있어서, 고무판 위에 그려진 영상을 임의대로 구부리는 것과 같은 효과를 나타낼 수 있다. 이미지 분석 처리가 실시간으로 이루어지지 위해서는, 입력되는 영상의 캡처 속도만큼 처리 속도도 빨라야 하는 기술적인 시간 제약이 있는데, 영상 워핑부(224)의 영상 워핑을 통해 이러한 문제를 해결하고자 한다. 즉, 차량은 매우 빠른 속도로 달리기 때문에 달리는 차 내에서 실시간으로 캡처되는 입력 영상은 화질이 좋지 못하여 왜곡되는 오류가 발생할 수 있다. 일 실시 예에 따른 영상 워핑부(224)는 입력 영상을 대상으로 영상 워핑을 적용하여 보정하여 오류를 제거함에 따라 복원할 수 있다. 복원된 영상을 대상으로 영상 분석이 이루어지면 입력 영상의 캡쳐 속도에 맞추어 빠른 속도로 영상 분석이 가능하다. The image warping unit 224 performs image warping for moving the position of the input image frame data by pixels differently, thereby generating restored image data by interpolating pixels in the frame. Image warping is one technique of geometric processing that moves the position of a pixel. Geometric processing, such as enlargement or reduction of an image, obtains a uniform return result by applying a constant rule for all pixels. On the other hand, image warping can vary the degree of movement for each pixel, so that it can have the same effect as bending an image drawn on a rubber plate arbitrarily. In order to perform the image analysis processing in real time, there is a technical time restriction that the processing speed must be fast as much as the capturing speed of the input image. To solve this problem through image warping of the image warping part 224. That is, since the vehicle runs at a very high speed, an input image captured in real time in a running car may be distorted due to poor image quality. The image warping unit 224 according to an embodiment can correct the input image by applying image warping to the input image, and recover the image by eliminating the error. When the image analysis is performed on the reconstructed image, it is possible to perform the image analysis at a high speed according to the capture speed of the input image.

영상 워핑부(224)는 전 처리부(220)를 통해 전 처리된 영상을 입력받아 영상 워핑을 수행하여 오류를 제거하고 오류가 제거된 복원 영상을 영상 분석부(222)에 제공한다. 영상 워핑부(224)의 세부 구성은 도 4를 참조로 하여 후술한다.The image warping unit 224 receives the preprocessed image through the pre-processing unit 220, performs image warping to remove the error, and provides the reconstructed image with the error removed to the image analysis unit 222. The detailed configuration of the image warping unit 224 will be described later with reference to FIG.

도 4는 본 발명의 일 실시 예에 따른 도 3의 영상 워핑부의 세부 구성도이다.4 is a detailed configuration diagram of the image warping unit of FIG. 3 according to an embodiment of the present invention.

도 4를 참조하면, 영상 워핑부(224)는 수직 교차점 위치 계산부(2240), 수직 변위 계산부(2241), 대응 픽셀 위치 계산부(2242), 거리 계산부(2243), 가중치 계산부(2244), 누적 계산부(2245) 및 입력 영상 픽셀 위치 계산부(2246)를 포함한다.4, the image warping unit 224 includes a vertical intersection position calculation unit 2240, a vertical displacement calculation unit 2241, a corresponding pixel position calculation unit 2242, a distance calculation unit 2243, a weight calculation unit A cumulative calculation unit 2245, and an input image pixel position calculation unit 2246.

수직 교차점 위치 계산부(2240)는 입력 영상의 각 픽셀 V(x,y)을 대상으로 각 제어선 Li에 대하여 입력 영상 픽셀 V(x,y)과 제어선 Li의 수직 교차점의 위치 u를 계산한다. 수직 변위 계산부(2241)는 입력 영상 픽셀 V(x,y)과 제어선 Li의 수직 변위 h를 계산한다. 대응 픽셀 위치 계산부(2242)는 수직 교차점의 위치 u와 수직 변위 h를 이용하여 복원 영상에서의 대응 위치 V'(x',y')를 구한다. 거리 계산부(2243)는 입력 영상 픽셀 V(x,y)과 제어선 Li 사이의 거리 d를 계산한다. 가중치 계산부(2244)는 입력 영상 픽셀 V(x, y)와 제어선 Li 사이의 거리 d를 이용하여 제어선의 가중치(weight)를 계산한다. 누적 계산부(2245)는 입력 영상 픽셀 V(x, y)와 복원 영상 픽셀 V' 사이의 변위 값을 구하고 이들의 변위 누적(tx, ty)을 계산한다. 입력 영상 픽셀 위치 계산부(2246)는 누적 계산부(2245)에서 계산된 변위 누적(tx, ty)과 제어선의 가중치를 이용하여 입력 영상 픽셀 V(x, y)에 대응되는 복원 영상 픽셀 V(X, Y)의 위치를 계산하고 복원 영상 픽셀 V(X, Y)을 입력 영상 V(x, y) 픽셀에 복사한다.The vertical intersection position calculation unit 2240 calculates the position u of the vertical intersection of the input image pixel V (x, y) and the control line Li with respect to each control line Li with respect to each pixel V (x, y) of the input image do. The vertical displacement calculation unit 2241 calculates the vertical displacement h of the input image pixel V (x, y) and the control line Li. The corresponding pixel position calculation unit 2242 obtains a corresponding position V '(x', y ') in the reconstructed image using the position u and the vertical displacement h of the vertical intersection point. The distance calculator 2243 calculates the distance d between the input image pixel V (x, y) and the control line Li. The weight calculation unit 2244 calculates the weight of the control line using the distance d between the input image pixel V (x, y) and the control line Li. The cumulative calculation unit 2245 obtains a displacement value between the input image pixel V (x, y) and the reconstructed image pixel V 'and calculates the displacement accumulation (t x , t y ) thereof. Input image pixel position calculating section (2246) is reconstructed image pixels corresponding to the displacement accumulation (t x, t y), and using a control weight of the line input image pixel V (x, y) calculated in the cumulative calculation section (2245) The position of V (X, Y) is calculated and the restored image pixel V (X, Y) is copied to the input image V (x, y) pixel.

도 5a 내지 도 5e는 본 발명의 일 실시 예에 영상 워핑 방법을 설명하기 위한 참조도이다. 세부적으로, 도 5a는 제어선 내부에 존재하는 수직 교차점을 구하는 방법을 설명하기 위한 복원영상 및 입력영상을 도시한 참조도, 도 5b는 제어선 외부에 존재하는 수직 교차점을 구하는 방법을 설명하기 위한 복원영상 및 입력영상을 도시한 참조도, 도 5c는 픽셀과 제어선의 거리를 구하는 방법을 설명하기 위한 참조도, 도 5d는 점과 제어선 사이의 수직 교차점의 위치 계산을 설명하기 위한 참조도, 도 5e는 픽셀의 수직 변위 계산 프로세스를 설명하기 위한 참조도이다.5A to 5E are reference views for explaining an image warping method according to an embodiment of the present invention. 5A is a reference view showing a reconstructed image and an input image for explaining a method of finding a vertical intersection point existing in a control line, and FIG. 5B is a view for explaining a method of obtaining a vertical intersection point existing outside the control line FIG. 5C is a reference diagram for explaining a method of calculating a distance between a pixel and a control line, FIG. 5D is a reference diagram for explaining calculation of a position of a vertical intersection point between a point and a control line, 5E is a reference diagram for explaining the vertical displacement calculation process of the pixel.

1. 복원 영상과 입력 영상의 대응 관계 기술1. Correspondence relationship between restored image and input image

영상 워핑을 위해서는 먼저 복원 영상을 어떻게 변형할 것인지 기술해야 한다. 영상 워핑 방법 중 하나로 제어선이나 제어점을 사용할 수 있는데, 워핑 결과를 얻기 위해서 복원 영상과 입력 영상 사이에 서로 대응되어야 할 위치를 제어선 또는 제어점으로 기술한다. 제어선과 제어점 이외에도 그물망, 다각형 등 여러 가지 방법을 사용하여 복원 영상과 입력 영상의 대응 관계를 나타낼 수 있다.For image warping, first describe how to reconstruct the reconstructed image. One of the image warping methods is to use control lines or control points. In order to obtain the warping result, the positions to be mutually corresponded between the restored image and the input image are described as control lines or control points. In addition to the control lines and control points, various methods such as a mesh, a polygon, and the like can be used to represent the correspondence relationship between the restored image and the input image.

2. 제어선을 이용한 워핑 기법2. Warping technique using control line

제어선을 이용하여 복원 영상과 입력 영상의 대응 관계를 기술한 경우에 워핑을 수행하는 방법에 대하여 후술한다.A method of performing warping in a case where a correspondence relationship between a restored image and an input image is described using a control line will be described below.

우선, 도 5a에 도시된 바와 같이 픽셀과 제어선 사이의 수직 교차점을 구한다. 그리고 픽셀과 수직 교차점 사이의 변위 정보와 제어선 내에서 수직 교차점의 위치 정보 두 가지를 활용하고 역방향 사상을 이용하여 워핑을 수행한다. 도 a에서 보면, 입력 영상에서 제어선 PQ가 복원 영상에서 제어선 P'Q'에 대응되고, 입력 영상의 픽셀 V가 복원 영상의 픽셀 V'로부터 복사된다. 도 a에서 PQ, P'Q'는 제어선, V,V'는 픽셀에 해당한다.First, the vertical intersection point between the pixel and the control line is obtained as shown in FIG. 5A. Then, warping is performed by using the displacement information between the pixel and the vertical intersection point and the position information of the vertical intersection point in the control line and using the reverse mapping. Referring to FIG. 1A, the control line PQ in the input image corresponds to the control line P'Q 'in the restored image, and the pixel V of the input image is copied from the pixel V' in the restored image. In Fig. 3A, PQ and P'Q 'correspond to control lines, and V and V' correspond to pixels.

역방향 사상에 의하여 픽셀 V에 대응되는 픽셀 V'의 위치를 계산하기 위해서는 먼저 제어선 PQ 내에서의 C의 상대적 위치와 동일하게 P'Q' 내에서 C'의 위치를 찾는다. 그 다음에는 C와 V 사이의 변위만큼 C'로부터 떨어진 점 V'를 찾는다.In order to calculate the position of the pixel V 'corresponding to the pixel V by the backward mapping, the position of C' within P'Q 'is first found to be the same as the relative position of C in the control line PQ. Then we find a point V 'away from C' by the displacement between C and V.

픽셀과 제어선의 수직 교차점이 도 5b에 도시된 바와 같이 제어선 내부에 존재하지 않을 수 있다. 이 경우에도 수직 교차점이 제어선 내부에 있는 경우와 동일한 방법에 의하여 복원 영상의 픽셀 위치를 찾는다.The vertical intersection of the pixel and the control line may not exist inside the control line as shown in FIG. 5B. In this case, the pixel positions of the restored image are searched by the same method as in the case where the vertical intersection point is inside the control line.

하나의 제어선에 대해서는 단순하게 픽셀의 이동 위치를 계산할 수 있지만, 실제의 워핑에서는 여러 개의 제어선이 사용된다. 제어선이 여러 개일 때 각 제어선은 영상의 모든 픽셀에 영향을 미치게 된다.Although the movement position of a pixel can be calculated simply for one control line, several control lines are used in actual warping. When there are multiple control lines, each control line affects every pixel of the image.

한 픽셀이 여러 개의 제어선으로부터 영향받는 것을 반영하기 위한 방법으로 수학식 1과 같은 가중치를 사용할 수 있다. 수학식 1에 나타나 있는 바와 같이, 제어선의 길이가 길수록 가중치가 커지고 픽셀과 제어선 사이의 거리가 가까울수록 가중치가 커진다.We can use the weight as shown in Equation 1 as a method for reflecting that one pixel is influenced by several control lines. As shown in Equation (1), the longer the control line becomes, the larger the weight becomes, and the closer the distance between the pixel and the control line becomes, the larger the weight becomes.

Figure 112017124946356-pat00001
... (수학식 1)
Figure 112017124946356-pat00001
... (1)

수학식 1에서 p 값은 제어선의 길이가 가중치에 영향을 주는 정도를 결정하는 값으로, 0~1 사이의 값을 가진다. a는 0으로 나누는 것을 방지하기 위해 사용되는 값으로, 매우 작은 값을 가진다. b는 제어선의 길이와 거리의 변화에 따라 가중치의 변화 정도를 조절하는 값인데, 보통 0.5 ~ 2.0 사이의 값을 사용한다. 이 값이 커지면 픽셀들은 먼 거리에 있는 제어선들로부터 영향을 적게 받게 된다.In Equation (1), p is a value that determines the degree to which the length of the control line affects the weight, and has a value between 0 and 1. a is a value used to prevent division by zero and has a very small value. b is a value that adjusts the degree of change of the weight according to the change of the length and the distance of the control line, and usually a value between 0.5 and 2.0 is used. When this value is increased, the pixels are less influenced by the control lines at a greater distance.

픽셀과 제어선의 거리는 도 5c에 도시된 바와 같이 수직 교차점의 위치에 따라 다르게 정의된다. 수직 교차점이 제어선 내부에 있는 경우에는 픽셀과 수직 교차점 사이의 거리가 사용되고, 제어선 외부에 있는 경우에는 제어선의 양 끝점 중에서 픽셀과 가까운 점과 픽셀 사이의 거리가 사용된다.The distance between the pixel and the control line is defined differently depending on the position of the vertical intersection point as shown in FIG. 5C. If the vertical intersection point is inside the control line, the distance between the pixel and the vertical intersection point is used. If the vertical intersection point is outside the control line, the point near the pixel and the distance between the pixels are used.

제어선이 여러 개인 경우, 입력 영상의 각 픽셀에 대하여 복원 영상의 대응 픽셀을 구하는 알고리즘은 다음과 같다.If there are several control lines, the algorithm for obtaining the corresponding pixel of the restored image for each pixel of the input image is as follows.

1) 수직 교차점의 위치 계산1) Position calculation of vertical intersection point

첫 번째 작업으로, 입력 영상의 각 픽셀 V(x,y)에 대하여 각각의 제어선 Li와의 수직 교차점의 위치를 구한다. 픽셀 V(x,y)가 도 5d에 도시된 바와 같이 제어선 Li에 내린 수선이 점 C(xc, yc)에서 만난다고 가정한다. 그리고 제어선 Li의 끝점 P(xi, yi)에서 수직 교차점 C(xc, yc)까지의 거리를 u로 나타내기로 한다.As a first operation, the position of the vertical intersection with each control line L i is obtained for each pixel V (x, y) of the input image. It is assumed in mannandago pixel V (x, y) is the control point is made perpendicular to the line Li C (x c, y c), as shown in Figure 5d. And the distance from the end point P (x i , y i ) of the control line L i to the vertical intersection point C (x c , y c ) is denoted by u.

Figure 112017124946356-pat00002
... (수학식 2)
Figure 112017124946356-pat00002
... (Equation 2)

u의 값은 수학식 2와 같이 제어선의 양 끝점 P, Q와 픽셀의 위치 V로부터 구할 수 있다. 수학식 2에서 x = xi 이고 y = yi인 경우 (V = P)에 분자가 0이 되어 u의 값이 0이 되고 x = xi+1이고 y = yi +1인 경우 (V = Q)에 분모와 분자가 같게 되어 u의 값이 1이 된다.The value of u can be obtained from the end points P and Q of the control line and the position V of the pixel as shown in Equation (2). In the case of x = x i and y = y i (V = P) in the equation (2), when the numerator becomes 0 and the value of u becomes 0 and x = x i + 1 and y = y i +1 = Q), the denominator and the numerator become the same, and the value of u becomes 1.

u의 값은 수직 교차점의 위치에 따라 다음과 같은 범위의 값을 가지게 된다.The value of u has the following range depending on the position of the vertical intersection point.

u < 0 : P 바깥에 수직 교차점이 위치u <0: Vertical intersection point outside P

u = 0 : 수직 교차점 = Pu = 0: vertical intersection point = P

0 < u < 1 : 제어선 내부에 수직 교차점이 위치0 <u <1: Vertical intersection point inside the control line

u = 1 : 수직 교차점 = Qu = 1: vertical intersection point = Q

u > 1 : Q 바깥에 수직 교차점이 위치u> 1: Vertical intersection point outside Q

2) 제어선으로부터의 수직 변위 계산2) Calculation of vertical displacement from control line

두 번째 작업으로, 입력 영상의 픽셀 V(x, y)에 대하여 각각의 제어선 Li로부터의 수직 변위 h를 구한다. 제어선으로부터 픽셀의 수직 변위 h는 도 5e에 도시된 바와 같다. 수직 변위 h는 픽셀을 지나면서 제어선과 수직 교차하는 직선상에서의 픽셀의 위치를 나타내는 값으로, 다음과 같은 범위를 갖는다.In the second operation, the vertical displacement h from each control line L i is obtained for the pixel V (x, y) of the input image. The vertical displacement h of the pixel from the control line is as shown in Fig. 5E. The vertical displacement h is a value indicating the position of a pixel on a straight line that crosses the control line and passes through the pixel, and has the following range.

수직 변위 h =Vertical displacement h =

1) < 0 : 픽셀이 제어선 아래쪽에 있는 경우1) <0: if the pixel is below the control line

2) 0 : 픽셀이 제어선에 있는 경우2) 0: When the pixel is on the control line

3) > 0 : 픽셀이 제어선 위쪽에 있는 경우3)> 0: If the pixel is above the control line

도 5e의 (a)에서는 픽셀 V가 제어선 위쪽에 있으므로 h의 값이 0보다 크다. 도 5e의 (b)에서는 픽셀 V가 제어선 아래쪽에 있으므로 h의 값이 0보다 작다.In Fig. 5 (a), the value of h is larger than 0 because the pixel V is above the control line. 5 (b), the value of h is smaller than 0 since the pixel V is located below the control line.

수직 변위 h의 절대값이 수직 교차점과 픽셀 사이의 거리가 된다. 여기서, 수직 변위 h에 절대값을 사용하지 않는 이유는 제어선과 픽셀의 위치를 알기 위해서이다(부호로 구분).The absolute value of the vertical displacement h is the distance between the vertical intersection point and the pixel. Here, the reason why the absolute value is not used for the vertical displacement h is to know the position of the control line and the pixel (code division).

수직 변위 h를 구하는 식은 다음 수학식 3과 같다.The equation for obtaining the vertical displacement h is given by the following equation (3).

Figure 112017124946356-pat00003
... (수학식 3)
Figure 112017124946356-pat00003
... (3)

3) 복원 영상에서의 대응 픽셀 위치 계산3) Corresponding pixel position calculation in reconstructed image

입력 영상의 각 픽셀 V(x, y)에 대하여 각각의 제어선 Li와의 수직 교차점의 위치 u와 수직 변위 h를 구한 다음, u와 h 값을 이용하여 입력 영상의 V(x,y)에 대응되는 복원 영상의 픽셀 V'(x', y')를 찾는다. 입력 영상의 제어선 Li에 대응되는 복원 영상에서의 제어선 Li'의 양 끝점 좌표를 (xi', yi')과 (xi+1' , yi +1')이라고 하면 V'(x', y')을 수학식 4와 같이 찾을 수 있다.The position u and the vertical displacement h of the vertical intersection with each control line L i are obtained for each pixel V (x, y) of the input image, and then the value of V (x, y) (X ', y') of the corresponding reconstructed image. If "the amount of the end point coordinate (x i, L i of the control line in the reconstructed image corresponding to the control line of the input image is called L i, y i ') and (x i + 1', y i +1 ') V '(x', y ') as shown in Equation (4).

Figure 112017124946356-pat00004
... (수학식 4)
Figure 112017124946356-pat00004
... (Equation 4)

4) 픽셀과 제어선 사이의 거리4) the distance between the pixel and the control line

픽셀과 제어선 사이의 거리 d는 앞에서 설명한 방법에 의하여 다음 수학식 5와 같이 구하면 된다. 즉, u 값이 0보다 작을 때에는 픽셀 V(x, y)와 P(xi, yi) 사이의 거리, u 값이 1보다 큰 경우에는 픽셀 V(x, y)와 Q(xi+1, yi +1) 사이의 거리, u값이 0에서 1 사이인 경우에는 수직 변위 h의 절대값이 된다.The distance d between the pixel and the control line can be obtained by the following equation (5). I.e., u value at this time is smaller than 0, the pixel V (x, y) and P (x i, y i) when the distance, u value from greater than 1 pixel V (x, y) and Q (x i + 1 , y i +1 ), and when the u value is between 0 and 1, the absolute value of the vertical displacement h is obtained.

Figure 112017124946356-pat00005
... (수학식 5)
Figure 112017124946356-pat00005
... (Equation 5)

5) 제어선의 가중치 계산5) Calculation of control line weights

픽셀과 제어선 사이의 거리 d를 구한 다음에는 제어선의 가중치(weight)를 수학식 6을 이용하여 구한다. 수학식 6에서 a, b, p 상수 값으로는 일반적으로 많이 사용되는 값을 사용할 수 있는데, 예를 들어a = 0.001, b = 2.0, p = 0.75이다.After obtaining the distance d between the pixel and the control line, the weight of the control line is obtained by using Equation (6). In Equation (6), a, b, and p constant values can be generally used. For example, a = 0.001, b = 2.0, and p = 0.75.

Figure 112017124946356-pat00006
... (수학식 6)
Figure 112017124946356-pat00006
... (Equation 6)

6) 복원 영상의 대응 픽셀과의 변위 누적6) Accumulation of displacement from the corresponding pixel of the reconstructed image

각 제어선 Li에 대하여 입력 영상의 픽셀 V(x, y)에 대응되는 복원 영상의 픽셀 V'(x', y')을 구하고, 가중치(weight)를 구한 다음에는, 수학식 7과 같이 V와 V' 사이의 변위와 가중치의 곱을 계산하여 tx, ty 변수에 누적한다.The pixel V '(x', y ') of the reconstructed image corresponding to the pixel V (x, y) of the input image is obtained for each control line L i and the weight is obtained, The product of the displacements and weights between V and V 'is calculated and accumulated in the variables t x and t y .

Figure 112017124946356-pat00007
... (수학식 7)
Figure 112017124946356-pat00007
... (7)

7) 복원 영상의 대응 픽셀 위치 계산7) Corresponding pixel location calculation of reconstructed image

각 제어선에 대해 입력 영상의 픽셀 V(x, y)에 대응되는 복원 영상의 픽셀의 변위값을 구하여 이들의 합(tx, ty)를 계산한 다음에는, 수학식 8에 의하여 V(x, y)에 대응되는 복원 영상의 픽셀 V(X, Y)의 위치를 계산한다.After calculating the displacement values of the pixels of the reconstruction image corresponding to the pixels V (x, y) of the input image with respect to each control line and calculating the sum (t x , t y ) thereof, V ( (x, y) of the reconstructed image corresponding to x, y.

Figure 112017124946356-pat00008
... (수학식 8)
Figure 112017124946356-pat00008
... (8)

이와 같이 최종적으로 V(x, y)에 대응되는 픽셀 V(X, Y)를 구한 다음에는 복원 영상의 V(X, Y) 픽셀의 값을 입력 영상의 V(x, y) 픽셀에 복사한다.After the pixel V (X, Y) corresponding to V (x, y) is finally obtained, the value of the V (X, Y) pixel of the restored image is copied to the V (x, y) pixel of the input image .

도 6은 본 발명의 일 실시 예에 따른 차내 단말을 이용한 효율적인 교통정보 전달방법을 도시한 흐름도이다.6 is a flowchart illustrating an efficient traffic information transmission method using an in-vehicle terminal according to an embodiment of the present invention.

도 6을 참조하면, 차내 단말은 차량 전방의 촬영 영상을 획득(610)하고 획득된 촬영 영상으로부터 도로변 교통장치를 인식(620)하고 인식된 도로변 교통장치의 표시정보를 인식한다(630). 도로변 교통장치는 교통 전광판(VMS)과 신호등을 포함한다. 도로변 교통장치의 표시정보 인식의 정확도, 속도 향상 등을 위해 비월 주사 기반 광학적 문자 인식(OCR) 기술, 영상 워핑 기술 등이 사용될 수 있다. 이어서, 인식된 표시정보가 위험상황을 알리는 정보인지를 판단(640)하고, 위험상황이면, 위험 경보신호를 생성하여 차 내에 출력한다(650). 이에 비해, 위험상황이 아니면 표시정보를 교통정보로 변환하고 변환된 교통정보를 차 내에 출력한다(660). 위험 경보신호와 교통정보는 음성신호, 영상신호, 진동신호 중 적어도 하나의 형태로 출력될 수 있다. 출력과 동시에 차내 단말은 교통정보 또는 위험 경보신호를 관제서버에 전달하거나 주변차량에 전달한다(670). 관제서버는 수신된 교통정보 또는 위험 경보신호를 주변차량에 전달할 수 있다.Referring to FIG. 6, the terminal in the vehicle acquires an image 610 in front of the vehicle, recognizes 620 a roadside traffic device from the captured image, and recognizes 620 the display information of the recognized roadside traffic device. The roadside traffic system includes traffic signboards (VMS) and traffic lights. Interlaced scanning optical character recognition (OCR) technology, image warping technology, etc. can be used to improve the accuracy and speed of recognition of the display information of the roadside traffic apparatus. Next, it is determined whether the recognized display information is information for notifying a dangerous situation (step 640). If the detected dangerous situation is a dangerous situation, a danger warning signal is generated and outputted to the car (650). In contrast, if it is not a dangerous situation, the display information is converted into traffic information and the converted traffic information is output in the car (660). The danger warning signal and traffic information may be output in the form of at least one of a voice signal, a video signal, and a vibration signal. At the same time as the output, the in-vehicle terminal transmits traffic information or a danger warning signal to the control server or transmits it to the nearby vehicle (670). The control server can transmit the received traffic information or a danger warning signal to the surrounding vehicles.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The embodiments of the present invention have been described above. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

1: 지능형 교통 시스템 2: 차내 단말
3: 도로변 교통장치 4: 관제서버
5: 네트워크 장치 20: 입력부
22: 제어부 24: 출력부
26-1: 제1 통신부 26-2: 제2 통신부
26-3: 제3 통신부 28: 메모리
220: 전 처리부 222: 영상 분석부
222-1: 제1 영상 분석부 222-2: 제2 영상 분석부
226: 신호 변환부 224: 영상 워핑부
2240: 수직 교차점 위치 계산부 2241: 수직 변위 계산부
2242: 대응 픽셀 위치 계산부 2243: 거리 계산부
2244: 가중치 계산부 2245: 누적 계산부
2246: 입력 영상 픽셀 위치 계산부
1: intelligent traffic system 2: vehicle terminal
3: Road traffic device 4: Control server
5: Network device 20: Input
22: control unit 24: output unit
26-1: first communication unit 26-2: second communication unit
26-3: third communication unit 28: memory
220: Preprocessing section 222: Image analysis section
222-1: first image analyzing unit 222-2: second image analyzing unit 222-2:
226: Signal conversion unit 224: Image warping unit
2240: vertical intersection position calculation unit 2241: vertical displacement calculation unit
2242: Corresponding pixel position calculation unit 2243: Distance calculation unit
2244: Weight calculation unit 2245: Cumulative calculation unit
2246: input image pixel position calculation unit

Claims (11)

교통 전광판과 신호등 중 적어도 하나를 포함하는 도로변 교통장치; 및
도로변 교통장치로부터 표시되는 정보를 인식하고 인식된 표시정보를 가공하여 출력하는 차내 단말; 을 포함하며,
상기 차내 단말은
차량에서 촬영된 영상을 획득하는 입력부;
획득된 영상으로부터 도로변 교통장치의 표시정보를 인식하여 인식된 표시정보를 교통정보로 변환하고 표시정보로부터 위험상황을 판단하여 위험 경보신호를 생성하는 제어부;
교통정보 또는 위험 경보신호를 차량 내에 출력하는 출력부;
교통정보 또는 위험 경보신호를 관제서버에 전달하거나 관제서버로부터 전달받는 제1 통신부; 및
교통정보 또는 위험 경보신호를 주변차량에 전달하거나 주변차량으로부터 전달받는 제2 통신부; 를 포함하며,
상기 제어부는
프레임 단위로 순차적으로 입력되는 영상 데이터의 노이즈를 제거하고 관심영역을 추출하는 전 처리부;
추출된 관심영역 내에서 색 공간을 분리하고 분리된 색 공간으로부터 색 신호의 색상, 위치 및 형태 중 적어도 하나를 통해 도로변 교통장치의 표시정보를 인식하는 제1 영상 분석부;
추출된 관심영역을 대상으로 광학적 문자 인식을 통해 도로변 교통장치의 표시정보를 인식하는 제2 영상 분석부;
제1 영상 분석부 및 제2 영상 분석부 중 적어도 하나를 통해 인식된 표시정보를 교통정보 또는 위험 경보신호로 변환하는 신호 변환부; 및
전 처리된 입력 영상 프레임 데이터의 픽셀 별로 위치의 이동을 다르게 하여 이동시키는 영상 워핑을 수행함에 따라 프레임 내 픽셀 간을 보간하여 오류가 제거된 복원 영상 데이터를 생성하고 이를 제1 영상 분석부 및 제2 영상 분석부에 제공하는 영상 워핑부;
를 포함하는 것을 특징으로 하는 지능형 교통 시스템.
A road side traffic device including at least one of a traffic signboard and a traffic light; And
An in-vehicle terminal for recognizing information displayed from a roadside traffic apparatus and processing and outputting the recognized display information; / RTI &gt;
The in-
An input unit for acquiring an image photographed by the vehicle;
A controller for recognizing display information of the roadside traffic apparatus from the obtained image, converting the recognized display information into traffic information, determining a dangerous situation from the display information, and generating a danger warning signal;
An output unit for outputting traffic information or a danger warning signal in the vehicle;
A first communication unit for delivering traffic information or a danger warning signal to the control server or receiving the signal from the control server; And
A second communication unit for transmitting traffic information or a danger warning signal to the surrounding vehicles or receiving the signals from the surrounding vehicles; / RTI &gt;
The control unit
A preprocessor for removing noise of image data sequentially input frame by frame and extracting a region of interest;
A first image analyzer for separating the color space in the extracted ROI and recognizing the display information of the roadside traffic device through at least one of color, position and shape of the color signal from the separated color space;
A second image analyzing unit for recognizing display information of the roadside traffic apparatus through optical character recognition on the extracted ROI;
A signal converter for converting the recognized display information through at least one of the first image analyzer and the second image analyzer into a traffic information or a danger warning signal; And
The image processing unit performs image warping in which the movement of the position is shifted for each pixel of the preprocessed input image frame data, thereby interpolating pixels in the frame to generate reconstructed image data from which the error has been eliminated, An image warping unit provided to the image analysis unit;
And an intelligent traffic system.
제 1 항에 있어서,
출력부는 교통정보 또는 위험 경보신호를 차량 내 사용자에 전달하고,
제1 통신부는 네트워크를 통해 교통정보 또는 위험 경보신호를 관제서버에 제공하여 관제서버를 거쳐 주변차량에 전달하며,
제2 통신부는 주변차량에 직접 교통정보 또는 위험 경보신호를 전달하는 것을 특징으로 하는 지능형 교통 시스템.
The method according to claim 1,
The output unit transmits traffic information or a danger warning signal to a user in the vehicle,
The first communication unit provides the traffic information or the danger warning signal to the control server through the network and transmits it to the surrounding vehicles via the control server,
And the second communication unit transmits the traffic information or the danger warning signal directly to the neighboring vehicle.
삭제delete 제 1 항에 있어서, 상기 제2 영상 분석부는
영상 프레임 데이터의 관심영역을 비월 주사(interlaced scanning) 형태로 스캔하고 광학적 문자 인식(Optical Character Recognition: OCR)을 통해 도로변 교통장치의 표시정보를 인식하는 것을 특징으로 하는 지능형 교통 시스템.
The apparatus of claim 1, wherein the second image analyzing unit
Characterized by scanning the area of interest of the image frame data in an interlaced scanning manner and recognizing the display information of the roadside traffic device through optical character recognition (OCR).
삭제delete 제 1 항에 있어서, 상기 영상 워핑부는
입력 영상의 각 픽셀 V(x,y)을 대상으로 각 제어선 Li에 대하여 입력 영상 픽셀 V(x,y)과 제어선 Li의 수직 교차점의 위치 u를 계산하는 수직 교차점 위치 계산부;
입력 영상 픽셀 V(x,y)과 제어선 Li의 수직 변위 h를 계산하는 수직 변위 계산부;
수직 교차점의 위치 u와 수직 변위 h를 이용하여 복원 영상에서의 대응 위치 V'(x',y')를 구하는 대응 픽셀 위치 계산부;
입력 영상 픽셀 V(x,y)과 제어선 Li 사이의 거리 d를 계산하는 거리 계산부;
입력 영상 픽셀 V(x, y)와 제어선 Li 사이의 거리 d를 이용하여 제어선의 가중치(weight)를 계산하는 가중치 계산부;
입력 영상 픽셀 V(x, y)와 복원 영상 픽셀 V' 사이의 변위 값을 구하고 이들의 변위 누적(tx, ty)을 계산하는 누적 계산부; 및
계산된 변위 누적(tx, ty)과 제어선의 가중치를 이용하여 입력 영상 픽셀 V(x, y)에 대응되는 복원 영상 픽셀 V(X, Y)의 위치를 계산하고 복원 영상 픽셀 V(X, Y)을 입력 영상 V(x, y) 픽셀에 복사하는 입력 영상 픽셀 위치 계산부;
를 포함하는 것을 특징으로 하는 지능형 교통 시스템.
The apparatus of claim 1, wherein the image warping unit
A vertical intersection position calculation unit for calculating a position u of a vertical intersection point of the input image pixel V (x, y) and the control line Li with respect to each control line Li with respect to each pixel V (x, y) of the input image;
A vertical displacement calculation unit for calculating a vertical displacement h of the input image pixel V (x, y) and the control line Li;
A corresponding pixel position calculation unit for obtaining a corresponding position V '(x', y ') in the reconstructed image using the position u of the vertical intersection and the vertical displacement h;
A distance calculation unit for calculating a distance d between the input image pixel V (x, y) and the control line Li;
A weight calculation unit for calculating a weight of the control line using the distance d between the input image pixel V (x, y) and the control line Li;
An accumulation unit for obtaining a displacement value between the input image pixel V (x, y) and the reconstructed image pixel V 'and calculating the displacement accumulation (t x , t y ) thereof; And
The position of the restored image pixel V (X, Y) corresponding to the input image pixel V (x, y) is calculated using the calculated displacement accumulation (t x , t y ) and the weight of the control line, , Y) into an input image V (x, y) pixel;
And an intelligent traffic system.
제 1 항에 있어서, 상기 신호 변환부는
표시정보를 교통상황 또는 위험상황을 알리는 텍스트 정보로 변환하고 변환된 텍스트 정보를 음성신호, 영상신호 및 진동신호 중 적어도 하나에 해당하는 출력신호로 변환하여 출력부에 제공하는 것을 특징으로 하는 지능형 교통 시스템.
2. The apparatus of claim 1, wherein the signal conversion unit
And converts the display information into text information indicating a traffic situation or a dangerous situation, and converts the converted text information into an output signal corresponding to at least one of a voice signal, a video signal, and a vibration signal, and provides the output signal to the output unit. system.
제 7 항에 있어서,
출력신호는 차량 운전대 또는 차량 의자에서 활성화되는 것을 특징으로 하는 지능형 교통 시스템.
8. The method of claim 7,
Wherein the output signal is activated in a vehicle steering wheel or in a vehicle chair.
제 1 항에 있어서, 상기 차내 단말은
교통정보 또는 위험 경보신호를 교통 전광판에 전달하는 제3 통신부; 를 더 포함하며,
차내 단말이 교통 전광판에 전송하는 정보는 차내 단말이 교통 전광판의 표시정보로부터 얻은 정보와 상이하며, 교통 전광판의 표시정보로부터 얻은 정보를 가공한 정보인 것을 특징으로 하는 지능형 교통 시스템.
The method according to claim 1,
A third communication unit for transmitting traffic information or a danger warning signal to the traffic light sign board; Further comprising:
Wherein the information transmitted from the in-vehicle terminal to the traffic light board is information obtained by processing the information obtained from the display information of the traffic light board different from the information obtained from the display information of the traffic light board in the in-vehicle terminal.
삭제delete 삭제delete
KR1020170172612A 2017-12-14 2017-12-14 VMS, In-vehicle terminal and intelligent transport system including the same for efficient transmission of traffic information on the road KR101874352B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170172612A KR101874352B1 (en) 2017-12-14 2017-12-14 VMS, In-vehicle terminal and intelligent transport system including the same for efficient transmission of traffic information on the road

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170172612A KR101874352B1 (en) 2017-12-14 2017-12-14 VMS, In-vehicle terminal and intelligent transport system including the same for efficient transmission of traffic information on the road

Publications (1)

Publication Number Publication Date
KR101874352B1 true KR101874352B1 (en) 2018-07-06

Family

ID=62921368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170172612A KR101874352B1 (en) 2017-12-14 2017-12-14 VMS, In-vehicle terminal and intelligent transport system including the same for efficient transmission of traffic information on the road

Country Status (1)

Country Link
KR (1) KR101874352B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987184B1 (en) * 2018-11-09 2019-06-11 유수정보통신 주식회사 Intelligent transport system managing risk situation using VMS and CCTV
CN110517499A (en) * 2019-09-29 2019-11-29 福州市协成智慧科技有限公司 Traffic light system Internet-based
CN110826567A (en) * 2019-11-06 2020-02-21 北京字节跳动网络技术有限公司 Optical character recognition method, device, equipment and storage medium
CN115223381A (en) * 2021-04-19 2022-10-21 阿里巴巴新加坡控股有限公司 Traffic information processing method and device, electronic equipment and computer storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120090117A (en) * 2010-12-30 2012-08-17 (주)세미솔루션 Image recording apparatus for vehicle
KR101404658B1 (en) * 2014-03-18 2014-06-09 (주)에이치아이디솔루션 Device and method for analizing video image of vehicle considering correction value of the obtained video image
KR20150137584A (en) * 2014-05-30 2015-12-09 주식회사 만도 System for Recognizing Information Plate for vehicle and Method thereof
KR20160053385A (en) * 2014-11-04 2016-05-13 현대모비스 주식회사 Driving guidance apparatus and control method thereof
KR20170081920A (en) * 2016-01-05 2017-07-13 삼성전자주식회사 Method and apparatus for sharing video information associated with a vihicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120090117A (en) * 2010-12-30 2012-08-17 (주)세미솔루션 Image recording apparatus for vehicle
KR101404658B1 (en) * 2014-03-18 2014-06-09 (주)에이치아이디솔루션 Device and method for analizing video image of vehicle considering correction value of the obtained video image
KR20150137584A (en) * 2014-05-30 2015-12-09 주식회사 만도 System for Recognizing Information Plate for vehicle and Method thereof
KR20160053385A (en) * 2014-11-04 2016-05-13 현대모비스 주식회사 Driving guidance apparatus and control method thereof
KR20170081920A (en) * 2016-01-05 2017-07-13 삼성전자주식회사 Method and apparatus for sharing video information associated with a vihicle

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987184B1 (en) * 2018-11-09 2019-06-11 유수정보통신 주식회사 Intelligent transport system managing risk situation using VMS and CCTV
CN110517499A (en) * 2019-09-29 2019-11-29 福州市协成智慧科技有限公司 Traffic light system Internet-based
CN110826567A (en) * 2019-11-06 2020-02-21 北京字节跳动网络技术有限公司 Optical character recognition method, device, equipment and storage medium
CN110826567B (en) * 2019-11-06 2023-04-07 北京字节跳动网络技术有限公司 Optical character recognition method, device, equipment and storage medium
CN115223381A (en) * 2021-04-19 2022-10-21 阿里巴巴新加坡控股有限公司 Traffic information processing method and device, electronic equipment and computer storage medium

Similar Documents

Publication Publication Date Title
KR101874352B1 (en) VMS, In-vehicle terminal and intelligent transport system including the same for efficient transmission of traffic information on the road
JP7106664B2 (en) Intelligent driving control method and device, electronic device, program and medium
US20210365696A1 (en) Vehicle Intelligent Driving Control Method and Device and Storage Medium
JP4654163B2 (en) Vehicle surrounding environment recognition device and system
US9158979B2 (en) Vehicle vicinity monitoring device
US10719721B2 (en) Image processing apparatus, image processing system, and image processing method
KR20210120018A (en) 3D Feature Prediction for Autonomous Driving
US20140285667A1 (en) Vehicle periphery monitoring device
KR20210122802A (en) Generating ground truth for machine learning from time series elements
JP2019008460A (en) Object detection device and object detection method and program
US9679196B2 (en) Object sensing device
JP2019096072A (en) Object detection device, object detection method and program
JP4892965B2 (en) Moving object determination system, moving object determination method, and computer program
CN109196304B (en) Object distance detection device
KR20140004292A (en) Lane departure warning system and lane departure warning method
JP4577153B2 (en) Environment recognition device
JP2014089491A (en) Picture processing system
JP2007164671A (en) Device for deciding approaching obstacle and system for warning collision with obstacle
JP2013157770A (en) On-vehicle camera exposure control device
JP4848644B2 (en) Obstacle recognition system
KR102418051B1 (en) Lane traffic situation judgement apparatus, system, and method thereof
JP2003162798A (en) Device and program for monitoring obstacle
CN113221756A (en) Traffic sign detection method and related equipment
KR101987184B1 (en) Intelligent transport system managing risk situation using VMS and CCTV
CN109522779B (en) Image processing apparatus and method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant