KR101893368B1 - Method and system for measuring three dimensional visibility combined with traffic monitoring - Google Patents

Method and system for measuring three dimensional visibility combined with traffic monitoring Download PDF

Info

Publication number
KR101893368B1
KR101893368B1 KR1020180012145A KR20180012145A KR101893368B1 KR 101893368 B1 KR101893368 B1 KR 101893368B1 KR 1020180012145 A KR1020180012145 A KR 1020180012145A KR 20180012145 A KR20180012145 A KR 20180012145A KR 101893368 B1 KR101893368 B1 KR 101893368B1
Authority
KR
South Korea
Prior art keywords
image
camera
continuity
depth
equal depth
Prior art date
Application number
KR1020180012145A
Other languages
Korean (ko)
Inventor
오원영
양승환
Original Assignee
공간정보기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공간정보기술 주식회사 filed Critical 공간정보기술 주식회사
Priority to KR1020180012145A priority Critical patent/KR101893368B1/en
Application granted granted Critical
Publication of KR101893368B1 publication Critical patent/KR101893368B1/en
Priority to PCT/KR2019/000927 priority patent/WO2019151704A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Disclosed are a method for measuring three-dimensional visibility using a traffic monitoring camera and a system thereof. The method generates a depth map through first and second images acquired from first and second cameras, forming iso-depth lines according to the depth map, reviewing continuity of the iso-depth lines, and extracting optical distance information according to a certain level of continuity or calculates the optical distance information to an object. Therefore, the method may provide more accurate optical distance information to a driver through a display unit, operate a safety display device or the like when the optical distance is less than a certain distance, or provide alarm information to the driver.

Description

교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법 및 시스템{METHOD AND SYSTEM FOR MEASURING THREE DIMENSIONAL VISIBILITY COMBINED WITH TRAFFIC MONITORING}TECHNICAL FIELD [0001] The present invention relates to a three-dimensional visibility measuring method and system using a traffic monitoring camera,

본 발명의 실시예는 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법에 관한 것으로서, 보다 상세하게는 교통 모니터링을 수행하면서 시정 측정의 가시거리 정보를 산출할 수 있는 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법과 이를 이용하는 시스템에 관한 것이다.An embodiment of the present invention relates to a three-dimensional visibility measurement method using a traffic monitoring camera, and more particularly, to a three-dimensional visibility measurement method using a traffic monitoring camera capable of calculating visibility information of a visibility measurement while performing traffic monitoring And a system using the same.

현재 전 세계적으로 다양한 목적에 의해 무수히 많은 CCTV(closed circuit television)가 설치되어 있다. 단순 모니터링을 위한 CCTV도 있고, 예방목적의 CCTV도 있으며, 소정 목적의 분석 및 추적을 위한 CCTV도 있다.There are a myriad of CCTV (closed circuit television) installations worldwide for various purposes. There are CCTVs for simple monitoring, CCTV for prevention purposes, CCTV for analysis and tracking purposes.

또한, 기상을 모니터링하기 위한 CCTV도 있다. 기상 모니터링 CCTV는 연무, 박무, 안개 등과 같은 시정 장애현상이 발생하는 경우, 운전자가 충분한 가시거리를 확보하지 못하여 교통사고의 위험에 직면하는 것을 방지하기 위해 사용되기도 한다.There is also CCTV for monitoring the weather. Weather Monitoring CCTV is sometimes used to prevent the driver from being in danger of a traffic accident when the visibility disturbance phenomenon such as fog, mist, fog, etc. can not be secured.

예를 들어, CCTV 겸용 기상 모니터링 장치는 안개 등에 의한 사고를 미연에 방지하기 위해 도로변에 기상 측정장비를 설치하여 시정을 상시 측정하고, 가시거리가 저하되는 상황이 발생하면 그에 알맞은 주행속도를 유지하도록 안내하는데 이용되기도 한다.For example, in order to prevent accidents caused by mist or the like, CCTV combined weather monitoring devices are equipped with meteorological instruments at the roadside to measure the visibility at all times, and when the visibility disturbance occurs, the appropriate driving speed is maintained It is also used to guide.

우리나라에는 전국의 기상상태를 측정하기 위해 많은 기상관측소가 설치, 운영되고 있다. 하지만, 대부분의 기상관측소는 도로에 인접해 있지 않아 기상관측소의 관측자료를 도로 이용자가 쉽게 접근하거나 이용하기 어려운 문제가 있다. 이러한 한계를 극복하기 위해 안개 사고에 대한 대책의 일환으로 도로변에 시정계가 설치 운영되고 있다.In Korea, many weather stations are installed and operated to measure the weather conditions of the whole country. However, since most weather stations are not adjacent to the road, there is a problem that observation data of a weather station can not easily be accessed or used by a road user. In order to overcome these limitations, a municipal system is installed and operated on the roads as a countermeasure against mist mistakes.

현재 사용되고 있는 시정계는 광학시정계로서 빛의 산란이나 투과량에 의해 시정을 산출하는 방식이다. 그러나, 이러한 방식의 시정계는 시정장애현상이 있는 경우에 오히려 정확도가 떨어지는 단점이 있다.The currently used viscometer is an optical visual system that calculates visibility by the scattering or transmission of light. However, there is a disadvantage in that the accuracy of this type of visibility is lowered when there is a visibility disorder phenomenon.

특히, 광학시정계의 특징상, 지역(area) 전체를 측정 대상으로 하는 것이 아니고 단일지점(point)에서의 측정값으로 그 지역의 시정을 대표하는 방식이어서, 시정계가 있는 위치에서 단 1m만 벗어나 안개가 발생하여도 안개 발생 자체를 파악할 수 없는 심각한 문제점이 있다. 이러한 이유로 시정계를 설치하는 경우, 같은 장소에 CCTV를 함께 설치하여 모니터링을 병행하거나, 사람이 직접 출동하여 목측으로 얻은 관측 결과를 반영하도록 이루어지므로 현재의 시정 안내 시스템은 매우 비효율적으로 운영되고 있다고 할 수 있다.In particular, due to the characteristics of the optometric system, it is not a measure of the entire area, but a method of representing the visibility of the area with a measurement at a single point, There is a serious problem that the fog generation itself can not be grasped even if fog occurs. For this reason, CCTV system is installed in the same place and monitoring is performed in parallel, or the person is directly dispatched to reflect the observation result obtained by the user, so the current visibility guidance system is very inefficient .

이러한 문제점의 해결을 위해 종래 기술에서는 CCTV를 이용한 가시거리 측정시스템이 출시되고 있으나, 단일(mono) 영상에 의한 방식의 한계점으로 인해 정확성과 신뢰도가 떨어져 실제 사용되는 사례가 매우 적은 실정이다.In order to solve such a problem, a visible distance measuring system using CCTV has been introduced in the prior art, but the accuracy and reliability are limited due to the limitation of the method using a monochromatic image.

일례로, 대한민국 공개특허공보 제10-2009-0051785호의 기상 관측 시스템 및 그 방법이 공지되어 있다. 상기 종래 기술은 차량의 이동 영역으로부터 얻어진 가시선(visual line)과 도로 모델(road model)을 이용하여 시정을 측정한다.For example, a weather observation system and method thereof are disclosed in Korean Patent Laid-Open Publication No. 10-2009-0051785. The prior art measures visibility using a visual line and a road model obtained from a moving region of a vehicle.

또한, 대한민국 공개특허공보 제10-2011-0037180호의 카메라를 이용한 도로 시정 측정 시스템 및 그 방법이 공지되어 있다. 상기 종래 기술은 도로에 설치된 카메라로부터 영상 신호를 수신하고 결과를 송신하는 통신부, 상기 수신된 영상 신호로부터 차량의 이동 영역을 추출하고 상기 추출된 이동 영역을 이용하여 가시선(visual line)을 결정하는 영상 처리부, 및 시정 산출 함수를 이용하여 상기 결정된 가시선에 대응하는 시정(visibility)을 산출하는 제어부를 포함한다.Also, a road correction measurement system and method using a camera disclosed in Korean Patent Laid-Open Publication No. 10-2011-0037180 are known. The conventional technique includes a communication unit for receiving a video signal from a camera installed on a road and transmitting a result, a video extracting unit for extracting a moving region of the vehicle from the received video signal, and determining a visual line using the extracted moving region And a control unit for calculating a visibility corresponding to the determined line of sight using the correction unit and the correction calculation function.

이와 같이, 종래 기술들은 차량 이동 영역에서 얻은 가시선과 도로 모델을 이용하므로, 차량 속도나 차선의 굴곡 등에 따라 산출된 시정 거리의 정확성과 신뢰도가 떨어지는 문제가 있다.As described above, since the conventional technologies use the visible line and the road model obtained in the vehicle moving region, there is a problem that the accuracy and reliability of the corrective distance calculated according to the vehicle speed and the lane curvature are inferior.

국내 공개특허공보 제10-2009-0051785호(2009.05.25.)Korean Patent Laid-Open No. 10-2009-0051785 (2009.05.25.) 국내 공개특허공보 제10-2011-0037180호(2011.04.13.)Korean Patent Laid-Open No. 10-2011-0037180 (April 23, 2011)

본 발명은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 기존의 교통모니터링시스템에 단지 한 대의 카메라만을 추가함으로써 모니터링 및 시정측정이라는 두 가지 기능을 정확히 수행 할 수 있는 3차원 시정 측정 방법 및 시스템을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the problems of the prior art, and it is an object of the present invention to provide a three-dimensional corrective measurement method and system capable of accurately performing two functions of monitoring and correcting measurement by adding only one camera to an existing traffic monitoring system The purpose is to provide.

본 발명의 다른 목적은 제1 영상과 제2 영상을 통해 깊이지도(depth map)를 생성하고, 이 깊이지도에서 동일 깊이를 연결하는 등깊이선(iso-depth line)을 작성한 후 등깊이선의 연결연속성을 판독하여 가시거리를 산출하며, 산출된 가시거리 정보를 디스플레이 장치를 통해 운전자에게 제공하거나 가시거리가 일정 거리 이하인 경우 안전표시장치 등을 작동시키거나 차량 내외의 다양한 디스플레이 장치를 통해 운전자에게 영상을 제공할 수 있는, 3차원 시정 측정 방법 및 시스템을 제공하는데 있다.Another object of the present invention is to create a depth map through a first image and a second image, create an iso-depth line by connecting the same depth in the depth map, The visual distance is calculated by reading the continuity, the calculated visual distance information is provided to the driver through the display device, the safety display device is operated when the visual distance is less than a predetermined distance, And a method of measuring the three-dimensional visibility.

본 발명의 또 다른 목적은 종래의 시정계 대비 경제적이면서 운전자에게 보다 정확한 시정 정보를 제공할 수 있고 그에 의해 안개로 인한 교통사고를 줄이는데 기여할 수 있는, 3차원 시정 측정 방법 및 시스템을 제공하는데 있다.It is another object of the present invention to provide a three-dimensional corrective measurement method and system which are economical compared to the conventional visibility system and can provide more accurate visibility information to the driver, thereby contributing to reducing traffic accidents caused by mist.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 3차원 시정 측정 시스템은, 제1 영상을 촬영하는 제1 카메라와 상기 제1 카메라와 다른 각도에서 제2 영상을 촬영하는 제2 카메라와 연동하고 상기 제1 카메라가 촬영한 제 1 영상과 상기 제2 카메라가 촬영한 제2 영상의 입력으로부터 가시거리 정보를 산출하는 제어부; 상기 제어부와 연동하여 상기 제1 영상, 상기 제2 영상, 상기 가시거리 정보를 저장하는 저장부; 및 상기 제어부, 상기 제1 카메라 및 상기 제2 카메라와 관제서버 간의 네트워크 연동을 지원하는 통신모듈을 포함하고, 상기 제어부는, 상기 제1 영상과 상기 제2 영상을 이용하여 깊이지도를 생성하는 스테레오 영상 변환 모듈, 및 상기 깊이지도로부터 등깊이선을 생성하고, 상기 등깊이선의 연결연속성을 검출하여 일정 수준 이상의 연속성을 가지는지 판단하는 시정 측정 모듈을 구비한다.According to an aspect of the present invention, there is provided a three-dimensional corrective measurement system comprising a first camera for capturing a first image, a second camera for capturing a second image at a different angle from the first camera, A control unit for calculating visual distance information from an input of a first image captured by the first camera and a second captured image captured by the second camera; A storage unit for storing the first image, the second image, and the visible range information in cooperation with the control unit; And a communication module for supporting network interworking between the control unit, the first camera, and the second camera and the control server, wherein the control unit is configured to generate a depth map using the first image and the second image, And a corrective measurement module for generating an equal depth line from the depth map and detecting continuity of continuity of the equal depth lines to determine whether the continuity is equal to or greater than a predetermined level.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 3차원 시정 측정 방법은, 두 대의 카메라로부터 스테레오 영상을 취득하고 깊이지도를 생성하는 단계; 상기 깊이지도로부터 등고선과 유사한 방식의 등깊이선을 작성하는 단계; 및 상기 등깊이선에서 연결연속성을 판단하는 단계; 상기 등깊이선의 연결연속성이 일정 수준 이상의 연속성을 가지는 경우, 상기 연속성을 가진 영상들 중 등깊이선의 최대값을 취득하는 단계-여기서, 상기 최대값은 현재의 가시거리에 대응함-를 포함한다.According to another aspect of the present invention, there is provided a method of measuring three-dimensional visibility, comprising: acquiring a stereo image from two cameras and generating a depth map; Creating an iso-depth line in a manner similar to a contour line from the depth map; And determining connection continuity at the equal depth line; Acquiring a maximum value of an iso-depth line among the images having continuity when the continuity of the equal-depth lines has continuity of a predetermined level or more, wherein the maximum value corresponds to a current visible distance.

일실시예에서, 3차원 시정 측정 방법은, 상기 취득하는 단계에서 상기 상(image)의 진위여부를 판단하는 단계를 더 포함할 수 있다.In one embodiment, the method may further include determining whether the image is authentic in the acquiring step.

일실시예에서, 3차원 시정 측정 방법은, 상기 연속성에 대한 정확도를 높이기 위하여 원본영상으로부터 경계선(edge)를 추출하고 상기 경계선(edge)과 등깊이선을 중첩하여 분석하는 단계를 더 포함할 수 있다.In one embodiment, the 3-D visibility measurement method may further include the step of extracting an edge from the original image and superimposing the depth line with the edge in order to increase the accuracy of the continuity have.

일실시예에서, 3차원 시정 측정 방법은, 안개 등과 같은 시정장애물로 인해 상(image)이 맺히지 않는 경우에 해당 영역에서 경계선(edge)을 추출할 수 없게 되므로, 복수 영상들의 등깊이선을 중첩하여 분석하는 단계를 더 포함할 수 있다. 이 경우, 안개 등에 의한 매칭의 오류를 제거할 수 있으므로 더욱 정확한 가시거리를 판단할 수 있게 된다.In one embodiment, in the case of a three-dimensional visibility measurement method, when an image is not formed due to a visibility obstacle such as a fog, it is impossible to extract an edge from a corresponding region. Therefore, And analyzing the data. In this case, an error of matching due to mist or the like can be eliminated, so that a more accurate visible distance can be determined.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 3차원 시정 측정 방법은, 제1 카메라에서 촬영된 제1 영상과 상기 제1 카메라와 다른 각도에서 촬영된 제2 카메라의 제2 영상을 획득하는 제1 단계; 상기 제 1 영상과 상기 제2 영상에 기초하여 깊이지도(depth map)를 생성하는 제2 단계; 상기 깊이지도로부터 등깊이선을 생성하는 제3 단계; 상기 등깊이선의 연결연속성을 검출하여 일정 수준 이상의 연속성을 가지는지 판단하는 제4 단계; 상기 등깊이선이 일정 수준 이상의 연속성을 가지는 경우, 연속성을 갖는 상기 등깊이선 중 최대값을 취득하고, 상기 최대값을 가시거리 정보로 산출하는 제5 단계; 및 상기 등깊이선이 일정 수준 이상의 연속성을 가지지 않는 경우, 상기 등깊이선 중 최소값을 가시거리 정보로 산출하는 제6 단계를 포함한다.According to another aspect of the present invention, there is provided a method for measuring three-dimensional visibility, comprising the steps of: capturing a first image photographed by a first camera and a second image of a second camera photographed at an angle different from that of the first camera; A first step of acquiring; A second step of generating a depth map based on the first image and the second image; A third step of generating an equal depth line from the depth map; A fourth step of detecting connection continuity of the equal depth lines and judging whether continuity of a predetermined level or more is present; A fifth step of obtaining a maximum value among the equal depth lines having continuity when the equal depth line has continuity of a predetermined level or more and calculating the maximum value as visible range information; And a sixth step of calculating a minimum value of the equal depth lines as visible range information when the equal depth line does not have continuity of a predetermined level or more.

본 발명의 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법 및 시스템을 이용하면, 가변 초점거리를 갖는 줌렌즈와 상하좌우 회전이 가능한 팬/틸트 장치를 이용함으로써 360° 전방위 측정이 가능하면서도 교통모니터링이 가능한 3차원 시정 측정 시스템 및 방법을 제공할 수 있다.By using the three-dimensional visibility measurement method and system using the traffic monitoring camera of the present invention, it is possible to perform 360 ° omnidirectional measurement by using a zoom lens having a variable focal distance and a pan / tilt device capable of rotating up and down and left and right, And provide a system and method for measuring dimensional correctness.

또한, 본 발명에 의하면, 제1 영상 및 제2 영상을 통해 깊이지도(depth map)을 생성하고 오브젝트(object)까지의 가시거리를 산출하여 디스플레이를 통해 가시거리를 운전자에게 제공하고, 가시거리가 일정 거리 이하인 경우 안전 표시등을 점등하고 디스플레이를 통해 영상을 제공하여, 종래의 시정계보다 경제적이며 운전자에게 보다 정확한 시정 정보를 제공할 수 있고, 그에 의해 안개로 인한 교통사고를 줄이는데 기여할 수 있다.According to the present invention, a depth map is generated through a first image and a second image, a visual distance to an object is calculated, a visual distance is provided to the driver through a display, When the distance is less than a certain distance, the safety indicator is turned on and the image is provided through the display, so that it is more economical than the conventional visibility system and more accurate visibility information can be provided to the driver, thereby contributing to reduction of traffic accidents due to fog.

또한, 본 발명에 의하면, 기존의 교통모니터링 시스템에 단지 한 대의 카메라만을 추가로 설치함으로써 모니터링 및 시정측정이라는 두 가지 기능을 수행하도록 할 수 있는 효과가 있다.In addition, according to the present invention, only one camera is installed in an existing traffic monitoring system to perform two functions, i.e., monitoring and corrective measurement.

도 1은 본 발명의 일실시예에 따른 교통 모니터링 카메라를 이용하는 3차원 시정 측정 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 3차원 시정 측정 시스템에 이용할 수 있는 제1 및 제2 카메라의 평상시 영상들과 안개발생시 영상들을 예시한 도면이다.
도 3은 본 발명의 일실시예에 따른 3차원 시정 측정 시스템에 이용할 수 있는 평상시 및 안개발생시의 깊이지도(depth map)를 예시한 도면이다.
도 4는 본 발명의 일실시예에 따른 3차원 시정 측정 시스템에 이용할 수 있는 평상시 및 안개발생시의 등깊이선을 추출한 영상의 예시도이고,
도 5는 본 발명의 일실시예에 따른 3차원 시정 측정 시스템에 이용할 수 있는 평상시 및 안개발생시의 경계선 추출 영상의 예시도이고,
도 6은 본 발명의 일실시예에 따른 3차원 시정 측정 시스템에 이용할 수 있는 평상시 및 안개발생시의 등깊이선 추출 영상과 경계선 추출 영상을 중첩한 영상의 예시도이고,
도 7은 본 발명의 일실시예에 따른 디스플레이부 및 안전표시장치의 작동을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 3차원 시정 측정 방법을 설명하기 위한 흐름도이다.
FIG. 1 is a block diagram of a three-dimensional visibility measurement system using a traffic monitoring camera according to an embodiment of the present invention.
FIG. 2 is a view illustrating normal images of first and second cameras and images when fog occurs, which can be used in a three-dimensional corrective measurement system according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a depth map at the time of normal occurrence and fog occurrence that can be used in the three-dimensional corrective measurement system according to an embodiment of the present invention.
FIG. 4 is an exemplary view of an image obtained by extracting an iso-depth line at a normal time and at a mist generation time, which can be used in a three-dimensional corrective measurement system according to an embodiment of the present invention,
FIG. 5 is an exemplary view of a boundary line extraction image that can be used in a three-dimensional corrective measurement system according to an exemplary embodiment of the present invention,
6 is an exemplary view of an image obtained by superimposing an iso-depth line extraction image and a boundary extraction image in normal and fog generation, which can be used in a three-dimensional corrective measurement system according to an embodiment of the present invention,
7 is a diagram illustrating operations of a display unit and a safety display device according to an embodiment of the present invention.
FIG. 8 is a flowchart for explaining a 3-D corrective measurement method according to an embodiment of the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms and the inventor may appropriately define the concept of the term in order to best describe its invention It should be construed as meaning and concept consistent with the technical idea of the present invention.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents It should be understood that water and variations may be present.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 교통 모니터링 카메라를 이용하는 3차원 시정 측정 시스템의 구성도이다.FIG. 1 is a block diagram of a three-dimensional visibility measurement system using a traffic monitoring camera according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 3차원 시정 측정 시스템(100)은 제1 영상 수신부(111), 제2 영상 수신부(112), 적외선 투광부(114) 및 팬/틸트 구동부(116), 제어부(120), 저장부(130), 통신부(140) 및 디스플레이부(150)를 포함하여 이루어질 수 있다.Referring to FIG. 1, the 3D system 100 includes a first image receiving unit 111, a second image receiving unit 112, an infrared ray transmitting unit 114, and a pan / tilt driving unit 116. A control unit 120, a storage unit 130, a communication unit 140, and a display unit 150.

제1 영상 수신부(111)는 제1 카메라에 연결되어 제1 카메라로부터 제1 영상을 획득한다. 제1 영상 수신부(111)는 제1 카메라로부터 제1 영상을 받은 수신 포트를 포함하거나, 미리 설정된 구성에 따라 혹은 제어부(120)의 제어에 따라 제1 카메라에 접속하여 제1 카메라의 제1 영상을 읽어오는 수단이나 이러한 수단에 상응하는 동작을 수행하는 구성부를 포함할 수 있다.The first image receiving unit 111 is connected to the first camera and acquires the first image from the first camera. The first image receiving unit 111 may include a receiving port for receiving a first image from the first camera or may be connected to the first camera according to a preset configuration or under the control of the controller 120, And a component for performing an operation corresponding to this means.

제2 영상 수신부(112)는 제1 영상 수신부(111)와 유사하게 제2 카메라에 연결되어 제2 카메라로부터 제2 영상을 획득한다. 제2 영상 수신부(112)는 제2 카메라로부터 제2 영상을 받은 수신 포트를 포함하거나, 미리 설정된 구성에 따라 혹은 제어부(120)의 제어에 따라 제2 카메라에 접속하여 제2 카메라의 저장수단에 저장된 제2 영상을 독출하는 수단이나 이러한 수단에 상응하는 동작을 수행하는 구성부를 포함할 수 있다.The second image receiving unit 112 is connected to the second camera similar to the first image receiving unit 111 to acquire the second image from the second camera. The second image receiving unit 112 may include a receiving port for receiving the second image from the second camera or may be connected to the second camera according to a preset configuration or under the control of the control unit 120, A unit for reading the stored second image or a unit for performing an operation corresponding to the means.

제1 카메라와 제2 카메라는 스테레오 영상을 생성하기 위하여 미리 설정된 간격만큼 이격 배치될 수 있다. 제1 카메라와 제2 카메라는 구현에 따라서 스테레오 카메라일 수 있다.The first camera and the second camera may be spaced apart from each other by a predetermined interval to generate a stereo image. The first camera and the second camera may be stereo cameras depending on the implementation.

제1 및 제2 영상 수신부(111, 112)는 별도의 구성부일 수 있으나, 이에 한정되지 않고, 단일 영상 수신부로 구현될 수 있다.The first and second image receiving units 111 and 112 may be separate components, but the present invention is not limited thereto and may be implemented as a single image receiving unit.

적외선 투광부(114)는 적외선 투광기를 포함할 수 있고, 제1 카메라 및 제2 카메라의 야간 촬영이나 안개발생시 촬영에 사용가능 하도록 제1 카메라 및 제2 카메라에 결합될 수 있다. 또한, 적외선 투광부(114)는 적외선 투광기의 동작을 제어하는 적외선 투광기 구동부를 포함할 수 있으며, 이 경우 적외선 투광기 구동부는 제어부(200)에 의해 제어될 수 있다.The infrared light projecting unit 114 may include an infrared light emitter and may be coupled to the first camera and the second camera so that the first and second cameras can be used for night photography or fog generation. In addition, the infrared ray projecting unit 114 may include an infrared ray radiator driving unit for controlling the operation of the infrared ray radiator. In this case, the infrared ray radiator driving unit may be controlled by the control unit 200.

팬/틸트 구동부(116)는 제1 카메라와 제2 카메라의 단일 하우징에 설치되는 단일 하드웨어인 팬/틸트 구동유닛을 구비하고, 제1 카메라 및 제2 카메라에서 제1 영상 및 제2 영상을 포함한 스테레오 영상을 획득할 수 있도록 이루어진다. 이를 위해, 팬/틸트 구동부(116)는 제1 카메라와 제2 카메라의 팬 동작이나 틸트 동작이 서로 연동하도록 하우징에 결합된 단일 구동축을 구비할 수 있다. 또한, 팬/틸트 구동부(116)는 팬/틸트 구동유닛을 제어하는 구동 회로나 소프트웨어 구동모듈을 포함할 수 있다.The pan / tilt driving unit 116 includes a pan / tilt driving unit, which is a single piece of hardware installed in a single housing of the first camera and the second camera. The pan / tilt driving unit 116 includes a first camera and a second camera So that a stereo image can be obtained. For this purpose, the pan / tilt driver 116 may include a single drive shaft coupled to the housing to interlock the fan operation and the tilting operation of the first camera and the second camera. Further, the pan / tilt driver 116 may include a driving circuit or a software driving module for controlling the pan / tilt driving unit.

또한, 팬/틸트 구동부(116)는 제1 카메라에 결합하는 제1 줌 구동부와 제2 카메라에 결합하는 제2 줌 구동부를 구비할 수 있다.The pan / tilt driving unit 116 may include a first zoom driving unit coupled to the first camera and a second zoom driving unit coupled to the second camera.

제어부(120)는 3차원 시정 측정 시스템의 각 구성요소의 동작을 제어한다. 제어부(120)는 프로세서 또는 마이크로프로세서를 포함할 수 있다. 제어부(120)는 스테레오 영상 변환 모듈(121), 시정 측정 모듈(122) 및 PTZ 제어 모듈(123)을 포함할 수 있다.The control unit 120 controls the operation of each component of the three-dimensional corrective measurement system. The control unit 120 may include a processor or a microprocessor. The control unit 120 may include a stereo image conversion module 121, a corrective measurement module 122, and a PTZ control module 123.

스테레오 영상 변환 모듈(121)은 제1 카메라의 제1 영상과 제2 카메라의 제2 영상의 조합 데이터 혹은 스테레오 비전 영상 데이터(이하 간략히 '영상 데이터', '소스 데이터' 또는 '제1 영상 데이터')를 나란히 혹은 쌍으로 사전처리 하거나, 사전처리한 영상 데이터의 수직오차를 제거하거나 기하보정을 수행하거나, 기하보정한 영상 데이터를 이용하여 깊이지도를 생성할 수 있다.The stereo image conversion module 121 converts the combination data of the first image of the first camera and the second image of the second camera or the stereo vision image data (hereinafter simply referred to as 'image data', 'source data' ) Can be pre-processed in parallel or in pairs, the vertical error of the preprocessed image data can be removed, the geometric correction can be performed, or the depth map can be generated using the geometrically corrected image data.

또한, 스테레오 영상 변환 모듈(121)은 영상 내 에지에 대응하는 경계선을 추출하고, 등깊이선과 경계선을 중첩한 영상 데이터(이하 '시정 측정용 영상 데이터' 또는 '제2 영상 데이터')를 생성할 수 있다.In addition, the stereo image conversion module 121 extracts boundary lines corresponding to edges in the image, and generates image data (hereinafter, referred to as 'corrected image data' or 'second image data') in which the depth lines and the boundary line are superimposed .

또한, 스테레오 영상 변환 모듈(121)은 제1 영상과 제2 영상으로부터 등깊이 지도를 추출하고 등깊이 지도로부터 깊이 정보를 RGB 값으로 변환할 수 있다.Also, the stereo image conversion module 121 may extract the depth map from the first image and the second image, and may convert the depth information from the depth map to RGB values.

시정 측정 모듈(122)은 제2 영상 데이터에서 가시거리를 산출하거나 획득할 수 있다. 시정 측정 모듈(122)에서 산출되거나 획득한 정보는 안개발생시 교통 지원장치로 설치되어 있는 안전표시 장치 등을 가동시키거나 도로변의 디스플레이 장치나 차량 내 디스플레이 장치 등에 안전운행 정보를 제공하는데 이용될 수 있다. 상기 정보는 가시거리 정보 등을 포함할 수 있다.The visibility measurement module 122 may calculate or obtain the visual distance from the second image data. The information calculated or obtained by the visibility measurement module 122 can be used to activate a safety display device or the like installed in the traffic assisting device or to provide safe driving information to a display device of a roadside or an in-vehicle display device when a fog occurs . The information may include visible range information and the like.

PTZ 제어 모듈(123)은 제1 카메라와 제2 카메라의 동작을 제어하기 위한 수단이다. PTZ 제어 모듈(123)은 팬(pan), 틸트(tilt), 줌(zoom) 기능을 통해 목표물이나 목표 구역에 대한 자세한 모습을 촬영할 수 있다. PTZ 제어 모듈(123)은 제1 카메라와 제2 카메라가 설정된 목표 지역에서 원하는 위치를 포커싱하도록 제1 카메라와 제2 카메라에 각각 결합된 팬/틸트 구동부(116)의 팬 또는 틸팅 동작을 제어할 수 있다.The PTZ control module 123 is a means for controlling the operations of the first camera and the second camera. The PTZ control module 123 can take detailed pictures of the target or the target area through pan, tilt, and zoom functions. The PTZ control module 123 controls the pan or tilting operation of the pan / tilt driver 116 coupled to the first camera and the second camera, respectively, to focus the desired position in the target area where the first camera and the second camera are set .

즉, PTZ 제어 모듈(123)은 팬/틸트 구동부(116)를 제어하여 제1 카메라 및 제2 카메라를 상하좌우로 회전시켜 카메라가 설치된 지점으로부터 360도 전방위 측정을 할 수 있도록 한다. 또한, PTZ 제어 모듈(123)은 제1카메라 및 제2카메라의 줌 배율을 동일한 배율로 동시 제어하거나 각각 다른 배율로 개별적으로 조정할 수 있다.That is, the PTZ control module 123 controls the pan / tilt driving unit 116 to rotate the first camera and the second camera vertically and horizontally so that 360-degree omni-directional measurement can be performed from the point where the camera is installed. In addition, the PTZ control module 123 can simultaneously control the zoom magnifications of the first camera and the second camera at the same magnification, or individually adjust the zoom magnifications of the first camera and the second camera at different magnifications.

이때, 시정 측정 모듈(122)은 PTZ 제어 모듈(123)을 통해 팬/틸트 구동부(116) 및 카메라의 줌렌즈를 일정시간 간격으로 자동 운영할 수 있으나, 이에 한정되지 않고, 사용자나 관리자에 의해 수동으로 운영되도록 구현될 수도 있다.At this time, the corrective measurement module 122 may automatically operate the pan / tilt driver 116 and the zoom lens of the camera at predetermined time intervals through the PTZ control module 123, but the present invention is not limited thereto, As shown in FIG.

전술한 스테레오 영상 변환 모듈(121), 시정 측정 모듈(122) 및 PTZ 제어 모듈(123)은 제어부(120) 내에 적어도 일부가 하드웨어적으로 구현되거나 제어부(120)가 저장부(130)에 저장된 프로그램 모듈을 수행하여 스테레오 영상 변환 모듈(121), 시정 측정 모듈(122) 및 PTZ 제어 모듈(123) 중 적어도 어느 하나를 탑재하고 그 기능을 실행하도록 구현될 수 있다.The stereo image conversion module 121, the corrective measurement module 122 and the PTZ control module 123 may be implemented in hardware at least partly in the control unit 120 or may be implemented by a program stored in the storage unit 130 by the control unit 120. [ Module, and may be implemented to mount at least one of the stereo image conversion module 121, the corrective measurement module 122, and the PTZ control module 123 and to execute the function.

저장부(130)는 램 또는 롬 등의 반도체 메모리, 플래시 메모리, 하드디스크, 광디스크 등의 저장 수단을 포함할 수 있다. 저장부(130)는 스테레오 영상 변환 모듈(121), 시정 측정 모듈(122) 및 PTZ 제어 모듈(123) 중 적어도 어느 하나 이상을 소프트웨어 모듈 형태로 저장할 수 있다.The storage unit 130 may include storage means such as a semiconductor memory such as a RAM or a ROM, a flash memory, a hard disk, and an optical disk. The storage unit 130 may store at least one of the stereo image conversion module 121, the corrective measurement module 122, and the PTZ control module 123 in the form of a software module.

통신부(140)는 제어부(120)와 3차원 시정 측정 시스템 내 각 구성요소 간의 신호 및 데이터의 송수신을 지원할 수 있다. 즉, 통신부(140)는 본 시스템 내에서 프로세스 유닛 간의 입력단과 출력단의 상호 연동을 위한 연결을 제공하거나 지원하는 수단이나 구성부를 포함할 수 있다.The communication unit 140 can support transmission and reception of signals and data between the control unit 120 and each component in the three-dimensional corrective measurement system. That is, the communication unit 140 may include a means or a component for providing or supporting a connection for interworking between the input and output stages between the process units in the present system.

또한, 통신부(140)는 유선 통신망, 유선 네트워크, 무선 통신망, 무선 네트워크 또는 이들의 조합을 지원하기 위한 적어도 하나의 통신 서브 시스템을 구비할 수 있고, 제어부(120)가 안전표시 장치(160), 관제서버(170) 또는 디스플레이 장치(180)와 신호 및 데이터를 송수신하도록 지원할 수 있다.Also, the communication unit 140 may include at least one communication subsystem for supporting a wired communication network, a wired network, a wireless communication network, a wireless network, or a combination thereof, and the control unit 120 may include a safety indicator 160, And can transmit and receive signals and data to / from the control server 170 or the display device 180.

안전표시 장치(160)는 소리, 빛 등을 이용한 안개발생 경고 장치, 안개발생 지역 내에서 중앙선, 차선, 가이드레일 등에 설치되는 차량유도등, 점멸등 등을 포함할 수 있다. 안전표시 장치(160)는 3차원 시정 측정 시스템(100)과 연동하며 이 시스템의 제어신호에 따라 동작할 수 있다.The safety indicator 160 may include a fog generation warning device using sound, light, etc., a vehicle guide light installed in a center line, a lane, a guide rail or the like in a fog generation area, and a flashing light. The safety indicator 160 may operate in conjunction with the three-dimensional corrective measurement system 100 and may operate in accordance with the control signals of the system.

관제서버(170)는 3차원 시정 측정 시스템(100)에서 생산되거나 출력되는 신호나 정보와 이러한 신호나 정보에 따라 동작하는 주변의 연동 장치들의 상태를 수집하고 모니터링할 수 있다. 관제서버(170)는 인접하게 위치하는 다수의 3차원 시정 측정 시스템의 정보에 기초하여 안개발생 지역을 구분하거나 안개발생 지역의 확산, 축소 등의 변화를 감지할 수 있고, 획득한 정보에 기초하여 교통안전 시스템을 추가로 운영할 수 있다.The control server 170 can collect and monitor signals and information produced or output in the 3D corrective measurement system 100 and the states of the surrounding interlocking devices operating according to such signals or information. The control server 170 can distinguish the fog generation area based on information of a plurality of adjacent three-dimensional corrective measurement systems or can detect changes such as diffusion and reduction of the fog generation area, Additional traffic safety systems can be operated.

관제서버(170)는 가시거리 정보, 제1 및 제2 영상들(201, 201a, 202, 202a) 또는 안전표시 장치(160)의 정보를 수신할 수 있고, 제1 및 제2 카메라들, 안전표시 장치(160) 또는 디스플레이 장치(180)를 제어할 수 있다.The control server 170 can receive information of the visible range information, the first and second images 201, 201a, 202 and 202a or the safety indicator 160, The display device 160 or the display device 180 can be controlled.

디스플레이 장치(180)는 도로변에 설치되어 문자만을 표시하거나 문자와 영상을 함께 표시하는 장치를 포함할 수 있다. 또한, 디스플레이 장치(180)는 지능형 교통 체계(ITS) 속에서 동작하는 모든 영상표시 장치를 포함할 수 있다. 일례로, 디스플레이 장치(180)는 도로상에 위치하거나 도로를 주행 중인 차량에 설치되는 각종 영상표시 장치를 포함할 수 있다.The display device 180 may include a device installed on the road side to display only characters or display characters and images together. In addition, the display device 180 may include all image display devices operating in the intelligent traffic system (ITS). For example, the display device 180 may include various image display devices installed on a road or on a vehicle running on the road.

본 실시예에 따른 3차원 시정 측정 시스템(100)은 넓은 의미에서 제1 카메라, 제2 카메라, 안전표시 장치(160), 관제서버(17) 및 외부의 디스플레이 장치(180)를 더 포함하도록 구현될 수 있다.The three-dimensional corrective measurement system 100 according to the present embodiment may be implemented to include a first camera, a second camera, a safety indicator 160, a control server 17 and an external display device 180 in a broad sense .

전술한 3차원 시정 측정 시스템(100)의 작동 원리를 좀더 구체적으로 설명하면 다음과 같다.The operation principle of the three-dimensional corrective measurement system 100 will be described in more detail as follows.

도 2의 (a) 및 (b)에 도시된 바와 같이 제1 카메라는 제1 영상(201)을 촬영하고 제2 카메라는 제2 영상(202)을 촬영한다. 또한, 도 2의 (c) 및 (d)에 도시된 바와 같이, 안개발생시 제1 카메라는 제1 영상(201a)을 촬영하고 제2 카메라는 제2 영상(202a)을 촬영할 수 있다.As shown in FIGS. 2 (a) and 2 (b), the first camera 201 photographs the first image 201 and the second camera 202 photographs the second image 202. Also, as shown in FIGS. 2C and 2D, when the fog occurs, the first camera may capture the first image 201a and the second camera may capture the second image 202a.

기존의 교통모니터링시스템에서 사용하는 카메라가 제1 카메라라면, 제2 카메라와 같이 단지 한 대의 카메라만을 추가함으로써 모니터링 및 시정측정이라는 두 가지 기능을 수행하도록 구현될 수 있다.If the camera used in the existing traffic monitoring system is the first camera, it can be implemented to perform two functions such as monitoring and corrective measurement by adding only one camera like the second camera.

제1 카메라 및 제2 카메라는 가변 초점 거리를 갖는 줌 렌즈와 상하좌우 회전이 가능한 팬/틸트 장치를 이용함으로써 360°전방위로 영상 촬영이 가능하도록 구성될 수 있다.The first camera and the second camera may be configured to be able to photograph images 360 ° in all directions by using a zoom lens having a variable focal length and a pan / tilt device capable of rotating up and down and left and right.

제1 카메라 및 제2 카메라는 서로 다른 줌 배율로 교통 모니터링을 하기 위하여 도로 및 거리를 촬영한 제1 영상 및 제2 영상을 동시에 제공할 수 있다. 여기에서 제1 영상 및 제2 영상 각각은 차량 등의 오브젝트(object)를 포함한 확대된 영상일 수 있다. 이 경우, 제1 카메라는 줌인(zoom in), 제2 카메라는 줌아웃(zoom out)과 같은 방식으로 동작할 수 있다. 또한, 제1 카메라는 일반영상, 제2 카메라는 안개제거 기능을 적용한 영상을 표출하도록 구현될 수 있다.The first camera and the second camera may simultaneously provide the first image and the second image of the road and the distance to monitor traffic at different zoom magnifications. Here, each of the first image and the second image may be an enlarged image including an object such as a vehicle. In this case, the first camera may operate in a zoom in mode and the second camera may operate in a zoom out mode. Also, the first camera may be implemented as a general image, and the second camera may be implemented as an image to which a fog removal function is applied.

제어부(120)는 제1 카메라 및 제2 카메라와 연동하고 제1 카메라가 촬영한 제 1 영상(201, 201a)과 제2 카메라가 촬영한 제2 영상(202, 202a)을 입력으로 취득하여 도 3의 (a)와 (b)에 도시된 바와 같이 깊이지도(depth map) 정보를 포함한 영상(203, 204)를 생성할 수 있다. 깊이지도는 가시거리 정보를 산출하는데 이용될 수 있다.The control unit 120 acquires the first images 201 and 201a captured by the first camera and the second images 202 and 202a captured by the second camera in cooperation with the first camera and the second camera, It is possible to generate images 203 and 204 including depth map information as shown in (a) and (b) of FIG. The depth map can be used to calculate visual range information.

이를 위하여 제어부(120)는 스테레오 영상 변환 모듈(121), 시정 측정 모듈(122) 및 PTZ(pan/tilt/zoom) 제어 모듈(123)을 포함할 수 있다.The control unit 120 may include a stereo image conversion module 121, a corrective measurement module 122, and a pan / tilt / zoom (PTZ) control module 123.

스테레오 영상 변환 모듈(121)은 제1 카메라가 촬영한 제1 영상과 제2 카메라가 촬영한 제2 영상을 이용하여 깊이지도를 생성하고, 깊이지도에서 등깊이선을 작성하며(도 4의 205 및 206 영상 참조), 원본 영상(소스 데이터)에서 경계선을 추출할 수 있다(도 5의 207 및 208 영상 참조).The stereo image conversion module 121 generates a depth map using the first image taken by the first camera and the second image taken by the second camera, and creates an equal depth line in the depth map And 206 images), and a boundary line can be extracted from the original image (source data) (see image 207 and 208 in FIG. 5).

이때, 스테레오 영상 변환 모듈(121)은 제1 및 제2 영상들(201 또는 201a, 202 또는 202a)을 각각 보정한 후, 보정한 제1 및 제2 영상들을 이용해 깊이 지도를 생성할 수 있다. 보정 과정을 수행하면, 보다 정확한 데이터의 깊이 지도를 생성할 수 있다.At this time, the stereo image conversion module 121 may generate the depth map using the corrected first and second images after correcting the first and second images 201 and 201a, 202, and 202a, respectively. By performing the correction process, a more accurate depth map of the data can be generated.

전술한 과정에서, 스테레오 영상 변환 모듈(121)은 제1 및 제2 영상들(201, 201a, 202, 202a)의 위치 평면상에서 투영 중심과 기준점의 교차점으로부터 공액점을 결정하고, 공액점을 통해 입체상을 생성하는 에피폴라 기하(Epipolar Geometry)를 사용하여 깊이지도(depth map)를 생성하도록 구현된다.In the above process, the stereo image conversion module 121 determines a conjugate point from the intersection of the projection center and the reference point on the positional plane of the first and second images 201, 201a, 202 and 202a, To create a depth map using Epipolar Geometry, which generates a depth map.

시정 측정 모듈(122)은 등깊이선 및 경계선을 이용하여 연결연속성을 검출하고 연결연속성이 일정 수준 이상의 연속성을 가지는지 판단하도록 구현된다.The corrective measurement module 122 is implemented to detect connection continuity using iso-depth lines and perimeters and to determine if the connection continuity has a continuity above a certain level.

즉, 시정 측정 모듈(122)은 제1 카메라가 촬영한 제1 영상과 제2 카메라가 촬영한 제2 영상의 원본영상으로부터 경계선(edge)를 추출하고, 경계선(edge)과 상기 등깊이선을 중첩하여 분석할 수 있다(도 6의 209 및 210 영상 참조).That is, the visibility measurement module 122 extracts edges from the original image of the first image captured by the first camera and the captured image captured by the second camera, and outputs the edge and the back- (See images 209 and 210 in FIG. 6).

또한, 시정 측정 모듈(122)는 안개 발생시 시정이 불명확한 경계지점에서의 판단 오류를 줄이기 위해 연속된 복수의 영상을 추출하는 방법과 통계적인 방법을 추가로 적용하여 최적화 되도록 구현될 수 있다.In addition, the corrective measurement module 122 may be implemented by further applying a statistic method and a method of extracting a plurality of consecutive images in order to reduce a judgment error at an unclear boundary point when a mist occurs.

상기 등깊이선이란 바다의 평균 수면을 기준으로 하여 같은 높이의 지점을 이은 선인 등고선과 유사하게, 상기 깊이지도에서 거리의 멀고 가까움을 나타내는 지점을 이은 선을 의미한다. 하나의 사물이 정확하게 주변 배경과 구분되도록 상(image)이 맺힌다면 이 상(image)은 연접하는 영상소자들(픽셀들) 사이에서 연속성을 가지는 것을 판단할 수 있다.The iso-depth line refers to a line extending from the depth map to a point indicating the distance from the depth map, similar to a contour line that is a line connecting points of the same height with respect to the average sea surface of the sea. If an image is formed so that an object is accurately separated from the surrounding background, this image can be judged to have continuity between adjoining image elements (pixels).

그러므로 상기 시정 측정 모듈(122)은 상기 등깊이선에서 연속성을 검토하여, 일정 수준 이상의 연속성을 가지는 경우에 한하여 그 중 최대값을 취득하면 그 값을 가시거리라고 판단할 수 있다.Therefore, the visibility measurement module 122 can check the continuity at the equal depth line, and if the maximum value is obtained only when the continuity is equal to or greater than a predetermined level, the visibility measurement module 122 can determine the value as the visible distance.

즉, 안개 등에 의한 시정저하가 발생하지 않았다면 당시의 시정거리는 스테레오영상에서 취득할 수 있는 이론적 최대치라고 할 수 있다. 이때, 시정 측정 모듈(122)에서 등깊이선이 일정 수준 이상의 연속성을 가진다면, 연속성을 갖는 등깊이선 중의 최대값을 취득하고, 최대값을 가시거리 정보로 산출한다.That is, if the correction does not occur due to mist or the like, then the corrective distance at that time is the theoretical maximum value that can be acquired from the stereo image. At this time, if the equal depth line has continuity of a certain level or more in the visibility measurement module 122, the maximum value in the depth line having continuity is obtained, and the maximum value is calculated as the visible distance information.

또한, 안개 등에 의한 시정저하가 발생하는 경우에는 제일 먼 지점부터 상(image)이 맺히지 않게 되고, 상(image)이 맺히지 않으면 매칭점도 규칙성을 가질 수 없게 된다. 이때 상기 시정 측정 모듈(122)에서 상기 등깊이선이 일정 수준 이상의 연속성을 가지지 않는다면, 상기 등깊이선 중의 최소값을 가시거리 정보로 산출한다.In addition, in the case where the correction due to fog or the like occurs, the image is not formed from the farthest point, and if the image is not formed, the matching point can not have regularity. In this case, if the equal depth line does not have continuity of a certain level or more in the corrective measurement module 122, the minimum value of the equal depth lines is calculated as the visible distance information.

이는 안개 등과 같은 시정장애물로 인해 상(image)이 맺히지 않는 경우에는 해당 영역에서 경계선(edge)을 추출할 수 없게 되므로 연속하는 복수의 영상들의 등깊이선들을 중첩하여 분석하는 경우 안개 등에 의한 매칭의 오류를 제거 할 수 있으므로 더욱 정확한 가시거리를 판단할 수 있을 수 있기 때문이다.This is because when the image is not formed due to the occlusion obstacle such as fog, the edge can not be extracted from the corresponding region. Therefore, when overlapping the plurality of continuous depth lines of the images, Since errors can be eliminated, more accurate viewing distances can be determined.

한편, 촬영된 제1 영상(201) 및 제2 영상(202)은 저장부(130)에 저장된다. 디스플레이부(150) 또는 디스플레이 장치(180)는 제어부(120)에서 산출된 가시거리를 영상으로 표시할 수 있으며, 촬영된 제1 영상(201, 201a) 또는 제2 영상(202, 202a)을 표시할 수도 있다.The first image 201 and the second image 202 are stored in the storage unit 130. The display unit 150 or the display device 180 may display the visual distance calculated by the controller 120 as an image and display the first image 201 or 201a or the second image 202 or 202a You may.

안전 표시장치(160)는 제어부(120)에서 산출된 가시거리 정보에 상응하여 미리 설정된 동작을 수행하거나 미리 설정된 정보나 화면을 출력할 수 있다. 안전 표시장치(160)는 도로전광표시장치(VMS), 안개예고표시 장치, 가변속도제한표시 장치, 지향성 스피커 및 안개등과 같은 도로상에 설치되는 안전표시 기능을 제공하는 장치를 포함할 수 있다.The safety display device 160 may perform a preset operation or output preset information or a screen according to the visible range information calculated by the controller 120. [ The safety indicator 160 may include a device that provides a safety indicator function installed on the road, such as a road electric indicator (VMS), a haze warning indicator, a variable speed limit indicator, a directional speaker, and a fog lamp.

일례로, 안전 표시장치(160)가 안개등일 때, 가시거리 정보가 일정 거리 이상으로서 안전거리에 해당하는 경우에는 점등되지 않으며, 상기 가시거리 정보가 일정 거리 이하인 경우에는 점등되어 도로 상의 운전자에게 알릴 수 있도록 작동될 수 있다. 또한, 구현에 따라 가시거리를 일정 범위로 구간 설정하여 단계적으로 밝기와 점멸속도 등이 조절되도록 작동시킬 수 있다.For example, when the safety indicator 160 is a fog light, it is not turned on when the visible distance information is equal to or greater than a certain distance, and when the visible distance information is less than a predetermined distance, Can be operated. Also, according to the implementation, it is possible to set the visible range to a predetermined range and operate the brightness and the blinking speed to be adjusted in a stepwise manner.

따라서 도 7에 도시한 바와 같이 디스플레이 장치(180)는 가시거리를 수치로 제공할 수 있으며, 제1 카메라 또는 제2 카메라에서 촬영한 도로의 영상도 함께 제공할 수 있다.Therefore, as shown in FIG. 7, the display device 180 can provide the visual distance as a numerical value, and can also provide an image of the road taken by the first camera or the second camera.

이를 위해, 관제서버(170)는 시정 측정 모듈(122)에서 계산한 가시거리 정보가 50m인 경우에는 디스플레이 장치(180)를 통해 가시거리 정보를 표시하고, 도로를 촬영한 영상을 제공함과 동시에 어느 하나 이상의 안전표시 장치(160)를 작동시킬 수 있다.For this, the control server 170 displays the visible range information through the display device 180 when the visibility information calculated by the visibility measurement module 122 is 50 m, One or more safety indicators 160 may be operated.

이 경우, 저장부(130)는 제1 영상 및 제2 영상을 저장할 수 있으며, 제어부(120)는 통신부(140)를 통해 디스플레이 장치(180) 및 안전표시 장치(160) 등이 동작하도록 상기 장치들의 동작을 제어할 수 있다.In this case, the storage unit 130 may store the first image and the second image, and the controller 120 controls the display unit 180 and the safety indicator 160 to operate through the communication unit 140, Can be controlled.

도 8은 본 발명의 일실시예에 따른 3차원 시정 측정 시스템의 제어 방법을 설명하기 위한 흐름도이다.8 is a flowchart illustrating a method of controlling a three-dimensional corrective measurement system according to an embodiment of the present invention.

도 8을 참조하면, 본 실시예에 따른 3차원 시정 측정 방법은 전술한 3차원 시정 측정 시스템에 의해 수행되는 일련의 단계들을 포함하는 것으로서, 먼저 제1 카메라의 제1 영상을 획득하고, 제1 카메라와 다른 각도에서 촬영된 제2 카메라의 제2 영상을 획득할 수 있다(S802).Referring to FIG. 8, the 3D correction method according to the present embodiment includes a series of steps performed by the 3D correction system described above. First, a first image of the first camera is acquired, The second image of the second camera photographed at a different angle from the camera may be acquired (S802).

여기서, 제1 카메라 및 제2 카메라는 서로 다른 각도에서 교통 모니터링을 위하여 도로 및 거리를 촬영하는 제1 영상 및 제2 영상을 동시에 제공한다. 제1 영상과 제2 영상은 차량 등의 오브젝트(object)가 포함되는 영상일 수 있다.Here, the first camera and the second camera simultaneously provide a first image and a second image for photographing roads and distances for traffic monitoring at different angles. The first image and the second image may be images including an object such as a vehicle.

다음, 제1 카메라가 촬영한 제 1 영상과 상기 제2 카메라가 촬영한 제2 영상을 입력으로 취득하고 제1 영상과 제2 영상 내 3차원 좌표를 이용하여 깊이지도(depth map)를 생성한다(S804).Next, a first image captured by the first camera and a second image captured by the second camera are input, and a depth map is generated using the three-dimensional coordinates in the first and second images (S804).

상기 단계(S804)는 제1 영상과 제2 영상을 각각 보정한 후, 보정된 제1 영상과 제2 영상에서 획득한 3차원 좌표를 이용하여 깊이지도를 생성할 수 있다. 여기서 상기 단계(S804)는 제1 영상과 제2 영상으로부터 결정한 공액점을 통해 입체상을 생성하는 에피폴라 기하(Epipolar Geometry)를 사용하여 깊이지도를 생성하는 과정을 포함한다. 이러한 방법에 의하면 보다 정확한 데이터의 깊이지도를 생성할 수 있다.The step S804 may generate the depth map using the three-dimensional coordinates acquired from the corrected first image and the second image after correcting the first image and the second image, respectively. The step (S804) includes a step of generating a depth map using an epipolar geometry that generates a stereoscopic image through a conjugate point determined from the first image and the second image. According to this method, more accurate data depth map can be generated.

다음, 깊이지도로부터 등깊이선을 생성 또는 추출한다(S806).Next, an iso-depth line is generated or extracted from the depth map (S806).

다음, 등깊이선의 연결연속성을 검출하여 일정 수준 이상의 연속성을 가지는지를 판단한다(S808). 본 단계(S808)는 제1 카메라가 촬영한 제1 영상과 제 2 카메라가 촬영한 제2 영상의 원본영상으로부터 경계선(edge)를 추출하고, 경계선(edge)과 상기 등깊이선을 중첩하여 분석하는 과정을 포함할 수 있다.Next, the connection continuity of the back-depth lines is detected and it is judged whether the connection continuity has a certain level or more (S808). In this step S808, edges are extracted from the original image of the first image taken by the first camera and the second image taken by the second camera, and the edge and the equal depth lines are superimposed . ≪ / RTI >

다음, 등깊이선이 일정 수준 이상의 연속성을 가지면, 연속성을 갖는 등깊이선 중 최대값을 취득하고, 취득한 최대값을 즉, 최소 시차값을 가시거리 정보로 산출한다(S810).Next, if the equal depth line has continuity of a predetermined level or more, the maximum value among the depth lines having continuity is acquired, and the obtained maximum value, that is, the minimum parallax value is calculated as the visible distance information (S810).

한편, 상기 단계(S808)에서 등깊이선이 일정 수준 이상의 연속성을 가지지 않는 경우, 카메라에 의한 촬영 중심점이 최소거리 측정지점인지를 판단할 수 있다(S812). 그리고, 촬영 중심점이 최소거리 측정지점이면, 등깊이선 중 최소값 또는 최저값을 가시거리 정보로 산출하거나 적용할 수 있다(S814).If it is determined in step S808 that the equal depth line does not have continuity of a predetermined level or more, it may be determined whether the photographing center point by the camera is the minimum distance measuring point in step S812. If the photographing center point is the minimum distance measuring point, the minimum or minimum value of the equal depth lines may be calculated or applied as the visible distance information (S814).

다른 한편으로, 상기 판단 단계(S812)에서 촬영 중심점이 최소거리 측정지점이 아닌 것으로 판단되면, 제어부 또는 제어부의 시정 측정 모듈은 촬영 중심점을 단계적으로 이동시킬 수 있다(S816). 이 경우, 제어부는 촬영 중심점을 미리 설정된 단계별 줌아웃 방식으로 원거리에서 근거리로 촬영 중심점을 최소거리 측정지점이나 이와 인접한 위치로 이동시킬 수 있다. 그런 다음, 촬영 중심점이 미리 설정되는 최소거리 측정지점이나 그 영역에 위치하는 경우, 제1 및 제2 카메라의 영상을 획득하는 단계로 되돌아갈 수 있다.On the other hand, if it is determined in step S812 that the photographing center point is not the minimum distance measuring point, the correcting module of the controller or the controller may move the photographing center point step by step (S816). In this case, the control unit can move the photographing center point from a long distance to a short distance measuring point or a position adjacent to the photographing center point by a preset step-by-step zoom-out method. Then, when the photographing center point is located at a predetermined minimum distance measuring point or its area, it is possible to return to the step of acquiring images of the first and second cameras.

다음, 위의 단계들(S810 및 S814)에서 선택적으로 산출된 가시거리 정보에 상응하게 안전 표시장치를 작동시킬 수 있다(S818). 본 단계에서 가시거리가 일정 거리 이상인지를 판단하여 가시거리 정보가 일정 거리 이하의 기준값인 경우에는, 안전 표시장치 등을 작동시킬 수 있다.Next, the safety indicator may be operated according to the visibility information selectively generated in the above steps S810 and S814 (S818). In this step, it is determined whether or not the visual distance is equal to or greater than a predetermined distance, and in the case where the visual distance information is a reference value less than a certain distance, the safety display device or the like can be operated.

또한, 제어부는 디스플레이 장치를 통하여 가시거리를 표시하거나, 제1 영상, 제2 영상, 가시거리 정보 등을 저장부에 저장할 수 있다(S820).In addition, the controller may display the visible distance through the display device, or store the first image, the second image, the visible range information, and the like in the storage unit (S820).

본 실시예에 의하면, 제1 영상과 제2 영상에 기초하여 깊이지도(depth map)을 생성하고, 깊이지도에 따른 등깊이선을 형성하고, 등깊이선의 연결연속성을 검토하여, 일정 수준 이상의 연속성에 따라 가시거리 정보를 추출하거나 오브젝트(object)까지의 가시거리 정보를 산출할 수 있다. 산출된 정보는 디스플레이 장치를 통해 운전자에게 가시거리 정보를 제공하는데 이용되거나, 가시거리 정보가 일정 거리 이하인 경우 안전 표시장치 등을 작동하고 디스플레이 장치를 통해 영상을 제공하는 등 각종 안전운전 환경을 제공하는데 이용될 수 있으며, 이러한 구성 및 작용효과에 의해 종래의 시정계보다 경제적이면서 운전자에게 보다 정확한 시정 정보를 제공할 수 있는 효과가 있다.According to the present embodiment, a depth map is generated based on the first image and the second image, an iso-depth line is formed according to the depth map, connection continuity of the iso-depth line is examined, The visual range information can be extracted or the visual range information up to the object can be calculated. The calculated information is used to provide visibility information to the driver through the display device, or to provide various safety driving environments such as a safety display device when the visual distance information is less than a certain distance and an image through a display device According to the structure and the effect of the present invention, it is possible to provide more accurate correction information to the driver, which is more economical than the conventional visibility system.

전술한 3차원 시정 측정 방법은 제어부 특히 시정 측정 모듈의 소프트웨어 모듈 형태의 서브 모듈들로 구현될 수 있다. 여기서, 시정 측정 모듈은 각 단계들(S802 내지 S820)에 대응하여 각 기능을 수행하는 복수의 서브 모듈들을 구비할 수 있으며, 일례로 복수의 서브 모듈들은 획득 모듈(획득 서브모듈에 대응함, 이하 동일), 생성 모듈, 추출 모듈, 제1 판단 모듈, 제2 판단 모듈, 가시거리 산출 모듈, 최적값 적용 모듈, 이동 모듈, 작동 모듈, 표시 모듈, 저장 모듈 등을 포함할 수 있다.The above-mentioned three-dimensional corrective measurement method can be implemented by a control unit, particularly a software module type submodule of the corrective measurement module. Here, the corrective measurement module may include a plurality of submodules that perform respective functions corresponding to the respective steps (S802 to S820). For example, a plurality of submodules may include an acquisition module (corresponding to an acquisition submodule, A generating module, an extracting module, a first determining module, a second determining module, a visible range calculating module, an optimum value applying module, a moving module, an operating module, a display module, and a storing module.

전술한 바와 같이 본 발명의 상세한 설명에서는 바람직한 실시예들에 관하여 설명하였지만, 본 발명의 기술분야에서 통상의 지식을 가진 사람이라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다. 그러므로 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It will be understood that the invention can be variously modified and changed. Therefore, the technical idea of the present invention should not be limited to the above-described embodiments of the present invention, but should be determined by the claims and equivalents thereof.

100: 3차원 시정 측정 시스템 111: 제1 영상 수신부
112: 제2 영상 수신부 114: 적외선 투광기
116: 팬/틸트 구동부 120: 제어부
121: 스테레오 영상 변환 모듈 122: 시정 측정 모듈
123: PTZ 제어 모듈 130: 저장부
140: 통신부 150: 디스플레이부(내부)
160: 안전 표시장치 170: 관제서버
180: 디스플레이 장치
100: Three-dimensional corrective measurement system 111: First image receiving unit
112: second image receiving unit 114: infrared ray emitter
116: a pan / tilt driver 120:
121: stereo image conversion module 122: corrective measurement module
123: PTZ control module 130:
140: communication unit 150: display unit (internal)
160: safety indicator 170: control server
180: Display device

Claims (5)

제1 영상을 촬영하는 제1 카메라와 상기 제1 카메라와 다른 각도에서 제2 영상을 촬영하는 제2 카메라와 연동하고 상기 제1 카메라가 촬영한 제 1 영상과 상기 제2 카메라가 촬영한 제2 영상의 입력으로부터 가시거리 정보를 산출하는 제어부;
상기 제어부와 연동하여 상기 제1 영상, 상기 제2 영상, 상기 가시거리 정보를 저장하는 저장부; 및
상기 제어부, 상기 제1 카메라 및 상기 제2 카메라와 관제서버 간의 네트워크 연동을 지원하는 통신모듈을 포함하고,
상기 제어부는, 상기 제1 영상과 상기 제2 영상을 이용하여 깊이지도를 생성하는 스테레오 영상 변환 모듈, 및 상기 깊이지도로부터 등깊이선을 생성하고, 상기 등깊이선의 연결연속성을 검출하여 일정 수준 이상의 연속성을 가지는지 판단하는 시정 측정 모듈을 구비하며,
상기 시정 측정 모듈은, 상기 등깊이선이 일정 수준 이상의 연속성을 가지는 경우, 연속성을 갖는 상기 등깊이선 중 최대값을 취득하고 상기 최대값을 가시거리 정보로 산출하거나, 상기 제1 영상과 상기 제2 영상으로부터 경계선 추출이 없는 경우, 상기 등깊이선을 중첩하여 가시거리의 최저값을 분석하는, 교통 모니터링 카메라를 이용하는 3차원 시정 측정 시스템.
A first camera for capturing a first image and a second camera for capturing a second image at an angle different from that of the first camera, the first image captured by the first camera, and the second captured image captured by the second camera, A control unit for calculating visual distance information from an input of an image;
A storage unit for storing the first image, the second image, and the visible range information in cooperation with the control unit; And
And a communication module for supporting network interworking between the control unit, the first camera, and the second camera and the control server,
The control unit includes a stereo image conversion module that generates a depth map using the first image and the second image, and a depth image generation unit that generates an equal depth line from the depth map, detects connection continuity of the equal depth line, And a visibility measurement module for judging whether there is continuity,
Wherein the visibility measurement module acquires a maximum value among the equal depth lines having continuity when the equal depth line has continuity of a predetermined level or more and calculates the maximum value as visible range information, A three-dimensional visibility measuring system using a traffic monitoring camera for analyzing a minimum value of visible distance by superimposing the equal depth lines when there is no boundary line extraction from two images.
삭제delete 제1 항에 있어서,
상기 스테레오 영상 변환 모듈은 상기 제1 영상, 상기 제2 영상으로부터 결정한 공액점을 통해 입체상을 생성하는 에피폴라기하(Epipolar Geometry)를 사용하여 상기 깊이지도를 생성하는 교통 모니터링 카메라를 이용하는 3차원 시정 측정 시스템.
The method according to claim 1,
The stereoscopic image conversion module may include a three-dimensional corrective measurement using a traffic monitoring camera that generates the depth map using an epipolar geometry that generates a stereoscopic image through a conjugate point determined from the first image and the second image system.
제1 항에 있어서,
상기 제어부는 상기 제1 영상, 상기 제2 영상, 상기 가시거리 정보 중 어느 하나 이상을 디스플레이 장치로 출력하거나, 상기 가시거리 정보에 상응하여 안전 표시장치를 동작시키거나, 상기 제1 영상, 상기 제2 영상 및 상기 가시거리 정보 또는 이들의 조합을 상기 관제서버에 제공하는, 교통 모니터링 카메라를 이용하는 3차원 시정 측정 시스템.
The method according to claim 1,
The control unit may output one or more of the first image, the second image, and the visible range information to a display device, operate the safety display device in accordance with the visible range information, 2 vision, and / or a combination thereof, to the control server.
제1 카메라에서 촬영된 제1 영상과 상기 제1 카메라와 다른 각도에서 촬영된 제2 카메라의 제2 영상을 획득하는 제1 단계;
상기 제 1 영상과 상기 제2 영상에 기초하여 깊이지도(depth map)를 생성하는 제2 단계;
상기 깊이지도로부터 등깊이선을 생성하는 제3 단계;
상기 등깊이선의 연결연속성을 검출하여 일정 수준 이상의 연속성을 가지는지 판단하는 제4 단계;
상기 등깊이선이 일정 수준 이상의 연속성을 가지는 경우, 연속성을 갖는 상기 등깊이선 중 최대값을 취득하고, 상기 최대값을 가시거리 정보로 산출하는 제5 단계; 및
상기 등깊이선이 일정 수준 이상의 연속성을 가지지 않는 경우, 상기 등깊이선 중 최소값을 가시거리 정보로 산출하는 제6 단계를 포함하는
교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법.
A first step of acquiring a first image photographed by a first camera and a second image of a second camera photographed at an angle different from that of the first camera;
A second step of generating a depth map based on the first image and the second image;
A third step of generating an equal depth line from the depth map;
A fourth step of detecting connection continuity of the equal depth lines and judging whether continuity of a predetermined level or more is present;
A fifth step of obtaining a maximum value among the equal depth lines having continuity when the equal depth line has continuity of a predetermined level or more and calculating the maximum value as visible range information; And
And a sixth step of, when the equal depth line does not have continuity of a predetermined level or more, a minimum value among the equal depth lines as visible range information
3 - Dimensional Visibility Measurement Method Using Traffic Monitoring Camera.
KR1020180012145A 2018-01-31 2018-01-31 Method and system for measuring three dimensional visibility combined with traffic monitoring KR101893368B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180012145A KR101893368B1 (en) 2018-01-31 2018-01-31 Method and system for measuring three dimensional visibility combined with traffic monitoring
PCT/KR2019/000927 WO2019151704A1 (en) 2018-01-31 2019-01-22 Method and system for measuring three-dimensional visibility using traffic monitoring camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180012145A KR101893368B1 (en) 2018-01-31 2018-01-31 Method and system for measuring three dimensional visibility combined with traffic monitoring

Publications (1)

Publication Number Publication Date
KR101893368B1 true KR101893368B1 (en) 2018-09-04

Family

ID=63598249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180012145A KR101893368B1 (en) 2018-01-31 2018-01-31 Method and system for measuring three dimensional visibility combined with traffic monitoring

Country Status (2)

Country Link
KR (1) KR101893368B1 (en)
WO (1) WO2019151704A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301974B2 (en) * 2019-05-27 2022-04-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627056B (en) * 2020-05-14 2023-09-01 清华大学 Driving visibility determination method and device based on depth estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090051785A (en) 2007-11-19 2009-05-25 (주)뉴멀티테크 System for observing wether and thereof method
KR20110037180A (en) 2009-10-06 2011-04-13 충주대학교 산학협력단 System and method for road visibility measurement using camera
JP2012026927A (en) * 2010-07-26 2012-02-09 Astron Inc Kk Weather measuring apparatus

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902229B2 (en) * 2010-01-13 2014-12-02 Samsung Electronics Co., Ltd. Method and system for rendering three dimensional views of a scene
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
KR101797035B1 (en) * 2010-02-09 2017-11-13 삼성전자주식회사 Method for converting overlaying area into 3D image and apparatus thereof
KR101835434B1 (en) * 2015-07-08 2018-03-09 고려대학교 산학협력단 Method and Apparatus for generating a protection image, Method for mapping between image pixel and depth value

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090051785A (en) 2007-11-19 2009-05-25 (주)뉴멀티테크 System for observing wether and thereof method
KR20110037180A (en) 2009-10-06 2011-04-13 충주대학교 산학협력단 System and method for road visibility measurement using camera
JP2012026927A (en) * 2010-07-26 2012-02-09 Astron Inc Kk Weather measuring apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301974B2 (en) * 2019-05-27 2022-04-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium

Also Published As

Publication number Publication date
WO2019151704A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
CN108027511B (en) Information display device, information providing system, moving object apparatus, information display method, and recording medium
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
US8144076B2 (en) Display apparatus for displaying virtual image to driver
US10262533B2 (en) Moving object and driving support system for moving object
US20110234761A1 (en) Three-dimensional object emergence detection device
CN104902246A (en) Video monitoring method and device
US20110025845A1 (en) Apparatus and method for measuring location and distance of object by using camera
EP3096290A1 (en) Method and system for determining camera pose
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
KR101666466B1 (en) Marine risk management system and marine risk management method using marine object distance measuring system with monocular camera
JPH06293236A (en) Travel environment monitoring device
JP2005024463A (en) Stereo wide visual field image processing apparatus
CN104966062A (en) Video monitoring method and device
KR20180041524A (en) Pedestrian detecting method in a vehicle and system thereof
JP2016175586A (en) Vehicle periphery monitoring device, vehicle periphery monitoring method, and program
KR101893368B1 (en) Method and system for measuring three dimensional visibility combined with traffic monitoring
JP2014154898A (en) Object detection device
JP2006060425A (en) Image generating method and apparatus thereof
KR101600820B1 (en) Method for measuring distance of maritime objects using vertical angle of view per pixel of a camera and system for measuring distance of maritime objects using the same
JPH1144533A (en) Preceding vehicle detector
CN111726515A (en) Depth camera system
KR101700651B1 (en) Apparatus for tracking object using common route date based on position information
JP2006031101A (en) Image generation method and device therefor
JP2013062657A (en) Image display system, image display device, image display method, and image display program
KR100844640B1 (en) Method for object recognizing and distance measuring

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant