KR100846167B1 - 가변 정보 표지판의 출력 정보 표시 장치 및 방법 - Google Patents

가변 정보 표지판의 출력 정보 표시 장치 및 방법 Download PDF

Info

Publication number
KR100846167B1
KR100846167B1 KR1020070079372A KR20070079372A KR100846167B1 KR 100846167 B1 KR100846167 B1 KR 100846167B1 KR 1020070079372 A KR1020070079372 A KR 1020070079372A KR 20070079372 A KR20070079372 A KR 20070079372A KR 100846167 B1 KR100846167 B1 KR 100846167B1
Authority
KR
South Korea
Prior art keywords
image
traffic information
camera
information
sign
Prior art date
Application number
KR1020070079372A
Other languages
English (en)
Inventor
김철용
조남익
구형일
Original Assignee
주식회사 래도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 래도 filed Critical 주식회사 래도
Priority to KR1020070079372A priority Critical patent/KR100846167B1/ko
Application granted granted Critical
Publication of KR100846167B1 publication Critical patent/KR100846167B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting
    • G08G1/094—Hardware aspects; Signal processing or signal properties, e.g. frequency bands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F13/00—Illuminated signs; Luminous advertising
    • G09F13/20—Illuminated signs; Luminous advertising with luminescent surfaces or parts
    • G09F13/22—Illuminated signs; Luminous advertising with luminescent surfaces or parts electroluminescent
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 가변 정보 표지판으로 표출되는 화면을 표지판 전면에 설치된 카메라로 촬영할 때 카메라의 특성으로 인하여 발생하는 화면의 왜곡을 실시간으로 보정하고 표시하는, 가변 정보 표지판의 출력 정보 표시 장치 및 방법에 관한 것이다. 이를 위해 가변 정보 표지판을 촬영하는 카메라; 상기 카메라의 전면에 설치한 어안 렌즈; 상기 어안 렌즈가 포함된 카메라로부터 취득한 영상 이미지의 방사 왜곡을 제거하고, 상기 방사 왜곡이 제거된 영상 이미지와 상기 교통 정보 이미지의 특징점들과, 상기 특징점들의 대응점들을 추출하여 상관관계가 적은 점들을 제거하고, 상기 취득한 영상 이미지와 상기 교통 정보 이미지 사이의 호모그래피(homography)를 추정하여 상기 교통 정보 이미지에 대응되는 영역을 상기 취득한 영상 이미지상에서 검출하여 제공하는 영상 처리부; 및 관리자가 입력하는 교통 정보의 문자열을 검출하여 상기 가변 정보 표지판으로 전송하고, 상기 교통 정보의 문자열 이미지와 상기 영상 처리부에서 제공되는 영상 이미지를 표시하는 VMS 서버를 포함한다. 따라서, 입력된 문자열이 가변 정보 표지판에 올바르게 표시되고 있는지 확인할 수 있는 장점이 있다.
가변 정보 표지판, 화면, 감시, 표시

Description

가변 정보 표지판의 출력 정보 표시 장치 및 방법{Apparatus and method for displaying output information of Variable Message sign board}
본 발명은 가변 정보 표지판의 출력 정보 표시에 관한 것으로서, 더욱 상세하게는 가변 정보 표지판으로 표출되는 화면을 표지판 전면에 설치된 카메라로 촬영할 때 카메라의 특성으로 인하여 발생하는 화면의 왜곡을 실시간으로 보정하고 표시하는 가변 정보 표지판의 출력 정보 표시 장치 및 방법에 관한 것이다.
일반적으로 도로상에 설치되어 교통정보를 표시하는 가변 정보 표지판(VMS: Variable Message Sign board)은 발광소자인 LED(Light Emitted Diode) 등을 도트 매트릭스 형태로 배열하고, 특정 발광소자를 선택적으로 점등시켜 각종 문자/그래픽 등의 정보를 표출한다.
즉 가변 정보 표지판은 교통정보센터로부터 교통정보를 수신하여 도로 소통상황 및 공사정보, 돌발상황 및 우회도로 등의 교통정보를 주행중인 운전자에게 실시간으로 제공하게 된다.
이러한 가변 정보 표지판은 교통정보센터에서 각 도로상에 설치된 표지판을 제어하여 각종 교통정보를 문자나 도형 등으로 표시하는데 현장에 설치된 표지판이 교통정보센터에서 지시한 내용대로 표시되고 있는지를 확인하기 위하여 표지판 화면 감시 장치가 필요하다.
표지판 화면 감시를 위한 방법은 반도체를 이용한 도트 감시방법과, 카메라를 이용한 감시방법 등이 있는데 반도체를 이용한 도트 감시방법은 각각의 발광소자가 정상적으로 동작하는지 여부를 확인하기 위하여 전류 또는 전압 검출장치가 설치되어야 하므로 가변 정보 표지판의 회로 구성이 증가하는 문제점이 있고, 실제로 표출되는 문자 정보를 확인할 수 없는 문제점이 있어서 카메라를 이용하는 감시방법과 함께 이중으로 표지판의 출력 화면을 감시하게 된다.
도 1 은 종래의 가변 정보 표지판의 출력 정보 표시 장치 구성을 나타낸 블록도이다.
도 1에 도시된 바와 같이, 종래의 가변 정보 표지판의 화면 검출 장치는 가변 정보 표지판(10)과, 유선 통신망 또는 무선 통신망을 통해 연결된 교통 정보 서버(20)로 구성된다.
가변 정보 표지판(10)은 도로상에 설치되어 가변 정보 표지판(10)의 동작을 제어하고, 교통 정보 서버(20)로부터 전송되는 정보를 데이터 송수신부(12)를 통해 수신하여 표지판(13)에 표시되도록(예를 들면, 도 2와 같은 도로 상황 안내용 문자열 정보) 하며, 표지판(13)의 전면에 설치된 카메라(14)를 통해 표지판(13)으로 출력되는 영상을 획득하여 교통 정보 서버(20)로 전송하는 표지판 제어부(11)를 포함한다.
교통 정보 서버(20)는 입력부(22)로부터 관리자가 입력하는 문자열을 검출하고, 상기 검출된 문자열이 데이터 송수신부(23)를 통해 가변 정보 표지판(10)으로 전송되도록 하며, 상기 입력된 문자열과, 가변 정보 표지판(10)의 카메라(14)가 촬영한 영상 정보가 표시부(24)를 통해 표시되도록 하는 VMS 제어부(21)를 포함한다.
한편, 표지판(13)의 전면으로부터 일정 거리 이격된 위치에 설치되는 카메라(14)는 일반적으로 넓은 시야 각을 획득하기 위해 넓은 시각 영역의 렌즈를 사용한다.
즉 표지판(13)의 전면으로부터 카메라(14)를 연장하여 설치할 수 있는 거리의 한계와, 한 대의 카메라를 이용하여 가변 정보 표지판(10)의 전면 이미지를 모두 촬영하기 위해 어안 렌즈(Fish-eye lens)를 주로 사용한다.
그러나, 이러한 어안 렌즈는 전형적인 넓은 시각 영역을 제공하지만, 초점 거리가 짧은(광각이 큰) 렌즈의 특성상 매우 큰 방사 왜곡(Radial distortion)을 가진다.
이러한 방사 왜곡은 광학 중심으로부터 방사방향을 따라 왜곡이 일어나는 것을 말하는데, 도 2에 도시된 바와 같이, 카메라(14)를 통해 획득한 출력 화면 정보(30)에서 출력 화면 정보(30)의 대략 중앙 부분에 나타나는 화면 영역(40)으로부터 출력 화면 정보(30)의 양측면 부분에 나타나는 화면 영역(41)으로 방사 왜곡이 발생하는 것을 알 수 있다.
따라서, 렌즈의 중앙 부분에서 촬영된 화면 영역(40)은 큰 문자로 비교적 밝고 선명하게 확인할 수 있지만, 양측면 부분에서 촬영된 화면 영역(41)은 중앙 부 분에 비해 작은 문자로 표시되고, 밝기도 중앙 부분에 비해 어두운 화면이 검출된다.
즉 가변 정보 표지판의 중앙 부분으로부터 가변 정보 표지판의 양측 선단부로 갈수록 문자의 크기가 작아짐과 동시에, 화면의 밝기도 어두워져 관리자가 정확한 문자열을 확인하는 것이 어려운 문제점이 있다.
상기한 문제점을 해결하기 위하여 본 발명은 가변 정보 표지판으로 표출되는 화면을 표지판 전면에 설치된 카메라로 촬영할 때 카메라의 특성으로부터 발생하는 화면의 왜곡을 실시간으로 보정하고 표시하는 가변 정보 표지판의 출력 정보 표시 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명에 따른 가변 정보 표지판의 출력 정보 표시 장치는 교통 정보를 출력하는 가변 정보 표지판의 출력 정보 표시 장치로서, 상기 가변 정보 표지판을 촬영하는 카메라; 상기 카메라의 전면에 설치한 어안 렌즈; 상기 어안 렌즈가 포함된 카메라로부터 취득한 영상 이미지의 방사 왜곡을 제거하고, 상기 방사 왜곡이 제거된 영상 이미지와 상기 교통 정보 이미지의 특징점들과, 상기 특징점들의 대응점들을 추출하여 상관관계가 적은 점들을 제거하고, 상기 취득한 영상 이미지와 상기 교통 정보 이미지 사이의 호모그래피(homography)를 추정하여 상기 교통 정보 이미지에 대응되는 영역을 상기 취득한 영상 이미지상에서 검출하여 제공하는 영상 처리부; 및 관리자가 입력하는 교통 정보의 문자열을 검출하여 상기 가변 정보 표지판으로 전송하고, 상기 교통 정보의 문자열 이미지와 상기 영상 처리부에서 제공되는 영상 이미지를 표시하는 VMS 서버를 포함하는 것을 특징으로 한다.
삭제
또한, 상기 카메라 및 영상 처리부는 상기 가변 정보 표지판에 설치한 것을 특징으로 한다.
또한, 상기 카메라는 상기 가변 정보 표지판에 설치되고, 상기 영상 처리부는 상기 VMS 서버에 설치한 것을 특징으로 한다.
또한, 상기 가변 정보 표지판은 도로상에 다수 설치되고, 상기 영상 처리부는 각각의 가변 정보 표지판에 설치된 카메라로부터 검출된 영상 이미지와, 상기 각각의 가변 정보 표지판으로 제공되는 교통 정보 이미지 사이의 호모그래피를 추정하여 상기 각각의 교통 정보 이미지와 대응되는 영역을 검출하여 제공하는 것을 특징으로 한다.
또한, 상기 영상 처리부는 상기 카메라로부터 촬영된 영상 이미지를 검출하는 영상 추출부; 상기 카메라로부터 검출된 영상 이미지로부터 직선 성분 및 코너 점들을 추출하여 전광판 영역을 검출하는 영역 추출부; 상기 영역 추출부에서 검출된 영상 이미지의 특징점들과, 상기 VMS 서버로부터 제공되는 교통 정보 이미지의 특징점들을 추출하고, 상기 특징점들에 대응하는 점들을 추출하여 상관관계가 적은 점(outlier)들을 제거하면서 올바른 대응관계의 점(inlier)들을 추출하는 대응점 검색부; 및 상기 대응점 검색부에서 추출되는 올바른 대응관계의 점들을 이용하여 호모그래피를 추정하고, 최종적으로 왜곡이 보정된 영상을 출력하는 영상 보정부를 포함하는 것을 특징으로 한다.
또한, 본 발명은 교통 정보를 출력하는 가변 정보 표지판의 출력 정보 표시 방법으로서, a) 상기 가변 정보 표지판으로부터 출력되는 교통 정보를 촬영한 영상 정보로부터 유효한 영상 이미지와, 상기 교통 정보 이미지를 검출하는 단계; b) 상기 단계 a)에서 검출한 카메라의 영상 이미지를 이용하여 직선 성분 및 코너 점들을 추출하여 전광판 영역을 검출하는 단계; c) 상기 단계 a)에서 검출된 상기 교통 정보 이미지의 특징점들과, 상기 단계 b)에서 검출된 상기 영상 이미지의 특징점들을 추출하고, 상기 추출된 특징점들 사이에 대응하는 점들을 추출하여 상관관계가 적은 점(outlier)들을 제거하면서 올바른 대응관계의 점(inlier)들을 추출하는 단계; 및 d) 상기 단계 c)에서 추출된 올바른 대응관계의 점들을 이용하여 호모그래피를 추정하고, 최종적으로 교통정보 이미지에 대응되는 왜곡이 제거된 영역을 출력하는 단계를 포함한다.
또한, 상기 단계 d)는 상기 단계 a)에서 검출한 영상 이미지의 방사 왜곡(radial distortion)을 제거하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 단계 b)의 코너 점은 사각형상인 상기 가변 정보 표지판의 네 모서리인 것을 특징으로 한다.
또한, 상기 단계 c)의 상기 영상 이미지 및 교통 정보 이미지의 특징점은 SIFT(Scale Invariant Feature Transform) 알고리즘에 의해 추출되는 것을 특징으로 한다.
또한, 상기 단계 c)의 올바른 대응관계의 점들은 RANSAC(Random Sample Consensus) 알고리즘에 의해 오차가 포함된 대응관계의 점들이 제거되면서 추출되는 것을 특징으로 한다.
본 발명은 입력된 문자열이 가변 정보 표지판에 올바르게 표시되고 있는지 확인할 수 있는 장점이 있다.
또한, 본 발명은 두 개의 영상 이미지만을 이용하므로 카메라의 위치와 날씨 등 환경 변화에 대하여 강한 장점이 있다.
또한, 본 발명은 일부 글자가 잘못 출력되어도 대응관계를 용이하게 파악할 수 있는 장점이 있다.
(제 1 실시예)
우선, 종래기술과 동일한 구성에 대한 반복적인 설명은 생략한다.
도 3은 본 발명의 제 1 실시예에 따른 가변 정보 표지판의 화면 검출 장치 구성을 나타낸 블록도이고, 도 4는 본 발명에 따른 가변 정보 표지판의 영상 처리부 구성을 나타낸 블록도이다.
도 3 및 도 4에 나타낸 바와 같이, 본 발명에 따른 가변 정보 표지판의 출력 정보 표시 장치는 교통 정보를 출력하는 가변 정보 표지판(100)과, 가변 정보 표지판(100)에 상기 교통 정보를 제공하는 VMS 서버(200)를 포함한다.
가변 정보 표지판(100)은 도로상에 설치되어 가변 정보 표지판(100)의 동작 을 제어하고, VMS 서버(200)로부터 전송되는 정보를 데이터 송수신부(120)를 통해 수신하여 표지판(130)에 표시되도록 하며, 표지판(130)의 전면에 설치된 카메라(140)를 통해 표지판(130)으로 출력되는 영상을 획득하여 VMS 서버(200)로 전송하는 표지판 제어부(110)와, 카메라(140)로부터 취측한 영상의 특징점들과 상기 교통 정보 이미지의 특징점들 사이의 대응점들을 추출하여 상관관계가 적은 점들을 제거하고, 상기 취득한 영상 이미지와 교통 정보 이미지 사이의 호모그래피(homography)를 추정하여 상기 교통 정보 이미지에 대응되는 영역을 상기 취득한 영상 이미지상에서 검출하여 제공하는 영상 처리부(150)를 포함한다.
카메라(140)는 CCD를 채용하여 TV 라인 이상의 선명한 영상 구현과 저조도에서의 촬영이 가능하고, 다양한 카메라 렌즈의 설치가 가능하다. 상기 카메라 렌즈는 표준 렌즈 또는 어안 렌즈를 설치하는 것이 가능하고, 가변 정보 표지판(100)의 전면이 모두 촬영될 수 있도록 넓은 시야각을 갖는 어안 렌즈를 설치하는 것이 바람직하다.
영상 처리부(150)는 카메라(140)로부터 취득한 영상 이미지와 VMS 서버(200)로부터 제공되는 교통 정보 이미지의 특징점들과, 상기 특징점들의 대응점들을 추출하여 오차가 포함된 점들을 제거하고, 상기 취득한 영상 이미지와 상기 교통정보 이미지 사이의 호모그래피(homography)를 추정하여 상기 교통 정보 이미지에 대응되는 영역을 상기 취득한 영상 이미지상에서 검출하여 제공하는 구성으로 영상 추출부(151), 영역 추출부(152), 대응점 검색부(153) 및 영상 보정부(154)를 포함한다.
영상 추출부(151)는 카메라(140)로부터 촬영된 교통 정보로부터 영상 이미지와, 비교 대상인 VMS 서버(200)로부터 제공되는 교통 정보 이미지를 검출한다.
영역 추출부(152)는 상기 검출된 영상 이미지에서 교통정보 이미지에 해당하는 영역을 찾기 위하여 직선 성분 및 코너 점들을 추출한다. 즉 영상으로부터 직선 성분을 추출하여 사각형 모양인 전광판 영역이 어느 곳에 있는가는 찾고 그 부분을 추출한다.
본 실시예에서는 상기 코너 점들을 사각형상인 가변 정보 표지판(100)의 네 모서리를 코너점으로 추출하고, 취득한 영상 이미지로부터 상기 코너 점들의 추출이 용이하도록 가변 정보 표지판(100)의 네 모서리에 미리 설정된 마커, 문양 또는 식별부재 등을 설치하는 것도 가능하다.
대응점 검색부(153)는 영역 추출부(152)에서 추출된 전광판의 영상 이미지를 이용하여 상기 영상 이미지의 특징점들과, VMS 서버(200)로부터 제공되는 교통 정보 이미지의 특징점들을 추출하고, 상기 추출된 특징점들을 사이에 대응하는 점들을 추출하여 상관관계가 적은 점(outlier)들을 제거하면서 올바른 대응관계의 점(inlier)들 만을 추출한다.
즉 대응점 검색부(153)는 상기 영상 이미지와, 교통 정보 이미지의 특징점을 구하기 위해 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용한다. SIFT 특징점은 밝기 변화, 크기 변화, 회전 변화, 어파인(affine) 변형 등에 강인한 특정을 가진다.
SIFT에 의한 특징점 추출은 우선 영상을 스케일 스페이스(scale-space)로 만 들고 디퍼런스 가우시안(difference-of-gaussian: DoG) 함수를 이용하여 영상의 스케일 스페이스와 디퍼런스 가우시안 영상의 스케일 스페이스를 생성한다.
상기 디퍼런스 가우시안 영상의 스케일 스페이스에서 특징점이 될 수 있는 위치를 추출한다. 특징점이 추출되면 특징점으로 추출된 위치에서 주변 픽셀의 기울기 크기와 방향을 가우시안 가중치를 주어 1차원의 벡터 형태로 표현한다. 즉 각 특징점들은 그 주변의 특성을 나타내는 1차원 벡터로 표현된다.
또한, 각 특징점들 사이의 정합은 상기 SIFT 알고리즘을 통해서 얻어진 특징점 백터들을 서로 비교하여 피처 스페이스(feature space)에서 유클라디안 거리가 가장 가까운 것으로 정합 시킨다. 이때 가장 가까운 거리가 두 번째 가까운 특징점과의 거리보다 일정 비율 이상 작아야 한다. 이러한 방법으로 특징점을 정합하는 경우에는 필연적으로 상관관계가 적은 점(outlier)들이 존재한다.
그러므로, 대응점 검색부(153)에서는 상기 특징점들 사이의 올바른 대응관계 설정을 위해 RANSAC(Random Sample Consensus) 알고리즘에 의해 잘못된 대응관계의 점들을 제거한다.
RANSAC 알고리즘은 이러한 상관관계가 적은 특징점(outlier)을 판별할 수 있는 강인 추정 알고리즘이다. 상기 RANSAC 알고리즘에 의해 상관관계가 적은 점(outlier)들을 제거하면서 올바른 대응관계의 점(inlier)들을 추출하게 된다.
한편, 가변 정보 표지판(100)의 전면이 모두 촬영될 수 있도록 어안 렌즈(미도시)를 설치한 카메라(140)로부터 영상 이미지가 제공된 경우 대응점 추출부(153)는 상기 검출한 영상 이미지로부터 방사 왜곡(radial distortion)을 제거한다.
일반적으로 방사 왜곡은 주점을 기준으로 대칭형으로 발생하며, 카메라 렌즈마다 그 양이 다르고 렌즈 왜곡에 가장 큰 영향을 미친다.
방사 왜곡은 이미지의 중심으로부터 임의의 점까지의 거리 'r'인 위치에 있는 점에 대한 방사 왜곡량(r')을 하기식과 같은 고차다항식을 사용하여 모델링 하면, (rcosθ, rsinθ)에 있는 점이 좌표 변환한 후 (r'cosθ, r'sinθ)에 맺히게 되어 방사 왜곡이 제거된 보정된 영상을 얻을 수 있게 된다.
Figure 112007057433968-pat00001
여기서, r = 이미지의 중심으로부터 임의의 점까지의 거리이고,
r' = 수학식 1에 의해 계산된 방사 왜곡량이며,
c3, c5 = 방사 왜곡 계수이다.
한편, 방사 왜곡 이외에 나타나는 접선방향의 왜곡은 방사 왜곡에 비해 매우 작으므로 방사 왜곡만을 주로 보정한다.
영상 보정부(154)는 대응점 검색부(153)에서 추출되는 올바른 대응관계의 점(inlier)들을 이용하여 호모그래피를 추정하고, 최종적으로 추출된 상기 올바른 대응관계의 점들이 포함된 영상 이미지를 출력한다.
즉 영상 보정부(154)는 대응점 검색부(153)에서 추출된 영상 이미지와 교통 정보 이미지 사이의 관계가 평면과 평면 사이의 변환인 사영 변환(projective transformation)관계이므로 호모그래피를 이용하여 와핑한 이미지를 서로 같은 이 미지로 간주하되 완벽한 정합이 이루어지지 않은 것으로 간주하여 두 이미지 사이의 대응관계를 추정한다.
본 실시예에서는 상기한 올바른 대응관계의 점(inlier)들을 사용하여 수렴속도가 빠르고 안정성이 높은 비선형 최적화 알고리즘인 Levenberg-Marquardt(LM) 알고리즘을 활용하여 호모그래피의 모델링 파라미터를 추정하였다
또한, 영상 보정부(154)는 상기 호모그래피의 모델링 파라미터의 추정이 끝나면 대응점 검색부(153)에서 보정된 영상 이미지상에서 대응되는 영역(예를 들면, 문자영역)을 추출하여 출력한다.
VMS 서버(200)는 입력부(220)로부터 관리자가 입력하는 문자열을 검출하고, 상기 검출된 문자열이 데이터 송수신부(230)를 통해 가변 정보 표지판(100)으로 전송되도록 하며, 상기 입력된 문자열과, 가변 정보 표지판(100)의 영상 처리부(150)에서 제공하는 보정 완료된 영상 정보와, 입력부(220)를 통해 입력된 문자열이 표시부(240)를 통해 표시되도록 하는 VMS 제어부(210)를 포함한다.
(제 2 실시예)
도 5 는 본 발명의 제 2 실시예에 따른 가변 정보 표지판의 화면 검출 장치 구성을 나타낸 블록도이다.
제 2 실시예에 따른 가변 정보 표지판의 화면 검출 장치는 도로상에 설치된 다수의 가변 정보 표지판(300, 310 및 320)과, 각각의 가변 정보 표지판(300, 310 및 320)으로 교통 정보를 제공하며, 상기 제공된 교통 정보와 각 가변 정보 표지 판(300, 310 및 320)으로부터 전송된 영상 정보의 출력 상태 확인이 가능한 VMS 서버(400)를 포함한다.
가변 정보 표지판(300, 310 및 320)은 제 1 실시예에 따른 가변 정보 표지판(100, 도 3 참조)의 구성과 대부분 동일하고, 차이점은 영상 처리부(150, 도 3 참조)의 구성이 없어서 표지판의 전면에 설치된 카메라(140, 도 3 참조)에서 검출한 영상이 VMS 서버(400)에 직접 제공된다.
VMS 서버(400)는 입력부(420)로부터 관리자가 입력하는 문자열을 검출하고, 상기 검출된 문자열이 데이터 송수신부(430)를 통해 다수의 가변 정보 표지판(300, 310 및 320)으로 각각 전송되도록 하며, 상기 입력된 각각의 문자열과, 각각의 가변 정보 표지판(300, 310 및 320)에서 제공하는 영상 정보로부터 왜곡을 제거한 다음 보정된 영상 정보를 제공하는 영상 처리부(450)로부터 출력되는 영상 정보가 입력부(420)를 통해 입력된 문자열과 함께 표시부(240)를 통해 표시되도록 하는 VMS 제어부(210)를 포함한다.
영상 처리부(450)는 영상 추출부(451)와, 영역 추출부(452)와, 대응점 검색부(453)와, 영상 보정부(454)를 포함하고, 제 1 실시예의 영상 처리부(150, 도 4 참조)와 동일한 기능을 수행한다. 제 1 실시예의 영상 처리부(150)와, 제 2 실시예의 영상 처리부(450) 사이의 차이점은 제 2 실시예의 영상 처리부(450)는 제 1 가변 정보 표지판(300), 제 2 가변 정보 표지판(310) 및 제 n 가변 정보 표지판(320) 별로 제공된 문자열과, 각각의 가변 정보 표지판(300 내지 320)으로부터 제공되는 촬영된 영상 정보를 비교하게 된다.
다음은 본 발명에 따른 가변 정보 표지판의 출력 정보 표시 방법을 설명한다.
도 6은 본 발명에 따른 가변 정보 표지판의 화면 검출 과정을 나타낸 흐름도이고, 도 7 내지 도 10은 도 6의 문자 정보와 유효 영상 정보와, 영역 정보와, 대응점 추출 과정과, 방사 왜곡을 제거한 영상 정보와, 호모그래피를 수행한 영상 정보를 나타낸 예시도이다.
도 3 및 도 4와, 도 6 내지 도 10을 참조하면, VMS 서버(200)로부터 제공된 교통 정보를 가변 정보 표지판(100)의 표지판(130)을 통해 출력하고(S100), 카메라(140)를 통해 표지판(130)을 촬영한 영상으로부터 유효한 영상 이미지와, VMS 서버(200)로부터 제공된 상기 교통 정보의 입력 문자열 이미지를 영상 처리부(150)에서 검출한다(S110).
즉 도 7에 도시된 바와 같이, 관리자가 입력부(220, 도 3 참조)를 통해 입력한 문자열(510)이 포함된 교통 정보 이미지(500)와, 카메라(140, 도 3 참조)를 통해 촬영한 출력 영상 이미지(600)가 검출된다.
출력 영상 이미지(600)에는 중앙에 방사 왜곡이 포함된 가변 정보 표지판(610)이 표시되고, 유효한 영상 정보를 검출하기 위해 가변 정보 표지판의 네 모서리(610a, 610b, 610c 및 610d)와, 출력되는 표시 문자열(620)이 포함되어야 한다.
상기 S100 및 S110단계를 수행한 후 영상 처리부(150)는 교통 정보 이미 지(500)의 특징점들과, 출력 영상 이미지(600)의 특징점들을 추출하고, 상기 추출된 특징점들 사이에 대응하는 점들을 추출하여 상관관계가 적은 점(outlier)들을 제거하면서 올바른 대응관계의 점(inlier)들 만을 추출한다(S120).
여기서 코너 점은 사각형상인 상기 가변 정보 표지판의 네 모서리(610a, 610b, 610c 및 610d)를 이용함으로써, 추출 영역의 설정과 특징점 추출이 용이하게 된다.
또한, 도 8과 같이, 상기 S120단계에서 교통 정보 이미지(500)와, 출력 영상 이미지(600)의 특징점은 SIFT(Scale Invariant Feature Transform) 알고리즘에 의해 추출되고, 각 특징점들 사이에 대응관계 중에서 RANSAC(Random Sample Consensus) 알고리즘에 의해 상관관계가 적은 점들이 제거되면서 추출된다.
상기 S120단계를 수행한 다음 영상 처리부(150)는 방사 왜곡을 제거하기 위한 수차 보정과 상기 S120단계에서 추출된 올바른 대응관계의 점들을 이용하여 호모그래피를 추정하여 최종적으로 추정된 출력 영상 이미지상에서 대응되는 영역을 검출하여 출력한다(S130).
즉 도 9와 같이 방사 왜곡(radial distortion)이 제거된 출력 영상 이미지(700)와, 도 10과 같이 호모그래피로 변환된 출력 영상 이미지(800)를 취득한다.
상기 S130단계를 수행한 다음 영상 처리부(150)는 상기 S130단계에서 취득한 출력 영상 이미지(800)로부터 표시 문자열(810) 만을 추출하여 교통 정보 이미지(500) 또는 입력 문자열(510)과 비교하여 출력하거나, 출력 영상 이미지(800)와 교통 정보 이미지(500) 또는 입력 문자열(510)을 비교하여 VMS 서버(200)의 표시 부(240)를 통해 표시되도록 한다(S140).
한편, 상술한 표시과정은 영상 처리부(150)가 가변 정보 표지판(100)에 설치된 제 1 실시예를 설명하였으나, 제 2 실시예에서 각각의 가변 정보 표지판으로부터 제공되는 출력 영상 이미지와 해당 가변 정보 표지판으로 제공된 입력 문자열을 비교하여 표시되도록 변경하는 것은 당업자에게 있어 자명할 것이다.
이상에서는, 본 발명을 특정의 바람직한 실시예에 대해서 도시하고 설명하였다. 그러나 본 발명은 상술한 실시예에만 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이하의 특허청구범위에 기재된 본 발명의 기술적 사상의 요지를 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다.
도 1 은 종래의 가변 정보 표지판의 화면 검출 장치 구성을 나타낸 블록도.
도 2 는 종래의 가변 정보 표지판을 통해 표시되는 정보를 검출한 영상 정보화면을 나타낸 예시도.
도 3 은 본 발명의 제 1 실시예에 따른 가변 정보 표지판의 화면 검출 장치 구성을 나타낸 블록도.
도 4 는 본 발명에 따른 가변 정보 표지판의 영상 처리부 구성을 나타낸 블록도.
도 5 는 본 발명의 제 2 실시예에 따른 가변 정보 표지판의 화면 검출 장치 구성을 나타낸 블록도.
도 6 은 본 발명에 따른 가변 정보 표지판의 화면 검출 과정을 나타낸 흐름도.
도 7 은 도 6의 문자 정보와 유효 영상 정보를 추출하여 나타낸 예시도.
도 8 은 도 6의 영역 정보와, 대응점 추출 과정을 나타낸 예시도.
도 9 는 도 6에서 방사 왜곡을 제거한 영상 정보를 나타낸 예시도.
도 10 은 도 6의 호모그래피를 수행한 영상 정보를 나타낸 예시도.
(도면의 주요 부분에 대한 부호의 설명)
100: 가변 정보 표지판 110: 표지판 제어부
120: 데이터 송수신부 130: 표지판
140: 카메라 150, 450: 영상 처리부
151, 451: 영상 추출부 152, 452: 영역 추출부
153, 453: 대응점 검색부 154, 454: 영상 보정부
200, 400: VMS 서버 210, 410: VMS 제어부
220, 420: 입력부 230, 430: 데이터 송수신부
240, 440: 표시부 300: 제 1 가변 정보 표지판
310: 제 2 가변 정보 표지판 320: 제 n 가변 정보 표지판
500: 입력 문자열 이미지 510: 입력 문자열
600: 출력 이미지 610: 가변 정보 표지판
610a, 610b, 610c, 610d: 가변 정보 표지판 모서리
620: 표시 문자열 700: 방사 왜곡 보정후 화면
800: 호모그래피 추정후 화면

Claims (11)

  1. 교통 정보를 출력하는 가변 정보 표지판의 출력 정보 표시 장치로서,
    상기 가변 정보 표지판을 촬영하는 카메라;
    상기 카메라의 전면에 설치한 어안 렌즈;
    상기 어안 렌즈가 포함된 카메라로부터 취득한 영상 이미지의 방사 왜곡을 제거하고, 상기 방사 왜곡이 제거된 영상 이미지와 상기 교통 정보 이미지의 특징점들과, 상기 특징점들의 대응점들을 추출하여 상관관계가 적은 점들을 제거하고, 상기 취득한 영상 이미지와 상기 교통 정보 이미지 사이의 호모그래피(homography)를 추정하여 상기 교통 정보 이미지에 대응되는 영역을 상기 취득한 영상 이미지상에서 검출하여 제공하는 영상 처리부; 및
    관리자가 입력하는 교통 정보의 문자열을 검출하여 상기 가변 정보 표지판으로 전송하고, 상기 교통 정보의 문자열 이미지와 상기 영상 처리부에서 제공되는 영상 이미지를 표시하는 VMS 서버를 포함하는 가변 정보 표지판의 출력 정보 표시 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 카메라 및 영상 처리부는 상기 가변 정보 표지판에 설치한 것을 특징으로 하는 가변 정보 표지판의 출력 정보 표시 장치.
  4. 제 1 항에 있어서,
    상기 카메라는 상기 가변 정보 표지판에 설치되고, 상기 영상 처리부는 상기 VMS 서버에 설치한 것을 특징으로 하는 가변 정보 표지판의 출력 정보 표시 장치.
  5. 제 4 항에 있어서,
    상기 가변 정보 표지판은 도로상에 다수 설치되고, 상기 영상 처리부는 각각의 가변 정보 표지판에 설치된 카메라로부터 검출된 영상 이미지와, 상기 각각의 가변 정보 표지판으로 제공되는 교통 정보 이미지 사이의 호모그래피를 추정하여 상기 각각의 교통 정보 이미지와 대응되는 영역을 검출하여 제공하는 것을 특징으로 하는 가변 정보 표지판의 출력 정보 표시 장치.
  6. 제 1 항, 제 3 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 영상 처리부는 상기 카메라로부터 촬영된 영상 이미지와, 상기 VMS 서버로부터 제공되는 교통 정보 이미지를 검출하는 영상 추출부;
    상기 카메라로부터 검출된 영상 이미지로부터 직선 성분 및 코너 점들을 추출하여 전광판 영역을 검출하는 영역 추출부;
    상기 영역 추출부에서 검출된 영상 이미지의 특징점들과, 상기 VMS 서버로부터 제공되는 교통 정보 이미지의 특징점들을 추출하고, 상기 특징점들에 대응하는 점들을 추출하여 상관관계가 적은 점(outlier)들을 제거하면서 올바른 대응관계의 점(inlier)들을 추출하는 대응점 검색부; 및
    상기 대응점 검색부에서 추출되는 올바른 대응관계의 점들을 이용하여 호모그래피를 추정하고, 최종적으로 왜곡이 보정된 영상을 출력하는 영상 보정부를 포함하는 것을 특징으로 하는 가변 정보 표지판의 출력 정보 표시 장치.
  7. 교통 정보를 출력하는 가변 정보 표지판의 출력 정보 표시 방법으로서,
    a) 상기 가변 정보 표지판으로부터 출력되는 교통 정보를 촬영한 영상 정보로부터 유효한 영상 이미지와, 상기 가변 정보 표지판으로 제공되는 교통 정보의 이미지를 검출하는 단계;
    b) 상기 단계 a)에서 검출한 카메라의 영상 이미지를 이용하여 직선 성분 및 코너 점들을 추출하여 전광판 영역을 검출하는 단계;
    c) 상기 단계 a)에서 검출된 상기 교통 정보 이미지의 특징점들과, 상기 단계 b)에서 검출된 상기 영상 이미지의 특징점들을 추출하고, 상기 추출된 특징점들 사이에 대응하는 점들을 추출하여 상관관계가 적은 점(outlier)들을 제거하면서 올바른 대응관계의 점(inlier)들을 추출하는 단계; 및
    d) 상기 영상 이미지의 방사 왜곡을 제거하며, 상기 단계 c)에서 추출된 올바른 대응관계의 점들을 이용하여 호모그래피를 추정하고, 최종적으로 교통정보 이미지에 대응되는 왜곡이 제거된 영역을 출력하는 단계를 포함하는 가변 정보 표지판의 출력 정보 표시 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 단계 b)의 코너 점은 사각형상인 상기 가변 정보 표지판의 네 모서리인 것을 특징으로 하는 가변 정보 표지판의 출력 정보 표시 방법.
  10. 제 7 항에 있어서,
    상기 단계 c)의 상기 영상 이미지 및 교통 정보 이미지의 특징점은 SIFT(Scale Invariant Feature Transform) 알고리즘에 의해 추출되는 것을 특징으로 하는 가변 정보 표지판의 출력 정보 표시 방법.
  11. 제 7 항에 있어서,
    상기 단계 c)의 올바른 대응관계의 점들은 RANSAC(Random Sample Consensus) 알고리즘에 의해 오차가 포함된 대응관계의 점들이 제거되면서 추출되는 것을 특징으로 하는 가변 정보 표지판의 출력 정보 표시 방법.
KR1020070079372A 2007-08-08 2007-08-08 가변 정보 표지판의 출력 정보 표시 장치 및 방법 KR100846167B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070079372A KR100846167B1 (ko) 2007-08-08 2007-08-08 가변 정보 표지판의 출력 정보 표시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070079372A KR100846167B1 (ko) 2007-08-08 2007-08-08 가변 정보 표지판의 출력 정보 표시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100846167B1 true KR100846167B1 (ko) 2008-07-14

Family

ID=39824518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070079372A KR100846167B1 (ko) 2007-08-08 2007-08-08 가변 정보 표지판의 출력 정보 표시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100846167B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693642A (zh) * 2011-03-23 2012-09-26 北京四维图新科技股份有限公司 可变信息标志应用系统以及电子导航方法和装置
KR101397522B1 (ko) 2012-10-15 2014-05-27 건국대학교 산학협력단 증강 현실 기반의 정맥 주사 훈련 시뮬레이터 시스템 및 방법
KR20170014626A (ko) * 2015-07-30 2017-02-08 제주한라대학교산학협력단 시인성이 향상되는 곡선도로용 영상제공장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030087235A (ko) * 2002-05-08 2003-11-14 한국건설기술연구원 가변정보표지판의 화면 감시장치 및 이를 위한 통신 방법
KR20050027796A (ko) * 2003-09-16 2005-03-21 한국과학기술원 물체 인식 및 추적방법
KR20050092197A (ko) * 2004-03-15 2005-09-21 주식회사 제일 가변정보판 제어시스템
KR20070064371A (ko) * 2004-11-24 2007-06-20 아이신세이끼가부시끼가이샤 카메라 교정 방법 및 카메라 교정 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030087235A (ko) * 2002-05-08 2003-11-14 한국건설기술연구원 가변정보표지판의 화면 감시장치 및 이를 위한 통신 방법
KR20050027796A (ko) * 2003-09-16 2005-03-21 한국과학기술원 물체 인식 및 추적방법
KR20050092197A (ko) * 2004-03-15 2005-09-21 주식회사 제일 가변정보판 제어시스템
KR20070064371A (ko) * 2004-11-24 2007-06-20 아이신세이끼가부시끼가이샤 카메라 교정 방법 및 카메라 교정 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693642A (zh) * 2011-03-23 2012-09-26 北京四维图新科技股份有限公司 可变信息标志应用系统以及电子导航方法和装置
KR101397522B1 (ko) 2012-10-15 2014-05-27 건국대학교 산학협력단 증강 현실 기반의 정맥 주사 훈련 시뮬레이터 시스템 및 방법
KR20170014626A (ko) * 2015-07-30 2017-02-08 제주한라대학교산학협력단 시인성이 향상되는 곡선도로용 영상제공장치
KR101706682B1 (ko) * 2015-07-30 2017-02-15 제주한라대학교산학협력단 시인성이 향상되는 곡선도로용 영상제공장치

Similar Documents

Publication Publication Date Title
US7313265B2 (en) Stereo calibration apparatus and stereo image monitoring apparatus using the same
Yuan et al. Dynamic and invisible messaging for visual MIMO
WO2011052276A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
KR101820905B1 (ko) 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템
KR102120854B1 (ko) 학습 기반의 led 전광판 자가진단 불량 도트 검출 장치 및 그 방법
CN107077725A (zh) 数据处理装置、成像装置和数据处理方法
CN1897644A (zh) 用于捕捉图像的方法和系统
JP2005072888A (ja) 画像投影方法、及び画像投影装置
CN103517041A (zh) 基于多相机旋转扫描的实时全景监控方法和装置
JP2015060012A (ja) 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム
JP6750500B2 (ja) 情報処理装置および認識支援方法
WO2014045508A1 (ja) 検査装置、検査方法、および検査プログラム
JP2012104060A (ja) 画像処理プログラムおよび画像処理装置
US6625300B1 (en) Car sensing method and car sensing apparatus
CN113822942B (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
KR100951309B1 (ko) 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법
CN109859104B (zh) 一种视频生成图片的方法、计算机可读介质及转换系统
US20110085026A1 (en) Detection method and detection system of moving object
KR100846167B1 (ko) 가변 정보 표지판의 출력 정보 표시 장치 및 방법
JP2018055367A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6088864B2 (ja) キャリブレーションシステム、およびキャリブレーション方法
CN111160215A (zh) 图像标识提取装置、图像标识的亮度调节方法、装置
US10296806B2 (en) Recognition-based color corrections
US20120033888A1 (en) Image processing system, image processing method, and computer readable medium
US20210012110A1 (en) Method and apparatus for performing object detection according to bounding box distribution that is determined by considering lens configuration

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130612

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140528

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150528

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee