KR101944607B1 - 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법 - Google Patents

차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법 Download PDF

Info

Publication number
KR101944607B1
KR101944607B1 KR1020170011214A KR20170011214A KR101944607B1 KR 101944607 B1 KR101944607 B1 KR 101944607B1 KR 1020170011214 A KR1020170011214 A KR 1020170011214A KR 20170011214 A KR20170011214 A KR 20170011214A KR 101944607 B1 KR101944607 B1 KR 101944607B1
Authority
KR
South Korea
Prior art keywords
image
text
present
point
acquiring
Prior art date
Application number
KR1020170011214A
Other languages
English (en)
Other versions
KR20180087532A (ko
Inventor
김현태
정진성
조상복
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020170011214A priority Critical patent/KR101944607B1/ko
Publication of KR20180087532A publication Critical patent/KR20180087532A/ko
Application granted granted Critical
Publication of KR101944607B1 publication Critical patent/KR101944607B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G06K9/00818—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법에 관한 것이다. 본 발명의 일 양상인 안내 표지판 내의 거리 정보 습득 방법은, 카메라를 통해 영상을 획득하는 제 1 단계; 레드(RED), 그린(GREEN) 및 블루(BLUE) 중 어느 하나의 색상에 가중치를 부여하여 상기 영상에 적용함으로써, 상기 가중치가 부여된 색상이 강조된 제 1 영상을 획득하는 제 2 단계; 미리 설정된 임계값 이상의 지점(point)에 하이(high) 값을 부여하고, 상기 미리 설정된 임계값 미만의 지점은 로우(low) 값을 부여하여, 상기 제 1 영상을 이진화된 제 2 영상으로 변환하는 제 3 단계; 상기 제 2 영상의 하이 값을 갖는 지점이 일정 거리 내에서 미리 설정된 개수 이상인 경우, 상기 일정 거리 내에 존재하는 하이 값을 하나의 객체로 인식하는 제 4 단계; 상기 인식한 객체에 포함된 직선을 검출하는 제 5 단계; 수평을 기준으로 상기 검출된 직선의 기울어진 각도를 산출하는 제 6 단계; 상기 기울어진 각도만큼 상기 인식한 객체를 회전시키는 제 7 단계; 상기 회전시킨 객체의 해상도를 보정하는 제 8 단계; 구조요소를 이용하여 상기 영상에 존재하는 연결요소의 모양을 조작하는 기법인 모폴로지(morphology) 기법을 통해, 상기 해상도가 보정된 객체 내의 텍스트(text)를 부각하는 제 9 단계; 및 상기 카메라를 통해 획득된 영상과 상기 텍스트가 부각된 객체를 비교함으로써, 상기 객체 내의 텍스트를 추출하는 제 10 단계;를 포함할 수 있다.

Description

차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법 {An acquisition system of distance information in direction signs for vehicle location information and method}
본 발명은 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법에 관한 것이다. 구체적으로, 본 발명은 카메라를 통해서 입력 영상을 습득하고, 색상검출을 이용해 색상을 부각하며, 이진화(Binarization)를 진행하여 라벨링 기법으로 도로안내표지판 영역을 확보하고, 도로안내표지판 영역의 형태학적 문제(기울임, 저해상도)를 해결하고, 템플릿 매칭을 통해 거리정보를 습득하는 시스템 및 방법에 관한 것이다.
Autonomous Car(무인자동차, 자율주행 자동차)는 기존의 자동차 주요 수송 기능을 수행 할 수 있는 자동 운전 차량으로서, uncrewed vehicle, driverless car, self-driving car, robotic car라고도 한다.
자동 운전 차량은 인간의 개입이 없이 주위의 환경을 감지하고, 자동항법 운행이 가능하다.
현재, 로봇 자동차가 프로토 타입(prototype)으로 존재한다.
주행 차량은 레이더, 라이다(LIDAR), GPS, 및 컴퓨터 비전(vision) 기술 등으로 주변 환경을 감지한다.
보다 발전된 제어 시스템은 해당 내비게이션 경로뿐만 아니라 장애물과 관련된 표지 등을 식별하는 정보를 해석한다.
무인자동차는 등록되지 않은 환경이나 조건이 변한 상황에서도 경로를 유지할 수 있도록 센서 입력에 따라 지도를 자동 갱신할 수 있어야 한다.
다임러 자율주행 트럭의 경우, 전면의 장거리, 단거리 레이더와 입체 카메라 그리고 적응형 순항 제어기술 등을 통해 구현하는데, ‘액티브 크루즈 컨트롤(Active Cruise Control, ACC)’과 ‘액티브 브레이크 어시스트(Active Brake Assist, ABA)’가 장거리 레이더와 단거리 레이더를 이용해 주행과 감속을 조정하며, 자동차 간 거리를 자동으로 조절한다.
장거리 레이더는 18° 시야각으로 전방 250m까지 탐색하고, 단거리 레이더는 130° 시야각으로 전방 70m까지 탐색한다.
그리고 트럭 전면 유리에 부착된 입체 카메라는 수평 45° · 수직 27° 시야각으로 100m까지 탐색하며 차선 표시를 인식하고, ‘하이웨이 파일럿(Highway Pilot)’ 시스템은 전면 레이더와 입체 카메라를 연결해 차선 유지 · 충돌 회피 · 속도 제어 · 감속 등의 기능을 제공한다.
이러한 차량 자체적인 실시간 주변상황 감지 외에도 GPS(Global Positioning System) 등을 활용해 정밀지도를 통한 예측시스템도 작동하고, 이 모든 것들을 종합적으로 판단해서 자동차 구동장치를 사람이 아닌 컴퓨터가 실제로 제어하도록 만드는 것이다.
이와 같은 자율주행차량 관련 새로운 기술이 등장한 만큼, 새로운 법률도 필수적으로 변화하고 있다. 즉, 세계 각국에서는 자율주행 자동차 시대를 앞당기기 위해 새로운 법을 만드는 한편, 걸림돌이 되는 기존 규제도 하나씩 손보고 있다.
자율주행 자동차는 사람처럼 면허가 필요하다. 자율주행 자동차가 합법적으로 미국의 도로를 달릴 수 있게 된 것은 지난 2011년의 일이고, 처음으로 시험면허를 획득한 것은 지난 2012년 5월의 일이다. 구글과 미국 정부의 적극적인 대화로 미국 네바다주에서 먼저 이루어졌다.
네바다주에서 구글이 자율주행 자동차를 시험 운행할 때는 반드시 사람 2명이 함께 탑승해야 한다. 차량 내부에 설치한 모니터로 상황을 주시하고, 문제가 발생하면 차량을 조작해 사고를 예방해야 하기 때문이다. 네바다주 다음에는 플로리다주가 자율주행 자동차를 허용했다.
캘리포니아주에서는 좀 더 극적인 법안 마련 행사가 열리기도 했다. 2012년 10월 제리 브라운 캘리포니아 주지사가 캘리포니아 마운틴 뷰에 있는 구글 캠퍼스에 직접 방문해 자율주행 자동차 안전 표준 법안에 서명한 것이다. 캘리포니아주 이후 미시간주까지 2013년 12월 자율주행 자동차의 실험을 승인했다. 미국에서는 4개 주에서 합법적으로 운행하는 자율주행 자동차를 만날 수 있다.
영국 교통부도 지난 2014년 여름 자율주행 자동차 운행 허용 계획을 발표한 바 있다. 3개 이상의 도시를 선정해 자율주행 자동차의 실험 무대로 활용한다는 계획이었다. 도시와 주행 실험에 지원할 예산도 174억원 규모로 투입하기로 했다.
영국에서는 2015년 2월부터 실제 자율주행 자동차의 시험 주행이 시작됐다. 런던 그리니치와 밀턴 케인스, 코번트리 등 지역에서 자율주행 자동차 운행이 우선 허락됐다. 그리니치 지정구역에서는 보행자 감지 기능이 적용된 무인 셔틀도 운행할 예정이다.
국내에서도 국토교통부와 산업통상자원부 주도로 자율주행 자동차 특구가 마련될 예정이다. 자율주행 자동차 기술을 미래 신성장동력으로 꼽은 덕분이다. 관계부처는 올해 안에 자율주행 자동차 시범 운행을 위한 특구와 전용 구역을 확보할 예정이다.
이와 같이, 자율주행차량에 대한 도입 및 이용가능 시기가 가까워지고 있는데, 자율주행차량은 현재 차량과 교차로간의 거리를 파악하기 위해, GPS정보에만 의존하고 있어, 환경적 요소(고층빌딩 사이, 통신장애)에 따른 오류가 생길 여지가 많다.
이러한 문제를 해결하기 위해, QR코드를 인식하여 현재 위치를 확인하는 시스템 등이 제안되었고, 영상을 통해서 현재 차량의 위치를 파악할 수 있으나 QR코드라는 매개가 있어야 하므로 표지판을 새롭게 설치 및 변경해야 한다는 문제점이 존재한다.
결국, QR코드를 인식하는 방법으로는 현재 설치된 도로안내표지판의 정보를 인식할 수 없고, 카메라의 위치나 해상도에 따른 기술보정이 적용되어 있지 않으며, 도로안내표지판 내의 거리정보를 확인할 수 없다는 문제점이 존재하므로, 이에 대한 해결방안이 요구되고 있는 실정이다.
대한민국 특허청 등록번호 제 10-0403741 호 대한민국 특허청 등록번호 제 10-0839578호
본 발명은 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법을 사용자에게 제공하고자 한다.
구체적으로, 본 발명은 카메라를 통해서 입력 영상을 습득하고, 색상검출을 이용해 색상을 부각하며, 이진화(Binarization)를 진행하여 라벨링 기법으로 도로안내표지판 영역을 확보하고, 도로안내표지판 영역의 형태학적 문제(기울임, 저해상도)를 해결하고, 템플릿 매칭을 통해 거리정보를 습득하는 시스템 및 방법을 사용자에게 제공하고자 한다.
다만, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 안내 표지판 내의 거리 정보 습득 방법은, 카메라를 통해 영상을 획득하는 제 1 단계; 레드(RED), 그린(GREEN) 및 블루(BLUE) 중 어느 하나의 색상에 가중치를 부여하여 상기 영상에 적용함으로써, 상기 가중치가 부여된 색상이 강조된 제 1 영상을 획득하는 제 2 단계; 미리 설정된 임계값 이상의 지점(point)에 하이(high) 값을 부여하고, 상기 미리 설정된 임계값 미만의 지점은 로우(low) 값을 부여하여, 상기 제 1 영상을 이진화된 제 2 영상으로 변환하는 제 3 단계; 상기 제 2 영상의 하이 값을 갖는 지점이 일정 거리 내에서 미리 설정된 개수 이상인 경우, 상기 일정 거리 내에 존재하는 하이 값을 하나의 객체로 인식하는 제 4 단계; 상기 인식한 객체에 포함된 직선을 검출하는 제 5 단계; 수평을 기준으로 상기 검출된 직선의 기울어진 각도를 산출하는 제 6 단계; 상기 기울어진 각도만큼 상기 인식한 객체를 회전시키는 제 7 단계; 상기 회전시킨 객체의 해상도를 보정하는 제 8 단계; 구조요소를 이용하여 상기 영상에 존재하는 연결요소의 모양을 조작하는 기법인 모폴로지(morphology) 기법을 통해, 상기 해상도가 보정된 객체 내의 텍스트(text)를 부각하는 제 9 단계; 및 상기 카메라를 통해 획득된 영상과 상기 텍스트가 부각된 객체를 비교함으로써, 상기 객체 내의 텍스트를 추출하는 제 10 단계;를 포함할 수 있다.
또한, 상기 제 2 단계에서, 상기 가중치가 부여된 색상은 그린(GREEN)일 수 있다.
또한, 상기 제 3 단계에서, 상기 미리 설정된 임계값 이상으로 밝은 지점에 하이 값을 부여하고, 상기 미리 설정된 임계값 미만으로 밝은 지점에 로우 값을 부여할 수 있다.
또한, 상기 제 4 단계에서, 상기 인식한 객체는 복수일 수 있다.
또한, 상기 제 5 단계에서, 허프 변환(Hough Transformation)을 이용하여 상기 직선을 검출할 수 있다.
또한, 상기 제 8 단계는, 상기 회전시킨 객체와 관련된 영상을 푸리에 변환(Fourier Transform)시켜 주파수 스펙트럼을 획득하는 단계; 상기 획득한 주파수 스펙트럼을 LPF(Low Pass Filter)에 통과시키는 단계; 및 상기 LPF를 통과한 주파수 스펙트럼을 푸리에 역변환(Inverse Fourier Transform)시켜 상기 회전시킨 객체와 관련된 영상을 복구하는 단계;를 포함할 수 있다.
또한, 상기 제 8 단계는, 상기 구조요소를 상기 해상도를 보정한 객체와 관련된 영상에 적용하여, 상기 하이 값이 부여된 지점이 부각되도록 하는 단계이고, 상기 부각된 텍스트는 상기 제 7 단계와 비교하여 더 선명하게 표시될 수 있다.
또한, 상기 제 9 단계는, 상기 카메라를 통해 획득된 영상 내에 존재하는 복수의 텍스트를 여백을 이용하여 분리하는 단계; 상기 분리된 복수의 텍스트와 상기 텍스트가 부각된 객체를 비교하는 단계; 및 상기 텍스트가 부각된 객체에서 상기 분리된 복수의 텍스트와 유사도가 높은 텍스트를 추출하는 단계;를 포함할 수 있다.
또한, 상기 인식한 객체는 차량과 관련된 안내 표지판일 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 양상인 안내 표지판 내의 거리 정보 습득 장치는, 영상을 획득하는 카메라; 및 레드(RED), 그린(GREEN) 및 블루(BLUE) 중 어느 하나의 색상에 가중치를 부여하여 상기 영상에 적용함으로써, 상기 가중치가 부여된 색상이 강조된 제 1 영상을 획득하고, 미리 설정된 임계값 이상의 지점(point)에 하이(high) 값을 부여하고, 상기 미리 설정된 임계값 미만의 지점은 로우(low) 값을 부여하여, 상기 제 1 영상을 이진화된 제 2 영상으로 변환하며, 상기 제 2 영상의 하이 값을 갖는 지점이 일정 거리 내에서 미리 설정된 개수 이상인 경우, 상기 일정 거리 내에 존재하는 하이 값을 하나의 객체로 인식하고, 상기 인식한 객체에 포함된 직선을 검출하며, 수평을 기준으로 상기 검출된 직선의 기울어진 각도를 산출하고, 상기 기울어진 각도만큼 상기 인식한 객체를 회전시키며, 상기 회전시킨 객체의 해상도를 보정하고, 구조요소를 이용하여 상기 영상에 존재하는 연결요소의 모양을 조작하는 기법인 모폴로지(morphology) 기법을 통해, 상기 해상도가 보정된 객체 내의 텍스트(text)를 부각하며, 상기 카메라를 통해 획득된 영상과 상기 텍스트가 부각된 객체를 비교함으로써, 상기 객체 내의 텍스트를 추출하는 제어부;를 포함할 수 있다.
또한, 상기 가중치가 부여된 색상은 그린(GREEN)이고, 상기 제어부는, 상기 미리 설정된 임계값 이상으로 밝은 지점에 하이 값을 부여하고, 상기 미리 설정된 임계값 미만으로 밝은 지점에 로우 값을 부여할 수 있다.
또한, 상기 인식한 객체는, 복수이고, 차량과 관련된 안내 표지판일 수 있다.
또한, 상기 제어부는, 허프 변환(Hough Transformation)을 이용하여 상기 직선을 검출하고, 상기 회전시킨 객체와 관련된 영상을 푸리에 변환(Fourier Transform)시켜 주파수 스펙트럼을 획득하고, 상기 획득한 주파수 스펙트럼을 LPF(Low Pass Filter)에 통과시키며, 상기 LPF를 통과한 주파수 스펙트럼을 푸리에 역변환(Inverse Fourier Transform)시켜 상기 회전시킨 객체와 관련된 영상을 복구하여 상기 회전시킨 객체의 해상도를 보정할 수 있다.
또한, 상기 제어부는, 상기 구조요소를 상기 해상도를 보정한 객체와 관련된 영상에 적용하여, 상기 하이 값이 부여된 지점이 부각되도록 함으로써, 상기 해상도가 보정된 객체 내의 텍스트(text)를 부각시킬 수 있다.
또한, 상기 제어부는, 상기 카메라를 통해 획득된 영상 내에 존재하는 복수의 텍스트를 여백을 이용하여 분리하고, 상기 분리된 복수의 텍스트와 상기 텍스트가 부각된 객체를 비교하며, 상기 텍스트가 부각된 객체에서 상기 분리된 복수의 텍스트와 유사도가 높은 텍스트를 추출함으로써, 상기 객체 내의 텍스트를 추출할 수 있다.
본 발명은 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법을 사용자에게 제공할 수 있다.
구체적으로, 본 발명은 카메라를 통해서 입력 영상을 습득하고, 색상검출을 이용해 색상을 부각하며, 이진화(Binarization)를 진행하여 라벨링 기법으로 도로안내표지판 영역을 확보하고, 도로안내표지판 영역의 형태학적 문제(기울임, 저해상도)를 해결하고, 템플릿 매칭을 통해 거리정보를 습득하는 시스템 및 방법을 사용자에게 제공할 수 있다.
결과적으로 본 발명은 영상만을 이용해서 실시간으로 차량과 교차로간의 거리정보를 습득하는 시스템을 사용자에게 제공할 수 있고, GPS통신 장애에 따른 오류를 예방할 수 있다.
또한, 본 발명은 카메라 센서 하나로 시스템을 구성할 수 있고, 자율주행에 필요한 기술에 추가적으로 적용이 가능하며, 활용 범위가 넓다는 장점이 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명이 제안하는 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템의 블록 구성도를 도시한 것이다.
도 2는 본 발명이 제안하는 시스템에서 획득한 거리 정보와 외부에서 수신한 정보를 비교하여 차량의 경로를 설정하는 순서도를 도시한 것이다.
도 3은 본 발명이 제안하는 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 방법을 설명하는 순서도를 도시한 것이다.
도 4는 본 발명과 관련하여, 기존의 색 검출 결과와 본 발명이 제안하는 색 검출 결과를 서로 비교한 일례를 도시한 것이다.
도 5는 본 발명의 이진화 기법과 관련하여, 원본 영상과 히스토그램의 일례를 도시한 것이다.
도 6은 본 발명의 레이블링 기법과 관련하여, 첫 번째 화소 탐색과 스택을 저장하는 일례를 도시한 것이다.
도 7은 본 발명의 레이블링 기법과 관련하여, 탐색 마스크의 종류를 도시한 것이다.
도 8은 본 발명의 레이블링 기법과 관련하여, 주변 화소를 탐색하는 구체적인 일례를 도시한 것이다.
도 9는 본 발명의 레이블링 기법과 관련하여, 레이블링 결과를 도시한 것이다.
도 10은 본 발명이 제안하는 방식에서 영상 내 직선을 검출하기 위해, 허프변환 기법을 적용함에 있어, 한 점이 가지는 직선의 일례를 도시한 것이다.
도 11은 본 발명이 제안하는 방식에서 영상 내 직선을 검출하기 위해, 허프변환 기법을 적용함에 있어, 두 점이 가지는 직선의 일례를 도시한 것이다.
도 12는 본 발명이 제안하는 방식에서 영상 내 직선을 검출하기 위해, 허프 공간으로 변환하는 과정의 일례를 도시한 것이다.
도 13은 본 발명의 도로안내표지판 직선 검출과 관련하여, 원본과 결과를 서로 비교한 일례를 도시한 것이다.
도 14는 본 발명의 기울기 보정에 있어, 표지판 각도산출 과정을 도시한 것이다.
도 15는 본 발명의 기울기 보정에 있어, 임의의 점에 대한 회전의 일례를 도시한 것이다.
도 16은 본 발명의 기울기 보정에 있어, 보상 전과 보상 이후의 결과를 비교한 것이다.
도 17은 본 발명에 따른 해상도 보정과 관련하여, 원본영상, 주파수 스펙트럼, 구역별 표시의 일례를 도시한 것이다.
도 18은 본 발명에 따른 해상도 보정과 관련하여, 시프트된 스펙트럼과 구역별 표시의 일례를 도시한 것이다.
도 19는 본 발명에 따른 해상도 보정과 관련하여, 필터링 된 결과값을 도시한 것이다.
도 20은 본 발명에 따른 해상도 보정과 관련하여, 보정 전과 보정 이후의 결과를 비교한 일례를 도시한 것이다.
도 21은 본 발명이 제안하는 모폴로지와 관련하여, 구조요소의 종류를 도시한 것이다.
도 22는 본 발명이 제안하는 모폴로지와 관련하여, 기존영상과 구조요소의 예를 도시한 것이다.
도 23은 본 발명이 제안하는 모폴로지를 적용함으로써, 문자가 부각된 결과값과 원본을 비교한 일례를 도시한 것이다.
도 24는 본 발명이 제안하는 템플릿 매칭에 있어 여백을 판단하는 구체적인 일례를 도시한 것이다.
도 25는 본 발명이 제안하는 템플릿 매칭 방식을 설명하기 위한 도면이다.
도 26은 본 발명이 제안하는 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 방법에 따라 도로안내표지판 내의 거리의 유사도 수치를 표로 정리한 것이다.
도 27은 본 발명이 제안하는 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 방법에 따라 일반적으로 검출된 도로표지판의 검출률을 표로 정리한 것이다.
도 28은 본 발명이 제안하는 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 방법에 따라 흐리고 비 오는 날의 표지판 검출률을 표로 정리한 것이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
전술한 것과 같이, 자율주행차량에 대한 도입 및 이용가능 시기가 가까워지고 있는데, 자율주행차량은 현재 차량과 교차로간의 거리를 파악하기 위해, GPS정보에만 의존하고 있어, 환경적 요소(고층빌딩 사이, 통신장애)에 따른 오류가 생길 여지가 많다.
이러한 문제를 해결하기 위해, QR코드를 인식하여 현재 위치를 확인하는 시스템 등이 제안되었고, 영상을 통해서 현재 차량의 위치를 파악할 수 있으나 QR코드라는 매개가 있어야 하므로 표지판을 새롭게 설치 및 변경해야 한다는 문제점이 존재한다.
결국, QR코드를 인식하는 방법으로는 현재 설치된 도로안내표지판의 정보를 인식할 수 없고, 카메라의 위치나 해상도에 따른 기술보정이 적용되어 있지 않으며, 도로안내표지판 내의 거리정보를 확인할 수 없다는 문제점이 존재하므로, 이에 대한 해결방안이 요구되고 있는 실정이다.
따라서 본 발명은 상기 문제점을 해소하고자 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법을 사용자에게 제공하고자 한다.
구체적으로, 본 발명은 카메라를 통해서 입력 영상을 습득하고, 색상검출을 이용해 색상을 부각하며, 이진화(Binarization)를 진행하여 라벨링 기법으로 도로안내표지판 영역을 확보하고, 도로안내표지판 영역의 형태학적 문제(기울임, 저해상도)를 해결하고, 템플릿 매칭을 통해 거리정보를 습득하는 시스템 및 방법을 사용자에게 제공하고자 한다.
본 발명이 제안하는 기술적 특징을 설명하기에 앞서, 본 발명이 제안하는 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 장치 또는 시스템의 블록 구성도를 도 1을 참조하여 설명한다.
도 1를 참조하면, 안내표지판 내의 거리 정보를 습득하는 시스템(100)은 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다.
단, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 안내표지판 내의 거리 정보를 습득하는 시스템이 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 안내표지판 내의 거리 정보를 습득하는 시스템과 무선 통신 시스템 사이 또는 기기와 기기가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
예를 들어, 무선 통신부(110)는 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 기기, 서버 중 적어도 하나와 무선 신호를 송수신한다.
문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 안내표지판 내의 거리 정보를 습득하는 시스템에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-WideBand), ZigBee, 와이파이(Wireless Fidelity, Wi-Fi) 등이 이용될 수 있다.
위치정보 모듈(115)은 안내표지판 내의 거리 정보를 습득하는 시스템의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
도 1를 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
다음으로, 원적외선 카메라(122)는 사람이 보지 못하는 적외선 대역의 빛을 투영하여 촬영한다.
FIR의 빛은 LWIR(Long Wavelength Infra Red)라고도 하며 적외선은 빛의 파장 중 8μm에서 15μm의 대역을 나타내고, FIR 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있다.
원적외선 카메라(122)의 대상인 사람(보행자)의 체온은 10μm의 파장을 가지고, 원적외선 카메라(122)를 통해, 야간에서도 특정 객체에 대한 이미지, 동영상 등을 촬영하는 것이 가능하다.
다음으로, 사용자 입력부(130)는 사용자가 안내표지판 내의 거리 정보를 습득하는 시스템의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(140)는 안내표지판 내의 거리 정보를 습득하는 시스템의 개폐 상태, 안내표지판 내의 거리 정보를 습득하는 시스템의 위치, 사용자 접촉 유무, 안내표지판 내의 거리 정보를 습득하는 시스템의 방위, 안내표지판 내의 거리 정보를 습득하는 시스템의 가속/감속 등과 같이 안내표지판 내의 거리 정보를 습득하는 시스템의 현 상태를 감지하여 안내표지판 내의 거리 정보를 습득하는 시스템의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 햅틱 모듈(154) 및 프로젝터 모듈(155), 헤드업 디스플레이(head-up display, HUD), 헤드 마운티드 디스플레이(head mounted display, HMD) 등이 포함될 수 있다.
디스플레이부(151)는 안내표지판 내의 거리 정보를 습득하는 시스템에서 처리되는 정보를 표시(출력)한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 안내표지판 내의 거리 정보를 습득하는 시스템 바디의 디스플레이부(151)가 차지하는 영역을 통해 안내표지판 내의 거리 정보를 습득하는 시스템 바디의 후방에 위치한 사물을 볼 수 있다.
안내표지판 내의 거리 정보를 습득하는 시스템의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 안내표지판 내의 거리 정보를 습득하는 시스템에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 안내표지판 내의 거리 정보를 습득하는 시스템의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 안내표지판 내의 거리 정보를 습득하는 시스템에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 안내표지판 내의 거리 정보를 습득하는 시스템의 이벤트 발생을 알리기 위한 신호를 출력한다.
알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다.
상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어 가능하다.
예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 안내표지판 내의 거리 정보를 습득하는 시스템의 구성 태양에 따라 2개 이상이 구비될 수 있다.
프로젝터 모듈(155)은, 안내표지판 내의 거리 정보를 습득하는 시스템을 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어 신호에 따라 디스플레이부(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.
구체적으로, 프로젝터 모듈(155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.
프로젝터 모듈(155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(151)의 소형화에 유리할 수 있다.
바람직하게, 프로젝터 모듈(155)은, 안내표지판 내의 거리 정보를 습득하는 시스템의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(155)은, 필요에 따라 안내표지판 내의 거리 정보를 습득하는 시스템의 어느 위치에라도 구비될 수 있음은 당연하다.
또한, 헤드업 디스플레이(head-up display, HUD, 156)는 차량 등에서 차량 현재 속도, 연료 잔량, 내비게이션 길안내 정보 등을 운전자 바로 앞 유리창 부분에 그래픽 이미지로 투영해주는 장치를 의미한다.
원적외선 카메라(122)를 통해 획득된 정보는 상기 헤드업 디스플레이(156)를 통해 출력되는 것도 가능하다.
또한, 헤드 마운티드 디스플레이(head mounted display, HMD, 157)는 가상 현실(Virtual reality) 정보를 출력할 수 있는 대표적인 장치이다.
가상 현실(Virtual reality)이란 컴퓨터를 통해 어떤 특정한 환경이나 상황을 입체감있는 3D 컨텐츠로 제작하여, 그 3D 컨텐츠를 사용하는 사람이 마치 실제 주변 상황, 환경과 상호작용하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스 등을 총칭한다.
일반적으로 사람이 지각하는 입체감은 관찰하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용하여 생긴다.
그 중 사람이 입체감을 느끼는 가장 중요한 요인은, 사람의 두 눈이 가로 방향으로 약 6.5㎝가량 떨어져 있음으로써, 나타나게 되는 양안 시차(binocular disparity)이다. 즉, 양안 시차에 의해 대상물에 대한 각도 차이를 가지고 바라보게 되고, 이 차이로 인해 각각의 눈에 들어오는 이미지가 서로 다른 상을 갖게 되며 이 두 영상이 망막을 통해 뇌로 전달되면 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3D 입체 영상을 느낄 수 있는 것이다.
이러한 입체감있는 3D 컨텐츠들은 이미 여러 미디어 분야에 두루 이용되어 소비자들로부터 호평을 받아오고 있다. 예를 들어 3D 영화, 3D 게임 및 체험 디스플레이와 같은 것들이 대표적이다.
이와 같이 가상 현실 기술 3D 컨텐츠들의 보편화와 더불어, 더욱 몰입도 높은 가상 현실 서비스를 제공할 수 있는 기술의 개발이 다각적으로 요구되고 있다.
일반적으로 이미지 디스플레이 장치는 눈과 매우 근접한 위치에서 발생하는 영상광을 정밀한 광학 장치를 이용하여 먼 거리에 가상의 대형화면이 구성될 수 있도록 초점을 형성함으로써 사용자로 하여금 확대된 허상을 볼 수 있도록 하는 화상 표시 장치를 말한다.
또한, 이미지 디스플레이 장치는, 주위 환경은 볼 수 없고 디스플레이 소자에서 발산된 영상광만을 볼 수 있는 밀폐형(See-close)과, 윈도우를 통해 주위 환경을 볼 수 있으면서도 디스플레이 소자에서 발산된 영상광을 동시에 볼 수 있는 투과식(See-through)으로 나뉠 수 있다.
본 발명에 따른 헤드 마운티드 디스플레이(head mounted display, HMD, 157)란 안경처럼 머리에 착용하여 멀티미디어 컨텐츠를 제공받을 수 있도록 하는 각종디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, HMD 또한 널리 사용되고 있다. HMD(157)는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 유저에게 다양한 편의를 제공할 수 있다.
예를 들어, HMD(157)에 마이크와 스피커가 장착되는 경우, 유저는 HMD(157)를 착용한 상태에서, 전화 통화를 수행할 수 있다. 또한, 예를 들어, HMD(157)에 원적외선 카메라(122)가 장착되는 경우, 유저는 HMD(157)를 착용한 상태에서, 유저가 원하는 방향의 이미지를 캡쳐할 수 있다.
또한, 메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 안내표지판 내의 거리 정보를 습득하는 시스템은 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 안내표지판 내의 거리 정보를 습득하는 시스템에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 안내표지판 내의 거리 정보를 습득하는 시스템 내부의 각 구성 요소에 전달하거나, 안내표지판 내의 거리 정보를 습득하는 시스템 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 안내표지판 내의 거리 정보를 습득하는 시스템의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 안내표지판 내의 거리 정보를 습득하는 시스템과 연결될 수 있다.
상기 인터페이스부는 안내표지판 내의 거리 정보를 습득하는 시스템이 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 안내표지판 내의 거리 정보를 습득하는 시스템에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동기기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동기기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller, 180)는 통상적으로 안내표지판 내의 거리 정보를 습득하는 시스템의 전반적인 동작을 제어한다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
한편, 전술한 본 발명의 구성을 기초로, 본 발명이 제안하는 시스템(100)에서 획득한 거리 정보와 외부에서 수신한 정보를 비교하여 차량의 경로를 설정하는 방법에 대해 설명한다.
도 2는 본 발명이 제안하는 시스템에서 획득한 거리 정보와 외부에서 수신한 정보를 비교하여 차량의 경로를 설정하는 순서도를 도시한 것이다.
도 2를 참조하면, 가장 먼저, 자율주행차량이 외부로부터 주행 정보를 수신하는 단계(S1)가 진행된다.
이때, 자율주행차량은 현재 차량과 교차로간의 거리를 파악하기 위해, GPS정보에만 의존하고 있어, 환경적 요소(고층빌딩 사이, 통신장애)에 따른 오류가 생길 여지가 많다.
따라서 S1 단계 이후에, RGB 카메라(121)를 통해 도로안내표지판 내의 거리 정보를 획득하는 단계(S2)를 수행한다.
이후, 수신한 주행정보와 획득한 거리 정보를 비교하여 경로를 설정하는 단계(S3)를 진행한다.
따라서 GPS정보 이외에 현재 상태에서 획득한 거리 정보를 함께 이용하여 경로를 설정하므로, 자율주행차량은 보다 정확하게 주어진 태스크(task)를 수행할 수 있게 된다.
특히, 본 발명에서는 RGB 카메라(121)를 통해 도로안내표지판 내의 거리 정보를 획득하는 단계(S2)에 대해 효율적인 방법을 제안하고자 한다.
도 3은 본 발명이 제안하는 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 방법(S2)을 설명하는 순서도를 도시한 것이다.
도 3을 참조하면, S2 방법은 RGB 카메라(121)를 통해 입력 영상을 습득하는 단계(S21)부터 시작된다.
이후, 제어부(180)는 색상검출 기법을 통해 입력 영상의 색상을 부각하는 단계(S22)를 수행한다.
S22 단계에서는 RGB 카메라(121)를 통해서 입력 영상을 습득하고, 제어부(180)가 색상검출(Color detection)을 이용해 색상을 부각한다.
S22 단계를 통해 잡음에 강인한 방식의 색상검출이 가능해진다.
본 발명이 제안하는 색상검출 방식은 색상을 부각하여 물체를 검출하는 방식으로서, RGB, ycbcr, HSI등의 컬러모델 중 다음의 수학식 1과 같이, RGB 고유값을 사용한다.
Figure 112017008536026-pat00001
상기 수학식 1에서
Figure 112017008536026-pat00002
은 적색 데이터이고,
Figure 112017008536026-pat00003
는 녹색 데이터이며,
Figure 112017008536026-pat00004
는 청색 데이터이고,
Figure 112017008536026-pat00005
는 녹색이 부각된 영상을 의미한다.
이때, 제어부(180)는 다음의 수학식 2 및 수학식 3에서와 같이, 고유값에서 비선형특성식을 정의하여 잡음을 제거하게 된다.
Figure 112017008536026-pat00006
Figure 112017008536026-pat00007
상기 수학식 2 및 3에서
Figure 112017008536026-pat00008
는 비선형특성식을 의미하고,
Figure 112017008536026-pat00009
은 가중치를 의미하며,
Figure 112017008536026-pat00010
은 녹색이 부각된 개선된 영상을 의미한다.
본 발명에 따라 제안된 색상 검출방법은, 검출하고자 하는 색상의 채널에만 적용하여 연산량을 줄이며 빠르게 동작한다.
이는, 도로안내표지판을 추출하기 위함, 색상검출은 속도는 빠르나 잡음개선이 필요하다는 것을 고려한 것으로, 잡음을 개선하며 빠른 속도를 가질 수 있다.
도 4는 본 발명과 관련하여, 기존의 색 검출 결과와 본 발명이 제안하는 색 검출 결과를 서로 비교한 일례를 도시한 것이다.
도 4의 (a)는 기존의 색 검출 결과를 도시한 것이고, 도 4의 (b)는 본 발명이 제안하는 색 검출 방식이 적용된 결과를 도시한 것이다.
도 4를 참조하면, 본 발명에 따른 색 검출 방식에 따른 결과가 잡음에 강하고 빠르게 작업되었다는 것을 확인할 수 있다.
또한, 제어부(180)는 색상이 부각된 영상을 이진화하는 단계(S23)를 수행한다.
본 발명에 따른 S23 단계에서는 “오츠 이진화”를 이용하여 이진화의 임계값을 결정한다.
구체적으로 오츠 이진화란 계곡점(valley)을 찾아 그 점을 이진화의 임계값으로 정하는 것을 말한다.
도 5는 본 발명의 이진화 기법과 관련하여, 원본 영상과 히스토그램의 일례를 도시한 것이다.
도 5의 (a)는 원본 영상을 도시한 것이고, 도 5의 (b)는 히스토그램을 도시한 것이다.
S23 단계에서는 도 5의 (b)와 같이, 히스토그램을 수행(클래스 구성)한 뒤 하기의 수학식 4를 통해 임계값을 구할 수 있다.
Figure 112017008536026-pat00011
수학식 4에서
Figure 112017008536026-pat00012
는 임계값보다 어두운 픽셀들의 비율을 의미하고,
Figure 112017008536026-pat00013
는 임계값보다 밝은 픽셀들의 비율을 의미하며,
Figure 112017008536026-pat00014
는 클래스 n의 분산을 나타낸다.
본 발명에서 이진화의 임계값은 양 클래스의 분산이 작을수록 최적의 임계값이 된다.
즉, 수학식 4에서의 최소값을 구하면 최적의 임계값을 찾아 낼 수 있다.
본 발명에서 이진화의 목적은 이진화의 임계값을 계산하기 위함이고, 이를 통해 영상마다 이진화의 임계값이 자동으로 산출될 수 있다.
또한, 제어부(180)는 이진화된 영상에 라벨링 또는 레이블링 기법을 적용하는 단계(S24)를 수행한다.
레이블링(Labeling)은 이진화된 영상을 탐색하여 군집화된 객체를 하나의 객체로 인식하는 것으로, 4-neighbor 탐색방법과 8-neighbor 탐색방법이 있다.
도 6은 본 발명의 레이블링 기법과 관련하여, 첫 번째 화소 탐색과 스택을 저장하는 일례를 도시한 것이고, 도 7은 본 발명의 레이블링 기법과 관련하여, 탐색 마스크의 종류를 도시한 것이며, 도 8은 본 발명의 레이블링 기법과 관련하여, 주변 화소를 탐색하는 구체적인 일례를 도시한 것이고, 도 9는 본 발명의 레이블링 기법과 관련하여, 레이블링 결과를 도시한 것이다.
레이블링(Labeling)의 구현방법과 관련하여, 도 6의 (a)와 같이, 제어부(180)는 화소값이 있는 지점 (2,2)까지 탐색할 수 있다.
이후, 제어부(180)는 메모리(160)를 통해, 화소의 좌표값을 도 6의 (b)와 같이, 저장할 수 있다.
이후, 제어부(180)는 도 7의 (b)의 8-neighbor를 이용하여, 도 8의 (a)와 같이 주변 화소를 탐색한다.
이후, 제어부(1809)는 화소의 좌표값을 도 8의 (b)와 같이 메모리(160)를 통해 저장한다.
제어부(180)는 이러한 과정을 반복함으로써, 도 9와 같은 결과를 얻을 수 있다.
본 발명에 따른 레이블링 기법을 적용하는 이유는, 표지판 영역을 저장하기 위함이고, 이를 통해 영역화를 구축할 수 있다.
이후, 제어부(180)는 라벨링 기법이 적용된 영상에서 도로안내표지판 영역을 결정하는 단계(S25)를 수행한다.
S25 단계에서는 허프변환(Hough Transformation)이 먼저 적용될 수 있다.
허프변환(Hough Transformation)은 영상 내 직선을 검출하기 위해 사용되는 방법으로, 2차원 공간상의 직선을 표현하는 방법은 하기의 수학식 5를 통해 나타낼 수 있다.
Figure 112017008536026-pat00015
상기 수학식 5에서
Figure 112017008536026-pat00016
는 직선의 기울기이고,
Figure 112017008536026-pat00017
는 y의 절편을 의미한다.
도 10은 본 발명이 제안하는 방식에서 영상 내 직선을 검출하기 위해, 허프변환 기법을 적용함에 있어, 한 점이 가지는 직선의 일례를 도시한 것이다.
도 10의 (a)는 점의 위치를 나타낸 것이고, 상기 수학식 5를 통해 표현하면, 한 점이 가질 수 있는 직선은 도 10의 (b)와 같다.
또한, 도 11은 본 발명이 제안하는 방식에서 영상 내 직선을 검출하기 위해, 허프변환 기법을 적용함에 있어, 두 점이 가지는 직선의 일례를 도시한 것이다.
만약, 도 11의 (a)와 같이 두 점이 있고, 하기의 수학식 6과 같이, 이를 표현하는 경우, 도 11의 (b)의 결과를 얻을 수 있다.
Figure 112017008536026-pat00018
여기서, 교점은 두 점을 지나는 직선과 같으므로 교점이 많을수록 직선이 존재할 확률이 높아진다.
또한, 직선이 y축과 평행할 경우, 기울기의 범위가 무한대가 되므로 유한한 공간으로 변경할 필요가 있다.
하기의 수학식 7을 이용하여 도 11의 (b)는 도 12의 (b)와 같이, 변환될 수 있다.
Figure 112017008536026-pat00019
도 12는 본 발명이 제안하는 방식에서 영상 내 직선을 검출하기 위해, 허프 공간으로 변환하는 과정의 일례를 도시한 것이다.
도 12의 (a)는 기존 공간을 의미하고, (b)는 허프공간으로 변환되는 것을 도시한 것이다.
결과적으로 도 13과 같이 도로안내표지판 상단 부분의 직선을 검출할 수 있다.
도 13은 본 발명의 도로안내표지판 직선 검출과 관련하여, 원본과 결과를 서로 비교한 일례를 도시한 것이다.
S25 단계에서은 허프변환(Hough Transformation)은 결국, 도로안내표지판의 직선을 검출하기 위함으로, 삼각법을 이용하여 기울기를 보정할 수 있다는 장점도 있다.
또한, 제어부(180)는 도로안내표지판 영역의 기울임을 보정하는 단계(S26)를 수행한다.
제어부(180)는 삼각법을 이용하여 표지판의 기울어진 각도를 구할 수 있다.
도 14는 본 발명의 기울기 보정에 있어, 표지판 각도산출 과정을 도시한 것이다.
도 14에 도시된 것과 같이, 제어부(180)는 중앙선(base line)을 그려 1번과 2번의 지점을 구한 뒤 X와 Y의 값을 얻어낼 수 있다.
이후, 제어부는 하기의 수학식 8을 통해 각도를 산출할 수 있다.
Figure 112017008536026-pat00020
상기 수학식 8에서
Figure 112017008536026-pat00021
는 도로안내표지판의 기울어진 각도를 의미한다.
임의의 점에 대한 회전은 다음의 도 15와 같다.
도 15는 본 발명의 기울기 보정에 있어, 임의의 점에 대한 회전의 일례를 도시한 것이다.
또한, 제어부(180)는 하기의 수학식 9와 수학식 10을 통해 영상을 회전할 수 있다.
Figure 112017008536026-pat00022
Figure 112017008536026-pat00023
여기서 사용하는 x, y는 2차원 행렬의 값을 의미하고, 도 16과 결과를 얻어낼 수 있다.
도 16은 본 발명의 기울기 보정에 있어, 보상 전과 보상 이후의 결과를 비교한 것이다.
이러한 도로안내표지판 영역의 기울임을 보정하는 단계(S26)는 도로안내표지판의 기울기를 보정하기 위함이고, 정확하게 기울기를 보정하여 템플릿 매칭의 정확도를 높일 수 있다.
또한, 제어부(180)는 도로안내표지판 영역의 해상도를 보정하는 단계(S27)를 수행한다.
해상도를 보정하는 단계(S27)는, 제어부(180)가 푸리에 변환으로 영상을 주파수 영역에서 연산하는 방식으로 수행된다.
도 17은 푸리에 변환으로 얻은 주파수 스펙트럼 영상이다.
도 17의 (a)는 원본영상을 의미하고, (b)는 주파수 스펙트럼을 의미하며, (c)는 구역별 표시의 일례를 도시한 것이다.
또한, 제어부(180)는 도 18과 같이 시프트하여 필터링을 용이하게 만든다.
도 18의 (a)는 해상도 보정과 관련하여, 시프트된 스펙트럼의 일례를 도시한 것이고, (b)는 구역별 표시의 일례를 도시한 것이다.
이후, 제어부(180)는 LPF(Low Pass Filter)의 영역을 제외시키고, 나머지 영역을 도 19와 같이 생성할 수 있으며, 이것이 zero-padding 방법이다.
즉, 도 19는 본 발명에 따른 해상도 보정과 관련하여, 필터링 된 결과값을 도시한 것이다.
제어부(180)가 나머지 영역에 원하는 해상도(이미지의 크기)만큼 0을 채우고 다시 역변환하면 해상도가 증가한 영상을 얻을 수 있다.
또한, 도 20은 해상도를 보정 후 표지판내의 문자 중 일부를 캡처하여 확대한 예이다.
도 20의 (a)는 해상도 보정과 관련하여, 보정 전을 나타낸 것이고, (b)는 보정한 이후의 결과를 도시한 것이다.
S27 단계를 통해, 도로안내표지판의 해상도를 증가시킴으로써, 이후에 적용되는 템플릿 매칭의 정확도를 높일 수 있다.
이후, 제어부(180)는 템플릿 매칭 기법을 적용하는 단계(S28)를 수행한다.
S28 단계에는 모폴로지(morphology)가 적용되고, 모폴로지(morphology)는 구조요소를 이용하여 영상에 있는 연결요소의 모양을 조작하는 기법이다.
모폴로지(morphology)의 대표적인 연산 방법은 침식, 팽창, 열림, 닫힘이 있다.
도 21은 본 발명이 제안하는 모폴로지와 관련하여, 구조요소의 종류를 도시한 것이고, 도 22는 본 발명이 제안하는 모폴로지와 관련하여, 기존영상과 구조요소의 예를 도시한 것이다.
도 22에서 (a)는 기존영상을 의미하고, (b)는 침식 결과를 의미하며, (c)는 구조요소를 의미한다.
예를 들어서 침식은 도 22의 (a)의 1의 지점에 도 22의 (c)의 구조요소를 씌워서 주변 화소를 포함하여 구조요소와 같은 (1,1,1)가 되지 않으면 0을 저장하는 방식이다.
한 마디로 AND구조를 가지고 있다.
또한, 팽창은 하나라도 1일 때 1를 저장하는 방식으로 OR구조이다.
또한, 열림은 침식 후 팽창하는 연산이고 닫힘은 팽창 후 침식하는 연산이다.
본 발명이 제안하는 알고리즘은 하기의 수학식 11, 수학식 12 및 수학식 13과 같이, Top-hat과 Black-hat의 응용으로 문자를 부각했다.
수학식 11은 원본 영상에 열림 연산을 뺀 Top-hat이고, 수학식 12는 닫힘 연산에 원본 영상을 뺀 Black-hat이며, 수학식 13은 이를 응용하여 만든 문자를 부각하는 새로운 식이다.
Figure 112017008536026-pat00024
Figure 112017008536026-pat00025
Figure 112017008536026-pat00026
또한, 도 23은 문자를 부각한 결과이다.
도 23의 (a)는 원본을 나타낸 것이고, (b)는 본 발명이 제안하는 모폴로지를 적용함으로써, 문자가 부각된 결과값을 도시한 것이다.
과 원본을 비교한 일례를 도시한 것이다.
또한, S28 단계에에는 모폴로지(morphology) 이후에, 템플릿 매칭(Template matching) 과정이 제어부(180)를 통해 수행된다.
템플릿 매칭(Template matching)은 원본 영상과 저장된 이진 영상(타겟 영상)의 유사도를 판별해 대상을 찾는 방법이다.
즉, 유사도 판별에 사용되는 방법은 상관계수를 구하는 방법으로 다음의 수학식 14와 같다.
Figure 112017008536026-pat00027
상기 수학식 14에서 유사도는 0~1의 수치를 가지며 1에 가까울수록 유사도가 높은 것이다.
도 24는 본 발명이 제안하는 템플릿 매칭에 있어 여백을 판단하는 구체적인 일례를 도시한 것이고, 도 25는 본 발명이 제안하는 템플릿 매칭 방식을 설명하기 위한 도면이다.
문자를 분할하는 방법은 도 24와 같이, 제어부(180)가 문자 간의 여백을 판단하여 도 25와 같이, 나타내고 비교한다.
또한, 도 26은 본 발명이 제안하는 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 방법에 따라 도로안내표지판 내의 거리의 유사도 수치를 표로 정리한 것이다.
이러한 템플릿 매칭 기법을 적용하는 단계(S28)를 통해, 도로안내표지판의 거리정보를 습득하는 것을 지원하고, 여백 판단으로 문자영역을 크게 분할하여 연산속도가 빠르다(음절단위로 분할 x).
또한, 도 27은 본 발명이 제안하는 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 방법에 따라 일반적으로 검출된 도로표지판의 검출률을 표로 정리한 것이다.
또한, 도 28은 본 발명이 제안하는 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 방법에 따라 흐리고 비 오는 날의 표지판 검출률을 표로 정리한 것이다.
최종적으로 제어부(180)는 도로안내표지판 내의 거리 정보를 획득하는 단계(S29)를 진행한다.
제어부(180)는 S29 단계에서 획득한 거리 정보를 이용하여, 도 2에서의 수신한 주행정보와 획득한 거리 정보를 비교하여 경로를 설정하는 단계(S3)를 수행하게 된다.
전술한 본 발명의 구성 및 방법이 적용되는 경우, 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법을 사용자에게 제공할 수 있다.
구체적으로, 본 발명은 카메라를 통해서 입력 영상을 습득하고, 색상검출을 이용해 색상을 부각하며, 이진화(Binarization)를 진행하여 라벨링 기법으로 도로안내표지판 영역을 확보하고, 도로안내표지판 영역의 형태학적 문제(기울임, 저해상도)를 해결하고, 템플릿 매칭을 통해 거리정보를 습득하는 시스템 및 방법을 사용자에게 제공할 수 있다.
결과적으로 본 발명은 영상만을 이용해서 실시간으로 차량과 교차로간의 거리정보를 습득하는 시스템을 사용자에게 제공할 수 있고, GPS통신 장애에 따른 오류를 예방할 수 있다.
또한, 본 발명은 카메라 센서 하나로 시스템을 구성할 수 있고, 자율주행에 필요한 기술에 추가적으로 적용이 가능하며, 활용 범위가 넓다는 장점이 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (17)

  1. 카메라를 통해 영상을 획득하는 제 1 단계;
    레드(RED), 그린(GREEN) 및 블루(BLUE) 중 어느 하나의 색상에 가중치를 부여하여 상기 영상에 적용함으로써, 상기 가중치가 부여된 색상이 강조된 제 1 영상을 획득하는 제 2 단계;
    미리 설정된 임계값 이상의 지점(point)에 하이(high) 값을 부여하고, 상기 미리 설정된 임계값 미만의 지점은 로우(low) 값을 부여하여, 상기 제 1 영상을 이진화된 제 2 영상으로 변환하는 제 3 단계;
    상기 제 2 영상의 하이 값을 갖는 지점이 일정 거리 내에서 미리 설정된 개수 이상인 경우, 상기 일정 거리 내에 존재하는 하이 값을 하나의 객체로 인식하는 제 4 단계;
    상기 인식한 객체에 포함된 직선을 검출하는 제 5 단계;
    수평을 기준으로 상기 검출된 직선의 기울어진 각도를 산출하는 제 6 단계;
    상기 기울어진 각도만큼 상기 인식한 객체를 회전시키는 제 7 단계;
    상기 회전시킨 객체의 해상도를 보정하는 제 8 단계;
    구조요소를 이용하여 상기 영상에 존재하는 연결요소의 모양을 조작하는 기법인 모폴로지(morphology) 기법을 통해, 상기 해상도가 보정된 객체 내의 텍스트(text)를 부각하는 제 9 단계; 및
    상기 카메라를 통해 획득된 영상과 상기 텍스트가 부각된 객체를 비교함으로써, 상기 객체 내의 텍스트를 추출하는 제 10 단계;를 포함하되,
    상기 제 9 단계는, 상기 구조요소를 상기 해상도를 보정한 객체와 관련된 영상에 적용하여, 상기 하이 값이 부여된 지점이 부각되도록 하는 단계이고,
    상기 부각된 텍스트는 상기 제 7 단계와 비교하여 더 선명하게 표시되며,
    상기 제 10 단계는,
    상기 카메라를 통해 획득된 영상 내에 존재하는 복수의 텍스트를 여백을 이용하여 분리하는 단계;
    상기 분리된 복수의 텍스트와 상기 텍스트가 부각된 객체를 비교하는 단계; 및
    상기 텍스트가 부각된 객체에서 상기 분리된 복수의 텍스트와 유사도가 높은 텍스트를 추출하는 단계;를 포함하는 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 방법.
  2. 제 1항에 있어서,
    상기 제 2 단계에서, 상기 가중치가 부여된 색상은 그린(GREEN)인 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 방법.
  3. 제 1항에 있어서,
    상기 제 3 단계에서, 상기 미리 설정된 임계값 이상으로 밝은 지점에 하이 값을 부여하고, 상기 미리 설정된 임계값 미만으로 밝은 지점에 로우 값을 부여하는 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 방법.
  4. 제 1항에 있어서,
    상기 제 4 단계에서, 상기 인식한 객체는 복수인 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 방법.
  5. 제 1항에 있어서,
    상기 제 5 단계에서, 허프 변환(Hough Transformation)을 이용하여 상기 직선을 검출하는 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 방법.
  6. 제 1항에 있어서,
    상기 제 8 단계는,
    상기 회전시킨 객체와 관련된 영상을 푸리에 변환(Fourier Transform)시켜 주파수 스펙트럼을 획득하는 단계;
    상기 획득한 주파수 스펙트럼을 LPF(Low Pass Filter)에 통과시키는 단계; 및
    상기 LPF를 통과한 주파수 스펙트럼을 푸리에 역변환(Inverse Fourier Transform)시켜 상기 회전시킨 객체와 관련된 영상을 복구하는 단계;를 포함하는 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 방법.
  7. 삭제
  8. 삭제
  9. 제 1항에 있어서,
    상기 인식한 객체는 차량과 관련된 안내 표지판인 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 방법.
  10. 자율주행차량이 외부로부터 운행과 관련된 제 1 정보를 수신하는 단계;
    상기 자율주행차량이 제 1항 내지 제 6항 및 제 9항 중 어느 한 항에 따라 상기 객체 내의 텍스트를 추출하는 단계; 및
    상기 제 1 정보와 상기 추출한 텍스트를 이용하여 상기 자율주행차량의 운행을 결정하는 단계;를 포함하는 자율주행차량의 운행 설정 방법.
  11. 영상을 획득하는 카메라; 및
    레드(RED), 그린(GREEN) 및 블루(BLUE) 중 어느 하나의 색상에 가중치를 부여하여 상기 영상에 적용함으로써, 상기 가중치가 부여된 색상이 강조된 제 1 영상을 획득하고,
    미리 설정된 임계값 이상의 지점(point)에 하이(high) 값을 부여하고, 상기 미리 설정된 임계값 미만의 지점은 로우(low) 값을 부여하여, 상기 제 1 영상을 이진화된 제 2 영상으로 변환하며,
    상기 제 2 영상의 하이 값을 갖는 지점이 일정 거리 내에서 미리 설정된 개수 이상인 경우, 상기 일정 거리 내에 존재하는 하이 값을 하나의 객체로 인식하고,
    상기 인식한 객체에 포함된 직선을 검출하며,
    수평을 기준으로 상기 검출된 직선의 기울어진 각도를 산출하고,
    상기 기울어진 각도만큼 상기 인식한 객체를 회전시키며,
    상기 회전시킨 객체의 해상도를 보정하고,
    구조요소를 이용하여 상기 영상에 존재하는 연결요소의 모양을 조작하는 기법인 모폴로지(morphology) 기법을 통해, 상기 해상도가 보정된 객체 내의 텍스트(text)를 부각하며,
    상기 카메라를 통해 획득된 영상과 상기 텍스트가 부각된 객체를 비교함으로써, 상기 객체 내의 텍스트를 추출하는 제어부;를 포함하되,
    상기 제어부는,
    상기 구조요소를 상기 해상도를 보정한 객체와 관련된 영상에 적용하여, 상기 하이 값이 부여된 지점이 부각되도록 함으로써, 상기 해상도가 보정된 객체 내의 텍스트(text)를 부각시키고,
    상기 카메라를 통해 획득된 영상 내에 존재하는 복수의 텍스트를 여백을 이용하여 분리하고, 상기 분리된 복수의 텍스트와 상기 텍스트가 부각된 객체를 비교하며, 상기 텍스트가 부각된 객체에서 상기 분리된 복수의 텍스트와 유사도가 높은 텍스트를 추출함으로써, 상기 객체 내의 텍스트를 추출하는 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 장치.
  12. 제 11항에 있어서,
    상기 가중치가 부여된 색상은 그린(GREEN)이고,
    상기 제어부는,
    상기 미리 설정된 임계값 이상으로 밝은 지점에 하이 값을 부여하고, 상기 미리 설정된 임계값 미만으로 밝은 지점에 로우 값을 부여하는 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 장치.
  13. 제 11항에 있어서,
    상기 인식한 객체는, 복수이고, 차량과 관련된 안내 표지판인 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 장치.
  14. 제 11항에 있어서,
    상기 제어부는,
    허프 변환(Hough Transformation)을 이용하여 상기 직선을 검출하고,
    상기 회전시킨 객체와 관련된 영상을 푸리에 변환(Fourier Transform)시켜 주파수 스펙트럼을 획득하고, 상기 획득한 주파수 스펙트럼을 LPF(Low Pass Filter)에 통과시키며, 상기 LPF를 통과한 주파수 스펙트럼을 푸리에 역변환(Inverse Fourier Transform)시켜 상기 회전시킨 객체와 관련된 영상을 복구하여 상기 회전시킨 객체의 해상도를 보정하는 것을 특징으로 하는 안내 표지판 내의 거리 정보 습득 장치.
  15. 삭제
  16. 삭제
  17. 외부로부터 운행과 관련된 제 1 정보를 수신하는 무선통신부;
    제 11항 내지 제 14항 중 어느 한 항에 따라 상기 객체 내의 텍스트를 추출하는 안내 표지판 내의 거리 정보 습득 장치; 및
    상기 제 1 정보와 상기 추출한 텍스트를 이용하여 운행을 결정하는 제어부;를 포함하는 자율주행차량.
KR1020170011214A 2017-01-24 2017-01-24 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법 KR101944607B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170011214A KR101944607B1 (ko) 2017-01-24 2017-01-24 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170011214A KR101944607B1 (ko) 2017-01-24 2017-01-24 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180087532A KR20180087532A (ko) 2018-08-02
KR101944607B1 true KR101944607B1 (ko) 2019-02-01

Family

ID=63251545

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170011214A KR101944607B1 (ko) 2017-01-24 2017-01-24 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101944607B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544508A (zh) * 2018-10-22 2019-03-29 塔特工业科技(珠海)有限公司 一种吸气片外观检测方法
CN110488823B (zh) * 2019-08-15 2021-12-21 华南理工大学 一种新型智能巡线小车控制方法
CN112819905A (zh) * 2021-01-19 2021-05-18 广东美她实业投资有限公司 基于智能耳机的远光灯自动识别方法、设备及存储介质
KR102530222B1 (ko) * 2021-03-17 2023-05-09 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
CN117078913B (zh) * 2023-10-16 2024-02-02 第六镜科技(成都)有限公司 对象倾斜矫正方法、装置、电子设备和存储介质
CN117590444B (zh) * 2024-01-16 2024-04-12 深圳市奇果物联科技有限公司 基于资产货物定位信息的实时追踪方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024051A (ja) * 2009-07-16 2011-02-03 Canon Inc 画像処理装置および画像処理方法
KR101409340B1 (ko) * 2013-03-13 2014-06-20 숭실대학교산학협력단 교통 표지 인식 방법 및 그 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100403741B1 (ko) 2001-09-07 2003-10-30 도원텔레콤 주식회사 영상검지기를 이용한 교통정보시스템 및 그 방법
KR100533033B1 (ko) * 2003-07-28 2005-12-02 엘지전자 주식회사 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
KR100839578B1 (ko) 2006-12-08 2008-06-19 한국전자통신연구원 영상기반 경로안내를 제어하는 차량 항법 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024051A (ja) * 2009-07-16 2011-02-03 Canon Inc 画像処理装置および画像処理方法
KR101409340B1 (ko) * 2013-03-13 2014-06-20 숭실대학교산학협력단 교통 표지 인식 방법 및 그 시스템

Also Published As

Publication number Publication date
KR20180087532A (ko) 2018-08-02

Similar Documents

Publication Publication Date Title
KR101944607B1 (ko) 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법
US10678257B2 (en) Generating occlusion-aware bird eye view representations of complex road scenes
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11127373B2 (en) Augmented reality wearable system for vehicle occupants
US20210357670A1 (en) Driver Attention Detection Method
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
KR101359660B1 (ko) 헤드업 디스플레이를 위한 증강현실 시스템
US20230400913A1 (en) Virtual models for communications between user devices and external observers
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
KR20200082109A (ko) 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템
WO2019097762A1 (ja) 重畳画像表示装置及びコンピュータプログラム
US11148594B2 (en) Apparatus and method for around view monitoring using lidar
CN108831176A (zh) 交通标识的观测方法、装置、系统、设备和介质
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
Anderson et al. Feasibility study on the utilization of microsoft hololens to increase driving conditions awareness
KR101935853B1 (ko) 라이다 및 레이더를 이용한 나이트 비전 시스템
KR101373855B1 (ko) 번호인식기술을 활용한 과속감지 및 단속시스템
KR102446387B1 (ko) 전자 장치 및 그의 텍스트 제공 방법
KR102169885B1 (ko) 열에너지 정보를 표시하는 나이트 비전 시스템 및 그 제어방법
KR102169884B1 (ko) 나이트 비젼 시스템
CN116249576A (zh) 动态处理影像的系统及方法
CN113221756A (zh) 交通标志检测方法及相关设备
JP2019087259A (ja) 重畳画像表示装置及びコンピュータプログラム
Grewei et al. Traffic light detection and intersection crossing using mobile computer vision
Grewei et al. blindBike: an assistive bike navigation system for low-vision persons

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right