KR101382798B1 - 차량의 카메라를 이용한 지도 생성 장치 및 방법 - Google Patents

차량의 카메라를 이용한 지도 생성 장치 및 방법 Download PDF

Info

Publication number
KR101382798B1
KR101382798B1 KR1020120126690A KR20120126690A KR101382798B1 KR 101382798 B1 KR101382798 B1 KR 101382798B1 KR 1020120126690 A KR1020120126690 A KR 1020120126690A KR 20120126690 A KR20120126690 A KR 20120126690A KR 101382798 B1 KR101382798 B1 KR 101382798B1
Authority
KR
South Korea
Prior art keywords
vehicle
driving
map
view
trajectory
Prior art date
Application number
KR1020120126690A
Other languages
English (en)
Inventor
유제훈
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120126690A priority Critical patent/KR101382798B1/ko
Application granted granted Critical
Publication of KR101382798B1 publication Critical patent/KR101382798B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 차량의 카메라를 이용한 지도 생성 장치 및 방법에 관한 것으로, 카메라를 이용한 지도 생성 장치는 차량에 구비된 카메라를 통해 촬영된 주변영상을 뷰 변환한 뷰 변환 영상을 생성하는 뷰 변환부, 상기 차량의 주행상태를 감지하는 센서들에 의해 취득된 센서값에 근거하여 상기 차량의 주행정보를 분석하는 주행정보 분석부, 상기 분석된 주행정보에 근거하여 상기 차량의 주행궤적을 추정하는 주행궤적 추정부, 및 상기 추정된 주행궤적을 기준으로 상기 뷰 변환 영상을 합성하여 지도를 생성하는 지도 생성부를 포함한다.

Description

차량의 카메라를 이용한 지도 생성 장치 및 방법{Apparatus and method for creating map using camera of vehicle}
본 발명은 차량의 카메라를 이용한 지도 생성 장치 및 방법에 관한 것으로, 카메라를 통해 소정 시간 단위로 촬영되는 영상을 이용하여 지도를 생성하는 기술에 관한 것이다.
일반적으로, 지도 시스템 등에 이용되는 지도는 특정 사람이 특정 지역을 돌아다니면서 촬영한 영상을 시스템에서 전체 지도 영상에 부분적으로 합성하여 지도 영상을 제공한다.
하지만, 지도 수집을 위해 사람이 일일이 돌아다니면서 영상을 촬영해야 하므로 번거로우며, 이로 인해 지도 영상을 수시로 업데이트하는 것이 불가능하다. 따라서, 사용자가 지도 서비스를 이용함에 있어서 갱신되지 않은 이전의 지도 영상을 이용함으로써 잘못된 루트로 주행을 하는 경우가 발생하게 된다.
본 발명의 목적은, 이동하는 차량에서 촬영된 영상을 이용하여 실시간으로 지도 영상을 생성함으로써 광역 지도 생성이 용이하도록 한 차량의 카메라를 이용한 지도 생성 장치 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 이동하는 차량에서 촬영된 영상을 이용해 생성된 지도 영상을 실시간으로 외부의 지도 시스템에 업로드함으로써, 사용자가 실시간으로 갱신된 지도 서비스를 이용하도록 하는 차량의 카메라를 이용한 지도 생성 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 차량의 카메라를 이용한 지도 생성 장치는, 차량에 구비된 카메라를 통해 촬영된 주변영상을 뷰 변환한 뷰 변환 영상을 생성하는 뷰 변환부, 상기 차량의 주행상태를 감지하는 센서들에 의해 취득된 센서값에 근거하여 상기 차량의 주행정보를 분석하는 주행정보 분석부, 상기 분석된 주행정보에 근거하여 상기 차량의 주행궤적을 추정하는 주행궤적 추정부, 및
상기 추정된 주행궤적을 기준으로 상기 뷰 변환 영상을 합성하여 지도를 생성하는 지도 생성부를 포함하는 것을 특징으로 한다.
상기 주행궤적 추정부는, 상기 차량의 저속 주행 모델 및 고속 주행 모델에 상기 센서값을 적용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 한다.
상기 차량의 저속 주행 모델은, 상기 차량의 휠속센서 및 조향각센서의 센서값을 이용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 한다.
상기 차량의 고속 주행 모델은, 상기 차량의 각속도센서 및 횡/종 가속도센서의 센서값을 이용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 한다.
상기 지도 생성부는, 상기 추정된 주행궤적에 따라 대응하는 위치의 뷰 변환 영상들을 배열하고, 상기 뷰 변환 영상들로부터 인식된 특징점들을 연결하여 상기 뷰 변환 영상들을 하나의 지도 영상으로 합성하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 차량의 카메라를 이용한 지도 생성 방법은, 차량에 구비된 카메라를 통해 촬영된 주변영상을 뷰 변환한 뷰 변환 영상을 생성하는 단계, 상기 차량의 주행상태를 감지하는 센서들에 의해 취득된 센서값에 근거하여 상기 차량의 주행정보를 분석하는 단계, 상기 분석된 주행정보에 근거하여 상기 차량의 주행궤적을 추정하는 단계, 및 상기 추정된 주행궤적을 기준으로 상기 뷰 변환 영상을 합성하여 지도를 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 차량의 주행궤적을 추정하는 단계는, 상기 차량의 저속 주행 모델 및 고속 주행 모델에 상기 센서값을 적용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 한다.
상기 차량의 저속 주행 모델은, 상기 차량의 휠속센서 및 조향각센서의 센서값을 이용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 한다.
상기 차량의 고속 주행 모델은, 상기 차량의 각속도센서 및 횡/종 가속도센서의 센서값을 이용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 한다.
상기 지도를 생성하는 단계는, 상기 추정된 주행궤적에 따라 대응하는 위치의 뷰 변환 영상들을 배열하는 단계, 상기 뷰 변환 영상들의 특징점을 인식하는 단계, 및 상기 뷰 변환 영상들로부터 인식된 특징점들을 연결하여 상기 뷰 변환 영상들을 하나의 지도 영상으로 합성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 이동하는 차량에서 촬영된 영상을 이용하여 실시간으로 지도 영상을 생성함으로써 지역의 영상 수집을 위해 사람이 일일이 돌아다니지 않아도 되므로, 광역 지도 생성이 용이하고 편이성이 증대되는 이점이 있다.
또한, 본 발명은, 이동하는 차량에서 촬영된 영상을 이용해 생성된 지도 영상을 실시간으로 외부의 지도 시스템에 업로드함으로써, 사용자가 실시간으로 갱신된 지도 서비스를 이용할 수 있는 이점이 있다.
도 1은 본 발명에 따른 차량의 카메라를 이용한 지도 생성 장치의 구성을 설명하는데 참조되는 도이다.
도 2는 본 발명에 따른 차량의 카메라를 이용한 지도 생성 장치의 구성을 도시한 블록도이다.
도 3은 도 2의 주행궤적 추정부에 대한 세부 구성을 도시한 블록도이다.
도 4는 본 발명에 따른 차량의 카메라를 이용한 지도 생성 장치에 적용되는 영상 합성 동작을 설명하는데 참조되는 예시도이다.
도 5는 본 발명에 따른 차량의 카메라를 이용한 지도 생성 장치의 지도 생성 동작을 설명하는데 참조되는 예시도이다.
도 6은 본 발명에 따른 차량의 카메라를 이용한 지도 생성 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 차량의 카메라를 이용한 지도 생성 장치의 구성을 설명하는데 참조되는 도이다. 도 1을 참조하면, 본 발명에 따른 차량(10)의 카메라를 이용한 지도 생성 장치(이하, '지도 생성 장치'라 칭한다)(100)가 적용된 차량(10)은 카메라(11a, 11b)를 구비하여 차량(10) 주변의 주변영상을 촬영한다. 이때, 차량(10)에 구비된 카메라(11a, 11b)를 통해 촬영된 주변영상들은 차량(10)에 구현된 지도 생성 장치(100)로 전달되어, 해당 차량(10)의 주행궤적에 대한 지도를 생성하는데 적용된다. 도 1에서는 카메라(11a, 11b)가 차량(10)의 전방 및 후방에 배치된 것으로 도시하였으나, 차량(10)의 전, 후, 좌, 우 중 적어도 한 곳에 배치될 수도 있다.
또한, 본 발명에 따른 지도 생성 장치(100)가 적용된 차량(10)은 적어도 하나의 센서를 구비하여, 차량(10)이 주행하는 동안의 주행정보를 감지한다. 이때, 각 센서들에 의해 감지된 주행정보는 차량(10)에 구현된 지도 생성 장치(100)로 전달되어 지도 생성을 위해 차량(10)의 주행궤적을 추정하는데 적용된다.
이에, 지도 생성 장치(100)에 대한 구체적인 구성 설명은 도 2의 실시예를 참조하도록 한다.
도 2는 본 발명에 따른 차량의 카메라를 이용한 지도 생성 장치의 구성을 도시한 블록도이다. 도 2를 참조하면, 본 발명에 따른 지도 생성 장치(100)는 제어부(110), 영상 취득부(120), 센서값 취득부(130), 출력부(140), 통신부(150), 저장부(160), 뷰 변환부(170), 주행정보 분석부(180), 주행궤적 추정부(190) 및 지도 생성부(200)를 포함한다. 여기서, 제어부(110)는 지도 생성 장치(100)의 각 부의 동작을 제어한다.
영상 취득부(120)는 차량에 구비된 카메라(11)와 연결되어, 카메라(11)로부터 촬영되는 주변영상을 취득한다. 이때, 카메라는 차량의 전, 후, 좌 및 우 중 적어도 한 방향에 배치된 카메라를 포함할 수 있으며, 특히 영상 취득부(120)는 차량의 전, 후 방향에 배치된 카메라로부터 촬영된 주변영상을 취득하도록 한다.
한편, 영상 취득부(120)는 차량에 AVM 시스템이 구비된 경우, AVM 시스템과 연결되어 AVM 시스템에 의해 생성된 탑 뷰 영상을 취득할 수도 있다.
센서값 취득부(130)는 차량에 구비어 차량의 주행정보를 감지하는 적어도 하나의 센서(15)와 연결되어, 적어도 하나의 센서(15)로부터 감지되는 센서값을 취득한다. 여기서, 센서(15)는 휠속센서, 조향각센서, 요레이트(Yaw-rate)센서 및 횡/종 가속도센서 등을 포함할 수 있다.
출력부(140)는 지도 생성 장치(100)의 동작 상태를 출력하는 수단으로서, 모니터, 내비게이션 화면 등과 같은 표시수단과 스피커 등과 같은 음성출력수단 등을 포함할 수 있다. 또한, 출력부(140)는 영상 취득부(120)에 의해 취득된 주변영상 및 센서값 취득부(130)에 의해 취득된 주행정보 등을 출력할 수 있으며, 지도 생성부(200)에 의해 생성된 지도 정보를 표시할 수 있다.
통신부(150)는 인터넷 연결을 위한 통신 인터페이스를 지원하는 통신모듈을 포함한다. 이때, 통신부(150)는 인터넷을 통해 중앙서버, 주차시스템 등과 연결되어 지도 생성부(200)에 생성된 지도 정보를 업로드 할 수 있다. 여기서, 통신부(150)는 실시 형태에 따라 생략될 수 있다.
저장부(160)는 본 발명에 따른 지도 생성 장치(100)의 동작을 위한 설정값이 저장되며, 영상 취득부(120)에 의해 취득된 주변영상 및 센서값 취득부(130)에 의해 취득된 센서값 등이 저장될 수 있다. 또한, 저장부(160)는 뷰 변환부(170)에 의해 뷰 변환된 탑 뷰 영상, 주행정보로부터 추정된 주행궤적 및 지도 정보 등이 저장될 수 있다.
뷰 변환부(170)는 영상 취득부(120)에 의해 취득된 주변영상들을 뷰 변환한 뷰 변환 영상을 생성한다. 여기서, 뷰 변환 영상은 탑 뷰 영상인 것으로 한다. 만일, 영상 취득부(120)에서 AVM 시스템으로부터 탑 뷰 영상을 취득하는 경우 영상 변환부(170)는 생략될 수 있다.
주행정보 분석부(180)는 차량의 주행상태를 감지하는 센서들에 의해 취득된 센서값에 근거하여 차량의 주행정보를 분석한다. 일 예로서, 차량에 구비된 휠속센서, 조향각센서, 요레이트센서 및 횡/종 가속도센서와 GPS 모듈 등으로부터 감지된 센서값에 근거하여 차량의 주행방향, 주행속도 등을 분석한다.
주행궤적 추정부(190)는 주행정보 분석부(180)에 의해 분석된 주행정보에 근거하여 차량의 주행궤적을 추정한다. 여기서, 주행궤적 추정부(190)는 차량의 저속 주행 모델 및 고속 주행 모델에 센서값을 적용하여 차량의 주행궤적을 추정한다. 주행궤적 추정부(190)에 대해서는 도 3의 실시예를 통해 보다 상세히 설명하도록 한다.
지도 생성부(200)는 주행궤적 추정부(190)에 의해 추정된 주행궤적을 기준으로 뷰 변환부(170)로부터의 뷰 변환 영상을 합성하여 지도를 생성한다.
일 예로서, 지도 생성부(200)는 추정된 주행궤적 상에서 주변영상이 취득된 위치에, 해당되는 뷰 변환 영상을 정렬하여 배치한다. 이때, 주행궤적 상에 배치된 뷰 변환 영상들이 서로 겹쳐져서 배치될 수 있다. 지도 생성부(200)는 주행궤적 상에 배치된 뷰 변환 영상들의 세부 위치를 조정하고, 세부 위치 조정된 각 뷰 변환 영상들을 합성하여 하나의 지도를 생성한다.
지도 생성부(200)는 위치기반의 이미지 스티칭(Image Stitching) 알고리즘을 적용하여 주행궤적 상에 배치된 각 뷰 변환 영상들을 하나의 지도 영상으로 생성할 수 있다. 여기서, 이미지 스티칭 알고리즘은 중복 영역이 있는 여러 영상들의 특징점을 인식하고, 각 특징점들을 연결하여 하나의 전체 영상을 생성하는 영상 처리 알고리즘이다.
도 3은 도 2의 주행궤적 추정부에 대한 세부 구성을 도시한 블록도이다. 도 3을 참조하면, 주행궤적 추정부(190)는 저속 주행 모델(191) 및 고속 주행 모델(193)이 구비된다.
저속 주행 모델(191)은 휠속센서 및 조향각 센서의 센서값을 이용하여 차량의 주행궤적을 추정한다. 이때, 저속 주행 모델(191)은 데드 레커닝(Dead Reckoning) 알고리즘을 적용하여 저속 주행 시의 차량의 주행궤적을 추정한다. 여기서, 데드 레커닝 알고리즘은 차량에 구비된 센서를 이용해 주행궤적을 추정하는 알고리즘으로서, 차량이 저속으로 주행하는 경우에 휠속센서의 teeth수와 조향각센서를 통한 조향각을 이용해 차량의 궤적을 추정한다.
고속 주행 모델(193)은 차량의 각속도센서 및 횡/종 가속도센서의 센서값을 이용하여 차량의 주행궤적을 추정한다. 이때, 고속 주행 모델(193)은 관성항법시스템(Inertial Navigation System)을 적용하여 고속 주행 시의 차량의 주행궤적을 추정한다. 여기서, 관성항법시스템은 차량이 고속으로 주행하는 경우 관성에 의해 조향각 방향으로 진행하지 않는 특성을 이용하여 관성과 조향각의 합벡터를 이용해 주행속도, 방향 및 궤적을 추정하는 기술이다.
이때, 차량이 고속으로 주행하는 경우 데드 레커닝 알고리즘을 적용하면 오차가 누적되어 부정확해지는 것을 방지하기 위해 저속으로 주행하는 경우와 고속으로 주행하는 경우에 서로 다른 알고리즘을 적용하여 차량의 주행궤적을 추정한다.
주행궤적 추정부(190)는 칼만필터(Kalman Filter)(195)를 추가로 포함할 수 있다. 이때, 칼만필터(195)는 저속 주행 모델(191)에 의한 주행궤적과 고속 주행 모델(193)에 의한 주행궤적을 결합하여 필터링함으로써 최종 추정된 주행궤적정보를 출력한다.
도 4는 본 발명에 따른 차량의 카메라를 이용한 지도 생성 장치에 적용되는 영상 합성 동작을 설명하는데 참조되는 예시도이다.
도 4를 참조하면, 지도 생성 장치는 각 영상들의 특징점을 인식하고, 각 영상들 간에 동일한 특징점을 갖는 영상들이 서로 겹쳐지도록 배치하여 하나의 지도 영상으로 합성한다.
이때, 도 4에 도시된 복수 개의 영상들(I1, I2, I3, I4, I5, I6)은 위치 이동에 따라 소정 간격으로 촬영된 영상으로서, I1은 I2 및 I3과 일부 영역이 겹쳐지며, I2는 I1 및 I3과 일부 영역이 겹쳐지고, I3은 I1, I2 및 I4와 일부 영역이 겹쳐지고, I4는 I3 및 I5와 일부 영역이 겹쳐지고, I5는 I4 및 I6과 일부 영역이 겹쳐지고, 마지막으로 I6은 I4 및 I5와 일부 영역이 겹쳐진다.
이로부터 복수 개의 영상들(I1, I2, I3, I4, I5, I6)이 결합된 파노라마 영상을 생성하고, 이때 생성된 파노라마 영상을 지도 영상으로 적용한다.
도 5는 본 발명에 따른 차량의 카메라를 이용한 지도 생성 장치의 지도 생성 동작을 설명하는데 참조되는 예시도이다.
도 5를 참조하면, 지도 생성 장치는 (a)와 같이 차량(10)에 구비된 카메라(11a, 11b)로부터 촬영된 주변영상들과, (b)와 같이 차량(10)에 구비된 센서들로부터 취득된 센서값을 이용해 추정된 주행궤적을 융합하여 (d)와 같은 하나의 지도 영상을 생성한다.
이때, 지도 생성 장치는 (c)와 같이, (b)에서 추정된 주행괘정 상에서 각 주변영상이 촬영된 위치에 뷰 변환 영상들을 배치하고, 주행궤적을 따차 배치된 뷰 변환 영상들의 특성값에 따라 각 뷰 변환 영상들에서 특성값이 일치하는 영역을 결합함으로써, (d)와 같이 완성된 하나의 지도 영상을 생성하게 된다.
이 경우, 정해진 위치에 대해 지도를 생성하는 것이 아니라, 차량(10)이 이동하는 위치에서의 주행궤적을 중심으로 지도 영상을 생성하는 것이기 때문에 특정 지력 뿐만 아니라, 광역 지도를 생성하는데 유용하게 쓰이게 된다.
상기와 같이 구성되는 본 발명에 따른 차량(10)의 카메라를 이용한 지도 생성 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 6은 본 발명에 따른 차량의 카메라를 이용한 지도 생성 방법에 대한 동작 흐름을 도시한 순서도이다. 도 6을 참조하면, 본 발명에 따른 지도 생성 장치는 차량에 구비된 카메라로부터 주변 영상을 취득하고(S100), 'S100' 과정에서 취득된 주변 영상을 지도 영상에 적용하기 위한 탑 뷰 영상으로 뷰 변환한다(S110).
또한, 지도 생성 장치는 차량에 구비된 센서들로부터 감지된 센서값에 근거하여 차량의 주행정보를 취득하고(S120), 'S120' 과정에서 취득된 주행 정보를 이용하여 차량의 주행궤적을 추정한다(S130). 이때, 'S130' 과정에서 주행궤적을 추정하는 방법은 도 3의 실시예에 대한 설명을 참조하도록 한다.
이후, 지도 생성 장치는 'S130' 과정에서 추정된 주행궤적을 기준으로 'S110' 과정에서의 뷰 변환 영상을 합성하여 지도 영상을 생성하고(S140), 'S140' 과정에서 생성된 지도 영상을 저장한다(S150). 이때, 'S150' 과정에서 저장된 지도 영상을 추후 필요에 따라 수시로 호출되어 차량의 내비게이션 시스템 등에 이용될 수 있으며, 통신모듈을 통해 외부의 시스템으로 전송하여 여러 방면으로 활용될 수 있다.
이상과 같이 본 발명에 의한 차량의 카메라를 이용한 지도 생성 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
10: 차량 11, 11a, 11b: 카메라
15: 센서 100: 지도 생성 장치
110: 제어부 120: 영상 취득부
130: 센서값 취득부 140: 출력부
150: 통신부 160: 저장부
170: 뷰 변환부 180: 주행정보 분석부
190: 주행궤적 추정부 191: 저속 주행 모델
193: 고속 주행 모델 195: 칼만필터(Kalman Filter)
200: 지도 생성부

Claims (10)

  1. 차량에 구비된 카메라를 통해 촬영된 주변영상을 뷰 변환한 뷰 변환 영상을 생성하는 뷰 변환부;
    상기 차량의 주행상태를 감지하는 센서들에 의해 취득된 센서값에 근거하여 상기 차량의 주행정보를 분석하는 주행정보 분석부;
    상기 분석된 주행정보에 근거하여 상기 차량의 주행속도에 따른 주행궤적을 추정하는 주행궤적 추정부; 및
    상기 추정된 주행궤적을 기준으로 상기 뷰 변환 영상을 합성하여 지도를 생성하는 지도 생성부를 포함하며,
    상기 주행궤적 추정부는, 상기 차량의 주행속도에 따라 서로 다른 알고리즘을 적용하여 주행궤적을 추정하는 것을 특징으로 하는 차량의 카메라를 이용한 지도 생성 장치.
  2. 청구항 1에 있어서,
    상기 주행궤적 추정부는,
    상기 차량의 저속 주행 모델 및 고속 주행 모델에 상기 센서값을 적용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 하는 차량의 카메라를 이용한 지도 생성 장치.
  3. 청구항 2에 있어서,
    상기 차량의 저속 주행 모델은,
    상기 차량의 휠속센서 및 조향각센서의 센서값을 이용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 하는 차량의 카메라를 이용한 지도 생성 장치.
  4. 청구항 2에 있어서,
    상기 차량의 고속 주행 모델은,
    상기 차량의 각속도센서 및 횡/종 가속도센서의 센서값을 이용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 하는 차량의 카메라를 이용한 지도 생성 장치.
  5. 청구항 1에 있어서,
    상기 지도 생성부는,
    상기 추정된 주행궤적에 따라 대응하는 위치의 뷰 변환 영상들을 배열하고, 상기 뷰 변환 영상들로부터 인식된 특징점들을 연결하여 상기 뷰 변환 영상들을 하나의 지도 영상으로 합성하는 것을 특징으로 하는 차량의 카메라를 이용한 지도 생성 장치.
  6. 차량에 구비된 카메라를 통해 촬영된 주변영상을 뷰 변환한 뷰 변환 영상을 생성하는 단계;
    상기 차량의 주행상태를 감지하는 센서들에 의해 취득된 센서값에 근거하여 상기 차량의 주행정보를 분석하는 단계;
    상기 분석된 주행정보에 근거하여 상기 차량의 주행속도에 따라 주행궤적을 추정하는 단계; 및
    상기 추정된 주행궤적을 기준으로 상기 뷰 변환 영상을 합성하여 지도를 생성하는 단계를 포함하며,
    상기 주행궤적을 추정하는 단계는, 상기 차량의 주행속도에 따라 서로 다른 알고리즘을 적용하여 주행궤적을 추정하는 것을 특징으로 하는 차량의 카메라를 이용한 지도 생성 방법.
  7. 청구항 6에 있어서,
    상기 차량의 주행궤적을 추정하는 단계는,
    상기 차량의 저속 주행 모델 및 고속 주행 모델에 상기 센서값을 적용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 하는 차량의 카메라를 이용한 지도 생성 방법.
  8. 청구항 7에 있어서,
    상기 차량의 저속 주행 모델은,
    상기 차량의 휠속센서 및 조향각센서의 센서값을 이용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 하는 차량의 카메라를 이용한 지도 생성 방법.
  9. 청구항 7에 있어서,
    상기 차량의 고속 주행 모델은,
    상기 차량의 각속도센서 및 횡/종 가속도센서의 센서값을 이용하여 상기 차량의 주행궤적을 추정하는 것을 특징으로 하는 차량의 카메라를 이용한 지도 생성 방법.
  10. 청구항 6에 있어서,
    상기 지도를 생성하는 단계는,
    상기 추정된 주행궤적에 따라 대응하는 위치의 뷰 변환 영상들을 배열하는 단계;
    상기 뷰 변환 영상들의 특징점을 인식하는 단계; 및
    상기 뷰 변환 영상들로부터 인식된 특징점들을 연결하여 상기 뷰 변환 영상들을 하나의 지도 영상으로 합성하는 단계를 포함하는 것을 특징으로 하는 차량의 카메라를 이용한 지도 생성 방법.
KR1020120126690A 2012-11-09 2012-11-09 차량의 카메라를 이용한 지도 생성 장치 및 방법 KR101382798B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120126690A KR101382798B1 (ko) 2012-11-09 2012-11-09 차량의 카메라를 이용한 지도 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120126690A KR101382798B1 (ko) 2012-11-09 2012-11-09 차량의 카메라를 이용한 지도 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101382798B1 true KR101382798B1 (ko) 2014-04-08

Family

ID=50656980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120126690A KR101382798B1 (ko) 2012-11-09 2012-11-09 차량의 카메라를 이용한 지도 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101382798B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062876A (ko) * 2017-11-29 2019-06-07 현대자동차주식회사 영상 처리 장치 및 그의 영상 압축 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252577A (ja) * 2006-05-11 2006-09-21 Nippon Soken Inc 地図データ生成装置
KR20070028824A (ko) * 2005-09-08 2007-03-13 (주)픽쳐맵인터내셔날 지도 현장조사 시스템 및 그 동작방법
KR20120030162A (ko) * 2009-08-03 2012-03-27 아이신세이끼가부시끼가이샤 차량주변화상생성장치
JP2012155516A (ja) * 2011-01-26 2012-08-16 Hitachi Automotive Systems Ltd 車両挙動記録システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070028824A (ko) * 2005-09-08 2007-03-13 (주)픽쳐맵인터내셔날 지도 현장조사 시스템 및 그 동작방법
JP2006252577A (ja) * 2006-05-11 2006-09-21 Nippon Soken Inc 地図データ生成装置
KR20120030162A (ko) * 2009-08-03 2012-03-27 아이신세이끼가부시끼가이샤 차량주변화상생성장치
JP2012155516A (ja) * 2011-01-26 2012-08-16 Hitachi Automotive Systems Ltd 車両挙動記録システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062876A (ko) * 2017-11-29 2019-06-07 현대자동차주식회사 영상 처리 장치 및 그의 영상 압축 방법
KR102417902B1 (ko) 2017-11-29 2022-07-07 현대자동차주식회사 영상 처리 장치 및 그의 영상 압축 방법

Similar Documents

Publication Publication Date Title
US20210012520A1 (en) Distance measuring method and device
JP7052174B2 (ja) 将来経路を推定するシステム及び方法
US10452926B2 (en) Image capture device with customizable regions of interest
KR101896715B1 (ko) 주변차량 위치 추적 장치 및 방법
US10845198B2 (en) Integrated vision-based and inertial sensor systems for use in vehicle navigation
EP2485203B1 (en) Vehicle-surroundings monitoring device
US20200160069A1 (en) System and method for vehicle localization
US10508911B2 (en) Apparatus and method for measurement, and program
CN105931275A (zh) 基于移动端单目和imu融合的稳定运动跟踪方法和装置
KR20210118119A (ko) 차량 센서들 및 카메라 어레이들로부터의 구조화된 지도 데이터의 생성
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2015145543A1 (ja) 物体検出装置、物体検出方法、および移動ロボット
JP6699761B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
KR20200096518A (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
JP6306735B2 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
JP2019016188A (ja) 移動体遠隔操作システムおよび移動体遠隔操作方法
CN111886854B (zh) 曝光控制装置、曝光控制方法、程序、成像装置和移动体
KR20150128140A (ko) 어라운드 뷰 시스템
JP2002104117A (ja) 車両用運転支援システム
KR101382798B1 (ko) 차량의 카메라를 이용한 지도 생성 장치 및 방법
JP2019087969A (ja) 走行現調支援装置
CN102426703B (zh) 车载全景影像采集平台的航向和俯仰角速度获取方法
JP2007304841A (ja) 交通監視装置
JP4257219B2 (ja) 走行軌跡記録装置および走行軌跡記録方法
KR101704602B1 (ko) 이동기기의 가이드 정보 표시 장치 및 그의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 6