KR20120105761A - 외부 환경 가시화 장치 및 그 방법 - Google Patents

외부 환경 가시화 장치 및 그 방법 Download PDF

Info

Publication number
KR20120105761A
KR20120105761A KR1020110023396A KR20110023396A KR20120105761A KR 20120105761 A KR20120105761 A KR 20120105761A KR 1020110023396 A KR1020110023396 A KR 1020110023396A KR 20110023396 A KR20110023396 A KR 20110023396A KR 20120105761 A KR20120105761 A KR 20120105761A
Authority
KR
South Korea
Prior art keywords
image
distance value
external environment
unit
reflecting
Prior art date
Application number
KR1020110023396A
Other languages
English (en)
Inventor
이재영
채희성
박승환
유원필
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110023396A priority Critical patent/KR20120105761A/ko
Priority to US13/351,374 priority patent/US20120236287A1/en
Publication of KR20120105761A publication Critical patent/KR20120105761A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 여러 방향을 바라보고 있는 여러 대의 카메라에서 입수된 영상을 정합하고 이에 거리 정보를 융합한 후 증강현실 기법을 이용하여 이동체를 기준으로 주변 환경을 가시화하여 사용자에게 제공한다. 특히, 본 발명은 여러 방향의 영상을 정합하며, 여기에 거리 정보를 더하여 정확도를 향상시키며, 이동체를 중심으로 영상을 표시하는 가시화 방법을 사용한다.

Description

외부 환경 가시화 장치 및 그 방법 {Apparatus and method for visualizating external environment}
본 발명은 외부 환경을 가시화하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 자동차나 로봇과 같은 이동체의 외부 환경을 가시화하는 장치 및 방법에 관한 것이다.
자동차와 같은 이동체 내의 사용자는 시야각의 한계 때문에 어떤 한 순간 동안에는 전방 혹은 측방 등 그 당시 주시하고 있던 방향에 대한 시각 정보만을 받아들여 활용할 수 있다. 이는 주변 환경에 대한 조작자의 인식 정보 부족을 야기하고 곧 작업의 효율성 저하나 심각한 사고 발생 가능성을 확대시킨다.
이를 방지하기 위하여 최근에는 후방 및 측방 카메라 등 비전 센서를 활용하여 해당 순간의 관심 영역 영상을 사용자에게 제공하여 조작의 안전성을 확보하는 방법이 사용되고 있다. 특히 일부 고급 차량에서는 측방과 후방 카메라의 영상을 정합하여 차량 주변의 근거리 환경을 top-view 방식으로 비교적 정확하게 보여주는 기능이 장착되어 있기도 하다. 이러한 기능에는 카메라 캘리브레이션, 영상 왜곡 보정 및 정밀 정합 기술 등이 사용된다.
그러나, 실제로 렌즈를 통해 받아들여지는 영상에는 사람이 눈으로 느끼는 바와 같은 거리 정보가 빠져 있으므로 사용자가 그냥 보기에 상당 부분이 왜곡되어 있다. 그래서, 그 상태로는 사용자가 이해하기 어렵다. 더욱이, 이를 해결하기 위해서는 영상 왜곡 보정 및 영상 조작이 필요하며, 여러 대의 카메라에서 받아들이는 정보를 증강현실 기술에 기반을 두어 사용자가 이해하기 쉽도록 보이기 위해서는 영상 정합 기술까지 필요하다.
즉, 비전 센서는 많은 정보를 한 순간에 인식할 수 있으나 스테레오 카메라를 쓰지 않는 상황에서는 거리 정보가 빠져 있으므로 그대로 활용하기 어렵다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 다중 영상 정보와 거리 정보를 융합하여 이동체의 외부 환경을 측정하고 가시화하는 외부 환경 가시화 장치 및 방법을 제안함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 외부 환경에 대한 다중 영상을 획득하는 다중 영상 획득부; 다중 영상에 포함되는 적어도 하나의 영상이 획득될 때, 이 영상에 포함된 적어도 하나의 객체까지의 거리값을 측정하는 거리값 측정부; 거리값이 측정된 영상에 거리값을 반영하는 거리값 반영부; 및 거리값이 반영된 영상을 기초로 다중 영상을 표시하는 다중 영상 표시부를 포함하는 것을 특징으로 하는 외부 환경 가시화 장치를 제안한다.
바람직하게는, 다중 영상 획득부와 거리값 측정부는 외부 환경을 정의하는 기준이 되는 이동체에 장착되거나, 외부 환경 가시화 장치는 이동체에 장착된다.
바람직하게는, 외부 환경 가시화 장치는 기준 영상을 이용하여 획득된 각 영상의 왜곡을 보정하는 영상 보정부; 및 왜곡 보정된 영상들을 정합시키는 영상 정합부를 더욱 포함한다. 더욱 바람직하게는, 다중 영상 표시부는 정합된 영상을 기초로 다중 영상을 표시한다.
바람직하게는, 거리값 측정부는 다중 영상을 구성하는 각각의 영상이 획득될 때마다 거리값을 측정한다.
바람직하게는, 다중 영상 획득부는 서로 다른 위치를 지향하며 지향 위치 또는 지향각의 변경이 가능한 비전 센서들을 포함한다.
또한, 본 발명은 외부 환경에 대한 다중 영상을 획득하는 다중 영상 획득 단계; 다중 영상에 포함되는 적어도 하나의 영상이 획득될 때, 이 영상에 포함된 적어도 하나의 객체까지의 거리값을 측정하는 거리값 측정 단계; 거리값이 측정된 영상에 거리값을 반영하는 거리값 반영 단계; 및 거리값이 반영된 영상을 기초로 다중 영상을 표시하는 다중 영상 표시 단계를 포함하는 것을 특징으로 하는 외부 환경 가시화 방법을 제안한다.
바람직하게는, 다중 영상 획득 단계와 거리값 측정 단계 사이 또는 거리값 측정 단계와 거리값 반영 단계 사이에, 기준 영상을 이용하여 획득된 각 영상의 왜곡을 보정하는 영상 보정 단계; 및 왜곡 보정된 영상들을 정합시키는 영상 정합 단계를 더욱 포함한다. 더욱 바람직하게는, 다중 영상 표시 단계는 정합된 영상을 기초로 다중 영상을 표시한다.
바람직하게는, 거리값 측정 단계는 다중 영상을 구성하는 각각의 영상이 획득될 때마다 거리값을 측정한다.
바람직하게는, 다중 영상 획득 단계는 서로 다른 위치를 지향하며 지향 위치 또는 지향각의 변경이 가능한 비전 센서들을 이용한다.
본 발명은 이동체에 장착되어 이동체 주변 환경을 이해하기 쉽게 나타내는 가시화 장치 및 방법을 제안하고 있다. 본 발명은 비전 센서와 거리 센서를 접목시켜 더 정확한 주변 정보를 입수할 수 있게 하며, 이 정보를 바탕으로 사용자가 쉽게 이해할 수 있는 영상 가시화를 실행하여 정보 제공의 효율성을 높일 수 있다. 더불어, 사용자는 직관적이고 빠르게 주변 환경을 이해하고 이동체의 안전한 조작을 달성할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 외부 환경 가시화 장치를 개략적으로 도시한 블록도이다.
도 2는 본 외부 환경 가시화 장치에 부가되는 구성을 개략적으로 도시한 블록도이다.
도 3은 본 외부 환경 가시화 장치의 일실시 예시도이다.
도 4는 2가지 영상 가시화 방법을 보여주는 개념도이다.
도 5는 이동체에서 본 외부 환경 가시화 장치가 구동되는 상황을 보여주는 개념도이다.
도 6은 본 발명의 바람직한 실시예에 따른 외부 환경 가시화 방법을 도시한 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 외부 환경 가시화 장치를 개략적으로 도시한 블록도이다. 도 2는 본 외부 환경 가시화 장치에 부가되는 구성을 개략적으로 도시한 블록도이다. 이하 설명은 도 1과 도 2를 참조한다.
도 1에 따르면, 외부 환경 가시화 장치(100)는 다중 영상 획득부(110), 거리값 측정부(120), 거리값 반영부(130), 다중 영상 표시부(140), 전원부(150) 및 주제어부(160)를 포함한다.
외부 환경 가시화 장치(100)는 여러 대의 비전 센서가 받아들인 영상 정보에 거리 센서가 측정한 거리 정보를 융합하여 센서가 장착된 이동체 주변의 환경에 대한 정보를 측정하고 이를 사용자가 쉽게 이해할 수 있는 형태로 가시화하여 제공하는 장치이다.
외부 환경 가시화 장치(100)는 외부 환경을 정의하는 기준이 되는 이동체(ex. 자동차, 로봇 등)에 장착되는 것이다. 본 실시예에서는 외부 환경 가시화 장치(100)를 구성하는 구성요소 중에서 다중 영상 획득부(110)와 거리값 측정부(120)만 이동체에 장착되는 것도 가능하다.
다중 영상 획득부(110)는 외부 환경에 대한 다중 영상을 획득하는 기능을 수행한다. 다중 영상 획득부(110)는 후술하는 비전 센서(310)와 동일한 개념이다. 상기에서, 외부 환경(external environment)은 이동체(ex. 자동차, 로봇 등)의 외부 환경을 의미한다.
다중 영상 획득부(110)는 서로 다른 위치를 지향하며 지향 위치 또는 지향각의 변경이 가능한 비전 센서들을 포함할 수 있다. 다중 영상 획득부(110)가 서로 다른 위치를 지향하는 비전 센서들을 포함하면 다중 영상 표시부(140)는 영상 가시화에 매우 유리하며 사람의 시선에 일치되는 영상을 표시할 수가 있다.
거리값 측정부(120)는 다중 영상에 포함되는 적어도 하나의 영상이 획득될 때, 이 영상에 포함된 적어도 하나의 객체까지의 거리값을 측정하는 기능을 수행한다. 거리값 측정부(120)는 다중 영상을 구성하는 각각의 영상이 획득될 때마다 거리값을 측정할 수 있다. 거리값 측정부(120)는 후술하는 거리 센서(330)와 동일한 개념이다.
거리값 반영부(130)는 거리값이 측정된 영상에 거리값을 반영하는 기능을 수행한다. 다중 영상 표시부(140)는 거리값이 반영된 영상을 기초로 다중 영상을 표시하는 기능을 수행한다. 거리값 반영부(130)와 다중 영상 표시부(140)는 후술하는 영상 가시화 장치(340)와 동일한 개념이다.
전원부(150)는 외부 환경 가시화 장치(100)를 구성하는 각 부에 전원을 공급하는 기능을 수행한다.
주제어부(160)는 외부 환경 가시화 장치(100)를 구성하는 각 부의 전체 작동을 제어하는 기능을 수행한다.
외부 환경 가시화 장치(100)는 도 2에 도시된 바와 같이 영상 보정부(170)와 영상 정합부(180)를 더욱 포함할 수 있다.
영상 보정부(170)는 기준 영상을 이용하여 획득된 각 영상의 왜곡을 보정하는 기능을 수행한다. 영상 정합부(180)는 왜곡 보정된 영상들을 정합시키는 기능을 수행한다. 영상 보정부(170)와 영상 정합부(180)는 후술하는 영상 보정 및 정합 장치(320)와 동일한 개념이다. 상기에서, 기준 영상으로 동일 외부 환경에 대해 미리 획득된 영상이 그 대상이 될 수 있다. 또는, 기준 영상으로 획득된 다중 영상 중에서 선택된 영상이 그 대상이 되는 것도 가능하다.
다중 영상 표시부(140)는 정합된 영상을 기초로 다중 영상을 표시할 수 있다. 이때, 다중 영상 표시부(140)는 거리값을 배제시킨 채 정합된 영상만으로 다중 영상을 표시한다. 본 실시예에서는 거리값 반영부(130)가 정합된 영상에 거리값을 반영시키면 다중 영상 표시부(140)가 이 영상을 기초로 다중 영상을 표시하는 것도 가능하다.
이상 설명한 바와 같이, 외부 환경 가시화 장치(100)는 이동체의 주변 환경에 대한 인식 정확도와 신뢰도를 높이기 위해 영상 정보와 거리 정보를 융합하고 이를 사용자가 쉽게 인식할 수 있도록 가시화하여 제공한다. 외부 환경 가시화 장치(100)는 종래와 달리 이동체의 주변 환경 인식에 사용되는 영상 정보들의 단점을 거리 정보를 사용하여 보완하고, 보다 정확하고 쉽게 주변 환경에 대한 정보를 인식할 수 있도록 영상을 가시화한다.
다음으로, 이러한 외부 환경 가시화 장치(100)를 일실시예를 들어 설명한다. 도 3은 본 외부 환경 가시화 장치의 일실시 예시도이다. 이하 설명은 도 3을 참조한다.
다중 영상 정보와 거리 정보를 융합하여 이동체의 외부 환경을 측정하고 가시화하는 장치, 즉 외부 환경 가시화 장치는 여러 대의 비전 센서로부터 입력된 영상 정보를 보정하고 정합한 후 사용자의 요청에 따라 거리 정보를 융합하여 가시화를 시행한다. 본 실시예에서 외부 환경 가시화 장치는 정합된 영상만에 대한 가시화를 시행하는 것도 가능하다.
외부 환경 가시화 장치는 도 3에 도시된 바와 같이 다수개의 비전 센서(310), 영상 보정 및 정합 장치(320), 거리 센서(330), 및 영상 가시화 장치(340)를 포함하는 것을 특징으로 한다.
비전 센서(310)는 영상 정보 입수를 위한 것이다. 영상 보정 및 정합 장치(320)는 입력된 영상의 왜곡을 보정하고 여러 영상을 정합하는 것이다. 거리 센서(330)는 영상 정보의 정확도를 높이기 위해 사용하는 것이다. 영상 가시화 장치(340)는 사용자(350)의 요청에 따라 전환 선택할 수 있는 것이다.
비전 센서(310)란 CCD, CMOS, 기타 수광 소자 등을 사용하여 영상 정보를 입수할 수 있는 장치를 말한다. 일반적으로 많이 사용되는 웹 카메라나 보다 고화질의 카메라 등이 이 장치로 사용될 수 있다. 입수하고자 하는 환경 정보는 이동체 기준 360도 전방향의 정보이므로 최소한 2대 이상의 비전 센서가 사용된다. 1대로 전방향의 영상을 볼 수 있는 어안(fish-eye) 타입의 비전 센서도 있으나 이 장치는 일반적으로 보는 형태와 다른 영상 정보를 출력하며, 본 발명에서 최종 결과물로 나오는 영상 가시화를 달성하기 어려우므로 2대 이상의 장치를 사용한다.
현재 차량 등에서 활용되고 있는 환경 영상 재생 장치의 경우 후방, 좌측방, 우측방 등 3대의 카메라를 사용하고 있다. 카메라는 이동체 내의 미리 정해진 위치에 장착되며 정확한 정보 입수를 위해 미리 정확히 캘리브레이션되어 있어야 한다.
또한, 원거리와 근거리의 영상 정보 입수를 위해 비전 센서(310)를 이동체에 부착시 부착 각도를 상황에 맞게 변형시킬 수 있도록 한다. 이는 비전 센서(310)가 시야 거리를 멀리 할수록 한번에 입수되는 정보는 많지만 해상도가 줄어들고, 시야 거리가 가까울수록 반대의 현상이 일어나기 때문인데, 영상 정보 활용시 주차 등 근거리 정보가 필요할 때는 시야 거리를 줄여 환경 정보의 세밀함을 높이고, 주행시에는 시야 거리를 늘려 가시 영역을 확대하는 것이 유리하다. 부착 각도의 조정 간격은 원거리/근거리의 2가지 경우를 기본으로 하며, 필요할 경우 간격을 늘려 거리에 따른 다양한 정보 활용이 가능하도록 만들 수 있다.
영상 보정 및 정합 장치(320)란 비전 센서(310)에서 입수된 여러 영상을 사용자가 보기 쉽게 보정하고 붙이는 작업을 수행한다. 여기에는 영상 왜곡에 대한 보정을 담당하는 보정 장치와 여러 개의 영상을 오류 없이 통합하는 정합 장치가 있다. 일반적으로 비전 센서(310)에서 출력된 영상 정보는 영상의 중심에서부터 가장자리로 갈수록 약간씩 왜곡이 일어난다. 특히, 넓은 시야각을 가지는 광각 카메라의 경우 그 왜곡 정도가 심해 영상 정보의 해석에 많은 어려움을 줄 수 있다. 그러므로, 입력된 개별 영상 정보는 이후의 처리 과정을 거치기 전에 왜곡을 보정하여 정상적인 영상으로 바뀌어야 한다. 이런 과정을 거친 여러 개의 영상 정보는 각 영상 별로 중복 혹은 연결되는 부분을 적절히 조절하여 사용자가 보기 쉽게 하나의 영상으로 만들어질 수 있다. 이러한 과정을 수행하는 것이 영상 정합 장치이다. 이동체에 비전 센서(310)가 부착되는 위치는 일정하므로 센서가 받아들이는 영상의 가장자리에 대한 위치 정보 즉, 어느 픽셀이 실제 환경에서 어느 지점과 연결되는지에 대한 정보도 미리 정해지게 된다. 이러한 가장자리 정보를 활용하면 영상 정합의 과정을 쉽게 만들 수 있다.
거리 센서(330)는 주변 장애물까지의 거리를 측정하는 것으로서, 영상을 통해 획득된 환경 정보의 정확도를 높이기 위해 사용될 수 있는 초음파, 적외선, 레이저 거리 측정 센서 등을 포함한다. 비록 도 3에는 하나의 거리 센서만 그려져 있으나 용도에 따라 다수의 거리 센서를 사용할 수도 있다. 거리 센서(330)는 정합된 영상을 이동체 기준으로 단순히 재생하는 가시화 작업에는 사용될 필요가 없으며, 2.5D 가상 공간 구현 작업을 수행할 경우에 사용된다.
본 실시예에서 거리 센서(330)는 초음파나 빛을 사용하여 목표 물체까지의 반사 시간을 재는 방식(TOF, Time Of Flight)을 이용할 수 있다. 이에 따라, 거리 센서(330)로 일정 파장의 빛을 사용하는 레이저 거리 센서(Laser Range Finder)를 사용할 수 있다. 레이저는 속도가 빠르고, 먼 거리를 진행해도 빛이 산란되는 정도가 적기 때문에 매우 정확한 거리 측정값을 얻을 수 있으나 가격이 비싸다. 일반적으로 사용되는 레이저 센서는 하나의 레이저 빔을 일정 각도 간격으로 순차적으로 주사하고 반사되는 빛을 감지하여 정해진 범위 내에서 물체까지의 거리를 측정하게 되는데, 이보다 발전된 경우는 여러 개의 레이저 빔을 동시에 사용하여 전방의 모든 물체를 한번의 측정으로 감지할 수 있다.
레이저가 정확도와 비싼 가격을 가지는 데 반하여 초음파 센서는 그와 반대의 특성을 지닌다. 음파의 특성상 거리에 따른 확산 정도가 크기 때문에 먼 거리를 측정하기 적합하지 않으며, 좁은 범위를 정확히 측정하기에도 적합하지 않다. 그러나, 가격이 싸고 다루기 쉬우므로 저가의 응용에 많이 사용된다. 다만, 사용시 환경에 대한 2, 3차 반사로 인한 오류 신호 유입, 다른 센서가 발산한 신호의 감지 등 정확도를 낮추는 다양한 요인에 대한 보상 알고리즘이 필요하다.
영상 가시화 장치(340)란 정합 및 거리 정보와의 융합 과정을 거친 영상 정보를 이동체를 기준으로 하여 사용자에게 보여주는 장치이다. 영상 가시화는 도 4의 (a)와 같이 영상 정보만을 사용하여 하는 경우, 도 4의 (b)와 같이 거리 정보까지 사용하여 2.5D의 가상 공간을 보여주는 경우 등 두가지 방식을 사용하며 사용자가 선택함에 따라 전환 가능하다.
본 발명의 바람직한 실시예가 도 5에 나타나 있다. 도 5는 이동체에서 본 외부 환경 가시화 장치가 구동되는 상황을 보여주는 개념도이다. 이하 설명은 도 5를 참조한다.
전술한 바와 같이 본 발명에서는 환경 정보의 획득을 위한 기본 장치로 비전 센서(310)를 사용한다. 이 경우 비전 센서들의 감지 영역은 이동체를 중심으로 하여 360도 전방향을 포함해야 한다. 또한, 환경 정보의 정확도를 높이기 위해 거리 센서(330)를 사용한다. 거리 센서(330)는 센서의 종류 및 기능에 따라 사용 개수가 정해질 수 있으며, 이 역시 이동체 기준 360도 전방향 영역을 감지할 수 있어야 한다. 비전 센서(310)로부터 입수된 영상 정보는 영상 보정 및 정합 장치(320)에서 처리되고, 거리 센서(330)의 정보와 융합되거나 그 자체로 영상 가시화 장치(340)로 보내진다. 영상 보정 및 정합 장치(320)는 개별 장치로 운용될 수도 있지만 영상 가시화 장치 내에 포함될 수도 있다.
영상 가시화 장치는 이동체 내에 부착될 수 있는 디스플레이 장치를 포함한다. 기본적으로 이동체를 중심으로 한 Top-view 형태로 영상 정보를 보여주는 것이 사용자가 가장 쉽고 빠르게 주변 상황을 이해하도록 만드는 방법이다. 또한, 사용자의 선택에 따라 거리 정보가 포함된 영상 정보를 2.5D 형태로 보여주거나 거리 정보가 포함되지 않은 영상 정보를 바로 보여주게 된다. 2.5D 형태의 가시화를 사용하는 경우 주변 물체에 대한 세밀한 묘사보다는 이동체에 가장 가까운 장애물과의 거리를 기준으로 물체를 단순화시켜 표현하여 충돌 등의 상황 예측이 신속히 이루어지도록 하며, 필요한 경우 사용자가 실사 영상 정보로 전환하여 주변 상황을 좀더 정확하게 확인할 수 있도록 한다.
본 발명은 이동체 기준으로 근거리 반경이나 원거리 반경에서 모두 사용 가능한데, 주차 등 근거리에 주목하여야 하는 경우 비전 센서의 각도를 조절하여 시야 거리를 좁히고 좀더 자세한 주변 정보를 습득 제공할 수 있다. 반면, 고속 주행시에는 시야를 넓혀 먼 거리까지 주변 정보를 습득하되 그 정밀도는 낮추어 빠른 영상 처리가 가능하도록 한다. 어느 경우든지 사용자는 영상 가시화 장치를 이용하여 이동체 주변의 상황을 인지할 수가 있다.
다음으로, 외부 환경 가시화 장치(100)의 외부 환경 가시화 방법에 대해서 설명한다. 도 6은 본 발명의 바람직한 실시예에 따른 외부 환경 가시화 방법을 도시한 흐름도이다. 이하 설명은 도 6을 참조한다.
먼저, 외부 환경에 대한 다중 영상을 획득한다(다중 영상 획득 단계, S600). 다중 영상 획득 단계(S600)는 서로 다른 위치를 지향하며 지향 위치 또는 지향각의 변경이 가능한 비전 센서들을 이용할 수 있다.
다중 영상 획득 단계(S600) 이후, 다중 영상에 포함되는 적어도 하나의 영상이 획득될 때, 이 영상에 포함된 적어도 하나의 객체까지의 거리값을 측정한다(거리값 측정 단계, S610). 거리값 측정 단계(S610)는 다중 영상을 구성하는 각각의 영상이 획득될 때마다 거리값을 측정할 수 있다.
거리값 측정 단계(S610) 이후, 거리값이 측정된 영상에 측정된 거리값을 반영한다(거리값 반영 단계, S620).
이후, 거리값이 반영된 영상을 기초로 다중 영상을 표시한다(다중 영상 표시 단계, S630). 다중 영상 표시 단계(S630)는 정합된 영상을 기초로 다중 영상을 표시할 수 있다.
본 실시예에서는 다중 영상 획득 단계(S600)와 거리값 측정 단계(S610) 사이에 영상 보정 단계와 영상 정합 단계를 수행할 수 있다. 영상 보정 단계는 기준 영상을 이용하여 획득된 각 영상의 왜곡을 보정하는 단계이다. 영상 정합 단계는 왜곡 보정된 영상들을 정합시키는 단계이다. 영상 보정 단계와 영상 정합 단계는 거리값 측정 단계(S610)와 거리값 반영 단계(S620) 사이에 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 자동차나 로봇과 같은 이동체에 장착될 수 있는 것으로서, 자율 주행 기술에 적용될 수 있다. 본 발명은 실외 환경에 강인한 자율 주행 기술 개발에 기여할 수 있다.
100 : 외부 환경 가시화 장치 110 : 다중 영상 획득부
120 : 거리값 측정부 130 : 거리값 반영부
140 : 다중 영상 표시부 150 : 전원부
160 : 주제어부 170 : 영상 보정부
180 : 영상 정합부

Claims (11)

  1. 외부 환경에 대한 다중 영상을 획득하는 다중 영상 획득부;
    상기 다중 영상에 포함되는 적어도 하나의 영상이 획득될 때, 이 영상에 포함된 적어도 하나의 객체까지의 거리값을 측정하는 거리값 측정부;
    상기 거리값이 측정된 영상에 상기 거리값을 반영하는 거리값 반영부; 및
    상기 거리값이 반영된 영상을 기초로 상기 다중 영상을 표시하는 다중 영상 표시부
    를 포함하는 것을 특징으로 하는 외부 환경 가시화 장치.
  2. 제 1 항에 있어서,
    상기 다중 영상 획득부와 상기 거리값 측정부는 상기 외부 환경을 정의하는 기준이 되는 이동체에 장착되거나, 상기 외부 환경 가시화 장치는 상기 이동체에 장착되는 것을 특징으로 하는 외부 환경 가시화 장치.
  3. 제 1 항에 있어서,
    기준 영상을 이용하여 획득된 각 영상의 왜곡을 보정하는 영상 보정부; 및
    왜곡 보정된 영상들을 정합시키는 영상 정합부
    를 더욱 포함하는 것을 특징으로 하는 외부 환경 가시화 장치.
  4. 제 3 항에 있어서,
    상기 다중 영상 표시부는 정합된 영상을 기초로 상기 다중 영상을 표시하는 것을 특징으로 하는 외부 환경 가시화 장치.
  5. 제 1 항에 있어서,
    상기 거리값 측정부는 상기 다중 영상을 구성하는 각각의 영상이 획득될 때마다 상기 거리값을 측정하는 것을 특징으로 하는 외부 환경 가시화 장치.
  6. 제 1 항에 있어서,
    상기 다중 영상 획득부는 서로 다른 위치를 지향하며 지향 위치 또는 지향각의 변경이 가능한 비전 센서들을 포함하는 것을 특징으로 하는 외부 환경 가시화 장치.
  7. 외부 환경에 대한 다중 영상을 획득하는 다중 영상 획득 단계;
    상기 다중 영상에 포함되는 적어도 하나의 영상이 획득될 때, 이 영상에 포함된 적어도 하나의 객체까지의 거리값을 측정하는 거리값 측정 단계;
    상기 거리값이 측정된 영상에 상기 거리값을 반영하는 거리값 반영 단계; 및
    상기 거리값이 반영된 영상을 기초로 상기 다중 영상을 표시하는 다중 영상 표시 단계
    를 포함하는 것을 특징으로 하는 외부 환경 가시화 방법.
  8. 제 7 항에 있어서,
    기준 영상을 이용하여 획득된 각 영상의 왜곡을 보정하는 영상 보정 단계; 및
    왜곡 보정된 영상들을 정합시키는 영상 정합 단계
    를 더욱 포함하는 것을 특징으로 하는 외부 환경 가시화 방법.
  9. 제 8 항에 있어서,
    상기 다중 영상 표시 단계는 정합된 영상을 기초로 상기 다중 영상을 표시하는 것을 특징으로 하는 외부 환경 가시화 방법.
  10. 제 7 항에 있어서,
    상기 거리값 측정 단계는 상기 다중 영상을 구성하는 각각의 영상이 획득될 때마다 상기 거리값을 측정하는 것을 특징으로 하는 외부 환경 가시화 방법.
  11. 제 7 항에 있어서,
    상기 다중 영상 획득 단계는 서로 다른 위치를 지향하며 지향 위치 또는 지향각의 변경이 가능한 비전 센서들을 이용하는 것을 특징으로 하는 외부 환경 가시화 방법.
KR1020110023396A 2011-03-16 2011-03-16 외부 환경 가시화 장치 및 그 방법 KR20120105761A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110023396A KR20120105761A (ko) 2011-03-16 2011-03-16 외부 환경 가시화 장치 및 그 방법
US13/351,374 US20120236287A1 (en) 2011-03-16 2012-01-17 External environment visualization apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110023396A KR20120105761A (ko) 2011-03-16 2011-03-16 외부 환경 가시화 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20120105761A true KR20120105761A (ko) 2012-09-26

Family

ID=46828191

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110023396A KR20120105761A (ko) 2011-03-16 2011-03-16 외부 환경 가시화 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20120236287A1 (ko)
KR (1) KR20120105761A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598399B1 (ko) * 2015-10-30 2016-03-02 공간정보기술 주식회사 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
KR101649163B1 (ko) * 2015-06-29 2016-08-18 한국원자력연구원 핵연료교환기 비상구동 이동로봇 영상 가이드 시스템
KR20200143554A (ko) 2019-06-13 2020-12-24 주식회사 만도 증강 현실 기반 운전 보조 장치 및 그 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001659B1 (ko) * 2012-11-19 2019-07-19 한국전자통신연구원 차량용 카메라 캘리브레이션 장치 및 방법
US9558555B2 (en) * 2013-02-22 2017-01-31 Leap Motion, Inc. Adjusting motion capture based on the distance between tracked objects
US8676431B1 (en) * 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
US9733715B2 (en) 2013-03-15 2017-08-15 Leap Motion, Inc. Resource-responsive motion capture
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
CN105807541B (zh) * 2014-12-30 2019-01-15 联想(北京)有限公司 成像方法和成像装置
JP6885298B2 (ja) * 2017-10-27 2021-06-09 トヨタ自動車株式会社 自動運転車両

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836285B1 (en) * 1999-09-03 2004-12-28 Arete Associates Lidar with streak-tube imaging,including hazard detection in marine applications; related optics
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
US7991550B2 (en) * 2006-02-03 2011-08-02 GM Global Technology Operations LLC Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101649163B1 (ko) * 2015-06-29 2016-08-18 한국원자력연구원 핵연료교환기 비상구동 이동로봇 영상 가이드 시스템
KR101598399B1 (ko) * 2015-10-30 2016-03-02 공간정보기술 주식회사 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
KR20200143554A (ko) 2019-06-13 2020-12-24 주식회사 만도 증강 현실 기반 운전 보조 장치 및 그 방법
US11557201B2 (en) 2019-06-13 2023-01-17 Hl Klemove Corp. Apparatus for assisting driving of a host vehicle based on augmented reality and method thereof

Also Published As

Publication number Publication date
US20120236287A1 (en) 2012-09-20

Similar Documents

Publication Publication Date Title
KR20120105761A (ko) 외부 환경 가시화 장치 및 그 방법
US11536567B2 (en) Surveying instrument
CN108027511B (zh) 信息显示装置、信息提供系统、运动对象设备、信息显示方法和记录介质
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
US20210096250A1 (en) Imaging device and monitoring device
US10261316B2 (en) Head-up display control apparatus and method
US20140085466A1 (en) Image generating apparatus
US11719932B2 (en) Head-up display
JP2019049457A (ja) 画像処理装置および測距装置
CN110178156A (zh) 包括可调节焦距成像传感器的距离传感器
JP5749319B2 (ja) センサの位置合わせ用携帯端末機
US20190217888A1 (en) Device, method, and system for assisting with trailer reversing
US20110063436A1 (en) Distance estimating apparatus
KR101545971B1 (ko) 복합 영상 센싱 시스템
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
WO2023103198A1 (zh) 一种计算测距系统相对外参的方法、装置和存储介质
CN115427832A (zh) 自动驾驶车辆的激光雷达和图像校准
JP2006322853A (ja) 距離計測装置、距離計測方法および距離計測プログラム
US20220229182A1 (en) Surveying Instrument
JP2830839B2 (ja) 距離計測装置
JPH06189906A (ja) 視線方向計測装置
TW201804366A (zh) 圖像處理裝置、相關的深度估計系統及深度估計方法
WO2020066068A1 (ja) ステレオカメラシステム、及び測距方法
KR101679017B1 (ko) Hud에서 가상이미지를 생성하는 장치 및 방법
KR101853652B1 (ko) 어라운드뷰 생성 방법 및 이를 수행하는 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid