KR101228939B1 - 거리 측정 장치 - Google Patents

거리 측정 장치 Download PDF

Info

Publication number
KR101228939B1
KR101228939B1 KR1020100090403A KR20100090403A KR101228939B1 KR 101228939 B1 KR101228939 B1 KR 101228939B1 KR 1020100090403 A KR1020100090403 A KR 1020100090403A KR 20100090403 A KR20100090403 A KR 20100090403A KR 101228939 B1 KR101228939 B1 KR 101228939B1
Authority
KR
South Korea
Prior art keywords
reference signal
image
cameras
feature point
camera
Prior art date
Application number
KR1020100090403A
Other languages
English (en)
Other versions
KR20120028514A (ko
Inventor
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020100090403A priority Critical patent/KR101228939B1/ko
Publication of KR20120028514A publication Critical patent/KR20120028514A/ko
Application granted granted Critical
Publication of KR101228939B1 publication Critical patent/KR101228939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S362/00—Illumination
    • Y10S362/80—Light emitting diode

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 스테레오 매칭에 필요한 영상 데이터의 처리량을 감소시켜 빠른 처리를 수행할 수 있고, 두 대의 카메라로부터 출력되는 영상의 특징이 동일하지 않거나 비대칭적으로 설치된 두 대의 카메라로부터 획득한 영상도 안정적인 스테레오 매칭을 수행할 수 있는 거리 측정 장치이다. 본 발명은 객체를 촬영한 스테레오 영상의 좌측 영상을 출력하는 제 1 카메라; 상기 객체를 촬영한 스테레오 영상의 우측 영상을 출력하는 제 2 카메라; 상기 객체의 임의의 위치로 특징점 검출용 기준 신호를 출력하는 광원부; 상기 제 1 및 제 2 카메라의 전면에 설치되어 상기 특징점 검출용 기준 신호를 검출하고 상기 기준 신호가 검출된 좌표의 정보를 제공하는 필터부; 및 상기 광원부로 특징점 검출용 기준 신호의 동작 제어 신호를 출력하고 상기 제 1 및 제 2 카메라로부터 출력되는 영상 중 상기 필터부가 검출한 기준 신호의 좌표 정보에 대응하는 좌측 영상 및 우측 영상의 일부를 상기 스테레오 매칭 프로그램으로 연산하여 거리 값을 출력하는 마이크로프로세서를 포함한다.

Description

거리 측정 장치{APPARATUS FOR MEASUREMENTING DISTANCE}
본 발명은 거리 측정 장치에 관한 발명으로서, 더욱 상세하게는 스테레오 매칭에 필요한 영상 데이터의 처리량을 감소시켜 빠른 처리를 수행할 수 있고, 두 대의 카메라로부터 출력되는 영상의 특징이 동일하지 않거나 비대칭적으로 설치된 두 대의 카메라로부터 획득한 영상도 안정적인 스테레오 매칭을 수행할 수 있는 거리 측정 장치에 관한 것이다.
관찰 측으로부터 떨어져 있는 객체의 거리, 위치를 추정하는 방법에는 여러 가지가 있으며, 그 가운데 객체에 대해 영상을 촬영하고 촬영된 영상에 포함된 객체까지의 거리, 위치를 추정할 수 있는 기술로 비전(vision) 기술이 있다.
이러한 비전 기술을 이용한 객체의 위치 검출 방법은 영상 촬영 장치로부터 촬영된 영상을 전처리하여 외곽선, 칼라, 템플릿 등의 2차원 특징 정보를 추출하며 그 추출한 정보와 매칭 필터(matching filter)를 이용하여 필요한 객체의 위치를 검출한다.
객체의 거리 정보를 추출하는 방법은 정확한 거리 정보를 추출하는 방법으로 스테레오 매칭(Stereo Matching)을 이용하는 방법이 있고, 대략적인 거리 정보를 추출하는 방법으로 한 개의 영상(모노 영상)만을 사용하는 원근법(perspective) 등이 있다.
원근법은 거리가 멀수록 물체가 작게 보이고 물체가 가까이 있을수록 크게 보이는 성질과 대략적인 비례관계를 이용하여 거리를 추정하는 방법이지만 한 개의 영상만을 사용하는 방식의 경우 3차원 객체(object)를 인지하는데 있어서 신문지나 그림자와 같은 2차원 객체를 잘못 인식할 수 있고 2차원 정보만으로 3차원 대상을 탐지하기 위해 복잡한 알고리즘을 사용하여야 한다.
또한, 한 개의 영상을 이용하는 방식은 물체의 크기에 따라 오차가 생기고 특히 물체와 카메라의 수직위치가 동일하지 않은 언덕, 내리막길 등에서는 많은 오차를 보이는 문제점이 있다.
한편, 두 개의 영상을 이용하는 스테레오 매칭(Stereo Matching)은 좌측 및 우측에 설치된 두 대의 카메라에 입력되는 두 개의 영상으로부터 입체 영상 정보를 추출하는 기술이다.
이러한 스테레오 매칭은 사람의 두 눈이 특정 사물 또는 영상 패턴까지의 거리 정보를 획득하는 방법과 마찬가지로, 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하여 두 위치의 차이 즉 양안차(disparity)를 추출함으로써, 카메라에서 그 패턴의 실제 위치까지의 거리를 직접 계산하는 것이다.
다만, 이러한 스테레오 매칭 기법은 전체 영상 중 가운데 부분에 대한 거리 정보를 알 수 있는 사람의 두 눈과는 달리 전체 화면에 대한 거리 정보를 모두 계산하기 때문에 매우 많은 계산량을 필요로 하며, 두 카메라의 영상 특성이 일반적으로 완전히 동일하지 않고, 영상에 따라 어둡거나 패턴의 구별이 뚜렷하지 않은 부분이 있어 출력 양안차의 노이즈로 나타나게 되어 계산을 할 수 없게 된다.
한편, 스테레오 매칭을 처리하는 과정에 대해 설명하면 좌측 및 우측 카메라를 통해 좌측 및 우측 영상이 입력되면 좌측 및 우측 영상에 대한 밝기 및 에피폴라 라인(epipolar line)을 일치시키는 스테레오 영상 입력에 대한 전처리 과정을 수행하고, 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차(disparity)를 생성하는 스테레오 매칭을 수행하며, 이러한 양안차의 결과에서 노이즈 성분을 제거한 후에 그 스테레오 영상의 거리 정보에 대한 프로젝션(projection), 세그멘테이션(segmentation), 필터링(filtering) 등의 후처리 과정을 수행하여 스테레오 영상 정보를 획득함으로써 이러한 스테레오 영상 정보를 통해 물체와 배경의 거리, 모양, 방향 등의 정보를 활용하게 된다.
그러나 종래의 스테레오 비전 시스템에서는 막대한 데이터량의 처리가 필요해서 두 대의 카메라 이외의 모든 데이터 처리를 컴퓨터(PC)에서 소프트웨어를 통해 수행하거나, DSP(Digital Signal Processor)를 이용한 전용 하드웨어로 제작하여 데이터 처리를 수행해야하므로 전자의 경우 다양한 알고리즘을 용이하게 적용할 수 있으나 처리 속도가 느리고, 후자의 경우에는 그 처리 속도는 빠른 장점이 있으나, 제한된 특정 알고리즘만을 적용할 수 있으며 고가의 DSP를 사용해야하는 단점이 있다.
이러한 문제점을 해결하기 위하여 본 발명은 스테레오 매칭에 필요한 영상 데이터의 처리량을 감소시켜 빠른 처리를 수행할 수 있고, 두 대의 카메라로부터 출력되는 영상의 특징이 동일하지 않거나 비대칭적으로 설치된 두 대의 카메라로부터 획득한 영상도 안정적인 스테레오 매칭을 수행할 수 있는 거리 측정 장치를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명은 스테레오 영상을 이용한 거리 측정 장치로서,
객체를 촬영한 스테레오 영상의 좌측 영상을 출력하는 제 1 카메라; 상기 객체를 촬영한 스테레오 영상의 우측 영상을 출력하는 제 2 카메라; 상기 객체의 임의의 위치로 특징점 검출용 기준 신호를 출력하는 광원부; 상기 제 1 및 제 2 카메라의 전면에 설치되어 상기 특징점 검출용 기준 신호를 검출하고 상기 기준 신호가 검출된 좌표의 정보를 제공하는 필터부; 및 상기 광원부로 특징점 검출용 기준 신호의 동작 제어 신호를 출력하고 상기 제 1 및 제 2 카메라로부터 출력되는 영상 중 상기 필터부가 검출한 기준 신호의 좌표 정보에 대응하는 좌측 영상 및 우측 영상의 일부를 상기 스테레오 매칭 프로그램으로 연산하여 거리 값을 출력하는 마이크로프로세서를 포함한다.
삭제
삭제
또한, 본 발명은 스테레오 영상을 이용한 거리 측정 장치로서,
객체를 촬영한 스테레오 영상의 좌측 영상을 출력하는 제 1 카메라; 상기 객체를 촬영한 스테레오 영상의 우측 영상을 출력하는 제 2 카메라; 상기 객체의 임의의 위치로 특징점 검출용 기준 신호를 출력하는 광원부; 상기 제 1 및 제 2 카메라에 각각 설치되어 상기 제 1 및 제 2 카메라가 촬영하여 출력하는 영상의 X축 신호를 검출하는 제 1 MUX; 상기 제 1 및 제 2 카메라에 각각 설치되어 상기 제 1 및 제 2 카메라가 촬영하여 출력하는 영상의 Y축 신호를 검출하는 제 2 MUX; 상기 제 1 MUX 및 제 2 MUX가 검출한 신호로부터 상기 특징점 검출용 기준 신호를 검출하여 기준 신호의 좌표 정보를 제공하는 필터부; 및 상기 광원부로 특징점 검출용 기준 신호의 동작 제어 신호를 출력하고 상기 제 1 및 제 2 카메라로부터 출력되는 영상 중 상기 필터부가 검출한 기준 신호의 좌표 정보에 대응하는 좌측 영상 및 우측 영상의 일부를 상기 스테레오 매칭 프로그램으로 연산하여 거리 값을 출력하는 마이크로프로세서를 포함한다.
또한, 본 발명에 따른 상기 광원부는 레이저 및 LED 중 적어도 어느 하나인 것을 특징으로 한다.
또한, 상기 레이저는 적색 또는 녹색 중 어느 하나의 색을 출력하는 것이 바람직하고, 상기 LED는 적외선 LED 또는 적색, 녹색 및 청색 중 어느 하나의 색이나 이를 혼합한 색을 발광하는 LED인 것이 바람직하다.
또한, 본 발명에 따른 상기 특징점 검출용 기준 신호는 미리 설정된 특정 주파수 신호이거나, 미리 설정된 특정 색상의 색비를 갖는 신호이거나 미리 설정된 온/오프 주기를 갖는 신호인 것을 특징으로 한다.
또한, 상기 제 1 및 제 2 카메라는 상기 객체를 촬영하기 위해 설치되는 위치가 서로 대칭 또는 비대칭으로 설치되고, 상기 제 1 및 제 2 카메라는 광각 렌즈, 표준 렌즈 및 망원 렌즈 중 어느 하나가 설치된 것을 특징으로 한다.
본 발명은 스테레오 매칭에 필요한 영상 데이터의 처리량을 감소시켜 빠른 스테레오 매칭을 수행할 수 있는 장점이 있다.
또한, 본 발명은 영상 데이터의 처리량을 감소시켜 저가의 마이크로프로세서를 사용할 수 있고, 이에 따른 제조비용을 감소할 수 있는 장점이 있다.
또한, 본 발명은 두 대의 카메라로부터 출력되는 영상의 특징이 동일하지 않거나 비대칭적으로 설치된 두 대의 카메라로부터 획득한 영상으로부터의 특징점 추출이 용이하여 안정적인 스테레오 매칭을 수행할 수 있는 장점이 있다.
도 1 은 본 발명에 따른 거리 측정 장치의 제 1 실시예 구성을 나타낸 블록도.
도 2 는 본 발명에 따른 거리 측정 장치의 동작을 설명하기 위한 객체와 카메라의 위치를 나타낸 예시도.
도 3 은 스테레오 영상을 이용한 거리 측정 과정을 나타낸 예시도.
도 4 는 본 발명에 따른 거리 측정 장치의 제 2 실시예 구성을 나타낸 블록도.
도 5 는 도 4에 따른 거리 측정 장치의 카메라부 구성을 나타낸 블록도.
도 6 은 본 발명에 따른 거리 측정 장치의 제 3 실시예 구성을 나타낸 블록도.
도 7 은 도 6에 따른 거리 측정 장치의 카메라부 구성을 나타낸 블록도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 거리 측정 장치의 바람직한 실시예를 상세하게 설명한다.
(제 1 실시예)
도 1은 본 발명에 따른 거리 측정 장치의 제 1 실시예 구성을 나타낸 도면이고, 도 2는 본 발명에 따른 거리 측정 장치의 동작을 설명하기 위한 객체와 카메라의 위치를 나타낸 예시도이고, 도 3은 스테레오 영상을 이용한 거리 측정 과정을 나타낸 예시도이다.
도 1 내지 도 3에 도시된 바와 같이 거리 측정 장치(100)는 카메라부(110)와 광원부(120)와 마이크로프로세서(130)로 이루어진다.
상기 카메라부(110)는 차량(200)에 설치된 적어도 2개의 카메라가 동일한 객체(O)를 촬영하고 그 촬영된 2개의 영상을 스테레오 매칭을 위한 영상으로 제공하는 구성으로서, 상기 객체(O)를 촬영하여 스테레오 영상의 좌측 영상으로 제공하는 제 1 카메라(111)와, 상기 객체(O)를 촬영하여 스테레오 영상의 우측 영상으로 제공하는 제 2 카메라(111')를 포함하여 이루어진다.
상기 제 1 카메라(111)는 차량(200)의 임의의 위치에 설치되어 차량의 전방 또는 후방을 촬영하고, 상기 촬영된 영상은 스테레오 매칭을 위한 2개의 영상 중 하나인 좌측 영상(좌측 영상으로 한정한 것은 발명을 설명하기 위한 것일 뿐 우측 영상으로 한정하여도 무방하다)으로 제공된다.
또한, 상기 제 1 카메라(111)는 CCD 타입 또는 CMOS 타입 중 어느 것을 사용해도 무방하고, 카메라의 기능에 따라 광각 렌즈, 표준 렌즈 및 망원 렌즈 중 어느 하나의 렌즈가 설치된다.
상기 제 2 카메라(111')는 상기 차량(200)의 임의의 위치에 설치된 상기 제 1 카메라(111)와 대칭인 위치 또는 비대칭인 위치에 설치되어 상기 차량(200)의 전방 또는 후방을 촬영하고, 상기 촬영된 영상은 스테레오 매칭을 위한 2개의 영상 중 다른 하나인 우측 영상(우측 영상으로 한정한 것은 발명을 설명하기 위한 것일 뿐 좌측 영상으로 한정하여도 무방하다)으로 제공된다.
또한, 상기 제 2 카메라(111')는 CCD 타입 또는 CMOS 타입 중 어느 것을 사용해도 무방하고, 카메라의 기능에 따라 광각 렌즈, 표준 렌즈 및 망원 렌즈 중 어느 하나의 렌즈가 설치된다.
상술한 상기 제 1 및 제 2 카메라(111 및 111')의 대칭인 위치는 예를 들면, 차량(200)의 운전자측 헤드램프에 제 1 카메라(111)가 설치되어 전방 영상을 촬영하도록 배치되고, 상기 차량(200)의 동승자측 헤드램프에 제 2 카메라(111')가 설치되어 전방 영상을 촬영하도록 배치된 것이다.
또한, 상술한 상기 제 1 및 제 2 카메라(111 및 111')의 비대칭인 위치는 예를 들면, 제 1 카메라(111)가 차량(200)의 운전자측 후미등에 설치되어 후방 영상을 촬영하도록 배치되고, 제 2 카메라(111')가 상기 차량의 운전자측 사이드 미러(140)에 설치되어 후방 영상을 촬영하도록 배치된 것이다.
한편, 카메라에 설치된 렌즈의 종류에 따라 제 1 및 제 2 카메라(111 및 111')가 대칭적으로 설치되거나 비대칭적으로 설치된 것을 구분할 수도 있다.
즉 대칭적으로 설치된 것은 제 1 및 제 2 카메라(111 및 111')에 예를 들면 모두 표준 렌즈가 설치되고 차량의 운전자측 헤드램프와 동승자측 헤드램프에 각각 설치된 것이다.
또한, 비대칭적으로 설치된 것은 제 1 카메라(111)는 운전자측 후미등에 표준 렌즈를 장착하여 설치되고 제 2 카메라(111')는 차량의 트렁크 중앙에 광각 렌즈를 장착하여 설치된 것이다.
즉 상기 제 1 및 제 2 카메라(111 및 111')가 차량(200)의 후측 선단부에 동일한 선상에 위치하여 대칭적인 위치지만, 광각 렌즈를 통해 촬영된 영상과 표준 렌즈를 통해 촬영된 영상 사이에 이미지의 왜곡이 발생하여 비대칭적인 영상을 제공하게 된다.
상기 광원부(120)는 차량(200)의 임의의 위치에 적어도 하나 이상 설치되어 차량(200)의 전방 또는 후방에 위치한 객체(O)의 임의의 위치로 특징점 검출용 기준 신호를 출력하여 상기 객체(O)의 임의의 위치(P)에서 반사되도록 한다.
즉 상기 광원부(120)는 특징점 추출을 위한 기준 신호가 객체(O)의 임의의 위치(P)에서 반사되도록 하고, 카메라를 통해 촬영된 영상에서 스테레오 매칭에 필요한 비교대상 객체(O)가 위치한 특정 픽셀의 위치(P)를 표시하는 점광원의 기능을 수행하도록 한다.
또한, 상기 특징점은 스테레오 매칭을 수행하는 과정에서 같은 특징을 갖는 픽셀 또는 영상인지 여부를 판단하기 위한 화면상의 기준점이다.
한편, 상기 광원부(120)는 적색 또는 녹색 중 어느 하나의 색상으로 레이저 빔을 출력하는 레이저로 구성되거나, 적외선 신호를 출력하는 적외선 LED로 이루어지거나 적색, 녹색 및 청색 중 어느 하나의 색을 출력하는 LED로 구성되거나 적색, 녹색, 청색 중 2개 이상의 색이 혼합되어 발광하는 LED로 구성될 수 있다.
상기 마이크로프로세서(130)는 상기 광원부(120)로 특징점 검출용 기준 신호의 동작 제어 신호를 출력하고 상기 제 1 카메라(111) 및 제 2 카메라(111')로부터 출력되는 영상을 스캐닝하여 상기 기준 신호를 검출하고 상기 기준 신호가 포함된 좌측 및 우측 영상의 일부를 미리 설정된 스테레오 매칭 프로그램으로 연산하여 거리 값을 산출한다.
또한, 상기 특징점 검출용 기준 신호는 미리 설정된 특정 주파수가 포함된 신호이거나, 특정 색상의 색비를 갖는 신호이거나, 온(ON)/오프(OFF) 점멸 신호이거나, 상기 특정 주파수 신호 또는 특정 색상의 색비를 갖는 신호가 미리 설정된 주기 동안 온/오프되도록 제어하는 신호일 수 있다.
따라서 상기 마이크로프로세서(130)는 상기 광원부(120)에 설치된 발광 수단에 따라 적절한 특징점 검출용 기준 신호가 출력되도록 동작 제어 신호를 출력한다.
또한, 상기 마이크로프로세서(130)는 상기 광원부(120)를 통해 특징점 검출용 기준 신호를 출력한 후 상기 제 1 및 제 2 카메라(111 및 111')를 통해 출력되는 좌측 및 우측 영상을 스캐닝하고, 상기 스캐닝된 좌측 및 우측 영상을 분석하여 상기 특징점 검출용 기준 신호가 포함된 특정 픽셀을 각각 검출한 후 상기 픽셀이 포함된 일부의 영상들을 공지의 스테레오 매칭 프로그램을 통해 연산한 후 거리 값을 산출한다.
즉 마이크로프로세서(130)가 특정 주파수(예를 들면 변조 주파수) 신호를 동작 신호로 출력한 경우, 제 1 및 제 2 카메라(111 및 111')에서 검출한 영상들을 분석하여 특정 주파수 신호가 포함된 픽셀을 검색하게 된다.
또한, 마이크로프로세서(130)가 특정 색상을 갖는 색비(적색, 녹색, 청색 또는 이들 색상의 혼합색)를 갖도록 동작 신호를 출력하거나 미리 설정된 단색광의 레이저(적색 또는 녹색) 또는 단색광의 적색, 녹색, 청색 LED의 동작 신호를 출력한 경우, 상기 제 1 및 제 2 카메라(111 및 111')에서 검출한 영상들을 분석하여 특정 색상의 색비를 갖는 픽셀을 검색하게 된다.
또한, 마이크로프로세서(130)가 미리 설정된 주기로 온/오프 동작 신호를 출력하는 경우, 상기 제 1 및 제 2 카메라(111 및 111')에서 검출한 영상들을 분석하여 예를 들면, 광원부(120)가 적외선 LED로 구성된 경우 적외선 LED의 온/오프에 따라 입력되는 영상들 중에서 적외선 신호의 주기적으로 출현이 있는 픽셀의 유무를 검색하게 된다.
상기 마이크로프로세서(130)가 특징점 검출용 기준 신호를 포함한 픽셀을 검출하면 전체 영상 영역 중에서 상기 픽셀을 포함한 일정 범위의 일부(부분) 영상을 추출하여 스테레오 매칭 프로그램의 스테레오 영상으로 제공하고, 그 영상을 이용하여 스테레오 매칭을 수행하게 된다.
따라서 특징점을 포함한 작은 크기의 영상 데이터를 이용하여 스테레오 매칭 프로그램의 연산량이 최소화될 수 있고, 이에 따라 저가의 마이크로프로세서를 이용하여도 충분한 스테레오 매칭 처리를 수행할 수 있게 된다.
한편, 상기 마이크로프로세서(130)에서 연산 동작을 수행하는 스테레오 매칭 프로그램은 공지된 스테레오 매칭 프로그램을 사용한다.
다음은 본 발명에 따른 거리 측정 장치의 동작 과정을 설명한다.
마이크로프로세서(130)가 미리 설정된 동작 제어 신호를 광원부(120)로 출력하고 상기 광원부(120)로부터 출력된 특징점 검출용 기준 신호가 물체에 반사되어 제 1 및 제 2 카메라(111 및 111')를 통해 각각 촬영되는 영상에 포함되어 있는지 여부를 확인하기 위한 스캐닝을 수행한다.
이때 상기 광원부(120)로부터 출력되는 특징점 검출용 기준 신호는 미리 설정된 특정 위치 또는 임의의 위치로 직접 조사되도록 하거나 미리 설정된 순서에 따라 순차적으로 조사되도록 할 수 있으며, 상기 마이크로프로세서(130)는 상기 광원부(120)의 동작과 동기화되어 상기 광원부(120)가 조사되는 방향에서 촬영되는 영상의 영역을 집중적으로 스캐닝하여 상기 특징점 검출용 기준 신호가 포함된 영상을 검출한다.
상기 마이크로프로세서(130)는 도 3의 (a) 및 (b)와 같이 검출된 좌측 영상(I1) 및 우측 영상(I2)으로부터 좌측 영상의 임의의 위치(P1)에서 특징점의 픽셀 좌표(-1, 1)를 확인하고, 우측 영상의 임의의 위치(P2)에서 특징점의 픽셀 좌표(2, 2)를 확인한다.
또한, 상기 마이크로프로세서(130)는 공지된 스테레오 매칭 프로그램을 통해 상기 임의의 위치(P1 및 P2)에서 검출된 각각의 특징점을 중심으로 좌측 영상의 객체(O1)와 우측 영상의 객체(O2)가 동일한 객체인지 여부를 확인하기 위한 매칭과, 각 픽셀 좌표들과 중심 좌표(0, 0)로부터 떨어진 거리를 이용하여 각 객체(O1 및 O2)의 위치판단을 수행하여 객체까지의 거리를 산출한다.
따라서 작은 크기의 특징점을 포함한 영상을 이용하여 연산량을 감소시킬 수 있고, 정확한 매칭을 제공할 수 있게 된다.
또한, 서로 비대칭적으로 설치된 카메라가 제공하는 스테레오 영상이나, 서로 다른 종류의 렌즈를 장착한 카메라가 제공하는 스테레오 영상이 제공되어도 상기 특징점을 중심으로 매칭을 수행할 수 있게 되므로 정확하고 신속한 처리를 수행할 수 있다.
(제 2 실시예)
도 4는 본 발명에 따른 거리 측정 장치의 제 2 실시예 구성을 나타낸 블록도이고 도 5는 도 4에 따른 거리 측정 장치의 카메라부 구성을 나타낸 블록도이다.
우선, 상술한 제 1 실시예와 동일한 구성에 대하여 반복적인 설명은 생략하고, 제 2 실시예의 특징적인 구성에 대하여 상세하게 설명한다.
도 4 및 도 5에 도시된 바와 같이, 거리 측정 장치(100')는 객체를 촬영한 스테레오 영상의 좌측 영상을 출력하는 제 1 카메라(111)와, 상기 객체를 촬영한 스테레오 영상의 우측 영상을 출력하는 제 2 카메라(111')와, 상기 객체의 임의의 위치로 특징점 검출용 기준 신호를 출력하는 광원부(120)와, 상기 제 1 및 제 2 카메라(111 및 111')의 전면에 설치되어 상기 특징점 검출용 기준 신호를 검출하고 상기 기준 신호가 검출된 좌표의 정보를 제공하는 필터부(112)와, 상기 광원부(120)로 특징점 검출용 기준 신호의 동작 제어 신호를 출력하고 상기 제 1 및 제 2 카메라(111 및 111')로부터 출력되는 영상 중 상기 필터부(112)가 검출한 기준 신호의 좌표 정보에 대응하는 좌측 영상 및 우측 영상의 일부를 상기 스테레오 매칭 프로그램으로 연산하여 거리 값을 출력하는 마이크로프로세서(130')를 포함한다.
상기 필터부(112)는 광원부(120)에서 출력된 특징점 검출용 기준 신호가 객체에 반사되어 카메라부(110')에 입력될 경우 상기 특징점 검출용 기준 신호를 검출하는 구성이다.
또한, 상기 필터부(112)는 상기 특징점 검출용 기준 신호가 검출되면 그 기준 신호가 검출되는 위치 정보를 상기 필터부(112) 상의 좌표값으로 상기 마이크로프로세서(130')에 출력한다.
한편, 제 2 실시예에 따른 거리 측정 장치(100')의 마이크로프로세서(130')는 제 1 및 제 2 카메라(111 및 111')로부터 출력되는 영상을 모두 스캐닝하는 것이 아니라 제 1 및 제 2 카메라(111 및 111')의 전방에 설치된 상기 필터부(112)로부터 특징점 검출용 기준 신호의 좌표값이 입력되면, 제 1 및 제 2 카메라(111 및 111')의 전체 영상 중 상기 필터부(112)에서 제공하는 해당 좌표값에 대응하는 일부 영상을 추출하여 스테레오 매칭 프로그램을 통해 연산한다.
따라서 특징점이 포함된 작은 크기의 영상을 이용하여 매칭을 수행하므로 연산량을 감소시킬 수 있고, 또한 정확한 매칭을 수행할 수 있게 된다.
또한, 서로 비대칭적으로 설치된 카메라가 제공하는 스테레오 영상이나, 카메라에 설치된 렌즈(113)가 서로 다른 종류의 렌즈(113)를 장착한 경우 각 카메라가 제공하는 스테레오 영상이 다소 왜곡되어 제공되더라도 특징점을 중심으로 매칭을 수행할 수 있게 되므로 정확하고 신속한 처리를 수행할 수 있다.
(제 3 실시예)
도 6은 본 발명에 따른 거리 측정 장치의 제 3 실시예 구성을 나타낸 블록도이고, 도 7은 도 6에 따른 거리 측정 장치의 카메라부 구성을 나타낸 블록도이다.
우선, 상술한 제 1 및 제 2 실시예와 동일한 구성에 대하여 반복적인 설명은 생략하고, 제 3 실시예의 특징적인 구성에 대하여 상세하게 설명한다.
도 6 및 도 7에 도시된 바와 같이, 거리 측정 장치(100")는 객체를 촬영한 스테레오 영상의 좌측 영상을 출력하는 제 1 카메라(111)와, 상기 객체를 촬영한 스테레오 영상의 우측 영상을 출력하는 제 2 카메라(111')와, 상기 객체의 임의의 위치로 특징점 검출용 기준 신호를 출력하는 광원부(120)와, 상기 제 1 및 제 2 카메라(111 및 111')에 각각 설치되어 상기 제 1 및 제 2 카메라(111 및 111')가 촬영하여 출력하는 영상의 X축 신호를 검출하는 제 1 MUX(115a)와, 상기 제 1 및 제 2 카메라(111 및 111')에 각각 설치되어 상기 제 1 및 제 2 카메라(111 및 111')가 촬영하여 출력하는 영상의 Y축 신호를 검출하는 제 2 MUX(115b)와, 상기 제 1 MUX 및 제 2 MUX(115a 및 115b)가 검출한 신호로부터 상기 특징점 검출용 기준 신호를 검출하여 기준 신호의 좌표 정보를 제공하는 필터부(112)와, 상기 광원부(120)로 특징점 검출용 기준 신호의 동작 제어 신호를 출력하고 상기 제 1 및 제 2 카메라(111 및 111')로부터 출력되는 영상 중 상기 필터부(112)가 검출한 기준 신호의 좌표 정보에 대응하는 좌측 영상 및 우측 영상의 일부를 상기 스테레오 매칭 프로그램으로 연산하여 거리 값을 출력하는 마이크로프로세서(130")를 포함한다.
제 3 실시예에 따른 거리 측정 장치(100")의 마이크로프로세서(130")는 제 1 및 제 2 카메라(111 및 111')로부터 출력되는 영상을 모두 스캐닝하는 것이 아니라 제 1 및 제 2 카메라(111 및 111')의 후방에 설치되어 상기 제 1 및 제 2 카메라(111 및 111')를 통해 제공되는 X축 및 Y축의 영상 신호를 검출하는 제 1 및 제 2 MUX(115a 및 115b)로부터 특징점 검출용 기준 신호를 필터부(112)에서 검출하고, 상기 필터부(112)에서 특징점 검출용 기준 신호가 검출되면 제 1 및 제 2 카메라(111 및 111')의 전체 영상 중 상기 필터부(112)에서 특징점 검출용 기준 신호가 검출되는 좌표값에 대응하는 일부 영상을 추출하여 스테레오 매칭 프로그램을 통해 연산한다.
따라서 특징점이 포함된 작은 크기의 영상을 이용하여 매칭을 수행하므로 연산량을 감소시킬 수 있고, 또한 정확한 매칭을 수행할 수 있게 된다.
또한, 서로 비대칭적으로 설치된 카메라가 제공하는 스테레오 영상이나, 카메라에 설치된 렌즈(113)가 서로 다른 종류의 렌즈(113)를 장착한 경우 각 카메라가 제공하는 스테레오 영상이 다소 왜곡되어 제공되더라도 특징점을 중심으로 매칭을 수행할 수 있게 되므로 정확하고 신속한 처리를 수행할 수 있다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100, 100', 100" : 거리 측정 장치 110, 110', 110" : 카메라부
111 : 제 1 카메라 111' 제 2 카메라
112 : 필터부 113 : 렌즈부
115a : 제 1 MUX 115b : 제 2 MUX
120 : 광원부 130, 130', 130" : 마이크로프로세서
140 : 사이드 미러 200 : 차량

Claims (11)

  1. 삭제
  2. 스테레오 영상을 이용한 거리 측정 장치로서,
    객체를 촬영한 스테레오 영상의 좌측 영상을 출력하는 제 1 카메라;
    상기 객체를 촬영한 스테레오 영상의 우측 영상을 출력하는 제 2 카메라;
    상기 객체의 임의의 위치로 특징점 검출용 기준 신호를 출력하는 광원부;
    상기 제 1 및 제 2 카메라의 전면에 설치되어 상기 특징점 검출용 기준 신호를 검출하고 상기 기준 신호가 검출된 좌표의 정보를 제공하는 필터부; 및
    상기 광원부로 특징점 검출용 기준 신호의 동작 제어 신호를 출력하고 상기 제 1 및 제 2 카메라로부터 출력되는 영상 중 상기 필터부가 검출한 기준 신호의 좌표 정보에 대응하는 좌측 영상 및 우측 영상의 일부를 상기 스테레오 매칭 프로그램으로 연산하여 거리 값을 출력하는 마이크로프로세서를 포함하는 거리 측정 장치.
  3. 스테레오 영상을 이용한 거리 측정 장치로서,
    객체를 촬영한 스테레오 영상의 좌측 영상을 출력하는 제 1 카메라;
    상기 객체를 촬영한 스테레오 영상의 우측 영상을 출력하는 제 2 카메라;
    상기 객체의 임의의 위치로 특징점 검출용 기준 신호를 출력하는 광원부;
    상기 제 1 및 제 2 카메라에 각각 설치되어 상기 제 1 및 제 2 카메라가 촬영하여 출력하는 영상의 X축 신호를 검출하는 제 1 MUX;
    상기 제 1 및 제 2 카메라에 각각 설치되어 상기 제 1 및 제 2 카메라가 촬영하여 출력하는 영상의 Y축 신호를 검출하는 제 2 MUX;
    상기 제 1 MUX 및 제 2 MUX가 검출한 신호로부터 상기 특징점 검출용 기준 신호를 검출하여 기준 신호의 좌표 정보를 제공하는 필터부; 및
    상기 광원부로 특징점 검출용 기준 신호의 동작 제어 신호를 출력하고 상기 제 1 및 제 2 카메라로부터 출력되는 영상 중 상기 필터부가 검출한 기준 신호의 좌표 정보에 대응하는 좌측 영상 및 우측 영상의 일부를 상기 스테레오 매칭 프로그램으로 연산하여 거리 값을 출력하는 마이크로프로세서를 포함하는 거리 측정 장치.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 광원부는 레이저 및 LED 중 적어도 어느 하나인 것을 특징으로 하는 거리 측정 장치.
  5. 제 4 항에 있어서,
    상기 레이저는 적색 또는 녹색 중 어느 하나의 색을 출력하는 것을 특징으로 하는 거리 측정 장치.
  6. 제 4 항에 있어서,
    상기 LED는 적외선 LED 또는 적색, 녹색 및 청색 중 어느 하나의 색이나 이를 혼합한 색을 발광하는 LED인 것을 특징으로 하는 거리 측정 장치.
  7. 제 2 항 또는 제 3 항에 있어서,
    상기 특징점 검출용 기준 신호는 미리 설정된 특정 주파수 신호인 것을 특징으로 하는 거리 측정 장치.
  8. 제 2 항 또는 제 3 항에 있어서,
    상기 특징점 검출용 신호는 미리 설정된 특정 색상의 색비를 갖는 신호인 것을 특징으로 하는 거리 측정 장치.
  9. 제 8 항에 있어서,
    상기 특징점 검출용 기준 신호는 미리 설정된 온/오프 주기를 갖는 것을 특징으로 하는 거리 측정 장치.
  10. 제 2 항 또는 제 3 항에 있어서,
    상기 제 1 및 제 2 카메라는 상기 객체를 촬영하기 위해 설치되는 위치가 서로 대칭 또는 비대칭으로 설치되는 것을 특징으로 하는 거리 측정 장치.
  11. 제 2 항 또는 제 3 항에 있어서,
    상기 제 1 및 제 2 카메라는 광각 렌즈, 표준 렌즈 및 망원 렌즈 중 어느 하나가 설치된 것을 특징으로 하는 거리 측정 장치.
KR1020100090403A 2010-09-15 2010-09-15 거리 측정 장치 KR101228939B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100090403A KR101228939B1 (ko) 2010-09-15 2010-09-15 거리 측정 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100090403A KR101228939B1 (ko) 2010-09-15 2010-09-15 거리 측정 장치

Publications (2)

Publication Number Publication Date
KR20120028514A KR20120028514A (ko) 2012-03-23
KR101228939B1 true KR101228939B1 (ko) 2013-02-06

Family

ID=46133304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100090403A KR101228939B1 (ko) 2010-09-15 2010-09-15 거리 측정 장치

Country Status (1)

Country Link
KR (1) KR101228939B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0875455A (ja) * 1994-09-02 1996-03-22 Mitsubishi Electric Corp 距離測定装置
JPH0943362A (ja) * 1995-07-27 1997-02-14 Toyota Motor Corp 光照射型対象物認識装置
JP2009041928A (ja) * 2007-08-06 2009-02-26 Nissan Motor Co Ltd 距離計測方法および装置、ならびに距離計測装置を備えた車両
JP2010091426A (ja) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc 距離計測装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0875455A (ja) * 1994-09-02 1996-03-22 Mitsubishi Electric Corp 距離測定装置
JPH0943362A (ja) * 1995-07-27 1997-02-14 Toyota Motor Corp 光照射型対象物認識装置
JP2009041928A (ja) * 2007-08-06 2009-02-26 Nissan Motor Co Ltd 距離計測方法および装置、ならびに距離計測装置を備えた車両
JP2010091426A (ja) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc 距離計測装置及びプログラム

Also Published As

Publication number Publication date
KR20120028514A (ko) 2012-03-23

Similar Documents

Publication Publication Date Title
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US9767545B2 (en) Depth sensor data with real-time processing of scene sensor data
JP6013884B2 (ja) 物体検出装置及び物体検出方法
EP2064676B1 (en) A method and system for three-dimensional model acquisition
WO2011115142A1 (ja) 画像処理装置、方法、プログラム及び記録媒体
JP5772714B2 (ja) 灯火検出装置及び車両制御システム
TW201004818A (en) The asynchronous photography automobile-detecting apparatus
TWI744245B (zh) 產生具有減少過度平滑之視差圖
CN112712059A (zh) 基于红外热图像和rgb图像的活体人脸识别方法
JP2009164951A (ja) 撮像システム、画像処理装置、画像処理方法、およびプログラム
Liao et al. Light fall-off stereo
US9367759B2 (en) Cooperative vision-range sensors shade removal and illumination field correction
KR101516487B1 (ko) 차분 카메라를 이용한 영상처리 장치
JP2013257244A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
KR102341839B1 (ko) 증강현실을 위한 데이터 수집 장치
JP5336325B2 (ja) 画像処理方法
JP2005156199A (ja) 車両検知方法及び車両検知装置
KR101228939B1 (ko) 거리 측정 장치
JPH1023311A (ja) 画像情報入力方法及び装置
CN111536895B (zh) 外形识别装置、外形识别系统以及外形识别方法
JP2009164949A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2010197186A (ja) 対象物検出装置
JP2002013918A (ja) ３次元画像生成装置および３次元画像生成方法
KR20180046288A (ko) 비정형 라인 길이측정시스템
Feris et al. Dealing with multi-scale depth changes and motion in depth edge detection

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170104

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 6