KR20130015326A - 카메라 시스템 및 이를 이용한 거리 인식 방법 - Google Patents

카메라 시스템 및 이를 이용한 거리 인식 방법 Download PDF

Info

Publication number
KR20130015326A
KR20130015326A KR1020110077256A KR20110077256A KR20130015326A KR 20130015326 A KR20130015326 A KR 20130015326A KR 1020110077256 A KR1020110077256 A KR 1020110077256A KR 20110077256 A KR20110077256 A KR 20110077256A KR 20130015326 A KR20130015326 A KR 20130015326A
Authority
KR
South Korea
Prior art keywords
reflector
distance
image
target object
image sensor
Prior art date
Application number
KR1020110077256A
Other languages
English (en)
Inventor
전해진
하주영
송인택
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020110077256A priority Critical patent/KR20130015326A/ko
Priority to US13/475,290 priority patent/US20130033597A1/en
Publication of KR20130015326A publication Critical patent/KR20130015326A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

본 발명은 카메라 시스템 및 이를 이용한 거리 인식 방법에 관한 것으로서, 입사되는 영상을 렌즈를 통해 이미지 센서의 기 설정된 영역에 결상시키는 반사체; 반사체를 통해 전달되는 영상을 이미지 센서로 전달하는 렌즈; 렌즈를 통과한 광 형태의 영상을 이미지로 변환하기 위한 이미지 센서; 및 이미지 센서에 의해서 변환된 이미지를 분석하여 목표 사물과의 이격 거리를 파악하는 거리 인식 모듈;을 포함하는 것을 특징으로 한다.

Description

카메라 시스템 및 이를 이용한 거리 인식 방법{Camera System and Method for Recognition Distance using the same}
본 발명은 카메라 시스템 및 이를 이용한 거리 인식 방법에 관한 것이다.
근래 자동차 시장은 안정성과 편의성을 추구하는 추세이다. 이에 따라, 자동차에 다양한 센서를 적용하여, 운전자에게 안전성 및 편의성을 제공하고 있다.
이러한 추세에 따라 자동차 후방 또는 전방에 카메라를 장착하여 자동차 주변의 영상을 운전자에게 제공하여 육안으로 확인할 수 있도록 하는 서비스가 제공되고 있다.
전방 감지 기능은 레이더와 라이나 등을 이용하여 전방 사물을 감지하고, 거리를 인식하는 방법으로 적용되고 있다.
이때, 거리를 인식하기 위한 방법으로서 두 개의 카메라를 스테레오 방식으로 자동차에 설치하고, 두 카메라의 위상 차이를 이용하여 거리를 계산하는 방법이 적용된다.
그러나, 레이더 시스템은 센서 자체가 상당히 고가이며 영상을 표현할 수 없다는 문제점이 있고, 스테레오 카메라는 두 개의 카메라를 설치하여야 한다는 점에서 가격이 많이 소요된다는 문제점이 있다.
한편, 자동차에 두 개의 카메라를 적용하는 경우, 각 카메라의 조립 공차와 렌즈의 해상도에 따라 카메라의 성능이 좌우되며, 각 카메라의 해상도 및 이미지 센서의 화질의 차이에 따라 거리 정보에 오차가 발생한다는 문제점도 발생할 수 있다.
본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, 본 발명의 일 측면은 반사체를 적용하여 하나의 카메라를 통해 자동차 주변의 영상을 취득하고, 목표 사물과의 이격 거리를 산출할 수 있도록 하는 카메라 시스템 및 이를 이용한 거리 인식 방법에 관한 것이다.
본 발명의 실시 예에 의한 카메라 시스템은, 입사되는 영상을 렌즈를 통해 이미지 센서의 기 설정된 영역에 결상시키는 반사체;
상기 반사체를 통해 전달되는 영상을 이미지 센서로 전달하는 렌즈;
상기 렌즈를 통과한 광 형태의 영상을 이미지로 변환하기 위한 이미지 센서; 및
상기 이미지 센서에 의해서 변환된 이미지를 분석하여 목표 사물과의 이격 거리를 파악하는 거리 인식 모듈;을 포함할 수 있다.
또한, 상기 반사체는 프리즘 또는 거울일 수 있다.
또한, 상기 반사체는 제1 반사체, 제2 반사체 및 제3 반사체로 구성되어 동일 선상에 평행하게 배치되며,
상기 제1 반사체와 상기 제3 반사체는 기 설정된 거리만큼 이격되어 배치될 수 있다.
또한, 상기 반사체는 제1 반사체, 제2 반사체 및 제3 반사체로 구성되어 동일 선상에 평행하게 배치되며,
상기 제1 반사체에 입력되는 영상은 상기 제2 반사체에 의해 반사되어 상기 이미지 센서의 우측에 입사되고,
상기 제3 반사체에 입력되는 영상은 상기 제2 반사체에 의해 반사되어 상기 이미지 센서의 좌측에 입사될 수 있다.
또한, 상기 반사체는 제1 반사체, 제2 반사체 및 제3 반사체로 구성되어 동일 선상에 평행하게 배치되며,
상기 거리 인식 모듈은,
상기 이미지 센서에 의해서 변환된 이미지를 수신하는 입력부;
상기 입력부에 의해서 수신된 이미지를 메모리에 저장된 사물 영상과 비교하여 대상을 인식하는 사물 인식 기준에 따라 분석하여 목표 사물을 파악하는 사물 인식부;
상기 사물 인식부를 통해 인식된 상기 제1 반사체 및 상기 제3 반사체의 목표 사물 정보를 거리 추정 기준에 따라 분석하여 목표 사물과의 이격 거리를 추정하는 거리 추정부;
상기 사물 인식부에 의해서 파악된 목표 사물의 영상과 상기 거리 추정부를 통해 파악된 상기 목표 사물과의 이격 거리를 합성하여 표시부를 통해 출력하는 영상 출력부;
상기 영상 출력부를 통해 전달되는 정보를 출력하는 표시부; 및
상기 사물 영상을 포함하여 카메라 시스템과 관련된 정보를 저장하는 메모리;를 포함할 수 있다.
또한, 상기 거리 추정부를 통해 파악된 목표 사물과의 이격 거리가 기 저장된 안전 거리 기준과 일치하지 않는 경우, 경고음을 출력하는 경고음 출력부;
를 더 포함할 수 있다.
또한, 상기 거리 추정 기준은,
Figure pat00001
Figure pat00002
이며,
상기
Figure pat00003
는 목표 사물과의 이격 거리, 상기
Figure pat00004
는 반사체 3을 통해 입사된 이미지 센서의 좌측 이미지의 좌표,
Figure pat00005
는 반사체 1을 통해 입사된 이미지 센서의 우측 이미지의 좌표,
Figure pat00006
는 반사체 1과 반사체 3 간의 거리,
Figure pat00007
는 포커싱 거리,
Figure pat00008
는
Figure pat00009
과
Figure pat00010
간의 픽셀 위치 차일 수 있다.
다른 본 발명의 실시 예에 의한 거리 인식 방법은 반사체 및 이미지 센서를 포함하는 카메라 시스템에서의 목표 사물의 거리 인식 방법으로서,
상기 반사체를 통해 입사되어 상기 이미지 센서에 의해서 변환된 이미지를 수신하는 단계;
수신된 이미지를 기 저장된 사물 영상과 비교하여 대상을 인식하는 사물 인식 기준에 따라 분석하여 목표 사물을 파악하는 단계; 및
파악된 상기 목표 사물의 정보를 거리 추정 기준에 따라 분석하여 목표 사물과의 이격 거리를 추정하는 단계;를 포함할 수 있다.
또한, 상기 반사체는 제1 반사체, 제2 반사체 및 제3 반사체로 구성되어 동일 선상에 평행하게 배치되며,
상기 목표 사물과의 이격 거리를 추정하는 단계 이후에,
상기 목표 사물의 영상과 상기 목표 사물과의 이격 거리를 합성하여 출력하는 단계;를 더 포함할 수 있다.
또한, 상기 목표 사물의 영상과 상기 목표 사물과의 이격 거리를 합성하여 출력하는 단계에서,
상기 목표 사물의 영상은 상기 제1 반사체 또는 제3 반사체를 통해 입사된 영상 중 어느 하나일 수 있다.
또한, 상기 목표 사물과의 이격 거리를 추정하는 단계 이후에,
상기 목표 사물과의 이격 거리를 기 저장된 안전 거리 기준과 비교하는 단계; 및
비교 결과, 상기 목표 사물과의 이격 거리가 상기 안전 거리 기준과 일치하지 않는 경우, 경고음을 출력하는 단계;를 더 포함할 수 있다.
또한, 상기 반사체는 제1 반사체, 제2 반사체 및 제3 반사체로 구성되어 동일 선상에 평행하게 배치되며,
상기 거리 추정 기준은,
Figure pat00011
Figure pat00012
이며,
상기
Figure pat00013
는 목표 사물과의 이격 거리, 상기
Figure pat00014
는 반사체 3을 통해 입사된 이미지 센서의 좌측 이미지의 좌표,
Figure pat00015
는 반사체 1을 통해 입사된 이미지 센서의 우측 이미지의 좌표,
Figure pat00016
는 반사체 1과 반사체 3 간의 거리,
Figure pat00017
는 포커싱 거리,
Figure pat00018
는
Figure pat00019
과
Figure pat00020
간의 픽셀 위치 차일 수 있다.
또한, 상기 반사체는 프리즘 또는 거울일 수 있다.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.
본 발명의 카메라 시스템 및 이를 이용한 거리 인식 방법은 반사체를 적용함에 따라 하나의 렌즈 군과 이미지 센서를 갖는 스테레오 시스템을 구현하는 것이 가능하기 때문에, 특정 목표 대상에 대해 동일한 영상을 취득하는 것이 가능하며, 이로 인해 안정된 영상을 제공할 수 있다는 효과를 기대할 수 있다.
또한, 본 발명은 반사체를 적용함에 따라 하나의 렌즈 군과 이미지 센서를 기초로 스테레오 시스템을 구현하는 것이 가능하기 때문에, 기존의 방식에 비해 시스템 구현 가격이 저렴하다는 장점이 있다.
도 1은 본 발명의 실시 예에 의한 카메라 시스템의 구성을 나타내는 도면,
도 2는 본 발명의 실시 예에 의한 거리 인식 모듈의 구성을 나타내는 도면,
도 3은 본 발명의 실시 예에 의한 거리 인식 방법을 설명하기 위한 도면,
도 4는 본 발명의 실시 예에 의한 거리 인식 방법을 설명하기 위한 흐름도,
도 5는 본 발명의 실시 예에 의한 목표 사물 인식 방법을 설명하기 위한 흐름도,
도 6은 본 발명의 실시 예에 의한 영상 표시 예를 나타내는 도면이다.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서에서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
카메라 시스템
도 1은 본 발명의 실시 예에 의한 카메라 시스템의 구성을 나타내는 도면이다.
도 1에서 도시하는 바와 같이, 카메라 시스템(100)은 입사되는 영상을 렌즈(121)를 통해 이미지 센서(123)의 기 설정된 영역에 결상시키는 반사체(110), 반사체(110)를 통해 전달되는 영상을 이미지 센서(123)로 전달하는 렌즈(121), 렌즈(121)를 통과한 광 형태의 영상을 이미지로 변환하기 위한 이미지 센서(123) 및 이미지 센서(123)에 의해서 변환된 이미지를 분석하여 목표 사물과의 이격 거리를 파악하는 거리 인식 모듈을 포함한다.
도시하지 않았지만, 거리 인식 모듈은 반사체(110), 렌즈(121) 및 이미지 센서(123)를 포함하는 카메라 모듈과 연결되어, 이미지 센서(123)에 의해서 변환된 이미지 정보를 전달받아 이미지 분석을 수행한다.
또한, 반사체(110)는 프리즘 또는 거울일 수 있으며, 도 1에서는 설명의 편의를 위해 프리즘인 경우를 예로 들어 도시하였다.
또한, 반사체(110)는 삼각형 형상의 제1 반사체(111), 제2 반사체(113) 및 제3 반사체(115)로 구성되어 동일 선상에 평행하게 배치되되, 제1 반사체(111)와 제3 반사체(115)는 입사되는 영상을 수신할 수 있도록 역삼각형 형상이 되도록 배치되고 제2 반사체(113)는 삼각형 형상이 되도록 배치된다.
이때, 반사체(110)의 배치 구조는 상술한 예에 한정되지 않으며, 입사되는 영상을 보다 효율적으로 수신하기 위해 변경되는 것이 가능하다.
또한, 제1 반사체(111), 제2 반사체(113) 및 제3 반사체(115)는 하나의 그룹으로 구성되는 것이다.
한편, 입사되는 영상을 수신하는 제1 반사체(111)와 제3 반사체(115)는 기 설정된 거리(d)만큼 이격되어 배치될 수 있다.
상기 거리 d는 목표 사물과의 이격 거리를 산출할 때 이용된다.
도 1에서 도시하는 바와 같이, 제1 반사체(111)에 입력되는 영상은 제2 반사체(113)에 의해 반사되어 이미지 센서(123)의 우측에 입사되고, 제3 반사체(115)에 입력되는 영상은 제2 반사체(113)에 의해 반사되어 이미지 센서(123)의 좌측에 입사될 수 있다.
또한, 본 발명의 실시 예에 의한 이미지 센서(123)는 메가(Mega)급 해상도(예를 들어, 1280 × 800)를 적용하며, 이에 한정되지는 않는다.
이는, 두 개의 영상으로 분할이 요구되기 때문이다. 예를 들어, 반사체 1에 의한 영상은 메가 해상도의 절반인 640 × 800 영상을 활용하고, 반사체 3에 의한 영상도 동일하게 640 × 800 영상을 활용하기 위한 것이다.
또한, 이미지 센서(123)의 일면에는 이미지 센서(123)와 전기적으로 연결되는 인쇄회로기판(125)이 배치될 수 있다.
도 2는 본 발명의 실시 예에 의한 거리 인식 모듈의 구성을 나타내는 도면이다.
도 2에서 도시하는 바와 같이, 거리 인식 모듈(130)은 이미지 센서(123)에 의해서 변환된 이미지를 수신하는 입력부(131), 입력부(131)에 의해서 수신된 이미지를 메모리(135)에 저장된 사물 영상과 비교하여 대상을 인식하는 사물 인식 기준에 따라 분석하여 목표 사물을 파악하는 사물 인식부(132), 사물 인식부(132)를 통해 인식된 제1 반사체(111) 및 제3 반사체(115)의 목표 사물 정보를 거리 추정 기준에 따라 분석하여 목표 사물과의 이격 거리를 추정하는 거리 추정부(133)를 포함할 수 있다.
또한, 거리 인식 모듈(130)은 사물 인식부(132)에 의해서 파악된 목표 사물의 영상과 거리 추정부(133)를 통해 파악된 목표 사물과의 이격 거리를 합성하여 표시부(136)를 통해 출력하는 영상 출력부(134), 영상 출력부(134)를 통해 전달되는 정보를 출력하는 표시부(136) 및 사물 영상을 포함하여 카메라 시스템과 관련된 정보를 저장하는 메모리(135)를 더 포함할 수 있다.
또한, 거리 인식 모듈(130)은 거리 추정부(133)를 통해 파악된 목표 사물과의 이격 거리가 기 저장된 안전 거리 기준과 일치하지 않는 경우, 경고음을 출력하는 경고음 출력부(137)를 더 포함할 수 있다.
상기 표시부(136)는 영상 등을 화면 상에 표시하는 것이 가능한 디스플레이일 수 있다.
상술한 사물 인식부(132)는 사물 인식 기준(예를 들어, 신경망 알고리즘)을 적용하여 목표 사물을 인식한다.
이때, 신경망 알고리즘은 다양한 물체의 영상 이미지 패턴을 입력층과 출력층을 통하여 학습을 시키고, 거리 인식이 요구되는 이미지가 입력된 경우, 하이 패스 필터(high pass filter) 수행 후 입력 항에 입력시켜 목표 사물의 형상이 맞으면 대표점을 표시하는 방식이다.
예를 들어, 거리 인식 모듈(130)은 도로 상에 위치할 수 있는 목표 사물에 대한 영상(대상(승용차, 버스, 오토바이, 트럭 등), 대상의 종류(승용차의 종류별 영상, 버스의 종류별 영상, 오토바이의 종류별 영상, 트럭의 종류별 영상 등))을 미리 메모리(135)에 저장하고, 입력부(131)를 통해 이미지가 입력되면, 사물 인식부(132)를 통해 입력된 이미지를 메모리 상에 저장된 영상과 비교하여 목표 사물이 자동차인지, 버스인지 등을 인식하고, 거리 분석을 위한 기준점인 대표점을 파악하는 것이다.
이후, 신경망 알고리즘을 통해 파악된 목표 사물의 대표점을 기준으로 목표 사물과 자동차(카메라 시스템이 탑재된 자동차) 간의 거리 정보를 파악하는 것이다.
도 3은 본 발명의 실시 예에 의한 거리 인식 방법을 설명하기 위한 도면이다.
도 3에서 도시하는 바와 같이, 반사체 1(111)과 반사체 3(115)은 거리 d를 갖도록 배치되며, 입사되는 영상을 렌즈(121)를 통해 이미지 센서(123)의 우측과 좌측에 각각 결상시킨다.
이때, 이미지 센서(123)의 좌측과 우측에 결상된 영상은 각각 동일한 포커싱 거리인 f를 가지며, 반사체 1(111)과 반사체 3(115)의 이격 거리인 d를 갖는다.
또한, 3차원 공간상의 피사체(목표 사물) 위치는
Figure pat00021
이고, 좌우측에 투영된 이미지의 점의 좌표는 각각
Figure pat00022
와
Figure pat00023
이다.
상술한 조건으로 배치된 각 구성(반사체, 렌즈, 이미지 센서 등) 및 미리 설정된 조건(포커싱 거리 f, 반사체 간의 이격 거리 d 등)을 기초로 거리 추정부(133)는 삼각형의 비례 관계식에 따라 수학식 1 및 수학식 2와 같이 투영된 점을 산출한다.
이때, D를 변위로 하여 깊이 정보에 반비례 항을 알 수 있게 된다. 이를 이용하여 값을 3차원 정보로 산출할 수 있다.
즉, 거리 추정 기준은 수학식 1과 수학식 2와 같을 수 있다.
Figure pat00024
Figure pat00025
상기
Figure pat00026
는 목표 사물과의 이격 거리, 상기
Figure pat00027
는 반사체 3을 통해 입사된 이미지 센서의 좌측 이미지의 좌표,
Figure pat00028
는 반사체 1을 통해 입사된 이미지 센서의 우측 이미지의 좌표,
Figure pat00029
는 반사체 1과 반사체 3 간의 거리,
Figure pat00030
는 포커싱 거리,
Figure pat00031
는
Figure pat00032
과
Figure pat00033
간의 픽셀 위치 차일 수 있다.
한편, 도 6에서 도시하는 바와 같이, 영상 출력부(134)는 사물 인식부(132)와 거리 추정부(133)에 의해서 파악된 정보를 기초로 전방에 위치하는 다수의 차량의 영상(목표 사물의 영상)과 각각에 대한 이격 거리(Am, Bm, Cm)를 함께 표시하여 운전자가 확인할 수 있도록 한다. 이때, 도 6은 카메라 시스템이 자동차의 전방을 표시하도록 설치된 경우를 예로 들어 도시한 것이다.
또한, 영상 출력부(134)는 운용자에 의해서 설정된 설정값에 따라 반사체 1(111)을 통해 입사된 목표 사물의 영상과 반사체 3(115)을 통해 입사된 목표 사물의 영상 중 어느 하나를 추출하여 해당 이격 거리와 함께 출력한다.
이는, 반사체 1(111)과 반사체 3(115)을 통해 입사된 영상의 컬러와 해상도가 서로 동일하기 때문에, 둘 중 어느 것이 선택되더라도 관계없는 것이다.
이로 인해, 본 발명의 실시예에 의한 카메라 시스템(100)은 반사체 1(111)로부터 입사되는 영상과 반사체 3(115)으로부터 입사되는 영상의 관리가 용이하다는 효과를 기대할 수 있다.
또한, 본 발명의 카메라 시스템(100)은 반사체 1(111)로부터 입사되는 영상과 반사체 3(115)으로부터 입사되는 영상의 해상도 및 이미지 센서의 화질이 동일하기 때문에, 영상 차이에 의한 거리 검출의 정확도를 향상시킬 수 있고, 이로 인해 안정된 영상을 운전자에게 제공할 수 있다는 장점이 있다.
거리 인식 방법
도 4는 본 발명의 실시 예에 의한 거리 인식 방법을 설명하기 위한 흐름도로서, 목표 사물 인식 방법을 설명하기 위한 도 5 및 영상 표시 예를 나타내는 도 6을 참조하여 설명하기로 한다.
먼저, 거리 인식 모듈(130)의 입력부(131)는 반사체(110)를 통해 입사되어 이미지 센서(123)에 의해서 변환된 이미지를 수신한다(S110).
여기에서, 반사체(110)는 제1 반사체(111), 제2 반사체(113) 및 제3 반사체(115)로 구성되어 동일 선상에 평행하게 배치된다.
보다 상세히 설명하면, 입력부(131)는 반사체 1(111)과 반사체 3(115)으로부터 각각 입사되어 렌즈(121)를 통해 이미지 센서(123)로 전달되어 변환된 이미지를 수신한다.
다음, 사물 인식부(132)는 입력부(131)를 통해 수신된 이미지를 메모리(135)에 기 저장된 사물 영상과 비교하여 대상을 인식하는 사물 인식 기준에 따라 분석하여 목표 사물을 파악한다(S130).
보다 상세히 설명하면, 도 5에서 도시하는 바와 같이, 거리 인식 모듈(130)의 메모리(135)는 목표 사물 인식을 위한 다양한 사물 영상을 저장한다(S210).
다음, 사물 인식부(132)는 사물 인식 기준(예를 들어, 신경망 알고리즘)을 적용하여 목표 사물을 인식한다(S230, S250).
이때, 신경망 알고리즘은 다양한 물체의 영상 이미지 패턴을 입력층과 출력층을 통하여 학습을 시키고, 거리 인식이 요구되는 이미지가 입력된 경우, 하이 패스 필터(high pass filter) 수행 후 입력 항에 입력시켜 목표 사물의 형상이 맞으면 대표점을 표시하는 방식이다.
이후, 신경망 알고리즘을 통해 파악된 목표 사물의 대표점을 기준으로 목표 사물과 자동차 간의 거리 정보를 파악하는 것이다.
다음, 거리 추정부(133)는 사물 인식부(132)를 통해 파악된 목표 사물의 정보(목표 사물의 형상, 대표점 등)를 거리 추정 기준에 따라 분석하여 목표 사물과의 이격 거리를 추정한다(S150).
보다 상세히 설명하면, 거리 추정부(133)는 사물 인식부(132)를 통해 인식된 제1 반사체(111) 및 제3 반사체(115)의 목표 사물 정보를 거리 추정 기준에 따라 분석하여 목표 사물과의 이격 거리를 추정한다.
여기에서, 거리 추정 기준은 상술한 수학식 1 및 수학식 2와 같을 수 있다.
이때, 반사체 1(111)과 반사체 3(115) 간의 이격 거리인 d와 포커싱 거리 f는 초기 설정된 정보이다.
다음, 영상 출력부(134)는 목표 사물의 영상과 목표 사물과의 이격 거리를 합성하여 출력한다(S170).
예를 들어, 카메라 시스템이 자동차의 전방을 표시하도록 설치된 경우, 도 6에서 도시하는 바와 같이, 영상 출력부(134)는 전방에 위치하는 다수의 차량의 영상과 각각에 대한 이격 거리(Am, Bm, Cm)를 함께 표시하여 운전자가 확인할 수 있도록 하는 것이다.
이때, 영상 출력부(134)는 운용자에 의해서 설정된 설정값에 따라 반사체 1(111)을 통해 입사된 목표 사물의 영상과 반사체 3(115)을 통해 입사된 목표 사물의 영상 중 어느 하나를 추출하여 해당 이격 거리와 함께 출력한다.
이는, 반사체 1(111)과 반사체 3(115)을 통해 입사된 영상의 컬러와 해상도가 서로 동일하기 때문에, 둘 중 어느 것이 선택되더라도 관계없는 것이다.
이로 인해, 본 발명의 실시예에 의한 카메라 시스템(100)은 반사체 1(111)로부터 입사되는 영상과 반사체 3(115)으로부터 입사되는 영상의 관리가 용이하다는 효과를 기대할 수 있다.
또한, 본 발명의 카메라 시스템(100)은 반사체 1(111)로부터 입사되는 영상과 반사체 3(115)으로부터 입사되는 영상의 해상도 및 이미지 센서의 화질이 동일하기 때문에, 영상 차이에 의한 거리 검출의 정확도를 향상시킬 수 있고, 이로 인해 안정된 영상을 운전자에게 제공할 수 있다는 장점이 있다.
한편, 도시하지 않았지만, 단계 S150 이후에, 경고음 출력부(137)는 목표 사물과의 이격 거리를 기 저장된 안전 거리 기준과 비교한다.
비교 결과, 목표 사물과의 이격 거리가 안전 거리 기준과 일치하지 않는 경우, 경고음 출력부(137)는 경고음을 출력하여 운전자가 인지할 수 있도록 한다.
이상 본 발명을 구체적인 실시예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명에 따른 카메라 시스템 및 이를 이용한 거리 인식 방법은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함이 명백하다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.
100 : 카메라 시스템 110, 111, 113, 115 : 반사체
120 : 카메라 모듈 121 : 렌즈
123 : 이미지 센서 125 : 인쇄회로기판
130 : 거리 인식 모듈 131 : 입력부
132 : 사물 인식부 133 : 거리 추정부
134 : 영상 출력부 135 : 메모리
136 : 표시부 137 : 경고음 출력부

Claims (13)

  1. 입사되는 영상을 렌즈를 통해 이미지 센서의 기 설정된 영역에 결상시키는 반사체;
    상기 반사체를 통해 전달되는 영상을 이미지 센서로 전달하는 렌즈;
    상기 렌즈를 통과한 광 형태의 영상을 이미지로 변환하기 위한 이미지 센서; 및
    상기 이미지 센서에 의해서 변환된 이미지를 분석하여 목표 사물과의 이격 거리를 파악하는 거리 인식 모듈;
    을 포함하는 카메라 시스템.
  2. 청구항 1에 있어서,
    상기 반사체는 프리즘 또는 거울인 카메라 시스템.
  3. 청구항 1에 있어서,
    상기 반사체는 제1 반사체, 제2 반사체 및 제3 반사체로 구성되어 동일 선상에 평행하게 배치되며,
    상기 제1 반사체와 상기 제3 반사체는 기 설정된 거리만큼 이격되어 배치되는 카메라 시스템.
  4. 청구항 1에 있어서,
    상기 반사체는 제1 반사체, 제2 반사체 및 제3 반사체로 구성되어 동일 선상에 평행하게 배치되며,
    상기 제1 반사체에 입력되는 영상은 상기 제2 반사체에 의해 반사되어 상기 이미지 센서의 우측에 입사되고,
    상기 제3 반사체에 입력되는 영상은 상기 제2 반사체에 의해 반사되어 상기 이미지 센서의 좌측에 입사되는 카메라 시스템.
  5. 청구항 1에 있어서,
    상기 반사체는 제1 반사체, 제2 반사체 및 제3 반사체로 구성되어 동일 선상에 평행하게 배치되며,
    상기 거리 인식 모듈은,
    상기 이미지 센서에 의해서 변환된 이미지를 수신하는 입력부;
    상기 입력부에 의해서 수신된 이미지를 메모리에 저장된 사물 영상과 비교하여 대상을 인식하는 사물 인식 기준에 따라 분석하여 목표 사물을 파악하는 사물 인식부;
    상기 사물 인식부를 통해 인식된 상기 제1 반사체 및 상기 제3 반사체의 목표 사물 정보를 거리 추정 기준에 따라 분석하여 목표 사물과의 이격 거리를 추정하는 거리 추정부;
    상기 사물 인식부에 의해서 파악된 목표 사물의 영상과 상기 거리 추정부를 통해 파악된 상기 목표 사물과의 이격 거리를 합성하여 표시부를 통해 출력하는 영상 출력부;
    상기 영상 출력부를 통해 전달되는 정보를 출력하는 표시부; 및
    상기 사물 영상을 포함하여 카메라 시스템과 관련된 정보를 저장하는 메모리;
    를 포함하는 카메라 시스템.
  6. 청구항 5에 있어서,
    상기 거리 추정부를 통해 파악된 목표 사물과의 이격 거리가 기 저장된 안전 거리 기준과 일치하지 않는 경우, 경고음을 출력하는 경고음 출력부;
    를 더 포함하는 카메라 시스템.
  7. 청구항 5에 있어서,
    상기 거리 추정 기준은,
    Figure pat00034

    Figure pat00035
    이며,
    상기
    Figure pat00036
    는 목표 사물과의 이격 거리, 상기
    Figure pat00037
    는 반사체 3을 통해 입사된 이미지 센서의 좌측 이미지의 좌표,
    Figure pat00038
    는 반사체 1을 통해 입사된 이미지 센서의 우측 이미지의 좌표,
    Figure pat00039
    는 반사체 1과 반사체 3 간의 거리,
    Figure pat00040
    는 포커싱 거리,
    Figure pat00041
    는
    Figure pat00042
    과
    Figure pat00043
    간의 픽셀 위치 차인 카메라 시스템.
  8. 반사체 및 이미지 센서를 포함하는 카메라 시스템에서의 목표 사물의 거리 인식 방법으로서,
    상기 반사체를 통해 입사되어 상기 이미지 센서에 의해서 변환된 이미지를 수신하는 단계;
    수신된 이미지를 기 저장된 사물 영상과 비교하여 대상을 인식하는 사물 인식 기준에 따라 분석하여 목표 사물을 파악하는 단계; 및
    파악된 상기 목표 사물의 정보를 거리 추정 기준에 따라 분석하여 목표 사물과의 이격 거리를 추정하는 단계;
    를 포함하는 거리 인식 방법.
  9. 청구항 8에 있어서,
    상기 반사체는 제1 반사체, 제2 반사체 및 제3 반사체로 구성되어 동일 선상에 평행하게 배치되며,
    상기 목표 사물과의 이격 거리를 추정하는 단계 이후에,
    상기 목표 사물의 영상과 상기 목표 사물과의 이격 거리를 합성하여 출력하는 단계;
    를 더 포함하는 거리 인식 방법.
  10. 청구항 9에 있어서,
    상기 목표 사물의 영상과 상기 목표 사물과의 이격 거리를 합성하여 출력하는 단계에서,
    상기 목표 사물의 영상은 상기 제1 반사체 또는 제3 반사체를 통해 입사된 영상 중 어느 하나인 거리 인식 방법.
  11. 청구항 8에 있어서,
    상기 목표 사물과의 이격 거리를 추정하는 단계 이후에,
    상기 목표 사물과의 이격 거리를 기 저장된 안전 거리 기준과 비교하는 단계; 및
    비교 결과, 상기 목표 사물과의 이격 거리가 상기 안전 거리 기준과 일치하지 않는 경우, 경고음을 출력하는 단계;
    를 더 포함하는 거리 인식 방법.
  12. 청구항 8에 있어서,
    상기 반사체는 제1 반사체, 제2 반사체 및 제3 반사체로 구성되어 동일 선상에 평행하게 배치되며,
    상기 거리 추정 기준은,
    Figure pat00044

    Figure pat00045
    이며,
    상기
    Figure pat00046
    는 목표 사물과의 이격 거리, 상기
    Figure pat00047
    는 반사체 3을 통해 입사된 이미지 센서의 좌측 이미지의 좌표,
    Figure pat00048
    는 반사체 1을 통해 입사된 이미지 센서의 우측 이미지의 좌표,
    Figure pat00049
    는 반사체 1과 반사체 3 간의 거리,
    Figure pat00050
    는 포커싱 거리,
    Figure pat00051
    는
    Figure pat00052
    과
    Figure pat00053
    간의 픽셀 위치 차인 거리 인식 방법.
  13. 청구항 8에 있어서,
    상기 반사체는 프리즘 또는 거울인 거리 인식 방법.
KR1020110077256A 2011-08-03 2011-08-03 카메라 시스템 및 이를 이용한 거리 인식 방법 KR20130015326A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110077256A KR20130015326A (ko) 2011-08-03 2011-08-03 카메라 시스템 및 이를 이용한 거리 인식 방법
US13/475,290 US20130033597A1 (en) 2011-08-03 2012-05-18 Camera system and method for recognizing distance using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110077256A KR20130015326A (ko) 2011-08-03 2011-08-03 카메라 시스템 및 이를 이용한 거리 인식 방법

Publications (1)

Publication Number Publication Date
KR20130015326A true KR20130015326A (ko) 2013-02-14

Family

ID=47626725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110077256A KR20130015326A (ko) 2011-08-03 2011-08-03 카메라 시스템 및 이를 이용한 거리 인식 방법

Country Status (2)

Country Link
US (1) US20130033597A1 (ko)
KR (1) KR20130015326A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101868293B1 (ko) * 2017-11-10 2018-07-17 주식회사 아이티티 차량용 라이다 장치
CN110595361A (zh) * 2019-09-27 2019-12-20 上海悦易网络信息技术有限公司 图像采集装置及图像检测设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150133597A (ko) * 2014-05-20 2015-11-30 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN110412564A (zh) * 2019-07-29 2019-11-05 哈尔滨工业大学 一种基于多传感器融合的列车车皮识别与测距方法
TWI728696B (zh) * 2020-02-13 2021-05-21 日商泰克霍隆公司 距離測定裝置
EP4062101B1 (en) 2020-05-24 2023-11-29 Lumus Ltd. Method of fabrication of compound light-guide optical elements

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3986748B2 (ja) * 2000-11-10 2007-10-03 ペンタックス株式会社 ３次元画像検出装置
KR20100006700A (ko) * 2008-07-10 2010-01-21 현대자동차주식회사 차량의 나이트비젼 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
JP2001283216A (ja) * 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
US20020030857A1 (en) * 2000-06-15 2002-03-14 Chieh-Jen Lee Scanning lens device of scanner
US20020134151A1 (en) * 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US7616293B2 (en) * 2004-04-29 2009-11-10 Sigma Space Corporation System and method for traffic monitoring, speed determination, and traffic light violation detection and recording
US7567271B2 (en) * 2006-01-09 2009-07-28 Sony Corporation Shared color sensors for high-resolution 3-D camera
TWI461824B (zh) * 2010-06-29 2014-11-21 Hon Hai Prec Ind Co Ltd 立體取像裝置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3986748B2 (ja) * 2000-11-10 2007-10-03 ペンタックス株式会社 ３次元画像検出装置
KR20100006700A (ko) * 2008-07-10 2010-01-21 현대자동차주식회사 차량의 나이트비젼 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101868293B1 (ko) * 2017-11-10 2018-07-17 주식회사 아이티티 차량용 라이다 장치
CN110595361A (zh) * 2019-09-27 2019-12-20 上海悦易网络信息技术有限公司 图像采集装置及图像检测设备

Also Published As

Publication number Publication date
US20130033597A1 (en) 2013-02-07

Similar Documents

Publication Publication Date Title
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
JP4406381B2 (ja) 障害物検出装置及び方法
KR101417399B1 (ko) 차량의 주차 위치 표시 장치 및 방법
JP4899424B2 (ja) 物体検出装置
CN108692719B (zh) 物体检测装置
US20090268027A1 (en) Driving Assistance System And Vehicle
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
US20170140542A1 (en) Vehicular image processing apparatus and vehicular image processing system
KR20130015326A (ko) 카메라 시스템 및 이를 이용한 거리 인식 방법
US9864915B2 (en) Around view monitoring apparatus and method thereof
WO2010113239A1 (ja) 画像統合装置および画像統合方法
US9715632B2 (en) Intersection recognizing apparatus and computer-readable storage medium
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN111819571A (zh) 具有经调整适配的投影面的全景环视系统
WO2018074085A1 (ja) 測距装置、および、測距装置の制御方法
JP2006318059A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP2006318062A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP6564127B2 (ja) 自動車用視覚システム及び視覚システムを制御する方法
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
KR101721442B1 (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법
JP4553071B1 (ja) ３次元情報表示装置および３次元情報表示方法
JP2010107435A (ja) 地物位置認識装置
KR20160133386A (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템의 충돌방지방법
JP2008299787A (ja) 車両検知装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application