KR101594314B1 - 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법 - Google Patents

3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법 Download PDF

Info

Publication number
KR101594314B1
KR101594314B1 KR1020140170267A KR20140170267A KR101594314B1 KR 101594314 B1 KR101594314 B1 KR 101594314B1 KR 1020140170267 A KR1020140170267 A KR 1020140170267A KR 20140170267 A KR20140170267 A KR 20140170267A KR 101594314 B1 KR101594314 B1 KR 101594314B1
Authority
KR
South Korea
Prior art keywords
distance
lens
pinhole
light
image sensor
Prior art date
Application number
KR1020140170267A
Other languages
English (en)
Inventor
이병수
Original Assignee
주식회사 템퍼스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 템퍼스 filed Critical 주식회사 템퍼스
Priority to KR1020140170267A priority Critical patent/KR101594314B1/ko
Application granted granted Critical
Publication of KR101594314B1 publication Critical patent/KR101594314B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

비전도성 물체의 적어도 어느 일 부분에서 나오는 빛을 통과시킬 수 있는 렌즈(lens); 다수의 픽셀(pixel)들을 구비하며, 상기 비전도성 물체와 상기 렌즈에 의해 정해진 초점거리 근처에 배치된, 이미지센서; 상기 초점거리 내에 배치된 핀 홀 어레이(pin hole array); 상기 렌즈 또는 상기 핀 홀 어레이를 이동시킬 수 있는 구동부; 및 상기 핀 홀 어레이에 형성된 적어도 하나의 핀 홀을 통과하는 빛의 양에 따라 상기 구동부를 제어할 수 있으며, 상기 이미지센서와 상기 핀 홀 어레이 사이의 거리 값 및 상기 이미지센서와 상기 렌즈 사이의 거리 값 중에서 선택된 어느 하나와 상기 빛의 양을 분석하여 상기 비전도성 물체와 렌즈 사이의 거리 값을 연산할 수 있는, 제어부;를 포함하는, 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법을 제공한다.

Description

3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법{3D distance measuring system and 3D distance measuring method}
본 발명은 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법에 관한 것으로서, 더 상세하게는 카메라를 사용하여 카메라에 나타나는 비전도성을 가진 피사체의 각 부분과 카메라와의 거리를 추정하고, 3차원 거리 지도(3D distance map)를 작성할 수 있는 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법에 관한 것이다.
물체의 거리 인식은 자동차나 게임 등에서 응용되고 있는 기술로, 카메라에 나타나는 각각의 물체의 거리를 측정하여 3차원 거리 지도를 작성하는 방식을 사용한다. 물체의 거리 인식의 응용 예는, 예를 들어, 자동차 전면에 장착되어 앞 차와의 거리를 추정하거나 갑자기 나타나는 보행자의 거리를 추정하여 충돌의 위험을 경고하는 등의 응용으로 도입되고 있는 기술이다. MS는 X-box에 사용자와 주위 환경의 거리를 인식하는 시스템을 사용하여, 근거리에 있는 사용자의 동작에 따라 반응하는 게임 등을 출시하고 있다.
3차원 거리를 추정하는 방식은 광원을 사용하는 액티브(active) 방식과 광원을 사용하지 않는 패시브(passive) 방식으로 구분할 수 있다. 액티브 방식에는 레이저를 순간적으로 조사하고 반사되는 빛이 카메라에 도달하는 시간을 측정하는 ToF(time of flight) 방식이 주로 사용된다. 레이저의 반사가 일어나는 이미지 상의 모든 점들의 거리를 추정할 수 있는 가장 우수한 방식으로 인정되지만 강한 레이저 광원이 필요하므로 사람과 같이 인체에 적용하기 어려워서 주로 군사용이나 지리측정 등의 한정된 용도에 사용되고 있다. 이에 대한 대안으로 일정한 패턴(pattern)광을 피사체에 조사하고 피사체의 거리에 따라 변형되는 광의 패턴으로부터 거리를 구하는 방식을 사용하는 경우(예: MS의 X-box에 채용된 키넥트)는 다음과 같다. 예를 들면, 몇 개의 IR 레이저 포인터(laser pointer)를 물체에 조사하여 물체의 거리에 따라 변형된 레이저 포인터의 위치를 추정하여 근접한 물체의 거리를 추정하는 방식을 사용한다. 따라서 비교적 간단한 시스템 구성과 거리 추정 알고리즘이 사용되는 장점이 있다. 반면에 외부 광이 강하지 않은 실내에서도 동작이 가능하지만, 실내의 환경에서도 거리를 추정할 수 있는 점이 몇 개의 한정된 점에 불과하여 정밀한 동작을 인식할 수 없다. 또 태양에 의한 강한 적외선이 조사되고 있는 실외 환경에서는 적용이 어렵다는 문제점이 있다.
패시브 방식은 별도의 광원을 사용하지 않고, 조명이나 태양광 등의 일상적 광원에 의하여 피사체에서 반사되는 빛을 사용하는 방법으로서, 스테레오 카메라(stereo camera)가 가장 일반적으로 사용된다. 스테레오 카메라는 하나의 물체에서 나오는 빛이 서로 일정한 거리를 유지하는 두 개 이상의 카메라에 투사될 때, 물체의 거리에 따라 시차가 발생한다는 것을 이용한다. 시차를 가진 두 이미지 상에 나타나는 하나의 동일한 물체의 거리 추정은 하나의 이미지를 기준으로 다른 이미지 상에 동일한 물체가 얼마만큼의 이동이 발생하였는가를 계산하는 패턴 매칭(pattern matching)을 사용한다. 서로 다른 두 이미지에서 나타나는 동일 물체를 찾는 것은 고도의 지능적인 알고리즘이 필요하고 계산 양이 많으며, 두 카메라를 정확히 얼라인(align)시키는 것이 어려워서 카메라의 미스 얼라인(mis-align, 카메라의 이동, 회전, 렌즈 왜곡 등)에 의한 복잡한 보상이 필요하여 상용화하기에는 어려운 점이 있다. 이를 개선하기 위하여 하나의 카메라를 사용하여 스테레오 카메라와 동일한 동작을 할 수 있는 여러 가지의 방식들이 제안되었다. 실현된 기술 중의 하나는, 하나의 렌즈 하부에 다수 개의 중간렌즈를 배치하는 방식이다. 이 방식은 피사체의 이미지가 중간 렌즈에 의하여 여러 위치에 나타나고, 각각의 중간렌즈에 나타나는 동일 물체들의 시차를 패턴 매칭을 사용하여 거리를 추정하는 방식이다. 이 방식은 시스템의 광학적 구성이 간단하고 렌즈나 이미지센서의 정렬 등에 대한 보정이 필요 없으며, 각각의 중간렌즈에 나타나는 패턴이 적어서 패턴 매칭을 하기 쉬운 장점이 있어서 계산의 양은 줄어들지만, 하나의 물체에 대하여 다수의 동일 이미지가 나타나므로 패턴 매칭의 계산에 중복되는 연산이 필요하다. 또한, 패턴 매칭을 사용하는 방식의 근본적인 문제로 제기되는 이미지의 엣지(edge)의 거리 정보만을 포함하므로 평평한 물체(예: 동일한 생삭의 벽 등)의 거리를 추정할 수 없다는 근본적인 문제가 있다.
한국공개특허 제 10-2014-0102900호 (2014.08.25.)
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 별도의 광원을 사용하지 않고 평평한 벽면을 갖는 피사체에서도 거리를 추정할 수 있으며, 간단한 알고리즘을 사용하여 거리 추정이 가능한 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법에 관한 것이다. 그러나, 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 관점에 따르면, 3차원 거리 측정 시스템은 비전도성 물체의 적어도 어느 일 부분에서 나오는 빛을 통과시킬 수 있는 렌즈(lens); 다수의 픽셀(pixel)들을 구비하며, 상기 비전도성 물체와 상기 렌즈에 의해 정해진 초점거리 근처에 배치된, 이미지센서; 상기 초점거리 내에 배치된 핀 홀 어레이(pin hole array); 상기 렌즈 또는 상기 핀 홀 어레이를 이동시킬 수 있는 구동부; 및 상기 핀 홀 어레이에 형성된 적어도 하나의 핀 홀을 통과하는 빛의 양에 따라 상기 구동부를 제어할 수 있으며, 상기 이미지센서와 상기 핀 홀 어레이 사이의 거리 값 및 상기 이미지센서와 상기 렌즈 사이의 거리 값 중에서 선택된 어느 하나와 상기 빛의 양을 분석하여 상기 비전도성 물체와 렌즈 사이의 거리 값을 연산할 수 있는, 제어부;를 포함할 수 있다.
상기 렌즈를 지지하는 경통;을 포함할 수 있다.
본 발명의 다른 관점에 따르면, 상술한 3차원 거리 측정 시스템을 이용한 3차원 거리 측정 방법으로서, 상기 비전도성 물체의 적어도 어느 일부분에서 나오는 빛이 상기 렌즈를 거쳐 상기 적어도 하나의 핀 홀을 통과하여 상기 이미지센서에 도달하는 단계; 및 상기 제어부에서, 상기 핀 홀 어레이가 이동함에 따라 달라지는 상기 적어도 하나의 핀 홀을 통과하는 빛의 양이 최대가 될 때, 상기 이미지센서와 상기 핀 홀 어레이 사이의 거리 값에 비례함을 이용하여 상기 비전도성 물체와 상기 렌즈 사이의 거리 값을 연산하는 단계;를 포함할 수 있다.
상기 이미지센서의 픽셀들의 신호 값이 최대가 될 때, 상기 이미지센서와 상기 핀 홀 어레이 사이의 거리 값을 구하면 상기 핀 홀들에 대응되는 상기 비전도성 물체와 상기 렌즈 사이의 거리를 구할 수 있다.
상기 적어도 하나의 핀 홀을 통과하는 빛에 의해 감지되는 상기 픽셀 값으로부터 상기 빛의 컬러 값을 얻을 수 있다.
본 발명의 또 다른 관점에 따르면, 상술한 3차원 거리 측정 시스템을 이용한 3차원 거리 측정 방법으로서, 상기 비전도성 물체의 적어도 어느 일부분에서 나오는 빛이 상기 렌즈를 거쳐 상기 적어도 하나의 핀 홀을 통과하여 상기 이미지센서에 도달하는 단계; 및 상기 제어부에서, 상기 렌즈가 이동함에 따라 달라지는 상기 적어도 하나의 핀 홀을 통과하는 빛의 양이 최대가 될 때, 상기 렌즈와 상기 핀 홀 어레이 사이의 거리 값에 비례함을 이용하여 상기 비전도성 물체와 상기 렌즈 사이의 거리 값을 연산하는 단계;를 포함할 수 있다.
상기 이미지센서의 픽셀들의 신호 값이 최대가 될 때, 상기 렌즈와 상기 핀 홀 어레이 사이의 거리 값을 구하면 상기 핀 홀들에 대응되는 상기 비전도성 물체와 상기 렌즈 사이의 거리를 구할 수 있다.
상기 적어도 하나의 핀 홀을 통과하는 빛에 의해 감지되는 상기 픽셀 값으로부터 상기 빛의 컬러 값을 얻을 수 있다.
상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 이동이 가능한 핀 홀 어레이 및 이동이 가능한 렌즈 중에서 선택된 어느 하나와 이미지센서를 사용한 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법에 의하면 피사체의 거리 정보와 색 정보를 동시에 얻을 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 렌즈에 의한 물체의 거리에 따른 초점의 예를 개략적으로 도시한 도면이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 3차원 거리 측정 시스템을 개략적으로 도시한 구성도이다.
도 2c는 본 발명의 일 실시예에 따른 3차원 거리 측정 방법을 개략적으로 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 3차원 거리 측정 시스템에서 핀 홀과 이미지센서 사이의 거리가 달라짐에 따라 투과된 빛의 광량 변화를 개략적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 핀 홀 어레이를 개략적으로 도시한 도면이다.
도 5a 및 도 5b는 본 발명의 다른 실시예에 따른 3차원 거리 측정 시스템을 개략적으로 도시한 구성도이다.
도 5c는 본 발명의 다른 실시예에 따른 3차원 거리 측정 방법을 개략적으로 도시한 순서도이다.
도 6은 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 빛이 피사체의 종류에 따라 반사되거나 산란될 때의 형상을 개략적으로 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 3차원 거리 측정 시스템을 이용하여 하나의 초점에 맺힌 빛이 핀 홀을 통과하여 이미지센서에 도달할 때, 핀 홀과 초점의 거리에 따른 이미지센서에 도달하는 빛의 세기를 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있는 것으로, 이하의 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 또한 설명의 편의를 위하여 도면에서는 구성 요소들이 그 크기가 과장 또는 축소될 수 있다.
본 실시예를 설명하는 과정에서 언급하는 "상의" 또는 "하의"와 같은 용어들은, 도면에서 도해되는 것처럼, 다른 요소들에 대한 어떤 요소들의 상대적인 관계를 기술하기 위해 사용될 수 있다. 즉, 상대적 용어들은 도면에서 묘사되는 방향과 별도로 구조체의 다른 방향들을 포함하는 것으로 이해될 수도 있다. 예를 들어, 도면들에서 구조체의 상하가 뒤집어 진다면, 다른 요소들의 상면 상에 존재하는 것으로 묘사되는 요소들은 상기 다른 요소들의 하면 상에 존재할 수 있다. 그러므로 예로써 든, "상의"라는 용어는, 도면의 특정한 방향을 기준으로, "상의" 및 "하의" 방향 모두를 포함할 수 있다.
또한, 본 실시예를 설명하는 과정에서, 어떠한 구성요소가 다른 구성요소 "상에" 위치하거나, 다른 구성요소에 "연결"된다고 언급할 때는, 상기 구성요소는 상기 다른 구성요소의 직접 상에 위치하거나, 상기 다른 구성요소에 직접 연결되는 것을 의미할 수도 있으나, 나아가, 하나 또는 둘 이상의 개재하는 구성요소들이 그 사이에 존재할 수 있음을 의미할 수도 있다. 하지만, 어떠한 구성요소가 다른 구성요소의 "직접 상에" 위치하거나, 다른 구성요소에 "직접 연결"된다거나, 또는 다른 구성요소에"직접 접촉"한다고 언급할 때는, 별도의 언급이 없다면 그 사이에 개재하는 구성요소들이 존재하지 않음을 의미한다.
이하의 실시예에서, x축, y축 및 z축은 직교 좌표계 상의 세 축으로 한정되지 않고, 이를 포함하는 넓은 의미로 해석될 수 있다. 예를 들어, x축, y축 및 z축은 서로 직교할 수도 있지만, 서로 직교하지 않는 서로 다른 방향을 지칭할 수도 있다.
도 1은 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 렌즈에 의한 물체의 거리에 따른 초점의 예를 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 렌즈(10)에 의한 물체(100)의 거리에 따른 초점을 살펴보면, 렌즈(10)로부터 거리가 서로 다른 두 개의 지점에서 출발한 빛(105a, 105b)은 렌즈(10)에 의하여 두 개의 서로 다른 점에 모이게 된다. 이미지센서(미도시)의 이미지 평면(110)과 렌즈(10) 사이에 초점(110a)이 위치하여 물체(100)의 표면 형상이 거꾸로 초점 표면(110a)에 표시된다.
일반적으로 사용되는 렌즈(10)의 경우, 물체(100)와 렌즈(10) 사이의 거리가 가까운 경우(근접 피사체) 초점은 렌즈(10)로부터 먼 거리에 위치하게 되고, 물체(100)와 렌즈(10) 사이의 거리가 먼 경우(원거리 피사체) 초점은 렌즈(10)로부터 가까운 거리에 위치하게 된다. 보통의 카메라에서 이미지센서는 특정한 거리의 물체에 초점이 일치하도록 배치되며, 이 영역을 초점심도(Depth of Field, DoF)라 한다. 즉, 물체가 DoF 내에 있는 경우 이미지는 선명하게 나타나며, DoF 밖에 있는 경우 물체의 이미지는 퍼져보이게 된다. 따라서 렌즈와 이미지센서와의 거리를 이동하여 물체가 선명하게 나타나는 위치를 찾으면, 선명하게 나타나는 물체의 거리를 구할 수 있게 된다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 3차원 거리 측정 시스템을 개략적으로 도시한 구성도이고, 도 2c는 본 발명의 일 실시예에 따른 3차원 거리 측정 방법을 개략적으로 도시한 순서도이며, 도 3은 본 발명의 일 실시예에 따른 3차원 거리 측정 시스템에서 핀 홀과 이미지센서 사이의 거리가 달라짐에 따라 투과된 빛의 광량 변화를 개략적으로 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 핀 홀 어레이를 개략적으로 도시한 도면이다.
먼저, 도 2c를 참조하면, 본 발명의 일 실시예에 따른 이동가능한 핀 홀 어레이와 이미지센서를 사용한 3차원 거리 측정 방법은 비전도성 물체의 적어도 어느 일부분에서 나오는 빛이 렌즈를 거쳐 적어도 하나의 핀 홀을 통과하여 이미지센서에 도달하는 단계(S100) 및 제어부에서, 핀 홀 어레이가 이동함에 따라 달라지는 적어도 하나의 핀 홀을 통과하는 빛의 양이 최대가 될 때, 이미지센서와 핀 홀 어레이 사이의 거리 값에 비례함을 이용하여 비전도성 물체와 렌즈 사이의 거리 값을 연산하는 단계(S200)를 포함할 수 있다.
도 2a, 도 2b 및 도 3을 참조하면, 거리를 추정하고자 하는 물체(100)가 구성하는 초점거리 근처에 이미지센서(30)가 위치할 수 있다. 구체적으로, 렌즈(10)와 이미지센서(30) 간의 거리는 렌즈(10)와 초점거리 사이보다 상대적으로 클 수 있다. 여기서 초점거리는 물체가 형성하는 초점 면(110a)와 렌즈 사이의 거리를 뜻한다. 이미지센서(30)는 다수의 픽셀(pixel, 35)들로 구성되며, 이미지센서(30)의 표면이 도 1에 도시된 이미지 평면(110)과 매칭 될 수 있다. 이미지센서(30)와 물체(100)가 구성하는 초점 사이에 다수 개의 핀 홀(20a)로 구성된 핀 홀 어레이(20)가 배치된다. 도 4를 참조하면, 핀 홀 어레이(20)는 유리(glass)기판(25)을 사용할 수 있으며, 유리 기판(25) 상에 금속 또는 블랙 폴리머(black polymer) 재질을 사용하여 직경 D를 갖는 다수의 핀 홀(20a)들을 형성할 수 있다. 또, 유리 기판(25) 상에 특정의 선택된 몇 개의 대역의 빛만을 투과할 수 있도록 멀티밴드패스필터(multi-band pass filter)를 사용하거나 멀티밴드패스필터만을 형성하여 배치할 수도 있다.
도 2a, 도 2b 및 도 3을 다시 참조하면, 하나의 초점에 모인 빛(105a, 105b)은 하나의 핀 홀(20a)을 통과하여 이미지센서(30)에 도달하며, 투과된 빛(105a, 105b)은 다수의 픽셀(35)들에 의하여 감광된다. 예를 들어, 피사체로 비전도성 물체(100b)를 사용할 경우, 투과된 빛의 세기는 물체(100)에서 출발하여 렌즈(10)를 거쳐 핀 홀(20a)을 통과한 후 이미지센서(30)에 도달하는 광선(ray)의 총 합으로 표현된다. 이 때, 이미지센서(30)에 감광된 빛은 제어부(50)에서 물체(100)와 렌즈(10) 사이의 거리 값을 연산할 수 있도록 핀 홀(20a)을 통해 이미지센서(30)에 입사된 빛의 총합을 계산할 수 있다.
따라서, 핀 홀(20a)을 통과하는 광선의 총 합이 최대가 되는 핀 홀(20a)의 위치는 비전도성 물체(100)의 초점 면이 핀 홀(20a)과 일치할 때이다. 제어부(50)는 핀 홀(20a)을 통과해 입사된 빛의 양이 최대가 되도록 구동부(40)를 제어하여 핀 홀 어레이(20)의 위치를 미세하게 조정할 수 있다. 예를 들면, 핀 홀 어레이(20)와 이미지센서 사이(30)의 거리(h)를 구동부(40)를 사용하여 조절하면 최대의 밝기를 갖는 이미지센서(30)와 핀 홀 어레이(20) 사이의 거리(h)가 있으며, 거리(h)는 렌즈(10)와 물체(100)의 거리에 비례한다. 구동부(40)는 예를 들어, 액츄에이터(actuator)를 사용할 수 있다. 따라서, 제어부(50)는 구동부(40)를 제어함으로써 이미지센서(30)와 핀 홀 어레이(20) 사이의 거리(h)를 변화시키고, 각 핀 홀(20a) 하부의 이미지센서(30)의 값(투과된 빛의 세기)을 거리의 함수로 나타내고, 각 핀 홀(20a)에 대응되는 픽셀(35)들의 값이 최대가 되는 때의 이미지센서(30)와 핀 홀 어레이(20) 사이의 거리(h)를 구하면, 거리(h)는 하나의 핀 홀(20a)에 대응하는 렌즈(10)와 물체(100) 사이의 거리에 비례한다.
또한, 적어도 하나의 핀 홀(20a)을 통과하는 빛에 의해 감지되는 픽셀(35) 값으로부터 상기 빛의 컬러 값을 얻을 수도 있다.
도 7은 본 발명의 일 실시예에 따른 3차원 거리 측정 시스템을 이용하여 하나의 초점에 맺힌 빛이 핀 홀을 통과하여 이미지센서에 도달할 때, 핀 홀과 초점의 거리에 따른 이미지센서에 도달하는 빛의 세기를 설명하기 위한 도면이다.
도 7을 참조하면, 하나의 초점에 모인 평행광이 렌즈(10)에 입사하여 하나의 초점 F에 모인다고 가정할 때, 하나의 핀 홀(20a)를 통과하여 이미지센서(30)에 도달하는 빛의 폭, L은 다음과 같이 계산되며, 수학식 1로 표현될 수 있다.
[수학식 1]
Figure 112014117094090-pat00001
(여기에서, L은 빛이 퍼지는 지름을 뜻하며, S는 핀 홀 어레이와 이미지센서 사이의 거리를 뜻하고, δh는 초점과 핀 홀 어레이 사이의 거리를 뜻하며, θ는 핀 홀을 통과하는 빛들이 이루는 각임)
또한, 3차원 거리 측정 시스템에 통과되는 빛의 렌즈(10) 상의 지름(r)은 렌즈(10)의 구경(D)를 초과할 수 없으며, 초점(F)과 핀 홀(20a)이 동일한 위치에 있을 때(δh=0) 가장 넓게 퍼지므로, 빛이 퍼지는 각도는 다음과 같이 쓸 수 있다.
[수학식 2]
Figure 112014117094090-pat00002
(여기에서, δh는 초점과 핀 홀 어레이 사이의 거리를 뜻하며, δhm은 조리개 값(F#)과 핀 홀의 직경(d)을 곱한 값이고, F#은 조리개 값이며, θ는 렌즈의 중심으로부터 일정한 거리만큼 이격되어 입사된 두 개의 빛이 초점에 모일 때 상기 두 개의 빛이 서로 이루는 각임)
이 때, 수학식 2에 도시된 탄젠트 값을 수학식 1에 대입하면, 하기의 수학식 3과 같이 표현될 수 있다.
[수학식 3]
Figure 112014117094090-pat00003
(여기에서, L은 핀 홀을 통과한 빛의 지름을 뜻하며, S는 핀 홀 어레이와 이미지센서 사이의 거리를 뜻하고, δh는 초점과 핀 홀 어레이 사이의 거리를 뜻하며, δhm은 조리개 값(F#)과 핀 홀의 직경(d)을 곱한 값임)
수학식 3에서 핀 홀 어레이(20)와 이미지센서(30) 사이의 거리 값(S)이 초점(F)과 핀 홀 어레이(20) 사이의 거리 값(δh)보다 많이 크다고 가정하거나 또는 핀 홀 어레이(20)가 초점(F)에 매우 가깝게 배치된다고 가정하면 하기의 수학식 4와 같이 표현될 수 있다.
[수학식 4]
Figure 112014117094090-pat00004
(여기에서, L은 핀 홀을 통과한 빛의 지름을 뜻하며, Lmax는 빛이 가장 많이 퍼지는 지름을 뜻하고, δh는 초점과 핀 홀 어레이 사이의 거리를 뜻하며, δhm은 조리개 값(F#)과 핀 홀의 직경(d)을 곱한 값임)
빛이 균일한 세기로 입사한다고 가정할 때, 핀 홀(20a)을 통과한 빛의 세기는 렌즈(10)에서 핀 홀(20a)을 통과하는 영역의 면적에 비례하며, 최대 빛의 밝기는 핀 홀(20a)과 초점이 동일한 위치에 있을 때, 통과된 빛의 밝기는 수학식 5와 같이 쓸 수 있다. 수학식 5에 렌즈(10)의 직경(D), 핀 홀(20a)의 직경(d) 및 빛의 세기(I)를 참조하여, 수학식 4에 도시된 식으로부터 수학식 6을 도출할 수 있다.
[수학식 5]
Figure 112014117094090-pat00005
(여기에서, I는 빛의 세기를 뜻하며, I0는 모든 빛이 통과할 때의 빛의 세기를 뜻하고, D는 렌즈의 직경을 뜻하며, d는 핀 홀의 직경을 뜻하고, δh는 초점과 핀 홀 어레이 사이의 거리를 뜻하며, δhm은 조리개 값(F#)과 핀 홀의 직경(d)을 곱한 값임)
[수학식 6]
Figure 112014117094090-pat00006
(여기에서, Lmax는 광량이 최대일 때의 빛이 퍼지는 구경을 뜻하고, S는 핀 홀 어레이와 이미지센서 사이의 거리를 뜻하고, F#은 조리개 값임)
수학식 5를 참조하면, 핀 홀(20a)을 통과한 빛의 밝기는 핀 홀(20a)과 초점이 동일한 위치에 있을 때 가장 강하며, 초점(F)과 핀 홀(20a)의 거리(δh)가 증가할수록 감소하게 된다. 따라서 평행광이 아닌 물체에서 복사되는 빛이 하나의 초점(F)에 맺힐 때, 물체가 형성하는 초점(F)과 핀 홀(20a)이 동일한 위치에 있는 경우 이미지센서(30)에는 가장 많은 빛이 감지되며, 초점(F)과 핀 홀(20a)의 거리(δh)가 증가할수록 이미지센서(30)에는 적은 양의 빛이 감지된다.
도 5a 및 도 5b는 본 발명의 다른 실시예에 따른 3차원 거리 측정 시스템을 개략적으로 도시한 구성도이고, 도 5c는 본 발명의 다른 실시예에 따른 3차원 거리 측정 방법을 개략적으로 도시한 순서도이다.
도 5c를 참조하면, 본 발명의 다른 실시예에 따른 3차원 거리 측정 방법은 비전도성 물체의 적어도 어느 일부분에서 나오는 빛이 렌즈를 거쳐 적어도 하나의 핀 홀을 통과하여 이미지센서에 도달하는 단계(S110) 및 제어부에서, 렌즈가 이동함에 따라 달라지는 적어도 하나의 핀 홀을 통과하는 빛의 양이 최대가 될 때, 렌즈와 핀 홀 어레이 사이의 거리 값에 비례함을 이용하여 비전도성 물체와 렌즈 사이의 거리 값을 연산하는 단계(S210)를 포함할 수 있다.
도 5a 및 도 5b를 참조하면, 거리를 추정하고자 하는 물체(100)가 구성하는 초점보다 먼 거리에 이미지센서(30)가 위치하고, 이미지센서(30)는 다수의 픽셀(35)들로 구성되며, 이미지센서(30)와 물체(100)가 구성하는 초점 사이의 고정된 높이에 다수의 핀 홀(20a)을 갖는 핀 홀 어레이(20)가 배치되며, 핀 홀 어레이(20) 상부에는 이동할 수 있는 렌즈(10)가 설치되며, 렌즈(10)와 핀 홀 어레이(20) 사이의 높이(h)는 구동부(40)에 의하여 가변될 수 있다.
하나의 초점에 모인 빛은 하나의 핀 홀(20a)을 통과하여 다수의 픽셀(35)들에 의하여 감광되고, 제어부(50)에서 구동부(40)를 제어하여 렌즈(10)의 위치를 미세하게 조정할 수 있으며, 이 때, 렌즈(10)와 핀 홀 어레이(20)의 거리(h)에 따라 하나의 핀 홀(20a)을 통과하는 빛의 세기는 변화하며, 적어도 하나의 핀 홀(20a)을 통과하는 빛의 세기가 최대가 되는 경우는 렌즈(10)에 의한 물체(100)의 초점이 핀 홀(20a)과 일치할 때이다. 따라서, 제어부(50)는 구동부(40)를 제어하여 렌즈(10)를 일정한 범위를 갖는 높이에서 이동시키고 각 핀 홀(20a)에 대응되는 다수의 픽셀(35)들의 신호 값이 최대가 되는 렌즈(10)의 높이(h)를 구하면, 각 핀 홀(20a)들에 대응되는 물체(100)와 렌즈(10) 사이의 거리를 구할 수 있다. 여기서, 물체(100)와 렌즈(10) 사이의 거리는 피사체와 3차원 거리 측정 시스템 사이의 거리를 뜻한다.
또한, 적어도 하나의 핀 홀(20a)을 통과하는 빛에 의해 감지되는 픽셀(35) 값으로부터 상기 빛의 컬러 값을 얻을 수도 있다.
도 6은 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 빛이 피사체의 종류에 따라 반사되거나 산란될 때의 형상을 개략적으로 도시한 도면이다.
도 6을 참조하면, 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 빛이 피사체의 종류에 따라 반사되거나 산란될 때의 형상을 개략적으로 도시한 것으로, 도 6의 (a)와 같이, 빛이 전도성 물체(100a)의 표면에 입사할 때, 표면에 존재하는 전자(e)들은 입사하는 빛의 전기장에 의하여 동시에 움직이게 되므로, 반사되는 빛은 서로 상관관계를 가진 위상을 가지고 반사하게 된다. 이 빛이 렌즈(미도시)에 의하여 하나의 초점에 모이고, 핀 홀(미도시)을 통과하는 경우 간섭무늬를 형성하게 된다. 이 경우, 핀 홀(미도시)에 의한 회절은 위상에 따라 변하게 되므로 간섭 무늬는 파동 광학적 해석에 의하여 설명될 수 있다.
도 6의 (b)와 같이, 빛이 섬유 등의 폴리머나 세라믹 등의 비전도성 물체(100b)의 표면에 입사하는 경우, 빛은 비전도성 물체(100b)를 구성하는 각각의 구속된 전자(e) 혹은 정공 등과 개별적으로 반응하므로, 산란된 빛은 서로 상관관계가 없는 위상(random-phase)을 가지고 산란되므로 렌즈(미도시)에 의하여 하나의 초점에 모인 빛은 위상에 관계없이 기하 광학적으로 해석될 수 있다. 즉, 총 빛의 세기는 각 빛의 위상에 관계없이 각각의 빛의 세기의 합으로 표현된다.
상술한 바에 의하면, 렌즈와 이미지센서가 구성될 때, 이미지센서의 상부에 핀 홀 어레이를 형성하고, 핀 홀 어레이 또는 렌즈를 이동할 수 있는 액츄에이터 등과 같이 간단한 구성을 사용하여 비전도성 물체의 거리를 픽셀 단위로 인식할 수 있다. 또, 이미지센서의 패키지(package)시 사용되는 유리 기판의 상부 또는 하부에 핀 홀을 설치할 수도 있다. 또한, 본 발명의 일 실시예에 의한 3차원 거리 측정 시스템은 별도의 복잡한 알고리즘(algorithm)이 필요 없으며, 핀 홀을 통해 입사된 빛의 양이 최대가 되는 지점에서의 이미지센서와 핀 홀 어레이 사이의 거리 값 또는 이미지센서와 렌즈 사이의 거리 값을 비교분석하여 비전도성 물체와 3차원 거리 측정 시스템 사이의 거리 값을 연산할 수 있다.
또한, 피사체가 비전도성 물체인 경우 투과된 빛의 세기는 피사체에서 출발하여 렌즈를 거쳐 핀 홀을 통과한 후 이미지센서에 도달하는 광선의 총합으로 표현되며, 핀 홀을 통과하는 광선의 총 합이 최대가 되는 핀 홀의 위치는 비전도성 물체의 초점 면이 핀 홀과 일치할 때이다. 핀 홀 어레이와 이미지센서 사이의 거리를 액츄에이터를 사용하여 조절하면 최대의 밝기를 갖는 이미지센서와 핀 홀 어레이 사이의 거리가 있으며, 이 거리는 렌즈와 피사체의 거리에 비례한다. 따라서, 액츄에이터를 사용하여 이미지센서와 핀 홀 어레이 사이의 거리를 변화시키거나 또는 렌즈와 핀 홀 어레이 사이의 거리를 변화시키고, 각 핀 홀 하부의 이미지센서의 값(투과된 빛의 세기)을 거리의 함수로 나타내고, 각 핀 홀에 대응되는 픽셀들의 값이 최대가 되는 때의 이미지센서와 핀 홀 어레이 사이의 거리 또는 렌즈와 핀 홀 어레이 사이의 거리를 구하면, 이 때의 거리는 하나의 핀 홀에 대응하는 렌즈와 피사체 사이의 거리에 비례한다.
본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
1 : 3차원 거리 측정 시스템
10 : 렌즈
20 : 핀 홀 어레이
20a : 핀 홀
25 : 기판
30 : 이미지센서
35 : 픽셀
40 : 구동부
50: 제어부
100 : 물체
100a : 전도성 물체
100b : 비전도성 물체
105a, 105b : 빛
110 : 이미지 평면
110a : 초점 표면

Claims (8)

  1. 비전도성 물체의 적어도 어느 일 부분에서 나오는 빛을 통과시킬 수 있는 렌즈(lens);
    다수의 픽셀(pixel)들을 구비하며, 상기 비전도성 물체와 상기 렌즈에 의해 정해진 초점거리 근처에 배치된, 이미지센서;
    상기 초점거리 내에 배치된 핀 홀 어레이(pin hole array);
    상기 렌즈 또는 상기 핀 홀 어레이를 이동시킬 수 있는 구동부; 및
    상기 핀 홀 어레이에 형성된 적어도 하나의 핀 홀을 통과하는 빛의 양에 따라 상기 구동부를 제어할 수 있으며, 상기 이미지센서와 상기 핀 홀 어레이 사이의 거리 값 및 상기 이미지센서와 상기 렌즈 사이의 거리 값 중에서 선택된 어느 하나와 상기 빛의 양을 분석하여 상기 비전도성 물체와 렌즈 사이의 거리 값을 연산할 수 있는, 제어부;
    를 포함하는,
    3차원 거리 측정 시스템.
  2. 제 1 항에 있어서,
    상기 렌즈를 지지하는 경통;을 포함하는, 3차원 거리 측정 시스템.
  3. 제 1 항 또는 제 2 항 중 어느 한 항에 따른 3차원 거리 측정 시스템을 이용한 3차원 거리 측정 방법으로서,
    상기 비전도성 물체의 적어도 어느 일부분에서 나오는 빛이 상기 렌즈를 거쳐 상기 적어도 하나의 핀 홀을 통과하여 상기 이미지센서에 도달하는 단계; 및
    상기 제어부에서, 상기 핀 홀 어레이가 이동함에 따라 달라지는 상기 적어도 하나의 핀 홀을 통과하는 빛의 양이 최대가 될 때, 상기 이미지센서와 상기 핀 홀 어레이 사이의 거리 값에 비례함을 이용하여 상기 비전도성 물체와 상기 렌즈 사이의 거리 값을 연산하는 단계;를 포함하는,
    3차원 거리 측정 방법.
  4. 제 3 항에 있어서,
    상기 이미지센서의 픽셀들의 신호 값이 최대가 될 때, 상기 이미지센서와 상기 핀 홀 어레이 사이의 거리 값을 구하면 상기 핀 홀들에 대응되는 상기 비전도성 물체와 상기 렌즈 사이의 거리를 구할 수 있는,
    3차원 거리 측정 방법.
  5. 제 3 항에 있어서,
    상기 적어도 하나의 핀 홀을 통과하는 빛에 의해 감지되는 상기 픽셀 값으로부터 상기 빛의 컬러 값을 얻을 수 있는,
    3차원 거리 측정 방법.
  6. 제 1 항 또는 제 2 항 중 어느 한 항에 따른 3차원 거리 측정 시스템을 이용한 3차원 거리 측정 방법으로서,
    상기 비전도성 물체의 적어도 어느 일부분에서 나오는 빛이 상기 렌즈를 거쳐 상기 적어도 하나의 핀 홀을 통과하여 상기 이미지센서에 도달하는 단계; 및
    상기 제어부에서, 상기 렌즈가 이동함에 따라 달라지는 상기 적어도 하나의 핀 홀을 통과하는 빛의 양이 최대가 될 때, 상기 렌즈와 상기 핀 홀 어레이 사이의 거리 값에 비례함을 이용하여 상기 비전도성 물체와 상기 렌즈 사이의 거리 값을 연산하는 단계;를 포함하는,
    3차원 거리 측정 방법.
  7. 제 6 항에 있어서,
    상기 이미지센서의 픽셀들의 신호 값이 최대가 될 때, 상기 렌즈와 상기 핀 홀 어레이 사이의 거리 값을 구하면 상기 핀 홀들에 대응되는 상기 비전도성 물체와 상기 렌즈 사이의 거리를 구할 수 있는,
    3차원 거리 측정 방법.
  8. 제 6 항에 있어서,
    상기 적어도 하나의 핀 홀을 통과하는 빛에 의해 감지되는 상기 픽셀 값으로부터 상기 빛의 컬러 값을 얻을 수 있는,
    3차원 거리 측정 방법.
KR1020140170267A 2014-12-02 2014-12-02 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법 KR101594314B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140170267A KR101594314B1 (ko) 2014-12-02 2014-12-02 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140170267A KR101594314B1 (ko) 2014-12-02 2014-12-02 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법

Publications (1)

Publication Number Publication Date
KR101594314B1 true KR101594314B1 (ko) 2016-02-16

Family

ID=55448113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140170267A KR101594314B1 (ko) 2014-12-02 2014-12-02 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법

Country Status (1)

Country Link
KR (1) KR101594314B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109031329A (zh) * 2018-07-02 2018-12-18 昆山丘钛微电子科技有限公司 一种飞行时间测距模组及电子设备
KR102147279B1 (ko) * 2020-02-20 2020-08-24 국방과학연구소 물체 이동 탐지 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272302A (ja) * 2000-03-27 2001-10-05 Nippon Sheet Glass Co Ltd レンズアレイの光学性能評価装置
JP2004286689A (ja) * 2003-03-25 2004-10-14 Niigata Tlo:Kk 多層膜の表面形状と膜厚分布の同時測定方法及びその装置
JP2005195739A (ja) * 2004-01-05 2005-07-21 Nikon Corp 共焦点光学系及び高さ測定装置
JP2006105835A (ja) * 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd 形状測定方法及び形状測定装置
KR20140102900A (ko) 2013-02-15 2014-08-25 삼성전자주식회사 휴대 단말기의 영상 캡쳐 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272302A (ja) * 2000-03-27 2001-10-05 Nippon Sheet Glass Co Ltd レンズアレイの光学性能評価装置
JP2004286689A (ja) * 2003-03-25 2004-10-14 Niigata Tlo:Kk 多層膜の表面形状と膜厚分布の同時測定方法及びその装置
JP2005195739A (ja) * 2004-01-05 2005-07-21 Nikon Corp 共焦点光学系及び高さ測定装置
JP2006105835A (ja) * 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd 形状測定方法及び形状測定装置
KR20140102900A (ko) 2013-02-15 2014-08-25 삼성전자주식회사 휴대 단말기의 영상 캡쳐 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109031329A (zh) * 2018-07-02 2018-12-18 昆山丘钛微电子科技有限公司 一种飞行时间测距模组及电子设备
CN109031329B (zh) * 2018-07-02 2024-01-16 昆山丘钛微电子科技有限公司 一种飞行时间测距模组及电子设备
KR102147279B1 (ko) * 2020-02-20 2020-08-24 국방과학연구소 물체 이동 탐지 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
US10915765B2 (en) Classifying objects with additional measurements
US20210311171A1 (en) Improved 3d sensing
EP1739391B1 (en) Image obtaining apparatus
JP4485365B2 (ja) 測距装置
WO2018082184A1 (zh) 距离测量方法、装置、摄像头和移动终端
CN110178156A (zh) 包括可调节焦距成像传感器的距离传感器
WO2014200589A9 (en) Determining positional information for an object in space
JP2005331784A (ja) 光学レンズ系およびこれを用いた位置計測システム
WO2019012770A1 (ja) 撮像装置及びモニタリング装置
US20200319309A1 (en) Illumination device, time of flight system and method
KR101538395B1 (ko) 방사각의 조절이 가능한 광 확산장치 조합모듈, 3ｄ 카메라 및 방사각을 최적화하는 방법
KR20180008655A (ko) 다각형을 사용하여 광 패턴을 생성하는 방법 및 시스템
CN104583904A (zh) 用于输入对机动车部件的控制命令的方法
KR101594314B1 (ko) 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법
JP2020056662A (ja) 光軸調整用装置
KR101594309B1 (ko) 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법
CN115761684B (zh) 基于机器视觉的agv目标识别与姿态角解算方法及系统
JP2007327966A (ja) 光源モジュールおよびこれを用いた位置計測システム
WO2021110070A1 (zh) 一种视觉机器的光源控制方法、视觉机器
CN110519574B (zh) 光学投射系统
TW201800719A (zh) 物體辨識系統及辨識物體的方法
TWI595253B (zh) 可用來判斷參考物件或光源相對位置的光學偵測裝置
KR102092827B1 (ko) 투사각에 따른 에너지 밀도가 조정된 레이저 발광 장치 및 에너지 밀도 조정 렌즈
JP2020056891A (ja) 制御方法及び光学機器
CN108291953A (zh) 定位系统及相关方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181211

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191115

Year of fee payment: 5