KR102046944B1 - 서브-레졸루션 광학 검출 - Google Patents

Abstract

체적 내에서의 위치의 광학적 검출을 위한 검출기는 구조화된 광 패턴을 체적 상에 비추기 위한 빔 소스, 및 소정의 사이즈의 검출 픽셀들을 갖는 디지털 검출기를 포함한다. 광 패턴은, 체적으로 비추고 검출 픽셀들로 역으로 반사될 경우, 피크 및 주위 휘도 구조를 갖는 휘도 분포를 갖는다. 이제 종종, 휘도의 전체 분포가 다중의 픽셀들에 걸쳐 확장하더라도, 피크는 픽셀 사이즈보다 더 작을 수도 있다. 시스템은, 해당하는 중앙 픽셀의 사이즈보다 더 작은 영역 내에서의 피크의 위치를 추론하기 위해 이웃한 픽셀들 간의 휘도의 분포를 평가하고 따라서 서브-픽셀 레졸루션을 제공하기 위한 전자 프로세서를 포함한다.

Description

서브-레졸루션 광학적 검출{SUB-RESOLUTION OPTICAL DETECTION}

본 발명은, 그 일부 실시예들에 있어서, 서브-레졸루션 광학적 검출을 위한 장치 및 방법에 관한 것으로서, 더 상세하게 하지만 배타적이지 않게, 디지털 장비를 동작시키기 위한 사용자 상호작용의 3차원 공간에서의 검출을 위한 그러한 장치 및 방법에 관한 것이다.

디지털 이미지 프로세싱에 있어서, 서브-픽셀 레졸루션은 알고리즘에 의해 프로세싱될 수 있는 잘 정의된 라인들, 포인트들 또는 에지들을 포함하는 디지털 이미지들에서 획득되어, 그 이미지의 공칭 픽셀 레졸루션을 초과하는 정확도로 이미지에서의 라인, 포인트 또는 에지의 포지션을 신뢰성있게 측정할 수 있다.

따라서, 예를 들어, 측면에서 관측되는 길이 50cm의 차량의 이미지가 500 픽셀 길이이면, 카메라에 면하는 쉽(ship)의 측면 상에서의 공칭 레졸루션(픽셀 사이즈)은 0.1cm이다. 이제, 잘 분해된 피처들의 서브-픽셀 레졸루션은 크기 차수(10x) 더 작은 쉽 움직임들을 측정할 수 있다. 움직임은 종래 기술의 이러한 논의에서 구체적으로 언급되는데, 왜냐하면 절대 포지션들을 측정하는 것은 정확한 렌즈 모델 및 이미지 내의 공지된 레퍼런스 포인트들을 요구하여 서브-픽셀 포지션 정확도를 달성하기 때문이다. 하지만, 작은 움직임들은 간단한 교정 절차들로 (0.1mm로 낮게) 측정될 수 있다.

일반적으로, 디지털 이미지 프로세싱 시스템들은 다수의 팩터들에 의한 레졸루션에서 제한된다. 이들 중 하나는 검출기의 픽셀 사이즈이다. 다른 하나는 검출되는 장면의 본성이고, 또다른 하나는 장면으로부터의 광을 검출기로 집광하는데 사용되는 광학기기들의 품질이다.

따라서, 시스템 설계자는 광학기기들을 개선하는 것 및/또는 더 작은 픽셀 사이즈를 갖는 검출기를 이용하는 것의 옵션들을 갖는다. 하지만, 이들 옵션들 양자는 비용을 증가시킨다. 이미지 프로세싱의 특별 케이스인 사용자 상호작용들을 검출하려고 노력하는 경우, 사용자는 스크린으로부터 수 미터에 있을 수도 있으며, 검출될 필요가 있는 제어 제스처들은 개별 손가락들과 관련된다.

3차원 검출 시스템들은 종종 액티브 조명을 사용한다. 하나의 공지된 시스템에 있어서, 레이저들의 배열이 타깃을 조명하는데 사용된다. 액티브 조명의 사용은 레졸루션의 문제를 더 복잡하게 하는데, 왜냐하면 레이저 광빔 포지션들은 삼각 심도 검출 방법들에서 설명된 바와 같은 것으로부터 반사되는 오브젝트의 심도와 상관되기 때문이다. 따라서, 광 피처 포지션을 서브-레졸루션으로 검출하는 것은, 역시, 더 높은 레졸루션으로 경관의 심도를 측정하는 것을 인에이블링한다. 심도 문제는, 오브젝트가 센서로부터 더 큰 거리에 위치될 경우에 훨씬 더 중요하게 된다. 레이저 빔이 통상적으로 일 축에서 적어도 시준되고 각각의 카메라 픽셀이 각진 방식으로 경관을 샘플링하기 때문에, 광 피처들은 단일 픽셀 미만만큼 샘플링될 수도 있고, 따라서, 정확한 포지션 및 심도의 검출을 방지할 수도 있다.

본 발명은 액티브 조명이 휘도의 가우시안 분포를 갖는 검출기에서 도달하는 반사 광의 빔들을 발생시킴을 유의하고, 여기서, 가우시안의 피크는 픽셀 사이즈보다 더 작을 수도 있지만, 대체로 그 분포는 종종 픽셀 사이즈보다 더 크다. 실시예들은 이웃한 픽셀들에 걸친 광 분포를 추적하는 것, 및 2개 또는 3개 차원들에서의 다중 픽셀들에 걸친 전체 분포 패턴을, 픽셀 사이즈보다 그 자체가 더 작은 단일 픽셀 상의 스폿에 매핑하는 것을 수반한다.

일부 실시예들은 매핑을 더 정확하게 하기 위해 휘도 분포를 미리정의된 방식들로 왜곡시키는 것을 수반한다.

본 실시예들은, 구조화된 광 패턴이 절대 레퍼런스를 제공하는데 사용될 수도 있기 때문에 단지 모션뿐만 아니라 절대 포지션을 매핑한다. 따라서, 본 실시예들은, 움직임이 존재하지 않더라도 서브-레졸루션으로의 광 피처들의 검출을 허용한다.

본 발명의 일부 실시예들의 양태에 따르면, 체적 내에서의 포지션의 광학적 검출을 위한 검출 장치가 제공되며, 그 검출 장치는:

구조화된 광 패턴을 체적 상에 비추기 위한 구조화된 광 소스;

미리결정된 사이즈의 복수의 검출 픽셀들을 갖는 디지털 검출기로서, 체적으로 방출되고 검출 픽셀들로 역으로 반사될 경우의 광 패턴은 피크 및 주위 구조를 포함하는 정의된 분포를 갖는, 상기 디지털 검출기; 및

복수의 검출 픽셀들 사이의 피크 및 주위 구조의 분포를 평가하고 그리고 그 분포를 이용하여 피크의 위치를 미리결정된 사이즈보다 더 작은 영역 내에 매핑하도록 구성된 전자 프로세서를 포함한다.

일 실시예에 있어서, 정의된 분포는 편광 또는 휘도 중 어느 하나이다.

일 실시예는 검출 픽셀들 앞에 위치된 회절 엘리먼트를 포함할 수도 있고, 회절 엘리먼트는 인커밍 피크를, 빗나가지않은 메인 피크 및 그 메인 피크를 검출하는 검출 픽셀 근방의 검출 픽셀들에 도달하는 적어도 하나의 보조 피크로 변환하도록 구성되고, 전자 프로세서는 영역에서의 위치를 추론하기 위해 다중의 피크들을 이용할 수 있다.

일 실시예에 있어서, 각각의 검출 픽셀은 복수의 존들로 분할되고, 여기서, 프로세서는 검출 픽셀들에 대한 휘도 레벨들의 조합들을 검출 픽셀들 중 하나에 대한 존들 중 하나에 매핑하기 위한 매핑 로직을 포함한다.

일 실시예에 있어서, 매핑 로직은 2개 차원들로 매핑한다.

일 실시예에 있어서, 복수의 존들은 검출 픽셀 당 적어도 10개 존들, 또는 예를 들어, 20개 존들, 또는 예를 들어, 40개 존들을 포함한다.

일 실시예에 있어서, 회절 엘리먼트는, 빗나가지않은 피크가 제 1 검출 픽셀의 중심에 도달할 경우에 각각의 보조 피크가 이웃한 검출 픽셀들 간의 경계에 도달하도록 구성된다.

일 실시예는 레이저 빔들의 외향 빔 경로 상에 위치된 회절 엘리먼트를 포함할 수도 있다.

일 실시예는 검출 픽셀들 앞에 위치된 왜곡 엘리먼트를 포함할 수도 있고, 왜곡 엘리먼트는 인커밍 휘도 분포에 왜곡을 적용하여 중앙 검출 픽셀과 이웃한 픽셀들에 걸친 인커밍 분포를 왜곡하도록 구성되고, 전자 프로세서는 위치를 추론하기 위해 왜곡을 이용할 수 있다.

일 실시예에 있어서, 각각의 검출 픽셀은 복수의 존들로 분할되고, 여기서, 프로세서는 검출 픽셀들에 대한 휘도 레벨들의 조합들을 검출 픽셀들 중 하나에 대한 존들 중 하나에 매핑하기 위한 매핑 로직을 포함한다.

일 실시예에 있어서, 회절 엘리먼트는 렌즈 상에 위치된다.

본 발명의 제 2 양태에 따르면, 체적 내에서의 위치의 서브-레졸루션 광학적 검출의 방법이 제공되며, 그 방법은:

체적 내의 오브젝트들이 구조화된 광 패턴으로부터 검출기로의 반사를 야기할 수 있도록 그 구조화된 광 패턴을 체적으로 비추는 단계로서, 검출기는 미리결정된 사이즈의 복수의 검출 픽셀들을 가지며, 체적으로 비추고 검출 픽셀들로 역으로 반사될 경우의 패턴은 피크 및 주위 휘도 구조를 포함하는 휘도 분포를 갖는, 상기 구조화된 광 패턴을 체적으로 비추는 단계; 및

피크의 위치를 단일 검출 픽셀 내의 영역 내에 매핑하기 위해 개별 픽셀들 사이의 피크 및 주위 휘도 구조의 분포를 전자적으로 평가하는 단계로서, 그 영역은 미리결정된 사이즈보다 더 작은, 상기 전자적으로 평가하는 단계를 포함한다.

그 방법은 인커밍 피크를, 빗나가지않은 메인 피크 및 그 메인 피크를 검출하는 검출 픽셀 근방의 검출 픽셀들에 도달하는 적어도 하나의 보조 피크로 변환하는 단계를 포함할 수도 있으며, 전자적으로 평가하는 단계는 영역에서의 위치를 추론하기 위해 다중의 피크들을 이용하는 단계를 포함한다.

일 실시예에 있어서, 각각의 검출 픽셀은 복수의 존들로 분할되고, 전자적으로 평가하는 단계는 검출 픽셀들에 대한 휘도 레벨들의 조합들을 검출 픽셀들 중 하나에 대한 존들 중 하나에 매핑하기 위한 매핑 로직을 적용하는 단계를 포함한다.

일 실시예는 2개 차원들을 이용한 매핑을 수행하는 단계를 포함할 수도 있다.

일 실시예에 있어서, 복수의 존들은 검출 픽셀 당 적어도 10개, 또는 일 예에 있어서는 20개 또는 40개 존들을 포함한다.

일 실시예에 있어서, 변환하는 단계는, 빗나가지않은 피크가 제 1 검출 픽셀의 중심에 도달할 경우에 각각의 보조 피크가 이웃한 검출 픽셀들 간의 경계에 도달함을 보장하도록 설계된 광학 기능을 적용하는 단계를 포함한다.

그 방법은 빔들을 시준하는 단계를 포함할 수도 있다.

그 방법은 인커밍 휘도 분포에 왜곡을 적용하여 중앙 검출 픽셀과 이웃한 픽셀들에 걸친 인커밍 분포를 왜곡하는 단계를 포함할 수도 있으며, 전자적으로 평가하는 단계는 위치를 추론하기 위해 왜곡을 이용하는 단계를 포함한다.

빔들은 레이저 빔들을 포함할 수도 있다.

달리 정의되지 않으면, 본 명세서에서 사용된 모든 기술적 및/또는 과학적 용어들은, 본 발명이 속하는 당업자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 본 명세서에 설명된 바와 유사하거나 균등인 방법들 및 자료들이 본 발명의 실시예들의 실시 또는 시험에 있어서 이용될 수 있지만, 예시적인 방법들 및/또는 자료들이 하기에서 설명된다. 충돌의 경우, 정의들을 포함하는 본 발명 명세서가 제어할 것이다. 부가적으로, 자료들, 방법들, 및 예들은 오직 예시적일 뿐 반드시 한정적이도록 의도되지는 않는다.

본 발명의 실시예들의 방법 및/또는 시스템의 구현은 선택된 태스크들을 수동으로, 자동으로, 또는 그들의 조합으로 수행하거나 완료하는 것을 수반할 수 있다. 더욱이, 본 발명의 방법 및/또는 시스템의 실시예들의 실제 기기 및 장비에 따르면, 수개의 선택된 태스크들은, 오퍼레이팅 시스템을 이용하여, 하드웨어에 의해, 소프트웨어 또는 펌웨어에 의해, 또는 그들의 조합에 의해 구현될 수 있다.

예를 들어, 본 발명의 실시예들에 따른 선택된 태스크들을 수행하기 위한 하드웨어는 칩 또는 회로로서 구현될 수 있다. 소프트웨어로서, 본 발명의 실시예들에 따른 선택된 태스크들은, 임의의 적절한 오퍼레이팅 시스템을 이용하여 컴퓨터에 의해 실행되는 복수의 소프트웨어 명령들로서 구현될 수 있다. 본 발명의 예시적인 실시예에 있어서, 본 명세서에서 설명된 바와 같은 방법 및/또는 시스템의 예시적인 실시예들에 따른 하나 이상의 태스크들은 복수의 명령들을 실행하기 위한 컴퓨팅 플랫폼과 같은 데이터 프로세서에 의해 수행된다. 옵션적으로, 데이터 프로세서는 명령들 및/또는 데이터를 저장하기 위한 휘발성 메모리, 및/또는 명령들 및/또는 데이터를 저장하기 위한 비휘발성 저장부, 예를 들어, 자기 하드-디스크 및/또는 착탈가능 매체들을 포함한다. 옵션적으로, 네트워크 커넥션이 또한 제공된다. 디스플레이, 및/또는 키보드 또는 마우스와 같은 사용자 입력 디바이스가 옵션적으로 또한 제공된다.

본 발명의 일부 실시예들은, 첨부 도면들을 참조하여 오직 예로서 본 명세서에서 설명된다. 이제 도면들을 상세하게 명확히 참조하면, 상세들은 예로서이며 본 발명의 실시예들의 예시적인 논의의 목적임이 강조된다. 이에 대하여, 도면들과 함께 취해진 설명은, 본 발명의 실시예들이 어떻게 실시될 수 있는지를 당업자에게 명백하게 한다.
도면들에 있어서:
도 1은 본 실시예들이 적용될 수도 있는 상황을 도시한 단순화된 다이어그램이다.
도 2는 3개 픽셀들의 그룹에 걸쳐 도달하는 휘도 분포를 도시하고 그리고 그 분포의 피처들을 식별하는 단순화된 개략 다이어그램이다.
도 3은 중앙 픽셀에 걸쳐 작은 거리만큼 시프트된 도 2의 분포를 도시한 단순화된 다이어그램이다.
도 4는, 3개 픽셀들에서의 휘도 레벨들이 도 2와 도 3 간의 시프트 동안 어떻게 변하는지를 도시하고, 따라서, 서브-픽셀 레졸루션이 본 발명의 일 실시예에 따라 어떻게 작동할 수 있는지를 도시한 단순화된 다이어그램이다.
도 5는 구조화된 광 패턴을 이용하여 도 4의 서브-픽셀 레졸루션을 실행하기 위한 장치를 도시한 단순화된 다이어그램이다.
도 6은 본 발명의 제 2 실시예에 따른 서브-픽셀 검출을 실행하기 위한 장치를 도시한 단순화된 다이어그램이다.
도 7은 도 6의 장치를 이용하여 이웃한 픽셀들에 걸친 분할된 빔의 빔 분포들을 도시한 단순화된 다이어그램이다.
도 8은 도 7의 픽셀들에서 검출된 휘도를 도시한 단순화된 다이어그램이다.
도 9는 작은 시프트 이후에 이웃한 픽셀들에 걸친 도 7의 분할된 빔의 빔 분포들을 도시한 단순화된 다이어그램이다.
도 10은 도 9의 픽셀들에서 검출된 휘도를 도시한 단순화된 다이어그램이다.
도 11은 본 발명의 실시예들에 따른 서브-픽셀 레졸루션의 방법을 도시한 단순화된 플로우 차트이다.

상기 설명된 바와 같이, 본 발명은, 그 일부 실시예들에 있어서, 서브-레졸루션 광학적 검출을 위한 장치 및 방법에 관한 것으로서, 더 상세하게 하지만 배타적이지 않게, 디지털 장비를 동작시키기 위한 사용자 상호작용의 3차원 공간에서의 검출을 위한 그러한 장치 및 방법에 관한 것이다.

일 실시예에 있어서, 체적은 광 빔들에 의해 액티브하게 조명된다. 광 빔들은, 예를 들어, 평행 라인들 또는 스폿들 또는 그리드 또는 상기의 조합의 형태로 구조화될 수도 있으며, 그 빔들은 레이저들에 의해 생성될 수도 있다. 체적에서의 오브젝트들로부터 반사된 것과 같은 개별 빔들은 분명한 피처들을 생성하지 않고 대신 얼룩진 라인 또는 얼룩진 스폿을 생성하며, 여기서, 휘도는 중심 주위로의 분포, 통상적으로는 가우시안 분포를 갖는다. 전체 가우시안 분포가 더 클 수 있더라도, 가우시안의 피크 부분은 종종, 개별 검출 픽셀의 사이즈보다 더 작을 수도 있다. 수개의 이웃한 픽셀들에 걸친 휘도의 분포는, 피크가 중앙 픽셀 내의 어디에 있는지에 관한 정보를 제공한다.

일 실시예에 있어서, 가우시안은, 매핑될 수 있는 휘도 분포를 제공하기 위해 수개의 픽셀들에 걸쳐 확산한다. 실시예들에 있어서, 그 효과는 왜곡 또는 다른 변화를 가우시안에 적용함으로써 향상된다. 예를 들어, 회절 엘리먼트는 감지 엘리먼트 앞에 배치되어, 이웃한 픽셀들에서 측면 피크들이 생성된다. 회절 엘리먼트는, 중앙 피크가 픽셀의 중간에 있을 경우 측면 피크들이 이웃한 픽셀들의 에지들을 스트라이킹하여 하기에 더 상세히 설명될 바와 같이 부가적인 차동을 제공하도록 설계될 수도 있다. 대안적으로, 왜곡 엘리먼트는, 가우시안을 미리결정된 방식으로 재형상화하는 미리결정된 왜곡을 단순히 적용할 수도 있다.

본 발명의 적어도 하나의 실시예를 상세히 설명하기 전에, 본 발명은 그 어플리케이션에 있어서, 다음의 설명에서 기재되고/되거나 도면들 및/또는 예들에서 예시된 컴포넌트들 및/또는 방법들의 구성 및 배열의 상세들로 반드시 한정될 필요는 없음이 이해되어야 한다. 본 발명은 다른 실시예가 가능하거나, 다양한 방식들로 실시 또는 수행되는 것이 가능하다.

이제, 도면을 참조하면, 도 1은 본 실시예들이 적용될 수 있는 예시적인 시나리오를 도시한 단순화된 개략 다이어그램이다. 사용자의 손(10)은 컴퓨터(12)와 상호작용하기 위해 손가락 제스처들을 이용하고 있다. 화살표(14)는 손과 컴퓨터 간의 거리를 표시한다. 종래기술에 있어서, 그 거리는 높은 레졸루션을 획득하기 위해 낮을 수 있지만, 거리가 증가함에 따라 레졸루션은 떨어지고, 어떠한 거리에서라도, 픽셀 사이즈보다 더 작은 각도에 대응하는 오브젝트에서의 임의의 피처는 분해될 수 없다. 한편, 본 실시예에 있어서, 서브-픽셀 사이즈 피처들은 분해될 수 있다. 본 실시예들없이, 4 또는 5 미터의 거리에서, 카메라 센서 픽셀들 각각은 공간에 있어서 상대적으로 큰 영역을 정의하고, 따라서, 오직 낮은 공간 레졸루션에서 광 피처 포지션들의 검출을 가능케 한다. 삼각측량 방법들을 사용할 경우에, 심도 검출의 레졸루션이 또한 열화된다.

명백한 솔루션은 다수의 더 많은 픽셀들을 갖는 검출기들을 획득하는 것이다. 하지만, 그러한 검출기들은 상당히 더 고가이고 그러한 픽셀의 개별 감도는 요구된 것보다 더 낮는데, 왜냐하면 그 더 작은 사이즈로 인해 더 적은 광을 수집하기 때문이다. 부가적으로, 계산 노력은 픽셀들의 증가된 수로 현저히 증가한다.

본 실시예들은, 구조화된 광 피처들의 서브-픽셀 레졸루션을 제공함으로써, 하기에 설명될 바와 같은 문제를 다룬다.

이제, 도 2를 참조하면, 도 2는 반사된 그리고 조금은 왜곡된 광 분포가 다중의 픽셀들로 이루어진 검출기에 도달할 경우에 광학적으로 발생하는 것을 도시한 단순화된 개략 다이어그램이다. 2개 차원들에서 개략적으로 관측될 때, 반사된 빔은 3개 검출기 픽셀들(20A, 20B 및 20C)에서, 중앙 피크(24), 피크 주위에서의 상대적으로 가파른 저하 영역들(26), 및 그 후 휘도가 제로를 향하는 경향에 따라 상대적으로 편평한 테일 영역(28)을 갖는 통상적으로 가우시안 분포 또는 약간 왜곡된 가우시안 분포인 휘도 분포(22)로서 도달한다. 피크 영역(24)이 픽셀 사이즈보다 더 넓거나 픽셀 사이즈만큼 넓을 경우, 대응하는 형상은 분해될 수 있다. 하지만, 피크가 픽셀 사이즈보다 좁으면, 종래기술에서, 피크는 개별 픽셀보다 더 큰 레졸루션으로 국부화될 수 없다.

도 2에 도시된 바와 같이, 피크(24)는 검출기 픽셀(20B)의 우측 측면과 일치한다.

이제, 도 3을 참조하면, 도 3은, 잠시후 가우시안 분포가 화살표(30)에 따라 이동하여 이제 피크(24)가 픽셀(20B)의 반대 측면에서 교차한 때의 도 2와 동일한 뷰이며, 그 상황에서의 변화는, 피크가 여전히 동일 픽셀 내에 있기 때문에 종래기술의 시스템들에 의해 검출될 수 없다.

이제, 도 4를 참조하면, 도 4는 각각의 픽셀(A, B 및 C)에서의 휘도, 및 도 2 및 도 3의 상황들 사이에서 어떻게 변하여, 검출될 도 2와 도 3 간의 서브-픽셀 움직임을 허용하는지를 도시한 개략 그래프이다. 연속적인 라인들에 의해 표시된 휘도 레벨들은 도 2의 상황을 도시한다. 점선들은, 피크가 도 3의 포지션으로 이동할 때에 발생되는 변화들을 도시한다.

언급된 바와 같이, 본 실시예들은 통상적으로 구조화된 광을 이용할 수도 있다. 광은 프로젝터 또는 광섬유들 또는 스캐너를 통해 레이저에 의해 생성될 수도 있다. 그 구조는 스폿들 또는 평행 라인들 또는 그리드 등을 수반할 수도 있거나, 또는 상이한 구조들의 조합들이 이용될 수도 있다. 예를 들어, 더 미세한 구조가 장면의 나머지에 대향된 것으로서 특별히 관심있는 영역에 적용될 수도 있다.

도 4를 고려하여 주목할 첫번째 일은, 피크가 픽셀B의 범위 내에 남아있기 때문에 픽셀B에서 어떠한 변화도 존재하지 않는다는 점이다. 하지만, 도 2에 있어서, 픽셀A는 테일 영역(28)과 일치하고 픽셀 C는 경사 영역(26)과 일치한다. 도 3에 있어서, 상황은 피크가 픽셀A로부터 픽셀C를 향해 멀리 이동함에 따라 반전된다. 따라서, 픽셀C가 테일 영역(28)과 일치하고 픽셀A는 경사 영역(26)과 일치한다. 따라서, 도 4에 도시된 바와 같이, 피크가 픽셀A를 향해 이동함에 따라, 픽셀A에서의 휘도는 증가한다. 동시에, 피크는 픽셀C로부터 이동하고 픽셀C에서의 휘도는 감소한다. 휘도 레벨들에서의 변화들은 도시된 포지션들 사이에서 연속적이고, 신호 프로세서(하기 참조)는 휘도 레벨에서의 동작 변화들을 수반하고 피크의 모션을 추정하고, 그리고 피크가 픽셀에 걸쳐 이동함에 따라 픽셀B 내의 피크의 연속적인 포지션들을 분해할 수 있음을 유의한다. 본 실시예들이 작동하기 위해 모션은 요구되지 않음을 추가로 유의한다. 대신, 픽셀 휘도의 각각의 조합은 움직임이 없을지라도 피크의 정확한 위치에 대응한다. 따라서, 서브-레졸루션이 단일 프레임에서 검출가능하다.

이제 도 5를 참조하면, 도 5는 본 발명의 실시예에 따른, 체적을 조명하고 그리고 오브젝트 포지션, 오브젝트 심도, 및 옵션적으로 서브-픽셀 레졸루션으로의 그 내부에서의 오브젝트들의 움직임을 광학적으로 검출하기 위한 검출기 장치를 도시한 단순화된 개략 다이어그램이다. 검출기 장치(50)는, 구조화된 광 빔들을 체적 상에 비추는 광 소스(52)를 포함한다. 광 소스는 통상적으로, 반도체 에지 방출 레이저들 또는 VCSEL 레이저들을 사용하는 레이저 소스이다.

통상적으로, 카메라인 디지털 검출기(54)는 특정 사이즈의 검출 픽셀들(58)을 갖는 센서(56)를 가진다. 논의된 바와 같이, 레이저 빔들은, 체적으로 비추고 검출 픽셀들(58)로 역으로 반사될 경우, 피크를 갖는 휘도 분포를 갖는다. 일 경우에 있어서, 피크는 픽셀 사이즈보다 더 작을 수도 있다. 대안적인 경우는 광 포화의 경우이고, 이 경우, 피크는 전체 포화된 영역이며, 이 전체 포화된 영역은, 주위 픽셀들에서의 피크 주위의 영역에 관심이 있을 수 있도록 전체 픽셀 또는 그 초과일 수도 있다. 전자 프로세서(60)는, 실제 픽셀 사이즈보다 더 작은 영역 내의 근본 피처 또는 피크의 위치를 추론하기 위해 이웃한 픽셀들 간의 휘도의 분포를 평가한다. 도 4에 관하여 상기 논의된 바와 같이, 휘도 분포는 정적이거나 어떤 경우들에서는 동적일 수도 있다. 전체 휘도 레벨이 피크가 횡단하는 픽셀 상에서 상당히 편평한 상태로 유지하더라도, 그 전체 휘도 레벨은 중앙 픽셀의 횡단 동안 이웃한 픽셀들에서 상당히 샤프하게 상승 및 하강한다.

이전 실시예들 및 도 5의 실시예 양자에서, 구조화된 광이 사용될 수도 있음을 유의한다. 따라서, 회절 엘리먼트는 양자의 경우들에 있어서 레이저의 앞에 위치된다. 시준기가 또한 통상적으로 제공된다. 도 5의 실시예는, 이웃한 센서들 주위에서의 광 분포를 관리하기 위해 카메라 센서 앞에 위치된 부가적인 회절 엘리먼트를 가질 수도 있다.

상기 언급된 바와 같이, 구조화된 광이 또한 스캐너를 사용하여 생성될 수도 있어서, 초기 회절 엘리먼트는 광 소스 앞에 있을 필요가 없을 수도 있다.

이제, 도 6을 참조하면, 도 6은 회절 엘리먼트(62)가 사용되는 도 5의 실시예의 변형예를 도시한 단순화된 다이어그램이다. 패턴 생성기 엘리먼트(64)는 레이저 빔들의 구조화된 광 패턴을 생성하기 위해 레이저 소스(52) 앞에 배치될 수도 있고, 그 후, 회절 엘리먼트(62)는 검출기(54)에서의 각각의 인커밍 빔을 3개의 빔들, 즉, 중앙 빔 및 2개의 측면 빔들로 분할한다. 3차원 버전에 있어서, 그 효과는 링에 의해 둘러싸인 중앙 피크 또는 이산적인 또는 연속적인 피크들에 의해 둘러싸인 중앙 피크의 임의의 조합일 것임이 인식될 것이다. 회절 엘리먼트는, 중앙 피크가 픽셀의 중심에 해당할 경우 측면 피크들이 이웃한 픽셀들의 경계들에 해당하도록 배열된다. 휘도 분포가 도 7에 도시된다.

패턴 생성기 엘리먼트(64)는 적절한 회절 엘리먼트, 레이저 스캐너, 또는 임의의 다른 다중의 레이저 배열에 의해 구현될 수도 있다.

도 7에 있어서, 메인 빔(70)은 5개의 픽셀들(A 내지 E)의 세트 중 중앙 픽셀C에 해당한다. 측면 빔들(72 및 74)은, 각각, 픽셀A와 픽셀B의 경계 그리고 픽셀D와 픽셀E의 경계에 해당한다.

이제 도 8을 참조하면, 도 8은 픽셀들에 의해 등록된 대응하는 휘도 레벨들을 도시한다. 픽셀C는 풀 빔 분포에 대응하는 휘도 레벨(80)을 본다. 픽셀들(A, B, D 및 E) 각각은 휘도 레벨들(82, 84, 86 및 88)을 보며, 각각은 빔 분포의 절반에 상당한다.

도 9 및 도 10은, 피크들을 야기하는 오브젝트가 화살표(90)의 방향으로 약간 이동할 경우의 상황을 도시한다. 중앙 피크(70)는 픽셀C와 픽셀D 사이의 경계를 향해 이동한다. 측면 피크(72)는 픽셀B의 중심을 향해 이동하고 측면 픽셀(74)은 픽셀E의 중심을 향해 이동한다. 도 10을 보면, 픽셀A에서의 휘도 레벨(82)은 거의 제로로 드롭한다. 픽셀B에서의 레벨(84)은 거의 최대로 상승한다. 픽셀C에서의 레벨(80)은 약간 떨어진다. 픽셀D에서의 레벨(86)은 상당히 떨어지지만, 2개의 테일들을 반영하기 때문에 픽셀A 만큼은 아니다. 픽셀E에서의 레벨(88)은 거의 최대로 상승한다. 다시, 그 상황은 동적이고, 픽셀C에 걸친 피크의 모든 포지션은 픽셀A 내지 픽셀E에 걸친 휘도 레벨들의 상이한 시그너처를 가질 것이다.

따라서, 픽셀C에 걸친 피크 휘도의 통과의 레졸루션의 레벨은 개별 픽셀들에서의 상이한 휘도 레벨들을 분간하는 능력 및 관련된 픽셀들 간의 휘도 레벨들의 상이한 조합들의 수들에 의해서만 제한된다. 따라서, 각각의 검출 픽셀은 다중의 검출 존들로 분할될 수도 있으며, 그 검출 존들의 사이즈는 분해가능 휘도 레벨들의 수의 사용된 조합들에 의해 지시된다. 프로세서(60)는 검출 픽셀들(A 내지 E)에 대한 휘도 레벨들의 상이한 조합들을, 관련된 검출 픽셀들의 그룹 중 중앙 검출 픽셀에 대한 존들 중 하나에 매핑하기 위한 매핑 로직을 제공한다. 일 실시예는 픽셀 사이즈의 1/10의 레졸루션 레벨을 허용할 수도 있다.

오브젝트로부터의 빔이 검출기에 걸쳐 이동함에 따라, 상이한 픽셀들은 차례로 중앙 픽셀 및 이웃한 픽셀들로서 서빙함이 인식될 것이다. 부가적으로, 이웃한 픽셀들은 서로 인접할 필요는 없지만 임의의 미리정의된 픽셀 배열일 수도 있다.

매핑 로직은 2개 또는 3개 차원들로 매핑할 수도 있다. 도면들은 단순화를 위해 2개 차원들을 도시하지만, 당업자는 3차원 시스템이 일반적으로 실제 상황에서 요구됨을 인식할 것이다.

도 6으로 돌아가면 그리고 회절 엘리먼트 대신, 엘리먼트(62)는 왜곡 엘리먼트일 수도 있다. 왜곡 엘리먼트는 휘도의 가우시안 분포를, 이웃한 픽셀들에 걸쳐 확산하는 임의의 미리결정된 형상으로 간단히 왜곡하고, 중앙 픽셀에 걸친 피크의 통과가 분해되게 한다. 왜곡은 측면 피크들을 수반하고, 따라서, 회절 엘리먼트 실시예의 방식과 유사한 방식으로 작동할 수도 있다. 대안적으로, 왜곡은 중앙 피크를 날카롭게 하고 테일 영역에서의 에너지를 재분배할 수도 있다. 대안적으로, 중앙 픽셀 및 이웃한 픽셀들에 있어서의 휘도 변화들에 기초하여 피크의 위치에 관한 정보를 제공하는 임의의 다른 왜곡이 사용될 수도 있다.

이제 도 11을 참조하면, 도 11은 상기 설명된 장치로의 사용을 위해, 체적 내에서의 움직임의 서브-레졸루션 광학적 검출의 방법을 예시한다. 그 방법은, 체적 내의 오브젝트들이 검출기로의 광 빔들의 반사를 야기할 수 있도록 그 광 빔들을 체적으로 비추는 것을 포함한다. 논의된 바와 같이, 검출기는 검출 픽셀들을 갖는다. 빔들은, 체적으로 비추고 검출 픽셀들로 역으로 반사될 경우, 피크를 갖는 가우시안 분포와 같은 휘도 분포를 갖는다. 피크는 픽셀 사이즈보다 더 작다. 그 방법은, 이웃한 픽셀들 간의 휘도의 분포를 전자적으로 평가하는 것을 수반한다. 그 후, 그 분포는, 예를 들어, 피크의 위치를 단일의 중앙 검출 픽셀 내의 영역 내에 매핑함으로써 추론되도록 사용되고, 그 영역은 픽셀 사이즈보다 더 작다.

오브젝트가 이동하면, 픽셀들의 휘도 레벨들이 변하고, 그룹의 중앙 픽셀 내의 피크의 모션이 추적될 수 있다.

그 방법은 추가로, 검출기에 도달할 때 그 빔에 회절을 적용하여 측면 피크들을 생성하는 것을 수반한다. 회절의 레벨은, 메인 피크가 픽셀의 중심에 도달할 경우에 픽셀들 간의 갭들에 측면 피크들이 도달하여 픽셀들의 그룹에 걸친 휘도 레벨들에 대한 모션의 효과를 최대화하도록 선택될 수도 있다.

그 방법은 각각의 픽셀을 별도의 존들로 분할하는 것을 포함할 수도 있다. 통상적으로, 존들의 수는 휘도 레벨들의 분해가능한 수 및 검출될 수 있는 조합들에 기초하여 선택된다. 그 후, 이미지 프로세싱이, 픽셀들에서의 휘도 레벨들의 각각의 패턴을 중앙 픽셀에 대한 존으로 매핑하도록 서빙한다. 매핑은 2개 또는 3개 차원들일 수도 있다.

매핑을 위한 통상적인 레졸루션은 픽셀 사이즈의 대략 1/10이고, 이는 표준 오프-더-쉘프 검출기들로 하여금 4 또는 5 미터의 거리에서 손가락 모션을 정확하게 검출하게 할 수도 있다.

빔들은 빔 소스에서 시준될 수도 있다.

대안적인 실시예에 있어서, 그 방법은, 움직임이 정확하게 측정되게 하는 방식으로, 인커밍 휘도 분포에 왜곡을 적용하여 중앙 검출 픽셀과 이웃한 픽셀들에 걸친 인커밍 분포를 왜곡하는 것을 포함할 수도 있다.

본 출원으로부터 완성된 특허의 존속기간 동안, 상이한 타입들의 조명 빔 및 상이한 타입들의 검출기를 포함한 다수의 관련 검출 기술들이 개발되고 대응하는 조건들의 범위가 모든 그러한 새로운 기술들을 선험적으로 포함하도록 의도됨이 예상된다.

본 명세서에서 사용된 바와 같이, 용어 "약"은 ± 10%를 지칭한다.

용어들 "구비하다", "구비하는 것", "포함하다", "포함하는 것", "갖는 것" 및 그 활용어들은 "포함하지만 한정되지 않는 것"을 의미한다.

용어 "이루어지는 것"은 "포함하고 한정되는 것"을 의미한다.

본 명세서에서 사용된 바와 같이, 단수 형태들("a, "an" 및 "the" )은, 문맥에서 분명하게 달리 진술되지 않는다면 복수의 참조물들을 포함한다.

명료화를 위해, 별개의 실시예들의 문맥에서 설명된 본 발명의 특정 피처들은 또한 단일 실시예에 결합하여 제공될 수도 있으며 상기 설명은 이러한 조합이 명시적으로 기재된 것과 같이 해석되어야 함이 인식된다. 반대로, 간결화를 위해, 단일의 실시예의 문맥에서 설명된 본 발명의 다양한 피처들은 또한 별도로 또는 임의의 적절한 서브-조합으로 또는 본 발명의 임의의 다른 설명된 실시예에서 적절하게 제공될 수도 있으며, 상기 설명은 이들 별도의 실시예들이 명시적으로 기재된 것과 같이 해석되어야 한다. 다양한 실시예들의 문맥에서 설명된 특정 피처들은, 그 실시예가 그 엘리먼트들없이는 동작하지 못하지 않으면, 그 실시예들의 본질적인 피처들로 고려되지 않아야 한다.

본 발명이 그 특정 실시예들과 함께 설명되었더라도, 다수의 대체예들, 변형예들 및 변동예들이 당업자에게 자명할 것임이 명백하다. 이에 따라, 본 발명은 첨부된 청구항들의 사상 및 넓은 범위 내에 있는 모든 그러한 대체예들, 변형예들 및 변동예들을 포괄하도록 의도된다.

본 명세서에서 언급된 모든 공개물들, 특허들, 및 특허 출원들은, 각각의 개별 공개물, 특허 또는 특허 출원이 참조로 본 명세서에 통합되도록 구체적으로 그리고 개별적으로 표시된 것과 동일한 정도로, 본 명세서에 참조로 전부 여기에 통합된다. 부가적으로, 본 출원에서의 임의의 참조물의 인용 또는 식별은, 그러한 참조물이 본 발명에 대한 종래기술로서 이용가능하다는 허가로서 해석되지는 않을 것이다. 섹션 헤딩들이 사용되는 한, 그 헤딩들은 반드시 한정하는 것으로 해석되지는 않아야 한다.

Claims (24)

1. 체적 내 오브젝트들의 포지션의 광 검출을 위한 장치로서,
   구조화된 광 패턴을 체적에 투영하기 위한 구조화된 광 소스(52);
   피크(24) 및 주변 구조(26, 28)로 복수의 검출 픽셀들(20A-C;58)의 이웃 픽셀들 상의 분포(22)를 갖는 체적 내의 오브젝트들로부터 반사되는 구조화된 광 패턴을 수신하도록 구성된 복수의 검출 픽셀들(20A-C;58)을 갖는 디지털 검출기(54)로서, 휘도 레벨들은 개별 검출 픽셀들(20A-C;58)에서만 식별할 수 있는, 상기 디지털 검출기(54); 및
   상기 디지털 검출기(54)에 연결되고, 이웃 픽셀들 중에서 피크(24) 및 주변 구조(26, 28)를 갖는 분포(22)를 평가하도록 구성된 전자 프로세서(60)를 포함하고,
   상기 전자 프로세서(60)는 또한 상기 주변 픽셀들(20A-C;58)의 픽셀 내의, 픽셀 크기보다 작은 영역 내의 피크(24)의 위치를 추론하도록 구성된, 상기 광 검출을 위한 장치에 있어서,
   상기 전자 프로세서(60)는 상기 주변 픽셀들에서 휘도 레벨들의 변화에 기초해 체적 내의 오브젝트들의 이동을 검출하도록 구성되는 것을 특징으로 하고,
   상기 전자 프로세서(60)는 주변 픽셀들의 휘도의 레벨들의 조합을 검출 픽셀들(20A-C;58) 중 하나의 복수의 검출 존들 중 하나에 매핑하여 피크(24)의 위치를 추론하도록 구성되고, 각 검출 픽셀(20A-C;58)은 복수의 검출 존들(20A-C;58)로 분할가능하고, 검출 존들의 사이즈는 개별 검출 픽셀들(20A-C;58)에서 분해가능 휘도 레벨들의 사용된 조합에 의해 지시되는 것을 특징으로 하는, 광 검출을 위한 장치.
2. 제 1 항에 있어서,
   상기 분포(22)는 편광 및 휘도로 구성된 그룹 중 하나인, 광 검출을 위한 장치.
3. 제 1 항에 있어서,
   복수의 검출 픽셀들(20A-C;58)의 앞에 위치된 회절 엘리먼트(62)를 더 포함하는, 광 검출을 위한 장치.
4. 제 3 항에 있어서,
   회절 엘리먼트(62)는 구조화된 광 패턴의 분포를 빗나가지않은 메인 피크 및 주변 픽셀들에 도달하는 적어도 하나의 보조 피크로 변환하도록 구성되고,
   전자 프로세서(60)는 또한 메인 피크 및 적어도 하나의 보조 피크에 기초하여 영역 내의 피크(24)의 위치를 추론하도록 구성되는, 광 검출을 위한 장치.
5. 제 4 항에 있어서,
   회절 엘리먼트(62)는 메인 피크를 검출하는 주변 픽셀들의 픽셀 근방에 적어도 하나의 보조 피크를 배치하도록 구성되는, 광 검출을 위한 장치.
6. 제 3 항에 있어서,
   구조화된 광 소스(52)로부터 체적으로의 구조화된 광 패턴의 외향 빔 경로에 위치된 회절 엘리먼트(62)를 더 포함하는, 광 검출을 위한 장치.
7. 제 1 항에 있어서,
   복수의 검출 픽셀들(20A-C;58)의 앞에 위치된 회절 엘리먼트(62)를 더 포함하고, 회절 엘리먼트(62)는 상기 체적 내의 오브젝트들로부터 반사된 구조화된 광 패턴의 인입 휘도 분포에 회절을 가하여 주변 픽셀들에 인입 분포를 회절하도록 구성되고, 전자 프로세서는 또한 회절된 휘도 분포에 기초하여 피크(24)의 위치를 추론하도록 구성되는, 광 검출을 위한 장치.
8. 제 3 항에 있어서,
   회절 엘리먼트(62)는 디지털 검출기(54) 앞의 렌즈 상에 위치되는, 광 검출을 위한 장치.
9. 체적 내 오브젝트들의 포지션의 광 검출을 위한 방법으로서,
   구조화된 광 패턴을 체적에 투영하는 단계;
   복수의 검출 픽셀들(20A-C;58)에서, 피크(24) 및 주변 구조(26, 28)로 복수의 검출 픽셀들(20A-C;58)의 이웃 픽셀들 상의 분포를 갖는 체적 내의 오브젝트들로부터 반사되는 구조화된 광 패턴을 수신하는 단계로서, 휘도 레벨들은 개별 검출 픽셀들(20A-C;58)에서만 식별할 수 있는, 상기 구조화된 광 패턴을 수신하는 단계; 및
   이웃 픽셀들 중에서 피크(24) 및 주변 구조(26, 28)를 갖는 분포를 전자적으로 평가하고, 상기 주변 픽셀들(20A-C;58)의 픽셀 내의, 픽셀 크기보다 작은 영역 내의 피크의 위치를 추론하는 단계를 포함하는, 상기 광 검출을 위한 방법에 있어서,
   상기 주변 픽셀들에서 휘도 레벨들의 변화에 기초해 체적 내의 오브젝트들의 이동을 검출하는 것을 특징으로 하고,
   피크의 위치를 추론하는 단계는, 주변 픽셀들의 휘도의 레벨들의 조합을 검출 픽셀들(20A-C;58) 중 하나의 복수의 검출 존들 중 하나에 매핑하는 단계를 포함하고, 각 검출 픽셀(20A-C;58)은 복수의 검출 존들(20A-C;58)로 분할가능하고, 검출 존들의 사이즈는 개별 검출 픽셀들(20A-C;58)에서 분해가능 휘도 레벨들의 사용된 조합에 의해 지시되는 것을 특징으로 하는, 광 검출을 위한 방법.
10. 제 9 항에 있어서,
    상기 분포는 편광 및 휘도로 구성된 그룹 중 하나인, 광 검출을 위한 방법.
11. 제 10 항에 있어서,
    구조화된 광 패턴의 분포를 빗나가지않은 메인 피크 및 주변 픽셀들에 도달하는 적어도 하나의 보조 피크로 변환하는 단계를 더 포함하고,
    피크(24)의 위치를 추론하는 단계는 메인 피크(24) 및 적어도 하나의 보조 피크에 기초하여 영역 내의 피크(24)의 위치를 추론하는 단계를 포함하는, 광 검출을 위한 방법.
12. 제 11 항에 있어서,
    변환하는 단계는, 빗나가지않은 피크가 주변 픽셀들의 제 1 검출 픽셀의 중심에 위치될 때, 적어도 하나의 보조 피크 각각이 주변 픽셀들의 검출 픽셀들(20A-C;58) 사이의 경계에 위치됨을 보장하도록 설계된 광학적 함수를 적용하는 단계를 포함하는, 광 검출을 위한 방법.
13. 제 11 항에 있어서,
    구조화된 광 패턴을 체적 내의 오브젝트들에 투영할 때 구조화된 광 패턴의 빔을 시준하는 단계를 더 포함하는, 광 검출을 위한 방법.
    
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제

Images