KR20220063267A - 이미지 센서와 표적 영역 사이의 거리 결정 - Google Patents

이미지 센서와 표적 영역 사이의 거리 결정 Download PDF

Info

Publication number
KR20220063267A
KR20220063267A KR1020227013477A KR20227013477A KR20220063267A KR 20220063267 A KR20220063267 A KR 20220063267A KR 1020227013477 A KR1020227013477 A KR 1020227013477A KR 20227013477 A KR20227013477 A KR 20227013477A KR 20220063267 A KR20220063267 A KR 20220063267A
Authority
KR
South Korea
Prior art keywords
light source
distance
steering wheel
image sensor
sensor
Prior art date
Application number
KR1020227013477A
Other languages
English (en)
Inventor
안데르스 엘리아손
Original Assignee
스마트 아이 아베
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스마트 아이 아베 filed Critical 스마트 아이 아베
Publication of KR20220063267A publication Critical patent/KR20220063267A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

이미지 센서와 차량 운전자의 표적 영역 사이의 거리 Dsensor를 결정하는 방법으로, 상기 방법은, 차량의 구조물이 적어도 때때로 표적 영역에 그림자를 드리우도록 이미지 센서에 대해 알려진 기하학적 관계로 점 광원을 배치하는 단계, 그림자를 포함하는, 표적 영역의 이미지 센서로 획득된 이미지 및 및 광원과 스티어링 휠 사이의 기하학적 관계(예컨대, 거리)에 기초하여 광원과 표적 영역 사이의 거리 Dlight source를 결정하는 단계 및 거리 Dlight source와 광원 및 이미지 센서 사이의 기하학적 관계에 기초하여 거리 Dsensor를 결정하는 단계를 포함한다.
이 접근 방식을 사용하면 하나의 단일 이미지 센서를 사용하여 표적 영역에 대한 거리를 안정적으로 결정할 수 있다.

Description

이미지 센서와 표적 영역 사이의 거리 결정
본 발명은 특히, 눈-추적 시스템에서 단일 이미지 센서와 표적 영역 사이의 거리를 결정하는 것에 관한 것이다.
차량 탑승자 식별 장치 또는 눈-추적 시스템과 같은 차량용 모니터링 시스템에서는 전통적으로 차량 탑승자에 대한 센서 장치의 거리를 결정하는 기술이 예를 들어, 운전자의 머리나 얼굴과 같이, 차량 탑승자의 신체 부위의 위치를 식별하는데 중점을 둔다.
대부분의 머리 또는 눈 추적 시스템에서, 사용자의 얼굴은 가시 스펙트럼 외부의 중심 파장을 갖는 광원으로 조명되고, 얼굴의 이미지는 하나 또는 여러 개의 이미징 센서에 의해 획득된다. 2개의 이미지 센서("스테레오 이미징")의 경우, 삼각 측량으로 얼굴에 대한 거리가 결정될 수 있다. 그러나, 카메라가 하나만 있는 시스템에서는 얼굴에 대한 거리를 결정하는 것이 어려울 수 있다.
한 가지 접근 방식은 (이미지에서) 동공 간 거리 또는 기타 유사한 파라미터를 측정하고, 파라미터의 예상 값을 기반으로 거리를 추정하는 것이다. 이러한 거리 결정 접근 방식의 주요 문제 중 하나는 측정된 파라미터의 자연 분포로 인한 추정의 불확실성으로 인해 약 10%의 범위 추정 오류가 발생하는 것이다. 홍채 크기 또는 각막 곡률과 같은 파라미터의 다른 선택은 측정의 불확실성을 최소화할 수 있지만, 운전자의 눈이 예를 들어, 안경을 착용함으로써 가려지는 즉시, 이러한 특징의 측정은 빛의 굴절에 영향을 받고 신뢰할 수 없게 된다.
따라서, 운전자의 얼굴과 단일 이미지 센서 사이의 거리 결정을 개선할 필요가 있다.
본 발명의 목적은 전술한 문제를 극복하고 단일 이미지 센서와 차량의 표적 영역 사이의 거리를 만족스럽게 결정할 수 있는 실현 가능한 방법을 제공하는 것이다.
본 발명의 제1 양태에 따르면, 이러한 목적 및 다른 목적은 이미지 센서와 차량 운전자의 표적 영역 사이의 거리 Dsensor를 결정하는 방법에 의해 달성되며, 상기 방법은, 차량의 스티어링 휠이 적어도 때때로 표적 영역에 그림자를 드리우도록 이미지 센서에 대해 알려진 기하학적 관계로 점 광원을 배치하는 단계, 그림자를 포함하는, 표적 영역의 이미지 센서로 획득된 이미지 및 광원과 스티어링 휠 사이의 기하학적 관계(예컨대, 거리)에 기초하여 광원과 표적 영역 사이의 거리 Dlight source를 결정하는 단계 및 거리 Dlight source와 광원 및 이미지 센서 사이의 기하학적 관계에 기초하여 거리 Dsensor를 결정하는 단계를 포함한다.
본 발명의 제2 양태에 따르면, 이러한 목적 및 다른 목적은 이미지 센서와 차량 운전자의 표적 영역 사이의 거리 Dsensor를 결정하는 방법에 의해 달성되며, 상기 방법은, 차량의 스티어링 휠이 적어도 때때로 표적 영역에 그림자를 드리우도록 이미지 센서에 대해 알려진 기하학적 관계로 점 광원을 배치하는 단계, 그림자 및 광원과 스티어링 휠 사이의 기하학적 관계를 포함하는, 표적 영역의 이미지 센서로 획득된 이미지에 기초하여 광원과 표적 영역 사이의 거리 Dlight source를 결정하도록 구성된 회로를 처리하는 단계 및 거리 Dlight source와 광원 및 이미지 센서 사이의 기하학적 관계에 기초하여 거리 Dsensor를 결정하는 단계를 포함한다.
본 발명은 광원(들)과 표적 영역 사이에 위치된 스티어링 휠이 그림자를 드리울 것이라는 인식에 기초하고 있으며, 이는 1) 광원(들)과 스티어링 휠 사이 및 2) 광원(들)과 이미지 센서 사이의 기하학적 관계가 알려져 있는 경우 광원과 표적 영역 사이의 거리를 결정하는데 사용될 수 있다.
이 접근 방식을 사용하면 하나의 단일 이미지 센서를 사용하여 표적 영역에 대한 거리를 안정적으로 결정할 수 있다.
원칙적으로, 광원과 스티어링 휠 사이의 알려진 기하학적 관계(예를 들어, 거리)는 그림자의 위치 및/또는 크기에 기초하여 광원(들)과 표적 영역 사이의 제1 거리를 결정하는 것을 가능하게 하고, 광원과 이미지 센서 사이의 알려진 기하학적 관계는 사기 제1 거리를 필요한 거리 Dsensor로 변환하는 것을 가능하게 한다(물론, 제1 거리의 명시적인 계산은 필요하지 않을 수 있다).
설명의 목적을 위해 다음 설명에서 광원과 스티어링 휠 사이의 "알려진 기하학적 관계"는 "거리"로 지칭되는 것에 주목해야 한다. 대부분의 경우, 이것은 올바른 설명이기도 하다. 그러나, 일부 경우에, 스티어링 휠이 표적 영역(예를 들어, 얼굴)과 동일한 평면에 있지 않을 수 있고 단일 "거리"가 없기 때문에 단순화된다. 이러한 경우, 기하학적 관계는 스칼라 거리보다 더 복잡할 수 있다.
일부 실시예들에서, 거리 Dlight source는 이미지에서 스티어링 휠의 특정 부분의 그림자의 폭을 검출하고, 거리 Dlight source를 d × R/r로 계산함으로써 결정될 수 있으며, 여기서 d는 광원과 스티어링 휠 사이의 거리이고, r은 해당 부분의 알려진 폭이며, R은 검출된 폭이다.
다른 실시예들에서, 거리 Dlight source는 이미지에서 스티어링 휠의 특정 윤곽의 그림자의 위치 P를 검출하고, 거리 Dlight source를 d × P/p로 계산함으로써 결정될 수 있으며, 여기서 d는 광원과 스티어링 휠 사이의 거리이고, p는 광원의 광학 축에 대한 윤곽의 위치이며, P는 검출된 위치이고, 위치 p와 검출된 위치 P는 모두 광원의 광학 축에 대해 결정된다.
링과 스포크가 있는 스티어링 휠의 전형적인 디자인과 운전 중 회전 운동은 본 발명의 목적에 매우 적합하게 한다.
부분 또는 윤곽은 스티어링 휠의 스포크의 일부일 수 있다. 스포크 사용의 이점은 일반적으로 스티어링 휠이 옆으로 조정할 수 없다는 것이다. 따라서, 반경 방향으로 연장되는 스포크의 수평 구성요소는 스티어링 휠 조정의 위/아래에 영향을 받지 않는다.
스티어링 휠과 이미지 센서 사이의 거리는 미리 알고 있거나 적절한 보정 절차 중에 결정될 수 있다. 예를 들어, 스티어링 휠에는 알려진 간격으로 반사 마커가 제공되어 이미지 센서로 획득한 이미지에서 이미지 센서와 스티어링 휠 사이의 거리를 검출할 수 있다. 대안적으로, 이미지 센서와 스티어링 휠 사이의 거리는 상기 이미지 센서에 의해 획득된 이미지에서 식별된 기하학적 파라미터의 값과 알려진 거리에서 동일한 기하학적 파라미터의 미리 식별된 값에 기초하여 결정된다.
일부 실시예들에서, 스티어링 휠의 기하학적 구조(예를 들어, 스포크의 폭)는 거리의 결정을 용이하게 하기 위해 바람직하다. 이러한 기하학적 구조는 예를 들어, 차량의 스티어링 휠과 관련된 CAD 정보로부터 알 수 있다. 대안적으로, 이러한 정보가 이용가능하지 않은 상황에서, 스티어링 휠의 기하학적 구조는 이미지 센서에 의해 획득된 이미지로부터 그리고 이미지 센서와 스티어링 휠 사이의 알려진 거리에 기초하여 결정될 수 있다.
일부 실시예에서, 스티어링 휠의 각도 위치는 거리의 결정을 용이하게 하기 위해 검출된다. 스티어링 휠의 기하학적 구조와 각도 위치를 알면 스포크의 측면의 각도를 알 수 있으므로, 스포크 그림자를 쉽게 식별할 수 있다. 또한, 스포크의 위치가 알려져 있으므로, 스티어링 휠의 이미지를 얻을 수 있는 것이 중요하지 않다. 이것은 이미지 센서가 스티어링 휠을 "볼" 수 없는 구현예를 허용한다.
대안적으로, 일부 실시예들에서, 그림자 패턴, 스티어링 휠의 기하학적 구조, 스티어링 휠과 이미지 센서 사이의 거리 또는 스티어링 휠의 각도 위치는 스티어링 휠의 다양한 기하학적 치수와 위치에 대해 훈련된 인공 신경망에 대한 함수로 시간이 지남에 따른 측정치(예를 들어, 획득된 이미지에서 식별된 기하학적 파라미터)의 적절한 출력을 제공함으로써 결정될 수 있다.
본 발명은 본 발명의 현재 바람직한 실시예들을 도시하는 첨부된 도면을 참조하여 보다 상세하게 설명될 것이다.
도 1은 본 발명의 실시예에 따른 눈-추적 시스템의 개략도이다.
도 2a는 도 1의 눈-추적 시스템의 측면도이다.
도 2b는 도 2a의 기하학적 관계의 개략도이다.
도 3a는 도 1의 눈-추적 시스템의 다른 개략도이다.
도 3b는 도 3a의 기하학적 관계의 개략도이다.
도 4는 본 발명의 실시예에 따른 방법의 흐름도이다.
다음의 상세한 설명에서, 본 발명의 일부 실시예들이 설명될 것이다. 그러나, 다른 어떤 것도 구체적으로 나타내지 않는 한, 상이한 실시예들의 특징은 실시예들 사이에서 교환가능하고 상이한 방식으로 조합될 수 있음을 이해해야 한다. 다음의 설명에서, 본 발명의 보다 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 제시되지만, 본 발명이 이러한 특정한 세부사항 없이 실시될 수 있음은 당업자에게 명백할 것이다.
전자, 센서 시스템, 이미지 분석, 신호 처리, 데이터 통신 시스템, 이미지 획득 시스템 및 본 발명을 수행하는 기타 구성 요소의 기본 및 기존 기술은 해당 기술 분야의 숙련자에 의해 쉽게 이해될 수 있는 것으로 간주되며, 따라서, 간결함을 위해, 설명에서 더 이상의 설명 및 세부사항은 생략될 것이다.
다른 예에서, 잘 알려진 구성 또는 기능은 본 발명을 모호하게 하지 않기 위해 상세하게 설명되지 않는다.
도 1, 도 2a 및 도 3a는 사용자의 눈을 검출하기 위한 눈-추적 시스템(1)을 도시한다. 시스템은 광원(2), 이미지 센서(3) 및 처리 회로(4)를 포함한다. 이미지 센서(3)는 표적 영역, 여기서는 사용자(6)의 얼굴(5)의 이미지를 획득하도록 구성된다. 처리 회로는 사용자(6)의 눈(7)을 식별하고 검출하도록 구성된다.
단일 광원이 도 1, 도 2a 및 도 3a에 도시되어 있지만, 하나 이상의 광원을 제공하는 것이 가능하다. 반사 감소/제거 목적을 위해 적어도 2개의 광원으로 표적 영역을 교대로 조명하는 것이 유리할 수 있다. 광원(2)은 바람직하게는 광 스펙트럼의 적외선(IR) 또는 근적외선 부분의 중심 파장을 갖는 상이한 파장 도메인에서 작동하는 발광 다이오드(LED)를 포함하지만 이에 제한되지 않는 임의의 적합한 유형의 광원, 발산 렌즈 등이 있는 눈에 안전한 레이저 소스일 수 있다. 이 바람직한 실시예들에서, 광원(2)은 IR LED이다. 주변 광의 간섭을 제거하거나 최소화하기 위해, 광원은 중심 IR 파장을 중심으로 통과 대역을 갖는 대역-통과 필터와 함께 사용된다. 중심 파장은 예를 들어, 840 nm 또는 940 nm과 같은 근적외선 영역에 있을 수 있다. 필터에는 광원에서 방출되는 대부분의 빛을 포착하는 동시에 대부분의 주변 광을 차단할 수 있는 통과-대역이 있다.
이미지 센서(3)는 카메라 또는 반도체 이미지 센서, 광검출기, 열 검출기, PIN 다이오드 또는 애벌랜치 다이오드와 같은 광검출기일 수 있다. 카메라(3)는 또한 전하 결합 소자(CCD) 센서 어레이 또는 상보성 금속산화물 반도체(CMOS) 센서 어레이 등일 수 있다. 전술한 바와 같은 IR LED와 같은 협대역 광원의 경우, 이미지 센서(3)에는 광원(2)의 스펙트럼에 대응하는 통과-대역을 갖는 통과-대역 필터(도시되지 않음)가 제공될 수 있다.
또한, 광원(2) 및 이미지 센서(3)는 주변 IR 노이즈를 필터링하기 위해 전송된 신호가 동기적으로 복조되어 저강도 IR LED로도 캡처된 이미지의 품질을 개선하도록 배치될 수 있다. LED에서 전송되는 IR 광은 사전에 결정된 시간 주기에 대한 연속파이거나 사전에 결정된 주파수의 펄스 광일 수 있다. 이미지 센서(3)의 감도 및 해상도는 기록된 이미지가 이미지 처리와 같은 추가 데이터 처리에 적합하거나 머신 비전 알고리즘을 위한 입력으로 사용되도록 선택될 수 있다.
광원(2) 및 이미지 센서(3)는 시간 동기화되도록 배치될 수 있다. 처리 회로(4)는 이미지 센서(3)로부터 획득된 이미지를 처리 및 분석하기 위해 컴퓨터 비전 시스템 및 이미지 처리 알고리즘을 작동시키도록 구성될 수 있다.
또한, 처리 회로(4)는 예를 들어, 사용자의 머리의 위치를 결정하는 것과 같은 다른 기능을 수행하도록 구성될 수 있고, 예를 들어, 운전자가 머리를 움직일 때, 처리 회로(4)는 위치 정보를 사용하여 머리가 움직이는 방향을 결정하고 표적 영역(7)과 이미지 센서(4) 사이의 거리 변화를 계산하도록 구성될 수 있다. 처리 회로(4)는 또한 차량 또는 원격 데이터 센터의 상이한 구성요소 사이에서 데이터를 전송 및/또는 수신하도록 구성된다. 또한, 처리 회로(4)는 이 경우에 유선 연결을 통해 IR 이미지 센서(3) 및 다른 구성요소에 연결된다. 그러나, 원격 구성요소에 액세스하기 위해 유선 연결 대신 무선 연결을 사용할 수도 있다.
스티어링 휠(8)은 광원과 얼굴(5) 사이에 위치하여 스티어링 휠이 얼굴(5)에 그림자(9)를 드리운다.
처리 회로는 또한 처리를 용이하게 하기 위해 다양한 센서 입력을 수신하도록 연결될 수 있다. 예를 들어, 현재 스티어링 휠 각도에 대한 정보가 처리 회로에 제공될 수 있다.
이해해야 하는 바와 같이, 이 예에서 광원(2), 이미지 센서(3) 및 처리 회로(4)가 별개의 구성요소로서 도시되어 있지만, 이는 다른 예의 경우일 수도 있고 그렇지 않을 수도 있다. 광원(2) 또는 처리 회로(4)를 이미지 센서(3) 또는 이미지 센서(3) 등으로부터 데이터를 무선으로 수신하도록 배치된 원격 처리 회로(4)와 통합하는 것과 같은 다른 조합은 당업자가 쉽게 생각할 수 있다. 따라서, 이러한 구성요소의 일부 또는 모두는 다른 예에서 단일 유닛의 일부를 형성할 수 있다.
도 2를 참조하면, 특정 부분, 여기서 스티어링 휠(8)의 림(20)은 거리 Dlight source를 결정하는데 사용된다. 이 예에서, 특정 부분(20)은 알려진 폭 "r"을 갖고, LED(2)와 스티어링 휠(8) 사이의 거리는 "d"이다. LED(2)에 의해 조명될 때, 림(20)은 표적 영역(7)에 폭 "R"을 갖는 대응하는 그림자 부분(22)을 생성한다.
이 실시예에서, 처리 회로(4)는 획득된 이미지에서 드리워진 그림자 부분(22)의 크기를 검출하고 식별하도록 배치된다. 림(20)에 투영된 LED(2)로부터의 입사광 및 대응하는 그림자(22)는 도 2b에 표시된 바와 같이, 2개의 유사한 삼각형 △abc ∼ △ade를 생성한다. 삼각형 비례 정리를 사용함으로써, 2개의 유사한 삼각형의 대응하는 고도 및 측면이 서로 비례한다고 결정되고, 이 예에서 처리 회로(4)는 Dlight source를 Dlight source = d × R/r로 결정한다.
도 3a의 실시예에서, 특정 윤곽의 위치 "p", 여기서 스티어링 휠(8)의 스포크(32)의 에지부(31)는 LED(2)의 광학 축(A)에 대해 결정된다. 위치(p)에 대응하는 그림자(9)의 부분(34)의 위치 "P"는 획득된 이미지에서 처리 회로(4)에 의해 검출된다. 도 2a에서와 같이, LED(2)와 스티어링 휠(8) 사이의 거리는 d로 표시되어 있다.
다시, 도 3b를 참조하면, 2개의 유사한 삼각형 △apc ∼ △aPe가 형성되며, 여기서 c와 e는 광학 축(A)에 위치된다. 위치 p와 P를 광학 축(A)에 대한 법선 거리로 표현는 경우, 거리 Dlight source는 Dlight source = d × P/p로 결정될 수 있다. 거리 Dlight source의 결정은 또한 다른 유사한 삼각형을 선택함으로써 쉽게 생각할 수 있음을 이해해야 한다.
도 1, 도 2a 및 도 3a의 시스템(1)의 동작은 도 4의 흐름도를 참조하여 이하에서 설명될 것이다.
단계 S1에서, 광원(2)은 스티어링 휠(8)의 그림자가 사용자(6)의 얼굴(5)에 드리워지도록 배치된다. 일부 설치예에서, 스티어링 휠(8)의 일부는 항상 광원(2)과 얼굴(5) 사이에 위치된다. 다른 설치예에서, 그림자는 스티어링 휠의 일부 위치에서만 보일 수 있다.
단계 S2에서, 이미지 센서(3)는 스티어링 휠(8)의 그림자(9)가 있는 얼굴(5)을 포함하는 하나 이상의 이미지를 획득한다. 획득된 이미지(들)는 적절한 이미지 처리를 위해 처리 회로(4)에 제공된다.
단계 S3-S5에서, 처리 회로(4)는 전술한 관계에 기초하여 이미지 센서(3)와 얼굴(5) 사이의 거리를 결정한다. 먼저, 단계 S3에서, 처리 회로(4)는 그림자(9)의 폭(d) 및/또는 위치(p)를 추출한다. 예를 들어, 이미지 처리 알고리즘에 대한 입력으로서 스티어링 휠의 캡처된 그림자를 제공함으로써, 캡처된 이미지에서 해당 픽셀 정보가 추출될 수 있다. 추출된 픽셀 정보는 픽셀 밝기 또는 색상, 픽셀 치수 또는 표적 영역의 픽셀 위치를 포함할 수 있으며, 이는 차례로 그림자의 크기 또는 위치를 계산하는데 사용될 수 있다. 현재 스티어링 휠 각도에 대한 정보는 예를 들어, 스티어링 휠 각도와 관련된 기울기를 갖는 스포크의 에지부와 같은 그림자의 윤곽의 식별을 용이하게 할 수 있다.
그런 다음, 단계 S4에서, S3의 정보가 사용되어 광원(2)과 표적 영역(5) 사이의 거리 Dlight source를 결정한다. 마지막으로, 광원(2)과 이미지 센서(3) 사이의 알려진 기하학적 관계를 사용하여, 이미지 센서(3)와 표적 영역(7) 사이의 거리 Dsensor가 그에 따라 단계 S5에서 계산될 수 있다.
도 4의 프로세스는 일반적으로 각각 구동 세션에 대해 한 번만 수행하면 된다. 거리 Dsensor의 초기 결정 후, 일부 불변 파라미터(예를 들어, 홍채 크기)를 사용하여 연속 거리 측정이 수행될 수 있다. 초기에 결정된 거리에서 이 파라미터를 측정함으로써, 이 파라미터를 모니터링하여 거리의 임의의 변화를 검출될 수 있다.
당업자는 본 발명이 결코 전술한 바람직한 실시예들에 제한되지 않는다는 것을 알 것이다. 반대로, 첨부된 청구항의 범위 내에서 많은 수정 및 변형이 가능하다. 예를 들어, 본원 명세서에 개시된 눈 추적 시스템의 세부사항은 본 발명의 동작에 중요하지 않다.

Claims (9)

  1. 이미지 센서와 차량 운전자의 표적 영역 사이의 거리 Dsensor를 결정하는 방법으로,
    차량의 스티어링 휠이 적어도 때때로 표적 영역에 그림자를 드리우도록 이미지 센서에 대해 알려진 기하학적 관계로 점 광원을 배치하는 단계;
    그림자를 포함하는, 표적 영역의 이미지 센서에 의해 획득된 이미지 및 상기 점 광원과 상기 스티어링 휠 사이의 기하학적 관계에 기초하여 점 광원과 표적 영역 사이의 거리 Dlight source를 결정하는 단계; 및
    상기 거리 Dlight source 및 점 광원과 이미지 센서 사이의 상기 알려진 기하학적 관계에 기초하여 거리 Dsensor를 결정하는 단계를 포함하며,
    Dlight source 거리는,
    - 이미지에서 스티어링 휠의 특정 부분의 그림자의 폭(R)을 검출하는 단계, 및
    - Dlight source = d × R/r로 거리 Dlight source를 계산하는 단계로, d는 점 광원과 스티어링 휠 사이의 알려진 거리이고, r은 상기 부분의 알려진 폭이며, R은 검출된 폭인, 거리 Dlight source를 계산하는 단계에 의해 결정되거나, 또는
    - 이미지에서 스티어링 휠의 부분의 특정 윤곽의 그림자 위치(P)를 검출하는 단계, 및
    - Dlight source = d × P/p로 Dlight source를 계산하는 단계로, d는 점 광원과 스티어링 휠 사이의 알려진 거리이고, p는 윤곽의 알려진 위치이며, P는 검출된 위치인, Dlight source를 계산하는 단계에 의해 결정되고,
    위치(p) 및 검출된 위치(P)는 모두 점 광원의 광학 축에 대해 결정되는 것을 특징으로 하는 거리 Dsensor 결정 방법.
  2. 제1항에 있어서,
    상기 부분은 스티어링 휠의 림 또는 스포크인 것을 특징으로 하는 거리 Dsensor 결정 방법.
  3. 선행하는 청구항들 중 어느 한 항에 있어서,
    이미지 센서와 스티어링 휠 사이의 거리를 결정하는 단계, 및
    이미지 센서와 스티어링 휠 사이의 상기 거리 및 점 광원과 이미지 센서 사이의 상기 알려진 관계에 기초하여 점 광원과 스티어링 휠 사이의 거리(d)를 결정하는 단계를 또한 포함하는 것을 특징으로 하는 거리 Dsensor 결정 방법.
  4. 제3항에 있어서,
    상기 이미지 센서와 상기 스티어링 휠 사이의 거리는 상기 이미지 센서에 의해 획득된 이미지에서 식별된 기하학적 파라미터의 값 및 알려진 거리에서 상기 기하학적 파라미터의 미리 식별된 값에 기초하여 결정되는 것을 특징으로 하는 Dsensor 결정 방법.
  5. 제3항에 있어서,
    상기 이미지 센서와 상기 스티어링 휠 사이의 거리는 상기 이미지 센서에 의해 획득된 이미지 내의 마커의 세트의 위치에 기초하여 결정되고, 상기 마커는 사전에 정의된 위치에서 상기 구조물에 배치되는 것을 특징으로 하는 Dsensor 결정 방법.
  6. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 방법은 상기 이미지 센서와 상기 구조물 사이의 상기 거리에 기초하여, 상기 이미지 센서에 의해 획득된 이미지로부터 상기 스티어링 휠의 기하학적 구조를 결정하는 단계를 또한 포함하는 것을 특징으로 하는 Dsensor 결정 방법.
  7. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 방법은 스티어링 휠의 각도 위치를 검출하는 단계를 또한 포함하는 것을 특징으로 하는 Dsensor 결정 방법.
  8. 이미지 센서와 차량 운전자의 표적 영역 사이의 거리 Dsensor를 결정하는 장치로,
    이미지 센서에 대해 알려진 기하학적 관계로 배치되고, 차량의 스티어링 휠이 적어도 때때로 표적 영역에 그림자를 드리우도록 배치되는 점 광원,
    처리 회로를 포함하며,
    상기 처리 회로는,
    그림자를 포함하는, 표적 영역의 이미지 센서에 의해 획득된 이미지 및 상기 광원과 상기 스티어링 휠 사이의 기하학적 관계에 기초하여 점 광원과 표적 영역 사이의 거리 Dlight source를 결정하고,
    상기 거리 Dlight source 및 점 광원과 이미지 센서 사이의 상기 알려진 기하학적 관계에 기초하여 거리 Dsensor를 결정하도록 구성되고,
    거리 Dlight source는,
    - 이미지에서 스티어링 휠의 특정 부분의 그림자의 폭(R)을 검출하고,
    - Dlight source = d × R/r로 거리 Dlight source를 계산함으로써 결정되되, d는 점 광원과 스티어링 휠 사이의 알려진 거리이고, r은 상기 부분의 알려진 폭이며, R은 검출된 폭이거나, 또는
    - 이미지에서 스티어링 휠의 부분의 특정 윤곽의 그림자 위치(P)를 검출하고,
    - Dlight source = d × P/p로 Dlight source를 계산함으로써 결정되되, d는 점 광원과 스티어링 휠 사이의 알려진 거리이고, p는 윤곽의 알려진 위치이며, P는 검출된 위치이고,
    위치(p) 및 검출된 위치(P)는 모두 점 광원의 광학 축에 대해 결정되는 것을 특징으로 하는 거리 Dsensor 결정 장치.
  9. 제8항에 있어서,
    시스템은 스티어링 휠의 각도 위치를 검출하기 위한 각도 센서를 또한 포함하는 것을 특징으로 하는 거리 Dsensor 결정 장치.
KR1020227013477A 2019-09-26 2020-09-22 이미지 센서와 표적 영역 사이의 거리 결정 KR20220063267A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19199873.1 2019-09-26
EP19199873 2019-09-26
PCT/EP2020/076370 WO2021058455A1 (en) 2019-09-26 2020-09-22 Distance determination between an image sensor and a target area

Publications (1)

Publication Number Publication Date
KR20220063267A true KR20220063267A (ko) 2022-05-17

Family

ID=68072145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227013477A KR20220063267A (ko) 2019-09-26 2020-09-22 이미지 센서와 표적 영역 사이의 거리 결정

Country Status (6)

Country Link
US (1) US20220366585A1 (ko)
EP (1) EP4035060B1 (ko)
JP (1) JP7500714B2 (ko)
KR (1) KR20220063267A (ko)
CN (1) CN114467126A (ko)
WO (1) WO2021058455A1 (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106898B2 (en) 1999-12-06 2006-09-12 California Institute Of Technology 3D scanning using shadows
JP2007050834A (ja) * 2005-08-19 2007-03-01 Denso Corp 車両用遮光装置
JP2007285778A (ja) 2006-04-13 2007-11-01 Roland Dg Corp 距離測定方法および表面形状測定装置
JP5516096B2 (ja) 2010-06-09 2014-06-11 横浜ゴム株式会社 操舵角検出装置および操舵角検出方法
US8938099B2 (en) 2010-12-15 2015-01-20 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, distance measurement apparatus, and storage medium
JP6107264B2 (ja) 2013-03-15 2017-04-05 株式会社リコー 撮像ユニット、測色装置、画像形成装置、測色システムおよび距離測定方法
JP6342874B2 (ja) 2015-11-24 2018-06-13 矢崎総業株式会社 画像認識装置
US10349032B2 (en) * 2016-09-30 2019-07-09 Veoneer Us, Inc. Vehicle occupant head positioning system
JP6737212B2 (ja) 2017-03-14 2020-08-05 オムロン株式会社 運転者状態推定装置、及び運転者状態推定方法
WO2019036751A1 (en) * 2017-08-22 2019-02-28 Seeing Machines Limited ENHANCED VIDEO-BASED DRIVER MONITORING USING PHASE DETECTION SENSORS

Also Published As

Publication number Publication date
US20220366585A1 (en) 2022-11-17
EP4035060A1 (en) 2022-08-03
CN114467126A (zh) 2022-05-10
JP7500714B2 (ja) 2024-06-17
EP4035060B1 (en) 2024-05-22
WO2021058455A1 (en) 2021-04-01
JP2022549694A (ja) 2022-11-28

Similar Documents

Publication Publication Date Title
US10288734B2 (en) Sensing system and method
US7430365B2 (en) Safe eye detection
EP2378310B1 (en) Time of flight camera unit and optical surveillance system
EP1452127B1 (en) Apparatus for detecting pupils
US20200210733A1 (en) Enhanced video-based driver monitoring using phase detect sensors
EP2375216B1 (en) 3-D imaging system and method using partial-coherence speckle interference tomography
US20100060885A1 (en) Method and device for performing optical suspension measurement
CN107894243A (zh) 用于对监测区域进行光学检测的光电传感器和方法
US20100208207A1 (en) Automatic direct gaze detection based on pupil symmetry
US20120293651A1 (en) Distance measurement device and distance measurement method
US20190250413A1 (en) Contact Lens with Retinal Camera
US9861279B2 (en) Method and device for determining the eye position
US20180336720A1 (en) Systems and Methods For Generating and Using Three-Dimensional Images
CN107864375B (zh) 带对准分析的成像设备
CN107960989B (zh) 脉搏波计测装置以及脉搏波计测方法
US20080252850A1 (en) Device and Method for the Contactless Determination of the Direction of Viewing
US20160063334A1 (en) In-vehicle imaging device
US10794687B2 (en) Shape measurement system and shape measurement method
WO2020086698A1 (en) Methods and systems used to measure tire treads
JP6555707B2 (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
JP7500714B2 (ja) 画像センサーと対象領域との間の距離決定
JP2016051317A (ja) 視線検出装置
US20230094001A1 (en) Prismatic Triangulating Corneal Topography System and Methods of Use
EP3801196A1 (en) Method and system for glint/reflection identification
US20240027752A1 (en) Three-Dimensional-Image-Based Eye Tracking Using Triangulation

Legal Events

Date Code Title Description
A201 Request for examination