KR20150094607A - 저-럭스 및 고-럭스 조건에서의 대상 인식 - Google Patents

저-럭스 및 고-럭스 조건에서의 대상 인식 Download PDF

Info

Publication number
KR20150094607A
KR20150094607A KR1020157013227A KR20157013227A KR20150094607A KR 20150094607 A KR20150094607 A KR 20150094607A KR 1020157013227 A KR1020157013227 A KR 1020157013227A KR 20157013227 A KR20157013227 A KR 20157013227A KR 20150094607 A KR20150094607 A KR 20150094607A
Authority
KR
South Korea
Prior art keywords
sensor
lux
illumination level
threshold
level
Prior art date
Application number
KR1020157013227A
Other languages
English (en)
Other versions
KR101687125B1 (ko
Inventor
조쉬 타일러 킹
도코 타렉 엘
페드람 바그헤피나자리
슈투어트 마사카즈 야마모토
리치 윈슨 후앙
Original Assignee
혼다 기켄 고교 가부시키가이샤
엣지3 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 혼다 기켄 고교 가부시키가이샤, 엣지3 테크놀로지스, 엘엘씨 filed Critical 혼다 기켄 고교 가부시키가이샤
Publication of KR20150094607A publication Critical patent/KR20150094607A/ko
Application granted granted Critical
Publication of KR101687125B1 publication Critical patent/KR101687125B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06K9/00832—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H04N5/2351—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

동적인 조도 레벨을 갖는 차량의 승객 또는 운전자로부터의 몸짓에 대한 화상 데이터를 포착하기 위한 시스템은 조도 역치 아래의 조도 레벨을 갖는 환경에서 화성 데이터를 포착하기 위해 설치된 저-럭스 센서, 조도 역치 위의 조도 레벨을 갖는 환경에서 화상 데이터를 포착하기 위해 설치된 고-럭스 센서, 및 센서를 활성화시키기 위한 대상 인식 모듈을 포함한다. 대상 인식 모듈은 환경의 조도 레벨을 결정하고 조도 레벨이 조도 역치 아래에 있는 경우 저-럭스 센서를 활성화시킨다. 조도 레벨이 역치 위에 있는 경우, 대상 인식 모듈은 고-럭스 센서를 활성화시킨다.

Description

저-럭스 및 고-럭스 조건에서의 대상 인식{OBJECT RECOGNITION IN LOW-LUX AND HIGH-LUX CONDITIONS}
본 개시물은 일반적으로 대상 인식, 특히 차량의 저-럭스 및 고-럭스 조건에서의 대상 인식에 관한 것이다.
다양한 상이한 환경의 대상에 대한 화상 데이터를 포착하기 위해 화상 센서가 사용된다. 또한, 화상 센서 또는 추가적인 장비는 감시되고 있는 환경에 가장 잘 맞도록 조정된다. 예를 들어, 낮은 조도, 즉 저-럭스 레벨을 갖는 환경에서, 화상 센서는 일정한 조도를 제공하는 조명원에 의해 보완될 수 있다. 이러한 조정 작업은 정적인 환경에 대해서는 수월하지만, 이러한 조정은 동적인 환경에 의해 나타나는 과제를 처리하지 못한다. 예를 들어, 차량 내의 대상을 감시하고 특정 조도 레벨에 대해 조정되는 화상 센서는 차량이 어두운 장소를 통과하고 있거나 야간 중에 주행되고 있음으로 해서 차량 내의 조도 레벨이 떨어질 때에는 효과적이지 못할 수 있다.
본 발명의 실시형태들은 동적인 조도 레벨을 갖는 차량의 승객 또는 운전자로부터의 몸짓에 대한 화상 데이터를 포착한다. 개시된 시스템은 조도 역치 아래의 조도 레벨을 갖는 환경에서 화상 데이터를 포착하기 위해 설치된 저-럭스 센서, 조도 역치 위의 조도 레벨을 갖는 환경에서 화상 데이터를 포착하기 위해 설치된 고-럭스 센서, 및 센서를 활성화 및 비활성화시키기 위한 대상 인식 모듈을 포함한다. 저-럭스 및 고-럭스 센서는 차량의 오버헤드 콘솔에 위치된다.
대상 인식 모듈은 환경의 조도 레벨을 결정하고 조도 레벨이 조도 레벨 역치 아래에 있는지의 여부를 결정한다. 조도 레벨이 역치 아래에 있는 경우, 대상 인식 모듈은 저-럭스 센서를 활성화시킨다. 일 실시형태에서, 대상 인식 모듈은 또한 저-럭스 센서의 활성화와 함께 조명원을 활성화 시킨다. 조명원은 저-럭스 센서를 위해 환경을 조명하고 저-럭스 센서가 낮은 조도 레벨에서 화상 데이터를 포착할 수 있게 한다. 조도 레벨이 역치 위인 경우, 대상 인식 모듈은 고-럭스 센서를 활성화시킨다. 일 실시형태에서, 고-럭스 센서는 고-럭스 센서에 도달하는 적외선 광의 양을 감소시키기 위해 적외선 필터를 포함한다.
본 발명의 다른 실시형태는 시스템의 상기 기능을 시행하기 위한 명령을 저장하는 컴퓨터 판독가능 매체 및 상기 기능을 실행하기 위한 단계를 포함하는 컴퓨터 실행 방법을 포함한다.
도 1은 일 실시형태에 따른 동적인 조도 레벨을 갖는 환경에서 화상 데이터를 포착하기 위한 컴퓨팅 환경을 도시하는 블록도이다.
도 2는 일 실시형태에 따른 동적인 조도 레벨을 갖는 환경에서 화상 데이터를 포착하기 위한 컴퓨팅 환경의 대상 인식 모듈을 도시하는 블록도이다.
도 3은 일 실시형태에 다른 동적인 조도 레벨을 갖는 환경에서 화상 데이터를 포착하기 위한 방법을 도시하는 흐름도이다.
본원에 기재된 컴퓨팅 환경은 차량의 저-럭스 및 고-럭스 조건에서 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착한다. 도면 및 이하의 설명은 단지 예시로서 소정 실시형태를 기재한다. 통상의 기술자는 이하의 설명으로부터 본원에 예시된 구성 및 방법의 대안적인 실시형태가 본원에 기재된 원리 내에서 채용될 수 있다는 것을 쉽게 인식할 것이다. 이제 몇몇 실시형태에 대해 상세하게 참조할 것이며, 이 실시형태의 예가 첨부의 도면에 도시되어 있다. 가능하다면 어디서나 유사하거나 동일한 도면 부호가 도면에서 사용될 수 있으며 유사하거나 동일한 기능을 나타낼 수 있다는 것을 유의해야 한다.
시스템 환경
도 1을 참고하면, 동적인 조도 레벨을 갖는 환경에서 화상 데이터를 포착하기 위한 컴퓨팅 환경(100)은 대상 인식 모듈(102), 한 쌍의 저-럭스 화상 센서(104a-b)(예를 들어, 적외선 센서), 한 쌍의 고-럭스 화상 센서(106a-b)(예를 들어, RGB 센서), 조도 레벨 검출기(110), 및 통신 모듈(112)을 포함한다. 도시된 컴퓨팅 환경(100)은 2개의 저-럭스 화상 센서(104a-b) 및 2개의 고-럭스 화상 센서(106a-b)를 포함하지만, 컴퓨팅 환경(100)의 다른 실시형태는 저-럭스 화상 센서(104a-b) 및 고-럭스 화상 센서(106a-b) 중 하나 이상을 포함할 수 있다. 부가적으로, 일 실시형태에서, 컴퓨팅 환경(100)은 차량 또는 이동식 객실 내에 존재한다. 컴퓨팅 환경(100)은 또한 동적인 조도 레벨을 갖는 다른 환경에 위치될 수 있다.
조도 레벨 검출기(110)는 환경(100)에 존재하는 광의 양을 측정하는 장치이다. 일 실시형태에서, 조도 레벨 검출기(110)는 광을 측정될 수 있는 전기로 변환하는 광기전력형 센서(photovoltaic sensor)를 포함한다. 조도 레벨 검출기(110)는 생성된 전기의 양을 측정하고 측정된 전기에 기초하여 환경에 대한 광의 양 또는 조도 레벨을 결정한다. 일 실시형태에서, 조도 레벨 검출기는 환경(100)의 조도 레벨을 측정하기 위해 반사광 노출계 또는 입사광 노출계 같은 노출계의 원리를 채용한다.
대상 인식 모듈(102)은 조도 레벨 검출기(110)로부터 측정 조도 레벨을 수신하고, 조도 레벨이 럭스 역치를 초과하는지의 여부를 결정하며, 상기 결정에 기초하여 고-럭스 화상 센서(106a-b) 또는 저-럭스 화상 센서(104a-b)를 활성화시킨다. 일 실시형태에서, 대상 인식 모듈(102)은 조도 레벨이 럭스 역치 아래에 있다는 결정에 응답하여 저-럭스 화상 센서(104a-b)를 활성화시키고 조도 레벨이 럭스 역치 이상이라는 결정에 응답하여 고-럭스 화상 센서(106a-b)를 활성화시킨다. 다른 실시형태에서, 대상 인식 모듈(102)은 저-럭스 및 고-럭스 센서(104a-b, 106a-b)가 동시에 활성화되어 있지 않는 것을 보장한다. 따라서, 저-럭스 센서(104a-b)를 활성화시키는 것에 응답하여, 대상 인식 모듈(102)은 임의의 활성화된 고-럭스 센서(106a-b)를 비활성화시키고 그 반대로 하기도 한다. 그리고 대상 인식 모듈(102)은 활성화된 센서(104, 106)로부터 화상 데이터를 수신하고, 수신된 화상 데이터를 처리하며, 상기 처리에 기초하여 화상의 대상을 인식한다. 일 실시형태에서, 인식된 대상은 특정 몸짓을 실행하는 사람이고, 대상 인식 모듈(102)은 인식된 대상에 기초하여 통신 모듈(112)을 통해 사용자와 통신 등의 기능을 실행한다.
대상 인식 모듈(102)에 의한 저-럭스 센서(104a-b) 및 고-럭스 센서(106a-b)의 선택적인 활성화는 유익하게는 저-럭스 조건[즉, 환경(100)이 낮은 양의 광을 포함할 때의 조건] 및 고-럭스 조건[즉, 환경(100)이 충분한 또는 높은 양의 광을 포함할 때의 조건] 모두에서 데이터를 포착할 수 있게 한다. 따라서, 대상 인식 모듈(102)은 유익하게는 화상 데이터를 포착 및 처리하기 위해 동적인 조도 레벨을 갖는 환경에서 사용될 수 있다.
통신 모듈(112)은 사용자와 대상 인식 모듈(102)과의 사이에 인터페이스를 제공한다. 통신 모듈(112)은 따라서 출력 장치 및 선택적으로는 사용자와의 통신을 위한 입력 장치를 포함한다. 출력 장치의 예는 시각적인 통신을 위한 터치 스크린 및 청각적인 통신을 위한 오디오 장치를 포함한다. 입력 장치의 예는 터치 스크린, 마우스, 및 키패드를 포함한다.
고-럭스 센서(106a-b)는 럭스 역치 이상의 조도 레벨에서 화상 데이터를 포착할 수 있는 화상 센서이다. 이러한 고-럭스 센서(106a-b)의 예는 럭스 역치 이상의 조도 레벨의 존재에서 화상 데이터를 포착하기 위한 광에 대한 적절한 감도, 즉 휘도 범위를 갖는 전하 결합 장치(CCD) 센서 또는 상보적인 금속-산화물-반도체(CMOS) 센서를 포함한다. 화상 센서(106a)의 휘도 범위는 센서(106a-b)가 화상 데이터를 포착하기 위해 설치되는 배경 휘도(scene luminance)의 범위이다. 예를 들어, 고-럭스 센서(106a-b)의 휘도 범위는 1제곱 미터당 300 내지 1000칸델라 또는 1000 내지 12000럭스일 수 있다.
일 실시형태에서, 고-럭스 센서(106a-b)는 환경(100)의 유색 화상을 재현하기 위해 화상 데이터를 포착하는 컬러 화상 센서이다. 이 컬러 고-럭스 센서(106a-b)는 적외선 파장을 갖는 광에 의해 유발되는 임의의 왜곡을 감소시키거나 최소화하기 위해 적외선 차단 필터와 함께 선택적으로 사용될 수 있다. 일 실시형태에서, 2개의 고-럭스 센서(106a-b)는 입체 화상 처리를 위한 3차원 화상을 포착하기 위해 서로 눈 사이 거리(즉, 대략 사람의 눈 사이의 거리)에 위치된다.
저-럭스 센서(104a-b)는 럭스 역치 아래의 조도 레벨에서 화상 데이터를 포착할 수 있는 화상 센서이다. 이러한 저-럭스 센서(104a-b)의 예는 럭스 역치 아래의 조도 레벨의 존재에서 화상 데이터를 포착하기 위한 적절한 휘도 범위를 갖는 CCD 또는 CMOS 센서를 포함한다. 일 실시형태에서, 저-럭스 화상 센서는 1제곱 미터당 25 내지 350칸델라 또는 0 내지 80럭스의 휘도 범위를 갖는다. 일 실시형태에서, 2개의 저-럭스 센서(104a-b)는 입체 화상 처리를 위한 3차원 화상을 포착하기 위해 서로 눈 사이 거리에 위치된다. 일 실시형태에서, 저-럭스 센서(104a-b)의 휘도 범위는 고-럭스 센서(106a-b)의 휘도 범위와 상이하다. 상이한 휘도 범위는 저-럭스 센서가 보다 낮은 조도 레벨에서 화상 데이터를 더 잘 포착할 수 있게 하고 고-럭스 센서가 보다 높은 조도 레벨에서 화상 데이터를 더 잘 포착할 수 있게 한다. 다른 실시형태에서, 저-럭스 화상 센서(104a-b) 및 고-럭스 화상 센서(106a-b)에 대한 휘도 범위는 동일하다.
일 실시형태에서, 저-럭스 화상 센서(104a-b)는 저-럭스 화상 센서(104a-b)의 시야를 조명하는 관련 조명원(108a-b)을 구비한다. 관련 조명원을 갖는 화상 센서의 예는 DEFENDER SPARTAN5 야간 시력 카메라 및 CCTV EX11DXL 듀얼 센서 컬러 야간 시력 카메라를 포함한다. 또한, 하기 일 실시형태에서, 조명원(108a-b)은 단일 파장 또는 유사 파장들을 포함하는 스펙트럼을 갖는 광을 방출한다. 이러한 실시형태에서, 저-럭스 센서(104a-b)는 조명원(108a-b)에 의해 방출되는 광의 파장과 유사한 파장을 갖는 수취된 광을 변환하는데 효율적인 단색 화상 센서이다. 이러한 단색 저-럭스 센서(104a-b)는 유익하게는 낮은 조도 레벨에서 화상 데이터를 포착하는데 뛰어나다.
일 실시형태에서, 조명원(108a-b)은 배경을 조명하기 위해 적외선 광을 방출하고, 이 실시형태의 저-럭스 센서(104a-b)는 저-럭스 센서(104a-b)에 도달하는 적외선 광을 감소 또는 최소화하기 위한 적외선 필터를 포함하지 않는다. 조명원(108a-b)은 적외선 광으로 배경을 조명하고 있기 때문에, 적외선 필터의 결핍은 유익하게는 환경(100)이 적외선 광으로 조명될 때 저-럭스 센서(104a-b)가 화상 데이터를 포착할 수 있게 한다.
조명원(108a-b)은 일 실시형태에서 저-럭스 화상 센서(104a-b)에 포함되거나 부착된다. 환경(100)의 다른 실시형태에서, 조명원(108a-b)은 저-럭스 화상 센서(104a-b)로부터 물리적으로 떨어져 있다.
조명원(108a-b)은 일 실시형태에서 센서(104a-b)의 시야를 조명하기 위해 근적외선 광을 방출하는 근적외선(NIR) 광 방출 다이오드(LED)이다. NIR 광은 사람에게 보이지 않기 때문에, NIR 광은 유익하게는 환경(100)의 사람을 산만하게 하지 않으면서 시야를 조명한다. 조명되는 환경(100)이 차량 내에 있는 경우, 운전자를 산만하게 하지 않으면서 환경(100)을 조명하는 것이 요구된다. 다른 실시형태에서, 조명원(108a-b)은 시야를 조명하기 위해 NIR 광 이외의 광을 방출한다. 부가적으로, 일 실시형태에서, 조명원(108a-b)은 단일 파장 또는 유사 파장들을 포함하는 스펙트럼을 갖는 광을 방출하는데, 이는 이러한 광으로 시야를 조명하는 것이 유익하게는 저-럭스 화상 센서(104a-b)에 의해 포착되는 데이터로부터 초래되는 화상의 색도를 감소시키기 때문이다.
다른 실시형태에서, 조명원(108a-b)은 저-럭스 화상 센서(104a-b)의 응답 곡선의 정점의 범위 내에 있는 스펙트럼의 밴드를 갖는 광을 방출한다. 화상 센서의 응답 곡선은 상이한 파장에서 센서에 의해 수취되는 광량당 발생 전류에 있어서의 센서의 효율을 나타낸다. 따라서, 조명원(108a-b)은 저-럭스 화상 센서(104a-b)가 센서(104a-b)에 의해 수취되는 광량당 높은 전류 량을 생성하는 파장을 포함하는 스펙트럼 밴드를 갖는 광을 방출한다. 예를 들어, 조명원(108a-b)은 750나노미터(nm) 내지 900nm의 파장을 갖는 광을 방출하는데, 이는 저-럭스 센서(104a-b)가 이러한 파장에서 수취되는 광에 대해 0.2 내지 0.275 와트당 암페어(A/W)를 생성하고 일반적으로 다른 파장에서는 광에 대해 보다 적은 전류를 생성하기 때문이다.
조명원(108a-b), 저-럭스 센서(104a-b), 및 고-럭스 센서(106a-b)는 선택적으로는 물리적으로 환경(100)의 감시 영역 위에 위치된다. 센서(104a-b, 106a-b)의 보다 높은 위치는 유익하게는 감시 영역의 실질적으로 방해 받지 않는 조망을 센서(104a-b, 106a-b)에 제공한다. 예를 들어, 환경(100)이 차량 내에 위치되고 감시되고 있는 영역이 운전자 또는 승객 주위의 영역일 때, 센서(104a-b, 106a-b) 및 조명원(108a-b)은 운전자 좌석과 승객 좌석과의 사이의 중앙 콘솔 위의 오버헤드 콘솔에 위치된다. 실질적으로 방해 받지 않는 조망에 추가하여, 차량에서의 센서(104a-b, 106a-b)의 위치는 전방 윈드실드로부터 차량으로 들어오는 직접 입사광의 임의의 바람직하지 않은 영향을 감소시킨다.
부가적으로, 일 실시형태에서, 조명원(108a-b)은 센서(104a-b)에 인접하여 위치되며, 조명원(108a-b)은 센서(104a-b)의 전방의 영역을 조명한다. 조명원(108a-b)은 센서에 대해 인접하여 위치되고 대향하지 않기 때문에, 센서(104a-b)에 대한 조명원(108a-b)으로부터의 직접 입사광은 유익하게는 최소화된다.
대상 인식 모듈
도 2는 일 실시형태에 따른 동적인 조도 레벨을 갖는 환경에서 화상 데이터를 포착하기 위한 컴퓨팅 환경에 있어서의 대상 인식 모듈(102)을 도시하는 블록도이다. 대상 인식 모듈(102)은 조도 레벨 모듈(202), 조도 역치 모듈(204), 포착 소스 모듈(206), 조명원 모듈(208), 화상 데이터 저장장치(210), 및 화상 처리 모듈(212)을 포함한다.
조도 레벨 모듈(202)은 조도 레벨 검출기(110)에 통신가능하게 연결되고 조도 레벨 모듈(202)은 검출기(110)에 의해 측정된 조도 레벨을 결정한다. 일 실시형태에서, 조도 레벨 모듈(202)은 측정된 조도 레벨을 결정하기 위해 조도 레벨 검출기(110)를 반복적으로 폴링(polling)한다. 다른 실시형태에서, 조도 레벨 검출기(110)는 측정된 조도 레벨을 반복적으로 전송하도록 구성되고 조도 레벨 모듈(202)은 전송된 조도 레벨을 수취한다. 또 다른 실시형태에서, 조도 레벨 모듈(202)은 조도 레벨 측정치의 역치 수를 수취하거나 시간의 역치 량에 대한 조도 레벨 측정치를 수취하며, 조도 레벨 모듈(202)은 수취된 판독치에 기초하여 조도 레벨을 결정한다. 예를 들어, 조도 레벨은 수취된 판독치의 평균을 조도 레벨로서 결정할 수 있다. 다수의 조도 레벨에 기초한 이러한 결정은 유익하게는 대상 인식 모듈(102)이 검출기(110)의 일시 오작동 또는 검출기(110)의 전방의 일시 장애물로 인해 유발될 수 있는 임의의 이상점 판독치를 고려할 수 있게 한다.
조도 역치 모듈(204)은 조도 레벨 모듈(202)로부터 결정된 조도 레벨을 수취하고 결정된 조도 레벨이 럭스 역치를 초과하는지의 여부를 결정한다. 일 실시형태에서, 럭스 역치가 설정가능하고 사용자 또는 모듈은 사용자 인터페이스를 통해 적절한 럭스 역치를 조도 역치 모듈(204)에 제공할 수 있다. 일 실시형태에서, 럭스 역치는 저-럭스 화상 센서(104a-b) 또는 고-럭스 화상 센서의 휘도 범위에 기초한다. 예를 들어, 럭스 역치는 저-럭스 센서(104a-b) 및 고-럭스 센서(106)의 휘도 범위의 중복 부분 내의 값으로 설정된다. 따라서, 저-럭스 센서(104a-b)에 대한 휘도 범위가 1제곱 미터당 25 내지 350칸델라이고 고-럭스 센서(106a-b)에 대한 휘도 범위는 1제곱 미터당 300 내지 1000칸델라인 경우, 럭스 역치는 1제곱 미터당 325칸델라로 설정될 수 있다. 이러한 럭스 역치는 유익하게는 센서(104, 106) 중 어느 하나가 활성화되어 있을 때 현재 조도 레벨이 센서(104, 106)의 휘도 범위 내에 있는 것을 보장한다.
포착 소스 모듈(206)은 조도 역치 모듈(204)에 의해 이루어진 결정에 기초하여 저-럭스 센서(104a-b) 또는 고-럭스 센서(106a-b)를 활성화시킨다. 조도 역치 모듈(204)이 조도 레벨이 럭스 역치 이상이라고 결정하는 경우, 포착 소스 모듈(206)은 고-럭스 센서(106a-b)를 활성화시킨다. 그렇지 않으면, 포착 소스 모듈(206)은 저-럭스 센서(104a-b)를 활성화시킨다. 일 실시형태에서, 포착 소스 모듈(206)이 고-럭스 센서(106a-b)를 활성화시킬 때 포착 소스 모듈(206)은 저-럭스 센서(104a-b)를 비활성화시키며 그 반대로 하기도 한다. 이러한 비활성화는 유익하게는 화상 데이터가 환경(100)의 현재 럭스 조건에 적합한 적절한 센서에 의해 포착되는 것을 보장한다.
조명원 모듈(208)은 조명원(108a-b)의 활성화 및 비활성화를 제어한다. 일 실시형태에서, 조명원 모듈(208)은 포착 소스 모듈(206)과 통신하고 조명원 모듈(208)은 저-럭스 센서(104a-b)를 활성화 및 비활성화시키는 포착 소스 모듈(206)에 응답하여 조명원(108a-b)을 활성화 및 비활성화시킨다. 다른 실시형태에서, 조명원 모듈(208)은 조도 역치 모듈(204)에 의해 이루어진 결정에 기초하여 조명원(108a-b)을 활성화 및 비활성화시킨다. 조도 역치 모듈(204)이 조도 레벨이 럭스 역치 이상인 것으로 결정하는 경우, 조명원 모듈(208)은 임의의 활성화되어 있는 조명원(108a-b)을 비활성화시킨다. 그렇지 않으면, 조명원 모듈(208)은 조명원(108a-b)을 활성화시킨다. 활성화된 조명원(108a-b)은 유익하게는 저-럭스 센서(104a-b)의 시야를 조명한다.
화상 데이터 저장장치(210)는 화상 센서(104a-b, 106a-b)에 의해 포착된 화상 데이터를 수취 및 저장하는 휘발성 또는 비휘발성 저장장치이다. 일 실시형태에서, 화상 데이터 저장장치(210)는 저-럭스 센서(104a-b) 및 고-럭스 센서(106a-b)로부터의 화상 데이터를 개별적으로 저장한다. 개별적으로 저장된 화상 데이터는 화상 처리 모듈(212)이 필요에 따라 2개의 상이한 유형의 센서(104a-b, 106a-b)로부터의 화상 데이터를 상이한 방식으로 처리할 수 있게 한다.
화상 처리 모듈(212)은 화상 데이터 저장장치(210)에 저장된 화상을 처리하고, 상기 처리에 기초하여 대상을 인식하고, 인식된 대상에 기초하여 응답을 개시한다. 화상 처리 모듈(212)은 데이터를 처리하고 대상을 인식하기 위해 입체 화상 처리 기술 같은 기술을 시행할 수 있다. 이러한 기술의 예가 "입체 화상 처리"라는 제목의 학술지(http://dsp-book.narod.ru/DSPMW/57.PDF에서 입수할 수 있음)에 기재되어 있으며, 이 학술지는 그 전체가 본원에 참조로 통합된다. 인식된 대상에 기초하여, 화상 처리 모듈(212)은 적절한 응답을 결정 및 개시한다. 예를 들어, 화상 처리 모듈(212)은 저장된 화상 데이터를 처리할 수 있고 저장된 화상 데이터가 사람이 특정 몸짓을 행하고 있다고 나타내는 있는지를 결정할 수 있다. 이러한 결정에 응답하여, 화성 처리 모듈(212)은 데이터베이스(도시되지 않음)에 질의를 하고 몸짓과 관련된 사용자 요구를 결정한다. 화상 처리 모듈(212)은 그리고 결정된 요구에 응답하여 적절한 동작을 취하도록 적절한 처리를 지시한다. 예를 들어, 요구가 사용자가 오디오 플레이어에 특정 음악 파일을 플레이시킬 것을 지시하기를 원하고 있다고 나타내는 경우, 화상 처리 모듈(212)은 음악 플레이어와 통신하고 플레이어가 음악 파일을 플레이시키도록 지시한다. 다양한 몸짓과 관련된 요구의 추가의 예는 자동차 내의 광의 활성화 또는 비활성화의 요구, 전지구 위치파악 시스템(Global Positioning System) 같은 차량의 어플리케이션의 활성화 또는 비활성화의 요구, 및 크루즈 컨트롤 같은 주행 특징의 활성화 또는 비활성화의 요구를 포함한다.
대상 인식 방법론
도 3은 일 실시형태에 따른 동적인 조도 레벨을 갖는 환경에서 화상 데이터를 포착하기 위한 방법을 도시하는 흐름도이다. 대상 인식 모듈(102)은 환경(100)의 조도 레벨을 결정하고(302) 조도 레벨이 럭스 역치보다 아래인지의 여부를 결정한다(304). 조도가 럭스 역치 아래인 경우, 대상 인식 모듈(102)은 저-럭스 센서(104a-b) 및 선택적으로는 조명원(108a-b)을 활성화시킨다(306). 일 실시형태에서, 대상 인식 모듈(102)은 또한 저-럭스 센서(104a-b)의 활성화와 함께 임의의 활성화되어 있는 고-럭스 센서(106a-b)를 비활성화시킨다(306).
결정된 조도 레벨이 럭스 역치 아래가 아닌 경우, 대상 인식 모듈(102)은 고-럭스 센서(106a-b)를 활성화시킨다(308). 부가적으로, 일 실시형태에서, 대상 인식 모듈(102)은 고-럭스 센서(106a-b)의 활성화와 함께 임의의 활성화되어 있는 저-럭스 센서(104a-b) 및 조명원(108a-b)을 비활성화시킨다. 대상 인식 모듈(102)은 그리고 화상 데이터를 포착하고(310) 처리한다(312). 일 실시형태에서, 조도 레벨이 럭스 역치 위 및 아래의 레벨로 반복적으로 변할 때, 대상 인식 모듈(102)은 고-럭스 센서(106a-b) 및 저-럭스 센서(104a-b)를 반복적으로 활성화시킨다. 대상 인식 모듈(102)은 센서(104a-b, 106a-b)로부터 데이터를 포착하고 포착된 데이터를 처리한다. 다른 실시형태에서, 고-럭스 센서(106a-b) 및 저-럭스 센서(104a-b)는 항상 활성화되어 있고, 대상 인식 모듈(102)은 조도 레벨에 기초하여 센서 중 어느 하나로부터 데이터를 포착한다. 조도 레벨이 럭스 역치 아래인 경우, 대상 인식 모듈(102)은 저-럭스 센서(104a-b)로부터 데이터를 포착하고 처리한다. 그렇지 않으면, 대상 인식 모듈(102)은 고-럭스 센서(106a-b)로부터 데이터를 포착하고 처리한다. 따라서, 인식 모듈(102)은 터널을 통해 주행하는 차량과 같은 변화하는 럭스 레벨을 갖는 조건에서 데이터를 포착 및 처리할 수 있으며, 여기서 차량이 터널에 들어가고 나올 때 럭스 레벨이 증가하고 감소한다. 상기 처리에 기초하여, 대상 인식 모듈(102)은 화상의 대상을 인식하고(314) 적절한 응답을 개시한다.
본 발명의 실시형태에 대한 상기 설명은 예시의 목적으로 나타낸 것이며, 본 발명을 정확히 개시된 형태로 제한하려거나 기재되지 않은 것을 배제하려는 것이 아니다. 통상의 기술자는 상기 개시내용에 비추어 많은 변형 및 변경이 가능하다는 것을 인식할 것이다.
본 설명의 일부는 정보에 대한 조작의 알고리즘 및 상징적 표현과 관련하여 본 발명의 실시형태를 기재한다. 이 알고리즘 설명 및 표현은 데이터 처리 기술분야의 통상의 기술자가 그들의 업무의 요지를 본 기술의 통상의 기술자에게 효과적으로 전달하기 위해 일반적으로 사용된다. 이러한 조작은 기능적으로, 계산적으로, 또는 논리적으로 기재되어 있지만 컴퓨터 프로그램 또는 동등한 전기 회로, 마이크로코드 등에 의해 실행되는 것으로 이해된다. 나아가, 일반론의 손실 없이 이러한 조작의 배치를 모듈로서 칭하는 것이 때로는 편리한 것으로 또한 증명되었다. 기재된 조작 및 그 관련 모듈은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합에서 실시될 수 있다. 통상의 기술자는 기재된 모듈을 실행하는 하드웨어가 적어도 하나의 프로세서 및 메모리를 포함하며, 메모리는 모듈의 기재된 기능을 실행하기 위한 명령을 포함한다는 것을 이해할 것이다.
본원에 기재된 단계, 조작, 또는 처리 중 임의의 것은 하나 이상의 하드웨어 또는 소프트웨어 모듈 단독으로 또는 다른 장치와 조합하여 실행 또는 실시될 수 있다. 일 실시형태에서, 소프트웨어 모듈은 기재된 단계, 조작, 또는 처리의 임의의 것 또는 모두를 실행하기 위한 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품에 의해 실시된다.
본 발명의 실시형태는 또한 본원에서 조작을 실행하기 위한 장치에 관한 것이다. 이 장치는 요구된 목적을 위해 특별히 구성될 수 있으며, 그리고/또는 이 장치는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 인식되는 범용 컴퓨팅 장치를 포함할 수 있다. 이러한 컴퓨터 프로그램은 컴퓨터 시스템 버스에 연결될 수 있는 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 전자 명령을 저장하기에 적합한 임의의 유형의 매체에 저장될 수 있다. 또한, 본 명세서에서 칭해지는 임의의 컴퓨팅 시스템은 단일 프로세서를 포함할 수 있거나 증가된 컴퓨팅 능력을 위해 다수의 프로세서 설계를 채용하는 구성일 수 있다.
본 발명의 실시형태는 또한 본원에 기재된 컴퓨팅 처리에 의해 생성되는 제품에 관한 것이다. 이러한 제품은 컴퓨팅 처리로부터 초래되는 정보를 포함할 수 있고, 이 정보는 비일시적인 유형의 컴퓨터 판독가능 저장 매체에 저장되며 본원에 기재된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시형태를 포함할 수 있다.
마지막으로, 본 명세서에서 사용되는 표현은 주로 가독성 및 교시적 목적을 위해 선택되었으며, 본 발명의 주제를 묘사하거나 제한하기 위해 선택되지 않았다. 그러므로, 본 발명의 범위는 이러한 상세한 설명보다는 본원에 기초하는 용례에 대해 논의하는 임의의 청구항에 의해 제한되는 것이 의도된다. 따라서, 본 발명의 실시형태의 개시는 이하의 청구항에 설명되는 본 발명의 범위를 예시하는 것이며 제한하는 것이 아니다.

Claims (30)

  1. 동적인 조도 레벨을 갖는 차량의 승객 또는 운전자로부터의 몸짓에 대한 화상 데이터를 포착하기 위한 컴퓨터 실행 방법이며, 상기 방법은,
    차량의 조도 레벨을 결정하는 단계로서, 상기 차량은 차량의 오버헤드 콘솔에 위치되는 저-럭스 센서 및 고-럭스 센서를 포함하고, 상기 저-럭스 센서는 역치(threshold) 조도 레벨 아래의 조도 레벨을 갖는 차량의 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하도록 지정되고, 상기 고-럭스 센서는 상기 역치 조도 레벨 위의 조도 레벨을 갖는 차량의 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하도록 지정되는, 상기 차량의 조도 레벨을 결정하는 단계,
    조도 역치 모듈에 의해, 결정된 조도 레벨이 상기 역치 조도 레벨 아래에 있는지의 여부를 결정하는 단계,
    조도 레벨이 상기 역치 조도 레벨 아래에 있을 때 저-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계, 및
    조도 레벨이 상기 역치 조도 레벨 위에 있을 때 고-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계
    를 포함하는, 컴퓨터 실행 방법.
  2. 제1항에 있어서,
    조도 레벨이 상기 역치 조도 레벨 아래에 있는 것으로 결정하는 단계,
    상기 저-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계,
    조도 레벨이 상기 역치 조도 레벨 위에 있는 것으로 결정하는 단계, 및
    상기 고-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계
    를 더 포함하는, 컴퓨터 실행 방법.
  3. 제1항에 있어서, 조도 레벨이 상기 역치 조도 레벨 아래에 있다는 결정에 응답하여 조명원을 활성화시키는 단계를 더 포함하는, 컴퓨터 실행 방법.
  4. 제1항에 있어서, 상기 저-럭스 센서 및 상기 고-럭스 센서는 상이한 휘도 범위를 갖고, 센서의 휘도 범위는, 상기 센서가 화상 데이터를 포착하기 위해 설치되어 있는 배경 휘도의 범위인, 컴퓨터 실행 방법.
  5. 제4항에 있어서, 상기 저-럭스 센서 및 상기 고-럭스 센서의 휘도 범위는 중복되고, 상기 역치 조도 레벨은 상기 휘도 범위의 중복 부분 내에 있는, 컴퓨터 실행 방법.
  6. 제1항에 있어서, 상기 고-럭스 센서는, 상기 고-럭스 센서에 도달하는 적외선 광의 양을 감소시키도록 적외선 필터를 포함하는, 컴퓨터 실행 방법.
  7. 제3항에 있어서, 상기 조명원은 상기 저-럭스 센서의 응답 곡선의 정점의 범위 내에 있는 스펙트럼을 갖는 광을 방출하는, 컴퓨터 실행 방법.
  8. 제1항에 있어서,
    조도 레벨이 상기 역치 조도 레벨 아래에 있다는 결정에 응답하여, 상기 고-럭스 센서가 활성화되어 있는지의 여부를 결정하는 단계, 및
    상기 고-럭스 센서가 활성화되어 있다는 결정에 응답하여, 활성화되어 있는 고-럭스 센서를 비활성화시키는 단계를 포함하는, 컴퓨터 실행 방법.
  9. 제1항에 있어서, 상기 차량은 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하기 위한 4개의 센서를 포함하고, 상기 4개의 센서는 상기 차량의 오버헤드 콘솔에 위치되며, 상기 4개의 센서는 2개의 RGB 센서 및 2개의 적외선 센서를 포함하는, 컴퓨터 실행 방법.
  10. 동적인 조도 레벨을 갖는 차량의 승객 또는 운전자로부터의 몸짓에 대한 화상 데이터를 포착하기 위한 컴퓨터 프로그램 제품이며, 상기 컴퓨터 프로그램 제품은,
    차량의 조도 레벨을 결정하는 단계로서, 상기 차량은 상기 차량의 오버헤드 콘솔에 위치되는 저-럭스 센서 및 고-럭스 센서를 포함하고, 상기 저-럭스 센서는 역치 조도 레벨 아래의 조도 레벨을 갖는 차량의 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하도록 지정되고, 상기 고-럭스 센서는 상기 역치 조도 레벨 위의 조도 레벨을 갖는 차량의 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하도록 지정되는, 상기 차량의 조도 레벨을 결정하는 단계,
    조도 역치 모듈에 의해, 결정된 조도 레벨이 상기 역치 조도 레벨 아래에 있는지의 여부를 결정하는 단계,
    조도 레벨이 상기 역치 조도 레벨 아래에 있을 때 상기 저-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계, 및
    조도 레벨이 상기 역치 조도 레벨 위에 있을 때 상기 고-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계
    를 수행하기 위한 컴퓨터 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품.
  11. 제10항에 있어서,
    조도 레벨이 상기 역치 조도 레벨 아래에 있는 것으로 결정하는 단계,
    상기 저-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계,
    조도 레벨이 상기 역치 조도 레벨 위에 있는 것으로 결정하는 단계, 및
    상기 고-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계
    를 수행하기 위한 컴퓨터 프로그램 코드를 더 포함하는, 컴퓨터 프로그램 제품.
  12. 제10항에 있어서, 조도 레벨이 상기 역치 조도 레벨 아래에 있다는 결정에 응답하여 조명원을 활성화시키기 위한 컴퓨터 프로그램 코드를 더 포함하는, 컴퓨터 프로그램 제품.
  13. 제10항에 있어서, 상기 저-럭스 센서 및 상기 고-럭스 센서는 상이한 휘도 범위를 갖고, 센서의 휘도 범위는, 상기 센서가 화상 데이터를 포착하기 위해 설치되어 있는 배경 휘도의 범위인, 컴퓨터 프로그램 제품.
  14. 제13항에 있어서, 상기 저-럭스 센서 및 상기 고-럭스 센서의 휘도 범위는 중복되고, 상기 역치 조도 레벨은 상기 휘도 범위의 중복 부분 내에 있는, 컴퓨터 프로그램 제품.
  15. 제10항에 있어서, 상기 고-럭스 센서는, 상기 고-럭스 센서에 도달하는 적외선 광의 양을 감소시키도록 적외선 필터를 포함하는, 컴퓨터 프로그램 제품.
  16. 제12항에 있어서, 상기 조명원은 상기 저-럭스 센서의 응답 곡선의 정점의 범위 내에 있는 스펙트럼을 갖는 광을 방출하는, 컴퓨터 프로그램 제품.
  17. 제10항에 있어서,
    조도 레벨이 상기 역치 조도 레벨 아래에 있다는 결정에 응답하여, 상기 고-럭스 센서가 활성화되어 있는지의 여부를 결정하는 단계, 및
    상기 고-럭스 센서가 활성화되어 있다는 결정에 응답하여, 활성화되어 있는 고-럭스 센서를 비활성화시키는 단계
    를 위한 컴퓨터 프로그램 코드를 더 포함하는, 컴퓨터 프로그램 제품.
  18. 제10항에 있어서, 상기 차량은 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하기 위한 4개의 센서를 포함하고, 상기 4개의 센서는 상기 차량의 오버헤드 콘솔에 위치되며, 상기 4개의 센서는 2개의 RGB 센서 및 2개의 적외선 센서를 포함하는, 컴퓨터 프로그램 제품.
  19. 동적인 조도 레벨을 갖는 차량의 승객 또는 운전자로부터의 몸짓에 대한 화상 데이터를 포착하기 위한 컴퓨터 시스템이며, 상기 컴퓨터 시스템은 프로세서 및 비일시적 컴퓨터 판독가능 매체를 포함하고, 상기 컴퓨터 판독가능 매체는,
    차량의 조도 레벨을 결정하는 단계로서, 상기 차량은 차량의 오버헤드 콘솔에 위치되는 저-럭스 센서 및 고-럭스 센서를 포함하고, 상기 저-럭스 센서는 역치 조도 레벨 아래의 조도 레벨을 갖는 차량의 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하도록 지정되고, 상기 고-럭스 센서는 상기 역치 조도 레벨 위의 조도 레벨을 갖는 차량의 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하도록 지정되는, 상기 차량의 조도 레벨을 결정하는 단계,
    조도 역치 모듈에 의해, 결정된 조도 레벨이 상기 역치 조도 레벨 아래에 있는지의 여부를 결정하는 단계,
    조도 레벨이 상기 역치 조도 레벨 아래에 있을 때 상기 저-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계, 및
    조도 레벨이 상기 역치 조도 레벨 위에 있을 때 상기 고-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계
    를 수행하기 위한 컴퓨터 프로그램 코드를 포함하는, 컴퓨터 시스템.
  20. 제19항에 있어서,
    조도 레벨이 상기 역치 조도 레벨 아래에 있는 것으로 결정하는 단계,
    상기 저-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계,
    조도 레벨이 상기 역치 조도 레벨 위에 있는 것으로 결정하는 단계, 및
    상기 고-럭스 센서에 의해 포착된 화상 데이터를 처리하는 단계
    를 수행하기 위한 컴퓨터 프로그램 코드를 더 포함하는, 컴퓨터 시스템.
  21. 제19항에 있어서, 조도 레벨이 상기 역치 조도 레벨 아래에 있다는 결정에 응답하여 조명원을 활성화시키기 위한 컴퓨터 프로그램 코드를 더 포함하는, 컴퓨터 시스템.
  22. 제19항에 있어서, 상기 저-럭스 센서 및 상기 고-럭스 센서는 상이한 휘도 범위를 갖고, 센서의 휘도 범위는, 상기 센서가 화상 데이터를 포착하기 위해 설치되어 있는 배경 휘도의 범위인, 컴퓨터 시스템.
  23. 제22항에 있어서, 상기 저-럭스 센서 및 상기 고-럭스 센서의 휘도 범위는 중복되고, 상기 역치 조도 레벨은 상기 휘도 범위의 중복 부분 내에 있는, 컴퓨터 시스템.
  24. 제19항에 있어서, 상기 고-럭스 센서는, 상기 고-럭스 센서에 도달하는 적외선 광의 양을 감소시키도록 적외선 필터를 포함하는, 컴퓨터 시스템.
  25. 제21항에 있어서, 상기 조명원은 상기 저-럭스 센서의 응답 곡선의 정점의 범위 내에 있는 스펙트럼을 갖는 광을 방출하는, 컴퓨터 시스템.
  26. 제19항에 있어서, 상기 차량은 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하기 위한 4개의 센서를 포함하고, 상기 4개의 센서는 상기 차량의 오버헤드 콘솔에 위치되며, 상기 4개의 센서는 2개의 RGB 센서 및 2개의 적외선 센서를 포함하는, 컴퓨터 시스템.
  27. 동적인 조도 레벨을 갖는 차량의 승객 또는 운전자로부터의 몸짓에 대한 화상 데이터를 포착하기 위한 컴퓨터 시스템이며, 상기 컴퓨터 시스템은,
    차량의 조도 레벨을 결정하기 위한 조도 레벨 모듈로서, 상기 차량은 차량의 오버헤드 콘솔에 위치되는 저-럭스 센서 및 고-럭스 센서를 포함하고, 상기 저-럭스 센서는 역치 조도 레벨 아래의 조도 레벨을 갖는 차량의 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하도록 지정되고, 상기 고-럭스 센서는 상기 역치 조도 레벨 위의 조도 레벨을 갖는 차량의 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하도록 지정되는, 상기 조도 레벨 모듈,
    결정된 조도 레벨이 상기 역치 조도 레벨 아래에 있는지의 여부를 결정하기 위한 조도 역치 모듈, 및
    조도 레벨이 상기 역치 조도 레벨 아래에 있을 때 상기 저-럭스 센서를 활성화시키고, 조도 레벨이 상기 역치 조도 레벨 위에 있을 때 상기 고-럭스 센서를 활성화시키기 위한 포착 소스 모듈
    을 포함하는, 컴퓨터 시스템.
  28. 제27항에 있어서, 상기 저-럭스 센서 및 상기 고-럭스 센서는 상이한 휘도 범위를 갖고, 센서의 휘도 범위는, 상기 센서가 화상 데이터를 포착하기 위해서 설치되어 있는 배경 휘도의 범위인, 컴퓨터 시스템.
  29. 제28항에 있어서, 상기 저-럭스 센서 및 상기 고-럭스 센서의 휘도 범위는 중복되고, 상기 역치 조도 레벨은 상기 휘도 범위의 중복 부분 내에 있는, 컴퓨터 시스템.
  30. 제27항에 있어서, 상기 차량은 운전자 또는 승객으로부터의 몸짓을 나타내는 화상 데이터를 포착하기 위한 4개의 센서를 포함하고, 상기 4개의 센서는 상기 차량의 오버헤드 콘솔에 위치되며, 상기 4개의 센서는 2개의 RGB 센서 및 2개의 적외선 센서를 포함하는, 컴퓨터 시스템.
KR1020157013227A 2012-10-24 2013-09-12 저-럭스 및 고-럭스 조건에서의 대상 인식 KR101687125B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/659,826 US8781171B2 (en) 2012-10-24 2012-10-24 Object recognition in low-lux and high-lux conditions
US13/659,826 2012-10-24
PCT/US2013/059408 WO2014065951A1 (en) 2012-10-24 2013-09-12 Object recognition in low-lux and high-lux conditions

Publications (2)

Publication Number Publication Date
KR20150094607A true KR20150094607A (ko) 2015-08-19
KR101687125B1 KR101687125B1 (ko) 2016-12-15

Family

ID=50485366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157013227A KR101687125B1 (ko) 2012-10-24 2013-09-12 저-럭스 및 고-럭스 조건에서의 대상 인식

Country Status (7)

Country Link
US (4) US8781171B2 (ko)
EP (1) EP2912836B1 (ko)
JP (1) JP6042555B2 (ko)
KR (1) KR101687125B1 (ko)
CN (1) CN105122784B (ko)
IL (1) IL238251A (ko)
WO (1) WO2014065951A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781171B2 (en) 2012-10-24 2014-07-15 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
US9754167B1 (en) 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US9868449B1 (en) 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
CN106304570B (zh) * 2016-10-09 2018-11-02 惠州市海尼克电子科技有限公司 一种置于灯具内检测环境照度的方法及感应器
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
CN111428545A (zh) * 2019-01-10 2020-07-17 北京嘀嘀无限科技发展有限公司 行为判断方法、装置及电子设备
CN112001208A (zh) * 2019-05-27 2020-11-27 虹软科技股份有限公司 用于车辆盲区的目标检测方法、装置和电子设备
CN112541859B (zh) * 2019-09-23 2022-11-25 武汉科技大学 一种光照自适应的人脸图像增强方法
KR20220067733A (ko) * 2020-11-18 2022-05-25 한국전자기술연구원 다중 특징 추출기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336449A (ja) * 2006-06-19 2007-12-27 Asahi Glass Co Ltd 撮像装置
JP2008042806A (ja) * 2006-08-10 2008-02-21 Nikon Corp カメラ
JP2010253987A (ja) * 2009-04-21 2010-11-11 Yazaki Corp 車載用撮影ユニット

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553296B2 (en) * 1995-06-07 2003-04-22 Automotive Technologies International, Inc. Vehicular occupant detection arrangements
US6442465B2 (en) * 1992-05-05 2002-08-27 Automotive Technologies International, Inc. Vehicular component control systems and methods
US6507779B2 (en) * 1995-06-07 2003-01-14 Automotive Technologies International, Inc. Vehicle rear seat monitor
JPS6291802A (ja) * 1985-10-18 1987-04-27 Canon Inc 観察計測装置
JPH06291802A (ja) 1993-04-02 1994-10-18 Furukawa Electric Co Ltd:The 多重伝送装置
US7527288B2 (en) * 1995-06-07 2009-05-05 Automotive Technologies International, Inc. Vehicle with crash sensor coupled to data bus
US6400835B1 (en) 1996-05-15 2002-06-04 Jerome H. Lemelson Taillight mounted vehicle security system employing facial recognition using a reflected image
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6545670B1 (en) 1999-05-11 2003-04-08 Timothy R. Pryor Methods and apparatus for man machine interfaces and related activity
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
WO2001085491A1 (en) * 2000-05-08 2001-11-15 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
US6535242B1 (en) 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
US20050271280A1 (en) * 2003-07-23 2005-12-08 Farmer Michael E System or method for classifying images
US7177486B2 (en) * 2002-04-08 2007-02-13 Rensselaer Polytechnic Institute Dual bootstrap iterative closest point method and algorithm for image registration
US7123747B2 (en) * 2002-05-28 2006-10-17 Trw Inc. Enhancement of vehicle interior digital images
US7965336B2 (en) 2002-11-14 2011-06-21 Donnelly Corporation Imaging system for vehicle
US7088243B2 (en) 2003-05-26 2006-08-08 S1 Corporation Method of intruder detection and device thereof
JP2008518195A (ja) * 2003-10-03 2008-05-29 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員検出システム
JP2005173257A (ja) * 2003-12-11 2005-06-30 Canon Inc 測距測光装置及び測距リモコン受信装置
JP4059224B2 (ja) 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
US7430312B2 (en) 2005-01-07 2008-09-30 Gesturetek, Inc. Creating 3D images of objects by illuminating with infrared patterns
KR100729280B1 (ko) 2005-01-08 2007-06-15 아이리텍 잉크 스테레오 카메라를 장착한 이동단말기를 이용한 홍채인식시스템 및 그 방법
JP4438753B2 (ja) 2006-01-27 2010-03-24 株式会社日立製作所 車両内状態検知システム，車両内状態検知装置および方法
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
JP5084322B2 (ja) * 2007-03-29 2012-11-28 キヤノン株式会社 撮像装置及びその制御方法
US20100039500A1 (en) 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
WO2010083259A2 (en) 2009-01-13 2010-07-22 Meimadtek Ltd. Method and system for operating a self-propelled vehicle according to scene images
JP2010268343A (ja) * 2009-05-18 2010-11-25 Olympus Imaging Corp 撮影装置および撮影方法
JP2011142500A (ja) * 2010-01-07 2011-07-21 Toyota Motor Corp 撮像装置
EP2515526A3 (en) 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
US9389690B2 (en) 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US8781171B2 (en) * 2012-10-24 2014-07-15 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336449A (ja) * 2006-06-19 2007-12-27 Asahi Glass Co Ltd 撮像装置
JP2008042806A (ja) * 2006-08-10 2008-02-21 Nikon Corp カメラ
JP2010253987A (ja) * 2009-04-21 2010-11-11 Yazaki Corp 車載用撮影ユニット

Also Published As

Publication number Publication date
JP6042555B2 (ja) 2016-12-14
EP2912836A4 (en) 2016-08-17
CN105122784A (zh) 2015-12-02
JP2015535412A (ja) 2015-12-10
US20140285664A1 (en) 2014-09-25
US8781171B2 (en) 2014-07-15
CN105122784B (zh) 2018-09-25
US9469251B2 (en) 2016-10-18
US20140112528A1 (en) 2014-04-24
IL238251A (en) 2016-08-31
EP2912836B1 (en) 2018-05-09
IL238251A0 (en) 2015-06-30
US9302621B2 (en) 2016-04-05
US9852332B2 (en) 2017-12-26
KR101687125B1 (ko) 2016-12-15
US20160364605A1 (en) 2016-12-15
US20160176348A1 (en) 2016-06-23
WO2014065951A1 (en) 2014-05-01
EP2912836A1 (en) 2015-09-02

Similar Documents

Publication Publication Date Title
KR101687125B1 (ko) 저-럭스 및 고-럭스 조건에서의 대상 인식
US11706377B2 (en) Visual, depth and micro-vibration data extraction using a unified imaging device
US11941894B2 (en) Infrared light source protective system
US9993154B2 (en) Eye gaze detection supporting device and eye gaze detection supporting method
US9787907B2 (en) Substance detection device
US20180357520A1 (en) Protective system for infrared light source
US20140015417A1 (en) Lighting control system
JP2015211727A5 (ko)
US20170070726A1 (en) Method and apparatus for generating a 3-d image
JP2000028315A (ja) 対象物検出装置
US20190156500A1 (en) Distance measurement system applicable to different reflecting surfaces and computer system
EP3331235B1 (en) Image processing device, image capture device, driver monitoring system, mobile body, and image processing method
US10829042B2 (en) Imaging apparatus with image sensor for detecting light in an atmospheric peak and vehicle having same
CN112041783A (zh) 曝光时间控制
EP3243684A1 (en) Vehicle occupant monitoring
KR20120127560A (ko) 눈 검출 시스템 및 그 동작 방법
KR20170075523A (ko) 차량용 주변 감시 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190806

Year of fee payment: 4