KR20150136054A - 차량에서 조작자의 제스처를 검출하기 위한 센서 장치 - Google Patents

차량에서 조작자의 제스처를 검출하기 위한 센서 장치 Download PDF

Info

Publication number
KR20150136054A
KR20150136054A KR1020157022076A KR20157022076A KR20150136054A KR 20150136054 A KR20150136054 A KR 20150136054A KR 1020157022076 A KR1020157022076 A KR 1020157022076A KR 20157022076 A KR20157022076 A KR 20157022076A KR 20150136054 A KR20150136054 A KR 20150136054A
Authority
KR
South Korea
Prior art keywords
pixels
detection
analysis
driving
detection device
Prior art date
Application number
KR1020157022076A
Other languages
English (en)
Other versions
KR102212940B1 (ko
Inventor
미르코 쉰틀러
베른트 게르데스
베른트 에테
Original Assignee
후프 휠스벡 운트 퓌르스트 게엠베하 운트 콤파니 카게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후프 휠스벡 운트 퓌르스트 게엠베하 운트 콤파니 카게 filed Critical 후프 휠스벡 운트 퓌르스트 게엠베하 운트 콤파니 카게
Publication of KR20150136054A publication Critical patent/KR20150136054A/ko
Application granted granted Critical
Publication of KR102212940B1 publication Critical patent/KR102212940B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H04N13/0253—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 자동차(1)용 센서 장치(2)에 관한 것이다. 상기 센서 장치는 광원(10)과 검출 장치(20)를 구비하며, 이때 상기 검출 장치는 광학 픽셀 어레이로 형성된다. 광원(10)과 검출 장치(20)는, 광펄스를 송출하기 위해 광원(10)을 구동하며, 검출을 위해 검출 장치를 구동하는 제어 및 분석 장치(30)에 연결된다. 제어 및 분석 장치(30), 검출 장치(20), 및 광원(10)이 "ToF(Time of Flight)" 카메라로서 상호 작용함으로써, 공간 거리 데이터가 검출된다. 제어 및 분석 장치(30)는 검출 장치(20)의 상이한 픽셀 그룹을 위한 복수의 구동 스키마를 가지며, 이때 제1 구동 스키마(휴지 모드)는 제1 픽셀 그룹으로서의 픽셀 부분량을 구동하여 분석하고, 제2 구동 스키마(능동 스키마)는 제2 픽셀 그룹으로서의 더 많은 양의 픽셀들을 구동하여 분석한다. 제어 및 분석 장치는 제1 구동 스키마에 따른 분석 결과를 토대로 제2 구동 스키마에 따른 구동으로 전환한다.

Description

차량에서 조작자의 제스처를 검출하기 위한 센서 장치{SENSOR ASSEMBLY FOR DETECTING OPERATOR GESTURES IN VEHICLES}
본 발명은 광학적으로 지원되는, 자동차에서 조작자의 제스처 또는 조작 동작을 인지하는 데 이용되는 센서 장치에 관한 것이다.
특히 본 발명은, 조작자의 작동 의지를 인지하기 위해 시간/공간적으로 분해된 정보를 검출하여 분석할 수 있는 센서 장치에 관한 것이다.
종래 기술에서는, 이미지 정보의 분석에 대한 반응으로서의 작동을 인지하여 이에 대해 예컨대 스위칭 과정을 활성화하는 광학 기법이 공지되어 있다. 예컨대 여기서는 개별 이미지 또는 이미지 시퀀스로부터 패턴 또는 운동을 판독해내는 모니터링 시스템의 자동 비디오 분석을 언급할 수 있다. 또한, 광학적으로 지원되는 다른 여러 시스템들이 공지되어 있는데, 이들은 가장 기초가 되는 광 배리어 또는 휘도 센서에 포함된다. 그러나, 복잡도가 더 높은 광학 시스템들은 대개 픽셀로 불리는 광학적으로 민감한 검출 유닛들의 어레이를 주로 조작하며, 상기 검출 유닛들은 동시에 광학 정보를 예컨대 CCD 어레이의 형태로 수용한다.
DE 10 2008 025 669 A1호에는, 제스처를 검출함으로써 차량의 잠금 부재가 자동으로 가동되게 하는 광학 센서가 공개되어 있다.
공보 WO 2008/116699 A2호는 광학 센서칩에 관한 것이며, 자동차 내 창유리, 슬라이딩 도어, 또는 트렁크 리드를 모니터링하기 위한 광학 끼임 보호 장치에 관한 것이다.
공보 WO 2012/084222 A1호에는 잠금 부재의 작동 및 모니터링을 위한 광학 센서가 공개되어 있다.
제스처 제어가 다양한 기술 분야에서 점점 더 많이 채택되고 있기 때문에, 오직 자동차에서의 조작 요구를 인지하기 위한 광학 시스템을 이용하려는 시도들도 행해져왔다. 그러나 이러한 시스템들의 경우, 용량성 시스템을 통한 조작 검출이 계속 우세하게 나타나고 있다.
DE 10 2011 089 195 A1호에는 본 발명을 위해서도 이용될 수 있는 방식과 유사한 방식의 광학 지원 장치를 이용하여 객체들과 조작 제스처를 비접촉 방식으로 검출하기 위한 시스템이 공개되어 있다. 그러나, 이러한 시스템은 에너지 소비와 관련하여 조건이 매우 까다롭고, 에너지 수요로 인해 차량 주변의 접근 제어의 지속적인 모니터링이 문제된다.
본 발명의 과제는, 차량용 접근 시스템에서 조작 제어를 위한, 광학적으로 지원되고 에너지 최적화된 시스템을 제공하는 것이다.
상기 과제는 청구항 제1항의 특징들을 갖는 장치에 의해 해결된다.
본 발명에 따른 시스템은 광학 검출에 이용되나, 순수 이미지 검출에는 이용되지는 않는다. 간격 정보가 시간 순서대로 분석됨으로써, 간격 검출을 가능하게 하고 객체 운동을 검출할 수 있는 시간별 구동에 의한 픽셀 어레이가 사용된다. 픽셀과 관련된 위치 정보, 특히 센서 장치 또는 검출 장치와의 거리를 검출하는 검출 장치들이 공지되어 있다. 이러한 시스템들은 예컨대, 적용된 분석 방법에 따라 "Time-of-flight" 시스템 또는 "3D 이미저(3D-Imager)" 또는 "레인지 이미저(Range Imager)"라고도 불린다. 이러한 시스템들의 적용 분야들은 산업 자동화 기술 분야, 보안 기술 또는 자동차 산업 분야이다. 자동차에서는 보행자 보호를 위해 혹은 주차 보조장치로서 트래킹 시스템의 3D 센서들이 이용된다. 삼각 측량의 컨셉뿐 아니라 간섭계 및 광전파 시간 검출[Time-of-flight(ToF)]의 컨셉도 광학 센서들을 이용해 구현될 수 있다.
본 발명에 따른 시스템은 광감성 픽셀들의 어레이뿐 아니라 광원도 갖는다. 상기 광원은 민감 픽셀 어레이 영역에, 예컨대 어레이로부터 약간의 간격을 두고 배치된다. 제어 회로는 광원 작동뿐 아니라 픽셀 어레이 작동도 제어한다.
이와 관련하여 기술적 컨셉과 그 실현을 구체적으로 설명하는 문헌, 특히 안드레아스 슈피커만의 논문, "0.35㎛ 표준 CMOS 기술에서의 3D Time-of-Flight 이미지 센서를 위한 광검출기 및 판독 컨셉(두이스부르크 에쎈 대학교 공학부, 2010)"을 참조한다.
이 외에도, 베른하르트 쾨니히의 발표물, "Optimized Distance Measurement with 3D-CMOS Image Sensor and Real- Time Processing of the 3D Data for Applications in Automotive and Safety Engineering(두이스부르크 에쎈 대학교 공학부, 2008)"을 참조한다.
전술한 논문들이 이용 가능한 광학 센서 시스템의 컨셉과 실현을 설명하고 있으므로, 본 출원의 범주에서는 상기 논문들의 발표 내용을 인용하며, 본 출원의 이해를 위해 관련된 측면에서만 설명한다.
본 발명은 "Time-of-Flight(ToF)" 기법을 이용하는 센서 장치에 관한 것이므로, 여기서는 이 기법을 간략하게 설명한다.
ToF 기법에서는 공간 영역이 광원으로 조명되고, 공간 영역 내 객체로부터 다시 반사된 광의 광전파 시간이 평면 센서를 이용해 기록된다. 이를 위해, 광원과 센서는 가능한 한 서로 가까이에 배치되어야 한다. 광전파 시간과 광속도의 선형 관계를 토대로 센서와 측정 대상 사이의 거리가 결정될 수 있다. 시간상의 지연을 측정하기 위해 광원과 센서가 동기화되어야 한다. 상기 방법은 펄스 광원(pulsed light source)을 이용함으로써 최적화될 수 있는데, 그 이유는 (ns 영역 내) 짧은 광펄스가 효과적인 배경광 억제를 가능케 하기 때문이다. 또한, 간격이 충분히 클 경우, 광 펄스를 이용하여 거리 검출 시 발생할 수 있는 모호성이 방지된다.
상기 컨셉에서 한편으로는 광원이 펄스 구동된다. 또한, 검출 유닛, 즉 픽셀 어레이가 펄스화되어 감지하도록 스위칭되며, 다시 말해 개별 픽셀들의 적분 윈도우(integration window)는 광원과 시간적으로 동기화되고, 적분 지속 시간 이내로 제한된다. 적분 지속 시간이 상이한 결과들을 비교함으로써, 특히 배경광의 효과가 배제될 수 있다.
중요한 것은, 이러한 검출 방식이 이미지에 기초한 검출 방식이 아니라는 점이다. 각 픽셀에서 간격 정보가 검출되는데, 이는 시간별 광검출에 의해 이루어진다. 마지막으로, 픽셀 어레이의 이용 시 주기적 검출 중에 대상물 운동의 해석과 추적을 가능하게 하는 간격값들의 매트릭스가 제공된다.
본 발명에 따라 검출 장치의 다양한 작동 모드들이 구별된다. 이를 위해, 검출을 위해 제어 장치로부터 분리되어 구동될 수 있는 픽셀 그룹들이 형성된다.
픽셀들의 하위 그룹의 구동 시, 나머지 픽셀들이 동시에 비활성화될 경우 에너지 절약이 달성된다.
즉, 본 발명에 따르면 어레이의 개별 픽셀들이 결합되어 상이한 그룹들을 형성하고, 이때 그룹들 중 하나는 예컨대 전체 픽셀을 포함할 수 있고, 제2 그룹은 픽셀들 중 일부만을 포함한다. 이때, 픽셀 신호들의 분석을 토대로 언제 어떠한 모드로 스위칭될 수 있는지가 도출된다. 본 출원의 범주에서 이러한 컨셉을 구동 스키마라고 한다. 즉, 구동 스키마는 픽셀 선택 및 관련 구동 파라미터(예컨대, 시간 파라미터)를 포함할 수 있다.
다시 말해, 픽셀들의 부분 그룹만이 작동되면, 이 그룹은 주어진 방식으로 개별 픽셀들 각각으로부터의 간격값을 산출하도록 구동되어 분석된다. 이때, 픽셀 부분량의 구동은 다른 방식으로, 특히 전체 픽셀들이 작동하는 경우의 구동과는 다른 시간 파라미터들을 이용하여 실시된다. 예컨대 장방형 픽셀 어레이의 경우, 하나의 픽셀 어레이 상에 외측 가장자리에 존재하는 픽셀들의 그룹만 구동되면, 센서 장치의 검출 영역 내로의 조작자의 접근을 검출하기에 충분하다. 다시 말해, 이러한 검출의 정밀성이 전체 픽셀수를 이용한 검출의 경우와 똑같지는 않지만, 이는 정밀성의 개선이 필요한 경우에는 전체 픽셀이 활성화되기 때문에 불필요하기도 하다.
즉, 예컨대 전술한 픽셀 프레임이 휴지 모드에서 능동 상태로 유지되면, 이 픽셀 프레임에 대한 검출은 능동 모드에서보다 더 큰 시간 간격으로 실시될 수 있고, 사용자의 접근 가능성 여부에 대해 더 대략적인 분석이 실시된다. 사용자의 접근 가능성이 존재한다면, 센서 장치는 추가 작동 모드, 즉, 다른 픽셀 그룹, 예컨대 전체 픽셀이 활성화되어 분석되는 능동 모드로 전환된다. 상기 분석이 실시될 수 있는 주파수 역시, 상이한 작동 모드들에서 상이할 수 있다.
전술한 것처럼, 픽셀 그룹들은 교집합을 가질 수 있고, 하나의 픽셀 그룹이 다른 하나의 픽셀 그룹을 완전히 포함할 수 있다.
구동 스키마들 각각에는 기본적으로 각각 분석 스키마도 속한다. 상기 분석 스키마는 구동 스키마과 관련하여 매칭될 수 있다.
상기 유형의 차량 센서 장치가 차량으로의 진입을 통제하고 외부 영역을 모니터링하는 데 이용되는 경우, 픽셀들의 하위 집합의 활성화는 적어도 사용자의 접근을 확인하기에 충분하다. 사용자가 이 영역 내에서 움직이면, 이는 픽셀들이 복수인 경우에 거리값들의 특징적인 신호 변화에 의해 검출된다. 휴지 모드에서 픽셀 어레이의 해상도가 감소하면 정밀한 제스처 인식이 불가능하기는 하지만, 이는 불필요하기도 하다. 다시 말해, 이러한 사용자 접근의 대강의 인식은 제어 장치에 의한 구동 변경을 초래하고, 그 결과 이제 능동 모드에서 다른 픽셀 그룹, 가능한 한 제1 픽셀 그룹을 포함하는 픽셀 그룹이 구동된다. 그렇게 되면 해상도가 증가함에 따라 운동 제스처가 검출될 수 있다.
본 발명의 한 바람직한 구성에서는, 픽셀 어레이에 의해 외부 영역들, 예컨대 픽셀 어레이의 가장자리에 놓인 픽셀들이 제1 그룹으로서 활성화된다. 이러한 조치에 의해 픽셀 수가 감소하는 동시에 신호들의 공간적 연장 및 구별성이 최적으로 활용된다.
본 발명의 또 다른 한 구성에서는, 제1 픽셀 그룹을 이용한 작동 모드인 휴지 모드에서 조회 주파수가, 능동 모드에서 제스처 인식을 위해 확장된 픽셀 그룹을 이용한 조회 주파수에 비해 감소하여 작동된다. 본 발명에 따라, 사용자 접근의 검출은 더 정밀하게 분해된 사용자 제스처의 검출보다 더 낮은 주파수로 검사된다.
센서 어레이 상의 선택된 픽셀 그룹들의 배열은 시간에 따라 변하는 방식으로도 이루어질 수 있다. 예컨대 교대로 센서면의 4분의 1이 주기적으로 조회될 수 있음으로써, 매 조회 시 픽셀 수는 전류 감소 모드에서 실질적으로 동일하지만, 이러한 전류 절약형 조회를 위해 항상 동일한 픽셀들이 사용되는 것은 아니다. 전술한 예시에서, 픽셀 중 4분의 1이 사용될 경우 예컨대 주기적으로 4분의 1 섹터가 변경될 수 있으므로, 각각의 픽셀은 매 4번째 조회 시에만 활성화된다.
어레이의 픽셀 하부 그룹의 구동에 의해 센서 자체가 또 다른 작동 모드에서 전류 감소형 활성화 센서로서 작동되는 점이 중요하다. 본 발명에 따른 이러한 조치는 더 적은 수의 구성 부품을 요구하기 때문에, 별도의 활성화 센서를 사용하는 경우에 비해 구조상의 장점을 있다.
본 발명에 따라 전류 절약 모드로 실시되는 검출도, 상기 검출이 1차적인 대략 검출이라 할지라도, 후속하는 더 정밀하게 분해된 운동 제스처의 검출을 위해 추가로 이용될 수 있다.
본 발명은 한 실시예를 토대로 더 상세히 설명된다.
도 1은 본 발명에 따른 검출 장치의, 차량에서의 사용 상황을 개략적으로 도시한 도면이다.
도 2는 검출 장치의 작용 구성 부품들을 도시한 개략도이다.
도 3a 내지 도 3c는 상이한 작동 모드에서의 센서 필드의 개략도이다.
도 1에 도시된 것처럼, 한 대의 차량(1)에 본 발명에 따른 하나의 센서 장치(2)가 장착된다. 센서 장치(2)는 도면에 라인으로 표시된 검출 영역(3)에서의 상황들과 움직임들을 검출한다. 차량에 접근하는 사용자(4)는 차량 기능을 호출하기 위해 검출 영역(3) 내에서 운동 제스처를 실행할 가능성이 있다. 여기에 도시된 실시예에서는, 검출 장치(2)가 차량의 측부에, 예컨대 B 필러(B pillar) 내에 배치되어 있다. 그러나, 상기 유형의 검출 장치는 차량에서 원하는 다른 위치에, 특히 후방 영역 또는 전방 영역에도 배치될 수 있다.
도 2에는 검출 장치(2)의 구성부품들이 개략적으로 도시되어 있다. 본 도면에는 불명료한 도해를 방지하기 위해 차량(1)을 도시하지 않았다.
장치(2)는, 본 실시예에서 레이저 다이오드(11) 및 확장형 광학 수단(12)으로 형성된 광원(10)을 갖는다. 상기 광학 수단(12)이 빔 횡단면을 확장함에 따라, 사용자(4)가 진입하여 운동 제스처를 실행할 수 있는 검출 영역(3)이 더 넓게 형성된다. 여기서 상기 광학 수단은 예컨대 간단한 플라스틱 광학 수단, 예컨대 프레넬 렌즈(Fresnel lens)일 수 있다.
광원 옆에는 검출 어레이(20)가 배치되어, 검출 영역(3)의 방향으로 감지 영역과 정렬된다. 어레이(20)는 민감 픽셀들(sensitive pixel)의 열과 행을 포함하고, 본 예시에서 CCD 어레이로서 형성된다. 광원(10)뿐 아니라 어레이(20)도, 광원과 검출 장치의 클록 제어 및 시간 제어 작동을 가능하게 하는 제어 장치(30)와 결합된다. 광펄스를 방출하기 위해 광원이 구동되고, 검출을 위해 픽셀 어레이 장치가 구동되면 개별 픽셀들이 입사 광에너지를 적분한다. 마지막으로, 적분 이후에 존재하는 각 픽셀의 전하가 제어 장치에서 분석됨에 따라, 각 픽셀에 대해 적분 시간 동안 특징적인 검출값이 생성된다.
이처럼 광원(10)뿐 아니라 검출 장치(20)도 시간 조정 및 동기화되어 구동됨으로써, 검출 장치(20)의 각 픽셀에 대해 광전파 시간의 검출과 더불어 간격 검출이 가능하다. 정확한 기능에 대해서는 전술한 앞서 언급한 문헌들의 공개 내용, 특히 공지된 Time-of-flight 장치를 참조한다.
도 2에는, 광원(10)으로부터 방사되는 광의 일부가 사용자(4)의 손에 의해 산란되거나 반사되어 검출 장치(20)에 도달하는 경우가 예시로서 도시되어 있다. 실제로는 물론 광정보가 광을 산란시키거나 반사하는 지점으로부터만 방출되는 것이 아니라, 모든 가시 지점들로부터 수신된 전체 광에 걸쳐 적분이 실시된다. 주변 환경도 검출 성능에 기여할 것이다. 그런데 주변광이 광범위하게 배제될 수 있는 센서 장치의 알고리즘과 작동 방식이 공지되어 있다. 특히, 배경광을 배제하기 위해, 여러 번의 기록이 연달아 짧게, 그리고 가변 시간 파라미터들로써 실시될 수 있다. 배경의 영향을 없애기 위해, 이러한 검출은 특히 상이한 적분 시간들로 실시될 수 있다. 다시 말해, 예컨대 광펄스는 동일한 지속 시간동안 방출되긴 하나 적분 시간은 가변적이므로, 바경의 영향은 적분 시간에 대해 선형 관계를 갖는 반면, 광펄스로 인한 영향은 광펄스의 지속 시간 동안에만 존재한다.
제어 및 분석 장치(30)는 정보를 검출하여, 이 정보를 간격 정보 어레이로 환산한다. 그럼으로써 주변의 3D 맵이 조정될 수 있다. 수동 제어의 시간 순서에 의해 검출 영역(3)에서의 공간 변화와 객체 운동의 3D 정보가 검출될 수 있다. 예컨대 사용자(4) 손의 방향 전환이 검출될 수 있다. 제어 장치(30)와, 이 제어 장치를 통해 전체 검출 장치(2)가 자동차의 중앙 제어 장치(50)와 연결되어 있다. 운동 제스처의 인식은 한편으로는 제어 및 분석 장치(30) 내 라이브러리에 기초하여 실시될 수 있거나, 3D 공간 데이터의 시간 순서가 중앙 제어 장치(50)로 전달되어 그곳에서 분석될 수 있다. 마지막으로, 중앙 제어 장치(50)는 검출된 데이터에 따라 자동차의 기능 활성화, 예컨대 측창 강하 또는 도어 개방을 개시한다.
도 1에 도시된 것처럼, 작동 활성화를 수행할 수 있게 하기 위해, 사용자(4)가 검출 장치(2)의 검출 영역(3) 내로 진입해야 한다. 그러나, 차량은 작동 개시를 기다리는 동안 자신의 수명 대부분을 정지시킨다. 이 시간 동안, 차량의 전체 장치들의 전류 수요 또는 출력을 낮게 유지하는 것이 매우 중요하다.
도 3a, 3b, 3c에는, 본 발명에 따른 검출을 위해 Time-of-Flight 기법으로 작동 가능한 CCD 어레이의 개략도가 도시되어 있다. 본 예시에서 어레이는 8열 및 8행을 갖는 정방형 칩으로 형성된다. 이는 단지 하나의 명목값일 뿐, 실제로는 훨씬 더 높은 해상도가 가능하다. 다른 한편으로, 본 발명에 따른 제스처 검출을 구현하기 위해, 상기 유형의 칩이 세부 기록을 위한 광학 칩의 해상도를 가질 필요는 없다. 이미 1024개의 픽셀 수가 사용자 제스처의 차별화된 분석을 가능하게 하는데, 그 이유는 이 픽셀들 중 각 픽셀에 대해 반복된 거리 검출이 실행되어, 운동 프로파일이 시간상의 순서대로 검출되기 때문이다. 더 적은 픽셀 수로도 여전히 신뢰성 있는 제스처 검출이 가능하다.
도 3a에는 전체 픽셀들이 완전히 스위치-오프된, 다시 말해 비활성 상태에 있는 센서 어레이(20)의 상태가 도시되어 있다. 상기 유형의 픽셀 필드로는 운동 인식 또는 제스처 인식이 불가능하다. 이러한 상태는, 차량이 예컨대 완전히 정지되는 경우, 혹은 예컨대 수일간 차량으로의 접근이 없었던 경우에 취해진다.
도 3b에는 본 발명에 따른 제1 작동 모드인 휴지 모드에 있는 차량 상태가 도시되어 있다. 픽셀 어레이는, 제1 그룹의 능동 픽셀들이 픽셀 어레이의 외측 프레임을 점유하도록 스위칭된다. 픽셀의 내부 필드는 전류 공급 없이 상기 작동 모드로 유지된다. 외측 프레임의 빗금 표시된 픽셀은 제1 클록 주파수, 예컨대 10Hz로 조회된다. 픽셀 수가 감소함에 따라 해상도 및 검출 정확도의 감소도 수반되기 때문에, 공급 데이터는 덜 세부적이다. 즉, 상기 작동 모드에서는 본 예시에 도시된 64개 픽셀 대신 28개 픽셀만이 작동되고, 이들 픽셀은 경우에 따라 더 작은 조회 주파수로 작동된다. 본 발명에 따라, 본 실시예에서는 상기 작동 모드에 대한 고유 분석 스키마가 제공된다. 일반적으로, 이러한 분석은 패턴 스키마와의 매칭을 통해, 그리고/또는 예컨대 뉴런 네트워크(neuron network)를 통해서도 수행될 수 있다. 다시 말해, 예컨대 제어 장치(30)에는, 이러한 축소된 픽셀 그룹을 이용한 검출과 분석을 가능하게 하는 신호 패턴이 저장된다. 예컨대 시간에 따른 신호 시퀀스에 대해 저장된 이러한 패턴 라이브러리는 인체의 스키마를 검출하는 데 그 목적이 맞춰질 수 있다. 상기 작동 모드에서 정밀한 제스처 검출은 불가하지만, 본 실시예에서는 사람의 접근이 다른 몸체, 예컨대 동물 또는 그 외 객체의 접근과는 구분될 수 있다.
대안으로서, 훨씬 더 간단한 분석 스키마도 이용될 수 있다. 예컨대 임의의 객체의 접근을 지시하는 일시적인 신호 변화가 능동 모드로의 전환에 이용될 수 있다. 능동 픽셀 신호들의 평균값을 이용하는 것, 그리고 사전 설정된 시간 이내에 하나의 임계값만큼의 값들의 일시적 변화를 트리거로서 이용하는 것도 간단한 방법 중 하나일 수 있다.
도 3b에서 픽셀의 활성화 스키마에 따른 축소된 수의 픽셀을 이용한 검출이, 검출 영역 내로 사람이 진입하였음을 가리키는 경우, 제2 픽셀 그룹, 즉 센서 필드의 내부가 도 3c에 도시된 것처럼 추가로 스위칭된다. 이제 제스처 인식을 위해 완전 해상도에 의한 검출이 제공된다. 그에 따라, 출력이 더 많이 소모되는 이러한 모드(능동 모드)는, 사전 분석이 활성화 조건들을 충족시킨 경우에 활성화된다.
소정의 시간 프레임 이내에 제스처 제어가 검출되지 않은 상태에서 객체가 다시 검출 영역에서 멀어지면, 상기 장치는 전류 소비가 감소하는 제1 검출 모드로 복귀한다.
활성화 조회 자체가 차후의 민감하고 세부적인 실제 분석과 동일한 센서 필드에 걸쳐 실시되는지가 중요하다.
작동 모드 간의 변환은 제어 장치(30)에 의해 검출된 정보를 토대로 수행된다. 물론 제어 장치(30)에도 차량 중앙 장치(50)로부터 다른 차량 파라미터의 변경을 지시하는 신호가 제공될 수 있다. 예컨대, 사용자에 의한 원격 제어 장치의 작동 시 특정 시간 동안 전체 센서의 활성화가 수행될 수 있다. 또한, 예컨대 차량 잠금이 실시되는 경우, 목적에 맞게 전류 절약 모드로 변경될 수 있다.
도 3a 내지 도 3c에 도시된 픽셀 검출을 위한 활성화 스키마는 예시일 뿐이다. 픽셀 프레임 대신 행별 또는 섹터별 활성화도 실시될 수 있다. 또한, 검출 유닛들의 균일하고 활용도를 보장하기 위해 교번 픽셀 필드들을 활성화할 수 있다. 이러한 섹터들 또는 픽셀 그룹들은 주기적으로 활성화될 수 있다.
본 발명에서 중요한 점은, 차량으로의 접근을 검출하기 위한 3D 검출 장치의 픽셀 필드들이, 검출 인식 및 활성화 인식을 위해 전류 감소 모드를 가능하게 하는 그룹별로 구동될 수 있는 점이다.

Claims (6)

  1. 광원(10)과 검출 장치(20)를 구비한 자동차(1)용 센서 장치(2)이며,
    상기 검출 장치는 광학 픽셀 어레이로 형성되고,
    광원(10)과 검출 장치(20)는, 광펄스를 송출하기 위해 광원(10)을 구동하고 검출을 위해 검출 장치를 구동하며 검출 장치(20)의 검출된 신호를 분석하는 제어 및 분석 장치(30)에 연결되며,
    제어 및 분석 장치(30), 검출 장치(20), 및 광원(10)이 "ToF(Time of Flight)" 카메라로서 상호 작용함으로써, 공간 거리 데이터가 검출되는, 자동차용 센서 장치에 있어서,
    제어 및 분석 장치(30)는 검출 장치(20)의 상이한 픽셀 그룹을 위한 복수의 구동 스키마를 가지며,
    이때, 제1 구동 스키마(휴지 모드)는 제1 픽셀 그룹으로서의 픽셀 부분량을 구동하여 분석하고,
    제2 구동 스키마(능동 스키마)는 제2 픽셀 그룹으로서의 더 많은 양의 픽셀들을 구동하여 분석하며,
    상기 제어 및 분석 장치는 제1 구동 스키마에 따른 분석 결과를 토대로 제2 구동 스키마에 따른 구동으로 전환하는 것을 특징으로 하는, 자동차용 센서 장치(2).
  2. 제1항에 있어서, 제2 픽셀 그룹이 제1 픽셀 그룹을 포함하는, 자동차용 센서 장치.
  3. 제1항 또는 제2항에 있어서, 광학 픽셀 어레이는 하나의 평면 내에서 연장되고, 이때 제1 픽셀 그룹은 상기 어레이의 외측 픽셀들로 형성되는, 자동차용 센서 장치.
  4. 제1항 또는 제2항에 있어서, 광학 픽셀 어레이는 하나의 평면 내에서 연장되고, 이때 선택적으로 제어 및 분석 장치에 의해 구동될 수 있는 복수의 제1 픽셀 그룹들이 구동될 수 있음으로써, 제1 구동 스키마에 따라 변동하는, 검출 장치의 픽셀들의 부분량이 활성화되는, 자동차용 센서 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 제1 구동 스키마에 따라 구동이 제1 검출 주파수(f1)로 반복 실시되고, 제2 구동 스키마에 따라서는 상기 구동이 더 높은 제2 검출 주파수(f2)로 반복 실시되는, 자동차용 센서 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 제1 구동 스키마에 따른 구동 시 제어 및 분석 장치는 검출 장치의 데이터를 분석하기 위해 관련된 제1 분석 스키마를 이용하고, 제2 구동 스키마에 따른 구동 시에는 제어 및 분석 장치가 검출 장치의 데이터를 분석하기 위해 관련된 제2 분석 스키마를 이용하는, 자동차용 센서 장치.
KR1020157022076A 2013-01-18 2014-01-07 차량에서 조작자의 제스처를 검출하기 위한 센서 장치 KR102212940B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013100521.7 2013-01-18
DE102013100521.7A DE102013100521A1 (de) 2013-01-18 2013-01-18 Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
PCT/EP2014/050106 WO2014111286A1 (de) 2013-01-18 2014-01-07 Sensoranordnung zur erfassung von bediengesten an fahrzeugen

Publications (2)

Publication Number Publication Date
KR20150136054A true KR20150136054A (ko) 2015-12-04
KR102212940B1 KR102212940B1 (ko) 2021-02-04

Family

ID=49955327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157022076A KR102212940B1 (ko) 2013-01-18 2014-01-07 차량에서 조작자의 제스처를 검출하기 위한 센서 장치

Country Status (6)

Country Link
US (1) US20150355707A1 (ko)
EP (1) EP2946227B1 (ko)
KR (1) KR102212940B1 (ko)
CN (1) CN104919333B (ko)
DE (1) DE102013100521A1 (ko)
WO (1) WO2014111286A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170068829A (ko) * 2015-12-10 2017-06-20 현대모비스 주식회사 제스쳐 인식 시 손가락 포인트 보정 방법 및 그 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
DE102015207768B4 (de) * 2015-04-28 2020-03-12 Volkswagen Aktiengesellschaft Verbesserte Gestenerkennung für ein Fahrzeug
DE102016201704A1 (de) * 2016-02-04 2017-08-10 Bayerische Motoren Werke Aktiengesellschaft Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges
DE102016120016A1 (de) 2016-10-20 2018-04-26 Aquis Sanitär AG Überwachungsvorrichtung für eine sanitäre Anlage
DE102017200710A1 (de) * 2017-01-18 2018-07-19 Bayerische Motoren Werke Aktiengesellschaft Sensorvorrichtung und Verfahren zum Betreiben eines Sensorsystems eines Fahrzeugs
CN109804308B (zh) * 2017-08-25 2023-03-07 深圳市汇顶科技股份有限公司 一种可形成电位能梯度的感光元件
ES2974313T3 (es) * 2017-09-20 2024-06-26 Essity Hygiene & Health Ab Un dispensador para suministrar un producto higiénico y un método para operar el mismo
DE202018103537U1 (de) * 2018-06-22 2019-10-02 Leuze Electronic Gmbh + Co. Kg Optischer Sensor
DE102018212309A1 (de) * 2018-07-24 2020-01-30 BSH Hausgeräte GmbH Verfahren und Benutzerschnittstelle zur Steuerung eines Geräts
DE102019114854B4 (de) * 2019-06-03 2021-06-24 Pilz Gmbh & Co. Kg Vorrichtung und Verfahren zur energieeffizienten Ausführung einer Sicherheitsfunktion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434271B1 (en) * 1998-02-06 2002-08-13 Compaq Computer Corporation Technique for locating objects within an image
US20060219861A1 (en) * 2005-03-30 2006-10-05 Honeywell International Inc. Low-power surveillance sensor
US20110295469A1 (en) * 2007-01-11 2011-12-01 Canesta, Inc. Contactless obstacle detection for power doors and the like

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10147807A1 (de) * 2001-09-27 2003-04-24 Conti Temic Microelectronic Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen
CN101055193A (zh) * 2006-04-12 2007-10-17 株式会社日立制作所 车载装置的非接触输入操作装置
EP1927867B1 (de) * 2006-12-02 2012-04-04 Sick Ag Optoelektronischer Mehrebenensensor und Verfahren zur Erfassung von Objekten
DE102007014034B3 (de) 2007-03-23 2008-09-25 Continental Automotive Gmbh Optischer Sensorchip und Einklemmschutzvorrichtung mit einem solchen
US8091280B2 (en) 2007-06-01 2012-01-10 GM Global Technology Operations LLC Arms full vehicle closure activation apparatus and method
EP2314427B8 (de) * 2009-10-23 2016-08-31 First Sensor Mobility GmbH Verfahren und Vorrichtung zur Steuerung von elektrischen Geräten mittels Bewegungsdetektion
DE102010056171A1 (de) 2010-12-24 2012-06-28 Volkswagen Ag Verfahren zum automatischen Betätigen eines Schließelements eines Fahrzeugs sowie entsprechende Vorrichtung und Fahrzeug
DE102011089195A1 (de) 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434271B1 (en) * 1998-02-06 2002-08-13 Compaq Computer Corporation Technique for locating objects within an image
US20060219861A1 (en) * 2005-03-30 2006-10-05 Honeywell International Inc. Low-power surveillance sensor
US20110295469A1 (en) * 2007-01-11 2011-12-01 Canesta, Inc. Contactless obstacle detection for power doors and the like

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170068829A (ko) * 2015-12-10 2017-06-20 현대모비스 주식회사 제스쳐 인식 시 손가락 포인트 보정 방법 및 그 장치

Also Published As

Publication number Publication date
DE102013100521A1 (de) 2014-07-24
KR102212940B1 (ko) 2021-02-04
WO2014111286A1 (de) 2014-07-24
CN104919333A (zh) 2015-09-16
EP2946227A1 (de) 2015-11-25
US20150355707A1 (en) 2015-12-10
EP2946227B1 (de) 2018-05-23
CN104919333B (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
KR102212940B1 (ko) 차량에서 조작자의 제스처를 검출하기 위한 센서 장치
KR102185146B1 (ko) 차량에서 조작자의 제스처를 검출하기 위한 범용 센서 장치
US11172126B2 (en) Methods for reducing power consumption of a 3D image capture system
US10795004B2 (en) Distance measurement apparatus
US10656275B1 (en) Remote sensing for detection and ranging of objects
US11143749B2 (en) Object detection system and method
US10445896B1 (en) Systems and methods for determining object range
US10609285B2 (en) Power consumption in motion-capture systems
US8823951B2 (en) 3D optical detection system and method for a mobile storage system
US20130211672A1 (en) Time-of-flight camera for a motor vehicle, motor vehicle and method for operating a time-of-flight camera
US10242262B2 (en) Dynamic adjustment of imaging parameters
CN106061805B (zh) 装配模块
CN104919332A (zh) 具有运动识别的光飞行时间照相机
US8433445B2 (en) Methods for controlling electrical devices using motion detection
CN111538020A (zh) 含对应于适应性柱条宽度的子区的基于直方图的信号检测
EP3112902A1 (en) Sensor, sensor system and method of finding range
CN113614564B (zh) 一种探测控制方法及装置
US10475310B1 (en) Operation method for security monitoring system
US20220003865A1 (en) Optical ranging system having multi-mode operation using short and long pulses
RU2011137742A (ru) Способ распознавания цели и устройство для его осуществления
CN113574410A (zh) 自主导航系统的动态控制和配置
EP2182499A1 (en) Method of detecting the presence of a person

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant