KR101946746B1 - 차량에서 비-차량 오브젝트의 위치 결정 - Google Patents

차량에서 비-차량 오브젝트의 위치 결정 Download PDF

Info

Publication number
KR101946746B1
KR101946746B1 KR1020177023069A KR20177023069A KR101946746B1 KR 101946746 B1 KR101946746 B1 KR 101946746B1 KR 1020177023069 A KR1020177023069 A KR 1020177023069A KR 20177023069 A KR20177023069 A KR 20177023069A KR 101946746 B1 KR101946746 B1 KR 101946746B1
Authority
KR
South Korea
Prior art keywords
vehicle
depth map
operating element
determining
detection device
Prior art date
Application number
KR1020177023069A
Other languages
English (en)
Other versions
KR20170105093A (ko
Inventor
볼프강 타이머
클라우스 마이어링
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20170105093A publication Critical patent/KR20170105093A/ko
Application granted granted Critical
Publication of KR101946746B1 publication Critical patent/KR101946746B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

본 발명은 차량(10)에서 비-차량 오브젝트의 위치를 결정하는 방법에 관한 것이다. 상기 방법에서 검출 장치(11)에 의해 기준 깊이 맵이 검출된다. 상기 기준 깊이 맵은, 상기 비-차량 오브젝트가 상기 검출 영역(13) 내에 위치하지 않는 동안, 상기 검출 영역(13)의 이미지 포인트에 대해 각각 상기 검출 장치(11)와 상기 각각의 이미지 포인트의 표면 사이의 거리 정보를 나타낸다. 또한 비-차량 오브젝트가 상기 검출 영역(13) 내에 위치하고 있는 동안, 상기 검출 장치(11)에 의해 현재 깊이 맵이 검출된다. 상기 검출 영역(13)의 이미지 포인트에 대한 깊이 차이가 결정되고, 상기 깊이 차이에 따라 상기 비-차량 오브젝트의 위치가 결정된다.

Description

차량에서 비-차량 오브젝트의 위치 결정
본 발명은 차량에서 비-차량 오브젝트의 위치 결정을 위한 방법, 특히 차량 탑승자, 차량 탑승자의 신체 일부 또는 차량에서 고정 장착되지 않은 추가 오브젝트의 위치 및 이에 상응하는 위치 결정 장치에 관한 것이다. 본 발명은 특히 비-차량 오브젝트의 위치에 기초하여 차량 내에서 조작 엘리먼트에 관한 추가 정보의 생성 및 출력에 관한 것이다.
기술 장비의 기능은 점점 복잡해지고 있고, 이러한 장비의 입력과 이러한 장비의 동작 사이의 관계는 부분적으로는 이해하기가 쉽지 않다. 예를 들어 이는 차량, 예를 들면 승용차 또는 트럭에 장착된 기술적 장비에도 관련된다. 이러한 기술적 장비의 조작 설명서는 따라서 점점 광범위해지고 있고, 예를 들어 차량의 정보 시스템에 집중적으로, 예를 들어 소위 헤드 유닛(Head-Unit)을 통해 저장될 수 있고, 차량의 사용자에 의해 호출될 수 있다. 한편, 알려지지 않은 대상을 접촉하고 잡고 그리고 그 구조를 조사함으로써, 그 알려지지 않은 대상을 탐색하는 것은 자연스러운 인간적인 행동이다. 이를 지원하기 위해, 상응하는 센서를 이용하여 기술적 장비와 사용자의 상호 작용이 검출될 수 있다. 예를 들어 차량에서 복수의 이와 같은 기술적 장비 및 상응하는 조작 엘리먼트가 제공되면, 사용자와의 상호 작용을 검출하기 위해, 각각의 기술적 장치 또는 각각의 제어 장치에 대해 상응하는 센서가 요구된다.
이와 관련해서 DE 10 2011 089 195 A1호에 차량 내부에 배치되고 광학 검출 유닛을 포함하는, 대상 및/또는 사람 및 이들에 의해 실행되는 제스처 및/또는 조작 과정의 비접촉 검출을 위한 장치가 개시된다. 광학 검출 유닛에 의해 대상 및/또는 사람 및/또는 이들에 의해 실행되는 제스처가 3차원적으로 검출될 수 있다. 따라서 예를 들어 차량에서 디스플레이 유닛의 가상의 작동에 상응하는, 예를 들어 차량 운전자의 손 또는 손가락의 움직임이 3차원적으로 검출된다.
DE 11 2008 001 396 T5호는 발성된 음성을 인식하고 인식 결과를 출력하는 음성 제어 유닛 및 공간 내부에서 수행된 움직임을 인식하고 인식 결과를 출력하는 공간적 제어 유닛을 포함하는 차량 작동 장치에 관한 것이다. 제어 유닛이 예를 들어 음성 인식 유닛으로부터 전송된 음성 제어 인식 결과에 따라 디스플레이 유닛에 차량 제어 장치의 작동을 위한 메뉴를 디스플레이하고, 이미지 인식 유닛으로부터 전송된 공간적 제어 인식 결과를 이용하여 메뉴로부터 선택된 대상의 처리를 수행한다.
EP 2 762 345 A2호는 조작자의 편향을 감소시키는 차량의 장치 및 시스템의 작동 방법에 관한 것이다. 제스처 인식 패드가 조작 명령을 수신하기 위해 그리고 조작 명령을 컴퓨터 제어 시스템에 송신하기 위해 제공된다. 피드백 장치가 컴퓨터 제어 시스템에 연결되고, 제스처 인식 패드가 조작 명령을 수신했다는 것을 차량 조작자에게 확인하기 위해 피드백 신호를 생성한다.
EP 2 118 722 B1호는 3차원적 이미지 스트림으로부터 식별되고 문서의 제어를 트리거하는 사용자의 행동 패턴에 기초한 문서의 자동 생성, 재기록 및 편집에 관한 것이다.
DE 10 2004 038 965 A1호는 사전 설정된 전환 동작에 관한 정보를 획득하기 위해, 이미지 픽업 수단에 의해 기록되는 이미지에 기초하여 손 이미지 및/또는 손의 손가락의 움직임이 검출되는 고정된 이미지 기록 영역에 배치된 원위 아암의 이미지를 기록하기 위한 수단을 포함하는 핸드 이미지 전환 장치에 관한 것이다. 운전자의 손 이미지를 통해 또는 손바닥 움직임을 통해 지정된, 전환 동작과 상관된 정보는 예를 들어 오디오 시스템, 에어컨 등에 출력될 수 있다.
본 발명의 과제는 특히 차량에서 비용 효율적인 방법으로 복잡한 기술적 장비의 직관적인 조작을 제공하고 지원하는 것이다.
상기 과제는 본 발명에 따라 청구항 제1항에 따른 차량에서 비-차량 오브젝트의 위치를 결정하는 방법, 청구항 제12항에 따른 위치 결정 장치 및 청구항 제14항에 따른 차량을 통해 달성된다. 종속항은 본 발명의 바람직하고 유리한 실시예를 정의한다.
본 발명에 따르면 차량에서 비-차량 오브젝트의 위치를 결정하는 방법이 제공된다. 비-차량 오브젝트는 특히 예를 들어 차량 탑승자, 차량 탑승자의 신체 일부 또는 차량에 고정 장착되지 않은 추가 오브젝트, 예를 들어 이동 단말 장치 또는 이동 무선 전화를 포함한다. 상기 방법에서는 검출 장치에 의해 기준 깊이 맵이 검출된다. 깊이 맵은 검출 장치의 검출 영역의 이미지 포인트에 대해 각각 검출 장치 및 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보를 나타낸다. 표면은 예를 들어 차량의 오브젝트의 표면을 포함할 수 있고, 예를 들어 대시 보드, 좌석, 조향휠 또는 센터 콘솔의 표면, 또는 위치가 결정될 비-차량 오브젝트의 표면, 즉 예를 들어 차량 탑승자, 차량 탑승자의 신체 일부 또는 차량에 고정 장착되지 않은 추가 오브젝트의 표면을 포함할 수 있다. 기준 깊이 맵은 비-차량 오브젝트가 검출 영역 내에 위치하지 않을 때, 각 이미지 포인트에 대한 각각의 거리 정보를 나타낸다. 검출 영역에는 바람직하게는 차량의 다양한 조작 엘리먼트가 존재한다. 따라서 기준 깊이 맵은 검출 영역의 3차원의 이미지 정보 그리고 특히 그 내에 존재하는 조작 엘리먼트를 제공한다. 기준 깊이 맵은 비-차량 오브젝트가 검출 영역 내에 위치하지 않을 때 검출되기 때문에, 거리 정보 및 3차원의 이미지 정보는 예를 들어 차량의 조작 엘리먼트와 같은 차량의 오브젝트에 관련되고, 차량 탑승자 또는 추가 오브젝트의 존재에 의해 영향을 받지 않는다. 기준 깊이 맵은 예를 들어, 차량이 잠겨 있고 검출 영역의 내부에 어떤 탑승자도 존재하지 않는다는 것을 시트 점유 센서가 나타날 때 또는 예를 들어 몇 분 동안의 보다 긴 시간 동안 깊이 맵이 변경되기 않은 경우에 검출될 수 있다. 상기 방법에서 또한 현재 깊이 맵이 검출 장치에 의해 검출된다. 현재 깊이 맵은 위치가 결정될 비-차량 오브젝트가 검출 영역 내에 위치할 때, 검출 영역의 이미지 포인트에 대해 각각 검출 장치와 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 현재의 거리 정보를 나타낸다. 상기 표면은 따라서 예를 들어 조작 엘리먼트와 같은 차량의 오브젝트의 표면을 포함할 수 있거나 또는 비-차량 오브젝트의 표면, 예를 들어 손 또는 팔을 검출 영역 내에서 이동시키는 차량 탑승자의 표면일 수 있다. 이제 검출 영역의 각 이미지 포인트에 대해 각각의 깊이 차이가 결정된다. 결정된 이미지 포인트에 대한 깊이 차이는 이미지 포인트 상에의 기준 깊이 맵의 거리 정보에 따라 그리고 이미지 포인트 상에의 현재 깊이 맵의 거리 정보에 따라 결정된다. 위치가 결정될 비-차량 오브젝트의 위치는 깊이 차이에 의해 결정된다. 실제로 예를 들어 차량 탑승자의 신체 일부 또는 추가 오브젝트에 의해 영향을 받지 않는 이미지 포인트는 현재 깊이 맵에서 그리고 기준 깊이 맵에서 실질적으로 동일한 거리 정보를 가진다. 그러나, 차량 탑승자의 신체 일부 또는 추가 오브젝트를 나타내는 이미지 포인트는 현재 깊이 맵에서 기준 깊이 맵과 다른 거리 정보를 갖는다. 따라서 간단한 방법으로 깊이 차이로부터 차량 탑승자의 신체 일부 또는 추가 오브젝트를 통해 영향을 받는 이미지 포인트가 결정될 수 있다. 따라서 탑승자의 신체 일부 또는 추가 오브젝트의 위치 또는 위치 변화가 간단한 방법으로 결정될 수 있다. 차량 탑승자의 신체 일부의 결정된 위치에 기초하여, 예를 들어 차량 탑승자의 손이 차량의 조작 엘리먼트에 접근하는지 또는 이를 접촉하는지가 결정될 수 있고, 조작 엘리먼트에 할당되는 상응하는 정보가 조작 엘리먼트의 조작을 단순화하거나 또는 보다 직관적으로 구성하기 위해 음향적 또는 광학적 방법으로 출력될 수 있다. 검출 영역은 예를 들어 차량의 앞 부분의 영역, 예를 들어 대시 보드, 조향휠, 센터 콘솔 및 차량의 문에 있는 팔걸이를 포함한다. 이를 통해 검출 영역 내에 배치된 복수의 조작 엘리먼트가 모니터링되고, 차량 탑승자가 각각의 조작 엘리먼트에 접근하거나 접촉함을 인식했을 때 상응하는 정보가 조작 엘리먼트에 출력될 수 있다.
실시예에 따르면, 비-차량 오브젝트의 위치에 대해, 비-차량 오브젝트가 차량 오브젝트의 표면에, 예를 들어 조작 장치에 근접하게 존재하는지가 결정된다. 이러한 결정은 평가 함수를 이용하여 비-차량 오브젝트의 이미지 포인트에 대해 깊이 차이가 처리됨으로써 이루어진다. 평가 함수는 깊이 차이가 제1 사전 설정된 임계값과 제2 사전 설정된 임계값 사이의 값을 포함할 때, 비-차량 오브젝트의 위치가 차량 오브젝트의 표면에 근접함을 나타낸다. 즉, 이미지 포인트가 차량 오브젝트의 포인트에 대해 최소 거리를 갖고 그리고 추가적으로 차량 오브젝트에 대한 거리가 너무 크지 않을 때에만, 비-차량 오브젝트가 적어도 부분적으로 나타내는 이미지 포인트가 차량의 오브젝트에 가깝게 인식된다. 깊이 맵에 노이즈가 있을 수 있기 때문에, 비-차량 오브젝트가 차량 오브젝트로부터 확실하게 구별될 수 있도록 차량 오브젝트의 포인트에 대한 최소 거리가 요구된다. 조작 엘리먼트의 표면에 대한 접근의 인식은 예를 들어 차량 탑승자가 조작 엘리먼트의 접촉 시, 또는 조작 엘리먼트의 접촉 전에 조작 엘리먼트의 조작에 대한 정보를 제공하도록 사용될 수 있다.
상기 방법의 다른 실시예에서 추가적으로 조작 엘리먼트의 접촉 또는 조작 엘리먼트에 대한 접근이 비-차량 오브젝트의 위치에 따라 결정되고, 조작 엘리먼트에 관련된 추가 정보가 결정된 접촉 또는 접근에 따라 생성되고 출력된다. 추가 정보는 예를 들어 조작 엘리먼트의 기능을 설명하는 보조 정보일 수 있다. 추가 정보는 예를 들어 헤드 업 디스플레이(Head-Up-Display)에, 차량용 인포테인먼트 시스템의 디스플레이에 또는 음향적으로 출력될 수 있다. 추가 정보는 특히 조작 엘리먼트에 의해 영향을 받을 수 있는 기능에 대한 정보를 포함할 수 있다. 또한 특히 추가적으로 차량의 작동 상태가 검출될 수 있고, 추가 정보가 추가적으로 차량의 작동 상태에 따라 생성될 수 있다. 차량에서 조작 엘리먼트의 장착을 위한 구조 공간은 제한되어 있지만 다른 한편으로는 차량에서 조작될 기능의 개수가 지속적으로 증가하기 때문에, 조작 엘리먼트에는, 차량의 다양한 작동 상태에서 조작 엘리먼트에 의해 조정될 수 있는 다양한 기능들이 종종 제공된다. 예를 들어 인포테인먼트 시스템의 상태에 따라 조작 엘리먼트가 선택적으로 오디오 출력의 음량 세기 또는 네비게이션 시스템의 맵 표현을 위한 줌 인자를 조정하기 위해 사용될 수 있다. 조작 엘리먼트의 각각의 유효한 기능이 조작 엘리먼트에 접근 시 이미 생성되고 출력됨으로써, 차량의 사용자에게 인포테인먼트 시스템의 조작이 용이해질 수 있다. 또한 이러한 조작 엘리먼트가 차량의 이전에 설정된 또는 현재의 상태에 따라 다양한 조작 기능을 포함할 수 있도록, 예를 들면 이미 접근 시에 상응하는 보조 정보에 이미 상세히 설명될 수 있다.
다른 실시예에서 조작 엘리먼트는 차량의 내부 공간 내의 부품의 표면의 부분 영역을 포함한다. 조작 엘리먼트는 예를 들어 실제의 조작 엘리먼트 또는 가상의 조작 엘리먼트를 포함할 수 있다. 가상의 조작 엘리먼트는 예를 들어 임의의 표면 상에 예를 들어 대시 보드 표면 상에 광학적 표시를 통해 표시될 수 있다. 부품의 표면은 추가적으로 접촉 감응성 센서와 연결될 수 있고, 접촉 감응성 센서에 의해 표면의 접촉이 검출되고, 표면의 접촉에 따라 조작 엘리먼트의 접촉이 추가적으로 결정된다. 이를 통해 예를 들어 복수의 가상 조작 엘리먼트가 예를 들어 대시 보드 상에 배치되고 공통의 접촉 감응성 센서로 대시 보드의 접촉이 검출될 수 있다. 어떤 가상의 조작 엘리먼트가 작동되고 있는지의 결정은 기준 깊이 맵 및 현재 깊이 맵에 기초하여 검출 장치를 사용하여 결정되고, 조작 엘리먼트의 실제 접촉은 접촉 감응성 센서를 사용하여 결정된다. 이를 통해 간단한 방법으로 다양한 조작 엘리먼트의 신뢰성 있는 작동이 구현될 수 있다. 조작 엘리먼트는 또한 예를 들어 대시 보드의 임의의 위치에 설치되는, 예를 들어 부착되는, 예를 들면 수동적인 실제 조작 엘리먼트를 포함할 수 있다. 수동적인 실제 조작 엘리먼트의 작동은 기준 깊이 맵 및 현재 깊이 맵에 따라 결정된다.
상기 방법의 또 다른 실시예에서 조작 엘리먼트와 접촉하는 차량 탑승자가 앉는 시트의 위치가 결정되고, 차량 탑승자가 앉는 시트의 위치에 따라 조작 엘리먼트에 할당된 기능이 조정된다. 예를 들어 시트, 시트 등받이를 조정하기 위한, 또는 시트 히터를 조정하기 위한 조작 엘리먼트가 사용될 수 있다. 추가적으로 작동하는 차량 탑승자가 앉는 위치가 결정됨으로써, 운전자 또는 동승자에 의해 조작 엘리먼트가 작동되는지에 따라, 조작 엘리먼트에 의해 운전석 또는 조수석이 선택적으로 조정될 수 있다.
다른 실시예에서 차량의 조향휠의 접촉이 차량 탑승자의 신체 일부을 통해 차량 탑승자의 신체 일부의 위치에 따라 결정되고, 조향휠의 접촉의 결정에 따라 경고 정보가 출력된다. 신체 일부의 위치는 여기서 전술된 바와 같이 비-차량 오브젝트로서 결정된다. 차량 탑승자가 조향휠을 접촉하는 그 방법 및 차량 탑승자가 조향휠을 접촉하는지 여부가 운전자의 주의를 결정하기 위해 평가될 수 있다. 운전자가 충분히 주의를 기울이지 않고 있다고 결정된 경우, 상응하는 경고가 출력될 수 있다.
실시예에 따르면, 비-차량 오브젝트의 위치에 따라, 예를 들어 차량 탑승자의 신체 일부 또는 추가 오브젝트의 위치에 따라, 차량 시트의 시트 점유가 결정되고, 시트에 관련된 차량의 장치가 결정된 시트 점유에 따라 제어된다. 예를 들어 시트를 사용되지 않거나 또는 예를 들어 좌석에 유아용 시트가 배치되는 경우, 에어백 전개가 방지될 수 있다.
다른 실시예에서 비-차량 오브젝트의 위치로서 예를 들어 차량 탑승자가 소지한 이동 단말 장치의 위치가 결정된다. 이동 단말 장치는 예를 들어 차량 탑승자의 손에 유지된다. 이동 단말 장치의 위치에 따라 차량의 액세스 포인트에서 이동 단말 장치의 등록 동작이 인에이블링된다. 보조 장치 또는 이동 단말 장치가 예를 들어 차량의 인포테인먼트 시스템의 헤드 유닛 전방의 미리 결정된 영역에 유지되는 경우, 예를 들어 이동 무선 전화와 같은 보조 장치의 인증이 가능해질 수 있다. 이를 통해, 인증되지 않은 장치가 불법적으로 차량의 액세스 포인트, 예를 들어 WLAN 액세스 포인트에 등록되는 경우를 회피할 수 있다.
본 발명에 따르면 또한 차량에서 비-차량 오브젝트의 위치를 결정하기 위한, 예를 들어 차량에 고정 장착되지 않은 차량 탑승자의 신체 일부 또는 추가 오브젝트의 위치를 결정하기 위한 위치 결정 장치가 제공된다. 위치 결정 장치는 깊이 맵을 검출하기 위한 검출 장치 그리고 검출 장치와 연결된 처리 장치를 포함한다. 깊이 맵은 검출 장치의 검출 영역의 이미지 포인트에 대해 각각 검출 장치와 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보를 나타낸다. 처리 장치는 위치가 차후에 결정될 비-차량 오브젝트가 검출 영역 내에 위치하지 않는 동안, 검출 장치의 검출 영역의 이미지 포인트에 대해 각각 검출 장치와 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보를 나타내는 기준 깊이 맵을 검출 장치에 의해 검출하도록 형성된다. 또한 처리 장치는 검출 장치에 의해 현재 깊이 맵을 검출할 수 있다. 현재 깊이 맵은 위치가 결정될 비-차량 오브젝트가 검출 영역 내에 위치하고 있는 동안, 검출 영역의 이미지 포인트에 대해 각각 검출 장치와 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보를 나타낸다. 검출 영역의 이미지 포인트에 대해 처리 장치는 각각 깊이 차이를 결정한다. 이미지 포인트에 대한 깊이 차이는 이미지 포인트에서의 기준 깊이 맵의 거리 정보 및 이미지 포인트에서의 현재 깊이 맵의 거리 정보에 따라 결정된다. 마지막으로 깊이 차이에 따라 비-차량 오브젝트의 위치가 결정된다. 위치 결정 장치는 따라서 전술한 방법의 수행을 위해 적합하고, 따라서 상기 방법들과 관련하여 전술한 장점을 또한 포함한다.
실시예에서, 위치 결정 장치의 검출 장치는 포토닉 믹싱 디바이스(photonic mixing device) 또는 TOF(time-of-flight) 카메라를 포함한다. 포토닉 믹싱 디바이스 또는 TOF 카메라는 주변의 이미지뿐만 아니라 검출 장치의 시야로부터의 평면도 및 검출 장치와 이미지의 각 이미지 포인트 사이의 거리 정보도 제공할 수 있다. 따라서 포토닉 믹싱 디바이스 또는 TOF 카메라를 이용해 간단한 방법으로 검출 영역의 3차원의 이미지 정보가 제공될 수 있다.
본 발명에 따르면 상기 전술된 위치 결정 장치를 구비한 차량이 또한 제공된다. 위치 결정 장치의 검출 장치는 예를 들어 차량의 내부 백미러에 인접하게 배치된다. 차량의 백미러 영역에 이와 같이 배치함으로써 검출 장치는 차량의 전방 부분의 넓은 영역을 모니터링할 수 있고, 상기 영역에서 차량 탑승자의 동작을 검출할 수 있다. 특히 검출 장치는 적어도 예를 들어 차량의 대시 보드, 센터 콘솔, 조향휠, 차량 시트 및/또는 변속 레버의 표면의 일부를 검출할 수 있다. 이를 통해 상기 영역에 배치된 복수의 조작 엘리먼트가 모니터링될 수 있고, 조작 엘리먼트 중 하나에 사용자가 접근할 때 조작 엘리먼트에 대한 추가적인 정보가 출력될 수 있다. 대안적으로 검출 장치는 차량의 지붕 또는 차량의 내부 조명에도 또한 장착될 수 있다.
본 발명은 또한, 차량의 조작 엘리먼트에 대한 추가적인 정보의 생성 및 출력을 위한 방법에 관한 것이다. 상기 방법에서 차량 내의 3차원의 이미지 정보가 검출되고, 차량에서 차량 탑승자의 신체 일부 또는 비-차량 오브젝트의 위치가 3차원의 이미지 정보에 따라 결정된다. 이미지 정보는 예를 들어 3차원의 이미지의 검출을 위해 중심에 배치된 검출 장치, 예를 들어 포토닉 믹싱 디바이스 또는 TOF 카메라에 의해 검출될 수 있다. 상기 방법에서 또한 조작 엘리먼트의 접촉 또는 조작 엘리먼트에의 접근이 신체 일부 또는 비-차량 오브젝트의 위치에 따라 결정되고, 조작 엘리먼트에 대한 추가적인 정보가 결정된 접촉 또는 접근에 따라 생성되고 출력된다. 예를 들어 추가적인 정보는 조작 엘리먼트의 조작을 위한 보조 정보 또는 차량의 상태에 따라 변경될 수 있는 현재 할당된 기능에 관련될 수 있다. 이를 통해 차량에서 조작 엘리먼트의 조작이 차량 탑승자를 위해 직관적으로 형성될 수 있다.
상기 전술된 실시예는 서로 독립적으로 설명되었지만, 실시예는 임의적으로 서로 결합될 수 있다.
본 발명은 이하에서 도면을 참조하여 상세히 설명된다.
도 1은 본 발명의 실시예에 따른 차량을 개략적으로 도시한다.
도 2는 본 발명의 실시예에 따른 차량의 내부의 위치 결정 장치를 개략적으로 도시한다.
도 3은 본 발명의 실시예에 따른 방법의 방법 단계를 도시한다.
도 4는 본 발명의 실시예에 따른 검출 영역에서 오브젝트에 대한 영역의 할당을 개략적으로 도시한다.
도 5는 본 발명의 실시예에 따른 신체 일부의 위치 결정을 위한 평가 함수를 도시한다.
도 1은 차량(10) 내의 비-차량 오브젝트의 위치, 예를 들어 차량 탑승자의 신체 일부의 위치를 결정하기 위한 위치 결정 장치를 구비한 차량(10)을 도시한다. 위치 결정 장치는 검출 장치(11) 및 처리 장치(12)를 포함한다. 검출 장치(11)는 검출 영역(13)의 이미지 포인트에 대해 각각 검출 장치(11)와 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보를 나타내는 깊이 맵을 검출할 수 있다. 각각의 이미지 포인트에서의 오브젝트는 예를 들어 대시 보드와 같은 차량의 오브젝트 또는 예를 들어 차량 탑승자 또는 이동 단말 장치 등과 같은 차량에 속하지 않은 오브젝트일 수 있다. 도 2는 차량(10)의 내부를 도시한다. 검출 장치(11)는 차량(10)의 내부 백미러(14)의 영역에 배치된다. 검출 장치(11)는 예를 들어 검출 영역(13)의 3차원의 이미지 정보를 준비할 수 있는 TOF 카메라, 소위 포토닉 믹싱 디바이스를 포함한다. 검출 영역(13)은 도 2에 도시된 바와 같이, 차량(10)의 전방 영역에 예를 들어 운전석(15), 조수석(16), 변속 레버(17), 센터 콘솔(18), 조향휠(19) 및 대시 보드(20)와 같은 다양한 구성 요소들 그리고 변속 레버(17)의 영역 내에, 센터 콘솔(18) 내에, 조향휠(19) 상에 그리고 대시 보드(20) 상에 배치된 다양한 조작 엘리먼트를 포함한다. 또한 검출 영역(13)은 차량(10)의 프런트 도어의 도어 패널 부분을 포함할 수도 있고, 따라서 도어 패널 상에 배치된 조작 엘리먼트, 예를 들어 차량의 전기식 창문 리프트 또는 차량의 외부 미러 조정 장치를 제어하는 조작 엘리먼트를 또한 포함할 수도 있다.
차량 탑승자의 신체 일부의 위치, 예를 들어 차량 탑승자의 손가락 또는 손의 위치 또는 차량에서 보조 장치의 위치를 결정하기 위해, 검출 장치(11)와 연결된 처리 장치(12)로부터, 도 3을 참조하여 이하에서 설명될 방법(30)이 수행된다. 단계(31)에서 기준 깊이 맵이 빈 차량에서 검출 장치(11)를 이용하여 검출된다. 기준 깊이 맵은 검출 장치(11)의 검출 영역(13)의 각 이미지 포인트에 대해 각각 검출 장치와 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보가 나타난다. 기준 깊이 맵은 검출 영역(13)에 차량 탑승자가 존재하지 않는 동안 검출된다. 검출 장치(11)는 따라서 정지 상태에서 차량의 깊이 프로파일을 검출하고, 이를 통해 캘리브레이션이 이루어진다. 임의의 차량 모델에서 예를 들어 구조의 디자인 데이터를 통해 차량 내의 모든 기기와 조작 엘리먼트의 위치가 주어지고, 깊이 프로파일 영역으로 변환될 수 있다. 도 4는 4개의 오브젝트(41 내지 44)가 기입된 검출 영역(13)에 대한 오브젝트 맵(40)을 예시적으로 도시한다. 각 이미지 포인트(x, y)은 오브젝트 또는 배경에 할당된다. 오브젝트(41)의 이미지 포인트, 예를 들어 차량(10)의 조향휠(19)이 값(1)으로 할당된다. 오브젝트(42)의 이미지 포인트, 예를 들어 차량의 인포테인먼트 시스템의 터치 스크린이 값(2)으로 할당된다. 오브젝트(43, 44)의 이미지 포인트, 예를 들어 차량(10)의 센터 콘솔(18) 내 조작 엘리먼트가 값(3) 또는 값(4)으로 할당된다. 단계(31)에서 검출된 기준 깊이 맵은 빈 차량의 상태에 대해 각각 상응하는 오브젝트의 이미지 포인트에 대한 거리를 나타낸다. 단계(32)에서 현재 깊이 맵이 검출된다. 사용자가 차량에 들어가서 조작을 수행하는 즉시, 차량의 조작 엘리먼트를 접촉하기 위해 예를 들어 하나 또는 양 손을 이용한다. 이를 통해 검출 장치와 접촉된 오브젝트의 위치에서의 표면 사이의 거리 정보는 현재 깊이 맵에서 변경된다. 단계(33)에서 현재 깊이 맵과 기준 깊이 맵 사이의 깊이 차이가 결정되고, 이를 통해 단계(34)에서 차량 내의 탑승자의 신체 일부의 위치가 결정될 수 있다. 이러한 이미지 평가를 통해, 공간 내의 어떤 위치에서 손이 차량을 접촉하는지가 결정된다. 이로부터 차량 탑승자가 제어하거나 또는 작동하고자 하는 차량의 조작 엘리먼트 또는 부분 시스템이 결정될 수 있다. 단계(35)에서 조작 엘리먼트에 대한 접근 또는 접촉이 결정되고, 그에 따라 조작 엘리먼트에 관련된 추가 정보가 단계(36)에서 생성되고 출력된다.
어떤 위치에서 탑승자가 차량 표면 또는 조작 엘리먼트 표면에 접촉하는지 또는 접근하는지에 대한 정보는 다양한 용도로 사용될 수 있다. 예를 들어 사용자가 아직 조작에 익숙하지 않아 도움을 필요로 한다면, 그에게 낯선 조작 엘리먼트를 손으로 접촉하는 것으로 충분할 수 있다. 낯선 조작 엘리먼트에 대략 더 오래동안 머무는 것에 의해 예를 들어 차량 모니터, 연결된 이동 단말 장치 또는 비디오 안경에 해당 도움 텍스트 또는 도움 픽토그램이 표시되는 도움 기능이 활성화될 수 있다. 이러한 도움 기능의 활성화를 위해 예를 들어 추가적으로 대시 보드 또는 차량의 헤드 유닛에 도움 버튼이 작동될 수 있다. 도움 상태가 필요하지 않은 정상적 또는 능숙한 작동 시, 조작 엘리먼트의 접촉에 의해 컨텍스트 관련 추가 정보가 표시되고, 이 추가 정보는 조작 엘리먼트가 해제될 때 다시 사라진다. 운전자가 예를 들어 변속 레버(17)를 잡으면, 차량 모니터 상에 동적으로, 예를 들어 현재 엔진 속도 또는 최적의 변속 동작에 대한 추가 정보가 표현될 수 있다. 헤드램프 스위치를 접촉하면 예를 들어 상세한 환경 정보가 운전자 보조 시스템으로부터 헤드 업 디스플레이로 페이드인되고, 운전자가 도로에서 시선을 떼지 않아도 된다. 또한 가상의 또는 실제의 조작 엘리먼트가 또한 자체적으로 차량에 정의될 수 있고, 아직 다른 기능이 할당되지 않은 대시 보드 내의 위치에 배치될 수 있다. 제어 시스템은 그 후에 사용자가 상기 위치에서 대시 보드를 접촉하고 이 3차원적 영역을 트리거할 동작과 연결시킴으로써 트레이닝될 수 있다. 대시 보드의 위치의 접촉은 위치 결정 장치에 의해 검출되어 제공된다. 대시 보드 상의 위치를 인식 가능하게 하기 위해, 예를 들어 수동적 기계적 조작 엘리먼트가 이 위치에서 대시 보드에 접착되거나 또는 스티커가 부착될 수 있다. 대시보드에 추가적으로 예를 들어 용량성, 저항성 또는 음향적으로 마이크로폰에 의해 작동되는, 예를 들어 접촉 감응성 센서가 장착될 수 있다. 접촉 감응성 센서는, 위치 결정 장치에 의해 접촉 위치가 제공되기 때문에, 로컬 해상도를 필요로 하지 않는 반면, 접촉 감응성 센서는 다만 접촉 시점을 결정하고 제공한다. 이를 통해 간단한 방식으로 복수의 실제 및 가상의 조작 엘리먼트가 구현될 수 있다.
3차원적 이미지 정보를 제공하고 이상적으로 타임 오브 플라이트 카메라(Time-of-flight camera), 소위 TOF 카메라인 검출 장치(11)는 내부 백미러(14)의 영역에서 하향으로 향하도록 장착되고, 바람직하게는 차량의 전체 폭 및 종방향으로는 운전자와 탑승자 사이의 영역을 대시 보드 위까지 포함하는 관찰 영역(13)을 갖는다. 이러한 장착 위치는 내부 백미러의 영역에 일반적으로 전원 공급이 이미 존재하고, 대시 보드, 조향휠 그리고 센터 콘솔의 영역이 검출될 수 있다는 장점을 갖는다. 카메라 원근법은 바람직하게는, 관련 오브젝트의 표면이 숨겨지지 않고 따라서 모든 관련 오브젝트의 표면이 검출 장치(11)에 의해 검출될 수 있도록 선택된다. 3차원적 이미지 정보의 사용 및 사용자 및 비-차량 오브젝트가 있는 상태의 검출 및 차량 및 비-차량 오브젝트가 없는 상태의 검출을 통해, 오브젝트의 접촉이 센서에 의해 결정된다. 다양한 오브젝트는 자체의 지능 및 전자 장치를 포함할 필요가 없다. 대안적으로 검출 영역(11)의 위치는 관찰되는 표면에 대해 가변적일 수 있는데, 예를 들어 검출 장치(11)는 사용자가 보유하는 비디오 안경에 통합될 수 있다. 이러한 경우, 검출 영역(13) 내의 표면에 대한 검출 장치(11)의 현재 위치는 도 3에 도시된 방법에 따라 반복해서 새롭게 결정되고, 따라서 예를 들어 표면과의 손 접촉이 결정될 수 있다.
위치 결정 장치를 이용한 차량 탑승자의 신체 일부의 위치 결정은 차량 내부 공간에서 다른 모니터링을 위해 사용될 수 있다. 예를 들면 운전자의 손을 통한 조향휠(19)의 접촉과 같은 움직임 및 파지 위치로부터 운전자 주의가 예를 들어 결정될 수 있고, 주의가 결여된 경우 상응하는 경고가 출력될 수 있다. 또한 예를 들어 시트가 비어있거나 또는 유아용 시트로 점유되어 있을 때, 예를 들어 에어백 전개를 시트 점유에 맞추기 위해, 차량의 시트에 있는 인원의 결정이 수행될 수 있다. 또한 예를 들어 이동 단말 장치가 차량 내부에서 정해진 위치에, 예를 들어 차량의 헤드 유닛의 디스플레이 영역에 존재하는 것으로 결정된 경우, 예를 들면 이도 무선 전화와 같은 이동 단말 장치의 자동 등록이 액세스 포인트에, 예를 들어 소위 WLAN-액세스 포인트에, 차량 내에서 자동적으로 수행될 수 있다. 즉, 예를 들어 차량의 정보 보안을 향상시키는 소위 이중 인증(two-factor authentication)이 수행될 수 있다. 예를 들어 스마트 폰에서 접촉을 통해 작동되는 동작은, 차량의 위치 결정 장치를 이용하여 동시에 스마트폰의 접촉 또는 상응하는 위치가 결정되었을 때에만 차량에서 허용된다.
도 3을 참조하여 앞서 설명된 검출 영역(13) 내의 3차원적 이미지 데이터의 평가는 이하에서 검출 장치(11)로서 사용되는 TOF 카메라와 관련되어 상세히 설명된다. TOF 카메라는 각 이미지 포인트에 대해 카메라 중심으로부터 주변의 이미지 포인트까지의 거리를 검출한다. 이로부터 3D 오브젝트의 깊이 맵 또는 거리 맵이 카메라에 의해 원근 투영법에 의해 계산된다. TOF 카메라는 예를 들어 적외광을 방출하고, 반사되는 광의 색 변화를 결정한다. 그러나 이러한 반사가 매우 약하기 때문에, 깊이 맵은 노이즈가 많고, 예를 들어 비선형 양방향 필터를 통해 평활화될 수 있다. 이러한 동작은 이하에서 설명될 계산 단계에 대해 가정된다.
이하에 수학적 설명을 위해 다음 변수가 도입된다:
zref(x, y)는 검출 영역(13)에 차량 탑승자 또는 비-차량 오브젝트가 존재하지 않을 때, 모든 이미지 포인트 또는 픽셀트(x, y)에 대한 기준 깊이 맵이다.
z(x, y)는 사용자 또는 비-차량 오브젝트가 존재할 경우의 현재 깊이 맵이다. 특히 기준 깊이 맵과 현재 깊이 맵이 구별되는 영역은 이미지 평가 및 분석에 관련된다.
o(x, y)는 사용자 상호 작용을 위해 평가되어야 하는 이미지의 오브젝트 영역을 나타낸다. 오브젝트가 존재하지 않을 때, o(x, y) = 0이고, 그곳에 오브젝트 i가 존재할 때, o(x, y) = i이다.
d(x, y)는 로컬 환경 U(x, y) 내의 각 이미지 포인트(x, y, z (x, y))에 대해 기준 맵(x', y', zref (x', y'))으로부터 가장 가까운 포인트를 찾아 그 유클리드 거리를 3차원 공간으로 제공하는 거리이다.
s(d)는 2개의 포인트의 유클리드 거리에 값을 할당하여, 2개의 포인트 근접성에 대한 관련성을 설명하기 위한 함수이다.
Si는 사용자가 오브젝트 i의 바로 근처에 존재하는 가설에 대한 전반적인 관련성이다. 오브젝트 i는 이미지의 오브젝트 영역 o(x, y)를 통해 그리고 오브젝트 영역의 영역 내의 기준 깊이 맵 zref(x, y)을 통해 모든 (x, y)에 대해 o(x, y) = i로 정의된다. 오브젝트는 불균일하게 범위가 정해질 수 있고, 단순히 일관적일 필요는 없다.
우선, 기준 깊이 맵 zref(x, y)이 사용자 없이 기록되고, 복수의 이미지에 대해 노이즈 감소를 위해 평균화된다. 사용자가 차량 내부에 들어가는 즉시, 현재 깊이 맵 z(x, y)이 검출되고, 등록된 오브젝트의 영역 내의 모든 이미지 포인트에 대해 다음 오브젝트 이미지 포인트에 대한 로컬 거리가 결정된다:
Figure 112017079770877-pct00001
깊이 맵에 노이즈가 있을 수 있기 때문에, 오브젝트의 포인트에 대한 최소 거리를 갖는 경우에만, 포인트가 오브젝트에 가까운 것으로 인식된다. 물론 오브젝트에 대한 거리가 너무 커서는 안 된다. 따라서 너무 작거나 또는 너무 큰 거리를 처벌하는 관련성 함수 s(d)가 사용된다. 도 5는 d0 이하의 거리 및 d2 이상의 거리를 완전히 버리고, d0 및 d1 사이의 거리를 최대로 평가하고, d1 및 d2 사이의 거리를 관련성이 떨어지는 것으로 평가하는 상응하는 거리 평가 관련성 함수를 도시한다. d0은 예를 들어 3 내지 10 ㎜의 수 밀리미터의 값을 가질 수 있고, d1은 10 내지 50 ㎜의 값을 그리고 d2는 20 내지 100 ㎜의 값을 갖는다.
사용자의 손이 오브젝트에 가깝게 존재한다는 증거는 오브젝트에 속하는 모든 이미지 포인트에 대해 합산되어, 오브젝트 전반적인 관련성 Si이 형성된다:
Figure 112017079770877-pct00002
에러 분류를 감소하기 위해, 전반적인 관련성은 시간적으로 저역 통과 필터로 필터링되고 따라서 평활화된다:
Figure 112017079770877-pct00003
여기서 n은 시간 단계를 나타낸다.
Figure 112017079770877-pct00004
가 오브젝트 특정 임계값 이상이며, 손은 오브젝트에 가까이에 있는 것으로 인식된다. 위치 결정 장치는 복수의 접촉 또는 접근을 검출할 수 있다. 그러므로 이는 "멀티 터치" 가능하고, 따라서, 오브젝트 및 그 범위가 개별적으로 평가되기 때문에, 복수의 오브젝트가 하나의 시간 단계에서 병렬로 인식될 수 있다.
10 : 차량 11 : 검출 장치
12 : 처리 장치 13 : 검출 영역
14 : 백미러 15 : 운전석
16 : 보조석 17 : 변속 레버
18 : 센터 콘솔 19 : 조향휠
20 : 대시 보드 30 : 방법
31-36 : 단계 40 : 오브젝트 맵
41-44 : 오브젝트

Claims (15)

  1. 차량에서 비-차량 오브젝트의 위치를 결정하는 방법에 있어서,
    상기 방법은,
    - 검출 장치(11)에 의해 기준 깊이 맵을 검출하는 단계 - 상기 기준 깊이 맵은, 상기 비-차량 오브젝트가 검출 영역(13) 내에 위치하지 않는 동안, 상기 검출 장치(11)의 상기 검출 영역(13)의 이미지 포인트에 대해 각각 상기 검출 장치(11)와 상기 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보를 나타냄 - ,
    - 상기 검출 장치(11)에 의해 현재 깊이 맵을 검출하는 단계 - 상기 현재 깊이 맵은, 상기 비-차량 오브젝트가 상기 검출 영역(13) 내에 위치하고 있는 동안, 상기 검출 영역(13)의 이미지 포인트에 대해 각각 상기 검출 장치(11)와 상기 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보를 나타냄 - ,
    - 상기 검출 영역(13)의 이미지 포인트에 대해 깊이 차이를 결정하는 단계 - 이미지 포인트에 대한 깊이 차이는 상기 이미지 포인트에서의 상기 기준 깊이 맵의 상기 거리 정보 및 상기 이미지 포인트에서의 상기 현재 깊이 맵의 상기 거리 정보에 따라 결정됨 - ,
    - 상기 깊이 차이에 따라 상기 비-차량 오브젝트의 상기 위치를 결정하는 단계,
    - 상기 비-차량 오브젝트의 상기 위치에 따라 조작 엘리먼트의 접촉 또는 조작 엘리먼트에 대한 접근을 결정하는 단계, 및
    - 상기 결정된 접촉 또는 접근에 따라 상기 조작 엘리먼트와 관련된 추가 정보를 생성하고 출력하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 비-차량 오브젝트의 위치는, 상기 비-차량 오브젝트의 이미지 포인트에 대한 깊이 차이가 평가 함수에 의해 처리됨으로써, 상기 차량의 오브젝트의 표면에 가까운 것으로 결정되고, 상기 깊이 차이가 제1 사전 설정된 임계값과 제2 사전 설정된 임계값 사이의 값을 가질 때, 상기 평가 함수는 상기 비-차량 오브젝트의 상기 위치가 상기 차량의 상기 오브젝트의 상기 표면에 가깝다는 것을 나타내는 것을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 추가 정보는 상기 조작 엘리먼트에 의해 영향을 받을 수 있는 기능에 대한 정보를 포함하는 것을 특징으로 하는 방법.
  4. 제1항 또는 제2항에 있어서, 상기 방법은,
    - 차량(10)의 작동 상태를 검출하는 단계, 및
    - 차량(10)의 상기 작동 상태에 따라 상기 추가 정보를 추가적으로 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제1항 또는 제2항에 있어서, 상기 조작 엘리먼트는 차량(10) 내부의 부품의 표면의 부분 영역을 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서, 상기 부품의 상기 표면은 접촉 민감성 센서와 연결되며,
    상기 방법은,
    - 상기 접촉 민감성 센서에 의해 상기 표면의 접촉을 검출하는 단계, 및
    - 상기 표면의 상기 접촉에 따라 상기 조작 엘리먼트의 상기 접촉을 추가적으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제1항 또는 제2항에 있어서, 상기 비-차량 오브젝트는 차량 탑승자이고,
    상기 방법은,
    - 상기 조작 엘리먼트에 접촉하는 상기 차량 탑승자가 앉는 시트(15, 16)의 위치를 결정하는 단계, 및
    - 상기 차량 탑승자가 앉는 상기 시트(15, 16)의 상기 위치에 따라 상기 조작 엘리먼트에 할당된 기능을 조정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 제1항 또는 제2항에 있어서, 상기 비-차량 오브젝트는 차량 탑승자의 신체 일부이고,
    상기 방법은,
    - 상기 차량 탑승자의 상기 신체 일부의 상기 위치에 따라 상기 차량 탑승자의 상기 신체 일부에 의한 차량(10)의 조향휠(19)의 접촉을 결정하는 단계, 및
    - 상기 조향휠(19)의 접촉을 결정하는 단계에 따라 경고 정보를 출력하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제1항 또는 제2항에 있어서, 상기 비-차량 오브젝트는 차량 탑승자이고,
    상기 방법은,
    - 상기 차량 탑승자의 상기 위치에 따라 차량(10)의 시트(15, 16)의 시트 점유를 결정하는 단계, 및
    - 상기 결정된 시트 점유에 따라 상기 시트(15, 16)에 관련되는 차량(10)의 장치를 제어하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제1항 또는 제2항에 있어서, 상기 비-차량 오브젝트는 이동 단말 장치이고,
    상기 방법은,
    - 상기 이동 단말 장치의 상기 위치에 따라 이동 단말 장치에 대한 상기 차량의 액세스 포인트에서 상기 이동 단말 장치의 등록 동작을 인에이블링하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 차량에서 비-차량 오브젝트의 위치를 결정하는 위치 결정 장치에 있어서,
    상기 위치 결정 장치는,
    - 깊이 맵을 검출하기 위한 검출 장치(11) - 상기 깊이 맵은 상기 검출 장치(11)의 검출 영역(13)의 이미지 포인트에 대해 각각 상기 검출 장치(11)와 상기 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보를 나타냄 - ,
    - 상기 검출 장치(11)와 연결된 처리 장치(12)를 포함하고,
    상기 처리 장치는,
    상기 검출 장치(11)에 의해 기준 깊이 맵을 검출하고 - 상기 기준 깊이 맵은, 상기 비-차량 오브젝트가 상기 검출 영역(13) 내에 위치하지 않는 동안, 상기 검출 장치(11)의 상기 검출 영역(13)의 이미지 포인트에 대해 각각 상기 검출 장치(11)와 상기 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보를 나타냄 - ,
    상기 검출 장치(11)에 의해 현재 깊이 맵을 검출하고 - 상기 현재 깊이 맵은, 상기 비-차량 오브젝트가 상기 검출 영역(13) 내에 위치하고 있는 동안, 상기 검출 영역(13)의 이미지 포인트에 대해 각각 상기 검출 장치(11)와 상기 각각의 이미지 포인트에서의 오브젝트의 표면 사이의 거리 정보를 나타냄 - ,
    상기 검출 영역(13)의 이미지 포인트에 대해 깊이 차이를 결정하고 - 이미지 포인트에 대한 깊이 차이는 상기 이미지 포인트에서의 상기 기준 깊이 맵의 상기 거리 정보 및 상기 이미지 포인트에서의 현재 깊이 맵의 상기 거리 정보에 따라 결정됨 - , 그리고
    상기 깊이 차이에 따라 상기 비-차량 오브젝트의 상기 위치를 결정하도록 구성되고,
    상기 처리 장치(12)는 또한,
    상기 비-차량 오브젝트의 상기 위치에 따라 조작 엘리먼트의 접촉 또는 조작 엘리먼트에 대한 접근을 결정하고,
    상기 결정된 접촉 또는 접근에 따라 상기 조작 엘리먼트와 관련된 추가 정보를 생성하고 출력하도록 구성되는 것인, 위치 결정 장치.
  12. 제11항에 있어서, 상기 검출 장치(11)는 포토닉 믹싱 디바이스(photonic mixing device) 또는 TOF 카메라(time-of-flight camera) 또는 양자 모두를 포함하는 것을 특징으로 하는 위치 결정 장치.
  13. 제11항 또는 제12항에 있어서, 상기 검출 장치(11)는 차량(10)의 내부 백미러(14)에 인접하게 배치되는 것을 특징으로 하는 위치 결정 장치.
  14. 제13항에 있어서, 상기 검출 장치(11)는 아래의 차량 부품 중 적어도 하나의 표면의 적어도 하나의 부분 영역을 검출하도록 구성되는 것을 특징으로 하는 위치 결정 장치.
    대시보드(20),
    센터 콘솔(18),
    조향휠(19),
    운전석(15), 및
    변속 레버(17).
  15. 삭제
KR1020177023069A 2015-02-04 2015-12-10 차량에서 비-차량 오브젝트의 위치 결정 KR101946746B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015201901.2A DE102015201901B4 (de) 2015-02-04 2015-02-04 Bestimmung einer Position eines fahrzeugfremden Objekts in einem Fahrzeug
DE102015201901.2 2015-02-04
PCT/EP2015/079210 WO2016124278A1 (de) 2015-02-04 2015-12-10 Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug

Publications (2)

Publication Number Publication Date
KR20170105093A KR20170105093A (ko) 2017-09-18
KR101946746B1 true KR101946746B1 (ko) 2019-02-11

Family

ID=54884012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177023069A KR101946746B1 (ko) 2015-02-04 2015-12-10 차량에서 비-차량 오브젝트의 위치 결정

Country Status (5)

Country Link
EP (1) EP3254172B1 (ko)
KR (1) KR101946746B1 (ko)
DE (1) DE102015201901B4 (ko)
ES (1) ES2902698T3 (ko)
WO (1) WO2016124278A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018204053A1 (de) * 2018-03-16 2019-09-19 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Verfahren zum Betrieb eines Innenraums eines Kraftfahrzeugs
DE102018130912A1 (de) * 2018-12-05 2020-06-10 Bayerische Motoren Werke Aktiengesellschaft System zur selektiven Formänderung eines Interieurbauteils eines Fahrzeugs
DE102019204481A1 (de) 2019-03-29 2020-10-01 Deere & Company System zur Erkennung einer Bedienabsicht an einer von Hand betätigbaren Bedieneinheit
US20220242313A1 (en) 2019-07-29 2022-08-04 Motherson Innovations Company Limited Interior rearview device with human machine interface and vehicle therewith
DE102021211215A1 (de) 2021-10-05 2023-04-06 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Verfahren zum Anlernen eines Systems zur Auslösung mindestens einer Funktion an einem Fahrzeug sowie Verfahren und System zur Auslösung mindestens einer Funktion an einem Fahrzeug

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286219B2 (ja) * 1997-09-11 2002-05-27 トヨタ自動車株式会社 座席の使用状況判定装置
KR100508277B1 (ko) * 1997-12-23 2005-08-17 지멘스 악티엔게젤샤프트 3차원 거리 측정 이미지를 기록하기 위한 방법 및 장치
DE19757595C2 (de) * 1997-12-23 2000-05-11 Siemens Ag Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
DE10063697B4 (de) * 2000-12-20 2006-07-13 Siemens Ag Verfahren und Vorrichtung zur Erfassung der Position eines Elements in einem Fahrzeug, insbesondere für Insassenschutzsysteme
JP3752246B2 (ja) 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
DE102006013645A1 (de) * 2006-03-24 2007-10-25 Volkswagen Ag Bedienelement für ein Kraftfahrzeug
US7877706B2 (en) 2007-01-12 2011-01-25 International Business Machines Corporation Controlling a document based on user behavioral signals detected from a 3D captured image stream
JP4942814B2 (ja) 2007-06-05 2012-05-30 三菱電機株式会社 車両用操作装置
DE102011089195A1 (de) 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen
DE102011112370A1 (de) 2011-09-02 2013-03-07 Audi Ag Kraftfahrzeug
DE102012218843A1 (de) 2012-10-16 2014-04-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
DE102013000080B4 (de) * 2013-01-08 2015-08-27 Audi Ag Aktivierung einer Kraftfahrzeugfunktion mittels eines optischen Sensors
DE102013000068A1 (de) * 2013-01-08 2014-07-10 Audi Ag Verfahren zum Synchronisieren von Anzeigeeinrichtungen eines Kraftfahrzeugs
CN103970459A (zh) 2013-01-30 2014-08-06 建兴电子科技股份有限公司 供交通工具使用的指令反馈系统及方法

Also Published As

Publication number Publication date
EP3254172B1 (de) 2021-12-08
DE102015201901A1 (de) 2016-08-04
KR20170105093A (ko) 2017-09-18
DE102015201901B4 (de) 2021-07-22
ES2902698T3 (es) 2022-03-29
EP3254172A1 (de) 2017-12-13
WO2016124278A1 (de) 2016-08-11

Similar Documents

Publication Publication Date Title
KR101946746B1 (ko) 차량에서 비-차량 오브젝트의 위치 결정
US11124118B2 (en) Vehicular display system with user input display
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
KR101677648B1 (ko) 차량 제어 장치 및 그 제어 방법
KR101367593B1 (ko) 쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법
JP2014518422A (ja) オブジェクト及び／又は人物及びそれによって行われ及び／又は実行されるジェスチャ及び／又は操作手順を非接触式に検出する装置及び方法
US20160193976A1 (en) Apparatus and method for assisting a user
US9104243B2 (en) Vehicle operation device
US9475390B2 (en) Method and device for providing a user interface in a vehicle
US20150367859A1 (en) Input device for a motor vehicle
CN110395182B (zh) 具有电子后视镜的机动车
GB2423808A (en) Gesture controlled system for controlling vehicle accessories
JP6515028B2 (ja) 車両用操作装置
KR102084032B1 (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
US20180239441A1 (en) Operation system
KR20160036242A (ko) 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
CN108136908B (zh) 用于在车辆中操作至少一个功能的方法和操作系统
KR102124410B1 (ko) 터치 감응형 디스플레이 장치의 조작 시 사용자를 지원하기 위한 장치, 이동 수단 및 방법
US20200401818A1 (en) Camera monitroing system for motor vehicles
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
JP4848997B2 (ja) 車載機器の誤操作防止装置および誤操作防止方法
JP4858206B2 (ja) 車載機器の操作支援装置、操作支援方法
US9073433B2 (en) Vehicle control system
US20180239424A1 (en) Operation system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant