KR101976497B1 - System and method for operating unit support of vehicle - Google Patents

System and method for operating unit support of vehicle Download PDF

Info

Publication number
KR101976497B1
KR101976497B1 KR1020130153470A KR20130153470A KR101976497B1 KR 101976497 B1 KR101976497 B1 KR 101976497B1 KR 1020130153470 A KR1020130153470 A KR 1020130153470A KR 20130153470 A KR20130153470 A KR 20130153470A KR 101976497 B1 KR101976497 B1 KR 101976497B1
Authority
KR
South Korea
Prior art keywords
operating system
hand
vehicle
coordinate
coordinates
Prior art date
Application number
KR1020130153470A
Other languages
Korean (ko)
Other versions
KR20150067926A (en
Inventor
김성운
Original Assignee
현대자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차 주식회사 filed Critical 현대자동차 주식회사
Priority to KR1020130153470A priority Critical patent/KR101976497B1/en
Publication of KR20150067926A publication Critical patent/KR20150067926A/en
Application granted granted Critical
Publication of KR101976497B1 publication Critical patent/KR101976497B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems

Abstract

차량용 조작계 보조 시스템 및 그 방법이 개시된다.
본 발명의 실시 예에 따른 차량용 조작계 보조 시스템은, 차량 내부를 촬영하여 영상을 획득하는 카메라부; 차량 내부의 좌표계를 저장하고 상기 카메라부에서 수신된 영상에서 손 좌표를 검출하는 영상 처리부; 상기 영상 처리부에서 검출된 상기 손 좌표와 차량 내 조작계 좌표간의 매칭여부를 통해 탑승자의 손과 조작계의 접촉 여부를 판단하는 조작계 선택 판단부; 및 상기 탑승자의 손과 상기 조작계가 접촉된 경우 상기 조작계의 동작을 가능하게 하고, 접촉되지 않은 경우 상기 조작계의 동작을 제한하는 제어부를 포함한다.A vehicular operating system auxiliary system and method thereof are disclosed.
The auxiliary system for a vehicle operating system according to an embodiment of the present invention includes a camera unit for photographing an inside of a vehicle and acquiring an image; An image processing unit for storing a coordinate system inside the vehicle and detecting hand coordinates in the image received by the camera unit; An operating system selection determining unit for determining whether or not the hand of the passenger is in contact with the operating system through the matching between the hand coordinates detected in the image processing unit and the in-vehicle operating system coordinate; And a control unit that enables the operation of the operating system when the operating system is in contact with the hands of the occupant and limits the operation of the operating system when the operating system is not in contact.

Description

차량용 조작계 보조 시스템 및 그 방법{SYSTEM AND METHOD FOR OPERATING UNIT SUPPORT OF VEHICLE}Technical Field [0001] The present invention relates to a system and a method for operating a vehicle,

본 발명은 차량용 조작계 보조 시스템 및 그 방법에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a vehicle operating system auxiliary system and a method thereof.

일반적으로 차량에는 운전 및 탑승자의 편의를 위한 엔진, 변속기, 스티어링 휠, 페달, 사이드브레이크, 도어, 공조, 램프, AV 시스템(Audio Visual System), DIS(Diagnostic Information System) 시스템, 열선, 와이퍼 스위치, 시트 변경 등의 다양한 기계 및 전자적 장치가 구비되고 각 장치의 조작을 위한 조작계가 설치되고 있다. 그리고, 최근에는 차량 기능을 전자적으로 제어하는 사례가 늘어나고 있으며 그에 따라 조작계도 늘어나고 있다. Generally, a vehicle is equipped with an engine, a transmission, a steering wheel, a pedal, a side brake, a door, an air conditioner, a lamp, an audio visual system, a diagnostic information system (DIS) Sheet changing, etc., and an operating system for the operation of each apparatus is provided. In recent years, there has been an increasing number of cases in which vehicle functions are controlled electronically, thereby increasing the number of operating systems.

여기서, 조작계는 공조 스위치와 같이 소정 위치에 고정된 버튼식 조작계, AV 시스템과 같이 디스플레이 화면에 표시되는 터치식 조작계와 변속기, 와이퍼, 헤드램프 조작과 같이 일정 영역을 이동하는 조이스틱 방식의 조작계를 모두 포함한다.Here, the operating system includes a button-type operating system fixed at a predetermined position such as an air conditioning switch, a touch-type operating system displayed on a display screen such as an AV system, and a joystick-type operating system for moving a certain region such as a transmission, a wiper, .

이러한 조작계는 운전자 및 탑승자에 의해 의도된 조작으로 정상 동작해야 되지만, 외부의 충격이나 호기심이 많은 어린이 및 방치된 애완동물에 의해 조작 되어 오동작을 일으킬 수 있다.Such an operating system should be operated normally by the driver and the occupant, but it may be operated by a child who has a lot of external shocks or curiosity, or a neglected pet, which may cause a malfunction.

예컨대, 경사로에 주차된 차량이 외부의 충격에 의해 주차브레이크가 해제되거나 잠시 방치된 어린이 및 애완동물에 의해 변속기가 임의로 조작하여 브레이크 상태가 해제되는 경우 대형 사고를 유발할 수 있는 문제가 있다.For example, there is a problem that when a vehicle parked on a ramp is released from a parking brake due to an external impact, or when a vehicle is left unattended by a child or a pet, the transmission is arbitrarily operated and the brake is released.

즉, 조작계가 늘어남에 따라 의도되지 않는 조작계의 오동작이 발생될 우려가 있으며 이를 정확히 판단하여 대형 사고를 미연에 방지할 수 있는 방안이 절실하다.In other words, there is a possibility that a malfunction of an unintended operating system may occur due to an increase in the operating system, and it is inevitable that a precise judgment can be made to prevent a major accident in advance.

본 발명의 실시 예는 차량 내 탑승한 운전자의 의도된 조작이 아닌 외부 충격이나 어린이 및 애완동물에 의해 조작되는 조작계의 오동작을 방지하여 안전사고를 예방하는 차량용 조작계 보조 시스템 및 그 방법을 제공한다.Embodiments of the present invention provide a vehicle operating system auxiliary system and method for preventing a malfunction of an operating system operated by an external shock or a child and a pet, not an intended operation of a driver on board a vehicle, thereby preventing a safety accident.

본 발명의 일 측면에 따르면, 차량용 조작계 보조 시스템은, 차량 내부를 촬영하여 영상을 획득하는 카메라부; 차량 내부의 좌표계를 저장하고 상기 카메라부에서 수신된 영상에서 손 좌표를 검출하는 영상 처리부; 상기 영상 처리부에서 검출된 상기 손 좌표와 차량 내 조작계 좌표간의 매칭여부를 통해 탑승자의 손과 조작계의 접촉 여부를 판단하는 조작계 선택 판단부; 및 상기 탑승자의 손과 상기 조작계가 접촉된 경우 상기 조작계의 동작을 가능하게 하고, 접촉되지 않은 경우 상기 조작계의 동작을 제한하는 제어부를 포함한다.According to an aspect of the present invention, a vehicular operating system auxiliary system includes: a camera unit for photographing an inside of a vehicle to acquire an image; An image processing unit for storing a coordinate system inside the vehicle and detecting hand coordinates in the image received by the camera unit; An operating system selection determining unit for determining whether or not the hand of the passenger is in contact with the operating system through the matching between the hand coordinates detected in the image processing unit and the in-vehicle operating system coordinate; And a control unit that enables the operation of the operating system when the operating system is in contact with the hands of the occupant and limits the operation of the operating system when the operating system is not in contact.

또한, 상기 영상 처리부는, 상기 손 좌표의 검출 시 상기 수신된 영상에서 색깔, 형태, 밝기의 특징점으로 손을 인식하고 손의 형태 구분 및 모델링을 통해 손가락의 끝점(End Point) 좌표를 검출할 수 있다.In addition, the image processor recognizes the hand as a feature point of color, shape, and brightness in the received image when the hand coordinate is detected, and detects the end point coordinates of the finger through classification and modeling of the hand have.

또한, 상기 영상 처리부는, 상기 손 좌표를 상기 카메라부의 성능에 따라 3차원 좌표 또는 2차원 좌표로 검출할 수 있다.In addition, the image processing unit may detect the hand coordinates as three-dimensional coordinates or two-dimensional coordinates according to the performance of the camera unit.

또한, 상기 조작계 선택 판단부는, 상기 차량 내부의 좌표계에 기초한 차량 내 각종 조작계 좌표를 저장할 수 있다.In addition, the operation system selection determination unit may store various in-vehicle control system coordinates based on the coordinate system inside the vehicle.

또한, 상기 조작계 선택 판단부는, 검출된 탑승자의 손 좌표가 상기 조작계 좌표와 매칭하는 경우 탑승자가 의도적으로 상기 조작계와 접촉하여 선택한 것으로 판단하고, 상기 손 좌표가 상기 조작계 좌표와 매칭하지 않은 경우 상기 조작계와 비접촉하여 선택하지 않은 것으로 판단할 수 있다.The operating system selection determination unit determines that the occupant intentionally makes contact with the operating system when the detected hand coordinates of the occupant match the operating system coordinate, and when the hand coordinate does not match the operating system coordinate, It can be judged that it is not selected and not selected.

또한, 상기 조작계 선택 판단부는, 변속기, 와이퍼 조작 스위치 및 램프 조작 스위치 중 적어도 하나의 조이스틱 조작계의 이동 궤적과 상기 손 좌표의 이동 궤적 매칭을 통해 선택여부를 판단할 수 있다.In addition, the operating system selection determination unit may determine whether or not the operation mode selection unit is selected through a movement locus of at least one of a transmission, a wiper operation switch, and a lamp operation switch and a movement locus matching of the hand coordinates.

또한, 상기 제어부는, 상기 조작계의 손 접촉 여부를 확인하여 상기 조작계에 조작신호가 입력되면 상기 조작계에 손이 접촉된 경우에만 상기 조작신호를 처리하고, 손이 접촉되지 않은 경우에는 상기 조작신호를 무시할 수 있다.The control unit may be configured to process the operation signal only when the operation system is in contact with the operation system and when the operation system inputs an operation signal to the operation system, Can be ignored.

또한, 상기 제어부는, 상기 조작계에 손이 접촉된 경우에는 상기 조작계의 텐션을 소정 기준치 보다 낮게 조절하고, 상기 조작계에 손이 접촉되지 않은 경우에는 상기 조작계의 텐션을 소정 기준치 보다 높게 조절할 수 있다.The control unit may adjust the tension of the operating system to be lower than a predetermined reference value when the hand touches the operating system and adjust the tension of the operating system to be higher than a predetermined reference value when the hand does not touch the operating system.

또한, 상기 영상 처리부는, 상기 수신된 영상을 분석하여 객체 인식 모델링을 통해 탑승자의 수와 아동 및 애완동물의 탑승여부를 파악하고, 아동의 탑승좌석 위치를 검출하되, 상기 제어부는, 차량 내 보호자 없이 아동 또는 애완동물이 방치되는 경우 상기 조작계의 동작을 제한할 수 있다.In addition, the image processing unit analyzes the received image to identify the number of passengers, whether children or pets are boarded through object recognition modeling, and detects the seat position of a child, The operation of the operating system can be restricted when the child or the pet is left unattended.

한편, 본 발명의 일 측면에 따른, 차량 조작계의 의도되지 않은 조작을 예방하는 차량용 조작계 보조 방법은, a) 카메라를 통해 획득한 차량 내부의 영상을 분석하여 손 형상을 검출하는 단계; b) 차량 내부의 좌표계를 통하여 상기 손 형상의 위치에 따른 손 좌표를 검출하는 단계; c) 상기 손 좌표와 차량 내 조작계 좌표간의 매칭 여부를 통해 탑승자의 손과 조작계의 접촉 여부를 판단하는 단계; 및 d) 상기 탑승자의 손과 상기 조작계가 접촉된 경우 상기 조작계의 동작을 가능하게 하거나, 상기 탑승자의 손과 상기 조작계가 접촉되지 않은 경우 상기 조작계의 동작을 제한하는 단계를 포함한다.According to an aspect of the present invention, there is provided an auxiliary system for a vehicle operating system for preventing an unintended operation of a vehicle operating system, the method comprising: a) analyzing an image of a vehicle interior acquired through a camera to detect a hand shape; b) detecting hand coordinates according to the position of the hand shape through a coordinate system inside the vehicle; c) determining whether or not the hand of the passenger is in contact with the operating system through the matching between the hand coordinate and the in-vehicle operating system coordinate; And d) enabling the operation of the operating system when the passenger's hand and the operating system are in contact with each other or limiting the operation of the operating system when the operating system is not in contact with the passenger's hand.

또한, 상기 a) 단계는, 상기 영상에서 색깔, 형태, 밝기의 특징점으로 상기 손 형상을 인식하고, 상기 b) 단계는, 상기 손의 형태 구분 및 모델링을 통해 손가락과 손바닥을 분리하여 상기 손가락의 끝점(End Point) 좌표를 검출할 수 있다.In addition, the step (a) may recognize the hand shape as a feature point of color, shape, and brightness in the image, and the step (b) may further include separating a finger and a palm from each other, It is possible to detect the end point coordinates.

또한, 상기 d) 단계는, 상기 손과 상기 조작계가 접촉된 경우 상기 조작계를 동작 가능한 상태로 전환하고, 그 상태정보를 시각적 또는 청각적으로 표출하는 단계; 및 상기 조작계의 텐션을 소정 기준치보다 낮게 조절하여 상기 조작계가 원활하게 조작 되도록 제어하는 단계를 포함할 수 있다.The step d) may include switching the operating system to an operable state when the hand and the operating system are in contact with each other, and presenting the status information visually or audibly; And controlling the operation system to be smoothly operated by adjusting the tension of the operation system to be lower than a predetermined reference value.

또한, 상기 d) 단계는, 상기 손과 상기 조작계가 접촉되지 않은 경우 상기 조작계의 동작을 제한하는 상태로 제어하고, 그 상태정보를 시각적 또는 청각적으로 표출하는 단계; 및 상기 조작계의 텐션을 소정 기준치보다 높게 조절하여 상기 조작계의 물리적인 조작을 제한하는 단계를 포함할 수 있다.The step d) may further include the step of controlling the operation of the operating system in a state where the operating system is not in contact with the hand, and presenting the status information visually or audibly; And limiting the physical operation of the operating system by adjusting the tension of the operating system to a value higher than a predetermined reference value.

또한, 상기 d) 단계는, 상기 조작계에 손이 접촉된 경우에만 상기 조작계에서 입력되는 조작신호를 처리하고, 상기 손이 접촉되지 않은 경우에는 입력된 상기 조작신호를 무시하는 단계를 포함할 수 있다.The step d) may include the step of processing an operation signal inputted from the operation system only when the hand touches the operation system, and ignoring the operation signal inputted when the hand is not in contact .

또한, 상기 d) 단계 이후에, 상기 영상을 분석하여 차량 내 보호자 없는 상황에서 아동이나 애완동물 존재하는 것을 파악하면, 상기 조작계의 조작을 제한하는 단계를 더 포함할 수 있다.The method may further include, after the step d), analyzing the image to limit the operation of the operation system when it is recognized that a child or a pet exists in a situation without a parent in the vehicle.

본 발명의 실시 예에 따르면, 차량 내 장착된 카메라를 이용하여 조작계에 대한 탑승자 의도가 반영된 경우에만 조작이 용이하도록 함으로써 외부 충격에 대한 조작계의 오동작을 예방할 수 있다. According to the embodiment of the present invention, it is possible to easily operate only when the intention of the passenger is reflected on the operating system by using the camera mounted in the vehicle, thereby preventing malfunction of the operating system against external shocks.

또한, 카메라를 통해 차량 내 부득이하게 방치된 아동이나 애완동물을 미리 판단하고, 아동이나 애완동물에 의한 의도되지 않은 조작계의 오동작을 방지할 수 있어 안전사고를 예방할 수 있다.In addition, it is possible to prevent a safety accident by predetermining a child or a pet left unavoidably in a vehicle through a camera, and preventing malfunction of an unintended operation system by a child or a pet.

도 1은 본 발명의 실시 예에 따른 차량용 조작계 보조 시스템의 구성을 개략적으로 나타낸다.
도 2는 본 발명의 실시 예에 따른 차량용 조작계 보조 방법을 나타낸 흐름도이다.Fig. 1 schematically shows the configuration of a vehicle-mounted-system auxiliary system according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an auxiliary method for a vehicle operating system according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as " comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, " " module, " and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

명세서 전체에서, 제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.Throughout the specification, the terms first or second etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are intended to distinguish one element from another, for example, without departing from the scope of the invention in accordance with the concepts of the present invention, the first element may be termed the second element, The second component may also be referred to as a first component.

이제 본 발명의 실시 예에 따른 차량용 조작계 보조 시스템 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A vehicle auxiliary system and method according to an embodiment of the present invention will now be described in detail with reference to the drawings.

도 1은 본 발명의 실시 예에 따른 차량용 조작계 보조 시스템의 구성을 개략적으로 나타낸다.Fig. 1 schematically shows the configuration of a vehicle-mounted-system auxiliary system according to an embodiment of the present invention.

첨부된 도 1을 참조하면, 도 1은 본 발명의 실시 예에 따른 차량용 조작계 보조 시스템(100)은 카메라부(110), 영상 처리부(120), 조작계 선택 판단부(130) 및 제어부(140)를 포함한다.1 is a block diagram illustrating a vehicle control system auxiliary system 100 according to an embodiment of the present invention. The vehicle control system 100 includes a camera unit 110, an image processing unit 120, an operation system selection determination unit 130, .

카메라부(110)는 차량 내 설치되어 차량 내부를 촬영하고 촬영된 영상을 영상 처리부(120)로 전달한다.The camera unit 110 is installed in the vehicle, photographs the inside of the vehicle, and transmits the photographed image to the image processing unit 120.

카메라부(110)는 적외선 기능을 가지는 3차원 카메라로 구성하여 손 좌표를 3D(X, Y, Z)로 검출하도록 구성한다.The camera unit 110 is configured as a three-dimensional camera having an infrared function to detect hand coordinates in 3D (X, Y, Z).

영상 처리부(120)는 차량 내 좌표계를 저장하고 이를 토대로 카메라부(110)에서 수신된 영상에서 탑승자의 손을 인식하여 손 좌표를 검출한다.The image processing unit 120 stores the in-vehicle coordinate system and recognizes the hand of the passenger in the image received by the camera unit 110 based on the coordinate system.

이 때, 영상 처리부(120)는 상기 손 좌표의 검출 시 수신된 영상에서 색깔, 형태, 밝기 등의 특징점으로 손을 인식한 후 손의 형태 구분 및 모델링을 통해 손 끝점(End Point)을 검출할 수 있다. 여기서, 상기 손 끝점은 손가락의 끝점이며, 이하 손의 좌표(위치)는 손가락의 끝점을 의미한다.At this time, when the hand coordinate is detected, the image processing unit 120 recognizes the hand as a minutia such as color, shape, and brightness in the received image, and then detects a hand end point through modeling and modeling of the hand . Here, the hand end point is the end point of the finger, and the coordinate (position) of the hand means the end point of the finger.

또한, 영상 처리부(120)는 수신된 영상을 분석하여 객체 인식 모델링을 통해 탑승자의 수와 아동(어린이), 애완동물(개, 고양이 등)의 탑승여부를 더 판단할 수 있다.In addition, the image processing unit 120 may analyze the received image and determine the number of passengers and whether a child (child), a pet (dog, cat, etc.) is boarded through object recognition modeling.

또한, 영상 처리부(120)는 3차원 좌표계를 저장하고 있어 수신되는 3차원 영상을 가지고 손 좌표를 3D(X, Y, Z)로 검출할 수 있다.In addition, the image processing unit 120 stores the three-dimensional coordinate system, and can detect the hand coordinates as 3D (X, Y, Z) with the received three-dimensional image.

조작계 선택 판단부(130)는 영상 처리부(120)에서 검출된 손 좌표와 차량 내 조작계 좌표간의 매칭을 통해 탑승자의 조작계 접촉(선택) 여부를 판단한다. The operating system selection deciding unit 130 determines whether or not the occupant touches the operating system through the matching between the hand coordinates detected by the image processing unit 120 and the in-vehicle operating system coordinates.

이를 위해, 조작계 선택 판단부(130)는 상기 좌표계에 기초한 차량 내 각종 조작계 좌표(위치)를 저장한다.To this end, the operating system selection deciding unit 130 stores various operating system coordinates (positions) in the vehicle based on the coordinate system.

즉, 조작계 선택 판단부(130)는 검출된 탑승자의 손 좌표(위치)가 특정 조작계의 좌표(위치)와 매칭되는 경우 탑승자가 의도적으로 해당 조작계를 접촉하여 선택한 것으로 판단할 수 있다.That is, the operating system selection determination unit 130 can determine that the occupant intentionally touches the operating system when the detected hand position (position) of the occupant matches the coordinates (position) of the specific operating system.

반면, 조작계 선택 판단부(130)는 탑승자의 손 좌표가 조작계의 좌표와 매칭되지 않으면 조작계를 선택하지 않은 것으로 판단한다.On the other hand, the operating system selection determination unit 130 determines that the operating system is not selected unless the hand coordinates of the occupant match the coordinates of the operating system.

또한, 조작계 선택 판단부(130)는 변속기, 와이퍼 조작 스위치 및 램프 조작 스위치(전조등, 후방등, 방향전환 램프 등)와 같은 조이스틱 조작계의 이동가능한 범위를 고려하여 이동 궤적과 손 좌표의 이동 궤적 매칭을 통해 선택여부를 판단할 수 있다.In addition, the operating system selection determination unit 130 determines whether or not the movement locus and the movement coordinates of the hand coordinates of the hand coordinates are identical to each other in consideration of the movable range of the joystick operation system such as the transmission, the wiper operation switch, and the lamp operation switch (headlight, rear lamp, It is possible to judge whether or not to select it.

한편, 앞서 설명한 본 발명의 실시 예는 카메라부(110)를 3차원 카메라로 구성하는 것으로 설명하였으나 이에 한정되지 않으며, 카메라부(110)를 2D 카메라로 구성할 수 도 있다.In the meantime, the embodiment of the present invention described above has been described as constituting the camera unit 110 as a three-dimensional camera. However, the present invention is not limited thereto, and the camera unit 110 may be a 2D camera.

즉, 조작계 선택 판단부(130)는 탑승자가 조작계를 동작시킬 때의 손 좌표를 2D(X, Y)로 검출하더라도 조작계의 2D 좌표와 겹치는지 여부를 판단하여 손의 조작계 접촉여부를 판단 할 수 있다. That is, even if the hand coordinate at the time when the occupant operates the operating system is detected as 2D (X, Y), the operating system selection determination unit 130 determines whether or not the hand coordinate system is in contact with the manipulation system have.

제어부(140)는 본 발명의 실시 예에 따른 차량용 조작계 보조 기능을 위한 상기 각부의 동작을 제어하며, 이를 위한 데이터 및 프로그램을 저장한다.The controller 140 controls the operations of the respective units for the vehicle-mounted-system auxiliary function according to the embodiment of the present invention, and stores data and programs for the operations.

제어부(140)는 조작계 선택 판단부(130)에서의 조작계에 대한 손 접촉 여부 정보를 기반으로 각 조작계의 기능을 제어한다.The control unit 140 controls the functions of the respective operation systems on the basis of the hand contact information on the operation system in the operation system selection determination unit 130. [

예컨대, 본 발명의 하나의 실시 예에 따르면, 제어부(140)는 조작계의 손 접촉 여부를 확인하여 상기 조작계에 조작신호가 입력되면 손이 접촉된 경우에만 조작신호를 처리한다.For example, according to one embodiment of the present invention, the control unit 140 confirms whether or not the operation system is in contact with the hand, and processes the operation signal only when the operation signal is input to the operation system.

반면, 제어부(140)는 차량의 외부 충격으로 인해 잘못된 조작신호가 입력되면 해당 조작계에 대한 손 접촉이 이루어지지 않았으므로 해당 조작신호를 무시하여 오동작을 예방한다.On the other hand, when an incorrect operation signal is input due to an external impact of the vehicle, the control unit 140 ignores the operation signal to prevent malfunction because no manual contact is made with the operation system.

또한, 본 발명의 하나의 실시 예에 따르면, 제어부(140)는 차량 내 방치된 애완동물로 인해 잘못된 조작신호가 입력되더라도 영상 처리부(120)에 의해 손 좌표가 검출되지 않아 해당 조작계에 대한 손 접촉이 이루어지지 않았으므로 해당 조작신호를 무시하여 오동작을 예방할 수 있다.In addition, according to one embodiment of the present invention, even if a wrong operation signal is inputted due to a pets left in the vehicle, the control unit 140 does not detect hand coordinates by the image processing unit 120, It is possible to prevent malfunction by ignoring the operation signal.

제어부(140)는 손 좌표가 조작계 상에 있는 경우 조작계의 텐션을 정상치로 동작할 수 있도록 하거나, 원활한 조작성을 위해 정상치보다 낮게 조절하여 가해야 하는 힘을 줄인다.The control unit 140 controls the tension of the operation system to be normal when the hand coordinates are on the operation system, or adjusts the tension lower than the normal value for smooth operation to reduce the force to be applied.

반대로, 제어부(140)는 손 좌표가 조작계 상에 있지 않은 경우 조작계의 텐션 조절로 정상적일 때 보다 조작의 힘을 많이 가해야만 움직일 수 있도록 물리적인 조작을 제한다.On the contrary, when the hand coordinate is not on the operation system, the control unit 140 removes the physical operation so that the operation can be performed only when the operation force is applied more than when the operation is normal.

예컨대, 변속기, 휠, 사이드브레이크와 같은 조이스틱 조작계의 물리적인 움직임을 둔화시키거나, 윈도우, 열선 스위치 등과 같은 버튼식 조작에도 정상치 이상의 힘을 가해야만 조작이 가능하도록 제한할 수 있다.For example, it is possible to restrict the physical movement of the joystick operating system such as the transmission, the wheel, and the side brakes to such a degree that the operation can be performed only by applying a force exceeding a normal value to the button operation such as a window or a hot line switch.

이 밖에도, 제어부(140)는 터치 방식의 조작계의 경우, 손이 아닌 부분이 닿을 경우 기능 동작이 불가하도록 제한할 수 있다.In addition, in the case of a touch-type operation system, the control unit 140 can restrict the function operation to be impossible when a non-hand portion is touched.

또한, 제어부(140)는 윈도우 스위치의 경우 아동의 오조작으로 안전에 문제가 될 수 있는 부분을 아동의 탑승 좌석 위치를 파악하여 해당 윈도우 스위치를 홀딩하는 방식으로 기능 제한 할 수 있다. 또한 콘솔 부분은 다른 물체 또는 손 이외의 부분에 의해 버튼이 눌러질 수 있지만 손 위치로 조작 여부를 검증하여 의도되지 않는 오조작을 제한 할 수 있다.In addition, the control unit 140 can restrict the function of the window switch by grasping the child's boarding seat position and holding the corresponding window switch, which may be a problem in safety due to misoperation of the child. In addition, the console portion can be depressed by other objects or parts other than the hand, but it can be verified whether the button is operated by the hand position, thereby restricting unintentional erroneous operations.

한편, 앞서 설명된 차량용 조작계 보조 시스템(100)의 구성을 바탕으로 하는 차량용 조작계 보조 방법을 설명한다.On the other hand, a vehicle operation system assisting method based on the configuration of the vehicle operation system assisting system 100 described above will be described.

도 2는 본 발명의 실시 예에 따른 차량용 조작계 보조 방법을 나타낸 흐름도이다.FIG. 2 is a flowchart illustrating an auxiliary method for a vehicle operating system according to an embodiment of the present invention.

첨부된 도 2를 참조하면, 본 발명의 실시 예에 따른 차량용 조작계 보조 시스템(100)은 카메라부(110)를 통해 차량 내부의 영상을 촬영하여 차량 내 영상을 획득한다(S101).Referring to FIG. 2, an auxiliary system 100 for a vehicle control system according to an embodiment of the present invention captures an image of a vehicle interior through a camera 110 and acquires an in-vehicle image (S101).

차량용 조작계 보조 시스템(100)은 획득한 영상을 분석하여 손 형상을 검출한다(S102).The vehicular operating system auxiliary system 100 analyzes the acquired image to detect the hand shape (S102).

차량용 조작계 보조 시스템(100)은 검출된 손 형상에서 손가락과 손바닥을 분리하여 손 끝점을 추출하고, 추출된 손 끝점 좌표를 검출한다(S103).The vehicle control system auxiliary system 100 extracts a hand end point by separating a finger and a palm from the detected hand shape, and detects the extracted hand end point coordinates (S103).

차량용 조작계 보조 시스템(100)은 조작계의 좌표와 손 끝점 좌표의 매칭 여부를 판단한다(S104).The vehicular operating system auxiliary system 100 determines whether the coordinates of the operating system and the hand end point coordinates are matched (S104).

이 때, 차량용 조작계 보조 시스템(100)은 손 끝점 좌표와 상기 조작계의 좌표가 매칭하여 상기 조작계와 접촉된 것으로 판단되면(S105; 예), 상기 조작계를 동작 가능한 상태로 제어한다(S106).At this time, the vehicle-mounted system auxiliary system 100 controls the operating system to be operable (S106) if it is determined that the coordinates of the hand end point and the coordinates of the operating system match and are in contact with the operating system (S105;

이 때, 차량용 조작계 보조 시스템(100)은 상기 조작계가 동작 가능한 상태로 제어된 것을 시각적 및 청각적으로 표출할 수 있다(S107). At this time, the vehicle-mounted-system auxiliary system 100 can visually and audibly express that the operating system is controlled to be operable (S107).

그리고, 차량용 조작계 보조 시스템(100)은 상기 조작계의 텐션을 정상치 또는 소정 기준치 보다 낮게 조절하여 상기 조작계가 원활하게 조작 되도록 한다(S108).In addition, the vehicle-mounted-system auxiliary system 100 adjusts the tension of the operating system to a normal value or lower than a predetermined reference value so that the operating system can be smoothly operated (S108).

반면, 상기 S105 단계에서, 차량용 조작계 보조 시스템(100)은 손 끝점 좌표와 상기 조작계의 좌표가 매칭하지 않은 것으로 판단되면(S105; 아니오), 상기 조작계의 동작을 제한하는 상태로 동작한다(S109).On the other hand, if it is determined in step S105 that the coordinates of the hand end point and the coordinates of the operating system do not match (S105: No), the vehicular operating system auxiliary system 100 operates in a state of restricting the operation of the operating system (S109) .

이 때, 차량용 조작계 보조 시스템(100)은 상기 조작계의 동작이 제한된 상태를 시각적 및 청각적으로 표출할 수 있다(S110). At this time, the vehicle-mounted-system auxiliary system 100 can visually and audibly express a state in which the operation of the operating system is limited (S110).

그리고, 차량용 조작계 보조 시스템(100)은 상기 조작계의 텐션을 소정 기준치 보다 높게 조절하여 동작을 제한한다(S111). 이 때, 정상일 때 보다 조작의 힘을 많이 가해야만 조작계를 동작시킬 수 있도록 물리적인 조작을 제한하거나, 그 조작계의 조작이 이루어 지더라도 조작신호 입력을 무시할 수 있다. In addition, the vehicle-mounted-system auxiliary system 100 restricts the operation by adjusting the tension of the operating system to be higher than a predetermined reference value (S111). At this time, physical manipulation can be restricted so that the manipulation system can be operated only when a greater amount of manipulation force is applied than during normal operation, or the manipulation signal input can be ignored even if the manipulation of the manipulation system is performed.

이와 같이, 본 발명의 실시 예에 따르면, 차량 내 자착된 카메라를 이용하여 조작계에 대한 탑승자 의도가 반영된 경우에만 조작이 용이하도록 하여 외부 충격에 대한 오동작을 예방할 수 있는 효과가 있다. As described above, according to the embodiment of the present invention, it is easy to operate only when the intention of the passenger is reflected on the operating system by using the camera attached to the vehicle, thereby preventing the malfunction of the external shock.

또한, 카메라를 통해 차량 내 부득이하게 방치된 아동이나 애완동물을 미리 판단하고, 아동이나 애완동물에 의한 의도되지 않은 조작계의 오동작을 방지할 수 있어 안전사고를 예방할 수 있는 효과가 있다.In addition, it is possible to prevent a safety accident by preliminarily judging a child or a pet left unavoidably in a vehicle through a camera, and preventing malfunction of an unintended operation system by a child or a pet.

이상에서는 본 발명의 실시 예에 대하여 설명하였으나, 본 발명은 상기한 실시 예에만 한정되는 것은 아니며 그 외의 다양한 추가적 로직이 가능하다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary,

예컨대, 도 2에 도시한 본 발명의 실시 예에서 차량 내 영상 정보를 분석하여 아동 및 애완동물을 인식하고, 차량 내 아동 또는 애완동물이 방치된 상태에서의 조작계 동작을 제한할 수 있다.For example, in the embodiment of the present invention shown in FIG. 2, it is possible to recognize the child and the pet by analyzing the in-vehicle image information, and to restrict the operation of the operation system in a state where the child or pet is left in the vehicle.

즉, 아동의 경우 동승한 운전자가 주차 후 잠시 차량에서 하차하는 경우 카메라를 통해 아동 혼자 차량이 탑승 중인 것을 인식하고, 아동의 손을 인식하더라도 조작계의 동작을 제한할 수 있다.In other words, in case of a child, when a driver who is a driver gets off the vehicle for a while after parking, the driver recognizes that the child alone is carrying the vehicle through the camera and can restrict the operation of the operation system even if the child recognizes the hand.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention are not limited to the above-described apparatuses and / or methods, but may be implemented through a program for realizing functions corresponding to the configuration of the embodiment of the present invention, a recording medium on which the program is recorded And such an embodiment can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

100: 차량용 조작계 보조 시스템 110: 카메라부
120: 영상 처리부 130: 조작계 선택 판단부
140: 제어부100: Car operating system auxiliary system 110:
120: Image processing unit 130: Operation system selection judgment unit
140:

Claims (15)

차량 내부를 촬영하여 영상을 획득하는 카메라부;
차량 내부의 좌표계를 저장하고 상기 카메라부에서 수신된 영상에서 손 좌표를 검출하는 영상 처리부;
상기 영상 처리부에서 검출된 상기 손 좌표와 차량 내 조작계 좌표간의 매칭여부를 통해 탑승자의 손과 조작계의 접촉 여부를 판단하는 조작계 선택 판단부; 및
상기 탑승자의 손과 상기 조작계가 접촉된 경우 상기 조작계의 동작을 가능하게 하고, 접촉되지 않은 경우 상기 조작계의 동작을 제한하는 제어부를 포함하되,
상기 제어부는 상기 조작계에 손이 접촉된 경우에는 상기 조작계의 텐션을 소정 기준치 보다 낮게 조절하고, 상기 조작계에 손이 접촉되지 않은 경우에는 상기 조작계의 텐션을 소정 기준치 보다 높게 조절하는 것을 특징으로 하는 차량용 조작계 보조 시스템.A camera unit for photographing the interior of the vehicle to acquire an image;
An image processing unit for storing a coordinate system inside the vehicle and detecting hand coordinates in the image received by the camera unit;
An operating system selection determining unit for determining whether or not the hand of the passenger is in contact with the operating system through the matching between the hand coordinates detected in the image processing unit and the in-vehicle operating system coordinate; And
And a control unit for enabling the operation of the operating system when the passenger's hand and the operating system are in contact with each other and for limiting the operation of the operating system when not in contact,
Wherein the controller controls the tension of the operating system to be lower than a predetermined reference value when the hand touches the operating system and controls the tension of the operating system to be higher than a predetermined reference value when the hand does not touch the operating system. Operating system auxiliary system. 제 1 항에 있어서,
상기 영상 처리부는,
상기 손 좌표의 검출 시 상기 수신된 영상에서 색깔, 형태, 밝기의 특징점으로 손을 인식하고 손의 형태 구분 및 모델링을 통해 손가락의 끝점(End Point) 좌표를 검출하는 것을 특징으로 하는 차량용 조작계 보조 시스템.The method according to claim 1,
Wherein the image processing unit comprises:
Wherein when the hand coordinate is detected, the hand is recognized as a feature point of color, shape, and brightness in the received image, and the end point coordinates of the finger are detected through classification and modeling of the hand. . 제 1 항 또는 제 2 항에 있어서,
상기 영상 처리부는,
상기 손 좌표를 상기 카메라부의 성능에 따라 3차원 좌표 또는 2차원 좌표로 검출하는 차량용 조작계 보조 시스템.3. The method according to claim 1 or 2,
Wherein the image processing unit comprises:
And detects the hand coordinates as three-dimensional coordinates or two-dimensional coordinates according to the performance of the camera unit. 제 1 항에 있어서,
상기 조작계 선택 판단부는,
상기 차량 내부의 좌표계에 기초한 차량 내 각종 조작계 좌표를 저장하는 차량용 조작계 보조 시스템.The method according to claim 1,
Wherein the operating-
And stores various control system coordinates in the vehicle based on a coordinate system inside the vehicle. 제 1 항에 있어서,
상기 조작계 선택 판단부는,
검출된 탑승자의 손 좌표가 상기 조작계 좌표와 매칭하는 경우 탑승자가 의도적으로 상기 조작계와 접촉하여 선택한 것으로 판단하고, 상기 손 좌표가 상기 조작계 좌표와 매칭하지 않은 경우 상기 조작계와 비접촉하여 선택하지 않은 것으로 판단하는 차량용 조작계 보조 시스템.The method according to claim 1,
Wherein the operating-
If the hand coordinate of the detected occupant matches the operating system coordinate, the occupant judges that the driver has intentionally contacted the operating system to make a selection, and if the hand coordinate does not match the operating system coordinate, For a vehicle. 제 1 항 또는 제 5 항에 있어서,
상기 조작계 선택 판단부는,
변속기, 와이퍼 조작 스위치 및 램프 조작 스위치 중 적어도 하나의 조이스틱 조작계의 이동 궤적과 상기 손 좌표의 이동 궤적 매칭을 통해 선택여부를 판단하는 것을 특징으로 하는 차량용 조작계 보조 시스템.6. The method according to claim 1 or 5,
Wherein the operating-
Wherein the selection unit determines whether the selection is made through the movement locus of at least one of the transmission, the wiper operation switch, and the lamp operation switch through the movement locus matching of the hand coordinates. 제 1 항에 있어서,
상기 제어부는,
상기 조작계의 손 접촉 여부를 확인하여 상기 조작계에 조작신호가 입력되면 상기 조작계에 손이 접촉된 경우에만 상기 조작신호를 처리하고, 손이 접촉되지 않은 경우에는 상기 조작신호를 무시하는 차량용 조작계 보조 시스템.The method according to claim 1,
Wherein,
Wherein the control unit is configured to process the operation signal only when a hand touches the operation system when an operation signal is input to the operation system and to ignore the operation signal when the hand is not in contact with the operation system, . 삭제delete 제 1 항에 있어서,
상기 영상 처리부는,
상기 수신된 영상을 분석하여 객체 인식 모델링을 통해 탑승자의 수와 아동 및 애완동물의 탑승여부를 파악하고, 아동의 탑승좌석 위치를 검출하되,
상기 제어부는, 차량 내 보호자 없이 아동 또는 애완동물이 방치되는 경우 상기 조작계의 동작을 제한하는 차량용 조작계 보조 시스템.The method according to claim 1,
Wherein the image processing unit comprises:
And analyzing the received image to determine the number of passengers and whether or not the child and the pet are boarded through object recognition modeling and detecting the seat position of the child,
Wherein the control unit limits the operation of the operating system when a child or a pet is left without a parent in the vehicle. 차량 조작계의 의도되지 않은 조작을 예방하는 차량용 조작계 보조 방법에 있어서,
a) 카메라를 통해 획득한 차량 내부의 영상을 분석하여 손 형상을 검출하는 단계;
b) 차량 내부의 좌표계를 통하여 상기 손 형상의 위치에 따른 손 좌표를 검출하는 단계;
c) 상기 손 좌표와 차량 내 조작계 좌표간의 매칭 여부를 통해 탑승자의 손과 조작계의 접촉 여부를 판단하는 단계; 및
d) 상기 탑승자의 손과 상기 조작계가 접촉된 경우 상기 조작계의 동작을 가능하게 하거나, 상기 탑승자의 손과 상기 조작계가 접촉되지 않은 경우 상기 조작계의 동작을 제한하는 단계를 포함하되,
상기 d) 단계는 상기 손과 상기 조작계가 접촉된 경우 상기 조작계를 동작 가능한 상태로 전환하고, 그 상태정보를 시각적 또는 청각적으로 표출하는 단계 및 상기 조작계의 텐션을 소정 기준치보다 낮게 조절하여 상기 조작계가 원활하게 조작 되도록 제어하는 단계를 포함하는 차량용 조작계 보조 방법.A vehicle operating system auxiliary method for preventing unintended operation of a vehicle operating system,
a) analyzing an image of a vehicle interior acquired through a camera to detect a hand shape;
b) detecting hand coordinates according to the position of the hand shape through a coordinate system inside the vehicle;
c) determining whether or not the hand of the passenger is in contact with the operating system through the matching between the hand coordinate and the in-vehicle operating system coordinate; And
d) enabling the operation of the operating system when the passenger's hands and the operating system are in contact with each other or limiting the operation of the operating system when the operating system is not in contact with the passenger's hands,
Wherein the step d) includes the steps of switching the operating system to an operable state when the hand and the operating system are in contact with each other, and visually or audibly presenting the status information, and adjusting the tension of the operating system to a value lower than a predetermined reference value, So as to be smoothly operated. 제 10 항에 있어서,
상기 a) 단계는, 상기 영상에서 색깔, 형태, 밝기의 특징점으로 상기 손 형상을 인식하고,
상기 b) 단계는, 상기 손의 형태 구분 및 모델링을 통해 손가락과 손바닥을분리하여 상기 손가락의 끝점(End Point) 좌표를 검출하는 것을 특징으로 하는 차량용 조작계 보조 방법.11. The method of claim 10,
The step (a) may include recognizing the shape of the hand as a feature point of color, shape, and brightness in the image,
Wherein the step b) includes detecting the end point coordinates of the finger by separating the finger and the palm from each other through the type and modeling of the hand. 삭제delete 제 10 항에 있어서,
상기 d) 단계는,
상기 손과 상기 조작계가 접촉되지 않은 경우 상기 조작계의 동작을 제한하는 상태로 제어하고, 그 상태정보를 시각적 또는 청각적으로 표출하는 단계; 및
상기 조작계의 텐션을 소정 기준치보다 높게 조절하여 상기 조작계의 물리적인 조작을 제한하는 단계
를 포함하는 차량용 조작계 보조 방법.11. The method of claim 10,
The step d)
Controlling the operation of the operating system in a state of restricting operation of the operating system when the operating system is not in contact with the hand, and displaying the state information visually or audibly; And
Limiting the physical operation of the operating system by adjusting the tension of the operating system to be higher than a predetermined reference value
And the vehicle operating system auxiliary method. 제 10 항에 있어서,
상기 d) 단계는,
상기 조작계에 손이 접촉된 경우에만 상기 조작계에서 입력되는 조작신호를 처리하고, 상기 손이 접촉되지 않은 경우에는 입력된 상기 조작신호를 무시하는 단계를 포함하는 차량용 조작계 보조 방법.11. The method of claim 10,
The step d)
Processing the operation signal inputted from the operating system only when the hand touches the operating system, and ignoring the operating signal inputted when the hand is not in contact. 제 10 항에 있어서,
상기 d) 단계 이후에,
상기 영상을 분석하여 차량 내 보호자 없는 상황에서 아동이나 애완동물 존재하는 것을 파악하면, 상기 조작계의 조작을 제한하는 단계를 더 포함하는 차량용 조작계 보조 방법.

11. The method of claim 10,
After the step d)
Further comprising the step of analyzing the image to limit the operation of the operating system when it is recognized that a child or a pet exists in a situation where there is no parent in the vehicle.

KR1020130153470A 2013-12-10 2013-12-10 System and method for operating unit support of vehicle KR101976497B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130153470A KR101976497B1 (en) 2013-12-10 2013-12-10 System and method for operating unit support of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130153470A KR101976497B1 (en) 2013-12-10 2013-12-10 System and method for operating unit support of vehicle

Publications (2)

Publication Number Publication Date
KR20150067926A KR20150067926A (en) 2015-06-19
KR101976497B1 true KR101976497B1 (en) 2019-05-10

Family

ID=53515597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130153470A KR101976497B1 (en) 2013-12-10 2013-12-10 System and method for operating unit support of vehicle

Country Status (1)

Country Link
KR (1) KR101976497B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733004B2 (en) * 2017-04-26 2020-08-04 At&T Intellectual Property I, L.P. Intelligent service on-demand robot virtualization
CN108791119A (en) * 2017-05-04 2018-11-13 奥迪股份公司 Vehicle control system and method
KR102355422B1 (en) * 2017-05-23 2022-01-26 현대자동차주식회사 Methods and apparatus for preventing misreading of touch pad

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005178473A (en) * 2003-12-17 2005-07-07 Denso Corp Interface for in-vehicle equipment
JP2008162376A (en) * 2006-12-27 2008-07-17 Takata Corp Vehicular working system, and vehicle
JP2009196383A (en) * 2008-02-19 2009-09-03 Toyota Motor Corp On-vehicle air conditioning system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005178473A (en) * 2003-12-17 2005-07-07 Denso Corp Interface for in-vehicle equipment
JP2008162376A (en) * 2006-12-27 2008-07-17 Takata Corp Vehicular working system, and vehicle
JP2009196383A (en) * 2008-02-19 2009-09-03 Toyota Motor Corp On-vehicle air conditioning system

Also Published As

Publication number Publication date
KR20150067926A (en) 2015-06-19

Similar Documents

Publication Publication Date Title
US9994233B2 (en) Hands accelerating control system
KR101550604B1 (en) Vehicle operation device
CN109552340B (en) Gesture and expression control for vehicles
JP5704178B2 (en) Vehicle control device
US20170174229A1 (en) Method and device for monitoring or regulating a driving task transfer in an autonomous vehicle and system for a driving task transfer in an autonomous vehicle
WO2013101058A1 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
US9353855B2 (en) Method for processing an actuation of an operating element in a motor vehicle
WO2013101047A1 (en) Systems, methods, and apparatus for invehicle fiducial mark tracking and interpretation
EP3147871A1 (en) Vehicle access system with inadvertent actuation control
KR20160036242A (en) Gesture recognition apparatus, vehicle having the same and method for controlling the same
CN110968184B (en) Equipment control device
CN111989726B (en) Method, device and mobile tool for automatically starting mobile tool at optical signal device
KR101704244B1 (en) Remote Parking Method and Apparatus
KR101976497B1 (en) System and method for operating unit support of vehicle
KR101484202B1 (en) Vehicle having gesture detection system
WO2016152574A1 (en) Alighting notification device
KR20180091732A (en) User interface, means of transport and method for distinguishing a user
CN111183066A (en) Parking control method and parking control device
WO2018061603A1 (en) Gestural manipulation system, gestural manipulation method, and program
KR101946746B1 (en) Positioning of non-vehicle objects in the vehicle
JP6414420B2 (en) In-vehicle device operation device
WO2017056454A1 (en) Damage reduction device, damage reduction method, and program
CN108216087B (en) Method and apparatus for identifying a user using identification of grip style of a door handle
CN111511599A (en) Method for operating an auxiliary system and auxiliary system for a motor vehicle
US11535268B2 (en) Vehicle and control method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right