KR20200037725A - 기기 제어 장치 - Google Patents

기기 제어 장치 Download PDF

Info

Publication number
KR20200037725A
KR20200037725A KR1020190079219A KR20190079219A KR20200037725A KR 20200037725 A KR20200037725 A KR 20200037725A KR 1020190079219 A KR1020190079219 A KR 1020190079219A KR 20190079219 A KR20190079219 A KR 20190079219A KR 20200037725 A KR20200037725 A KR 20200037725A
Authority
KR
South Korea
Prior art keywords
hand
state
occupant
vehicle
unit
Prior art date
Application number
KR1020190079219A
Other languages
English (en)
Other versions
KR102303556B1 (ko
Inventor
다이스케 히로키
Original Assignee
도요타지도샤가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도요타지도샤가부시키가이샤 filed Critical 도요타지도샤가부시키가이샤
Publication of KR20200037725A publication Critical patent/KR20200037725A/ko
Application granted granted Critical
Publication of KR102303556B1 publication Critical patent/KR102303556B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00342—
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

기기 제어 장치(1, 2, 3)는, 차량의 탑승자의 화상을 촬상하도록 구성되는 촬상부(10)와, 촬상부(10)에 의해 촬상된 화상에 기초하여, 탑승자의 자세를 인식하도록 구성되는 제1 인식부(11, 31)와, 촬상부(10)에 의해 촬상된 화상에 기초하여, 적어도 탑승자의 손의 형상을 포함하는, 손의 상태를 인식하도록 구성되는 제2 인식부(12, 32)와, 제1 인식부(11, 31)에 의해 인식된 탑승자의 자세와, 제2 인식부(12, 32)에 의해 인식된 손의 상태에 기초하여, 제어 대상의 기기 및 실행하는 동작을 특정하도록 구성되는 판별 처리부(13, 15, 33)와, 특정된 제어 대상의 기기 및 실행하는 동작에 대응하는 제어 커맨드를 발행하도록 구성되는 제어부(14, 17)를 구비한다.

Description

기기 제어 장치{DEVICE CONTROL APPARATUS}
본 발명은, 전자 기기를 제어하기 위한 기기 제어 장치에 관한 것이다.
일본 특허 공개 제2013-205983호에는, 유저의 손끝의 형상, 위치, 자세를 인식하여, 유저의 손끝의 형상이나 그 상태 변화의 시계열 정보를 기초로 제어 대상 기기에 대한 제어 커맨드를 출력하는 정보 입력 장치가 기재되어 있다.
일본 특허 공개 제2013-205983호에 기재된 정보 입력 장치를 차량 탑재 기기의 조작에 적용한 경우, 차량의 주행 중의 진동 등의 영향이 있으므로, 손끝의 형상이나 그 상태 변화의 제시를 유저가 정확하게 행하는 것이 곤란하다. 따라서, 손끝의 형상이나 그 상태 변화의 시계열 정보에 기초하여 차량 탑재 기기를 조작하는 구성에서는, 유저가 의도한 차량 탑재 기기의 조작을 할 수 없거나, 유저가 의도하지 않은 차량 탑재 기기의 조작이 행해지거나 할 가능성이 있다.
본 발명은, 차량 탑재 기기에 대한 유저의 조작 지시를 고정밀도로 판별할 수 있는 기기 제어 장치를 제공한다.
본 발명의 양태는, 차량에 탑재된 기기를 제어하는 기기 제어 장치에 관한 것이다. 상기 기기 제어 장치는, 차량의 탑승자의 화상을 촬상하도록 구성되는 촬상부와, 촬상부에 의해 촬상된 화상에 기초하여, 탑승자의 자세를 인식하도록 구성되는 제1 인식부와, 촬상부에 의해 촬상된 화상에 기초하여, 적어도 탑승자의 손의 형상을 포함하는, 손의 상태를 인식하도록 구성되는 제2 인식부와, 제1 인식부에 의해 인식된 탑승자의 자세와, 제2 인식부에 의해 인식된 손의 상태에 기초하여, 제어 대상의 기기 및 실행하는 동작을 특정하도록 구성되는 판별 처리부와, 특정된 제어 대상의 기기 및 실행하는 동작에 대응하는 제어 커맨드를 발행하도록 구성되는 제어부를 구비한다.
본 발명의 양태에 관한 기기 제어 장치에 있어서, 판별 처리부는, 탑승자의 자세를 나타내는 정보와, 손의 상태를 나타내는 정보와, 기기를 나타내는 정보와, 동작을 나타내는 정보가 미리 관련지어진 판별 처리 정보를 참조하여, 제어 대상의 기기 및 실행하는 동작을 특정하도록 구성되어도 된다.
본 발명의 양태에 관한 기기 제어 장치에 있어서, 판별 처리 정보에는, 탑승자의 자세를 나타내는 정보로서, 골격 좌표열에 의해 나타나는 골격 패턴이 정의되어도 되고, 손의 상태를 나타내는 정보로서, 손의 형상, 혹은 손의 형상 및 방향의 조합이 정의되어도 되고, 제1 인식부는, 촬상부에 의해 촬상된 화상으로부터 탑승자의 골격 좌표열을 인식하도록 구성되어도 되고, 제2 인식부는, 촬상부에 의해 촬상된 화상으로부터 탑승자의 손의 형상 및 방향을 인식하도록 구성되어도 되고, 판별 처리부는, 제1 인식부 및 제2 인식부의 인식 결과와, 판별 처리 정보의 일치도에 기초하여, 인식된 탑승자의 자세 및 손의 상태에 관련지어진 기기 및 동작을, 제어 대상의 기기 및 실행하는 동작으로서 특정하도록 구성되어도 된다.
본 발명의 양태에 관한 기기 제어 장치에 있어서, 판별 처리 정보에는, 탑승자의 자세를 나타내는 정보 및 손의 상태를 나타내는 정보의 조합마다, 탑승자의 자세 및 손의 상태의 유지 시간이 더 관련지어져 정의되어도 되고, 판별 처리부는, 제1 인식부 및 제2 인식부의 인식 결과와, 판별 처리 정보의 일치도에 기초하여, 제어 대상의 기기 및 실행하는 동작을 특정한 경우, 또한 제1 인식부에 의해 인식된 탑승자의 자세와, 제2 인식부에 의해 인식된 손의 상태가, 판별 처리 정보에 정의되는 유지 시간 이상 계속되었는지 여부를 판정하도록 구성되어도 되고, 제어부는, 판별 처리부에 의해 제어 대상의 기기 및 실행하는 동작이 특정되고, 또한 제1 인식부에 의해 인식된 탑승자의 자세와, 제2 인식부에 의해 인식된 손의 상태가, 판별 처리 정보에 정의되는 유지 시간 이상 계속되었다고 판정된 경우에, 제어 커맨드를 발행하도록 구성되어도 된다.
본 발명의 양태에 관한 기기 제어 장치는, 차량의 상태를 추정하는 차량 상태 추정부를 더 구비해도 되고, 판별 처리부는, 차량 상태 추정부가 추정한 차량의 상태에 기초하여, 특정된 동작을 허가할지 여부를 결정하도록 구성되어도 되고, 제어부는, 판별 처리부에 의해 제어 대상의 기기 및 실행하는 동작이 특정되고, 또한 특정된 동작을 허가한다고 결정된 경우에, 제어 커맨드를 발행하도록 구성되어도 된다.
본 발명의 양태에 관한 기기 제어 장치에 있어서, 제어부는, 제어 커맨드를 발행한 후, 소정의 조건을 만족시킨 경우에, 제어 커맨드에 의해 지시한 동작을 중지 또는 변경시키는 보조 커맨드를 발행하도록 구성되어도 된다.
본 발명의 양태에 의하면, 차량 탑재 기기에 대한 유저의 조작 지시를 고정밀도로 판별할 수 있는 기기 제어 장치를 제공할 수 있다.
본 발명의 예시적인 실시예의 특징, 이점 및 기술적 및 산업적 의의는 유사 요소들을 유사 도면 부호로 나타낸 첨부 도면을 참조로 하여 후술된다.
도 1은 제1 실시 형태에 관한 기기 제어 장치의 기능 블록도.
도 2는 제1 실시 형태에 관한 기기 제어 장치가 실행하는 제어 처리를 나타내는 흐름도.
도 3은 탑승자의 자세 검출 방법의 일례를 설명하기 위한 도면.
도 4는 제1 실시 형태에 관한 기기 제어 장치가 참조하는 판별 처리 테이블의 일례를 나타내는 도면.
도 5는 제1 실시 형태의 변형예에 관한 기기 제어 장치가 참조하는 판별 처리 테이블의 일례를 나타내는 도면.
도 6은 제1 실시 형태의 변형예에 관한 기기 제어 장치가 실행하는 제어 처리를 나타내는 흐름도.
도 7은 제2 실시 형태에 관한 기기 제어 장치의 기능 블록도.
도 8은 제2 실시 형태에 관한 기기 제어 장치가 실행하는 제어 처리를 나타내는 흐름도.
도 9는 제3 실시 형태에 관한 기기 제어 장치의 기능 블록도.
실시 형태에 관한 기기 제어 장치에 있어서는, 탑승자의 자세와 손의 형상의 조합에 기초하여, 미리 할당된 제어를 행한다. 제어 대상 기기 및 제어 내용의 판별에 탑승자의 자세를 편성해 넣음으로써, 탑승자에 의한 기기의 조작 지시를 고정밀도로 검출할 수 있다.
제1 실시 형태
<구성>
도 1은, 제1 실시 형태에 관한 기기 제어 장치의 기능 블록도이다.
기기 제어 장치(1)는, 통신 네트워크 또는 신호선을 통해 접속된 차량 탑재 기기(20)의 동작을 제어하는 장치이며, 촬상부(10)와, 제1 인식부(11)와, 제2 인식부(12)와, 판별 처리부(13)와, 제어부(14)를 구비한다. 기기 제어 장치(1)가 제어하는 차량 탑재 기기(20)로서, 예를 들어 파워 윈도우, 에어컨, 와이퍼, 스테레오, 내비게이션 시스템, 헤드라이트, 차내 조명 등을 들 수 있지만, 이들에 한정되는 것은 아니다.
촬상부(10)는, 카메라 등의 촬상 장치이며, 탑승자의 화상을 촬영한다. 촬상부(10)는, 탑승자의 상반신과, 상반신 근방의 공간에 배치되는 탑승자의 손을 촬상 가능한 위치(예를 들어, 차량 전방의 루프 부근의 위치)에 마련된다. 촬상부(10)는, 좌석마다 마련되어 1명의 탑승자를 촬상해도 되고, 차 내의 특정 위치에 마련되어 복수의 탑승자를 동시에 촬상해도 된다. 또한, 촬상부(10)에는, 가시광 카메라 및 적외선 카메라 모두 이용할 수 있다.
제1 인식부(11)는, 촬상부(10)에 의해 촬영된 화상에 기초하여, 탑승자의 자세를 인식한다. 본 실시 형태에서는, 제1 인식부(11)는, 촬영된 화상으로부터 탑승자의 골격을 검출한다. 탑승자의 골격은, 기지의 골격 검출 알고리즘에 의해 인식할 수 있고, 사람의 복수의 관절의 위치 정보의 조합에 의해 나타낼 수 있다.
제2 인식부(12)는, 촬상부(10)에 의해 촬영된 화상에 기초하여, 탑승자의 손의 상태를 추정한다. 여기서, 탑승자의 손의 상태라 함은, 손의 형상, 혹은 손의 형상과 손의 방향의 조합을 말한다. 탑승자의 손의 형상은, 손의 각 손가락의 접거나 편 상태, 인접하는 손가락의 간격, 손바닥의 형상 조합에 의해 구성된다. 손의 방향은, 편 손끝의 방향, 또는 손바닥의 방향에 의해 특정할 수 있다.
판별 처리부(13)는, 제1 인식부(11)에 의해 검출된 탑승자의 자세와, 제2 인식부(12)에 의해 검출된 손의 상태에 기초하여, 제어 대상의 차량 탑재 기기(20)와, 제어 대상의 차량 탑재 기기(20)에 실행시키는 동작을 특정한다. 판별 처리부(13)는, 탑승자의 자세를 나타내는 정보 및 손의 상태를 나타내는 정보의 조합마다, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작이 미리 관련지어진 판별 처리 테이블을 유지한다. 판별 처리부(13)는, 판별 처리 테이블을 참조하여, 제1 인식부(11) 및 제2 인식부(12)에 의한 인식 결과와, 판별 처리 테이블에 정의된 정보의 일치도에 기초하여, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작을 특정한다. 판별 처리 테이블은, 기기 제어 장치(1)가 구비하는 메모리 등의 기억 장치에 기억된다. 또한, 제어 대상의 차량 탑재 기기(20)라 함은, 탑승자의 자세 및 손의 상태의 조합에 의해, 탑승자가 최종적으로 동작시키고자 하는 기기를 말한다. 또한, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작을 특정하기 위해 판별 처리부(13)가 행하는 처리의 상세는 후술한다.
제어부(14)는, 판별 처리부(13)에 의해 특정된 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작에 대응하는 제어 커맨드를 생성하여 발행한다. 제어 커맨드에 의해 가능한 지시는 특별히 한정되지 않고, 제어 대상의 차량 탑재 기기(20)의 온 또는 오프, 동작 모드의 변경, 음량이나 온도, 밝기, 동작 속도와 같은 차량 탑재 기기(20)의 동작을 제어하는 지시 외에, 차량 탑재 기기(20)를 제어하기 위한 요구를 접수하는 동작을 실행하는 지시도 포함된다. 차량 탑재 기기(20)를 제어하기 위한 요구를 접수하는 동작으로서는, 예를 들어 음성 인식 장치에 음성 인식 처리를 개시시키는 동작을 들 수 있다. 특정된 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작에 대응하는 제어 커맨드라 함은, 실행하는 동작이 제어 대상의 차량 탑재 기기(20)에 의한 것인 경우는, 제어 대상의 차량 탑재 기기로 보내는 제어 커맨드가 해당되고, 실행하는 동작이 제어 대상의 차량 탑재 기기(20)와는 별도의 기기(음성 인식 장치 등)에 의한 것인 경우는, 당해 별도의 기기로 보내는 제어 커맨드가 해당된다.
또한, 제어부(14)는, 판별 처리부(13)에 의해 특정된 동작을 지시하는 제어 커맨드를 발행한 후, 미리 정해진 조건이 만족되면, 보조적인 동작을 지시하기 위한 보조 커맨드를 발행할 수 있다. 보조적인 동작으로서는, 제어 커맨드로 지시한 동작의 중지나 취소, 변경, 출력 조정 등을 들 수 있지만, 이들에 한정되는 것은 아니다. 또한, 제어부(14)가 보조 커맨드를 발행하기 위해 만족되어야 할 조건으로서는, 차 내에 마련된 스위치, 버튼, 레버, 다이얼 등의 입력 장치의 조작이 행해진 것이나, 제어 커맨드의 발행 계기가 된 탑승자의 자세 또는 손의 상태가 변화된 것, 보조 커맨드를 발행하기 위해 미리 정해진 탑승자의 자세 또는 손의 상태가 검출된 것, 탑승자에 의해 특정한 단어가 발화된 것 등을 들 수 있지만, 이들에 한정되는 것은 아니다. 또한, 보조 커맨드의 발행 계기로서 탑승자의 자세 또는 손의 상태를 이용하는 경우, 탑승자의 자세 및 손의 상태는, 각각 제1 인식부(11) 및 제2 인식부(12)에서 검출할 수 있다.
예를 들어, 제어부(14)는, 탑승자의 자세 및 손의 상태의 조합에 기초하여 특정된, 조수석의 창문을 여는 조작을 지시하는 제어 커맨드를 발행한 후, 스티어링 휠에 마련된 어느 스위치(통상은, 창문의 조작에 사용되지 않는 스위치)가 조작된 것을 조건으로 하여, 창문의 개방 동작을 정지시키기 위한 보조 커맨드를 발행할 수 있다. 제어부(14)가 이러한 보조 커맨드를 발행함으로써, 운전석의 탑승자는, 운전 중에 스티어링 휠로부터 손을 떼는 일 없이 조수석의 창문의 개방 동작을 정지할 수 있다. 또한, 제어부(14)는, 탑승자의 자세 및 손의 상태의 조합에 기초하여 특정된, 음성 인식 처리의 개시를 지시하는 제어 커맨드를 발행한 후, 탑승자의 자세가 변화된 것을 조건으로 하여, 음성 인식 처리의 중지를 지시하는 보조 커맨드를 발행할 수 있다. 제어부(14)가 이러한 보조 커맨드를 발행함으로써, 특단의 조작을 행하는 일 없이, 신속하게 개시한 음성 인식 처리를 중지할 수 있다. 제어부(14)가 보조 커맨드를 발행 가능함으로써, 제어 대상의 차량 탑재 기기(20)의 사용 편의성을 향상시킬 수 있다. 보조 커맨드는, 제어 대상의 차량 탑재 기기(20)를 보다 사용하기 쉽게 하기 위한 것이고, 여기서 언급한 조작을 중지하는 예 외에도, 제어 커맨드로 지시한 조작을 중지하고 원래의 상태로 복귀시키는 지시나(조작의 취소), 제어 커맨드로 지시한 조작을 중지하고 다른 조작을 행하는 지시나(조작의 변경), 제어 커맨드로 지시한 조작을 개시한 후, 온도나 음량, 밝기 등의 출력을 변경하는 지시(출력 조정) 등을 보조 커맨드로 행해도 된다.
<제어 처리>
이하, 도 1∼도 4를 아울러 참조하면서, 제1 실시 형태에 관한 기기 제어 장치의 상세를 설명한다.
도 2는 제1 실시 형태에 관한 기기 제어 장치가 실행하는 제어 처리를 나타내는 흐름도이고, 도 3은 탑승자의 자세 검출 방법의 일례를 설명하기 위한 도면이고, 도 4는 제1 실시 형태에 관한 기기 제어 장치가 참조하는 판별 처리 테이블의 일례를 나타내는 도면이다. 또한, 도 2에 나타내는 처리는, 차량이 시동된 것을 계기로 개시되고, 엔진 정지 또는 전원 오프될 때까지(종료 조건이 만족될 때까지), 소정의 인터벌로 반복하여 실행되는 처리이다.
스텝 S1: 촬상부(10)는, 탑승자의 화상을 촬영한다. 촬상부(10)가 촬영하는 것은, 좌석에 착좌한 탑승자의 상반신 및 손을 포함하는 범위의 화상이다. 또한, 이하의 설명에서는, 촬상부(10)가 차량의 전방측의 루프 부근에 마련되어 있어, 전방 상방으로부터 탑승자를 촬영하는 것으로 한다. 그 후, 처리는 스텝 S2로 진행한다.
스텝 S2: 제1 인식부(11)는, 촬상부(10)에 의해 촬상된 화상으로부터 탑승자의 자세를 검출한다. 상술한 바와 같이, 탑승자의 자세는, 골격 인식에 기초하여 산출된 탑승자의 관절의 위치 정보의 조합에 의해 나타낼 수 있다. 예를 들어, 제1 인식부(11)는, 도 3에 나타내는 바와 같이, 골격 인식을 행함으로써, 탑승자의 머리, 목부, 허리, 우측 어깨, 우측 팔꿈치, 우측 손목, 좌측 어깨, 좌측 팔꿈치 및 좌측 손목의 각각의 3차원 좌표를 취득하고, 3차원 좌표의 조합인 골격 좌표열을 생성함으로써, 탑승자의 자세를 표현할 수 있다. 그 후, 처리는 스텝 S3으로 진행한다.
스텝 S3: 판별 처리부(13)는, 제1 인식부(11)에 의해 인식된 탑승자의 자세가, 판별 처리 테이블에 등록되어 있는지 여부를 판정한다. 판별 처리 테이블은, 도 4에 나타내는 바와 같이, 탑승자의 자세를 나타내는 정보와, 탑승자의 손의 상태를 나타내는 정보와, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작을 관련지어 정의한다. 도 4의 판별 처리 테이블의 예에서는, 탑승자의 자세를 나타내는 정보로서, 골격 좌표열이 정의되어 있다. 골격 좌표열은, 도 3에 나타내는 각 부의 3차원 좌표를 일정한 순서로 배열한 것이며, 골격 패턴을 나타낸다. 판별 처리부(13)는, 제1 인식부(11)에 의해 생성된 탑승자의 골격 좌표열을, 판별 처리 테이블에 등록된 골격 좌표열의 각각과 순차 비교하여, 양쪽의 골격 좌표열의 일치도에 기초하여, 제1 인식부(11)에 의해 생성된 골격 좌표열이 등록되어 있는지 여부를 판정한다. 판별 처리부(13)는, 제1 인식부(11)에 의해 생성된 골격 좌표열과, 판별 처리 테이블에 등록된 골격 좌표열의 어긋남을 어느 정도 허용할 수 있어, 양쪽의 골격 좌표열의 각 좌표가 완전히 일치하지 않아도, 각 좌표의 거리 차가 소정의 역치 이내라면, 제1 인식부(11)에 의해 생성된 골격 좌표열이, 판별 처리 테이블에 등록되어 있다고 판정할 수 있다. 스텝 S3의 판정이 "예"인 경우, 처리는 스텝 S4로 진행하고, 그 이외의 경우, 처리는 스텝 S1로 진행한다.
탑승자는 차 내에서 착좌하고 있어, 탑승자가 취할 수 있는 자세는, 상반신으로 취할 수 있는 자세에 한정된다. 판별 처리 테이블에 등록하는 탑승자의 자세는, 상반신으로 취할 수 있는 자세 중에서도, 운전 조작 중이라도 취하기 쉬운 자세이며, 서로 구별이 되기 쉬운 자세인 것이 바람직하고, 운전 조작 중에 탑승자가 취할 수 있는 자세와는 상이한 자세인 것이 보다 바람직하다. 예를 들어, 탑승자는, 운전 조작 중에는 차 내에서 상반신을 크게 기울이거나, 비틀거나 하는 자세는 취하기 어렵다. 그래서 판별 처리 테이블에 등록하는 탑승자의 자세는, 헤드부 또는 어깨의 관절 위치에 대해 팔꿈치 및 손목의 관절 위치를 변경한 복수의 자세로 하는 것이 바람직하다. 구체적으로는, 손목을 머리부의 우측, 좌측, 전방측 중 어느 쪽에 배치한 자세나, 손목이나 팔꿈치를 어깨의 상측 또는 하측에 배치한 자세 등이 검출하기 쉽다.
스텝 S4: 제2 인식부(12)는, 촬상부(10)에 의해 촬상된 화상으로부터 탑승자의 손의 상태를 검출한다. 상술한 바와 같이, 탑승자의 손의 상태는, 손의 형상, 또는 손의 형상과 손의 방향에 의해 나타낼 수 있다. 예를 들어, 제2 인식부(12)는, 심층 학습에 기초하는 화상 인식에 의해 탑승자의 손의 형상과 손의 방향을 인식할 수 있다. 그 후, 처리는 스텝 S5로 진행한다.
스텝 S5: 판별 처리부(13)는, 제2 인식부(12)에 의해 인식된 손의 상태가, 판별 처리 테이블에 등록되어 있는지 여부를 판정한다. 판별 처리 테이블은, 도 4에 나타내는 바와 같이, 손의 상태로서, 손의 형상, 또는 손의 형상과 손(손끝)의 방향의 조합이 정의되어 있다. 도 4의 판별 처리 테이블의 예에서는, 손의 형상으로서, 바위 모양(모든 손가락을 구부려 쥔 모양), 보자기 모양(모든 손가락을 뻗어서 편 모양), V 사인의 모양, 집게 손가락을 세운 모양이 정의되어 있고, 집게 손가락을 세운 손의 모양에는, 집게 손가락의 손끝 방향이 조합되어 있다. 도 4의 예에서는, 집게 손가락을 세운 손의 모양에 대해서만 손(손끝)의 방향이 정의되어 있지만, 다른 손의 형상에 대해서도 손(손끝)의 방향을 정의해도 된다. 또한, 손의 방향은, 손끝의 방향에 한정되지 않고, 손바닥 혹은 손등의 방향으로 정의해도 된다. 단, 손(손끝)의 방향은 필수는 아니며, 손의 형상만으로 손의 상태를 정의해도 된다. 판별 처리부(13)는, 제2 인식부(12)에 의해 인식된 손의 형상과 손의 방향(손끝 방향)의 조합이, 판별 처리 테이블에 등록된 손의 상태와 일치하는지 여부에 의해, 등록의 유무를 판정한다. 스텝 S5의 판정이 "예"인 경우, 처리는 스텝 S6으로 진행하고, 그 이외의 경우, 처리는 스텝 S1로 진행한다.
스텝 S6: 판별 처리부(13)는, 제1 인식부(11)에 의해 인식된 탑승자의 자세와, 제2 인식부(12)에 의해 인식된 탑승자의 손의 상태의 조합에 대해, 제어 처리, 즉, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작이 판별 정보 테이블에 등록되어 있는지 여부를 판정한다. 예를 들어, 도 4의 예에 있어서, 탑승자의 자세가 {(x2, y2, z2), ···}라고 인식되고, 또한 손의 형상이 「집게 손가락」이고, 손끝 방향이 「(촬상부에서 보아) 우측」이라고 인식된 경우, 이 인식된 자세 및 손의 상태의 조합에 대해 판별 처리 테이블에는, 제어 대상의 차량 탑재 기기(20)로서 「조수석 창문」이, 동작으로서 「음성 인식 작동」이 등록되어 있다. 이 경우, 판별 처리부(13)는, 스텝 S6에서 "예"라고 판정한다. 스텝 S6의 판정이 "예"인 경우, 처리는 스텝 S7로 진행하고, 그 이외의 경우, 처리는 스텝 S1로 진행한다.
또한, 판별 처리 테이블에는, 제어 대상의 차량 탑재 기기(20)를 직접 제어하는 동작과, 제어 대상의 차량 탑재 기기(20)와는 별도의 기기를 통해 제어 대상의 차량 탑재 기기(20)를 제어하는 동작을 등록할 수 있다. 도 4의 예에 있어서, 에어컨을 ON 또는 OFF하는 동작이나 와이퍼를 서비스 모드로 설정하는 동작이, 제어 대상의 차량 탑재 기기(20)를 직접 제어하는 동작에 해당된다. 또한, 도 4의 예에 있어서, 조수석 창문이나 슬라이드 루프를 제어하기 위해 음성 인식 처리를 작동시키는 동작이, 별도의 기기를 통해 제어 대상의 차량 탑재 기기(20)를 제어하는 동작에 해당된다.
스텝 S7: 제어부(14)는, 판별 처리부(13)에 의한 판별 결과에 기초하여, 제어 커맨드 생성 처리를 행한다. 제어부(14)는, 인식된 탑승자의 자세 및 손의 상태의 조합에 대해 등록된 제어 대상의 차량 탑재 기기(20)에 대해 등록된 동작을 지시하는 제어 커맨드를 생성한다. 예를 들어, 도 4의 예에 있어서, 탑승자의 자세가 {(x2, y2, z2), ···}라고 인식되고, 또한 손의 형상이 「집게 손가락」이고, 손끝 방향이 「(촬상부에서 보아) 우측」이라고 인식된 경우, 조수석의 창문을 조작하기 위해 음성 인식 처리를 개시시키는 제어 커맨드를 생성한다. 이 제어 커맨드는, 음성 인식 처리를 개시하기 위해 스티어링 휠 등에 마련되는 음성 인식 버튼이 눌러진 경우에 발행되는 것과 등가인 커맨드이다. 또한, 조수석의 창문을 조작하기 위한 음성 인식 처리에서는, 조수석의 창문을 개방하거나 또는 폐쇄하기 위한 지시인, 「창문 열어」나 「창문 닫아」 등의 발화를 인식한다.
또한, 음성 인식 처리는, 제어 대상의 차량 탑재 기기(20)가 음성 인식부를 구비하는 경우는, 차량 탑재 기기(20)의 음성 인식부가 행해도 되고, 기기 제어 장치(1)에 마련된 도시하지 않은 음성 인식부가 행해도 되고, 기기 제어 장치(1)와 통신 네트워크 또는 신호선을 통해 접속된 음성 인식 장치가 행해도 된다.
또한, 스텝 S7에 있어서, 제어부(14)는 또한, 소정의 조건이 만족되었을 때에 행하는 동작을 지시하기 위한 보조 커맨드를 생성할 수 있다. 상술한 바와 같이, 보조 커맨드는, 제어 커맨드로 지시한 동작이 개시된 후에 발행되어, 제어 대상의 차량 탑재 기기(20)에 대해 보조적인 동작을 지시하기 위한 커맨드이다. 보조 커맨드를 생성할지 여부 및 생성하는 보조 커맨드의 내용은, 판별 처리 테이블에 있어서, 자세와 손의 상태의 조합마다 등록해 두어도 되고, 제어 대상의 차량 탑재 기기(20)와 동작의 조합마다 정해져 있어도 된다. 예를 들어, 스텝 S7에 있어서, 조수석의 창문을 조작하기 위해 음성 인식을 작동시키는 제어 커맨드를 생성한경우, 제어부(14)는 창문의 개방 동작 또는 폐쇄 동작을 정지시키기 위한 보조 커맨드나, 조수석의 창문의 조작 지시를 접수하는 음성 인식 처리를 중지하기 위한 보조 커맨드를 생성할 수 있다. 이들 보조 커맨드를 발행하기 위해 만족되어야 할 조건으로서는, 차 내에 마련된 어느 버튼이 눌러진 것이나, 스텝 S2에서 인식된 자세 또는 스텝 S5에서 인식된 손의 상태가 변화된 것 등을 설정할 수 있다.
제어부(14)가 제어 커맨드와 필요에 따라서 보조 커맨드를 생성한 후, 처리는 스텝 S8로 진행한다.
스텝 S8: 제어부(14)는, 스텝 S7에서 생성한 제어 커맨드를 발행한다. 또한, 제어부(14)가, 음성 인식 장치 등의 별도의 기기를 통해 제어 대상의 차량 탑재 기기(20)를 제어하는 경우, 당해 별도의 기기가 제어 대상의 차량 탑재 기기(20)에 대해 제어 커맨드를 송출해도 되고, 당해 별도의 기기의 처리 결과에 기초하여 제어부(14)가 차량 탑재 기기(20)에 대해 제어 커맨드를 송출해도 된다. 그 후, 처리는 스텝 S9로 진행한다.
스텝 S9: 제어부(14)는, 차량의 엔진 정지나 전원 오프 등의 처리의 종료 조건이 만족되었는지 여부를 판정한다. 스텝 S9의 판정이 "예"인 경우, 처리를 종료하고, 그 이외의 경우, 처리는 스텝 S1로 진행한다.
<효과 등>
손의 형상이나 손의 움직임(제스처)만으로 제어 대상의 차량 탑재 기기와 실행하는 동작을 특정하는 구성에서는, 주행 중의 진동에 의한 손의 위치 변화나 운전 조작을 위한 손의 움직임이 있으므로, 손의 형상이나 움직임을 항시 정확하게 인식하는 것은 곤란하다. 따라서, 탑승자가 의도한 대로 차량 탑재 기기를 제어할 수 없거나, 탑승자의 손의 형상이나 움직임이 등록된 것과 우연히 일치하여 예기치 않은 차량 탑재 기기의 동작이 행해지거나 할 가능성이 있다. 인식하기 쉬운 손의 형상이나 움직임(제스처)을 검출 대상으로 하는 것도 생각할 수 있지만, 이 경우, 손의 형상이나 움직임에 할당 가능한 기능의 수가 적어지므로, 손의 형상이나 움직임으로 지시 가능한 조작이 한정되어 버린다.
이에 비해, 본 실시 형태에 관한 기기 제어 장치(1)에서는, 탑승자의 촬영 화상으로부터 검출한 자세 및 손의 상태의 조합에 기초하여, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작을 특정한다. 탑승자의 자세는, 각 관절의 상대적인 배치에 의해 구별되므로, 손의 형상이나 움직임과 비교하면, 자세마다의 각 관절의 위치 차가 명확하여, 손의 형상이나 움직임보다 판별하기 쉽다. 탑승자의 촬영 화상에 기초하여 탑승자에 의한 차량 탑재 기기(20)의 조작 지시를 접수하는 장치에 있어서, 본 실시 형태와 같이, 조작 지시에 탑승자의 자세를 편성해 넣음으로써, 조작 지시의 판별 정밀도를 향상시킬 수 있다. 또한, 본 실시 형태와 같이, 탑승자의 자세와 손의 상태의 조합에 대해 조작 대상의 차량 탑재 기기(20) 및 실행하는 동작을 할당하는 경우, 탑승자의 자세에만, 또는, 손의 상태에만 조작 대상의 차량 탑재 기기(20) 및 실행하는 동작을 할당하는 경우에 비해, 할당 가능한 기능을 많게 할 수 있다. 차량의 주행 중의 진동이나 운전 조작에 의한 손의 움직임을 고려하면, 검출 대상으로 하는 손의 상태는, 인식하기 쉬운 것으로 하는 것이 바람직하다. 이 경우, 검출 대상으로 하는 손의 상태의 종류가 제한되게 되지만, 본 실시 형태와 같이, 탑승자의 자세를 조합함으로써, 인식 정밀도가 높은 손의 형상을 채용하면서, 할당 가능한 기능의 수를 증가시킬 수 있다.
제1 실시 형태의 변형예
도 5는, 제1 실시 형태의 변형예에 관한 기기 제어 장치가 참조하는 판별 처리 테이블의 일례를 나타내는 도면이다.
본 변형예에 관한 기기 제어 장치의 기본적인 구성은, 제1 실시 형태에 관한 기기 제어 장치(1)와 동일하지만, 판별 처리부가 참조하는 판별 처리 테이블의 내용과, 제어 대상의 차량 탑재 기기 및 실행하는 동작을 특정하기 위해 판별 처리부가 행하는 처리가 상이하다. 이하, 도 1, 도 5 및 도 6을 아울러 참조하면서, 본 변형예와 제1 실시 형태의 상이점을 중심으로 설명한다.
도 5에 나타내는 바와 같이, 본 변형예에 관한 판별 처리 테이블에는, 탑승자의 자세를 나타내는 정보 및 손의 상태를 나타내는 정보의 조합마다, 또한 탑승자의 자세 및 손의 상태의 유지 시간이 관련지어져 있다. 유지 시간은, 이것에 관련지어진 탑승자의 자세와 손의 상태가 의도적으로 행해졌는지, 우연히 발생하였는지를 구별하기 위해 사용하는 역치이다. 탑승자의 자세와 손의 상태가 정의된 유지 시간 이상 계속된 경우에, 탑승자에 의해 의도적인 조작 지시가 행해졌다고 간주할 수 있다.
도 6은, 제1 실시 형태의 변형예에 관한 기기 제어 장치가 실행하는 제어 처리를 나타내는 흐름도이다. 도 6에 나타내는 흐름도는, 도 2에 나타낸 흐름도의 스텝 S6 및 스텝 S7 사이에 스텝 S20을 삽입한 것이다.
스텝 S20: 판별 처리부(13)가, 제1 인식부(11)에 의해 인식된 탑승자의 자세와, 제2 인식부(12)에 의해 인식된 탑승자의 손의 상태의 조합에 대해, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작이 등록되어 있다고 판정한 경우(스텝 S6에서 "예"), 판별 처리부(13)는, 도 5에 나타낸 판별 처리 테이블을 참조하여, 인식된 탑승자의 자세 및 손의 상태의 조합에 관련지어진 유지 시간을 취득한다. 판별 처리부(13)는, 타이머를 개시하고, 인식된 탑승자의 자세 및 손의 상태의 계속 시간을 계측하여, 탑승자의 자세 및 손의 상태가, 판별 처리 테이블로부터 취득한 유지 시간 이상 계속되었는지 여부를 판정한다. 스텝 S20의 판정이 "예"인 경우, 처리는 스텝 S7로 진행하고, 그 이외의 경우, 처리는 스텝 S1로 진행한다.
예를 들어, 탑승자의 자세가 {(x3, y3, z3), ···}이라고 제1 인식부(11)에 의해 인식되고, 또한 손의 형상이 「V 사인」이라고 제2 인식부(12)에 의해 인식된 경우, 도 5의 판별 처리 테이블의 예에서는, 인식된 자세 및 손의 상태의 조합에 대해, 제어 대상의 차량 탑재 기기로서 「에어컨」이, 실행하는 동작으로서 「ON」이 등록되고, 또한 유지 시간으로서 「1000밀리초」가 등록되어 있다. 판별 처리부는, 탑승자의 자세 {(x3, y3, z3), ···} 및 손의 형상 「V 사인」이 인식되고 나서의 계속 시간을 타이머로 계측하여, 인식된 자세 및 손의 상태가 1000밀리초 이상 계속되면, 에어컨을 ON 하기 위한 제어 커맨드와, 필요에 따라서, 상술한 보조 커맨드를 생성하여 송출한다. 한편, 유지 시간인 1000밀리초가 경과하기 전에, 탑승자의 자세 {(x3, y3, z3), ···} 및 손의 형상 「V 사인」 중 적어도 한쪽이 인식되지 않게 되면, 제어 커맨드의 생성은 행하지 않고, 탑승자의 자세 및 손의 상태의 인식 처리를 계속한다.
본 변형예에 관한 기기 제어 장치에서는, 판별 처리부(13)가, 탑승자의 자세 및 손의 상태의 조합이 유지 시간 이상 계속되었는지 여부를 판정함으로써, 인식된 탑승자의 자세 및 손의 상태의 조합이 의도적으로 행해졌는지, 혹은 우연히 발생한 것일지를 판별할 수 있다. 따라서, 본 변형예에 관한 기기 제어 장치에 의하면, 탑승자가 의도적으로 행한 차량 탑재 기기(20)의 조작 요구의 판별 정밀도를 더 향상시킬 수 있다.
운전 조작 중에는, 예를 들어 시프트 레버나 스티어링 휠을 쥠으로써 「바위 모양」에 가까운 손의 형상이 발생하거나, 클락션 버튼을 누름으로써 「보자기 모양」에 가까운 손의 형상이 발생하거나 하는 경우가 있다. 상기한 제1 실시 형태에서도, 손의 형상뿐만 아니라 탑승자의 자세를 조합하여 조작 지시를 판정하기 위해, 손의 형상만으로 판정하는 경우와 비교하여 판정 정밀도가 높게 되어 있다. 그러나 「바위 모양」이나 「보자기 모양」과 같이 발생 빈도가 높은 손의 형상을 조작 지시에 이용하고 있는 경우, 탑승자의 자세에 따라서는, 우연히 잘못된 판별이 이루어질 가능성이 있다. 본 변형예에 관한 기기 제어 장치에서는, 운전 조작 등에서 발생하기 쉬운 손의 형상을 조작 지시의 판별에 이용한 경우라도, 우연히 잘못된 판별이 이루어질 가능성을 저감할 수 있다.
또한, 본 변형예에 있어서, 판별 처리 테이블에 등록된 탑승자의 자세 및 손의 상태의 조합의 각각에 대해, 자세 및 손의 상태의 인식이 유지 시간 이상 계속되지 않은 횟수를 기록하여, 기록한 횟수가 소정의 역치보다 높은 자세 및 손의 상태의 조합을 무효화하거나, 기록한 횟수가 소정의 역치보다 높은 자세 및 손의 상태의 조합의 유지 시간을 더 길게 하거나 해도 된다. 탑승자의 자세 및 손의 상태의 조합이 유지 시간 이상 계속되지 않는 빈도가 높은 경우, 당해 조합의 지시가 우연히 발생하기 쉽거나, 혹은 탑승자의 착각 등에 의해 잘못하여 당해 조합의 지시를 선택하기 쉽다고 생각할 수 있다. 그래서 자세 및 손의 상태의 조합이 유지 시간 이상 계속되지 않는 빈도가 높은 조합에 대해, 삭제 또는 유지 시간의 변경을 행함으로써, 이러한 조합이 우발적으로 선택되어 버리는 것을 방지할 수 있다. 또한, 판별 처리 테이블에 등록된 자세 및 손의 상태의 조합을 무효화하거나, 당해 조합에 관련지어진 유지 시간을 갱신하거나 하는 경우는, 차 내의 표시부 등으로 유저에 대해 통지를 행해도 된다.
또한, 도 4 및 도 5의 예에서는, 골격 좌표열을 구성하는 각 관절의 위치는, 특정한 좌표가 아닌, 좌표의 범위로 나타내도 된다. 또한, 각 관절의 좌표는, 미리 정해진 기준점을 기준으로 한 상대 좌표로 나타내도 되고, 카메라의 촬상 범위에 미리 고정된 좌표계의 좌표값으로 나타내도 된다.
제2 실시 형태
도 7은, 제2 실시 형태에 관한 기기 제어 장치의 기능 블록도이다.
본 실시 형태에 관한 기기 제어 장치(2)는, 제1 실시 형태에 관한 기기 제어 장치(1)의 판별 처리부(13) 대신에 판별 처리부(15)를 마련하고, 또한 차량 상태 추정부(16)를 마련한 것이다. 이하, 본 실시 형태와 제1 실시 형태의 상이점을 중심으로 설명한다.
차량 상태 추정부(16)는, 통신 네트워크 또는 신호선을 통해 접속되는 다른 제어 장치나 센서류로부터, 차량의 동작에 관한 각종 차량 신호를 취득하고, 취득한 차량 신호에 기초하여 차량의 상태를 추정한다. 차량 상태 추정부(16)가 취득하는 차량 신호로서는, 예를 들어 차속, 액셀러레이터 페달 조작량, 브레이크 페달 조작량, 시프트 레인지, 각 도어의 개폐 상태, 각 도어의 로크 상태 등을 나타내는 신호를 들 수 있지만, 이들에 한정되는 것은 아니다. 차량 상태 추정부(16)가 추정하는 차량의 상태로서는, 예를 들어 주행 중, 정차 중, 주차 중, 승차 또는 하차 중 등을 들 수 있지만, 이들에 한정되는 것은 아니다. 차량 상태 추정부(16)는, 추정한 차량의 상태를 판별 처리부(15)에 출력한다.
판별 처리부(15)는, 제1 인식부(11)에 의해 인식된 탑승자의 자세와, 제2 인식부(12)에 의해 인식된 탑승자의 손의 상태에 기초하여, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작을 특정한 경우, 차량 상태 추정부(16)에 의해 추정된 차량의 상태에 기초하여, 특정한 동작의 실행 가능 여부를 판정한다. 예를 들어, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작과, 당해 동작의 실행을 허가(또는 금지)하는 차량의 상태를 관련지은 정보를 미리 준비해 두고, 판별 처리부(15)가 이 정보를 참조하여, 특정한 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작을 허가할지 여부를 판정할 수 있다. 동작을 허가(또는 금지)하는 차량의 상태는, 판별 처리 테이블(도 4 및 도 5)에 정의되어 있어도 되고, 판별 처리 테이블과는 다른 정보로서 정의되고 있어도 된다. 또한, 판별 처리부(15)가 행하는, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작의 특정 방법은, 제1 실시 형태와 동일하다.
판별 처리부(15)에 의해, 탑승자의 자세 및 손의 상태에 기초하여 특정된 동작의 실행이 가능하다고 판정된 경우, 제어부(14)는, 특정된 동작을 지시하기 위한 제어 커맨드를 생성하여 발행한다.
도 8은, 제2 실시 형태에 관한 기기 제어 장치가 실행하는 제어 처리를 나타내는 흐름도이다. 도 8에 나타내는 흐름도는, 도 2에 나타낸 흐름도의 스텝 S6 및 스텝 S7 사이에 스텝 S25 및 스텝 S26을 삽입한 것이다.
스텝 S25: 판별 처리부(15)가, 제1 인식부(11)에 의해 인식된 탑승자의 자세와, 제2 인식부(12)에 의해 인식된 탑승자의 손의 상태의 조합에 대해, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작이 등록되어 있다고 판정한 경우(스텝 S6에서 "예"), 차량 상태 추정부(16)는, 차량 신호에 기초하여 차량의 상태를 추정한다. 차량 상태 추정부는, 예를 들어 차속, 액셀러레이터 페달 조작량, 브레이크 페달 조작량, 시프트 레인지, 각 도어의 개폐 상태, 각 도어의 로크 상태 등을 나타내는 신호 중 1개 또는 2개 이상의 조합에 기초하여, 주행 중, 정차 중, 주차 중, 승차 또는 하차 중 등의 차량 상태를 추정할 수 있다.
스텝 S26: 판별 처리부(15)는, 차량 상태 추정부(16)에 의해 추정된 차량의 상태에 기초하여, 스텝 S6에서 특정한 동작을 허가할지 여부를 판정한다. 상술한 바와 같이, 특정한 동작의 실행 가능 여부는, 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작과, 당해 동작의 실행을 허가(또는 금지)하는 차량의 상태를 미리 관련지은 정보를 참조함으로써 판정할 수 있다. 스텝 S26의 판정이 "예"인 경우, 처리는 스텝 S7로 진행하고, 그 이외의 경우, 처리는 스텝 S1로 진행한다.
본 실시 형태에 관한 기기 제어 장치(2)에 있어서는, 탑승자의 자세 및 손의 상태에 기초하여 특정된 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작을, 차량의 상태에 따라서 허가하거나 제한하거나 하는 것이 가능하다. 따라서, 예를 들어 차량의 주행 중에, 카 내비게이션 시스템의 조작이나 창문의 개방 조작을 금지하거나, 차량의 주행 중에, 운전 조작에 의해 발생하기 쉬운 자세나 손의 상태에 할당된 동작이 우연히 실행되어 버리는 것을 억제하거나, 차량의 정차 시에, 탑승자의 승강에 의해 발생하기 쉬운 자세나 손의 상태에 할당된 동작이 우연히 실행되어 버리는 것을 억제하거나 하는 것이 가능하다. 본 실시 형태에 관한 기기 제어에 의하면, 탑승자의 자세 및 손의 상태에 기초하는 차량 탑재 기기(20)의 조작을 차량의 상태에 따라서 세밀하게 제어할 수 있다. 또한, 특정한 차량의 상태에서 발생하기 쉬운 탑승자의 자세 및 손의 상태를, 당해 특정한 차량의 상태에서만 무효화하고, 다른 차량의 상태에서는, 차량 탑재 기기(20)의 조작에 이용 가능해지므로, 기능을 할당 가능한 탑승자의 자세 및 손의 상태의 조합을 증가시킬 수 있다.
또한, 본 실시 형태에서는, 차량의 상태에 따라서, 탑승자의 자세 및 손의 상태에 기초하여 특정된 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작의 가능 여부를 결정하는 예를 설명하였지만, 차량의 상태마다 판별 처리 테이블을 준비하고, 차량의 상태에 따라서, 탑승자의 자세 및 손의 상태에 기초하여 특정되는 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작을 상이하게 해도 된다. 또한, 차량의 상태에 따라, 탑승자의 자세 및 손의 상태에 기초하여 특정되는 동작만을 상이하게 해도 된다. 이와 같이 하면, 예를 들어 탑승자가 차량 탑재 기기(20)의 조작을 지시할 때의 자세 및 손의 상태는 동일해도, 예를 들어 차량의 정차 중과 주행 중에서, 조작 대상의 차량 탑재 기기나 지시하는 조작 내용을 바꿀 수 있어, 탑승자의 자세 및 손의 상태에 기초하는 차량 탑재 기기(20)의 조작을 차량의 상태에 따라서 더욱 세밀하게 제어할 수 있다.
또한, 본 실시 형태에서 설명한, 차량의 상태에 기초하는 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작의 결정은, 제1 실시 형태의 변형예에도 적용 가능하다. 구체적으로는, 도 6의 스텝 S20과 스텝 S7 사이에, 도 8의 스텝 S25 및 스텝 S26을 삽입하고, 인식된 자세 및 손의 상태의 조합이 유지 시간 이상 계속된 경우에(스텝 S20에서 "예"), 차량 상태 추정부(16)가 취득한 차량 상태에 기초하여, 판별 처리부(15)가 인식된 자세 및 손의 상태의 조합에 의해 특정된 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작의 가능 여부를 판정하여, 허가한다고 판정한 경우에(스텝 S26에서 "예"), 제어부(14)가 제어 커맨드를 생성하여 발행하면 된다(스텝 S7). 이 제어에 의하면, 탑승자의 자세 및 손의 상태에 기초하는 차량 탑재 기기(20)의 조작을 차량의 상태에 따라서 더욱 세밀하게 제어하면서, 탑승자가 의도적으로 행한 차량 탑재 기기(20)의 조작 요구의 판별 정밀도를 더 향상시킬 수 있다.
제3 실시 형태
도 9는, 제3 실시 형태에 관한 기기 제어 장치의 기능 블록도이다.
본 실시 형태에 관한 기기 제어 장치(3)는, 촬상부(10) 및 제어부(17)를 갖는 차량 탑재 장치(25)와, 제1 인식부(31), 제2 인식부(32) 및 판별 처리부(33)를 갖는 외부 장치(30)를 구비한다. 외부 장치(30)는, 예를 들어 무선 통신에 의해 차량 탑재 장치(25)와 통신 가능한 서버나, 유선 통신 또는 무선 통신에 의해 차량 탑재 장치(25)와 통신 가능한 스마트폰이다. 외부 장치(30)가 스마트폰인 경우, USB, LAN, Bluetooth(등록 상표) 등으로 차량 탑재 장치와 접속할 수 있지만, 접속 방식은 이들에 한정되는 것은 아니다.
촬상부(10), 제1 인식부(31), 제2 인식부(32), 판별 처리부(33) 및 제어부(17)는 각각, 제1 실시 형태 또는 제1 실시 형태의 변형예에서 설명한 촬상부(10), 제1 인식부(11), 제2 인식부(12), 판별 처리부(13) 및 제어부(14)와 동일하다. 단, 본 실시 형태에서는, 제1 인식부(31), 제2 인식부(32) 및 판별 처리부(33)가 차량 탑재 장치(25)와는 별도의 외부 장치(30)에 있어서, 촬상부(10)가 촬영한 탑승자의 화상은, 유선 통신 또는 무선 통신에 의해 제1 인식부(31) 및 제2 인식부(32)로 송신된다. 마찬가지로, 판별 처리부(33)의 판정 결과(탑승자의 자세 및 손의 상태의 인식 결과에 대응한 제어 대상의 차량 탑재 기기(20) 및 실행하는 동작, 인식된 탑승자의 자세 및 손의 상태가 유지 시간 이상 계속된 것)은, 유선 통신 또는 무선 통신에 의해 제어부(17)로 송신된다.
본 실시 형태에서는, 판별 처리부(33)를 외부 장치(30)에 마련하고 있으므로, 판별 처리부(33)가 참조하는 판별 처리 테이블도 외부 장치(30)의 기억 장치에 기억된다. 차량의 외부의 장치에 판별 처리 테이블을 기억시키면, 스마트폰이나 웹 애플리케이션 등을 사용하여, 유저가 판별 처리 테이블의 내용을 변경함으로써, 자세 및 손의 상태의 조합으로 지시 가능한 차량 탑재 기기(20) 및 그 조작을 기호에 맞추어 커스터마이즈할 수 있다.
또한, 본 실시 형태에서는, 차량 탑재 장치(25)의 촬상부(10)를 사용하여 탑승자의 화상을 촬영하는 구성으로 하였지만, 외부 장치(30)가 카메라를 구비하는 스마트폰이나 태블릿인 경우는, 외부 장치(30)의 카메라를 촬상부(10)로서 이용해도 된다.
또한, 본 실시 형태의 차량 탑재 장치(25) 및 촬상부(10)의 구성은, 상기한 제2 실시 형태에 적용해도 된다. 이 경우, 차량 탑재 장치(25)에 도 7에 나타낸 차량 상태 추정부(16)를 마련하여, 유선 통신 또는 무선 통신에 의해, 차량 상태 추정부(16)가 추정한 차량의 상태를 판별 처리부(33)로 송신해도 된다. 혹은, 외부 장치(30)가 스마트폰이나 태블릿인 경우는, 도 7에 나타낸 차량 상태 추정부(16)를 외부 장치(30)에 마련해도 된다. 차량 상태 추정부(16)를 외부 장치(30)에 마련하는 경우, 외부 장치(30)가 구비하는 가속도 센서나 GPS 등을 이용하여 차량의 상태를 판정해도 된다.
그 밖의 변형예
상기한 기기 제어 장치는, 운전석의 탑승자뿐만 아니라, 조수석이나 뒷좌석의 탑승자도 조작 지시의 검출 대상으로 해도 된다. 이 경우, 탑승자의 착석 위치마다 판별 처리 테이블을 준비하여, 탑승자의 착석 위치마다 조작 가능한 차량 탑재 기기(20) 또는 가능한 조작을 바꾸는 것이 가능해진다.
또한, 상기한 기기 제어 장치에서는, 인식된 자세와 판별 처리 테이블의 일치도를 판정하여, 인식된 손의 상태와 판별 처리 테이블의 데이터의 일치도를 판정하고, 그 후에, 인식된 자세 및 손의 상태의 조합에 관련지어진, 제어 대상의 차량 탑재 기기 및 실행하는 동작을 특정하고 있지만, 특정 방법은 이것에 한정되는 것은 아니다. 예를 들어, 인식된 자세에 일치하는 데이터를 판별 처리 테이블로부터 추출하고, 인식된 손의 상태와 추출된 데이터의 일치도를 판정함으로써, 제어 대상의 차량 탑재 기기 및 실행하는 동작을 특정해도 된다. 혹은, 인식된 자세 및 손의 상태의 양쪽과 판별 처리 테이블의 데이터의 일치도를 판정함으로써, 제어 대상의 차량 탑재 기기 및 실행하는 동작을 특정해도 된다.
또한, 상기한 기기 제어 장치에 있어서, 판별 처리 테이블을 유저마다 등록해 두고, 승차 시에 유저에 따라서 판별 처리 테이블을 전환해도 된다. 예를 들어, 판별 처리 테이블의 등록 시에는, 판별 정보 테이블에 유저를 특정하기 위한 식별 정보(코드나 생체 정보 등)를 관련지어 두고, 승차 시에는, 유저의 식별 정보를 입력하고, 입력된 식별 정보에 관련지어진 판별 처리 테이블을 취득하면 된다. 유저의 식별 정보로서는, 지문이나 얼굴의 화상을 이용할 수 있다. 유저의 식별 정보로서 얼굴의 화상을 이용하는 경우, 승차 시에 촬상부가 유저의 얼굴을 촬영함으로써, 유저를 식별해도 된다. 또한, 제3 실시 형태에 있어서, 외부 장치로서 카메라를 구비하는 스마트폰이나 태블릿을 사용하는 경우는, 승차 시에, 외부 장치의 지문 또는 얼굴 인식 기능에 의해 유저를 식별해도 된다.
또한, 상기한 기기 제어 장치에 있어서, 판별 처리 테이블은, 차량에 탑재되는 기억 장치에 기억되어도 되고, 차량의 외부 장치(서버나 스마트폰, 태블릿 등)의 기억 장치에 기억되어도 된다. 또한, 승차 시나 차량의 시동 시 등에, 판별 처리 테이블을 외부 장치로부터 취득하여 차량에 탑재되는 기억 장치에 기억해도 된다.
또한, 상기한 기기 제어 장치에 있어서, 탑승자의 자세의 인식 결과를 골격 좌표열로서 출력하는 예를 설명하였지만, 좌표열이 아닌, 기계 학습에 기초하는 추상적인 출력으로 해도 된다. 예를 들어, 대량의 화상을 사용하여, 뒷좌석 돌아보기, 조수석의 물건 찾기, 시트벨트 장착 자세 등의 추상적인 개념을 학습하고, 탑승자의 촬영 화상에 기초하여, 탑승자의 자세를 추상적인 개념으로서 출력해도 된다.
또한, 상기한 기기 제어 장치에 있어서, 손의 상태로서, 손을 좌우로 흔들거나, 손을 올렸다 내렸다 하거나, 손가락을 접거나 펴는 등의 손의 움직임(제스처)을 인식해도 된다. 이 경우, 차량 주행 중의 진동이나 운전 조작에 의해 손의 움직임이 정확하게 인식되지 않을 가능성을 고려하여, 인식 대상으로 하는 손의 움직임은, 가능한 한 단순한 것으로 하는 것이 바람직하다.
본 발명은, 차량 탑재 기기를 제어하기 위한 기기 제어 장치로서 이용할 수 있다.

Claims (6)

  1. 차량에 탑재된 기기를 제어하는 기기 제어 장치(1, 2, 3)에 있어서,
    차량의 탑승자의 화상을 촬상하도록 구성되는 촬상부(10)와,
    상기 촬상부(10)에 의해 촬상된 화상에 기초하여, 탑승자의 자세를 인식하도록 구성되는 제1 인식부(11, 31)와,
    상기 촬상부(10)에 의해 촬상된 화상에 기초하여, 적어도 탑승자의 손의 형상을 포함하는, 손의 상태를 인식하도록 구성되는 제2 인식부(12, 32)와,
    상기 제1 인식부(11, 31)에 의해 인식된 탑승자의 자세와, 상기 제2 인식부(12, 32)에 의해 인식된 손의 상태에 기초하여, 제어 대상의 기기 및 실행하는 동작을 특정하도록 구성되는 판별 처리부(13, 15, 33)와,
    특정된 제어 대상의 기기 및 실행하는 동작에 대응하는 제어 커맨드를 발행하도록 구성되는 제어부(14, 17)를 포함하는, 기기 제어 장치.
  2. 제1항에 있어서,
    상기 판별 처리부(13)는, 탑승자의 자세를 나타내는 정보와, 손의 상태를 나타내는 정보와, 기기를 나타내는 정보와, 동작을 나타내는 정보가 미리 관련지어진 판별 처리 정보를 참조하여, 제어 대상의 기기 및 실행하는 동작을 특정하도록 구성되는, 기기 제어 장치.
  3. 제2항에 있어서,
    상기 판별 처리 정보에는, 상기 탑승자의 자세를 나타내는 정보로서, 골격 좌표열에 의해 나타나는 골격 패턴이 정의되고, 상기 손의 상태를 나타내는 정보로서, 손의 형상, 혹은 손의 형상 및 방향의 조합이 정의되고,
    상기 제1 인식부(11)는, 상기 촬상부(10)에 의해 촬상된 화상으로부터 탑승자의 골격 좌표열을 인식하도록 구성되고,
    상기 제2 인식부(12)는, 상기 촬상부(10)에 의해 촬상된 화상으로부터 탑승자의 손의 형상 및 방향을 인식하도록 구성되고,
    상기 판별 처리부(13)는, 상기 제1 인식부(11) 및 상기 제2 인식부(12)의 인식 결과와, 상기 판별 처리 정보의 일치도에 기초하여, 인식된 탑승자의 자세 및 손의 상태에 관련지어진 기기 및 동작을, 제어 대상의 기기 및 실행하는 동작으로서 특정하도록 구성되는, 기기 제어 장치.
  4. 제2항에 있어서,
    상기 판별 처리 정보에는, 상기 탑승자의 자세를 나타내는 정보 및 상기 손의 상태를 나타내는 정보의 조합마다, 상기 탑승자의 자세 및 상기 손의 상태의 유지 시간이 더 관련지어져 정의되어 있고,
    상기 판별 처리부(13)는, 상기 제1 인식부(11) 및 상기 제2 인식부(12)의 인식 결과와, 상기 판별 처리 정보의 일치도에 기초하여, 제어 대상의 기기 및 실행하는 동작을 특정한 경우, 또한 상기 제1 인식부(11)에 의해 인식된 탑승자의 자세와, 상기 제2 인식부(12)에 의해 인식된 손의 상태가, 상기 판별 처리 정보에 정의되는 유지 시간 이상 계속되었는지 여부를 판정하도록 구성되고,
    상기 제어부(14)는, 상기 판별 처리부(13)에 의해 제어 대상의 기기 및 실행하는 동작이 특정되고, 또한 상기 제1 인식부(11)에 의해 인식된 탑승자의 자세와, 상기 제2 인식부(12)에 의해 인식된 손의 상태가, 상기 판별 처리 정보에 정의되는 유지 시간 이상 계속되었다고 판정된 경우에, 상기 제어 커맨드를 발행하도록 구성되는, 기기 제어 장치.
  5. 제1항에 있어서,
    차량의 상태를 추정하는 차량 상태 추정부(16)를 더 포함하고,
    상기 판별 처리부(15)는, 상기 차량 상태 추정부(16)가 추정한 차량의 상태에 기초하여, 특정된 동작을 허가할지 여부를 결정하도록 구성되고,
    상기 제어부(14)는, 상기 판별 처리부(15)에 의해 제어 대상의 기기 및 실행하는 동작이 특정되고, 또한 특정된 동작을 허가한다고 결정된 경우에, 상기 제어 커맨드를 발행하도록 구성되는, 기기 제어 장치.
  6. 제1항에 있어서,
    상기 제어부(14)는, 상기 제어 커맨드를 발행한 후, 소정의 조건을 만족시킨 경우에, 상기 제어 커맨드에 의해 지시한 동작을 중지 또는 변경시키는 보조 커맨드를 발행하도록 구성되는, 기기 제어 장치.
KR1020190079219A 2018-10-01 2019-07-02 기기 제어 장치 KR102303556B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2018-186567 2018-10-01
JP2018186567A JP7091983B2 (ja) 2018-10-01 2018-10-01 機器制御装置

Publications (2)

Publication Number Publication Date
KR20200037725A true KR20200037725A (ko) 2020-04-09
KR102303556B1 KR102303556B1 (ko) 2021-09-17

Family

ID=67145577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190079219A KR102303556B1 (ko) 2018-10-01 2019-07-02 기기 제어 장치

Country Status (5)

Country Link
US (1) US11023786B2 (ko)
EP (1) EP3633538B8 (ko)
JP (1) JP7091983B2 (ko)
KR (1) KR102303556B1 (ko)
CN (1) CN110968184B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11437031B2 (en) * 2019-07-30 2022-09-06 Qualcomm Incorporated Activating speech recognition based on hand patterns detected using plurality of filters
US11590929B2 (en) * 2020-05-05 2023-02-28 Nvidia Corporation Systems and methods for performing commands in a vehicle using speech and image recognition
JP7203436B2 (ja) * 2020-11-13 2023-01-13 ディープインサイト株式会社 ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム
JP2022183652A (ja) * 2021-05-31 2022-12-13 本田技研工業株式会社 移動体制御システム、移動体制御方法、及び移動体制御プログラム
CN114771442A (zh) * 2022-04-29 2022-07-22 中国第一汽车股份有限公司 一种车辆个性化设置方法及车辆
WO2023214451A1 (ja) * 2022-05-02 2023-11-09 ディープインサイト株式会社 ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080074577A (ko) * 2007-02-09 2008-08-13 주식회사 현대오토넷 차량의 주행중 내비게이션 규제 장치 및 방법
US20110158546A1 (en) * 2009-12-25 2011-06-30 Primax Electronics Ltd. System and method for generating control instruction by using image pickup device to recognize users posture
KR20140059109A (ko) * 2012-11-07 2014-05-15 삼성전자주식회사 Hci 시스템 및 방법
KR20180044757A (ko) * 2016-10-24 2018-05-03 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004303251A (ja) 1997-11-27 2004-10-28 Matsushita Electric Ind Co Ltd 制御方法
CN102112945B (zh) 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
US8396252B2 (en) * 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
JP2011253292A (ja) 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP2013205983A (ja) 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US9684372B2 (en) 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
JP6030430B2 (ja) 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
KR101534742B1 (ko) * 2013-12-10 2015-07-07 현대자동차 주식회사 차량용 제스처 인식 시스템 및 그 방법
JP6413647B2 (ja) 2014-10-31 2018-10-31 三菱自動車工業株式会社 操作入力装置
US10140533B1 (en) * 2015-01-13 2018-11-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating data representative of vehicle occupant postures
US9988055B1 (en) * 2015-09-02 2018-06-05 State Farm Mutual Automobile Insurance Company Vehicle occupant monitoring using infrared imaging
US9996757B1 (en) * 2016-06-14 2018-06-12 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for detecting various actions of a vehicle operator
JP6956333B2 (ja) 2017-02-10 2021-11-02 パナソニックＩｐマネジメント株式会社 車両用入力装置
JP6820533B2 (ja) * 2017-02-16 2021-01-27 パナソニックＩｐマネジメント株式会社 推定装置、学習装置、推定方法、及び推定プログラム
DE102017216837A1 (de) * 2017-09-22 2019-03-28 Audi Ag Gestik- und Mimiksteuerung für ein Fahrzeug
JP6962878B2 (ja) * 2018-07-24 2021-11-05 本田技研工業株式会社 操作補助システムおよび操作補助方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080074577A (ko) * 2007-02-09 2008-08-13 주식회사 현대오토넷 차량의 주행중 내비게이션 규제 장치 및 방법
US20110158546A1 (en) * 2009-12-25 2011-06-30 Primax Electronics Ltd. System and method for generating control instruction by using image pickup device to recognize users posture
KR20140059109A (ko) * 2012-11-07 2014-05-15 삼성전자주식회사 Hci 시스템 및 방법
KR20180044757A (ko) * 2016-10-24 2018-05-03 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
JP2020057139A (ja) 2020-04-09
CN110968184A (zh) 2020-04-07
EP3633538B1 (en) 2023-09-27
US11023786B2 (en) 2021-06-01
EP3633538B8 (en) 2023-11-01
JP7091983B2 (ja) 2022-06-28
US20200104629A1 (en) 2020-04-02
KR102303556B1 (ko) 2021-09-17
CN110968184B (zh) 2023-09-01
EP3633538A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
KR102303556B1 (ko) 기기 제어 장치
CN104460974B (zh) 车辆操纵装置
US10417510B2 (en) System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
KR101438615B1 (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
KR20150054042A (ko) 차량 및 그 제어방법
KR101459445B1 (ko) 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP6515028B2 (ja) 車両用操作装置
CN113994312A (zh) 通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置
JP6342874B2 (ja) 画像認識装置
JP6581482B2 (ja) 画像認識装置
JP4613999B2 (ja) 行動推定装置、プログラム
JP4683123B2 (ja) 行動推定装置、プログラム
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
JP2006312346A (ja) コマンド入力装置
KR20140079025A (ko) 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법
CN107107756B (zh) 通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法
WO2017017938A1 (ja) ジェスチャ操作システム、方法およびプログラム
KR20130076214A (ko) 운전자의 포인팅 제스처를 이용한 차량 구동 장치 및 그 방법
JP2017149273A (ja) 車載装置、車両用システム、及びプログラム
CN118270001A (zh) 车辆的控制方法及其装置、车辆的驾驶系统和车辆
JP2023114459A (ja) ドライバ推定装置、制御方法、プログラム及び記憶媒体
JP2006134038A (ja) 車載用顔面データ登録装置及び車両における顔面データ登録方法
JP2009179069A (ja) 車両用個人認証装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant