KR102559138B1 - 차량용 비 접촉식 제어 시스템 - Google Patents

차량용 비 접촉식 제어 시스템 Download PDF

Info

Publication number
KR102559138B1
KR102559138B1 KR1020230009940A KR20230009940A KR102559138B1 KR 102559138 B1 KR102559138 B1 KR 102559138B1 KR 1020230009940 A KR1020230009940 A KR 1020230009940A KR 20230009940 A KR20230009940 A KR 20230009940A KR 102559138 B1 KR102559138 B1 KR 102559138B1
Authority
KR
South Korea
Prior art keywords
vehicle
hand
information
vehicle occupant
control
Prior art date
Application number
KR1020230009940A
Other languages
English (en)
Inventor
김희연
Original Assignee
에이아이다이콤 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이아이다이콤 (주) filed Critical 에이아이다이콤 (주)
Application granted granted Critical
Publication of KR102559138B1 publication Critical patent/KR102559138B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K37/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B60K2370/1464—
    • B60K2370/152—
    • B60K2370/157—
    • B60K2370/158—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

차량용 비 접촉식 제어 시스템이 개시된다. 차량용 비 접촉식 제어 시스템은 차량의 실내에 장착되며 영상 정보가 표시되는 디스플레이부; 차량 탑승자의 손동작 정보를 포함하는 제어용 영상 정보를 생성하는 영상 정보 생성부; 및 기 학습된 인공지능 알고리즘으로 상기 제어용 영상 정보를 분석하여 상기 손동작 정보로부터 제어 신호를 생성하고, 상기 제어 신호에 따라 상기 디스플레이부에 표시되는 상기 영상 정보를 제어하는 제어부를 포함한다.

Description

차량용 비 접촉식 제어 시스템{Non-contact control system for vehicle}
본 발명은 차량용 비 접촉식 제어 시스템에 관한 것으로, 보다 상세하게는 차량에 장착된 디스플레이부와 스피커를 비 접촉 방식으로 제어할 수 있는 차량용 비 접촉식 제어 시스템에 관한 것이다.
차량은 탑승자에게 편리한 환경을 제공하고, 다양한 컨텐츠를 즐길 수 있도록 발전해 나가고 있다. 이를 위해, GPS(Global Positioning Systems)를 이용한 네비게이션 시스템, 라디오, CD 플레이어, 디스플레이, 블루투스 통신장치 등이 차량에 장착된다. 그리고 이들 장치의 제어를 위해 노브(knobs), 버튼, 다이얼 및 터치 패널 등 다양한 제어 장치가 제공된다.
상기 제어 장치는 탑승자의 시선이 주행 방향에서 벗어나게 하므로 안전에 위협이 될 수 있다. 이러한 문제를 해결하기 위해 탑승자의 제스처 또는 손 동작으로 시스템이 반응할 수 있는 제스처 기반 인터페이스가 최근 개발되고 있다.
제스처 기반 인터페이스는 RGB 카메라를 통해 탑승자의 손 동작을 인식하고 이를 분석하여 제어 신호를 생성한다. 그러나 RGB 카메라에서 획득된 가시광선 이미지는 차량이 터널을 통과하거나 야간 주행을 할 경우 탑승자의 손 동작을 정확하게 인식하는데 한계가 있다.
한국공개특허공보 제10-2021-0057358호(2021.05.21 공개)
본 발명은 탑승자의 손 동작을 정확하게 인식할 수 있는 차량용 비 접촉식 제어 시스템을 제공한다.
또한, 본 발명은 디스플레이부의 영상 정보와 스피커의 소리 출력을 비 접촉 방식으로 제어할 수 있는 차량용 비 접촉식 제어 시스템을 제공한다.
본 발명에 따른 차량용 비 접촉식 제어 시스템은 차량의 실내에 장착되며 영상 정보가 표시되는 디스플레이부; 차량 탑승자의 손동작 정보를 포함하는 제어용 영상 정보를 생성하는 영상 정보 생성부; 및 기 학습된 인공지능 알고리즘으로 상기 제어용 영상 정보를 분석하여 상기 손동작 정보로부터 제어 신호를 생성하고, 상기 제어 신호에 따라 상기 디스플레이부에 표시되는 상기 영상 정보를 제어하는 제어부를 포함한다.
또한, 상기 영상 정보 생성부는, 상기 차량 탑승자의 손동작을 촬영하여 적외선 이미지를 획득하는 스테레오 카메라; 및 상기 차량 탑승자의 손동작을 촬영하여 열화상 이미지로 획득하는 열화상 카메라를 포함하고, 상기 제어부는 상기 적외선 이미지를 처리하여 상기 차량 탑승자의 손 영역에 대한 깊이 정보를 얻고, 상기 깊이 정보와 상기 열화상 이미지의 2차원 정보를 교정하여 상기 차량 탑승자의 손 영역에 대해 픽셀 단위로 3차원 위치 정보를 얻고, 상기 3차원 위치 정보로부터 상기 차량 탑승자의 손가락 모양과 손 움직임을 산출하고, 상기 차량 탑승자의 손가락 모양과 손 움직임으로부터 상기 제2어 신호를 생성할 수 있다.
또한, 상기 제어부는, 상기 열화상 이미지에 나타난 온도에 따른 색상 변화를 통해 상기 차량 탑승자의 손 영역을 추출하고, 상기 손 영역에 나타난 열 분포 패턴으로부터 손가락 영역을 추출하고, 상기 손가락 영역의 끝점을 기준으로 제1반경의 제1기준 원을 그리고 상기 제1기준 원과 교차하는 상기 손가락의 한 쌍의 경계 점을 잇는 선분을 이등분하는 지점을 제1기준 점으로 주출하고, 상기 손가락 영역의 끝점을 기준으로 상기 제1반경 보다 큰 제2반경의 제2기준 원을 그리고 상기 제2기준 원과 겹치는 상기 손가락의 한 쌍의 경계 점을 잇는 선분을 이등분하는 지점을 제2기준 점으로 주출하고, 상기 제1기준 점과 상기 제2기준 점을 이용하여 상기 손가락 모양을 산출할 수 있다.
또한, 상기 차량 내에 장착되며, 상기 차량 탑승자에게 촉각 신호를 전달하는 햅틱 디바이스를 더 포함하되, 상기 제어부는 상기 제어 신호에 따라 상기 햅틱 디바이스를 제어할 수 있다.
또한, 상기 햅틱 디바이스는 상기 차량 내 복수 개의 시트에 각각 장착되어 진동을 발생시키는 복수 개의 진동 모듈을 포함하며, 상기 제어부는 상기 시트 각각에 탑승한 탑승자가 생성하는 제어 신호에 따라 서로 상이한 진동 패턴으로 진동하도록 상기 진동 모듈을 제어할 수 있다.
또한, 상기 디스플레이부는 복수 개 제공되고, 상기 시트들 전방에 각각 설치되며, 상기 제어부는 상기 제어 신호에 따라 상기 디스플레이부 전체를 제어하는 전체 제어 모드와 상기 디스플레이부를 개별 제어하는 개별 제어 모드를 포함하고, 상기 전체 제어 모드에서, 상기 제어 신호를 발생시키지 않는 차량 탑승자가 탑승한 시트에 장착된 진동 모듈은 상기 제어 신호를 발생시키는 차량 탑승자가 탑승한 시트에 장착된 진동 모듈에서 발생하는 진동 패턴과 동기화되어 진동을 발생시킬 수 있다.
또한, 상기 차량의 실내에 장착되며, 소리를 출력하는 스피커를 더 포함하되, 상기 제어부는 상기 제어 신호에 따라 상기 스피커의 소리 출력을 제어할 수 있다.
본 발명에 의하면, 적외선 이미지에서 생성된 깊이 정보를 열화상 이미지의 2차원 정보와 결합하여 3차원 공간 정보를 획득하고, 열화상 이미지를 통해 탑승자의 손 모양 정보를 획득하고, 열화상 이미지의 프레임별로 3차원 공간 정보의 변화를 추적하여 탑승자의 손 움직임 정보를 획득할 수 있다. 이로 인해 차량이 터널을 통과하거나 야간을 주행하는 경우에도 정확한 제어 신호가 생성되어 디스플레이부의 영상 정보와 스피커의 소리 출력을 제어할 수 있다.
도 1은 본 발명의 실시 예에 따른 차량용 비 접촉식 제어 시스템이 차량에 장착된 모습을 나타내는 도면이다.
도 2는 도 1의 차량용 비 접촉식 제어 시스템을 나타내는 도면이다.
도 3은 스테레오 카메라에서 생성된 적외선 이미지들과 적외선 이미지들로부터 생성된 깊이 정보 이미지를 나타내는 도면이다.
도 4는 적외선 이미지로부터 깊이 정보 이미지를 생성하고, 깊이 정보 이미지와 열화상 이미지를 캘리브레이션하여 차량 탑승자의 손 동작에 대한 3차원 공간 정보를 획득하는 과정을 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 진동 모듈의 고유 진동 패턴을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따라 인공지능 알고리즘이 열화상 이미지로부터 차량 탑승자의 손 모양 정보와 손 움직임 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 인공지능 알고리즘이 열화상 이미지로부터 차량 탑승자의 손 모양 정보와 손 움직임 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 인공지능 알고리즘이 열화상 이미지로부터 차량 탑승자의 손 모양 정보와 손 움직임 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따른 다양한 손동작 제스처를 나타내는 도면이다.
도 10은 본 발명의 다른 실시 예에 따른 차량용 비 접촉식 제어 시스템이 장착된 차량의 측면도이다.
도 11은 도 10의 차량용 비 접촉식 제어 시스템이 장착된 차량의 평면도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
또한, 본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.
명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.
도 1은 본 발명의 실시 예에 따른 차량용 비 접촉식 제어 시스템이 차량에 장착된 모습을 나타내는 도면이고, 도 2는 도 1의 차량용 비 접촉식 제어 시스템을 나타내는 도면이고, 도 3은 스테레오 카메라에서 생성된 적외선 이미지들과 적외선 이미지들로부터 생성된 깊이 정보 이미지를 나타내는 도면이고, 도 4는 적외선 이미지로부터 깊이 정보 이미지를 생성하고, 깊이 정보 이미지와 열화상 이미지를 캘리브레이션하여 차량 탑승자의 손 동작에 대한 3차원 공간 정보를 획득하는 과정을 나타내는 도면이다.
도 1 내지 도 4를 참조하면, 차량용 비 접촉식 제어 시스템(10)은 차량(20)의 실내에 장착되며, 디스플레이부(100)에 표시된 영상 정보와 스피커(200)에서 출력되는 소리를 차량 탑승자가 비 접촉 방식으로 제어할 수 있다. 디스플레이부(100)에 표시된 영상 정보는 문자 정보, 음악 정보, 스틸 이미지, 동영상 컨텐츠, 그리고 게임 컨텐츠 등을 포함할 수 있다.
차량용 비 접촉식 제어 시스템(10)은 디스플레이부(100), 스피커(200), 영상 정보 생성부(300), 햅틱 디바이스(400), 그리고 제어부(500)를 포함한다.
디스플레이부(100)는 차량(20) 내에 장착된다. 디스플레이부(100)는 복수 개 제공되며, 영상 정보를 표시한다. 디스플레이부(100)는 차량(20)에 탑승한 차량 탑승자가 영상 정보를 시청할 수 있는 위치에 각각 설치된다. 실시 예에 의하면, 디스플레이부(100)는 차량(20)에 제공된 각 시트(21 내지 24)의 전방에 설치될 수 있다. 구체적으로, 디스플레이부(100)는 운전석(21) 전방, 조수석(22) 전방, 운전석(21) 등받이 뒷면, 조수석(22) 등받이 뒷면에 각각 설치될 수 있다. 또한, 디스플레이부(100)는 차량(20)의 천정과 도어의 내측면에 각각 설치될 수 있다.
스피커(200)는 디스플레이부(100)에서 재생되는 소리 정보를 외부로 출력한다. 스피커(200)는 복수 개 제공되며, 개별 디스플레이부(100)와 연동하여 소리를 출력할 수 있다. 스피커(200)는 복수의 스피커(200)에서 출력되는 소리의 간섭이 최소화되는 위치에 설치될 수 있다. 일 예에 의하면, 스피커(200)는 차량 시트(21 내지 24)의 전방에 설치될 수 있다. 이 경우, 스피커(200)에서 출력되는 소리가 전달되는 각도 범위가 최소화되도록 지향성 스피커가 사용될 수 있다. 다른 예에 의하면, 스피커(200)는 차량 시트(21 내지 24)의 헤드 레스트(head rest) 내에 제공될 수 있다.
영상 정보 생성부(300)는 차량(20) 내 소정의 위치에 설치되며, 차량(20)에 탑승한 차량 탑승자의 손동작 정보를 포함하는 영상 정보를 생성한다. 영상 정보 생성부(300)는 차량 탑승자의 개별 영상 정보를 생성할 수 있다. 이를 위해, 영상 정보 생성부(300)는 차량 시트(21 내지 24)들 각각의 전방에 제공될 수 있다. 본 실시 예에서는 영상 정보 생성부(300)가 디스플레이부(100)와 일체로 제공되는 것을 예를 들어 설명한다. 그러나, 이에 국한되지 않으며, 영상 정보 생성부(300)가 디스플레이부(100)와 분리되어 제공될 수 있다.
영상 정보 생성부(300)는 스테레오 카메라(310)와 열화상 카메라(350)를 포함한다.
스테레오 카메라(310)는 차량 탑승자의 손동작을 촬영하여 적외선 이미지를 생성한다. 일 예에 의하면, 스테레오 카메라(310)은 제1적외선 카메라(311), 제2적외선 카메라(312), 그리고 적외선 프로젝터(313)를 포함한다.
제1적외선 카메라(311)는 디스플레이부(100)의 제1위치에 위치하며, 차량 탑승자의 손동작을 촬영하여 제1적외선 이미지를 생성한다.
제2적외선 카메라(312)는 디스플레이부(100)의 제2위치에 위치하며, 차량 탑승자의 손동작을 촬영하여 제2적외선 이미지를 생성한다. 상기 제2위치는 디스플레이부 디스플레이부(100)의 폭 방향으로 제1위치로부터 소정 거리 이격된 지점이다.
적외선 프로젝터(313)는 제1적외선 카메라(311)와 제2적외선 카메라(312) 사이에 위치하며, 차량 탑승자의 손이 움직이는 공간에 대해 도트 이미지(dots image)를 생성한다.
열화상 카메라(350)는 차량 탑승자의 손이 움직이는 공간에 대해 열화상 이미지를 생성한다. 열화상 카메라(350)는 소정 간격을 유지하여 스테레오 카메라(310)의 일 측에 위치할 수 있다. 차량 탑승자의 손 온도는 주변보다 높기 때문에, 열화상 이미지 상에서 손 영역이 주변과 다른 색상으로 표시되고, 손 영역 내에서 손가락 영역은 다른 영역과 다른 열 분포 패턴을 보인다.
햅틱 디바이스(400)는 차량 내에 장착되며, 차량 탑승자에게 촉각 신호를 전달한다. 실시 예에 의하면, 햅틱 디바이스(400)는 복수의 진동 모듈(410 내지 440)을 포함한다. 진동 모듈(410 내지 440)들 각각은 차량 시트(21 내지 24) 내에 장착되며, 진동을 발생시켜 차량 탑승자에게 촉각 신호를 전달한다. 진동 모듈(410 내지 440)은 차량 시트(21 내지 24) 중 엉덩이 받침부에 설치될 수 있다. 이와 달리, 진동 모듈(410 내지 440)은 차량 시트(21 내지 24) 중 등받이 부분에 설치될 수 있다. 진동 모듈(410 내지 440)은 각자 고유한 진동 패턴을 가질 수 있다.
도 5는 본 발명의 일 실시 예에 따른 진동 모듈의 고유 진동 패턴을 나타내는 도면이다.
도 5를 참조하면, 첫 번째 차량 시트(21)에 장착된 제1 진동 모듈(410)은 한 번의 짧은 진동과 긴 진동의 조합으로 고유 진동 패턴을 가질 수 있다. 두 번째 차량 시트(22)에 장착된 제2 진동 모듈(420)은 두 번의 짧은 진동과 긴 진동의 조합으로 고유 진동 패턴을 가질 수 있다. 세 번째 차량 시트(23)에 장착된 제3 진동 모듈(430)은 세 번의 짧은 진동과 긴 진동의 조합으로 고유 진동 패턴을 가질 수 있다. 네 번째 차량 시트(24)에 장착된 제4 진동 모듈(440)은 네 번의 짧은 진동과 긴 진동의 조합으로 고유 진동 패턴을 가질 수 있다. 상술한 고유 진동 패턴은 일 예이며, 다양하게 변경 가능하다.
또한, 진동 모듈(410 내지 440)은 제어부(500)의 제어로 고유 진동 패턴과 다른 진동 패턴으로 진동할 수 있다. 일 예에 의하면, 제어부(500)의 제어로, 어느 하나의 고유 진동 패턴으로 다른 진동 모듈들이 진동할 수 있다. 예를 들어 두 번째 내지 네 번째 차량 시트(22 내지 24)에 장착된 제2 내지 제4 진동 모듈(420 내지 440)은 제1진동 모듈(410)의 고유 진동 패턴으로 진동할 수 있다.
제어부(500)는 영상 정보 생성부(300)에서 수신된 적외선 이미지(321 내지 323)와 열화상 이미지(351)를 통해 제어 신호를 생성하고, 제어 신호에 따라 디스플레이부(100)에 출력되는 영상 정보를 제어하고, 스피커(200)에서 출력되는 소리를 제어한다. 또한, 제어부(500)는 제어 신호에 따라 햅틱 디바이스(400)를 제어할 수 있다. 진동 모듈(410 내지 440)은 제어부(500)의 제어로 다양한 패턴으로 진동을 발생시킬 수 있다. 이하 제어부(500)의 제어 과정에 대해 구체적으로 설명한다.
제어부(500)는 스테레오 카메라(310)로부터 제1적외선 이미지(321), 제2적외선 이미지(322), 그리고 도트 이미지(323)를 수신하고, 열화상 카메라(350)로부터 열화상 이미지(351)를 수신한다.
제어부(500)는 제1적외선 이미지(321)와 제2적외선 이미지(322), 그리고 도트 이미지(323)를 캘리브레이션(calibration, 324)하여 깊이 정보 이미지(325)를 생성한다. 깊이 정보 이미지(325)는 차량 탑승자의 손동작에 대한 3차원 깊이 정보, 즉 Z 좌표값을 포함한다. 깊이 정보 이미지(325)는 각 픽셀마다 Z 좌표값을 가진다.
제어부(500)는 열화상 이미지(351)에서 차량 탑승자의 손 영역을 인식하고, 손 영역 내에서 2차원 정보, 즉 X 좌표값과 Y 좌표값을 픽셀 단위로 산출한다. 제어부(500)는 열화상 이미지(351)에 나타난 색상 정보를 통해 손의 경계 영역과 각 손가락의 끝점, 그리고 팔의 경계 영역을 인식하고, 이들을 직선 연결하여 차량 탑승자의 손 영역(40)을 인식할 수 있다. 그리고 손 영역에서 색상과 열 분포 패턴을 통해 손바닥과 손가락을 구분할 수 있다.
제어부(500)는 깊이 정보 이미지(325)와 열화상 이미지(351)를 캘리브레이션하여 차량 탑승자의 손 동작에 대한 3차원 공간 정보(330)를 획득한다. 구체적으로, 제어부(500)는 깊이 정보 이미지(325)의 각 픽셀에서 Z좌표값을 획득하고, 깊이 정보 이미지(325)의 픽셀에 대응하는 열화상 이미지(350)의 픽셀에서 X좌표값 및 Y좌표값을 획득하여, 해당 픽셀에 대한 XYZ 좌표값을 산출한다. 이로 인해, 열화상 이미지(350)의 각 픽셀에 대해 3차원 공간 정보(330)가 획득될 수 있다.
제어부(500)는 기 학습된 인공지능 알고리즘을 이용하여, 열화상 이미지(350)로부터 차량 탑승자의 손 모양 정보를 획득하고, 열화상 이미지(350)의 프레임별로 상기 3차원 공간 정보를 이용하여 상기 차량 탑승자의 손 움직임 정보를 획득하며, 손 모양 정보와 손 움직임 정보를 통해 제어 신호를 생성한다.
도 6은 본 발명의 일 실시 예에 따라 인공지능 알고리즘이 열화상 이미지로부터 차량 탑승자의 손 모양 정보와 손 움직임 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 인공지능 알고리즘은 열화상 이미지(351)에서 각각의 손가락 영역으로부터 2개의 점 좌표(352, 353)를 획득한다. 하나의 점 좌표(352)는 손가락 끝점에서 획득될 수 있고, 다른 하나의 점 좌표(353)는 손가락과 손바닥의 경계 영역에서 획득될 수 있다. 인공지능 알고리즘은 손가락 영역들 각각에서 획득된 두 개의 점 좌표(352, 353)를 통해 해당 손가락의 접힘 또는 펼침 상태를 인식할 수 있다. 구체적으로, 두 개의 점 좌표(352, 353)를 잇는 선분의 길이와 이들의 길이 차이를 비교하여 개별 손가락의 접힘 또는 펼침 상태를 인식할 수 있다. 이러한 방법으로 차량 탑승자의 손 모양 정보를 획득할 수 있다.
그리고 인공지능 알고리즘은 2개의 점 좌표(352, 353)가 갖는 X좌표값, Y좌표값, 그리고 Z좌표값을 열화상 이미지(351)의 프레임별로 추적하여 차량 탑승자의 손 움직임 정보를 획득할 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 인공지능 알고리즘이 열화상 이미지로부터 차량 탑승자의 손 모양 정보와 손 움직임 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 인공지능 알고리즘은 열화상 이미지로(351)부터 손 영역(40)을 인식한다. 손 영역(40)은 앞에서 설명한 바와 같이, 손의 경계 영역과 각 손가락의 끝점, 그리고 팔의 경계 영역을 통해 인식한다. 인공지능 알고리즘은 손 영역(40)에서 기준점(A), 교차점(C1 내지 C4), 그리고 손목 기준점(D1, D2)을 도출한다.
기준점(A)은 손 바닥 영역에서 인식한다. 일 예에 의하면, 기준 점(A)은 손 바닥 영역의 중심 점이 될 수 있다.
교차점(C1 내지 C4)은 손가락들 사이에서 추출된다. 구체적으로, 5개의 손가락 중 인접한 손가락 영역의 끝 점(B1 내지 B5)끼리 연결하여 연결선(L1)을 도출하고, 연결선(L1)과 인접한 손가락 영역의 경계 선(L2)으로 이루어진 닫힘 영역(E) 내에서 교차점(C1)을 추출한다. 일 예에 의하면, 교차점(C1)은 인접한 손가락 영역의 끝점(B1, B2) 각각에서 거리가 가장 먼 지점일 수 있다. 다른 예에 의하면, 연결선(L1)에 수직한 방향으로 연결선(L1)으로부터 거리가 가장 먼 지점일 수 있다. 교차점(C1)은 손가락 사이에서 골의 깊이가 가장 깊은 지점을 나타내며, 최대 4개(C1 내지 C4) 추출될 수 있다.
손목 기준점(D1, D2)은 손과 팔의 경계 영역에서 추출된다. 구체적으로, 인공지능 알고리즘은 손의 경계선과 팔의 경계선이 만나는 지점에서 두 개의 손목 기준점(D1, D2)을 추출한다.
인공지능 알고리즘은 5개의 손가락의 끝 점(B1 내지 B5)과 기준 점(A)을 각각 연결하고, 4개의 교차점(C1 내지 C4)과 기준 점(A)을 각각 연결하고, 손목 기준선(D1, D2)과 기준 점(A)을 각각 연결한다. 인공지능 알고리즘은 상술한 점들을 연결한 연결선들의 사이 각도 및 길이를 이용하여 손 모양 정보와 손가락 벡터(finger vector) 정보를 추출할 수 있다. 그리고 상술한 기준점(A), 손가락의 끝 점(B1 내지 B5), 교차점(C1 내지 C4), 그리고 손목 기준점(D1, D2)들 각각의 X좌표값, Y좌표값, 그리고 Z좌표값을 열화상 이미지(230)의 프레임별로 추적하여 차량 탑승자의 손 움직임 정보를 획득할 수 있다.
도 8은 본 발명의 또 다른 실시 예에 따른 인공지능 알고리즘이 열화상 이미지로부터 차량 탑승자의 손 모양 정보와 손 움직임 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 인공지능 알고리즘은 열화상 이미지(351)로부터 손 영역을 인식하고, 컨투어(contour)를 통해 각 손가락의 끝점(B1 내지 B5)을 추출한다. 그리고 각 손가락의 끝점(B1 내지 B5)을 기준으로 손가락 벡터(finger vector)를 추출한다. 구체적으로, 인공지능 알고리즘은 손가락 끝점(B1 내지 B5)을 중심으로 제1반경(r1)의 제1기준원(K1)을 그리고, 제1기준원(K1)과 교차하는 손가락의 경계선에서 한 쌍의 제1경계점(E1, E2)을 추출한다. 그리고 한 쌍의 제1경계점(E1, E2)을 잇는 선분을 이등분하는 지점에서 제1기준 점(F1)을 추출한다.
그리고 손가락 끝점(B3)을 중심으로 제1반경(r1)보다 큰 제2반경(r2)의 제2기준원(K2)을 그리고, 제2기준원(K2)과 교차하는 손가락의 경계선에서 한 쌍의 제2경계점(E3, E4)을 추출한다. 그리고 한 쌍의 제2경계점(E3, E4)을 잇는 선분을 이등분하는 지점에서 제2기준 점(F2)을 추출한다. 상술한 과정으로, 인공지능 알고리즘은 기준원의 반경을 증가시키면서 손가락 영역 내에서 복수 개의 기준 점(F1, F2, F3 등)들을 추출한다. 기준점(F1, F2, F3 등)들의 추출은 기준점(F1, F2, F3 등)이 손가락과 손바닥 경계 영역에 도달할 때까지 반복된다. 추출되는 기준 점(F1, F2, F3 등)들의 수와 기준점(F1, F2, F3 등)들의 사이 간격은 사용자에 의해 설정될 수 있다. 추출되는 기준점(F1, F2, F3 등)들의 수와 기준점(F1, F2, F3 등)들이 사이 간격이 좁을수록 손가락 벡터의 정확도는 향상될 수 있다.
인공지능 알고리즘은 추출된 기준점(F1, F2, F3 등)들을 통해 손가락 벡터를 산출한다. 일 예에 의하면, 인공지능 알고리즘은 선형 회귀 분석(linear regression analysis)을 통해 상기 기준점(F1, F2, F3 등)들로부터 손가락 벡터를 산출할 수 있다. 인공지능 알고리즘은 손가락들 각각에 대해 손가락 벡터를 산출하여 차량 탑승자의 손 모양 정보를 산출할 수 있다.
또한, 인공지능 알고리즘은 기준점(F1, F2, F3 등)들의 X좌표값, Y좌표값, 그리고 Z좌표값을 열화상 이미지의 프레임별로 추적하여 차량 탑승자의 손 움직임 정보를 획득할 수 있다.
상술한 과정으로 획득된 손 모양 정보와 손 움직임 정보를 통해, 제어부(500)는 제어 신호를 생성하고, 생성된 제어 신호에 의해 디스플레이부(100)에 표시되는 영상 정보와 스피커에서 출력되는 소리, 그리고 진동 모듈의 진동 패턴이 제어될 수 있다.
제어부(500)는 상기 제어 신호에 따라 전체 제어 모드와 개별 제어 모드로 구분하여, 디스플레이부(100)에 표시되는 영상 정보와 스피커(200)에서 출력되는 소리, 그리고 진동 모듈(410 내지 440)의 진동 패턴을 제어할 수 있다. 제어 모드의 전환은 기 설정된 손동작 제스처에 따라 결정된다. 일 예에 의하면, 차량 탑승자들 중 한 사람이 손을 쫙 펼친 상태에서 주먹을 쥐었다 펴는 동작을 2~3회 반복할 경우, 제어부(500)는 전체 제어 모드로 전환한다.
전체 제어 모드에서는 상기 주먹을 쥐었다 펴는 동작을 수행한 탑승자가 마스터가 된다. 제어부(500)는 마스터의 손 동작에 따라 디스플레이부(100)들 모두, 스피커(200)들 모두, 그리고 진동 모듈(410 내지 440) 모두를 동기화하여 제어한다. 이로 인해, 디스플레이부(100)들 각각에는 동일한 영상 정보가 출력되고, 스피커(200)들 각각에서 동일한 소리가 출력되고, 진동 모듈(410 내지 440) 각각에서는 동일한 진동 패턴으로 진동이 발생한다. 다른 탑승자가 않는 시트에 장착된 진동 모듈은 마스터가 앉은 시트에 장착된 진동 모듈의 고유 진동 패턴으로 동기화되어 진동을 발생시킨다. 예를 들어 제1시트(21)에 탑승한 탑승자가 마스터일 경우, 제1 진동 모듈(410)의 고유 진동 패턴으로 제2 내지 제4 진동 모듈(420 내지 440)이 진동한다. 이와 같이, 다른 시트(42 내지 44)에 장착된 진동 모듈(420 내지 440)의 마스터가 앉은 시트(21)에서 발생되는 고유 진동 패턴으로 동기화됨에 따라 다른 탑승자들은 마스터가 누구인지 인식할 수 있게 된다.
전체 제어 모드에서 마스터가 아닌 다른 탑승자가 기 설정된 손동작 제어처를 수행할 경우, 제어권한이 다른 탑승자에게 이전될 수 있다. 일 예에 의하면, 전체 제어 모드에서 다른 탑승자가 손을 쫙 펼친 상태에서 주먹을 쥐었다 펴는 동작을 2~3회 반복할 경우 다른 탑승자에게 제어권한이 이전될 수 있다. 이 경우, 다른 탑승자에 손동작 제스처에 따라 디스플레이부(100)와 스피커(200)가 제어되고, 다른 탑승자가 앉는 시트(22)에 장착된 진동 모듈(420)의 고유 진동 패턴으로 다른 진동 모듈(410, 430, 440)의 진동 패턴이 동기화된다.
전체 제어 모드에서, 마스터 또는 다른 탑승자가 기 설정된 손동작 제스처를 수행할 경우 전체 제어 모드가 해제되고 개별 제어 모드로 전환된다. 일 예에 의하면, 마스터 또는 다른 탑승자가 손바닥을 일정 시간동안 펴고 있는 경우 전체 제어 모드가 해제될 수 있다.
개별 제어 모드에서는 차량 탑승자 각각이 디스플레이부(100)와 스피커(200)를 제어할 수 있다. 그리고 탑승자가 앉은 시트(21 내지 24)에 장착된 진동 모듈(410 내지 440)은 각자의 고유 진동 패턴으로 진동한다. 진동이 전달됨에 따라 탑승자은 손동작 제스처에 의해 제어가 진행되고 있음을 인식할 수 있다.
도 9는 본 발명의 실시 예에 따른 다양한 손동작 제스처를 나타내는 도면이다.
도 9의 (A)를 참조하면, 차량 탑승자가 5개 손가락 모두를 쫙 펼칠 경우, 개별 제어 모드가 활성화될 수 있다.
(B)를 참조하면, 차량 탑승자가 5개의 손가락을 전방으로 펼친 상태에서 좌우 방향으로 손을 이동할 경우, 디스플레이부(100)에 표시된 영상 정보가 다른 영상 정보로 바뀔 수 있다.
(C)를 참조하면, 차량 탑승자가 엄지손가락과 검지손가락의 붙였다 손가락 사이를 벌릴 경우, 디스플레이부(100)에 표시된 영상 정보가 확대될 수 있고, 반대로 엄지손가락과 검지손가락을 다시 모을 경우 디스플레이부(100)에 표시된 영상 정보가 축소될 수 있다.
(D)를 참조하면, 차량 탑승자가 검지손가락을 펼칠 상태에서 손을 아래로 이동하거나, 검지손가락을 소정 각도로 굽힐 경우 클릭(click)으로 인식되어 디스플레이부(100)에 표시된 영상 정보가 선택될 수 있다.
(E)를 참조하면, 차량 탑승자가 5개의 손가락을 펼친 상태에서 손바닥을 좌우방향으로 회전시킬 경우, 디스플레이부(100)에 표시된 영상 정보가 소정 각도로 회전될 수 있다.
(F)를 참조하면, 차량 탑승자가 검지 손가락을 펼친 상태에서 검지 손가락을 시계 방향으로 회전시킬 경우 볼륨 업(volume up)으로 인식되어, 스피커(200)에서 출력되는 소리가 커질 수 있다. 소리는 검지 손가락의 회전 속도에 비례하여 커지는 속도가 조절될 수 있다.
(G)를 참조하면, 차량 탑승자가 검지 손가락을 펼친 상태에서 검지 손가락을 반시계 방향으로 회전시킬 경우 볼륨 다운(volume down)으로 인식되어, 스피커(200)에서 출력되는 소리가 작아질 수 있다. 소리는 검지 손가락의 회전 속도에 비례하여 작아지는 속도가 조절될 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 차량용 비 접촉식 제어 시스템이 장착된 차량의 측면도이고, 도 11은 도 10의 차량용 비 접촉식 제어 시스템이 장착된 차량의 평면도이다.
도 10 및 도 11을 참조하면, 차량(20)에 설치된 시트(21 내지 24)는 차량(20)의 중앙을 향해 배치되며, 각 시트(21 내지 24)의 전방에는 디스플레이부(100)가 위치한다. 디스플레이부(100)는 별도 지지부(110)에 의해 지지될 수 있다.
영상 정보 생성부(300)는 차량(20)의 천정에 장착되며, 각각의 시트(21 내지 24)에 앉은 탑승자의 손 동작 정보를 포함하는 영상 정보를 생성한다. 일 예에 의하면, 영상 정보 생성부(300)는 사면으로 분할된 지지부(370)의 각 면에 스테레오 카메라(310)와 열화상 카메라(350)가 제공될 수 있다. 스테레오 카메라(310)는 지지부(370)의 면이 향하는 방향으로 상기 시트(21 내지 24)에 앉은 탑승자의 손 동작 정보를 적외선 이미지로 생성하고, 열화상 카메라(350)는 상기 시트(21 내지 24)에 앉은 탑승자의 손 동작 정보를 열화상 이미지로 생성한다.
상술한 본 발명은 적외선 이미지와 열화상 이미지로부터 제어 신호를 생성하므로, 차량이 터널을 지나가거나 야간에 주행하더라도 탑승자의 손 동작을 정확하게 감지하여 제어 신호를 생성할 수 있다.
이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.
10: 차량용 비 접촉식 제어 시스템
20: 차량
21 내지 24: 시트
100: 디스플레이부
200: 스피커
300: 영상 정보 생성부
310: 스테레오 카메라
350: 열화상 카메라
400: 햅틱 디바이스
410 내지 440: 진동 모듈
500: 제어부

Claims (7)

  1. 차량의 실내에 장착되며 영상 정보가 표시되는 디스플레이부;
    차량 탑승자의 손동작 정보를 포함하는 제어용 영상 정보를 생성하는 영상 정보 생성부; 및
    기 학습된 인공지능 알고리즘으로 상기 제어용 영상 정보를 분석하여 상기 손동작 정보로부터 제어 신호를 생성하고, 상기 제어 신호에 따라 상기 디스플레이부에 표시되는 상기 영상 정보를 제어하는 제어부를 포함하며,
    상기 영상 정보 생성부는,
    상기 차량 탑승자의 손동작을 촬영하여 적외선 이미지를 획득하는 스테레오 카메라; 및
    상기 차량 탑승자의 손동작을 촬영하여 열화상 이미지로 획득하는 열화상 카메라를 포함하고,
    상기 제어부는 상기 적외선 이미지를 처리하여 상기 차량 탑승자의 손 영역에 대한 깊이 정보를 얻고, 상기 깊이 정보와 상기 열화상 이미지의 2차원 정보를 교정하여 상기 차량 탑승자의 손 영역에 대해 픽셀 단위로 3차원 위치 정보를 얻고, 상기 3차원 위치 정보로부터 상기 차량 탑승자의 손가락 모양과 손 움직임을 산출하고, 상기 차량 탑승자의 손가락 모양과 손 움직임으로부터 상기 제어 신호를 생성하는 차량용 비 접촉식 제어 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제어부는,
    상기 열화상 이미지에 나타난 온도에 따른 색상 변화를 통해 상기 차량 탑승자의 손 영역을 추출하고, 상기 손 영역에 나타난 열 분포 패턴으로부터 손가락 영역을 추출하고,
    상기 손가락 영역의 끝점을 기준으로 제1반경의 제1기준 원을 그리고 상기 제1기준 원과 교차하는 상기 손가락의 한 쌍의 경계 점을 잇는 선분을 이등분하는 지점을 제1기준 점으로 주출하고,
    상기 손가락 영역의 끝점을 기준으로 상기 제1반경 보다 큰 제2반경의 제2기준 원을 그리고 상기 제2기준 원과 겹치는 상기 손가락의 한 쌍의 경계 점을 잇는 선분을 이등분하는 지점을 제2기준 점으로 주출하고,
    상기 제1기준 점과 상기 제2기준 점을 이용하여 상기 손가락 모양을 산출하는 차량용 비 접촉식 제어 시스템.
  4. 제 1 항에 있어서,
    상기 차량 내에 장착되며, 상기 차량 탑승자에게 촉각 신호를 전달하는 햅틱 디바이스를 더 포함하되,
    상기 제어부는 상기 제어 신호에 따라 상기 햅틱 디바이스를 제어하는 차량용 비 접촉식 제어 시스템.
  5. 제 4 항에 있어서,
    상기 햅틱 디바이스는 상기 차량 내 복수 개의 시트에 각각 장착되어 진동을 발생시키는 복수 개의 진동 모듈을 포함하며,
    상기 제어부는 상기 시트 각각에 탑승한 탑승자가 생성하는 제어 신호에 따라 서로 상이한 진동 패턴으로 진동하도록 상기 진동 모듈을 제어하는 차량용 비 접촉식 제어 시스템.
  6. 제 5 항에 있어서,
    상기 디스플레이부는 복수 개 제공되고, 상기 시트들 전방에 각각 설치되며,
    상기 제어부는 상기 제어 신호에 따라 상기 디스플레이부 전체를 제어하는 전체 제어 모드와 상기 디스플레이부를 개별 제어하는 개별 제어 모드를 포함하고,
    상기 전체 제어 모드에서, 상기 제어 신호를 발생시키지 않는 차량 탑승자가 탑승한 시트에 장착된 진동 모듈은 상기 제어 신호를 발생시키는 차량 탑승자가 탑승한 시트에 장착된 진동 모듈에서 발생하는 진동 패턴과 동기화되어 진동을 발생시키는 차량용 비 접촉식 제어 시스템.
  7. 제 1 항에 있어서,
    상기 차량의 실내에 장착되며, 소리를 출력하는 스피커를 더 포함하되,
    상기 제어부는 상기 제어 신호에 따라 상기 스피커의 소리 출력을 제어하는 차량용 비 접촉식 제어 시스템.
KR1020230009940A 2022-12-28 2023-01-26 차량용 비 접촉식 제어 시스템 KR102559138B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220187558 2022-12-28
KR1020220187558 2022-12-28

Publications (1)

Publication Number Publication Date
KR102559138B1 true KR102559138B1 (ko) 2023-07-25

Family

ID=87428517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230009940A KR102559138B1 (ko) 2022-12-28 2023-01-26 차량용 비 접촉식 제어 시스템

Country Status (1)

Country Link
KR (1) KR102559138B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055033A (ko) * 2012-10-30 2014-05-09 르노삼성자동차 주식회사 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법
KR101404018B1 (ko) * 2013-02-01 2014-06-10 전자부품연구원 손동작 인식 장치 및 그 방법
KR20150073857A (ko) * 2013-12-20 2015-07-01 임머숀 코퍼레이션 햅틱 피드백을 구비하는 차량 내 제스처 기반 입력 시스템
KR20150103520A (ko) * 2014-03-03 2015-09-11 한국전자통신연구원 손 동작 인식 방법 및 장치
WO2018150569A1 (ja) * 2017-02-20 2018-08-23 Ｎｅｃディスプレイソリューションズ株式会社 ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
KR20180101313A (ko) * 2018-09-06 2018-09-12 에스케이텔레콤 주식회사 손 모양 및 동작 인식장치 및 방법
KR20210057358A (ko) 2019-11-12 2021-05-21 주식회사 에스오에스랩 제스처 인식 방법 및 이를 수행하는 제스처 인식 장치
KR20210059980A (ko) * 2019-11-18 2021-05-26 엘지전자 주식회사 차량의 원격 제어방법 및 이를 위한 혼합현실 디바이스 및 차량

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055033A (ko) * 2012-10-30 2014-05-09 르노삼성자동차 주식회사 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법
KR101404018B1 (ko) * 2013-02-01 2014-06-10 전자부품연구원 손동작 인식 장치 및 그 방법
KR20150073857A (ko) * 2013-12-20 2015-07-01 임머숀 코퍼레이션 햅틱 피드백을 구비하는 차량 내 제스처 기반 입력 시스템
KR20150103520A (ko) * 2014-03-03 2015-09-11 한국전자통신연구원 손 동작 인식 방법 및 장치
WO2018150569A1 (ja) * 2017-02-20 2018-08-23 Ｎｅｃディスプレイソリューションズ株式会社 ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
KR20180101313A (ko) * 2018-09-06 2018-09-12 에스케이텔레콤 주식회사 손 모양 및 동작 인식장치 및 방법
KR20210057358A (ko) 2019-11-12 2021-05-21 주식회사 에스오에스랩 제스처 인식 방법 및 이를 수행하는 제스처 인식 장치
KR20210059980A (ko) * 2019-11-18 2021-05-26 엘지전자 주식회사 차량의 원격 제어방법 및 이를 위한 혼합현실 디바이스 및 차량

Similar Documents

Publication Publication Date Title
CN103019524B (zh) 车辆操作输入装置和用于车辆操作输入装置的控制方法
KR101480994B1 (ko) 차량의 디스플레이를 이용한 증강 현실 발생 방법 및 시스템
JP6244822B2 (ja) 車載用表示システム
CN105584368A (zh) 用于在机动车中传输信息的系统
JP4783456B2 (ja) 映像再生装置及び映像再生方法
WO2019124158A1 (ja) 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体
CN109643219A (zh) 用于与在车辆中的显示设备上呈现的图像内容进行交互的方法
JP7254072B2 (ja) 虚像表示装置
US10573083B2 (en) Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system
KR102457608B1 (ko) 차량에서 가상 현실용 헤드셋을 동작하는 방법 및 제어 장치
KR101507014B1 (ko) 운송장치 시뮬레이션 시스템 및 그 제어방법
JPH09138637A (ja) 模擬視界装置
KR102559138B1 (ko) 차량용 비 접촉식 제어 시스템
JP4945694B2 (ja) 映像再生装置及び映像再生方法
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP7214548B2 (ja) 情報処理装置及び情報処理方法
KR101500412B1 (ko) 차량용 제스처 인식 장치
JP7336228B2 (ja) 車両の非接触操作装置、および車両
JP2006327526A (ja) 車載機器の操作装置
US9536414B2 (en) Vehicle with tactile information delivery system
US11385715B2 (en) Non-contact operating apparatus for vehicle and vehicle
JP2007094082A (ja) 移動体シミュレータ装置およびその制御方法並びに制御プログラム
JP2020197942A (ja) 入力装置
US11320669B2 (en) Non-contact operating apparatus for vehicle and vehicle
WO2023032383A1 (ja) 操作検出装置、情報処理システム、及び操作検出方法

Legal Events

Date Code Title Description
GRNT Written decision to grant