KR101592887B1 - 입력장치, 이를 포함하는 차량 및 그 제어방법 - Google Patents

입력장치, 이를 포함하는 차량 및 그 제어방법 Download PDF

Info

Publication number
KR101592887B1
KR101592887B1 KR1020140105819A KR20140105819A KR101592887B1 KR 101592887 B1 KR101592887 B1 KR 101592887B1 KR 1020140105819 A KR1020140105819 A KR 1020140105819A KR 20140105819 A KR20140105819 A KR 20140105819A KR 101592887 B1 KR101592887 B1 KR 101592887B1
Authority
KR
South Korea
Prior art keywords
control unit
dial
user
touch
unit
Prior art date
Application number
KR1020140105819A
Other languages
English (en)
Inventor
전화수
허광승
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140105819A priority Critical patent/KR101592887B1/ko
Application granted granted Critical
Publication of KR101592887B1 publication Critical patent/KR101592887B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05G—CONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G1/00—Controlling members, e.g. knobs or handles; Assemblies or arrangements thereof; Indicating position of controlling members

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명의 일 측면은, 사용자의 터치조작이 감지되면 다이얼 조작부를 틸팅시키는 입력장치와 이를 포함하는 차량 및 그 제어방법을 제공한다. 본 발명의 일 측면에 따른 입력장치는 다이얼 조작부에 대한 사용자의 터치조작을 감지하는 감지부; 및 상기 감지부에서 상기 다이얼 조작부에 대한 사용자의 터치조작을 감지하면, 미리 정해진 방향으로 틸팅하는 다이얼 조작부;를 포함한다.

Description

입력장치, 이를 포함하는 차량 및 그 제어방법 {INPUT APPARATUS, VEHICLE COMPRISING THE SAME AND CONTROL METHOD FOR THE VEHICLE}
차량의 조작을 위한 명령이 입력되는 입력장치 및 이를 포함한 차량에 관한 것이다.
회전조작이 가능한 다이얼 조작부가 차량의 조작에 많이 사용되고 있다. 다이얼 조작부는 리스트를 탐색하거나 연속적으로 값을 변경할 필요가 있는 경우, 버튼식 입력장치에 비해 수행시간이 짧고 사용 편의성이 높으며 조작이 직관적인 장점이 있다. 또한, 다이얼 조작부는 터치입력이 가능한 터치패드를 구비하여 터치를 통한 명령의 입력도 가능하도록 마련되고 있다.
암레스트에 인접한 센터콘솔에 마련된 다이얼 조작부를 조작할 경우, 운전자는 일반적으로 암레스트에 팔을 거치한 채로 다이얼 조작부를 조작하게 된다.
이 경우 암레스트보다 낮은 위치에 마련된 다이얼 조작부를 조작해야 하기 때문에 사용자의 손목은 다이얼 조작부를 조작하는 동안 꺽인 상태가 된다. 특히, 다이얼 조작부의 상면에 수평상태로 마련된 터치패드를 통해 문자입력 등의 명령을 입력할 경우 사용자가 느끼는 불편이나 손목의 부담은 더욱 가중된다. 따라서 다이얼 조작부에 대한 터치조작 시 사용자가 느끼는 손목의 부담을 최소화할 수 있는 기술의 개발이 요구되고 있다.
본 발명의 일 측면은, 사용자의 터치조작이 감지되면 다이얼 조작부를 틸팅시키는 입력장치와 이를 포함하는 차량 및 그 제어방법을 제공한다.
본 발명의 일 측면에 따른 입력장치는 다이얼 조작부에 대한 사용자의 터치조작을 감지하는 감지부; 및 상기 감지부에서 상기 다이얼 조작부에 대한 사용자의 터치조작을 감지하면, 미리 정해진 방향으로 틸팅하는 다이얼 조작부;를 포함한다.
또한, 상기 감지부는 상기 다이얼 조작부에 마련되는 복수의 적외선 센서를 포함할 수 있다.
또한, 상기 복수의 적외선 센서에서 감지한 신호를 조합하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하고, 터치입력을 위한 것으로 결정되면 상기 다이얼 조작부를 미리 정해진 방향으로 미리 정해진 각도만큼 틸팅시키는 제어부;를 더 포함할 수 있다.
또한, 상기 감지부는 사용자의 다이얼 조작부에 대한 조작을 감지하는 카메라를 포함할 수 있다.
또한, 상기 카메라에서 획득한 이미지에 기초하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하고, 터치입력을 위한 것으로 결정되면 상기 다이얼 조작부를 미리 정해진 방향으로 미리 정해진 각도만큼 틸팅시키는 제어부;를 더 포함할 수 있다.
또한, 상기 감지부에서 상기 다이얼 조작부에 대한 사용자의 터치조작을 감지하면, 상기 다이얼 조작부를 미리 정해진 각도만큼 틸팅시키는 모터;를 더 포함할 수 있다.
또한, 상기 다이얼 조작부는 그 상면에 사용자의 터치조작이 가능하도록 마련되는 터치패드를 포함할 수 있다.
또한, 상기 다이얼 조작부는 상기 감지부에서 상기 사용자의 터치조작이 미리 정해진 시간 동안 감지되지 않거나 미리 정해진 터치 제스처가 입력되면 원위치로 복귀할 수 있다.
본 발명의 일 측면에 따른 교통수단은 다이얼 조작부에 대한 사용자의 터치조작을 감지하는 감지부 및 틸팅가능하도록 마련되는 다이얼 조작부를 포함하는 입력장치; 및 상기 감지부에서 상기 다이얼 조작부에 대한 사용자의 터치조작을 감지하면, 미리 정해진 방향으로 상기 다이얼 조작부를 틸팅시키는 제어부;를 포함한다.
또한, 상기 감지부는 상기 다이얼 조작부에 마련되는 복수의 적외선 센서를 포함할 수 있다.
또한, 상기 제어부는 상기 복수의 적외선 센서에서 감지한 신호를 조합하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하고, 터치입력을 위한 것으로 결정되면 상기 다이얼 조작부를 미리 정해진 방향으로 미리 정해진 각도만큼 틸팅시킬 수 있다.
또한, 상기 감지부는 사용자의 다이얼 조작부에 대한 조작을 감지하는 카메라를 포함할 수 있다.
또한, 상기 제어부는 상기 카메라에서 획득한 이미지에 기초하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하고, 터치입력을 위한 것으로 결정되면 상기 다이얼 조작부를 미리 정해진 방향으로 미리 정해진 각도만큼 틸팅시킬 수 있다.
또한, 상기 입력장치는 상기 다이얼 조작부를 틸팅시키는 모터;를 더 포함할 수 있다.
또한, 상기 제어부는 상기 감지부에서 상기 다이얼 조작부에 대한 사용자의 터치조작을 감지하면, 미리 정해진 방향으로 상기 다이얼 조작부가 틸팅되도록 상기 모터를 구동시킬 수 있다.
또한, 상기 제어부는, 상기 감지부에서 상기 사용자의 터치조작이 미리 정해진 시간 동안 감지되지 않거나 상기 다이얼 조작부에 미리 정해진 터치 제스처가 입력되면 틸팅된 다이얼 조작부를 원위치로 복귀시킬 수 있다.
본 발명의 일 측면에 따른 교통수단의 제어방법은 다이얼 조작부를 포함하는 교통수단의 제어방법에 있어서, 상기 다이얼 조작부에 대한 터치조작을 감지하고; 상기 다이얼 조작부에 대한 터치조작이 감지되면, 상기 다이얼 조작부를 미리 정해진 방향으로 틸팅시키는 것;을 포함한다.
또한, 상기 다이얼 조작부에 대한 터치조작을 감지하는 것은, 상기 다이얼 조작부에 마련된 복수의 적외선 센서에서 감지한 신호를 조합하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하는 것;을 포함할 수 있다.
또한, 상기 다이얼 조작부에 대한 터치조작을 감지하는 것은, 카메라에서 획득한 이미지에 기초하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하는 것;을 포함할 수 있다.
또한, 상기 다이얼 조작부를 미리 정해진 방향으로 틸팅시키는 것은, 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것으로 결정되면 상기 다이얼 조작부를 미리 정해진 방향으로 미리 정해진 각도만큼 틸팅시키는 것;을 포함할 수 있다.
또한, 상기 감지부에서 상기 사용자의 터치조작이 미리 정해진 시간 동안 감지되지 않거나 상기 다이얼 조작부에 미리 정해진 터치 제스처가 입력되면 틸팅된 다이얼 조작부를 원위치로 복귀시키는 것;을 더 포함할 수 있다.
본 발명의 일 측면에 따른 입력장치 및 이를 포함하는 차량에 의하면, 다이얼 조작부의 터치조작을 통한 문자입력 시 운전자가 느끼는 손목의 부담을 경감시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 외관도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 내부의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 입력장치를 나타낸 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 다이얼 조작부를 나타낸 도면이다.
도 6은 다이얼 조작부를 조작하는 모습을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 입력장치의 다이얼 조작부가 틸팅된 모습을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 입력장치의 구성을 나타낸 블럭도이다.
도 9는 본 발명의 일 실시예에 따른 입력장치의 감지부가 설치된 모습을 나타낸 도면이다.
도 10 내지 도 12는 사용자가 다이얼 조작부를 조작하는 모습들을 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 차량의 제어방법을 나타낸 순서도이다.
이하 첨부된 도면을 참조하여 본 발명의 일 측면에 따른 차량용 입력장치 및 이를 포함하는 차량에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 차량의 외관도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량(100)은 차량(100)의 외관을 형성하는 본체(1), 차량(100)을 이동시키는 차륜(51, 52), 차륜(51, 52)을 회전시키는 구동 장치(60), 차량(100) 내부를 외부로부터 차폐시키는 도어(71), 차량(100) 내부의 운전자에게 차량(100) 전방의 시야를 제공하는 전면 유리(30), 운전자에게 차량(100) 후방의 시야를 제공하는 사이드 미러(81, 82)를 포함한다.
차륜(51, 52)은 차량의 전방에 마련되는 전륜(51), 차량의 후방에 마련되는 후륜(52)을 포함하며, 구동 장치(60)는 본체(1)가 전방 또는 후방으로 이동하도록 전륜(51) 또는 후륜(52)에 회전력을 제공한다. 이와 같은 구동 장치(60)는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 채용할 수 있다.
도어(71)는 본체(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(100)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(100)의 내부를 외부로부터 차폐시킨다.
전면 유리(30)는 본체(100)의 전방 상측에 마련되어 차량(100) 내부의 운전자가 차량(100) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.
또한, 사이드 미러(81, 82)는 본체(1)의 좌측에 마련되는 좌측 사이드 미러(81) 및 우측에 마련되는 우측 사이드 미러(82)를 포함하며, 차량(100) 내부의 운전자가 차량(100) 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.
이외에도 차량(100)은 후방의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 포함할 수 있다.
근접 센서의 일 예로서, 차량의 측면 또는 후면에 감지 신호를 발신하고, 다른 차량 등의 장애물로부터 반사되는 반사 신호를 수신한다. 또한 수신된 반사 신호의 파형을 기초로 차량(100) 후방의 장애물의 존재 여부를 감지하고, 장애물의 위치를 검출할 수 있다. 이와 같은 근접 센서는 초음파를 발신하고, 장애물에 반사된 초음파를 이용하여 장애물까지의 거리를 검출하는 방식을 채용할 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량의 내부의 구성을 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 입력장치를 나타낸 도면이다. 그리고 도 4 및 도 5는 본 발명의 일 실시예에 따른 다이얼 조작부(111)를 나타낸 도면이다.
도 2에 도시된 바를 참조하면 차량은 기어박스(120), 센터페시아(130) 및 스티어링 휠(140) 등이 마련된 대시보드(dashboard)를 포함할 수 있다.
기어박스(120)에는 차량 변속을 위한 변속 기어(121)가 설치된다. 또한, 도면에 도시된 것처럼, 사용자가 내비게이션 장치(10)나 차량의 주요 기능의 수행을 제어하기 위한 다이얼 조작부(111)가 기어 박스(120)에 설치될 수 있다.
센터페시아(130)에는 공조 장치, 시계(132), 오디오 장치(133) 및 내비게이션 장치(10) 등이 설치될 수 있다. 공조 장치는 차량 내부의 온도, 습도, 공기의 청정도, 공기의 흐름을 조절하여 차량의 내부를 쾌적하게 유지한다. 공조 장치는 센터페시아(130)에 설치되고 공기를 토출하는 적어도 하나의 토출구를 포함할 수 있다. 센터페시아(130)에는 공조 장치 등을 제어하기 위한 버튼이나 다이얼 등이 설치될 수 있다. 운전자 등의 사용자는 센터페시아에 배치된 버튼이나 다이얼을 이용하여 차량의 공조 장치를 제어할 수 있다.
실시예에 따라서 센터페시아(130)에는 내비게이션 장치(10)가 설치될 수 있다. 내비게이션 장치(10)는 차량의 센터페시아(130) 내부에 매립되어 형성될 수 있다. 센터페시아에는 일 실시예에 의하면 내비게이션 장치(10)를 제어하기 위한 입력부가 설치될 수도 있다. 실시예에 따라서 내비게이션 장치(10)의 입력부는 센터페시아가 아닌 다른 위치에 설치될 수도 있다. 예를 들어 내비게이션 장치(10)의 입력부는 내비게이션 장치(10)의 디스플레이부(300) 주변에 형성될 수도 있다. 또한 다른 예로 내비게이션 장치(10)의 입력부는 기어 박스(120) 등에 설치될 수도 있다.
스티어링 휠(140)은 차량의 주행 방향을 조절하기 위한 장치로, 운전자에 의해 파지되는 림(141) 및 차량의 조향 장치와 연결되고 림(141)과 조향을 위한 회전축의 허브를 연결하는 스포크(142)를 포함할 수 있다. 실시예에 따라서 스포크(142)에는 차량 내의 각종 장치, 일례로 오디오 장치 등을 제어하기 위한 조작 장치(142a, 142b)가 형성될 수 있다.
또한 대시보드는 실시예에 따라서 차량의 주행 속도, 엔진 회전수 또는 연료 잔량 등을 표시할 수 있는 각종 계기판 및 각종 물건을 수납할 수 있는 글로브 박스(globe box) 등을 더 포함할 수도 있다.
오디오 장치(133)는 다양한 기능을 수행하기 위한 다수의 버튼들이 마련된 조작패널을 포함한다. 오디오 장치는 라디오 기능을 제공하는 라디오 모드와 오디오 파일이 담긴 다양한 저장매체의 오디오 파일을 재생하는 미디어 모드를 제공할 수 있다. 오디오 장치(133)의 조작패널에 형성된 버튼들은 라디오 모드의 수행과 관련된 기능을 제공하는 버튼들과 미디어 모드의 수행과 관련된 기능을 제공하는 버튼들과 두 모드에 공통적으로 사용되는 버튼들로 나뉠 수 있다.
도 3 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 입력장치(110)에 대해 구체적으로 설명한다.
본 발명의 일 실시예에 따른 입력장치는 회전조작이 가능한 다이얼 조작부(111)를 포함하고, 다이얼 조작부(111)는 도 3에 도시된 것처럼, 차량 내의 기어 박스(120)에 설치되어 있을 수 있다. 기어 박스(120)는 일반적으로 차량 내부의 운전석과 조수석 사이에 설치되어 있을 수 있으며, 변속을 위한 기어 스틱(121) 및 변속과 관련된 다양한 부품이 설치 또는 내장되어 있을 수 있다. 실시예에 따라서 각종 버튼(123)이 기어 박스(120)의 외부에 설치되어 있을 수 있다. 다이얼 조작부(111)는 사용자가 손으로 잡을 수 있고 회전 조작이 가능한 노브 타입의 본체(112)를 포함할 수 있다. 그리고 다이얼 조작부(111)의 주변에 다이얼 조작부(111)의 기능을 보조하거나 별도의 독립적인 기능을 수행하는 각종 버튼(115a 내지 115c)이 마련될 수 있다.
다이얼 조작부(111)는 도 4에 도시된 것처럼, 소정의 회전축을 따라 소정의 방향(r1, r2)으로 회전 조작이 가능하도록 마련된다. 또한 다이얼 조작부(111)는 도 5에 도시된 것처럼, 다이얼 조작부(111)의 중심축을 기준으로 적어도 하나의 방향(d1 내지 d4)으로 기울어질 수도 있다. 예를 들어 도 5에 도시된 바와 같이 다이얼 조작부(111)는 전후좌우 방향(d1 내지 d4)으로 기울어질 수 있다. 물론 실시예에 따라서 본체(112)는 이보다 더 다양한 방향으로 기울어질 수도 있다. 사용자는 본체(112)를 조작하여 본체(112)를 회전시키거나 또는 특정 방향으로 기울어지게 함으로써 소정의 지시나 명령을 입력할 수 있다.
또한 다이얼 조작부(111)의 상면에는 터치를 통한 입력이 가능한 터치패드(TP)가 마련될 수 있다. 사용자는 다이얼 조작부(111)의 터치패드(TP)에 미리 정해진 터치 제스처를 입력하여 원하는 지시나 명령을 입력할 수 있다. 터치패드(TP)는 감압식 또는 정전식 등 공지된 다양한 방식의 터치패널로 구현될 수 있다.
다이얼 조작부(111)는 그 내부에 다이얼 조작부(111)의 동작과 관련된 각종 부품을 내장하고 있을 수 있다. 다이얼 조작부(111) 내부에는 다이얼 조작부(111)가 회전 가능하도록 결합되는 회전축 부재 및 이와 관련된 각 종 부품, 일례로 베어링 등이 설치되어 있을 수 있다. 회전축 부재는 다이얼 조작부(111)를 전술한 네 가지 방향(d1 내지 d4)으로 틸팅시킬 수 있는 구조를 가지고, 모터(410)에 의해 공급되는 구동력에 의해 틸팅된다. 또한 다이얼 조작부(111) 내부에는 각종 반도체칩 및 인쇄회로기판 등이 설치되어 있을 수 있다. 반도체칩 인쇄회로기판에 실장되어 있을 수 있다. 반도체칩은 정보 처리를 수행하거나 데이터를 저장할 수 있다. 반도체칩은 다이얼 조작부(111)의 움직임 또는 다이얼 조작부(111)에 형성된 버튼의 조작에 따라 생성된 소정의 전기적 신호를 해석하고, 해석된 내용에 따라 소정의 제어 신호를 생성한 후, 이를 제어부(400)나 디스플레이부(300) 등에 전달할 수 있다.
도 6은 다이얼 조작부를 조작하는 모습을 도시한 도면이다.
다이얼 조작부(111)를 조작할 경우, 사용자는 일반적으로 도 6에 도시된 것처럼, 암레스트에 팔을 걸치고 다이얼 조작부(111)를 조작하게 된다. 다이얼 조작부(111)에 대한 회전조작은 손목에 크게 무리가 가지 않을 수 있으나, 다이얼 조작부(111)의 상면에 마련된 터치패드(TP)를 통한 터치입력 시에 사용자는 손목에 불편함을 느낄 수 있다. 이에 개시된 실시예는 다이얼 조작부(111)에 대한 터치조작 시에 사용자가 느끼는 손목의 부담을 경감시킬 수 있는 다이얼 조작부(111)를 제공한다. 이하 구체적으로 설명한다.
도 7은 본 발명의 일 실시예에 따른 입력장치의 다이얼 조작부가 틸팅된 모습을 나타낸 도면이다.
본 발명의 일 실시예에 따른 다이얼 조작부(111)는 사용자가 다이얼 조작부(111)의 터치패드(TP)를 통한 터치입력을 시도할 경우, 도 7에 도시된 것처럼, 후방으로 틸팅되어, 사용자가 터치패드(TP)를 보다 쉽게 터치할 수 있도록 한다.
터치패드(TP)가 수평상태를 유지할 때보다, 도 7에 도시된 것처럼, 후방으로 틸팅된 상태에서 사용자는 손목에 부담을 덜 느끼면서 터치조작을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 입력장치의 구성을 나타낸 블럭도이다.
도 8에 도시된 것처럼, 개시된 실시예에 따른 입력장치는 그 상면에 터치패드(TP)가 마련된 다이얼 조작부(111)와 사용자의 다이얼 조작부(111)에 대한 터치조작을 감지하는 감지부와, 다이얼 조작부(111)를 틸팅시키기 위해 회전축 부재에 힘을 인가하는 모터(410)와, 감지부에서 사용자의 터치조작을 감지하면 다이얼 조작부(111)가 틸팅될 수 있도록 모터(410)를 구동시키는 제어부(400)를 포함한다.
다이얼 조작부(111)의 틸팅 여부를 결정하기 위해서는 사용자가 다이얼 조작부(111)에 대한 터치조작을 의도하고 있는지 여부를 결정해야 한다. 개시된 실시예는 적외선 센서(IR) 또는 카메라(C)를 포함하는 감지부에서 사용자의 손의 움직임을 감지하고, 감지부의 감지결과에 기초하여 제어부(400)에서 사용자의 의도를 결정한다.
도 9는 본 발명의 일 실시예에 따른 입력장치의 감지부가 설치된 모습을 나타낸 도면이다.
도 9에 도시된 것처럼, 다이얼 조작부(111)에 두 개의 적외선 센서(IR1, IR2)가 설치되고, 다이얼 조작부(111)가 설치되어 있는 콘솔에 하나의 적외선 센서(IR3)가 설치될 수 있다. 도 9에 도시된 적외선 센서(IR)의 설치위치나 개수는 일 예에 불과하고, 더 적거나 많은 수의 적외선 센서(IR)가 도 9에 도시된 위치와 다른 위치에 설치될 수 있음은 물론이다.
적외선 센서(IR)의 개수와 설치위치는 사용자의 다이얼 조작부(111)에 대한 조작이 터치조작인지 회전조작인지를 보다 정확하게 구분할 수 있는 개수와 위치로 결정된다. 이는 사용자의 다이얼 조작부(111)에 대한 조작 습관이나 패턴 등을 수집하고 이를 분석하여 도출될 수 있다.
제어부(400)는 도 9에 도시된 세 개의 적외선 센서(IR1, IR2, IR3)의 감지결과를 조합하여 사용자의 터치조작 의도를 결정한다. 적외선 센서(IR)는 사용자의 손을 감지하면 on신호를 출력하고, 손을 감지하지 못하면 off신호를 출력한다. 도 10 내지 도 12는 사용자가 다이얼 조작부(111)를 조작하는 모습들을 도시한 도면이다.
도 10에 도시된 것과 같은 모습으로 사용자가 다이얼 조작부(111)를 조작하는 경우, 제1적외선 센서(IR1)는 on신호를 출력하고, 제2적외선 센서(IR2)와 제3적외선 센서(IR3)는 off 신호를 출력한다. 제어부(400)는 이 경우, 터치조작이라고 결정하고, 모터(410)를 구동시켜 다이얼 조작부(111)를 후방으로 미리 정해진 각도만큼 틸팅시킨다. 틸팅각도는 사용자가 터치조작이 용이하다고 느낄 수 있는 각도로 미리 실험을 통해 산출되어 저장될 수 있다.
반면 도 11에 도시된 것과 같은 모습으로 사용자가 다이얼 조작부(111)를 조작하는 경우, 제1적외선 센서(IR1), 제2적외선 센서(IR2) 및 제3적외선 센서(IR3) 모두 on신호를 출력한다. 제어부(400)는 이 경우, 터치조작이 아니라고 결정하고, 다이얼 조작부(111)를 틸팅시키지 않는다.
또한, 도 12에 도시된 것과 같은 모습으로 사용자가 다이얼 조작부(111)를 조작하는 경우, 제1적외선 센서(IR1), 제2적외선 센서(IR2)는 on신호를 출력하고, 제3적외선 센서(IR3)는 off신호를 출력한다. 제어부(400)는 이 경우에도, 터치조작이 아니라고 결정하고 다이얼 조작부(111)를 틸팅시키지 않는다.
도 10 내지 도 12에 도시된 것처럼, 제어부(400)는 복수의 적외선 센서(IR)에서 사용자의 손을 감지하여 출력한 신호를 조합하여 사용자의 터치조작 여부를 결정하고, 사용자가 터치조작의 의도로 다이얼 조작부(111)를 조작하는 것으로 판단되면 미리 정해진 각도만큼 다이얼 조작부(111)를 후방으로 틸팅시킨다.
복수의 적외선 센서(IR)로부터 출력되는 신호의 조합 중 터치조작에 대응하는 신호의 조합과 회전조작에 대응하는 신호의 조합은 미리 결정되어 제어부(400)에 저장될 수 있다.
제어부(400)에서 다이얼 조작부(111)에 대한 사용자의 조작을 터치조작으로 결정하고, 모터(410)를 구동시키면, 모터(410)는 다이얼 조작부(111)의 회전축 부재를 상측으로 이동시킨다. 회전축 부재는 전술한 것처럼, 다이얼 조작부(111)가 네 가지 방향(d1 내지 d4)으로 틸팅될 수 있도록 마련된 구조를 가지므로, 회전축 부재가 상측으로 이동하면서 후방으로 틸팅되면 다이얼 조작부(111)도 후방으로 틸팅된다.
제어부(400)는 터치조작이 지속되는 동안 다이얼 조작부(111)의 틸팅상태를 유지시킨다.
도 8에 도시된 것처럼, 감지부는 카메라(C)를 포함할 수 있다. 카메라(C)는 다이얼 조작부(111)를 조작하는 사용자의 손에 대한 이미지를 획득할 수 있는 위치에 마련될 수 있다.
카메라(C)에서 다이얼 조작부(111)를 조작하는 사용자의 손의 이미지를 획득하면, 제어부(400)는 카메라(C)에서 획득한 이미지를 분석하여 사용자의 다이얼 조작부(111)의 조작이 터치조작인지 여부를 결정한다. 카메라(C)에서 획득한 이미지 속의 사용자의 손 동작을 분석하여 터치조작인지 여부를 결정하는 소프트웨어나 알고리즘은 미리 탑재될 수 있다. 카메라(C)는 사용자의 손 동작을 촬영할 수 있도록 차량의 내부에 마련된다.
카메라(C)에서 획득한 이미지의 분석결과 사용자의 다이얼 조작부(111)에 대한 조작이 터치조작으로 결정되면, 제어부(400)는 전술한 것처럼 모터(410)를 구동시켜 다이얼 조작부(111)를 후방으로 일정 각도만큼 틸팅시킨다.
사용자는 틸팅된 다이얼 조작부(111)를 원상태로 복귀시키기 위해 미리 정해진 터치제스처를 터치패드(TP)에 입력할 수 있다. 약속된 특정 패턴을 입력할 수도 있고, 터치패드(TP)를 두 번 연속으로 탭하는 등의 제스처를 통해 다이얼 조작부(111)를 원래의 위치로 이동시킬 수 있다.
사용자가 능동적으로 전술한 터치 제스처를 입력하여 다이얼 조작부(111)를 원위치시킬 수도 있고, 소정의 시간 동안 터치입력을 수행하지 않음으로써 다이얼 조작부(111)를 원위치로 이동시킬 수도 있다. 즉 제어부(400)는 다이얼 조작부(111)의 터치패드(TP)에 소정의 시간 동안 터치입력이 감지되지 않으면, 터치조작이 완료되었다고 판단하여 모터(410)를 구동시켜 다이얼 조작부(111)를 원상태로 복귀시킨다.
도 13은 본 발명의 일 실시예에 따른 차량의 제어방법을 나타낸 순서도이다.
도 13에 도시된 것처럼, 적외선 센서(IR) 또는 카메라(C)에서 사용자의 다이얼 조작부(111)에 대한 조작을 감지한다(600).
도 9에 도시된 것처럼, 다이얼 조작부(111)에 두 개의 적외선 센서(IR1, IR2)가 설치되고, 다이얼 조작부(111)가 설치되어 있는 콘솔에 하나의 적외선 센서(IR3)가 설치될 수 있다. 도 9에 도시된 적외선 센서(IR)의 설치위치나 개수는 일 예에 불과하고, 더 적거나 많은 수의 적외선 센서(IR)가 도 9에 도시된 위치와 다른 위치에 설치될 수 있음은 물론이다.
적외선 센서(IR)의 개수와 설치위치는 사용자의 다이얼 조작부(111)에 대한 조작이 터치조작인지 회전조작인지를 보다 정확하게 구분할 수 있는 개수와 위치로 결정된다. 이는 사용자의 다이얼 조작부(111)에 대한 조작 습관이나 패턴 등을 수집하고 이를 분석하여 도출될 수 있다.
카메라(C)는 다이얼 조작부(111)를 조작하는 사용자의 손에 대한 이미지를 획득할 수 있는 위치에 마련될 수 있다.
제어부(400)는 상기 조작이 터치입력을 위한 조작인지 여부를 결정한다(610). 제어부(400)는 상기 조작이 터치입력을 위한 조작으로 결정되면, 다이얼 조작부(111)를 후방으로 미리 정해진 각도만큼 틸팅시킨다(620).
제어부(400)는 도 9에 도시된 세 개의 적외선 센서(IR1, IR2, IR3)의 감지결과를 조합하여 사용자의 터치조작 의도를 결정한다. 적외선 센서(IR)는 사용자의 손을 감지하면 on신호를 출력하고, 손을 감지하지 못하면 off신호를 출력한다. 도 10 내지 도 12는 사용자가 다이얼 조작부(111)를 조작하는 모습들을 도시한 도면이다.
도 10에 도시된 것과 같은 모습으로 사용자가 다이얼 조작부(111)를 조작하는 경우, 제1적외선 센서(IR1)는 on신호를 출력하고, 제2적외선 센서(IR2)와 제3적외선 센서(IR3)는 off 신호를 출력한다. 제어부(400)는 이 경우, 터치조작이라고 결정하고, 모터(410)를 구동시켜 다이얼 조작부(111)를 후방으로 미리 정해진 각도만큼 틸팅시킨다. 틸팅각도는 사용자가 터치조작이 용이하다고 느낄 수 있는 각도로 미리 실험을 통해 산출되어 저장될 수 있다.
반면 도 11에 도시된 것과 같은 모습으로 사용자가 다이얼 조작부(111)를 조작하는 경우, 제1적외선 센서(IR1), 제2적외선 센서(IR2) 및 제3적외선 센서(IR3) 모두 on신호를 출력한다. 제어부(400)는 이 경우, 터치조작이 아니라고 결정하고, 다이얼 조작부(111)를 틸팅시키지 않는다.
또한, 도 12에 도시된 것과 같은 모습으로 사용자가 다이얼 조작부(111)를 조작하는 경우, 제1적외선 센서(IR1), 제2적외선 센서(IR2)는 on신호를 출력하고, 제3적외선 센서(IR3)는 off신호를 출력한다. 제어부(400)는 이 경우에도, 터치조작이 아니라고 결정하고 다이얼 조작부(111)를 틸팅시키지 않는다.
도 10 내지 도 12에 도시된 것처럼, 제어부(400)는 복수의 적외선 센서(IR)에서 사용자의 손을 감지하여 출력한 신호를 조합하여 사용자의 터치조작 여부를 결정하고, 사용자가 터치조작의 의도로 다이얼 조작부(111)를 조작하는 것으로 판단되면 미리 정해진 각도만큼 다이얼 조작부(111)를 후방으로 틸팅시킨다.
복수의 적외선 센서(IR)로부터 출력되는 신호의 조합 중 터치조작에 대응하는 신호의 조합과 회전조작에 대응하는 신호의 조합은 미리 결정되어 제어부(400)에 저장될 수 있다.
제어부(400)에서 다이얼 조작부(111)에 대한 사용자의 조작을 터치조작으로 결정하고, 모터(410)를 구동시키면, 모터(410)는 다이얼 조작부(111)의 회전축 부재를 상측으로 이동시킨다. 회전축 부재는 전술한 것처럼, 다이얼 조작부(111)가 네 가지 방향(d1 내지 d4)으로 틸팅될 수 있도록 마련된 구조를 가지므로, 회전축 부재가 상측으로 이동하면서 후방으로 틸팅되면 다이얼 조작부(111)도 후방으로 틸팅된다.
제어부(400)는 터치조작이 지속되는 동안 다이얼 조작부(111)의 틸팅상태를 유지시킨다.
한편, 카메라(C)에서 다이얼 조작부(111)를 조작하는 사용자의 손의 이미지를 획득하면, 제어부(400)는 카메라(C)에서 획득한 이미지를 분석하여 사용자의 다이얼 조작부(111)의 조작이 터치조작인지 여부를 결정한다. 카메라(C)에서 획득한 이미지 속의 사용자의 손 동작을 분석하여 터치조작인지 여부를 결정하는 소프트웨어나 알고리즘은 미리 탑재될 수 있다. 카메라(C)는 사용자의 손 동작을 촬영할 수 있도록 차량의 내부에 마련된다.
카메라(C)에서 획득한 이미지의 분석결과 사용자의 다이얼 조작부(111)에 대한 조작이 터치조작으로 결정되면, 제어부(400)는 전술한 것처럼 모터(410)를 구동시켜 다이얼 조작부(111)를 후방으로 일정 각도만큼 틸팅시킨다.
적외선 센서(IR)와 카메라(C)의 감지결과는 독립적으로 활용되거나 서로 조합되어 활용될 수도 있다.
다이얼 조작부(111)가 틸팅된 상태에서, 다이얼 조작부(111)의 터치패드(TP)에서 정해진 터치 제스처가 감지되면(630의 예), 제어부(400)는 다이얼 조작부(111)를 원위치로 복귀시키고(650), 정해진 터치 제스처가 감지되지 않으면(630의 아니오), 다이얼 조작부(111)에 대한 터치입력 없이 정해진 시간이 경과했는지 여부를 결정하고(640), 정해진 시간이 경과했으면 다이얼 조작부(111)를 원위치로 복귀시킨다(650).
사용자는 틸팅된 다이얼 조작부(111)를 원위치로 복귀시키기 위해 미리 정해진 터치제스처를 터치패드(TP)에 입력할 수 있다. 약속된 특정 패턴을 입력할 수도 있고, 터치패드(TP)를 두 번 연속으로 탭하는 등의 제스처를 통해 다이얼 조작부(111)를 원래의 위치로 이동시킬 수 있다.
사용자가 능동적으로 전술한 터치 제스처를 입력하여 다이얼 조작부(111)를 원위치로 복귀시킬 수도 있고, 소정의 시간 동안 터치입력을 수행하지 않음으로써 다이얼 조작부(111)를 원위치로 복귀시킬 수도 있다. 즉 제어부(400)는 다이얼 조작부(111)의 터치패드(TP)에 소정의 시간 동안 터치입력이 감지되지 않으면, 터치조작이 완료되었다고 판단하여 모터(410)를 구동시켜 다이얼 조작부(111)를 원위치로 복귀시킨다.
100 : 차량
110 : 입력장치
111 : 다이얼 조작부
400 : 제어부

Claims (21)

  1. 다이얼 조작부에 마련되는 복수의 적외선 센서를 포함하고, 다이얼 조작부에 대한 사용자의 조작을 감지하는 감지부;
    상면에 사용자의 터치 조작이 가능하도록 마련되는 터치패드를 포함하고, 미리 정해진 방향으로 틸팅가능하도록 마련되는 다이얼 조작부; 및
    상기 복수의 적외선 센서에서 감지한 신호를 조합하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하고, 터치입력을 위한 것으로 결정되면, 상기 다이얼 조작부를 미리 정해진 방향으로 미리 정해진 각도만큼 틸팅시키고, 사용자의 조작이 터치입력을 위한 것이 아니면 상기 다이얼 조작부를 틸팅시키지 않는 제어부;를 포함하는 입력장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 감지부는 사용자의 다이얼 조작부에 대한 조작을 감지하는 카메라를 포함하는 입력장치.
  5. 제4항에 있어서,
    상기 제어부는 상기 카메라에서 획득한 이미지에 기초하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하고, 터치입력을 위한 것으로 결정되면 상기 다이얼 조작부를 미리 정해진 방향으로 미리 정해진 각도만큼 틸팅시키고, 사용자의 조작이 터치입력을 위한 것이 아니면 상기 다이얼 조작부를 틸팅시키지 않는 입력장치.
  6. 제1항에 있어서,
    상기 감지부에서 상기 다이얼 조작부에 대한 사용자의 터치조작을 감지하면, 상기 다이얼 조작부를 미리 정해진 각도만큼 틸팅시키는 모터;를 더 포함하는 입력장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 다이얼 조작부는 상기 감지부에서 상기 사용자의 터치조작이 미리 정해진 시간 동안 감지되지 않거나 미리 정해진 터치 제스처가 입력되면 원위치로 복귀하는 입력장치.
  9. 다이얼 조작부에 마련되는 복수의 적외선 센서를 포함하고 다이얼 조작부에 대한 사용자의 조작을 감지하는 감지부 및 상면에 사용자의 터치조작이 가능하도록 마련되는 터치패드를 포함하고 틸팅가능하도록 마련되는 다이얼 조작부를 포함하는 입력장치; 및
    상기 복수의 적외선 센서에서 감지한 신호를 조합하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하고, 터치입력을 위한 것으로 결정되면 상기 다이얼 조작부를 미리 정해진 방향으로 미리 정해진 각도만큼 틸팅시키고, 사용자의 조작이 터치입력을 위한 것이 아니면 상기 다이얼 조작부를 틸팅시키지 않는 제어부;를 포함하는 교통수단.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서,
    상기 감지부는 사용자의 다이얼 조작부에 대한 조작을 감지하는 카메라를 포함하는 교통수단.
  13. 제12항에 있어서,
    상기 제어부는 상기 카메라에서 획득한 이미지에 기초하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하고, 터치입력을 위한 것으로 결정되면 상기 다이얼 조작부를 미리 정해진 방향으로 미리 정해진 각도만큼 틸팅시키고, 사용자의 조작이 터치입력을 위한 것이 아니면 상기 다이얼 조작부를 틸팅시키지 않는 교통수단.
  14. 제9항에 있어서,
    상기 입력장치는 상기 다이얼 조작부를 틸팅시키는 모터;를 더 포함하는 교통수단.
  15. 제14항에 있어서,
    상기 제어부는 상기 감지부에서 상기 다이얼 조작부에 대한 사용자의 터치조작을 감지하면, 미리 정해진 방향으로 상기 다이얼 조작부가 틸팅되도록 상기 모터를 구동시키는 교통수단.
  16. 제9항에 있어서,
    상기 제어부는,
    상기 감지부에서 상기 사용자의 터치조작이 미리 정해진 시간 동안 감지되지 않거나 상기 다이얼 조작부에 미리 정해진 터치 제스처가 입력되면 틸팅된 다이얼 조작부를 원위치로 복귀시키는 교통수단.
  17. 다이얼 조작부를 포함하는 교통수단의 제어방법에 있어서,
    상기 다이얼 조작부에 대한 조작을 감지하고;
    상기 다이얼 조작부에 대한 조작이 터치조작인지 여부를 결정하고;
    상기 다이얼 조작부에 대한 조작이 터치조작이면, 상기 다이얼 조작부를 미리 정해진 방향으로 틸팅시키는 것;을 포함하는 교통수단의 제어방법.
  18. 제17항에 있어서,
    상기 다이얼 조작부에 대한 조작이 터치조작인지 여부를 결정하는 것은,
    상기 다이얼 조작부에 마련된 복수의 적외선 센서에서 감지한 신호를 조합하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하는 것;을 포함하는 교통수단의 제어방법.
  19. 제17항에 있어서,
    상기 다이얼 조작부에 대한 조작이 터치조작인지 여부를 결정하는 것은,
    카메라에서 획득한 이미지에 기초하여 상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것인지 결정하는 것;을 포함하는 교통수단의 제어방법.
  20. 제18항 또는 제19항에 있어서,
    상기 다이얼 조작부를 미리 정해진 방향으로 틸팅시키는 것은,
    상기 다이얼 조작부에 대한 사용자의 조작이 터치입력을 위한 것으로 결정되면 상기 다이얼 조작부를 미리 정해진 방향으로 미리 정해진 각도만큼 틸팅시키는 것;을 포함하는 교통수단의 제어방법
  21. 제17항에 있어서,
    감지부에서 사용자의 터치조작이 미리 정해진 시간 동안 감지되지 않거나 상기 다이얼 조작부에 미리 정해진 터치 제스처가 입력되면 틸팅된 다이얼 조작부를 원위치로 복귀시키는 것;을 더 포함하는 교통수단의 제어방법.
KR1020140105819A 2014-08-14 2014-08-14 입력장치, 이를 포함하는 차량 및 그 제어방법 KR101592887B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140105819A KR101592887B1 (ko) 2014-08-14 2014-08-14 입력장치, 이를 포함하는 차량 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140105819A KR101592887B1 (ko) 2014-08-14 2014-08-14 입력장치, 이를 포함하는 차량 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR101592887B1 true KR101592887B1 (ko) 2016-02-11

Family

ID=55351806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140105819A KR101592887B1 (ko) 2014-08-14 2014-08-14 입력장치, 이를 포함하는 차량 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR101592887B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003220893A (ja) * 2002-01-31 2003-08-05 Sanyo Electric Co Ltd 自動車搭載用操作装置
JP2007145238A (ja) * 2005-11-29 2007-06-14 Fujitsu Ten Ltd 情報表示装置
KR20100120870A (ko) * 2009-05-07 2010-11-17 현대자동차일본기술연구소 차재 기기의 조작장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003220893A (ja) * 2002-01-31 2003-08-05 Sanyo Electric Co Ltd 自動車搭載用操作装置
JP2007145238A (ja) * 2005-11-29 2007-06-14 Fujitsu Ten Ltd 情報表示装置
KR20100120870A (ko) * 2009-05-07 2010-11-17 현대자동차일본기술연구소 차재 기기의 조작장치

Similar Documents

Publication Publication Date Title
US20160170495A1 (en) Gesture recognition apparatus, vehicle having the same, and method for controlling the vehicle
US20200215975A1 (en) Vehicular display system with user input display
CN109278844B (zh) 方向盘、具有方向盘的车辆以及用于控制车辆的方法
US10095313B2 (en) Input device, vehicle having the input device, and method for controlling the vehicle
KR101561917B1 (ko) 차량 제어 장치 및 그 제어 방법
KR101537936B1 (ko) 차량 및 그 제어방법
EP3466741B1 (en) Light-based touch controls on a steering wheel and dashboard
US20160132126A1 (en) System for information transmission in a motor vehicle
US9939912B2 (en) Detection device and gesture input device
US8886407B2 (en) Steering wheel input device having gesture recognition and angle compensation capabilities
KR101728334B1 (ko) 차량용 입력장치 및 이를 포함하는 차량
US10133357B2 (en) Apparatus for gesture recognition, vehicle including the same, and method for gesture recognition
KR101665554B1 (ko) 다이얼 조작장치, 이를 포함하는 차량 및 그 제어방법
US20150253950A1 (en) Manipulating device
JP2007326491A (ja) 車両用入力装置
KR20170109283A (ko) 차량 및 차량의 제어방법
KR102385060B1 (ko) 입력 장치 및 그 제어방법
KR101619893B1 (ko) 다이얼 조작장치, 이를 포함하는 차량 및 그 제어방법
US10423326B2 (en) Vehicle and control method of the same
KR101592887B1 (ko) 입력장치, 이를 포함하는 차량 및 그 제어방법
KR101657658B1 (ko) 입력장치, 이를 포함하는 차량 및 그 제어방법
JP7378902B2 (ja) 操作制御装置
KR20190036192A (ko) 입력 장치 및 그 제어 방법
KR102118127B1 (ko) 입력장치, 이를 포함하는 차량 및 그 제어방법
JP2015019279A (ja) 電子機器

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 5