KR102334543B1 - 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법 - Google Patents

가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법 Download PDF

Info

Publication number
KR102334543B1
KR102334543B1 KR1020190117763A KR20190117763A KR102334543B1 KR 102334543 B1 KR102334543 B1 KR 102334543B1 KR 1020190117763 A KR1020190117763 A KR 1020190117763A KR 20190117763 A KR20190117763 A KR 20190117763A KR 102334543 B1 KR102334543 B1 KR 102334543B1
Authority
KR
South Korea
Prior art keywords
finger
hand
motion tracking
communication module
control module
Prior art date
Application number
KR1020190117763A
Other languages
English (en)
Other versions
KR20210035669A (ko
Inventor
김유용
노재승
오정주
유영지
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR1020190117763A priority Critical patent/KR102334543B1/ko
Publication of KR20210035669A publication Critical patent/KR20210035669A/ko
Application granted granted Critical
Publication of KR102334543B1 publication Critical patent/KR102334543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/16—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법에 관한 것으로서, 본 발명의 일 실시 예에 따른 시스템은, 장갑, 장갑에 장착 가능한 트래커, 트래커를 장갑에 고정시키기 위해 장갑에 구비되는 볼트형 체결부재, 장갑의 검지 및 중지에 배치되어 손가락의 움직임을 감지하는 구부림 센서 및 구부림 센서의 측정값을 기초로 손가락의 움직임 정보를 생성하는 제어모듈을 포함하는 동작 추적 장치, 제어모듈로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 통신모듈 및 통신모듈과 연결되어 통신모듈로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 프로세서를 포함할 수 있다.

Description

가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법{HAND MOTION TRACKING SYSTEM AND METHOD FOR SAFETY EDUCATION OF DRIVEN AGRICULTURAL MACHINERY BASED ON VIRTUAL REALITY}
본 발명은 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법에 관한 것으로, 더욱 상세하게는 손의 절대 방위를 표현하기 위한 지자기 센서를 이용하지 않더라도 손의 위치 및 움직임을 정확히 추적하고, 손 동작을 4가지 움직임으로 표현함으로써 가상현실 기반 주행형 농업기계의 안전교육에 최적화시킨 시스템 및 방법에 관한 것이다.
최근 가상현실을 이용한 시뮬레이션 환경의 활용이 정보통신 산업에서 주목을 받음에 따라 현실에서의 손 또는 손가락의 동작을 컴퓨팅 장치에 인식시키기 위한 다양한 기술들이 개발되고 있다. 현재 개발된 손 또는 손가락의 동작 인식 기술로는 카메라를 이용한 비전 기반의 인식 기술과 손에 부착되는 트래커(tracker)를 이용한 센싱 기반의 인식 기술이 있다. 그러나, 전술한 두 가지 인식 기술들은 다음과 같은 문제점들이 존재한다.
예를 들어, 손 또는 손가락의 움직임을 인식하기 위해 3D 적외선 카메라 등의 비전 기반의 인식 기술을 이용하는 경우, 카메라로 볼 수 없는 사각지대에 있는 손의 위치 및 움직임을 추적하지 못하는 문제가 있다. 또한, 레버 등 손가락과 유사한 형상을 갖는 물체가 카메라의 인식 범위에 포함되는 경우, 이를 손이 아닌 다른 물체가 인식하지 못하고 손으로 인식하는 문제가 있다.
한편, 손에 부착되는 트래커를 이용한 센싱 기반의 인식 기술은 대부분 손의 절대 방위를 표현하기 위해 지자기 센서가 포함된 IMU(inertial measurment unit) 센서를 사용한다. 다만, IMU 센서를 이용하여 손 또는 손가락을 인식하는 경우에는 철과 같은 금속이 있는 영역의 근방에 손이 위치할 경우, 금속에 의한 자기장의 영향으로 인식된 손의 디지털 형상이 왜곡되는 문제가 존재한다. 또한, 다양한 손 또는 손가락 동작을 인식하고자 손가락 및 손 전체를 인식하다 보니, 사용 목적에 맞추어 필요한 손 또는 손가락의 움직임을 정확하게 추적 및 검출하지 못하는 문제가 존재한다.
대한민국 공개특허공보 제10-2014-0033025호 (2014.03.17)
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로서, 손의 절대 방위를 표현하기 위한 지자기 센서를 이용하지 않더라도 손의 위치 및 움직임을 정확히 추적하고, 손 동작을 4가지 움직임으로 표현함으로써 가상현실 기반 주행형 농업기계의 안전교육에 최적화시킨 시스템 및 방법을 제공함에 목적이 있다.
본 발명의 일 실시 예에 따른 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템은, 장갑, 장갑에 장착 가능한 트래커, 트래커를 장갑에 고정시키기 위해 장갑에 구비되는 볼트형 체결부재, 장갑의 검지 및 중지에 배치되어 손가락의 움직임을 감지하는 구부림 센서 및 구부림 센서의 측정값을 기초로 손가락의 움직임 정보를 생성하는 제어모듈을 포함하는 동작 추적 장치, 제어모듈로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 통신모듈 및 통신모듈과 연결되어 통신모듈로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 프로세서를 포함할 수 있다.
본 발명의 일 실시 예에 따른 동작 추적 장치는, 제어모듈 및 볼트형 체결부재를 내부에 수용하는 제 1 케이스 및 구부림 센서와 제 1 케이스를 내부에 수용하는 제 2 케이스를 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 1 케이스 및 제 2 케이스에는, 볼트형 체결부재가 트래커와 결합될 수 있도록 볼트형 체결부재가 관통하는 홀이 형성될 수 있다.
본 발명의 일 실시 예에 따른 제어모듈은, 구부림 센서의 측정값을 디지털 신호로 변환하고, 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 손가락의 움직임 정보를 생성할 수 있다.
본 발명의 일 실시 예에 따른 통신모듈은, 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 최대값과 최소값을 기초로 제어모듈로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환할 수 있다.
본 발명의 일 실시 예에 따른 프로세서는, 통신모듈로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정할 수 있다. 이때, 4가지의 움직임은 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 방법은, 동작 추적 장치의 구부림 센서가 손가락의 움직임을 감지하는 단계, 동작 추적 장치의 제어모듈이 구부림 센서의 측정값을 기초로 손가락의 움직임 정보를 생성하는 단계, 통신모듈이 제어모듈로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 단계 및 통신모듈과 연결된 프로세서가 통신모듈로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 손가락의 움직임 정보를 생성하는 단계에서는, 제어모듈이 구부림 센서의 측정값을 디지털 신호로 변환하고, 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 손가락의 움직임 정보를 생성할 수 있다.
본 발명의 일 실시 예에 따른 캘리브레이션을 수행하는 단계에서는, 통신모듈이 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 최대값과 최소값을 기초로 제어모듈로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환할 수 있다.
본 발명의 일 실시 예에 따른 손의 디지털 형상을 생성하는 단계에서는, 프로세서가 통신모듈로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정할 수 있다. 이때, 4가지의 움직임은 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정될 수 있다.
본 발명의 일 실시 예로서 제공되는 손 동작 추적 시스템 및 방법에 따르면, 레버 등 손가락과 유사한 형상을 갖는 물체가 인식 범위에 포함되더라도 물체와 손을 확실하게 구별하여 손 및 손가락의 동작 및 위치를 정확히 인식할 수 있으며, 주행형 농업기계의 안전교육에 필요한 손가락의 움직임만을 정확하게 검출할 수 있다.
또한, 지자기 센서를 전혀 이용하지 않으므로, 철과 같은 금속이 있는 영역의 근방에 손이 위치할 경우에도 자기장의 영향으로 인식된 손의 디지털 형상이 왜곡되는 문제를 해결할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 손 동작 추적 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 동작 추적 장치의 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 동작 추적 장치의 분해도이다.
도 4는 본 발명의 일 실시 예에 따른 통신모듈에서 수신한 손가락의 움직임 정보를 나타낸 인터페이스 이미지이다.
도 5는 본 발명의 일 실시 예에 따른 검지 및 중지의 굽힘 상태값을 표시한 결과를 나타낸 인터페이스 이미지이다.
도 6은 본 발명의 일 실시 예에 따른 검지 및 중지의 펼침 상태값을 표시한 결과를 나타낸 인터페이스 이미지이다.
도 7은 본 발명의 일 실시 예에 따른 4가지의 손가락 움직임을 나타낸 이미지이다.
도 8은 본 발명의 일 실시 예에 따른 트래커와 손목 관절의 좌표계를 나타낸 이미지이다.
도 9는 본 발명의 일 실시 예에 따른 손 동작 추적 방법의 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 손 동작 추적 시스템의 블록도이다.
또한, 도 2는 본 발명의 일 실시 예에 따른 동작 추적 장치(100)의 사시도, 도 3은 본 발명의 일 실시 예에 따른 동작 추적 장치(100)의 분해도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템은, 사용자의 왼손 또는 오른손에 각각 착용 가능한 동작 추적 장치(100), 동작 추적 장치(100)와의 무선 통신을 수행하는 통신모듈(200) 및 통신모듈(200)과 연결되어 주행형 농업기계의 안전교육용 가상현실을 구현하는 프로세서(300)를 포함할 수 있다. 이때, 통신모듈(200)과 프로세서(300)는 별개의 구성으로서 USB(universal serial bus) 등을 통한 시리얼 통신을 통해 연결될 수 있으며, 도 1과 같이 컴퓨팅 장치(computer device: 200)에 하나의 구성으로 형성되어 유무선 통신을 통해 연결될 수도 있다.
본 발명의 일 실시 예에 따르면, 통신모듈(200)은 동작 추적 장치(100)의 트래커(80)와 간섭이 없는 주파수를 선택하여 무선 통신을 수행할 수 있다. 만약 일정한 장소에 동작 추적 장치(100)가 여러 개가 존재하는 경우, 이를 선택적으로 구별하여 손 동작을 추적할 수 있도록 하기 위해 동작 추적 장치들(100) 각각에는 고유 정보가 할당될 수 있다. 통신 모듈은 무선 통신 과정에서 동작 추적 장치들(100)의 고유 정보를 토대로 동작 추적 장치들(100)을 식별할 수 있다. 이때, 고유 정보의 할당은 프로세서(300)에 의해 수행될 수 있으며, 고유 정보의 수정, 변경 등도 프로세서(300)에 의해 수행될 수 있다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시 예에 따른 동작 추적 장치(100)는 패브릭(fabric) 소재의 장갑(10), 손가락의 움직임 정보를 생성하는 제어모듈(20), 전원 공급을 위한 배터리(30), 트래커(80)를 장갑(10)에 고정시키기 위해 장갑(10)에 구비되는 볼트형 체결부재(40), 장갑(10)의 검지 및 중지에 배치되어 손가락의 움직임을 감지하는 구부림 센서(70), 제 1 케이스(50), 제 2 케이스(60) 및 가상현실 상에서 손의 디지털 형상을 구현할 수 있도록 손의 위치 및 전반적인 동작을 추적하는 트래커(80)를 포함할 수 있다. 이때, 제 1 케이스(50)에는 제어모듈(20), 배터리(30) 및 볼트형 체결부재(40)가 내부에 수용될 수 있다. 제 2 케이스(60)에는 구부림 센서(70) 및 제 1 케이스(50)가 내부에 수용될 수 있다.
예를 들어, 도 3과 같이 장갑(10)의 손등 영역에 제어모듈(20), 배터리(30), 볼트형 체결부재(40)가 차례대로 적층되면, 이들을 보호하고 고정하기 위한 제 1 케이스(50)가 장갑(10)의 손등 영역에 결합될 수 있다. 이때, 제 1 케이스(50)는 제어모듈(20), 배터리(30), 볼트형 체결부재(40)가 안착될 수 있도록 일면이 개방되고 내부에 빈 공간이 형성된 박스형태일 수 있다. 장갑(10)의 검지 및 중지 영역에 구부림 센서(70)가 배치되면, 구부림 센서(70)와 제 1 케이스(50)를 보호하고 고정하기 위한 제 2 케이스(60)가 장갑(10)의 검지, 중지 및 손등 영역에 결합될 수 있다. 즉, 제 2 케이스(60)는 장갑(10)의 검지, 중지 및 손등 영역을 안정적으로 감쌀 수 있도록 일면이 개방되고 내부에 빈 공간이 형성될 수 있다.
또한, 도 3을 참조하면, 제 1 케이스(50) 및 제 2 케이스(60)에는 볼트형 체결부재(40)가 트래커(80)와 결합될 수 있도록 볼트형 체결부재(40)가 관통하는 홀이 형성될 수 있다. 즉, 볼트형 체결부재(40)는 제 1 케이스(50) 및 제 2 케이스(60)의 내부에 수용되므로, 제 2 케이스(60)의 상단면에서 트래커(80)와 볼트형 체결부재(40)가 결합될 수 있도록 제 1 케이스(50) 및 제 2 케이스(60)의 일면에는 관통홀이 형성될 수 있다. 관통홀을 통과한 볼트형 체결부재(40)의 노출부위와 트래커(80)의 하단면이 상호 결합됨으로써, 트레커는 장갑(10)에 장착될 수 있다.
이때, 장갑(10)에는 볼트형 체결부재(40)가 흔들리지 않도록 고정키기 위해서 관통홀을 통과하여 노출된 볼트형 체결부재(40)와 연결되는 밴딩부재가 구비될 수 있다. 밴딩부재가 장갑(10)의 손등 영역을 감싸도록 구비되어 볼트형 체결부재(40)와 연결되면, 장갑(10)의 양 측면에서 작용하는 밴딩의 탄성력에 의해 볼트형 체결부재(40)가 흔들리지 않고 안정적으로 고정될 수 있다.
본 발명의 일 실시 예에 따른 제어모듈(20)은, 구부림 센서(70)의 측정값을 디지털 신호로 변환하고, 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 손가락의 움직임 정보를 생성할 수 있다. 예를 들어, 제어모듈(20)은 아날로그 신호인 구부림 센서(70)의 측정값을 디지털 신호로 변환하고, 이와 동시에 동작 추적 장치(100)가 왼손인지 또는 오른손인지 여부를 나타내는 손의 위치 정보를 추출할 수 있다. 제어모듈(20)은 디지털 신호로 변환된 측정값과 추출된 손의 위치 정보를 결합하여 0 내지 255 사이의 수치값으로 표현할 수 있다. 즉, 제어모듈(20)은 구부림 센서(70)의 측정값을 기초로 0 내지 255 사이의 수치값으로 표현되는 검지 및 중지의 움직임 정보를 생성할 수 있다. 제어모듈(20)은 통신모듈(200)로부터 움직임 정보를 요청하시는 호출 신호를 수신하면, 무선 통신을 통해 움직임 정보를 통신모듈(200)로 송신할 수 있다. 이때, 무선 통신에 이용되는 주파수는 2.4GHz일 수 있다.
도 4는 본 발명의 일 실시 예에 따른 통신모듈(200)에서 수신한 손가락의 움직임 정보를 나타낸 인터페이스 이미지, 도 5는 본 발명의 일 실시 예에 따른 검지 및 중지의 굽힘 상태값을 표시한 결과를 나타낸 인터페이스 이미지, 도 6은 본 발명의 일 실시 예에 따른 검지 및 중지의 펼침 상태값을 표시한 결과를 나타낸 인터페이스 이미지다.
본 발명의 일 실시 예에 따른 통신모듈(200)은, 제어모듈(20)로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행할 수 있다. 구체적으로 통신모듈(200)은 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 최대값과 최소값을 기초로 제어모듈(20)로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환할 수 있다. 즉, 통신모듈(200)은 동작 추적 장치(100)의 제어모듈(20)에서 전달된 검지 및 중지의 움직임 정보가 후술할 4가지의 손가락 움직임으로 표현할 수 있도록 움직임 정보를 교정하는 작업을 수행할 수 있다.
예를 들어, 통신모듈(200)은 도 4에서 표현된 바와 같이 제어 모듈 및 트래커(80)로부터 동작 추적 장치(100)의 고유정보, 왼손 장치(110)와 오른손 장치(120) 각각의 검지값, 중지값 및 전압값 등을 수신할 수 있다. 도 5에서 표현된 바와 같이 검지와 중지가 모두 구부러진 경우, 통신모듈(200)은 검지 및 중지 각각에 대한 굽힘 상태값에 해당하는 움직임 정보를 수신할 수 있다. 또한, 도 6에서 표현된 바와 같이 검지와 중지가 모두 펼쳐진 경우, 통신모듈(200)은 검지 및 중지 각가에 대한 펼침 상태값에 해당하는 움직임 정보를 수신할 수 있다. 통신모듈(200)은 이와 같이 0 내지 266 사이의 수치값으로 표현되는 검지 및 중지의 움직임 정보에서 최대값과 최소값을 추정하고, 이를 0 내지 100 사이의 수치값으로 캘리브레이션할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 4가지의 손가락 움직임을 나타낸 이미지, 도 8은 본 발명의 일 실시 예에 따른 트래커와 손목 관절의 좌표계를 나타낸 이미지이다.
본 발명의 일 실시 예에 따른 프로세서(300)는, 통신모듈(200)로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정할 수 있다. 이때, 4가지의 움직임은 도 7과 같은 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정될 수 있다. 즉, 프로세서(300)는 0 내지 100 사이의 수치값 중 하나로 표현되는 캘리브레이션값을 기초로 검지와 중지의 굽힘 또는 펼침을 분석하고, 이를 기초로 손가락의 움직임을 4가지 중 하나로 추정하여 손의 디지털 형상을 생성할 수 있다. 다시 말해서, 프로세서(300)는 이와 같은 주행형 농업기계의 안전교육에 최적화된 4가지의 손가락 움직임을 검지와 중지의 움직임만으로도 정확하게 검출할 수 있다.
예를 들어, 프로세서(300)를 통해 추정되는 4가지의 움직임은 도 7의 (a)와 같은 엄지와 검지를 이용한 집게 모션, 도 7의 (b)와 같은 검지를 이용하여 누르는 클릭(click) 모션, 도 7의 (c)와 같은 손가락 전체를 이용하여 레버 등을 잡는 홀딩(holding) 모션, 도 7의 (d)와 같은 손가락 전체를 이용한 정지 모션으로 구분될 수 있다. 이러한 4가지의 움직임은 각각 검지 및 중지가 굽혀졌는지 혹은 펼쳐졌는지 여부에 따라 결정될 수 있다. 즉, 프로세서(300)가 캘리브레이션값을 기초로 중지는 펴고 검지는 구부린 것으로 분석한 경우, 손가락 움직임은 도 7의 (a)와 같은 집게 모션으로 추정될 수 있다. 프로세서(300)가 캘리브레이션값을 기초로 중지는 구부리고 검지는 편 것으로 분석한 경우, 손가락 움직임은 도 7의 (b)와 같은 클릭 모션으로 추정될 수 있다. 프로세서(300)가 캘리브레이션값을 기초로 중지와 검지 모두 구부린 것으로 분석한 경우, 손가락 움직임은 도 7의 (c)와 같은 홀딩 모션으로 추정될 수 있다. 프로세서(300)가 캘리브레이션값을 기초로 중지와 검지 모두 편 것으로 분석한 경우, 손가락 움직임은 도 7의 (d)와 같은 정지 모션으로 추정될 수 있다.
또한, 도 8을 참조하면, 본 발명의 일 실시 예에 따른 프로세서(300)는, 동작 추적 장치(100)의 트래커(80)의 좌표값을 손목 위치로 보정할 수 있다. 즉, 트래커(80)는 장갑(10)의 손등 영역에 위치하므로, 손목의 회전에 따른 손의 움직임을 보다 정확히 손의 디지털 형상의 구현에 반영하기 위해 프로세서(300)는 트래커(80)의 좌표값을 손목 위치로 보정할 수 있다. 이러한 보정 과정은 하기와 같은 [식 1] 및 [식 2]를 통해 수행될 수 있다.
[식 1]
Figure 112019097784188-pat00001
[식 2]
Figure 112019097784188-pat00002
여기서, PTracker는 트래커(80)의 밑면 좌표(xt, yt, zt), PD는 트래커(80)로부터 손바닥 피벗(pivot)까지의 좌표(xd, yd, -zd), Phollow는 손바닥의 피벗 좌표(xh, yh, zh), xd는 트래커(80)의 밑면에서 손바닥 피벗까지의 x축으로 수평거리, yd는 트래커(80)의 밑면에서 손바닥 피벗까지의 y축으로 수평거리, zd는 트래커(80) 중심으로부터 손바닥 피벗까지의 z축으로 수직거리를 의미한다. 또한, RTracker(ψ, θ, φ)는 트래커(80)의 회전 매트릭스, ψ, θ 및 φ는 트래커(80)의 xt, yt, zt축을 기준으로 한 회전각을 의미한다.
즉, 프로세서(300)는 [식 1] 및 [식 2]를 이용한 오일러 앵글(Euler angle) 방식의 연산 과정을 수행할 수 있다. 오일러 앵글 방식은 3차원 공간의 절대 좌표를 기준으로 물체가 얼마나 회전했는지를 측정하는 방식으로, x, y, z 축을 차례대로 회전시키는 방법을 이용한다. 이때, x, y, z축 중 2개의 축이 겹쳐졌을 때, 어느 축으로도 회전하지 않고 잠기는 현상인 짐벌 락 현상이 발생할 수 있다. 이러한 짐벌 락 현상을 해결하기 위해 프로세서(300)는 쿼터니언(quaternion)를 사용하여 세축을 차례대로 회전시키는 것이 아닌 세 축을 동시에 회전시키는 방식을 사용하여 연산을 수행할 수 있다. 프로세서(300)는 회전(rotate) 함수를 쿼터니언으로 자동으로 변형하고, 쿼터니언 타입의 속성인 로테이션(rotation)은 쿼터니언.오일러(x, y, z) 함수를 이용해 오일러 앵글을 쿼터니언 타입으로 변형되어 대입될 수 있다.
한편, 본 발명의 일 실시 예에 따른 방법과 관련하여서는 전술한 시스템에 대한 내용이 적용될 수 있다. 따라서, 방법과 관련하여, 전술한 시스템에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
도 9는 본 발명의 일 실시 예에 따른 손 동작 추적 방법의 순서도이다.
도 9를 참조하면, 본 발명의 일 실시 예에 따른 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 방법은, 동작 추적 장치(100)의 구부림 센서(70)가 손가락의 움직임을 감지하는 단계(S100), 동작 추적 장치(100)의 제어모듈(20)이 구부림 센서(70)의 측정값을 기초로 손가락의 움직임 정보를 생성하는 단계(S200), 통신모듈(200)이 제어모듈(20)로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 단계(S300) 및 통신모듈(200)과 연결된 프로세서(300)가 통신모듈(200)로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 단계(S400)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 손가락의 움직임 정보를 생성하는 단계에서는, 제어모듈(20)이 구부림 센서(70)의 측정값을 디지털 신호로 변환하고, 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 손가락의 움직임 정보를 생성할 수 있다.
본 발명의 일 실시 예에 따른 캘리브레이션을 수행하는 단계에서는, 통신모듈(200)이 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 최대값과 최소값을 기초로 제어모듈(20)로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환할 수 있다.
본 발명의 일 실시 예에 따른 손의 디지털 형상을 생성하는 단계에서는, 프로세서(300)가 통신모듈(200)로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정할 수 있다. 이때, 4가지의 움직임은 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 장갑 20: 제어모듈
30: 배터리 40: 볼트형 체결부재
50: 제 1 케이스 60: 제 2 케이스
70: 구부림 센서 80: 트래커
100: 동작 추적 장치 110: 왼손 동작 추적 장치
120: 오른손 동작 추적 장치
200: 컴퓨팅 장치 210: 통신모듈
220: 프로세서

Claims (10)

  1. 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템으로서,
    장갑, 상기 장갑에 장착 가능한 트래커, 상기 트래커를 상기 장갑에 고정시키기 위해 상기 장갑에 구비되는 볼트형 체결부재, 상기 장갑의 검지 및 중지에 배치되어 손가락의 움직임을 감지하는 구부림 센서 및 상기 구부림 센서의 측정값을 기초로 상기 손가락의 움직임 정보를 생성하는 제어모듈을 포함하는 동작 추적 장치;
    상기 제어모듈로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 통신모듈; 및
    상기 통신모듈과 연결되어 상기 통신모듈로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 프로세서를 포함하고,
    상기 제어모듈은,
    상기 구부림 센서의 측정값을 디지털 신호로 변환하고, 상기 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 상기 손가락의 움직임 정보를 생성하고,
    상기 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 상기 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 상기 최대값과 최소값을 기초로 상기 제어모듈로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환하며,
    상기 프로세서는,
    상기 장갑의 손등 영역에 위치한 트래커의 움직임을 상기 손가락의 움직임 정보에 반영하기 위해 상기 트래커의 좌표값을 손목 위치로 보정하는 것을 특징으로 하는 손 동작 추적 시스템.
  2. 제 1 항에 있어서,
    상기 동작 추적 장치는,
    상기 제어모듈 및 볼트형 체결부재를 내부에 수용하는 제 1 케이스 및 상기 구부림 센서와 제 1 케이스를 내부에 수용하는 제 2 케이스를 포함하는 것을 특징으로 하는 손 동작 추적 시스템.
  3. 제 2 항에 있어서,
    상기 제 1 케이스 및 제 2 케이스에는,
    상기 볼트형 체결부재가 상기 트래커와 결합될 수 있도록 상기 볼트형 체결부재가 관통하는 홀이 형성되는 것을 특징으로 하는 손 동작 추적 시스템.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 통신모듈로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정하며,
    상기 4가지의 움직임은 상기 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정되는 것을 특징으로 하는 손 동작 추적 시스템.
  7. 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 방법으로서,
    동작 추적 장치의 구부림 센서가 손가락의 움직임을 감지하는 단계;
    상기 동작 추적 장치의 제어모듈이 상기 구부림 센서의 측정값을 기초로 상기 손가락의 움직임 정보를 생성하는 단계;
    통신모듈이 상기 제어모듈로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 단계; 및
    상기 통신모듈과 연결된 프로세서가 상기 통신모듈로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 단계를 포함하고,
    상기 손가락의 움직임 정보를 생성하는 단계에서는,
    상기 제어모듈이 상기 구부림 센서의 측정값을 디지털 신호로 변환하고, 상기 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 상기 손가락의 움직임 정보를 생성하는 단계를 더 포함하고,
    상기 캘리브레이션을 수행하는 단계에서는,
    상기 통신모듈이 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 상기 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 상기 최대값과 최소값을 기초로 상기 제어모듈로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환하는 단계를 더 포함하고,
    상기 디지털 형상을 생성하는 단계는,
    상기 프로세서가 상기 동작 추적 장치의 장갑의 손등 영역에 위치한 트래커의 움직임을 상기 손가락의 움직임 정보에 반영하기 위해 상기 트래커의 좌표값을 손목 위치로 보정하는 단계를 더 포함하는 것을 특징으로 하는 손 동작 추적 방법.
  8. 삭제
  9. 삭제
  10. 제 7 항에 있어서,
    상기 손의 디지털 형상을 생성하는 단계에서는,
    상기 프로세서가 상기 통신모듈로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정하며,
    상기 4가지의 움직임은 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정되는 것을 특징으로 하는 손 동작 추적 방법.
KR1020190117763A 2019-09-24 2019-09-24 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법 KR102334543B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190117763A KR102334543B1 (ko) 2019-09-24 2019-09-24 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190117763A KR102334543B1 (ko) 2019-09-24 2019-09-24 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210035669A KR20210035669A (ko) 2021-04-01
KR102334543B1 true KR102334543B1 (ko) 2021-12-03

Family

ID=75441603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190117763A KR102334543B1 (ko) 2019-09-24 2019-09-24 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102334543B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102586144B1 (ko) 2021-09-23 2023-10-10 주식회사 딥비전 딥러닝을 이용한 손 움직임 추적방법 및 장치
WO2023158166A1 (ko) * 2022-02-21 2023-08-24 삼성전자 주식회사 전자 장치 및 이의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101525226B1 (ko) 2014-12-12 2015-06-04 영풍전자(주) 증강현실용 모션인식 장갑
KR101983584B1 (ko) * 2018-05-16 2019-05-29 (주)코어센스 플렉서블 센서를 이용한 손동작 인식 장치 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012135153A2 (en) 2011-03-25 2012-10-04 Oblong Industries, Inc. Fast fingertip detection for initializing a vision-based hand tracker
KR102090367B1 (ko) * 2017-09-18 2020-03-17 김우태 가상현실 및 증강현실용 장갑
KR20190065756A (ko) * 2017-12-04 2019-06-12 성민성 스마트 자전거 벨
KR20190092777A (ko) * 2018-01-31 2019-08-08 (주)유즈브레인넷 글러브형 모션인식 장치 및 방법
KR20190092782A (ko) * 2018-01-31 2019-08-08 (주)유즈브레인넷 손가락의 움직임 및 공간상에서의 손의 움직임을 인식할 수 있는 글러브형 모션인식 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101525226B1 (ko) 2014-12-12 2015-06-04 영풍전자(주) 증강현실용 모션인식 장갑
KR101983584B1 (ko) * 2018-05-16 2019-05-29 (주)코어센스 플렉서블 센서를 이용한 손동작 인식 장치 및 그 방법

Also Published As

Publication number Publication date
KR20210035669A (ko) 2021-04-01

Similar Documents

Publication Publication Date Title
US10860091B2 (en) Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US10534431B2 (en) Tracking finger movements to generate inputs for computer systems
US11474593B2 (en) Tracking user movements to control a skeleton model in a computer system
US11481029B2 (en) Method for tracking hand pose and electronic device thereof
CN107918485B (zh) 手势侦测系统及方法
US6515669B1 (en) Operation input device applied to three-dimensional input device
EP2904472B1 (en) Wearable sensor for tracking articulated body-parts
US20100103104A1 (en) Apparatus for user interface based on wearable computing environment and method thereof
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
EP2418562B1 (en) Modelling of hand and arm position and orientation
NO339941B1 (no) System og fremgangsmåte for et gestbasert styringssystem
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
US11079860B2 (en) Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
KR102334543B1 (ko) 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법
US11054923B2 (en) Automatic switching between different modes of tracking user motions to control computer applications
JP2008135033A (ja) 手姿勢動作検出装置
WO2020009715A2 (en) Tracking user movements to control a skeleton model in a computer system
JP2008065860A (ja) 操作入力装置
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
US20210072820A1 (en) Sticky device to track arm movements in generating inputs for computer systems
JP2001344053A (ja) 操作入力装置
JP2008102951A (ja) 操作入力装置
CN111221407A (zh) 用于多个手指的动作捕捉方法及装置
JP2008112459A (ja) 操作入力装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant