KR101719454B1 - 키보드 타이핑 모션 생성 방법 및 장치 - Google Patents

Abstract

키보드 타이핑 모션 생성 방법이 개시된다. 키보드 타이핑 모션 생성 방법은, 사용자의 키보드 타이핑 입력을 수신하는 단계, 기저장된 관절 동작 범위의 제약 조건(constraints)에 기초하여, 수신된 키보드 타이핑 입력에 대응되는 모션을 생성하는 단계 및 기저장된 자유도 조건, 제한 설정 조건 및 목표 동작 수행 조건 중 적어도 하나에 기초하여, 생성된 모션을 보정하는 단계를 포함한다.

Description

키보드 타이핑 모션 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING KEYBOARD TYPING MOTION}

본 발명은 키보드 타이핑 모션 생성 방법 및 장치에 관한 것으로, 보다 상세하게는 관절 동작 범위의 제약 조약 조건을 설정하여 키보드 타이핑 모션을 생성하는 방법 및 장치에 관한 것이다.

사람의 손동작은 다른 부위에 비해 많은 관절이 집적되어 있고 자유도가 높아 사람의 동작을 표현함에 있어 살펴보아야 하는 필수적인 부위이다. 따라서 캐릭터 애니메이션을 제작할 때 세밀한 손의 움직임을 나타내는 것은 중요한 작업이며, 이를 위해 전통적인 키프레이밍(Keyframing) 기법으로 제작하기 위해서는 높은 숙련도와 많은 시간이 요구되었다.

다른 방법으로 애니메이션을 활용한 영상을 제작할 때 사용하는 모션 캡쳐(Motion Capture)는 주로 몸의 큰 움직임과 얼굴의 움직임을 캡쳐하여 사용하게 된다. 전신에 마커를 부착한 후 넓은 공간에 설치된 다수의 적외선 카메라로 동작을 캡쳐할 수 있고, 얼굴에 촘촘하게 마커를 부착한 후 헬멧에 연결된 별도의 적외선 카메라로 얼굴의 움직임도 캡쳐할 수 있다. 하지만 손 동작처럼 세세한 움직임은 이러한 모션 캡쳐 과정을 이용하여 캡쳐하기가 쉽지 않기 때문에 일반적인 모션 캡쳐 시스템으로는 손가락 애니메이션을 만드는 방식이 널리 활용되고 있지 않다. 특히, 도구를 다루는 손 및 손가락 동작의 경우 사용하고자 하는 도구의 각 요소의 위치와 손가락의 위치를 정확히 맞추는 작업은 대단히 많은 시간적 자원소모를 요구하며, 약간만 위치가 달라지더라도 보는 사용자들에게 큰 위화감을 주게 된다.

최근에는 몰입형 디스플레이의 발달로 컴퓨터 그래픽스 기술로 제작된 영상을 기존의 스크린에서 감상하는 것과는 달리 사용자의 시야에 더 가까운 거리에서 접할 일이 많아졌고, 시각화 장치의 발달에 맞물려 공간 프로젝션 매핑이나 1인칭 시점 가상현실(Virtual Reality) 기기 등을 통해 사용자가 가상공간과 상호 작용할 수 있는 수단이 활발히 연구되고 있다. 1인칭 몰입형 환경에서는 인간의 대표적인 상호작용 수단인 손의 움직임을 근거리에서 더 자주 접하게 되므로 위화감을 줄이기위해 자연스럽고 세밀한 손가락 동작 생성의 필요성이 점점 커지고 있었다.

본 발명의 목적은 관절 동작 범위의 제약 조건을 설정하여 키보드 타이핑 모션을 생성하는 방법 및 장치를 제공함에 있다.

상기와 같은 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 키보드 타이핑 모션 생성 방법은, 사용자의 키보드 타이핑 입력을 수신하는 단계, 기저장된 관절 동작 범위의 제약 조건(constraints)에 기초하여, 상기 수신된 키보드 타이핑 입력에 대응되는 모션을 생성하는 단계 및 기저장된 자유도 조건, 제한 설정 조건 및 목표 동작 수행 조건에 기초하여, 상기 생성된 모션을 보정하는 단계를 포함한다.

여기서, 상기 보정하는 단계는, 상기 제약 조건의 제약힘 믹싱 계수(constraint force mixing, CFM) 및 오차 축소 계수(Error Reduction Parameter, ERP)를 변경하여, 상기 생성된 모션을 보정할 수 있다.

또한, 상기 보정하는 단계는, 상기 사용자의 손가락 및 키보드의 키 간의 상관 관계(correspondence)를 이용하여 설정된 위치 제약 조건에 기초하여 상기 생성된 모션을 보정할 수 있다.

한편, 본 발명의 일 실시 예에 따른 키보드 타이핑 모션을 생성하는 장치는, 사용자의 키보드 타이핑 입력을 수신하는 통신부, 기저장된 관절 동작 범위의 제약 조건(constraints)에 기초하여, 상기 수신된 키보드 타이핑 입력에 대응되는 모션을 생성하는 모션 생성부 및 기저장된 자유도 조건, 제한 설정 조건 및 목표 동작 수행 조건에 기초하여, 상기 생성된 모션을 보정하는 모션 보정부를 포함한다.

여기서, 상기 모션 보정부는, 상기 제약 조건의 제약힘 믹싱 계수(constraint force mixing, CFM) 및 오차 축소 계수(Error Reduction Parameter, ERP)를 변경하여, 상기 생성된 모션을 보정할 수 있다.

또한, 상기 모션 보정부는, 상기 사용자의 손가락 및 키보드의 키 간의 상관 관계(correspondence)를 이용하여 설정된 위치 제약 조건에 기초하여 상기 생성된 모션을 보정할 수 있다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자가 키보드를 타이핑할 때 이용하는 손가락 관절의 동작 범위에 대한 제약 조건을 설정하여, 자연스럽고 정확한 키보드 타이핑 모션을 생성할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 키보드 타이핑 모션 생성 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 키보드 타이핑 모션을 생성하는 장치를 나타내는 블럭도이다.
도 3 내지 도 7은 본 발명의 일 실시 예에 따른 키보드 타이핑 모션 생성 방법을 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 키보드 타이핑 모션 생성 방법을 나타내는 흐름도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 키보드 타이핑 모션 생성 방법은, 사용자의 키보드 타이핑 입력을 수신하고(S110), 기저장된 관절 동작 범위의 제약 조건(constraints)에 기초하여, 수신된 키보드 타이핑 입력에 대응되는 모션을 생성한다(S120). 구체적으로, 관절 동작 범위의 제약 조건은 손가락의 각 마디들이 관절의 역방향으로 굽혀질 수 없도록 정방향으로 최대 90도까지만 굽혀질 수 있으며, 손가락과 손바닥의 연결 부위는 외전, 내전 방향으로의 회전에 대해 -35도 에서 +35도 내에서 움직일 수 있도록 할 수 있다. 이 경우, 제약 조건의 제약힘 믹싱 계수(constraint force mixing, CFM)를 0으로 설정하고 제약 조건의 오차 축소 계수(error reduction parameter, ERP)를 1로 하여, 침범이 발생하지 않게 할 수 있다.

이후, 기저장된 자유도 조건, 제한 설정 조건 및 목표 동작 수행 조건 중 적어도 하나에 기초하여, 생성된 모션을 보정한다(S130). 여기서, 자유도 조건은 손 모델이 움직이는 자유도를 나타내는 것으로, 손가락 마디의 각 관절들은 다양한 자유도 조건을 가질 수 있다. 또한, 제한 설정 조건은 손가락의 움직임이 일정 범위를 초과할 수 없도록 하여, 손가락의 움직임을 자연스럽게 조절할 수 있다. 또한, 목표 동작 수행 조건은 사용자의 키보드 타이핑 입력이 수행되기 위하여 손가락의 움직임이 나타나는 조건을 나타낼 수 있다.

또한, S130 단계에서, 제약 조건의 제약힘 믹싱 계수(constraint force mixing, CFM) 및 오차 축소 계수(error reduction parameter, ERP)를 변경하여, 생성된 모션을 보정할 수 있다. 구체적으로, CFM 값을 0으로 설정하여 높은 우선순위로 목표 동작을 수행하게 하거나 ERP 값을 조절하여 손가락의 이동 속도를 조절할 수 있다.

또한, S130 단계에서, 사용자의 손가락 및 키보드 키 간의 상관 관계(correspondence)를 이용하여 설정된 위치 제약 조건에 기초하여 생성된 모션을 보정할 수 있다. 구체적으로, 키보드 타이핑 가이드라인에 기초하여 손가락과 키보드 키 간의 상관 관계를 매핑하고, 이를 이용하여 새로운 키 입력이 수신되면 동작할 손가락을 지정하고, 지정된 손가락 끝단과 목표 지점의 공간 좌표를 위치 제약 조건으로 연결할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 키보드 타이핑 모션을 생성하는 장치를 나타내는 블럭도이다.

도 2를 참조하면, 키보드 타이핑 모션을 생성하는 장치는 통신부(110), 모션 생성부(120) 및 모션 보정부(130)를 포함한다.

통신부(110)는 외부로부터 사용자의 타이핑 입력을 수신한다. 구체적으로, 통신부(110)는 BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication) 등과 같은 무선 통신 또는 USB 케이블 등과 같은 유선 통신을 이용하여 외부로부터 사용자의 타이핑 입력을 수신할 수 있다.

모션 생성부(120)는 기저장된 관절 동작 범위의 제약 조건(constraints)에 기초하여, 수신된 키보드 타이핑 입력에 대응되는 모션을 생성할 수 있다. 이 경우, 관절 동작 범위의 제약 조건은 손가락의 각 마디들이 관절의 역방향으로 굽혀질 수 없도록 정방향으로 최대 90도까지만 굽혀질 수 있으며, 손가락과 손바닥의 연결 부위는 외전, 내전 방향으로의 회전에 대해 -35도 에서 +35도 내에서 움직일 수 있도록 할 수 있다. 이 경우, 제약 조건의 제약힘 믹싱 계수(constraint force mixing, CFM)를 0으로 설정하고 제약 조건의 오차 축소 계수(error reduction parameter, ERP)를 1로 하여, 침범이 발생하지 않게 할 수 있다.

모션 보정부(130)는 기저장된 자유도 조건, 제한 설정 조건 및 목표 동작 수행 조건에 기초하여, 생성된 모션을 보정할 수 있다. 여기서, 자유도 조건은 손 모델이 움직이는 자유도를 나타내는 것으로, 손가락 마디의 각 관절들은 다양한 자유도 조건을 가질 수 있다. 또한, 제한 설정 조건은 손가락의 움직임이 일정 범위를 초과할 수 없도록 하여, 손가락의 움직임을 자연스럽게 조절할 수 있다. 또한, 목표 동작 수행 조건은 사용자의 키보드 타이핑 입력이 수행되기 위하여 손가락의 움직임이 나타나는 조건을 나타낼 수 있다.

또한, 모션 보정부(130)는 제약 조건의 제약힘 믹싱 계수(constraint force mixing, CFM) 및 오차 축소 계수(Error Reduction Parameter, ERP)를 변경하여, 생성된 모션을 보정할 수 있다. 구체적으로, CFM 값을 0으로 설정하여 높은 우선순위로 목표 동작을 수행하게 하거나 ERP 값을 조절하여 손가락의 이동 속도를 조절할 수 있다.

또한, 모션 보정부(130)는 사용자의 손가락 및 키보드 키 간의 상관 관계(correspondence)를 이용하여 설정된 위치 제약 조건에 기초하여 생성된 모션을 보정할 수 있다. 구체적으로, 키보드 타이핑 가이드라인에 기초하여 손가락과 키보드 키 간의 상관 관계를 매핑하고, 이를 이용하여 새로운 키 입력이 수신되면 동작할 손가락을 지정하고, 지정된 손가락 끝단과 목표 지점의 공간 좌표를 위치 제약 조건으로 연결할 수 있다.

이하 도 3 내지 도 7을 참조하여, 키보드 타이핑 모션을 생성하는 방법을 상세히 설명한다.

도 3 내지 도 7은 본 발명의 일 실시 예에 따른 키보드 타이핑 모션 생성 방법을 설명하기 위한 도면이다.

도 3은 본 발명의 일 실시 예에 따른 키보드 타이핑 모션을 구성하는 손 모델에 대한 설계 개요 및 키보드 모델을 나타낸다. 도 3을 참조하면, 손 모델에서 손목은 변위에 대해 3차원의 자유도를 가지며, 모든 축에 대한 회전이 가능할 수 있다. 여기서, 손가락의 마디들은 3개의 관절로 연결될 수 있다. 손가락 마디들은 각 마디마다 회전 관절로 각각 1차원의 자유도를 가지며, 엄지 손가락을 제외한 네 개의 손가락들은 손바닥과 이어지는 부분에서 외전, 내전 방향으로 회전할 수 있는 한 개의 자유도를 가질 수 있다. 또한, 엄지 손가락의 경우, 손바닥과 이어지는 부분에서 모든 방향으로 회전이 가능하므로 3의 자유도를 가질 수 있다.

도 4는 키보드 입력시 타겟 키 만을 입력하기 위한 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 손가락과 키 간의 매핑에 의하여, 키 입력이 수신되면 동작할 손가락을 정하며, 정해진 손가락 끝단과 목표지점의 공간 좌표를 위치 제약 조건으로 연결할 수 있다. 이 경우, 주변 키를 입력하지 않기 위하여, 1차적으로 타겟 키의 위쪽에 해당하는 공간 위치와 손가락 끝단을 위치 제약조건으로 연결하고, 손가락 끝단이 1차 타겟 지점에 일정 거리 이내로 진입하면 타겟 지점을 키캡이 눌려야 하는만큼 아래쪽으로 수정할 수 있다.

도 5는 키보드 타이핑 모션의 다양한 실시 예를 나타낸 것으로, 도 4를 참조하면, '7', 'F4', '스페이스바'가 입력되는 경우의 키보드 타이핑 모션을 나타낸다.

도 6은 사용자의 손가락이 타겟 키에 도달하는 시간을 나타낸 것으로, ERP 계수의 크기가 클수록 도달 시간이 빨라지며, 사용자는 ERP 계수의 크기를 조절하여 자연스럽고 안정적인 키보드 타이핑 모션을 생성할 수 있다. 또한, 도 7을 참조하면, 4개의 키가 동시에 입력되는 경우에도 키보드 타이핑 모션이 생성될 수 있으며, 손가락의 움직임에 대응되어 손바닥의 이동 및 회전이 발생될 수 있다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자가 키보드를 타이핑할 때 이용하는 손가락 관절의 동작 범위에 대한 제약 조건을 설정하여, 자연스럽고 정확한 키보드 타이핑 모션을 생성할 수 있다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 프로그램 코드로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

110: 통신부
120: 모션 생성부
130: 모션 보정부

Claims (6)

1. 사용자의 키보드 타이핑 입력을 수신하는 단계;
   기저장된 관절 동작 범위의 제약 조건(constraints)에 기초하여, 상기 수신된 키보드 타이핑 입력에 대응되는 모션을 생성하는 단계; 및
   기저장된 자유도 조건, 제한 설정 조건 및 목표 동작 수행 조건 중 적어도 하나에 기초하여, 상기 생성된 모션을 보정하는 단계;를 포함하는 키보드 타이핑 모션 생성 방법.
2. 제1항에 있어서,
   상기 보정하는 단계는,
   상기 제약 조건의 제약힘 믹싱 계수(constraint force mixing, CFM) 및 오차 축소 계수(Error Reduction Parameter, ERP)를 변경하여, 상기 생성된 모션을 보정하는 것을 특징으로 하는 키보드 타이핑 모션 생성 방법.
3. 제1항에 있어서,
   상기 보정하는 단계는,
   상기 사용자의 손가락 및 키보드 키 간의 상관 관계(correspondence)를 이용하여 설정된 위치 제약 조건에 기초하여 상기 생성된 모션을 보정하는 것을 특징으로 하는 키보드 타이핑 모션 생성 방법.
4. 키보드 타이핑 모션을 생성하는 장치에 있어서,
   사용자의 키보드 타이핑 입력을 수신하는 통신부;
   기저장된 관절 동작 범위의 제약 조건(constraints)에 기초하여, 상기 수신된 키보드 타이핑 입력에 대응되는 모션을 생성하는 모션 생성부; 및
   기저장된 자유도 조건, 제한 설정 조건 및 목표 동작 수행 조건에 기초하여, 상기 생성된 모션을 보정하는 모션 보정부;를 포함하는 장치.
5. 제4항에 있어서,
   상기 모션 보정부는,
   상기 제약 조건의 제약힘 믹싱 계수(constraint force mixing, CFM) 및 오차 축소 계수(Error Reduction Parameter, ERP)를 변경하여, 상기 생성된 모션을 보정하는 것을 특징으로 하는 장치.
6. 제4항에 있어서,
   상기 모션 보정부는,
   상기 사용자의 손가락 및 키보드 키 간의 상관 관계(correspondence)를 이용하여 설정된 위치 제약 조건에 기초하여 상기 생성된 모션을 보정하는 것을 특징으로 하는 장치.

Images