KR102019795B1 - 구 형상의 3차원 동작 입력 장치 및 이를 이용한 3차원 동작 입력 방법 - Google Patents

Abstract

본 발명의 일 실시 예는 신축성이 있는 부드러운 소재에 대해 사용자입력이 수행되도록 하고, 이를 통해 다양한 사용자입력을 인식 및 판단하여 처리할 수 있으므로, 단순한 동작으로 사용자가 편리하게 이용할 수 있는 구 형상의 3차원 동작 입력 장치를 제공한다. 본 발명의 실시 예에 따른 구 형상의 3차원 동작 입력 장치는, 구 형상을 구비하고, 신축성 있는 소재로 형성되어, 외측면에 사용자입력이 작용하면 변형되고 사용자입력이 해제되면 초기형상으로 복원되는 몸체부; 몸체부의 내측면을 따라 복수 개 배열되어 형성되는 마커; 몸체부의 내측면에 결합하고, 사용자입력에 대응하여 변화하는 마커의 이미지인 마커이미지를 수집하는 이미지센서부; 몸체부의 내측면에 결합하고, 몸체부의 내측면을 향해 광을 조사하는 조명부; 및 마커이미지의 변화에 대한 분석을 수행하여, 사용자입력에 대한 판단을 수행하는 분석부;를 포함한다.

Description

구 형상의 3차원 동작 입력 장치 및 이를 이용한 3차원 동작 입력 방법 {AN APPARATUS FOR INPUTTNG 3-DIMENSIONAL MOTION HAVING SPHERICAL SHAPE AND A METHOD FOR INPUTTNG 3-DIMENSIONAL MOTION}

본 발명은 구 형상의 3차원 동작 입력 장치 및 이를 이용한 3차원 동작 입력 방법에 관한 것으로, 더욱 상세하게는, 신축성이 있는 부드러운 소재에 대해 사용자입력이 수행되도록 하고, 이를 통해 다양한 사용자입력을 인식 및 판단하여 처리할 수 있으므로, 단순한 동작으로 사용자가 편리하게 이용할 수 있는 구 형상의 3차원 동작 입력 장치에 관한 것이다.

현재 통상적으로 사용되는 입력장치로는, 마우스, 키보드, 터치패드, 트랙볼 등이 있으며, 이들은, 사용자가 해당 장치의 케이싱 및 주요부위를 적절한 힘으로 파지 또는 접촉하여 이동 및 클릭하여야 하는 등 사용자에게 다소 정교한 동작을 요구하고 있다.

그러나, 장애인이나 어린이, 노인의 경우, 상기와 같은 구성을 갖는 입력장치를 사용하는데 필요한 정교한 동작을 형성하는 것이 어렵거나 불가능할 수 있다는 문제점이 있다.

그리고, 상기와 같은 통상적인 입력장치에서, 2차원으로 인식되는 위치 좌표는 기존에 정전용량 방식, 피에조 저항 방식 등을 이용하여 가압과 관련된 정보를 전기적 신호로 변화하였으나 다양한 정보를 구현하는데 한계가 있고, 3차원으로 인식되는 좌표는 영상처리 또는 자계의 변화를 이용하여 인식하였으나 인식률이 낮다는 문제점이 있다.

대한민국 공개특허 제10-2013-0076297호(발명의 명칭: 입력 장치 및 그 동작 방법)에서는, 물체 표면으로 빛을 방출하는 발광부, 상기 물체 표면으로부터 산란되는 빛을 검출하는 이미지 센서, 및 상기 이미지 센서가 검출하는 빛으로부터 상기 물체의 입력 정보를 판단하는 제어부를 포함하고, 상기 제어부는 상기 이미지 센서에서 정의되는 제1 2차원 평면 좌표계를 상기 물체 표면에서 정의되는 제2 2차원 평면 좌표계로 변환하여 상기 물체의 입력 정보를 판단하는 장치기 개시되어 있다.

대한민국 공개특허 제10-2013-0076297호

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 복잡한 동작이 필요 없이 누름, 이동 등의 사용자입력을 구현할 수 있도록 하는 것이다.

그리고, 본 발명의 목적은, 3차원 동작 인식에 있어서, 다양한 형태의 패턴을 인식하는데 용이하고, 인식률이 높은 입력장치를 제공하는 것이다.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 구 형상을 구비하고, 신축성 있는 소재로 형성되어, 외측면에 사용자입력이 작용하면 변형되고 상기 사용자입력이 해제되면 초기형상으로 복원되는 몸체부; 상기 몸체부의 내측면을 따라 복수 개 배열되어 형성되는 마커; 상기 몸체부의 내측면에 결합하고, 상기 사용자입력에 대응하여 변화하는 상기 마커의 이미지인 마커이미지를 수집하는 이미지센서부; 상기 몸체부의 내측면에 결합하고, 상기 몸체부의 내측면을 향해 광을 조사하는 조명부; 및 상기 마커이미지의 변화에 대한 분석을 수행하여, 상기 사용자입력에 대한 판단을 수행하는 분석부;를 포함한다.

본 발명의 실시 예에 있어서, 상기 사용자입력은, 상기 몸체부의 외측면에 사용자의 손이 접촉된 상태에서, 상기 사용자의 손이 정지 또는 동작하여 수행될 수 있다.

본 발명의 실시 예에 있어서, 상기 분석부는, 상기 마커이미지의 변화를 통해 상기 사용자입력에 의한 3차원 동작을 판단할 수 있다.

본 발명의 실시 예에 있어서, 상기 마커이미지는 상기 이미지센서부에 인식되는 복수 개의 상기 마커에 대한 이미지일 수 있다.

본 발명의 실시 예에 있어서, 상기 이미지센서부는 이미지센서를 복수 개 구비할 수 있다.

본 발명의 실시 예에 있어서, 상기 이미지센서는, 상기 몸체부의 중심점을 기준으로 상하 좌우 전후의 6개 위치에 등간격으로 형성될 수 있다.

본 발명의 실시 예에 있어서, 상기 이미지센서는 광각렌즈를 구비할 수 있다.

본 발명의 실시 예에 있어서, 상기 조명부는, 조명을 복수 개 구비하고, 상기 이미지센서부에 인접하여 형성될 수 있다.

본 발명의 실시 예에 있어서, 상기 마커는, 원형의 형상으로 형성될 수 있다.

본 발명의 실시 예에 있어서, 상기 몸체부와 결합하고 상기 몸체부의 3차원 위치를 감지하는 위치센서부를 더 포함할 수 있다.

본 발명의 실시 예에 있어서, 상기 몸체부의 외측면에는 상기 몸체부와 사용자의 접촉 기준이 되는 기준표식이 형성될 수 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 구성은, i) 상기 몸체부와 사용자의 손이 접촉하여 상기 사용자입력이 상기 몸체부에 작용하는 단계; ii) 상기 몸체부의 변형에 의해 상기 마커이미지가 변화하는 단계; iii) 상기 마커이미지의 변화를 상기 이미지센서부가 수집하는 단계; iv) 상기 이미지센서부로부터 상기 분석부로 상기 마커이미지가 전달되는 단계; 및 v) 상기 분석부에 저장된 분석기준이미지와 상기 마커이미지를 비교 분석하여, 상기 사용자입력을 판단하는 단계;를 포함한다.

본 발명의 실시 예에 있어서, 상기 v) 단계에서, 상기 분석기준이미지는, 사전에 마련된 이미지로써 상기 사용자입력의 접촉 위치에 따라 변화하는 상기 마커이미지에 대한 정보일 수 있다.

상기와 같은 구성에 따른 본 발명의 효과는, 신축성이 있는 부드러운 소재에 대해 사용자입력이 수행되도록 하고, 이를 통해 다양한 사용자입력을 인식 및 판단하여 처리할 수 있으므로, 단순한 동작으로 사용자가 편리하게 이용할 수 있다는 것이다.

그리고, 본 발명의 효과는, 복수 개의 마커에 대한 이미지를 분석하여 사용자입력을 판단하므로, 다양한 사용자의 동작 패턴에 대한 정확성을 향상시킬 수 있다는 것이다.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시 예에 따른 입력 장치에 대한 사시도이다.
도 2는 본 발명의 일 실시 예에 따른 몸체부의 내부가 도시되는 입력 장치에 대한 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 몸체부의 단면도이다.
도 4는 본 발명의 일 실시 예에 따른 사용자입력이 작용한 몸체부의 단면도이다.
도 5는 마커이미지의 변화 원리에 대한 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 마커의 변화에 대한 모식도이다.
도 7은 본 발명의 일 실시 예에 따른 사용자입력 작용 전 입력 장치에 대한 실시상태도이다.
도 8은 본 발명의 일 실시 예에 따른 사용자입력 작용 후 입력 장치에 대한 실시상태도이다.
도 9는 본 발명의 일 실시 예에 따른 몸체부에 대해 최초의 사용자입력이 작용하는 사항에 대한 모식도이다.
도 10은 본 발명의 일 실시 예에 따른 몸체부에 대해 누름 동작이 작용하는 사항에 대한 모식도이다.
도 11은 본 발명의 일 실시 예에 따른 몸체부에 대해 하나의 방향으로 이동 동작이 작용하는 사항에 대한 모식도이다.
도 12는 본 발명의 일 실시 예에 따른 몸체부에 대해 다른 방향으로 이동 동작이 작용하는 사항에 대한 모식도이다.
도 13은 본 발명의 일 실시 예에 따른 3차원 패턴이 이미지화된 이미지이다.
도 14는 본 발명의 일 실시 예에 따른 이미지센서부로부터의 거리에 따라 인식되는 마커의 변화량 편차를 나타낸 이미지이다.
도 15는 본 발명의 일 실시 예에 따른 기준범위에 대한 모식도이다.
도 16은 본 발명의 일 실시 예에 따른 마커의 수평 변위 및 수직 변위에 대한 그래프이다.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시 예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하 첨부된 도면을 참고하여 본 발명에 대하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 입력 장치에 대한 사시도이고, 도 2는 본 발명의 일 실시 예에 따른 몸체부(100)의 내부가 도시되는 입력 장치에 대한 사시도이며, 도 3은 본 발명의 일 실시 예에 따른 몸체부(100)의 단면도이고, 도 4는 본 발명의 일 실시 예에 따른 사용자입력이 작용한 몸체부(100)의 단면도이다. 또한, 도 5는 마커이미지의 변화 원리에 대한 예시도이다.

그리고, 도 6은 본 발명의 일 실시 예에 따른 마커(110)의 변화에 대한 모식도이다. 여기서, 도 6의 (a)는 면적이 증가한 마커(110)를 나타낸 것이고, 도 6의 (b)는 횡 방향으로 길이가 증가한 마커(110)를 나타낸 것이며, 도 6의 (c)는 종 방향으로 길이가 증가한 마커(110)를 나타낸 것이고, 도 6의 (d) 및 (e)는 사선 방향으로 길이가 증가한 마커(110)를 나타낸 것이다.

또한, 도 7은 본 발명의 일 실시 예에 따른 사용자입력 작용 전 입력 장치에 대한 실시상태도이고, 도 8은 본 발명의 일 실시 예에 따른 사용자입력 작용 후 입력 장치에 대한 실시상태도이다.

도 1 내지 도 8에서 보는 바와 같이, 본 발명의 입력 장치는, 구 형상을 구비하고, 신축성 있는 소재로 형성되어, 외측면에 사용자입력이 작용하면 변형되고 사용자입력이 해제되면 초기형상으로 복원되는 몸체부(100); 몸체부(100)의 내측면을 따라 복수 개 배열되어 형성되는 마커(110); 몸체부(100)의 내측면에 결합하고, 사용자입력에 대응하여 변화하는 마커(110)의 이미지인 마커이미지를 수집하는 이미지센서부(120); 몸체부(100)의 내측면에 결합하고, 몸체부(100)의 내측면을 향해 광을 조사하는 조명부; 및 마커이미지의 변화에 대한 분석을 수행하여, 사용자입력에 대한 판단을 수행하는 분석부;를 포함할 수 있다.

사용자입력은, 몸체부(100)의 외측면에 사용자의 손이 접촉된 상태에서, 사용자의 손이 정지 또는 동작하여 수행될 수 있다. 구체적으로, 사용자의 손으로 몸체부(100)를 파지하고, 누름 또는 누름 해제의 동작을 수행하거나, 사용자의 손으로 몸체부(100)를 파지한 상태에서 몸체부(100)를 이동시키는 동작을 수행할 수 있다.

본 발명의 실시 예에서는, 사용자의 신체 중 손을 사용한다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 사용자의 다른 신체인 팔꿈치, 발, 무릎 등 몸체부(100)의 외측면에 접촉하여 누름, 누름 해제, 이동 등의 동작이 가능한 모든 신체 부위를 사용할 수 있다.

또한, 사용자입력을 발생하는 주체인 사용자는, 사람만으로 한정하지 않고, 기계, 로봇 기타 장치를 포함할 수 있다.

누름의 경우, 누르는 압력, 누름을 유지하는 시간을 한정하는 것은 아니고, 누름 해제의 경우, 누름 해제에 소요되는 시간 등을 특정한 범위 내로 한정할 것은 아니다. 나아가, 소정의 시간 동안 누름이 발생하고, 이 후 즉시 누름 해제가 발생하는 경우, 이를 클릭이라고 칭할 수 있다.

마커(110)는, 원형의 형상으로 형성될 수 있다.

본 발명의 실시 예에서는, 마커(110)가 원형이라고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 타원형, 정사각형, 다각형 등 다양한 형상으로 형성될 수 있다. 그리고, 마커(110)는, 선으로 형성되는 도형일 수 있고, 도형 내부에 색이 채워진 형태일 수도 있다.

마커(110)는 몸체부(100)의 내측면에 인쇄되어 형성될 수 있다. 또는, 마커(110)는 몸체부(100)의 내측면에 부착되어 돌출되게 형성될 수 있다. 다만, 어느 경우든 몸체부(100)의 형상 변형에 따라 마커(110)도 변형될 수 있다.

복수 개의 마커(110)의 설치 패턴은, 구형인 면에 대해 소정의 개수의 행과 열을 갖고, 행과 행, 열과 열 사이의 간격을 동일하게 하거나, 동심원의 배열 등 다양한 패턴을 모두 고려할 수 있다.

바람직하게는, 복수 개의 마커(110) 간 일정한 간격을 유지하도록 곡면에 복수 개의 마커(110)가 배열될 수 있다.

이러한 경우, 마커이미지의 변화는, 마커(110)로 형성되는 배열의 열 또는 행 간의 간격 변화 또는 배열의 형상 변화에 의해 생성될 수 있다. 그리고, 마커이미지의 변화는, 마커(110) 자체의 크기 또는 형상의 변화에 의해 생성될 수 있음은 물론이다.

도 5는 마커이미지의 변화 원리에 대한 이해의 편의를 위한 것이며, 신축성 있는 소재로 형성되고 평면인 벽면에 복수 개의 마커(110)가 형성된 사항을 나타낼 수 있다.

여기서, 도 5의 (a)는 변화 전의 마커이미지를 나타내고, 도 5의 (b)는 마커이미지가 형성된 면의 반대편 면에서 어느 하나의 지점에 사용자입력이 작용한 경우의 마커이미지를 나타낼 수 있다.

도 5의 (a) 및 (b)에서 보는 바와 같이, 입력 장치에 대한 사용자입력의 작용에 의해 마커이미지는 실시간으로 변화할 수 있고, 이미지센서부(120)는 이를 이미지화하여 수집할 수 있다.

분석부는, 마커이미지의 변화를 통해 사용자입력에 의한 3차원 동작을 판단할 수 있다.

분석부에 저장된 분석기준이미지와 마커이미지를 비교 분석하여, 사용자입력을 판단할 수 있는데, 여기서, 분석기준이미지는, 사전에 마련된 이미지로써 사용자입력의 접촉 위치에 따라 변화하는 마커이미지에 대한 정보일 수 있다.

도 3 및 도 4에서 보는 바와 같이, 구체적으로, 사용자가 손으로 몸체부(100)를 파지하여 사용자의 손으로 누름을 수행하는 경우, 각 손가락의 위치에 따라 몸체부(100)의 형상의 변형되고, 도 6에서 보는 바와 같이, 이에 대응하여 몸체부(100)의 내측면에 구비된 복수 개 마커(110) 각각의 위치 또는 형상이 변화할 수 있다.

이 때, 분석기준이미지를 생성하기 위하여, 마커이미지의 변화 뿐만 아니라 몸체부(100)의 외부에서 사용자의 손에 대한 이미지를 수집할 수 있고, 사용자의 각 손가락 또는 손바닥의 형상과 몸체부(100)의 변형에 의한 마커이미지의 변화를 매칭시킬 수 있다.

상기와 같은 과정에 의해, 사용자의 손 크기, 사용자의 손바닥 또는 손가락의 형상에 따라 변화하는 마커이미지에 대한 정보를 수집할 수 있고, 이와 같은 정보를 분석하여 분석기준이미지를 생성하며, 변화 후 마커이미지와 분석기준이미지를 비교하여 사용자 손에 대한 형상(사용자입력)을 판단할 수 있다.

마커이미지는 이미지센서부(120)에 인식되는 복수 개의 마커(110)에 대한 이미지일 수 있다.

이미지센서부(120)는 이미지센서를 복수 개 구비할 수 있다.

그리고, 도 2에서 보는 바와 같이, 이미지센서는, 몸체부(100)의 중심점을 기준으로 상하 좌우 전후의 6개 위치에 등간격으로 형성될 수 있다. (단면도인 도 2에서 제6이미지센서는 생략되어 표현된다.)

즉, 이미지센서부(120)는 총 6개의 이미지센서(제1이미지센서(121), 제2이미지센서(122), 제3이미지센서(123), 제4이미지센서(124), 제5이미지센서(125) 및 제6이미지센서)를 구비할 수 있고, 각각의 이미지센서는 몸체부(100)의 내부 공간에서 서로 동일한 간격을 형성하며 몸체부(100)의 내측면에 결합할 수 있다.

그리고, 이와 같이 6개의 이미지센서가 몸체부(100)의 내부 공간에서 정팔면체의 꼭지점에 해당하는 위치로 배열되어 형성되는 경우, 몸체부(100)의 내측면 전체에 형성된 마커(110)의 변화를 이미지로 수집할 수 있다.

본 발명의 실시 예에서는, 상기와 같이 몸체부(100)의 내측면에 6개의 이미지센서가 등간격으로 배치되어 형성된다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 6개 이 외 다른 개수의 이미지센서가 몸체부(100)의 내측면에 형성될 수도 있다.

다만, 마커(110)에 대한 인식의 정확도를 향상시키기 위하여 각 이미지센서는 등간격으로 배치되어 형성되는 것이 유리할 수 있다.

이미지센서는 광각렌즈를 구비할 수 있다.

각각의 이미지센서가 광각렌즈를 구비하는 경우, 이미지센서부(120)는 몸체부(100)의 내측면에 형성되어 인식되는 복수 개의 마커(110) 전체에 대한 인식률을 향상시킬 수 있다.

상기와 같이, 이미지센서부(120)에서는 몸체부(100)의 내측면에 형성된 복수 개의 마커(110) 전체에 대한 이미지를 수집할 수 있으며, 이러한 전체 마커이미지의 변화에 의해 사용자입력에 대한 판단을 수행할 수 있다.

조명부는, 조명을 복수 개 구비하고, 이미지센서부(120)에 인접하여 형성될 수 있다.

여기서, 각각의 조명은 LED램프로 형성될 수 있다.

그리고, 사용자입력이 소정의 시간을 초과하여 발생하지 않는 경우, 자동으로 소등되는 등의 구성을 채택할 수도 있다.

도 2에서 보는 바와 같이, 하나의 조명이 하나의 이미지센서의 둘레를 따라 형성될 수 있다. (단면도인 도 2에서 제6조명은 생략되어 표현된다.)

구체적으로, 제1이미지센서(121)의 둘레를 따라 제1조명(131)이 형성되고, 제2이미지센서(122)의 둘레를 따라 제2조명(132)이 형성되며, 제3이미지센서(123)의 둘레를 따라 제3조명(133)이 형성되고, 제4이미지센서(124)의 둘레를 따라 제4조명(134)이 형성되며, 제5이미지센서(125)의 둘레를 따라 제5조명(135)이 형성될 수 있다. 그리고, 제6이미지센서의 둘레를 따라 제6조명이 형성될 수 있다.

상기와 같이, 하나의 조명에 근접하여 하나의 조명이 형성되는 경우, 각 조명의 광 조사 방향 및 범위에 대해, 각 이미지센서의 이미지 인식 방향 및 범위가 일치되게 형성되어, 마커이미지에 대한 이미지센서부(120)의 인식 효율을 상승시킬 수 있다.

본 발명의 구 형상의 3차원 동작 입력 장치는, 몸체부(100)와 결합하고 몸체부(100)의 3차원 위치를 감지하는 위치센서부를 더 포함할 수 있다.

그리고, 사용자입력에 의해 몸체부(100)가 상하 좌우 전후 방향으로 이동하거나 회전하는 경우, 이와 같은 몸체부(100)의 운동 상태를 위치센서부가 감지하여 이에 대한 정보를 분석부로 전달할 수 있다.

구체적으로, 사용자가 손으로 몸체부(100)를 파지한 상태에서, 손목을 움직여 몸체부(100)를 회진시키면, 위치센서부에 의해 이에 대한 감지 신호가 분석부로 전달되고, 분석부는 사용자의 손목 움직임을 판단할 수 있다.

그리고, 사용자가 손으로 몸체부(100)를 파지한 상태에서, 팔을 움직여 몸체부(100)를 상하 좌우 전후 방향으로 이동시키면, 위치센서부에 의해 이에 대한 감지 신호가 분석부로 전달되고, 분석부는 사용자 손의 3차원 위치를 판단할 수 있다.

이미지센서부(120) 또는 위치센서부는 분석부와 유선 또는 무선으로 연결될 수 있다.

여기서, 이미지센서부(120)가 분석부와 유선으로 연결되는 경우, 이미지센서와 분석부는 전선인 제1연결선에 의해 연결되고, 각각의 이미지센서와 분석부를 연결하는 각각의 제1연결선은, 각각의 이미지센서에 연결된 다음, 구 형상인 몸체부(100)의 형상을 따라 벽면 내부를 관통하여 몸체부(100) 외측면의 한 지점에서 취합되고, 이와 같이 취합된 복수 개의 제1연결선이 분석부와 연결될 수 있다.

또한, 위치센서부가 분석부와 유선으로 연결되는 경우, 위치센서부와 분석부는 전선인 제2연결선에 의해 연결되고, 제2연결선은 위치센서부에 연결된 다음, 구 형상인 몸체부(100)의 형상을 따라 벽면 내부를 관통하여 몸체부(100) 외측면의 한 지점에서 노출된 다음 분석부와 연결될 수 있다.

이 때, 제2연결선은, 복수 개의 제1연결선이 취합되는 몸체부(100) 외측면의 한 지점에서 노출되어, 제1연결선과 결합된 후 분석부와 연결될 수 있다.

몸체부(100)의 외측면에는 몸체부(100)와 사용자의 접촉 기준이 되는 기준표식(200)이 형성될 수 있다.

사용자가 손으로 몸체부(100)를 파지하는 경우, 파지하는 손의 위치에 따라 몸체부(100)의 의해 판단되는 사용자입력에 오차가 발생할 수 있다.

구체적으로, 분석기준이미지는 사용자의 손바닥이 몸체부(100)에 밀착되도록 사용자가 몸체부(100)를 파지한 경우를 기준으로 형성된 것인 경우, 사용자가 손바닥을 몸체부(100)에 밀착시키지 않고 몸체부(100)를 파지한 후 몸체부(100)에 사용자입력을 작용하면, 사용자입력에 오차가 발생할 수 있다.

그러므로, 몸체부(100)의 외측면에 기준표식(200)을 형성하고, 사용자 손의 특정 부위가 기준표식(200)에 접촉하도록 하여 오차를 감소시킬 수 있다.

구체적으로, 사용자의 손바닥이 접촉하는 몸체부(100)의 외측면에 기준표식(200)을 형성하고, 사용자의 손바닥 중앙 부위가 기준표식(200)과 접촉하도록 사용자가 몸체부(100)를 파지하여 몸체부(100)를 파지하는 손의 위치가 일관되도록 할 수 있다.

기준표식(200)은 몸체부(100)의 외측면에 이미지로 형성되거나 또는 소정의 형상으로 돌출되어 형성될 수 있다.

본 발명의 입력 장치는 구 형상으로 형성되어, 몸체부(100)를 다양한 방향에서 파지하더라도 몸체부(100)에 대한 사용자입력을 분석 및 판단할 수 있다. 다만, 상기된 바와 같이, 사용자입력에 대한 오차를 방지하기 위하여, 복수 개의 기준표식(200)을 몸체부(100)의 외측면에 형성할 수 있다.

몸체부(100)는 압력센서를 구비하여, 압력센서는 몸체부(100) 내부 기체의 압력을 감지하여 기체 압력에 대한 정보를 분석부로 전달할 수 있다. 분석부는 이와 같은 기체 압력을 이용하여 사용자입력의 힘 강도를 측정할 수 있다.

본 발명의 입력 장치를 포함하는 3차원 동작 인식 로봇 시스템을 구축할 수 있다.

본 발명의 입력 장치는, 사용자의 손의 동작을 3차원으로 분석 판단할 수 있으므로, 사람의 손 구조를 모방한 로봇 손을 작동시키기 위하여 본 발명의 입력 장치를 이용할 수 있다.

즉, 로봇 손으로 사물을 집거나 이동시키는 경우, 본 발명의 입력 장치를 이용하여 로봇 손의 작동을 수행할 수 있다.

본 발명의 입력 장치를 포함하는 3차원 동작 인식 영상 시스템을 구축할 수 있다.

본 발명의 입력 장치는, 사용자의 손의 동작을 3차원으로 분석 판단할 수 있으므로, 사람의 손 구조를 모방한 이미지가 영상으로 구현되어 이와 같이 손 구조를 모방한 이미지가 영상 내에서 다른 이미지를 잡거나 이동시키는 경우, 본 발명의 입력 장치를 이용하여 손 구조를 모방한 이미지의 동작을 수행할 수 있다.

이하, 본 발명의 입력 장치를 이용한 3차원 동작 입력 방법에 대해 설명하기로 한다.

도 7 및 도 8에서 보는 바와 같이, 첫째 단계에서, 몸체부(100)와 사용자의 손이 접촉하여 사용자입력이 몸체부(100)에 작용할 수 있다.

둘째 단계에서, 몸체부(100)의 변형에 의해 마커이미지가 변화할 수 있다.

셋째 단계에서, 마커이미지의 변화를 이미지센서부(120)가 수집할 수 있다.

여기서, 이미지센서부(120)는 단위 시간 당 몸체부(100)의 내측면에 대해 촬상을 수행할 수 있고, 이 때, 단위 시간은, 밀리초(millisecond, ms)단위일 수 있고, 정밀도의 향상을 위하여, 밀리초(millisecond, ms)단위보다 더 작은 단위로 촬영을 수행할 수도 있다.

넷째 단계에서, 이미지센서부(120)로부터 분석부로 마커이미지가 전달될 수 있다.

다섯째 단계에서, 분석부에 저장된 분석기준이미지와 마커이미지를 비교 분석하여, 사용자입력을 판단할 수 있다.

여기서, 분석기준이미지는, 사전에 마련된 이미지로써 사용자입력의 접촉 위치에 따라 변화하는 마커이미지에 대한 정보일 수 있다.

분석부는, 마커이미지를 분석하여 사용자입력에 의한 3차원 동작을 생성하고, 3차원 동작의 데이터를 딥러닝 알고리즘에 입력하는 반복적인 작업을 통해 딥러닝 결과값을 출력할 수 있다.

딥러닝 알고리즘은 심층 신경망, 합성곱 신경망 또는 순환 신경망 중 어느 하나일 수 있다. 이와 같은 딥러닝 알고리즘은 공지된 기술일 수 있다.

본 발명의 실시 예에서는 딥러닝 알고리즘으로 상기와 같은 신경망이 이용된다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니다.

3차원 동작을 생성하는 각각의 마커는 3차원 좌표의 변화로 표현될 수 있으며, 이에 따라 마커이미지가 3차원으로 표현되며 저장될 수 있다.

분석부는, 각각의 3차원 동작에 대해 딥러닝 알고리즘을 이용하여 학습을 수행하고, 학습된 데이터를 기반으로 사용자입력에 의한 3차원 동작을 분석하여 판단하여 딥러닝 결과값을 도출할 수 있다.

구체적으로, 동일한 사용자가 동일한 3차원 동작의 입력을 위해 사용자입력을 수행하더라도, 3차원 동작을 형성하는 각 좌표의 위치는 차이가 날 수 있는데, 분석부는 사용자가 입력한 3차원 동작을 학습된 데이터를 기반으로 분석하고 판단하여, 사용자가 의도한 3차원 동작의 사용자입력을 인식할 수 있다. 이에 따라, 사용자가 동일한 동작이라고 판단하여 몸체부(100)에 입력한 3차원 동작이 3차원 좌표에 있어서 차이가 있더라도, 분석부는 사용자입력이 사전에 저장된 3차원 동작과 동일한 동작이라고 판단하고, 이에 대한 딥러닝 결과값을 출력할 수 있다.

이하, 본 발명의 입력 장치를 이용한 3차원 동작 입력에서, 하나 이상의 지점에 대해 사용자입력이 작용하는 경우, 3차원 패턴이 인식되는 실시 예에 설명하기로 한다.

그리고, 하나 이상의 지점에 대해 사용자입력이 작용하는 경우, 각 지점에 대한 접촉 위치 및 깊이 측정 알고리즘에 대해 설명하기로 한다.

이는, 몸체부(100)를 손으로 파지하는 경우에 대한 상기의 실시 예와 달리, 하나 이상의 손가락 말단을 몸체부(100)에 접촉하고, 각각의 손가락 말단을 이용하여 3차원 패턴을 입력하는 경우에, 3차원 패턴이 입력되고, 각 지점의 접촉 위치 및 깊이가 측정되는 사항에 대한 것이다.

이하 설명에서는, 이해의 편의를 위하여, 하나의 손가락 말단(또는 하나의 지점에 사용자입력이 가능한 신체 부위)으로 몸체부(100)에 사용자입력을 작용시키는 경우의 3차원 패턴 입력 및 이에 대한 접촉 위치 및 깊이에 대해 기재하기로 한다.

그리고, 몸체부(100)가 충분히 큰 경우, 몸체부(100)의 내측면은 평면에 가까운 곡면일 수 있으므로, 이해의 편의를 위해 평면에 배열된 마커(110)의 이미지를 이용하여 설명하기로 한다.

또한, 이하에서는 원형인 마커(110)의 변화에 대해 주로 설명하고 있으나, 이에 한정되는 것은 아니고, 사용자입력 전의 각각 마커(110)의 이미지와 사용자입력 후의 각각 마커(110)의 이미지 차이가 변화로 인식되어 동일한 원리에 따라 3차원 패턴 인식, 또는 접촉 위치 및 깊이에 대해 분석할 수 있다.

이에 따라, 촬상면이 평면 또는 곡면에 상관 없이 3차원 동작, 3차원 패턴, 접촉 위치 및 깊이를 분석할 수 있다.

먼저, 몸체부(100)에서 하나의 지점에 대해 사용자입력이 작용하는 경우, 3차원 패턴이 인식되는 실시 예에 설명하기로 한다.

도 9는 본 발명의 일 실시 예에 따른 몸체부(100)에 대해 최초의 사용자입력이 작용하는 사항에 대한 모식도이고, 도 10은 본 발명의 일 실시 예에 따른 몸체부(100)에 대해 누름 동작이 작용하는 사항에 대한 모식도이며, 도 11은 본 발명의 일 실시 예에 따른 몸체부(100)에 대해 하나의 방향으로 이동 동작이 작용하는 사항에 대한 모식도이다. 그리고, 도 12는 본 발명의 일 실시 예에 따른 몸체부(100)에 대해 다른 방향으로 이동 동작이 작용하는 사항에 대한 모식도이다.

또한, 도 13은 본 발명의 일 실시 예에 따른 3차원 패턴이 이미지화된 이미지이다.

도 9 내지 도 12에서, 도면 부호 111은, 크기포인트마커(111) 또는 명도포인트마커(111)를 나타낼 수 있다. 그리고, 도면 부호 112는, 크기보조마커(112) 또는 명도보조마커(112)를 나타낼 수 있다.

분석부는, 복수 개의 마커(110) 중 이미지센서부(120)에 의해 가장 크기가 크게 인식되는 마커인 크기포인트마커(111)의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 판단할 수 있다. 또는, 분석부는, 복수 개의 마커(110) 중 이미지센서부(120)에 의해 가장 명도가 높게 인식되는 마커인 명도포인트마커(111)의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 판단할 수 있다.

크기포인트마커(111)와 명도포인트마커(111)는 이미지센서부(120)에 인식되는 마커이미지를 기준으로 가장 크기가 큰 마커(110)와 가장 명도가 높은 마커(110)를 나타낼 수 있다. 특히, 명도포인트마커(111)의 경우, 이미지센서부(120)와 조명부(300)가 동일 방향에 위치하고 있어, 마커(110)의 위치가 이미지센서부(120)에 근접하는 경우 명도가 높아지는 현상을 이용하는 것일 수 있다.

3차원 패턴은, 2차원적인 수평 변위와 이러한 수평 변위에 수직인 수직 변위에 의한 위치 변경일 수 있다. 본 발명의 실시 예에서는, 도 9 내지 도 12에서 보는 바와 같이, 2차원적인 수평 변위는 x-y 평면 상 변위로 표현되고, 수직 변위는 x-y 평면에 수직인 z축에 대한 변위로 표현될 수 있다.

일 실시 예로써, 가장 크기가 크게 인식되는 마커(110)의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 판단하는 사항에 대해 설명하기로 한다.

도 9에서 보는 바와 같이, 몸체부(100)에 최초로 사용자입력이 작용 시, 크기포인트마커(111)가 인식될 수 있다. 그리고, 도 10 내지 도 12에서 보는 바와 같이, 손가락 말단을 이용하여 몸체부(100)의 외측면에 대해 누름 동작을 수행한 후 이동 동작을 수행하는 경우, 누름과 이동에 의해 이미지센서부(120)에 대해 가장 크기가 크게 인식되는 크기포인트마커(111)의 위치가 변경될 수 있다. 여기서, 크기포인트마커(111)의 이동은, 복수 개의 마커(110) 중 이미지센서부(120)에 가장 크기가 크게 인식되는 마커(110)의 위치가 변함으로써 인식될 수 있다. 즉, 마커(110) 자체가 이동하는 것이 아닌 크기포인트마커(111)의 위치 변화를 인식하여 크기포인트마커(111)의 이동으로 판단할 수 있는 것이다.

그리고, 분석부는, 크기포인트마커(111)의 위치 변경 또는 명도 변화, 및 크기포인트마커(111)를 중심으로 소정의 범위 내 위치하는 크기보조마커(112)의 크기 또는 형상의 변화에 의해 3차원 패턴을 판단할 수 있다.

소정의 범위는, 크기포인트마커(111)를 중심으로 NXM의 배열(N, M은 임의의 정수)을 형성하는 행렬 범위 또는 크기포인트마커(111)를 중심으로 L개(L은 임의의 정수)의 마커가 포함되는 원형의 범위일 수 있다. 다만, 이에 한정되는 것은 아니다. 그리고, 소정의 범위가 몸체부(100)의 내측면 전체 범위임을 배제하는 것은 아니다.

크기포인트마커(111)가 위치 변경하면 소정의 범위 내에 위치하는 크기보조마커(112)의 크기 또는 형상이 변화하고, 이에 대한 데이터가 분석부에 미리 저장되거나, 딥러닝에 의해 학습되어 분석부에 저장될 수 있다.

그리고, 분석부는, 크기포인트마커(111)의 위치 변화 또는 명도 변화에 대한 이미지뿐만 아니라, 복수 개인 크기보조마커(112) 각각의 크기 또는 형상의 변화에 대한 이미지를 분석하여 3차원 패턴을 판단할 수 있다.

구체적으로, 도11 및 도 12에서 보는 바와 같이, 크기포인트마커(111)가 수평 변위 이동을 수행하는 경우, 크기포인트마커(111)의 위치 변경이 수행되면, 3X3배열의 소정의 범위 내 크기보조마커(112)의 크기 또는 형상이 변화하고, 크기포인트마커(111)의 이동과 크기보조마커(112) 크기 또는 형상 변화를 종합적으로 판단하여 3차원 패턴을 판단할 수 있다.

상기와 같은 크기포인트마커(111)의 위치 변경에 의해 손가락 말단의 2차원적인 수평 변위를 측정할 수 있고, 크기포인트마커(111)의 명도 변화에 의해 손가락 말단의 누름에 의한 수직 변위를 측정할 수 있어, 결론적으로 손가락 말단에 의한 사용자입력에 대해 3차원 패턴을 판단할 수 있다.

다른 실시 예로써, 가장 명도가 높게 인식되는 마커(110)의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 판단하는 사항에 대해 설명하기로 한다.

도 9에서 보는 바와 같이, 몸체부(100)에 최초로 사용자입력이 작용 시, 명도포인트마커(111)가 인식될 수 있다. 그리고, 도 10 내지 도 12에서 보는 바와 같이, 손가락 말단을 이용하여 몸체부(100)의 외측면에 대해 누름 동작을 수행한 후 이동 동작을 수행하는 경우, 누름과 이동에 의해 이미지센서부(120)에 대해 가장 명도가 높게 인식되는 명도포인트마커(111)의 위치가 변경될 수 있다. 여기서, 명도포인트마커(111)의 이동은, 복수 개의 마커(110) 중 이미지센서부(120)에 가장 명도가 높게 인식되는 마커(110)의 위치가 변함으로써 인식될 수 있다. 즉, 마커(110) 자체가 이동하는 것이 아닌 명도포인트마커(111)의 위치 변화를 인식하여 명도포인트마커(111)의 이동으로 판단할 수 있는 것이다.

그리고, 분석부는, 명도포인트마커(111)의 위치 변경 또는 명도 변화, 및 명도포인트마커(111)를 중심으로 소정의 범위 내 위치하는 명도보조마커(112)의 크기 또는 형상의 변화에 의해 3차원 패턴을 판단할 수 있다.

소정의 범위는, 명도포인트마커(111)를 중심으로 NXM의 배열(N, M은 임의의 정수)을 형성하는 행렬 범위 또는 명도포인트마커(111)를 중심으로 L개(L은 임의의 정수)의 마커가 포함되는 원형의 범위일 수 있다. 다만, 이에 한정되는 것은 아니다. 그리고, 소정의 범위가 몸체부(100)의 내측면 전체 범위임을 배제하는 것은 아니다.

명도포인트마커(111)가 위치 변경하면 소정의 범위 내에 위치하는 명도보조마커(112)의 크기 또는 형상이 변화하고, 이에 대한 데이터가 분석부에 미리 저장되거나, 딥러닝에 의해 학습되어 분석부에 저장될 수 있다.

그리고, 분석부는, 명도포인트마커(111)의 위치 변화 또는 명도 변화에 대한 이미지뿐만 아니라, 복수 개인 명도보조마커(112) 각각의 크기 또는 형상의 변화에 대한 이미지를 분석하여 3차원 패턴을 판단할 수 있다.

구체적으로, 도11 및 도 12에서 보는 바와 같이, 명도포인트마커(111)가 수평 변위 이동을 수행하는 경우, 명도포인트마커(111)의 위치 변경이 수행되면, 3X3배열의 소정의 범위 내 명도보조마커(112)의 크기 또는 형상이 변화하고, 명도포인트마커(111)의 이동과 명도보조마커(112) 크기 또는 형상 변화를 종합적으로 판단하여 3차원 패턴을 판단할 수 있다.

상기와 같은 명도포인트마커(111)의 위치 변경에 의해 손가락 말단의 2차원적인 수평 변위를 측정할 수 있고, 명도포인트마커(111)의 명도 변화에 의해 손가락 말단의 누름에 의한 수직 변위를 측정할 수 있어, 결론적으로 손가락 말단에 의한 사용자입력에 대해 3차원 패턴을 판단할 수 있다.

구체적으로, 수평 변위와 수직 변위를 판단하는 사항에 대해 설명하기로 한다. (이하, 명도포인트마커(111)를 기준으로 하여 설명하기로 한다.)

도 9에서 보는 바와 같이, 사용자가 몸체부(100)의 외측면에 대해 최초의 누름 동작을 수행하는 경우, 몸체부(100) 내측면의 누름 동작이 수행된 부위에서 어느 하나의 마커(110)가 이미지센서부(120)에 근접하도록 이동하며 명도가 증가할 수 있다. 그리고, 명도가 증가한 마커(110)는 명도포인트마커(111)로 인식되고, 제1지점(A1)이 시작 좌표로 설정될 수 있다.

그리고, 도 10에서 보는 바와 같이, 사용자가 몸체부(100)의 외측면에 대해 최초의 누름 동작보다 더 강한 힘으로 누름 동작을 수행하는 경우, 더 강한 힘의 누름 동작에 의해 명도포인트마커(111)는 명도가 더 증가된 것으로 인식될 수 있고, 이러한 명도포인트마커(111)의 명도 변화에 의해 사용자입력에 의한 수직 변위를 측정할 수 있다. 즉, 제1지점(A1)에서 제2지점(A2)으로 3차원 좌표가 변경됨을 인식하여 측정할 수 있다.

그리고, 명도가 증가하는 것이 아닌 명도가 감소하는 경우, 즉, 명도포인트마커(111)가 이미지센서부(120)로부터 이격되어 명도가 감소하면, 도 10에서의 방향과 반대 방향으로 수직 변위가 형성될 수 있다.

도 11에서 보는 바와 같이, 사용자가 몸체부(100)의 외측면에 대해 하나의 방향으로 이동 동작을 수행하는 경우, 가장 큰 명도를 구비하는 마커(110)가 변경될 수 있고, 이와 같은 마커(110)의 변경에 의해 명도포인트마커(111)가 제2지점(A2)에서 제3지점(A3)으로 이동하는 것으로 인식될 수 있다.

또한, 도 6에서 보는 바와 같이, 사용자가 몸체부(100)의 외측면에 대해 다른 방향으로 이동 동작을 수행하는 경우, 가장 큰 명도를 구비하는 마커(110)가 변경될 수 있고, 이와 같은 마커(110)의 변경에 의해 명도포인트마커(111)가 제3지점(A3)에서 제4지점(A4)으로 이동하는 것으로 인식될 수 있다.

그리고, 상기와 같은 수평 변위와 수직 변위의 복합적인 변위에 의해 도 13에서 보는 바와 같은 3차원 패턴이 형성될 수 있다.

본 발명의 입력 장치는, 3차원 패턴뿐만이 아니라, 수직 방향 또는 수평 방향의 힘을 검출할 수 있다.

도 10에서 보는 바와 같이, 누름 동작을 수행하면 수직 변위가 형성되고, 이러한 수직 변위에 몸체부(100)의 탄성계수를 곱하여 사용자입력에 의한 수직 방향의 힘을 측정할 수 있다.

따라서, 수직 방향의 힘을 검출하기 위해, 몸체부(100)의 탄성계수가 몸체부(100)의 각 지점마다 동일하도록 몸체부(100)는 제조될 수 있다.

도 11에서 보는 바와 같이, 이동 동작을 수행하면 수평 변위가 형성되고, 이때, 수평 방향 힘은, 사용자입력인 손가락 말단의 누름 동작에 의해 몸체부(100)에 가해지는 수직항력(N)과 시트(110)의 마찰계수(μ)의 곱에 의해 계산되는 마찰력에 대응되는 힘으로 측정될 수 있다.

여기서, 몸체부(100)의 마찰계수는, 분석부에 저장된 마찰계수기준데이터테이블을 참조하여 결정할 수 있다.

도 11에서 보는 바와 같이, 몸체부(100)에 누름 동작을 수행하여 수직 변위가 발생한 상태에서 손가락 말단(사용자입력)을 이동하여 수평 변위를 발생시키므로, 몸체부(100)의 마찰계수는, 몸체부(100)의 표면에 대한 물성으로써의 표면마찰계수와 다를 수 있다.

본 발명의 수평 방향 힘 검출 방법에서 이용되는 몸체부(100)의 마찰계수는, 누름 동작에 의해 몸체부(100) 형상이 휘어지는 상태를 고려하여 정해지는 것으로, 몸체부(100)의 외측면에 대한 기계적 실험을 통해 획득되는 데이터에 의해 정해질 수 있다.

수평 방향의 힘은, 상기의 과정에 의해 정해지는 몸체부(100)의 마찰계수와 수직항력인 수직 방향 힘의 곱에 의해 계산될 수 있다.

딥러닝 알고리즘은 심층 신경망, 합성곱 신경망 또는 순환 신경망 중 어느 하나일 수 있다. 본 발명의 입력 장치에 이용되는 딥러닝 알고리즘은 공지된 기술일 수 있다. 본 발명의 실시 예에서는 딥러닝 알고리즘으로 상기와 같은 신경망이 이용된다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니다.

상기와 같이, 각각의 3차원 패턴은, 3차원의 좌표의 변화로 표현될 수 있으며, 도 13에서 보는 바와 같이, 각각의 3차원 패턴은 각각 3차원의 이미지로 표현되며 저장될 수 있다.

분석부는, 각각의 3차원 패턴에 대해 딥러닝 알고리즘을 이용하여 학습을 수행하고, 학습된 데이터를 기반으로 사용자입력에 의한 3차원 패턴을 분석하여 판단하여 딥러닝 결과값을 도출할 수 있다.

구체적으로, 동일한 사용자가 동일한 3차원 패턴의 입력을 위해 사용자입력을 수행하더라도, 3차원 패턴을 형성하는 각 좌표의 위치는 차이가 날 수 있는데, 분석부는 사용자가 입력한 3차원 패턴을 학습된 데이터를 기반으로 분석하고 판단하여, 사용자가 의도한 3차원 패턴의 사용자입력을 인식할 수 있다. 이에 따라, 사용자가 동일한 패턴이라고 판단하여 몸체부(100)에 입력한 3차원 패턴이 3차원 좌표에 있어서 차이가 있더라도, 분석부는 사용자입력에 의한 패턴이 사전에 저장된 3차원 패턴과 동일한 패턴이라고 판단하고, 이에 대한 딥러닝 결과값을 출력할 수 있다.

본 발명의 입력 장치는, 사용자입력 중 최초의 사용자입력인 시작입력이 몸체부(100)의 외측면에 작용 시 시각적 알림을 수행하는 시작알림부를 더 포함할 수 있다.

상기와 같이 몸체부(100)의 외측면에 최초의 사용자입력이 작용하는 경우, 3차원 패턴의 형성이 시작될 수 있는데, 사용자는 최초의 사용자입력이 인식되고 있는지 확인하는 방법이 필요할 수 있다.

따라서, 최초의 사용자입력인 시작입력이 몸체부(100)의 외측면에 작용하면 시작알림부에서 광을 방출하도록 하여 3차원 패턴의 형성 시작을 사용자가 확인할 수 있다.

본 발명의 실시 예에서는, 시작알림부가 광을 방출하여 3차원 패턴 형성을 확인할 수 있도록 한다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 소리나 진동을 이용하여 3차원 패턴의 형성 시작을 사용자가 확인할 수 있도록 할 수 있다.

본 발명의 입력 장치는, 분석부로부터 딥러닝 결과값을 전달 받고, 딥러닝 결과값에 대응하는 제어신호를 외부 장비로 전달하는 제어부를 더 포함할 수 있다.

각각의 3차원 패턴은 특정의 명령과 매칭될 수 있다. 구체적으로, 도 13과 같은 3차원 패턴이 형성되면, 외부 장비의 작동 시작이 수행된다고 매칭되는 경우, 도 13과 같은 3차원 패턴의 입력을 분석 및 판단한 분석부로부터 제어부로 딥러닝 결과값이 출력되고, 제어부는 딥러닝 결과값에 매칭되는 제어신호를 외부 장비로 전달하여 외부 장비의 작동 시작이 수행될 수 있다.

본 발명의 입력 장치를 구비한 컴퓨터를 제조할 수 있다.

분석부에서 처리된 3차원 패턴에 대한 딥러닝 결과값이 제어부를 거쳐 컴퓨터에 전달되고, 해당 3차원 패턴과 대응하는 명령이 컴퓨터에 전달되어 컴퓨터가 명령을 수행할 수 있다.

본 발명의 입력 장치를 구비한 로봇을 제조할 수 있다.

구체적인 일 실시 예로써, 3차원 패턴에 대응하여 작업을 수행하는 로봇의 말단이 이동할 수 있어, 본 발명의 입력 장치가 로봇을 조종하는 조종 장치로써 기능할 수 있다.

다음으로, 몸체부(100)에서 하나의 지점에 대해 사용자입력이 작용하는 경우, 해당 지점에 대한 접촉 위치 및 깊이 측정 알고리즘에 대해 설명하기로 한다.

도 14는 본 발명의 일 실시 예에 따른 이미지센서부(120)로부터의 거리에 따라 인식되는 마커(110)의 변화량 편차를 나타낸 이미지이고, 도 15는 본 발명의 일 실시 예에 따른 기준범위에 대한 모식도이며, 도 16은 본 발명의 일 실시 예에 따른 마커(110)의 수평 변위 및 수직 변위에 대한 그래프이다.

도 9에서 보는 바와 같이, 첫째 단계에서, 몸체부(100)에 사용자입력이 작용할 수 있다.

둘째 단계에서, 이미지센서부(120)가 단위 시간 당 몸체부(100)의 내측면을 촬상하여 촬상된 마커이미지를 분석부로 전달할 수 있다.

여기서, 단위 시간은, 밀리초(millisecond, ms)단위일 수 있고, 정밀도의 향상을 위하여, 밀리초(millisecond, ms)단위보다 더 작은 단위로 촬상을 수행할 수 있음은 물론이다.

셋째 단계에서, 각각의 마커(110)의 이미지 변화량과 위치 변화량을 분석부에서 측정할 수 있다.

여기서, 마커(110)의 이미지 변화량은 마커(110)의 형상 변화량 및 마커(110)의 면적 변화량을 포함할 수 있다. 그리고, 마커(110)의 위치 변화량은, 각각의 마커(110)의 중심에 위치하는 마커좌표점의 마커이미지 상 2축(x-y)에 대한 위치 변화량일 수 있다.

구체적으로, 마커(110)의 이미지 변화량에 있어서, 마커(110)가 원형인 경우, 몸체부(100)에 사용자입력이 작용하면 원형인 마커(110)가 타원형으로 변화할 수 있고, 마커(110)가 원형을 유지하면서 크기가 변하거나 타원형으로 변화면서 크기가 변화할 수 있다. 이 때, 형상 변화와 함께 크기가 변하면서 형상 변화와 면적 변화가 동시에 발생할 수 있으며, 마커(110)의 이미지 변화량은 이러한 마커(110)의 형상 변화량과 마커(110)의 면적 변화량을 포함할 수 있다.

그리고, 마커(110)의 위치 변화량에 있어서, 원형의 마커(110) 각각의 중심점에 좌표가 설정되어 각각의 마커(110)는 마커좌표점을 구비하고, 마커이미지 상에서 각각의 마커좌표점의 변위를 측정하여 마커(110)의 위치 변화량을 측정할 수 있다.

사용자가 몸체부(100)의 외측면에 대해 최초의 누름 동작을 수행하는 경우, 사용자입력이 작용한 위치인 접촉위치에 대해 가장 근접한 위치에 있는 기준마커(113)와 기준마커(113) 주위에 위치하는 다른 마커(110)의 이미지(형상 및 면적)와 위치가 변화할 수 있다.

이 때, 도 14에서 보는 바와 같이, 접촉위치가 변경됨에 따라 기준마커(113)의 위치도 변경되게 되는데, 제1접촉위치에 대한 제1기준마커(113a), 제2접촉위치에 대한 제2기준마커(113b) 및 제3접촉위치에 대한 제3기준마커(113c)를 비교하는 경우, 제1기준마커(113a)와 제2기준마커(113b) 및 제3기준마커(113c)의 위치 변화량이 동일하다고 하더라도, 이미지센서부(120)에서 촬상되는 제1기준마커(113a)와 제2기준마커(113b) 및 제3기준마커(113c)의 이미지 변화량 및 위치 변화량은 상이하게 측정될 수 있다.

구체적으로, 마커이미지(Image Surface)를 분석하여 이미지 변화량을 측정하는 경우에, 도 14에서 보는 바와 같이, 제2기준마커(113b)의 위치 변화량과 제3기준마커(113c)의 위치 변화량이 동일하다고 하더라도, 마커이미지 상에서는 제2기준마커(113b)의 이미지 변화량과 제3기준마커(113c)의 이미지 변화량은 다르게 나타날 수 있다.

여기서, 마커이미지(Image Surface)는 평면 또는 곡면에 대한 것일 수 있다.

그리고, 마커이미지를 분석하여 위치 변화량을 측정하는 경우에도, 도 14에서 보는 바와 같이, 제2기준마커(113b)의 위치 변화량과 제3기준마커(113c)의 위치 변화량이 동일하다고 하더라도, 마커이미지 상에서는 Δd1로 표시되는 제2기준마커(113b)의 위치 변화량과 Δd2로 표시되는 제3기준마커(113c)의 위치 변화량이 다르게 나타날 수 있다.

기준마커(113) 뿐만이 아니라, 기준마커(113) 외 다른 마커(110)들도 사용자입력의 영향을 받는 경우, 기준마커(113)와 같은 현상이 발생할 수 있다.

따라서, 몸체부(100)의 외측면 각 지점에 대한 접촉위치 형성 시, 3차원의 좌표로 형성되는 마커좌표점을 구비하는 각각의 마커(110)의 이미지 변화량과 위치 변화량에 대한 정보를 이용하여 모델링을 수행하고, 이를 통해 접촉위치를 추정하며, 추정된 접촉위치를 주위의 마커(110)에 대한 정보를 이용하여 접촉깊이를 판단하는 과정이 필요할 수 있다.

넷째 단계에서, 마커(110)의 이미지 변화량과 위치 변화량을 분석부에서 분석하여 사용자입력이 작용한 위치인 접촉위치 및 사용자입력이 작용한 깊이인 접촉깊이를 추정할 수 있다.

접촉위치는 2차원의 x-y축 좌표로 표현될 수 있고, 접촉깊이는 z축에 대한 변위로 표현될 수 있다.

여기서, 마커(110)의 단위 깊이 당 이미지 변화량과 위치 변화량에 대한 데이터를 아래의 [수식 1] 다항식에 대입하여 함수피팅(Curve Fitting)을 이용한 모델링을 수행할 수 있다.

[수식 1]

여기서, D는 마커(110)의 깊이 값, p1 내지 p5는 다항식 계수, x는 마커(110)의 이미지 변화량과 위치 변화량을 곱한 값이다.

그리고, 함수피팅은 가우시안 피팅(Gaussian Fitting)일 수 있다.

단위 깊이는, 0.1 내지 10밀리미터(mm)일 수 있고, 바람직하게는 1밀리미터(mm)일 수 있다.

이하, 접촉위치 및 접촉깊이 추정 과정에 대해서 설명하기로 한다.

먼저, 각각의 마커(110)에 대해, 마커(110) 하나 당 단위 깊이에 따른 이미지 변화량과 위치 변화량을 측정할 수 있다. 이는 사용자입력 전에 전체 마커(110)에 대한 데이터를 획득하기 위한 것으로써, 몸체부(100)의 외측면에서 각각의 마커(110)의 마커좌표점에 대응하는 위치의 부위에 대해 단위 깊이 간격으로 수직 변위를 주어, 각각의 마커(110)에 대한 이미지 변화량과 위치 변화량을 이미지센서부(120)에서 촬상한 후 분석부에 저장할 수 있다.

즉, 단위 깊이 당 이미지 변화량과 위치 변화량에 대한 데이터를 도출하여 저장하기 위해 각각의 마커(110)에 대한 마커좌표점과 접촉위치를 일치시켜 마커(110) 하나 당 단위 깊이에 따른 이미지 변화량과 위치 변화량을 측정할 수 있다.

그리고, 분석부는 마커좌표점에 의해 각각의 마커(110)에 대한 구분을 수행하고, 각각의 마커(110)의 깊이 값(D) 및 이미지 변화량과 위치 변화량을 곱한 값(x)을 상기의 [수식 1]에 대입하여 p1 내지 p5의 다항식 계수를 도출하여 [수식 1]의 다항식을 생성할 수 있다.

그리고, 상기의 [수식 1]의 다항식을 공지된 프로그램에 적용하여 피팅 모델링(Fitting Modeling)을 수행할 수 있다. 이 때, 상기의 프로그램은 Matlab, Octave 또는 Python 중 어느 하나의 프로그램일 수 있다. 다만, 이에 한정되는 것은 아니다. 그리고, 상기에서는 피팅 모델링을 수행하기 위해 가우시안 피팅을 이용한다고 설명하고 있으나, 이에 한정되는 것도 아니다.

다음으로, 사용자입력이 작용하지 않은 상태의 몸체부(100)의 내측면에 대한 작용 전 마커이미지를 획득할 수 있다. 그 후, 사용자입력이 몸체부(100)에 작용하면, 사용자입력이 작용된 상태의 몸체부(100)의 내측면에 대한 작용 후 마커이미지를 획득할 수 있다.

분석부에서는 상기의 작용 전 마커이미지와 상기의 작용후 마커이미지를 비교하여 각각의 마커(110)에 대한 이미지 변화량과 위치 변화량을 측정하고, 이에 대한 값을 [수식 1]의 다항식에 대입하여 각각의 마커(110)에 대한 접촉깊이를 도출할 수 있다.

도 16의 (a)는 수평축 중 x축을 기준으로 z축(수직축)에 대한 마커(110)의 접촉깊이(Depth) 분포를 나타낸 것이고, 도 16의 (b)는 수평축 중 y축을 기준으로 z축(수직축)에 대한 마커(110)의 접촉깊이(Depth) 분포를 나타낸 것이다.

도 16의 (a)에서 보는 바와 같이, 각각의 마커(110)의 접촉깊이는 각각 다르고, 접촉위치에 가장 근접한 마커(110)인 기준마커(113)의 접촉깊이가 가장 크게 나타날 수 있다.

이에 따라, 분석부는 복수 개의 마커(110) 중 가장 접촉깊이 값이 크게 나타나는 마커(110)를 선별하고, 해당 마커(110)를 기준마커(113)로 설정하고, 1차로 기준마커(113)가 접촉위치라고 판단한 후, 기준마커(113)에 대한 위치와 깊이를 도출하여 접촉위치 좌표 및 접촉깊이 값을 1차로 추정할 수 있다.

다만, 1차 추정에서, 접촉위치와 기준마커(113)의 마커좌표점 간 불일치로 오차가 발생할 수 있다. 따라서, 오차 수정을 위해 하기와 같은 2차 추정이 수행될 수 있다.

다섯째 단계에서, 접촉위치에 가장 근접한 마커(110)인 기준마커(113) 및 기준마커(113)를 기준으로 일정 범위인 기준범위 내 위치하는 보조마커(114)의 이미지 변화량과 위치 변화량을 분석부에서 재측정할 수 있다.

도 15에서 보는 바와 같이, 보조마커(114)는, 기준마커(113)와 하나의 축 방향으로 좌표가 동일한 복수 개의 마커(110)일 수 있다.

구체적으로, 도 15에서 보는 바와 같이, 보조마커(114)는, 기준마커(113)를 기준으로, x축 방향으로 6개의 마커(110)이고, y축 방향으로 4개의 마커(110)일 수 있다. 다만, 각 축 방향에 대한 마커(110)의 수가 한정되는 것은 아니다.

그리고, 본 발명의 실시 예에서는, 보조마커(114)가 상기와 같이 하나의 축 방향으로 좌표가 동일한 복수 개의 마커(110)라고 설명하고 있으나, 이에 한정되는 것은 아니고, 기준마커(113)를 중심으로 NXM의 배열(N, M은 임의의 정수)을 형성하는 행렬 범위 또는 기준마커(113)를 중심으로 L개(L은 임의의 정수)의 마커(110)가 포함되는 원형의 범위일 수 있다.

여섯째 단계에서, 기준마커(113)와 보조마커(114)의 정보를 이용하여 접촉위치 및 접촉깊이를 분석부에서 연산할 수 있다.

여기서, 상기된 접촉위치 및 접촉깊이 추정 과정을 2차로 수행하기 위해 기준마커(113)의 이미지 변화량과 위치 변화량 및 보조마커(114)의 이미지 변화량과 위치 변화량을 측정할 수 있다.

그 후, 기준마커(113)와 보조마커(114)의 정보를 이용하여 상기된 접촉위치 및 접촉깊이 추정 과정을 수행하고, 도 16의 (a) 및 도 16의 (b)와 같은 그래프를 획득하여 기준마커(113)와 보조마커(114)의 분포를 도출할 수 있다.

이 때, 기준마커(113)는 접촉위치에 가장 근접한 마커(110)이므로, 기준마커(113)의 마커좌표점의 좌표가 접촉위치의 좌표와 동일하지 않을 수 있다.

도 16의 (a)에서 가장 크기가 큰 깊이(Depth) 값 근처에 기준마커(113)의 깊이 값이 매칭될 수 있고, 가장 크기가 큰 깊이(Depth) 값을 갖는 x축 좌표가 접촉위치일 수 있다. 마찬가지로, 도 16의 (b)에서 가장 크기가 큰 깊이(Depth) 값 근처에 기준마커(113)의 깊이 값이 매칭될 수 있고, 가장 크기가 큰 깊이(Depth) 값을 갖는 y축 좌표가 접촉위치일 수 있다.

이에 따라, 접촉위치 및 접촉깊이를 2차로 추정할 수 있으며, 정밀한 접촉위치 좌표 및 접촉깊이 값이 도출될 수 있다.

즉, 접촉위치 및 접촉깊이에 대한 2차 추정은, 실질적인 접촉위치 및 접촉깊이를 마커이미지에 의해 직접 측정되어 도출되는 것이 아닌 피팅 모델링에 의해 추정되어 측정되는 것으로, 피팅 모델링에 의한 추정에 의해 실질적인 접촉위치 및 접촉깊이를 도출할 수 있다.

접촉위치의 변화와 접촉깊이의 변화를 이용하여 3차원 패턴을 형성할 수 있다.

여기서, 분석부는, 수평면에 대한 접촉위치의 변화를 인식하여 사용자입력의 수평변위를 측정할 수 있다. 그리고, 분석부는, 수직축에 대한 접촉깊이의 변화를 인식하여 사용자입력의 수직변위를 측정할 수 있다.

3차원 패턴은, 2차원적인 수평 변위와 이러한 수평 변위에 수직인 수직 변위에 의한 위치 변경일 수 있다. 본 발명의 실시 예에서는, 도 10 내지 도 12에서 보는 바와 같이, 2차원적인 수평 변위는 x-y 평면(수평면) 상 변위로 표현되고, 수직 변위는 x-y 평면에 수직인 z축(수직축)에 대한 변위로 표현될 수 있다.

상기의 둘째 단계에서, 이미지센서부(120)가 마커이미지를 획득하는 경우, 복수 개의 이미지센서에 의해 복수 개의 마커이미지가 획득될 수 있다.

그리고, 상기의 셋째 단계에서, 각각의 이미지센서에서 획득한 각각의 마커이미지를 비교하여, 각각의 마커(110)의 이미지 변화량과 위치 변화량을 측정할 수 있다.

상기와 같이 복수 개의 이미지센서가 구비되는 경우에는, 각각의 이미지센서에 의해 마커이미지가 획득될 수 있고, 분석부는 각각의 이미지센서에서 획득된 각각의 마커이미지에 의해 접촉위치 및 접촉깊이를 추정하고, 각각의 접촉위치 좌표 및 접촉깊이 값을 정규분포화 시키고, 확률상 가장 정확한 접촉위치 좌표 및 접촉깊이 값을 도출하여 접촉위치와 접촉깊이를 추정할 수 있다.

다른 실시 예로써, 복수 개의 이미지센서 각각은 몸체부(100)의 내측면에 대해서 각각 할당 받은 범위를 가지고 있고, 하나의 이미지센서는 할당 받은 범위의 촬상면인 촬상할당면에 위치하는 마커(110)에 대한 이미지를 획득하여 접촉위치 및 접촉깊이를 추정할 수 있다.

즉, 촬상할당면에 사용자입력이 작용하지 않는 경우에는 접촉위치 및 접촉깊이에 대한 추정을 수행하지 않다가, 촬상할당면에 사용자입력이 작용하는 경우에 접촉위치 및 접촉깊이를 추정할 수 있다. 이에 따라, 이미지센서부(120)에 근접한 촬상할당면에 대해서만 촬상을 수행할 수 있어, 접촉위치 및 접촉깊이를 추정 정확도를 향상시킬 수 있는 것이다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 몸체부
110 : 마커
111 : 크기포인트마커 또는 명도포인트마커
112 : 크기보조마커 또는 명도보조마커
113 : 기준마커
113a : 제1기준마커
113b : 제2기준마커
113c : 제3기준마커
114 : 보조마커
120 : 이미지센서부
121 : 제1이미지센서
122 : 제2이미지센서
123 : 제3이미지센서
124 : 제4이미지센서
125 : 제5이미지센서
130 : 조명부
131 : 제1조명
132 : 제2조명
133 : 제3조명
134 : 제4조명
135 : 제5조명
200 : 기준표식

Claims (15)

1. 구 형상을 구비하고, 신축성 있는 소재로 형성되어, 외측면에 사용자입력이 작용하면 변형되고 상기 사용자입력이 해제되면 초기형상으로 복원되는 몸체부;
   상기 몸체부의 내측면을 따라 복수 개 배열되어 형성되는 마커;
   상기 사용자입력에 대응하여 변화하는 상기 마커의 이미지인 마커이미지를 수집하며 상기 몸체부의 내측면에 결합하여 상기 몸체부의 내부 공간에서 서로 동일한 간격을 형성하는 복수 개의 이미지센서를 구비하는 이미지센서부;
   상기 몸체부의 내측면에 결합하고, 상기 몸체부의 내측면을 향해 광을 조사하는 조명부; 및
   상기 마커이미지의 변화에 대한 분석을 수행하여, 상기 사용자입력에 대한 판단을 수행하는 분석부;를 포함하고,
   상기 분석부는, 외부에서 수집된 사용자의 손에 대한 이미지 및 상기 마커이미지의 변화 매칭에 의해 생성됨으로써 사전에 마련된 분석기준이미지와, 상기 사용자입력에 의해 변화된 상기 마커이미지를 비교하여, 사용자의 손에 대한 3차원 형상을 판단하는 것을 특징으로 하는 구 형상의 3차원 동작 입력 장치.
   
2. 청구항 1에 있어서,
   상기 사용자입력은, 상기 몸체부의 외측면에 사용자의 손이 접촉된 상태에서, 상기 사용자의 손이 정지 또는 동작하여 수행되는 것을 특징으로 하는 구 형상의 3차원 동작 입력 장치.
   
3. 청구항 1에 있어서,
   상기 분석부는, 상기 마커이미지의 변화를 통해 상기 사용자입력에 의한 3차원 동작을 판단하는 것을 특징으로 하는 구 형상의 3차원 동작 입력 장치.
   
4. 청구항 3에 있어서,
   상기 마커이미지는 상기 이미지센서부에 인식되는 복수 개의 상기 마커에 대한 이미지인 것을 특징으로 하는 구 형상의 3차원 동작 입력 장치.
   
5. 삭제
6. 청구항 1에 있어서,
   상기 이미지센서는, 상기 몸체부의 중심점을 기준으로 상하 좌우 전후의 6개 위치에 등간격으로 형성되는 것을 특징으로 하는 구 형상의 3차원 동작 입력 장치.
   
7. 청구항 1에 있어서,
   상기 이미지센서는 광각렌즈를 구비하는 것을 특징으로 하는 구 형상의 3차원 동작 입력 장치.
   
8. 청구항 1에 있어서,
   상기 조명부는, 조명을 복수 개 구비하고, 상기 이미지센서부에 인접하여 형성되는 것을 특징으로 하는 구 형상의 3차원 동작 입력 장치.
   
9. 청구항 1에 있어서,
   상기 마커는, 원형의 형상으로 형성되는 것을 특징으로 하는 구 형상의 3차원 동작 입력 장치.
   
10. 청구항 1에 있어서,
    상기 몸체부와 결합하고 상기 몸체부의 3차원 위치를 감지하는 위치센서부를 더 포함하는 것을 특징으로 하는 구 형상의 3차원 동작 입력 장치.
    
11. 청구항 1에 있어서,
    상기 몸체부의 외측면에는 상기 몸체부와 사용자의 접촉 기준이 되는 기준표식이 형성되는 것을 특징으로 하는 구 형상의 3차원 동작 입력 장치.
    
12. 청구항 1 내지 청구항 4 및 청구항 6 내지 청구항 11 중 어느 하나의 항에 의한 구 형상의 3차원 동작 입력 장치를 포함하는 것을 특징으로 하는 3차원 동작 인식 로봇 시스템.
    
13. 청구항 1 내지 청구항 4 및 청구항 6 내지 청구항 11 중 어느 하나의 항에 의한 구 형상의 3차원 동작 입력 장치를 포함하는 것을 특징으로 하는 3차원 동작 인식 영상 시스템.
    
14. 청구항 1의 구 형상의 3차원 동작 입력 장치를 이용한 3차원 동작 입력 방법에 있어서,
    i) 상기 몸체부와 사용자의 손이 접촉하여 상기 사용자입력이 상기 몸체부에 작용하는 단계;
    ii) 상기 몸체부의 변형에 의해 상기 마커이미지가 변화하는 단계;
    iii) 상기 마커이미지의 변화를 상기 이미지센서부가 수집하는 단계;
    iv) 상기 이미지센서부로부터 상기 분석부로 상기 마커이미지가 전달되는 단계; 및
    v) 상기 분석부에 저장된 분석기준이미지와 상기 마커이미지를 비교 분석하여, 상기 사용자입력을 판단하는 단계;를 포함하는 것을 특징으로 하는 3차원 동작 입력 방법.
    
15. 청구항 14에 있어서,
    상기 v) 단계에서, 상기 분석기준이미지는, 사전에 마련된 이미지로써 상기 사용자입력의 접촉 위치에 따라 변화하는 상기 마커이미지에 대한 정보인 것을 특징으로 하는 3차원 동작 입력 방법.

Images