KR101310515B1 - 프로젝션을 이용한 문자입력방법과 장치 - Google Patents

Abstract

본 발명은 편리한 문자입력방법과 그를 이용한 다양한 입력장치에 관한 것이다. IT기기가 소형화되면서, 그에 맞는 편리한 입력장치가 요구되고 있다. 그러나 다양한 입력장치가 출현하고 있지만, 아직 그 요구를 충족시키지 못하고 있다.

본 발명에서는 프로젝터에 의하여 키보드 패턴을 표면에 투영하고, 수직 수평 움직임을 검출하여, 문자의 입력효과를 주는 문자입력방법과 장치를 제시한다.

본 발명은 PDA의 입력장치, 휴대폰의 프로젝션 입력장치 등에 활용되어 IT기기의 사용이 편리하게 해준다.

문자입력. 가상키보드. 프로젝터. 광네비게이션. 카메라.

Description

프로젝션을 이용한 문자입력방법과 장치{Method and device for character entry, using projection keyboard}

도 1은 본 발명의 구성도이다.

도 2와 도 3과 도 4는 본 발명의 설명도이다.

도 5와 도 6과 도 7은 본 발명의 사용예에 대한 사진이다.

도 8은 한글 자판 사용시 문자가 선택되는 과정을 보인 설명도이다.

도 9는 영문 자판 사용시 문자가 선택되는 과정을 보인 설명도이다.

도 10은 본 발명의 제어부에 대한 블럭도이다.

도 11은 본 발명의 방법에 대한 순서도이다.

※ 도면의 주요부분에 대한 부호의 설명 ※

100 : 위치변화측정 모듈(광 네비게이션 모듈)

160 : 펜팁 200 : 표면

300 : 문자입력장치 310 : 프로젝터

320 : 카메라 400 : 제어부

본 발명은 편리한 문자입력방법과 입력장치에 관한 것이다.

IT기기의 소형화가 진행되면서, 키보드에 의한 입력 방식에 많은 변화가 생기고 있다. 적은 수의 키 버튼을 활용하여 키보드로 입력할 수 있었던 모든 문자를 입력하기 위하여 다양한 방법의 문자입력방법이 제안되고 있다.

휴대폰에는 "천지인", "나라글" 등등의 입력방법을 사용하는 중이고, 더 나아가 방향을 가리키는 5개의 키 버튼에 의한 문자입력방법이 제안되고 상품화되어있다. 이 방법은 적은 수의 키 버튼으로 다양한 문자를 입력하기 때문에 여러 번의 버튼 조작이 필요하고, 사용 방법을 익히기가 어려울 뿐만 아니라 버튼의 크기가 작아서 불편하다.

카네스타와 브이케이에 의해 키보드를 평면에 프로젝션하여 문자입력이 가능하게 하는 가상키보드가 상품화되어 있다. 이 방법은 일반 키보드와 같은 느낌을 주기때문에 사용에도 편리하고, 휴대하기에도 편리하지만, 표면을 손가락으로 두드려야하기 때문에 손가락 관절에 문제가 발생할 가능성을 많이 가지고 있다. 또한 휴대가 편리하지만, 사용시에는 고정된 장소에서 상당한 크기의 프로젝션 표면을 확보하여야 하는 단점이 있다.

기타 다양한 문자입력방식이 제안되어 있지만, 사람들이 습득한 자연스런 문자입력방식과는 거리가 멀다. 궁극적인 입력방식은 펜 타입의 입력장치를 사용하여 필기를 하고, 필기인식 알고리즘을 활용하여 문자인식을 하고, 그 문자를 활용하는 방법으로 아노토사와 그 협력업체들에 의해 상품화되고 있다. 아노토사의 방법에서 는 위치인식을 위한 코드를 포함하는 특수한 종이를 사용하는 문제점이 있다.

필기 인식의 방법은 현재 문자 인식 기술의 발달로 인식률이 높은 편이지만, 인식되지 못하는 경우가 발생할 경우 사용자가 불편함을 느끼게 되고, 사용을 기피하게 된다.

지멘스가 제출한 대한민국 특허출원 10-2004-7005294 "움직임을 검출하고 표현하기 위한 디바이스" 에서는 펜 타입의 입출력 장치를 이용하여 사용자가 표면에 글을 쓰면, 프로젝터로 그 내용을 표면에 투영하는 방법으로 사용자가 현재 글을 쓰는 내용을 보여주게 하였다. 그러나 정확한 움직임을 추적하기가 어렵고, 입출력장치의 다양한 움직임에 대처하는 구체적인 구현 방법을 갖고 있지 않는 상태이다.

마이크로소프트에서 제출한 대한민국 특허출원 10-2003-0067505 "펜 프로젝션 디스플레이" 는 점광원 프로젝터를 펜에 장착하여 유용한 정보를 표면에 투영하여 사용자가 편리하게 사용하게 하였다.

본 발명은 이와같은 펜 프로젝션 방법을 더욱 더 발전시켜서 편리한 문자 입력장치를 만들려고 한다.

본 발명의 목적은 편리한 문자입력방법을 제공하는 것이다.

본 발명의 또 다른 목적은 문자 입력 장치를 제공하는 것이다.

본 발명은 가상 입력장치를 구현하는 방법에 대한 것으로서, 키보드 데이터 의 입력이 필요할 경우 키보드 입력 모드를 선택하는 단계, 프로젝터를 이용하여 키보드의 영상을 투영면에 투영하는 단계, 투영면에 대한 입력장치의 상대 움직임을 검출하는 단계, 상대 움직임에 대응하여 투영면에 투영되는 키보드 영상의 투영위치를 조정하여 투영하는 단계, 투영면에 대한 입력장치의 접촉 압력을 검출하는 단계, 접촉 압력으로부터 선택되는 문자를 확정하는 단계,선택된 문자를 추가하여 상기 투영면에 투영하는 단계로 구성된다.

또한 본 발명은 가상 문자입력장치에 대한 것으로서, 표면의 글씨를 읽을 수 있게 하는 카메라, 장치에 부착되어 장치의 가속도와 기울기를 측정할 수 있게 해주는 가속도센서, 장치에 부착되어 가상키보드 패턴을 프로젝션해주는 적어도 1개 이상의 프로젝터, 장치의 팁부에 부착되어 표면에 대한 상대 움직임을 측정하게 해주는 광네비게이션 모듈, 장치의 팁부에 부착되어 바닥면과의 접촉압을 측정하는 촉각센서, 위의 구성요소들과 각 구성요소들을 제어하는 제어부로 구성된다.

이와 같이 구성된 본 발명을 첨부된 도면을 통하여 상세히 설명한다.

도 1은 본 발명의 문자입력장치의 구성도이다. 문자입력장치를 사용할 본체(300)에 위치변화측정 모듈(100)과 프로젝터(310)와 카메라(320)가 내장되어 있다. 이 도면에서 묘사한 위치변화측정 모듈(100)은 본 출원인들에 의해 제출된 특허출원 10-2005-005421 "마우스펜의 감도향상을 위한 광입력모듈" 에 상세히 설명하였다. 위치변화측정 모듈(100)은 표면(200)에 접근하면 광원(110)의 빛을 대물거울(140)을 통하여 표면(200)에 보내고 반사된 빛은 중간거울(120)을 거쳐서 이미지센서(130)에서 위치변화에 대한 데이터로 바뀌게 된다. 가속도 센서(150)는 본체 (300)의 경사도와 가속도를 측정하여 표면에 대한 순수 움직임을 계산할 수 있게 한다. 또한 손떨림 데이터를 계산하여 보정할 수 있게 한다.

펜팁(160)은 촉각센서로 구성되어 접촉압력을 다단계로 구분할 수 있게 한다.

본체(300)에 내장된 프로젝터(310)는 선택 메뉴를 표면(200)에 투영하거나, 키보드의 영상을 표면(200)에 투영하거나, 입력되고 있는 문자를 표면(200)에 투영하거나, 문서의 국소 영역을 표면(200)에 투영하는 기능을 한다. 영상을 선명하게 하기 위해서 점광원 레이저 프로젝터를 사용할 수도 있다. 기타 소형의 다양한 프로젝터를 사용할 수 있다. 또한 하나 이상의 프로젝터를 사용하여 사각지역에도 투영을 하여 완벽한 키보드 영상을 구현하게 할 수 있다.

본체(300)에 내장된 카메라(320)는 프로젝터(310)의 투영상을 감시하는 피드백기능을 하고, 표면에 쓰여져 있는 글씨를 읽을 수 있으며, 표면(200)이 에지를 갖는 종이일 경우 그 에지로부터의 장치(300)의 위치를 계산할 수 있게 한다.

일반적인 펜의 형태에 프로젝터를 구성하는 방법은 디자인의 변경으로 가능하다. 본 발명에서는 직관적인 이해를 위하여 휴대폰형태에 펜촉이 부착되어 있는 구조를 사용하였다. 카드형의 경우에 충분한 배터리 배치 공간과 용량을 확보할 수 있고, 프로젝션 공간을 확보할 수 있고, 카메라에 의한 주위 환경의 분석이 가능하게 할 수 있다.

이와같이 구성된 문자입력장치(300)를 모듈화하여 휴대폰에 내장하면 휴대폰의 폴더를 열지 않고도 문자입력이 가능한 보조 입력 장치로 사용되어질 수 있다. 특히 특정기능(전자사전, 문자메세지)을 할당하여 전용 입출력 장치로 쓸 수 있게 하여 휴대폰의 사용을 편리하게 할 수 있다.

도 2와 도 3과 도 4는 본 발명의 설명도이다. 키 버튼에 의한 문자의 입력을 수행하는 경우를 가정한다. 문자의 입력을 요구하는 명령을 받을 경우(이것은 다양한 방법에 의해 발생), 프로젝터(310)는 키보드의 영상(350)을 표면(200)에 투영하게 된다. 이때 투영방법은 점광원 레이저 프로젝터를 사용할 수 있고, 액정 프로젝터를 사용할 수 있고, DLP를 사용할 수도 있다. 점광원의 광원은 레이저나 LED를 사용할 수 있다. 또한 점광원을 래스터 스캔하는 도구로 마이크로미러나 광섬유진동을 사용할 수 있다.

초기의 키보드 영상은 펜팁(160)이 중앙의 하나의 키 버튼 중간에 위치하도록 구성된다. 장치(300)가 표면(300)을 누르지 않은 상태에서 이동을 하게 되면 위치변화측정 모듈(100)은 표면(200)에 대한 상대 움직임을 측정하게 되고, 프로젝터(310)의 영상을 장치(300)의 움직임 방향과 반대로 움직이게 하여, 장치(300)의 움직임에도 불구하고 키보드 영상(350)이 정지되어 있는 것처럼 느끼게 해준다.

도 5와 도 6과 도 7은 본 발명의 사용예에 대한 사진이다. 프로젝터(310)에 의해 표면(200)에 투영된 키보드의 영상은 본체(300)의 움직임과 상관없이 그 자리에 고정되게 투영된다.

도 8은 한글 자판 사용시 문자가 선택되는 과정을 보인 설명도이다. 일반 QWERTY 키보드를 키보드의 영상으로 사용하는 것은 많은 공간을 차지하게 되고, 작은 영역에 많은 선택 버튼을 넣는 것은 오히려 불편하다. 따라서 본 발명에서는 가 로방향의 움직이는 방향에 따라 문자를 선택할 수 있게 하여, 하나의 버튼 영역에 다수의 문자를 배치하게 하였다. 도면에서는 "ㄱ", "ㄲ", "ㅋ" 을 하나의 버튼 영역에 넣은 예를 보였다. 장치(300)가 이동하여 "ㄱ,ㅋ,ㄲ" 버튼 영역으로 이동하면 이동이 감지되고 프로젝터(310)의 영상은 펜팁(160)이 "ㄱ,ㅋ,ㄲ" 버튼 영역의 중심에 표시되도록 조정된다. 장치(300)을 표면(200)에 대하여 수직하향으로 움직이면 펜팁(160)은 접촉압력을 감지하게 된다. 이 상태에서 장치(300)를 수평방향으로 움직이고 장치(300)를 표면(200)에서 분리한다. 이때 좌측으로 움직이면서 분리되면 "ㄲ"으로 인식하고, 위로 움직이면서 분리되면 "ㄱ"으로 인식하고, 우측으로 움직이면서 분리되면 "ㅋ"으로 인식한다. 마찬가지로 다른 키 버튼의 영역들도 처리하여 한글의 모든 문자를 한 번의 동작으로 입력할 수 있게 된다.

도 9는 영문 자판 사용시 문자가 선택되는 과정을 보인 설명도이다. 한정된 버튼을 가진 영문자의 입력에서는 최대 3번의 버튼 조작이 필요하다. 이와같은 문제를 해결하기 위해서 exidea사(www.exideas.com)에서는 8개의 움직이는 방향을 인식하여 각 방향에 문자를 할당하는 입력방법을 제안하고 있다. 그러나 전통적인 QWERTY 키보드 방식이 아니어서 이질감을 준다. 본 발명에서는 전통적인 QWERTY 키보드의 영상을 사용하고, 가로방향의 움직이는 방향에 따라 문자를 선택할 수 있게 하여, 하나의 버튼 영역에 다수의 문자를 배치하게 하였다. 물론 본 발명은 전통적인 QWERTY 키보드 영상에 한정되는 것은 아니고, 필요에 따라서 다양한 배치를 고려할 수도 있다. 도면에서는 "Q", "W", "E" 을 하나의 버튼 영역에 넣은 예를 보였다. 장치(300)가 이동하여 "Q,W,E" 버튼 영역으로 이동하면 이동이 감지되고 프로 젝터(310)의 영상은 펜팁(160)이 "Q,W,E" 버튼 영역의 중심에 표시되도록 조정된다. 장치(300)을 표면(200)에 대하여 수직하향으로 움직이면 펜팁(160)은 접촉압력을 감지하게 된다. 이 상태에서 장치(300)를 수평방향으로 움직이고 장치(300)를 표면(200)에서 분리한다. 이때 좌측으로 움직이면서 분리되면 "Q"으로 인식하고, 위로 움직이면서 분리되면 "W"으로 인식하고, 우측으로 움직이면서 분리되면 "E"으로 인식한다. 마찬가지로 다른 키 버튼의 영역들도 처리하여 알파벳의 모든 문자를 한 번의 동작으로 입력할 수 있게 된다.

특수키나 특수기호 등이 묘사되지는 않았지만, 키 버튼 영역에 복수로 기능을 할당하여 전환하면서 사용할 수 있다.

도 10은 본 발명의 제어부(400)에 대한 블럭도이다. 위치변화측정 모듈(100)에 있는 가속도센서(150)에서 발생되는 신호는 내부인터페이스(440)을 경유하여 CPU(410)로 전달되고, CPU(410)에서 관성가속도와 기울기와 손떨림데이터로 분석되어지고, 그 데이터를 이용하여 대물거울(140)의 반사각도을 조절한다. 표면(200)에서 반사된 이미지는 내부인터페이스(440)을 경유하여 CPU(410)로 전달되고, CPU(410)에서 표면(200)에 대한 상대 움직임 데이터로 변환된다. CPU(410)는 프로젝션 영상에 대한 투영요청이 있으면 내부인터페이스(430)을 통하여 프로젝터(410)를 구동시켜 영상을 투영한다. 손떨림 데이터를 활용하여 투영되는 영상이 떨리지 않게 미세 조정한다. 또한 기울기데이터를 활용하여 투영된 영상이 일그러지지 않게 보정을 한다. 카메라(420)의 이미지데이터는 인터페이스(420)을 통하여 CPU(410)에 전달되고, 분석되어 영상의 일그러짐을 보정하는데 사용된다. 펜팁 (160)의 신호는 입력버퍼(450)를 거쳐서 CPU에 전달되고 분석되어진다. CPU(410)에 의해 분석된 데이터는 통신에 의해 외부의 기기에 전달되어 유용하게 사용될 수 있다.

도 11은 본 발명의 방법에 대한 순서도이다. 여러가지의 경우에 의해 키 버튼 입력의 요구가 발생될 수 있다. 키버튼의 입력 요구가 있을 때, 프로젝터(310)는 가상키보드 영상을 표면(200)에 투영하게 된다. 펜팁의 수평이동을 감지하면서 실질 이동성분이 있을 경우에 가상키보드의 투영 위치를 변경하게 된다. 만약에 펜팁(160)이 표면에 접촉되어 버튼이 눌리는 효과를 주게 되면, 그때부터 수평이동 성분을 추적하게 되고, 펜팁(160)이 표면에서 떨어지게 되면 그 방향 성분으로 선택된 문자를 할당하게 된다. 선택된 문자는 투영데이터에 합류되어 표면에 투영되고, 사용자는 눈으로 확인하면서 다음 작업을 할 수 있게 된다.

PDA나 휴대폰과 같은 휴대용 디지털 기기들이 소형화되면서, 문자입력이 갈수록 어려워지고 있다. 그 때문에 기기의 소형화에 걸림돌이 되고 있다.

본 발명을 휴대폰의 프로젝션 키보드로 사용할 경우, 휴대폰을 열지 않고도 문자의 입력을 할 수 있게 되어 다양한 응용이 가능하고, 엄지손가락을 혹사시키지 않게 되어 관련질병의 예방에 도움이 된다.

또한 메모리를 부가하여 디지털 노트로의 활용도 가능하다.

그 외의 다양한 분야에 본 발명을 활용한 입력장치를 사용하여 누구나 문자 입력을 쉽게 할 수 있게 하여 IT분야의 활용도를 높일 수 있다.

Claims (5)

1. 가상 입력장치를 구현하는 방법에 있어서,

   키보드 데이터의 입력이 필요할 경우 키보드 입력 모드를 선택하는 단계;

   키보드의 영상을 프로젝터에 의해 투영면에 투영하는 단계;

   상기 투영면에 대한 상기 장치의 상대 움직임을 검출하는 단계;

   상대 움직임에 대응하여 상기 키보드 영상의 투영 위치를 조정하여 투영하는 단계;

   상기 투영면에 대한 수직 방향의 접촉 압력을 검출하는 단계;

   상기 수직 방향 접촉 압력으로부터 선택되는 문자를 확정하는 단계;

   선택된 문자를 추가하여 상기 투영면에 투영하는 단계로 이루어진 것을 특징으로 하는 문자입력방법
2. 제 1항에 있어서 손떨림을 인지하여 표면에 투영된 영상이 흔들리지 않게 투영하는 단계를 추가하여 구성된 문자입력방법
3. 제 1항과 제 2항의 어느 한 항에 있어서, 키보드의 영상의 글자판에 다수의 문자를 할당하고, 수직 방향의 클릭 상태에서 수평방향의 움직임을 검출하여 글자판에 할당된 다수의 문자들 중에 하나의 문자를 선택한 것으로 인식하는 단계를 추가하여 구성된 문자입력방법
4. 가상 문자입력장치에 있어서,

   상기 가상문자입력장치에 내장되어 바닥면의 글씨를 읽을 수 있게 하는 카메라;

   상기 가상문자입력장치에 부착되어 장치의 가속도와 기울기를 측정할 수 있게 해주는 가속도센서;

   상기 가상문자입력장치에 부착되어 가상키보드 패턴을 프로젝션해주는 적어도 1개 이상의 프로젝터;

   상기 가상문자입력장치의 팁부에 부착되어 표면에 대한 상대 움직임을 측정하게 해주는 광네비게이션 모듈;

   상기 가상문자입력장치의 팁부에 부착되어 바닥면과의 접촉압을 측정하는 촉각센서;

   상기 구성요소들과 상기 각 구성요소들을 제어하는 제어부로 구성된 프로젝션 문자입력장치
5. 기존의 휴대폰에 부가하여,

   상기 휴대폰에 부착되어 바닥면의 글씨를 읽을 수 있게 하는 카메라;

   상기 휴대폰에 부착되어 장치의 가속도와 기울기를 측정할 수 있게 해주는 가속도센서;

   상기 휴대폰에 부착되어 가상키보드 패턴을 프로젝션해주는 프로젝터;

   상기 휴대폰의 입력부의 팁부에 부착되어 표면에 대한 상대 움직임을 측정하게 해주는 광네비게이션 모듈;

   상기 휴대폰의 입력부의 팁부에 부착되어 바닥면과의 접촉압을 측정하는 촉각센서;

   상기 구성요소들(카메라,가속도센서,프로젝터,광네비게이션모듈,촉각센서)을 제어하는 제어부;를 포함하여 구성된 프로젝션 문자입력기능을 갖는 휴대폰

Images