이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하면 다음과 같다.
도 1 은 본 발명의 실시예에 따른 가상 노트 장치를 장착한 이동통신 단말기의 예시도이다.
도 1 을 살펴보면, 이동통신 단말기(100)는 가상화면 생성부(102)에서 빔 프로젝터 또는 레이저 다이오드를 이용해 사용자 입력창(110)과 미리 보기 창(112)으로 구성된 가상화면(150)을 생성하여 외부표면에 출력한다.
상기 가상화면(150)이 외부표면에 표시된 후 사용자 입력창(110)에 전자펜(108)으로 문자나 기호를 입력하게 되면 전자펜(108)에서 적외선 및 초음파 신호가 발신된다. 사용자 입력 감지부(104)는 전자펜(108)에서 발신된 적외선 및 초음파 신호를 감지하여 이 입력신호를 위치 인식부(106)에 전달한다. 상기 위치 인식부(106)는 빛의 속도로 전달되는 적외선 신호와 상대적으로 느리게 전달되는 초음파 신호의 차를 이용하여 전자펜(108)의 발신 위치를 인식한다.
상기 위치 인식부(106)에서 전자펜(108)의 이동에 따른 입력신호의 발신 위치가 연속적으로 인식되면, 전자펜(108)의 연속적인 이동에 따른 궤적이 계산되어 그 궤적이 특정 문자 또는 기호로 인식된다. 가상화면 생성부(102)는 상기 궤적 및 인식된 문자 또는 기호를 포함한 가상화면을 생성하여 외부표면에 출력함으로써, 사용자는 자신이 입력한 문자나 기호를 육안으로 바로 확인 할 수 있게 된다.
도 2의 (a)는 본 발명의 실시예에 따른 가상 노트 장치를 장착한 이동통신 단말기의 블록 구성도이며, 도 2의 (b)는 본 발명의 실시예에 따른 입력기기의 예시도이다.
도 2의 (a)를 살펴보면, 이동통신 단말기(100)는 메모리부(202), 키입력부 (212), 표시부(214), 베이스밴드 처리부(216), 코덱(220), 인식부(226), 가상화면 생성부(102) 및 제어부(200)로 구성되어 있다.
제어부(200)는 통화 또는 데이터 통신 시 음성신호나 데이터를 처리하고 이동통신 단말기(100)의 각 부분을 제어하는 기능을 수행하는 블록으로서, 본 발명의 실시예에서는 사용자의 선택에 따라 가상화면 생성부(102)를 제어하여 사용자 입력창(110)과 미리 보기 창(112)이 포함된 가상화면(150)을 생성하고, 이 가상화면(150)을 이용한 문자나 기호의 입력 동작을 전체적으로 제어한다.
인식부(226)는 사용자 입력 감지부(104)와 위치 인식부(106)로 구성되어, 사용자 입력 감지부(104)는 후술하는 전자펜(108)에서 발신되는 사용자 입력신호를 감지하고, 위치 인식부(106)는 상기 감지된 사용자 입력신호로부터 전자펜(108)의 발신위치를 인식한다. 여기서 사용자 입력 감지부(104)는 전자펜(108)에서 발신되는 적외선 및 초음파 신호를 감지하는 적외선 센서 및 초음파 센서를 포함한다.
가상화면 생성부(102)는 제어부(200)로부터 입력받은 궤적과 그 궤적에 따라 인식된 문자 또는 기호가 포함된 가상화면(150)을 생성한다. 이 가상화면 생성부(102)는 가상화면을 생성할 수 있는 빔(Beam) 프로젝터(Projector) 또는 레이저 다이오드를 포함한다.
메모리부(202)는 특정 문자들과 기호들을 포함하는 문자 인식 데이터(208), 사용자 입력신호의 발신위치들에 의한 궤적을 문자 인식 데이터(208)의 특정 문자들과 기호들 중 어느 하나로 인식하기 위한 인식 알고리즘(204) 및 가상화면 생성부(102)에서 가상화면을 생성하기 위한 가상화면 데이터(206) 및 사용자가 문자 또 는 기호를 잘못 입력한 경우 해당 잘못 입력된 문자 또는 기호를 삭제하기 위한 삭제 기호를 저장하고 있다.
키 입력부(212)는 숫자 키를 포함한 각종 키들을 구비하여 사용자에 의해 입력되는 키 값을 제어부(200)에 제공한다.
표시부(214)는 통상적으로 LCD(Liquid Crystal Display)로 구성되어 제어부(200)의 제어에 따라 각종 정보를 화상으로 생성하여 제공한다.
RF부(218)는 기지국과 RF신호를 송수신하는 역할을 하는 블록으로서, 수신된 RF신호를 IF(Intermediate Frequency)신호로 변환하여 베이스밴드 처리부(216)로 출력하고 베이스밴드 처리부(216)로부터 입력되는 IF신호를 RF신호로 변환하여 안테나를 통해 기지국으로 송신한다.
베이스밴드 처리부(216)는 제어부(200)와 RF부(218)간의 인터페이스를 제공하는 BBA(Baseband Analog ASIC)로서, 제어부(200)로부터 인가되는 베이스밴드의 디지털 신호를 아날로그 IF신호로 변환하여 RF부(218)에 인가하며, RF부(218)로부터 인가되는 아날로그 IF신호를 베이스밴드의 디지털 신호로 변환하여 제어부(200)에 인가한다.
코덱(220)은 증폭부(224)를 통해 마이크 및 스피커와 접속되며, 마이크로부터 입력되는 음성신호를 PCM(Pulse Code Modulation) 부호화(Encoding)하여 음성데이터를 제어부(200)에 출력하고 제어부(200)로부터 입력되는 음성데이터를 PCM 복호화(Decoding)하여 증폭부(224)를 통해 스피커로 출력한다.
증폭부(224)는 마이크로부터 입력되는 음성신호나 스피커로 출력되는 음성신 호를 증폭하는데, 스피커의 음량과 마이크의 이득을 제어부(200)의 제어에 따라 조절한다.
도 2의 (b)는 본 발명의 실시예에 따른 사용자가 문자 또는 기호를 입력할 수 있는 입력기기인 전자펜(108)을 나타낸다.
도 2의 (b)를 참조하면, 전자펜(108)은 적외선 및 초음파 신호를 발신하는 신호 발신부(250)를 포함하며, 전자펜(108)의 끝이 외부표면에 접촉하게 될 경우 접촉을 인지하여 신호 발신부(250)에서 적외선 및 초음파 신호를 발신하게 하는 접촉 인지부(252)를 포함한다. 사용자가 가상화면(150)을 통해 특정 문자 또는 기호를 입력할 경우, 접촉 인지부(252)는 전자펜(108)의 끝이 접촉되었음을 신호 발신부(250)에 알리고, 신호 발신부(250)에서는 이러한 접촉 인지부(252)로부터 끝이 접촉되었음이 인지되면 적외선 및 초음파 신호를 발신한다. 이러한 접촉 인지부(252)는 신호 발신부(250)를 구동시킬 수 있는 간단한 스프링 스위치이거나 이와 균등한 다른 소자가 될 수 있다.
상기와 같이, 본 발명의 실시예에 따른 가상 노트 장치를 장착한 이동통신 단말기(100)와 전자펜(108)을 이용하는 경우, 이동통신 단말기(100)로부터 가상화면(150)이 생성되고, 이러한 가상화면으로 설정된 지역 내에서 사용자가 전자펜(108)으로 문자 또는 기호를 입력하면, 사용자가 입력한 전자펜(108)으로부터 발신되는 적외선 및 초음파 신호에 의해 사용자가 입력한 전자펜(108)의 궤적 및 그 궤적에 해당하는 문자나 기호가 가상화면(150)에 생성되어 표시되는 동시에, 해당 문자 또는 기호가 이동통신 단말기(100)에 입력된다.
따라서 사용자는 언제 어디서나 노트나 기타 필기구 없이도, 노트에 볼펜으로 쓰듯이 사용자가 원하는 문자를 직접 입력할 수 있으며, 한글이나 MS 워드와 같은 워드 프로세서를 이용하여 입력한 것과 같은 형태의 문서를 작성할 수 있다.
도 3a와 도 3b 는 본 발명의 실시예에 따른 가상화면(150)의 예시도이다.
도 3a는 문자 또는 기호를 입력시키는 데 사용되는 워드 가상화면이며, 도 3b 는 그림을 그리는데 사용되는 그림판 가상화면이다.
워드 가상화면과 그림판 가상화면은 키 또는 탭을 이용하여 선택 가능하며 도 3a와 도 3b는 키를 이용하여 화면 선택이 가능하도록 보인 예이다. 우선 도 3a를 살펴보면 워드 가상화면은 펼쳐진 노트 형태를 가지며 전자펜(108)을 이용하여 사용자 입력신호의 발신위치들에 따른 궤적을 입력받는 사용자 입력창(110)과 궤적에 의해 인식된 문자 또는 기호가 출력되는 미리 보기 창(112)으로 구성되어 있다.
미리 보기 창(112)의 상단에는 현재 페이지를 기준으로 이전 페이지 또는 다음 페이지로 이동할 수 있는 페이지 전환키(312,314)와 미리 보기 창(112)에 출력된 문자 또는 기호를 저장하기 위한 저장키(316), 가상화면을 종료하기 위한 종료키(318)가 있다. 또한 사용자 입력창(110)에는 사용자가 원하는 글자색을 선택할 수 있는 색 선택 메뉴(350), 화면을 이동시키기 위한 가로 스크롤바(310) 및 세로 스크롤바(308)가 있다.
도 3b는 그림을 그릴 수 있는 그림판 가상화면의 예로서, 도 3a에서 그림판 키(300)를 선택했을 경우 생성되는 화면이다.
그림판 가상화면에는 사용자가 직접 그림을 그릴 수 있는 사용자 그림 입력 창(356)이 있으며, 사용자 그림 입력 창(356)에는 사용자가 원하는 색상을 선택할 수 있는 색 선택 메뉴(350), 화면을 이동시키기 위한 가로 스크롤바(310) 및 세로 스크롤바(308)가 있다. 또한 사용자 그림 입력 창(356)의 상단에는 이미 저장되어 있는 그림을 불러낼 수 있는 로드키(352), 그림을 저장하기 위한 저장키(316) 및 화면을 종료하기 위한 종료키(354)가 있다.
도 4는 본 발명의 실시예에 따른 워드 가상화면에서 사용자 입력 동작의 흐름을 나타내는 순서도이다.
사용자에 의해 워드 가상화면이 선택될 경우 402 단계에서 제어부(200)는 가상화면 생성부(102)를 통해 워드 가상화면을 생성한다. 워드 가상화면의 생성동작이 완료되면 404 단계로 진행하여 전자펜(108)에서 발신되는 적외선 및 초음파가 사용자 입력 감지부(104)에서 감지되었는지 여부를 확인한다. 만약 전자펜(108)에서 발신되는 신호가 사용자 입력 감지부(104)에서 감지되었을 경우, 406 단계에서 위치 인식부(106)는 적외선 및 초음파 신호의 도달 시간 차이를 이용하여 발신위치를 인식한다.
전자펜(108)의 위치가 감지되면 제어부(200)는 408 단계에서 전자펜(108)의 움직임에 따른 궤적을 계산하고 이를 가상화면 생성부(102)로 입력하여, 전자펜(108)의 움직임에 따른 궤적이 워드 가상화면의 사용자 입력창(110)에 표시되도록 한다. 따라서 사용자는 전자펜(108)을 움직여서 문자 또는 기호를 입력할 때 마치 실제 볼펜을 이용하여 글씨를 쓰는 것과 같은 느낌을 받을 수 있다.
다음 410 단계에서 제어부(200)는 상기 계산된 궤적을 인식 알고리즘(204) 및 문자 인식 데이터(208)를 통해 특정의 문자 또는 기호로 인식하고, 412 단계에서 인식된 문자나 기호를 미리 보기 창(112)에 표시한다. 단계 414에서 워드 가상화면이 계속적으로 유지되면 다시 404 단계로 진행하여 상기의 과정을 반복하고, 워드 가상화면에서 종료키(318)가 선택되면 워드 가상화면이 종료된다.
도 5는 사용자의 기능키 선택에 따른 동작과정을 나타낸 순서도이다.
사용자에 의한 전자펜(108)의 궤적 및 그 궤적에 대응하는 문자나 기호가 표시된 후, 제어부(200)는 사용자가 기능키를 선택하였는지를 확인한다. 여기서 기능키라는 것은 도 3에서 상술한 바와 같이, 페이지 전환키(312, 314), 저장키(316), 종료키(318, 354) 또는 로드키(352) 등의 사용자가 특정 기능을 수행하기 위해 입력하는 키를 말한다.
제어부(200)는 사용자가 기능키를 선택한 것으로 인식하면, 단계 418의 기능키에 따른 동작을 수행한다.
도 5에 도시된 바와 같이, 500 단계에서 상기 특정 기능키가 어떤 동작을 하도록 설정되어 있는지를 확인한다. 물론 이러한 기능키의 종류는 무수히 많겠지만 도 5에 관한 이하의 설명에서는 편의상 페이지 전환키(312, 314), 저장키(316)의 경우를 예로 들어 설명하기로 한다. 사용자가 페이지 전환키를 선택했을 경우 502 단계를 수행한다.
502 단계에서 사용자가 이전 페이지 전환키(312)를 선택하였을 경우에는 제어부(200)는 현재 가상화면의 이전 페이지로 이동한다. 그리고 다음 페이지 전환키(314)를 선택하였을 경우 새로운 가상화면 페이지 또는 현재 페이지의 다음 페이지 로 이동한다. 다음, 504 단계에서 제어부(200)는 사용자의 선택에 따라 이동한 페이지를 가상화면에 출력한다.
한편, 500 단계에서 사용자가 워드 가상화면의 저장키(316)를 선택하였다면 제어부(200)는 506 단계로 진행하여 사용자로부터 입력된 전자펜(108)의 궤적에 의해 인식된 문자나 기호가 저장될 수 있는 데이터 형식 목록을 출력한다. 이러한 데이터 형식 목록의 예를 들어보면 텍스트 형식(.txt), MS 워드 형식(.doc), 아래아 한글 형식(.hwp) 등이 있다. 다음, 제어부(200)는 508 단계로 진행하여 사용자가 어느 하나의 데이터 형식을 선택하였는지를 체크한다. 만약 사용자가 508 단계에서 출력된 데이터 형식들 중 어느 하나를 선택하게 되면 제어부(200)는 510 단계로 진행하여 사용자에 의해 선택된 데이터 형식으로 현재 입력된 문자들을 저장한다.
도 6은 본 발명의 실시예에 따른 사용자의 입력문자 수정 동작의 흐름을 나타내는 순서도이다.
사용자에 의한 전자펜(108)의 궤적 및 그 궤적에 대응하는 문자나 기호가 표시된 후, 제어부(200)는 전자펜(108)이 미리 보기 창(112)의 어느 문자를 선택하고 있는지를 체크한다. 만약 미리 보기 창(112)의 어느 문자에서 발신 위치가 감지되면 420 단계에서 문자 수정과정을 시작한다.
먼저 제어부(200)는 600 단계로 진행하여 미리 보기 창(112)에서 사용자가 선택한 문자나 기호에 커서를 표시한다. 다음, 602 단계로 진행하여 현재 커서가 표시된 문자에 대응하는 사용자 입력창(110)의 궤적에 커서를 표시한다. 제어부(200)는 604단계로 진행하여 현재 미리 보기 창(112)과 사용자 입력창(110)에 커서 가 표시되어 있는 부분의 문자를 삭제한다. 이 때, 문자의 삭제과정은 도 7에서 도시하지 않았으나 삭제키를 이용할 수 있고, 또는 커서 부분에 전자펜(108)을 위치시킨 다음 기 설정된'/', 'X', '=', '-'등의 삭제 기호를 입력하여 삭제를 수행할 수 있다. 또한 상기 삭제 기호들은, 다양한 종류의 기호들 중에서 사용자가 임의로 선택할 수 있는 것은 물론이다.
제어부(200)는 커서가 설정되어 있는 문자를 삭제하면 606 단계로 진행하여 문자 입력창의 삭제된 부분에 사용자가 전자펜(108)을 이용하여 새로운 궤적을 입력하였는지 체크한다. 그리고 전자펜(108)으로부터 발신되는 신호의 궤적이 입력된 경우라면, 제어부(200)는 608 단계로 진행하여, 상기 606단계에서 입력된 전자펜(108)의 궤적을 상기 사용자 입력창(110)의 삭제된 부분에 표시한다. 그리고 다음 610 단계에서 제어부(200)는 문자 인식 데이터(208)와 인식 알고리즘(204)을 통해 상기 입력된 궤적에 대응하는 문자를 사용자가 입력한 문자로 인식한다. 그리고 제어부(200)는 612 단계로 진행하여 미리 보기 창(112)의 삭제된 부분에 상기 인식된 문자를 출력하여 사용자로 하여금 수정된 문자를 확인할 수 있도록 한다. 여기서 상기 608단계에서 610단계에 이르는 과정들은 사용자가 문자를 입력하는 것을 예로 들었으나, 문자가 아닌 기호일 경우에도 동일하게 적용될 수 있음은 물론이다.
도 7a 내지 도 7c는 본 발명의 실시예에 따른 워드 가상화면에서 문자 수정의 예를 도시한 예시도이다.
도 7a는 사용자가 수정할 문자를 선택한 화면을 나타내고, 도 7b는 사용자가 수정할 문자를 삭제한 화면을 나타내고, 도 7c는 사용자가 수정할 문자를 입력하여 수정 과정을 완료한 화면을 나타낸다. 즉, 도 7a 는 도 6의 600 단계와 602 단계를 거쳐서 사용자에 의해 선택된 문자에 커서가 설정되어 있는 화면이고, 도 7b는 604 단계에서 보인 바와 같이 현재 커서가 설정된 부분을 삭제한 화면이다. 도 7c는 604 단계 이후의 과정을 통해 문자가 완전히 수정된 화면이다.
상기와 같이, 도 7a 내지 도 7c를 살펴보면, 사용자가 전자펜(108)을 이용하여 글씨를 쓰다가, 글씨를 잘못 썼을 경우, 상기 잘못 씌여진 글씨에 따라 잘못 입력된 문자를 찾아서 이를 올바르게 수정하여 입력할 수 있다. 따라서 본 발명의 실시예에 따른 이동통신 단말기에서는 사용자가 직접 자신이 입력하는 문자를 육안으로 확인하면서, 잘못 입력한 글자에 대해 언제든지 바로 수정이 가능하다.
도 8은 본 발명의 실시예에 따른 그림판 가상화면에서의 사용자 입력과정을 나타낸 순서도이다. 도 8에 도시된 순서도는 그림판 가상화면에서 사용자가 그림을 로드 한 후 로드 된 그림을 편집하거나 새로 그림을 그리는 과정을 나타낸다.
가상화면이 생성된 후, 사용자로부터 그림판 키(300)가 입력되면 제어부(200)는 802 단계로 진행하여 그림판 가상화면을 생성하여 외부표면에 표시한다. 다음, 제어부(200)는 804 단계로 진행하여 사용자가 로드키(352)를 선택하였는지를 확인한다. 만약 804단계에서 로드키(352)를 선택하였다면 제어부(200)는 806 단계로 진행하여 이미 저장된 그림 데이터들 중에 사용자에 의해 선택된 어느 하나의 그림 데이터를 로드하여 그림판 가상화면에 출력한다.
한편 사용자가 804 단계에서 로드키(352)를 선택하지 않았다면 제어부(200)는 바로 808 단계로 진행하여 사용자가 자신이 입력할 펜(108) 궤적의 특정 색상을 선택하였는지를 체크한다. 사용자가 특정 색상을 선택하였다면 사용자가 입력하는 전자펜(108) 궤적의 색상이 사용자가 선택한 색상으로 출력되도록 한다. 사용자가 808 단계에서 특정 색상을 선택하지 않았다면 디폴트(default)로 설정된 색상으로 전자펜(108) 궤적의 색상이 출력되도록 한다.
이렇게 사용자가 전자펜(108)을 통해 입력하게 되는 색상이 결정되면 제어부(200)는 814 단계로 진행하여 사용자의 움직임에 따른 전자펜(108)의 위치를 감지한다. 다음, 816 단계로 진행하여 상기 사용자에 의해 결정된 색상으로 상기 감지된 전자펜(108)의 위치에 따른 궤적을 출력한다.
사용자가 그림을 다 그리면, 제어부(200)는 818 단계로 진행하여 사용자가 저장키(316)를 선택하였는지를 확인한다. 사용자가 저장키(316)를 선택하지 않았을 경우에는 다시 808 단계 내지 818 단계에 이르는 과정을 반복한다. 만약 사용자가 818 단계에서 저장키(316)를 선택하였다면 제어부(200)는 820 단계로 진행하여 사용자로 하여금 현재까지 사용자가 입력한 전자펜(108)의 궤적들을 어떤 그림 데이터로 저장할 것인지를 묻는 메시지 창을 그림판 가상화면에 출력한다.
또한 상기 820단계에서 사용자가 저장을 선택한 경우, 사용자는 상기 입력된 전자펜(108)의 궤적들이 저장될 데이터의 형식을 선택하여 저장할 수 있음은 물론이다. 이러한 과정은 비록 도시되지는 않았으나, 저장되는 데이터의 종류들만이 그림 데이터 형식으로 차이가 있을 뿐 상기 도 5의 506단계에서 510단계에 이르는 과정과 동일하게 진행될 수 있다. 이에 따라 사용자가 특정 저장 형식을 선택하였다면 제어부(200)는 현재 그림판 가상화면에 입력된 전자펜(108)의 궤적들을 사용자 가 선택한 그림 데이터 형식(예를 들어, bmp, gif, jpg 등)으로 저장한다.
그리고 그림 데이터의 저장이 완료되면 사용자는 종료키(354)를 선택하여 그림판 가상화면을 종료하거나, 그림판 가상화면에는 도시하지 않았지만 워드 가상화면에 있는 전환키 등을 이용하여 화면을 바꾸어 새로운 그림을 그릴 수 있다.
상기와 같이, 본 발명의 실시예에 따른 이동통신 단말기에서는 가상화면에 특정 문자 또는 기호를 입력할 수 있을 뿐만 아니라 사용자가 원할 경우 간단한 그림을 그릴 수도 있다.
본 명세서에서는 구체적인 실시예를 가지고 본 발명을 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있음을 알아야 한다. 특히 본 발명의 실시예에서는 문자 수정 시에 사용자가 미리 보기 창의 어느 한 문자를 선택하고 그 위치에 다른 문자를 입력하는 것을 예로 들었다. 그러나 이러한 문자 수정의 경우 전자펜을 이용하여 다른 문자 수정 방법을 사용할 수도 있음은 물론이다.
예를 들어 마치 전자펜을 지우개가 달린 연필과 같이 사용할 수도 있다. 이 경우 전자펜에서 사용자가 글씨를 쓸 경우에 적외선 및 초음파가 발생되는 전자펜 끝 부분의 반대쪽에, 사용자가 글씨를 쓸 경우와는 다른 적외선 및 초음파 신호가 발생되도록 할 수도 있다. 이 경우 이동통신 단말기의 제어부는 전자펜 끝 부분의 반대쪽으로부터 입력되는 적외선 및 초음파 신호가 감지되면, 그 신호가 감지된 위치의 문자를 삭제하도록 제어할 수도 있음은 물론이다.
아울러 본 발명의 실시예는 편의상 이동통신 단말기를 그 예로 들어 설명하 였다. 그러나 본 발명은 단지 이동통신 단말기 뿐 아니라 스마트 폰과 PDA(Personal Digital Assistant)를 비롯한 모든 정보 단말기에서도 사용될 수 있음은 물론이다.
또한 본 발명의 실시예에서는 비록 언급하지 않았으나, 가상화면을 생성하기 위한 가상화면 생성부에서 언제나 특정 각도로 가상 화면을 생성할 수 있도록 하기 위해 특정한 고정 받침대를 구비할 수도 있음은 물론이다. 따라서 발명의 범위는 설명된 실시예에 의해 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.