KR101682162B1 - 멀티 터치를 기반으로 한 드로잉 기법 및 이를 이용한 정보 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

본 발명은 멀티 터치를 기반으로 한 드로잉 기법 및 이를 이용한 정보 인식 방법, 장치 및 컴퓨터 판독 가능한 기록매체에 관한 것이다. 본 발명의 일 태양에 따르면, 멀티 터치 기반의 드로잉 기법을 제공하는 방법은 적용부에 의해, 이벤트 발생에 따른 터치 관련 정보를 터치 인식부로부터 수신하는 이벤트 수신 단계, 및 상기 터치 인식부로부터 멀티 터치에 관련된 복수개의 터치 관련 정보를 수신하는 경우, 상기 복수개의 터치 관련 정보에 기초하여 드로잉 툴 선택부를 통해 선택된 소정 도형을 디스플레이부를 통해 표시하거나 또는 이미 표시된 소정 도형을 변경하는 디스플레이 단계를 포함한다.

Description

멀티 터치를 기반으로 한 드로잉 기법 및 이를 이용한 정보 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 {METHOD, DEVICE AND COMPUTER READABLE RECORDING MEDIUM FOR DRAWING TECHNIQUE BASED ON MULTI-TOUCH AND INFORMATION RECOGNITION USING THE SAME}

본 발명은 멀티 터치를 기반으로 한 드로잉 기법 및 이를 이용한 정보 인식 방법, 장치 및 컴퓨터 판독 가능한 기록매체에 관한 것으로, 보다 상세하게는 멀티 터치를 지원하는 디바이스에 있어, 멀티 터치에 따라 발생하는 라인을 기반으로 한 다양한 도형을 그리기 위한 기법 및 이를 이용한 문자나 아이콘, 이미지 등 다양한 정보를 인식하기 위한 방법, 장치 및 컴퓨터 판독 가능한 매체에 관한 것이다.

근래에 들어, 애플사의 아이팟 터치를 필두로 멀티 터치(디스플레이 상에서 동시에 복수 개의 터치 포인트를 인식하는 기술)를 지원하는 디바이스가 속속 등장하였으며, 그 일 예로서는 애플사의 아이팟 터치 및 아이폰, 아이패드, 마이크로소프트사의 윈도우 7을 설치한 컴퓨터에 장착된 정전식 터치스크린, 그리고 그 밖에도 최근 출시되는 다양한 스마트폰이나 터치패드 역시 이러한 기능을 구현할 수 있도록 개발되었다.

하지만, 이와 같은 디바이스 또는 운영체제의 발전에 비해 이러한 기능을 이용할 수 있는 소프트웨어의 발전은 미비하기만 하다. 일 예로, 멀티 터치를 지원하는 디바이스에 설치될 수 있는 드로잉 툴(drawing tool)의 경우 멀티 터치를 이용하지 못하고 단지 싱글 터치에 의한 직선, 사각형, 원 등의 드로잉 기법을 지원하고 있으므로 그 정확성이나 세밀함에 있어 떨어지며, 특히 직선의 경우에는 시작점을 한번 결정한 이후에는 변경하기가 쉽지 않은 문제점, 원의 경우에는 그 중심점의 위치를 잡기 힘든 문제점이 있고, 또한 타원 등의 경우에는 여러 번의 터치를 거쳐야 한다는 불편함 등 다양한 단점들이 존재하였는데, 이는 종래의 컴퓨터에 있어 마우스나 터치 패드를 이용한 경우에도 마찬가지였다.

또한, 멀티 터치를 지원하는 디바이스는 발전에 발전을 거듭하여, 현재는 작은 컴퓨터라 불리울 정도로 하드웨어적으로 많은 성능 향상이 이루어졌으며, 그 예로서 내장 카메라 또는 유무선 연결을 통해 부착된 외장 카메라 기능을 제공하고 있다. 제공되는 카메라를 통해 입력되는 이미지에 대해 문자 인식을 수행하는 광학 문자 인식(Optical Character Reader; OCR) 기술이 등장하였고, 이러한 기술을 이용하여 이미지로부터 특정 문자를 인식하고 이를 이용하여 특정 웹사이트로 접속하거나 명함으로 인식하여 연락처 등으로 저장하는 등의 다양한 응용 프로그램이 이미 개발된 상태이지만, 문자 인식이 필요한 영역을 이미지 자체로부터 찾아내는 것이 쉽지 않아 아직까지도 문자인식기술에 따른 문자인식 성공율은 크게 높지 않은 상태이다.

따라서, 문자인식기술에 따른 문자인식 성공율을 높이기 위해 다양한 기술들이 개발되었고, 최근에는 디스플레이 상으로 보이는 이미지 중에서 인식하고자 하는 문자에 해당하는 부분의 시작점을 터치하고 문자가 끝나는 부분까지 드래그한 뒤에 터치를 종료하는, 즉 싱글 터치에 의한 라인을 생성하고 생성된 라인을 기준으로 문자인식을 수행하는 기술도 개발되었다.

하지만, 싱글 터치 라인 기반의 경우, 디스플레이 상으로 보이는 문자가 손가락에 가려 정확한 라인을 그리기 힘들다는 문제점과, 실시간으로 디바이스의 카메라를 쓰고 있다면 싱글 터치, 즉 손가락으로 미는 동작으로 인해 카메라의 위치가 변해 정확한 라인을 잡아내기 어렵다는 문제점, 그리고 라인을 한번 그린 이후 보정 역시 쉽지 않다는 문제점 등 다양한 문제점을 포함하고 있다.

본 발명의 목적은 위에서 언급한 종래 기술의 문제점을 해결하는 것이다.

본 발명의 일 목적은 멀티 터치를 기반으로 하여 직선, 곡선, 사각형, 원 등 다양한 도형을 손쉽게 그릴 수 있는 드로잉 기법을 제공하는 것이다.

또한, 본 발명의 다른 목적은 멀티 터치에 따라 발생하는 라인에 기초한 인식 영역 판단을 카메라를 갖고 문자인식기능을 지원하는 멀티 터치 지원 디바이스 상에 접목시킴으로써, 카메라로 촬영 또는 카메라를 통해 실시간으로 보여지는 이미지 상의 문자나 아이콘 등 정보의 인식률을 보다 높이면서도 사용자에게는 편리하고 간편하게 이용할 수 있는 기능을 제공하는 것이다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특유의 효과를 달성하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 멀티 터치 기반의 드로잉 기법을 제공하는 방법은 적용부에 의해, 이벤트 발생에 따른 터치 관련 정보를 터치 인식부로부터 수신하는 이벤트 수신 단계, 및 상기 터치 인식부로부터 멀티 터치에 관련된 복수개의 터치 관련 정보를 수신하는 경우, 상기 복수개의 터치 관련 정보에 기초하여 드로잉 툴 선택부를 통해 선택된 소정 도형을 디스플레이부를 통해 표시하거나 또는 이미 표시된 소정 도형을 변경하는 디스플레이 단계의 수행을 통해 얻어진다.

본 발명의 다른 태양에 따르면, 멀티 터치 기반의 드로잉 기법을 제공하는 장치는 이벤트 발생에 따른 터치 관련 정보를 수신하는 터치 인식부와, 상기 터치 인식부로부터 수신한 터치 관련 정보에 기초하여, 현재 멀티 터치 중인지 여부를 판단하며, 상기 터치 인식부로부터 멀티 터치에 관련된 복수개의 터치 관련 정보를 수신하는 경우, 상기 복수개의 터치 관련 정보에 기초하여 드로잉 툴 선택부를 통해 선택된 소정 도형을 스플레이부를 통해 표시 또는 이미 표시된 소정 도형을 변경하는 적용부를 포함한다.

본 발명의 또 다른 태양에 따르면, 멀티 터치 기반의 정보 인식을 제공하는 방법은 정보 인식부에 의해, 이벤트 발생에 따른 터치 관련 정보를 터치 인식부로부터 수신하는 이벤트 수신 단계, 상기 수신한 터치 관련 정보에 기초하여, 상기 이벤트 발생 전에 멀티 터치 중이고 상기 발생한 이벤트가 전체 터치 종료인 인식 요청에 해당하는지 여부를 판단하는 이벤트 확인 단계, 상기 판단 결과 인식 요청에 해당하는 경우, 상기 멀티 터치에 관련된 복수개의 터치 관련 정보에 기초하여 이미 표시된 라인에 기반하여 카메라부로부터 수신한 인식 정보로부터 인식 영역을 추출하는 인식 영역 추출 단계, 및 상기 추출된 인식 영역으로부터 정보를 인식하는 정보 인식 단계의 수행을 통해 얻어진다.

본 발명의 또 다른 태양에 따르면, 멀티 터치 기반의 정보 인식을 제공하는 장치는 이벤트 발생에 따른 터치 관련 정보를 수신하는 터치 인식부와, 상기 터치 인식부에 의해 수신한 터치 관련 정보에 기초하여, 상기 이벤트 발생 전에 멀티 터치 중이고 상기 발생한 이벤트가 전체 터치 종료인 인식 요청에 해당하는지 여부를 판단하며, 상기 판단 결과 인식 요청에 해당하는 경우, 상기 멀티 터치에 관련된 복수개의 터치 관련 정보에 기초하여 이미 표시된 라인에 기반하여 카메라부로부터 수신한 인식 정보로부터 인식 영역을 추출하고 상기 추출된 인식 영역으로부터 정보를 인식하는 정보 인식부를 포함한다.

상술한 바와 같이 본 발명에 따르면, 멀티 터치를 기반으로 하여 직선, 곡선, 사각형, 원 등 다양한 도형을 손쉽게 그릴 수 있는 드로잉 기법을 제공할 수 있다.

또한, 본 발명에 따르면, 멀티 터치에 따라 발생하는 라인에 기초한 인식 영역 판단을 카메라를 갖고 문자인식기능을 지원하는 멀티 터치 지원 디바이스 상에 접목시킴으로써, 카메라로 촬영 또는 카메라를 통해 실시간으로 보여지는 이미지 상의 문자나 아이콘 등 정보의 인식률을 보다 높이면서도 사용자에게는 편리하고 간편하게 이용할 수 있는 기능을 제공할 수 있다.

도 1은 발명의 일 실시예에 따라, 멀티 터치를 기반으로 한 드로잉 기법을 제공하는 시스템의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라, 멀티 터치에 따른 라인을 기반으로 한 정보 인식 시스템의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 정보 인식 시스템 중 정보 인식부의 상세 구성도이다.
도 4는 본 발명의 일 실시예에 따라 정보 인식 시스템에서 수행되는 정보 인식 방법에 대해 설명하도록 한다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 드로잉 기법 제공 시스템에 의해 다양한 도형을 그리는 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 정보 인식 시스템에 의해 인식 영역을 추출하는 다양한 알고리즘을 설명하는 예를 도시한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

[본 발명의 바람직한 실시예]

본 발명의 명세서에서, 용어 "터치 포인트"는 터치를 지원하는 영역에 유저의 손가락이나 터치펜 등 터치를 인식할 수 있는 특정 물체가 접하여 터치가 발생된 경우, 터치 지원 영역 중 터치가 발생한 위치를 의미한다. 터치 포인트는 기본적으로 좌표를 나타내는 값을 가지며, 그 일 예로 가로(x) 좌표값 및 세로(y) 좌표값을 포함할 수 있으나 반드시 이 방식에 한정되는 것은 아니다.

본 발명의 명세서에서, 용어 "터치 관련 정보"는 특정 터치 포인트에 대해 발생할 수 있는 모든 이벤트와 관련된 모든 정보를 포함하는 광의의 용어로 해석되어야 한다. 발생할 수 있는 이벤트의 예로서는, 기본적으로 터치 발생 및 터치 종료 등이 있을 수 있으며, 이를 응용한, 터치 이동(해당 터치 포인트에서의 터치 종료 및 바로 옆 터치 포인트에서의 터치 발생 등에 따른), 클릭 또는 더블 클릭 등도 이벤트의 예로서 포함될 수 있으나 앞서 설명한 예에 한정되는 것은 아니다. 이러한 이벤트의 예에 따른 터치 관련 정보는 발생한 이벤트의 종류(터치 발생, 터치 종료, 터치 이동 등), 이벤트가 발생한 하나 이상의 터치 포인트의 값 등을 포함할 수 있으나 반드시 이에 한정되는 것은 아니다.

본 발명의 명세서에서, 용어 "카메라"는 유저의 정보 인식 시스템에 내장된 렌즈를 포함하고 사진 및/또는 동영상 촬영 기능이 있는 카메라뿐만 아니라, 정보 인식 시스템의 전원 포트, USB 포트 또는 블루투스 등 다양한 유/무선 수단을 통하여 연결된 외부의 카메라도 포함하는 광의의 개념으로 해석되어야 한다.

또한, 본 발명의 명세서에서, 용어 "인식 정보"는 카메라를 이용하여 촬영할 수 있는 특정 프로그램의 실행에 따라, 카메라의 렌즈를 통하여 보여지는 화면이나 영상, 또는 프로그램상의 특정 명령을 통해 촬영을 하여 저장된 화면 또는 영상을 시스템의 특정 프로그램이 인식할 수 있는 형태로 가공한 정보를 의미한다. 그 일 예로, 모바일 카메라를 통해 촬영하고, JPEG 압축 방식에 의해 압축한 JPG 파일도 이러한 검색 정보의 하나로 포함될 수 있다.

멀티 터치를 기반으로 한 드로잉 툴 제공 시스템

도 1은 발명의 일 실시예에 따라, 멀티 터치를 기반으로 한 드로잉 기법을 제공하는 시스템의 전체적인 구성을 개략적으로 나타내는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 시스템(100)은 디스플레이부 (110), 드로잉 툴 선택부(120), 터치 인식부(130) 및 적용부(140)를 포함한다.

먼저, 본 발명의 일 실시예에 따른 디스플레이부(110)는 제공되는 드로잉 툴을 이용하여 그릴 수 있는 다양한 도형을 포함한 이미지를 제공하는 디스플레이로서, 터치스크린과 같이 디스플레이부(110) 자체에서 유저의 터치를 인식할 수 있는 터치 인식부(130)를 포함하는 형태로 구현될 수 있고, 또는 별도의 터치 인식부(130)를 두고 이미지를 제공하는 디스플레이의 기능만 제공하도록 구현될 수도 있다. 본 발명의 일 실시예에 따른 디스플레이부(110)는 어느 특정한 소재나 크기 등에 한정되지 않으므로, 공지의 LCD 모니터 등을 포함하여 드로잉 툴을 이용하여 그려질 수 있는 도형을 포함하는 드로잉 기법을 제공하는 화면의 기능을 수행한다면 모두 본 발명에 따른 디스플레이부(110)에 포함될 수 있다.

다음으로 본 발명의 일 실시예에 따른 드로잉 툴 선택부(120)는 디스플레이부(110)상에 제공될 수 있는 다양한 이미지를 그리기 위한 다양한 도형 또는 기능을 선택할 수 있도록 제공한다. 본 발명에 따른 드로잉 툴 선택부(120)는 멀티 터치를 이용하여 기본적으로 직선, 곡선, 사각형, 원 등을 포함하는 다양한 도형을 그리는 기능을 지원할 수 있으며 그 밖에도 공지의 다양한 그림 지원 프로그램 또는 그래픽 툴에서 사용되거나 제공되는 다양한 기능들, 예를 들어 색 변경, 채우기, 지우기, 등, 또한 제공될 수 있는 것은 통상의 기술자에게 있어 자명할 것이다.

본 발명의 일 실시예에 따른 터치 인식부(130)는 유저에 의한 하나 이상의 터치가 이루어질 수 있는 영역을 제공하고, 해당 영역에 대해 유저에 의한 터치 발생시, 터치 인식부(130)는 기본적으로 터치 포인트에 해당하는 값(가로 좌표값 및 세로 좌표값)을 기본적으로 인식하며 그 밖에도 터치 인식 방식 등에 따라 부가적인 정보(예를 들어 터치 압력 등)를 더 인식할 수 있다. 터치 인식 방식은 크게 손끝이 닿았을 때 흐르는 미세 정전기를 이용하여 구현한 정전식과, 터치하는 물체가 누르는 압력을 측정하여 구현한 압력식(갑압식) 두 가지가 사용될 수 있으며, 일반적으로 멀티 터치를 구현하기 위해서는 정전식이 많이 사용되나 반드시 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 따른 터치 인식부(130)는 멀티 터치(2개 이상의 터치)를 인식하므로 멀티 터치가 계속되고 있는 동안에는 멀티 터치의 인식에 따른 해당 터치 포인트들의 각각의 값들을 가질 수 있으며, 어느 하나 이상의 터치가 이동하는 경우, 그리고 어느 하나 이상의 터치가 종료된 경우 이 역시 인식한다. 또한, 터치 인식부(130)는 터치 인식에 따른 기본적인 이벤트들, 즉 터치를 유지한 채로 위치를 이동하는 액션인 드래그(drag)나 소정 시간 내에 터치 발생 및 터치 종료를 발생하는 클릭이나 더블클릭 등, 을 인식하는 기능을 더 구현할 수 있다. 터치 인식부(130)는 앞서 설명한 어느 하나 이상의 이벤트가 터치 인식 영역에 발생하는 경우 해당 이벤트에 대한 터치 관련 정보를 적용부(140)에 제공한다.

앞서 설명한 대로, 본 발명의 일 실시예에 따른 터치 인식부(130)는 디스플레이부(110)에 함께 포함되어 구현될 수도 있고 또는 터치 패드와 같이, 디스플레이부(110)와는 별도로 멀티 터치를 지원하는 영역만을 제공하도록 구현될 수도 있다. 본 발명의 일 실시예에 따른 터치 인식부(130)는 어느 특정한 방식이나 재질, 소재, 크기 등에 한정되는 것은 아니다.

한편, 본 발명의 일 실시예에 따른 적용부(140)는 디스플레이부(110), 드로잉 툴 선택부(120) 및 터치 인식부(130)로부터 관련된 정보를 수신하고, 이를 바탕으로 멀티 터치를 기반으로 다양한 도형을 그릴 수 있도록 드로잉 기법을 제공하고, 디스플레이부(110)에 나타낼 수 있도록 지원한다.

구체적으로, 적용부(140)는 터치 인식부(130)로부터 소정 이벤트 발생에 따른 터치 관련 정보를 전달받아 이를 기초로, 만일 터치 발생인 경우에는 해당하는 터치 포인트에 소정의 터치 표식을 디스플레이부(110)를 통해 표시하며, 해당 터치 포인트의 드래그를 통한 이동, 그리고 터치 종료의 경우 이에 해당하는 터치 관련 정보를 전달받아, 이를 기초로 터치 표식의 이동 및 삭제를 디스플레이부(110)를 통해 적용하도록 한다. 클릭이나 더블 클릭 등 다른 종류의 이벤트 발생시에도 적용부(140)는 그에 해당하는 액션을 처리할 수 있는 바, 일 예로서, 터치 인식부(130) 중 메뉴에 해당하는 영역에서의 클릭이나 더블 클릭 등이 발생한 경우 이를 인식하고, 해당하는 액션(상세 메뉴 제공)등을 처리할 수 있으나 반드시 이에 한정되지 않으며, 이 분야에 속하는 통상의 기술자의 기술수준의 범위내에서 구현될 수 있는 다양한 액션 및 그에 따른 처리동작을 수행할 수 있는 것은 자명할 것이다.

또한, 적용부(140)는 터치 인식부(130)로부터 소정 이벤트 발생에 따른 터치 관련 정보를 전달받고 이를 기초로 멀티 터치인지 여부를 판단한다. 예를 들어, 터치가 진행중인 터치 포인트가 복수인 경우 멀티 터치인 것으로 판단할 수 있으나 반드시 이 방식에 한정되는 것은 아니고, 다양한 공지의 방식을 이용하여 멀티 터치 여부를 판단할 수 있다. 멀티 터치로 판단한 경우, 적용부(140)는 유저가 드로잉 툴 선택부(120)에서 선택한 도형의 종류에 따라 직선, 곡선, 사각형 또는 원 등 다양한 도형을 디스플레이부(110)를 통해 표시한다. 유저의 멀티 터치가 진행되는 동안 표시되는 도형은 임시적인 것으로 유저의 하나 이상의 터치 포인트 이동이나 일부 터치 포인트에 대한 터치 종료에 따른 멀티 터치 종료 등을 통해 다양하게 변화, 변경 또는 취소될 수 있다.

한편, 적용부(140)는 멀티 터치에 따른 임시적인 도형 표시중에 터치 인식부(130)로부터 소정 이벤트 발생에 따른 터치 관련 정보를 전달받는 경우, 이를 기초로 복수개의 터치 포인트 모두에 대한 전체 터치 종료인지 여부를 판단한다. 예를 들어, 정해진 소정 시간 내에 복수의 터치 포인트 모두에 대한 터치 종료가 발생한 경우 전체 터치 종료로 판단할 수 있으나 반드시 이 방식에 한정되는 것은 아니다. 전체 터치 종료로 판단한 경우, 적용부(140)는 그 전까지 멀티 터치에 의해 표시되던 도형의 형태를 확정하고 고정할 수 있다. 본 발명의 다른 실시예에 따라, 적용부(140)의 기능 중 일부가 터치 인식부(130)에서 실행되도록 구현할 수도 있다. 적용부(140)의 상세한 기능 및 이에 따른 다양한 도형을 그리는 예에 대해서는 후술하도록 한다.

도 1에서의 디스플레이부(110), 드로잉 툴 선택부(120), 터치 인식부(130) 및 적용부(140)는 물리적으로 하나의 기계 내에 구현될 수도 있고 일부 또는 그 각각이 물리적으로 다른 기계에 구현될 수도 있다. 이렇듯 본 발명은 각 구성부가 설치된 기계의 물리적인 개수 및 위치에 한정되지 않고 다양한 방식으로 설계 변경될 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다.

적용부의 상세한 기능 및 드로잉 기법의 예

이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 적용부(140)의 상세한 기능 및 이에 따른 다양한 도형을 그리는 드로잉 기법의 예에 대해 설명하도록 한다. 설명의 편의성을 위해 도 5는 디스플레이부(110)와 터치 인식부(130)가 결합된, 즉 유저의 터치 및 이에 따른 터치 관련 정보와 디스플레이가 같이 이루어지는 형태를 가정한다.

먼저 도 5a에서 도시되는 바와 같이, 유저가 터치 인식부(130)의 특정 위치 A를 터치한 경우 적용부(140)는 터치 인식부(130)로부터 이벤트 발생에 따른 터치 관련 정보를 수신하며, 여기서의 터치 관련 정보는 터치 발생, 그리고 해당 터치 포인트에 해당하는 좌표 A(x1, y1)를 포함할 수 있다. 적용부(140)는 수신한 터치 관련 정보를 기초로 터치 발생을 인지하고, 좌표 A(x1, y1)에 소정의 터치 표식을 표시한다. 만일 유저가 터치를 유지한 채로 드래그 등에 의해 터치 포인트를 이동하는 경우 도 5b에 도시되는 바와 같이 이동에 따라 계속하여 갱신되는 터치 관련 정보를 수신하여 이를 기초로 터치 표식의 위치를 점선과 같이 갱신하며 결론적으로 유저가 이동을 멈춘 터치 포인트 위치인 A'(x1',y1')로 터치 표식을 이동한다. 만일 유저가 터치를 종료하게 된다면 적용부(140)는 터치 관련 정보로부터 이를 인지하여 터치 표식의 위치를 삭제할 것이다.

또한, 본 발명의 일 실시예에 따른 적용부(140)는 멀티 터치를 인식하는 경우 해당 복수의 터치 포인트에 해당하는 좌표들을 포함하는 터치 관련 정보에 기초하여, 유저가 드로잉 툴 선택부(120)로부터 선택한 도형을 표시한다. 도 5c를 참조하여 유저가 선택한 도형이 직선인 경우의 예를 상세히 설명하면, 유저가 터치 인식부(130)의 복수의 위치 C(x3,y3), D(x4,y4)를 터치한 경우 적용부(140)는 복수의 터치 포인트에 대한 멀티 터치를 인식하고, 양 좌표 C(x3, y3), D(x4, y4)를 선분의 끝단으로 한 직선을 표시하도록 디스플레이부(110)에 요청한다. 만일 유저가 터치를 유지한 채로 드래그 등에 의해 터치 포인트를 점선과 같이 C'(x3', y3'), D'(x4', y4')으로 이동하는 경우 도 5d에 도시하는 바와 같이 해당 위치로 터치 표식을 이동하며 따라서, 양 터치 포인트를 끝점으로 하는 직선의 형태도 계속하여 변화할 것이다. 만일 유저가 일부의 터치만을 종료하여 멀티 터치가 종료된 경우에는 터치가 계속되는 터치 포인트에 대한 터치 표식만 표시하고, 멀티 터치를 기반으로 한 도형은 삭제되도록 디스플레이부(110)에 요청할 수 있으며, 또한 멀티 터치에 의해 도형이 표시된 상태에서 멀티 터치의 전체 종료시에는 적용부(140)는 유저가 표시되어 있던 도형을 그대로 확정하고자 하는 것으로 판단하고, 디스플레이부(110)을 통해 유저가 선택하고 확정한 해당 도형을 고정시킨다.

다음으로, 앞서 도 5d에 도시된 라인을 이용하여 곡선을 그리는 드로잉 기법의 예를 도 5e를 참조하여 설명하면, 멀티 터치에 의한 직선이 표시된 상태(도 5d)에서 발생한 이벤트가 추가적인 터치 발생인 경우, 적용부(140)는 수신한 터치 관련 정보를 통해 추가적인 터치 발생을 인지하고, 추가적인 터치 발생에 해당하는 터치 포인트가 기존에 표시된 직선상에 놓여있는 경우, 표시된 직선을 이용한 곡선을 만드는 것으로 판단할 수 있다. 이후, 추가적인 터치 포인트가 드래그 등에 의해 이동하는 경우 적용부(140)는 종래에 표시된 직선의 양 끝점 및 이동하는 추가적인 터치 포인트를 연결하는 곡선을 표시하도록 디스플레이부(110)를 통해 요청할 수 있다. 즉, 도 5e를 참조하면 종래의 터치 포인트에 해당하는 좌표인 C', D'간을 잇는 직선이 표시된 상태(점선)에서 추가적인 터치 포인트가 직선 상인 좌표 E에 인식된 경우 직선을 곡선으로 만드는 것으로 판단하고, 드래그 등에 의해 좌표 E가 E'(x5, y5)로 이동한 경우, 세 좌표 C', E', D'를 이용한 곡선을 표시하도록 디스플레이부(110)에 요청할 수 있다. 이 분야에서 통상의 기술자에 의한 설계변경에 따라, 직선의 양 끝단에 대한 멀티 터치가 유지되는 한 곡선을 표시하기 위한 추가적인 터치 포인트의 터치 종료에 관계없이 표시되는 곡선은 계속 유지되어 유저가 보다 손쉽게 추가적인 터치 포인트의 반복적인 터치 발생, 터치 이동 및 터치 종료를 이용하여 유저가 원하는 도형을 그려나가도록 지원할 수 있으며, 또한 앞서 설명한 내용을 기초로 하고 4개 이상의 터치 포인트를 이용하여 종래에 표시된 직선의 일부는 그대로 유지하고 나머지 일부만을 곡선만으로 변경하거나, 또는 다수의 터치 포인트간의 직선의 연속으로 표시되도록 구현할 수 있는 것은 자명하다 할 것이다.

그리고, 도 6을 참조하여 유저가 선택한 도형이 사각형 및 원인 경우의 드로잉 기법의 예를 상세히 설명하도록 한다. 도 6a를 참조하여 사각형인 경우를 살펴보면, 유저가 터치 인식부(130)의 복수의 위치 F(x6, y6), G(x7, y7)를 터치한 경우 적용부(140)는 복수의 터치 포인트에 대한 멀티 터치를 인식하고, 양 좌표 F, G에 표시된 터치 표식을 선분의 끝단으로 하는 라인을 보이게, 또는 보이지 않게 하도록 디스플레이부(110)를 통해 요청할 수 있으며, 복수의 터치 포인트간에 발생하는 라인을 대각선 선분으로 하는 사각형을 표시한다. 사각형을 표시하기 위한 알고리즘에 있어, 적용부(140)는 라인의 기울기 값을 구하고 이에 기초하여 좌측상단부 또는 좌측 하단부, 그리고 우측하단부 또는 우측상단부에 해당하는 위치를 결정하고 이에 기초한 사각형을 표시하도록 디스플레이부(110)에 요청할 수 있다. 또는, 복수의 터치 포인트의 각각의 가로 좌표값 및 세로 좌표값 간의 비교를 통해 위치를 결정할 수도 있으며, 또는 두 점을 기초로 한 사각형을 그리기 위한 공지의 다른 알고리즘을 이용할 수도 있다. 도 6a를 참조하면, 적용부(140)는 인식된 복수의 터치 포인트 H, I의 x 좌표값 비교를 통해 터치 포인트 H가 I보다 왼쪽에 위치하는 것을 판단하고, 또한 y 좌표값 비교를 통해 터치 포인트 H가 I보다 밑에 위치하는 것을 파악한 후 H를 사각형의 좌측 하단부로, I를 우측 상단부로 인식하고 두 좌표를 기초로 한 사각형을 그리도록 디스플레이부(110)에 요청한 결과 사각형이 도시된다. 또한, 앞서 설명한 직선의 예와 마찬가지로, 유저가 터치를 유지한 채로 드래그에 의해 하나 이상의 터치 포인트를 이동하는 경우 해당 위치로 터치 표식을 이동하여, 이를 기초로 한 사각형의 형태를 변화하도록 적용부(140)를 구현할 수 있으며, 일부 터치를 종료하여 멀티 터치만 종료된 경우 및 멀티 터치에 의해 도형이 표시된 상태에서 모든 터치를 종료하는 경우 역시 동일한 기능을 수행하도록 구현될 수도 있음은 이해될 수 있다. 그리고, 상기 내용을 기초로 한 통상의 기술자의 설계 변경에 의해 추가적인 터치에 의한 다각형을 그리는 방식 또한 적용될 수 있을 것이다.

도 6b를 참조하여 원인 경우를 살펴보면, 유저가 터치 인식부(130)의 복수의 위치 H(x8, y8), I(x9, y9)를 터치한 경우 적용부(140)는 복수의 터치 포인트에 대한 멀티 터치를 인식하고, 양 좌표 H, I에 표시된 터치 표식을 선분의 끝단으로 하는 라인을 보이게 또는 보이지 않게 하도록 디스플레이부(110)를 통해 요청할 수 있으며, 복수의 터치 포인트간에 발생하는 라인을 지름으로 하는 원을 표시한다.

원을 표시하기 위한 알고리즘에 있어, 적용부(140)는 인식된 복수의 터치 포인트 H, I의 양 좌표 값의 중심값인 J를 구하고, 구한 중심값 J를 원의 중심으로 하고 원의 중심과 H 또는 I까지의 거리를 원의 반지름으로 하여, 원의 중심 좌표값 및 반지름을 기초로 한 원을 그리도록 디스플레이부(110)에 요청한 결과 그려지는 원이 도 6b에 도시된 원에 해당한다.

또한, 앞서 설명한 직선이나 사각형의 예와 마찬가지로, 유저가 터치를 유지한 채로 드래그에 의해 하나 이상의 터치 포인트를 이동하는 경우 해당 위치로 터치 표식을 이동하여 원의 크기 및 위치를 변화하도록 구현할 수 있으며, 일부 터치를 종료하여 멀티 터치만 종료된 경우 및 멀티 터치에 의해 도형이 표시된 상태에서 모든 터치를 종료하는 경우 역시 동일한 기능을 수행하도록 구현될 수도 있음은 이해될 수 있다. 그리고, 상기 내용을 기초로 한 통상의 기술자의 설계 변경에 의해 추가적인 터치에 의한 타원 또는 비대칭원을 그리는 방식 또한 적용될 수 있을 것이다.

멀티 터치에 따른 라인을 기반으로 한 정보 인식 시스템

앞서 설명한 본 발명에 따르면, 멀티 터치에 의한 라인은 앞서 설명한 드로잉 기법 뿐만 아니라 정보 인식 과정에도 사용될 수 있는 바, 그 구체적인 예시에 대해 상세히 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따라, 멀티 터치에 따른 라인을 기반으로 한 정보 인식 시스템의 전체적인 구성을 개략적으로 나타내는 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 정보 인식 시스템(100')은 디스플레이부(110), 터치 인식부(130), 카메라부(150) 및 정보 인식부(160)를 포함한다.

이 중 본 발명의 일 실시예에 따른 디스플레이부(110) 및 터치 인식부(130)는 도 1을 참조하여 앞서 설명한 디스플레이부(110) 및 터치 인식부(130)와 동일한 기능을 수행하며, 설명의 편의성을 위해 이하 디스플레이부(110) 및 터치 인식부(130)가 함께 포함되어 구현되는 경우를 가정하도록 한다.

다음으로, 본 발명의 일 실시예에 따른 카메라부(150)는 카메라를 포함하며, 카메라를 통해서 제공받는 인식 정보를 정보 인식부(160)에 전달하는 한편 디스플레이부(110)를 통하여 유저에게 제공한다.

본 발명의 일 실시예에 따른 정보 인식부(160)는 터치 인식부(130) 및 카메라부(150)로부터 터치 관련 정보 및 인식 정보를 수신하고, 이를 바탕으로 멀티 터치에 따른 라인을 이용하여 인식 영역을 추출하고 정보를 인식하는 기능을 수행한다.

구체적으로, 정보 인식부(160)는 터치 인식부(130)로부터 소정 이벤트 발생에 따른 터치 관련 정보를 전달받아 이를 기초로, 만일 발생한 이벤트가 터치 발생인 경우 이미 디스플레이부(110)에 표시되고 있는 인식 정보에 겹쳐서, 해당하는 터치 포인트에 소정의 터치 표식을 디스플레이부(110)를 통해 표시하며, 해당 터치 포인트의 드래그를 통한 이동 또는 터치 종료의 경우 이에 해당하는 터치 관련 정보를 전달받아, 이를 기초로 터치 표식의 이동 및 삭제를 디스플레이부(110)를 통해 적용한다. 그 밖에도 클릭이나 더블 클릭 등 다른 종류의 이벤트 발생시에도 정보 인식부(160)는 이에 해당하는 액션을 처리할 수 있다.

또한, 정보 인식부(160)는 터치 인식부(130)로부터 소정 이벤트 발생에 따른 터치 관련 정보를 전달받고 이를 기초로 멀티 터치인지 여부를 판단한다. 멀티 터치로 판단한 경우, 정보 인식부(160)는 수신한 터치 관련 정보에 포함된 복수의 터치 포인트의 좌표를 선분의 끝단으로 한 라인을 발생시키고, 유저의 멀티 터치가 진행되는 동안 표시되는 라인은 임시적인 것으로 유저의 터치 포인트 이동이나 일부 터치 포인트에 대한 터치 종료 등을 통해 다양하게 변화, 변경 또는 취소될 수 있다.

한편, 정보 인식부(160)는 멀티 터치에 따른 임시적인 라인 표시 중에 터치 인식부(130)로부터 소정 이벤트 발생에 따른 터치 관련 정보를 전달받는 경우, 이를 기초로 복수개의 터치 포인트 모두에 대한 전제 터치 종료인지 여부를 판단한다. 전체 터치 종료로 판단하는 경우, 정보 인식부(160)는 그 전까지 멀티 터치에 의해 표시되던 라인을 고정하고, 고정된 라인을 기초로 인식 영역을 추출한 뒤, 추출된 인식 영역으로부터 정보를 인식한다. 본 발명의 다른 실시예에 따라, 정보 인식부(160)의 기능 중 일부가 터치 인식부(130)에서 실행되도록 구현할 수도 있다. 정보 인식부(160)의 각 구성요소의 상세한 기능에 대해서는 후술하도록 한다.

도 2에서의 디스플레이부(110), 터치 인식부(130), 카메라부(150) 및 정보 인식부(160)는 물리적으로 하나의 기계 내에 구현될 수도 있고 일부 또는 그 각각이 물리적으로 다른 기계에 분산되어 구현될 수도 있다. 또한, 도 2에 따른 정보 인식 시스템은 종래의 멀티 터치 기반 단말기상에 구현될 수도 있다. 이렇듯 본 발명은 각 구성부가 설치된 기계의 물리적인 개수 및 위치에 한정되지 않고 다양한 방식으로 설계 변경될 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다.

정보 인식부의 각 구성요소 및 상세한 기능

도 3을 참조하여 본 발명의 일 실시예에 따른 정보 인식부(160)를 더욱 상세히 설명하면, 정보 인식부(160)는 송수신 모듈(161), 라인 제공 모듈(162), 영역 추출 모듈(163) 및 정보 인식 모듈(164)을 포함할 수 있다.

송수신 모듈(161)은 카메라부(150)로부터 수신된 인식 정보 및 터치 인식부(130)로부터 수신된 특정 이벤트 발생에 따른 터치 관련 정보를 라인 제공 모듈(162)로 전달하고, 수신된 정보에 따라 라인 제공 모듈(162)로부터 제공하는 정보를 디스플레이부(110)로 전송한다.

본 발명의 일 실시예에 따른 라인 제공 모듈(162)은 앞서 도 1을 참조하여 설명한 적용부(140)의 기능과 유사하게, 송수신 모듈(161)로부터 터치 관련 정보를 수신하고, 이를 기초로 디스플레이부(110)를 통해 터치 포인트의 터치 표식을 표시, 이동 및 삭제한다.

또한, 라인 제공 모듈(162)은 수신한 터치 관련 정보로부터 멀티 터치를 인지하는 경우 터치 관련 정보에 포함된 복수의 터치 포인트의 좌표를 선분의 양 끝단으로 한 라인을 발생시키고, 새로운 이벤트의 발생에 따라 앞서 설명한 바와 같이 터치 이동, 터치 종료 등 적절한 액션을 처리한다. 라인 제공 모듈(162)은 한편, 수신한 터치 관련 정보로부터 전체 터치 종료를 인지하는 경우, 그 전까지 멀티 터치에 의해 표시되던 라인을 고정하고, 전체 터치 종료를 인식영역 추출 모듈(163)에 통지한다.

본 발명의 일 실시예에 따른 인식영역 추출 모듈(163)은 전체 터치 종료를 라인 제공 모듈(162)로부터 수신하고, 터치 종료에 따라 고정된 라인의 양 끝단에 해당하는 터치 포인트에 기초하여 인식 영역을 추출하고 정보 인식 모듈(164)에 통지한다. 여기서 인식 영역은 카메라부(150)를 통해 수신되고 디스플레이부(160)를 통해 표시되는 전체 인식 정보 중 일부 또는 전체 영역을 의미하며, 인식 영역 추출 알고리즘에 따라 라인의 양 끝단을 기초로 한 사각형, 원, 타원, 다각형 등 다양한 방식의 도형 형태로서 추출될 수 있다. 인식영역 추출 모듈(163)은 인식 영역 추출시 인식 정보를 고정하기 위해 카메라부(150)를 통해 사진 촬영을 요청하는 기능을 더 포함할 수 있다.

본 발명의 일 실시예에 따른 정보 인식 모듈(164)은 인식영역 추출 모듈(163)에 의해 추출된 인식 영역에 대해 전경색(foreground color)과 배경색(background)를 찾는 등 공지의 OCR 방식 등을 포함하여 다양한 문자 또는 이미지 인식 알고리즘을 이용하여 문자, 아이콘, 또는 이미지 등의 정보를 인식한다.

도 3에서의 송수신모듈(161), 라인 제공 모듈(162), 인식영역 추출 모듈(163) 및 정보 인식 모듈(164)은 본 발명을 설명하기 위한 최소한의 구성요소에 해당하는 것으로, 해당 분야에서의 통상의 기술자의 설계 변경에 따라 정보 인식에 따른 관련 웹사이트로의 연결, 또는 이와 관련된 과금 등 공지의 다양한 기술과 접목할 수 있음은 이해될 수 있다.

앞서 살펴본 정보 인식부(160)에서 수행되는 인식영역 추출까지의 일 예를 도 7을 참조하여 설명하면, 도 7a에 도시된 바와 같이 유저가 디스플레이부(110)에 표시되는 인식 정보 중 특정 위치에 존재하는 문자 "커피숍"을 인식하기 위해 터치 인식부(130)의 복수의 위치 K(x11, y11), L(x12, y12)을 터치한 경우 라인 제공 모듈(162)은 수신한 터치 관련 정보로부터 멀티 터치를 인지하고, 양 좌표 K, L에 터치 표식을 표시하는 한편, 양 좌표를 선분의 양 끝단으로 하는 라인을 디스플레이부(110)를 통해 표시한다. 디스플레이부(110)를 통해 표시되는 인식 정보 중 이와 같이 표시된 라인에 기초한 영역이 인식 영역에 해당될 수 있으며, 라인에 기초하여 인식 영역을 추출하는 알고리즘은 도 7b와 같이 양 좌표 K, L을 사각형의 대각선 선분으로 한 사각형을 표시하고 이 내부에 포함된 영역을 인식 영역으로 추출할 수 있고, 또는 양 터치 포인트의 세로 좌표값이 동일한 경우 도 7c와 같이 양 좌표 K, L을 사각형 중 세로선의 중간점으로 하고 이를 기준으로 소정 높이의 사각형을 표시하여 이 내부에 포함된 영역을 인식 영역으로 추출하거나, 도 7d와 같이 양 좌표 K, L을 기초로 한 소정 높이의 타원을 표시하여 이 내부에 포함된 영역을 인식 영역으로 추출하는 알고리즘도 사용할 수 있으나, 본 발명에 따른 인식 영역 추출 알고리즘은 앞서 설명한 예에 한정되는 것이 아니며 통상의 기술자의 기술수준 및 설계 변경에 따라 가로 좌표값이 동일한 경우에 따른 경우 등 다양한 상황에 대해 멀티 터치에 따른 다양한 방식으로 문자 "커피숍"이 포함된 인식 영역을 보다 정확하게 결정하고 추출할 수 있을 것이다.

유저는 정확한 라인을 그리고, 이에 따라 보다 정확하게 인식 영역을 결정하여 정확한 정보 인식을 수행하기 위해 멀티 터치를 유지한 채로 드래그 등에 의해 터치 포인트를 이동할 수 있으며, 이 경우 이동된 위치로 터치 표식을 이동하도록 구현될 수 있으며, 이 경우 양자를 잇는 라인의 형태도 변화할 것이다. 만일 유저가 일부의 터치를 종료하여 멀티 터치가 종료된 경우에는 라인 제공 모듈(162)은 터치가 계속되는 터치 포인트에 대한 터치 표식만 표시하고, 멀티 터치를 기반으로 한 라인은 표시되지 않도록 할 수 있다.

본 발명의 다른 실시예에 따라, 라인 제공 모듈(162)과 인식영역 추출 모듈(163)의 기능은 결합될 수 있으며 이 경우 멀티 터치 인식시, 확정되지 않은 인식 영역을 추출하고, 추출된 인식 영역을 기준으로 한 노출을 측정하여 카메라의 AF(Auto Focus) 및 노출을 수행할 수 있도록 카메라부(150)에 요청하여 가장 선명한 인식 정보를 얻어내도록 하는 기능을 더 구현할 수 있다.

정보 인식 방법 예시

다음으로, 도 4를 참조하여 본 발명의 일 실시예에 따라 정보 인식 시스템(100')에서 수행되는 정보 인식 방법에 대해 설명하도록 한다.

도 4에 도시된 본 발명의 실시예에 따르면, 터치 인식부(130)에 소정 이벤트가 발생(S110)하는 경우, 정보 인식부(160)는 발생한 이벤트에 대한 터치 관련 정보를 전달받아, 이를 기초로 이벤트의 종류를 판단(S120)한다. 판단 결과, 만일 발생한 이벤트가 터치 발생에 해당하는 경우 터치 관련 정보 중 터치 포인트의 좌표 값에 터치 표식을 표시(S130)하고, 만일 발생한 이벤트가 터치 이동에 해당하는 경우 터치 관련 정보에 기초하여 터치 포인트의 이동을 처리(S140)한다. 그 후, 이벤트 발생에 따라 멀티 터치가 발생 또는 계속하여 유지되는 경우, 즉 멀티 터치 여부를 판단(S150)하여 멀티 터치인 경우에는 복수개의 터치 포인트를 양 끝단으로 하는 라인을 표시하도록 디스플레이부(110)에 요청하고, 다시 단계 S110 이전으로 이동하여 이벤트 발생을 대기한다.

만일 단계S120의 판단 결과, 발생한 이벤트가 터치 종료에 해당하는 경우에는 전체 터치 종료에 해당하는지 다시 한 번 판단(S210)한다. 전체 터치 종료인 경우 유저에 의한 정보 인식 요청 명령의 가능성이 높으므로, 다시 한 번 전체 터치 종료 이전에 멀티 터치 중이었는지를 판단(S220)하여 멀티 터치 중인 경우에는 표시된 라인에 기초하여 인식 영역을 추출(S230)하고, 추출된 인식 영역에서 글자나 이미지, 아이콘 등의 정보를 인식(S240)하고 종료된다.

만일 단계S210에서 전체 터치 종료가 아닌 일부 터치 종료에 해당하는 경우에는, 터치 종료된 터치 포인트에서의 터치 표식을 삭제(S310)하고, 터치 종료에 따라 멀티 터치가 계속하여 유지 중인지를 판단(S320)하여 멀티 터치가 아닌 경우에는 멀티 터치에 따라 이미 표시된 라인을 삭제하는 단계(S330)를 더 수행한 뒤, 다시 단계 S110 이전으로 이동하여 이벤트 발생을 대기한다.

도 4에 기재된 도면은, 본 발명의 일 실시예에 따른 정보 인식 방법에 불과하므로, 해당 분야의 기술 수준 및 당업자의 기술 상식에 따라 다양한 방법에 의해 상기 도 4의 하나 이상의 예시들을 결합하여 사용하거나, 동일 또는 유사한 기능을 수행할 수 있도록 변형하여 표현하거나 사용할 수 있는 것은 인지되어야 한다.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(megneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동되도록 구성될 수 있으며, 그 역도 마찬가지다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (24)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 멀티 터치 기반의 정보 인식을 제공하는 방법에 있어서,
    정보 인식부에 의해,
    이벤트 발생에 따른 터치 관련 정보를 터치 인식부로부터 수신하는 이벤트 수신 단계,
    상기 이벤트가 터치 발생에 해당하는 경우, 상기 이벤트 수신 단계 이후에 상기 수신한 터치 관련 정보에 기초하여 터치가 발생한 터치 포인트에 터치 표식을 표시하는 단계,
    상기 수신한 터치 관련 정보에 기초하여, 상기 이벤트 발생 전에 멀티 터치 중이고 상기 발생한 이벤트가 전체 터치 종료인 인식 요청에 해당하는지 여부를 판단하는 이벤트 확인 단계,
    상기 판단 결과 인식 요청에 해당하는 경우, 상기 멀티 터치에 관련된 복수개의 터치 관련 정보에 기초하여 이미 표시된 라인에 기반하여 카메라부로부터 수신한 인식 정보로부터 인식 영역을 추출하는 인식 영역 추출 단계 및
    상기 추출된 인식 영역으로부터 정보를 인식하는 정보 인식 단계를 포함하고
    상기 이벤트는 터치 발생, 터치 이동 및 터치 종료 중 어느 하나이며,
    상기 표시하는 단계는, 상기 이벤트가 터치 발생인 경우 상기 터치 표식을 표시하고, 이벤트가 터치 이동인 경우 상기 터치 표식을 이동하고, 상기 이벤트가 터치 종료인 경우 상기 터치 표식을 삭제하는, 멀티 터치 기반의 정보 인식 방법.
    
15. 삭제
16. 청구항 14에 있어서,
    상기 이벤트가 터치 이동에 해당하는 경우, 상기 이벤트 수신 단계 이후에 상기 수신한 터치 관련 정보에 기초하여 이전에 존재하던 터치 포인트의 터치 표식을 삭제하고, 이동된 후의 터치 포인트에 터치 표식을 표시하는 단계를 더 포함하는, 멀티 터치 기반의 정보 인식 방법.
    
17. 청구항 16에 있어서,
    현재 멀티 터치 중인지 여부를 판단하는 멀티 터치 판단 단계,
    상기 판단 결과 현재 멀티 터치 중인 경우, 상기 멀티 터치에 관련된 복수개의 터치 관련 정보에 기초하여 디스플레이부를 통해 라인을 표시하거나 또는 이미 표시된 라인을 변경하는 단계를 더 포함하는, 멀티 터치 기반의 정보 인식 방법.
    
18. 청구항 17에 있어서,
    표시되거나 이미 표시된 상기 라인을 기준으로 노출을 측정하여 상기 인식 정보에 대해 AF(Auto Focus)와 노출을 수행하도록 상기 카메라부에 요청하는 단계를 더 포함하는, 멀티 터치 기반의 정보 인식 방법.
    
19. 청구항 14에 있어서,
    상기 인식 영역 추출 단계는,
    상기 복수개의 터치 관련 정보로부터 상기 멀티 터치에 해당하는 복수의 터치 포인트를 산출하는 단계,
    상기 복수의 터치 포인트를 양 끝단으로 하는, 이미 표시된 상기 라인을 포함하고, 상기 복수의 터치 포인트를 지나는 소정 도형 형태의 인식 영역을 결정하는 단계, 및
    상기 수신한 인식 정보 중 상기 결정된 인식 영역에 포함되는 영역을 추출하는 단계를 더 포함하는, 멀티 터치 기반의 정보 인식 방법.
    
20. 청구항 19에 있어서,
    상기 소정 도형 형태는 사각형, 다각형, 원, 타원 또는 비대칭 원 중 어느 하나인, 멀티 터치 기반의 정보 인식 방법.
    
21. 청구항 14에 있어서,
    상기 인식 정보는 상기 카메라부로부터 수신되는 또는 촬영되는 사진 또는 영상인, 멀티 터치 기반의 정보 인식 방법.
    
22. 청구항 14에 있어서,
    상기 정보 인식 단계는 광학 문자 인식(OCR; Optical Character Recognition) 기술을 이용하는, 멀티 터치 기반의 정보 인식 방법.
    
23. 청구항 제14항 및 제16항 내지 제22항 중 어느 한 항에 기재된 방법의 각 단계를 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
    
24. 이벤트 발생에 따른 터치 관련 정보를 수신하는 터치 인식부와,
    상기 터치 인식부에 의해 수신한 터치 관련 정보에 기초하여, 터치가 발생한 터치 포인트에 터치 표식을 디스플레이부를 통해 표시하고, 상기 이벤트 발생 전에 멀티 터치 중이고 상기 발생한 이벤트가 전체 터치 종료인 인식 요청에 해당하는지 여부를 판단하며,
    상기 판단 결과 인식 요청에 해당하는 경우, 상기 멀티 터치에 관련된 복수개의 터치 관련 정보에 기초하여 이미 표시된 라인에 기반하여 카메라부로부터 수신한 인식 정보로부터 인식 영역을 추출하고 상기 추출된 인식 영역으로부터 정보를 인식하는 정보 인식부를 포함하고
    상기 이벤트는 터치 발생, 터치 이동 및 터치 종료 중 어느 하나이며,
    상기 정보 인식부는 상기 이벤트가 터치 발생인 경우 상기 터치 표식을 표시하고, 이벤트가 터치 이동인 경우 상기 터치 표식을 이동하고, 상기 이벤트가 터치 종료인 경우 상기 터치 표식을 삭제하는, 멀티 터치 기반의 정보 인식을 제공하는 장치.

Images