KR20140008987A - 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치 - Google Patents

Abstract

본 발명은 필기 기반의 메모 기능을 지원하는 개인용 단말에서 필기 기반의 사용자 인터페이스 장치 및 이를 지원하는 방법에 관한 것이다.
이를 위해 특정 어플리케이션이 실행 중에 있고, 사용자의 요청에 의해 필기가 가능한 메모 계층을 상기 특정 어플리케이션이 실행 중인 화면 위에 오버 랩하여 표시한다. 상기 사용자에 의해 상기 메모 계층에 필기되는 내용을 기반으로 상기 사용자의 의도를 인지하고, 상기 인지한 사용자의 의도에 따라 상기 특정 어플리케이션의 동작을 제어한다.

Description

필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING APPLICATION USING RECOGNITION OF HANDWRITING IMAGE}

본 발명은 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치에 관한 것으로, 특히 터치 패널을 포함하는 전자 장치에서 필기 입력을 인식하여 현재 실행중인 어플리케이션의 기능을 제어하는 장치 및 방법에 관한 것이다.

최근 휴대용 전자 기기가 늘어나면서 직관적인 입/출력이 가능한 사용자 인터페이스 (UI: User Interface)의 요구가 증대하고 있다. 예컨대 키보드, 키 패드, 마우스 등의 별도 구성을 이용하여 정보를 입력하는 전통적인 UI 방식에서 손가락이나 터치용 전자 펜 등을 이용하여 화면을 직접 터치하거나 음성을 이용하여 정보를 입력하는 직관적 UI 방식으로 점차 진화하고 있다.

뿐만 아니라 UI 기술은 사용자의 편의를 고려할 뿐만 아니라 직관적이면서 인간 중심의 개발이 이루어지고 있다. 그 대표적인 UI 기술로 사용자가 음성으로 휴대용 전자 기기와 대화하고, 이를 통해 원하는 정보를 입력하거나 원하는 정보를 얻는 것이 가능하게 되었다.

그리고 대표적인 사용자의 휴대용 전자 기기인 스마트 폰에는 다양한 어플리케이션을 설치하고, 상기 설치한 어플리케이션을 통해 새로운 기능을 이용할 수 있는 것이 일반적이다.

하지만 스마트 폰에 설치된 어플리케이션은 단독으로 구동하는 것이 일반적임에 따라, 복수의 어플리케이션이 연동하여 새로운 기능 또는 결과를 사용자에게 제공하는 것이 일반적이지는 않았다.

예컨대 스케줄 관리를 지원하는 어플리케이션에서 직관적 UI를 지원하는 사용자 단말이라 하더라도, 해당 어플리케이션에서 지원하는 UI만을 이용하여 정보를 입력할 수 있었다.

또한 터치 패널 또는 터치 패널을 이용하여 메모 기능을 지원하는 사용자 단말에서 사용자가 손가락, 전자 펜 등의 입력 수단을 이용하여 정보를 메모하는 용도로만 주로 활용할 뿐 메모 내용을 다른 어플리케이션에 연계하여 활용하는 방안을 마련하고 있지 않았다.

본 발명은 사용자 단말에서 필기 기반의 사용자 인터페이스를 이용하여 사용자와의 정보를 교환하는 장치 및 방법을 제공한다. 또한 본 발명은 터치 패널을 포함하는 전자장치에서 필기 인식을 이용하여 실행중인 어플리케이션의 기능을 제어하는 장치 및 방법을 제공한다. 특히 사용자가 터치 패널에 입력한 필기 이미지를 인식하여 현재 실행중인 어플리케이션의 기능을 제어하는 장치 및 방법을 제공한다. 사용자 단말은 터치 패널을 포함하는 전자장치이다. 터치 패널은 터치 패널로도 불리우며, 그래픽과 텍스트를 표시하고 사용자가 장치와 상호 작용하는 사용자 인터페이스를 제공하도록 여러 전자 장치에 사용되고 있다. 또한 본 발명은 사용자 단말에서 필기 기반의 메모 기능을 이용하여 소정의 명령을 실행시키는 사용자 인터페이스 장치 및 이를 지원하는 방법을 제공한다.

또한 본 발명은 사용자 단말에서 필기 기반의 메모 기능을 이용하여 문답이 가능한 사용자 인터페이스 장치 및 이를 지원하는 방법을 제공한다.

또한 본 발명은 사용자 단말에서 화면 상에 표시된 메모 내용에서 선택된 전체 또는 일부 메모를 처리하기 위한 명령을 메모 기능을 이용하여 입력 받는 사용자 인터페이스 장치 및 방법을 제공한다.

또한 본 발명은 전자 펜을 이용한 메모 기능을 지원하는 사용자 단말에서 메모 모드와 명령 처리 모드의 전환을 지원하는 사용자 인터페이스 장치 및 방법을 제공한다.

또한 본 발명은 사용자 단말에서 소정의 어플리케이션이 구동되고 있는 상황에서 메모 기능에 의해 상기 구동되고 있는 어플리케이션 또는 다른 어플리케이션을 제어하기 위한 명령을 입력하는 것이 가능한 사용자 인터페이스 장치 및 방법을 제공한다.

또한 본 발명은 사용자 단말에서 사용자의 메모 패턴을 분석하고, 상기 분석한 메모 패턴을 고려하여 메모 기능에 의해 입력되는 정보를 판단하는 사용자 인터페이스 장치 및 방법을 제공한다.

본 발명의 실시 예에 따른 필기 기반의 메모 기능을 지원하는 사용자 단말에서의 사용자 인터페이스 방법은, 특정 어플리케이션이 실행 중에 있고, 사용자의 요청에 의해 필기가 가능한 메모 계층을 상기 특정 어플리케이션이 실행 중인 화면 위에 중첩(오버랩)하여 표시하며, 상기 사용자에 의해 상기 메모 계층에 필기되는 내용을 기반으로 상기 사용자의 의도를 인지하고, 상기 인지한 사용자의 의도에 따라 상기 특정 어플리케이션의 동작을 제어한다. 메모 계층은 메모 창으로 구현될 수 있으며, 이하의 상세한 설명에서 메모 계층과 메모 창은 동일한 의미로 사용될 것이다.

또한 본 발명의 실시 예에 따른 필기 기반의 메모 기능을 지원하는 사용자 단말에서의 사용자 인터페이스 장치는, 특정 어플리케이션이 실행 중에 있고, 사용자의 요청에 의해 필기가 가능한 메모 계층을 상기 특정 어플리케이션이 실행 중인 화면 위에 오버 랩하여 표시하며, 상기 사용자에 의해 상기 메모 계층에 필기되는 내용을 기반으로 상기 사용자의 의도를 인지하고, 상기 인지한 사용자의 의도에 따라 상기 특정 어플리케이션의 동작을 제어한다. 여기서 사용자 인터페이스 장치는 터치 패널을 포함하는 전자장치이다.

또한 본 발명의 실시 예에 따른 터치 패널을 포함하는 전자장치의 어플리케이션 제어 방법은, 실행중인 어플리케이션을 상기 터치 패널에 표시하는 단계, 상기 터치 패널에서 미리 결정된 제스처를 검출하는 단계, 상기 검출된 제스처에 응답하여, 상기 어플리케이션에 중첩하여 표시되며, 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창을 표시하는 단계, 상기 메모 창의 필기 입력 영역에 필기 이미지를 입력 받는 단계, 상기 입력된 필기 이미지를 인식하는 단계, 상기 인식 결과에 따라, 상기 어플리케이션의 기능을 제어하는 단계를 포함할 수 있다.

여기서 상기 메모 창의 상기 필기 입력이 불가능한 영역에는 상기 어플리케이션으로부터 제공 받은 문자 및 이미지가 표시될 수 있다.

또한 상기 메모 창은 상기 문자 및 이미지 위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기이미지를 인식해서 상기 필기이미지에 대응하는 텍스트로 변환하고, 상기 변환된 텍스트를 상기 어플리케이션에 제공할 수 있다.

또한 상기 어플리케이션은 상기 메모 창으로부터 제공받은 텍스트를 상기 어플리케이션의 기능을 제어하는 명령어(command word) 및 상기 명령어와 관련된 데이터로 구분하는 단계를 더 포함할 수 있다.

또한 본 발명의 실시 예에 따른 터치 패널을 포함하는 전자장치의 어플리케이션 제어 방법은, 실행중인 어플리케이션과 관련된 정보를 나타내는 나타내는 그래픽 오브젝트 및 상기 어플리케이션의 기능을 제어하기 위한 버튼을 상기 터치 패널에 표시하는 단계, 상기 버튼 위에 터치가 검출되면 상기 버튼에 대응하는 상기 어플리케이션의 기능을 제어하는 단계, 상기 터치 패널에 미리 결정된 제스처가 검출되면 상기 터치 패널에 표시된 그래픽 오브젝트 및 상기 버튼에 중첩하여 표시되며, 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창을 표시하는 단계, 상기 메모 창의 필기 입력 영역에 필기 이미지를 입력 받는 단계, 상기 입력된 필기 이미지를 인식하는 단계, 상기 인식 결과에 따라, 상기 어플리케이션의 기능을 제어하는 단계를 포함할 수 있다.

여기서, 상기 메모 창의 상기 필기 입력이 불가능한 영역에는 상기 어플리케이션으로부터 제공 받은 문자 및 이미지가 표시될 수 있다.

여기서 상기 메모 창은 상기 문자 또는 이미지 위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기이미지를 인식해서 상기 필기이미지에 대응하는 텍스트로 변환하고, 상기 변환된 텍스트를 상기 어플리케이션에 제공할 수 있다.

또한 상기 버튼 위에 상기 메모 창이 표시되면 상기 버튼은 비활성화 된다.

본 발명의 또 다른 실시 예에 따른 터치 패널을 포함하는 전자장치의 어플리케이션 제어 방법은, 터치 입력에 의해 실행중인 어플리케이션의 기능을 제어하는 제 1 모드, 상기 어플리케이션 실행 중에 상기 터치 패널 위에서 발생되는 미리 결정된 제스처를 식별하고, 식별결과에 대응하여 필기 입력이 가능한 메모 창을 상기 어플리케이션과 중첩하여 표시하고, 상기 메모 창에 입력된 필기 이미지를 인식하여 상기 실행중인 어플리케이션의 기능을 제어하는 제 2 모드를 포함할 수 있다.

또한, 상기 제 2 모드 상태에서는 상기 제 1 모드가 수행되지 않도록 할 수 있다.

또한 본 발명의 또 다른 실시 예에 따른 전자장치는 터치를 감지하는 터치 패널, 실행중인 어플리케이션을 상기 터치 패널에 표시하고, 상기 터치 패널에서 검출된 미리 결정된 제스처에 응답하여, 상기 어플리케이션에 중첩하여 표시되며, 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창을 표시하고, 상기 메모 창의 필기 입력 영역에 입력된 필기 이미지를 인식하고, 상기 인식 결과에 따라 상기 어플리케이션의 기능을 제어하는 제어부를 포함할 수 있다.

상기 제어부는 상기 메모 창의 상기 필기 입력이 불가능한 영역에 상기 어플리케이션으로부터 제공 받은 문자 및 이미지가 표시되도록 제어할 수 있다.

또한 상기 제어부는 상기 문자 및 이미지 위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기이미지를 인식해서 상기 필기이미지에 대응하는 텍스트로 변환하고, 상기 변환된 텍스트에 대응하는 상기 어플리케이션의 기능을 제어할 수 있다.또한 상기 제어부는 상기 텍스트를 상기 어플리케이션의 기능을 제어하는 명령어(command word) 및 상기 명령어와 관련된 데이터로 구분할 수 있다.

본 발명의 또 다른 실시 예에 따른 전자장치는 터치를 감지하는 터치 패널, 실행중인 어플리케이션과 관련된 정보를 나타내는 그래픽 오브젝트 및 상기 어플리케이션의 기능을 제어하기 위한 버튼을 상기 터치 패널에 표시하고, 상기 버튼 위에 터치가 검출되면 상기 버튼에 대응하는 상기 어플리케이션의 기능을 제어하고, 상기 터치 패널에 미리 결정된 제스처가 검출되면 상기 터치 패널에 표시된 그래픽 오브젝트 및 상기 버튼에 중첩하여 표시되며, 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창을 표시하며, 상기 메모 창의 필기 입력 영역에입력된 필기 이미지를 인식하고, 상기 인식 결과에 따라 상기 어플리케이션의 기능이 수행되도록 제어하는 제어부를 포함할 수 있다.

상기 제어부는 상기 메모 창의 상기 필기 입력이 불가능한 영역에는 상기 어플리케이션으로부터 제공 받은 문자 또는 이미지가 표시되도록 제어할 수 있다. 또한 상기 제어부는 상기 메모 창에 표시된 상기 문자 또는 이미지 위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기이미지를 인식해서 상기 필기이미지에 대응하는 텍스트로 변환하고, 상기 변환된 텍스트에 대응하는 상기 어플리케이션의 기능을 제어할 수 있다. 또한 상기 제어부는 상기 버튼 위에 중첩하여 상기 메모 창이 표시되면 상기 버튼이 비활성화 되도록 제어할 수 있다.

본 발명의 또 다른 실시 예에 따른 전자장치는 터치를 감지하는 터치 패널, 터치 입력에 의해 실행중인 어플리케이션의 기능을 제어하는 제 1 모드 및 상기 어플리케이션 실행 중에 상기 터치 패널 위에서 발생되는 미리 결정된 제스처를 식별하고, 식별결과에 대응하여 필기 입력이 가능한 메모 창을 상기 어플리케이션과 중첩하여 표시하고, 상기 메모 창에 입력된 필기 이미지를 인식하여 상기 실행중인 어플리케이션의 기능을 제어하는 제 2 모드로 동작되도록 상기 어플리케이션을 제어하는 제어부를 포함할 수 있다.

본 발명의 또 다른 실시 예에 따른 전자장치는 터치를 감지하는 터치 패널,상기 터치 패널에 실행중인 어플리케이션과 관련된 정보를 나타내는 그래픽 오브젝트 및 상기 어플리케이션의 기능을 제어하기 위한 버튼을 표시하고, 상기 버튼이 터치되면 상기 버튼에 대응하는 어플리케이션의 기능이 수행되도록 제어하고, 상기 터치 패널에 미리 결정된 제스처가 입력되면 상기 그래픽 오브젝트 및 상기 버튼이 표시된 화면에 중첩하여 필기 입력이 가능한 메모 창을 표시하고, 상기 메모 창을 통해 입력된 필기 이미지를 인식하여, 상기 인식결과에 따라 상기 어플리케이션의 기능이 수행되도록 제어하는 제어부를 포함할 수 있다. 여기서 메모 창은 메모 계층일 수 있다. 또한 터치 스크린은 터치패널일 수 있다.

본 발명에서는 사용자 단말에서 전자 펜 등을 이용한 메모 기능의 사용을 활성화할 수 있을 것이다. 또한 사용자에게 직관적인 인터페이스를 제공함으로써, 사용자가 거부감 없이 사용자 단말에서 지원되는 기능을 이용할 수 있게 한다.

그 외에 본 발명의 실시 예로 인해 얻을 수 있거나 예측되는 효과에 대해서는 본 발명의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 즉 본 발명의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.

도 1은 본 발명의 실시 예에 따른 필기 기반 NLI 기술을 지원하기 위한 사용자 단말의 구성을 보이고 있는 도면;
도 2는 본 발명의 실시 예에 따른 사용자 단말에서 필기 기반 NLI 기술을 지원하기 위한 명령 처리부(120)의 구성 예를 보이고 있는 도면;
도 3은 본 발명의 실시 예에 따른 사용자 단말에서 필기 기반 NLI 기술을 이용한 사용자 인터페이스를 지원하기 위한 제어 흐름을 보이고 있는 도면;
도 4는 메모 기능을 사용하여 특정 어플리케이션 또는 특정 기능에 따른 동작을 요청하는 예들을 보이고 있는 도면;
도 5는 본 발명의 실시 예를 위한 실제 사용자의 메모 패턴의 일 예를 보이고 있는 도면;
도 6은 하나의 기호가 다양한 의미로 해석될 수 있는 일 예를 보이고 있는 도면;
도 7은 문자와 기호가 결합된 입력 정보를 상기 기호에 따라 다른 의미로 해석할 수 있는 예를 보이고 있는 도면;
도 8은 기호학에서 기호들이 활용되고 있는 예를 보이고 있는 도면;
도 9는 기계/전기/컴퓨터 분야 및 화학 분야에서 기호들이 활용되고 있는 예를 보이고 있는 도면;
도 10 내지 도 17은 본 발명의 실시 예에 따른 사용자 인터페이스 기술에 의한 동작 시나리오들을 보이고 있는 도면;
도 18은 본 발명의 실시 예에 따른 사용자 단말에서 메모 기능을 이용하여 구동 어플리케이션을 제어하는 구성을 보이고 있는 도면;
도 19는 본 발명의 실시 예에 따른 사용자 단말에서 메모 계층을 호출하여 하위 어플리케이션을 제어하기 위한 제어 흐름을 보이고 있는 도면;
도 20은 본 발명의 실시 예에 따른 사용자 단말에서 메모 계층을 호출하기 위한 일 예를 보이고 있는 도면;
도 21은 본 발명의 실시 예에 따라 사용자 단말에서 화면에 표시된 메모 계층에서 사용자에 의해 필기된 다양한 예를 보이고 있는 도면;
도 22는 본 발명의 실시 예에 따른 사용자 단말에서 특정 어플리케이션이 실행되고 있는 상황에서 메모 계층을 이용하여 실행 중인 특정 어플리케이션을 제어하는 구현 예를 보이고 있는 도면;
도 23 내지 도 28은 소정의 어플리케이션이 구동된 후에 메모 기능에 지원하는 어플리케이션을 호출하여 상기 구동된 어플리케이션을 동작 시키는 시나리오의 예들을 보이고 있는 도면;
도 29와 도 30는 기호학과 관련한 시나리오의 예들을 보이고 있는 도면;
도 31은 본 발명의 실시 예에 따른 터치 패널을 포함한 전자장치에서 하위 어플리케이션이 실행되는 상태에서 메모 계층(Memo Layer)를 실행하여 필기를 입력받는 제어 흐름을 보이고 있는 도면;
도 32 내지 도 36은 본 발명의 실시 예에 따른 터치 패널을 포함한 전자장치에서 하위 어플리케이션이 실행되고 있는 상태에서 메모 창을 이용하여 실행중인 하위 어플리케이션을 제어하는 동작 시나리오를 보이고 있는 도면;
도 37a 및 도 37b는 본 발명의 실시 예에 따른 하위 어플리케이션과 메모 계층(메모 창) 어플리케이션에 포함되는 소프트웨어 모듈을 보이고 있는 도면

이하 본 발명에 따른 상세한 설명에서는 상술한 기술적 과제를 이루기 위한 대표적인 실시 예를 제시할 것이다. 또한, 본 발명에 대한 설명의 편의를 위하여 정의하고 있는 개체들의 명칭들을 동일하게 사용할 수 있다. 하지만 설명의 편의를 위해 사용된 명칭들이 본 발명에 따른 권리를 한정하는 것은 아니며, 유사한 기술적 배경을 가지는 시스템에 대해 동일 또는 용이한 변경에 의해 적용이 가능함은 물론이다.

후술될 본 발명의 실시 예에서는 사용자 단말에 자연어 인터페이스 (NLI: Natural Language Interaction)로 필기 기반의 UI 기술 (이하 '필기 기반 NLI 기술'이라 칭함)을 적용하여, 상기 필기 기반 NLI 기술이 적용된 사용자 단말에서 메모 기능을 이용하여 사용자와의 문답 절차를 수행하는 것이 가능하도록 한다.

여기서 상기 NLI 기술은 이해와 생성 능력을 보통 포함하는데, 이런 기능은 입력한 것을 컴퓨터가 이해하고, 사람이 이해하기 쉽게 텍스트를 표시할 수 있게 해준다. 이와 같이 인간과 전자 기기 간에 자연어로 대화를 하게 해주는 자연 언어 이해의 한 응용이라 할 수 있다.

예컨대 사용자 단말에서 필기 기반 NLI 기술을 이용하여 사용자에 의해 입력되는 명령을 수행하거나 상기 입력된 명령을 수행하기 위해 필요한 정보를 문답 절차를 통해 사용자로부터 획득한다.

이와 같이 본 발명에서 필기 기반 NLI 기술을 사용자 단말에 적용하기 위해 바람직하기로는, 메모 모드와 명령 처리 모드 상호 간의 전환이 필기 기반 NLI 기술을 통해 유기적으로 수행될 수 있어야 할 것이다. 상기 메모 모드는 사용자 단말에서 구동중인 어플리케이션에 의해 지원되는 화면 상에서 손가락, 전자 펜 등의 입력 수단을 이용한 메모를 지원하는 상태를 포함한다. 또한 상기 명령 처리 모드는 메모 모드를 통해 입력된 메모 내용을 현재 구동되고 있는 어플리케이션에 따른 정보와 연동하여 처리하는 동작을 지원한다.

한편 상기 메모 모드와 명령 처리 모드 상호 간의 전환 방법의 일 예로 전자 펜에 구비된 버튼의 눌림, 즉 하드웨어적인 신호의 발생에 의한 모드 전환이 가능할 수 있다.

이하 설명에서는 전자 펜을 메모 기능을 지원하기 위한 대표적인 입력 수단으로써 설명할 것이다. 하지만 하기에서의 설명에 따른 본 발명이 입력 수단으로 전자 펜을 사용하는 사용자 단말에만 적용 가능한 것은 아니다. 다시 말해, 본 발명에서 제안하고 있는 모든 실시 예들은 터치 패널 상에서 정보의 입력이 가능한 어떠한 수단이라도 입력 수단으로 사용될 수 있음은 자명하다.

그리고 본 발명에서 필기 기반 NLI 기술을 이용하여 사용자 단말이 사용자와의 문답에 의해 원하는 정보를 입력 받고, 이를 처리한 결과를 사용자에게 제공하기 위해서는 사전에 상호 약속에 의한 정보를 공유하는 것이 바람직하다. 예컨대 동작 모드의 전환을 요청하기 위해 기호, 패턴, 문자, 이들의 조합 중 적어도 하나를 사용할 것을 약속하거나 동작 인식 기능을 통해 하나의 동작을 사용할 것을 약속할 수 있다. 이때 요청될 대표적인 동작 모드의 전환은 메모 모드에서 명령 처리 모드 또는 명령 처리 모드에서 메모 모드로의 전환이 될 수 있다.

한편 상기 기호, 패턴, 문자, 이들의 조합 등에 상응한 입력 정보를 약속할 시에 사용자의 메모 패턴 등을 분석하고, 상기 분석한 결과를 고려하여 결정하는 것이 바람직할 수 있다. 이는 사용자가 원하는 정보를 직관적으로 입력할 수 있는 편리함을 제공할 것이다.

후술될 본 발명에 따른 상세한 설명에서는 다양한 어플리케이션이 구동된 상황에서 필기 기반 NLI 기술을 적용하여 메모 기능을 통해 상기 구동중인 어플리케이션을 제어하고, 그 결과를 출력하는 시나리오들을 서로 다른 실시 예로써 상세히 설명할 것이다.

예컨대 메모된 내용 중 전체 또는 일부를 선택하여 소정의 명령에 의해 처리하는 시나리오, 구동 중인 특정 어플리케이션의 화면에서 메모 기능을 이용하여 특정 정보를 입력하는 시나리오, 그 외에 필기 기반 NLI 기술을 사용한 문답 절차에 의해 특정 명령을 처리하는 시나리오 등에 대해 구체적으로 살펴볼 것이다.

이하에서 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명을 생략한다.

도 1은 본 발명의 실시 예에 따른 필기 기반 NLI 기술을 지원하기 위한 사용자 단말의 구성을 보이고 있다. 이때 도 1에서는 본 발명의 실시 예에 따른 필기 기반 NLI 기술을 지원하기 위해 사용자 단말에 구비되어야 하는 구성만을 도시하고 있으나, 그 외의 다른 기능을 위한 구성이 추가로 구비될 수 있음은 자명할 것이다. 뿐만 아니라 도 1에서 보이고 있는 각 구성은 하드웨어에 의한 구현 외에도 소프트웨어에 의한 기능 블록에 의한 구현도 가능함을 물론이다.

도 1을 참조하면, 어플리케이션 수행부(110)는 사용자의 요청에 의해 네트워크 또는 외부 인터페이스를 통해 제공되는 어플리케이션을 메모리 (별도로 도시하지 않음)와 연동하여 설치한다. 상기 어플리케이션 수행부(110)는 사용자의 요청에 의해 사전에 설치된 어플리케이션 중 하나를 구동시키고, 상기 구동 중인 어플리케이션을 외부의 명령을 기반으로 제어한다. 이때 상기 외부의 명령은 해당 어플리케이션이 구동함에 따라 자체적으로 발생하는 명령을 제외한 외부로부터 입력되는 대부분의 명령을 포함한다.

예컨대 상기 외부 명령은 네트워크를 통해 입력되는 정보에 의한 명령 외에 필기 기반 NLI 기술을 이용하여 사용자에 의해 입력되는 정보에 의한 명령을 포함한다. 하기에서는 설명의 편의를 위해 필기 기반의 NLI 기술을 이용하여 사용자에 의해 입력되는 정보에 의한 명령에 한정하여 설명할 것이다. 하지만 본 발명이 반드시 이에 한정되는 것이 아님에 유념하여야 한다.

상기 어플리케이션 수행부(110)는 특정 어플리케이션을 설치하거나 구동에 의한 결과를 필기 기반 NLI 기술을 기반으로 사용자에게 제공한다. 예컨대 상기 어플리케이션 수행부(110)는 터치 패널부(130)의 디스플레이 수단을 통해 특정 어플리케이션의 설치 또는 구동에 따른 결과를 출력한다. 터치 패널부(130)는 터치를 감지할 수 있다

상기 터치 패널부(130)는 필기 기반 NLI 기술의 적용에 따른 정보의 입/출력을 처리하는 구성으로써, 디스플레이 기능 및 입력 기능을 수행한다. 여기서 상기 디스플레이 기능은 어떠한 정보를 화면에 표시하기 위한 기능을 포괄적으로 의미하며, 상기 입력 기능은 사용자로부터 정보를 받아들이기 위한 기능을 포괄적으로 의미한다.

그러나 사용자 단말이 디스플레이 기능과 입력 기능을 위해 별도의 구성을 구비할 수 있음은 자명할 것이다. 일 예로 입력 기능을 위해 동작 인식을 위한 카메라 등을 추가로 구비하는 것이 가능하다.

하기에서는 설명의 편의를 위해 상기 터치 패널부(130)의 동작을 디스플레이 기능과 입력 기능을 구분하지 않고, 상기 터치 패널부(130)에 의해 처리되는 것을 전제로 하여 설명할 것이다. 상기 터치 패널부(130)는 사용자에 의해 입력되는 소정의 정보 또는 명령을 인지하고, 상기 인지한 정보 또는 명령을 어플리케이션 수행부(110) 및/또는 명령 처리부(120)로 전달한다.

이때 상기 정보는 사용자에 의해 작성된 메모에 관한 정보 또는 필기 기반 NLI 기술로 인한 문답 절차 시의 답변에 관한 정보가 될 수 있다. 그 외에 상기 정보는 현재 화면 상에 표시된 메모 내용 중 일부 또는 전부를 선택하기 위한 정보가 될 수도 있다.

상기 명령은 특정 어플리케이션의 설치를 요청하는 명령 또는 이미 설치된 어플리케이션들 중 특정 어플리케이션의 구동을 요청하는 명령이 될 수 있다. 그 외에 지정된 어플리케이션에 의해 지원되는 특정 동작, 기능 등의 실행을 요청하는 명령이 될 수도 있다.

한편 상기 정보 또는 명령은 문자 외에도 선, 기호, 패턴 및 이들의 조합 등의 형태로 입력될 수 있으며, 이러한 선, 기호, 패턴 등은 사전에 약속 또는 훈련을 통해 설정할 수 있을 것이다.

상기 터치 패널부(130)는 상기 어플리케이션 수행부(110)에 의한 특정 어플리케이션의 구동, 구동 중인 어플리케이션에서의 특정 기능 수행에 따른 결과를 화면에 표시한다.

또한 상기 터치 패널부(130)는 문답 절차에 따른 질문 또는 결과를 화면에 표시한다. 예컨대 사용자에 의해 특정 명령이 입력될 시, 상기 터치 패널부(130)는 상기 명령 처리부(120)로부터 제공되는 상기 입력된 특정 명령의 처리 결과 또는 상기 특정 명령을 처리하기 위해 추가로 필요한 정보를 확인하기 위한 질문을 표시한다. 그리고 상기 표시한 질문에 대한 응답으로 사용자에 의해 추가 정보가 입력될 시, 상기 터치 패널부(130)는 상기 입력된 추가 정보를 상기 명령 처리부(120)로 전달한다.

그 후 상기 터치 패널부(130)는 상기 명령 처리부(120)의 요청에 의해 또 다른 정보를 얻기 위한 추가 질문을 표시하거나 상기 추가로 입력된 정보를 반영한 상기 특정 명령의 처리 결과를 표시한다.

상기 명령 처리부(120)는 사용자에 의해 입력된 문자, 기호, 도형, 패턴 등을 상기 터치 패널부(130)로부터 전달받으며, 상기 전달받은 문자, 기호, 도형, 패턴 등에 의해 사용자가 전달하고자 하는 내용을 확인한다.

일 예로 상기 명령 처리부(120)는 전달된 문자, 기호, 도형, 패턴 등에 대한 자연어 처리를 통해 사용자가 전달하고자 하는 내용을 확인할 수 있다. 상기 자연어 처리를 위해 필기 기반의 NLI 기술이 적용된다. 상기 사용자가 전달하고자 하는 내용은 특정 어플리케이션을 구동 또는 현재 구동 중인 어플리케이션에서의 특정 기능 수행에 대한 명령어 또는 질의에 대한 답변 등을 포함한다.

상기 명령 처리부(120)는 상기 사용자에 의해 전달하고자 하는 내용이 어떠한 동작을 지시하는 명령어라고 판단될 시, 상기 판단된 명령어를 처리한다. 즉 상기 명령 처리부(120)는 판단된 명령어에 의해 상기 어플리케이션 수행부(110)로 특정 어플리케이션을 구동시킬 것을 지시하거나 현재 구동 중인 어플리케이션에서 특정 기능을 수행할 것을 지시할 수 있다. 이 경우 상기 명령 처리부(120)는 상기 지시에 따른 처리 결과를 상기 어플리케이션 수행부(110)로부터 제공받으며, 이를 상기 터치 패널부(130)로 제공한다.

물론 상기 어플리케이션 수행부(110)는 상기 처리 결과를 상기 명령 처리부(120)가 아닌 상기 터치 패널부(130)로 직접 제공할 수도 있다.

한편 상기 판단된 명령어를 처리하기 위해 추가 정보가 필요한 경우, 상기 명령 처리부(120)는 추가 정보를 얻기 위한 질문을 생성하고, 상기 생성한 질문을 상기 터치 패널부(130)로 제공한다. 그 후 상기 명령 처리부(120)는 상기 제공한 질문에 대한 답을 상기 터치 패널부(130)로부터 제공받을 것이다.

상기 명령 처리부(120)는 상기 판단된 명령어를 처리하기 위해 충분한 정보를 획득할 때까지 상기 터치 패널부(130)를 통한 사용자와의 문답, 즉 대화를 지속할 것이다. 즉 명령 처리부(120)는 상기 터치 패널부(130)를 통한 문답 절차를 반복적으로 수행할 수 있다.

상술한 바와 같은 동작을 위해 상기 명령 처리부(120)는 상기 터치 패널부(130)와의 연동에 의해 필기 기반 NLI 기술을 채용한다. 즉 필기를 기반으로 하는 자연어 인터페이스를 이용하여 메모 기능에 의해 사용자와 전자 기기간의 문답, 즉 대화가 가능하도록 한다. 그리고 상기 대화를 통해 사용자 단말은 사용자의 명령을 처리하거나 그 처리 결과를 사용자에게 제공한다.

또한 상기 터치 패널부(130)는 터치를 감지할 수 있다. 어플리케이션 수행부(110)와 명령 처리부(120)는 제어부(미도시)에 포함되거나, 제어부 자체가 상기 명령어 처리부(120) 및 어플리케이션 수행부(110)의 동작을 처리하도록 구현될 수 있다. 상기 제어부는 실행중인 어플리케이션을 상기 터치 패널에 표시하고, 상기 터치 패널에서 검출된 미리 결정된 제스처에 응답하여, 상기 어플리케이션에 중첩하여 표시되며, 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창을 표시할 수 있다. 필기 입력 영역에서는 사용자의 터치 입력이 감지될 수 있다. 필기 입력이 불가능한 영역에서는 사용자의 터치 입력이 무시될 수 있다. 미리 결정된 제스처는 사용자가 손가락 또는 전자 펜을 이용하여 터치 패널을 터치 드래그하는 동작이 될 수 있다. 미리 결정된 제스처는 사용자가 터치 패널위에 손가락 또는 전자 펜을 사용하여 특정 모양이나 패턴을 표시하는 동작일 수 있다.

제어부는 상기 메모 창의 필기 입력 영역에 입력된 필기 이미지를 인식하고, 상기 인식 결과에 따라 상기 어플리케이션의 기능이 수행되도록 제어할 수 있다.

사용자가 메모 창의 필기 입력 영역에 필기를 하면 제어부는 입력된 필기 이미지를 인식하고 이에 대응한 텍스트를 출력할 수 있다.

필기 이미지는 사용자가 전자 펜을 이용하여 터치 패널에 글씨를 쓰는 동작에 의해 생성될 수 있다. 메모 창은 고유의 이름을 가지고 있는데, 메모 창의 이름은 실행중인 어플리케이션에 따라 다르다. 즉, 현재 실행중인 어플리케이션이 메모 창에 표시될 메모 창의 이름에 대한 정보를 가지고 있다.

제어부는 상기 메모 창의 상기 필기 입력이 불가능한 영역에 상기 어플리케이션으로부터 제공받은 문자 및 도형 이미지가 표시되도록 제어할 수 있다. 상기 문자는 메모 창의 이름이 될 수 있다. 상기 도형 이미지는 아이콘이 될 수 있다.

사용자가 도형 이미지를 터치하면, 메모 창이 사라질 수 있다. 즉, 아이콘은 사용자가 조작할 수 있는 버튼과 동일하다.

제어부는 상기 문자 또는 도형위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기이미지를 인식해서 상기 필기이미지에 대응하는 텍스트로 변환하고, 상기 변환된 텍스트에 대응하여 상기 어플리케이션의 기능을 제어할 수 있다. 상기 텍스트는 명령어가 되거나 또는 명령어를 실행하는데 사용되는 데이터가 될 수 있다.

제어부는 상기 텍스트를 상기 어플리케이션의 기능을 제어하는 명령어 및 상기 명령어와 관련된 데이터로 구분할 수 있다.

또한 본 발명의 실시예에 따른 전자장치는 터치를 감지하는 터치 패널과 제어부를 포함할 수 있다. 제어부는 실행중인 어플리케이션과 관련된 정보를 나타내는 그래픽 오브젝트 및 상기 어플리케이션의 기능을 제어하기 위한 버튼이 상기 터치 패널위에 표시되도록 제어할 수 있다. 어플리케이션이 실행되면 문자 또는 이미지로 구성되는 그래픽 오브젝트가 터치 패널위에 표시될 수 있다. 또한 어플리케이션의 기능을 제어하기 위해 사용자로부터 명령을 입력받을 수 있는 버튼이 터치 패널위에 표시될 수 있다. 사용자가 버튼을 터치하면 버튼에 할당된 명령이 어플리케이션으로 전달된다.

제어부는 버튼위에 터치가 검출되면 상기 버튼에 대응하는 상기 어플리케이션의 기능을 제어할 수 있다. 또한 제어부는 상기 터치 패널에 미리 결정된 제스처가 검출되면 상기 터치 패널에 표시된 그래픽 오브젝트 및 상기 버튼에 중첩하여 메모 창을 표시할 수 있다. 예컨대, 사용자가 터치 패널 위에 드래그를 하면 메모 창이 표시될 수 있다.

메모 창은 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함할 수 있다. 제어부는 상기 메모 창의 필기 입력 영역에 입력된 필기 이미지를 인식하고, 상기 인식 결과에 따라 상기 어플리케이션의 기능이 수행되도록 제어할 수 있다.

상기 제어부는 상기 메모 창의 상기 필기 입력이 불가능한 영역에는 상기 어플리케이션으로부터 제공 받은 문자 및 도형, 이미지가 표시되도록 제어할 수 있다.

상기 제어부는 상기 메모 창에 표시된 상기 문자 또는 도형위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기이미지를 인식해서 상기 필기이미지에 대응하는 제 1 텍스트로 변환하고, 상기 변환된 제 1 텍스트에 대응하여 상기 어플리케이션의 기능을 제어할 수 있다. 제 1 텍스트는 필기 이미지 인식결과로부터 얻어지는 텍스트이다.

또한 상기 제어부는 상기 버튼의 기능을 나타내는 제 2 텍스트를 상기 버튼에 표시하고, 상기 제 1 텍스트가 상기 버튼에 표시된 제 2 텍스트와 일치하거나 또는 일부분이 동일한 것으로 판단하면, 상기 버튼에 대응하는 상기 어플리케이션의 기능을 수행 할 수 있다. 제 1 텍스트와 제 2 텍스트는 완전히 일치할 수 있다. 제 1 텍스트와 제 2 텍스트는 일부분이 일치할 수 있다. 예컨대, 사용자가 입력한 필기 이미지를 인식한 제 1 텍스트의 결과값이 'delete' 이고, 버튼에 표시되어 있는 제 2 텍스트가 'delete item' 이면, 제 1 텍스트는 제 2 텍스트와 일부분이 일치한다. 이 경우 제어부는 제 1 텍스트에 대응하는 어플리케이션의 기능중 'delete' 명령이 실행되도록 제어할 수 있다.

또한 상기 제어부는 상기 버튼위에 중첩하여 상기 메모 창이 표시되면 상기 버튼이 비활성화 되도록 제어할 수 있다. 메모 창은 반투명상태로 표시될 수 있으며, 메모 창에 의해 버튼이 가려지기 때문에 제어부는 버튼을 비활성화시키며, 버튼이 표시되는 위치에서 검출되는 터치 입력을 무시할 수 있다.

또한 본 발명의 실시예에 따른 전자장치는, 터치를 감지하는 터치 패널, 상기 터치 패널에 실행중인 어플리케이션과 관련된 정보를 나타내는 그래픽 오브젝트 및 상기 어플리케이션의 기능을 제어하기 위한 버튼을 표시하고, 상기 버튼이 터치되면 상기 버튼에 대응하는 어플리케이션의 기능이 수행되도록 제어하고, 상기 터치패널에 미리 결정된 제스처가 입력되면 상기 그래픽 오브젝트 및 상기 버튼이 표시된 화면에 중첩하여 필기 입력이 가능한 메모 창을 표시하고, 상기 메모 창을 통해 입력된 필기 이미지를 인식하여, 상기 인식결과에 따라 상기 어플리케이션의 기능이 수행되도록 제어할 수 있다.

도 2는 본 발명의 실시 예에 따른 사용자 단말에서 필기 기반 NLI 기술을 지원하기 위한 명령 처리부(120)의 구성 예를 보이고 있다.

도 2를 참조하면, 필기 기반 NLI 기술을 지원하는 명령 처리부(120)는 인지 엔진 (Recognition Engine)(210)과 NLI 엔진 (NLI Engine)(220)을 포함한다.

상기 인지 엔진(210)은 인지 관리 모듈 (Recognition Manager Module)(212), 원격 인지 의뢰 모듈 (Remote Recognition Client Module)(214), 지역 인지 모듈 (Local Recognition Module)(216)을 포함한다. 상기 지역 인지 모듈(216)은 필기 인지 블록 (Handwriting Recognition Block), 광 문자 인지 블록 (Optical Character Recognition Block), 동작 인지 블록 (Object Recognition Block)로 구성된다.

상기 NLI 엔진(220)은 대화 모듈 (Dialog Module)(222)과 지능 모듈 (Intelligence Module)(224)을 포함한다. 상기 대화 모듈(222)은 대화 흐름을 제어하기 위한 대화 관리 블록 및 사용자의 의도를 파악하기 위한 자연어 이해 블록으로 구성된다. 상기 지능 모듈(224)은 사용자 선호도를 반영하기 위한 사용자 모델링 블록, 일반 상식을 반영하기 위한 상식 추론 블록 및 사용자 상황을 반영하기 위한 컨텐츠 관리 블록으로 구성된다.

상기 인지 엔진(210)은 전자 펜 등의 입력 수단에 상응한 그리기 엔진 (Drawing Engine)과 카메라 등의 지능 입력 플랫폼 (Intelligent Input Platform)에 의한 정보를 입력으로 할 수 있다. 여기서 지능 입력 플랫폼(미도시)은 OCR(Optical character reader) 등과 같은 광학식 문자 인식기 등이 될 수 있으며, 인쇄된 문자 또는 사람이 손으로 쓴 문자나 숫자 또는 다른 기호의 형태를 갖는 정보를 읽어 인지 엔진(210)으로 제공할 수 있다. 그리기 엔진은 손가락, 물체, 펜 등 각종 입력 수단에 의한 입력을 받기 위한 구성 요소로서, 입력 수단에 의한 입력 정보를 감지하여 인지 엔진(210)으로 제공할 수 있다. 이에 따라 인지 엔진(210)은 지능 입력 플랫폼(미도시) 및 터치 패널부(130)로부터 정보를 입력받아 각종 정보를 인식할 수 있다.

본 발명의 실시 예에서는 입력 수단인 터치 패널부(130)에 의한 입력을 받아 터치 패널부(130)가 터치 입력 인식 정보와 펜 입력 인식 정보를 인지 엔진(210)으로 제공하는 경우를 예를 들어 설명한다.

본 발명의 실시 예에 따르면, 상기 인지 엔진(210)은 정보로 입력된 문자, 선, 기호, 패턴, 도형, 이들의 조합 등으로부터 현재 표시된 메모 내용 중 사용자에 의해 선택된 일부 또는 전체 영역의 메모 내용을 인식하거나 사용자에 의해 지시된 명령을 인식한다. 이때 사용자에 의해 지시된 명령은 미리 정해진 입력으로서 미리 약속된 기호, 패턴, 문자, 이들의 조합 중 적어도 하나 또는 동작 인식 기능을 통해 사전에 약속된 적어도 하나의 동작이 될 수 있다.

상기 인지 엔진(210)은 상술한 바에 의해 얻은 인식 결과 (Recognized Result)를 출력한다.

이를 위해 상기 인지 엔진(210)는 입력 정보로부터 인식 결과를 출력하기 위한 전반적인 제어를 처리하는 인지 관리 모듈(212), 원격 인지 의뢰 모듈(214) 및 입력 정보를 인지하기 위한 지역 인지 모듈(216)을 포함한다. 상기 지역 인지 모듈(216)은 필기를 기반으로 입력되는 정보를 인지하는 필기 인지 블록(215-1)과, 입력되는 광학식 신호로부터 정보를 인지하는 광 문자 인지 블록(215-2) 및 입력되는 동작 등으로부터 정보를 인지하는 동작 인지 블록(215-3)을 적어도 포함한다.

필기 인지 블록(215-1)은 필기를 기반으로 입력되는 정보를 인지한다. 예를 들면, 필기 인지 블록(215-1)은 메모 화면에 펜(20)에 의해 필기된 내용을 인식한다. 구체적으로 필기 인지 블록(215-1)은 터치 패널부(130)로부터 메모 화면에 터치되는 포인트들의 좌표값을 입력받아, 상기 터치된 포인트들의 좌표값을 스트로크로 저장하고, 상기 스트로크를 이용하여 스트로크 어레이를 생성한다. 그리고 필기 인지 블록(215-1)은 미리 저장된 필기 라이브러리와 상기 생성된 스트로크 어레이 리스트를 이용하여 필기된 내용을 인식한다. 또한 필기 인지 블록(215-1) 인식된 내용 중 메모 내용 및 명령에 해당하는 인식 결과 값을 출력한다.

광 문자 인지 블록(215-2)은 광 감지 모듈에 의해 감지된 광신호를 입력받아 광문자를 인지하고, 인지 결과 광문자 인식 결과값을 출력한다. 동작 인지 블록(215-3)은 동작 감지 모듈에 의해 감지된 동작 감지 신호를 입력받아 동작을 인식하고, 동작 인식 결과값을 출력한다.

상기 필기 인지 블록, 광 문자 인지 블록 및 동작 인지 블록에 의해 인지된 인식 결과는 상기 NLI 엔진(220) 또는 어플리케이션 수행부(110)로 제공된다.

상기 NLI 엔진(220)은 상기 인지 엔진(210)으로부터 제공되는 인지 결과에 대한 분석 등의 처리를 통해 사용자의 의도를 파악한다. 즉 상기 NLI 엔진(220)은 상기 인지 엔진(210)으로부터 제공되는 인지 결과로부터 사용자가 입력하고자 하는 정보를 파악한다. 즉 상기 NLI 엔진(220)은 필기 기반 NLI 기술을 이용하여 사용자와의 문답에 의한 대화를 수행하여 충분한 정보를 수집하고, 상기 수집한 정보를 기반으로 사용자의 의도를 파악한다.

이를 위해 상기 NLI 엔진(220)을 구성하는 대화 모듈(222)은 사용자와의 대화를 위한 질문을 구성하고, 상기 구성한 질문을 사용자에게 전달하여 사용자로부터의 답변을 수신하기 위한 문답의 흐름을 제어한다. 상기 대화 모듈(222)은 문답을 통해 획득한 정보를 관리한다 (대화 관리 블록). 또한 상기 대화 모듈(222)은 상기 관리되고 있는 정보를 고려하여 최초 제공된 명령에 대한 자연어 처리를 통해 사용자의 의도를 이해한다 (자연어 이해 블록).

상기 NLI 엔진(220)을 구성하는 지능 모듈(224)은 자연어 처리를 통해 사용자의 의도를 파악하기 위해 참조될 정보를 생성하고, 이를 상기 대화 모듈(222)로 제공한다. 예컨대 상기 지능 모듈(224)은 메모 시에 사용자의 습관 등을 분석하여 사용자의 선호도를 반영하는 정보를 모델링 (사용자 모델링 블록)하거나 일반적인 상식을 반영하기 위한 정보를 추론 (상식 추론 블록)하거나 현재 사용자의 상황을 고려하는 정보를 관리 (컨텍스트 관리 블록)한다.

따라서 상기 NLI 엔진(220)을 구성하는 대화 모듈(222)은 상기 지능 모듈(224)로부터 제공되는 정보의 도움을 받아 사용자와의 문답 절차에 따른 대화의 흐름을 제어할 수 있다.

한편, 어플리케이션 수행부(110)는 상기 인지 엔진(210)으로부터 명령에 해당하는인식 결과를 수신하고, 상기 명령이 미리 저장된 유의어 테이블에 존재하는지 판단하여 상기 명령에 해당하는 유의어가 존재하면, 유의어에 해당하는 ID 값을 읽어온다. 그리고 어플리케이션 수행부(110)는 미리 정해진 메소드 테이블에서 상기 ID값에 해당하는 메소드를 실행한다. 이에 따라 상기 메소드가 상기 명령에 따른 어플리케이션을 실행시키고, 상기 어플리케이션에 상기 메모 내용이 전달된다. 어플리케이션 수행부(110)는 상기 메모 내용을 이용하여 해당 어플리케이션의 기능을 수행한다.

도 3은 본 발명의 실시 예에 따른 사용자 단말에서 필기 기반 NLI 기술을 이용한 사용자 인터페이스를 지원하기 위한 제어 흐름을 보이고 있다.

도 3을 참조하면, 사용자 단말은 310단계에서 특정 어플리케이션을 구동하고, 상기 구동 중인 특정 어플리케이션에 의한 기능을 제공한다. 상기 특정 어플리케이션은 사용자의 요청에 의해 사용자 단말에 설치된 어플리케이션 중 사용자에 의해 구동이 요청된 어플리케이션에 해당한다.

일 예로 사용자는 특정 어플리케이션을 사용자 단말에 의해 제공되는 메모 기능을 이용하여 구동시킬 수 있다. 즉 사용자 단말은 사용자의 요청에 의해 메모 계층 (memo layer)를 화면에 띄운 후 특정 어플리케이션의 식별 정보와 실행 명령에 상응한 정보가 입력될 시 상기 특정 어플리케이션을 검색하여 구동한다. 이와 같은 방안은 사용자 단말에 많은 어플리케이션이 설치된 경우에 원하는 어플리케이션의 빠른 실행을 위해 유용하게 사용될 것이다.

상기 특정 어플리케이션의 식별 정보의 대표적인 예는 해당 어플리케이션의 이름이 될 수 있으며, 상기 실행 명령에 상응한 정보는 어플리케이션의 구동을 명령하기 위해 사전에 설정된 도형, 기호, 패턴, 문자 등이 될 수 있다.

도 4는 메모 기능을 사용하여 특정 어플리케이션 또는 특정 기능에 따른 동작을 요청하는 예들을 보이고 있다.

도 4에서는 메모 기능을 이용하여 작성된 메모 내용 중 일부 내용을 선, 폐곡선, 도형 등을 사용하여 선택하고, 상기 선택한 일부 내용을 다른 어플리케이션을 사용하여 처리하는 예를 보이고 있다. 예컨대 선을 사용하여 '갤럭시노트 프리미엄스위트'라는 메모 내용을 선택하고, 상기 선택한 메모 내용을 문자 발송을 위한 어플리케이션을 사용하여 전송할 것을 명령한 일 예를 보이고 있다.

만약 사용자에 의해 입력된 어플리케이션과 일치하는 어플리케이션이 사용자 단말에 존재하지 않을 경우, 검색을 통해 유사 어플리케이션에 의한 후보 군을 사용자에게 제공할 수도 있다. 이는 후보 군에 해당하는 어플리케이션으로부터 사용자가 원하는 어플리케이션을 선택할 수 있도록 하기 위함이다.

다른 예로써 사용자는 메모 기능을 이용하여 사용자 단말에서 지원하는 기능을 실행시킬 수 있다. 이를 위해 앞에서도 밝힌 바와 같이 사용자 단말은 사용자의 요청에 의해 메모 계층을 띄우고, 사용자에 의해 입력되는 정보에 의해 설치된 어플리케이션에 대한 검색을 실시한다.

예컨대 검색에 대한 일 예로써, 사용자 단말에 설치된 어플리케이션으로부터 특정 어플리케이션을 찾기 위한 키워드를 메모 기능에 따른 화면에 입력한다. 이로써 사용자 단말은 입력된 키워드에 의해 어플리케이션에 대한 검색을 수행할 수 있다. 즉 사용자가 메모 기능을 이용하여 화면에 '자동차 게임'이라 입력하였다면, 사용자 단말은 내부에 설치된 어플리케이션 중 '자동차 게임'과 관련된 어플리케이션을 검색한다. 그리고 그 검색 결과를 화면을 통해 사용자에게 제공할 것이다.

다른 예로써, 사용자 단말에서 제공하는 메모 기능에 따른 화면에 사용자가 설치 시기 (일 예로 11년 2월)를 입력할 수 있다. 이 경우 사용자 단말은 입력된 시기에 설치된 어플리케이션에 대한 검색을 수행한다. 즉 사용자가 메모 기능을 이용하여 화면에 '11년 2월'이라 입력함으로써, 사용자 단말은 내부에 설치된 어플리케이션 중 '11년 2월'에 설치된 어플리케이션을 검색한다. 그리고 그 검색 결과를 화면을 통해 사용자에게 제공할 것이다.

상술한 바와 같이 사용자의 메모에 의해 특정 어플리케이션을 구동하거나 검색하는 것은, 사용자 단말에 많은 어플리케이션이 설치된 경우에 유용하게 사용될 수 있을 것이다.

한편 어플리케이션을 보다 효율적으로 검색하기 위해서는 설치된 어플리케이션에 대한 색인 작업이 이루어지는 것이 바람직하다. 즉 색인 작업에 의해 설치된 어플리케이션은 성격, 분야, 기능 등의 기준에 의해 분류될 수 있다.

그리고 구동을 위한 어플리케이션의 식별 정보를 입력하거나 검색을 위한 색인 정보를 입력하기 위한 메모 계층은 사용자가 특정 키를 입력하거나 특정 모션을 입력함으로써 나타날 수 있다.

상술한 바에 의해 구동되거나 검색되는 특정 어플리케이션은 메모 기능을 지원하는 어플리케이션, 스케줄 관리를 지원하는 어플리케이션, 지도 서비스를 지원하는 어플리케이션, 음악 서비스를 지원하는 어플리케이션, 지하철 노선을 지원하는 어플리케이션 등을 포함한다.

상기 특정 어플리케이션이 구동되면, 상기 사용자 단말은 312단계에서 필기 기반에서의 정보가 입력되는 지를 감시한다. 이때 입력되는 정보는 문자 외에도 선, 기호, 패턴 및 이들이 조합된 형태로 입력될 수 있다. 그 외에도 상기 사용자 단말은 312단계에서 현재 화면 상에서 메모로 인해 표시된 내용 중 일부 또는 전부를 선택하는 영역을 지정하는 정보의 입력을 감시할 수도 있다.

만약 상기 메모된 내용 중 일부 또는 전부가 선택되었다면, 상기 사용자 단말은 312단계에 계속 머물면서 상기 선택된 영역 내에 표시된 메모 내용을 처리하기 위한 명령에 상응한 정보가 추가로 입력되는지를 감시한다.

상기 사용자 단말은 사용자에 의한 필기 기반의 정보 입력이 감지되면, 314단계에서 상기 감지한 입력 정보를 인식하기 위한 동작을 수행한다. 예컨대 상기 일부 또는 전부 선택된 영역 내의 메모 내용에 대한 텍스트 정보를 인식하거나 문자 외에도 선, 기호, 패턴 및 이들이 조합된 형태로 입력된 정보를 인식한다. 상기 입력된 정보에 대한 인식은 도 2에 도시한 인지 엔진(210) 내에서 이루어진다.

상기 사용자 단말은 상기 감지한 입력 정보에 대한 인식을 이루어지면, 상기 인식한 텍스트 정보의 내용을 이해하기 위해, 상기 인식한 텍스트 정보에 대한 자연어 처리를 수행한다. 상기 인식한 텍스트 정보에 대한 자연어 처리는 NLI 엔진(220) 내에서 이루어진다.

상기 사용자 단말은 입력 정보로 사용자가 문자와 기호를 혼용하여 입력하였다고 인식될 경우, 상기 인식한 정보에 대한 처리를 위해 자연어 처리와 함께 기호 처리도 수행한다.

상기 기호 처리를 위해서는 사용자의 실제 메모 패턴을 분석하고, 상기 메모 패턴의 분석을 통해 사용자가 많이 사용하는 대표 기호를 검출한다. 그리고 상기 검출한 대표 기호를 사용자가 어떠한 의도로 사용하는 지를 분석하고, 그 분석한 결과를 기반으로 해당 대표 기호의 의미를 정리한다.

상술한 바에 의해 정리된 대표 기호 별로 사용자가 전달하고자 하는 의미는 데이터베이스화하여 향후 입력되는 기호에 대한 해석 시에 적용할 수 있다. 즉 기호 처리를 위해 미리 정리된 데이터베이스를 활용할 수 있다.

도 5는 본 발명의 실시 예를 위한 실제 사용자의 메모 패턴의 일 예를 보이고 있다. 도 5에서 보이고 있는 메모 패턴에 따르면, 사용자는 →, (), _, -, +, ? 등의 기호를 많이 사용함을 확인할 수 있다. 예컨대 기호 →은 부연 설명 또는 문단 구분 등의 의미로 사용되고, 기호 ()는 용어의 정의 또는 기재의 묶음 등의 의미로 사용됨을 분석할 수 있다.

한편 동일한 기호가 사용되는 경우에 따라 서로 다른 의미로 해석될 수도 있다. 예컨대 기호 →는 '시간 흐름', '인과 관계', '위치', '속성들의 관계 설명', '집중화 (clustering)를 위한 기준점', '변경' 등과 같이 다양한 의미로 사용될 수 있다.

도 6은 하나의 기호가 다양한 의미로 해석될 수 있는 일 예를 보이고 있다. 즉 도 6에서는 기호 →가 시간 흐름, 인관 관계, 위치 등을 뜻하는 의미로 사용될 수 있음을 보이고 있다.

도 7은 문자와 기호가 결합된 입력 정보를 상기 기호에 따라 다른 의미로 해석할 수 있는 예를 보이고 있다. 즉 '서울 → 부산'이라는 사용자의 입력 정보는 '서울에서 부산까지'라는 의미 외에도 '서울을 부산으로 변경'하라는 의미로도 해석될 수 있다.

이와 같이 복수의 의미로 해석될 수 있는 기호의 경우에는 추가 정보 또는 앞과 뒤의 정보와의 관계 등을 고려하여 그 의미를 예측할 수 있다. 하지만 이러한 예측은 사용자의 의도를 정확하게 파악하지 못하는 원인으로 작용할 수도 있다.

상기한 바와 같은 문제를 해소하기 위해서는 기호 인식/이해에 대한 깊이 있는 연구 및 노력이 요구될 것이다. 이러한 노력의 예로는 인문학 분야의 기호학 (semiotics)에서 기호 인식 및 이해 관계에 대한 연구가 진행되고 있으며, 이는 광고, 문학, 영화, 교통 신호 등에서 활용되고 있다. 여기서 기호학은 넓은 의미로 기호의 기능과 본석, 의미 작용과 표현, 의사 소통과 관련된 다양한 체계를 연구하는 학문 분야이다.

그 외에 기호는 공학적인 접근도 이루어지고 있다. 예컨대 기계/전기/컴퓨터 분야에서 순서도와 설계도의 기호 인식과 관련하여 연구가 진행되고 있다. 이는 Sketch (Hand-drawn Diagram) 인지 등에서 활용되고 있다. 또한 화학 분야에서는 복잡한 화학 구조 기호를 인식하기 위한 관련 연구가 진행되고 있으며, 이는 Hand-drawn Chemical Diagram Recognition 등에서 활용되고 있다.

도 8은 기호학에서 기호들이 활용되고 있는 예를 보이고 있으며, 도 9는 기계/전기/컴퓨터 분야 및 화학 분야에서 기호들이 활용되고 있는 예를 보이고 있다.

상기 사용자 단말은 인식 결과에 대한 자연어 처리에 의해 사용자가 입력한 정보에 의한 내용을 이해한 후 318단계에서 인식한 내용을 기반으로 사용자가 해당 정보를 입력한 의도를 파악한다.

상기 사용자 단말은 해당 정보를 입력한 사용자의 의도를 파악하면, 322단계에서 파악한 사용자의 의도에 상응한 동작을 수행하거나 상기 파악한 사용자의 의도에 대응한 응답을 출력한다. 그 외에 상기 사용자 단말은 상기 파악한 사용자의 의도에 상응한 동작을 수행한 후 그 결과를 사용자에게 출력할 수도 있다.

하지만 상기 사용자 단말은 해당 정보를 입력한 사용자의 의도를 파악할 수 없다면, 320단계에서 사용자와의 문답 절차를 통해 사용자의 의도를 파악하기 위한 추가 정보를 획득한다. 이를 위해 상기 사용자 단말은 사용자에게 묻기 위한 질문을 구성하고, 상기 구성한 질문을 사용자에게 제공한다. 이에 대한 응답으로 상기 사용자에 의해 추가 정보가 입력될 시, 상기 사용자 단말은 상기 318단계로 진행하여 이전에 자연어 처리를 수행하여 이해한 내용에 새로이 입력 받은 정보를 추가로 고려하여 사용자의 의도를 다시 파악한다.

하지만 도면에서는 보여지고 있지 않으나 상기 사용자 단말은 상기 새로이 입력 받은 정보의 내용을 이해하기 위해 상기 314단계와 316단계를 추가로 수행할 수도 있다.

상기 사용자 단말은 사용자의 의도를 정확하게 파악할 때까지 상기 320단계에서의 문답 절차, 즉 사용자와의 대화를 통해 사용자의 의도를 파악하기 위해 요구되는 대부분의 정보를 확보할 수 있다.

상술한 문답 절차를 거쳐 사용자의 의도를 파악하였다면, 상기 사용자 단말은 322단계에서 파악한 사용자의 의도에 상응한 동작 및/또는 응답 결과를 사용자에게 출력한다

앞에서 살펴본 본 발명의 실시 예에 따라 사용자 단말에 구비된 사용자 인터페이스 장치의 구성 및 그 구성을 기반으로 필기 기반의 NLI 기술에 의한 사용자 인터페이스 방안은 다양한 시나리오를 가정할 수 있다.

도 10 내지 도 17은 본 발명의 실시 예에 따른 메모 기능을 지원하는 어플리케이션을 기반으로 하는 동작 시나리오들을 보이고 있다.

즉 도 10 내지 도 17은 메모 기능을 제공하는 어플리케이션에서 사용자에 의해 입력된 메모 내용을 다른 어플리케이션을 호출하여 처리하는 예들을 보이고 있다.

도 10은 사용자 단말에서 메모 기능을 이용하여 메모한 일부의 내용을 메일 발송하는 시나리오를 보이고 있다.

도 10을 참조하면, 사용자는 메모 기능을 활용하여 사용자 단말의 화면에 필기하고, 상기 필기한 내용 중 일부를 선, 기호, 폐곡선 등을 이용하여 선택한다. 일 예로 상기 일부 내용의 선택은 전체 필기된 내용 중 일부 영역을 폐곡선을 이용하여 선택함으로써, 상기 폐곡선 내에 존재하는 영역 내의 내용이 선택될 수 있다.

그리고 사용자는 약속된 또는 직관적으로 인지 가능한 기호와 문자를 활용하여 상기 선택한 내용의 처리를 요청하는 명령을 입력한다. 예컨대 도면에서는 상기 선택한 영역을 지정하는 화살표와 임의의 사람 (김화경 책임)을 지정하는 문자를 필기하였다.

상술한 바와 같은 정보를 입력 받은 사용자 단말은 선택된 영역 내의 메모 내용을 문자에 의해 입력된 '김화경 책임'에게 전송하라는 사용자의 의도를 파악한다. 이와 같이 사용자의 의도를 파악한 사용자 단말은 설치된 어플리케이션 중 선택된 메모 내용의 전송이 가능한 추천 어플리케이션을 추출한다. 그리고 상기 추출한 추천 어플리케이션을 화면 상에 표시함으로써, 사용자가 사용할 추천 어플리케이션의 선택 또는 구동을 명령할 수 있도록 한다.

상기 사용자 단말은 사용자에 의해 추천 어플리케이션 중 하나의 어플리케이션이 선택될 시, 상기 선택된 어플리케이션을 호출하고, 상기 호출된 어플리케이션을 활용하여 앞서 선택한 메모 내용을 '김화경 책임'에게 전송한다.

상기 사용자 단말은 메모 내용을 전송함에 있어, 수신측에 관한 정보가 사전에 등록되어 있지 않다면, 사용자에게 수신측에 해당하는 '김화경 책임'의 메일 주소 등을 문의할 수 있다. 이 경우 상기 선택한 메모 내용은 사용자에 의한 메일 주소의 입력에 응답하여 전송될 것이다.

상기 사용자 단말은 사용자의 의도한 바를 처리한 후 그 결과를 화면 상에 표시함으로써, 사용자가 자신의 의도에 적절한 처리가 이루어졌는지를 확인할 수 있도록 한다. 일 예로 메일 전송이 완료되었음을 알리는 내용의 문장과 함께 메일 발송 내역을 리스트에 저장할 것인지를 문의한다. 이에 응답하여 사용자가 리스트에 저장할 것이 요청될 시, 상기 사용자 단말은 메일 발송 내역을 리스트에 등록한다.

상술한 바와 같은 시나리오는 사용자 단말 내에서 어플리케이션 간의 이동 없이 회의 등을 진행하는 과정에서 이루어진 필기 중 필요한 내용을 당사자에게 메일로 전송한 후 상호 작용을 통하여 그 근거를 'To do list'에 저장할 수 있어 생산성 향상에 도움을 줄 수 있다.

도 11a 및 도 11b는 사용자 단말에서 메모 기능을 이용하여 메모한 전체 내용을 문자 발송하는 시나리오를 보이고 있다.

도 11a 및 도 11b를 참조하면, 사용자는 메모 기능을 활용하여 사용자 단말의 화면에 필기한다(Writing memo). 그 후 사용자는 상기 필기한 내용 중 전체를 선, 기호, 폐곡선 등을 이용하여 선택한다 (Triggering). 일 예로 폐곡선을 이용하여 메모가 이루어진 전체 영역을 선택함으로써, 상기 폐곡선 내에 존재하는 전체 내용이 선택된 것으로 인지될 수 있다.

그리고 사용자는 약속된 또는 직관적으로 인지 가능한 문자, 일 예로 '문자 보내기'라고 필기함으로써, 상기 선택한 내용에 대한 문자 발송을 명령한다 (Writing command).

상기한 바에 의해 사용자가 입력한 정보를 기반으로 사용자 인터페이스를 구성하는 NLI 엔진은 선택된 영역 내의 내용에 대한 문자 발송이 사용자의 의도임을 인지한다. 이를 인지한 상기 NLI 엔진은 문자 발송을 위한 정보가 부족하다고 판단하여 사용자와의 문답 절차를 통해 원하는 정보를 확인한다. 예컨대 상기 NLI 엔진은 문자를 보낼 대상이 누구인지를 문의하는 질문, 즉 '누구에게?'라는 질문을 사용자에게 제공한다.

이에 대한 응답으로 사용자가 메모 기능을 이용하여 문자를 전달할 대상에 관한 정보를 입력한다. 상기 정보는 대상자의 이름 또는 전화번호를 직접 입력하는 것도 가능하다. 도면에서는 대상자의 이름으로 '김화경', '배주윤'이 입력되었음을 확인할 수 있다.

상기 NLI 엔진은 주소록에 사용자에 의해 입력된 이름, '김화경', '배주윤'에 대응하여 등록된 전화번호를 확인하고, 상기 확인한 전화번호를 수신 대상으로 앞에서 선택한 내용을 본문으로 하는 문자를 발송한다. 이때 상기 선택한 내용이 이미지인 경우, 사용자 단말에서는 상기 선택한 내용을 텍스트화 하여 인지 가능한 형태로 변환하는 절차를 추가로 수행할 수 있다.

상술한 바에 의해 문자 전송을 완료할 시, 상기 NLI 엔진은 처리 결과를 알리는 내용, 일 예로 '문자 전송이 완료되었습니다.'라는 문장을 표시한다. 이로써, 사용자는 자신의 의도에 따라 적절한 처리가 이루어졌음을 확인할 수 있게 된다.

도 12a 및 도 12b는 사용자 단말에서 메모 기능을 이용하여 메모한 일부의 내용의 의미를 확인하는 시나리오를 보이고 있다.

도 12a 및 도 12b를 참조하면, 사용자는 메모 기능을 활용하여 사용자 단말의 화면에 필기한다 (Writing memo). 그 후 사용자는 상기 필기한 내용 중 일부를 선, 기호, 폐곡선 등을 이용하여 선택한다 (Triggering). 일 예로 폐곡선을 이용하여 메모가 이루어진 전체 영역 중 일부 영역에 기재된 하나의 단어가 선택될 수 있다.

그리고 사용자는 약속된 또는 직관적으로 인지 가능한 기호, 일 예로 '?'라고 필기함으로써, 상기 선택한 단어의 의미가 무엇인지를 문의하는 명령을 내린다 (Writing command).

상기한 바에 의해 사용자에 의해 입력된 정보를 기반으로 사용자 인터페이스를 구성하는 NLI 엔진은 선택된 단어 내의 의미를 확인하기 위해 어떠한 검색 엔진을 사용할 것인지를 문의한다. 이를 위해 상기 NLI 엔진은 사용자와의 문답 절차를 이용한다. 예컨대 상기 NLI 엔진은 화면 상에 'Which search engine?'라고 표시하여 사용자가 검색 엔진을 선택하는 정보를 입력할 것을 유도한다.

이에 대한 응답으로 사용자가 메모 기능을 이용하여 'wikipedia'을 입력하였다. 따라서 상기 NLI 엔진은 상기 사용자의 입력에 의해 검색할 엔진으로 'wikipedia'을 사용하라는 사용자의 의도를 인지한다. 상기 NLI 엔진은 'wikipedia'을 사용하여 앞에서 선택한 'MLS'의 의미를 확인한 후 그 결과를 표시한다. 이로써, 사용자는 자신이 문의한 'MLS'의 의미를 화면을 통해 제공되는 정보에 의해 확인할 수 있게 된다.

도 13a 및 도 13b는 사용자 단말에서 메모 기능을 이용하여 메모한 내용의 일부를 다른 어플리케이션을 위한 정보를 등록하는 시나리오를 보이고 있다.

도 13a 및 도 13b를 참조하면, 사용자는 메모 기능을 활용하여 중국 여행을 위해 준비할 사항을 정리하는 내용을 사용자 단말의 화면에 필기한다 (Writing memo). 그 후 사용자는 상기 필기한 내용 중 일부를 선, 기호, 폐곡선 등을 이용하여 선택한다 (Triggering). 일 예로 폐곡선을 이용하여 메모가 이루어진 전체 영역 중 '항공권 잔금 결제'라는 내용이 메모된 일부 영역을 선택한다.

그리고 사용자는 약속된 또는 직관적으로 인지 가능한 문자, 즉 '할일에 등록'이라는 문자를 필기함으로써, 상기 선택한 내용의 일을 해야 할 일의 목록으로 등록할 것을 요청하는 명령을 내린다 (Writing command).

상기한 바에 의해 사용자가 입력한 정보를 기반으로 사용자 인터페이스를 구성하는 NLI 엔진은 선택된 영역 내용에 상응한 업무에 대한 일정 관리를 요청하는 것이 사용자의 의도임을 인지한다. 이를 인지한 상기 NLI 엔진은 일정 관리를 위한 정보가 부족하다고 판단하여 사용자와의 문답 절차를 통해 원하는 정보를 확인한다. 예컨대 상기 NLI 엔진은 해당 일정을 처리할 일정을 문의하는 질문, 일 예로 '완료일을 입력하세요'라는 질문을 사용자에게 제공한다.

이에 대한 응답으로 사용자가 메모 기능을 이용하여 해당 일정을 처리할 예정인 날짜로 '5월 2일'을 입력하였다. 상기 NLI 엔진은 앞에서 선택한 내용에 상응한 일을 5월 2일에 처리할 업무로 저장하여 스케줄 관리가 이루어질 수 있도록 한다.

상술한 바에 의해 사용자의 요청을 처리한 후 상기 NLI 엔진은 처리 결과를 알리는 내용, 일 예로 '저장되었습니다.'라는 문장을 표시한다. 이로써, 사용자는 자신의 의도에 따라 적절한 처리가 이루어졌음을 확인할 수 있게 된다.

도 14a 및 도 14b는 사용자 단말에서 메모 기능을 이용하여 메모한 내용을 잠금 기능을 활용하여 저장하는 시나리오를 보이고 있고, 도 14c는 잠금 기능에 의해 저장된 메모 내용을 확인하는 시나리오를 보이고 있다.

도 14a 및 도 14b를 참조하면, 사용자는 메모 기능을 활용하여 오사카 여행 중에 경험을 사진과 메모 등을 이용하여 사용자 단말의 화면에 필기한다 (Writing memo). 그 후 사용자는 상기 필기한 내용 중 일부 또는 전부를 선, 기호, 폐곡선 등을 이용하여 선택한다 (Triggering). 일 예로 폐곡선을 이용하여 메모가 이루어진 전체 영역에 대한 선택이 이루어졌다.

그리고 사용자는 잠금 기능에 의한 해당 메모의 저장을 요청하기 위해 약속된 또는 직관적으로 인지 가능한 문자, 즉 '잠금'이라는 문자를 필기함으로써, 상기 선택한 내용을 잠금 기능을 이용하여 등록할 것을 요청하는 명령을 내린다 (Writing command).

상기한 바에 의해 사용자가 입력한 정보를 기반으로 사용자 인터페이스를 구성하는 NLI 엔진은 메모된 내용을 잠금 기능을 활용하여 저장하는 것이 사용자의 의도임을 인지한다. 이를 인지한 상기 NLI 엔진은 잠금 기능을 설정하기 위한 추가 정보가 필요하다고 판단하여 사용자와의 문답 절차를 통해 원하는 정보를 확인한다. 예컨대 상기 NLI 엔진은 잠금 기능을 설정하기 위해 비밀번호를 문의하는 질문, 일 예로 '비밀번호를 입력하세요'라는 메시지를 화면에 출력한다.

이에 대한 응답으로 사용자가 메모 기능을 이용하여 잠금 기능을 설정하기 위한 비밀번호로 '3295'를 필기할 시, 상기 NLI 엔진은 앞에서 선택한 내용을 비밀번호 '3295'를 이용하여 저장한다.

상술한 바에 의해 해당 메모 내용을 잠금 기능을 이용하여 저장한 후 상기 NLI 엔진은 처리 결과를 알리는 내용, 일 예로 '저장되었습니다.'라는 문장을 표시한다. 이로써, 사용자는 자신의 의도에 따라 적절한 처리가 이루어졌음을 확인할 수 있게 된다.

도 14c를 참조하면, 사용자는 잠금 기능에 의해 저장된 메모들 중 원하는 메모를 선택한다 (Selecting memo). 상기 사용자에 의해 특정 메모가 선택될 시, NLI 엔진은 상기 선택된 특정 메모를 제공하기 위해서는 비밀번호가 필요함을 인지한 후 문답 절차를 진행하여 사용자에 의한 해당 비밀번호의 입력을 유도한다 (Writing Password). 예컨대 상기 NLI 엔진은 사용자가 비밀번호를 입력할 수 있는 메모 창을 띄움으로써, 상기 사용자가 해당 메모를 확인하기 위한 비밀번호를 입력할 수 있도록 한다.

상기 NLI 엔진은 사용자에 의해 정확한 비밀번호가 입력될 시, 앞에서 선택된 메모를 불러와 화면 상에 표시한다.

도 15는 사용자 단말에서 메모 기능을 이용하여 메모한 일부의 내용에 의해 특정 기능을 이용하는 시나리오를 보이고 있다.

도 15를 참조하면, 사용자는 메모 기능을 활용하여 사용자 단말의 화면에 필기한다 (Writing memo). 그 후 사용자는 상기 필기한 내용 중 일부를 선, 기호, 폐곡선 등을 이용하여 선택한다 (Triggering). 일 예로 폐곡선을 이용하여 메모가 이루어진 전체 영역 중 전화번호, 즉 '010-9530-0163'이 메모된 일부 영역을 선택한다.

그리고 사용자는 약속된 또는 직관적으로 인지 가능한 기호 또는 문자, 일 예로 '통화'라고 필기함으로써, 상기 선택한 전화번호로 전화 통화를 시도할 것을 명령한다 (Writing command).

상기한 바에 의해 사용자에 의해 입력된 정보를 기반으로 사용자 인터페이스를 구성하는 NLI 엔진은 선택된 전화번호를 자연어로 번역하여 인지하고, 상기 인지한 전화번호인 '010-9530-0163'로의 전화 통화를 시도한다.

도 16a 및 도 16b는 사용자 단말에서 메모 기능을 이용하여 메모한 일부의 내용을 감추는 시나리오를 보이고 있다.

도 16a 및 도 16b를 참조하면, 사용자는 메모 기능을 활용하여 자신이 이용하는 웹 패이지 별로의 ID와 비밀번호를 사용자 단말의 화면에 필기한다 (Writing memo). 그 후 사용자는 상기 필기한 내용 중 일부 또는 전부를 선, 기호, 폐곡선 등을 이용하여 선택한다 (Triggering). 일 예로 폐곡선을 이용하여 메모가 이루어진 전체 영역에서 일부 메모, 즉 비밀번호에 상응한 메모 'wnse3281'에 대한 선택이 이루어졌다.

그리고 사용자는 감춤 기능을 위해 약속된 또는 직관적으로 인지 가능한 문자, 즉 'hide'라는 문자를 필기함으로써, 상기 선택한 내용에 대한 감춤을 명령한다 (Writing command).

상기한 바에 의해 사용자가 입력한 정보를 기반으로 사용자 인터페이스를 구성하는 NLI 엔진은 선택한 메모 내용을 감추는 것이 사용자의 의도임을 인지한다. 이를 인지한 상기 NLI 엔진은 감춤 기능을 이용하기 위해서는 추가 정보가 필요하다고 판단하여 사용자와의 문답 절차를 통해 원하는 정보를 확인한다. 예컨대 상기 NLI 엔진은 감춤 기능을 설정하기 위해 비밀번호를 문의하는 질문, 일 예로 'Enter the passcode'라는 메시지를 화면에 출력한다.

이에 대한 응답으로 사용자가 메모 기능을 이용하여 감춤 기능을 설정하기 위한 비밀번호로 '3295'를 필기할 시, 상기 NLI 엔진은 필기된 '3295'를 자연어로 번역하여 인지한 후 이를 저장한다. 그리고 상기 선택된 메모 내용을 감춤으로써, 화면 상에 표시되지 않도록 한다.

도 17은 사용자 단말에서 메모 기능을 이용하여 메모한 일부의 내용의 번역을 처리하는 시나리오를 보이고 있다.

도 17을 참조하면, 사용자는 메모 기능을 활용하여 사용자 단말의 화면에 필기한다 (Writing memo). 그 후 사용자는 상기 필기한 내용 중 일부를 선, 기호, 폐곡선 등을 이용하여 선택한다 (Triggering). 일 예로 밑줄을 이용하여 메모가 이루어진 전체 영역 중 일부 영역에 기재된 내용을 선택하였다. 즉 '내일 오전 11시까지 문의한 문서 받기'라는 메모 내용을 선택한다.

그리고 사용자는 약속된 또는 직관적으로 인지 가능한 기호 또는 문자, 일 예로 '번역'이라고 필기함으로써, 상기 선택한 문장에 대한 번역을 명령한다 (Writing command).

상기한 바에 의해 사용자에 의해 입력된 정보를 기반으로 사용자 인터페이스를 구성하는 NLI 엔진은 선택된 문장에 대한 번역 명령임을 인지한다. 그 후 상기 NLI 엔진은 사용자와의 문답 절차를 이용하여 번역할 언어를 지정할 것을 요청하는 질문을 화면에 표시한다. 예컨대 상기 NLI 엔진은 화면 상에 'Which Language?'라고 표시하여 사용자가 번역할 언어를 입력할 수 있도록 유도한다.

이에 대한 응답으로 사용자가 메모 기능을 이용하여 '이탈리아어'라고 메모할 시, 상기 NLI 엔진은 상기 사용자의 입력에 의해 번역할 언어로 '이탈리아어'을 사용하라는 사용자의 의도를 인지한다. 상기 NLI 엔진은 앞에서 인지된 메모 내용, 즉 '내일 오전 11시까지 문의한 문서 받기'를 이탈리아어로 번역하여 출력한다. 이로써, 사용자는 자신이 문의한 내용에 대한 이탈리아 번역문을 화면을 통해 제공받게 된다.

도 18은 본 발명의 실시 예에 따른 사용자 단말에서 메모 기능을 이용하여 구동 어플리케이션을 제어하는 구성을 보이고 있다. 예컨대 도 18에서 보이고 있는 구성은 사용자 단말에서 실행 중인 특정 어플리케이션의 화면 위에 메모 계층을 오버 랩 (overlap)하여 표시하고, 상기 표시된 메모 계층에 필기되는 내용에 의해 사용자의 의도를 파악하여 상기 실행 중인 특정 어플리케이션의 동작을 제어한다. 이때 상기 사용자 단말에서 실행 중인 특정 어플리케이션을 '하위 어플리케이션'이라는 용어를 사용하여 지칭하도록 한다. 또한 상기 하위 어플리케이션의 실행에 따른 화면 위에 메모 계층을 오버 랩하여 표시하기 위해서는 메모 기능을 지원하는 어플리케이션이 추가로 실행됨을 암시한다.

도 18을 참조하면, 하위 어플리케이션 구동 엔진(1810)은 사용자에 의해 요청된 특정 어플리케이션, 즉 하위 어플리케이션을 실행시키고, 상기 사용자의 의도를 인지하여 실행 중인 하위 어플리케이션을 제어하는 전반적인 동작을 수행한다.

특히 상기 하위 어플리케이션 구동 엔진(1810)은 사용자에 의해 메모 계층이 호출된 후, 상기 호출된 메모 계층을 통해 사용자에 의해 필기되는 내용에 따른 동작 명령이 제공될 시, 이에 따라 상기 실행 중인 하위 어플리케이션의 동작을 제어한다.

이를 위해 상기 하위 어플리케이션 구동 엔진(1810)은 실행 중인 하위 어플리케이션의 기능 메뉴를 고려하여 현 시점에서 상기 실행 중인 하위 어플리케이션의 동작을 제어하기 위해 요구되는 정보가 어떠한 것인지를 안내하기 위해 소정의 정보를 메모 계층 어플리케이션 구동 엔진(1820)으로 제공할 수 있다. 상기 소정의 정보는 상기 하위 어플리케이션의 종류, 상기 하위 어플리케이션을 기반으로 현재 실행 중인 기능 메뉴 중 적어도 하나를 포함한다.

이 경우 상기 하위 어플리케이션 구동 엔진(1810)은 현재 실행 중인 하위 어플리케이션의 동작을 제어하기 위해 보다 정확한 정보를 제공받을 수 있을 것이다.

상기 메모 계층 어플리케이션 구동 엔진(1820)은 메모 기능을 지원하는 어플리케이션의 실행을 요청하기 위해 사전에 약속된 형식에 따른 입력이 사용자에 의해 이루어지는 지를 지속적으로 감시한다. 예컨대 상기 사전에 약속된 형식은 상기 하위 어플리케이션이 실행 중인 화면 위에서 사용자가 화면을 터치 드래그하는 것이 될 수 있다. 이때 상기 터치 드래그는 화면의 좌측에서 우측 방향 또는 그 반대 방향으로 이루어지거나, 화면의 하측에서 상측 방향 또는 그 반대 방향으로 이루어질 수 있다. 상기 터치 드래그를 위해서는 인식이 가능한 어떠한 도구라도 이용될 수 있다. 대표적으로는 사용자의 손가락 또는 전자 펜 등이 될 것이다.

상기 메모 계층 어플리케이션 구동 엔진(1820)은 사용자에 의해 메모 기능을 위한 어플리케이션의 실행이 요청될 시, 사용자에 의한 메모가 가능한 메모 계층을 호출한다. 상기 메모 계층 어플리케이션 구동 엔진(1820)은 상기 호출한 메모 계층을 상기 하위 어플리케이션의 실행에 따른 화면 위에 오버 랩하여 표시한다.

이때 상기 메모 계층은 상기 하위 어플리케이션의 실행 화면이 비쳐질 수 있도록, 상기 하위 어플리케이션의 실행 화면 위에 오버 랩시키는 것이 바람직하다. 그리고 화면 상에서 상기 메모 계층이 오버 랩되는 영역은 사용자의 요구에 따라 설정될 것이다. 즉 메모 계층은 설정에 의해 전체 화면에 오버 랩되거나 일부 화면에만 오버 랩될 수도 있다. 또한 일부 화면에만 오버 랩되도록 메모 계층이 표시된 후, 사용자가 메모 계층의 외곽 선 또는 꼭지점을 선택하여 드래그함으로써, 그 크기를 변화시킬 수도 있다.

상술한 바와 같이 상기 메모 계층 어플리케이션 구동 엔진(1820)은 하위 어플리케이션이 실행되고 있는 중에 사용자의 요청에 의해 메모가 가능한 메모 계층을 화면에 표시하기 위한 전반적인 동작을 제어한다.

만약 상기 하위 어플리케이션 구동 엔진(1810)로부터 상기 하위 어플리케이션의 제어를 위해 필요한 정보가 무엇인지를 안내하는 정보가 제공될 시, 상기 메모 계층 어플리케이션 구동 엔진(1820)은 화면에 표시되는 메모 계층에 '사용자에 의한 입력이 요구되는 정보를 안내하는 메시지'를 함께 표시한다. 일 예로 현재 음악 재생 어플리케이션이 하위 어플리케이션으로 실행 중이라면, 메모 계층에 '재생할 노래를 적어 주세요'라는 메시지를 표시하거나 '검색할 아티스트를 적어주세요'라는 메시지를 표시한다.

상기 메모 계층 어플리케이션 구동 엔진(1820)은 메모 계층을 화면에 표시한 후, 사용자에 의해 필기되는 내용을 기반으로 상기 사용자의 의도를 인지한다. 그리고 상기 메모 계층 어플리케이션 구동 엔진(1820)은 인지한 사용자의 의도에 의해 하위 어플리케이션이 구동될 수 있도록 관련 제어 정보를 상기 하위 어플리케이션 구동 엔진(1810)에게 제공한다.

상기 메모 계층 어플리케이션 구동 엔진(1820)은 사용자가 필기에 의한 내용 입력이 완료되었음을 인지할 수 있도록, 상기 화면에 표시된 메뉴 계층에 입력 메뉴 버튼을 추가로 표시할 수 있다. 이 경우 상기 메모 계층 어플리케이션 구동 엔진(1820)은 사용자에 의해 상기 입력 메뉴 버튼이 눌려질 시, 상기 메모 계층에 필기된 내용을 기반으로 상기 사용자의 의도를 인지하기 위한 동작을 개시한다.

상기 사용자가 메모 계층 위에 필기하는 내용에 의해 상기 사용자의 의도를 확인하고, 이를 통해 해당 어플리케이션의 동작을 제어하는 것에 대해서는 앞에서 이미 충분히 설명되었다고 인정된다. 따라서 이에 대한 구체적인 상세들에 대해서는 앞에서 언급된 바가 동일하게 적용될 수 있으므로, 더 이상의 설명은 생략한다.

도 19는 본 발명의 실시 예에 따른 사용자 단말에서 메모 계층을 호출하여 하위 어플리케이션을 제어하기 위한 제어 흐름을 보이고 있다.

도 19를 참조하면, 사용자 단말은 사용자의 요청에 의해 특정 어플리케이션, 즉 하위 어플리케이션을 구동한다 (1910 단계). 상기 사용자 단말은 상기 하위 어플리케이션이 구동된 후, 상기 구동 중인 하위 어플리케이션에 대한 전반적인 동작을 제어한다. 그리고 상기 사용자 단말은 상기 하위 어플리케이션의 동작에 따른 상황을 화면으로 표시하여 사용자가 상기 하위 어플리케이션의 동작 상태를 확인할 수 있도록 한다.

상기 사용자 단말은 하위 어플리케이션이 실행되고 있는 상황에서 사용자에 의해 메모 계층이 호출되는 지를 지속적으로 감시한다 (1912 단계). 예컨대 상기 사용자 단말은 하위 어플리케이션이 실행 중인 화면 위에서 사용자가 화면을 터치 드래그하는 것에 의해 메모 계층을 호출한다. 이때 상기 터치 드래그는 화면의 좌측에서 우측 방향 또는 그 반대 방향으로 이루어지거나, 화면의 하측에서 상측 방향 또는 그 반대 방향으로 이루어질 수 있다. 상기 터치 드래그를 위해서는 인식이 가능한 어떠한 도구라도 이용될 수 있다. 대표적으로는 사용자의 손가락 또는 전자 펜 등이 될 것이다.

도 20은 본 발명의 실시 예에 따른 사용자 단말에서 메모 계층을 호출하기 위한 일 예를 보이고 있다.

도 20에서는 음악 재생 어플리케이션에 의해 재생 목록을 지원하는 기능 메뉴가 활성화된 화면에서 사용자가 화면의 좌측에서 우측으로 터치 드래그하는 것 (도면 20의 A 참조)에 의해 메뉴 계층을 호출하는 예를 보이고 있다.

그 외에 음악 재생 어플리케이션에 의해 재생 목록을 지원하는 기능 메뉴가 활성화된 화면에서 사용자가 전자 펜에 구비된 기능 버튼을 누른 채로 화면의 설정된 범위 내로 근접하는 것 (호버링 기능) (도면 20의 C 참조)에 의해 메뉴 계층을 호출하는 예를 보이고 있다.

상기 사용자 단말은 사용자의 요청에 의해 호출된 메모 계층을 하위 어플리케이션이 실행되고 있는 화면 위에 오버 랩되도록 표시한다 (1914 단계). 이때 상기 사용자 단말은 화면에 표시되는 메모 계층에 '사용자에 의한 입력이 요구되는 정보를 안내하는 메시지'를 함께 표시할 수 있다.

예컨대 도 20의 (B)를 참조하면, 호출된 메뉴 계층은 음악 재생 어플리케이션에 의해 재생 목록을 지원하는 기능 메뉴가 활성화된 화면이 비쳐질 수 있도록 화면에 오버 랩 된다. 상기 도 20의 (B)에서는 메모 계층에 '검색할 노래를 적어주세요!'라는 메시지를 표시한 예를 보이고 있다.

그리고 도면 상에서는 도시하고 있지 않으나 상기 사용자 단말은 메모 계층이 오버 랩되는 영역을 사용자의 요구에 따라 설정할 수 있다. 즉 상기 메모 계층은 설정에 의해 전체 화면에 오버 랩되거나 일부 화면에만 오버 랩될 수 있다. 또한 사용자가 일부 화면에 표시된 메모 계층의 외곽 선 또는 꼭지점을 선택하여 드래그함으로써, 그 크기를 변화시킬 수도 있다.

상기 사용자 단말은 상기 화면에 표시된 메모 계층 상에서 사용자가 필기에 의한 메모를 완료하였는지를 감시한다 (1916 단계). 일 예로 메모 계층에 '입력 메뉴 버튼'을 추가로 표시하고, 사용자에 의해 상기 버튼이 눌려지는지에 의해 메모 완료 여부를 판단할 수 있다.

도 20의 (B)에서는 입력 메뉴 버튼으로 메모 계층을 표시한 화면의 우측 하단에 검색 기능에 상응한 아이콘을 표시하고 있다.

하지만 상기 입력 메뉴 버튼은 검색 기능에 상응한 아이콘으로만 한정되지 않고, 메모 계층을 통해 입력되는 정보에 따라 표시되는 아이콘은 달라질 수 있음은 자명하다.

도 21은 본 발명의 실시 예에 따라 사용자 단말에서 화면에 표시된 메모 계층에서 사용자에 의해 필기된 다양한 예를 보이고 있다.

도 21의 (A)에서는 '실행할 어플 이름을 적어주세요'라는 제목과, 상기 제목을 고려한 실행 동작에 따른 메뉴 실행 버튼을 포함하는 메모 계층을 표시하고, 사용자가 상기 표시된 메모 계층에 '일정'이라고 필기한 예를 보이고 있다. 그 후 사용자가 메모 계층에 표시된 어플리케이션 실행 요청에 해당하는 메뉴 실행 버튼을 누를 시, 사용자 단말은 일정을 처리하는 스케줄링 서비스를 제공하는 어플리케이션을 실행한다.

도 21의 (B)에서는 '재생할 노래를 적어주세요!'라는 제목과, 상기 제목을 고려한 실행 동작에 따른 메뉴 실행 버튼을 포함하는 메모 계층을 표시하고, 사용자가 상기 표시된 메모 계층에 '나혼자'라고 필기한 예를 보이고 있다. 그 후 사용자가 메모 계층에 표시된 음악 재생 요청에 해당하는 메뉴 실행 버튼을 누를 시, 사용자 단말은 '나혼자'라는 음악을 검색하여 재생한다.

도 21의 (C)에서는 '검색할 아티스트를 적어주세요!'라는 제목과, 상기 제목을 고려한 실행 동작에 따른 메뉴 실행 버튼을 포함하는 메모 계층을 표시하고, 사용자가 상기 표시된 메모 계층에 '김범수'라고 필기한 예를 보이고 있다. 그 후 사용자가 메모 계층에 표시된 검색 요청에 해당하는 메뉴 실행 버튼을 누를 시, 사용자 단말은 '김범수'가 부른 음악 또는 앨범을 검색하고, 그 검색 결과를 표시한다.

도 21의 (D)에서는 '전화할 사람을 적어주세요'라는 제목과, 상기 제목을 고려한 실행 동작에 따른 메뉴 실행 버튼을 포함하는 메모 계층을 표시하고, 사용자가 상기 표시된 메모 계층에 '김하영'이라고 필기한 예를 보이고 있다. 그 후 사용자가 메모 계층에 표시된 전화 걸기 요청에 해당하는 메뉴 실행 버튼을 누를 시, 사용자 단말은 하위 어플리케이션으로 실행 중인 컨택 리스트에서 '김하영'에 대응하여 기록된 전화번호로의 전화 연결을 시도한다.

상기 사용자 단말은 메모가 완료되었음을 인지하면, 상기 사용자가 화면에 표시된 메모 계층에 필기한 내용을 기반으로 사용자의 의도를 파악한다 (1918 단계). 그리고 상기 사용자 단말은 현재 실행 중인 하위 어플리케이션에 대한 동작을 상기 파악한 사용자의 의도에 따라 제어한다 (1920 단계).

상기 1918단계와 1920단계에서 수행되는 동작은 앞에서 이미 충분히 설명되었다고 인정된다. 따라서 이에 대한 구체적인 상세들에 대해서는 앞에서 언급된 바가 동일하게 적용될 수 있으므로, 더 이상의 설명은 생략한다.

또한 상술한 설명에서는 사용자 단말에서 하위 어플리케이션의 구동에 따른 화면이 표시된 상황을 전제로 하였다. 하지만 사용자 단말이 어떠한 어플리케이션도 실행되지 않은 초기 화면에서도 사용자의 요구에 의해 메뉴 계층을 표시하고, 상기 표시된 메뉴 계층을 통해 사용자의 필기에 의해 입력되는 정보를 기반으로 사용자의 의도에 따른 동작을 수행하는 것도 가능하다.

도 22는 본 발명의 실시 예에 따른 사용자 단말에서 특정 어플리케이션이 실행되고 있는 상황에서 메모 계층을 이용하여 실행 중인 특정 어플리케이션을 제어하는 구현 예를 보이고 있다.

도 22를 참조하면, 사용자 단말은 하위 어플리케이션으로 음악 재생 어플리케이션이 실행되고 있는 상황에서 메모 계층의 호출이 사용자에 의해 이루어지는 지를 감시한다 (A 참조). 상기 사용자 단말은 사용자에 의해 메모 계층이 호출될 시, 제목 (title)과 입력 메뉴 버튼이 세팅된 메뉴 계층을 화면에 활성화시킨다. 즉 제목 (title)과 입력 메뉴 버튼이 세팅된 메뉴 계층을 음악 재생 어플리케이션이 실행 중인 화면에 오버 랩되도록 표시한다 (B 참조). 도 22의 (B)에서는 메모 계층의 제목으로 '재생할 노래를 적어주세요!'라고 표시한 예를 보이고 있다.

상기 사용자 단말은 사용자가 메모 계층에 원하는 내용 (예컨대 '나혼자')을 필기하고, 표시된 입력 메뉴 버튼을 누르는지를 감시한다. 상기 사용자 단말은 사용자에 의해 입력 표시 버튼이 눌려짐을 감지할 시, 상기 메모 계층에 사용자가 필기한 내용이 '나혼자'라는 것을 인지한 후, 상기 인지한 '나혼자'라는 텍스트를 현재 실행 중인 음악 재생 어플리케이션으로 제공한다 (C 참조).

상기 음악 재생 어플리케이션은 제공받은 '나혼자'라는 제목을 가지는 노래를 검색하고, 상기 검색에 의해 확인된 노래를 재생한다. 이때 상기 노래를 검색할 범위는 사용자의 설정에 의해 지정될 수 있다. 예컨대 사용자 단말에 저장된 노래를 검색 대상으로 하거나 음악 서비스를 제공하는 웹 사이트를 검색 대상으로 설정할 수 있다. 상기 웹 사이트를 검색 대상으로 설정하기 위해서는 해당 웹 사이트의 인증을 위한 정보 등이 사용자 단말에 의해 관리되거나 사용자에 의해 입력될 필요가 있다.

만약 상기 검색된 결과가 복수인 경우에는 상기 검색 결과에 해당하는 복수의 노래를 순차적으로 재생하거나 사용자에 의해 재생할 노래가 선택될 수 있도록 한다. 일 예로 사용자에 의해 재생할 노래가 선택되도록 하기 위해서는 검색된 결과를 리스트의 형식으로 화면에 표시하는 것이 바람직할 것이다.도 23 내지 도 28은 소정의 어플리케이션이 구동된 후에 메모 기능에 지원하는 어플리케이션을 호출하여 상기 구동된 어플리케이션을 동작 시키는 시나리오의 예들을 보이고 있다.

도 23은 사용자 단말의 초기 화면에서 메모 계층 (memo layer)을 실행시켜 특정 어플리케이션을 실행시키는 하나의 시나리오를 보이고 있다. 예컨대 사용자 단말의 초기 화면에서 메모 어플리케이션을 실행시켜 화면 상에 메모 계층을 띄운 후 실행할 어플리케이션의 식별 정보 (일 예로 어플리케이션 명칭) '챗온'을 기재함으로써, 해당 어플리케이션이 실행된 예를 보이고 있다.

도 24는 사용자 단말에서 구동 중인 특정 어플리케이션에서 수행할 특정 동작을 메모 기능을 이용하여 제어하는 시나리오를 보이고 있다. 예컨대 사용자 단말에서 음악을 청취하기 위한 어플리케이션이 실행된 화면에서 메모 어플리케이션을 실행시켜 화면 상에 메모 계층을 띄운 후 청취를 원하는 음악의 제목 '여수 밤바다'를 기재함으로써, 구동 중인 어플리케이션에서 '여수 밤바다'에 해당하는 음원을 재생하는 예를 보이고 있다.

도 25은 사용자 단말에서 메모 기능을 이용하여 구동 중인 특정 어플리케이션을 제어하는 시나리오 예들을 보이고 있다. 예컨대 사용자 단말에서 동영상을 시청하는 중에 메모 계층을 띄워 이동할 시간, 즉 '40:22'라고 기재함으로써, 구동 중인 동영상을 재생 시점을 40분 22초 지점으로 바로 이동한다. 이러한 기능은 동영상 재생 시 외에도 음악을 청취하는 중에도 동일하게 적용될 수 있다.

그 외에 eBook을 지원하는 어플리케이션을 사용하는 중에 메모 계층을 띄워 이동할 페이지, 예컨대 '105'라고 메모함으로써, 해당 읽고 있던 책의 105 페이지로 바로 이동한다.

도 26은 사용자 단말에서 웹 브라우저를 이용하는 중에 메모 기능을 이용한 검색을 시도하는 시나리오를 보이고 있다. 예컨대 사용자 단말에서 웹 브라우저를 이용하여 특정 웹 페이지를 이용하는 중에 화면에 표시된 내용 중 일부를 선택한 후 메모 계층을 띄워 '검색'이라는 단어를 메모함으로써, 상기 선택한 내용에 대한 검색을 명령한다. 이러한 사용자의 의도를 인지한 NLI 엔진은 선택한 내용을 자연어 처리를 통해 확인하고, 상기 확인한 내용을 설정된 검색 엔진을 사용하여 검색한다. 상기한 바에 의한 검색된 결과를 화면에 표시함으로써, 사용자에게 검색 결과를 제공한다.

상술한 바와 같이 사용자 단말에서는 특정 어플리케이션을 제공하는 화면에서의 선택과 메모 기능에 의한 정보의 입력을 함께 고려하여 처리하는 시나리오의 구현도 가능할 것이다.

도 27는 지도 어플리케이션 상에서 메모 기능을 이용하여 원하는 정보를 획득하는 시나리오를 보이고 있다. 예컨대 즉 지도 서비스를 위해 구동된 어플리케이션의 화면에서 메모 기능을 이용하여 폐곡선에 의해 특정 영역을 선택하고, 찾고자 하는 정보, 일 예로 '유명명소?'라고 메모함으로써, 상기 특정 영역 내에서의 유명한 명소를 찾아 줄 것을 명령한다.

이러한 사용자의 의도를 인지한 사용자 단말의 NLI 엔진은 자신이 보유한 데이터베이스 또는 서버의 데이터베이스를 기반으로 유용한 정보를 찾고, 이렇게 찾은 정보를 현재의 화면에 표시된 지도 위에 추가로 표시한다.

도 28은 스케줄 관리를 지원하는 어플리케이션이 구동된 상태에서 메모 기능을 이용하여 원하는 정보를 입력하는 시나리오를 보이고 있다. 예컨대 사용자는 스케줄을 관리하는 어플리케이션이 구동된 후 상기 구동된 어플리케이션을 이용하는 중에 메모 기능을 실행하여 화면 상에서 오프라인에서 직관적으로 이루어지는 형태로의 필기를 수행한다. 일 예로 사용자가 스케줄 관리를 위한 화면에서 메모 기능에 의한 폐곡선 등을 이용하여 특정 날짜를 선택하고, 상기 선택한 날짜의 스케줄을 입력한다. 즉 2012년 3월 13일을 선택하고, 선택한 날짜에 TF 워크샵이 있음을 메모할 시, 사용자 단말에 구비된 NLI 엔진은 추가 정보로 시간을 입력할 것을 요청한다. 예컨대 화면에 'Time?'라는 질문을 표시함으로써, 사용자가 메모 기능을 활용하여 정확한 시간, 일 예로 '3:00 PM'을 메모하도록 유도한다.

도 29와 도 30는 기호학과 관련한 시나리오의 예들을 보이고 있다.

도 29는 메모 기능에 의해 진행되는 문답 절차의 흐름을 기반으로 메모된 기호의 의미를 해석하는 예를 보이고 있다. 예컨대 '이태리 출장'이라 메모와 '인천 -> 로마'라고 메모가 같이 존재하는 경우를 가정할 수 있다. 이 경우 메모된 기호인 화살표는 지역간의 이동을 의미하는 것으로 해석할 수 있음에 따라, 사용자 단말의 NLI 엔진은 사용자에게 일정을 문의하는 질문, 일 예로 'When?'이라는 질문을 출력한다.

더 나아가 상기 사용자 단말의 NLI 엔진은 사용자에 의해 메모된 날짜, 즉 4월 5일에 인천에서 로마로 이동하기 위해 이용할 수 있는 비행기편에 관한 정보를 검색하고, 그 결과를 사용자에게 제공할 수 있다.

도 30는 메모 기능에 의해 입력되는 기호의 의미를 구동 중인 어플리케이션과 연계하여 해석하는 예를 보이고 있다. 예컨대 지하철 노선 서비스를 제공하는 어플리케이션이 구동된 화면에서 기호, 즉 화살표를 이용하여 사용자가 출발지와 목적지를 직관적으로 표시함으로써, 현재 구동중인 어플리케이션이 두 기점 간을 이동하기 위한 열차의 도착 시간 및 소요되는 시간 등에 관한 정보를 안내할 수도 있다.

도 31은 본 발명의 또 다른 실시 예에 따른 사용자 단말에서 메모 계층을 호출하여 하위 어플리케이션을 제어하기 위한 제어 흐름을 보이고 있다.

도 31을 참조하면 사용자가 하위 어플리케이션을 시작하면(3110단계), 제어부는 하위 어플리케이션이 메모 계층에 표시되어질 정보들을 상기 메모 계층으로 보냈는지를 체크한다. 메모 계층은 별도의 어플리케이션이 될 수 있다. 메모 계층은 창(window)의 형태로 터치 패널위에 표시 될 수 있다. 이하 상세한 설명에서 메모 창은 메모 계층과 동일하게 사용 될 것이다.

제어부는 하위 어플리케이션이 실행되는 중에 터치 패널위에 미리 결정된 제스처가 발생되는지를 체크한다. 여기서 제어부는 전자 장치의 전반적인 동작을 제어할 수 있다. 도 1 에서 어플리케이션 수행부(110), 명령처리부(120)가 제어부에 해당될 수 있다. 미리 결정된 제스처는 사용자가 손가락 또는 전자 펜을 이용하여 터치 패널을 터치 드래그하는 것이 될 수 있다. 미리 결정된 제스처는 사용자가 터치 패널위에 손가락 또는 전자 펜을 사용하여 특정 모양이나 패턴을 표시하는 동작일 수 있다. 제어부는 사용자가 하위 어플리케이션이 실행되는 중에 미리 결정된 제스처가 발생되면 메모 계층을 호출할 수 있다.

제어부는 사용자가 하위 어플리케이션이 실행되는 중에 터치 패널위의 특정 영역에 터치가 발생되면 메모 계층을 호출할 수 있다. 메모 계층은 별도의 어플리케이션에 구동 될 수 있다. 또한 메모 계층은 하위 어플리케이션에 포함되는 소프트웨어 모듈이 될 수 있다.

메모 계층에는 사용자로부터 입력을 받기 위한 지시를 나타내는 정보가 표시될 수 있다. 메모 계층에 표시되는 정보는 하위 어플리케이션으로부터 메모 계층으로 전달 될 수 있다.(단계 3120).

메모 계층이 호출되면 하위 어플리케이션으로부터 전달된 정보가 메모 계층에 표시될 수 있다(단계 3140). 메모 계층은 메모 계층의 이름을 표시하는 타이틀 영역을 포함할 수 있다. 또한 메모 계층은 사용자가 필기를 입력할 수 있는 영역을 포함 할 수 있다. 또한 메모 계층은 사용자가 조작할 수 있는 버튼을 포함할 수 있다. 사용자가 메모 계층에 필기를 입력하면(단계 3150) 제어부는 상기 필기 이미지를 인식하고(단계 3160) 인식된 결과로부터 얻어진 텍스트를 하위 어플리케이션으로 전달 할 수 있다(단계 3170). 하위 어플리케이션은 전달 받은 텍스트와 하위 어플리케이션에서 관리하고 있는 명령어와 비교를 한다. 하위 어플리케이션은 메모 창으로 전달 받은 텍스트가 하위 어플리케이션에서 관리하는 명령어와 동일하거나 또는 일부가 일치하면 해당 명령어와 관련된 동작을 수행할 있다(단계 3180).

도 32 는 하위 어플리케이션이 실행된 상태에서 메모 계층이 실행되는 과정을 보여주는 도면이다. 메모 계층은 상기 어플리케이션이 표시되는 계층위에 중첩하여 표시되는 별도의 계층이 될 수 있다. 또한 메모 계층은 메모 창이 될 수 있으며, 이하의 상세한 설명에서는 '메모 창'으로 지칭한다.

또한 이하의 상세한 설명에서 터치 입력은 터치 패널에 표시된 그래픽 오브젝트를 터치하는 것이고, 필기 입력은 사용자가 전자 펜 또는 손가락으로 글자를 쓰는 동작을 의미한다.

도 32(a)를 참조하면 터치 패널을 포함하는 전자장치에서, 실행중인 어플리케이션이 터치 패널위에 표시되어 있다. 제어부는 어플리케이션이 실행되면 실행중인 어플리케이션과 관련된 정보를 나타내는 그래픽 오브젝트 및 어플리케이션의 기능을 제어하기 위한 메뉴아이템을 터치 패널에 표시할 수 있다. 메뉴아이템은 버튼 형상(button shape)으로 표시될 수 있다. 사용자는 메뉴 아이템을 터치하여 어플리케이션의 기능을 수행할 수 있다. 제어부는 메뉴 아이템위에 터치가 검출되면 메뉴 아이템에 대응하는 어플리케이션의 기능을 제어할 수 있다.

예컨대 주소록 어플리케이션이 실행되면 주소록 어플리케이션과 관련된 그래픽 오브젝트와 주소록 어플리케이션의 기능을 제어하기 위한 메뉴아이템(3216, 3218, 3220, 3222, 3224, 3226)이 터치 패널 위에 표시 된다. 주소록 어플리케이션은 제 1 메뉴영역, 검색창(3208), 주소록아이템(3210, 3212, 3214), 제 2 메뉴영역으로 구성되어 있다. 제 1 메뉴영역은 4개의 메뉴아이템(3202, 3203, 3204, 3206)을 포함 할 수 있다. 각각의 메뉴아이템(3202, 3203, 3204, 3206)에는 메뉴의 이름을 나타내는 아이콘과 메뉴명이 표시되어 있다. 예를 들면 메뉴아이템(3202)에는 수화기 아이콘과 Call log 글자가 표시되어 있다. 메뉴아이템(3203)에는 사람 모양의 아이콘과 Contact 글자가 표시되어 있다. 사용자가 메뉴아이템(3202, 3203, 3204, 3206)을 터치하면 터치가 발생한 메뉴아이템의 색상이 변경되어 표시될 수 있다. 즉 터치가 발생한 메뉴아이템이 시각적으로 차별화되어 표시 될 수 있다. 또한 메뉴아이템이 선택됨에 따라 주소록아이템을 구성하는 컨텐츠가 바뀔 수 있다. 즉 주소록아이템들(3210, 3212, 3214)이 바뀌어 표시될 수 있다. 제 2 메뉴영역에는 메뉴아이템(3216, 3218, 3220, 3222, 3224, 3226)이 표시될 수 있다. 각각의 메뉴아이템(3216, 3218, 3220, 3222, 3224, 3226)에는 아이콘과 명령어가 표시될 수 있다. 제어부는 메뉴 아이템(3216, 3218, 3220, 3222, 3224, 3226)위에 터치가 검출되면 메뉴 아이템에 대응하는 어플리케이션의 기능을 제어할 수 있다.

예를 들면 메뉴아이템(3216)에는 휴지통 아이콘과 명령어 'Delete'가 표시될 수 있다. 메뉴아이템(3216, 3218, 3220, 3222, 3224, 3226)을 선택하면 주소록 아이템들(3210, 3212, 3214)에 대해, 대응하는 명령이 실행될 수 있다. 메뉴아이템(3216)을 선택하면 주소록아이템들중 선택된 아이템이 삭제 될 수 있다. 사용자가 메뉴아이템(3218)을 선택하면 주소록아이템들(3210, 3212, 3214)이 다른 주소록과 동기화 될 수 있다. 사용자가 메뉴아이템(3224)을 선택하면 주소록아이템들 중에서 선택된 아이템이 다른 주소록에 포함되어 있는 동일 인물의 정보와 병합될 수 있다.

제 2 메뉴영역은 주소록아이템들(3210, 3212, 3214)과 중첩되어 표시될 수 있다. 처음에는 터치 패널위에 6개의 주소록 아이템이 표시되었으나, 제 2 메뉴영역이 터치 패널에 표시되면서 6개의 메뉴 아이템중 3개(3210, 3212, 3214)만 터치 패널에 표시되고, 나머지 3개의 주소록 아이템들(미도시)은 제 2 메뉴 영역에 의해 가려지게 된다.

도 32(b)를 참조하면 터치 패널위에 제 1 메뉴아이템들(3252, 3254, 3256, 3258)이 표시되어 있다. 또한 터치 패널위에 주소록영역(3230)이 표시될 수 있다. 주소록영역은 복수의 아이템을 포함할 수 있다. 상기 주소록 아이템은 명령의 대상이 될 수 있다. 즉, 주소록 아이템은 명령이 실행될 때 데이터로 사용될 수 있다. 사용자가 주소록아이템들(3238, 3240, 3242, 3244, 3246, 3248)을 터치하면 터치된 주소록아이템이 선택되고 시각적으로 구분되게 표시될 수 있다. 즉 사용자가 주소록아이템(3238)을 터치하면 주소록아이템(3238)은 다른 주소록아이템들(3240, 3242, 3244, 3246, 3248)과는 시각적으로 구분될 수 있도록 색상이 변경되어 표시될 수 있다. 메모 창(3231)은 반투명으로 표시될 수 있다. 메모 창이 하위 어플리케이션인 주소록 어플리케이션 위에 중첩되어 표시될 수 있고, 주소록 어플리케이션의 주소록 아이템들(3240, 3242, 3244, 3246, 3248)이 메모 창(3231) 밑으로 보여질 수 있다. 주소록 어플리케이션 실행중에 사용자가 터치 패널에서 미리 결정된 제스처를 입력하면 제어부는 상기 터치 패널에서 미리 결정된 제스처를 검출하고, 검출된 제스처에 응답하여, 상기 어플리케이션에 중첩하여 표시되며, 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창(3231)을 터치 패널위에 표시할 수 있다. 터치 패널위에 주소록 어플리케이션이 표시되고, 주소록 어플리케이션위에 메모 창이 표시되므로, 주소록 어플리케이션을 하위 어플리케이션으로 부른다.

미리 결정된 제스처는 사용자가 터치 패널의 특정 영역을 터치하는 동작이 될 수 있다. 또한 미리 결정된 제스처는 사용자가 터치 패널 위를 드래그하는 동작이 될 수 있다. 또한 미리 결정된 제스처는 사용자가 터치 패널 위에 전자 펜을 이용하여 미리 결정된 모양을 그리는 동작이 될 수 있다. 전자 펜은 스타일러스 펜일 수 있다. 또한 미리 결정된 제스처는 사용자가 스타일러스 펜을 이용하여 터치 패널을 스위프(swipe)하는 동작이 될 수 있다.

메모 창(3231)은 필기 입력이 불가능한 영역을 포함 할 수 있다. 상기 필기 입력이 불가능한 영역에는 하위 어플리케이션으로부터 제공 받은 문자 및 이미지가 표시될 수 있다. 상기 필기 입력이 불가능한 영역은 타이틀 영역(3232)이 될 수 있다. 또한 상기 필기 입력이 불가능한 영역은 사용자가 조작할 수 있는 버튼(3236)을 포함할 수 있다. 버튼(3236)은 하위 어플리케이션으로부터 제공받은 이미지가 될 수 있다.

또한 메모 창(3231)은 사용자로부터 필기를 입력받는 필기입력 영역(3233)을 포함할 수 있다.

타이틀 영역(3232)에는 메모 창의 이름이 표시될 수 있다. 상기 메모 창의 이름은 하위 어플리케이션으로부터 수신할 수 있다. 즉 제어부는 하위 어플리케이션으로부터 타이틀 영역에 표시될 이름을 전달 받아서 메모 창(3231)의 타이틀 영역(3232)에 표시할 수 있다. 타이틀 영역에서는 터치 입력이 무시 될 수 있다. 제어부는 주소록 아이템(3238, 3240, 3242, 3244, 3246, 3248)이 표시된 상태에서는 터치를 감지 할 수 있다. 제어부는 메모 창이 표시되면 타이틀 영역(3231)에서 검출되는 터치 입력을 무시 할 수 있다. 또한 제어부는 메모 창(3231)이 활성화되면 메모 창의 필기입력 영역(3233)을 통해서만 하위 어플리케이션을 제어하는 명령을 수행할 수 있다. 또한 제어부는 메모 창(3231)이 활성화 되면 하위 어플리케이션을 제어하기 위한 제 1 메뉴아이템(3252, 3254, 3256, 3258)에서 발생되는 터치 입력을 무시할 수 있다.

예를 들면 메모 창의 타이틀 영역(3232)에 'Memo Layer' 가 표시될 수 있다.

'Memo Layer' 글자는 하위 어플리케이션에 해당하는 주소록 어플리케이션으로부터 수신할 수 있다.

필기입력 영역(3233)은 사용자로부터 필기를 입력 받을 수 있다. 필기입력은 터치 패널에서 발생되는 연속적인 터치의 움직임이 될 수 있다. 필기입력은 사용자가 스타일러스펜을 사용하여 터치 패널에 글자를 입력하는 동작에 의해 발생될 수 있다. 또한 필기입력은 사용자가 손가락을 사용하여 터치 패널에 글자를 입력하는 동작에 의해 발생될 수 있다.

사용자가 필기입력 영역(3233)에 필기를 하면 제어부는 사용자가 입력한 필기 이미지를 필기입력 영역(3233)에 표시할 수 있다. 예를 들면 제어부는 사용자가 스타일러스펜이나 손가락을 이용하여 필기입력영역에서 필기를 하면 이를 입력받을 수 있다.

제어부는 메모 창이 표시되기 이전에는 필기입력 영역(3233)에 해당하는 터치 패널 위의 영역에서 발생된 터치를 검출하고 이에 대응하는 기능을 수행할 수 있다. 예를 들면 메모 창이 표시되기 이전에는 터치 패널위의 영역에는 주소록아이템들(3238, 3240, 3242, 3244, 3246)이 표시될 수 있다. 사용자가 주소록아이템(3238)을 터치하면 제어부는 이에 대응하여 주소록아이템(3238)의 색상을 변경시킬수 있다. 제어부는 상기 터치 패널 영역에 메모 창(3231)이 표시되면 상기 터치 패널 영역의 터치 입력을 무시할 수 있다. 메모 창(3231)이 표시되면 사용자는 주소록아이템들(3238, 3240, 3242, 3244, 3246)을 터치할 수 없다. 즉, 버튼(메뉴 아이템)위에 메모 창이 표시되면 버튼(메뉴 아이템)은 비활성 된다.

메모 창(3233)이 표시되면 사용자는 필기입력을 통해서 실행중인 어플리케이션으로 명령 및 명령 수행에 필요한 데이터를 입력할 수 있다. 즉, 사용자는 메모 창(3233)이 표시되기 이전에는 터치입력에 의해 실행중인 어플리케이션으로 명령 및 명령 수행에 필요한 데이터를 입력할 수 있다. 또한 사용자는 메모 창(3233)이 표시되면 필기입력을 통해서 실행중인 어플리케이션으로 명령 및 명령 수행에 필요한 데이터를 입력할 수 있다.

필기입력은 스타일러스 펜의 움직임에 의해 발생될 수 있다. 사용자가 스타일러스펜을 사용하여 터치 패널을 터치하고 터치를 유지하면서 스타일러스 펜을 이동시키면 제어부는 터치 패널 위에서 이동하는 스타일러스 펜의 움직임을 감지할 수 있으며, 이에 대응하여 스타일러스 펜의 움직이는 궤적을 터치 패널에 표시할 수 있다. 상기 스타일러스 펜의 움직이는 궤적은 필기 이미지가 된다. 또한 필기 입력은 사용자의 손가락 움직임에 의해서 발생될 수 있다.

메모 창(3231)에는 사용자가 조작할 수 있는 버튼(3236)이 표시될 수 있다. 버튼3236)은 하위 어플리케이션에서 제공될 수 있다. 하위 어플리케이션은 메모 창(3326)에 표시될 버튼에 대한 이미지를 가지고 있다. 상기 이미지는 문자, 도형 또는 아이콘이 될 수 있다.

제어부는 메모 창에 표시된 상기 문자 또는 이미지위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기 이미지를 인식해서 상기 필기 이미지에 대응하는 텍스트로 변환하고, 상기 변환된 텍스트를 상기 어플리케이션에 제공할 수 있다.

즉, 제어부는 사용자가 버튼(3236)을 터치하면 입력된 필기 이미지를 인식할 수 있다. 상기 인식 결과에 따라, 상기 어플리케이션의 기능을 수행할 수 있다.

또한 제어부는 필기입력 영역(3233)에 표시된 필기 이미지를 인식할 수 있다. 제어부는 사용자가 버튼(3236)을 터치하면 필기입력 영역(3233)에 표시된 필기 이미지를 인지 엔진(210)으로 전달한다. 인지 엔진(210)은 필기이미지를 인식하고, 이를 텍스트로 변환할 수 있다. 예를 들면 사용자가 필기입력 영역(3233)에 필기를 입력하면 제어부는 필기이미지(3234)를 표시한다. 필기입력 영역(3233)에 필기가 표시된 상태에서 사용자가 버튼(3236)을 터치하면 제어부는 필기이미지(3234)를 인지 엔진(210)으로 전달하고, 인지 엔진(210)은 필기이미지(3234)를 인식해서 'Merge'라는 글자를 되돌려 준다. 여기서 인지 엔진(210)은 소프트웨어 모듈이 될 수 있다. 제어부는 인식된 결과를 하위 어플리케이션으로 전달 할 수 있다. 제어부는 하위 어플리케이션인 주소록 어플리케이션이 'Merge' 기능을 수행하도록 제어할 수 있다.

인식된 필기 이미지는 하위 어플리케이션이 특정 기능을 수행하도록 하는 명령어가 될 수 있다. 하위 어플리케이션은 특정 기능을 수행하기 위한 명령어를 정의하고 관리할 수 있다. 인식된 필기 이미지가 명령어로 식별되면 제어부는 하위 어플리케이션이 명령어에 대응하는 동작을 수행하도록 제어할 수 있다. 예를 들면 주소록 어플리케이션은 기능을 수행하기 위한 명령어로 'Delete', 'Profile', 'Sync', 'Merge'를 명령어로 정의하고 관리 할 수 있다. 상기 명령어들은 도 32(a)의 제 2 메뉴 영역에 포함되어 있는 메뉴 아이템들(3216, 3218, 3220, 3222, 3224, 3226)에 표시되어 있는 문자와 동일하거나 일부분이 동일 할 수 있다.

제어부는 사용자가 버튼(3236)을 터치하면 메모 창(3236)을 제거하고 인식결과에 따라 하위 어플리케이션이 대응하는 동작을 수행하도록 제어할 수 있다.

도 32(c)는 메모 창에 사용자가 다른 필기 이미지를 입력한 것을 도시한 도면이다. 도 32(c)를 참조하면, 사용자가 필기입력 영역(3272)에 필기를 하면 필기이미지(3274)가 표시된다. 제어부는 필기이미지(3274)를 인식하고, 인식결과에 따라 하위 어플리케이션이 대응하는 동작을 수행하도록 제어할 수 있다.

제어부는 터치 패널위에 표시된 하위 어플리케이션이 2가지 모드로 동작되도록 제어할 수 있다. 하위 어플리케이션이 실행되면 제어부는 하위 어플리케이션의 정보를 나타내는 그래픽 오브젝트와 하위 어플리케이션의 기능을 제어할 수 있는 버튼(메뉴 아이템)을 터치 패널위에 표시할 수 있다. 제어부는 터치 입력에 의해 실행중인 어플리케이션의 기능을 제어하는 제 1 모드와, 상기 어플리케이션의 실행중에 상기 터치 패널위에서 발생되는 미리 결정된 제스처를 식별하고, 식별결과에 대응하여 필기 입력이 가능한 메모 창을 상기 어플리케이션과 중첩하여 표시하고, 상기 메모 창에 입력된 필기 이미지를 인식하여 상기 실행중인 어플리케이션의 기능을 제어하는 제 2 모드를 제공할 수 있다. 또한 제어부는 상기 제 2 모드가 실행되는 상태에서는 상기 제 1 모드가 수행되지 않도록 제어할 수 있다.

도 33은 메모 창에 사용자가 입력한 필기이미지를 처리하는 과정을 도시한 다른 도면이다.

도 33(a)를 참조하면, 사용자가 메모 창(3310)에 필기를 하면 제어부는 필기 이미지(3311, 3312, 3314)를 표시한다. 사용자가 버튼(3316)을 터치하면 필기 이미지(3311, 3312, 3314)가 인식될 수 있다. 제어부는 텍스트'010-1234-1234', 'John T. W.', 'Create'를 얻을수 있고, 상기 텍스트를 하위 어플리케이션으로 제공한다. 하위 어플리케이션은 상기 메모 창(3310)으로부터 제공받은 텍스트를 하위 어플리케이션의 기능을 제어하는 명령어 및 상기 명령어와 관련된 명령 수행을 위한 데이터로 구분할 수 있다. 예를 들면 텍스트'Create'는 하위 어플리케이션인 주소록어플리케이션에서 명령어로 관리된다. 제어부는 'Create' 명령 수행을 위해 주소록 어플리케이션에서 새로운 연락처가 생성되도록 제어할 수 있다. 새로운 연락처 생성을 위해서는 전화번호와 연락처 이름이 필요하므로, 제어부는 텍스트 '010-1234-1234'가 주소록 어플리케이션에서 전화번호로 저장되도록 제어할 수 있다. 또한 제어부는 텍스트 'John T. W.'가 주소록 어플리케이션에서 연락처 이름으로 저장되도록 제어할 수 있다. 이와 같이 인식된 필기 이미지는 하위 어플리케이션에서 명령어와 명령을 수행하기 위한 데이터로 구분될 수 있다.

도 33(b)를 참조하면, 사용자가 메모 창(3321)에 필기를 하면 제어부는 필기 이미지(3322, 3324)를 입력받고, 터치 패널에 표시할 수 있다. 제어부는 필기 이미지가 입력되는 순서에 따라 데이터 또는 명령어로 구분할 수 있다. 예를 들면 사용자가 필기 이미지(3322)를 먼저 입력하고, 다음에 필기 이미지(3324)를 입력한후, 버튼(3326)을 터치하면, 제어부는 필기 이미지(3322)를 데이터로 처리하고, 필기 이미지(3322)를 명령어로 처리한다. 제어부는 필기 이미지(3322)를 명령어로 처리하기 위해 주소록 어플리케이션에서 관리되고 있는 명령어와 필기 이미지(3322)의 인식결과를 비교해서 이에 대응하는 기능이 수행되도록 제어할 수 있다. 제어부는 터치 패널에 표시된 필기 이미지(3322, 3324)를 필기 인식하여 'Hanna'를'Favourities'에 추가할 수 있다. 즉, 제어부는 주소록 어플리케이션의 'Favourities' 명령을 실행하고 'Hanna'를 명령처리 대상으로 사용한다.

도 34는 알람 어플리케이션이 실행중인 상태에서 메모 창(3410)을 표시하고, 필기 이미지를 입력받는 과정을 도시하는 도면이다.

도 34를 참조하면 터치 패널에 알람 어플리케이션이 실행되는 화면이 표시되어 있다(3402). 사용자가 알람 어플리케이션을 실행중에 미리 결정된 제스처를 입력하면 메모 창(3410)이 터치 패널에 표시된다. 사용자가 메모 창(3410)위에 스타일러스펜을 사용하여 필기 이미지를 입력하면 제어부는 입력된 필기 이미지(3412, 3414)를 표시할 수 있다. 예를 들면 사용자가 메모 창(3410)위에 'AM 7:00', 'Add alarm'을 필기로 입력하면 제어부는 필기 이미지(3412, 3414)를 메모 창(3410)위에 표시한다. 사용자가 버튼(3416)을 터치하면 제어부는 필기 이미지(3412, 3414)가 인식되도록 제어할 수 있다. 제어부는 인식된 결과를 알람 어플리케이션에 전달하고, 알람 어플리케이션은 AM 7:00시에 알람이 발생되도록 제어할 수 있다. 또한 제어부는 필기 이미지(3412)를 데이터로, 필기 이미지(3414)를 명령어로 구분하여 처리 할 수 있다. 명령어는 알람 어플리케이션에서 미리 결정되어 관리될 수 있다.

도 35 는 갤러리 어플리케이션이 실행중인 상태에서 메모 창(3510)이 표시되고, 필기 이미지입력에 의해 명령이 수행되는 화면을 표시한 도면이다.

도 35를 참조하면 갤러리 어플리케이션이 터치 패널위에 표시된다. 갤러리 어플리케이션은 이미지 파일을 화면에 표시하는 어플리케이션이다. 갤러리 어플리케이션이 실행중인 상태에서 사용자가 미리 결정된 제스처를 입력하면 제어부는 메모 창(3510)을 갤러리 어플리케이션이 표시된 화면위에 중첩해서 표시한다. 사용자가 메모 창(3510)에 필기를 입력하고 버튼(3516)을 터치하면 제어부는 입력된 필기 이미지(3512, 3514)를 인식하고, 텍스트로 변환한다. 제어부는 입력된 필기 이미지(3512)는 데이터로 처리하고, 필기 이미지(3514)는 명령어로 처리할 수 있다.

예를 들면 사용자가 갤러리 어플리케이션을 실행하여 이미지(3507)을 터치 패널에 표시한 상태에서 메모 창을 실행한다. 사용자가 메모 창에 필기를 하여 'Gallery 2', 'Move to Folder'를 입력하면, 제어부는 갤러리 어플리케이션에서 표시중인 이미지(3507)를 'Gallery 2' 폴더로 이동시킨다. 제어부는 사용자가 필기한 순서에 따라 필기 이미지를 데이터와 명령어로 나누어 처리할 수 있다. 또한 제어부는 사용자가 입력한 필기 이미지를 인식한 결과로부터 얻어진 텍스트가 어플리케이션에서 관리중인 명령어와 동일하거나 또는 일부 동일한 경우, 상기 텍스트를 명령어로 처리할 수 있다.

도 36은 필기 입력에 의해 명령을 실행하는 어플리케이션의 다른 실시예를 도시한 도면이다.

도 36(a)를 참조하면, 터치 패널 위에 연락처(연락받을 사람)에 대한 정보를 입력 및 편집할 수 있는 영역(3610), 상기 연락처를 호출할 때 사용할 마크를 필기에 의해 입력할 수 있는 영역(3620)이 표시되어 있다.

연락처에 대한 정보는 연락처의 이름(3602), 연락처의 사진(3604), 연락처 전화번호(3606)로 구성될 수 있다. 사용자가 연락처에 대한 정보를 미리 입력하였을 경우에는 연락처에 대한 정보가 터치 패널에 표시될 수 있다. 사용자가 연락처에 대한 정보를 미리 입력하지 않았을 경우에는 연락처에 대한 정보가 빈칸으로 표시될 수 있다.

사용자는 연락처에 대한 정보를 영역(3610)에 입력 또는 편집하고, 연락처를 호출하기 위한 마크를 영역(3620)에 필기 이미지로 입력할 수 있다. 예를 들어 사용자가 영역(3620)에 연락처를 호출하기 위해 '하트' 모양의 마크를 필기 이미지로 입력할 수 있다.

도 36(b)를 참조하면, 터치 패널(3650)위에 키패드가 표시되어 있다. 키패드는 주소록 어플리케이션의 일부일 수 있다. 사용자가 주소록 어플리케이션 실행중에 'Samuel'한테 전화하기 위해 키패드메뉴(3660)를 선택하면 제어부는 터치 패널에 키패드(3656)가 표시되도록 제어한다. 사용자는 미리 결정된 제스처를 통해 메모 창(3652)을 호출할 수 있다. 사용자가 메모 창(3652)을 호출하고, 메모 창에 스타일러스 펜을 이용하여 특정 모양을 필기로 입력하면, 제어부는 사용자가 입력한 특정 모양을 인식한다. 제어부는 특정 모양을 인식한 결과를 주소록 어플리케이션으로 전달한다. 주소록 어플리케이션은 인식한 결과에 따라 주소록 DB에서 특정 모양에 대한 데이터를 포함하는 연락처를 찾을수 있다. 제어부는 특정 모양에 대한 데이터를 포함하는 연락처로 전화를 걸 수 있다.

예를 들어, 사용자가 메모 창에 '하트(3654)'를 그리면 제어부는 '하트(3654)'를 인식하고, '하트(3654)'를 포함하는 연락처 'Samuel'의 전화번호를 검색할 수 있다. 또한 제어부는 검색결과에 따라 '하트(3654)'를 포함하는 연락처 'Samuel'한테 전화를 걸 수 있다.

도 37a 및 도 37b는 본 발명의 실시 예에 따른 하위 어플리케이션과 메모 계층(메모 창) 어플리케이션에 포함되는 소프트웨어 모듈을 보이고 있는 도면이다.

터치를 감지하는 터치 패널을 포함하는 전자장치에서, 어플리케이션을 실행하면, 실행중인 어플리케이션과 관련된 정보를 나타내는 그래픽 오브젝트 및 상기 어플리케이션의 기능을 제어하기 위한 버튼이 상기 터치 패널에 표시된다.

상기 버튼위에 터치가 검출되면 상기 버튼에 대응하는 상기 어플리케이션의 기능을 제어하고, 상기 터치 패널에 미리 결정된 제스처가 검출되면 상기 터치 패널에 표시된 그래픽 오브젝트 및 상기 버튼에 중첩하여 표시되며, 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창이 표시될 수 있다. 상기 어플리케이션은 소프트웨어 모듈을 포함하고 있는데, 소프트웨어 모듈에는 상기 메모 계층(메모 창)을 표시하는데 필요한 파라미터가 정의되어 있다.

상기 파라미터는 상기 어플리케이션 실행시, 메모리(미도시)의 특정 영역에 저장되고, 상기 메모 계층(메모 창)의 이름을 나타내는 문자 및 상기 메모 계층(메모 창)에서 사용되는 버튼 이미지로 사용된다.

도 37a를 참조하면 하위 어플리케이션에 포함되어 있는 소프트웨어 모듈(3710)이 도시되어 있다. 소프트웨어 모듈(3710)은 모듈 이름(3712), 모듈(3710)에서 사용되는 각종 파라미터(3714, 3716, 3718)가 정의되어 있다. 하위 어플리케이션이 실행되면 메모리(미도시)의 일부 영역이 하위 어플리케이션을 위해 할당 될 수 있다. 상기 일부 영역에는 파라미터(3714, 3716, 3718)로 사용될 데이터가 저장될 수 있다.

도 37b를 참조하면 메모 계층(메모 창)을 표시하기 위한 소프트웨어 모듈(3720)이 도시되어 있다. 소프트웨어 모듈(3720)에는 메모 계층(메모 창)을 표시하는데 사용되는 파라미터(3722, 3724, 3726)가 정의되어 있다. 파라미터(3722, 3724, 3726)는 하위 어플리케이션의 소프트웨어 모듈(3710)에 포함되어 있는 파라미터(3714, 3716, 3718)와 동일하다. 즉 메모 계층(메모 창)을 표시하는데 하위 어플리케이션의 소프트웨어 모듈에서 정의된 파라미터(3722, 3724, 3726)를 사용할 수 있다.

예를 들면, 소프트웨어 모듈(3710)에 파라미터 STRING TITLE(3714), BITMAP_BTN_PRESSED(3718), BITMAP_BTN_NON(3716)이 정의되어 있다.

STRING_TITLE(3714)에는 메모 계층(메모 창)의 타이틀을 표시하는데 사용되는 텍스트 데이터가 저장되어 있다.

BITMAP_BTN_PRESSED(3718), BITMAP_BTN_NON(3716)에는 메모 계층(메모 창)에서 사용되는 버튼을 표시하는데 사용되는 이미지 데이터가 저장되어 있다.

제어부는 터치 패널에 메모 계층(메모 창)을 표시하기 위해 메모 계층을 위한 별도의 메모리 영역에 저장되어 있는 데이터를 사용할 수 있다. 제어부는 하위 어플리케이션을 위해 할당된 메모리 영역에서 파라미터(3714, 3716, 3718)를 읽고, 상기 파라미터를 메모 계층(메모 창)의 을 표시하는데 사용할 수 있다.

상술한 바와 같이 본 발명에서는 다양한 어플리케이션 상에서 메모 기능을 지원하여 해당 어플리케이션을 직관적으로 제어할 수 있도록 함으로써, 사용자의 편의성을 향상시킬 수 있도록 한다.

한편 상술한 바와 같은 시나리오들은 메모 계층(메모 창)을 화면 상에 띄워서 필기 이미지를 입력하면, 그것을 인식하여 동작을 수행한다는 것이 주요할 것이다. 한편 이를 위해 부가적으로 화면 상에 메모 계층(메모 창)을 띄우기 위한 방안을 마련하는 것이 바람직할 것이다.

예컨대 메모 계층(메모 창)을 띄우는 방안으로는 메뉴 버튼, 특정 제스처 입력, 펜에 있는 버튼을 누른 상태 또는 손가락으로 화면의 위쪽 영역을 끌어내리거나, 아래쪽 영역을 끌어올리는 동작에 의해 현재 화면 상에 메모가 가능한 계층을 띄울 수 있다. 본 발명의 실시 예에서는 메모 계층을 띄우는 예시 중 하나로, 화면의 아래 영역을 끌어올리는 방안을 제안하고 있다. 하지만 앞에서 정의되지 않은 다양한 방안이 마련될 수 있음은 자명하다.

상술한 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재 기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비 휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다.

본 발명의 컨텐츠 제공장치 및 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 상기 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 그래픽 처리 장치가 기 설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.

예컨대 앞에서 살펴본 본 발명의 실시 예에서는 사용자 인터페이스를 구성하는 인지 엔진에 의해 인식된 결과를 기반으로 사용자의 의도를 분석하여 그에 다른 처리 결과를 사용자에게 제공하는 모든 기능이 사용자 단말 내에서 처리되는 것을 가정하고 있다.

하지만 본 발명을 위해 필요한 기능은 사용자 단말이 네트워크를 통해 접근 가능한 서버와의 연동에 의해 수행될 수도 있다. 일 예로 사용자 단말에 구비된 인지 엔진에서의 인식 결과를 네트워크를 통해 특정 서버로 제공하고, 상기 특정 서버에서 사용자 단말로부터 제공된 인식 결과를 기반으로 사용자의 의도를 파악하여 그 결과를 사용자 단말에게 제공할 수 있다. 만약 제공된 인식 결과만으로 사용자의 의도를 파악하거나 파악한 사용자의 의도를 처리하기 위해 추가 정보가 필요한 경우, 사용자 단말과의 문답 절차를 수행하여 필요한 추가 정보를 제공받는 것도 가능하다.

뿐만 아니라 사용자는 사용자 단말의 설정을 조정하여 본 발명의 실시 예에 따른 동작을 사용자 단말 내로 한정하거나 네트워크를 통한 서버와의 연동으로 확장하는 것을 선택적으로 이용할 수도 있다.

Claims (20)

1. 터치 패널을 포함하는 전자장치의 어플리케이션 제어 방법에 있어서,
   실행중인 어플리케이션을 상기 터치 패널에 표시하는 단계;
   상기 터치 패널에서 미리 결정된 제스처를 검출하는 단계;
   상기 검출된 제스처에 응답하여, 상기 어플리케이션에 중첩하여 표시되며, 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창을 표시하는 단계;
   상기 메모 창의 필기 입력 영역에서 필기 이미지를 입력 받는 단계;
   상기 입력된 필기 이미지를 인식하는 단계;
   상기 인식 결과에 따라, 상기 어플리케이션의 기능을 제어하는 단계를 포함하는 전자장치의 어플리케이션 제어 방법.
2. 제1항에 있어서,
   상기 메모 창의 상기 필기 입력이 불가능한 영역에는 상기 어플리케이션으로부터 제공받은 문자 및 이미지가 표시되는 전자 장치의 어플리케이션 제어 방법.
3. 제2항에 있어서,
   상기 메모 창은 상기 문자 및 이미지위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기이미지를 인식해서 상기 필기이미지에 대응하는 텍스트로 변환하고, 상기 변환된 텍스트를 상기 어플리케이션에 제공하는 것을 특징으로 하는 전자 장치의 어플리케이션 제어 방법.
4. 제 3 항에 있어서,
   상기 어플리케이션은 상기 메모 창으로부터 제공받은 텍스트를 상기 어플리케이션의 기능을 제어하는 명령어(command word) 및 상기 명령어와 관련된 데이터로 구분하는 단계를 더 포함하는 전자장치의 어플리케이션 제어 방법.
5. 터치 패널을 포함하는 전자장치의 어플리케이션 제어 방법에 있어서,
   실행중인 어플리케이션과 관련된 정보를 나타내는 그래픽 오브젝트 및 상기 어플리케이션의 기능을 제어하기 위한 버튼을 상기 터치 패널에 표시하는 단계;
   상기 버튼위에 터치가 검출되면 상기 버튼에 대응하는 상기 어플리케이션의 기능을 제어하는 단계;
   상기 터치 패널에 미리 결정된 제스처가 검출되면 상기 터치 패널에 표시된 그래픽 오브젝트 및 상기 버튼에 중첩하여 표시되며, 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창을 표시하는 단계;
   상기 메모 창의 필기 입력 영역에 필기 이미지를 입력 받는 단계;
   상기 입력된 필기 이미지를 인식하는 단계;
   상기 인식 결과에 따라, 상기 어플리케이션의 기능을 제어하는 단계를 포함하는 전자장치의 어플리케이션 제어 방법.
6. 제5항에 있어서,
   상기 메모 창의 상기 필기 입력이 불가능한 영역에는 상기 어플리케이션으로부터 제공 받은 문자 및 이미지가 표시되는 전자 장치의 어플리케이션 제어 방법.
7. 제 6 항에 있어서,
   상기 메모 창은 상기 문자 또는 이미지위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기이미지를 인식해서 상기 필기이미지에 대응하는 텍스트로 변환하고, 상기 변환된 텍스트를 상기 어플리케이션에 제공하는 것을 특징으로 하는 전자 장치의 어플리케이션 제어 방법.
8. 제 5 항에 있어서,
   상기 버튼위에 상기 메모 창이 표시되면 상기 버튼은 비활성화 되는 전자장치의 어플리케이션 제어 방법.
9. 터치 패널을 포함하는 전자장치의 어플리케이션 제어 방법에 있어서,
   터치 입력에 의해 실행중인 어플리케이션의 기능을 제어하는 제 1 모드;
   상기 어플리케이션 실행중에 상기 터치 패널위에서 발생되는 미리 결정된 제스처를 식별하고, 식별결과에 대응하여 필기 입력이 가능한 메모 창을 상기 어플리케이션과 중첩하여 표시하고, 상기 메모 창에 입력된 필기 이미지를 인식하여 상기 실행중인 어플리케이션의 기능을 제어하는 제 2 모드를 포함하는 전자장치의 어플리케이션 제어 방법.
10. 제 9 항에 있어서,
    상기 제 2 모드 상태에서는 상기 제 1 모드가 수행되지 않도록 하는 전자장치의 어플리케이션 제어 방법.
11. 터치를 감지하는 터치 패널;
    실행중인 어플리케이션을 상기 터치 패널에 표시하고, 상기 터치 패널에서 검출된 미리 결정된 제스처에 응답하여, 상기 어플리케이션에 중첩하여 표시되며, 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창을 표시하고;
    상기 메모 창의 필기 입력 영역에 입력된 필기 이미지를 인식하고, 상기 인식 결과에 따라 상기 어플리케이션의 기능을 제어하는 제어부를 포함하는 전자 장치.
12. 제 11 항에 있어서,
    상기 제어부는 상기 메모 창의 상기 필기 입력이 불가능한 영역에 상기 어플리케이션으로부터 제공 받은 문자 및 이미지가 표시되도록 제어하는 전자 장치.
13. 제 12 항에 있어서,
    상기 제어부는 상기 문자 및 이미지위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기이미지를 인식해서 상기 필기이미지에 대응하는 텍스트로 변환하고, 상기 변환된 텍스트에 대응하는 상기 어플리케이션의 기능을 제어하는 전자 장치.
14. 제 13 항에 있어서,
    상기 제어부는 상기 텍스트를 상기 어플리케이션의 기능을 제어하는 명령어(command word) 및 상기 명령어와 관련된 데이터로 구분하는 전자장치.
15. 터치를 감지하는 터치 패널;
    실행중인 어플리케이션과 관련된 정보를 나타내는 그래픽 오브젝트 및 상기 어플리케이션의 기능을 제어하기 위한 버튼을 상기 터치 패널에 표시하고, 상기 버튼위에 터치가 검출되면 상기 버튼에 대응하는 상기 어플리케이션의 기능을 제어하고, 상기 터치 패널에 미리 결정된 제스처가 검출되면 상기 터치 패널에 표시된 그래픽 오브젝트 및 상기 버튼에 중첩하여 표시되며, 필기 입력이 가능한 필기 입력 영역 및 필기 입력이 불가능한 영역을 포함하는 메모 창을 표시하며, 상기 메모 창의 필기 입력 영역에 입력된 필기 이미지를 인식하고, 상기 인식 결과에 따라 상기 어플리케이션의 기능이 수행되도록 제어하는 제어부를 포함하는 전자장치.
16. 제 15 항에 있어서,
    상기 제어부는 상기 메모 창의 상기 필기 입력이 불가능한 영역에는 상기 어플리케이션으로부터 제공 받은 문자 또는 이미지가 표시되도록 제어하는 전자 장치.
17. 제 16 항에 있어서,
    상기 제어부는 상기 메모 창에 표시된 상기 문자 또는 이미지위에 터치가 감지되면 상기 필기 입력 영역에 입력된 필기이미지를 인식해서 상기 필기이미지에 대응하는 텍스트로 변환하고, 상기 변환된 텍스트에 대응하는 상기 어플리케이션의 기능을 제어하는 전자 장치.
18. 제 15 항에 있어서,
    상기 제어부는 상기 버튼위에 중첩하여 상기 메모 창이 표시되면 상기 버튼이 비활성화 되도록 제어하는 전자장치.
19. 터치를 감지하는 터치 패널;
    터치 입력에 의해 실행중인 어플리케이션의 기능을 제어하는 제 1 모드 및
    상기 어플리케이션 실행중에 상기 터치 패널위에서 발생되는 미리 결정된 제스처를 식별하고, 식별결과에 대응하여 필기 입력이 가능한 메모 창을 상기 어플리케이션과 중첩하여 표시하고, 상기 메모 창에 입력된 필기 이미지를 인식하여 상기 실행중인 어플리케이션의 기능을 제어하는 제 2 모드로 동작되도록 상기 어플리케이션을 제어하는 제어부를 포함하는 전자장치.
20. 터치를 감지하는 터치 패널;
    상기 터치 패널에 실행중인 어플리케이션과 관련된 정보를 나타내는 그래픽 오브젝트 및 상기 어플리케이션의 기능을 제어하기 위한 버튼을 표시하고,
    상기 버튼이 터치되면 상기 버튼에 대응하는 어플리케이션의 기능이 수행되도록 제어하고,
    상기 터치 패널에 미리 결정된 제스처가 입력되면 상기 그래픽 오브젝트 및 상기 버튼이 표시된 화면에 중첩하여 필기 입력이 가능한 메모 창을 표시하고, 상기 메모 창을 통해 입력된 필기 이미지를 인식하여, 상기 인식결과에 따라 상기 어플리케이션의 기능이 수행되도록 제어하는 제어부를 포함하는 전자장치.

Images