KR20120085783A - 인간-컴퓨터의 상호작용을 위한 인터페이스 및 그 방법 - Google Patents

Abstract

본 발명은 인간-컴퓨터 상호작용 메커니즘 및 인터페이스에 관한 것으로, 특히 멀티터치방식의 인간-컴퓨터의 상호작용 및 인터페이스에 적용된다. 본 발명은 터치조작환경하에서 도형인터페이스 구조방식과 방법을 제공하며, 특히 멀티터치장비의 우세를 충분히 이용하여 비교적 적은 조작으로 더욱 풍부한 조작명령정보를 입력하도록 한다. 본 명세서는 주로 본 발명이 어떻게 멀티터치를 사용하여 더욱 풍부한 정보를 입력하는지, 비교적 적은 절차로 더욱 복잡한 구조를 구비한 조작명령을 표현하는지, 그리고 인터페이스가 더욱 스마트하고 인체공학에 부합되며 손의 여러 부분 동시 조작이 보다 더 용이한지에 관하여 서술하고 있다.

Description

인간-컴퓨터의 상호작용을 위한 인터페이스 및 그 방법{Method and Interface for Man-Machine Interaction}

본 발명은 인간-컴퓨터 상호작용 메커니즘 및 인터페이스에 관한 것으로, 특히 멀티터치방식의 인간-컴퓨터의 상호작용 및 인터페이스에 적용된다.

본 발명은 터치조작환경하에서 도형인터페이스 구조방식과 방법을 제공하며, 특히 멀티터치장비의 우세를 충분히 이용하여 비교적 적은 조작으로 더욱 풍부한 조작명령정보를 입력하도록 한다. 본 발명은 주로 어떻게 멀티터치를 사용하여 더욱 풍부한 정보를 입력하는지, 비교적 적은 절차로 더욱 복잡한 구조를 구비한 조작명령을 표현하는지 그리고 인터페이스가 더욱 스마트하고 인체공학에 부합되며 조작이 용이한지에 관하여 서술하고 있다.

기존의 멀티터치 조작은 주로 터치명령으로 사용자가 복잡한 터치명령을 기억하기에는 어려움이 존재한다. 기존의 멀티터치 조작방식은 종종 여러 개의 터치 포인트 사이의 연관성, 특히 여러 개의 터치 포인트가 여러 개의 구역이나 대상을 선택한 상황에서 각종 정보를 통하여 각 대상사이의 관계를 확정함으로써 비교적 적은 절차로 복잡한 조작을 수행하는 것을 홀시하는 경향이 있다.

도1부터 도4는 선택메뉴의 몇가지 양식이다.
도5는 선택메뉴가 선택메뉴 호출명령을 내린 곳과 다른 곳에 나타난 인터페이스의 표시도이다.
도6은 터치펜 인터페이스의 한 표시도이다.
도7은 일종의 목표를 선정하는 터치 명령이다.
도8은 다섯 손가락의 터치픽쳐이다.
도9은 하나의 터치 픽쳐이다.
도10은 사람의 두 손이다.
도11은 일종의 선택메뉴를 사용한 터치 명령이다.
도12는 몇가지 선택메뉴의 양식이다.
도13 은 몇가지 아이콘의 양식이다.
도14는 일종의 아이콘 또는 선택메뉴의 양식이다.
도15는 4개의 손가락으로 아이콘을 눌렀을 때의 표시도이다.
도16은 두 손으로 조작하는 일종 형식의 표시도이다.
도17은 여러개의 아이콘이 나타나 손가락이 그중 3개의 아이콘을 터치한 표시도이다.
도18은 두 손으로 조작하는 다른 한 표시도이다.
도19는 사용자가 왼손의 한 손가락을 굽힌 것과 오른손으로 픽쳐를 터치한 표시도이다.
도20은 터치명령편집기의 인터페이스 표시도이다.
도21은 사용자가 중간 손가락을 들어 중지에 대응하는 대상을 선택하는 표시도이다.
도22는 바이오인터페이스와선택메뉴를 슬라이딩선택하는 표시도이다.
도23은 사용자가 엄지를 손의 아래에 누른 표시도이다.
도24는 양손 터치 스크린의 구역구분 표시도이다.
도25는 한 선택메뉴의 표시도이다.
도26은 인터페이스 표시도이다.
도27은 인터페이스 표시도이다.
도28은 인터페이스 표시도이다.
도29는 정보를 나타내는 인터페이스 표시도이다.
도30은 바이오인터페이스의 몇가지 선택메뉴 양식의 표시도이다.
도31은 바이오인터페이스의 선택메뉴 양식 표시도이다.
도32는 동일 바이오인터페이스의 부동한 상황의 몇가지 양식의 표시도이다.
도33은 보조 커서와 두개의 터치 포인트의 표시도이다.
도34는 하나의 바이오인터페이스 표시도이다.
도35는 하나의 바이오인터페이스 표시도이다.
도36은 여러 개의 손가락이 스크린을 터치 했을 경우 바이오인터페이스에서 손바닥 터치위치를 제시하는 표시도이다.
도37, 도38은 손바닥이 스크린을 터치했을 경우의 바이오인터페이스의 표시도이다.
도39는 바이오인터페이스의 표시도이다.
도40，41，43，44는 바이오인터페이스의 표시도이다.
도42는 한 이동장비의 외관 표시도이다.
본 발명에서, 멀티터치스크린은 스크린상의 여러개의 터치 포인트 좌표를 입력할 수 있을 뿐만아니라, 스크린상의 터치픽쳐도 입력할 수 있고, 터치 포인트는 단지 하나의 점뿐만아니라, 한 터치구역을 표시할 수 도 있다. 예를 들어 손바닥이 터치스크린을 터치했을 경우, 만약 시스템이 단순이 좌표정보만 얻는다면 하나의 터치 포인트으로만 보게 되지만, 만약 시스템이 터치픽쳐를 입수하는 능력을 구비한다면 손바닥의 터치 포인트는 실상 한 구역에 대응하는 것이다.
본 발명은 터치스크린의 사용자의 신체 각 부분 및 조작툴 등에 대하여 보편적으로 적용되는 분류방법을 제공하는 바, 특히 인체공학에 부합되고 편의한 조작을 원칙으로 사용자 신체의 각 부분과 터치툴에 대하여 상응하는 기능을 배분하며, 사용자의 신체, 특히 두 손의 각 부분에 대한 구분을 하고 각 부분에 일반상황에서 대응하는 기능과 각 부분의 관계 및 협력의 구조를 부여함으로써 사용자의 신체 특히는 두 손이 통용성이 있는 조작툴로 되게끔 한다.
사용자의 두 손의 각 부분의 통일적인 설정과 정의를 통하여 시스템과 프로그램이 두 손에 대한 완벽한 개념을 가지게 하여, 터치가 발생할 경우, 시스템은 터치되는 장비가 탐지하는 부분만 감지하지 않으며, 탐지한 각 부분을 따로따로 보거나 분산된 그룹으로 보는 것으로 인하여 그것들 사이의 구조를 무시하지 않는다. 본 발명은 시스템이 손의 개념을 갖게 함으로써 시스템으로 하여금 사용자는 손이라는, 손의 모양과 구조를 가진 툴로 조작을 하고 있다는 것을 알게 한다. 시스템은 터치 포인트가 오는 부동한 터치물, 예를 들면 신체부분 또는 터치툴에 근거하여 터치되는 점이나 터치되는 대상 또는 구역에 대하여 그룹을 나누고 터치 포인트와 손에 대응하는 부분과의 피차간의 위치관계를 통하여 풍부한 입력정보를 입수하며, 특히 스크린상의 여러 그룹의 구역이나 대상을 입수한다. 시스템은 사용자가 손으로 조작하고 있음을 알고 손의 형상과 구조를 아는 것으로써 터치탐지장비가 입수한 정보, 특히는 멀티터치 스크린이 입수한 터치픽쳐를 통하여 사용자의 손의 자태를 판단할 수 있으며, 설사 스크린과 터치되는 위치가 발생하지 않아도 판단을 할수 있다. 예를 들면, 도 19에서 사용자는 한 손가락을 굽혔는데, 시스템은 터치픽쳐에 근거하여 이를 판단해 낼 수 있으며, 다른 한 손은 무명지와 검지를 들어 올렸는데, 시스템은 이 역시 터치픽쳐에 근거하여 판단해 낼수 있다. 이런 기능은 멀티터치 조작방식 하에서 선택메뉴 불러오기, 프로그램 실행하기, 대상 불러오기 등 정보를 입력하거나 터치픽쳐에 근거하여 3D물체를 생성 또는 제어하는데 아주 유용하다. 이런 방식으로 사용자가 어떤 선택항을 선택하였는지도 판단할 수 있는데, 도 21에 도시된 바와 같이 사용자의 왼손 중지가 스크린에서 떼어졌거나 또는 스크린과 터치가 발생하지 않았을 경우에 시스템은 사용자가 상응하는 선택항을 선택했다고 인지한다.
시스템이 부분 정보를 통하여 사용자의 신체, 특히는 손의 자태를 파악할 수 있는 것은 시스템 내에 사용자가 사용하게 될 조작 툴구조와 형상, 그리고 각종 자세에 대응하여 터치탐지장비가 입수하는 정보, 특히 터치스크린이 입수하는 터치픽쳐 등 데이터를 미리 내장해두었기 때문이다. 이런 방법은 손뿐만 아니라 기타 터치물에도 마찬가지로 적용된다. 사용자의 손의 자세를 더욱 정확하게 판단하고 더욱 풍부한 조작정보와 세부사항을 입수하기 위하여, 흔히 특정된 손의 데이터를 입수해야 한다. 예를 들면, 매 개인의 손의 크기, 각 손가락의 길이는 서로 다르다. 어떤 상황에서는 각 터치구역의 사이즈 및 각 터치구역의 사이즈의 차이, 거리 등 정보에 따라, 사용자의 손의 각 부분의 치수 데이터를 결부하여 비교적 적은 터치정보로 각 구역에 대응하는 터치물과 손의 자세를 더욱 정확하게 판단해야 한다. 예를 들면, 시스템은 손가락의 길이의 차이로 붙어있는 두 손가락이 오른손의 중지와 검지인지 아니면 왼손의 중지와 무명지인지를 판단할 수 있다. 더 나아가, 손의 사이즈 정보는 조작자의 신분을 식별하여 부동한 조작자의 동일한 조작이 서로 다른 기능에 대응하도록 자체정의 할수 있도록 한다. 가장 기본적인 것은, 사용자는 시스템으로 하여금 어느 하나의 터치픽쳐의 스크린샷을 저장하고 시스템에게 이때 본인의 신체는 어떤 자세인지, 터칙픽쳐의 부동한 부분이 대응하는 신체위치, 심지어는 시스템에게 모 하나의 터치픽쳐는 어떤 상황에서 어떤 기능에 대응하는지를 알려줌으로써 어떤 특수상황하에서 오인하거나 식별이 민감하지 못한 문제를 해결할 수 있다. 이런한 터치물의 형상과 구조 및 대응하는 터치탐지장비를 미리 예치하는 것을 통하여 입수한 정보, 특히 터치스크린이 입수한 터치픽쳐 등 데이터는 손에만 한정되는 것만은 아니며 한쪽 손에만 한정되는 것은 더욱 아님을 이해해야 한다. 시스템은 마찬가지로 두 손이 겹쳐 있을 때, 그중 한손의 팔의 일부분이 스크린의 대응하는 터치픽쳐를 누르거나 또는 미리 저장한 손의 터치픽쳐 및 손의 구조로 각종 자세 하에서의 손의 터치픽쳐가 대응하는 손의 자세를 식별할 수 있다. 사용자가 터치장비의 터치정보, 예를 들면 터치픽쳐, 대응하는 신체나 터치물의 상태 및 위치를 자체정의 할 경우, 먼저 터치정보, 예를 들면 터치픽쳐를 캡쳐하고 그 다음 사용자로 하여금 스크린에 표시된 가상의 신체를 이 터치정보가 대응하는 신체 또는 터치물의 자세에 조정하여 맞추도록 하고 터치픽쳐의 부동한 위치에 대응하는 상응한 터치물체를 설정하하거나, 또는 이 터치픽쳐에 대응하는 기능만 설정한다. 터치픽쳐 등 터치정보를 통하여 신체나 터치물의 자세를 확정하는 과정은 정적인 것일 뿐만 아니라 동적이고 연속적인 과정임을 이해해야 한다. 시스템은 터치픽쳐 등연속적인 터치정보를 통하여 실시간으로 사용자의 신체동작을 추산할 수 있다. 비록 어떤 때에는 정확하지 않더라도, 관련 프로그램에게 상응하는 조작을 실행하도록 확정하는 필요한 관건 정보를 제공할 수 있다.

전문적으로 사전에 예치한 사용자의 신체정보는 어떤 상황에서는 임시 입수의 방식으로 비교정보를 입수할 수 있다. 예를 들면 사용자의 오른손 중 엄지를 제외한 네 손가락을 붙여서 스크린속의 하나 또는 여러 개의 대상을 한번 두드릴 경우, 시스템은 이때의 터치픽쳐를 기록한다. 스크린을 두드릴 때, 사용한 새끼손가락 아래 또는 근처가 '복사' 아이콘을 나타내고, 사용자의 식지 근처가 '잘라내기'아이콘을 나타내며, 긴 바형의 네 손가락 윤곽을 따른 아이콘이 '붙이기'를 나타내는데, 이는 도 26에서 도시한 바와 같다. 그다음 사용자가 새끼손가락과 엄지손가락을 제외한 기타 세 손가락으로 스크린을 한번 두드리면 '복사' 조작에 대응하고, 엄지와 식지를 제외한 기타 세 손가락으로 스크린을 한번 두드리면 '복사' 조작에 대응하며, 네 손가락으로 같이 다시 한번 두드리면 '붙이기' 조작에 대응하는데, 여러개의 손가락이 반드시 동시에 스크린에 접촉해야 되는 것은 아니다. 예를 들어, 붙이기를 할 때, 정확도를 보장하기 위하여 먼저 중지가 스크린데 닿게 하여 위치를 잘 선택한 다음 기타 손가락이 다시 스크린에 접촉하여 붙이기를 실행할 수 있다. 오른손 전체의 다섯 손가락을 다 벌려서 또 두드리면 이 몇개의 대상을 다섯 손가락이 덮는 구역에 쫙 펴진 방식으로 배열하여 나타내는 것에 대응한다. 시스템은 두번째 스크린을 두드렸을 때의 터치픽쳐와 첫번째 스크린을 두드렸을 때 입수한 터치픽쳐를 비교하여, 어느 손가락이 어떤 자세로 스크린을 터치 했는 지 확정한다. 어떤 조작은 그 후의 터치명령에 영향을 미칠수도 있다. 예를 들면 어느 한 대상을 복사한 후 기타 위치에서 또는 같은 창 내의 기타 위치에서 네 손가락이 스크린을 두드리면 붙이기 조작에 대응하게 되며, 만약 처음에 복사조작을 하지 않았다면, 네 손가락이 스크린을 두드리는 것은 기타 조작에 대응하는 것이다.
손의 각 부분과 상용용도.
도 10에 도시된 바와 같이, 왼손100, 오른손101, 왼손의 네 손가락 1, 2, 3, 4, 왼손 엄지5, 왼손 손바닥12, 왼손손바닥 중심13, 오른손의 엄지6, 오른손의 네 손가락7, 8, 9, 10, 오른손 손바닥11, 오른손 손바닥 중심14이다. 도7에 도시된 바와 같이, 왼손손가락 측면130, 왼손 측면 131, 왼손 손바닥 측면 132, 오른손 손가락 측면140, 오른손 측면 141, 오른손 손바닥측면 142이다. 시스템은 사용자의 손을 왼손과 오른손으로 나누고, 매 손마다 4개의 손가락과 엄지, 손바닥, 손바닥중심과 손의 측면으로 나누며, 매 손가락은 관절에 따라 3단으로 나누고, 엄지는 2단으로 나눈다. 매 손의 손바닥은 좌, 우 두개 부분으로 나누고, 손바닥 중심도 좌, 우 두개 부분으로 나누며, 손의 측면도 손가락 측면과 손바닥 측면 두개 부분으로 나눈다. 손바닥, 엄지와 기타 손가락은 단독으로 전후좌우로의 미끄러짐(滑) 및 스크린 두드리기, 스크린 누르기 등 조작을 할 수 있다.
본 발명에서, 손가락, 손바닥 등 위치를 말할 때, 특히 손가락을 말할 때 특별한 설명이 없으면 모두 손가락의 어느 한 부분이나 또는 전부를 표시하며, 특히 손가락 끝과 손가락 전부를 가리키는 것으로 반드시 손가락 전부는 아니다. 손가락 끝이 스크린을 터치하는 것과 손가락이 대면적으로 스크린을 터치하는 것은 부동한 기능을 배분할 수 있으며, 특히 한 손가락 또는 여러 손가락이 비교적 큰 면적으로 스크린위를 미끄러 질때, 선택메뉴 또는 창 불러오기 및 전환이나 내용 선택 등 조작에 사용할 수 있다.
도 27에 도시된 바와 같이 손가락7은 비교적 큰 면적으로 스크린 803을 미끄러져 가서, 선택메뉴 251을 불러오는 동시에 계속하여 미끄러져 선택항 812의 내용에 대하여 전환 또는 선택을 할 수 있다. 선택된 선택항은 손가락에 의해 터치된 선택항일 수도 있고, 손가락의 미끄러짐에 따라 시스템이 미끄러지는 방향에 따라순서대로 고휘도선택한 상응한 선택항일 수도 있다. 이는 사용자가 선택메뉴를 불러오고 상응하는 선택항을 선택하는데 단 하나의 절차만으로도 완성할 수 있게 하며, 선택메뉴를 불러오거나 인터페이스를 제어하고 나서 다시 상응하는 선택을 할 필요가 없게 한다. 선택메뉴의 외관은 손가락의 자세와 미끄러지는 방향에 따라 조정을 하여, 선택항이 손가락의 미끄러짐 방향이 있는 직선이나 곡선에 차례로 배열되게 해야 한다. 예를 들어 도 28에 도시된 바와 같이 손가락이 화살표 방향으로 이끄러지고, 손가락이 도면에 표시한 자세나 각도일 때, 선택메뉴 251은 도 27에 도시된 바로부터 도 28에 도시된 바의 양식으로 바뀐다. 손가락이 상응하는 선택항을 미끄러지나거나 또는 선택할 때, 선택항은 커져서 사용자로 하여금 선택항의 내용을 똑똑히 알아볼 수 있어, 사용자가 힘주어 스크린을 누르는 등 방식으로 선택항을 선택할 때 부주의로 손가락을 작은 범위 이동함으로 인한 기타 선택항으로 전환하지 않도록 한다. 손가락의 미끄러짐에 따라, 시스템은 미끄러짐 방향의 순서대로 상응하는 선택항을 고휘도선택할 때, 한 선택항을 고휘도 한 후 오류조작을 방지하기 위하여 사용자 손가락의 작은 범위 내의 미끄러짐 역시 시스템으로 하여금 다음 선택항으로 전환하도록 해서는 안된다.
여러 개의 손가락 또는 손 전체 등 손의 여러 개의 위치도 같이 미끄러짐, 회전, 두드림, 터치 또는 스크린 누름 등 조작을 진행할 수 있다.
여러 개의 손가락 또는 손 전체 등 손의 여러 개의 위치가 같이 미끄러짐, 회전, 두드림, 터치 또는 스크린 누름 등 조작으로 선텍메뉴 또는 바이오제어구역이나 자유식 아이콘 또는 페이지 등 대상을 불러 오는데 사용할 수 있으며, 동시에 선택메뉴나 바이오제어구역을 불러오는 손가락의 계속된 미끄러짐이나 회전 또는 스크린에 대한 압력을 가중시켜서 선택메뉴/ 바이오제어구역이나 선택메뉴/ 바이오제어구/창 내용에 대한 전환 또는 선택을 할 수 있다. 도 22에서 도시된 바와 같이 사용자의 손 또는 네 손가락이나 네 손가락의 손끝이 화살표 방향으로 미끄러져 선택메뉴 825가 나타나고, 손가락이 계속 미끄러져서, 순서대로 813, 814, 815, 816선택항을 선택한다. 엄지는 스크린을 접촉하거나 접촉하지 않아도 되며, 기타 손가락이 미끄러질 때 엄지는 움직이지 않거나 또는 다른 방향으로 미끄러질 수 있으며, 이는 부동한 선택메뉴825를 불러올 수 있다. 선택된 선택항은 고휘도로 나타나며, 선택되지 않은 선택항은 반투명으로 표현된다. 상응한 선택항을 선택한 후, 사용자는 직접 손을 스크린에서 떼어 낼 수 있으며 선택된 선택항이 대응하는 기능은 집행된다. 만약 사용자가 그 어떤 선택항도 사용하고 싶지 않다면그 어떤 선택항도 선택하지 않을 때까지 계속하여 손가락을 미끄러지게 하면 된다. 또는 사용자가 부동안 압력으로 스크린을 눌러 이때 선택된 선택항을 사용할 수도 있다. 여러개의 손가락의 위치가 여러개의 선택항이나 대상에 대응할 때, 선택된 선택항은 현재 사용자의 어느 한 특정된 손가락에 마침 해당하는 선택항일 수도 있다. 예를 들어, 사용자의 중간 손가락이 부동한 선택항들을 순서대로 가리킬때는 마치 시계의 시계바늘과 같다. 도 25는 하나의 실시예이다.
더 나아가, 기타 위치, 예를 들어 네 손가락 근처 또는 아래에서 선택한 선택항의 하위 선택메뉴들을 동시에 나타낼 수 있다. 선택항은 사용자의 손가락 이동에 따라 함게 이동하는 것으로 시종일관 사용자의 손가락이 쉽게 조작할 수 있는 위치를 유지하게 되며, 손가락 근처의 어느 한 선택항을 선택할 경우, 하위 선택메뉴가 825위에 나타나게 되며, 더 한층 하위의 메뉴는 38, 39, 40, 41에 나타나게 된다. 선택메뉴는 뒷쪽에서 언급하게 되는 바이오제어구의 형식을 사용하거나 또는 자유식 아이콘으로 선택항을 그 근처의 손가락과 대응하도록 설정할 수 있으며, 사용자는 상응하는 손가락의 미끄러짐 또는 스크린이나 아이콘을 연속 두번 누르는 등 상응하는 손가락이 부동한 압력으로 스크린을 누르는 것으로 상응하는 선택항을 사용할 수 있다. 또한 손바닥 등 손의 부분 부위가 스크린과의 접촉이 유지되는 상황에서 손가락으로 스크린이나 아이콘을 두드리는 것으로 그와 대응하는 선택항의 기능을 수행할 수 있으며, 어느 한 손가락을 들거나 굽히면 그에 해당하는 선택항이 실행된다. 손가락을 굽힘과 동시에 손가락이 스크린에서 떼어지는 것 또는 이 과정을 여러번 중복하는 것으로 손가락이 대응하는 선택항이 실행되도록 하기를 권장한다. 왜냐하면, 이 동작이 가장 분명하기에, 오조작의 발생이 적고, 동시에 사용자에게 있어서도 가장 자연스럽고 분명하기 때문이다. 물론 상응한 선택항 아이콘을 클릭하는 것으로 해당 선택항을 사용하도록 설정할 수도 있다. 39, 40, 41은 아이콘을 더블클릭하는 방식으로 사용을 선택하고, 38은 한번 클릭하는 방식으로 사용을 선택하는 등 부동한 선택항은 부동한 조작방식을 사용할 수 있다. 만약 손의 모든 터치 포인트가 스크린을 전부 떠난다면 선택항이 사라지는 것으로 설정할 수 있다. 선택항은 손이 스크린을 떠난 후 점차 옅어지면서 사라지고 손이 기타 위치를 클릭하면 바로 사라지도록 설정할 수 있다. 이렇게 하면 사용자는 손을 스크린에서 완전히 떼어 낸 후 손의 터치로 선택항을 선택할 수 있다. 만약 사용하고 있는 것이 근거리센서기능의 터치스크린이라면 손이 스크린에서 멀리 떨어진 후에 선택메뉴가 사라지도록 설정할 수 있다. 이는 나중에 언급하게 되는 바이오인터페이스의 한 실시예로 할 수 있다. 다른 한가지 상황은 손가락의 미끄러짐에 따라 813, 814, 815, 816에 부동한 선택항을 나타내는 것이다.
엄지가 손가락이 미끄러짐과 동시에 부동한 방향으로 미끄러 지거나 또는 움직이지 않으면 부동한 선택메뉴를 불러오는 등 부동한 조작에 대응한다.
터치 포인트가 떠나는 것도 하나의 중요한 사안으로, 특히 대상이나 구역을 선택하고 어떤 조작을 한 후 대상이나 구역을 선택하는데 사용했던 터치 포인트가 옮겨지는 것은 한 단계의 조작이 끝났다고 간주하며 상응하는 시스템 사건들 예를 들면 선택항의 불러오기, 기존의 선택항 전환 등 을 촉발시킨다. 예를 들어 도 15에서 손바닥 12의 이탈은 선택항손가락 아래의 선택항38, 39, 40, 41의 변화를 초래한다. 도 16은 두 손의 터치픽쳐이다. 오른손은 대상51, 52, 53를 선택하였는데, 오른손의 임의의 부위나 전체가 이탈하면 선택항 38, 39, 40에 변화가 오게 하거나 또는 기타 위치에서 선택항이나 기타 진일보의 조작을 불러온다.
때로, 사용자는 선택메뉴를 핀업(pin up)한다거나 선택을 고정하는 등 그 어떤 조작도 거치지 않고 바이오인터페이스의 신체 등을 불러오거나 손가락 등 선택대상의 신체가 스크린을 떠나 손가락이 비교적 자유롭게 대상 특히는 불러온 선택메뉴를 조작기를 원한다. 하지만, 더욱 매끄러운 조작체험을 위하여 프로그램은 또 특정된 상응 신체가 스크린을 떠나게 되면 선택항, 제어구 등은 직접 사라지거나 변화가 생기도록 설게해야 한다. 이런 상황에 있어, 스크린과의 일정범위내의 거리에 있는 터치 포인트를 감지할 수 있는 3D터치스크린, 예를 들면 어떤 전자기마당 센서식 터치스크린 등을 사용하여, 시스템을 위하여 하나의 터치 포인트 에 대응하는 터치물 또는 터치물이 있는 손이 스크린을 터치하지는 않았지만 스크린을 떠나지도 않은 상태를 증가하는 것과 결부하여 해결할 수 있다. 만약 터치물, 예를 들면 손가락이나 터치물이 있는 손과 스크린의 거리가 일반적으로 1cm를 초과하지 않는 일정범위 내에 있으면 이 상태에 있는 것으로 간주하도록 설정할 수 있으며, 이 상태는 근접상태라고 칭하고 터치물이 스크린에서 멀리 떨어진 상태를 이탈상태라고 칭할 수 있다. 이런 상태 하에, 특정된 터치 포인트가 스크린을 멀리 이탈한다고 해서 발생하는 일부 시스템 사건은 발생하지 않지만 터치물이 터치스크린과 접촉을 하여야만 어떤 조작을 할 수 있거나 선택적으로 발생할 수 있다. 예를 들면 터치된 대상을 드래그 하는 것은 발생하지 않으며, 어떤 선택메뉴, 자유식 아이콘, 바이오제어구 등은 상응한 터치 포인트가나 터치 포인트가 있는 손이 스크린을 터치해야만 나타나지만, 만약 시스템이 터치 포인트와 손이 스크린과 일정거리 범위 내에 있음을 감지하면 선택메뉴등은 나타난다. 이러하면 사용자는 손가락 등이 스크린을 터치하지 않고도 원래 스크린을 터치해야 진행할 수 있는 조작을 실행할 수 있으며, 이로하여 클릭 등 비교적 직접적이고 간단한 방식으로 선택메뉴 등 대상에 대한 조작을 할 수 있을 뿐만 아니라 손이 진정 스크린을 멀리한 후에는 바로 대상이 사라지거나 상응하는 시스템 사건을 촉발할 수 있다.
시스템도 마찬가지로 터치 포인트와 대응하는 터치물이 스크린을 떠난 것과 터치 포인트에 대응하는 터이물이 있는 손이 스크린을 떠난 이 두가지 사건을 설정하고 구분해야 한다.
상응하는 터치 포인트에 대응하는 터치물이 있는 손이 스크린을 이탈해야만 촉발되는 사건에 대하여, 사용자는 손의 손바닥이 스크린과 접촉하도록 함으로써 손가락이 스크린을 떠나서 촉발되는 사건을 피하도록 하여 사용자가 손가락을 들고 비교적 자유롭게 선택메뉴 등 대상에 대한 조작을 하도록 한다.
많은 조작, 예를 들면 나중에 언급하게 되는 여러 터치 포인트의 협동 조작 및 많은 선택메뉴 등은, 만약 그것을 조작하는 터치 포인트가 그것을 떠나거나, 그것을 고정, 불러오는 터치물이 스크린을 떠나는 등 특정된 터치 포인트가 옮겨지면 하나의 조작단계가 끝났음을 의미하여 선택메뉴의 내용에 변화가 생기거나 사라지거나 또는 시스템은 조작이 끝났을 때 나타나는 각 종 조작의 선택항들을 제공한다.
손가락의 작용.
손가락은 누름터치, 클릭 등 방식으로 목표대상을 선택 또는 확정할 수 있으며, 시스템은 손가락의 위치에 따라 선택하거나 확정할 대상의 위치를 확정하고, 손가락은 또한 전후좌우 각 방향으로의 미끄러짐, 두드림 및 부동한 세기의 압력으로 스크린을 눌러 예를 들면 강약강으로 스크린을 눌러 서로 가까이 등 여러가지 명령을 전달하거나 선택항에 대한 조작을 하거나 미끄러짐 제어구 내에서 각종 조작을 하거나 자유식 아이콘을 조작한다. 멀티터치 환경에서, 선택항의 위치, 선택메뉴의 형상은 고정된 것이 아니며, 손가락은 선택항이 나타나는 위치가 될수 있다. 예를 들어 도 15에 도시된 바와 같이40, 39, 38은 몇개의 선택항인데 특정된 사건이 발생한 후 그것들은 직접 손가락1, 2, 3, 4의 아래에 나타났다. 손가락은 스크린에 대한 터치를 유지한 상태에서, 부동한 세기의 압력으로 스크린을 눌러 부동한 압력의 순서대로, 예를 들면 연속 두번 세게 누르거나 또는 강약강으로 부동한 명령으로 할수 있으며, 시스템은 연속 몇번의 압력이냐에 따라 압력의 평균치를 계산하고 압력의 평균치보다 큰 압력을 강압으로, 평균치보다 작은 압력을 경미압력으로 간주하는데 이런 조작을 다중누름이라고 칭할 수 있다. 만약 여러개의 손가락 근처에 그와 대응하는 선택항이 나타났는데, 사용자가 상응한 송가락의 압력을 증가하여 상응한 선택항을 선택할 경우, 흔히 자기도 모르게 다른 손가락의 압력까지 더하게 된다. 이때 시스템은 압력이 가장 큰, 또는 압력의 증가폭이 가장 큰 손가락을 사용자가 사용하고자 하는 손가락으로 판단하고 해당 선택항을 밝게 하며, 이 과정은 응당 실시간적이어야 한다. 사용자가 만약 시스템이 선택한 선택항이 정확하지 않다는 것을 발견하게 되면 밝게한 선택항에 근거하여 각 위치의 압력을 조정함으로써 시스템이 정확한 선택항을 선택하도록 해야 하기 때문이다. 사용자의 각 손가락의 힘은 서로 다르다. 사용자의 의도를 더욱 정확하게 이해하기 위하여 교정프로그램을 사용할 수 있다. 시스템은 사용자로 하여금 부동한 상황, 예를 들면 손가락을 벌리거나 다 붙였을 때, 단지 손가락 끝만 스크린을 터치할 때 또는 손가락이 대면적으로 스크린과 접촉 할 때등 여러 상황에서 사용자가 기타 손가락이 스크린을 터치한 상황에서 상응하는 손가락이 스크린을 누르게 하는 방식으로 대응하는 선택항을 선택하게 하며, 시스템은 이때 손의 각 부분의 압력 분포도, 사용자가 그 어떤 선택항도 선택하지 않을 때의 손의 각 부분의 압력 분포도 등 정보를 기록하여 이 정보를 참조하여 시스템으로 하여금 향후 사용자의 조작의도를 더욱 정확하게 판단하도록 한다.
엄지.
엄지의 특징은 극히 뚜렷하여 종종 시스템이 어느 몇개의 터치 포인트가 한손에 속하는지를 판단하는 중요한 참조물이 된다. 엄지는 많은 조작을 확정하는 중요한 관건포이트로 사용될 수 있다. 선택조작이 바로 그 예이다. 많은 조작은 같은 손의 엄지도 스크린을 터치할 때에만 기타 터치 포인트가 상응한 조작을 실행할 수 있거나 또는 같은 조작이 부동한 효과를 발생할 수 있다. 예를 들면, 소재 손의 엄지가 스크린과 접촉을 해야만 기타 손가락이 상응하는 터치명령을 통하여 선택메뉴 등 대상을 불러오거나 또는 엄지의 접촉이 똑같은 터치명령으로 하여금 부동한 대상을 불러오게 한다. 엄지는 또한 손의 현재 기능이나 모드를 전환하는데 사용될수도 있으며, 손에 의해 선택된 대상에 대하여 조작을 할 수 도 있다. 예를 들어, 선택된 대상을 저장하거나, 선택된 대상을 활성화시키고, 선택된 대상을 하나의 그룹으로 편성하는 등이다. 엄지는 아주 영활하여 스크린에서 전후 미끄러짐과 두드림, 누름 등 모두 영활하여 많은 상용 조작을 부여할 수 있다. 예를 들면 나중에 언급하게 될 뒤덮임선택방식중에서, 엄지는 손이 대상에 대한 선택방식을 전환하는데 사용할 수 있고, 전환은 터치 포인트가 대상을 누름을 통해 터치 포인트가 대상을 눌러서 선택을 할 것이지 아니면 뒤덮임을 통하여 선택을 할 것인지를 전환할 수 있다. 엄지는 또한 선택된 대상에 대해 고정과 고정해제를 하여 대상을 선택하는 터치 포인트가 대상을 떠난후에도 여전히 선택된 대상에 대한 선택을 유지하도록 할수 있다. 엄지는 또한 선택된 자유식 아이콘을 활성화시키거나 선택된 여러 개의 자유식 아이콘을 한 그룹으로 편성하여 하나의 아이콘을 형성하거나, 또는 손이 터치 또는 뒤덮임을 통하여 선택한 이미지 등 대상을 다른 이름으로 저장하거나 클립보드에 추가할 수 있다. 엄지는 하나의 마크가 되어, 엄지가 스크린을 터치 하느냐 마느냐에 따라 손의 기타 부분이 같은 조작을 해도 대응하는 효과가 다르게 된다. 엄지는 또한 선택항 특히 바이오 인터페이스의 선택항을 전환하는데 사용할 수도 있다. 엄지가 할 수 있는 조작을 손가락은 마찬가지로 할 수 있다.
손바닥: 손바닥은 어느 몇개의 터치 포인트가 한 손에 속하는지를 판단하는 참조물이다. 손바닥은 스크린을 터치하거나 스크린에 부동한 합력을 가하거나 좌우 양켠이 스크린에 부동한 압력을 가하는 방식 등을 통하여 시스템에 각종 터치 명령을 입력할 수 있다. 예를 들면 선택항의 전환, 특히 바이오 인터페이스의 선택항이 그러하다. 손바닥의 스크린 터치는 사용자의 조작의도를 확정하여 오조작을 방지하는데 사용할 수 있다. 예를 들어, 사용자가 뒤덮임손자세로 대상을 선택하고자 하거나 또는 많은 기타 조작, 예를 들면 어떤 선택항을 불러오는 등 조작은 반드시 손바닥, 특히는 손바닥의 아래변두리가 스크린에 접근해야만 발생한다. 손바닥은 또한 하나의 마크로서, 같은 조작이 손바닥이 스크린에 접촉되었을 때와 접촉되지 않았을 때 각각 부동한 기능에 대응할 수 있다. 좌우 양 손의 손바닥이 스크린에 부동한 압력을 가하면 선택항을 전환할 수 있는 바, 예를 들면 손가락 아래 또는 손가락에 대응하는 선택항 특히 나중에 언급하게 된느 바이오인터페이스의 선택항을 전환하거나 또는 3D물체의 자태를 제어하여 3D물체가 기울어지게 할 수 있다. 어느 한 구역이나 대상을 선택하면 흔히 선택메뉴 불러오기 또는 자유식아이콘 불러오기, 또는 저어구 불러오기 등 조작을 촉발한다.
손바닥중심: 손바닥 중심이 같은 손의 기타 위치랑 함게 스크린을 접촉하지 않을 경우 특수한 터치물로 볼 수 있다. 왜냐하면, 사용자가 무의식적으로 손바닥 중심이 단독으로 스크린을 접촉하게 하는 경우는 극히 드물기 때문에 이로 인한 오조작이 쉬이 발생하지 않기 때문이다. 어떤 대상은 오로지 손바닥 중심으로만 드래그하거나 미끄러짐 또는 이동을 할 수 있도록 설정할 수 있다.
손의 측면: 손의 측면은 윤곽을 구성하여 윤곽내의 구역이나 구역의 내용을 선택하는데 사용할 수 있다. 사용자는 또한 스크린에서 손의 측면을 미끄러지게 함으로써 선택항, 자유식 아이콘, 프로그램, 제어구 등 대상을 불러올 수 있다. 손바닥이 불러오기 조작을 실행할 때, 일부 대상을 선택함으로써 손의 특면이 불러온 대상의 내용에 대한 확정을 할 수 있다. 예를 들면, 사용자는 동시에 기타 터치 포인트으로 기타 구역이나 대상을 터치하여 기타 구역이나 대상을 선택할 수 있다. 전체 손의 측면과 반 손의 측면은 같은 조작이 부동한 기능에 대응하도록 할 수 있다. 예를 들면, 손의 측면의 미끄러짐으로 대상을 불러오는데, 손가락의 측면, 손바닥의 측면과 전체 손의 측면이 부동한 대상을 불러오는 것이다.
손의 부동한 부위의 스크린에서의 미끄러짐에 부동한 등급의 대상이 대응하여 미끄러지거나 이동하도록 설정할 수 있다. 예를 들어 하나 또는 두개의 손가라그로 창 내의 페이지를 미끄러질때, 여러개의 손가락이 비교적 큰 면적으로 스크린과 접촉하여 창의 임이의 위치, 예를 들면 창 내의 페이지 내용을 터치함으로써 창을 드래그 하면 창의 변두리를 터치하여 창을 드래그 할 필요가 없게 되며, 창이 변두리를 크게 표시할 필요가 없어 표시면적을 절약 할 수 있다. 손의 측면이나 전체 손바닥이 스크린과 접촉하고 미끄러지면 전반 바탕화면이나 페이지등 더 높은 등급의 대상의 내용을 전환할 수 있다. 예를 들면 스크린은 오로지 바탕화면 이나 페이지의 일부분만 나타냈는데, 두 손가락으로 스크린이 나타낸 내용을 미끄러지게 하여 부동한 위치의 바탕화면과 페이지를 표시할 수 있으며, 여러 개의 손가락으로 대면적으로 스크린을 접촉하거나 전체 손바닥 또는 손의 측면이 스크린위에서 미끄러지면 부동한 페이지나 바탕화면으로 전환할 수 있다.

시스템은 몇개의 터치 포인트와 손바닥, 엄지와의 상대위치를 통하여 그것들이 한손에 있는지를 판단할 수 있다. 같은 손의 터치 포인트 사이는 일정거리를 초과하지 않아야 하며, 세개 이상의 터치 포인트으로 이루어진 곡선은 손의 윤곽특징에 부합되어야 한다.

손바닥과 엄지는 두 개의 아주 유용한 위치로 마치 두 개의 상용 기능키와 같다. 그것들의 각종 조작, 스크린 접촉여부는 각종 기능을 부여받을 수 있다.
1. 각종 조작을 확정한다. 많은 조작이나 사건은 엄지와 손바닥이 스크린을 터치하거나 특정된 조작을 한 후에만 확정이 발생되거나 촉발되도록 한다. 예를 들면 대상의 선택, 어떤 선택메뉴나 바이오제어구의 사건의 촉발등으로 선택메뉴나 바이오 제어구를 불러오거나 선택항이나 선택메뉴가 손가락에 근접하여 쉬이 조작할 수 있는 위치에 처하게 하는 것 등이다.
2. 선택고정, 나타난 선택메뉴나 제어구 등 대상을 고정되어 멈추게 함으로써 특정터치 포인트가 특정된 위치에서 사라지는 등 사건이 발생하여 대상이 사라지는 등 멈춤 또는 고정을 하지 않은 경우 발생할 수 있는 변화를 저지한다.
3. 마크정보로, 기타 위치로 하여금 같은 조작이 부동한 효과에 대응하도록 한다. 예를 들면 부동한 선택메뉴나 바이오제어구 등 대상을 불러오는 것이다.
4. 마치 단축키처럼 특정 조작을 촉발한다. 예를 들면 선택된 호출식 아이콘의 활성화 등이다.
5. 같은 손 위의 기타 손가락이나 터치툴의 기능을 제어한다. 어떤 대상은 단지 해당 손의 엄지나 손바닥이 스크린을 접촉한 손가락이나 터치툴의 터치에만 반응을 한다. 또는 기타 손가락의 기능을 변화시킨다.
6. 선택메뉴나 바이오제어구의 선택항 내용을 전환한다.
손의 하나 또는 여러개 부분은 모두 하나의 특수한 조작 툴로 볼 수 있으며, 같은 조작도 손의 다른 부분이 집행하메 따라 부동한 기능에 대응한다. 어떤 대상은 특정된 조작 툴, 예를 들면, 특정된 손의 부위나 터치스크린의 조작툴의 조작에만 반응을 하거나 또는 특정된 조작 툴의 조작에 반응을 하지 않게끔 대응하도록 설정할 수 있다. 손의 부동한 위치나 기타 부동한 조작툴의 터치는 부동한 대상에 대한 그룹나누기 및 각 그룹사이의 관계를 확정하는 근거가 될 수 있으며, 이 부분에 대해서는 뒷 부분에서 진일보로 설명한다.
손의 하나 또는 여러 개의 부분은 서로 연관이 있을 수 있으며, 또는 그것들을 하나의 전체로 볼수 있으며, 부동한 터치픽쳐의 손을 부동한 조작툴로 볼 수 있다. 예를 들면, 어떤 대상은 오직 소재의 손의 손바닥이 스크린을 접촉한 손가락이나 터치툴의 터치에 대해서만 반응을 한다. 예를 들면, 스크린에서 오로지 소재의 손의 손바닥이 스크린을 접촉한 여러 개의 손가락의 미끄러짐만이 선택메뉴를 불러올 수 있다. 또 일례로, 창은 오로지 소재의 손의 손바닥이 스크린에 접촉한 두 손가락의 터치로만 숨어있던 도구란을 나타내며, 한 손가락은 창의 내용에 대한 조작을 함으로써 표시면적을 절약한다. 또는 오로지 두개의 붙어있는 손가락이 터치 또는 창 내에서 미끄러 질때에만 창은 숨어있던 도구란을 나타내도록 한다. 스크린의 사이즈가 제한된 이동장비에서 이는 아주 유용하다. 스크린의 면적을 절약할 수 있을 뿐만 아니라, 사용자가 전체 화면으로 영화를 볼 때, 장비를 쥐고 있는 손이 스크린을 잘못 접촉하여 도구란이 미끄러져 나오는 것을 피할 수 있다. 어떤 대상은 오로지 소재의 손의 손바닥이 스크린을 접촉한 손가락이나 터치 툴만이 이동시키거나 클릭하여 사용할 수 있다. 소재의 손의 손바닥이 스크린을 접촉한 손가락이나 터치툴의 기능은 손바닥이 접촉하지 않았을 때와는 달라진다. 예를 들면, 손가락이 하나의 미끄러짐구역 내에서 부동한 방향으로 미끄러 질때, 부동한 기능에 대응할 수 있다. 하지만 만약 손가락이 소재한 손의 손바닥이 동시에 스크린을 터치하면, 손가락의 미끄러짐구역 내에서의 미끄러짐은 미끄러짐구역의 위치를 이동시킨다. 자주 사용되지 않는 많은 선택항과 아이콘은 모두 소재의 손의 손바닥이 스크린을 접촉했을 때만 특정수의 손가락이 해당 위치, 예를 들어 창을 터치했을 때, 나타나도록 설정하거나, 또는 손가락이 소재한 손의 손바닥이 스크린을 접촉한 손가락만이 특정 아이콘 선택메뉴의 기능을 클릭하여 사용할 수 있도록 설정할 수 있다. 선택대상의 터치물에 따라 대상에 대한 그룹을 나눌 때, 소재의 손의 손바닥이 스크린을 접촉한 손이 선택한 대상과 소재의 손의 손바닥이 스크린을 접촉하지 않은 손이 선택한 대상은 서로 다른 그룹에 나누어 지게 된다.

시스템은 꼭 터치픽쳐에 근거해서만 사용자의 신체상태를 판단하고 상응하는 조작을 집행해야 하는 것은 아니다. 특정된 터치픽쳐는 자체가 바로 일종의 입력명령이다. 예를 들어 도 23은 엄지손가락을 손의 아래에 눌렀는데, 이 자세의 터치픽쳐는 일종의 명령으로 사용하여 선택메뉴 불러오기 특히는 바이오인터페이스 불러오기 등 조작에 사용할 수 있다.
위에서 설명한 손은 제한적인 것이 아니며, 손의 각 부분은 본 발명에서 모두 상기에서 서술한 기능이나 조작 이외의 조작을 실행할 수 있다. 여기에서 하는 설명은 단지 한 손이 터치조작 중에서 수행할 수 있는 역할의 대체적인 개념을 전시하고자 함이다.

1. 멀티터치 환경 아래서, 사용자는 터치픽쳐로 하나의 윤곽을 구성하여 한 구역을 확정하고 진일보의 자작으로 이 구역 또는 구역 내의 대상을 확정하거나 선택할 수 있다. 구역이나 대상을 확정했다고 해서 반드시 구역이나 대상을 선택해야 되는 것은 아니고, 단지 시스템에게 구역이나 대상을 제공했을 뿐이다. 다시 말해서 시스템은 필요할 때에 스크린의 터치픽쳐에 근거하여 전체 스크린에 대한 구분을 하고 상응하는 대상을 선택할 수 있다. 도 24에서, 사용자가 손을 뒤덮는 자세로 스크린위에 올려놓자 시스템은 뒤덮인 구역 62, 61, 손가락 15, 16, 엄지 5, 6, 손바닥 11, 12, 손가락 사이의 위치 등 손의 각 부분의 터치구역 등 여러 개의 구역 및 구역 내의 대상을 입수하고 확정하였는데, 어떤 내용을 나타내야 할 경우, 프로그램은 설정에 따라 상응하는 구역에 나타낼 수 있다. 때로는 어떤 프로그램은 특정위치구역의 확정된 대상에 대하여 어떤 조작을 실시한다. 예를 들면, 손가락이나 손바닥 근처에 상응하는 선택항이나 자유식 아이콘, 바이오제어구의 선택항 등 도형표식이나 미끄러짐구역 등이 나타났을 경우 사용자의 손의 각 부분이 각종 조작을 하도록 유도한다. 또는 시스템이 각 손가락에 부동한 기능을 부여했을 경우 상응하는 손가락 근처 또는 아래에 아이콘 등 표식을 나타내어 사용자에게 이때 신체의 이 부위에 대응하는 기능을 알려줄 수도 있다. 이런 방법은 사용자가 조작을 하도록 도와줄 뿐만아니라 사용자에가 아주 좋은 시각적 체험을 갖도록 한다. 두 손가락 사이도 상응하는 선택항과 표식을 나타내어 사용자가 두 손가락을 가까이 하도록 하여 해당 조작을 집행하도록 할 수 있다. 프로그램은 심지어 특정된 위치에 상응하는 내용과 대상, 예를 들어 어느 대상의 터치 포인트가 온 손의 식지를 클릭하도록 요구하여 어떤 내용이나 대상 예를 들면 선택항이나 창 등이 나타나게끔 설정할 수 있다.
사용자가 어떤 대상이나 구역을 선택하거나 터치하면 사용자의 손가락 근처에 대상의 상응 정보, 예를 들면 문서속성, 또는 조작을 할 수 있는 각종 선택항 등이 나타날 수 있다. 예를 들아 61과 62로 뒤덮어 여러개의 대상을 선택하였다면, 15나 16근처 또는 아래에서 선택된 대상의 각종 속성이나 조작을 할 수 있는 각종 선탱항이 표시된다. 만약 사용자가 왼손을 스크린 위에 두고, 다중클립보드 모드로 전환한 후 오른 손의 터치 포인트으로 잘라낸 대상이나 붙이기의 위치를 선택하면, 62는 이때 클립보드 내의 여러 대상을 나타내는 데 사용될 수 잇다. 예를 들어 오른 손의 터치 포인트가 순서대로 여러 장의 이미지를 클릭하여, 이미지가 클립보드에 추가되면, 62 내에는 이 여러 장의 이미지가 한더미로 겹쳐진 모양이 표시된다. 도 29에서, 사용자가 여러개의 손가락을 사진 901위에 올려놓았을 때, 기타 손가락의 아래에는 속성정보나 도면에 대하여 진행할 수 있는 각종 조작의 선택항이 표시된다. 도 15에서, 사용자가 손가락으로 한 문서39를 드래그 했을 때, 기타 손가락의 아래에는 문서의 속성 정보 40, 41이 나타난다.

어떤 조작을 실행할 때 조작은 선택된 대상에 대하여 작용을 일으키거나 일으키지 않거나, 또는 오직 선택된 대상의 영향만 받거나 받지 않으며, 다른 일부 조작을 실행할 때, 조작은 오직 확정된 대상에 대하여 작용을 하거나 하지 않거나, 또는 오직 확정된 대상의 영향만 받거나 받지 않는다. 멀티터치는 많은 대상이나 위치를 제공할 수 있으므로 프로그램을 편성할 때 확정된 대상과 선택된 대상의 구분에 유의하여 혼란을 조성하거나 또는 대량의 대상이 선택됨으로 인한 시스템의 과부하를 피해야 한다. 예를 들어, 선택메뉴를 불러 올때, 선택메뉴의 내용과 형식은 특정방식이나 특정 신체 부위가 선택한 대상만 확정하도록 할 수 있다. 선택된 대상에 활용될 수 있는 조작은 확정된 대상에게 모두 활용할 수 있으며, 반대도 마찬가지다. 확정과 선택은 단지 두가지 상태이다.
1. 터치픽쳐구성구역의 윤곽을 통하여 구역을 확정할 수 있다.
도 8, 도10, 도18과 결부하여 구역을 구분하는 방식을 소개한다. 7, 8, 9, 10은 사람의 네 손가락이고, 6은 엄지손가락이며, 11은 사람의 손바닥중심이다. 6, 7, 8, 9, 10, 11 중의 임의의 3개 또는 3개 이상의 변두리나 변두리 정점으로 한 구역이나 일정구역내의 대상을 확정할 수 있으며, 이런 방식을 뒤덮임식 손자세라고 칭할 수 있다. 그중 엄지손가락 6과 손바닥 중심 11은 관건터치 포인트으로 설정된다. 즉 오로지 엄지 손가락 6이나 손바닥 11중의 하나 또는 엄지손가락 6과 손바닥 11이 동시에 스크린시스템을 터치해야만 사용자가 선정조작을 할 준비를 하고 있다고 간주하며, 시스템은 상응한 알림, 예를 들어 선택된 또는 선택될 수 있는 구역이나 대상을 밝게 표현하여 제시한다. 예를 들면 도 18에서 16, 6, 11이 모두 스크린과 접촉했을 때, 구역 61은 선택이 된다.

도 7에 도시된바와 같이 또다른 일종의 한 구역이나 구역 내의 대상을 확정하는 터치명령이다. 131과 141은 각각 사용자의 두 손의 측면이다. 131과 141 사이의 구역이나 구역 내의 대상이 선택되게 된다. 이에 상응하는 동태적 효과를 매칭할 수 있다. 예를 들어131과 141의 양자사이의 중심구역으로 일정거리 이동한 다음 일정시간 정지를 유지하면 상응하는 조작을 촉발하고, 그후 손바닥이 동작을 개시할 때 소재의 위치의 밝음표시가 점차 손바닥이 정지한 위치로 변하면 시스템이 조작의 촉발을 확인했음을 나타낸다. 사용자는131과 141사이의 간격을 변화시킴으로써131과 141사이의 대상을 축소시키거나 확대시키거나, 또는131과 141사이의 대상을 한데 모을 수 있다. 131과 141의 간격이 갑자기 멀어지는 것으로 또한 문서 중에 공백페이지를 삽입하거나 바탕화면에서 기타 대상, 예를 들어 아이콘이나 기타 창을 밀어내는 데 사용할 수도 있다.
구역 내의 대상도 터치물이나 터치 포인트, 예를 들어 어떤 물체일 수 있다. 예를 들어 이동저장장치를 터치스크린 위에 두어, 터치 스크린이 해당 물체의 터치픽쳐를 탐지하고 기타 방법, 예를 들면 물체에 내장된 칩을 통하여 해당 물체를 식별한다. 만약 뒤덮임손자세로 물체가 소재한 구역을 선택하면 마찬가지로 해당 물체를 선택할 수 있다.
2. 또한 터치물의 터치픽쳐가 뒤덮인 구역을 통하여 구역이나 대상을 선택할 수 있다. 예를 들면, 사용자가 전체 손바닥을 스크린 위에 두면 손바닥이 뒤덮인 구역을 확정하게 된다. 사용자는 하나 또는 여러개의 손가락을 스크린위에 두는 것으로 한 구역을 확정할 수 있다.
3. 터치 포인트가 상응한 구역을 미끄러져 지나 가는 것으로써 구역이나 대상을 확정한다. 예를 들어, 한 터치 포인트로 '고휘선택구역'기능에 대응하는 아이콘을 누르고, 이 터치 포인트가 떠나지 않도록 유지하며 동시에 딱 붙인 네 손가락으로 밝기를 추가할 구역을 미끄러지나가면 상응하는 구역은 더 밝은 밝기로 표시되고, 한 손가락으로 밝게 표시된 구역을 미끄러져 지나가면 높은 밝기가 해제된다.
4. 구역의 변계를 그리는 것을 통하여 구역이나 대상을 확정한다.
5. 대상을 터치함으로써 대상을 확정한다.
구역을 확정한 후, 사용자는 진일보의 조작을 함으로써 확정된 구역을 선택 또는 선택고정할 수 있다. 어떤 상황에서는 구역이 확정됨과 동시에 자동적으로 선택되거나 심지어는 선택고정되어 진일보의 조작이 필요없기도 하다. 기타 진일보의 조작, 예를 들면 선택한 대상으로 말미암아 나타난 선택항에 대하여 조작을 하거나 또는 기타 대상을 선택할 경우에도 선택된 대상의 선택고정을 초래할 수 있다. 선택고정은 사용자로 하여금 선택한 대상에 사용하게 될 터치물 예를 들면 손이 기타 조작, 예를 들면 손가락이 구역 또는 대상을 선택 또는 확정함으로 인하여 나타난 아이콘을 조작하거나 진일보로 기타 대상을 선택하는 등에 사용될 수 있게 하기 위함이다. 시스템이 사용자의 조작의도를 안 후 선택을 고정함으로써 사용자의 진일보 조작이 편리하게끔 할 수 있다. 뒤덮임방식으로 대상을 확정 또는 선택한 다음 흔히 발생하는 사건은 스크린위의 터치 포인트 근처, 특히는 구역이나 대상을 선택하는, 구역의 윤곽을 구성하는 신체 각 부분 근처나 아래, 특히는 손가락 근처나 아래에, 가끔은 손바닥도 포함하여 그와 대응하는 아이콘, 선택항, 슬라이더, 더우기는 뒤에서 언급하게 되는 바이오제어구나 자유식 아이콘이 나타나 사용자가 신체의 각 부분을 통하여 진일보의 조작을 하도록 안내하는 것이다. 도 15에 도시된 바와 같이, 그중 39, 40, 38는 나타난 아이콘이다. 도 16에서 도시된 바와 같이 그중39, 40, 38는 출현한 아이콘, 1, 2, 3, 4는 왼손 손가락, 5, 6, 7, 8, 9는 오른손 손가락이다. 51, 52, 53은 오른손에 의해 선택된 대상이다. 이때 아이콘은 구역을 확정하는 데 사용되는 손 이외의 기타 손의 손가락 아래에 나타났다. 가끔은 사용자가 뒤덮임 손자세를 취하거나 또는 여러개의 손가락을 스크린 위에 올려 놓는 것이 어떤 구역을 선택하고자 함이 아니라 단지 상응하는 대상, 특히는 선택항을 불러오고자 함이기도 하며, 특히는 자신의 손가락 근처에 부동한 기능에 대응하는 아이콘이 나타나게 하기 위함이기도 하다.
사용자는 몇개의 터치 포인트으로 하나의 대상을 선택하고 터치 포인트가 떠나지 않도록 유지하고, 기타 위치에서 기타 터치 포인트으로 선택메뉴를 불러올 수 있다. 대상을 선택하는 터치 포인트와 선택메뉴를 조작하는 터치 포인트가 모두 사라지면 선택메뉴도 사라진다.
사용자는 손가락이나 손바닥과 기타 손가락으로 같이 선택메뉴를 불러온 다음 손바닥으로 스크린을 터치하여 선택을 고정하고, 기타 손가락으로 선택메뉴를 조작할 수 있다. 손바닥이 떨어지면 선택메뉴는 사라진다.

대상을 선택 또는 확정한 다음 신체의 종작 및 도형인터페이스의 안내에 따라 어떤 조작도 할 수 있다. 아래의 설명은 단지 일부 흔이 사용되는 조작이다.

신체가 할수 있는 조작은 하기의 내용들을 포함하지만 하기의 내용에 제한되지만은 않는다.
도 8과 결합하여 설명한다.
1. 엄지손가락 6이 화살표 방향이나 반대방향으로 미끄러진다. 엄지는 관건적인 한 손가락이므로 기타 손가락과는 부동한 기능을 부여 받는다. 예를 들면, 엄지손가락을 미끄러지게 하는 것으로 선택한 구역을 고정시키거나, 선택한 구역이 고정된 후 구역을 선택한 터치 포인트가 구역이나 구역 내의 대상을 떠나더라도 그것들은 여전히 선택된 상태를 유지하게 되거나 또는 사용자가 엄지를 미끄러지게 한 후에야 뒤덮인 구역의 선택을 확정한다. 엄지는 또한 기나 손가락이 대응하는 아이콘, 선택항, 슬라이더, 특히는 뒤에서 언급하게 되는 바이오 제어구나 자유식 아이콘의 전환에 사용될 수도 있다.
2. 손바닥은 터치스크린과의 접촉을 유지하면서 부동한 압력의 세기로 터치스크린을 누르거나 터치스크린을 두드린다.
3. 손가락 예를 들으 손가락 7이나 8중의 하나 또는 둘 모두가 화살표 방향으로 또는 반대 방향으로 미끄러지게 하거나 x축의 플러스/마이너스 방향, y축의 플러스 마이너스 방향으로 미끄러지게 한다.
4. 하나 또는 여러개의 손가락 에를 들면 손가락 7이나 8중의 하나 또는 둘이 아래의 조작을 한다.
1. 스크린을 두드린다.
2. 스크린을 떠나지 않는 상황 하에 부동한 압력으로 스크린을 누른다. 예를 들어 7, 8이 동시에 순서대로 강약강의 압력으로 스크린을 누른다.
5. 모든 조작의 선택에 사용되는 터치 포인트가 스크린을 떠나지 않게끔 유지하며, 선택구역의 중심을 중심으로 회전한다.
6. 특정된 부위가 스크린을 터치한다. 예를 들어 도 18에서 오로지 11이 스크린을 접촉해야만 시스템은 구역 61이나 구역 61내의 대상을 선택하려고 한다고 인식한다.
7. 두 손가락이 서로 접근을 하는 것도 상응하는 기능을 부여할 수 있다. 도형인터페이스를 사용하여 사용자의 조작을 안내할 경우, 사용자의 두 손가락 사이의 위치에 상응하는 선택항을 표시하고 화살표를 표시하여 이 선택항에 대응하는 조작은 양끝의 손가락이 서로 가까이 다가가는 것임을 표시할 수 있다.
구역이나 위치 또는 구역내의 대상을 확정하고 난 후 하기의 조작을 할 수 있다.
위에서 언급한 신체의 동작으로 하기의 조작을 실행할 수도 있지만, 아래의 내용들을 포함하지만 그에 제한되지는 않는다.
1. 선택조작을 확정한다.
2. 선택메뉴를 불러오거나 전환한다. 예를 들어 엄지를 미끄러지게 하거나 또는 손바닥 123이나 121을 통하여 스크린에 부동한 압력을 가하여 선택메뉴의 내용을 전환하거나 선택메뉴를 불러온다.
3. 구역을 확정하는 방식을 전환한다. 엄지를 미끄러지게 하거나 손바닥 11과 스크린과의 접촉여부를 통하여 뒤덮인구역을 확정할 것인지 아니면 터치물이 뒤덮인 구역인지를 확정한다.
4. 선택을 고정, 선택한 터치 포인트가 떠난 후에도 여전히 구역이나 대상에 대한 선택을 유지하는데 사용된다.
5. 구역 내의 대상 자르기
6. 선택메뉴 또는 호출식 아이콘 등을 불러오기
7. 선택된 대상에서 이미 설정된 조작을 실행하기. 예를 들어 선택한 구역 위에 붙이기를 하거나 게임중에 선택한 구역 내의 단위에 대하여 보급을 하는 등이다.
만약 손가락이 대상을 선택하였다면, 도 15에서 도시된 바와 같이 손가락 아래 또는 근처에 자유식 아이콘이 있거나 또는 선택메뉴나 선택된 구역 내의 여러 개의 조작 대상에 대해 조작을 하고 있으면 하기의 조작을 채택할 수 있다:
1. 엄지손가락 6은 화살표가 표시한 방향이나 반대방향으로 미끄러 진다.
2. 손바닥은 스크린을 터치하고 부동한 세기의 압력으로 터치스크린을 누르거나 터치스크린을 두드린다.
3. 손가락 7 또는 손가락 8 중의 하나 또는 둘이 동시에 화살표 방향이나 반대방향으로 미끄러지거나 또는 x축의 플러스/ 마이너스 방향, y축의 플러스/ 마이너스 방향을 미끄러 진다.
4. 손가락 7 또는 손가락 8 중의 하나 또는 둘이 아래의 조작을 한다.
1. 스크린을 두드린다.
2. 스크린을 떠나지 않는 상황에서 부동한 압력으로 스크린을 누른다. 예를 들어 7, 8이 동시에 순서대로 강약강의 압력으로 스크린을 누른다.
5. 모든 선택조작에 사용되는 터치 포인트가 스크린을 떠나지 않도록 유지하고 선택구역의 중심을 중심으로 회전한다.
이런 조작들은
1. 조작의 대상을 활성화/ 활성화해제 할수 있다. 예를 들어 자유 아이콘을 활성화 시켜 사용할 수 있는 상태로 진입/ 사용하지 않는 상태로 진입/ 소실되게 할 수 있다.
2. 기타 선택메뉴로 전환할 수 있다.
3. 선택메뉴를 핀업하거나 선택대상을 고정시켜 손가락이 그것을 떠난 후에도 소실되거나 기타 변화가 생기지 않도록 할 수 있다.
부동한 방식으로 대상을 선택하는 것은 후속적인 멀티터치 포인트의 협동조작에서, 부동한 기능에 대응하고, 부동한 선택메뉴 불러오기 등을 조작할 수 있다. 대상을 선택하는데 사용되는 터치 포인트의 이탈도 하나의 조작으로 한 단계의 조작이 끝났음을 표시하여 프로그램이 상응하는 선택항을 나타내게끔 촉발시켜 사용자가 조작을 확인하거나 진일보의 조작을 하도록 한다.

2. 멀티터치선택메뉴:
1. 일종의 멀티터치 조작에 협조하는 선택메뉴.
선택메뉴의 양식은 도 1, 도2, 도3, 도4의 몇가지 양식을 사용할 수 있지만 이에 국한되는 것은 아니며, 선택메뉴를 불러오는 데는 아래의 몇가지 방법을 사용할 수 있으나 이것들을 포함하지만 이에 국한되지는 않는다.
1. 상응하는 아이콘을 통하여;
2. 하나 또는 여러개의 대상을 선택한 후 또는 어떤 사건이 발생한 후 선택메뉴는 자동적으로 출현한다.
3. 대응하는 터치명령을 통하여 선택메뉴를 불러올 수 있다.
예를 들어, 한 손의 한 손가락 또는 여러 손가락이 부동자세를 유지하고, 기타 손가락이 미끄러짐이나 두드리거나 또는 부동한 힘으로 스크린을 누른다. 예를 들면 도 8중의7, 8, 9, 10은 사람의 네 손가락이고, 6은 엄지손가락이며, 11은 손바닥과 스크린이 접촉하는 구역이다. 사용자는7, 8, 9, 10 중의 하나 또는 여러개의 손가락과 스크린이 접촉하게 한 후 움직이지 않고, 하나 또는 여러개의 손가락으로 클릭 또는 미끄러짐 조작을 하거나 또는 스크린을 떠나지 않지만 그중의 압력과 다른 압력으로 스크린을 누름으로써 선택메뉴를 불러온다. 선택메뉴를 불러오는 터치명령은 그다지 복잡하지 않을 것이다. 왜냐하면 사용자가 신속히 선택메뉴를 불러오기를 원하기 때문이다. 예를 들면 도 8의6, 9, 10이 움직이지 않고, 7, 8이 미끄러지거나 또는7, 8, 9, 10이 움직이지 않고, 6이 미끄러지는 것으로 선택메뉴를 불러온다. 이는 모두 사람의 자연적인 조작이다. 왜냐하면 사람의 새끼 손가락은 단독적으로 이동하기에 어려움이 있기 때문이다.
더 나아가, 어떤 특정된 부위, 예를 들면 스크린이 손바닥 11을 감지했을 때에만 상기의 터치명령을 수행하도록 설정할 수 있다. 이렇게 함으로써 잘못된 터치를 방지하기 위한 시간 지연으로 인하여 조작체험의 유창함에 영향을 주는 것을 방지할 수 있다. 또는 16과 11, 6 모두 스크린을 접촉했을 때, 선정된 대상이나 구역 위에 바로 선택메뉴를 불러오도록 설정할 수도 있다.
선택메뉴를 불러오는 상응하는 터치명령은 또한,
도 9에서, 17, 171, 172은 사용자의 세 손가락이나 터치툴에 대응하고, 17은 터치스크린과의 터치를 유지하고, 171, 172를 사용하여 일정 조합으로 스크린을 두드려 부동한 조합이 부동한 선택메뉴에 대응하도록 한다. 예를 들면 17의 터치를 유지하는 상황에서, 171이 한번 또는 두번 스크린을 클릭하거나 또는 171이 임의의 방향에 따라 스크린 위를 미끄러 지거나 또는 17이 스크린 터치를 유지하는 상황에서 172가 한번 또는 두번 스크린을 클릭하거나 또는 172가 임의의 방향에 따라 스크린 위를 미끄러진다. 또는 17, 171, 172 중의 하나 또는 여러개가 스크린과 접촉을 유지하지만 부동한 힘, 예를 들면 강약강으로 스크린을 누르는 것을 포함할 수 있으며, 이에 제한되지는 않는다.
또한 하나 또는 여러개의 손가락이나 손가락 끝, 예를 들면 세 손가락이 동시에 스크린을 터치하거나 또는 스크린 위에서 미끄러지거나 또는 한손가락이 비교적 큰 면적으로 스크린과 접촉하거나 스크린 위를 미끄러지거나 또는 같은 손의 기타 몇 손가락이 스크린을 터치함과 동시에 한손가락이나 여러 손가락으로 스크린 위를 미끄러지는 것으로 선택메뉴를 불러오거나 인터페이스를 전환할 수 있다.
미끄러짐으로 선택메뉴를 불러오거나 인터페이스를 제어할 때, 계속하여 미끄러짐으로써 선택메뉴의 내용을 전환하거나 선택항을 선택하여 선택메뉴를 불러오고 선택항을 선택하는 것을 한 스탭에 완성할 수 있다. 또한 진일보로 뒤에서 언급되는 바이오인터페이스와 결부하여, 도 22에 도시된 바와 같이 미끄러짐으로 일급 선택메뉴를 선택하고, 선택메뉴의 제 2급 내용이 손의 근처나 아래, 또는 손의 상응하는 부위 특히 손가락에 대응하거나 또는 손가락 근처에 쉬이 터치할 수 있는 위치와 대응하는 곳에 나타나게 함으로써, 손이 스크린을 떠나지 않고도 조작을 할 수 있게 하여, 사용자의 손이 스크린을 한번 터치하면 모든 조작을 완성할 수 있도록 한다.
선택메뉴를 불러오는 터치명령은 동시에 목표를 선정하는 터치명령으로 사용할 수 도 있다. 혹은 선택메뉴를 불러오는 과정에 이미 목표를 선정하였다고 말할 수 있다. 7, 8, 9, 10 네 손가락에 엄지손가락 6, 손바닥 11을 더하여 이것들을 정점으로 하거나 또는 변두리로 하는 구역을 한 선정구역으로 보고, 구역 내의 하나 또는 여러 개의 개의 대상이나 구역을 선정할 수 있다.
선택메뉴가 진행할 수 있는 조작은,
1. 선택메뉴를 미끄러지게 하여 기타 아이콘을 표시하도록 한다.
2. 선택메뉴위의 아이콘을 선정하고 선택메뉴 위의 아이콘을 두드려 상응하는 기능을 가동한다.
3. 선택메뉴위의 상응하는 아이콘을 누른후 압력센서기능으로 상응한 기능을 제어한다.
4. 아이콘 위를 누르거나 또는 다중누름으로 아이콘을 사용하도록 한다.
5.아이콘을 누르고 그것을 선택메뉴 밖으로 끌어 내어 아이콘에 대응하는 상응한 기능의 자메뉴를 펼치도록 하거나 또는 그것의 바로가기 방식을 만든다.
6. 기타 아이콘을 드래그하여 그것들을 선택메뉴에 추가한다.
7. 선택메뉴는 한번에 표시해야 할 아이콘의 수량과 매 아이콘의 크기에 따라 크기를 조정하고 선택메뉴의 크기와 매 아이콘의 크기는 사용자가 자체로 설정하거나 또는 자동으로 설정할 수 있다.
8. 만약 선택메뉴위의 아이콘이 아주 많아 한번에 다 표시할 수 없다면 선택메뉴는 아니콘의 사용빈도에 따라 아이콘의 위치를 결정하거나 또는 하나의 상용리스트를 형성하여 기본상황에서는 상용리스트위의 아이콘을 우선적으로 나타내도록 할 수 있다.
9. 선택메뉴위의 라벨을 클릭하거나 선택메뉴의 아이콘위를 미끄러짐, 또는 선택메뉴의 특정위치에서의 미끄러짐을 통하여 부동한 버젼의 선택메뉴를 전환할 수 있다. 예를 들면 도 3에서, 20은 선택메뉴의 미끄러짐구역으로, 미끄러짐 구역에서 Y방향으로 이끄러지면 어느 한 버젼 내의 미끄러짐 아이콘이고, 아이콘은 순서대로 y방향을 따라 선택메뉴 변두리로 사라질 때까지 이동한다. x축위를 따라 아이콘을 미끄러지게 하면 전체 버젼의 전환으로 모든 아이콘이 다 전환되게 된다. 예를 들면 원래 표시된 것은 '심열'에 사용되는 아이콘이었는데, 전환 후에는 글씨체를 조정하는 아이콘으로 바뀐다. 21은 라벨로서, 클릭하여 부동한 선택메뉴내용, 예를 들어 '심열', '페이지 분포'등을 전환시키는데 이는 선택메뉴의 버젼에서 많은 때에 아주 유용하다. 미끄러짐구역은 반드시 아이콘과 같이 표시되어야 하는 것은 아니고 두 손이 조작을 하도록 나눌 수도 있다.
10. 선택메뉴는 전문적인 미끄러짐구역을 설정하여, 상응하는 아이콘 위에서 미끄러짐을 아이콘에 대응하는 기능을 조절하는것으로 볼수 있다. 볼륨, 밝기, 도형의 너비, 3D도형의 높이 등의 확대 또는 감소가 그 예이다. 도 6에서 도시된 바와 같이 선택메뉴는 선택메뉴제어구를 설정하여 선택메뉴의 선택항을 제공할 수 있다. 예를 들어 1. 선택메뉴를 핀업하여 모든 선택메뉴를 조작하는 손이 선택메뉴를 떠난 후에서 선택메뉴가 사라지지 않게 한다. 2. 선택메뉴의 너비를 증가함과 동시에 더욱 많은 아이콘을 나타낸다. 만약 선택메뉴를 핀업해야 한다는 특별한 설정요구가 없으면 선택메뉴는 선택메뉴를 불러온 터치 포인트가 선택메뉴를 떠나거나 스크린을 떠나거나 또는 모든 터치 포인트가 선택메뉴를 떠나면 자동적으로 사라져 사용자에게 더욱 유창한 조작체험을 제공한다.
11. 선택메뉴의 아이콘은 사용자가 쉬이 조작할 수 있는 위치에 근접하는 아이콘은 기타 아이콘보다 더 크게 변하여 사용자가 쉬이 조작할 수 있도록 한다. 예를 들어, 도3 중간의 선택항 22는 23보다 크다.
12. 선택메뉴는 반드시 선택메뉴를 불러오는 조작이 발생한 위치에 나타나는 것은 아니다. 선택메뉴를 불러오는 조작이 발생한 위치와 선택메뉴가 나타나는 위치는 스크린 중간선의 양쪽이어서 두 손의 조작에 편리하도록 되어 있다.
도 1부터 도4는 선택메뉴가 사용할 수 있는 몇가지 양식이다.
도 1은 기본적인 선택메뉴로, 17은 하나 또는 여러 개의 선택메뉴를 불러오는 손가락 또는 터치물, 29는 선택메뉴의 여러 선택항으로 간단한 조작에 적용된다. x축이나 y축을 따라 아이콘 위에서 손가락을 그리는 것은 각각 새로운 아이콘으로 전환 또는 아이콘이 대응하는 기능 조절 또는 아이콘을 선택메뉴 밖으로 끌어내어 바로가기를 만드는 세가지 기능 중의 하나에 대응한다. 아이콘을 누르는 것, 예를 들어 밝기를 증가하는 아이콘을 힘주어 누르는 것도 아이콘이 대응하는 선택항을 조절할 수 있다.
도 2에서, 24는 미끄러짐 구역이고, 25는 선택메뉴를 핀업하여 손가락이 떠난 후에도 사라지지 않거나 또는 선택메뉴 상의 아이콘이 움직일수 있도록 설정한 후 아이콘을 드래그하여 선택메뉴 상의 아이콘의 위치를 변화시키는 등 선택메뉴 상의 아이콘의 위치를 조정가능케 하는 선택메뉴를 제어하는 선택메뉴제어구이다. 27은 선택메뉴의 선택항으로, 27위체서 선택메뉴의 원심을 원심으로 미끄러지면, 선택항이 대응하는 기능을 조절할 수 있다. 예를 들어, 밝기를 시계방향으로는 밝기 증가로, 시계 반대 방향으로는 밝기 감소로 설정할 수 있다. 반경방향을 따라 선택메뉴 밖으로 아이콘을 미끄러지게하면 아이콘을 선택메뉴 밖으로 끌어내어 바로가기를 만들고 반대로하면 선택메뉴에 아이콘을 추가하는 것이 된다.
도3에 도시된 리스트류의 선택메뉴는 터치 포인트가 선택항을 미끄러 질때 커져서, 사용자가 더욱 똑똑히 선택항의 내용을 볼수 있도록 하거나 더국 상세한 선택항 내용을 표시함과 동시에, 사용자가 살짝만 터치 포인트를 움직여도 다른 선택항으로 넘어가 오조작이 발생하는 것을 방지한다. 선택항의 확대는 터치 포인트가 떠난 후에도 계속하여 그 크기를 유지하여 원래의 정상적인 크기로 다시 축소되어 오지 않게 할 수 있다. 왜냐하면 사용자가 이 선택항을 클릭할 수 도 있기 때문에 비교적 큰 면적이 사용자가 이 선택항을 정확하게 클릭 할 수 있도록 보장해주기 때문이다. 만약 비교적 많은 선택항을 보기 위서여 터치 포인트가 떠난 후에 선택항이 바로 정상크기로 축소되도록 설정한다면, 터치 포인트가 선택항을 떠나지 않고 다중 누름으로 선택항을 선택하도록 설정할 수 있다. 예를 들면 연속적으로 비교적 큰 압력으로 선택항을 두번 누르면 선택항이 활성화 되는 것 등이다.
도 4 에서, 28은 미끄러짐구역으로, 터치 포인트가 그 위에서 미끄러지면 선택메뉴의 내용을 전환할 수 있고, 19는 선택항, 17은 터치 포인트, 18은 선택메뉴이다.
도 12에서 203은 선택항으로, 203위에서 시계바늘 방향 또는 그 반대방향으로 터치 포인트, 일례로 손가락을 미끄러지게 함으로써, 상응한 기능을 가동시키거나 상응한 파라미터, 예를 들어 밝기, 도형의 높이 등을 증가 또는 감소시킨다. 204위에서 y방향으로 상하로 터치 포인트를 미끄러지게 함으로써, 상응한 파라미터를 조절하거나 상응한 기능을 가동시킨다. 좌우로 터치 포인트를 미끄러지게 하는 것은 그 어떤 효과도 없게 함으로써, 터치 포인트가 부동한 선택항 사이에서 미끄러지게 하여 오조작이 발생하지 않도록 한다. 이런 선택메뉴는 사용자가 손으로 스크린을 잡고 있을 때 사용하기에 적합하다.
도 30에 도시된 바와 같이 17은 사용자 손가락의 터치 포인트가고, 40은 어느 한 아이콘이나 대상이며, 38, 39, 41, 42는 여러 개의 선택항아이콘으로 도시된 바는38, 39, 40이 출현할 수 있는 몇가지 위치이며, 38, 39, 42는 모두 17이 소재한 손의 기타 손가락 근처의 쉬이 조작할 수 있는 위치에 나타날 것이다. 시스템은 사용자의 사전 설정에 따라, 예를 들면 사용자는 오른손 중지로 대상을 드래그하는데 익숙하다면, 38, 39, 40은 검지, 엄지의 쉬이 조작할 수 있는 위치에 나타난다. 사용자는 또한 전문적인 설정프로그램에서 사전에 17에 상대하는 38, 39, 40이 나타나는 위치를 설정하여 17이 41을 떠나지 않은 상황에서 기타 손가락이 편리하게 조작할 수 있도록 할 수 있다. 예를 들어, 사용자가 오른 손의 중지로 어느 한 대상, 예를 들면 문서를 터치하거나 드래그 할 때, 대상의 근처, 대상을 터치하는 손가락이 소재하는 손의 기타 손가락이 쉬이 조작할 수 있는 위치에 선택항, 예를 들면 '복사', '삭제', '오려두기' 등이 나타나, 사용자는 대상40을 터치하는 손가락이 대상을 떠나지 않은 상황 하에서 오른손의 기타 손가락으로 조작을 할 수 있다. 38, 39, 41, 42와 17의 상대적 위치는 고정불변하는 것으로, 17이 40을 끌어 이동시킬 때, 38, 39, 41, 42는 17과 같이 이동할 것이다. 도 30에서, 왼쪽 아랫측의 양식은 17이 오른손 식지인 경우에 조작하기 적합하고, 기타는 17이 오른손 중지인 경우에 조작하기 적합하다. 여러 개의 손가락의 위치가 부동한 대상에 대응하고 시스템은 단지 그중의 몇개만 선택할 경우, 시스템은 사용자의 사전설정에 따라 특정 손가락대상의 대상을 선택한다. 예를 들어, 중지가 최우선이고 그 다음이 식지이다.
38, 39는 40에서 조금 멀리 떨어진 곳에 표시될 수도 있다. 도 31에 도시된 바와 같이, 사용자는 17이 소재한 손의 기타 손가락을 미끄러지게 함으로써 상응한 아이콘을 선택하고, 시스템은38, 39의 밝기를 높여 사용자가 조작을 하도록 안내한다. 예를 들어 사용자가 오른손의 중지로 대상 40을 터치하고, 그 다음 식지로 스크린을 접촉하여 스크린 위에 아이콘 38, 39가 나타났을 때, 사용자가 오른쪽으로 손가락을 미끄러지게 하면 38이 선택되고 밝기가 높아지고, 사용자가 38을 선택하고 싶지 않으면, 손가락을 왼쪽으로 미끄러지게 하면 38에 대한 선택이 해제되고 39가 선택되고 밝기가 높아진다. 39가 높은 밝기를 유지하는 상황에서 사용자가 손가락을 들어올리거나 또는 기타 터치 명령을 내리면 39에 대응하는 조작이 실행된다. 만약 사용자가 계속하여 왼쪽으로 그리거나 또는 아랫쪽으로 그리게 되면, 38, 39의 높은 밝기는 모두 해제되고 사용자가 그 어떤 아이콘도 선택하지 않음을 표시한다. 이로써 시스템의 알림은 손가락에 가려지지 않아 사용자는 이를 분명히 볼수 있다. 도 31에 도시된 바와 같이, 시스템은 한 구역43을 나타내어 사용자가 그 위에서 손가락을 미끄러짐으로 38, 39에 대한 조작을 하게 함으로써 사용자가 반드시 38, 39를 클릭해야만 38, 39를 선택할 수 있는 것으로 오인하지 않도록 한다. 더 나아가, 43을 두 부분으로 나누어 각각 38, 39에 대응하도록 할 수 도 있다. 이렇게 하면 사용자는 상응 부분을 터치함으로써 38, 39를 선택하면서도 손가락에 의해 시선이 가려지는 것을 피할 수 있다. 이는 나중에 언급하게 되는 바이오제어인터페이스의 한 실시예로 볼 수 있다. 손가락이 스크린과의 터치를 유지한 채로 스크린 위를 미끄러질 때, 쉽게 터치되는 범위는 손가락이 쉽게 클릭할 수 있는 범위 보다 크다.
선택메뉴를 불러온 다음, 선택메뉴를 불러온 손가락은 계속하여 스크린을 누르고 움직이지 않고, 다른 손가락으로 불러온 선택메뉴 위에서 조작한다. 선택메뉴는 반드시 선택메뉴를 불러오는 조작이 발생한 위치에 나타나야 하는 것은 아니다. 선택메뉴가 나타나는 위치는 사용자가 설정하여 스크린의 어느 한 구역,예를 들면 스크린의 왼쪽 위에 고정시키거나 또는 소프트웨어가 당시 사용자의 손 및 조작 툴, 예를 들어 입력펜 등이 소재한 위치 및 접촉픽쳐와 사용자의 습관에 따라 실시간으로 설정할 수 있다. 예를 들어, 사용자가 시스템을 오른손 습관으로 설정한 후 제어구역은 시종 조작툴 왼쪽끝의 스크린과 접촉이 발생하는 손가락 근처에 위치하게 된다. 또는 선택메뉴를 불러오는 조작이 스크린의 한측에서 발생되면 선택메뉴는 스크린 중간선의 다른 한측에 나타나며, 특히 다른 한측의 여유가 있는 한 손가락 근처에 나타난다. 예를 들어, 사용자가 두 손으로 장비의 양측을 잡고 영화를 볼 때, 한 손의 엄지손가락으로 다중압력에 기반한 클릭 방식으로 선택메뉴를 불러온 다음 다른 한손의 엄지로 선택메뉴 미끄럼구역을 미끄러짐으로써 엄지가 대응하는 볼륨도표위에 놓이게 한 후 엄지를 그려 볼륨을 조절할 수 있다. 시스템은 또한 스크린 위의 각 구역의 손가락 수량에 근거하여 선택메뉴가 나타나는 위치를 확정할 수도 있다. 시스템은 중력센서로 좌우를 분별할 수 있다. 선택메뉴가 선택메뉴를 불러오는 조작이 발생한 위치에 나타날 수도 있음은 물론이다.
선택메뉴가 나타나는 위치는 시스템이 사용자의 손의 위치를 판단함에 따라 변하여 사용자가 편리하게 조작하도록 한다. 예를 들어 도1에서 만약 17이 있는 손의 손바닥이나 손의 기타 손가락이 동시에 스크린에게 감지되면 시스템은 이에 근거하여 17이 소재한 손의 기타 손가락이 쉽게 터치할 수 있는 위치를 판단하고, 29의 위치가 17 아래에 있는지 위에 있는지, 17의 왼쪽에 있는지, 오른쪽에 있는 지를 판단한다. 예를 들어, 선택메뉴를 불러 올때, 사용자의 다른 한 손가락 172도 동시에 스크린을 터치하였다면 선택메뉴는 172와 17의 상대적인 위치와 거리로 29가 나타날 위치를 확정한다. 사용자는 통상적으로 17이 스크린을 터치한 상황에서 비교적 영활한 손가락을 선택하여 17과 함게 선택메뉴를 불러오도록 하기 때문이다. 29의 배열과 형상크기도 사용자의 손에 따라 조정을 한다. 예를 들어 한줄 선택항이냐 두줄 선택항이냐이다. 도 30에서 38, 39, 40, 42의 위치도 사용자 17이 소재한 손의 기타 손가락이 쉽게 조작할 수 있는 위치에 따라 자신의 위치를 확정한다. 만약 시스템이 손가락이나 손바닥의 터치픽쳐와 터치 압력에 근거하여 사용자의 손이 아주 작다고 판단되면 선택항은 작아져서 사용자가 17이 스크린을 떠나지 않은 상황에서 거리가 너무 먼 선택항에 닿을 수 없는 상황을 피하게 된다. 시스템은 터치압력이 충분이 크지만 터치픽쳐, 예를 들면 손바닥, 손의 측면의 터치픽쳐는 여전히 아주 작은 상황에 근거하여 사용자의 손이 아주 작다고 판단할 수 있다. 시스템은 사용자로 하여금 이 손을 스크린 위에 펼치게 하여 사용자의 손의 크기를 별도로 탐지하고 기록할 수 있어, 바이오인터페이스에서 시스템이 사용자의 손의 크기를 아는 것은 아이콘의 크기와 위치 및 배열 등을 확정하는데 아주 큰 역할을 한다.
도5에서 도시된 바와 같이 171은 왼손은 한 손가락 또는 여러 손가락이고, 172는 오른손의 한 손가락 또는 여러 손가락이다.
202는 선택메뉴 201의 제어구나 활동(滑)구이다. 사용자는 171을 통하여 선택메뉴 201을 불러오고 172로 201를 제어하며 201은 도2의 선택메뉴와 유사한 기능과 양식을 사용하거나 도 12에서 서술한 양식의 선택메뉴를 사용할 수도 있다. 202는 사용하거나 사용하지 않아도 되며, 그 기능은 201을 확대 하거나 201위의 아이콘을 전환하는 것이다. x축이나 y축을 따라 그리는 것이 각 각 이 두가지 기능에 대응하도록 설정할 수 있다.
도5의 양식은 두 손으로 장비를 잡은 상황에서 스크린을 조작하기에 적합하다. 예를 들어, 영화를 볼 때, 201로 밝기, 대조도 등을 조절할 수 있다.
도11은 선택메뉴를 불러오고 사용하는 터치명령으로, 173은 하나 또는 여러 개의 붙인 손가락이다. 173으로 스크린을 두드리거나 또는 일정수치 이상의 압력으로 스크린을 누르고 일정시간 움직이지 않거나 또는 부동한 압력으로 스크린을 누른 다음 선택메뉴를 불러오고 173이 부동을 유지하며, 174로 선택메뉴를 조작하는데, 174가 선택메뉴위에서 173을 둘러싸고 미끄러지면 선택메뉴를 회전시킬 수 있어 기타 위치의 아이콘 810이 174의 아래측에 위치하도록 할 수 있다.
도1-도4와 도11，도30，도31에서 도시된 바와 같이 선택메뉴는 모두 사용자의 17이 스크린을 떠나지 않는 상황에서 17이 소재한 손의 기타 손가락이 쉽게 조작하도록 되어 있다.
선택메뉴는 하기의 상황에서 자동적으로 사라질 수 있다.
상황A: 선택메뉴를 불러오는 터치 포인트가 사라지면 선택메뉴는 사라진다.
상황B: 또는 선택메뉴를 불러오는 터치 포인트가 사라짐과 동시에 선택메뉴위에 터치 포인트가 없을 시 선택메뉴는사라진다.
상황C: 선택메뉴가 규정된 횟수 이상 조작이 된 후 선택메뉴는 사라진다.
선택메뉴는 선택메뉴가 사라지는 조건에 부합될 시 선택메뉴가 점차 연해지다가 사라지도록 설정할 수 도 있다. 만약 사용자가 기타 위치를 클릭하면 선택메뉴는 바로 사라진다. 만약 선택메뉴가 점점 사라지는 과정에 사용자가 선택메뉴를 터치하면 선택메뉴는 다시 뚜렷해짐으로써 사용자가 선택메뉴를 불러온 다음 손가락이나 터치툴을 들고 더욱 영활한 조작을 할 수 있도록 한다. 상기의 사라지는 방식은 마찬가지로 바이오제어구와 자유식 아이콘에 적용할 수 있다.
본 발명에서 언급되는 선택메뉴는 반드시 멀티터치 조작을 사용해야만 하는 것은 아니다. 사용자는 마찬가지로 싱글포인트터치의 방식으로 선택메뉴를 불러오고 조작을 할 수 있다. 즉 선택메뉴를 불러오는 터치 포인트가 스크린을 떠나고, 선택메뉴위에 터치 포인트가 없을 때에도 선택메뉴는 사라지지 않는다. 예를 들어, 도 5에 도시된 바와 같이 두 손의 조작에 사용되는 선택메뉴는 전체화면으로 영화를 볼 때, 사용자의 두 손이 장비를 잡고 있고 왼손의 한 터치포인트로 스크린을 터치하면 숨어있던 선택항 란이 나타나고, 사용자가 '픽쳐조정'이라는 선택항을 클릭한 다음 하위의 선택메뉴가 스크린의 오른쪽에 나타나 사용자로 하여금 오른손으로 조작 할 수 있게 한다.
일종의 선택메뉴 또는 아이콘 양식. 도 14에 도시된 바와 같이, 그것은 여러 개의 선택항 231，232，233이 있어, 여러 개의 손가락이 동시에 조작하는 것을 허용한다. 손가락이 그것을 터치하면 그것은 여러 개의 손가락이 조작하는데 적합하도록 커진다. 만약 그것을 터치하는 손가락이 소재한 손의 기타 손가락도 동싱에 스크린을 터치하면 그것은 자동으로 선택항을 각 손가락에 맞춰준다. 조작을 할 때, 그것은 손가락의 미끄럼짐에 따라 마치 유연한 띠처럼 비틀리는데 이런 선택메뉴 양식을 리본 선택메뉴라고 칭할 수 있다. 이는 뒤에서 언급되는 바이오 인터페이스의 한 실시예로 볼 수 있다.
아이콘 용기: 사용자는 특정된 조작, 예를 들면 몇개의 자주 같이 사용하는 아이콘을 함께 이동할 수 있도록 특별한 아이콘 용기에 담는 조작을 통하여 하나의 새로운 선택메뉴나 아이콘을 구성할 수 있으며 이에 대한 재명명과 외관을 정의할 수 있다. 이것은 활성화된 후 도 14에 도시된 양식을 이용하여, 사용자의 손가락 사이의 거리에 따라 231，231，233의 크기와 간격을 조정할 수 있으며 자체의 모양을 조절하여 매 선택항이 마침 매 터치 포인트의 아래에 위치하게 할 수 있다.
아이콘 용기는 또한 바이오인터페이스나 자유식 아이콘의 방식으로 그가 포함하고 있는 여러 개의 아이콘을 방출할 수 있으며, 아이콘은 사용자의 손가락이 쉽게 조작할 수 있는 위치에 나타나거나 또는 직접 서로 다른 손가락의 아래 또는 근처에 출현한다.
멀티터치에 적용되는 선택메뉴로, 이것이 사용되면, 예를 들어 클릭되거나 또는 터치포인트가 미끄러지나가면 그에 대응하는 선택항이 그것을 클릭한 손가락이 소재한 손의 기타 손가락 근처나 아래에 나타난다. 더 나아가, 그것을 클릭한 손가락의 좌우 양측의 가장 가까운 터치포인트 근처나 아래에 선택항이 출현하도록 설정할 수도 있다.
더 나아가, 각 선택항은 부동한 손가락과 일일이 대응할 수 있으며, 손가락은 부동한 방향으로 미끄러짐과 스크린에 대하여 부동한 압력을 가하는 것을 통하여 그에 대응하는 선택항을 선택항을 사용할 수 있다. 선택항의 양식은 자유식 아이콘의 양식을 참조할 수 있다.

3. 자유식 아이콘:
자유식 아이콘은 줄곧 스크린 위나 또는 어느 창 내에 존재하거나 또는 사용자가 어떤 조작을 한 후 스크린 위 또는 창 내에 여러개의 아이콘을 나타낼 수 있다. 시각효과를 강화하기 위하여 아이콘이 출현하는 방식은 어느 한 구역, 예를 들면 선택된 조작대상위에서 날아오거나, 또는 어느 구역에서 점차 떠오를 수 있다. 아이콘이 활성화 된후, 사용자는 전후좌우로 아이콘을 이동시키거나 부동한 압력으로 누르거나, 두드림으로써 상응하는 기능을 제어할 수 있다. 스크린 위에서 아이콘은 움직일 수 있는 것일 수도 있고 고정 된 것일 수도 있다. 아이콘은 스크린 표면에 돌출된 것으로 보고 터치포인트는 아이콘의 변두리를 접촉하는 것으로써 마치 유리판 위의 유리조작을 밀듯이 아이콘을 밀어 이동시킬 수도 있다. 사용자는 손으로 동시에 여러개의 아이콘이나 조작에 방해되는 아이콘을 모아서 한쪽으로 밀어 둘 수 있다. 자유식 아이콘도 어떤 구역 내에서 마치 한 용기에 담아 놓은 수많은 유리조각같은 것이 될수 있다.
도 17은 오퍼레이션 인터페이스 상에 여러개의 자유식 아이콘이 나타났는데 손가락이 그중의 3개 아이콘을 터치한 표시도이다. 그중 42는 아이콘, 17은 손가락, 43은 터치된 아이콘이다.
사용자는 하기의 방법으로 아이콘을 불러올 수 있으며, 하기의 방법들을 포함하지만 그에 제한되는 것은 아니다.
1. 특정된 아이콘의 사용을 통하여;
2. 일정한 구역이나 대상위에서 상응하는 터치명령을 사용하여, 예를 들면 선택메뉴를 불러오는 터치명령은 마찬가지로 아이콘을 불러오는 데 사용할 수 있다.
3. 하나의 구역이나 대상을 선정하고 다른 위치에서 상응하는 조작을 하여, 예를 들면 터치명령이나 기타 아이콘을 클릭하거나 또는 동시에 다른 한 대상을 선정하여 상응하는 아이콘을 불러온다.
4. 하나 또는 여러 개의 대상을 선정한 다음 아이콘의 자동으로 나타난다.
5. 하나 또는 여러개의 대당을 선정한 다음 상응하는 조작을 실행한다. 예를 들어 터치명령이나 또는 하나 또는 여러개의 손가락이 스크린을 아이콘이 나타날 때까지 접촉하고 유지한다. 또는 기타 방법으로 아이콘을 불러온다. 아이콘을 불러오는 방법은 마찬가지로 선택메뉴나 기타 대상을 불러오는데 사용할 수 있으며 심지어 한 프로그램을 열수 있다. 선택메뉴를 불러오는 방법도 마찬가지로 아이콘을 불러오는 데 사용할 수 있다.
자유식 아이콘은 스크린 상의 터치포인트의 분포, 터치 포인트의 이때의 기능, 지금 진행되고 있는 조작 및 바탕화면이나 스크린 위의 창의 분포에 근거하여 자신이 나타날 위치를 선택함으로써 사용자가 편리하게 조작할 수 있도록 한다. 예를 들어 자유식 아이콘은 자유식 아이콘을 부르는 터치포인트가 나타나는 근처나 사용자의 현재 여유가 있는 터치스크린의 특정 터치 포인트 근처나 아래를 선택하여 나타난다. 자유식 아이콘은 최대한 비교적 널직하고 근처에 기타 기능성 선택항이나 제어구가 없는 구역에 나타나야 한다.
사용자는 우선 사용하고자 하는 아이콘을 활성화 시키고 그다음 다중 누름으로 아이콘을 전후좌우로 이동시키는 등 방식으로 대응하는 기능을 사용한다. 아이콘은 어떤 파라미터의 크기를 조정하는데 사용될 수 있다. 예를 들면 아이콘을 조작함과 동시에 다른 한 구역을 선정하면 아이콘은 선정한 구역의 색깔을 조정하는데 사용할 수 있다. 아이콘을 조작함과 동시에 하나의2D나 3D도형을 선정하면, 아이콘을 이동함으로써 도형의 형상, X/Y/Z축상의 높이, X/Y/Z이나 또는 기타 대상과 이루는 각도 등을 조정할 수 있다.
아이콘을 활성화 시키는 것은 곧 아이콘에 대응하는 기능을 사용하기 시작함을 의미한다.
아이콘의 양식:
손가락이 활성화 되지 않은 아이콘을 터치하면 아이콘은
1. 커질수 있다.
2. 활성화 된 후의 모습을 나타낼 수 있다.
3. 아이콘 기능에 관한 상세정보를 나타낼 수 있다.
아이콘은 활성화 된 후 하기의 하나 또는 여러 개의 효과가 발생하며, 하기의 효과를 포함하지만 이에 제한되지는 않는다.
1. 커진다.
2. 더 많은 알림내용을 표시하고 아이콘을 누른 손가락의 앞쪽 끝에 안내성의 표식이 나타나 사용자에게 x，y，z축의 플러스 마이너스 방향에서 아이콘을 이동할 시에 대응하는 기능들을 알려준다.
3. 아이콘의 분열, 아이콘은 여러개의 아이콘으로 분열할 수도 있다. 사용자가 한 아이콘을 활성화 시킨후 사용자의 스크린과 접촉한 손가락 2，3의 아래 또는 근처에 모두 자아이콘이 출현하며, 손가락 2，3을 움직임으로써 상응하는 기능을 조절할 수 있다.
4. 아이콘 이동, 아이콘을 이동시키거나, 아이콘의 위 또는 아이콘 근처 일정범위 내에서 터치포인트를 미끄러지게 하거나, 아이콘을 클릭하거나, 아이콘에 부동한 압력을 가하는 등은 모두 아이콘의 상응한 기능에 대한 조작으로 간주한다.
5. 상응하는 터치포인트나 손가락 주위에 아이콘을 표시한다. 아이콘의 양식은 도13에 도시된 바와 같을 수 있다.
도13에 도시된 바와 같이, 그중 17은 임의의 하나 또는 여러개의 손가락이나 기타 터치물이 형성한 터치포인트가고, 30, 31, 32, 33, 34, 35, 36, 37，56, 57, 58, 59는 사용자에게 각 방향으로 아이콘을 이동시키거나 아이콘과 대응하는 손가락이나 터치 포인트를 미끄러지게 했을 때 대응하는 기능이다. 예를 들어, 33은 '오려두기', 31은 '복사', 30은 '붙이기' 기능이다. 사용자는 상응한 방향으로 터치포인트나 아이콘이나 손가락을 미끄러지게 함으로써 상응한 기능을 선택 또는 사용할 수 있다. 오조작을 방지하기 위하여 터치포인트17이 스크린을 떠난 다음에 조작이 실행되도록 설정할 수 있다. 예를 들어, 사용자가 오른쪽으로 손가락 17을 그리면, 34는 밝게 표시되어 34에 대응하는 기능이 선택되었음을 표시한다. 이때 다중누름이나 또는 17을 들어올려 조작을 함으로써 상응한 기능을 사용할 것을 확인하거나 또는 왼쪽으로 그려 34의 밝음을 해제한다. 아이콘은 손가락의 이동에 따라 같이 움직여 손가락과의 상대위치를 유지할 수 있으며, 손가락이 스크린을 떠난 후 다시 스크린에 접근했을 때 아이콘은 자신의 위치를 조정하여 손가락과의 상대위치가 손가락이 스크린을 떠나기 전과 같이 유지하도록 한다.
만약 상응한 방향으로 이동하는 것이 어떤 파라미터를 조정하는 것이라면30, 31, 32, 33, 34, 35, 36, 37 위에도 마찬가지로 동시에 조정되는 파라미터의 현재 값이 나타난다. 그것들은 사용자의 조작에 따라 실시간으로 변화할 수 있는데 이는 마치 사용자가 어느 한 선택항을 선택하면 그 하위 선택항이 나타나는 선택메뉴와 같다. 30부터 37까지의 색깔도 변할수 있는 것으로 색깔에 따라 정성적으로 손가락의 압력이나 어느 파라미터의 값을 표시할 수 있다.
아이콘은 또한 활성화 된 후 어떤 조작을 하여 진일보 분열할 수 있다. 예를 들어 아이콘이 활성화 된 후 아이콘에 대한 진일보 조작의 알림이 나타나거나 또는 아이콘이 나타났을 때 이미 활성화 된 상태이면 사용자는 해당 아이콘에 대한 조작을 통하여 그것을 진일보 분열하게 할 수 있다.
아이콘은 또한 출현 될 시에 이미 활성화 된 상태일 수 있다.
한 예시로, 사용자가 한 구역이나 대상을 선정한 후 다섯 손가락의 아래나 근처에 모두 상응하는, 이미 활성화된 아이콘이 나타났다. 이때의 아이콘 또한 일종의 특수한 선택메뉴의 형식으로 볼 수 있다. 예를 들어 사용자가 '표시' 아이콘을 활성화 시킨후, 사용자의 스크린과 접촉한 몇 손가락 아래에는 포화도, 밝기, 색차, 대조도를 조절하는 아이콘이 출현하며, 색차 아이콘은 사용자에게 아이콘을 아래로 이동하거나 아이콘과 대응하는 손가락을 이동하여 아이콘을 사용할 것을 안내하고, 사용자가 색차 이이콘을 아래로 이동시키면 세 손가락 아래의 아이콘은 약간 붉은편, 푸른편, 노란편으로 변하여 조절을 하도록 한다.
아이콘은 반드시 손가락의 아래에 나타나야만 하는 것은 아니다, 손가락의 근처에 나타날 수 도 있다.
아이콘은 하기의 방식으로 활성화 시킬 수 있으며, 하기의 방식을 포함하지만 이에 한정되지는 않는다.
1. 만약 아이콘이 터치포인트에게 눌리면 아이콘을 활성화 시키고, 이이콘을 이동시키는 것은 단지 아이콘의 변두리를 접촉하여 아이콘을 미는 것으로 실현하도록 설정할 수 있다.
2. 아이콘 위에 전문적인 터치구역과 조작구역을 설치하여 터치구역을 터치하면 아이콘을 이동시키는 것이고, 조작구역을 터치하면 아이콘을 사용하기 시작하는 것으로 설정할 수 있다.
3. 전문적인 조작구역을 설정하여 아이콘이 조작구역에 이동하여 들어가면 아이콘이 활성화 되게 할 수 있다.
특정된 터치명령으로 아이콘을 활성화 시킬수 있다. 특히 아이콘을 선정한 손의 엄지 손가락으로 아이콘을 활성화 시키고, '엄지'는 도형식별을 통하여 활성화 된다. 예를 들어, 식별을 통하여 아이콘을 선택한 손가락이 소재한 손의 손바닥이 스크린을 누르고 있음을 식별하여 아이콘을 활성화 시킬수 있다.
5. 다중누름법으로 아이콘을 활성화 시킬 수 있다.
6. 아이콘을 이동시키고, 아이콘에 대한 조작을 할 때, 아이콘에 부동한 압력을 가하여, 예를 들면 손가락을 미끄러지게 하는 방식으로 아이콘을 사용할 때, 아이콘에게 더욱 큰 압력을 가함으로써 아이콘을 끌어 기타 위치에 이르게 하는 조작과 구별되게 할 수 있다.
7. 두개 또는 두개 이상의 아이콘이 손가락 밑에 눌렸을 때, 눌린 아이콘을 활성화 시킨다. 이런 상황에서, 전문적으로 아이콘을 활성화 시키는데 사용하는 아이콘이 필요하는 바, 그중 하나의 아이콘만 사용하게 될 때 아이콘을 활성화 시킬수 있도록 해야 한다.
8. 전문적인 아이콘을 설정하여 그것이 기타 아이콘과 함께 손가락에 눌렸을 때 눌린 아이콘을 활성화 시키도록 할 수 있다.
9. 사용자는 뒤덮임손자세로 아이콘을 선택하고 활성화 시킨후 아이콘이 자동적으로 사용자의 손가락 아래 또는 근처의 쉽게 조작할 수 있는 위치에 출현하게 할 수 있다. 예를 들면 바이오인터페이스의 방식으로 출현하는 것이다.
10. 사용자는 앞에서 언급한 선택방식으로 사용할 아이콘을 선택하고 상응한 조작을 할 수 있다. 예를 들면 아이콘을 선택한 손가락이 소재한 손의 엄지를 미끄러지게 하면 아이콘이 자동적으로 배열되고, 예를 들면 자동으로 손가락의 아래 또는 근처의 쉽게 조작할 수 있는 위치에 출현하거나 또는 자체적으로 정열되어서 사용자가 쉽게 사용하도록 할 수 있따.
11. 아이콘을 클릭하는 방법으로 아이콘을 활성화 시킬수 있다.
사용자가 계속하여 아이콘을 사용할 필요가 없게되면 적당한 조작을 통하여 아이콘이 사라지도록 할 수 있다.
1. 예를 들어, 만약 불러온 아이콘이 스크린의 밝기 등 파라미터를 조정하는데 사용하는 것이라면 아이콘을 사용 완료한 후에 아이콘을 조작하던 터치포인트가 사라지면 아이콘이 자동적으로 사라진다.
2. 특정된 터치명령을 사용할 수 있다. 예를 들어, 사용자의 손 절반이 스크린과 접촉하여, 손을 가로로 이동하면서 점차 손을 세워 최종에는 마치 아이콘을 스크린에서 쓸어 내려는 듯이 손의 측면이 스크린을 접촉하게 한다. 또는 직접 손바닥의 특면으로 스크린에서 가로로 움직혀 아이콘이 사라지거나 새로운 스크린의 아이콘으로 전환할 수 있다. 오조작을 방지하기 위하여, 손바닥의 이동속도가 어떤 값을 초과 할 때만 이 터치명령에 해당한 것으로 설정할 수 있따. 이런 조작은 마찬가지로 바이오제어구, 선택메뉴 등이 사라지도록 하는데 사용할 수 있다.
3. 만약 아이콘이 선택한 구역에 대한 조작을 하는데 사용하는 것이라면 해당 구역의 선택이 취소되면 아이콘이 자동적으로 사라진다.
4. 전문적인 구역을 설정하여 아이콘이 해당 구역에 진입하면 사라지도록 할 수도 있다.

4.아이콘용기
사용자는 여러 개의 대상, 특히는 기능성 아이콘을 한데 추가하여 아이콘 용기를 구성할 수 있다. 이 아이콘 용기를 사용할 때, 그 속에 포함된 기타 아이콘들이 나타난다. 예를 들어 바이오인터페이스나 자유식 아이콘의 방식으로 여러개의 아이콘을 방출하여 터치하기 편리하도록 한다.
5.바이오인터페이스:
바이오인터페이스는 일종의 인터페이스 형식으로 하나의 슬라이더가 될 수도 있고, 일부 아이콘, 창, 자유식 아이콘 등이 될 수도 있다.
바이오인터페이스는 전적으로 멀티터치 환경을 위하여 설계한 일종 인터페이스로, 멀티터치 스크린의 동시에 여러 개의 위치를 제공할 수 있는 능력, 터치픽쳐를 제공할 수 있는 능력, 시스템이 터치픽쳐에 근거하여 사용자 신체부위를 분석해 낼수 있는 능력을 충분히 이용하였다. 동시에, 시스템이 사용자가 손으로 조작을 하고 있음을 알기에 시스템은 터치가 발생한 위치에 근거하여 해당 터치포인트에 대응하는 터치물이 있는 손의 기타 부분, 예를 들어 손가락이나 손바닥의 쉽게 터치 조작을 할 수 있는 위치를 확정할 수 있다. 시스템은 입수한 정보에 근거하여 인터페이스의 양식, 예를 들면 창의 위치, 제어구의 양식, 아이콘의 양식과 정열위치 등을 확정하거나 도형인터페이스를 통하여 사용자에게 터치포인트를 이동하도록 유도하여 사용자가 쉽게 조작하도록 한다.
바이오인터페이스의 목적은 사용자로 하여금 손을 큰 범위에서 이동하지 않으면서도 여러개의 아이콘을 조작할 수 있도록 하는 것이다. 아이콘은 어느 손의 손가락, 손바닥의 아래나 근처의 쉽게 조작할 수 있는 위치에 나타날 수 있고; 손의 상응하는 신체부위와 서로 대응하여 아이콘을 터치할 필요 없이 상응 부위의 미끄러짐, 누름 등 방식으로 조작을 할수 있으며; 손가락 아래나 근처 또는 손바닥 아래변두리 아래의 쉽게 조작하는 위치나 구역과 대응할 수 있고; 손가락 아래나 근처의 쉽게 조작할 수 있는 구역이나 위치의 대상, 예를 들면 아이콘, 슬라이더, 터치포인트 등과 대응할 수 있다. 예를 들면 도 31에서의 38, 39와 43의 상호 대응이다.
도1부터 도4까지, 도11, 도12, 도15, 도16, 도22, 도30, 도31，도27이 도28에 상대하여 발생한 변화는 모두 바이오인터페이스의 실례로 볼 수 있다.
사용자는 자신의 사용습관에 의거하여 선택항, 슬라이더구역 등 아이콘의 손바닥, 엄지 또는 터치포인트
상대적 위치를 사전에 설정함으로써 자신이 쉽게 조작하도록 할 수 있다.
바이오인터페이스의 중요한 역할은 도형인터페이스를 통하여 사용자의 조작을 안내할 수 있다는 것이다. 어떤 상황, 특히는 아이콘이 손가락 아래에 나타나거나 또는 손가락이나 손의 어느 일부분과 서로 대응 될 때, 바이오인터페이스가 표시한 아이콘은 단지 하나의 아이콘일 뿐, 아이콘을 터치함으로써 상응하는 기능을 수행할 수는 없다. 물론 어떤 상황에서 바이오인터페이스가 제공한 것은 전통적인 아이콘으로 해당 아이콘을 터치함으로써 각종 조작을 할 수 있다.
바이오인터페이스는 하기 특징 중의 하나 또는 여러 개를 구비한다.
1. 시스템은 하나 또는 여러 개의 터치포인트의 위치에 의하여, 터치포인트의 터치픽쳐와 사전에 설정한 설정과 결합하여 터치포인트가 대응하는 터치물이 소재하는 손의 기타부분, 예를 들면 손가락이나 손바닥의 쉽게 터치할 수 있는 위치나 구역을 확정한다. 아이콘, 슬라이더 등은 직접 상응한 구역이나 위치에 출현하거나 해당 구역이나 위치로 이동하거나 또는 해당 구역이나 위치의 윤곽에 부합됨으로써 사용자의 손이 쉽게 조작할 수 있도록 한다. 예를 들어, 제어인터페이스의 형상은 아치형일 수도 있고, 또는 선택항이 일정한 호도로 정열되는데, 이 호도는 사람의 손가락 끝이 손바닥이 부동한 상황에서 쉽게 조작할 수 있는 구역으로 구성된 윤곽에 부합된다.
인터페이스가 나타날 때, 반드시 기타 손가락도 스크린과 접촉해야 되는 것은 아니다. 시스템은 기타 터치포인트가 소재한 위치를 알 필요 없이, 해당 터치포인트가 있는 손의 기타 손가락이나 상응한 신체위치가 터치포인트가 대상에 대한 터치를 유지하는 상황에 따라, 특히 이동하지 않는 상황에서 자연스럽게 아이콘을 터치할 수 있는 원칙에 따라 아이콘의 위치를 확정한다. 만약 시스템이 터치포인트가 한 손가락이라고 판단하면 시스템은 디폴트설정이나 사용자의 사전 설정에 따라, 예를 들면 사용자가 오른 손의 중지나 검지로 대상을 선택하는 것을 디폴트로 한다면, 이로써 인터페이스의 형상이나 선택항의 배열을 제어할 것을 확정한다. 또는 사용자가 미리 설정한 아이콘의 양식과 아이콘의 해당 터치포인트가나 신체부위의 상대적인 위치에 의하여 아이콘의 양식과 위치를 확정한다.
도 34에서와 같이, 사용자의 손가락 8이 한 아이콘 300을 터치하자 아치형의 제어구800가 나타나고, 800위에는 여러 개의 아이콘이 표시된다. 800은 손가락의 미끄러짐으로 조작할 수도 있고, 클릭이나 누름으로 조작할 수도 있다. 다른 한 상황은 도 35에 도시된 바와 같이, 사용자가 손으로 아이콘300을 클릭하자, 여러개의 경사지게 배열된 아이콘38, 39, 40, 41이 나타난다. 사용자가 중지와 검지로 동시에 스크린을 접촉하면 시스템은 사용자의 중지와 검지의 자세와 위치를 확정하고 더욱 정확하게 사용자의 손의 자세와 위치를 위치확정한다. 만약 시스템이 하나의 손바닥이 스크린을 터치한 것이라고 식별하면, 내장된 사용자의 손의 파라미터에 의하여아이콘이 나타나는 위치를 정확하게 확정한다.
더 나아가, 하나의 제어구 801을 표시하여 엄지손가락이 사용하도록 할 수 있다. 엄지손가락의 조작을 통하여 제어구 801은 800이나 38, 39, 40, 41의 내용으로 전환될 수 있다. 801은 클릭을 통한 조작으로 설정할 수도 있고, 미끄러짐으로 조작하도록 설정할 수도 있다.
도 36은 사용자가 여러 손가락과 엄지손가락으로 어느 한 구역을 뒤덮었을 때, 시스템이 사용자 손바닥이 터치할 수 있는 위치에 아이콘 809를 표시하여 사용자가 손바닥으로 스크린을 접촉함으로써 선택한 대상 51, 52, 53을 확인하거나 선택을 고정하도록 알려준다.
도 37에 도시된 바와 같이, 사용자는 손바닥으로 어느 한 대상이나 구역 또는 위치를 터치할 수 있고, 시스템은 그후 손바닥이 소재하는 손의 기타 손가락에 적합한 위치에 각종 아이콘을 나타내거나 또는 상응하는 선택 아이콘이 손바닥이 소재하는 손의 기타 손가락 아래 또는 근처의 쉽게 조작할 수 있는 위치로 이동하게 한다. 6, 7, 8, 9, 10 은 사용자의 기타 손가락이 편안하고 자연스럽게 굽혀졌을 때 처한 위치이고, 811은 여러 개의 선택항 아이콘이다. 선택항 아이콘이 아주 많을 때, 손가락이 선택항을 미끄러지나가게 함으로써 선택항이 커지게 하여 오조작을 피할 수 있으며 앞에서 말한 도3에서 제공한 작은 아이콘의 선택항을 조작하는 방식으로 조작을 할 수 있다. 도 38에 도시된 방식대로마치 엄치손가락이 있는 곳에는 1급 선택메뉴를 표시하고, 손가락이 있는 곳에 2급메뉴를 표시하듯 표시하여, 엄지손가락이 슬라이더를 통하여 어떤 아이콘 들을 표시할 것인지를 선택할 수 있다. 이렇게 함으로써 한번에 비교적 적은 아이콘을 나타내어 사용자가 쉽게 조작할 수 있도록 하며, 손의 윤곽에 따라 더욱 잘 배열할 수 있으며, 아이콘도 더욱 커도 되므로 터치에 용이하다.
제어아이콘은 사용자의 손가락 아래나 근처 등 쉽게 조작할 수 있는 위치에 나타나기에, 사용자는 오퍼레이션 인터페이스를 불러오는 손이 스크린을 떠나지 않는 상황에서 아이콘을 조작할 수 있다. 그러므로, 시스템은 전체 한쪽 손이 그것을 떠나거나 스크린의 선택항을 멀리하면 사라지거나 신속이 옅어지도록 설정할 수 있다.
2. 바이오인터페이스는 터치스크린 사용자의 신체게 근거하여 자신의 형상이나 위치를 조정함으로써 사용자가 쉽게 조작할 수 있도록 한다. 예를 들어, 같은 손의 이 동시에 스크린을 터치했음을 발견할 경우, 바이오인터페이스는 자신의 아이콘이나 슬라이더 위치를 조정하여 사용자의 손가락, 손바닥이 쉽게 조작할 수 있는 위치에 근접하도록하거나 또는 아이콘이 나타날 때부터 직접 손가락이나 손바닥 근처나 아래에 나타나도록 하며, 아이콘, 슬라이더의 형상, 호도, 간격, 크기 등은 모두 사용자의 손가락 위치에 따라 변화한다. 도 39에서와 같이, 상응한 시스템 사건이 발생하면, 예를 들어 사용자의 여러 손가락과 엄지손가락이 같이 스크린을 터치하거나 여러 손가락과 손바닥이 같이 스크린을 터치 했을 경우, 사용자의 손가락, 엄지손가락, 심지어는 손바닥 아래나 근처의 쉽게 조작할 수 있는 위치에는 아이콘이나 슬라이더 등 도형대상들이 나타난다. 아이콘은 손가락이 스크린을 접촉하기 전에 나타나 손가락이 스크린을 접촉한 다음 자신의 위치를 손가락 근처나 아래로 조정할 수도 있고, 손가락이 스크린을 접촉한 다음에 직접 손가락 근처나 에 위치할 수도 있다.
단지 스크린과 접촉한 손가락의 숫자 이내의 아이콘만 표시할 수 있는 것은 아니고, 아이콘이 손가락 아래나 근처의 쉽게 조작할 수 있는 구역 내에 나타나기만 하면 된다.
3. 바이오인터페이스의 아이콘은 상응하는 손의 각 부분이나 각 부분 근처 또는 아래의 쉽게 터치할 수 있는 구역이나 위치와 대응하도록 하여 상응한 손이 큰 범위의 이동이 없이도 아이콘을 터치하고, 상응하는 아이콘을 사용하고 선택하며, 그에 대응하는 기능을 사용할 수 있도록 한다. 아이콘에 대응하는 손가락은 아이콘이 출현할 때, 마침 스크린을 터치하고 있을 수도 있고, 아직 스크린을 터치하지 않았을 수도 있다. 아이콘은 또한 어느 한 터치포인트와 대응할 수 있으며 그것이 어느 손가락이든 상관이 없다. 도 44에 도시된 바와 같이, 171, 17, 172는 세 손가락의 터치픽쳐이고, 38, 39, 40은 그것들과 일일이 대응한다. 아이콘은 하기의 대상들과 서로 대응할 수 있으며, 하나 또는 여러 개의 아이콘은 같은 대상과 대응할 수 있다.
A. 사용자의 특정 신체부위, 예를 들면 특정 손가락, 손바닥과 대응할 수 있으며, 예를 들어 오른손 중지의 스크린 위의 미끄러짐, 다중 누름, 두드림 등 각종 터치명령;
B. 사용자 손의 아래나 근처의 쉽게 조작할 수 있는 어느 구역이나 위치와 서로 대응하며, 해당 구역이나 위치를 터치하거나 또는 터치포인트가 해당 구역 내의 위치에서 미끄러지거나 각종 터치명령을 내리는 것;
C. 사용자 손의 아래나 근처의 쉽게 조작할 수 있는 위치나 구역의 어느 한 대상, 예를 들면 어느 한 아이콘이나 미끄러짐 구역과 서로 대응하고, 상응한 대상에 대하여 여러가지 조작을 하며, 상응하는 대상에서 여러가지 터치 명령을 내린다;
D.사용자의 손의 아래나 근처의 쉽게 조작할 수 있는 어느 한 구역 내에 위치한 터치포인트와 서로 대응하며, 상응하는 터치포인트의 미끄러짐, 클릭, 다중누름 등 각종 조작을 사용한다.
상기 대상의 상응한 조작은 부동한 아이콘을 선택하고 상응한 아이콘의 기능을 사용하며, 아이콘의 전환 등을 할수 있다. 예를 들어, 도 13에 도시된 양식의아이콘과 오른손 검지는 서로 대응하고, 검지가 오른쪽으로 이동하면 31을 선택하고, 위로 이동하면 30을 선택한다. 상응하는 아이콘을 선택한 다음 다중누름을 통하여 아이콘에 대응하는 기능을 실행한다.
예를 들어, 도 15에 도시된 바와 같이, 손가락이나 손바닥의 아래 또는 근처에 도형표식이 떠올라 그와 관련된 신체부분이 상응하는 조작을 하도록 안내한다. 사용자의 여러 손가락이 동시에 스크린을 터치 할 때, 각 손가락의 아래에는 아이콘이 떠오르며, 매 아이콘의 양식은 도 13에 도시된 바와 같을 수 있다. 도 13에서, 17는 사용자 손가락의 터치포인트가고, 30, 31, 32, 33, 34, 35, 36, 37, 56, 57, 58, 59위에는 각종 기능이 표식되어 있으며 해당 기능이 선택될 때는 높은 밝기로 표시된다. 아이콘은 상응하는 터치포인트가나 손가락과 같이 이동하여 상대위치가 불변하도록 유지할 수도 있고, 고정되어 움직이지 않을 수도 있다. 만약 어느 한 손가락과 대응하도록 설정한면, 손가락이 스크린을 떠났다가 다시 스크린을 접촉 했을 때 아이콘이 자신의 위치를 조정하여 손가락과의 상대적인 위치가 변하지 않도록 설정할 수 있다.
사용자는 상응한 방향으로 손가락을 그리거나 또는 해당 위치를 클릭 또는 눌러 해당 기능을 사용하거나 상응한 방향으로 손가락을 그려 상응한 아이콘을 선택하고, 그리는 동시에 손가락을 스크린에서 떼거나 또는 손가락으로 그려 상응한 아이콘을 선택한 다음 해당 손가락으로 스크린을 두드리거나 또는 다중누름으로 아이콘에 대응하는 기능을 사용한다. 사용자는 표식된 방향으로 손가락을 미끄러지게 함으로써 상응한 조작을 실행한다.
도 40에 도시된 바와 같이, 6, 7, 8, 9, 10, 11이 어느 한 구역이나 구역 내의 대상을 뒤덮어 선택한 후, 38, 39, 40, 41이 나타나 각각 손가락 7, 8, 9, 10과 대응하여 사용자가 쉽게 보일수 있는 위치에 있다. 826은 슬라이더이고, 위쪽에 두개의 아이콘이 엄지손가락과 서로 대응한다. 엄지손가락은 슬라이더로 아이콘을 선택하고, 38, 39, 40, 41을 부동한 아이콘으로 전환한다. 예를 들어, 새끼손가락 10은 제자리에서 스크린을 누르거나 두드리거나 또는 화살표 방향으로 손가락을 미끄러지게 하면 아이콘 41에 표식된 기능을 사용할 수 있다. 기타 손가락이 만약 미끄러짐을 통하여 자기와 대응하는 아이콘을 사용하면, 역시 도시 된대로 각자 근처의 화살표 방향으로 손가락을 미끄러지도록, 즉 다시 말해서 손가락을 굽혀 손바닥 중심방향으로 손가락 끝을 미끄러지게 해야 한다. 왜냐 하면 이 방향에서 손가락의 미끄러짐이 가장 선명하여 쉽게 오조작이 생기지 않기 때문이며, 사용자에게 있어서도 이는 가장 자연스럽기 때문이다. 한 손가락이 여러 개의 아이콘에 대응할 수도 있다. 손가락의 미끄러짐이나 기타 터치명령으로 부동한 아이콘을 선택하고 사용할 수 있다.
아이콘 역시 각 손가락과 서로 대응하지 않고, 손가락 아래 또는 근처의 구역과 서로 대응해도 된다.
도 43에서처럼, 아이콘 30, 31은 38과 대응하고, 아이콘 32, 33은 41과 대응하며, 아이콘 34, 35는 40과 대응하고, 아이콘 36, 37은 39와 대응하며, 826은 42와 대응한다. 터치포인트는 38, 39, 40, 41 내에서 미끄러지거나 각종 터치명령을 내려 부동한 아이콘을 선택하고 아이콘에 상응하는 기능을 사용한다. 예를 들어 38내에서 화살표 방향으로 손바닥중심 방향으로 손가락을 미끄러지게 하여 31를 선택하고, 손바닥 중심을 따라 밖으로 미끄러지면 31에 대한 선택을 해제 하는 거이 되며, 계속하여 미끄러지면 30을 선택하게 된다. 아이콘을 선택한 다음 상응하는 터치명령을 통하여 아이콘에 대응하는 기능을 사용한다. 38, 39, 40, 41, 42는 스크린 위에 나타날 수도 있고, 나타나지 않을 수도 있다. 나타난다면 하나의 아이콘으로 보고 그 위에 30, 31등과 대응하는 위치를 마킹하여 사용자가 해당 위치를 터치함으로써 30, 31 등 아이콘을 사용하거나 선택하도록 할 수 있다.
만약 바이오인터페이스 중의 선택항이나 슬라이더가 손의 상응한 부위와 대응된다면, 또는 상응 부위의 아래나 근처의 쉽게 조작할 수 있는 위치와 대응 된다면, 바이오인터페이스는 반드시 대응하는 해당 부분의 쉽게 조작할 수 있는 위치에 나타나야 하는 것은 아니고, 기타 위치, 특히 사용자의 주의력이 소재한, 예를 들면 현재 조작하고 있는 대상 또는 쉽게 보이는 위치에 나타나도 된다. 도 38에서처럼, 사용자의 손가락과 엄지손가락이 스크린과 접촉하여, 손에 선택메뉴 802가 나타났을 때, 여러 개의 선택항이 각각 여러 손가락에 대응한다. 사용자는 손가락을 상응한 조작, 예를 들어 미끄러짐을 하기만 하면 그에 해당하는 선택항을 선택할 수 있으므로 해당 선택항을 터치할 필요는 없다. 도 31도 이런 상황이다.
도 37 처럼, 손바닥가에 두개의 아이콘 822와 823이 출현하고, 손바닥으로 하여금 상응한 방향으로 압력을 가함으로써 손가락 근처의 아이콘을 전환하라고 알려준다. 예를 들어 822는 '다중 클립보드'이고, 823은 '즐겨찾기'라면, 손바닥의 왼쪽이 스크린에 압박을 가한 후 손가락 아래 또는 근처의 쉽게 조작할 수 있는 위치에는 클립보드의 내용이 나타난다. 822와 823을 1급 선택메뉴로 하고 손가락 근처의 아이콘을 2급 선택메뉴로 할 수 있다. 예를 들어 웹브라우저 창 내에서, 822는 '즐겨찾기'이고, 선택을 한 다음 손가락 근처의 아이콘은 즐겨찾기에 추가한 각각의 사이트주소로 변하며, 823은 '페이지 설정'인데, 선택을 한 다음 손가락 근처의 아이콘은 '페이지 저장', '인쇄하기', '네트워크 설정' 등 아이콘으로 변하며, '페이지 저장'등 흔히 쓰는 아이콘은 손가락이 가장 쉽게 조작할 수 있는 위치에 나타나야 하며, 동시에 시종 큰 아이콘을 유지해야 한다.
바이오인터페이스 중의 아이콘이나 슬라이더 등은 반드시 손가락과 일일이 대응해야 하는 것은 아니고 여러 개의 아이콘이 하나의 터치포인트가나 신체부위와 대응할 수도 있고, 여러 개의 터치포인트가나 손바닥 또는 손가락이 어느 한 아이콘에 대응할 수도 있다. 예를 들어, 손가락이나 손바닥은 미끄러짐 또는 부동한 압력을 가하는 것으로 해당 아이콘에 대응하는 기능을 선택한다.
아이콘은 또한 두 손가락 사이에 나타날 수도 있는데 두 손가락이 서로 가까이 함을 통하여 아이콘에 해당한 기능을 사용할 수 있다.
4. 사용자의 터치상황에 근거하여 선택메뉴의 양식을 확정할 수 있다. 예를 들어 사용자의 엄지손가락과 기타 손가락이 같이 스크린을 터치하였는데, 상태가 여유가 있으면 엄지손가락 아래에 제어구 801을 나타내어 손가락 근처의 선택항을 제어하도록 할 수 있다. 예를 들어 801에는 상위 선택메뉴를 표시하고 손가락 근처에는 하위 선택메뉴를 표시한다. 만약 엄지 손가락이 스크린과 접촉하지 않았다면 동시에 손가란 근처에 1급선택메뉴만 표시함으로써 상응한 선택항을 선택하고 다시 그 하위 선택메뉴를 나타내도록 한다.
사용자가 어느 아이콘에 대응하는 기능을 사용할 때, 바이오인터페이스의 아이콘은마치 1급 메뉴를 선택하고 나면 그 하위 선택메뉴를 나타내듯이 변화가 생기며, 새로운 내용을 나타낸다.
아이콘은 반드시 손이 스크린을 터치한 다음에 나타나야 하는 것은 아니다. 예를 들어, 사용자는 손바닥과 스크린의 접촉을 유지한 채 손바닥이 소재한 손의 하나 또는 여러 개의 손가락으로 어느 선택메뉴를 터치하고 동시에 엄지손가락을 미끄러지게 하면, 선택메뉴의 아이콘이 재정열되어 손바닥이 소재하는 손의 손가락 아래나 근처의 쉽게 조작할 수 있는 위치에 나타나거나, 또는 스크린을 터치하는 손가락의 위치에 근거하여 자신의 위치를 자돋적으로 정렬하거나, 또는 손의각 부분, 손가락과 손바닥 아래, 손가락 근처의 쉽게 조작할 수 있는 구역, 손가락 아래나 근처의 쉽게 조작할 수 있는 구역 내의 아이콘, 슬라이더 등 대상, 손이 쉽게 조작할 수 있는 구역 내의 터치포인트와 서로 대응한다.
바이오인터페이스의 시각효과, 양방향교류방식 등은 앞에서 언급한 자유식 아이콘을 참조할 수 있다.
바이오인터페이스를 사용함으로써 선택항을 제공하면, 선탱항은 손가락 아래나 근처의 쉽게 조작할 수 있는 위치에 나타나며 심지어는 손바닥 아래에 나타나거나 손가락손바닥과 서로 대응하여, 사용자는 손 전체가 완전히 스크린을 떠나지 않는 상황에서도 누름, 미끄러짐 등 조작을 통하여 선택항을 선택할 수 있으며, 손을 스크린에서 멀리 뗄 필요가 없다. 그러므로 만약 필요하다면 시스템을 바이오인터페이스가 대응하는 손, 또는바이오인터페이스가 나타나는 위치를 확정하는 터치포인트가 스크린을 떠나거나 또는 터치포인트가 대응하는 손가락이나 손바닥 등 터치물이 소재한 손이 스크린을 떠나면 선택항이 바로 사라지거나 또는 신속히 옅어지도록 설정할 수 있다. 만약 3D감지 능력을 구비한 터치스크린을 사용했다면, 해당 터치물이 스크린을 멀리 떠나면 선택항이 사라지는 것으로 설정할 수 있다. 이로써 더욱 유창한 조작체험을 제공한다.
사용자는 시스템이 자신의 어느 손가락을 인터페이스 조작용 손가락으로 우선 사용할 지를 설장하여 아이콘 등이 자신의 가장 영활한 손가락 근처에 나타나도록 할 수 있다.
바이오인터페이스는 하기의 방식으로 불러올 수 있으며, 하기의 방식들을 포함하나 그에 제한되지는 않느다.
1. 터치명령, 본 발명에서 언급되는 터치명령, 특히는 선택메뉴와 자유식 아이콘을 불러오는 터치명령을 통하여;
2. 한 구역이나 구역 내의 대상을 선택하는 터치명령으로, 예를 들면 뒤덮임 손자세;
3. 하나 또는 여러 개의 손가락으로 상응하는 구역이나 대상을 터치하여, 더 나아가 손가락이 소재한 손의 엄지손가락이나 손바닥 중 하나 또는 여럿도 스크린을 터치했을 때에만, 또는 엄지손가락이나 손바닥의 터치가 부동한 바이오인터페이스를 불러올 수 있도록 설정할 수 있다. 더 나아가서, 엄지손가라과 손가락은 스크린위에서의 미끄러짐으로 부동한 양식의 선택메뉴를 불러오도록 확정할 수 있다.
4. 특정된 터치픽쳐를 사용하여, 예를 들면 손 전체가 스크린 위를 뒤덮거나 또는 도 23에서 도시한 바와 같은 터치픽쳐로;
5. 어느 대상을 터치하여;
6. 여러 손가락의 스크린 터치를 유지하고 여러 개의 모았던 손가락을 폄으로써 불러올 수 있다.
비교적 자주 쓰이는 몇몇 바이오인터페이스 호출 터치명령:
1. 여러 개의 손가락으로 상응한 대상이나 구역을 터치, 만약 비교적 작은 대상을 터치한다면 여러 개의 손가락 중의 하나 또는 여러 개가 대상을 터치하기만 하면 된다.
2. 여러 개의 손가락이 스크린 위에서 미끄러지며 상대위치의 불변을 유지.
3. 여러 개의 손가락의 스크린 터치를 유지하고, 여러 개의 모여 있는 손가락을 펴는 것.
불러온 선택항이 바로 사라지거나, 점차 사라지도록 설정하여 사용자가 클릭하도록 할 수 있다.
바이오인터페이스를 일종의 특수한 선택메뉴 양식으로 보아도 된다. 앞에서 언급한 선택메뉴가 구비할 수 있는 특징들은 마찬가지로 바이오인터페이스에 적용된다. 예를 들어 엄지손가락의 미끄러짐으로 바이오인터페이스를 핀업할 수 있다. 바이오인터페이스의 아이콘의 양식, 각종 양방향 교류효과, 시각효과 등은 자유식 아이콘을 참조하면 된다.
도 32는 세 손가락이 스크린을 터치한 후 나타난 바이오인터페이스, 부동한 상황에서 동일한 바이오인터페이스 의 변화를 보여주는 것이다. 그중 2, 3, 4, 7, 8, 9는 손가락의 터치픽쳐이고, 819, 820, 821는 아이콘이다. 세 손가락이 스크린을 터치하면, 매 손가락의 아래에 대응하는 부동한 기능의 아이콘이 나타나 사용자는 다중누름 또는 손가락 미끄러짐이나 동시에 손가락을 들어올리는 것으로 해당 아이콘에 대응하는 기능을 사용할 수 있다. 세 손가락이 아이콘을 떠나거나 또는 스크린을 멀리 떠난 후 819, 820, 821는 신속히 사라진다. 더 나아가 시스템은 세 손가락의 터치픽쳐, 예를 들면 서로간의 위치관계에 근거하여 어느 세 손가락인지를 판단하고 부동한 기능의 아이콘을 나타낸다.
바이오인터페이스가 나타나도록 촉발하는 터치포인트가 반드시 바이오인터페이스에 나타나는 손인 것은 아니다. 도 16에서와 같이 오른 손의 6, 7, 8, 9, 10, 11이 뒤덮임 방식으로 대상 51, 52, 53을 선택하면 왼손의 손가락 아래에 아이콘이 나타난다.

6. 여러 그룹 대상의 협동 조작:
본 발명은 각 터치포인트 및 선택한 구역이나 위치 또는 대상 사이의 관계를 확정하는 구조, 특히 각 터치포인트 및 터치포인트가 선택하거나 확정한 구역이나 위치 또는 대상에 대하여 그룹을 나누는 원칙을 제공한다. 사용자와 프로그램 설계자는 이 구조에 의하여 각 터치포인트 및 선택하거나 확정한 구역이나 위치 또는 대상사이의 관계를 정의함으로써 조작정보를 충분히 이용하여 사용자가 비교적 적은 절차로 자신의 조작의도를 표현하여 조작체험을 향상시킬 수 있으며 조작효율을 높일 수 있다.
각 터치포인트 및 선택한 구역이나 위치 또는 대상사이의 관계 확정에 사용되고, 각 터치포인트 및 선택한 구역이나 위치 또는 대상의 그룹나누기에 사용되는 정보는 하기의 내용들을 포함하나 이에 제한되지는 않는다.
1. 구역이나 위치 또는 대상의 터치물 또는 터치픽쳐를 선택하며, 특히 손의 부동한 부위나 터치툴, 예를 들면 한 손가락으로 대상을 터치하여 선택하는지 아니면 두 손가락으로 대상을 터치하여 선택하는 지 또는 터치펜으로 대상을 터치하여 대상을 선택하는지 등;
2. 대상이나 구역 또는 위치를 선택할 때 진행하는 부동한 조작, 예를 들면 한번 클릭되어 선택된 대상, 더블 클릭으로 선택된 대상, 선택틀을 끌어서 선택된 대상, 터치픽쳐로 구성된 윤곽에 의해 선택된 대상 및 터치픽쳐에 덮여 선택된 대상은 각각 부동한 그룹에 나누어진다.
3. 멀티터치환경에서, 하나 또는 여러 개의 터치포인트으로 하나 또는 여러 개의 대상이나 구역 또는 위치를 선택하거나 확정한 후, 이 하나 또는 여러 개의 터치포인트가 확정 또는 선택된 대상을 모두 떠나지는 않고, 이 몇 개의 터치포인트가 선택 또는 확정한 구역이나 위치 또는 대상에 의하여, 확정된 다음의 기타 터치포인트의 기능 및 기타 터치포인트에 의하여 선택된 대상은 조작효과 및 위치를 실행하거나 실행되게 되는데, 이런 방식을 멀티터치 협동 조작이라고 할 수 있다. 예를 들면 도 41처럼, 사용자가 오른손 손가락6, 7, 8, 9, 10과 손바닥 11로 대상 51, 52, 53을 뒤덮임선택한 후 7, 8, 9근처에 아이콘38, 39, 41이 나타났다. 사용자는 손가락을 들어 38, 39, 41을 터치하여 상응한 기능을 사용할 수 있으며, 손가락6, 7, 8, 9, 10과 손바닥11이 모두 스크린을 떠나지만 않는다면 51, 52, 53에 대한 선택을 유지할 수 있다. 이때, 기타 손가락, 예를 들면 3으로 기타 대상이나 위치를 터치하거나, 또는 1, 2, 3, 4, 5, 12로 기타 대상이나 구역을 뒤덮임선택하면 51, 52, 53과 선택된 기타 대상이나 구역에 의하여 부동한 조작을 실행하게 된다.
더 나아가, 시스템은 토한 터치포인트가 소재한 손에 의하여 터치포인트 및 터치포인트에 의해 선택된 대상에 대하여 그룹을 나눌 수 있다.
조작에 참여하는 대상의 그룹나누기를 확정한 다음, 프로그램의 설정에 따라 각 그룹 대상사이의 관계와 서로간에 실행하는 조작을 확정할 수 있다. 시스템은 각 그룹 대상의 속성, 각 그룹 대상의 수량, 선택의 선후순서 및 그것들이 소재한 그룹, 예를 들어 대상은 두 손가락이 클릭을 하여 선택된 그룹인지 아니면 멀티포인트협동조작중에서 시종 터치를 유지한 그룹인지에 따라 그것들의 관계및 실행가능한 조작을 확정하고 직접 조작을 실행하거나 또는 상응한 선택항을 제시한다. 예를 들어, 수량이 비교적 적은 한 그룹의 대상은 흐니 기타 대상에 대하여 조작을 하는 한 그룹의 대상이거나 또는 문서 이동의 목적지이고, 한 그룹의 대상이 모두 프로그램 아이콘 또는 공유 사이트의 아이콘이면 흔히 이 그룹의 대상으로 다른 그룹의 대상에 대해 조작을 하게 된다.
만약 멀티터치협동조작과 함께 사용하지 않으면, 터치대상의 터치픽쳐와 터치물의 부동함 또는 부동한 선택방식에 의해 선택된 위치나 대상 또는 구역을 사용하여 그룹을 나누고 부동한 그룹의 대상들이 양방향 교류를 할 때, 오조작을 피면하기 위하여 상응한 키나 아이콘을 누르는 등 방식으로 시스템이 다중선택의 모드에 진입하게 함으로써 시스템에게 현제 선택한 대상 사이는 관계가 있는 것임을 알려준다. 이동장비, 예를 들면 패드식 검퓨터에 전문적인 키를 설치하여 다중선택을 실행하도록 할 수 있다. 도 42에 도시된 바와 같이 키는 좌측 윗쪽에 있어 조작하기에 편리하다.
한 대상은 동시에 여러 개 그룹에 소속될 수 있으며, 비교적 극단적인 예로는 A, B, C, D, E, F 총 여섯 개 또는 여섯 그룹의 대상이 있는데, A는 손A의 뒤덮임 손자세에 의해 선택되고, B는 손A의 손가락에 눌리고, C는 손B의 손바닥에 눌리고, D는 손B의 손가락에 눌리고, E역시 손B의 손가락에 눌렸는데, 선택될 때 C, D를 선택한 후 손가락으로 E를 더블클릭하는 방식으로 E를 선택하였으며, F는 손B에 의해 선택된 것으로, 손B는 뒤덮임 방식으로 F를 선택한 다음, 손바닥 중심을 원심으로 제자리에서 손바닥을 비틀어 흔든다음 F에 대한 선택을 고정한 후 F를 떠나, C, D, E를 선택하러 갔다.선택할 때 사용한 손에 의해 구분을 하면 A, B는 한 그룹에 나누어 지며, C, D, E, F는 다른 한 그룹에 나누어 지나, 그것들이 선택된 방식과 선후순서 및 위치에 의하면A, B, C, D, E, F의 매 하나 또는 한 그룹 대상은 모두 한 그룹에 나누어 질 수 있다.
사용자 조작종료 시의 조작으로 조작의도를 진일보 명확히 하고 오조작을 피할 수 있다.
예를 들어, 문서를 복사하고 붙이거나 또는 이동하는 조작에서 조작이 끝날 때 터치포인트가 문서가 이동하는 목적지에 대한 터치를 유지해야 조작이 진행됨으로써 사용자가 잘못된 위치를 터치하였는데, 조작을 취소하고 싶어도 취소할 수 없는 경우를 방지한다.
예1: 문서이동 등 조작을 실행할 때, 도 18처럼, 사용자는 멀티터치협동조작의 방식으로 문서를 복사한다. 사용자는 왼손의 네 손가락15과 엄지손가락 5로 뒤덮임선택방식으로 몇장의 이미지와 문자 등 내용을 선택하고 오른손으로 뒤덮임선택방식으로 붙일 위치를 확정하며, 오른손은 동시에 손을 이동하지 않는 상황에서 손가락으로 하여금 스크린 위를 미끄러지게 함으로써 복사내용의 포멧, 문자와 이미지의 배열방식을 조절하며, 조정시, 오른손이 선택한 위치에 실시간으로 미리보기 효과가 나타나게 된다. 왼손이 떠날 때 오른손은 여전히 붙일 위치에 대한 터치를 유지하여야만 내용이 오른손의 위치에 복사되게 된다.
예2: 다중선택키를 눌러 시스템에게 지금 조작하는 여러 대상사이에는 연관이 있는 것임을 알려준다. 사용자는 한 손가락으로 대상을 터치하여 순서대로 복사할 하나 또는 여러 개의 대상을 선택한 다음, 두 손가락으로 붙일 위치, 예를 들면 어느 한 위치나 또는 어느 한 폴더를 터치한다. 오직 다중선택모드를 해제하기 전까지 시종 붙일 위치에 대한 터치를 유지해야 시스템은 복사하여 붙이기 조작을 실행하며, 이렇게 함으로써 사용자의 의도를 확인하고 사용자가 붙일 위치를 잘못 선택했는데도 붙이는 조작을 실행하는 것을 방지할 수 있다.
이 몇가지 선택방식은 서로 어울려서 동시에 사용할 수 있다. 터치픽쳐가 선택한 대상이나 구역에 대하여 그룹을 나누는 방식과 멀티터치 협동조작을 매치하여 사용할 경우, 특정된 키를 사용하는 등 방식으로 시스템의 다중선택모드 진입을 사용하지 않아도 된다. 왜냐하면, 멀티터치 협동조작 차제가 이미 현재 조작하는 여러 대상사이는 서로 연관이 있는 것임을 알려주기 때문이다.
예1: 사용자가 한 터치포인트으로 한 압축프로그램의 아이콘이나 인터페이스를 터치하고, 압축프로그램을 터치하는 터치포인트가 스크린을 떠나지 않도록 유지함과 동시에 다른 한 손가락으로 압축할 파일이나 폴더를 클릭하고 두 손가락으로 압축문서를 저장할 폴더를 클릭한 다음 압축프로그램 아이콘의 터치포인트가 스크린을 떠나 시스템에게 조작이 끝났음을 알려주면, 시스템은 압축프로그램의 인터페이스를 열거나 또는 직접 몇 개의 자주쓰는 선택항의 아이콘을 주거나 또는 직접 조작을 실행한다.
프로그램디자이너는 각 그룹의 대상이나 위치 사이에 부동한 관계를 부여할 수 있다. 특히 서로간의 조작, 서로 간의 데이터 교환 등 조작을 할 수 있다.
그룹을 나누는 것은 한편으로 대상이나 구역을 부동한 그룹으로 나누고 다른 한편으로는 각 그룹에 확정된 묘사방식을 준다. 이로써 프로그램은 정확하고 유일하게 특정된 그룹을 인용하고, 각 그룹 대상사이의 관계를 설정하며 조작을 실행할 수 있다. 예를 들어 프로그램은 두 손가락의 클릭으로 선택된 대상을 다른 한 손가락에 의해 선택된 대상이나 구역에 복사하도록 설정할 수 있다.
각 그룹의 터치포인트 및 선택한 대상이나 구역 또는 위치 사이의 관계에는 아래의 내용을 포함하지만 이에 제한되지는 않는다.
1. 그중 한 그룹의 터치포인트가나 선택한 대상이나 구역 또는 위치는 다른 한 그룹의 터치포인트 또는 선택한 구역이나 대상 또는 위치의 기능과 실행된 조작을 제어한다;
2. 그중 한 그룹의 선택된 대상이나 구역은 다른 한 대상이나 구역의 정보를 읽는다;
3. 한 그룹의 구역의 내용이나 생상의 내용을 다른 한 그룹의 구역이나 대상으로 이동 또는 복사한다;
4. 어느 구역이나 위치를 조작이 발생하는 위치나 조작의 결과를 삽입하거나 저장하는 위치로 한다;
5. 한 그룹의 대상과 다른 한 그룹의 대상의 연관관계를 확정한다.
여러 터치포인트 협동조작에서 사용자는 터치로 한 그룹이나 여러 그룹의 대상이나 구역 또는 위치를 선택하여 터치포인트가 스크린을 떠나지 않도록 유지함으로써 대상에 대한 선택을 유지할 수 있는데 이런 대상과 위치를 대상 A라고 칭할 수 있다. 이때 기타 터치포인트으로 기타 위치나 구역 또는 대상을 선택하여 대상 A와 대응하는 조작을 실행한다. 이미 대상 A를 선택하였기 때문에 기타 터치포인트의 같은 조작은 선택한 대상A가 다름에 따라 평시와는 다른 효과에 대응된다. 기타 터치포인트가 할수 있는 조작은 아래와 같은 것들이 있으며 아래의 것들을 포함하지만, 이에 제한되지는 않는다.
1. 상응하는 선택메뉴 불러오기;
2. 상응하는 대상, 예를 들면 대상 A를 선택하여 이미 출현한 선택 또는 선택메뉴에 대하여 조작을 한다;
3. 이미 선택한 대상 A에 대하여 조작을 하며; 기타 하나 또는 여러 그룹의 대상을 선택하고 조작하는데 이것들을 대상 B라고 칭한다.
4. 기타 위치나 구역을 선택한다.
부동한 방식, 특히 부동한 터치물에 대응하는 부동한 터치포인트으로 동시에 여러 개의 위치, 여러 개의 구역, 여러 그룹의 대상을 선택함으로써, 사용자는 시스템에게 선택된 여러 개의 대상들 사이의 로직관계를 표현할 수 있고, 시스템은 대상의 유형과 대상사이의 관계에 근거하여 상응한 조작을 한다. 조작이 시스템에게 제공할 수 있는 정보의 로직관계 내용은 하기의 내용들을 포함하지만 하기의 내용 중의 하나 또는 여러 개에 제한되지는 않는다.
조작이 총 어느 몇개의 대상과 구역에 연관되는지,
어느 몇개의 대상과 구역이 한 그룹에 나누어 졌는지,
사용자는 어떤 터치물과 어떤 방법으로 각 대상과 구역을 선택하였는지,
각 대상과 구역에서 모두 어떤 조작을 실행하였는지,
및 선택한 각 대상과 구역의 선후순서 등이다. 매 요인의 다름은 모두 부동한 조작정보에 대응될 것이다. 시스템은 대상유형, 각 그룹 대상의 수량, 선택한 선후순서 등에 근거하여 대상사이의 관계를 확정하고 상응한 조작을 하거나 선택항을 제시한다. 각 그룹의 터치포인트 및 선택한 대상이나 구역 또는 위치사이의 관계는 하기의 내용들을 포함하나 하기의 내용에만 제한되지는 않는다.
그중 한 그룹의 터치포인트가나 선택한 대상이나 구역 또는 위치는 다른 한 그룹의 터치포인트 또는 선택한 대상이나 구역 또는 위치의 기능과 실행된 조작을 제어하고, 그중 한 그룹의 선택된 대상이나 구역은 다른 한 대상이나 구역의 정보를 읽으며, 한 그룹의 구역의 내용이나 대상의 내용을 다른 한 그룹의 구역이나 대상에 이동 또는 복사하며, 어느 그룹의 구역이나 위치를 조작이 발생하는 위치로 하는지이다. 한 그룹의 대상을 선택한 다음 인터페이스 상의 유관 대상을 모두 아이콘으로 변화시켜 한 선택메뉴 속에 넣어 두는 것 역시 본 발명의 범위 내의 것으로 본다.
예1: 사용자는 한 그룹의 터치포인트으로 한 압축프로그램 아이콘을 선택하고 터치포인트가 스크린을 떠나지 않도록 유지한 후 다른 한 터치포인트으로 여러 개의 문서를 선택하면 선택된 문서는 압축이 된다. 나아가서, 사용자는 압축할 문서를 선택완료한 다음, 압축프로그램을 선택하는데 사용했던 터치포인트가 스크린을 떠나게 하면 이때 시스템은 사용자가 압축할 문서를 선택완료 했다고 여기고 상응하는 선택항, 예를 들면 '실행 취소'나 사용자가 선택저장하여 생성한 압축문서의 위치를 제시하거나 또는 압축프로그램의 인터페이스를 연다. 사용자는 이때 바탕화면의 아이콘, 예를 들면 어느 한 이메일 프로그램의 아이콘을 클릭해도 된다. 그러면 시스템은 이메일 프로그램을 열고 방금 생성한 문서를 첨부파일로 유첨한다. 어떤 상황에서, 사용자가 압축할 파일을 선택완료한 다음 시스템이 선택항을 제시했는데 갑자기 이메일 등 기타 프로그램을 실행하고 싶어졌지만 바로 실행을 하는 것은 아니다. 이때 시스템은 사용자가 이메일 프로그램을 클릭한 조작과 현재 진행하고 있는 조작을 잘못 연관시킨다. 그러므로, 사용자가 하나 또는 여러 개의 터치포인트를 사용하여 시스템이 제시한 선택항 선택메뉴나 압축프로그램 조작의 인터페이스에 대한 터치를 유지함과 동시에 기타 터치포인트으로 이메일 프로그램 아이콘을 클릭하여, 즉 대상 A를 대상 B에 추가하여 두 대상사이의 연관을 명확히 나타내야만 시스템은 사용자가 압축파일을 첨부파일로 하고자 한다고 인식하도록 설정할 수 있다. 또는 다중선택의 방식으로 양자사이의 연계를 명확히 할수 있는데, 다중선택키를 누르고 먼저 압축프로그램 인터페이스를 클릭한 후 이메일 프로그램의 아이콘을 클릭하며, 다중선택키를 놓기 전에는 시종 이메일 아이콘에 대한 터치를 유지하면 시스템은 사용자가 압축된 파일을 첨부파일로 하고자 함을 명확히 인식한다. 사용자는 또한 이메일 프로그램의 아이콘을압축프로그램인터페이스에 끌어오는 방식으로 압축후의 문서를 첨부파일로 이메일에 유첨하고자 함을 표시할 수 있으나 이런 조작은 두 대상사이의 관계가 그다지 명확하지 않기 때문에 시스템은 이메일 프로그램과 압축프로그램 양자가 가능하게 진행할 수 있는 조작을 분석하여 사용자가 압축하여 생성한 파일을 첨부로 하여 발송하고자 한다는 결론을 얻는다. 하지만, 이메일프로그램을 압축문서에 추가할수도 있기에 시스템은 상응한 선택항을 제시하여 사용자로 하여금 선택하도록 하여 어떤 조작을 실행할 지 확정한다.
선택의 선후 순서도 시스템이 사용자의 의도를 판단하는 중요한 정보이다. 예를 들어, 다중선택모드에서 사용자가 먼저 압축프로그램인터페이스를 클릭하고 나중에 폴더를 클릭하며, 다중선택키를 놓기 전에 폴더에 대한 터치를 시종 유지하엿다면, 시스템은 사용자가 압축 후의 문서를 폴더에 저장하고자 한다고 판단한다. 만약 사용자가 다중선택모드에서 먼저 폴더를 클릭하고 나중에 압축프로그램인터페이스를 클릭하며, 다중선택키를 놓기전에 시종 압축프로그램인터페이스에 대한 터치를 유지하였다면 시스템은 사용자가 이 폴더도 압축문서에 추가하고자 한다고 판단한다.
예2: 하나의 터치포인트으로 누르는 방식을 통하여 '밝기 증가선정구역'의 아이콘을 선택하고 동시에 다른 한 그룹의 터치포인트으로 스크린에서 미끄러짐을 통하여 조작을 실행하려는 구역을 선택하면 미끄러지나간 구역은 밝기가 증가된다. 또는 한 손의 손가락과 손바닥으로 스크린 위쪽의 어느 한 구역을 가리면, 가려진 구역은 선택되고 따라서 밝기가 증가된다.
사용자는 또 한 손가락A로 한 폴더의 아이콘을 누르고 A가 떨어지지 않도록 하며 다른 하나 또는 여러 개의 터치포인트으로 기타 문서나 폴서를 선택할 수 있는데, 선택된 문서는 폴더에 복사된다. 문서아이콘을 터치하는 방법으로 복사할 문서를 선택할 수 있으며, 또는 손으로 뒤덮임 손자세로 한 구역 내의 여러 개 복사하고자 하는 문서나 폴더를 선택할 수 있다.
전자맵에서, 프로그램은 풍선식 안내란에 실시간으로 사용자가 터치하는 위치의 상세정보를 표시하거나, 픽쳐를 확대한다. 터치포인트가 스크린을 떠날 때 안내란은 사라진다. 사용자는 지도위의 어느 한 위치에 대한 터치를 유지하면서 동시에 기타 터치포인트으로 안내란의 내용에 대한 조작을 할 수 잇다.
예3: 터치포인트A로 이미지 한장을 누르고, 기타 터치포인트으로 상응한 선택메뉴를 불러오며, 터치포인트 B로 선택메뉴 속 '인쇄'라는 선택항의 아이콘을 눌러 터치포인트 B가 스크린을 떠나지 않도록 유지한다. 이때, 터치포인트A는 스크린을 떠나 기타 인쇄할 이미지를 선택할 수 있으며 선택이 완료되면, 터치포인트B가 스크린을 떠나고 그후에 상응하는 선택항이 나타나며 상응하는 인쇄형식을 선택할 수 잇다.
터치포인트A로 한 문서를 누르고, 기타터치포인트으로 상응한 선택메뉴를 불러 온 후 터치포인트B로 선택메뉴 속의 '압축'이라는 선택항을 누르며 터치포인트B가 스크린을 떠나지 않도록 유지한다. 이때, 터치포인트 A는 스크린을 떠나 기타 압축할 문서를 선택할 수 있으며 선택이 완료된 후 터치포인트 B가 스크린을 떠나고 상응하는 제어인터페이스가 나타나며, 사용자는 이때 제어인터페이스에서 진일보의 조작을 하거나 또는 두 손가락으로 바탕화면의 기타 폴더를 클릭하여 압축 후의 문서를 저장할 폴더를 선택할 수 있다. 만약 한 손가락으로 바탕화면의 기타 폴더를 클릭하면 시스템은 이 조작이 현재의 조작과 관련이 있다고 여기지 않으며 정상적으로 폴더를 선택하거나 연다.
각 그룹의 대상을 선택하는 터치포인트도 마찬가지로 본 그룹의 대상이나 기타 그룹의 대상에 대해 진일보 조작을 할 수 있다.
예4: 바탕화면에 많은 이미지가 널려져 있고, 그중의 한손 A는 '슬라이드 만들기'프로그램 아이콘 및 다른 한 이미지를 뒤덮어 슬라이드의 배경이미지로하고자 한다. 엄지손가락의 미끄러짐으로 시스템이 터치포인트에게 눌린 대상을 선택대상으로 하는 디폴트를 뒤덮임 된 대상을 선택대상으로 하도록 전환하고, 다른 한 그룹의 터치포인트, 예를 들면 다른 한 손B로 슬라이드를 만들 문자와 이미지를 선택한다. 이때 세 손가락으로 선택할 이미지를 미끄러지나가게 하는 방법을 통하여 이미지를 선택할 수 있다. 또는 한 손가락을 선택할 이미지나 문자를 더블클릭할 수 있으며 문자를 선택할 때 먼저 한 문단을 밝게하고 그다음 더블클릭하여 선택한다. 선택된 이미지나 문자는 특정구역에 추가되고, 한 문단은 한 장의 이미지 방식으로 표시된다. 만약 이미지나 문자에 대한 선택을 취소하려면 사응한 이미지나 문자의 내용을 특정구역에서 끌어 내면 된다. 이미지나 문자를 선택하는 과정에서 손A의 손가락 근처에는 상응하는, 현재 터치되고 있는 이미지나 문자에 대하여 간단한 처리를 할 수 있는 선택항, 예를 들면 '이미지를 제목으로', '글씨를 굵게' 등 간단한 선택항이 나타나거나 또는 이미지와 관련된 정보가 나타난다.
사용자는 도한 두 손가락으로 어느 한 음악파일이나 슬라이드양식을 더블클릭하여 그것을 슬라이드의 배경음악이나 양식으로 함을 표시할 수 있으며, 매치한 도형효과는 이 문서가 손 A로 뒤덮인 구역의 아래에 추가되는 것이다.
손 B가 사용할 이미지를 선택한 다음 손 A를 든다. 손A를 드는 것은 조작을 확정했다는 것으로 여겨 손을 들면 진일보의 선택항이 나타난다. 만약 손 B가 아무런 조작도 하지 않았는데 손 A를 들면, 이런 선택항 들이 나타나지 않으며 사용자는 그 어떤 조작도 할 의사가 없음을 나타낸다.
사용자가 한 그룹의 터치포인트으로 한 장의 이미지를 선택하고 나서 다른 한 그룹의 터치포인트으로 이미지를 복사할 위치를 확정하며, 동시에 이미지 복사 위치 확정에 사용된 여러 개의 터치포인트를 정점으로 픽쳐에 대해 왜곡을 할 수 있다. 도 18에서와 같이, 15, 5, 12는 원천 이미지 선택에 사용되고, 16, 6은 이미지를 복사할 위치를 확정하는데 사용되며, 16, 6을 정점으로 이미지의 형상과 그기에 대하여 조정을 한다.
다른 한 상황은 한번에 15, 5, 12 터치포인트으로 한 단락의 문자나 여러 장의 이미지를 선택하고 터치상태를 유지하여 16, 6으로 이미지를 복사할 위치를 확정하며, 동시에 16, 6의 상대위치를 변화시키고, 부동한 압력을 가함으로써 이미지나 문자의 배열서식을 전환하고 각종 효과를 추가, 예를 들면 문자와 이미지가 입체적으로 보이게 하거나 동시에 어느 한 방향으로 기울어 지게 한다. 16, 6이 스크린과 터치상태를 유지할 때 15, 5, 12도 이미지와 문자에 대하여 여러가지 조작을 할 수 있으며 조작의 종료를 초래하지 않는다. 15, 5, 12 근처에 이와 대응하는 바이오인터페이스가 나타나도록 설정하여 15, 5, 12가 압력, 전후로의 미끄러짐 등을 통하여 각종 기능을 사용하도록 할 수 있으며, 또한 16, 6이 스크린과 접촉할 때, 15, 5, 12는 스크린을 떠날 수 있도록 설정하여 아이콘 등을 클릭함으로써 문자와 이미지에 대한 조작을 하도록 할 수 있다. 주의해야 할 점은 16, 6이 스크린을 떠날 때, 15, 5, 12도 이미 스크린을 떠났다면 복사 조작은 실행되게 된다.
선택된 대상은 특정된 터치포인트에만 영향을 미치거나 특정된 터치포인트의 영향만 받을 수 있다. 예를 들어, 특정 위치의 터치, 부동한 신체부위, 터치명령, 터치물, 예를 들어 조작툴 등음 모두 부동한 조작에 대응한다.
예5: 손으로 페이지 위의 한 이미지를 누르고 두 손가락으로 페이지를 굴렸을 때, 이미지는 눌려서 고정되지 페이지와 함께 이동하지 않는다. 손가락의 미끄러짐과 이미지 사이에는 그 어떤 연관도 없다. 한 손가락으로 또는 터치툴로 페이지의 기타 위치나 어느 한 폴더를 클릭했을 때, 이미지는 상응한 위치에 복사되며, 다른한 손의 네 손가락과 손바닥이 스크린위에 놓여지게 되면, 매 손가락의 아래에는 눌린 이미지에 대하여 각종 조작을 할 수 있는 선택항들이 나타난다.
어떤 때에는 선택 또는 확정된 대상은 오로지 자신을 터치한 터치포인트와 다른 손의 터치포인트에서 의해 연관이 생긴다. 예를 들면 조작된다. 시스템은 두개의 터치포인트 사이의 거리와 위치관계, 스크린 위의 손바닥의 터치픽쳐의 위치관계를 통하여 터치포인트의 출처가 한쪽손에서 온것인지 아닌지를 판단한다.
다른 한 예는 한 그룹의 대상을 선택하면 대상 근처에 한 구역이 나타나고, 손가락을 구역 내에 넣어 스크린이 손바닥의 접근을 탐지하면 손의 네 손가락 근처에 매 손가락에 대응하는 선택항이 나타난다. 기타 위치의 조작은 모두 선택된 대상에게 영향을 미치지 않는다.
예6: 왼손의 뒤덮임 손자세로 하나의 보급차를 선택하면, 왼손의 스크린을 접촉한 손가락 아래에 여러 개의 선택항이 나타나는데, 그중의 하나 또는 여러 손가락으로 그것들에 대응하는 선택항을 선택하여, 예를 들면 그것들로 스크린을 두드려서 보충탄약 및 수리를 선정하면 선정된 기능의 아이콘은 슬라이더로 변하며, 손가락을 앞뒤로 이동시켜 탄약보충과 수리의 정도를 선정할 수 있다. 예를 들어 목표를 위해 탄약을 70%보충할 것인지 또는 80%보충할 것인지 이다. 그다음 탄약보충과 수리가 필요한 목표를 선택한다. 만약 한 구역의 목표를 선택하려면 뒤덮임 손자세를 사용하여 이미 설정된 조작을 실시할 수 있다. 조작은 3가지 방출방식이 있다.
1. 한가지는, 사용자가 시종 보급차를 터치하고 있으며, 이때 사용자의 기타 손가락에게 터치된 모든 기타 대상은 모두 조작을 실시 당하게 되며, 사용자가 보급차를 터치하지 않은 다음 터치한 대상은 보급을 받지 못한다.
2. 다른 한가지는 단지 그후의 첫번째 터치 대상에게만 보급을 하는 것으로 설정하는 것이다.
3. 또는 보급차에서 설정들을 진행 완료한 후, 저장 또는 시스템 자동 저장을 설정하여, 그 후에 기타 대상을 선택하고 나면 선택메뉴에서 이 선택항을 찾을 수 있으며, 이후 보급차는 이에 대하여 보급을 해준다.
이 과정은 또한 역으로도 가능하다. 즉, 대상을 선정한 다음 대상에 대한 터치를 유지하면서 보급차를 선정한다. 이때 먼저 선정이 된 대상이 주동적으로 나중에 선정된 대상에게 다가가도록 설정할 수 있다.
게임에서, 한 터치포인트가 게임지도상의 기능이 '동력센터'인 건물을 선택하고 그 다음 선택항을 불러온다. 그다음 선택항은 자유식 아이콘을 사용할 수도 있고, 바이오인터페이스를 사용할 수도 있다. 자유식 아이콘을 예로 들면, 아이콘에서 '에너지 커버'를 선택하면 에너지커버의 아이콘은 에너지커버의 에너지 강도를 제어하는 슬라이더로 변한다. 제어아이콘에 대한 터치를 유지함과 동시에 뒤덮임 손자세로 에너지커버를 방출하려는 구역을 선택한다. 구역 선택에 사용된느 터치포인트가 터치스크린과 접촉할 때, 매 터치포인트의 가에는 모두 한 아이콘이 떠올라 진일보로 에너지커버의 유형을 선택하도록 한다. 상응한 아이콘을 클릭하여 에너지커버의 유형을 선택하고 동시에 현재선정한 위치에서 에너지 커버를 가동할 것을 확정한다. 에너지커버가 가동된 후에도 여전히 도18중의 6, 16, 11 을 통하여 그의 유곽을 제어할 수 있으며 6, 16, 11은 부동한 압력으로 에너지커버의 부동한 구역의 강도를 제어할 수 있다.
주의해야 할 점은 대상A를 선택하는데 사용된 터치포인트와 진일보 조작을 실행하는 터치포인트는 반드시 완전히 같아야 한는 것은 아니고, 단지 대상A를 선택하는데 사용된 터치포인트가 전부 스크린을 떠나지만 않으면 된다. 예를 들어, 사용자가 손으로 한 대상 A를 뒤덮어 상응한 선택항을 불러온다. 선택항은 대상 A를 선택하는 손의 손가락 아래 또는 근처에 나타나 대상A를 선택한 손가락이 상응하는 선택항을 조작할 수 있도록 한다.
같은 운영체제 내에서, 각 그룹 대상의 관계는 일정한 규범이 있어야 한다. 예를 들어 선택의 선후순을 이용하여 그룹을 나눌때 먼저 선택된 대상은 나중에 선택된 대상에 복사된다. 또는 한 손가락으로 선택한 대상은 두 손가락으로 선택한 대상쪽으로 이동한다. 멀티포인트 협동조작에서, 나중에 선택된 대상의 내용은 가장 먼저 터치포인트의 터치로 선택된 그 그룹의 대상에게 읽힌다. 조작이 종료되었는데도 여전히 선택된 대상은 전반 조작의 실행 목적지가 된다. 예를 들면 최종으로 생성한 문서는 조작이 종료된 후에도 여전히 터치를 유지한 대상에 저장되지 선택의 선후순서를 고려하지 않는다. 터치툴, 일례로 터치펜에 클릭된 위치는 선후순서를 고려하지 않고 시종 붙이는 위치가 된다. 다시 말해서, 각 그룹의 규칙사이에는 우선순위는 높고 낮음의 구별이 잇다. 하지만 이런 관계는 단지 간단한 조작 중, 특히 복사하여 붙이기 조작과 문서 이동하기 조작에만 존재하고, 복잡한 조작은 조작이 끝난 다음 가장 가능한 선택항을 사용자에게 주어 선택하도록 해야 한다. 너무 복잡한 규칙은 사용가를 헷갈리게 하기 때문이다.
이상 조작 방식은 마찬가지로 터치스크린의 조작 툴에 적용되며, 특히 멀티터치스크린의 조작툴에 적용된다.
수많은 조작위치를 정확히 선택해야 하는 상황에서는, 먼저 조작의 위치를 확정하고난 다음에 이미지 등 원대상을 선택할 수 있다.
터치픽쳐를 통하여 조작구역을 확정하고, 다시 제어에 사용되는 터치포인트를 통하여 부동한 부분의 파라미터를 제어한다.
도 18에서처럼, 손가락 16, 엄지손가락 6, 손바닥 11을 통하여3D물체61의 스크린이 소재한 평면이나 곡면위의 투사체를 제어하는데, 16, 11, 6의 압력으로 61의 색깔/ 두께 중의 하나를 제어하고, 15, 6, 11의 스크린 누름, 스크린 위에서 미끄러짐 등으로 61의 기타 파라미터, 예를 들면 그의 z축좌표위에서의 좌표값, 두께, 좌표축이나 어느 한 참조물과의 각도 등을 제어한다. 이로써 두 손으로 도형 61의 공간위치 및 형상을 제어한다. 또한 진일보로 61이 대응하는 기능 등, 예를 들면 61이 만약 하나의 솔이라면 15는 그것이 칠하는 색깔의 농도를 제아헐 수 있고, 16은 그것이 부동한 위치에 칠하는 색깔의 농도를 제어할 수 있다. 예를 들어 어느 손가락 16이 스크린에 대한 압력이 증가하면, 그와 해당하는 부분에 칠하는 색깔의 농도도 짙어진다.
사용자가 손을 한 이미지 위에 누른 후, 기타 위치에서 똑같은 이미지가 한장 나타나며, 동시에 실시간으로 위에 사용자의 부동한 위치를 포함한 터치압력정보를 표시한 터치픽쳐를 나타내는데, 부동한 압력은 부동한 표과로 나타내어 사용자가 미리 볼수 있도록 한다.
압력은 상응한 기능, 예를 들면 필터효과, 물리재질 등을 부여받을 수 있으며, 압력이 큰 구역일수록 처리한 효과가 뚜렷하다. 사용자가 미리 본 효과에 대해 만족할 때, 이미지를 누른 손의 터치픽쳐가 불변하도록 유지하고 다른 한 손의 기타 터치포인트가 상응한 도형선택항을 통하여, 예를 들면 바이오인터페이스 위에서 확인 조작을 하면, 그다음 이미지에 대한 수정은 이미지에 응용되게 되거나 또는 다른 한 손으로 부동한 처리효과, 예를 들면 부동한 필터를 선택한다. 또한 부동한 압력으로 눌린 구역을 여러 개의 구역으로 구분할 수 있다. 예를 들어, 3D물체를 만들 때, 부동한 터치압력에 따라 눌린 구역을 여러 개의 구역으로 나누고, 압력의 크기가 다름에 따라 부동한 색깔을 칠한다. 기타 위치에서 띠 모양의 색깔이 점차 변하는 선택메뉴를 표시하고 여러개의 손가락이 동시에 조작하도록 허용하는데 도 14에 도시된 바와 같다. 조작을 할 때, 그것은 손가락의 미끄러짐에 따라 뒤틀리는데 마치 부드러운 띠 같다. 선택메뉴의 각 위치는 각각 그와 색깔이 같은 눌린 구역과 대응한다. 터치포인트는 그 위에서의 미끄러짐을 통하여 부동한 구역의 파라미터를 제어하거나 또는 그위에 부동한 효과를 주어 부동한 구역과 대응하게 한다. 예를 들면 터치펜으로 그 위의 어느 한 구역에 칠을 함으로써3D가상물체와 이 구역에 대응하는 구역의 물리경도를 증가하거나 상응한 구역의 높이를 증가하는 등이다.
한 구역 또는 여러 개의 대상을 선택할 때, 시스템은 사전에 설정한 상응한 규칙대로 구역을 여러 개의 작은 구역이나 또는 여러 개의 대상그룹으로 나누어 매 자구역이나 그룹에 색깔, 문자 등으로 표식을 함과 동시에 제어에 사용되는 터치포인트 주변에 상응하는 표식과 색깔을 나타내어 사용자로 하여금 상응한 터치포인트가 대응하는 제어구역이나 대상을 알게 한다. 도 45에 도시한 바와 같이, 51, 52는 두개의 대상이고, 53, 54는 두개로 나누어진 구역이다. 38, 39, 40, 41은 각각 그것들과 일일이 대등한다. 또는 여러 개의 각각 그룹별 구역과 대상에 대응하는 선택메뉴를 하나 나타낸다. 도 14에 도시한 바와 같이 그것은 여러 개의 선택항 231, 232, 233이 있고, 터치포인트171, 172, 173이 각각 그 위에서 제어를 한다. 이렇게 선택항을 제공하는 방신은 모든 하나의 대상이나 구역을 선정한 다음 여러 개의 선택항을 제공하여 여러 개의 터치포인트가 동시에 조작하게 하는 상황에 적용된다.

7. 선택메뉴 미리판단하기:
선택한 여러 개의 대상 중에 양방향 교류를 진행할 수 있는 대상을 포함하였을 경우, 특히는 선택한 대상이 동시에 프로그램 아이콘과 프로그램이 열수 있는 문서, 특정된 사이트에 공유하는 아이콘과 공유할 수 있는 문서를 포함할 경우, 시스템은 상응하는 양방향 선택항을 제공할 수 있다.
예를 들어, 사용자가 다중선택기능 키를 누르고, 순서대로 대상을 클릭함으로써 동시에 한 압축프로그램 아이콘과 여러개의 문서를 선택하거나. 또는 선택틀을 끄는 것으로 동시에 한 압축프로그램 아이콘과 여러 개의 문서를 선택하였다면, 그후에 출현하는 선택메뉴에는 응당 선택한 압축프로그램이 선택된 문서를 압축하는 선택항을 제공해야 한다.
사용자는 또한 뒤덮임방식으로 한 압축프로그램 아이콘과 기타 문서를 선택할 수 있으며, 그다음에는 '압축 프로그램으로 문서 압축하기'라는 아이콘이 나타나야 하며, 아이콘은 바이오인터페이스 방식으로 제공한다. 사용자는 아이콘에 대응하는 손가락을 미끄러지게 하거나 아이콘을 클릭하는 방식으로 해당 조작을 실행할 수 있다.
이런 선택메뉴는 멀티터치 협동조작과 매치하여 사용할 수 있다. 사용자가 손A로 뒤덮임선택의 방식을 통하여 동시에 '블로그에 공유하기'라는 아이콘과 '슬라이드로 제작'이라는 아이콘을 선택한다. 손A가 동시에 '블로그에 공유하기'라는 아이콘과 '슬라이드로 제작'이라는 아이콘을 선택하였기에, 시스템은 사용자가 슬라이드를 제작한 다음 블로그에 공유하기를 바란다고 판단하고 상응하는 선택항을 제공한다. 선택항을 제공하는 방식은 바이오인터페이스 방식으로 손A의 손가락 근처에 출현하여 모 한 손가락과 대응하거나 또는 기타 취위치에 출현 할 수도 있다. 상응한 선택항을 선택한 다음 사용자는 손B로 슬라이드를 제작하여 블로그에 공유하고자 하는 이미지를 선택할 수 있다. 손 B는 해당 이미지를 더블클릭함으로써 해당 이미지의 선택을 표시할 수 있고, 선택된 이미지는 특정된 위치에 두어지고, 상응한 위치에 슬라이드 각 판면의 간략보기가 나타난다. 이미지를 대상 위치에서 끌어 냄으로써 이미지에 대한 선택을 해제 할 수 있다. 이미지를 선택할 때, 손A의 손가락 아래에는 각 손가락과 대응하는 선택항이 나타나며, 선택항을 통하여 이때 손B의 손가락에 의해 터치된 이미지에 대하여 간단한 처리를 할 수 있다. 만약 손 B가 여러 손가락으로 이미지를 터치하엿다면, 그중 명개 손가락의 아래에 문서와 관련된 정보고 표시된다. 손A가 스크린을 떠나면, 조작이 종료되었다고 여기며, 이때 상응한 선택항이 나타나거나 프로그램의 인터페이스를 열어 사용자로 하여금 진일보의 선택, 예를 들면 블로그의 어느 면에 공유를 할 것인지, 프라이버시 설정을 할 것인지 등을 할수 있도록 한다.
비교적 특수한 상황은 한장의 이미지나 문자를 선택함과 동시에 전자문서의 공백위치를 선택했을 경우, 복사하여 붙이기 또는 자르기 조작을 실행할 수 있다. 예를 들어, 다중선택키를 누르는 등 조작으로 시스템에게 현재 순서대로 클릭하는 여러 대상 사이에는 관계가 있는 것임을 알려주고 그다음 먼저 이미지를 클릭하고 다음 복사할 위치를 클릭하면 시스템은 상응한 선택항을 제시하여 사용자로 하여금 복사조작을 할 것인지 자르기 조작을 할 것인지 아니면 조작을 취소할 것인지를 선택하도록 한다. 만약 사용자가 선택을 하지 않으면 디폴트 조작을 실행한다. 또는 사용자가 선택한 선후순서에 따라 판단할 수도 있다.예를 들어 먼저 붙일 위치를 선택한 다음 이미지를 선택하면 복사에 해당하고, 먼저 이미지를 선택한 다음 붙일 위치를 선택하면 자르기에 해당한다. 또는 반드시 먼저 공백위치를 선택하고난 다음 이미지를 선택해야 시스템은 사용자가 복사, 붙이기 조작을 하고자 한다고 판단하도록 설정하여 디폴트 조작을 실행하거나 선택항을 제시하도록 한다. 반대라면 사용자가 복사하여 붙이기 조작을 하고자 한다고 여기지 않는다. 오조작을 방지하기 위하여 다중선택을 해제하기 전까지 터치포인트는 시종 붙일 위치에 대한 터치를 유지하고 있어야만 붙이기 조작이 진행되는 것으로 설정할 수 있다.

8.끌기
끌기 조작을 실행할 때, 예를 들면 문서를 폴더나 프로그램아이콘이나 프로그램인터페이스에 끌어넣을 때, 상응한 선택항이 나타날 수 있다. 예를 들어, 문서를 폴더에 끌어 넣을 때, 폴더의 윗쪽에 몇개의 선택항이 나타나 사용자로 하여금 문서를 복사할 것인지 이동할 것인지 선택하게 할 수 있다. 만약 멀티터치 환경에 처해 있다면 사용자는 끄는 대상에 대한 터치포인트가 모두 스크린을 떠나지는 않도록 유지하고 다른 터치포인트으로 나타난 선택항을 선택할 수 있다. 도 30에서와 같이, 41은 문서이고 17은 손가락의 터치포인트가며 38, 39, 40은 아이콘이 출현 가능한 위치이다. 또는 도 31의 양식을 사용할 수도 있다. 만약 사용자가 그 어떤 선택항도 선택하지 않고 끄는데 사용하던 터치포인트를 스크린에서 떼었다면 시스템에 미리 설정된 디폴트 설정으로 실행한다. 오로지 특정된 터치물이나 방식으로 끌어야만 선택항이 출현하도록 설정할 수 있다. 예를 들어, 두 손가락으로 문서를 끌거나 또는 끄러당김과 동시에 기타 키를 눌러야 끌때 상응하는 선택아이콘이 나타나고, 한 손가락으로 끌면 선택항이 나타나지 않는다. 선택항이 나타났을 때, 사용자는 문서를 끄는데 사용했던 두 손가락 중의 한 손가락을 들어 선택항을 선택하거나 또는 기타 터치포인트으로 선택할수 있다. 문서를 끄는데 사용했던 두 손가락이 전부 선택대상이나 스크린을 떠나지 않으면 조작은 디폴트설정으로 실행되지 않을 것이다. 만약 사용자가 한 손가락으로 아이콘을 끄는데, 폴더위까지 갔거나 또는 그전에 17옆의 손가락 172로 스크린을 접촉하거나 또는 172로 17옆에서 그렸다면, 선택항은 여전히 나타날 것이며, 반드시 처음부터 두 손가락으로 문서를 끌어야만 선택항이 출현하는 것은 아니다. 한 손가락으로 끌때 선택항이 나타나지 않게 하는 목적은 사용자가 디폴트설정으로 문서를 옮기고자 할 때 쓸데없이 선택항이 보이는 것을 방지하기 위함이다.
사용자는 또 문서를 이메일 프로그램 아이콘에 끌어 새로운 이메일을 쓰고, 끌어온 문서를 첨부파일로 추가할 수 있다.


9. 터치툴 및 오퍼레이션 인터페이스
터치펜이 스크린 위에서 글을 쓰고 손가락은 동시에 기타 위치를 터치함으로써 터치펜에 대응하는 기능을 제어한다.
예를 들어, 사용자가 한손에 터치펜을 들고 스크린위에 글씨를 쓰는데, 터치펜이 스크린과 접촉할 때, 스크린의 적당한 위치엔느 하나의 창이나 제어구역이 나타난다. 이 위치는 사용자가 설정하여 스크린의 어느 한 구역에 고정할 수 있다. 예를 들면, 사용자가 시스템을 오른 손 습관으로 설정한 후 제어구역은 시종 조작출 왼쪽의 스크린을 터치하는 손가락 근처에 나타난다. 시스템은 중력센서로 좌우를 분별할 수 있다.
제어구역은 동시에 하나 또는 여러 개의 옵셔는 아이콘의 선택메뉴를 나타낸다. 선택메뉴의 양식은 여러 가지가 있는데, 본 발명에서 제공한 그 어떤 선택항 제공방식을 사용해도 된다.
예를 들어 도 6의 양식을 사용하면, 71은 제어구이고 72는 터치스크린 조작툴이다. 71에서 가능한 옵셔널 기능아이콘을 나타내어, 사용자가 터치를 하면 상응하는 기능, 예를 들면, 검역, 주석, 삭제, 색상수정, 삽입 등을 제공한다. 선택메뉴구는 활동(滑)할수 있는 것으로, 사용자의 엄지가 선택메뉴에서 미끄러지(滑)면, 선택메뉴 위의 아이콘이 상응한 방향으로 미끄러져 기존의 아이콘을 숨기고 새로운 아이콘을 나타낸다. 전체 선택메뉴를 구심이 스크린 아래에 있는 구체 또는 원환이며, 나타난 선택메뉴부분은 그중의 일부라고 상상할 수 있다. 선택메뉴위의 아이콘과 아이콘 위치는 인위적으로 편집할 수도 있고, 시스템이 사용빈도에 근거하여 자동으로 위치를 정렬할 수도 있으며 또는 하나의 상용리스트를 생성하여 디폴트 상황에서는 상용리스트의 아이콘을 나타내고, 기타 아이콘들은 미끄러짐을 통해서만 나타나도록 할 수 있다. 선택메뉴상의 아이콘은 클릭한 다음 터치펜으로 상응한 기능에 전환할 수도 있고, 눌러서 놓지 않는 방식으로 상응한 기능으로 전환하며 손을 놓으면 다른 미리설정한 상태로 전환하거나 눌러 놓지 않으면서 터치펜으로 상응한 구역을 선택하고, 놓은 다음 상응한 구역에서 조작을 실행할 수도 있다. 선택메뉴 상의 아이콘들은 압력센스를 구비할 수도 있다. 예를 들어 터치펜의 필적, 색상의 짙고 옅음, 굵기를 제어하는 버튼은 압력센스로 색상, 굵기등을 제어하는데, 예를 들어 압력이 크면 짙고 굵게 되는 것이다. 선택메뉴에서 미끄러질때 오조작이 발생하는 것을 방지하기 위하여 독립적인 미끄러짐 구역을 설치할 수 있다. 도1의 선택메뉴 미끄러짐 조작구가 그 예이다. 제어구는 또한 호출식 아이콘 등 기타 방식으로 선택항을 제공할 수도 있다. 심지어 직접 터치명령을 사용하여 그 어떤 방식으로도 사용자에게 안내를 제공하지 않을 수도 있다. 제어구 72역시 도 721의 양식을 사용할 수 있으며, 화살표의 방향에 따라 미끄러지면 각각 '오려두기'와 '붙이기'에 대응한다.
손은 반드시 제어구 내의 대상을 터치해야만 터치펜을 제어할 수 있는 것은 아니다. 기타 위치의 대상, 예를 들어, 문자, 이미지, 기능 아이콘 등을 선택하여도 마찬가지로 터치펜의 기능을 제어할 수 있다.
제어구는 어느 한 프로그램 내에 박힌 구역이 아니라 독립적인 프로그램이다 작은 툴이다. 예를 들어, 제어구는 웹브라우저의 하나의 창이나 검색란일수도 있다. 사용자가 전자텍스트를 열람 또는 처리할 때, 터치펜으로 내용을 선택한 후 터치펜이 선택한 내용을 떠나지 않도록 유지함과 동시에 손가락으로 제어구 내의 검색키를 클릭하면 선택한 내용을 키워드로 검색을 하게 된다.
제어구의 아이콘 선택메뉴는 동태적으로 변화하는 것이다. 터치펜의 터치궤적과 터치위치, 압력에 따라 대응하는 기능은 부동한 그룹의 선택메뉴로 전환한다. 예를 들어 터치펜을 주석으로 설정하면 새로운, 주석에서 사용하게 된느 기능의 선택메뉴가 나타난다.
제어구의 전용조작툴에 대한 제어방식도 마찬가지로 손가락에 활용 될수 있다. 예를 들어, 손가락으로 한 구역의 문자 등 대상을 선정하였을 때, 제어구는 마찬가지로 선택메뉴선택항이 출현할 수 있으며, 기타 기능도 이와 같은 원리이다.

터치툴은 광전마우스와 유사한 방식으로 CCD가 스캔한 픽쳐를 고속으로 대조함으로써 자신의 이동속도를 확정할 수 있다. 스크린 자체가 발광을 할 수 있기에 터치펜은 마우스처럼 자체 발광이 필요하지는 않다. 또한 이는 스크린이 빛을 반사하여 사용자가 스크린 상의 내용을 보는데 영향주는 것도 피할 수 있다.

10. 삽입과 연관:

사용자는 하나 또는 여러 개의 손가락으로 문서의 어느 위치를나 어떤 선택 내용을 누름과 동시에 터치펜으로 기타위치에서 글을 쓰면 쓴 내용은 손가락이 선택한 위치의 주석이 된다. 사용자는 마찬가지로 시스템으로 하여금 다중선택모드에 진입하도록, 예를 들면 다중선택키를 누르고 동시에 먼저 손가락으로 클릭하여 상응한 내용이나 위치를 선택한 다음 터치펜으로 글을 쓴다면, 쓴 내용은 선택한 내용이나 위치의 주석이 된다.
사용자는 동시에 여러 단락의 이미지와 문자를 터치하여 그것들을 두 그룹으로 나누어 그중 한 그룹을 다른 한 그룹의 주석으로 되게 할 수 있다. 또는 시스템이 다중선택모드에 진입하도록 하여 동시에 여러 단의 이미지와 문자를 선택하고 그것들을 본 발명에서 언급한 방법으로 두 그룹으로 나누어 그중 한 그룹이 다른 그룹의 주석이 되게 할 수 있다.

11. 복사와 붙이기의 내용과 위치를 정확하게 제어하기
손가락이 문자 등 정확하게 커서의 위치를 제어해야 하는 내용을 접할 때, 손가락과 스크린의 접촉위치 이외의 기타 몇미리미터 되는 곳 보조커서가 하나 생긴다. 문자 등 내용에 대한 선정은 이 커서를 표식으로 한다. 이 커서를 통하여 선정한 내용을 정확하게 확정할 수 있다. 예를 들어, 한 단락의 문자를 선택할 때, 손가락이 먼저 문자내용 위에서 반초가량 멈춘 다음 손가락과 문자가 접하는 구역의 왼쪽이나 오른 쪽 또는 손가락 끝쪽 5미리미터 되는 위치에 문자내용을 선택하는데 사용되는 커서가 출현하는데, 커서는 손가락과 고정적인 상대위치를 유지한다. 이때 손가락은 스크린과의 접촉을 유지하고, 커서를 선택할 내용의 시작 위치에 이동시키면 하기의 조작을 통해서 내용을 선택하기 시작하라는 명령을 내리게 된다. 하지만 하기의 내용들을 포함하나 이에 제한되지는 않는다.
1. 손가락의 스크린에 대한 압력을 가중한다.
2. 또는 기타 손가락으로 선정조작을 하는 손가락 옆에서 신속히 미끄러지게 한다. 예를 들면 도 33에서와 같이, 그중의 17은 사용자의 하나 또는 여러 개의 붙인 손가락이고, 172는 기타 손가락이며, 화살표 방향으로 신속하게 미끄러진다.
3. 신속히 손가락의 터치스크린에 대한 압력을 변화시킨다.
4. 또는 상응 기능의 아이콘을 클릭한다.
5. 앞에서 언급한 각종 활성화 방법을 사용한다.

내용선택을 시작하는 조작을 확정한 후 시스템은 상응한 알림, 예를 들어 내용 선택에 사용되는 커서의 색깔이 변하는 등 안내를 해야 한다. 선택 조작을 종료하려고 할 때, 직접 선택에 사용되는 손가락을 스크린에서 떼거나, 스크린에 대한 압력을 경감하고, 시스템은 동시에 상응하는 안내를 해야 한다. 만약 한번에 연속적이지 않은 여러 단락의 내용을 선택하려면 기타 방식으로 선택 종료의 명령을 하달, 예를 들어 기타 손가락으로 선정을 하고 있는 손가락 옆에서 신속하게 그려야 한다. 도1에서와 같이 신속히 터치스크린에 대한 손가락의 압력을 변화시키거나 상응한 기능의 아이콘을 클릭하거나 또는 앞에서 언급한 각종 활성화 방법을 사용할 수 있다.

기존의 운영체제구조와의 호환을 위하여, 커서는 구동프로그램층 위에 마우스 하나를 가상으로 만들어 내는 것으로 구현하며, 커서가 필요할 때면 이 마우스를 가동한다.
이런 조작방식은 마찬가지로 멀티터치툴, 예를 들어 터치펜에 적용이 된다. 왜냐하면 터치펜의 펜끝은 가림 문제가 없기에 기타 위치에서 커서를 나타낼 필요가 없기 때문이다.

사용자는 한 단락의 문장이나 이미지 등 대상을 선택하여 상응한 조작을 통하여, 예를 들면 특정된 터치명령이나 상응한 도형인터페이스에 기반한 선택항을 선택하여 선택된 대상을 다중 클립보드에 추가한다. 추천하는 방식은 선택한 대상을 끌어서 특정구역에 넣어 클립보드에 추가하는 조작을 실현하는 것 또는 선정한 내용의 옆에 아이콘이 나타나게 하여 아이콘을 클릭하여 클립보드에 추가하는 것이다. 또는 두개의 아이콘이 나타날 수 있는데, 각각 복사와 붙이기에 대응한다.
붙일 때, 정확하게 붙이기 조작을 하는 위치를 확정해야 하기 때문에 먼저 터치툴이나 앞에서 언급한 보조커서 또는 손가락 등 위치확정에 사용되는 터치포인트를 필요한 위치에 이동시킨 다음, 위치확정에 사용되는 커서가 움직이지 않도록 유지하고 기타 터치포인트으로 제어구를 다중 클립도드의 선택리스트로 전환시키거나 시스템이 자동으로 제어구를 다중클립보드의 선택리스트로 전환시킨다. 기타 터치포인트가 제어구에서 부동한 붙일 내용이나 어느 한 붙일 내용을 미끄러 지나가다가 멈출 때, 터치툴이나 커서 또는 손가락 등 위치확정에 사용되는 터치포인트가 소재한 위치에 붙인 후의 효과 미리보기가 나타나게 된다. 미리보기 내용에서 터치툴이나 보조커서 또는 손가락 등 위치확정에 사용된 터치포인트를 이동시킴으로써, 전체 내용을 모두 붙이는 것이 아니라 전체 내용에서 붙일 부분을 선택할 수 있다.

12. 일종의 터치픽쳐에 의해 생성된 도형 특히는3D 도형을 제어하는 방법.
픽쳐를 터치하여 물체의 외형을 확정하고 손가락으로 물체의 자태와 위치를 제어한다.
예를 들어, 사용자가 한 손을 터치스크린 위에 놓고 이로써 가상의 손바닥 상태, 손가락을 다 폈는지 아니면 다섯손가락을 모았는지, 또는 한 손가락을 굽혔는지 등을 확정한다. 만약 시스템이 사전에 터치물체의 대체적인 형상을 안다, 예를 들어 사전에 설정을 통하여 사용자가 한 손을 스크린 위에 둘것을 알게 된다면, 평면위의 터치픽쳐로 손의 대체적인 자태를 판단할 수 있다. 예를 들어 도 19에 도시된 바와 같은 모습이 바로 사용자가 왼손 검지를 굽힌 모습이다. 검지4와 손바닥 11사이의 터치픽쳐는 연속적인것이 아니기 때문이다. 시스템은 또한 사용자가 또 좌우로 흔들수 있는 것을 통하여 지속적인 누름을 표시할 수 있다. 예를 들어, 사용자가 손의 측면으로 스크린을 접하고, 손의 측면과 스크린과의 접촉을 유지한 상태에서 힘껏 스크린을 누르고 손바닥이 소재한 평면에서 빠르게 손바닥을 흔든다. 흔드는 과정에 손의 측면 변두리가 짧은 시간동안 흔드는 동작으로 인하여 스크린을 떠나는 것을 허용한다. 이 동장은 가상의 손바닥이 손의 측변 방향에서 아래로 자르는 것을 제어한다.
프로그램은 손의 각 부분의 압력에 근거하여 생성한 물체의 상응 부분의 두께, 또는 Z축 방향에서의 높이 등을 확정한다. 예를 들어 사용자는 오른쪽 손바닥의 압력을 증가함으로써 생성한 3D물체의 오른쪽이 Z축 방향에서의 높이를 낮출수 있다.
도 19에서, 사용자는 오른손 손가락 16, 엄지손가락6, 및 전체 손바닥과 x축이 이룬 각도를 통하여 시스템의 왼손터치픽쳐에 근거하여 생성한 손바닥의 공간 속 자태를 제어한다. 오른손의 스크린 위에서의 회전을 통하여, 가상손바닥이 사용자 왼손에 상대하여 Y축을 축으로 회전하는 각도를 제어하고, 엄지손가락으로 그와 상대하는 사용자 왼손에 상대하여 X축을 축으로 회전하는 각도를 제어하며, 기타 네 손가락으로 그가 스크린 소재의 평면에 수직되는 Z축을 따라 회전하는 각도를 제어한다.
생성한 가상물체는 반드시 가상의 손모양 물체여야 하는 것은 아니다. 일정한 파라미터를 통하여 기타 형상의 물체로 변형할 수도 있다. 일정한 파라미터에 따라 터치픽쳐에 대하여 변형을 한 후 변형한 터치픽쳐에 따라 가상물체를 생성할 수 있다. 또는 일정한 파라미터에 따라 원초 터치픽쳐에 기반하여 생성한 3D물체에 대하여 변형과 매핑을 하여 그에 대응하는 기타 3D물체로 변화시킬 수 있다. 터치픽쳐를 제공하는데 사용되는 것도 반드시 손이어야 만 하는 것은 아니다. 기타 터치물로 터치픽쳐를 제공해도 된다.

13. 터치명령편집기
손의 동작을 일련의 표준화 동작으로 분해함으로써 사용자가 자체로 터치명령을 정의할 수 있게 한다.
예를 들어 한가지 분류 방법은:
터치명령을 여러 시간구간으로 나누어 매 시간 구간내의 동작을 각각 정의하며, 하나의 터치명령은 여러개의 시간구간으로 구성할 수 있다.
매 손은
손바닥아래변두리, 손 전체, 새끼손가락, 약지, 중지, 검지, 엄지손가락, 새끼손가락끝, 약지끝, 중지끝, 검지끝, 엄지손가락끝, 손바닥 중심, 손의 측면 등 여러 개의 부분으로 나눈다. 손바닥과 손바닥 중심은 또 좌, 우두부분으로, 손의 측면은 손가락과 손바닥 두 부분으로 나눌수 있다.
시스템은 도형식별 및 각 터치포인트 서로간의 상대적 위치의 방법에 근거하여 손의 각 부분을 식별한다.
매 부분마다 표준 동작이 있다. 손가락과 손가락끝의 표준 동작에는: 터치에 참여하지 않음, X축이나 Y축을 따라 미끄러짐, 인근 손가락으로 미끄러짐, 스크린 두드림 및 횟수, 스크린 누름 및 경중순서, 지속시간, 제자리 회전, 자체정의 방향에 따라 미끄러짐, 특정 궤적에 따라 스크린위를 미끄러짐 등을 포함하고; 궤적에는 원, 타원, 세모, 사다리꼴, 평행사변형, 5각형, 톱니모양 및 자체정의 궤적을 포함한다. 사용자는 작도툴로 자체정의하여, 표준도형과 폴리라인, 직선, 곡선으로 구성된 새로운 궤적을 사용할 수 있다.
X축, Y축과 이룬 각도로 회전과 미끄러짐 및 회전과 미끄러짐의 궤적을 묘사할 수 있다.
손바닥, 손바닥아래변두리, 손바닥 중부의 표준동작은 터치에 참여하지 않음, X축이나 Y축을 따라 미끄러짐, 인근 손가락으로 미끄러짐, 스크린 두드림 및 횟수, 스크린 누름 및 경중순서, 지속시간, 제자리 회전, 자체정의 방향에 따라 미끄러짐, 특정 궤적에 따라 스크린위를 미끄러짐 등을 포함하고; 궤적에는 원, 타원, 세모, 사다리꼴, 평행사변형, 5각형, 톱니모양 및 자체정의 궤적을 포함한다. 사용자는 작도툴로 자체정의하여, 표준도형과 폴리라인, 직선, 곡선으로 구성된 새로운 궤적을 사용할 수 있다.
사용자는 인코딩 형식을 이용하여 자체로 터치명령을 정의할 수 있다.
이런 격식을 사용할 수 있다: 시간구간, 어느손, 손의 어느 부분, 어떤 동작
일부 터치 명령은 터치명령을 수행하는 손가락을 제한하지 않는다. 이때는 이렇게 서술할 수 있다: 어느 손가락 또는 손바닥, 손바닥아래변두리, 손바닥중부에서 왼쪽으로, 오른쪽으로 위로 몇번째 손가락.
각종 동작과 손의 각 부분은 상응하는 코드를 부여할 수 있다. 예를 들어 손 위의 각 부부은 대문자로 표기하여, 엄지손가락은 A로 표시하고, 동작은 소문자를 코드로 하고, 궤적은 숫자를 코드로 할 수 있다. 예를 들어, 미끄러짐은a, 시계방향 타원궤적은2, 그러므로 타원궤적을 따라 시계방향으로 미끄러짐은 (a2)이다. 이때 괄호를 추가하여 혼란을 방지할 수 있다. 시간 구간은 조작이 발생하는 시각, 예를 들면 두개의 조작을 같은 시간구간으로 표시하면 두 조작은 동시에 발생한다는 뜻이다.
또는 선택메뉴 선택방식으로 사용자로 하여금 자체로 정의하게 할 수 있다. 이렇게 하면 더욱 직관적이고 조작하기 편리하다. 도 20처럼, 그중의 71은 선택메뉴이고, 72는 버튼이다.
표준화를 사용하였기에 사용자가 키보드로 간단한 터치명령을 내릴 수 있어 터치명령과 키보드 조작의 무틈새연결을 실현하였다.
마찬가지로 식별을 하는 방법으로 사용자로 하여금 시스템의 유도하에 터치명령을 완성하게 할 수 있다.
시스템이 안내한 시간구간에 따라, 사용자는 시스템의 식별을 위해 터치명령을 절차를 나누어 실시하게 된다.

14. 다중 공격 명령.
한 대상에게 한 명령을 하달한 다음 새로운 명렬을 내릴 때 새 명령을 기존 명령보다 우선 처리하도록 설정할 수 있다. 예를 들어, 게임에서 한 탱크에게 이동을 명령한 다음 다시 어느 한 목표를 향해 포격을 하라고 명령한다. 이때, 포격을 상대적으로 이동보다 우선급으로 설정할 수 있다. 그후 다시 어느 한 구역을 피하라고 명령하면 이때는 어느 구역을 피하는 조작이 앞의 포격이나 이동보다 우선급으로 처리되도록 설정할 수 있다.

15, 터치엔진
사용자의 터치픽텨, 특히 사용자 손의 터치픽쳐, 스크린에 가하는 압력 및 기타 예치한 파라미터에 근거하여 하나의 그와 대응하는, 물리적인 엔진, 특효엔진 등 으로 처리되는 물체를 생성하여 사용자의 터치효과를 물리엔진, 특효엔진에게 처리하도록 맡겨 실시간으로 각종 터치효과를 생성한다. 시스템은 일련의 디폴트 파라미터를 내장하여 손 및 기타 터치툴이 기타 파라미터를 부여 받지 않았을 때 사용하도록 해야 한다. 생성된 가상의 물체는 나타날 필요는 없다. 그것은 오로지 터치정보를 물리엔진 및 기타 엔진이 처리할 수 있는 정보로 전환하기 위하여 생성한 것이다. 예를 들어, 터치 압력의 크기는 생성한 물체가 3차원공간에서 Z축상의 작은 범위내 이동을 결정한다거나 또는 기타 물체가 가한 압력 또는 게임 중에 설정된 어느 한 파라미터의 강도를 결정한다. 예를 들어, 게임 속에 '에너지 밀도'라는 파라미터를 설정하였다면, 압력에 대응하여 생성한 가상 물체의 에너지 밀도는 압력이 클수록 물체의 에너지 밀도가 크거나 또는 물체가 기타 물체에 대하여 방출하는 에너지 강도가 높다. 예를 들어, 게임에서 사용자가 한 포크레인을 선택하였는데, 시스템은 사용자 손가락의 터치픽쳐에 근거하여 생성된 물체의 물리재질을 포크레인에 대응하는 물리재질로 설정하고 터치압력에 근거하여 그것이 지면에 가하는 압력의 크기 및 굴착깊이를 확정하고 터치픽쳐에 근거하여 그것과 지면의 접촉면적을 확정한다. 이때, 사용자의 손가락은 게임 속의 지면을 누르고 있거나 또는 기타 물체, 예를 들면 탱크랑 부딪히게 함으로써 포크레인이 땅을 팠던 효과가 나타난다. 이는 게임제작자가 사전에 설정할 필요가 없기에 게임 제작자의 작업량을 대폭 줄였다.
터치엔진은 마찬가지로 사용자의 터치 압력에 의하여 생성되는 물체의 Z축에서의 두께를 확정한다. 사용자의 터치픽쳐 및 터치픽쳐의 부동한 위치의 터치압력으로 물리엔진, 3D엔진에 의해 처리 될수 있는 한 물체를 생성하는데, 터치 압력은 생성된 물채의 부동한 위치의 두게 및 Z축위에서의 높이를 확정하는데 사용된다. 그것이 X, Y 평면에서의 면적은 사용자의 터치픽쳐와 정비례 하지만, Z축은 반드시 터치스크린이 소재하는 평면에 수직되는 것은 아니고, 구체 상황에서 설정한 X, Y 축에 수직된다.
만약3차원 감지능력을 구비한 터치스크린, 예를 들어 거리를 감지할 수 있는 터치스크린, 일정 거리내의 터치물의 전자기마당 센스식 터치스크린을 사용하였다면, 물체와 스크린 사이의 거리의 변화로 생성한 가상물체가 3차원 공간의 Z축에서의 이동을 확정할 수 있다.

본 발명에서, 손의 조작에 적용되는 조작은 전부 터치스크린의 조작툴에 적용되며 그 반대도 마찬가지다. 손의 부동한 신체위치, 부동한 신체 조합, 예를 들어 한 손가락이나 두 손가락을 모아붙인 것, 손바닥, 한손의 손바닥과 손가락이 동시에 스크린을 터치하거나 하나의 완전한 손이 스크린을 터치하는 것은 모두 부동한 조작툴로 여길수 있다. 많은 조작은 모두 특정된 터치물 또는 특정된 위치의 터치물에 대하여 반응을 하거나 또는 반응을 하지 않도록 설정할 수 있다. 많은 조작은 오로지 특정된 터치물, 예를 들면, 손가락과 손바닥이 동시에 스크린을 터치하는 손, 손바닥을 원심으로 회전하는 손가락만이 선택메뉴의 불러오기를 촉발 시킬수 있다.

멀티터치 환경에서, 바이오인터페이스를 통하여 손의 각 부분은 아이콘과 서로 대응할 수 있다. 아이콘은 반드시 손가락과 일대일로 대응해야 하는 것은 아니다. 같은 아이콘이 두 손가락의 조작에 대응할 수도 있다. 그것은 손의 부위에 대응하는 것이지 꼭 한 부위 만은 아니다. 예를 들어, 시스템은 바이오인터페이스로 동시에 두 급의 선택메뉴를 나타낼 수 있는데, 제1급 선택메뉴는 두 손가락이나 여러 손가락 또는 손 전체를 같은 방향으로 그리는 것과 대응하며, 이로써 부동한 선탱항사이를 전환하고, 제 2급 선택메뉴의 아이콘은 각 손가락과 일대일 대응한다. 표식도 반드시 손가락 하고만 대응하는 것은 아니다. 손바닥과 대응 할 수도 있으며, 손바닥이 부동한 압력을 가하는 등 방식으로 조작을 할 수 있다. 표식은 또한 반드시 대응하는 위치의 근처에 나타나야 하는 거은 아니다. 예를 들어 사용자가 집중을 할 수 있도록 사용자가 현재 보고 있는 위치 근처에 나타날 수 있다.

본 발명은 손을 하나의 조작 툴로 보며, 본 발명 중의 각 부분이 제공하는 손은 각 종 조작을 할 수 있고, 전달하는 명령은 모두 본 발명의 기타 임의의 부분에 사용할 수 있으며 프로그램의 성정에 따라 임의의 기능을 집행할 수 있다.

본 발명의 각 곳에서 언급한 선택메뉴, 선택항 양식, 선택방식 등은 모두 통용성이 있으며, 기타 어떤 부분과 어떤 기능에도 사용가능하다.

다 대상 협동조작, 특히는 멀티터치포인트 협동조작은, 선택과 확정 조작에서 제공하는 각종 대상을 선택하는 방식과 양방향 교류 방식, 및 본 발명에서 제공하는 그 어떤 선택메뉴, 바이오인터페이스, 자유식 아이콘도 사용할 수 있다.

본 발명이 제공하는 선택메뉴 양식과 각종 인터페이스 요소, 예를 들면 아이콘 용기 등은, 멀티터치 조작에만 제한되는 것이 아니라 싱글포인트 터치에도 마찬가지로 적용된다.

자유식 아이콘의 사용자 안내방식, 각종 양식, 예를 들면, 아이콘 분렬, 사용자의 손가락 각 방향에 각 방향으로 손가락을 그릴 때 대응하는 기능 표시 등 아이콘의 양식은 각종 조작의 선택항과 표식에 사용될 수 있다.

기타 방법을 통하여 시스템이 동시에 여러 개의 대상을 선택하고나서 본 발명이 제공하는 인터페이스, 선택항 제공 등 방식을 사용 및 집행하는 조작 등 발 명내용은 마찬가지로 본 발명의 범위 내에 있다.

다 그룹 터치포인트, 특히 두 손이 여러 그룹의 터치포인트에 대응하여 부동한 위치를 선정하는 것은 같은 선택조작이지만 여러개의 위치정보 및 선후순서를 포함하여 더욱 풍부한 구조를 가진다. 선택조작이 사용할 수 있는 고정, 선택메뉴 호출, 각종 선택방식, 각종 양식의 선택메뉴 등을 포함한 일련의 조작과 효과, 그리고 사용할 수 있는 진일보 조작은 모두 본 발명의 범위 내에 포함된다.
본 발명에서, 대상은 아이콘, 어느 한 구역, 창, 이미지, 바로가기, 터치포인트, 터치물등 일체 도형인터페이스의 인터페이스요소를 포함한다. 터치포인트는 하나의 점을 표시할 뿐만아니라 터치포인트는 또한 터치포인트의 터치픽쳐나 터치픽쳐가 덮은 터치구역을 표시할 수도 있다.
본 발명에서, 선택항, 슬라이더, 자유식 아이콘, 아이콘용기, 선택메뉴는 모두 아이콘의 일종으로 볼 수 있으며, 본 발명에서 언급한 아이콘은 대상을 포함하였다.
사용자가 여러 개의 대상을 선택하고 상응한 방식에 따라 대상이나 구역을 부동한 그룹에 나눌 때, 만약 시스템이 사용자의 유일한 조작의도를 확정할 수 없으면 선택항을 제시하여 사용자로 하여금 어떤 조작을 집행 할 것인지 선택하도록 해야 한다.
같은 그룹의 대상에 대하여 부동한 조작은 부동한 명령에 대응하며, 특히 부동한 선택메뉴를 불러온다.
본 발명에서, 터치물이 진행할 수 있는 각종 조작 및 여러 터치물, 여러 터치물의 조합을 터치명령이라고부르며 하기의 내용들을 포함하나 이에 제한되지는 않는다.
1. 스크린위에서 부동한 궤적으로 미끄러짐;
2. 스크린을 떠남;
3. 스크린을 터치;
4. 스크린을 누름;
5. 스크린을 다중으로 누름;
6. 스크린을 두드림;
7. 및 여러 터치물이 동시에 상기의 조작의 각종 조합을 진행함.
부동한 조작순서, 부동한 터치물과 터치명령, 특히는 여러 그룹 대상에 대한 선택의 선후순서는 부동한 조작에 대응하고, 부동한 선택메뉴를 불러온다.
바이오인터페이스의 아이콘은 반드시 신체 등 터치물이 터치를 해야 나타나는 것이 아니라 먼저 나타날 수도 있다.
자유식 아이콘, 제어구, 바로가기, 선택메뉴의 선택항, 보통의 아이콘 등 어떤 기능에 대응하는 도형대상은많은 공통점이 있다. 본 분야의 인원이라면 본 발명에서 이런 대상의 어느 한 대상에 대한 조작, 사용은 기타 대상으로 확장 될수 있음을 이해할 것이다.
본 발명에서, 선택된 대상에 대하여 진행할 수 있는 조작은 확정되었지만 선택되지 않은 대상에게 모두 실행할 수 있고, 반대도 만찬가지로 확정과 선택은 단지 두가지 부동한 상태일 뿐이다.
본 발명에서 제공하는, 각종 그룹 나누기 방식 하의 실시예는 모두 설명적인 것지 제한적인 것이 아니다.두 그룹의 대상 사이에는 부동한 로직 관계가 있을 수 있으며, 심지어 실시예 속과 상 반대되는 관계가 있을 수도 있다.
여러 대상을 여러 스크린 위에 분포시켜 놓고 본 발명에서 제공한 내용을 사용하는 것 역시 본 발명의 범위에 속한다.
예를 들어, 압축르로그램 아이콘을 한 스크린 위에 두고, 기타 문서를 다른 한 스크린 위에 두어서 멀티터치 협동조작을 하고, 한 스크린의 위에서 터치포인트으로 한 위치를 선택하고 다른 한 스크린 위를 터치펜으로 쓰며, 쓴 내용이 손가락이 선택한 내용의 주석이 되는 유사한 조작 등은 모두 본 발명의 내용에 속한다.
본 발명에서 제공하는 그 어떤 조작방법도 모두 본 발명에서 제공하는 각종 사건을 촉발할 수 있다.

Claims (10)

1. 터치픽쳐 및 터치픽쳐로 구성된 윤곽에 근거하여 구역 또는 구역 내의 대상을 확정하거나 선택하는 방법.
   
2. 선택메뉴를 호출하는 터치점이 사라지고, 선택 메뉴에 대한 조작을 하는 터치점이 없으면 선택메뉴가 사라지는 것을 특징으로 하는 멀티터치 환경에 적용되는 선택메뉴.
   
3. 아이콘이 활성화된 후 부동한 방향으로 아이콘을 이동하면 부동한 기능에 대응하고;
   아이콘이 활성화된 후 대응하는 손가락의 아래 또는 근처, 또는 터치점 근처에 도형 표식이 나타나 상응하는 손가락이나 터치점을 부동한 방향으로 이동하도록 안내하여 부동한 기능을 선택 또는 사용하게 하며;
   아이콘이 활성화된 후 상응하는 손의 손가락 아래 또는 근처에 도형 표식이 나타나며;
   아이콘이 활성화된 후 나타나는 도형표식은 상응하는 터치점 또는 상응하는 신체부위, 예를 들면 손가락의 이동에 따라 이동하며 상대적인 위치의 불변을 유지하는 것;
   그 중의 하나 또는 여러 개를 구비하는 것을 특징으로 하는 아이콘.
   
4. 시스템은 하나 또는 여러 개의 터치점 위치 및 터치픽쳐와 미리 설정된 설정과 결부함으로써 터치점이 대응하는 터치물이 소재하는 손의 기타 부분이 쉽게 조작할 수 있는 위치 또는 구역을 확정하고, 아이콘, 슬라이딩바등은 직접 상응하는 구역에 나타나거나 또는 상응하는 위치로 이동하거나 또는 상응하는 구역 또는 위치의 윤곽에 맞추어 사용자의 손이 쉽게 조작할 수 있도록 하는 것;
   인터페이스의 아이콘은 터치 스크린의 손가락 위치에 근거하여 아이콘의 배열을 확정함으로써 아이콘이 상응하는 손가락 아래 또는 근처 등 쉽게 터치할 수 있는 위치에 처하도록 하는 것;
   인터페이스의 아이콘은 상응하는 손의 각 부분 또는 각 부분의 근처나 아래의 쉬이 터치할 수 있는 구역 또는 위치와 상응하는 것;
   그 중의 하나 또는 여러 개를 특징으로 하는 인터페이스.
   
5. 구역이나 위치 또는 대상의 터치물이나 터치픽쳐의 선택에 근거하여 대상에 대하여 그룹을 나누는 것;
   대상 또는 구역 또는 위치을 선택하는 방식에 근거하여 대상에 대한 그룹을 나누는 것;
   하나 또는 여러 개의 터치점으로 하나 또는 여러 개의 대상 또는 구역이나 위치를 선정하거나 확정한 후,이 하나 또는 여러 개의 터치점이 확정되거나 선택된 대상을 모두 다 떠나지는 않도록 유지하며, 이 몇개의 터치점에의해 선정 또는 확정된 구역 또는 위치나 대상은 확정된 후 기타 터치점의 기능 및 기타 터치점에 선택된 대상은 조작을 수행하거나 수행되도록 하는 효과 및 위치에 근거하여 대상에 대한 그룹을 나누는 것;
   터치점이 있는 손에 근거하여 터치점 및 터치저에의해 선택되는 대상에 대하여 그룹을 나누는 것;
   이 중의 하나 또는 여러 개의 방법을 통하여 하나 또는 여러 개의 대상에 대해 그룹을 나누는 것을 특징으로 하는,
   각 개의 터치점 및 터치점이 선택 또는 확정한 대상에 대하여 그룹을 나누어, 사용자와 프로그램 디자이너는 이 구조에 의해 각 터치점 및 선택 또는 확정된 구역이나 위치, 대상 사이의 관계를 정의함으로써 조작정보를 충분히 이용하도록 하는 각 개의 터치점 및 선택한 구역이나 위치 또는 대상 사이의 관계를 확정하는 구조.
   
6. 터치툴과 손 이동시에 터치 스크린을 터치했을 때 손으로 터치툴의 기능을 제어하는 것을 특징으로 하는 터치툴과 손이 공동으로 조작하는 방식.
   
7. 터치되는 픽쳐 및 터치 압력, 터치물과 스크린의 거리에 따라 상응하는 가상물체 및 상응물체의 각항 파라미터와 가상 공간에서의 위치를 생성하여 물리적 엔진과 특효엔진 등 관련 프로그램에 전달하여 처리하게끔 함으로써 터치 효과의 실시간 생성을 실현하는 것을 특징으로 하는 프로그램 아키텍쳐.
   
8. 픽쳐에 대한 정확한 터치와 기타 미리 설정한 파라미터를 바탕으로 3D물체의 기본 형상을 생성하고 그에 대한 제어로 최종적으로 필요한 3D 도형 및 그 공간 위치를 확정하는 것을 특징으로 하는 멀티터치를 기반으로하는 제어 조작과 3D 물체를 생성하는 방법.
   
9. 터치 조작을 여러 개의 시간에 걸친 표준동작으로 분해하여 사용자가 표준동작을 바탕으로 터치명령을 자체 정의할 수 있게 하는 것을 특징으로 하는 자체정의터치명령편집기.
   
10. 선택한 여러 개의 대상 중에 프로그램과 프로그램이 열 수 있는 대상을 포함할 경우, 해당 프로그램으로 상응하는 문서를 열 수 있게 하는 선택항을 제공하는 것을 특징으로 하는 스마트선택메뉴.
    
    

Images