KR20160101605A - 제스처 입력 처리 방법 및 이를 지원하는 전자 장치 - Google Patents

제스처 입력 처리 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR20160101605A
KR20160101605A KR1020150024529A KR20150024529A KR20160101605A KR 20160101605 A KR20160101605 A KR 20160101605A KR 1020150024529 A KR1020150024529 A KR 1020150024529A KR 20150024529 A KR20150024529 A KR 20150024529A KR 20160101605 A KR20160101605 A KR 20160101605A
Authority
KR
South Korea
Prior art keywords
gesture input
electronic device
editing
function
input
Prior art date
Application number
KR1020150024529A
Other languages
English (en)
Inventor
이재욱
강동헌
조안기
이소우
임영석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150024529A priority Critical patent/KR20160101605A/ko
Priority to US15/017,804 priority patent/US20160239202A1/en
Priority to CN201610087692.7A priority patent/CN105892905A/zh
Priority to EP19161808.1A priority patent/EP3531263A1/en
Priority to EP16156147.7A priority patent/EP3093750A1/en
Publication of KR20160101605A publication Critical patent/KR20160101605A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치에 있어서, 어플리케이션이 저장된 메모리, 상기 어플리케이션을 실행하고 상기 어플리케이션과 관련된 컨텐츠의 편집 상태를 제어하는 프로세서, 및 상기 편집 상태에 있는 상기 컨텐츠의 편집과 관련한 적어도 하나의 제스처 입력을 감지하는 센서를 포함하고, 상기 프로세서는 상기 제스처 입력에 대응하여 지정된 편집 기능을 수행하는 전자 장치가 개시된다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

제스처 입력 처리 방법 및 이를 지원하는 전자 장치{Gesture input processing method and electronic device supporting the same}
본 발명의 다양한 실시 예들은 전자 장치에서 컨텐츠에 대한 제스처 입력을 처리하는 방법과 관련된다.
전자 장치는 다양한 방식의 입력 인터페이스(interface)를 제공할 수 있다. 예컨대, 전자 장치는 터치 방식 즉, 터치 객체의 접촉 또는 접근에 의한 터치 입력을 수신하거나 또는 사용자의 음성 입력 등을 수신할 수 있다. 또한, 전자 장치는 제스처(gesture) 입력 기반의 입력 인터페이스를 제공할 수 있다. 예컨대, 전자 장치는 전자 장치에 대한 사용자의 동작 또는 전자 장치의 동작을 감지하고 그에 대응하는 기능을 수행할 수 있다.
전자 장치는 상술한 제스처 입력 기반의 입력 인터페이스를 제공함으로써 터치 방식 또는 음성 인식 방식 등의 입력이 갖는 문제점을 해결할 수 있다. 예를 들어, 전자 장치는 사용자가 화면을 주시할 수 없는 상황(예: 운전 중)에서 정확한 터치 입력을 할 수 없거나 또는 주위의 소음 등으로 정확한 음성 인식이 불가능한 경우, 제스처 입력을 통해 원하는 기능을 수행할 수 있다.
그러나 기존의 전자 장치에서 제스처 입력을 통해 어플리케이션과 연관된 컨텐츠(contents)를 편집하기 위해서는, 편집 기능 메뉴를 표시하는 단계 또는 표시된 메뉴에서 특정 편집 기능이 선택되는 단계 등 여러 단계의 제스처 입력이 수신되어야 했다. 또한, 기존의 전자 장치는 컨텐츠를 편집하기 위한 제스처 입력을 수신하는 영역이 제한될 수 있다. 이와 같이, 기존의 전자 장치에서는 제스처 입력을 이용한 컨텐츠 편집 시, 절차의 복잡성 및 조작의 어려움 등으로 제스처 입력의 활용도가 떨어지는 문제점이 발생할 수 있다.
본 발명의 다양한 실시 예들은, 제스처 입력 기반 컨텐츠 편집에 있어서, 복잡한 절차 및 구성을 갖는 편집 기능이 지정된 제스처 입력에 대응하여 실행될 수 있도록 처리하는 제스처 입력 처리 방법 및 이를 지원하는 전자 장치를 제공할 수 있다.
또한, 본 발명의 다양한 실시 예들은, 제스처 입력 기반 컨텐츠 편집에 있어서, 제스처 입력의 감지 영역을 확장하는 제스처 입력 처리 방법 및 이를 지원하는 전자 장치를 제공할 수 있다.
또한, 본 발명의 다양한 실시 예들은, 제스처 입력 기반 컨텐츠 편집에 있어서, 편집 기능과 관련된 정보를 사용자에게 피드백(feedback)하는 제스처 입력 처리 방법 및 이를 지원하는 전자 장치를 제공할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 어플리케이션이 저장된 메모리, 상기 어플리케이션을 실행하고 상기 어플리케이션과 관련된 컨텐츠의 편집 상태를 제어하는 프로세서, 및 상기 편집 상태에 있는 상기 컨텐츠의 편집과 관련한 적어도 하나의 제스처 입력을 감지하는 센서를 포함하고, 상기 프로세서는 상기 제스처 입력에 대응하여 지정된 편집 기능을 수행할 수 있다.
본 발명의 다양한 실시 예에 따르면, 제스처 입력에 기반한 컨텐츠 편집에 있어서, 복잡한 절차 및 구성을 갖는 편집 기능을 지정된 제스처 입력에 대응하여 실행되도록 처리함으로써 사용자 입력 절차를 단순화시킬 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 제스처 입력의 감지 영역을 확장하여 제스처 입력의 편의성을 높일 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 편집 기능에 대응하는 피드백 정보를 사용자에게 제공하여 제스처 입력의 활용도를 높일 수 있다.
이 외에도 명세서를 통해 파악되는 다양한 유리한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 나타낸다.
도 2는 다양한 실시 예에 따른 제스처 입력 처리 방법과 관련한 전자 장치의 운용 방법을 나타낸다.
도 3은 다양한 실시 예에 따른 제스처 입력 감지 및 분석 방법과 관련한 전자 장치의 운용 방법을 나타낸다.
도 4는 다양한 실시 예에 따른 제스처 매핑 테이블을 나타낸다.
도 5a는 다양한 실시 예에 따른 제스처 입력 기반 컨텐츠 편집 중 전체 선택 기능을 나타낸다.
도 5b는 다양한 실시 예에 따른 제스처 입력 기반 컨텐츠 편집 중 자르기 기능을 나타낸다.
도 5c는 다양한 실시 예에 따른 제스처 입력 기반 컨텐츠 편집 중 복사 기능을 나타낸다.
도 5d는 다양한 실시 예에 따른 제스처 입력 기반 컨텐츠 편집 중 붙여 넣기 기능을 나타낸다.
도 6a는 다양한 실시 예에 따른 제스처 입력 테스트 패드 사용 예를 나타낸다.
도 6b는 다양한 실시 예에 따른 제스처 입력 튜토리얼 사용 예를 나타낸다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 나타낸다.
도 1을 참조하면, 전자 장치 100은 버스 110, 센서 120, 프로세서 130, 메모리 140, 입출력 인터페이스 150, 디스플레이 160, 및 통신 인터페이스 170을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 100은, 구성요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 구비할 수 있다.
버스 110은, 예를 들면, 구성요소들 110-170을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
센서 120은, 예를 들면, 물리량을 계측하거나 전자 장치 100의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 전자 장치 100은 적어도 하나 이상의 센서 120을 포함할 수 있다. 전자 장치 100은 예컨대, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서, 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 전자 장치 100은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 전자 장치 100은 그 안에 속한 적어도 하나 이상의 센서 120을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 100은 프로세서 130의 일부로서 또는 별도로, 적어도 하나 이상의 센서 120을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서 130이 슬립(sleep) 상태에 있는 동안, 적어도 하나 이상의 센서 120을 제어할 수 있다.
다양한 실시 예에 따르면, 센서 120은 제스처 입력 예컨대, 전자 장치 100에 대한 사용자의 동작 또는 전자 장치 100의 동작을 감지할 수 있다. 예를 들어, 센서 120은 전자 장치 100이 제스처 입력을 수신할 수 있는 상태로 설정되면, 사용자의 신체 일부(예: 손가락) 또는 전자 펜 등과 같은 터치 객체의 접촉 또는 접근에 대응하는 터치 입력을 제스처 입력으로 수신할 수 있다. 또한, 센서 120은 제스처 입력 수신 상태에서, 전자 장치 100의 위치, 방향, 또는 회전 등의 동작을 감지하여 그에 대응하는 센서 정보를 제스처 입력으로 수신할 수 있다.
프로세서 130은, 중앙처리장치(CPU), AP(application processor), 또는 CP(communication processor) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서 130은, 예를 들면, 전자 장치 100의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
다양한 실시 예에 따르면, 프로세서 130은 제스처 입력을 처리할 수 있다. 예컨대, 프로세서 130은 감지된 제스처 입력을 분석하고, 제스처 입력에 대응되는 기능을 수행할 수 있다. 이와 관련하여, 프로세서 130은 제스처 분석 모듈 131 및 컨텐츠 편집 모듈 133을 포함할 수 있다.
제스처 분석 모듈 131은 감지된 제스처 입력을 분석할 수 있다. 예컨대, 제스처 분석 모듈 131은 제스처 입력의 종류, 형태, 횟수, 또는 방향 등을 분석할 수 있다. 이와 관련하여, 제스처 입력의 종류는 전자 장치 100에 대한 사용자의 동작 입력(제1 타입 입력)과 전자 장치 100의 동작 입력(제2 타입 입력)으로 구분될 수 있다. 상기 제1 타입 입력은 사용자의 신체 일부 또는 전자 펜 등을 이용한 동작에 대응하는 입력으로서, 입력의 형태로는 디스플레이 160에 대한 탭(tap) 또는 스와이프(swipe) 등을 포함할 수 있다. 상기 제2 타입 입력은 전자 장치 100의 위치, 방향, 또는 회전 등의 동작에 대응하는 입력일 수 있다.
컨텐츠 편집 모듈 133은 제스처 입력에 대응되는 기능 중 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등) 편집과 관련된 기능을 수행할 수 있다. 예컨대, 컨텐츠 편집 모듈 133은 상기 컨텐츠의 적어도 일부를 편집 대상으로 선택하는 기능 및 선택된 편집 대상을 편집하는 기능을 수행할 수 있다. 편집하는 기능은 편집 대상의 복사(copy), 붙여 넣기(paste), 또는 자르기(cut) 등을 포함할 수 있다.
메모리 140은, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리 140은, 예를 들면, 전자 장치 100의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리 140은 소프트웨어 및/또는 프로그램을 저장할 수 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(application programming interface(API)), 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다. 커널, 미들웨어, 또는 API의 적어도 일부는, 운영 시스템(operating system(OS))으로 지칭될 수 있다.
커널은, 예를 들면, 다른 프로그램들(예: 미들웨어, API, 또는 어플리케이션 프로그램)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스 110, 프로세서 130, 또는 메모리 140 등)을 제어 또는 관리할 수 있다. 또한, 커널은 미들웨어, API, 또는 어플리케이션 프로그램에서 전자 장치 100의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어는, 예를 들면, API 또는 어플리케이션 프로그램이 커널과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한, 미들웨어는 어플리케이션 프로그램으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어는 어플리케이션 프로그램 중 적어도 하나에 전자 장치 100의 시스템 리소스(예: 버스 110, 프로세서 130, 또는 메모리 140 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어는 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케쥴링 또는 로드 밸런싱 등을 수행할 수 있다.
API는, 예를 들면, 어플리케이션이 커널 또는 미들웨어에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
다양한 실시 예에 따르면, 메모리 140은 제스처 매핑(mapping) 테이블 141을 저장할 수 있다. 제스처 매핑 테이블 141은 전자 장치 100이 지원하는 복수의 제스처 입력들 및 상기 제스처 입력들에 대응되는 기능들을 정의해놓은 데이터의 집합일 수 있다. 예컨대, 메모리 140은 제스처 입력과 관련된 정보(예: 제스처 입력의 종류, 형태, 횟수, 또는 방향 등)에 따라 지정된(또는 매핑된) 기능들(예: 편집 기능)과 관련된 정보(예: 기능의 종류 또는 내용 등)가 정의된 제스처 매핑 테이블 141을 저장할 수 있다.
입출력 인터페이스 150은, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치 100의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스 150은 전자 장치 100의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 150은 음성 출력 장치 예컨대, 스피커 등을 포함할 수 있다. 입출력 인터페이스 150은 음성 출력 장치를 통해 제스처 입력에 대응하는 기능 수행 시 해당 기능과 관련된 정보에 대응하는 음성을 출력할 수 있다. 예컨대, 입출력 인터페이스 150은 컨텐츠의 적어도 일부가 편집 대상으로 선택되면 선택된 컨텐츠의 종류 또는 내용 등의 정보를 음성으로 출력할 수 있다. 또한, 입출력 인터페이스 150은 편집 기능의 종류 또는 내용 등의 정보를 음성으로 출력할 수도 있다.
디스플레이 160은, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems, MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이 160은, 예를 들면, 사용자에게 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 디스플레이 160은, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근접, 또는 호버링(hovering) 입력을 수신할 수 있다.
통신 인터페이스 170은, 예를 들면, 전자 장치 100과 외부 장치(예: 외부 전자 장치 102) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스 170은 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 상기 외부 장치(예: 외부 전자 장치 102)와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신을 포함할 수 있다. 근거리 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.
외부 전자 장치 102는 전자 장치 100과 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시 예에 따르면, 전자 장치 100에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치 102에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치 100이 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치 100은 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 외부 전자 장치 102)에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치 102)는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치 100으로 전달할 수 있다. 전자 장치 100은 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다.
다양한 실시 예에 따르면, 외부 전자 장치 102는 제스처 입력을 감지할 수 있는 적어도 하나의 센서를 포함할 수 있다. 따라서, 외부 전자 장치 102는 제스처 입력을 감지하고, 감지된 정보를 전자 장치 100에 전달할 수 있다. 이 경우, 전자 장치 100은 센서 120을 생략할 수 있으며, 외부 전자 장치 102로부터 감지된 제스처 입력을 분석하여 그에 대응되는 기능을 수행할 수 있다.
상술한 바와 같이, 다양한 실시 예에 따르면, 전자 장치 100은 어플리케이션이 저장된 메모리, 상기 어플리케이션을 실행하고 상기 어플리케이션과 관련된 컨텐츠의 편집 상태를 제어하는 프로세서, 및 상기 편집 상태에 있는 상기 컨텐츠의 편집과 관련한 적어도 하나의 제스처 입력을 감지하는 센서를 포함하고, 상기 프로세서는 상기 제스처 입력에 대응하여 지정된 편집 기능을 수행할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는 상기 제스처 입력과 관련된 정보와 상기 편집 기능과 관련된 정보를 매핑하여 저장할 수 있다.
다양한 실시 예에 따르면, 상기 컨텐츠는 텍스트, 이미지, 또는 첨부파일 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 센서는 상기 전자 장치와 통신 인터페이스를 통해 연결된 외부 전자 장치에 포함될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 편집 기능과 관련된 정보를 디스플레이의 일정 영역에 표시하거나 또는 음성 출력 장치를 통해 출력할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 편집 기능의 수행이 완료되는 시점에 또는 일정 시간 간격을 두고 상기 편집 기능의 연계 기능이 수행될 수 있도록 상기 연계 기능에 대응하는 제스처 입력을 유도하는 객체를 디스플레이의 일정 영역에 표시하거나 또는 상기 객체에 대응되는 음성 정보를 음성 출력 장치를 통해 출력할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 제1 제스처 입력에 대응하여 상기 컨텐츠의 적어도 일부를 편집 대상으로 선택하고, 제2 제스처 입력에 대응하여 상기 편집 대상에 대해 자르기 기능, 복사 기능, 또는 붙여 넣기 기능을 수행할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 편집 상태의 종료를 명시적으로 지시하는 입력이 수신되지 않는 상태에서, 상기 제1 제스처 입력이 감지되면 상기 제2 제스처 입력이 감지되기 전에는 상기 편집 상태를 종료하지 않도록 제어할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 지정된 제스처 입력이 감지되거나 또는 상기 제스처 입력과 관련된 정보 설정 화면에서 특정 항목이 선택되면 상기 제스처 입력에 대응되는 동작을 연습하도록 지원하는 프로그램을 실행할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 지정된 제스처 입력이 감지되거나 또는 상기 제스처 입력과 관련된 정보 설정 화면에서 특정 항목이 선택되면 지원 가능한 상기 제스처 입력에 대응되는 정보 또는 동작 방법 중 적어도 하나를 설명하도록 지원하는 프로그램을 실행할 수 있다.
도 2는 다양한 실시 예에 따른 제스처 입력 처리 방법과 관련한 전자 장치의 운용 방법을 나타낸다.
도 2를 참조하면, 동작 210에서, 전자 장치 100은 제스처 입력의 감지 및 분석을 수행할 수 있다. 예컨대, 전자 장치 100은 센서 120 또는 전자 장치 100과 통신 인터페이스 170을 통해 연결된 외부 전자 장치 102에 포함된 센서로부터 감지된 제스처 입력을 분석할 수 있다.
동작 220에서와 같이, 전자 장치 100은 분석된 제스처 입력에 대응되는 기능이 특정 어플리케이션과 관련된 컨텐츠의 편집 상태 진입을 지시하는 기능인지를 판단할 수 있다. 편집 상태 진입을 지시하는 기능이 아닌 경우, 동작 230에서와 같이, 전자 장치 100은 해당 기능을 수행하도록 처리할 수 있다. 이와 관련하여, 컨텐츠의 편집과 관련되지 않은 기능은 예컨대, 임의의 개체(예: 아이콘 또는 리스트 아이템 등)의 탐색, 선택, 또는 실행 등을 포함할 수 있다. 예를 들어, 전자 장치 100은 홈 화면에 배치된 어플리케이션의 아이콘을 지정된 제스처 입력(예: 하나의 손가락을 제스처 입력의 감지 영역에 접촉시킨 상태에서 지정된 방향으로 이동시키는 동작(원 핑거 스와이프(1 finger swipe) 동작))을 통해 순서대로 탐색할 수 있다. 이 경우, 전자 장치 100은 탐색 대상 어플리케이션의 아이콘에 대응되는 음성 정보 예컨대, 아이콘의 이름을 출력할 수 있다. 또한, 전자 장치 100은 지정된 제스처 입력(예: 하나의 손가락을 제스처 입력의 감지 영역에 지정된 시간 동안 접촉시킨 후 이격하는 동작을 일정 시간 간격으로 두 번 수행하는 동작(원 핑거 더블 탭(double tap) 동작))으로 특정 아이콘을 선택하여 해당 어플리케이션을 실행할 수 있다.
동작 220에서 판단된 기능이 편집 상태 진입을 지시하는 기능인 경우, 동작 240에서와 같이, 전자 장치 100은 편집 기능을 지시하는 제스처 입력을 수신하기 위해 대기할 수 있다. 다양한 실시 예에 따르면, 전자 장치 100은 편집 상태 진입 시 편집 기능을 지시하는 제스처 입력을 입력 받기 위한 영역 즉, 제스처 입력의 감지 영역을 센서 120이 인지할 수 있는 전체 영역으로 확장할 수 있다. 예컨대, 전자 장치 100은 제스처 입력의 감지 영역을 터치 스크린의 전체 영역으로 확장할 수 있다. 또한, 전자 장치 100은 통신 인터페이스 170을 통해 연결된 외부 전자 장치 102에 포함된 센서를 기반으로 제스처 입력을 감지할 수도 있다.
동작 250에서, 전자 장치 100은 제스처 입력을 감지 및 분석할 수 있다. 그리고 동작 260에서, 전자 장치 100은 제스처 입력에 대응되는 편집 기능을 수행할 수 있다. 이와 관련하여, 편집 기능은 컨텐츠의 적어도 일부를 편집 대상으로 선택하는 기능 및 편집 대상을 편집하는 기능을 포함할 수 있다.
동작 270에서, 전자 장치 100은 편집 상태의 종료를 판단할 수 있다. 예컨대, 전자 장치 100은 편집 기능이 편집 대상을 선택하는 기능인 경우, 명시적으로 편집 상태를 종료하지 않는 한, 편집 대상을 편집하는 기능에 대응되는 제스처 입력을 수신하기 위해 대기할 수 있다. 편집 기능이 편집 대상을 편집하는 기능이거나 또는 편집 상태의 종료를 명시적으로 지시하는 입력이 수신된 경우, 전자 장치 100은 편집 상태를 종료할 수 있다. 이 경우, 전자 장치 100은 동작 210으로 리턴하여 또 다른 제스처 입력을 감지 및 분석할 수도 있다. 한 실시 예에 따르면, 편집 기능이 편집 대상을 편집하는 기능이더라도 편집 상태의 종료를 지시하는 입력이 수신되지 않는 경우, 전자 장치 100은 편집 상태를 종료하지 않을 수도 있다. 이를 통해 전자 장치 100은 편집 상태 진입을 위한 제스처 입력을 추가로 받는 동작을 생략할 수 있다.
다양한 실시 예에 따르면, 전자 장치 100은 특정 제스처 입력이 발생하는 시점의 전자 장치 100 또는 어플리케이션의 상태에 따라서 서로 다른 기능을 상기 특정 제스처 입력에 대응시킬 수 있다. 한 실시 예에 따르면, 전자 장치 100은 동일한 제스처 입력으로 편집 상태의 진입 및 종료 기능을 수행할 수 있다. 예컨대, 전자 장치 100은 소정 제스처 입력을 통해 편집 상태로 진입한 후, 편집 상태에서 다시 동일한 소정 제스처 입력이 발생하면 나중에 발생한 제스처 입력은 편집 상태를 종료하는 기능을 수행하도록 처리할 수 있다.
도 3은 다양한 실시 예에 따른 제스처 입력 감지 및 분석 방법과 관련한 전자 장치의 운용 방법을 나타낸다. 특히, 전자 장치 100에 대한 사용자의 동작을 제스처 입력으로 인식하는 방법 중 터치 방식에 의한 제스처 입력에 대해 설명하도록 한다.
도 3을 참조하면, 동작 310에서, 전자 장치 100은 제스처 입력을 감지할 수 있다. 예컨대, 전자 장치 100은 센서 120을 기반으로 사용자의 신체 일부 또는 전자 펜 등과 같은 터치 객체의 동작을 감지할 수 있다. 제스처 입력이 감지되면, 전자 장치 100은 감지된 제스처 입력을 분석할 수 있다. 예컨대, 전자 장치 100은 터치 객체의 동작에 대응하는 터치 정보를 분석할 수 있다. 이 경우, 전자 장치 100은 메모리 140에 저장된 제스처 매핑 테이블 141을 참조할 수 있다.
동작 320에서, 전자 장치 100은 실질적으로 동시에 발생하는 터치 입력의 개수를 확인할 수 있다. 예컨대, 전자 장치 100은 터치 입력이 싱글 터치인지 멀티 터치인지를 구분하고, 멀티 터치인 경우 터치 포인트가 몇 개인지를 확인할 수 있다.
동작 330에서, 전자 장치 100은 터치 입력의 형태를 판단할 수 있다. 예컨대, 전자 장치 100은 터치 객체가 일정 범위에 해당하는 영역에 지정된 시간 동안 접촉한 후 이격하는 경우, 탭 입력으로 판단할 수 있다. 또한, 전자 장치 100은 터치 객체가 일정 범위에 해당하는 영역을 접촉한 상태에서 지정된 방향으로 이동하는 경우, 스와이프 입력으로 판단할 수 있다. 한 실시 예에 따르면, 전자 장치 100은 터치 입력을 일정 시간 간격으로 샘플링(sampling)하고, 샘플링된 터치 입력의 위치(좌표), 이동 방향, 또는 이동 길이 등을 이용하여 터치 입력의 형태를 판단할 수 있다.
터치 입력이 탭 입력인 경우, 동작 340에서, 전자 장치 100은 터치 입력의 횟수를 확인할 수 있다. 예컨대, 전자 장치 100은 탭 입력이 지정된 시간 동안 몇 번 입력되었는지를 확인할 수 있다.
터치 입력이 스와이프 입력인 경우, 동작 350에서, 전자 장치 100은 터치 입력의 방향을 확인할 수 있다. 예컨대, 전자 장치 100은 스와이프 입력의 방향을 확인할 수 있다.
터치 입력의 횟수 또는 방향이 확인되면, 동작 360에서, 전자 장치 100은 터치 입력에 대응되는 기능을 수행할 수 있다. 한 실시 예에 따르면, 전자 장치는 제스처 매핑 테이블 141을 참조하여 터치 입력에 대응되는 기능을 확인할 수 있다.
다양한 실시 예에 따르면, 전자 장치 100은 동작 370에서와 같이, 제스처 입력에 대한 피드백을 사용자에게 제공할 수 있다. 예컨대, 전자 장치 100은 터치 입력의 종류, 형태, 횟수, 또는 방향 등에 대한 정보를 디스플레이 160에 표시하거나 또는 입출력 인터페이스 150을 통해 음성으로 출력할 수 있다. 한 실시 예에 따르면, 전자 장치 100은 해당 기능 수행과 관련하여, 기능의 종류 또는 내용 등에 대응하는 정보를 출력할 수도 있다. 예컨대, 전자 장치 100은 컨텐츠 편집 기능과 관련하여, 컨텐츠의 적어도 일부가 편집 대상으로 선택되면 선택된 컨텐츠의 종류, 이름, 또는 내용 등을 디스플레이 160에 표시하거나 또는 입출력 인터페이스 150을 통해 음성으로 출력할 수 있다.
상술한 설명에서의 터치 입력의 형태 외에도, 터치 입력의 형태는 홀드(hold)(또는 프레스(press)), 팬(pan), 드래그(drag), 플릭(flick), 핀치 아웃/인(pinch out/in), 또는 로테이트(rotate) 등을 포함할 수 있다. 또한, 제스처 입력 인식 방법으로 터치 방식만을 설명하였지만, 이 외에도 제스처 입력 인식 방법은 모션(motion) 방식 또는 비전(vision) 방식 등을 포함할 수 있다. 모션 방식은 발광다이오드(light emitting diode, LED)와 포토다이오드(photodiode)를 기반으로 모션 객체에 광을 조사하고, 반사 또는 굴절된 광의 강도를 측정하여 모션 객체의 동작을 인식하는 방식일 수 있다. 비전 방식은 카메라 모듈을 기반으로 대상 객체를 촬상하고, 촬상된 이미지를 프로세싱하여 대상 객체의 동작을 인식하는 방식일 수 있다.
한 실시 예에 따르면, 전자 장치 100에 대한 사용자의 동작을 제스처 입력으로 인식할 뿐만 아니라 전자 장치 100의 동작도 제스처 입력으로 인식할 수 있다. 예컨대, 전자 장치 100의 위치 변화 또는 각도 변화 등을 감지하여 그에 대응하는 기능을 수행할 수도 있다.
상술한 바와 같이, 다양한 실시 예에 따르면, 전자 장치의 컨텐츠 편집과 관련한 제스처 입력을 처리하는 방법은 상기 컨텐츠의 편집과 관련한 적어도 하나의 제스처 입력을 감지하는 동작, 및 상기 제스처 입력에 대응하여 지정된 편집 기능을 수행하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제스처 입력을 처리 하는 방법은 상기 제스처 입력과 관련된 정보와 상기 편집 기능과 관련된 정보를 매핑하여 저장하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제스처 입력을 감지하는 동작은 상기 전자 장치와 통신 인터페이스를 통해 연결된 외부 전자 장치에 포함된 센서를 통해 수행되는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 편집 기능을 수행하는 동작은 상기 편집 기능과 관련된 정보를 디스플레이의 일정 영역에 표시하는 동작 또는 상기 정보를 음성 출력 장치를 통해 출력하는 동작 중 적어도 하나를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 편집 기능을 수행하는 동작은 상기 편집 기능의 수행이 완료되는 시점에 또는 일정 시간 간격을 두고 상기 편집 기능의 연계 기능이 수행될 수 있도록 상기 연계 기능에 대응하는 제스처 입력을 유도하는 객체를 디스플레이의 일정 영역에 표시하는 동작, 또는 상기 객체에 대응되는 음성 정보를 음성 출력 장치를 통해 출력하는 동작 중 적어도 하나를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 편집 기능을 수행하는 동작은 제1 제스처 입력에 대응하여 상기 컨텐츠의 적어도 일부를 편집 대상으로 선택하는 동작, 및 제2 제스처 입력에 대응하여 상기 편집 대상에 대해 자르기 기능, 복사 기능, 또는 붙여 넣기 기능을 수행하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 편집 대상으로 선택하는 동작은 상기 편집 상태의 종료를 명시적으로 지시하는 입력이 수신되지 않는 경우, 상기 제2 제스처 입력이 감지되기 전에는 상기 편집 상태를 종료하지 않도록 제어하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제스처 입력을 처리하는 방법은 지정된 제스처 입력이 감지되거나 또는 상기 제스처 입력과 관련된 정보 설정 화면에서 특정 항목이 선택되면 상기 제스처 입력에 대응되는 동작을 연습하도록 지원하는 프로그램을 실행하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제스처 입력을 처리하는 방법은 지정된 제스처 입력이 감지되거나 또는 상기 제스처 입력과 관련된 정보 설정 화면에서 특정 항목이 선택되면 지원 가능한 상기 제스처 입력에 대응되는 정보 또는 동작 방법 중 적어도 하나를 설명하도록 지원하는 프로그램을 실행하는 동작을 더 포함할 수 있다.
도 4는 다양한 실시 예에 따른 제스처 매핑 테이블을 나타낸다. 전자 장치 100은 제스처 입력에 대응하여 지정된 기능을 수행할 수 있다.
도 4를 참조하면, 전자 장치 100은 제스처 입력에 대응하여 지정된 기능이 정의된 제스처 매핑 테이블 141을 확인할 수 있다. 한 실시 예에 따르면, 전자 장치 100은 메모리 140에 제스처 매핑 테이블 141을 저장할 수 있다.
제스처 매핑 테이블 141은 제스처 입력의 종류, 형태, 횟수, 또는 방향 등의 정보들과 각 정보들에 매핑된(또는 지정된) 기능들의 정보를 포함할 수 있다. 예를 들어, 제스처 매핑 테이블 141은 제스처 입력의 종류, 형태, 횟수, 또는 방향 등의 정보를 함축하는 심볼(symbol) 410, 각 심볼의 정의(definition) 430, 및 입력의 개수 450을 분류 항목으로 포함할 수 있다. 심볼 410은 제스처 입력을 분류하기 위한 항목으로서, 어떤 실시 예에서는 제스처 입력의 종류, 형태, 횟수, 또는 방향 등의 정보로 나눠질 수 있다. 예컨대, 제스처 매핑 테이블 141은 심볼 410을 터치 입력의 형태에 따라 탭 입력 470 및 스와이프 입력 490으로 분류할 수 있다. 또한 심볼 410은 제스처 입력의 식별자 예컨대, 각각의 제스처 입력에 대응되도록 지정된 숫자, 문자, 또는 기호 등을 포함할 수 있다. 도시된 도면에서는 심볼 410이 각각의 제스처 입력에 대응되도록 지정된 기호로 제스처 매핑 테이블 141에 저장된 형태를 도시하고 있다. 또한, 심볼의 정의 430은 각각의 제스처 입력의 정의로서, 제스처 입력에 대한 피드백을 사용자에게 제공할 시에 참조되어 사용될 수 있다. 예컨대, 전자 장치 100은 제스처 입력이 감지되면 제스처 입력을 분석하고 제스처 매핑 테이블 141을 통해 해당 제스처 입력이 지원 가능한 입력인지(해당 제스처 입력이 제스처 매핑 테이블 141에 정의되어 있는지)를 판단할 수 있다. 해당 제스처 입력이 지원 가능한 입력인 경우(해당 제스처 입력이 제스처 매핑 테이블 141에 정의되어 있는 경우), 전자 장치 100은 제스처 입력의 식별자 즉, 심볼 410을 기반으로 해당 제스처 입력에 대응되는 기능을 수행할 수 있다. 이 경우, 전자 장치 100은 심볼의 정의 430으로 저장된 객체(예: 텍스트, 이미지, 또는 음성 등)를 객체의 특성에 따라 화면에 표시하거나 또는 음성으로 출력할 수 있다.
한 실시 예에 따르면, 전자 장치 100은 지정된 제스처 입력이 감지되면 컨텐츠 편집 상태로 진입하도록 처리할 수 있다. 예컨대, 도시된 바와 같이 전자 장치 100은 두 개의 손가락을 제스처 입력의 감지 영역에 지정된 시간 이상 접촉시키는 동작(투 핑거스 더블 탭 앤 홀드(2 fingers double tap & hold) 동작)이 수행되면 컨텐츠 편집 상태(selection mode)로 진입하도록 처리할 수 있다. 또한, 컨텐츠 편집 상태에서 지정된 제스처 입력이 감지되는 경우, 전자 장치 100은 편집 기능을 수행할 수 있다. 예컨대, 도시된 바와 같이 전자 장치 100은 컨텐츠 편집 상태에서 두 개의 손가락을 제스처 입력의 감지 영역에 접촉시킨 상태에서 지정된 방향으로 이동시키는 동작(투 핑거스 스와이프(2 fingers swipe) 동작)이 수행되면, 복사(copy), 붙여 넣기(paste), 자르기(cut), 또는 전체 선택(select all) 등의 기능을 수행할 수 있다.
도시된 도면에서는 전자 장치 100에 대한 사용자의 동작과 관련된 제스처 입력만이 개시되어 있지만, 제스처 매핑 테이블 141은 전자 장치 100의 동작과 관련된 제스처 입력도 포함할 수 있다.
후술하는 실시 예를 통해 컨텐츠 편집 상태에서의 제스처 입력 기반 컨텐츠 편집 기능을 설명한다. 전자 장치 100은 컨텐츠 편집 상태에서 지정된 제스처 입력이 감지되면 상기 제스처 입력에 대응하는 편집 기능을 수행할 수 있다. 또한, 전자 장치 100은 컨텐츠 편집 상태의 종료를 지시하는 입력이 수신되지 않는 한, 제스처 입력을 기반으로 편집 기능을 지속적으로 수행할 수 있다.
도 5a는 다양한 실시 예에 따른 제스처 입력 기반 컨텐츠 편집 중 전체 선택 기능을 나타낸다.
도 5a를 참조하면, 전자 장치 100은 컨텐츠 편집 상태에서 화면 500에 컨텐츠 및 SIP(soft input panel)을 표시할 수 있다. 예컨대, 전자 장치 100은 컨텐츠 표시 영역 510에 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등과 같은 컨텐츠 511 및 커서 513을 표시할 수 있으며, 화면 500의 하단 일정 영역에 소프트 키 패드(keypad)를 표시할 수 있다.
전자 장치 100은 컨텐츠 편집 상태에서 특정 제스처 입력이 감지되면, 해당 제스처 입력을 분석하여 해당 제스처 입력에 대응하는 기능을 수행할 수 있다. 예컨대, 전자 장치 100은 두 개의 손가락을 제스처 입력의 감지 영역에 접촉시킨 상태에서 하단 방향으로 이동시키는 동작(투 핑거스 다운 스와이프(2 fingers down swipe) 동작) 531이 수행되면, 컨텐츠 표시 영역 510에 표시된 컨텐츠 511의 전부를 편집 대상 515로 선택할 수 있다. 이 경우, 전자 장치 100은 편집 대상 515로 선택된 컨텐츠 511을 선택되기 전에 표시된 상태와 구별하기 위해 배경 색 등을 다르게 하여 표시할 수 있다. 또한, 전자 장치 100은 편집 대상 515로 선택된 컨텐츠 511의 종류 또는 내용 등의 정보를 화면 500의 일정 영역에 표시하거나 음성으로 출력할 수도 있다. 예컨대, 전자 장치 100은 화면 500의 하단 일정 영역에 "All selected"와 같은 텍스트를 표시하거나 음성을 출력할 수 있다.
다양한 실시 예에 따르면, 전자 장치 100은 컨텐츠 편집 상태에서 특정 편집 기능이 수행되면 연계된 편집 기능이 수행될 수 있도록 연계될 수 있는 편집 기능과 관련된 정보를 사용자에게 제공할 수 있다. 예컨대, 전자 장치 100은 컨텐츠 편집 상태에서 컨텐츠 511의 적어도 일부가 편집 대상 515로 선택되면, 편집 대상 선택 기능과 연계된 기능이 수행될 수 있도록 연계될 수 있는 기능의 종류 또는 내용 등의 정보를 화면 500의 일정 영역에 표시하거나 음성으로 출력할 수 있다. 한 실시 예에 따르면, 전자 장치 100은 편집 대상 선택 기능과 연계될 수 있는 기능으로 편집 대상 515의 복사 또는 자르기 등의 편집 기능을 지정할 수 있으며, 해당 편집 기능과 관련된 정보(예: 편집 기능의 종류 또는 내용 등)를 사용자에게 제공할 수 있다. 이에 따라 사용자는 편집 기능에 대한 제스처를 기억할 필요 없이 제공되는 안내에 따라서 제스처 입력을 수행할 수 있다.
도 5b는 다양한 실시 예에 따른 제스처 입력 기반 컨텐츠 편집 중 자르기 기능을 나타낸다.
도 5b를 참조하면, 전자 장치 100은 컨텐츠 511의 적어도 일부가 편집 대상 515로 선택된 상태에서 특정 제스처 입력이 감지되면, 해당 편집 기능을 수행할 수 있다. 예컨대, 전자 장치 100은 두 개의 손가락을 제스처 입력의 감지 영역에 접촉시킨 상태에서 상단 방향으로 이동시키는 동작(투 핑거스 업 스와이프(2 fingers up swipe) 동작) 533이 수행되면, 편집 대상 515에 대해 자르기(cut) 기능을 수행할 수 있다. 이 경우 전자 장치 100은 컨텐츠 표시 영역 510에서 편집 대상 515로 선택된 컨텐츠 511의 적어도 일부를 삭제할 수 있다. 또한, 전자 장치 100은 편집 기능의 종류 또는 내용 등의 정보를 화면 500의 일정 영역에 표시하거나 음성으로 출력할 수도 있다. 예컨대, 전자 장치 100은 화면 500의 하단 일정 영역에 "Cut, from It to Baudelaire"와 같은 텍스트를 표시하거나 음성을 출력할 수 있다. 또는 전자 장치 100은 해당 편집 기능과 관련하여 사용자가 알아야 하는 정보를 화면 500의 하단 일정 영역에 표시하거나 음성으로 출력할 수도 있다. 예컨대, 전자 장치 100은 자르기 기능과 관련하여 사용자가 알아야 하는 정보(예: 잘려진 컨텐츠는 클립보드(clipboard)에 저장된다는 정보)를 출력할 수도 있다. 도시된 도면에서는 "Copied to clipboard"와 같은 텍스트가 팝업 551로 표시된 형태를 나타낸다.
도 5c는 다양한 실시 예에 따른 제스처 입력 기반 컨텐츠 편집 중 복사 기능을 나타낸다.
도 5c를 참조하면, 전자 장치 100은 컨텐츠 편집 상태에서 특정 제스처 입력이 감지되면 커서 513의 위치에 따라 컨텐츠 511의 적어도 일부를 편집 대상 515로 선택할 수 있다. 예컨대, 전자 장치 100은 하나의 손가락을 제스처 입력의 감지 영역에 접촉시킨 상태에서 상단 방향으로 이동시키는 동작(원 핑거 업 스와이프(1 finger up swipe) 동작)이 수행되면, 커서 513을 컨텐츠 511의 현재 지시된 위치에서 이전 위치로 이동시키며 해당된 컨텐츠 511의 적어도 일부를 편집 대상 515에 포함시킬 수 있다. 마찬가지로 전자 장치 100은 하나의 손가락을 제스처 입력의 감지 영역에 접촉시킨 상태에서 하단 방향으로 이동시키는 동작(원 핑거 다운 스와이프(1 finger down swipe) 동작) 534가 수행되면, 커서 513을 컨텐츠 511의 현재 지시된 위치에서 다음 위치로 이동시키며 해당된 컨텐츠 511의 적어도 일부를 편집 대상 515에 포함시킬 수 있다. 예컨대, 도 5c의 좌측 도면에서와 같이, 전자 장치 100은 원 핑거 다운 스와이프 동작 534가 감지되면 커서 513을 컨텐츠 511의 현재 지시된 위치에서 다음 위치로 이동시키며 해당 위치의 컨텐츠(예: 텍스트 "C")를 편집 대상 515에 포함시킬 수 있다. 또한, 편집 대상으로 선택하는 기능은 연속적으로 여러 번 수행될 수 있다. 도 5c의 가운데 도면에서는 전자 장치 100이 상술한 방법을 통해 "Charles Baudelaire"라는 텍스트를 편집 대상 515로 선택한 상태를 나타낸다.
전자 장치 100은 편집 대상 515가 선택된 상태에서 특정 제스처 입력이 감지되면 해당 제스처 입력에 대응하는 기능을 커서 513을 기준으로 수행할 수 있다. 예컨대, 전자 장치 100은 두 개의 손가락을 제스처 입력의 감지 영역에 접촉시킨 상태에서 좌측 방향으로 이동시키는 동작(투 핑거스 레프트 스와이프(2 fingers left swipe) 동작) 535가 수행되면, 편집 대상 515를 복사(copy)할 수 있다. 예컨대, 전자 장치 100은 편집 대상 515를 임시 저장 공간(예: 클립보드)에 저장할 수 있다. 이 경우, 전자 장치 100은 편집 대상 515에 대한 편집 기능(예: 복사 기능)의 수행 완료와 함께 편집 대상 515을 선택 해제할 수 있다. 예컨대, 전자 장치 100은 편집 대상 515로 선택된 컨텐츠 511의 적어도 일부를 편집 대상 515에서 제외할 수 있으며, 제외된 상태를 구별하기 위해 배경 색 등을 다르게 하여 표시할 수 있다. 또한, 전자 장치 100은 해당 편집 기능과 관련된 정보를 화면 510의 일정 영역에 표시하거나 음성으로 출력할 수 있다. 예컨대, 전자 장치 100은 복사 기능과 관련된 정보(예: 복사 기능의 명칭 또는 복사 대상의 정보 등)에 대응하는 "Copy, from Charles to Baudelaire"와 같은 텍스트를 팝업 551로 표시할 수 있다. 또한, 전자 장치 100은 복사 기능과 관련하여 사용자가 알아야 하는 정보(예: 복사된 컨텐츠는 클립보드에 저장된다는 정보)를 "Copied to clipboard"와 같은 텍스트가 포함된 팝업 551 객체로 출력하거나 또는 음성으로 출력할 수 있다.
도 5d는 다양한 실시 예에 따른 제스처 입력 기반 컨텐츠 편집 중 붙여 넣기 기능을 나타낸다.
도 5d를 참조하면, 전자 장치 100은 클립보드에 컨텐츠 511의 적어도 일부가 복사된 상태에서 특정 제스처 입력이 감지되면 해당 편집 기능을 커서 513을 기준으로 수행할 수 있다. 예컨대, 전자 장치 100은 두 개의 손가락을 제스처 입력의 감지 영역에 접촉시킨 상태에서 우측 방향으로 이동시키는 동작(투 핑거스 라이트 스와이프(2 fingers right swipe) 동작) 537이 수행되면, 클립보드에 저장된 컨텐츠 511의 적어도 일부를 커서 513의 위치를 시작으로 붙여 넣기(paste)할 수 있다. 이와 관련하여, 전자 장치 100은 해당 편집 기능에 대한 정보를 화면 500의 일정 영역에 표시하거나 또는 음성으로 출력할 수 있다.
다양한 실시 예에 따르면, 편집 기능과 관련된 정보를 화면 510의 일정 영역에 표시하거나 또는 음성으로 출력하는 방법에 있어서, 전자 장치 100은 편집 대상 515로 선택된 컨텐츠 511의 종류 또는 내용 등을 출력 정보에 포함시킬 수 있으며, 해당 편집 기능의 종류 또는 내용 등을 출력 정보에 포함시킬 수도 있다. 한 실시 예에 따르면, 컨텐츠 511의 내용을 출력 정보에 포함시키는 경우, 전자 장치 100은 컨텐츠 511의 종류에 따라서 다르게 처리할 수 있다. 예컨대, 전자 장치 100은 컨텐츠 511이 텍스트인 경우, 출력 정보에 상기 텍스트의 첫 음절(또는 어절) 및 상기 텍스트의 마지막 음절(또는 어절)과 함께 "선택", "복사", "붙여 넣기", 또는 "자르기" 등과 같은 편집 기능을 지시하는 단어를 포함시켜 구성할 수 있다.
다양한 실시 예에 따르면, 전자 장치 100은 사용자가 제스처 매핑 테이블 141에 정의된 대로 제스처 입력을 수행할 수 있도록 사용자에게 안내하기 위한 별도의 튜토리얼(tutorial)을 제공하거나, 제스처 입력을 연습하기 위한 패드(pad) 형태의 가이드를 제공할 수 있다.
도 6a는 다양한 실시 예에 따른 제스처 입력 테스트 패드 사용 예를 나타낸다.
도 6a를 참조하면, 전자 장치 100은 화면 600에 제스처 입력과 관련된 정보 설정 또는 부가 기능 등을 항목으로 포함하는 설정 정보 목록(리스트(list)) 610을 표시할 수 있다. 전자 장치 100은 설정 정보 목록 610에 제스처 입력을 연습하거나 또는 안내 받기 위한 항목 611을 포함시켜 구성할 수 있다.
항목 611이 선택되면, 전자 장치 100은 설정 정보 목록 610에서 기존 항목들을 삭제하고 항목 611의 서브 항목들로 설정 정보 목록 610을 구성하여 표시할 수 있다. 예컨대, 전자 장치 100은 항목 611의 선택에 대응하여 제스처 입력 테스트 패드 가이드 613 및 제스처 입력 튜토리얼 615를 설정 정보 목록 610에 항목으로 구성하여 표시할 수 있다. 제스처 입력 튜토리얼 615는 세부 항목으로 제스처 매핑 테이블 141에 정의된 기능들의 정보를 포함할 수 있다.
전자 장치 100은 제스처 입력 테스트 패드 가이드 613의 선택에 대응하여, 화면 600에 제스처 입력 테스트 패드 650을 표시할 수 있다. 제스처 입력 테스트 패드 650은 소프트웨어적으로 구현된 논리적인 입력 장치의 한 예로 일종의 어플리케이션일 수 있다. 전자 장치 100은 제스처 입력 테스트 패드 650을 통해 특정 제스처 입력 651이 감지되면, 제스처 입력 651의 종류, 형태, 횟수, 또는 방향 등의 정보를 함축하는 심볼의 정의 653(예: 도 4의 심볼의 정의 430) 및 제스처 입력 651에 대응되는 기능 정보 655를 화면 600의 일정 영역에 표시하거나 또는 음성으로 출력할 수 있다. 또한, 전자 장치 100은 제스처 입력 테스트 패드 650의 사용 종료를 지시하는 버튼 657을 화면 600의 일정 영역에 표시할 수 있다. 한 실시 예에 따르면, 사용 종료 버튼 657이 선택되면 전자 장치 100은 제스처 입력 테스트 패드 650의 출력을 종료하고, 출력 이전 화면 예컨대, 설정 정보 목록 610을 표시하는 화면으로 돌아갈 수 있다.
도 6b는 다양한 실시 예에 따른 제스처 입력 튜토리얼 사용 예를 나타낸다.
도 6b를 참조하면, 전자 장치 100은 설정 정보 목록 610을 표시하는 화면에서 제스처 입력 튜토리얼 615가 선택되면, 화면 600에 튜토리얼 화면 670을 표시할 수 있다. 튜토리얼 화면 670은 일정 영역에 튜토리얼에 사용될 테스트 컨텐츠 671을 표시할 수 있으며, 해당 영역은 사용자로부터 제스처 입력을 입력 받는 영역으로 사용될 수도 있다. 또한, 전자 장치 100은 튜토리얼 화면 670의 일정 영역에 사용자로 하여금 지시되는 동작을 수행할 수 있도록 유도하는 객체(예: 텍스트 또는 이미지 등) 673을 표시할 수 있다. 이 경우, 전자 장치 100은 객체 673의 표시와 함께 지시되는 동작과 관련된 음성을 출력할 수도 있다. 한 실시 예에 따르면, 지시되는 동작과 관련된 음성이 출력되는 상태에서 전자 장치 100은 제스처 입력이 감지되더라도 해당 기능이 수행되지 않도록 처리할 수도 있다. 또한, 전자 장치 100은 제공되는 튜토리얼의 순서를 이전 또는 다음으로 전환할 수 있도록 기능하는 이전 버튼 675 및 다음 버튼 677을 튜토리얼 화면 670의 일정 영역에 표시할 수 있다.
한 실시 예에 따르면, 지시되는 동작과 관련된 음성 출력이 종료된 상태에서 사용자가 지시되는 동작에 따라서 제스처 입력 691을 입력하면, 전자 장치 100은 제스처 입력 691에 대응되는 기능을 수행할 수 있다. 또한, 전자 장치 100은 해당 기능의 다음 순서로 튜토리얼을 계속 진행할 수 있으며, 객체 673을 다음 순서로 지정된 기능과 관련된 정보를 표시하도록 변경할 수 있다. 도시된 도면에서는 전자 장치 100이 제스처 입력 691을 감지하여 튜토리얼이 시작되는 것을 나타낸다.
튜토리얼이 시작되면, 전자 장치 100은 지정된 순서대로 전자 장치가 지원하는 제스처 입력들을 안내할 수 있다. 도시된 도면에서는 전자 장치 100이 지시된 동작에 따라 입력된 제스처 입력을 분석하여 해당 제스처 입력에 대응되는 기능 예컨대, 커서 679를 컨텐츠 671의 일정 지점으로 이동시키는 기능을 수행하는 화면을 나타낸다. 예컨대, 전자 장치 100은 하나의 손가락을 제스처 입력의 감지 영역에 접촉시킨 상태에서 상단 방향으로 이동시키는 동작(원 핑거 업 스와이프(1 finger up swipe) 동작) 693이 수행되면, 커서 679를 컨텐츠 671의 현재 지시된 위치에서 이전 위치로 이동할 수 있다. 이와 관련하여, 전자 장치 100은 객체 673을 튜토리얼 순서상 다음 순서로 지정된 기능과 관련된 정보를 표시하도록 변경할 수 있다. 또한, 전자 장치 100은 객체 673에 대응하는 정보를 음성으로 출력할 수도 있다.
다양한 실시 예에 따르면, 전자 장치 100은 설정 정보 목록 610을 표시하는 화면에서 제스처 입력 튜토리얼 615의 세부 항목 중 특정 항목이 선택되면, 해당 항목에 대응되는 제스처 입력을 바로 안내할 수도 있다. 이 경우, 전자 장치 100은 해당 항목에 대응되는 제스처 입력만을 안내하고 이전 화면으로 돌아가거나, 또는 해당 항목을 기준으로 튜토리얼 순서상 이전 또는 다음 순서로 지정된 제스처 입력을 안내할 수도 있다.
다양한 실시 예에 따르면, 전자 장치 100은 특정 조건을 만족하는 시점에 특정 제스처 입력이 감지되면 화면 600에 설정 정보 목록 610을 표시할 수 있다. 예컨대, 전자 장치 100은 컨텐츠 편집 상태가 아닌 경우, 설정 정보 목록 610을 표시하도록 지정된 제스처 입력이 감지되면 해당 기능을 수행할 수 있다. 또한, 전자 장치 100은 특정 조건을 만족하는 시점에 특정 제스처 입력이 감지되면 제스처 입력 테스트 패드 가이드 613 또는 제스처 입력 튜토리얼 615를 실행하도록 제어할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 문서에 개시된 실시 예는 개시된 기술 내용의 설명 및 이해를 위해 제시된 것이며 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (19)

  1. 전자 장치에 있어서,
    어플리케이션이 저장된 메모리,
    상기 어플리케이션을 실행하고 상기 어플리케이션과 관련된 컨텐츠의 편집 상태를 제어하는 프로세서, 및
    상기 편집 상태에 있는 상기 컨텐츠의 편집과 관련한 적어도 하나의 제스처 입력을 감지하는 센서를 포함하고,
    상기 프로세서는 상기 제스처 입력에 대응하여 지정된 편집 기능을 수행하는 전자 장치.
  2. 청구항 1에 있어서,
    상기 메모리는 상기 제스처 입력과 관련된 정보와 상기 편집 기능과 관련된 정보를 매핑하여 저장하는 전자 장치.
  3. 청구항 1에 있어서,
    상기 컨텐츠는 텍스트, 이미지, 또는 첨부파일 중 적어도 하나를 포함하는 전자 장치.
  4. 청구항 1에 있어서,
    상기 센서는 상기 전자 장치와 통신 인터페이스를 통해 연결된 외부 전자 장치에 포함되는 전자 장치.
  5. 청구항 1에 있어서,
    상기 프로세서는 상기 편집 기능과 관련된 정보를 디스플레이의 일정 영역에 표시하거나 또는 음성 출력 장치를 통해 출력하는 전자 장치.
  6. 청구항 1에 있어서,
    상기 프로세서는 상기 편집 기능의 수행이 완료되는 시점에 또는 일정 시간 간격을 두고 상기 편집 기능의 연계 기능이 수행될 수 있도록 상기 연계 기능에 대응하는 제스처 입력을 유도하는 객체를 디스플레이의 일정 영역에 표시하거나 또는 상기 객체에 대응되는 음성 정보를 음성 출력 장치를 통해 출력하는 전자 장치.
  7. 청구항 1에 있어서,
    상기 프로세서는 제1 제스처 입력에 대응하여 상기 컨텐츠의 적어도 일부를 편집 대상으로 선택하고, 제2 제스처 입력에 대응하여 상기 편집 대상에 대해 자르기 기능, 복사 기능, 또는 붙여 넣기 기능을 수행하는 전자 장치.
  8. 청구항 7에 있어서,
    상기 프로세서는 상기 편집 상태의 종료를 명시적으로 지시하는 입력이 수신되지 않는 상태에서, 상기 제1 제스처 입력이 감지되면 상기 제2 제스처 입력이 감지되기 전에는 상기 편집 상태를 종료하지 않도록 제어하는 전자 장치.
  9. 청구항 1에 있어서,
    상기 프로세서는 지정된 제스처 입력이 감지되거나 또는 상기 제스처 입력과 관련된 정보 설정 화면에서 특정 항목이 선택되면 상기 제스처 입력에 대응되는 동작을 연습하도록 지원하는 프로그램을 실행하는 전자 장치.
  10. 청구항 1에 있어서,
    상기 프로세서는 지정된 제스처 입력이 감지되거나 또는 상기 제스처 입력과 관련된 정보 설정 화면에서 특정 항목이 선택되면 지원 가능한 상기 제스처 입력에 대응되는 정보 또는 동작 방법 중 적어도 하나를 설명하도록 지원하는 프로그램을 실행하는 전자 장치.
  11. 전자 장치의 컨텐츠 편집과 관련한 제스처 입력을 처리하는 방법에 있어서,
    상기 컨텐츠의 편집과 관련한 적어도 하나의 제스처 입력을 감지하는 동작, 및
    상기 제스처 입력에 대응하여 지정된 편집 기능을 수행하는 동작을 포함하는 제스처 입력 처리 방법.
  12. 청구항 11에 있어서,
    상기 제스처 입력과 관련된 정보와 상기 편집 기능과 관련된 정보를 매핑하여 저장하는 동작을 더 포함하는 제스처 입력 처리 방법.
  13. 청구항 11에 있어서,
    상기 제스처 입력을 감지하는 동작은 상기 전자 장치와 통신 인터페이스를 통해 연결된 외부 전자 장치에 포함된 센서를 통해 수행되는 동작을 포함하는 제스처 입력 처리 방법.
  14. 청구항 11에 있어서,
    상기 편집 기능을 수행하는 동작은 상기 편집 기능과 관련된 정보를 디스플레이의 일정 영역에 표시하는 동작 또는 상기 정보를 음성 출력 장치를 통해 출력하는 동작 중 적어도 하나를 더 포함하는 제스처 입력 처리 방법.
  15. 청구항 11에 있어서,
    상기 편집 기능을 수행하는 동작은 상기 편집 기능의 수행이 완료되는 시점에 또는 일정 시간 간격을 두고 상기 편집 기능의 연계 기능이 수행될 수 있도록 상기 연계 기능에 대응하는 제스처 입력을 유도하는 객체를 디스플레이의 일정 영역에 표시하는 동작, 또는 상기 객체에 대응되는 음성 정보를 음성 출력 장치를 통해 출력하는 동작 중 적어도 하나를 더 포함하는 제스처 입력 처리 방법.
  16. 청구항 11에 있어서,
    상기 편집 기능을 수행하는 동작은 제1 제스처 입력에 대응하여 상기 컨텐츠의 적어도 일부를 편집 대상으로 선택하는 동작, 및 제2 제스처 입력에 대응하여 상기 편집 대상에 대해 자르기 기능, 복사 기능, 또는 붙여 넣기 기능을 수행하는 동작을 포함하는 제스처 입력 처리 방법.
  17. 청구항 16에 있어서,
    상기 편집 대상으로 선택하는 동작은 상기 편집 상태의 종료를 명시적으로 지시하는 입력이 수신되지 않는 경우, 상기 제2 제스처 입력이 감지되기 전에는 상기 편집 상태를 종료하지 않도록 제어하는 동작을 더 포함하는 제스처 입력 처리 방법.
  18. 청구항 11에 있어서,
    지정된 제스처 입력이 감지되거나 또는 상기 제스처 입력과 관련된 정보 설정 화면에서 특정 항목이 선택되면 상기 제스처 입력에 대응되는 동작을 연습하도록 지원하는 프로그램을 실행하는 동작을 더 포함하는 제스처 입력 처리 방법.
  19. 청구항 11에 있어서,
    지정된 제스처 입력이 감지되거나 또는 상기 제스처 입력과 관련된 정보 설정 화면에서 특정 항목이 선택되면 지원 가능한 상기 제스처 입력에 대응되는 정보 또는 동작 방법 중 적어도 하나를 설명하도록 지원하는 프로그램을 실행하는 동작을 더 포함하는 제스처 입력 처리 방법.
KR1020150024529A 2015-02-17 2015-02-17 제스처 입력 처리 방법 및 이를 지원하는 전자 장치 KR20160101605A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150024529A KR20160101605A (ko) 2015-02-17 2015-02-17 제스처 입력 처리 방법 및 이를 지원하는 전자 장치
US15/017,804 US20160239202A1 (en) 2015-02-17 2016-02-08 Gesture Input Processing Method and Electronic Device Supporting the Same
CN201610087692.7A CN105892905A (zh) 2015-02-17 2016-02-16 手势输入处理方法和支持其的电子装置
EP19161808.1A EP3531263A1 (en) 2015-02-17 2016-02-17 Gesture input processing method and electronic device supporting the same
EP16156147.7A EP3093750A1 (en) 2015-02-17 2016-02-17 Gesture input processing method and electronic device supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150024529A KR20160101605A (ko) 2015-02-17 2015-02-17 제스처 입력 처리 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20160101605A true KR20160101605A (ko) 2016-08-25

Family

ID=55361423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150024529A KR20160101605A (ko) 2015-02-17 2015-02-17 제스처 입력 처리 방법 및 이를 지원하는 전자 장치

Country Status (4)

Country Link
US (1) US20160239202A1 (ko)
EP (2) EP3093750A1 (ko)
KR (1) KR20160101605A (ko)
CN (1) CN105892905A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282019B2 (en) 2016-04-20 2019-05-07 Samsung Electronics Co., Ltd. Electronic device and method for processing gesture input

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017199057A (ja) * 2016-04-25 2017-11-02 京セラ株式会社 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システム
JP6078685B1 (ja) 2016-11-15 2017-02-08 京セラ株式会社 電子機器
CN107202426A (zh) * 2017-05-18 2017-09-26 珠海格力电器股份有限公司 控制装置和方法、热水器
JP6921653B2 (ja) * 2017-06-29 2021-08-18 キヤノン株式会社 電子機器及びその制御方法
US11275889B2 (en) * 2019-04-04 2022-03-15 International Business Machines Corporation Artificial intelligence for interactive preparation of electronic documents
US20220283645A1 (en) * 2019-09-06 2022-09-08 Bae Systems Plc User-vehicle interface
DE102020122293A1 (de) 2020-08-26 2022-03-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur unterstützung eines nutzers bei einer steuerung von gerätefunktionen und computerprogrammprodukt
CN116719471A (zh) * 2023-08-11 2023-09-08 江苏中威科技软件系统有限公司 基于文件底板定义手势实现内容动态变化的装置及方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231698A (en) * 1991-03-20 1993-07-27 Forcier Mitchell D Script/binary-encoded-character processing method and system
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
KR20080068491A (ko) * 2007-01-19 2008-07-23 엘지전자 주식회사 터치 방식 정보 입력 단말기 및 그 방법
US20090125848A1 (en) * 2007-11-14 2009-05-14 Susann Marie Keohane Touch surface-sensitive edit system
US8201109B2 (en) * 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
KR101517967B1 (ko) * 2008-07-07 2015-05-06 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8345014B2 (en) * 2008-07-12 2013-01-01 Lester F. Ludwig Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface
JP5310389B2 (ja) * 2009-08-27 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
JP2012048311A (ja) * 2010-08-24 2012-03-08 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US20140006944A1 (en) * 2012-07-02 2014-01-02 Microsoft Corporation Visual UI Guide Triggered by User Actions
CN102883066B (zh) * 2012-09-29 2015-04-01 Tcl通讯科技（成都）有限公司 基于手势识别实现文件操作的方法及手机
CN103150018B (zh) * 2013-03-07 2016-09-21 深圳泰山体育科技股份有限公司 手势识别方法及装置
KR20140139247A (ko) * 2013-05-27 2014-12-05 삼성전자주식회사 오브젝트 운용 방법 및 그 전자 장치
KR20150024529A (ko) 2013-08-27 2015-03-09 엘지전자 주식회사 발광 다이오드 렌즈 및 이를 이용한 라이트 유닛
CN104156140A (zh) * 2014-08-15 2014-11-19 广东欧珀移动通信有限公司 一种利用重力传感器快速编辑文字的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282019B2 (en) 2016-04-20 2019-05-07 Samsung Electronics Co., Ltd. Electronic device and method for processing gesture input

Also Published As

Publication number Publication date
EP3093750A1 (en) 2016-11-16
US20160239202A1 (en) 2016-08-18
EP3531263A1 (en) 2019-08-28
CN105892905A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
KR20160101605A (ko) 제스처 입력 처리 방법 및 이를 지원하는 전자 장치
US9922260B2 (en) Scrapped information providing method and apparatus
KR102537210B1 (ko) 동영상 컨텐츠 제공 방법 및 이를 지원하는 전자 장치
US9904409B2 (en) Touch input processing method that adjusts touch sensitivity based on the state of a touch object and electronic device for supporting the same
US10996847B2 (en) Method for providing content search interface and electronic device for supporting the same
KR102391772B1 (ko) 터치 감응 디스플레이를 포함하는 전자 장치 및 이 전자 장치를 동작하는 방법
KR102335925B1 (ko) 네트워크 서비스를 위한 전자장치와 게이트웨이, 및 이를 위한 동작 방법
US10268364B2 (en) Electronic device and method for inputting adaptive touch using display of electronic device
US10990748B2 (en) Electronic device and operation method for providing cover of note in electronic device
US20150078613A1 (en) Context-sensitive gesture classification
KR102329761B1 (ko) 외부 장치의 선택 및 제어를 위한 전자 장치와 그의 동작 방법
KR102521214B1 (ko) 사용자 인터페이스를 표시하는 방법 및 이를 지원하는 전자 장치
KR102388590B1 (ko) 전자 장치 및 전자 장치의 입력 방법
KR20170119934A (ko) 제스처 입력을 처리하기 위한 전자 장치 및 방법
KR20160071139A (ko) 시선 캘리브레이션 방법 및 그 전자 장치
KR102274944B1 (ko) 오브젝트를 식별하는 전자 장치 및 방법
KR20170089655A (ko) 뷰 계층(뷰 레이어)들을 이용하여 입력을 처리하는 방법 및 전자장치
US20170097751A1 (en) Electronic device for providing one-handed user interface and method therefor
KR20180051002A (ko) 터치 스크린을 이용하는 전자 장치에서 애플리케이션의 실행을 제어하는 방법과 이를 위한 전자 장치
EP3131000B1 (en) Method and electronic device for processing user input
KR20160068494A (ko) 터치 입력을 처리하는 전자 장치 및 터치 입력을 처리하는 방법
KR20180109328A (ko) 생체 정보를 측정하기 위한 전자 장치 및 방법
US20180136904A1 (en) Electronic device and method for controlling electronic device using speech recognition
KR20160077772A (ko) 전자 장치 및 전자 장치에서 문자 입력을 처리하는 방법
KR20180055638A (ko) 전자 장치 및 음성 인식을 이용한 전자 장치의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application