KR20180096857A - 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템 - Google Patents

멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20180096857A
KR20180096857A KR1020170022474A KR20170022474A KR20180096857A KR 20180096857 A KR20180096857 A KR 20180096857A KR 1020170022474 A KR1020170022474 A KR 1020170022474A KR 20170022474 A KR20170022474 A KR 20170022474A KR 20180096857 A KR20180096857 A KR 20180096857A
Authority
KR
South Korea
Prior art keywords
function
gesture
user interface
content
user
Prior art date
Application number
KR1020170022474A
Other languages
English (en)
Other versions
KR101949493B1 (ko
Inventor
김대황
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020170022474A priority Critical patent/KR101949493B1/ko
Priority to US15/898,886 priority patent/US10877565B2/en
Publication of KR20180096857A publication Critical patent/KR20180096857A/ko
Application granted granted Critical
Publication of KR101949493B1 publication Critical patent/KR101949493B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템이 개시된다. 컴퓨터로 구현되는 사용자 인터페이스 방법은, 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스로 구성된 하나의 객체에 대한 사용자 제스처를 판단하는 단계; 및 상기 객체에 특정된 이전 기능을 상기 사용자 제스처에 대응되는 기능으로 변경하는 단계를 포함할 수 있다.

Description

멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR CONTROLLING PLAY OF MULTIMEIDA CONTENT}
아래의 설명은 멀티미디어 콘텐츠의 재생을 제어하는 사용자 인터페이스 기술에 관한 것이다.
멀티미디어 콘텐츠를 재생하기 위한 모바일 장치들에 대한 관심이 계속 증가하는 추세이다. 이러한 모바일 장치들에는, MP3 플레이어, PMP(Portable Multimedia Player), 스마트폰(smartphone), 웨어러블 디바이스(wearable device) 등이 있다. 사용자는 모바일 장치를 이용하여 장소에 구애받지 아니하고 멀티미디어 콘텐츠를 즐길 수 있다.
예컨대, 한국공개특허공보 제10-2012-0077504호(공개일 2012년 07월 10일)에는 호스트 장치로부터 제공되는 멀티미디어 콘텐츠를 재생하기 위한 멀티미디어 콘텐츠 처리 방법 및 시스템이 개시되어 있다.
하나의 버튼에 다양한 사용자 액션(user action, 즉 제스처)과 수행 기능을 연동할 수 있는 사용자 인터페이스 방법 및 시스템을 제공한다.
하나의 버튼을 이용하여 멀티미디어 콘텐츠의 제어와 관련된 다양한 기능들을 제공할 수 있는 사용자 인터페이스 방법 및 시스템을 제공한다.
컴퓨터로 구현되는 사용자 인터페이스 방법에 있어서, 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스로 구성된 하나의 객체에 대한 사용자 제스처를 판단하는 단계; 및 상기 객체에 특정된 이전 기능을 상기 사용자 제스처에 대응되는 기능으로 변경하는 단계를 포함하는 사용자 인터페이스 방법을 제공한다.
일 측면에 따르면, 상기 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스 화면에는 소정의 기준 영역과 상기 기준 영역 상에 표시되는 상기 객체가 포함되고, 상기 판단하는 단계는, 상기 기준 영역을 기준으로 상기 사용자 제스처를 판단할 수 있다.
다른 측면에 따르면, 상기 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스 화면에는 소정의 기준 영역과 상기 기준 영역 상에 표시되는 상기 객체가 포함되고, 상기 변경하는 단계는, 상기 기준 영역을 그대로 유지한 상태에서 상기 사용자 제스처에 대응하여 상기 객체의 표시 상태를 변경하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 객체의 표시 상태를 변경하는 단계는, 상기 객체에 대해 상기 사용자 제스처의 이동 방향과 이동 거리 및 이동 속도 중 적어도 하나에 대응하는 이미지 변화를 반영할 수 있다.
또 다른 측면에 따르면, 상기 객체의 표시 상태를 변경하는 단계는, 상기 객체 상에 상기 변경된 기능을 나타내는 기호를 표시할 수 있다.
또 다른 측면에 따르면, 상기 객체에 대해 변경된 기능에 따라 상기 콘텐츠의 재생을 제어하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 변경된 기능이 수행되면 상기 객체에 대해 상기 변경된 기능을 상기 이전 기능으로 다시 변경하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 판단하는 단계는, 상기 객체에 대한 터치 입력으로 수신된 이벤트의 최초 터치 좌표와 현재 터치 좌표 간의 거리를 측정하는 단계; 상기 측정된 거리가 임계 값 이상이 되는 이후 시점에 수신된 이벤트가 터치 해제에 따른 종료 이벤트인지 여부를 판단하는 단계; 상기 측정된 거리가 임계 값 이상이 되는 이후 시점에 수신된 이벤트가 상기 종료 이벤트가 아닌 경우 현재 터치 이동 속도를 측정하는 단계; 및 상기 현재 터치 이동 속도가 제로(0)인 경우 상기 사용자 제스처의 유형을 드래그(drag)로 구분하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 판단하는 단계는, 상기 측정된 거리가 임계 값 이상이 되는 이후 시점에 수신된 이벤트가 상기 종료 이벤트인 경우 상기 종료 이벤트의 이전 터치 이동 속도를 확인하는 단계; 및 상기 이전 터치 이동 속도가 제로(0)가 아닌 경우 상기 사용자 제스처의 유형을 플리킹(flicking) 또는 스와이프(swipe)로 구분하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 사용자 제스처의 유형을 플리킹 또는 스와이프로 구분하는 단계는, 상기 이전 터치 이동 속도와 상기 현재 터치 이동 속도 간의 속도 변화를 확인하여 변화 크기가 커진 경우 상기 사용자 제스처의 유형을 상기 플리킹으로 구분하고 변화 크기가 작아진 경우 상기 사용자 제스처의 유형을 상기 스와이프로 구분할 수 있다.
사용자 인터페이스 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서, 상기 사용자 인터페이스 방법은, 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스로 구성된 하나의 객체에 대한 사용자 제스처를 판단하는 단계; 및 상기 객체에 특정된 이전 기능을 상기 사용자 제스처에 대응되는 기능으로 변경하는 단계를 포함하는, 컴퓨터 프로그램을 제공한다.
컴퓨터로 구현되는 사용자 인터페이스 시스템에 있어서, 컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스로 구성된 하나의 객체에 대한 사용자 제스처를 판단하는 제스처 판단; 및 상기 객체에 특정된 이전 기능을 상기 사용자 제스처에 대응되는 기능으로 변경하는 변경부를 포함하는 사용자 인터페이스 시스템을 제공한다.
본 발명의 실시예들에 따르면, 하나의 버튼에 다양한 액션과 수행 기능을 연동하여 멀티미디어 콘텐츠의 제어와 관련된 다양한 기능들을 하나의 버튼으로 사용하도록 함으로써 제한된 영역에서 별도의 버튼 혹은 추가적인 탐색창(예컨대, seek bar 등)을 제공하기 위해 발생하는 공간 낭비를 줄일 수 있다.
도 1은 본 발명의 일 실시예에 있어서 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 컴퓨터 시스템의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 컴퓨터 시스템이 수행할 수 있는 사용자 인터페이스 방법의 예를 도시한 순서도이다.
도 4는 본 발명의 일실시예에 있어서 제스처 유형을 구분하는 과정의 예시를 도시한 것이다.
도 5 내지 도 11은 본 발명의 일실시예에 있어서 사용자 인터페이스 화면의 예시를 도시한 것이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 멀티미디어 콘텐츠의 재생을 제어하는 사용자 인터페이스 기술에 관한 것으로, 더욱 상세하게는 하나의 버튼을 이용하여 멀티미디어 콘텐츠의 제어와 관련된 다양한 기능들을 제공할 수 있는 사용자 인터페이스 방법 및 시스템에 관한 것이다.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 하나의 버튼에 다양한 사용자 액션과 수행 기능을 연동할 수 있고 이를 통해 비용 절감, 효율성, 편의성, 다양성 등의 측면에 있어서 상당한 장점들을 달성한다.
본 명세서에서 멀티미디어 콘텐츠는 문자, 음성, 영상 등의 다양한 정보 형태를 가진 정보 서비스 내용물을 포괄하여 의미할 수 있으며, 음악이나 각종 음성 안내 등과 같은 오디오 콘텐츠, 동영상이나 3D 영상 콘텐츠 등과 같은 비디오 콘텐츠 등을 포함할 수 있다. 이하에서는 멀티미디어 콘텐츠를 콘텐츠로 약칭하여 기재하기로 한다.
도 1은 본 발명의 일 실시예에 있어서 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다. 예를 들어, 본 발명의 실시예들에 따른 사용자 인터페이스 시스템이 도 1의 컴퓨터 시스템(100)을 통해 구현될 수 있다. 도 1에 도시한 바와 같이, 컴퓨터 시스템(100)은 사용자 인터페이스 방법을 실행하기 위한 구성요소로서 프로세서(110), 메모리(120), 영구 저장 장치(130), 버스(140), 입출력 인터페이스(150) 및 네트워크 인터페이스(160)를 포함할 수 있다.
프로세서(110)는 명령어들의 시퀀스를 처리할 수 있는 임의의 장치를 포함하거나 그의 일부일 수 있다. 프로세서(110)는 예를 들어 컴퓨터 프로세서, 이동 장치 또는 다른 전자 장치 내의 프로세서 및/또는 디지털 프로세서를 포함할 수 있다. 프로세서(110)는 예를 들어, 서버 컴퓨팅 디바이스, 서버 컴퓨터, 일련의 서버 컴퓨터들, 서버 팜, 클라우드 컴퓨터, 콘텐츠 플랫폼, 이동 컴퓨팅 장치, 스마트폰, 태블릿, 셋톱 박스, 미디어 플레이어 등에 포함될 수 있다. 프로세서(110)는 버스(140)를 통해 메모리(120)에 접속될 수 있다.
메모리(120)는 컴퓨터 시스템(100)에 의해 사용되거나 그에 의해 출력되는 정보를 저장하기 위한 휘발성 메모리, 영구, 가상 또는 기타 메모리를 포함할 수 있다. 메모리(120)는 예를 들어 랜덤 액세스 메모리(RAM: random access memory) 및/또는 동적 RAM(DRAM: dynamic RAM)을 포함할 수 있다. 메모리(120)는 컴퓨터 시스템(100)의 상태 정보와 같은 임의의 정보를 저장하는 데 사용될 수 있다. 메모리(120)는 예를 들어 오디오 콘텐츠의 재생을 제어하기 위한 명령어들을 포함하는 컴퓨터 시스템(100)의 명령어들을 저장하는 데에도 사용될 수 있다. 컴퓨터 시스템(100)은 필요에 따라 또는 적절한 경우에 하나 이상의 프로세서(110)를 포함할 수 있다.
버스(140)는 컴퓨터 시스템(100)의 다양한 컴포넌트들 사이의 상호작용을 가능하게 하는 통신 기반 구조를 포함할 수 있다. 버스(140)는 컴퓨터 시스템(100)의 컴포넌트들 사이에, 예를 들어 프로세서(110)와 메모리(120) 사이에 데이터를 운반할 수 있다. 버스(140)는 컴퓨터 시스템(100)의 컴포넌트들 간의 무선 및/또는 유선 통신 매체를 포함할 수 있으며, 병렬, 직렬 또는 다른 토폴로지 배열들을 포함할 수 있다.
영구 저장 장치(130)는 (예를 들어, 메모리(120)에 비해) 소정의 연장된 기간 동안 데이터를 저장하기 위해 컴퓨터 시스템(100)에 의해 사용되는 바와 같은 메모리 또는 다른 영구 저장 장치와 같은 컴포넌트들을 포함할 수 있다. 영구 저장 장치(130)는 컴퓨터 시스템(100) 내의 프로세서(110)에 의해 사용되는 바와 같은 비휘발성 메인 메모리를 포함할 수 있다. 영구 저장 장치(130)는 예를 들어 플래시 메모리, 하드 디스크, 광 디스크 또는 다른 컴퓨터 판독 가능 매체를 포함할 수 있다.
입출력 인터페이스(150)는 키보드, 마우스, 음성 명령 입력, 디스플레이 또는 다른 입력 또는 출력 장치에 대한 인터페이스들을 포함할 수 있다. 구성 명령들 및/또는 오디오 콘텐츠의 제어와 관련된 입력이 입출력 인터페이스(150)를 통해 수신될 수 있다.
네트워크 인터페이스(160)는 근거리 네트워크 또는 인터넷과 같은 네트워크들에 대한 하나 이상의 인터페이스를 포함할 수 있다. 네트워크 인터페이스(160)는 유선 또는 무선 접속들에 대한 인터페이스들을 포함할 수 있다. 구성 명령들은 네트워크 인터페이스(160)를 통해 수신될 수 있다. 그리고, 오디오 콘텐츠와 관련된 정보들은 네트워크 인터페이스(160)를 통해 수신 또는 송신될 수 있다.
또한, 다른 실시예들에서 컴퓨터 시스템(100)은 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 시스템(100)은 상술한 입출력 인터페이스(150)와 연결되는 입출력 장치들 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 컴퓨터 시스템(100)이 스마트폰과 같은 모바일 기기의 형태로 구현되는 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 컴퓨터 시스템(100)에 더 포함되도록 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 컴퓨터 시스템의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 컴퓨터 시스템이 수행할 수 있는 사용자 인터페이스 방법의 예를 도시한 순서도이다.
도 2에 도시된 바와 같이, 프로세서(110)는 제스처 판단부(210), 변경부(220), 및 콘텐츠 제어부(230)를 포함할 수 있다. 이러한 프로세서(110)의 구성요소들은 적어도 하나의 프로그램 코드에 의해 제공되는 제어 명령에 따라 프로세서(110)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 프로세서(110)가 터치 입력에 따른 제스처를 판단하도록 컴퓨터 시스템(100)을 제어하기 위해 동작하는 기능적 표현으로서 제스처 판단부(210)가 사용될 수 있다. 프로세서(110) 및 프로세서(110)의 구성요소들은 도 3의 사용자 인터페이스 방법이 포함하는 단계들(S310 내지 S340)을 수행할 수 있다. 예를 들어, 프로세서(110) 및 프로세서(110)의 구성요소들은 메모리(120)가 포함하는 운영체제의 코드와 상술한 적어도 하나의 프로그램 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 적어도 하나의 프로그램 코드는 사용자 인터페이스 방법을 처리하기 위해 구현된 프로그램의 코드에 대응될 수 있다.
사용자 인터페이스 방법은 도시된 순서대로 발생하지 않을 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다.
단계(S310)에서 프로세서(110)는 사용자 인터페이스 방법을 위한 프로그램 파일에 저장된 프로그램 코드를 메모리(120)에 로딩할 수 있다. 예를 들어, 사용자 인터페이스 방법을 위한 프로그램 파일은 도 1을 통해 설명한 영구 저장 장치(130)에 저장되어 있을 수 있고, 프로세서(110)는 버스를 통해 영구 저장 장치(130)에 저장된 프로그램 파일로부터 프로그램 코드가 메모리(120)에 로딩되도록 컴퓨터 시스템(110)을 제어할 수 있다. 이때, 프로세서(110) 및 프로세서(110)가 포함하는 제스처 판단부(210), 변경부(220), 및 콘텐츠 제어부(230) 각각은 메모리(120)에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(S320 내지 S340)을 실행하기 위한 프로세서(110)의 서로 다른 기능적 표현들일 수 있다. 단계들(S320 내지 S340)의 실행을 위해, 프로세서(110) 및 프로세서(110)의 구성요소들은 직접 제어 명령에 따른 연산을 처리하거나 또는 컴퓨터 시스템(100)을 제어할 수 있다.
단계(S320)에서 제스처 판단부(210)는 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스로 구성된 하나의 객체에 대하여 터치 입력에 따른 제스처를 판단할 수 있다. 이때, 제스처 판단부(210)는 터치스크린 상의 일부 영역으로 객체가 표시되는 소정 기준 영역을 기준으로 제스처를 판단할 수 있다. 제스처 판단부(210)는 객체에 대한 터치 입력을 바탕으로 제스처 유형을 판단할 수 있다. 제스처 유형의 예시로는 싱글 탭(single tap), 더블 탭(double tap), 드래그(drag), 스와이프(swipe), 플릭(flick), 로테이트(rotate) 등이 포함될 수 있다. 싱글 탭은 화면에 한 손가락을 한 번 터치한 후 즉시 터치를 해제하는 제스처를 말하고, 더블 탭은 화면에 한 손가락을 소정 시간 내에 2회 두드리는 제스처를 말한다. 드래그는 손가락을 떼지 않고 터치 상태를 계속 유지하면서 이동하는 제스처로, 시간과 방향의 제한 없이 사용자가 손가락을 뗄 때까지 드래깅(dragging)으로 인식할 수 있다. 스와이프는 손가락을 터치한 후 일직선으로 드래그하는 것을 의미하고, 시간의 제한은 없으나 직선 움직임이라는 제한이 있을 수 있다. 플릭은 스와이프보다 좀더 빠르게 한 방향으로 미는 제스처를 말한다. 상기한 제스처 유형들은 예시적인 것으로 이러한 것으로만 한정되지는 않는다. 아울러, 제스처 판단부(210)는 드래그, 스와이프, 플릭, 로테이트 등 연속적인 터치 입력 형태를 가지는 제스처 유형의 경우 터치 입력에 따른 이동 방향과 이동 거리 및 이동 속도 중 적어도 하나를 더 판단할 수 있다.
단계(S330)에서 변경부(220)는 단계(S320)에서 판단된 제스처에 대응하여 객체의 수행 기능과 표시 상태를 변경할 수 있다. 변경부(220)는 하나의 객체에 다양한 기능을 연동하는 것으로, 객체에 대해 콘텐츠의 제어와 관련된 여러 기능 중 제스처에 대응되는 수행 기능을 특정할 수 있다. 이때, 변경부(220)는 콘텐츠의 현재 재생 상태, 예컨대 콘텐츠가 재생 중인지 혹은 재생 중이 아닌지를 고려하여 제스처에 대응되는 수행 기능을 특정할 수 있다. 다시 말해, 객체에 특정되는 수행 기능이 제스처와 콘텐츠의 현재 재생 상태에 따라 결정될 수 있다.
표 1은 각 제스처 별로 객체에 특정되는 수행 기능의 예시들을 나타낸 것이다. 음악과 같은 음원을 콘텐츠의 일례로 설명하면 다음과 같다.
제스처 재생 상태 수행 기능
싱글 탭 재생 중이 아닌 경우 재생(play)
재생 중인 경우 정지(pause)
상/하 드래그 재생 중이 아닌 경우 음원 다운로드 기능 실행
재생 중인 경우 볼륨(volume) 제어
좌/우 드래그 재생 중이 아닌 경우 재생할 곡 선택 제어(previous/next song)
재생 중인 경우 구간 탐색(seeking)
좌/우 플릭 재생 중이 아닌 경우 재생 목록 노출 제어
재생 중인 경우 재생 속도(playback speed) 조절
좌/우 스와이프 재생 중이 아닌 경우 사전(dictionary) 기능 실행
재생 중인 경우 이퀄라이저(equalizer) 선택 제어
표 1을 참조하면, (1) 객체를 싱글 탭했을 때 (1-1) 콘텐츠가 현재 재생 중이 아닌 경우 객체의 수행 기능을 음원을 재생하기 위한 기능인 '재생'으로, (1-2) 콘텐츠가 현재 재생 중인 경우 객체의 수행 기능을 음원의 재생을 중단하기 위한 기능인 '정지'로 특정할 수 있다. (2) 객체를 상/하로 드래그 했을 때 (2-1) 콘텐츠가 현재 재생 중이 아닌 경우 객체의 수행 기능을 음원의 다운로드가 가능한 페이지로의 이동을 위한 기능인 '음원 다운로드 기능 실행'으로, (2-2) 콘텐츠가 현재 재생 중인 경우 객체의 수행 기능을 음원의 볼륨을 조절하기 위한 기능인 '볼륨 제어'로 특정할 수 있다. (3) 객체를 좌/우로 드래그 했을 때 (3-1) 콘텐츠가 현재 재생 중이 아닌 경우 객체의 수행 기능을 재생 목록 상에서 이전 또는 다음 순서의 음원을 선택하기 위한 기능인 '재생할 곡 선택 제어'로, (3-2) 콘텐츠가 현재 재생 중인 경우 객체의 수행 기능을 재생 중인 음원의 현재 재생 지점을 기준으로 일정 간격의 앞으로 혹은 뒤로 이동시키기 위한 기능인 '구간 탐색'으로 특정할 수 있다. (4) 객체를 좌/우로 플리킹 했을 때 (4-1) 콘텐츠가 현재 재생 중이 아닌 경우 객체의 수행 기능을 재생 목록을 표시하기 위한 기능인 '재생 목록 노출 제어'로, (4-2) 콘텐츠가 현재 재생 중인 경우 객체의 수행 기능을 현재 재생 중인 음원의 재생 속도(playback speed)를 조절하기 위한 기능인 '재생 속도 조절'로 특정할 수 있다. (5) 객체를 좌/우로 스와이프 했을 때 (5-1) 콘텐츠가 현재 재생 중이 아닌 경우 객체의 수행 기능을 사전 검색이 가능한 페이지로의 이동을 위한 기능인 '사전 기능 실행'으로, (5-2) 콘텐츠가 현재 재생 중인 경우 객체의 수행 기능을 이퀄라이저 셋팅을 변경하기 위한 기능인 '이퀄라이저 선택 제어'로 특정할 수 있다. 예를 들어, '이퀄라이저 선택 제어'는 프리셋이 Voice Only, Bgm Only, Custom으로 이루어진 경우 해당 프리셋의 순서를 이동하면서 선택된 이퀄라이저로 쉽게 적용할 수 있는 기능이다.
제스처 별 수행 기능은 사전에 설정되는 것이며, 표 1은 예시적인 것일 뿐 콘텐츠의 종류나 특성 등에 따라 얼마든지 변경 가능하다.
변경부(220)는 콘텐츠가 재생 중에 있을 때 제1 기능(예컨대, '정지')이 특정되어 있는 상태의 객체가 소정 기준 영역에서 오른쪽 방향으로 드래그되는 경우 소정 기준 영역은 그대로인 상태에서 객체의 이전 수행 기능(제1 기능)을 제2 기능(예컨대, '구간 탐색')으로 변경할 수 있다.
드래그, 스와이프, 플릭, 로테이트 등 연속적인 터치 입력 형태를 가지는 제스처 유형의 경우 터치 입력에 따른 이동 거리나 이동 속도에 따라 객체에 특정된 기능이 수행되는 정도나 크기가 달라질 수 있다. 예를 들어, '구간 탐색'의 경우 드래그의 이동 거리나 이동 속도에 비례하여 음원의 재생 시점을 이동하는 간격이 달라질 수 있다.
변경부(220)는 단계(S320)에서 판단된 제스처에 대해 소정 기준 영역을 그대로 유지한 상태에서 소정 기준 영역에 표시되는 객체를 해당 제스처에 대응하여 이동시킬 수 있다. 변경부(220)는 객체의 표시 상태에 제스처에 대응되는 애니메이션 효과를 적용할 수 있으며, 이때 터치 입력에 따른 이동 방향과 이동 거리 및 이동 속도 중 적어도 하나에 대응하는 이미지 변화를 반영할 수 있다. 또한, 변경부(220)는 객체에 특정되는 수행 기능에 대한 정보로서 해당 기능을 나타내는 기호(예컨대, '재생' 기능의 경우 '▷')를 객체 상에 표시할 수 있다. 다시 말해, 터치 입력으로 인해 변화된 값은 객체의 이미지 변화 또는 실시간 프로그레스 바(progress bar), 숫자나 기호 등으로 나타날 수 있다.
단계(S340)에서 콘텐츠 제어부(230)는 단계(S320)에서 판단된 제스처에 따라 기 설정된 동작을 수행할 수 있다. 일례로, 콘텐츠 제어부(230)는 객체에 대해 변경된 수행 기능에 따라 콘텐츠의 재생을 제어할 수 있다. 콘텐츠 제어부(230)는 콘텐츠에 대하여 객체에 대한 제스처에 따라 기 설정된 동작, 즉 단계(S330)에서 객체에 특정된 수행 기능을 수행할 수 있다. 이때, 콘텐츠 제어부(230)는 객체에 특정된 수행 기능으로서 제스처의 이동 방향에 대응되는 동작을 수행할 수 있고, 아울러 제스처의 이동 거리와 이동 속도 중 적어도 하나에 대응되는 세기로 해당 동작을 수행할 수 있다. 예를 들어, 객체를 오른쪽으로 드래그한 제스처의 경우 재생 중인 음원의 현재 재생 지점을 기준으로 일정 간격의 앞으로 구간 이동을 수행하고, 왼쪽으로 드래그한 제스처의 경우 일정 간격의 뒤로 구간 이동을 수행할 수 있다. 이때, 제스처의 이동 거리나 이동 속도가 클수록 음원의 재생 시점을 이동하는 간격이 커지게 된다.
도 4는 본 발명의 일실시예에 있어서 제스처 유형을 구분하는 과정의 예시를 도시한 것이다.
제스처 판단부(210)는 터치에 대해서 이벤트를 받을 수 있고, 터치가 시작된 순간부터 터치가 해제될 때까지 일정시간(예컨대, 50msec) 간격으로 터치 좌표를 전달 받을 수 있다. 이때, 제스처 판단부(210)는 터치의 시작과 종료를 이벤트를 통해서 알 수 있다.
제스처 판단부(210)는 터치가 시작된 이후 이벤트를 수신하는 경우(S401) 수신된 이벤트가 종료 이벤트인지 여부를 판단하고(S402), 이때 종료 이벤트가 수신된 경우 해당 터치 입력에 따른 제스처를 싱글 탭으로 구분할 수 있다(S403).
제스처 판단부(210)는 터치가 시작된 이후 수신된 이벤트가 종료 이벤트가 아닌 경우 상기 단계(S401)에서 수신된 이벤트의 터치 좌표(Xn, Yn)와 터치가 시작된 최초 터치 좌표(X0, Y0) 간의 거리를 측정할 수 있다(S404).
제스처 판단부(210)는 상기 단계(S404)에서 측정된 거리가 임계 값 이상인지 여부를 판단하여(S405) 측정 거리가 임계 값 미만인 경우 정지 상태의 터치 유형으로 판단하고 단계(S401)로 돌아가 상기한 과정을 반복 수행한다.
제스처 판단부(210)는 상기 단계(S404)에서 측정된 거리가 임계 값 이상이면 이동 상태의 터치 유형으로 판단하고 터치 이동 방향(예컨대, 상하좌우 4방향 중 어느 한 방향)을 판단 및 저장한다(S406).
이때, 제스처 판단부(210)는 현재 터치 이동 속도를 측정 및 저장한다.
수신된 터치 좌표가 {(X0, Y0)(초기 좌표), ..., (Xn-2, Yn-2), (Xn-1, Yn-1), (Xn, Yn)(현재 좌표)}라 할 때, 좌-우 이동 속도는 X 좌표 값을 사용하고 상-하 이동 속도는 Y 좌표 값을 사용하여 측정할 수 있다.
예를 들어, 좌-우 이동에 대한 현재 터치 이동 속도는 수학식 1과 같다.
[수학식 1]
현재 터치 이동 속도(px/ms)=(Xn-Xn-1)/임계시간(예컨대, 50msec)
종료 이벤트가 아닌 경우 이동 속도는 무조건 0이상으므로 연속적인 터치 이동인 드래그로 인식될 수 있다.
제스처 판단부(210)는 터치 유형을 이동 상태로 판단한 이후, 즉 상기 단계(S404)에서 측정된 거리가 임계 값 이상이 되는 이후 시점에 이벤트를 수신하는 경우(S407) 수신된 이벤트가 종료 이벤트인지 여부를 판단하고(S408), 이때 종료 이벤트가 아닌 경우 현재 터치 이동 속도를 측정 및 저장한다(S409). 터치 이동 속도를 측정하는 방식은 수학식 1을 포함하여 앞서 설명한 내용과 동일하다.
제스처 판단부(210)는 상기 단계(S409)에서 측정된 현재 터치 이동 속도가 0인지 여부를 판단하여(S410) 현재 터치 이동 속도가 0인 경우 해당 터치 입력에 따른 제스처를 드래그로 구분할 수 있다(S411). 다시 말해, 제스처 판단부(210)는 상기 단계(S407)에서 수신된 이벤트가 종료 이벤트는 아니나 상기 단계(S409)에서 측정된 현재 터치 이동 속도가 0인 경우 해당 제스처 유형을 드래그로 판단할 수 있다.
제스처 판단부(210)는 상기 단계(S409)에서 측정된 현재 터치 이동 속도가 0이 아니면 상기 단계(S407)로 돌아가 상기한 과정을 반복 수행한다.
한편, 제스처 판단부(210)는 상기 단계(S407)에서 수신된 이벤트가 종료 이벤트인 경우 이전 터치 이동 속도가 0인지 여부를 판단한다(S412).
예를 들어, 좌-우 이동에 대한 이전 터치 이동 속도는 수학식 2와 같다.
[수학식 2]
이전 터치 이동 속도(px/ms)=(Xn-1-Xn-2)/임계시간(예컨대, 50msec)
터치 좌표가 수신될 때마다 터치 이동 속도가 측정되어 이후 과정을 위해 저장될 수 있으며 이와 같이 저장된 값에서 이전 터치 이동 속도를 읽어와 이용할 수 있다.
제스처 판단부(210)는 상기 단계(S407)에서 수신된 이벤트가 종료 이벤트이고 이전 터치 이동 속도가 0인 경우 해당 터치 입력에 따른 제스처를 드래그 종료로 인식할 수 있다(S413).
한편, 제스처 판단부(210)는 상기 단계(S407)에서 수신된 이벤트가 종료 이벤트이나 이전 터치 이동 속도가 0이 아닌 경우 해당 터치 입력에 따른 제스처를 플리킹 또는 스와이프로 구분할 수 있다(S414). 이때, 제스처 판단부(210)는 현재 터치 이동 속도와 이전 터치 이동 속도 간의 속도 변화를 확인하여 부호 변화가 없고 크기(절대값)가 커진 경우 해당 제스처 유형을 플리킹으로 구분하고 부호 변화가 없고 크기(절대값)가 작아진 경우 해당 제스처 유형을 스와이프로 구분할 수 있다.
따라서, 제스처 판단부(210)는 터치의 시작과 종료를 이벤트를 통해서 인식할 수 있고, 이때 터치 좌표를 이용한 터치 이동 거리, 터치 이동 방향, 터치 이동 속도 등을 기초로 제스처 유형을 구분할 수 있다.
도 5 내지 도 11은 본 발명의 일실시예에 있어서 사용자 인터페이스 화면의 예시를 도시한 것이다.
도 5를 참조하면, 사용자 인터페이스 화면(500)은 사용자의 입력을 터치로 받는 터치스크린으로 구성될 수 있으며, 터치스크린에 표시되는 특정 영역인 기준 영역(510)과, 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스로 구성된 하나의 객체(520)가 포함될 수 있다. 이때, 기준 영역(510)은 고정되어 표시되고 객체(520)는 사용자에 의해 터치 조작이 가능한 대상으로 기준 영역(510) 상에 표시된다.
도 6에 도시한 바와 같이, 컴퓨터 시스템(100)에 사용자 인터페이스 화면(500)이 표시된 후 콘텐츠가 아직 재생되지 않은 초기 상태에서는 객체(520)에 '재생' 기능이 특정되고 객체(520) 상에 '재생' 기능을 나타내는 제1 기호(61)가 표시될 수 있다.
사용자가 '재생' 기능이 특정된 객체(520)를 싱글 탭하는 경우 콘텐츠의 재생이 시작되고 이때 객체(520)에 특정된 이전 기능인 '재생' 기능이 '정지' 기능으로 변경되면서 객체(520) 상에 '정지' 기능을 나타내는 제2 기호(62)가 표시될 수 있다.
사용자가 '정지' 기능이 특정된 객체(520)를 싱글 탭하는 경우 콘텐츠의 재생이 중단되고 이때 객체(520)에 특정된 이전 기능인 '정지' 기능이 '재생' 기능으로 다시 변경되면서 객체(520) 상에 '재생' 기능을 나타내는 제1 기호(61)가 다시 표시될 수 있다.
상기한 '재생' 기능과 '정지' 기능은 객체(520)에 특정되는 초기 기능인 제1 기능으로 객체(520)에 대한 싱글 탭에 의해 콘텐츠의 재생 여부에 따라 교차적으로 변경 적용된다. 즉, 객체(520)의 제1 기능은 콘텐츠가 재생 중이 아닌 경우 '재생' 기능으로, 콘텐츠가 재생 중인 경우 '정지' 기능으로 특정될 수 있다.
이후, 제1 기능이 특정된 객체(520)에 대해 드래그, 스와이프, 플릭, 로테이트 등의 제스처가 입력되는 경우 객체(520)의 제1 기능을 해당 제스처에 대응되는 제2 기능으로 변경함과 동시에 변경된 제2 기능을 즉시 수행한다. 그리고, 제2 기능의 수행이 완료되면 객체(520)의 수행 기능이 이전 초기 기능인 제1 기능으로 다시 변경될 수 있다.
도 7을 참조하면, 제1 기능인 '정지' 기능이 특정된 객체(520)에 대해(현재 콘텐츠가 재생 중임) 사용자가 왼쪽 방향으로 드래그 하면 객체(520)에 특정된 이전 기능인 '정지' 기능이 '뒤로 구간 이동' 기능으로 변경되고 객체(520) 상에 '뒤로 구간 이동' 기능을 나타내는 제3 기호(73)가 표시될 수 있다. 객체(520)의 수행 기능이 '뒤로 구간 이동' 기능으로 변경됨과 동시에 변경된 기능에 따라 재생 중인 콘텐츠의 재생 지점이 일정 간격의 뒤로 이동할 수 있다.
한편, 제1 기능인 '정지' 기능이 특정된 객체(520)에 대해(현재 콘텐츠가 재생 중임) 사용자가 오른쪽 방향으로 드래그 하면 객체(520)에 특정된 이전 기능인 '정지' 기능이 '앞으로 구간 이동' 기능으로 변경되고 객체(520) 상에 '앞으로 구간 이동' 기능을 나타내는 제4 기호(74)가 표시될 수 있다. 객체(520)의 수행 기능이 '앞으로 구간 이동' 기능으로 변경됨과 동시에 변경된 기능에 따라 재생 중인 콘텐츠의 재생 지점이 일정 간격의 앞으로 이동할 수 있다.
객체(520)의 수행 기능이 '정지' 기능에서 '뒤로 구간 이동' 기능 혹은 '앞으로 구간 이동' 기능으로 변경된 경우 변경된 기능의 수행이 완료된 시점에는 객체(520)의 수행 기능이 다시 이전 초기 기능인 '정지' 기능으로 다시 변경된다.
도 8을 참조하면, 제1 기능인 '정지' 기능이 특정된 객체(520)에 대해(현재 콘텐츠가 재생 중임) 사용자가 위쪽 방향으로 드래그 하면 객체(520)에 특정된 이전 기능인 '정지' 기능이 '볼륨 업' 기능으로 변경되고 객체(520) 상에 '볼륨 업' 기능을 나타내는 제5 기호(85)가 표시될 수 있다. 객체(520)의 수행 기능이 '볼륨 업' 기능으로 변경됨과 동시에 변경된 기능에 따라 재생 중인 콘텐츠의 재생 볼륨을 일정 레벨만큼 높일 수 있다.
한편, 제1 기능인 '정지' 기능이 특정된 객체(520)에 대해(현재 콘텐츠가 재생 중임) 사용자가 아래쪽 방향으로 드래그 하면 객체(520)에 특정된 이전 기능인 '정지' 기능이 '볼륨 다운' 기능으로 변경되고 객체(520) 상에 '볼륨 다운' 기능을 나타내는 제6 기호(86)가 표시될 수 있다. 객체(520)의 수행 기능이 '볼륨 다운' 기능으로 변경됨과 동시에 변경된 기능에 따라 재생 중인 콘텐츠의 재생 볼륨을 일정 레벨만큼 낮출 수 있다.
객체(520)의 수행 기능이 '정지' 기능에서 '볼륨 업' 기능 혹은 '볼륨 다운' 기능으로 변경된 경우 변경된 기능의 수행이 완료된 시점에는 객체(520)의 수행 기능이 다시 이전 초기 기능인 '정지' 기능으로 다시 변경된다.
'볼륨 업' 기능과 '볼륨 다운' 기능을 상/하 드래그가 아닌 다른 제스처 유형, 예컨대 로테이트를 적용하는 것 또한 가능하다.
도 9를 참조하면, 제1 기능인 '정지' 기능이 특정된 객체(520)에 대해(현재 콘텐츠가 재생 중임) 사용자가 시계 방향으로 로테이트 하면 객체(520)에 특정된 이전 기능인 '정지' 기능이 '볼륨 업' 기능으로 변경되고 객체(520) 상에 '볼륨 업' 기능을 나타내는 제5 기호(95)가 표시될 수 있다.
한편, 제1 기능인 '정지' 기능이 특정된 객체(520)에 대해(현재 콘텐츠가 재생 중임) 사용자가 시계 반대 방향으로 로테이트 하면 객체(520)에 특정된 이전 기능인 '정지' 기능이 '볼륨 다운' 기능으로 변경되고 객체(520) 상에 '볼륨 다운' 기능을 나타내는 제6 기호(96)가 표시될 수 있다.
컴퓨터 시스템(100)은 도 10에 도시한 바와 같이 콘텐츠 제어를 위한 사용자 인터페이스 화면(500)과 함께 콘텐츠의 재생 지점을 표시해주는 프로그레스 바(1030)를 제공할 수 있다. 이때, 콘텐츠가 재생 중인 경우 객체(520)의 수행 기능이 '정지' 기능으로 특정되고 객체(520) 상에 '정지' 기능을 나타내는 제2 기호(62)가 표시될 수 있다. 그리고, 프로그레스 바(1030)에는 현재 재생 중인 콘텐츠의 재생 위치를 나타내는 기본 바(1031)가 표시될 수 있다.
현재 콘텐츠가 재생 중인 환경에서 객체(520)에 콘텐츠의 전체 재생 구간에서 적어도 일부 구간을 지정하여 지정 구간을 반복하는 '리피트' 기능을 연동하는 것 또한 가능하다.
도 11을 참조하면, 사용자가 '정지' 기능이 특정된 객체(520)를 더블 탭하는 경우 객체(520)에 특정된 이전 기능인 '정지' 기능이 반복하고자 하는 구간의 시점인 A 지점을 지정하기 위한 'A 지점 선택' 기능으로 변경되고 객체(520) 상에 'A 지점 선택' 기능을 나타내는 제7 기호(117)가 표시될 수 있다. 객체(520)의 수행 기능이 'A 지점 선택' 기능으로 변경됨과 동시에 변경된 기능에 따라 재생 중인 콘텐츠의 현재 재생 위치가 A 지점(1101)으로 설정될 수 있다.
콘텐츠의 현재 재생 위치가 A 지점(1101)을 기준으로 앞으로 혹은 뒤로 이동한 상태에서 사용자가 'A 지점 선택' 기능이 특정된 객체(520)를 더블 탭하는 경우 객체(520)에 특정된 이전 기능인 'A 지점 선택' 기능이 반복하고자 하는 구간의 종점인 B 지점을 지정하기 위한 'B 지점 선택' 기능으로 변경되고 객체(520) 상에 'B 지점 선택' 기능을 나타내는 제8 기호(118)가 표시될 수 있다. 객체(520)의 수행 기능이 'B 지점 선택' 기능으로 변경됨과 동시에 변경된 기능에 따라 재생 중인 콘텐츠의 현재 재생 위치가 B 지점(1102)으로 설정될 수 있다.
반복하고자 하는 구간의 시점(A지점)(1101)과 종점(B지점)(1102)이 지정된 후에는 콘텐츠의 전체 재생 구간 중 시점(A지점)(1101)에서 종점(B지점)(1101)까지의 구간이 반복적으로 재생될 수 있다.
사용자가 'B 지점 선택' 기능이 특정된 객체(520)를 더블 탭하는 경우 구간 반복 재생이 해제될 수 있고, 동시에 객체(520)에 특정된 이전 기능인 'B 지점 선택' 기능이 '정지' 기능으로 다시 변경되면서 객체(520) 상에 '정지' 기능을 나타내는 제2 기호(62)가 다시 표시될 수 있다.
도 5 내지 도 11을 통해 설명한 제스처와 제스처 별 수행 기능은 예시적인 것으로 이에 한정되는 것은 아니며, 컴퓨터 시스템(100)에서 인식 가능한 모든 제스처와 컴퓨터 시스템(100)에서 구현 가능한 모든 기능을 각각 대응시켜 적용할 수 있다.
이와 같이, 콘텐츠의 제어와 관련된 수행 기능 각각에 대해 서로 다른 제스처 유형을 사전에 정의할 수 있으며, 사용자의 터치 입력에 따른 제스처 유형에 따라 해당 제스처에 대응되는 수행 기능을 객체에 특정함으로써 하나의 객체에 다양한 기능을 연동할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터로 구현되는 사용자 인터페이스 방법에 있어서,
    콘텐츠의 재생을 제어하기 위한 사용자 인터페이스로 구성된 하나의 객체에 대한 사용자 제스처를 판단하는 단계; 및
    상기 객체에 특정된 이전 기능을 상기 사용자 제스처에 대응되는 기능으로 변경하는 단계
    를 포함하는 사용자 인터페이스 방법.
  2. 제1항에 있어서,
    상기 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스 화면에는 소정의 기준 영역과 상기 기준 영역 상에 표시되는 상기 객체가 포함되고,
    상기 판단하는 단계는,
    상기 기준 영역을 기준으로 상기 사용자 제스처를 판단하는 것
    을 특징으로 하는 사용자 인터페이스 방법.
  3. 제1항에 있어서,
    상기 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스 화면에는 소정의 기준 영역과 상기 기준 영역 상에 표시되는 상기 객체가 포함되고,
    상기 변경하는 단계는,
    상기 기준 영역을 그대로 유지한 상태에서 상기 사용자 제스처에 대응하여 상기 객체의 표시 상태를 변경하는 단계
    를 포함하는 사용자 인터페이스 방법.
  4. 제3항에 있어서,
    상기 객체의 표시 상태를 변경하는 단계는,
    상기 객체에 대해 상기 사용자 제스처의 이동 방향과 이동 거리 및 이동 속도 중 적어도 하나에 대응하는 이미지 변화를 반영하는 것
    을 특징으로 하는 사용자 인터페이스 방법.
  5. 제3항에 있어서,
    상기 객체의 표시 상태를 변경하는 단계는,
    상기 객체 상에 상기 변경된 기능을 나타내는 기호를 표시하는 것
    을 특징으로 하는 사용자 인터페이스 방법.
  6. 제1항에 있어서,
    상기 객체에 대해 변경된 기능에 따라 상기 콘텐츠의 재생을 제어하는 단계
    를 더 포함하는 사용자 인터페이스 방법.
  7. 제6항에 있어서,
    상기 변경된 기능이 수행되면 상기 객체에 대해 상기 변경된 기능을 상기 이전 기능으로 다시 변경하는 단계
    를 더 포함하는 사용자 인터페이스 방법.
  8. 제1항에 있어서,
    상기 판단하는 단계는,
    상기 객체에 대한 터치 입력으로 수신된 이벤트의 최초 터치 좌표와 현재 터치 좌표 간의 거리를 측정하는 단계;
    상기 측정된 거리가 임계 값 이상이 되는 이후 시점에 수신된 이벤트가 터치 해제에 따른 종료 이벤트인지 여부를 판단하는 단계;
    상기 측정된 거리가 임계 값 이상이 되는 이후 시점에 수신된 이벤트가 상기 종료 이벤트가 아닌 경우 현재 터치 이동 속도를 측정하는 단계; 및
    상기 현재 터치 이동 속도가 제로(0)인 경우 상기 사용자 제스처의 유형을 드래그(drag)로 구분하는 단계
    를 포함하는 사용자 인터페이스 방법.
  9. 제8항에 있어서,
    상기 판단하는 단계는,
    상기 측정된 거리가 임계 값 이상이 되는 이후 시점에 수신된 이벤트가 상기 종료 이벤트인 경우 상기 종료 이벤트의 이전 터치 이동 속도를 확인하는 단계; 및
    상기 이전 터치 이동 속도가 제로(0)가 아닌 경우 상기 사용자 제스처의 유형을 플리킹(flicking) 또는 스와이프(swipe)로 구분하는 단계
    를 더 포함하는 사용자 인터페이스 방법.
  10. 제9항에 있어서,
    상기 사용자 제스처의 유형을 플리킹 또는 스와이프로 구분하는 단계는,
    상기 이전 터치 이동 속도와 상기 현재 터치 이동 속도 간의 속도 변화를 확인하여 변화 크기가 커진 경우 상기 사용자 제스처의 유형을 상기 플리킹으로 구분하고 변화 크기가 작아진 경우 상기 사용자 제스처의 유형을 상기 스와이프로 구분하는 것
    을 특징으로 하는 사용자 인터페이스 방법.
  11. 사용자 인터페이스 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서,
    상기 사용자 인터페이스 방법은,
    콘텐츠의 재생을 제어하기 위한 사용자 인터페이스로 구성된 하나의 객체에 대한 사용자 제스처를 판단하는 단계; 및
    상기 객체에 특정된 이전 기능을 상기 사용자 제스처에 대응되는 기능으로 변경하는 단계
    를 포함하는, 컴퓨터 프로그램.
  12. 컴퓨터로 구현되는 사용자 인터페이스 시스템에 있어서,
    컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    콘텐츠의 재생을 제어하기 위한 사용자 인터페이스로 구성된 하나의 객체에 대한 사용자 제스처를 판단하는 제스처 판단; 및
    상기 객체에 특정된 이전 기능을 상기 사용자 제스처에 대응되는 기능으로 변경하는 변경부
    를 포함하는 사용자 인터페이스 시스템.
  13. 제12항에 있어서,
    상기 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스 화면에는 소정의 기준 영역과 상기 기준 영역 상에 표시되는 상기 객체가 포함되고,
    상기 변경부는,
    상기 기준 영역을 그대로 유지한 상태에서 상기 사용자 제스처에 대응하여 상기 객체의 표시 상태를 변경하는 것
    을 특징으로 하는 사용자 인터페이스 시스템.
  14. 제13항에 있어서,
    상기 변경부는,
    상기 객체에 대해 상기 사용자 제스처의 이동 방향과 이동 거리 및 이동 속도 중 적어도 하나에 대응하는 이미지 변화를 반영하는 것
    을 특징으로 하는 사용자 인터페이스 시스템.
  15. 제13항에 있어서,
    상기 변경부는,
    상기 객체 상에 상기 변경된 기능을 나타내는 기호를 표시하는 것
    을 특징으로 하는 사용자 인터페이스 시스템.
  16. 제12항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 객체에 대해 변경된 기능에 따라 상기 콘텐츠의 재생을 제어하는 콘텐츠 제어부
    를 더 포함하는 사용자 인터페이스 시스템.
  17. 제16항에 있어서,
    상기 변경부는,
    상기 변경된 기능이 수행되면 상기 객체에 대해 상기 변경된 기능을 상기 이전 기능으로 다시 변경하는 것
    을 특징으로 하는 사용자 인터페이스 시스템.
  18. 제12항에 있어서,
    상기 제스처 판단부는,
    상기 객체에 대한 터치 입력으로 수신된 이벤트의 최초 터치 좌표와 현재 터치 좌표 간의 거리를 측정하고,
    상기 측정된 거리가 임계 값 이상이 되는 이후 시점에 수신된 이벤트가 터치 해제에 따른 종료 이벤트인지 여부를 판단하고,
    상기 측정된 거리가 임계 값 이상이 되는 이후 시점에 수신된 이벤트가 상기 종료 이벤트가 아닌 경우 현재 터치 이동 속도를 측정하고,
    상기 현재 터치 이동 속도가 제로(0)인 경우 상기 사용자 제스처의 유형을 드래그(drag)로 구분하는 것
    을 특징으로 하는 사용자 인터페이스 시스템.
  19. 제18항에 있어서,
    상기 제스처 판단부는,
    상기 측정된 거리가 임계 값 이상이 되는 이후 시점에 수신된 이벤트가 상기 종료 이벤트인 경우 상기 종료 이벤트의 이전 터치 이동 속도를 확인하고,
    상기 이전 터치 이동 속도가 제로(0)가 아닌 경우 상기 사용자 제스처의 유형을 플리킹(flicking) 또는 스와이프(swipe)로 구분하는 것
    을 특징으로 하는 사용자 인터페이스 시스템.
  20. 제19항에 있어서,
    상기 제스처 판단부는,
    상기 이전 터치 이동 속도와 상기 현재 터치 이동 속도 간의 속도 변화를 확인하여 변화 크기가 커진 경우 상기 사용자 제스처의 유형을 상기 플리킹으로 구분하고 변화 크기가 작아진 경우 상기 사용자 제스처의 유형을 상기 스와이프로 구분하는 것
    을 특징으로 하는 사용자 인터페이스 시스템.
KR1020170022474A 2017-02-20 2017-02-20 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템 KR101949493B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170022474A KR101949493B1 (ko) 2017-02-20 2017-02-20 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템
US15/898,886 US10877565B2 (en) 2017-02-20 2018-02-19 Method and system for controlling play of multimedia content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170022474A KR101949493B1 (ko) 2017-02-20 2017-02-20 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180096857A true KR20180096857A (ko) 2018-08-30
KR101949493B1 KR101949493B1 (ko) 2019-02-19

Family

ID=63167122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170022474A KR101949493B1 (ko) 2017-02-20 2017-02-20 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템

Country Status (2)

Country Link
US (1) US10877565B2 (ko)
KR (1) KR101949493B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102469722B1 (ko) * 2018-09-21 2022-11-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN110134237B (zh) * 2019-05-13 2022-10-25 Oppo广东移动通信有限公司 界面控制方法及相关设备
CN111459394A (zh) * 2020-03-13 2020-07-28 深圳传音控股股份有限公司 交互方法、终端及计算机可读存储介质
CN112181271A (zh) * 2020-09-30 2021-01-05 北京字节跳动网络技术有限公司 用于多媒体应用的信息处理方法、装置和电子设备
CN113286159B (zh) * 2021-05-14 2022-05-31 北京字跳网络技术有限公司 应用程序的页面显示方法、装置和设备
CN116546284A (zh) * 2022-03-31 2023-08-04 荣耀终端有限公司 视频进度调整方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842733B1 (ko) * 2007-02-05 2008-07-01 삼성전자주식회사 터치스크린을 구비한 멀티미디어 재생장치의 사용자인터페이스 방법
JP2011141632A (ja) * 2010-01-06 2011-07-21 Square Enix Co Ltd ユーザインタフェース処理装置、ユーザインタフェース処理方法、およびユーザインタフェース処理プログラム
KR20120107289A (ko) * 2011-03-21 2012-10-02 주식회사 네오위즈인터넷 미디어 재생을 제어하는 방법, 장치 및 기록매체
KR20130052749A (ko) * 2011-04-15 2013-05-23 엘지전자 주식회사 터치 기반 사용자 인터페이스 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120077504A (ko) 2010-12-30 2012-07-10 삼성전자주식회사 멀티미디어 콘텐츠 처리 방법 및 시스템
WO2013169875A2 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US9430142B2 (en) * 2014-07-17 2016-08-30 Facebook, Inc. Touch-based gesture recognition and application navigation
US10430067B2 (en) * 2014-12-18 2019-10-01 Rovi Guides, Inc. Methods and systems for presenting scrollable displays
US9883265B2 (en) * 2015-01-05 2018-01-30 Braven, Lc Wireless speaker and system
JP2016218963A (ja) * 2015-05-26 2016-12-22 富士通株式会社 情報処理装置、入力制御プログラム及び入力制御方法
KR102378440B1 (ko) * 2015-10-13 2022-03-25 삼성전자주식회사 전자 장치 및 전자 장치의 오디오 출력 방법
US20180143800A1 (en) * 2016-11-22 2018-05-24 Microsoft Technology Licensing, Llc Controls for dictated text navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842733B1 (ko) * 2007-02-05 2008-07-01 삼성전자주식회사 터치스크린을 구비한 멀티미디어 재생장치의 사용자인터페이스 방법
JP2011141632A (ja) * 2010-01-06 2011-07-21 Square Enix Co Ltd ユーザインタフェース処理装置、ユーザインタフェース処理方法、およびユーザインタフェース処理プログラム
KR20120107289A (ko) * 2011-03-21 2012-10-02 주식회사 네오위즈인터넷 미디어 재생을 제어하는 방법, 장치 및 기록매체
KR20130052749A (ko) * 2011-04-15 2013-05-23 엘지전자 주식회사 터치 기반 사용자 인터페이스 장치 및 방법

Also Published As

Publication number Publication date
KR101949493B1 (ko) 2019-02-19
US20180239437A1 (en) 2018-08-23
US10877565B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
KR101949493B1 (ko) 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템
US9411422B1 (en) User interaction with content markers
US9588658B2 (en) Display information controlling apparatus and method
AU2011341876B2 (en) Method and apparatus for controlling touch screen using timeline bar, recording medium with program for the same recorded therein, and user terminal having the same
CN106687922B (zh) 参数惯性和api
KR102101070B1 (ko) 미디어 컨텐츠의 재생 시점을 제어하는 방법 및 장치
JP2022519981A (ja) 可変速度音素発音機械
EP3059973A1 (en) System and method for multi-track playback of media content
WO2020029556A1 (zh) 自适应平面的方法、装置和计算机可读存储介质
CN110825280A (zh) 控制虚拟物体位置移动的方法、装置和计算机可读存储介质
US8698772B2 (en) Visual object manipulation
KR102433903B1 (ko) 사용자 맞춤형 미디어 콘텐츠 표시 방법
TWI768407B (zh) 預測控制方法、輸入系統及電腦可讀取記錄媒體
CN110827413B (zh) 控制虚拟物体形态改变的方法、装置和计算机可读存储介质
US20170068514A1 (en) Electronic device and method for controlling the same
JP7609513B2 (ja) インタラクション基盤の情報提供方法およびシステム
WO2020029555A1 (zh) 用于平面间无缝切换的方法、装置和计算机可读存储介质
JP2017182649A (ja) 発表資料の作成を支援するプログラム、装置、及び方法
KR101918705B1 (ko) 인지 부하를 줄이기 위한 화면 구성 방법 및 시스템
US20150133213A1 (en) Controller-Based Video Editing
JP7183295B2 (ja) メディアプレーヤを制御する方法およびシステム
KR102493345B1 (ko) 프로그래스 바를 이용한 영상 탐색 방법 및 시스템
US20120290931A1 (en) Apparatus and method for arranging supplementary information for media elements
JP2015007844A (ja) ユーザインタフェース装置、ユーザインタフェース方法およびプログラム
US11765333B1 (en) Systems and methods for improved transitions in immersive media

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170220

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180402

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20181024

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180402

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20181024

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180517

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20181130

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20181120

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20181024

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20180517

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190212

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190213

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220103

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20221221

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20231226

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20241223

Start annual number: 7

End annual number: 7