KR101417614B1 - 오브젝트형 멀티미디어 인터랙션 방법 - Google Patents

오브젝트형 멀티미디어 인터랙션 방법 Download PDF

Info

Publication number
KR101417614B1
KR101417614B1 KR1020130032597A KR20130032597A KR101417614B1 KR 101417614 B1 KR101417614 B1 KR 101417614B1 KR 1020130032597 A KR1020130032597 A KR 1020130032597A KR 20130032597 A KR20130032597 A KR 20130032597A KR 101417614 B1 KR101417614 B1 KR 101417614B1
Authority
KR
South Korea
Prior art keywords
content
area
displaying
user
indication
Prior art date
Application number
KR1020130032597A
Other languages
English (en)
Inventor
김상식
정성관
박효주
박준석
신용철
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130032597A priority Critical patent/KR101417614B1/ko
Application granted granted Critical
Publication of KR101417614B1 publication Critical patent/KR101417614B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

오브젝트형 멀티미디어 인터랙션 방법이 개시된다. 오브젝트형 멀티미디어 인터랙션 방법은, 검색 결과에 해당되는 콘텐츠 목록으로 이루어진 콘텐츠 영역을 표시하되, 상기 콘텐츠 목록 중 하나의 콘텐츠를 포커싱 하여 표시하는 콘텐츠 영역 표시 단계; 및 상기 콘텐츠 목록에 포함된 콘텐츠 별로 각각의 콘텐츠를 지시하는 오브젝트(object)로 구성된 지시 영역을 표시하는 지시 영역 표시 단계를 포함할 수 있으며, 이때 상기 콘텐츠 영역 표시 단계는 사용자에 의해 상기 지시 영역에서 하나의 오브젝트가 선택되는 경우 상기 선택된 오브젝트가 지시하는 콘텐츠를 포커싱 할 수 있다.

Description

오브젝트형 멀티미디어 인터랙션 방법{INTERACTION METHOD OF OBJECT-ORIENTED MULTI-MEDIA}
본 발명의 실시예들은 멀티미디어 검색에 있어서 검색 시스템이 검색 결과를 표시하고 사용자가 이 결과물을 내비게이션 함에 있어서 새로운 인터랙션 방법을 통하여 조작하게 하는 기술에 관한 것이다.
최근 들어 사용자 제작 콘텐츠(UCC) 제작 기술과 유투브(youTube)를 대표로 하는 콘텐츠 공유 기술이 발달하면서 멀티미디어 자원의 활용도가 과거에 비해 상당히 높아져 있다. 스마트폰이 대중화 되면서 멀티미디어 자원에 대한 검색과 내비게이션이 활성화 되었지만 현재의 검색 및 내비게이션 시스템은 멀티미디어 자원의 특성을 잘 살리지 못하는 방법으로 제공되고 있다.
현재의 검색 및 내비게이션 시스템 하에서 멀티미디어 자원을 검색한 결과로 기존 콘텐츠 목록 표현 방식인 리스트, 테이블, 커버 플로우 방식 중 하나를 이용하여 검색 결과를 제공하고 있다. 이러한 표현 방식은 사용자가 멀티미디어 자원 검색 결과를 이용하여 원하는 결과물을 찾아 소비하는 데에 각각 다음과 같은 특징과 한계점을 가지고 있다.
도 1은 콘텐츠 목록 표현 방식 중 리스트 방식의 기본 구조를 도시한 것이다.
리스트 방식의 경우, 가장 널리 쓰이고 있는 콘텐츠 표시 방식으로 다양한 정렬 기준(날짜 순, 평점 순 등)을 적용하기 유리하다. 도 1을 참조하면, 일반적으로 좌측에 콘텐츠의 썸네일(101)을, 우측에 콘텐츠에 대한 설명(102)을 제공하며, 다른 방식에 비해 콘텐츠에 대한 정보를 자세히 표시하기에 유리하다. 예컨대, 리스트 방식에 따른 콘텐츠 목록 표현은 도 2와 같다. 사용자가 콘텐츠에 대한 설명을 천천히 읽으면서 탐색하기에는 좋은 방식이다. 그러나, 리스트 방식은 빠르게 스키밍(skiming)하기에는 설명을 읽어야 하기에 다소 비효율적이다. 멀티미디어 자원의 경우 설명을 읽으면서 내용을 파악하기 보다는 하이라이트 영상과 간단한 설명을 이용하여 빠르게 내용 전달을 하는 것이 효율적이고 강한 인상을 남길 수 있다.
도 3은 콘텐츠 목록 표현 방식 중 테이블 방식의 기본 구조를 도시한 것이다.
테이블 방식의 경우, 도 3에 도시한 바와 같이 콘텐츠를 격자 모양의 테이블(표) 상에 배치하여 보여주는 방식이다. 한 화면에 더 많은 콘텐츠를 표현할 수 있다는 장점이 있다. 썸네일 이미지(301)만으로도 콘텐츠를 쉽게 식별할 수 있는 경우 리스트 방식에 비해 유리한 방법이다. 다만 개별 콘텐츠에 할당되는 공간의 크기가 리스트에 비해 현저하게 작기 때문에 표현할 수 있는 정보의 양이 훨씬 적은 편이다. 예를 들어, 테이블 방식에 따른 콘텐츠 목록 표현은 도 4와 같으며 영화 목록의 경우 영화의 제목, 평균 별점, 러닝 타임 등만 제한적으로 표현되는 방식이다. 이러한 테이블 방식은 특히 가로 너비가 협소하기 때문에 텍스트 정보를 표현하는 데에 불리하며 상대적으로 사용자의 집중도가 떨어지는 문제점이 있다. 이러한 방식을 활용할 때에는 제한된 공간 내에서 표현할 핵심 정보를 선정하고 축약하는 과정이 매우 중요하다.
도 5는 콘텐츠 목록 표현 방식 중 커버 플로우 방식의 기본 구조를 도시한 것이다.
커버 플로우 방식의 경우, 도 5에 도시한 바와 같이 포커싱 된 콘텐츠(510)를 중심으로 주변에 다른 콘텐츠(520)를 대략적으로(작거나 단순하게) 보여주는 방식이다. 애플 아이폰에서 도입된 이후 터치스크린 디바이스에서 미디어 브라우징에 자주 사용되고 있으며 최근에는 PC 애플리케이션에까지 적용되는 추세이다. 포커싱 된 콘텐츠(510)의 정보를 좀 더 자세히 볼 수 있으면서도 빠르게 콘텐츠 목록을 스키밍 할 수 있다는 장점이 있다. 예컨대, 커버 플로우 방식에 따른 콘텐츠 목록 표현은 도 6과 같으며, 대표적인 정보 시각화 방식 중 하나인 피시아이 뷰(Fisheye View)가 효과적으로 구현된 사례라고 할 수 있다. 그러나, 커버 플로우 방식은 포커싱 되지 않은 콘텐츠(520)에 대하여 썸네일 이외의 정보를 확인할 수 없다는 단점이 있다. 또한, 도 7을 참조하면, 커버 플로우의 슬라이드 바(730)는 멀티미디어를 위한 슬라이드 바가 아닌, 썸네일들을 내비게이션 하는 용도로서 전체 검색결과에 대한 슬라이드 바로서 내비게이션용 상태 막대(scroll box)(731)만으로 구성된다.
상기한 콘텐츠 목록 표현 방식들의 한계점은 다음과 같다.
1. 리스트 방식 검색 및 내비게이션 방법:
리스트 방식은 검색 결과를 표시하는 방법에 있어서 텍스트 결과를 표시하는데 적합한 방식이다. 리스트 방식에 있어서 멀티미디어 자원의 검색 결과는 결과당 하나의 썸네일과 그에 대한 설명으로 이루어져 있다. 이는 다음과 같은 문제점이 있다.
- 검색 결과물이 썸네일과 그에 대한 설명으로 이루어져 있어서 이것만 가지고 원하는 멀티미디어 자원인지 확인하기 위해서는 추가로 원본 링크를 클릭하여 원본 멀티미디어 확인 작업이 필요하다.
- 검색 결과들의 내비게이션 방법에 있어서 리스트 스크롤, 원본 멀티미디어 링크 확인 외에 다른 내비게이션 방법이 없다.
- 검색 결과 1개에 대하여 원하는 검색 결과인지 확인하기 위해서는 리스트 스크롤, 설명 읽기, 원본 멀티미디어 링크 클릭, 플레이어 구동, 원본 멀티미디어 내 재생 위치 내비게이션, 원하는 영상이 아닐 경우 동영상 플레이어 종료 등 1개의 검색 결과를 확인하는데 최소 6 스텝이 필요하여 멀티미디어를 검색하는 시간이 상당히 많이 필요하다.
- 멀티미디어 자원 검색 결과가 멀티미디어 형태가 아닌 이미지 및 텍스트 방식으로 나타난다는 문제점이 다.
- 멀티미디어 자원 검색 결과가 이미지 및 텍스트 형태로 나타나 있어서 원하는 결과를 찾는다는 1가지 목적을 리스트 확인, 원본 멀티미디어 자원 확인의 두 가지 분리된 조작을 반복하며 수행하는 사용자 경험 상 문제점이 있다.
2. 테이블 방식 검색 및 내비게이션 방법
테이블 방식은 검색 결과를 표시하는 방법에 있어서 이미지 결과를 표시하는데 적합한 방식이다. 테이블 방식에 있어서 멀티미디어 자원의 검색 결과는 결과당 하나의 썸네일과 그에 대한 간략한 설명으로 이루어져 있다. 이는 다음과 같은 문제점이 있다.
- 검색 결과물이 좀 더 큰 썸네일과 그에 대한 간단한 설명으로 이루어져 있지만 이것만 가지고 원하는 멀티미디어 자원인지 확인하기 위해서는 추가로 원본 링크를 클릭하여 원본 멀티미디어 확인 작업이 필요하다.
- 검색 결과들의 내비게이션 방법에 있어서 리스트 스크롤, 원본 멀티미디어 링크 확인 외에 다른 내비게이션 방법이 없다.
- 검색 결과 1개에 대하여 원하는 검색 결과인지 확인하기 위해서는 리스트 스크롤, 설명 읽기, 원본 멀티미디어 링크 클릭, 플레이어 구동, 원본 멀티미디어 내 재생 위치 내비게이션, 원하는 영상이 아닐 경우 동영상 플레이어 종료 등 1개의 검색 결과를 확인하는데 최소 6 스텝이 필요하여 멀티미디어를 검색하는 시간이 상당히 많이 필요하다.
- 멀티미디어 자원 검색 결과가 멀티미디어 형태가 아닌 이미지 및 텍스트 방식으로 나타난다는 문제점이 있다.
- 멀티미디어 자원 검색 결과가 이미지 및 텍스트 형태로 나타나 있어서 원하는 결과를 찾는다는 1가지 목적을 리스트 확인, 원본 멀티미디어 자원 확인의 두 가지 분리된 조작을 반복하며 수행하는 사용자 경험 상 문제점이 있다.
3. 커버 플로우 방식 검색 및 내비게이션 방법
커버 플로우 방식은 검색 결과를 표시하는 방법에 있어서 이미지 결과를 터치 인터페이스를 통해 직관적으로 조작하는데 적합한 방식이다. 커버 플로우 방식에 있어서 멀티미디어 자원의 검색 결과는 결과들이 입체적으로 배치되고 포커스가 있는 결과가 좀 더 자세하게 표시되는 방법이다. 이는 다음과 같은 문제점이 있다.
- 검색 결과물이 포커스가 있는 결과에 대해 좀 더 자세히 표현하고 그 외의 결과들은 간략화 하여 사용자가 조작하기 쉽도록 인터페이스가 이루어져 있지만 이것만 가지고 원하는 멀티미디어 자원인 지 확인하기 위해서는 추가로 원본 링크를 클릭하여 원본 멀티미디어 확인 작업이 필요하다.
- 검색 결과들의 내비게이션 방법에 있어서 터치에 의한 커버 플로우 스크롤 조작, 원본 멀티미디어 링크 확인 외에 다른 내비게이션 방법이 없다.
- 검색 결과 1개에 대하여 원하는 검색 결과인지 확인하기 위해서는 커버 플로우 스크롤, 설명 읽기, 원본 멀티미디어 링크 클릭, 플레이어 구동, 원본 멀티미디어 내 재생 위치 내비게이션, 원하는 영상이 아닐 경우 동영상 플레이어 종료 등 1개의 검색 결과를 확인하는데 최소 6 스텝이 필요하여 멀티미디어를 검색하는 시간이 상당히 많이 필요하다.
- 멀티미디어 자원 검색 결과가 멀티미디어 형태가 아닌 이미지 및 텍스트 방식으로 나타난다는 문제점이 있다.
- 멀티미디어 자원 검색 결과가 이미지 및 텍스트 형태로 나타나 있어서 원하는 결과를 찾는다는 1가지 목적을 리스트 확인, 원본 멀티미디어 자원 확인의 두 가지 분리된 조작을 반복하며 수행하는 사용자 경험 상 문제점이 있다.
요컨대, 기존 방식들은 1) 멀티미디어 자원의 검색 결과를 표현함에 있어서 정지된 이미지 및 텍스트로 표현하여 원하는 멀티미디어 자원을 찾기 위해서는 결과물 원본 전체를 확인해야 하는 점, 2) 검색 결과의 내비게이션 방법이 결과들의 스크롤 조작 및 원본 멀티미디어 링크 확인의 두 가지 방법 외에는 없다는 점, 3) 검색 결과 1개를 확인하는데 있어서 사용자 인터랙션 단계가 너무 많다는 점, 4) 멀티미디어 자원 검색 결과가 이미지 및 텍스트 방식으로 표현 된다는 점, 5) 원하는 멀티미디어 자원을 찾기 원한다는 1가지 목적에 대하여 리스트 조작, 원본 멀티미디어 자원 확인의 두 가지 분리된 조작 사용에 불과하다는 점 등의 한계가 있다.
본 명세서에서는 사용자가 멀티미디어 자원을 검색하고 검색 결과를 내비게이션 함에 있어 멀티미디어 자원의 특징을 더욱 부각시킬 수 있는 새로운 인터랙션 기술을 제안한다.
본 발명은 상기한 종래 콘텐츠 목록 표현 방식의 문제점들을 해결하기 위한 것으로, 멀티미디어에 대한 검색 결과를 표시하고 검색 결과물을 내비게이션 함에 있어 새로운 인터랙션 방법을 제공할 수 있다.
본 발명의 실시예에 따르면, 오브젝트형 멀티미디어 인터랙션 방법은, 검색 결과에 해당되는 콘텐츠 목록으로 이루어진 콘텐츠 영역을 표시하되, 상기 콘텐츠 목록 중 하나의 콘텐츠를 포커싱 하여 표시하는 콘텐츠 영역 표시 단계; 및 상기 콘텐츠 목록에 포함된 콘텐츠 별로 각각의 콘텐츠를 지시하는 오브젝트(object)로 구성된 지시 영역을 표시하는 지시 영역 표시 단계를 포함할 수 있으며, 이때 상기 콘텐츠 영역 표시 단계는 사용자에 의해 상기 지시 영역에서 하나의 오브젝트가 선택되는 경우 상기 선택된 오브젝트가 지시하는 콘텐츠를 포커싱 할 수 있다.
본 발명의 실시예예에 따르면, 오브젝트형 멀티미디어 인터랙션 방법은, 검색 결과에 해당되는 콘텐츠 목록으로 이루어진 콘텐츠 영역을 표시하되, 상기 콘텐츠 목록 중 하나의 콘텐츠를 포커싱 하여 표시하는 콘텐츠 영역 표시 단계; 및 상기 콘텐츠 목록에 포함된 콘텐츠 별로 각각의 콘텐츠를 지시하는 오브젝트로 구성된 지시 영역을 표시하는 지시 영역 표시 단계를 포함할 수 있으며, 이때 상기 지시 영역은 상기 콘텐츠 각각에 대하여 적어도 하나의 하이라이트(highlight) 부분을 지시하는 오브젝트로 구성될 수 있고, 상기 콘텐츠 영역 표시 단계는 사용자에 의해 상기 지시 영역에서 하나의 오브젝트가 선택되는 경우 상기 선택된 오브젝트가 지시하는 하이라이트 부분을 포커싱 할 수 있다.
일 측면에 따르면, 오브젝트형 멀티미디어 인터랙션 방법은 상기 지시 영역에 대하여 이동 가능하여 상기 지시 영역에서 하나의 오브젝트를 선택하는데 이용되는 인디케이터(indicator)를 표시하기 위한 인디케이터 표시 단계를 더 포함할 수 있다.
다른 측면에 따르면, 상기 지시 영역 표시 단계는 상기 오브젝트를 상기 지시 영역의 전체 길이에 대하여 상기 콘텐츠의 재생 길이에 대응되는 비율로 배치할 수 있다.
또 다른 측면에 따르면, 상기 사용자로부터 상기 콘텐츠 영역의 마지막에 배치된 최하위 콘텐츠 또는 상기 지시 영역의 마지막에 배치된 최하위 오브젝트에 대한 이동 명령이 입력되는 경우 추가의 검색 결과가 제공될 수 있다.
또 다른 측면에 따르면, 상기 지시 영역 표시 단계는 상기 사용자에 의해 선택된 적어도 하나의 오브젝트를 상기 지시 영역과 별개의 영역에 독립형 오브젝트(stand alone object)로 표시할 수 있다.
또 다른 측면에 따르면, 상기 지시 영역 표시 단계는 상기 사용자에 의해 선택된 적어도 하나의 오브젝트를 상기 지시 영역 내에서 상기 사용자가 원하는 위치로 이동하여 표시할 수 있다.
또 다른 측면에 따르면, 상기 지시 영역 표시 단계는 상기 사용자에 의해 선택된 적어도 하나의 오브젝트를 상기 지시 영역 내에서 삭제하거나 상기 지시 영역 내에서 상기 사용자가 원하는 위치로 복사하여 표시할 수 있다.
또 다른 측면에 따르면, 상기 콘텐츠 영역 표시 단계 및 상기 지시 영역 표시 단계는 상기 사용자가 검색어를 변경하는 경우 상기 콘텐츠 영역 및 상기 지시 영역을 재구성할 수 있다.
또 다른 측면에 따르면, 상기 콘텐츠 영역 표시 단계 및 상기 지시 영역 표시 단계는 상기 사용자에 의해 선택된 정렬 기준에 따라 상기 콘텐츠 영역 및 상기 지시 영역을 재구성할 수 있다.
또 다른 측면에 따르면, 상기 사용자로부터 상기 콘텐츠 영역 또는 상기 지시 영역에 대한 멀티 터치가 입력되는 경우 상기 멀티 터치의 입력 정도에 따라 상기 콘텐츠 목록에 포함된 콘텐츠의 개수가 결정될 수 있다.
또 다른 측면에 따르면, 상기 인디케이터 표시 단계는 상기 인디케이터의 이동이 가능하고 상기 인디케이터의 이동 정도에 따라 상기 포커싱 된 콘텐츠의 재생 속도를 조절하기 위한 조절 수단을 표시할 수 있다.
또 다른 측면에 따르면, 상기 지시 영역 표시 단계는 상기 사용자로부터 상기 지시 영역에 대한 멀티 터치가 입력되는 경우 상기 멀티 터치에 의해 특정된 오브젝트가 지시하는 하이라이트 부분의 원본 콘텐츠를 확인한 후 상기 특정된 오브젝트를 상기 원본 콘텐츠를 지시하는 확장형 오브젝트로 전환할 수 있다.
또 다른 측면에 따르면, 상기 멀티 터치의 입력 정도에 따라 상기 확장형 오브젝트가 지시하는 상기 원본 콘텐츠의 크기가 결정될 수 있다.
또 다른 측면에 따르면, 상기 지시 영역 표시 단계는 상기 하이라이트 부분이 상기 원본 콘텐츠에서 해당되는 위치에 따라 상기 확장형 오브젝트 상에 상기 하이라이트 부분을 지시하는 오브젝트를 겹쳐서 표시할 수 있다.
또 다른 측면에 따르면, 상기 지시 영역 표시 단계는 상기 하이라이트 부분에 태깅된 부가 정보를 표시할 수 있다.
본 발명의 실시예에 따르면, 사용자는 멀티미디어 자원을 검색하고 내비게이션 함에 있어서 기존 방법이 제공하지 못했던 인터랙션의 직관성, 효율성, 및 다양한 새로운 경험을 얻을 수 있으며, 구체적으로 다음과 같은 효과가 있다.
1) 사용자는 여러 개의 멀티미디어 자원 검색 결과를 하나의 멀티미디어 자원을 내비게이션 하는 것처럼 좀 더 직관적으로 검색 결과를 확인할 수 있다.
2) 멀티미디어 자원 검색 결과를 하이라이트 모음의 형태로 제공받음으로써 검색된 각 멀티미디어 자원의 전체 내용을 확인하지 않고 하이라이트를 보고 판단할 수 있다.
3) 검색 결과를 새로운 멀티미디어 자원으로 저장하거나 검색 결과 중 불필요한 내용을 실시간으로 삭제하거나 또는 필요한 내용을 추가하는 다양한 작업을 수행할 수 있다.
4) 각 검색 결과를 확인하는데 있어서 수행해야 할 인터랙션의 단계가 단 한번의 스크롤 막대를 이용한 멀티미디어 자원 플레이 위치 지정 작업 또는 두 번의 반복 정도로 크게 줄어들게 된다.
5) 멀티미디어 검색에 대한 결과물을 멀티미디어 형태로 확인할 수 있는 직관적인 새로운 경험을 할 수 있다.
6) 각 검색 결과물을 확인하는 단계에서 사용자가 수행해야 하는 인터랙션이 스크롤 막대를 이용한 멀티미디어 자원 플레이 위치 지정 작업 이라는 한 가지 방법의 인터랙션으로 끊어지지 않고 부드럽게 연결되어 좀 더 나은 사용자 경험을 제공받을 수 있다.
도 1 내지 도 7은 종래 기술에 따른 검색에 의한 콘텐츠 목록 표현 방식을 설명하기 위한 예시 도면이다.
도 8 내지 도 37은 본 발명의 일 실시예에 있어서, 오브젝트형 멀티미디어 인터랙션 방법에서의 콘텐츠 목록 표현 방식을 설명하기 위한 예시 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 멀티미디어 자원을 검색 내지 이용함에 있어 텍스트 기반의 검색 및 내비게이션 환경을 개선하여 좀 더 손쉽고 효율적이고 직관적인 수단을 통해 멀티미디어 자원을 인터랙션 할 수 있는 방법을 제공한다.
본 발명의 오브젝트형 멀티미디어 인터랙션 방법은 멀티미디어 자원의 검색 및 내비게이션 방법에 있어서의 새로운 사용자 인터랙션 방법을 제안하는 것으로, 기존의 멀티미디어 인터랙션 방법을 개선한 새로운 구조의 검색 및 내비게이션 시스템을 제안함으로써 사용자에게 새로운 경험을 제공하고자 한다.
본 오브젝트형 멀티미디어 인터랙션 방법은 편의상 기존의 방법의 문제점들을 분석하고 새로운 해결 방법을 통하여 문제를 해결했지만 기존의 방법을 완전히 무시하고 새로운 시스템을 개발해야 하는 것은 아니며 기존의 검색 및 내비게이션 시스템에 접목되어 좀 더 나은 사용자 경험을 제공할 수 있는 기술이다.
이하에서는 오브젝트형 멀티미디어 인터랙션 방법의 중심이 되는 핵심 아이디어를 설명하고 기존의 멀티미디어 자원 검색/활용 기술인 커버 플로우 방식을 개선하는 형태로 내용 전개를 진행한다. 그러나, 본 발명이 커버 플로우 방식에 의존성을 가지는 것은 아니며 본 발명만의 독자적인 새로운 인터페이스 환경을 구축할 수도 있다. 이는 앞으로의 시장 상황에 따라 결정되는 것이므로 본 명세서에서는 키 아이디어를 설명하는 방식으로 커버 플로우 방식과 연계하여 설명하도록 한다.
요소 기술 1: 멀티미디어 자원 검색에 대한 오브젝트형 멀티미디어 스트리밍 결과 제공 기술
이는, 멀티미디어 자원 검색에 대하여 그 결과물로서 오브젝트형 멀티미디어 스트리밍을 제공하는 기술이다.
도 8은 발명을 검증하기 위하여 제작한 프로토타입 프로그램으로서 본 발명의 여러 아이디어를 담고 있다. 사용자가 검색 창에서 검색을 수행하면 그 검색에 대한 결과 멀티미디어 자원들(810)이 얻어지는데, 시스템은 이를 기존의 방법이 아닌 도 8에서 보는 바와 같이 하나의 멀티미디어 자원인 것처럼 표시하는 것이다.
이때 각 검색 결과들(810)은 그 재생 길이에 따라 슬라이더(801)의 전체 길이에서 일정 비율로 배치되며 사용자가 슬라이더(801)에서 인디케이터(indicator)(802)를 한 멀티미디어 영역에서 다른 멀티미디어 영역으로 옮기면 해당 영역의 멀티미디어가 자연스럽게 재생된다. 본 발명에서의 시스템을 이용하면 사용자는 검색을 위해 검색 키워드 하나를 입력한 후 그 결과들에 대하여 슬라이더(801)의 인디케이터(802)를 이동시키면서 각 영상에 대하여 확인 가능하다.
도 8의 프로그램을 단순화 하면 도 9와 같은 형태의 그림이 되며, 도 9는 컴포넌트형 멀티미디어 내비게이션 시스템 구조를 도시한 것이다.
도 9에서 A는 멀티미디어 자원 재생 영역, B는 스크롤 바 또는 슬라이더 영역, C는 게이지 영역, D는 멀티미디어 자원의 설명영역이다. A는 멀티미디어 자원이 재생되는 영역을 의미하고, B는 멀티미디어 자원을 내비게이션 하기 위한 슬라이더 또는 스크롤 바 영역이다. C는 검색 결과들에 대해서 그 길이만큼 각각 구분된 영역으로 표시하여 사용자가 B의 인디케이터(902)를 이동하며 각 멀티미디어 자원의 원하는 위치를 플레이 시킬 수 있도록 하는 게이지 영역이다. 마지막으로 D는 멀티미디어 자원에 대한 썸네일과 설명 등이 들어갈 수 있는 영역이다.
도 9에서는 B와 C를 구분했지만 실제로는 도 10과 같이 하나로 합쳐질 수도 있다.
도 10은 커버 플로우에 본 발명의 아이디어를 적용하여 개선한 것이다.
도 10에서는 B와 같이 슬라이더와 게이지가 하나로 합쳐진 형태(이하, '슬라이더 게이지'라 칭함)이며 이와 같은 형태로 사용자는 A를 터치&드래그 하여 멀티미디어 자원들을 내비게이션 하거나 B의 인디케이터(1002)를 이동하여 각 검색 결과들을 내비게이션 할 수 있다.
도 11에 도시한 검색 결과와 슬라이드 바 포인터를 참조하면, 슬라이드 바 게이지의 각 색이 변하는 위치는 검색 결과 멀티미디어 자원(1110)의 가장 앞부분을 의미하며, 사용자가 스크롤 바나 슬라이더 영역에서 인디케이터(1102)의 위치를 이동함에 따라 각 검색 결과가 자동으로 플레이 되는 것이 본 요소 기술의 핵심이다.
요소 기술 2: 멀티미디어 자원 검색에 대한 오브젝트형 멀티미디어 하이라이트 결과 제공 기술
일반적으로 멀티미디어 자원을 검색한 결과들은 그 결과 하나 하나를 모두 확인하기에 상당히 긴 시간이 소요된다. 이를 보안하기 위하여 사용자의 검색에 대하여 그 결과 멀티미디어 자원들을 요약해서 작은 크기의 클립들로 구성된 단일 멀티미디어 하이라이트를 보여주는 것이 현실적으로 효과적이다. 도 11과 같이 원본 멀티미디어 자원을 슬라이더에 표시하여 모두 보여줄 수도 있지만 본 발명의 목적이 사용자가 원하는 멀티미디어 자원을 효과적이고 빠르게 찾을 수 있도록 하는 것이므로 멀티미디어 검색 결과에 대하여 해당 결과물을 가장 잘 이해하기 쉽도록 하이라이트 부분(요약된 멀티미디어 자원)을 기본적으로 표시해 주는 것이 효과적이다. 따라서, 슬라이더 게이지와 원본 멀티미디어 자원은 다음과 같은 구조를 가질 수 있다.
도 12는 검색 결과의 하이라이트 뷰를 도시한 것이다.
도 12와 같은 형태로 검색 결과(1210)에 대하여 슬라이더 게이지(1201)를 표현할 경우, 사용자는 검색과 동시에 요약된 멀티미디어 자원(즉, 하이라이트 부분)을 하나의 스트리밍 파일을 보는 것처럼 확인할 수 있다. 이는 멀티미디어 자원에 대한 검색 및 내비게이션을 좀 더 빠르게 할 것이다.
요소 기술 3: 하이라이트 및 원본 멀티미디어 자원 간 스위칭 기술
도 12의 구조와 같이 하이라이트 멀티미디어 자원을 표시하여 내비게이션 할 경우 사용자가 원본 멀티미디어 자원을 확인하고자 할 때 편리하게 접근할 수 있도록 만들어 줘야 한다.
도 13은 슬라이더 게이지에 대한 멀티터치 기술을 설명하기 위한 도면이고, 도 14는 멀티터치에 따른 하이라이트/원본 멀티미디어 자원을 표현한 것이다.
도 13에 따르면, 사용자가 슬라이더 게이지(1301)에 멀티터치로 하이라이트 영역을 확장하는 경우 도 14와 같이 원본 멀티미디어 자원에 대한 슬라이더 게이지(1401)로 확장할 수 있으며, 이때 슬라이더 게이지(1401)를 통해 원본 멀티미디어 자원에서 하이라이트가 어느 부분인지 확인 가능하다. 이러한 조작 가운데에서도 화면 표시 영역에서의 멀티미디어 자원 플레이는 변함이 없으며 사용자가 멀티터치로 영역을 확장한 경우 인디케이터(1402)가 하이라이트 부분을 지나면 도 15와 같이 자연스럽게 원본 멀티미디어 자원 플레이로 연계된다.
도 13의 멀티터치에 의한 원본 멀티미디어 자원의 확장 정도는 하이라이트를 중심으로 멀티터치의 정도만큼 표현될 수 있다.
예컨대, 도 16을 참조하면 원본 멀티미디어 자원의 길이가 0-100초이고 하이라이트의 위치가 10-20초라면 사용자의 멀티터치에 따른 슬라이더 게이지(1601)의 표현은 멀티터치의 정도에 따라 단계적으로 A에서 C까지 5-50초, 1-90초, 0-100초의 형태로 늘어날 수 있다. 슬라이더 게이지(1601)가 멀티 터치에 의해 원본 전체를 표현했다면 C와 같이 원본 멀티미디어 전체가 표현되었음을 표시해 주는 것이 필요하다.
사용자는 언제라도 검색 결과 멀티미디어 자원들을 내비게이션 할 수 있으며, 도 17과 같이 슬라이더 게이지(1701)가 확장된 상태에서 사용자가 멀티미디어 자원 재생 영역(1710)을 내비게이션 했을 때 내비게이션 결과에 따라 도 18과 같은 형태로 슬라이더 게이지(1801)가 변화한다.
요소 기술 4: 멀티터치에 의한 슬라이더 게이지 범위 변환 기술
사용자는 상황에 따라서 멀티미디어 자원 재생 영역에 표시할 멀티미디어 결과의 수를 달리 하고자 할 수 있다.
도 19에서 보는 바와 같이, 사용자가 멀티미디어 자원 재생 영역(1910) 또는 슬라이더 게이지 영역(1901)에서 줌 아웃(zoom-out)과 같은 멀티터치를 행할 때 시스템은 사용자의 터치에 의해 화면에 표시할 멀티미디어 결과의 범위를 확장할 수 있다. 도 20는 멀티 터치 정도에 따른 검색 결과 화면의 변화를 보여 주는 것이며 사용자는 터치에 의해 한번에 보고자 하는 멀티미디어 검색 결과를 많게 또는 적게 제어할 수 있다. 다시 말해, 사용자가 터치에 의해 멀티미디어 자원 재생 영역 또는 슬라이더 게이지 영역에서 줌 인(zoon-in)과 같은 멀티터치를 행하는 경우 멀티미디어 자원 재생 영역에 표시되는 멀티미디어 검색 결과의 수가 증가하고, 줌 아웃과 같은 멀티터치를 행하는 경우 멀티미디어 자원 재생 영역에 표시되는 멀티미디어 검색 결과의 수는 감소하게 된다.
요소 기술 5: 슬라이더 게이지 드래그 이동 기술
사용자는 도 21과 같이 슬라이더 게이지(2101)의 인디케이터(2102)를 이동하여 멀티미디어 자원 재생 영역(2110)에 포커싱 되는 멀티미디어 자원을 이동시킬 수도 있지만 도 22와 같이 슬라이더 게이지(2201) 상의 게이지 부분을 직접 터치하여 이동할 수도 있다. 도 22와 같은 경우 인디케이터(2202)의 위치는 변화하지 않고 슬라이더 게이지(2201) 내에서 게이지 영역만이 위치가 변경될 수 있다. 멀티미디어 재생은 인디케이터(2202)가 게이지에 해당하는 위치에서부터 재생이 되며 사용자는 작은 인디케이터(2202)를 조준해서 터치하려고 하는 부담 없이 직접 게이지 부분을 쉽게 터치/드래그 하여 원하는 위치를 재생할 수 있다.
요소 기술 6: 슬라이더 게이지 이동에 따른 추가 검색 기술
기본적으로 슬라이더 게이지는 검색된 결과를 모두 표현하지만 수많은 검색 결과를 모두 검색하여 표현하기는 현실적으로 어려우므로 한번에는 일정한 수의 검색 결과만 표시하고 사용자가 원할 때마다 추가로 검색하여 결과를 표현하는 것이 필요하다.
도 10에 도시한 바와 같이 사용자가 검색한 멀티미디어 결과들이 표현되어 있을 때 사용자가 도 23과 같이 슬라이더 게이지(2301)를 이동하면 최우측에 공백을 표시하여 슬라이더 게이지(2301)가 끝났음을 사용자에게 표현할 수 있다. 이후, 다시 사용자가 도 24와 같이 슬라이더 게이지(2401)를 이동하면 추가 멀티미디어 자원을 검색하여 도 25와 같이 멀티미디어 자원 재생 영역(2510)과 슬라이더 게이지(2501) 상에 추가의 검색 결과를 표현할 수 있다.
요소 기술 7: 인디케이터 조작에 의한 재생 속도 조절 기술
본 발명의 멀티미디어 하이라이트들이 원본 멀티미디어 자원을 요약한 것이라 할지라도 사용자 입장에서 플레이 하는데 너무 긴 시간이 소요되거나 또는 멀티미디어 재생이 빠르게 느껴질 수 있다. 사용자가 멀티미디어를 재생하는 속도를 손쉽게 변경하게 하기 위하여 본 발명에서는 슬라이더 게이지 상의 인디케이터를 이용하여 재생 속도를 손쉽게 변경하고 현재 플레이 속도를 직관적으로 표현할 수 있도록 하는 방법을 제안한다.
사용자는 각 멀티미디어 검색 결과를 내비게이션 함에 있어서 플레이 속도를 증가하거나 감소하도록 하기 위하여 인디케이터를 조작할 수 있다. 예컨대, 도 26의 (1)과 같이 인디케이터(2602)를 터치한 후 1초 정도의 시간이 흐르면 도 26의 (2)와 같이 인디케이터(2602)가 중심이 되는 상하 바(2603)가 나타나고 이때 사용자가 상하 바(2603)를 통해 인디케이터(2602)를 상하로 이동하는 정도에 따라 멀티미디어 자원이 재생하는 속도가 달라질 수 있다. 이때 도 26-(2)와 같이 인디케이터(2602)의 인접한 위치에 자세한 재생 속도(2604)가 원본 재생 속도의 배수로 표시될 수 있으며 사용자가 손을 뗀 이후에는 상하 바(2603)가 사라지고 도 26의 (3)과 같이 인디케이터(2602)에 막대의 형태로 현재 재생 속도에 대한 결과 정보(2605)가 표현될 수 있다.
요소 기술 8: 오브젝트 독립( stand alone ) 기술
사용자는 멀티미디어 검색 결과에 대하여 특정 오브젝트만 별도로 담아두기 원할 수 있다. 본 발명은 사용자가 검색 결과를 가지고 새로운 멀티미디어 파일로 저장하는 경우를 고려하므로 사용자가 멀티미디어 검색 결과를 가지고 새로운 멀티미디어 제작을 원하는 경우에 이와 같은 기술이 필요하다.
사용자가 도 27의 (1)과 같이 슬라이더 게이지(2701) 상에 포함된 어느 하나의 오브젝트를 터치한 후 슬라이더 게이지 영역(2701) 밖으로 이동하면 그때부터 해당 오브젝트는 도 27의 (2)와 같이 별도의 독립된 오브젝트로서 존재하게 된다. 사용자의 오브젝트 이동에 따른 슬라이더 게이지(2701)의 변화는 도 27의 (2)와 같이 밖으로 이동한 오브젝트 공백을 그 다음 오브젝트들이 채우는 형태로 변화한다. 사용자 조작에 의한 최종적인 형태는 도 28과 같다.
도 28을 참조하면, 사용자가 독립형 오브젝트(2806)를 터치하면 독립형 오브젝트(2806) 상에 새로운 인디케이터(2807)가 생성되며 멀티미디어 자원 재생 영역(2810)에서는 독립형 오브젝트에 해당되는 멀티미디어 자원이 중앙에 포커싱 되어 플레이 될 수 있다. 사용자는 독립형 오브젝트(2806) 상의 인디케이터(2807)를 이용하여 해당 자원의 재생 위치 이동이 가능하며 원본 멀티미디어 자원 이용은 도 14에서 설명한 것과 동일한 방법으로 사용 가능하다.
요소 기술 9: 슬라이더 게이지 내 오브젝트 제어 기술
슬라이더 게이지 내 오브젝트들은 요소기술 8과 유사한 방식을 통해 그 순서를 이동하거나 복제 또는 삭제 등 편집이 가능하다.
일 예로, 도 29에 도시한 바와 같이 사용자는 (1) 슬라이더 게이지(2901) 내 임의 오브젝트(2906)를 터치하여 선택한 상태에서 이동시켜 (2) 슬라이더 게이지(2901) 내의 원하는 위치에 넣음으로써 오브젝트들의 재생 순서를 바꿀 수 있다.
다른 예로, 도 30을 참조하면 사용자가 (1) 슬라이더 게이지(3001) 내 임의 오브젝트(3006)를 길게 터치하면 오브젝트 관련 메뉴(3008)가 실행되고 이때 오브젝트 관련 메뉴(3008)에서 '복사'를 선택한 후 (2) 해당 오브젝트를 이동시켜 (3) 슬라이더 게이지(2001) 내의 원하는 위치에 넣음으로써 슬라이더 게이지(3001) 내 오브젝트를 추가할 수 있다. 이 기능은 독립형 오브젝트에 대해서도 동일하다.
마찬가지로, 도 31에서 보는 바와 같이 삭제 또한 가능하다. 사용자가 (1) 슬라이더 게이지(3101) 내 임의 오브젝트를 길게 터치하면 오브젝트 관련 메뉴(3108)가 실행되고 이때 오브젝트 관련 메뉴(3108)에서 '삭제'를 선택하는 경우 (2) 슬라이더 게이지(3101) 내에서 해당 오브젝트가 삭제되고 (3) 슬라이더 게이지(3101) 내 오브젝트가 다시 정렬될 수 있다.
이렇게 사용자에 의하여 검색 결과 멀티미디어 자원이 조정되면 사용자는 검색 결과 멀티미디어를 새로운 멀티미디어 파일로 저장할 수 있다. 도 32는 이와 같은 과정을 나타낸다. 사용자가 (1) 슬라이더 게이지(3201)에 대하여 영역 선택을 위한 터치를 입력하면 (2) 해당 영역에 포함된 오브젝트가 지정되면서 오브젝트 관련 메뉴(3208)가 실행되고 이때 오브젝트 관련 메뉴(3208)에서 '저장'을 선택하는 경우 상기 지정된 오브젝트가 새로운 멀티미디어 파일로 저장될 수 있다.
요소 기술 10: 슬라이더 게이지 내 오브젝트 재구성 기술
다시 도 8에서, 사용자는 검색 창에 키워드를 입력함으로써 오브젝트형 멀티미디어 검색 결과들을 얻을 수 있고 이를 내비게이션 함으로써 원하는 멀티미디어를 찾는 작업을 수행할 수 있다.
사용자는 언제든지 키워드를 변경하여 다시 검색을 할 수 있고 이때 시스템은 변경된 결과에 따라 슬라이더 게이지의 오브젝트들을 재구성해서 보여주어야 한다. 도 33은 도 8에서 사용자가 다른 키워드를 입력했을 때의 슬라이더 게이지(3301)의 변화를 나타낸 것이다. 사용자가 키워드를 변경하여 검색했을 때 멀티미디어 재생 영역(3320)에는 이전의 플레이 중인 오브젝트를 끝까지 재생하여야 하며 사용자가 새로 검색된 멀티미디어 결과를 선택하면 그때 새로운 멀티미디어 결과를 재생할 수 있다.
또한, 도 34에 도시한 바와 같이 사용자의 검색 결과 정렬 기준(3430)(예컨대, 날짜 순, 크기 순, 정확도 순 등)이 바뀌면 슬라이더 게이지(3401) 내 오브젝트의 정렬 순서도 변화할 수 있다.
요소 기술 11: 하이라이트 태깅 기술
사용자가 멀티터치에 의해 원본 멀티미디어 자원을 확인하는 도 13과 도 14에서, 인접한 두 하이라이트 멀티미디어 자원은 동일한 원본 멀티미디어의 서로 다른 하이라이트일 수 있다. 이 경우 사용자가 도 13과 같이 멀티 터치를 수행하면 도 35와 같이 두 개의 하이라이트 멀티미디어 자원(3506-1)(3506-2)이 하나의 원본 멀티미디어 자원 상에 표현될 수 있다.
이때, 각 하이라이트는 그 지정 원칙이나 길이 등 부가 정보를 태깅하여 표현할 수 있다. 예컨대, 도 36에 도시한 바와 같이 원본 멀티미디어 자원 중 사용자에 의해 선택된 하이라이트에 대하여 태깅 정보(3609)를 표현할 수 있다.
사용자는 슬라이더 게이지 영역에 긴 터치 또는 드래그를 함으로써 새로운 태깅 영역을 생성하거나 삭제할 수 있다. 예를 들어, 도 37에 도시한 바와 같이 슬라이더 게이지(3701)의 특정 멀티미디어 자원이 확대된 상태에서 사용자가 임의 위치를 길게 터치하면 텍스트 입력이 가능한 입력 창(3709)이 실행되고 사용자가 입력 창(3709)을 통해 텍스트를 입력함에 따라 해당 영역이 새로운 태깅 영역으로 생성될 수 있다. 이렇게 생성된 사용자 태그 정보는 다른 사람과 공유될 수 있으며 사용자가 검색할 때 검색 대상이 될 수 있다.
상기에서는 요소 기술 각각에 대하여 개별적으로 설명하고 있으나, 요소 기술 1 내지 요소 기술 11 중 둘 이상의 요소 기술을 조합하여 시스템에 적용할 수 있다.
본 발명은 검색된 콘텐츠, 즉 오브젝트를 하나의 컴포넌트형 미디어로 구성하고 이를 플레이어를 통해 표시하며 사용자는 컴포넌트형 미디어를 구성하는 오브젝트의 구조/순서 등을 시각적으로 쉽게 확인할 수 있게 한다. 이러한 방식은 사용자가 검색어 입력 후 인터랙션을 전혀 하지 않고도 검색 결과를 빠른 시간 안에 확인할 수 있다는 장점이 있다. 이는 사용자와 디바이스 간 인터랙션이 다른 디바이스에 비해 현저하게 적은 리모컨 기반 IPTV 환경에서 효과적으로 활용될 수 있다. 뿐만 아니라 터치스크린, 리모컨 환경에서 쉽게 컴포넌트형 미디어를 내비게이션 할 수 있고, 컴포넌트형 미디어 구성 오브젝트의 구조 정보를 표시하는 방식에 따라 키보드/마우스 환경에서도 효율적으로 쓰일 수 있다. 나아가, 한 화면 안에서 개별 오브젝트의 세부 정보와 검색 결과의 오버뷰(overview)를 동시에 확인할 수 있어 인터랙션 단계를 1-뎁스(depth) 수준으로 낮출 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 검색 결과에 해당되는 콘텐츠 목록으로 이루어진 콘텐츠 영역을 표시하되, 상기 콘텐츠 목록 중 하나의 콘텐츠를 포커싱 하여 표시하는 콘텐츠 영역 표시 단계; 및
    상기 콘텐츠 목록에 포함된 콘텐츠 별로 각각의 콘텐츠를 지시하는 오브젝트(object)로 구성된 지시 영역을 표시하는 지시 영역 표시 단계
    를 포함하고,
    상기 콘텐츠 영역 표시 단계는,
    사용자에 의해 상기 지시 영역에서 하나의 오브젝트가 선택되는 경우 상기 선택된 오브젝트가 지시하는 콘텐츠를 포커싱 하고,
    상기 사용자로부터 상기 콘텐츠 영역 또는 상기 지시 영역에 대한 멀티 터치가 입력되는 경우 상기 멀티 터치의 입력 정도에 따라 상기 콘텐츠 목록에 포함된 콘텐츠의 개수가 결정되는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  2. 검색 결과에 해당되는 콘텐츠 목록으로 이루어진 콘텐츠 영역을 표시하되, 상기 콘텐츠 목록 중 하나의 콘텐츠를 포커싱 하여 표시하는 콘텐츠 영역 표시 단계; 및
    상기 콘텐츠 목록에 포함된 콘텐츠 별로 각각의 콘텐츠를 지시하는 오브젝트로 구성된 지시 영역을 표시하는 지시 영역 표시 단계
    를 포함하고,
    상기 지시 영역은,
    상기 콘텐츠 각각에 대하여 적어도 하나의 하이라이트(highlight) 부분을 지시하는 오브젝트로 구성되며,
    상기 콘텐츠 영역 표시 단계는,
    사용자에 의해 상기 지시 영역에서 하나의 오브젝트가 선택되는 경우 상기 선택된 오브젝트가 지시하는 하이라이트 부분을 포커싱 하고,
    상기 사용자로부터 상기 콘텐츠 영역 또는 상기 지시 영역에 대한 멀티 터치가 입력되는 경우 상기 멀티 터치의 입력 정도에 따라 상기 콘텐츠 목록에 포함된 콘텐츠의 개수가 결정되는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 지시 영역에 대하여 이동 가능하여 상기 지시 영역에서 하나의 오브젝트를 선택하는데 이용되는 인디케이터(indicator)를 표시하는 인디케이터 표시 단계
    를 더 포함하는 오브젝트형 멀티미디어 인터랙션 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 지시 영역 표시 단계는,
    상기 오브젝트를 상기 지시 영역의 전체 길이에 대하여 상기 콘텐츠의 재생 길이에 대응되는 비율로 배치하는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 사용자로부터 상기 콘텐츠 영역의 마지막에 배치된 최하위 콘텐츠 또는 상기 지시 영역의 마지막에 배치된 최하위 오브젝트에 대한 이동 명령이 입력되는 경우 추가의 검색 결과가 제공되는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  6. 제1항 또는 제2항에 있어서,
    상기 지시 영역 표시 단계는,
    상기 사용자에 의해 선택된 적어도 하나의 오브젝트를 상기 지시 영역과 별개의 영역에 독립형 오브젝트(stand alone object)로 표시하는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  7. 제1항 또는 제2항에 있어서,
    상기 지시 영역 표시 단계는,
    상기 사용자에 의해 선택된 적어도 하나의 오브젝트를 상기 지시 영역 내에서 상기 사용자가 원하는 위치로 이동하여 표시하는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  8. 제1항 또는 제2항에 있어서,
    상기 지시 영역 표시 단계는,
    상기 사용자에 의해 선택된 적어도 하나의 오브젝트를 상기 지시 영역 내에서 삭제하거나 상기 지시 영역 내에서 상기 사용자가 원하는 위치로 복사하여 표시하는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  9. 제1항 또는 제2항에 있어서,
    상기 콘텐츠 영역 표시 단계 및 상기 지시 영역 표시 단계는,
    상기 사용자가 검색어를 변경하는 경우 상기 콘텐츠 영역 및 상기 지시 영역을 재구성하는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  10. 제1항 또는 제2항에 있어서,
    상기 콘텐츠 영역 표시 단계 및 상기 지시 영역 표시 단계는,
    상기 사용자에 의해 선택된 정렬 기준에 따라 상기 콘텐츠 영역 및 상기 지시 영역을 재구성하는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  11. 검색 결과에 해당되는 콘텐츠 목록으로 이루어진 콘텐츠 영역을 표시하되, 상기 콘텐츠 목록 중 하나의 콘텐츠를 포커싱 하여 표시하는 콘텐츠 영역 표시 단계;
    상기 콘텐츠 목록에 포함된 콘텐츠 별로 각각의 콘텐츠를 지시하는 오브젝트(object)로 구성된 지시 영역을 표시하는 지시 영역 표시 단계; 및
    상기 지시 영역에 대하여 이동 가능하여 상기 지시 영역에서 하나의 오브젝트를 선택하는데 이용되는 인디케이터(indicator)를 표시하는 인디케이터 표시 단계
    를 포함하고,
    상기 콘텐츠 영역 표시 단계는,
    사용자에 의해 상기 지시 영역에서 하나의 오브젝트가 선택되는 경우 상기 선택된 오브젝트가 지시하는 콘텐츠를 포커싱 하고,
    상기 인디케이터 표시 단계는,
    상기 인디케이터의 이동이 가능하고 상기 인디케이터의 이동 정도에 따라 상기 포커싱 된 콘텐츠의 재생 속도를 조절하기 위한 조절 수단을 표시하는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  12. 검색 결과에 해당되는 콘텐츠 목록으로 이루어진 콘텐츠 영역을 표시하되, 상기 콘텐츠 목록 중 하나의 콘텐츠를 포커싱 하여 표시하는 콘텐츠 영역 표시 단계;
    상기 콘텐츠 목록에 포함된 콘텐츠 별로 각각의 콘텐츠를 지시하는 오브젝트로 구성된 지시 영역을 표시하는 지시 영역 표시 단계; 및
    상기 지시 영역에 대하여 이동 가능하여 상기 지시 영역에서 하나의 오브젝트를 선택하는데 이용되는 인디케이터(indicator)를 표시하는 인디케이터 표시 단계
    를 포함하고,
    상기 지시 영역은,
    상기 콘텐츠 각각에 대하여 적어도 하나의 하이라이트(highlight) 부분을 지시하는 오브젝트로 구성되며,
    상기 콘텐츠 영역 표시 단계는,
    사용자에 의해 상기 지시 영역에서 하나의 오브젝트가 선택되는 경우 상기 선택된 오브젝트가 지시하는 하이라이트 부분을 포커싱 하고,
    상기 인디케이터 표시 단계는,
    상기 인디케이터의 이동이 가능하고 상기 인디케이터의 이동 정도에 따라 상기 포커싱 된 콘텐츠의 재생 속도를 조절하기 위한 조절 수단을 표시하는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  13. 검색 결과에 해당되는 콘텐츠 목록으로 이루어진 콘텐츠 영역을 표시하되, 상기 콘텐츠 목록 중 하나의 콘텐츠를 포커싱 하여 표시하는 콘텐츠 영역 표시 단계; 및
    상기 콘텐츠 목록에 포함된 콘텐츠 별로 각각의 콘텐츠를 지시하는 오브젝트로 구성된 지시 영역을 표시하는 지시 영역 표시 단계;
    를 포함하고,
    상기 지시 영역은,
    상기 콘텐츠 각각에 대하여 적어도 하나의 하이라이트(highlight) 부분을 지시하는 오브젝트로 구성되며,
    상기 콘텐츠 영역 표시 단계는,
    사용자에 의해 상기 지시 영역에서 하나의 오브젝트가 선택되는 경우 상기 선택된 오브젝트가 지시하는 하이라이트 부분을 포커싱 하고,
    상기 지시 영역 표시 단계는,
    상기 사용자로부터 상기 지시 영역에 대한 멀티 터치가 입력되는 경우 상기 멀티 터치에 의해 특정된 오브젝트가 지시하는 하이라이트 부분의 원본 콘텐츠를 확인한 후 상기 특정된 오브젝트를 상기 원본 콘텐츠를 지시하는 확장형 오브젝트로 전환하는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  14. 제13항에 있어서,
    상기 멀티 터치의 입력 정도에 따라 상기 확장형 오브젝트가 지시하는 상기 원본 콘텐츠의 크기가 결정되는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  15. 제13항에 있어서,
    상기 지시 영역 표시 단계는,
    상기 하이라이트 부분이 상기 원본 콘텐츠에서 해당되는 위치에 따라 상기 확장형 오브젝트 상에 상기 하이라이트 부분을 지시하는 오브젝트를 겹쳐서 표시하는 것
    을 특징으로 하는 오브젝트형 멀티미디어 인터랙션 방법.
  16. 삭제
  17. 삭제
  18. 삭제
KR1020130032597A 2013-03-27 2013-03-27 오브젝트형 멀티미디어 인터랙션 방법 KR101417614B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130032597A KR101417614B1 (ko) 2013-03-27 2013-03-27 오브젝트형 멀티미디어 인터랙션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130032597A KR101417614B1 (ko) 2013-03-27 2013-03-27 오브젝트형 멀티미디어 인터랙션 방법

Publications (1)

Publication Number Publication Date
KR101417614B1 true KR101417614B1 (ko) 2014-07-09

Family

ID=51741663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130032597A KR101417614B1 (ko) 2013-03-27 2013-03-27 오브젝트형 멀티미디어 인터랙션 방법

Country Status (1)

Country Link
KR (1) KR101417614B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701337B2 (en) 2016-08-17 2020-06-30 Samsung Electronics Co., Ltd. Method for controlling multi-field of view image and electronic device for supporting the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060117870A (ko) * 2003-10-23 2006-11-17 마이크로소프트 코포레이션 데이터의 특성에 기초한 데이터 컬렉션의 3차원 뷰를 위한그래픽 사용자 인터페이스
KR20100113922A (ko) * 2009-04-14 2010-10-22 에스케이 텔레콤주식회사 멀티미디어 컨텐츠 표시 방법과 그를 위한 터치 스크린 단말기 및 컴퓨터로 읽을 수 있는 기록매체
KR20100117837A (ko) * 2009-04-27 2010-11-04 주식회사 시맨틱스 결과를 비주얼 및 가상화면으로 출력 및 조작하는 검색 시스템 및 방법
KR20120033859A (ko) * 2010-09-30 2012-04-09 엔에이치엔(주) 이미지 검색 방법 및 검색 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060117870A (ko) * 2003-10-23 2006-11-17 마이크로소프트 코포레이션 데이터의 특성에 기초한 데이터 컬렉션의 3차원 뷰를 위한그래픽 사용자 인터페이스
KR20100113922A (ko) * 2009-04-14 2010-10-22 에스케이 텔레콤주식회사 멀티미디어 컨텐츠 표시 방법과 그를 위한 터치 스크린 단말기 및 컴퓨터로 읽을 수 있는 기록매체
KR20100117837A (ko) * 2009-04-27 2010-11-04 주식회사 시맨틱스 결과를 비주얼 및 가상화면으로 출력 및 조작하는 검색 시스템 및 방법
KR20120033859A (ko) * 2010-09-30 2012-04-09 엔에이치엔(주) 이미지 검색 방법 및 검색 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701337B2 (en) 2016-08-17 2020-06-30 Samsung Electronics Co., Ltd. Method for controlling multi-field of view image and electronic device for supporting the same

Similar Documents

Publication Publication Date Title
US20200218414A1 (en) User Interface Editor
JP5009371B2 (ja) 映像データ編集のためのインターフェースシステム
US8549442B2 (en) Voice and video control of interactive electronically simulated environment
US5963203A (en) Interactive video icon with designated viewing position
JP5817400B2 (ja) 情報処理装置、情報処理方法及びプログラム
USRE38401E1 (en) Interactive video icon with designated viewing position
KR101065849B1 (ko) 표시 제어 장치, 표시 제어 방법 및 기록 매체
US20160103830A1 (en) User interface method and device for searching for multimedia content
US9843823B2 (en) Systems and methods involving creation of information modules, including server, media searching, user interface and/or other features
JP2012234550A (ja) 多様なプラットフォームに対応可能なｕｉ／ｕｘ及びヒューマンインタラクションパラダイム
JP4552147B2 (ja) 情報検索装置、情報検索方法及び情報検索プログラム
JP5421627B2 (ja) 映像データ表示装置及びその方法
TWI606384B (zh) 透過自由形式描繪之吸引人的顯示
EP2329352A1 (en) Creation and navigation of infinite canvas presentation
EP2780828A2 (en) Framework for creating interactive digital content
US20150346969A1 (en) Interactive media object development system and method
Long et al. Video Editing Using Lenses and Semantic Zooming
US11558666B2 (en) Method, apparatus, and non-transitory computer readable record medium for providing content based on user reaction related to video
KR101417614B1 (ko) 오브젝트형 멀티미디어 인터랙션 방법
US20230054388A1 (en) Method and apparatus for presenting audiovisual work, device, and medium
JP5430828B2 (ja) ビデオ再生システムにおいてマウスの遠隔制御装置の機能を実現するためのボタンマップを生成するシステムおよび方法
CA2857519A1 (en) Systems and methods involving features of creation/viewing/utilization of information modules
Mertens et al. The tempo-structural fisheye slider for navigation in web lectures
Yamamoto et al. The landscape of time-based visual presentation primitives for richer video experience
KR101939806B1 (ko) 터치 감응식 유저 인터페이스에서의 동영상 구간탐색을 위한 컴퓨터 구현방법 및 사용자 단말장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee